JP2018173839A - 画像処理装置、処理方法、プログラム - Google Patents

Abstract

【課題】読取装置において用紙を撮影して生成した画像に映る影をより精度良く除去する。【解決手段】画像処理装置は、台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する。この時、画像処理装置は、撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する。【選択図】図１

Description

本発明は、画像処理装置、処理方法、プログラムに関する。

台座と、台座の読取領域に置かれた用紙などの読取対象物を撮影する撮影部とを有する画像入力装置が存在する。このような画像入力装置は画像データを出力する。画像処理装置は画像データを入力し、読取対象物を撮影して得られた画像に映る影を除去する技術が用いられている。なお関連する技術が特許文献１に開示されている。

特開２０１６−１４４０９３号公報

上述のような画像入力装置においては、予期しない影を画像から除去する技術が求められていた。

そこでこの発明は、上述の課題を解決する画像処理装置、処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置であって、前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する影領域判定部を備えることを特徴とする。

本発明の第２の態様によれば、台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置の処理方法は、前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定することを特徴とする。

本発明の第３の態様によれば、プログラムは、台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置のコンピュータを、前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する影領域判定手段として機能させることを特徴とする。

本発明によれば、読取装置において用紙を撮影して生成した画像に映る影の有無をより精度よく検出し、これをより精度良く除去することができる。

画像入力装置と画像処理装置と含む画像処理システムの概略図である。 読取対象物である用紙に映る影を示す第一の図である。 読取対象物である用紙に映る影を示す第二の図である。 第一画像データの中の用紙の範囲の画像と第二画像データの中の用紙の範囲の画像とを示す図である。 画像処理装置のハードウェア構成例を示す図である。 第一の実施形態による画像処理装置の機能ブロック図である。 第一の実施形態による画像処理装置の処理フローを示す図である。 第二の実施形態による画像処理装置の機能ブロック図である。 第三の実施形態による画像処理装置の機能ブロック図である。 撮影部との相対位置をずらして用紙が台座に置かれた異なる状態を一つの図に重ねて表した図である。 画像処理装置の最小構成を示す図である。

＜第一の実施形態＞
以下、本発明の第一の実施形態による画像処理装置を図面を参照して説明する。
図１は同実施形態による画像入力装置と画像処理装置とを含む画像処理システムの概略図である。
この図で示すように画像処理システム１００は画像処理装置１と画像入力装置２とを備えている。画像入力装置２は、台座２１と、台座２１の読取領域を示す台座領域に置かれた用紙を撮影する撮影部２２と、台座２１の上方に撮影部２２を支持するアーム部２３と、アーム部２３を支えるベース部２４とを備える。台座２１には一例として用紙３が置かれる。台座２１に置かれる読取対象物は用紙以外の物体であってよい。画像処理装置１は読取対象物を光学的に読み取って生成した画像データを画像処理装置１へ出力する。画像データは台座領域全体の画像データである。画像処理装置１は台座領域全体の画像データの中からエッジ検出などの技術により用紙３の領域を検出する。画像処理装置１は画像データが示す台座領域全体の台座画像における左上角を原点とする台座座標系と、台座画像に含まれる用紙画像における左上角を原点とする用紙座標系とを認識し、各座標において対応する画素の関係を記憶する。

画像処理装置１は画像入力装置２と通信ケーブルを介して接続されている。画像処理装置１は画像データを取得し、その画像データが示す用紙画像から影の有無を検出し、これを除去する処理を行う。

読取対象物が置かれる台座２１には予期せぬ影が入り込む可能性が有る。
台座領域内の予め決まった位置に影が入り込みその影が固定されているのであれば、その決まった位置に対応する画素の輝度値を調整するための当該各画素に対応した輝度補正係数を輝度補正テーブルに記録しておけばよい。しかし、例えば予期せず画像入力装置２の脇に置かれた什器４などの影が入り込む場合がある。この影響で画像処理装置１が取得した画像データの示す用紙画像には什器４の影が映っている場合がある。画像処理装置１においては用紙画像に予期せず映り込んだ影の有無を精度よく検出し、これを精度よく除去することが望ましい。予期せずに什器４が取り除かれることで影がなくなる場合、つまり、什器４の影が映り込む領域において予期せず明るさが増す場合も同様に考えることができる。

図２は読取対象物である用紙に映る影を示す第一の図である。
図２で示すように、台座２１に置かれた用紙３には予期せぬ影が入り込む可能性が有る。画像入力装置２は図２で示す用紙３を撮影して生成した第一画像データを画像処理装置１へ出力する。または通常は図２で示すように、台座２１に置かれた用紙３には影が入り込んでいたが、影を及ぶ対象物が予期せず取り除かれることにより影が入り込まなくなる可能性もある。

以下、予期せず影が映り込んだ場合の例を用いて本実施形態の画像処理装置を説明する。
図３は読取対象物である用紙に映る影を示す第二の図である。
図３では台座２１における用紙３の置かれた位置がずれた状態を示している。用紙３はユーザが位置をずらしてもよい。または台座２１自体が摺動機構を備えておりその摺動機構によって台座２１自体の位置が水平方向に移動することにより撮影部２２との相対位置をずらして用紙３が台座２１に置かれた状態とされるようにしてもよい。そうすると、影の位置は動かないが、用紙３に対して入り込んだ影の入り込み位置が図２で示す用紙３への影の入り込み位置とは異なることとなる。画像入力装置２は図３で示すような、置かれた位置がずらされた用紙３を撮影して生成した第二画像データを画像処理装置１へ出力する。

図４は第一画像データの中の用紙の範囲の画像と第二画像データの中の用紙の範囲の画像とを示す図である。
ここでは、第一画像データの中の用紙３の範囲の画像と第二画像データの中の用紙３の範囲の画像をそれぞれ、第一用紙画像３１、第二用紙画像３２と呼ぶ。これらは台座領域全体の画像データから切り出されたものであり、場合によってはスキュー補正（歪み補正）等を行う。このスキュー補正は公知の技術を用いて良い。
画像処理装置１は第一画像データが示す第一用紙画像３１と第二画像データが示す第二用紙画像３２とを比較して、第一用紙画像３１において第二用紙画像３２との輝度値の差が所定閾値以上の箇所（輝度値の差が大きい箇所）を影領域候補と判定する。または画像処理装置１は第一画像データが示す第一用紙画像３１と第二画像データが示す第二用紙画像３２とを比較して、第二用紙画像３２において第一用紙画像３１との輝度値の差が所定閾値以上の箇所（輝度値の差が大きい箇所）を影領域候補と判定する。
第一用紙画像３１と第二用紙画像３２とでは影が映る位置が異なる。したがって、画像処理装置１は第一用紙画像３１と第二用紙画像３２の各対応する画素の輝度値を比較する。

より具体的には、画像処理装置１は第一用紙画像３１において第二用紙画像３２の画素の輝度値よりも、輝度値の値が所定の値以上、上がっている領域４１−１や、下がっている領域４１−２を影領域候補と判定する。
また同様に画像処理装置１は第二用紙画像３２において第一用紙画像３１の画素の輝度値よりも、輝度値の値が所定の値以上、上がっている領域４２−１や下がっている領域４２−２を影領域候補と判定する。

画像処理装置１は第一用紙画像３１における影領域候補４１の形状や位置や台座領域における位置と、第二用紙画像３２における影領域候補４２の形状や位置や台座領域における位置とを比較して、一致すると判定した場合に、第一用紙画像３１や第二用紙画像３２における影領域候補を予期せず入り込んだ影領域と特定するようにしてもよい。

図５は画像処理装置のハードウェア構成例を示す図である。
図５に示すように画像処理装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、ユーザインタフェース１０５、通信モジュール１０６の各ハードウェア構成を、一例として備える。ユーザインタフェース１０５は例えば液晶タッチパネルやボタンなどである。画像処理装置１はその他のハードウェアをさらに備えて構成されてよい。

図６は第一の実施形態による画像処理装置の機能ブロック図である。
画像処理装置１のＣＰＵ１０１は予め記憶する画像処理プログラムを起動する。これにより画像処理装置１には制御部１１１、影領域判定部１１２、輝度補正テーブル生成部１１３、影削減処理部１１４の機能が備わる。
制御部１１１は他の機能部を制御する。
影領域判定部１１２は、撮影部２２との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域候補と判定する。影領域判定部１１２は影領域候補の中から影領域を特定する。

輝度補正テーブル生成部１１３は、影領域における画素の輝度値に基づいて当該輝度値に乗じる輝度補正係数を生成する。具体的には、輝度補正テーブル生成部１１３は、影領域の各画素の輝度値に乗じて影を削減する輝度補正係数を、複数回の撮影の何れかの特定の撮影における画像の影領域の画素それぞれについて保持した輝度補正テーブルを生成する。輝度補正係数は、簡単に説明すると、一例としてはある用紙画像において影領域と判定された画素の輝度値がＸ、台座座標系において位置がずらされた他の用紙画像において前述の輝度値Ｘの画素に対応する用紙座標系内の同じ位置の影領域とならなかった画素の輝度値をＹとすると、Ｙ÷Ｘで示される値となる。この輝度補正係数は台座座標系の各画素に対して割り当てられる値であり、初期値は１となる。影領域と判定された場合、この初期値がＹ÷Ｘなどの輝度補正係数に書き換えられる。影領域と判定された画素の輝度値Ｘに、Ｙ÷Ｘで示される輝度補正係数を乗じることにより、影領域と判定された画素の輝度値はＸ×（Ｙ÷Ｘ）＝Ｙとなり、影の影響を受けているＸと影の影響を受けていないＹの値を基準値とした影補正係数を乗じることで、影の影響を削減できる。別の機会に撮影した画像の画素値Ｘ’についても、同様にＸ’×（Ｙ÷Ｘ）とすることで、影の影響を削減することができる。なお、輝度補正テーブルの更新の際は、更新前の輝度補正係数の値に、上述のＹ÷Ｘの値を乗じることで、更新後の輝度補正係数とする。
影削減処理部１１４は、特定の撮影により生成された画像の影領域の各画素に、輝度補正テーブルに記録されている対応する画素についての輝度補正係数を乗じる。

図７は第一の実施形態による画像処理装置の処理フローを示す図である。
次に画像処理装置の処理フローについて順を追って説明する。
画像処理装置１は第一画像データを取得する（ステップＳ１０１）。また画像処理装置１は第二画像データを取得する（ステップＳ１０２）。第一画像データと第二画像データは、撮影部２２との相対位置をずらして台座２１に置かれた用紙を撮影した各画像データである。影領域判定部１１２は第一画像データから第一用紙画像３１を抽出する。また影領域判定部１１２は第二画像データから第二用紙画像３２を抽出する。

影領域判定部１１２は、第一用紙画像３１の画素と、その画素に対応する位置の第二用紙画像３２の画素とを順に比較して輝度差が所定の値以上ある画素であって、輝度差が影の影響を受けているとされるべき所定の値以上の画素を、第一用紙画像３１において影領域候補４１−１、４１−２と特定する（ステップＳ１０３）。影領域判定部１１２は、第一用紙画像３１の画素と、その画素に対応する位置の第二用紙画像３２の画素とを順に比較して輝度差が所定の値以上ある画素であって、輝度差が影の影響を受けているとされるべき所定の値以上の画素を、第二用紙画像３２において影領域候補４２−１、４２−２と特定する（ステップＳ１０４）。

影領域判定部１１２は第一用紙画像３１において特定した撮影領域候補４１−１、４１−２と、第二用紙画像３２において特定した影領域候補４２−１、４２−２のうち影領域候補から除外すべき領域を特定して、影領域候補から除外する処理を行うようにしてもよい。例えば影領域候補４１−１、４１−２の形状と影領域候補４２−１、４２−２の形状とを比較して一致しない場合には、その一致しない領域を影領域候補から除外してもよい。あるいは、異なる撮影によって得られた台座座標系全体の複数の画像データにおいてそれぞれ特定した影領域候補を比較して、上述のように当該影領域候補が示す領域の形状や位置が一致しない部分は影領域候補から除外してもよい。

影領域候補が特定されると影領域判定部１１２は上述の影領域候補の判定処理によって最後に残った影領域候補の中から影領域を特定する（ステップＳ１０５）。影領域判定部１１２は第一用紙画像３１または第二用紙画像３２の何れか一方の用紙画像を基準として、その用紙画像における影領域候補の中から影領域を特定する。

なお影領域候補の中から影領域を特定する処理の具体例としては、画像処理装置１が台座座標系の各画素についての影判定フラグの数を記憶するデータテーブルを保持しておく。そして影領域判定部１１２は、影領域候補４１−１と特定された画素の用紙座標系に対応する台座座標系の画素を特定し、その画素に対して影判定フラグを１つ投票してデータテーブルに記録する。同様に影領域判定部１１２は、影領域候補４１−２、影領域候補４２−２、影領域候補４２−１と特定された各画素の用紙座標系に対応する台座座標系の画素を特定しその画素に影判定フラグをそれぞれ１つずつ投票してデータテーブルに記録されている各画素についての影判定フラグを１ずつ加えていく。影領域判定部１１２は、台座座標系の各画素について投票した影判定フラグの数が、上述の影領域候補の判定処理で利用した用紙画像（第一用紙画像３１、第二用紙画像３２）の数（本実施形態においては影判定フラグ＝２）となっている台座座標系の各画素を、影領域に対応する画素と特定する。また台座座標系の各画素における影領域を構成する画素が特定できれば、その画素に対応する用紙座標系の各画素における影領域を構成する画素も特定できる。なお、影領域に対応する画素と特定する際の評価条件となる影判定フラグ数を、上記のような利用した用紙画像の数と等しい数とする他に、利用した用紙画像の数以上としてもよいし、利用した用紙画像の数未満の任意の値以上としてもよい。また、本処理の後に、更新済みの影補正テーブルを撮影済みの画像データへ適用した上で、同画像データを用いて上記の処理を繰り返し行っても良い。その場合、評価条件となる影判定フラグの数を、最初は任意の値に設定しおき、繰り返しの上記処理が進むにつれて画像の数と一致、もしくは任意の値と一致するように評価条件のしきい値を増加させてもよい。

画像処理装置１の制御部１１１は影領域判定部１１２が影領域を特定した場合にはアラームをユーザへ出力するようにしてもよい。アラームは例えば、音、文字表示などによって行って良い。

輝度補正テーブル生成部１１３は台座座標系において影領域に含まれる各画素の輝度値に乗じる輝度補正係数を算出する。輝度補正テーブル生成部１１３は、一例としては、ある用紙画像において台座座標系の影領域に含まれる画素の輝度値がｘ、台座座標系において位置がずらされた他の用紙画像において前述の輝度値Ｘの画素に対応する用紙座標系内の同じ位置の影領域とならなかった画素の輝度値がｙであるとすると、ｙ÷ｘの値を示す輝度補正係数を算出する。輝度補正テーブル生成部１１３は台座座標系の画素の識別番号と輝度補正係数との対応関係を示す輝度補正テーブルを生成する（ステップＳ１０６）。上述の処理においては、影領域判定部１１２は、各用紙画像の比較に基づいて対応する画素の輝度値の差が所定閾値以上の箇所を影領域候補と判定し、台座座標系における画素に対して影領域候補と判定した用紙画像の数が所定値以上である場合の台座座標系における画素を影領域と判定している。そして、輝度補正テーブル生成部１１３は、ずらして台座２１に置かれた各画像から得た各用紙画像のうち一方の用紙画像において読取対象物内の影領域と判定された第一画素（例えば図４の影領域４１−２の右下角の画素）の輝度値を、他方の用紙画像において読取対象物内の影領域と判定されなかった対応する第二画素（第一画素に対応する位置の画素で、例えば図４の影領域４２−１の右下角の画素）の輝度値に変換する輝度補正係数を、影領域の各画素全てについて保持する輝度補正テーブルを生成している。

そして影削減処理部１１４は、影領域に含まれる各画素の輝度値に、対応する画素についての輝度補正係数をそれぞれ乗じる影削減処理を行う（ステップＳ１０７）。これにより影領域の台座座標系の各画素に対応する用紙座標系の各画素の輝度値が調整され、第一用紙画像３１および第二用紙画像３２において影領域が削減される。例えば、影領域に含まれる画素の輝度値ｘに、ｙ÷ｘで示される輝度補正係数を乗じれば、影領域に含まれる画素の輝度値がｙとなり影の影響が削減される。以降、他の機会で用紙３について撮影した場合でも、影の位置が動かない場合には生成した輝度補正テーブルを用いて影領域を削減することができる。

画像処理装置１は影領域が削減された第一用紙画像３１や第二用紙画像３２を用いて、所定の処理を行う。所定の処理とは、例えば文字認識処理や、画像保存処理などであってよい。

以上の処理によれば、予期せぬ影が読取対象物に入り込んだとしても、その読取対象物を撮影して得られた用紙画像から影領域を削除することができる。また、次回の撮影から台座座標系全体の画像データに同処理（影削減処理）を毎回行えば、新たに予期せぬ影の影響を受けない限りは、恒久的に影領域を削除することができる。

なお画像処理装置１は、用紙３が２枚以上のｎ枚を用いて各用紙３から影領域を削減してもよい。この場合、画像処理装置１は、ｎ枚の用紙３をスキャンして、ｎ枚の視野画像を得る。ただし、ｎ≧２とする。視野画像は撮影部２２の視野全体をスキャンした画像で、台座領域全体の画像データと定義する。画像処理装置１はｎ枚の各視野画像中から特定した用紙３部分の歪みを補正して取り出し、第一用紙画像から第ｎ用紙画像のｎ枚の用紙画像を得る。

画像処理装置１の影領域判定部１１２は、第一用紙画像３１と、他の用紙画像３２，３３・・・３ｎとのｎ−１の各組について、用紙座標系を用いた対応する画素同士の輝度値の差分を算出する。なお各用紙画像の座標系は用紙のある角を原点とした統一された座標系である。影領域判定部１１２は、輝度値の差分が所定値以上の用紙座標系の画素に対応する台座座標系の画素を特定し、その画素に対して影判定フラグを１つ投票してデータテーブルに記録する。影領域判定部１１２は、ｎ−１の各組について同様の影判定フラグの投票を行う。より詳細に述べると、本処理は、まず、用紙画像３１を基準とし、用紙画像３１と、用紙画像３１以外（つまり、用紙画像３２から用紙画像３ｎまで）の組、ｎ−１組について、各組での、用紙座標系での同じ位置の画素値の差分をみた場合で、差分が大きい場合、用紙画像３１の当該位置に対応する台座座標系の画素を特定し、その画素に対して、影判定フラグを１つ投票してデータテーブルに記録する。これを、用紙画像３２を基準とした用紙画像３２と用紙画像３２以外の組、用紙画像３３を基準とした用紙画像３３と用紙画像３３以外の組、というように、用紙画像３ｎを基準とした用紙画像３ｎと用紙画像３ｎ以外の組まで繰り返す。影領域判定部１１２は、台座座標系の各画素のうちｎの影判定フラグが投票されている画素の領域を影領域と特定する。影領域に対する影の削減処理は上述と同様である。なお、影領域に対応する画素と特定する際の評価条件となる影判定フラグ数を、上記のような利用した用紙画像の数ｎと等しい数とする他に、利用した用紙画像の数以上としてもよいし、利用した用紙画像の数未満の任意の値以上としてもよい。また、本処理の後に、更新済みの影補正テーブルを撮影済みの画像データへ適用した上で、同画像データを用いて上記の処理を繰り返し行っても良い。その場合、評価条件となる影判定フラグの数を、最初は任意の値に設定しおき、繰り返しの上記処理が進むにつれて画像の数と一致、もしくは任意の値と一致するように評価条件のしきい値を増加させてもよい。また、本処理は、ｎ枚の画像の全てに対して行ったが、任意の２枚の組を選んで行ってもよい。

なお画像処理装置１は以下の様に輝度補正係数の修正要否判定処理を行って、読取対象物を撮影して得られた用紙画像から影領域を削除してもよい。なお、本処理によって修正が必要であると判定された時点で、アラームをユーザへ出力するようにしてもよい。アラームは例えば、音、文字表示などによって行って良い。

まず画像処理装置１は、ｎ枚の原稿用紙をスキャンして、ｎ枚の視野画像を得る（ｎ≧２）。画像処理装置１はｎ枚の各視野画像中から特定した原稿用紙部分の歪みを補正して取り出し、ｎ枚の用紙画像を得る。画像処理装置１は、ｎ枚の用紙画像のうちの２枚の組を特定し、全ての２枚の組で同じ画素位置の画素値の差分を算出し、その差分が大きい組が１つでもある場合には、輝度補正係数の修正が必要であると判定する。

具体的には画像処理装置１は、ｎ枚の用紙画像のうち、１枚目と、１枚目以外（つまり、２枚目からｎ枚目までの各用紙画像）の各組ｎ−１について、各組ｎ−１それぞれにおける用紙座標系での同じ位置の各画素値間の差分を算出する。画像処理装置１は各組ｎ−１のうち、対応する画素の輝度の差分が大きい組が１つでもある場合には、その輝度の差分の大きい各画素を影領域候補と判定し、その影領域候補から特定した影領域について、輝度補正係数の生成や修正が必要であると判定する。

なお、上述した画像処理装置１の各処理の説明において、画像処理装置１は歪み補正を行った用紙画像を生成しているが、歪み補正を行わなくとも、ｎ枚の各視野画像と、各用紙画像の対応する画素の関係が特定でき、それら画素間の輝度値の差分を判定することができればよい。
また、画像処理装置１は、上記の輝度補正係数の修正要否判定処理において、各用紙画像の画素単位で輝度値の差分を判定しているが、注目画素近傍の平均値の差分を各用紙画像間で算出してもよい。または画像処理装置１は、用紙画像のぼかし処理や縮小処理等を行ってから対応する各用紙画像の対応する画素間の差分、注目画素近傍の平均値の差分を算出するようにしてもよい。

画像処理装置１は、上記の輝度補正係数の修正要否判定処理において、用紙画像間の画素の輝度値の差分を算出しているが、画素値の平均値や分散値を算出し、その値に基づいて輝度補正係数の修正が必要であるかを判定してもよい。

また、用紙画像における全体的な照度変化に対応するため、画像処理装置１は、用紙画像における原稿下地に該当する領域（輝度分布の高い部分）に着目して輝度分布が略等しくなるように正規化してから上記輝度補正係数の修正要否判定処理を行っても良い。

画像処理装置１は、未知の原稿を用いて輝度補正係数の修正要否判定処理を行う場合は、輝度値が著しく小さい画素（真っ黒な印刷と想定される画素）や、輝度値が小さい画素が連なる領域（罫線などのプレプリントや記入成分と想定される画素）を影領域候補から除外してもよい。これにより、原稿下地領域ではない領域を除外することができ、判定の信頼度を向上することができる。

画像処理装置１は、既知の原稿を用いて輝度補正係数の修正要否判定処理を行う場合は、予め登録しておいたフォーマット情報を活用してもよい。この場合、画像処理装置１は、プレプリント領域や記入欄などの領域をフォーマット情報に基づいて影領域候補から除外してもよい。これにより、原稿下地領域ではない領域を除外してから上記輝度補正係数の修正要否判定処理を行っても良い。これにより、未知の原稿で輝度補正係数の修正要否判定処理を行う場合より判定の信頼度が向上する。

画像処理装置１は、原稿が未知か既知かに関係なく、視野画像からはみ出ている部分は影領域候補から除外して、上記輝度補正係数の修正要否判定処理を行ってもよい。

なお上記画像入力装置２の撮影部２２は、２次元センサによって構成されていてもラインセンサによって構成されていてもよい。

上記原稿として白い大きな用紙が用意できる場合は、画像処理装置１は１枚の用紙のみスキャンして、視野画像内のある領域に映る任意の領域を第一の原稿と見立てて、当視野画像内の他の領域に映る任意の領域を第二の原稿（第一の原稿と同じ原稿）と見立てて、輝度値等の差分を算出して、上述の輝度補正係数の修正要否判定処理を行うようにしてもよい。

＜第二の実施形態＞
図８第二の実施形態による画像処理装置の機能ブロック図である。
第二の実施形態による画像処理装置１のハードウェア構成は第一の実施形態と同様である。第二の実施形態による画像処理装置１の機能は、第一の実施形態の画像処理装置１の各機能に加え、印字箇所除去部１１５を備える点で第一の実施形態と異なっている。

印字箇所除去部１１５は、読取対象物における印字箇所を表す所定値未満の輝度値の画素を特定する。例えばこの画素は黒インクが塗布された箇所、文字が記入されている箇所である。その画素を印字箇所以外の下地の輝度に補正する印字箇所除去部を備えるようにしてもよい。例えば、この処理は、当該印字箇所の近傍の下地部分の輝度値などで置き換えるなどの処理である。
この場合、影領域判定部１１２は印字箇所を印字箇所以外の下地の輝度に補正した後の各用紙画像の比較に基づいて、他の用紙画像と輝度値が一致しない箇所を影領域と判定する。これにより印字箇所を誤って影領域と判定してしまう事象を削減することができる。
印字箇所除去部１１５は、その他、予め記録されているフォーマット情報を用いて、プレプリントされている領域や、記入欄などの領域の輝度値を、印字箇所以外の下地の輝度に合わせる処理を行うようにしてもよい。

また影領域判定部は、用紙画像における印字箇所を表す所定値未満の輝度値の画素を特定した後、その印字箇所を影領域候補と特定する画素の対象から除いて印字箇所以外において影領域候補を特定してもよい。

＜第三の実施形態＞
図９は第三の実施形態による画像処理装置の機能ブロック図である。
第三の実施形態による画像処理装置１のハードウェア構成は第一の実施形態と同様である。第三の実施形態による画像処理装置１の機能は、第一の実施形態の画像処理装置１の各機能に加え、全体輝度整合部１１６を備える点で第一の実施形態と異なっている。

全体輝度整合部１１６は、例えば照明７が暗く読取対象物にその暗い照明７の影響が反映した暗い画像を取得した場合、その画像全体を明るく補正する。具体的には全体輝度整合部１１６は、複数回の撮影それぞれで生成した画像のうちの基準となる画像における印字されていない領域の輝度と比較して他の画像の印字されていない領域の輝度が全体に渡って同じレベルかを判定する。例えば基準となる画像は照明７の照度が適切なタイミングにおいて予め基準画像として記憶しておいた上記第一用紙画像３１であってよい。また他の画像は第二用紙画像３２であってよい。全体輝度整合部１１６は、基準となる用紙画像の印字されていない領域の輝度に、新たに撮影して得られた他の比較対象の用紙画像の印字されていない領域の輝度を一致させる処理を行う。全体輝度整合部１１６は、画素値のヒストグラムを用いて、用紙の下地部分に相当する輝度が複数の用紙画像間で全体的に略等しくなるように調整してもよい。全体輝度整合部１１６における用紙画像の輝度補正処理は、ヒストグラムによる補正処理など、公知の輝度補正技術を用いてよい。

そして影領域判定部１１２は、基準となる用紙画像の印字されていない領域の輝度に、他の用紙画像の印字されていない領域の輝度を一致させた後の各用紙画像の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する。

このような処理を行うことで、照明７が暗い場合などに読取対象物全体が暗くなる現象を改善した上で影領域を特定することができ、影領域の特定をより精度高く行うことができる。

＜第四の実施形態＞
上述の処理では２つの画像データから検出した各用紙画像を比較して影領域を特定したが、それ以上のより多い数の画像データから検出した各用紙画像間で画素の輝度値を比較して影領域を特定するようにしてもよい。例えば、画像入力装置２において、５回、撮影部２２との相対位置をずらして用紙３が台座２１に置かれた状態とされ、画像入力装置２が、用紙の各相対位置ずれの各状態において、その都度、撮影して画像データを出力する。そして画像処理装置１はそれら５つの各用紙画像を比較して影領域を特定するようにしてよい。

図１０は撮影部との相対位置をずらして用紙が台座に置かれた異なる状態を一つの図に重ねて表した図である。
具体的に影領域判定部１１２は、複数回の撮影それぞれで生成された画像データに対応する各用紙画像において他の用紙画像と第一の閾値以上の差分のある画素を第一の影領域候補と判定する。影領域判定部１１２は第一の影領域候補の中で他の画素との差分値が第一の閾値よりもさらに大きい第二の閾値以上となる画素を第二の撮影領域候補と判定する。影領域判定部１１２は、台座２１の左上角を原点２１０とする台座座標系と、用紙３の左上角を原点３１０とする用紙座標系とを認識する。画像処理装置１の制御部１１１は、台座座標系と、各用紙画像によって異なる用紙座標系との対応関係を記憶している。影領域判定部１１２は、用紙３の用紙座標系において特定した第一の撮影領域候補となる画素に対応する台座座標系の画素に第一影判定フラグ（第一の影判定値）を１つ投票する。また影領域判定部１１２は、用紙３の用紙座標系において特定した第二の撮影領域候補となる画素に対応する台座座標系の画素に第二影判定フラグ（第二の影判定値）を１つ投票する。第二撮影領域候補は第一撮影領域候補にも含まれるため、第二撮影領域候補となる画素に対応する台座座標系の画素には第一判定フラグと第二判定フラグとがそれぞれ投票されることとなる。影領域判定部１１２はこの処理を複数の各用紙画像の全ての画素について行う。

影領域判定部１１２は台座座標系が示す各画素において第二影判定フラグが投票されている画素については直ちに影領域と特定する。また影領域判定部１１２は台座座標系が示す各画素において第二影判定フラグが投票されておらず第一影判定フラグのみが投票されている画素についてはそのフラグ数をカウントする。影領域判定部１１２はカウントしたフラグ数が閾値以上である場合に、その台座座標系の画素に対応する各用紙画像の画素を影領域と特定する。

以上の処理によれば、複数回、撮影部２２との相対位置をずらして用紙３が台座２１に置かれた際の各画像データによる用紙画像の比較の結果、輝度差が比較的低い場合には多くの用紙画素間で違いがあると判定された台座座標系の画素に対応する用紙座標系の画素のみ影領域と判定される。したがって、より精度良く影領域を判定することができる。

図１１は画像処理装置の最小構成を示す図である。
図１１が示すように画像処理装置１は少なくとも影領域判定部を備えればよい。
撮影領域判定部は、撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する。

上述の画像処理装置は内部に、コンピュータシステムを有している。そして、画像処理装置に上述した各処理を行わせるためのプログラムは、当該画像処理装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを画像処理装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・画像処理装置
２・・・画像入力装置
３・・・用紙
４・・・什器
２１・・・台座
２２・・・撮影部
２３・・・アーム部
２４・・・ベース部
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・ＨＤＤ
１０５・・・ユーザインタフェース
１０６・・・通信モジュール
１１１・・・制御部
１１２・・・影領域判定部
１１３・・・輝度補正テーブル生成部
１１４・・・影削減処理部
１１５・・・印字箇所除去部
１１６・・・全体輝度整合部

Claims (10)

1. 台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置であって、
   前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する影領域判定部
   を備える画像処理装置。
2. 前記影領域における画素の輝度値に基づいて当該輝度値に乗じる輝度補正係数を保持した輝度補正テーブルを生成する輝度補正テーブル生成部と、
   前記特定の撮影により生成された画像の影領域の各画素に前記輝度補正テーブルに記録されている対応する画素についての輝度補正係数を乗じる影削減処理部と、
   を備える請求項１に記載の画像処理装置。
3. 前記読取対象物における印字箇所を表す所定値未満の輝度値の画素を特定し、その画素を印字箇所以外の下地の輝度に補正する印字箇所除去部と、を備え、
   前記影領域判定部は、前記印字箇所を印字箇所以外の下地の輝度に補正した後の各画像の比較に基づいて他の画像と輝度値が一致しない箇所を影領域と判定する
   請求項１または請求項２に記載の画像処理装置。
4. 前記読取対象物における印字箇所を表す所定値未満の輝度値の画素を特定し、その画素を印字箇所以外の下地の輝度に補正する印字箇所除去部と、を備え、
   前記影領域判定部は、前記読取対象物における印字箇所を表す所定値未満の輝度値の画素を特定し、当該印字箇所を前記処理対象から除いて前記影領域を判定する
   請求項１または請求項２に記載の画像処理装置。
5. 前記複数回の撮影それぞれで生成した画像のうちの基準となる画像における印字されていない領域の輝度と比較して他の画像の印字されていない領域の輝度が全体に渡って異なる場合、基準となる画像の印字されていない領域の輝度に、前記他の画像の印字されていない領域の輝度を一致させる全体輝度整合部と、を備え、
   前記影領域判定部は、前記基準となる画像の印字されていない領域の輝度に、前記他の画像の印字されていない領域の輝度を一致させた後の各画像の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する
   請求項１から請求項４の何れか一項に記載の画像処理装置。
6. 前記影領域判定部は、前記複数回の撮影それぞれで生成した各画像において影領域と判定した画素に対応する前記台座の座標系における画素に影判定値を付与し、当該影判定値が付与された回数と、前記輝度値の差が所定閾値以上の箇所の輝度差とに基づいて、前記影領域を判定する
   請求項１から請求項４の何れか一項に記載の画像処理装置。
7. 前記読取対象物と前記撮影部との相対位置をずらす摺動機構が前記台座に設けられた前記画像入力装置の出力した前記画像データを処理する請求項１から請求項６の何れか一項に記載の画像処理装置。
8. 前記台座にユーザによって前記撮影部との相対位置をずらして置かれた読取対象物を撮影する前記画像入力装置の出力した前記画像データを処理する
   請求項１から請求項６の何れか一項に記載の画像処理装置。
9. 台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置の処理方法であって、
   前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する
   処理方法。
10. 台座と台座領域に置かれた読取対象物とを撮影する撮影部とを有する画像入力装置の出力した画像データを処理する画像処理装置のコンピュータを、
    前記撮影部との相対位置をずらして置かれた読取対象物を撮影してそれら複数回の撮影それぞれで生成した各画像の輝度値の比較に基づいて輝度値の差が所定閾値以上の箇所を影領域と判定する影領域判定手段
    として機能させるプログラム。

Images