実施の形態1
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は本発明に係る画像処理装置を備える画像形成装置100の構成を示すブロック図である。画像形成装置100(例えば、デジタルカラー複写機や複合機能、プリンタ機能、ファイリング機能、ファックスや電子メール配信機能を備えた複合機)は、カラー画像入力装置1、カラー画像処理装置2(画像処理装置)、画像形成手段としてのカラー画像出力装置3、各種操作を行うための操作パネル4などを備える。
カラー画像入力装置1で原稿を読み取ることにより得られたRGB(R:赤、G:緑、B:青)のアナログ信号の画像データは、カラー画像処理装置2へ出力され、カラー画像処理装置2で所定の処理が行われ、CMYK(C:シアン、M:マゼンタ、Y:イエロー、K:黒)のデジタルカラー信号としてカラー画像出力装置3へ出力される。
カラー画像入力装置1は、例えば、CCD(Charged Coupled Device)を備えたスキャナであり、原稿画像からの反射光像をRGBのアナログ信号として読み取り、読み取ったRGB信号をカラー画像処理装置2へ出力する。また、カラー画像出力装置3は、原稿画像の画像データを記録紙上に出力する電子写真方式やインクジェット方式などを用いた画像形成手段である。また、カラー画像出力装置3は、ディスプレイ等の表示装置であってもよい。
カラー画像処理装置2は、CPU、ASIC(Application Specific Integrated Circuit)などにより構成される。
A/D変換部20は、カラー画像入力装置1から入力されたRGB信号を、例えば、10ビットのデジタル信号に変換し、変換後のRGB信号をシェーディング補正部21へ出力する。
シェーディング補正部21は、入力されたRGB信号に対して、カラー画像入力装置1の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正処理を行う。また、シェーディング補正部21は、濃度信号などカラー画像処理装置2で採用されている画像処理システムが扱い易い信号に変換する処理を行い、補正後のRGB信号(画像)を文書照合処理部22へ出力する。
文書照合処理部22は、入力された画像(画像データ)を二値化し、二値画像に基づいて特定された連結領域の特徴点(例えば、重心)を算出し、算出した特徴点の中から複数の特徴点を選択し、選択した特徴点に基づいて不変量を求め、該不変量に基づいて特徴量(例えば、ハッシュ値)を算出する。文書照合処理部22は、算出した特徴量に基づいて入力された画像(原稿画像)が予め記憶されている登録フォーマット(登録画像)に類似するか否かを判定し、類似すると判定した場合、入力画像(原稿画像)に記入漏れ(記載漏れ)があるか否かを判定し、判定信号(記入漏れの有無を示す判定結果)を出力する。また、文書照合処理部22は、入力されたRGB信号をそのまま後段の入力階調補正部23へ出力する。
入力階調補正部23は、入力されたRGB信号(RGBの反射率信号)に対して、カラーバランスを整える処理を行うとともに、下地濃度の除去又はコントラストなど画質調整処理を施し、処理後のRGB信号を領域分離処理部24へ出力する。
領域分離処理部24は、入力されたRGB信号に基づき、入力された画像中の各画素が、文字領域、網点領域、写真領域の何れであるかを分離する。領域分離処理部24は、分離結果に基づいて、各画素がどの領域に属しているかを示す領域識別信号を黒生成下色除去部26、空間フィルタ処理部27、出力階調補正部28、階調再現処理部29へ出力する。また、領域分離処理部24は、入力されたRGB信号をそのまま後段の色補正部25へ出力する。
色補正部25は、入力されたRGB信号をCMYの色空間に変換し、カラー画像出力装置3の特性に合わせて色補正を行い、補正後のCMY信号を黒生成下色除去部26へ出力する。具体的には、色補正部25は、色再現の忠実化のため、不要吸収成分を含むCMY色材の分光特性に基づいた色濁りを取り除く処理を行う。
黒生成下色除去部26は、色補正部25から入力されたCMY信号に基づいて、K(黒)信号を生成するとともに、入力されたCMY信号からK信号を差し引いて新たなCMY信号を生成し、生成したCMYK信号を空間フィルタ処理部27へ出力する。
黒生成下色除去部26における処理の一例を示す。例えば、スケルトンブラックによる黒生成を行う処理の場合、スケルトンカーブの入出力特性をy=f(x)とし、入力されるデータをC、M、Yとし、出力されるデータをC′、M′、Y′、K′とし、UCR(Under Color Removal)率をα(0<α<1)とすると、黒生成下色除去処理により出力
されるデータ夫々は、K′=f{min(C、M、Y)}、C′=C−αK′、M′=M−αK′、Y′=Y−αK′で表される。
空間フィルタ処理部27は、黒生成下色除去部26から入力されたCMYK信号に対して、領域識別信号に基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、カラー画像出力装置3における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ処理部27は、領域分離処理部24において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ処理部27は、領域分離処理部24において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部27は、処理後のCMYK信号を出力階調補正部28へ出力する。
出力階調補正部28は、空間フィルタ処理部27から入力されたCMYK信号に対して、カラー画像出力装置3の特性値である網点面積率に変換する出力階調補正処理を行い、出力階調補正処理後のCMYK信号を階調再現処理部29へ出力する。
階調再現処理部29は、領域分離処理部24から入力された領域識別信号に基づいて、出力階調補正部28から入力されたCMYK信号に対して所定の処理を行う。例えば、階調再現処理部29は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、カラー画像出力装置3における高周波成分の再現に適するように二値化処理又は多値化処理を行う。
また、階調再現処理部29は、領域分離処理部24において網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理(中間調生成)を行う。さらに、階調再現処理部29は、領域分離処理部24において写真領域に分離された領域を、カラー画像出力装置3における階調再現性に適するように二値化処理又は多値化処理を行う。
カラー画像処理装置2は、階調再現処理部29で処理された画像データ(CMYK信号)を記憶部(不図示)に一旦記憶し、画像形成をする所定のタイミングで記憶部に記憶した画像データを読み出し、読み出した画像データをカラー画像出力装置3へ出力する。これらの制御は、例えば、CPU(不図示)により行われる。また、カラー画像処理装置2内のCPU(不図示)は、文書照合処理部22から出力された判定信号に基づいて、原稿画像に対して所定の処理(例えば、記入漏れの報知、記載漏れ原稿の排出など)を行うように制御する。
図2は文書照合処理部22の構成を示すブロック図である。文書照合処理部22は、特徴点算出部221、特徴量算出部222、投票処理部223、類似度判定処理部224、記入事項判定処理部225、メモリ226、前述の各部を制御する制御部227などを備えている。
特徴点算出部221は、入力された画像データ(原稿画像)に対して後述する所定の処理を行うとともに、入力画像の文字列あるいは罫線の連結領域を抽出し、連結領域の特徴点(例えば、重心)を算出する。より具体的には、特徴点算出部221は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点(例えば、連結領域を構成する各画素の二値画像における座標値を累積加算し、累積加算した座標値を連結領域に含まれる画素数で除算した値)を抽出(算出)し、抽出した特徴点を特徴量算出部222へ出力する。
図3は特徴点算出部221の構成を示すブロック図である。特徴点算出部221は、無彩化処理部2210、解像度変換部2211、フィルタ処理部2212、二値化処理部2213、重心算出部2214などを備えている。
無彩化処理部2210は、入力された画像(画像データ)がカラー画像である場合、カラー画像を無彩化して、輝度信号又は明度信号に変換し、変換後の画像を解像度変換部2211へ出力する。例えば、輝度信号Yjは、各画素RGBの色成分を夫々Rj、Gj、Bjとし、Yj=0.30×Rj+0.59×Gj+0.11×Bjで表すことができる。なお、上式に限らず、RGB信号をCIE1976L* a* b* 信号に変換することもできる。
解像度変換部2211は、入力された画像がカラー画像入力装置1で光学的に変倍された場合であっても、所定の解像度になるように入力された画像を再度変倍し、変倍された画像をフィルタ処理部2212へ出力する。これにより、カラー画像入力装置1で変倍処理が行われ解像度が変化した場合であっても、その影響を受けることなく特徴点の抽出を行うことができ、精度良く原稿を分類することができる。特に、縮小された文字などの場合、二値化処理を行って連結領域を特定するとき、文字が潰れているために本来離れている領域が繋がった状態で特定され、算出される重心がずれる虞を防止できる。また、解像度変換部2211は、カラー画像入力装置1で等倍時に読み込まれる解像度よりも小さい解像度に変換する。例えば、カラー画像入力装置1において600dpi(dot per inch)で読み込まれた画像を300dpiに変換する。これにより、後段における処理量を低減することができる。
フィルタ処理部2212は、入力された画像が有する空間周波数特性を補正し(例えば、画像の強調化処理及び平滑化処理など)、補正後の画像を二値化処理部2213へ出力する。フィルタ処理部2212は、カラー画像入力装置1の空間周波数特性が機種ごとに異なるため、異なる空間周波数特性を所要の特性に補正する。カラー画像入力装置1が出力する画像(例えば、画像信号)には、レンズ又はミラーなどの光学系部品、CCDの受光面のアパーチャ開口度、転送効率、残像、物理的な走査による積分効果及び走査むら等に起因して画像のぼけなどの劣化が生ずる。フィルタ処理部2212は、境界又はエッジなどの強調処理を行うことにより、画像に生じたぼけなどの劣化を修復する。また、フィルタ処理部2212は、後段で処理される特徴点の抽出処理に不要な高周波成分を抑制するための平滑化処理を行う。これにより、特徴点を精度良く抽出することができ、結果として画像の類似度の判定を精度良く行うことが可能となる。なお、フィルタ処理部2212で使用するフィルタ係数は、使用されるカラー画像入力装置1の機種又は特性などに応じて適宜設定することができる。
図4はフィルタ処理部2212のフィルタ係数の例を示す説明図である。図に示すように、空間フィルタは、例えば、7×7(7行、7列)の大きさを有し、強調処理及び平滑化処理を行う混合フィルタである。入力された画像の画素を走査し、空間フィルタによる演算処理をすべての画素に対して行う。なお、空間フィルタの大きさは、7×7の大きさに限定されるものではなく、3×3、5×5などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用されるカラー画像入力装置1の機種又は特性などに応じて適宜設定することができる。
二値化処理部2213は、入力された画像の輝度値(輝度信号)又は明度値(明度信号)を閾値と比較することにより画像を二値化し、二値化した二値画像を重心算出部2214へ出力する。
重心算出部2214は、二値化処理部2213から入力された二値画像の各画素の二値化情報(例えば、「1」、「0」で表される)に基づいて、各画素に対してラベリング(ラベル付け処理)を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部222へ出力する。なお、特徴点は、二値画像(原稿画像)における座標(x′、y′)で表すことができる。
図5は連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「A」であり、同一ラベルが付された画素の集合として特定される。この文字「A」の特徴点(重心)は、図中黒丸で示される位置(x′座標、y′座標)となる。
図6は文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類により夫々異なる座標を有する特徴点が複数抽出される。
特徴量算出部222は、特徴点算出部221から入力された特徴点を用いて、回転、拡大、縮小などの処理に対する不変量を求め、該不変量に基づいて特徴量(例えば、ハッシュ値)を算出する。より具体的には、特徴量算出部222は、特徴点算出部221から入力された特徴点(すなわち、連結領域の重心の座標値)夫々を注目特徴点とし、例えば、注目特徴点からの距離が小さい周辺の他の特徴点を4つ抽出する。
図7は注目特徴点と周辺の特徴点を示す説明図である。図に示すように、注目特徴点P1に対して、例えば、注目特徴点P1からの距離が近い順に、閉曲線S1で囲まれる4つの特徴点を抽出する(注目特徴点P1に対しては、注目特徴点P2も1つの特徴点として抽出されている)。また、注目特徴点P2に対して、例えば、上記と同様に注目特徴点P2からの距離が近い順に、閉曲線S2で囲まれる4つの特徴点を抽出する(注目特徴点P2に対しては、注目特徴点P1も1つの特徴点として抽出されている)。
特徴量算出部222は、抽出した4つの特徴点の中から3つの特徴点を選択して、不変量を算出する。なお、選択する特徴点は3つに限られるものではなく、4つ、5つなどの特徴点を選択することもできる。求めたい不変量の種類によって選択すべき特徴点の数が異なる。例えば、3点から求められる不変量は相似不変量となる。
図8は注目特徴点P1による不変量の算出例を示す説明図であり、図9は注目特徴点P2による不変量の算出例を示す説明図である。図8に示すように、注目特徴点P1の周辺の4つの特徴点から3つの特徴点を選択し、3通りの不変量夫々をH1j(j=1、2、3)とする。不変量H1jは、H1j=A1j/B1jで表される式で算出する。ここで、A1j、B1j夫々は特徴点間の距離を示しており、特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。これにより、例えば、原稿が回転、移動、傾いた場合であっても、不変量H1jは変化せず、画像の類似度の判定を精度良く行うことができ、類似する原稿を精度良く判定することができる。
同様に、図9に示すように、注目特徴点P2の周辺の4つの特徴点から3つの特徴点を選択し、3通りの不変量夫々をH2j(j=1、2、3)とする。不変量H2jは、H2j=A2j/B2jで表される式で算出する。ここで、A2j、B2j夫々は特徴点間の距離を示しており、上記と同様に特徴点間の距離は、各周辺特徴点の座標値に基づいて算出される。以下同様に、他の注目特徴点に対して不変量を算出することができる。
特徴量算出部222は、夫々の注目特徴点により算出された不変量に基づいて、ハッシュ値(特徴量)Hiを算出する。注目特徴点Piのハッシュ値Hiは、Hi=(Hi1×102 +Hi2×101 +Hi3×100 )/Eで表される。ここで、Eは余りをどの程
度設定するかにより決定される定数であり、例えば、「10」とした場合には、余りは「0」〜「9」となり、これが算出するハッシュ値の取り得る範囲となる。また、iは自然数であり特徴点の数を表している。
図10は注目特徴点P3による不変量の算出の他の例を示す説明図であり、図11は注目特徴点P4による不変量の算出の他の例を示す説明図である。図10に示すように、注目特徴点P3の周辺特徴点P1、P2、P4、P5の4点より4通りの組み合わせを選択し、不変量H3j(j=1、2、3、4)を前述の場合と同様に、H3j=A3j/B3jにより算出してもよい。
また、図11に示すように、注目特徴点P4の周辺特徴点P2、P3、P5、P6の4点より4通りの組み合わせを選択し、不変量H4j(j=1、2、3、4)を前述の場合と同様に、H4j=A3j/B3jにより算出してもよい。図10及び図11の例の場合、注目特徴点Piのハッシュ値Hiは、Hi=(Hi1×103 +Hi2×102 +Hi3×101 +Hi4×100 )/Eで算出することができる。
なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として4点を抽出する例を示しているが、4点に限定されるものではない。例えば、6点抽出するようにしても良い。この場合、6点の特徴点から5点を抽出し、5点を抽出する6通りそれぞれの方法について、5点から3点を抽出して不変量を求め、ハッシュ値を算出するようにしても良い。これにより、1つの特徴点から1つのハッシュ値を算出することも、1つの特徴点から複数のハッシュ値を算出することもできる。
特徴量算出部222は、原稿画像の特徴点を表すインデックスと、該特徴点に基づいて算出されたハッシュ値と、該特徴点の原稿画像上の座標とを原稿画像の特徴点座標テーブルとしてメモリ226に記憶する。
原稿画像の登録を行う場合は、例えば、画像形成装置100の操作パネル4より原稿登録モードを選択して行う。原稿登録モードが選択されているか否かは制御部227により判定される。原稿登録モードが選択されていない場合は、通常の複写、ファイリング、電子メール送信動作等を行う。なお、原稿登録処理は、文書照合処理部22などの専用のハードウエア回路で構成するだけでなく、CPU、RAM、ROMなどを備えたパーソナルコンピュータに、原稿登録処理の手順を定めたコンピュータプログラムをロードすることによりCPUでコンピュータプログラムを実行させることにより行うこともできる。
図12は原稿画像の特徴点座標テーブル2261の構造を示す説明図である。原稿画像の特徴点座標テーブル2261は、原稿画像の特徴点を表すインデックス、特徴点に基づいて算出されたハッシュ値、特徴点の原稿画像上の座標(x′座標、y′座標)の各欄により構成されている。
図12に示すように、例えば、原稿画像の特徴点を表すインデックスがp1である特徴点に基づいて算出されたハッシュ値はH1、特徴点の座標は(x11′、y11′)である。また、同様に、原稿画像の特徴点を表すインデックスがp2である特徴点に基づいて算出されたハッシュ値はH8、特徴点の座標は(x32′、y32′)である。
図13は登録フォーマットのハッシュテーブル2262の構造を示す説明図である。図13(a)に示すように、ハッシュテーブル2262の構造は、ハッシュ値及び原稿(登録フォーマット)を表すインデックスの各欄により構成されている。より具体的には、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量(いずれも不図示)が登録されている。ハッシュテーブル2262はメモリ226に記憶してある。また、画像の類似度を判定するため、予め登録フォーマット(照合する画像・文書画像)をメモリ226に記憶してある。なお、図13(b)に示すように、ハッシュ値が等しい場合(H1=H5)、ハッシュテーブル2262の2つのエントリを1つにまとめることもできる。
図14は登録フォーマットの特徴点座標テーブル2263の構造を示す説明図である。登録フォーマットの特徴点座標テーブル2263は、メモリ226に記憶してあり、各登録フォーマットを識別するための原稿を表すインデックス、各登録フォーマットにおいて算出された特徴点を識別するための特徴点を表すインデックス、各特徴点の登録フォーマット上の座標(x座標、y座標)の各欄により構成されている。
図14に示すように、例えば、原稿を表すインデックスがID1の登録フォーマットは、特徴点f11、f12、f13、f14、…を有し、それぞれの登録フォーマット上の特徴点の座標は、(x11、y11)、(x12、y12)、(x13、y13)、(x14、y14)、…である。他の登録フォーマットID2、…についても同様である。
投票処理部223は、特徴量算出部222が算出したハッシュ値(特徴量)に基づいて、メモリ226に記憶された登録フォーマットのハッシュテーブル2262を検索し、ハッシュ値が一致する場合、該ハッシュ値に登録されている原稿を表すインデックス(すなわち、一致するハッシュ値が算出された画像)に投票する。投票を累積加算した結果を得票数として類似度判定処理部224へ出力する。
また、投票処理部223は、原稿画像のハッシュ値と登録フォーマットのハッシュ値とが一致する場合、原稿画像の特徴点がどの登録フォーマットの何れの特徴点に投票したかを判定し、判定結果を特徴点投票テーブル2264としてメモリ226に記憶する。
図15は特徴点投票テーブル2264の構造を示す説明図である。特徴点投票テーブル2264は、登録フォーマットの原稿を表すインデックスID1、ID2、ID3、ID4、…、IDnに対応して登録フォーマットの特徴点を表すインデックスf11、f21、…、fn1(以下「fn1」と示す。)、f12、f22、…、fn2(以下「fn2」と示す)、以下同様に、fn3、fn4、fn5、fn6、fn7、…で構成されるマトリクスの各要素に原稿画像の特徴点を表すインデックスp1、p2、…が記録されたものである。
図15に示すように、例えば、インデックスp1で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスID1の特徴点f11のハッシュ値と一致すると判定されている。また、インデックスp2で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスID3の特徴点f32のハッシュ値と一致すると判定されている。さらに、インデックスp3で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスID1の特徴点f13のハッシュ値と一致すると判定されている。以下、インデックスp4、p5、p6、p7、…についても同様である。
類似度判定処理部224は、投票処理部223から入力された投票結果に基づいて、読み取られた原稿画像がいずれの登録フォーマットに類似するかを判定し、判定結果を記入事項判定処理部225へ出力する。より具体的には、類似度判定処理部224は、投票処理部223から入力された得票数を原稿画像の最大得票数(特徴点の数×1つの特徴点から算出されるハッシュ値の数で表される)で除算して正規化した類似度を算出する。類似度判定処理部224は、算出した類似度と予め定めた閾値Th(例えば、0.8)とを比較し、類似度が閾値Th以上である場合には、その類似度が算出された登録フォーマットに類似すると判定し、類似度が閾値Thより小さい場合には、原稿画像に類似する登録フォーマットはないと判定して、その判定結果を記入事項判定処理部225へ出力する。なお、投票処理部223から入力された得票数を予め定めた閾値と比較し、得票数が閾値以上であれば、原稿画像が予め登録された登録フォーマットに類似すると判定し、さらに類似と判定された中で最も得票数の高い登録フォーマットが原稿画像に一致すると判定することもできる。
図16は投票結果に基づく類似判定の一例を示す説明図である。図16に示すように、読み取った原稿画像から算出されたハッシュ値毎にハッシュテーブル2262を検索して投票した結果、原稿を表すインデックスがID1、ID2、ID3で示される登録フォーマットに対して投票されたとする。投票の結果得られたそれぞれの得票数を原稿画像の最大得票数で除算して正規化した類似度N1、N2、N3を算出する。算出した類似度が閾値Th以上であるのは、原稿を表すインデックスがID1で示される登録フォーマットであるため、原稿画像は、原稿を表すインデックスID1の登録フォーマットに類似すると判定される。
記入事項判定処理部225は、類似度判定処理部224から原稿画像が登録フォーマットに類似するとの判定結果が出力された場合、原稿画像に記入漏れがあるか否かを判定し、記入漏れの有無を示す判定信号を出力する。より具体的には、記入事項判定処理部225は、原稿画像と登録フォーマットとの位置合わせを行う位置合わせ処理、記入漏れの判定領域を特定する処理、原稿画像及び登録フォーマットそれぞれの各画素が有する画素値(例えば、輝度値)の差分を算出する差分処理、算出された差分に基づいて原稿画像に記入漏れがあるか否かを判定する判定処理などを行う。
次に、登録フォーマットの座標系を原稿画像の座標系に変換して画像の位置合わせを行う位置合わせ処理について説明する。なお、以下の説明においては、原稿画像は、原稿を表すインデックスがID1の登録フォーマットに類似していると判定されたものとする。
記入事項判定処理部225は、メモリ226にアクセスして、特徴点投票テーブル2264から原稿を表すインデックスがID1に投票された原稿画像の特徴点を抽出する。図15の例では、原稿画像の特徴点を表すインデックスは、p1、p3、p4、p7である。
記入事項判定処理部225は、抽出した原稿画像の特徴点を表すインデックスp1、p3、p4、p7に対応(ハッシュ値が一致)する登録フォーマットの特徴点を表すインデックスf11、f13、f14、f17を特定する。記入事項判定処理部225は、登録フォーマットの特徴点座標テーブル2263及び原稿画像の特徴点座標テーブル2261を参照して、式(1)で示される登録フォーマットの特徴点の座標についての行列Jin、式(2)で示される原稿画像の特徴点の座標についての行列Joutを求め、変換行列Wの変換係数を式(3)と仮定する。
記入事項判定処理部225は、式(4)により変換行列Wを算出する。この場合、式(4)の両辺にJinの転置行列JinT を乗算して式(5)を求め、さらに、式(5)の両辺にJinT Jinの逆行列を乗算して式(6)を求めることにより、変換係数を算出
する。記入事項判定処理部225は、算出した変換係数で示される変換行列Wを用いて、式(7)で示す如く、登録フォーマット上の任意の座標(x、y)を、原稿画像上の座標(x′、y′)に変換する。
図17は原稿画像及び登録フォーマットの位置合わせを示す説明図である。図17に示すように、登録フォーマットの特徴点f11、f13、f14、f17と、原稿画像の特徴点p1、p3、p4、p7をそれぞれ対応付けることにより、登録フォーマットの原点(画像の左上の画素)と原稿画像の左上の画素の位置がずれている場合であっても、両画像の原点を一致させることができ、登録フォーマットと原稿画像との位置合わせを行うことができる。なお、各画像の特徴点の数は、4つに限定されるものではない。また、登録フォーマットの書式によっては、多数の特徴点が存在する場合、その中からいくつかの特徴点を選択することもできる。
次に、記入漏れの有無を判定する判定領域(判定箇所)の特定について説明する。図18は登録フォーマットの一例を示す説明図である。図18に示すように、登録フォーマット(すなわち、所定の書式の書類)には、一例として、日付、氏名、住所、電話番号、内容の各項目名に対する記載欄が設けられている。また、各記載欄のうち、記入漏れの判定を行う箇所は、日付、氏名、住所、電話番号の各項目名に対する記載欄(図中模様入りの領域)が予め定められている。
図19は記入漏れ判定領域を示す判定領域テーブル2265の一例を示す説明図である。図19(a)に示すように、判定領域テーブル2265は、登録フォーマットの原稿を表すインデックス、登録フォーマットの項目名、項目名に対する記載欄の対角座標により構成され、さらに、図19(b)に示すように、各項目名に対する記載欄の登録フォーマット上の位置は、記載欄の各四隅の座標で特定されている。図19(b)では、一例として原稿を表すインデックスがID1の登録フォーマットの記載欄のうち日付欄の座標(x1、y1)、(x2、y1)、(x1、y2)、(x2、y2)を示している。
図19(a)に示すように、例えば、原稿を表すインデックスがID1の登録フォーマットでは、日付の記載欄は、記載欄の対角座標である座標(x1、y1)及び(x2、y2)で特定され、同様に氏名の記載欄は、座標(x3、y3)及び(x4、y4)で特定され、住所の記載欄は、座標(x5、y5)及び(x6、y6)で特定され、電話番号の記載欄は、座標(x7、y7)及び(x8、y8)で特定されている。他の登録フォーマット(原稿を表すインデックスがID2、ID3、…)についても同様である。
図20は登録フォーマットの他の例を示す説明図であり、図21は記入漏れ判定領域を示す判定領域テーブル2265の他の例を示す説明図である。図20に示すように、登録フォーマットには、日付、氏名、住所、電話番号、内容の各項目名に加えて、捺印の項目名に対する記載欄が設けられている。また、各記載欄のうち、記入漏れの判定を行う箇所は、日付、氏名、住所、電話番号、捺印の各項目名に対する記載欄(図中模様入りの領域)が予め定められている。
図21に示すように、原稿を表すインデックスがID1の登録フォーマットでは、日付の記載欄は、記載欄の対角座標である座標(x1、y1)及び(x2、y2)で特定され、同様に氏名の記載欄は、座標(x3、y3)及び(x4、y4)で特定され、捺印の記載欄は、座標(x0、y0)及び(x9、y9)で特定され、住所の記載欄は、座標(x5、y5)及び(x6、y6)で特定され、電話番号の記載欄は、座標(x7、y7)及び(x8、y8)で特定されている。
記入事項判定処理部225は、原稿画像が登録フォーマットに類似すると判定した場合、類似と判定された登録フォーマットの原稿を表すインデックスに基づいて、判定領域テーブル2265を検索し、類似する登録フォーマットの項目名及び座標値を取得し、取得した座標値に基づいて、項目名毎に記入漏れの判定領域を特定し、特定した判定領域に対応する原稿画像の領域内の記入漏れを判定する。
次に、原稿画像及び登録フォーマットそれぞれの各画素が有する画素値の差分を算出する差分処理について説明する。記入事項判定処理部225は、位置合わせが行われた原稿画像と登録フォーマットそれぞれの判定領域内の画素を、例えば、両画像の左上から右下に順次走査することにより、両画像で対応する注目画素の輝度値の差分を算出する。この場合、原稿を読み取る際の画素値の再現性などを考慮して、画像が256階調で表されているようなときには、両画像の対応する画素の輝度値の差分が5〜10程度の範囲内(差分閾値Tg)位置であれば、注目画素は同じである判定する。例えば、原稿画像のある注目画素の輝度値が210であり、登録フォーマットの対応する注目画素の輝度値が215であれば、両注目画素は同じである判定する。また、例えば、原稿画像のある注目画素の輝度値が210であり、登録フォーマットの対応する注目画素の輝度値が235であれば、両注目画素は同じでないと判定する。
記入事項判定処理部225は、画素値(例えば、輝度値)が略同じであると判定された画素数(判定画素数M)を、判定領域内の登録フォーマットが有する画素数で除算した比率が比率閾値Ts(例えば、0.99)より大きいか否かを判定し、算出された比率が比率閾値Tsより大きい場合には、原稿画像に記入漏れがあると判定し、判定信号を出力する。また、算出された比率が比率閾値Ts以下である場合には、原稿画像に記入漏れがないと判定し、判定信号を出力する。なお、画素値が略同じでないと判定された画素数を登録フォーマットが有する画素数で除算した比率が比率閾値Td(例えば、0.01)より小さいか否かを判定し、算出された比率が比率閾値Tdより小さい場合には、原稿画像に記入漏れがあると判定し、算出された比率が比率閾値Td以上である場合には、原稿画像に記入漏れがないと判定することもできる。
すなわち、記入事項判定処理は、判定領域(判定箇所)において、取得した原稿画像及び登録フォーマット(登録画像)が有する画素値の差分を算出し、算出された差分値を所定の閾値(差分閾値)と比較して画素値が略同一である画素の画素数(判定画素数)を算出し、算出された判定画素数を判定領域における登録フォーマットが有する全画素数で除算した比率を算出し、算出された比率を所定の閾値(比率閾値)と比較(大小の比較)し、比較結果に応じて記入漏れの有無の判定を行う。
登録フォーマットの座標系を原稿画像の座標系に変換して画像の位置合わせを行う場合、上述の如く、登録フォーマット全体を座標変換することもでき、あるいは、登録フォーマットの記載欄毎に座標変換を行う箇所を予め定めておき、定められた一部の箇所だけを座標変換することもできる。この場合、座標変換を行う箇所を記入漏れの判定を行う判定領域に合わせることができる。これにより、記入漏れの有無を判定する箇所だけを座標変換して記入漏れ判定処理をすることができ、画像全体の処理を行う場合に比べて、処理労力の低減を図ることができ、記入事項判定処理を高速に実現することができる。
次に、画像形成装置100の動作について説明する。図22は文書照合処理の手順を示すフローチャートである。なお、文書照合処理は、専用のハードウエア回路で構成するだけでなく、CPU、RAM、ROMなどを備えたパーソナルコンピュータに、文書照合処理の手順を定めたコンピュータプログラムをロードしてCPUでコンピュータプログラムを実行させることにより行うこともできる。また、コンピュータプログラムに、文書照合処理に加えて、文書照合処理で判定された結果に応じて判定結果の報知、原稿の排出等を制御する制御処理を加えることもできる。
制御部227は、ユーザによる操作(原稿の読み取り操作)の有無を判定し(S11)、操作がない場合(S11でNO)、ステップS11の処理を続け、ユーザによる操作があるまで待機する。ユーザによる操作があった場合(S11でYES)、制御部227は、カラー画像入力装置1で読み取られた原稿により得られた原稿画像を取得する(S12)。
制御部227は、取得した原稿画像に基づいて、特徴点を算出し(S13)、算出した特徴点に基づいてハッシュ値(特徴量)を算出する(S14)。制御部227は、算出したハッシュ値(特徴量)に基づいて、登録フォーマットのハッシュテーブル2262を検索し、ハッシュ値が一致する原稿を表すインデックスに投票する(S15)。なお、この場合、制御部227は、原稿画像の特徴点がどの登録フォーマットの何れの特徴点に投票したかを判定し、判定結果を記憶する。
制御部227は、原稿画像の最大得票数で得票数を除算して類似度を算出し(S16)、算出した類似度が閾値Thより大きいか否かを判定する(S17)。類似度が閾値Thより大きい場合(S17でYES)、制御部227は、記入事項判定処理を行う(S18)。なお、記入事項判定処理の詳細は後述する。制御部227は、記入事項判定処理で得られた判定結果を出力する(S19)。なお、カラー画像処理装置2内のCPU(不図示)は、判定結果に応じて、後述する所定の制御処理を行う。
制御部227は、すべての原稿画像を取得したか否かを判定し(S20)、すべての原稿画像を取得していない場合(S20でNO)、ステップS12以降の処理を続ける。一方、類似度が閾値Thより大きくない場合(S17でNO)、制御部227は、ステップS20以降の処理を続ける。すべての原稿画像を取得した場合(S20でYES)、制御部227は、処理を終了する。
図23及び図24は記入事項判定処理の手順を示すフローチャートである。制御部227は、原稿画像と類似すると判定された登録フォーマットの座標系(座標)を原稿画像の座標系(座標)に変換する(S101)。なお、この場合、登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの予め定められた記載欄のみの座標変換を行ってもよい。
制御部227は、判定領域テーブル2265を検索して原稿画像と類似すると判定された登録フォーマットの項目名、各項目名の座標値を取得し(S102)、取得した座標値に基づいて、記入漏れを判定するための記入事項判定領域を原稿画像上及び登録フォーマット上に特定する(S103)。
制御部227は、原稿画像と登録フォーマットの各画素のうち同じ画素値(例えば、輝度値)を有する画素数を示す判定画素数Mを「0」にし(S104)、記入事項判定領域における原稿画像と登録フォーマットの注目画素を走査することにより、各注目画素の画素値の差分を算出する(S105)。
制御部227は、算出した差分が差分閾値Tgより小さいか否かを判定し(S106)、差分が差分閾値Tgより小さい場合(S106でYES)、判定画素数Mに「1」を加算する(S107)。制御部227は、記入事項判定領域における原稿画像及び登録フォーマットのすべての画素について処理が終了したか否かを判定し(S108)、すべての画素について処理が終了していない場合(S108でNO)、ステップS105以降の処理を続ける。
制御部227は、差分が差分閾値Tgより小さくない場合(S106でNO)、ステップS108以降の処理を続ける。すべての画素について処理が終了した場合(S108でYES)、制御部227は、(判定画素数M/登録フォーマットの画素数)で表される比率が比率閾値Tsより大きいか否かを判定する(S109)。
制御部227は、比率が比率閾値Tsより大きい場合(S109でYES)、記入漏れありと判定し(S110)、記入漏れの項目名を記録し(S111)、すべての判定領域の処理が終了したか否かを判定する(S112)。一方、制御部227は、比率が比率閾値Tsより大きくない場合(S109でNO)、記入漏れなしと判定し(S113)、ステップS112以降の処理を続ける。
制御部227は、すべての判定領域の処理が終了していないと判定した場合(S112でNO)、ステップS104以降の処理を続け、すべての判定領域の処理が終了したと判定した場合(S112でYES)、処理を終了する。
上述の如く、記入事項判定処理を行う場合に、原稿画像及び登録フォーマットで同じ画素値を有する画素数と登録フォーマットの画素数との比率で判定することにより、ノイズにより原稿画像上の画素が本来有する画素値と異なる画素値となった場合であっても、登録フォーマットの画素数で除算することでノイズの影響を小さくすることができるという利点がある。
カラー画像処理装置2のCPU(不図示)は、記入事項判定処理の判定結果に応じて、記入漏れがある場合、記入漏れがある旨及び原稿の項目名のうち、いずれの項目名に記入漏れがあるかを操作パネル4に表示し、あるいは、画像形成装置100に接続されたパーソナルコンピュータのディスプレイ等に表示することができる。また、原稿を複数枚連続して読み取った場合に、読み取った原稿のいずれかに記入漏れがあるときには、読み取った原稿の何頁目の原稿に記入漏れがあるかを表示させることもできる。
また、記入漏れがあると判定された場合は、複写、ファイリング、電子メール送信、ファクシミリ送信等処理は行われない。尚、原稿が複数枚よりなる場合、ファイリング、電子メール配信、ファクシミリ送信の処理においては、1枚でも記入漏れの原稿があるとこれらの処理を行わないようにしても良い。
図25は本発明に係る原稿読取装置500の構成を示すブロック図である。図に示すように、原稿読取装置500は、カラー画像入力装置1、A/D変換部20、シェーディング補正部21、文書照合処理部22、原稿シフター機構50などを備えている。カラー画像入力装置1、A/D変換部20、シェーディング補正部21、文書照合処理部22は、上述の画像形成装置100の場合と同様であるので説明は省略する。
原稿シフター機構50は、文書照合処理部22から出力される判定信号を取得し、取得した判定信号に応じて、記入漏れがある原稿と記入漏れのない原稿を仕分けして排出する。詳細は後述する。
図26は本発明に係る原稿読取装置500の構成を示す模式図である。原稿読取装置500は、上部筐体510で構成される原稿搬送部、下部筐体560で構成されるスキャナ部などを備える。
上部筐体510には、原稿トレイ511に載置された原稿を1枚ずつ搬送するための呼込みローラ512、原稿上の画像を読み取るために原稿を搬送する搬送ローラ513a、513b、原稿を排出する際に、文書照合処理部22から入力される判定信号に基づいて、原稿の搬送方向(排出方向)に対して原稿の排出位置をシフトさせる原稿シフター機構50、排出される原稿を検知する原稿排出センサ567などを設けている。なお、原稿シフター機構50は、上下2つに分離することができるように構成されている。
下部筐体560には、載置台561の下面に沿って平行に往復移動する走査ユニット562、563、結像レンズ564、及び光電変換素子であるCCDラインセンサ565、原稿シフター機構50、排出トレイ566などが設けてある。走査ユニット562は、原稿トレイ511から搬送される原稿、あるいは、載置台561に載置された原稿に光を照射するための光源562a(例えば、ハロゲンランプなど)、原稿で反射された光を所定の光路に導くためのミラー562bなどを備えている。また、走査ユニット563は、原稿で反射された光を所定の光路に導くためのミラー563a、563bなどを備えている。
結像レンズ564は、走査ユニット563から導かれた反射光をCCDラインセンサ565上の所定の位置に結像させる。CCDラインセンサ565は、結像された光像を光電変換して電気信号を出力する。すなわち、原稿(例えば、原稿の表面)から読み取ったカラー画像に基づいて、R(赤)、G(緑)、B(青)の各色成分に色分解したデータをカラー画像処理装置2へ出力する。
図27及び図28は原稿シフター機構50の構成を示す横断面図である。原稿シフター機構50は、上下に分離可能な横断面が矩形状の筐体51、52を備え、筐体51は下部筐体560に支持され、筐体52は上部筐体510に支持されている。筐体52には、オフセット部材60、回転駆動源65、駆動伝達部材70、オフセット用駆動源75、オフセット用駆動伝達部材80などを設けてある。
オフセット部材60は、水平方向(図中、Y方向、すなわち原稿排出方向に直交する方向)に移動可能であり、筐体52の内側に配置された横断面が矩形状の筐体61、筐体61の長手方向に沿って適長離隔したオフセットローラ62、…などを備えている。オフセット部材60は、水平方向に移動することにより、原稿をオフセット排出(原稿のカテゴリ毎に原稿を水平方向にシフトして排出)する。筐体61は、原稿を搬送方向に排出するようにオフセットローラ62、…を回転自在に支持する。オフセットローラ62、…は、原稿を排出する際に原稿をチャックして排出トレイ566に排出する。
駆動伝達部材70は、回転駆動源65に接続された駆動ギア71、駆動ギア71の中央部に嵌合されたシャフト72、シャフト72上に配置された連結ギア73a、スライド部材74、連結ギア73aに螺合する連結ギア73bなどを備え、連結ギア73bの中央部には、棒状の支持部材63を嵌合してあり、支持部材63上には、適長離隔してオフセットローラ62、…を固定してある。これにより、回転駆動源65からの駆動力をオフセットローラ62、…に伝達する。
シャフト72は、水平方向に回転自在に支持され、スライド部材74は、シャフト72上を摺動することができる。また、シャフト72は、スライド部材74、連結ギア73a、73bを介してオフセット部材60を原稿の排出(搬送)方向に直交する方向(水平方向)に移動させることができる。また、シャフト72は、連結ギア73a、73b、オフセット部材60の水平方向の移動範囲を規制するため、スライド部材74に設けられた軸方向に長い孔74aに係合する規制部材72aを設けている。規制部材72aが孔74aの内側に沿って移動する際に孔74aの両端部に当接することにより、連結ギア73a、73b、オフセット部材60の水平方向の移動範囲を規制する。
回転駆動源65からの駆動力は、駆動ギア71に伝わり、駆動ギア71が回転することにより、シャフト72が回転し、シャフト72の回転に伴って、連結ギア73a、73bに回転が伝わり、連結ギア73bの回転により支持部材63が回転してオフセットローラ62が回転する。オフセットローラ62、…夫々に当接してオフセットローラ62、…の回転に従動して回転するオフセットローラ64、…が支持部材63に並行に配置された支持部材68上に配置してある。
上部筐体510、下部筐体560夫々に配置されたオフセット用駆動源75、75夫々には、ピニオンギア81、ラックギア82から構成されるオフセット用駆動伝達部材80、80を接続してあり、ラックギア82、82には、筐体61、61が固定してある。ピニオンギア81の回転に応じて、ラックギア82を水平方向(図中、Y方向)に移動させる。これにより、ラックギア82、82は、筐体61、61を水平方向に移動させる。オフセット用駆動源75、75は、文書照合処理部22から出力される判定信号に応じて同期して制御され、筐体61、61を水平方向の異なる位置に移動させる。これにより、オフセットローラ62、…、及びオフセットローラ64、…が同時に同じ方向にオフセット(シフト)されて原稿の排出位置が制御される。
図28では図27の場合に比較してオフセットローラ62、…、及びオフセットローラ64、…がオフセットされている。
図29は原稿の排出位置を示す説明図である。図では、一例として、読み取った原稿が登録フォーマットに類似する原稿(カテゴリC1)、登録フォーマットに類似しない原稿(カテゴリC2)、及び登録フォーマットに類似し、かつ記入漏れがある原稿(カテゴリC3)の3つに仕分ける場合を示す。例えば、カテゴリC1、C2、C3に応じて、原稿の排出(搬送)方向に直交する方向(Y方向)に原稿の排出位置をY1、Y2、Y3の如く、例えば、1インチ程度オフセット(シフト)させる。これにより、ユーザが多数の原稿を読み取る場合、登録フォーマットに類似する原稿を従来に比較して容易に分類することができるのみならず、記入漏れがある原稿も仕分けて分類することができ、ユーザの利便性が向上する。なお、原稿のオフセット量(シフト量)は、1インチに限定されるものではない。
図30は記入漏れを報知する画面表示例を示す説明図である。図30に示すように、記入漏れがある場合の画面表示としては、記入漏れがある旨を示す「原稿(書類名×××)に記入漏れがあります。」、記入漏れ箇所も知らせるために「原稿(書類名×××)の氏名欄が記入されていません。」、多数の原稿を読み取った場合に記入漏れがある原稿の頁を示す「OOページ目の原稿に記入漏れがあります。」、記入漏れがある原稿を仕分けて排出したことを示す「原稿の×××に記入漏れがあります。他の原稿と仕分けて排出しました。」などがある。なお、画面表示例は、これらに限定されるものではない。
実施の形態2
読み取られる原稿の用紙としては、白色の用紙であるとは限らず、再生紙、あるいは薄く着色された用紙を用いることもある。このような場合であっても、原稿画像の下地除去処理を行うことにより精度良く記入漏れの有無を判定することができる。この場合、文書照合処理部22で下地除去処理を行うことができる(文書照合処理部22に下地除去処理部を設ける)。あるいは、シェーディング補正部21の後段に入力階調補正部23を設け、入力階調補正部23の後段に文書照合処理部22を設けて、入力階調補正部23で下地除去処理を行うようにすることもできる。
原稿画像に対して下地除去を行う場合、登録フォーマットについても下地除去処理を施して登録しておく。あるいは、原稿画像に対して、登録フォーマットの下地と同じレベルの下地となるように下地除去を行う。これは、下地除去を行う際の濃度補正テーブルを適切に設定することにより可能である。
文書照合処理部22は、シェーディング補正部21から入力されたRGB信号のうちG信号を補正反転した信号を抽出し、例えば、256段階の濃度を16の区分に分割して原稿画像の濃度ヒストグラムを作成する。
また、下地であると判断される濃度値の最大値を予め第1の閾値としてメモリ226に記憶しておくとともに、どれだけの画素数以上であれば下地であると判断するか、すなわち、下地であると判断される画素数の最小値を予め第2の閾値としてメモリ226に記憶しておく。また、下地であると判断された濃度区分に対応して下地を除去するための濃度補正テーブルをメモリ226に記憶しておく。
文書照合処理部22は、作成した濃度ヒストグラムの高濃度側から検索することにより、下地であると判断される第1の閾値以下の濃度区分にあって、画素数が第2の閾値以上の濃度区分を下地として抽出する。文書照合処理部22は、下地として抽出した濃度区分に対応する濃度補正テーブルにより下地除去処理を行う。なお、G信号に代えて、輝度信号(255−Yj)を用いることもできる。ここで、Yjは各画素RGBの色成分を夫々Rj、Gj、Bjとし、Yj=0.30×Rj+0.59×Gj+0.11×Bjで表される。
図31及び図32は実施の形態2の記入事項判定処理の手順を示すフローチャートである。制御部227は、原稿画像と類似すると判定された登録フォーマットの座標系(座標)を原稿画像の座標系(座標)に変換する(S121)。なお、この場合、実施の形態1と同様に登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの設定された記載欄のみの座標変換を行ってもよい。
制御部227は、原稿画像から抽出したG信号を補正反転した信号に基づいて、原稿画像の濃度ヒストグラムを作成し(S122)、作成した濃度ヒストグラムの高濃度側から検索することにより、下地を抽出する(S123)。制御部227は、下地として抽出した濃度区分に対応する濃度補正テーブルを用いて原稿画像の下地を除去する(S124)。
制御部227は、判定領域テーブル2265を検索して原稿画像と類似すると判定された登録フォーマットの項目名、各項目名の座標値を取得し(S125)、取得した座標値に基づいて、記入漏れを判定するための記入事項判定領域を原稿画像上及び登録フォーマット上に特定する(S126)。
制御部227は、原稿画像と登録フォーマットの各画素のうち同じ画素値(例えば、輝度値)を有する画素数を示す判定画素数Mを「0」にし(S127)、記入事項判定領域における原稿画像と登録フォーマットの注目画素を走査することにより、各注目画素の画素値の差分を算出する(S128)。
制御部227は、算出した差分が差分閾値Tgより小さいか否かを判定し(S129)、差分が差分閾値Tgより小さい場合(S129でYES)、判定画素数Mに「1」を加算する(S130)。制御部227は、記入事項判定領域における原稿画像及び登録フォーマットのすべての画素について処理が終了したか否かを判定し(S131)、すべての画素について処理が終了していない場合(S131でNO)、ステップS128以降の処理を続ける。
制御部227は、差分が差分閾値Tgより小さくない場合(S129でNO)、ステップS131以降の処理を続ける。すべての画素について処理が終了した場合(S131でYES)、制御部227は、(判定画素数M/登録フォーマットの画素数)で表される比率が比率閾値Tsより大きいか否かを判定する(S132)。
制御部227は、比率が比率閾値Tsより大きい場合(S132でYES)、記入漏れありと判定し(S133)、記入漏れの項目名を記録し(S134)、すべての判定領域の処理が終了したか否かを判定する(S135)。一方、制御部227は、比率が比率閾値Tsより大きくない場合(S132でNO)、記入漏れなしと判定し(S136)、ステップS135以降の処理を続ける。
制御部227は、すべての判定領域の処理が終了していないと判定した場合(S135でNO)、ステップS127以降の処理を続け、すべての判定領域の処理が終了したと判定した場合(S135でYES)、処理を終了する。
これにより、読み取られる原稿の用紙が再生紙、あるいは薄く着色された用紙であっても、精度良く記入漏れの有無を判定することができる。
実施の形態3
実施の形態1、2においては、記入漏れの有無を判定する場合に、(判定画素数M/登録フォーマットの画素数)で表される比率を用いる構成であったが、記入漏れ判定処理は、これに限定されるものではなく、文書照合処理部22で画素数を算出することにより実現することができる。
図33及び図34は実施の形態3の記入事項判定処理の手順を示すフローチャートである。制御部227は、原稿画像と類似すると判定された登録フォーマットの座標系(座標)を原稿画像の座標系(座標)に変換する(S141)。なお、この場合、登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの予め定められた記載欄のみの座標変換を行ってもよい。
制御部227は、判定領域テーブル2265を検索して原稿画像と類似すると判定された登録フォーマットの項目名、各項目名の座標値を取得し(S142)、取得した座標値に基づいて、記入漏れを判定するための記入事項判定領域を原稿画像上及び登録フォーマット上に特定する(S143)。
制御部227は、原稿画像と登録フォーマットの各画素のうち同じ画素値(例えば、輝度値)を有する画素数を示す判定画素数Mを「0」にし(S144)、記入事項判定領域における原稿画像と登録フォーマットの注目画素を走査することにより、各注目画素の画素値の差分を算出する(S145)。
制御部227は、算出した差分が差分閾値Tgより小さいか否かを判定し(S146)、差分が差分閾値Tgより小さい場合(S146でYES)、判定画素数Mに「1」を加算する(S147)。制御部227は、記入事項判定領域における原稿画像及び登録フォーマットのすべての画素について処理が終了したか否かを判定し(S148)、すべての画素について処理が終了していない場合(S148でNO)、ステップS145以降の処理を続ける。
制御部227は、差分が差分閾値Tgより小さくない場合(S146でNO)、ステップS148以降の処理を続ける。すべての画素について処理が終了した場合(S148でYES)、制御部227は、判定画素数Mが画素数閾値より大きいか否かを判定する(S149)。
制御部227は、判定画素数Mが画素数閾値より大きい場合(S149でYES)、記入漏れありと判定し(S150)、記入漏れの項目名を記録し(S151)、すべての判定領域の処理が終了したか否かを判定する(S152)。一方、制御部227は、判定画素数Mが画素数閾値より大きくない場合(S149でNO)、記入漏れなしと判定し(S153)、ステップS152以降の処理を続ける。
制御部227は、すべての判定領域の処理が終了していないと判定した場合(S152でNO)、ステップS144以降の処理を続け、すべての判定領域の処理が終了したと判定した場合(S152でYES)、処理を終了する。
画素数を算出する構成とすることにより、原稿の記載欄の面積の大小にかかわらず、わずかな記入漏れがある場合でも、記入漏れの有無を精度よく判定することができる。
この場合、記入事項判定処理は、判定領域(判定箇所)において、取得した原稿画像及び登録フォーマット(登録画像)が有する画素値の差分を算出し、算出された差分値を所定の閾値(差分閾値)と比較して画素値が略同一である画素の画素数(判定画素数)を算出し、算出された判定画素数を所定の閾値と比較(大小の比較)し、比較結果に応じて記入漏れの有無の判定を行う。
上述の実施の形態3では、原稿画像と登録フォーマットの注目画素の画素値が略等しい画素の数に基づいて、記入漏れの有無を判定する構成であったが、これに限定されるものではなく、例えば、記入漏れ判定領域内の原稿画像と登録フォーマットの注目画素の画素値が異なる画素数を算出し、算出した画素数と所定の閾値とを比較することにより、記入漏れの有無を判定することもできる。この場合、画素値が異なる画素数が、所定の閾値より小さいか否かを判定し、画素値が異なる画素数が所定の閾値より小さい場合には、記入漏れがあると判定し、画素値が異なる画素数が所定の閾値より小さくない場合には、記入漏れがないと判定することができる。
また、記入漏れ判定領域内の原稿画像及び登録フォーマットを所定の二値化閾値で二値化し、二値化後の画素数を算出し、算出された画素数の差異の大小に応じて記入漏れを判定することもできる。この場合、例えば、原稿画像の画素数と登録フォーマットの画素数との差分が所定の画素数閾値より小さい場合には、記入漏れありと判定し、差分が所定の画素数閾値より小さくない場合には、記入漏れなしと判定することができる。また、二値化後の画素数を算出する構成に代えて、原稿画像の黒画素の数を算出することもできる。
さらに、図23及び図24(又は図31及び図32)で示した比率により記入漏れの有無を判定する処理と図33及び図34で示した画素数を算出して記入漏れの有無を判定する処理を併用することもできる。この場合、制御部227は、(判定画素数M/登録フォーマットの画素数)で表される比率が比率閾値Tsより大きく、かつ判定画素数Mが画素数閾値より大きい場合に、記入漏れありと判定し、(判定画素数M/登録フォーマットの画素数)で表される比率が比率閾値Tsより大きくなく、かつ判定画素数Mが画素数閾値より大きくない場合に、記入漏れなしと判定する。なお、いずれか一方の判定条件を満たさない場合には、原稿の種類等に応じて、いずれかの判定結果を優先することができる。
比率による記入漏れ判定と画素数による記入漏れ判定とを併用することにより、記入漏れの有無の判定精度をさらに向上させることが可能になる。
実施の形態4
上述の実施の形態1〜3では、原稿シフター機構50を設ける構成を示したが、原稿シフター機構は、原稿を排出する際にオフセットする構成に限定されるものではなく、排出トレイを原稿の排出(搬送)方向に直交する方向に可動させるように構成してもよい。この場合、原稿シフター機構において原稿をシフトさせる必要はなく、原稿を排出(搬送)させる機構があればよい。
図35は排出トレイを可動させる場合の原稿シフター機構300の構成を示す模式図であり、図36は原稿シフター機構300の構成を示す横断面図である。原稿シフター機構300は、原稿読取装置本体に固定される支持トレイ部材301及び支持トレイ部材301の上側に配置される可動トレイ部材302などを備えている。なお、原稿読取装置500の構成については、実施の形態1と同様であるので、同一箇所には同一符号を付し、説明を省略する。
支持トレイ部材301には、外形寸法よりやや小さい平面視矩形状の凹部303を設けてあり、凹部303に収容される形で、金属製の二本の互いに略平行な棒状の案内シャフト304、305が適長離隔して取り付けられている。具体的には、案内シャフト304、305夫々は、支持トレイ部材301の側壁に形成された貫通孔310、311、312、313、凹部303の底面から適長離隔して立設された軸受306、307、308、309に挿通されるとともに、軸受306、307、308、309で支承されている。
凹部303中央部には、モータ、歯車列が内蔵された減速ギアボックス(不図示)、ピニオン314などを備える駆動ユニット(不図示)を設けてあり、モータの回転は、歯車列により減速されてピニオン314に伝達される。可動トレイ部材302の上面内側には、案内シャフト304、305と平行に配置され、ピニオン314と噛合するラック315が取り付けられている。ピニオン314が回転することにより、ラック315が案内シャフト304、305の軸方向に移動する。
また、可動トレイ部材302の側縁部には、側縁辺に沿って(原稿の搬送方向に沿って)突条部316、317が形成されてあり、各突条部316、317には、案内シャフト304、305の端部が挿入され案内シャフト304、305を支承する軸受320、321、322、323を設けてある。以上の構成により、モータを駆動してピニオン314が回転すると、ピニオン314の回転がラック315に伝達されて、可動トレイ部材302は案内シャフト304、305に案内されて支持トレイ部材301に対してシートの搬送方向に直交する方向(図中矢印方向)に移動する。なお、可動トレイ部材302を移動させる手段としては、ラック及びピニオン機構に限定されるものではなく、エンドレスベルト機構又はリニアモータなどの他の機構を用いることもできる。
原稿の排出(搬送)方向に直交する方向に可動トレイ部材302を移動させる場合、例えば、実施の形態1と同様に、1インチ程度移動させることができる。これにより、ユーザが多数の原稿を読み取る場合、登録フォーマットに類似する原稿を従来に比較して容易に分類することができるのみならず、記入漏れがある原稿も仕分けて分類することができ、ユーザの利便性が向上する。なお、原稿のオフセット量(シフト量)は、1インチに限定されるものではない。
実施の形態5
上述の実施の形態1〜4では、原稿を排出する際にオフセットする構成であったが、原稿を仕分けて排出する方法は、これに限定されるものではなく、排出トレイを複数設けておき、判定信号に応じて原稿を排出する排出トレイを切替える構成とすることもできる。
図37は実施の形態5の原稿読取装置501の構成を示す模式図である。原稿搬送部520は、原稿トレイ521、回動可能であって原稿トレイ521に積層して載置された原稿を1枚ずつ搬送するための呼込みローラ522a及び捌きローラ522b、搬送された原稿を排出トレイ527a、527b、527cまで搬送するための搬送路525、搬送路525の中途に適宜設けられたレジストローラ524a、搬送ローラ524b、及び排出ローラ524cなどを備える。
排出ローラ524cの下流側には、原稿を排出する排出トレイを切替えるためのゲート523b、523d(可撓性又は自重により下方向に位置する)、523cが設けられ、ゲート523dとゲート523cとの間には、搬送ローラ524dを配置している。原稿を排出する場合、判定信号に基づいて、ゲート523b、523d、523cを駆動して、読み取った原稿が登録フォーマットに類似する原稿(カテゴリC1)は排出トレイ527aに排出し、登録フォーマットに類似しない原稿(カテゴリC2)排出トレイ527bに排出し、登録フォーマットに類似し、かつ記入漏れがある原稿(カテゴリC3)は排出トレイ527cに排出する。
すなわち、カテゴリC1の原稿を排出する場合、ゲート523bを上方向に駆動することにより、原稿を排出トレイ527aに排出する。また、カテゴリC2の原稿を排出する場合、ゲート523bを下方向に、ゲート523cを上方向に駆動することにより、原稿を排出トレイ527bに排出する。また、カテゴリC3の原稿を排出する場合、ゲート523bを下方向に、ゲート523cを下方向に駆動することにより、排出トレイ527cに排出する。
原稿トレイ521の原稿載置面には、原稿の有無を検出する原稿センサ521aを設けている。原稿センサ521aは、原稿トレイ521に載置された原稿がすべて搬送された場合、原稿が存在しないことを示す信号を出力する。これにより、原稿の搬送がすべて終了したか否かを判定することができる。
捌きローラ522bの下流側には、搬送路525と分離され、略180度湾曲した原稿搬送路526を設けている。原稿搬送路526の中途には、回動可能な原稿ローラ524eを設けてあり、原稿搬送路526に繋がるように排出トレイ527cが取付けられている。呼込みローラ522a、捌きローラ522b、及び原稿ローラ524eは、ローラ駆動部(不図示)により、正回転及び反転回転する。
搬送路525と原稿搬送路526との分岐点には、ゲート駆動部(不図示)により揺動可能なゲート523aが配置され、ゲート523aが下方向に駆動されることにより、原稿トレイ521に載置された原稿は、搬送路525側に搬送される。一方、ゲート523aが上方向に駆動されることにより、一旦排出トレイ527cに排出された原稿を原稿トレイ521へ搬送する。すなわち、本実施の形態においては、記入漏れのある原稿を引き続き読み取る必要があるような場合に、自動的に再度読み取りを行うこともできる。
下部筐体560で構成されるスキャナ部は、実施の形態1〜4と同様であるので、同一箇所には同一符号を付して説明は省略する。
実施の形態6
実施の形態5では、原稿読取装置501に複数の排出トレイを内蔵する構成であったが、原稿を分類して排出する方法は、これに限定されるものではなく、他の構成であってもよい。例えば、排出トレイに代えて、複数段の排出トレイを備えたオプション機構を追加する構成であってもよい。
図38は実施の形態6の原稿読取装置502の構成を示す模式図である。図に示すように、原稿を分類して排出するためのオプション機構530を設けている。オプション機構530は、排出トレイ534a、534b、534c、534d、各排出トレイに分けて原稿を排出するため原稿の搬送路を切替えるゲート533、…、排出ローラ532、…などを備えている。
実施の形態7
上述の各実施の形態では、記入漏れの有無を判定する場合に原稿画像と登録フォーマットの画素値を比較する構成であったが、記入漏れの有無の判定は、これに限定されるものではなく、登録フォーマットの画素値と比較することなく原稿画像のみで原稿画像の記入漏れの有無を判定することもできる。
図39は実施の形態7の記入事項判定処理部228の構成を示すブロック図である。記入事項判定処理部228は、画素値算出部2281、分布算出部2282、エッジ画素判定部2283、判定部2284などを備えている。前述の各部の処理は制御部227により制御される。また、前述の各部で求められたデータはメモリ226に記憶される。記入事項判定処理部228は、実施の形態1と同様に、原稿画像に記入漏れがあるか否かの判定処理を行う前に、原稿画像と登録フォーマットとの位置合わせを行う位置合わせ処理および記入漏れの判定領域を特定する処理を行う。これらの処理内容については、実施の形態1と同様であるので、説明は省略する。
画素値算出部2281は、入力された原稿画像(画像データ)の注目画素を含む複数の画素よりなる画素ブロック(例えば、7×7画素で構成される第1の画素ブロック)内の画素それぞれに対して、その画素を含む複数の画素よりなる画素ブロック(例えば、7×7画素で構成される第2の画素ブロック)内の各画素の濃度値の平均値を算出し、算出した平均値を、その画素の画素値とする。これにより、注目画素を含む第1の画素ブロック内の各画素(上述の例では、49個の画素)の平均値を求めることができる。なお、算出する画素値は、平均値に限定されるものではなく、第2の画素ブロック内の各画素の濃度値の中心値など、他の値を求めることもできる。
分布算出部2282は、注目画素を含む複数の画素よりなる第1の画素ブロック内の各画素の平均値を探索し、第1の画素ブロック内の最大濃度差を算出する。なお、算出する値は最大濃度差に限定されるものではなく、第1の画素ブロック内の画素値の分布を把握することができるものであれば、分散値などを算出することもできる。
エッジ画素判定部2283は、分布算出部2282で算出した最大濃度差と予め定められたエッジ判定閾値(例えば、30)とを比較し、最大濃度差がエッジ判定閾値より大きい場合、第1の画素ブロック内の注目画素がエッジ画素であると判定するとともに、エッジ画素数に1を加算して、エッジ画素数を計数する。
なお、上述の画素値算出、分布算出、エッジ画素判定の各処理は、原稿画像のすべての注目画素について繰り返し行う。
判定部2284は、原稿画像毎に、エッジ画素判定部2283で計数したエッジ画素数と所定の第1判定閾値(例えば、5000)とを比較し、エッジ画素数が第1判定閾値より大きい場合、原稿画像に記入漏れが無い、すなわち、書込みがあると判定し、エッジ画素数が第1判定閾値より小さい場合、原稿画像に記入漏れがある、すなわち、書込みが無いと判定する。
記入事項判定処理部228は、原稿画像がカラー原稿である場合、RGBのプレーン毎(色成分毎)に上述の各処理を行うことができる。また、複数の色成分のうち、何れかの色成分の最大濃度差がエッジ判定閾値より大きい場合、注目画素をエッジ画素であると判定することにより、必ずしも下地除去を行う必要はない。なお、一部の色成分のみに対して上述の各処理を行ってよい。この場合、処理労力を軽減することができる。
図40は実施の形態7の記入事項判定処理部228の処理手順を示すフローチャートである。なお、文書照合処理は、上述の実施の形態と同様に専用のハードウエア回路で構成するだけでなく、CPU、RAM、ROMなどを備えたパーソナルコンピュータに、文書照合処理の手順を定めたコンピュータプログラムをロードしてCPUでコンピュータプログラムを実行させることにより行うこともできる。
制御部227は、原稿画像と類似すると判定された登録フォーマットの座標系(座標)を原稿画像の座標系(座標)に変換する(S161)。なお、この場合、登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの予め定められた記載欄のみの座標変換を行ってもよい。
制御部227は、判定領域テーブル2265を検索して原稿画像と類似すると判定された登録フォーマットの項目名、各項目名の座標値を取得し(S162)、取得した座標値に基づいて、記入漏れを判定するための記入事項判定領域を原稿画像上に特定する(S163)。
制御部227は、注目画素を含む画素ブロック(第1の画素ブロック)内の各画素の平均値を算出し(S164)、算出した平均値を探索して第1の画素ブロックの最大濃度差を算出する(S165)。
制御部227は、算出した最大濃度差がエッジ判定閾値(例えば、30)より大きいか否かを判定し(S166)、最大濃度差がエッジ判定閾値より大きい場合(S166でYES)、注目画素がエッジ画素であるとして、エッジ画素を計数する(S167)。この場合、エッジ画素であると判定される都度、エッジ画素数に1を加算することにより、エッジ画素を計数する。最大濃度差がエッジ判定閾値より大きくない場合(S166でNO)、制御部227は、エッジ数を計数することなく後述のステップS168の処理を行う。
制御部227は、原稿画像のすべての画素の処理が終了したか否かを判定し(S168)、すべての画素の処理が終了していない場合(S168でNO)、次の注目画素に移り、ステップS164以降の処理を続ける。すべての画素の処理が終了した場合(S168でYES)、すなわち、原稿画像内のすべての画素について処理が終了した場合、制御部227は、計数したエッジ画素数が第1判定閾値(例えば、5000)より大きいか否かを判定する(S169)。
エッジ画素数が第1判定閾値より大きい場合(S169でYES)、制御部227は、原稿画像に記入漏れがないと判定し(S170)、処理を終了する。また、エッジ画素数が第1判定閾値より大きくない場合(S169でNO)、制御部227は、原稿画像に記入漏れがあると判定し(S171)、処理を終了する。
実施の形態7では、登録フォーマットの画像データを用いずに、原稿画像の画像データのみで記入漏れの有無の判定を行うことができる。また、色成分毎に、注目画素を含む複数の画素よりなる画素ブロック(第1の画素ブロック)内の濃度値の平均値を算出することにより、孤立点、読み取り時のノイズの影響、さらには、原稿の地肌部の汚れ、原稿の地肌部に付着しているダストの影響を抑制することができ、記入漏れの有無の判定精度を上げることができる。
実施の形態8
上述の各実施の形態では、原稿画像に対して記入漏れの有無を判定するものであったが、本発明は原稿画像に限定されるものではなく、電子データ(アプリケーションソフトウェアで作成されたデータ)や電子化データ(スキャナで読み込まれたデータをJPEGやPDFなど所定のファイルフォーマットに変換されたデータ)に対して適用することもできる。
例えば、電子データや電子化データの形態で提出されたデータをサーバに格納しておき、これらのデータに対して、本発明をアプリケーションソフトウェアとして適用することができる。上記データは、電子データ、ファイルフォーマット毎に格納されているのが好ましい。
電子データについては、数種類のソフトウェアが使用され得るので、例えば、RIP(ラスター・イメージ・プロセッサー)を用いて、PDL(ページ記述言語)を解釈し、ラスター・イメージ(RGBデータ)に変換して本発明の方法を適用すれば良い。
また、電子化データについては、例えば、JPEGやGIFなどの符号化された画像フォーマットの場合には、一旦復号処理を行い、さらに、必要に応じてYCC信号をRGB信号に変換するなどの色変換処理の後に本発明の方法を適用すれば良い。
PDFフォーマットの場合は、画像データがJPEGなどの符号化された画像フォーマットで保存されているときは、復号処理を実施してRGB信号に変換した上で本発明の方法を適用すればよく、フォントなどのベクタデータ部分に関しては、RIPなどを介してRGBの画像データに変換した上で本発明の方法を適用すればよい。PDFフォーマットの場合、オブジェクト(テキスト、図や写真等)毎の情報をタグとして保有しており、この情報を参考してデータの変換を行うことができる。オブジェクトの情報は、例えば、テキストの場合、フォント、ポイント数、色、表示位置等であり、写真の場合、符号化の方法、サイズ、表示位置などである。
以上説明したように、本発明にあっては、原稿画像の類似判定を行う際に、原稿画像の記入漏れ(記載漏れ)を精度良く判定することができる。また、記入漏れがある場合、記入漏れの箇所を容易に判断することができる。
また、原稿画像に記入漏れがあるか否かを判定する前段で原稿画像の下地除去を行うことにより、読み取られる原稿の用紙が再生紙、あるいは薄く着色された用紙など、登録画像と異なる場合であっても、精度良く記入漏れの有無を判定することができる。
また、原稿画像と登録画像の画素値を比較する必要がなく、取得した原稿画像のみで原稿画像の記入漏れを精度よく判定することができる。また、原稿画像での孤立点、読み取り時のノイズの影響、あるいは、原稿の地肌部の汚れ又は地肌部に付着しているダストの影響を抑制することができ、記入漏れの判定精度をさらに向上させることができる。
また、原稿を排出する際に、記入漏れ原稿と記入漏れのない原稿とに仕分けることができる。特に、多数の原稿を読み取る場合、排出される多くの原稿の中から記入漏れ原稿だけを簡単に仕分けることができ、ユーザの利便性を向上させることができる。さらに、記入漏れ原稿を容易に区別することができる。
上述の実施の形態では、登録フォーマット、ハッシュテーブル2262を予めメモリ226に記憶しておく構成であるが、これに限定されるものではなく、画像形成装置100と通信回線(ネットワーク)を通じて接続されたサーバ装置の記憶部に登録フォーマットを記憶しておき、ハッシュテーブル2262はメモリ226に分散して記憶させてもよい。
上述の実施の形態において、カラー画像入力装置1としては、例えば、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ、携帯電話機などが用いられる。また、カラー画像出力装置3としては、例えば、CRTディスプレイ、液晶ディスプレイなどの画像表示装置、処理結果を記録紙などに出力する電子写真方式又はインクジェット方式のプリンタなどが用いられる。さらに画像形成装置100としては、ネットワークを介してサーバ装置などに接続するための通信手段としてのモデムなどを備えることもできる。また、カラー画像入力装置1からカラー画像データを取得する代わりに、ネットワークを介して外部記憶装置、サーバ装置などからカラー画像データを取得する構成であってもよい。
上述の実施の形態では、文書照合処理部22の中にメモリ226、制御部227を備える構成であるが、これに限定されるものではなく、メモリ226、制御部227を文書照合処理部22の外部に設ける構成であってもよい。
本発明はコンピュータに実行させるためのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)を記録したコンピュータでの読み取り可能な記録媒体に、文書照合処理、記入漏れ報知処理、原稿の排出制御処理などを行うプログラムコードを記録することもできる。この結果、上記処理を行うプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばROMのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のコンピュータプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにCD−ROM/MO/MD/DVD等の光ディスクのディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュROM等による半導体メ
モリを含めた固定的にプログラムコードを担持する媒体であってもよい。
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のコンピュータプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。