JP2007299210A - 画像処理装置、画像形成装置、画像読取装置及び画像処理方法 - Google Patents

Abstract

【課題】従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速に画像の類似度を判定することができる画像処理装置、画像形成装置、画像読取装置、及び画像処理方法を提供する。
【解決手段】特徴点算出部２４１は、二値化処理のための閾値の算出及び画像の二値化処理を画素ブロック毎に並行して行い、二値画像に基づいてラベリング処理及び連結領域の特徴点抽出を注目ライン毎に並行して行い、抽出した特徴点を特徴量算出部２４２へ出力する。特徴量算出部２４２は、所定の不変量を算出して特徴量であるハッシュ値を算出する。投票処理部２４３は、ハッシュ値に基づいてハッシュテーブルを検索し、ハッシュ値に登録されているインデックスの原稿について投票する。類似度判定処理部２４４は、投票数を予め定めた閾値と比較し、投票数が閾値以上であれば、入力画像が予め登録された原稿の画像に類似すると判定する。
【選択図】図２

Description

本発明は、取得した画像から得られる特徴量に基づいて、予め登録された画像との類似度を判定する画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置、並びに画像処理方法に関する。

スキャナで原稿を読み取り、原稿を読み取って得られた画像データを予め登録されている画像データと照合して、画像の類似度を判定する画像処理としては、例えば、ＯＣＲ（Optical Character Reader）で画像からキーワードを抽出し、抽出したキーワードにより画像の類似度を判定する方法、類似度の判定を行う画像を罫線のある帳票画像に限定して、罫線の特徴を抽出して画像の類似度を判定する方法などが提案されている。

しかし、これらの判定処理において、画像の類似度を精度良く判定するためには、読み取る原稿の傾きなどを事前に補正（スキュー補正）しておく必要があり、スキュー補正を行うことができない場合には、画像の類似度を精度良く判定できないという問題があった。また、画像の類似度を判定する場合の処理が複雑であるため、ハードウエアにより実現することが困難であった。類似度の判定処理を単純なアルゴリズムで実現する場合には、ハードウエアにより実現することが容易になるものの、判定精度を向上させることができず、また、スキュー又はノイズなどの外乱に対する耐性が不十分であるという問題があった。

そこで、例えば、文書画像中の連結成分の重心を算出し、算出した重心を連結成分の特徴点として抽出し、抽出した特徴点に基づいて、画像の回転又は歪みに対する不変量を算出して画像の類似度を判定することにより、対象となる画像が傾いた場合、又は予め登録された画像に含まれない書込みなどがある場合でも、画像の類似度を精度良く判定することができる方法が提案されている（非特許文献１）。

また、画像図形の重心を算出する方法として、対象とする図形を囲む外接長方形領域を所定の画素マトリクスを１単位とした複数のブロックに分割し、ブロックごとに相対原点及び相対座標を定義し、所定の処理をブロックごとに行うことにより重心座標の算出を高速に行うことができる画像処理方法が提案されている（特許文献１参照）。

また、画像中の特定パターンの重心を算出する装置として、特定対象物の外接四角形を設定し、設定した特定対象物の領域及び重心値を並行して抽出することにより、重心算出を高速に処理することができる装置が提案されている（特許文献２参照）。
中居 友弘、他３名、「複比とハッシュに基づく文書画像検索」、電子情報通信学会技術研究報告、２００５年３月 特開昭６１−２６０３７０号公報 特開平１０−７９０３５号公報

しかしながら、非特許文献１の方法にあっては、連結成分の重心を算出する場合、１頁分の画像データを読み取って記憶し、記憶された１頁分の画像データを二値化処理し、各画素がどの連結成分に含まれるのかラベリング処理を行い、連結成分ごとに連結成分に含まれる画素の座標値を累積して加算し、累積加算された座標値を連結成分に含まれる画素数で除算して連結成分の重心を算出する。このため、重心を算出するためには、１頁分の画像データを記憶しておくことが必要となり、例えば、画像処理をＡＳＩＣなどで実現する場合、メモリ容量が大きくなるとゲート数も増大するため、回路規模が大きくなり、現実的な規模でのハードウエア化が困難になるとともに、コストアップを招く。

また、特許文献１の方法にあっては、画像データをスキャナから取得する場合、画像データがライン単位でスキャナから入力されるため、ブロック単位で処理を行う際には、ブロックに含まれるライン数に応じたラインバッファが必要となる。このため、比較的大きなブロックを用いて処理を行う場合には、大量のメモリが必要になるという問題がある。また、特許文献２の装置にあっては、重心を算出することができる連結成分の形状が限定されるという問題がある。

本発明は、斯かる事情に鑑みてなされたものであり、所定の走査方向に沿った複数のラインに含まれる各画素のラベルを記憶し、前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されているか否かを判定し、同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出することにより、ラベル付けと特徴点の抽出とを同時に行い、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速に画像の類似度を判定することができる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置、並びに画像処理方法を提供することを目的とする。

また、本発明の他の目的は、同一ラベルが付されたと判定された場合、該ラベルが付された画素の座標値を累積加算する加算手段と、各ラベルに関連付けて該ラベルが付された画素の累積加算された座標値を記憶する手段とを備え、記憶された座標値及び前記ラベルが付された画素を連結した連結領域に含まれる画素数に基づいて、該連結領域の特徴点を抽出することにより、ラベル付けと特徴点の抽出とを同時に行い、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速にかつ精度良く画像の類似度を判定することができる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置を提供することにある。

また、本発明の他の目的は、画像の複数の画素で構成される画素ブロック毎に、該画素ブロックに含まれる画素が有する輝度値又は明度値に基づいて閾値を算出し、算出された閾値に基づいて、該閾値が算出された画素ブロックの画像を二値化する二値化手段を備えることにより、ハードウエア化を実現することができるとともに、二値化の閾値を動的に求め、連結領域を安定に特定して精度良く画像の類似度を判定することができる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置を提供することにある。

また、本発明の他の目的は、画素ブロック内の画素を所定の走査方向に走査して得られた各画素の輝度値又は明度値により該輝度値又は明度値の統計値を算出する手段と、前記画素ブロック内の前記走査方向毎に算出された統計値を記憶する手段とを備え、該手段で記憶された前記走査方向毎の統計値に基づいて前記閾値を算出することにより、画素ブロックのライン毎の統計値を記憶するだけで、二値化処理のための閾値の算出及び画像の二値化を画素ブロック毎に並行して行うことができる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置を提供することにある。

また、本発明の他の目的は、画像が有する空間周波数特性を補正するための空間フィルタ処理を行う手段で処理された画像を二値化することにより、画像の類似度を判定する場合に不要な高周波成分を除去し、また、画像データを登録する場合と照合する場合とで画像入力装置が異なる場合であっても、それぞれの入力装置の特性に依存した画像の劣化を補正して、精度良く画像の類似度を判定することができる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置を提供することにある。

また、本発明の他の目的は、画像の解像度を変換する手段で変換された画像を二値化することにより、解像度が変化した場合であっても、精度良く画像の類似度を判定することができ、さらに画像入力装置で読みとられた解像度よりも低解像度に変換してから処理を行うことで処理量を低減することがでる画像処理装置、該画像処理装置を備える画像形成装置及び画像読取装置を提供することにある。

本発明に係る画像処理装置は、画像を二値化した二値画像の画素を所定の走査方向に走査し、走査された画素の二値化情報に応じて画素にラベルを付し、同一ラベルが付された画素を連結した連結領域を特定し、特定された連結領域に含まれる各画素の二値画像における座標値に基づいて該連結領域の特徴点を抽出し、抽出した特徴点に基づいて画像の類似度を示す特徴量を算出して画像の類似度を判定する画像処理装置において、前記走査方向に沿った複数のラインに含まれる各画素のラベルを記憶する記憶手段と、前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定する判定手段と、該判定手段で同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出する抽出手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記判定手段で同一ラベルが付されたと判定された場合、該ラベルが付された画素の座標値を累積加算する加算手段と、各ラベルに関連付けて該ラベルが付された画素の累積加算された座標値を記憶する手段とを備え、前記抽出手段は、前記手段で記憶された座標値及び前記ラベルが付された画素を連結した連結領域に含まれる画素数に基づいて、該連結領域の特徴点を抽出するように構成してあることを特徴とする。

本発明に係る画像処理装置は、画像の複数の画素で構成される画素ブロック毎に、該画素ブロックに含まれる画素が有する輝度値又は明度値に基づいて閾値を算出する算出手段と、該算出手段で算出された閾値に基づいて、該閾値が算出された画素ブロックの画像を二値化する二値化手段とを備えることを特徴とする。

本発明に係る画像処理装置は、前記算出手段は、画素ブロック内の画素を所定の走査方向に走査して得られた各画素の輝度値又は明度値により該輝度値又は明度値の統計値を算出する手段と、前記画素ブロック内の前記走査方向毎に算出された統計値を記憶する手段とを備え、該手段で記憶された前記走査方向毎の統計値に基づいて前記閾値を算出するように構成してあることを特徴とする。

本発明に係る画像処理装置は、画像が有する空間周波数特性を補正するための空間フィルタ処理を行う手段を備え、該手段で処理された画像を二値化するように構成してあることを特徴とする。

本発明に係る画像処理装置は、画像の解像度を変換する手段を備え、該手段で変換された画像を二値化するように構成してあることを特徴とする。

本発明に係る画像形成装置は、前述の本発明のいずれか１つに係る画像処理装置と、該画像処理装置で処理された画像の形成を行う画像形成手段とを備えることを特徴とする。

本発明に係る画像読取装置は、画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、前記画像処理装置は、前述の本発明のいずれか１つに係る画像処理装置であることを特徴とする。

本発明に係る画像処理方法は、画像を二値化した二値画像の画素を所定の走査方向に走査し、走査された画素の二値化情報に応じて画素にラベルを付し、同一ラベルが付された画素を連結した連結領域を特定し、特定された連結領域に含まれる各画素の二値画像における座標値に基づいて該連結領域の特徴点を抽出し、抽出した特徴点に基づいて画像の類似度を示す特徴量を算出して画像の類似度を判定する画像処理方法において、前記走査方向に沿った複数のラインに含まれる各画素のラベルを記憶し、前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定し、同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出することを特徴とする。

本発明にあっては、注目ラインに含まれる注目画素を所定の走査方向で走査して、例えば、注目画素に隣接する所定の範囲の画素であって注目ライン及び１つ前のラインに含まれる画素の二値化情報（例えば、「１」、「０」）に基づいて注目画素にラベルを付し、付したラベルを記憶する。なお、注目ラインが二値画像の最初のラインの場合は、注目画素の二値化情報に基づいてラベルを付し、付したラベルを記憶し、注目ラインの次のラインを注目ラインとして同様の処理を行う。これにより、注目ライン及び該注目ラインの１つ前のラインに含まれる画素のラベルが記憶される。

注目ラインに含まれる注目画素を走査してラベルを付す場合に、注目ラインに含まれる画素に、注目ラインの１つ前のラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定する。同一ラベルが付されていないと判定された場合、該ラベルが付された連結領域は、注目ラインにおいて終了しているとして、前記ラベルが付された画素を連結した連結領域の特徴点を抽出する。これにより、注目ライン毎に注目ラインに含まれる注目画素のラベル付けと、同一ラベルが付されたか否かの判定とを並行して行う。注目ラインの処理が終了した場合、次のラインを注目ラインとして同様の処理を繰り返すことにより、複数ライン（例えば、２ライン）分の画素のラベルを記憶するだけで、二値画像のラベル付け及び連結領域の特徴点の抽出を行うことができる。

本発明にあっては、注目ラインに含まれる注目画素を走査してラベルを付す場合に、注目ラインに含まれる画素に、注目ラインの１つ前のラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定する。同一ラベルが付されたと判定された場合、該ラベルが付された画素の座標値（例えば、二値画像における画素のｘ座標及びｙ座標）を累積加算し、累積加算された座標値を記憶する。抽出手段は、同一ラベルが付された画素を連結した連結領域の累積加算された座標値及び該連結領域に含まれる画素数に基づいて、該連結領域の特徴点を抽出する。例えば、累積加算された座標値を画素数で除算することにより、連結領域の重心を特徴点として抽出することができる。これにより、特徴点を抽出する連結領域の形状に制限はなく、任意のパターンに対して精度良く特徴点を抽出することができる。また、ラベルに関連付けられ累積加算された座標値を記憶するだけで、二値画像のラベル付け及び連結領域の特徴点の抽出（例えば、連結領域の重心の算出）を並行して行うことができる。

本発明にあっては、画像の複数の画素で構成される画素ブロック毎に、該画素ブロックに含まれる画素が有する輝度値又は明度値に基づいて閾値を算出する。二値化手段は、算出された閾値に基づいて、該閾値が算出された画素ブロックの画像を二値化する。これにより、画素ブロック毎に二値化を行うための閾値を動的に算出することができる。

本発明にあっては、画素ブロック内の画素を所定の走査方向に走査して得られた各画素の輝度値又は明度値により該輝度値又は明度値の統計値（例えば、平均値）を算出する。前記画素ブロック内の走査方向毎に算出された統計値を記憶し、記憶された走査方向毎の統計値に基づいて（例えば、平均値の場合はさらに平均して）閾値を算出する。画素ブロックのライン毎の統計値を記憶するだけで、画像の中の画素ブロック内の画素が有する輝度値又は明度値の統計値の算出及び該画素ブロックの画像の二値化を画素ブロック毎に並行して行うことができる。

本発明にあっては、画像の二値化処理を行う前に画像の空間周波数特性を補正する。例えば、画像が入力される画像入力装置（例えば、画像読取装置など）の光学系特性の違いにより生ずる画像の空間周波数特性を補正し、画像入力装置が異なる場合であっても、画像の劣化（例えば、画像のぼけなど）を修復する。また、二値画像における特徴点の抽出に不要な高周波成分を除去する。すなわち、空間フィルタ処理により、画像の境界強調化処理及び平滑化処理を行う。

本発明にあっては、画像の二値化処理を行う前に画像の解像度を変換する。例えば、画像が入力される画像入力装置（例えば、画像読取装置など）で画像の解像度が変倍された場合、所定の解像度になるように再度変倍する。これにより、解像度が変化した場合であっても、その影響を受けることなく二値画像における特徴点の抽出を行うことができる。また、所定の解像度を画像入力装置での読取時の解像度より小さくする場合には、後段での処理量を低減することができる。

本発明にあっては、所定の走査方向に沿った複数のライン（例えば、２ライン）に含まれる各画素のラベルを記憶し、前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出することにより、複数ライン（例えば、２ライン）分の画素のラベルを記憶するだけで、ラベル付けと特徴点の抽出とを同時に行い、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速に画像の類似度を判定することができる。

本発明にあっては、同一ラベルが付されたと判定された場合、該ラベルが付された画素の座標値を累積加算する加算手段と、各ラベルに関連付けて該ラベルが付された画素の累積加算された座標値を記憶する手段とを備え、累積加算された座標値及び前記ラベルが付された画素を連結した連結領域に含まれる画素数に基づいて、該連結領域の特徴点を抽出することにより、任意のパターンに対して特徴点を抽出することができる。また、ラベル付けと特徴点の抽出とを同時に行い、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速にかつ精度良く画像の類似度を判定することができる。

本発明にあっては、画像の複数の画素で構成される画素ブロック毎に、該画素ブロックに含まれる画素が有する輝度値又は明度値に基づいて閾値を算出し、算出された閾値に基づいて、該閾値が算出された画素ブロックの画像を二値化する二値化手段を備えることにより、ハードウエア化を実現することができるとともに、二値化の閾値を動的に求め、連結領域を安定に特定して精度良く画像の類似度を判定することができる。

本発明にあっては、画素ブロック内の画素を所定の走査方向に走査して得られた各画素の輝度値又は明度値により該輝度値又は明度値の統計値を算出する手段と、前記画素ブロック内の前記走査方向毎に算出された統計値を記憶する手段とを備え、該手段で記憶された前記走査方向毎の統計値に基づいて前記閾値を算出することにより、画素ブロックのライン毎の統計値を記憶するだけで、二値化処理のための閾値の算出及び画像の二値化を画素ブロック毎に並行して行うことができる。

本発明にあっては、画像が有する空間周波数特性を補正するための空間フィルタ処理を行う手段で処理された画像を二値化することにより、画像入力装置が異なる場合であっても、画像の劣化（例えば、画像のぼけなど）を修復することができるとともに、画像の類似度を判定する場合に不要な高周波成分を除去して、精度良く画像の類似度を判定することができる。

本発明にあっては、画像の解像度を変換する手段で変換された画像を二値化することにより、解像度が変化した場合であっても、その影響を受けることなく二値画像における特徴点の抽出を行うことができ、精度良く画像の類似度を判定することができる。また、所定の解像度を画像入力装置での読取時の解像度より小さくする場合には、後段での処理量を低減することができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像処理装置を備える画像形成装置１００の構成を示すブロック図である。画像形成装置１００は、カラー画像入力装置１、カラー画像処理装置２（画像処理装置）、画像形成手段としてのカラー画像出力装置３、各種操作を行うための操作パネル４などを備える。カラー画像入力装置１で原稿を読み込むことにより得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号の画像データは、カラー画像処理装置２へ出力され、カラー画像処理装置２で所定の処理が行われ、ＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンダ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号としてカラー画像出力装置３へ出力される。

カラー画像入力装置１は、例えば、ＣＣＤ（Charged Coupled Device）を備えたスキャナであり、原稿画像からの反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号をカラー画像処理装置２へ出力する。また、カラー画像出力装置３は、原稿画像の画像データを記録紙上に出力する電子写真方式又はインクジェット方式などのプリンタである。また、カラー画像出力装置３は、ディスプレイ等の表示装置であってもよい。

カラー画像処理装置２は、後述する各処理部を備え、ＡＳＩＣ（Application Specific Integrated Circuit）などにより構成される。

Ａ／Ｄ変換部２０は、カラー画像入力装置１から入力されたＲＧＢ信号を、例えば、１０ビットのデジタル信号に変換し、変換後のＲＧＢ信号をシェーディング補正部２１へ出力する。

シェーディング補正部２１は、入力されたＲＧＢ信号に対して、カラー画像入力装置１の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正処理を行い、補正後のＲＧＢ信号を入力階調補正部２２へ出力する。

入力階調補正部２２は、入力されたＲＧＢ信号（ＲＧＢの反射率信号）に対して、カラーバランスを整える処理を行うとともに、下地濃度の除去又はコントラストなど画質調整処理を施す。また、入力階調補正部２２は、濃度信号などカラー画像処理装置２で採用されている画像処理システムが扱い易い信号に変換する処理を行い、処理後のＲＧＢ信号を領域分離処理部２３へ出力する。

領域分離処理部２３は、入力されたＲＧＢ信号に基づき、入力された画像中の各画素が、文字領域、網点領域、写真領域の何れであるかを分離する。領域分離処理部２３は、分離結果に基づいて、各画素がどの領域に属しているかを示す領域識別信号を黒生成下色除去部２６、空間フィルタ処理部２７、出力階調補正部２８、階調再現処理部２９へ出力する。また、領域分離処理部２３は、入力されたＲＧＢ信号をそのまま後段の文書照合処理部２４へ出力する。

文書照合処理部２４は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点を算出し、その結果を用いて入力された画像と予め登録されている画像（文書画像を含む）との類似度を判定する。文書照合処理部２４は、画像が類似していると判定した場合、予め設定されている類似原稿に対する処理を特定した分類信号を出力して、所定の処理を行う。例えば、類似原稿であると判定された場合、その原稿の出力をキャンセルすること、その原稿の複写を禁止すること、その原稿を所定のフォルダにファイルすることなどの処理を行う。このように、画像（文書画像を含む）の照合とともに、照合結果に応じた処理を行うことができる。また、文書照合処理部２４は、入力されたＲＧＢ信号をそのまま後段の色補正部２５へ出力する。

色補正部２５は、入力されたＲＧＢ信号をＣＭＹの色空間に変換し、カラー画像出力装置３の特性に合わせて色補正を行い、補正後のＣＭＹ信号を黒生成下色除去部２６へ出力する。具体的には、色補正部２５は、色再現の忠実化のため、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。

黒生成下色除去部２６は、色補正部２５から入力されたＣＭＹ信号に基づいて、Ｋ（黒）信号を生成するとともに、入力されたＣＭＹ信号からＫ信号を差し引いて新たなＣＭＹ信号を生成し、生成したＣＭＹＫ信号を空間フィルタ処理部２７へ出力する。

黒生成下色除去部２６における処理の一例を示す。例えば、スケルトンブラックによる黒生成を行う処理の場合、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）とし、入力されるデータをＣ、Ｍ、Ｙとし、出力されるデータをＣ´、Ｍ´、Ｙ´、Ｋ´とし、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）とすると、黒生成下色除去処理により出力されるデータ夫々は、Ｋ´＝ｆ｛ｍｉｎ（Ｃ、Ｍ、Ｙ）｝、Ｃ´＝Ｃ−αＫ´、Ｍ´＝Ｍ−αＫ´、Ｙ´＝Ｙ−αＫ´で表される。

空間フィルタ処理部２７は、黒生成下色除去部２６から入力されたＣＭＹＫ信号に対して、領域識別信号に基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、カラー画像出力装置３における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ処理部２７は、領域分離処理部２３において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ処理部２７は、領域分離処理部２３において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部２７は、処理後のＣＭＹＫ信号を出力階調補正部２８へ出力する。

出力階調補正部２８は、空間フィルタ処理部２７から入力されたＣＭＹＫ信号に対して、カラー画像出力装置３の特性値である網点面積率に変換する出力階調補正処理を行い、出力階調補正処理後のＣＭＹＫ信号を階調再現処理部２９へ出力する。

階調再現処理部２９は、領域分離処理部２３から入力された領域識別信号に基づいて、出力階調補正部２８から入力されたＣＭＹＫ信号に対して所定の処理を行う。例えば、階調再現処理部２９は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、カラー画像出力装置３における高周波成分の再現に適するように二値化処理又は多値化処理を行う。

また、階調再現処理部２９は、領域分離処理部２３において網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理（中間調生成）を行う。さらに、階調再現処理部２９は、領域分離処理部２３において写真領域に分離された領域を、カラー画像出力装置３における階調再現性に適するように二値化処理又は多値化処理を行う。

カラー画像処理装置２は、階調再現処理部２９で処理された画像データ（ＣＭＹＫ信号）を記憶部（不図示）に一旦記憶し、画像形成をする所定のタイミングで記憶部に記憶した画像データを読み出し、読み出した画像データをカラー画像出力装置３へ出力する。これらの制御は、例えば、ＣＰＵ（不図示）により行われる。

図２は文書照合処理部２４の構成を示すブロック図である。文書照合処理部２４は、特徴点算出部２４１、特徴量算出部２４２、投票処理部２４３、類似度判定処理部２４４、メモリ２４５、前記各部を制御する制御部２４６などを備えている。

特徴点算出部２４１は、入力された画像に対して後述する所定の処理を行うとともに、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点（例えば、連結領域を構成する各画素の二値画像における座標値を累積加算し、累積加算した座標値を連結領域に含まれる画素数で除算した値）を抽出（算出）し、抽出した特徴点を特徴量算出部２４２へ出力する。

図３は特徴点算出部２４１の構成を示すブロック図である。特徴点算出部２４１は、無彩化処理部２４１０、解像度変換部２４１１、フィルタ処理部２４１２、二値化処理部２４１３、重心算出部２４１４などを備えている。

無彩化処理部２４１０は、入力された画像がカラー画像である場合、カラー画像を無彩化して、輝度信号又は明度信号に変換し、変換後の画像を解像度変換部２４１１へ出力する。例えば、輝度信号Ｙは、各画素ＲＧＢの色成分を夫々Ｒｊ、Ｇｊ、Ｂｊとし、各画素の輝度信号をＹｊとして、Ｙｊ＝０．３０×Ｒｊ＋０．５９×Ｇｊ＋０．１１×Ｂｊで表すことができる。なお、上式に限らず、ＲＧＢ信号をＣＩＥ１９７６Ｌ*ａ*ｂ*信号に変換することもできる。

解像度変換部２４１１は、入力された画像がカラー画像入力装置１で光学的に変倍された場合であっても、所定の解像度になるように入力された画像を再度変倍し、変倍された画像をフィルタ処理部２４１２へ出力する。これにより、カラー画像入力装置１で変倍処理が行われ解像度が変化した場合であっても、その影響を受けることなく特徴点の抽出を行うことができ、精度良く画像の類似度を判定することができる。特に、縮小された文字などの場合、二値化処理を行って連結領域を特定するとき、文字が潰れているために本来離れている領域が繋がった状態で特定され、算出される重心がずれる虞を防止できる。また、解像度変換部２４１１は、カラー画像入力装置１で等倍時に読み込まれる解像度よりも小さい解像度に変換する。例えば、カラー画像入力装置１において６００ｄｐｉ（dot per inch）で読み込まれた画像を３００ｄｐｉに変換する。これにより、後段における処理量を低減することができる。

フィルタ処理部２４１２は、入力された画像が有する空間周波数特性を補正し（例えば、画像の強調化処理及び平滑化処理など）、補正後の画像を二値化処理部２４１３へ出力する。フィルタ処理部２４１２は、カラー画像入力装置１の空間周波数特性が機種ごとに異なるため、異なる空間周波数特性を所要の特性に補正する。カラー画像入力装置１が出力する画像（例えば、画像信号）には、レンズ又はミラーなどの光学系部品、ＣＣＤの受光面のアパーチャ開口度、転送効率、残像、物理的な走査による積分効果及び走査むら等に起因して画像のぼけなどの劣化が生ずる。フィルタ処理部２４１２は、境界又はエッジなどの強調処理を行うことにより、画像に生じたぼけなどの劣化を修復する。また、フィルタ処理部２４１２は、後段で処理される特徴点の抽出処理に不要な高周波成分を抑制するための平滑化処理を行う。これにより、特徴点を精度良く抽出することができ、結果として画像の類似度の判定を精度良く行うことが可能となる。

図４はフィルタ処理部２４１２のフィルタ係数の例を示す説明図である。図に示すように、空間フィルタは、例えば、７×７（７行、７列）の大きさを有し、強調処理及び平滑化処理を行う混合フィルタである。入力された画像の画素を走査し、空間フィルタによる演算処理をすべての画素に対して行う。なお、空間フィルタの大きさは、７×７の大きさに限定されるものではなく、３×３、５×５などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用されるカラー画像入力装置１の機種又は特性などに応じて適宜設定することができる。

二値化処理部２４１３は、入力された画像の輝度値（輝度信号）又は明度値（明度信号）を閾値と比較することにより画像を二値化し、二値化した二値画像を重心算出部２４１４へ出力する。

図５は二値化処理部２４１３の二値化処理を示す説明図である。図は、例えば、原稿１頁分の画像を示し、画像の左上を中心として、横方向が主走査方向、縦方向が副走査方向を示している。主走査方向の１ライン当たりの画素数は３５８４画素であり、１２８×１２８画素からなる画素ブロックＡ１、Ａ２、…、Ａ２８により、画像の主走査方向１ラインが２８個のブロックに分割されている。

二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８の主走査方向の１ラインに含まれる１２８画素の輝度値の平均値をライン毎に記憶するためのバッファ２４１３ａを備える。

図６はバッファ２４１３ａの構成を示す模式図である。画素ブロックＡ１、Ａ２、…、Ａ２８は、１２８画素で構成されるラインを１２８ライン含むため、バッファ２４１３ａは、画素ブロックＡ１、Ａ２、…、Ａ２８毎に１２８ライン分、すなわち、１２８個の平均値を記憶する。例えば、図に示すように、画素ブロックＡ１に対しては、バッファ２４１３ａの（１，１）、（２，１）、…、（１２８，１）の各エリアに１２８画素の輝度値の平均値がライン毎に１２８ライン分記憶される。

二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８毎に二値化処理するための閾値を算出するとともに、画素ブロックＡ１、Ａ２、…、Ａ２８毎に算出した閾値を用いて画素ブロックＡ１、Ａ２、…、Ａ２８の画像を二値化する。より具体的には、二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８単位で主走査方向の最初の１ライン分の画素（１２８画素）の輝度値の平均値を算出し、算出した平均値をバッファ２４１３ａの（１，１）、（１，２）、…、（１，２８）の各エリアに記憶する。これにより、画像の主走査方向の１ライン当たり２８個の平均値がバッファ２４１３ａに記憶される。

二値化処理部２４１３は、副走査方向に１つラインを下げて、画素ブロックＡ１、Ａ２、…、Ａ２８単位で主走査方向の２ライン目の画素（１２８画素）の輝度値の平均値を算出し、算出した平均値をバッファ２４１３ａの（２，１）、（２，２）、…、（２，２８）の各エリアに記憶する。二値化処理部２４１３は、同様の処理を副走査方向の１２８ラインについて繰り返す。これにより、二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８毎に１２８ライン分の平均値を記憶する。

二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８毎に記憶した１２８ライン分の平均値をさらに平均して平均値を算出し、算出した平均値を二値化処理のための閾値とする。例えば、画素ブロックＡ１の閾値は、バッファ２４１３ａの（１，１）、（２，１）、…、（１２８，１）の各エリアに記憶された平均値を平均して算出する。

二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８毎に算出した閾値に基づいて、画素ブロックＡ１、Ａ２、…、Ａ２８夫々の画像の注目画素を主走査方向に走査して二値化する。二値化処理部２４１３は、画素ブロックＡ１、Ａ２、…、Ａ２８に対して、閾値の算出と二値化処理が終了した場合、副走査方向の次の１２８ラインについて、同様の処理を繰り返し、画像全体の二値化を行う。なお、閾値の算出は、輝度値の平均値を用いる構成に限定されるものではなく、輝度値の中間値など他の統計値を用いることができる。

バッファ２４１３ａを用いることにより、画像全体の広範な領域の画素の輝度値を参照して閾値を算出する場合に比べて、大量の記憶メモリが不要であるため、ハードウエア化を実現することができる。また、所要の大きさの画素ブロック毎に閾値を動的に算出するため、二値画像に基づいて連結領域を特定する場合、スキャナなどのカラー画像入力装置の特性による変化又は原稿自体の下地などの影響を受けることなく連結領域を安定的に特定することができ、結果として連結領域の特徴点（例えば、重心）を精度良く算出することができ、画像の類似判定の精度を向上させることが可能になる。また、画素ブロック毎に閾値の算出と二値化処理を並行して行うため、閾値を動的に算出した場合であっても、二値化処理を高速に行うことができる。

重心算出部２４１４は、後述するラベルバッファ２４１４ａ、座標値バッファ２４１４ｂ、ラベル等価表などを備え、二値化処理部２４１３から入力された二値画像の各画素の二値化情報（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部２４２へ出力する。なお、特徴点は、二値画像における座標値（ｘ座標、ｙ座標）で表すことができる。

図７は重心算出部２４１４の重心算出（特徴点抽出）処理を示す説明図である。図７においては、説明を簡単にするため画像の大きさが１６×１６画素で示されているが、実際の画像は、例えば、３５８４×３５８４画素などの大きさを有する。重心算出部２４１４は、二値画像の主走査方向に沿った２ライン（注目ライン及び１行前の処理ライン）に含まれる画素（図７では、１６×２＝３２）のラベルを記憶するためのラベルバッファ２４１４ａを備える。

図８は重心算出部２４１４のラベル付け処理で用いる近傍画素の例を示す説明図である。図８に示すように、注目画素を主走査方向に走査してラベル付けを行う場合、注目画素の１つ前に処理された隣接画素、及び１行前の処理ラインに含まれる３つの隣接画素の合計４つの隣接する画素を注目画素の近傍画素としてラベル付けを行う。なお、近傍画素の例はこれに限定されるものではなく、他の隣接画素を選択することもできる。

重心算出部２４１４は、注目ラインの注目画素に隣接する近傍画素のすべてにラベルが付されているか否かを判定し、ラベルが付されていない場合、未使用のラベルを注目画素に付し（例えば、ラベル「１」、「２」が使用されている場合、ラベル「３」を付する）、付したラベルを注目画素に対応するラベルバッファ２４１４ａに記憶する。

また、重心算出部２４１４は、注目画素に隣接する近傍画素に既に同じラベルが付されている場合、同じラベルを注目画素に付し、付したラベルを注目画素に対応するラベルバッファ２４１４ａに記憶する。

また、重心算出部２４１４は、注目画素に隣接する近傍画素に既に異なるラベルが付されている場合、異なるラベルの中で最も古いラベルを注目画素に付し、付したラベルを注目画素に対応するラベルバッファ２４１４ａに記憶する。また、この場合、重心算出部２４１４は、異なるラベルが同一のものであることを記録するため、ラベル等価表にラベルを記録してラベルを統合する。また、重心算出部２４１４は、ラベルを統合する場合、画素の座標値、画素数も統合する。

図９はラベル等価表の例を示す説明図である。図に示すように、ラベル等価表は、ラベル及びテーブル値の各欄で構成され、例えば、ラベル「３」に対応するテーブル値が「１」であることは、ラベル「３」とラベル「１」とが同一のものであることを示す。これにより、ラベル「３」が付された画素は、ラベル「１」が付された画素に統合される。

これにより、重心算出部２４１４は、２ライン分のラベルバッファ２４１４ａを備えるだけでラベル付け処理を行うことができ、従来のような二値画像の全画素のラベルを記憶するための大容量メモリが不要となり、二値画像のラベル付け処理をハードウエアにより実現することが可能となる。

重心算出部２４１４は、ラベルバッファ２４１４ａに記憶された２ライン分の画素のラベルに基づいて、ラベル付け処理を行うのと同時に連結領域に含まれる各画素の座標値を累積加算して連結領域の重心算出処理を行う。

図１０は座標値バッファ２４１４ｂの構成を示す説明図である。座標値バッファ２４１４ｂは、ラベル、画素数、累積加算されたｘ座標値、累積加算されたｙ座標値、及びフラグの各欄により構成され、各ラベルに関連付けて画素数、累積加算されたｘ座標値、累積加算されたｙ座標値、及びフラグが記憶される。画素数は、同一のラベルが付された画素が連結した連結領域の画素数を示す。また、累積加算されたｘ座標値、及び累積加算されたｙ座標値は、連結領域に含まれる各画素のｘ座標値、及びｙ座標値を加算したものである。

フラグは、「空き」、「処理済」、「未処理」の区別を行うことによりラベルの状態を示すものである。「空き」はラベルが使用されていない状態を示す。また、「処理済」は、注目ラインの中である注目画素にラベルが付された状態を示し、「未処理」は、注目ラインの中でラベルが付されなかった状態を示す。

図１０におけるラベル「１」、「２」に対する画素数、累積加算されたｘ座標値、累積加算されたｙ座標値、及びフラグは、図７における６行目の注目ラインの処理が終了した時点の状態を示している。例えば、図７において、ラベル「１」が付された９つの画素について説明する。図から明らかなように、ラベル「１」が付された画素数は９である。また、ラベル「１」が付された画素の累積加算されたｘ座標値は、（３＋４）＋（３＋４）＋（４＋５）＋（４＋５＋６）＝３８となる。また、ラベル「１」が付された画素の累積加算されたｙ座標値は、（３＋３）＋（４＋４）＋（５＋５）＋（６＋６＋６）＝４２となる。注目ラインの処理が終了した時点でラベル「１」は、３つの画素に対して付されているため、フラグは「処理済」となる。

また、図７において、ラベル「２」が付される４つの画素（注目画素Ｘにはラベル「２」が付される）について説明する。図から明らかなように、ラベル「２」が付された画素数は４である。また、ラベル「２」が付された画素の累積加算されたｘ座標値は、（１０＋１１＋１２＋１３）＝４６となる。また、ラベル「２」が付された画素の累積加算されたｙ座標値は、（６＋６＋６＋６）＝２４となる。注目ラインの処理が終了した時点でラベル「２」は、４つの画素に対して付されているため、フラグは「処理済」となる。

重心算出部２４１４は、ラベル毎にフラグを記憶することにより、１ライン（注目ライン）分の処理が終了した時点で座標値の累積加算が行われたか否かを判定する。

図１１はフラグの変遷の例を示す説明図である。図１１（ａ）は、図７において注目ライン（６行目のライン）の処理が終了した時点のフラグを示す。上述したとおり、注目ラインの処理が終了した時点で、注目ラインの中の画素にラベル「１」、「２」が付されているため、フラグは「処理済」となっている。

次に、重心算出部２４１４は、ラベルバッファ２４１４ａに記憶した注目ライン（６行目のライン）の１行前の処理ライン（５行目のライン）の画素のラベルを消去するとともに、消去した領域に注目ライン（６行目のライン）の画素のラベルを記憶する。これにより、重心算出部２４１４は、７行目のラインを新たな注目ラインとして、該注目ライン中の画素のラベルを記憶することができる。

重心算出部２４１４は、７行目のラインを新たな注目ラインとして処理を開始する前に、各ラベルのフラグを初期化する。初期化により、図１１（ｂ）に示すように、ラベル「１」、「２」には「未処理」のフラグが設定される。なお、使用されていないラベルは、「空き」のフラグで初期化される。

図７で示すように、７行目のラインでは、ラベル「１」が付された画素が存在しないため、ラベル「１」が付された画素からなる連結領域は、７行目のラインで終了している。一方、７行目のラインでは、ラベル「２」が付された画素が存在する（６行目のラベル「２」が付された画素に隣接する画素が存在する）ため、ラベル「２」が付された画素からなる連結領域は、７行目のラインでも連続する。したがって、図１１（ｃ）に示すように、注目ライン（７行目のライン）の処理が終了した時点で、注目ラインの中の画素にラベル「１」は付されず、ラベル「２」は付されているため、フラグ「１」は「未処理」のままとなり、フラグ「２」は「処理済」となる。

これにより、重心算出部２４１４は、注目ライン（７行目のライン）分の処理が終了した時点で、ラベル「１」の画素の座標値は累積加算されなかったと判定し、ラベル「２」の画素の座標値は累積加算されたと判定する。重心算出部２４１４は、ラベル「１」の画素の座標値は累積加算されなかったと判定することにより、座標値バッファ２４１４ｂに記憶されたラベル「１」の累積加算されたｘ座標及びｙ座標夫々を画素数で除算することにより、ラベル「１」が付された画素で構成される連結領域の重心を算出する。例えば、図７の場合、ラベル「１」の連結領域の重心のｘ座標は、累積加算されたｘ座標値３８を画素数９で除算して、ｘ座標＝４．２２、重心のｙ座標は、累積加算されたｙ座標値４２を画素数９で除算して、ｙ座標＝４．６７となる。

重心算出部２４１４は、重心が算出された連結領域の画素に付されたラベル「１」を解放する。これにより、ラベル「１」のフラグを「空き」とし、新たなラベルとして再度使用することができ、座標値バッファ２４１４ｂの記憶容量を有効活用することができる。

上述のような処理を行うことにより、二値画像全体で連結領域が多数存在する場合でも、２ライン分のラベルバッファ２４１４ａ、及び座標値バッファ２４１４ｂという限られた記憶容量を備えるだけでラベル付け処理と重心算出処理（特徴点抽出処理）とを同時に処理することができる。これにより、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速に画像の類似度を判定することができる。また、連結領域の形状に拘わらず重心を算出することができ、精度良く画像の類似度を判定することができる。

図１２は連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「Ａ」であり、同一ラベルが付された画素の集合として特定される。この文字「Ａ」の特徴点（重心）は、図中黒丸で示される位置（ｘ座標、ｙ座標）となる。

図１３は文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類により夫々異なる座標を有する特徴点が複数抽出される。

特徴量算出部２４２は、特徴点算出部２４１から入力された特徴点（すなわち、連結領域の重心の座標値）夫々を注目特徴点とし、例えば、注目特徴点からの距離が小さい周辺の他の特徴点を４つ抽出する。

図１４は注目特徴点と周辺の特徴点を示す説明図である。図に示すように、注目特徴点Ｐ１に対して、例えば、閉曲線Ｓ１で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ１に対しては、注目特徴点Ｐ２も１つの特徴点として抽出されている）。また、注目特徴点Ｐ２に対して、例えば、閉曲線Ｓ２で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ２に対しては、注目特徴点Ｐ１も１つの特徴点として抽出されている）。

特徴量算出部２４２は、抽出した４つの特徴点の中から３つの特徴点を選択して、不変量を算出する。なお、選択する特徴点は３つに限られるものではなく、４つ、５つなどの特徴点を選択することもできる。求めたい不変量の種類によって選択すべき特徴点の数が異なる。例えば、３点から求められる不変量は相似不変量となる。

図１５は注目特徴点Ｐ１による不変量の算出例を示す説明図であり、図１６は注目特徴点Ｐ２による不変量の算出例を示す説明図である。図１５に示すように、注目特徴点Ｐ１の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ１ｊ（ｊ＝１、２、３）とする。不変量Ｈ１ｊは、Ｈ１ｊ＝（Ａ１ｊ／Ｂ１ｊ）×Ｃ／Ｄで表される式で算出する。ここで、Ａ１ｊ、Ｂ１ｊ夫々は特徴点間の距離を示し、Ｃは正規化の定数、Ｄは予め定められた定数である。これにより、例えば、原稿が回転、移動、傾いた場合であっても、不変量Ｈ１ｊは変化せず、画像の類似度の判定を精度良く行うことができる。

同様に、図１６に示すように、注目特徴点Ｐ２の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ２ｊ（ｊ＝１、２、３）とする。不変量Ｈ２ｊは、Ｈ２ｊ＝（Ａ１ｊ／Ｂ１ｊ）×Ｃ／Ｄで表される式で算出する。ここで、Ａ２ｊ、Ｂ２ｊ夫々は特徴点間の距離を示し、Ｃは正規化の定数、Ｄは予め定められた定数である。以下同様に、他の注目特徴点に対して不変量を算出することができる。

特徴量算出部２４２は、夫々の注目特徴点により算出された不変量に基づいて、ハッシュ値（特徴量）Ｈｉを算出する。注目特徴点Ｐｉのハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０² ＋Ｈｉ２×１０¹ ＋Ｈｉ３×１０⁰）／Ｅで表される。ここで、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、「１０」とした場合には、余りは「０」〜「９」となり、これが算出するハッシュ値の取り得る範囲となる。また、ｉは自然数である。なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として４点を抽出する例を示しているが、４点に限定されるものではない。例えば、６点抽出するようにしても良い。この場合、６点の特徴点から５点を抽出し、５点を抽出する６通りそれぞれの方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしても良い。

図１７はハッシュテーブルの構造を示す説明図である。図に示すように、ハッシュテーブルの構造は、ハッシュ値及び原稿を表すインデックスの各欄により構成されている。より具体的には、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量が登録されている。画像の類似度を判定するため、予め照合する画像・文書画像などをハッシュテーブルに登録しておく。ハッシュテーブルはメモリ２４５に記憶してある。なお、図１７（ｂ）に示すように、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、ハッシュテーブルの２つのエントリを１つにまとめることもできる。

投票処理部２４３は、特徴量算出部２４２が算出したハッシュ値（特徴量）に基づいて、メモリ２４５に記憶されたハッシュテーブルを検索し、該ハッシュ値に登録されているインデックスの原稿について投票する。投票を累積加算した結果を類似度判定処理部２４４へ出力する。

類似度判定処理部２４４は、投票処理部２４３から入力された投票結果に基づいて、原稿（画像、文書画像）の類似度を判定し、判定結果（分類信号）を出力する。より具体的には、類似度判定処理部２４４は、投票処理部２４３から入力された投票数（得票数）を予め定めた閾値と比較し、投票数が閾値以上であれば、入力画像が予め登録された原稿の画像に類似すると判定し、さらに類似と判定された中で最も得票数の高い原稿が一致する原稿であると判定する。判定結果に応じて登録された原稿に対応して定められた処理（例えば、複写禁止、所定のフォルダに記憶など）を行うべく分類信号を出力する。また、類似度判定処理部２４４は、投票処理部２４３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を出力する。上記の判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後で類似度の判定や一致の判定を行っても良い。

次に文書照合処理部２４の動作について説明する。特徴点算出部２４１は、入力された画像に対して所定の大きさの画素ブロックを用いて、二値化処理のための閾値の算出及び画像の二値化処理を画素ブロック毎に並行して行い、二値画像に基づいてラベリング処理及び連結領域の特徴点抽出（重心算出）を注目ライン毎に並行して行い、抽出した特徴点を特徴量算出部２４２へ出力する。

特徴量算出部２４２は、特徴点算出部２４１から入力された特徴点に基づいて、所定の不変量を算出し、算出した不変量に基づいて特徴量であるハッシュ値を算出し、算出したハッシュ値を投票処理部２４３へ出力する。

投票処理部２４３は、特徴量算出部２４２が算出したハッシュ値に基づいて、メモリ２４５に記憶されたハッシュテーブルを検索し、該ハッシュ値に登録されているインデックスの原稿について投票する。投票を累積加算した結果を類似度判定処理部２４４へ出力する。

類似度判定処理部２４４は、投票処理部２４３から入力された投票数を予め定めた閾値と比較し、投票数が閾値以上であれば、入力画像が予め登録された原稿の画像に類似すると判定し、さらに類似と判定された中で最も得票数の高い原稿が一致する原稿であると判定する。判定結果に応じて登録された原稿に対応して定められた処理（例えば、複写禁止、所定のフォルダに記憶など）を行うべく分類信号を出力する。また、類似度判定処理部２４４は、投票処理部２４３から入力された投票数が閾値より小さい場合、類似する原稿がないと判定して、その結果を出力する。上記の判定方法は一例であり、別の方法として、例えば、原稿毎の最大得票数（原稿毎に求められる特徴点の数など）で得票数を除算して正規化した後で類似度の判定や一致の判定を行っても良い。

以上説明したように、本発明にあっては、２ライン分の画素のラベルを記憶するだけで、ラベル付けと特徴点の抽出とを同時に行い、従来に比べて必要なメモリ容量を低減することができ、ハードウエアで実現可能であって、高速に画像の類似度を判定することができる。また、任意のパターンに対して特徴点を抽出することができ、精度良く画像の類似度を判定することができる。また、二値化処理のための閾値を動的に求め、連結領域を安定に特定して精度良く画像の類似度を判定することができるとともに、二値化処理のための閾値の算出及び画像の二値化を画素ブロック毎に並行して行うことができる。また、画像入力装置が異なる場合であっても、画像の劣化（例えば、画像のぼけなど）を修復することができるとともに、画像の類似度を判定する場合に不要な高周波成分を除去して、精度良く画像の類似度を判定することができる。さらに、解像度が変化した場合であっても、その影響を受けることなく二値画像における特徴点の抽出を行うことができ、精度良く画像の類似度を判定することができる。また、所定の解像度を画像入力装置での読取時の解像度より小さくする場合には、後段での処理量を低減することができる。

上述の実施の形態において、カラー画像入力装置１としては、例えば、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ、携帯電話機などが用いられる。また、カラー画像出力装置３としては、例えば、ＣＲＴディスプレイ、液晶ディスプレイなどの画像表示装置、処理結果を記録紙などに出力する電子写真方式又はインクジェット方式のプリンタなどが用いられる。さらに画像形成装置１００としては、ネットワークを介してサーバ装置などに接続するための通信手段としてのモデムなどを備えることもできる。また、カラー画像入力装置１からカラー画像データを取得する代わりに、ネットワークを介して外部記憶装置、サーバ装置などからカラー画像データを取得する構成であってもよい。

上述の実施の形態では、カラー画像入力装置１とカラー画像処理装置２とは別個の装置として説明したが、カラー画像処理装置２をカラー画像入力装置１に統合して、画像読取装置として構成することもできる。

上述の実施の形態では、文書照合処理部２４の中にメモリ２４５、制御部２４６を備える構成であるが、これに限定されるものではなく、メモリ２４５、制御部２４６を文書照合処理部２４の外部に設ける構成であってもよい。

上述の実施の形態では、ラベルバッファは２ライン分のラベルを記憶する構成であったが、２ラインに限定されるものではなく、３ライン以上であってもよい。なお、２ライン分の構成とすることで、より記憶容量を小さくすることができる。

本発明に係る画像処理装置を備える画像形成装置の構成を示すブロック図である。 文書照合処理部の構成を示すブロック図である。 特徴点算出部の構成を示すブロック図である。 フィルタ処理部のフィルタ係数の例を示す説明図である。 二値化処理部の二値化処理を示す説明図である。 バッファの構成を示す模式図である。 重心算出部の重心算出（特徴点抽出）処理を示す説明図である。 重心算出部のラベル付け処理で用いる近傍画素の例を示す説明図である。 ラベル等価表の例を示す説明図である。 座標値バッファの構成を示す説明図である。 フラグの変遷の例を示す説明図である。 連結領域の特徴点の例を示す説明図である。 文字列に対する特徴点の抽出結果の例を示す説明図である。 注目特徴点と周辺の特徴点を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 注目特徴点による不変量の算出例を示す説明図である。 ハッシュテーブルの構造を示す説明図である。

符号の説明

１ カラー画像入力装置
２ カラー画像処理装置
３ カラー画像出力装置
２４ 文書照合処理部
２４１ 特徴点算出部
２４２ 特徴量算出部
２４３ 投票処理部
２４４ 類似度判定処理部
２４５ メモリ
２４６ 制御部
２４１１ 解像度変換部
２４１２ フィルタ処理部
２４１３ 二値化処理部
２４１４ 重心算出部

Claims (9)

1. 画像を二値化した二値画像の画素を所定の走査方向に走査し、走査された画素の二値化情報に応じて画素にラベルを付し、同一ラベルが付された画素を連結した連結領域を特定し、特定された連結領域に含まれる各画素の二値画像における座標値に基づいて該連結領域の特徴点を抽出し、抽出した特徴点に基づいて画像の類似度を示す特徴量を算出して画像の類似度を判定する画像処理装置において、
   前記走査方向に沿った複数のラインに含まれる各画素のラベルを記憶する記憶手段と、
   前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定する判定手段と、
   該判定手段で同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出する抽出手段と
   を備えることを特徴とする画像処理装置。
2. 前記判定手段で同一ラベルが付されたと判定された場合、該ラベルが付された画素の座標値を累積加算する加算手段と、
   各ラベルに関連付けて該ラベルが付された画素の累積加算された座標値を記憶する手段と
   を備え、
   前記抽出手段は、
   前記手段で記憶された座標値及び前記ラベルが付された画素を連結した連結領域に含まれる画素数に基づいて、該連結領域の特徴点を抽出するように構成してあることを特徴とする請求項１に記載の画像処理装置。
3. 画像の複数の画素で構成される画素ブロック毎に、該画素ブロックに含まれる画素が有する輝度値又は明度値に基づいて閾値を算出する算出手段と、
   該算出手段で算出された閾値に基づいて、該閾値が算出された画素ブロックの画像を二値化する二値化手段と
   を備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記算出手段は、
   画素ブロック内の画素を所定の走査方向に走査して得られた各画素の輝度値又は明度値により該輝度値又は明度値の統計値を算出する手段と、
   前記画素ブロック内の前記走査方向毎に算出された統計値を記憶する手段と
   を備え、
   該手段で記憶された前記走査方向毎の統計値に基づいて前記閾値を算出するように構成してあることを特徴とする請求項３に記載の画像処理装置。
5. 画像が有する空間周波数特性を補正するための空間フィルタ処理を行う手段を備え、
   該手段で処理された画像を二値化するように構成してあることを特徴とする請求項１乃至請求項４に記載の画像処理装置。
6. 画像の解像度を変換する手段を備え、
   該手段で変換された画像を二値化するように構成してあることを特徴とする請求項１乃至請求項４に記載の画像処理装置。
7. 請求項１乃至請求項６のいずれか１つに記載された画像処理装置と、該画像処理装置で
   処理された画像の形成を行う画像形成手段とを備えることを特徴とする画像形成装置。
8. 画像を読み取る画像読取手段と、該画像読取手段で読み取った画像を処理する画像処理装置とを備える画像読取装置において、
   前記画像処理装置は、
   請求項１乃至請求項６のいずれか１つに記載された画像処理装置であることを特徴とする画像読取装置。
9. 画像を二値化した二値画像の画素を所定の走査方向に走査し、走査された画素の二値化情報に応じて画素にラベルを付し、同一ラベルが付された画素を連結した連結領域を特定し、特定された連結領域に含まれる各画素の二値画像における座標値に基づいて該連結領域の特徴点を抽出し、抽出した特徴点に基づいて画像の類似度を示す特徴量を算出して画像の類似度を判定する画像処理方法において、
   前記走査方向に沿った複数のラインに含まれる各画素のラベルを記憶し、
   前記複数のラインのうちの注目ラインに含まれる画素に、該注目ラインの１つ前に走査されたラインに含まれる画素に付されたラベルと同一ラベルが付されたか否かを判定し、
   同一ラベルが付されていないと判定された場合、該ラベルが付された画素を連結した連結領域の特徴点を抽出することを特徴とする画像処理方法。

Images