JP2007066286A6 - 画像検索装置、画像処理装置、及びそれらの方法 - Google Patents

Abstract

【課題】 異なる画像解像度、異なるフォーマット、異なる言語の文書・画像から迅速かつ高精度に文書・画像を検索することができ、検索された文書・画像を編集して再利用することができる画像検索方法を提供することである。
【解決手段】 検索対象画像の画素密度分布を抽出し、複数の参照画像の画像データ、画素密度分布データ、及び主要領域のデータが記憶されるデータベースから、抽出される検索対象画像の画素密度分布を各々の参照画像の画素密度分布と比較し、検索対象画像とマッチングする参照画像を検索し、また、検索対象画像の主要領域のデータを抽出し、抽出される検索対象画像の主要領域データを、画素密度分布を用いて検索された参照画像の主要領域データと比較し、検索対象画像とマッチングする参照画像を検索する。
【選択図】 図２

Description

本発明は、画像検索装置、画像処理装置、及びそれらの方法に関し、特にデジタル複合機などの画像処理装置、及びそれに用いる画像検索装置、画像検索方法、画像処理方法、及びこれらの方法を実現するためのプログラムに関する。

文書や画像の検索処理は、電子図書館や事務処理自動化を実現するための重要な機能であり、高性能デジタル複合機などの文書画像処理システムにも使われている。例えば、鮮明でない文書や画像が入力された場合、それを高品質に出力するために、数多くの文書や画像のデータを記憶した管理サーバとデジタル複合機をネットワークで接続し、管理サーバから入力画像と一致する文書・画像を検索して出力する。

文書や画像の検索システムに、文書や画像のマッチング処理は中心的な技術である。文書や画像のマッチング処理により、文書・画像データベースから、入力された文書や画像と最も一致する文書や画像が検索される。

従来、たとえば、文書等の具体的な内容を文字認識（ＯＣＲ：Optical Character Recognition）技術により識別して文書画像を検索する手法と、電子透かしを検出して文書画像を検索する手法と、文書や画像の画像特徴により文書を検索する手法とがある。

しかしながら、ＯＣＲによる文書検索は、処理時間が長い、また、異なる言語の文書について、異なるＯＣＲ装置が要求されるので、不便である。また、ＯＣＲや電子透かしによる文書検索は、ＯＣＲ処理や、電子透かし検出などの処理が必要であるため、検索の処理が煩雑であり、また、検索の成功率はOCRの認識精度と電子透かしの検出精度に影響される。さらに、ＯＣＲで対応していない言語種の原稿あるいは透かしのない原稿の場合は、検索ができない。

文書や画像の画像特徴による文書の検索の場合は、検索の成功率が文書や画像の画像特徴の選択方法に大きく影響され、異なる画像解像度、異なるフォーマット、異なる言語の文書や画像について、今のところ、高性能な検索は実現されていない。

さらに、従来の文書や画像の検索システムは、データベースから検索された文書や画像などが編集可能な形式ではないので、文書、画像が検索され、出力されても、該文書・画像は、画像データを編集して、他の用途に再利用することができない。

本発明は、上記のような問題点に鑑みてなされたものであり、その目的は、異なる画像解像度、異なるフォーマット、異なる言語の文書・画像から、迅速かつ高精度に検索することができ、検索された文書・画像を編集して再利用することができる画像検索装置、画像処理装置、及びそれらの方法を提供することを目的とする。

上記課題を解決するため、本発明の画像検索装置は、所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出手段と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶される記憶装置と、前記検索対象画像とマッチングする前記参照画像を検索する検索手段とを有し、前記検索手段は、前記画素密度分布抽出手段により抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する。

好適に、前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出手段をさらに有し、前記各々の参照画像を構成する複数の主要領域のデータは前記記憶装置に記憶されており、前記検索手段は、前記主要領域抽出手段により抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする前記参照画像を検索する。

好適に、前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定手段をさらに有し、前記画素密度分布抽出手段は、前記有効領域特定手段により特定された前記第１の画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記検索対象画像の画素密度分布を抽出する。また、前記主要領域抽出手段は、前記有効領域特定手段により特定された前記検索対象画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記検索対象画像の主要領域を抽出する。

上記課題を解決するため、本発明の画像検索方法は、所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出工程と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程とを有する。

好適には、前記データベースに、前記各々の参照画像を構成する複数の主要領域のデータは記憶されており、前記画像検索方法は、前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出工程と、抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする前記参照画像を検索する第２の検索工程とをさらに有する。

好適には、前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定工程をさらに有し、前記画素密度分布抽出工程には、特定された前記検索対象画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記検索対象画像の画素密度分布を抽出する。また、前記主要領域抽出工程には、前記特定された前記検索対象画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記検索対象画像の主要領域を抽出する。

好ましくは、前記各々の複数参照画像の画素密度分布を抽出し、当該各々の参照画像を構成する複数の主要領域を抽出し、前記各々の参照画像の画像データ、当該各々の参照画像の画素密度分布データ、及び当該各々の参照画像の主要領域データを、互いに関連付けて前記データベースに記憶するデータベース構築工程をさらに有する。

上記課題を解決するため、本発明の画像処理装置は、画像を入力する画像入力手段と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶される記憶装置と、前記画像入力手段により入力された入力画像の画素密度分布を抽出する画素密度分布抽出手段と、前記画素密度分布抽出手段により抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの参照画像を検索する検索手段と、前記検索手段によって前記入力画像とマッチングする前記参照画像が検索されたとき、当該検出された参照画像を出力する画像出力手段とを有する。

好適には、前記入力画像を構成する複数の主要領域を抽出する主要領域抽出手段をさらに有し、前記検索手段は、前記主要領域抽出手段により抽出される前記入力画像の主要領域データを、前記画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする前記参照画像を検索する。

好適には、前記検索手段によって前記入力画像にマッチングする前記参照画像が検索されたとき、当該検出された参照画像を表示する表示手段と、当該検出された参照画像を編集する編集手段とを有する。

上記課題を解決するため、本発明の画像処理方法は、入力画像を読み取る画像入力工程と、前記入力画像の画素密度分布を抽出する画素密度分布抽出工程と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程と、前記入力画像とマッチングする前記参照画像が検索されたとき、当該参照画像を出力する画像出力工程とを有する。

好適には、前記画像検索方法は、前記入力画像を構成する複数の主要領域を抽出する主要領域抽出工程と、抽出される前記入力画像の主要領域データを、前記入力画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする前記参照画像を検索する第２の検索工程とをさらに有する。
好適には、前記入力画像にマッチングする前記参照画像が検索されたとき、当該参照画像を表示する表示工程と、当該参照画像を編集する編集工程とを有する。

上記課題を解決するため、本発明の画像検索プログラムは、所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出工程と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程とをコンピュータに実行させる。

好適に、前記画像検索プログラムは、さらに、前記コンピュータに前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出工程と、抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする前記参照画像を検索する第２の検索工程とを実行させる。

上記課題を解決するため、本発明の画像処理プログラムは、入力画像を読み取る画像入力工程と、複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程と、前記入力画像とマッチングする前記参照画像が検索されたとき、当該参照画像を出力する画像出力工程とをコンピュータに実行させる。

好適に、前記画像処理プログラムは、さらに、前記コンピュータに前記入力画像を構成する複数の主要領域を抽出する主要領域抽出工程と、抽出される前記入力画像の主要領域データを、前記画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする前記参照画像を検索する第２の検索工程とを実行させる。

好適に、前記画像処理プログラムは、前記入力画像にマッチングする前記参照画像が検索されたとき、当該参照画像を表示する表示工程と、当該参照画像を編集する編集工程とをさらに前記コンピュータに実行させる。

本発明によれば、異なる画像解像度、異なるフォーマット、異なる言語の文書・画像から、迅速かつ高精度に画像を検索することができ、検索された文書・画像を編集して再利用することができる。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本発明の一実施例となるデジタル複合機１００の構成を示すブロック図である。図１に示すデジタル複合機１００、例えば、コピー機、プリンタ、ファックシミリ、スキャナなどの機能を有するデジタル複合機である。デジタル複合機１００は、例えば、数多くの文書や画像のデータを記憶したデータベースから、入力画像と一致する文書・画像を検索して出力する機能を有する。これにより、入力された文書や画像が鮮明でない場合でも、高品質に文書や画像出力することができる。

図１に示すように、デジタル複合機１００は、装置全体の動作を制御する制御部１０１、紙原稿から画像データを入力する画像入力部１０２、画像データを紙に印刷する画像出力部１０３、画像データ、文書データ、各種プログラムを格納するハードディスク１０４、各種処理を行うためのワークメモリ１０５、電子文書を管理する文書管理部１０６、入力された画像と関連する電子文書を検索する文書検索部１０７、電子文書を編集する文書編集部１０８、ネットワークと接続するコンピュータインタフェース（Ｉ／Ｆ）部１０９、ユーザの操作を受付し、操作の結果を表示するユーザインタフェース部１１０、及び電話回線と接続するファクシミリ部１１１を含む。

デジタル複合機１００において、画像入力部１０２は原稿から画像を入力する。制御部１０１は、入力された画像の特徴を抽出する。そして、抽出された画像の特徴を用いて、文書検索部１０７は、ハードディスク１０４に記憶され、デジタル複合機１００が動作中に、ワークメモリ１０５に読み込まれる、画像データ、文書データが格納されるデータベースから、入力された文書・画像とマッチングする文書・画像を検索する。マッチングする文書・画像が検索された場合、当該文書や画像を、例えば、表示装置である画像出力部１０３により表示される。例えば、ユーザは表示された文書の内容を確認し、必要に応じて文書内容の修正、追加及び削除などの編集作業を行う。当該文書を出力する場合は、画像出力部１０３は、印刷、コピーなどを行い、入力文書・画像と同じ内容の綺麗な文書・画像を出力する。

以下、本実施形態に係る画像特徴の抽出、及び画像の検索方法を説明する。

本実施形態において、文字認識（ＯＣＲ：Optical Character Recognition）技術や、電子透かし検出による文書の検索手法を採用せず、事前に参照用文書や画像の画像特徴量を抽出して、当該特徴量を画像データと関連してデータベースに記憶し、検索用データベースを構築し、そして、デジタル複合機１００が画像処理を行う際に、入力文書・画像の当該画像特徴量を抽出し、当該特徴量を用いてデータベースからマッチングする文書・画像を検索する。

具体的に、本実施形態において、画像の前景（foreground）の画素密度分布の特徴データ（foreground pixel distribution）を抽出して、当該画像の局部的な特徴量（local feature）として用い、当該画像を構成する複数の主要ブロック（key block）を抽出し、その特徴量を当該画像の全体特徴量(global feature)として用い、画像の画素密度分布の特徴量、又は／及び、画像の主要ブロックの特徴量により、データベースからマッチングする文書・画像を検索する。ここで、主要ブロック（key block）は、画像に目立つ領域を言う。

次に、本実施形態に係る画像特徴抽出方法を説明する。

図２は本実施形態に係る画素密度分布特徴を抽出する方法を示すフローチャートである。

ステップＳ１０１において、入力画像データの２値化処理を行う。

画像入力部１０２により紙原稿から入力された原始の画像データは、様々なフォーマットを有し、また、ひずみ角度（skew angle）やスキャンノイズなどを含む可能性があるので、入力画像データの２値化処理により、入力画像データをデジタル化し、ひずみやノイズを除去し、異なるフォーマットの文書・画像に対応できるようになる。また、この２値化処理により、画像の前景が抽出されやすくなる。

２値化の方法として、例えば、画素の値は０〜２５５にあるグレー画像として、ある閾値（Ｔｈ、０＜Ｔｈ＜２５５）を用いて、画素値がＴｈより小さい画素を黒画素とし、それ以外を白画素とする。

ステップＳ１０２において、入力画像データの２値化処理を行った後、入力画像の印刷コア（print-core）を求める。

印刷コアとは画像の有効領域であり、印刷コアの範囲内に、画像の特徴量を抽出する。また、異なる画像を処理する際に、印刷コアは均一な参照フレームとしての役割がある。

印刷コアの位置は、２値化後の画像を横と縦方向へ投影して、その投影の範囲から確定する。また、印刷コアの位置を確定すると同時に、２値化後の画像の横と縦方向の投影の特徴により、文書が横書き／縦書きの方向（以下、文書主方向と呼ぶ）を判別することができる。例えば、横書きの文書の場合、横方向への投影の変動は縦方向より大きい。縦書きの場合は、縦方向への投影の変動は横方向より大きい。

図３は、本実施形態における印刷コアを確定する処理を示す図である。図３は、入力画像を２値化処理した後の画像であり、３０１は画像入力部１０２により読み取った紙原稿の全範囲を示し、３０２は、読み取った紙原稿の全範囲のうち、印刷対象となる画像の有効領域、すなわち、印刷コアを示す。印刷コア３０２から、入力画像の特徴量を抽出する。

再び図２を参照する。

ステップＳ１０３において、入力画像データの２値化処理により得られた黒画素の密度分布特徴ＤＤＦ（Density Distribution Feature）を求める。

図４は、本実施形態に係る黒画素の密度分布特徴を抽出する方法を示す図である。

まず、印刷コア３０２をＭ×Ｎの領域に分割する。例えば、図４に示すように、横Ｍ、縦Ｎ本の線で印刷コア３０２をｍ×ｎの領域に分割する。

次に、各分割領域の黒画素数ｓ_ｉ(ｉ＝０， …，ｍ×ｎ−１）を集計する。ここで、ｉは分割領域のインデックスである。

次に、各分割領域の黒画素数を正規化する。各分割領域黒画素ｓ_ｉと最大黒画素Ｓの比ｒ_ｉを求める。

次に、横／縦書き方向により、各分割領域の上記比率の差分を求める。

横書きの文書画像の場合、

縦書きの文書画像の場合、

最後に、文書画像の黒画素の密度分布特徴（ＤＤＦ）を次のように表現する。

図５は本実施形態に係る画像主要ブロック特徴を抽出する方法を示すフローチャートである。

同様に、ステップＳ１２１において、入力画像データの２値化処理を行う。

ステップＳ１２２において、入力画像の印刷コアを確定する。

ステップＳ１２３において、入力画像の主要ブロック特徴（ＫＢＦ：key block feature）を求める。

例えば、図３を参照すると、図３に示す画像には、所定のイメージが表現される画像領域（ブロック）（２台の車、グラフ、多くの文字のイメージなど、）は複数存在する。図５に示す手順に従って、その中の主要なブロックの特徴量を抽出する。

まず、２値化処理を行い、印刷コア３０２を確定した後、印刷コア３０２に対して、文書主方向の隣接する位置の文字の間の空白を黒で埋めるような処理を施す。元々、入力画像において、黒画素が分散して分布しており、連続しない。即ち、文書主方向の隣接する位置の文字の間に、空白がある。隣接する位置の文字の間の空白を黒で埋めると、一行／列の文字の２値化の黒画素が互いにつながり、分散している黒スポットから一定の長さを有する黒線になる。

次に、得られた黒線の長さと黒線間の間隔の疎密により、印刷コアを複数の画像ブロックに分割する。

次に、各画像ブロック内の黒線の長さの平均値を求める。例えば、この平均値の上位３つの画像ブロックを、主要ブロックＫＢ１，ＫＢ２，ＫＢ３として選択する。

図６、図７、図８は、以上のように得られた主要ブロックＫＢ１，ＫＢ２，ＫＢ３を示す図である。図６、図７、図８に，４０１，４０２，４０３はそれぞれ主要ブロックＫＢ１，ＫＢ２，ＫＢ３を示す。

図６、図７、図８において、上記のように、隣接する位置の黒画素の空白を黒で埋め、一定の長さを有する黒線になり、また、これら黒線の長さと黒線間の間隔の疎密は、印刷コアを画像ブロックに分割する参考基準となる。

また、図６、図７、図８の左側に、主要ブロックＫＢ１，ＫＢ２，ＫＢ３の横方向への投影が示されている。画像ブロックのこのような投影から、当該画像ブロックにおける黒線の長さと黒線間の間隔の疎密の情報が得られる。

図９は、入力画像上に主要ブロックＫＢ１，ＫＢ２，ＫＢ３の相対関係を示す。図９に示すように、４０１，４０２，４０３に示された主要ブロックＫＢ１，ＫＢ２，ＫＢ３はそれぞれ一番目、二番目、三番目大きいな主要ブロックである。

主要ブロックＫＢ１，ＫＢ２，ＫＢ３の重心をｃ_１，ｃ_２，ｃ_３とし、下記の各指標を求める。

ここで、ｂｗ_ｉはｉ番目のブロック中の全ての黒線の長さの平均値である。

即ち、三角形ｃ_１ｃ_２ｃ_３の内角をθ_１，θ_２，及びθ_３とするとき、αｉはsin(θ_ｉ)のことである。

そして、主要ブロック特徴ＫＢＦを下記の式で表す。

このように、本実施形態において、局部的な特徴量として用いられる画素密度分布の特徴データ、及び、全体特徴量として用いられる主要ブロックの特徴データが抽出される。

次に、画素密度分布の特徴データ、又は／及び、主要ブロックの特徴データを用い、データベースから入力画像とマッチングする文書・画像を検索する方法を説明する。

次に、本実施形態に係る画像検索方法を説明する。

本実施形態に係る画像検索方法を実行することに先立って、文書・画像データベースを構築する。例えば、１０，０００以上の文書・画像のデータを含む大規模なデータベースを構築する。これら大量の文書・画像のデータは、例えば、
異なる画像解像度（例えば、１００ｄｐｉ、２００ｄｐｉ、４００ｄｐｉなど）、異なるフォーマット（例えば、１ビット、８ビット、２４ビットなど）、異なる言語（例えば、中国語、日本語、英語など）の文字の文書・画像からなる。これらの大量の文書・画像の各々について、上記のような画像特徴量抽出処理が行われ、各文書や画像の画素密度分布の特徴データ、及び主要ブロックの特徴データが抽出され、文書・画像のデータと関連付けられてデータベースに記憶される。このデータベースは、ハードディスク１０４に記憶されており、デジタル複合機１００が動作中に、ワークメモリ１０５に読み込まれ、文書管理部１０６により管理される。

次に、入力画像をＱとし、入力画像の画素密度分布特徴をＱＤＤＦ、主要ブロックの特徴データをＱＫＢＦとし、文書管理部１０６はＫ個の文書・画像データ（データベース）を管理しており、そのうちｋ番目（ｋ＝１，…，Ｋ）の文書・画像データの画素密度分布特徴と主要ブロックの特徴データをそれぞれＤＤＤＦ（ｋ）とＤＫＢＦ（ｋ）として、本実施形態の検索方法を説明する。

図１０は本実施形態に係る文書・画像を検索する方法を説明するフローチャートである。

ステップＳ１３１において、文章検索部１０７は、図２に示す手順で抽出された入力画像の密度分布特徴ＤＤＦを用い、第１段階の検索を行い、密度分布特徴ＤＤＦで入力文書・画像とマッチングする文書・画像をデータベースから検索する。

具体的に、まず、入力画像の画素密度分布特徴ＱＤＤＦとデータベースに記憶されている文書・画像データの画素密度分布特徴ＤＤＤＦ（ｋ）（ｋ＝１，…，Ｋ）の二つの距離値Ｄｄｉｓ_ｋとＤｄｉｆ_ｋを次のように計算する。

ds_i ^kを以下の列にソートする。

次に、距離Ｄｄｉｓ_ｋと距離Ｄｄｉｆ_ｋの値の小さい順で５個ずつ、データベースから合計１０個の候補を選び、第１段階の検索結果とする。

ステップＳ１３２において、文章検索部１０７は、図５に示す手順で抽出された入力画像の主要ブロック特徴ＫＢＦを用い、第２段階の検索を行う。

具体的に、まず、第１段階で得られた１０個の候補の主要ブロックの特徴データをＤＫＢＦ（ｉ）（ｉ＝０，…，９）とする。ＱＤＤＦとＤＫＢＦ（ｉ） （ｉ＝０，…，９）の二つの指標ｓｃ_ｉとｐｃ_ｉを求めて，信頼度数Ｒｋｂｆ_ｉを計算する。

指標ｓｃ_ｉは、主要ブロックの平均サイズを用いて計算された入力画像と候補画像の間の信頼度数を示す。

指標ｐｃ_ｉは、主要ブロック間の相対位置を用いて計算された入力画像と候補画像の間の信頼度数を示す。

次に、第１段階の検索結果の１０個の候補に対して、Ｒｋｂｆｉ値の小さい順で５個を選び、第２段階の検索結果とする。

図１１と図１２は、以上に説明した本実施形態の画像検索方法を用いて行った実験結果を示す表である。図１１と図１２の実験には、１０，３８５個の文書・画像のデータを含むデータベースが構築され、Pentium（登録商標）1.7 ＧＨｚのＣＰＵ、２５６ＭＢのメモリを有するパソナル・コンピュータを用いた。図１１の実験には、画素密度分布の特徴データを用いて一致度の高い５つの画像を検索した。図１２の実験には、画素密度分布の特徴データと主要ブロックの特徴データ両方を用いて一致度の高い５つの画像を検索した。画像処理には約１．８秒掛かった、検索処理に約１．６秒掛かった。

図１１と図１２に示すように、本実施形態の検索方法により、異なる画像解像度、異なるフォーマット、異なる言語の文書・画像について、迅速・高精度な画像検索を実現した。

図１３は本実施形態のデジタル複合機１００の画像処理動作を示すフローチャートである。

ステップＳ２０１において、画像入力部１０２、原稿から画像を入力する。

ステップＳ２０２において、制御部１０１は入力された画像の特徴を抽出する。

ステップＳ２０３において、文書検索部１０７は、抽出された画像の特徴を用いて、文書管理部１０６に管理されるデータベースから入力画像とマッチングする文書画像を検索する。

ステップＳ２０４において、制御部１０１は、マッチングする文書画像が検索されたかどうかを判断する。

検索されなかった場合は画像処理を終了する。

検索された場合は、ステップＳ２０５へ進む。

ステップＳ２０５において、検索された入力画像とマッチングする文書データを表示する。ユーザは表示された文書の内容を確認できる。

ステップＳ２０６においえ、表示された文書を編集するかどうかのユーザの指示を待つ。ユーザは表示された文書を編集するかどうかを選択できる。編集が選択されたとき、ステップＳ２０７へ進む。編集が選択されなかったとき、ステップＳ２０８へ進む。

ステップＳ２０７において、ユーザが文書データに対し、内容の修正、追加及び削除などの編集作業を行う。

ステップＳ２０８において、文書データの出力をするかどうかのユーザの指示を待つ。出力が選択されたとき、ステップＳ２０９へ進む。出力が選択されなかったとき、終了する。

ステップＳ２０９において、出力の各種設定が行われて、文書データは画像出力部によって出力される。

上記の効果に加えて、本実施形態の画像処理装置により、検索された文書・画像を編集して再利用することができる。

本実施形態にいて、画素密度分布と主要ブロックの相対位置とサイズを画像特徴量とする。この２つの特徴量は、画質の劣化により変化しにくい。

特に、画素密度分布の処理がシンプルであり、計算が少なく、抽出が効率、処理時間が短い。また、主要ブロックの特徴量は、画像変形により変動しにくい。

ゆえに、本実施形態により、異なる画像解像度、異なるフォーマット、異なる言語の文書・画像について、迅速かつ高精度に画像を検索することができ、また、検索された文書・画像を編集して再利用することができる。

以上の実施例は、本発明を説明するために用いられたものであり、本発明を制限するものではない。本発明を逸脱しない範囲内で当業者が本発明に加えた如何なる変更、改変、修正は、本発明の範囲に属する。

本発明の一実施例となるデジタル複合機１００の構成を示すブロック図である。 本実施形態に係る画素密度分布特徴を抽出する方法を示すフローチャートである。 本実施形態における印刷コアを確定する処理を示す図である。 本実施形態に係る黒画素の密度分布特徴を抽出する方法を示す図である。 本実施形態に係る画像主要ブロック特徴を抽出する方法を示すフローチャートである。 主要ブロックＫＢ１を示す図である。 主要ブロックＫＢ２を示す図である。 主要ブロックＫＢ３を示す図である。 入力画像上に主要ブロックＫＢ１，ＫＢ２，ＫＢ３の相対関係を示す。 本実施形態に係る文書・画像を検索する方法を説明するフローチャートである。 本実施形態の画像検索方法を用いて行った実験結果を示す表である。 本実施形態の画像検索方法を用いて行った実験結果を示す表である。 本実施形態のデジタル複合機１００の画像処理動作を示すフローチャートである。

符号の説明

１００ デジタル複合機
１０１ 制御部
１０２ 画像入力部
１０３ 画像出力部
１０４ ハードディスク
１０５ ワークメモリ
１０６ 文書管理部
１０７ 文書検索部
１０８ 文書編集部
１０９ コンピュータインタフェース（Ｉ／Ｆ）部
１１０ ユーザインタフェース部
１１１ ファクシミリ部

Claims (31)

1. 所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出手段と、
   複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶される記憶装置と、
   前記検索対象画像とマッチングする前記参照画像を検索する検索手段と
   を有し、
   前記検索手段は、前記画素密度分布抽出手段により抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する
   ことを特徴とする画像検索装置。
2. 前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出手段をさらに有し、
   前記各々の参照画像を構成する複数の主要領域のデータは前記記憶装置に記憶されており、
   前記検索手段は、前記主要領域抽出手段により抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定手段をさらに有し、
   前記画素密度分布抽出手段は、前記有効領域特定手段により特定された前記第１の画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記検索対象画像の画素密度分布を抽出する
   ことを特徴とする請求項１に記載の画像検索装置。
4. 前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定手段をさらに有し、
   前記主要領域抽出手段は、前記有効領域特定手段により特定された前記検索対象画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記検索対象画像の主要領域を抽出する
   ことを特徴とする請求項２に記載の画像検索装置。
5. 所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出工程と、
   複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする参照画像を検索する第１の検索工程を
   有する
   ことを特徴とする画像検索方法。
6. 前記データベースには、前記各々の参照画像を構成する複数の主要領域のデータは記憶されており、
   前記画像検索方法は、
   前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出工程と、
   抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする参照画像を検索する第２の検索工程と
   をさらに有する
   ことを特徴とする請求項５に記載の画像検索方法。
7. 前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定工程をさらに有し、
   前記画素密度分布抽出工程には、特定された前記検索対象画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記検索対象画像の画素密度分布を抽出する
   ことを特徴とする請求項５に記載の画像検索方法。
8. 前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定工程をさらに有し、
   前記主要領域抽出工程には、前記特定された前記検索対象画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記検索対象画像の主要領域を抽出する
   ことを特徴とする請求項６に記載の画像検索方法。
9. 前記各々の複数参照画像の画素密度分布を抽出し、当該各々の参照画像を構成する複数の主要領域を抽出し、前記各々の参照画像の画像データ、当該各々の参照画像の画素密度分布データ、及び当該各々の参照画像の主要領域データを、互いに関連付けて前記データベースに記憶するデータベース構築工程をさらに有する
   ことを特徴とする請求項５に記載の画像検索方法。
10. 画像を入力する画像入力手段と、
    複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶される記憶装置と、
    前記画像入力手段により入力された入力画像の画素密度分布を抽出する画素密度分布抽出手段と、
    前記画素密度分布抽出手段により抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの前記参照画像を検索する検索手段と、
    前記検索手段によって前記入力画像とマッチングする前記参照画像が検索されたとき、当該検出された参照画像を出力する画像出力手段と
    を有する
    ことを特徴とする画像処理装置。
11. 前記入力画像を構成する複数の主要領域を抽出する主要領域抽出手段をさらに有し、
    前記各々の参照画像を構成する複数の主要領域のデータは前記記憶装置に記憶されており、
    前記検索手段は、前記主要領域抽出手段により抽出される前記入力画像の主要領域データを、前記入力画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする参照画像を検索する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定手段をさらに有し、
    前記画素密度分布抽出手段は、前記有効領域特定手段により特定された前記入力画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記入力画像の画素密度分布を抽出する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定手段をさらに有し、
    前記主要領域抽出手段は、前記有効領域特定手段により特定された前記入力画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記入力画像の主要領域を抽出する
    ことを特徴とする請求項１１に記載の画像処理装置。
14. 前記検索手段によって前記入力画像とマッチングする前記参照画像が検索されたとき、当該検出された参照画像を表示する表示手段と、
    当該検出された参照画像を編集する編集手段と
    を有する
    ことを特徴とする請求項１０記載の画像処理装置。
15. 入力画像を読み取る画像入力工程と、
    前記入力画像の画素密度分布を抽出する画素密度分布抽出工程と、
    複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程と、
    前記入力画像とマッチングする前記参照画像が検索されたとき、当該参照画像を出力する画像出力工程と
    を有し、
    ことを特徴とする画像処理方法。
16. 前記データベースには、前記各々の参照画像を構成する複数の主要領域のデータは記憶されており、
    前記画像検索方法は、
    前記入力画像を構成する複数の主要領域を抽出する主要領域抽出工程と、
    抽出される前記入力画像の主要領域データを、前記入力画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする参照画像を検索する第２の検索工程と
    をさらに有する
    ことを特徴とする請求項１５に記載の画像処理方法。
17. 前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定工程をさらに有し、
    前記画素密度分布抽出工程には、特定された前記入力画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記入力画像の画素密度分布を抽出する
    ことを特徴とする請求項１５に記載の画像処理方法。
18. 前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定工程をさらに有し、
    前記主要領域抽出工程には、前記特定された前記入力画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記入力画像の主要領域を抽出する
    ことを特徴とする請求項１６に記載の画像処理方法。
19. 前記各々の複数参照画像の画素密度分布を抽出し、当該各々の参照画像を構成する複数の主要領域を抽出し、前記各々の参照画像の画像データ、当該各々の参照画像の画素密度分布データ、及び当該各々の参照画像の主要領域データを、互いに関連付けて前記データベースに記憶するデータベース構築工程をさらに有する
    ことを特徴とする請求項１５に記載の画像処理方法。
20. 前記入力画像にマッチングする前記参照画像が検索されたとき、当該参照画像を表示する表示工程と、
    当該参照画像を編集する編集工程と
    を有する
    ことを特徴とする請求項１５記載の画像処理方法。
21. 所定の検索対象画像の画素密度分布を抽出する画素密度分布抽出工程と、
    複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記検索対象画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記検索対象画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程と
    をコンピュータに実行させるための画像検索プログラム。
22. 前記データベースには、前記各々の参照画像を構成する複数の主要領域のデータは記憶されており、
    前記画像検索プログラムは、さらに、前記コンピュータに
    前記検索対象画像を構成する複数の主要領域を抽出する主要領域抽出工程と、
    抽出される前記検索対象画像の主要領域データを、前記検索対象画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記検索対象画像とマッチングする参照画像を検索する第２の検索工程と
    を実行させる
    ことを特徴とする請求項２１に記載の画像検索プログラム。
23. 前記画像検索プログラムは、さらに、前記コンピュータに前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定工程を実行させ、
    前記画素密度分布抽出工程には、特定された前記検索対象画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記検索対象画像の画素密度分布を抽出する
    ことを特徴とする請求項２１に記載の画像検索プログラム。
24. 前記画像検索プログラムは、前記検索対象画像の画像データを２値化し、前記検索対象画像の有効領域を特定する有効領域特定工程を前記コンピュータにさらに実行させ、
    前記主要領域抽出工程には、前記特定された前記検索対象画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記検索対象画像の主要領域を抽出する
    ことを特徴とする請求項２２に記載の画像検索プログラム。
25. 前記各々の複数参照画像の画素密度分布を抽出し、当該各々の参照画像を構成する複数の主要領域を抽出し、前記各々の参照画像の画像データ、当該各々の参照画像の画素密度分布データ、及び当該各々の参照画像の主要領域データを、互いに関連付けて前記データベースに記憶するデータベース構築工程を前記コンピュータにさらに実行させる
    ことを特徴とする請求項２１に記載の画像検索プログラム。
26. 入力画像を読み取る画像入力工程と、
    前記入力画像の画素密度分布を抽出する画素密度分布抽出工程と、
    複数の参照画像の画像データ及び当該各々の参照画像の画素密度分布データが記憶されるデータベースから、抽出される前記入力画像の画素密度分布を、前記各々の参照画像の画素密度分布と比較し、前記入力画像とマッチングする少なくとも一つの参照画像を検索する第１の検索工程と、
    前記入力画像とマッチングする前記参照画像が検索されたとき、当該参照画像を出力する画像出力工程と
    をコンピュータに実行させるための画像処理プログラム。
27. 前記データベースには、前記各々の参照画像を構成する複数の主要領域のデータは記憶されており、
    前記画像処理プログラムは、さらに、前記コンピュータに
    前記入力画像を構成する複数の主要領域を抽出する主要領域抽出工程と、
    抽出される前記入力画像の主要領域データを、前記入力画像の画素密度分布を用い検索された参照画像の主要領域データと比較し、前記入力画像とマッチングする前記参照画像を検索する第２の検索工程と
    を実行させる
    ことを特徴とする請求項２６に記載の画像処理プログラム。
28. 前記画像処理プログラムは、さらに、前記コンピュータに前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定工程を実行させ、
    前記画素密度分布抽出工程には、特定された前記入力画像の有効領域を複数の分割領域に分割し、当該各分割領域の画素密度を求め、前記入力画像の画素密度分布を抽出する
    ことを特徴とする請求項２６に記載の画像処理プログラム。
29. 前記画像処理プログラムは、さらに、前記コンピュータに前記入力画像の画像データを２値化し、前記入力画像の有効領域を特定する有効領域特定工程を実行させ、
    前記主要領域抽出工程には、前記特定された前記入力画像の有効領域を複数の画像領域に分割し、前記複数の画像領域から前記入力画像の主要領域を抽出する
    ことを特徴とする請求項２７に記載の画像処理プログラム。
30. 前記各々の複数参照画像の画素密度分布を抽出し、当該各々の参照画像を構成する複数の主要領域を抽出し、前記各々の参照画像の画像データ、当該各々の参照画像の画素密度分布データ、及び当該各々の参照画像の主要領域データを、互いに関連付けて前記データベースに記憶するデータベース構築工程を前記コンピュータにさらに実行させる
    ことを特徴とする請求項２６に記載の画像処理プログラム。
31. 前記画像処理プログラムは、
    前記入力画像にマッチングする前記参照画像が検索されたとき、当該参照画像を表示する表示工程と、
    当該参照画像を編集する編集工程と
    をさらに前記コンピュータに実行させる
    ことを特徴とする請求項２６記載の画像処理プログラム。

Images