JP2007079616A - 情報検索装置、情報検索装置の制御方法、及び制御プログラム - Google Patents

Abstract

【課題】 入力された画像にテキストブロックや画像ブロックがある場合に効率良く検索を行う装置、方法、プログラムを提供する。
【解決手段】 入力された画像のテキストブロック数や画像ブロック数によりレイアウト検索、画像検索、テキスト検索の順序を決め、検索対象を順次絞り込むことによって、検索の高速化を図る。
【選択図】 図４

Description

複数の情報から所定の情報を検索する情報検索装置等に関し、特に、複数の検索モードが存在する情報検索装置等に関する。

近年、大量の文書データを扱う機会が増加し、また写真や図などの画像を含む文書も増加している。所望の文書データを検索する手段も多種多様になってきている。単純なキーワード検索（キーワードを指示し、それが出現するか否かで検索を行う）だけでは、ユーザの要求を十分に満たさなくなってきているためである。

そこで、文書データを検索する手段して、キーワード間の関係や構文情報の類似度を用いたもの、文書の内容を特徴付ける文書ベクトルを用いたものなどが新たに実現されている。さらには、内容を特徴付ける意味、分野、単語そのものを次元として、その特徴量を値とすることでベクトル表現し、文書ベクトル間の内積等の値を用いて文書間の類似度を求めるものも考案されている。またこのように複数の検索エンジンを切り替えて検索したり、複数のエンジンの検索結果から総合的に検索したりするものも考案されている。

また、第１の検索エンジンの検索結果から第２の検索エンジンの検索対象範囲を絞り込み検索時間を短縮していた。

従来、イメージデータからテキストデータとイメージ特徴情報とを取得し、検索手順を切り替える手法がある（例えば、［特許文献１］参照）。
特開２００４−３３４３３４号公報

しかしながら、上記従来の情報検索装置では、次のような問題点があった。

このように複数の検索エンジンを組み込んだシステムでは、それぞれ検索のエンジンで検索し、検索結果から総合的に検索した場合、検索時間が増大する。

また、検索対象範囲の絞り込みも、状況によって第１の検索エンジンを先に実行したほうが早く絞り込める場合と第２の検索エンジンを先に実行したほうが早く絞り込める場合があるため、最適な検索パフォーマンスを発揮できなかった。

本発明は上記従来の問題点に鑑み、状況により検索する検索方法の順序を動的に決定することにより、高速で高精度の検索結果を得ることができる情報検索装置等を提供することを目的とする。

上記課題を解決するため、本願の情報検索装置は以下の構成を備える。即ち、情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置において、文書画像入力手段と、文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析手段と、クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定手段と、前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索手段と、前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索手段と、前記検索結果から検索対象範囲を絞り込む手段と、前記検索結果を出力する検索結果出力手段。

上記課題を解決するため、本願の情報検索装置の制御方法は以下の構成を備える。即ち、情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置において、文書画像入力行程と、文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析行程と、クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定行程と、前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索行程と、前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索行程と、前記検索結果から検索対象範囲を絞り込む行程と、前記検索結果を出力する検索結果出力行程。

上記課題を解決するため、本願のプログラムは以下の構成を備える。即ち、情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置の制御方法を実行するための制御プログラムであって、文書画像入力ステップと、文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析ステップと、クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定ステップと、前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索ステップと、前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索ステップと、前記検索結果から検索対象範囲を絞り込むステップと、前記検索結果を出力する検索結果出力ステップ。

以上詳述したように本発明によれば、情報検索において、複数の検索方法の実行順序を最適化することで高精度でかつ高速に検索できる。これにより、ユーザの操作性を大幅に向上させ、目的の情報を効果的に検索することが可能になる。

＜実施形態１＞
以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の実施形態１に係る情報検索装置の構成を示すブロック図である。

この情報検索装置は、以下のように構成される。プログラムに従って処理を実行する中央処理装置１。検索対象となる文書やアノテーション付き画像等のほか、プログラムや辞書の納まっているデータベース等の記憶装置２。処理を操作するキーボードやマウス等の入力装置３。検索結果を表示する表示装置４。ＦＤ（フロッピー（登録商標）ディスク）、ＣＤ−ＲＯＭ、ＲＯＭ等のメディア及び磁気テープ等の記録媒体に記憶されたプログラムやデータ等を記憶装置２に読み取る記憶媒体読取装置５。画像をスキャンし、画像を取得するスキャナー等の画像読取装置６。

［検索動作の概要説明］
次に、本実施形態の検索動作の概要を説明する。

図４は、検索処理を示すフローチャートである。文書画像を取得する画像取得処理（ステップＳ４０１）と、文書画像を解析する文書画像解析処理（ステップＳ４０２）とで取得した画像を解析する。検索順序決定処理（ステップＳ４０３）と、検索方法判定処理（ステップＳ４０４）とで、検索処理の順序を決定し取得画像に対して用いる検索方法を判定する。検索１処理（ステップＳ４０５）と、検索２処理（ステップＳ４０６）と、検索対象絞り込み処理（ステップＳ４０７）とで、検索対象を絞り込みつつ効率良く検索を行う。検索結果を出力する検索結果出力処理（ステップＳ４０８）では、検索結果を出力する。検索処理は２段階だけでなく、１段階で終わることも３段階以上になることもある。閾値以下に絞り込まれれば１段階で終わることも可能である。

ここで、画像取得処理（ステップＳ４０１）は、画像読取装置６で文書画像をスキャンし、文書画像を取得する処理である。文書画像解析処理（ステップＳ４０２）は、ステップＳ４０１で得られた文書画像から写真画像ブロックとテキストブロックと等を分割して解析する処理である。検索順序決定処理（ステップＳ４０３）は、ステップＳ４０２で得られた画像ブロックとテキストブロックとの個数や面積などや蓄積された情報によって検索方法の順序を決定する処理である。検索方法判定処理（ステップＳ４０４）は、ステップＳ４０３で決定された検索順序を判定する処理である。検索１処理（ステップＳ４０５）は、ステップＳ４０２で得られた解析結果をクエリーとして検索を行う第１の検索処理である。検索２処理（ステップＳ４０６）は、ステップＳ４０２で得られた解析結果をクエリーとして検索を行う第２の検索処理である。検索結果絞り込み処理（ステップＳ４０７）は、ステップＳ４０５やステップＳ４０６で検索された検索結果から検索対象を限定する処理である。検索結果出力処理（ステップＳ４０５）は、最後に実行されたステップＳ４０５やステップＳ４０６で得られた検索結果から図１２に示すように検索結果リストを一致度の高い順に表示装置４に一覧表示する。または、記憶装置２に格納する処理である。

図５は、図１の記憶装置２に登録されている検索対象のインデキシング処理を示すフローチャートである。

このインデキシング処理は画像取得処理（ステップＳ５０１）と、文書画像解析処理（ステップＳ５０２）と、検索１、２エンジンのインデキシング処理（ステップＳ５０３、ステップＳ５０４）とで構成されている。

ここで、文書画像取得処理（ステップＳ５０１）は、文書画像を図１の記憶装置２に登録するときに、画像読取装置６で文書画像をスキャンし文書画像を取得する処理である。文書画像解析処理（ステップＳ５０２）は、ステップＳ５０１で得られた文書画像から写真画像ブロックやテキストブロック等を分割して解析する処理である。検索１エンジンのインデキシング処理（ステップＳ５０３）は、検索１エンジンに対してステップＳ５０２で取得したデータから作成したインデックスを記憶装置２に格納する処理である。検索２エンジンのインデキシング処理（ステップＳ５０４）は、検索２エンジンに対してステップＳ５０２で取得したデータから作成したインデックスを記憶装置２に格納する処理である。

図１１は、図４のステップＳ４０４の検索方法の１例として概念検索を詳細化したフローチャートである。

この概念検索は、クエリー言語解析結果取得処理（ステップＳ１１１）と、クエリーベクトル生成処理（ステップＳ１１２）と、類似度算出処理（ステップＳ１１３）とから構成される。

ここで、クエリー言語解析結果取得処理（ステップＳ１１１）は、クエリー言語解析結果を取得する処理である。クエリーベクトル生成処理（ステップＳ１１２）は、ステップＳ１１１で取得した解析結果からクエリーベクトルの生成する処理である。類似度算出処理（ステップＳ１１３）は、ステップＳ１１２で得られたクエリーベクトルと登録時に記憶装置２に格納された文書毎の文書ベクトルと比較して類似度を算出し検索結果としてリストアップする処理である。

図１０は、図５のステップＳ５０５の例として概念検索のインデキシング登録処理を詳細化したフローチャートである。

この概念検索のインデキシング登録処理は、言語解析結果取得処理（ステップＳ１０１）と、文書ベクトル生成処理（ステップＳ１０２）と、インデックス登録処理（ステップＳ１０３）とで構成されている。

ここで、言語解析結果取得処理（ステップＳ１０１）は、登録文書の言語解析結果を取得する処理である。文書ベクトル生成処理（ステップＳ１０２）は、ステップＳ１０１で抽出された単語から辞書を検索し、単語毎の次元別の特徴量を得て、その総和から文書ベクトルを生成する処理である。インデックス登録処理（ステップＳ１０３）は、ステップＳ１０２で得られた文書ベクトルを登録文書の内容または文書識別子とともに記憶装置２に登録する処理である。

［検索動作の具体的な説明］
次に、上述した各フローチャートで説明した処理で実現される本実施形態の検索動作について、表示例を参照しつつ具体的に説明する。

Ｉ．検索
検索の詳細について、図８のデータ例と図４のフローチャートを参照して説明する。

文書画像取得処理（ステップＳ４０１）では、画像読取装置６で図８（ａ）や図８（ｂ）のような文書画像を取得する。次に文書画像解析処理（ステップＳ４０２）では、ステップＳ４０１で取得した文書画像のブロックを認識しＯＣＲかける。それによりテキストブロックや写真のブロック、イラストのブロック等を取得する。次に、検索順序決定処理（ステップＳ４０３）は、ステップＳ４０２で得られた解析結果や蓄積された情報から検索順序決定を行う。

例えば、画像ブロックの面積の和とテキストブロックの面積の和を比較し、大きいほうから実行する。図８（ａ）の場合、画像面積の方が大きいため、検索２（画像検索）、検索１（テキスト検索）の順に実行する。次に検索方法判定処理（ステップＳ４０４）は、ステップＳ４０３で決定した順序から次にどの検索を実行するかを判定する。図８（ａ）の場合、はじめに、ステップＳ４０６の検索２（画像検索）、次にステップＳ４０５の検索１（テキスト検索）、次に検索終了を判定する。次に検索２処理（ステップＳ４０６：画像検索）では、ステップＳ４０２で得られた画像ブロックを検索要求として記憶装置２に格納されている複数の文書を対象に類似している文書を検索する。次に検索対象絞り込み処理（ステップＳ４０７）では検索結果を次の検索対象に設定する。次に検索方法判定処理でステップＳ４０５に進む。次に検索１処理（ステップＳ４０５：テキスト検索）では、ステップＳ４０２で得られたブロックを検索要求として、ステップＳ４０７で絞り込まれた検索範囲に対して記憶装置２に格納されている文書を対象に類似文書を検索する。次に検索結果表示処理（ステップＳ４０８）は、最後の検索結果（この場合ステップＳ４０５のテキスト検索）で得られた検索結果から図１２に示すように検索結果リストを一致度の高い順に表示装置４に一覧表示する。または、記憶装置２に格納する処理である。

図８（ｂ）が入力された場合は、テキストブロックの面積が画像ブロックの面積より大きいため、テキスト検索、画像検索の順に検索する。

検索では検索対象の数が小さければ、検索速度が速くなる。つまりなるべく早い段階で検索対象が絞り込まれれば、全体としての検索速度が向上する。従って検索順序最適化では、検索結果数が小さいと見込まれる検索を早い段階で実行することが重要となる。そのため、検索順序を決定するためには解析結果から得られる画像ブロックとテキストブロックの個数、面積などから検索結果を予想し、検索方法の特性など考慮し最適化しなければならない。

ＩＩ．概念検索
次に、概念検索の詳細について、図１１のフローチャートを参照して説明する。

まず、クエリー言語処理結果取得処理（ステップＳ１１１）で、クエリーに含まれる単語を取得する。次のクエリーベクトル生成処理（ステップＳ１１２）では、文書ベクトル生成と同様に基本ベクトル辞書によりクエリーのベクトルを生成する。そして、類似度算出処理（ステップＳ１１３）では、クエリーの特徴ベクトルとそれぞれの文書ベクトルの類似度を実際に算出する。

ＩＩＩ．概念検索登録処理
次に、概念検索登録処理の詳細について、図１３及び図１４のデータ例と図１０のフローチャートを参照して説明する。

文書は図１の記憶装置２に登録される段階で、まず言語解析結果取得処理（図１０のステップＳ１０１）を実行し、登録文書に含まれる単語を取得する。次に文書ベクトル生成処理（ステップＳ１０２）で、文書内に出現する単語から基本ベクトル辞書を用いて文書ベクトルが算出される。

図１３は、基本ベクトル辞書の構成を示した図である。同図に示すように、基本ベクトル辞書は、単語毎にベクトル表現時のそれぞれの次元（Ｄｉｍ．）に応対した特徴量が格納されている。次元は、その単語本来の意味によって分類された基準や、その単語の使用分野に応じて分類された基準等が採用される。「単語１」の「Ｄｉｍ．０１」の特徴量は０であり、「Ｄｉｍ．０２」の特徴量は２３であることが分かる。

このように辞書から１つの単語におけるそれぞれの次元（Ｄｉｍ．）の特徴量を得ることが可能となる。特徴量は、その単語が使用されることにより、その文書がその分類基準（＝次元）をどれぐらい特徴付ける可能性があるかを示す値と解釈することが可能である。文書を構成するすべての単語から得られた分類基準別（次元別）の特徴量から、文書全体の特徴量が分類基準を次元とするベクトルで表現される。得られたベクトルをノルム＝１で正規化した値を文書ベクトルとして格納する。

その後のインデックス登録処理（ステップＳ１０３）では、文書ベクトルを図１４に示すようなインデックスに格納する。「文書ＩＤ＝６９４７」の文書ベクトルの「Ｄｉｍ．０１」の特徴量は、０．１８３であり、「Ｄｉｍ．０２」の特徴量は、０．２１４であることが分かる。

ＩＶ．画像検索
以下の例では色に着目した画像特徴量として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での処理を用いて説明する。

先ず画像登録の際に行う処理を説明する。図１５は本実施形態による画像登録処理の手順を表すフローチャートである。まず、ステップＳ２１０１において、ユーザーインターフェースを介しての指示により、画像を読み込み、画像メモリに保持する。次に、ステップＳ２１０２において、この画像を複数のブロックに分割する。本実施形態では、画像を縦横の複数ブロックに分割する。図１６は本実施形態による画像のブロック分割例を示す図である。同図に示されるように、本実施形態では、３×３の計９個に画像を分割するものとする。次にステップＳ２１０３において、分割された各ブロックの特徴量を算出し、得られた特徴量を次の手順でラベル化する。

図１７は本実施形態による多次元特徴量空間を説明する図である。図１７に示すように、多次元特徴量空間（ＲＧＢカラー空間）を複数のブロック（色ブロック）、即ちセル（色セル）に分割し、夫々のセル（色セル）に対して通し番号でユニークなラベルを付与する。ここで、多次元特徴用空間（ＲＧＢカラー空間）を複数のブロックに分けたのは微妙な特徴量（色）の違いを吸収するためである。

なお、多次元特徴量空間に関しては、画像特徴量をそのまま用いるものではなく各パラメータを平均と分散を実験によって求め規格化（正規化）した後、例えば、主成分分析等の直交変換を行い、意味のある次元にしたものを用いることが考えられる。なお、「意味のある次元」とは、主成分分析において、寄与率が大きな主成分軸で構成される次元である。

ステップＳ２１０３は、ステップＳ２１０２で得られた各分割ブロックに対して、定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理を全てのブロックに対して行う。すなわち、分割画像ブロックに対して、全ての画素がどの色セルに属するかの計算処理を行い、もっとも頻度の多い色セルのラベルをその分割画像ブロックのパラメータラベル（カラーラベル）として決定し、この処理を全てのブロックに対して行う。

以上のようにして各ブロックに対してパラメータラベルが付与されると、ステップＳ２１０４において、各ブロックに付与されたパラメータラベルを所定のブロック順序で並べることにより、パラメータラベル列（以下、ラベル列とする）が生成される。図１８はラベル列を生成する際のブロック順序例を説明する図である。同図の分割画像ブロックの升にある数字に従って上記のパラメータラベルを並べ、ラベル列を作る。

ここで、図１８の（ａ）では、分割ブロックを右上から左下方向への斜め方向へスキャンしている。これは、比較する画像のアングルの微妙な違い、ずれの影響を少なくするために類似検索対象物体に沿ってなるべく多く連続したラベル列を高い期待値で得るためである。この結果、後で述べるパターンマッチング部の作用とあいまって、上下左右のどちらのずれに対しても影響の少ないラベル列同士の比較が可能となる。

なお、本実施形態に適用可能なスキャンの方法としては、
・水平方向（左から右へのスキャンを上から下へ行う、左から右へのスキャンを下から上へ行う等、４通りのスキャン方法が考えられる）、
・垂直方向（上から下へのスキャンを左から右へ行う等、４通りのスキャン方法が考えられる）、
・斜め方向（四隅の各始点について２方向の斜めスキャンがあり、図１８の（ａ）〜（ｃ）を含む８通りのスキャン方法がある）、
・ジグザグスキャン（ＪＰＥＧ等において採用されているスキャン方法であり、四隅の各始点について２通りのジグザグスキャンがあり、合計８通りのスキャンがある）、等があげられる。本実施形態では以下の観点から採用すべきスキャン方法を決定する。すなわち、
（１）本実施形態ではラベル列同士の時系列的な比較であり、この順序に逆転が生じることは好ましくない。よって、すべての画像を所定のスキャン方法でスキャンしてラベル列化を行う必要がある。
（２）位置の近いブロックはラベル列中においても近くに位置することが望ましい。
（３）検索したい物体に引っ掛かるブロックのラベルが出来る限り早く現れ、且つ長く続くことがマッチングを行いやすくする。
（４）物体が動いたり、アングルが変わったりしても、ラベルの並びが極端に変わらないようにする。
という条件を満足するスキャン方法を採用する。特に、着目物体の多くが画像中央であることを仮定すると、着目物体を含むブロックが出来るだけスキャンの早いうちに現れ、長く物体をスキャンする期待値が高い方法として、本実施形態では斜め方向のスキャンを採用している。なお、本実施形態では、図１８の（ａ）のような右上から左下方向への斜めスキャンを採用するが、当然、図１８の（ｂ）のような例や図１８の（ｃ）の様なスキャン方法を採用してもよい。

続いてステップＳ２１０５において、以上のようにして得たラベル列や画像データを画像蓄積部、画像管理ＤＢ、ラベル列インデックスに格納する。すなわち、ステップＳ２１０１で読み込んだ画像データに対して画像ＩＤを取得し、これらをペアにして画像蓄積部に格納する。そして、当該画像ＩＤに対応付けて図１９に示す画像管理ＤＢレコードを生成し、これを画像管理ＤＢに登録する。更に、ステップＳ２１０６において、ラベル列を検索キーとし、画像ＩＤ群を可変長レコードに納めるレコード（図２０のラベル系列インデックス）を作成し、ラベル列インデックスに登録する。ここで、当該ラベル列が未登録であれば、新たなレコードを生成してラベル列ＩＤを付与し、当該ラベル列及び画像ＩＤを登録する。一方、当該ラベル列が既に登録されていれば、画像ＩＤ群に当該画像ＩＤを追加登録することになる。このようなラベル系列インデックスを用いることにより、ラベル列が与えられた場合にそれに対応する画像ＩＤが高速に得られることになる。以上が画像登録時に行われる処理である。

［類似画像検索処理］
次に図２１のフローチャートに従って類似画像検索の処理を説明する。図２１は類似画像検索の処理手順を説明するフローチャートである。なお、本実施形態では、予め初期化時において、ラベル系列インデックスから、既に登録されている画像のラベル列群を得て、各ラベル成分をキーとするラベル成分インデックスファイルを生成し、ラベル列インデックスに格納しておく。なお、ここでいう初期化時とは、システムの立ち上げ時或いはアプリケーションの起動時のいずれでも良い。また、新規の画像登録があり、これを画像ＤＢに登録した場合にも、このラベル成分インデックスの生成を行う。図２２は、ラベル成分インデックスのデータ構成例を示す図である。図２２に示すように、ラベル成分インデックスには、各ラベル成分毎に、そのラベルを内部に持つラベル列へのアドレス群（列ＩＤ群）を有する。なお、このラベル成分インデックスファイルは画像の登録及び削除、変更を反映する必要が生じるまで、作成し直す必要はない。

まず、ステップＳ２７０１において、ユーザーインターフェースから類似検索元画像が指定される。すると、ステップＳ２７０２において、指定された類似検索元画像の画像ＩＤが取得され、更に画像管理ＤＢから当該元画像のラベル列（本例ではカラーラベル列）が取得される。

次にステップＳ２７０３において、ラベル成分インデックスファイルを参照し、類似検索元画像のラベル列とある程度以上同一のラベルを含むラベル列群（ラベル系列インデックス中のラベル列）を取得する。これは登録した画像の全てのラベル列との比較を行うと処理が遅くなるので、予め似ているものに絞った後に、類似検索元画像のラベル列と一対一で比較するようにし、処理速度を改善するためである。予め似ているものには、類似検索元画像のラベル列と所定数以上の同一のラベルを含むラベル列群が例としてあげられる。もちろん、処理が遅くなっても良ければ、登録した画像の全てのラベル列との比較を行い、精度の高い検索を行ってもよい（この場合、ステップＳ２７０３は省略される）。

次に、ステップＳ２７０４において、ステップＳ２７０３で取得した各ラベル列と類似検索元画像のラベル列とを比較し、その類似度を算出する。そして、類似検索元画像のラベル列に最も近いラベル列から順にその類似度とともに検索結果として出力する。

ここで、ラベル列同士の類似比較（類似度の算出）を行う方法について述べる。

図２３はラベル列を比較し類似度を求める際に用いるラベル間のペナルティマトリックスの一例を示す図である。マトリクス中の値が小さい程類似していることになる。例えば、ラベル２とラベル６のペナルティは「７」である。また、同じラベル同士のペナルティは当然のことながら「０」となっている。本マトリクスの使用目的はラベルの類似に応じた距離判定を行うことにある。すなわち、本実施形態では、特徴量空間としてＲＧＢカラー空間を用いているので、色の類似に応じた距離判定が行えることになる。

例えば、ラベル間のパターンマッチングの際に隣接するセル同士ではペナルティ（距離）を小さくし、遠いものには大きなペナルティを与えるために図２３に示すようなラベル間でのペナルティマトリックスを導入する。ステップＳ２７０４ではこのペナルティマトリックスを考慮し、ラベル列同士を比較するが、その際に、オートマトン等のラベルシーケンスを曖昧に比較できるマッチングを行うようにしてもよい。このような曖昧化の手法を用いることにより、余分なラベルの付加、ラベルの欠落や同じラベルの繰り返しに対しては低いペナルティが与えられる。さらに、ラベル間のペナルティには図２３のカラーラベル間のペナルティマトリックスを用いてラベル列同士の距離計算を行うことで、曖昧なパターンマッチングが行えるようになる。オートマトンでは、各シンボル間の距離（ペナルティー）が多値で表される。なお、比較するラベル位置を前後曖昧に移動することが出来、トータルの距離が最小（類似度が最大）となるようなラベル列の比較を実現するための手法として、上述のオートマトンの他に、ＤＰマッチングがある。音声認識などに用いられる手法である。この手法も実施形態に好適に適用できるものである。

更に、上述の曖昧なパターンマッチングに加えて、図１８の（ａ）〜（ｃ）のブロック順序の規則を併用する。比較する画像のアングルの微妙な違いやずれの影響を少なく、上下左右のどちらのずれに対しても影響の少ないカラーラベル列同士の比較を行うことが可能となる。すなわち、ＤＰマッチングやファジー非決定性オートマトンは、ラベル列の前後の曖昧さを許容するマッチングであり、画像の位置ずれの影響を吸収する性質を有する。また、アングルの違い等により物体の位置が変わり、ブロックによって切りとられる物体の位置が変わることにより、ブロックの色合いも微妙に異なることが予想されるが、この違いは上述のペナルティーマトリクスにより吸収されることになる。このように、ＤＰマッチング或いはファジーオートマトンによる曖昧さを許容するマッチングと、ペナルティーマトリクスによる特徴量の曖昧さの許容との相乗効果によって、上下左右のずれに対して影響の少ないマッチングを可能としている。更に、図１８（ａ）〜（ｃ）のような斜めスキャンにより、物体の位置の変化によるラベル位置の変化が低減されるので、より効果的にマッチング時の物体のずれの影響を低減できる。

次に、ステップＳ２７０５において、ラベル系列インデックから類似度の高いラベル列をキーとして検索を行い、対応する画像ＩＤを取得する。以下、類似度の高い順に出力された各ラベル列に対してこの処理を繰り返し、結果として類似する画像の画像ＩＤ群を得る。そして、ステップＳ２７０６において、画像管理ＤＢを参照して、画像ＩＤ群の各画像ＩＤについてフルパスのファイル名を取得し、これをユーザに提示する。

以上のような処理により、画像のアングルが変ったり、物体の位置が変ったり、あるいは撮影条件が変わったりすることによって生じる、色のある程度の違い等を吸収するなど、ロバストな類似画像検索を高速に行うことが可能となる。

なお、上記実施形態においては、自然画像検索を行う例を説明したが、本発明はＣＧやＣＡＤ等の人工的な画像の検索にも適応可能な技術であることは当業者には明らかである。

また、上記実施形態では画像特徴量として色情報を選んだが、本発明はこれに限られるものではなく、その他の画像パラメータを画像分割ブロックごとに求めることで実施することも可能である。

また、本実施形態では１つの特徴量での認識の例を挙げたが、その他の特徴量での検索結果との論理演算を行うことにより、複数の特徴量からの高速な検索を行うことも可能である。

また、ブロック化できない１つの画像に対して１つのパラメータを加味した類似検索の場合には、本発明で得られる類似度（ペナルティの総和を用いて作る）を１つの新たなる特徴量として、統計的な距離尺度に基づく検索を行うことも可能である。また、上記実施形態では、類似度が所定値を越える類似画像を検索結果として得るが、類似度の高い画像から順に前もって指定された個数の画像を検索結果として出力するようにしてもよいことはいうまでもない。

このように本実施形態によれば、情報検索において、複数の検索方法の実行順序を最適化することで先の検索方法の実行により検索結果数を絞り込み、後の検索方法の実行では絞り込まれた少ない検索対象を高精度でかつ高速に検索できる。これにより、ユーザの操作性を大幅に向上させ、目的の情報を効果的に検索することが可能になる。

＜実施形態２＞
図１は、本発明の実施形態２に係る情報検索装置の構成を示すブロック図である。本発明の実施形態１と同じである。

＜検索動作の概要説明＞
次に、本実施形態の検索動作の概要を説明する。

＜検索動作の具体的な説明＞
次に、上述した各フローチャートで説明した処理で実現される本実施形態の検索動作について、表示例を参照しつつ具体的に説明する。検索について、図９のデータ例と図６のフローチャートを参照して説明する。

文書画像取得処理（ステップＳ６０１）で画像読取装置６で図９（ａ）や（ｂ）のような文書画像を取得する。次に文書画像解析処理（ステップＳ６０２）では、ステップＳ６０１で取得した文書画像のブロックを認識しＯＣＲにかける。それによりテキストブロックや写真のブロック、イラストのブロック等を取得する。次に、検索順序最適化処理（ステップＳ６０３）は、ステップＳ６０２で得られた解析結果や蓄積された情報から最適な検索方法の選択や順序を決定し、最適化を行う。

例えば、画像ブロックの面積の和とテキストブロックの面積の和を比較し、大きいほうから実行する。図９（ａ）の場合、まず検索速度の速い検索Ｎ（レイアウト検索）、画像面積の方が大きいまた蓄積されている情報が画像のほうが少ないため、検索２（画像検索）、次に検索１（テキスト検索）の順に実行する。蓄積されている情報が比較的少ないため、さらに詳細な検索は行わない。次に検索方法判定処理（ステップＳ６０４）は、ステップＳ６０３で決定した順序から次にどの検索を実行するかを判定する。図９（ａ）の場合、はじめに、ステップＳ６０９の検索Ｎ（レイアウト検索）、次にステップＳ６０６の検索２（画像検索）、次にステップＳ６０５の検索１（テキスト検索）、次に検索終了を判定する。次に検索Ｎ処理（ステップＳ６０９：レイアウト検索）では、ステップＳ６０２で得られたレイアウト情報を検索要求として記憶装置２に格納されている複数の文書を対象に類似しているレイアウトの文書を検索する。次に検索順序補正（ステップＳ６１０）では、検索結果から検索方法の選択、順序決定が正しいか検証、補正をする。次に検索対象絞り込み処理（ステップＳ６０７）では検索結果を次の検索対象に設定する。次に検索方法判定処理でステップＳ６０６に進む。次に検索２処理（ステップＳ６０６：画像検索）では、ステップＳ６０２で得られた画像ブロックを検索要求として記憶装置２に格納されている複数の文書を対象に類似している文書を検索する。次に検索順序補正（ステップＳ６１０）では、検索結果から検索方法の選択、順序決定が正しいか検証、補正をする。次に検索対象絞り込み処理（ステップＳ６０７）では検索結果を次の検索対象に設定する。次に検索方法判定処理でステップＳ６０５に進む。次に検索１処理（ステップＳ６０５：テキスト検索）では、ステップＳ６０２で得られたブロックを検索要求として、ステップＳ６０７で絞り込まれた検索範囲に対して記憶装置２に格納されている文書を対象に類似文書を検索する。次に検索順序補正（ステップＳ６１０）では、検索結果から検索方法の選択、順序決定が正しいか検証、補正をする。次に検索結果表示処理（ステップＳ６０８）は、最後の検索結果（この場合ステップＳ４０６のテキスト検索）で得られた検索結果から図１２に示すように検索結果リストを一致度の高い順に表示装置４に一覧表示する。または、記憶装置２に格納する処理である。

図９（ｂ）が入力された場合は、検索Ｎ処理（ステップＳ６０９：レイアウト検索）、検索１処理（ステップＳ６０５：テキスト検索）、検索２処理（ステップＳ６０６：画像検索）、蓄積されている情報がかなり多くなっているため、さらにテキスト詳細検索、画像詳細検索の順に検索する。

検索では検索対象の数が小さければ、検索速度が速くなる。つまりなるべく早い段階で検索対象が絞り込まれれば、全体としての検索速度が向上する。したがって検索順序最適化では、絞込みが有効と見込まれる検索を早い段階で実行することが重要となる。そのため、蓄積されている情報の傾向や解析結果から得られるレイアウト情報や画像ブロックとテキストブロックの個数、面積などから検索結果を予想し、検索方法の特性など考慮し検索順序を最適化しなければならない。

また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給する。そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１実施形態に係る情報検索装置の構成を示すブロック図である。 本発明の第１実施形態に係る情報検索装置の適用構成を示すブロック図である。 本発明の第１実施形態に係る情報検索装置のインターネットでの適用を示すブロック図である。 第１実施形態に係る情報検索手順を示すフローチャートである。 第１実施形態に係るインデキシング手順を示すフローチャートである。 第２実施形態に係る情報検索手順を示すフローチャートである。 第２実施形態に係るインデキシング手順を示すフローチャートである。 第１実施形態に係るデータを示す図である。 第２実施形態に係るデータを示す図である。 第１実施形態に係る類似検索の１例である概念検索を登録処理を詳細化したフローチャートである。 第１実施形態に係る類似検索の１例である概念検索を詳細化したフローチャートである。 第１実施形態に係る検索結果の例である。 第１実施形態に係る類似検索の１例である概念検索のデータ例を示す図である。 第１実施形態に係る類似検索の１例である概念検索のデータ例を示す図である。 第１実施形態に係る画像検索の登録フローチャートである。 第１実施形態に係る画像検索の画像例である。 第１実施形態に係る画像検索のデータ例を示す図である。 第１実施形態に係る画像検索のデータ例を示す図である。 第１実施形態に係る画像検索のデータ例を示す図である。 第１実施形態に係る画像検索のデータ例を示す図である。 第１実施形態に係る画像検索手順を示すフローチャートである。 第１実施形態に係る画像検索のデータ例を示す図である。 第１実施形態に係る画像検索のデータ例を示す図である。

符号の説明

１ 中央処理装置
２ 記憶装置
３ 入力装置
４ 表示装置
５ 記憶媒体読取装置
６ 画像読取装置

Claims (9)

1. 情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置において、
   文書画像入力手段と、
   文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析手段と、
   クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定手段と、
   前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索手段と、
   前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索手段と、
   前記検索結果から検索対象範囲を絞り込む手段と、
   前記検索結果を出力する検索結果出力手段とを備えたことを特徴とする情報検索装置。
2. テキスト検索と画像検索の順序を決定する条件がクエリー文書画像の画像ブロック個数である請求項１記載の情報検索装置。
3. テキスト検索と画像検索の順序を決定する条件がクエリー文書画像のテキストブロック個数である請求項１記載の情報検索装置。
4. テキスト検索と画像検索の順序を決定する条件がクエリー文書画像のテキスト文字数である請求項１記載の情報検索装置。
5. テキスト検索と画像検索の順序を決定する条件が保持されている文書画像のテキストブロック総数である請求項１記載の情報検索装置。
6. テキスト検索と画像検索の順序を決定する条件が保持されている文書画像の画像ブロック総数である請求項１記載の情報検索装置。
7. テキスト検索と画像検索の順序を決定する条件が保持されている文書画像の文字総数である請求項１記載の情報検索装置。
8. 情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置において、
   文書画像入力行程と、
   文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析行程と、
   クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定行程と、
   前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索行程と、
   前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索行程と、
   前記検索結果から検索対象範囲を絞り込む行程と、
   前記検索結果を出力する検索結果出力行程とを備えたことを特徴とする情報検索装置の制御方法。
9. 情報を複数保持する情報保持手段中から所定の情報を検索する情報検索装置の制御方法を実行するための制御プログラムであって、
   文書画像入力ステップと、
   文書画像に含まれる部分画像とテキストとそのレイアウトを取得する画像解析ステップと、
   クエリー文書画像のテキストブロックと画像ブロックの面積比からテキスト検索と画像検索の順序を決定する検索順序決定ステップと、
   前記情報保持手段中の検索対象範囲から類似したテキストを含む情報を検索するテキスト検索ステップと、
   前記情報保持手段中の検索対象範囲から類似した部分画像を含む情報を検索する画像検索ステップと、
   前記検索結果から検索対象範囲を絞り込むステップと、
   前記検索結果を出力する検索結果出力ステップとを備えたことを特徴とする制御プログラム。
   

Images