JP2008071311A - 画像検索装置、画像検索方法、画像検索プログラム、及び、情報記憶媒体 - Google Patents

Abstract

【課題】画像の全体画像又は部分画像の類似性が高い画像を検索によって抽出する画像検索装置を提供すること。
【解決手段】検索するための検索画像に類似する類似画像を検索する画像検索装置であって、前記検索画像の特徴に基づき、前記検索画像に類似する前記類似画像を検索する画像検索手段と、前記検索画像を抽出するための検索原画像から、前記検索原画像の全体画像と前記検索原画像の部分画像とを、検索候補画像として取得する検索候補画像取得手段と、前記検索候補画像取得手段によって取得された前記検索候補画像から、前記検索画像を選択する検索画像選択手段とを有する画像検索装置。
【選択図】図１

Description

本発明は、画像検索装置、画像検索方法、画像検索プログラム、及び、情報記憶媒体に関する。

従来から、画像の検索には様々な方法が開示されている。例えば、テキストデータのアノテーションを付与された画像のデータベースに対し、アノテーションをキーワードによって検索する方法がある。この方法では、予め、アノテーションをメタデータ等の形態で画像に対応させておく必要があり、アノテーションで表現されない特徴については、検索の対象とならないという課題があった。

そこで、画像の特徴を数値で表現した特徴量を用いることにより、画像の検索を行う方法がある。特徴量を用いる方法では、例えば、検索エンジンに対して検索するための画像を与え、その画像に類似した画像を検索によって取得する。検索するための検索キーとなる画像、即ち、検索画像と、検索対象となる画像、即ち、被検索画像との類似性は、それぞれの画像から所定の特徴を抽出して比較することによって判断することができる。

例えば、特開２００５−２０８７４０号公報（特許文献１）に開示されている部分画像検索装置等では、画像を複数の領域に分割し、領域毎の特徴量、及び、各領域の画像内での位置に基づき、類似関係を判定している。
特開２００５−２０８７４０号公報 特許３３４４７７４号公報 特開平９−１１４９２３号公報

しかしながら、上記特許得文献１等に開示されている画像検索装置等では、検索キーとなる検索画像の全体と検索される対象となる被検索画像の全体との類似性に基づき、類似画像を取得しているため、検索画像又は被検索画像の一部が類似する画像については、類似画像にならないという課題があった。

例えば、文書画像、写真画像、及び、図表画像が混在する画像間において、写真画像の類似性が高い場合には、当該写真画像を含む画像の文書画像、又は、図表画像等が表す情報は、類似している可能性が高いと考えられる。また、例えば、一の写真画像からなる画像において、写真画像の中の部分的な形状又は色等が類似している画像は、画像間の類似性が高い場合がある。

しかし、従来の画像検索装置等の技術では、画像の全体の類似性に基づき、類似画像を検索するため、上記の例に挙げる類似性の高い画像は、類似画像とならない。

そこで、画像が有する複数の領域のうち、一の画像の領域を検索画像として用いることが考えられる。従来の画像検索装置においては、そのような場合には、画像検索装置の操作者が、当該領域部分の画像からなる画像を検索画像として予め生成した上で、画像検索装置に入力等しなくてはならず、操作者にとって利便性を妨げるという課題があった。

従来の画像検索装置等の技術では、さらに、検索画像として一の画像の領域を生成させ入力したとしても、被検索画像については、画像の全体に対する類似性の判断を行うために、被検索画像が有する一の領域の画像と、検索画像とが類似している場合に、類似性が低くなり類似画像とならないという課題があった。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画像の全体画像又は部分画像の類似性が高い画像を検索によって抽出する画像検索装置を提供することを目的としている。

上記目的を達成するために、本発明の画像検索装置は次の如き構成を採用した。

本発明の画像検索装置は、検索するための検索画像に類似する類似画像を検索する画像検索装置であって、前記検索画像の特徴に基づき、前記検索画像に類似する前記類似画像を検索する画像検索手段と、前記検索画像を抽出するための検索原画像から、前記検索原画像の全体画像と前記検索原画像の部分画像とを、検索候補画像として取得する検索候補画像取得手段と、前記検索候補画像取得手段によって取得された前記検索候補画像から、前記検索画像を選択する検索画像選択手段とを有する構成とすることができる。

これにより、画像の全体画像又は部分画像の類似性が高い画像を検索によって抽出する画像検索装置を提供することができる。

また、上記目的を達成するために、本発明の画像検索装置が有する前記検索画像選択手段は、前記検索候補画像を表示する検索候補表示画面と前記検索候補表示画面に表示された前記検索候補画像から前記検索画像を選択する入力を促す検索画像選択画面とを生成するように構成することができる。

これにより、画像の全体画像又は部分画像の何れかを検索画像として選択する画像検索装置を提供することができる。

また、上記目的を達成するために、本発明の画像検索装置が有する前記画像検索手段は、前記検索画像の特徴と、検索対象となる被検索画像の全体画像の特徴又は前記被検索画像の部分画像の特徴とに基づき前記類似画像を検索するように構成することができる。

これにより、被検索画像の部分画像と検索画像との類似性に基づき、類似画像の検索を行う画像検索装置を提供することができる。

また、上記目的を達成するために、本発明の画像検索装置は、さらに、前記検索画像が、前記被検索画像の部分画像に類似している場合に、前記被検索画像の全体画像、前記被検索画像の部分画像、及び、前記検索画像を対応づけて表示する検索結果画面を生成する検索結果画面生成手段を有する構成とすることができる。

これにより、被検索画像の部分画像と検索画像とが類似する場合に、当該被検索画像と検索画像とを対応づけて表示する画面を生成する画像検索装置を提供することができる。

また、上記目的を達成するために、本発明の画像検索装置が有する前記検索結果画面生成手段は、前記検索画像が前記被検索画像の部分画像に類似している場合に、当該部分画像を前記被検索画像が有する他の部分画像と区別して表示する画面を生成するように構成することができる。

これにより、検索画像と類似する被検索画像の部分画像を、区別して表示する画面を生成する画像検索装置を提供することができる。

また、上記目的を達成するために、本発明の画像検索方法は、検索するための検索画像に類似する類似画像を検索する画像検索方法であって、前記検索画像の特徴に基づき、前記検索画像に類似する前記類似画像を検索する画像検索ステップと、前記検索画像を抽出するための検索原画像から、前記検索原画像の全体画像と前記検索原画像の部分画像とを、検索候補画像として取得する検索候補画像取得ステップと、前記検索候補画像取得ステップによって取得された前記検索候補画像から、前記検索画像を選択する検索画像選択ステップとを有する構成とすることができる。

また、上記目的を達成するために、本発明の画像検索方法は、さらに、前記画像検索ステップでは、前記検索画像の特徴と、検索対象となる被検索画像の全体画像の特徴又は前記被検索画像の部分画像の特徴とに基づき前記類似画像を検索し、前記検索画像が、前記被検索画像の部分画像に類似している場合に、前記被検索画像の全体画像、前記被検索画像の部分画像、及び、前記検索画像を対応づけて表示する検索結果画面を生成する検索結果画面生成ステップとを有する構成とすることができる。

また、上記目的を達成するために、本発明の画像検索プログラムは、請求項６又は７に記載の画像検索方法をコンピュータに実行させるための画像検索プログラムとして構成することができる。

また、上記目的を達成するために、本発明の情報記憶媒体は、請求項８記載の画像検索プログラムを記憶したことを特徴とするコンピュータに読み取り可能な情報記憶媒体として構成することができる。

本発明の画像検索装置によれば、画像の全体画像又は部分画像の類似性が高い画像を検索によって抽出する画像検索装置を提供することが可能になる。

以下、本発明の実施の形態を図面に基づき説明する。
［第一の実施の形態］
（画像の説明）
本発明の実施例の説明に先立ち、以下の実施例で用いられる画像について説明する。全体画像とは、一の画像の全体の画像であり、部分画像とは、一の画像の部分の画像である。検索原画像とは、検索画像を有する画像である。検索画像とは、検索キーとなる画像であり、検索原画像の全体画像又は部分画像である。検索候補画像とは、検索画像の候補となる画像であり、検索原画像の全体画像及び部分画像である。被検索画像とは、検索画像と特徴の類似性の有無を判断される対象となる画像のことである。類似画像とは、当該画像が有する全体画像又は部分画像の特徴が、検索画像の特徴と類似する画像である。

（本発明の画像検索装置の機能構成の例）
図１は、本発明の画像検索装置の機能構成の例の図である。図１の画像検索装置１は、入力手段等から取得した検索原画像の特徴に基づき、記憶手段等に格納されている被検索画像のうち特徴が類似している画像を類似画像として抽出する。画像検索装置１は、画像検索部１０とインタフェース部２０とを有する。

画像検索部１０は、画像検索装置１が有する画像検索の機能を実現する手段を有し、検索候補画像取得手段１１、検索画像選択手段１２、画像検索手段１３、検索結果画面生成手段１４、部分画像取得手段１５、及び、特徴量取得手段１６を有する。

検索候補画像取得手段１１は、検索原画像の部分画像及び全体画像を取得して検索候補画像とする手段である。検索候補画像取得手段１１は、例えば、インタフェース部２０が有する各手段によって取得される画像等を、検索原画像として取得する。検索候補画像取得手段１１は、さらに、検索原画像の全体画像と、部分画像取得手段１５が取得する検索原画像の部分画像とを、検索候補画像として取得する。

検索画像選択手段１２は、検索候補画像取得手段１１によって取得された検索候補画像の中から、検索画像を選択する手段である。検索画像選択手段１２は、検索候補画像を表示する画面を生成し、表示手段２２等に表示させる。検索画像選択手段１２は、さらに、表示された検索候補画像の中から、検索画像を選択する入力を促す画面を生成する。

画像検索手段１３は、検索画像の特徴と類似する特徴を有する画像を、被検索画像の中から検索する手段である。画像検索手段１３は、被検索画像の全体画像の特徴又は部分画像の特徴と、検索画像の特徴と、に基づき類似性の判断を行う。

検索結果画面生成手段１４は、画像検索手段１３が抽出した類似画像と、検索画像とを対応させて表示する検索結果画面を生成する手段である。検索画像の特徴と類似画像の部分画像の特徴とが類似性を有する場合には、検索結果画面生成手段１４は、例えば、類似画像の当該部分画像を類似画像と対応づけて表示する、又は、類似画像の当該部分画像を強調表示する。

部分画像取得手段１５は、検索原画像又は被検索画像から、部分画像を取得する手段である。部分画像取得手段１５は、画像が有する特徴に基づき、レイアウトの解析を行い、領域に分割することにより、部分画像を取得してもよい。画像が有する特徴とは、例えば、色情報、テクスチャ情報、又は、色若しくはテクスチャの位置情報等であってもよい。

画像を領域に分割する方法は、例えば、以下の公知技術がある。特許第３３４４７７４号公報（特許文献２）には、黒画素連結成分の外接矩形の領域の属性を、より高精度に分類することにより、画像を、文字、表、囲み枠、セパレータ（罫線）、グラフ、図等に分類する矩形分類方法の技術が記されている。

また、例えば、特開平９−１１４９２３号公報（特許文献３）には、領域分割を、複数のパラメータ設定又は複数のアルゴリズムによって行った結果をユーザに提示することにより、様々な文書に対し正確な領域分割結果を得られる領域分割装置の技術が開示されている。

部分画像取得手段１５は、また、画像が有する領域に係るデータが、当該画像に対応づけられている場合には、領域に係るデータに基づき、部分画像を取得してもよい。部分画像取得手段１５は、また、画像のデータがＸＭＬ等のデータ記述言語によって表現される場合には、データ記述言語によって表現された画像のデータ構造を解析することにより、画像を領域に分割してもよい。

特徴量取得手段１６は、検索画像及び被検索画像の特徴を数値として取得する手段である。特徴量取得手段１６が取得する特徴量は、画像が有する色情報、テクスチャ情報、色若しくはテクスチャの位置情報、又は、テクスチャの境界に係る情報等である。特徴量取得手段１６は、また、画像の特徴量が、メタデータ又はその他の形態によって画像に対応づけられている場合には、当該メタデータ等を取得することにより特徴量を取得してもよい。

なお、部分画像取得手段１５と特徴量取得手段１６とは、一の手段として構成されてもよく、また、部分画像取得手段１５と特徴量取得手段１６とが、一部又は全部を共通の手段として有するように構成してもよい。

インタフェース部２０は、画像検索装置１へのデータの入出力等を行う手段を有し、入力手段２１、表示手段２２、通信手段２３、及び、記憶手段２４を有する。

入力手段２１は、検索画像等の画像のデータを入力する手段であって、例えば、スキャナ等の形態を有する。入力手段２１は、また、画像検索装置１が実行する処理の指示を入力する手段であってもよい。

表示手段２２は、画像検索装置１の状態を表示し、また、検索画像選択手段１２等が生成する画面又は検索結果画面生成手段１４が生成する画面等を表示する手段である。表示手段２２は、さらに、画像検索装置１が処理する画像等を表示する手段であってもよい。表示手段２２は、さらに、タッチパネル等の形態を有することにより、入力手段２１とともに一の装置として構成されてもよい。

通信手段２３は、画像検索装置１と外部の装置との通信を行う手段である。通信手段２３は、例えば、ネットワークを介して又はシリアルケーブル等で直接接続された図示しない装置等との通信を行う。画像検索装置１が実行する処理等の入力、及び、検索原画像又は被検索画像等の入力は、入力手段２１によって行われる他に、通信手段２３によって接続された外部の装置より実行され、通信手段２３が画像等を受信する構成でもよい。通信手段２３は、また、画像検索装置１が処理する画像又は生成する画面等を、外部に接続された装置等に表示させるための通信を行う手段であってもよい。

記憶手段２４は、画像検索装置１が処理する画像等を格納する手段である。記憶手段２４は、例えば、検索原画像を保持する。記憶手段２４は、また、被検索画像からなる画像データベースであってもよい。記憶手段２４は、さらに、画像検索装置１がコンピュータとして構成される場合には、画像検索装置１が実行するプログラムを格納する手段であってもよい。記憶手段２４は、例えば、ハードディスクドライブ、ＲＯＭ、ＲＡＭ、又は、ＣＤ−ＲＯＭ若しくはＤＶＤ等の情報記憶媒体を着脱可能なドライブ装置であってもよい。

（本発明の画像検索装置における処理のフローの例）
図２は、本発明の画像検索装置における処理のフローの例を説明する図であって、図２（ａ）は画像を画像検索装置１に入力する際の処理のフロー、図２（ｂ）は、画像検索装置１が有する記憶手段２４に格納された画像を検索原画像として画像の検索を行う処理のフローである。なお、図２では、画像検索装置１に入力される画像が、記憶手段２４に格納される場合の処理の例を主として説明するが、本発明の画像検索装置及び方法は、図２の例に限らず、入力手段２１又は通信手段２３から入力される画像を記憶手段２４に格納することなく、検索原画像又は被検索画像として用いる構成であってもよい。

図２（ａ）のステップＳ１０１では、入力手段２１又は通信手段２３が、画像検索装置１に入力された画像を取得する。ステップＳ１０１では、また、記憶手段２４に格納されている画像を選択することにより、画像を取得してもよい。

ステップＳ１０２では、部分画像取得手段１５が、ステップＳ１０１で取得された画像のレイアウト解析を行いレイアウト情報を取得する。部分画像取得手段１５は、上記特許文献２又は３に記されている方法によってレイアウト解析を行ってもよい。

ステップＳ１０３では、部分画像取得手段１５が、ステップＳ１０２で取得されたレイアウト情報に基づき、画像の部分画像を取得する。図３に、画像から取得される部分画像の例を記す。画像１００は、入力手段２１等によって取得された画像であり、タイトル領域１０１、図領域１０２、表領域１０３、及び、文字領域１０４を有する。部分画像取得手段１５は、画像１００に対してレイアウト解析を行い、画像１００が有する領域の中で、特徴的な領域として図領域１０２及び表領域１０３を抽出し、それぞれ部分画像１０２ａ及び１０３ａとして取得する。

図２（ａ）に戻り、ステップＳ１０４では、特徴量取得手段１６が、画像１００並びに画像１００の部分画像１０２ａ及び１０３ａの特徴量を取得する。ステップＳ１０５では、記憶手段２４が、画像１００の画像データ、ステップＳ１０３で取得された部分画像の画像データ、及び、ステップＳ１０４で取得された画像１００等の特徴量を格納することによって記憶する。

以上のステップＳ１０１からステップＳ１０５の処理によって、画像検索装置１に入力等された画像に対し、後述する画像検索の処理を行うための準備が整えられる。

図２（ａ）の処理に続いて、図２（ｂ）の処理に進み、ステップＳ２０１では、検索候補画像取得手段１１が、記憶手段２４等に格納されている画像のデータを取得し、当該画像とともに検索原画像の選択の入力を促す画面を、表示手段２２等に表示させる。

ステップＳ２０２では、入力手段２１等によって入力された検索原画像の選択の入力に基づき、検索候補画像取得手段１１が、検索原画像を取得する。なお、ステップＳ２０１及びステップＳ２０２の処理は、本発明の画像検索装置等においては必ずしも実行されなくてもよい。例えば、入力手段２１がスキャナ機能を有する場合に、入力手段２１によって入力された画像を、検索原画像とするように構成してもよい。

ステップＳ２０３では、検索画像選択手段１２が、ステップＳ２０２で取得された検索原画像から部分画像を取得し、検索原画像及び部分画像を検索候補画像として表示手段２２等に表示する画面を生成する。検索画像選択手段１２は、さらに、検索候補画像として表示された画像の中から、検索画像の選択の入力を促す画面を生成し、表示手段２２等に表示させる。

ステップＳ２０４では、画像検索装置１の操作者等によって、入力手段２２等から入力された選択に係る情報に従い、検索画像選択手段１２が、検索画像の選択を行う。

図４（ａ）から（ｃ）は、検索候補画像及び検索画像の選択の入力を促す画面、及び、検索画像が選択された画面の例である。図４（ａ）では、検索候補画像として画像１００、並びに、画像１００の部分画像である画像１０２ａ及び１０３ａが表示されている。

図４（ｂ）は、図４（ａ）の画面に対し、操作者等が検索画像の選択を行った際の画面の例である。図４（ｂ）では、部分画像１０２ａの周囲に、部分画像１０２ａが選択されたことを示す強調表示１０２ｓが付加されている。図４（ｃ）は、検索画像として複数の検索候補画像が選択される場合の例である。図４（ｃ）では、部分画像１０２ａ及び１０３ａの周囲に、部分画像１０２ａ及び１０３ａが選択されたことを示す強調表示１０２３ｓが付加されている。

なお、図４では、検索候補画像を選択する例として、表示された検索候補画像をクリック等することにより選択しているが、本発明の画像検索装置は、図４に示す例に限らず、検索候補画像の表示及び検索画像の選択を行う表示を生成する構成であればよい。例えば、検索候補画像の表示画面として、検索原画像を表示することにより、検索原画像の中から検索画像とする範囲の入力を促してもよい。また、例えば、検索原画像を表示し、当該検索原画像上をクリック等することにより指定された点を含む領域の画像を、検索画像として取得してもよい。これにより、部分画像を検索画像とすることが容易な画像検索装置を提供することができる。

図２（ｂ）に戻り、ステップＳ２０５では、画像検索手段１３が、ステップＳ２０４で選択された検索画像の類似画像を検索する。画像検索手段１３は、検索画像の特徴量と近似の特徴量を有する画像を、記憶手段２４に格納されている画像等である被検索画像から検索する。

画像検索手段１３は、検索画像が、検索原画像の全体画像である場合には、被検索画像の全体画像との類似性の判断を行う。画像検索手段１３は、また、検索画像が、検索原画像の部分画像である場合には、被検索画像の部分画像との類似性の判断を行う。画像検索手段１３は、さらに、検索画像が検索原画像の部分画像である場合に、被検索画像の全体画像との類似度の判断を行ってもよい。

画像検索手段１３は、さらに、検索画像が検索原画像の部分画像である場合に、被検索画像の部分画像が、検索画像と類似性を有するときに、当該被検索画像と検索原画像とがお互いに類似していると判断してもよい。これにより、検索原画像と類似する画像を検索することができる。

なお、検索原画像と類似する画像を検索する場合には、検索原画像の全体画像と部分画像の両方を、検索画像として用いてもよい。その場合には、検索原画像と被検索画像との間で、全体画像と部分画像とのそれぞれについて類似度を求めることに基づき、検索原画像と被検索画像との類似度を判断してもよい。これにより、類似性の判断をより精度良く行うことができる。

被検索画像がレイアウト解析等による領域の抽出が行われ、部分画像が全体画像と対応づけられている場合には、画像検索手段１３は、その部分画像の特徴量を取得し、検索画像との類似性を判断する。

検索画像又は被検索画像の、画像のデータと特徴量とが対応づけられている場合には、画像検索手段１３は、対応づけられている特徴量に基づき、類似画像の検索を行う。検索画像又は被検索画像のデータと特徴量とが対応づけられていない場合には、画像検索手段１３は、特徴量取得手段１６に当該画像の特徴量を抽出させることにより、画像の特徴量を取得する。

被検索画像が領域の抽出が行われていない場合には、画像検索手段１３は、当該被検索画像のレイアウト解析等を部分画像取得手段１５に行わせることにより、部分画像を取得し、検索画像との類似性を判断してもよい。

記憶手段２４は、被検索画像が、当該被検索画像が有する部分画像と全体画像とが対応づけられて格納されていることが望ましい。また、被検索画像の部分画像又は全体画像の特徴量が、当該部分画像又は当該全体画像と対応づけられて、記憶手段２４に格納されていることが、さらに望ましい。

なお、被検索画像等は、記憶手段２４に格納される他に、通信手段２３によって画像検索装置１に接続される外部の装置、例えば、サーバ等に格納されていてもよい。

ステップＳ２０６では、検索結果画面生成手段１４が、ステップＳ２０５において取得された類似画像を検索画像と対応づけ、表示手段２２等に表示させる検索結果画面を生成する。表示手段２２等が、検索結果画面生成手段１４が生成した検索結果画面を表示し、図２（ｂ）における処理を終了する。

図５から図９は、検索結果画面の例であって、図４（ｂ）及び図４（ｃ）で選択された検索画像１０２ａ等に対応する検索結果画面の例である。図５は、検索画像と類似画像とが対応づけられて表示される画面の例である。図５では、検索画像１０２ａに対し、画像２０２ａが類似画像として対応づけられている。図５では、さらに、検索画像１０２ａに係る情報として情報１２０、及び、類似画像２０２ａに係る情報として情報２２０が付加されている。情報１１０及び２１０によって、検索結果をより詳細に表示させることができる。

図６は、検索画像が複数の場合の検索結果画面の例であって、図４（ｃ）で選択された検索画像１０２ａ及び１０３ａに対応する検索結果画面の例である。図６の例では、検索画像１０２ａに対応して類似画像２０２ａ、及び、検索画像１０３ａに対応して類似画像３０３ａが表示される。図６では、さらに、検索画像１０２ａ及び１０３ａに係る情報として、それぞれ、情報１２０及び１３０が付加されている。図６の例では、情報１２０及び１３０は、それぞれ、検索画像１０２ａ及び１０３ａを有する全体画像である検索原画像の情報であり、検索画像１０２ａ及び１０３ａは、検索原画像の部分画像であるため、情報１２０及び１３０の内容は同一となっている。一方、類似画像２０２ａに係る情報として情報２２０、類似画像３０３ａに係る情報として情報３３０が付加されている。

図７は、検索結果画面として検索原画像と類似画像とを対応づけて表示する例である。図７の検索結果画面は、検索原画像１００、検索原画像に係る情報１１０、類似画像２００、及び、類似画像２００に係る情報２１０を有する。図７の例では、検索原画像１００が有する領域１０２の画像を部分画像として取得し、検索画像としている。また、検索画像に類似する画像は、類似画像２００が有する領域２０２の画像を部分画像として取得したものである。図７に示すように、検索画像を含む全体画像と、検索画像に類似する部分画像を含む全体画像である類似画像とを、対応づけて表示することにより、検索結果に係る情報を好適に提示することができる。

図８は、検索結果画面として、検索原画像、検索画像、類似画像、及び、類似画像が有する部分画像を表示する画面の例である。図８の例では、検索結果画面は、検索原画像１００、検索原画像１００の部分画像である検索画像１０２ａ及び１０３ａ、検索原画像に係る情報１１０、類似画像２００、類似画像２００の部分画像２０２ａ及び２０３ａ、並びに、類似画像２００に係る情報２１０を有する。図８の例では、検索画像１０２ａに類似する画像として部分画像２０２ａが、画像検索手段１３の検索によって抽出され、部分画像２０２ａを有する画像２００が、類似画像となったことを示している。

検索原画像、検索画像、検索画像に類似する部分画像、及び、当該部分画像を有する類似画像を、対応づけて表示することにより、検索結果に係る情報を好適に提示することができる。

図９は、検索結果画面として、図８の例に、さらに、検索画像及び当該検索画像に類似する画像について、強調表示を行った例である。図９の例では、図８の検索結果画面に、さらに、検索画像１０２ａを強調する枠１０２ｓ、及び、検索画像１０２ａに類似する画像である部分画像２０２ａを強調する枠２０２ｓが付加されている。検索によって類似性を有するとされた画像を、強調表示することにより、検索結果に係る情報を好適に提示することができる。なお、検索によって類似性を有するとされる画像に付加する強調表示は、図９の太枠表示の他に、反転表示、又は、ハイライト表示等であってもよく、他の領域等と区別される表示であればよい。

図１０は、本発明の画像検索装置として、本発明の画像検索プログラムを実行するコンピュータの構成例である。図１０では、画像形成装置を例に説明しているが、本発明の画像検索装置は、画像形成装置に限らず、検索原画像から部分画像を取得等し、本発明の画像検索方法による画像検索を行う構成であればよい。

図１０の画像検索装置１は、コンピュータの主処理部３０、ＨＤＤ３４、インタフェース部２０１、及び、エンジン部７０を有する。

コンピュータの主処理部３０は、本発明の画像検索プログラムを実行する主たる部分であって、ＣＰＵ３１、ＲＯＭ３２、及び、ＲＡＭ３３を有する。ＣＰＵ３１は、本発明の画像検索プログラムを実行する装置である。ＲＯＭ３２は、ＣＰＵ３１が実行するプログラムを格納するメモリであり、ＲＡＭ３３は、ＣＰＵ３１がプログラムを実行する際のワークメモリである。

ＨＤＤ３４は、大容量の記憶装置であって、画像のデータ等を格納する。本発明の画像検索装置は、さらに、図示しない記憶媒体を着脱可能なドライブを有していてもよい。

本発明の画像検索プログラムは、ＲＯＭ３２、ＨＤＤ３４、又は、ＣＤ−ＲＯＭ又はＤＶＤ等のコンピュータに読み取り可能な情報記憶媒体等に格納され、ＣＰＵ３１によって読み出されることにより実行される。

インタフェース部２０１は、本発明の画像検索装置１へのデータ若しくは指示の入力等、又は、画像検索装置１の状態若しくは検索結果画面の出力等を行う処理部である。インタフェース部２０１は、オペレーションパネル２０８、及び、通信サーバ２０７を有する。オペレーションパネル２０８は、画像検索装置１が実行する指示の入力等を行う入力手段であり、さらに、画像検索装置１の状態の表示、又は、画像検索装置１への指示の入力を促す画面の表示等を行う表示手段である。

通信サーバ２０７は、例えば、ネットワーク４を介して接続される外部の装置との通信を行う手段である。通信サーバ２０７は、また、画像検索装置１に、直接接続される装置との通信を行う手段であってもよい。

エンジン部７０は、画像形成装置としての機能を実現するハードウェアを有する処理部である。エンジン部７０は、プリンタ７１及びスキャナ７２を有する。プリンタ７１は、画像検索装置１が出力する情報等を、紙面等の媒体上に形成して出力する手段であり、スキャナ７２は、紙面等の媒体上に形成された画像を、光学的に読み取ることにより画像のデータとして取得する手段である。

なお、本発明の画像検索装置の実施の形態として、例えば、パーソナルコンピュータ、ＭＦＰ（複合機）、ファクシミリ装置、デジタルカメラ、又は、カーナビゲーション等がある。

以上の説明に関してさらに以下のような態様が考えられる。
（付記１）
第一の画像に類似する画像である第二の画像を検索する画像検索装置であって、
前記第一の画像の全体と部分とを検索画像候補として取得する検索画像候補取得手段と、
前記検索画像候補の中から、検索画像を選択する検索画像選択手段と、
前記検索画像の特徴に基づき前記第二の画像を検索する画像検索手段と
を有することを特徴とする画像検索装置。
（付記２）
前記検索画像選択手段は、
前記検索画像候補を表示する検索画像候補表示画面と、前記検索画像候補表示画面に表示された前記検索画像候補から前記検索画像を選択する入力を促す検索画像選択画面と、を生成することを特徴とする付記１記載の画像検索装置。
（付記３）
前記画像検索手段は、
前記検索画像の特徴と、検索対象となる被検索画像の全体の特徴又は前記被検索画像の部分の特徴とに基づき前記第二の画像を検索することを特徴とする付記１又は２記載の画像検索装置。
（付記４）
前記検索画像が、前記被検索画像の部分に類似している場合に、前記被検索画像の全体及び前記部分と、前記検索画像とを表示する画面を生成する類似画像対応画面生成手段を有することを特徴とする付記３記載の画像検索装置。
（付記５）
前記検索画像が、前記被検索画像の部分に類似している場合に、前記部分を前記被検索画像が有する他の部分と区別して表示する画面を生成する類似画像強調画面生成手段を有することを特徴とする付記３記載の画像検索装置。

なお、付記１から付記５に使用されている語句と、付記１より上記の実施の形態で使用されている語句との対応は、次の通りである。付記１から付記５における「第一の画像」は、「検索原画像」に対応する。付記１から付記５における「第二の画像」は、「類似画像」に対応する。付記１から付記５における「検索画像候補」は、「検索候補画像」に対応する。付記１から付記５における「検索画像」は、「検索画像」に対応する。付記１から付記５における「全体」は、「全体画像」に対応する。付記１から付記５における「部分」は、「部分画像」に対応する。付記１から付記５における「検索画像候補表示画面」は、「検索候補表示画面」に対応する。付記１から付記５における「検索画像選択画面」は、「検索画像選択画面」に対応する。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨をそこなわない範囲で変更することが可能である。

本発明の画像検索装置の機能構成の例。 本発明の画像検索装置における処理のフローの例。 画像から取得される部分画像の例。 検索候補画像の表示画面の例、及び、検索画像が選択された画面の例。 検索結果画面の例（１）（検索画像と類似画像とが対応づけられている例）。 検索結果画面の例（２）（検索画像が複数の場合の例）。 検索結果画面の例（３）（検索原画像と類似画像とが対応づけられている例）。 検索結果画面の例（４）（検索原画像、類似画像、及び、それらの部分画像が対応づけられている例）。 検索結果画面の例（５）（検索画像に類似する部分画像を区別する例）。 本発明の画像検索プログラムを実行するコンピュータの構成例。

符号の説明

１ 画像検索装置
４ ネットワーク
１０ 画像検索部
１１ 検索候補画像取得手段
１２ 検索画像選択手段
１３ 画像検索手段
１４ 検索結果画面生成手段
１５ 部分画像取得手段
１６ 特徴量取得手段
２０ インタフェース部
２１ 入力手段
２２ 表示手段
２３ 通信手段
２４ 記憶手段
３０ コンピュータの主処理部
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ ＨＤＤ
７０ エンジン部
７１ プリンタ
７２ スキャナ
２０１ インタフェース部
２０７ 通信サーバ
２０８ オペレーションパネル

Claims (9)

1. 検索するための検索画像に類似する類似画像を検索する画像検索装置であって、
   前記検索画像の特徴に基づき、前記検索画像に類似する前記類似画像を検索する画像検索手段と、
   前記検索画像を抽出するための検索原画像から、前記検索原画像の全体画像と前記検索原画像の部分画像とを、検索候補画像として取得する検索候補画像取得手段と、
   前記検索候補画像取得手段によって取得された前記検索候補画像から、前記検索画像を選択する検索画像選択手段と
   を有することを特徴とする画像検索装置。
2. 前記検索画像選択手段は、
   前記検索候補画像を表示する検索候補表示画面と前記検索候補表示画面に表示された前記検索候補画像から前記検索画像を選択する入力を促す検索画像選択画面とを生成することを特徴とする請求項１記載の画像検索装置。
3. 前記画像検索手段は、前記検索画像の特徴と、検索対象となる被検索画像の全体画像の特徴又は前記被検索画像の部分画像の特徴とに基づき前記類似画像を検索することを特徴とする請求項１又は２記載の画像検索装置。
4. 前記検索画像が、前記被検索画像の部分画像に類似している場合に、前記被検索画像の全体画像、前記被検索画像の部分画像、及び、前記検索画像を対応づけて表示する検索結果画面を生成する検索結果画面生成手段を有することを特徴とする請求項１ないし３何れか一項に記載の画像検索装置。
5. 前記検索結果画面生成手段は、
   前記検索画像が前記被検索画像の部分画像に類似している場合に、当該部分画像を前記被検索画像が有する他の部分画像と区別して表示する画面を生成することを特徴とする請求項３又は４に記載の画像検索装置。
6. 検索するための検索画像に類似する類似画像を検索する画像検索方法であって、
   前記検索画像の特徴に基づき、前記検索画像に類似する前記類似画像を検索する画像検索ステップと、
   前記検索画像を抽出するための検索原画像から、前記検索原画像の全体画像と前記検索原画像の部分画像とを、検索候補画像として取得する検索候補画像取得ステップと、
   前記検索候補画像取得ステップによって取得された前記検索候補画像から、前記検索画像を選択する検索画像選択ステップと
   を有することを特徴とする画像検索方法。
7. 前記画像検索ステップでは、前記検索画像の特徴と、検索対象となる被検索画像の全体画像の特徴又は前記被検索画像の部分画像の特徴とに基づき前記類似画像を検索し、
   前記検索画像が、前記被検索画像の部分画像に類似している場合に、前記被検索画像の全体画像、前記被検索画像の部分画像、及び、前記検索画像を対応づけて表示する検索結果画面を生成する検索結果画面生成ステップと
   を有することを特徴とする請求項６記載の画像検索方法。
8. 請求項６又は７に記載の画像検索方法をコンピュータに実行させるための画像検索プログラム。
9. 請求項８記載の画像検索プログラムを記憶したことを特徴とするコンピュータに読み取り可能な情報記憶媒体。

Images