JP2011197892A - 画像検索システム - Google Patents

Abstract

【課題】オブジェクトの内容やレイアウトを考慮した画像検索を行う。
【解決手段】入力された検索キーワードにもとづいて、オブジェクト情報データを参照して前記検索キーワードに関連するオブジェクト画像を取得し、前記オブジェクト情報データに含まれるオブジェクト画像のサイズ及び位置情報をもとに、オブジェクト画像のレイアウトを推定し、オブジェクト画像が頻出する位置にオブジェクト画像を配置した合成画像を生成し、合成画像をクエリ画像として検索対象の画像を検索することで、キーワードを入力とした画像検索を実現する。
【選択図】図１

Description

本発明は、画像中のオブジェクトを指定して検索することが可能な画像検索システムに関する。

デジタルカメラの普及やストレージの大容量化が進み、通常の手段では検索することが困難な大量の画像が蓄積されるようになった。このような大量の画像からユーザが欲しい画像を探すために、画像に付与されたキーワードなどのメタ情報を用いて検索する方法が主として用いられている。

しかし、大量の画像に対してメタ情報を付与することは、作業コストの問題と、同じ画像であっても作業者によって付与するメタ情報が異なってしまい、統一感のある的確なメタ情報を付与することが困難であるといった問題があった。そこで、特許文献１では、自動タグ付けの方法などが提案されている。

特開２００９−２５８９５３号公報

前述した従来技術では、オブジェクトを認識できていないとキーワードなどのメタ情報が付与されないため、検索対象から漏れてしまう問題と、認識精度の限界から正しいメタ情報が付与されず、所望の画像以外の検索結果が多く出力されてしまう問題があった。オブジェクト領域の検出は、従来からパターン認識の分野を中心に広く試みられているが、人物の顔のように形状が比較的安定しているオブジェクト以外では、実用レベルの精度が得られていないのが現状である。

そこで、事前にメタ情報が付与されていない画像を検索対象として、オブジェクトの内容やレイアウトを考慮した検索を可能とすることを課題とする。また、ユーザの手間を最小限に抑えて、キーワードを入力とする画像検索結果を提示することをもう一つの課題とする。

本発明の代表的な形態によれば、オブジェクト画像の画像情報とキーワードが対応づけられて登録されるオブジェクト情報データを参照し、ユーザが入力したキーワードから、キーワードが示すオブジェクト画像の画像情報を取得し、オブジェクト情報データに登録されているオブジェクト画像の平均的なサイズや位置の情報を用いてレイアウトを推定することで、検索要求となる合成画像を自動で生成し、この合成画像を用いて画像検索を行う。

本発明の画像検索システムは、検索キーワードを入力する入力部と、オブジェクト画像とキーワードとオブジェクト画像の画像中での位置及びサイズの情報を対応づけて登録したオブジェクト情報データ及び検索対象となる複数の画像データを登録した検索対象画像データを保持するデータ記憶部と、オブジェクト情報データ中のキーワードを参照して検索キーワードに関連するオブジェクト画像を取得するオブジェクト画像取得部と、オブジェクト情報データに含まれるオブジェクト画像のサイズ及び位置情報をもとにオブジェクト画像取得部で取得したオブジェクト画像のレイアウトを推定するレイアウト推定部と、オブジェクト画像取得部で取得したオブジェクト画像を推定したレイアウトに配置して生成した合成画像をクエリ画像として検索対象画像データを検索する画像データ検索部と、画像データ検索部によって検索された画像を表示する表示部とを有する。

複数の検索キーワードが入力されたとき、オブジェクト画像取得部はそれぞれの検索キーワードに対して対応するオブジェクト画像を取得し、レイアウト推定部は画像中での各オブジェクト画像の配置を推定する。

また、発明の画像検索システムは、検索すべきオブジェクト画像を入力する入力部と、検索対象となる複数の画像データを保持するデータ記憶部と、入力部から入力されたオブジェクト画像と類似度の高い領域が検索対象の画像データに頻出する位置及びサイズの情報を取得するオブジェクト領域検出部と、取得した位置及びサイズの情報をもとにオブジェクト画像のレイアウトを推定するレイアウト推定部と、オブジェクト画像を推定したレイアウトに配置して生成した合成画像をクエリ画像として検索対象の画像データを検索する画像データ検索部と、画像データ検索部によって検索された画像を表示する表示部とを有する。

本発明によれば、キーワードを入力するだけで、キーワードが示すオブジェクトの画像が最適なレイアウトに配置されている画像を検索できる。また、オブジェクト領域の検出が困難な画像を検索対象にできる。

本発明による画像検索システムの構成例を示すブロック図である。 オブジェクト情報データの一例を示す図である。 オブジェクト情報データに格納されるサイズや位置の一例を示す図である。 検索対象画像データの例を示す図である。 オブジェクト領域を検出する際の矩形領域の一例を示す図である。 画像からエッジパターンのヒストグラムを生成する例を示す図である。 オブジェクト大小関係データ例を示す図である。 検索対象の画像を登録する手順の例を示すフローチャートである。 オブジェクト画像の単位の一例を示す図である。 キーワードから検索対象の画像を検索する手順の例を示すフローチャートである。 検索処理の流れを示す図である。 キーワード入力画面の例を示す図である。 オブジェクト画像候補を選択する画面の例を示す図である。 レイアウト候補を修正する画面の例を示す図である。 本発明による画像検索システムの他の構成例を示すブロック図である。 オブジェクト画像から検索対象の画像を検索する手順の例を示すフローチャートである。

次に、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の第一の実施の形態の画像検索システムの一例を示す構成図である。この例の画像検索システムは、中央演算装置ＣＰＵ１０１と、主メモリ１０２と、入力部１０３と、表示部１０４と、通信部１０５と、記憶部１１０とで構成される。記憶部１１０には、ＯＳ（オペレーティングシステム）１１１、オブジェクト情報データ１１２、検索対象画像データ１１３、オブジェクト領域検出プログラム１１４、キーワード取得プログラム１１５、画像特徴量生成プログラム１１６、オブジェクト画像推定プログラム１１７、レイアウト推定プログラム１１８、画像検索プログラム１１９、画像処理プログラム１２０、画面表示プログラム１２１、データ管理プログラム１２２、オブジェクト大小関係データ１２３が格納されている。ここで、オブジェクトは画像である。

オブジェクト情報データ１１２には、図２に例を示すように、人手又は自動で生成されたオブジェクト画像を示すキーワード情報、オブジェクト画像の種類を示すグループＩＤ情報、オブジェクト画像の画像中での位置を示す位置情報、オブジェクト画像の画像中での大きさを示すサイズ情報、類似画像検索で用いる画像の見た目の特徴を表すベクトルである画像特徴量、オブジェクト画像やレイアウトの確認など画像の表示及び検索要求となる合成画像の生成などに用いる画像データが登録される。画像データの例としては、ＢＭＰ、ＪＰＥＧ、ＧＩＦ、ＴＩＦＦなど複数の画像フォーマット形式が存在するが、どのような形式を用いても構わない。尚、アスペクト比やピクセル数が画像によって異なるため、サイズと位置は、オブジェクト画像が存在していた元画像の横方向を１００として正規化した値が登録される。

例えば、図３に例を示す車のオブジェクト画像では、太線で示す元画像のサイズは、横方向１００、縦方向５５となり、オブジェクト領域の左上の位置が横方向１０、縦方向１５、オブジェクト領域のサイズが横方向９０−１０＝８０、縦方向４５−１５＝３０となるので、図２に例を示すオブジェクト情報データの＃６には、位置（１０，１５）、サイズ（８０＊３０）と登録される。従って、オブジェクト情報データを人手で作成する場合には、事前に数枚の画像を用意し、オブジェクト領域を選択し、キーワード及びグループ情報を付与することで作成できる。尚、画像特徴量及び画像データは、元画像全体でなく、オブジェクト領域の画像に対して生成する。従って、図３の車の図の例では、車の領域のみの画像特徴量及び画像データが登録される。

検索対象画像データ１１３には、図４に例を示すように、検索対象である画像の見た目の特徴を表すベクトルである画像特徴量、検索結果の表示などに用いる画像データが登録される。

オブジェクト領域検出プログラム１１４は、オブジェクト情報データ１１２を参照し、注目している画像から、オブジェクト情報データ１１２に含まれるオブジェクト情報の画像特徴量と類似度が高い領域を探すことで、画像中に含まれるオブジェクト画像の矩形領域を検出する。ここで、オブジェクト領域の検出は、事前に定めたサイズ及びアスペクト比が異なる複数の矩形領域パターンを事前に定めたピクセル毎に縦方向及び横方向に移動させ、その矩形領域の画像を切り出し、画像特徴量生成プログラム１１６で画像特徴量を生成し、画像検索プログラム１１９で、オブジェクト情報データ１１２に登録されている画像特徴量を対象とした類似画像検索を行い、事前に定めた閾値よりも矩形領域の画像特徴量との距離が小さいオブジェクト情報があった場合は、その領域がオブジェクト領域であると判定する。

例えば、図５に例を示す電子レンジの例では、オブジェクト情報データに電子レンジのオブジェクト情報が登録されている場合、電子レンジの画像特徴量と、ｄの画像の画像特徴量との距離が小さく、ｄ以外の画像の画像特徴量との距離が大きくなるため、結果として事前に定める閾値よりも距離が小さいｄの矩形領域がオブジェクト領域であると推定できる。尚、検出精度の限界から、検出漏れを生じることがあるが、本実施例の用途では、検出可能なオブジェクト画像のみ検出できればよいので問題はない。

キーワード取得プログラム１１５は、オブジェクト画像から、オブジェクト画像を示すキーワード及びオブジェクト画像の種別を示すグループＩＤを取得する。ここで、キーワードの取得は、一般に広く知られているｋ近傍法を用いて、オブジェクト情報データ１１２からオブジェクト画像と類似度が高いｋ個のオブジェクト情報を取得し、取得したオブジェクト情報に付与されているキーワードを計数することで、頻度の高い単語又は、事前に定めた閾値よりも頻度が多い単語をキーワードとして取得する。例えば、オブジェクト画像Ａのキーワードを取得する場合、オブジェクト画像Ａの画像特徴量と類似しているｋ個のオブジェクト情報を画像検索プログラム１１９で取得し、それらのオブジェクト情報に付与されている頻度がＮ以上のキーワードが「車、自動車、乗用車」である場合、オブジェクト画像Ａのキーワードは、「車、自動車、乗用車」となる。尚、グループＩＤの取得要求がある場合は、キーワード取得の方法と同様に、オブジェクト画像Ａの画像特徴量と類似しているｋ個のオブジェクト情報に付与されているグループＩＤを計数し、頻度の高いグループＩＤを取得する。

画像特徴量生成プログラム１１６は、画像の見た目の特徴を表す画像特徴量（多次元ベクトル）を生成する。例えば、画像の画素値情報を用いて、画像中のエッジパターンの分布を示す多次元ベクトルを生成し、主成分分析法などを用いて多次元ベクトルを次元圧縮して数十〜数百次元程度のベクトルを生成し、画像の検索用データとすることができる。ここで、エッジパターンの分布は、図６に例を示す図のように、特徴的なエッジパターンを予め複数設定し、画像を格子状に領域分割し、各領域内に含まれるエッジパターン数を計数することによって多次元ベクトルを生成し、主成分分析法を用いて次元圧縮することにより生成される。尚、画像の見た目の特徴を示す特徴量であれば、一般に広く知られているＭＰＥＧ−７で規定されているエッジヒストグラム特徴など他の特徴量を用いても構わない。

オブジェクト画像推定プログラム１１７は、オブジェクト情報データ１１２を参照し、ユーザが入力したキーワードと関連が強いオブジェクト画像を取得する。

レイアウト推定プログラム１１８は、オブジェクト情報データ１１２及びオブジェクト大小関係データ１２３を参照し、オブジェクト画像が頻出する位置や、平均的なサイズの情報を用いて、オブジェクト画像のレイアウトを推定する。

画像検索プログラム１１９は、検索要求の画像の画像特徴量と、検索対象となる画像各々とのベクトル間の距離を計算し、距離が小さい画像を見た目の類似度が高い画像として取得する。距離の計算は、自乗距離など、ベクトル間の類似度を計算できれば、どのような方式を用いても構わない。ここで、画像検索結果は、類似度が高い順に出力されるため、検索結果の上位Ｎ個又は類似度がＸ以上の画像というように、目的に合わせて検索結果を抽出して利用する。

画像処理プログラム１２０は、オブジェクト画像の画像データ及びレイアウト情報を用いて、検索要求となる画像を合成する。

画像表示プログラム１２１は、表示部１０４にオブジェクト画像やレイアウトを確認する画面や検索結果の画面を表示させる。

データ管理プログラム１２２は、画像データやオブジェクト情報データの入出力を行う。

オブジェクト大小関係データ１２３は、図７に例を示すオブジェクト画像のグループ単位での大小関係が登録される。例えば、図７に例を示すデータでは、グループＩＤが００３のオブジェクト画像と、グループＩＤが００２のオブジェクト画像の大小関係は、０．１であるため、グループＩＤが００３のオブジェクト画像は、グループＩＤが００２のオブジェクト画像の１０倍のサイズであることが分かる。尚、この大小関係は、オブジェクト領域検出プログラム１１４にて、大量の画像データからオブジェクト領域を検出し、同一画像に含まれるオブジェクト画像の大小関係を取得し、大小関係の平均値を算出することで構築できる。また、人手で構築しても構わない。尚、一緒に出現することがほとんどないオブジェクト画像の組もあるため、大小関係が取得できるオブジェクト画像間のみに関して取得すればよい。また、オブジェクト画像Ａとオブジェクト画像Ｂの大小関係と、オブジェクト画像Ａとオブジェクト画像Ｃの大小関係からＢとＣの大きさの関係を取得しても構わない。

尚、上記プログラムは、主メモリ１０２に読み込まれ、ＣＰＵ１０１が制御することにより実行される。

次に、検索対象の画像を検索装置に登録する手順を、図８に例を示すフローチャートを用いて説明する。

まず、検索対象となる画像を検索装置に登録するために、データ管理プログラム１２２で、ネットワークなどの通信部１０５又はファイル経由などの入力部１０３を経由して、画像を取得する（Ｓ２０１）。

次に、オブジェクト領域検出プログラム１１４で、画像に含まれるオブジェクト画像を示す領域を検出する（Ｓ２０２）。例えば、図９に例を示す画像では、破線で囲んだ部分がオブジェクト領域となり、電子レンジや冷蔵庫など、単一物体が写っている領域が検出される。

次に、オブジェクト領域を検出するステップ２０２で、オブジェクト領域が検出された場合は（Ｓ２０３）、キーワード取得プログラム１１５で、オブジェクト画像を示すキーワード及びグループＩＤを取得する（Ｓ２０４）。

次に、データ管理プログラム１２２で、キーワード情報と、グループＩＤと、位置情報と、サイズ情報と、オブジェクト領域の画像特徴量と、オブジェクト領域の画像データとを、オブジェクト情報データ１１２に登録する（Ｓ２０５）。

尚、オブジェクト情報データ１１２は、検索時にキーワードからオブジェクト画像やレイアウトを推定するために参照するデータであり、ここでオブジェクト領域が検出されていなくても、取得した画像が検索対象から外れることはないため、オブジェクト領域としての確度が高いオブジェクト情報のみをオブジェクト情報データ１１２に登録すればよい。また、キーワードから検索対象の画像を検索する際のオブジェクト画像を推定する後述のステップ３０２で、標準的でない画像は除外されることから、少量であれば誤った対応付けがされているオブジェクト情報が登録されても構わない。

また、初期状態のオブジェクト情報データ１１２は、オブジェクト情報の登録数が少ないため、最初は人手で領域選択し、キーワードやグループ情報などのメタ情報の付与を行うことが望ましい。また、ウェブ画像など、画像とテキスト情報が対になっている画像データをクローリングし、ウェブ画像の近くに表示されているテキスト情報を形態素解析して得られた単語集合を、そのウェブ画像のキーワードとして仮定し、オブジェクト情報に登録しても構わない。この場合、キーワードと画像の対応付けが誤っている画像が登録される可能性が高いため、類似画像に類似したキーワードが付与されていない画像を除外するなど、ノイズの対策を行うことが望ましい。また、人物の顔のように形状が安定しているオブジェクトに関しては、パターン認識のアプローチを用いて、事前にオブジェクトのテンプレートを生成し、このテンプレートと一致する領域を探すようなアプローチを用いても構わない。

尚、オブジェクト領域が検出されなかった場合やオブジェクト情報データ１１２が十分な規模である場合は、オブジェクト情報データ１１２を拡充するステップ２０４乃至ステップ２０５は省略する（Ｓ２０３）。また、複数のオブジェクト領域が検出された場合は、オブジェクト領域の個数分オブジェクト情報を取得し、オブジェクト情報データ１１２に登録する。

次に、画像特徴量生成プログラム１１６で、検索対象となる画像データから画像の見た目の特徴を表す画像特徴量を生成し（Ｓ２０６）、画像データと、画像特徴量とを、検索対象画像データ１１３に登録する（Ｓ２０７）。

次に、登録の終了指示の有無を判定し（Ｓ２０８）、終了指示がない場合には、上記ステップ２０１乃至ステップ２０８の処理を実行する。また、終了指示がある場合には、処理を終了する。本実施例の画像登録方法を用いることで、検索対象の画像データを登録する過程で、オブジェクト情報データ１１２を拡充できる効果がある。

次に、キーワードから画像を検索する手順を、図１０に示すフローチャート及び図１１を用いて説明する。

まず、画面表示プログラム１２１で、図１２に例を示すキーワード入力画面を表示部１０４に表示させ、ユーザに検索要求を示すキーワードを入力させる（Ｓ３０１）。ここで、取得するキーワードは、ユーザが検索したい画像に含まれるオブジェクトを示す名詞や固有名詞などの単語とし、複数のオブジェクト画像が含まれる画像を検索したい場合は、複数のキーワードを入力させる。尚、単語１語でオブジェクトが表現できない場合、オブジェクト情報データ１１２のキーワード情報に単語の組を、１つのキーワードとして登録することで、単語の組を入力させることもできる。例えば、赤い車を入力したい場合、オブジェクト情報データ１１２にキーワードが「赤−車」として登録されていれば、ユーザは、「赤−車」と入力すればよい。

次に、オブジェクト画像推定プログラム１１７で、キーワードを取得するステップ３０１で取得されたキーワード各々について、オブジェクト情報データ１１２に登録されているオブジェクト情報を参照し、オブジェクト画像を推定する（Ｓ３０２）。ここで、同じキーワードが付与されているオブジェクト情報が複数存在している場合、入力されたキーワードに関連の強い画像を選択するために、この分野でよく知られている“G.H.Ball, D.J.Hall: “ISODATA-Novel Method of Data. Analysis and Pattern Classification”, Stanford Research Institute, 1965.”に記載のＩＳＯＤＡＴＡクラスタリング法などのクラスタリング方法を用いて、入力されたキーワードが付与されているオブジェクト情報の画像特徴量をクラスタリングし、メンバ数が最大のクラスタに含まれる画像特徴量で、クラスタ内の平均値に最も近い画像特徴量のオブジェクト情報を、キーワードが示すオブジェクト情報として取得する。また、簡易的な推定方法としては、入力されたキーワードが付与されているオブジェクト情報の画像特徴量の平均値を算出し、平均値に近い画像特徴量のオブジェクト情報をオブジェクト画像として推定してもよい。

上記の方法のように、キーワードが含まれるオブジェクト情報の中から、画像特徴量が平均的なオブジェクト情報を取得することで、キーワードに関連の強い標準的な画像を推定できるという効果と、標準的な画像から外れているキーワード情報が誤っているオブジェクト画像などを除外できるという効果がある。

尚、上記オブジェクト画像を推定するステップ３０２で、オブジェクト画像が取得できなかった場合や、オブジェクト画像の推定時に、画像特徴量の分散が事前に定めた値よりも大きい場合など、オブジェクト画像の推定が困難と判定される場合は（Ｓ３０３）、画面表示プログラム１２１で、図１３に例を示すオブジェクト画像選択画面を表示部１０４に表示させ、キーボードやマウスなどの入力部１０３から、オブジェクト画像選択の指示を取得し、オブジェクト画像を決定する（Ｓ３０４）。ここで、表示するオブジェクト画像の候補は、入力されたキーワードが付与されているオブジェクト情報の画像データをすべて表示しても構わないし、画像特徴量をクラスタリングした結果の各クラスタの平均に近い画像特徴量のオブジェクト情報を表示しても構わない。また、ユーザが所有する画像データをアップロードして、画像検索プログラム１１９で、アップロードした画像に近い画像をオブジェクト情報データ１１２から取得し表示しても構わない。

次に、レイアウト推定プログラム１１８で、オブジェクト情報データ１１２及びオブジェクト大小関係データ１２３を参照し、オブジェクト画像が頻出する位置やサイズを取得することで、オブジェクト画像の配置を示すレイアウトを推定する（Ｓ３０５）。レイアウトの推定は、オブジェクト情報のグループＩＤを用いて、オブジェクト情報データ１１２に登録されている同じグループＩＤのオブジェクト情報の位置情報及びサイズ情報を取得し、位置の平均値に、サイズの平均値のオブジェクト画像が存在すると仮定し、レイアウトを推定する。

ここで、オブジェクト画像が複数ある場合、平均サイズが大きい第一のオブジェクト画像を、平均位置の場所に平均サイズで配置し、第二のオブジェク画像は、オブジェクト大小関係データ１２３に登録されているオブジェクト画像間の大小比率のサイズで配置し、他のオブジェクト画像に関しても同様に配置を行う。ここで、オブジェクト大小関係データ１２３を参照して第二のオブジェクト画像のサイズを決定する場合は、決定したオブジェクト画像のサイズに近いＮ個の同じグループＩＤのオブジェクト情報をオブジェクト情報データ１１２から取得し、それらオブジェクト情報の平均位置にオブジェクト画像を配置することで、画像によって大きさが異なるオブジェクト画像に対しても、最適な場所を推定する。また、アスペクト比は、オブジェクト画像毎に異なるため、オブジェクト情報データ１１２から取得したサイズの平均値から算出したアスペクト比を用いる。尚、オブジェクト大小関係データ１２３に登録されていないグループＩＤのオブジェクト画像がある場合は、オブジェクト情報データ１１２に登録されているサイズの平均値の比率でサイズを決定する。

次に、オブジェクト画像の重なりがある場合は、重なりがあるオブジェクト画像間の平均的な位置関係を算出し、サイズ（面積）が小さい画像を、重なりがない位置まで平均的な位置関係の方向に移動する。例えば、オブジェクト画像Ａの平均位置が（５０，５０）で、オブジェクト画像Ｂの平均位置が（６０，７０）である場合、オブジェクト画像Ｂを基準とすると、オブジェクト画像Ａの平均位置の方向は１２０°となるため、オブジェクト画像Ａを１２０°の方向に重なりがなくなるまで平行移動する。ここで、平行移動した結果、移動したオブジェクト画像が画像の範囲外になってしまった場合は、画像全体が画像内に収まるように全体を等比縮尺してもよい。尚、オブジェクト画像の平均的な出現位置やサイズを用いてレイアウトを決定できれば、レイアウト推定はどのような方法を用いても構わない。また、複数のレイアウトの推定方法を用いてレイアウトを推定し、複数のレイアウト候補を採用しても構わない。

尚、平均位置やサイズの分散が大きい場合や、大小関係に矛盾が生じた場合など、レイアウトの推定が困難であると判定された場合は（Ｓ３０６）、図１４に例を示すレイアウト候補表示画面を表示し、レイアウトを選択、又は表示されたレイアウト中の図形のサイズなどの調整指示をマウスなどの入力部１０３から取得し、ユーザが希望するレイアウトに修正を行う（Ｓ３０７）。尚、ユーザがレイアウトを決めたい場合は、レイアウトが推定できた場合でも、レイアウト候補画面を表示して、ユーザにレイアウトを修正させても構わない。また、複数のレイアウト候補が推定されている場合、別候補表示の指示の入力によって、別の候補を表示させて、ユーザに所望のレイアウトを選択させても構わない。

次に、画像処理プログラム１２０で、オブジェクト情報データ１１２から、オブジェクト画像の画像データを取得し、上記レイアウトを推定するステップ３０５乃至ステップ３０７で推定したレイアウトに配置した合成画像であるクエリ画像を生成する（Ｓ３０８）。尚、生成した合成画像は、レイアウトや内容が不自然な画像になる可能性があるが、検索に用いる画像のため、検索ができる合成画像であれば問題はない。また、画像の合成方法は、どのような方式を用いても構わない。ここで、検索対象の画像に背景が含まれる画像が多い場合は、事前に複数の背景パターンを生成しておき、その背景パターンの上にオブジェクト画像を合成した合成画像を複数パターン用意することもできる。また、複数のレイアウト候補が推定されている場合、レイアウト候補の個数だけの合成画像を用意してもよい。

次に、画像特徴量生成プログラム１１６で、ステップ３０８で生成したクエリ画像から画像特徴量を生成し、画像検索プログラム１１９で、検索対象画像データ１１３に登録されている画像特徴量を対象として、画像検索を行う（Ｓ３０９）。尚、クエリ画像を生成するステップ３０８で複数のクエリ画像を生成した場合は、クエリ画像すべてに対して、画像特徴量の抽出及び画像検索を行い、検索結果をマージする。

次に、画面表示プログラム１２１で、ステップ３０９で取得したクエリ画像と類似度の高い画像を、類似度の高い順に表示部に表示する（Ｓ３１０）。例えば、「時計、照明、電子レンジ、冷蔵庫、ガス台」というキーワードを入力した場合、図９に例を示すような検索結果が表示され、他の結果が見たい場合には、他の候補の閲覧指示をすると、クエリ画像と次に類似している検索結果の画像が表示される。

画像検索は、似ている順に候補を提示する技術であるため、仮に入力するキーワードに不足があっても、所望の検索結果との類似度が相対的に高ければ検索結果として表示することができる。尚、ユーザの意図と異なるレイアウトや内容の検索結果が表示されている場合は、レイアウトを推定するステップ３０５で取得した他のレイアウト候補で再検索した結果を表示部１０４に表示させることも可能である（Ｓ３１１）。

次に、登録の終了指示の有無を判定し（Ｓ３１２）、終了指示がない場合には、上記ステップ３０１乃至ステップ３１２の処理を実行する。また、終了指示がある場合には、処理を終了する。

本実施例によれば、入力が容易なキーワードから、オブジェクト画像とレイアウトを推定してクエリ画像の合成画像を生成することで、ユーザの手間を最小限に抑えて、キーワードから画像を検索できるという効果がある。また、メタ情報が付与されていない検索対象の画像データを対象として検索できる効果と、従来方法ではメタ情報の付与漏れや認識誤りによって検索対象から外れていた画像を検索対象にできるという効果がある。

次に、本発明の第二の実施の形態について、図面を参照して説明する。第一の実施の形態では、ユーザがキーワードを入力するのに対して、第二の実施の形態は、ユーザがオブジェクト画像を一つ又は複数入力して画像検索を行う点が異なる。

図１５は、本発明の第二の実施の形態の画像検索システムの一例を示す構成図である。この例の画像検索システムは、中央演算装置ＣＰＵ１３０１と、主メモリ１３０２と、入力部１３０３と、表示部１３０４と、通信部１３０５と、記憶部１３１０とで構成される。

記憶部１３００には、ＯＳ（オペレーティングシステム）１３１１、検索対象画像データ１３１２、オブジェクト領域検出プログラム１３１３、画像特徴量生成プログラム１３１４、レイアウト推定プログラム１３１５、画像検索プログラム１３１６、画像処理プログラム１３１７、画面表示プログラム１３１８、データ管理プログラム１３１９が格納されている。ここで、各々のデータ及びプログラムは第一の実施例と共通のため、詳細な説明を省略する。各プログラムは、主メモリ１３０２に読み込まれ、ＣＰＵ１３０１が制御することにより実行される。

次に、検索対象の画像を検索装置に登録する手順を、図１６に例を示すフローチャートを用いて説明する。尚、検索対象となる画像データからは、第一の実施の形態と同様に、事前に画像特徴量及び画像データを登録する。但し、本実施例では、オブジェクト情報データは不要なため、画像特徴量と画像データのみを登録すればよい。

まず、検索対象となるオブジェクト画像を入力するために、データ管理プログラム１３１９で、ネットワークなどの通信部１３０５又はファイル経由などの入力部１３０３を経由して、画像を取得する（Ｓ９０１）。尚、オブジェクト画像が複数入力された場合は、複数のオブジェクト画像を取得する。

次に、ステップ９０１で入力されたオブジェクト画像をオブジェクトとして、オブジェクト領域検出プログラム１３１３で、検索対象画像データ１３１２を対象としたオブジェクト領域検出を行う（Ｓ９０２）。ここで、オブジェクト領域が検出された場合は、検出された位置情報及びサイズ情報を、主メモリ１３０２に記憶する。尚、ステップ９０１にて複数のオブジェクト画像が入力されている場合には、すべてのオブジェクト画像に対して同様の処理を行う。

次に、レイアウト推定プログラム１３１５で、ステップ９０２で取得したオブジェクト画像の位置情報及びサイズ情報を用いて、ステップ９０１で入力されたオブジェクト画像の平均位置情報及び平均サイズを取得し、第一の実施の形態と同様に、オブジェクト画像のレイアウトを推定する（Ｓ９０３）。尚、レイアウトの推定が困難な場合は（Ｓ９０４）、画面表示プログラム１３１８で、レイアウト候補を表示部１３０４に表示させ、ユーザに選択又はレイアウトを指定させる（Ｓ９０５）。

次に、画像処理プログラム１３１７で、ステップ９０１で入力されたオブジェクト画像を、レイアウトを推定するステップ９０３乃至ステップ９０５で推定したレイアウトに配置した合成画像であるクエリ画像を、第一の実施例と同様に生成する（Ｓ９０６）。

次に、ステップ９０６で生成したクエリ画像から、画像特徴量生成プログラム１３１４で、画像特徴量を生成し、画像検索プログラム１３１６で、検索対象画像データ１３１２に登録されている画像特徴量を対象とした画像検索を行う（Ｓ９０７）。

次に、画面表示プログラム１３１８で、表示部１３０４にステップ９０７で取得した画像検索結果を表示し（Ｓ９０８）、再検索の指示がある場合には、ステップ９０５の処理を継続する（Ｓ９０９）。終了の指示がある場合には、処理を終了する（Ｓ９０８）。

第二の実施の形態によれば、ユーザが検索したいオブジェクト画像を入力するだけで、検索対象の画像に頻出している位置にオブジェクト画像を配置した画像を検索できる効果がある。

１０１ ＣＰＵ
１０２ 主メモリ
１０３ 入力部
１０４ 表示部
１０５ 通信部
１１０ 記憶部
１１１ ＯＳ
１１２ オブジェクト情報データ
１１３ 検索対象画像データ
１１４ オブジェクト領域検出プログラム
１１５ キーワード取得プログラム
１１６ 画像特徴量生成プログラム
１１７ オブジェクト画像推定プログラム
１１８ レイアウト推定プログラム
１１９ 画像検索プログラム
１２０ 画像処理プログラム
１２１ 画面表示プログラム
１２２ データ管理プログラム
１２３ オブジェクト大小関係データ
１３０１ ＣＰＵ
１３０２ 主メモリ
１３０３ 入力部
１３０４ 表示部
１３０５ 通信部
１３１０ 記憶部
１３１１ ＯＳ
１３１２ 検索対象画像データ
１３１３ オブジェクト領域検出プログラム
１３１４ 画像特徴量生成プログラム
１３１５ レイアウト推定プログラム
１３１６ 画像検索プログラム
１３１７ 画像処理プログラム
１３１８ 画面表示プログラム
１３１９ データ管理プログラム

Claims (7)

1. 検索キーワードを入力する入力部と、
   オブジェクト画像とキーワードと前記オブジェクト画像の画像中での位置及びサイズの情報を対応づけて登録したオブジェクト情報データ及び検索対象となる複数の画像データを登録した検索対象画像データを保持するデータ記憶部と、
   前記オブジェクト情報データ中のキーワードを参照して前記検索キーワードに関連するオブジェクト画像を取得するオブジェクト画像取得部と、
   前記オブジェクト情報データに含まれる前記オブジェクト画像のサイズ及び位置情報をもとに前記オブジェクト画像取得部で取得したオブジェクト画像のレイアウトを推定するレイアウト推定部と、
   前記オブジェクト画像取得部で取得したオブジェクト画像を前記推定したレイアウトに配置して生成した合成画像をクエリ画像として、前記検索対象画像データを検索する画像データ検索部と、
   前記画像データ検索部によって検索された画像を表示する表示部と
   を有することを特徴とする画像検索システム。
2. 請求項１に記載の画像検索システムにおいて、前記オブジェクト画像取得部によるオブジェクト画像の取得が困難なとき、前記表示部に、他の検索キーワードの入力を促す画面又はオブジェクト画像の候補を表示してその中からオブジェクト画像を選択させる画面を表示することを特徴とする画像検索システム。
3. 請求項１に記載の画像検索システムにおいて、前記オブジェクト画像取得部は、前記検索キーワードと同じキーワードが付与されている前記オブジェクト情報データ中のオブジェクト画像の画像特徴量をクラスタリングし、メンバ数の多いクラスタに含まれる単一又は複数の画像をオブジェクト画像として取得することを特徴とする画像検索システム。
4. 請求項１に記載の画像検索システムにおいて、前記レイアウト推定部は、前記オブジェクト情報データを参照して、前記オブジェクト画像取得部で取得したオブジェクト画像と関連するオブジェクト情報のサイズ情報と位置情報の平均値を用いてレイアウトを推定し、前記平均値を算出する際に分散値が事前に定めた閾値以上であればレイアウト推定が困難であると判定し、レイアウト候補提示画面を表示することを特徴とする画像検索システム。
5. 請求項１に記載の画像検索システムにおいて、前記検索対象画像データに検索対象の画像データを登録する際に、前記オブジェクト情報データを参照し、オブジェクト画像として確度が高いオブジェクト領域が含まれていた場合には、前記オブジェクト情報データに前記オブジェクト画像及び前記オブジェクト領域を含むオブジェクト情報を追加登録することを特徴とする画像検索システム。
6. 請求項１に記載の画像検索システムにおいて、複数の検索キーワードが入力されたとき、前記オブジェクト画像取得部はそれぞれの検索キーワードに対して対応するオブジェクト画像を取得することを特徴とする画像検索システム。
7. 検索すべきオブジェクト画像を入力する入力部と、
   検索対象となる複数の画像データを保持するデータ記憶部と、
   前記入力部から入力されたオブジェクト画像と類似度の高い領域が前記検索対象の画像データに頻出する位置及びサイズ情報を取得するオブジェクト領域検出部と、
   前記取得した位置及びサイズ情報をもとに前記オブジェクト画像のレイアウトを推定するレイアウト推定部と、
   前記オブジェクト画像を前記推定したレイアウトに配置して生成した合成画像をクエリ画像として、前記検索対象の画像データを検索する画像データ検索部と、
   前記画像データ検索部によって検索された画像を表示する表示部と
   を有することを特徴とする画像検索システム。

Images