JP2006221446A

JP2006221446A - 画像検索装置

Info

Publication number: JP2006221446A
Application number: JP2005034628A
Authority: JP
Inventors: Haruhisa Okuda; 晴久奥田; Manabu Hashimoto; 橋本　　学
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-02-10
Filing date: 2005-02-10
Publication date: 2006-08-24

Abstract

【課題】すべての検索キー画像と類似度が高い検索対象画像を検索することができる画像検索装置を得ることを目的とする。
【解決手段】特徴量抽出処理部４により抽出された特徴量と画像特徴ＤＢ５に登録されている特徴量間の多次元判別を実施して、検索画像ＤＢ２に登録されている検索対象画像の中から検索キー画像と同一又は類似の検索対象画像を検索する多次元特徴判別部６を設けるように構成する。これにより、すべての検索キー画像と類似度が高い検索対象画像を検索することができる。
【選択図】図１

Description

この発明は、大量あるいは大サイズの画像データベースの中から、所望の画像を検索する画像検索装置に関するものである。

従来の画像検索装置は、ユーザがＵ／Ｉ部を操作して、複数の検索キー画像を指定すると、複数の検索キー画像の特徴量をそれぞれ抽出する。
そして、画像検索装置は、複数の検索キー画像の特徴量と、画像データベースに格納されている検索対象画像の特徴量とを比較して、複数の検索キー画像と検索対象画像の類似度をそれぞれ算出する。
画像検索装置は、複数の検索キー画像と検索対象画像の類似度をそれぞれ算出すると、それらの類似度の線形和を当該検索対象画像の総合類似度として算出する。
画像検索装置は、画像データベースに格納されている全ての検索対象画像の総合類似度を算出し、Ｕ／Ｉ部が全ての検索対象画像の総合類似度を検索結果として提示する（例えば、特許文献１参照）。

特開２０００−２８５１４１号公報（段落番号［００５０］から［００７１］、図２）

従来の画像検索装置は以上のように構成されているので、複数の検索キー画像の中に、検索対象画像と極めて類似度が高い検索キー画像が含まれている場合、その他の検索キー画像が検索対象画像とあまり類似してない場合でも、比較的に大きな総合類似度が算出されることがある。このような場合には、一部の検索キー画像とあまり類似していない検索対象画像が検索されることがあり、十分な検索精度が得られないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、すべての検索キー画像と類似度が高い検索対象画像を検索することができる画像検索装置を得ることを目的とする。

この発明に係る画像検索装置は、特徴量抽出手段により抽出された特徴量とデータベースに登録されている特徴量間の多次元判別を実施して、そのデータベースに登録されている検索対象画像の中から検索キー画像と同一又は類似の検索対象画像を検索するようにしたものである。

この発明によれば、特徴量抽出手段により抽出された特徴量とデータベースに登録されている特徴量間の多次元判別を実施して、そのデータベースに登録されている検索対象画像の中から検索キー画像と同一又は類似の検索対象画像を検索するように構成したので、すべての検索キー画像と類似度が高い検索対象画像を検索することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像検索装置を示す構成図であり、図において、ユーザインタフェース部（以下、Ｕ／Ｉ部と称する）１は例えばキーボードやマウスなどの入力インタフェースやモニタなどの出力インタフェースから構成されており、検索キー画像の指定や特徴量抽出処理部４により抽出される特徴量の種類（例えば、形状、色、テクスチャなど）の指定を受け付けるほか、検索結果を表示するなどの処理を実施する。なお、Ｕ／Ｉ部１は種類指定手段を構成している。
検索画像ＤＢ２は各種の画像（例えば、検索キー画像、検索対象画像など）を記憶しているデータベースである。

画像成分分析処理部３はユーザにより指定された複数の検索キー画像の次元解析を実施して、複数の検索キー画像の画像成分を分析し、その画像成分が共通している検索キー画像を統合する処理を実施する。また、画像成分分析処理部３は特徴量抽出処理部４により抽出された複数の検索キー画像の特徴量が共通している場合、共通している特徴量を統合する処理を実施する。
特徴量抽出処理部４は複数の検索キー画像の特徴量を抽出し、その特徴量を画像特徴ＤＢ５に登録するなどの処理を実施する。
なお、画像成分分析処理部３及び特徴量抽出処理部４から特徴量抽出手段が構成されている。

画像特徴ＤＢ５は予め検索対象画像の特徴量を記憶し、また、特徴量抽出処理部４により抽出された検索キー画像の特徴量を記憶するデータベースである。
多次元特徴判別部６は特徴量抽出処理部４により抽出された画像成分の特徴量と画像特徴ＤＢ５に記憶されている特徴量間の多次元判別を実施して、検索画像ＤＢ２に記憶されている検索対象画像の中から検索キー画像と同一又は類似の検索対象画像を検索するなどの処理を実施する。なお、多次元特徴判別部６は画像検索手段を構成している。

図１では、画像検索装置の画像成分分析処理部３、特徴量抽出処理部４及び多次元特徴判別部６が例えばＣＰＵなどを実装している半導体集積回路などのハードウェアで構成されているものを想定しているが、画像検索装置がパーソナルコンピュータ等のコンピュータで構成されていてもよい。
図２はこの発明の実施の形態１による画像検索装置が構成されているコンピュータを示す構成図である。
図において、画像検索装置が構成されているコンピュータ１００は、下記の構成要素を備えている。

即ち、コンピュータ１００は、全体の制御を行うＣＰＵ１０１と、ブートプログラム等が記憶されているＲＯＭ１０２と、ＣＰＵ１０１の作業メモリとして使用されるＲＡＭ１０３と、図１のＵ／Ｉ部１に相当するキーボード１０４及びマウス１０５と、検索結果などを表示するＣＲＴなどのモニタ１０６と、図１の画像成分分析処理部３、特徴量抽出処理部４及び多次元特徴判別部６の処理内容が記述されているプログラム（画像検索ソフトウェア１０７）のほか、図１の検索画像ＤＢ２に相当する検索画像ＤＢ１０８や図１の画像特徴ＤＢ５に相当する画像特徴ＤＢ１０９を記憶しているハードディスクなどの外部記憶装置１１０と、コンピュータ１００をＬＡＮなどのネットワーク１１１に接続するネットワーク接続装置１１２と、各構成要素を相互に接続する内部バス１１３とを備えている。

次に動作について説明する。
例えば、検索画像ＤＢ２に記憶されている画像の中から、ユーザが飛行機の画像の検索を希望する場合、ユーザがＵ／Ｉ部１を操作して、所望の飛行機の画像を検索キー画像として指定する。
なお、所望の飛行機の画像は、ユーザがＵ／Ｉ部１を操作して、検索画像ＤＢ２に登録されている画像の中から指定してもよいし、外部のサーバ等からネットワーク経由で入手してもよいが、検索キー画像として使用する飛行機の画像（ユーザが所望する飛行機に近い画像）を複数個指定する。
図３はＵ／Ｉ部１におけるモニタの表示例を示す説明図であり、図４はユーザにより指定された検索キー画像を示す説明図である。
図３及び図４の例では、４個の飛行機の画像が検索キー画像２０１，２０２，２０３，２０４として指定されている様子を示している。

画像成分分析処理部３は、ユーザがＵ／Ｉ部１を操作して、複数の検索キー画像２０１，２０２，２０３，２０４を指定すると、複数の検索キー画像２０１，２０２，２０３，２０４の特徴次元解析を実施する。
例えば、ユーザがＵ／Ｉ部１を操作して、特徴量抽出処理部４により抽出される特徴量の種類として“形状”を指定している場合、特徴量抽出処理部４に対して形状特徴の抽出を依頼する。
特徴量抽出処理部４は、画像成分分析処理部３から形状特徴の抽出依頼を受けると、複数の検索キー画像２０１，２０２，２０３，２０４の輪郭を辿る曲率ヒストグラムや、複数の検索キー画像２０１，２０２，２０３，２０４のエッジ方向を示すヒストグラムの処理を実施することにより、複数の検索キー画像２０１，２０２，２０３，２０４における形状の特徴量を抽出する。ただし、形状の特徴量を抽出するに際して、曲率ヒストグラムの処理等に限るものではなく、他の手法で形状の特徴量を抽出してもよいことは言うまでもない。

画像成分分析処理部３は、特徴量抽出処理部４が複数の検索キー画像２０１，２０２，２０３，２０４における形状の特徴量を抽出すると、これらの形状の特徴量を相互に比較して、形状が似通っている形状特徴を統合する処理を実施する。
例えば、検索キー画像２０１，２０２，２０４の形状が同一形状であり、検索キー画像２０３の形状だけが異なる場合、検索キー画像２０１，２０２，２０４の形状特徴を統合し、図５に示すように、検索キー画像２０１，２０２，２０４の統合後の形状特徴を形状特徴Ａとして出力する。また、残りの検索キー画像２０３の形状特徴を形状特徴Ｂとして出力する。

また、ユーザがＵ／Ｉ部１を操作して、特徴量抽出処理部４により抽出される特徴量の種類として“色”を指定している場合、特徴量抽出処理部４に対して色特徴の抽出を依頼する。
特徴量抽出処理部４は、画像成分分析処理部３から色特徴の抽出依頼を受けると、複数の検索キー画像２０１，２０２，２０３，２０４における色空間内の配置を解析することにより、複数の検索キー画像２０１，２０２，２０３，２０４における色の特徴量を抽出する。
ただし、複数の検索キー画像２０１，２０２，２０３，２０４における色空間の表現は、ＲＧＢ空間で表現されているものでもよいし、ＹＵＶ空間で表現されているものでもよいし、他の色空間（例えば、Ｌａｂ、Ｌｕｖ、ＨＳＶなど）で表現されているものでもよい。

画像成分分析処理部３は、特徴量抽出処理部４が複数の検索キー画像２０１，２０２，２０３，２０４における色の特徴量を抽出すると、これらの色の特徴量を相互に比較して、色空間内の配置が似通っている色特徴を統合する処理を実施する。
例えば、複数の検索キー画像２０１，２０２，２０３，２０４の中で、検索キー画像２０２，２０４の色空間内の配置だけが似通っている場合、検索キー画像２０２，２０４の色特徴を統合し、図６に示すように、検索キー画像２０２，２０４の統合後の色特徴を色特徴Ａとして出力する。また、残りの検索キー画像２０１の色特徴を色特徴Ｂとして出力し、検索キー画像２０４の色特徴を色特徴Ｃとして出力する。

ここでは、画像成分分析処理部３が形状特徴又は色特徴の抽出依頼を特徴量抽出処理部４に出力するものについて示したが、その形状特徴や色特徴の抽出に限るものではなく、例えば、テクスチャ、空間周波数、フラクタル次元特徴など、他の画像特徴の抽出を依頼するようにしてもよい。
また、ここでは、画像成分分析処理部３が形状特徴や色特徴に基づいて、複数の検索キー画像２０１，２０２，２０３，２０４を特徴別に分類するものについて示したが、主成分分析などの次元解析を実施して、複数の成分に分類するようにしてもよい。

例えば、画像成分分析処理部３は、複数の検索キー画像２０１，２０２，２０３，２０４の主成分を分析する次元解析を実施して、複数の検索キー画像２０１，２０２，２０３，２０４の主成分の固有値及び固有ベクトルを算出する。なお、固有ベクトルは、一般に画像として表現されるため、以降の説明では、固有ベクトル画像と称する。
複数の検索キー画像２０１，２０２，２０３，２０４の主成分分析において、一般に固有値が大きい成分ほど、複数の検索キー画像２０１，２０２，２０３，２０４の共通的な要素を反映している。
このため、画像成分分析処理部３は、一定値以上の固有値の中で、最も大きい固有値の固有ベクトル画像を複数の検索キー画像２０１，２０２，２０３，２０４の共通要素として選択し、この固有ベクトル画像を統合後の検索キー画像３０１として出力する（図７を参照）。
また、検索精度を高める必要がある場合は、次に固有値が高い固有ベクトル画像を検索キー画像３０２，３０３として出力するようにしてもよい。

特徴量抽出処理部４は、画像成分分析処理部３から統合後の形状特徴や色特徴を受けると、統合後の形状特徴や色特徴を検索キー画像２０１，２０２，２０３，２０４と関連付けて画像特徴ＤＢ５に登録する。
また、特徴量抽出処理部４は、画像成分分析処理部３から統合後の検索キー画像３０１，３０２，３０３を受けると、統合後の検索キー画像３０１，３０２，３０３の形状や色等の特徴量を抽出し、その形状や色等の特徴量を検索キー画像２０１，２０２，２０３，２０４と関連付けて画像特徴ＤＢ５に登録する。
ただし、形状や色等の特徴量の抽出方法は、画像成分分析処理部３から形状特徴等の抽出依頼を受けた場合と同様の処理を実施すればよいため、ここでは説明を省略する。

多次元特徴判別部６は、特徴量抽出処理部４が画像成分分析処理部３による統合後の特徴量、または、統合後の検索キー画像の特徴量を画像特徴ＤＢ５に登録すると、図８に示すように、画像特徴ＤＢ５に登録されているすべての特徴量を多次元特徴空間にマッピングする（今回、特徴量抽出処理部４により登録された検索キー画像の特徴量だけでなく、過去に登録された検索対象画像の特徴量も多次元特徴空間にマッピングする）。
図８の例は、説明の簡単化のため、２次元の特徴空間を示しているが、３次元以上の特徴空間にマッピングしてもよいことは言うまでもない。

なお、図８の黒丸のポイントは、特徴量抽出処理部４により登録された検索キー画像の特徴量である。図８の例では、黒丸のポイントが１つだけであるが、統合後の特徴量が複数個であれば、複数の特徴量がマッピングされる。
白丸のポイントは、過去に登録された検索対象画像の特徴量のうち、検索キー画像と類似している検索対象画像の特徴量である。
また、白三角のポイントは、過去に登録された検索対象画像の特徴量のうち、検索キー画像と類似していない検索対象画像の特徴量である。

図８における検索キー画像のポイントと検索対象画像のポイントとの距離は、双方の類似度を表している。
一般に画像のポイント間の距離の計算は、例えば、ユークリッド距離など、ベクトル表記の距離定義式が利用される。ただし、画像特徴に合わせて独自の距離定義を用いることも可能である。
図８の例では、類似の限界距離を示す閾値領域が明示されており、その閾値領域を示す円の内部にポイントされている検索対象画像が類似画像として判別され、円の外部にポイントされている検索対象画像が非類似の画像として判別される。
多次元特徴判別部６は、検索キー画像に類似している検索対象画像を検索すると、その検索対象画像をＵ／Ｉ部１のモニタに表示する。

以上で明らかなように、この実施の形態１によれば、特徴量抽出処理部４により抽出された特徴量と画像特徴ＤＢ５に登録されている特徴量間の多次元判別を実施して、検索画像ＤＢ２に登録されている検索対象画像の中から検索キー画像と同一又は類似の検索対象画像を検索するように構成したので、すべての検索キー画像と類似度が高い検索対象画像を検索することができる効果を奏する。

また、この実施の形態１によれば、複数の検索キー画像の次元解析を実施して、複数の検索キー画像の画像成分を分析し、その画像成分が共通している検索キー画像を統合して、統合後の検索キー画像の特徴量を抽出するように構成したので、ユーザの検索意図を割愛することなく、特徴量抽出処理部４による特徴量の抽出処理や多次元特徴判別部６による判別処理を軽減することができるようになり、その結果、画像の検索時間を短縮することができる効果を奏する。

また、この実施の形態１によれば、複数の検索キー画像の特徴量が共通している場合、共通している特徴量を統合するように構成したので、ユーザの検索意図を割愛することなく、特徴量抽出処理部４による特徴量の抽出処理を軽減することができるようになり、その結果、画像の検索時間を短縮することができる効果を奏する。

さらに、この実施の形態１によれば、特徴量抽出処理部４により抽出される特徴量の種類の指定を受け付けるように構成したので、ユーザの検索意図を尊重して、画像を検索することができる効果を奏する。

実施の形態２．
図９はこの発明の実施の形態２による画像検索装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
解析判別手法変更部７は多次元特徴判別部６による類似画像の判別結果の正誤評価に応じて特徴量抽出処理部４により抽出される特徴量の種類又は特徴量の抽出方式を変更、あるいは、多次元特徴判別部６における判別基準を変更するなどの処理を実施する。なお、解析判別手法変更部７は種類・方式変更手段及び判別基準変更手段を構成している。

上記実施の形態１では、閾値領域を示す円の内部にポイントされている検索対象画像を類似画像として判別し、その検索対象画像をＵ／Ｉ部１のモニタに表示するものについて示したが、図１０に示すように、円の内部にポイントされている検索対象画像であっても（白三角のポイントを参照）、ユーザが検索キー画像と類似していないと判断することがある。
例えば、ユーザがＵ／Ｉ部１を操作して、Ｕ／Ｉ部１のモニタに表示されている検索対象画像５０１〜５０６の中で（図１１を参照）、類似していないと判断する検索対象画像５０５，５０６を指定すると（図１１の例では、検索対象画像５０５，５０６に×印をつけて表示している）、解析判別手法変更部７が検索対象画像５０５，５０６を類似画像から除外するため、検索対象画像５０５，５０６のポイントを非類似領域に変更する（図１０の斜線部を参照）。
即ち、解析判別手法変更部７は、ユーザによる正誤評価に応じて、多次元特徴判別部６の判別基準である閾値領域の形状を変形して（図１０の例では、閾値領域を半円状に変形している）、検索対象画像５０５，５０６を類似画像から除外するようにしている。

ここでは、解析判別手法変更部７がユーザによる正誤評価に応じて閾値領域の形状を変形するものについて示したが、ユーザによる正誤評価に応じて特徴量抽出処理部４により抽出される特徴量の種類を変更するようにしてもよい。
例えば、特徴量抽出処理部４により画像特徴として形状特徴が抽出されていたとすれば、多次元特徴空間における各画像特徴のマッピング点の分離性が高まるように、特徴量抽出処理部４が形状特徴以外の他の画像特徴（例えば、色特徴、テクスチャ特徴など）を抽出するように変更する。

また、解析判別手法変更部７がユーザによる正誤評価に応じて特徴量抽出処理部４による特徴量の抽出方式を変更するようにしてもよい。
例えば、特徴量抽出処理部４により画像特徴として色特徴が抽出されており、色空間の表現がＲＧＢ空間で表現されていたとすれば、多次元特徴空間における各画像特徴のマッピング点の分離性が高まるように、ＲＧＢ空間以外の色空間表現（例えば、ＹＵＶ、Ｌａｂ、Ｌｕｖ、ＨＳＶなど）の方式に変更する。
また、特徴量抽出処理部４により画像特徴として形状特徴が抽出されており、輪郭を辿る曲率ヒストグラムの処理を実施していたとすれば、例えば、エッジ方向を示すヒストグラムの処理を実施するように変更する。
また、画像成分分析処理部３により複数の検索キー画像２０１，２０２，２０３，２０４の主成分が分析されていたとすれば、主成分の分析以外の次元解析を実施するように変更する。

以上で明らかなように、この実施の形態２によれば、多次元特徴判別部６による類似画像の判別結果の正誤評価に応じて特徴量抽出処理部４により抽出される特徴量の種類又は特徴量の抽出方式を変更、あるいは、多次元特徴判別部６における判別基準を変更するように構成したので、ユーザが意思する検索結果を得ることができる効果を奏する。

この発明の実施の形態１による画像検索装置を示す構成図である。この発明の実施の形態１による画像検索装置が構成されているコンピュータを示す構成図である。Ｕ／Ｉ部におけるモニタの表示例を示す説明図である。ユーザにより指定された検索キー画像を示す説明図である。統合後の形状特徴を示す説明図である。統合後の色特徴を示す説明図である。統合後の検索キー画像を示す説明図である。多次元特徴空間に対する特徴量のマッピング例を示す説明図である。この発明の実施の形態２による画像検索装置を示す構成図である。多次元特徴判別部における判別基準の変更例を示す説明図である。Ｕ／Ｉ部におけるモニタの表示例を示す説明図である。

符号の説明

１Ｕ／Ｉ部（種類指定手段）、２検索画像ＤＢ（データベース）、３画像成分分析処理部（特徴量抽出手段）、４特徴量抽出処理部（特徴量抽出手段）、５画像特徴ＤＢ（データベース）、６多次元特徴判別部（画像検索手段）、７解析判別手法変更部（種類・方式変更手段、判別基準変更手段）、１００コンピュータ、１０１ＣＰＵ、１０２ＲＯＭ、１０３ＲＡＭ、１０４キーボード、１０５マウス、１０６モニタ、１０７画像検索ソフトウェア、１０８検索画像ＤＢ、１０９画像特徴ＤＢ、１１０外部記憶装置、１１１ネットワーク、１１２ネットワーク接続装置、１１３内部バス、２０１〜２０４検索キー画像、３０１〜３０３検索キー画像、５０１〜５０６検索対象画像。

Claims

複数の検索キー画像の特徴量を抽出する特徴量抽出手段と、検索対象画像の特徴量が登録されているデータベースと、上記特徴量抽出手段により抽出された特徴量と上記データベースに登録されている特徴量間の多次元判別を実施して、上記データベースに登録されている検索対象画像の中から上記検索キー画像と同一又は類似の検索対象画像を検索する画像検索手段とを備えた画像検索装置。
特徴量抽出手段は、複数の検索キー画像の次元解析を実施して、複数の検索キー画像の画像成分を分析し、その画像成分が共通している検索キー画像を統合して、統合後の検索キー画像の特徴量を抽出することを特徴とする請求項１記載の画像検索装置。
特徴量抽出手段は、複数の検索キー画像の特徴量が共通している場合、共通している特徴量を統合することを特徴とする請求項１記載の画像検索装置。
特徴量抽出手段により抽出される特徴量の種類を指定する種類指定手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像検索装置。
画像検索手段の検索結果の正誤評価に応じて特徴量抽出手段により抽出される特徴量の種類又は特徴量の抽出方式を変更する種類・方式変更手段を設けたことを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像検索装置。
画像検索手段の検索結果の正誤評価に応じて画像検索手段における判別基準を変更する判別基準変更手段を設けたことを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像検索装置。
特徴量抽出手段は、複数の検索キー画像の特徴量をデータベースに登録することを特徴とする請求項１から請求項６のうちのいずれか１項記載の画像検索装置。