JP2004341940A - 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム - Google Patents
類似画像検索装置、類似画像検索方法、および類似画像検索プログラム Download PDFInfo
- Publication number
- JP2004341940A JP2004341940A JP2003139260A JP2003139260A JP2004341940A JP 2004341940 A JP2004341940 A JP 2004341940A JP 2003139260 A JP2003139260 A JP 2003139260A JP 2003139260 A JP2003139260 A JP 2003139260A JP 2004341940 A JP2004341940 A JP 2004341940A
- Authority
- JP
- Japan
- Prior art keywords
- image
- query
- search
- images
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】複数の問い合わせ画像に対する類似画像検索の高速化を目的とし、複数の問い合わせ画像のインデクスを生成して類似画像検索を効率化する。
【解決手段】検索対象となる大量の画像に対して問合せ画像が複数個入力されたときに、各問合せ画像に対して検索対象画像の中から類似した画像を検索結果として出力する装置において、複数個の問合せ画像の特徴量を抽出する手段と、問合せ画像を関連付けるインデクスを生成する手段と、検索対象となる画像の特徴量を抽出する手段と、検索対象画像を関連付けるインデクスを生成する手段と、問合せ画像と類似した画像を検索対象画像の中から検索する手段と、その類似画像検索結果を出力する手段を有することを特徴とする類似画像検索装置。
【選択図】 図１
【解決手段】検索対象となる大量の画像に対して問合せ画像が複数個入力されたときに、各問合せ画像に対して検索対象画像の中から類似した画像を検索結果として出力する装置において、複数個の問合せ画像の特徴量を抽出する手段と、問合せ画像を関連付けるインデクスを生成する手段と、検索対象となる画像の特徴量を抽出する手段と、検索対象画像を関連付けるインデクスを生成する手段と、問合せ画像と類似した画像を検索対象画像の中から検索する手段と、その類似画像検索結果を出力する手段を有することを特徴とする類似画像検索装置。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、問合せ画像が複数入力された場合に、それぞれの問合せ画像に対してデータベースにある検索対象画像の中から類似した画像を検索する類似画像検索の技術分野に関する。
具体的には、人気アイドルの写真やキャラクタ、あるいは企業ロゴ等の著作権を有するオリジナル画像が、インターネット上で他の画像と合成された模倣画像として掲載されるなどの不正利用を防止するため、インターネット上に存在する画像の中からオリジナル画像と類似した画像を検索し、不正利用されている画像の候補を検出することを目的とする。また、複数のクライアントからの問合せ画像が同時に検索要求として生じた場合に、サーバ側でそれら複数の問合せ画像の類似画像検索を実施するケースなど、サーバクライアント方式における類似画像検索の分野に適用される。
【０００２】
【従来の技術】
問合せ画像に対して検索対象画像の中から類似した画像を検索する類似画像検索技術は数多く開示されている（例えば、特許文献１）。これら従来の手法は、単一の問合せ画像に対して類似した画像を検索する場合には有効な技術ではあるが、複数の問合せ画像に対してそれぞれの類似画像を検索するには、問合せ画像ごとに独立して類似画像検索を繰り返し行う必要があり、検索時間が多大にかかって対費用効果が著しく悪くなる。
【０００３】
このように複数の問合せ画像が存在し、それぞれの問合せ画像に対して類似画像検索を実施する場合に、問合せごとに独立に繰り返し実行するのではなく、他の問合せ画像の検索結果も流用する等を行い全体の検索を効率化する方法は提案されていない。
【０００４】
【特許文献１】
特開２０００−２９８８５号公報（第２〜３頁）
【０００５】
【発明が解決しようとする課題】
上記したように、単一の問合せ画像に対して類似画像検索を行う従来技術を用いて、複数の問合せ画像に対してそれぞれの類似画像を検索するには、問合せ画像ごとに独立して類似画像検索を繰り返し行う必要があり、そのため、検索に必要な時間は問合せ画像の個数にほぼ比例した時間を要し、問合せ画像数が多くなると実行に長大な時間を要するという問題が生じていた。
【０００６】
そこで、本発明は、複数の問合せ画像に対してインデクスを作成し、この問合せ画像のインデクスを利用して、複数の問合せ画像に対する類似画像検索を高速化、かつ効率化することを目的とする。
【０００７】
【課題を解決するための手段】
第一の発明は、複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索装置であって、予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出手段と、前記対象特徴量抽出手段で抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成手段と、ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出手段と、前記問合せ画像特徴量抽出手段によって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成手段と、前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索手段と、前記類似画像検索手段によって得られた結果を出力する検索結果出力手段とを有することを特徴とする類似画像検索装置に関する。
【０００８】
すなわち、第一の発明によれば、上記構成をとることにより、ユーザの問合せ画像になる複数の画像が、画像特徴量で関連付けられるインデクスを用いて類似画像検索が実行されるため、画像同士を比較して検索する場合に対し、検索対象の画像数を大きく減少させることができ、結果的に、検索に要する時間が短縮され、対費用効果が著しく改善されることとなる。
【０００９】
第二の発明は、前記類似画像検索手段は，前記問合せ画像のインデクスと対象画像のインデクスの類似度を計算することによって類似画像の探索範囲を限定することを特徴とする上記第一の発明に記載の類似画像検索装置に関する。
すなわち、第二の発明によれば、上記構成によって、問合せインデクスと対象インデクス同士を比較し、その類似度を計算することにより、探索範囲を限定することができる。結果的に、画像同士を直接比較する回数を低減させることになり、より高速な類似画像検索を実現することが可能となる。
【００１０】
第三の発明は、前記対象インデクス生成手段あるいは前記問合せインデクス生成手段は、インデクスを階層的に生成することを特徴とする上記第一あるいは第二の発明に記載の類似画像検索装置に関する。
すなわち、第三の発明によれば、前記対象インデクス生成手段あるいは前記問合せインデクス生成手段が、インデクスを階層的に生成する。この構成によって、検索対象画像に対するインデクスあるいは問い合わせ画像に対するインデクスが階層的に生成され、このような階層的インデクスを使用することによって、対数オーダで探索領域を低減させることが可能となり、より高速な類似画像検索が実現される。
【００１１】
以上、本発明では、複数の問合せ画像から検索を高速化するために必要なインデクスを生成し、検索対象画像から検索を高速化するために必要なインデクスを生成しておき、類似画像検索において、それらのインデクスを利用することにより、類似画像検索時の類似度計算の実行回数が大幅に削減される。
【００１２】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の実施の形態になる基本システム構成を示す。本発明の類似画像検索システムは、外部記憶装置として画像データベース２および内部メモリに一時的にバッファとして記憶させる問合せ画像データベース２’を備えた検索装置１とユーザ端末３とがインターネット４を介して接続される構成とし、ユーザからの種々の問合せ画像に関する類似検索を行うものである。
【００１３】
また、検索装置１は、予め大量の検索画像が蓄えられた画像データベース２から対象画像の特徴量を抽出する対象画像特徴量抽出手段１１、その対象画像の特徴量を用いて対象インデクスを生成する対象インデクス生成手段１２、ユーザによる問合せ画像の入力を受けて該問合せ画像の特徴量を抽出する問合せ画像特徴量抽出手段１３、その問合せ画像の特徴量を用いて問合せインデクスを生成する問合せインデクス生成手段１４、ユーザからの問合せ画像に対する類似の画像を画像データベース２の中から検索する類似画像検索手段１５、およびその検索された結果を出力する検索結果出力手段１６で構成される。
【００１４】
さらに、画像データベース２には、インターネットなどから予め収集された検索対象となる対象画像、対象画像特徴量抽出手段１１によって抽出された対象画像の画像特徴量、および対象インデクス生成手段１２によって生成された対象インデクスが格納されている。また、問合せ画像データベース２’には、ユーザからの問合せ画像、問合せ画像特徴量抽出手段１３によって抽出された画像特徴量、および問合せインデクス生成手段１４によって生成された問合せ画像が一時的に内部メモリに格納される。
【００１５】
ここで、検索装置１は、コンピュータであり、予め内蔵されたプログラムがコンピュータ上で実行され、対象画像特徴量抽出手段１１、対象インデクス生成手段１２、問合せ画像特徴量抽出手段１３、問合せインデクス生成手段１４、類似画像検索手段１５、および検索結果出力手段１６の各手段が実現される。なお、当該プログラムは、フロッピーディスク、コンパクトディスク、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録され、図には示していないが、内蔵あるいは、外部接続された媒体読取装置にセットしインストールすることによって実行可能な状態としてもよい。
【００１６】
つぎに、本発明の検索装置１において類似画像検索を実施するための各手段について、図２〜６を用いて以下に詳述する。
＜対象画像特徴量抽出手段１１＞
対象画像特徴量抽出手段１１では、まず、類似画像検索に用いる検索対象の画像を選び、各画像から色特徴（色相、明度、彩度）、形状、サイズ等予め決められた画像特徴量を抽出する。検索対象とする画像は基本的に複数個であり、あるコンピュータ内に保存された画像ファイル、イントラネットやインターネットから収集した画像ファイルなどを検索対象画像とすることができる。
【００１７】
例えば、画像特徴量としては、色ヒストグラムなどが適用される。色ヒストグラムは、ＲＧＢ（赤、緑、青）などで表現される色空間を適当な範囲で区切ってできた色空間の各部分空間内に属する画素の個数をカウントした値をベクトル形式で表現したものである。
＜対象インデクス生成手段１２＞
対象インデクス生成手段１２では、対象画像特徴量抽出手段１１で抽出された対象画像の画像特徴量を用いて検索対象画像のインデクスを作成する。
【００１８】
インデクスを作成する方法としては、例えば、画像特徴量が類似した画像同士を同じクラスタに分けるクラスタリングを行い、各クラスタの代表値、例えば、クラスタ内の画像特徴量の平均ベクトルをインデクスとして保持する方法がある。クラスタリングとは、与えられたデータをある評価基準に従い複数のグループ（クラスタ）に分類することであり、そのクラスタリングの代表的な手法としては、Ｋ−ｍｅａｎｓ法などが存在する。
【００１９】
そのアルゴリズムは、以下の通りである。
１）Ｋ個の初期クラスタ中心を適当に決定。
２）全ての画像を最も近いクラスタ中心のクラスタに分類。
３）新規にできたクラスタの重心をクラスタ中心に設定。
４）新たなクラスタ中心がすべて以前と同じであれば終了、そうでなければ２）
へ戻る。
【００２０】
また、上記Ｋ−ｍｅａｎｓ法以外にも、階層的インデクス、多次元インデクス、およびジャンル別インデクスなどのインデクスを生成してクラスタリングを行う方法が考えられる。
階層的インデクスによる方法は、上記Ｋ−ｍｅａｎｓ法で得られたインデクス生成の結果を踏まえて、さらに何段階かクラスタリングを繰り返すことによって階層的なインデクス構造を形成し、より高速な類似画像検索を可能とする。
【００２１】
また、多次元インデクスによる方法は、類似度を単語、数値等のスカラー値で比較する一次元の手法に対し、ＢＧＲ（青、緑、赤）による色表現、あるいはＨＳＩ（色相、彩度、光度）の色特徴を軸とする色ヒストグラムなどの多次元によるインデクスを生成することで、より精度の高い、高速な類似画像検索を可能とする。
【００２２】
さらに、ジャンル別インデクスによる方法は、「タレント」、「財界人」、「企業ロゴ」、「広告」等のジャンル別のインデクスを設ける方法であり、とくに、複数存在するインターネット上のデータベースからの収集を行う場合に有効で、効率的な類似画像検索を可能とする。
＜問合せ画像特徴量抽出手段１３＞
問合せ画像特徴量抽出手段１３では、ユーザからの入力を受けて複数の問合せ画像を設定し、類似画像検索に用いる各画像の特徴量を抽出する。後段の処理により、問合せ画像として設定された画像と特徴量の類似した画像が検索対象画像の中から検索されて出力される。設定された各問合せ画像に対して類似画像の検索結果がそれぞれ出力されることになる。
【００２３】
図２に、本発明の実施の形態になる問合せ画像設定の模式図を示す。図中の問合せ画像設定画面において、下方に表示された「設定」ボタンを押すことにより、表示されている画像が問合せ画像として設定される。本例では、複数の問合せ画像について、一括して設定する場合を示しているが、勿論、必要であれば各問合せ画像を個々に設定することも可能である。
【００２４】
問合せ画像特徴量抽出手段１３では、上記設定された各問合せ画像から予め決められた画像特徴量を抽出する。画像特徴量としては、色ヒストグラムなどが適用される。
＜問合せインデクス生成手段１４＞
問合せインデクス生成手段１４では、問合せ画像特徴量抽出手段１３で抽出した問合せ画像の画像特徴量を用いてインデクスを作成する。このインデクスを参照することによって探索する領域の見当をつけることが可能となり、必要のない領域の探索を省略するため大幅な効率化となる。
【００２５】
図３は、本発明の実施の形態になる問合せインデクス生成の模式図である。類似した画像同士を同じクラスタ内に含め、また、類似していない画像同士は異なるクラスタに含めて、各クラスタごとにインデクスを作成する。
インデクスを作成する方法は、対象インデクス生成手段１２に述べた例と同様である。
＜類似画像検索手段１５＞
類似画像検索手段１５では、問合せ画像と画像特徴量が類似した検索対象画像を検索する。類似画像検索を行うために、問合せ画像の画像特徴量と検索対象画像の画像特徴量との間の類似度を計算する必要がある。問合せ画像と検索対象画像のそれぞれに対して類似度を計算する処理は画像数の増大に伴い、計算コストが増加する。
【００２６】
そこで、本発明では、前記の問合せインデクス生成手段および対象インデクス生成手段において生成されたインデクスを用いることにより、類似度を計算する回数を低減させることを可能とした。類似画像検索において、作成された各インデクスを用いることにより、類似した画像が含まれるクラスタを調べ、クラスタ内の画像との類似度を計算し、類似しない画像が含まれるクラスタ内の画像との類似度は計算しないこととする。
【００２７】
以下に、本発明の類似度計算を従来との比較において述べる。
図４は、従来の複数の問合せ画像に対する類似画像検索を示す。本図は、４つの問合せ画像と６つの検索対象画像の例で示している。インデクスを生成しない従来手法では、それぞれの画像を組み合わせると、類似度を計算する処理は、４ｘ６＝２４回実行する必要がある。
【００２８】
これに対し、図５は、本発明の実施の形態になるインデクスを利用した複数問合せ画像に対する類似画像検索の例を示す。本図では、４つの問合せ画像と６つの検索対象画像を例としており、問合せ画像は、各々２個の画像からなるクラスタＡ、Ｂで構成され、検索対象画像は、各々３個の画像からなるクラスタα、βで構成され、問合せインデクスが２つと対象インデクスが２つ生成されている場合を示している。
【００２９】
いま、クラスタＡに属する問合せ画像の検索を実施する場合を考える。
１）クラスタＡのインデクスと２つの対象インデクスとの類似度が計算されていない場合には、類似度Ｓを計算し、画像データベース２に格納する。もし、他の問合せ画像の探索時に類似度を計算した場合には、保持された結果を利用することで類似度の計算は不要となる。
２）類似度Ｓが条件を満たす場合には、対象インデクスに対応するクラスタを探索領域とするが、条件を満たさない場合には、対象インデックスに対応するクラスタは探索領域から除外する。
３）探索領域内の検索対象画像と問合せ画像との類似度Ｓを計算する。得られた類似度は画像データベース２に格納する。
４）類似度Ｓが条件を満たす場合には、検索対象画像を類似画像検索の結果として出力する。
【００３０】
このように、問合せインデクスと対象インデクスを用いることにより，問合せ画像と検索対象画像との全ての組み合わせ（ 図４では２４回） に対する類似度を計算する必要がなくなる。図５の例では、類似計算回数を、例えば、２ｘ２（インデクス同士）＋２ｘ３ｘ２（画像同士）＝１６回、に削減することが可能となる。
＜検索結果出力手段１６＞
検索結果出力手段１６では，類似画像検索手段で検索した各問合せ画像に対する類似画像がそれぞれ出力される。
【００３１】
図６は、本発明の実施の形態になる検索結果出力の模式図を示す。図の左側に設定された複数の問合せ画像が、右側にそれぞれの問合せ画像に対する類似画像検索の検索結果画像が表示されている。
上記の検索結果出力では、問合せ画像に対する検索結果が終わった段階で、逐次的に類似結果を出力させる。このことによって、全ての問合せ画像に対する検索結果が得られるまで待つことなく、検索が終わった順に、問合せ画像の結果を早期に利用することを可能とする。また、類似画像検索の結果は、データベースに保持しておくことで別の検索への利用が可能となる。
【００３２】
また、各問合せに対してどの範囲までの類似画像を出力するかを制限する方法としては以下が挙げられる。
１）各問合せ画像に対して出力する類似画像数を設定しておく。
２）各問合せ画像に対して類似度に閾値を設定しておき、閾値以内の類似画像を出力する。
３）問合せ画像の全てに対して出力する類似画像の総数を設定しておく。
【００３３】
等の方法が考えられる。
類似画像の出力形式は、各問合せ画像に対して、画像として閲覧可能な形式で表示する方法や類似画像のファイル名をテキスト形式で出力する方法が考えられる。そして、必要に応じて各類似画像の類似度を結果として表示することも可能である。
【００３４】
図７は、本発明の実施の形態になる類似度閾値テーブルを示す。図７（ａ）は、インデクス類似度閾値テーブルを示し、図７（ｂ）は、画像類似度閾値テーブルを示している。インデクス閾値、画像類似度閾値は、ともに各ケースに応じて０．５、０．７等の類似度の値を示している。
上記の検索装置１における各手段を用いた類似画像検索の処理を図８、９のフローチャートを用いて以下に説明する。
【００３５】
図８は、本発明の実施の形態になる検索対象画像格納のフローチャートを示す。まず、ステップＳ１１において、対象画像特徴量抽出手段１１が、予め格納された画像データベース２から検索対象となる画像を選んで画像特徴量を抽出する。つぎに、ステップＳ１２で、対象インデクス生成手段１２が、前ステップで抽出された画像特徴量を用いて対象インデクスを生成し、ステップＳ１３で前記画像特徴量および対象インデクスのデータを画像データベース２に格納する。
【００３６】
図９は、本発明の実施の形態になる類似画像検索のフローチャートを示す。まず、ステップＳ２１において、問合せ画像特徴量抽出手段１３が、ユーザによって入力された複数の問合せ画像のデータを受けて、各画像の特徴量を抽出する。ステップＳ２２で、該問合せ画像特徴量を用いて問合せインデクスを生成する。ステップＳ２３において、画像データベース２の対象インデクスを参照する。ステップＳ２４において、問合せインデクスと対象インデクス間の類似度を計算する。ステップＳ２５で、図７の（ａ）に定義したインデクス類似度値テーブルを参照し、閾値の既定条件が一致するかを判定する。
【００３７】
インデクス類似度閾値を超えていれば、ステップＳ２６で、問合せ画像と対象画像の類似度を計算する。そして、ステップＳ２７で、図７の（ｂ）に定義した画像類似度閾値テーブルを参照し、閾値の規定条件が一致するかを判断する。規定条件が合致すれば、満足する類似画像を検索結果として出力する。条件に合致しなければ、つぎの対象画像の類似度計算に移り全て終了するまで行われる。
【００３８】
ステップＳ２５におけるインデクス類似度の判定で、規定条件に合致しなければ、ステップＳ３０にスキップし、つぎの対象インデクスの類似度計算に移り、全ての対象インデクスが終了するまで行われる。
以上、複数の問合せ画像に対し、高速かつ効率的に類似検索するシステムとして、問合せインデクスおよび対象インデクスを導入する例で説明してきたが、対象画像をクラスタリングするインデクスを生成せず、個々の画像の特徴量をそのまま保持し、データベース側に対象インデクスを設けずに、問合せインデクスのみの適用でも検索の高速化が図れることは言うまでもない。
【００３９】
（付記１） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索装置であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出手段と、
前記対象特徴量抽出手段で抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成手段と、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出手段と、
前記問合せ画像特徴量抽出手段によって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成手段と、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索手段と、
前記類似画像検索手段によって得られた結果を出力する検索結果出力手段と
を有することを特徴とする類似画像検索装置。
【００４０】
（付記２） 前記類似画像検索手段は、前記問合せ画像のインデクスと対象画像のインデクスの類似度を計算することによって類似画像の探索範囲を限定することを特徴とする付記１に記載の類似画像検索装置。
（付記３） 前記対象インデクス生成手段あるいは前記問合せインデクス生成手段は、インデクスを階層的に生成することを特徴とする付記１または付記２に記載の類似画像検索装置。
【００４１】
（付記４） 前記対象インデクス生成手段は、検索対象画像をクラスタリングするインデクスを生成せず、個々の画像の画像特徴量をそのまま保持することを特徴とする付記１に記載の類似画像検索装置。
（付記５） 前記対象インデクス生成手段が、多次元インデクスを用いてインデクスを生成することを特徴とする付記１に記載の類似画像検索装置。
【００４２】
（付記６） 前記対象画像特徴量抽出段は、検索対象画像を複数のジャンルに分けて抽出することを特徴とする付記１に記載の類似画像検索装置。
（付記７） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索方法であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を有することを特徴とする類似画像検索方法。
【００４３】
（付記８） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索プログラムであって、
コンピュータに、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を実行させる類似画像検索プログラム。
【００４４】
【発明の効果】
以上、説明してきたように、本発明では、問合せ画像のインデクスと検索対象画像のインデクスを利用して、その類似度を計算し比較することによって、大幅に検索範囲を絞り込むことができ、ユーザが入力した複数の問合せ画像に対して、高速の類似画像検索が実現される。また、このように、複数の問合せ画像に対する類似画像検索が高速化されることにより、問合せ画像の数を増加しても、検索に要する実行時間の急激な増加は抑制され、多数の問合せ画像に対する類似画像検索が実時間で実現される。
【図面の簡単な説明】
【図１】本発明の実施の形態になる基本システム構成を示す図である。
【図２】本発明の実施の形態になる問合せ画像設定の模式図を示す図である。
【図３】本発明の実施の形態になる問合せインデクス生成の模式図を示す図である。
【図４】従来の複数の問合せ画像に対する類似画像検索を示す図である。
【図５】本発明の実施の形態になるインデクスを利用した複数の問合せ画像に対する類似画像検索の例を示す図である。
【図６】本発明の実施の形態になる検索結果出力の模式図を示す図である。
【図７】本発明の実施の形態になる類似度閾値テーブルを示す図である。
【図８】本発明の実施の形態になる検索対象画像格納のフローチャートを示す図である。
【図９】本発明の実施の形態になる類似画像検索のフローチャートを示す図である。
【符号の説明】
１ 検索装置
２ 画像データベース
２’問合せ画像データベース
３ ユーザ端末
４ インターネット
１１ 対象画像特徴量抽出手段
１２ 対象インデクス生成手段
１３ 問合せ画像特徴量抽出手段
１４ 問合せインデクス生成手段
１５ 類似画像検索手段
１６ 検索結果出力手段
【発明の属する技術分野】
本発明は、問合せ画像が複数入力された場合に、それぞれの問合せ画像に対してデータベースにある検索対象画像の中から類似した画像を検索する類似画像検索の技術分野に関する。
具体的には、人気アイドルの写真やキャラクタ、あるいは企業ロゴ等の著作権を有するオリジナル画像が、インターネット上で他の画像と合成された模倣画像として掲載されるなどの不正利用を防止するため、インターネット上に存在する画像の中からオリジナル画像と類似した画像を検索し、不正利用されている画像の候補を検出することを目的とする。また、複数のクライアントからの問合せ画像が同時に検索要求として生じた場合に、サーバ側でそれら複数の問合せ画像の類似画像検索を実施するケースなど、サーバクライアント方式における類似画像検索の分野に適用される。
【０００２】
【従来の技術】
問合せ画像に対して検索対象画像の中から類似した画像を検索する類似画像検索技術は数多く開示されている（例えば、特許文献１）。これら従来の手法は、単一の問合せ画像に対して類似した画像を検索する場合には有効な技術ではあるが、複数の問合せ画像に対してそれぞれの類似画像を検索するには、問合せ画像ごとに独立して類似画像検索を繰り返し行う必要があり、検索時間が多大にかかって対費用効果が著しく悪くなる。
【０００３】
このように複数の問合せ画像が存在し、それぞれの問合せ画像に対して類似画像検索を実施する場合に、問合せごとに独立に繰り返し実行するのではなく、他の問合せ画像の検索結果も流用する等を行い全体の検索を効率化する方法は提案されていない。
【０００４】
【特許文献１】
特開２０００−２９８８５号公報（第２〜３頁）
【０００５】
【発明が解決しようとする課題】
上記したように、単一の問合せ画像に対して類似画像検索を行う従来技術を用いて、複数の問合せ画像に対してそれぞれの類似画像を検索するには、問合せ画像ごとに独立して類似画像検索を繰り返し行う必要があり、そのため、検索に必要な時間は問合せ画像の個数にほぼ比例した時間を要し、問合せ画像数が多くなると実行に長大な時間を要するという問題が生じていた。
【０００６】
そこで、本発明は、複数の問合せ画像に対してインデクスを作成し、この問合せ画像のインデクスを利用して、複数の問合せ画像に対する類似画像検索を高速化、かつ効率化することを目的とする。
【０００７】
【課題を解決するための手段】
第一の発明は、複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索装置であって、予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出手段と、前記対象特徴量抽出手段で抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成手段と、ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出手段と、前記問合せ画像特徴量抽出手段によって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成手段と、前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索手段と、前記類似画像検索手段によって得られた結果を出力する検索結果出力手段とを有することを特徴とする類似画像検索装置に関する。
【０００８】
すなわち、第一の発明によれば、上記構成をとることにより、ユーザの問合せ画像になる複数の画像が、画像特徴量で関連付けられるインデクスを用いて類似画像検索が実行されるため、画像同士を比較して検索する場合に対し、検索対象の画像数を大きく減少させることができ、結果的に、検索に要する時間が短縮され、対費用効果が著しく改善されることとなる。
【０００９】
第二の発明は、前記類似画像検索手段は，前記問合せ画像のインデクスと対象画像のインデクスの類似度を計算することによって類似画像の探索範囲を限定することを特徴とする上記第一の発明に記載の類似画像検索装置に関する。
すなわち、第二の発明によれば、上記構成によって、問合せインデクスと対象インデクス同士を比較し、その類似度を計算することにより、探索範囲を限定することができる。結果的に、画像同士を直接比較する回数を低減させることになり、より高速な類似画像検索を実現することが可能となる。
【００１０】
第三の発明は、前記対象インデクス生成手段あるいは前記問合せインデクス生成手段は、インデクスを階層的に生成することを特徴とする上記第一あるいは第二の発明に記載の類似画像検索装置に関する。
すなわち、第三の発明によれば、前記対象インデクス生成手段あるいは前記問合せインデクス生成手段が、インデクスを階層的に生成する。この構成によって、検索対象画像に対するインデクスあるいは問い合わせ画像に対するインデクスが階層的に生成され、このような階層的インデクスを使用することによって、対数オーダで探索領域を低減させることが可能となり、より高速な類似画像検索が実現される。
【００１１】
以上、本発明では、複数の問合せ画像から検索を高速化するために必要なインデクスを生成し、検索対象画像から検索を高速化するために必要なインデクスを生成しておき、類似画像検索において、それらのインデクスを利用することにより、類似画像検索時の類似度計算の実行回数が大幅に削減される。
【００１２】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
図１は、本発明の実施の形態になる基本システム構成を示す。本発明の類似画像検索システムは、外部記憶装置として画像データベース２および内部メモリに一時的にバッファとして記憶させる問合せ画像データベース２’を備えた検索装置１とユーザ端末３とがインターネット４を介して接続される構成とし、ユーザからの種々の問合せ画像に関する類似検索を行うものである。
【００１３】
また、検索装置１は、予め大量の検索画像が蓄えられた画像データベース２から対象画像の特徴量を抽出する対象画像特徴量抽出手段１１、その対象画像の特徴量を用いて対象インデクスを生成する対象インデクス生成手段１２、ユーザによる問合せ画像の入力を受けて該問合せ画像の特徴量を抽出する問合せ画像特徴量抽出手段１３、その問合せ画像の特徴量を用いて問合せインデクスを生成する問合せインデクス生成手段１４、ユーザからの問合せ画像に対する類似の画像を画像データベース２の中から検索する類似画像検索手段１５、およびその検索された結果を出力する検索結果出力手段１６で構成される。
【００１４】
さらに、画像データベース２には、インターネットなどから予め収集された検索対象となる対象画像、対象画像特徴量抽出手段１１によって抽出された対象画像の画像特徴量、および対象インデクス生成手段１２によって生成された対象インデクスが格納されている。また、問合せ画像データベース２’には、ユーザからの問合せ画像、問合せ画像特徴量抽出手段１３によって抽出された画像特徴量、および問合せインデクス生成手段１４によって生成された問合せ画像が一時的に内部メモリに格納される。
【００１５】
ここで、検索装置１は、コンピュータであり、予め内蔵されたプログラムがコンピュータ上で実行され、対象画像特徴量抽出手段１１、対象インデクス生成手段１２、問合せ画像特徴量抽出手段１３、問合せインデクス生成手段１４、類似画像検索手段１５、および検索結果出力手段１６の各手段が実現される。なお、当該プログラムは、フロッピーディスク、コンパクトディスク、ＣＤ−ＲＯＭ等のコンピュータ読取可能な記録媒体に記録され、図には示していないが、内蔵あるいは、外部接続された媒体読取装置にセットしインストールすることによって実行可能な状態としてもよい。
【００１６】
つぎに、本発明の検索装置１において類似画像検索を実施するための各手段について、図２〜６を用いて以下に詳述する。
＜対象画像特徴量抽出手段１１＞
対象画像特徴量抽出手段１１では、まず、類似画像検索に用いる検索対象の画像を選び、各画像から色特徴（色相、明度、彩度）、形状、サイズ等予め決められた画像特徴量を抽出する。検索対象とする画像は基本的に複数個であり、あるコンピュータ内に保存された画像ファイル、イントラネットやインターネットから収集した画像ファイルなどを検索対象画像とすることができる。
【００１７】
例えば、画像特徴量としては、色ヒストグラムなどが適用される。色ヒストグラムは、ＲＧＢ（赤、緑、青）などで表現される色空間を適当な範囲で区切ってできた色空間の各部分空間内に属する画素の個数をカウントした値をベクトル形式で表現したものである。
＜対象インデクス生成手段１２＞
対象インデクス生成手段１２では、対象画像特徴量抽出手段１１で抽出された対象画像の画像特徴量を用いて検索対象画像のインデクスを作成する。
【００１８】
インデクスを作成する方法としては、例えば、画像特徴量が類似した画像同士を同じクラスタに分けるクラスタリングを行い、各クラスタの代表値、例えば、クラスタ内の画像特徴量の平均ベクトルをインデクスとして保持する方法がある。クラスタリングとは、与えられたデータをある評価基準に従い複数のグループ（クラスタ）に分類することであり、そのクラスタリングの代表的な手法としては、Ｋ−ｍｅａｎｓ法などが存在する。
【００１９】
そのアルゴリズムは、以下の通りである。
１）Ｋ個の初期クラスタ中心を適当に決定。
２）全ての画像を最も近いクラスタ中心のクラスタに分類。
３）新規にできたクラスタの重心をクラスタ中心に設定。
４）新たなクラスタ中心がすべて以前と同じであれば終了、そうでなければ２）
へ戻る。
【００２０】
また、上記Ｋ−ｍｅａｎｓ法以外にも、階層的インデクス、多次元インデクス、およびジャンル別インデクスなどのインデクスを生成してクラスタリングを行う方法が考えられる。
階層的インデクスによる方法は、上記Ｋ−ｍｅａｎｓ法で得られたインデクス生成の結果を踏まえて、さらに何段階かクラスタリングを繰り返すことによって階層的なインデクス構造を形成し、より高速な類似画像検索を可能とする。
【００２１】
また、多次元インデクスによる方法は、類似度を単語、数値等のスカラー値で比較する一次元の手法に対し、ＢＧＲ（青、緑、赤）による色表現、あるいはＨＳＩ（色相、彩度、光度）の色特徴を軸とする色ヒストグラムなどの多次元によるインデクスを生成することで、より精度の高い、高速な類似画像検索を可能とする。
【００２２】
さらに、ジャンル別インデクスによる方法は、「タレント」、「財界人」、「企業ロゴ」、「広告」等のジャンル別のインデクスを設ける方法であり、とくに、複数存在するインターネット上のデータベースからの収集を行う場合に有効で、効率的な類似画像検索を可能とする。
＜問合せ画像特徴量抽出手段１３＞
問合せ画像特徴量抽出手段１３では、ユーザからの入力を受けて複数の問合せ画像を設定し、類似画像検索に用いる各画像の特徴量を抽出する。後段の処理により、問合せ画像として設定された画像と特徴量の類似した画像が検索対象画像の中から検索されて出力される。設定された各問合せ画像に対して類似画像の検索結果がそれぞれ出力されることになる。
【００２３】
図２に、本発明の実施の形態になる問合せ画像設定の模式図を示す。図中の問合せ画像設定画面において、下方に表示された「設定」ボタンを押すことにより、表示されている画像が問合せ画像として設定される。本例では、複数の問合せ画像について、一括して設定する場合を示しているが、勿論、必要であれば各問合せ画像を個々に設定することも可能である。
【００２４】
問合せ画像特徴量抽出手段１３では、上記設定された各問合せ画像から予め決められた画像特徴量を抽出する。画像特徴量としては、色ヒストグラムなどが適用される。
＜問合せインデクス生成手段１４＞
問合せインデクス生成手段１４では、問合せ画像特徴量抽出手段１３で抽出した問合せ画像の画像特徴量を用いてインデクスを作成する。このインデクスを参照することによって探索する領域の見当をつけることが可能となり、必要のない領域の探索を省略するため大幅な効率化となる。
【００２５】
図３は、本発明の実施の形態になる問合せインデクス生成の模式図である。類似した画像同士を同じクラスタ内に含め、また、類似していない画像同士は異なるクラスタに含めて、各クラスタごとにインデクスを作成する。
インデクスを作成する方法は、対象インデクス生成手段１２に述べた例と同様である。
＜類似画像検索手段１５＞
類似画像検索手段１５では、問合せ画像と画像特徴量が類似した検索対象画像を検索する。類似画像検索を行うために、問合せ画像の画像特徴量と検索対象画像の画像特徴量との間の類似度を計算する必要がある。問合せ画像と検索対象画像のそれぞれに対して類似度を計算する処理は画像数の増大に伴い、計算コストが増加する。
【００２６】
そこで、本発明では、前記の問合せインデクス生成手段および対象インデクス生成手段において生成されたインデクスを用いることにより、類似度を計算する回数を低減させることを可能とした。類似画像検索において、作成された各インデクスを用いることにより、類似した画像が含まれるクラスタを調べ、クラスタ内の画像との類似度を計算し、類似しない画像が含まれるクラスタ内の画像との類似度は計算しないこととする。
【００２７】
以下に、本発明の類似度計算を従来との比較において述べる。
図４は、従来の複数の問合せ画像に対する類似画像検索を示す。本図は、４つの問合せ画像と６つの検索対象画像の例で示している。インデクスを生成しない従来手法では、それぞれの画像を組み合わせると、類似度を計算する処理は、４ｘ６＝２４回実行する必要がある。
【００２８】
これに対し、図５は、本発明の実施の形態になるインデクスを利用した複数問合せ画像に対する類似画像検索の例を示す。本図では、４つの問合せ画像と６つの検索対象画像を例としており、問合せ画像は、各々２個の画像からなるクラスタＡ、Ｂで構成され、検索対象画像は、各々３個の画像からなるクラスタα、βで構成され、問合せインデクスが２つと対象インデクスが２つ生成されている場合を示している。
【００２９】
いま、クラスタＡに属する問合せ画像の検索を実施する場合を考える。
１）クラスタＡのインデクスと２つの対象インデクスとの類似度が計算されていない場合には、類似度Ｓを計算し、画像データベース２に格納する。もし、他の問合せ画像の探索時に類似度を計算した場合には、保持された結果を利用することで類似度の計算は不要となる。
２）類似度Ｓが条件を満たす場合には、対象インデクスに対応するクラスタを探索領域とするが、条件を満たさない場合には、対象インデックスに対応するクラスタは探索領域から除外する。
３）探索領域内の検索対象画像と問合せ画像との類似度Ｓを計算する。得られた類似度は画像データベース２に格納する。
４）類似度Ｓが条件を満たす場合には、検索対象画像を類似画像検索の結果として出力する。
【００３０】
このように、問合せインデクスと対象インデクスを用いることにより，問合せ画像と検索対象画像との全ての組み合わせ（ 図４では２４回） に対する類似度を計算する必要がなくなる。図５の例では、類似計算回数を、例えば、２ｘ２（インデクス同士）＋２ｘ３ｘ２（画像同士）＝１６回、に削減することが可能となる。
＜検索結果出力手段１６＞
検索結果出力手段１６では，類似画像検索手段で検索した各問合せ画像に対する類似画像がそれぞれ出力される。
【００３１】
図６は、本発明の実施の形態になる検索結果出力の模式図を示す。図の左側に設定された複数の問合せ画像が、右側にそれぞれの問合せ画像に対する類似画像検索の検索結果画像が表示されている。
上記の検索結果出力では、問合せ画像に対する検索結果が終わった段階で、逐次的に類似結果を出力させる。このことによって、全ての問合せ画像に対する検索結果が得られるまで待つことなく、検索が終わった順に、問合せ画像の結果を早期に利用することを可能とする。また、類似画像検索の結果は、データベースに保持しておくことで別の検索への利用が可能となる。
【００３２】
また、各問合せに対してどの範囲までの類似画像を出力するかを制限する方法としては以下が挙げられる。
１）各問合せ画像に対して出力する類似画像数を設定しておく。
２）各問合せ画像に対して類似度に閾値を設定しておき、閾値以内の類似画像を出力する。
３）問合せ画像の全てに対して出力する類似画像の総数を設定しておく。
【００３３】
等の方法が考えられる。
類似画像の出力形式は、各問合せ画像に対して、画像として閲覧可能な形式で表示する方法や類似画像のファイル名をテキスト形式で出力する方法が考えられる。そして、必要に応じて各類似画像の類似度を結果として表示することも可能である。
【００３４】
図７は、本発明の実施の形態になる類似度閾値テーブルを示す。図７（ａ）は、インデクス類似度閾値テーブルを示し、図７（ｂ）は、画像類似度閾値テーブルを示している。インデクス閾値、画像類似度閾値は、ともに各ケースに応じて０．５、０．７等の類似度の値を示している。
上記の検索装置１における各手段を用いた類似画像検索の処理を図８、９のフローチャートを用いて以下に説明する。
【００３５】
図８は、本発明の実施の形態になる検索対象画像格納のフローチャートを示す。まず、ステップＳ１１において、対象画像特徴量抽出手段１１が、予め格納された画像データベース２から検索対象となる画像を選んで画像特徴量を抽出する。つぎに、ステップＳ１２で、対象インデクス生成手段１２が、前ステップで抽出された画像特徴量を用いて対象インデクスを生成し、ステップＳ１３で前記画像特徴量および対象インデクスのデータを画像データベース２に格納する。
【００３６】
図９は、本発明の実施の形態になる類似画像検索のフローチャートを示す。まず、ステップＳ２１において、問合せ画像特徴量抽出手段１３が、ユーザによって入力された複数の問合せ画像のデータを受けて、各画像の特徴量を抽出する。ステップＳ２２で、該問合せ画像特徴量を用いて問合せインデクスを生成する。ステップＳ２３において、画像データベース２の対象インデクスを参照する。ステップＳ２４において、問合せインデクスと対象インデクス間の類似度を計算する。ステップＳ２５で、図７の（ａ）に定義したインデクス類似度値テーブルを参照し、閾値の既定条件が一致するかを判定する。
【００３７】
インデクス類似度閾値を超えていれば、ステップＳ２６で、問合せ画像と対象画像の類似度を計算する。そして、ステップＳ２７で、図７の（ｂ）に定義した画像類似度閾値テーブルを参照し、閾値の規定条件が一致するかを判断する。規定条件が合致すれば、満足する類似画像を検索結果として出力する。条件に合致しなければ、つぎの対象画像の類似度計算に移り全て終了するまで行われる。
【００３８】
ステップＳ２５におけるインデクス類似度の判定で、規定条件に合致しなければ、ステップＳ３０にスキップし、つぎの対象インデクスの類似度計算に移り、全ての対象インデクスが終了するまで行われる。
以上、複数の問合せ画像に対し、高速かつ効率的に類似検索するシステムとして、問合せインデクスおよび対象インデクスを導入する例で説明してきたが、対象画像をクラスタリングするインデクスを生成せず、個々の画像の特徴量をそのまま保持し、データベース側に対象インデクスを設けずに、問合せインデクスのみの適用でも検索の高速化が図れることは言うまでもない。
【００３９】
（付記１） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索装置であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出手段と、
前記対象特徴量抽出手段で抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成手段と、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出手段と、
前記問合せ画像特徴量抽出手段によって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成手段と、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索手段と、
前記類似画像検索手段によって得られた結果を出力する検索結果出力手段と
を有することを特徴とする類似画像検索装置。
【００４０】
（付記２） 前記類似画像検索手段は、前記問合せ画像のインデクスと対象画像のインデクスの類似度を計算することによって類似画像の探索範囲を限定することを特徴とする付記１に記載の類似画像検索装置。
（付記３） 前記対象インデクス生成手段あるいは前記問合せインデクス生成手段は、インデクスを階層的に生成することを特徴とする付記１または付記２に記載の類似画像検索装置。
【００４１】
（付記４） 前記対象インデクス生成手段は、検索対象画像をクラスタリングするインデクスを生成せず、個々の画像の画像特徴量をそのまま保持することを特徴とする付記１に記載の類似画像検索装置。
（付記５） 前記対象インデクス生成手段が、多次元インデクスを用いてインデクスを生成することを特徴とする付記１に記載の類似画像検索装置。
【００４２】
（付記６） 前記対象画像特徴量抽出段は、検索対象画像を複数のジャンルに分けて抽出することを特徴とする付記１に記載の類似画像検索装置。
（付記７） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索方法であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を有することを特徴とする類似画像検索方法。
【００４３】
（付記８） 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索プログラムであって、
コンピュータに、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を実行させる類似画像検索プログラム。
【００４４】
【発明の効果】
以上、説明してきたように、本発明では、問合せ画像のインデクスと検索対象画像のインデクスを利用して、その類似度を計算し比較することによって、大幅に検索範囲を絞り込むことができ、ユーザが入力した複数の問合せ画像に対して、高速の類似画像検索が実現される。また、このように、複数の問合せ画像に対する類似画像検索が高速化されることにより、問合せ画像の数を増加しても、検索に要する実行時間の急激な増加は抑制され、多数の問合せ画像に対する類似画像検索が実時間で実現される。
【図面の簡単な説明】
【図１】本発明の実施の形態になる基本システム構成を示す図である。
【図２】本発明の実施の形態になる問合せ画像設定の模式図を示す図である。
【図３】本発明の実施の形態になる問合せインデクス生成の模式図を示す図である。
【図４】従来の複数の問合せ画像に対する類似画像検索を示す図である。
【図５】本発明の実施の形態になるインデクスを利用した複数の問合せ画像に対する類似画像検索の例を示す図である。
【図６】本発明の実施の形態になる検索結果出力の模式図を示す図である。
【図７】本発明の実施の形態になる類似度閾値テーブルを示す図である。
【図８】本発明の実施の形態になる検索対象画像格納のフローチャートを示す図である。
【図９】本発明の実施の形態になる類似画像検索のフローチャートを示す図である。
【符号の説明】
１ 検索装置
２ 画像データベース
２’問合せ画像データベース
３ ユーザ端末
４ インターネット
１１ 対象画像特徴量抽出手段
１２ 対象インデクス生成手段
１３ 問合せ画像特徴量抽出手段
１４ 問合せインデクス生成手段
１５ 類似画像検索手段
１６ 検索結果出力手段
Claims (5)
- 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索装置であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出手段と、
前記対象画像特徴量抽出手段で抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成手段と、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出手段と、
前記問合せ画像特徴量抽出手段によって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成手段と、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索手段と、
前記類似画像検索手段によって得られた結果を出力する検索結果出力手段と
を有することを特徴とする類似画像検索装置。 - 前記類似画像検索手段は，前記問合せ画像のインデクスと対象画像のインデクスの類似度を計算することによって類似画像の探索範囲を限定することを特徴とする請求項１に記載の類似画像検索装置。
- 前記対象インデクス生成手段あるいは問合せインデクス生成手段は、インデクスを階層的に生成することを特徴とする請求項１または請求項２に記載の類似画像検索装置。
- 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索方法であって、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を有することを特徴とする類似画像検索方法。 - 複数の問合せ画像の入力に対し類似した画像を検索する類似画像検索プログラムであって、
コンピュータに、
予め検索画像が蓄積された画像データベースから対象とする画像を選んで、その特徴量を抽出する対象画像特徴量抽出ステップと、
前記対象画像特徴量抽出ステップで抽出された画像特徴量を用いて複数の対象画像を関連付けるインデクスを生成する対象インデクス生成ステップと、
ユーザが設定入力した複数の問合せ画像から画像特徴量を抽出する問合せ画像特徴量抽出ステップと、
前記問合せ画像特徴量抽出ステップによって抽出された画像特徴量を用いて前記問合せ画像を関連付けるインデクスを生成する問合せインデクス生成ステップと、
前記対象画像および問合せ画像に対し生成した各インデクスを比較することによって検索対象画像の中から類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップによって得られた結果を出力する検索結果出力ステップと
を実行させる類似画像検索プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139260A JP4374902B2 (ja) | 2003-05-16 | 2003-05-16 | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003139260A JP4374902B2 (ja) | 2003-05-16 | 2003-05-16 | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004341940A true JP2004341940A (ja) | 2004-12-02 |
| JP4374902B2 JP4374902B2 (ja) | 2009-12-02 |
Family
ID=33528403
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003139260A Expired - Fee Related JP4374902B2 (ja) | 2003-05-16 | 2003-05-16 | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4374902B2 (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008044524A1 (fr) * | 2006-10-10 | 2008-04-17 | Nikon Corporation | Programme de classification d'image, appareil de classification d'image et caméra électronique |
| JP2009188870A (ja) * | 2008-02-08 | 2009-08-20 | Olympus Imaging Corp | 画像再生システムおよび画像再生方法 |
| JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
| JP2011048668A (ja) * | 2009-08-27 | 2011-03-10 | Hitachi Kokusai Electric Inc | 画像検索装置 |
| WO2014006903A1 (ja) * | 2012-07-06 | 2014-01-09 | パナソニック株式会社 | コンテンツ制御方法、コンテンツ制御装置およびプログラム |
| JP2014096175A (ja) * | 2009-06-16 | 2014-05-22 | Alibaba Group Holding Ltd | 準複製画像検索のための方法およびシステム |
| US8798437B2 (en) | 2009-08-20 | 2014-08-05 | Fujitsu Limited | Moving image processing apparatus, computer-readable medium storing thumbnail image generation program, and thumbnail image generation method |
| WO2015049732A1 (ja) * | 2013-10-02 | 2015-04-09 | 株式会社日立製作所 | 画像検索方法、画像検索システム、および情報記録媒体 |
| WO2015099016A1 (ja) | 2013-12-26 | 2015-07-02 | 日本電気株式会社 | 画像処理装置、被写体識別方法及びプログラム |
| JP2015130041A (ja) * | 2014-01-07 | 2015-07-16 | 日本放送協会 | 画像処理装置及び画像処理プログラム |
| WO2016027457A1 (ja) * | 2014-08-21 | 2016-02-25 | パナソニックＩｐマネジメント株式会社 | コンテンツ認識装置およびコンテンツ認識方法 |
| US9762951B2 (en) | 2013-07-30 | 2017-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, added-information display method, and added-information display system |
| US9774924B2 (en) | 2014-03-26 | 2017-09-26 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method and additional information display system |
| US9900650B2 (en) | 2013-09-04 | 2018-02-20 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and additional information display system |
| US9906843B2 (en) | 2013-09-04 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image |
| US9955103B2 (en) | 2013-07-26 | 2018-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, appended information display method, and appended information display system |
| US10194216B2 (en) | 2014-03-26 | 2019-01-29 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and additional information display system |
| US10616613B2 (en) | 2014-07-17 | 2020-04-07 | Panasonic Intellectual Property Management Co., Ltd. | Recognition data generation device, image recognition device, and recognition data generation method |
| JP7300406B2 (ja) | 2020-02-17 | 2023-06-29 | サントリーホールディングス株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
-
2003
- 2003-05-16 JP JP2003139260A patent/JP4374902B2/ja not_active Expired - Fee Related
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014013574A (ja) * | 2006-10-10 | 2014-01-23 | Nikon Corp | 画像分類プログラム、画像分類装置および電子カメラ |
| JPWO2008044524A1 (ja) * | 2006-10-10 | 2010-02-12 | 株式会社ニコン | 画像分類プログラム、画像分類装置および電子カメラ |
| WO2008044524A1 (fr) * | 2006-10-10 | 2008-04-17 | Nikon Corporation | Programme de classification d'image, appareil de classification d'image et caméra électronique |
| JP2012164345A (ja) * | 2006-10-10 | 2012-08-30 | Nikon Corp | 画像分類プログラム、画像分類装置および電子カメラ |
| US9036922B2 (en) | 2006-10-10 | 2015-05-19 | Nikon Corporation | Image classification program, image classification device, and electronic camera |
| JP2009188870A (ja) * | 2008-02-08 | 2009-08-20 | Olympus Imaging Corp | 画像再生システムおよび画像再生方法 |
| JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
| US9405993B2 (en) | 2009-06-16 | 2016-08-02 | Alibaba Group Holdings Limited | Method and system for near-duplicate image searching |
| JP2014096175A (ja) * | 2009-06-16 | 2014-05-22 | Alibaba Group Holding Ltd | 準複製画像検索のための方法およびシステム |
| US8798437B2 (en) | 2009-08-20 | 2014-08-05 | Fujitsu Limited | Moving image processing apparatus, computer-readable medium storing thumbnail image generation program, and thumbnail image generation method |
| JP2011048668A (ja) * | 2009-08-27 | 2011-03-10 | Hitachi Kokusai Electric Inc | 画像検索装置 |
| JPWO2014006903A1 (ja) * | 2012-07-06 | 2016-06-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | コンテンツ制御方法、コンテンツ制御装置およびプログラム |
| US9977823B2 (en) | 2012-07-06 | 2018-05-22 | Panasonic Intellectual Property Corporation Of America | Content control method, content control apparatus, and program |
| WO2014006903A1 (ja) * | 2012-07-06 | 2014-01-09 | パナソニック株式会社 | コンテンツ制御方法、コンテンツ制御装置およびプログラム |
| US9955103B2 (en) | 2013-07-26 | 2018-04-24 | Panasonic Intellectual Property Management Co., Ltd. | Video receiving device, appended information display method, and appended information display system |
| US9762951B2 (en) | 2013-07-30 | 2017-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, added-information display method, and added-information display system |
| US9906843B2 (en) | 2013-09-04 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image |
| US9900650B2 (en) | 2013-09-04 | 2018-02-20 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and additional information display system |
| JPWO2015049732A1 (ja) * | 2013-10-02 | 2017-03-09 | 株式会社日立製作所 | 画像検索方法、画像検索システム、および情報記録媒体 |
| US11157550B2 (en) | 2013-10-02 | 2021-10-26 | Hitachi, Ltd. | Image search based on feature values |
| WO2015049732A1 (ja) * | 2013-10-02 | 2015-04-09 | 株式会社日立製作所 | 画像検索方法、画像検索システム、および情報記録媒体 |
| KR20160103053A (ko) | 2013-12-26 | 2016-08-31 | 닛본 덴끼 가부시끼가이샤 | 화상 처리 장치, 피사체 식별 방법 및 프로그램 |
| US9798955B2 (en) | 2013-12-26 | 2017-10-24 | Nec Corporation | Image processing apparatus, photographic subject identifying method and program |
| WO2015099016A1 (ja) | 2013-12-26 | 2015-07-02 | 日本電気株式会社 | 画像処理装置、被写体識別方法及びプログラム |
| JP2015130041A (ja) * | 2014-01-07 | 2015-07-16 | 日本放送協会 | 画像処理装置及び画像処理プログラム |
| US9906844B2 (en) | 2014-03-26 | 2018-02-27 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method and additional information display system |
| US9774924B2 (en) | 2014-03-26 | 2017-09-26 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method and additional information display system |
| US10194216B2 (en) | 2014-03-26 | 2019-01-29 | Panasonic Intellectual Property Management Co., Ltd. | Video reception device, video recognition method, and additional information display system |
| US10616613B2 (en) | 2014-07-17 | 2020-04-07 | Panasonic Intellectual Property Management Co., Ltd. | Recognition data generation device, image recognition device, and recognition data generation method |
| WO2016027457A1 (ja) * | 2014-08-21 | 2016-02-25 | パナソニックＩｐマネジメント株式会社 | コンテンツ認識装置およびコンテンツ認識方法 |
| US10200765B2 (en) | 2014-08-21 | 2019-02-05 | Panasonic Intellectual Property Management Co., Ltd. | Content identification apparatus and content identification method |
| JPWO2016027457A1 (ja) * | 2014-08-21 | 2017-06-01 | パナソニックＩｐマネジメント株式会社 | コンテンツ認識装置およびコンテンツ認識方法 |
| JP7300406B2 (ja) | 2020-02-17 | 2023-06-29 | サントリーホールディングス株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN116881485A (zh) * | 2023-06-19 | 2023-10-13 | 北京百度网讯科技有限公司 | 生成图像检索索引的方法及装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4374902B2 (ja) | 2009-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
| JP3781696B2 (ja) | イメージ検索方法及び検索装置 | |
| CN106560809B (zh) | 用从另一图像提取的至少一个属性修改图像的至少一个属性 | |
| CN106560810B (zh) | 使用图像中找到的特定属性进行搜索 | |
| JP5281156B2 (ja) | 画像の注釈付け | |
| JP5596792B2 (ja) | コンテンツベースの画像検索 | |
| JP4363792B2 (ja) | 情報検索システムおよび方法 | |
| JP4337064B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US6522782B2 (en) | Image and text searching techniques | |
| JP5212610B2 (ja) | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム | |
| KR100706389B1 (ko) | 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치 | |
| US20160283564A1 (en) | Predictive visual search enginge | |
| Kherfi et al. | Combining positive and negative examples in relevance feedback for content-based image retrieval | |
| JP4544047B2 (ja) | Ｗｅｂ画像検索結果分類提示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 | |
| JPH08287086A (ja) | 適合度順画像強調表示方法及び装置 | |
| JP2000305950A (ja) | 文書分類装置および文書分類方法 | |
| JP2011100240A (ja) | 代表画像抽出方法，代表画像抽出装置および代表画像抽出プログラム | |
| JP2001134593A (ja) | 近傍データ検索方法及び装置及び近傍データ検索プログラムを格納した記憶媒体 | |
| JP5046241B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Rahman et al. | The development of an image searching method by a content based image retrieval system | |
| JP2001101226A (ja) | 文書群分類装置および文書群分類方法 | |
| Hatem et al. | Automatic content description and annotation of sport images using classification techniques | |
| Kalakota et al. | Diversifying relevant search results from social media using community contributed images | |
| Kumari et al. | A Study and usage of Visual Features in Content Based Image Retrieval Systems. | |
| Li et al. | An efficient approach to web near-duplicate image detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081202 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090831 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |