JP2004021430A - 画像検索装置、画像検索方法及び画像検索プログラム - Google Patents
画像検索装置、画像検索方法及び画像検索プログラム Download PDFInfo
- Publication number
- JP2004021430A JP2004021430A JP2002173269A JP2002173269A JP2004021430A JP 2004021430 A JP2004021430 A JP 2004021430A JP 2002173269 A JP2002173269 A JP 2002173269A JP 2002173269 A JP2002173269 A JP 2002173269A JP 2004021430 A JP2004021430 A JP 2004021430A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- search target
- search
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】従来、検索キーとなる基準画像と検索対象となる画像とにおいて、一部の領域のみが共通する場合に、検索対象画像群の中から基準画像と類似する画像を的確に検索する方法がなかった。
【解決手段】基準画像を複数の領域に分割し、各領域から特徴量を抽出するステップＳ２０と、検索対象画像を複数の領域に分割し、各領域から特徴量を抽出するステップＳ３０と、検索対象画像毎に、基準画像と類似性が高い検索対象画像の一部の領域を選択し、その一部の領域から抽出された特徴量に基づいて類似度を決定するステップＳ４０と、その類似度に基づいて検索対象画像群の中から基準画像に類似する画像を抽出するステップＳ６０と、を含む画像検索方法によって上記課題を解決することができる。
【選択図】 図２
【解決手段】基準画像を複数の領域に分割し、各領域から特徴量を抽出するステップＳ２０と、検索対象画像を複数の領域に分割し、各領域から特徴量を抽出するステップＳ３０と、検索対象画像毎に、基準画像と類似性が高い検索対象画像の一部の領域を選択し、その一部の領域から抽出された特徴量に基づいて類似度を決定するステップＳ４０と、その類似度に基づいて検索対象画像群の中から基準画像に類似する画像を抽出するステップＳ６０と、を含む画像検索方法によって上記課題を解決することができる。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、検索対象となる画像群の中から、ユーザが指定した画像と類似した画像を見出す画像検索装置、画像検索方法及び画像検索プログラムに関する。
【０００２】
【従来の技術】
近年のネットワークの発達やデータストレージの大容量化に伴って、大量の画像情報を保存する画像データベースが多数構築されている。これらの画像データベースは、インターネット等の情報伝達媒体を通じて簡単に利用できる。また、デジタルカメラ、デジタルビデオやスキャナの普及により、個々のユーザが大量の画像データを保有することも少なくない。さらに、クリップアート集や画像素材集として、ビジネス文書やプレゼンテーション資料の利用に供するための画像データが市販されるようになっている。そのため、大量の画像群の中から、ユーザが所望する画像を適切に抽出できる画像検索手段の必要性が高まっている。
【０００３】
現在、画像検索手段として最も一般的な形態はキーワード検索である。これは、画像データ毎に各々の画像の特徴を示すキーワードを付与しておき、所望の画像を抽出する際には、そのキーワードを手掛かりとして検索を行う手段である。
【０００４】
しかし、キーワードの自動抽出が容易な文書データと異なり、画像データに対してキーワードを人手によって付与する必要があり、大量の画像データを含むデータベースを構築する場合等には膨大な労力が必要となる。また、画像データの場合、画像を構成する要素のいずれに着目するかによって、付与すべきキーワードも異なってくるため、一貫した基準に従ってキーワードを付与することが困難となる。
【０００５】
別の画像検索手段として、画像自体から物理的な特徴量を抽出し、抽出された画像特徴量に基づいて類似する画像を検索する方法が提案されている。
【０００６】
特開平１１−２１２９９３号公報には、画像の色の特徴を特徴量として抽出し、その色特徴に基づいて類似する画像を検索する方法が開示されている。また、特開平９−３５０５８号公報には、画像に表示されている対象の輪郭（エッジ）線を特徴量として抽出し、その輪郭線の特徴に基づいて類似する画像を検索する方法が開示されている。
【０００７】
図１８に示すように、１つの画像からＮ種類の特徴量ａ０，ａ１・・・ａＮ−１が抽出された場合、それらの特徴量はＮ次元の特徴量空間における特徴量ベクトルＡとして表現することができる。特徴量に基づいて画像の類似性を判断する一般的な方法では、検索のキーとなる基準画像の特徴量ベクトルＡと検索対象となる画像の特徴量ベクトルＢとのユークリッド距離Ｄを算出し、その距離Ｄが短いほど両画像が類似していると判断する。
【０００８】
しかしながら、特定の被写体を撮影した画像（例えば、人物写真、花や物などの対象物をクローズアップした写真）等に対して、画像全体から抽出した特徴量に基づいて類似画像の検索を行った場合、注目すべきである特定の被写体以外の領域（例えば、人物写真の人物の背景など）から抽出された特徴量も含まれて処理が行われる。そのため、ユーザが特定の被写体が撮影された画像を類似画像として検索する意図を有しているときでも、背景が大きく異なる場合には検索されない問題があった。
【０００９】
この問題を解決する方法として、特開２００１−１５５１６８号公報には、類似画像の検索を行う際に、ユーザが基準画像において検索の目的とする領域を手動で指定する手段が開示されている。すなわち、特定の被写体が撮影された画像を基準画像として検索を行う場合に、ユーザは特定の被写体の領域のみを指定することによって、その特定の被写体の領域から抽出された特徴量のみに基づいて検索を行うことが可能となる。その結果、その特定の被写体の背景が著しく異なる場合でも、その特定の被写体を含んだ画像を、検索対象画像群から検索することができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、ユーザ自身が手動で画像内の領域指定を行う必要があり、ユーザによる操作が非常に煩雑となる問題がある。特に、ユーザの画像処理の経験が少ない場合には、領域をうまく指定することができず、ユーザが意図する類似画像を容易に得ることができない。
【００１１】
また、ユーザが指定した領域は画像内において固定されており、基準画像と検索対象となる画像とにおいて、被写体の位置にずれがある場合には、類似画像として検索されない問題がある。
【００１２】
本発明は、上記従来技術の問題を鑑みて、ユーザの操作を煩雑にすることなく、特定の被写体を含む画像を類似画像として的確に検索し得る画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像及び検索対象画像群に含まれる各画像をそれぞれ複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像について領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、当該選択した画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことを特徴とする。
【００１４】
より具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１５】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１６】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を選択画像として順次選択し、さらに、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１７】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことを特徴とする。
【００１８】
より、具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００１９】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００２０】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を選択画像として順次選択し、当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択画像の領域の一部を選択するステップであって、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップとを検索対象画像群に含まれる全画像について行い、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００２１】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることを特徴とする。
【００２２】
より、具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２３】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２４】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を選択画像として順次選択し、当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択画像の領域の一部を選択するステップであって、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップとを検索対象画像群に含まれる全画像について行い、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２５】
【発明の実施の形態】
以下に、本発明の実施の形態について、図を参照して詳細に説明する。
【００２６】
本発明の実施の形態における画像検索装置は、図１のように、制御部１０、内部記憶部１２、大容量記憶部１４、出力部１６、標準入力部１８及び画像入力部２０から基本的に構成される。制御部１０、内部記憶部１２、大容量記憶部１４、出力部１６、標準入力部１８及び画像入力部２０は、バス２４によって相互に情報（データ）伝達可能に接続されてなる。
【００２７】
さらに、画像検索装置は、インターフェース部２２を含むことが好適である。インターフェース部２２は、上記の他の構成部とバス２４によって相互に情報（データ）伝達可能に接続される。また、インターフェース部２２は、ネットワーク２６に接続される。これによって、画像検索装置は、ネットワークを介して、装置外部から画像データを読み込むことができる。
【００２８】
制御部１０は、内部記憶部１２に保持された画像検索プログラムを実行し、類似画像の検索処理を行う。検索処理においては、制御部１０は、内部記憶部１２又は大容量記憶部１４に保持されている画像データを適宜参照して処理を行う。また、標準入力部１８から検索処理に必要な制御コマンドやパラメータを受け付ける。検索結果は、出力部１６、内部記憶部１２又は大容量記憶部１４に出力される。制御部１０としては、一般的なコンピュータに備えられるＣＰＵを用いることができる。
【００２９】
内部記憶部１２は、制御部１０で実行される画像検索プログラム、検索処理に用いられる一時的なパラメータ及び検索結果として出力された画像データなどを格納及び保持する。内部記憶部１２は、バス２４を介して、制御部１０から適宜参照することができる。内部記憶部１２としては、一般的な半導体メモリなどを用いることができる。
【００３０】
大容量記憶部１４は、画像の検索処理に供される画像データを格納及び保持する。画像データは、画像入力部２０又はインターフェース部２２に接続されたネットワーク２６から取り込まれ、大容量記憶部１４に格納される。このとき、画像データの識別番号やデータサイズなどの属性情報を、画像データと関連付けて保持しておくことが好適である。大容量記憶部１４に保持された画像データは、バス２４を介して、制御部１０から適宜参照することができる。大容量記憶部１４は、比較的データ容量の大きい画像データを多数保持する必要があるため、ハードディスク装置、光磁気ディスク装置などの大容量記憶装置を適宜選択して用いることが好適である。
【００３１】
出力部１６は、制御部１０から出力された検索結果をユーザが確認可能な情報として表示する。また、ユーザが検索処理を行う際に、制御コマンドやパラメータを標準入力部１８から入力するためのユーザインターフェースとしても用いられる。出力部１６は、一般的なディスプレイ装置、プリンタ装置又はタッチパネルなどから適宜選択して用いることができる。
【００３２】
標準入力部１８は、検索処理を実行する際に、ユーザが制御コマンドやパラメータを入力するために用いる。例えば、ユーザは、制御部１０に対して内部記憶部１２に保持されている画像検索プログラムの実行開始を命令するための制御コマンドを入力する。標準入力部１８は、一般的なキーボード、マウス又はタッチパネルなどの入力装置を適宜選択して用いることができる。
【００３３】
画像入力部２０は、検索のキーとなる基準画像や検索対象となる画像の画像データを入力するために用いる。画像入力部２０は、画像を所定間隔毎にサンプリングし、画素毎に色相、輝度又は明度などの値を持ったデジタルの画像データとして読み込む。大容量記憶部１４又は内部記憶部１２へ出力する。画像入力部２０は、スキャナ、デジタルカメラ又はデジタルビデオなどの一般的な画像入力装置を適宜選択して用いることができる。
【００３４】
＜第１の画像検索方法＞
以下に、本実施の形態における画像検索装置を用いて、基準画像に類似する画像を検索対象画像群から検索する第１の画像検索方法について、図を参照して詳細に説明する。
【００３５】
以下の説明では、検索の対象となる検索対象画像群の画像データは、画像入力部２０又はインターネットを介して、予め画像検索装置の大容量記憶部１４に格納及び保持されているものとする。
【００３６】
図２に、本実施の形態における第１の画像検索方法のフローチャートを示す。第１の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。
【００３７】
ユーザは、標準入力部１８から検索処理を開始するための制御コマンドを入力する。制御部１０は、その制御コマンドを受けて、内部記憶部１２に保持されている画像検索プログラムを実行する。画像検索プログラムが実行されると、処理は直ちにステップＳ１０へ移行する。
【００３８】
ステップＳ１０では、画像入力部２０から検索のキーとなる基準画像が画像データとして読み込まれる。このとき、画像入力部２０の代わりにネットワーク２６を介して、装置外部から基準画像の画像データを読み込んでも良い。基準画像の画像データは、大容量記憶部１４又は内部記憶部１２に格納及び保持される。
【００３９】
ステップＳ２０では、基準画像から特徴量が抽出される。ステップＳ２０はサブルーチン化されており、画像から特徴量を抽出する処理について、図３を参照して詳細に説明する。
【００４０】
ステップＳ２０１では、画像を複数の領域に分割する。本実施の形態では、画像を矩形型のメッシュに分割する。各メッシュの大きさは均等としても良いし、不均等としても良い。また、メッシュの形状は、閉曲線で囲まれる任意の形状とすることができる。例えば、矩形、円形又は多角形とすることができる。後の処理を容易にするためには、画像データは均等に矩形に分割することが好適である。メッシュの分割数は、特に限定されるものではないが、画像サイズが小さい場合には分割数を少なくし、画像サイズが大きい場合には分割数を多くすることが好適である。
【００４１】
以下の説明では、図４に示すように、画像データを縦１０×横１０＝１００個の均等な矩形メッシュとして分割したものとする。このとき、画像データが縦５００画素×横５００画素であったならば、１つのメッシュには縦５０画素×横５０画素が含まれることになる。
【００４２】
ステップＳ２０２では、分割された各メッシュについて、メッシュ内の平均色を算出する。平均色は、各メッシュに含まれる画素毎の色の成分をメッシュ全体について平均することによって算出することができる。
【００４３】
例えば、各画素が赤、緑及び青（ＲＧＢ）の各色成分により表現され、各色成分が数値化されている場合、メッシュに含まれる全画素のＲ成分、Ｇ成分及びＢ成分の色成分毎に加算し、その合計値を画素数で割ることによって、そのメッシュの平均色の各色成分を算出する。
【００４４】
画像データが白黒である場合には、各画素をＲＧＢの色空間に変換した後に平均色を計算することができる。例えば、画素が白の場合にはＲＧＢ＝（２５５，２５５，２５５）、黒の場合にはＲＧＢ＝（０，０，０）と変換した後に、メッシュ毎の平均色を算出する。
【００４５】
ここでは、画素の色データがＲＧＢ色空間で表現されている場合を例示したが、これに限定されるものではない。画素の色データがＹＵＶ色空間、ＹＭＣＫ色空間などの他の色空間で表現されている場合も、各色成分の平均値を算出することによって平均色を算出することができる。
【００４６】
ステップＳ２０３では、各メッシュ内に含まれるエッジ画素量を算出する。エッジ画素量とは、１つのメッシュ内の全画素数に対するエッジ画素数の割合を示す。エッジ画素量の算出は、既存のエッジ画素の検出方法を用いて行うことができる。例えば、画像の輝度成分に対してエッジ抽出フィルタを用いて画素単位のエッジ量を抽出し、所定の閾値を超えるエッジ量を有する画素をエッジ画素とする。
【００４７】
以上のように、各メッシュに対して平均色とエッジ画素量の２つの特徴量が抽出される。図４の例では、メッシュ分割数が１００個であるので、平均色およびエッジ画素量がそれぞれ１００個ずつ得られる。
【００４８】
抽出された特徴量は、その抽出元となったメッシュと関連付けられて大容量記憶部１４又は内部記憶部１２に格納及び保持される。その後、処理はステップＳ２０からステップＳ３０へ移行される。
【００４９】
ステップＳ３０では、大容量記憶部１４に保持されている検索対象画像群から検索対象画像を順次選択し、その選択された画像から特徴量を抽出する。それぞれの検索対象画像からの特徴量の抽出は、ステップＳ２０と同様に行うことができるため説明は省略する。
【００５０】
本実施の形態では、検索処理を行う度にステップＳ３０の処理を行い、検索対象画像から特徴量を抽出するものとしたが、検索対象画像の画像データを大容量記憶部１４等に格納する際に予め特徴量を抽出し、その検索対象画像の画像データと関連付けて格納しておくことも好適である。この場合は、ステップＳ３０では、検索対象画像群から検索対象画像を選択すると同時に、その画像データに関連付けられた特徴量を読み出すことができる。
【００５１】
ステップＳ４０では、基準画像と選択された検索対象画像との類似度を算出する。類似度とは、比較される両画像の特徴量の近似性を示す指標をいう。類似度の算出処理はサブルーチン化されており、図５を参照して詳細に説明する。
【００５２】
基準画像及び検索対象画像は、それぞれメッシュに分割されている。図４に示すように、基準画像の各メッシュをＭＳＨａｉｊ、検索対象画像の各メッシュをＭＳＨｂｉｊと表記する。添え字ｉ及びｊは、それぞれメッシュの横及び縦の位置を示す。図４の画像分割例では、メッシュの分割数が横１０×縦１０であるので、添え字のｉ，ｊはそれぞれ０から９までの値となり、基準画像において（横２，縦１）の位置にあるメッシュはＭＳＨａ２１と表記される。
【００５３】
また、各メッシュに対して抽出された平均色及びエッジ画素量を、それぞれＡＶＥａｉｊ及びＥＧＥａｉｊと表記する。平均色はＲＧＢ色空間において各８ビットで表現されるので、Ｒ成分、Ｇ成分及びＢ成分をＡＶＥＲａｉｊ，ＡＶＥＧａｉｊ及びＡＶＥＢｉｊと表記する。すなわち、ＡＶＥａｉｊ＝（ＡＶＥＲａｉｊ，ＡＶＥＧａｉｊ，ＡＶＥＢａｉｊ）と表される。
【００５４】
ステップＳ４０１では、基準画像と選択された検索対象画像のメッシュ距離値を算出する。メッシュ距離値は、基準画像に含まれる１つのメッシュと、検索対象画像に含まれる１つのメッシュとの特徴量空間におけるユークリッド距離として算出される。
【００５５】
具体的には、基準画像に含まれるメッシュを１つ選択し、そのメッシュの位置と等しい位置にある検索対象画像のメッシュとのメッシュ距離値を算出する。両画像データのメッシュ位置（ｉ，ｊ）の距離値をＤＳＴｉｊとすると、図６に示すように、距離値ＤＳＴｉｊは数式（１）により算出される。
【００５６】
【数１】
【００５７】
基準画像からメッシュを順次選択し、全てのメッシュについてメッシュ距離値ＤＳＴｉｊを算出する。例えば、図４の分割例では、１００個のメッシュのそれぞれについてメッシュ距離値が算出される。
【００５８】
図７に、基準画像と検索対象画像における各メッシュに対して、メッシュ距離値を算出した具体例を示す。ここでは、説明を簡単にするために、両画像のエッジ画素量のみを特徴量として抽出した場合を例示している。メッシュ距離値は、そのメッシュ位置に対応する基準画像と検索対象画像とのエッジ画素量の差の絶対値として算出されている。
【００５９】
ステップＳ４０２では、各メッシュ位置に対して算出されたメッシュ距離値を昇順にソートする。図８に、図７に例示したエッジ画素量に対するメッシュ距離値をソートした結果を例示する。
【００６０】
ステップＳ４０３では、両画像間の類似度を決定する。具体的には、ステップＳ４０２のソート結果から、値が小さい順に所定数のメッシュ距離値を選択し、選択されたメッシュ距離値の合計値を類似度とする。例えば、図８のように、最も値が小さいメッシュ距離値から順に６個を類似度算出対象ブロックとして選択し、類似度算出対象ブロック内に含まれるメッシュ距離値の合計値を両画像の類似度とする。
【００６１】
このように、値が小さいメッシュ距離値を選択して類似度を決定することは、基準画像と検索対象画像とに含まれる類似性の高いメッシュのみを選択して類似性を決定することを意味する。従って、類似性の低い背景領域等を排除し、両画像において共通性の高い特定の被写体領域を選び出して、画像領域の類似度を算出することができる。
【００６２】
算出された類似度は、検索対象画像データと関連付けられて大容量記憶部１４又は内部記憶部１２に格納及び保持される。以上によりステップＳ４０のサブルーチンの処理が終わり、メインルーチンのステップＳ５０へ処理が移行される。
【００６３】
ステップＳ５０では、検索対象とされる画像群の全ての画像データについて類似度が算出されたか否かを判断する。全ての画像データについて類似度が算出されている場合は、処理はステップＳ６０へ移行する。全ての画像データについて類似度が算出されていない場合には、処理はステップＳ３０へ戻され、次の検索対象画像に対する類似度を算出する。
【００６４】
ステップＳ６０では、検索対象となる画像群から、基準画像に類似する画像を抽出する。大容量記憶部１４又は内部記憶部１２に保持された検索対象画像群から、類似度が小さい順に所定数の画像を基準画像に類似する画像として選択する。
【００６５】
ステップＳ７０では、類似画像をユーザが確認可能な態様で出力する。例えば、出力部１６を用いて、類似画像自体を表示する。また、同時に類似画像として選択された画像データに関連付けられた属性情報や類似度を表示しても良い。
【００６６】
以上のように、本実施の形態における第１の画像検索方法によれば、基準画像と検索対象画像とのメッシュ距離値を用いて、類似性の高いメッシュ位置（領域）のみを抽出し、その抽出された領域に基づいて類似性を評価することができる。その結果、ユーザが領域を指定することなく、類似性の高い画像領域のみを対象とした画像検索が可能となり、画像間に共通する特徴領域を的確に捉えて類似画像を検索することができる。
【００６７】
＜第２の画像検索方法＞
以下に、本実施の形態における第２の画像検索方法について、図を参照して詳細に説明する。
【００６８】
第２の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。制御部１０は、ユーザからの実行開始の制御コマンドを受けて、画像検索プログラムを実行する。
【００６９】
第２の画像検索方法では、図２におけるステップＳ４０の類似度算出処理以外は、第１の画像検索方法と同様に処理を行うため説明を省略する。
【００７０】
ステップＳ４０では、検索キーとなる基準画像と、ステップＳ３０で選択された検索対象画像との類似度が算出される。ステップＳ４０はサブルーチン化されており、図９を参照して詳細に説明する。第１の画像検索方法と同一の処理を行うステップには、同一の符号を付し、説明を省略する。
【００７１】
ステップＳ４１１では、基準画像に含まれるメッシュを１つ選択し、そのメッシュの位置と等しい位置に対応する検索対象画像のメッシュを選び出す。第２の画像検索方法では、その選び出された検索対象画像のメッシュ及びその周辺のメッシュについてメッシュ距離値を算出する。
【００７２】
具体的には、図１０のように、基準画像のメッシュＭＳＨａｉｊに対応する検索対象画像のメッシュＭＳＨｂｉｊを選択し、さらに周辺のメッシュＭＳＨｂｉ−１ｊ−１，ＭＳＨｂｉｊ−１，ＭＳＨｂｉ＋１ｊ−１，ＭＳＨｂｉ−１ｊ，ＭＳＨｂｉ＋１ｊ，ＭＳＨｂｉ−１ｊ＋１，ＭＳＨｂｉｊ＋１及びＭＳＨｂｉ＋１ｊ＋１についてもメッシュ距離値を算出する。基準画像のメッシュＭＳＨａｉｊと検索対象画像ＭＳＨｂｋｌとのメッシュ距離値をＤＳＴｉｊ（ｋ，ｌ）とすると、メッシュ距離値ＤＳＴｉｊ（ｋ，ｌ）は数式（２）により算出される。
【００７３】
【数２】
【００７４】
従って、基準画像の１つのメッシュに対して９個のメッシュ距離値が算出される。そのうち、最も小さい値をもつメッシュ距離値を、基準画像のメッシュＭＳＨａｉｊと検索対象画像とのメッシュ距離値として採用する。
【００７５】
具体例について、図１１を参照して説明する。ここでは、説明を簡単にするために、両画像のエッジ画素量のみを特徴量として抽出した場合を例示する。図１１（ａ）のように、基準画像のメッシュからＭＳＨａ１１を選択した場合、図１１（ｂ）のように、検索対象画像のＭＳＨｂ００，ＭＳＨｂ０１，ＭＳＨｂ０２，ＭＳＨｂ１０，ＭＳＨｂ１１，ＭＳＨｂ１２，ＭＳＨｂ２０，ＭＳＨｂ２１及びＭＳＨｂ２２がメッシュ距離を算出する対象となる。すなわち、図１１（ｃ）のように、基準画像のメッシュＭＳＨａ１１と、検索対象画像のメッシュＭＳＨｂ００〜ＭＳＨｂ２２のエッジ画素量との差の絶対値が、それぞれメッシュ距離値ＤＳＴ１１（０，０）〜ＤＳＴ１１（２，２）として算出される。次に、メッシュ距離値ＤＳＴ１１（０，０）〜ＤＳＴ１１（２，２）の中から最小値を有するメッシュ距離値が、基準画像のメッシュＭＳＨａ１１と検索対象画像とのメッシュ距離値として選択される。本例では、ＤＳＴ１１（２，０）が０であり、最も小さい値のメッシュ距離値であるので、基準画像のメッシュＭＳＨａ１１と検索対象画像とのメッシュ距離値は０となる。
【００７６】
基準画像からメッシュを順次選択し、全てのメッシュについてメッシュ距離値を算出する。例えば、図４の分割例では、基準画像に１００個のメッシュが含まれるので、それぞれ１００個の検索対象画像とのメッシュ距離値が決定される。
【００７７】
ステップＳ４０２では、基準画像の各メッシュに対して算出されたメッシュ距離値を昇順にソートする。ソートの処理は、第１の画像検索方法のステップＳ４０２と同様であるので説明は省略する。
【００７８】
ステップＳ４０３では、ソート結果から、基準画像と検索対象画像との類似度を算出する。類似度の算出処理は、第１の画像検索方法のステップＳ４０３と同様であるので説明は省略する。以上により、ステップＳ４０のサブルーチンの処理が終わり、メインルーチンのステップＳ５０へ処理が移行される。
【００７９】
このように、基準画像に含まれる各メッシュに対する検索対象画像とのメッシュ距離値を算出する際に、基準画像のメッシュと対応する検索対象画像のメッシュ周辺のメッシュも考慮することによって、図１２に示すように、基準画像と検索対象画像において特定の対象物の位置がずれている場合でも、そのずれを修正した類似度を得ることができる。
【００８０】
ずれの修正幅は、ステップＳ４１１において、周辺のメッシュをどこまで考慮するかによって決まる。すなわち、基準画像の各メッシュに対するメッシュ距離値を算出する際に、より広い範囲に含まれる検索対象画像のメッシュに対するメッシュ距離値を算出し、その中から最も類似性の高いメッシュ距離値を選択することによって、基準画像と検索対象画像とのずれの修正幅を大きくすることができる。ただし、範囲を広げることによって、類似度を決定するための計算量が増加するため、ずれの修正幅は必要な検索速度に応じて決定することが好適である。
【００８１】
また、本実施の形態では、図１０に示すように、周辺９個のメッシュを選択したが、これに限定されるものではない。例えば、図１３に示すように、参照するメッシュの選択を変更しても同様の効果を得ることができる。図１３（ａ）は、上下左右を含めて５つのメッシュを選択する方法である。図１３（ｂ）は、基準画像と検索対象画像のメッシュをずらして、重畳する４つのメッシュを選択する方法である。
【００８２】
以上のように、第２の画像検索方法によれば、基準画像と検索対象画像とに共通の対象物が含まれており、互いの画像において特定の対象物の位置がずれていた場合においても、その位置のずれを修正した類似度を決定することができる。その結果、ユーザが検索キーとした基準画像と、検索対象画像との共通性を的確に反映した類似度に基づいて、検索対象画像群から類似画像を検索することができる。
【００８３】
＜第３の画像検索方法＞
以下に、本実施の形態における第３の画像検索方法について、図を参照して詳細に説明する。
【００８４】
上記第１及び第２の画像検索方法では、基準画像と検索対象画像とにおいて共通する画像領域に着目して、類似画像の検索を行った。これに対して、第３の画像検索方法は、基準画像と検索対象画像とにおける非類似の領域に着目して、類似画像の検索を行うものである。
【００８５】
第３の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。制御部１０は、ユーザからの実行開始の制御コマンドを受けて、画像検索プログラムを実行する。
【００８６】
図１４に、第３の画像検索方法のフローチャートを示す。図１４において、第１の画像検索方法と同じ処理を行うステップには同一の符号を付し、説明を省略する。
【００８７】
ステップＳ４５では、検索キーとなる基準画像と、ステップＳ３０で選択された検索対象画像との非類似度が算出される。ステップＳ４５はサブルーチン化されており、図１５を参照して説明する。ここで、第１の画像検索方法と同じ処理を行うステップには同一の符号を付し、説明を省略する。
【００８８】
ステップＳ４５３では、両画像の非類似度を決定する。具体的には、ステップＳ４０２のソート結果に基づいて、値が大きい順に所定数のメッシュ距離値を選択し、選択されたメッシュ距離値の合計値を非類似度とする。例えば、図１６のように、最も値が大きいメッシュ距離値から順に５個のメッシュ距離値を非類似度算出対象ブロックとして選択し、その非類似度算出対象ブロック内に含まれるメッシュ距離値の合計値を両画像間の非類似度と決定する。
【００８９】
このように、値が大きいメッシュ距離値を選択して非類似度を決定することは、基準画像と検索対象画像とに含まれる類似性の低いメッシュ（領域）のみを選択して検索を行うことを意味する。
【００９０】
ステップＳ６０では、検索対象となる画像群から、基準画像に類似する画像を抽出する。大容量記憶部１４又は内部記憶部１２に保持された検索対象画像群から、非類似度が小さい順に所定数の画像を基準画像に類似する画像として選択する。
【００９１】
以上のように、本実施の形態における第３の画像検索方法によれば、基準画像と検索対象画像とにおいて、類似性の低い領域のみに基づいて検索を行うことができる。このように非類似性に基づいた画像検索方法は、例えば、印鑑の照会など、フェールセーフを考慮した場合に、画像同士の非類似性が重要である場合に非常に有効な方法である。
【００９２】
＜変形例＞
上記第１、第２及び第３の画像検索方法では、基準画像と検索対象画像をそのまま比較して検索を行ったが、検索対象画像を左右反転、上下反転及び回転させ、それらの画像も類似度又は非類似度の算出に用いることが好適である。
【００９３】
例えば、図１７に示すように、検索対象画像を左右反転、上下反転及び回転させ、それぞれの画像と基準画像との類似度又は非類似を決定し、さらにその中から最も小さい値の類似度又は非類似度を基準画像と検索対象画像との類似度又は非類似として選択し、検索を行っても良い。
【００９４】
【発明の効果】
本発明によれば、ユーザが画像内の領域指定を行うことなく、検索キーとなる基準画像と検索対象となる画像とにおける一部の領域の類似性（非類似性）に基づいて、検索対象画像群から基準画像に類似する画像を検出することができる。
【００９５】
また、基準画像と検索対象となる画像とにおいて、共通する画像領域の位置にずれがある場合でも、基準画像に類似する画像を的確に検索することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像検索装置の構成のブロック図である。
【図２】本発明の第１及び第２の画像検索方法におけるフローチャートを示す図である。
【図３】本発明の画像検索方法におけるステップＳ２０のサブルーチンのフローチャートを示す図である。
【図４】本発明の実施の形態における画像の領域分割の説明図である。
【図５】本発明の第１の画像検索方法におけるステップＳ４０のサブルーチンのフローチャートを示す図である。
【図６】本発明の第１の画像検索方法における基準画像と検索対象画像とのメッシュ距離値の説明図である。
【図７】本発明の第１の画像検索方法におけるメッシュ距離値の算出方法の説明図である。
【図８】本発明の第１の画像検索方法における検索対象画像の領域選択の説明図である。
【図９】本発明の第２の画像検索方法におけるステップＳ４０のサブルーチンのフローチャートを示す図である。
【図１０】本発明の第２の画像検索方法におけるメッシュ距離値の説明図である。
【図１１】本発明の第２の画像検索方法におけるメッシュ距離値の算出方法の説明図である。
【図１２】基準画像と検索対象画像とにおける対象物の位置のずれを示す図である。
【図１３】本発明の第２の画像検索方法における周辺メッシュの取り方の説明図である。
【図１４】本発明の第３の画像検索方法におけるフローチャートを示す図である。
【図１５】本発明の第３の画像検索方法におけるステップＳ４５のサブルーチンのフローチャートを示す図である。
【図１６】本発明の第３の画像検索方法における検索対象画像の領域選択の説明図である。
【図１７】本発明の実施の形態における変形例の画像の左右反転、上下反転及び回転を示す図である。
【図１８】特徴量空間における基準画像の特徴量ベクトルＡ、検索対象画像の特徴量ベクトルＢ及びその距離値Ｄを示す図である。
【符号の説明】
１０ 制御部、１２ 内部記憶部、１４ 大容量記憶部、１６ 出力部、１８標準入力部、２０ 画像入力部、２２ インターフェース部、２４ バス、２６ ネットワーク。
【発明の属する技術分野】
本発明は、検索対象となる画像群の中から、ユーザが指定した画像と類似した画像を見出す画像検索装置、画像検索方法及び画像検索プログラムに関する。
【０００２】
【従来の技術】
近年のネットワークの発達やデータストレージの大容量化に伴って、大量の画像情報を保存する画像データベースが多数構築されている。これらの画像データベースは、インターネット等の情報伝達媒体を通じて簡単に利用できる。また、デジタルカメラ、デジタルビデオやスキャナの普及により、個々のユーザが大量の画像データを保有することも少なくない。さらに、クリップアート集や画像素材集として、ビジネス文書やプレゼンテーション資料の利用に供するための画像データが市販されるようになっている。そのため、大量の画像群の中から、ユーザが所望する画像を適切に抽出できる画像検索手段の必要性が高まっている。
【０００３】
現在、画像検索手段として最も一般的な形態はキーワード検索である。これは、画像データ毎に各々の画像の特徴を示すキーワードを付与しておき、所望の画像を抽出する際には、そのキーワードを手掛かりとして検索を行う手段である。
【０００４】
しかし、キーワードの自動抽出が容易な文書データと異なり、画像データに対してキーワードを人手によって付与する必要があり、大量の画像データを含むデータベースを構築する場合等には膨大な労力が必要となる。また、画像データの場合、画像を構成する要素のいずれに着目するかによって、付与すべきキーワードも異なってくるため、一貫した基準に従ってキーワードを付与することが困難となる。
【０００５】
別の画像検索手段として、画像自体から物理的な特徴量を抽出し、抽出された画像特徴量に基づいて類似する画像を検索する方法が提案されている。
【０００６】
特開平１１−２１２９９３号公報には、画像の色の特徴を特徴量として抽出し、その色特徴に基づいて類似する画像を検索する方法が開示されている。また、特開平９−３５０５８号公報には、画像に表示されている対象の輪郭（エッジ）線を特徴量として抽出し、その輪郭線の特徴に基づいて類似する画像を検索する方法が開示されている。
【０００７】
図１８に示すように、１つの画像からＮ種類の特徴量ａ０，ａ１・・・ａＮ−１が抽出された場合、それらの特徴量はＮ次元の特徴量空間における特徴量ベクトルＡとして表現することができる。特徴量に基づいて画像の類似性を判断する一般的な方法では、検索のキーとなる基準画像の特徴量ベクトルＡと検索対象となる画像の特徴量ベクトルＢとのユークリッド距離Ｄを算出し、その距離Ｄが短いほど両画像が類似していると判断する。
【０００８】
しかしながら、特定の被写体を撮影した画像（例えば、人物写真、花や物などの対象物をクローズアップした写真）等に対して、画像全体から抽出した特徴量に基づいて類似画像の検索を行った場合、注目すべきである特定の被写体以外の領域（例えば、人物写真の人物の背景など）から抽出された特徴量も含まれて処理が行われる。そのため、ユーザが特定の被写体が撮影された画像を類似画像として検索する意図を有しているときでも、背景が大きく異なる場合には検索されない問題があった。
【０００９】
この問題を解決する方法として、特開２００１−１５５１６８号公報には、類似画像の検索を行う際に、ユーザが基準画像において検索の目的とする領域を手動で指定する手段が開示されている。すなわち、特定の被写体が撮影された画像を基準画像として検索を行う場合に、ユーザは特定の被写体の領域のみを指定することによって、その特定の被写体の領域から抽出された特徴量のみに基づいて検索を行うことが可能となる。その結果、その特定の被写体の背景が著しく異なる場合でも、その特定の被写体を含んだ画像を、検索対象画像群から検索することができる。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、ユーザ自身が手動で画像内の領域指定を行う必要があり、ユーザによる操作が非常に煩雑となる問題がある。特に、ユーザの画像処理の経験が少ない場合には、領域をうまく指定することができず、ユーザが意図する類似画像を容易に得ることができない。
【００１１】
また、ユーザが指定した領域は画像内において固定されており、基準画像と検索対象となる画像とにおいて、被写体の位置にずれがある場合には、類似画像として検索されない問題がある。
【００１２】
本発明は、上記従来技術の問題を鑑みて、ユーザの操作を煩雑にすることなく、特定の被写体を含む画像を類似画像として的確に検索し得る画像検索装置、画像検索方法及び画像検索プログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像及び検索対象画像群に含まれる各画像をそれぞれ複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像について領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、当該選択した画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことを特徴とする。
【００１４】
より具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１５】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を順次選択し、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１６】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、基準画像を複数の領域に分割する手段と、検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、検索対象画像群から画像を選択画像として順次選択し、さらに、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択する手段と、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段とを含むことが好適である。
【００１７】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことを特徴とする。
【００１８】
より、具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００１９】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００２０】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を選択画像として順次選択し、当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択画像の領域の一部を選択するステップであって、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップとを検索対象画像群に含まれる全画像について行い、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を行うことが好適である。
【００２１】
上記課題を解決するための本発明は、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることを特徴とする。
【００２２】
より、具体的には、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２３】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を順次選択し、当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択された画像の領域の一部を選択するステップであって、基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップとを検索対象画像群に含まれる全画像について行い、検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２４】
また、検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、コンピュータに、基準画像を複数の領域に分割するステップと、基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、検索対象画像群に含まれる画像を選択画像として順次選択し、当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、当該選択画像の領域の一部を選択するステップであって、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップとを検索対象画像群に含まれる全画像について行い、前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップとを含む処理を実行させることが好適である。
【００２５】
【発明の実施の形態】
以下に、本発明の実施の形態について、図を参照して詳細に説明する。
【００２６】
本発明の実施の形態における画像検索装置は、図１のように、制御部１０、内部記憶部１２、大容量記憶部１４、出力部１６、標準入力部１８及び画像入力部２０から基本的に構成される。制御部１０、内部記憶部１２、大容量記憶部１４、出力部１６、標準入力部１８及び画像入力部２０は、バス２４によって相互に情報（データ）伝達可能に接続されてなる。
【００２７】
さらに、画像検索装置は、インターフェース部２２を含むことが好適である。インターフェース部２２は、上記の他の構成部とバス２４によって相互に情報（データ）伝達可能に接続される。また、インターフェース部２２は、ネットワーク２６に接続される。これによって、画像検索装置は、ネットワークを介して、装置外部から画像データを読み込むことができる。
【００２８】
制御部１０は、内部記憶部１２に保持された画像検索プログラムを実行し、類似画像の検索処理を行う。検索処理においては、制御部１０は、内部記憶部１２又は大容量記憶部１４に保持されている画像データを適宜参照して処理を行う。また、標準入力部１８から検索処理に必要な制御コマンドやパラメータを受け付ける。検索結果は、出力部１６、内部記憶部１２又は大容量記憶部１４に出力される。制御部１０としては、一般的なコンピュータに備えられるＣＰＵを用いることができる。
【００２９】
内部記憶部１２は、制御部１０で実行される画像検索プログラム、検索処理に用いられる一時的なパラメータ及び検索結果として出力された画像データなどを格納及び保持する。内部記憶部１２は、バス２４を介して、制御部１０から適宜参照することができる。内部記憶部１２としては、一般的な半導体メモリなどを用いることができる。
【００３０】
大容量記憶部１４は、画像の検索処理に供される画像データを格納及び保持する。画像データは、画像入力部２０又はインターフェース部２２に接続されたネットワーク２６から取り込まれ、大容量記憶部１４に格納される。このとき、画像データの識別番号やデータサイズなどの属性情報を、画像データと関連付けて保持しておくことが好適である。大容量記憶部１４に保持された画像データは、バス２４を介して、制御部１０から適宜参照することができる。大容量記憶部１４は、比較的データ容量の大きい画像データを多数保持する必要があるため、ハードディスク装置、光磁気ディスク装置などの大容量記憶装置を適宜選択して用いることが好適である。
【００３１】
出力部１６は、制御部１０から出力された検索結果をユーザが確認可能な情報として表示する。また、ユーザが検索処理を行う際に、制御コマンドやパラメータを標準入力部１８から入力するためのユーザインターフェースとしても用いられる。出力部１６は、一般的なディスプレイ装置、プリンタ装置又はタッチパネルなどから適宜選択して用いることができる。
【００３２】
標準入力部１８は、検索処理を実行する際に、ユーザが制御コマンドやパラメータを入力するために用いる。例えば、ユーザは、制御部１０に対して内部記憶部１２に保持されている画像検索プログラムの実行開始を命令するための制御コマンドを入力する。標準入力部１８は、一般的なキーボード、マウス又はタッチパネルなどの入力装置を適宜選択して用いることができる。
【００３３】
画像入力部２０は、検索のキーとなる基準画像や検索対象となる画像の画像データを入力するために用いる。画像入力部２０は、画像を所定間隔毎にサンプリングし、画素毎に色相、輝度又は明度などの値を持ったデジタルの画像データとして読み込む。大容量記憶部１４又は内部記憶部１２へ出力する。画像入力部２０は、スキャナ、デジタルカメラ又はデジタルビデオなどの一般的な画像入力装置を適宜選択して用いることができる。
【００３４】
＜第１の画像検索方法＞
以下に、本実施の形態における画像検索装置を用いて、基準画像に類似する画像を検索対象画像群から検索する第１の画像検索方法について、図を参照して詳細に説明する。
【００３５】
以下の説明では、検索の対象となる検索対象画像群の画像データは、画像入力部２０又はインターネットを介して、予め画像検索装置の大容量記憶部１４に格納及び保持されているものとする。
【００３６】
図２に、本実施の形態における第１の画像検索方法のフローチャートを示す。第１の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。
【００３７】
ユーザは、標準入力部１８から検索処理を開始するための制御コマンドを入力する。制御部１０は、その制御コマンドを受けて、内部記憶部１２に保持されている画像検索プログラムを実行する。画像検索プログラムが実行されると、処理は直ちにステップＳ１０へ移行する。
【００３８】
ステップＳ１０では、画像入力部２０から検索のキーとなる基準画像が画像データとして読み込まれる。このとき、画像入力部２０の代わりにネットワーク２６を介して、装置外部から基準画像の画像データを読み込んでも良い。基準画像の画像データは、大容量記憶部１４又は内部記憶部１２に格納及び保持される。
【００３９】
ステップＳ２０では、基準画像から特徴量が抽出される。ステップＳ２０はサブルーチン化されており、画像から特徴量を抽出する処理について、図３を参照して詳細に説明する。
【００４０】
ステップＳ２０１では、画像を複数の領域に分割する。本実施の形態では、画像を矩形型のメッシュに分割する。各メッシュの大きさは均等としても良いし、不均等としても良い。また、メッシュの形状は、閉曲線で囲まれる任意の形状とすることができる。例えば、矩形、円形又は多角形とすることができる。後の処理を容易にするためには、画像データは均等に矩形に分割することが好適である。メッシュの分割数は、特に限定されるものではないが、画像サイズが小さい場合には分割数を少なくし、画像サイズが大きい場合には分割数を多くすることが好適である。
【００４１】
以下の説明では、図４に示すように、画像データを縦１０×横１０＝１００個の均等な矩形メッシュとして分割したものとする。このとき、画像データが縦５００画素×横５００画素であったならば、１つのメッシュには縦５０画素×横５０画素が含まれることになる。
【００４２】
ステップＳ２０２では、分割された各メッシュについて、メッシュ内の平均色を算出する。平均色は、各メッシュに含まれる画素毎の色の成分をメッシュ全体について平均することによって算出することができる。
【００４３】
例えば、各画素が赤、緑及び青（ＲＧＢ）の各色成分により表現され、各色成分が数値化されている場合、メッシュに含まれる全画素のＲ成分、Ｇ成分及びＢ成分の色成分毎に加算し、その合計値を画素数で割ることによって、そのメッシュの平均色の各色成分を算出する。
【００４４】
画像データが白黒である場合には、各画素をＲＧＢの色空間に変換した後に平均色を計算することができる。例えば、画素が白の場合にはＲＧＢ＝（２５５，２５５，２５５）、黒の場合にはＲＧＢ＝（０，０，０）と変換した後に、メッシュ毎の平均色を算出する。
【００４５】
ここでは、画素の色データがＲＧＢ色空間で表現されている場合を例示したが、これに限定されるものではない。画素の色データがＹＵＶ色空間、ＹＭＣＫ色空間などの他の色空間で表現されている場合も、各色成分の平均値を算出することによって平均色を算出することができる。
【００４６】
ステップＳ２０３では、各メッシュ内に含まれるエッジ画素量を算出する。エッジ画素量とは、１つのメッシュ内の全画素数に対するエッジ画素数の割合を示す。エッジ画素量の算出は、既存のエッジ画素の検出方法を用いて行うことができる。例えば、画像の輝度成分に対してエッジ抽出フィルタを用いて画素単位のエッジ量を抽出し、所定の閾値を超えるエッジ量を有する画素をエッジ画素とする。
【００４７】
以上のように、各メッシュに対して平均色とエッジ画素量の２つの特徴量が抽出される。図４の例では、メッシュ分割数が１００個であるので、平均色およびエッジ画素量がそれぞれ１００個ずつ得られる。
【００４８】
抽出された特徴量は、その抽出元となったメッシュと関連付けられて大容量記憶部１４又は内部記憶部１２に格納及び保持される。その後、処理はステップＳ２０からステップＳ３０へ移行される。
【００４９】
ステップＳ３０では、大容量記憶部１４に保持されている検索対象画像群から検索対象画像を順次選択し、その選択された画像から特徴量を抽出する。それぞれの検索対象画像からの特徴量の抽出は、ステップＳ２０と同様に行うことができるため説明は省略する。
【００５０】
本実施の形態では、検索処理を行う度にステップＳ３０の処理を行い、検索対象画像から特徴量を抽出するものとしたが、検索対象画像の画像データを大容量記憶部１４等に格納する際に予め特徴量を抽出し、その検索対象画像の画像データと関連付けて格納しておくことも好適である。この場合は、ステップＳ３０では、検索対象画像群から検索対象画像を選択すると同時に、その画像データに関連付けられた特徴量を読み出すことができる。
【００５１】
ステップＳ４０では、基準画像と選択された検索対象画像との類似度を算出する。類似度とは、比較される両画像の特徴量の近似性を示す指標をいう。類似度の算出処理はサブルーチン化されており、図５を参照して詳細に説明する。
【００５２】
基準画像及び検索対象画像は、それぞれメッシュに分割されている。図４に示すように、基準画像の各メッシュをＭＳＨａｉｊ、検索対象画像の各メッシュをＭＳＨｂｉｊと表記する。添え字ｉ及びｊは、それぞれメッシュの横及び縦の位置を示す。図４の画像分割例では、メッシュの分割数が横１０×縦１０であるので、添え字のｉ，ｊはそれぞれ０から９までの値となり、基準画像において（横２，縦１）の位置にあるメッシュはＭＳＨａ２１と表記される。
【００５３】
また、各メッシュに対して抽出された平均色及びエッジ画素量を、それぞれＡＶＥａｉｊ及びＥＧＥａｉｊと表記する。平均色はＲＧＢ色空間において各８ビットで表現されるので、Ｒ成分、Ｇ成分及びＢ成分をＡＶＥＲａｉｊ，ＡＶＥＧａｉｊ及びＡＶＥＢｉｊと表記する。すなわち、ＡＶＥａｉｊ＝（ＡＶＥＲａｉｊ，ＡＶＥＧａｉｊ，ＡＶＥＢａｉｊ）と表される。
【００５４】
ステップＳ４０１では、基準画像と選択された検索対象画像のメッシュ距離値を算出する。メッシュ距離値は、基準画像に含まれる１つのメッシュと、検索対象画像に含まれる１つのメッシュとの特徴量空間におけるユークリッド距離として算出される。
【００５５】
具体的には、基準画像に含まれるメッシュを１つ選択し、そのメッシュの位置と等しい位置にある検索対象画像のメッシュとのメッシュ距離値を算出する。両画像データのメッシュ位置（ｉ，ｊ）の距離値をＤＳＴｉｊとすると、図６に示すように、距離値ＤＳＴｉｊは数式（１）により算出される。
【００５６】
【数１】
基準画像からメッシュを順次選択し、全てのメッシュについてメッシュ距離値ＤＳＴｉｊを算出する。例えば、図４の分割例では、１００個のメッシュのそれぞれについてメッシュ距離値が算出される。
【００５８】
図７に、基準画像と検索対象画像における各メッシュに対して、メッシュ距離値を算出した具体例を示す。ここでは、説明を簡単にするために、両画像のエッジ画素量のみを特徴量として抽出した場合を例示している。メッシュ距離値は、そのメッシュ位置に対応する基準画像と検索対象画像とのエッジ画素量の差の絶対値として算出されている。
【００５９】
ステップＳ４０２では、各メッシュ位置に対して算出されたメッシュ距離値を昇順にソートする。図８に、図７に例示したエッジ画素量に対するメッシュ距離値をソートした結果を例示する。
【００６０】
ステップＳ４０３では、両画像間の類似度を決定する。具体的には、ステップＳ４０２のソート結果から、値が小さい順に所定数のメッシュ距離値を選択し、選択されたメッシュ距離値の合計値を類似度とする。例えば、図８のように、最も値が小さいメッシュ距離値から順に６個を類似度算出対象ブロックとして選択し、類似度算出対象ブロック内に含まれるメッシュ距離値の合計値を両画像の類似度とする。
【００６１】
このように、値が小さいメッシュ距離値を選択して類似度を決定することは、基準画像と検索対象画像とに含まれる類似性の高いメッシュのみを選択して類似性を決定することを意味する。従って、類似性の低い背景領域等を排除し、両画像において共通性の高い特定の被写体領域を選び出して、画像領域の類似度を算出することができる。
【００６２】
算出された類似度は、検索対象画像データと関連付けられて大容量記憶部１４又は内部記憶部１２に格納及び保持される。以上によりステップＳ４０のサブルーチンの処理が終わり、メインルーチンのステップＳ５０へ処理が移行される。
【００６３】
ステップＳ５０では、検索対象とされる画像群の全ての画像データについて類似度が算出されたか否かを判断する。全ての画像データについて類似度が算出されている場合は、処理はステップＳ６０へ移行する。全ての画像データについて類似度が算出されていない場合には、処理はステップＳ３０へ戻され、次の検索対象画像に対する類似度を算出する。
【００６４】
ステップＳ６０では、検索対象となる画像群から、基準画像に類似する画像を抽出する。大容量記憶部１４又は内部記憶部１２に保持された検索対象画像群から、類似度が小さい順に所定数の画像を基準画像に類似する画像として選択する。
【００６５】
ステップＳ７０では、類似画像をユーザが確認可能な態様で出力する。例えば、出力部１６を用いて、類似画像自体を表示する。また、同時に類似画像として選択された画像データに関連付けられた属性情報や類似度を表示しても良い。
【００６６】
以上のように、本実施の形態における第１の画像検索方法によれば、基準画像と検索対象画像とのメッシュ距離値を用いて、類似性の高いメッシュ位置（領域）のみを抽出し、その抽出された領域に基づいて類似性を評価することができる。その結果、ユーザが領域を指定することなく、類似性の高い画像領域のみを対象とした画像検索が可能となり、画像間に共通する特徴領域を的確に捉えて類似画像を検索することができる。
【００６７】
＜第２の画像検索方法＞
以下に、本実施の形態における第２の画像検索方法について、図を参照して詳細に説明する。
【００６８】
第２の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。制御部１０は、ユーザからの実行開始の制御コマンドを受けて、画像検索プログラムを実行する。
【００６９】
第２の画像検索方法では、図２におけるステップＳ４０の類似度算出処理以外は、第１の画像検索方法と同様に処理を行うため説明を省略する。
【００７０】
ステップＳ４０では、検索キーとなる基準画像と、ステップＳ３０で選択された検索対象画像との類似度が算出される。ステップＳ４０はサブルーチン化されており、図９を参照して詳細に説明する。第１の画像検索方法と同一の処理を行うステップには、同一の符号を付し、説明を省略する。
【００７１】
ステップＳ４１１では、基準画像に含まれるメッシュを１つ選択し、そのメッシュの位置と等しい位置に対応する検索対象画像のメッシュを選び出す。第２の画像検索方法では、その選び出された検索対象画像のメッシュ及びその周辺のメッシュについてメッシュ距離値を算出する。
【００７２】
具体的には、図１０のように、基準画像のメッシュＭＳＨａｉｊに対応する検索対象画像のメッシュＭＳＨｂｉｊを選択し、さらに周辺のメッシュＭＳＨｂｉ−１ｊ−１，ＭＳＨｂｉｊ−１，ＭＳＨｂｉ＋１ｊ−１，ＭＳＨｂｉ−１ｊ，ＭＳＨｂｉ＋１ｊ，ＭＳＨｂｉ−１ｊ＋１，ＭＳＨｂｉｊ＋１及びＭＳＨｂｉ＋１ｊ＋１についてもメッシュ距離値を算出する。基準画像のメッシュＭＳＨａｉｊと検索対象画像ＭＳＨｂｋｌとのメッシュ距離値をＤＳＴｉｊ（ｋ，ｌ）とすると、メッシュ距離値ＤＳＴｉｊ（ｋ，ｌ）は数式（２）により算出される。
【００７３】
【数２】
従って、基準画像の１つのメッシュに対して９個のメッシュ距離値が算出される。そのうち、最も小さい値をもつメッシュ距離値を、基準画像のメッシュＭＳＨａｉｊと検索対象画像とのメッシュ距離値として採用する。
【００７５】
具体例について、図１１を参照して説明する。ここでは、説明を簡単にするために、両画像のエッジ画素量のみを特徴量として抽出した場合を例示する。図１１（ａ）のように、基準画像のメッシュからＭＳＨａ１１を選択した場合、図１１（ｂ）のように、検索対象画像のＭＳＨｂ００，ＭＳＨｂ０１，ＭＳＨｂ０２，ＭＳＨｂ１０，ＭＳＨｂ１１，ＭＳＨｂ１２，ＭＳＨｂ２０，ＭＳＨｂ２１及びＭＳＨｂ２２がメッシュ距離を算出する対象となる。すなわち、図１１（ｃ）のように、基準画像のメッシュＭＳＨａ１１と、検索対象画像のメッシュＭＳＨｂ００〜ＭＳＨｂ２２のエッジ画素量との差の絶対値が、それぞれメッシュ距離値ＤＳＴ１１（０，０）〜ＤＳＴ１１（２，２）として算出される。次に、メッシュ距離値ＤＳＴ１１（０，０）〜ＤＳＴ１１（２，２）の中から最小値を有するメッシュ距離値が、基準画像のメッシュＭＳＨａ１１と検索対象画像とのメッシュ距離値として選択される。本例では、ＤＳＴ１１（２，０）が０であり、最も小さい値のメッシュ距離値であるので、基準画像のメッシュＭＳＨａ１１と検索対象画像とのメッシュ距離値は０となる。
【００７６】
基準画像からメッシュを順次選択し、全てのメッシュについてメッシュ距離値を算出する。例えば、図４の分割例では、基準画像に１００個のメッシュが含まれるので、それぞれ１００個の検索対象画像とのメッシュ距離値が決定される。
【００７７】
ステップＳ４０２では、基準画像の各メッシュに対して算出されたメッシュ距離値を昇順にソートする。ソートの処理は、第１の画像検索方法のステップＳ４０２と同様であるので説明は省略する。
【００７８】
ステップＳ４０３では、ソート結果から、基準画像と検索対象画像との類似度を算出する。類似度の算出処理は、第１の画像検索方法のステップＳ４０３と同様であるので説明は省略する。以上により、ステップＳ４０のサブルーチンの処理が終わり、メインルーチンのステップＳ５０へ処理が移行される。
【００７９】
このように、基準画像に含まれる各メッシュに対する検索対象画像とのメッシュ距離値を算出する際に、基準画像のメッシュと対応する検索対象画像のメッシュ周辺のメッシュも考慮することによって、図１２に示すように、基準画像と検索対象画像において特定の対象物の位置がずれている場合でも、そのずれを修正した類似度を得ることができる。
【００８０】
ずれの修正幅は、ステップＳ４１１において、周辺のメッシュをどこまで考慮するかによって決まる。すなわち、基準画像の各メッシュに対するメッシュ距離値を算出する際に、より広い範囲に含まれる検索対象画像のメッシュに対するメッシュ距離値を算出し、その中から最も類似性の高いメッシュ距離値を選択することによって、基準画像と検索対象画像とのずれの修正幅を大きくすることができる。ただし、範囲を広げることによって、類似度を決定するための計算量が増加するため、ずれの修正幅は必要な検索速度に応じて決定することが好適である。
【００８１】
また、本実施の形態では、図１０に示すように、周辺９個のメッシュを選択したが、これに限定されるものではない。例えば、図１３に示すように、参照するメッシュの選択を変更しても同様の効果を得ることができる。図１３（ａ）は、上下左右を含めて５つのメッシュを選択する方法である。図１３（ｂ）は、基準画像と検索対象画像のメッシュをずらして、重畳する４つのメッシュを選択する方法である。
【００８２】
以上のように、第２の画像検索方法によれば、基準画像と検索対象画像とに共通の対象物が含まれており、互いの画像において特定の対象物の位置がずれていた場合においても、その位置のずれを修正した類似度を決定することができる。その結果、ユーザが検索キーとした基準画像と、検索対象画像との共通性を的確に反映した類似度に基づいて、検索対象画像群から類似画像を検索することができる。
【００８３】
＜第３の画像検索方法＞
以下に、本実施の形態における第３の画像検索方法について、図を参照して詳細に説明する。
【００８４】
上記第１及び第２の画像検索方法では、基準画像と検索対象画像とにおいて共通する画像領域に着目して、類似画像の検索を行った。これに対して、第３の画像検索方法は、基準画像と検索対象画像とにおける非類似の領域に着目して、類似画像の検索を行うものである。
【００８５】
第３の画像検索方法は、コンピュータで実行可能な画像検索プログラムとしてコード化することができ、内部記憶部１２に保持される。制御部１０は、ユーザからの実行開始の制御コマンドを受けて、画像検索プログラムを実行する。
【００８６】
図１４に、第３の画像検索方法のフローチャートを示す。図１４において、第１の画像検索方法と同じ処理を行うステップには同一の符号を付し、説明を省略する。
【００８７】
ステップＳ４５では、検索キーとなる基準画像と、ステップＳ３０で選択された検索対象画像との非類似度が算出される。ステップＳ４５はサブルーチン化されており、図１５を参照して説明する。ここで、第１の画像検索方法と同じ処理を行うステップには同一の符号を付し、説明を省略する。
【００８８】
ステップＳ４５３では、両画像の非類似度を決定する。具体的には、ステップＳ４０２のソート結果に基づいて、値が大きい順に所定数のメッシュ距離値を選択し、選択されたメッシュ距離値の合計値を非類似度とする。例えば、図１６のように、最も値が大きいメッシュ距離値から順に５個のメッシュ距離値を非類似度算出対象ブロックとして選択し、その非類似度算出対象ブロック内に含まれるメッシュ距離値の合計値を両画像間の非類似度と決定する。
【００８９】
このように、値が大きいメッシュ距離値を選択して非類似度を決定することは、基準画像と検索対象画像とに含まれる類似性の低いメッシュ（領域）のみを選択して検索を行うことを意味する。
【００９０】
ステップＳ６０では、検索対象となる画像群から、基準画像に類似する画像を抽出する。大容量記憶部１４又は内部記憶部１２に保持された検索対象画像群から、非類似度が小さい順に所定数の画像を基準画像に類似する画像として選択する。
【００９１】
以上のように、本実施の形態における第３の画像検索方法によれば、基準画像と検索対象画像とにおいて、類似性の低い領域のみに基づいて検索を行うことができる。このように非類似性に基づいた画像検索方法は、例えば、印鑑の照会など、フェールセーフを考慮した場合に、画像同士の非類似性が重要である場合に非常に有効な方法である。
【００９２】
＜変形例＞
上記第１、第２及び第３の画像検索方法では、基準画像と検索対象画像をそのまま比較して検索を行ったが、検索対象画像を左右反転、上下反転及び回転させ、それらの画像も類似度又は非類似度の算出に用いることが好適である。
【００９３】
例えば、図１７に示すように、検索対象画像を左右反転、上下反転及び回転させ、それぞれの画像と基準画像との類似度又は非類似を決定し、さらにその中から最も小さい値の類似度又は非類似度を基準画像と検索対象画像との類似度又は非類似として選択し、検索を行っても良い。
【００９４】
【発明の効果】
本発明によれば、ユーザが画像内の領域指定を行うことなく、検索キーとなる基準画像と検索対象となる画像とにおける一部の領域の類似性（非類似性）に基づいて、検索対象画像群から基準画像に類似する画像を検出することができる。
【００９５】
また、基準画像と検索対象となる画像とにおいて、共通する画像領域の位置にずれがある場合でも、基準画像に類似する画像を的確に検索することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像検索装置の構成のブロック図である。
【図２】本発明の第１及び第２の画像検索方法におけるフローチャートを示す図である。
【図３】本発明の画像検索方法におけるステップＳ２０のサブルーチンのフローチャートを示す図である。
【図４】本発明の実施の形態における画像の領域分割の説明図である。
【図５】本発明の第１の画像検索方法におけるステップＳ４０のサブルーチンのフローチャートを示す図である。
【図６】本発明の第１の画像検索方法における基準画像と検索対象画像とのメッシュ距離値の説明図である。
【図７】本発明の第１の画像検索方法におけるメッシュ距離値の算出方法の説明図である。
【図８】本発明の第１の画像検索方法における検索対象画像の領域選択の説明図である。
【図９】本発明の第２の画像検索方法におけるステップＳ４０のサブルーチンのフローチャートを示す図である。
【図１０】本発明の第２の画像検索方法におけるメッシュ距離値の説明図である。
【図１１】本発明の第２の画像検索方法におけるメッシュ距離値の算出方法の説明図である。
【図１２】基準画像と検索対象画像とにおける対象物の位置のずれを示す図である。
【図１３】本発明の第２の画像検索方法における周辺メッシュの取り方の説明図である。
【図１４】本発明の第３の画像検索方法におけるフローチャートを示す図である。
【図１５】本発明の第３の画像検索方法におけるステップＳ４５のサブルーチンのフローチャートを示す図である。
【図１６】本発明の第３の画像検索方法における検索対象画像の領域選択の説明図である。
【図１７】本発明の実施の形態における変形例の画像の左右反転、上下反転及び回転を示す図である。
【図１８】特徴量空間における基準画像の特徴量ベクトルＡ、検索対象画像の特徴量ベクトルＢ及びその距離値Ｄを示す図である。
【符号の説明】
１０ 制御部、１２ 内部記憶部、１４ 大容量記憶部、１６ 出力部、１８標準入力部、２０ 画像入力部、２２ インターフェース部、２４ バス、２６ ネットワーク。
Claims (12)
- 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、
基準画像及び検索対象画像群に含まれる各画像をそれぞれ複数の領域に分割する手段と、
基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、
検索対象画像群に含まれる各画像について領域の一部を選択する手段であって、
検索対象画像群から画像を順次選択し、
基準画像の各領域から抽出された特徴量と、当該選択した画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の当該選択された画像の領域を選択する手段と、
前記検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段と、
を含むことを特徴とする画像検索装置。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、
基準画像を複数の領域に分割する手段と、
検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、
基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、
検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、
検索対象画像群から画像を順次選択し、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択する手段と、
前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段と、
を含むことを特徴とする画像検索装置。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、
基準画像を複数の領域に分割する手段と、
検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、
基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、
検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、
検索対象画像群から画像を順次選択し、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択する手段と、
前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段と、
を含むことを特徴とする画像検索装置。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索装置であって、
基準画像を複数の領域に分割する手段と、
検索対象画像群に含まれる各画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割する手段と、
基準画像及び検索対象画像群に含まれる各画像の各領域から少なくとも１つの特徴量を抽出する手段と、
検索対象画像群に含まれる各画像の領域の一部を選択する手段であって、
検索対象画像群から画像を選択画像として順次選択し、
さらに、基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、
基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択する手段と、
前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出する手段と、
を含むことを特徴とする画像検索装置。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を行うことを特徴とする画像検索方法。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を行うことを特徴とする画像検索方法。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を行うことを特徴とする画像検索方法。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索方法であって、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を選択画像として順次選択し、
当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択画像の領域の一部を選択するステップであって、
基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、
基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップと、を検索対象画像群に含まれる全画像について行い、
前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を行うことを特徴とする画像検索方法。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、
コンピュータに、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、当該選択された画像の各領域から抽出された特徴量と、の類似性に基づいて、所定数の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像について選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を実行させることを特徴とする画像検索プログラム。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、
コンピュータに、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が高い順に所定数の当該選択された画像の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を実行させることを特徴とする画像検索プログラム。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、
コンピュータに、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を順次選択し、
当該選択された画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択された画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択された画像の領域の一部を選択するステップであって、
基準画像の各領域から抽出された特徴量と、基準画像の各領域に対応付けられた当該選択された画像の領域から抽出された特徴量と、の類似性が低い順に所定数の当該選択された画像の領域を選択するステップと、
を検索対象画像群に含まれる全画像について行い、
検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を実行させることを特徴とする画像検索プログラム。 - 検索の対象となる画像を複数含む検索対象画像群の中から、検索キーである基準画像に類似する画像を抽出する画像検索プログラムであって、
コンピュータに、
基準画像を複数の領域に分割するステップと、
基準画像の各領域から少なくとも１つの特徴量を抽出するステップと、
検索対象画像群に含まれる画像を選択画像として順次選択し、
当該選択画像を、基準画像の領域のいずれか１つにそれぞれ対応付けられた複数の領域に分割するステップと、
当該選択画像の各領域から少なくとも１つの特徴量を抽出するステップと、
当該選択画像の領域の一部を選択するステップであって、
基準画像から領域を選択領域として順次選択し、当該選択領域から抽出された特徴量と、当該選択領域に対応付けられた当該選択画像の領域から所定範囲内の領域群から抽出された特徴量と、の類似性を比較し、当該選択領域に対して当該所定範囲内の領域群の中から最も類似性が高い領域を決定し、
基準画像の各領域から抽出された特徴量と、当該基準画像の各領域に対して決定された選択画像の領域から抽出された特徴量と、の類似性が高い順に当該基準画像の各領域に対して決定された選択画像の領域を所定数選択するステップと、を検索対象画像群に含まれる全画像について行い、
前記検索対象画像群に含まれる各画像の選択された一部の領域の特徴量に基づいて、検索対象画像群から基準画像に類似する画像を抽出するステップと、
を含む処理を実行させることを特徴とする画像検索プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002173269A JP2004021430A (ja) | 2002-06-13 | 2002-06-13 | 画像検索装置、画像検索方法及び画像検索プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002173269A JP2004021430A (ja) | 2002-06-13 | 2002-06-13 | 画像検索装置、画像検索方法及び画像検索プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004021430A true JP2004021430A (ja) | 2004-01-22 |
Family
ID=31172602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002173269A Pending JP2004021430A (ja) | 2002-06-13 | 2002-06-13 | 画像検索装置、画像検索方法及び画像検索プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004021430A (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007012024A (ja) * | 2005-06-03 | 2007-01-18 | Canon Inc | 画像検索装置、画像検索方法、プログラム及び記憶媒体 |
| JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| JP2008134791A (ja) * | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
| JP2008269557A (ja) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | 画像検索装置、および画像検索方法 |
| JP2009251667A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 画像検索装置 |
| JP2009277155A (ja) * | 2008-05-16 | 2009-11-26 | Ricoh Co Ltd | 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 |
| JP2010092159A (ja) * | 2008-10-06 | 2010-04-22 | Fuji Xerox Co Ltd | 画像データ判定装置、画像データ判定システム、及びプログラム |
| US7724944B2 (en) | 2004-08-19 | 2010-05-25 | Mitsubishi Electric Corporation | Image retrieval method and image retrieval device |
| CN101751680A (zh) * | 2008-12-16 | 2010-06-23 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| US8099384B2 (en) | 2008-03-14 | 2012-01-17 | Fuji Xerox Co., Ltd. | Operation procedure extrapolating system, operation procedure extrapolating method, computer-readable medium and computer data signal |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| WO2013051619A1 (ja) | 2011-10-03 | 2013-04-11 | 日本電気株式会社 | 類似性検出装置及び指向性近傍検出方法 |
| JP2013254367A (ja) * | 2012-06-07 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置、画像検索方法、及び画像検索プログラム |
-
2002
- 2002-06-13 JP JP2002173269A patent/JP2004021430A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7724944B2 (en) | 2004-08-19 | 2010-05-25 | Mitsubishi Electric Corporation | Image retrieval method and image retrieval device |
| JP2007012024A (ja) * | 2005-06-03 | 2007-01-18 | Canon Inc | 画像検索装置、画像検索方法、プログラム及び記憶媒体 |
| JP2007286767A (ja) * | 2006-04-13 | 2007-11-01 | Canon Inc | 画像検索システム、及び、画像検索サーバ及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 |
| US8203732B2 (en) | 2006-04-13 | 2012-06-19 | Canon Kabushiki Kaisha | Searching for an image utilized in a print request to detect a device which sent the print request |
| JP2008134791A (ja) * | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
| JP2008269557A (ja) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | 画像検索装置、および画像検索方法 |
| US8099384B2 (en) | 2008-03-14 | 2012-01-17 | Fuji Xerox Co., Ltd. | Operation procedure extrapolating system, operation procedure extrapolating method, computer-readable medium and computer data signal |
| US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
| JP4577392B2 (ja) * | 2008-04-01 | 2010-11-10 | トヨタ自動車株式会社 | 画像検索装置 |
| JP2009251667A (ja) * | 2008-04-01 | 2009-10-29 | Toyota Motor Corp | 画像検索装置 |
| JP2009277155A (ja) * | 2008-05-16 | 2009-11-26 | Ricoh Co Ltd | 画像検索装置、画像検索方法、情報処理プログラム及び記録媒体 |
| JP2010092159A (ja) * | 2008-10-06 | 2010-04-22 | Fuji Xerox Co Ltd | 画像データ判定装置、画像データ判定システム、及びプログラム |
| CN101751680A (zh) * | 2008-12-16 | 2010-06-23 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| CN101751680B (zh) * | 2008-12-16 | 2014-03-12 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
| WO2013051619A1 (ja) | 2011-10-03 | 2013-04-11 | 日本電気株式会社 | 類似性検出装置及び指向性近傍検出方法 |
| US9530081B2 (en) | 2011-10-03 | 2016-12-27 | Nec Corporation | Similarity detecting apparatus and directional nearest neighbor detecting method |
| JP2013254367A (ja) * | 2012-06-07 | 2013-12-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像検索装置、画像検索方法、及び画像検索プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747589B2 (ja) | 画像特徴量比較装置および画像特徴量比較プログラムを記録した記録媒体 | |
| JP2776295B2 (ja) | 画像インデックス生成方法及び画像インデックス生成装置 | |
| US7031555B2 (en) | Perceptual similarity image retrieval | |
| US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
| JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
| US20060153447A1 (en) | Characteristic region extraction device, characteristic region extraction method, and characteristic region extraction program | |
| US10249029B2 (en) | Reconstruction of missing regions of images | |
| US8213741B2 (en) | Method to generate thumbnails for digital images | |
| US7519236B2 (en) | Image retrieval | |
| JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| JP3332166B2 (ja) | 動画像の検索装置 | |
| JPH11312248A (ja) | 画像検索装置及び方法 | |
| JP6387026B2 (ja) | 書籍探索装置、方法及びプログラム | |
| JP4867620B2 (ja) | 画像処理装置及び画像処理プログラム | |
| KR101242659B1 (ko) | 영상 검색 방법 | |
| JP2004005303A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
| EP1074953A2 (en) | Image retrieval apparatus and method | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| CN112258561A (zh) | 针对图像拼接的匹配点获取方法 | |
| JP2004023656A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP2005293367A (ja) | 画像処理方法及び装置 | |
| JP2001134765A (ja) | 画像検索方法及び装置 | |
| JP5080297B2 (ja) | 画像表示装置 | |
| JP3199009B2 (ja) | 画像蓄積・管理装置及び画像インデックス生成方法 | |
| JP4205517B2 (ja) | 奥行情報を含んだ画像の分類装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080820 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081118 |