JP2004192156A - 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 - Google Patents
画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 Download PDFInfo
- Publication number
- JP2004192156A JP2004192156A JP2002357143A JP2002357143A JP2004192156A JP 2004192156 A JP2004192156 A JP 2004192156A JP 2002357143 A JP2002357143 A JP 2002357143A JP 2002357143 A JP2002357143 A JP 2002357143A JP 2004192156 A JP2004192156 A JP 2004192156A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- symbol
- program
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法を提供する。
【解決手段】記憶手段に記憶されている複数の第１の画像から、参照画像に類似する第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する第３の画像を画像検索装置の使用者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、をコンピュータに実行させるためのプログラムである。
【選択図】 図１
【解決手段】記憶手段に記憶されている複数の第１の画像から、参照画像に類似する第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する第３の画像を画像検索装置の使用者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、をコンピュータに実行させるためのプログラムである。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を記憶した画像データベースから所望の画像を検索するための画像検索技術に関する。
【０００２】
【従来の技術】
画像を検索する方法には大きく分けて次の２種類の方法が知られている。
【０００３】
第１の方法は、予め画像にその内容を反映したキーワードを付与し、検索時には、ユーザーが入力したキーワードと同等のキーワードが付与された画像を画像データベースより抽出して、提示するものである。
【０００４】
この方法では、各画像ごとに適切なキーワードを付与する作業が大変であるという問題がある。またユーザーとキーワードを付与した人が別人である場合には、概念的には同じであっても参照キーワードが画像データベースで使用されているキーワードとは一致しない場合もあり、検索洩れを生じるという問題もある。
【０００５】
第２の方法は、画像の持つ色や形状、テクスチャーなど、画像の物理的特徴を定量化した属性値を利用して検索するものであり、参照画像と各属性値を比較して類似性の高い画像を画像データベースより抽出して検索結果として提示する。
【０００６】
この方法では、所定のアルゴリズムに基づいて抽出される属性値と、人間が同等と感じる画像の属性値が必ずしも同じにはならないため、検索された画像と参照画像との類似度が人間の感覚的には低い場合も多く、検索精度が低いという問題も指摘されていた。
【０００７】
以上の問題を回避するための技術として、データベース中の同一のキーワードを付与された画像の集合について、特徴量ベクトルと重要度を求めて、キーワードを属性値に変換し、その属性値を基に画像検索を行う方法が提案されている（例えば、特許文献１参照）。
【０００８】
また他の技術としては、画像に付与したキーワードで検索を実行し、検索結果の画像の属性値を用いて類似検索を実行する方法が提案されている（例えば、特許文献２参照）
【０００９】
【特許文献１】
特開２００２−１４０３７２号公報
【００１０】
【特許文献２】
特開平１０−２８９２０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら特許文献１に記載の方法では、従来通り画像にキーワードを付与する必要があるため、キーワード付与作業に多くの労力を要することになる。また同一のキーワードが付与された画像の特徴量ベクトルの分布が特徴空間上で十分に局在化するとの保証は得られていないため、類似画像を精度良く検索できるとは限らない。
【００１２】
また、特許文献２に記載の方法でもキーワードを用いているため、画像にキーワードを付与することは大きな負担となる。更に、同一キーワードを持つ画像であっても画像の属性値が大きく異なる場合があるため、属性値に基づいて類似画像を検索しても検索精度の低下を解決できるとは限らない。
【００１３】
本発明は、かかる事情に鑑みてなされたものであって、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解消するための本発明に係る第１の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、をコンピュータに実行させる。
【００１５】
また本発明に係る他の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、をコンピュータに実行させる。
【００１６】
また本発明に係る他の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像のインデックス画像を表示する選択画像表示ステップ、表示されたインデックス画像に基づいて、一次選択画像から参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、をコンピュータに実行させる。
【００１７】
また本発明に係る他の局面の画像検索プログラムは、上記記載のプログラムにおいて画像検索ステップは、第１の画像の属性値と参照画像の属性値とに基づいて類否を判断する第１の判断ステップを有する。
【００１８】
また本発明に係る他の局面の画像検索プログラムは、上記記載のプログラムにおいて参照画像は、第１の画像から選択されたもの又は要求者によって入力されたものである。
【００１９】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、を実現させる。
【００２０】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、を実現させる。
【００２１】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像のインデックス画像を表示する選択画像表示ステップ、表示されたインデックス画像に基づいて、一次選択画像から参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、を実現させる。
【００２２】
また本発明に係る他の局面の画像検索装置は、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索手段と、検索された第２の画像を縮小したインデックス画像を表示する画像表示手段と、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択手段と、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与手段とを備える。
【００２３】
また本発明に係る他の局面の画像検索方法は、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップと、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップと、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップと、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップとを備える。
【００２４】
【発明の実施の形態】
図１は、本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図である。以下、検索対象となる画像を「原画像」という。
【００２５】
画像検索装置１は、画像データを取り扱う画像処理部４、画像の属性データを取り扱う属性処理部５、画像がそのカテゴリに属するかどうかを表わす記号を取り扱う記号処理部６、原画像の記憶領域である画像ＤＢ８、及びその他のデータ記憶領域であるバッファメモリ９で構成されている。
【００２６】
画像処理部４には、画像入力部１１、インデックス画像作成部１２、画像表示部１３及び画像選択部１４が設けられている。
【００２７】
画像入力部１１は、画像入力装置（不図示）から原画像を画像検索装置１に取り込む。インデックス画像作成部１２は、画像ＤＢ８に記憶されている原画像の縮小画像であるインデックス画像を作成する。画像表示部１３は、インデックス画像や原画像を表示装置（不図示）に表示する。画像選択部１４は、ユーザの画像選択操作を支援する。
【００２８】
属性処理部５には、属性処理部１８、属性分析部１９、及び類似度計算部２０が設けられている。
【００２９】
属性処理部１８は、原画像の属性値を求める。属性分析部１９は、属性処理部１８に従属して、種々の属性値を原画像から抽出する。類似度計算部２０は、画像同士の類否を判断するための指数を属性値に基づいて計算する。
【００３０】
記号処理部６には、記号付与部２３、記号加算部２４、及び記号検索部２５が設けられている。
【００３１】
記号付与部２３は、画像表示部１３に表示されたインデックス画像をもとに、参照画像と類似であるとして画像選択部で選択された原画像すべてに同じ記号を付与する。原画像が参照画像に類似する場合には、その参照画像について、各原画像に付与されたカテゴリ領域の特定の桁に例えば「１」を付与する。尚、原画像がその参照画像に類似しない場合には、上記カテゴリ領域の同一の桁に例えば「０」を付与する。記号加算部２４は、複数の原画像について記号の加算演算を行う。記号検索部２５は、所定の記号が「１」となっている原画像を検索する。
【００３２】
画像ＤＢ８には、原画像領域２８、インデックス画像領域２９、及びインデックスデータ領域３０が設けられている。
【００３３】
原画像領域２８には、検索対象となる原画像が格納されている。インデックス画像領域２９には原画像を縮小したインデックス画像が格納されている。インデックスデータ領域３０には、原画像、インデックス画像にアクセスするためのアドレス、原画像の属性値等の情報が格納されている。
【００３４】
バッファメモリ９には、画像検索時に基準となる画像である参照画像を格納する参照画像メモリ３３、及び検索の中間段階において選択された原画像の格納アドレス等を格納する候補インデックスメモリ３４が備えられている。
【００３５】
次に、本画像検索装置１の動作について説明する。
【００３６】
ユーザは準備段階での作業として、画像検索装置１に対して原画像の登録を行う。
図２は、原画像を登録する場合の画像検索装置の各機能の関連を示す図であり、図３は、原画像を登録する場合の概略の処理手順を示すフロー図である。
【００３７】
ステップＳ１で、画像入力部１１は画像入力装置（不図示）から原画像を読込む。そして、画像入力部１１は読込んだ原画像を画像ＤＢ８の原画像領域２８に格納するとともに、属性処理部１８を起動する。
【００３８】
ステップＳ２で、属性処理部１８は制御変数Ｐを初期値１に設定して、Ｐ番目の属性分析部１９を起動する。
【００３９】
ステップＳ３で、Ｐ番目の属性分析部１９は、読込んだ原画像についてＰ番目の属性値を求める。ここで、原画像の属性値とは、原画像に表わされた色、形状、テクスチャー等を数値化した値である。従って、ここでいう属性値は色彩、形状などの物理的構成要素に関して定量化して表わされる量であって、人間の主観による感覚的要素に基づく値ではない。
【００４０】
ステップＳ４で、属性処理部１８はＰ番目の属性分析部１９が求めた属性値Ｐを、インデックスデータ領域３０に保存されているインデックスデータ３７の属性値エリアに格納する。
【００４１】
図４は、インデックスデータ３７の構成を示す図である。
インデックスデータ３７には、原画像を特定する画像ＩＤ３７ａ、原画像が格納されている原画像領域２８内のアドレスを示す原画像アドレス３７ｂ、原画像の縮小画像であるインデックス画像が格納されているインデックス画像領域２９内のアドレスを示すインデックス画像領域アドレス３７ｃ、原画像の属性値を複数格納するための属性値エリア３７ｄ、及び原画像に付与されたカテゴリに対応する記号と全記号数を格納するための記号エリア３７ｅが設けられている。
【００４２】
本明細書で使用する「カテゴリ」とは、要求者が視覚的に同一であると判断した画像であることを識別するための記号のことであり、後述する参照画像毎に定められる。原画像がＪ番目のカテゴリに属するとは、要求者が提示したＪ番目の参照画像と視覚的に類似していることを意味し、記号エリア３７ｅの「記号Ｊ」が１となっている。
【００４３】
ステップＳ５で、所定数Ｎの全属性値を求めたかどうかを調べる。ステップＳ５でＮｏの場合、即ち、まだ所定数Ｎの属性値を求めていない場合は、ステップＳ６で制御変数Ｐをカウントアップして、ステップＳ３〜Ｓ４の処理を繰り返す。
【００４４】
ステップＳ５でＹｅｓの場合、即ち、所定数Ｎの属性値が求められている場合は、ステップＳ７で、インデックス画像作成部１２が原画像に基づいて原画像の縮小画像であるインデックス画像を作成し、インデックス画像領域２９に格納するとともにインデックスデータ３７のインデックス画像アドレス３７ｃを更新する。
【００４５】
ステップＳ８で、全ての原画像の登録が完了したかどうかを調べる。ステップＳ８でＮｏの場合、即ち、まだ登録するべき画像が残っている場合は、ステップＳ１〜ステップＳ７の処理を繰り返す。
【００４６】
ステップＳ８でＹｅｓの場合、即ち、全ての画像の登録が完了した場合は、画像の登録処理を終了する。なお、原画像の登録は一度に行う必要はなく、必要に応じて繰り返される。
【００４７】
続いてユーザは、画像検索装置１に登録した原画像毎に記号を付与する。ここで本発明において使用される「記号」は、従来のキーワードに類似した概念であるが、キーワードよりも更に広い上位の概念である。即ち、キーワードが「言葉」に基づいて画像の特徴を表わすのに対して、「記号」は言葉によって概念化して限定するものではなく、画像の視覚的な同一性によってグループ化するためのものであり、同一と判断された画像は同じカテゴリに属すると表現され、記号エリア３７ｅの同一の桁に１が格納される。記号エリア３７ｅの記号数を除く各桁がそれぞれのカテゴリを表わす。
【００４８】
図５は、原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図であり、図６は、原画像に記号を付与する場合の概略の処理手順を示すフロー図である。
【００４９】
ステップＳ１１で、ユーザは原画像に記号を付与する際の基準となる参照画像を用意する。ここで、参照画像は従来のキーワードに替わるものであり、以下の処理では参照画像に類似するか否かの記号を原画像に付与する。
【００５０】
ステップＳ１２で、画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。
【００５１】
ステップＳ１３で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００５２】
ステップＳ１４で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。類似の判断は、参照画像と原画像の複数の属性値１〜Ｍを比較することで行う。例えば、属性値１〜Ｍをパラメータとする関数を設定し、参照画像の関数値と原画像の関数値が近似していれば、その原画像は参照画像に類似しているものと判断することができる。
【００５３】
ステップＳ１５で、画像表示部１３は類似度の高い順に特定された原画像のインデックス画像をインデックス画像領域２９から取り出して、所定数だけ表示装置（不図示）に表示する。そして、ユーザに対して選択するように促す指示を出力する。
【００５４】
ステップＳ１６で、ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した原画像を複数枚（１枚又は０枚も可）選択する。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００５５】
ステップＳ１７で、記号付与部２３は選択された原画像に対するインデックスデータ３７の記号エリア３７ｅに記号を付与する。
【００５６】
図７は、記号エリア３７ｅの構成を示す図である。記号付与部２３は選択された原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「１」を記載する。また、記号付与部２３は選択されていない原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「０」を記載する。
【００５７】
ステップＳ１８では、１種類の参照画像について複数の記号付けが可能な場合に、記号付与が完了したか否かの判定を行う。
【００５８】
１種類の参照画像であっても、画像に複数の被写体が写っている場合には、それぞれの被写体ごとに別の記号を付与することができる。また、着眼点を変えることによって単一の被写体しか写っていなくても複数の記号を付与することができる。例えば、色と形は別物として記号を付与することができる。そして、ステップＳ１８でＮｏの場合、ステップＳ１６〜Ｓ１７の処理を繰り返す。
【００５９】
ステップＳ１８でＹｅｓの場合、ステップＳ１９で、記号付与作業を終了するかどうかを調べる。例えば、全ての参照画像についての記号付与処理が終了したかどうかを調べる。
【００６０】
そして、ステップＳ１９でＮｏの場合、即ち未処理の参照画像が残っている場合は、ステップＳ１３〜Ｓ１７の処理を繰り返す。ステップ１９でＹｅｓの場合、即ち全ての参照画像についての記号付与処理が終了した場合は、本記号付与処理を終了する。
【００６１】
尚、本実施の形態では、記号は「１」、「０」を用いているが、本発明はこの形態に限定されるものではない。記号は、英字、特殊記号でもよく、特に意味のあるものである必要はない。また、記号１〜Ｍがどのような参照画像であるかということは不必要な情報である。この点がキーワード自体に特定の意味内容を必要とするキーワード方式と本質的に異なる点である。
【００６２】
また、本実施の形態では、属性値に基き定量的に類否を判断するだけでなく、それに加えてユーザが主観的に判断した参照画像との類似結果を記号として取り込んでいる点に特徴がある。一般に画像の類否は主観的な要素が大きく入り込むものであると考えられる。そうすると、数値化されたデータに基づく機械的な判断に留まらずユーザの判断を加味するように構成することで本画像検索装置１を使用するユーザの主観に近い結果を提供することが可能となる。
【００６３】
更に、本実施の形態では参照画像が読込まれて記号付与処理がされる度に図７に示す「記号数」に記載されている数字は１インクリメントされ、記号を付与するためのデータ領域即ちカテゴリは増加する。このことは、画像を特徴付ける記号情報は参照画像の読込みに従って成長していくように構成されていることを意味している。従って、使用回数が増加するほど検索精度が良くなるという効果が期待できる。
【００６４】
一方、本実施の形態は、キーワードを使用しないことに特徴があるが、ステップＳ１１からＳ１７は、従来のキーワード検索でのキーワード付与に応用することができる。ステップＳ１１からＳ１６で選択した画像に同一のキーワードを付与することにより、各画像ごとにそれぞれキーワードを付与するよりも簡単にキーワード付与ができる。
【００６５】
次に本発明に係る第１の実施の形態の画像検索方法について説明する。
【００６６】
図８は、第１の実施の形態の画像検索方法の各機能の関連を示す図であり、図９は、第１の実施の形態の画像検索方法の概略の処理手順を示すフロー図である。
【００６７】
ステップＳ２１で、ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【００６８】
ステップＳ２２で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００６９】
ステップＳ２３で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。
【００７０】
類似の判定は、参照画像と原画像それぞれの複数の属性値１〜Ｎの関数として求められる類似度の大小により行われる。例えば、参照画像の属性値１〜Ｎをまとめて、参照画像の属性値ベクトルＶ、同様にｈ番目の原画像の属性ベクトルをＵｈとし、類似度Ｄｈを式（１）を用いて算出する。
【００７１】
Ｄｈ＝（Ｕｈ−Ｖ）・（Ｕｈ−Ｖ） …式（１）
式（１）のＤｈはｈ番目の原画像の属性ベクトルと参照画像の属性ベクトル間のユークリッド距離の２乗を表し、類似性の指標となる。すなわち、距離が近いほど類似度が大きくなる。
【００７２】
また、各特徴量に重み付けをして距離を算出し、これを属性値とすることで、各属性値の特性の違い（例えば色と形状）を補正してより妥当な類似性の指標とすることができる。
【００７３】
この場合、各特徴量に重みを表す重みベクトルをＷとして、類似度Ｄｈを式（２）で表わす。
Ｄｈ＝（Ｗ＊Ｕｈ−Ｗ＊Ｖ）・（Ｗ＊Ｕｈ−Ｗ＊Ｖ） …式（２）
重みとしては多数のサンプル画像から求めた各属性値サンプルの分散の逆数などを使用する。
【００７４】
なお、“・”は式（３）に示す、ベクトルの内積を表わす。
【００７５】
Ｗ・Ｖ＝Ｗ１×Ｖ１＋Ｗ２×Ｖ２＋ … ＋ＷＮ×ＶＮ …式（３）
“＊”は式（４）に示す、２つのベクトルの要素ごとに掛け算した値を要素とするベクトルの演算子である。
【００７６】
Ｗ＊Ｖ＝（Ｗ１×Ｖ１，Ｗ２×Ｖ２，…，ＷＮ×ＶＮ） …式（４）
そして、類似度計算部２０は、特定した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【００７７】
ステップＳ２４で、記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。
【００７８】
図１０は、加算方法を説明する図である。
【００７９】
図１０は、上位Ｋ個の原画像（Ｉｍａｇｅ１〜Ｋ）に対応した記号エリア３７ｅの記号１〜Ｍを示している。記号加算部２４は、記号１〜Ｍ毎にデータを加算する。即ち、記号１〜Ｍ毎にその記号が表わすカテゴリに類似している原画像の個数を求める。図１０の下段には、加算した結果を示している。
【００８０】
ステップＳ２５で、記号加算部２４は、加算した結果数値の大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号３と記号４と記号Ｍが選定される。
【００８１】
このことが意味することは、参照画像に「良く」類似しているものとされる原画像は、記号３と記号４と記号Ｍで表わされる特徴を備えたものが多いということである。即ち、記号３と記号４と記号Ｍで表わされる特徴を備えた原画像は、参照画像に類似している可能性が高いと推定できる。
【００８２】
ステップＳ２６で、記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する。尚、このように記号に基づいて画像を選択する方式を記号検索方式と呼ぶ。
【００８３】
ステップＳ２７で、画像表示部１３は、一次選択画像と記号検索方式によって抽出した画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００８４】
第１の実施の形態の検索方法によれば、属性値に基く検索と記号検索を複合して類似画像を検索するため、検索精度を高めることができる。即ち、属性値に基く検索は色彩、形状などの物理的構成要素に基づいて類似を判断するものであるため、それのみの基準で選定された類似画像は、人間が類似していると感じるものであるとは限らない。そこで、人間の主観による感覚的要素を取り入れて類似を判断する記号検索方式を併せて適用することによって類似画像検索の洩れを減少させて、検索精度を高めることができる。
【００８５】
次に本発明に係る第２の実施の形態の画像検索方法について説明する。
【００８６】
図１１は、第２の実施の形態の画像検索方法の各機能の関連を示す図であり、図１２は、第２の実施の形態の画像検索方法の概略の処理手順を示すフロー図である。
【００８７】
ステップＳ３１で、ユーザは検索したい原画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【００８８】
ステップＳ３２で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００８９】
ステップＳ３３で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。類似の判断は、前記第１の実施の形態と同様の方法で行う。
【００９０】
そして、類似度計算部２０は、特定した複数の一次選択画像のインデックスデータ３７を類似度の高い順にソートし、候補インデックスメモリ３４に格納する。
【００９１】
ステップＳ３４で、画像表示部１３は、一次選択画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００９２】
ステップＳ３５で、ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した画像を複数枚（１枚又は０枚も可）選択する。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００９３】
ステップＳ３６で、記号加算部２４は、ユーザが選択した原画像を対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号のデータを加算する。尚、加算方法は第１の実施の形態の検索方法で述べた方法と同様のため詳細の説明は省略する。
【００９４】
ステップＳ３７で、記号加算部２４は、加算した結果数字の大きい上位Ｔ番目までの記号を選定する。
【００９５】
ステップＳ３８で、記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。
【００９６】
ステップＳ３９で、画像表示部１３は、一次選択画像と記号検索によって抽出した原画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００９７】
第２の実施の形態の検索方法によれば、一次選択画像から人間の主観に基づいて類似画像を選択し、その選択された画像に基づいて記号検索方式を適用しているため、記号検索による類似画像検索の精度を更に高めることができる。
【００９８】
以上説明したように本実施の形態によれば、従来のキーワードを付与する作業に比べ、「記号」なる概念を導入して構成しているため付与作業労力を大幅に軽減することができる。また、付与する記号はキーワードである必要がないので、検索時にキーワードを選定する煩わしさもない。また、従来の類似画像検索方法に加えて記号検索を複合して使用するため、類似画像の検索精度が向上する。
【００９９】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【０１００】
更に、各機能は図示しない記憶媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１０１】
尚、上記実施形態には種々の段階の発明が含まれているため、開示される複数の構成要件における適宜な組み合わせにより種々の発明を抽出することができる。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１０２】
【発明の効果】
本発明によれば、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い画像検索を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図。
【図２】原画像を登録する場合の画像検索装置の各機能の関連を示す図。
【図３】原画像を登録する場合の概略の処理手順を示すフロー図。
【図４】インデックスデータの構成を示す図。
【図５】原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図。
【図６】原画像に記号を付与する場合の概略の処理手順を示すフロー図。
【図７】記号エリアの構成を示す図。
【図８】第１の実施の形態の画像検索方法の各機能の関連を示す図。
【図９】第１の実施の形態の画像検索方法の概略の処理手順を示すフロー図。
【図１０】加算方法を説明する図。
【図１１】第２の実施の形態の画像検索方法の各機能の関連を示す図。
【図１２】第２の実施の形態の画像検索方法の概略の処理手順を示すフロー図。
【符号の説明】
１…画像検索装置
４…画像処理部
６…記号処理部
８…画像ＤＢ
９…バッファメモリ
１１…画像入力部
１２…インデックス画像作成部
１３…画像表示部
１４…画像選択部
１８…属性処理部
１９…属性分析部
２０…類似度計算部
２３…記号付与部
２４…記号加算部
２５…記号検索部
２８…原画像領域
２９…インデックス画像領域
３０…インデックスデータ領域
３３…参照画像メモリ
３４…候補インデックスメモリ
３７ｄ…属性値エリア
３７ｅ…記号エリア
【発明の属する技術分野】
本発明は、画像を記憶した画像データベースから所望の画像を検索するための画像検索技術に関する。
【０００２】
【従来の技術】
画像を検索する方法には大きく分けて次の２種類の方法が知られている。
【０００３】
第１の方法は、予め画像にその内容を反映したキーワードを付与し、検索時には、ユーザーが入力したキーワードと同等のキーワードが付与された画像を画像データベースより抽出して、提示するものである。
【０００４】
この方法では、各画像ごとに適切なキーワードを付与する作業が大変であるという問題がある。またユーザーとキーワードを付与した人が別人である場合には、概念的には同じであっても参照キーワードが画像データベースで使用されているキーワードとは一致しない場合もあり、検索洩れを生じるという問題もある。
【０００５】
第２の方法は、画像の持つ色や形状、テクスチャーなど、画像の物理的特徴を定量化した属性値を利用して検索するものであり、参照画像と各属性値を比較して類似性の高い画像を画像データベースより抽出して検索結果として提示する。
【０００６】
この方法では、所定のアルゴリズムに基づいて抽出される属性値と、人間が同等と感じる画像の属性値が必ずしも同じにはならないため、検索された画像と参照画像との類似度が人間の感覚的には低い場合も多く、検索精度が低いという問題も指摘されていた。
【０００７】
以上の問題を回避するための技術として、データベース中の同一のキーワードを付与された画像の集合について、特徴量ベクトルと重要度を求めて、キーワードを属性値に変換し、その属性値を基に画像検索を行う方法が提案されている（例えば、特許文献１参照）。
【０００８】
また他の技術としては、画像に付与したキーワードで検索を実行し、検索結果の画像の属性値を用いて類似検索を実行する方法が提案されている（例えば、特許文献２参照）
【０００９】
【特許文献１】
特開２００２−１４０３７２号公報
【００１０】
【特許文献２】
特開平１０−２８９２０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら特許文献１に記載の方法では、従来通り画像にキーワードを付与する必要があるため、キーワード付与作業に多くの労力を要することになる。また同一のキーワードが付与された画像の特徴量ベクトルの分布が特徴空間上で十分に局在化するとの保証は得られていないため、類似画像を精度良く検索できるとは限らない。
【００１２】
また、特許文献２に記載の方法でもキーワードを用いているため、画像にキーワードを付与することは大きな負担となる。更に、同一キーワードを持つ画像であっても画像の属性値が大きく異なる場合があるため、属性値に基づいて類似画像を検索しても検索精度の低下を解決できるとは限らない。
【００１３】
本発明は、かかる事情に鑑みてなされたものであって、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解消するための本発明に係る第１の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、をコンピュータに実行させる。
【００１５】
また本発明に係る他の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、をコンピュータに実行させる。
【００１６】
また本発明に係る他の局面の画像検索プログラムは、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像のインデックス画像を表示する選択画像表示ステップ、表示されたインデックス画像に基づいて、一次選択画像から参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、をコンピュータに実行させる。
【００１７】
また本発明に係る他の局面の画像検索プログラムは、上記記載のプログラムにおいて画像検索ステップは、第１の画像の属性値と参照画像の属性値とに基づいて類否を判断する第１の判断ステップを有する。
【００１８】
また本発明に係る他の局面の画像検索プログラムは、上記記載のプログラムにおいて参照画像は、第１の画像から選択されたもの又は要求者によって入力されたものである。
【００１９】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、を実現させる。
【００２０】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を第１の画像から検索する記号付与画像検索ステップ、を実現させる。
【００２１】
また本発明に係る他の局面の画像検索プログラムを記憶した記憶媒体は、コンピュータに対して、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、検索された一次選択画像のインデックス画像を表示する選択画像表示ステップ、表示されたインデックス画像に基づいて、一次選択画像から参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、積算結果に基づき、画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、を実現させる。
【００２２】
また本発明に係る他の局面の画像検索装置は、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索手段と、検索された第２の画像を縮小したインデックス画像を表示する画像表示手段と、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択手段と、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与手段とを備える。
【００２３】
また本発明に係る他の局面の画像検索方法は、記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップと、検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップと、表示されたインデックス画像に基づいて、参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップと、選択された第３の画像毎に、参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップとを備える。
【００２４】
【発明の実施の形態】
図１は、本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図である。以下、検索対象となる画像を「原画像」という。
【００２５】
画像検索装置１は、画像データを取り扱う画像処理部４、画像の属性データを取り扱う属性処理部５、画像がそのカテゴリに属するかどうかを表わす記号を取り扱う記号処理部６、原画像の記憶領域である画像ＤＢ８、及びその他のデータ記憶領域であるバッファメモリ９で構成されている。
【００２６】
画像処理部４には、画像入力部１１、インデックス画像作成部１２、画像表示部１３及び画像選択部１４が設けられている。
【００２７】
画像入力部１１は、画像入力装置（不図示）から原画像を画像検索装置１に取り込む。インデックス画像作成部１２は、画像ＤＢ８に記憶されている原画像の縮小画像であるインデックス画像を作成する。画像表示部１３は、インデックス画像や原画像を表示装置（不図示）に表示する。画像選択部１４は、ユーザの画像選択操作を支援する。
【００２８】
属性処理部５には、属性処理部１８、属性分析部１９、及び類似度計算部２０が設けられている。
【００２９】
属性処理部１８は、原画像の属性値を求める。属性分析部１９は、属性処理部１８に従属して、種々の属性値を原画像から抽出する。類似度計算部２０は、画像同士の類否を判断するための指数を属性値に基づいて計算する。
【００３０】
記号処理部６には、記号付与部２３、記号加算部２４、及び記号検索部２５が設けられている。
【００３１】
記号付与部２３は、画像表示部１３に表示されたインデックス画像をもとに、参照画像と類似であるとして画像選択部で選択された原画像すべてに同じ記号を付与する。原画像が参照画像に類似する場合には、その参照画像について、各原画像に付与されたカテゴリ領域の特定の桁に例えば「１」を付与する。尚、原画像がその参照画像に類似しない場合には、上記カテゴリ領域の同一の桁に例えば「０」を付与する。記号加算部２４は、複数の原画像について記号の加算演算を行う。記号検索部２５は、所定の記号が「１」となっている原画像を検索する。
【００３２】
画像ＤＢ８には、原画像領域２８、インデックス画像領域２９、及びインデックスデータ領域３０が設けられている。
【００３３】
原画像領域２８には、検索対象となる原画像が格納されている。インデックス画像領域２９には原画像を縮小したインデックス画像が格納されている。インデックスデータ領域３０には、原画像、インデックス画像にアクセスするためのアドレス、原画像の属性値等の情報が格納されている。
【００３４】
バッファメモリ９には、画像検索時に基準となる画像である参照画像を格納する参照画像メモリ３３、及び検索の中間段階において選択された原画像の格納アドレス等を格納する候補インデックスメモリ３４が備えられている。
【００３５】
次に、本画像検索装置１の動作について説明する。
【００３６】
ユーザは準備段階での作業として、画像検索装置１に対して原画像の登録を行う。
図２は、原画像を登録する場合の画像検索装置の各機能の関連を示す図であり、図３は、原画像を登録する場合の概略の処理手順を示すフロー図である。
【００３７】
ステップＳ１で、画像入力部１１は画像入力装置（不図示）から原画像を読込む。そして、画像入力部１１は読込んだ原画像を画像ＤＢ８の原画像領域２８に格納するとともに、属性処理部１８を起動する。
【００３８】
ステップＳ２で、属性処理部１８は制御変数Ｐを初期値１に設定して、Ｐ番目の属性分析部１９を起動する。
【００３９】
ステップＳ３で、Ｐ番目の属性分析部１９は、読込んだ原画像についてＰ番目の属性値を求める。ここで、原画像の属性値とは、原画像に表わされた色、形状、テクスチャー等を数値化した値である。従って、ここでいう属性値は色彩、形状などの物理的構成要素に関して定量化して表わされる量であって、人間の主観による感覚的要素に基づく値ではない。
【００４０】
ステップＳ４で、属性処理部１８はＰ番目の属性分析部１９が求めた属性値Ｐを、インデックスデータ領域３０に保存されているインデックスデータ３７の属性値エリアに格納する。
【００４１】
図４は、インデックスデータ３７の構成を示す図である。
インデックスデータ３７には、原画像を特定する画像ＩＤ３７ａ、原画像が格納されている原画像領域２８内のアドレスを示す原画像アドレス３７ｂ、原画像の縮小画像であるインデックス画像が格納されているインデックス画像領域２９内のアドレスを示すインデックス画像領域アドレス３７ｃ、原画像の属性値を複数格納するための属性値エリア３７ｄ、及び原画像に付与されたカテゴリに対応する記号と全記号数を格納するための記号エリア３７ｅが設けられている。
【００４２】
本明細書で使用する「カテゴリ」とは、要求者が視覚的に同一であると判断した画像であることを識別するための記号のことであり、後述する参照画像毎に定められる。原画像がＪ番目のカテゴリに属するとは、要求者が提示したＪ番目の参照画像と視覚的に類似していることを意味し、記号エリア３７ｅの「記号Ｊ」が１となっている。
【００４３】
ステップＳ５で、所定数Ｎの全属性値を求めたかどうかを調べる。ステップＳ５でＮｏの場合、即ち、まだ所定数Ｎの属性値を求めていない場合は、ステップＳ６で制御変数Ｐをカウントアップして、ステップＳ３〜Ｓ４の処理を繰り返す。
【００４４】
ステップＳ５でＹｅｓの場合、即ち、所定数Ｎの属性値が求められている場合は、ステップＳ７で、インデックス画像作成部１２が原画像に基づいて原画像の縮小画像であるインデックス画像を作成し、インデックス画像領域２９に格納するとともにインデックスデータ３７のインデックス画像アドレス３７ｃを更新する。
【００４５】
ステップＳ８で、全ての原画像の登録が完了したかどうかを調べる。ステップＳ８でＮｏの場合、即ち、まだ登録するべき画像が残っている場合は、ステップＳ１〜ステップＳ７の処理を繰り返す。
【００４６】
ステップＳ８でＹｅｓの場合、即ち、全ての画像の登録が完了した場合は、画像の登録処理を終了する。なお、原画像の登録は一度に行う必要はなく、必要に応じて繰り返される。
【００４７】
続いてユーザは、画像検索装置１に登録した原画像毎に記号を付与する。ここで本発明において使用される「記号」は、従来のキーワードに類似した概念であるが、キーワードよりも更に広い上位の概念である。即ち、キーワードが「言葉」に基づいて画像の特徴を表わすのに対して、「記号」は言葉によって概念化して限定するものではなく、画像の視覚的な同一性によってグループ化するためのものであり、同一と判断された画像は同じカテゴリに属すると表現され、記号エリア３７ｅの同一の桁に１が格納される。記号エリア３７ｅの記号数を除く各桁がそれぞれのカテゴリを表わす。
【００４８】
図５は、原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図であり、図６は、原画像に記号を付与する場合の概略の処理手順を示すフロー図である。
【００４９】
ステップＳ１１で、ユーザは原画像に記号を付与する際の基準となる参照画像を用意する。ここで、参照画像は従来のキーワードに替わるものであり、以下の処理では参照画像に類似するか否かの記号を原画像に付与する。
【００５０】
ステップＳ１２で、画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。
【００５１】
ステップＳ１３で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００５２】
ステップＳ１４で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。類似の判断は、参照画像と原画像の複数の属性値１〜Ｍを比較することで行う。例えば、属性値１〜Ｍをパラメータとする関数を設定し、参照画像の関数値と原画像の関数値が近似していれば、その原画像は参照画像に類似しているものと判断することができる。
【００５３】
ステップＳ１５で、画像表示部１３は類似度の高い順に特定された原画像のインデックス画像をインデックス画像領域２９から取り出して、所定数だけ表示装置（不図示）に表示する。そして、ユーザに対して選択するように促す指示を出力する。
【００５４】
ステップＳ１６で、ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した原画像を複数枚（１枚又は０枚も可）選択する。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００５５】
ステップＳ１７で、記号付与部２３は選択された原画像に対するインデックスデータ３７の記号エリア３７ｅに記号を付与する。
【００５６】
図７は、記号エリア３７ｅの構成を示す図である。記号付与部２３は選択された原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「１」を記載する。また、記号付与部２３は選択されていない原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「０」を記載する。
【００５７】
ステップＳ１８では、１種類の参照画像について複数の記号付けが可能な場合に、記号付与が完了したか否かの判定を行う。
【００５８】
１種類の参照画像であっても、画像に複数の被写体が写っている場合には、それぞれの被写体ごとに別の記号を付与することができる。また、着眼点を変えることによって単一の被写体しか写っていなくても複数の記号を付与することができる。例えば、色と形は別物として記号を付与することができる。そして、ステップＳ１８でＮｏの場合、ステップＳ１６〜Ｓ１７の処理を繰り返す。
【００５９】
ステップＳ１８でＹｅｓの場合、ステップＳ１９で、記号付与作業を終了するかどうかを調べる。例えば、全ての参照画像についての記号付与処理が終了したかどうかを調べる。
【００６０】
そして、ステップＳ１９でＮｏの場合、即ち未処理の参照画像が残っている場合は、ステップＳ１３〜Ｓ１７の処理を繰り返す。ステップ１９でＹｅｓの場合、即ち全ての参照画像についての記号付与処理が終了した場合は、本記号付与処理を終了する。
【００６１】
尚、本実施の形態では、記号は「１」、「０」を用いているが、本発明はこの形態に限定されるものではない。記号は、英字、特殊記号でもよく、特に意味のあるものである必要はない。また、記号１〜Ｍがどのような参照画像であるかということは不必要な情報である。この点がキーワード自体に特定の意味内容を必要とするキーワード方式と本質的に異なる点である。
【００６２】
また、本実施の形態では、属性値に基き定量的に類否を判断するだけでなく、それに加えてユーザが主観的に判断した参照画像との類似結果を記号として取り込んでいる点に特徴がある。一般に画像の類否は主観的な要素が大きく入り込むものであると考えられる。そうすると、数値化されたデータに基づく機械的な判断に留まらずユーザの判断を加味するように構成することで本画像検索装置１を使用するユーザの主観に近い結果を提供することが可能となる。
【００６３】
更に、本実施の形態では参照画像が読込まれて記号付与処理がされる度に図７に示す「記号数」に記載されている数字は１インクリメントされ、記号を付与するためのデータ領域即ちカテゴリは増加する。このことは、画像を特徴付ける記号情報は参照画像の読込みに従って成長していくように構成されていることを意味している。従って、使用回数が増加するほど検索精度が良くなるという効果が期待できる。
【００６４】
一方、本実施の形態は、キーワードを使用しないことに特徴があるが、ステップＳ１１からＳ１７は、従来のキーワード検索でのキーワード付与に応用することができる。ステップＳ１１からＳ１６で選択した画像に同一のキーワードを付与することにより、各画像ごとにそれぞれキーワードを付与するよりも簡単にキーワード付与ができる。
【００６５】
次に本発明に係る第１の実施の形態の画像検索方法について説明する。
【００６６】
図８は、第１の実施の形態の画像検索方法の各機能の関連を示す図であり、図９は、第１の実施の形態の画像検索方法の概略の処理手順を示すフロー図である。
【００６７】
ステップＳ２１で、ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【００６８】
ステップＳ２２で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００６９】
ステップＳ２３で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。
【００７０】
類似の判定は、参照画像と原画像それぞれの複数の属性値１〜Ｎの関数として求められる類似度の大小により行われる。例えば、参照画像の属性値１〜Ｎをまとめて、参照画像の属性値ベクトルＶ、同様にｈ番目の原画像の属性ベクトルをＵｈとし、類似度Ｄｈを式（１）を用いて算出する。
【００７１】
Ｄｈ＝（Ｕｈ−Ｖ）・（Ｕｈ−Ｖ） …式（１）
式（１）のＤｈはｈ番目の原画像の属性ベクトルと参照画像の属性ベクトル間のユークリッド距離の２乗を表し、類似性の指標となる。すなわち、距離が近いほど類似度が大きくなる。
【００７２】
また、各特徴量に重み付けをして距離を算出し、これを属性値とすることで、各属性値の特性の違い（例えば色と形状）を補正してより妥当な類似性の指標とすることができる。
【００７３】
この場合、各特徴量に重みを表す重みベクトルをＷとして、類似度Ｄｈを式（２）で表わす。
Ｄｈ＝（Ｗ＊Ｕｈ−Ｗ＊Ｖ）・（Ｗ＊Ｕｈ−Ｗ＊Ｖ） …式（２）
重みとしては多数のサンプル画像から求めた各属性値サンプルの分散の逆数などを使用する。
【００７４】
なお、“・”は式（３）に示す、ベクトルの内積を表わす。
【００７５】
Ｗ・Ｖ＝Ｗ１×Ｖ１＋Ｗ２×Ｖ２＋ … ＋ＷＮ×ＶＮ …式（３）
“＊”は式（４）に示す、２つのベクトルの要素ごとに掛け算した値を要素とするベクトルの演算子である。
【００７６】
Ｗ＊Ｖ＝（Ｗ１×Ｖ１，Ｗ２×Ｖ２，…，ＷＮ×ＶＮ） …式（４）
そして、類似度計算部２０は、特定した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【００７７】
ステップＳ２４で、記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。
【００７８】
図１０は、加算方法を説明する図である。
【００７９】
図１０は、上位Ｋ個の原画像（Ｉｍａｇｅ１〜Ｋ）に対応した記号エリア３７ｅの記号１〜Ｍを示している。記号加算部２４は、記号１〜Ｍ毎にデータを加算する。即ち、記号１〜Ｍ毎にその記号が表わすカテゴリに類似している原画像の個数を求める。図１０の下段には、加算した結果を示している。
【００８０】
ステップＳ２５で、記号加算部２４は、加算した結果数値の大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号３と記号４と記号Ｍが選定される。
【００８１】
このことが意味することは、参照画像に「良く」類似しているものとされる原画像は、記号３と記号４と記号Ｍで表わされる特徴を備えたものが多いということである。即ち、記号３と記号４と記号Ｍで表わされる特徴を備えた原画像は、参照画像に類似している可能性が高いと推定できる。
【００８２】
ステップＳ２６で、記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する。尚、このように記号に基づいて画像を選択する方式を記号検索方式と呼ぶ。
【００８３】
ステップＳ２７で、画像表示部１３は、一次選択画像と記号検索方式によって抽出した画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００８４】
第１の実施の形態の検索方法によれば、属性値に基く検索と記号検索を複合して類似画像を検索するため、検索精度を高めることができる。即ち、属性値に基く検索は色彩、形状などの物理的構成要素に基づいて類似を判断するものであるため、それのみの基準で選定された類似画像は、人間が類似していると感じるものであるとは限らない。そこで、人間の主観による感覚的要素を取り入れて類似を判断する記号検索方式を併せて適用することによって類似画像検索の洩れを減少させて、検索精度を高めることができる。
【００８５】
次に本発明に係る第２の実施の形態の画像検索方法について説明する。
【００８６】
図１１は、第２の実施の形態の画像検索方法の各機能の関連を示す図であり、図１２は、第２の実施の形態の画像検索方法の概略の処理手順を示すフロー図である。
【００８７】
ステップＳ３１で、ユーザは検索したい原画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【００８８】
ステップＳ３２で、類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００８９】
ステップＳ３３で、類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を特定する。類似の判断は、前記第１の実施の形態と同様の方法で行う。
【００９０】
そして、類似度計算部２０は、特定した複数の一次選択画像のインデックスデータ３７を類似度の高い順にソートし、候補インデックスメモリ３４に格納する。
【００９１】
ステップＳ３４で、画像表示部１３は、一次選択画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００９２】
ステップＳ３５で、ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した画像を複数枚（１枚又は０枚も可）選択する。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００９３】
ステップＳ３６で、記号加算部２４は、ユーザが選択した原画像を対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号のデータを加算する。尚、加算方法は第１の実施の形態の検索方法で述べた方法と同様のため詳細の説明は省略する。
【００９４】
ステップＳ３７で、記号加算部２４は、加算した結果数字の大きい上位Ｔ番目までの記号を選定する。
【００９５】
ステップＳ３８で、記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。
【００９６】
ステップＳ３９で、画像表示部１３は、一次選択画像と記号検索によって抽出した原画像のインデックス画像を検索結果として表示装置（不図示）に表示する。
【００９７】
第２の実施の形態の検索方法によれば、一次選択画像から人間の主観に基づいて類似画像を選択し、その選択された画像に基づいて記号検索方式を適用しているため、記号検索による類似画像検索の精度を更に高めることができる。
【００９８】
以上説明したように本実施の形態によれば、従来のキーワードを付与する作業に比べ、「記号」なる概念を導入して構成しているため付与作業労力を大幅に軽減することができる。また、付与する記号はキーワードである必要がないので、検索時にキーワードを選定する煩わしさもない。また、従来の類似画像検索方法に加えて記号検索を複合して使用するため、類似画像の検索精度が向上する。
【００９９】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【０１００】
更に、各機能は図示しない記憶媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１０１】
尚、上記実施形態には種々の段階の発明が含まれているため、開示される複数の構成要件における適宜な組み合わせにより種々の発明を抽出することができる。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１０２】
【発明の効果】
本発明によれば、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い画像検索を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図。
【図２】原画像を登録する場合の画像検索装置の各機能の関連を示す図。
【図３】原画像を登録する場合の概略の処理手順を示すフロー図。
【図４】インデックスデータの構成を示す図。
【図５】原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図。
【図６】原画像に記号を付与する場合の概略の処理手順を示すフロー図。
【図７】記号エリアの構成を示す図。
【図８】第１の実施の形態の画像検索方法の各機能の関連を示す図。
【図９】第１の実施の形態の画像検索方法の概略の処理手順を示すフロー図。
【図１０】加算方法を説明する図。
【図１１】第２の実施の形態の画像検索方法の各機能の関連を示す図。
【図１２】第２の実施の形態の画像検索方法の概略の処理手順を示すフロー図。
【符号の説明】
１…画像検索装置
４…画像処理部
６…記号処理部
８…画像ＤＢ
９…バッファメモリ
１１…画像入力部
１２…インデックス画像作成部
１３…画像表示部
１４…画像選択部
１８…属性処理部
１９…属性分析部
２０…類似度計算部
２３…記号付与部
２４…記号加算部
２５…記号検索部
２８…原画像領域
２９…インデックス画像領域
３０…インデックスデータ領域
３３…参照画像メモリ
３４…候補インデックスメモリ
３７ｄ…属性値エリア
３７ｅ…記号エリア
Claims (10)
- 画像検索プログラムであって、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、
前記検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、
前記表示されたインデックス画像に基づいて、前記参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、
前記選択された第３の画像毎に、前記参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、
をコンピュータに実行させるためのプログラム。 - 画像検索プログラムであって、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、
前記検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、
積算結果に基づき、前記画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、
前記選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、
をコンピュータに実行させるためのプログラム。 - 画像検索プログラムであって、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、
前記検索された一次選択画像のインデックス画像を表示する選択画像表示ステップ、
前記表示されたインデックス画像に基づいて、前記一次選択画像から前記参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、
前記検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、
積算結果に基づき、前記画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、
前記選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、
をコンピュータに実行させるためのプログラム。 - 前記画像検索ステップは、前記第１の画像の属性値と前記参照画像の属性値とに基づいて類否を判断する第１の判断ステップを有することを特徴とする請求項１乃至３の内１項に記載のプログラム。
- 前記参照画像は、前記第１の画像から選択されたもの又は要求者によって入力されたものであることを特徴とする請求項１乃至４の内１項に記載のプログラム。
- 画像検索プログラムを記憶した記憶媒体であって、前記プログラムはコンピュータに対して、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップ、
前記検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップ、
前記表示されたインデックス画像に基づいて、前記参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップ、
前記選択された第３の画像毎に、前記参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップ、
を実現させるためのコンピュータ読取可能なプログラムを記憶した記録媒体。 - 画像検索プログラムを記憶した記憶媒体であって、前記プログラムはコンピュータに対して、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、
前記検索された一次選択画像の内、第１の所定数Ｎ個の一次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、
積算結果に基づき、前記画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、
前記選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、
を実現させるためのコンピュータ読取可能なプログラムを記憶した記録媒体。 - 画像検索プログラムを記憶した記憶媒体であって、前記プログラムはコンピュータに対して、
記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの一次選択画像を検索する画像検索ステップ、
前記検索された一次選択画像のインデックス画像を表示する選択画像表示ステプ、
前記表示されたインデックス画像に基づいて、前記一次選択画像から前記参照画像に類似する二次選択画像を画像検索の要求者に選択させる選択画像選択ステップ、
前記検索された二次選択画像について、それぞれのカテゴリ毎に、該カテゴリに属する画像数を積算する積算ステップ、
積算結果に基づき、前記画像数の多いものから順番に第２の所定数Ｔ個のカテゴリを選択するカテゴリ選択ステップ、
前記選択された第２の所定数Ｔ個のカテゴリの内、少なくとも第３の所定数Ｓ個のカテゴリに、類似を表わす記号が付与されている画像を前記第１の画像から検索する記号付与画像検索ステップ、
を実現させるためのコンピュータ読取可能なプログラムを記憶した記録媒体。 - 記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索手段と、
前記検索された第２の画像を縮小したインデックス画像を表示する画像表示手段と、
前記表示されたインデックス画像に基づいて、前記参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択手段と、
前記選択された第３の画像毎に、前記参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与手段とを
備えたことを特徴とする画像検索装置。 - 記憶手段に記憶されている複数の第１の画像から、参照画像に類似する少なくとも１つの第２の画像を検索する画像検索ステップと、
前記検索された第２の画像を縮小したインデックス画像を表示する画像表示ステップと、
前記表示されたインデックス画像に基づいて、前記参照画像に類似する少なくとも１つの第３の画像を画像検索の要求者に選択させる画像選択ステップと、
前記選択された第３の画像毎に、前記参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、該カテゴリに類似を表わす記号を付与する記号付与ステップと
を備えたことを特徴とする画像検索方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002357143A JP4253498B2 (ja) | 2002-12-09 | 2002-12-09 | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 |
| US10/729,476 US7373021B2 (en) | 2002-12-09 | 2003-12-05 | Image search program, information storage medium, image search apparatus and image search method |
| CNB2003101225165A CN1285058C (zh) | 2002-12-09 | 2003-12-09 | 图像检索装置和图像检索方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002357143A JP4253498B2 (ja) | 2002-12-09 | 2002-12-09 | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004192156A true JP2004192156A (ja) | 2004-07-08 |
| JP4253498B2 JP4253498B2 (ja) | 2009-04-15 |
Family
ID=32757273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002357143A Expired - Fee Related JP4253498B2 (ja) | 2002-12-09 | 2002-12-09 | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7373021B2 (ja) |
| JP (1) | JP4253498B2 (ja) |
| CN (1) | CN1285058C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217428A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ltd | 画像検索プログラム、方法及び装置 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004334339A (ja) * | 2003-04-30 | 2004-11-25 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| US20060242163A1 (en) * | 2005-04-22 | 2006-10-26 | Microsoft Corporation | Local thumbnail cache |
| JP4849301B2 (ja) * | 2005-07-27 | 2012-01-11 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP2007041927A (ja) * | 2005-08-04 | 2007-02-15 | Olympus Imaging Corp | 画像検索プログラム、画像検索装置、画像検索方法及び記録媒体 |
| JP4413844B2 (ja) * | 2005-10-17 | 2010-02-10 | 富士通株式会社 | 画像表示制御装置 |
| US8116573B2 (en) * | 2006-03-01 | 2012-02-14 | Fujifilm Corporation | Category weight setting apparatus and method, image weight setting apparatus and method, category abnormality setting apparatus and method, and programs therefor |
| US8660319B2 (en) * | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
| US9076239B2 (en) | 2009-04-30 | 2015-07-07 | Stmicroelectronics S.R.L. | Method and systems for thumbnail generation, and corresponding computer program product |
| US9208259B2 (en) * | 2009-12-02 | 2015-12-08 | International Business Machines Corporation | Using symbols to search local and remote data stores |
| EP2519898A4 (en) | 2009-12-30 | 2016-05-11 | Nokia Technologies Oy | METHOD AND DEVICES FOR CONTENT BASED IMAGE REQUEST |
| JP5510287B2 (ja) * | 2010-11-22 | 2014-06-04 | カシオ計算機株式会社 | 被写体検出装置、被写体検出方法及びプログラム |
| CN103778166A (zh) * | 2012-10-26 | 2014-05-07 | 镇江睿泰信息科技有限公司 | 一种图像检索方法 |
| US9934538B2 (en) * | 2014-09-24 | 2018-04-03 | Deere & Company | Recalling crop-specific performance targets for controlling a mobile machine |
| JP6210106B2 (ja) * | 2015-11-18 | 2017-10-11 | カシオ計算機株式会社 | 撮影装置、画像評価方法及びプログラム |
| JP6883761B2 (ja) * | 2016-10-17 | 2021-06-09 | パナソニックＩｐマネジメント株式会社 | プログラム生成方法、プログラム生成装置および制御プログラム |
| JP6872703B2 (ja) * | 2016-10-17 | 2021-05-19 | パナソニックＩｐマネジメント株式会社 | プログラム生成方法、プログラム生成装置および制御プログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326286A (ja) * | 1997-05-27 | 1998-12-08 | Mitsubishi Electric Corp | 類似検索装置及び類似検索プログラムを記録した記録媒体 |
| JP2000339341A (ja) * | 1999-05-31 | 2000-12-08 | Olympus Optical Co Ltd | 画像ファイリング装置 |
| JP2001052175A (ja) * | 1999-08-06 | 2001-02-23 | Olympus Optical Co Ltd | 画像検索装置 |
| JP2002259410A (ja) * | 2001-03-05 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6400853B1 (en) * | 1997-03-19 | 2002-06-04 | Canon Kabushiki Kaisha | Image retrieval apparatus and method |
| JPH10289240A (ja) | 1997-04-14 | 1998-10-27 | Canon Inc | 画像処理装置及びその制御方法 |
| JP2002140332A (ja) | 2000-11-02 | 2002-05-17 | Nippon Telegr & Teleph Corp <Ntt> | 特徴量重要度算出方法、それを用いたキーワード画像特徴量表現データベース作成及び画像データベース検索 |
| KR100451649B1 (ko) * | 2001-03-26 | 2004-10-08 | 엘지전자 주식회사 | 이미지 검색방법과 장치 |
-
2002
- 2002-12-09 JP JP2002357143A patent/JP4253498B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-05 US US10/729,476 patent/US7373021B2/en not_active Expired - Fee Related
- 2003-12-09 CN CNB2003101225165A patent/CN1285058C/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10326286A (ja) * | 1997-05-27 | 1998-12-08 | Mitsubishi Electric Corp | 類似検索装置及び類似検索プログラムを記録した記録媒体 |
| JP2000339341A (ja) * | 1999-05-31 | 2000-12-08 | Olympus Optical Co Ltd | 画像ファイリング装置 |
| JP2001052175A (ja) * | 1999-08-06 | 2001-02-23 | Olympus Optical Co Ltd | 画像検索装置 |
| JP2002259410A (ja) * | 2001-03-05 | 2002-09-13 | Nippon Telegr & Teleph Corp <Ntt> | オブジェクト分類管理方法、オブジェクト分類管理システム、オブジェクト分類管理プログラム及び記録媒体 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008217428A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ltd | 画像検索プログラム、方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1508754A (zh) | 2004-06-30 |
| US20050041886A1 (en) | 2005-02-24 |
| CN1285058C (zh) | 2006-11-15 |
| JP4253498B2 (ja) | 2009-04-15 |
| US7373021B2 (en) | 2008-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4388301B2 (ja) | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 | |
| JP4253498B2 (ja) | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 | |
| JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
| EP1258816A2 (en) | Image search method and apparatus | |
| JPH07160731A (ja) | 画像検索方法及びその装置 | |
| WO2020255307A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
| KR20030079932A (ko) | 마스카라 선정방법, 마스카라 선정 시스템 및 마스카라카운셀링 툴 | |
| CN109710789A (zh) | 图像数据的检索方法、装置、电子设备及计算机存储介质 | |
| JP2008102594A (ja) | コンテンツの検索方法及び検索装置 | |
| JP5794185B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3284168B2 (ja) | 画像検索装置 | |
| Appel et al. | Computer analysis of 2-D images | |
| JP2010122931A (ja) | 類似領域検索方法、類似領域検索装置、類似領域検索プログラム | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| JPH08202733A (ja) | 画像検索方法及びその装置 | |
| JP2000067081A (ja) | 文書検索方法、そのプログラムを記録した記録媒体、及び文書検索装置 | |
| JPH08287086A (ja) | 適合度順画像強調表示方法及び装置 | |
| JP3547338B2 (ja) | 情報検索方法及び装置 | |
| JP2000048041A (ja) | データ検索システム及びこれに用いる装置 | |
| JPH07160725A (ja) | 画像検索装置 | |
| JPH0668171A (ja) | 画像データベース、画像データベース作成方法、画像検索方法およびそれらの装置 | |
| TW201122844A (en) | System and method for simplifying a matrix based boosting algorithm | |
| JP2002318812A (ja) | 類似画像検索装置，類似画像検索方法並びに類似画像検索プログラム | |
| JP3925084B2 (ja) | 検索方法、検索装置、検索プログラムを記憶した記憶媒体、検索対象マップ作成方法、検索対象マップ作成装置、画像検索方法、画像検索装置、画像検索プログラムを記憶した記憶媒体、画像検索用データを記憶した記憶媒体、画像マップ作成方法及び画像マップ作成装置 | |
| JP2006004157A (ja) | 画像検索プログラム、画像検索方法、画像検索装置及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |