JP2004334594A - 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 - Google Patents
画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004334594A JP2004334594A JP2003130670A JP2003130670A JP2004334594A JP 2004334594 A JP2004334594 A JP 2004334594A JP 2003130670 A JP2003130670 A JP 2003130670A JP 2003130670 A JP2003130670 A JP 2003130670A JP 2004334594 A JP2004334594 A JP 2004334594A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- category
- similar
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
- G06V10/7515—Shifting the patterns to accommodate for positional errors
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Television Signal Processing For Recording (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体を提供する。
【解決手段】画像入力手段（１１）と、画像の特徴を表わす属性値を求める手段（１８）と、画像と属性値とを少なくとも１つ保存する手段（８）と、保存されている画像の内から参照画像に類似する画像を検索する手段（２５）と、検索された画像の縮小画像を表示する手段（１３）と、表示された縮小画像から、参照画像に類似する画像を画像検索の要求者に選択させる手段（１４）と、保存されている画像にカテゴリを新たに設け、選択された画像毎に該カテゴリに参照画像との類似を表わす記号を付与する手段（２３）と、カテゴリに対応して、類似の信頼度を表わす数値を付与する手段（２０）とを備えた画像検索装置である。
【選択図】 図１
【解決手段】画像入力手段（１１）と、画像の特徴を表わす属性値を求める手段（１８）と、画像と属性値とを少なくとも１つ保存する手段（８）と、保存されている画像の内から参照画像に類似する画像を検索する手段（２５）と、検索された画像の縮小画像を表示する手段（１３）と、表示された縮小画像から、参照画像に類似する画像を画像検索の要求者に選択させる手段（１４）と、保存されている画像にカテゴリを新たに設け、選択された画像毎に該カテゴリに参照画像との類似を表わす記号を付与する手段（２３）と、カテゴリに対応して、類似の信頼度を表わす数値を付与する手段（２０）とを備えた画像検索装置である。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を記憶した画像データベースから所望の画像を検索するための画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
画像を検索する方法には大きく分けて次の２種類の方法が知られている。
【０００３】
第１の方法は、予め画像にその内容を反映したキーワードを人間が付与し、検索時には、ユーザーが入力したキーワードと同等のキーワードが付与された画像を画像データベースより抽出して、提示するものである。
【０００４】
この方法では、各画像ごとに適切なキーワードを付与する作業が大変であるという問題がある。またユーザーとキーワードを付与した人が別人である場合には、概念的には同じであっても参照キーワードが画像データベースで使用されているキーワードとは一致しない場合もあり、検索洩れを生じるという問題もある。
【０００５】
第２の方法は、画像の持つ色や形状、テクスチャーなど、画像の物理的特徴を定量化した属性値を利用して情報処理装置が自動的に検索するものであり、参照画像と各属性値を比較して類似性の高い画像を画像データベースより抽出して検索結果として提示する。
【０００６】
この方法では、所定のアルゴリズムに基づいて属性値が比較され、類似度が高いとして抽出された画像が、人間の視覚では必ずしも参照画像とは類似性が高いとは限られず、むしろ類似性が人間の感覚的には低い場合も多く、検索精度が低いという問題も指摘されていた。
【０００７】
以上の問題を回避するための技術として、データベース中の同一のキーワードを付与された画像の集合について、特徴量ベクトルと重要度を求めて、キーワードを属性値に変換し、その属性値を基に画像検索を行う方法が提案されている（例えば、特許文献１参照）。
【０００８】
また他の技術としては、画像に付与したキーワードで検索を実行し、検索結果の画像の属性値を用いて類似検索を実行する方法が提案されている（例えば、特許文献２参照）
【０００９】
【特許文献１】
特開２００２−１４０３７２号公報
【００１０】
【特許文献２】
特開平１０−２８９２０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら特許文献１に記載の方法では、従来通り人間が画像にキーワードを付与する必要があるため、キーワード付与作業に多くの労力を要することになる。また同一のキーワードが付与された画像の特徴量ベクトルの分布が特徴空間上で十分に局在化するとの保証は得られていないため、類似画像を精度良く検索できるとは限らない。
【００１２】
また、特許文献２に記載の方法でもキーワードを用いているため、画像にキーワードを付与することは大きな負担となる。更に、同一キーワードを持つ画像であっても画像の属性値が大きく異なる場合があるため、属性値に基づいて類似画像を検索しても検索精度の低下を解決できるとは限らない。
【００１３】
本発明は、かかる事情に鑑みてなされたものであって、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解消するための本発明に係る請求項１に記載の画像検索装置は、画像を入力する画像入力手段と、入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、前記画像保存手段に保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与手段と、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当て手段とを備えた。
【００１５】
また本発明に係る請求項２に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１６】
また本発明に係る請求項３に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１７】
また本発明に係る請求項４に記載の画像検索装置は、画像を入力する画像入力手段と、入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、前記画像保存手段に保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当て手段とを備えた。
【００１８】
また本発明に係る請求項５に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１９】
また本発明に係る請求項６に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像の信頼度から検索する第２の検索手段とを備えた。
【００２０】
また本発明に係る請求項７に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えた。
【００２１】
また本発明に係る請求項８に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えた。
【００２２】
また本発明に係る請求項９に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記第１の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えた。
【００２３】
また本発明に係る請求項１０に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記第２の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えた。
【００２４】
また本発明に係る請求項１１に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記類似度の大きい順番に前記画像保存手段に保存された画像の順序付けを行う画像ソート手段を備えた。
【００２５】
また本発明に係る請求項１２に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記数値割り当て手段は、前記選択された第２の画像の前記属性値の分布状態を表わす統計量に基づいて前記類似の信頼度を表わす数値を算出する数値算出手段を備えた。
【００２６】
また本発明に係る請求項１３に記載の画像検索方法は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとを備えた。
【００２７】
また本発明に係る請求項１４に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００２８】
また本発明に係る請求項１５に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００２９】
また本発明に係る請求項１６に記載の画像検索方法は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとを備えた。
【００３０】
また本発明に係る請求項１７に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００３１】
また本発明に係る請求項１８に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとを備えた。
【００３２】
また本発明に係る請求項１９に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えた。
【００３３】
また本発明に係る請求項２０に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えた。
【００３４】
また本発明に係る請求項２１に記載の画像検索プログラムは、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させる。
【００３５】
また本発明に係る請求項２２に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３６】
また本発明に係る請求項２３に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３７】
また本発明に係る請求項２４に記載の画像検索プログラムは、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させる。
【００３８】
また本発明に係る請求項２５に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３９】
また本発明に係る請求項２６に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させる。
【００４０】
また本発明に係る請求項２７に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させる。
【００４１】
また本発明に係る請求項２８に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させる。
【００４２】
また本発明に係る請求項２９に記載の記録媒体は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した。
【００４３】
また本発明に係る請求項３０に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４４】
また本発明に係る請求項３１に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００４５】
また本発明に係る請求項３２に記載の記録媒体は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した。
【００４６】
また本発明に係る請求項３３に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４７】
また本発明に係る請求項３４に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４８】
また本発明に係る請求項３５に記載の記録媒体は、上記記載の発明である記録媒体において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４９】
また本発明に係る請求項３６に記載の記録媒体は、上記記載の発明である記録媒体において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００５０】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明に係る第１の実施の形態の画像検索装置の構成を示すブロック図である。以下、検索対象となる画像を「原画像」という。
【００５１】
画像検索装置１は、画像データを取り扱う画像処理部４、画像の属性データを取り扱う属性処理部５、画像がそのカテゴリに属するかどうかを表わす記号を取り扱う記号処理部６、画像のクラスタ分析を行うクラスタ分析部７、原画像の記憶領域である画像ＤＢ８、及びその他のデータ記憶領域であるバッファメモリ９で構成されている。
【００５２】
画像処理部４には、画像入力部１１、インデックス画像作成部１２、画像表示部１３及び画像選択部１４が設けられている。
【００５３】
画像入力部１１は、画像入力装置（不図示）から原画像を画像検索装置１に取り込む。インデックス画像作成部１２は、画像ＤＢ８に記憶されている原画像の縮小画像であるインデックス画像を作成する。画像表示部１３は、インデックス画像や原画像を表示装置（不図示）に表示する。画像選択部１４は、ユーザの画像選択操作を支援する。
【００５４】
属性処理部５には、属性処理部１８、属性分析部１９、及び類似度計算部２０が設けられている。
【００５５】
属性処理部１８は、原画像の属性値を求める。属性分析部１９は、属性処理部１８に従属して、種々の属性値を原画像から抽出する。類似度計算部２０は、画像同士の類否を判断するための指数を属性値に基づいて計算する。
【００５６】
記号処理部６には、記号付与部２３、記号加算部２４、記号検索部２５及び重み処理部２６が設けられている。
【００５７】
記号付与部２３は、画像表示部１３に表示されたインデックス画像をもとに、参照画像と類似であるとして画像選択部で選択された原画像すべてに同じ記号を付与する。原画像が参照画像に類似する場合には、その参照画像について、各原画像に付与された記号領域の特定の桁に対して参照画像に類似するカテゴリに属するとして、例えば「１」を付与する。尚、原画像がその参照画像に類似しない場合には、上記記号領域の同一カテゴリの桁に例えば「０」を付与する。記号加算部２４は、複数の原画像について記号の加算演算を行う。記号検索部２５は、所定の記号が「１」となっている原画像を検索する。重み処理部２６は、記号の加算演算に使用する重み係数を設定し、また重み付けの乗算演算を行う。
【００５８】
クラスタ分析部７には、クラスタリング処理部４１、クラスタリング判定部４２及びパラメータ検索部４３が設けられている。
【００５９】
クラスタリング処理部４１は、画像を属性値に基づいてクラスタに分類する。クラスタリング判定部４２は、局在化しているクラスタが存在するかどうかを判定する。パラメータ検索部４３は、所定の属性をもつ画像を検索する。
【００６０】
画像ＤＢ８には、原画像領域２８、インデックス画像領域２９、及びインデックスデータ領域３０が設けられている。
【００６１】
原画像領域２８には、検索対象となる原画像が格納されている。インデックス画像領域２９には原画像を縮小したインデックス画像が格納されている。インデックスデータ領域３０には、原画像、インデックス画像にアクセスするためのアドレスと、原画像の属性値等の情報が格納されている。
【００６２】
バッファメモリ９には、画像検索時に基準となる画像である参照画像を格納する参照画像メモリ３３、及び検索の中間段階において選択された原画像の格納アドレス等を格納する候補インデックスメモリ３４が備えられている。
【００６３】
［動作］
次に、本画像検索装置１の動作について説明する。
【００６４】
ユーザは準備段階での作業として、画像検索装置１に対して原画像の登録を行う。
図２は、原画像を登録する際の画像検索装置の各機能の関連を示す図であり、図３は、原画像を登録する際の概略の処理手順を示すフロー図である。
【００６５】
画像入力部１１は画像入力装置（不図示）から原画像を読込む（ステップＳ１）。そして、画像入力部１１は読込んだ原画像を画像ＤＢ８の原画像領域２８に格納するとともに、属性処理部１８を起動する。
【００６６】
属性処理部１８は制御変数Ｐを初期値１に設定して、Ｐ番目の属性分析部１９を起動する（ステップＳ２）。
【００６７】
Ｐ番目の属性分析部１９は、読込んだ原画像についてＰ番目の属性値を求める（ステップＳ３）。ここで、原画像の属性値とは、原画像に表わされた色、形状、テクスチャー等の画像の物理的な属性を数値化した値である。従って、ここでいう属性値は色彩、形状などの物理的構成要素に関して定量化して表わされる量であって、人間の主観による感覚的要素に基づく値ではない。
【００６８】
属性処理部１８はＰ番目の属性分析部１９が求めた属性値Ｐを、インデックスデータ領域３０に保存されているインデックスデータ３７の属性値エリアに格納する（ステップＳ４）。
【００６９】
図４は、インデックスデータ３７の構成を示す図である。
インデックスデータ３７には、原画像を特定する画像ＩＤ３７ａ、原画像が格納されている原画像領域２８内のアドレスを示す原画像アドレス３７ｂ、原画像の縮小画像であるインデックス画像が格納されているインデックス画像領域２９内のアドレスを示すインデックス画像アドレス３７ｃ、原画像の属性値を複数格納するための属性値エリア３７ｄ、及び原画像に付与されたカテゴリに対応する記号と全記号数を格納するための記号エリア３７ｅが設けられている。
【００７０】
本明細書で使用する「カテゴリ」とは、要求者が提示した参照画像と視覚的に同一であると判断した画像であることを識別するための記号のことであり、後述する参照画像毎に定められる。原画像がＪ番目のカテゴリに属するとは、要求者が提示したＪ番目の参照画像と当該原画像が視覚的に類似していることを意味し、記号エリア３７ｅの「記号Ｊ」が１となっている。
【００７１】
次に、所定数Ｎの全属性値を求めたかどうかを調べる（ステップＳ５）。そして、まだ所定数Ｎの属性値を求めていない場合（ステップＳ５ Ｎｏ）は、制御変数Ｐをカウントアップして（ステップＳ６）、ステップＳ３〜Ｓ４の処理を繰り返す。
【００７２】
所定数Ｎの属性値が求められている場合（ステップＳ５ Ｙｅｓ）は、インデックス画像作成部１２が原画像に基づいて原画像の縮小画像であるインデックス画像を作成し、インデックス画像領域２９に格納するとともにインデックスデータ３７のインデックス画像アドレス３７ｃを更新する（ステップＳ７）。
【００７３】
次に、全ての原画像の登録が完了したかどうかを調べる（ステップＳ８）。まだ登録するべき画像が残っている場合（ステップＳ８ Ｎｏ）は、ステップＳ１〜ステップＳ７の処理を繰り返す。
【００７４】
全ての画像の登録が完了した場合（ステップＳ８ Ｙｅｓ）は、画像の登録処理を終了する。なお、原画像の登録は一度に行う必要はなく、必要に応じて繰り返される。
【００７５】
続いてユーザは、画像検索装置１に登録した原画像毎に記号を付与する。ここで本発明において使用される「記号」は、従来のキーワードに類似した概念であるが、キーワードよりも更に広い上位の概念である。即ち、キーワードが「言葉」に基づいて画像の特徴を表わすのに対して、「記号」は言葉によって概念化して限定するものではなく、画像の視覚的な類似性によってグループ化するためのものである。類似であると判断された画像は同じカテゴリに属すると表現され、記号エリア３７ｅの同一の桁に１が格納される。記号エリア３７ｅの記号数を除く各桁がそれぞれのカテゴリを表わす。
【００７６】
図５は、原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図であり、図６は、原画像に記号を付与する場合の概略の処理手順を示すフロー図である。
【００７７】
ユーザは原画像に記号を付与する際の基準となる参照画像を用意する（ステップＳ１０）。ここで、参照画像は従来のキーワードに替わるものであり、以下の処理では参照画像に類似するか否かの記号を原画像に付与する。
【００７８】
画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ１１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、画像ＤＢ８の原画像領域２８に格納されている原画像から選択しても良い。
【００７９】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ１２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００８０】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて類似度を算出し、参照画像に類似する原画像を特定する（ステップＳ１３）。類似の判断は、参照画像と原画像の複数の属性値１〜Ｍを比較することで行う。例えば、属性値１〜Ｍをパラメータとする関数を設定し、参照画像の関数値と原画像の関数値が近似していれば、その原画像は参照画像に類似しているものと判断することができる。そして、この類似度の大きい順に原画像に順序付けを行う。
【００８１】
画像表示部１３は類似度の高い順に特定された原画像のインデックス画像をインデックス画像領域２９から取り出して、所定数だけ表示装置（不図示）に表示する（ステップＳ１４）。そして、ユーザに対して選択するように促す指示を出力する。
【００８２】
ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した原画像を複数枚（１枚又は０枚も可）選択する（ステップＳ１５）。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００８３】
記号付与部２３は選択された原画像に対するインデックスデータ３７の記号エリア３７ｅに記号を付与する（ステップＳ１６）。
【００８４】
図７は、記号エリア３７ｅの構成を示す図である。記号付与部２３は選択された原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「１」を記載する。また、記号付与部２３は選択されていない原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「０」を記載する。
【００８５】
１種類の参照画像について複数の記号付けが可能な場合に、記号付与が完了したか否かの判定を行う（ステップＳ１７）。
【００８６】
１種類の参照画像であっても、画像に複数の被写体が写っている場合には、それぞれの被写体ごとに別の記号を付与することができる。また、着眼点を変えることによって単一の被写体しか写っていなくても複数の記号を付与することができる。例えば、色と形は別物として記号を付与することができる。そして、記号付与が完了していない場合（ステップＳ１７ Ｎｏ）、ステップＳ１５〜Ｓ１６の処理を繰り返す。
【００８７】
記号付与が完了している場合（ステップＳ１７ Ｙｅｓ）、後述する記号加算処理で用いる重み係数を計算する。
【００８８】
重み処理部２６は、「記号Ｍ」の位置に「１」が記載された画像について、インデックスデータ３７中の、属性値エリア３７ｄを参照する。そして、属性値１〜Ｎを要素とする属性値ベクトルＸｉ（ｉ＝１〜Ｋ）を定義する。ここで、Ｋは、「記号Ｍ」の位置に「１」が記載された画像の数がＫであることを意味する。
【００８９】
そして、属性値ベクトルＸｉの各要素（属性値）をｘｉｊ（ｊ＝１〜Ｎ）として、属性値ごとに、式（１）に示す分散σｊを計算する（ステップＳ１８）。
【００９０】
【数１】
【００９１】
次に、重み処理部２６は、分散σｊ（ｊ＝１〜Ｎ）に基づいて重み係数を算出する（ステップＳ１９）。この際、分散が大きい場合は、重み係数は小さな値とし、分散が小さい場合は、重み係数は大きな値となるように算出が行われる。
【００９２】
分散が大きいときは、「記号Ｍ」の位置に「１」が記載された画像の属性値のばらつきが大きいことを表わしている。従って、類似度に及ぼす属性値の影響、言い換えれば類似度の信頼性は低いと考えられる。このため、この位置の記号が類似度に寄与する程度は相対的に低いと考えられ、重み係数は相対的に小さな値とするのが妥当である。
【００９３】
これと逆に、分散が小さいときは、「記号Ｍ」の位置に「１」が記載された画像の属性値のばらつきが小さいことを表わしている。従って、類似度に及ぼす属性値の影響、言い換えれば類似度の信頼性は高いと考えられる。このため、この位置の記号が類似度に寄与する程度は相対的に高いと考えられ、重み係数は相対的に大きな値とするのが妥当である。
【００９４】
尚、重み係数は、上述の関係を充足できるものであれば、例えば、分散の逆数で定義しても良く、一般的に分散σｊ（ｊ＝１〜Ｎ）をパラメータとする関数を設定し、その関数値で定義しても良い。また、分散を用いなくても、属性値のばらつきを表す統計量を求めてその値に基づいて重み係数を算出しても良い。例えば、最大値と最小値の差を用いることもできる。
【００９５】
また、重み係数の算出に際しては、属性値間の個体差を排除するため、それぞれの属性値を正規化した後、上述の演算を行うことが好ましい。算出したカテゴリＭに関する重み係数はインデックスデータ領域に記憶される。
【００９６】
次に、記号付与作業を終了するかどうかを調べる（ステップＳ２０）。例えば、全ての参照画像についての記号付与処理が終了したかどうかを調べる。
【００９７】
そして、未処理の参照画像が残っている場合（ステップＳ２０ Ｎｏ）は、ステップＳ１２〜Ｓ１９の処理を繰り返す。全ての参照画像についての記号付与処理が終了した場合（ステップＳ２０ Ｙｅｓ）は、本記号付与処理を終了する。
【００９８】
尚、本実施の形態では、記号は「１」、「０」を用いているが、本発明はこの形態に限定されるものではない。記号は、英字、特殊記号でもよく、特に意味のあるものである必要はない。また、記号１〜Ｍがどのような被写体か又は被写体の性質かということは不必要な情報である。この点がキーワード自体に特定の意味内容を必要とするキーワード方式と本質的に異なる点である。
【００９９】
また、本実施の形態では、属性値に基き定量的に類否を判断するだけでなく、それに加えて人間が視覚的に判断した参照画像との類似結果を記号として取り込んでいる点に特徴がある。一般に画像の類否は主観的な要素が大きく入り込むものであると考えられる。そうすると、画像の数値化された物理データに基づく機械的な判断に留まらず人間の視覚的判断を加味するように構成することで本画像検索装置１を使用するユーザの主観に近い結果を提供することが可能となる。
【０１００】
更に、本実施の形態では参照画像が読込まれて記号付与処理がされる度に図７に示す「記号数」に記載されている数字は１インクリメントされ、記号を付与するためのデータ領域即ちカテゴリは増加する。このことは、画像を特徴付ける記号情報は参照画像との類似画像選択を繰り返すに従って成長していくように構成されていることを意味している。従って、類似判定回数が増加するほど検索精度が良くなるという効果が期待できる。
【０１０１】
一方、本実施の形態は、キーワードを使用しないことに特徴があるが、ステップＳ１０からＳ１６は、従来のキーワード検索でのキーワード付与に応用することができる。ステップＳ１０からＳ１５で選択した画像に同一のキーワードを付与することにより、各画像ごとにそれぞれキーワードを付与するよりも簡単にキーワード付与ができる。
【０１０２】
次に画像検索方法について説明する。
【０１０３】
図８は、第１の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図９は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１０４】
ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ２１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１０５】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ２２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１０６】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ２３）。
【０１０７】
類似の判定は、参照画像と原画像それぞれの複数の属性値１〜Ｎの関数として求められる類似度の大小により行われる。例えば、参照画像の属性値１〜Ｎをまとめて、参照画像の属性値ベクトルＶ、同様にｈ番目の原画像の属性値ベクトルをＵｈとし、類似度Ｄｈを式（２）を用いて算出する。
【０１０８】
Ｄｈ＝（Ｕｈ−Ｖ）・（Ｕｈ−Ｖ） …式（２）
なお、演算子”・”は式（３）に示す、ベクトルの内積を表わす。
【０１０９】
Ｗ・Ｖ＝Ｗ１×Ｖ１＋Ｗ２×Ｖ２＋…＋ＷＮ×ＶＮ …式（３）
式（２）のＤｈはｈ番目の原画像の属性ベクトルと参照画像の属性ベクトル間のユークリッド距離の２乗を表し、類似性の指標となる。すなわち、距離が近い（Ｄｈが小さい）ほど類似度が大きくなる。
【０１１０】
また、各属性に重み付けをして距離を算出し、これを属性値とすることで、各属性値の特性の違い（例えば色と形状）を補正してより妥当な類似性の指標とすることができる。
【０１１１】
この場合、各属性に重みを表す重みベクトルをＷとして、類似度Ｄｈを式（４）で表わす。
Ｄｈ＝（Ｗ＊Ｕｈ−Ｗ＊Ｖ）・（Ｗ＊Ｕｈ−Ｗ＊Ｖ） …式（４）
なお、”＊”は式（５）に示す、２つのベクトルの要素ごとに掛け算した値を要素とするベクトルの演算子である。
【０１１２】
Ｗ＊Ｖ＝（Ｗ１×Ｖ１，Ｗ２×Ｖ２，…，ＷＮ×ＶＮ） …式（５）
重みとしては、ステップＳ１８、１９で示した重み係数を算出するための演算処理を適用して求めることができる。例えば、多数のサンプル画像から求めた各属性値サンプルの分散の逆数などを使用する。
【０１１３】
そして、類似度計算部２０は、選別した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【０１１４】
記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。そして、重み処理部２６が、この加算結果に重み係数を掛けてカウント値を算出する（ステップＳ２４）。
【０１１５】
図１０は、加算方法を説明する図である。
【０１１６】
図１０は、上位Ｋ個の原画像（Ｉｍａｇｅ１〜Ｋ）に対応した記号エリア３７ｅの記号１〜Ｍを示している。記号加算部２４は、記号１〜Ｍ毎にデータを加算する。即ち、記号１〜Ｍ毎にその記号が表わすカテゴリに類似している原画像の個数を求める。図１０の下段には、加算した結果を示している。
【０１１７】
次に、重み処理部２６が、この加算結果に重み係数を掛けた新たな加算値を算出する。ここで使用する重み係数は、ステップＳ１８、Ｓ１９で求めた値であり、記号１〜Ｍ毎に値が定められている。図１０の最下段には、補正後の新たな加算値を示している。
【０１１８】
即ち、記号１では当初の加算値１５が、重み係数０．７を掛けられることによって新たな加算値１０．５に変化している。同様に、記号２では当初の加算値１９が、重み係数１．１を掛けられることによって新たな加算値２０．９に変化している。
【０１１９】
記号加算部２４は、新たな加算値に基づいて大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号２と記号４と記号Ｍが選定される（ステップＳ２５）。
【０１２０】
このことが意味することは、参照画像に「良く」類似しているものとされる原画像は、記号２と記号４と記号Ｍで表わされる視覚的特徴を備えたものが多いということである。即ち、記号２と記号４と記号Ｍで表わされる視覚的特徴を備えた原画像は、参照画像に類似している可能性が高いと判断するのである。
【０１２１】
尚、本実施の形態では、記号と重みを分けて処理しているが、記号として０，１ではなくて、重みを含めたものを記号としても良い。この場合、記号エリア３７ｅには重み付けられた記号が格納され、検索時には、記号加算部２４で各記号ごとにその値を加算処理するだけで重み付け処理が完了し、重み処理部２６は不要とすることができる。
【０１２２】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する（ステップＳ２６）。尚、このように記号に基づいて画像を選択する方式を記号検索方式と呼ぶ。
【０１２３】
画像表示部１３は、一次選択画像と記号検索方式によって抽出した画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ２７）。
【０１２４】
［効果］
第１の実施の形態の画像検索装置によれば、属性値に基く検索と記号検索を複合して類似画像を検索するため、検索精度を高めることができる。即ち、属性値に基く検索は色彩、形状などの物理的構成要素に基づいて類似を判断するものであるため、それのみの基準で選定された類似画像は、人間が視覚的に類似していると感じるものであるとは限らない。そこで、人間の主観による感覚的要素を取り入れて類似を判断する記号検索方式を併せて適用することによって類似画像検索の洩れを減少させて、検索精度を高めることができる。
【０１２５】
また、属性値に基づく重み係数を取り入れているため、精度の高い類似画像の検索を行うことができる。
【０１２６】
［第２の実施の形態］
次に本発明に係る第２の実施形態の画像検索装置について説明する。第２の実施形態の画像検索装置の構成は、前記図１に示した第１の実施形態の画像検索装置の構成と同一であるため、同様部分には同一の符号を付して、図示及び詳細の説明は省略する。
【０１２７】
［動作］
図１１は、第２の実施形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図１２は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１２８】
ユーザは検索したい原画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ３１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１２９】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ３２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１３０】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ３３）。類似の判断は、前記第１の実施の形態と同様の方法で行う。
【０１３１】
そして、類似度計算部２０は、選別した複数の一次選択画像のインデックスデータ３７を類似度の高い順にソートし、候補インデックスメモリ３４に格納する。
【０１３２】
画像表示部１３は、一次選択画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ３４）。
【０１３３】
ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した画像を複数枚（１枚又は０枚も可）選択する（ステップＳ３５）。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。尚、０枚選択は、表示された全ての画像を選択したのと同等として処理する。
【０１３４】
記号加算部２４は、ユーザが選択した原画像を対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号のデータを加算し、重み処理部２６がその加算値に重み係数を掛けてカウント値を算出する（ステップＳ３６）。尚、加算方法は第１の実施の形態の検索方法で述べた方法と同様のため詳細の説明は省略する。
【０１３５】
記号加算部２４は、加算した結果数字の大きい上位Ｔ番目までの記号を選定する（ステップＳ３７）。
【０１３６】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３７に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする（ステップＳ３８）。
【０１３７】
画像表示部１３は、一次選択画像と記号検索によって抽出した原画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ３９）。
【０１３８】
［効果］
第２の実施の形態の画像検索装置によれば、一次選択画像から人間の視覚に基づいて類似画像を選択し、その選択された画像に基づいて記号検索方式を適用しているため、記号検索による類似画像検索の精度を更に高めることができる。
【０１３９】
［第３の実施の形態］
次に本発明に係る第３の実施形態の画像検索装置について説明する。第３の実施形態の画像検索装置の構成は、前記図１に示した第１の実施形態の画像検索装置の構成と同一であるため、同様部分には同一の符号を付して、図示及び詳細の説明は省略する。
【０１４０】
［動作］
図１３は、第３の実施形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図１４は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１４１】
ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ５１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１４２】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ５２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１４３】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ５３）。類似の判定方法は、ステップＳ２３と同様である。
【０１４４】
そして、類似度計算部２０は、選別した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【０１４５】
記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。そして、重み処理部２６が、この加算結果に重み係数を掛けてカウント値を算出する（ステップＳ５４）。カウント値の算出方法は、ステップＳ２４と同様である。
【０１４６】
記号加算部２４は、新たな加算値について大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号２と記号４と記号Ｍが選定される（ステップＳ５５）。
【０１４７】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する（ステップＳ５６）。
【０１４８】
クラスタリング処理部４１は、一次選択画像と記号検索方式によって抽出した画像とを属性値に基づいてクラスタに分類（クラスタリング）する（ステップＳ５７）。
【０１４９】
図１５は、クラスタリングの手順を示す図である。
【０１５０】
クラスタリング処理の基準値である、最小距離Ｄとクラスの最小要素数Ｎｍｉｎを設定する（ステップＴ１）。
【０１５１】
候補画像の全てがいずれかのクラスＣｉに属しているかどうかを調べる（ステップＴ２）。そして、いずれかのクラスＣｉに属していない候補画像がある場合には（ステップＴ２ Ｎｏ）、候補画像から２枚の画像を選択する（ステップＴ３）。そして少なくとも１方の画像がいずれのクラスＣｉにも属さない組合せであるかかどうかを調べる（ステップＴ４）。
【０１５２】
候補画像の２枚の組合せの内、少なくとも１方の画像がいずれのクラスＣｉにも属さない組合せが有る場合（ステップＴ４ Ｙｅｓ）は、それら２枚の画像（画像Ａ及び画像Ｂ）の属性値の距離ＸＡＢを計算する（ステップＴ５）。
【０１５３】
ここで、画像Ａ及びＢの属性値の距離ＸＡＢの２乗は式（６）で定義される。
【０１５４】
ＸＡＢ ２＝（ＸＡ−ＸＢ）２ …式（６）
ＸＡ：画像Ａの属性値ベクトル
ＸＢ：画像Ｂの属性値ベクトル
そして、属性値の距離ＸＡＢが一番小さくなる画像Ａ、Ｂの組合せを選択する（ステップＴ６）。即ち、ここで選択された画像Ａ，Ｂは同一のクラスに属する可能性が最も高い組合せとなっている。
【０１５５】
属性値の距離ＸＡＢと基準値である最小距離Ｄとを比較する（ステップＴ７）。
【０１５６】
属性値の距離ＸＡＢが基準値である最小距離Ｄよりも小さい場合（ステップＴ７ Ｙｅｓ）は、ここで選択された画像Ａ，Ｂは同一のクラスに属するものと判断される。
【０１５７】
そこで、画像Ａ、Ｂの一方がいずれかのクラスに属しているかどうかを調べる（ステップＴ８）。
【０１５８】
画像Ａ、Ｂのいずれか１方がクラスＣｉに属している場合（ステップＴ８ Ｙｅｓ）は、他方の画像も同じクラスＣｉに属すべきとして、クラスＣｉに登録する（ステップＴ９）。そして、再びステップＴ２以降を実行する。
【０１５９】
画像Ａ、ＢのいずれもがクラスＣｉに属していない場合（ステップＴ８ Ｎｏ）は、画像Ａ、Ｂを新たなクラスＣｊに登録する（ステップＴ１０）。そして、再びステップＴ２以降を実行する。
【０１６０】
属性値の距離ＸＡＢが基準値である最小距離Ｄよりも大きい場合（ステップＴ７ Ｎｏ）は、ここで選択された画像Ａ，Ｂは同一のクラスには属さないものと判断される。そこで、画像Ａ、Ｂの内クラスに属していない画像を新たなクラスに登録する（ステップＴ１１）。この時、画像Ａ，Ｂいずれもが、クラスに属していない場合には、それぞれの画像を別の新しいクラスに登録する。そして、再びステップＴ２以降を実行する。
【０１６１】
候補画像の全ての画像がいずれかのクラスＣｉに属している場合（ステップＴ２ Ｙｅｓ）は、クラスタリング処理は終了する。
【０１６２】
以上の、クラスタリング処理の後、クラスタリング判定部４２が、局在化したクラスタが存在するかどうかを調べる（ステップＳ５８）。即ち、クラスに属する要素数（画像数）が最小要素数Ｎｍｉｎよりも大きく、なおかつ、そのクラスに属する全ての画像の属性値が所定の範囲内にあるクラスが存在する場合は、当該クラスを局在クラスであると判定し、それらのクラスを候補クラスとする。
【０１６３】
即ち、抽出した画像の内、特徴的な属性値をもつ画像が多数存在している場合は、その特徴的な属性値に近い属性値を有する画像を類似する画像として新たに検索しようとするものである。
【０１６４】
局在化したクラスが存在する場合（ステップＳ５８ Ｙｅｓ）は、パラメータ検索部４３が、候補クラスタに属する画像の属性値を調べ、その属性値の分布範囲内に含まれる属性値をもつ原画像を検索する（ステップＳ５９）。そして、検索する画像は、原画像のうちステップＳ５６で選択されていない画像とする。
【０１６５】
ここで、属性値の分布範囲とは、当該クラスタに属するものと判断できる属性値の範囲のことを意味する。例えば、そのクラスタに属する画像の特徴ベクトルの重心との距離が所定値以下にある原画像を検索することをいう。
【０１６６】
画像表示部１３は、一次選択画像、記号検索方式によって抽出した画像及びクラスタリングを利用して検索した画像を検索結果として表示装置（不図示）に表示する（ステップＳ６０）。尚、クラスタリング処理は統計学を利用した方法であり、上記以外にも数多くの手法が知られている。本実施の形態で説明した以外のクラスタリング手法を利用するものであっても良い。
【０１６７】
［効果］
第３の実施の形態の画像検索装置によれば、属性値に基く検索と記号検索を複合して類似画像を検索し、更にクラスタリングに基づく画像検索を併せて適用しているため、類似画像検索の洩れを減少させて、検索精度を更に高めることができる。
【０１６８】
以上説明したように各実施の形態によれば、従来のキーワードを付与する作業に比べ、「記号」なる概念を導入して構成しているため付与作業労力を大幅に軽減することができる。また、付与する記号はキーワードである必要がないので、検索時にキーワードを選定する煩わしさもない。また、従来の類似画像検索方法に加えて記号検索を複合して使用するため、類似画像の検索精度が向上する。
【０１６９】
また、属性値に基づく重み係数を取り入れているため、類似画像検索の精度を向上させることができる。
【０１７０】
また、クラスタリングに基づく画像検索を取り入れているため、類似画像検索の洩れを減少させて、検索精度を更に高めることができる。
【０１７１】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【０１７２】
更に、各機能は図示しない記憶媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１７３】
尚、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１７４】
【発明の効果】
本発明によれば、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い画像検索を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図。
【図２】原画像を登録する際の画像検索装置の各機能の関連を示す図。
【図３】原画像を登録する場合の概略の処理手順を示すフロー図。
【図４】インデックスデータの構成を示す図。
【図５】原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図。
【図６】原画像に記号を付与する場合の概略の処理手順を示すフロー図。
【図７】記号エリアの構成を示す図。
【図８】第１の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図９】画像検索方法の概略の処理手順を示すフロー図。
【図１０】加算方法を説明する図。
【図１１】第２の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図１２】画像検索方法の概略の処理手順を示すフロー図。
【図１３】第３の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図１４】画像検索方法の各機能の関連を示す図。
【図１５】クラスタリングの手順を示す図
【符号の説明】
１…画像検索装置、４…画像処理部、５…属性処理部、６…記号処理部、７…クラスタ分析部、８…画像ＤＢ、９…バッファメモリ、１１…画像入力部、１２…インデックス画像作成部、１３…画像表示部、１４…画像選択部、１８…属性処理部、１９…属性分析部、２０…類似度計算部、２３…記号付与部、２４…記号加算部、２５…記号検索部、２６…重み処理部、２８…原画像領域、２９…インデックス画像領域、３０…インデックスデータ領域、３３…参照画像メモリ、３４…候補インデックスメモリ、３７ｄ…属性値エリア、３７ｅ…記号エリア、４１…クラスタリング処理部、４２…クラスタリング判定部、４３…パラメータ検索部。
【発明の属する技術分野】
本発明は、画像を記憶した画像データベースから所望の画像を検索するための画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
画像を検索する方法には大きく分けて次の２種類の方法が知られている。
【０００３】
第１の方法は、予め画像にその内容を反映したキーワードを人間が付与し、検索時には、ユーザーが入力したキーワードと同等のキーワードが付与された画像を画像データベースより抽出して、提示するものである。
【０００４】
この方法では、各画像ごとに適切なキーワードを付与する作業が大変であるという問題がある。またユーザーとキーワードを付与した人が別人である場合には、概念的には同じであっても参照キーワードが画像データベースで使用されているキーワードとは一致しない場合もあり、検索洩れを生じるという問題もある。
【０００５】
第２の方法は、画像の持つ色や形状、テクスチャーなど、画像の物理的特徴を定量化した属性値を利用して情報処理装置が自動的に検索するものであり、参照画像と各属性値を比較して類似性の高い画像を画像データベースより抽出して検索結果として提示する。
【０００６】
この方法では、所定のアルゴリズムに基づいて属性値が比較され、類似度が高いとして抽出された画像が、人間の視覚では必ずしも参照画像とは類似性が高いとは限られず、むしろ類似性が人間の感覚的には低い場合も多く、検索精度が低いという問題も指摘されていた。
【０００７】
以上の問題を回避するための技術として、データベース中の同一のキーワードを付与された画像の集合について、特徴量ベクトルと重要度を求めて、キーワードを属性値に変換し、その属性値を基に画像検索を行う方法が提案されている（例えば、特許文献１参照）。
【０００８】
また他の技術としては、画像に付与したキーワードで検索を実行し、検索結果の画像の属性値を用いて類似検索を実行する方法が提案されている（例えば、特許文献２参照）
【０００９】
【特許文献１】
特開２００２−１４０３７２号公報
【００１０】
【特許文献２】
特開平１０−２８９２０号公報
【００１１】
【発明が解決しようとする課題】
しかしながら特許文献１に記載の方法では、従来通り人間が画像にキーワードを付与する必要があるため、キーワード付与作業に多くの労力を要することになる。また同一のキーワードが付与された画像の特徴量ベクトルの分布が特徴空間上で十分に局在化するとの保証は得られていないため、類似画像を精度良く検索できるとは限らない。
【００１２】
また、特許文献２に記載の方法でもキーワードを用いているため、画像にキーワードを付与することは大きな負担となる。更に、同一キーワードを持つ画像であっても画像の属性値が大きく異なる場合があるため、属性値に基づいて類似画像を検索しても検索精度の低下を解決できるとは限らない。
【００１３】
本発明は、かかる事情に鑑みてなされたものであって、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い検索を行うことのできる画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解消するための本発明に係る請求項１に記載の画像検索装置は、画像を入力する画像入力手段と、入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、前記画像保存手段に保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与手段と、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当て手段とを備えた。
【００１５】
また本発明に係る請求項２に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１６】
また本発明に係る請求項３に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１７】
また本発明に係る請求項４に記載の画像検索装置は、画像を入力する画像入力手段と、入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、前記画像保存手段に保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当て手段とを備えた。
【００１８】
また本発明に係る請求項５に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えた。
【００１９】
また本発明に係る請求項６に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像の信頼度から検索する第２の検索手段とを備えた。
【００２０】
また本発明に係る請求項７に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えた。
【００２１】
また本発明に係る請求項８に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えた。
【００２２】
また本発明に係る請求項９に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記第１の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えた。
【００２３】
また本発明に係る請求項１０に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記第２の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えた。
【００２４】
また本発明に係る請求項１１に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記第１の検索手段は、前記類似度の大きい順番に前記画像保存手段に保存された画像の順序付けを行う画像ソート手段を備えた。
【００２５】
また本発明に係る請求項１２に記載の画像検索装置は、上記記載の発明である画像検索装置において、前記数値割り当て手段は、前記選択された第２の画像の前記属性値の分布状態を表わす統計量に基づいて前記類似の信頼度を表わす数値を算出する数値算出手段を備えた。
【００２６】
また本発明に係る請求項１３に記載の画像検索方法は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとを備えた。
【００２７】
また本発明に係る請求項１４に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００２８】
また本発明に係る請求項１５に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００２９】
また本発明に係る請求項１６に記載の画像検索方法は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとを備えた。
【００３０】
また本発明に係る請求項１７に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えた。
【００３１】
また本発明に係る請求項１８に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとを備えた。
【００３２】
また本発明に係る請求項１９に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えた。
【００３３】
また本発明に係る請求項２０に記載の画像検索方法は、上記記載の発明である画像検索方法において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えた。
【００３４】
また本発明に係る請求項２１に記載の画像検索プログラムは、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させる。
【００３５】
また本発明に係る請求項２２に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３６】
また本発明に係る請求項２３に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３７】
また本発明に係る請求項２４に記載の画像検索プログラムは、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させる。
【００３８】
また本発明に係る請求項２５に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００３９】
また本発明に係る請求項２６に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させる。
【００４０】
また本発明に係る請求項２７に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させる。
【００４１】
また本発明に係る請求項２８に記載の画像検索プログラムは、上記記載の発明である画像検索プログラムにおいて、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させる。
【００４２】
また本発明に係る請求項２９に記載の記録媒体は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した。
【００４３】
また本発明に係る請求項３０に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４４】
また本発明に係る請求項３１に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させる。
【００４５】
また本発明に係る請求項３２に記載の記録媒体は、画像を入力する画像入力ステップと、入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した。
【００４６】
また本発明に係る請求項３３に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４７】
また本発明に係る請求項３４に記載の記録媒体は、上記記載の発明である記録媒体において、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、検索された第３の画像の縮小画像を表示するステップと、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４８】
また本発明に係る請求項３５に記載の記録媒体は、上記記載の発明である記録媒体において、前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００４９】
また本発明に係る請求項３６に記載の記録媒体は、上記記載の発明である記録媒体において、前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した。
【００５０】
【発明の実施の形態】
［第１の実施の形態］
図１は、本発明に係る第１の実施の形態の画像検索装置の構成を示すブロック図である。以下、検索対象となる画像を「原画像」という。
【００５１】
画像検索装置１は、画像データを取り扱う画像処理部４、画像の属性データを取り扱う属性処理部５、画像がそのカテゴリに属するかどうかを表わす記号を取り扱う記号処理部６、画像のクラスタ分析を行うクラスタ分析部７、原画像の記憶領域である画像ＤＢ８、及びその他のデータ記憶領域であるバッファメモリ９で構成されている。
【００５２】
画像処理部４には、画像入力部１１、インデックス画像作成部１２、画像表示部１３及び画像選択部１４が設けられている。
【００５３】
画像入力部１１は、画像入力装置（不図示）から原画像を画像検索装置１に取り込む。インデックス画像作成部１２は、画像ＤＢ８に記憶されている原画像の縮小画像であるインデックス画像を作成する。画像表示部１３は、インデックス画像や原画像を表示装置（不図示）に表示する。画像選択部１４は、ユーザの画像選択操作を支援する。
【００５４】
属性処理部５には、属性処理部１８、属性分析部１９、及び類似度計算部２０が設けられている。
【００５５】
属性処理部１８は、原画像の属性値を求める。属性分析部１９は、属性処理部１８に従属して、種々の属性値を原画像から抽出する。類似度計算部２０は、画像同士の類否を判断するための指数を属性値に基づいて計算する。
【００５６】
記号処理部６には、記号付与部２３、記号加算部２４、記号検索部２５及び重み処理部２６が設けられている。
【００５７】
記号付与部２３は、画像表示部１３に表示されたインデックス画像をもとに、参照画像と類似であるとして画像選択部で選択された原画像すべてに同じ記号を付与する。原画像が参照画像に類似する場合には、その参照画像について、各原画像に付与された記号領域の特定の桁に対して参照画像に類似するカテゴリに属するとして、例えば「１」を付与する。尚、原画像がその参照画像に類似しない場合には、上記記号領域の同一カテゴリの桁に例えば「０」を付与する。記号加算部２４は、複数の原画像について記号の加算演算を行う。記号検索部２５は、所定の記号が「１」となっている原画像を検索する。重み処理部２６は、記号の加算演算に使用する重み係数を設定し、また重み付けの乗算演算を行う。
【００５８】
クラスタ分析部７には、クラスタリング処理部４１、クラスタリング判定部４２及びパラメータ検索部４３が設けられている。
【００５９】
クラスタリング処理部４１は、画像を属性値に基づいてクラスタに分類する。クラスタリング判定部４２は、局在化しているクラスタが存在するかどうかを判定する。パラメータ検索部４３は、所定の属性をもつ画像を検索する。
【００６０】
画像ＤＢ８には、原画像領域２８、インデックス画像領域２９、及びインデックスデータ領域３０が設けられている。
【００６１】
原画像領域２８には、検索対象となる原画像が格納されている。インデックス画像領域２９には原画像を縮小したインデックス画像が格納されている。インデックスデータ領域３０には、原画像、インデックス画像にアクセスするためのアドレスと、原画像の属性値等の情報が格納されている。
【００６２】
バッファメモリ９には、画像検索時に基準となる画像である参照画像を格納する参照画像メモリ３３、及び検索の中間段階において選択された原画像の格納アドレス等を格納する候補インデックスメモリ３４が備えられている。
【００６３】
［動作］
次に、本画像検索装置１の動作について説明する。
【００６４】
ユーザは準備段階での作業として、画像検索装置１に対して原画像の登録を行う。
図２は、原画像を登録する際の画像検索装置の各機能の関連を示す図であり、図３は、原画像を登録する際の概略の処理手順を示すフロー図である。
【００６５】
画像入力部１１は画像入力装置（不図示）から原画像を読込む（ステップＳ１）。そして、画像入力部１１は読込んだ原画像を画像ＤＢ８の原画像領域２８に格納するとともに、属性処理部１８を起動する。
【００６６】
属性処理部１８は制御変数Ｐを初期値１に設定して、Ｐ番目の属性分析部１９を起動する（ステップＳ２）。
【００６７】
Ｐ番目の属性分析部１９は、読込んだ原画像についてＰ番目の属性値を求める（ステップＳ３）。ここで、原画像の属性値とは、原画像に表わされた色、形状、テクスチャー等の画像の物理的な属性を数値化した値である。従って、ここでいう属性値は色彩、形状などの物理的構成要素に関して定量化して表わされる量であって、人間の主観による感覚的要素に基づく値ではない。
【００６８】
属性処理部１８はＰ番目の属性分析部１９が求めた属性値Ｐを、インデックスデータ領域３０に保存されているインデックスデータ３７の属性値エリアに格納する（ステップＳ４）。
【００６９】
図４は、インデックスデータ３７の構成を示す図である。
インデックスデータ３７には、原画像を特定する画像ＩＤ３７ａ、原画像が格納されている原画像領域２８内のアドレスを示す原画像アドレス３７ｂ、原画像の縮小画像であるインデックス画像が格納されているインデックス画像領域２９内のアドレスを示すインデックス画像アドレス３７ｃ、原画像の属性値を複数格納するための属性値エリア３７ｄ、及び原画像に付与されたカテゴリに対応する記号と全記号数を格納するための記号エリア３７ｅが設けられている。
【００７０】
本明細書で使用する「カテゴリ」とは、要求者が提示した参照画像と視覚的に同一であると判断した画像であることを識別するための記号のことであり、後述する参照画像毎に定められる。原画像がＪ番目のカテゴリに属するとは、要求者が提示したＪ番目の参照画像と当該原画像が視覚的に類似していることを意味し、記号エリア３７ｅの「記号Ｊ」が１となっている。
【００７１】
次に、所定数Ｎの全属性値を求めたかどうかを調べる（ステップＳ５）。そして、まだ所定数Ｎの属性値を求めていない場合（ステップＳ５ Ｎｏ）は、制御変数Ｐをカウントアップして（ステップＳ６）、ステップＳ３〜Ｓ４の処理を繰り返す。
【００７２】
所定数Ｎの属性値が求められている場合（ステップＳ５ Ｙｅｓ）は、インデックス画像作成部１２が原画像に基づいて原画像の縮小画像であるインデックス画像を作成し、インデックス画像領域２９に格納するとともにインデックスデータ３７のインデックス画像アドレス３７ｃを更新する（ステップＳ７）。
【００７３】
次に、全ての原画像の登録が完了したかどうかを調べる（ステップＳ８）。まだ登録するべき画像が残っている場合（ステップＳ８ Ｎｏ）は、ステップＳ１〜ステップＳ７の処理を繰り返す。
【００７４】
全ての画像の登録が完了した場合（ステップＳ８ Ｙｅｓ）は、画像の登録処理を終了する。なお、原画像の登録は一度に行う必要はなく、必要に応じて繰り返される。
【００７５】
続いてユーザは、画像検索装置１に登録した原画像毎に記号を付与する。ここで本発明において使用される「記号」は、従来のキーワードに類似した概念であるが、キーワードよりも更に広い上位の概念である。即ち、キーワードが「言葉」に基づいて画像の特徴を表わすのに対して、「記号」は言葉によって概念化して限定するものではなく、画像の視覚的な類似性によってグループ化するためのものである。類似であると判断された画像は同じカテゴリに属すると表現され、記号エリア３７ｅの同一の桁に１が格納される。記号エリア３７ｅの記号数を除く各桁がそれぞれのカテゴリを表わす。
【００７６】
図５は、原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図であり、図６は、原画像に記号を付与する場合の概略の処理手順を示すフロー図である。
【００７７】
ユーザは原画像に記号を付与する際の基準となる参照画像を用意する（ステップＳ１０）。ここで、参照画像は従来のキーワードに替わるものであり、以下の処理では参照画像に類似するか否かの記号を原画像に付与する。
【００７８】
画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ１１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、画像ＤＢ８の原画像領域２８に格納されている原画像から選択しても良い。
【００７９】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ１２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【００８０】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて類似度を算出し、参照画像に類似する原画像を特定する（ステップＳ１３）。類似の判断は、参照画像と原画像の複数の属性値１〜Ｍを比較することで行う。例えば、属性値１〜Ｍをパラメータとする関数を設定し、参照画像の関数値と原画像の関数値が近似していれば、その原画像は参照画像に類似しているものと判断することができる。そして、この類似度の大きい順に原画像に順序付けを行う。
【００８１】
画像表示部１３は類似度の高い順に特定された原画像のインデックス画像をインデックス画像領域２９から取り出して、所定数だけ表示装置（不図示）に表示する（ステップＳ１４）。そして、ユーザに対して選択するように促す指示を出力する。
【００８２】
ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した原画像を複数枚（１枚又は０枚も可）選択する（ステップＳ１５）。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。
【００８３】
記号付与部２３は選択された原画像に対するインデックスデータ３７の記号エリア３７ｅに記号を付与する（ステップＳ１６）。
【００８４】
図７は、記号エリア３７ｅの構成を示す図である。記号付与部２３は選択された原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「１」を記載する。また、記号付与部２３は選択されていない原画像の記号エリア３７ｅにある「記号数」に１を加算してＭとするとともに、新たに設けた「記号Ｍ」の位置に数字の「０」を記載する。
【００８５】
１種類の参照画像について複数の記号付けが可能な場合に、記号付与が完了したか否かの判定を行う（ステップＳ１７）。
【００８６】
１種類の参照画像であっても、画像に複数の被写体が写っている場合には、それぞれの被写体ごとに別の記号を付与することができる。また、着眼点を変えることによって単一の被写体しか写っていなくても複数の記号を付与することができる。例えば、色と形は別物として記号を付与することができる。そして、記号付与が完了していない場合（ステップＳ１７ Ｎｏ）、ステップＳ１５〜Ｓ１６の処理を繰り返す。
【００８７】
記号付与が完了している場合（ステップＳ１７ Ｙｅｓ）、後述する記号加算処理で用いる重み係数を計算する。
【００８８】
重み処理部２６は、「記号Ｍ」の位置に「１」が記載された画像について、インデックスデータ３７中の、属性値エリア３７ｄを参照する。そして、属性値１〜Ｎを要素とする属性値ベクトルＸｉ（ｉ＝１〜Ｋ）を定義する。ここで、Ｋは、「記号Ｍ」の位置に「１」が記載された画像の数がＫであることを意味する。
【００８９】
そして、属性値ベクトルＸｉの各要素（属性値）をｘｉｊ（ｊ＝１〜Ｎ）として、属性値ごとに、式（１）に示す分散σｊを計算する（ステップＳ１８）。
【００９０】
【数１】
次に、重み処理部２６は、分散σｊ（ｊ＝１〜Ｎ）に基づいて重み係数を算出する（ステップＳ１９）。この際、分散が大きい場合は、重み係数は小さな値とし、分散が小さい場合は、重み係数は大きな値となるように算出が行われる。
【００９２】
分散が大きいときは、「記号Ｍ」の位置に「１」が記載された画像の属性値のばらつきが大きいことを表わしている。従って、類似度に及ぼす属性値の影響、言い換えれば類似度の信頼性は低いと考えられる。このため、この位置の記号が類似度に寄与する程度は相対的に低いと考えられ、重み係数は相対的に小さな値とするのが妥当である。
【００９３】
これと逆に、分散が小さいときは、「記号Ｍ」の位置に「１」が記載された画像の属性値のばらつきが小さいことを表わしている。従って、類似度に及ぼす属性値の影響、言い換えれば類似度の信頼性は高いと考えられる。このため、この位置の記号が類似度に寄与する程度は相対的に高いと考えられ、重み係数は相対的に大きな値とするのが妥当である。
【００９４】
尚、重み係数は、上述の関係を充足できるものであれば、例えば、分散の逆数で定義しても良く、一般的に分散σｊ（ｊ＝１〜Ｎ）をパラメータとする関数を設定し、その関数値で定義しても良い。また、分散を用いなくても、属性値のばらつきを表す統計量を求めてその値に基づいて重み係数を算出しても良い。例えば、最大値と最小値の差を用いることもできる。
【００９５】
また、重み係数の算出に際しては、属性値間の個体差を排除するため、それぞれの属性値を正規化した後、上述の演算を行うことが好ましい。算出したカテゴリＭに関する重み係数はインデックスデータ領域に記憶される。
【００９６】
次に、記号付与作業を終了するかどうかを調べる（ステップＳ２０）。例えば、全ての参照画像についての記号付与処理が終了したかどうかを調べる。
【００９７】
そして、未処理の参照画像が残っている場合（ステップＳ２０ Ｎｏ）は、ステップＳ１２〜Ｓ１９の処理を繰り返す。全ての参照画像についての記号付与処理が終了した場合（ステップＳ２０ Ｙｅｓ）は、本記号付与処理を終了する。
【００９８】
尚、本実施の形態では、記号は「１」、「０」を用いているが、本発明はこの形態に限定されるものではない。記号は、英字、特殊記号でもよく、特に意味のあるものである必要はない。また、記号１〜Ｍがどのような被写体か又は被写体の性質かということは不必要な情報である。この点がキーワード自体に特定の意味内容を必要とするキーワード方式と本質的に異なる点である。
【００９９】
また、本実施の形態では、属性値に基き定量的に類否を判断するだけでなく、それに加えて人間が視覚的に判断した参照画像との類似結果を記号として取り込んでいる点に特徴がある。一般に画像の類否は主観的な要素が大きく入り込むものであると考えられる。そうすると、画像の数値化された物理データに基づく機械的な判断に留まらず人間の視覚的判断を加味するように構成することで本画像検索装置１を使用するユーザの主観に近い結果を提供することが可能となる。
【０１００】
更に、本実施の形態では参照画像が読込まれて記号付与処理がされる度に図７に示す「記号数」に記載されている数字は１インクリメントされ、記号を付与するためのデータ領域即ちカテゴリは増加する。このことは、画像を特徴付ける記号情報は参照画像との類似画像選択を繰り返すに従って成長していくように構成されていることを意味している。従って、類似判定回数が増加するほど検索精度が良くなるという効果が期待できる。
【０１０１】
一方、本実施の形態は、キーワードを使用しないことに特徴があるが、ステップＳ１０からＳ１６は、従来のキーワード検索でのキーワード付与に応用することができる。ステップＳ１０からＳ１５で選択した画像に同一のキーワードを付与することにより、各画像ごとにそれぞれキーワードを付与するよりも簡単にキーワード付与ができる。
【０１０２】
次に画像検索方法について説明する。
【０１０３】
図８は、第１の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図９は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１０４】
ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ２１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１０５】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ２２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１０６】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ２３）。
【０１０７】
類似の判定は、参照画像と原画像それぞれの複数の属性値１〜Ｎの関数として求められる類似度の大小により行われる。例えば、参照画像の属性値１〜Ｎをまとめて、参照画像の属性値ベクトルＶ、同様にｈ番目の原画像の属性値ベクトルをＵｈとし、類似度Ｄｈを式（２）を用いて算出する。
【０１０８】
Ｄｈ＝（Ｕｈ−Ｖ）・（Ｕｈ−Ｖ） …式（２）
なお、演算子”・”は式（３）に示す、ベクトルの内積を表わす。
【０１０９】
Ｗ・Ｖ＝Ｗ１×Ｖ１＋Ｗ２×Ｖ２＋…＋ＷＮ×ＶＮ …式（３）
式（２）のＤｈはｈ番目の原画像の属性ベクトルと参照画像の属性ベクトル間のユークリッド距離の２乗を表し、類似性の指標となる。すなわち、距離が近い（Ｄｈが小さい）ほど類似度が大きくなる。
【０１１０】
また、各属性に重み付けをして距離を算出し、これを属性値とすることで、各属性値の特性の違い（例えば色と形状）を補正してより妥当な類似性の指標とすることができる。
【０１１１】
この場合、各属性に重みを表す重みベクトルをＷとして、類似度Ｄｈを式（４）で表わす。
Ｄｈ＝（Ｗ＊Ｕｈ−Ｗ＊Ｖ）・（Ｗ＊Ｕｈ−Ｗ＊Ｖ） …式（４）
なお、”＊”は式（５）に示す、２つのベクトルの要素ごとに掛け算した値を要素とするベクトルの演算子である。
【０１１２】
Ｗ＊Ｖ＝（Ｗ１×Ｖ１，Ｗ２×Ｖ２，…，ＷＮ×ＶＮ） …式（５）
重みとしては、ステップＳ１８、１９で示した重み係数を算出するための演算処理を適用して求めることができる。例えば、多数のサンプル画像から求めた各属性値サンプルの分散の逆数などを使用する。
【０１１３】
そして、類似度計算部２０は、選別した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【０１１４】
記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。そして、重み処理部２６が、この加算結果に重み係数を掛けてカウント値を算出する（ステップＳ２４）。
【０１１５】
図１０は、加算方法を説明する図である。
【０１１６】
図１０は、上位Ｋ個の原画像（Ｉｍａｇｅ１〜Ｋ）に対応した記号エリア３７ｅの記号１〜Ｍを示している。記号加算部２４は、記号１〜Ｍ毎にデータを加算する。即ち、記号１〜Ｍ毎にその記号が表わすカテゴリに類似している原画像の個数を求める。図１０の下段には、加算した結果を示している。
【０１１７】
次に、重み処理部２６が、この加算結果に重み係数を掛けた新たな加算値を算出する。ここで使用する重み係数は、ステップＳ１８、Ｓ１９で求めた値であり、記号１〜Ｍ毎に値が定められている。図１０の最下段には、補正後の新たな加算値を示している。
【０１１８】
即ち、記号１では当初の加算値１５が、重み係数０．７を掛けられることによって新たな加算値１０．５に変化している。同様に、記号２では当初の加算値１９が、重み係数１．１を掛けられることによって新たな加算値２０．９に変化している。
【０１１９】
記号加算部２４は、新たな加算値に基づいて大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号２と記号４と記号Ｍが選定される（ステップＳ２５）。
【０１２０】
このことが意味することは、参照画像に「良く」類似しているものとされる原画像は、記号２と記号４と記号Ｍで表わされる視覚的特徴を備えたものが多いということである。即ち、記号２と記号４と記号Ｍで表わされる視覚的特徴を備えた原画像は、参照画像に類似している可能性が高いと判断するのである。
【０１２１】
尚、本実施の形態では、記号と重みを分けて処理しているが、記号として０，１ではなくて、重みを含めたものを記号としても良い。この場合、記号エリア３７ｅには重み付けられた記号が格納され、検索時には、記号加算部２４で各記号ごとにその値を加算処理するだけで重み付け処理が完了し、重み処理部２６は不要とすることができる。
【０１２２】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する（ステップＳ２６）。尚、このように記号に基づいて画像を選択する方式を記号検索方式と呼ぶ。
【０１２３】
画像表示部１３は、一次選択画像と記号検索方式によって抽出した画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ２７）。
【０１２４】
［効果］
第１の実施の形態の画像検索装置によれば、属性値に基く検索と記号検索を複合して類似画像を検索するため、検索精度を高めることができる。即ち、属性値に基く検索は色彩、形状などの物理的構成要素に基づいて類似を判断するものであるため、それのみの基準で選定された類似画像は、人間が視覚的に類似していると感じるものであるとは限らない。そこで、人間の主観による感覚的要素を取り入れて類似を判断する記号検索方式を併せて適用することによって類似画像検索の洩れを減少させて、検索精度を高めることができる。
【０１２５】
また、属性値に基づく重み係数を取り入れているため、精度の高い類似画像の検索を行うことができる。
【０１２６】
［第２の実施の形態］
次に本発明に係る第２の実施形態の画像検索装置について説明する。第２の実施形態の画像検索装置の構成は、前記図１に示した第１の実施形態の画像検索装置の構成と同一であるため、同様部分には同一の符号を付して、図示及び詳細の説明は省略する。
【０１２７】
［動作］
図１１は、第２の実施形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図１２は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１２８】
ユーザは検索したい原画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ３１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１２９】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ３２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１３０】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ３３）。類似の判断は、前記第１の実施の形態と同様の方法で行う。
【０１３１】
そして、類似度計算部２０は、選別した複数の一次選択画像のインデックスデータ３７を類似度の高い順にソートし、候補インデックスメモリ３４に格納する。
【０１３２】
画像表示部１３は、一次選択画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ３４）。
【０１３３】
ユーザは表示されたインデックス画像を見て、参照画像に類似すると判断した画像を複数枚（１枚又は０枚も可）選択する（ステップＳ３５）。画像選択部１４は、ユーザの選択操作をサポートするとともに、選択された画像についての情報を取り込む。尚、０枚選択は、表示された全ての画像を選択したのと同等として処理する。
【０１３４】
記号加算部２４は、ユーザが選択した原画像を対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号のデータを加算し、重み処理部２６がその加算値に重み係数を掛けてカウント値を算出する（ステップＳ３６）。尚、加算方法は第１の実施の形態の検索方法で述べた方法と同様のため詳細の説明は省略する。
【０１３５】
記号加算部２４は、加算した結果数字の大きい上位Ｔ番目までの記号を選定する（ステップＳ３７）。
【０１３６】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３７に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする（ステップＳ３８）。
【０１３７】
画像表示部１３は、一次選択画像と記号検索によって抽出した原画像のインデックス画像を検索結果として表示装置（不図示）に表示する（ステップＳ３９）。
【０１３８】
［効果］
第２の実施の形態の画像検索装置によれば、一次選択画像から人間の視覚に基づいて類似画像を選択し、その選択された画像に基づいて記号検索方式を適用しているため、記号検索による類似画像検索の精度を更に高めることができる。
【０１３９】
［第３の実施の形態］
次に本発明に係る第３の実施形態の画像検索装置について説明する。第３の実施形態の画像検索装置の構成は、前記図１に示した第１の実施形態の画像検索装置の構成と同一であるため、同様部分には同一の符号を付して、図示及び詳細の説明は省略する。
【０１４０】
［動作］
図１３は、第３の実施形態の画像検索装置に係る画像検索方法の各機能の関連を示す図であり、図１４は、その画像検索方法の概略の処理手順を示すフロー図である。
【０１４１】
ユーザは検索したい画像に類似した参照画像を用意する。画像入力部１１は画像入力装置（不図示）から参照画像を読込む（ステップＳ５１）。そして、画像入力部１１は読込んだ参照画像をバッファメモリ９の参照画像メモリ３３に格納する。尚、参照画像は画像入力装置（不図示）から読込むのではなく、あらかじめ参照画像メモリ３３に格納されているものを選択するようにしても良く、また原画像領域２８に格納されている原画像を参照画像として選択しても良い。
【０１４２】
類似度計算部２０は参照画像メモリ３３から参照画像を取り出し、その参照画像について前述の属性値を計算する（ステップＳ５２）。即ち前述のステップＳ３、Ｓ４の手順に従って、属性分析部１９で処理した複数の属性値を得る。
【０１４３】
類似度計算部２０はインデックスデータ領域３０に格納されているインデックスデータ３７に基づいて、参照画像に類似する原画像を選別する（ステップＳ５３）。類似の判定方法は、ステップＳ２３と同様である。
【０１４４】
そして、類似度計算部２０は、選別した複数の原画像（以下、「一次選択画像」という）のインデックスデータ３７を類似度の高い順にソートし、候補インデックスデータとして候補インデックスメモリ３４に格納する。
【０１４５】
記号加算部２４は、一次選択画像の内類似度の高い上位Ｋ番目までを対象として、候補インデックスメモリ３４からインデックスデータ３７を取り出して、記号エリア３７ｅの同一記号に付与されているデータ（本実施例では「１」又は「０」）を加算する。そして、重み処理部２６が、この加算結果に重み係数を掛けてカウント値を算出する（ステップＳ５４）。カウント値の算出方法は、ステップＳ２４と同様である。
【０１４６】
記号加算部２４は、新たな加算値について大きい上位Ｔ番目までの記号を選定する。Ｔ＝３とすれば、図１０に示すように、記号２と記号４と記号Ｍが選定される（ステップＳ５５）。
【０１４７】
記号検索部２５は、選定されたＴ個の記号の内少なくともＳ個以上の記号が「１」となっている原画像をインデックスデータ３３に基づいて検索する。そして、記号に基づいて検索する画像は、上記原画像のうち一次選択画像として選択されていない画像とする。即ち、属性値に基づいて選択した原画像に加え、記号に基づいて検索した原画像を参照画像に類似する画像として抽出する（ステップＳ５６）。
【０１４８】
クラスタリング処理部４１は、一次選択画像と記号検索方式によって抽出した画像とを属性値に基づいてクラスタに分類（クラスタリング）する（ステップＳ５７）。
【０１４９】
図１５は、クラスタリングの手順を示す図である。
【０１５０】
クラスタリング処理の基準値である、最小距離Ｄとクラスの最小要素数Ｎｍｉｎを設定する（ステップＴ１）。
【０１５１】
候補画像の全てがいずれかのクラスＣｉに属しているかどうかを調べる（ステップＴ２）。そして、いずれかのクラスＣｉに属していない候補画像がある場合には（ステップＴ２ Ｎｏ）、候補画像から２枚の画像を選択する（ステップＴ３）。そして少なくとも１方の画像がいずれのクラスＣｉにも属さない組合せであるかかどうかを調べる（ステップＴ４）。
【０１５２】
候補画像の２枚の組合せの内、少なくとも１方の画像がいずれのクラスＣｉにも属さない組合せが有る場合（ステップＴ４ Ｙｅｓ）は、それら２枚の画像（画像Ａ及び画像Ｂ）の属性値の距離ＸＡＢを計算する（ステップＴ５）。
【０１５３】
ここで、画像Ａ及びＢの属性値の距離ＸＡＢの２乗は式（６）で定義される。
【０１５４】
ＸＡＢ ２＝（ＸＡ−ＸＢ）２ …式（６）
ＸＡ：画像Ａの属性値ベクトル
ＸＢ：画像Ｂの属性値ベクトル
そして、属性値の距離ＸＡＢが一番小さくなる画像Ａ、Ｂの組合せを選択する（ステップＴ６）。即ち、ここで選択された画像Ａ，Ｂは同一のクラスに属する可能性が最も高い組合せとなっている。
【０１５５】
属性値の距離ＸＡＢと基準値である最小距離Ｄとを比較する（ステップＴ７）。
【０１５６】
属性値の距離ＸＡＢが基準値である最小距離Ｄよりも小さい場合（ステップＴ７ Ｙｅｓ）は、ここで選択された画像Ａ，Ｂは同一のクラスに属するものと判断される。
【０１５７】
そこで、画像Ａ、Ｂの一方がいずれかのクラスに属しているかどうかを調べる（ステップＴ８）。
【０１５８】
画像Ａ、Ｂのいずれか１方がクラスＣｉに属している場合（ステップＴ８ Ｙｅｓ）は、他方の画像も同じクラスＣｉに属すべきとして、クラスＣｉに登録する（ステップＴ９）。そして、再びステップＴ２以降を実行する。
【０１５９】
画像Ａ、ＢのいずれもがクラスＣｉに属していない場合（ステップＴ８ Ｎｏ）は、画像Ａ、Ｂを新たなクラスＣｊに登録する（ステップＴ１０）。そして、再びステップＴ２以降を実行する。
【０１６０】
属性値の距離ＸＡＢが基準値である最小距離Ｄよりも大きい場合（ステップＴ７ Ｎｏ）は、ここで選択された画像Ａ，Ｂは同一のクラスには属さないものと判断される。そこで、画像Ａ、Ｂの内クラスに属していない画像を新たなクラスに登録する（ステップＴ１１）。この時、画像Ａ，Ｂいずれもが、クラスに属していない場合には、それぞれの画像を別の新しいクラスに登録する。そして、再びステップＴ２以降を実行する。
【０１６１】
候補画像の全ての画像がいずれかのクラスＣｉに属している場合（ステップＴ２ Ｙｅｓ）は、クラスタリング処理は終了する。
【０１６２】
以上の、クラスタリング処理の後、クラスタリング判定部４２が、局在化したクラスタが存在するかどうかを調べる（ステップＳ５８）。即ち、クラスに属する要素数（画像数）が最小要素数Ｎｍｉｎよりも大きく、なおかつ、そのクラスに属する全ての画像の属性値が所定の範囲内にあるクラスが存在する場合は、当該クラスを局在クラスであると判定し、それらのクラスを候補クラスとする。
【０１６３】
即ち、抽出した画像の内、特徴的な属性値をもつ画像が多数存在している場合は、その特徴的な属性値に近い属性値を有する画像を類似する画像として新たに検索しようとするものである。
【０１６４】
局在化したクラスが存在する場合（ステップＳ５８ Ｙｅｓ）は、パラメータ検索部４３が、候補クラスタに属する画像の属性値を調べ、その属性値の分布範囲内に含まれる属性値をもつ原画像を検索する（ステップＳ５９）。そして、検索する画像は、原画像のうちステップＳ５６で選択されていない画像とする。
【０１６５】
ここで、属性値の分布範囲とは、当該クラスタに属するものと判断できる属性値の範囲のことを意味する。例えば、そのクラスタに属する画像の特徴ベクトルの重心との距離が所定値以下にある原画像を検索することをいう。
【０１６６】
画像表示部１３は、一次選択画像、記号検索方式によって抽出した画像及びクラスタリングを利用して検索した画像を検索結果として表示装置（不図示）に表示する（ステップＳ６０）。尚、クラスタリング処理は統計学を利用した方法であり、上記以外にも数多くの手法が知られている。本実施の形態で説明した以外のクラスタリング手法を利用するものであっても良い。
【０１６７】
［効果］
第３の実施の形態の画像検索装置によれば、属性値に基く検索と記号検索を複合して類似画像を検索し、更にクラスタリングに基づく画像検索を併せて適用しているため、類似画像検索の洩れを減少させて、検索精度を更に高めることができる。
【０１６８】
以上説明したように各実施の形態によれば、従来のキーワードを付与する作業に比べ、「記号」なる概念を導入して構成しているため付与作業労力を大幅に軽減することができる。また、付与する記号はキーワードである必要がないので、検索時にキーワードを選定する煩わしさもない。また、従来の類似画像検索方法に加えて記号検索を複合して使用するため、類似画像の検索精度が向上する。
【０１６９】
また、属性値に基づく重み係数を取り入れているため、類似画像検索の精度を向上させることができる。
【０１７０】
また、クラスタリングに基づく画像検索を取り入れているため、類似画像検索の洩れを減少させて、検索精度を更に高めることができる。
【０１７１】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【０１７２】
更に、各機能は図示しない記憶媒体に格納したプログラムをコンピュータに読み込ませることで実現させることもできる。ここで本実施の形態における記憶媒体は、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０１７３】
尚、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【０１７４】
【発明の効果】
本発明によれば、多くの労力を要するキーワード付与作業を必要とせず、簡便で洩れの少ない精度の良い画像検索を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る画像検索方法が適用される画像検索装置の構成を示すブロック図。
【図２】原画像を登録する際の画像検索装置の各機能の関連を示す図。
【図３】原画像を登録する場合の概略の処理手順を示すフロー図。
【図４】インデックスデータの構成を示す図。
【図５】原画像に記号を付与する場合の画像検索装置の各機能の関連を示す図。
【図６】原画像に記号を付与する場合の概略の処理手順を示すフロー図。
【図７】記号エリアの構成を示す図。
【図８】第１の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図９】画像検索方法の概略の処理手順を示すフロー図。
【図１０】加算方法を説明する図。
【図１１】第２の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図１２】画像検索方法の概略の処理手順を示すフロー図。
【図１３】第３の実施の形態の画像検索装置に係る画像検索方法の各機能の関連を示す図。
【図１４】画像検索方法の各機能の関連を示す図。
【図１５】クラスタリングの手順を示す図
【符号の説明】
１…画像検索装置、４…画像処理部、５…属性処理部、６…記号処理部、７…クラスタ分析部、８…画像ＤＢ、９…バッファメモリ、１１…画像入力部、１２…インデックス画像作成部、１３…画像表示部、１４…画像選択部、１８…属性処理部、１９…属性分析部、２０…類似度計算部、２３…記号付与部、２４…記号加算部、２５…記号検索部、２６…重み処理部、２８…原画像領域、２９…インデックス画像領域、３０…インデックスデータ領域、３３…参照画像メモリ、３４…候補インデックスメモリ、３７ｄ…属性値エリア、３７ｅ…記号エリア、４１…クラスタリング処理部、４２…クラスタリング判定部、４３…パラメータ検索部。
Claims (36)
- 画像を入力する画像入力手段と、
入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、
前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、
前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、
前記画像保存手段に保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与手段と、
前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当て手段とを備えたことを特徴とする画像検索装置。 - 前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、
前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えたことを特徴とする請求項１に記載の画像検索装置。 - 前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、
前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、
前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、
前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えたことを特徴とする請求項１に記載の画像検索装置。 - 画像を入力する画像入力手段と、
入力した画像の特徴を定量化した属性値を求める属性値獲得手段と、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存手段と、
前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第１の参照画像として、前記画像保存手段に保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する第１の検索手段と、
前記検索された第１の画像の縮小画像を表示する検索画像表示手段と、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択手段と、
前記画像保存手段に保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当て手段とを備えたことを特徴とする画像検索装置。 - 前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、
前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像から検索する第２の検索手段とを備えたことを特徴とする請求項４に記載の画像検索装置。 - 前記第１の検索手段は、前記画像入力手段で入力した画像または前記画像保存手段に保存された画像から選択した画像を第２の参照画像として、前記画像保存手段に保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索し、
前記検索画像表示手段は、検索された第３の画像の縮小画像を表示し、
前記画像選択手段は、表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させ、
前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択手段と、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存手段に保存されている画像の信頼度から検索する第２の検索手段とを備えたことを特徴とする請求項４に記載の画像検索装置。 - 前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、
前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えたことを特徴とする請求項２または５に記載の画像検索装置。 - 前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリング手段と、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定手段と、
前記判定されたクラスに属すると分類される画像を、前記画像保存手段に保存された画像から検索する第３の検索手段とを備えたことを特徴とする請求項３または６に記載の画像検索装置。 - 前記第１の検索手段は、前記第１の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えたことを特徴とする請求項１乃至８の内いずれか１項に記載の画像検索装置。
- 前記第１の検索手段は、前記第２の参照画像の前記属性値と前記画像保存手段に保存された画像の前記属性値とを比較して画像の類似度を算出して、画像の類似を判断する類似判断手段を備えたことを特徴とする請求項２、３、５、６、７及び８の内いずれか１項に記載の画像検索装置。
- 前記第１の検索手段は、前記類似度の大きい順番に前記画像保存手段に保存された画像の順序付けを行う画像ソート手段を備えたことを特徴とする請求項９又は１０に記載の画像検索装置。
- 前記数値割り当て手段は、前記選択された第２の画像の前記属性値の分布状態を表わす統計量に基づいて前記類似の信頼度を表わす数値を算出する数値算出手段を備えたことを特徴とする請求項１乃至１１の内いずれか１項に記載の画像検索装置。
- 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、
前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとを備えたことを特徴とする画像検索方法。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えたことを特徴とする請求項１３に記載の画像検索方法。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えたことを特徴とする請求項１３に記載の画像検索方法。 - 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとを備えたことを特徴とする画像検索方法。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとを備えたことを特徴とする請求項１６に記載の画像検索方法。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとを備えたことを特徴とする請求項１６に記載の画像検索方法。 - 前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えたことを特徴とする請求項１４または１７に記載の画像検索方法。 - 前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとを備えたことを特徴とする請求項１５または１８に記載の画像検索方法。 - 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、
前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるための画像検索プログラム。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるための請求項２１に記載の画像検索プログラム。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるための請求項２１に記載の画像検索プログラム。 - 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるための画像検索プログラム。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるための請求項２４に記載の画像検索プログラム。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させるための請求項２４に記載の画像検索プログラム。 - 前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるための請求項２２又は２５に記載の画像検索プログラム。 - 前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるための請求項２３又は２６に記載の画像検索プログラム。 - 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に前記第１の参照画像との類否を表わす記号を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に該カテゴリに類似を表わす記号を付与する記号付与ステップと、
前記カテゴリに対応して、類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した記録媒体。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項２９に記載の記録媒体。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記記号と、前記数値とに基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリに類似を表わす記号が付与されている画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項２９に記載の記録媒体。 - 画像を入力する画像入力ステップと、
入力した画像の特徴を定量化した属性値を求める属性値獲得ステップと、
前記画像と該画像の属性値とを少なくとも１つ保存する画像保存ステップと、前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第１の参照画像として、前記画像保存ステップで保存されている画像の内から前記第１の参照画像に類似する少なくとも１つの第１の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第１の画像の縮小画像を表示する検索画像表示ステップと、
前記表示された縮小画像から、前記第１の参照画像に類似する少なくとも１つの第２の画像を画像検索の要求者に選択させる画像選択ステップと、
前記画像保存ステップで保存されている全ての画像に、前記第１の参照画像との類否を表わす数値を付与するためのデータ領域であるカテゴリを新たに設けて、前記選択された第２の画像毎に前記カテゴリに対応して前記第１の参照画像との類似の信頼度を表わす数値を付与する数値割り当てステップとをコンピュータに実行させるためのプログラムを記録した記録媒体。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
前記検索された第３の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像を検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項３２に記載の記録媒体。 - 前記画像入力ステップで入力した画像または前記画像保存ステップで保存された画像から選択した画像を第２の参照画像として、前記画像保存ステップで保存されている画像の内から前記第２の参照画像に類似する少なくとも１つの第３の画像を、前記属性値に基づいて検索する検索ステップと、
検索された第３の画像の縮小画像を表示するステップと、
表示された縮小画像から、前記第２の参照画像に類似する少なくとも１つの第４の画像を画像検索の要求者に選択させるステップと、
前記選択された第４の画像のカテゴリ毎に付与されている前記数値に基づいて、前記第２の参照画像と類似する画像をさらに検索するためのカテゴリを少なくとも１つ選択するカテゴリ選択ステップと、
前記選択されたカテゴリの類似の信頼度を表わす数値が所定値以上の画像を、前記画像保存ステップで保存されている画像の信頼度から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項３２に記載の記録媒体。 - 前記第３の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項３０または３３に記載の記録媒体。 - 前記第４の画像を、該画像の前記属性値に基づいて少なくとも１つのクラスに分類するクラスタリングステップと、
前記クラスの内、該クラスに属する画像数が所定数以上のクラスを判定するクラスタリング判定ステップと、
前記判定されたクラスに属すると分類される画像を、前記画像保存ステップで保存された画像から検索する検索ステップとをコンピュータに実行させるためのプログラムを記録した請求項３１または３４に記載の記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130670A JP4388301B2 (ja) | 2003-05-08 | 2003-05-08 | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 |
| US10/833,727 US20050036712A1 (en) | 2003-05-08 | 2004-04-28 | Image retrieving apparatus and image retrieving program |
| CNA2004100422372A CN1551018A (zh) | 2003-05-08 | 2004-05-08 | 图像检索装置及图像检索程序 |
| CNA2004100422368A CN1551017A (zh) | 2003-05-08 | 2004-05-08 | 图像检索装置、方法、程序及存储有该程序的存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003130670A JP4388301B2 (ja) | 2003-05-08 | 2003-05-08 | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004334594A true JP2004334594A (ja) | 2004-11-25 |
| JP4388301B2 JP4388301B2 (ja) | 2009-12-24 |
Family
ID=33506112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003130670A Expired - Fee Related JP4388301B2 (ja) | 2003-05-08 | 2003-05-08 | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20050036712A1 (ja) |
| JP (1) | JP4388301B2 (ja) |
| CN (2) | CN1551018A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008287439A (ja) * | 2007-05-16 | 2008-11-27 | Canon Inc | 画像処理装置及び画像検索方法 |
| JP2010250635A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索方法および画像管理方法 |
| JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
| JP2015166978A (ja) * | 2014-03-04 | 2015-09-24 | 日本放送協会 | 画像検索装置及び画像検索プログラム |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050273702A1 (en) * | 2004-06-04 | 2005-12-08 | Jeff Trabucco | Creation and management of common interest community web sites |
| US20100005385A1 (en) * | 2004-06-04 | 2010-01-07 | Arts Council Silicon Valley | Systems and methods for maintaining a plurality of common interest community web sites |
| JP4587173B2 (ja) * | 2005-04-18 | 2010-11-24 | キヤノン株式会社 | 画像表示装置及びその制御方法、プログラム、並びに記録媒体 |
| JP2007206919A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
| JP4767718B2 (ja) * | 2006-02-24 | 2011-09-07 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| CN100392657C (zh) * | 2006-05-10 | 2008-06-04 | 南京大学 | 数字图像检索中的主动半监督相关反馈方法 |
| TWI322362B (en) * | 2006-11-29 | 2010-03-21 | Quanta Comp Inc | Data transmitting and receiving system and method |
| JP4951373B2 (ja) * | 2007-03-13 | 2012-06-13 | 株式会社リコー | 画像検索装置、画像検索方法、及びコンピュータプログラム |
| JP5096776B2 (ja) * | 2007-04-04 | 2012-12-12 | キヤノン株式会社 | 画像処理装置及び画像検索方法 |
| CN100462978C (zh) * | 2007-04-18 | 2009-02-18 | 北京北大方正电子有限公司 | 一种图像检索方法及系统 |
| JP4433327B2 (ja) * | 2007-12-11 | 2010-03-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP5112901B2 (ja) * | 2008-02-08 | 2013-01-09 | オリンパスイメージング株式会社 | 画像再生装置、画像再生方法、画像再生用サーバー、および画像再生システム |
| US8447128B2 (en) * | 2008-04-07 | 2013-05-21 | Fujifilm Corporation | Image processing system |
| US8676001B2 (en) * | 2008-05-12 | 2014-03-18 | Google Inc. | Automatic discovery of popular landmarks |
| JP5385624B2 (ja) * | 2009-01-30 | 2014-01-08 | 富士フイルム株式会社 | 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法 |
| JP2010250657A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 印刷装置、画像処理装置、画像処理方法およびコンピュータープログラム |
| US8396287B2 (en) | 2009-05-15 | 2013-03-12 | Google Inc. | Landmarks from digital photo collections |
| US9390149B2 (en) | 2013-01-16 | 2016-07-12 | International Business Machines Corporation | Converting text content to a set of graphical icons |
| CN105354228B (zh) * | 2015-09-30 | 2019-06-21 | 小米科技有限责任公司 | 相似图搜索方法及装置 |
| CN108268533B (zh) * | 2016-12-30 | 2021-10-19 | 南京烽火天地通信科技有限公司 | 一种用于图像检索的图像特征匹配方法 |
| CN109033393B (zh) * | 2018-07-31 | 2021-06-01 | Oppo广东移动通信有限公司 | 贴纸处理方法、装置、存储介质及电子设备 |
| CN112131424A (zh) * | 2020-09-22 | 2020-12-25 | 深圳市天维大数据技术有限公司 | 一种分布式图像分析方法及系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3026712B2 (ja) * | 1993-12-09 | 2000-03-27 | キヤノン株式会社 | 画像検索方法及びその装置 |
| US5913205A (en) * | 1996-03-29 | 1999-06-15 | Virage, Inc. | Query optimization for visual information retrieval system |
| US6285995B1 (en) * | 1998-06-22 | 2001-09-04 | U.S. Philips Corporation | Image retrieval system using a query image |
| US6418430B1 (en) * | 1999-06-10 | 2002-07-09 | Oracle International Corporation | System for efficient content-based retrieval of images |
| US6826316B2 (en) * | 2001-01-24 | 2004-11-30 | Eastman Kodak Company | System and method for determining image similarity |
| JP4363792B2 (ja) * | 2001-03-23 | 2009-11-11 | 富士通株式会社 | 情報検索システムおよび方法 |
-
2003
- 2003-05-08 JP JP2003130670A patent/JP4388301B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-28 US US10/833,727 patent/US20050036712A1/en not_active Abandoned
- 2004-05-08 CN CNA2004100422372A patent/CN1551018A/zh active Pending
- 2004-05-08 CN CNA2004100422368A patent/CN1551017A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008287439A (ja) * | 2007-05-16 | 2008-11-27 | Canon Inc | 画像処理装置及び画像検索方法 |
| US8170379B2 (en) | 2007-05-16 | 2012-05-01 | Canon Kabushiki Kaisha | Image processing apparatus and image retrieval method |
| JP2010250635A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索方法および画像管理方法 |
| JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
| JP2015166978A (ja) * | 2014-03-04 | 2015-09-24 | 日本放送協会 | 画像検索装置及び画像検索プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20050036712A1 (en) | 2005-02-17 |
| CN1551017A (zh) | 2004-12-01 |
| JP4388301B2 (ja) | 2009-12-24 |
| CN1551018A (zh) | 2004-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4388301B2 (ja) | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 | |
| US6556710B2 (en) | Image searching techniques | |
| US7065521B2 (en) | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features | |
| JP4556120B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| JP4253498B2 (ja) | 画像検索プログラム、そのプログラムを記憶した記憶媒体、画像検索装置及び画像検索方法 | |
| JP4111198B2 (ja) | 画像検索システム、画像検索プログラムおよび記憶媒体、並びに画像検索方法 | |
| JP3199976B2 (ja) | 画像データベース装置 | |
| JPWO2009072466A1 (ja) | 画像分類装置および画像分類プログラム | |
| JP2001202523A (ja) | 画像処理方法及びその装置 | |
| JPH07146871A (ja) | 静止画検索装置および静止画検索方法 | |
| JP4948607B2 (ja) | 画像検索装置、画像分類装置及び方法並びにプログラム | |
| JPH10240716A (ja) | 時系列データ解析装置及びプログラムを記録した機械読み取り可能な記録媒体 | |
| CN110992124A (zh) | 房源的推荐方法及房源的推荐系统 | |
| CN112396428A (zh) | 一种基于用户画像数据的客群分类管理方法及装置 | |
| US6522779B2 (en) | Representing an image with a posterized joint histogram | |
| JP2004192555A (ja) | 情報管理方法、情報管理装置及び情報管理プログラム | |
| JP2010122931A (ja) | 類似領域検索方法、類似領域検索装置、類似領域検索プログラム | |
| WO2020255307A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
| JPH08287086A (ja) | 適合度順画像強調表示方法及び装置 | |
| JP6445738B2 (ja) | 類似画像検索方法およびシステム | |
| JP2000048041A (ja) | データ検索システム及びこれに用いる装置 | |
| JPH11219365A (ja) | 画像検索装置 | |
| JPH0573625A (ja) | 類似尺度構成処理方法 | |
| US6671402B1 (en) | Representing an image with weighted joint histogram | |
| JP2004038744A (ja) | 画像認識アルゴリズム生成方法，画像認識アルゴリズム生成装置，画像認識アルゴリズム生成プログラムおよび画像認識アルゴリズム生成プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091002 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121009 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131009 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |