JP2004259057A

JP2004259057A - 情報検索装置、情報検索方法、及び情報検索プログラム

Info

Publication number: JP2004259057A
Application number: JP2003049963A
Authority: JP
Inventors: Katsunobu Isono; 勝宣磯野; Takeo Kaneide; 武雄金出; Masaaki Mochimaru; 正明持丸
Original assignee: National Institute of Advanced Industrial Science and Technology AIST; Intec Web and Genome Informatics
Current assignee: National Institute of Advanced Industrial Science and Technology AIST; Intec Web and Genome Informatics
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2004-09-16
Anticipated expiration: 2023-02-26
Also published as: JP4333902B2

Abstract

【課題】画像データをはじめとする任意の情報を検索する際に、検索者の検索意図を十分に反映した極めて効率のよい情報検索を行う。
【解決手段】情報検索装置１０は、画像データを表示する表示装置１１と、検索者が入力操作を行うための入力装置１２と、検索者の入力に基づいて画像データを検索する画像検索部１３と、検索対象となる複数の検索画像データＩＤを含む各種情報を記憶した画像記憶装置１４とを備える。画像検索部１３は、検索者が現在までに選択した情報の履歴である選択履歴に基づいて、複数種類の特徴のそれぞれの重要度を算出するとともに、選択された画像データと画像記憶装置１４に蓄積されている他の画像データとの類似度を各特徴毎に算出し、各特徴の重要度に基づいた重み付き類似度総和を求める。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、蓄積されている複数の情報から所望の情報を検索する情報検索装置、情報検索方法、及び情報検索プログラムに関する。
【０００２】
【従来の技術】
近年、コンピュータ等の各種情報処理装置の処理能力の向上、及びこれら情報処理装置に付随する記憶装置の記憶容量の増大にともない、例えば画像データ等の各種情報を大量に記憶し、処理することが可能となっている。この種の情報処理技術のうち、大量の画像データの中から検索者が所望の画像データを検索する画像検索技術が各種提案されている。
【０００３】
例えば、画像検索技術としては、検索者が所望する画像データに類似した画像データを当該検索者が選択入力し、画像データが有する画像特徴に基づいて、当該検索者が選択した画像データと画像データベース内に蓄積された画像データとの類似度を算出し、類似度の高い画像データを検索画像として表示する方式のものがある（例えば、特許文献１乃至特許文献３参照。）。
【０００４】
【特許文献１】
特開平２−４８７７２号公報
【特許文献２】
特開２００１−１０１４０７号公報
【特許文献３】
特開２００１−３１９２３２号公報
【０００５】
具体的には、特許文献１には、入力画像から抽出した特徴をもとにインデックスファイルを作成するとともに、入力画像の特徴及び蓄積用画像をインデックスファイルをもとに蓄積しておき、提示された入力例示画像から画像の類似度を評価するために、入力画像の特徴から評価尺度を計算し、さらに、得られた評価尺度から類似度を決定し、この決定された類似度に基づいて候補順位を付け、その類似度による分類と候補順位にしたがい、画像データベースから必要な画像を検索する類似画像検索方法が開示されている。これにより、この類似画像検索方法は、あらゆる画像を評価尺度により定量的に分類することができ、画像内容に即した人間の感覚に合う検索を実現することができるとしている。
【０００６】
また、特許文献２には、所定の制約条件に基づいてカラーアピアランスモデルのモデルパラメータを算出し、このモデルパラメータに基づいて、キー画像又はサーチ画像のいずれか一方のヒストグラムを正規化し、さらに、正規化処理した一方の画像のヒストグラムと他方の画像のヒストグラムとの類似度を算出し、この算出された類似度に基づいて、そのサーチ画像が検索の候補画像であるか否かを判定する類似情報検索装置が開示されている。これにより、この類似情報検索装置は、キー画像とサーチ画像との照明条件が異なる場合であっても、類似度検索を高精度で行うことができるとしている。
【０００７】
さらに、特許文献３には、入力された画像データから複数種類の特徴量を抽出し、これら複数種類の特徴量と、蓄積された画像データから抽出された複数種類の特徴量とを比較し、これら両画像データの類似度を算出し、この算出された類似度に基づいて、入力された画像データに類似する画像データを検索する類似情報検索装置が開示されている。これにより、この類似情報検索装置は、グラデーションや模様、テクスチャに特徴がある画像を有効に検索し、検索精度を向上させることができるとしている。
【０００８】
ところで、これら特許文献１乃至特許文献３に代表される画像検索技術は、検索者が選択した画像データと、画像データベース内に蓄積された画像データとの間で類似度を算出する際に、全ての画像データの特徴を同等に扱って類似度を算出するものである。
【０００９】
しかしながら、画像データを選択するに際しては、一般に、例えば、「色を重視する」、「構図を重視する」、「色と構図とを４：６の割合で重視する」といったように、画像データを表す色や構図等の各種特徴の重要度が異なる場合が多い。したがって、上述した従来の画像検索技術においては、検索者の意図が十分に反映されない結果を出力する可能性が大きい。
【００１０】
そこで、画像検索技術としては、複数の画像特徴の重要度を検索者に指定させ、指定された重要度に基づいた重み付けを行い、類似度算出を行う技術が提案されている（例えば、特許文献４及び特許文献５参照。）。
【００１１】
【特許文献４】
特開２００１−１４３０８０号公報
【特許文献５】
特開平１１−３９３３２号公報
【００１２】
特許文献４には、指定された検索元画像の特徴量と、蓄積された複数枚の画像の特徴量とに基づいて、検索元画像と複数枚の画像との類似度を算出し、この算出された類似度に基づいて、複数枚の画像から類似画像を抽出して検索結果として提示する際に、特徴量の各パラメータに異なった重みを設定し、設定された重み付けを用いて類似度の算出を実行する画像検索方法が開示されている。これにより、この画像検索方法は、ユーザの意図を迅速に反映した画像検索を行うことができるとしている。
【００１３】
また、特許文献５には、希望画像と類似した画像及び類似しない画像を１つ又は２つ以上指定して参照画像とし、各画像或いは指定された領域から抽出される特徴量の一部又は全てを参照画像或いは指定された領域毎に指定し、各特徴量と画像データベースに登録されている検索対象となる被検索画像が有する各特徴量とを用いて総合類似度を算出し、この類似度に応じた検索結果の画像を出力する画像検索方法が開示されている。特に、この画像検索方法は、特徴量を指定する際に、検索者が望むものには正の重みを付与し、望まないものには負の重みを付与するものである。これにより、この画像検索方法は、検索者が参照画像を利用して容易に希望画像を検索することができるとしている。
【００１４】
さらに、重要度に基づいた重み付けを行う画像検索技術としては、例えば、特許文献６に記載された技術のように、検索効率の向上を図ることを目的として提案されているものもある。
【００１５】
【特許文献６】
特開平９−２０４４４０号公報
【００１６】
この特許文献６には、表示された画像の中から所望の画像に類似した画像を検索者によって選択させ、選択された複数の画像がそれぞれ有する複数の画像特徴に基づいて、各特徴の注目度を判定し、注目度を重み付けして得られる各特徴の類似度の総和を求め、類似度の総和が所定値よりも高い画像を表示する画像検索システムが開示されている。これにより、この画像検索システムは、表示された画像の中から検索すべき画像に類似していると感じられる画像を検索者に選択させながら、検索対象の画像を有効に絞り込み、大量の画像の中から検索者の所望する画像を効率よく検索することができるとしている。
【００１７】
【発明が解決しようとする課題】
ところで、特許文献４及び特許文献５に代表される画像検索技術は、検索者に特徴の重要度を指定させるものであるが、検索者においても明確に特徴の重要度を把握できている場合は少ない。したがって、この種の画像検索技術においては、重要度の指定が検索者にとって大きな負担を強いることになり、適切に重要度を指定できない場合には、検索効率の悪化を招来するという問題があった。
【００１８】
一方、特許文献６に代表される画像検索技術は、特徴の重要度を自動的に設定するものであり、所定の検索サイクルにおいて、選択された複数の画像データ間の特徴量に基づいて重要度を算出するものである。ここで、検索者による検索行動は、通常、現在までにどのような画像データを選択してきたかといった文脈（選択履歴）に依存するものである。したがって、特許文献６に代表されるように、その時点で選択された画像データのみを用いて、その都度特徴の重要度を算出する画像検索技術においては、検索者による以前の検索行動を考慮するものではなく、それまでの文脈情報の一部又は大部分を失うことになり、文脈に依存する検索者の検索意図を十分に汲み取ることができないという問題があった。
【００１９】
なお、これらの問題は、画像データの検索のみならず、抽出した特徴に基づく類似度を用いて検索するものであれば、任意の情報についても生じるものである。
【００２０】
本発明は、このような実情に鑑みてなされたものであり、画像データをはじめとする任意の情報を検索する際に、検索者の検索意図を十分に反映した極めて効率のよい情報検索を行うことができる情報検索装置、情報検索方法、及び情報検索プログラムを提供することを目的とする。
【００２１】
【課題を解決するための手段】
上述した目的を達成する本発明にかかる情報検索装置は、蓄積されている複数の情報から所望の情報を検索する情報検索装置であって、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段と、この記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示手段と、この提示手段を介して提示された複数の候補情報の中から、検索者が一の情報を選択するための入力手段と、この入力手段を介して選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索手段とを備え、検索手段は、検索者が入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出するとともに、入力手段を介して選択された情報と記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴の重要度に基づいた重み付き類似度総和を求めることを特徴としている。
【００２２】
このような本発明にかかる情報検索装置は、検索者が入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことができる。したがって、本発明にかかる情報検索装置は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【００２３】
具体的には、検索手段は、現在までの検索行動に基づいて得られる事前確率と、入力手段を介した情報の選択行動に基づいて得られる条件付き確率とに基づいて重要度としての事後確率を求め、得られた事後確率を次回の入力手段を介した情報の選択行動時の新たな事前確率として用いる。
【００２４】
このように、本発明にかかる情報検索装置は、現在までの検索行動に基づいて得られる事前確率と情報の選択行動に基づいて得られる条件付き確率とに基づいて事後確率を求め、得られた事後確率を次回の検索サイクルにおける新たな事前確率として用い、逐次重要度を算出して更新していくことにより、現在までの選択履歴を反映させることができる。
【００２５】
ここで、検索手段は、条件付き確率として、入力手段を介して第１の情報が選択された後に第２の情報が選択される確率を示す尤度を、各特徴毎に予め計算しており、記憶手段には、蓄積されている検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納されている。
【００２６】
したがって、本発明にかかる情報検索装置は、処理を単純化することができ、極めて効率のよい検索を行うことが可能となる。
【００２７】
なお、確率的に重要度を算出するこのような処理を実現するために、検索手段は、ベイズの定理を用いることができる。
【００２８】
また、本発明にかかる情報検索装置は、提示手段を介して提示された複数の候補情報の中から、検索者が入力手段を介して一の情報を選択する検索サイクルを繰り返し行うことを特徴としている。そして、検索手段は、重み付き類似度総和が大きい順序で検索情報を並べ替え、入力手段を介して選択された情報に類似する類似情報を検索し、提示手段は、類似情報を次回の検索サイクルで用いる候補情報として提示することを特徴としている。特に、提示手段は、初回の検索サイクル時には、記憶手段に蓄積されている複数の検索情報の中から無作為に選択された情報を、候補情報として提示することを特徴としている。
【００２９】
このように、本発明にかかる情報検索装置は、検索候補として提示される複数の候補情報の中から検索者が所望の情報を選択する検索サイクルを繰り返し行い、情報の絞り込み検索を行う対話型検索を行うことにより、検索者のイメージが当初は曖昧であったとしても、検索サイクルの反復に応じてイメージが明確化され、自己の感性に最も合致する所望の情報を検索することが可能となる。
【００３０】
なお、本発明にかかる情報検索装置によって検索する情報としては、画像データを挙げることができ、この場合、提示手段は、画像データを表示する表示手段として構成することができる。また、本発明にかかる情報検索装置によって検索する情報としては、音声データも挙げることができ、この場合、提示手段は、音声データを出力する出力手段として構成することができる。
【００３１】
また、上述した目的を達成する本発明にかかる情報検索方法は、蓄積されている複数の情報から所望の情報を検索する情報検索方法であって、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示工程と、この提示工程にて提示された複数の候補情報の中から、検索者が一の情報を選択する選択工程と、この選択工程にて選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索工程とを備え、検索工程では、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度が算出されるとともに、選択工程にて選択された情報と記憶手段に蓄積されている他の情報との類似度が各特徴毎に算出され、各特徴の重要度に基づいた重み付き類似度総和が求められることを特徴としている。
【００３２】
このような本発明にかかる情報検索方法は、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことが可能となる。したがって、本発明にかかる情報検索方法は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことが可能となる。
【００３３】
さらに、上述した目的を達成する本発明にかかる情報検索プログラムは、蓄積されている複数の情報から所望の情報を検索するコンピュータ実行可能な情報検索プログラムであって、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示処理と、この提示処理にて提示された複数の候補情報の中から検索者によって選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索処理とを備え、検索処理では、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度が算出されるとともに、選択された情報と記憶手段に蓄積されている他の情報との類似度が各特徴毎に算出され、各特徴の重要度に基づいた重み付き類似度総和が求められることを特徴としている。
【００３４】
このような本発明にかかる情報検索プログラムは、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことが可能となる。したがって、この本発明にかかる情報検索プログラムを実行する機器は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことが可能となる。
【００３５】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【００３６】
この実施の形態は、複数の画像データを蓄積した事例データベースから所望の画像データを検索する情報検索装置である。この情報検索装置は、検索候補として提示される複数の画像データの中から検索者が所望の画像データを選択する検索サイクルを繰り返し行うことにより、画像データの絞り込み検索を行う対話型検索を行うものであり、検索しようとする画像データに類似していると感じられる画像データを検索者に選択させながら、選択された複数の画像データに共通する特徴を逐次推定するものである。
【００３７】
特に、この情報検索装置は、検索者が現在までに選択した画像データの履歴である選択履歴に基づいて、画像データの特徴の重要度を確率的に求め、検索サイクルを繰り返し行い、文脈を考慮した重要度の更新を行うことにより、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができるものである。
【００３８】
図１に示すように、情報検索装置１０は、画像データを表示する提示手段としての表示装置１１と、検索者が入力操作を行うための入力手段である入力装置１２と、検索者の入力に基づいて画像データを検索する検索手段である画像検索部１３と、検索対象となる複数の検索画像データＩＤを含む各種情報を記憶した記憶手段である画像記憶装置１４とを備える。
【００３９】
表示装置１１は、例えばＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等の任意の表示デバイスから構成される。表示装置１１は、画像記憶装置１４に蓄積されている画像データの少なくとも一部を候補画像データとして表示し、検索者に提示する。
【００４０】
入力装置１２は、例えばキーボードやマウスといったデバイスから構成され、データの入力が可能なヒューマンインターフェースとして構成される。この入力装置１２を介して検索者によって入力された情報は、画像検索部１３に供給される。
【００４１】
画像検索部１３は、入力装置１２を介した検索者の入力に基づいて、画像記憶装置１４に蓄積されている複数の検索画像データＩＤの中から検索結果としての所望の画像データを求める。画像検索部１３は、検索した画像データを表示装置１３に供給する。なお、この画像検索部１３は、例えばＣＤ−ＲＯＭ等の記録媒体や所定のネットワークを介して提供されるコンピュータによって実行可能なプログラムとして構成することも可能である。
【００４２】
画像記憶装置１４は、例えば、ＣＤ−ＲＯＭ等の着脱可能な記録媒体や、ハードディスクやこれらハードディスクを複数台用いていわゆるＲＡＩＤ（ＲｅｄｕｎｄａｎｔＡｒｒａｙｓｏｆＩｎｄｅｐｅｎｄｅｎｔ（Ｉｎｅｘｐｅｎｓｉｖｅ）Ｄｉｓｋｓ）構成とした装置といった所定の記憶装置から構成され、少なくとも、検索対象となる複数の検索画像データＩＤと、これら検索画像データについて抽出された複数種類の特徴のそれぞれの特徴量を示す特徴データＦＤとを対応付けて記憶する。なお、画像データの特徴としては、例えばカラーヒストグラム、濃淡分布、周波数分布等、任意のものを採用することができ、特徴の抽出方法も既存の技術を任意に適用することができる。画像記憶装置１４には、これら複数種類の特徴毎に抽出された特徴量を示す値が特徴データＦＤとして記憶される。
【００４３】
また、画像記憶装置１４には、詳細は後述するが、各特徴データにおける各項目の値に対してそれぞれ重み付けを行うための重要度情報を登録した尤度マップＬＭと、上述した選択履歴を記述した選択履歴情報ＳＨとが格納される。画像記憶装置１４に記憶されたこれらの情報は、画像検索部１３によって読み出される。
【００４４】
このような各部を備える情報検索装置１０は、図２に示すような一連の工程を経ることにより、複数の検索画像データＩＤの中から所望の画像データを検索する。
【００４５】
まず、情報検索装置１０は、同図に示すように、ステップＳ１において、画像検索部１３の制御のもとに、表示装置１１に対して表示するＭ枚の画像データを、画像記憶装置１４に蓄積されている複数の検索画像データＩＤの中から無作為に選択し、ステップＳ２において、選択されたＭ枚の画像データを候補画像データとして表示装置１１に対して表示する。ここで、画像データの枚数Ｍは、表示装置１１に対して一度に表示可能な候補画像データの枚数を示すものである。すなわち、情報検索装置１０は、表示装置１１に対して９枚の候補画像データを一度に表示可能である場合には、例えば図３（Ａ）に示すように、表示装置１１に対して９枚の候補画像データをサムネイル形式で表示する。
【００４６】
続いて、情報検索装置１０においては、図２中ステップＳ３において、表示装置１１に対して表示されたＭ枚の候補画像データの中に、所望の画像データが存在するか否かを検索者によって判断する。
【００４７】
ここで、情報検索装置１０は、検索者が所望の画像データが存在するものと判断した場合には、当該検索者が入力装置１２を介して所定の入力操作を行うことにより、一連の処理を終了する。
【００４８】
一方、情報検索装置１０においては、検索者が所望の画像データが存在しないものと判断した場合には、ステップＳ４において、表示装置１１に対して表示されたＭ枚の候補画像データの中から、当該検索者が検索しようとしている所望の画像データのイメージに最も近い１枚の画像データを、入力装置１２を介して選択指定する。情報検索装置１０は、画像検索部１３の制御のもとに、検索者によって選択指定された画像データを示す画像番号を、選択履歴情報ＳＨとして画像記憶装置１４に格納する。
【００４９】
なお、情報検索装置１０は、表示装置１１に対して表示されたＭ枚の候補画像データの中に、検索者が所望する画像データに類似する画像データが含まれていない場合、すなわち、表示装置１１に対して表示されたＭ枚の候補画像データが、検索者が検索しようとする画像データに関連がなく、新たに候補画像データを表示させたい場合には、入力装置１２を介した検索者による所定の入力操作に応じて、新たなＭ枚の候補画像データを表示装置１１に対して表示する。また、情報検索装置１０は、入力装置１２を介した検索者による所定の入力操作に応じて、前画面に戻る制御を行うことも可能である。
【００５０】
続いて、情報検索装置１０は、ステップＳ５において、検索者による画像データの選択指定の試行回数が２回未満であるか否かを判定する。なお、情報検索装置１０は、この試行回数を、画像記憶装置１４に記憶されている選択履歴情報ＳＨの個数を計数することによって求めることができる。
【００５１】
ここで、情報検索装置１０は、検索者による画像データ選択指定の試行回数が２回未満であるものと判定した場合には、再度ステップＳ１からの処理を繰り返す。すなわち、情報検索装置１０は、初回の検索サイクル時には、後述する重要度算出を行わず、再度画像記憶装置１４に蓄積されている複数の検索画像データＩＤの中からＭ枚の候補画像データを無作為に選択する。
【００５２】
一方、情報検索装置１０は、検索者による画像データ選択指定の試行回数が２回以上であるものと判定した場合、すなわち、２回目以降の検索サイクル時には、ステップＳ６へと処理を移行し、画像検索部１３により、ステップＳ４にて選択された画像データと、直前の検索サイクルで選択された画像データとに基づいて、特徴のそれぞれの重要度を算出し、この重要度を当該特徴と対応付けて特徴データＦＤとして画像記憶装置１４に記憶させて更新する。このとき、画像検索部１３は、例えばいわゆるベイズの定理を用いて特徴の重要度を算出することができる。なお、このベイズの定理を用いた重要度の算出処理については後述するものとする。
【００５３】
そして、情報検索装置１０は、ステップＳ７において、画像検索部１３により、ステップＳ４にて選択された画像データと画像記憶装置１４に蓄積されている他の画像データとの類似度を各特徴毎に算出し、ステップＳ６にて算出された各特徴の重要度に基づいた重み付き類似度総和を求め、ステップＳ８において、ステップＳ４にて選択された画像データとの類似度が高い順序、すなわち、求めた重み付き類似度総和が大きい順序で検索画像データＩＤを並べ替えることにより、ステップＳ４にて選択された画像データに類似する類似画像データを検索する。その後、情報検索装置１０は、ステップＳ２へと処理を移行し、検索した類似画像データを次回の検索サイクルで用いる候補画像データとして表示装置１１に対して表示する。なお、情報検索装置１０は、検索した類似画像データがＭ枚よりも多い場合には、当該検索者が入力装置１２を介して所定の入力操作を行うことにより、表示装置１１に対して表示する候補画像データをＭ枚単位で切り替える。
【００５４】
情報検索装置１０は、このような一連の工程を経ることにより、複数の検索画像データＩＤの中から所望の画像データを検索することができる。具体的には、情報検索装置１０は、図３（Ａ）に示した９枚の候補画像データの中から検索者が１枚の画像データを選択することにより、例えば同図（Ｂ）に示すように、選択された画像データとの類似度が高い画像データを検索して表示装置１１に対して表示する検索サイクルを、検索者が所望する候補画像データが表示されるまで繰り返し行う。
【００５５】
このように、情報検索装置１０は、検索者が検索しようとする所望の画像データに類似するイメージを提示する対話型検索を行うことにより、検索者のイメージが当初は曖昧であったとしても、検索サイクルの反復に応じてイメージが明確化され、自己の感性に最も合致する所望の画像データを検索することが可能となる。
【００５６】
さて、以下では、画像検索部１３による図２中ステップＳ６及びステップＳ７の処理の詳細について説明する。
【００５７】
まず、Ｌ個の特徴とＮ枚の画像データとがある場合における検索を考える。直前の検索サイクルで選択された第１の情報である画像データをＩ_ｐｒｅｖとし、現在の検索サイクルで選択された第２の情報である画像データをＩ_ｃｕｒとする。
【００５８】
ここで、２つの事象Ａ，Ｂがあるとき、事象Ａであるという条件のもとで事象Ｂが発生する確率Ｐ（Ｂ｜Ａ）は、事象Ｂが発生する確率を示す事前確率Ｐ（Ｂ）、事象Ｂが発生しない確率を示す事前確率Ｐ（Ｂ’）、事象Ｂであるという条件のもとで事象Ａが発生する確率を示す条件付き確率Ｐ（Ａ｜Ｂ）、及び事象Ｂが発生しないという条件のもとで事象Ａが発生する確率を示す条件付き確率Ｐ（Ａ｜Ｂ’）を用いて、次式（１）で表す事後確率として求めることができ、これをベイズの定理という。
【００５９】
【数１】

【００６０】
画像検索部１３は、上述したように、図２中ステップＳ６において、このベイズの定理にしたがって特徴の重要度を算出することができる。具体的には、画像検索部１３は、画像データＩ_ｃｕｒ，Ｉ_ｐｒｅｖの情報に基づいて、画像データＩ_ｐｒｅｖ→画像データＩ_ｃｕｒの順序で選択されたという条件のもとでの各特徴Ｆ_ｋの重要度を、ベイズの定理にしたがって事後確率Ｐ（Ｆ_ｋ｜Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ）として算出する。
【００６１】
ここで、特徴Ｆ_ｋが重要である初期事前確率Ｐ（Ｆ_ｋ）は、次式（２）で表されものとし、全ての特徴の重要度が等しいものとする。また、特徴Ｆ_ｋが重要でない確率Ｐ（Ｆ_ｋ’）は、次式（３）で表される。
【００６２】
【数２】

【００６３】
【数３】

【００６４】
また、画像検索部１３は、特徴Ｆ_ｋが重要であると仮定した場合に、画像データＩ_ｐｒｅｖの後に画像データＩ_ｃｕｒが選択される確率（以下、尤度Ｑという。）を求める。ここでは、次式（４）に示すように、特徴Ｆ_ｋについて求められた類似度に基づいて、その類似順序Ｏを求め、この類似順序Ｏの逆数を求めることによって尤度Ｑを算出するものとする。
【００６５】
【数４】

【００６６】
画像検索部１３は、Ｌ個の特徴全てについて尤度Ｑを求め、これらＬ個の尤度Ｑを正規化して正規化尤度Ｐ（Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ｜Ｆ_ｋ）を求める。具体的には、画像検索部１３は、次式（５）に示すように、正規化尤度の総和が”１”となるように正規化処理を行う。
【００６７】
【数５】

【００６８】
ここで、上式（５）に示した条件付き確率としての正規化尤度Ｐ（Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ｜Ｆ_ｋ）における下付き文字ｐｒｅｖ，ｃｕｒ，ｋの組み合わせについてであるが、画像検索部１３は、これら全ての組み合わせについて予め計算しており、画像記憶装置１４には、蓄積されている検索画像データの全ての組み合わせについて計算された尤度からなる尤度マップが格納されている。すなわち、画像検索部１３は、例えば図４に示すように、Ｎ枚の画像データＩ_１，・・・，Ｉ_Ｎが、それぞれ、画像データＩ_ｐｒｅｖ，Ｉ_ｃｕｒである場合における正規化尤度Ｐ（Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ｜Ｆ_ｋ）からなる尤度マップを各特徴毎に予め作成しており、作成した尤度マップは、画像記憶装置１４に尤度マップＬＭとして格納されている。
【００６９】
また、画像検索部１３は、特徴Ｆ_ｋが重要でないと仮定した場合に、画像データＩ_ｐｒｅｖの後に画像データＩ_ｃｕｒが選択される確率Ｐ（Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ｜Ｆ_ｋ’）を、次式（６）で与える。
【００７０】
【数６】

【００７１】
以上より、画像検索部１３は、現在の検索サイクルと前回の検索サイクルとによって選択された画像データＩ_ｃｕｒ，Ｉ_ｐｒｅｖの情報に基づいて、各特徴の尤度を尤度マップＬＭから取得し、特徴Ｆ_ｋの重要度Ｐ（Ｆ_ｋ｜Ｉ_ｐｒｅｖ→Ｉ_ｃｕｒ）を、次式（７）を用いて算出する。
【００７２】
【数７】

【００７３】
そして、画像検索部１３は、上式（７）を用いて算出した事後確率を新たな重要度として、図２中ステップＳ７において、現在の検索サイクルで選択された画像データＩ_ｃｕｒと画像記憶装置１４に蓄積されている画像データＩ_ｃｕｒ以外の画像データＩ_ｉとの類似度を各特徴毎に算出し、次式（８）に示すように、各特徴毎に求められた類似度Ｓ（Ｉ_ｉ→Ｉ_ｃｕｒ｜Ｆ_ｋ）に対して、対応する重要度ω_ｋを乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求める。なお、類似度算出方法としては、例えば各特徴ベクトル毎のユークリッド距離やマハラノビス距離等を求め、これら距離の近い順に類似度を設定する方法等が挙げられる。
【００７４】
【数８】

【００７５】
このように、画像検索部１３は、検索サイクルを繰り返すのに応じて、ベイズの定理を用いて算出した事後確率を新たな事前確率として重要度を更新していくことにより、現在までの選択履歴情報ＳＨを含んだ文脈メカニズムを組み込んだ検索を行うことができる。
【００７６】
以上説明したように、本発明の実施の形態として示した情報検索装置１０は、複数の検索画像データＩＤの中から所望の画像データを検索する際に、現在までの検索行動に基づいて得られる事前確率と画像データの選択行動に基づいて得られる条件付き確率とに基づいて事後確率を求め、得られた事後確率を次回の検索サイクルにおける画像データ選択行動時の新たな事前確率として用い、逐次重要度を算出して更新していくことにより、現在までの選択履歴情報ＳＨを反映し、検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【００７７】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、画像データの検索を行うものとして説明したが、本発明は、例えば音声データをはじめとして、特徴を抽出することができる任意のデータについても適用することができる。
【００７８】
具体的には、情報検索装置１０は、音声データを検索する場合には、提示手段としての上述した表示装置１１の代わりに、例えばスピーカ等の音声データを出力する所定の出力手段を設ければよい。
【００７９】
また、本発明は、画像データを検索する場合にあっては、静止画像及び動画像のいずれであっても適用することができ、また、２次元画像及び３次元画像のいずれであっても適用することができる。
【００８０】
さらに、上述した実施の形態では、重要度を算出する際に、ベイズの定理を用いるものとして説明したが、本発明は、重要度を事後確率として算出し、この事後確率を次回の検索サイクル時に事前確率として用いるような方法であれば、いかなるものであっても適用することができる。
【００８１】
さらにまた、上述した実施の形態では、尤度Ｑの算出方法として、特徴Ｆ_ｋについて求められた類似度に基づいて、その類似順序Ｏを求め、この類似順序Ｏの逆数を求めるものとして説明したが、本発明は、尤度Ｑの算出方法として、任意の方法を適用することができる。
【００８２】
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００８３】
【発明の効果】
以上詳細に説明したように、本発明にかかる情報検索装置、情報検索方法、及び情報検索プログラムは、それぞれ、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことができ、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す情報検索装置の構成を説明するブロック図である。
【図２】同情報検索装置における一連の処理工程を説明するフローチャートである。
【図３】同情報検索装置が備える表示装置に対して複数の候補画像データが表示された様子を説明するための図であり、（Ａ）は、初期画面として、表示装置に対して９枚の候補画像データが表示されている様子を示し、（Ｂ）は、２回目以降の検索サイクルを経ることによって表示装置に対して表示される候補画像データが変化していく様子を説明するための図である。
【図４】同情報検索装置が備える画像記憶装置に記憶される尤度マップの具体例を説明する図である。
【符号の説明】
１０情報検索装置、１１表示装置、１２入力装置、１３画像検索部、１４画像記憶装置、ＦＤ特徴データ、ＩＤ画像データ、ＬＭ尤度マップ、ＳＨ選択履歴情報

Claims

蓄積されている複数の情報から所望の情報を検索する情報検索装置であって、
少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段と、
上記記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示手段と、
上記提示手段を介して提示された複数の上記候補情報の中から、検索者が一の情報を選択するための入力手段と、
上記入力手段を介して選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索手段とを備え、
上記検索手段は、上記検索者が上記入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度を算出するとともに、上記入力手段を介して選択された情報と上記記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴の重要度に基づいた重み付き類似度総和を求めること
を特徴とする情報検索装置。
上記検索手段は、現在までの検索行動に基づいて得られる事前確率と、上記入力手段を介した情報の選択行動に基づいて得られる条件付き確率とに基づいて上記重要度としての事後確率を求め、得られた事後確率を次回の上記入力手段を介した情報の選択行動時の新たな事前確率として用いること
を特徴とする請求項１記載の情報検索装置。
上記検索手段は、上記条件付き確率として、上記入力手段を介して第１の情報が選択された後に第２の情報が選択される確率を示す尤度を、各特徴毎に予め計算しており、
上記記憶手段には、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納されていること
を特徴とする請求項２記載の情報検索装置。
上記検索手段は、ベイズの定理を用いて上記重要度を算出すること
を特徴とする請求項２記載の情報検索装置。
上記提示手段を介して提示された複数の上記候補情報の中から、上記検索者が上記入力手段を介して一の情報を選択する検索サイクルを繰り返し行うこと
を特徴とする請求項１記載の情報検索装置。
上記検索手段は、上記重み付き類似度総和が大きい順序で上記検索情報を並べ替え、上記入力手段を介して選択された情報に類似する類似情報を検索し、
上記提示手段は、上記類似情報を次回の検索サイクルで用いる候補情報として提示すること
を特徴とする請求項５記載の情報検索装置。
上記提示手段は、初回の検索サイクル時には、上記記憶手段に蓄積されている複数の上記検索情報の中から無作為に選択された情報を、上記候補情報として提示すること
を特徴とする請求項５記載の情報検索装置。
上記情報は、画像データであり、
上記提示手段は、画像データを表示する表示手段であること
を特徴とする請求項１記載の情報検索装置。
上記情報は、音声データであり、
上記提示手段は、音声データを出力する出力手段であること
を特徴とする請求項１記載の情報検索装置。
蓄積されている複数の情報から所望の情報を検索する情報検索方法であって、
少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示工程と、
上記提示工程にて提示された複数の上記候補情報の中から、検索者が一の情報を選択する選択工程と、
上記選択工程にて選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索工程とを備え、
上記検索工程では、上記検索者が現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度が算出されるとともに、上記選択工程にて選択された情報と上記記憶手段に蓄積されている他の情報との類似度が各特徴毎に算出され、各特徴の重要度に基づいた重み付き類似度総和が求められること
を特徴とする情報検索方法。
上記検索工程では、現在までの検索行動に基づいて得られる事前確率と、情報の選択行動に基づいて得られる条件付き確率とに基づいて上記重要度としての事後確率が求められ、得られた事後確率が次回の情報の選択行動時の新たな事前確率として用いられること
を特徴とする請求項１０記載の情報検索方法。
上記条件付き確率として、第１の情報が選択された後に第２の情報が選択される確率を示す尤度が、各特徴毎に予め計算されており、
上記記憶手段には、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納されていること
を特徴とする請求項１１記載の情報検索方法。
上記検索工程では、ベイズの定理を用いて上記重要度が算出されること
を特徴とする請求項１１記載の情報検索方法。
蓄積されている複数の情報から所望の情報を検索するコンピュータ実行可能な情報検索プログラムであって、
少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶する記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示処理と、
上記提示処理にて提示された複数の上記候補情報の中から検索者によって選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索処理とを備え、
上記検索処理では、上記検索者が現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度が算出されるとともに、選択された情報と上記記憶手段に蓄積されている他の情報との類似度が各特徴毎に算出され、各特徴の重要度に基づいた重み付き類似度総和が求められること
を特徴とする情報検索プログラム。
上記検索処理では、現在までの検索行動に基づいて得られる事前確率と、情報の選択行動に基づいて得られる条件付き確率とに基づいて上記重要度としての事後確率が求められ、得られた事後確率が次回の情報の選択行動時の新たな事前確率として用いられること
を特徴とする請求項１４記載の情報検索プログラム。
上記条件付き確率として、第１の情報が選択された後に第２の情報が選択される確率を示す尤度が、各特徴毎に予め計算されており、
上記記憶手段には、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納されていること
を特徴とする請求項１５記載の情報検索プログラム。
上記検索処理では、ベイズの定理を用いて上記重要度が算出されること
を特徴とする請求項１５記載の情報検索プログラム。