JP2006227994A - 画像検索表示装置、画像検索表示方法及びプログラム - Google Patents

Abstract

【課題】複数の異なる主観・嗜好に基づいた画像を検索して同時に表示すること。
【解決手段】任意の基準に従って表示され画像指定部１２によって指定された各々の画像の特徴量に基づいて、主観・嗜好推定部１３は嗜好統合検索条件を設定する。また、画像検索部１４は、上記指定の各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて当該画像に関連する画像を検索し、上記指定の各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って検索画像中から１枚以上の画像を抽出し、その画像の特徴量から上記指定の各画像に対して各々部分統合検索条件を設定する。そして、上記嗜好統合検索条件と上記指定された各々の画像に対する部分統合検索条件とから再設定された統合検索条件に基づいて画像を各々再検索し、その再検索画像を各々設定された枚数、表示画像設定部１５により表示装置２０に表示する。
【選択図】 図１

Description

本発明は、複数の画像から各ユーザ毎の適切な画像を検索し、表示を行う画像検索表示装置、画像検索表示方法及びプログラムに関する。

近年、デジタル情報が至る場面で利用されている。これらの情報はテキスト情報のみならず、画像、映像等の容量の膨大なデータに関しても様々な分野で利用されており、今後、ストレージデバイスの容量増大に伴い、大量の画像・映像の中からユーザの要求に満足するデータを検索・表示する技術の重要性は益々高まることは必至である。

ところで、画像を検索する場合、キーワードによらず、画像から、その様々な特徴を算出し、これらの特徴を比較することにより内容に基づいた類似画像検索システムが多数提案されており、さらには、ユーザの嗜好を推定した上で、このユーザの主観や嗜好に基づいて検索を行う提案もなされてきている。

例えば、特許文献１には、ユーザが好みを指定するために、所望の画像を例（好き）または反例（嫌い）として指定し、ユーザの相対的な好みを主観的に定式化して検索を行う手法が開示されている。

また、特許文献２には、検索対象の画像の類似度を求める際に使用される各種類の特徴量毎にそれぞれ一つの問い合わせ画像を指定し、検索対象の画像毎に指定された問い合わせ画像との類似度を対応する種類の特徴量を用いて求め、この求めた各問い合わせ画像との類似度の合計を総合類似度として類似画像検索を行う手法が提案されている。
特開２０００−３５９７４号公報 特開２０００−２８５１４１号公報

しかしながら、上記特許文献１及び２では、複数の画像を利用して利用者の主観的検索条件を設定しているが、この結果得られる検索条件としては最終的には１つの条件となっており、利用者の主観・嗜好に基づいたある１つの検索条件に基づいた検索が繰り返されるに過ぎない。利用者の主観・嗜好は、様々な観点から捉えることが可能であり、上記特許文献１及び２によるユーザの主観や嗜好を反映した検索方法では、それぞれの主観・嗜好に対して毎回検索条件を設定しながら検索を行うことが必要となり、簡易に様々な主観・嗜好に対応した画像の表示を同時に行うことはできない。

本発明は、上記の点に鑑みてなされたもので、複数の異なる主観・嗜好に基づいた画像を検索して同時に表示することが可能な画像検索表示装置、画像検索表示方法及びプログラムを提供することを目的とする。

本発明の画像検索表示装置の一態様は、複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示装置において、
任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定する指定手段と、
上記指定手段によって指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する主観／嗜好統合検索条件設定手段と、
上記指定手段によって指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索する関連画像検索手段と、
上記指定手段によって指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記関連画像検索手段で検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定手段によって指定された各画像に対して各々部分統合検索条件を設定する部分統合検索条件設定手段と、
上記主観／嗜好統合検索条件設定手段によって設定された上記主観または嗜好の統合検索条件と、上記指定手段によって指定された各々の画像に対して上記部分統合検索条件設定手段によって設定された上記部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数、上記表示手段に表示する再検索手段と、
を具備することを特徴とする。

また、本発明の画像検索表示方法の一態様は、複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示方法において、
任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定し、
上記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定し、
上記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索し、
上記指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定された各画像に対して各々部分統合検索条件を設定し、
上記設定された主観または嗜好の統合検索条件と、上記指定された各々の画像に対して上記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数、上記表示手段に表示する、
ことを特徴とする。

また、本発明のプログラムの一態様は、コンピュータに、複数の画像から少なくとも１枚の画像を検索して表示を行わせるために、
任意の基準に従って表示された１枚以上の画像の中から、１枚以上の画像を指定する機能と、
上記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する機能と、
上記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索する機能と、
上記指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定された各画像に対して各々部分統合検索条件を設定する機能と、
上記設定された主観または嗜好の統合検索条件と、上記指定された各々の画像に対して上記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数表示する機能と、
をコンピュータに実現させるためのプログラムであることを特徴とする。

本発明によれば、複数の異なる主観・嗜好に基づいた画像を検索して同時に表示することが可能な画像検索表示装置、画像検索表示方法及びプログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像検索表示装置の構成を示す図である。この画像検索表示装置は、演算装置１０、表示装置２０、キーボード等の入力装置３０、マウス等の指示装置４０、複数の画像が登録された画像データベース５０、及び該画像データベース５０に登録された各画像の特徴量が保存される特徴量データベース６０からなる。

また、上記演算装置１０は、ユーザの好みを指定するために複数の画像を表示装置２０に表示するための初期表示画像設定部１１、それら表示された複数の画像に対する入力装置３０または指示装置４０の操作による指定を受けるための画像指定部１２、該画像指定部１２で受けたユーザの指定に基づいて、画像に対する主観や嗜好を推定する主観・嗜好推定部１３、推定された主観や嗜好に基づいて画像データベース５０から画像を検索する画像検索部１４、検索結果を表示装置２０に表示する表示画像設定部１５からなる。

図２は、このような構成の画像検索表示装置での処理のフローチャートを示している。即ち、まず、初期表示画像設定部１１は、画像検索部１４に、初期検索条件に従って画像データベース５０を検索させ、検索された複数（ｎ枚）の画像をサムネイルの形態で表示装置２０に配列して表示する（ステップＳ１０）。ここで、初期検索条件としては、画像データベース５０に登録された順や、ファイル名順、撮影時間順等でも良いし、ユーザが指定した画像を問い合わせ画像として検索条件を設定した上で検索し、その結果を類似度の順に配列した方法でも良い。

こうして初期検索条件により検索され、任意の順で配列されて表示装置２０に表示された複数の画像から、ユーザは、入力装置３０や指示装置４０の操作により、主観や嗜好に基づいて複数（ｋ枚）の画像を選択指示し、画像指定部１２は、その選択指示がどの画像に対するものであったか判別する（ステップＳ１１）。

選択指示された複数（ｋ枚）の画像に基づいて、ユーザの嗜好を推定し、検索条件を設定するためには、画像から得られる複数の特徴量ごとに重み係数を設定することが必要である。この場合、ユーザの嗜好により指定された画像の特徴量が近いときにはユーザはその特徴に対して関心があり、特徴量が遠い場合にはその特徴に対する関心度が小さいということである。そこで、主観・嗜好推定部１３は、上記選択指定された複数（ｋ枚）の画像に対する特徴量に関する統計量を用いて各特徴に対する重み係数を設定することにより、嗜好統合検索条件Ｑ_prefを設定する（ステップＳ１２）。

この方法として、ここでは、画像データベース５０内のすべて、または部分集合として設定された画像の各特徴量の標準偏差σ₀とユーザにより選択指定された複数（ｋ枚）の画像の各特徴量の標準偏差σ_prefを算出し、その比σ₀／σ_prefを重み計数として設定する手法を用いる。このように画像データベース５０内の画像の標準偏差との比を用いることで、画像データベース５０の登録されている画像群全体の傾向も加味することが可能となる。

その他、各画像の特徴量から統計的に算出される任意の重み計数算出方法を用いることが可能である。

また、画像検索部１４は、上記選択指定された複数（ｋ枚）の画像の各々に基づいて画像データベース５０内の検索を行い（ステップＳ１３）、検索結果を各々の画像に対して設定された枚数（ｎ枚）だけ選択する（ステップＳ１４）。そして、選択された画像の特徴量を特徴量データベース６０より読み込み、各画像の各特徴量毎の統計量を算出することにより上記の嗜好統合検索条件を設定したのと同様な方法により部分統合検索条件Ｑとして設定する（ステップＳ１５）。

このようにして、選択指定された画像から得られる嗜好統合検索条件Ｑ_pref、及び、選択指定された各画像毎の部分統合検索条件Ｑが設定されることになる。

次に、上記の嗜好統合検索条件Ｑ_pref及び各画像に対する部分統合検索条件Ｑをさらに統合して、統合検索条件Ｑ₀を設定することにより（ステップＳ１６）、各画像に対する嗜好推定と、全体的な嗜好とを統合した検索条件が生成されることになり、これらの検索条件により、画像データベース５０内の検索を行うことになる（ステップＳ１７）。この場合、この統合検索条件Ｑ₀で検索を行うことにより指定された各画像に対する検索結果を得ることも可能であるし、または、部分統合検索条件Ｑと嗜好統合検索条件Ｑ_prefとを独立に用いて２段階の検索を行うことにより検索結果を得ることも可能である。そして、このようにして検索した結果を、各々の画像に対して類似度の順位等の、類似度に関連する順位付けを行った上で、それぞれ指定された枚数（ｍ枚）だけ抽出して（ステップＳ１８）、表示画像設定部１５により表示装置２０に検索結果画像として表示する（ステップＳ１９）。

即ち、ユーザの指定した複数の画像から得られる嗜好統合検索条件Ｑ_prefのみでは、嗜好の平均的な検索条件となってしまっており、この検索条件で検索を行った場合では、ユーザの指定した個々の画像に対する類似性の反映度が低下してしまう検索となってしまう。これに対して、本実施形態による検索では、指定した個々の画像に対する独立した類似性を保った上で、かつユーザの主観や嗜好が反映された嗜好検索条件が統合された検索条件Ｑ0として設定されるため、指定したすべての画像に対して類似度が高く、かつ各指定された画像毎にも各ユーザの主観・嗜好を同時に反映した最適な検索結果が得られるという効果を得ることができる。

ところで、図３に示すように、指定画像を選択する際に、各画像に対する重要度を設定することも可能であり（ステップＳ２０）、この重要度を嗜好統合検索条件Ｑ_pref及び統合検索条件Ｑ₀を設定することへの拡張も可能である。

さらには、各特徴にも重要度を設定しておき、この重要度も加味した上で統合検索条件Ｑ₀を設定することも可能である。

実際に検索を実行するためには、算出された各特徴を成分として持つベクトルを特徴ベクトルとし、この特徴ベクトルを利用して、以下の類似度算出式の定義に基づいて行われる。

画像の特徴が、ｆ₁〜ｆ_MのＭ個であり、検索を行うデータベース内のデータがＩ₁〜Ｉ_NのＮ個あるとして、特徴量行列Ｆを式（１）とすると、ｑ番目のオブジェクトデータＩ_qの特徴量ベクトル

は、式（２）として表現される。式（２）において、κ_jを乗ずることにより、各特徴項は正規化されたものとなっている。

但し、各特徴量方向の単位ベクトルｉ_p、は、∀_p,q（p≠q），ｉ_p⊥ｉ_qを満たすものであり、各次元の重み係数をｗ₁〜ｗ_Mとする。

また、

で有る。

特徴ベクトルが、式（２）で与えられるとき、オブジェクトＯ_qに対するオブジェクトＯ_pの類似度Ｓ_pqは、

で表すことができ、Ｓｉｍ_pqが小さいほど類似性が高いことになる。画像データベース５０内のすべての画像に対してこの値を計算することにより類似度の順序を決定することができる。

［第２実施形態］
図４は、本発明の第２実施形態に係る画像検索表示装置の構成を示す図である。本実施形態に係る画像検索表示装置は、上記第１実施形態に係る画像検索表示装置の構成において、ユーザの主観・嗜好や閲覧履歴の情報が保存されるユーザの主観・嗜好・履歴データベース７０を加えると共に、演算装置１０内の初期表示画像設定部１１及び画像指定部１２の代わりに、上記ユーザの主観・嗜好・履歴データベース７０へのアクセスを行うデータベースアクセス部１６を設けたものである。

図５は、このような構成の画像検索表示装置での処理のフローチャートを示している。ここで、上記第１実施形態と同様の処理については、図２のフローチャートと同様の参照番号を付してあり、よって、それらの説明は省略する。

即ち、本第２実施形態においては、データベースアクセス部１６により、ユーザの主観・嗜好・履歴データベース７０より履歴情報を読み出し、閲覧頻度の高い順に設定された枚数の画像を抽出する（ステップＳ３０）。そして、抽出された画像に対し、上記第１実施形態で説明したステップＳ１２以下の処理を行うものである。

ここで、ユーザの主観・嗜好・履歴データベース７０内の画像の閲覧履歴情報には、ユーザが閲覧した画像に対し、閲覧の回数、閲覧日時、閲覧した画像に対する印刷や、画像処理の履歴、画像の撮影日時、等の様々なユーザ毎の主観や嗜好情報が含まれている。そのため、履歴情報から各ユーザに対する嗜好を推定することが可能であり、この情報により検索条件を設定することが可能となる。

このように、閲覧頻度の高い順に設定された枚数の画像を選択し、これらの画像特徴量より嗜好統合検索条件Ｑ_prefの設定を行い、設定された各々の画像に対して検索を行ったときに設定された枚数の画像特徴に関する統計量の算出を行うことにより重み係数を設定し、部分統合検索条件Ｑを設定する。ここでも、第１の実施形態と同様、嗜好統合検索条件Ｑ_prefと部分統合検索条件Ｑとから、双方の嗜好を加味した統合検索条件Ｑ₀が設定されることになり、履歴情報を用いた検索を行うことが可能となる。

さらには、上記第１実施形態でユーザ指定の画像からの嗜好推定検索条件の設定方法について述べたが、上記の履歴情報を利用した嗜好推定検索条件と統合した嗜好推定統合検索条件の設定を行うことも可能である。

また、これらの画像撮影情報、画像閲覧情報等の履歴情報は、ユーザ毎にデータベース化されており、利用の際にユーザ情報を入力したり、システムがユーザを認識したりして、ユーザ毎の嗜好検索条件の設定を行うことにより、ユーザ毎の嗜好に基づいた画像表示を行うことができる。

ユーザ毎の設定においては、図６に示すように、さらにユーザが、履歴情報に対する重要度を設定することも可能となっており（ステップＳ２０）、これらを統合して主観・嗜好による検索条件の設定を行うことにも対応する。但しこの場合には、ステップＳ３０で抽出した複数（ｋ枚）の画像を表示装置２０に表示させる初期画像表示設定部と、ユーザの選択指定を受け付ける画像指定部とを、上記第１実施形態と同様に備えることが必要である。

［第３実施形態］
上記第１及び第２実施形態において、指定もしくは履歴等により抽出された各画像に対してそれぞれ指定された枚数だけの画像が検索されるため、すべての検索画像を同時に表示装置２０に表示することが困難になることがある。そのときには、指定もしくは抽出された各画像に対する検索結果を類似度の順等の順序付けをした上でグループ化しておき、初期状態ではグループ内での代表画像を表示するようにしておく。初期状態で表示された画像をユーザが指定することにより、グループ内で順序付けされた順に表示の切り替えを行うことができるようにする。

即ち、図７に示すように、例えば画像検索部１４は、上記第２実施形態のようにユーザの主観・嗜好に基づいた複数（ｋ枚）の画像を用いて嗜好推定検索を実施し（ステップＳ４０）、複数（ｋ枚）の画像各々について統合検索条件Ｑ₀で検索された画像から複数（ｍ枚）を抽出する（ステップＳ４１）。そして、その抽出した複数（ｍ枚）の画像をグループ化し（ステップＳ４２）、複数（ｍ枚）から指定した枚数（ｐ枚）の画像Ｉ_pを代表画像として選択して、表示画像設定部１５により表示装置２０に表示する（ステップＳ４３）。

その後、それら表示装置２０に表示された代表画像の中から、入力装置３０もしくは指示装置４０の操作により何れかの代表画像Ｉ_pが選択指示されたならば（ステップＳ４４）、画像指定部１２がその選択指定を受けて、画像検索部１４は、そのグループに属する複数（ｍ枚）の画像の内、まだ表示されていないものを選択して、代表画像Ｉ_pとして表示画像設定部１５により表示装置２０に更新表示する（ステップＳ４５）。

本実施形態においても、ユーザの主観・嗜好に基づいた画像を選択して行う場合、ユーザの履歴情報に基づいた方法、さらにはこれらを組み合わせた統合検索条件で検索された場合と考えることができる。

また、このとき、指定されたグループの情報もユーザの主観・嗜好・履歴データベース７０に蓄積しておくことにより、履歴情報によるユーザ嗜好推定のときに用いることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示装置において、
任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定する指定手段と、
上記指定手段によって指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する主観／嗜好統合検索条件設定手段と、
上記指定手段によって指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索する関連画像検索手段と、
上記指定手段によって指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記関連画像検索手段で検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定手段によって指定された各画像に対して各々部分統合検索条件を設定する部分統合検索条件設定手段と、
上記主観／嗜好統合検索条件設定手段によって設定された上記主観または嗜好の統合検索条件と、上記指定手段によって指定された各々の画像に対して上記部分統合検索条件設定手段によって設定された上記部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数、上記表示手段に表示する再検索手段と、
を具備することを特徴とする画像検索表示装置。

（対応する実施形態）
この（１）に記載の画像検索表示装置に関する実施形態は、第１乃至第３実施形態、特には第１実施形態が対応する。ここで、上記表示手段は表示装置２０に、上記指定手段は画像指定部１２に、上記主観／嗜好統合検索条件設定手段は主観・嗜好推定部１３に、上記関連画像検索手段は画像検索部１４に、上記部分統合検索条件設定手段は画像検索部１４に、上再検索手段は画像検索部１４及び表示画像設定部１５に、それぞれ対応する。

（作用効果）
この（１）に記載の画像検索表示装置によれば、ユーザ嗜好による単一的な検索条件に絞り込んだ検索とならず、ユーザの多様な嗜好による画像を同時に表示することが可能であるため、ユーザが無意識の内に関心を示していたような画像を再発見する可能性がある。

（２） 上記指定手段によって指定された各画像に対する重要度の設定を行う重要度設定手段をさらに具備し、
上記主観／嗜好統合検索条件設定手段は、上記重要度設定手段によって設定された重要度に基づいて、上記主観または嗜好の統合検索条件を設定することを特徴とすることを特徴とする（１）に記載の画像検索表示装置。

（対応する実施形態）
この（２）に記載の画像検索表示装置に関する実施形態は、第１乃至第３実施形態、特には第１実施形態が対応する。ここで、上記重要度設定手段は画像検索部１４に対応する。

（作用効果）
この（２）に記載の画像検索表示装置によれば、嗜好に基づく画像を指定する際に各画像に対して重要度の設定を行うことにより、検索条件を設定する際に嗜好の度合いも加味した上での設定がなされ、より嗜好にマッチした画像の表示が行われる。

（３） 上記主観／嗜好統合検索条件設定手段は、上記主観または嗜好の統合検索条件を設定するときに、複数の画像を閲覧した際の履歴及び／または閲覧の頻度から重み係数を設定して上記主観または嗜好の統合検索条件を設定することを特徴とする（１）に記載の画像検索表示装置。

（対応する実施形態）
この（３）に記載の画像検索表示装置に関する実施形態は、第２及び第３実施形態、特に第２実施形態が対応する。

（作用効果）
この（３）に記載の画像検索表示装置によれば、画像の閲覧の履歴を参照して、閲覧の頻度を嗜好推定のための重み係数として利用すると、ユーザが嗜好画像を指定することなく自動的に嗜好の推定を行うことができる。

（４） 上記主観／嗜好統合検索条件設定手段が上記主観または嗜好の統合検索条件を設定するとき、または、上記部分統合検索条件設定手段が上記部分統合検索条件を設定するときに、画像の撮影日時に関連する重みを設定した上で上記主観または嗜好の統合検索条件、または、上記部分統合検索条件を設定することを特徴とする（１）に記載の画像検索表示装置。

（対応する実施形態）
この（４）に記載の画像検索表示装置に関する実施形態は、第２及び第３実施形態、特に第２実施形態が対応する。

（作用効果）
この（４）に記載の画像検索表示装置によれば、画像の撮影日時参照して、撮影間隔や、撮影時間帯等から嗜好推定のための重み係数として利用すると、ユーザが嗜好画像を指定することなく自動的に嗜好の推定を行うことができる。

（５） ユーザ毎に、主観及び／または嗜好に基づく画像の指定情報、過去の画像閲覧履歴、過去の画像閲覧頻度、及び撮影日時、の少なくとも一つの情報を記録する記録手段をさらに具備し、
上記主観／嗜好統合検索条件設定手段は、上記記録手段に記録された情報に基づいて、当該画像検索表示装置を利用するユーザに対応付けて、上記主観または嗜好の統合検索条件を設定することを特徴とする（１）乃至（４）の何れかに記載の画像検索表示装置。

（対応する実施形態）
この（５）に記載の画像検索表示装置に関する実施形態は、第２及び第３実施形態、特に第２実施形態が対応する。ここで、上記記録手段はユーザの主観・嗜好・履歴のデータベース７０に対応する。

（作用効果）
この（５）に記載の画像検索表示装置によれば、ユーザ毎に主観や嗜好は異なるため、嗜好を推定する際にユーザ毎にデータベース化しておくことにより、利用するユーザ毎に異なる嗜好を推定できることになり、また、他のユーザの嗜好を用いて検索することも可能であるため、より多様な画像の検索・閲覧を行うことができる。

（６） 上記再検索手段は、各々の画像に対して再設定された統合検索条件によって検索された画像を類似度に関連する順序付けを行うと共にグループ化した上で上記表示手段に表示することを特徴とする（１）乃至（５）の何れかに記載の画像検索表示装置。

（対応する実施形態）
この（６）に記載の画像検索表示装置に関する実施形態は、第３実施形態が対応する。

（作用効果）
この（６）に記載の画像検索表示装置によれば、主観や嗜好に基づく複数の検索条件により各々検索された画像はそれぞれの検索条件において類似度等に基づく順序が付けられることになるが、これらを各検索条件毎にグループ化しておくことにより画像表示の際の優先度の基準とすることが可能となる。

（７） 上記再検索手段によって各々の画像に対して順序付けしてグループ化された画像が上記表示手段に表示されたとき、表示された画像を指定する再指定手段と、
上記再指定手段によって指定された画像に対して、グループ内の順序に基づいて表示される画像の切り替えを行う切り替え手段と、
を更に具備することを特徴とする（６）に記載の画像検索表示装置。

（対応する実施形態）
この（７）に記載の画像検索表示装置に関する実施形態は、第３実施形態が対応する。ここで、上記再指定手段は画像指定部１２に、上記切り替え手段は画像検索部１４及び表示画像設定部１５に、それぞれ対応する。

（作用効果）
この（７）に記載の画像検索表示装置によれば、嗜好推定により検索・表示された画像は、それぞれ異なる嗜好に基づくものであるから、表示されている画像間での関連度より、上記の各検索条件毎のグループ内での関連度の方が高いものとなっており、従って、表示された画像を指定することにより、指定されたグループ内の画像を順序付けに基づいて表示切り替えを行うことにより指定された画像に関連のある画像に切り替わるため、より閲覧性の向上を図ることが可能となる。

（８） 複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示方法において、
任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定し、
上記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定し、
上記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索し、
上記指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定された各画像に対して各々部分統合検索条件を設定し、
上記設定された主観または嗜好の統合検索条件と、上記指定された各々の画像に対して上記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数、上記表示手段に表示する、
ことを特徴とする画像検索表示方法。

（対応する実施形態）
この（８）に記載の画像検索表示方法に関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（８）に記載の画像検索表示方法によれば、ユーザ嗜好による単一的な検索条件に絞り込んだ検索とならず、ユーザの多様な嗜好による画像を同時に表示することが可能であるため、ユーザが無意識の内に関心を示していたような画像を再発見する可能性がある。

（９） コンピュータに、複数の画像から少なくとも１枚の画像を検索して表示を行わせるために、
任意の基準に従って表示された１枚以上の画像の中から、１枚以上の画像を指定する機能と、
上記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する機能と、
上記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を上記複数の画像から検索する機能と、
上記指定された各々の画像に対して、上記特徴量に基づいて類似度に関する順序付けに従って上記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から上記指定された各画像に対して各々部分統合検索条件を設定する機能と、
上記設定された主観または嗜好の統合検索条件と、上記指定された各々の画像に対して上記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて上記複数の画像から各々再検索された画像を各々設定された枚数表示する機能と、
をコンピュータに実現させるためのプログラム。

（対応する実施形態）
この（９）に記載のプログラムに関する実施形態は、第１乃至第３実施形態が対応する。

（作用効果）
この（９）に記載のプログラムによれば、該プログラムを実行するコンピュータにおいて、ユーザ嗜好による単一的な検索条件に絞り込んだ検索とならず、ユーザの多様な嗜好による画像を同時に表示することが可能であるため、ユーザが無意識の内に関心を示していたような画像を再発見する可能性がある。

図１は本発明の第１実施形態に係る画像検索表示装置の構成を示す図である。 図２は第１実施形態に係る画像検索表示装置での処理のフローチャートを示す図である。 図３は第１実施形態に係る画像検索表示装置の変形例における処理のフローチャートを示す図である。 図４は本発明の第２実施形態に係る画像検索表示装置の構成を示す図である。 図５は第２実施形態に係る画像検索表示装置での処理のフローチャートを示す図である。 図６は第２実施形態に係る画像検索表示装置の変形例における処理のフローチャートを示す図である。 図７は本発明の第３実施形態に係る画像検索表示装置での処理のフローチャートを示す図である。

符号の説明

１０…演算装置、 １１…初期表示画像設定部、 １２…画像指定部、 １３…主観・嗜好推定部、 １４…画像検索部、 １５…表示画像設定部、 １６…データベースアクセス部、 ２０…表示装置、 ３０…入力装置、 ４０…指示装置、 ５０…画像データベース、 ６０…特徴量データベース、 ７０…ユーザの主観・嗜好・履歴データベース。

Claims (9)

1. 複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示装置において、
   任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定する指定手段と、
   前記指定手段によって指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する主観／嗜好統合検索条件設定手段と、
   前記指定手段によって指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を前記複数の画像から検索する関連画像検索手段と、
   前記指定手段によって指定された各々の画像に対して、前記特徴量に基づいて類似度に関する順序付けに従って前記関連画像検索手段で検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から前記指定手段によって指定された各画像に対して各々部分統合検索条件を設定する部分統合検索条件設定手段と、
   前記主観／嗜好統合検索条件設定手段によって設定された前記主観または嗜好の統合検索条件と、前記指定手段によって指定された各々の画像に対して前記部分統合検索条件設定手段によって設定された前記部分統合検索条件と、から再設定された統合検索条件に基づいて前記複数の画像から各々再検索された画像を各々設定された枚数、前記表示手段に表示する再検索手段と、
   を具備することを特徴とする画像検索表示装置。
2. 前記指定手段によって指定された各画像に対する重要度の設定を行う重要度設定手段をさらに具備し、
   前記主観／嗜好統合検索条件設定手段は、前記重要度設定手段によって設定された重要度に基づいて、前記主観または嗜好の統合検索条件を設定することを特徴とすることを特徴とする請求項１に記載の画像検索表示装置。
3. 前記主観／嗜好統合検索条件設定手段は、前記主観または嗜好の統合検索条件を設定するときに、複数の画像を閲覧した際の履歴及び／または閲覧の頻度から重み係数を設定して前記主観または嗜好の統合検索条件を設定することを特徴とする請求項１に記載の画像検索表示装置。
4. 前記主観／嗜好統合検索条件設定手段が前記主観または嗜好の統合検索条件を設定するとき、または、前記部分統合検索条件設定手段が前記部分統合検索条件を設定するときに、画像の撮影日時に関連する重みを設定した上で前記主観または嗜好の統合検索条件、または、前記部分統合検索条件を設定することを特徴とする請求項１に記載の画像検索表示装置。
5. ユーザ毎に、主観及び／または嗜好に基づく画像の指定情報、過去の画像閲覧履歴、過去の画像閲覧頻度、及び撮影日時、の少なくとも一つの情報を記録する記録手段をさらに具備し、
   前記主観／嗜好統合検索条件設定手段は、前記記録手段に記録された情報に基づいて、当該画像検索表示装置を利用するユーザに対応付けて、前記主観または嗜好の統合検索条件を設定することを特徴とする請求項１乃至４の何れかに記載の画像検索表示装置。
6. 前記再検索手段は、各々の画像に対して再設定された統合検索条件によって検索された画像を類似度に関連する順序付けを行うと共にグループ化した上で前記表示手段に表示することを特徴とする請求項１乃至５の何れかに記載の画像検索表示装置。
7. 前記再検索手段によって各々の画像に対して順序付けしてグループ化された画像が前記表示手段に表示されたとき、表示された画像を指定する再指定手段と、
   前記再指定手段によって指定された画像に対して、グループ内の順序に基づいて表示される画像の切り替えを行う切り替え手段と、
   を更に具備することを特徴とする請求項６に記載の画像検索表示装置。
8. 複数の画像から少なくとも１枚の画像を検索して表示を行う画像検索表示方法において、
   任意の基準に従って表示手段に表示された１枚以上の画像の中から、１枚以上の画像を指定し、
   前記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定し、
   前記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を前記複数の画像から検索し、
   前記指定された各々の画像に対して、前記特徴量に基づいて類似度に関する順序付けに従って前記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から前記指定された各画像に対して各々部分統合検索条件を設定し、
   前記設定された主観または嗜好の統合検索条件と、前記指定された各々の画像に対して前記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて前記複数の画像から各々再検索された画像を各々設定された枚数、前記表示手段に表示する、
   ことを特徴とする画像検索表示方法。
9. コンピュータに、複数の画像から少なくとも１枚の画像を検索して表示を行わせるために、
   任意の基準に従って表示された１枚以上の画像の中から、１枚以上の画像を指定する機能と、
   前記指定された各々の画像の特徴量に基づいて、主観または嗜好の統合検索条件を設定する機能と、
   前記指定された各画像に対して、当該画像から得られる１種類以上の特徴量に基づいて、当該画像に関連する画像を前記複数の画像から検索する機能と、
   前記指定された各々の画像に対して、前記特徴量に基づいて類似度に関する順序付けに従って前記検索された画像の中から１枚以上の画像を抽出し、抽出された画像の特徴量から前記指定された各画像に対して各々部分統合検索条件を設定する機能と、
   前記設定された主観または嗜好の統合検索条件と、前記指定された各々の画像に対して前記設定された部分統合検索条件と、から再設定された統合検索条件に基づいて前記複数の画像から各々再検索された画像を各々設定された枚数表示する機能と、
   をコンピュータに実現させるためのプログラム。

Images