JP2016167237A - 画像検索装置及びプログラム - Google Patents

Abstract

【課題】ユーザによって設定された検索条件や画像群の統計的な情報を利用して画像が検索される場合と比較して、ユーザが設定し難い観点を検索条件として利用して画像が検索されるようにする。【解決手段】１次検索部１６は、画像属性を示す画像属性情報に基づいて、第１画像群を画像ＤＢ１２から検索する。第１画像群の中から複数の選択画像が選択されると、検索条件作成部２０は、複数の選択画像のそれぞれの画像属性を示す画像属性情報に基づいて２次検索条件を作成する。再検索部２４は、その２次検索条件に基づいて、第２画像群を画像ＤＢ１２から検索する。【選択図】図１

Description

本発明は、画像検索装置及びプログラムに関する。

画像群の中から画像を検索する技術が知られている。

特許文献１に記載の装置においては、ユーザによって格納されたコンテンツ群の統計的な特徴を用いて類似度が算出され、その類似度に基づいてコンテンツが選択される。

特許文献２に記載の装置においては、画像データベースに蓄えられている画像データから、検索要求元からの入力画像に類似する画像が検索される。その検索においては、画像の特徴を表す複数の特徴値のそれぞれの差に重みを付けて組み合わせることにより複数の判定基準を得て、その判定基準を用いて類似度を判定している。また、検索された画像は、判定基準毎のグループに分けられたチューニング画面として検索要求元に送出される。

特開２０１４−９２９５５号公報 特開２０１２−５８９４０号公報

ところで、ユーザによって設定された検索条件（例えばキーワードや特徴等）や画像群の統計的な情報を利用して画像が検索される場合がある。しかし、これらの情報を利用しても、目的の画像が検索されるとは限らない。また、ユーザが設定し難い条件に基づいて画像が検索されるわけではない。

本発明の目的は、ユーザによって設定された検索条件や画像群の統計的な情報を利用して画像が検索される場合と比較して、ユーザが設定し難い観点を検索条件として利用して画像が検索されるようにすることである。

請求項１に係る発明は、画像属性を示す画像属性情報に基づいて画像群の中から第１画像群を検索する第１検索手段と、前記第１画像群の中から選択された複数の選択画像のそれぞれの画像属性を示す画像属性情報に基づいて検索条件を作成する検索条件作成手段と、前記検索条件に基づいて前記画像群の中から第２画像群を検索する第２検索手段と、を有する画像検索装置である。

請求項２に係る発明は、前記検索条件作成手段は、各選択画像の複数の画像属性を示す複数の画像属性情報に基づいて、画像属性毎の検索条件を作成し、当該画像検索装置は、各選択画像間の画像属性情報の差分に基づいて、各検索条件の優先度を決定する優先度決定手段を更に有し、前記第２検索手段は、前記優先度に基づいて、画像属性毎の検索条件の中から検索に用いられる検索条件を決定し、当該検索条件に基づいて前記第２画像群を検索する、ことを特徴とする請求項１に記載の画像検索装置である。

請求項３に係る発明は、前記検索条件作成手段は、各選択画像の複数の画像属性を示す複数の画像属性情報に基づいて、画像属性毎の検索条件を作成し、当該画像検索装置は、各選択画像間の画像属性情報の差分に基づいて、各検索条件の優先度を決定する優先度決定手段を更に有し、前記第２検索手段は、画像属性毎の検索条件に基づいて前記第２画像群を検索し、前記第２画像群の中で優先度の高い検索条件に適合する画像ほど、優先的に出力する、ことを特徴とする請求項１に記載の画像検索装置である。

請求項４に係る発明は、前記差分が小さいほど優先度は高い、ことを特徴とする請求項２又は請求項３に記載の画像検索装置である。

請求項５に係る発明は、選択画像の画像属性情報は、選択画像の画像属性を示す数値であり、前記検索条件作成手段は、選択画像の画像属性を示す数値に基づいて、数値範囲で規定される検索条件を作成し、前記第２検索手段は、画像属性を示す数値が前記数値範囲に含まれる前記第２画像群を検索する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像検索装置である。

請求項６に係る発明は、選択画像の画像属性情報は、選択画像に表されているオブジェクトを示す文字列であり、前記検索条件作成手段は、前記複数の選択画像に表されている各オブジェクトが同一オブジェクト種に属する場合、当該オブジェクトを示す文字列を検索条件として採用し、各オブジェクトが同一オブジェクト種に属さず同一カテゴリに属する場合、当該カテゴリを示す文字列を検索条件として採用し、前記第２検索手段は、検索条件として採用された文字列を含む文字列が画像属性情報として規定されている前記第２画像群を検索する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像検索装置である。

請求項７に係る発明は、前記第２検索手段は、各選択画像間の画像属性情報の差分が予め設定された閾値以上となる画像属性についての検索条件を除外して前記第２画像群を検索する、ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像検索装置である。

請求項８に係る発明は、コンピュータを、画像属性を示す画像属性情報に基づいて画像群の中から第１画像群を検索する第１検索手段と、前記第１画像群の中から選択された複数の選択画像のそれぞれの画像属性を示す画像属性情報に基づいて検索条件を作成する検索条件作成手段と、前記検索条件に基づいて前記画像群の中から第２画像群を検索する第２検索手段と、として機能させるプログラムである。

請求項１，８に係る発明によると、ユーザによって設定された検索条件や画像群の統計的な情報を利用して画像が検索される場合と比較して、ユーザが設定し難い観点を検索条件として利用して画像が検索され得る。

請求項２−４に係る発明によると、画像属性情報の差分に応じて、画像が優先的に検索され、又は、出力される。

請求項５に係る発明によると、画像属性が数値で規定されている場合において、その数値を示す検索条件が自動的に作成される。

請求項６に係る発明によると、画像属性がオブジェクトを示す文字列で規定されている場合において、そのオブジェクトに関する検索条件が自動的に作成される。

請求項７に係る発明によると、各選択画像間で関連性が相対的に低い画像属性が検索条件から除外されて画像が検索される。

本発明の実施形態に係る画像検索装置の一例を示すブロック図である。 １次検索画面の一例を示す図である。 ２次検索画面の一例を示す図である。 画像属性情報の一例を示す図である。 画像属性情報の一例を示す図である。 画像検索装置による処理の流れを示す図である。

図１には、本発明の実施形態に係る画像検索装置の一例が示されている。

画像ＤＢ１２はハードディスク等の記憶装置であり、画像データを格納する。画像データには、画像の属性（内容）を表す画像属性情報が対応付けられている。例えば、画像に表されているオブジェクト（物体等）を示す文字列（オブジェクト名等）や、各オブジェクトの色、位置、画像中の占有範囲、個数、雰囲気、等が画像属性情報として用いられる。画像検索装置１０においては、画像ＤＢ１２の中から検索条件に適合する画像が検索される。なお、画像ＤＢ１２は画像検索装置１０に備えられていなくてもよい。例えば、画像検索装置１０と画像ＤＢ２４とが、ネットワーク等の通信経路を介して接続され、画像検索装置１０は、その通信経路を介して画像ＤＢ２４から画像を検索してもよい。

ＵＩ部１４はユーザインターフェースであり、表示部と操作部とを備える。表示部は、例えば液晶ディスプレイ等の表示装置である。操作部は、例えばキーボードやマウスやタッチパネルや操作パネル等の入力装置である。ＵＩ部１４を利用することにより、ユーザによって検索条件が入力される。

１次検索部１６は、ユーザによって入力された１次検索条件に適合する画像群（１又は複数の画像）を画像ＤＢ１２から検索する。この検索が１次検索に相当する。以下、１次検索部１６によって検索された画像群を、「第１画像群」と称する場合がある。１次検索では、ユーザによって入力された画像属性情報や類似画像等が１次検索条件として用いられ、その画像属性情報や類似画像等に適合する第１画像群が検索される。類似画像が１次検索条件として使用される場合、１次検索部１６は、その類似画像に類似する第１画像群（例えば、類似画像の特徴と類似する特徴を有する画像群や、類似画像の画像属性情報と同一の画像属性情報を有する画像群）を画像ＤＢ１２から検索する。１次検索部１６は、１次検索の結果をＵＩ部１４の表示部に表示させる。例えば、１次検索部１６は、検索された画像そのもの、画像のサムネイル画像（縮小画像）、画像の識別情報（画像ＩＤや画像の名称等）、等を１次検索結果として表示部に表示させる。

属性抽出部１８は、第１画像群から選択された複数の画像（以下、「選択画像」と称する）のそれぞれから１又は複数の画像属性情報を抽出する。選択画像は、例えばユーザによって選択される。

検索条件作成部２０は、複数の選択画像から抽出された画像属性情報に基づいて、画像属性情報によって規定される検索条件（以下、「２次検索条件」と称する）を作成する。個々の選択画像から複数の画像属性を示す複数の画像属性情報が抽出された場合、検索条件作成部２０は、同一属性（共通属性）についての画像属性情報毎に検索条件を作成する。これにより、画像属性毎の検索条件が作成される。この場合、２次検索条件には、複数の画像属性に関する複数の検索条件が含まれることになる。

優先度算出部２２は、各選択画像間の同一属性の画像属性情報の差分に基づいて、各画像属性の優先度を算出する。差分が小さいほど、優先度は高くなる。各画像属性は、２次検索条件に含まれる各検索条件に対応している。それ故、各画像属性の優先度は、２次検索条件に含まれる各検索条件の優先度を示していることになる。この優先度は、２次検索結果の出力時、又は、２次検索時に利用される。

再検索部２４は、２次検索条件に適合する画像群（１又は複数の画像）を画像ＤＢ１２から検索する。この検索が２次検索に相当する。以下、再検索部２４によって検索された画像群を、「第２画像群」と称する場合がある。再検索部２４は、２次検索の結果をＵＩ部１４の表示部に表示させる。例えば、再検索部２４は、検索された画像そのもの、画像のサムネイル画像、画像の識別情報、等を２次検索結果として表示部に表示させる。２次検索条件に複数の検索条件が含まれる場合、再検索部２４は、それら全ての検索条件に適合する第２画像群を検索してもよいし（ＡＮＤ検索）、少なくとも１つの検索条件に適合する第２画像群を検索してもよい（ＯＲ検索）。再検索部２４は、２次検索条件に含まれる複数の検索条件のうち、ユーザによって指定された検索条件に適合する第２画像群を検索してもよい。再検索部２４は、２次検索条件に含まれる複数の検索条件（画像属性情報に対応する条件）の中で、優先度が相対的に高い検索条件を用いて検索を行ってもよい。例えば、再検索部２４は、優先度が予め設定された閾値以上となる検索条件を用いて検索を行ってもよい。または、再検索部２４は、第２画像群の中で優先度が高い検索条件に該当する画像ほど、優先的に表示部に表示させてもよい。

制御部２６は、画像検索装置１０の各部の動作を制御する。

以下、画像検索装置１０の詳細について説明する。

図２には、１次検索画面の一例が示されている。１次検索画面３０は、制御部２６の制御の下、ＵＩ部１４の表示部に表示される。１次検索画面３０上において、ユーザによって１次検索条件が入力される。図２に示す例では、テキスト検索用のキーワード「青いバラ」が入力されており、その他、画像の色味や雰囲気が指定されている。キーワード、画像の色味及び雰囲気は、画像属性情報の一例に相当する。１次検索部１６は、これらの情報を１次検索条件として使用し、その１次検索条件に適合する１次画像群を画像ＤＢ１２から検索する。

図３には、２次検索画面の一例が示されている。２次検索画面４０は、制御部２６の制御の下、ＵＩ部１４の表示部に表示される。２次検索画面４０には、１次検索の結果である画像５０〜５８が表示されている。画像５０〜５８は１次検索条件（キーワード「青いバラ」、画像の色味の条件、雰囲気の条件）に適合する画像であり、第１画像群の一例に相当する。この２次検索画面４０において、選択画像がユーザによって選択されるようになっている。例えば、ユーザがＵＩ部１４の操作部を利用することにより、画像５２，５６を選択画像として選択し、検索実行の指示を与える。これにより、再検索処理（２次検索処理）が実行される。再検索処理においては、属性抽出部１８によって各選択画像（画像５２，５６）の画像属性情報が抽出され、検索条件作成部２０によって２次検索条件が作成され、優先度算出部２２によって、２次検索条件に含まれる各検索条件（各画像属性に対応する検索条件）の優先度が決定される。そして、再検索部２４によって２次検索条件に基づく検索処理が実行される。

図４，５には、選択画像としての画像５２，５６の画像属性情報、その画像属性情報から作成された検索条件等が示されている。

図４，５に示す例では、画像中のオブジェクトの主従関係（「メイン」、「サブ」）、オブジェクト名、色味、概略位置、範囲、詳細位置及び個数が、画像属性に該当する。それらを示す情報が画像属性情報であり、各画像に予め対応付けられている。図４には、メインオブジェクトの画像属性情報が示されており、図５にはサブオブジェクトの画像属性情報が示されている。図４，５中の「検索値」は、検索条件作成部２０によって算出された検索条件の一例である。「占有面積」は、選択画像中においてオブジェクトが占有している面積の割合（オブジェクトの面積／全体面積）の平均値であって、各選択画像間（画像５２，５６）の平均値である。「優先度」は、優先度算出部２２によって算出された優先度の一例である。

図４を参照して、メインオブジェクトについて説明する。画像５２には、メインオブジェクトとして「バラ」のオブジェクトが表されており、メインオブジェクト名、そのメインオブジェクトの色味（メイン色味）、概略位置（メイン位置）、範囲（メイン範囲）、詳細位置（メイン位置Ｘ，Ｙ）、及び、メインオブジェクトの個数（メイン個数）が、そのメインオブジェクトの画像属性に該当する。画像５６にも、メインオブジェクトとして「バラ」のオブジェクトが表されており、そのメインオブジェクトの色味等が画像属性に該当する。なお、画像属性「メイン範囲」は、選択画像において当該メインオブジェクトが占有している面積の割合（メインオブジェクトの面積／全体面積）である。

図５を参照して、サブオブジェクトについて説明する。画像５２には、１つのサブオブジェクトが表されている。画像５２には、サブオブジェクトとして「かすみ草」のオブジェクトが表されており、サブオブジェクト名、そのサブオブジェクトの色味（サブ１色味）、概略位置（サブ１位置）、及び、範囲（サブ１範囲）が、そのサブオブジェクトの画像属性に該当する。画像５６には、２つのサブオブジェクトが表されている。画像５６には、一方のサブオブジェクトとして「装飾の草花」が表されており、そのサブオブジェクトの色味等が画像属性に該当する。また、画像５６には、別のサブオブジェクトとして「リボン」が表されており、そのサブオブジェクトの色味等が画像属性に該当する。

画像５２，５６には、各画像属性を示す画像属性情報が予め対応付けられている。

図４，５を参照して、検索条件作成部２０の処理について詳しく説明する。検索条件作成部２０は、複数の選択画像の画像属性情報に基づいて、個々の画像属性毎の検索条件を作成する。図４，５に示す例では、検索条件作成部２０は、画像属性「メインオブジェクト名」、「メイン色味」、「メイン位置」、「メイン範囲」、「メイン位置Ｘ」、「メイン位置Ｙ」、「メイン個数」、「サブオブジェクト名」、「サブ色味」、「サブ位置」及び「サブ範囲」のそれぞれについて検索条件を作成する。２次検索条件は、これら複数の検索条件を含むものである。

画像属性が数値で規定されている場合（画像属性情報が数値を表す場合）、検索条件作成部２０は、画像属性の数値範囲を規定する検索条件を作成する。例えば、画像属性「メイン色味」や「メイン範囲」等が数値として表現されている。この場合、検索条件作成部２０は、複数の選択画像から抽出された同一属性（共通属性）についての複数の画像属性情報（数値）の中の最大値と最小値とに基づいて、検索条件（数値範囲）の最大値と最小値とを規定する。

具体的には、第１画像群から２つの選択画像が選択された場合、数値範囲で表される検索条件の最大値と最小値は、以下のように規定される。
検索条件の最大値：ＭＡＸ＋（ＭＡＸ−ＭＩＮ）／２
検索条件の最小値：ＭＩＮ−（ＭＡＸ−ＭＩＮ）／２
ここで、ＭＡＸは、２つの選択画像の画像属性情報（数値）の中の最大値であり、ＭＩＮは、２つの選択画像の画像属性情報（数値）の中の最小値である。この場合、画像属性情報（数値）の差分を用いて、検索条件の最大値と最小値が規定される。

第１画像群から３つ以上の選択画像が選択された場合、数値範囲で表される検索条件の最大値として、３つ以上の選択画像の画像属性情報（数値）の中の最大値が用いられ、検索条件の最小値として、３つ以上の選択画像の画像属性情報（数値）の中の最小値が用いられる。なお、２つの選択画像が選択された場合も、画像属性情報の最大値が検索条件の最大値として用いられ、画像属性情報の最小値が検索条件の最小値として用いられてもよい。

図４に示されている具体例を挙げて説明する。例えば、画像属性「メイン範囲」は数値で表されており、選択画像として２つの画像（画像５２，５６）が選択されている。画像５２の画像属性「メイン範囲」の値は「５０％」であり、画像５６の画像属性「メイン範囲」の値は「３０％」である。それ故、画像５２，５６の画像属性「メイン範囲」の最大値（ＭＡＸ）は「５０％」であり、最小値（ＭＩＮ）は「３０％」である。従って、画像属性「メイン範囲」についての検索条件の最大値は「６０％」となり、最小値は「２０％」となる。つまり、画像属性「メイン範囲」の検索条件は「２０〜６０％」となる。図４には、その検索条件が検索値として示されている。なお、画像属性「メイン範囲」の最大値を検索条件の最大値とし、画像属性「メイン範囲」の最小値を検索条件の最小値としてもよい。この場合、検索条件（検索値）は「３０〜５０％」となる。

同様に、数値で規定されている他の画像属性についても、検索条件（検索値）が求められる。例えば、図４に示されている画像属性「メイン色味」、「メイン位置」、「メイン位置Ｘ」、「メイン位置Ｙ」及び「メイン個数」が、「メイン範囲」と同様に数値で規定されており、それぞれの最大値と最小値とに基づいて、個々の画像属性の検索条件（検索値）が算出される。

同様に、図５に示されている画像属性「サブ１色味」、「サブ１位置」及び「サブ１範囲」が、数値で規定されており、それぞれの最大値と最小値とに基づいて、個々の画像属性の検索条件（検索値）が算出される。なお、サブオブジェクト「リボン」については、画像５６のみに表されているため、そのサブオブジェクトの画像属性情報は、２次検索条件に用いられない。

画像属性が数値以外の文字列で規定されている場合（画像属性情報が数値以外の文字列を表す場合）、検索条件作成部２０は、その文字列自体、又は、その文字列が意味する内容のカテゴリを示す文字列を、検索条件として採用する。例えば、各選択画像の画像属性を示す各文字列が同一である場合、検索条件作成部２０は、当該文字列を当該画像属性の検索条件として採用する。各選択画像の画像属性を示す各文字列が異なる場合であって、各文字列の意味する内容が同一カテゴリに属する場合、検索条件作成部２０は、当該カテゴリを示す文字列を当該画像属性の検索条件として採用する。

図４，５に示す例では、画像属性「メインオブジェクト名」、「メイン位置」、「サブオブジェクト１名」及び「サブ１位置」が、数値以外の文字列によって規定されている。以下、オブジェクト名を例に挙げて説明する。

各選択画像の画像属性「オブジェクト名」が同一オブジェクト種を示している場合、つまり、各選択画像に表されている各オブジェクトが同一オブジェクト種に属している場合、検索条件作成部２０は、当該オブジェクトを示す文字列（元々の文字列）を、当該画像属性の検索条件として採用する。図４に示す例では、画像５２，５６の画像属性「メインオブジェクト名」は、共に「バラ」を示している。つまり、画像５２，５６のメインオブジェクトの種類は同一である。それ故、当該メインオブジェクト「バラ」を示す文字列が、画像属性「メインオブジェクト名」の検索条件（検索値）として採用される。この場合、元々の文字列が検索条件として採用されることになる。

一方、各選択画像の画像属性「オブジェクト名」が同一オブジェクト種を示していない場合であって、同一カテゴリに属するオブジェクトを示している場合、検索条件作成部２０は、当該カテゴリを示す文字列（カテゴリ名）を、当該画像属性の検索条件として採用する。つまり、各選択画像に表された各オブジェクトが同一オブジェクト種に属していない場合であって、同一カテゴリに属している場合、カテゴリ名が当該画像属性の検索条件として採用される。図５に示す例では、画像５２の画像属性「サブオブジェクト名」は「かすみ草」を示しており、画像５６の画像属性「サブオブジェクト名」は「装飾の草花」を示している。従って、画像５２，５６の画像属性「サブオブジェクト名」は一致せず、画像５２，５６のサブオブジェクトの種類は同一ではない。一方で、各サブオブジェクトのカテゴリは「植物」であるため、各サブオブジェクトは同一カテゴリに属していることになる。この場合、カテゴリ「植物」を示す文字列（カテゴリ名）が、当該画像属性の検索条件（検索値）として採用される。検索条件作成部２０は、文字列を分類するカテゴライズ部を備えており、画像属性を示す文字列がカテゴライズ部によって分類される。この分類の方法として、公知の方法が使用される。例えば、オブジェクト名とカテゴリ名との対応関係を示す分類化情報が予め作成されて画像検索装置１０に記憶されており、カテゴライズ部は、その分類化情報を利用することにより、各オブジェクトを分類する。

各選択画像に表されている各オブジェクトが、同一オブジェクト種に属しておらず、同一カテゴリにも属していない場合、画像属性「オブジェクト名」についての検索条件は作成されない。例えば、一方の選択画像にメインオブジェクト「犬」（カテゴリ「動物」）が表されており、他方の選択画像にメインオブジェクト「木」（カテゴリ「植物」）が表されている場合、両メインオブジェクトは、同一オブジェクト種に属しておらず、同一カテゴリにも属していない。この場合、画像属性「メインオブジェクト名」の検索条件（検索値）は作成されない。

次に、図４，５を参照して、優先度の決定方法について詳しく説明する。

画像属性が数値で規定されている場合（画像属性情報が数値を表す場合）、その画像属性の優先度は、以下のように規定される。
優先度＝（基準値−差分値）÷基準値×（占有面積÷全体面積）×１００

ここで、基準値は、画像属性毎に規定される値であり、一例として、画像属性の最大値を示す値である。例えば、数値範囲「０〜１００」で規定される画像属性の基準値は、「１００」である。図４に示す例で説明すると、画像属性「メイン範囲」は「０〜１００」の数値で規定されるので、その基準値として「１００」が採用される。一方、画像属性「メイン位置」は「０〜５．０」の数値で規定されるので、その基準値として「５．０」が採用される。差分値は、複数の選択画像の画像属性情報（数値）の中の最大値と最小値との差分である。差分値が小さいほど、優先度は高くなる。差分値が小さいほど、各選択画像間の画像属性の差が小さく、その画像属性の観点について各選択画像が似ているということになる。このような場合に、優先度が高くなるようになっている。図４に示されている画像属性「メイン範囲」を例に挙げて説明すると、最大値は画像５２の値「５０％」であり、最小値は画像５６の値「３０％」であるため、差分値は「２０％」である。占有面積は、選択画像に表されているオブジェクトの占有面積であり、例えば、複数の選択画像に表されている同一オブジェクトの占有面積の平均値である。図４に示されているメインオブジェクト「バラ」を例に挙げて説明すると、画像５２の画像属性「メイン範囲」は「５０％」であり、画像５６の画像属性「メイン範囲」は「３０％」であるため、占有面積の平均値は「４０％」となる。これらの値を用いて画像属性「メイン範囲」の優先度が決定される。この優先度は、画像属性「メイン範囲」の検索条件の優先度として用いられる。

画像属性が数値以外の文字列で規定されている場合（画像属性情報が数値以外の文字列を表す場合）、選択画像の全体面積に対する当該オブジェクトの占有面積の割合が、その画像属性の優先度として用いられる。具体的には、優先度は、以下のように規定される。

各選択画像の画像属性「オブジェクト名」が同一オブジェクト種を示している場合、つまり、各選択画像に表されている各オブジェクトが同一オブジェクト種に属している場合、優先度は以下のように規定される。
優先度＝（占有面積÷全体面積）×１００
ここで、占有面積は、図４，５に示されている占有面積である。

各選択画像の画像属性「オブジェクト名」が同一オブジェクト種を示していない場合であって、同一カテゴリに属するオブジェクトを示している場合、優先度は以下のように規定される。
優先度＝（占有面積÷全体面積）×５０

各選択画像に表されている各オブジェクトが、同一オブジェクト種に属しておらず、同一カテゴリにも属していない場合、その画像属性情報の優先度は「０」に設定される。

図４，５に示されるように各画像属性の検索値（検索条件）が算出されると、再検索部２４は、各画像属性の検索値を２次検索条件として用いて、画像ＤＢ１２から画像群（第２画像群）を検索する。画像属性情報が検索値に適合する画像群が検索される。画像属性が数値で規定されている場合、画像属性の数値が検索値（数値範囲）に含まれる画像群が検索される。画像属性が数値以外の文字列で規定されている場合、検索値（文字列）を含む文字列が画像属性として規定されている画像群が検索される。このとき、再検索部２４は、１次検索条件も併せて画像群を検索してもよい。

再検索部２４は、ＡＮＤ検索又はＯＲ検索のいずれを実行してもよい。つまり、再検索部２４は、２次検索条件に含まれる全ての検索値に適合する画像を検索してもよいし、２次検索条件に含まれる少なくとも１つの検察値に適合する画像を検索してもよい。

図４，５に示す例で説明すると、ＡＮＤ検索モードにおいては、再検索部２４は、画像属性「メインオブジェクト名」、「メイン色味」、「メイン範囲」、「メイン位置Ｘ」、「メイン位置Ｙ」、「メイン個数」、「サブオブジェクト名」、「サブ色味」、「サブ位置」及び「サブ範囲」の全ての検索値に適合する画像を検索する。ＯＲ検索モードにおいては、再検索部２４は、それらの検索値の中の少なくとも１つの検索値に適合する画像を検索する。

再検索部２４は、優先度に基づいて、複数の検索値（検索条件）から１又は検索値を選択し、その選択された１又は複数の検索値を２次検索条件として用いて検索（例えばＡＮＤ検索又はＯＲ検索）を実行してもよい。例えば、再検索部２４は、優先度が予め設定された閾値以上となる画像属性の検索値を２次検索条件として用いる。これにより、選択画像の特徴をより顕著に表す画像属性の検索値が、検索条件として用いられることになる。図４に示す例で説明する。例えば、閾値が「３０」に設定されているものとする。画像属性「メインオブジェクト名」、「メイン位置」及び「メイン個数」の優先度は「４０」であり、画像属性「メイン色味」の優先度は「３６」であり、画像属性「メイン位置Ｘ」の優先度は「３２」である。それ故、これらの画像属性の検索値は２次検索条件として用いられる。一方、画像属性「メイン範囲」及び「メイン位置Ｙ」の優先度は「２４」であるため、これらの画像属性の検索値は２次検索条件として用いられない。画像属性の優先度が高いほど、その画像属性の観点について各選択画像が似ていることになるため、優先度の高い画像属性の検索値を優先的に利用して検索することにより、各選択画像により似ている画像が検索されるようになる。

別の例として、再検索部２４は、メインオブジェクトについての検索値を２次検索条件として利用し、サブオブジェクトについての検索値を利用しなくてもよい。それとは逆に、再検索部２４は、メインオブジェクトについての検索値を利用せずに、サブオブジェクトについての検索値を２次検索条件として用いてもよい。ユーザがＵＩ部１４を利用してその選択を行ってもよい。例えば、メインオブジェクトを重視するがサブオブジェクトを重視しない場合には、メインオブジェクトについての検索値のみを利用することが想定される。それとは逆に、サブオブジェクトを重視するがメインオブジェクトを重視しない場合には、サブオブジェクトについての検索値のみを利用することが想定される。

更に別の例として、再検索部２４は、２次検索条件を用いて検索された第２画像群の中で、優先度が高い画像属性の検索値に適合する画像ほど、優先的に出力してもよい。例えば、検索結果（第２画像群）がＵＩ部１４の表示部に表示される際に、再検索部２４は、優先度が高い画像ほど優先的に表示させる。具体的には、再検索部２４は、検索結果としての第２画像群の一覧を表示部に表示させ、その一覧の中で、優先度が高い画像属性の検索値に適合する画像ほど、上位に表示させる。これにより、各選択画像により似ている画像が上位に表示されるようになる。また、再検索部２４は、各画像の優先度を示す情報を表示部に表示させてもよい。

また別の例として、再検索部２４は、各選択画像間の画像属性情報の差分が予め決定された閾値以上となる画像属性を検索条件から除外してもよい。この画像属性は、複数の選択画像間において関連性が相対的に低いと想定されるからである。その画像属性を検索条件から除外することにより、選択画像との関連性が相対的に低い第２画像群が検索されずに済む。

また、再検索部２４は、予め設定された閾値以下の数の選択画像が有する画像属性を、検索条件から除外してもよい。この画像属性は、複数の選択画像間において関連性が相対的に低いと想定されるからである。その画像属性を検索条件から除外することにより、選択画像との関連性が相対的に低い第２画像群が検索されずに済む。

次に、図６を参照して、画像検索装置１０による処理の流れについて説明する。

まず、制御部２６が１次検索画面をＵＩ部１４の表示部に表示させる（Ｓ０１）。例えば、図２に示されている１次検索画面３０がＵＩ部１４に表示される。次に、ユーザがＵＩ部１４を利用することにより、その１次検索画面３０において１次検索条件を入力し、１次検索の実行を指示する（Ｓ０２）。これにより、１次検索部１６が、１次検索条件に適合する第１画像群を画像ＤＢ１２から検索する（Ｓ０３）。検索結果である第１画像群がＵＩ部１４の表示部に表示される（Ｓ０４）。また、制御部２６は２次検索画面をＵＩ部１４の表示部に表示させる（Ｓ０４）。例えば、図３に示されている２次検索画面４０がＵＩ部１４に表示される。次に、ユーザがＵＩ部１４を利用することにより、その２次検索画面４０において、第１画像群の中から複数の選択画像を選択し、２次検索（再検索）の実行を指示する（Ｓ０５）。例えば、画像５２，５６が選択されて２次検索の実行が指示される。次に、属性抽出部１８が、各選択画像（例えば画像５２，５６）の画像属性情報を抽出する（Ｓ０６）。検索条件作成部２０は、抽出された各画像属性情報に基づいて、画像属性毎の検索条件を含む２次検索条件を作成する（Ｓ０７）。また、優先度算出部２２は、各画像属性の優先度を算出する。これにより、検索条件毎の優先度が求められる。そして、再検索部２４は、２次検索条件に適合する第２画像群を画像ＤＢ１２から検索する（Ｓ０８）。検索結果である第２画像群はＵＩ部１４の表示部に表示される（Ｓ０４）。再検索処理において、再検索部２４は、２次検索条件の中で優先度の基準を満たす検索条件に適合する第２画像群を検索してもよい。または、再検索部２４は、第２画像群の中で優先度が高い検索条件に適合する画像ほど、優先的に表示部に表示させてもよい。２次検索結果に対して更に２次検索が実行されてもよい。この場合、第２画像群の中からユーザによって複数の選択画像が選択され、当該複数の選択画像の画像属性情報に基づいて２次検索条件が作成され、その２次検索条件に従って２次検索が実行される。

以上のように、本実施形態では、複数の選択画像の画像属性に基づいて２次検索条件が作成され、その２次検索条件に適合する第２画像群が検索される。これにより、複数の選択画像に関連する画像属性を有する第２画像群が検索される。つまり、ユーザによって選択された選択画像に類似する第２画像群が選択される。本実施形態によると、ユーザが意図して画像属性に関する２次検索条件を設定しなくても、ユーザによって選択された選択画像の画像属性情報に基づいて自動的に２次検索条件が作成されるので、ユーザは意識して２次検索条件を設定せずに済む。ユーザが気付いていない観点やユーザによって表現し難い観点は、ユーザが意識して２次検索条件に含めることは想定し難いが、本実施形態によると、そのような観点であっても、選択画像の画像属性に含まれている場合には、２次検索条件として設定されることになる。本実施形態によると、選択画像を選択するという簡便な操作で、画像属性情報を利用した、より精度の高い画像検索が実現される。

上記の画像検索装置１０は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、画像検索装置１０は、図示しないＣＰＵ等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、画像検索装置１０の各部の機能が実現される。上記プログラムは、ＣＤやＤＶＤ等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。または、画像検索装置１０の各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。別の例として、画像検索装置１０の各部は、ＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）等によって実現されてもよい。

１０ 画像検索装置、１２ 画像ＤＢ、１４ ＵＩ部、１６ １次検索部、１８ 属性抽出部、２０ 検索条件作成部、２２ 優先度算出部、２４ 再検索部、２６ 制御部。

Claims (8)

1. 画像属性を示す画像属性情報に基づいて画像群の中から第１画像群を検索する第１検索手段と、
   前記第１画像群の中から選択された複数の選択画像のそれぞれの画像属性を示す画像属性情報に基づいて検索条件を作成する検索条件作成手段と、
   前記検索条件に基づいて前記画像群の中から第２画像群を検索する第２検索手段と、
   を有する画像検索装置。
2. 前記検索条件作成手段は、各選択画像の複数の画像属性を示す複数の画像属性情報に基づいて、画像属性毎の検索条件を作成し、
   当該画像検索装置は、
   各選択画像間の画像属性情報の差分に基づいて、各検索条件の優先度を決定する優先度決定手段を更に有し、
   前記第２検索手段は、前記優先度に基づいて、画像属性毎の検索条件の中から検索に用いられる検索条件を決定し、当該検索条件に基づいて前記第２画像群を検索する、
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記検索条件作成手段は、各選択画像の複数の画像属性を示す複数の画像属性情報に基づいて、画像属性毎の検索条件を作成し、
   当該画像検索装置は、
   各選択画像間の画像属性情報の差分に基づいて、各検索条件の優先度を決定する優先度決定手段を更に有し、
   前記第２検索手段は、画像属性毎の検索条件に基づいて前記第２画像群を検索し、前記第２画像群の中で優先度の高い検索条件に適合する画像ほど、優先的に出力する、
   ことを特徴とする請求項１に記載の画像検索装置。
4. 前記差分が小さいほど優先度は高い、
   ことを特徴とする請求項２又は請求項３に記載の画像検索装置。
5. 選択画像の画像属性情報は、選択画像の画像属性を示す数値であり、
   前記検索条件作成手段は、選択画像の画像属性を示す数値に基づいて、数値範囲で規定される検索条件を作成し、
   前記第２検索手段は、画像属性を示す数値が前記数値範囲に含まれる前記第２画像群を検索する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像検索装置。
6. 選択画像の画像属性情報は、選択画像に表されているオブジェクトを示す文字列であり、
   前記検索条件作成手段は、前記複数の選択画像に表されている各オブジェクトが同一オブジェクト種に属する場合、当該オブジェクトを示す文字列を検索条件として採用し、各オブジェクトが同一オブジェクト種に属さず同一カテゴリに属する場合、当該カテゴリを示す文字列を検索条件として採用し、
   前記第２検索手段は、検索条件として採用された文字列を含む文字列が画像属性情報として規定されている前記第２画像群を検索する、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像検索装置。
7. 前記第２検索手段は、各選択画像間の画像属性情報の差分が予め設定された閾値以上となる画像属性についての検索条件を除外して前記第２画像群を検索する、
   ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像検索装置。
8. コンピュータを、
   画像属性を示す画像属性情報に基づいて画像群の中から第１画像群を検索する第１検索手段と、
   前記第１画像群の中から選択された複数の選択画像のそれぞれの画像属性を示す画像属性情報に基づいて検索条件を作成する検索条件作成手段と、
   前記検索条件に基づいて前記画像群の中から第２画像群を検索する第２検索手段と、
   として機能させるプログラム。