JP2015099534A - 検索装置、検索方法、及びプログラム - Google Patents

Abstract

【課題】逐次的且つ対話的な検索を行う。【解決手段】検索装置１０は、取得部２６と、受付部２８と、算出部３０と、決定部３２と、を備える。取得部２６は、第１画像を取得する。受付部２８は、第１画像に含まれる第１領域の選択を受け付ける。算出部３０は、検索対象の複数の第２画像の各々について、該第１領域との第１類似度と、該第１領域より前に受付部２８が受け付けた第１領域としての第２領域との第２類似度と、を算出する。決定部３２は、複数の第２画像の各々に対する第１類似度と第２類似度との論理演算の演算結果に基づいて、複数の第２画像の内、提示する第３画像を決定する。【選択図】図１

Description

本発明は、検索装置、検索方法、及びプログラムに関する。

目的とする商品を検索するために、画像中の領域を指定し、その領域に類似する領域を含む画像を検索する技術が開示されている。

特開２０１２−７９１８６号公報

しかしながら、従来技術は、単に、指定された領域に類似する領域を含む画像を検索するのみであり、ユーザの興味の推移を反映させた逐次的且つ対話的な検索を行うことは出来なかった。

本発明が解決しようとする課題は、逐次的且つ対話的な検索を行うことができる、検索装置、検索方法、及びプログラムを提供することである。

実施形態の検索装置は、取得部と、受付部と、算出部と、決定部と、を備える。取得部は、第１画像を取得する。受付部は、第１画像に含まれる第１領域の選択を受け付ける。算出部は、検索対象の複数の第２画像の各々について、該第１領域との第１類似度と、該第１領域より前に受付部が受け付けた第１領域としての第２領域との第２類似度と、を算出する。決定部は、複数の第２画像の各々に対する第１類似度と第２類似度との論理演算の演算結果に基づいて、複数の第２画像の内、提示する第３画像を決定する。

検索装置の機能的構成を示すブロック図。 第２画像、第１画像、第１領域、及び第２領域の説明図。 画像上の位置の説明図。 第３画像の決定方法の説明図。 第３画像の決定方法の説明図。 検索処理の手順を示すフローチャート。 画像の推移を示す説明図。 表示制御の説明図。

以下に添付図面を参照して、検索装置、検索方法、及びプログラムの一の実施形態を詳細に説明する。

図１は、本実施の形態の検索装置１０の機能的構成を示すブロック図である。検索装置１０は、制御部１２、撮像部１３、入力部２２、表示部２４、第１記憶部１６、第２記憶部１８、及び第３記憶部２０を備える。

本実施の形態では、検索装置１０は、制御部１２、撮像部１３、入力部２２、表示部２４、第１記憶部１６、第２記憶部１８、及び第３記憶部２０が一体的に設けられた携帯型端末（例えば、スマートフォンやタブレット型のＰＣ（パーソナルコンピュータ）等）である場合を説明する。なお、検索装置１０は、携帯型端末に限られない。例えば、検索装置１０は、撮像部１３、入力部２２、表示部２４、第１記憶部１６、第２記憶部１８、及び第３記憶部２０の少なくとも１つと、制御部１２と、が別体として設けられた構成であってもよい。この場合、例えば、検索装置１０としては、ＰＣが挙げられる。

以下、検索装置１０について詳細に説明する。

表示部２４は、各種画像を表示する（詳細後述）。表示部２４としては、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等が挙げられる。

入力部２２は、ユーザが各種の操作入力を行うための手段である。入力部２２には、例えば、マウス、ボタン、リモコン、キーボード、及びマイク等の音声認識装置等が挙げられる。

なお、入力部２２及び表示部２４は、一体的に構成されていてもよい。具体的には、入力部２２及び表示部２４は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１４として構成されていてもよい。ＵＩ部１４には、タッチパネル付ＬＣＤ等がある。

撮像部１３は、撮像によって、第１画像を得る。撮像部１３は、公知のデジタルカメラ、デジタルビデオカメラ等である。撮像部１３は、ユーザによるＵＩ部１４の操作指示によって撮像指示が入力されると、被写体を撮像し、第１画像を得る。撮像部１３は、撮像によって得た第１画像を、制御部１２へ出力する。

第１画像は、第１領域を含む画像である。

第１領域は、第１画像に含まれる領域である。第１領域は、第１画像における一定の範囲を占める領域であり、且つ対比可能な領域である。第１領域は、第１画像の全体を示す領域であってもよいし、一部の領域であってもよい。本実施の形態では、第１領域は、第１画像の一部の領域である場合を説明する。

第１画像が衣服の画像である場合、第１領域は、例えば、襟、袖、ボタン、模様、ロゴ、マーク等である。第１領域は、ユーザによるＵＩ部１４の操作指示によって選択される。すなわち、ユーザは、ＵＩ部１４の表示部２４に表示された第１画像を確認しながら、入力部２２を操作することにより、第１画像における第１領域を指示する。

第１画像は、検索装置１０において、ユーザが第１領域を指示するときに用いる画像である。第１画像は、第１領域を含む画像であれはよい。

具体的には、第１画像は、服飾に関する画像、家具に関する画像、旅行に関する画像、家電に関する画像等であるが、これらに限られない。

服飾に関する画像とは、具体的には、服飾品、美容に関する物、等の、服飾に用いる物や髪型等であって、且つ視認可能な画像である。服飾品とは、衣服や装飾品を示す。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。装飾品は、例えば、指輪、ネックレス、ペンダント、イヤリングなど、身を飾るための工芸品である。美容に関する物とは、髪型、皮膚等に塗布する物である化粧品、等を示す。

本実施の形態では、一例として、第１画像が、衣服の画像である場合を説明する。

第１記憶部１６は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。第１記憶部１６は、複数の第２画像を予め記憶する。第２画像は、検索装置１０における検索対象の画像である。第２画像は、例えば、商品や、商品に関する画像であるが、これらに限定されない。更に具体的には、第２画像は、服飾に関する画像、家具に関する画像、旅行に関する画像、家電に関する画像等であるが、これらに限られない。本実施の形態では、一例として、第２画像は、衣服の画像である場合を説明する。

第２記憶部１８は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。第２記憶部１８は、第１領域と、第２領域と、を記憶する。第２領域とは、制御部１２がＵＩ部１４から最後に受け付けた第１領域より前に、ＵＩ部１４から受け付けた第１領域である。すなわち、第２記憶部１８は、制御部１２がＵＩ部１４から受け付けた最新の第１領域を第１領域として記憶し、制御部１２がＵＩ部１４から該第１領域より前に受け付けた第１領域を第２領域として記憶する。

具体的には、第２記憶部１８は、第１領域と、第１領域を示す第１識別情報と、該第１領域が選択された日時と、を対応づけて記憶する。また、第２記憶部１８は、第２領域と、第２領域を示す第２識別情報と、該第２領域が第１領域として選択された日時と、を対応づけて記憶する。

第３記憶部２０は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。第３記憶部２０は、第２領域と、該第２領域が第１領域として選択された日時と、を対応づけて記憶する。

なお、本実施の形態では、第１記憶部１６、第２記憶部１８、及び第３記憶部２０は、別体として設けられている場合を説明する。しかし、第１記憶部１６、第２記憶部１８、及び第３記憶部２０の少なくとも２つが、一体的に設けられた構成であってもよい。この場合、１の記憶部を複数のメモリ領域に分割し、各メモリ領域に、第１記憶部１６、第２記憶部１８、及び第３記憶部２０の少なくとも１つに記憶されている情報の各々を個別に記憶すればよい。

制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。制御部１２は、検索装置１０全体を制御する。また、制御部１２は、撮像部１３、第１記憶部１６、第２記憶部１８、第３記憶部２０、及びＵＩ部１４に電気的に接続されている。

制御部１２は、取得部２６、受付部２８、算出部３０、決定部３２、第１制御部３４、及び第２制御部３６を備える。取得部２６、受付部２８、算出部３０、決定部３２、第１制御部３４、及び第２制御部３６の一部または全ては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

取得部２６は、第１画像を取得する。本実施の形態では、取得部２６は、撮像部１３から第１画像を取得する。

なお、取得部２６は、第１記憶部１６に記憶されている複数の第２画像の内の１つを、第１画像として取得してもよい。この場合、例えば、ユーザによるＵＩ部１４の操作指示によって、第１記憶部１６に記憶されている複数の第２画像の内の１つが選択される。取得部２６は、該選択された第２画像を第１画像として取得すればよい。

また、後述する検索処理によって、表示部２４に第３画像（詳細後述）が表示されている場合には、取得部２６は、１つの第３画像を第１画像として取得する。具体的には、表示部２４に複数の第３画像が表示されている場合、取得部２６は、複数の第３画像の内、ユーザによるＵＩ部１４の操作指示によって選択された１つの第３画像を、第１画像として取得する。

第１制御部３４は、各種画像やデータ等を表示部２４へ表示する制御を行う。第１制御部３４は、例えば、取得部２６で取得した第１画像を表示部２４へ表示する制御を行う。

受付部２８は、第１画像における第１領域の選択を受け付ける。ユーザによるＵＩ部１４の操作指示によって、表示部２４に表示された第１画像に含まれる第１領域が選択される。すると、ＵＩ部１４は、選択された第１領域を制御部１２へ出力する。

詳細には、例えば、第１制御部３４は、第１画像を表示部２４へ表示する制御を行った後に、入力部２２の操作指示がなされると、バウンダリボックスを表示部２４へ表示する制御を行う。そして、ユーザは、入力部２２の操作指示によって、表示部２４に表示された第１画像における所望の第１領域を、該バウンダリボックスの設定により選択する。すると、ＵＩ部１４は、選択された第１領域を制御部１２へ出力する。

受付部２８は、ＵＩ部１４から第１領域を受信することで、第１領域の選択を受け付ける。なお、上記第２領域は、具体的には、受付部２８が第１領域の選択を受け付けたときに、該第１領域より前に受付部２８が受け付けた第１領域である。

また、ＵＩ部１４は、ユーザによる入力部２２の操作指示によって選択された、第１画像上の位置を示す位置情報を受付部２８へ出力してもよい。この場合、位置情報を受け付けた受付部２８は、第１画像における該位置情報によって特定される位置からセグメンテーションにより自動領域切出し処理を実行することで、第１領域を受け付けてもよい。

第２制御部３６は、各種情報を、第１記憶部１６、第２記憶部１８、または第３記憶部２０へ記憶する制御を行う。また、第２制御部３６は、各種情報を、第１記憶部１６、第２記憶部１８、または第３記憶部２０から削除、更新する制御を行う。

本実施の形態では、第２制御部３６は、受付部２８が第１領域の選択を受け付けたときに、該第１領域を第１識別情報に対応づけて第２記憶部１８へ記憶する制御を行う。また、第２制御部３６は、後述する決定部３２によって第３画像が決定されたときに、該第１領域を第２領域として、第２記憶部１８へ記憶する制御を行う。

図２は、第２画像、第１画像、第１領域、及び第２領域の説明図である。例えば、第１記憶部１６が、衣服の画像である複数の第２画像４０〜４３を予め記憶する（図２（Ａ）参照）。例えば、取得部２６が、中央に熊のマークの入った衣服の画像である第１画像５５を取得する（図２（Ｂ）参照）。また、受付部２８が、ＵＩ部１４から第１画像５５における熊のマークの領域５５Ａの選択（図２（Ｂ）中、Ｐ参照）を、第１領域の選択として受け付けたとする。

この場合、第２制御部３６は、第１領域としての領域５５Ａを、第１領域を示す第１識別情報に対応づけて第２記憶部１８へ記憶する制御を行う（図２（Ｃ）参照）。また、第２制御部３６は、第２記憶部１８に記憶されている、受付部２８が該第１領域より前に受け付けた第１領域としての領域４４Ａを、第２領域を示す第２識別情報に対応づけて第２記憶部１８へ記憶する制御を行う（図２（Ｃ）参照）。これにより、第２制御部３６は、受付部２８が受け付けた最新の第１領域より前に受け付けた第１領域を、第２領域として第２記憶部１８に記憶する制御を行う。

図１に戻り、算出部３０は、第１記憶部１６に記憶されている検索対象の複数の第２画像の各々について、第１類似度及び第２類似度を算出する。第１類似度は、第２画像と、第１領域と、の類似度を示す。第２類似度は、第２画像と、第２領域と、の類似度を示す。

具体的には、算出部３０は、第１領域の第１特徴量、第２画像における第１領域に対応する第３領域の第３特徴量を算出する。そして、算出部３０は、第１特徴量及び第２特徴量を用いて、第１類似度を算出する。また、算出部３０は、第２領域の第２特徴量、第２画像における第２領域に対応する第４領域の第４特徴量を算出する。そして、算出部３０は、第２特徴量及び第４特徴量を用いて、第２類似度を算出する。

第２画像における第３領域の特定には、公知の方法を用いればよい。同様に、第２画像における第４領域の特定には、公知の方法を用いればよい。

上記第１特徴量、第２特徴量、第３特徴量、及び第４特徴量の各特徴量は、各領域を解析することにより得られる数値である。各領域とは、上述した、第１領域、第２領域、第３領域、及び第４領域である。この数値は、各領域の特徴に対応する数値またはその組み合わせである。なお、以下では、第１特徴量、第２特徴量、第３特徴量、及び第４特徴量を総称する場合には、単に、特徴量と称して説明する。

具体的には、算出部３０は、特徴量算出のための第１条件を予め定める。この第１条件は、例えば、領域の色、領域の形状、及び領域を予め定めた条件で分類した種類等である。

算出部３０は、例えば、第１領域の色（Ｒ、Ｇ、Ｂの画素値）、第１領域の形状、及び第１領域の種類の各々を数値化した値を、第１特徴量として算出する。また、算出部３０は、第３領域の色（Ｒ、Ｇ、Ｂの画素値）、第３領域の形状、及び第３領域の種類の各々を数値化した値を、第３特徴量として算出する。

同様に、算出部３０は、例えば、第２領域の色（Ｒ、Ｇ、Ｂの画素値）、第２領域の形状、及び第２領域の種類の各々を数値化した値を、第２特徴量として算出する。また、算出部３０は、第４領域の色（Ｒ、Ｇ、Ｂの画素値）、第４領域の形状、及び第４領域の種類の各々を数値化した値を、第４特徴量として算出する。

すなわち、算出部３０は、第１条件に応じて、ＨｏＧ特徴量や、ＳＩＦＴ特徴量、またはこれらの組合せを、特徴量として算出する。なお、第１条件は、適宜設定すればよく、上記条件に限定されない。

なお、算出部３０は、第２記憶部１８から、第２領域に対応する第２特徴量を読取ることによって、第２特徴量を算出してもよい。この場合、第２制御部３６は、算出部３０によって第１領域の第１特徴量が算出される度に、第１特徴量を、第１領域と第１識別情報とに対応づけて第２記憶部１８に記憶する。この第１領域は、上述したように、第２制御部３６によって、後述する決定部３２によって第３画像が決定されたときに、第２領域として第２記憶部１８へ記憶される。このため、第２制御部３６によって、第２記憶部１８には、第２領域と、第２領域の第２特徴量と、第２識別情報と、が対応づけて記憶された状態となる。そして、算出部３０は、この第２特徴量を第２記憶部１８から読取ることによって、第２特徴量を算出すればよい。

次に、算出部３０は、第１特徴量と、第３特徴量と、の類似度を算出することによって、第１類似度を算出する。また、算出部３０は、第２特徴量と、第４特徴量と、の類似度を算出することによって、第２類似度を算出する。

例えば、算出部３０は、第１特徴量と第３特徴量とが一致する場合を第１類似度「１」とし、第１特徴量と第３特徴量とが予め定めた値以上異なる場合を第１類似度「０」として、第１特徴量と第３特徴量との値が近いほど第１類似度「０」から第１類似度「１」に向かって大きくなるように、第１類似度を算出する。

同様に、算出部３０は、第２特徴量と第４特徴量とが一致する場合を第２類似度「１」とし、第２特徴量と第４特徴量とが予め定めた値以上異なる場合を第２類似度「０」として、第２特徴量と第４特徴量との値が近いほど第２類似度「０」から第２類似度「１」に向かって大きくなるように、第２類似度を算出する。

具体的には、算出部３０は、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関などを用いて、第１類似度、及び第２類似度を算出すればよい。

なお、算出部３０は、各領域の画像上における幾何学的な関係を加味して、第１類似度及び第２類似度を算出してもよい。幾何学的な関係とは、各領域の画像上における位置、各領域の画像上における大きさ（比率）、各領域の画像上における範囲（占める割合）、各領域の画像上における色ヒストグラムの相関値、及び各領域の画像上における輝度勾配ヒストグラムの相関値、の少なくとも１つである。

この場合、算出部３０は、第１特徴量、第１画像における第１領域の幾何学的な関係、第３特徴量、及び第２画像における第３領域の幾何学的な関係を用いて、複数の第２画像毎に第１類似度を算出する。また、算出部３０は、第２特徴量、第１画像における第２領域の幾何学的な関係、第４特徴量、及び第２画像における第４領域の幾何学的な関係を用いて、複数の第２画像毎に第２類似度を算出する。

なお、第１画像における第１領域の幾何学的な関係、第２画像における第３領域の幾何学的な関係、第１画像における第２領域の幾何学的な関係、及び第２画像における第４領域の幾何学的な関係は、各々の画像における各領域の幾何学的な関係であってもよいし、各々の画像に含まれる衣服領域における各領域の幾何学的な関係であってもよい。

図３は、幾何学的な関係の一例として、各領域の画像上における位置の説明図である。図３に示すように、例えば、第２画像４５における第４領域５５Ａの位置は、第２画像４５における特定の位置（例えば、位置Ｑ）を原点とする位置座標である。なお、第２画像４５における第４領域５５Ａの位置は、第２画像４５に含まれる衣服領域４５Ａにおける相対位置を示す情報であってもよい。

幾何学的な関係として、各領域の画像上における大きさ（比率）を用いる場合、図３中、第２画像４５における第４領域５５Ａの大きさは、第２画像４５の幅と第４領域５５Ａの幅との比率で表せばよい。また、また、第２画像４５における第４領域５５Ａの大きさは、第２画像４５の高さと第４領域５５Ａの高さとの比率であってもよい。また、第２画像４５における第４領域５５Ａの大きさは、第２画像４５の高さと幅との比率と、第４領域５５Ａの高さと幅との比率と、の比率であってもよい。

また、第１画像における第１領域の位置や大きさ、第２画像における第３領域の位置や大きさ、及び第１画像における第２領域の位置や大きさについても同様である。

なお、算出部３０は、各領域の画像上における幾何学的な関係として、各領域の画像上における位置、各領域の画像上における大きさ（比率）、各領域の画像上における範囲（占める割合）、各領域の画像上における色ヒストグラムの相関値、各領域の画像上における輝度勾配ヒストグラムの相関値、の少なくとも１つを用いればよく、これらの値（位置、大きさ、範囲、色ヒストグラムの相関値、輝度勾配ヒストグラムの相関値）の内の複数を組み合わせて用いてもよい。

図１に戻り、この場合、算出部３０は、第１特徴量と第３特徴量とが一致し、且つ、第１画像における第１領域の位置と第２画像における第３領域の位置とが一致する場合を、第１類似度「１」とする。算出部３０は、第１特徴量と第３特徴量とが予め定めた値以上異なり、且つ、第１画像における第１領域の位置と第２画像における第３領域の位置とが予め定めた値以上異なる場合を第１類似度「０」とする。そして、算出部３０は、第１特徴量と第３特徴量との値が近く、且つ第１画像における第１領域の位置と第２画像における第３領域の位置とが近いほど、第１類似度「０」から第１類似度「１」に向かって大きくなるように、第１類似度を算出する。

同様に、算出部３０は、第２特徴量と第４特徴量とが一致し、且つ、第１画像における第２領域の位置と第２画像における第４領域の位置とが一致する場合を第２類似度「１」とする。また、算出部３０は、第２特徴量と第４特徴量とが予め定めた値以上異なり、且つ、第１画像における第２領域の位置と第２画像における第４領域の位置とが予め定めた値以上異なる場合を第２類似度「０」とする。そして、算出部３０は、第２特徴量と第４特徴量との値が近く、且つ、第１画像における第２領域の位置と第２画像における第４領域の位置が近いほど、第２類似度「０」から第２類似度「１」に向かって大きくなるように、第２類似度を算出する。

決定部３２は、複数の第２画像の内、第１領域と、第２領域と、の双方に類似、または非類似の第２画像を、ユーザへ提示する第３画像として決定する。第３画像は、第２画像の内、ユーザへ提示する画像として決定された画像である。

本実施の形態では、決定部３２は、複数の第２画像の各々に対する、第１類似度と第２類似度との論理演算を行う。決定部３２は、この論理演算の演算結果に基づいて、複数の第２画像の内、ユーザへ提示する第３画像を決定する。

決定部３２は、論理積（ＡＮＤ）、論理和（ＯＲ）、否定（ＮＯＴ）、及び排他的論理和（ＸＯＲ）の少なくとも１つを用いた論理演算を行う。

決定部３２には、例えば、予め、何れの種類の論理演算を用いるかが設定されている。例えば、決定部３２の図示を省略するメモリには、論理積（ＡＮＤ）、論理和（ＯＲ）、否定（ＮＯＴ）、及び排他的論理和（ＸＯＲ）の内の何れかの種類が記憶されている。この論理演算の種類は、ＵＩ部１４の操作指示によって適宜変更可能である。

そして、決定部３２は、予め設定された種類の論理演算を行うことにより、複数の第２画像毎に、第１類似度と第２類似度との論理演算の演算結果を算出する。

なお、第２記憶部１８に第２領域が記憶されていない場合には、算出部３０は、第１類似度のみを算出する。この場合、決定部３２は、第１類似度を演算結果として用いればよい。すなわち、この場合、決定部３２は、第２類似度を空集合として、複数の第２画像毎に、第１類似度と第２類似度との論理演算の演算結果を算出すればよい。

なお、複数の第２領域が第２記憶部１８に記憶されていたとする。この場合、算出部３０は、第２画像毎に、複数の第２領域との、複数の第２類似度を算出する。決定部３２は、各第２画像について、第１類似度と、複数の第２類似度の各々と、の論理演算の演算結果を算出する。

このため、第２記憶部１８に、複数の第２領域が記憶されている場合には、決定部３２は、第１類似度と複数の第２類似度の各々との論理演算の演算結果として、１つの第２画像に対して、複数の演算結果を算出することとなる。

なお、各第２画像について、複数の第２領域が第２記憶部１８に記憶されており、算出部３０によって複数の第２類似度が算出された場合に、算出部３０が、１つの第２画像に対して１つの演算結果を算出してもよい。

この場合、決定部３２の図示を省略するメモリは、例えば、論理演算の演算順と、論理演算の種類と、を対応づけて予め記憶する。

例えば、メモリは、論理演算の演算順「１」に対応する論理演算の種類「論理積（ＡＮＤ）」、論理演算の演算順「２」に対応する論理演算の種類「論理和（ＯＲ）」、論理演算の演算順「３」に対応する論理演算の種類「論理積（ＡＮＤ）」を予め記憶する。なお、論理演算の演算順及び対応する論理演算の種類は、ユーザによるＵＩ部１４の操作指示によって適宜変更可能である。

そして、決定部３２は、各第２画像について、第１類似度と、複数の第２類似度の内の論理演算を未実行の１つの第２類似度と、について、論理演算の演算順「１」に対応する種類の論理演算を行う。そして、決定部３２は、論理演算を行う度に、論理演算の演算順を１ずつカウントアップし、前回演算した演算結果と、複数の第２類似度の内の論理演算を未実行の１つの第２類似度と、について、論理演算の演算順に対応する種類の論理演算を行う、一連の処理を繰り返し実行する。そして、決定部３２は、最終的に得られた演算結果を、第２画像に対応する演算結果として用いる。これにより、決定部３２は、１つの第２画像について、複数の第２類似度が算出された場合であっても、１つの演算結果を得ることができる。

決定部３２は、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算の演算結果が大きい順または小さい順に予め定めた数の第２画像を、第３画像として決定する。

決定部３２は、例えば、昇順または降順を示す情報と、該予め定めた数（以下、表示数と称する）を示す情報と、を、図示を省略するメモリに予め記憶する。そして、決定部３２は、該メモリに、「降順」を示す情報が記憶されている場合、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算の演算結果が大きい順に、該表示数分の第２画像を、第３画像として決定する。

一方、決定部３２は、該メモリに、「昇順」を示す情報が記憶されている場合、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算の演算結果が小さい順に、該表示数分の第２画像を、第３画像として決定する。

なお、決定部３２の図示を省略するメモリに記憶する、上記「昇順」または「降順」を示す情報は、ユーザによるＵＩ部１４の操作指示によって適宜変更可能である。

例えば、第１制御部３４が、第１画像内の気に入った第１領域を指示することを示す第１ボタン、及び、第１画像内の気に入らない第１領域を指示することを示す第２ボタンを、表示部２４に表示する制御を行う。そして、ユーザによる入力部２２の操作指示によって、第１ボタンが指示されたときに、ＵＩ部１４は、第１ボタンが指示されたことを示す情報を制御部１２へ出力する。また、ユーザによる入力部２２の操作指示によって第２ボタンが指示されたときに、ＵＩ部１４は、第２ボタンが指示されたことを示す情報を制御部１２へ出力する。

制御部１２の決定部３２は、第１ボタンが指示されたことを示す情報をＵＩ部１４から受け付けると、「降順」を示す情報を、図示を省略するメモリに記憶する。一方、決定部３２は、第２ボタンが指示されたことを示す情報をＵＩ部１４から受け付けると、「昇順」を示す情報を、図示を省略するメモリに記憶すればよい。

決定部３２が、「昇順」を示す情報に基づいて、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算の演算結果が小さい順に、予め定められた表示数分の第２画像を、第３画像として決定したとする。この場合、決定部３２は、複数の第２画像の内、第１領域と、第２領域と、の双方に非類似の第２画像を、ユーザへ提示する第３画像として決定することとなる。

一方、決定部３２が、「降順」を示す情報に基づいて、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算の演算結果が大きい順に、予め定められた表示数分の第２画像を、第３画像として決定したとする。この場合、決定部３２は、複数の第２画像の内、第１領域と、第２領域と、の双方に類似の第２画像を、ユーザへ提示する第３画像として決定することとなる。

表示数についても同様に、ユーザによるＵＩ部１４の操作指示によって適宜変更可能である。

第３画像の決定方法について、更に具体的に説明する。

図４は、第３画像の決定方法の説明図である。図４に示すように、例えば、第２画像として、衣服の画像である複数の第２画像４０〜４３が、予め第１記憶部１６に記憶されていたとする。また、例えば、取得部２６が取得した第１領域が、熊のマークの領域５５Ａであったとする。また、第２領域が、水玉模様の領域４４Ａであったとする。

この場合、算出部３０は、複数の第２画像４０〜４３の各々について、第１領域である領域５５Ａとの第１類似度、及び第２領域である領域４４Ａとの第２類似度を算出する。

図４に示す例では、第２画像４０における、領域５５Ａとの第１類似度は「０．９」であり、領域４４Ａとの第２類似度は「０．２」である。また、第２画像４１における、領域５５Ａとの第１類似度は「０．８」であり、領域４４Ａとの第２類似度は「０．８」である。また、第２画像４２における、領域５５Ａとの第１類似度は「０．８」であり、領域４４Ａとの第２類似度は「０．７」である。また、第２画像４３における、領域５５Ａとの第１類似度は「０．１」であり、領域４４Ａとの第２類似度は「０．２」である。

次に、決定部３２が、複数の第２画像４０〜４３の各々について、第１類似度と第２類似度との論理演算の演算結果を算出する。

例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「論理積（ＡＮＤ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１類似度と第２類似度との論理積（ＡＮＤ）の演算結果を算出する。これにより、第２画像４０〜４３の各々の演算結果は、「０．１８」、「０．６４」、「０．５６」、「０．０２」となる。そして、決定部３２は、図示を省略するメモリに「降順」及び表示数「２」が記憶されている場合、演算結果の大きい順に２つの第２画像４１、４２を、ユーザへ提示する第３画像として決定する。

また、例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「論理和（ＯＲ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１類似度と第２類似度との論理和（ＯＲ）の演算結果を算出する。これにより、第２画像４０〜４３の各々の演算結果は、「０．９」、「０．８」、「０．８」、「０．２」となる。そして、決定部３２は、図示を省略するメモリに「降順」及び表示数「３」が記憶されている場合、演算結果の大きい順に３つの第２画像４０、４１、４２を、ユーザへ提示する第３画像として決定する。

また、例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「否定（ＮＯＴ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１類似度と第２類似度との否定（ＮＯＴ）の演算結果を算出する。これにより、第２画像４０〜４３の各々の演算結果は、「０．７２」、「０．１６」、「０．２４」、「０．０８」となる。そして、決定部３２は、図示を省略するメモリに「降順」及び表示数「２」が記憶されている場合、演算結果の大きい順に２つの第２画像４０、４２を、ユーザへ提示する第３画像として決定する。

なお、決定部３２は、真理値を用いて、第３画像を決定してもよい。

具体的には、決定部３２は、第１類似度が第１閾値を超える場合に該第１類似度を真とし、第１類似度が第１閾値以下である場合に第１類似度を偽とする第１真理値を設定する。また、決定部３２は、第２類似度が第２閾値を超える場合に該第２類似度を真とし、第２類似度が第２閾値以下である場合に該第２類似度を偽とする第２真理値を設定する。これらの第１閾値及び第２閾値は、適宜調整すればよく、同じ値であってもよいし、異なる値であってもよい。

更に、決定部３２は、第１類似度としての第１真理値と、第２類似度としての第２真理値との演算結果に基づいて、第３画像を決定してもよい。

図５は、真理値を用いた、第３画像の決定方法の説明図である。図５に示すように、例えば、第２画像として、衣服の画像である複数の第２画像４０〜４３が、予め第１記憶部１６に記憶されていたとする。また、例えば、取得部２６が取得した第１領域が、熊のマークの領域５５Ａであったとする。また、第２領域が、水玉模様の領域４４Ａであったとする。

この場合、算出部３０は、複数の第２画像４０〜４３の各々について、領域５５Ａとの第１類似度としての第１真理値、及び領域４４Ａとの第２類似度としての第２真理値を算出する。

図５に示す例では、一例として、第１閾値及び第２閾値は、０．５である場合を示した。また、図５に示す例では、第２画像４０における、領域５５Ａとの第１類似度は「０．９」、第１真理値は「１」、領域４４Ａとの第２類似度は「０．２」、第２真理値は「０」である。また、第２画像４１における、領域５５Ａとの第１類似度は「０．８」、第１真理値は「１」、領域４４Ａとの第２類似度は「０．８」、第２真理値は「１」である。また、第２画像４２における、領域５５Ａとの第１類似度は「０．８」、第１真理値は「１」、領域４４Ａとの第２類似度は「０．７」、第２真理値は「１」である。また、第２画像４３における、領域５５Ａとの第１類似度は「０．１」、第１真理値は「０」、領域４４Ａとの第２類似度は「０．２」、第２真理値は「０」である。

次に、決定部３２が、複数の第２画像４０〜４３の各々について、第１真理値と第２真理値との論理演算の演算結果を算出する。

例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「論理積（ＡＮＤ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１真理値と第２真理値との論理積（ＡＮＤ）の演算結果を算出する。そして、決定部３２は、演算結果が「１」となる第２画像４１、４２を、第３画像として決定する。

また、例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「論理和（ＯＲ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１真理値と第２真理値との論理和（ＯＲ）の演算結果を算出する。そして、決定部３２は、演算結果が「１」となる第２画像４０、４１、４２を、ユーザへ提示する第３画像として決定する。

また、例えば、決定部３２の図示を省略するメモリに、論理演算の種類として「否定（ＮＯＴ）」を示す情報が予め記憶されていたとする。

この場合、決定部３２は、複数の第２画像４０〜４３の各々について、第１真理値と第２真理値との否定（ＮＯＴ）の演算結果を算出する。これにより、決定部３２は、演算結果が「１」になる第２画像４０を、ユーザへ提示する第３画像として決定する。

第１制御部３４は、上記制御に加えて、決定部３２で決定された第３画像を、表示部２４へ表示する制御を行う。

次に、制御部１２で実行する検索処理を説明する。

図６は、本実施の形態の検索装置１０で実行する検索処理の手順を示すフローチャートである。

まず、取得部２６が撮像部１３から第１画像を取得する（ステップＳ１００）。次に、受付部２８が、ステップＳ１００で取得した第１画像における第１領域の選択を受け付けたか否かを判断する（ステップＳ１０２）。

例えば、第１制御部３４が、ステップＳ１００で取得した第１画像を表示部２４へ表示する制御を行う。ユーザは、表示部２４に表示された第１画像を確認しながら、入力部２２を操作することにより、第１画像における第１領域を入力する。ＵＩ部１４は、入力部２２によって入力された第１領域を、制御部１２へ出力する。受付部２８は、ＵＩ部１４から第１領域を受け付けたか否かを判別することによって、ステップＳ１０２の判断を行う。

受付部２８が、第１領域の選択を受け付けない場合には（ステップＳ１０２：Ｎｏ）、後述するステップＳ１２４へ進む。一方、受付部２８が、第１領域の選択を受け付けると（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０４へ進む。

ステップＳ１０４では、第２制御部３６が、ステップＳ１０２（または後述するステップＳ１２２）で受け付けた第１領域を、第１領域であることを示す第１識別情報と、該第１領域が選択された日時と、に対応づけて第２記憶部１８に記憶する（ステップＳ１０４）。なお、第２制御部３６は、第１領域、第１識別情報、及び該第１領域が選択された日時と共に、該第１領域が選択されたときの検索装置１０の位置情報や、該第１領域が選択されたときに検索装置１０を操作していたユーザのユーザ名等の詳細情報を対応づけて第２記憶部１８に記憶してもよい。

次に、算出部３０が、第２記憶部１８に記憶されている第２領域を読取る（ステップＳ１０６）。第２記憶部１８は、第２識別情報に対応づけて、第２領域を記憶している。このため、算出部３０は、第２識別情報に対応する第２領域を読取ることによって、ステップＳ１０６の処理を行う。

算出部３０は、第１記憶部１６に記憶されている複数の第２画像の各々について、特徴量を算出する（ステップＳ１０８）。詳細には、算出部３０は、ステップＳ１０２（または後述するステップＳ１２２）で受け付けた第１領域の第１特徴量、及び、複数の第２画像の各々における該第１領域に対応する第３領域の第３特徴量を算出する。また、算出部３０は、ステップＳ１０６で読取った第２領域の第２特徴量、及び、複数の第２画像の各々における該第２領域に対応する第４領域の第４特徴量を算出する。

次に、算出部３０は、第１記憶部１６に記憶されている複数の第２画像毎に、第１類似度と第２類似度とを算出する（ステップＳ１１０）。詳細には、算出部３０は、ステップＳ１０８で算出した第１特徴量及び第３特徴量を用いて、複数の第２画像毎に、第１類似度を算出する。また、算出部３０は、ステップＳ１０８で算出した第２特徴量及び第４特徴量を用いて、複数の第２画像毎に、第２類似度を算出する。

次に、決定部３２が、複数の第２画像毎に算出された第１類似度と第２類似度との論理演算を行う（ステップＳ１１２）。そして、決定部３２は、ステップＳ１１２の論理演算の演算結果に基づいて、複数の第２画像の内、ユーザへ提示する第３画像を決定する（ステップＳ１１４）。

次に、第１制御部３４が、ステップＳ１１４で決定された第３画像を、表示部２４へ表示する制御を行う（ステップＳ１１６）。

次に、第２制御部３６が、ステップＳ１０２で受け付けた第１領域を、第２領域として、第２記憶部１８に記憶する（ステップＳ１１８）。第２制御部３６は、ステップＳ１０４で第２記憶部１８に記憶した第１領域を、第２領域として該第２記憶部１８に記憶する。具体的には、第２制御部３６は、ステップＳ１０４で、第１領域に対応づけて記憶した第１識別情報を、第２領域を示す第２識別情報に変更することによって、ステップＳ１１８の処理を行う。このため、第２領域は、該第２領域が第１領域として選択された日時と、該第２領域を示す第２識別情報と、に対応づけて第２記憶部１８に記憶された状態となる。

なお、第２制御部３６は、ステップＳ１１４の処理の後で、且つステップＳ１２２の処理の前に、ステップＳ１１８の処理を実行すればよい。

次に、取得部２６が、ステップＳ１１６で表示部２４に表示された第３画像の内の１つを、第１画像として取得する（ステップＳ１２０）。次に、受付部２８は、ステップＳ１２０で取得した第１画像における第１領域の選択を受け付けたか否かを判断する（ステップＳ１２２）。

例えば、ユーザは、表示部２４に表示された１または複数の第３画像を確認しながら、入力部２２を操作することにより、１つの第３画像に含まれる第１領域を入力する。ＵＩ部１４は、入力部２２によって入力された第３画像及び第１領域を、制御部１２へ出力する。ステップＳ１２０の処理において、取得部２６は、ＵＩ部１４から受け付けた第３画像を、第１画像として取得する。また、受付部２８は、ＵＩ部１４から第１領域を受け付けたか否かを判別することによって、ステップＳ１２２の判断を行う。

なお、ユーザによる、表示部２４に表示された１または複数の第３画像の内の１つの選択と、第１領域の選択と、は、上述のように同時に行う形態に限られず、別々のステップで行うようにしてもよい。

受付部２８が、第１領域の選択を受け付けた場合には（ステップＳ１２２：Ｙｅｓ）、上記ステップＳ１０４へ進む。一方、受付部２８が、第１領域の選択を受け付けない場合（ステップＳ１２２：Ｎｏ）、ステップＳ１２４へ進む。

制御部１２は、検索処理の終了を示す終了指示をＵＩ部１４から受け付けたか否かを判断する（ステップＳ１２４）。例えば、第１制御部３４は、ステップＳ１１６において第３画像を表示部２４へ表示する制御を行うときに、検索処理の終了を指示するための指示ボタン画像を表示部２４へ表示する制御を行う。そして、ユーザによる入力部２２の操作指示によって、該指示ボタン画像の領域が指示されると、ＵＩ部１４は、検索処理の終了を示す信号を制御部１２へ出力する。ＵＩ部１４は、この信号を受信したか否かを判別することによって、ステップＳ１２４の判断を行う。

制御部１２が、終了指示を受け付けない場合（ステップＳ１２４：Ｎｏ）、ステップＳ１００へ進む。一方、制御部１２が、終了指示を受け付けた場合（ステップＳ１２４：Ｙｅｓ）、ステップＳ１２６へ進む。

ステップＳ１２６では、第２制御部３６が、ステップＳ１００〜ステップＳ１２４：Ｙｅｓまでの一連の処理によって第２記憶部１８に記憶された、第１領域及び該第１領域が選択された日時と、第２領域及び該第２領域が第１領域として選択された日時と、を該一連の処理を１単位として、第３記憶部２０に記憶する。このとき、第２制御部３６は、第１領域については、対応する第１識別情報を第２識別情報に変更する。このため、第２記憶部１８に記憶されていた第１領域は、第２領域として第３記憶部２０に記憶される。

なお、第２制御部３６は、第２記憶部１８に記憶されている第２領域が第１領域として選択された日時と共に、該第２領域が第１領域として選択されたときの検索装置１０の位置情報や、該第２領域が第１領域として選択されたときに検索装置１０を操作していたユーザのユーザ名等の詳細情報を、第２領域に対応づけて第３記憶部２０に記憶してもよい。

このように、第３記憶部２０は、第２領域と、第２領域が第１領域として選択された日時と、該第２領域が第１領域として選択されたときの検索装置１０の位置情報、及び該第２領域が第１領域として選択されたときに検索装置１０を操作していたユーザのユーザ名等の詳細情報と、を対応づけて記憶する。このため、第３記憶部２０は、検索装置１０における検索履歴を記憶することができる。

次に、第２制御部３６は、第２記憶部１８をクリアし（ステップＳ１２８）、本ルーチンを終了する。

制御部１２が、ステップＳ１００〜ステップＳ１２８の処理を実行することによって、ユーザの興味の推移を反映させた逐次的且つ対話的な検索を行うことができる。

図７は、検索処理によって表示部２４に表示される画像の推移を示す説明図である。なお、図７では、決定部３２は、演算結果が大きい順に予め定めた数の第２画像を、第３画像として決定する場合を示した。

例えば、取得部２６が、撮像部１３から第１画像５５を取得したとする。第１制御部３４は、この第１画像５５を表示部２４に表示する制御を行う（図７（Ａ））。

そして、ユーザによるＵＩ部１４の操作指示によって、第１画像５５における熊のマークの領域５５Ａが選択される（図７（Ａ）中、Ｐ参照）。これにより、受付部２８は、第１画像５５における熊のマークの領域５５Ａを第１領域として受け付ける。第２制御部３６は、領域５５Ａを、第１領域を示す第１識別情報に対応づけて第２記憶部１８に記憶する制御を行う。

そして、図６に示すステップＳ１００〜ステップＳ１１６の処理が実行されることによって、決定部３２は、例えば、第３画像４４、４５、４０を決定する。第１制御部３４は、これらの第３画像４４、４５、４０を、表示部２４に表示する制御を行う（図７（Ｂ）参照）。これらの第３画像４４、４５、４０には、第１領域として受け付けた領域５５Ａ、または該領域５５Ａに類似する領域が含まれている。そして、第２制御部３６は、領域５５Ａに対応する第１識別情報を、第２領域を示す第２識別情報に変更することによって、領域５５Ａを第２領域として第２記憶部１８に記憶する制御を行う。

さらに、ユーザによるＵＩ部１４の操作指示によって、複数の第３画像４４、４５、４０の内の、第３画像４４について、水玉模様の領域４４Ａが選択される（図７（Ｂ）中、Ｐ参照）。これにより、取得部２６は、第３画像４４を第１画像４４として取得し、受付部２８は、第１画像４４における水玉模様の領域４４Ａを第１領域として受け付ける。第２制御部３６は、領域４４Ａを、第１領域を示す第１識別情報に対応づけて第２記憶部１８に記憶する制御を行う。

そして、図６に示すステップＳ１００〜ステップＳ１１６の処理が実行されることによって、算出部３０が、第２記憶部１８に記憶されている第１領域としての領域４４Ａ及び第２領域としての領域５５Ａを用いて、各第２画像について、第１類似度及び第２類似度を算出する。そして、決定部３２は、第１類似度と第２類似度との論理演算の演算結果に基づいて、例えば、第３画像４２、４６、４１、４７を決定する。第１制御部３４は、これらの第３画像４２、４６、４１、４７を、表示部２４に表示する制御を行う（図７（Ｃ）参照）。

これらの第３画像４２、４６、４１、４７には、第１領域として受け付けた領域４４Ａまたは該領域４４Ａに類似する領域と、第２領域としての領域５５Ａまたは該領域５５Ａに類似する領域と、の双方が含まれている。そして、第２制御部３６は、領域４４Ａに対応する第１識別情報を、第２領域を示す第２識別情報に変更することによって、領域４４Ａを第２領域として第２記憶部１８に記憶する制御を行う。

さらに、ユーザによるＵＩ部１４の操作指示によって、複数の第３画像４２、４６、４１、４７の内の、第３画像４２について、襟の領域４２Ａが選択される（図７（Ｃ）中、Ｐ参照）。これにより、取得部２６は、第３画像４２を第１画像４２として取得し、受付部２８は、第１画像４２における襟の領域４２Ａを第１領域として受け付ける。第２制御部３６は、領域４２Ａを、第１領域を示す第１識別情報に対応づけて第２記憶部１８に記憶する制御を行う。

そして、図６に示すステップＳ１００〜ステップＳ１１６の処理が実行されることによって、算出部３０が、第２記憶部１８に記憶されている第１領域としての領域４４Ａ、及び第２領域としての領域５５Ａ、領域４４Ａを用いて、各第２画像について、第１類似度及び第２類似度を算出する。そして、決定部３２は、第１類似度と第２類似度との論理演算の演算結果に基づいて、例えば、第３画像４８、４９、５０を決定する。第１制御部３４は、これらの第３画像４８、４９、５０を、表示部２４に表示する制御を行う（図７（Ｄ）参照）。

これらの第３画像４８、４９、５０には、第１領域として受け付けた領域４２Ａまたは該領域４２Ａに類似する領域と、第２領域としての領域５５Ａまたは該領域５５Ａに類似する領域と、第２領域としての領域４４Ａまたは該領域４４Ａに類似する領域と、の全てが含まれている。そして、第２制御部３６は、領域４２Ａに対応する第１識別情報を、第２領域を示す第２識別情報に変更することによって、領域４２Ａを第２領域として第２記憶部１８に記憶する制御を行う。

このように、ユーザは、表示部２４に第３画像が表示される度に、第１領域を選択する。検索装置１０は、選択された第１領域と、第２領域と、の双方に類似または非類似の第２画像を、ユーザに提示する第３画像として決定し、表示部２４に表示する。このため、ユーザは、第１領域を順次指定することで、複数の第２画像の中から、最終的に目的とする第２画像を表示部２４に表示させることができる。

以上説明したように、本実施の形態の検索装置１０は、取得部２６が、第１画像を取得する。受付部２８は、第１画像に含まれる第１領域の選択を受け付ける。算出部３０は、検索対象の複数の第２画像の各々について、第１領域との第１類似度と、第２領域との第２類似度と、を算出する。決定部３２は、第１類似度と第２類似度との論理演算の演算結果に基づいて、複数の第２画像の内、ユーザへ提示する第３画像を決定する。

このように、検索装置１０は、第１類似度のみではなく、第１類似度と第２類似度との双方を用いた論理演算の演算結果に基づいて、第３画像を決定する。

従って、本実施の形態の検索装置１０は、ユーザの興味の推移を反映させた、逐次的且つ対話的な検索を行うことができる。

なお、上記実施の形態では、第１制御部３４は、第３画像を表示部２４へ表示する制御を行う形態を説明した。しかし、第１制御部３４は、第３画像と共に、第１画像、第１領域、第２領域、及び論理演算に用いた論理演算の種類の少なくとも１つを、表示部２４へ表示する制御を行ってもよい。

図８は、第１制御部３４による表示制御の説明図である。例えば、第１制御部３４は、第３画像４４、４５が決定されると、表示部２４の領域Ａ１に、第１画像５５を表示し、表示部２４の領域Ａ２に第３画像４４、４５を表示し、表示部２４の領域Ａ３に第１領域として領域５５Ａを表示する制御を行う（図８（Ａ）参照）。

次に、ユーザによるＵＩ部１４の操作指示によって第３画像４４、４５の内、第３画像４４について、水玉模様の領域４４Ａが選択される（図８（Ｂ）参照）。そして、決定部３２によって、第３画像４１、４２が決定されたとする。すると、第１制御部３４は、第３画像４４を第１画像４４として表示部２４の領域Ａ１に表示し、表示部２４の領域Ａ２に第３画像４１、４２を表示し、表示部２４の領域Ａ３に、論理演算に用いた第１領域としての領域５５Ａと、第２領域としての領域４４Ａと、論理演算の種類「ＡＮＤ」を表示する制御を行う（図８（Ｂ）参照）。

次に、ユーザによるＵＩ部１４の操作指示によって第３画像４１、４２の内、第３画像４２について、襟の領域４２Ａが選択される（図８（Ｃ）参照）。そして、決定部３２によって、第３画像４１、５０が決定されたとする。すると、第１制御部３４は、第３画像４２を第１画像４２として表示部２４の領域Ａ１に表示し、表示部２４の領域Ａ２に第３画像４１、５０を表示し、表示部２４の領域Ａ３に、論理演算に用いた第１領域としての領域４２Ａと、第２領域としての領域４４Ａ及び領域５５Ａと、論理演算の種類「ＡＮＤ」を表示する制御を行う（図８（Ｃ）参照）。

このように、第１制御部３４は、第３画像と共に、第１画像、第１領域、第２領域、及び論理演算に用いた論理演算の種類の少なくとも１つを、表示部２４へ表示する制御を行ってもよい。これにより、ユーザに対して、第３画像の決定方法等を容易に提供することができる。

なお、本実施の形態では、取得部２６は、撮像部１３または第１記憶部１６から第１画像を取得する場合を説明した。しかし、取得部２６が第１画像を取得する形態は、撮像部１３または第１記憶部１６から取得する形態に限られない。

例えば、取得部２６は、図示を省略するＩ／Ｆ部（インターフェース部）や、インターネット等の通信回線を介して、外部装置から第１画像を取得してもよい。外部装置としては、公知のＰＣや、ＷＥＢサーバー等が挙げられる。

また、取得部２６は、以下の方法で第１画像を取得してもよい。詳細には、まず、取得部２６を、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とする。

そして、制御部１２は、コンテンツデータに含まれる番組を表示部２４に表示する。そして、ユーザによる操作指示によって入力部２２から画像の取り込みが指示される。すなわち、ユーザは、表示部２４に表示された番組を確認しながら入力部２２を操作することにより、表示部２４に表示された番組から画像の取り込み指示を入力することができる。

そして、取得部２６では、該画像の取り込み指示を入力部２２から受け付けたときに、該画像の取り込み指示の受け付け時に表示部２４に表示されているコマ画像（フレームと称する場合もある）を、第１画像として取得してもよい。また、取得部２６は、該画像の取り込み指示の受け付け時に表示部２４に表示されているコマ画像より前（例えば、数秒前）のコマ画像を、第１画像として取り込んでもよい。

なお、上記実施の形態では、記憶部１６、記憶部１８、及び記憶部２０が、検索装置１０に設けられている場合を説明した。しかし、これらの記憶部１６、記憶部１８、及び記憶部２０の少なくとも１つを、検索装置１０に通信回線を介して接続された記憶装置として構成してもよい。

上記実施の形態の検索装置１０で実行される上記検索処理を実行するためのプログラムは、ＲＯＭ等に予め組み込んで提供される。

なお、上記実施の形態の検索装置１０で実行される上記検索処理を実行するためのプログラムは、検索装置１０にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、上記実施の形態の検索装置１０で実行される上記検索処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に記憶し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態の検索装置１０で実行される上記検索処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

上記実施の形態の検索装置１０で実行される上記検索処理を実行するためのプログラムは、上述した各部（取得部２６、受付部２８、算出部３０、決定部３２、第１制御部３４、第２制御部３６）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）がＲＯＭ等の記憶媒体から、上記検索処理を実行するためのプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、上記には、本発明の実施の形態を説明したが、この実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 検索装置
２６ 取得部
２８ 受付部
３０ 算出部
３２ 決定部
３４ 第１制御部
３６ 第２制御部

Claims (15)

1. 第１画像を取得する取得部と、
   前記第１画像に含まれる第１領域の選択を受け付ける受付部と、
   検索対象の複数の第２画像の各々について、前記第１領域との第１類似度と、該第１領域より前に前記受付部が受け付けた前記第１領域としての第２領域との第２類似度と、を算出する算出部と、
   前記複数の第２画像の各々に対する前記第１類似度と前記第２類似度との論理演算の演算結果に基づいて、前記複数の第２画像の内、提示する第３画像を決定する決定部と、
   を備えた検索装置。
2. 前記取得部は、１の前記第３画像を前記第１画像として取得する、請求項１に記載の検索装置。
3. 前記決定部は、前記演算結果が大きい順または小さい順に予め定めた数の前記第２画像を、前記第３画像として決定する、請求項１に記載の検索装置。
4. 前記決定部は、論理積、論理和、否定、及び排他的論理和の少なくとも１つを用いた論理演算の前記演算結果に基づいて、前記第３画像を決定する、請求項１に記載の検索装置。
5. 前記決定部は、前記第１類似度と複数の前記第２類似度の各々とを、予め定めた演算順に対応する種類の論理演算を順次用いて演算した前記演算結果に基づいて、前記第３画像を決定する、請求項１に記載の検索装置。
6. 前記決定部は、
   前記第１類似度が第１閾値を超える場合該第１類似度を真とし、前記第１類似度が前記第１閾値以下である場合該第１類似度を偽とする第１真理値を設定し、前記第２類似度が第２閾値を超える場合該第２類似度を真とし、前記第２類似度が前記第２閾値以下である場合該第２類似度を偽とする第２真理値を設定し、
   前記複数の第２画像の各々に対する、前記第１類似度としての前記第１真理値と、前記第２類似度としての前記第２真理値と、の演算結果に基づいて、前記第３画像を決定する、
   請求項１に記載の検索装置。
7. 前記算出部は、前記第１領域の第１特徴量、前記第１画像における該第１領域の幾何学的な関係、前記第２画像における前記第１領域に対応する第３領域の第３特徴量、及び前記第２画像における前記第３領域の幾何学的な関係を用いて、前記第１類似度を算出する、請求項１に記載の検索装置。
8. 前記算出部は、前記第２領域の第２特徴量、前記第１画像における該第２領域の幾何学的な関係、前記第２画像における前記第２領域に対応する第４領域の第４特徴量、及び前記第２画像における前記第４領域の幾何学的な関係を用いて、前記第２類似度を算出する、請求項１に記載の検索装置。
9. 前記第３画像を表示部へ表示する制御を行う第１制御部を更に備えた、請求項１に記載の検索装置。
10. 前記第１制御部は、前記第３画像と、前記第１画像、前記第１領域、前記第２領域、及び前記演算結果の演算に用いた論理演算の種類の少なくとも１つと、を前記表示部へ表示する制御を行う、請求項９に記載の検索装置。
11. 前記第１領域の選択を受け付けたときに、該第１領域を第２記憶部へ記憶する制御を行い、前記第３画像が決定されたときに、該第１領域を前記第２領域として該第２記憶部へ記憶する制御を行う第２制御部を備えた、請求項１に記載の検索装置。
12. 前記第２制御部は、前記第２記憶部に記憶されている前記第２領域を該第２領域が前記第１領域として選択された日時に対応づけて第３記憶部に記憶する制御を行う、請求項１１に記載の検索装置。
13. 第１画像に含まれる第１領域の選択を受け付ける受付部と、
    検索対象の複数の第２画像の内、該第１領域と、該第１領域より前に前記受付部が受け付けた前記第１領域としての第２領域と、の双方に類似または非類似の第２画像を、前記複数の第２画像の各々に対する、前記第１領域との第１類似度と、前記第２領域との第２類似度と、の論理演算の演算結果に基づいて、提示する第３画像として決定する決定部と、
    を備えた検索装置。
14. 第１画像を取得するステップと、
    前記第１画像に含まれる第１領域の選択を受け付けるステップと、
    検索対象の複数の第２画像の各々について、該第１領域との第１類似度と、該第１領域より前に受け付けた前記第１領域としての第２領域との第２類似度と、を算出するステップと、
    前記複数の第２画像の各々に対する前記第１類似度と前記第２類似度との論理演算の演算結果に基づいて、前記複数の第２画像の内、提示する第３画像を決定するステップと、
    を有する検索方法。
15. コンピュータに、
    第１画像を取得するステップと、
    前記第１画像に含まれる第１領域の選択を受け付けるステップと、
    検索対象の複数の第２画像の各々について、該第１領域との第１類似度と、該第１領域より前に受け付けた前記第１領域としての第２領域との第２類似度と、を算出するステップと、
    前記複数の第２画像の各々に対する前記第１類似度と前記第２類似度との論理演算の演算結果に基づいて、前記複数の第２画像の内、提示する第３画像を決定するステップと、
    を実行させるためのプログラム。

Images