JP2013168132A - 商品検索装置、方法、及びプログラム - Google Patents

Abstract

【課題】ユーザーが注目する商品を効率よく検索する。
【解決手段】商品検索装置１０は、取得部２０と、判定部２２と、第１制御部２４と、受付部２６と、検索部２８と、第２制御部３０と、を備える。取得部２０は、複数のアイテムを含む第１画像を取得する。判定部２２は、取得された第１画像に含まれるアイテムの各々が、アイテムに関連する商品を予め定めた分類条件に従って分類した複数のグループのうち、何れのグループに属するかを判定する。第１制御部２４は、アイテムの各々が属するグループを表示部１８に表示する制御を行う。受付部２６は、表示された前記グループのうち、少なくとも１つを指定する入力をユーザーから受け付ける。検索部２８は、グループと商品の第２画像とを対応づけて記憶した記憶部１４を検索し、指定されたグループに対応する第２画像を抽出する。第２制御部３０は、抽出された第２画像を表示部１８に表示する制御を行う。
【選択図】図１

Description

本発明は、商品検索装置、方法、及びプログラムに関する。

各種商品に付与されたバーコードや二次元コード等の識別子を撮影した画像を用いて、商品の詳細情報や関連商品を検索するサービスが知られている。また、この識別子を用いない技術として、１つの商品が撮影された画像を解析し、該商品と関連する商品を検索して提示する技術が開示されている。

特開２００９−１２８９９５号公報

しかしながら、従来技術では、複数のアイテムを含む画像を用いた場合には、該画像に基づいて、ユーザーが注目する商品を効率よく検索することは困難であった。

本発明が解決しようとする課題は、ユーザーが注目する商品を効率よく検索することができる、商品検索装置、方法、及びプログラムを提供することである。

実施形態の商品検索装置は、取得部と、判定部と、第１制御部と、受付部と、検索部と、第２制御部と、を備える。取得部は、複数のアイテムを含む第１画像を取得する。判定部は、取得された前記第１画像に含まれるアイテムの各々が、前記アイテムに関連する商品を予め定めた分類条件に従って分類した複数のグループのうち、何れのグループに属するかを判定する。第１制御部は、前記アイテムの各々が属する前記グループを表示部に表示する制御を行う。受付部は、表示された前記グループのうち、少なくとも１つを指定する入力をユーザーから受け付ける。検索部は、前記グループと前記商品の第２画像とを対応づけて記憶した記憶部を検索し、指定された前記グループに対応する前記第２画像を抽出する。第２制御部は、抽出された前記第２画像を前記表示部に表示する制御を行う。

実施の形態１の商品検索装置のブロック図。 実施の形態１の記憶部に記憶されるデータのデータ構造の一例を示す図。 実施の形態１のｋ近傍法を用いた判定を示す図。 実施の形態１の商品検索処理の手順を示すフローチャート。 第１画像の一例を示す図。 表示部に表示されたグループを示す図。 実施の形態２の記憶部に記憶されるデータのデータ構造の一例を示す図。 実施の形態２のｋ近傍法を用いた判定を示す図。 画像の一例を示す図。 実施の形態３の記憶部に記憶されるデータのデータ構造の一例を示す図。 実施の形態３のｋ近傍法を用いた判定を示す図。 画像の一例を示す図。 実施の形態４の検索装置の機能的構成を示すブロック図。 第１位置の受け付けを示す図。 実施の形態４の商品検索処理の手順を示すフローチャート。 実施の形態５の商品検索システムを示す図。

以下に添付図面を参照して、商品検索装置、方法、及びプログラムの一の実施形態を詳細に説明する。

（実施の形態１）
図１は、本実施の形態の商品検索装置１０の機能的構成を示すブロック図である。商品検索装置１０は、制御部１２、撮像部１３、記憶部１４、入力部１６、及び表示部１８を備える。

本実施の形態では、商品検索装置１０は、制御部１２、撮像部１３、記憶部１４、入力部１６、及び表示部１８が一体的に設けられた携帯型端末（例えば、スマートフォンやタブレット型のＰＣ（パーソナルコンピュータ）等）である場合を説明する。なお、商品検索装置１０は、携帯型端末に限られない。例えば、商品検索装置１０は、記憶部１４、入力部１６、及び表示部１８の少なくとも１つと、制御部１２と、が別体として設けられた構成であってもよい。この場合、例えば、商品検索装置１０としては、撮像部１３を備えたＰＣが挙げられる。

以下、商品検索装置１０について詳細に説明する。

撮像部１３は、撮像によって、第１画像を得る。

第１画像は、複数のアイテムを含む画像である。アイテムとは、商品検索装置１０における検索対象を示す。具体的には、アイテムは、検索対象の商品や、検索対象の商品に関するものである。更に具体的には、アイテムは、服飾に関するアイテム、家具に関するアイテム、旅行に関するアイテム、家電に関するアイテム等であるが、これらに限られない。

第１画像は、複数のアイテムを含む画像であればよい。第１画像としては、例えば、複数のアイテムを装着した被写体の撮像画像や、複数のアイテムの掲載された雑誌の撮像画像や、表示装置に表示された画像の撮像画像等が挙げられる。なお、被写体は、実際の人物に限られず、犬や猫等のペット、人体やペットの形状を模したマネキン、及び人体はペットの形状を模した絵、等も含む。また、該表示装置には、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等が挙げられる。

本実施の形態では、第１画像が、服飾に関する複数のアイテムを含む画像である場合を説明する。

服飾に関するアイテムとは、本実施の形態の商品検索装置１０における検索対象である。具体的には、服飾に関するアイテムとは、服飾品、美容に関する物、等の、服飾に用いる物や髪型等であって、且つ視認可能な検索対象を示す。服飾品とは、衣服や装飾品を示す。衣服とは、被写体が着用可能な物である。衣服としては、例えば、上着、スカート、ズボン、靴、帽子等が挙げられる。装飾品は、例えば、指輪、ネックレス、ペンダント、イヤリングなど、身を飾るための工芸品である。美容に関する物とは、髪型、皮膚等に塗布する物である化粧品、等を示す。

撮像部１３は、公知のデジタルカメラ、デジタルビデオカメラ等である。撮像部１３は、撮像によって得た第１画像を、制御部１２へ出力する。

記憶部１４は、ハードディスクドライブ装置（ＨＤＤ）等の記憶媒体である。図２は、記憶部１４に記憶されるデータのデータ構造の一例を示す図である。

記憶部１４は、識別情報と、グループと、第２画像と、を対応づけて記憶する。第２画像は、アイテムに関連する商品を示す画像である。商品とは、商取引対象のアイテムを示す。本実施の形態では、第２画像は、服飾に関する商品の各々を示す画像である場合を説明する。なお、服飾に関する商品とは、服飾に関するアイテムの内、商取引の対象とするアイテムを示す。このため、第２画像としては、上述した、コート、スカート、上着、等の各商品の画像が挙げられる。図２に示す例では、第２画像として、第２画像４２Ａ〜第２画像４２Ｆが記憶部１４に記憶されている場合を示した。なお、記憶部１４に記憶される第２画像は、これらの第２画像４２Ａ〜第２画像４２Ｆに限られない。また、記憶部１４に記憶される第２画像の数も、特定の数に限定されない。

識別情報は、第２画像によって示される商品を一意に識別する情報である。図２に示す例では、識別情報が、対応する第２画像の示す商品の名称、対応する第２画像の示す商品の価格、及び対応する第２画像の示す商品の発売日を含む場合を示した。なお、識別情報は、各第２画像によって示される商品を一意に識別する情報であればよく、名称、価格、発売日以外の情報であってもよいし、これらの名称、価格、発売日以外の情報を含んでもよい。

第２画像によって示される商品は、予め定められた分類条件に従って複数のグループに分類される。分類条件は、任意の条件を予め設定すればよい。分類条件には、例えば、商品の色、商品の種類、商品の製造元、商品の発売日、商品の価格帯、等がある。商品の種類には、商品を装着する部位、商品の素材、商品の形状等がある。商品の種類としては、例えば、トップス、コート、シャツ、ボトム、スカート、小物、時計等がある。

図２に示す例では、グループが、トップス、コート、シャツ、ボトム、スカート、小物、時計、靴、及び色（赤、黒、茶、ベージュ）である場合を示した。なお、各グループを、更に複数の小グループに分類してもよい。なお、図２中、「○」は、対応する第２画像の示す商品が、「○」の列に示されるグループに属することを示す。例えば、図２に示す例では、第２画像４２Ａは、グループ「トップス」、及びグループ「シャツ」に属している。

なお、図２に示す例では、記憶部１４は、各第２画像に対応するグループとして、各第２画像の商品が各グループに属するか否かを記憶する場合を示した。しかし、記憶部１４は、各第２画像の商品が、各グループに属する確率を記憶してもよい。

なお、分類条件は、１種類に限られず、複数種類の分類条件を設定してもよい。また、分類条件によって、１の商品画像の商品が１のグループのみに属する場合もあるし、１の商品画像の商品が複数のグループに属する場合もある。

図２に示す例では、例えば、第２画像４２Ａの商品は、“トップス”、“シャツ”、及び“赤”の各々のグループに属している。第２画像４２Ｂの商品は、“トップス”、“コート”、及び“茶”の各々のグループに属している。第２画像４２Ｃの商品は、“ボトム”、“スカート”、及び“黒”の各々のグループに属している。第２画像４２Ｅの商品は、“ボトム”のグループに属している。第２画像４２Ｆの商品は、“小物”、“靴”、及び“ベージュ”のグループに属している。

図１に戻り、表示部１８は、制御部１２で取得した第１画像、制御部１２で検索されたグループ、制御部１２で検索された第２画像、等の各種画像を表示する（詳細後述）。表示部１８としては、ＬＣＤ、ＣＲＴ、ＰＤＰ等の公知の表示装置が挙げられる。

入力部１６は、ユーザーが各種の操作入力を行うための手段である。入力部１６には、例えば、マウス、ボタン、リモコン、キーボード、及びマイク等の音声認識装置等が挙げられる。

なお、入力部１６及び表示部１８は、一体的に構成されていてもよい。具体的には、入力部１６及び表示部１８は、入力機能及び表示機能の双方を備えたＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１７として構成されていてもよい。ＵＩ部１７には、タッチパネル付ＬＣＤ等がある。

制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータである。制御部１２は、商品検索装置１０全体を制御する。また、制御部１２は、撮像部１３、記憶部１４、入力部１６、及び表示部１８に電気的に接続されている。

制御部１２は、取得部２０、判定部２２、第１制御部２４、受付部２６、検索部２８、第２制御部３０、及び更新部３１を備える。

取得部２０は、服飾に関する複数のアイテムを含む第１画像を取得する。本実施の形態では、取得部２０は、撮像部１３から第１画像を取得する場合を説明する。

判定部２２は、取得部２０で取得した第１画像に含まれるアイテムの各々が、何れのグループに属するかを判定する。

例えば、判定部２２は、最近傍探索や、ｋ近傍法を用いて、取得部２０で取得した第１画像に含まれるアイテムの各々が、上記各グループの何れに属するかを判定する。

まず、判定部２２が、最近傍探索を用いて上記判定を行う場合について説明する。この場合、判定部２２は、まず、第１画像に含まれるアイテムに対する候補領域の特徴量を算出する。候補領域とは、探索の際に用いられる探索窓内に含まれる画像領域をいう。また、判定部２２は、記憶部１４に記憶されている各第２画像の示す商品の各々について、特徴量を算出する。なお、第２画像の商品の特徴量は、予め算出してもよい。そして、記憶部１４は、算出した特徴量を対応する第２画像に対応づけて予め記憶してもよい。この場合には、判定部２２は、記憶部１４に記憶されている各第２画像に対応する特徴量を読取ることで、各第２画像の示す商品の特徴量を算出すればよい。

各アイテムの特徴量は、第１画像における各アイテムに対応する領域の各々を解析することにより得られる数値である。この数値は、すなわち、各アイテムの特徴に対応する数値またはその組み合わせである。判定部２２は、第１画像における各アイテムが属するグループを検出するために、大きさや位置を様々に変更した候補領域を第１画像から設定し、それら候補領域の特徴量を算出する。

具体的には、判定部２２は、記憶部１４に記憶されているグループの分類条件に対応する特徴量を算出する。分類条件が、商品の色、及び商品の種類である場合には、判定部２２は、例えば、第１画像における候補領域の色（Ｒ、Ｇ、Ｂの画素値）、及び候補領域内の輪郭形状、の各々を数値化した値を、各アイテムの特徴量として算出する。すなわち、判定部２２は、分類条件に応じて、ＨｏＧ特徴量や、ＳＩＦＴ特徴量、またはこれらの組合せを、特徴量として算出する。

第２画像の示す商品の特徴量は、第２画像を解析することにより得られる数値である。この数値は、すなわち、第２画像の示す商品の特徴に対応する数値またはその組み合わせである。判定部２２は、第２画像を解析することで商品の特徴量を得る。

なお、判定部２２は、第２画像について、第１画像と同じ分類条件に対応する特徴量を算出する。例えば、判定部２２が、第１画像における候補領域の色（Ｒ、Ｇ、Ｂの画素値）、及び候補領域の輪郭形状、の各々を予め定めた規則に沿って数値化した値を、各アイテムの特徴量として算出する。この場合には、判定部２２は、第２画像についても、第２画像の色（Ｒ、Ｇ、Ｂの画素値）、及び第２画像によって示される商品の輪郭形状、の各々を数値化した値を、第２画像の示す商品の特徴量として算出する。

次に、判定部２２は、第１画像に含まれる候補領域の特徴量と、記憶部１４に記憶されている第２画像の示す商品の特徴量と、の類似度を算出する。例えば、判定部２２は、特徴量が一致する場合を類似度「１」とし、特徴量が予め定めた値以上異なる場合を類似度「０」として、特徴量の値が近いほど類似度「０」から類似度「１」に向かって大きくなるように、類似度を算出する。

具体的には、判定部２２は、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関などを用いて類似度を算出すればよい。

そして、判定部２２は、第１画像に含まれるアイテム毎に、各アイテムとの類似度が第１閾値以上の類似度の第２画像を記憶部１４から検索する。そして、さらに、判定部２２は、アイテム毎に検索した第１閾値以上の類似度の第２画像の内、最も高い類似度の第２画像をアイテム毎に検索する。そして、検索した一つの第２画像に対応づけられたグループを、各アイテムの属するグループとして判定する。なお、第１閾値は、予め任意の値を設定すればよい。そして、判定部２２は、この第１閾値を予め記憶しておけばよい。

なお、検索した１の第２画像に対応づけられたグループが、複数有る場合には、判定部２２は、検索した１の第２画像に対応づけられた複数のグループの内の一つまたは複数を、各アイテムの属するグループとして判定すればよい。

次に、判定部２２が、ｋ近傍法を用いて判定を行う場合について説明する。なお、判定部２２は、ｋ近傍法を用いる場合についても、最近傍探索を用いる場合と同様にして、第１画像に含まれる商品や商品以外の背景を囲んだ候補領域の特徴量と、記憶部１４に記憶されている第２画像の示す商品の特徴量と、を算出する。また、判定部２２は、ｋ近傍法を用いる場合についても、最近傍探索を用いる場合と同様にして類似度を算出する。

ここで、最近傍探索を用いる場合には、判定部２２は、第１画像に含まれる候補領域毎との類似度が、第１閾値以上の類似度となる第２画像を記憶部１４から検索した。そして、さらに、判定部２２は、アイテム毎に検索した第１閾値以上の類似度の第２画像の内、最も高い類似度となる一つの第２画像をアイテム毎に検索した。そして、検索した１の第２画像に対応づけられたグループを、各アイテムの属するグループとして判定した。

一方、ｋ近傍法を用いる場合には、判定部２２は、第１画像に含まれる候補領域毎に、各アイテムとの類似度が最も高い第２画像から順に、ｋ枚の第２画像を記憶部１４から検索する。なお、ｋは、２以上の整数である。また、このｋを示す数値は、予め判定部２２に記憶しておけばよい。そして、判定部２２は、第１画像に含まれる候補領域の各々について、各アイテムとの類似度の高い順にｋ枚の第２画像を読み取る。そして、判定部２２は、読み取った第２画像に対応するグループを記憶部１４から読み取る。そして、判定部２２は、読み取ったグループの数を、同じグループ毎に加算した加算値を算出することで、ヒストグラムを作成する。

なお、ヒストグラムは、類似度を用いた値であってもよい。具体的には、判定部２２は、各グループに属する商品の各々について、各グループに属することを示す値（例えば、「１」とする）に、類似度を乗算した乗算値を算出する。そして、判定部２２は、ｋ近傍法を用いて第１画像に含まれるアイテム毎に検索した全ての第２商品について、グループ毎に上記乗算値を加算した加算値を、ヒストグラムとして用いてもよい。

そして、判定部２２は、ヒストグラムよって示される各グループの内、上記加算値が予め定めた第２閾値を超えるグループを、第１画像に含まれる各アイテムの属するグループとして判定すればよい。この第２閾値は、予め設定し、判定部２２に記憶しておけばよい。

図３は、判定部２２による、ｋ近傍法を用いた判定を示す模式図である。図３（Ａ）に示すように、第１画像４０が、アイテム４０Ｆ、アイテム４０Ｇ、アイテム４０Ｈを含む画像であったとする。そして、記憶部１４には、図３（Ｂ）に示すように、第２画像４２Ｇ〜第２画像４２Ｌと、各第２画像に対応するグループと、図３（Ｂ）では図示を省略する識別情報と、が対応づけて記憶されているとする。

この場合、判定部２２は、まず、第１画像４０において、各アイテム４０Ｆ〜アイテム４０Ｈが含まれる候補領域や背景が含まれる候補領域の特徴量と、記憶部１４に記憶されている第２画像４２Ｇ〜第２画像４２Ｌの示す商品の特徴量と、を算出する。そして、判定部２２は、各候補領域と、各第２画像４２Ｇ〜第２画像４２Ｌの各々と、の類似度を算出する。

図３（Ｂ）には、一例として、アイテム４０Ｇが含まれる候補領域に対する、第２画像４２Ｇ、第２画像４２Ｈ、第２画像４２Ｉ、及び第２画像４２Ｌの各々の類似度を示した。すなわち、アイテム４０Ｇが含まれる候補領域と、第２画像４２Ｇ、第２画像４２Ｈ、第２画像４２Ｉ、及び第２画像４２Ｌの各々と、の類似度が、各々、０．９３、０．８９、０．７７、０．７０である場合を示した。また、図３（Ｂ）には、アイテム４０Ｆが含まれる候補領域に対する、第２画像４２Ｊ及び第２画像４２Ｋの各々と、の類似度を示した。すなわち、アイテム４０Ｆが含まれる候補領域と、第２画像４２Ｊ及び第２画像４２Ｋの各々と、の類似度が、各々、０．７６、０．７４である場合を示した。図３（Ｂ）には、候補領域との類似度が高い第２画像のみを示している。

なお、図３には、判定部２２が、第１画像４０に含まれるアイテム４０Ｇの候補領域については、ｋ近傍法における上記ｋを「４」枚とし、アイテム４０Ｆの候補領域については、上記ｋを「２」枚として判定を行った場合を示した。しかし、判定部２２が第１画像４０に含まれる各アイテムにおいて適用するｋ近傍法のｋの値は、第１画像に含まれる各アイテム間で同じ値に設定することが好ましい。

そして、判定部２２は、第１画像４０に含まれるアイテム４０Ｆ〜アイテム４０Ｈの各候補領域について、各アイテム４０Ｆ〜アイテム４０Ｈとの類似度の高い順にｋ枚の第２画像を読み取る。例えば、判定部２２は、アイテム４０Ｇの候補領域に対応する第２画像として、第２画像４２Ｇ、第２画像４２Ｈ、第２画像４２Ｉ、及び第２画像４２Ｌを記憶部１４から読み取る。また、例えば、判定部２２は、アイテム４０Ｆの候補領域に対応する第２画像として、第２画像４２Ｊ及び第２画像４２Ｋを記憶部１４から読み取る。さらに、判定部２２は、候補領域毎に読み取った第２画像（図３に示す例では、第２画像４２Ｇ〜第２画像４２Ｌ）に対応するグループを、記憶部１４から読み取る。そして、判定部２２は、候補領域毎に読み取った第２画像４２Ｇ〜第２画像４２Ｌに対応するグループを、記憶部１４から読み取る。図３に示す例では、判定部２２は、第２画像４２Ｇに対応するグループとして、「アウター」、及び「コート」を読み取る。また、判定部２２は、第２画像４２Ｈに対応するグループとして、「アウター」及び「コート」を読み取る。また、判定部２２は、第２画像４２Iに対応するグループとして、「トップス」を読み取る。また、判定部２２は、第２画像４２Ｊに対応するグループとして、「小物」を読み取る。また、判定部２２は、第２画像４２Ｋに対応するグループとして、「小物」を読み取る。また、判定部２２は、第２画像４２Ｊに対応するグループとして、「アウター」、及び「コート」を読み取る。

そして、判定部２２は、これらの読み取ったグループの数を、同じグループ毎に加算した加算値を算出することで、ヒストグラムを作成する。例えば、図３（Ｃ）に示すように、グループ「アウター」には、第２画像４２Ｇ、第２画像４２Ｈ、第２画像４２Ｌの各々によって示される商品が属するので、該グループにおける加算値は「３」となる（図３（Ｃ）中、線図４４参照）。同様に、図３（Ｃ）に示すように、グループ「コート」には、第２画像４２Ｇ、第２画像４２Ｈ、及び第２画像４２Ｌの各々によって示される商品が属するので、該グループにおける加算値は「３」となる（図３（Ｃ）中、線図４５参照）。

また、図３（Ｃ）に示すように、グループ「トップス」には、第２画像４２Ｉによって示される商品が属するので、該グループにおける加算値は「１」となる（図３（Ｃ）中、線図４６参照）。また、図３（Ｃ）に示すように、グループ「小物」には、第２画像４２Ｊ、及び第２画像４２Ｋの各々によって示される商品が属するので、該グループにおける加算値は「２」となる（図３（Ｃ）中、線図４８参照）。

さらに、判定部２２は、これらの加算値によって示されるヒストグラム４９によって示される各グループの内、各加算値が予め定めた第２閾値を超えるグループを、第１画像４０に含まれる各アイテム４０Ｆ〜アイテム４０Ｈの候補領域が属するグループとして判定する。

なお、判定部２２は、ｋ近傍法、及び最近傍探索の内、ｋ近傍法を用いることが好ましい。判定部２２が、ｋ近傍法を用いて、第１画像に含まれる候補領域の各々が上記各グループの何れに属するかを判定することで、最近傍探索を用いる場合に比べて、第１画像に含まれる候補領域の各々の属するグループを、より的確に判定することができるためである。これは、最近傍探索を用いる場合には、第１画像に含まれる候補領域の特徴量との類似度の高い第２画像が記憶部１４に記憶されている必要があるためである。一方、ｋ近傍法を用いた場合には、上記ヒストグラムを用いた判定を行う。このため、判定部２２が、ｋ近傍法を用いて判定を行うことで、最近傍探索を用いる場合に比べて、第１画像に含まれる候補領域の各々の属するグループを、より的確に判定することができる。

なお、判定部２２による判定方法は、最近傍探索や、ｋ近傍法に限られない。例えば、判定部２２は、各アイテムが各グループに属するか否かを識別するための識別器を予め生成してもよい。この場合には、記憶部１４に記憶されている第２画像を、対応するグループ毎にまとめ、各々を訓練サンプルとして、ＳＶＭ（Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）やＢｏｏｓｔｉｎｇにより、識別器を予め学習させてもよい。また、識別器に替えて、回帰分析をもちいてもよい。

図１に戻り、第１制御部２４は、判定部２２で判定された、第１画像に含まれるアイテムの各々が属するグループを、表示部１８に表示する制御を行う。

受付部２６は、各種指示入力を受け付ける。例えば、ユーザーの入力部１６による操作指示によって、表示部１８に表示されたグループの内の少なくとも１つが選択される。すると、受付部２６は、表示部１８に表示されたグループの内の少なくとも１つに対する指示入力を受け付ける。

すなわち、ユーザーは、表示部１８に表示されたグループを確認しながら入力部１６を操作することにより、表示部１８に表示されたグループの内の少なくとも１つを入力することができる。

検索部２８は、記憶部１４を検索し、受付部２６が受け付けた、指示されたグループに対応する第２画像を記憶部１４から検索する。

なお、検索部２８は、受付部２６が受け付けたグループに対応する第２画像の内、該第２画像に対応する識別情報に基づいて、表示部１８に表示する対象の第２画像を選択してもよい。そして、検索部２８は、選択した第２画像を表示部１８に表示してもよい。

この場合には、検索部２８は、例えば、識別情報に含まれる発売日が新しい順、識別情報に含まれる価格が高い順、識別情報に含まれる価格が低い順に、予め定めた数の第２画像を選択する。また、識別情報に、上記判定部２２で判定した類似度を含めた構成とし、検索部２８は、類似度の高い順に、予め定めた数の第２画像を表示対象として選択してもよい。

第２制御部３０は、検索部２８で検索された第２画像を、表示部１８に表示する制御を行う。

更新部３１は、記憶部１４を更新する。例えば、入力部１６の操作指示等によって記憶部１４の更新指示が入力され、受付部２６が、図示を省略するＩ／Ｆ部等を介して外部装置から識別情報、グループ、及び第２画像を受け付けるとする。このときに、更新部３１は、受け付けた識別情報、グループ、及び第２画像を記憶部１４へ記憶することで、該記憶部１４を更新すればよい。

また、取得部２０が、図示を省略するＩ／Ｆ部及び通信回線を介して、コンテンツデータを受信する。この場合、取得部２０は、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とすればよい。

コンテンツデータは、番組、及び番組の内容を示すメタデータ等を含むデータである。番組の例としては、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）放送番組、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）などの記録媒体やＶＯＤ（Ｖｉｄｅｏ Ｏｎ Ｄｅｍａｎｄ）サービスの形態等で配信、販売、配布されている映画・ビデオクリップ、ＷＥＢ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）上で配信されている動画像、カメラや携帯電話で撮影した動画像、ビデオレコーダ、ＨＤＤレコーダ、ＤＶＤレコーダ、録画機能付きＴＶやＰＣなどで録画された録画番組などが挙げられる。

メタデータとは、番組の内容を示すデータであり、本実施の形態では、少なくとも、番組中の各位置（フレーム）の画像に含まれる商品を示す情報や、該画像に含まれる商品の識別情報や、該画像に含まれるグループを含む。

この場合、更新部３１では、コンテンツデータから、各第２画像と、識別情報と、グループと、を抽出する。そして、更新部３１は、抽出した第２画像、識別情報、及びグループを対応づけて記憶部１４へ記憶することで、記憶部１４を更新すればよい。

次に、商品検索装置１０で実行する商品検索処理を説明する。

図４は、本実施の形態の商品検索装置１０で実行する商品検索処理の手順を示すフローチャートである。なお、図４に示す例では、判定部２２が、最近傍探索を用いて判定を行う場合を説明する。

まず、取得部２０が撮像部１３から第１画像を取得する（ステップＳ１００）。次に、判定部２２が、第１画像に含まれる候補領域の各々の特徴量を算出する（ステップＳ１０２）。なお、記憶部１４に記憶されている各第２画像の示す商品の各々の特徴量は、予め算出され、記憶部１４に記憶してあるものとして説明する。

次に、判定部２２が、第１画像に含まれる各候補領域の特徴量と、記憶部１４に記憶されている第２画像の示す商品の特徴量と、の類似度を、候補領域毎に算出する（ステップＳ１０４）。

次に、判定部２２は、ステップＳ１０４で算出した、第１画像に含まれる候補領域毎の類似度の全てが上記第１閾値以上であるか否かを判別する（ステップＳ１０６）。ステップＳ１０６で否定判断すると（ステップＳ１０６：Ｎｏ）、本ルーチンを終了する。

一方、ステップＳ１０６で肯定判断すると（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７へ進む。ステップＳ１０７において、判定部２２は、上記ステップＳ１００で取得した第１画像に含まれる各アイテムが属するグループを判定する（ステップＳ１０７）。

次に、判定部２２は、ステップＳ１０７の処理によって判定した、第１画像に含まれる各アイテムの属するグループを、ＲＡＭまたはＲＯＭに記憶する（ステップＳ１０８）。なお、ステップＳ１０８の処理において、判定部２２は、該グループを記憶部１４に記憶してもよい。

次に、第１制御部２４が、上記ステップＳ１０８で記憶したグループの全てまたは少なくとも一部を、表示部１８に表示する（ステップＳ１０９）。ステップＳ１０９によって表示部１８にグループが表示されると、ユーザーは、表示部１８に表示されたグループを確認しながら入力部１６を操作する。これによって、ユーザーは、表示部１８に表示されたグループの内の少なくとも１つを選択し、入力することができる。

次に、受付部２６が、入力部１６からグループを受け付けたか否かを判断する（ステップＳ１１０）。ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１２へ進む。

ステップＳ１１２では、ステップＳ１１０で受け付けたグループに対応する第２画像を、記憶部１４から検索する（ステップＳ１１２）。次に、第２制御部３０が、ステップＳ１１２で検索された第２画像を表示部１８に表示し（ステップＳ１１４）、本ルーチンを終了する。

なお、ステップＳ１１４に表示された第２画像の内の少なくとも１つが、ユーザーによる入力部１６の操作指示によって選択された場合、第２制御部３０は、選択された第２画像に対応するＷＥＢサイトを更に表示部１８に表示してもよい。この場合には、各第２画像を販売する販売サイト等のＷＥＢサイトを示す情報を、対応する第２画像に対応づけて予め記憶部１４に記憶しておけばよい。そして、第２制御部３０は、選択された第２画像に対応するＷＥＢサイトを示す情報を記憶部１４から読み取り、表示部１８に表示すればよい。

また、さらに、表示部１８に表示されたＷＥＢサイトを示す情報が、ユーザーによる入力部１６の操作指示によって指示されたときに、該ＷＥＢサイトへアクセスしてもよい。

一方、上記ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、ステップＳ１１６へ進む。

ステップＳ１１６では、切替指示を受け付けたか否かを判断する（ステップＳ１１６）。ステップＳ１１６の判断は、以下の方法で行えばよい。例えば、第１制御部２４は、ステップＳ１０９の処理によってグループを表示部１８へ表示する時に、表示されているグループの切替えを指示するための指示ボタンを併せて表示する制御を行う。そして、ユーザーによる入力部１６の操作指示によって、該指示ボタンの表示された領域が指示されることで、切替指示が入力されるようにすればよい。そして、受付部２６では、該切替指示を受け付けたか否かを判別することで、ステップＳ１１６の判断を行えばよい。

また、第１制御部２４は、ステップＳ１１６の判断を以下の方法で行ってもよい。例えば、商品検索装置１０に、商品検索装置１０の傾きを検知するセンサ（図示省略）を備えた構成とする。そして、受付部２６は、該センサによる傾きを示す信号を更に受け付けるとする。そして、商品検索装置１０を携帯したユーザーが、商品検索装置１０を予め定めた角度に傾けたことを示す信号が該センサから受付部２６に送信され、センサで該信号を受け付けたときに、第１制御部２４は、ステップＳ１１６で肯定判断してもよい。

ステップＳ１１６で否定判断すると（ステップＳ１１６：Ｎｏ）、本ルーチンを終了する。また、ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、上記ステップＳ１１８へ進む。

なお、ステップＳ１１６で否定判断した場合（ステップＳ１１６：Ｎｏ）、受付部２６が、グループの非表示を示す信号を受け付けたか否かを判断してもよい。そして、該非表示を示す信号を受け付けた場合には、該グループが表示部１８への表示対象外であることを示す情報を、記憶部１４に記憶してもよい。この場合には、第１制御部２４は、判定部２２で判定されたグループの内、表示対象のグループを表示部１８に表示すればよい。なお、受付部２６が、グループの非表示を示す信号を受け付けない場合には、本ルーチンを終了すればよい。

なお、該非表示を示す信号は、例えば、ＵＩ部１７の表示部１８に表示されたグループにおける、各グループの表示領域がユーザーによる入力部１６の操作指示によって一定時間以上連続して押圧されたときに、ＵＩ部１７から受付部２６に入力されるようにすればよい。

ステップＳ１１８では、第２制御部３０が、ステップＳ１０８で記憶したグループの内、前回表示部１８に表示したグループ以外のグループを読取る（ステップＳ１１８）。そして、第２制御部３０が、ステップＳ１１８で読み取ったグループを、表示部１８に表示する制御を行い（ステップＳ１２０）、上記ステップＳ１１０へ戻る。

上記商品検索処理が実行されることによって、第１画像に含まれる複数のアイテムの各々の属するグループが表示部１８に表示され、さらに、表示されたグループの内、ユーザーによって選択されたグループに対応する商品の第２画像が表示部１８に表示される。

次に、本実施の形態における商品検索処理の具体例を説明する。図５は、第１画像の一例を示す模式図である。また、図６は、表示部１８に表示されたグループの一例を示す模式図である。

図５に示すように、複数のアイテムとして、アイテム４０Ａ〜アイテム４０Ｆを含む第１画像４０を取得部２０が取得したとする。この場合、商品検索装置１０が上記商品検索処理を実行し、判定部２２で判定された各アイテムのグループを第１制御部２４が表示部１８に表示する。これによって、図６に示すように、表示部１８には、例えば、アイテム４０Ｂ（図５参照）のグループ「トップス」の文字を含む画像５４が表示される。また、表示部１８には、例えば、アイテム４０Ａ（図５参照）のグループ「コート」の文字を含む画像５０が表示される。また、表示部１８には、例えば、アイテム４０Ｃ（図５参照）のグループ「小物」の文字を含む画像５６が表示される。また、表示部１８には、例えば、アイテム４０Ｄ（図５参照）のグループ「スカート」の文字を含む画像５２が表示される。

なお、図６に示すように、第１制御部２４は、判定部２２で判定されたグループを表示部１８に表示すればよい。このため、表示されるグループの表示形態は、どのような表示形態であってもよい。例えば、図６に示すように、第１制御部２４は、「コート」、「トップス」、「スカート」、「小物」等のグループを示す文字情報や、グループに属する代表的な商品を示す第２画像等を含むアイコン等を表示することで、判定されたグループを表示部１８に表示する。なお、第１制御部２４は、グループを示す文字情報のみを表示部１８に表示してもよいし、グループに属する代表的な商品を示す第２画像のみを、表示部１８に表示してもよい。

なお、図６に示すように、第１制御部２４は、取得部２０で取得した第１画像４０上に重ねて、各グループを示す画像（画像５０〜画像５６）を表示するように制御することが好ましい。また、これらの各グループを示す画像（画像５０〜画像５６）の、表示部１８の表示画面上における表示位置は、該表示画面の四隅であってもよいし、中央であってもよく、何れの位置であってもよい。また、これらの各グループを示す画像（画像５０〜画像５６）は、ある方向に並べて表示してもよいし、判定部２２で算出したヒストグラムによって示される値の大きい順に並べて表示してもよい。

また、第１制御部２４は、表示部１８の表示画面上における、グループの配置順序を予め定め、該定めた配置順序に従って、判定部２２で判定されたグループを表示部１８に表示してもよい。なお、この配置順序は、ユーザーによる入力部１６の操作指示によって受付部２６で受けつけ、第１制御部２４の図示を省略する記憶部に予め記憶すればよい。

また、第１制御部２４は、記憶部１４に記憶さている複数グループの内、表示部１８に表示する対象のグループと、表示部１８に表示する対象外のグループと、を予め定めて記憶しておいてもよい。そして、第１制御部２４は、判定部２２で判定されたグループの内、表示部１８に表示する対象のグループを、表示部１８に表示する制御を行ってもよい。

以上説明したように、本実施の形態の商品検索装置１０では、服飾に関する複数のアイテムを含む第１画像に基づいて、該第１画像に含まれるアイテムの各々の属するグループを判定し、判定したグループを表示部１８に表示する。そして、表示部１８に表示したグループの内、ユーザーの操作指示によって選択されたグループに対応する商品の第１画像を記憶部１４から検索し、表示部１８へ表示する。

従って、本実施の形態の商品検索装置１０によれば、ユーザーが注目する商品を効率よく検索することができる。

また、判定部２２は、第１画像を複数の候補領域に分割し最近傍識別を行うことで、第１画像に含まれる複数のアイテムの各々の属するグループを判定する。このため、第１画像が、複数のアイテムが互いに重なった状態で撮影された画像である場合であっても、第１画像に含まれるアイテムの各々のグループを的確に判定することができる。

なお、本実施の形態では、取得部２０は、撮像部１３から第１画像を取得する場合を説明した。しかし、取得部２０が第１画像を取得する形態は、撮像部１３から取得する形態に限られない。

例えば、取得部２０は、図示を省略するＩ／Ｆ部（インターフェース部）や、インターネット等の通信回線を介して、外部装置から第１画像を取得してもよい。外部装置としては、公知のＰＣや、ＷＥＢサーバー等が挙げられる。また、取得部２０は、予め第１画像を記憶部１４または図示を省略するＲＡＭ等に記憶しておいて、これらの記憶部１４やＲＡＭ等から第１画像を取得してもよい。

また、取得部２０は、以下の方法で第１画像を取得してもよい。詳細には、まず、取得部２０を、図示を省略する放送局からの放送電波をコンテンツデータとして受信するテレビチューナや、インターネットからコンテンツデータを受信するネットワークインターフェース等の機能を更に備えた構成とする。なお、コンテンツデータについては上述したので説明を省略する。

そして、制御部１２は、コンテンツデータに含まれる番組を表示部１８に表示する。そして、ユーザーによる操作指示によって入力部１６から画像の取り込みが指示される。すなわち、ユーザーは、表示部１８に表示された番組を確認しながら入力部１６を操作することにより、表示部１８に表示された番組から画像の取り込み指示を入力することができる。

そして、取得部２０では、該画像の取り込み指示を入力部１６から受け付けたときに、該画像の取り込み指示の受け付け時に表示部１８に表示されているコマ画像（フレームと称する場合もある）を、第１画像として取得してもよい。また、取得部２０は、該画像の取り込み指示の受け付け時に表示部１８に表示されているコマ画像より前（例えば、数秒前）のコマ画像を、第１画像として取り込んでもよい。

なお、本実施の形態では、第２制御部３０は、検索部２８で検索された商品の第１画像を表示部１８に表示する場合を説明した。しかし、第２制御部３０は、検索部２８で検索された商品の第１画像と、被写体の画像である第３画像と、を合成した合成画像である第４画像を、表示部１８に表示してもよい。

被写体の第３画像は、撮像部１３で撮像され、取得部２０で取得すればよい。なお、取得部２０は、通信回線を介して被写体の第３画像を取得してもよい。また、取得部２０は、被写体の第３画像を記憶部１４から取得してもよい。この場合には、記憶部１４は、被写体の第３画像を予め記憶すればよい。

そして、第２制御部３０は、取得部２０で取得した被写体の第３画像と、検索部２８で検索された商品の第１画像と、を合成することで、第４画像を生成すればよい。なお、第４画像の生成には、公知の方法を用いればよい。例えば、第４画像の生成には、特開２０１１−４８４６１号公報や、特開２００６−２４９６１８号方向に記載の方法を用いればよい。

（実施の形態２）
上記実施の形態では、第１画像が、服飾に関する複数のアイテムを含む画像である場合を説明した。本実施の形態では、第１画像が、家具に関する複数のアイテムを含む画像である場合を説明する。また、第２画像は、家具に関する商品の各々を示す画像である場合を説明する。

家具に関するアイテムとは、本実施の形態の商品検索装置１０Ｂ（図１参照）における検索対象であって、テーブル、椅子、棚、ソファア、等の家具や、これらの家具に関係する物であって、且つ、視認可能な検索対象を示す。

図１は、本実施の形態の商品検索装置１０Ｂの機能的構成を示すブロック図である。商品検索装置１０Ｂは、制御部１２Ｂ、撮像部１３、記憶部１４Ｂ、入力部１６、及び表示部１８を備える。撮像部１３は、撮像によって、家具に関するアイテムを含む第１画像を得る以外は、実施の形態１の撮像部１３と同様である。また、入力部１６及び表示部１８は、実施の形態１と同様である。

なお、商品検索装置１０Ｂは、実施の形態１の商品検索装置１０と同様に、制御部１２Ｂ、撮像部１３、記憶部１４Ｂ、入力部１６、及び表示部１８が一体的に設けられた携帯型端末である場合を説明する。また、商品検索装置１０Ｂは、携帯型端末に限られず、撮像部１３を備えたＰＣであってもよい。

記憶部１４Ｂは、ハードディスクドライブ装置等の記憶媒体である。図７は、記憶部１４Ｂに記憶されるデータのデータ構造の一例を示す図である。

記憶部１４Ｂは、識別情報と、グループと、第２画像と、を対応づけて記憶する。第２画像は、本実施の形態では、家具に関する商品の各々を示す画像である。家具に関する商品とは、家具に関するアイテムの内、商取引の対象とするアイテムを示す。このため、第２画像としては、上述した、棚、ソファア、テーブル、等の各商品の画像が挙げられる。

図７に示す例では、第２画像として、第２画像８０Ａ〜第２画像８０Ｅが記憶部１４Ｂに記憶されている場合を示した。なお、記憶部１４Ｂに記憶される第２画像は、これらの第２画像８０Ａ〜第２画像８０Ｅに限られない。また、記憶部１４Ｂに記憶される第２画像の数も、特定の数に限定されない。

識別情報、及びグループの定義は、実施の形態１と同様である。なお、図７に示す例では、識別情報が、対応する第２画像の示す商品の名称、対応する第２画像の示す商品の価格、及び対応する第２画像の示す商品の発売日を含む場合を示した。また、図７に示す例では、グループの分類条件として、更に、商品の設置場所を含む場合を説明する。

図７に示す例では、グループの分類条件の１つである商品の種類が、棚、ソファア、テーブル、椅子、収納、である場合を示した。また、図７に示す例では、グループの分類条件の１つである設置場所が、リビング、ダイニング、キッチンである場合を示した。また、分類条件の１つである商品の色が、白、黒、茶、緑、である場合を示した。

なお、図７中、「○」は、対応する第２画像の示す商品が、「○」の列に示されるグループに属することを示す。

例えば、図７に示す例では、第２画像８０Ａは、「棚」、「収納」、及び「白」の各々のグループに属している。また、第２画像８０Ｂの商品は、「棚」、「収納」、及び「茶」の各々のグループに属している。第２画像８０Ｃの商品は、「ソファア」、「リビング」、及び「緑」の各々のグループに属している。第２画像８０Ｄの商品は、「ソファア」、「リビング」、及び「白」の各々のグループに属している。第２画像８０Ｅの商品は、「テーブル」、「リビング」、及び「茶」のグループに属している。

図１に戻り、制御部１２Ｂは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。制御部１２Ｂは、商品検索装置１０Ｂ全体を制御する。また、制御部１２Ｂは、撮像部１３、記憶部１４Ｂ、入力部１６、及び表示部１８に電気的に接続されている。

制御部１２Ｂは、取得部２０Ｂ、判定部２２Ｂ、第１制御部２４、受付部２６、検索部２８、第２制御部３０、及び更新部３１を備える。第１制御部２４、受付部２６、検索部２８、第２制御部３０、及び更新部３１は、実施の形態１と同様である。

取得部２０Ｂは、家具に関する複数のアイテムを含む第１画像を取得する。本実施の形態では、取得部２０Ｂは、撮像部１３から第１画像を取得する場合を説明する。

判定部２２Ｂは、取得部２０Ｂで取得した第１画像に含まれるアイテムの各々が、何れのグループに属するかを判定する。

例えば、判定部２２Ｂは、最近傍探索や、ｋ近傍法を用いて、取得部２０Ｂで取得した第１画像に含まれるアイテムの各々が、上記各グループの何れに属するかを判定する。なお、判定部２２Ｂが最近傍探索によって類似度を算出し、該類似度に応じて該判定を行う方法は、探索対象が記憶部１４Ｂに記憶されている第２画像である以外は、実施の形態１と同様である。同様に、判定部２２Ｂがｋ近傍法を用いてヒストグラムを作成し、該ヒストグラムを用いて該判定を行う方法は、探索対象が記憶部１４Ｂに記憶されている第２画像である以外は、実施の形態１と同様である。

図８は、判定部２２Ｂによる、ｋ近傍法を用いた判定を示す模式図である。図８（Ａ）に示すように、第１画像８２が、アイテム８２Ａ、アイテム８２Ｂ、アイテム８２Ｃを含む画像であったとする。そして、記憶部１４Ｂには、図８（Ｂ）に示すように、第２画像８０Ｇ〜第２画像８０Ｆと、各第２画像に対応するグループと、図８（Ｂ）では図示を省略する識別情報と、が対応づけて記憶されているとする。

この場合、判定部２２Ｂは、まず、第１画像８２において、各アイテム８２Ａ〜アイテム８２Ｃが含まれる候補領域や背景が含まれる候補領域の特徴量と、記憶部１４Ｂに記憶されている第２画像８０Ａ〜第２画像８０Ｆの示す商品の特徴量と、を算出する。そして、判定部２２Ｂは、各候補領域と、各第２画像８０Ａ〜第２画像８０Ｆの各々と、の類似度を算出する。

図８（Ｂ）には、一例として、アイテム８２Ａが含まれる候補領域に対する、第２画像８０Ａ、及び第２画像８０Ｂの各々の類似度を示した。すなわち、アイテム８２Ａが含まれる候補領域と、第２画像８０Ａ、及び第２画像８０Ｂの各々と、の類似度が、各々、０．９３、０．８９である場合を示した。

また、図８（Ｂ）には、アイテム８２Ｂが含まれる候補領域に対する、第２画像８０Ｃ、第２画像８０Ｆ、及び第２画像８０Ｄの各々の類似度を示した。すなわち、アイテム８２Ｂが含まれる候補領域と、第２画像８０Ｃ、第２画像８０Ｆ、及び第２画像８０Ｄの各々と、の類似度が、各々、０．７７、０．７６、及び０．７０である場合を示した。また、図８（Ｂ）には、アイテム８２Ｃが含まれる候補領域に対する、第２画像８０Ｅの類似度を示した。すなわち、アイテム８２Ｃが含まれる候補領域と、第２画像８０Ｅと、の類似度が、０．７４である場合を示した。

なお、図８には、判定部２２Ｂが、第１画像８２に含まれるアイテム８２Ａの候補領域については、ｋ近傍法における上記ｋを「２」枚とし、アイテム８２Ｂの候補領域については、上記ｋを「３」枚とし、アイテム８２Ｃの候補領域については、上記ｋを「１」枚として判定を行った場合を示した。しかし、判定部２２Ｂが第１画像８２に含まれる各アイテムにおいて適用するｋ近傍法のｋの値は、第１画像に含まれる各アイテム間で同じ値に設定することが好ましい。

そして、判定部２２Ｂは、第１画像８２に含まれるアイテム８２Ａ〜アイテム８２Ｃの各候補領域について、各アイテム８２Ａ〜アイテム８２Ｃとの類似度の高い順にｋ枚の第２画像を読み取る。例えば、判定部２２Ｂは、アイテム８２Ａの候補領域に対応する第２画像として、第２画像８０Ａ、及び第２画像８０Ｂを記憶部１４Ｂから読み取る。また、例えば、判定部２２Ｂは、アイテム８２Ｂの候補領域に対応する第２画像として、第２画像８０Ｃ、第２画像８０Ｆ、及び第２画像８０Ｄを記憶部１４Ｂから読み取る。また、判定部２２Ｂは、アイテム８２Ｃの候補領域に対応する第２画像として、第２画像８０Ｅを記憶部１４Ｂから読み取る。

さらに、判定部２２Ｂは、候補領域毎に読み取った第２画像（図８に示す例では、第２画像８０Ａ〜第２画像８０Ｆ）に対応するグループを、記憶部１４Ｂから読み取る。そして、判定部２２Ｂは、候補領域毎に読み取った第２画像８０Ａ〜第２画像８０Ｆに対応するグループを、記憶部１４Ｂから読み取る。図８に示す例では、判定部２２Ｂは、第２画像８０Ａに対応するグループとして、「棚」を読み取る。判定部２２Ｂは、第２画像８０Ｂ〜第２画像８０Ｆについても、同様にして、対応するグループを読取る。

そして、判定部２２Ｂは、これらの読み取ったグループの数を、同じグループ毎に加算した加算値を算出することで、ヒストグラムを作成する。例えば、図８（Ｃ）に示すように、グループ「ソファア」には、第２画像８０Ｃ、第２画像８０Ｆ、第２画像８０Ｄの各々によって示される商品が属するので、該グループにおける加算値は「３」となる（図８（Ｃ）中、線図８１Ａ参照）。同様に、図８（Ｃ）に示すように、グループ「棚」には、第２画像８０Ａ、第２画像８０Ｂの各々によって示される商品が属するので、該グループにおける加算値は「２」となる（図８（Ｃ）中、線図８１Ｂ参照）。

また、図８（Ｃ）に示すように、グループ「テーブル」には、第２画像８０Ｅによって示される商品が属するので、該グループにおける加算値は「１」となる（図８（Ｃ）中、線図８１Ｃ参照）。また、図８（Ｃ）に示すように、グループ「茶」には、第２画像８０Ｂ、及び第２画像８０Ｅの各々によって示される商品が属するので、該グループにおける加算値は「２」となる（図８（Ｃ）中、線図８１Ｄ参照）。

さらに、判定部２２Ｂは、これらの加算値によって示されるヒストグラム８１によって示される各グループの内、各加算値が予め定めた第２閾値を超えるグループを、第１画像８２に含まれる各アイテム８２Ａ〜アイテム８２Ｃの候補領域が属するグループとして判定する。

なお、判定部２２Ｂによる判定方法は、実施の形態１と同様に、最近傍探索や、ｋ近傍法に限られない。

図１に戻り、第１制御部２４は、実施の形態１と同様に、判定部２２Ｂで判定された、第１画像に含まれるアイテムの各々が属するグループを、表示部１８に表示する制御を行う。

本実施の形態の商品検索装置１０Ｂの制御部１２Ｂは、判定部２２Ｂにおいて判定に用いる第２画像が記憶部１４Ｂに格納されている第２画像であり、第１画像が家具に関する複数のアイテムを含む画像である以外は、実施の形態１と同様にして、商品検索処理を実行する。

本実施の形態において、制御部１２Ｂが上記商品検索処理を実行することによって、第１画像に含まれる複数のアイテムの各々の属するグループが表示部１８に表示され、さらに、表示されたグループの内、ユーザーによって選択されたグループに対応する商品の第２画像が表示部１８に表示される。

次に、本実施の形態における商品検索処理の具体例を説明する。図９は、表示部１８に表示される画像の一例を示す模式図である。

図９（Ａ）は、第１画像８２の一例を示す模式図である。また、図９（Ｂ）及び図９（Ｃ）は、表示部１８に表示されたグループの一例を示す模式図である。

図９（Ａ）に示すように、複数のアイテムとして、アイテム８２Ａ〜アイテム８２Ｄを含む第１画像８２を取得部２０Ｂが取得したとする。この場合、商品検索装置１０Ｂが上記商品検索処理を実行し、判定部２２Ｂで判定された各アイテムのグループを第１制御部２４が表示部１８に表示する。

これによって、図９（Ｂ）に示すように、表示部１８には、例えば、判定部２２Ｂで判定された、アイテム８２Ａ（図９（Ａ）参照）のグループ「棚」の文字を含む画像８３Ａが表示される。また、表示部１８には、例えば、判定部２２Ｂで判定された、アイテム８２Ｂ（図９（Ａ）参照）のグループ「ソファア」の文字を含む画像８３Ｂが表示される。また、表示部１８には、例えば、判定部２２Ｂで判定された、アイテム８２Ｃ（図９（Ａ）参照）のグループ「テーブル」の文字を含む画像８３Ｃが表示される。また、表示部１８には、例えば、判定部２２Ｂで判定された、アイテム８２Ｄ（図９（Ａ）参照）のグループ「クッション」の文字を含む画像８３Ｄが表示される。

なお、図９（Ｂ）に示すように、第１制御部２４は、判定部２２Ｂで判定されたグループを表示部１８に表示すればよい。このため、表示されるグループの表示形態は、どのような表示形態であってもよい。

また、図９（Ｃ）に示すように、判定部２２Ｂで判定されたグループが表示部１８に表示された状態で、ユーザＰによる入力部１６の操作指示によって表示されたグループの何れかが選択されたとする。

この場合、受付部２６は、表示部１８に表示されたグループの内の少なくとも１つに対する指示入力を受け付ける。検索部２８は、記憶部１４Ｂを検索し、受付部２６が受け付けた、指示されたグループに対応する第２画像を記憶部１４Ｂから検索する。そして、第２制御部３０は、検索部２８で検索された第２画像を、表示部１８に表示する制御を行う。

以上説明したように、本実施の形態の商品検索装置１０Ｂでは、家具に関する複数のアイテムを含む第１画像に基づいて、該第１画像に含まれるアイテムの各々の属するグループを判定し、判定したグループを表示部１８に表示する。そして、表示部１８に表示したグループの内、ユーザーの操作指示によって選択されたグループに対応する商品の第１画像を記憶部１４Ｂから検索し、表示部１８へ表示する。

従って、本実施の形態の商品検索装置１０Ｂによれば、ユーザーが注目する商品を効率よく検索することができる。

（実施の形態３）
上記実施の形態１では、第１画像が、服飾に関する複数のアイテムを含む画像である場合を説明した。本実施の形態では、第１画像が、旅行に関する複数のアイテムを含む画像である場合を説明する。また、第２画像は、旅行に関する商品の各々を示す画像である場合を説明する。

旅行に関するアイテムとは、本実施の形態の商品検索装置１０Ｃ（図１参照）における検索対象であって、旅行に関係する検索対象を示す。

旅行に関するアイテムは、例えば、旅行先を地理的に特定可能な情報や、旅行先を地形的に特定可能な情報や、旅行先に存在する建物や、旅行先に旅行するのに適した季節等である。

旅行先を地理的に特定可能な情報は、例えば、アメリカ、ヨーロッパ、アジア、諸島、アフリカ、等である。また、旅行先を地形的に特定可能な情報は、例えば、ビーチ、山、等である。また、旅行先に存在する建物は、例えば、ホテル、等である。また、旅行先に旅行するのに適した季節は、例えば、春、夏、秋、冬である。

図１は、本実施の形態の商品検索装置１０Ｃの機能的構成を示すブロック図である。商品検索装置１０Ｃは、制御部１２Ｃ、撮像部１３、記憶部１４Ｃ、入力部１６、及び表示部１８を備える。撮像部１３は、撮像によって、旅行に関するアイテムを含む第１画像を得る以外は、実施の形態１の撮像部１３と同様である。また、入力部１６及び表示部１８は、実施の形態１と同様である。

なお、商品検索装置１０Ｃは、実施の形態１の商品検索装置１０と同様に、制御部１２Ｃ、撮像部１３、記憶部１４Ｃ、入力部１６、及び表示部１８が一体的に設けられた携帯型端末である場合を説明する。また、商品検索装置１０Ｃは、携帯型端末に限られず、撮像部１３を備えたＰＣであってもよい。

記憶部１４Ｃは、ハードディスクドライブ装置等の記憶媒体である。図１０は、記憶部１４Ｃに記憶されるデータのデータ構造の一例を示す図である。

記憶部１４Ｃは、識別情報と、グループと、第２画像と、を対応づけて記憶する。第２画像は、本実施の形態では、旅行に関する商品を示す画像である。本実施の形態では、第２画像としては、各旅行先の風景を示す画像を用いる場合を説明する。

図１０に示す例では、第２画像として、第２画像８４Ａ〜第２画像８４Ｅが記憶部１４Ｃに記憶されている場合を示した。なお、記憶部１４Ｃに記憶される第２画像は、これらの第２画像８４Ａ〜第２画像８４Ｅに限られない。また、記憶部１４Ｃに記憶される第２画像の数も、特定の数に限定されない。

識別情報、及びグループの定義は、実施の形態１と同様である。なお、図１０に示す例では、識別情報が、対応する第２画像の示す商品の名称、対応する第２画像の示す商品の価格、及び対応する第２画像の示す商品の発売日を含む場合を示した。また、図１０に示す例では、グループの分類条件が、旅行先を地理的に特定可能な情報、旅行先を地形的に特定可能な情報、旅行先に存在する建物、及び旅行先に旅行するのに適した季節である場合を示した。

なお、図１０中、「○」は、対応する第２画像の示す商品が、「○」の列に示されるグループに属することを示す。

例えば、図１０に示す例では、第２画像８４Ａは、「ビーチ」、「アジア」、及び「夏」の各々のグループに属している。また、第２画像８４Ｂの商品は、「ビーチ」、「アメリカ」、及び「冬」の各々のグループに属している。第２画像８４Ｃの商品は、「アメリカ」、及び「夏」の各々のグループに属している。第２画像８４Ｄの商品は、「ホテル」、「欧州」、及び「春」の各々のグループに属している。第２画像８４Ｅの商品は、「ビーチ」、「ホテル」、「諸島」、及び「冬」のグループに属している。

図１に戻り、制御部１２Ｃは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。制御部１２Ｃは、商品検索装置１０Ｃ全体を制御する。また、制御部１２Ｃは、撮像部１３、記憶部１４Ｃ、入力部１６、及び表示部１８に電気的に接続されている。

制御部１２Ｃは、取得部２０Ｃ、判定部２２Ｃ、第１制御部２４、受付部２６、検索部２８、第２制御部３０、及び更新部３１を備える。第１制御部２４、受付部２６、検索部２８、第２制御部３０、及び更新部３１は、実施の形態１と同様である。

取得部２０Ｃは、旅行に関する複数のアイテムを含む第１画像を取得する。本実施の形態では、取得部２０Ｃは、撮像部１３から第１画像を取得する場合を説明する。

判定部２２Ｃは、取得部２０Ｃで取得した第１画像に含まれるアイテムの各々が、何れのグループに属するかを判定する。

例えば、判定部２２Ｃは、最近傍探索や、ｋ近傍法を用いて、取得部２０Ｃで取得した第１画像に含まれるアイテムの各々が、上記各グループの何れに属するかを判定する。なお、判定部２２Ｃが最近傍探索によって類似度を算出し、該類似度に応じて該判定を行う方法は、探索対象が記憶部１４Ｃに記憶されている第２画像である以外は、実施の形態１と同様である。同様に、判定部２２Ｃがｋ近傍法を用いてヒストグラムを作成し、該ヒストグラムを用いて該判定を行う方法は、探索対象が記憶部１４Ｃに記憶されている第２画像である以外は、実施の形態１と同様である。

図１１は、判定部２２Ｃによる、ｋ近傍法を用いた判定を示す模式図である。図１１（Ａ）に示すように、第１画像８６が、アイテム８６Ａ、アイテム８６Ｂ、アイテム８６Ｃを含む画像であったとする。

なお、アイテム８６Ａは、旅行先に存在する建物である「ホテル」を示すものとして説明する。また、アイテム８６Ｂは、旅行先を地形的に特定可能な情報である「ビーチ」を示すものとして説明する。また、アイテム８６Ｃは、旅行先を地理的に特定可能な情報である「アメリカ」を示すものとして説明する。

そして、記憶部１４Ｃには、図１１（Ｂ）に示すように、第２画像８４Ａ〜第２画像８４Ｆと、各第２画像に対応するグループと、図１１（Ｂ）では図示を省略する識別情報と、が対応づけて記憶されているとする。

この場合、判定部２２Ｃは、まず、第１画像８６において、各アイテム８６Ａ〜アイテム８６Ｃが含まれる候補領域や背景が含まれる候補領域の特徴量と、記憶部１４Ｃに記憶されている第２画像８４Ａ〜第２画像８４Ｆの示す商品の特徴量と、を算出する。そして、判定部２２Ｃは、実施の形態１と同様にして、各候補領域と、各第２画像８４Ａ〜第２画像８４Ｆの各々と、の類似度を算出する。

図１１（Ｂ）には、一例として、アイテム８６Ａ〜８６Ｃの各々が含まれる候補領域に対する、第２画像８４Ａ〜第２画像８４Ｆの各々の類似度を示した。

そして、判定部２２Ｃは、実施の形態と同様にして、第１画像８６に含まれるアイテム８６Ａ〜アイテム８６Ｃの各候補領域について、各アイテム８６Ａ〜アイテム８６Ｆとの類似度の高い順にｋ枚の第２画像を読み取る。

さらに、判定部２２Ｃは、候補領域毎に読み取った第２画像（図１１に示す例では、第２画像８４Ａ〜第２画像８４Ｆ）に対応するグループを、記憶部１４Ｃから読み取る。そして、判定部２２Ｃは、候補領域毎に読み取った第２画像８４Ａ〜第２画像８４Ｆに対応するグループを、記憶部１４Ｃから読み取る。なお、判定部２２Ｃによるグループの読出しは、実施の形態１と同様である。

そして、判定部２２Ｃは、これらの読み取ったグループの数を、同じグループ毎に加算した加算値を算出することで、ヒストグラムを作成する。例えば、図１１（Ｃ）に示すように、グループ「ビーチ」には、第２画像８４Ｂ、第２画像８４Ｆ、第２画像８４Ｅ、第２画像８４Ａ、の各々によって示される商品が属するので、該グループにおける加算値は「３４」となる（図１１（Ｃ）中、線図８５Ａ参照）。同様に、図１１（Ｃ）に示すように、グループ「ホテル」には、第２画像８４Ｄ、第２画像８４Ｃ、第２画像８４Ｅの各々によって示される商品が属するので、該グループにおける加算値は「３」となる（図１１（Ｃ）中、線図８５Ｂ参照）。

また、図１１（Ｃ）に示すように、グループ「アメリカ」には、第２画像８４Ｂによって示される商品が属するので、該グループにおける加算値は「１」となる（図１１（Ｃ）中、線図８５Ｃ参照）。また、図１１（Ｃ）に示すように、グループ「夏」には、第２画像８４Ｆ、及び第２画像８４Ｄの各々によって示される商品が属するので、該グループにおける加算値は「２」となる（図１１（Ｃ）中、線図８５Ｄ参照）。また、図１１（Ｃ）に示すように、グループ「冬」には、第２画像８４Ｂ、及び第２画像８４Ｅの各々によって示される商品が属するので、該グループにおける加算値は「２」となる（図１１（Ｃ）中、線図８５Ｅ参照）。

さらに、判定部２２Ｃは、これらの加算値によって示されるヒストグラム８５によって示される各グループの内、各加算値が予め定めた第２閾値を超えるグループを、第１画像８２に含まれる各アイテム８６Ａ〜アイテム８６Ｃの候補領域が属するグループとして判定する。

なお、判定部２２Ｃによる判定方法は、実施の形態１と同様に、最近傍探索や、ｋ近傍法に限られない。

図１に戻り、第１制御部２４は、実施の形態１と同様に、判定部２２Ｃで判定された、第１画像に含まれるアイテムの各々が属するグループを、表示部１８に表示する制御を行う。

本実施の形態の商品検索装置１０Ｃの制御部１２Ｃは、判定部２２Ｃにおいて判定に用いる第２画像が記憶部１４Ｃに格納されている第２画像であり、第１画像が旅行に関する複数のアイテムを含む画像である以外は、実施の形態１と同様にして、商品検索処理を実行する。

本実施の形態において、制御部１２Ｃが上記商品検索処理を実行することによって、第１画像に含まれる複数のアイテムの各々の属するグループが表示部１８に表示され、さらに、表示されたグループの内、ユーザーによって選択されたグループに対応する商品の第２画像が表示部１８に表示される。

次に、本実施の形態における商品検索処理の具体例を説明する。図１２は、表示部１８に表示される画像の一例を示す模式図である。

図１２（Ａ）は、第１画像８６の一例を示す模式図である。また、図１２（Ｂ）及び図１２（Ｃ）は、表示部１８に表示されたグループの一例を示す模式図である。

図１２（Ａ）に示すように、複数のアイテムとして、アイテム８６Ａ〜アイテム８６Ｃを含む第１画像８６を取得部２０Ｃが取得したとする。この場合、商品検索装置１０Ｃが上記商品検索処理を実行し、判定部２２Ｃで判定された各アイテムのグループを第１制御部２４が表示部１８に表示する。

これによって、図１２（Ｂ）に示すように、表示部１８には、例えば、判定部２２Ｃで判定された、アイテム８６Ａ（図１２（Ａ）参照）のグループ「ホテル」の文字を含む画像８７Ａが表示される。また、表示部１８には、例えば、判定部２２Ｃで判定された、アイテム８６Ｂ（図１１（Ａ）参照）のグループ「ビーチ」の文字を含む画像８７Ｂが表示される。また、表示部１８には、例えば、判定部２２Ｃで判定された、アイテム８６Ｃ（図１１（Ａ）参照）のグループ「アメリカ」の文字を含む画像８７Ｃが表示される。

なお、図１１（Ｂ）に示すように、第１制御部２４は、判定部２２Ｃで判定されたグループを表示部１８に表示すればよい。このため、表示されるグループの表示形態は、どのような表示形態であってもよい。

また、図１１（Ｂ）に示すように、判定部２２Ｃで判定されたグループが表示部１８に表示された状態で、ユーザＰによる入力部１６の操作指示によって表示されたグループの何れかが選択されたとする（図１１（Ｃ）参照）。

この場合、受付部２６は、表示部１８に表示されたグループの内の少なくとも１つに対する指示入力を受け付ける。検索部２８は、記憶部１４Ｃを検索し、受付部２６が受け付けた、指示されたグループに対応する第２画像を記憶部１４Ｃから検索する。そして、第２制御部３０は、検索部２８で検索された第２画像を、表示部１８に表示する制御を行う。

以上説明したように、本実施の形態の商品検索装置１０Ｃでは、旅行に関する複数のアイテムを含む第１画像に基づいて、該第１画像に含まれるアイテムの各々の属するグループを判定し、判定したグループを表示部１８に表示する。そして、表示部１８に表示したグループの内、ユーザーの操作指示によって選択されたグループに対応する商品の第１画像を記憶部１４Ｃから検索し、表示部１８へ表示する。

従って、本実施の形態の商品検索装置１０Ｃによれば、ユーザーが注目する商品を効率よく検索することができる。

なお、実施の形態１〜実施の形態３による商品検索処理を１台の商品検索装置で実行してもよい。この場合、実施の形態１〜実施の形態３の記憶部１４、記憶部１４Ｂ、記憶部１４Ｃに記憶した上記データを、同じ記憶部１４に記憶し、判定部２２が、上述した判定部２２、判定部２２Ｂ、及び判定部２２Ｃの処理を実行すればよい。

（実施の形態４）
図１３は、本実施の形態の商品検索装置１０Ａの機能的構成を示すブロック図である。商品検索装置１０Ａは、制御部１２Ａ、撮像部１３、記憶部１４、入力部１６、及び表示部１８を備える。入力部１６及び表示部１８は、ＵＩ部１７として一体的に構成されている。

制御部１２Ａは、ＣＰＵ、ＲＯＭ、及びＲＡＭなどを含んで構成されるコンピュータである。制御部１２Ａは、商品検索装置１０Ａ全体を制御する。また、制御部１２Ａは、撮像部１３、記憶部１４、入力部１６、及び表示部１８に電気的に接続されている。制御部１２Ａは、取得部２０、推定部２１Ａ、判定部２２Ａ、第１制御部２４、受付部２６Ａ、検索部２８、第２制御部３０、及び更新部３１を備える。

なお、本実施の形態では、実施の形態１における商品検索装置１０と同じ機能の部分には同じ符号を付与して詳細な説明を省略する。商品検索装置１０Ａでは、実施の形態１の商品検索装置１０（図１参照）の制御部１２に替えて、制御部１２Ａを備えた点が、実施の形態１と異なる。また、制御部１２Ａは、実施の形態１の制御部１２（図１参照）における判定部２２及び受付部２６に替えて、判定部２２Ａ及び受付部２６Ａを備える。また、制御部１２Ａは、推定部２１Ａを更に備える。

受付部２６Ａは、各種指示入力を受け付ける。実施の形態１と同様に、ユーザーの入力部１６による操作指示によって、表示部１８に表示されたグループの内の少なくとも１つが選択される。すると、受付部２６Ａは、表示部１８に表示されたグループの内の少なくとも１つに対する指示入力を受け付ける。

また、受付部２６Ａは、取得部２０で取得された第１画像における、判定部２２による判定対象の第１位置を求める。この第１位置は、例えば、第１画像上における二次元座標によって示される。

図１４は、第１位置の受け付けを示す模式図である。例えば、第１制御部２４が、取得部２０で取得した第１画像をＵＩ部１７の表示部１８に表示する制御を行う。ユーザーは、表示部１８に表示された第１画像を参照しながら、入力部１６を操作指示することによって、表示部１８に表示された第１画像における任意の位置を、第１位置として指定する。例えば、ＵＩ部１７の表示部１８に表示された第１画像上のある位置６２、ユーザー６０の指で示す。これによって、受付部２６は、該指示された位置６２を示す第１位置を、ＵＩ部１７の入力部１６を介して受け付ける。

なお、ユーザーは、ＵＩ部１７としてのタッチパネルを、指でなぞる、タッチする、ピンチイン、ピンチアウト、等の操作によって、第１位置を指定すればよい。そして、受付部２６Ａでは、ＵＩ部１７を介して指定された第１位置の入力を受け付ければよい。

図１３に戻り、推定部２１Ａは、第１画像における、受付部２６Ａで受け付けた第１位置に基づいて、第１画像中における判定部２２Ａによる判定対象領域を推定する。

例えば、推定部２１Ａは、図１４に示すように、ユーザーによって第１画像６４上の位置６２が第１位置として指示されたときに、該位置６２（第１位置）を含む領域６６を、判定対象領域として推定する。

この推定部２１Ａによる推定は、人物検出、顔検出、アイテム検出、ｓａｌｉｅｎｃｙ ｍａｐなどの公知の検出方式の一つまたは複数を組み合わせることで行えばよい。具体的には、推定部２１Ａは、第１画像における第１位置及び該第１位置の周辺領域を、上記検出方式の一つまたは複数を組み合わせることで検索し、人物、顔、アイテム等が検出されたときに、第１位置を含む該検出された領域を、判定対象領域として推定すればよい。

判定部２２Ａは、取得部２０で取得した第１画像における、推定部２１Ａで推定された判定対象領域に含まれるアイテムの各々が、上記各グループの何れに属するかを判定する。なお、判定部２２Ａは、アイテムの判定対象の領域が、第１画像における判定対象領域である以外は、実施の形態１の判定部２２と同様にして、判定を行う。

次に、商品検索装置１０Ａで実行する商品検索処理を説明する。

図１５は、本実施の形態の商品検索装置１０Ａで実行する商品検索処理の手順を示すフローチャートである。なお、図４に示す実施の形態１の商品検索処理と同じ処理には、同じ符号を付与して、詳細な説明を省略する。

図１５に示すように、まず、取得部２０が撮像部１３から第１画像を取得する（ステップＳ１００）。次に、受付部２６Ａが第１位置を受け付ける（ステップＳ２０１）。

次に、推定部２１Ａが、ステップＳ２０１で受け付けられた第１位置に基づいて、ステップＳ１００で受け付けた第１画像における判定対象領域を推定する（ステップＳ２０２）。

次に、判定部２２Ａが、第１画像の該判定対象領域に含まれる候補領域の各々の特徴量を算出する（ステップＳ２０３）。次に、判定部２２Ａが、判定対象領域に含まれる各候補領域の特徴量と、記憶部１４に記憶されている第２画像の示す商品の特徴量と、の類似度を、該アイテム毎に算出する（ステップＳ２０４）。

次に、判定部２２Ａは、ステップＳ２０４で算出した、判定対象領域に含まれる候補領域毎の類似度の全てが上記第１閾値以上であるか否かを判別する（ステップＳ２０６）。ステップＳ２０６で否定判断すると（ステップＳ２０６：Ｎｏ）、本ルーチンを終了する。

一方、ステップＳ２０６で肯定判断すると（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７へ進む。

ステップＳ２０７において、判定部２２Ａは、判定対象領域に含まれる各アイテムの各々のグループを判定する（ステップＳ２０７）。次に、判定部２２Ａは、ステップＳ２０７の処理によって判別した、第１画像の判定対象領域に含まれる各候補領域中の商品が属するグループを、ＲＡＭまたはＲＯＭに記憶する（ステップＳ２０８）。なお、ステップＳ２０８の処理において、判定部２２は、該グループを記憶部１４に記憶してもよい。

次に、第１制御部２４が、上記ステップＳ２０８で記憶したグループの一欄または少なくとも一部を、表示部１８に表示する（ステップＳ１０９）。次に、受付部２６Ａが、入力部１６からグループを受け付けたか否かを判断する（ステップＳ１１０）。ステップＳ１１０で肯定判断すると（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１２へ進む。

ステップＳ１１２では、ステップＳ１１０で受け付けたグループに対応する第２画像を、記憶部１４から検索する（ステップＳ１１２）。次に、第２制御部３０が、ステップＳ１１２で検索された第２画像を表示部１８に表示し（ステップＳ１１４）、本ルーチンを終了する。

一方、上記ステップＳ１１０で否定判断すると（ステップＳ１１０：Ｎｏ）、ステップＳ１１６へ進む。ステップＳ１１６では、切替指示を受け付けたか否かを判断する（ステップＳ１１６）。ステップＳ１１６で否定判断すると（ステップＳ１１６：Ｎｏ）、本ルーチンを終了する。また、ステップＳ１１６で肯定判断すると（ステップＳ１１６：Ｙｅｓ）、ステップＳ１１８へ進む。

ステップＳ１１８では、第２制御部３０が、ステップＳ１０８で記憶したグループの内、前回表示部１８に表示したグループ以外のグループ読取る（ステップＳ１１８）。そして、第２制御部３０が、ステップＳ１１８で読み取ったグループを、表示部１８に表示する制御を行い（ステップＳ１２０）、上記ステップＳ１１０へ戻る。

上記商品検索処理が実行されることによって、第１画像の判定対象領域に含まれる複数のアイテムの各々の属するグループが表示部１８に表示され、さらに、表示されたグループの内、ユーザーによって選択されたグループに対応する商品の第２画像が表示部１８に表示される。

このように、本実施の形態の商品検索装置１０Ａでは、第１画像における、ユーザーの指示した第１位置に基づいて推定した判定対象領域に基づいて、該判定対象領域に含まれる候補領域の属するグループから、商品の第２画像を検索する。従って、本実施の形態の商品検索装置１０Ａでは、ユーザーが注目する商品を、更に効率よく検索することができる。

なお、本実施の形態では、商品検索装置１０Ａでは、実施の形態１の商品検索装置１０の記憶部１４を備えた構成である場合を説明したが、記憶部１４に替えて、実施の形態２で説明した記憶部１４Ｂ、実施の形態３で説明した記憶部１４Ｃを備えた構成としてもよい。また、記憶部１４に、記憶部１４、記憶部１４Ｂ、記憶部１４Ｃの各々に記憶しているデータを記憶した構成としてもよい。

このような構成とすることで、ユーザが注目する商品として、服飾に関する商品に限られず、家具に関する商品、旅行に関する商品についても同様に、効率良く検索することができる。

（実施の形態５）
なお、上記実施の形態１〜実施の形態４では、記憶部１４、記憶部１４Ｂ、及び記憶部１４Ｃが、商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃの各々に設けられている場合を説明した。実施の形態５では、記憶部１４、記憶部１４Ｂ、及び記憶部１４Ｃが、商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、または商品検索装置１０Ｃに通信回線を介して接続された記憶装置に設けられている場合を説明する。

図１６は、商品検索システム７０を示す模式図である。商品検索システム７０は、商品検索装置１０Ｄと、記憶装置７２と、が通信回線７４を介して接続されている。

商品検索装置１０Ｄは、実施の形態１における商品検索装置１０、実施の形態２における商品検索装置１０Ｂ、実施の形態３における商品検索装置１０Ｃ、及び実施の形態４における商品検索装置１０Ａが、記憶部１４（記憶部１４Ｂ、記憶部１４Ｃ）を備えない構成である。すなわち、商品検索装置１０Ｄは、制御部１２（制御部１２Ａ、制御部１２Ｂ、制御部１２Ｃ）と、入力部１６と、表示部１８と、を備える。なお、実施の形態１〜実施の形態４と同じ機能部には同じ符号を付与して詳細な説明を省略する。

通信回線７４は、有線通信回線や、無線通信回線がある。記憶装置７２は、記憶部１４を備えた装置であり、公知のＰＣや各種サーバー等が挙げられる。

図１６に示すように、記憶部１４（記憶部１４Ｂ、記憶部１４Ｃ）を、商品検索装置１０Ｄとは別体として構成し、通信回線７４を介して接続された記憶装置７２に設けた構成とすることで、複数の商品検索装置１０Ｄから同じ記憶部１４（記憶部１４Ｂ、記憶部１４Ｃ）にアクセスすることができ、記憶部１４（記憶部１４Ｂ、記憶部１４Ｃ）に記憶されているデータの一元管理が可能となる。

実施の形態１〜実施の形態５の商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃ、及び商品検索装置１０Ｄで実行される上記商品検索処理を実行するためのプログラムは、ＲＯＭ等に予め組み込んで提供される。

なお、実施の形態１〜実施の形態５の商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃ、及び商品検索装置１０Ｄで実行される上記商品検索処理を実行するためのプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、実施の形態１〜実施の形態５の商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃ、及び商品検索装置１０Ｄで実行される上記商品検索処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に記憶し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施の形態１〜実施の形態５の商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃ、及び商品検索装置１０Ｄで実行される上記商品検索処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

実施の形態１〜実施の形態５の商品検索装置１０、商品検索装置１０Ａ、商品検索装置１０Ｂ、商品検索装置１０Ｃ、及び商品検索装置１０Ｄで実行される上記商品検索処理を実行するためのプログラムは、上述した各部（取得部２０、取得部２０Ｂ、取得部２０Ｃ、判定部２２、判定部２２Ｂ、判定部２２Ｃ、第１制御部２４、受付部２６、検索部２８、第２制御部３０、更新部３１、推定部２１Ａ、判定部２２Ａ、受付部２６Ａ）を含むモジュール構成となっている。実際のハードウェアとしてはＣＰＵ（プロセッサ）がＲＯＭ等の記憶媒体から、上記商品検索処理を実行するためのプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、上記には、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ 商品検索装置
１２、１２Ａ、１２Ｂ、１２Ｃ 制御部
１４、１４Ｂ、１４Ｃ 記憶部
１６ 入力部
１７ ＵＩ部
１８ 表示部
２０、２０Ｂ、２０Ｃ 取得部
２１Ａ 推定部
２２、２２Ａ 判定部
２４ 第１制御部
２６、２６Ａ 受付部
２８ 検索部
３０ 第２制御部
３１ 更新部

Claims (7)

1. 複数のアイテムを含む第１画像を取得する取得部と、
   取得された前記第１画像に含まれるアイテムの各々が、前記アイテムに関連する商品を予め定めた分類条件に従って分類した複数のグループのうち、何れのグループに属するかを判定する判定部と、
   前記アイテムの各々が属する前記グループを表示部に表示する制御を行う第１制御部と、
   表示された前記グループのうち、少なくとも１つを指定する入力をユーザーから受け付ける受付部と、
   前記グループと前記商品の第２画像とを対応づけて記憶した記憶部を検索し、指定された前記グループに対応する前記第２画像を抽出する検索部と、
   抽出された前記第２画像を前記表示部に表示する制御を行う第２制御部と、
   を備える商品検索装置。
2. 前記受付部は、取得した前記第１画像において指示された第１位置を求め、
   前記第１位置に基づいて、該第１画像中において、前記判定部が判定対象とする判定対象領域を推定する推定部を更に備え、
   前記判定部は、取得した前記第１画像において、前記判定対象領域内に含まれる前記アイテムが、前記各グループの何れに属するかを判定する、
   請求項１に記載の商品検索装置。
3. 前記検索部は、当該商品検索装置に通信回線を介して接続された記憶装置に設けられた前記記憶部から、受け付けた前記グループに対応する前記第２画像を検索する、請求項２に記載の商品検索装置。
4. 前記記憶部は、前記商品の識別情報を更に対応づけて記憶し、
   前記第２制御部は、検索された前記第２画像に対応する前記識別情報に基づいて、検索された前記第２画像の内の前記表示部に表示する対象の第２画像を選択し、選択した該第２画像を前記表示部に表示する、請求項３に記載の商品検索装置。
5. 前記取得部は、被写体の第３画像を更に取得し、
   前記第２制御部は、取得された前記第３画像と、検索された前記第２画像と、を合成した第４画像を、前記表示部に表示する制御を行う、請求項１に記載の商品検索装置。
6. 複数のアイテムを含む第１画像を取得し、
   取得された前記第１画像に含まれるアイテムの各々が、前記アイテムに関連する商品を予め定めた分類条件に従って分類した複数のグループのうち、何れのグループに属するかを判定し、
   前記アイテムの各々が属する前記グループを表示部に表示し、
   表示された前記グループのうち、少なくとも１つを指定する入力をユーザーから受け付け、
   前記グループと前記商品の第２画像とを対
   応づけて記憶した記憶部を検索し、指定された前記グループに対応する前記第２画像を抽出し、
   抽出された前記第２画像を前記表示部に表示する、
   商品検索方法。
7. コンピュータを、
   複数のアイテムを含む第１画像を取得する手段と、
   取得された前記第１画像に含まれるアイテムの各々が、前記アイテムに関連する商品を予め定めた分類条件に従って分類した複数のグループのうち、何れのグループに属するかを判定する手段と、
   前記アイテムの各々が属する前記グループを表示部に表示する制御を行う手段と、
   表示された前記グループのうち、少なくとも１つを指定する入力をユーザーから受け付ける手段と、
   前記グループと前記商品の第２画像とを対応づけて記憶した記憶部を検索し、指定された前記グループに対応する前記第２画像を抽出する手段と、
   抽出された前記第２画像を前記表示部に表示する制御を行う手段と、
   して機能させる、商品検索プログラム。

Images