JP2022179680A - 検索システム - Google Patents

Abstract

【課題】ユーザが対象物の名称を知らなくとも、その対象物の画像データによりユーザの検索したい対象物の検索を行うことができる検索システムを提供する。【解決手段】検索システムは、商品アイテムのカテゴリに関連する情報を端末から受け付ける受付部と、受け付けられたカテゴリに関連する情報が示すカテゴリに属する１以上の商品アイテムを抽出する抽出部と、抽出された１以上の商品アイテムに含まれる個々の商品アイテムの画像データを端末の表示部に表示させる表示制御部と、を備え、表示制御部は、抽出された１以上の商品アイテム、又は、受け付けられたカテゴリと同一のカテゴリに属する商品アイテム、に対して組み合わせる１以上の組合わせ商品アイテムに含まれる個々の組合わせ商品アイテムの画像データを、所定の画像媒体に含まれる１以上の画像データそれぞれの特徴データに基づいて抽出し、抽出した画像データを表示部に表示させる。【選択図】図１

Description

本発明は、インターネットを介し、ユーザが対象物の検索にあたり、検索する対象物の選択や決定を支援する検索システムに関する。本願は、２００８年０８月０８日に日本に出願された特願２００８－２０５７３０号、及び２００８年１０月０８日に日本に出願された特願２００８－２６２０３５号に基づき優先権を主張し、その内容をここに援用する。

従来より、インターネット等のネットワークを通じてユーザが対象物（例えば、商品など）を検索する、ひいては購入する際、ユーザが検索しようとする対象物の選択や決定を支援するシステムが用いられている（例えば、特許文献１参照）。
例えば、ユーザは、インターネットにおいて各種ある検索エンジンを用いて、対象物の名称（例、商品名など）あるいは対象物の特徴を入力し、該当する対象物を検索する。また、必要に応じて、ユーザは上述の該当した対象物を販売している店舗を検索する。
そして、上記のような検索エンジンを有するサーバ装置は、検索された店舗において、インターネットを介し、ユーザの好みに対応した対象物の画像又はその価格をユーザの端末に提示し、あるいは関連対象物の提供などにより、ユーザの対象物の検索に対して支援を行っている。

また、近年、商品を買う場合に、対面販売を行う小売店に出向かずに、インターネット上の仮想モールの仮想商店から商品を購入することが多くなっている。
この結果、近隣に大型小売店がない地域においても、多くの種類毎の複数の商品から気に入った商品を、自宅にいながらにして購入することが可能となっている。（例えば、特許文献２参照）。

特開２００４－２４６５８５号公報 特開２００２－１５０１３８号公報

本発明の一態様に係る検索支援システムは、ユーザにより指定された、商品アイテムのカテゴリに関連する情報を端末から受け付ける受付部と、前記受付部により受け付けられた前記カテゴリに関連する情報が示す前記カテゴリに属する１以上の商品アイテムを抽出する抽出部と、前記抽出部により抽出された前記１以上の商品アイテムに含まれる個々の商品アイテムの画像データを前記端末の表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記抽出部により抽出された１以上の商品アイテム、又は、前記受付部により受け付けられた前記カテゴリと同一の前記カテゴリに属する商品アイテム、に対して組み合わせる１以上の組合わせ商品アイテムに含まれる個々の前記組合わせ商品アイテムの画像データを、所定の画像媒体に含まれる１以上の画像データそれぞれの特徴データに基づいて抽出し、抽出した画像データを前記表示部に表示させる。

本発明の一実施形態による検索支援システムの構成例を示すブロック図である。 図１のデータベース１６に記憶されている商品テーブルの構成例を示す概念図である。 図１のデータベース１６に記憶されているユーザ登録テーブルの構成例を示す概念図である。 一実施形態による検索支援システムにおける商品検索の動作例を示すフローチャートである。 一実施形態による検索支援システムにおける嗜好情報収集の動作例を示すフローチャートである。 本実施形態における検索支援システムの構成例の変形例を示すブロック図である。 本発明の一実施形態による商品検索支援システムの構成例を示すブロック図である。 図７における商品アイテムデータベース２６のカテゴリ１（シャツ）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における商品アイテムデータベース２６のカテゴリ２（ズボン）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における商品アイテムデータベース２６のカテゴリ３（ジャケット）の組合せ商品アイテムの属性情報を記録したテーブルである。 販売しているカテゴリ１の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ１の組合せ商品アイテムとの対応を示すテーブルである。 販売しているカテゴリ２の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ２の組合せ商品アイテムとの対応を示すテーブルである。 販売しているカテゴリ３の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ３の組合せ商品アイテムとの対応を示すテーブルである。 図７における組合せ情報データベース２８における、画像媒体から収集した組合せ商品アイテムの各カテゴリ間における組合せを示すテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ１（シャツ）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ２（ズボン）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ３（ジャケット）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７の商品検索支援システムの動作例を示すフローチャートである。 図７の履歴データベース３１におけるユーザテーブルの構成を示す概念図である。 図７の履歴データベース３１における購入履歴テーブルの構成を示す概念図である。 Graph-Cut法による画像データのセグメンテーションを説明する概念図である。

上述した特許文献１及び特許文献２に記載の従来例などは、ユーザが対象物を検索する際、対象物の名称などを示すテキストデータを入力するか、あるいは検索用に予め準備された対象物の画像から選択するため、例えば、ユーザが対象物の画像しか情報を有しておらず、対象物の名称を知らない場合、ユーザが実際に検索したい対象物、あるいは検索する対象物に類似した対象物を検索できないという問題があることが分かった。
そこで、本発明に係る態様は、例えば、ユーザが対象物の名称を知らなくとも、その対象物の画像データによりユーザの検索したい対象物の検索を行うことができる検索支援システム、検索支援方法、及び検索支援プログラムを提供する。
＜第１の実施形態＞
以下、本発明の一実施形態による検索支援システムを図面を参照して説明する。図１は同実施形態による検索支援システムの構成例を示すブロック図である。
この図において、検索支援システムは、検索サーバ１と、インターネットなどからなる情報通信網Ｉを介して上記検索サーバ１に接続されるユーザ端末２とを有している。
ここで、ユーザ端末２は、ユーザの有する端末であり、それぞれユーザ固有のユーザ識別情報により識別される。
以下、本実施形態においては、ユーザが検索したい対象物として、ファッション商品、服、靴、ネックレス、帽子などの商品の検索及び購買を例にとり説明する。なお、本実施形態では、ファッション商品、服、靴、ネックレス、帽子などの商品に限られず、電化製品、家具、絵画など、インターネット又はネットワークを介して検索できる対象物に適用することも可能である。また、本実施形態における対象物とは、一例として、商品、物品、電化製品、家具、絵画、店舗や会社を含む建物、植物、動物、不動産（マンションの外観、内装、間取り、などを含む）、風景、などが挙げられる。

検索サーバ１は、上記ユーザがインターネット上の店舗などにおいて、商品を検索する支援を行うサーバであり、抽出部１１、種類判定部１２、検索部１３、組合せ抽出部１４、嗜好抽出部１５、データベース１６及び送受信部１７を有している。
データベース１６には、図２に示すように、各商品を識別する商品識別情報に対応させ、その商品の名称と、その商品の画像データである商品画像データ（対象物画像データ）と、商品画像データから抽出した特徴情報と、この商品を販売している店舗情報と、その商品の価格と、その商品と組み合わせる他の商品との組合せ情報と、商品の種類（服、靴、帽子、ネックレスなどの商品ジャンル）を示す種類識別情報とが対応付けられた商品テーブルが記憶されている。このデータベース１６には、例えば、検索支援システムに会員登録している店舗からの商品の情報が順次蓄積されている。上記特徴情報とは、色、形、模様、テクスチャなどの要素を数値データ（例えば、要素数に対応する次元のベクトル）化したものである。また、ユーザが検索したい商品の画像と、データベース１６に蓄積された商品画像（対象物画像）とをもとに、その画像同士を直接的に比較する場合、種類判定部１２は省略してもよい。

上記抽出部１１は、ユーザがユーザ端末２から送信してくる入力画像データ（ユーザから提供される画像データ）を、送受信部１７を介して入力し、該入力画像データ内の検索部分を抽出する。より詳しくは、抽出部１１は、該入力画像データ内の商品の画像領域の輪郭（検索部分）を抽出し、輪郭画像データ（検索部分の画像データ）を生成する。ここで、輪郭画像データの抽出処理において、輪郭とは画像の濃度値が急激に変化する部分であり、これを取り出すために微分演算を行っている。ただし、デジタル画像においてはデータが一定間隔にとびとびに並んでいるため、隣接画素同士の差をとる演算（差分）で微分を近似し、画素の濃度が急激に変化している部分を輪郭として抽出する。

種類判定部１２は、上記輪郭画像データから、予めデータベース１６に記憶されている商品の輪郭データテーブルにおけるテンプレート画像データから、輪郭画像データに対応するテンプレート画像データを検索し、そのテンプレート画像データに対応してデータベース１６に設定されている種類識別情報を読み込む。このテンプレート画像データは、各種類の多数の商品を複数の角度から撮影し、輪郭と比較するテンプレートとして予めデータベース１６の上記輪郭データテーブルに記憶されていることが望ましい。

検索部１３は、上記種類識別情報に対応する種類の記憶領域から、入力画像データにおける輪郭抽出を行った検索画像データの特徴抽出を行い、得られた特徴情報と、一致又は類似度の高い特徴情報をデータベース１６における上記商品テーブルの判定された種類に対応する種類識別情報を有する画像データから検索し、類似度の高い商品を予め設定された数のその画像データを、類似度の高い順に抽出する。ここで、種類判定部１２を設けない場合、検索部１３は、入力画像データにおける輪郭抽出を行った商品の画像と、商品テーブル全体における商品画像データとを比較し、上記輪郭抽出を行った商品の画像に対して類似度の高い商品画像データを抽出する。
また、検索部１３は、検索された商品画像データに対応する商品情報（対象物情報）をユーザのユーザ端末２へ送信する。なお、上述の商品情報は、名称（商品名）、商品画像データに対応する商品を販売する販売店舗、その店舗のＵＲＬ、その店舗の電話番号や住所、及び商品の価格のうち少なくとも一つを含む情報である。

嗜好抽出部１５は、ユーザの検索した商品の種類に含まれる他の商品（ユーザの検索した商品と同一種類の商品）の画像データを、上記商品テーブルからランダムに予め設定された数だけ抽出し、ユーザ端末２へ送信する。
ユーザ端末２は、検索サーバ１から送信される画像データを図示しない表示画面に表示する。
また、嗜好抽出部１５は、ユーザ端末２から送信される各商品（例えば、データベース１６に記憶されている商品画像データ）に対する好きあるいは嫌いの判定結果を入力し、形、色、模様、テクスチャのうち少なくとも一つを含む嗜好情報をユーザ毎に、データベース１６の図３に示すユーザ登録テーブルに書き込んで記録する。

ここで、上記ユーザ登録テーブルには、ユーザ識別情報に対応し、過去にどのような商品を購入したかを示す購入情報（購入した商品識別情報、購入した日時、購入した店舗、購入した価格などを含む）と、嗜好抽出部１５が抽出した嗜好情報と、ユーザが有しているポイント数を示すポイント情報とが記憶されている。このポイントは商品を購買した支払の際、現金と同様に使用することができる。
すなわち、検索サーバ１は、上述の店舗情報に割引クーポン情報が付加されており、その割引クーポン情報を利用してユーザが検索した商品を購入した場合、その商品に関する購入情報をデータベース１６の上記ユーザ登録テーブルに記憶する。そして、検索サーバ１は、購入された商品の価格に対応するポイントを上記ポイント情報のポイント数として上記ユーザ登録テーブル内の対象ユーザに対して加算する。なお、嗜好抽出部１５は、上記購入情報から種類毎に嗜好情報を抽出するようにしてもよい。
組合せ抽出部１４は、抽出された商品と組み合わせて購入する可能性の高い他の種類の商品を、予め嗜好情報に対応して記憶されている組み合わせ情報に対応する商品を検索し、ユーザの端末へ送信する。

次に、図１及び図４を用いて、本実施形態における検索支援システムの動作を説明する。図４は、本実施形態における検索支援システムの動作例を説明するフローチャートである。 以下の説明において、種類判定部１２を設けた場合について説明する。種類判定部１２を設けない場合、種類判定部１２の処理がフローチャートから省かれることになる。
ユーザがユーザ端末２に接続されているカラースキャナなどにより雑誌などから気に入った服を着ているモデルの画像を読み取り、あるいはデジタルカメラにより撮影する、あるいはインターネットから画像をダウンロードする（ステップＳ１）。
そして、ユーザは、読み取った画像、撮影した画像、或いはダウンロードした画像を、入力画像データとしてユーザ端末２に入力し、この入力画像データに複数の種類の商品の有無により（ステップＳ２）、検索したい商品の画像の領域を選択するか否かを判定する。なお、上記の入力画像データは、予めユーザ端末２に記憶されていてもよいし、外部の端末に記憶されていてもよい。

このとき、例えば、スカートの商品名及び販売している店舗を検索しようとする際、スカートのみが写っている入力画像データであれば、処理をステップＳ４へ進める。
一方、スカートの部分の画像のみでなく、モデル全体が撮影されている場合、処理をステップＳ３へ進める。
そして、ユーザは入力画像データにおいて、ユーザ端末２にインストールされている画像処理のツール（入力画像データに線を描く加工ができるツールであれば何でも良い）により、スカートの領域部分の画像を線などでマーキングして画像選択を行い（ステップＳ３）、そしてステップ４へ処理を進める。

ユーザ端末２は、ユーザが入力した入力画像データ（画像選択を行ったデータを含む）を、自身のユーザ識別情報とともに、検索依頼信号として情報通信網Ｉを介して検索サーバ１へ送信する（ステップＳ４）。

なお、上述のステップＳ２においては、検索サーバ１がユーザ端末２から受信した入力画像データに対して複数の種類の商品の有無を判定し、その判定した種類をユーザ端末２へ送信してもよい。この場合、ステップＳ３においては、検索サーバ１から受信した入力画像データに対する種類から検索したい種類を画像選択を行い、ステップＳ４へ処理を進める。

次に、検索サーバ１は、ユーザ端末２から上記検索依頼信号を受信すると、上述の入力画像データを抽出部１１へ出力する。
抽出部１１は、入力された入力画像データにおける商品画像の輪郭抽出（検索部分の抽出）を行う。
このとき、抽出部１１は、入力画像データにおいていずれの領域もマーキングされていない場合、入力画像データ全体の輪郭画像データの抽出を行い、一方、マーキングされている領域部分があれば、その領域部分の画像の輪郭画像データの抽出を行う。
そして、種類判定部１２は、上記輪郭画像データから、予めデータベース１６に記憶されている商品の種類に対応した輪郭データテーブルから、輪郭画像データに対応するテンプレート画像データを検索し、そのテンプレート画像データに対応した種類識別情報を輪郭データテーブルから読み込む。（ステップＳ５）。

検索部１３は、上記輪郭画像データにおける輪郭内部に対応させ、入力画像データにおいて検索する画像データ（検索画像データ）の特徴抽出を行い、検索画像データの特徴情報（例えば、色や形に基づく各情報）に類似した商品画像データを、データベース１６の商品テーブルから検索する（ステップＳ６）。
このとき、検索部１３は、特徴情報の各要素（例えば、特徴情報が色に基づく情報であれば、青、赤や黄など）におけるベクトルの距離を求め、この距離と一致するか、この距離が近いか遠いか、の類似度の計算を行う。なお、この距離が近いものを類似度が高いものとする。
また、検索部１３は、上記商品テーブルから類似度の高い順に、予め設定した数の商品を抽出する。

次に、検索部１３は、検索された商品画像データに対応する商品情報（商品名、商品の価格、商品画像データ販売店舗、ＵＲＬ、店舗の電話番号及び住所のうち少なくとも一つを含む情報）を、送受信部１７を介してユーザのユーザ端末２へ送信する（ステップＳ７）。ここで、一例として、送受信部１７は、検索依頼信号がユーザ端末２から送信される時に付加されるユーザ端末２のネットワーク上のアドレスを読み出し、このアドレスに対して上記商品情報を送信する。
そして、ユーザ端末２は商品販売検索サーバ１から送信された、検索結果の商品名、画像データ、店舗及び価格の情報を表示画面に表示する。
なお、上述のステップＳ５においては、検索サーバ１は、データベース１６におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるユーザ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる入力画像データをもとにデータベース１６から検索対象の商品画像データを抽出するようにしてもよい。また、検索サーバ１は、検索依頼信号に含まれるユーザ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、ユーザ識別情報に基づくユーザ登録が必要である旨をユーザ端末２に対して送信するようにすればよい。

これにより、ユーザは、画像データを送信することにより、気に入っている商品あるいはその商品に類似した商品の商品名、販売している店舗を示す店舗情報、その商品の価格などの情報を得ることができる。

ここで、店舗情報に割引クーポン情報が付加されており、この割引クーポン情報を利用し、検索した商品を購入した場合、商品販売検索サーバ１はその対象店舗に対して商品の価格に対応した金額を課金する。

次に、図１及び図５を用い、本実施形態による検索サーバ１がユーザの嗜好情報を抽出し、その嗜好情報により、上述の検索した商品に対して組合せが可能な他の商品を提示する処理を説明する。図５は、ユーザの嗜好情報を収集し、この嗜好情報により他の商品を紹介する動作例を説明するフローチャートである。
嗜好抽出部１５は、ユーザが検索した商品と同一の種類、例えばユーザが検索した商品が靴の場合、商品テーブルから予め設定された数だけ靴を抽出し（ステップＳ１１）、その商品画像データと商品識別情報とを送信する（ステップＳ１２）。このとき、ユーザに対して送信する種類毎の商品は、色、形、模様などが異なる特徴的な商品であり、ファッションコーディネータがユーザの嗜好情報を抽出することが可能とした商品として設定されている。

そして、ユーザ端末２は、嗜好抽出のための商品の商品画像データを検索サーバ１から受信すると、表示画面にその商品の商品画像データ（表示画像）を順次表示する。
このとき、ユーザは、上記表示画面に表示された表示画像において、表示されている商品画像データの商品が気に入った場合「良ボタン」をマウスなどの入力手段によりクリックし、一方、表示されている商品画像データの商品が気に入らない場合「否ボタン」をマウスなどによりクリックして選択する（ステップＳ１３）。
「良ボタン」あるいは「否ボタン」が選択されると、ユーザ端末２は次の商品の商品画像データを表示画面に表示し、受信した商品画像データの全て或いは所定数に対し、ユーザの良否判定の選択が終了するまでこれらの処理が継続される。

上述の商品画像データに対する良否判定が終了すると、ユーザ端末２は、商品識別情報毎に、その商品の良否判定データを対応させた判定結果情報を、検索サーバ１に対して、自身のユーザ識別情報を付加して送信する（ステップＳ１４）。
判定結果情報を入力すると、送受信部１７は、付加されているユーザ識別情報がユーザ登録テーブルに登録されているか否かを判定し、登録されていれば嗜好抽出部１５に対して上記判定結果情報を出力する。

次に、嗜好抽出部１５は、判定結果情報が入力されると、良否判定のパターンに対応した嗜好情報を、データベース１６における嗜好情報テーブルから選択する。
ここで、良否判定のパターンとは、予め決められた順番に配列された商品識別情報に対応した良判定、及び否判定のデータパターンである。
そして、嗜好抽出部１５は、得られた嗜好情報をデータベース１６におけるユーザ登録テーブルに、ユーザ識別情報に対応して書き込んで記憶させる（ステップＳ１５）。

次に、組合せ抽出部１４は、上述の嗜好情報に対応する商品の組合せ情報を、データベース１６における組合せ情報テーブルから選択する。この組合せ情報テーブルには、例えば靴において嗜好情報を抽出した場合、その嗜好に対応する服、鞄、帽子などにて対応する組合せ情報が選択される。
そして、組合せ抽出部１４は、上記組合せ情報と一致する又は類似する、服、鞄、帽子などの商品画像データを抽出し（ステップＳ１６）、モデルに対して靴にあわせて、選択された服、鞄、帽子などを装着した装着画像データを、組合せが一つしか無い場合に単数、あるいは組合せが複数ある場合に複数の種類を、それぞれの組合せに対して組合せ識別情報を付加して、ユーザ端末２に対して送信する（ステップＳ１７）。

装着画像データを受信すると、ユーザ端末２は、この装着画像データを表示画面に表示する。これにより、ユーザはすでに検索あるいは購入した商品に対して、自身の嗜好に対応したファッションの組合せの情報を得ることができる。
ここで、ユーザが上述したように良否判定を行うことにより、ユーザ端末２は、組合せ識別情報毎に良否判定データを対応させて、判定結果情報として、自身のユーザ別識別情報を付加し、検索サーバ１に対して送信する。

そして、判定結果情報を入力すると、送受信部１７は、付加されているユーザ識別情報がユーザ登録テーブルに登録されているか否かを判定し、登録されていれば嗜好抽出部１５に対して上記判定結果情報を出力する。
嗜好抽出部１５は、入力される組合せ識別情報に対応する良否判定パターンにより、組合せ嗜好情報を生成する。この組合せ嗜好情報は、靴の形状、色、模様、テクスチャ、などに対応し、良判定を受けた他の服、鞄、帽子などの形状、色、模様、テクスチャの組合せからなり、ユーザが商品を購入する毎に、学習することとなり、組合せ嗜好情報の精度が向上する。
すなわち、次に、ユーザがこの組合せされた装着画像データにより、鞄を購入したとすると、鞄に対する嗜好情報が検索され、この嗜好情報に対応した靴、服、帽子などの組合せ嗜好情報が得られることとなるため、順次、各ユーザの嗜好が絞り込まれることとなる。

また、チャレンジ組合せ（ユーザにおいては普通選択しないような組合せ、或いは上述の嗜好情報とは異なる組合せ）として、嗜好情報から選択された組合せ情報に対し、ファッションコーディネータが対極にあるとする組合せ情報に対応する商品をいくつか商品テーブルからランダムに選択し、この選択された商品を、装着画像データの生成の際に組合せのいくつかに挿入するようにしてもよい。
これにより、ユーザの嗜好が多極化して、より購買希望が増加する可能性がある。

また、本実施形態における検索支援システムは、図６に示すように、ユーザ端末２を上述の抽出部１１と同じ抽出の機能を有する抽出部１１ａを有するように構成したユーザ端末２ａと、抽出部１１を除いた検索サーバ１ａを備えるようにしてもよい。この場合、抽出部１１ａは、ユーザ端末２ａが取得した入力画像データ、又はユーザ端末２ａに記憶されている入力画像データ、をもとに、その入力画像データの検索部分（例えば、商品部分）を抽出して、検索サーバ１ａに対して検索部分に相当する画像データのみを入力画像データとして送信すればよい。また、抽出部１１ａ以外については、上述の実施形態と同様であるため、説明を省略する。このように、ユーザは、送信する画像データとして入力画像データのうち検索部分に相当する画像データのみを検索サーバ１ａに送信すればよく、例えば、ユーザの顔部分や他の人の顔部分に相当する画像データを検索サーバ１ａに送信する必要がなくなる。

なお、本実施形態においては、本発明の検索支援システムを服や靴などの商品のみならず、上述の対象物に対しても適用できる。また、例えば、本発明の検索支援システムは、宿泊施設（ホテルや旅館など）やレストランなどにおいて提供されるサービスにも適用することができる。例えば、上述の宿泊施設においては、本発明の検索支援システムは、部屋の間取りの組合せ、窓の風景の組合せ、部屋又はその間取りと窓の風景との組合せ、などを選択する際などに適用することができる。また、例えば、上述のレストランなどにおいては、本発明の検索支援システムは、レストランのインテリアの組合せ、窓の風景の組合せ、音楽の組合せ、インテリアと窓の風景との組合せ、インテリアと音楽との組合せ、窓の風景と音楽との組合せ、などを選択する際などに適用することができる。

＜第２の実施形態＞
以下、本発明の一実施形態による商品検索支援システムを図面を参照して説明する。
従来、複数の異なる種類（カテゴリ）の商品を組み合わせる組合せ商品（例えば、服飾、組合せ家具、組合せ家電など）を購入する場合、実際に小売店に出向かない場合、いずれの組合せが適当かを店員から直接に聞くことはできない。
また、ユーザ自身の購入した商品あるいは購入する商品に対し、組み合わせた場合に良く合う商品を、上記仮想商店の膨大な商品群から選択する場合、組合せ商品のコーディネータに一々確認することができず、ユーザ自身では選択できないために購入を行えないことになる。

例えば、服飾において、ユーザが購入するジャケットに合うズボンあるいはやシャツを選びたいとしても、一流のファッションコーディネータに確認することができず、あり得ない組合せを選択してしまうことを心配し、合うズボンやシャツの購入を諦めることになる。
ここで服飾とは、人がその生まれたままの身体の上にまとう衣服、装身具(装飾品、鞄、靴、帽子など)のすべてを示す。

本実施形態は、このような課題も解決するものであり、組合せ商品の購入において、ユーザが購入するあるいは購入した商品に対し、組み合わせた場合に合う商品を商品群のなかから抽出して、抽出した商品をユーザに推奨し、ユーザの組合せ商品の購入を支援する。

図７は同実施形態による商品検索支援システムの構成例を示すブロック図である。本発明は、複数のカテゴリの販売商品アイテムからなる商品アイテム組合せにおけるいずれかのカテゴリの販売商品アイテムを購入する際、購入した販売商品アイテムと組合せが良いとされる商品アイテム組合せにおける残りのカテゴリの販売商品アイテムを推奨商品として提示することにより、ユーザが購入する販売商品アイテムと組み合わせが良いとされる販売商品アイテムを、多くの販売商品アイテムから容易に選択することができるように支援するシステムである。以下の説明においては、服飾における各商品（ブレザー、シャツ、ズボンなどのカテゴリの商品）全般を商品アイテムとし、仮想商店が実際に販売している商品アイテムを販売商品アイテムとし、後述する画像媒体において組み合わされている商品アイテムそれぞれを組合せ商品アイテムとして説明する。

この図において、商品検索支援システムは、商品検索支援装置１００と、１つあるいは複数のユーザ端末２００とから構成されている。商品検索支援装置１００は、制御部２１、類似アイテム検索部２２、組合せ検索部２３、商品検索部２４、送受信部２５、商品アイテムデータベース２６、商品アイテム画像データベース２７、組合せ情報データベース２８、組合せ商品画像情報データベース２９及び、組合せ商品画像データベース３０を有している。ユーザ端末２００は、例えば各ユーザの各家庭に設けられた、インターネットブラウザが備えられたパーソナルコンピュータである。商品検索支援装置１００と、ユーザ端末２００とはインターネットを含む情報通信網Ｉにて接続されている。

商品アイテムデータベース２６は、商品アイテムの種類毎に複数のテーブル構成の記憶領域を有している。
すなわち、商品アイテムデータベース２６は、図８に示すように、カテゴリ１としてシャツの商品アイテムの識別情報Ａ１～Ａｎ毎に、販売している販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
また、同様に、商品アイテムデータベース２６は、図９に示すように、カテゴリ２としてズボンの商品アイテムの識別情報Ｂ１～Ｂｎ毎に、対応する販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
また、同様に、商品アイテムデータベース２６は、図１０に示すように、カテゴリ３としてジャケットの商品アイテムの識別情報Ｃ１～Ｃｎ毎に、対応する販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
さらに、商品アイテムデータベース２６は、図示しないが、上述した各カテゴリ以外に、服飾の他のカテゴリとして靴、ブラウス、鞄などの複数のテーブルを各々記憶した記憶領域を有している。
また、商品アイテムデータベース２６の各テーブルには、属性情報の一つとして類似商品アイテムの欄が設けられており、販売商品アイテムと同一あるいは類似する組合せ商品画像情報データベース２９における商品アイテムが、図１１（カテゴリ１－シャツ）、図１２（カテゴリ２－ズボン）及び図１３（カテゴリ３－ジャケット）各々に示すように、各販売商品アイテムのそれぞれの類似した商品アイテムのグループとして対応づけられて記載されている。

ここで、属性情報としては、同一あるいは類似として対応付けられた組合せ商品アイテム（後述する組合せ商品画像情報データベース２９における商品アイテム）の識別情報と、販売商品アイテムの画像データから抽出した画像の特徴データと、販売商品アイテムの価格及びブランド等の販売情報と、などである。画像の特徴データの種類及び取得方法については後述する。
商品アイテム画像データベース２７は、商品アイテムデータベース２６に記憶されている各カテゴリの販売商品アイテム毎の画像データが、上記各販売商品アイテムの識別情報にそれぞれ対応して記憶されている。

組合せ情報データベース２８は、ファッション雑誌、ファッションカタログ及びインターネット上の画像媒体において、モデルなどが組み合わせて身につけている服飾の商品、すなわち組み合わせて装着している商品アイテムそれぞれを組合せ商品アイテムとし、組合せ商品アイテムと組合せた組合せ商品アイテムとそれぞれの対応関係の組合せを、ぞれぞれの識別番号を対応させて記憶している。例えば、ファッション雑誌において、モデルが識別情報ａ１－１のシャツと識別情報ｂ１－２のズボンと、識別情報ｃ１－７ジャケットをの各商品アイテムを装着していた場合、図１４の組合せ情報データベース２８における一行目に示すように、識別情報ａ１－１と識別情報ｂ１－２と識別情報ｃ１－７との組合せ商品アイテムが組として対応付けて記憶されることになる。
この組合せ情報は、ファッションデザイナーが組み合わとして制作した商品アイテムの組合せや、ファッションコーディネータがファッションデザイナーの制作した商品アイテムの組み合わせが、組合せ商品アイテムの組合せとされている。このため、それぞれの組合せ商品アイテムが洗練された組合せとなっており、この組合せであれば、装着した際に、そのファッションを見た人が違和感を感じずに自然に受け入れられる可能性が高い。

組合せ商品画像情報データベース２９は、ファッション雑誌、ファッションカタログ、インターネット上のデザイナーズコレクション情報などの画像媒体（雑誌の写真やイラストなどの画像を提示している資料または装置）から取得した服飾における組合せ商品アイテムをカテゴリ別に蓄積したものである。ここで、組合せ商品画像情報データベース２９は、例えば、図１５、図１６及び図１７に示すテーブル構成により構成されている。
図１５はカテゴリ１としてシャツを組合せ商品アイテムとして蓄積したものであり、図１６はカテゴリ２としてズボンを組合せ商品アイテムとして蓄積したものであり、図１７はカテゴリ３としてジャケットを組合せ商品アイテムとして蓄積したものである。組合せ商品画像情報データベース２９には、組合せ商品アイテムに識別情報が付与され、識別情報毎に、対応する組合せ商品アイテムの属性情報が記憶されている。この属性情報は、例えば、類似した販売商品アイテムの識別情報と、組合せ商品アイテムの画像データから抽出した画像の特徴データと、組合せ商品アイテムの価格及びブランド等の販売情報と、などである。特徴データの種類及び取得方法については後述する。
また、組合せ商品画像情報データベース２９の各テーブルには、属性情報の一つとして類似商品アイテムの欄が設けられており、組合せ商品アイテムと同一あるいは類似する商品アイテムデータベース２６における商品アイテムが、図１５（カテゴリ１－シャツ）、図１６（カテゴリ２－ズボン）及び図１７（カテゴリ３－ジャケット）に示すように、対応付けられて記載されている。

上記組合せ商品画像情報データベース２９には、図１５のテーブルにおいて、識別情報ａ１－１～ａ１－ｋが販売商品アイテムＡ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ａ２－１～ａ２－ｋが販売商品アイテムＡ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ａｎ－１～ａｎ－ｍが販売商品アイテムＡｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
同様に、組合せ商品画像情報データベース２９には、図１６のテーブルにおいて、識別情報ｂ１－１～ｂ１－ｍが販売商品アイテムＢ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ｂ２－１～ｂ２－ｒが販売商品アイテムＢ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ｂｎ－１～ｂｎ－ｍまでが販売商品アイテムＢｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
同様に、組合せ商品画像情報データベース２９には、図１７のテーブルにおいて、識別情報ｃ１－１～ｃ１－ｑが販売商品アイテムＣ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ｃ２－１～ｃ２－ｋが販売商品アイテムＢ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ｃｎ－１～ｃｎ－ｍまでが販売商品アイテムＣｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
組合せ商品画像データベース３０は、組合せ商品画像情報データベース２９に記憶されている各カテゴリの組合せ商品アイテム毎の画像データが、上記各組合せ商品アイテムの識別情報にそれぞれ対応して記憶されている。

また、上述した商品アイテムデータベース２６、商品アイテム画像データベース２７、組合せ情報データベース２８、組合せ商品画像情報データベース２９及び組合せ商品画像データベース３０は、性別、年代別、ファッションの傾向（例えば、男性であればカジュアル、コンサバ、お兄系、大人系、ストリート系、裏原（原宿）系、モード系、一方、女性であれば、ギャル系、お姉系、コンサバ系、ティーン系、セレブ系など）などにより分類しても良い。
このように分類した場合、コーディネートの処理を行う前に、性別、年代（１０代、２０代、３０代、…など）、ファッションの傾向等を分類の情報として、ユーザから取得する必要がある。

制御部２１は、自身が管理する仮想商店がユーザ端末２００からアクセスされることにより起動し、性別、年代及びファッションの傾向などの分類の情報を取得したり、後述する組合せアイテムを表示及び選択操作を行う処理プログラム（ユーザ端末のブラウザ等により動作する）をユーザ端末２００に対して送信する。ここで、制御部２１とユーザ端末２００とは、情報通信網Ｉと送受信部２５を介して各データの送受信を行う。ユーザ端末２００は、上記処理プログラムを内部のブラウザにて起動し、画像表示あるいは販売商品アイテムまたは組合せ商品アイテムを選択する処理における商品検索支援装置１００とのデータの送受信を行う。
また、制御部２１は、上記画面データに対する回答データをユーザ端末２００から受信すると、この性別、年代及びファッションの傾向に対応する複数の商品アイテムデータベース２６から、いずれか一つの商品アイテムのテーブルを選択するとともに、組合せ商品アイテムのカテゴリを示すカテゴリ情報、例えばシャツ、ズボン、ジャケット、靴などの文字情報、あるいは画像情報を、送受信部２５及び情報通信網Ｉを介してユーザ端末２００へ送信する。

また、制御部２１は、ユーザ端末２００から送信される、ユーザが選択したカテゴリの種類、例えばシャツを示すカテゴリ情報を受信すると、商品アイテムデータベース２６としてのシャツ（カテゴリ１）をカテゴリとした図８に示すテーブルを選択し、このテーブルにおける商品アイテムの識別情報Ａ１～Ａｎを読み込み、識別番号Ａ１～Ａｎまでの商品アイテムの画像データを商品アイテム画像データベース２７から読み出し、サムネイル画像の画像データに変換し（画像データのビット数を低減させ）、それぞれに対応する販売商品アイテムの識別番号を付加してユーザ端末２００へ送信する。
また、制御部２１は、ユーザがサムネイル画像から購入を選択した販売商品アイテムの識別番号が入力されると、注文に対する受注処理を行うとともに、入力される識別番号を類似アイテム検索部２２へ送信する。ここで、受注処理は、ユーザ端末２００に対し、属性情報に記載された価格に対応した料金請求と、受注した販売商品アイテムの在庫確認と、ユーザが入力する住所への販売商品アイテムの配送手続きなどである。

類似アイテム検索部２２は、入力される販売商品アイテムの識別番号と一致する識別番号が類似商品アイテムの欄に記載された複数の組合せ商品アイテムを、組合せ商品画像情報データベース２９のテーブル（カテゴリ１）から検索し、上記販売商品アイテムと同一あるいは類似した組合せ商品アイテムを類似商品アイテムとして抽出し、組合せ検索部２３へ出力する。
組合せ検索部２３は、類似アイテム検索部２２から入力される識別番号の類似商品アイテムそれぞれに対応する、異なるカテゴリ、例えばズボン（カテゴリ２）の商品アイテムを、組合せ情報データベース２８から検索して、対応する組合せ商品アイテムを抽出し、第２の組合せ商品アイテムとしてその組合せの識別情報を制御部２１へ出力する。
また、制御部２１は、組合せ検索部２３から入力される類似商品アイテムの識別情報と、第２の組合せ商品アイテムの識別情報との複数の組合せの識別情報に対応する画像データを、それぞれの識別情報に対応して組合せ商品画像データベース３０から読み出し、ユーザ端末２００へ送信し、ユーザが選択した組合せにおける組合せ商品アイテムの識別情報を入力すると、受信した識別情報を商品検索部２４へ出力する。

商品検索部２４は、入力される第２の組合せ商品アイテムの識別情報に対応する、実際に販売している販売商品アイテムを商品アイテムデータベース２６から検索し、ユーザが購入した販売商品アイテムと組み合わせる異なるカテゴリの推奨販売商品アイテムとし、この推奨販売商品アイテムの画像データを、識別情報により商品アイテム画像データベース２７から読み出し、ユーザ端末２００へ送信する。
また、商品検索部２４は、推奨商品とされた販売商品アイテムの金額が、ユーザが購入した販売商品アイテムの金額とを比較し、設定した範囲（例えば、購入した組合せ商品の金額の０．５～２倍以内）であるか否かを判定し、購入金額以下であればユーザ端末２００へ送信し、範囲外であれば推奨商品を送信しないようにしても良い。

次に、図７及び図１８を参照して本実施形態による商品検索支援システムの動作を説明する。図１８は、図７における商品検索支援システムの動作例を示すフローチャートである。以下、ユーザが入力する商品を商品アイテムとし、仮想商店にて実際に販売している商品を販売商品アイテム（商品アイテムデータベース２６）、商品の組合せを選択する際に用いる画像媒体から抽出した商品を組合せ商品アイテム（組合せ商品画像情報データベース２９）として説明する。
ユーザの操作によりユーザ端末２００が、情報通信網Ｉを介して商品検索支援装置１００が管理する仮想商店をアクセスすると、制御部２１は、性別、年代及びファッションの傾向を取得するための情報と、後述する組合せアイテムを表示したり、また表示された画像の選択操作を行う処理プログラムとをユーザ端末２００に対して送信する。ユーザ端末２００内において、インターネットブラウザ内に上記処理プログラムにより、画像表示処理部と選択処理部とを備え、商品検索支援装置１００から送信する画像データを表示したり、画像データの編集処理、画像データの選択処理を行う。

そして、制御部２１は、上記画面データに入力された性別、年代及びファッションの傾向に対する回答データ（例えば、画面に表示されたそれぞれの複数の選択肢から選択したデータ）をユーザ端末２００から受信すると、この性別、年代及びファッションの傾向に対応する商品アイテムデータベース２６の複数のテーブルから対応するテーブルを選択するとともに、販売商品アイテムのカテゴリを示すカテゴリ情報、例えばシャツ、ズボン、ジャケット、靴などの文字情報、あるいは画像情報を、送受信部２５及び情報通信網Ｉを介してユーザ端末２００へ送信する。
文字情報あるいは画像情報が入力されると、ユーザ端末２００は、上記処理プログラムに従い、表示部に文字情報あるいは画像情報によるカテゴリ（例えば、シャツ、ズボン、ジャケットなど）を表示し、いずれを購入するかをユーザに対して選択を促す表示（たとえば、「選択してください」など）を行う。
ユーザがいずれかのカテゴリを選択すると、ユーザ端末２００は、ユーザが選択したカテゴリを示すカテゴリ情報を、例えばシャツを示すカテゴリ情報を商品検索支援装置１００へ送信する（ステップＦ１）。

すなわち、ユーザの購入したい商品アイテムのカテゴリ情報を受信すると、制御部２１は、図８から図１０に示す商品アイテムデータベース２６のテーブルから、シャツをカテゴリ（カテゴリ１）とした図８に示すテーブルを選択し、このテーブルにおける販売商品アイテムの識別情報Ａ１～Ａｎの全てを読み込み、識別番号Ａ１～Ａｎまでの販売商品アイテムの画像データを商品アイテム画像データベース２７から読み出し、サムネイル画像の画像データとして、サムネイル画像それぞれに対応する販売商品アイテムの識別番号を付加してユーザ端末２００へ送信する。
サムネイル画像の画像データが入力されると、ユーザ端末２００は、識別番号Ａ１～Ａｎの販売商品アイテムのサムネイル画像を表示部に表示する（ステップＦ２）。
そして、ユーザ端末２００は、表示されているサムネイル画像のいずれかをユーザが選択すると、選択したサムネイル画像の識別情報を商品検索支援装置１００へ送信する。

選択されたサムネイル画像の識別情報を受信すると、制御部２１は、ユーザがサムネイル画像から、購入対象として選択した販売商品アイテムとして、この識別番号の販売商品アイテム、すなわちシャツへの注文に対する受注処理を行うとともに、入力される識別番号を類似アイテム検索部２２へ送信する。
そして、類似アイテム検索部２２は、例えば、ユーザの購入した販売商品アイテムの識別番号Ａ１が入力されると、この識別番号Ａ１に一致あるいは類似した単数あるいは複数の組合せ商品アイテムからなる候補群として、図１５から図１７に示す組合せ商品画像情報データベース２９のテーブルから抽出する（ステップＦ３）。
ここで、類似アイテム検索部２２は、例えば組合せ商品画像情報データベース２９から、販売商品アイテムの識別番号Ａ１が入力されると、属性データにおける類似商品アイテムの欄に識別番号Ａ１が記載されている上記識別番号ａ１－１～ａ１－ｑの組合せ商品アイテムを、類似している組合せ商品アイテムの候補群として抽出し、組合せ検索部２３へ出力する。

組合せ検索部２３は、類似アイテム検索部２２から入力される上記候補群における識別番号の組合せ商品アイテムそれぞれに対応する、異なるカテゴリ、例えばズボンの組合せ商品アイテムを、図１４に示す組合せ情報データベース２８から検索して、対応するズボンの組合せ商品アイテム（例えば、図１４に示すａ１－１、ａ１－２、ａ１－３、…に対応するｂ１－２、ｂ２－３、ｂ１－４、…）を抽出し、第２の組合せ商品アイテムとして、その組合せにおけるそれぞれの識別情報を制御部２１へ出力する（ステップＦ４）。ここで、ユーザが購買した販売商品アイテムと組み合わせる販売商品アイテムとして推奨するカテゴリは、購買した商品に対応して予め設定しておいても良いが、最初に複数のカテゴリからユーザに選択させるようにしても良い。
そして、制御部２１は、組合せ検索部２３から入力される組合せ商品アイテムの識別情報と、第２の組合せ商品アイテムの識別情報との複数（候補群に対応する組合せ商品アイテムの数）の組合せの識別情報にそれぞれ対応する画像データを、それぞれの識別情報に対応して組合せ商品画像データベース３０から読み出し、それぞれの組合せ商品アイテムの画像データに各々の識別情報を付加してユーザ端末２００へ送信する。

組合せ商品アイテムの識別情報（シャツに対応）と、第２の組合せ商品アイテム（ズボンに対応）の識別情報との複数の組合せの識別情報と、それに対応した画像データとが入力されると、ユーザ端末２００は、それぞれの組合せの画像データを表示部に表示する（ステップＦ５）。
また、表示画面の端部に、ＣＧ（Computer Graphics）で作成された体型別毎に対応した３次元の人間の画像が複数表示されており、いずれかを選択することにより、ユーザ端末２００は、組合せ商品アイテムのシャツ及びズボンを上記人間の画像に対して重ね合わせて表示する。また、ユーザ端末２００は、ユーザが搭載されたウェブカメラによりユーザ自身の顔を撮像し、ユーザが選択した顔の領域を上記ＣＧの人間の画像の顔の部分に重ねて表示する画像処理を行うようにしても良い。

次に、ユーザが表示部に表示されている複数の組合せからいずれかを選択すると（ステップＦ６）、例えば識別情報ａ１－１と識別情報ｂ１－２との組合せを選択すると、ユーザ端末２００は、ユーザが選択した組合せにおける第２の組合せ商品アイテム（ズボンに対応）の識別情報ｂ１－２を、商品検索支援装置１００へ送信する。
制御部２１を介して上記第２の組合せ商品アイテムの識別情報ｂ１－２を入力すると、商品検索部２４は、商品アイテムデータベース２６のズボンのカテゴリに対応する図９に示すテーブルを検索し（ステップＦ７）、この識別情報ｂ１－２に対応する識別情報Ｂ１である販売商品アイテムを抽出する（ステップＦ８）。
そして、制御部２１は、商品検索部２４が抽出した組合せ販売商品アイテムの識別情報Ｂ１に対応する画像データを、商品アイテム画像データベース２７から検索して読み出す。
また、制御部２１は、ユーザが購入した識別情報Ａ１に対応する画像データを、商品アイテム画像データベース２７から検索して読み出し、識別情報Ｂ１の販売商品アイテムの画像データとともに、ユーザ端末２００へ送信する。

販売商品アイテムの画像データが入力されると、ユーザ端末２００は、表示部に組合せの画像データを表示部に表示する（ステップＦ９）。
このとき、上述したステップＦ５と同様に、表示画面の端部に、ＣＧで作成された体型別毎に対応した３次元の人間の画像が複数表示されており、いずれかを選択することにより、ユーザ端末２００は、販売商品アイテムのシャツ（識別情報Ａ１）及びズボン（識別情報Ｂ１）を上記人間の画像に対して重ね合わせて表示する。また、ユーザ端末２００は、搭載されたウェブカメラによりユーザの顔を撮像し、ユーザが選択した顔の領域を上記人間の画像の顔の部分に重ねて表示するようにしても良い。
そして、ユーザ端末２００は、ユーザが識別情報Ｂ１である販売商品アイテムの推奨商品を購入するあるいは購入しないを表示画面の選択肢から選択する（ステップＦ１０）と、購入するあるいは購入しないを示す情報とともに、識別情報Ａ１及び識別情報Ｂ１を、商品検索支援装置１００へ送信する。
購入するあるいは購入しないを示す情報とともに、識別情報Ａ１及び識別情報Ｂ１が入力されると、制御部２１は、購入する場合、識別情報Ａ１の販売商品アイテムの場合と同様に受注処理を行う。

また、商品検索支援装置１００に、図７において破線で示す履歴データベース３１を設けるようにしても良い。
履歴データベース３１は、図１９に示すテーブル構成をしたユーザテーブルと、各ユーザ毎の図２０に示すテーブル構成の購入履歴テーブルから構成されている。
図１９のユーザテーブルは、会員登録をしたユーザあるいは販売商品アイテムを購入したユーザに対し、各ユーザに付与した、各ユーザを識別するユーザ識別情報と、このユーザ識別番号に対応して、少なくともユーザの氏名及びユーザのユーザメールアドレスとが対応付けられて構成されている。
また、図２０の購入履歴テーブルは、各ユーザ毎に設けられ、上記ユーザ識別情報により識別され、仮想商店をアクセスしたアクセス日時に対応し、アクセス日時に購入した販売商品アイテムの識別情報と、検索したが購入しなかった販売商品アイテムの識別情報と、購入した販売商品アイテムに対して推奨したが購入しなかった組合せ商品アイテムの識別情報とを履歴として記憶している。購入した販売商品アイテムがなければ「－」が記憶される。

制御部２１は、例えば、ユーザがユーザ端末２００から仮想商店にアクセスし、会員登録のページにおいて氏名及びメールアドレスを入力して会員登録を行うと、識別情報を付与してユーザテーブルに追加登録する。
そして、制御部２１は、ユーザ選択したカテゴリにおいて販売商品アイテムを検索し、その販売商品アイテムを購入した場合、購入した販売商品アイテムを購入した商品アイテムの識別情報の領域に記憶し、一方、検索したが購入しなかった場合、検索した販売商品アイテムの識別情報を検索したが購入しなかった商品アイテムの識別情報の領域に記憶する。
また、制御部２１は、上記購入した販売商品アイテムと組み合せる推奨商品としての販売商品アイテムをユーザ購入すると、上記購入履歴テーブルにおいて、購入した販売商品アイテムを、購入した商品アイテムの識別情報の領域に記憶し、一方、上記推奨商品としての販売商品アイテムを購入しなかった場合、推奨したが購入しなかった商品アイテムの識別情報の領域に記憶する。

そして、制御部２１は、再度、ユーザが仮想商店をアクセスし、販売商品アイテムを検索した場合、ユーザの入力するユーザ識別情報により、このユーザの購入履歴テーブルを購入履歴データベース３１から選択し、この販売商品アイテムの識別情報により、選択した購入履歴テーブルを検索する。
このとき、制御部２１は、ユーザが検索している販売商品アイテムの識別情報が、購入した商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを購入した日時を付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、すでに購入した組合せ商品化アイテムを通知する。

また、制御部２１は、検索している販売商品アイテムの識別情報が、検索したが購入しなかった商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを検索した日時を付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、「前にも検索した商品アイテムであり、お気に入りのタイプではないですか」などの購入意欲を刺激する情報を通知する。
また、制御部２１は、検索している販売商品アイテムの識別情報が、推奨したが購入しなかった商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを推奨した日時と、その際に購入した販売商品アイテムの画像データを付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、「前にお買いになった商品アイテムと組み合わせると良い商品アイテムですよ」などの購入意欲を刺激する情報を通知する。

次に、特徴データについて説明する。図８から図１０及び図１５から図１７に記載されているように、特徴データは例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の色空間毎に、服飾の生地の柄を２次元フーリエ変換したものである。制御部２１は、この特徴データの要素データＲＤ、ＧＤ及びＢＤを２次元フーリエ変換により生成する。このとき、販売商品アイテムあるいは組合せ商品アイテムがシャツやジャケットであれば服の横幅あるいは肩幅を、２次元フーリエ変換する際の長さの基準値として、各販売商品アイテム及び組合せ商品アイテム間の処理におけるデータの整合をとるようにする。
また、ズボンであれば、ウェスト部分の横幅を２次元フーリエ変換する際の長さの基準値として、各販売及び組合せ商品アイテム間の処理におけるデータの整合をとるようにする。
すなわち、特徴データにより、類似性を確認するため、柄の大きさなどを性格に判定するため、装飾品のいずれかの位置の寸法を基準値として、全体の各部の寸法を規格化し、同一カテゴリ内における組合せ商品の２次元フーリエ変換結果の整合がとれるようにする必要がある。２次元フーリエ変換を行う画像データを撮像する際、シャツ、ジャケット及びズボンなどは平らな床におき、平坦にした後にデジタルカメラなどにより撮像する。
また、特徴データの要素データとしての形状とは、例えば、シャツやジャケットであれば肩幅に対する袖の長さの比、ズボンであれば、渡り巾と裾巾の比である。
次に、テクスチャであるが、一番大きな面積を有している生地部分を拡大し、生地の形状の２次元フーリエ変換を行う。この際は、拡大率を一定として、異なる組合せアイテム間の画像データから得られる２次元フーリエ変換のデータの整合性をとる。

上述したように、仮想商店の店員は、制御部２１により、販売している販売商品アイテムの画像データから特徴データを収集、またファッションカタログ、あるいはインターネットなどの画像媒体から収集した組合せ商品アイテムの画像データから属性データを収集する。
そして、類似性を有する組合せ商品アイテムを、実際に販売している販売商品アイテムの特徴データを塊の重心データとして、画像媒体から収集した組合せ商品アイテムのクラスタリングを行う。ここで、制御部２１は、例えば、店員の入力する画像媒体から収集した組合せ商品アイテムそれぞれの画像データの特徴データからなる比較特徴ベクトルと、実際に販売している販売商品アイテムそれぞれの画像データの特徴データからなる基準特徴ベクトルの距離を求め、各販売商品アイテムとそれぞれ他の組合せ商品アイテムの基準特徴ベクトルより距離が近い特徴ベクトルを有する組合せ商品アイテムを、近いとされた販売商品アイテムと類似性のある塊とする処理を行い、図１５、図１６及び図１７のテーブルにおける組合せ商品アイテムと類似商品アイテムの欄の販売商品アイテムとの対応関係を生成する。同様に、図８、図９及び図１０のテーブルにおける販売商品アイテムと類似商品アイテムの欄の組合せ商品アイテムとの対応関係を生成する。すなわち、図８、図９及び図１０におけるテーブルの類似商品アイテムの欄に記載されている識別情報は、対応する識別情報の販売されている販売商品アイテムに対し、他の販売されている販売商品アイテムに比較して距離が短い、すなわち類似性を有する組合せ商品アイテムの識別情報である。
ここで、制御部２１は、例えば、図８、図９、図１０それぞれの図における類似商品アイテムの欄に、距離が短い順番に、すなわち類似性の高い順番に並べて記憶させるようにしても良い。これにより、販売商品アイテムに最も類似している組合せ商品アイテムを選択する場合、類似アイテム検索部２２は、画像媒体から収集した組合せ商品アイテムから、最も類似する組合せ商品アイテム、あるいは類似度が高い方からｈ番目（ｈは予め設定されている）までを、図１５から図１７より容易に抽出することが可能となる。

また、上述したように、販売商品アイテム各々の基準特徴ベクトルと、近い距離にある比較特徴ベクトルを有する画像媒体から収集した組合せ商品アイテムの特徴データと、を比較してクラスタリングを予め行って、類似商品アイテムの識別情報を記載する欄を設けるのではなく、類似する組合せ商品アイテムを検索する際に、その都度、類似度を計算するようにしても良い。
例えば、ステップＦ３における販売商品アイテムに類似する画像媒体から取得した組合せ商品アイテムの検索において、類似アイテム検索部２２が、上述した基準特徴ベクトルと比較特徴ベクトルとの距離により類似度（距離が短いほど類似度は高い）を算出し、販売商品アイテムと類似性を有する画像媒体から収集した組合せ商品アイテムを抽出する構成としても良い。
このとき、同様に、ステップＦ７における画像媒体から取得した組合せ商品アイテムに類似する販売商品アイテムの検索において、商品検索部２４が、上述した基準特徴ベクトルと比較特徴ベクトルとの距離により類似度を算出し、画像媒体から収集した組合せ商品アイテムと類似性を有する販売商品アイテムを抽出する構成としても良い。
さらに、類似アイテム検索部２２及び商品検索部２４は、販売商品アイテムと、画像媒体から収集した組合せ商品アイテムと距離を算出し、最も類似度の高いもの、あるいは類似度の高い方からｈ番目のものまでを抽出するようにしてもよい。
以上のように、本実施形態によれば、組合せ商品の購入において、ユーザが購入するあるいは購入した商品に対し、組み合わせた場合に合う商品を、販売されている商品群のなかから抽出し、抽出した商品をユーザに推奨するため、インターネットの仮想商店にある多くの商品から合う商品を選択する際に、合うか合わないかを自身で悩む必要がなく、容易に組合せ商品を選択することができる。

＜第３の実施形態＞
第２の実施形態においては、商品検索支援装置１００がサムネイル画像により販売商品アイテムを、ユーザ端末２００へ送信し、ユーザにユーザ端末２００の画面上にて選択させていた。
第３の実施形態においては、ユーザが仮想商店にアクセスした後、画像媒体からスキャナーなどで読み込んだ、あるいはインターネットでダウンロードした購入したい服飾の画像データを、ユーザ端末２００に商品アイテムの画像データとして入力し、ユーザ端末２００がこの画像データを商品検索支援装置１００へ送信し、商品検索支援装置１００がこの画像データの組合せ商品アイテムに類似する販売商品アイテムを抽出するようにしても良い。販売商品アイテムを抽出した後の動作は、第２の実施形態においてユーザがサムネイル画像から販売商品アイテムを選択した後の動作と同様である。

第３の実施形態による商品検索支援装置１００の構成は、第２の実施形態と同様である。以下、第２の実施形態と異なる動作のみ説明する。
ユーザがユーザ端末２００により仮想商店にアクセスすると、商品検索支援装置１００が起動し、制御部２１は、ユーザ端末２００にサムネイル画像から販売商品アイテムを選択するか、あるいはユーザが入力する服飾の画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出するかの質問を行う入力画面（選択肢をマウスなどによりクリックして検索する）の画像情報を、ユーザ端末２００に送信する。
そして、ユーザがサムネイル画像から購入する商品を選択することを決定することにより、ユーザ端末２００からサムネイル画像により選択を示す応答信号が入力されると、制御部２１は第２の実施形態と同様に、それぞれの画像データに販売商品アイテムの識別情報を付加し、複数の販売商品アイテムのサムネイル画像をユーザ端末２００へ送信する。
この後の、ユーザがサムネイル画像からいずれかを選択した後は、第２の実施形態と同様の処理となる。

一方、ユーザが自身の入力する画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出することを選択すると、ユーザ端末２００は、ユーザの入力する画像データにより選択することを示す応答信号が商品検索支援装置１００に対して送信される。これにより、制御部２１は、画像データを入力する入力画面の情報を、ユーザ端末２００へ送信する。
ユーザは、購入したい服飾の画像データ（ファッション雑誌、あるいはファッションカタログ等の紙の画像媒体）をスキャナによりユーザ端末２００に読み込ませるか、あるいはデジタルカメラにて撮像してその撮像した画像データ、またインターネットにより得られた画像データをユーザ端末２００に読み込ませる。
画像データを読み込むと、ユーザ端末２００における入力画面の画像データ表示領域にこの画像データが図２１に示すように表示され、ユーザは画像データの購入したい服飾部分、例えば、抽出したいシャツ部分を破線Ｈ１により選択し、抽出したいシャツ部分以（当該シャツの外周部近傍の部分）を破線２で選択し、カテゴリ名をコンボボックスにより選択し、表示画面における送信ボタンをユーザがクリックすることにより、ユーザ端末２００は、画像データを送信処理する処理が要求されたことを検出し、破線Ｈ１及び破線Ｈ２が引かれた服飾の画像データと、引かれていない服飾の画像データと、選択した服飾のカテゴリ名を示すカテゴリ情報とを、商品検索支援装置１００へ送信する。

そして、破線Ｈ１及び破線Ｈ２が引かれた服飾の画像データと、破線の引かれていない服飾の画像データとを受信すると、制御部２１は、上記服飾の画像データに対し、Graph-Cut法によりシャツ部分とそれ以外の部分とのセグメンテーションする処理を行い、シャツ部分を抽出する。
すなわち、制御部２１は、シャツ部分に引かれた破線Ｈ１にかかる画素と同様な画素値を有する領域と、シャツ部分以外に引かれた破線Ｈ２にかかる画素と同様な画素値を有する領域との境界を、階調度による誤差関数の誤差が最小となる位置として求めることにより、セグメンテーションを行う。
ここで、制御部２１は、シャツの部分を抽出すると、すでに述べたように２次元フーリエ変換を行うとともに、特徴データにおける要素としての形状データを抽出し、検出対象特徴データとして出力する。

そして、制御部２１は、抽出された服飾のカテゴリに対応したテーブルを、例えば本実施形態においてはシャツのテーブルを商品アイテムデータベース２６から選択する。
シャツのテーブルを選択した後、制御部２１は、テーブルの各販売商品アイテムの特徴データからなる基準特徴ベクトルと、上記検出対象特徴データからなる対象特徴ベクトルとの距離を算出し、検出対象特徴データと類似した特徴データを有する販売商品アイテムを、上記シャツのテーブルから、類似した上位ｈ番目まで、例えば上位５番目までの販売商品アイテムを抽出する。ここで、制御部２１は、特徴データにおいて、ユーザから送信された画像データからテクスチャを抽出することが困難であるため、特徴データから特徴ベクトルを生成する際、ベクトルの要素からテクスチャを除いて、比較する両者の特徴ベクトルの距離を算出する。
次に、制御部２１は、この上位５品の識別情報により、それぞれの販売商品アイテムの画像データを、商品アイテム画像データベース２７から読み出し、サムネイル画像として、それぞれ識別情報に対応させて、ユーザ端末２００へ送信する。これ以降の処理は、第２の実施形態における図１８のフローチャートにおけるステップＦ２にて、サムネイル画像を送信した以降の処理と同様である。

＜第４の実施形態＞
第３の実施形態においては、ユーザが入力する商品アイテムの画像データと同一あるいは同様な販売商品アイテムを、販売している販売商品アイテムを記憶している商品アイテムデータベース２６から検索し、検索された販売商品アイテムをユーザに提示するとともに、検索された販売商品アイテムと組み合わせる他のカテゴリの販売商品アイテムを推奨する処理を行っている。
第４の実施形態においては、すでにユーザが有している服飾と組み合わせる販売商品アイテムを検索する動作を行う。

ユーザは自身の有している服飾、例えばシャツをデジタルカメラにより撮像し、ユーザ端末２００により上記シャツの画像データをデジタルカメラより読み込ませる。
そして、ユーザがユーザ端末２００により仮想商店にアクセスすると、商品検索支援装置１００が起動し、制御部２１は、ユーザ端末２００にサムネイル画像から販売商品アイテムを選択するか、あるいはユーザが入力する服飾の画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出するか、あるいはユーザが入力する画像データの服飾に対し組み合わせる販売商品アイテムを推奨するかの質問を行う入力画面（選択肢をマウスなどによりクリックして検索する）の画像情報を、ユーザ端末２００に送信する。

そして、ユーザがサムネイル画像から購入する商品を選択することを決定することにより、ユーザ端末２００からサムネイル画像により選択を示す応答信号が入力されると、制御部２１は第２の実施形態と同様に、それぞれの画像データに販売商品アイテムの識別情報を付加し、複数の販売商品アイテムのサムネイル画像をユーザ端末２００へ送信する。
この後の、ユーザがサムネイル画像からいずれかを選択した後は、第２の実施形態と同様の処理となる。
一方、ユーザが自身の入力する画像データにより、販売商品アイテムを商品アイテムデータベース２６から抽出することを選択すると、ユーザ端末２００は、ユーザの入力する画像データにより選択することを示す応答信号が商品検索支援装置１００に対して送信される。これ以降の処理は、第３の実施形態と同様の処理となる。

また、ユーザが自身の入力する画像データの服飾と組み合わせる他のカテゴリの販売商品アイテムを推奨することを選択すると、ユーザ端末２００は、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを選択したことを示す応答信号が商品検索支援装置１００に対して送信される。
以下、これ以降の第４の実施形態による、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨する処理を説明する。第４の実施形態による商品検索支援装置１００の構成は、第２の実施形態と同様である。以下、第１及び第３の実施形態と異なる動作のみ説明する。

上述したように、ユーザが自身の入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを選択すると、ユーザ端末２００は、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを示す応答信号を、商品検索支援装置１００に対して送信する。これにより、制御部２１は、画像データを入力する入力画面の情報を、ユーザ端末２００へ送信する。
ユーザは、組合せる販売商品アイテムを推奨してほしい自身の有する服飾（例えばシャツ）の画像データをデジタルカメラ等の撮像装置にて撮像し、この撮像装置から上記服飾を撮像した画像データをユーザ端末２００に読み込ませる。

ユーザ端末２００が読み込んだ画像データが表示すると、ユーザは、上記画像データ表示領域近傍にあるカテゴリ入力欄に、画像データ表示領域に表示されている画像データの服飾のカテゴリを、コンボボックスから選択して入力する。
そして、ユーザが入力画面における送信ボタンを、マウスなどのポインティングデバイスにより選択すると、ユーザ端末２００は、画像データを送信処理する処理が要求されたことを検出し、画像データ表示領域に表示している画像データを、上記カテゴリを示すカテゴリ情報とともに商品検索支援装置１００へ送信する。
画像データが入力されると、制御部２１は、画像データの服飾、例えばシャツの画像データに対して２次元フーリエ変換を行うとともに、特徴データにおける要素としての形状データを抽出し、検出対象特徴データとして、カテゴリ情報とともに類似アイテム検索部２２へ出力する。

そして、類似アイテム検索部２２は、抽出された服飾のカテゴリに対応したテーブルを、例えばシャツのテーブルを組合せ商品画像情報データベース２９から選択する。
シャツのテーブルを選択した後、類似アイテム検索部２２は、テーブルの各組合せ商品アイテムの特徴データからなる基準特徴ベクトルと、上記検出対象特徴データからなり対象特徴ベクトルとの距離を算出し、検出対象特徴データと類似した特徴データを有する組合せ商品アイテムを、上記シャツのテーブルから、類似した上位ｈ番目まで、例えば上位５番目までの組合せ商品アイテムを抽出する。ここで、制御部２１は、特徴データにおいて、ユーザから送信された画像データからテクスチャを抽出することが困難であるため、特徴データから特徴ベクトルを生成する際、ベクトルの要素からテクスチャを除いて、基準特徴ベクトル及び検出対象特徴ベクトルを生成する。

そして、類似アイテム検索部２２は、検出された類似度が上位５番目までの組合せ商品アイテム、例えばシャツの５個の識別情報を組合せ検索部２３へ出力する。
組合せ商品アイテムの識別情報が入力されると、組合せ検索部２３は、組合せ情報データベース２８において、入力された組合せ商品アイテムの５個の識別情報各々と対応して記憶されている他のカテゴリ、例えばズボンの組合せアイテムの識別情報を読み出す。
次に、組合せ検索部２３は、シャツとズボンとの５個の組合せにおけるそれぞれの識別情報の組合せを、制御部２１に対して送信する。この後の処理は、図１８のフローチャートにおけるステップＦ５以降の処理と同様である。

＜第５の実施形態＞
組合せ商品画像情報データベース２９には、過去の、例えば、１０年前、あるいは２０年前などのように古いファッション雑誌あるいはファッションカタログ等から収集した、古い服飾の画像データの属性データを識別情報に対応させて記憶させておいても良い。
また、組合せ商品画像データベース３０には、古い服飾の画像データが上記識別信号に対応して記憶されている。
そして、過去のファッション雑誌あるいはファッションカタログ等にある組合せ商品アイテムの組合せに対応して、図１４に示す異なるカテゴリ間の組合せ商品アイテムの組合せのテーブルを、組合せ情報データベース２８に作成する。
上述したように、組合せ商品画像情報データベース、組合せ商品画像データベース３０及び組合せ情報データベース２８を構成することにより、過去のデザインに似た新しい販売商品アイテムが販売された際、過去のデザインにおける組合せを利用して、現在において販売している販売商品アイテムから、過去のデザインに似た新しい組合せ商品アイテムに組み合わせる販売商品アイテムを容易に抽出することが可能となる。
本実施形態においては、商品アイテムとして服飾を例として説明したが、複数の異なる種類（カテゴリ）の商品を組み合わせる組合せ商品、例えば、組合せ家具、組合せ家電などの商品全般に、容易に適用することができる。

なお、上記各実施形態において、検索サーバ１、１ａ、及び商品検索支援装置１００各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより商品検索の支援処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
上述したように、本発明に係る態様によれば、ユーザが検索したい対象物又は該対象物と類似する対象物を容易に検索することができる。

本発明は、インターネットを介し、ユーザが対象物の検索にあたり、検索する対象物の選択や決定を支援する検索支援システム、それと類似の技術において用いて好適であり、その対象物の画像データによりユーザの検索したい対象物の検索を行うことができる。

１…検索サーバ
２…ユーザ端末
１１…抽出部
１２…種類判定部
１３…検索部
１４…組合せ抽出部
１５…嗜好抽出部
１６…データベース
１７…送受信部
１８…送受信部
Ｉ…情報通信網
１００…商品検索支援装置
２００…ユーザ端末
２１…制御部
２２…類似アイテム検索部
２３…組合せ検索部
２４…商品検索部
２５…送受信部
２６…商品アイテムデータベース
２７…商品アイテム画像データベース
２８…組合せ情報データベース
２９…組合せ商品画像情報データベース
３０…組合せ商品画像データベース
３１…履歴データベース

Claims (1)

1. ユーザにより指定された、商品アイテムのカテゴリに関連する情報を端末から受け付ける受付部と、
   前記受付部により受け付けられた前記カテゴリに関連する情報が示す前記カテゴリに属する１以上の商品アイテムを抽出する抽出部と、
   前記抽出部により抽出された前記１以上の商品アイテムに含まれる個々の商品アイテムの画像データを前記端末の表示部に表示させる表示制御部と、
   を備え、
   前記表示制御部は、前記抽出部により抽出された１以上の商品アイテム、又は、前記受付部により受け付けられた前記カテゴリと同一の前記カテゴリに属する商品アイテム、に対して組み合わせる１以上の組合わせ商品アイテムに含まれる個々の前記組合わせ商品アイテムの画像データを、所定の画像媒体に含まれる１以上の画像データそれぞれの特徴データに基づいて抽出し、抽出した画像データを前記表示部に表示させる、
   検索システム。

Images