JP2020170527A - 検索支援システム、検索支援方法及び検索支援プログラム - Google Patents

Abstract

【課題】ユーザの検索したい対象物の検索を行うことができる検索支援システム、検索支援方法及びプログラムを提供する。【解決手段】検索支援システムの検索サーバ１は、受信部１７と、抽出部１１と、データベース１６と、検索部１３と、組合せ商品データベースと、組合せ検索部と、ＣＧで作成された体型別に対応した３次元の人間の画像を複数表示する表示部と、を備える。表示部は、表示部に表示された複数の人間の画像の中からユーザにより選択された人間の画像に対して、組合せ検索部が検索した組合せ商品の画像を重ねて表示する。【選択図】図１

Description

本発明は、検索支援システム、検索支援方法及び検索支援プログラムに関する。
本願は、２００９年１２月２４日に、日本に出願された特願２００９−２９２８５７号に基づき優先権を主張し、その内容をここに援用する。

従来、インターネット等のネットワークを通じてユーザが対象物（例えば、商品など）を検索する、ひいては購入する際、ユーザが検索しようとする対象物の選択や決定を支援するシステムが用いられている（例えば、特許文献１参照）。
例えば、ユーザは、インターネットにおいて各種ある検索エンジンを用いて、対象物の名称（例、商品名など）あるいは対象物の特徴を入力し、該当する対象物を検索する。また、必要に応じて、ユーザは上述の該当した対象物を販売している店舗を検索する。
そして、上記のような検索エンジンを有するサーバ装置は、検索された店舗において、インターネットを介し、ユーザの好みに対応した対象物の画像又はその価格をユーザの端末に提示し、あるいは関連対象物の提供などにより、ユーザの対象物の検索に対して支援を行っている。

また、近年、商品を買う場合に、対面販売を行う小売店に出向かずに、インターネット上の仮想モールの仮想商店から商品を購入することが多くなっている。
この結果、近隣に大型小売店がない地域においても、多くの種類毎の複数の商品から気に入った商品を、自宅にいながらにして購入することが可能となっている。（例えば、特許文献２参照）。

特開２００４−２４６５８５号公報 特開２００２−１５０１３８号公報

本発明に係る態様は、ユーザ端末から入力画像を受信する受信部と、前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出し、前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出する抽出部と、第２商品のそれぞれについて、前記第２商品の画像を記憶した商品テーブルを含むデータベースと、前記抽出部により抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索し、検索した結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索し、前記第２商品の画像を検索した後、前記商品テーブルを参照し、検索した前記第２商品の画像を前記ユーザ端末へ送信する検索部と、前記検索部により検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースと、前記検索部により検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索する組合せ検索部と、ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示する表示部と、を備え、前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、前記表示部は、前記表示部に表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ検索部が検索した前記組合せ商品の画像を重ねて表示する、検索支援システムである。

また、本発明に係る態様は、ユーザ端末から入力画像を受信するステップと、前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出するステップと、前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出するステップと、第２商品のそれぞれについて前記第２商品の画像を記憶した商品テーブルを含むデータベースを参照し、前記抽出するステップにおいて抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索するステップと、前記第２商品の画像を検索するステップにおいて検索された結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップと、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて前記第２商品の画像が検索された後、前記商品テーブルを参照し、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて検索された前記第２商品の画像を前記ユーザ端末へ送信するステップと、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索するステップと、ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示するステップと、を有し、前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、前記表示するステップは、前記表示するステップにおいて表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ商品の画像を検索するステップにおいて検索された前記組合せ商品の画像を重ねて表示する、検索支援方法である。

また、本発明に係る態様は、検索支援システムのコンピュータに、ユーザ端末から入力画像を受信するステップと、前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出するステップと、前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出するステップと、第２商品のそれぞれについて前記第２商品の画像を記憶した商品テーブルを含むデータベースを参照し、前記抽出するステップにおいて抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索するステップと、前記第２商品の画像を検索するステップにおいて検索された結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップと、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて前記第２商品の画像が検索された後、前記商品テーブルを参照し、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて検索された前記第２商品の画像を前記ユーザ端末へ送信するステップと、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索するステップと、ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示するステップと、を実行させるためのプログラムであって、前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、前記表示するステップは、前記表示するステップにおいて表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ商品の画像を検索するステップにおいて検索された前記組合せ商品の画像を重ねて表示する、プログラムである。

検索支援システムの構成例を示すブロック図である。 図１のデータベース１６に記憶されている商品テーブルの構成例を示す概念図である。 図１のデータベース１６に記憶されている商品テーブルの構成例を示す概念図である。 図１のデータベース１６に記憶されているユーザ登録テーブルの構成例を示す概念図である。 検索支援システムにおける商品検索の動作例を示すフローチャートである。 検索支援システムにおける嗜好情報収集の動作例を示すフローチャートである。 検索支援システムの構成例の変形例を示すブロック図である。 検索支援システムの構成例を示すブロック図である。 図７における商品アイテムデータベース２６のカテゴリ１（シャツ）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における商品アイテムデータベース２６のカテゴリ２（ズボン）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における商品アイテムデータベース２６のカテゴリ３（ジャケット）の組合せ商品アイテムの属性情報を記録したテーブルである。 販売しているカテゴリ１の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ１の組合せ商品アイテムとの対応を示すテーブルである。 販売しているカテゴリ２の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ２の組合せ商品アイテムとの対応を示すテーブルである。 販売しているカテゴリ３の販売商品アイテムと、これと類似する画像媒体から収集したカテゴリ３の組合せ商品アイテムとの対応を示すテーブルである。 図７における組合せ情報データベース２８における、画像媒体から収集した組合せ商品アイテムの各カテゴリ間における組合せを示すテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ１（シャツ）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ２（ズボン）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７における組合せ商品画像情報データベース２９のカテゴリ３（ジャケット）の組合せ商品アイテムの属性情報を記録したテーブルである。 図７の検索支援システムの動作例を示すフローチャートである。 図７の履歴データベース３１におけるユーザテーブルの構成を示す概念図である。 図７の履歴データベース３１における購入履歴テーブルの構成を示す概念図である。 Graph-Cut法による画像データのセグメンテーションを説明する概念図である。

上述した特許文献１及び特許文献２に記載の従来例などは、ユーザが対象物を検索する際、対象物の名称などを示すテキストデータを入力するか、あるいは検索用に予め準備された対象物の画像から選択するため、例えば、ユーザが対象物の画像しか情報を有しておらず、対象物の名称を知らない場合、ユーザが実際に検索したい対象物、あるいは検索する対象物に類似した対象物を検索できないという問題があることが分かった。
そこで、本発明に係る態様は、ユーザの検索したい対象物の検索を行うことができる検索支援システム、検索支援方法及び検索支援プログラムを提供する。
＜第１の実施形態＞
以下、本発明の一実施形態による検索支援システムを、図面を参照して説明する。図１は本実施形態による検索支援システムの構成例を示すブロック図である。
この図において、検索支援システムは、検索サーバ１と、インターネットなどからなる情報通信網Ｉを介して上記検索サーバ１に接続されるユーザ端末２とを有している。
ここで、ユーザ端末２は、ユーザの有する端末であり、それぞれユーザ固有のユーザ識別情報により識別される。
以下、本実施形態においては、ユーザが検索したい対象物として、ファッション商品、服、靴、ネックレス、帽子などの商品の検索及び購買を例にとり説明する。なお、本実施形態では、ファッション商品、服、靴、ネックレス、帽子などの商品に限られず、電化製品、家具、絵画など、インターネット又はネットワークを介して検索できる対象物に適用することも可能である。また、本実施形態における対象物とは、一例として、商品、物品、電化製品、家具、絵画、店舗や会社を含む建物、植物、動物、不動産（マンションの外観、内装、間取り、などを含む）、風景、などが挙げられる。

検索サーバ１は、上記ユーザがインターネット上の店舗などにおいて、商品を検索する支援を行うサーバであり、抽出部１１、種類判定部１２、検索部１３、組合せ抽出部１４、嗜好抽出部１５、データベース１６、送受信部１７及び条件設定部１８を有している。
データベース１６には、図２Ａに示すように、各商品を識別する商品識別情報に対応させ、その商品の名称と、その商品の画像データである商品画像データ（対象物画像データ）と、商品画像データから抽出した特徴情報と、この商品を販売している店舗情報と、その商品の価格と、その商品と組み合わせる他の商品との組合せ情報と、商品の種類（服、靴、帽子、ネックレスなどの商品ジャンル）を示す種類識別情報と、使用用途を示す属性情報として用途情報とが対応付けられた商品テーブルが記憶されている。このデータベース１６には、例えば、検索支援システムに会員登録している店舗からの商品の情報が順次蓄積されている。上記特徴情報とは、色、形、模様、テクスチャなどの要素を数値データ（例えば、要素数に対応する次元のベクトル）化したものである。また、ユーザが検索したい商品の画像と、データベース１６に蓄積された商品画像（対象物画像）とをもとに、その画像同士を直接的に比較する場合、種類判定部１２は省略してもよい。

また、用途情報としては、時間（time）情報、場所（place）情報及び状況（occasion）情報などが設定されている。時間情報は、年月日、時間、朝、午前、午後、夜、季節（春、夏、秋、冬、通年）、国民の祝日やこどもの日及びひな祭りなど節句、などの時間に関する情報が設定されている。場所情報は、国内、海外（アジア、欧米などの地名）、公園、リゾート、都会、海、山、高原、高級レストラン等の場所に関する情報が設定されている。また、状況情報は、通勤、通学、アルバイト、リゾートに行く、都会に行く、歓迎会、送別会、国内旅行、海外旅行、ドライブ、ハイキング、サイクリング、ウォーキング、忘年会、新年会、合同コンパ、お見合い、離婚の打合せ、葬式、入園式、卒園式、入学式（自分あるいは子供）、卒業式（自分あるいは子供）、山登り、海水浴、高原へ行く、結婚式の披露宴、入社パーティ、卒業パーティ、結婚記念日、誕生日、バーベキュー、高級レストランなどの情報がある。また、状況情報に、場合に合わせて着たい服の種類を設定しても良い。例えば、この種類としては、トラッド、フェミニン、カジュアル、スポーティ、ドレッシー、キャリア、フォーマル、エレガント、スウィート、クール、カジュアルフライデー、クールビズ、ウォームビス、キャラクター、スタイリッシュなどがある。
さらに、状況情報として、天候を示す情報として天候情報、例えば、晴れ、曇り、雨、雪、台風、嵐、等を用いても良い。また、状況情報として、深層心理に関する情報として心理情報、例えば、元気がない、憂鬱、暗い、不安、悲しい、楽しい（ウキウキする気分）、嬉しい、優しい、穏やか、激しい、等を用いても良い。また、状況情報として、周囲に与える印象に関する影響情報、例えば、地味、暗い、明るい、優しい、上品、清潔、健康的、女性らしい、男性らしい、知的、親しみのある、爽やか、等を用いても良い。図２Ｂは、商品に対応した用途情報（日時情報、場所情報、状況情報）の一例を示す。

また、条件設定部１８は、日時情報として入力される日にちを、内部に予め設定されている春夏秋冬の範囲を月日により区切り、入力された日にちを季節に変更して用いるように構成されても良い。例えば、春を３月１５日〜６月１４日、夏を６月１５日〜９月１４日、秋を９月１５日〜１２月１４日、冬を１２月１５日〜３月１４日というように区切り、条件設定部１８は、日時情報として８月１０日が入力されると、夏の季節として判定し、この季節を用途情報として用いる。
また、条件設定部１８は、時間範囲により早朝、午前、午後、夜の時間帯に区切り、入力された時間を時間帯に変更して用いるように構成されても良い。例えば、早朝を午前４時０分〜午前６時５９分、午前を午前７時０分〜午前１１時５９分、午後を午後０時０分〜午後４時５９分、夜を午後５時０分〜午前３時５９分というように区切り、条件設定部１８は、日時情報として午前１０時０分が入力されると、午前の時間帯として判定し、この時間帯を用途情報として用いる。
上述した用途情報は、ユーザ端末２の表示画面にコンボボックス（例えば、文字入力のための矩形領域（テキストボックス）と項目選択リスト（リストボックス）を組み合わせたもの）として表示され、このコンボボックスからポインティングデバイスにより選択される。例えば、マウスによりクリックして選択すると、ユーザ端末２はクリックして選択されたコンボボックスにおける用途情報の項目を、ユーザの選択した用途情報とする。このユーザ端末２の表示画面に表示されるコンボボックスの画像情報は、予めユーザ端末２にアプリケーションプログラムとしてインストールされているか、検索処理のアプリケーションが起動された際に、ユーザ端末２が検索サーバ１からコンボボックスの画像情報を読み込むように構成しても良い。

上記抽出部１１は、ユーザがユーザ端末２から送信してくる入力画像データ（ユーザから提供される画像データ）を、送受信部１７を介して入力し、該入力画像データ内の検索部分を抽出する。より詳しくは、抽出部１１は、該入力画像データ内の商品の画像領域の輪郭（検索部分）を抽出し、輪郭画像データ（検索部分の画像データ）を生成する。ここで、輪郭画像データの抽出処理において、輪郭とは画像の濃度値が急激に変化する部分であり、これを取り出すために微分演算を行っている。ただし、デジタル画像においてはデータが一定間隔にとびとびに並んでいるため、隣接画素同士の差をとる演算（差分）で微分を近似し、画素の濃度が急激に変化している部分を輪郭として抽出する。

種類判定部１２は、上記輪郭画像データから、予めデータベース１６に記憶されている商品の輪郭データテーブルにおけるテンプレート画像データから、輪郭画像データに対応するテンプレート画像データを検索し、そのテンプレート画像データに対応してデータベース１６に設定されている種類識別情報を読み込む。このテンプレート画像データは、各種類の多数の商品を複数の角度から撮影し、輪郭と比較するテンプレートとして予めデータベース１６の上記輪郭データテーブルに記憶されていることが望ましい。

検索部１３は、上記種類識別情報に対応する種類の記憶領域から類似した画像データの抽出を行うため、入力画像データにおける輪郭抽出を行った検索画像データの特徴抽出を行う。検索部１３は、この特徴抽出から得られた特徴情報と、一致又は類似度の高い特徴情報を、データベース１６における上記商品テーブルの判定された種類に対応する種類識別情報を有する画像データから検索し、類似度の高い商品を予め設定された数のその画像データを、類似度の高い順に抽出する。ここで、種類判定部１２を設けない場合、検索部１３は、入力画像データにおける輪郭抽出を行った商品の画像と、商品テーブル全体における商品画像データとを比較し、上記輪郭抽出を行った商品の画像に対して類似度の高い商品画像データを抽出する。
また、条件設定部１８は、ユーザがユーザ端末２から、入力画像データとともに送信された用途情報を、送受信部１７を介して読み込み、この用途情報を内部に設定するとともに、検索部１３へ出力する。
そして、検索部１３は、上述した類似度の高い順に商品画像データを抽出する際、条件設定部１８から入力された用途情報を有する画像データのなかから、類似度の高い順に商品画像データを抽出する。
したがって、検索部１３は、商品テーブルから、入力画像データと類似し、かつユーザの設定する用途情報を有する商品を検索することとなる。この結果、検索部１３は、ユーザが気に入った形状であり、かつユーザの使用する用途に対応した商品を、商品テーブルから抽出することができる。
また、検索部１３は、検索された商品画像データに対応する商品情報（対象物情報）を、商品テーブルから読み出して、ユーザのユーザ端末２へ送信する。なお、上述の商品情報は、名称（商品名）、商品画像データに対応する商品を販売する販売店舗、その店舗のＵＲＬ、その店舗の電話番号や住所、及び商品の価格のうち少なくとも一つを含む情報である。

嗜好抽出部１５は、ユーザの検索した商品の種類に含まれる他の商品（ユーザの検索した商品と同一種類の商品）の画像データを、予め設定された数だけランダムに上記商品テーブルから抽出し、ユーザ端末２へ送信する。
ユーザ端末２は、検索サーバ１から送信される画像データを図示しない表示画面に表示する。
また、嗜好抽出部１５は、ユーザ端末２から送信される各商品（例えば、データベース１６に記憶されている商品画像データ）に対する評価結果（例えば、好きあるいは嫌いの判定結果等）を入力し、形、色、模様、テクスチャのうち少なくとも一つを含む嗜好情報をユーザ毎に、データベース１６の図３に示すユーザ登録テーブルに書き込んで記録する。

ここで、上記ユーザ登録テーブルには、ユーザ識別情報に対応し、過去にどのような商品を購入したかを示す購入情報（購入した商品識別情報、購入した日時、購入した店舗、購入した価格などを含む）と、嗜好抽出部１５が抽出した嗜好情報と、ユーザが有しているポイント数を示すポイント情報とが記憶されている。このポイントは商品を購買した支払の際、現金と同様に使用することができる。
すなわち、検索サーバ１は、上述の店舗情報に割引クーポン情報が付加されており、その割引クーポン情報を利用してユーザが検索した商品を購入した場合、その商品に関する購入情報をデータベース１６の上記ユーザ登録テーブルに記憶する。そして、検索サーバ１は、購入された商品の価格に対応するポイントを上記ポイント情報のポイント数として上記ユーザ登録テーブル内の対象ユーザに対して加算する。なお、嗜好抽出部１５は、上記購入情報から種類毎に嗜好情報を抽出するようにしてもよい。
組合せ抽出部１４は、抽出された商品と組み合わせて購入する可能性の高い他の種類の商品を、予め嗜好情報に対応して記憶されている組み合わせ情報に対応する商品を検索し、ユーザの端末へ送信する。

次に、図１及び図４を用いて、本実施形態における検索支援システムの動作を説明する。図４は、本実施形態における検索支援システムの動作例を説明するフローチャートである。以下の説明において、種類判定部１２を設けた場合について説明する。種類判定部１２を設けない場合、種類判定部１２の処理がフローチャートから省かれることになる。
ユーザがユーザ端末２に接続されているカラースキャナなどにより雑誌などから気に入った服を着ているモデルの画像を読み取り、あるいはデジタルカメラにより撮影する、あるいはインターネットから画像をダウンロードする（ステップＳ１）。
そして、ユーザは、読み取った画像、撮影した画像、或いはダウンロードした画像を、入力画像データとしてユーザ端末２に入力し、この入力画像データに複数の種類の商品の有無により（ステップＳ２）、検索したい商品の画像の領域を選択するか否かを判定する。なお、上記の入力画像データは、予めユーザ端末２に記憶されていてもよいし、外部の端末に記憶されていてもよい。

このとき、例えば、スカートの商品名及び販売している店舗を検索しようとする際、スカートのみが写っている入力画像データであれば、処理をステップＳ４へ進める。
一方、スカートの部分の画像のみでなく、モデル全体が撮影されている場合、処理をステップＳ３へ進める。
そして、ユーザは入力画像データにおいて、ユーザ端末２にインストールされている画像処理のツール（入力画像データに線を描く加工ができるツールであれば何でも良い）により、スカートの領域部分の画像を線などでマーキングして画像選択を行い（ステップＳ３）、そしてステップ４へ処理を進める。
また、このとき、ユーザは、上記入力画像データを検索する際に用いる用途情報、たとえば、日時情報、場所情報及び状況情報のうち少なくとも一つを、ユーザ端末２に対して入力する。

ユーザ端末２は、ユーザが入力した入力画像データ（画像選択を行ったデータを含む）と、用途情報とを、自身のユーザ識別情報とともに、検索依頼信号として情報通信網Ｉを介して検索サーバ１へ送信する（ステップＳ４）。

なお、上述のステップＳ２においては、ユーザ端末２は、入力画像データ（モデル全体の画像）を一旦検索サーバ１に送信する。検索サーバ１は、ユーザ端末２から受信した入力画像データに、複数の種類の商品が含まれているか否かを判定し、その判定した複数種類の商品を画像として抽出する。そして、検索サーバ１は、この抽出した複数種類の画像のデータをユーザ端末２へ送信するようにしてもよい。この場合、ステップＳ３においては、ユーザは、検索サーバ１から受信した入力画像データから抽出された複数種類の画像のデータから、検索したい種類の商品の画像のデータの選択を行い、ステップＳ４へ処理を進める。

次に、検索サーバ１における送受信部１７は、ユーザ端末２から上記検索依頼信号を受信すると、上述の入力画像データを抽出部１１へ出力し、登録情報を条件設定部１８へ出力する。
抽出部１１は、送受信部１７から入力された入力画像データにおける商品画像の輪郭抽出（検索部分の抽出）を行う。
このとき、抽出部１１は、入力画像データにおいていずれの領域もマーキングされていない場合、入力画像データ全体の輪郭画像データの抽出を行い、一方、マーキングされている領域部分があれば、その領域部分の画像の輪郭画像データの抽出を行う。
そして、種類判定部１２は、上記輪郭画像データから、予めデータベース１６に記憶されている商品の種類に対応した輪郭データテーブルから、輪郭画像データに対応するテンプレート画像データを検索し、そのテンプレート画像データに対応した種類識別情報を輪郭データテーブルから読み込む。（ステップＳ５）。このとき、検索部１３は、ユーザに送信する抽出結果として計数する商品の数を０にリセットする。

検索部１３は、上記輪郭画像データにおける輪郭内部に対応させ、入力画像データにおいて検索する画像データ（検索画像データ）の特徴抽出を行い、検索画像データの特徴情報（例えば、色や形に基づく各情報）に類似した商品画像データを、データベース１６の商品テーブルから検索する（ステップＳ６）。
このとき、検索部１３は、特徴情報の各要素（例えば、特徴情報が色に基づく情報であれば、青、赤や黄など）におけるベクトルの距離を求め、この距離と一致するか、この距離が近いか遠いか、の類似度の計算を行う。なお、この距離が近いものを類似度が高いものとし、最も類似度の高いものを抽出する。ここで、最も類似度が高いとしてすでに抽出されて、内部の比較済みファイルとして記憶された商品は除き、商品テーブルにおいて残った商品の中で最も類似度が高い商品画像データを抽出する。

次に、検索部１３は、条件設定部１８に設定されている用途情報と、抽出された商品画像データに対応する商品の用途情報とを比較し、一致しているか否かの判定を行う（ステップＳ７）。
このとき、検索部１３は、例えば、それぞれの用途情報の複数の項目（日時情報、場所情報、状況情報）と、条件設定部１８に設定されている用途情報の各項目とを比較し、それぞれの項目において少なくとも１つ一致している場合、抽出された商品の用途情報と、条件設定部１８に登録されている用途情報とが一致していると判定する。また、検索部１３は、比較を行った商品、すなわち類似度が高いとして抽出された商品を内部の比較済みファイルに書き込み処理をステップＳ９へ進める（ステップＳ８）。
そして、検索部１３は、用途情報が一致した商品の商品識別情報を抽出結果として内部の抽出ファイルに記憶する（書き込む）とともに、抽出結果の商品の数を示す抽出数を１つ増加させる。一方、用途情報が一致しない場合、検索部１３は、この商品の商品識別情報を抽出ファイルへ書き込む処理及び抽出数を１つ増加させる処理を行わず、処理をステップＳ９へ進める（ステップＳ７）。

検索部１３は、抽出数が予め設定した、ユーザに送信する商品の数と一致するか否かの判定を行い（ステップＳ９）、抽出数とユーザに送信する商品の数とが一致した場合、処理をステップＳ１０へ進め、一方、抽出数とユーザに送信する商品の数とが一致しない場合、処理をステップＳ６へ進める。

次に、検索部１３は、検索された商品の商品識別情報を抽出ファイルから読み出し、この商品識別情報に対応する商品の商品情報（商品名、商品の価格、商品画像データ販売店舗、ＵＲＬ、店舗の電話番号及び住所のうち少なくとも一つを含む情報）を商品テーブルから読み出し、送受信部１７を介してユーザのユーザ端末２へ送信する（ステップＳ１０）。ここで、一例として、送受信部１７は、検索依頼信号がユーザ端末２から送信される時に付加されるユーザ端末２のネットワーク上のアドレスを読み出し、このアドレスに対して上記商品情報を送信する。
そして、ユーザ端末２は商品販売検索サーバ１から送信された、検索結果の商品名、画像データ、店舗及び価格の情報を表示画面に表示する。
なお、上述のステップＳ５においては、検索サーバ１は、データベース１６におけるユーザ登録テーブルにおいて、検索依頼信号に含まれるユーザ識別情報が上記ユーザ登録テーブルに登録されていることが検出された場合のみ、検索依頼信号に含まれる入力画像データをもとにデータベース１６から検索対象の商品画像データを抽出するようにしてもよい。また、検索サーバ１は、検索依頼信号に含まれるユーザ識別情報が上記ユーザ登録テーブルに登録されていないことを検出した場合、例えば、ユーザ識別情報に基づくユーザ登録が必要である旨をユーザ端末２に対して送信するようにすればよい。

これにより、ユーザは、気に入った商品の画像データ、及びこの商品の用途の情報である用途情報を、ユーザ端末２から検索サーバ１に対して送信することにより、気に入っている商品あるいはその商品に類似した商品の商品名、販売している店舗を示す店舗情報、その商品の価格などの情報を、検索サーバ１の抽出結果として得ることができる。

上述した本実施形態において、ユーザがユーザ端末２から検索依頼情報に用途情報を付加して送信する構成にて説明したが、条件設定部１８が入力画像データから検索する商品の素材（綿、ウール、シルク、カシミヤなど）を判定して、この素材から日時情報としての季節（春、夏、秋、冬）などの判定、あるいは色などから状況情報などの条件を抽出し、検索条件として用いるように構成しても良い。
また、条件設定部１８が、入力画像データから人物を抽出し、その人物の背景画像から検索条件を抽出して検索条件として用いるように構成しても良い。この場合、例えば、条件設定部１８は、用途データ抽出用データベースを有し、背景画像にある木を特定し、同様の画像をこの用途データ抽出用データベースから検索し、花及び葉の状態から季節を判定、あるいは背景画像にある文字データから場所情報などを判定することができる。

また、上述した本実施形態において、用途情報を商品テーブルにおける各商品の属性情報として付加して説明したが、用途情報のカテゴリの分類毎に、商品テーブルを構成しても良い。例えば、春用、夏用、秋用及び冬用の各々の商品テーブルを構成して用いても良い。この場合、検索部１３は、ユーザ端末２から検索依頼情報に付加される登録情報に対応した商品テーブルを選択し、選択した商品テーブルから入力画像データに類似した商品を検索することになり、検索時間を短縮することが可能となる。

ここで、店舗情報に割引クーポン情報が付加されており、この割引クーポン情報を利用し、検索した商品を購入した場合、商品販売検索サーバ１はその対象店舗に対して商品の価格に対応した金額を課金する。

次に、図１及び図５を用い、本実施形態による検索サーバ１がユーザの嗜好情報を抽出し、その嗜好情報により、上述の検索した商品に対して組合せが可能な他の商品を提示する処理を説明する。図５は、ユーザの嗜好情報を収集し、この嗜好情報により他の商品を紹介する動作例を説明するフローチャートである。
嗜好抽出部１５は、ユーザが検索した商品と同一の種類、例えばユーザが検索した商品が靴の場合、商品テーブルから予め設定された数だけ靴を抽出し（ステップＳ１１）、その商品画像データと商品識別情報とを、ユーザ端末２へ送信する（ステップＳ１２）。
このとき、検索サーバ１がユーザに対して送信する種類毎の商品は、色、形、模様などが異なる特徴的な商品であり、ファッションコーディネータがユーザの嗜好情報を抽出することが可能とした商品として設定されている。

そして、ユーザ端末２は、嗜好抽出のための商品の商品画像データを検索サーバ１から受信すると、表示画面にその商品の商品画像データ（表示画像）を順次表示する。
このとき、ユーザは、上記表示画面に表示された表示画像において、表示されている商品画像データの商品が気に入った場合「良ボタン」をマウスなどの入力手段によりクリックし、一方、表示されている商品画像データの商品が気に入らない場合「否ボタン」をマウスなどによりクリックして選択する（ステップＳ１３）。
「良ボタン」あるいは「否ボタン」が選択されると、ユーザ端末２は次の商品の商品画像データを表示画面に表示し、受信した商品画像データの全て或いは所定数に対し、ユーザの良否判定の選択が終了するまでこれらの処理が継続される。

上述の商品画像データに対する良否判定が終了すると、ユーザ端末２は、商品識別情報毎に、その商品の良否判定データを対応させた判定結果情報を、検索サーバ１に対して、自身のユーザ識別情報を付加して送信する（ステップＳ１４）。
判定結果情報を入力すると、送受信部１７は、付加されているユーザ識別情報がユーザ登録テーブルに登録されているか否かを判定し、登録されていれば嗜好抽出部１５に対して上記判定結果情報を出力する。

次に、嗜好抽出部１５は、判定結果情報が入力されると、良否判定のパターンに対応した嗜好情報を、データベース１６における嗜好情報テーブルから選択する。
ここで、良否判定のパターンとは、予め決められた順番に配列された商品識別情報に対応した良判定、及び否判定のデータパターンである。
そして、嗜好抽出部１５は、得られた嗜好情報をデータベース１６におけるユーザ登録テーブルに、ユーザ識別情報に対応して書き込んで記憶させる（ステップＳ１５）。

次に、組合せ抽出部１４は、上述の嗜好情報に対応する商品の組合せ情報を、データベース１６における組合せ情報テーブルから選択する。この組合せ情報テーブルには、組合せ抽出部１４は、例えばこの組合せ情報テーブルにおいて、靴に対しての嗜好情報を抽出した場合、その嗜好に対応する服、鞄、帽子などにて対応する組合せ情報を選択する。
この組合せ情報テーブルには、嗜好に対応した服飾のカテゴリ間における要素（靴、服、鞄、帽子など）間の組合せが予め記憶されている。
そして、組合せ抽出部１４は、組合せ情報テーブルから選択された組合せ情報と一致する又は類似する、服、鞄、帽子などの商品画像データを抽出（すでに述べた特徴情報（組合せ嗜好情報）を用いた類似した商品検索の抽出処理）し（ステップＳ１６）、モデルに対して靴にあわせて、選択された服、鞄、帽子などを装着した装着画像データを、組合せが一つしか無い場合に単数、あるいは組合せが複数ある場合に複数の種類を、それぞれの組合せに対して組合せ識別情報を付加して、ユーザ端末２に対して送信する（ステップＳ１７）。

装着画像データを受信すると、ユーザ端末２は、この装着画像データを表示画面に表示する。これにより、ユーザはすでに検索あるいは購入した商品に対して、自身の嗜好に対応したファッションの組合せの情報を得ることができる。
ここで、ユーザが上述したように良否判定を行うことにより、ユーザ端末２は、組合せ識別情報毎に良否判定データを対応させて、判定結果情報として、自身のユーザ別識別情報を付加し、検索サーバ１に対して送信する。

そして、判定結果情報を入力すると、送受信部１７は、付加されているユーザ識別情報がユーザ登録テーブルに登録されているか否かを判定し、登録されていれば嗜好抽出部１５に対して上記判定結果情報を出力する。
嗜好抽出部１５は、入力される組合せ識別情報に対応する良否判定パターンにより、組合せ嗜好情報を生成する。この組合せ嗜好情報は、靴の形状、色、模様、テクスチャ、などに対応し、良判定を受けた他の服、鞄、帽子などの形状、色、模様、テクスチャの組合せからなり、ユーザが商品を購入する毎に、学習することとなり、組合せ情報に含まれる各商品と類似する商品の抽出を行う際に用いる組合せ嗜好情報がユーザの嗜好と合う精度が向上する。
すなわち、次に、ユーザがこの組合せされた装着画像データにより、鞄を購入したとすると、鞄に対する嗜好情報が検索され、この嗜好情報に対応した靴、服、帽子などの組合せ嗜好情報が得られることとなるため、順次、各ユーザの嗜好が絞り込まれることとなる。

また、チャレンジ組合せ（ユーザにおいては普通選択しないような組合せ、或いは上述の嗜好情報とは異なる組合せ）として、嗜好情報から選択された組合せ情報に対し、ファッションコーディネータが対極にあるとする組合せ情報に対応する商品をいくつか商品テーブルからランダムに選択し、この選択された商品を、装着画像データの生成の際に組合せのいくつかに挿入するようにしてもよい。
これにより、ユーザの嗜好が多極化して、より購買希望が増加する可能性がある。

また、本実施形態における検索支援システムは、図６に示すように、ユーザ端末２を上述の抽出部１１と同じ抽出の機能を有する抽出部１１ａを有するように構成したユーザ端末２ａと、抽出部１１を除いた検索サーバ１ａを備えるようにしてもよい。この場合、抽出部１１ａは、ユーザ端末２ａが取得した入力画像データ、又はユーザ端末２ａに記憶されている入力画像データ、をもとに、その入力画像データの検索部分（例えば、商品部分）を抽出して、検索サーバ１ａに対して検索部分に相当する画像データのみを入力画像データとして送信すればよい。また、抽出部１１ａ以外については、上述の実施形態と同様であるため、説明を省略する。このように、ユーザは、送信する画像データとして入力画像データのうち検索部分に相当する画像データのみを検索サーバ１ａに送信すればよく、例えば、ユーザの顔部分や他の人の顔部分に相当する画像データを検索サーバ１ａに送信する必要がなくなる。

なお、本実施形態における検索支援システムを服や靴などの商品のみならず、上述の対象物に対しても適用できる。また、例えば、本実施形態における検索支援システムは、宿泊施設（ホテルや旅館など）やレストランなどにおいて提供されるサービスにも適用することができる。例えば、上述の宿泊施設においては、本実施形態における検索支援システムは、部屋の間取りの組合せ、窓の風景の組合せ、部屋又はその間取りと窓の風景との組合せ、などを選択する際などに適用することができる。また、例えば、上述のレストランなどにおいては、本実施形態における検索支援システムは、レストランのインテリアの組合せ、窓の風景の組合せ、音楽の組合せ、インテリアと窓の風景との組合せ、インテリアと音楽との組合せ、窓の風景と音楽との組合せ、などを選択する際などに適用することができる。

＜第２の実施形態＞
以下、本発明の一実施形態による検索支援システムを、図面を参照して説明する。
従来、複数の異なる種類の商品を組み合わせる組合せ商品を購入する場合、または、上記仮想商店の膨大な商品群から選択する場合、ユーザが自ら集めた（インターネット等でアクセスした）情報によって商品の選択や購入を行なっていた。
例えば、複数の異なる種類（カテゴリ）の商品を組み合わせる組合せ商品（例えば、服飾、組合せ家具、組合せ家電など）を購入する場合、実際に小売店に出向かない場合、いずれの組合せが適当かを店員から直接に聞くことはできない。
また、ユーザ自身の購入した商品あるいは購入する商品に対し、組み合わせた場合に良く合う商品を、上記仮想商店の膨大な商品群から選択する場合、組合せ商品のコーディネータに一々確認することができず、ユーザ自身では選択できないために購入を行えないことになる。

上記の場合の一例としては、服飾において、ユーザが購入するジャケットに合うズボンあるいはシャツを選ぶ場合、ユーザは自ら雑誌やアドバイザー（販売員、専門家、知人）から得た情報をもとに選択や購入を行なっていた。
例えば、服飾において、ユーザが購入するジャケットに合うズボンあるいはシャツを選びたいとしても、一流のファッションコーディネータに確認することができず、あり得ない組合せを選択してしまうことを心配し、合うズボンやシャツの購入を諦めることになる。
ここで服飾とは、人がその生まれたままの身体の上にまとう（人が身につける）衣服、装身具(装飾品、鞄、靴、帽子など)のすべてを示す。

本実施形態は、ユーザが対象物を検索する場合において、情報提供等により検索を支援できる。
例えば、組合せ商品の購入において、ユーザが購入するあるいは購入した商品に対し、組み合わせた場合に合う商品を商品群のなかから抽出して、抽出した商品をユーザに推奨し、ユーザの組合せ商品の購入を支援することができる。

図７は本実施形態による検索支援システムの構成例を示すブロック図である。本実施形態は、複数のカテゴリの販売商品アイテムからなる商品アイテム組合せにおけるいずれかのカテゴリの販売商品アイテムを購入する際、購入した販売商品アイテムと組合せが良いとされる商品アイテム組合せにおける残りのカテゴリの販売商品アイテムを推奨商品として提示することにより、ユーザが購入する販売商品アイテムと組み合わせが良いとされる販売商品アイテムを、多くの販売商品アイテムから容易に選択することができるように支援するシステムである。以下の説明においては、服飾における各商品（ブレザー、シャツ、ズボンなどのカテゴリの商品）全般を商品アイテムとし、仮想商店が実際に販売している商品アイテムを販売商品アイテムとし、後述する画像媒体において組み合わされている商品アイテムそれぞれを組合せ商品アイテムとして説明する。

この図において、検索支援システムは、商品検索支援装置１００と、１つあるいは複数のユーザ端末２００とから構成されている。商品検索支援装置１００は、制御部２１、類似アイテム検索部２２、組合せ検索部２３、商品検索部２４、送受信部２５、商品アイテムデータベース２６、商品アイテム画像データベース２７、組合せ情報データベース２８、組合せ商品画像情報データベース２９、組合せ商品画像データベース３０及び条件設定部３２を有している。ユーザ端末２００は、例えば各ユーザの各家庭に設けられた、インターネットブラウザが備えられたパーソナルコンピュータである。商品検索支援装置１００と、ユーザ端末２００とはインターネットを含む情報通信網Ｉにて接続されている。

商品アイテムデータベース２６は、商品アイテムの種類毎に複数のテーブル構成の記憶領域を有している。
すなわち、商品アイテムデータベース２６は、図８に示すように、カテゴリ１としてシャツの商品アイテムの識別情報Ａ１〜Ａｎ毎に、販売している販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
また、同様に、商品アイテムデータベース２６は、図９に示すように、カテゴリ２としてズボンの商品アイテムの識別情報Ｂ１〜Ｂｎ毎に、対応する販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
また、同様に、商品アイテムデータベース２６は、図１０に示すように、カテゴリ３としてジャケットの商品アイテムの識別情報Ｃ１〜Ｃｎ毎に、対応する販売商品アイテムの属性情報が記憶されているテーブル構成の記憶領域を有している。
さらに、商品アイテムデータベース２６は、図示しないが、上述した各カテゴリ以外に、服飾の他のカテゴリとして靴、ブラウス、鞄などの複数のテーブルを各々記憶した記憶領域を有している。
また、商品アイテムデータベース２６の各テーブルには、属性情報の一つとして類似商品アイテムの欄が設けられており、販売商品アイテムと同一あるいは類似する組合せ商品画像情報データベース２９における商品アイテムが、図１１（カテゴリ１−シャツ）、図１２（カテゴリ２−ズボン）及び図１３（カテゴリ３−ジャケット）各々に示すように、各販売商品アイテムのそれぞれの類似した商品アイテムのグループとして対応づけられて記憶されている。

ここで、商品アイテムデータベース２６（カテゴリ１〜カテゴリ３）において、属性情報としては、同一あるいは類似として対応付けられた組合せ商品アイテム（後述する組合せ商品画像情報データベース２９における商品アイテム）の識別情報と、販売商品アイテムの画像データから抽出した画像の特徴データと、販売商品アイテムの価格及びブランド等の販売情報と、第１の実施形態において述べた用途情報と、などである。画像の特徴データの種類及び取得方法については後述する。
商品アイテム画像データベース２７は、商品アイテムデータベース２６に記憶されている各カテゴリの販売商品アイテム毎の画像データが、上記各販売商品アイテムの識別情報にそれぞれ対応して記憶されている。

組合せ情報データベース２８は、ファッション雑誌、ファッションカタログ及びインターネット上の画像媒体において、モデルなどが組み合わせて身につけている服飾の商品、すなわち組み合わせて装着している商品アイテムそれぞれを組合せ商品アイテムとし、組合せ商品アイテムと組合せた組合せ商品アイテムとそれぞれの対応関係の組合せを、ぞれぞれの識別番号を対応させて記憶している。例えば、ファッション雑誌において、モデルが識別情報ａ１−１のシャツ、識別情報ｂ１−２のズボン、識別情報ｃ１−７のジャケットの各商品アイテムを装着していた場合、図１４の組合せ情報データベース２８における一行目に示すように、識別情報ａ１−１と識別情報ｂ１−２と識別情報ｃ１−７との組合せ商品アイテムが組として対応付けて記憶されることになる。
この組合せ情報は、ファッションデザイナーが組み合わせとして制作した商品アイテムの組合せや、ファッションコーディネータがファッションデザイナーの制作した商品アイテムの組み合わせが、組合せ商品アイテムの組合せとされている。このため、それぞれの組合せ商品アイテムが洗練された組合せとなっており、この組合せであれば、装着した際に、そのファッションを見た人が違和感を感じずに自然に受け入れられる可能性が高い。

組合せ商品画像情報データベース２９は、ファッション雑誌、ファッションカタログ、インターネット上のデザイナーズコレクション情報などの画像媒体（雑誌の写真やイラストなどの画像を提示している資料または装置）から取得した服飾における組合せ商品アイテムをカテゴリ別に蓄積したものである。ここで、組合せ商品画像情報データベース２９は、例えば、図１５、図１６及び図１７に示すテーブル構成により構成されている。
図１５はカテゴリ１としてシャツを組合せ商品アイテムとして蓄積したものであり、図１６はカテゴリ２としてズボンを組合せ商品アイテムとして蓄積したものであり、図１７はカテゴリ３としてジャケットを組合せ商品アイテムとして蓄積したものである。組合せ商品画像情報データベース２９には、組合せ商品アイテムに識別情報が付与され、識別情報毎に、対応する組合せ商品アイテムの属性情報が記憶されている。この属性情報は、例えば、類似した販売商品アイテムの識別情報と、組合せ商品アイテムの画像データから抽出した画像の特徴データと、組合せ商品アイテムの価格及びブランド等の販売情報と、第１の実施形態において述べた用途情報と、などである。特徴データの種類及び取得方法については後述する。
また、組合せ商品画像情報データベース２９の各テーブルには、属性情報の一つとして類似商品アイテムの欄が設けられており、組合せ商品アイテムと同一あるいは類似する商品アイテムデータベース２６における商品アイテムが、図１５（カテゴリ１−シャツ）、図１６（カテゴリ２−ズボン）及び図１７（カテゴリ３−ジャケット）に示すように、対応付けられて記憶されている。

上記組合せ商品画像情報データベース２９には、図１５のテーブルにおいて、識別情報ａ１−１〜ａ１−ｑが販売商品アイテムＡ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ａ２−１〜ａ２−ｋが販売商品アイテムＡ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ａｎ−１〜ａｎ−ｍが販売商品アイテムＡｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
同様に、組合せ商品画像情報データベース２９には、図１６のテーブルにおいて、識別情報ｂ１−１〜ｂ１−ｍが販売商品アイテムＢ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ｂ２−１〜ｂ２−ｒが販売商品アイテムＢ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ｂｎ−１〜ｂｎ−ｑまでが販売商品アイテムＢｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
同様に、組合せ商品画像情報データベース２９には、図１７のテーブルにおいて、識別情報ｃ１−１〜ｃ１−ｑが販売商品アイテムＣ１と同一あるいは類似した組合せ商品アイテムとし、識別情報ｃ２−１〜ｃ２−ｋが販売商品アイテムＢ２と同一あるいは類似した組合せ商品アイテムとし、順番に、識別情報ｃｎ−１〜ｃｎ−ｍまでが販売商品アイテムＣｎと同一あるいは類似した組合せ商品アイテムとして記憶されている。
組合せ商品画像データベース３０は、組合せ商品画像情報データベース２９に記憶されている各カテゴリの組合せ商品アイテム毎の画像データが、上記各組合せ商品アイテムの識別情報にそれぞれ対応して記憶されている。

また、上述した商品アイテムデータベース２６、商品アイテム画像データベース２７、組合せ情報データベース２８、組合せ商品画像情報データベース２９及び組合せ商品画像データベース３０は、性別、年代別、ファッションの傾向（例えば、男性であればカジュアル、コンサバ、お兄系、大人系、ストリート系、裏原（原宿）系、モード系、一方、女性であれば、ギャル系、お姉系、コンサバ系、ティーン系、セレブ系など）などにより分類しても良い。
このように分類した場合、コーディネートの処理を行う前に、性別、年代（１０代、２０代、３０代、…など）、ファッションの傾向等を分類の情報として、ユーザから取得する必要がある。

図７に戻り、制御部２１は、自身が管理する仮想商店がユーザ端末２００からアクセスされることにより起動し、性別、年代及びファッションの傾向などの分類の情報を取得したり、後述する組合せアイテムを表示及び選択操作を行う処理プログラム（ユーザ端末のブラウザ等により動作する）をユーザ端末２００に対して送信する。ここで、制御部２１とユーザ端末２００とは、情報通信網Ｉと送受信部２５を介して各データの送受信を行う。ユーザ端末２００は、上記処理プログラムを内部のブラウザにて起動し、画像表示あるいは販売商品アイテムまたは組合せ商品アイテムを選択する処理における商品検索支援装置１００とのデータの送受信を行う。
また、制御部２１は、上記画面データに対する回答データをユーザ端末２００から受信すると、この性別、年代及びファッションの傾向に対応する複数の商品アイテムデータベース２６から、いずれか一つの商品アイテムのテーブルを選択するとともに、組合せ商品アイテムのカテゴリを示すカテゴリ情報、例えばシャツ、ズボン、ジャケット、靴などの文字情報、あるいは画像情報を、送受信部２５及び情報通信網Ｉを介してユーザ端末２００へ送信する。

また、制御部２１は、ユーザ端末２００から送信される、ユーザが選択したカテゴリの種類、例えばシャツを示すカテゴリ情報を受信すると、商品アイテムデータベース２６としてのシャツ（カテゴリ１）をカテゴリとした図８に示すテーブルを選択し、このテーブルにおける商品アイテムの識別情報Ａ１〜Ａｎを読み込み、識別番号Ａ１〜Ａｎまでの商品アイテムの画像データを商品アイテム画像データベース２７から読み出し、サムネイル画像の画像データに変換し（画像データのビット数を低減させ）、それぞれに対応する販売商品アイテムの識別番号を付加してユーザ端末２００へ送信する。
また、制御部２１は、ユーザがサムネイル画像から購入を選択した販売商品アイテムの識別番号が入力されると、注文に対する受注処理を行うとともに、入力される識別番号を類似アイテム検索部２２へ送信する。ここで、受注処理は、ユーザ端末２００に対し、属性情報として記憶された価格に対応した料金請求と、受注した販売商品アイテムの在庫確認と、ユーザが入力する住所への販売商品アイテムの配送手続きなどである。

条件設定部３２は、ユーザが選択したサムネイル画像の識別番号とともに、ユーザ端末２００から送信された用途情報を、送受信部２５を介して読み込み、この用途情報を内部に設定するとともに、類似アイテム検索部２２へ出力する。この条件設定部３２の構成及び動作は第１の実施形態における条件設定部１８と同様である。
類似アイテム検索部２２は、入力される販売商品アイテムの識別番号と一致する識別番号が類似商品アイテムの欄に記載（設定）された複数の組合せ商品アイテムを、組合せ商品画像情報データベース２９のテーブル（カテゴリ１）から検索し、上記販売商品アイテムと同一あるいは類似した組合せ商品アイテムを類似商品アイテムとして抽出し、組合せ検索部２３へ出力する。このとき、類似アイテム検索部２２は、入力される販売商品アイテムの識別番号と一致する識別番号が類似商品アイテムの欄に記載された複数の組合せ商品アイテムを、組合せ商品画像情報データベース２９のテーブル（カテゴリ１）から選択し、さらに、条件設定部３２に設定されている用途情報と同一の用途情報を有する商品アイテムを選択して類似商品アイテムとして抽出する。
すなわち、類似アイテム検索部２２は、条件設定部３２に設定されている用途情報と、組合せ商品画像情報データベース２９における商品アイテムの用途情報とを比較し、一致しているか否かの判定を行う。このとき、類似アイテム検索部２２は、例えば、それぞれの用途情報の複数の項目（日時情報、場所情報、状況情報）と、条件設定部３２に設定されている用途情報の各項目とを比較し、それぞれの項目において少なくとも１つ一致している場合、抽出された商品の用途情報と、条件設定部１８に登録されている用途情報とが一致していると判定する。

組合せ検索部２３は、類似アイテム検索部２２から入力される識別番号の類似商品アイテムそれぞれに対応する、異なるカテゴリ、例えばズボン（カテゴリ２）の商品アイテムを、組合せ情報データベース２８から検索して、対応する組合せ商品アイテムを抽出し、第２の組合せ商品アイテムとしてその組合せの識別情報を制御部２１へ出力する。
また、制御部２１は、組合せ検索部２３から入力される類似商品アイテムの識別情報と、第２の組合せ商品アイテムの識別情報との複数の組合せの識別情報に対応する画像データを、それぞれの識別情報に対応して組合せ商品画像データベース３０から読み出し、ユーザ端末２００へ送信し、ユーザが選択した組合せにおける組合せ商品アイテムの識別情報を入力すると、受信した識別情報を商品検索部２４へ出力する。

商品検索部２４は、入力される第２の組合せ商品アイテムの識別情報に対応する、実際に販売している販売商品アイテムを商品アイテムデータベース２６から検索し、ユーザが購入した販売商品アイテムと組み合わせる異なるカテゴリの推奨販売商品アイテムとし、この推奨販売商品アイテムの画像データを、識別情報により商品アイテム画像データベース２７から読み出し、ユーザ端末２００へ送信する。
また、商品検索部２４は、推奨商品とされた販売商品アイテムの金額が、ユーザが購入した販売商品アイテムの金額とを比較し、設定した範囲（例えば、購入した組合せ商品の金額の０．５〜２倍以内）であるか否かを判定し、購入金額以下であればユーザ端末２００へ送信し、範囲外であれば推奨商品を送信しないようにしても良い。

次に、図７及び図１８を参照して本実施形態による検索支援システムの動作を説明する。図１８は、図７における検索支援システムの動作例を示すフローチャートである。以下、ユーザが入力する商品を商品アイテムとし、仮想商店にて実際に販売している商品を販売商品アイテム（商品アイテムデータベース２６における商品アイテム）、商品の組合せを選択する際に用いる画像媒体から抽出した商品を組合せ商品アイテム（組合せ商品画像情報データベース２９における商品アイテム）として説明する。
ユーザの操作によりユーザ端末２００が、情報通信網Ｉを介して商品検索支援装置１００が管理する仮想商店をアクセスすると、制御部２１は、性別、年代及びファッションの傾向を取得するための情報と、後述する組合せアイテムを表示したり、また表示された画像の選択操作を行う処理プログラムとをユーザ端末２００に対して送信する。ユーザ端末２００内において、インターネットブラウザ内に上記処理プログラムにより、画像表示処理部と選択処理部とを備え、商品検索支援装置１００から送信する画像データを表示したり、画像データの編集処理、画像データの選択処理を行う。

そして、制御部２１は、上記画面データに入力された性別、年代及びファッションの傾向に対する回答データ（例えば、画面に表示されたそれぞれの複数の選択肢から選択したデータ）をユーザ端末２００から受信すると、この性別、年代及びファッションの傾向に対応する商品アイテムデータベース２６の複数のテーブルから対応するテーブルを選択するとともに、販売商品アイテムのカテゴリを示すカテゴリ情報、例えばシャツ、ズボン、ジャケット、靴などの文字情報、あるいは画像情報を、送受信部２５及び情報通信網Ｉを介してユーザ端末２００へ送信する。
文字情報あるいは画像情報が入力されると、ユーザ端末２００は、上記処理プログラムに従い、表示部に文字情報あるいは画像情報によるカテゴリ（例えば、シャツ、ズボン、ジャケットなど）を表示し、いずれを購入するかをユーザに対して選択を促す表示（たとえば、「選択してください」など）を行う。
ユーザがいずれかのカテゴリを選択すると、ユーザ端末２００は、ユーザが選択したカテゴリを示すカテゴリ情報を、例えばシャツを示すカテゴリ情報を商品検索支援装置１００へ送信する（ステップＦ１）。

すなわち、ユーザの購入したい商品アイテムのカテゴリ情報を受信すると、制御部２１は、図８から図１０に示す商品アイテムデータベース２６のテーブルから、シャツをカテゴリ（カテゴリ１）とした図８に示すテーブルを選択し、このテーブルにおける販売商品アイテムの識別情報Ａ１〜Ａｎの全てを読み込み、識別番号Ａ１〜Ａｎまでの販売商品アイテムの画像データを商品アイテム画像データベース２７から読み出し、サムネイル画像の画像データとして、サムネイル画像それぞれに対応する販売商品アイテムの識別番号を付加してユーザ端末２００へ送信する。
サムネイル画像の画像データが供給されると、ユーザ端末２００は、識別番号Ａ１〜Ａｎの販売商品アイテムのサムネイル画像を表示部に表示する（ステップＦ２）。
そして、ユーザ端末２００は、表示されているサムネイル画像のいずれかをユーザが選択し、ユーザが用途情報を入力すると、選択したサムネイル画像の識別情報と、用途情報とを商品検索支援装置１００へ送信する。

選択されたサムネイル画像の識別情報及び用途情報を受信すると、制御部２１は、ユーザがサムネイル画像から、購入対象として選択した販売商品アイテムとして、この識別番号の販売商品アイテム、すなわちシャツへの注文に対する受注処理を行うとともに、入力される識別番号を類似アイテム検索部２２へ送信する。
そして、類似アイテム検索部２２は、例えば、ユーザの購入した販売商品アイテムの識別番号Ａ１が入力されると、この識別番号Ａ１に一致あるいは類似商品アイテムに識別番号Ａ１が記載され、かつ用途情報が一致する商品アイテムを、単数あるいは複数の商品アイテムからなる候補群として、図１５から図１７に示す組合せ商品画像情報データベース２９のテーブルから抽出する（ステップＦ３）。なお、商品画像情報データベース２９には、例えば、識別情報の欄に識別情報Ａ１が記載され、類似商品アイテムの欄にＡ１と記載された、商品アイテムデータベース２６に記載されている商品と同一のものも含まれている。
ここで、類似アイテム検索部２２は、例えば組合せ商品画像情報データベース２９から、販売商品アイテムの識別番号Ａ１が入力されると、属性データにおける類似商品アイテムの欄に識別番号Ａ１が記載されている上記識別番号ａ１−１〜ａ１−ｑの組合せ商品アイテムを、類似している組合せ商品アイテムの候補群として抽出し、組合せ検索部２３へ出力する。

組合せ検索部２３は、類似アイテム検索部２２から入力される上記候補群における識別番号の組合せ商品アイテムそれぞれに対応する、異なるカテゴリ、例えばズボンの組合せ商品アイテムを、図１４に示す組合せ情報データベース２８から検索して、対応するズボンの組合せ商品アイテム（例えば、図１４に示すａ１−１、ａ１−２、ａ１−３、…に対応するｂ１−２、ｂ２−３、ｂ１−４、…）を抽出し、第２の組合せ商品アイテムとして、その組合せにおけるそれぞれの識別情報を制御部２１へ出力する（ステップＦ４）。
ここで、ユーザが購買した販売商品アイテムと組み合わせる販売商品アイテムとして推奨するカテゴリは、購買した商品に対応して予め設定しておいても良いが、最初に複数のカテゴリからユーザに選択させるようにしても良い。
ここで、組合せ検索部２３は、ユーザが購買した販売商品アイテムと組み合わせる販売商品アイテムを抽出した後、この抽出した組み合わせる販売商品アイテムのなかから、条件設定部３２に設定されてい用途情報と一致する販売商品アイテムを選択し、この選択した販売商品アイテムを最終的な組み合わせる販売商品アイテムとしても良い。
そして、制御部２１は、組合せ検索部２３から入力される組合せ商品アイテムの識別情報と、第２の組合せ商品アイテムの識別情報との複数（候補群に対応する組合せ商品アイテムの数）の組合せの識別情報にそれぞれ対応する画像データを、それぞれの識別情報に対応させて組合せ商品画像データベース３０から読み出し、それぞれの組合せ商品アイテムの画像データに各々の識別情報を付加してユーザ端末２００へ送信する。

組合せ商品アイテム（シャツに対応）の識別情報と、第２の組合せ商品アイテム（ズボンに対応）の識別情報との複数の組合せの識別情報と、それに対応した画像データとが入力されると、ユーザ端末２００は、それぞれの組合せの画像データを表示部に表示する（ステップＦ５）。
また、表示画面の端部に、ＣＧ（Computer Graphics）で作成された体型別毎に対応した３次元の人間の画像が複数表示されており、いずれかを選択することにより、ユーザ端末２００は、組合せ商品アイテムのシャツ及びズボンを上記人間の画像に対して重ね合わせて表示する。また、ユーザ端末２００は、ユーザが搭載されたウェブカメラによりユーザ自身の顔を図示しない撮像装置により撮像し、この撮像した画像データからユーザが選択した顔の領域を上記ＣＧの人間の画像の顔の部分に重ねて表示する画像処理を行うようにしても良い。

次に、ユーザがユーザ端末２００の表示部に表示されている複数の組合せから、ポインティングデバイス等によりいずれかを選択すると（ステップＦ６）、例えば識別情報ａ１−１と識別情報ｂ１−２との組合せを選択すると、ユーザ端末２００は、ユーザが選択した組合せにおける第２の組合せ商品アイテム（ズボンに対応）の識別情報ｂ１−２を、商品検索支援装置１００へ送信する。
制御部２１を介して上記第２の組合せ商品アイテムの識別情報ｂ１−２を入力すると、商品検索部２４は、商品アイテムデータベース２６のズボンのカテゴリに対応する図９に示すテーブルを検索し（ステップＦ７）、この識別情報ｂ１−２に対応する識別情報Ｂ１である販売商品アイテムを抽出する（ステップＦ８）。
そして、制御部２１は、商品検索部２４が抽出した組合せ販売商品アイテムの識別情報Ｂ１に対応する画像データを、商品アイテム画像データベース２７から検索して読み出す。
また、制御部２１は、ユーザが購入した識別情報Ａ１に対応する画像データを、商品アイテム画像データベース２７から検索して読み出し、識別情報Ｂ１の販売商品アイテムの画像データとともに、ユーザ端末２００へ送信する。

販売商品アイテムの画像データが商品検索支援装置１００から供給されると、ユーザ端末２００は、この供給された組合せの画像データを表示部に表示する（ステップＦ９）。
このとき、上述したステップＦ５と同様に、表示画面の端部に、ＣＧで作成された体型別毎に対応した３次元の人間の画像が複数表示されており、この３次元の人間の画像のいずれか（例えば、自身の体型に近い人間の画像）を選択することにより、ユーザ端末２００は、販売商品アイテムのシャツ（識別情報Ａ１）及びズボン（識別情報Ｂ１）を、上記選択された３次元の人間の画像に対して重ね合わせて表示する。また、ユーザ端末２００は、搭載されたウェブカメラによりユーザの顔を撮像し、ユーザが選択した顔の領域を上記人間の画像の顔の部分に重ねて表示するようにしても良い。
そして、ユーザ端末２００は、ユーザが識別情報Ｂ１である販売商品アイテムの推奨商品を購入するあるいは購入しないを表示画面の選択肢から選択する（ステップＦ１０）と、購入するあるいは購入しないを示す情報とともに、識別情報Ａ１及び識別情報Ｂ１を、商品検索支援装置１００へ送信する。
購入するあるいは購入しないを示す情報とともに、識別情報Ａ１及び識別情報Ｂ１が入力されると、制御部２１は、購入する場合、識別情報Ａ１の販売商品アイテムの場合と同様に受注処理を行う。

また、商品検索支援装置１００に、図７において破線で示す履歴データベース３１を設けるようにしても良い。
履歴データベース３１は、図１９に示すテーブル構成をしたユーザテーブルと、各ユーザ毎の図２０に示すテーブル構成の購入履歴テーブルから構成されている。
図１９のユーザテーブルは、会員登録をしたユーザあるいは販売商品アイテムを購入したユーザに対し、各ユーザに付与した、各ユーザを識別するユーザ識別情報と、このユーザ識別番号に対応して、少なくともユーザの氏名及びユーザのユーザメールアドレスとが対応付けられて構成されている。
また、図２０の購入履歴テーブルは、各ユーザ毎に設けられ、上記ユーザ識別情報により識別され、仮想商店をアクセスしたアクセス日時に対応し、アクセス日時に購入した販売商品アイテムの識別情報と、検索したが購入しなかった販売商品アイテムの識別情報と、購入した販売商品アイテムに対して推奨したが購入しなかった組合せ商品アイテムの識別情報とを履歴として記憶している。購入した販売商品アイテムがなければ「−」が記憶される。このユーザテーブル及び購入履歴テーブルに対するデータの書き込み処理は、以下に示すように制御部２１により行われる。

制御部２１は、例えば、ユーザがユーザ端末２００から仮想商店にアクセスし、会員登録のページにおいて氏名及びメールアドレスを入力して会員登録を行うと、このユーザに対してユーザ識別情報を付与してユーザテーブルに追加登録する。
そして、制御部２１は、ユーザが選択したカテゴリにおいて販売商品アイテムを検索し、その販売商品アイテムを購入した場合、購入した販売商品アイテムを購入した商品アイテムの識別情報の領域に記憶し、一方、検索したが購入しなかった場合、検索した販売商品アイテムの識別情報を検索したが購入しなかった商品アイテムの識別情報の領域に記憶する。
また、制御部２１は、上記購入した販売商品アイテムと組み合せる推奨商品としての販売商品アイテムをユーザ購入すると、上記購入履歴テーブルにおいて、購入した販売商品アイテムを、購入した商品アイテムの識別情報の領域に記憶し、一方、上記推奨商品としての販売商品アイテムを購入しなかった場合、推奨したが購入しなかった商品アイテムの識別情報の領域に記憶する。

そして、制御部２１は、再度、ユーザが仮想商店をアクセスし、販売商品アイテムを検索した場合、ユーザの入力するユーザ識別情報により、このユーザの購入履歴テーブルを履歴データベース３１から選択し、この販売商品アイテムの識別情報により、選択した購入履歴テーブルを検索する。
このとき、制御部２１は、ユーザが検索している販売商品アイテムの識別情報が、購入した商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを購入した日時を付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、すでに購入した組合せ商品化アイテムを通知する。

また、制御部２１は、検索している販売商品アイテムの識別情報が、検索したが購入しなかった商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを検索した日時を付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、「前にも検索した商品アイテムであり、お気に入りのタイプではないですか」などの購入意欲を刺激する情報を通知する。
また、制御部２１は、検索している販売商品アイテムの識別情報が、推奨したが購入しなかった商品アイテムの識別情報の領域で検出された場合、同一の販売商品アイテムを推奨した日時と、その際に購入した販売商品アイテムの画像データを付加して、ユーザ端末２００へ送信し、表示画面に表示させてユーザに対し、「前にお買いになった商品アイテムと組み合わせると良い商品アイテムですよ」などの購入意欲を刺激する情報を通知する。

次に、特徴データについて説明する。図８から図１０及び図１５から図１７に記載されているように、特徴データは例えば、Ｒ（赤）Ｇ（緑）Ｂ（青）の色空間毎に、服飾の生地の柄を２次元フーリエ変換したものである。制御部２１は、この特徴データの要素データＲＤ、ＧＤ及びＢＤを２次元フーリエ変換により生成する。このとき、販売商品アイテムあるいは組合せ商品アイテムがシャツやジャケットであれば服の横幅あるいは肩幅を、２次元フーリエ変換する際の長さの基準値として、各販売商品アイテム及び組合せ商品アイテム間の処理におけるデータの整合をとるようにする。
また、ズボンであれば、ウェスト部分の横幅を２次元フーリエ変換する際の長さの基準値として、各販売商品アイテム及び組合せ商品アイテム間の処理におけるデータの整合をとるようにする。

すなわち、特徴データにより、類似性を確認するため、柄の大きさなどを正確に判定するため、装飾品のいずれかの位置の寸法を基準値として、全体の各部の寸法を規格化し、同一カテゴリ内における組合せ商品の２次元フーリエ変換結果の整合がとれるようにする必要がある。２次元フーリエ変換を行う画像データを撮像する際、シャツ、ジャケット及びズボンなどは平らな床におき、平坦にした後にデジタルカメラなどにより撮像する。
また、特徴データの要素データとしての形状とは、例えば、シャツやジャケットであれば肩幅に対する袖の長さの比、ズボンであれば、渡り巾と裾巾の比である。
次に、テクスチャであるが、一番大きな面積を有している生地部分を拡大し、生地の形状の２次元フーリエ変換を行う。この際は、拡大率を一定として、異なる組合せアイテム間の画像データから得られる２次元フーリエ変換のデータの整合性をとる。

上述したように、仮想商店の店員は服飾の画像データを撮像し、この撮像した画像データから、制御部２１において上述したようにフーリエ変換等を行い、販売している販売商品アイテムの画像データから特徴データを収集、またファッションカタログ、あるいはインターネットなどの画像媒体から収集した組合せ商品アイテムの画像データから属性データを収集する。
そして、類似性を有する組合せ商品アイテムを、実際に販売している販売商品アイテムの特徴データを塊の重心データとして、画像媒体から収集した組合せ商品アイテムのクラスタリングを行う。ここで、制御部２１は、例えば、店員の入力する画像媒体から収集した組合せ商品アイテムそれぞれの画像データの特徴データからなる比較特徴ベクトルと、実際に販売している販売商品アイテムそれぞれの画像データの特徴データからなる基準特徴ベクトルの距離を求め、各販売商品アイテムとそれぞれ他の組合せ商品アイテムの基準特徴ベクトルより距離が近い特徴ベクトルを有する組合せ商品アイテムを、近いとされた販売商品アイテムと類似性のある塊とする処理を行い、図１５、図１６及び図１７のテーブルにおける組合せ商品アイテムと類似商品アイテムの欄の販売商品アイテムとの対応関係を生成する。

同様に、図８、図９及び図１０のテーブルにおける販売商品アイテムと類似商品アイテムの欄の組合せ商品アイテムとの対応関係を生成する。すなわち、図８、図９及び図１０におけるテーブルの類似商品アイテムの欄に記載されている識別情報は、対応する識別情報の販売されている販売商品アイテムに対し、他の販売されている販売商品アイテムに比較して特徴ベクトルの距離が短い、すなわち類似性を有する組合せ商品アイテムの識別情報である。
ここで、制御部２１は、例えば、図８、図９、図１０それぞれの図における類似商品アイテムの欄に、特徴ベクトルの距離が短い順番に、すなわち類似性の高い順番に並べて記憶させるようにしても良い。これにより、販売商品アイテムに最も類似している組合せ商品アイテムを選択する場合、類似アイテム検索部２２は、画像媒体から収集した組合せ商品アイテムから、最も類似する組合せ商品アイテム、あるいは類似度が高い方からｈ番目（ｈは予め設定されている）までを、図１５から図１７より容易に抽出することが可能となる。

また、上述したように、販売商品アイテム各々の基準特徴ベクトルと、近い距離にある比較特徴ベクトルを有する画像媒体から収集した組合せ商品アイテムの特徴データと、を比較してクラスタリングを予め行って、類似商品アイテムの識別情報を記載する欄を設けるのではなく、類似する組合せ商品アイテムを検索する際に、その都度、類似度を計算するようにしても良い。
例えば、ステップＦ３における販売商品アイテムに類似する画像媒体から取得した組合せ商品アイテムの検索において、類似アイテム検索部２２が、上述した基準特徴ベクトルと比較特徴ベクトルとの距離により類似度（特徴ベクトルの距離が短いほど類似度は高い）を算出し、販売商品アイテムと類似性を有する画像媒体から収集した組合せ商品アイテムを抽出する構成としても良い。

このとき、同様に、ステップＦ７における画像媒体から取得した組合せ商品アイテムに類似する販売商品アイテムの検索において、商品検索部２４が、上述した基準特徴ベクトルと比較特徴ベクトルとの距離により類似度を算出し、画像媒体から収集した組合せ商品アイテムと類似性を有する販売商品アイテムを抽出する構成としても良い。
さらに、類似アイテム検索部２２及び商品検索部２４は、販売商品アイテムと、画像媒体から収集した組合せ商品アイテムと距離を算出し、最も類似度の高いもの、あるいは類似度の高い方からｈ番目のものまでを抽出するようにしてもよい。
以上のように、本実施形態によれば、ユーザが対象物を検索する場合において、情報提供等により検索を支援できる。
例えば、上述したように、組合せ商品の購入において、ユーザが購入するあるいは購入した商品に対し、組み合わせた場合に合う商品を、販売されている商品群のなかから抽出し、抽出した商品をユーザに推奨するため、インターネットの仮想商店にある多くの商品から合う商品を選択する際に、合うか合わないかを自身で悩む必要がなく、容易に組合せ商品を選択することができる。

また、上述した本実施形態において、用途情報を組合せ商品画像情報データベース２９各商品アイテムの属性情報の一つとして付加して説明したが、用途情報のカテゴリの分類毎に、組合せ商品画像情報データベース２９を構成しても良い。例えば、春用、夏用、秋用及び冬用の各々の商品テーブルを構成して用いても良い。この場合、類似アイテム検索部２２は、ユーザ端末２００からの検索依頼に付加される登録情報に対応した商品画像情報データベース２９を選択し、選択した商品画像情報データベース２９から検索依頼された商品アイテムに類似した商品アイテムを検索することになり、検索時間を短縮することが可能となる。

＜第３の実施形態＞
第２の実施形態においては、商品検索支援装置１００がサムネイル画像により販売商品アイテムを、ユーザ端末２００へ送信し、ユーザにユーザ端末２００の画面上にて選択させていた。
第３の実施形態においては、ユーザが仮想商店にアクセスした後、画像媒体からスキャナなどで読み込んだ、あるいはインターネットでダウンロードした購入したい服飾の画像データを、ユーザ端末２００に商品アイテムの画像データとして入力し、ユーザ端末２００がこの画像データを商品検索支援装置１００へ送信し、商品検索支援装置１００がこの画像データの組合せ商品アイテムに類似する販売商品アイテムを抽出するようにしても良い。販売商品アイテムを抽出した後の動作は、第２の実施形態においてユーザがサムネイル画像から販売商品アイテムを選択した後の動作と同様である。

第３の実施形態による商品検索支援装置１００の構成は、第２の実施形態と同様である。以下、第２の実施形態と異なる動作のみ説明する。
ユーザがユーザ端末２００により仮想商店にアクセスすると、商品検索支援装置１００が起動し、制御部２１は、ユーザ端末２００にサムネイル画像から販売商品アイテムを選択するか、あるいはユーザが入力する服飾の画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出するかの質問を行う入力画面（選択肢をマウスなどによりクリックして検索する）の画像情報を、ユーザ端末２００に送信する。
そして、ユーザがサムネイル画像から購入する商品を選択することを決定することにより、ユーザ端末２００からサムネイル画像により選択を示す応答信号が入力されると、制御部２１は第２の実施形態と同様に、それぞれの画像データに販売商品アイテムの識別情報を付加し、複数の販売商品アイテムのサムネイル画像をユーザ端末２００へ送信する。この後の、ユーザがサムネイル画像からいずれかを選択した後は、第２の実施形態と同様の処理となる。

一方、ユーザが自身の入力する画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出することを選択すると、ユーザ端末２００は、ユーザの入力する画像データにより選択することを示す応答信号が商品検索支援装置１００に対して送信される。これにより、制御部２１は、画像データを入力する入力画面の情報を、ユーザ端末２００へ送信する。
ユーザは、購入したい服飾の画像データ（ファッション雑誌、あるいはファッションカタログ等の紙の画像媒体）をスキャナによりユーザ端末２００に読み込ませるか、あるいはデジタルカメラにて撮像してその撮像した画像データ、またインターネットにより得られた画像データをユーザ端末２００に読み込ませる。
画像データを読み込むと、ユーザ端末２００における入力画面の画像データ表示領域にこの画像データが図２１に示すように表示部に表示され、ユーザは画像データの購入したい服飾部分、例えば、抽出したいシャツ部分の領域を破線Ｈ１により選択し、抽出したいシャツ部分の外周部（当該シャツの外周部近傍の部分）を破線Ｈ２で囲むことで、抽出したいシャツ部分全体の背景画像の部分の選択を行う。そして、ユーザがユーザ端末２００の表示部の表示画面において、カテゴリ名をコンボボックスのカテゴリ（例えば、シャツ）の一覧から選択し、表示画面における送信ボタンをユーザがクリックすることにより、ユーザ端末２００は、画像データを送信処理する処理が要求されたことを検出し、破線Ｈ１及び破線Ｈ２が引かれた服飾の画像データと、引かれていない服飾の画像データと、選択した服飾のカテゴリ名を示すカテゴリ情報とを、商品検索支援装置１００へ送信する。

そして、破線Ｈ１及び破線Ｈ２が引かれた服飾の画像データと、破線の引かれていない服飾の画像データとを受信すると、制御部２１は、上記服飾の画像データに対し、Graph-Cut法によりシャツ部分とそれ以外の部分とのセグメンテーションする処理を行い、シャツ部分を抽出する。
すなわち、制御部２１は、シャツ部分に引かれた破線Ｈ１にかかる画素と同様な画素値を有する領域と、シャツ部分以外に引かれた破線Ｈ２にかかる画素と同様な画素値を有する領域との境界を、階調度による誤差関数の誤差が最小となる位置として求めることにより、セグメンテーションを行う。
ここで、制御部２１は、シャツの部分を抽出すると、すでに述べたように２次元フーリエ変換を行うとともに、特徴データにおける要素としての形状データを抽出し、検出対象特徴データとして出力する。

そして、制御部２１は、抽出された服飾のカテゴリに対応したテーブルを、例えば本実施形態においてはシャツのテーブルを商品アイテムデータベース２６から選択する。
シャツのテーブルを選択した後、制御部２１は、テーブルの各販売商品アイテムの特徴データからなる基準特徴ベクトルと、上記検出対象特徴データからなる対象特徴ベクトルとの距離を算出し、予め設定した距離以下となる検出対象特徴データと類似した特徴データを有する販売商品アイテムを、上記シャツのテーブルから、類似したと判定される上位ｈ番目まで、例えば上位５番目まで抽出する。ここで、制御部２１は、特徴データにおいて、ユーザから送信された画像データからテクスチャを抽出することが困難であるため、特徴データから特徴ベクトルを生成する際、ベクトルの要素からテクスチャを除いて、比較する両者の特徴ベクトルの距離を算出する。
次に、制御部２１は、この上位５品の識別情報により、それぞれの販売商品アイテムの画像データを、商品アイテム画像データベース２７から読み出し、サムネイル画像として、それぞれ識別情報に対応させて、ユーザ端末２００へ送信する。これ以降の処理は、第２の実施形態における図１８のフローチャートにおけるステップＦ２にて、サムネイル画像を送信した以降の処理と同様である。

＜第４の実施形態＞
第３の実施形態においては、ユーザが入力する商品アイテムの画像データと同一あるいは同様な販売商品アイテムを、販売している販売商品アイテムを記憶している商品アイテムデータベース２６から検索し、検索された販売商品アイテムをユーザに提示するとともに、検索された販売商品アイテムと組み合わせる他のカテゴリの販売商品アイテムを推奨する処理を行っている。
第４の実施形態においては、すでにユーザが有している服飾と組み合わせる販売商品アイテムを検索する動作を行う。

ユーザは自身の有している服飾、例えばシャツをデジタルカメラにより撮像し、ユーザ端末２００により上記シャツの画像データをデジタルカメラより読み込ませる。
そして、ユーザがユーザ端末２００により仮想商店にアクセスすると、商品検索支援装置１００が起動し、制御部２１は、ユーザがサムネイル画像から販売商品アイテムを選択するか、あるいはユーザが入力する服飾の画像データにより、類似する販売商品アイテムを商品アイテムデータベース２６から抽出するか、あるいはユーザが入力する画像データの服飾に対し組み合わせる販売商品アイテムを推奨するかの質問を行う入力画面（選択肢をマウスなどによりクリックして検索する）の画像情報を、ユーザ端末２００に送信する。

そして、ユーザがサムネイル画像から購入する商品を選択することを決定することにより、ユーザ端末２００からサムネイル画像により選択を示す応答信号が入力されると、制御部２１は第２の実施形態と同様に、それぞれの画像データに販売商品アイテムの識別情報を付加し、複数の販売商品アイテムのサムネイル画像をユーザ端末２００へ送信する。この後の、ユーザがサムネイル画像からいずれかを選択した後は、第２の実施形態と同様の処理となる。
一方、ユーザが自身の入力する画像データにより、販売商品アイテムを商品アイテムデータベース２６から抽出することを選択すると、ユーザ端末２００は、ユーザの入力する画像データにより選択することを示す応答信号が商品検索支援装置１００に対して送信される。これ以降の処理は、第３の実施形態と同様の処理となる。

また、ユーザが自身の入力する画像データの服飾と組み合わせる他のカテゴリの販売商品アイテムを推奨することを選択すると、ユーザ端末２００は、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを選択したことを示す応答信号を、商品検索支援装置１００に対して送信する。
以下、これ以降の第４の実施形態による、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨する処理を説明する。第４の実施形態による商品検索支援装置１００の構成は、第２の実施形態と同様である。以下、第１及び第３の実施形態と異なる動作のみ説明する。

上述したように、ユーザが自身の入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを選択すると、ユーザ端末２００は、ユーザの入力する画像データの服飾と組み合わせる販売商品アイテムを推奨することを示す応答信号を、商品検索支援装置１００に対して送信する。これにより、制御部２１は、画像データ及び用途情報を入力する入力画面の情報を、ユーザ端末２００へ送信する。
ユーザは、組み合わせる販売商品アイテムを推奨してほしい自身の有する服飾（例えばシャツ）の画像データをデジタルカメラ等の撮像装置にて撮像し、この撮像装置から上記服飾を撮像した画像データをユーザ端末２００に読み込ませる。

ユーザ端末２００が読み込んだ画像データが表示部に表示されると、ユーザは、上記画像データ表示領域近傍にあるカテゴリ入力欄に、画像データ表示領域に表示されている画像データの服飾のカテゴリを、コンボボックスから選択して入力する。また、ユーザはユーザ端末２００の表示部における画像データ表示領域近傍にある、用途情報をコンボボックスから選択して入力する。
そして、ユーザが入力画面における送信ボタンを、マウスなどのポインティングデバイスにより選択すると、ユーザ端末２００は、画像データを送信処理する処理が要求されたことを検出し、画像データ表示領域に表示している画像データを、上記カテゴリを示すカテゴリ情報及び用途情報とともに商品検索支援装置１００へ送信する。
画像データが入力されると、制御部２１は、画像データの服飾、例えばシャツの画像データに対して２次元フーリエ変換を行うとともに、特徴データにおける要素としての形状データを抽出し、検出対象特徴データとして、カテゴリ情報とともに類似アイテム検索部２２へ出力する。また、制御部２１は、画像データ及びカテゴリ情報とともに供給された用途情報を条件設定部３２に出力する。これにより、条件設定部３２は、類似した商品アイテムを検索する際に用いる用途情報を内部に設定し、類似アイテム検索部２２に対して出力する。

そして、類似アイテム検索部２２は、抽出された服飾のカテゴリに対応したテーブルを、例えばシャツのテーブルを組合せ商品画像情報データベース２９から選択する。
シャツのテーブルを選択した後、類似アイテム検索部２２は、テーブルの各組合せ商品アイテムの特徴データからなる基準特徴ベクトルと、上記検出対象特徴データからなり対象特徴ベクトルとの距離を算出し、予め設定された距離以下となる検出対象特徴データと類似した特徴データを有する組合せ商品アイテムを、上記シャツのテーブルから、条件設定部３２に設定されている用途情報と一致し、類似したと判定された距離が短い順に上位ｈ番目まで、例えば上位５番目までの組合せ商品アイテムを抽出する。ここで、制御部２１は、特徴データにおいて、ユーザから送信された画像データからテクスチャを抽出することが困難であるため、特徴データから特徴ベクトルを生成する際、ベクトルの要素からテクスチャを除いて、基準特徴ベクトル及び検出対象特徴ベクトルを生成する。

そして、類似アイテム検索部２２は、検出された類似度が上位５番目までの組合せ商品アイテム、例えばシャツの５個の識別情報を組合せ検索部２３へ出力する。
組合せ商品アイテムの識別情報が入力されると、組合せ検索部２３は、組合せ情報データベース２８において、入力された組合せ商品アイテムの５個の識別情報各々と対応して記憶されている他のカテゴリ、例えばズボンの組合せアイテムの識別情報を読み出す。
次に、組合せ検索部２３は、シャツとズボンとの５個の組合せにおけるそれぞれの識別情報の組合せを、制御部２１に対して送信する。この後の処理は、図１８のフローチャートにおけるステップＦ５以降の処理と同様である。

＜第５の実施形態＞
組合せ商品画像情報データベース２９には、過去の、例えば、１０年前、あるいは２０年前などのように古いファッション雑誌あるいはファッションカタログ等から収集した、古い服飾の画像データの属性データを識別情報に対応させて記憶させておいても良い。
また、組合せ商品画像データベース３０には、古い服飾の画像データが上記識別信号に対応して記憶されている。
そして、過去のファッション雑誌あるいはファッションカタログ等にある組合せ商品アイテムの組合せに対応して、図１４に示す異なるカテゴリ間の組合せ商品アイテムの組合せのテーブルを、組合せ情報データベース２８に作成する。
上述したように、組合せ商品画像情報データベース、組合せ商品画像データベース３０及び組合せ情報データベース２８を構成することにより、過去のデザインに似た新しい販売商品アイテムが販売された際、過去のデザインにおける組合せを利用して、現在において販売している販売商品アイテムから、過去のデザインに似た新しい組合せ商品アイテムに組み合わせる販売商品アイテムを容易に抽出することが可能となる。
本実施形態においては、商品アイテムとして服飾を例として説明したが、複数の異なる種類（カテゴリ）の商品を組み合わせる組合せ商品、例えば、組合せ家具、組合せ家電などの商品全般に、容易に適用することができる。

なお、上記各実施形態において、検索サーバ１、１ａ、及び商品検索支援装置１００各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより商品検索の支援処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
上述したように、本発明に係る態様によれば、ユーザが検索したい対象物又は該対象物と類似する対象物を容易に検索することができる。

本発明は、インターネットを介し、ユーザが対象物の検索にあたり、検索する対象物の選択や決定を支援する検索支援システム、それと類似の技術において用いて好適であり、その対象物の画像データによりユーザの検索したい対象物の検索を行うことができる。

１…検索サーバ
２…ユーザ端末
１１…抽出部
１２…種類判定部
１３…検索部
１４…組合せ抽出部
１５…嗜好抽出部
１６…データベース
１７…送受信部
１８、３２…条件設定部
２１…制御部
２２…類似アイテム検索部
２３…組合せ検索部
２４…商品検索部
２５…送受信部
２６…商品アイテムデータベース
２７…商品アイテム画像データベース
２８…組合せ情報データベース
２９…組合せ商品画像情報データベース
３０…組合せ商品画像データベース
３１…履歴データベース
１００…商品検索支援装置
２００…ユーザ端末
Ｉ…情報通信網

Claims (13)

1. ユーザ端末から入力画像を受信する受信部と、
   前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出し、前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出する抽出部と、
   第２商品のそれぞれについて、前記第２商品の画像を記憶した商品テーブルを含むデータベースと、
   前記抽出部により抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索し、検索した結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索し、前記第２商品の画像を検索した後、前記商品テーブルを参照し、検索した前記第２商品の画像を前記ユーザ端末へ送信する検索部と、
   前記検索部により検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースと、
   前記検索部により検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索する組合せ検索部と、
   ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示する表示部と、
   を備え、
   前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、
   前記表示部は、前記表示部に表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ検索部が検索した前記組合せ商品の画像を重ねて表示する、
   検索支援システム。
2. 前記抽出部は、前記部分領域を示す領域情報が対応付けられているか否かを判定する、
   請求項１に記載の検索支援システム。
3. 前記抽出部は、抽出した前記輪郭に基づく輪郭画像を生成する、
   請求項１又は２に記載の検索支援システム。
4. 前記データベースは、
   前記第２商品の種類のそれぞれについて、前記第２商品の輪郭画像に対応するテンプレート画像が記憶された輪郭データテーブルを含み、
   前記検索支援システムは、
   前記抽出部により生成された前記輪郭に基づく輪郭画像に基づいて前記第２商品の輪郭画像に対応する前記テンプレート画像を前記輪郭データテーブルから検索し、前記輪郭に基づく輪郭画像に対応する前記第１商品の種類を求める種類判定部を更に備える、
   請求項３に記載の検索支援システム。
5. 前記検索部は、
   前記輪郭に基づく輪郭画像と、前記商品テーブルに記憶された前記第２商品の画像とを比較し、前記輪郭に基づく輪郭画像に対して類似度が高い前記第２商品の画像を検索する、
   請求項３に記載の検索支援システム。
6. 前記商品テーブルは、
   前記第２商品の情報を更に記憶しており、
   前記検索部は、
   前記商品テーブルを参照し、検索した前記第２商品の情報を前記ユーザ端末へ送信する、
   請求項１から５のうちいずれか一項に記載の検索支援システム。
7. 前記検索部は、
   前記商品テーブルを参照し、検索した前記第２商品の画像を前記ユーザ端末へ送信する、
   請求項１から６のうちいずれか一項に記載の検索支援システム。
8. 前記ユーザ端末は、
   前記ユーザ端末が有する撮像部によって撮像された画像を前記入力画像として前記受信部に送信する、
   請求項１から７のうちいずれか一項に記載の検索支援システム。
9. 前記ユーザ端末が所定の操作をユーザから受け付けた場合、複数の前記用途情報の中からユーザが所望する前記用途情報をユーザに選択させる画面の画像情報を前記ユーザ端末に送信する送信部を備える、
   請求項１から８のうちいずれか一項に記載の検索支援システム。
10. 前記抽出部は、前記入力画像に前記領域情報が対応付けられていない場合、前記入力画像の全体において隣接する画素間の差分を算出することにより前記入力画像の全体の中から前記輪郭を抽出し、前記入力画像に前記領域情報が対応付けられている場合、前記部分領域において隣接する画素間の差分を算出することにより前記部分領域の中から前記輪郭を抽出する、
    請求項１から９のうちいずれか一項に記載の検索支援システム。
11. 前記ユーザ端末は、
    ユーザから受け付けた操作に基づいて、前記ユーザ端末が有する表示部に表示された前記入力画像内の画像領域のうちの前記ユーザが前記輪郭を抽出したい所望の画像領域である第１領域と、前記第１商品の外周部の画像領域である第２領域とのそれぞれを、前記部分領域として選択する、
    請求項１から１０のうちいずれか一項に記載の検索支援システム。
12. ユーザ端末から入力画像を受信するステップと、
    前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出するステップと、
    前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出するステップと、
    第２商品のそれぞれについて前記第２商品の画像を記憶した商品テーブルを含むデータベースを参照し、前記抽出するステップにおいて抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索するステップと、
    前記第２商品の画像を検索するステップにおいて検索された結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップと、
    前記用途情報に応じた前記第２商品の画像を検索するステップにおいて前記第２商品の画像が検索された後、前記商品テーブルを参照し、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて検索された前記第２商品の画像を前記ユーザ端末へ送信するステップと、
    前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索するステップと、
    ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示するステップと、
    を有し、
    前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、
    前記表示するステップは、前記表示するステップにおいて表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ商品の画像を検索するステップにおいて検索された前記組合せ商品の画像を重ねて表示する、
    検索支援方法。
13. 検索支援システムのコンピュータに、
    ユーザ端末から入力画像を受信するステップと、
    前記入力画像内における部分領域を示す領域情報が前記入力画像に対応付けられている場合、前記部分領域の中から第１商品の画像領域の輪郭を抽出するステップと、
    前記入力画像に前記領域情報が前記入力画像に対応付けられていない場合、前記入力画像全体の輪郭を抽出するステップと、
    第２商品のそれぞれについて前記第２商品の画像を記憶した商品テーブルを含むデータベースを参照し、前記抽出するステップにおいて抽出された前記輪郭に基づいて、前記第１商品に対して類似度が高い第２商品の画像を検索するステップと、
    前記第２商品の画像を検索するステップにおいて検索された結果と、前記ユーザ端末から受け付けた用途情報とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップと、
    前記用途情報に応じた前記第２商品の画像を検索するステップにおいて前記第２商品の画像が検索された後、前記商品テーブルを参照し、前記用途情報に応じた前記第２商品の画像を検索するステップにおいて検索された前記第２商品の画像を前記ユーザ端末へ送信するステップと、
    前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品の画像と、ユーザから受け付けた選択操作の結果とに基づいて、前記用途情報に応じた前記第２商品の画像を検索するステップにより検索された前記第２商品と、前記第１商品に組み合わせ可能な第３商品とが組み合わされた組合せ商品の画像が、組み合わせごとに記憶された組合せ商品データベースに記憶されている複数の前記組合せ商品の画像のうち、ユーザに選択された前記組合せ商品の画像を検索するステップと、
    ＣＧ（Computer Graphics）で作成された体型別に対応した３次元の人間の画像を複数表示するステップと、
    を実行させるためのプログラムであって、
    前記用途情報は、検索する前記第２商品を用いる場所を示す場所情報と、検索する前記第２商品を用いる状況を示す状況情報との少なくとも一方を含み、
    前記表示するステップは、前記表示するステップにおいて表示された複数の前記人間の画像の中からユーザにより選択された前記人間の画像に対して、前記組合せ商品の画像を検索するステップにおいて検索された前記組合せ商品の画像を重ねて表示する、
    プログラム。

Images