JP2019207508A - 画像検索装置、画像検索方法、画像検索プログラム及び商品カタログ生成システム - Google Patents

Abstract

【課題】 異なるカテゴリの商品をレコメンドする際、適切な組み合わせとなる商品をレコメンドできるようにする。【解決手段】 画像検索装置は、処理対象の画像を取得する取得部と、前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定部と、を有し、前記処理対象の画像と、特定された前記対応画像とを対応付けて出力することを特徴とする。【選択図】図１

Description

本発明は、画像検索装置、画像検索方法、画像検索プログラム及び商品カタログ生成システムに関する。

従来より、顧客に対して最適な商品をレコメンドするレコメンド技術が知られている。例えば、下記特許文献１には、商品データとユーザの属性データとの関係を予め学習しておき、新たなユーザの属性データを学習結果に入力することで、各商品データとの適合度を算出する算出方法が開示されている。

下記特許文献１によれば、当該算出方法を用いることで、適合度に応じた商品をレコメンドすることができる。

しかしながら、下記特許文献１によれば、ユーザが複数のカテゴリ（トップス、ボトムス、靴、帽子等）の商品を購入するケースでは、カテゴリごとに商品をレコメンドすることになる。一方で、カテゴリごとに個別にレコメンドされた商品が、適切な組み合わせになるとは限らない。

本発明は上記課題に鑑みてなされたものであり、異なるカテゴリの商品をレコメンドする際、適切な組み合わせとなる商品をレコメンドできるようにすることを目的とする。

本発明の各実施形態によれば、画像検索装置は、例えば、以下のような構成を有する。即ち、
処理対象の画像を取得する取得部と、
前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定部と、を有し、
前記処理対象の画像と、特定された前記対応画像とを対応付けて出力することを特徴とする。

本発明の各実施形態によれば、異なるカテゴリの商品をレコメンドする際、適切な組み合わせとなる商品をレコメンドすることができるようになる。

第１の実施形態に係る画像検索装置を有する販売システムのシステム構成の一例を示す図である。 販売システムにおける各フェーズの処理の流れを示すシーケンス図である。 画像検索装置のハードウェア構成の一例を示す図である。 画像検索装置の機能構成の一例を示す図である。 画像検索装置の情報取得部の機能構成の詳細を示す図である。 第１学習用情報の一例を示す図である。 マップ生成部の処理の具体例を示す図である。 第２学習用情報の一例を示す第１の図である。 第２学習用情報の一例を示す第２の図である。 商品画像情報の一例を示す図である。 画像検索装置の学習部の機能構成の詳細を示す図である。 評価値学習部の処理の具体例を示す図である。 組み合わせ学習部の処理の具体例を示す第１の図である。 最適な組み合わせの物品間における評価値の関係を模式的に示した第１の図である。 組み合わせ学習部の処理の具体例を示す第２の図である。 最適な組み合わせの物品間における評価値の関係を模式的に示した第２の図である。 画像検索装置の解析部及び販売用画像生成部の機能構成の詳細を示す図である。 組み合わせ候補算出画面の一例を示す図である。 組み合わせ候補算出画面及び組み合わせ候補算出結果画面の一例を示す図である。 組み合わせ候補算出部の処理の具体例を示す図である。 レコメンド候補算出部の処理の具体例を示す図である。 画像検索装置の解析部による解析処理の流れを示すフローチャートである。 販売用画像生成部の処理の具体例を示す図である。 サーバ装置により提供される表示画面の一例を示す第１の図である。 サーバ装置により提供される表示画面の一例を示す第２の図である。 サーバ装置により提供される表示画面の一例を示す第３の図である。 サーバ装置によるレコメンドサービス提供処理の流れを示すフローチャートである。

以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜１．販売システムのシステム構成＞
はじめに、第１の実施形態に係る画像検索装置を有する販売システムのシステム構成について説明する。図１は、第１の実施形態に係る画像検索装置を有する販売システムのシステム構成の一例を示す図である。

図１に示すように、販売システム１００は、顧客１１１が有する携帯端末１１０と、商品の販売サービスを提供するサーバ装置１２０と、画像検索装置１３０と、販売者１４１が有する端末１４０と、印刷装置１５０とを有する。

携帯端末１１０は、ネットワーク１６０を介して、サーバ装置１２０にアクセスし、サーバ装置１２０が提供する販売サービスを介して、顧客１１１が所望する商品についての購入処理を実行する。携帯端末１１０は、購入処理を実行するにあたり、サーバ装置１２０より、「商品画像」及び「組み合わせ商品画像」を受信し、表示する。「商品画像」とは、アパレルメーカが現在販売している商品を撮影した撮影画像を指す。また、「組み合わせ商品画像」とは、アパレルメーカが現在販売している商品のうち、最適な組み合わせであると判定された商品を身に着けたファッションモデルを撮影した撮影画像を指す。顧客１１１は、表示された組み合わせ商品画像を参照しながら、商品画像を選択することで、所望する商品の購入を指示する。

また、携帯端末１１０は、商品画像を選択するにあたり、「顧客画像」をサーバ装置１２０に送信することができる。「顧客画像」とは、例えば、顧客が撮影した画像であって、レコメンドサービスを受けるために顧客が入力した画像を指す。あるいは、クラウドサーバやＳＮＳ（Social Networking Service）にアップされた画像（ただし、それらの画像をサーバ装置１２０が取得できること、及び取り扱うことができることが前提）であってもよい。携帯端末１１０は、顧客画像１１２に含まれる物品（例えば、顧客１１１が着ているコート）に対して最適な組み合わせであると判定された商品（図１の例ではセータ）を含む商品画像を、レコメンド商品画像１１３として受信し、表示することができる。

これにより、顧客１１１は、自身が有する物品（コート）との組み合わせが最適な商品（セータ）を認識したうえで、商品画像を選択することができる。

サーバ装置１２０は、携帯端末１１０からのアクセスに応じて、携帯端末１１０に対して、商品画像及び組み合わせ商品画像を提供する。なお、サーバ装置１２０は、携帯端末１１０に提供する商品画像及び組み合わせ商品画像を、画像検索装置１３０より取得する。

また、サーバ装置１２０は、携帯端末１１０より送信された顧客画像１１２を受信すると、画像検索装置１３０に対して顧客画像１１２を送信し、画像検索装置１３０よりレコメンド商品画像を受信する。サーバ装置１２０は、受信したレコメンド商品画像を携帯端末１１０に送信する。

画像検索装置１３０は、端末１４０より学習用情報及び商品画像の入力を受け付ける。「学習用情報」とは、所定のカテゴリに属する物品の評価値と、他のカテゴリに属する物品の評価値との関係を学習する際に用いる情報であり、詳細は後述する。なお、「評価値」とは、各物品について、物品の印象を示す指標に基づいて付与された値または情報である。また、「カテゴリ」とは、物品を区分するための分類であり、後述するように、大分類のみが定義されたカテゴリや、大分類と小分類とが定義されたカテゴリ等が含まれる。なお、大分類及び小分類が同じであっても、例えば、大人向けの物品と、子供向けの物品とでは、異なるカテゴリに区分されるものとする。

また、画像検索装置１３０は、学習用情報を用いて学習した関係に基づいて、所定のカテゴリに属する商品との組み合わせが最適な、他のカテゴリに属する商品を特定することで、例えば、組み合わせ商品画像１３２を生成する。なお、画像検索装置１３０は、商品画像と組み合わせ商品画像とを、サーバ装置１２０及び印刷装置１５０に送信する。

端末１４０は、販売者１４１が入力する学習用情報を受け付け、画像検索装置１３０に送信する。また、端末１４０は、販売者１４１が入力する商品画像を受け付け、画像検索装置１３０に送信する。更に、端末１４０は、販売者１４１が入力する各種指示を受け付け、画像検索装置１３０に通知する。

印刷装置１５０は、画像検索装置１３０より送信された商品画像と組み合わせ商品画像とを含む商品カタログ１５１を生成し、印刷する。なお、図１の例では、商品カタログ１５１の印刷に際して、アパレルメーカが所有する印刷装置１５０を利用するものとして示されているが、アパレルメーカ以外が所有する印刷装置を利用してもよい。例えば、印刷会社が所有する印刷装置を利用してもよいし、コンビニエンスストア等に設置されている印刷装置を利用してもよい。

印刷装置１５０により印刷された商品カタログ１５１は、例えば、顧客１１１に送達される。なお、図１の例では、アパレルメーカにて送達を行うものとして示されているが、顧客１１１への送達は、アパレルメーカ以外（印刷会社や別の配送業者等）に委託して行ってもよい。ただし、商品カタログ１５１の印刷を、コンビニエンスストア等に設置されている印刷装置を利用して顧客１１１が行う場合にあっては、商品カタログ１５１の送達は不要となる。

＜２．販売システムにおける各フェーズの処理の流れ＞
次に、販売システム１００における各フェーズの処理の流れについて説明する。図２は、販売システムにおける各フェーズの処理の流れを示すシーケンス図である。図２に示すように、販売システム１００における処理は、"準備フェーズ"と、"実行フェーズ"と、"商品販売フェーズ"と、"個別対応フェーズ"とに大別することができる。

準備フェーズとは、画像検索装置１３０が学習に用いる学習用情報を収集して、学習を行うフェーズである。図２に示すように、ステップＳ２０１において、端末１４０は、学習用情報として、過去画像と、該過去画像に含まれる各商品の印象を示す指標及び評価値を画像検索装置１３０に送信する。なお、「過去画像」とは、アパレルメーカが過去に販売した商品を撮影した撮影画像である。過去に販売した商品については、各指標に対する評価値が定義されているものとし、端末１４０では、既に定義されている各指標に対する評価値を、過去画像と対応付けて画像検索装置１３０に送信する。

なお、過去に販売した商品のうち、各指標に対する評価値が定義されていない商品については、販売者１４１が過去画像を入力する際に評価値を判断して入力するものとする。

ステップＳ２０２において、画像検索装置１３０は、端末１４０より送信された過去画像、指標及び評価値を、第１学習用情報として格納する。

ステップＳ２０３において、端末１４０は、学習用情報として、参照画像を画像検索装置１３０に送信する。なお、「参照画像」とは、例えば、他のアパレルメーカ（有名ブランド）の商品を着たファッションモデルを撮影した撮影画像を指す。参照画像には、例えば、販売者１４１がネットワーク１６０上で検索した画像や、ファッション雑誌をスキャンすることで得た画像等、物品の最適な組み合わせを示す任意の画像が含まれるものとする。

ステップＳ２０４において、画像検索装置１３０は、端末１４０より送信された参照画像を、第２学習用情報として格納する。

ステップＳ２０５において、画像検索装置１３０は、第１学習用情報を用いて学習処理を行い、学習結果（評価値学習結果）を格納する。画像検索装置１３０は、第１学習用情報を用いて学習処理を行うことで、過去画像と評価値との関係を学習する。また、画像検索装置１３０は、第２学習用情報を用いて学習処理を行い、学習結果（組み合わせ学習結果）を格納する。画像検索装置１３０は、第２学習用情報を用いて学習処理を行うことで、異なるカテゴリ（第１のカテゴリ、第２のカテゴリ）に属する物品であって、最適な組み合わせの物品間における評価値の関係を学習する。

実行フェーズとは、準備フェーズにおける学習結果（評価値学習結果、組み合わせ学習結果）を実行するフェーズである。図２に示すように、ステップＳ２１１において、端末１４０は、商品画像を画像検索装置１３０に送信する。ステップＳ２１２において、画像検索装置１３０は、端末１４０より送信された商品画像を格納する。

ステップＳ２１３において、画像検索装置１３０は、解析処理を実行する。具体的には、画像検索装置１３０は、過去画像と評価値との関係を学習することで得た評価値学習結果に基づいて、各商品画像に含まれる商品の評価値を算出する。また、画像検索装置１３０は、最適な組み合わせの物品間における評価値の関係を学習することで得た組み合わせ学習結果に基づいて、異なるカテゴリの商品であって、最適な組み合わせとなる商品の商品画像を特定し、組み合わせ商品画像を生成する。なお、解析処理（ステップＳ２１３）の詳細は、後述する。

商品販売フェーズとは、商品を販売するための処理を実行するフェーズである。図２に示すように、ステップＳ２２１において、画像検索装置１３０は、取得した商品画像及び生成した組み合わせ商品画像を、印刷装置１５０に送信する。

ステップＳ２２２において、印刷装置１５０は、商品画像及び組み合わせ商品画像を含む商品カタログ１５１を生成し、ステップＳ２２３において、顧客１１１に送信する。

ステップＳ２２４において、画像検索装置１３０は、取得した商品画像及び生成した組み合わせ商品画像を、サーバ装置１２０に送信する。

ステップＳ２２５において、サーバ装置１２０は、販売サービス提供処理を実行する。具体的には、ステップＳ２２６において、携帯端末１１０からのアクセスを受けると、ステップＳ２２７において、サーバ装置１２０は、携帯端末１１０に対して、商品画像及び組み合わせ商品画像を送信する。

これにより、顧客１１１は、携帯端末１１０を介して商品画像及び組み合わせ商品画像を閲覧し、所望の商品について購入を指示することができる。なお、購入指示後の携帯端末１１０及びサーバ装置１２０の処理についての説明は省略する。

個別対応フェーズとは、商品を販売する際に、顧客ごとの個別の要求に対応するフェーズである。図２に示すように、ステップＳ２３１において、携帯端末１１０は、サーバ装置１２０に対して顧客画像１１２を送信する。ステップＳ２３２において、サーバ装置１２０は、レコメンドサービス提供処理を実行する。レコメンドサービス提供処理とは、顧客画像１１２に対応するレコメンド商品画像１１３を、顧客１１１に提供するための処理である。

ステップＳ２３３において、サーバ装置１２０は、受信した顧客画像１１２を画像検索装置１３０に送信する。ステップＳ２３４において、画像検索装置１３０は、解析処理を実行する。具体的には、画像検索装置１３０は、過去画像と評価値との関係を学習することで得た評価値学習結果に基づいて、顧客画像１１２に含まれる物品の評価値を算出する。また、画像検索装置１３０は、最適な組み合わせの物品間における評価値の関係を学習することで得た組み合わせ学習結果に基づいて、顧客画像１１２に含まれる物品に対して、最適な組み合わせとなる商品の商品画像を特定する。

ステップＳ２３５において、画像検索装置１３０は、顧客画像１１２に含まれる物品に対して最適な組み合わせとなる商品の商品画像を、レコメンド商品画像１１３として、サーバ装置１２０に送信する。ステップＳ２３６において、サーバ装置１２０は、受信したレコメンド商品画像１１３を、携帯端末１１０に送信する。

これにより、顧客１１１は、顧客画像１１２に含まれる物品との組み合わせが最適な商品を認識したうえで、商品画像を選択することができる。

＜３．サーバ装置及び画像検索装置のハードウェア構成＞
次に、サーバ装置１２０及び画像検索装置１３０のハードウェア構成について説明する。なお、サーバ装置１２０のハードウェア構成と画像検索装置１３０のハードウェア構成とは概ね同じであるため、ここでは、画像検索装置１３０のハードウェア構成について説明する。

図３は、画像検索装置のハードウェア構成の一例を示す図である。図３に示すように、画像検索装置１３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。

また、画像検索装置１３０は、補助記憶装置３０４、表示装置３０５、操作装置３０６、Ｉ／Ｆ（Interface）装置３０７、ドライブ装置３０８を有する。なお、画像検索装置１３０の各ハードウェアは、バス３０９を介して相互に接続されている。

ＣＰＵ３０１は、補助記憶装置３０４にインストールされている各種プログラム（例えば、画像検索プログラム等）を実行する演算デバイスである。

ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４にインストールされている各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶装置３０４にインストールされている各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

補助記憶装置３０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

表示装置３０５は、画像検索装置１３０の内部状態を表示する表示デバイスである。操作装置３０６は、画像検索装置１３０に対して各種指示を入力する際に用いられる入力デバイスである。

Ｉ／Ｆ装置３０７は、ネットワーク１６０またはサーバ装置１２０、印刷装置１５０に接続するための接続デバイスである。

ドライブ装置３０８は記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

なお、補助記憶装置３０４にインストールされる各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされる。あるいは、補助記憶装置３０４にインストールされる各種プログラムは、Ｉ／Ｆ装置３０７を介して、ネットワーク１６０よりダウンロードされることでインストールされてもよい。

＜４．画像検索装置の機能構成の詳細＞
次に、画像検索装置１３０の機能構成について説明する。図４は、画像検索装置の機能構成の一例を示す図である。上述したとおり、画像検索装置１３０には、画像検索プログラムがインストールされており、当該プログラムが実行されることで、画像検索装置１３０は、情報取得部４０１、学習部４０２、解析部４０３、販売用画像生成部４０４として機能する（図４参照）。

情報取得部４０１は、端末１４０より学習用情報（過去画像、指標及び評価値、参照画像）と、商品画像とを受信する。また、情報取得部４０１は、取得した学習用情報のうち、過去画像、指標及び評価値を、第１学習用情報として、第１学習用情報格納部４１１に格納する。

また、情報取得部４０１は、取得した学習用情報のうち、参照画像を、第２学習用情報として、第２学習用情報格納部４１２に格納する。更に、情報取得部４０１は、取得した商品画像を、商品画像格納部４１４に格納する。

学習部４０２は、第１学習用情報格納部４１１より、過去画像、指標及び評価値を読み出し、過去画像と評価値との関係を学習し、評価値学習結果を学習結果格納部４１３に格納する。また、学習部４０２は、第２学習用情報格納部４１２より、参照画像を読み出し、異なるカテゴリに属する物品であって、最適な組み合わせの物品間における評価値の関係を学習し、組み合わせ学習結果を学習結果格納部４１３に格納する。

解析部４０３は、実行フェーズにおいては、端末１４０からの各種指示に基づき動作する。具体的には、解析部４０３は、商品画像格納部４１４より商品画像を読み出し、評価値学習結果に入力することで商品画像に含まれる商品の評価値を算出する。また、解析部４０３は、過去画像等に基づいて生成されるマップ（詳細は後述）上において、算出した評価値に応じた位置に商品画像をプロットして表示する。

更に、解析部４０３は、実行フェーズ及び個別対応フェーズにおいて、学習結果を用いて、「処理対象の画像」に対する「対応画像」を特定する。「処理対象の画像」とは、商品画像のうち、組み合わせ商品画像を生成するために、販売者１４１が選択した商品画像、または、レコメンドサービスを受けるために顧客１１１が入力した顧客画像を指す。また、「対応画像」とは、処理対象の画像に対して特定される商品画像であって、処理対象の画像に含まれる物品に対して、最適な組み合わせであると判定された、異なるカテゴリの商品の商品画像を指す。

例えば、解析部４０３は、実行フェーズにおいて、処理対象の画像として、販売者１４１により商品画像が選択されると、選択された商品画像に含まれる商品について評価値を算出し、組み合わせ学習結果に入力することで、対応画像を特定する。そして、解析部４０３は、選択された商品画像と対応画像とに基づいて生成される組み合わせ商品画像を取得し、販売用画像生成部４０４に通知する。なお、解析部４０３では、組み合わせ商品画像を販売用画像生成部４０４に通知する際、商品画像格納部４１４に格納された全ての商品画像を読み出し、あわせて通知する。

また、解析部４０３は、個別対応フェーズにおいて、処理対象の画像として、サーバ装置１２０より送信された顧客画像１１２を受信すると、顧客画像１１２について評価値を算出し、組み合わせ学習結果に入力することで、対応画像を特定する。そして、解析部４０３は、特定した対応画像をレコメンド商品画像として、サーバ装置１２０に送信する。

販売用画像生成部４０４は、解析部４０３より通知された、商品画像及び組み合わせ商品画像を用いて、販売用画像を生成する。具体的には、販売用画像生成部４０４は、商品画像及び組み合わせ商品画像を含む商品カタログを生成するための販売用画像を生成し、印刷装置１５０に送信する。また、販売用画像生成部４０４は、商品画像及び組み合わせ商品画像を含む販売サービス画面を生成するための販売用画像を生成し、サーバ装置１２０に送信する。

＜５．画像検索装置の各部の処理の詳細＞
次に、画像検索装置１３０の各部（情報取得部４０１、学習部４０２、解析部４０３、販売用画像生成部４０４）の処理の詳細について説明する。

＜５．１ 情報取得部の処理の詳細＞
（１）情報取得部の機能構成の詳細
はじめに、画像検索装置１３０の情報取得部４０１の機能構成の詳細について説明する。図５は、画像検索装置の情報取得部の機能構成の詳細を示す図である。図５に示すように、情報取得部４０１は、画像情報取得部５０１、評価値入力部５０２、マップ生成部５０３を有する。

画像情報取得部５０１は、端末１４０より送信された過去画像を第１学習用情報格納部４１１に格納する。また、画像情報取得部５０１は、端末１４０より送信された参照画像を第２学習用情報格納部４１２に格納する。

評価値入力部５０２は、過去画像に対応付けられた指標及び評価値を、第１学習用情報格納部４１１に、過去画像と対応付けて格納する。なお、過去画像に対応付けて格納される指標ごとの評価値の例は、評価値表５１０に示すとおりである。

評価値表５１０は、"対象"、"ファッション意識"、"オケージョン"、"ルックス"、"テーマ"の５つの指標を含み、各指標について、評価値が定義されている。例えば、指標＝"対象"の場合、評価値として、"ティーンズ"、"ヤング"、"ヤングアダルト"、"マチュア"、"シニア"が定義されている。

マップ生成部５０３は、第１学習用情報格納部４１１に格納された各過去画像を、所定の２軸の指標により規定される２次元平面上にプロットすることで、マップを生成する。

（２）第１学習用情報の具体例
次に、第１学習用情報格納部４１１に格納される第１学習用情報の具体例について説明する。図６は、第１学習用情報の一例を示す図である。図６に示すように、第１学習用情報６００は、大分類及び小分類ごとに分けて管理される。図６の最前面には、大分類＝"トップス"、小分類＝"シャツ"の過去画像、指標及び評価値が格納された第１学習用情報が示されている。

図６の最前面に示すように、第１学習用情報６００には、情報の項目として、"画像ＩＤ"、"過去画像"、"指標"が含まれる。"画像ＩＤ"には、対応する過去画像を識別するための識別子が格納される。"過去画像"には、過去画像が格納される。"指標"には、５つの指標（"対象"、"ファッション意識"、"オケージョン"、"ルックス"、"テーマ"）が含まれ、それぞれの指標についての評価値が格納される。

（３）マップの具体例
次に、準備フェーズにおいて、マップ生成部５０３により生成されるマップの具体例について説明する。図７は、マップ生成部の処理の具体例を示す図である。図７に示すように、マップ生成部５０３は、第１学習用情報６００に格納された過去画像を、大分類及び小分類ごとに分け、所定の２軸の指標により規定される２次元平面上において、評価値に応じた位置にプロットすることでマップを生成する。また、マップ生成部５０３は生成した各マップを、マップ情報７１０として保持する。

図７のマップ表示画面７２０は、マップ情報７１０として、
・ｘ軸指標＝"対象"、
・ｙ軸指標＝"ファッション意識"、
により規定される２次元平面上において、
・大分類＝"トップス"、
・小分類＝"シャツ"、
に属する過去画像を、評価値に応じた位置にプロットすることで生成されたマップを示している。

なお、マップ生成部５０３により保持されるマップ情報７１０に含まれる任意のマップについて、販売者１４１は、画像検索装置１３０の表示装置３０５または端末１４０を介して閲覧することができるものとする。

具体的には、マップ表示画面７２０において、大分類、小分類、ｘ軸指標、ｙ軸指標を指定することで、販売者１４１は、マップ情報７１０に含まれる任意のマップを表示させることができるものとする。

（４）第２学習用情報の具体例その１
次に、第２学習用情報格納部４１２に格納される第２学習用情報の第１の具体例について説明する。図８は、第２学習用情報の一例を示す第１の図である。図８に示すように、第２学習用情報８００には、情報の項目として、"画像ＩＤ"、"参照画像"、"カテゴリ"が含まれる。

"画像ＩＤ"には、対応する参照画像を識別するための識別子が格納される。"参照画像"には、参照画像が格納される。なお、第２学習用情報８００に格納される参照画像は、被写体が１人（単数）の場合の参照画像である。"カテゴリ"には、更に、情報の項目として、物品が区分される具体的なカテゴリである、"帽子"、"トップス"、"ボトムス"等が含まれる。

"カテゴリ"に含まれる"帽子"、"トップス"、"ボトムス"等には、それぞれ、対応する参照画像に対応する物品が含まれているか否かを示す情報が格納される。例えば、画像ＩＤ＝"ＩＤ−Ｓ００１"で識別される参照画像には、"トップス"と"ボトムス"の物品が含まれていることを示している。

（５）第２学習用情報の具体例その２
次に、第２学習用情報格納部４１２に格納される第２学習用情報の第２の具体例について説明する。図９は、第２学習用情報の一例を示す第２の図である。図９に示すように、第２学習用情報９００には、情報の項目として、"画像ＩＤ"、"参照画像"、"カテゴリ"が含まれる。

"画像ＩＤ"には、対応する参照画像を識別するための識別子が格納される。"参照画像"には、参照画像が格納される。なお、第２学習用情報９００に格納される参照画像は、被写体が２人（複数）の場合の参照画像である。"カテゴリ"には、更に、情報の項目として、物品が区分される具体的なカテゴリである、"帽子"、"トップス"、"ボトムス"等が含まれる。

"カテゴリ"に含まれる"帽子"、"トップス"、"ボトムス"等には、それぞれ、対応する参照画像に対応する物品が含まれているか否かを示す情報が格納される。例えば、画像ＩＤ＝"ＩＤ−Ｓ５０１"で識別される参照画像には、"トップス"と"ボトムス"の物品が含まれていることを示している。なお、２段に分かれているうちの上段には、大人向けの物品が含まれているか否かを示す情報が格納され、下段には、子供向けの物品が含まれているか否かを示す情報が格納される。

（６）商品画像情報の具体例
次に、商品画像格納部４１４に格納される商品画像情報の具体例について説明する。図１０は、商品画像情報の一例を示す図である。図１０に示すように、商品画像情報１０００は、大分類及び小分類ごとに分けて管理される。図１０の最前面には、大分類＝"トップス"、小分類＝"シャツ"の商品画像が格納された商品画像情報が示されている。

図１０の最前面に示すように、商品画像情報１０００には、情報の項目として、"画像ＩＤ"、"商品画像"、"指標"が含まれる。"画像ＩＤ"には、対応する商品画像を識別するための識別子が格納される。"商品画像"には、商品画像が格納される。"指標"には、５つの指標（"対象"、"ファッション意識"、"オケージョン"、"ルックス"、"テーマ"）が含まれる。なお、商品画像情報１０００の各指標の評価値は、評価値学習結果を用いて解析部４０３において算出されるため、商品画像格納部４１４に商品画像が格納された時点では、評価値は格納されていない。

＜５．２ 学習部の処理の詳細＞
（１）学習部の機能構成の詳細
次に、画像検索装置１３０の学習部４０２の機能構成について説明する。図１１は、画像検索装置の学習部の機能構成の詳細を示す図である。図１１に示すように、学習部４０２は、更に、評価値学習部１１０１、組み合わせ学習部１１０２を有する。

評価値学習部１１０１は、第１学習用情報格納部４１１に格納された過去画像、指標及び評価値を読み出し、過去画像と評価値との関係を学習する。また、評価値学習部１１０１は、過去画像と評価値との関係を学習することで得た評価値学習結果を、学習結果格納部４１３に格納する。

組み合わせ学習部１１０２は第２学習用情報格納部４１２に格納された参照画像を読み出し、参照画像に含まれる各物品の評価値を取得する。組み合わせ学習部１１０２は、参照画像に含まれる各物品の画像を、評価値学習結果に入力することで、参照画像に含まれる各物品の評価値を取得する。

また、組み合わせ学習部１１０２は、参照画像に含まれる各物品の評価値を用いて、最適な組み合わせの物品間における評価値の関係を学習する。組み合わせ学習部１１０２は、最適な組み合わせの物品間における評価値の関係を学習することで得た組み合わせ学習結果を、学習結果格納部４１３に格納する。

（２）評価値学習部の処理の具体例
次に、評価値学習部１１０１の処理の具体例について説明する。図１２は、評価値学習部の処理の具体例を示す図である。図１２に示すように、評価値学習部１１０１は、過去画像を、大分類及び小分類ごとに分け、大分類及び小分類ごとに、過去画像と評価値との関係を学習し、評価値学習結果を得る。評価値学習部１１０１は、例えば、畳み込みニューラルネットワークにより構成される。

図１２（ａ）は、評価値学習部１１０１を用いて、大分類＝"トップス"、小分類＝"シャツ"について、過去画像と評価値との関係を学習する様子を示している。評価値学習部１１０１には、過去画像のうち、大分類＝"トップス"、小分類＝"シャツ"に属する商品の過去画像が入力される。

図１２（ａ）に示すように、評価値学習部１１０１の出力には、評価値の組み合わせ（評価値パターンと称す）として、評価値パターン１〜評価値パターンｍが規定される。"評価値パターン１"は、例えば、対象＝"ティーンズ"、ファッション意識＝"コンテンポラリ"、オケージョン＝"タウンカジュアル"、ルックス＝"カントリ"、テーマ＝"トレンド"の組み合わせを指す。また、"評価値パターン２"は、例えば、対象＝"ヤング"、ファッション意識＝"コンテンポラリ"、オケージョン＝"シティカジュアル"、ルックス＝"エレガンス"、テーマ＝"トレンド"の組み合わせを指す。

評価値学習部１１０１では、例えば、画像ＩＤ＝"ＩＤ００１"の過去画像が入力された場合に、"評価値パターン１"の確からしさが所定の閾値以上となるように、学習を行う。また、評価値学習部１１０１では、例えば、画像ＩＤ＝"ＩＤ００２"の過去画像が入力された場合に、"評価値パターン２"の確からしさが所定の閾値以上となるように、学習を行う。

同様に、図１２（ｂ）は、評価値学習部１１０１を用いて、大分類＝"ボトムス"について、過去画像と評価値との関係を学習する様子を示している。評価値学習部１１０１には、過去画像のうち、大分類＝"ボトムス"に属する商品の過去画像が入力される。なお、図１２（ｂ）において、評価値学習部１１０１の出力は、図１２（ａ）と同様に、評価値パターン１〜評価値パターンｍが規定される。

また、図１２（ａ）と同様に、図１２（ｂ）においても、評価値学習部１１０１は、入力された過去画像それぞれに対応付けられた評価値パターンの確からしさが、所定の閾値以上となるように、学習を行う。

このように、評価値学習部１１０１では、大分類及び小分類ごとの評価値学習結果を得る。

（３）組み合わせ学習部の処理の具体例その１
次に、組み合わせ学習部１１０２の処理の具体例その１について説明する。図１３は、組み合わせ学習部の処理の具体例を示す第１の図である。上述したとおり、組み合わせ学習部１１０２は、まず、参照画像に含まれる各物品の画像を、評価値学習結果に入力することで、評価値を取得する。

図１３（ｂ）の例は、組み合わせ学習部１１０２が、大分類＝"トップス"、小分類＝"シャツ"と、大分類＝"ボトムス"との組み合わせにおける評価値の関係を学習する様子を示している。

そこで、組み合わせ学習部１１０２では、図１３（ａ）に示すように、まず、大分類＝"トップス"、小分類＝"シャツ"について学習した評価値学習結果１３０１に、参照画像に含まれる物品（トップス、シャツ）の画像を入力する。また、組み合わせ学習部１１０２では、大分類＝"ボトムス"について学習した評価値学習結果１３０２に、参照画像に含まれる物品（ボトムス）の画像を入力する。

具体的には、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ００１"の参照画像に含まれるシャツの画像１３１１を評価値学習結果１３０１に入力し、例えば、評価値パターン１を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ００１"の参照画像に含まれるボトムスの画像１３１２を評価値学習結果１３０２に入力し、例えば、評価値パターン３を得る。

同様に、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ００２"、"ＩＤ−Ｓ００３"の参照画像に含まれるシャツの画像１３２１、１３３１を評価値学習結果１３０１に入力し、例えば、評価値パターン５、評価値パターン７を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ００２"、"ＩＤ−Ｓ００３"の参照画像に含まれるボトムスの画像１３２２、１３３２を評価値学習結果１３０２に入力し、例えば、評価値パターン４、評価値パターン４をそれぞれ得る。

上述したとおり、組み合わせ学習部１１０２では、参照画像に含まれる各物品の評価値を用いて、最適な組み合わせの物品間における評価値の関係を学習する。このため、図１３（ｂ）に示すように、組み合わせ学習部１１０２では、シャツの画像１３１１の"評価値パターン１"が入力された場合に、対応するボトムスの画像１３１２の"評価値パターン３"の確からしさが所定の閾値以上となるように、学習を行う。また、組み合わせ学習部１１０２では、シャツの画像１３２１の"評価値パターン５"が入力された場合に、対応するボトムスの画像１３２２の"評価値パターン４"の確からしさが所定の閾値以上となるように、学習を行う。

また、組み合わせ学習部１１０２では、シャツの画像１３３１の"評価値パターン７"が入力された場合に、対応するボトムスの画像１３３２の"評価値パターン４"の確からしさが所定の閾値以上となるように学習を行う。

このように、組み合わせ学習部１１０２では、カテゴリの異なる（大分類、小分類）物品間における組み合わせ学習結果を得る。

（４）最適な組み合わせの物品間における評価値の関係その１
次に、組み合わせ学習部１１０２により学習された組み合わせ学習結果が示す、最適な組み合わせの物品間における評価値の関係について説明する。図１４は、最適な組み合わせの物品間における評価値の関係を模式的に示した第１の図である。なお、図１４では、説明を簡略化するために、多次元の指標空間のうち、特定の２つの指標により規定される２次元平面を例に、最適な組み合わせの物品間における評価値の関係について説明する。

このうち、図１４（ａ）は、指標Ａと指標Ｂとにより規定される、大分類及び小分類ごとの２次元平面１４０１〜１４０４において、最適な組み合わせの物品間における評価値の関係が、類似の関係となった例を示している。

図１４（ａ）の場合、例えば、評価値１４０５を有するシャツに対して、類似の評価値１４０６を有するボトムスを組み合わせることで、最適な組み合わせが得られることを示している。また、類似の評価値１４０７を有するコートを組み合わせることで、最適な組み合わせが得られることを示している。更に、類似の評価値１４０８を有する靴を組み合わせることで、最適な組み合わせが得られることを示している。

一方、図１４（ｂ）は、指標Ａと指標Ｂとにより規定される、大分類及び小分類ごとの２次元平面１４１１〜１４１４において、最適な組み合わせの物品間における評価値の関係が、非類似の関係となった例を示している。

図１４（ｂ）の場合、例えば、評価値１４１５を有するシャツに対して、非類似の評価値１４１６を有するボトムスを組み合わせることで、最適な組み合わせが得られることを示している。また、非類似の評価値１４１７を有するコートを組み合わせることで、最適な組み合わせが得られることを示している。更に、非類似の評価値１４１８を有する靴を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１４（ｃ）は、指標Ｃと指標Ｄとにより規定される、大分類及び小分類ごとの２次元平面１４２１〜１４２４において、最適な組み合わせの物品間における評価値の関係が、類似の関係となった例を示している。

図１４（ｃ）の場合、例えば、評価値１４２５を有するシャツに対して、類似の評価値１４２６を有するボトムスを組み合わせることで、最適な組み合わせが得られることを示している。また、類似の評価値１４２７を有するコートを組み合わせることで、最適な組み合わせが得られることを示している。更に、類似の評価値１４２８を有する靴を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１４（ｄ）は、指標Ｃと指標Ｄとにより規定される、大分類及び小分類ごとの２次元平面１４３１〜１４３４において、最適な組み合わせの物品間における評価値の関係が、非類似の関係となった例を示している。

図１４（ｄ）の場合、例えば、評価値１４３５を有するシャツに対して、非類似の評価値１４３６を有するボトムスを組み合わせることで、最適な組み合わせが得られることを示している。また、非類似の評価値１４３７を有するコートを組み合わせることで、最適な組み合わせが得られることを示している。更に、非類似の評価値１４３８を有する靴を組み合わせることで、最適な組み合わせが得られることを示している。

（５）組み合わせ学習部の処理の具体例その２
次に、組み合わせ学習部１１０２の処理の具体例その２について説明する。図１５は、組み合わせ学習部の処理の具体例を示す第２の図である。図１３では、被写体が１人（単数）の場合の参照画像を用いて学習を行う場合について示したが、図１５では、被写体が２人（複数）の場合の参照画像を用いて学習を行う場合を示している。

上述したとおり、組み合わせ学習部１１０２は、参照画像に含まれる各物品の画像を、評価値学習結果に入力することで、評価値を取得する。

図１５（ｂ）の例は、組み合わせ学習部１１０２が、
・大分類＝"トップス"、小分類＝"ジャケット"と、大分類＝"トップス"、小分類＝"ジャケット"との組み合わせにおける評価値の関係と、
・大分類＝"ボトムス"と、大分類＝"ボトムス"との組み合わせにおける評価値の関係と
を学習する様子を示している。

そこで、組み合わせ学習部１１０２では、図１５（ａ）に示すように、まず、大分類＝"トップス"、小分類＝"ジャケット"について学習した評価値学習結果１５０１に、参照画像に含まれる物品（トップス、ジャケット）の画像を入力する。また、組み合わせ学習部１１０２では、大分類＝"ボトムス"について学習した評価値学習結果１３０２に、参照画像に含まれる物品（ボトムス）の画像を入力する。

具体的には、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０１"の参照画像に含まれるジャケットの画像１５１１ａを評価値学習結果１５０１に入力し、例えば、評価値パターン１を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０１"の参照画像に含まれるジャケットの画像１５１１ｂを評価値学習結果１５０１に入力し、例えば、評価値パターン２を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０１"の参照画像に含まれるボトムスの画像１５１２ａを評価値学習結果１３０２に入力し、例えば、評価値パターン１を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０１"の参照画像に含まれるボトムスの画像１５１２ｂを評価値学習結果１３０２に入力し、例えば、評価値パターン３を得る。

同様に、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０２"の参照画像に含まれるジャケットの画像１５２１ａを評価値学習結果１５０１に入力し、例えば、評価値パターン５を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０２"の参照画像に含まれるジャケットの画像１５２１ｂを評価値学習結果１５０１に入力し、例えば、評価値パターン２を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０２"の参照画像に含まれるボトムスの画像１５２２ａを評価値学習結果１３０２に入力し、例えば、評価値パターン３を得る。また、組み合わせ学習部１１０２は、画像ＩＤ＝"ＩＤ−Ｓ５０２"の参照画像に含まれるボトムスの画像１５２２ｂを評価値学習結果１３０２に入力し、例えば、評価値パターン３を得る。

更に、図１５（ｂ）に示すように、組み合わせ学習部１１０２では、ジャケットの画像１５１１ａの"評価値パターン１"が入力された場合に、対応するジャケットの画像１５１１ｂの"評価値パターン２"の確からしさが所定の閾値以上となるように、学習を行う。また、組み合わせ学習部１１０２では、ジャケットの画像１５２１ａの"評価値パターン５"が入力された場合に、対応するジャケットの画像１５２１ｂの"評価値パターン２"の確からしさが所定の閾値以上となるように、学習を行う。

同様に、組み合わせ学習部１１０２では、ボトムスの画像１５１２ａの"評価値パターン１"が入力された場合に、対応するボトムスの画像１５１２ｂの"評価値パターン３"の確からしさが所定の閾値以上となるように、学習を行う。また、組み合わせ学習部１１０２では、ボトムスの画像１５２２ａの"評価値パターン３"が入力された場合に、対応するボトムスの画像１５２２ｂの"評価値パターン３"の確からしさが所定の閾値以上となるように、学習を行う。

このように、組み合わせ学習部１１０２では、カテゴリの異なる（大人向け、子供向け）物品間における組み合わせ学習結果を得る。

（６）最適な組み合わせの物品間における評価値の関係その２
次に、組み合わせ学習部１１０２により学習された組み合わせ学習結果が示す、最適な組み合わせの物品間における評価値の関係について説明する。図１６は、最適な組み合わせの物品間における評価値の関係を模式的に示した第２の図である。

図１６（ａ）は、指標Ａと指標Ｂとにより規定される、大人向け及び子供向けごとの２次元平面１６０１〜１６０２において、最適な組み合わせの物品間における評価値の関係が、類似の関係となった例を示している。

図１６（ａ）の場合、例えば、評価値１６０３を有するジャケット（大人向け）に対して、類似の評価値１６０４を有するジャケット（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

一方、図１４（ｂ）は、指標Ａと指標Ｂとにより規定される、大人向け及び子供向けごとの２次元平面１６１１〜１６１２において、最適な組み合わせの物品間における評価値の関係が、非類似の関係となった例を示している。

図１６（ｂ）の場合、例えば、評価値１６１３を有するジャケット（大人向け）に対して、非類似の評価値１６１４を有するジャケット（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１６（ｃ）は、指標Ｃと指標Ｄとにより規定される、大人向け及び子供向けごとの２次元平面１６２１〜１６２２において、最適な組み合わせの物品間における評価値の関係が、類似の関係となった例を示している。

図１６（ｃ）の場合、例えば、評価値１６２３を有するジャケット（大人向け）に対して、類似の評価値１６２４を有するジャケット（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１６（ｄ）は、指標Ｃと指標Ｄとにより規定される、大人向け及び子供向けごとの２次元平面１６３１〜１６３２において、最適な組み合わせの物品間における評価値の関係が、非類似の関係となった例を示している。

図１６（ｄ）の場合、例えば、評価値１６３３を有するジャケット（大人向け）に対して、非類似の評価値１６３４を有するジャケット（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１６（ｅ）は、指標Ａと指標Ｂとにより規定される、大人向け及び子供向けごとの２次元平面１６４１〜１６４２において、最適な組み合わせの物品間における評価値の関係が、類似の関係となった例を示している。

図１６（ｅ）の場合、例えば、評価値１６４３を有するボトムス（大人向け）に対して、類似の評価値１６４４を有するボトムス（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

また、図１６（ｆ）は、指標Ａと指標Ｂとにより規定される、大人向け及び子供向けごとの２次元平面１６４１〜１６４２において、最適な組み合わせの物品間における評価値の関係が、非類似の関係となった例を示している。

図１６（ｆ）の場合、例えば、評価値１６５３を有するボトムス（大人向け）に対して、非類似の評価値１６５４を有するボトムス（子供向け）を組み合わせることで、最適な組み合わせが得られることを示している。

＜５．３ 解析部及び販売用画像生成部の処理の詳細＞
（１）解析部及び販売用画像生成部の機能構成の詳細
次に、画像検索装置１３０の解析部４０３及び販売用画像生成部４０４の機能構成について説明する。図１７は、画像検索装置の解析部及び販売用画像生成部の機能構成の詳細を示す図である。図１７に示すように、解析部４０３は、指示部１７０１、処理対象取得部１７０２、組み合わせ候補算出部１７０３、レコメンド候補算出部１７０４を有する。

指示部１７０１は、端末１４０に対して各種画面を提供し、端末１４０から各種指示を受け付ける。指示部１７０１は、各種指示として、例えば、
・処理対象の画像となる商品画像の選択指示
・選択された商品画像を含むマップの表示指示
・選択された商品画像に対する対応画像の検索指示、
等が含まれる。

指示部１７０１は、受け付けた各種指示に応じた処理を実行する。例えば、処理対象の画像となる商品画像の選択指示を受け付けた場合、指示部１７０１は、選択された商品画像を商品画像格納部４１４から読み出す。

また、例えば、選択された商品画像を含むマップの表示指示を受け付けた場合、指示部１７０１は、第１学習用情報格納部４１１より、過去画像を読み出し、マップを生成するとともに、選択された商品画像を、生成したマップ上にプロットして表示する。

また、例えば、選択された商品画像に対する対応画像の検索指示を受け付けた場合、指示部１７０１は、選択された商品画像を処理対象取得部１７０２に通知する。

処理対象取得部１７０２は取得部の一例であり、処理対象の画像を取得し、組み合わせ候補算出部１７０３またはレコメンド候補算出部１７０４に通知する。具体的には、処理対象取得部１７０２は、実行フェーズにおいて、処理対象の画像として、指示部１７０１から、選択された商品画像を取得した場合には、選択された商品画像を組み合わせ候補算出部１７０３に通知する。

また、処理対象取得部１７０２は、個別対応フェーズにおいて、サーバ装置１２０から、処理対象の画像として、顧客画像が送信された場合には、顧客画像をレコメンド候補算出部１７０４に通知する。

組み合わせ候補算出部１７０３は特定部の一例である。組み合わせ候補算出部１７０３は、学習結果格納部４１３に格納された評価値学習結果と組み合わせ学習結果とを読み出す。また、組み合わせ候補算出部１７０３は、読み出した評価値学習結果と組み合わせ学習結果とに基づいて、選択された商品画像から対応画像を特定する。

これにより、販売者１４１は、最適な組み合わせとなる商品（処理対象の画像に含まれる商品と、対応画像に含まれる商品）を身に着けたファッションモデルを撮影し、組み合わせ商品画像を生成することができる。

組み合わせ候補算出部１７０３は、生成された組み合わせ商品画像を取得し、販売用画像生成部４０４に通知する。このとき、組み合わせ候補算出部１７０３は、商品画像格納部４１４に格納された商品画像を読み出し、組み合わせ商品画像とともに、販売用画像生成部４０４にあわせて通知する。

レコメンド候補算出部１７０４は特定部の他の一例である。レコメンド候補算出部１７０４は、学習結果格納部４１３に格納された評価値学習結果と組み合わせ学習結果とを読み出す。また、レコメンド候補算出部１７０４は、読み出した評価値学習結果と組み合わせ学習結果とに基づいて、顧客画像から対応画像を特定する。

更に、レコメンド候補算出部１７０４は、特定した対応画像を、レコメンド商品画像として、サーバ装置１２０に送信する。

なお、販売用画像生成部４０４の機能は、既に、図４を用いて説明済みであるため、ここでは説明を省略する。

（２）指示部により提供される表示画面の具体例
次に、実行フェーズにおいて、指示部１７０１により端末１４０に表示される表示画面の具体例について説明する。図１８は、組み合わせ候補算出画面の一例を示す図である。

指示部１７０１が起動すると、端末１４０には、組み合わせ候補算出画面１８００が表示される。図１８（ａ）に示すように、組み合わせ候補算出画面１８００には、条件指定領域１８０１が含まれる。

条件指定領域１８０１には、処理対象の画像に含まれる商品が属する大分類及び小分類を入力するための入力欄が含まれる。また、条件指定領域１８０１には、入力された大分類及び小分類に属する商品の過去画像に基づいてマップを生成する際に用いる、ｘ軸の指標及びｙ軸の指標を入力するための入力欄が含まれる。

条件指定領域１８０１において、大分類、小分類、ｘ軸の指標、ｙ軸の指標が入力されると、指示部１７０１は、入力された大分類及び小分類に属する商品の過去画像を読み出す。これにより、マップ表示領域１８０８には、読み出された過去画像が、入力されたｘ軸の指標及びｙ軸の指標により規定される２次元平面上にプロットされたマップが表示される。

また、組み合わせ候補算出画面１８００には、商品画像読み出しボタン１８０２が含まれる。商品画像読み出しボタン１８０２が押下されることで、指示部１７０１では、条件指定領域１８０１において入力された大分類、小分類に属する商品の商品画像を商品画像格納部４１４から読み出し、商品画像表示領域１８０３に表示する。

図１８（ｂ）の組み合わせ候補算出画面１８００は、商品画像表示領域１８０３に表示された商品画像の中から、処理対象の画像を選択するために、チェック領域１８１１にチェックマークが入力された様子を示している。

図１８（ｂ）に示すように、組み合わせ候補算出画面１８００には、評価値算出ボタン１８０４、クリアボタン１８０５、候補算出ボタン１８０６、クリアボタン１８０７が含まれる。チェック領域１８１１にチェックマークが入力された状態で、評価値算出ボタン１８０４が押下されると、選択された商品画像に含まれる商品の評価値が算出される。これにより、マップ表示領域１８０８には、算出された評価値に応じた位置に、選択された商品画像１８１２がプロットされたマップが表示される。

これにより、販売者１４１は、選択した商品画像に含まれる商品の、マップ内での位置を把握し、評価値を認識することができる。

なお、組み合わせ候補算出画面１８００において、クリアボタン１８０５が押下されると、チェック領域１８１１に入力されたチェックマークがクリアされる。また、マップ表示領域１８０８にプロットされた、選択された商品画像１８１２がクリアされる。

図１９は、組み合わせ候補算出画面及び組み合わせ候補算出結果画面の一例を示す図である。図１８（ｂ）に示す組み合わせ候補算出画面１８００において、候補算出ボタン１８０６が押下されると、図１９（ａ）に示すように、選択された商品画像から対応画像を特定する際の、大分類及び小分類を指定する条件指定領域１９０１が表示される。

組み合わせ候補算出画面１９００の条件指定領域１９０１において、大分類、小分類が入力され、実行ボタン１９０２が押下されると、選択された商品画像に対して、指定された大分類及び小分類に属する商品の対応画像が特定される。この結果、図１９（ｂ）に示す組み合わせ候補算出結果画面１９１０が表示される。

図１９（ｂ）に示すように、組み合わせ候補算出結果画面１９１０には、選択された商品画像１９１１と、特定された対応画像１９１２、１９１３、１９１４とが含まれる。

（３）組み合わせ候補算出部の処理の具体例
次に、組み合わせ候補算出部１７０３の処理の具体例について説明する。図２０は、組み合わせ候補算出部の処理の具体例を示す図である。図２０に示すように、組み合わせ候補算出部１７０３は、組み合わせ候補算出画面１８００の条件指定領域１８０１において入力された大分類、小分類についての評価値学習結果１３０１を、学習結果格納部４１３より読み出す。

また、組み合わせ候補算出部１７０３は、組み合わせ候補算出画面１８００においてチェック領域１８１１にチェックマークが入力された商品画像を取得する。更に、組み合わせ候補算出部１７０３は、読み出した商品画像を、評価値学習結果１３０１に入力することで、評価値パターンｉ（例えば、図１４（ｂ）の評価値１４１５）を算出する。

また、組み合わせ候補算出部１７０３は、学習結果格納部４１３より、
・組み合わせ候補算出画面１８００の条件指定領域１８０１において、商品画像読み出しボタン１８０２が押下された際に指定された大分類及び小分類に属する物品と、
・組み合わせ候補算出画面１９００の条件指定領域１９０１において、実行ボタン１９０２が押下された際に指定された大分類及び小分類に属する物品と、
の間における組み合わせ学習結果２００１を読み出す。

また、組み合わせ候補算出部１７０３は、算出した評価値パターンｉを、読み出した組み合わせ学習結果２００１に入力することで、評価値パターンｊ（例えば、図１４（ｂ）の評価値１４１６）を算出する。

また、組み合わせ候補算出部１７０３は、組み合わせ候補算出画面１９００において、実行ボタン１９０２が押下された際に指定された、大分類及び小分類に属する商品の商品画像を、商品画像格納部４１４より読み出す。

また、組み合わせ候補算出部１７０３は、読み出した商品画像の評価値パターンを算出するための評価値学習結果１３０２を、学習結果格納部４１３より読み出す。

また、組み合わせ候補算出部１７０３は、読み出した商品画像を、評価値学習結果１３０２に入力することで、評価値パターンを算出する。更に、組み合わせ候補算出部１７０３は、読み出した商品画像を、算出した評価値パターンに基づいて、マップにプロットする。これにより、実行ボタン１９０２が押下された際に指定された大分類及び小分類に属する商品の商品画像について、マップ（例えば、図１４（ｂ）の２次元平面１４１２）を生成することができる。

組み合わせ候補算出部１７０３は、組み合わせ学習結果２００１において算出された評価値パターンｊを、生成したマップにプロットすることで、評価値パターンｊのマップ内での位置を特定する。これにより、評価値パターンｊに対応する評価値パターンを有する対応画像１９１２〜１９１４を抽出することができる。

（４）レコメンド候補算出部の処理の具体例
次に、レコメンド候補算出部１７０４の処理の具体例について説明する。図２１は、レコメンド候補算出部の処理の具体例を示す図である。図２１に示すように、レコメンド候補算出部１７０４は、サーバ装置１２０より送信された顧客画像について指定された大分類、小分類についての評価値学習結果２１０１を、学習結果格納部４１３より読み出す。

また、レコメンド候補算出部１７０４は、読み出した評価値学習結果２１０１に、顧客画像を入力することで、評価値パターンｋを算出する。

また、レコメンド候補算出部１７０４は、学習結果格納部４１３より、
・顧客画像に対応付けて送信された、顧客画像に含まれる物品と同じ大分類及び小分類に属する物品と、
・顧客画像に対応付けて送信された、レコメンド商品の大分類及び小分類に属する物品と、
の間における組み合わせ学習結果２１１１を読み出す。

また、レコメンド候補算出部１７０４は、算出した評価値パターンｋを、読み出した組み合わせ学習結果２１１１に入力することで、評価値パターンｌを算出する。

また、レコメンド候補算出部１７０４は、顧客画像に対応付けて送信されたレコメンド商品の大分類、小分類に属する商品の商品画像を、商品画像格納部４１４より読み出す。

また、レコメンド候補算出部１７０４は、顧客画像に対応付けて送信されたレコメンド商品の大分類、小分類についての評価値学習結果２１０２を、学習結果格納部４１３より読み出す。

また、レコメンド候補算出部１７０４は、顧客画像に対応付けて送信されたレコメンド商品の大分類、小分類に属する商品の商品画像を、評価値学習結果２１０２に入力することで、評価値パターンを算出する。更に、レコメンド候補算出部１７０４は、顧客画像に対応付けて送信されたレコメンド商品の大分類、小分類に属する商品の商品画像を、算出した評価値パターンに基づいて、マップにプロットする。

レコメンド候補算出部１７０４は、組み合わせ学習結果２１１１において算出された評価値パターンｌを、生成したマップにプロットすることで、評価値パターンｌのマップ内での位置を特定する。これにより、評価値パターンｌに対応する評価値パターンを有する対応画像を抽出することができる。

レコメンド候補算出部１７０４では、抽出した対応画像を、レコメンド商品画像１１３として、サーバ装置１２０に送信する。

（５）解析部による解析処理の流れ（実行フェーズ、個別対応フェーズ共通）
次に、解析部４０３による解析処理の流れについて説明する。図２２は、画像検索装置の解析部による解析処理の流れを示すフローチャートである。

ステップＳ２２０１において、解析部４０３は、処理対象の画像（選択された商品画像または顧客画像）を取得する。

ステップＳ２２０２において、解析部４０３は、処理対象の画像の評価値パターンを算出する。

ステップＳ２２０３において、解析部４０３は、対応画像を特定するために指定された大分類、小分類（販売者１４１により指定される大分類、小分類、または、顧客１１１により指定されるレコメンド商品の大分類、小分類）に属する商品の商品画像を取得する。

ステップＳ２２０４において、解析部４０３は、ステップＳ２２０４において取得した商品画像の評価値パターンを算出し、マップを生成する。

ステップＳ２２０５において、解析部４０３は、処理対象の画像の評価値パターンを組み合わせ学習結果に入力し、処理対象の画像の評価値パターンに対応する評価値パターンを算出する。

ステップＳ２２０６において、解析部４０３は、ステップＳ２２０５において算出した評価値パターンに対応する商品画像を、ステップＳ２２０４において生成したマップに基づいて判定し、対応画像として抽出する。

ステップＳ２２０７において、解析部４０３は、抽出した対応画像を、処理対象の画像と対応付けて出力する。

（６）販売用画像生成部の処理の具体例
次に、販売用画像生成部４０４の処理の具体例について説明する。図２３は、販売用画像生成部の処理の具体例を示す図である。上述したとおり、販売用画像生成部４０４は、解析部４０３より通知された、商品画像及び組み合わせ商品画像を用いて、販売用画像を生成する。

図２３（ａ）は、解析部４０３より通知された商品画像及び組み合わせ商品画像を含む販売用画像の一例である。図２３（ａ）に示すように、販売用画像生成部４０４により生成される販売用画像２３１０には、組み合わせ商品画像を含む領域と、商品画像を含む領域とが含まれる。

図２３（ｂ）は、解析部４０３より通知された商品画像及び組み合わせ商品画像を含む販売用画像の他の一例である。図２３（ｂ）に示すように、販売用画像生成部４０４により生成される販売用画像２３２０には、組み合わせ商品画像を含む領域と、商品画像を含む領域とが含まれる。

＜６．サーバ装置の処理の詳細＞
次に、サーバ装置１２０により実行される処理の詳細について説明する。

（１）サーバ装置により提供される表示画面の具体例
はじめに、販売サービス提供時に、サーバ装置１２０により携帯端末１１０に提供される表示画面の具体例について説明する。図２４は、サーバ装置により提供される表示画面の一例を示す第１の図である。

このうち、図２４（ａ）は、携帯端末１１０がサーバ装置１２０にアクセスした際に表示される販売サービス画面２４１０の一例を示す図である。図２４（ａ）に示すように、販売サービス画面２４１０には、販売用画像生成部４０４により生成された販売用画像２３１０が含まれる。また、販売サービス画面２４１０には、"レコメンド要求画面に進む"ボタン２４１１と、"購入画面に進むボタン"２４１２が含まれる。ここでは、"レコメンド要求画面に進む"ボタン２４１１が押下された場合の画面遷移について説明する。

"レコメンド要求画面に進む"ボタン２４１１が押下されると、図２４（ｂ）に示すレコメンドサービス画面２４２０に遷移する。図２４（ｂ）に示すように、レコメンドサービス画面２４２０には、顧客画像の表示領域２４２２が含まれる。"画像を読み込む"ボタン２４２１を押下することで、顧客１１１が画像を読み込むことで、顧客画像の表示領域２４２２に、画像が表示される（図２５参照）。

図２５は、サーバ装置により提供される表示画面の一例を示す第２の図である。図２５に示すように、顧客画像の表示領域２４２２に画像が表示されることで、レコメンドサービス画面２５１０には、所定のメッセージ（"対象領域を指定して下さい"）が表示される。これを受け、顧客１１１は、顧客画像１１２に含まれる所定の物品の領域を、対象領域２５１１として指定する。なお、図２５（ａ）の例は、顧客１１１が対象領域２５１１を指定する場合について示しているが、対象領域２５１１の抽出は自動で行うように構成してもよい。なお、対象領域２５１１を自動抽出する場合には、既存の任意の画像処理技術が用いられるものとする。

顧客１１１による対象領域２５１１の指定が完了すると、図２５（ｂ）のレコメンドサービス画面２５２０に遷移する。図２５（ｂ）に示すように、レコメンドサービス画面２５２０には、対象領域２５１１に含まれる物品の大分類及び小分類を入力するための入力欄が含まれる。また、レコメンドサービス画面２５２０には、レコメンド商品の大分類及び小分類を入力するための入力欄が含まれる。なお、図２５（ｂ）の例は、対象領域２５１１に含まれる物品の大分類及び小分類の入力、レコメンド商品の大分類及び小分類の入力を顧客１１１が行う場合を示している。しかしながら、これらの入力は顧客１１１が行う代わりに、自動で行うように構成してもよい。なお、対象領域２５１１に含まれる物品の大分類及び小分類、レコメンド商品の大分類及び小分類の自動入力には、既存の任意の画像認識技術が用いられるものとする。

図２５（ｂ）の例は、対象領域２５１１に含まれる物品の大分類として、"トップス"が指定され、小分類として、"コート"が指定された様子を示している。また、図２５（ｂ）の例は、レコメンド商品の大分類として、"トップス"が指定され、小分類として"セータ"が指定された様子を示している。

レコメンドサービス画面２５２０には、更に、"レコメンド要求"ボタン２５２１と"戻る"ボタン２５２２とが含まれる。"レコメンド要求"ボタン２５２１が押下されると、
・顧客画像の表示領域２４２２に表示されている顧客画像（対象領域２５１１を示す情報も含む）、
・顧客画像の対象領域２５１１に含まれる物品の大分類、小分類についての情報、
・レコメンド商品の大分類、小分類についての情報、
がサーバ装置１２０に送信される。

"戻る"ボタン２５２２が押下されると、例えば、レコメンドサービス画面２４２０に戻る。

顧客情報と、対象領域２５１１に含まれる物品の大分類、小分類についての情報、レコメンド商品の大分類、小分類についての情報を受信すると、サーバ装置１２０では、これらの情報を、画像検索装置１３０に送信する。これにより、サーバ装置１２０では、画像検索装置１３０より、レコメンド商品画像を受信し、レコメンド商品画面２６１０を表示する。

図２６は、サーバ装置により提供される表示画面の一例を示す第３の図である。図２６に示すように、レコメンド商品画面２６１０には、顧客画像の表示領域２４２２と、レコメンド商品画像の表示領域２６１１とが含まれる。レコメンド商品画像の表示領域２６１１には、レコメンド商品画像１１３が表示される。なお、図２６の例では、レコメンド商品画像１１３を１つのみ表示する場合について示しているが、レコメンド商品画像は、複数表示してもよい。また、図２５（ｂ）において、顧客１１１によりレコメンド商品の分類が指定されなかった場合、全ての分類におけるレコメンド商品画像が表示されるように構成してもよい。

なお、レコメンド商品画面２６１０には、更に、"購入画面に進む"ボタン２６１２と、"戻る"ボタン２６１３とが含まれる。顧客１１１は、レコメンド商品画像１１３により特定される商品の購入を希望する場合には、"購入画面に進む"ボタン２６１２を押下する。一方、顧客１１１は、レコメンド商品画像１１３により特定される商品の購入を希望しない場合には、"戻る"ボタン２６１３を押下する。

（２）サーバ装置によるレコメンドサービス提供処理
次に、サーバ装置１２０によるレコメンドサービス提供処理の流れについて説明する。図２７は、サーバ装置によるレコメンドサービス提供処理の流れを示すフローチャートである。

ステップＳ２７０１において、サーバ装置１２０は、携帯端末１１０より送信された顧客画像を取得する。

ステップＳ２７０２において、サーバ装置１２０は、顧客画像において指定された対象領域を抽出する。

ステップＳ２７０３において、サーバ装置１２０は、対象領域に含まれる物品の大分類及び小分類についての情報を取得する。

ステップＳ２７０４において、サーバ装置１２０は、レコメンド商品の大分類及び小分類についての情報を取得する。

ステップＳ２７０５において、サーバ装置１２０は、顧客画像より抽出した対象領域と、対象領域に含まれる物品の大分類及び小分類についての情報と、レコメンド商品の大分類及び小分類についての情報と、を画像検索装置１３０に通知する。

ステップＳ２７０６において、サーバ装置１２０は、画像検索装置１３０より、レコメンド商品画像を取得し、携帯端末１１０に表示する。

＜７．まとめ＞
以上の説明から明らかなように、第１の実施形態に係る画像検索装置では、
・異なるカテゴリに属する物品であって、最適な組み合わせとなる物品間における評価値の関係を学習し、組み合わせ学習結果を得る。
・処理対象の画像に含まれる物品について算出した評価値を組み合わせ学習結果に入力し、処理対象の画像に含まれる物品のカテゴリとは異なるカテゴリの商品であって、処理対象の画像に含まれる物品に対して最適な組み合わせとなる商品の評価値を算出する。
・算出した評価値を有する商品の商品画像を、対応画像として、処理対象の画像と対応付けて出力する。

これにより、第１の実施形態に係る画像検索装置によれば、処理対象の画像に含まれる物品とは異なるカテゴリの商品であって、処理対象の画像に含まれる物品に対して、適切な組み合わせとなる商品をレコメンドすることができる。

［第２の実施形態］
上記第１の実施形態では、組み合わせ候補算出画面１８００において、処理対象の画像を１つずつ指定する場合について説明した。しかしながら、処理対象の画像は同時に複数指定してもよい。

また、上記第１の実施形態では、組み合わせ候補算出画面１９００において、処理対象の画像に含まれる商品に対して最適な組み合わせとなる商品を、１カテゴリ分指定するものとして説明した。しかしながら、処理対象の画像に含まれる商品に対して最適な組み合わせとなる商品は、複数カテゴリ分指定できるように構成してもよい。

また、上記第１の実施形態では、組み合わせ候補算出画面１９００において、処理対象の画像に含まれる商品と組み合わせる商品の大分類及び小分類を指定するものとして説明した。しかしながら、条件指定領域１９０１において指定する項目は、大分類及び小分類に限定されず、"大人向け"、"子供向け"等の項目が指定できるように構成してもよい。

このように、組み合わせ候補算出画面の操作性を向上させることで、販売者１４１は、様々な商品の組み合わせをより簡単に検索することができる。

［第３の実施形態］
上記第１及び第２の実施形態では、図１８及び図１９を例示し、組み合わせ候補算出画面を介して解析部４０３にて実行される各種機能について説明した。しかしながら、組み合わせ候補算出画面を介して解析部４０３にて実行される機能は、図１８及び図１９にて例示されたものに限定されない。

例えば、解析部４０３に印刷出力部を配し、組み合わせ候補算出画面を介して、以下のような印刷出力機能を実行するように構成してもよい。
・条件指定領域１８０１において入力された大分類（トップス）、小分類（シャツ）に属する商品の商品画像を商品画像格納部４１４から読み出し、各商品画像に含まれる商品の評価値を全て算出してマップ（第１のマップ）を生成し、印刷出力する機能。
・条件指定領域１９０１において入力された大分類（ボトムス）に属する商品の商品画像を商品画像格納部４１４から読み出し、各商品画像に含まれる商品の評価値を全て算出してマップ（第２のマップ）を生成し、印刷出力する機能。

なお、上記２つの機能により印刷出力されるマップのうち、いずれか一方のマップは、例えば、印刷媒体としてクリアフィルムに印刷出力されるように構成してもよい。これにより、２つのマップを重ねて閲覧することができるからである。

また、上記２つの機能により印刷出力されるマップ上において、選択された商品画像１８１２と、対応画像１９１２、１９１３、１９１４とが、それぞれ明示されるように構成してもよい。これにより、販売者１４１は、商品画像１８１２と、対応画像１９１２、１９１３、１９１４との関係を、複数のマップを重ねて閲覧しながら確認することが可能となる。この結果、販売者１４１は、他の対応画像についても検討したうえで、商品カタログ１５１に用いる組み合わせ商品画像１３２を生成することが可能になる。

［その他の実施形態］
上記第１の実施形態では、評価値学習部１１０１及び組み合わせ学習部１１０２が畳み込みニューラルネットワークにより構成されるものとして説明したが、評価値学習部１１０１及び組み合わせ学習部１１０２の構成はこれに限定されない。評価値学習部１１０１については、処理対象の画像から、処理対象の画像に含まれる物品の評価値パターンを適切に出力する学習機能を有していればよい。また、組み合わせ学習部１１０２については、処理対象の画像に含まれる物品の評価値から、最適な組み合わせとなる物品の評価値を出力する学習機能を有していればよい。

また、上記第１の実施形態では、サーバ装置１２０と画像検索装置１３０とを別体として構成したが、サーバ装置１２０と画像検索装置１３０とは一体的に構成してもよい。また、画像検索装置１３０の機能の一部をサーバ装置１２０において実現するように構成してもよい。

また、上記第１の実施形態では、画像検索装置１３０が各格納部（第１学習用情報格納部４１１、第２学習用情報格納部４１２、学習結果格納部４１３、商品画像格納部４１４）を有するものとして説明した。しかしながら、各格納部は、画像検索装置１３０とは別体の外部装置が有していてもよい。

また、上記第１の実施形態では、画像検索装置１３０をサーバ装置１２０及び印刷装置１５０と接続し、顧客１１１に対して、サーバ装置１２０を介して販売サービスを提供し、印刷装置１５０を介して商品カタログを提供する販売システム１００を形成した。しかしながら、画像検索装置１３０を有するシステムはこれに限定されず、いずれか一方を提供するシステム（例えば、印刷装置１５０を介して商品カタログを提供する商品カタログ生成システムを形成してもよい。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：販売システム
１１０ ：携帯端末
１２０ ：サーバ装置
１３０ ：画像検索装置
１４０ ：端末
１５０ ：印刷装置
１１２ ：顧客画像
１１３ ：レコメンド商品画像
１３２ ：組み合わせ商品画像
４０１ ：情報取得部
４０２ ：学習部
４０３ ：解析部
４０４ ：販売用画像生成部
５０１ ：画像情報取得部
５０２ ：評価値入力部
５０３ ：マップ生成部
６００ ：第１学習用情報
８００ ：第２学習用情報
９００ ：第２学習用情報
１０００ ：商品画像情報
１１０１ ：評価値学習部
１１０２ ：組み合わせ学習部
１７０１ ：指示部
１７０２ ：処理対象取得部
１７０３ ：組み合わせ候補算出部
１７０４ ：レコメンド候補算出部
１８００、１９００ ：組み合わせ候補算出画面
１９１０ ：組み合わせ候補算出結果画面
２４１０ ：販売サービス画面
２４２０ ：レコメンドサービス画面
２６１０ ：レコメンド商品画面

特開２０１６−１８１１９６号公報

Claims (13)

1. 処理対象の画像を取得する取得部と、
   前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定部と、を有し、
   前記処理対象の画像と、特定された前記対応画像とを対応付けて出力することを特徴とする画像検索装置。
2. 前記処理対象の画像を取得した場合に、前記物品が属するカテゴリと同じカテゴリに属する商品の画像が、該商品の評価値に応じた位置にプロットされてなるマップ上に、前記処理対象の画像を、前記物品の評価値に応じた位置にプロットして表示することを特徴とする請求項１に記載の画像検索装置。
3. 複数の指標の中から選択された２つの指標により形成される前記マップ上に、前記物品が属するカテゴリと同じカテゴリに属する商品の画像を、該商品の該２つの指標の評価値に応じた位置にプロットし、
   複数の指標の中から選択された２つの指標により形成される前記マップ上に、前記処理対象の画像を、前記物品の該２つの指標の評価値に応じた位置にプロットして表示することを特徴とする請求項２に記載の画像検索装置。
4. 前記特定部は、
   前記物品が属するカテゴリと同じ第１のカテゴリに属する商品の過去画像と該商品の評価値との関係を学習することで得た評価値学習結果を取得し、取得した評価値学習結果を用いて、前記処理対象の画像に含まれる物品の評価値を算出し、
   前記物品が属するカテゴリとは異なる第２のカテゴリに属する商品の過去画像と該商品の評価値との関係を学習することで得た評価値学習結果を取得し、取得した評価値学習結果を用いて、前記商品画像に含まれる商品の評価値を算出することを特徴とする請求項１に記載の画像検索装置。
5. 前記特定部は、
   前記第１のカテゴリに属する物品と前記第２のカテゴリに属する物品とを含む参照画像に基づいて、該参照画像に含まれる前記第１のカテゴリに属する物品の評価値と、該参照画像に含まれる前記第２のカテゴリに属する物品の評価値との関係を学習することで得た組み合わせ学習結果を取得し、取得した組み合わせ学習結果を用いて、前記対応画像を特定することを特徴とする請求項４に記載の画像検索装置。
6. 前記取得部は、
   前記処理対象の画像として、前記商品画像の中から選択されたいずれかの商品画像を取得することを特徴とする請求項１に記載の画像検索装置。
7. 前記取得部は、
   前記処理対象の画像として、顧客の端末より送信された顧客画像の所定の領域を取得することを特徴とする請求項１に記載の画像検索装置。
8. 前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの入力を受け付け、
   前記特定部は、
   入力を受け付けたカテゴリに属する商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、前記対応画像として特定することを特徴とする請求項１に記載の画像検索装置。
9. 処理対象の画像を取得する取得工程と、
   前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定工程と、を有し、
   前記処理対象の画像と、特定された前記対応画像とを対応付けて出力することを特徴とする画像検索方法。
10. 処理対象の画像を取得する取得工程と、
    前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定工程と、をコンピュータに実行させるための画像検索プログラムであって、
    前記処理対象の画像と、特定された前記対応画像とを対応付けて出力する画像検索プログラム。
11. 処理対象の画像を取得する取得部と、
    前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定部と、
    前記物品が属するカテゴリと同じカテゴリに属する商品の画像が、該商品の評価値に応じた位置にプロットされてなる第１のマップと、前記物品が属するカテゴリとは異なるカテゴリの商品の商品画像が、該商品の評価値に応じた位置にプロットされてなる第２のマップとを、印刷出力する印刷出力部と
    を有することを特徴とする画像検索装置。
12. 前記印刷出力部は、前記第１のマップまたは前記第２のマップのいずれかの印刷媒体として、クリアフィルムが指定されることを特徴とする請求項１１に記載の画像検索装置。
13. 画像検索装置と印刷装置とを有する商品カタログ生成システムであって、
    前記画像検索装置は、
    処理対象の画像を取得する取得部と、
    前記処理対象の画像に含まれる物品が属するカテゴリとは異なるカテゴリの商品の商品画像の中から、前記物品の評価値と所定の関係にある評価値を有する商品の商品画像を、対応画像として特定する特定部と、を有し、
    前記印刷装置は、
    前記処理対象の画像と、特定された前記対応画像とを含む販売用画像を受信して印刷出力することで商品カタログを生成する、
    ことを特徴とする商品カタログ生成システム。

Images