JP2017215667A - レコメンド装置、レコメンド方法、およびプログラム - Google Patents

Abstract

【課題】来店した顧客に対し、当該顧客が所持している物や顧客が見ている販売商品に基づく推奨商品を簡単にレコメンドすることができなかった。【解決手段】商品に関する２以上の商品情報を格納し得る商品情報格納部１０１と、物品が写っている写真を受け付ける写真受付部１０２と、写真を画像認識して物品の所有者に関する所有者情報を取得する所有者情報取得部１０５と、商品情報格納部から、所有者情報取得部が取得した所有者情報に応じた種類の商品の商品情報を取得し、出力するレコメンド部１０６とを具備するレコメンド装置１により、店舗に来店した顧客に推奨商品を効果的にレコメンドすることができる。【選択図】図２

Description

本発明は、顧客にお勧めの商品を提案するレコメンド装置等に関するものである。

従来、実店舗の対面販売において、顧客にお勧めの商品（以下、「推奨商品」という。）を提案するレコメンド装置が提案されている（例えば、特許文献１の段落［００１１］〜［００２６］、図１参照）。

特開２００９−２４７９２６号公報

例えば、服飾関係の商品を扱う小売店においては、例えば、顧客がトップスを選定しているときに、店員が色合い、全体的なシルエット、流行などを考慮してそのトップスに合ったボトムスを提案し、顧客の購買意欲を高めることが良く行われている。

特許文献１に記載のレコメンド装置は、顧客の求める商品に関連した推奨商品を提案することができるが、このレコメンド装置では顧客の店頭での購買履歴から購入確率の高い推奨商品を提案するだけであるので、推奨商品の提案内容としては十分でなかった。

また、店員による推奨商品の提案の場合でも店員の知識やスキルに依存してばらつきが多く、推奨商品の提案を好適に行うことが困難だった。また、顧客の所有する物品や店舗で顧客が関心を示す商品の情報を用いて推奨商品を選択することができなかった。

本第一の発明のレコメンド装置は、商品に関する２以上の商品情報を格納し得る商品情報格納部と、物品が写っている写真を受け付ける写真受付部と、写真を画像認識して物品の所有者に関する所有者情報を取得する所有者情報取得部と、所有者情報取得部が取得した所有者情報に応じた種類の商品の商品情報を商品情報格納部から取得し、出力するレコメンド部と、を具備するレコメンド装置である。

かかる構成により、写真に写っている物品の所有者情報に応じた種類の商品を顧客に提案することができる。

また、本第二の発明のレコメンド装置は、第一の発明に対して、レコメンド部は、所有者情報取得部が取得した所有者情報が物品の所有者が顧客側であることを示す第一所有者情報の場合は、写真に写っている物品の種類と異なる種類の商品に関する商品情報を商品情報格納部から取得し、出力するレコメンド装置である。

かかる構成により、写真に写っている物品の所有者が店舗側でない場合は、当該物品と異なる種類の商品を顧客に提案することができる。

また、本第三の発明のレコメンド装置は、第一の発明に対して、レコメンド部は、所有者情報取得部が取得した所有者情報が物品の所有者が店舗側であることを示す第二所有者情報の場合は、写真に写っている物品の種類と同種の商品の商品情報を商品情報格納部から取得し、出力するレコメンド装置である。

かかる構成により、写真に写っている物品の所有者が店舗側である場合は、当該物品と同一の種類の商品を顧客に提案することができる。

また、本第四の発明のレコメンド装置は、第二又は第三の発明に対して、店舗の販売商品に関連する商品関連情報と当該店舗内の各販売商品の陳列位置に関連する位置情報とを対応付けて格納し得る位置商品情報格納部と、顧客のいる位置を示す位置情報を受信する位置情報受信部と、位置情報受信部が受信した位置情報を用いて、位置商品情報格納部から店舗内の顧客がいる位置に陳列されている販売商品の商品関連情報を取得する商品関連情報取得部と、をさらに具備し、レコメンド部は、商品関連情報取得部が取得した商品関連情報をも用いて、商品情報格納部から取得する商品情報を決定するレコメンド装置である。

かかる構成により、写真に写っている物品の所有者が店舗側である場合は、写真に写っている物品と同一の種類であり、かつ、店舗内で顧客が見ている商品と同一の種類の商品を当該顧客に提案することができる。

また、本第五の発明のレコメンド装置は、第四の発明に対して、レコメンド部は、所有者情報取得部が取得した所有者情報が第一所有者情報の場合、商品関連情報取得部が取得した商品関連情報に対応する商品と同種の商品であり、写真に写っている物品に合う商品の商品情報を商品情報格納部から取得し、出力するレコメンド装置である。

かかる構成により、写真に写っている物品の所有者が顧客側である場合は、写真に写っている物品と異なる種類であり、かつ、店舗内で顧客が見ている商品と同一の種類で、写真に写っている物品に合う商品を当該顧客に提案することができる。

また、本第六の発明のレコメンド装置は、第一から第五いずれか１つの発明に対して、顧客の購買履歴を端末識別情報に対応付けて格納し得る購買履歴格納部と、顧客の携帯端末装置を識別する端末識別情報を受信する端末識別情報受信部と、をさらに具備し、レコメンド部は、端末識別情報受信部が受信した端末識別情報を用いて、購買履歴格納部から顧客の購買履歴を取得し、その購買履歴をも用いて商品情報格納部から取得する商品情報を決定するレコメンド装置である。

かかる構成により、店舗の顧客の購買履歴を加味した商品を当該顧客に提案することができる。

また、本第七の発明のレコメンド装置は、第一から第六いずれか１つの発明に対して、写真に写っている顧客の１以上の属性値を取得する属性値取得部をさらに具備し、レコメンド部は、顧客の１以上の属性値をも用いて商品情報格納部から取得する商品情報を決定するレコメンド装置である。

かかる構成により、店舗の顧客の属性値を加味した商品を当該顧客に提案することができる。

また、本第八の発明のレコメンド装置は、第一から第七いずれか１つの発明に対して、写真受付部は、写真を撮影する写真撮影装置から入力される写真を受け付けるものであり、レコメンド部は、写真撮影装置による写真の撮影動作に連動して商品格納部から商品情報を取得し、出力する処理を行うレコメンド装置である。

かかる構成により、例えば、店舗の店員が写真撮影装置で写真撮影を行うことをトリガーとしてレコメンド装置を用いた顧客への推奨商品の提案を行うことができる。
ことができる。

また、本第九の発明のレコメンド装置は、第八の発明に対して、写真撮影装置は、当該写真撮影装置の動きを検出する動き検出部と、動き検出部による写真撮影装置の動きの検出に連動して、物品の写真撮影が可能な撮影モードに遷移するカメラ部と、を備えるレコメンド装置である。

かかる構成により、例えば、店舗の店員が写真撮影装置を持ち上げるなどの行為をすることをトリガーとしてレコメンド装置を用いた顧客への推奨商品の提案を行うことができる。

本発明によるレコメンド装置によれば、写真に写っている物品の所有者情報に応じた種類の商品を顧客に提案することができる。

実施の形態におけるレコメンドシステムの概念図 同レコメンドシステムを構成するレコメンド装置と写真撮影装置のブロック図 同レコメンドシステムを構成するレコメンド装置の基本的な推奨商品に関する商品情報の出力処理の手順を示すフローチャート 同レコメンドシステムを構成するレコメンド装置の推奨商品に関する商品情報の出力処理の変形例の手順を示すフローチャート 同レコメンドシステムを構成するレコメンド装置の商品情報格納部に格納されている商品情報の一例を示す図 同レコメンドシステムを構成するレコメンド装置の商品情報格納部に格納されている推奨商品対応表の一例を示す図 同レコメンドシステムを構成するレコメンド装置の商品情報格納部に格納されている物品の色とその色に合う色との関係を示す表の一例を示す図 同レコメンドシステムを構成するレコメンド装置の位置商品情報格納部に格納されている販売商品の形状を示す画像のリストの一例を示す図 同レコメンドシステムを構成する写真撮影装置の表示画面に表示される推奨商品の表示例の一例を示す図 同レコメンドシステムを構成する写真撮影装置の表示画面に表示される推奨商品の表示例の他の例を示す図 同レコメンドシステムを構成するレコメンド装置の商品情報格納部に格納されている取得条件表の一例を示す図 同レコメンドシステムを構成するレコメンド装置の位置商品情報格納部に格納されている販売商品の商品情報の一例を示す図 同レコメンドシステムが配置される店舗の陳列位置に関する情報を説明するための図 同レコメンドシステムを構成するレコメンド装置の購買履歴格納部に格納されている購買履歴の一例を示す図 同レコメンドシステムが配置される店舗内の顧客がいる位置に対応する陳列位置の情報を説明するための図 同レコメンドシステムを単独構成にした場合のブロック図 同レコメンドシステムを構成するレコメンド装置を実現するためのコンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、本発明に係るレコメンド装置等の実施の形態について、図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態においては、店舗に来店した顧客が所持している物品、顧客が身に着けている物品、又は店舗で陳列されている販売商品などの写真を撮影する写真撮影装置と、当該写真撮影装置から受信した写真を受け付け、その写真から写っている物品の所有者に関する所有者情報を取得し、その所有者情報に応じた種類の１以上の商品に関する商品情報を出力する（顧客に提案する）レコメンド装置とで構成したレコメンドシステムについて、説明する。

レコメンド装置は、写真に写っている物品の所有者情報を用いて推奨する商品の商品情報を取得する際、店舗内の顧客がいる位置の周辺に陳列されている販売商品、顧客の購買履歴、顧客の属性値などの情報をも用いて推奨する商品を決定することができる。

本実施の形態においては、レコメンド装置が、所有者情報に加え、店舗内の顧客のいる位置に陳列されている販売商品、顧客の購買履歴、顧客の属性値などの情報をも用いて推奨する商品に関する商品情報を取得し、出力するレコメンドシステムについて、説明する。

図１は、レコメンドシステムの概念図である。

図１に示すレコメンドシステムは、レコメンド装置１と写真撮影装置２とを備える。レコメンド装置１は、顧客に提案又は推奨する商品（以下、必要に応じて「推奨商品」という。）に関する商品情報を出力する装置である。レコメンド装置１は、通常、サーバであるが、いわゆる、クラウドサーバでもよい。写真撮影装置２は、例えば、店舗に来店した顧客が所持している物品若しくは顧客が身に着けている物品、又は店舗で販売されている商品（店舗に陳列されている商品）の写真を撮影し、レコメンド装置１に送信するための装置である。

写真撮影装置２は、カメラでも良く、カメラ機能を備えたタブレット端末、ノートパソコン、携帯電話、スマートフォンなどでもよい。以下の説明では、写真撮影装置２として、カメラ機能を備えたタブレット端末を用いる例について説明する。

図２は、レコメンドシステムを構成するレコメンド装置１と写真撮影装置２のブロック図である。

レコメンド装置１は、商品情報格納部１０１、位置商品情報格納部１０２、購買履歴格納部１０３、写真受付部１０４、所有者情報取得部１０５、レコメンド部１０６、位置情報受信部１０７、商品関連情報取得部１０８、端末識別情報受信部１０９、及び属性値取得部１１０を備える。

商品情報格納部１０１は、２以上の商品情報を格納し得る。商品情報は、推奨商品として提案するための商品に関する情報であり、例えば、商品を識別する商品識別子、商品名、価格（単価）、商品の属性（例えば、商品の対象となる性別、商品の対象年齢、用途、種類、色、サイズ、形状、産地、原材料等）、商品見本の写真又は画像、在庫に関する在庫情報、電子商取引に関するＥＣ情報等の情報を有する。なお、商品識別子は、例えば、商品番号、商品ＩＤと言っても良い。また、在庫情報は、例えば、取扱店舗を識別する情報およびその在庫数等を有する。ＥＣ情報は、商品の情報を含むウェブページのＵＲＬ等である。

また、商品情報格納部１０１は、写真に写っている物品の所有者に関する所有者情報と推奨商品との対応関係を示す推奨商品対応表を格納している。

所有者情報は、例えば、写真に写っている物品の所有者を店舗側と顧客側に分類するカテゴリー、当該物品が店舗の販売する商品である場合（物品の所有者が店舗の場合）に店舗が扱う商品を分類するカテゴリー、当該物品が顧客の身に着けている物品である場合（物品の所有者が顧客の場合）に顧客を分類する属性のカテゴリーなどの所有者のカテゴリーに関する情報を含む概念である。

店舗が扱う商品を分類するカテゴリーとは、店舗が販売する商品（店舗が所有する商品）を、例えば、高級品と大衆品、通常販売品と限定販売品などに分類するカテゴリーである。また、顧客を分類する属性のカテゴリーとは、例えば、顧客を男性、女性などの性別、ジュニア（青少年）、シニア（中高年）、シルバー（老年）、子供などの年齢層で分類するカテゴリーである。

以下の説明では、写真に写っている物品の所有者に関する所有者情報が当該物品の所有者を店舗側と顧客側に分類するカテゴリーに関する情報である場合を例に説明する。

推奨商品対応表は、写真に写っている物品の所有者が顧客であることを示す情報（以下、「第一所有者情報」という。）の場合に推奨する商品と、物品の所有者が店舗であることを示す情報（以下、「第二所有者情報」という。）の場合に推奨する商品と、を示す表である。

所有者情報が第一所有者情報の場合の推奨商品は、例えば、写真に写っている物品の種類と異なる商品で、例えば、色、形状、模様などのデザイン要素がその物品に合う商品である。また、所有者情報が第二所有者情報の場合の推奨商品は、例えば、写真に写っている物品の種類と同じ商品で、例えば、色、形状、模様などのデザイン要素がその物品に合う商品である。

物品に合うデザイン要素は、例えば、予め決められている。例えば、デザイン要素が色の場合、例えば、赤色に対して、赤の隣接色や類似色（例えば、桃色や赤紫色）が物品に合う色に設定されている。但し、物品に合うデザイン要素は、ユーザの商品の購買履歴の情報、行動履歴の情報等から、動的に決定されても良い。

従って、商品情報格納部１０１に格納されている推奨商品対応表は、写真に写っている物品の所有者のカテゴリーと商品の種類との対応関係を示す対応表といってもよい。

さらに、商品情報格納部１０１は、当該商品情報格納部１０１から取得する商品情報を決定するための取得条件を示す取得条件表を格納している。取得条件には、例えば、店舗内の顧客のいる位置に陳列されている販売商品を用いる場合の条件と、顧客の購買履歴を用いる場合の条件と、顧客の属性値を用いる場合の条件が含まれる。

店舗内の顧客のいる位置に陳列されている販売商品を用いる場合の取得条件（以下、「第一取得条件」という。）は、例えば、店舗内の顧客のいる位置に陳列されている販売商品と同種の商品を推奨商品に選択するという条件である。

また、顧客の購買履歴を用いる場合の取得条件（以下、「第二取得条件」という。）は、例えば、顧客の購入履歴が多い商品の属性値（例えば、色、サイズ、形状などの属性値）を有する商品を推奨商品に選択するという条件である。購入履歴が多い商品の属性値とは、例えば、購入数が閾値以上の商品の属性値である。

また、顧客の属性値を用いる場合の取得条件（以下、「第三取得条件」という。）は、例えば、顧客の属性値に合う商品を推奨商品に選択するという条件である。第三取得条件の顧客の属性値は、例えば、顧客の性別又は年齢層である。

位置商品情報格納部１０２は、店舗の販売商品に関連する商品関連情報と当該店舗内の各販売商品の陳列位置に関連する位置関連情報との組を１又は２以上格納し得る。商品関連情報は、陳列位置の販売商品を特定し得る情報であり、例えば、販売商品の種類、販売商品を識別する識別情報などの情報である。

位置関連情報は、販売商品が陳列されている店舗内の位置を特定する情報である。位置関連情報には、例えば、販売商品が陳列されている陳列スペースを識別する陳列スペース識別情報、陳列スペースの店舗内における配置領域を示す情報などである。

店舗内における陳列スペースの配置領域を示す情報は、例えば、店舗の平面形状にＸＹ座標系を設定し、そのＸＹ座標系のＸＹ座標で各陳列スペースが占有する領域を定義した情報である。例えば、スペースの形状が矩形の場合、そのスペースの店舗内における配置領域の情報は、スペースの二隅の位置のＸＹ座標（例えば、（ｘ１，ｙ１），（ｘ２，ｙ２））又は四隅の位置のＸＹ座標（例えば、（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３），（ｘ４，ｙ４））である。

位置関連情報は、上記の情報に限定されず、販売商品が陳列されている店舗内の位置を特定し得る情報であれば、その内容は問わない。

位置商品情報格納部１０２は、例えば、販売商品の陳列されている位置の陳列スペース識別情報（識別番号）及び店舗内における陳列スペースの配置領域を示す情報（ＸＹ座標）と販売商品の商品関連情報とを対応付けて格納する。

また、位置商品情報格納部１０２は、店舗に陳列されている販売商品の種類毎に、各種類を代表する商品の形状（陳列状態における形状）を示す１以上の画像を格納している。位置商品情報格納部１０２は、各画像に販売商品の種類情報を対応付けて格納している。

例えば、ブラウスを陳列している場合、位置商品情報格納部１０２はそのブラウスの陳列状態における形状を示す画像にブラウスの種類情報を対応付けて格納している。販売商品の形状を示す画像は、各画像が示す形状と写真受付部１０４が受け付けた写真に写っている物品の形状とを比較して当該写真が店舗に陳列されている商品を撮影したものであるか否かを判断するための参照用の画像（以下、「参照画像」という。）である。

参照画像は、例えば、予め写真撮影装置２で店舗に陳列されている商品を撮影し、その撮影画像からディープラーニング、エッジ検出処理、またはその他の画像解析技術などの画像処理により写っている商品の輪郭（形状）を抽出して取得される。

購買履歴格納部１０３は、店舗における顧客の１又は２以上の購買履歴を格納し得る。購買履歴は、店舗で顧客が過去に購入した商品又はサービスに関する情報である。なお、店舗は、実店舗でも良く、インターネットによる通信販売の仮想店舗でも良い。

購買履歴は、例えば、顧客を識別する顧客識別情報、購買識別番号（伝票番号に相当する番号）、購入日時、購入場所を識別する情報、商品又はサービスの名称、商品又はサービスの番号、商品又はサービスの属性（例えば、種類、色、サイズ、用途、性別などの属性）、価格、配達場所、受取人、連絡先、配達方法、決済方法などの情報を有する。購買履歴には、購買識別番号毎に顧客の携帯端末装置を識別する端末識別情報が対応付けられている。

顧客識別情報は、通常、顧客に付された識別番号（ＩＤ番号）である。顧客が所持する携帯端末装置（例えば、携帯電話、スマートフォン、ノートパソコンなどの装置）の電話番号、メールアドレスなどを顧客識別情報に用いてもよい。配達場所は、通常、顧客の住所であり、受取人は、通常、顧客の氏名であり、連絡先は、通常、顧客の固定電話又は携帯端末装置の電話番号である。

写真受付部１０４は、物品が写っている写真を受け付ける。受け付けとは、通常、通信手段や放送受信手段を用いた情報の受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体に格納されている情報を当該記録媒体から読み取ることや、スキャナやカメラなどの入力デバイスで取得した画像情報を当該入力デバイスから入力することなどを含む概念である。

本実施の形態では、写真撮影装置２で顧客が身に着けている物品や店舗に陳列されている販売商品などを撮影し、その写真をレコメンド装置１に送信する構成であるので、写真受付部１０４は、通常、写真撮影装置２から送信される写真を受け付ける。

なお、顧客が、物品を撮影した写真のデータを記録した光ディスクや磁気ディスク、半導体メモリなどの記録媒体を店舗に持参し、その記録媒体から読み取った写真のデータを写真受付部１０４が受け付けるようにしてもよい。

所有者情報取得部１０５は、写真受付部１０４が受け付けた写真を画像認識して当該写真に写っている物品の所有者情報を取得する。所有者情報取得部１０５は、例えば、ディープラーニング、エッジ検出処理、またはその他の画像解析技術により写真に写っている物品の形状を示す画像（以下、「物品形状画像」という。）を取得する。また、所有者情報取得部１０５は、商品情報格納部１０１に格納されている全ての参照画像について、物品形状画像と参照画像を比較して類似度を算出する。そして、所有者情報取得部１０５は、閾値以上の類似度が得られた場合、写真に写っている物品は、最大の類似度を有する参照画像と対になる販売商品を撮影したものであると判断し、例えば、閾値以上の類似度が得られない場合、写真に写っている物品は店舗の販売商品を撮影したものではないと判断する。なお、所有者情報取得部１０５は、写真の画像認識ではなく、例えば、写真を撮影したカメラの撮影モードによって写真に写っている物品が店舗の販売商品を撮影したものであるか否かを判断するようにしてもよい。

所有者情報取得部１０５は、写真に写っている物品が店舗の販売商品を撮影したものではないと判断した場合、写真に写っている物品の所有者が顧客であることを示す第一所有者情報を取得し、写真に写っている物品が店舗の販売商品を撮影したものであると判断した場合、写真に写っている物品の所有者が店舗であることを示す第二所有者情報を取得する。第一所有者情報と第二所有者情報の形式は問わない。例えば、第一所有者情報と第二所有者情報を「０」と「１」の２値情報で表わすことは好適である。

また、所有者情報取得部１０５は、写真を画像処理して写真に写っている物品の種類を取得する。所有者情報取得部１０５は、物品の所有者情報として第二所有者情報を取得した場合、例えば、位置商品情報格納部１０２から類似度が最大である参照画像と対になる商品の種類情報を取得する。

例えば、類似度が最大である参照画像に「ブラウス」の種類情報が対応付けられている場合、所有者情報取得部１０５は、写真に写っている物品の種類が「ブラウス」であることを取得する。

また、所有者情報取得部１０５は、物品の所有者情報として第一所有者情報を取得した場合、顔認識処理により写真に人の上半身の部分が写っているか否かを判断する。所有者情報取得部１０５は、顔認識処理により人の顔を検出すると、写真に人の上半身の部分が写っていると判断する。

所有者情報取得部１０５は、写真に人の上半身の部分が写っていると判断した場合、人の上半身の部分の形状を示す画像と物品形状画像を比較して、例えば、写真に写っている人の上半身の部分と物品との位置関係を算出する。そして、所有者情報取得部１０５は、その算出結果と予め決められた位置関係に基づく種類判定とを用いて物品の種類を取得する。

所有者情報取得部１０５は、例えば、物品の位置が人の顔の下の胴部にあれば、当該物品は「トップス」であると判定する。また、所有者情報取得部１０５は、例えば、物品の形状からトップスの中の種類（ブラウス、ジャケット等の種類）を取得する。

また、所有者情報取得部１０５は、写真に人の上半身の部分が写っていないと判断した場合、物体の形状を示す画像から人の下半身の部分に相当する画像があるか否かを判断する。所有者情報取得部１０５は、例えば、物体の形状を示す画像に人の足部に相当する画像があるか否かを判断し、人の足部に相当する画像があれば、写真に人の下半身の部分が写っていると判断する。そして、所有者情報取得部１０５は、写真に人の下半身の部分が写っていると判断した場合、その部分の画像と物品画像との位置関係から、物品の種類を判定する。

例えば、物品の位置が人の下半身の位置にあれば、所有者情報取得部１０５は、当該物品は「ボトムス」であると判定し、さらに物品の形状からボトムスの中の種類（スカート、パンツなどの種類）を取得する。例えば、物品の形状が人の脚部の形状にほぼ重なるようであれば、所有者情報取得部１０５は、写真の物品の種類としてパンツを取得し、物品の形状が人の脚部を覆う形状であれば、所有者情報取得部１０５は、写真の物品の種類としてスカートを取得する。

なお、所有者情報取得部１０５は、参照画像との比較ではなく、例えば、顔認識処理及びディープラーニング、エッジ検出処理等の画像解析処理により写真の中央部に人の上半身の部分若しくは下半身の部分が写っているか否かの判断、又は写真の中央部に人の全身が写っているか否かの判断をし、これらの判断結果を用いて所有者情報を取得してもよい。

所有者情報取得部１０５は、例えば、写真の中央部に人の上半身の部分若しくは下半身の部分、又は人の全身が写っていると判断すると、当該写真に写っている物品は顧客のものを撮影したものであると判断し、第一所有者情報を取得する。また、所有者情報取得部１０５は、例えば、写真の中央部に人の上半身、下半身、全身のいずれもが写っていないと判断すると、当該写真に写っている物品は顧客のものを撮影したものではないと判断し、第二所有者情報を取得する。

但し、所有者情報取得部１０５は、例えば、写真の中央部に人の上半身、下半身、全身のいずれもが写っていないが、例えば、店舗の背景には無いオブジェクト（例えば、テレビやタンス等）が写っていると判断すれば、当該写真に写っている物品は顧客のものを撮影したものであると判断し、第一所有者情報を取得する。また、所有者情報取得部１０５は、カメラが位置情報を取得可能であり、写真に記録されている撮影場所の位置情報が店舗の位置情報に対して閾値以上離れている場合、その写真に写っている物品は、店舗の販売商品を撮影したものではないと判断し、すなわち、顧客を撮影したものであると判断し、第一所有者情報を取得するようにしても良い。

この方法の場合は、所有者情報取得部１０５は、第一所有者情報を取得した場合、上述した物品形状画像と写真に写っている人の形状の画像を比較する方法で物品の種類を取得すればよい。また、所有者情報取得部１０５は、第二所有者情報を取得した場合、上述した物品形状画像と参照画像を比較する方法で物品の種類を取得すればよい。

レコメンド部１０６は、所有者情報取得部１０５が取得した所有者情報に応じた種類の商品の商品情報を商品情報格納部１０１から取得し、出力する。所有者情報取得部１０５が取得した所有者情報に応じた種類の商品とは、例えば、商品情報格納部１０１が格納している推奨商品対応表で写真に写っている物品に対応付けられている種類の商品である。なお、「所有者情報に応じた種類の商品の商品情報を商品情報格納部１０１から取得し、出力する」ことは、所有者情報によって、商品情報が出力される場合があったり、出力されない場合があったりすることを含む。例えば、所有者情報取得部１０５が取得した所有者情報が第一所有者情報である場合は、レコメンド部１０６は所有者情報に応じた種類の商品の商品情報を商品情報格納部１０１から取得し出力するが、所有者情報取得部１０５が取得した所有者情報が第二所有者情報である場合は、レコメンド部１０６は商品情報を出力しなくても良い。

レコメンド部１０６は、所有者情報取得部１０５が取得した所有者情報に応じた種類の商品の商品情報を取得し、出力すれば良く、商品情報を取得するアルゴリズムは問わない。レコメンド部１０６が取得する商品の種類が決定された後は、協調フィルタリング等の公知のレコメンドアルゴリズムにより、商品情報を取得し得る。

上述したように、商品情報格納部１０１には、物品の所有者情報が第一所有者情報の場合と物品の所有者情報が第二所有者情報の場合について、写真に写っている物品と推奨商品との対応関係を示す推奨商品対応表が格納されている。

レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の種類及び所有者情報と、商品情報格納部１０１に格納されている推奨商品対応表と、を用いて写真の物品の所有者情報に応じた種類の推奨商品を決定し、その推奨商品の商品情報を商品情報格納部１０１から取得する。

例えば、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第一所有者情報」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第一所有者情報の場合の「ブラウス」に推奨商品として、例えば、「パンツ」と「スカート」の種類と、物品に合う色として「桃色」が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表から「赤色のブラウス」に対応する推奨商品として「桃色のパンツ」と「桃色のスカート」を決定し、その「桃色のパンツ」と「桃色のスカート」の商品情報を商品情報格納部１０１から取得する。

また、所有者情報取得部１０５が取得した写真の物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第二所有者情報」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第二所有者情報の場合の「ブラウス」に推奨商品として、例えば、「ブラウス」の種類と、物品に合う色として「桃色」が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表から「赤色のブラウス」に対応する推奨商品として「桃色のブラウス」を決定し、その「桃色のブラウス」の商品情報を商品情報格納部１０１から取得する。

商品情報の出力は、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。また、送信や蓄積、処理結果の引渡しについては、出力対象が最終的にユーザに提示されるものである。

本実施の形態では、レコメンド装置１が取得した商品情報を写真撮影装置２で顧客に提示する構成であるので、レコメンド部１０６が行う商品情報の出力は、通常、写真撮影装置２への送信である。

レコメンド部１０６は、商品関連情報取得部１０８が取得した販売商品の商品関連情報をも用いて、商品情報格納部１０１から取得する商品情報を決定してもよい。商品関連情報取得部１０８の商品関連情報の取得方法については、後述する。

商品関連情報取得部１０８が取得した商品関連情報とは、店舗の顧客がいる位置に陳列されている販売商品に関連した情報である。通常、顧客は店舗内を回ってウィンドウ・ショッピングをしたり、関心のある商品を物色したりするので、店舗内の顧客のいる位置に陳列されている販売商品は、ウィンドウ・ショッピング又は物色をしている販売商品に関連した情報といっても良い。

レコメンド部１０６は、商品情報格納部１０１に格納されている取得条件表から第一取得条件を取得し、その第一取得条件をも満たす商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得し、出力してもよい。

例えば、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第一所有者情報」で、商品関連情報取得部１０８が取得した商品関連情報が「パンツ」という販売商品の種類とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第一所有者情報の場合の「ブラウス」に、例えば、「パンツ」と「スカート」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「パンツ」と「スカート」のうち、販売商品と同一の種類という第一取得条件を満たし、「桃色」又は「赤紫色」を有する「ピンク色のパンツ」と「赤紫色のパンツ」を推奨商品に決定する。そして、レコメンド部１０６は、商品情報格納部１０１に格納されている商品情報の中から「ピンク色のパンツ」と「赤紫色のパンツ」の商品情報を取得し、出力する。

また、例えば、所有者情報取得部１０５が取得した写真の物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第二所有者情報」で、商品関連情報取得部１０８が取得した商品関連情報が「セーター」という販売商品の種類とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第二所有者情報の場合の「ブラウス」に、例えば、「セーター」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「セーター」を推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から「桃色のセーター」又は「赤紫色のセーター」取得し、出力する。

また、レコメンド部１０６は、当該レコメンド部１０６が取得する顧客の購買履歴をも用いて、商品情報格納部１０１から取得する商品情報を決定してもよい。レコメンド部１０６の顧客の購買履歴の取得方法については、後述する。

レコメンド部１０６は、商品情報格納部１０１の取得条件表から第二取得条件を取得し、その第二取得条件をも満たす商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得し、出力する。

例えば、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第一所有者情報」で、レコメンド部１０６が顧客の購買履歴から取得した第二取得条件を満たす商品の種類が「セーター」と「スカート」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第一所有者情報の場合の「ブラウス」に、例えば、「パンツ」と「スカート」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「桃色のパンツ」と「桃色のスカート」のうち、第二取得条件を満たす「桃色のスカート」と「赤紫色のスカート」を推奨商品に決定し、その「桃色のスカート」と「赤紫色のスカート」の商品情報を商品情報格納部１０１から取得し、出力する。

また、例えば、所有者情報取得部１０５が取得した写真の物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第二所有者情報」で、レコメンド部１０６が顧客の購買履歴数から取得した第二取得条件を満たす商品の種類が「ブラウス」と「スカート」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第二所有者情報の場合の「ブラウス」に、例えば、「ブラウス」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「桃色のブラウス」と「赤紫色のブラウス」を推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から「桃色のブラウス」と「赤紫色のブラウス」の商品情報を取得し、出力する。

また、レコメンド部１０６は、属性情報取得部１１０が取得する顧客の属性情報をも用いて、商品情報格納部１０１から取得する商品情報を決定してもよい。属性情報取得部１１０の顧客の属性情報の取得方法については、後述する。

レコメンド部１０６は、商品情報格納部１０１の取得条件表から第三取得条件を取得し、その第三取得条件をも満たす商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得し、出力する。

例えば、所有者情報取得部１０５が取得した写真の物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第一所有者情報」で、属性値取得部１１０が取得した第三取得条件を満たす顧客の属性値が「女性」と「高齢者層」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第一所有者情報の場合の「ブラウス」に、例えば、「パンツ」と「スカート」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。また、第三取得条件を満たす色（高齢者層に合う色）として、色合いの深い色が設定されているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「桃色又は赤紫色のパンツ」と「桃色又は赤紫色のスカート」に対して、例えば、「深い桃色又は深い赤紫色のスカート」と「深い桃色又は深い赤紫色の女性用のパンツ」を推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から「深い桃色又は深い赤紫色のスカート」と「深い桃色又は深い赤紫色のパンツ」の商品情報を取得し、出力する。

また、所有者情報取得部１０５が取得した写真の物品の色及び種類と所有者情報がそれぞれ「赤色」及び「ブラウス」と「第二所有者情報」で、属性値取得部１１０が取得した第三条件を満たす顧客の属性値が「女性」と「高齢者層」とする。また、商品情報格納部１０１の推奨商品対応表の物品の所有者情報が第二所有者情報の場合の「ブラウス」に、例えば、「ブラウス」の種類と「桃色」と「赤紫色」の物品に合う色が対応付けられているとする。

レコメンド部１０６は、商品情報格納部１０１の推奨商品対応表の「桃色のブラウス」と「赤紫色のブラウス」に対して、「深い桃色又は深い赤紫色のブラウス」を推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から「深い桃色又は深い赤紫色のブラウス」の商品情報を取得し、出力する。

位置情報受信部１０７は、顧客の位置に関する情報を受信する。顧客の位置に関する情報は、例えば、写真撮影装置２がＧＰＳなどの位置検出機能によって検出した当該写真撮影装置２の現在位置の情報（以下、「位置情報」という。）又は顧客の携帯端末装置がＧＰＳなどの位置検出機能によって検出した当該携帯端末装置の位置情報である。

顧客の携帯端末装置は、通常、顧客が所持しているので、携帯端末装置が検出した位置情報は、顧客の位置情報とすることができる。また、写真撮影装置２は、通常、店舗の店員が顧客に推奨商品のレコメンドを行う際に当該店員が保持しているので、写真撮影装置２が検出した当該写真撮影装置２の位置情報は、顧客の位置情報として扱うことができる。

位置情報受信部１０７は、例えば、写真撮影装置２が検出した当該写真撮影装置２の位置情報を当該写真撮影装置２から顧客の位置情報として受信する。

なお、顧客が所持している携帯端末装置で位置情報を検出し、当該携帯端末装置と写真撮影装置２との間で無線通信を行って携帯端末装置の位置情報を写真撮影装置２に転送し、さらに写真撮影装置２からレコメンド装置１に位置情報を送信するようにしてもよい。この場合は、位置情報受信部１０７は、写真撮影装置２から顧客の携帯端末装置の位置情報（顧客の位置情報）を受信する。

商品関連情報取得部１０８は、位置情報受信部１０７が受信した顧客の位置情報を用いて、位置商品情報格納部１０２から店舗内の顧客がいる位置に陳列されている販売商品の商品関連情報（例えば、販売商品の識別情報又は販売商品の種類の情報）を取得する。

商品関連情報取得部１０８は、位置情報受信部１０７が取得した顧客の位置情報と、位置商品情報格納部１０２に格納されている商品関連情報に対応付けられている陳列スペースの配置領域の情報とを比較して顧客のいる位置を含む陳列スペースの配置領域を探索する。

顧客の位置を含む陳列スペースの配置領域は、顧客が最も近接している陳列スペースの配置領域と考えることができる。従って、その陳列スペースに陳列されている販売商品は、例えば、顧客がウィンドウ・ショッピングをしている商品と推定することができる。

商品関連情報取得部１０８は、顧客の位置を含む陳列スペースの配置領域を取得すると、位置商品情報格納部１０２からその陳列スペースの配置領域に対応付けられた商品関連情報を取得する。

例えば、識別番号ｎの陳列スペースに陳列されている商品の種類が「パンツ」で、顧客の位置情報を含む陳列スペースの配置領域に対応する識別番号が「ｎ」の場合、商品関連情報取得部１０８は、顧客の位置情報を含む陳列スペースの識別番号ｎを取得し、位置商品情報格納部１０２から識別番号ｎの陳列スペースに対応付けられた商品関連情報（販売商品の種類を示す「パンツ」の情報）を取得する。

端末識別情報受信部１０９は、顧客の端末識別情報を受信する。端末識別情報は、顧客の所持する携帯端末装置を識別する識別情報である。端末識別情報は、例えば、携帯端末装置に格納されているＩＤ番号、ＭＡＣアドレスなどの情報である。端末識別情報は、携帯端末装置を識別できるものであれば、ＩＤ番号やＭＡＣアドレスに限定されない。端末識別情報は、例えば、携帯端末装置の電話番号、メールアドレスなどであってもよい。

端末識別情報は、顧客の携帯端末装置から直接、レコメンド装置１に送信してもよく、顧客の携帯端末装置から一旦写真撮影装置２に送信し、写真撮影装置２からレコメンド装置１に転送してもよい。従って、端末識別情報受信部１０９は、例えば、顧客の携帯端末装置から直接的に端末識別情報を受信するか、写真撮影装置２から間接的に端末識別情報を受信する。

属性値取得部１１０は、写真に顧客が写っている場合にその顧客の１以上の属性値を取得する。顧客の属性値は、第三取得条件に用いられる属性値であり、例えば、年齢、性別、体形、人種などの情報である。属性値取得部１１０は、例えば、写真受付部１０４が受け付けた写真に顔検出処理を行い、写真に人（顧客）の顔が写っているか否かを判断する。

属性値取得部１１０は、写真に人が写っていないと判断した場合は、属性値の取得処理をしないが、写真に人が写っていると判断した場合は、第三取得条件に用いる属性値の取得処理をする。例えば、第三取得条件に用いる属性値が年齢と性別の場合、属性値取得部１１０は、写真に写っている顔を示す顔画像を取得し、その顔画像に人物属性処理を行って写真に写っている人（顧客）の年齢と性別の属性値を取得する。人物属性処理は、例えば、顔画像から目、鼻、口などの顔のパーツ（特徴点）を抽出し、顔画像と抽出した特徴点を元に顔の年齢や性別を推定する処理である。

なお、第三取得条件に用いる属性値に体形が含まれる場合は、属性値取得部１１０は、例えば、ディープラーニング、エッジ検出処理 、またはその他の画像解析技術により写真に写っている人の外形形状を示す人物形状画像を抽出し、その人物形状画像を用いて体形の測定処理を行って顧客の体形の属性値を取得するとよい。

なお、写真撮影装置２に顧客の年齢、性別、体形などの属性値を入力し、写真撮影装置２からその属性値をレコメンド装置１に送信して属性値取得部１１０がその属性値を受信するようにしてもよい。

次に、写真撮影装置２のブロック構成について、説明する。

写真撮影装置２は、動き検出部２０１、カメラ部２０２、写真送信部２０３、商品情報受信部２０４及び出力部２０５を備える。

動き検出部２０１は、写真撮影装置２の動きを検出する。写真撮影装置２の動きとは、写真撮影装置２が静止状態からその姿勢を変化させたときの動きや動いたこと自体を含む。写真撮影装置２の動きは、通常、ユーザ（例えば、店舗の店員）が充電器やテーブルなどの載置場所から写真撮影装置２を取り上げた場合などの動きである。動き検出部２０１は、写真撮影装置２の動きを検出すると、動き検出信号をカメラ部２０２に出力する。

カメラ部２０２は、店舗に来店した顧客が所持している物品、顧客が身に着けている物品、店舗内の顧客がいる位置に陳列されている販売商品などの写真を撮影する。カメラ部２０２は、動き検出部２０１から写真撮影装置２の動きを検出した動き検出信号が入力されると、その動き検出信号の入力に応じて写真撮影が可能な撮影モードに遷移する。カメラ部２０２は、動き検出部２０１から動き検出信号が入力されると、例えば、スリープ状態から起動し、撮影可能な状態になる。

なお、動き検出部２０１が動き検出信号をカメラ部２０２に入力すると、当該カメラ部２０２の電源がオフ状態からオン状態になって撮影可能な状態にするようにしてもよい。また、動き検出部２０１が、写真撮影装置２の向きの変化（例えば、横向きから縦向きになったこと、または縦向きから横向きになったこと）を検知した場合、カメラ部２０２は、写真撮影が可能な撮影モードに遷移しても良い。写真撮影が可能な撮影モードへの移行とは、通常、カメラのアプリケーションの起動である。

店舗の店員が顧客を接客するために、載置場所から写真撮影装置２を取り上げると、動き検出部２０１が写真撮影装置２の動きを検出し、その動き検出に連動してカメラ部２０２が起動される。

その後、店舗の店員が撮影操作（例えば、写真撮影装置２のタッチパネルに表示されるシャッターボタンにタッチする操作）をすると、カメラ部２０２は、静止画を撮影する。写真送信部２０３は、カメラ部２０２が撮影した写真をレコメンド装置１に送信する。通常、店舗の店員は、顧客が身に付けている物品又は顧客のいる位置に陳列されている販売商品をカメラ部２０２の撮影画面の中央部に配置するように画角を調整して写真撮影をする。従って、写真送信部２０３がレコメンド装置１に送信する写真は、画面の中央部に物品又は商品が写っている写真である。

商品情報受信部２０４は、レコメンド装置１のレコメンド部１０６が送信する推奨商品の商品情報を受信する。

出力部２０５は、商品情報受信部２０４が受信した商品情報を出力する。出力部２０５の出力とは、例えば、店員が推奨商品を視覚的若しくは聴覚的に、又は視覚的且つ聴覚的に認識できる態様で出力することである。

また、出力部２０５は、商品に関する文字情報を音声出力用の音声情報に変換して、例えば、写真撮影装置２のスピーカーやイヤフォン出力端子から出力する。

商品情報格納部１０１、位置商品情報格納部１０２及び購買履歴格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。また、商品情報格納部１０１などに所定の情報が記憶される過程は、問わない。例えば、当該所定の情報は、記録媒体や、通信回線、入力デバイスなどを介して商品情報格納部１０１などに記憶されてもよい。

写真受付部１０４、位置情報受信部１０７、端末識別情報受信部１０９及び商品情報受信部２０４は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されてもよい。また、写真送信部２０３は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されてもよい。

所有者情報取得部１０５、レコメンド部１０６、商品関連情報取得部１０８及び属性値取得部１１０は、通常、ＭＰＵやメモリ等から実現され得る。また、写真受付部１０４などの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。なお、写真受付部１０４などは、ハードウェア（専用回路）で実現されてもよい。

動き検出部２０１は、例えば、加速度センサを用いて実現することができる。また、カメラ部２０２は、通常、ＣＭＯＳやＣＣＤなどのイメージセンサ（固体撮像素子）や、イメージセンサを用いたカメラ（デジタルスチルカメラ、デジタルビデオカメラ）などで実現することができる。

次に、レコメンド装置１の推奨商品に関する商品情報の出力動作について、説明する。

まず、レコメンド装置１が写真に写っている物品の所有者情報のみを用いて当該所有者情報に応じた種類の推奨商品を決定し、その推奨商品の商品情報を商品情報格納部１０１から取得し、出力する処理について、図３のフローチャートを用いて説明する。

（ステップＳ１０１）写真受付部１０２が写真を受け付けたか否かを判断する。具体的には、写真撮影装置２から送信される写真を写真受付部１０２が受信したか否かを判断する。写真受付部１０２が写真を受け付けると（Ｓ１０１：Ｙ）、ステップＳ１０２に進み、写真受付部１０２が写真を受け付けなければ（Ｓ１０１：Ｎ）、写真を受け付けるまで判断処理を継続する。

（ステップＳ１０２）所有者情報取得部１０５は、写真受付部１０２が受け付けた写真を画像認識して当該写真に写っている物品の所有者情報を取得する。所有者情報取得部１０５は、例えば、写真に写っている物品が店舗の販売商品を写したものであるか否かを判断することによって物品の所有者情報を取得する。

所有者情報取得部１０５は、写真に写っている物品が店舗の販売商品を写したものでない場合、当該物品の所有者は顧客であることを示す第一所有者情報を取得し、写真に写っている物品が店舗の販売商品を写したものである場合、当該物品の所有者は店舗であることを示す第二所有者情報を取得する。

（ステップＳ１０３）所有者情報取得部１０５は、写真を画像処理して写真に写っている物品の種類を取得する。所有者情報取得部１０５は、物品の所有者情報として第二所有者情報を取得した場合、例えば、位置商品情報格納部１０２から類似度が最大である参照画像と対になる商品の種類情報を取得する。

また、所有者情報取得部１０５は、物品の所有者情報として第一所有者情報を取得した場合、例えば、ディープラーニング、エッジ検出処理 、またはその他の画像解析技術により人の部分の形状を示す画像と物品の形状を示す物品形状画像を抽出する。そして、所有者情報取得部１０５は、両画像を比較し、人の部分と物品との位置関係から物品の種類を取得する。

例えば、所有者情報取得部１０５は、物品の位置が人の胴部にあるという位置関係を得た場合、その位置関係と物品の形状から、例えば、物品の種類として「ブラウス」を取得する。また、所有者情報取得部１０５は、物品の位置が人の脚部にあるという位置関係を得た場合、その位置関係と物品の形状から、例えば、物品の種類として「スカート」を取得する。

（ステップＳ１０４）レコメンド部１０６は、所有者情報取得部１０５が取得した物品の所有者情報が第一所有者情報であるか否かを判断する。レコメンド部１０６は、所有者情報取得部１０５の取得した所有者情報が第一所有者情報であれば（Ｓ１０４：Ｙ）、ステップＳ１０５に進み、所有者情報取得部１０５の取得した所有者情報が第二所有者情報であれば（Ｓ１０４：Ｎ）、ステップＳ１０６に進む。

（ステップＳ１０５）レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と、第一所有者情報と、商品情報格納部１０１に格納されている所有者情報が第一所有者情報の場合の推奨商品対応表とを用いて推奨商品を決定する。

レコメンド部１０６は、推奨商品対応表によって所有者情報取得部１０５が取得した物品の種類と異なる商品であって、物品の色に合う予め決められた色を有する商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得する。

（ステップＳ１０６）レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と、第二所有者情報と、商品情報格納部１０１に格納されている所有者情報が第二所有者情報の場合の推奨商品対応表とを用いて推奨商品を決定する。レコメンド部１０６は、推奨商品対応表によって所有者情報取得部１０５が取得した物品の種類と同一の種類の商品であって、物品の色に合う予め決められた色を有する商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得する。

（ステップＳ１０７）レコメンド部１０６は、取得した推奨商品の商品情報を出力する。具体的には、レコメンド部１０６は、取得した推奨商品の商品情報を写真撮影装置２に送信する。

なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、レコメンド装置１が写真に写っている物品の所有者情報に加えて、店舗の顧客のいる位置に陳列されている販売商品、顧客の購買履歴、顧客の属性値の情報をも用いて推奨商品を決定し、その推奨商品の商品情報を商品情報格納部１０１から取得し、出力する処理について、図４のフローチャートを用いて説明する。

（ステップＳ２０１）写真受付部１０２が写真を受け付けたか否かを判断する。具体的には、写真撮影装置２から送信される写真を写真受付部１０２が受信したか否かを判断する。写真受付部１０２が写真を受け付けると（Ｓ２０１：Ｙ）、ステップＳ２０２に進み、写真受付部１０２が写真を受け付けなければ（Ｓ２０１：Ｎ）、写真を受け付けるまで判断処理を継続する。

（ステップＳ２０２）所有者情報取得部１０５は、写真受付部１０２が受け付けた写真を画像認識して当該写真に写っている物品の所有者情報を取得する。所有者情報取得部１０５は、例えば、写真に写っている物品が店舗の販売商品を写したものであるか否かを判断することによって物品の所有者情報を取得する。

所有者情報取得部１０５は、写真に写っている物品が店舗の販売商品を写したものでない場合、当該物品の所有者は顧客であることを示す第一所有者情報を取得し、写真に写っている物品が店舗の販売商品を写したものである場合、当該物品の所有者は店舗客であることを示す第二所有者情報を取得する。

（ステップＳ２０３）所有者情報取得部１０５は、写真を画像処理して写真に写っている物品の種類を取得する。所有者情報取得部１０５は、物品の所有者情報として第二所有者情報を取得した場合、例えば、位置商品情報格納部１０２から類似度が最大である参照画像と対になる商品の種類情報を取得する。

また、所有者情報取得部１０５は、物品の所有者情報として第一所有者情報を取得した場合、例えば、ディープラーニングやエッジ検出処理 、またはその他の画像解析技術により人の部分の形状を示す画像と物品の形状を示す物品形状画像を抽出する。そして、所有者情報取得部１０５は、両画像を比較し、人の部分と物品との位置関係から物品の種類を取得する。

例えば、所有者情報取得部１０５は、物品の位置が人の胴部にあるという位置関係を得た場合、その位置関係と物品の形状から、例えば、物品の種類として「ブラウス」を取得する。また、所有者情報取得部１０５は、物品の位置が人の脚部にあるという位置関係を得た場合、その位置関係と物品の形状から、例えば、物品の種類として「スカート」を取得する。

（ステップＳ２０４）位置情報受信部１０７が、例えば、写真撮影装置２が写真撮影装置２から顧客の位置情報として当該写真撮影装置２の位置情報を受信したか否かを判断する。位置情報受信部１０７が顧客の位置情報を受信すると（Ｓ２０４：Ｙ）、ステップＳ２０５に進み、位置情報受信部１０７が顧客の位置情報を受信しなければ（Ｓ２０４：Ｎ）、位置情報受信部１０７が顧客の位置情報を受信するまで判断処理を継続する。

（ステップＳ２０５）商品関連情報取得部１０８は、位置情報受信部１０７が取得した顧客の位置情報と、位置商品情報格納部１０２に格納されている商品関連情報に対応付けられている陳列スペースの配置領域の情報を用いて、顧客がいる位置に陳列されている販売商品の商品関連情報を取得する。

（ステップＳ２０６）端末識別情報受信部１０９が顧客の携帯端末装置の端末識別情報を受信したか否かを判断する。例えば、顧客の携帯端末装置から写真撮影装置２に当該携帯端末装置の端末識別情報を送信し、写真撮影装置２がその端末識別情報をレコメンド装置１に転送する場合、端末識別情報受信部１０９は、写真撮影装置２から端末識別情報を受信する。

従って、端末識別情報受信部１０９が写真撮影装置２から端末識別情報を受信すると（Ｓ２０６：Ｙ）、ステップＳ２０７に進み、端末識別情報受信部１０９が端末識別情報を受信しなれば（Ｓ２０６：Ｎ）、端末識別情報受信部１０９が端末識別情報を受信するまで判断処理を継続する。

（ステップＳ２０７）レコメンド部１０６は、端末識別情報受信部１０９が受信した端末識別情報を用いて、購買履歴格納部１０３から当該端末識別情報が対応付けられた１以上の購買履歴を取得する。

（ステップＳ２０８）属性値取得部１１０は、写真受付部１０２が受け付けた写真を用いて、当該写真に写っている顧客の１以上の属性値を取得する。属性値取得部１１０は、例えば、写真に対して顔検出処理を行って写真に写っている人（顧客）の顔画像を取得する。さらに、属性値取得部１１０は、取得した顔画像に人物属性処理を行い、写真に人（顧客）の顔が写っているか否かを判断する。

属性値取得部１１０は、写真に人が写っていないと判断した場合は、属性値の取得処理をしないが、写真に人が写っていると判断した場合は、第三取得条件に用いる属性値（例えば、年齢層と性別）の取得処理をする。

（ステップＳ２０９）レコメンド部１０６は、商品関連情報取得部１０８が取得した販売商品の商品関連情報、レコメンド部１０６が取得した顧客の購買履歴及び属性値取得部１１０が取得した顧客の属性値と、商品情報格納部１０１に格納されている取得条件表とを用いて、推奨商品の商品情報を取得するための第一取得条件、第二取得条件及び第三取得条件を取得する。

取得条件表に、例えば、顧客がいる位置に陳列されている販売商品の種類に対して「販売商品と同種の商品」という条件が記載されている場合、レコメンド部１０６は、販売商品と同種の商品を推奨商品に決定するという第一取得条件を取得する。また、取得条件表に、例えば、顧客の購買履歴に対して「購買履歴の多い商品の属性値を有する商品」という取得条件が記載されている場合、レコメンド部１０６は、例えば、購買履歴数が閾値以上の商品の属性値（例えば、色、形状などの属性値）を有する商品を推奨商品に決定するという第二取得条件を取得する。

また、取得条件表に、例えば、顧客の属性に対して「顧客の性別と年齢層に合う商品」という条件が記載されている場合、レコメンド部１０６は、例えば、顧客の性別と年齢層に合う属性値を有する商品を推奨商品に決定するという第三取得条件を取得する。

（ステップＳ２１０）レコメンド部１０６は、所有者情報取得部１０５が取得した物品の所有者情報が第一所有者情報であるか否かを判断する。レコメンド部１０６は、所有者情報取得部１０５の取得した所有者情報が第一所有者情報であれば（Ｓ２１０：Ｙ）、ステップＳ２１１に進み、所有者情報取得部１０５の取得した所有者情報が第二所有者情報であれば（Ｓ２１０：Ｎ）、ステップＳ２１２に進む。

（ステップＳ２１１）レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類と、第一所有者情報と、当該レコメンド部１０６が取得した第一取得条件乃至第三取得条件と、商品情報格納部１０１に格納されている所有者情報が第一所有者情報の場合の推奨商品対応表とを用いて推奨商品を決定する。

レコメンド部１０６は、商品対応表によって所有者情報取得部１０５が取得した物品の種類と異なる種類の商品であって、第一取得条件乃至第三取得条件を満たす商品を推奨商品に決定し、その推奨商品の商品情報を商品情報格納部１０１から取得する。

（ステップＳ２１２）レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の色及び種類、第二所有者情報と、商品情報格納部１０１に格納されている所有者情報が第二所有者情報の場合の推奨商品対応表とを用いて推奨商品を決定する。レコメンド部１０６は、商品対応表によって所有者情報取得部１０５が取得した物品の種類と同一の種類の商品であって、第一取得条件乃至第三取得条件を満たす商品を推奨商品に決定し、その推奨商品に関する商品情報を商品情報格納部１０１から取得する。なお、所有者情報取得部１０５が取得した情報が第二所有者情報である場合、レコメンド部１０６は、レコメンドするための商品情報を取得しなくても良い。つまり、所有者情報取得部１０５が取得した情報が第一所有者情報である場合のみ、レコメンド部１０６は、レコメンドするための商品情報を取得しても良い。

（ステップＳ２１３）レコメンド部１０６は、取得した推奨商品に関する商品情報を出力する。具体的には、レコメンド部１０６は、取得した推奨商品に関する商品情報を写真撮影装置２に送信する。

なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図４のフローチャートでは、店舗の顧客のいる位置に陳列されている販売商品、顧客の購買履歴及び顧客の属性値の各情報について、推奨商品の商品情報を取得するための第一乃至第三取得条件を取得しているが、第一乃至第三取得条件のいずれか１以上の取得条件を取得するようにしてもよい。

すなわち、図４のフローチャートにおいて、ステップＳ２０４，Ｓ２０５の処理、ステップＳ２０６，Ｓ２０７の処理、ステップＳ２０８の処理のいずれか１つ又は２つの処理を省略してもよい。

次に、写真撮影装置２の処理について、簡単に説明する。

例えば、店舗の店員がレコメンドシステムの写真撮影装置２を用いて当該店舗に来店した顧客に推奨商品を提案するために、当該店員が載置場所から写真撮影装置２を取り上げるなどの行為をしたとする。この行為により写真撮影装置２の姿勢が変化すると、写真撮影装置２を構成する動き検出部２０１が写真撮影装置２の動きを検出し、その動き検出に連動してカメラ部２０２が起動する。

店員が顧客に推奨商品を提案するために、例えば、顧客が身に付けている物品又は顧客のいる位置に陳列されている販売商品を写真撮影装置２で撮影をすると、写真送信部２０３が撮影された写真をレコメンド装置１に送信する。

また、店員が写真撮影装置２と顧客の携帯端末装置との間で通信を行って写真撮影装置２で当該携帯端末装置の端末識別情報を受信すると、写真撮影装置２は、その端末識別情報をレコメンド装置１に送信する。

その後、レコメンド装置１が上述した推奨商品の商品情報の取得処理を行った後、その商品情報を写真撮影装置２に送信すると、商品情報受信部２０４がその商品情報を受信し、出力部２０５がその商品情報を出力する。

出力部２０５は、例えば、商品情報に含まれる商品に関する文字情報と商品見本の写真などを表示用の画像情報に変換して、例えば、写真撮影装置２のタッチパネルの液晶ディスプレイに出力する（表示する）。また、出力部２０５は、商品情報に含まれる商品に関する文字情報を音声出力用の音声情報に変換して、例えば、写真撮影装置２のスピーカーやイヤフォン出力端子から出力する。

（具体例１）
次に、本実施の形態におけるレコメンドシステムの具体的な動作について説明する。

具体例１では、レコメンドシステムは、図２に示すブロック構成を有するが、レコメンド装置１が図３に示す処理手順に従って、写真に写っている物品の所有者情報のみを用いて当該所有者情報に応じた種類の商品に関する商品情報を出力する場合について、説明する。また、以下の説明では、女性用の衣料品や服飾品を販売する販売店におけるレコメンドシステムのレコメンド動作について説明する。

商品情報格納部１０１には、多数のレコメンド用の商品に関する商品情報をデータテーブル形式で記録した商品情報管理表が格納されている。各商品の商品情報は、商品を識別する商品識別子、商品名、価格（単価）、商品の属性（例えば、商品の対象となる性別、商品の対象年齢、用途、種類、色、サイズ、形状、産地、原材料等）、商品見本の写真又は画像等の情報を有する。

図５は、レコメンド装置１の商品情報格納部１０１に格納されている商品情報管理表の一例を示す図である。

図５には、商品情報の一部である「ＩＤ」、「商品識別子」、「商品名」、「価格」、「種類」等の情報と商品見本である「写真」を記載している。

１つの商品情報は、商品情報管理表のレコード（１行分のデータ）に記録されており、そのレコードの中に「ＩＤ」などの複数の商品情報と「写真」が並べて記録されている。「ＩＤ」は、商品情報管理表のレコードを識別する識別情報である。「商品識別子」は、レコードに記録されている商品を識別する商品識別子である。図５では、商品に付された商品番号が「商品識別子」の欄に記載されている。

「商品名」は、商品を識別するための名称である。通常、商品売買の場面では同一種類の商品でも材質、形状、色などの異なる商品が異なる商品として扱われ、材質、形状等の属性値を用いた異なる商品名が付けられていることから、「商品名」の欄には、例えば、商品の属性により区別される商品名が記載されている。

「価格」は、例えば、商品の小売価格であり、「写真」は、商品の見本を撮影した写真の画像である。

「種類」は、例えば、「日本標準商品分類表」などの各種の商品分類表で商品を階層的に分類した区分のうち、最小の区分に付された名称である。商品分類表では、通常、多数の商品を類似する商品毎に集約し、商品群として階層的な分類項目に分類しており、最小の区分には、用途及び機能を共通にする商品群の普通名称が用いられている。例えば、衣服の上衣では「ブラウス」、「スカート」などの普通名称が用いられている。従って、「種類」の欄には、商品の普通名称が記載されている。

図６は、商品情報格納部１０１に格納されている推奨商品対応表の一例を示す図である。

「ＩＤ」は、推奨商品対応表のレコードを識別する識別情報（番号）であり、「物品の種類」は、写真に写っている物品の種類である。「推奨商品」の欄には、推奨する商品の種類、色等の属性値が記載されている。

また、「所有者情報」は、写真に写っている物品の所有者情報である。なお、「所有者情報」の欄の「０」は、第一所有者情報であることを示し、「１」は、第一所有者情報であることを示している。「０」を第二所有者情報とし、「１」を第一所有者情報とするようにしてもよい。

図６において、例えば、ＩＤ＝＊＊＊１１は、写真に写っている物品の種類が「ブラウス」で、当該物品の所有者情報が第一所有者情報の場合は、写真に写っている「ブラウス」の色に合う色の「パンツ」と「スカート」を推奨商品に選択することを示している。

なお、写真に写っている物品の色に合う色は、例えば、図６に示すように、予め決められている。図７の例では、例えば、物品の色が「赤色」の場合は、推奨する商品の色を「白色」、「桃色」、「赤紫色」に選択することを示し、物品の色が「青色」の場合は、推奨する商品の色を「白色」、「橙色」、「紺色」に選択することを示している。

従って、写真に写っている物品が「赤色のブラウス」の場合、例えば、「白色のパンツとスカート」、「桃色のパンツとスカート」、「赤紫色のパンツとスカート」が推奨商品に選定される。

また、ＩＤ＝＊＊＊１２は、写真に写っている物品の種類が「ブラウス」で、当該物品の所有者情報が第二所有者情報の場合は、写真に写っている「ブラウス」に色に合う色の「ブラウス」を推奨商品に選択することを示している。

この場合も、例えば、写真に写っている物品が「赤色のブラウス」の場合、図６に示す物品に合う色のブラウス、すなわち、「白色のブラウス」、「桃色のブラウス」、「赤紫色のブラウス」が推奨商品に選定される。

図８は、位置商品情報格納部１０２に格納されている販売商品の形状を示す画像（参照画像）のリストの一例を示す図である。リスト内の各画像には、販売商品の種類の情報が対応付けられている。

図８において、「ＩＤ」は、参照画像のリストのレコードを識別する識別情報（番号）である。また、「販売商品」の欄には、予め写真撮影装置２などで店舗に陳列されている商品を撮影し、その撮影画像からディープラーニング、エッジ検出、その他の画像解析技術などの画像処理により写っている商品の輪郭（形状）を抽出した画像（参照画像）が掲載されている。「商品の種類」は、画像の形状が示す商品の種類である。

図８では、例えば、ＩＤ＝＊＊＊５１の画像は、店舗に陳列されている「ブラウス」の形状を示す画像であることを示し、ＩＤ＝＊＊＊６３の画像は、店舗に陳列されている「スカート」の形状を示す画像であることを示し、ＩＤ＝＊＊＊８０の画像は、店舗に陳列されている「パンツ」の形状を示す画像であることを示している。

次に、レコメンドシステムの動作について、説明する。

店員が写真撮影装置２を持って来店した顧客に近づき、例えば、顧客が身に付けているトップス（上衣）に合うボトムス（下衣）などの商品を提案する場合、店員は顧客の着ている上衣を写真撮影装置２で撮影する。また、店舗内の顧客がいる位置に陳列されている販売商品に関連のある商品（例えば、販売商品に類似する他の商品などの商品）を提案する場合、店員は顧客が見ている販売商品を写真撮影装置２で撮影する。

例えば、店員が顧客の着ているブラウス又は店舗内の顧客が見ている販売商品のブラウスを撮影する場合、店員は、写真撮影装置２の撮影画面の中央部の所定の範囲内にブラウス全体が入るように画角を調整して撮影を行う。

店員が撮影動作（例えば、シャッターボタンの押し込み操作又はタッチ操作）をすると、写真撮影装置２のカメラ部２０１がブラウスの写真撮影を行い、写真送信部２０３がその写真をレコメンド装置１に送信する。

レコメンド装置１では、写真撮影装置２からの写真を写真受付部１０２が受信する（受け付ける）。写真受付部１０２が写真を受け付けると、所有者情報取得部１０５が、その写真に対して画像認識処理を行い、写真に写っている物品の所有者に関する所有者情報を取得する。

所有者情報取得部１０５は、例えば、写真の中央部の所定の範囲に写っているブラウスの輪郭を抽出するディープラーニング、エッジ検出処理 、またはその他の画像解析技術を行い、抽出したブラウスの形状画像と位置商品情報格納部１０２に格納されている販売商品の形状を示す画像（参照画像。図８参照）と比較して、参照画像毎に類似度を算出する。

そして、所有者情報取得部１０５は、閾値以上の類似度があるか否かを判別し、閾値以上の類似度がない場合は、写真は店舗の販売商品を撮影したものではない（すなわち、写真は顧客の身に着けている物品を撮影したものである）と判断して、写真に写っている物品の所有者は顧客であることを示す第一所有者情報を取得する。

また、所有者情報取得部１０５は、閾値以上の類似度がある場合は、写真は店舗の販売商品を撮影したものであると判断して、写真に写っている物品の所有者は店舗であることを示す第二所有者情報を取得する。

次に、所有者情報取得部１０５は、写真に写っている物品の種類、色の属性値を取得する。所有者情報取得部１０５は、写真の中の物品の形状で囲まれた部分をディープラーニングやその他の画像解析技術によって、当該物品の色の情報を取得する。

また、所有者情報取得部１０５は、第二所有者情報を取得した場合は、参照画像のリストから最大の類似度が得られた参照画像に対応付けられた商品の種類を写真に写っている物品の種類として取得する。例えば、図８に示すリストで、最大の類似度が得られた参照画像がＩＤ＝＊＊＊５１の画像の場合、所有者情報取得部１０５は、ＩＤ＝＊＊＊５１に対応付けられた商品の種類「ブラウス」を写真に写っている物品の種類として取得する。

また、所有者情報取得部１０５は、第一所有者情報を取得した場合、写真に対して顔認識処理をして当該写真に人の顔が写っているか否かを判断する。所有者情報取得部１０５は、写真に人の顔が写っている場合、ディープラーニング、エッジ検出処理 、またはその他の画像解析技術をして人の形状を示す画像を抽出し、さらに人の形状を示す画像と物品形状画像を比較して、写真に写っている人に対する物品の位置関係を算出する。

そして、所有者情報取得部１０５は、その位置関係を用いて、物品の種類を推定する。所有者情報取得部１０５は、例えば、人の形状の中で物品が人の胴部に位置している場合、写真に写っている物品はトップス（上衣）であると判断し、物品の形状からトップスの中の種類（ブラウス、ジャケット等の種類）を推定する。また、所有者情報取得部１０５は、人の形状の中で物品が人の脚部に位置している場合、写真に写っている物品はボトムス（下衣）であると判断し、物品の形状からトボトムスの中の種類（パンツ、スカート等の種類）を推定する。

レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、物品の種類、色などの情報と、商品情報格納部１０１に格納されている推奨商品対応表（図６参照）を用いて、写真の物品の所有者情報に応じた種類の推奨商品を決定する。

例えば、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、種類、色がそれぞれ「第一所有者情報」、「ブラウス」、「赤色」の場合、レコメンド部１０６は、ＩＤ＝＊＊＊１１の「推奨商品」の欄に記載された商品を推奨商品に選択する。すなわち、レコメンド部１０６は、赤色のブラウスに対して、図７に示す赤色に合う色として決められている白色、桃色、赤紫色の色を有する「パンツ」と「スカート」を推奨商品に選択する。

また、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、種類、色がそれぞれ「第二所有者情報」、「ブラウス」、「赤色」の場合、レコメンド部１０６は、ＩＤ＝＊＊＊１２の「推奨商品」の欄に記載された商品を推奨商品に選択する。すなわち、レコメンド部１０６は、赤色のブラウスに対して、図７に示す赤色に合う色として決められている白色、桃色、赤紫色の色を有する「ブラウス」を推奨商品に選択する。

レコメンド部１０６は、推奨商品を決定すると，商品情報格納部１０１からその推奨商品の商品情報を取得し、写真撮影装置２に送信する。例えば、レコメンド部１０６が決定した推奨商品に、図５に示す商品情報のＩＤ＝７７＊＊＊３のスカートが該当する場合、レコメンド部１０６は、商品情報格納部１０１からＩＤ＝７７＊＊＊３の商品情報を読み出して写真撮影装置２に送信する。

レコメンド部１０６が推奨商品に関する商品情報を送信すると、写真撮影装置２の商品情報受信部２０４がその推奨商品の商品情報を受信し、出力部２０５がその商品情報を出力する。出力部２０５は、例えば、推奨商品の商品情報に含まれる商品に関する文字情報（商品名、価格、種類、色、サイズ等の情報）と商品見本の写真を表示用の画像情報に変換して、例えば、写真撮影装置２のタッチパネルの液晶ディスプレイに出力する（表示する）。

図９は、タブレット端末１の表示画面１１に表示される推奨商品の表示例の一例を示す図である。

図９は、写真に写っている物品が顧客の着ているブラウスの場合（物品の所有者情報が第一所有者情報の場合）で、推奨物品の種類がスカートの場合に、レコメンド部１０６が商品情報格納部１０１からブラウスの色に対して予め決められた当該色に合う色のロングスカートとフレアスカートの商品情報を取得し、写真撮影装置２に送信した場合の写真撮影装置２における出力例である、

図９では、写真に写っているブラウスの画像Ｇ１とロングスカートの画像Ｇ２を上下に並べた画像Ｇ３と、ブラウスの画像Ｇ１にフレアスカートの画像Ｇ４を上下に並べた画像Ｇ５とを作成し、画像Ｇ３と画像Ｇ５を横に並べてタブレット端末１の表示画面１１に表示している。また、画像Ｇ３と画像Ｇ５の下部にそれぞれロングスカートとフレアスカートの商品名などの商品情報を文字で表示している。

なお、図９の表示例は、レコメンド装置１のレコメンド部１０６が取得した商品情報が２個の場合の例である。レコメンド部１０６が取得した推奨商品に関する商品情報が３個以上ある場合は、例えば、表示画面１１をスクロールすることにより３個以降の推奨商品に関する商品情報を図９に示す表示態様と同一の表示態様で順次表示させるとよい。

図１０は、タブレット端末１の表示画面１１に表示される推奨商品の表示例の他の例を示す図である。

図１０は、写真に写っている物品が店舗に陳列されているブラウスの場合（物品の所有者情報が第二所有者情報の場合）で、推奨商品の種類が「ブラウス」の場合に、レコメンド部１０６が商品情報格納部１０１からブラウスの色に対して予め決められた当該色に合う色を有するシャツタイプのブラウス（シャツブラウス）とシフォン素材のブラウス（シフォンブラウス）に関する商品情報を取得し、写真撮影装置２に送信した場合の写真撮影装置２における出力例である、

図１０では、写真に写っているブラウスの画像Ｇ６の下に、シャツブラウスの画像Ｇ７とシフォンブラウスの画像Ｇ８を並べてタブレット端末１の表示画面１１に表示している。また、画像Ｇ７と画像Ｇ８の下部にそれぞれシャツブラウスとシフォンブラウスの商品名などの商品情報を文字で表示している。

なお、図１０の表示例も、レコメンド装置１のレコメンド部１０６が取得した推奨商品に関する商品情報が２個の場合の例である。レコメンド部１０６が取得した推奨商品に関する商品情報が３個以上ある場合は、例えば、表示画面１１をスクロールすることにより３個以降の推奨商品に関する商品情報を図１０に示す表示態様と同一の表示態様で表示させるとよい。

（具体例２）
具体例２では、レコメンド装置１が図４に示す処理手順に従って、店舗の顧客のいる位置に陳列されている販売商品、顧客の購買履歴、顧客の属性値の情報をも用いて、写真に写っている物品の所有者情報に応じた種類の商品に関する商品情報を出力する場合について、説明する。

また、以下の説明でも女性用の衣料品や服飾品を販売する販売店におけるレコメンドシステムのレコメンド動作について説明する。

具体例２におけるレコメンドシステムは、図２に示すブロック構成を有し、レコメンド装置１の商品情報格納部１０１は、図５に示す商品情報と図６に示す推奨商品対応表と図７に示す物品の色に合う色の対応表を格納しているものとする。また、レコメンド装置１の位置商品情報格納部１０２は、図８に示す参照画像のリストを格納しているものとする。

図５乃至図８については、具体例１で説明したので、具体例２ではその説明を省略し、店舗の顧客のいる位置に陳列されている販売商品、顧客の購買履歴、顧客の属性値の情報をも用いて、写真に写っている物品の所有者情報に応じた種類の推奨商品を決定するための構成とレコメンド部１０６の動作について、説明する。

図１１（ａ）は、商品情報格納部１０１に格納されている取得条件表の一例を示す図である。同図（ｂ）は、顧客の年齢層に合う色として予め決められている色の一例を示す図である。

図１１に示す取得条件表の「番号」は、取得条件表のレコードを識別する番号である。
また、「項目」は、取得条件が設定されている項目であり、「取得条件」は、推奨商品の商品情報を取得する際の推奨商品を選択するための条件である。

図１１に示す取得条件表の「項目」の欄には、番号１に対して、店舗内の顧客のいる位置に陳列されている販売商品が記載され、番号２に対して顧客の購買履歴が記載され、番号３に対して顧客の属性値が記載されている。取得条件表の番号１のレコードは、第一取得条件に相当し、番号２のレコードは、第二取得条件に相当し、番号３のレコードは、第三取得条件に相当している。

第一取得条件の「販売商品と同類の商品」は、販売商品と同類の商品を推奨商品に選択することを示している。また、第二取得条件の「購入履歴の多い商品の属性値を有する商品」は、顧客が購入した商品の色、形状などの属性値のうち、購入数が閾値以上の属性値を有する商品を推奨商品に選択することを示している。また、第三取得条件の「顧客の性別と年齢層に合う商品」は、顧客の性別と年齢層に合う属性値を有する商品を推奨商品に選択することを示している。

本具体例では、写真に写っている物品の色に合う色を有する商品を推奨商品としているので、第二取得条件と第三取得条件の属性値は商品の色となっている。そして、第三取得条件については、図１１（ｂ）に示すように、性別/年齢層毎に推奨の色調が決められている。

なお、図１１（ｂ）において、性別／年齢層の欄野Ｆ１〜Ｆ３とＭ１〜Ｍ３は、マーケティングで用いられる性別と年齢層で区分した世代の層である。例えば、Ｆ１層は、２０歳〜３４歳の年齢層の女性であり、Ｆ２層は、３５歳〜５０歳の年齢層の女性であり、Ｆ３層は、５１歳以上の年齢層の女性である。また、Ｍ１層は、２０歳〜３４歳の年齢層の男性であり、Ｍ２層は、３５歳〜５０歳の年齢層の男性であり、Ｍ３層は、５１歳以上の年齢層の男性である。

図１１（ｂ）は、顧客の性別と年齢層がＦ１層又はＭ１層の場合、推奨商品対応表によって決定される推奨商品の色をビビット（鮮やかな色調）にすることを示し、顧客の性別と年齢層がＦ２層又はＭ２層の場合、推奨商品対応表によって決定される推奨商品の色をライト（明るい色調）にすることを示し、顧客の性別と年齢層がＦ３層又はＭ３層の場合、推奨商品対応表によって決定される推奨商品の色をディープ（深い色調）にすることを示している。

従って、例えば、推奨商品対応表によって推奨商品が「赤色のスカート」となる場合、顧客の性別／年齢層がＦ３層であれば、商品情報の取得条件として深い色調が加味されることになり、「深い赤色のスカート」が推奨商品に選定されることになる。

図１２は、位置商品情報格納部１０２に格納されている商品関連情報の一例を示す図である。

位置商品情報格納部１０２には、店舗の販売商品に関連する商品関連情報と当該店舗内の各販売商品の陳列位置に関連する位置関連情報とが対応付けられた位置商品関連対応表が格納れている。

図１２の「ＩＤ」は、位置商品関連対応表のレコードを識別する識別情報である。また、「商品識別子」、「商品名」、「種類」は、商品関連情報であり、「陳列位置ＳＰＮｏ．」、「陳列スペースの領域情報」は、位置関連情報である。

「ＩＤ」乃至「種類」の各項目の意味は、図５に示した商品情報管理表の同一名称の項目の意味と同一であるので、それらの項目の説明は省略する。

「陳列位置ＳＰｎｏ．」と「陳列スペースの領域情報」は、販売商品の店舗内における陳列位置に関する情報に含まれる項目である。「陳列位置ＳＰｎｏ．」の欄には、例えば、図１３（ａ）に示すように、店舗Ｓ内が複数の陳列スペースＳＰに分割され、各陳列スペースＳＰに識別番号ＳＰＮｏ．（図１３（ａ）では０００〜０１９の番号）が付けられている場合、商品が陳列されている陳列スペースＳＰの識別番号ＳＰＮｏ．が記載されている。

また、「陳列スペースの領域情報」の欄には、各陳列スペースＳＰの店舗内における配置領域が記載されている。陳列スペースＳＰの店舗内における配置領域を示す情報は、図１３（ａ）に示す店舗Ｓの平面図に直交するＸＹ座標系を設け、同図（ｂ）に示すように、矩形の配置領域の４隅の点ａ，ｂ，ｃ，ｂをＸＹ座標（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）、（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）によって定義したものである。

なお、ａ，ｂ，ｃ，ｂは、それぞれ左上隅、左下隅、右下隅、右上隅の各点である。また、図１３の例では、陳列スペースＳＰの平面形状が矩形の場合であるが、陳列スペースＳＰの平面形状が多角形の場合は、多角形の頂点のＸＹ座標によって陳列スペースＳＰの配置領域を示す情報を定義することができる。

図１４は、購買履歴格納部１０３に格納されている顧客の購買履歴の一例を示す図である。

購買履歴格納部１０３には、店舗が顧客に販売した商品の商品情報をデータテーブル形式で記録した購買履歴管理表が格納されている。購買履歴商品管理表は、「販売日時」、「販売場所」、「商品識別子」、「商品名」、「販売価格」、「種類」、「色」、「サイズ」、「性別」などの商品の販売に関する項目と「顧客の識別情報」などの顧客に関する項目によって販売した商品を管理している。

「販売日時」の欄には、商品を販売した日時の情報が記載されている。「販売日時」の欄には、例えば、実店舗での販売の場合、店員が顧客から商品の代金を受け取り、商品の売買に関する所定の処理を完了した日時の情報が記載されている。なお、ネットショップで商品を販売した場合は、「販売日時」に、顧客がネットショップ上の所定の精算手続きを行った日時の情報が記載される。

「販売場所」の欄には、商品を販売した実店舗やネットショップなどの販売場所に関する情報が記載されている。通常、販売場所には、販売場所を識別するための店舗識別情報（例えば、店舗の番号などの識別情報）が付けられているので、「販売場所」の欄にはその店舗識別情報が記載されている。図１４には、店舗に付けられた店舗番号を例示している。

「商品識別子」の欄には、販売した商品を識別するための情報が記載されている。「商品名」の欄には販売した商品の名称が記載されている。図１４の「商品識別子」と「商品名」の意味は、上述した図５の「商品識別子」と「商品名」の意味と同一である。

「販売価格」の欄には、商品を販売した価格が記載されている。商品は、通常、小売価格で販売されるが、小売価格と異なる価格で販売された場合は、実際の販売価格が「販売価格」の欄に記載される。

「商品の種類」の欄には、商品を階層的に分類した場合の最小の分類区分の名称が記載されている。商品の種類は、上述した図５の「種類」の意味と同一である。「色」の欄には、商品の色の名称が記載されている。なお、商品の色の分類には、例えば、色相の基本色の名称が用いられている。

「サイズ」の欄には、商品のサイズに関する情報が記載されている。例えば、「Ｍ」は、衣類におけるＭサイズの商品であることを示している。「性別」の欄には、商品の対象の性別に関する情報が記載されている。例えば、「女性」は女性用の商品であることを示し、「男性」は男性用の商品であることを示す。なお、「種類」、「色」、「サイズ」、「性別」などの項目は商品の属性値であり、商品によっては他の属性値の項目もあるが、図１４では便宜上、それらの属性値は省略している。

「顧客の識別情報」の欄には、顧客を識別するための情報が記載されている。店舗側が顧客に識別番号を付与している場合はその識別番号が用いられる。図１４の例は、顧客の携帯端末装置の電話番号を顧客の識別情報とした例である。

図１４に示す購買履歴管理表を顧客の識別情報毎に並び換えると、顧客毎の購買履歴表を得ることができる。

次に、具体例２におけるレコメンドシステムのレコメンド動作について説明する。店舗の店員が写真撮影装置２で顧客の身に着けている物品又は店舗の販売商品を撮影する動作から所有者情報取得部１０５が写真に写っている物品の所有者情報、種類、色などの情報を取得するまでの動作は、具体例１で説明した内容と同一であるので、以下では、所有者情報取得部１０５が物品の所有者情報等を取得した後の動作について説明する。

所有者情報取得部１０５が写真に写っている物品の所有者情報等を取得すると、位置情報受信部１０７が写真撮影装置２から当該写真撮影装置２の位置情報、又は写真撮影装置２が顧客の携帯端末装置から取得した当該携帯端末装置の位置情報を受信する。

位置情報受信部１０７が位置情報を受信すると、商品関連情報取得部１０８は、その位置情報と、位置商品情報格納部１０２に格納されている商品関連情報に対応付けられている位置関連情報とを用いて、位置情報が含まれる陳列スペースの配置領域を探索する。

例えば、位置情報が緯度経度の情報の場合、商品関連情報取得部１０８は、その緯度経度の情報を店舗の陳列スペースの配置図におけるＸＹ座標系の座標（Ｘｐ，Ｙｐ）に変換する。商品関連情報取得部１０８は、店舗内の顧客の位置Ｐを示す座標（Ｘｐ，Ｙｐ）と店舗内の各陳列スペースＳＰの配置領域を示す情報（４隅のＸＹ座標で定義した領域の情報）を比較して顧客の位置Ｐを示す座標（Ｘｐ，Ｙｐ）を含む陳列スペースＳＰの識別番号ＳＰＮｏ．を取得する。

例えば、図１５に示すように、識別番号ＳＰＮｏ．００３の陳列スペースＳＰの配置領域を示す情報がａ点＝（Ｘ１，Ｙ１）、ｂ点＝（Ｘ１，Ｙ２）、ｃ点＝（Ｘ２，Ｙ２）、ｄ点＝（Ｘ２，Ｙ１）（Ｘ１＜Ｘ２，Ｙ２＜Ｙ１）で、Ｘ１＜Ｘｐ＜Ｘ２、Ｙ２＜Ｙｐ＜Ｙ１であれば、顧客の位置Ｐは、識別番号ＳＰＮｏ．００３の陳列スペースＳＰの配置領域内にあるから、商品関連情報取得部１０８は、店舗Ｓ内の顧客がいる位置の陳列スペースＳＰの情報として識別番号ＳＰＮｏ．００３を取得する。

一方、Ｘ１＜Ｘｐ＜Ｘ２、Ｙｐ＜Ｙ２であれば、顧客の位置Ｐは、図１３（ａ）において、識別番号ＳＰＮｏ．００３の陳列スペースＳＰよりも下側にあることになるから、商品関連情報取得部１０８は、識別番号ＳＰＮｏ．００４〜ＳＰＮｏ．００６の陳列スペースＳＰについて同様の判断を行って、店舗Ｓ内の顧客がいる位置の陳列スペースＳＰの情報（識別番号ＳＰＮｏ．００４〜ＳＰＮｏ．００６のいずれかの情報）を取得する。

商品関連情報取得部１０８は、顧客のいる位置の陳列スペースＳＰの情報を取得すると、その情報を用いて、顧客がいる位置に陳列されている販売商品の商品関連情報を取得する。商品関連情報取得部１０８が取得した陳列スペースＳＰの情報がＳＰＮｏ．００３の場合、商品関連情報取得部１０８は、位置商品情報格納部１０２に格納されている位置商品関連対応表から「陳列位置ＳＰＮｏ．」の欄に「ＳＰＮｏ．００３」が記載された販売商品の商品関連情報を取得する。

例えば、位置商品情報格納部１０２に図１２に示す位置商品関連対応表が格納されている場合、商品関連情報取得部１０８は、「ＳＰＮｏ．００３」に対応付けられた「スカート」の種類を取得する。なお、商品関連情報取得部１０８は、商品関連情報として「ＳＰＮｏ．００３」に対応付けられた商品識別子を「７７＊＊＊３」を取得してもよい。

次に、端末識別情報受信部１０９が、例えば、写真撮影装置２から顧客の携帯端末装置を識別する端末識別情報（例えば、携帯端末装置の電話番号）を受信する。なお、店員は、写真撮影装置２で顧客の携帯端末装置との間で通信を行って当該携帯端末装置から端末識別情報を受信しているものとし、写真撮影装置２からその端末識別情報をレコメンド装置１に送信するものとする。

端末識別情報受信部１０９が顧客の携帯端末装置の端末識別情報とて電話番号を受信すると、レコメンド部１０６は、その電話番号を用いて、購買履歴格納部１０３から当該電話番号に対応付けられた商品識別番号を有する１以上の購買履歴を取得する。

例えば、購買履歴格納部１０３に図１４に示す購買履歴管理表が格納され、端末識別情報受信部１０９が受信した電話番号が「０９０＊＊＊＊＊＊７５」の場合、レコメンド部１０６は、購買履歴格納部１０３から「０９０＊＊＊＊＊＊７５」の識別情報と対になる商品識別子「７７＊＊＊＊３」と「７７＊＊＊＊５」の販売商品に関する情報（図１４の「スカート」に関する商品情報）を顧客の購買履歴として取得する。

次に、属性値取得部１１０は、写真受付部１０２が受け付けた写真を用いて、当該写真に写っている顧客の１以上の属性値を取得する。属性値取得部１１０は、例えば、写真に対して顔検出処理を行って写真に写っている人（顧客）の顔画像を取得する。さらに、属性値取得部１１０は、取得した顔画像に人物属性処理を行って写真に写っている人（顧客）の年齢と性別の属性値を取得する。

次に、レコメンド部１０６は、商品情報格納部１０１に格納されている取得条件表を用いて、商品関連情報取得部１０８が取得した販売商品を用いる場合の第一取得条件と、レコメンド部１０６が取得した顧客の購買履歴を用いる場合の第二取得条件と、属性値取得部１１０が取得した顧客の属性値を用いる場合の第三取条件を取得する。

例えば、商品情報取得部１０８が商品関連情報としてスカートの種類を取得している場合、レコメンド部１０６は、図１１に示す取得条件表から商品関連情報取得部１０８が取得した商品関連情報に対応する商品の種類と同種のスカートを推奨商品とする第一取得条件を取得する。また、例えば、レコメンド部１０６が顧客の購買履歴から顧客が良く購入している商品の属性値として「赤色」を取得している場合、レコメンド部１０６は、図１１に示す取得条件表から赤色の商品を推奨商品とする第二取得条件を取得する。

また、例えば、属性値取得部１１０が顧客の属性値といて「女性」と「シニア層（Ｆ３層）」を取得している場合、レコメンド部１０６は、図１１に示す取得条件表からＦ３層に合う商品として推奨商品対応表で決定される色に対して「深い色調」を有する商品を推奨商品とする第三取得条件を取得する。

次に、レコメンド部１０６は、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、物品の種類、色などの情報と、商品情報格納部１０１に格納されている推奨商品対応表（図６参照）と、取得した第一乃至第三取得条件とを用いて、写真の物品の所有者情報に応じた種類の推奨商品を決定する。

例えば、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、種類、色がそれぞれ「第一所有者情報」、「ブラウス」、「赤色」の場合、レコメンド部１０６は、図６に示す推奨商品対応表のＩＤ＝＊＊＊１１の「推奨商品」の欄に記載された商品を推奨商品に選択する。すなわち、レコメンド部１０６は、白色、桃色、赤紫色などの色を有する「パンツ」と「スカート」を推奨商品に決定する。

さらに、例えば、店舗内の顧客がいる位置の販売商品に基づく第一取得条件がスカートを推奨商品とすること、顧客の購買履歴に基づく第二取得条件が商品の色を赤色とすること、顧客の属性値に基づく第三取得条件がＦ３層に合う商品を推奨商品にすることの場合、レコメンド部１０６は、推奨商品対応表で決定した白色、桃色、赤紫色などの色を有するパンツとスカートに対して、第一乃至第三取得条件を満たす推奨商品を決定する。

取得条件を総合すると、「シニア層の女性に合う深い色調の赤紫色を有するスカート」となるから、レコメンド部１０６は、例えば、深い色調の赤紫色のスカートを推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から深い色調の赤紫色とスカートの属性値を有する商品の商品情報を取得する。

また、例えば、所有者情報取得部１０５が取得した写真に写っている物品の所有者情報、種類、色がそれぞれ「第二所有者情報」、「ブラウス」、「赤色」の場合、レコメンド部１０６は、図６に示す推奨商品対応表のＩＤ＝＊＊＊１２の「推奨商品」の欄に記載された商品を推奨商品に選択する。すなわち、レコメンド部１０６は、白色、桃色、赤紫色などの色を有するブラウスを推奨商品に決定する。

さらに、例えば、店舗内の顧客がいる位置の販売商品に基づく第一取得条件がブラウスを推奨商品とすること、顧客の購買履歴に基づく第二取得条件が商品の色を赤色とすること、顧客の属性値に基づく第三取得条件がＦ３層に合う商品を推奨商品にすることの場合、レコメンド部１０６は、推奨商品対応表で決定した白色、桃色、赤紫色などの色を有するブラウスに対して、第一乃至第三取得条件を満たす推奨商品を決定する。

取得条件を総合すると、「シニア層の女性に合う深い赤紫色を有するブラウス」となるから、レコメンド部１０６は、例えば、深い色調の赤紫色のブラウスを推奨商品に決定し、商品情報格納部１０１に格納されている商品情報の中から深い色調の赤紫色とブラウスの属性値を有する商品の商品情報を取得する。

レコメンド部１０６は、推奨商品を決定すると，商品情報格納部１０１からその推奨商品の商品情報を取得し、写真撮影装置２に送信する。例えば、レコメンド部１０６が決定した推奨商品に、図５に示す商品情報のＩＤ＝７７＊＊＊２のスカートが該当する場合、レコメンド部１０６は、商品情報格納部１０１からＩＤ＝７７＊＊＊２の商品情報を読み出して写真撮影装置２に送信する。

レコメンド部１０６が商品情報を送信すると、写真撮影装置２の商品情報受信部２０４がその商品情報を受信し、出力部２０５がその商品情報を出力する。出力部２０５は、例えば、商品情報に含まれる商品に関する文字情報（商品名、価格、種類、色、サイズ等の情報）と商品見本の写真を表示用の画像情報に変換して、例えば、写真撮影装置２のタッチパネルの液晶ディスプレイに出力する（表示する）。

具体例２において、写真撮影装置２では、受信した商品情報を図９と図１０に示した表示態様で出力する。図９と図１０の表示態様の説明は、具体例１でしているので、ここではその説明を省略する。

店員は、タブレット端末１の表示画面１１に推奨商品が表示されると、その推奨商品を顧客に見せることにより顧客が身に着けている被服と異なる種類の商品や店舗内で顧客が見ている販売商品と同一の種類の商品の中から推奨商品を簡単に提案することができる。

上記の具体例１，２では、顧客が着ている衣服を例に説明したが、顧客が身に着けているアクセサリーなどの装身具や顧客が所持している財布などの小物についても、同様の方法で推奨商品の提案を簡単に行うことができる。

また、上記の具体例２では、推奨商品を決定する条件として、店舗内で顧客が見ている販売商品の商品情報に基づく条件、顧客の購買履歴に基づく条件、顧客の属性値に基づく条件の全てを用いているが、これらの条件のいずれかの条件若しくは２以上の条件を組み合わせて推奨商品を決定するようにしてもよい。

以上説明したように、本実施の形態のレコメンド装置１によれば、店舗に来店した顧客が所持していたり、身に着けていたりする物品又は店舗内で顧客が見ている販売商品の写真を撮影するだけで、その写真に写っている物品の所有者情報に応じた種類の推奨商品に関する商品情報を出力させることができるので、顧客に推奨商品を簡単に提案することができ、顧客の推奨商品への購買意欲を高めることができる。

特に、写真に写っている物品が、顧客が所持していたり、身に着けていたりする物品の場合は、その物品とは異なる種類の商品の中から推奨商品を決定し、その推奨商品に関する商品情報を出力するので、顧客が所持していたり、身に着けていたりする物品に合わせて使用する他の種類の物品の推奨商品を好適に提案することができる。

また、本実施の形態のレコメンド装置１によれば、写真に写っている物品が店舗内で顧客が見ている販売商品の場合は、その物品と同一種類の商品の中から推奨商品を決定し、その推奨商品の商品情報を出力するので、顧客が関心又は興味のある商品について好適な推奨商品を提案することができる。

また、本実施の形態のレコメンド装置１によれば、顧客の購買履歴をも用いて推奨商品を決定するので、顧客の好みや嗜好にあった推奨商品を提案することができる。

さらに、本実施の形態のレコメンド装置１によれば、顧客の属性値を用いて推奨商品を決定するので、顧客の性別、年齢層などに合った推奨商品を提案することができる。

なお、本実施の形態では、ブレット端末２とレコメンド装置１とで構成したレコメンドシステムによって推奨商品に関する商品情報を出力する装置を構成する例について説明したが、図１６に示すように、同装置をスタンドアローンで構成にしてもよい。

図１６に示すレコメンド装置１Ａは、レコメンド装置１の構成に写真撮影装置２の動き検出部２０１、カメラ部２０２及び出力部２０５を追加したものである。レコメンド装置１Ａは、例えば、タブレット端末で実現することができる。

レコメンド装置１Ａ内の各部の内容は、図２に示すレコメンド装置１と写真撮影装置２のブロック図の説明で上述した通りであるから、その説明を省略する。

また、本実施の形態のレコメンド装置１における処理は、ソフトウェアで実現しても良い。そして、そのソフトウェアをソフトウェアダウンロード等により配布しても良い。また、そのソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して配布しても良い。

本実施の形態におけるレコメンド装置１を実現するソフトウェアは、以下のようなプログラムである。

すなわち、コンピュータがアクセス可能な記録媒体は、コンピュータがアクセス可能な記録媒体は、店舗で扱う商品に関する２以上の商品情報を格納し得る商品情報格納部を具備し、コンピュータを、物品が写っている写真を受け付ける写真受付部と、写真を画像認識して物品の所有者に関する所有者情報を取得する所有者情報取得部と、所有者情報取得部が取得した所有者情報に応じた種類の商品の商品情報を商品情報格納部から取得し、出力するレコメンド部として機能させるためのプログラムである。

上記プログラムにおいて、レコメンド部は、所有者情報取得部が取得した所有者情報が物品の所有者が顧客側であることを示す第一所有者情報の場合は、写真に写っている物品の種類と異なる種類の商品の商品情報を商品情報格納部から取得し、出力することは好適である。

また、上記プログラムにおいて、レコメンド部は、所有者情報取得部が取得した所有者情報が物品の所有者が、顧客が来店した店舗側であることを示す第二所有者情報の場合は、写真に写っている物品の種類と同種の商品の商品情報を商品情報格納部から取得し、出力することは好適である。

また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、店舗の販売商品に関連する商品関連情報と当該店舗内の各販売商品の陳列位置に関連する位置関連情報とを対応付けて格納し得る位置商品情報格納部をさらに具備し、コンピュータを、顧客のいる位置を示す位置情報を受信する位置情報受信部と、位置情報受信部が受信した位置情報を用いて、位置商品情報格納部から店舗内の顧客がいる位置に陳列されている販売商品の商品関連情報を取得する商品関連情報取得部としてさらに機能させ、レコメンド部は、商品関連情報取得部が取得した商品関連情報をも用いて、商品情報格納部から取得する商品情報を決定することは好適である。

また、上記プログラムにおいて、レコメンド部は、所有者情報取得部が取得した所有者情報が第一所有者情報の場合、商品関連情報取得部が取得した商品関連情報に対応する販売商品と同種の商品であり、写真に写っている物品に合う商品の商品情報を商品情報格納部から取得し、出力することは好適である。

また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、顧客の購買履歴を端末識別情報に対応付けて格納し得る購買履歴格納部をさらに具備し、コンピュータを、顧客の携帯端末装置を識別する端末識別情報を受信する端末識別情報受信部としてさらに機能させ、レコメンド部は、端末識別情報受信部が受信した端末識別情報を用いて、購買履歴格納部から顧客の購買履歴を取得し、その購買履歴をも用いて、商品情報格納部から取得し、出力することは好適である。

また、上記プログラムにおいて、コンピュータを、写真に写っている顧客の１以上の属性値を取得する属性値取得部としてさらに機能させ、レコメンド部は、顧客の１以上の属性値をも用いて商品情報格納部から取得する商品情報を決定することは好適である。

図１７は、上記のプログラムを実行して、上述した実施の形態のレコメンド装置１を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１６は、このコンピュータシステム３００の概観図であり、図１８は、システム３００のブロック図である。

図１７において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

図１８において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＭＰＵ３０１３、ＣＤ−ＲＯＭドライブ３０１２に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３００に、本実施の形態のレコメンド装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態のレコメンド装置の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信する送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信するステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理や各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

なお、本願発明は、上記の実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明に係るレコメンド装置は、店舗に来店した顧客に対して、当該顧客が身に着けている物品や店舗内の顧客がいる位置に陳列されている販売商品を撮影した写真を用いて、当該写真に写っている物品等の所有者情報に応じた種類の推奨商品に関する商品情報を提案することができる、という効果を有し、レコメンド装置等として有用である。

１，１Ａ レコメンド装置
１０１ 商品情報格納部
１０２ 位置商品情報格納部
１０３ 購買履歴格納部
１０４ 写真受付部
１０５ 所有者情報取得部
１０６ レコメンド部
１０７ 位置情報受信部
１０８ 商品関連情報取得部
１０９ 端末識別情報受信部
１１０ 属性値取得部
２ 情報端末装置（タブレット端末）
２０１ 動き検出部
２０２ カメラ部
２０３ 写真送信部
２０４ 商品情報受信部
２０５ 出力部

Claims (11)

1. 商品に関する２以上の商品情報を格納し得る商品情報格納部と、
   物品が写っている写真を受け付ける写真受付部と、
   前記写真を画像認識して前記物品の所有者に関する所有者情報を取得する所有者情報取得部と、
   前記所有者情報取得部が取得した所有者情報に応じた種類の商品の商品情報を前記商品情報格納部から取得し、出力するレコメンド部と、
   を具備するレコメンド装置。
2. 前記レコメンド部は、
   前記所有者情報取得部が取得した所有者情報が前記物品の所有者が顧客側であることを示す第一所有者情報の場合は、前記写真に写っている物品の種類と異なる種類の商品の商品情報を前記商品情報格納部から取得し、出力する、
   請求項１記載のレコメンド装置。
3. 前記レコメンド部は、
   前記所有者情報取得部が取得した所有者情報が前記物品の所有者が店舗側であることを示す第二所有者情報の場合は、前記写真に写っている物品の種類と同種の商品の商品情報を前記商品情報格納部から取得し、出力する、
   請求項１記載のレコメンド装置。
4. 前記店舗の販売商品に関連する商品関連情報と当該店舗内の各販売商品の陳列位置に関連する位置関連情報とを対応付けて格納し得る位置商品情報格納部と、
   前記顧客のいる位置を示す位置情報を受信する位置情報受信部と、
   前記位置情報受信部が受信した位置情報を用いて、前記位置商品情報格納部から前記店舗内の前記顧客がいる位置に陳列されている販売商品の商品関連情報を取得する商品関連情報取得部と、
   をさらに具備し、
   前記レコメンド部は、
   前記商品関連情報取得部が取得した商品関連情報をも用いて、前記商品情報格納部から取得する商品情報を決定する、
   請求項２又は請求項３記載のレコメンド装置。
5. 前記レコメンド部は、
   前記所有者情報取得部が取得した所有者情報が第一所有者情報の場合、前記商品関連情報取得部が取得した商品関連情報に対応する販売商品と同種の商品であり、写真に写っている物品に合う商品の商品情報を前記商品情報格納部から取得し、出力する、
   請求項４記載のレコメンド装置。
6. 前記顧客の購買履歴を前記端末識別情報に対応付けて格納し得る購買履歴格納部と、
   前記顧客の携帯端末装置を識別する端末識別情報を受信する端末識別情報受信部と、
   をさらに具備し、
   前記レコメンド部は、
   前記端末識別情報受信部が受信した端末識別情報を用いて、前記購買履歴格納部から前記顧客の購買履歴を取得し、その購買履歴をも用いて前記商品情報格納部から取得する商品情報を決定する、
   請求項１から請求項５いずれか一項に記載のレコメンド装置。
7. 前記写真に写っている顧客の１以上の属性値を取得する属性値取得部をさらに具備し、
   前記レコメンド部は、
   前記顧客の１以上の属性値をも用いて前記商品情報格納部から取得する商品情報を決定する、
   請求項１から請求項６いずれか一項に記載のレコメンド装置。
8. 前記写真受付部は、前記写真を撮影する写真撮影装置から入力される写真を受け付けるものであり、
   前記レコメンド部は、前記写真撮影装置による前記写真の撮影動作に連動して前記商品格納部から商品情報を取得し、出力する処理を行う、
   請求項１から請求項７いずれか一項に記載のレコメンド装置。
9. 前記写真撮影装置は、
   当該写真撮影装置の動きを検出する動き検出部と、
   前記動き検出部による前記写真撮影装置の動きの検出に連動して、前記物品の写真撮影が可能な撮影モードに遷移するカメラ部と、
   を備える、
   請求項８に記載のレコメンド装置。
10. 記録媒体は、
    商品に関する２以上の商品情報を格納し得る商品情報格納部を具備し、
    写真受付部と、所有者情報取得部と、レコメンド部とによって実現される商品のレコメンド方法であって、
    前記写真受付部が、物品が写っている写真を受け付ける写真受付ステップと、
    前記所有者情報取得部が、前記写真を画像認識して前記物品の所有者に関する所有者情報を取得する所有者情報取得ステップと、
    前記レコメンド部が、前記所有者情報取得ステップで取得された所有者情報に応じた種類の商品の商品情報を前記商品情報格納部から取得し、出力する商品情報出力ステップと、を具備する商品のレコメンド方法。
11. コンピュータがアクセス可能な記録媒体は、
    店舗で扱う商品に関する２以上の商品情報を格納し得る商品情報格納部を具備し、
    前記コンピュータを、
    物品が写っている写真を受け付ける写真受付部と、
    前記写真を画像認識して前記物品の所有者に関する所有者情報を取得する所有者情報取得部と、
    前記所有者情報取得部が取得した所有者情報に応じた種類の商品の商品情報を前記商品情報格納部から取得し、出力するレコメンド部と、
    して機能させるためのプログラム。

Images