JP2014002651A - 情報提供システム及び情報提供方法 - Google Patents

Abstract

【課題】各利用者のニーズにより適した商品情報を提供する情報提供システム及び情報提供方法を提供すること。
【解決手段】購入情報記憶部１０６は、ユーザが購入した商品情報、ユーザの顔画像、及び動作情報を蓄積し、主客層推定部１０７は、蓄積されたこれらの情報を用いて、商品毎に主客層の顔画像を生成する。商品情報記憶部１０８は、主客層の顔画像を商品情報と関連付けて記憶する。顔画像抽出部１０２は、画像入力部１０１によって撮像された画像に含まれる人物の顔画像を抽出し、画像マッチング及び商品情報選択部１０３は、抽出された顔画像と商品情報記憶部１０８に記憶された主客層の顔画像とのマッチングを行い、抽出された顔画像と類似度の高い主客層の顔画像に関連付けられた商品情報を提示部１０４に提示する。
【選択図】図１

Description

本発明は、撮像された利用者に商品情報を提供する情報提供システム及び情報提供方法に関する。

近年、デジタルサイネージと呼ばれる広告媒体が普及しつつある。デジタルサイネージは、デジタル通信によってディスプレイ側に表示情報を配信し、ディスプレイ側で表示情報に基づいて、表示内容の切り替え又は動画表示を行うなど、多様な映像広告を展開することができる。

デジタルサイネージは、このような特性を有することから、通信ネットワークを用いてリアルタイムな操作を行って、表示される広告内容を随時配信及び変更することができる。また、ディスプレイの設置場所等を考慮して、特定の視聴者ターゲットに適した広告内容を表示することができる。

一方で、カメラ等の撮像装置により撮像した画像から、所望のデータを抽出する画像処理技術に対するニーズが高まっている。例えば、カメラに映った人物の顔を検出し、検出した顔から目、口、髪などの特徴を示すパラメータ（以下、「特徴量」という）を抽出し、抽出された特徴量と予め用意されたこれらの特徴量とを照合して、カメラに映った人物の年齢及び性別等の情報を取得する画像処理技術が存在する。

このような画像処理技術と上記デジタルサイネージとを組み合わせた技術として、例えば、特許文献１に開示の技術が知られている。特許文献１には、過去の利用者の顔画像から特徴量を抽出し、特徴量の類似度が高い利用者同士をグループ化し、同じグループに属する利用者が購入した商品履歴を集計して、グループ内の利用者に対するお勧めの商品リストを作成する情報提供システムが開示されている。また、特許文献１に開示の情報提供システムでは、新たな利用者の顔画像からグループを特定し、特定したグループのお勧め商品を表示する。

特開２０１０−１９８１９９号公報

しかしながら、上記特許文献１に開示の情報提供システムでは、予め決められた条件（特徴量の類似度など）でしかグループ化できないため、例えば、グループ化された利用者数が増大し、年齢及び性別のバリエーションが増えてしまった場合、各利用者のニーズに適した商品を表示することができなくなる。また、例えば、ある特定の化粧品を購入する利用者は、単純に顔が似ている訳ではなく、目の大きさと顔の輪郭の相関、または肌の色と口の形の相関が高いなどの特徴があったとすると、予め決められた条件でグループ化された利用者には適さない商品が多いと考えられる。

本発明の目的は、各利用者のニーズにより適した商品情報を提供する情報提供システム及び情報提供方法を提供することである。

本発明の情報提供システムは、商品の購入者が撮像された画像及び前記購入者の属性を用いて、商品毎に主客層を定期的に推定する主客層推定手段と、新規購入希望者の属性と前記主客層の属性とを比較し、前記新規購入希望者の属性と類似度の高い主客層の商品情報を選択する選択手段と、選択された前記商品情報を提示する提示手段と、を具備する構成を採る。

本発明の情報提供方法は、商品の購入者が撮像された画像及び前記購入者の属性を用いて、商品毎に主客層を定期的に推定する主客層推定工程と、新規購入希望者の属性と前記主客層の属性とを比較し、前記新規購入希望者の属性と類似度の高い主客層の商品情報を選択する選択工程と、選択された前記商品情報を提示する提示工程と、を具備するようにした。

本発明によれば、各利用者のニーズにより適した商品情報を提供することができる。

本発明の一実施の形態に係る情報提供システムの構成を示すブロック図 （ａ）等身大ミラーにカメラを備え付けた様子を示す図、（ｂ）提示部が提示する一例を示す図 平均顔生成方法の説明に供する図 差分顔生成方法の説明に供する図 図１に示した情報提供システムの商品提示手順を示すフロー図 図１に示した情報提供システムにおける主客層推定部の商品情報更新手順を示すフロー図 本発明の一実施の形態に係る情報提供システムにおける情報処理の流れを示す概念図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（一実施の形態）
図１は、本発明の一実施の形態に係る情報提供システム１００の構成を示すブロック図である。以下、図１を用いて情報提供システム１００の構成について説明する。

画像入力部１０１は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Semiconductor）等の撮像素子（以下、「カメラ」という）を備え、カメラから画像を入力し、入力した画像を顔画像抽出部１０２に出力する。

顔画像抽出部１０２は、画像入力部１０１から出力された画像から人物（以下、「ユーザ」ということもある）を検出し、検出した人物を追跡する。顔画像抽出部１０２は、所定時間追跡できた人物の画像から人物の顔モデルに類似した画像領域を顔画像として抽出し、抽出した顔画像を画像マッチング及び商品情報選択部１０３に出力する。

画像マッチング及び商品情報選択部１０３は、顔画像抽出部１０２から出力された顔画像と、商品情報記憶部１０８に記憶された主客層の顔画像の特徴量とをマッチングし、抽出された顔画像と類似度の高い主客層の顔画像に関連付けられた商品情報を商品情報記憶部１０８から読み出して、提示部１０４に出力する。また、画像マッチング及び商品情報選択部１０３は、抽出された顔画像及び読み出した商品情報を購入情報生成装置１０５に出力する。

提示部１０４は、画像マッチング及び商品情報選択部１０３から出力された商品情報をディスプレイ等に表示して、お勧めの商品としてユーザに提示する。

購入情報生成装置１０５は、ユーザが商品の購入を決定する入力情報を取得し、画像マッチング及び商品情報選択部１０３から出力された顔画像及び商品情報のうち、取得した入力情報に該当する商品情報、顔画像、及び動作情報を購入情報記憶部１０６に出力する。なお、動作情報とは、画像マッチング及び商品情報選択部１０３から出力されたお勧めの商品情報から購入したか、ユーザがそれ以外の商品を自発的に購入したか、あるいは、店舗内におけるユーザの入店から商品購入に到るまでの移動経路を示す情報などであり、詳細については後述する。

購入情報記憶部１０６は、購入情報生成装置１０５から出力された商品情報、顔画像、及び動作情報を記憶する。これらの情報は一定期間毎に主客層推定部１０７に読み出される。

主客層推定部１０７は、一定期間（例えば、１日又は数時間）毎に購入情報記憶部１０６から商品情報、顔画像、及び動作情報を読み出し、読み出したこれらの情報を用いて、商品毎に主な客層（以下、「主客層」という）の顔画像を生成し、生成した顔画像の特徴量を抽出する。主客層の顔画像の生成方法については後述する。抽出された顔画像の特徴量は、商品情報と共に商品情報記憶部１０８に出力される。

商品情報記憶部１０８は、主客層推定部１０７から出力された顔画像の特徴量及び商品情報を記憶し、画像マッチング及び商品情報選択部１０３に読み出される。

次に、上述した購入情報生成装置１０５における動作情報取得方法について説明する。例えば、図２（ａ）に示すように、衣料品売り場には、等身大ミラーにカメラが備え付けられており、ユーザがミラーの前に姿を現すと、その姿をカメラが撮像する。情報提供システム１００は、ユーザの顔画像を抽出し、お勧めの商品を提示部１０４に表示する。このとき、提示部１０４には、お勧めの商品情報の他に、図２（ｂ）に示すように、ユーザが自発的に商品を検索できるように、商品選択及び検索領域を表示してもよい。また、ユーザが商品を着用又は使用したイメージを擬似的に表示し、その商品情報を確認する商品確認領域を表示してもよい。

このように提示された情報の中から、購入情報生成装置１０５は、ユーザがお勧めの商品情報から購入したか、あるいは、それ以外の商品を自発的に購入したかを示す情報を動作情報として取得する。

なお、ここでは、衣料品売り場に情報提供システム１００を設けた場合を例に説明したが、化粧品売り場に情報提供システム１００を設けてもよいし、パソコン端末又は携帯端末等を情報提供システム１００として用いてもよい。

また、商品を手に取ったり、口コミ又は商品情報を見たりなど、商品への関心を示す情報、ある商品の類似商品を購入したことを示す情報、商品購入までの検討時間を示す情報などを動作情報とすることも考えられる。

さらに、店舗内に複数のカメラを設置し、ユーザが店舗に入店してから店舗内を移動して、商品を購入するまでの移動経路を設置したカメラによって取得し、取得した移動経路を示す情報を動作情報とすることも考えられる。このように、動作情報は、購入者が商品の購入に関する動作を示す情報である。

次に、上述した主客層推定部１０７における主客層の顔画像生成方法について説明する。主客層の顔画像生成方法として、２つの方法が挙げられ、一つは、商品毎に購入者の顔から平均的な顔画像（以下、「平均顔」という）を生成する方法であり、もう一つは、商品毎に購入者の平均顔と未購入者の平均顔との差分である顔画像（以下、「差分顔」という）を生成する方法である。

平均顔の具体的な生成方法は、まず、人物の目の位置（目位置）を検出し、目位置を基準に購入者の顔画像を正規化する。この正規化は、例えば、図３（ａ）に示すように、右目と左目の距離（以下、「目間」という）を画素数でカウントし、縦を目間の画素の３．５倍、横を目間の画素の２．５倍として画像を切り出す。そして、正規化した顔画像群の各画素の加重平均を算出することにより、平均顔を生成する（図３（ｂ）参照）。

また、差分顔の具体的な生成方法は、まず、商品毎の購入者の平均顔と未購入者の平均顔を算出し、購入者の平均顔の各画素に対して、未購入者の平均顔との重み付き差分を算出することにより、差分顔を生成する。ここで、重み付き差分とは、例えば、図４に示すように、購入者の平均顔：未購入者の平均顔＝５：１とした場合、５×（購入者の平均顔）−１×（未購入者の平均顔）とする処理をいう。これにより、購入者の顔の特徴をより強調することができる。

次に、主客層推定部１０７が上述した動作情報を用いて、平均顔を生成する場合について説明する。ユーザがある商品Ａについてお勧め商品情報から購入したことを示す動作情報と、他のユーザがお勧め商品情報以外で商品Ａを自発的に購入したことを示す動作情報とがある場合、主客層推定部１０７は、お勧め商品情報から購入したユーザの画像の重みを他のユーザの画像の重みより大きくして平均顔を生成する。

また、ユーザが商品を手に取ったり、口コミ又は商品情報を閲覧したり、商品への関心を示す動作情報がある場合には、主客層推定部１０７は、商品を購入したユーザに限らず、商品への関心を示したユーザの顔画像も用いて、平均顔を生成する。

また、ある商品Ａの類似商品Ｃ又はＥを購入したことを示す動作情報がある場合、主客層推定部１０７は、ある商品Ａを購入したユーザの平均顔と類似商品Ｃ又はＥを購入したユーザの平均顔との差分顔を生成する。

さらに、ユーザが商品購入までの検討時間が短いことを示す動作情報がある場合、主客層推定部１０７は、このユーザの重みを大きくして平均顔を生成する。

次に、図１に示した情報提供システム１００の商品提示手順について図５を用いて説明する。ステップ（以下、「ＳＴ」と省略する）２０１において、画像入力部１０１は、カメラから画像を入力し、ＳＴ２０２において、顔画像抽出部１０２は、画像から人物を検出し、ＳＴ２０３において、顔画像抽出部１０２は、検出した人物を追跡する。

ＳＴ２０４において、顔画像抽出部１０２は、追跡した人物が画像に映ったまま所定時間が経過したか否かを判定し、所定時間を経過した場合（ＹＥＳ）には、ＳＴ２０５に移行し、所定時間が経過していない（ＮＯ）場合には、ＳＴ２０１に戻る。これにより、画像に映った人物が単なる通行人か否かを判定することができ、通行人を除外することができる。

ＳＴ２０５において、顔画像抽出部１０２は、画像から人物の顔モデルに類似した画像領域を顔画像として抽出する。このとき、顔画像として抽出する画像は、正面を向いた無表情の顔（ベストショット）が人物を区別するのに好ましい。

ＳＴ２０６において、画像マッチング及び商品情報選択部１０３は、ＳＴ２０５で抽出された顔画像と、商品情報記憶部１０８に記憶された主客層の顔画像の特徴量とのマッチングを行い、ＳＴ２０７において、画像マッチング及び商品情報選択部１０３は、ＳＴ２０５で抽出された顔画像と類似度の高い主客層の顔画像に関連付けられた商品情報を商品情報記憶部１０８から選択する。

ＳＴ２０８において、提示部１０４は、ＳＴ２０７で選択された商品情報を表示する。

次に、図１に示した情報提供システム１００における主客層推定部１０７の商品情報更新手順について図６を用いて説明する。ＳＴ３０１において、主客層推定部１０７は、購入情報記憶部１０６から商品情報、ユーザの顔画像、及び動作情報を取得し、ＳＴ３０２において、主客層推定部１０７は、商品毎の主客層の顔画像を再生成するか否かを判定する。具体的には、動作情報に基づいて、商品毎に主客層の生成対象となる人物が増えた（同一人物が複数回対象となる場合には、その全てをカウントする）場合には、主客層の顔画像を再生成すると判定し、主客層の生成対象となる人物が増えていない場合には、主客層の顔画像を再生成しないと判定する。再生成する（ＹＥＳ）場合には、ＳＴ３０３に移行し、再生成しない（ＮＯ）場合には、商品情報更新手順を終了する。

ＳＴ３０３において、主客層推定部１０７は、ＳＴ３０２で再生成すると判定された商品について、主客層の顔画像を再生成し、ＳＴ３０４において、主客層推定部１０７は、ＳＴ３０３で再生成された顔画像の特徴量を抽出する。

ＳＴ３０５において、主客層推定部１０７は、ＳＴ３０４で抽出された顔画像の特徴量を商品情報記憶部１０８に更新させ、ＳＴ３０２に戻る。

なお、商品情報更新処理において、平均顔、差分顔、及び動作情報を利用した様々な主客層の顔画像を生成しておき、商品提示処理において、ユーザの状況に応じて、使用する主客層の顔画像を切り替えるようにしてもよい。例えば、最初のうちは平均顔を使用し、カメラ前におけるユーザの滞在時間が長い場合には、類似商品を購入したユーザの平均顔を用いた差分顔を使用する。

上述した通り、情報提供システム１００では、図７に示すように、まず、商品毎に購入者の画像及び属性（年齢及び性別等を含む）を用いて主客層を推定し、主客層の属性及び特徴（これらをまとめて、「代表属性」という）が求められる。代表属性としては、例えば、男性で目が大きい、女性で髪が長いなどが挙げられる。情報提供システム１００では、このような代表属性が定期的に更新され、新規購入希望者であるユーザの属性と類似度の高い代表属性に関連付けられた商品を提示する。

なお、商品毎の属性（年齢及び性別等を含む）は、商店で購入者が商品を購入した際、店員がレジ入力する際に入力することもできる。また、購入情報記憶部１０６に保持された顔画像を、ＰＣのモニタで見ながらＰＣのキーボードによりテキスト情報として入力することもできる。

このように、本実施の形態によれば、情報提供システムは、ユーザが商品を購入する場合、商品情報、ユーザの顔画像、及び動作情報を蓄積し、蓄積したこれらの情報を用いて、商品毎に主客層の顔画像を生成し、主客層の顔画像を商品情報と関連付けて記憶する。情報提供システムは、撮像した画像に含まれる人物の顔画像を抽出し、抽出した顔画像と主客層の顔画像とのマッチングを行い、抽出した顔画像と類似度の高い主客層の顔画像に関連付けられた商品情報を提示する。これにより、ユーザのニーズに適した商品情報を提供する可能性を高めることができる。

なお、本実施の形態では、顔画像抽出部１０２は、人物の顔画像を抽出するものとして説明したが、本発明はこれに限らず、人物の上半身又は全身を抽出してもよい。この場合、主客層推定部１０７は、例えば、人物の肩幅を基準に人物画像を正規化することが考えられる。

また、本実施の形態では、図２（ｂ）に衣料品を使用したイメージを擬似的に表示する例として挙げたが、本発明はこれに限らず、化粧品（例えば、口紅、アイシャドウなど）、ヘアスタイル、眼鏡等を使用したイメージを擬似的に表示することも可能である。

また、本実施の形態では、主客層の顔画像から主客層の属性（年齢、性別、職業など）を推定し、商品の提供者が想定するターゲットとずれがないか確認してもよい。また、この確認結果と、主客層の顔画像とを商品提供者にフィードバックしてもよい。

本発明にかかる情報提供システム及び情報提供方法は、各利用者のニーズにより適した商品情報を提供するのに好適である。

１０１ 画像入力部
１０２ 顔画像抽出部
１０３ 画像マッチング及び商品情報選択部
１０４ 提示部
１０５ 購入情報生成装置
１０６ 購入情報記憶部
１０７ 主客層推定部
１０８ 商品情報記憶部

Claims (7)

1. 商品の購入者が撮像された画像及び前記購入者の属性を用いて、商品毎に主客層を定期的に推定する主客層推定手段と、
   新規購入希望者の属性と前記主客層の属性とを比較し、前記新規購入希望者の属性と類似度の高い主客層の商品情報を選択する選択手段と、
   選択された前記商品情報を提示する提示手段と、
   を具備する情報提供システム。
2. 前記主客層推定手段は、前記購入者の目の位置を検出し、前記目の位置を基準に前記購入者の画像を正規化し、正規化した画像群の各画素の加重平均を算出して、前記主客層の平均顔を生成する、
   請求項１に記載の情報提供システム。
3. 前記主客層推定手段は、前記購入者の平均顔と未購入者の平均顔を算出し、前記購入者の平均顔の各画素に対して、前記未購入者の平均顔との重み付き差分を算出して、前記主客層の差分顔を生成する、
   請求項１に記載の情報提供システム。
4. 前記主客層推定手段は、所定の商品について、前記提示手段によって提示された前記商品情報から購入した第１購入者と、前記提示手段によって提示された前記商品情報以外から購入した第２購入者とが存在する場合、前記第１購入者の画像の重みを前記第２購入者の画像の重みより大きくして前記平均顔を生成する、
   請求項２に記載の情報提供システム。
5. 前記主客層推定手段は、前記主客層の平均顔と、前記商品と類似商品の主客層の平均顔との差分顔を生成する、
   請求項２に記載の情報提供システム。
6. 前記主客層推定手段は、商品購入までの検討時間が短い購入者の画像の重みを大きくして前記平均顔を生成する、
   請求項２に記載の情報提供システム。
7. 商品の購入者が撮像された画像及び前記購入者の属性を用いて、商品毎に主客層を定期的に推定する主客層推定工程と、
   新規購入希望者の属性と前記主客層の属性とを比較し、前記新規購入希望者の属性と類似度の高い主客層の商品情報を選択する選択工程と、
   選択された前記商品情報を提示する提示工程と、
   を具備する情報提供方法。
   

Images