JP2019164635A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を表示できる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】本発明に係る情報処理装置は、店舗において顧客の画像を撮像する撮像手段と、前記画像を分析し、前記顧客の属性を推定する推定手段と、前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする。【選択図】図１

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、データベース内に蓄積された顧客の画像データを分析して顧客の特性（例えば年齢、性別等）を推定し、推定された顧客の特性に基づいて顧客に発行する広告を決定する画像処理装置が開示されている。

特開２０１７−２０７８４０号公報

特許文献１に記載の装置では、顧客の特性を推定するために、事前に顧客側から画像データをサーバに蓄積しておく必要がある。このため、初めて店舗に来店した顧客等の画像データが未だ登録されていない顧客に対しては適切な広告を広告媒体に表示できなかった。

本発明は、上述の課題に鑑みて行われたものであって、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を表示できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、店舗において顧客の画像を撮像する撮像手段と、前記画像を分析し、前記顧客の属性を推定する推定手段と、前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置が提供される。

本発明によれば、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を出力できる情報処理装置、情報処理方法及びプログラムを提供することができる。

本発明の第１実施形態に係る情報処理装置が適用されるＰＯＳシステムの全体構成例を示す概略図である。 本発明の第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第１実施形態において撮像された顧客の画像と画像から推定される属性との関係の一例を示す図である。 本発明の第１実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。 本発明の第２実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第２実施形態において撮像された顧客の画像と画像から推定される属性及び人間関係との関係の一例を示す図である。 本発明の第２実施形態において顧客の属性及び人間関係に基づいて出力された広告の一例を示す図である。 本発明の第３実施形態に係る情報処理装置が適用されるＰＯＳシステムの全体構成例を示す概略図である。 本発明の第３実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第３実施形態における顧客の視線方向に応じた広告の出力方法の切り替えの一例を示す図である。 本発明の第４実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第４実施形態において撮像された画像と画像から推定された属性との関係の一例を示す図である。 本発明の第４実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。 本発明の他の実施形態における情報処理装置の構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態を説明する。なお、以下で説明する図面においては、同一の機能又は対応する機能を有する要素には同一の符号を付し、その繰り返しの説明を省略する。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理装置１０が適用されるＰＯＳシステム１の全体構成例を示す概略図である。ＰＯＳシステム１は、商品を販売する店舗に導入されたコンピュータシステムである。図１に示すように、ＰＯＳシステム１は、情報処理装置１０及び店舗サーバ１２を含んでいる。情報処理装置１０及び店舗サーバ１２は、例えばＬＡＮ（Local Area Network）であるネットワーク１４に有線接続されている。なお、接続方式は有線に限られず、無線により接続されてもよい。

本実施形態の情報処理装置１０は、商品の売り上げ登録機能、会計機能、商品情報登録機能、在庫管理機能等を有するＰＯＳアプリケーションプログラムがインストールされており、ＰＯＳ装置として機能する。情報処理装置１０は、レジカウンタにおいて店員によって使用され、会計処理を実行する。なお、情報処理装置１０の台数は、１台に限定されるものではなく、店舗の規模等に応じて、任意に変更可能である。

また、情報処理装置１０には、広告媒体である広告配信装置１６、撮像装置１８、及び周辺機器２０が接続されている。広告配信装置１６は、種々のディスプレイにより構成できる。例えば、広告配信装置１６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ等により構成されている。本実施形態の広告配信装置１６としては、ＰＯＳ装置である情報処理装置１０による制御を受けて、顧客に対して会計データ等の各種の情報を画面表示するカスタマーディスプレイを用いるものとする。すなわち、広告配信装置１６は、会計データに加えて、顧客に対して広告、宣伝、イベント等に関するデータ（以下、「広告データ」という。）を画面表示する。なお、広告配信装置１６は、カスタマーディスプレイとは別に設置されてもよい。

店舗サーバ１２は、例えば、店舗で販売される商品の情報管理、販売データの集計、売り上げの管理、在庫の管理等を行い、ＰＯＳシステム１の運用を管理するＰＯＳサーバ（ストアコントローラ）である。店舗サーバ１２は、例えば、店舗のバックヤードに設置されている。

また、店舗サーバ１２は、業務データベース１２ａと広告データベース１２ｂを含んでいる。業務データベース１２ａは、商品情報、販売データ、売上データ、及び在庫データ等を管理するデータベースである。広告データベース１２ｂは、店舗において顧客に提示する広告データを管理するデータベースである。広告データベース１２ｂでは、各広告のターゲットとなる顧客の属性が広告データに関連付けされているものとする。

撮像装置１８は、例えば店舗のレジカウンタ、天井、壁面等に設置されたカメラ又はビデオカメラである。周辺機器２０は、会計処理時に使用される各種の機器であり、例えばディスプレイ、非接触ＩＣ（Integrated Circuit）リーダライタ、プリンタ、キャッシュドロア、コードスキャナ等を含む。

また、図１に示すように、本実施形態に係る情報処理装置１０は、撮像部１０ａと、属性推定部１０ｂと、広告選択部１０ｃと、広告出力部１０ｄとを含んでいる。撮像部１０ａは、店舗において顧客の画像を撮像する。具体的には、撮像部１０ａは、撮像装置１８の撮像動作を制御することで顧客の画像を取得する。

属性推定部１０ｂは、撮像部１０ａにおいて撮像された画像を分析し、顧客の属性を推定する。顧客の属性の具体例としては、年齢（年代）、性別、身長、体型、服装、家族構成、職業、顧客の趣味、嗜好等が挙げられる。ここで、顧客の画像から属性として年齢及び性別を推定する方法の一例を説明する。まず、人物の顔の特徴量と、年齢及び性別を対応付けた学習データを予め作成しておき、後述する記憶装置（例えばＨＤＤ１０４）や店舗サーバ１２にデータベースとして保有させる。次に、撮像装置１８が撮影した画像から顔を抽出し、抽出した顔の特徴量を算出する。そして、属性推定部１０ｂは、算出した特徴量とデータベースの特徴量とを比較することで、顧客の年齢及び性別を推定する。

また、属性推定部１０ｂは、顧客の趣味、嗜好等の顧客の内面的な属性についても、例えば顧客の服装、装飾品、髪型等の外面的な特徴に対応付けられた学習データを予め作成しておき、同様にデータベースに保有させることで推定する。なお、顧客の属性の推定方法は、上述の方法に限られない。

広告選択部１０ｃは、属性推定部１０ｂにおいて推定された属性に基づいて、広告媒体である広告配信装置１６へ出力する広告を選択する。具体的には、本実施形態の広告選択部１０ｃは、顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し、広告データベース１２ｂからダウンロードする。広告出力部１０ｄは、広告選択部１０ｃにおいて選択された広告データを広告配信装置１６へ出力する。

図２は、本実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信インターフェース（Ｉ／Ｆ（Interface））１０５、入力装置１０６、出力装置１０７、及び表示装置１０８を有している。各機器は、共通のバスライン１０９に接続されている。

ＣＰＵ１０１は、情報処理装置１０の全体の動作を制御する。また、ＣＰＵ１０１は、ＨＤＤ１０４等に記憶されたプログラムをＲＡＭ１０３にロードして実行する。これにより、ＣＰＵ１０１は、上述の撮像部１０ａ、属性推定部１０ｂ、広告選択部１０ｃ、及び広告出力部１０ｄとしての機能を実現する。

ＲＯＭ１０２は、ブートプログラム等のプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワーキングエリアとして使用される。

また、ＨＤＤ１０４は、情報処理装置１０における処理結果及びＣＰＵ１０１により実行される各種のプログラムを記憶する記憶装置である。記憶装置は、不揮発性であればＨＤＤ１０４に限定されない。記憶装置は、例えばフラッシュメモリ等であってもよい。

通信Ｉ／Ｆ１０５は、ネットワーク１３に接続された機器との間のデータ通信を制御する。通信Ｉ／Ｆ１０５は、ＣＰＵ１０１と共に撮像部１０ａ、属性推定部１０ｂ、広告選択部１０ｃ、及び広告出力部１０ｄとしての機能を実現する。

入力装置１０６は、例えば、キーボード、マウス等のヒューマンインターフェースである。また、入力装置１０６は、表示装置１０８に組み込まれたタッチパネルであってもよい。情報処理装置１０のユーザは、入力装置１０６を介して、情報処理装置１０の設定の入力、処理の実行指示の入力等を行える。

出力装置１０７は、ＣＰＵ１０１からの制御信号に従って、所定の情報を出力する装置である。出力装置１０７は、例えば、スピーカやプリンタ等である。

表示装置１０８は、ＣＰＵ１０１からの制御信号に従って、所定の情報を表示する装置である。表示装置１０８としては、上述の広告配信装置１６と同様に、液晶ディスプレイ等を用いることができる。

なお、情報処理装置１０は、図２に示すハードウェア構成に限定されず、その他の機器を更に備えてもよい。情報処理装置１０は一つ又は複数の装置からなってもよく、あるいは他の装置と一体に構成されてもよい。また、情報処理装置１０は別の装置に接続され、本実施形態において情報処理装置１０によって行われる処理の少なくとも一部は該装置によって行われてもよい。

以下、上述のように構成された情報処理装置１０の動作について図３乃至図５に基づいて説明する。図３は、本実施形態に係る情報処理装置１０の広告出力方法の一例を示すフローチャートである。図４は、撮像部１０ａにより撮像された顧客の画像と当該画像から推定される属性との関係の一例を示す図である。図５は、本実施形態において顧客の画像から推定された属性に基づいて出力された広告の一例を示す図である。なお、図３の処理は、例えば広告配信装置１６（広告媒体）の近傍領域において顧客が検知されたときに開始される。なお、この処理は各顧客について実行される。

まず、撮像部１０ａは、レジカウンタの近傍等の撮像領域に存在する顧客を撮像する（ステップＳ１０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｂへ出力する。

次に、属性推定部１０ｂは、撮像部１０ａから入力された顧客の画像を分析し、顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する（ステップＳ１０２）。属性推定部１０ｂは、推定した顧客の属性を広告選択部１０ｃへ出力する。

図４（Ａ）では、顧客Ｃ１の画像ＩＭＧ_１と当該画像から推定された顧客Ｃ１の属性が示されている。顧客Ｃ１の属性は、［性別：男性］、［年齢層：２０−３０歳］、［身長：１７０−１７５ｃｍ］、［服装：カジュアル］と推定されている。同様に、図４（Ｂ）では、顧客Ｃ２の画像ＩＭＧ_２と当該画像から推定された顧客Ｃ２の属性が示されている。顧客Ｃ２の属性は、［性別：女性］、［年齢層：２０−３０歳］、［身長：１６０−１７０ｃｍ］、［服装：フォーマルスーツ］、［職業：会社員］と推定されている。

次に、広告選択部１０ｃは、属性推定部１０ｂにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し（ステップＳ１０３）、広告データベース１２ｂからダウンロードする。
そして、広告出力部１０ｄは、広告選択部１０ｃにおいて選択された広告データを広告配信装置１６へ出力する（ステップＳ１０４）。

図５（Ａ）及び図５（Ｂ）では、図４（Ａ）及び図４（Ｂ）にそれぞれ示す顧客Ｃ１、Ｃ２の属性に基づいて選択された広告データが広告配信装置１６に表示されている。すなわち、図５（Ａ）では、２０代から３０代の男性をターゲットとする広告がディスプレイ１６ａに表示されている。また、図５（Ｂ）では、２０代から３０代の女性をターゲットとする広告がディスプレイ１６ａに表示されている。

このように、本実施形態に係る情報処理装置１０によれば、広告媒体（広告配信装置１６）の近傍に存在する顧客の画像を撮像し、画像解析によって顧客の属性を推定できる。そして、情報処理装置１０は、推定した顧客の属性に応じた適切な広告を選択し、広告媒体へ出力できる。店舗において顧客の画像を取得した場所と同一の場所で広告をリアルタイムに出力するため、顧客の画像データ等を予め登録することなく、例えば初めて来店するような顧客に対しても適切な広告を出力できる。

［第２実施形態］
以下、第２実施形態に係る情報処理装置について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態の属性推定部１０ｂは、画像に複数の顧客が含まれる場合に、複数の顧客の人間関係を推定する点で第１実施形態と異なっている。推定される顧客の人間関係は、例えば親子、夫婦、祖父母と孫、友人、恋人、兄弟姉妹、友達、仕事の同僚等である。

また、広告選択部１０ｃは、各顧客の属性だけでなく、複数の顧客の人間関係に基づいて広告を選択する点で第１実施形態と異なっている。例えば、推定された顧客の人間関係が親子の場合には、親子向けの商品、サービス及びイベント等に関する広告が選択される。

以下、本実施形態の情報処理装置の動作について図６乃至図８に基づいて説明する。図６は、本実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。図７は、本実施形態において撮像された顧客の画像と画像から推定される属性及び人間関係との関係の一例を示す図である。図８は、本実施形態において顧客の属性及び人間関係に基づいて出力された広告の一例を示す図である。

まず、撮像部１０ａは、レジカウンタの近傍等の撮像領域に存在する顧客を撮像する（ステップＳ２０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｂへ出力する。

次に、属性推定部１０ｂは、撮像部１０ａから入力された顧客の画像を分析し、画像に複数人の顧客を含むか否かを判定する（ステップＳ２０２）。ここで、属性推定部１０ｂが、画像に複数人の顧客を含むと判定した場合（ステップＳ２０２：ＹＥＳ）には、ステップＳ２０３の処理へ移る。これに対し、属性推定部１０ｂが、画像に複数人の顧客を含まない、すなわち、一人の顧客であると判定した場合（ステップＳ２０２：ＮＯ）には、ステップＳ２０６の処理へ移る。

ステップＳ２０３において、属性推定部１０ｂは、複数の顧客を含む画像を分析することで、各顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する。

次に、属性推定部１０ｂは、推定された各顧客の属性の組み合わせに基づいて、顧客同士の人間関係を推定する（ステップＳ２０４）。このとき、属性推定部１０ｂは、推定した各顧客の属性及び顧客同士の人間関係を広告選択部１０ｃへ出力する。

図７（Ａ）では、顧客Ｃ３及び顧客Ｃ４が含まれた画像ＩＭＧ_３と、当該画像から推定された各顧客の属性と、各顧客の属性の組み合わせから推定された人間関係とが示されている。顧客Ｃ３の属性は、［性別：男性］、［年齢層：２０−２５歳］、［服装：カジュアル］と推定されている。また、顧客Ｃ４の属性は、［性別：女性］、［年齢層：２０−２５歳］、［服装：カジュアル］と推定されている。そして、顧客Ｃ３及び顧客Ｃ４の属性から推定された人間関係は、［恋人］及び［男女の友達］と推定されている。

同様に、図７（Ｂ）では、顧客Ｃ５、顧客Ｃ６、及び顧客Ｃ７が含まれた画像ＩＭＧ_４と、当該画像から推定された各顧客の属性と、各顧客の属性の組み合わせから推定された人間関係とが示されている。顧客Ｃ５の属性は、［性別：男性］、［年齢層：３０−３５歳］、［服装：フォーマル］と推定されている。また、顧客Ｃ６の属性は、［性別：女性］、［年齢層：３０−３５歳］、［服装：フォーマル］と推定されている。顧客Ｃ６の属性は、［性別：女性］、［年齢層：１０歳未満］、［服装：フォーマル］と推定されている。そして、顧客Ｃ５、顧客Ｃ６及び顧客Ｃ７の属性から推定された人間関係は、［家族］及び［親子］と推定されている。なお、家族全員の服装がフォーマルであることから、入学式等の公式行事に参加した可能性等も併せて推定できる。このような推定情報も広告選択に利用してもよい。

次に、広告選択部１０ｃは、属性推定部１０ｂにおいて推定された各顧客の属性及び顧客同士の人間関係に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性及び人間関係に合致する広告データを選択し（ステップＳ２０５）、広告データベース１２ｂからダウンロードしてステップＳ２０８の処理へ移る。

ステップＳ２０６において、属性推定部１０ｂは、顧客の画像を分析することで、顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する。このとき、属性推定部１０ｂは、推定した顧客の属性を広告選択部１０ｃへ出力する。

次に、広告選択部１０ｃは、属性推定部１０ｂにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し（ステップＳ２０７）、広告データベース１２ｂからダウンロードしてステップＳ２０８の処理へ移る。

ステップＳ２０８において、広告出力部１０ｄは、広告選択部１０ｃにおいて選択された広告データを広告配信装置１６へ出力し、画面表示させる。図８（Ａ）及び図８（Ｂ）では、図７（Ａ）及び図７（Ｂ）にそれぞれ示す顧客の属性及び人間関係に基づいて選択された広告データが広告配信装置１６に表示されている。すなわち、図８（Ａ）では、２０代から３０代のカップルをターゲットとする広告がディスプレイ１６ａに表示されている。また、図８（Ｂ）では、子供連れの家族をターゲットとする広告がディスプレイ１６ａに表示されている。

このように、本実施形態に係る情報処理装置によれば、各顧客の属性だけでなく、複数の顧客の人間関係に応じて適切な広告を広告媒体へ出力できる。これにより、事業者が想定している広告のターゲット層への限定的かつ効率的な広告配信も可能になる。

［第３実施形態］
以下、第３実施形態に係る情報処理装置３０について説明する。なお、上述の実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、上述の実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

図９は、本実施形態に係る情報処理装置３０が適用されるＰＯＳシステム３の全体構成例を示す概略図である。本実施形態に係る情報処理装置３０は、判定部１０ｅ及び出力方法変更部１０ｆを更に備える点で第１実施形態とは異なっている。

判定部１０ｅは、画像から顧客と広告媒体との位置関係を判定する。ここで、位置関係とは、顧客と広告媒体との間の距離、広告媒体に対する顧客の配置方向（正面／斜め／背面／上方／下方）、顧客の視線（目線）の方向、視線の高さ等をいう。例えば、判定部１０ｅは、画像を分析して顧客の視線方向を判定すると共に、広告媒体が顧客の視線方向に存在するか否かを判定する。

出力方法変更部１０ｆは、判定部１０ｅにおいて判定された位置関係に基づいて広告媒体における広告の出力方法を変更する。例えば、出力方法変更部１０ｆは、広告媒体が顧客の視線方向に存在しない場合に、広告の出力方法を音声方式に変更する。すなわち、顧客が広告媒体を見ていない場合には、音声による広告配信を行う。なお、音声による広告配信を行う場合でも、画面表示による広告配信は制限されない。また、判定部１０ｅが、顧客と広告媒体との間の距離が一定以上離れているか否かを判定することもできる。例えば、距離が離れている場合、出力方法変更部１０ｆは、画面表示に加えて又は代えて、広告方法を音声出力にすることもできる。

以下、本実施形態の情報処理装置の動作について図１０及び図１１に基づいて説明する。図１０は、本実施形態に係る情報処理装置３０の広告出力方法の一例を示すフローチャートである。図１１は、本実施形態において顧客の視線方向に応じた広告の出力方法の関係の一例を示す図である。

まず、撮像部１０ａは、撮像領域に存在する顧客を撮像する（ステップＳ３０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｂへ出力する。

次に、属性推定部１０ｂは、撮像部１０ａから入力された顧客の画像を分析し、顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する（ステップＳ３０２）。属性推定部１０ｂは、推定した顧客の属性を広告選択部１０ｃへ出力する。

次に、広告選択部１０ｃは、属性推定部１０ｂにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し（ステップＳ３０３）、広告データベース１２ｂからダウンロードする。

次に、判定部１０ｅは、画像を分析して顧客の視線方向を判定すると共に（ステップＳ３０４）、広告媒体が顧客の視線方向に存在するか否かを判定し（ステップＳ３０５）、その判定結果を出力方法変更部１０ｆへ出力する。

次に、判定部１０ｅが、広告媒体は顧客の視線方向に存在すると判定した場合には（ステップＳ３０５：ＹＥＳ）、出力方法変更部１０ｆは、広告の出力方法として“画面表示”を選択し（ステップＳ３０６）、ステップＳ３０８の処理へ移る。

これに対し、判定部１０ｅが、広告媒体は顧客の視線方向に存在しないと判定した場合には（ステップＳ３０５：ＮＯ）、出力方法変更部１０ｆは、広告の出力方法として“音声出力”を選択し（ステップＳ３０７）、ステップＳ３０８の処理へ移る。

ステップＳ３０８において、広告出力部１０ｄは、広告選択部１０ｃにおいて選択された広告データを、選択された出力方法で広告配信装置１６へ出力し、処理を終了する。
図１１（Ａ）では、男性の顧客Ｃ８の画像ＩＭＧ_５において、顧客Ｃ８の視線方向がＬ１であり、視線方向Ｌ１の方向に広告配信装置１６が存在する場合が示されている。この場合、顧客Ｃ８は、広告配信装置１６を見ていると判定される。図１１（Ｂ）は、図１１（Ａ）の場合において広告配信装置１６の正面側から見た図である。図１１（Ｂ）では、広告配信装置１６のディスプレイ１６ａに広告が画面表示されることが示されている。

これに対し、図１１（Ｃ）では、女性の顧客Ｃ９の画像ＩＭＧ_６において、顧客Ｃ９の視線方向がＬ２であり、視線方向Ｌ２の方向に広告配信装置１６が存在していない場合が示されている。この場合、顧客Ｃ９は、広告配信装置１６を見ていないと判定される。図１１（Ｄ）は、図１１（Ｃ）の場合において広告配信装置１６の正面側から見た図である。図１１（Ｄ）では、広告配信装置１６のディスプレイ１６ａに広告が画面表示されているだけでなく、広告音声が出力されることが示されている。

このように、本実施形態に係る情報処理装置３０によれば、広告媒体と顧客との位置関係に基づいて広告の出力方法を変更する。例えば、顧客が広告媒体を見ている場合には画面表示、見ていない場合には音声出力により広告を出力する。これにより、顧客の属性に適合する広告を顧客に対してより確実に提示することができる。

［第４実施形態］
以下、第４実施形態に係る情報処理装置について説明する。なお、上述の実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、上述の実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態に係る情報処理装置は、画像に含まれる顧客以外の物体から得られる情報を利用して広告を選択する点で上述の実施形態とは異なっている。具体的には、本実施形態の属性推定部１０ｂは、画像に顧客以外の物体が含まれる場合に、物体の種類を特定する。そして、広告選択部１０ｃは、顧客の属性と物体の種類との組み合わせに基づいて広告を選択する。例えば、自動車が顧客と一緒に含まれる画像の場合には、顧客の年齢を考慮しつつ、ドライバー向けの広告を選択する。同様に、ゴルフバッグが顧客と一緒に含まれる画像の場合には、ゴルファー向けの広告を選択する。すなわち、顧客が所有する物体には顧客の趣味・嗜好が反映されている可能性が高いため、当該物体の種類を特定することで、顧客の属性を細かく推定できる。

更に、本実施形態の属性推定部１０ｂは、画像から物体の付属品情報を取得する。そして、広告選択部１０ｃは、属性、物体の種類及び付属品情報の組み合わせに基づいて広告を選択する。例えば、車両の付属品情報としては、エンブレム、ナンバープレート、車検シール、及び車体に貼り付けられた各種のステッカー等の車両外側の付属品から得られる情報や、チャイルドシートの有無等の車両内側の付属品から得られる情報が挙げられる。このように、物体の付属品情報を考慮することで、顧客の属性を更に詳細に推定することもできる。例えば、エンブレムから車両が高級車であることを特定した場合には、顧客の金銭的な余裕度や購買傾向が高級志向であること等を推定できる。また、車内にチャイルドシートが取り付けられている場合には、家族に小さい子供がいることや子供の人数を推定できる。

以下、本実施形態の情報処理装置の動作について図１２乃至図１４に基づいて説明する。図１２は、本実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。図１３は、本実施形態において撮像された顧客及び物体を含む画像の一例を示す図である。図１４は、本実施形態において顧客及び物体を含む画像から推定された属性に基づいて出力された広告の一例を示す図である。

まず、撮像部１０ａは、店舗において所定の撮像領域に存在する顧客を撮像する（ステップＳ４０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｂへ出力する。

次に、属性推定部１０ｂは、撮像部１０ａから入力された顧客の画像を分析し、画像に顧客以外の物体を含むか否かを判定する（ステップＳ４０２）。ここで、属性推定部１０ｂが、画像に顧客以外の物体を含むと判定した場合（ステップＳ４０２：ＹＥＳ）には、ステップＳ４０３の処理へ移る。これに対し、属性推定部１０ｂが、画像に顧客以外の物体を含まないと判定した場合（ステップＳ４０２：ＮＯ）には、ステップＳ４０９の処理へ移る。

ステップＳ４０３において、属性推定部１０ｂは、入力された画像を分析し、物体の種類を特定する。ここで、特定方法の一例を説明する。複数の物体の特徴量と、物体の種類を対応付けた学習データを予め作成しておき、記憶装置（例えばＨＤＤ１０４）や店舗サーバ１２にデータベースとして保有させる。次に、撮像装置１８が撮影した画像から物体を抽出し、抽出した物体の特徴量を算出する。そして、属性推定部１０ｂは、算出した物体の特徴量とデータベースの特徴量とを比較することで、撮像した物体の種類を特定する。

次に、属性推定部１０ｂは、顧客の画像と物体の種類に基づいて顧客の属性を推定する（ステップＳ４０４）。属性推定部１０ｂは、推定した顧客の属性を広告選択部１０ｃへ出力する。

次に、広告選択部１０ｃは、推定された顧客の属性と物体の種類に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し（ステップＳ４０５）、広告データベース１２ｂからダウンロードする。

ステップＳ４０６において、属性推定部１０ｂは、画像に含まれる物体部分を分析し、物体に所定の付属品が存在するか否かを判定する。ここで、属性推定部１０ｂが、物体に所定の付属品が存在すると判定した場合（ステップＳ４０６：ＹＥＳ）には、ステップＳ４０７の処理へ移る。これに対し、属性推定部１０ｂが、物体に所定の付属品が存在すると判定した場合（ステップＳ４０６：ＮＯ）には、ステップＳ４１１の処理へ移る。

ステップＳ４０７において、属性推定部１０ｂは、画像から物体の付属品情報を取得する。図１３の例では、顧客Ｃ９を含む画像ＩＭＧ_７と、同画像から推定された顧客の属性と、物体Ｘの物体情報と、物体Ｘの付属品情報とが示されている。物体Ｘの種類が“自動車”であることから、顧客Ｃ９の属性として性別、年齢層、服装に加えて、［趣味：ドライブ］が含まれている。また、画像ＩＭＧ_７に含まれる物体Ｘの所定の領域Ａ１、Ａ２、Ａ３の情報を抽出し、分析することで複数の付属品情報が取得されている。例えば、領域Ａ１に含まれるエンブレムからは、［メーカー：ＡＡＡ］、［メーカー区分：国内メーカー］、［価格帯：高］の付属品情報が取得されている。領域Ａ２に含まれるナンバープレートからは、［登録地：品川］の付属品情報が取得されている。そして、領域Ａ３に含まれる車検シールからは、［車検有効期限：平成３０年３月］の付属品情報が取得されている。

ステップＳ４０８において、広告選択部１０ｃは、付属品情報に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し、広告データベース１２ｂからダウンロードする。すなわち、顧客の属性と物体の付属品情報に基づいてそれぞれ選択された広告データが出力対象になる。

ステップＳ４０９において、属性推定部１０ｂは、撮像部１０ａから入力された顧客の画像を分析し、顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する。属性推定部１０ｂは、推定した顧客の属性を広告選択部１０ｃへ出力する。

次に、広告選択部１０ｃは、属性推定部１０ｂにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｃは、推定された属性に合致する広告データを選択し（ステップＳ４１０）、広告データベース１２ｂからダウンロードする。

ステップＳ４１１において、広告出力部１０ｄは、広告選択部１０ｃにおいて選択された広告データを、選択された出力方法で広告配信装置１６へ出力し、処理を終了する。図１４（Ａ）では、図１３の顧客Ｃ９に対して表示する広告例を示している。ここでは、２０代〜３０代位の顧客をターゲットとした２つの広告がディスプレイ１６ａの上欄及び下欄にそれぞれ表示されている。上欄の広告は、車検に関する広告であり、付属品情報から車検の有効期限が近づいていることに基づいて選択された広告である。また、下欄の広告は、若者向けの観光先を紹介する内容の広告である。

これに対し、図１４（Ｂ）では、画像から推定された顧客の属性が例えば［年齢層：５５−６０歳］の場合に表示される広告例を示している。図１４（Ｂ）は、上欄に車検に関する広告、下欄に観光に関する広告をそれぞれ表示している点では上述の図１４（Ａ）と共通しているが、顧客の推定年齢（属性）に合わせて異なる広告データが選択されている。

このように、本実施形態に係る情報処理装置によれば、顧客と物体が画像内に含まれる場合に、物体の種類及び物体の付属品の情報と、顧客の属性との組み合わせに基づいて適切な広告を選択し、広告媒体へ出力できる。すなわち、顧客が所有する物体から得られる情報を広告の選択に利用することで、顧客の趣味・嗜好に更に合致する広告を提供可能になる。

［他の実施形態］
上述の実施形態において説明した情報処理装置は、更に他の実施形態によれば、図１５に示すように構成することもできる。図１５は、他の実施形態における情報処理装置６０の構成を示すブロック図である。

図１５に示すように、他の実施形態における情報処理装置６０は、店舗において顧客の画像を撮像する撮像手段６０ａと、画像を分析し、顧客の属性を推定する推定手段６０ｂと、店舗における広告媒体へ出力する広告を属性に基づいて選択する選択手段６０ｃとを備える。他の実施形態における情報処理装置６０によれば、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を出力できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形が可能である。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態である。

例えば、属性推定部（推定手段）１０ｂは、画像に顧客以外の物体（動物を含む）が所定のパターンで含まれる場合に、そのパターンに基づいて属性を推定するように構成してもよい。例えば、盲導犬を連れている、サングラスや白杖を装着・所持している等の所定のパターンに基づいて目が不自由な人であるか否かを判定し、属性を推定する。そして、出力方法変更部１０ｆは、顧客の属性が“目が不自由な人”という判定結果が得られた場合には、広告の出力方法を音声方式に変更する。逆に、顧客がイヤホンや補聴器を装着している場合には、広告の出力方法としては主に画面表示を選択するとよい。

また、上述の実施形態では、情報処理装置がＰＯＳシステム１を構成するＰＯＳ装置である場合について説明したが、ＰＯＳ装置以外にも適用できる。更に、情報処理装置の設置場所はレジカウンタのみに限られない。店舗内の各所へ配置して顧客の属性に適合する広告を表示、あるいは店舗内における商品の場所を案内するように構成することもできる。

また、上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

該記録媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
店舗において顧客の画像を撮像する撮像手段と、
前記画像を分析し、前記顧客の属性を推定する推定手段と、
前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置。

（付記２）
前記画像から前記顧客と前記広告媒体との位置関係を判定する判定手段と、
前記位置関係に基づいて前記広告媒体における前記広告の出力方法を変更する変更手段とを更に備えることを特徴とする付記１に記載の情報処理装置。

（付記３）
前記判定手段は、前記広告媒体が前記顧客の視線方向に存在するか否かを判定し、
前記変更手段は、前記広告媒体が前記視線方向に存在しない場合に、前記広告の出力方法を音声方式に変更することを特徴とする付記２に記載の情報処理装置。

（付記４）
前記推定手段は、前記画像に複数の前記顧客が含まれる場合に、複数の前記顧客の人間関係を推定し、
前記選択手段は、前記人間関係に基づいて前記広告を選択することを特徴とする付記１乃至３のいずれか一項に記載の情報処理装置。

（付記５）
前記推定手段は、前記画像に前記顧客以外の物体が含まれる場合に、前記物体の種類を特定し、
前記選択手段は、前記属性と前記種類との組み合わせに基づいて前記広告を選択することを特徴とする付記１乃至４のいずれかに記載の情報処理装置。

（付記６）
前記推定手段は、前記画像から前記物体の付属品情報を取得し、
前記選択手段は、前記属性、前記種類及び前記付属品情報の組み合わせに基づいて前記広告を選択することを特徴とする付記５に記載の情報処理装置。

（付記７）
前記推定手段は、前記物体が車両の場合に、車検シール、ナンバープレート、及びエンブレムの少なくとも一つから前記車両に係る前記付属品情報を取得することを特徴とする付記６に記載の情報処理装置。

（付記８）
前記属性に基づいて前記広告の出力方法を変更する変更手段を更に備え、
前記推定手段は、前記画像に前記顧客以外の物体が所定のパターンで含まれる場合に、前記パターンに基づいて前記属性を推定することを特徴とする付記１に記載の情報処理装置。

（付記９）
店舗において顧客の画像を撮像するステップと、
前記画像を分析し、前記顧客の属性を推定するステップと、
前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択するステップとを備えることを特徴とする情報処理方法。

（付記１０）
コンピュータに、
店舗内において顧客の画像を撮像するステップと、
前記画像を分析し、前記顧客の属性を推定するステップと、
前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択するステップとを実行させることを特徴とするプログラム。

１０，３０，５０・・・情報処理装置
１０ａ・・・撮像部
１０ｂ・・・属性推定部
１０ｃ・・・広告選択部
１０ｄ・・・広告出力部
１０ｅ・・・判定部
１０ｆ・・・出力方法変更部
１２・・・店舗サーバ
１４・・・ネットワーク
１６・・・広告配信装置
１８・・・撮像装置
２０・・・周辺機器

Claims (10)

1. 店舗において顧客の画像を撮像する撮像手段と、
   前記画像を分析し、前記顧客の属性を推定する推定手段と、
   前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置。
2. 前記画像から前記顧客と前記広告媒体との位置関係を判定する判定手段と、
   前記位置関係に基づいて前記広告媒体における前記広告の出力方法を変更する変更手段とを更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段は、前記広告媒体が前記顧客の視線方向に存在するか否かを判定し、
   前記変更手段は、前記広告媒体が前記視線方向に存在しない場合に、前記広告の出力方法を音声方式に変更することを特徴とする請求項２に記載の情報処理装置。
4. 前記推定手段は、前記画像に複数の前記顧客が含まれる場合に、複数の前記顧客の人間関係を推定し、
   前記選択手段は、前記人間関係に基づいて前記広告を選択することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記推定手段は、前記画像に前記顧客以外の物体が含まれる場合に、前記物体の種類を特定し、
   前記選択手段は、前記属性と前記種類との組み合わせに基づいて前記広告を選択することを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記推定手段は、前記画像から前記物体の付属品情報を取得し、
   前記選択手段は、前記属性、前記種類及び前記付属品情報の組み合わせに基づいて前記広告を選択することを特徴とする請求項５に記載の情報処理装置。
7. 前記推定手段は、前記物体が車両の場合に、車検シール、ナンバープレート、及びエンブレムの少なくとも一つから前記車両に係る前記付属品情報を取得することを特徴とする請求項６に記載の情報処理装置。
8. 前記属性に基づいて前記広告の出力方法を変更する変更手段を更に備え、
   前記推定手段は、前記画像に前記顧客以外の物体が所定のパターンで含まれる場合に、前記パターンに基づいて前記属性を推定することを特徴とする請求項１に記載の情報処理装置。
9. 店舗において顧客の画像を撮像するステップと、
   前記画像を分析し、前記顧客の属性を推定するステップと、
   前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択するステップとを備えることを特徴とする情報処理方法。
10. コンピュータに、
    店舗内において顧客の画像を撮像するステップと、
    前記画像を分析し、前記顧客の属性を推定するステップと、
    前記店舗における広告媒体へ出力する広告を前記属性に基づいて選択するステップとを実行させることを特徴とするプログラム。

Images