JP2019168817A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を表示できる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】本発明に係る情報処理装置は、顧客が所持する物体の画像を店舗において撮像する撮像手段と、前記画像から前記物体の物体情報を抽出する抽出手段と、前記物体情報から前記顧客の属性を推定する推定手段と、広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする。【選択図】図３

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、顧客の趣味・嗜好と、顧客を取り巻く位置・天候・時間等とに基づいて広告情報に顧客が興味を示す率を向上させる広告配信支援システムが開示されている。

特開２００５−０７８４９７号公報

特許文献１に記載の装置では、顧客の特性を推定するために、事前に顧客側から画像データをサーバに蓄積しておく必要がある。このため、初めて店舗に来店した顧客等の顧客情報が未だ登録されていない顧客に対しては適切な広告を広告媒体に表示できなかった。

本発明は、上述の課題に鑑みて行われたものであって、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を出力できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、顧客が所持する物体の画像を店舗において撮像する撮像手段と、前記画像から前記物体の物体情報を抽出する抽出手段と、前記物体情報から前記顧客の属性を推定する推定手段と、広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置が提供される。

本発明によれば、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を出力できる情報処理装置、情報処理方法及びプログラムを提供することができる。

本発明の第１実施形態に係る情報処理装置が適用されるＰＯＳシステムの全体構成例を示す概略図である。 本発明の第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第１実施形態において撮像された商品の画像と画像から推定される属性との関係の一例を示す図である。 本発明の第１実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。 本発明の第１実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第２実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第２実施形態において撮像された商品の画像と、画像から推定された顧客の購買傾向及び属性の一例を示す図である。 本発明の第２実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。 本発明の第３実施形態に係る情報処理装置が適用される広告配信システムの全体構成例を示す概略図である。 本発明の第３実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。 本発明の第３実施形態において撮像された物体の画像の一例を示す図である。 本発明の第３実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。 本発明の第４実施形態における店舗外の天気と天気に基づいて出力された広告との関係の一例を示す図である。 本発明の他の実施形態における情報処理装置の構成を示すブロック図である。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報処理装置１０が適用されるＰＯＳシステムの全体構成例を示す概略図である。ＰＯＳ（Point of sale）システムは、商品を販売する店舗に導入されたコンピュータシステムである。図１に示すように、ＰＯＳシステムは、情報処理装置１０及び店舗サーバ１２を含んでいる。情報処理装置１０及び店舗サーバ１２は、例えばＬＡＮ（Local Area Network）であるネットワーク１４に有線接続されている。なお、接続方式は有線に限られず、無線により接続されてもよい。

本実施形態の情報処理装置１０は、商品の売り上げ登録機能、会計機能、商品情報登録機能、在庫管理機能等を有するＰＯＳアプリケーションプログラムがインストールされており、ＰＯＳ装置として機能する。情報処理装置１０は、レジカウンタにおいて店員によって使用され、会計処理を実行する。なお、情報処理装置１０の台数は、１台に限定されるものではなく、店舗の規模等に応じて、任意に変更可能である。

また、情報処理装置１０には、広告媒体である広告配信装置１６、撮像装置１８、及び周辺機器２０が接続されている。広告配信装置１６は、例えば、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ等のディスプレイ１６ａと、スピーカ１６ｂを有する。本実施形態の広告配信装置１６としては、ＰＯＳ装置である情報処理装置１０による制御を受けて、顧客に対して会計データ等の各種の情報を画面表示するカスタマーディスプレイを用いるものとする。すなわち、広告配信装置１６は、会計データに加えて、顧客に対して広告、宣伝、イベント等に関するデータ（以下、「広告データ」という。）を画面表示する。なお、広告配信装置１６は、カスタマーディスプレイとは別に設置されてもよい。また、スピーカ１６ｂからは、必要に応じて広告データが音声によって出力される。

店舗サーバ１２は、例えば、店舗で販売される商品の情報管理、販売データの集計、売り上げの管理、在庫の管理等を行い、ＰＯＳシステムの運用を管理するＰＯＳサーバ（ストアコントローラ）である。店舗サーバ１２は、例えば、店舗のバックヤードに設置されている。

また、店舗サーバ１２は、業務データベース１２ａと広告データベース１２ｂを含んでいる。業務データベース１２ａは、商品情報、販売データ、売上データ、及び在庫データ等を管理するデータベースである。広告データベース１２ｂは、店舗において顧客に提示する広告データを管理するデータベースである。広告データベース１２ｂでは、各広告のターゲットとなる顧客の属性が広告データに関連付けされているものとする。

撮像装置１８は、例えば店舗のレジカウンタ、天井、壁面等に設置されたカメラ又はビデオカメラである。周辺機器２０は、会計処理時に使用される各種の機器であり、例えばディスプレイ、非接触ＩＣ（Integrated Circuit）リーダライタ、プリンタ、キャッシュドロア、コードスキャナ等を含む。

また、図１に示すように、本実施形態に係る情報処理装置１０は、撮像部１０ａと、商品情報抽出部１０ｂと、属性推定部１０ｃと、広告選択部１０ｄと、広告出力部１０ｅと、商品情報登録部１０ｆとを含んでいる。撮像部１０ａは、顧客が所持する物体の画像を店舗において撮像する。本実施形態の撮像部１０ａは、撮像装置１８の撮像動作を制御することで決済エリアまで顧客が持参した商品（物体）の画像を取得する。商品情報抽出部１０ｂは、画像から商品（物体）の商品情報（物体情報）を抽出する。

属性推定部１０ｃは、商品情報抽出部１０ｂにおいて抽出された商品情報から顧客の属性を推定する。顧客の属性の具体例としては、年齢（年代）、性別、身長、体型、服装、家族構成、職業、顧客の趣味、嗜好等が挙げられる。ここで、商品画像から顧客の属性である年齢及び性別を推定する方法の一例を説明する。まず、後述する記憶装置（例えばＨＤＤ１０４）や店舗サーバ１２にデータベースを設け、データベース内に各商品のターゲットになる顧客の年齢層及び性別を登録しておく。属性推定部１０ｃは、商品情報抽出部１０ｂにおいて抽出された商品情報に基づいてデータベースを参照することで、当該商品を所持する顧客の年齢及び性別を推定する。

また、属性推定部１０ｃは、顧客の趣味、嗜好等の顧客の内面的な属性については、商品単体及び商品の組み合わせ対して趣味、嗜好を予め対応付けしたデータベースを参照することで推定する。具体的には、スニーカーを購入する人の趣味・嗜好は［アウトドア派］、ランニングシューズとスポーツタオルを一緒に購入する人の趣味・嗜好は［スポーツ］、［ランニング］、［ランナー志向］等のように推定できる。なお、商品に基づいた顧客の属性の推定方法は、上述の方法に限られない。また、本実施形態では、業務データベース１２ａに含まれる商品情報テーブル（不図示）を利用するものとする。

広告選択部１０ｄは、属性推定部１０ｃにおいて推定された属性に基づいて、店舗における広告媒体である広告配信装置１６へ出力する広告を選択する。具体的には、本実施形態の広告選択部１０ｄは、顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、商品画像から推定された顧客の属性に合致する広告データを選択し、広告データベース１２ｂからダウンロードする。広告出力部１０ｅは、広告選択部１０ｄにおいて選択された広告データを広告配信装置１６へ出力する。このように、顧客が所持する商品から顧客の年齢等の属性を推定し、その属性に基づいてデータベースを参照することで、顧客の属性に基づいて広告を選択して出力できる。

商品情報登録部１０ｆは、顧客が決済エリアに持参した商品に付されたバーコードやＩＣタグ等を、周辺機器２０であるバーコードスキャナ（不図示）や非接触ＩＣリーダライタ（不図示）により読み取ることで購入商品の商品情報を取得し、後述する記憶装置に登録する。上述の商品情報抽出部１０ｂは、精算前の商品画像に基づいて商品情報を取得する。これに対し、商品情報登録部１０ｆは、商品に付された記録媒体を読み取ることで商品情報を取得し、その商品情報を属性推定部１０ｃへ出力する。

図２は、本実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信インターフェース（Ｉ／Ｆ（Interface））１０５、入力装置１０６、出力装置１０７、及び表示装置１０８を有している。各機器は、共通のバスライン１０９に接続されている。

ＣＰＵ１０１は、情報処理装置１０の全体の動作を制御する。また、ＣＰＵ１０１は、ＨＤＤ１０４等に記憶されたプログラムをＲＡＭ１０３にロードして実行する。これにより、ＣＰＵ１０１は、上述の撮像部１０ａ、商品情報抽出部１０ｂ、属性推定部１０ｃ、広告選択部１０ｄ、広告出力部１０ｅ、及び商品情報登録部１０ｆとしての機能を実現する。

ＲＯＭ１０２は、ブートプログラム等のプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際のワーキングエリアとして使用される。

また、ＨＤＤ１０４は、情報処理装置１０における処理結果及びＣＰＵ１０１により実行される各種のプログラムを記憶する記憶装置である。記憶装置は、不揮発性であればＨＤＤ１０４に限定されない。記憶装置は、例えばフラッシュメモリ等であってもよい。

通信Ｉ／Ｆ１０５は、ネットワーク１４に接続された機器との間のデータ通信を制御する。通信Ｉ／Ｆ１０５は、ＣＰＵ１０１と共に撮像部１０ａ、商品情報抽出部１０ｂ、属性推定部１０ｃ、広告選択部１０ｄ、広告出力部１０ｅ、及び商品情報登録部１０ｆとしての機能を実現する。

入力装置１０６は、例えば、キーボード、マウス等のヒューマンインターフェースである。また、入力装置１０６は、表示装置１０８に組み込まれたタッチパネルであってもよい。情報処理装置１０のユーザは、入力装置１０６を介して、情報処理装置１０の設定の入力、処理の実行指示の入力等を行える。

出力装置１０７は、ＣＰＵ１０１からの制御信号に従って、所定の情報を出力する装置である。出力装置１０７は、例えば、スピーカやプリンタ等である。

表示装置１０８は、ＣＰＵ１０１からの制御信号に従って、所定の情報を表示する装置である。表示装置１０８としては、上述の広告配信装置１６と同様に、液晶ディスプレイ等を用いることができる。

なお、情報処理装置１０は、図２に示すハードウェア構成に限定されず、その他の機器を更に備えてもよい。情報処理装置１０は一つ又は複数の装置からなってもよく、あるいは他の装置と一体に構成されてもよい。また、情報処理装置１０は別の装置に接続され、本実施形態において情報処理装置１０によって行われる処理の少なくとも一部は該装置によって行われてもよい。

以下、上述のように構成された情報処理装置１０の動作について図３乃至図５に基づいて説明する。図３は、本実施形態に係る情報処理装置１０の広告出力方法の一例を示すフローチャートである。図４は、本実施形態において撮像された商品の画像と画像から推定される属性との関係の一例を示す図である。図５は、本実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。

まず、撮像部１０ａは、顧客が買物カゴ等によって所持している精算前の商品を撮像する（ステップＳ１０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｃへ出力する。

次に、商品情報抽出部１０ｂは、商品画像を分析し、商品情報を抽出する（ステップＳ１０２）。商品情報抽出部１０ｂは、商品情報を記憶装置（例えばＨＤＤ１０４やＲＡＭ１０３）に記憶すると共に、属性推定部１０ｃに出力する。

次に、属性推定部１０ｃは、商品情報抽出部１０ｂから入力された商品情報に基づいて店舗サーバ１２の業務データベース１２ａを参照し、商品単体及び商品の組み合わせに基づいて顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する（ステップＳ１０３）。属性推定部１０ｃは、推定した顧客の属性を広告選択部１０ｄへ出力する。

図４（Ａ）〜図４（Ｃ）では、顧客が買物カゴＢにより持参した商品をそれぞれ示す画像ＩＭＧ_１か〜ＩＭＧ_３と、各画像から抽出された各商品の商品情報と、各画像から推定された顧客の属性が示されている。図４（Ａ）においては、商品情報として［Ｇ１：ランニングシューズ］、［Ｇ２：スポーツタオル］が抽出されている。そして、顧客の属性は、［性別：男性］、［年齢層：２０−３０代］、［趣味・嗜好：ランニング］と推定されている。

また、図４（Ｂ）においては、商品情報として［Ｇ３：化粧品］、［Ｇ４：ファッション雑誌］が抽出されている。そして、顧客の属性は、［性別：女性］、［年齢層：２０−３０代］、［趣味：ファッション］と推定されている。性別及び年齢層はファッション雑誌の購読者層から推定されている。

同様に、図４（Ｃ）においては、商品情報として［Ｇ５：髭剃り］、［Ｇ６：ゴルフ雑誌］、［Ｇ７：紙オムツ］が抽出されている。そして、顧客の属性は、［性別：男性］、［趣味：ゴルフ］、［家族構成：乳幼児がいる］と推定されている。すなわち、髭剃り（Ｇ５）とゴルフの雑誌（Ｇ６）から性別が推定され、紙オムツ（Ｇ７）が含まれていることに基づいて家族構成が推定されている。

次に、広告選択部１０ｄは、属性推定部１０ｃにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、推定された属性に合致する広告データを選択し（ステップＳ１０４）、広告データベース１２ｂからダウンロードする。

そして、広告出力部１０ｅは、広告選択部１０ｄにおいて選択された広告データを広告配信装置１６へ出力し（ステップＳ１０５）、処理を終了する。このように、精算処理が完了する前の段階で顧客に広告を提示することにより、顧客の新たな需要を喚起できる。

図５（Ａ）〜図５（Ｃ）では、図４（Ａ）〜図４（Ｃ）において示した顧客の属性に合致する広告データが広告配信装置１６に表示されている。すなわち、図５（Ａ）では、２０代から３０代の男性をターゲットとする広告がディスプレイ１６ａに表示されている。また、図５（Ｂ）では、２０代から３０代の女性をターゲットとする広告がディスプレイ１６ａに表示されている。そして、図５（Ｃ）では、小さい子供がいる家庭をターゲットとする広告がディスプレイ１６ａに表示されている。

続いて、精算時における情報処理装置１０の動作について図６に基づいて説明する。図６は、本実施形態に係る情報処理装置１０の広告出力方法の一例を示すフローチャートである。図６の処理は、購入商品を対象として実行される。

まず、商品情報登録部１０ｆは、顧客が買物カゴ等によってレジカウンタまで持参した購入商品に付された記録媒体の記録情報を読み取ることで、購入商品の商品情報を取得する（ステップＳ２０１）。商品情報登録部１０ｆは、取得した商品情報を属性推定部１０ｃへ出力する。

次に、商品情報登録部１０ｆは、顧客からのメンバーズカードの提示の有無を判定する（ステップＳ２０２）。ここで、商品情報登録部１０ｆが、メンバーズカードの提示有りと判定した場合（ステップＳ２０２：ＹＥＳ）には、ステップＳ２０３の処理へ移る。これに対し、商品情報登録部１０ｆが、メンバーズカードの提示無しと判定した場合（ステップＳ２０２：ＮＯ）には、ステップＳ２０６の処理へ移る。

ステップＳ２０３において、商品情報登録部１０ｆは、提示されたメンバーズカードに基づいて店舗サーバ１２の業務データベース１２ａから顧客の購買履歴データを取得し、購買履歴データを広告選択部１０ｄへ出力する。

次に、属性推定部１０ｃは、商品情報登録部１０ｆから入力された購入商品の商品情報に基づいて店舗サーバ１２の業務データベース１２ａを参照し、商品単体及び商品の組み合わせに基づいて顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する（ステップＳ２０４）。属性推定部１０ｃは、推定した顧客の属性を広告選択部１０ｄへ出力する。

次に、広告選択部１０ｄは、属性推定部１０ｃにおいて推定された顧客の属性及び購買履歴データに基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、推定された属性に合致する広告データを選択し（ステップＳ２０５）、広告データベース１２ｂからダウンロードする。

ステップＳ２０６において、属性推定部１０ｃは、商品情報登録部１０ｆから入力された購入商品の商品情報に基づいて店舗サーバ１２の業務データベース１２ａを参照し、商品単体及び商品の組み合わせに基づいて顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する。属性推定部１０ｃは、推定した顧客の属性を広告選択部１０ｄへ出力する。

次に、広告選択部１０ｄは、属性推定部１０ｃにおいて推定された顧客の属性に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、推定された属性に合致する広告データを選択し（ステップＳ２０７）、広告データベース１２ｂからダウンロードする。

ステップＳ２０８において、広告出力部１０ｅは、広告選択部１０ｄにおいて選択された広告データを広告配信装置１６へ出力し、処理を終了する。

このように、本実施形態に係る情報処理装置１０によれば、顧客が所持する精算前の商品の画像から商品情報を取得し、その商品情報に基づいて顧客の属性を推定できる。そして、情報処理装置１０は、推定した顧客の属性に応じて適切な広告を選択し、広告媒体へ出力できる。来店した顧客の趣味や嗜好等のデータを予め登録しておく必要がない構成であるため、例えば初めて来店した顧客に対しても適切な広告を出力できる。更に、精算時に購入商品から取得した商品情報に基づいて顧客の属性を再度推定している。精算前よりも顧客の属性を高精度で推定し、新たな広告を顧客に提示できる。

［第２実施形態］
以下、第２実施形態に係る情報処理装置について説明する。なお、第１実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、第１実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態に係る情報処理装置は、属性推定部１０ｃが、商品の価格と、商品と同一カテゴリに属する他の商品の価格との比較結果に基づいて購買傾向を推定する機能を更に備える点で第１実施形態とは異なっている。ここで、購買傾向の例としては、高級志向、コスト重視、ブランド志向、機能性重視等が挙げられる。

購買傾向の推定方法としては、まず、顧客の購入品が属するカテゴリを特定する。次に、同一カテゴリの中で購入品の価格が位置する価格帯のランク（以下、「購入品ランク」という。）を例えば１００段階で判定する。そして、購入品ランクが所定の閾値よりも高い場合には[購買傾向：高級志向]と判定し、低い場合には[購買傾向：コスト重視]と判定する。更に、購入商品の中に所定の高級ブランドの商品を高比率で含む場合には、[購買傾向：ブランド志向]と判定する。

以下、本実施形態に係る情報処理装置の動作について図７乃至図９に基づいて説明する。図７は、本実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。図８は、本実施形態において撮像された商品の画像と、画像から推定された顧客の購買傾向及び属性との関係の一例を示す図である。図９は、本実施形態において顧客の属性に基づいて出力された広告の一例を示す図である。

まず、撮像部１０ａは、顧客が買物カゴ等によって所持している精算前の商品を撮像する（ステップＳ３０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｃへ出力する。

次に、商品情報抽出部１０ｂは、商品画像を分析し、商品情報を抽出する（ステップＳ３０２）。商品情報抽出部１０ｂは、商品情報を記憶装置（例えばＨＤＤ１０４やＲＡＭ１０３）に記憶すると共に、属性推定部１０ｃに出力する。

次に、属性推定部１０ｃは、商品情報抽出部１０ｂから入力された商品情報を分析し、商品の価格と、商品と同一カテゴリに属する他の商品の価格との比較結果に基づいて購買傾向を推定する（ステップＳ３０３）。

図８の例は、顧客が買物カゴＢにより持参した商品をそれぞれ示す画像ＩＭＧ_４と、画像から抽出された各商品の商品情報と、画像から推定された顧客の属性及び購買傾向とが示されている。具体的には、商品情報として［Ｇ８：Ｙシャツ］、［購入品ランク：３６／１００］、［Ｇ９：スニーカー］、［購入品ランク：３０／１００］、［購入品ランク（平均）：３３／１００］が推定されている。すなわち、最高級の価格帯のスコアを１００、平均的な価格帯を５０とした場合に、図８の商品を購入しようとしている顧客は、比較的安い価格帯を選択している。このため、顧客の属性は、［性別：男性］、［年齢層：２０−３０代］であり、購買傾向は［コスト重視］と推定されている。

次に、属性推定部１０ｃは、商品情報抽出部１０ｂから入力された商品情報に基づいて店舗サーバ１２の業務データベース１２ａを参照し、商品単体及び商品の組み合わせに基づいて顧客の年齢、性別、身長、体型、趣味、嗜好等の属性を推定する（ステップＳ３０４）。属性推定部１０ｃは、推定した顧客の属性を広告選択部１０ｄへ出力する。

次に、広告選択部１０ｄは、属性推定部１０ｃにおいて推定された顧客の属性及び顧客の購買傾向に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、条件に合致する広告データを選択し（ステップＳ３０５）、広告データベース１２ｂからダウンロードする。

そして、広告出力部１０ｅは、広告選択部１０ｄにおいて選択された広告データを広告配信装置１６へ出力し（ステップＳ３０６）、処理を終了する。図９の例では、図８に示した顧客の購買傾向がコスト重視であることから、Ｙシャツのカテゴリの中で購入商品よりも価格が安い別のＹシャツを提案する広告がディスプレイ１６ａに表示されている。

このように、本実施形態に係る情報処理装置によれば、商品画像から推定された顧客の属性及び購買傾向に基づいて広告を選択できる。すなわち、第１実施形態とは異なる観点で選択された広告を顧客に対して提示できる。

［第３実施形態］
以下、第３実施形態に係る情報処理装置３０について説明する。なお、上述の実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、上述の実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

図１０は、本実施形態に係る情報処理装置３０が適用される広告配信システムの全体構成例を示す概略図である。図１０に示すように、本実施形態の情報処理装置３０は、図１に示した商品情報抽出部１０ｂ及び商品情報登録部１０ｆが無い代わりに、物体特定部１０ｇを備えている。物体特定部１０ｇは、画像に顧客以外の物体が含まれる場合に、画像の分析により物体の種類を特定する。物体特定部１０ｇが種類を特定する物体は、商品に限定されない。

そして、広告選択部１０ｄは、顧客の属性と物体の種類との組み合わせに基づいて広告を選択する。例えば、自動車が画像の場合には、顧客の年齢を考慮しつつ、ドライバー向けの広告を選択する。同様に、ゴルフバッグが含まれる画像の場合には、ゴルファー向けの広告を選択する。すなわち、顧客が所有する物体には顧客の趣味・嗜好が反映されている可能性が高いため、当該物体の種類を特定することで、顧客の属性を細かく推定できる。

更に、本実施形態の属性推定部１０ｃは、画像から物体の付属品情報を取得する。そして、広告選択部１０ｄは、属性、物体の種類及び付属品情報の組み合わせに基づいて広告を選択する。例えば、車両の付属品情報としては、エンブレム、ナンバープレート、車検シール、及び車体に貼り付けられた各種のステッカー等の車両外側の付属品から得られる情報や、チャイルドシートの有無等の車両内側の付属品から得られる情報が挙げられる。

このように、物体の付属品情報を考慮することで、顧客の属性を更に詳細に推定することもできる。例えば、エンブレムから車両が高級車であることを特定した場合には、顧客の金銭的な余裕度や購買傾向が高級志向であること等を推定できる。また、車内にチャイルドシートが取り付けられている場合には、家族に小さい子供がいることや子供の人数を推定できる。このように、本実施形態に係る情報処理装置３０は、顧客が所持する物体から得られる情報を利用して広告を選択する点で上述の実施形態とは異なっている。

以下、本実施形態の情報処理装置の動作について図１１乃至図１３に基づいて説明する。図１１は、本実施形態に係る情報処理装置の広告出力方法の一例を示すフローチャートである。図１２は、本実施形態において撮像された物体の画像の一例を示す図である。図１３は、本実施形態において物体の画像から推定された顧客の属性に応じて出力された広告の一例を示す図である。なお、以下の説明では、ガソリンスタンドの店舗内で広告を配信する場合を例として説明する。

まず、撮像部１０ａは、店舗において所定の撮像領域に存在する物体を撮像する（ステップＳ４０１）。撮像部１０ａは、撮像した画像を属性推定部１０ｃへ出力する。

次に、物体特定部１０ｇは、入力された画像を分析し、物体の種類を特定する（ステップＳ４０２）。ここで、特定方法の一例を説明する。複数の物体の特徴量と、物体の種類を対応付けた学習データを予め作成しておき、記憶装置（例えばＨＤＤ１０４）や店舗サーバ１２にデータベースとして保有させる。次に、撮像装置１８が撮影した画像から物体を抽出し、抽出した物体の特徴量を算出する。そして、属性推定部１０ｃは、算出した物体の特徴量とデータベースの特徴量とを比較することで、撮像した物体の種類を特定する。ガソリンスタンドの場合には、乗用車、バイク、トラック、特殊車両等のように車両の種類を特定するものとする。

次に、属性推定部１０ｃは、物体の種類に基づいて顧客の属性を推定する（ステップＳ４０３）。属性推定部１０ｃは、推定した顧客の属性を広告選択部１０ｄへ出力する。

次に、広告選択部１０ｄは、推定された顧客の属性と物体の種類に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、推定された属性に合致する広告データを選択し（ステップＳ４０４）、広告データベース１２ｂからダウンロードする。

ステップＳ４０５において、属性推定部１０ｃは、画像に含まれる物体部分を分析し、物体に所定の付属品が存在するか否かを判定する。ここで、属性推定部１０ｃが、物体に所定の付属品が存在すると判定した場合（ステップＳ４０５：ＹＥＳ）には、ステップＳ４０６の処理へ移る。これに対し、属性推定部１０ｃが、物体に所定の付属品が存在しないと判定した場合（ステップＳ４０５：ＮＯ）には、ステップＳ４０８の処理へ移る。

ステップＳ４０６において、属性推定部１０ｃは、画像から物体の付属品情報を取得する。図１２の例では、物体Ｘを含む画像ＩＭＧ_５と、同画像から推定された顧客の属性と、物体Ｘの物体情報と、物体Ｘの付属品情報とが示されている。物体Ｘの種類が“自動車”であることから、顧客の属性として［趣味：ドライブ］が含まれている。また、画像ＩＭＧ_５に含まれる物体Ｘの所定の領域Ａ１、Ａ２、Ａ３の情報を抽出・分析することで複数の付属品情報が取得されている。例えば、領域Ａ１に含まれるエンブレムからは、［メーカー：ＡＡＡ］、［メーカー区分：国内メーカー］、［価格帯：高］の付属品情報が取得されている。領域Ａ２に含まれるナンバープレートからは、［登録地：品川］の付属品情報が取得されている。領域Ａ３に含まれる車検シールからは、［車検有効期限：平成３０年３月］の付属品情報が取得されている。そして、車内（不図示）からは［チャイルドシートの有無：有り］の付属品情報が取得されている。これに伴い、［家族構成：子供有り］が顧客の属性に加えられている。

ステップＳ４０７において、広告選択部１０ｄは、付属品情報に基づいて店舗サーバ１２の広告データベース１２ｂを参照する。そして、広告選択部１０ｄは、推定された属性に合致する広告データを選択し、広告データベース１２ｂからダウンロードする。すなわち、顧客の属性と物体の付属品情報に基づいてそれぞれ選択された広告データが出力対象になる。

ステップＳ４０８において、広告出力部１０ｅは、広告選択部１０ｄにおいて選択された広告データを、選択された出力方法で広告配信装置１６へ出力し、処理を終了する。図１３では、図１２の顧客に対して表示する広告例を示している。ここでは、２つの広告がディスプレイ１６ａの上欄及び下欄に表示されている。上欄の広告は、車検に関する広告であり、付属品情報から車検の有効期限が近づいていることに基づいて選択されている。また、下欄の広告は、子連れの家族向けの観光先を紹介する内容の広告であり、車内にチャイルドシートが有ることに基づいて選択されている。

このように、本実施形態に係る情報処理装置によれば、物体が画像内に含まれる場合に、物体の種類及び物体の付属品の情報と、顧客の属性との組み合わせに基づいて適切な広告を選択し、広告媒体へ出力できる。すなわち、顧客が所有する物体から得られる情報を広告の選択に利用することで、顧客の趣味・嗜好に更に合致する広告を提供可能になる。

［第４実施形態］
以下、第４実施形態に係る情報処理装置４０について説明する。なお、上述の実施形態の図中において付与した符号と共通する符号は同一の対象を示す。このため、上述の実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。

本実施形態に係る情報処理装置４０は、店舗外の状況に基づいた広告を広告媒体に出力できる点で上述の実施形態とは異なっている。ここで、店舗外の状況の具体例としては、天気、交通、警報の有無等の状況が挙げられる。

図１４は、本実施形態における店舗外の天気と天気に基づいて出力された広告との関係の一例を示す図である。ここでは、顧客Ｙが店舗Ｐにおいて買物をする際に、撮像装置１８が店舗Ｐの外を撮像している。管理サーバ２２は、複数の系列店の間で共通に設けられたサーバであり、上述の店舗サーバ１２と同様に広告データを保持しているものとする。店舗Ｐの情報処理装置４０は、撮像画像の分析結果に基づいて同店舗の外の天気を判定することで、広告配信装置１６における広告を天気に応じて制御する。例えば、店舗Ｐの外で雨が降り始めた場合には、リアルタイムで傘の購入を促す広告を顧客Ｙに提示できる。

また、図１４の例では、顧客Ｙが提示したメンバーズカードＣを周辺機器２０によって読み取り、広告内容に反映するケースを示している。具体的には、メンバーズカードＣから取得した顧客の住所に基づいて店舗Ｐからの帰宅ルートを検索すると共に、顧客の住所の近くに存在する系列店（店舗Ｑ）を検索し、系列店（店舗Ｑ）の情報処理装置４０から天気情報を取得する。なお、ＷＥＢ情報を検索することで天気情報を併せて取得してもよい。そして、店舗Ｐの外の天気は“曇り”であるが、店舗Ｑの外の天気は“大雨”であると判定された場合には、店舗Ｐの情報処理装置４０は、図１４に示すように傘の購入を促す広告を提示できる。なお、天気情報以外の店舗外の状況に基づく場合も同様の方法で処理できる。

このように、本実施形態に係る情報処理装置４０によれば、顧客の属性に応じた広告に加えて、天候や交通状況等の店舗外の状況に基づいて選択した広告を顧客に提示できる。また、登録済みの顧客情報を利用することで、顧客にとって有用な広告を提示できる。

［他の実施形態］
上述の実施形態において説明した情報処理装置は、更に他の実施形態によれば、図１５に示すように構成することもできる。図１５は、他の実施形態における情報処理装置５０の構成を示すブロック図である。

図１５に示すように、他の実施形態における情報処理装置５０は、顧客が所持する物体の画像を店舗において撮像する撮像手段５０ａと、画像から物体の物体情報を抽出する抽出手段５０ｂと、物体情報から顧客の属性を推定する推定手段５０ｃと、広告媒体へ出力する広告を属性に基づいて選択する選択手段５０ｄとを備える。他の実施形態における情報処理装置５０によれば、広告媒体の近傍に存在する顧客に対して、その属性に応じた適切な広告を出力できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形が可能である。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態である。

上述の実施形態では、顧客が所持（持参）する商品の画像分析の結果に基づいて顧客の属性を推定する方法を説明したが、属性の推定方法はこれに限られない。属性推定部１０ｃは、商品の総重量及び搬送方法の組み合わせに基づいて属性を推定してもよい。例えば、購入商品の総重量が２０ｋｇを超え、かつ、搬送方法が商品カートを利用しない方法の場合には、顧客の属性が比較的若い男性であると推定できる。搬送方法については、商品と同様に、画像の中に商品カート等の器具が写っているか否かによって判定できる。

同様に、属性推定部１０ｃは、商品の購入総額に基づいて属性を推定してもよい。例えば、購入総額が所定の閾値を超える場合には、金銭的余裕度がある顧客と推定できる。また、購入製品の個数や過去の購買履歴に基づいて広告を選択してもよい。すなわち、顧客が長期にわたって纏め買いを繰り返している場合には、製品の要求度が高いと考えられるため、所定のタイミングで再購入を促す広告を提示するように構成してもよい。

更に、購入商品の中に他の商品と異なる性質の商品が含まれている場合には、その商品に基づく広告の出力を制限してもよい。例えば、プレゼント用に購入した商品からは顧客の属性を推定しない等の変形が有り得る。このように、属性の推定方法をいくつか組み合わせることで、顧客の属性を更に高精度で推定できる。

また、上述の各実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のコンピュータプログラムが記録された記録媒体はもちろん、そのコンピュータプログラム自体も各実施形態に含まれる。

該記録媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
顧客が所持する物体の画像を店舗において撮像する撮像手段と、
前記画像から前記物体の物体情報を抽出する抽出手段と、
前記物体情報から前記顧客の属性を推定する推定手段と、
広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置。

（付記２）
前記物体は、精算前の商品であることを特徴とする付記１に記載の情報処理装置。

（付記３）
前記商品の商品情報を登録する登録手段を更に備え、
前記推定手段は、前記登録された前記商品情報から前記顧客の属性を推定することを特徴とする付記２に記載の情報処理装置。

（付記４）
前記推定手段は、前記商品情報から前記顧客の購買傾向を推定し、
前記選択手段は、前記購買傾向に沿う前記広告を選択することを特徴とする付記３に記載の情報処理装置。

（付記５）
前記推定手段は、前記商品の価格と、前記商品と同一カテゴリに属する他の商品の価格との比較結果に基づいて前記購買傾向を推定することを特徴とする付記４に記載の情報処理装置。

（付記６）
前記推定手段は、前記商品の総重量及び搬送方法の組み合わせに基づいて前記属性を推定することを特徴とする付記２乃至５のいずれかに記載の情報処理装置。

（付記７）
前記推定手段は、前記商品の購入総額に基づいて前記属性を推定することを特徴とする付記２乃至５のいずれかに記載の情報処理装置。

（付記８）
前記属性は、少なくとも前記顧客の年齢、性別、趣味及び嗜好のいずれか１つを含むことを特徴とする付記１乃至７のいずれかに記載の情報処理装置。

（付記９）
顧客が所持する物体の画像を店舗において撮像するステップと、
前記画像から前記物体の物体情報を抽出するステップと、
前記物体情報から顧客の属性を推定するステップと、
広告媒体へ出力する広告を前記属性に基づいて選択するステップとを備えることを特徴とする情報処理方法。

（付記１０）
コンピュータに、
顧客が所持する物体の画像を店舗において撮像するステップと、
前記画像から前記物体の物体情報を抽出するステップと、
前記物体情報から顧客の属性を推定するステップと、
広告媒体へ出力する広告を前記属性に基づいて選択するステップとを実行させることを特徴とするプログラム。

１０，３０，４０，５０・・・情報処理装置
１０ａ・・・撮像部（撮像手段）
１０ｂ・・・商品情報抽出部（抽出手段）
１０ｃ・・・属性推定部（推定手段）
１０ｄ・・・広告選択部
１０ｅ・・・広告出力部
１０ｆ・・・商品登録部（登録手段）
１０ｇ・・・物体特定部（抽出手段）
１２・・・店舗サーバ
１４・・・ネットワーク
１６・・・広告配信装置
１８・・・撮像装置
２０・・・周辺機器

Claims (10)

1. 顧客が所持する物体の画像を店舗において撮像する撮像手段と、
   前記画像から前記物体の物体情報を抽出する抽出手段と、
   前記物体情報から前記顧客の属性を推定する推定手段と、
   広告媒体へ出力する広告を前記属性に基づいて選択する選択手段とを備えることを特徴とする情報処理装置。
2. 前記物体は、精算前の商品であることを特徴とする請求項１に記載の情報処理装置。
3. 前記商品の商品情報を登録する登録手段を更に備え、
   前記推定手段は、前記登録された前記商品情報から前記顧客の属性を推定することを特徴とする請求項２に記載の情報処理装置。
4. 前記推定手段は、前記商品情報から前記顧客の購買傾向を推定し、
   前記選択手段は、前記購買傾向に沿う前記広告を選択することを特徴とする請求項３に記載の情報処理装置。
5. 前記推定手段は、前記商品の価格と、前記商品と同一カテゴリに属する他の商品の価格との比較結果に基づいて前記購買傾向を推定することを特徴とする請求項４に記載の情報処理装置。
6. 前記推定手段は、前記商品の総重量及び搬送方法の組み合わせに基づいて前記属性を推定することを特徴とする請求項２乃至５のいずれか一項に記載の情報処理装置。
7. 前記推定手段は、前記商品の購入総額に基づいて前記属性を推定することを特徴とする請求項２乃至５のいずれか一項に記載の情報処理装置。
8. 前記属性は、少なくとも前記顧客の年齢、性別、趣味及び嗜好のいずれか１つを含むことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 顧客が所持する物体の画像を店舗において撮像するステップと、
   前記画像から前記物体の物体情報を抽出するステップと、
   前記物体情報から顧客の属性を推定するステップと、
   広告媒体へ出力する広告を前記属性に基づいて選択するステップとを備えることを特徴とする情報処理方法。
10. コンピュータに、
    顧客が所持する物体の画像を店舗において撮像するステップと、
    前記画像から前記物体の物体情報を抽出するステップと、
    前記物体情報から顧客の属性を推定するステップと、
    広告媒体へ出力する広告を前記属性に基づいて選択するステップとを実行させることを特徴とするプログラム。

Images