JP2019159468A - 広告表示システム、表示装置、広告出力装置、プログラム及び広告表示方法 - Google Patents

Abstract

【課題】商品に関連する広告を顧客に応じて選択し、表示することができる。【解決手段】広告表示システムは、表示装置２と、撮像装置３ａと、店舗撮像装置３ｂ、３ｃとを有し、前記表示装置２は、前記撮像装置３ａ及び店舗撮像装置３ｂ、３ｃから画像情報を取得する取得部と、前記複数の広告を記憶する記憶部と、前記撮像装置３ａから取得した画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、前記店舗撮像装置３ｂ、３ｃから取得した画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して表示する前記広告の優先度を変更する変更部とを備える。【選択図】図１

Description

本発明は、広告表示システム、表示装置、広告出力装置、プログラム及び広告表示方法に関する。

屋外、店頭、交通機関等において種々のコンテンツを表示するデジタルサイネージの普及が進んでおり、デジタルサイネージを活用する様々な手法が提案されている。例えば特許文献１では、店舗に設置されたデジタルサイネージに商品広告を表示させる情報処理装置であって、売上が低い商品の広告を優先的に表示させることで店舗全体での売上向上を図る情報処理装置等が開示されている。

特開２０１７−１７４１０２号公報

しかしながら、特許文献１に係る発明は、デジタルサイネージを閲覧する閲覧者に対して一律に情報を提示するものでしかなく、閲覧者に応じて情報を提示するに至っていない。

一つの側面では、商品に関連する広告を顧客に応じて選択し、表示することができる広告表示システム等を提供することを目的とする。

一つの側面では、広告表示システムは、店舗又は該店舗付近に設置されており、前記店舗で提供される商品が関連付けられた複数の広告を表示する表示装置と、該表示装置の周囲の画像情報を撮像する撮像装置と、前記店舗内の画像情報を撮像する店舗撮像装置とを有する広告表示システムであって、前記表示装置は、前記撮像装置及び店舗撮像装置の撮像した各画像情報を取得する取得部と、前記複数の広告を記憶する記憶部と、前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して表示する前記広告の優先度を変更する変更部とを備えることを特徴とする。

一つの側面では、商品に関連する広告を顧客に応じて選択し、表示することができる。

広告表示システムの構成例を示す模式図である。 サーバの構成例を示すブロック図である。 コンテンツＤＢ、顧客ＤＢ、店舗ＤＢ、及び販売ＤＢのレコードレイアウトの一例を示す説明図である。 スコアテーブルのレコードレイアウトの一例を示す説明図である。 実施の形態１の概要を示す説明図である。 サーバが実行する処理手順の一例を示すフローチャートである。 実施の形態２の概要を説明する説明図である。 実施の形態２に係るサーバが実行する処理手順の一例を示すフローチャートである。 実施の形態３の概要を説明する説明図である。 実施の形態３に係るサーバが実行する処理手順の一例を示すフローチャートである。 上述した形態のサーバの動作を示す機能ブロック図である。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、広告表示システムの構成例を示す模式図である。本実施の形態では、店舗に設置されたサイネージ２に商品の販売促進のための広告コンテンツを表示する広告表示システムであって、店舗に来店する顧客（人物）に応じて広告コンテンツを切り換える広告表示システムについて説明する。広告表示システムは、広告出力装置１、店舗に設置されたサイネージ（表示装置）２、及び店舗に設置されたカメラ（撮像装置）３、３、３を含む。各装置は、インターネット等のネットワークＮを介して通信接続されている。サイネージ２及びカメラ３は複数の店舗それぞれに設置されており、広告出力装置１は中央管理装置として機能して、各装置との間で通信を行う。

広告出力装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態で広告出力装置１はサーバ装置であるものとし、以下では簡潔のためサーバ１と読み替える。広告出力装置１は、例えば商品コマーシャル、あるいは店舗内のイメージ動画等のように、店舗での商品の販売を促進するための広告コンテンツ（以下、単に「コンテンツ」と呼ぶ）を、店頭に設置されているサイネージ２に配信する。本実施の形態で広告出力装置１は、店舗の内外に設置された各カメラ３から撮像画像を取得し、当該画像から認識した顧客の行動に基づく強化学習を行い、学習結果を用いてサイネージ２が表示するコンテンツの遠隔制御（切換）を行う。

なお、本実施の形態ではサーバ１が各店舗のサイネージ２、２、２…にコンテンツを配信するものとして説明するが、各店舗にローカル端末を設置し、サーバ１ではなくローカル端末からサイネージ２にコンテンツを出力するようにしてもよい。

サイネージ２は、サーバ１から配信されたコンテンツを表示する表示装置であり、所謂デジタルサイネージである。なお、サイネージ２はサーバ１から出力されるコンテンツを表示可能であればよく、デジタルサイネージと呼ばれる表示装置に限定されるものではない。サイネージ２は、例えば図１に示すように店舗の入口付近に設置されており、店舗前を通る、又は店舗に来店する顧客に対してコンテンツを放映する。

カメラ３は、店舗の内外に設置された撮像装置である。本実施の形態では、店舗の内外に３台のカメラ３ａ、３ｂ、３ｃが設置されている。具体的には、カメラ３ａがサイネージ２に内蔵されており、カメラ３ｂが店舗の入口付近に設置されており、カメラ３ｃが店舗内の所定の会計場所に設置されている。カメラ３ａは、サイネージ２の周囲（例えばサイネージ２の正面）を撮像範囲としており、コンテンツを閲覧する顧客を撮像する。カメラ３ｂは、店舗入口を撮像範囲としており、入店（又は離店）する顧客を撮像する。カメラ３ｃは、店舗内の会計場所を撮像範囲としており、商品を購入する顧客を撮像する。カメラ３ａ、３ｂ、３ｃは、各位置で撮像した画像をサーバ１に送信する。サーバ１は、当該画像に基づいて個々の顧客を認識（判別）すると共に、各顧客の行動を認識（特定）する。サーバ１は、認識結果に基づいてサイネージ２にコンテンツを配信し、表示コンテンツを切り換える。

なお、上記のカメラ３の設置箇所は一例であって、本実施の形態はこれに限定されるものではない。例えばカメラ３は、店舗の出口、商品の陳列場所等に設置されていてもよい。本実施の形態でカメラ３は、サイネージ２の閲覧者（顧客）を撮像可能な位置と、店舗内で顧客を撮像可能な位置とに少なくとも設置されていればよい。

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための処理回路等を含み、外部との情報の送受信を行う。

補助記憶部１４は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、コンテンツＤＢ１４１、顧客ＤＢ１４２、店舗ＤＢ１４３、販売ＤＢ１４４、及びスコアテーブル１４５を記憶している。コンテンツＤＢ１４１は、サイネージ２に配信する各種コンテンツのデータを記憶するデータベースである。顧客ＤＢ１４２は、カメラ３ａ、３ｂ、３ｃの撮像画像から認識される各顧客の顧客情報を記憶するデータベースである。店舗ＤＢ１４３は、サイネージ２が設置された各店舗に関する店舗情報を記憶するデータベースである。販売ＤＢ１４４は、店舗で提供される商品の販売情報を記憶するデータベースであり、不図示のＰＯＳ（Point of Sale）システムと同期して、各顧客が購入した商品に関する販売情報を記憶している。スコアテーブル１４５は、後述する強化学習において与えられる報酬（スコア）を規定するテーブルであり、顧客の行動と、顧客が各行動を取った場合に与えられる報酬とを対応付けて記憶するテーブルである。

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば可搬型記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部等を含んでもよい。

図３は、コンテンツＤＢ１４１、顧客ＤＢ１４２、店舗ＤＢ１４３、及び販売ＤＢ１４４のレコードレイアウトの一例を示す説明図である。
コンテンツ１４１は、コンテンツＩＤ列、コンテンツ列を含む。コンテンツＩＤは、サイネージ２に配信する各コンテンツを識別するためのＩＤを記憶している。コンテンツ列は、コンテンツＩＤと対応付けて、各コンテンツの画像データを記憶している。

顧客ＤＢ１４２は、顧客ＩＤ列、特徴列、年齢列、性別列、ステータス列、再来店数列、コンテンツ列を含む。顧客ＩＤは、各顧客を識別するためのＩＤを記憶している。特徴列は、顧客ＩＤと対応付けて、撮像画像から抽出された各顧客の画像特徴量に係るデータを記憶している。年齢列及び性別列はそれぞれ、顧客ＩＤと対応付けて、撮像画像から推定された各顧客の年齢及び性別を記憶している。ステータス列は、顧客ＩＤと対応付けて、撮像画像から特定した各顧客の行動（本実施の形態では「ステータス」とも呼ぶ）を記憶している。ステータスについては図４を用いて後述する。再来店数列は、顧客ＩＤと対応付けて、顧客が店舗に再来店した回数を記憶している。コンテンツ列は、顧客ＩＤと対応付けて、顧客が閲覧したコンテンツのコンテンツＩＤを記憶している。

店舗ＤＢ１４３は、店舗ＩＤ列、店舗情報列を含む。店舗ＩＤ列は、サイネージ２が設置された各店舗を識別するためのＩＤを記憶している。店舗情報列は、店舗ＩＤと対応付けて、各店舗の情報を記憶している。例えば図３に示すように、店舗情報列は、店舗の住所、面積、売上高等の情報を含む。

販売ＤＢ１４４は、顧客ＩＤ列、日付列、購入商品列を含む。顧客ＩＤ列は、各顧客を識別するためのＩＤを記憶している。日付列は、顧客ＩＤと対応付けて、顧客が店舗に来店した日付を記憶している。購入商品列は、顧客ＩＤ及び日付と対応付けて、顧客が店舗で購入した商品の情報を記憶している。

図４は、スコアテーブル１４５のレコードレイアウトの一例を示す説明図である。スコアテーブル１４５は、ステータス列、スコア列を含む。ステータス列は、強化学習における報酬付与の基準とする、顧客の行動（ステータス）を記憶している。本実施の形態では、報酬付与の基準とする顧客のステータスとしては、新規の顧客が来店したことを示す「新規来店」、新規の顧客がサイネージ２を閲覧したことを示す「新規閲覧」等、１０種類のステータスを定義してある。顧客のステータスは、カメラ３ａ〜３ｃで撮像された画像を元に認識される顧客の行動、及びＰＯＳシステムから取得した販売情報に基づいて判断される。スコア列は、顧客のステータスと対応付けて、強化学習の際の報酬値とするスコアを記憶している。

図５は、実施の形態１の概要を示す説明図である。図５に基づき、本実施の形態の概要について説明する。
上述の如く、サーバ１は店舗で提供される商品に関連する広告であるコンテンツ画像を配信し、サイネージ２は当該コンテンツを表示する。サイネージ２は店頭に設置されており、店舗に来店する顧客に対してコンテンツを放映する。なお、サイネージ２の設置箇所は店頭に限定されず、店舗内、又は店舗から所定距離離れた場所に設置されていてもよい。つまり、サイネージ２は顧客向けにコンテンツを表示することができればよく、その設置箇所は特に限定されない。

また、サーバ１は、カメラ３ａ〜３ｃから撮像画像を取得し、当該画像を元に、顧客の匿名認証、属性推定、及びコンテンツ閲覧の有無、店舗への入店有無、商品の購買有無等の判定（特定）などを行う。

まずサーバ１は、サイネージ２に内蔵されたカメラ３ａから撮像画像を取得し、画像認識を行って、コンテンツを閲覧している顧客の匿名認証、及び属性の推定を行う。例えば新規顧客が来店した場合、サーバ１は撮像画像から新規顧客の顔、体型等の特徴を抽出し、当該顧客に対して顧客ＩＤを割り当て、顧客ＩＤと顧客の特徴とを対応付けて顧客ＤＢ１４２に登録する。顧客ＤＢ１４２に登録してある既存顧客が再来店した場合、サーバ１は顧客ＤＢ１４２に登録したデータと照合して顧客の匿名認証を行う。

また、サーバ１はカメラ３ａの撮像画像から、顧客の年齢、性別等の属性を推定する。サーバ１は、推定した顧客の属性を顧客ＩＤと対応付けて顧客ＤＢ１４２に登録する。
なお、顧客の属性は年齢、性別等に限定されるものではなく、例えば体型、服装、団体客であるか否か（例えば家族連れであるか）等も含めて良い。つまりサーバ１は、カメラ３ａで撮像された画像に基づき顧客の属性を推定可能であればよく、その内容は特に限定されない。

また、サーバ１はカメラ３ａの撮像画像から、顧客がコンテンツを閲覧しているか否かを判定する。例えばサーバ１は、顧客の視線方向、顔の向き等からコンテンツの閲覧有無を判定する。顧客がコンテンツを閲覧していると判定した場合、サーバ１は、判定時（顧客を判別した時間）に表示しているコンテンツのコンテンツＩＤを、当該顧客の顧客ＩＤと対応付けて顧客ＤＢ１４２に記憶する。

次にサーバ１は、各カメラ３で撮像された画像を元に、店舗における顧客の購買行動を認識（特定）する。例えばサーバ１は、店舗入口付近に設置されたカメラ３ｂから撮像画像を取得し、当該画像を元に、顧客が店舗に入店したか否かを判定（特定）すると共に、当該顧客がカメラ３ａで判別した顧客であるか否か、つまりコンテンツを閲覧した顧客と同一人物であるか否かを判定する。さらにサーバ１は、会計場所に設置されたカメラ３ｃからも撮像画像を取得し、顧客が商品を購入したか否かを判定（特定）すると共に、当該顧客がカメラ３ａで判別した顧客と同一人物であるか否かを判定する。このように、サーバ１はカメラ３ｂ、３ｃで撮像された画像を元に、サイネージ２でコンテンツを閲覧した顧客が、店舗内で所定の行動を取ったか否かを判定する。サーバ１は、判定した購買行動を顧客のステータスとして、顧客ＩＤと対応付けて顧客ＤＢ１４２に記憶する。

なお、サーバ１が判定する上記の購買行動はいずれも一例であって、上記に限定されるものではない。例えば商品の陳列場所に別のカメラ３を設置しておき、サーバ１は、当該カメラ３で撮像された画像から、顧客が商品を手に取る動作などを認識してもよい。サーバ１は、店舗の内外で撮像された画像から商品購入に繋がる顧客の行動、すなわち商品へのアプローチ（商品に対応する行動）を特定可能であればよい。

上述の如く、サーバ１は各カメラ３での撮像画像を元に、顧客が来店してサイネージ２の表示コンテンツを閲覧し、店舗に入店して商品を購入するに至る一連の行動を特定する。サーバ１は、顧客ＩＤと対応付けて、顧客が閲覧したコンテンツと、当該コンテンツを閲覧した顧客の店舗内での購買行動（入店有無、購買有無等のステータス）とを顧客ＤＢ１４２に記憶する。

ここで、サーバ１はカメラ３ａの撮像画像から新たに顧客を認識（判別）した場合、当該顧客に応じてサイネージ２の表示コンテンツの優先度を変更し、コンテンツの表示を切り換える処理を行う。具体的には、サーバ１は強化学習手法を用いて、各種データベースに記憶してある内部情報、及びネットワークＮを介して取得する外部情報に基づき、顧客に提示すべき表示コンテンツの優先度を学習（変更）する処理を行う。

強化学習は、機械学習の手法の一つであり、現在の状態（ｓ；States）を元に取るべき行動（ａ；Actions）を選択するための学習手法である。より詳細には、強化学習は、ある方策（π；Policy）に基づきある状態である行動を取った場合に、得られた報酬（ｒ；Reward）から当該方策を評価し、将来に亘って得られる報酬の累積値を最大化するよう方策を改善する手法である。強化学習では、例えば以下の式（１）、（２）を用いて方策の評価と改善とを行う。

式（１）は状態価値関数であり、方策πの下での状態ｓの価値を定義する関数である。Ｒｔは最終的な累積報酬を表す関数（Reward Function）であり、ある時点ｔでの報酬ｒと、遠い将来に得られる報酬ｒほど割り引いて評価するための割引率γ（Discount Factor）とで表される。式（１）に示すように、状態価値関数は、ある状態ｓにおいて得られるであろう累積報酬Ｒｔの期待値で表される。

式（２）は行動価値関数であり、方策πの下で、状態ｓにおいて行動ａを取ることの価値を定義する関数である。行動価値関数も状態価値関数と同様に、累積報酬Ｒｔの期待値で表される。

強化学習では、式（１）、（２）で表される各関数を、次の式（３）、（４）で示すように最大化（最適化）する学習を行う。

式（３）、（４）をまとめると、次の式（５）となる。

強化学習では、式（５）を目的関数として、当該目的関数の最適化を行う。具体的には、例えばモンテカルロ法、Ｑ学習、方策勾配法等を用いて、目的関数の最適化を行う。なお、これらの最適化アルゴリズムは公知のものであるため、これ以上の詳細な説明は省略する。

サーバ１は上述の強化学習を用いて、顧客に対し提示する表示コンテンツの優先度を学習する。具体的には、サーバ１は、各種データベースに記憶してある内部情報と、店舗の外部環境に関連する外部情報とを状態ｓとし、サイネージ２に表示するコンテンツを行動ａとして、スコアテーブル１４５で規定される報酬（スコア）に基づく強化学習を行う。

内部情報は、顧客ＤＢ１４２に記憶されている顧客情報、店舗ＤＢ１４３に記憶されている店舗情報、販売ＤＢ１４４に記憶されている販売情報を含む。強化学習に用いる顧客情報は、例えば顧客の年齢、性別等の属性であり、カメラ３の撮像画像から推定（判別）される顧客情報である。強化学習に用いる店舗情報は、例えば住所、売場面積、売上高等のように、店舗の属性を表す情報であり、店舗ＤＢ１４３にセットされている情報である。強化学習に用いる販売情報は、ＰＯＳシステムから取得したデータのうち、カメラ３で認識された顧客の購買履歴である。なお、ＰＯＳシステムから取得した販売情報と個々の顧客との紐付けは、会計場所に設置されたカメラ３ｃで認識した顧客の購買有無と、ＰＯＳシステムで収集された販売情報が示す販売店舗及び時刻とを比較して行えばよい。

外部情報は、店舗での商品売上に影響する、店舗の外部環境に関連する情報である。例えば外部情報は、天気、気温、ＳＮＳへの投稿（テキスト、画像）のほか、店舗付近で催されている実イベント（例えば所謂コミックマーケット、スポーツの試合、音楽コンサート等）などの情報を含む。なお、これらは例示であって、外部情報は店舗の売上に影響する外部環境に関する情報であればよい。例えば外部情報として、店舗周辺の交通機関の運行情報などを含めてもよい。

サーバ１は、顧客来店時における上記の各種外部情報を、ネットワークＮを介して取得する。例えば天気、気温等の場合、サーバ１は天候情報を掲載する所定のＷｅｂサイトにアクセスし、顧客来店時の天気、気温等のデータを取得する。

サーバ１は、上記の内部情報及び外部情報を状態ｓとして、式（５）で表される目的関数に入力する。なお、天気、気温等の外部情報は所定のエンコード処理を行った上で入力する。例えば天気はＯｎｅ−ｈｏｔ表現のベクトル量に、気温はスカラー量に、ＳＮＳ上のテキストはｓｋｉｐ−ｇｒａｍモデルを用いてベクトル量に、ＳＮＳ上の画像はＡｕｔｏＥｎｃｏｄｅｒを用いてベクトル量にエンコードし、目的関数に入力する。

サーバ１は、スコアテーブル１４５を参照し、店舗における顧客の購買行動に基づいて報酬値を算出する。スコアテーブル１４５は、カメラ３で認識される顧客の購買行動を判定基準として、ユーザがある購買行動を取った場合に与えられる報酬ｒを規定している。具体的には図４で説明したように、スコアテーブル１４５は、顧客の購買行動を表す１０種類のステータスそれぞれと対応付けて、強化学習の報酬ｒとするスコアを格納している。

スコアテーブル１４５では、例えば新規の顧客が来店した場合のステータスを「新規来店」と定義し、「新規来店」の場合のスコアを「３」と定義している。つまり、サーバ１がカメラ３ａで撮像された画像から新規顧客の来店を認識した場合、報酬ｒとして３ポイントが与えられる。新規顧客がサイネージ２に表示されているコンテンツを閲覧していることを認識した場合、ステータスは「新規閲覧」であるため、報酬ｒとして１０ポイントが与えられる。以下同様にして、カメラ３ａ〜３ｃでの撮像画像から認識される顧客の購買行動に基づき、累積報酬Ｒｔが計算される。

なお、図４で例示したスコアテーブル１４５では、サイネージ２に設置されたカメラ３ａで認識される顧客の行動（コンテンツの閲覧の有無等）に対しても報酬ｒを割り当て、サーバ１は累積報酬Ｒｔに加算することにしているが、当該構成は必須ではない。つまり、サーバ１は少なくとも店舗に設置されたカメラ３（３ｂ、３ｃ）に基づいて顧客の行動を判定し、報酬を計算可能であればよく、サイネージ２に設置されたカメラ３での認識結果を用いずともよい。

サーバ１は、上記のように算出される報酬を元に、目的関数の最適化を行う。すなわち、サーバ１は、サイネージ２に表示したコンテンツ（コンテンツＩＤ）を行動ａとし、顧客情報、店舗情報、販売情報を含む内部情報、及び外部環境に関連する外部情報を状態ｓとして、顧客が取った行動を元に算出された累積報酬Ｒｔを元に、式（５）で表されるＱ関数の最適化を行う。これにより、サーバ１は、ある外部環境下で、ある顧客がある店舗に来店してある商品を購入した（又は購入しなかった）場合に、当該顧客の来店時にあるコンテンツをサイネージ２に表示したことの価値を、当該顧客の購買行動に基づいて評価する。

なお、サーバ１は、サイネージ２、２、２…が設置されている複数の店舗全体（例えば系列店全体）で強化学習を行ってもよく、後述する実施の形態２及び３のように、個々の店舗毎（例えば自営店舗毎）に強化学習を行い、学習済みモデルを生成するようにしてもよい。

上記のようにしてサーバ１は、内部情報及び外部情報（状態ｓ）を入力値として、表示すべきコンテンツのコンテンツＩＤ（行動ａ）を出力値として得る学習済みモデル（学習結果）を生成する。カメラ３ａで撮像された画像から新たに顧客を認識した場合、サーバ１は当該学習結果を参照して、当該顧客に対して提示する表示コンテンツを判定する。具体的には、サーバ１は撮像画像から顧客の年齢、性別等の属性を推定（判別）する。また、サーバ１は、顧客が来店した店舗の店舗情報を店舗ＤＢ１４３から読み出す。また、サーバ１は当該顧客の購入履歴（販売情報）を販売ＤＢ１４４から読み出す。また、サーバ１は現在の外部情報を、ネットワークＮを介して取得する。サーバ１は、上記の各種情報を状態ｓとして入力し、取るべき行動ａ、すなわち表示すべきコンテンツのコンテンツＩＤを取得する。サーバ１は、当該コンテンツをコンテンツＤＢ１４１から読み出してサイネージ２に配信し、表示コンテンツを切り換える。

表示コンテンツの切り換え後、サーバ１は、カメラ３ａ〜３ｃから取得する撮像画像に基づいて当該顧客の購買行動を特定する。すなわちサーバ１は、上述の如く、コンテンツを閲覧した顧客による入店の有無、商品購入の有無等を判定する。サーバ１は、当該顧客についても顧客ＩＤと対応付けてコンテンツＩＤ及びステータスを顧客ＤＢ１４２に記憶し、データベースを更新して強化学習を行う。

図６は、サーバ１が実行する処理手順の一例を示すフローチャートである。図６に基づき、サーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、サイネージ２に設置されたカメラ３ａから、サイネージ２の周囲を撮像した撮像画像を取得する（ステップＳ１１）。制御部１１は当該画像に対する画像認識を行い、撮像画像に含まれる顧客（人物）を判別する（ステップＳ１２）。制御部１１は顧客ＤＢ１４２に記憶してある各顧客の画像特徴量を参照して、ステップＳ１２で判別した顧客が新規顧客であるか否かを判定する（ステップＳ１３）。新規顧客でないと判定した場合（Ｓ１３：ＮＯ）、制御部１１は処理をステップＳ１５に移行する。新規顧客であると判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は当該顧客の特徴、属性等の顧客情報を顧客ＤＢ１４２に登録する（ステップＳ１４）。

制御部１１は、現在（顧客来店時）の内部情報及び外部情報を取得する（ステップＳ１５）。内部情報は、顧客ＤＢ１４２、店舗ＤＢ１４３、販売ＤＢ１４４に格納されている各種データであり、顧客の属性を表す顧客情報、店舗の属性を表す店舗情報、及び顧客による商品の購入履歴を表す販売情報を含む。外部情報は、店舗における商品の売上に影響する外部環境に関連した情報であり、例えば天気、気温、ＳＮＳへの投稿、店舗周辺で開催されている実イベント等の情報を含む。

制御部１１は、取得した内部情報及び外部情報を元に、サイネージ２に表示するコンテンツを判定する（ステップＳ１６）。例えば上述の如く、制御部１１は強化学習等によって生成済みの学習結果（学習済みモデル）を用いて、内部情報及び外部情報を入力値（状態ｓ）とし、コンテンツＤＢ１４１に記憶されている複数のコンテンツのうち、表示すべきコンテンツのコンテンツＩＤ（行動ａ）を出力値として取得する。制御部１１は、判定したコンテンツをサイネージ２に出力（配信）し、表示コンテンツを切り換える（ステップＳ１７）。

制御部１１は、店舗入口に設置されたカメラ３ｂ、及び会計場所に設置されたカメラ３ｃからそれぞれ撮像画像を取得する（ステップＳ１８）。制御部１１は、各カメラ３ａ、３ｂ、３ｃから取得した画像を元に、商品購入に繋がる顧客の購買行動（商品に対応する行動）を特定する（ステップＳ１９）。ステップＳ１９で特定（判定）する購買行動は、商品の売上に繋がる顧客の行動であり、顧客による商品へのアプローチである。例えば制御部１１は、サイネージ２に内蔵されたカメラ３ａから取得した画像を元に、顧客がコンテンツを閲覧したか否かを判定する。また、制御部１１は店舗入口のカメラ３ｂから取得した画像を元に、顧客が入店したか否かを判定する。また、制御部１１はレジ前のカメラ３ｃから取得した画像を元に、顧客が商品を購入したか否かを判定する。

制御部１１は、ステップＳ１１〜Ｓ１９の処理結果を元に、各種データベースを更新する（ステップＳ２０）。例えば制御部１１は、ステップＳ１２で判別した顧客の顧客ＩＤと対応付けて、顧客を判別した時間に表示しており、顧客が閲覧したコンテンツのコンテンツＩＤを顧客ＤＢ１４２に記憶する。また、制御部１１は、ステップＳ１８で取得した店舗内の画像から顧客を特定し、サイネージ２でコンテンツを閲覧した顧客と同一人物であるか否かを判定する。同一人物である場合、制御部１１は当該顧客の顧客ＩＤ、及び当該顧客が閲覧したコンテンツのコンテンツＩＤに対応付けて、ステップＳ１９で特定した顧客の購買行動（ステータス）を顧客ＤＢ１４２に記憶する。また、制御部１１は会計場所で撮像された画像を元に、ＰＯＳシステムから取得した販売情報を顧客ＩＤに対応付けて販売ＤＢ１４４に記憶する。

制御部１１は、ステップＳ１９で特定した店舗内での顧客の購買行動に基づき、スコアテーブル１４５を参照してスコアを算出する（ステップＳ２１）。スコアテーブル１４５は、強化学習において与えられる報酬ｒを規定するテーブルであり、顧客の購買行動と、強化学習に係る報酬値（スコア）とを対応付けたテーブルである。制御部１１は、ステップＳ１９で特定した顧客の購買行動、例えば店舗に入店したか否か、商品を購入したか否か等の情報に基づき、スコアを算出する。

制御部１１は、カメラ３ａからの撮像画像によって顧客を判別した時間に表示していたコンテンツと、ステップＳ２１で算出したスコアとに基づき、顧客に対して表示するコンテンツの優先度を学習する学習処理を実行する（ステップＳ２２）。具体的には、制御部１１は、ステップＳ１５で取得した内部情報及び外部情報を状態ｓ、ステップＳ１７で表示したコンテンツを行動ａとして、ステップＳ２１で算出したスコアを元に目的関数を最適化する演算処理を実行する。例えば制御部１１は、モンテカルロ法、Ｑ学習、方策勾配法等のアルゴリズムを用いて最適化を行う。これにより制御部１１は、強化学習の学習結果である目的関数を更新（生成）し、各顧客に対して表示するコンテンツの優先度を変更する。制御部１１は、処理をステップＳ１１に戻す。

なお、上記では顧客情報、店舗情報、販売情報、及び外部情報を状態ｓとして規定したが、本実施の形態はこれに限定されるものではない。例えばサーバ１は、表示コンテンツに係る広告商品の属性（商品の種類、価格等）も状態ｓとして規定し、商品自体の情報を、顧客の購買行動に影響を与える因子として学習するようにしてもよい。

また、上記では強化学習を用いて表示コンテンツの切り換えを判定したが、例えばディープラーニングのように、その他の機械学習手法を用いてコンテンツの切り換えを行うようにしてもよい。また、機械学習を用いず、例えば顧客が過去に購入した商品のコンテンツを表示するといったように、ルールベースでのコンテンツ切り換えも本実施の形態の範疇に含まれる。

また、上記ではカメラ３から撮像画像自体をサーバ１に送信し、サーバ１が画像認識を行うものとしたが、カメラ３で画像認識を行った後、認識結果をサーバ１に転送するようにしてもよい。つまり、サーバ１はカメラ３から撮像画像に関する画像情報を取得可能であればよく、画像情報は画像自体であってもよく、画像認識結果であってもよい。

また、上記では一店舗につき一台のサイネージ２を設置するものとして説明したが、一店舗に複数のサイネージ２を設置してもよい。例えば店舗入口、店舗内の通路、商品の陳列場所、会計前のスペースなどの各箇所にサイネージ２を設置しておき、サーバ１は、各サイネージ２におけるコンテンツ切り換えを制御するようにしてもよい。

また、上記ではサーバ１がサイネージ２の表示制御を行っているが、本実施の形態はこれに限定されるものではなく、サイネージ２がカメラ３ａの撮像画像から顧客を認識し、コンテンツの切換を自ら判断するようにしても良い。すなわち、サイネージ２を所謂スタンドアロン型のデジタルサイネージとして、サイネージ２が複数のコンテンツを内部に記憶しておき、カメラ３ａで顧客を認識して表示すべきコンテンツを判定する。このように、サーバ１が実行するものとして説明した一連の処理を、サイネージ２が実行するようにしても良い。

また、サーバ１及びサイネージ２が処理を分担してもよい。例えばサーバ１がデータベースの管理及び強化学習を行い、サイネージ２はサーバ１から学習結果を取得する。サイネージ２は複数のコンテンツを内部に記憶しておき、サーバ１が生成した学習結果を用いて表示すべきコンテンツを判定する。このように、何れのハードウェアを処理主体とするかは任意の設計事項であり、種々の変更が考えられる。

以上より、本実施の形態１によれば、店舗の各箇所にカメラ３を設置し、カメラ３で撮像された画像を元に顧客の購買行動を特定し、行動特定結果に応じてサイネージ２でのコンテンツ切り換えを行う。これにより、顧客に応じて適切なコンテンツを選択して提示し、商品の販売を促進することができる。

また、本実施の形態１によれば、顧客の購買行動に基づいて報酬値を計算し、表示するコンテンツの優先度を学習する強化学習を行う。これにより、顧客に応じて適切なコンテンツを精度良く選択し、提示することができる。

また、本実施の形態１によれば、店舗の外部環境も考慮してコンテンツを選択することで、例えば気温が高い日に売上が伸びる商品の広告を優先的に表示する、といったように、より適切な販売促進施策を実施することができる。

また、本実施の形態１によれば、顧客自身の年齢、性別といった属性を考慮し、顧客に応じたコンテンツをより適切に選択することができる。

また、本実施の形態１によれば、顧客の商品購入履歴（販売情報）も考慮してコンテンツを選択することで、顧客のニーズに合った商品に関連するコンテンツを優先的に表示することができる。

また、本実施の形態１によれば、店舗の属性を表す店舗情報を参照することで、例えば店舗の立地場所、広さといった内部環境を考慮してコンテンツを選択することができる。

（実施の形態２）
本実施の形態では、新規店舗に上記の広告表示システムを導入する場合に、既に学習済みの他店舗の学習結果をインポートする形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図７は、実施の形態２の概要を説明する説明図である。図７では、新規店舗に対して他店舗の学習結果をインポートする様子を、概念的に図示している。本実施の形態では、サーバ１は、複数の店舗それぞれにサイネージ２が設置されており、個々の店舗毎に強化学習を行って、学習済みモデル（学習結果）を生成してあるものとして説明する。例えばサーバ１は、顧客ＤＢ１４１において、各店舗に来店した顧客の顧客情報を店舗ＩＤと対応付けて記憶し、店舗ＩＤに紐付く顧客情報を用いて個々に目的関数の最適化を行うことで、店舗毎の学習済みモデルを生成する。あるいはサーバ１は、後述する実施の形態３のように、スコアテーブル１４５を店舗毎に調整することで個別化した強化学習を行うようにしてもよい。

本実施の形態でサーバ１は、新規店舗に本システムを導入する場合、既存店舗での学習済みモデルをインポートし、強化学習を開始する。例えば図７に示すように、店舗Ａ、Ｂで本システムを導入済みである場合に、店舗Ｃへ新たに本システムを導入する場合を考える。

上記の場合、サーバ１は、店舗Ｃでの強化学習の初期値として、他店舗（学習結果を適用するサイネージ２を設置した店舗Ｃ以外の他の店舗Ａ、Ｂ）の学習済みモデルの学習値を適用する初期設定を受け付ける。例えばサーバ１は、本システムの管理者から、インポート対象とする既存店舗の指定入力を受け付ける。例えば図７に示すように、店舗Ａがインポート元として指定された場合、店舗Ａで学習済みの目的関数の学習値が店舗Ｃでの強化学習の初期値として設定される。サーバ１は、当該初期値を目的関数に設定の上、店舗Ｃから取得した撮像画像に基づく強化学習を開始する。これにより、店舗Ａ〜Ｃ全体でのトータルの学習コストが大幅に引き下げられることができる。

図８は、実施の形態２に係るサーバ１が実行する処理手順の一例を示すフローチャートである。図８に基づいて、実施の形態２におけるサーバ１が実行する処理内容について説明する。
サーバ１の制御部１１は、ステップＳ１１以降の処理を開始する前に、他店舗で学習済みの学習結果を、新規店舗に適用する初期設定を受け付ける（ステップＳ２０１）。すなわち制御部１１は、他店舗で学習した上述の目的関数の学習値を、新規店舗で強化学習を行う際の目的関数の初期値に設定する。例えばサーバ１は、本システムの管理者から他店舗の指定入力を受け付け、インポートを行う。制御部１１は、処理をステップＳ１１に移行する。

内部情報及び外部情報を取得した後（ステップＳ１５）、制御部１１は、店舗に応じて学習済みの学習結果を参照して、サイネージ２に表示させるコンテンツを判定する（ステップＳ２０２）。すなわち制御部１１は、店舗毎の目的関数を用いて、表示コンテンツの判定を行う。制御部１１は、処理をステップＳ１７に移行する。

顧客の購買行動に基づくスコアの算出後（ステップＳ２１）、制御部１１は、店舗に応じた強化学習処理を実行する（ステップＳ２０３）。例えば制御部１１は、各店舗に来店した顧客の顧客情報を顧客ＤＢ１４１からそれぞれ読み出し、店舗毎に目的関数を最適化する演算処理を実行する。この場合に制御部１１は、該当店舗が新規店舗である場合、ステップＳ２０１で設定された他店舗の学習値を初期値として目的関数に設定の上、学習を行う。制御部１１は、処理をステップＳ１１に戻す。

なお、上記では手動でインポート作業を行うことにしたが、本実施の形態はこれに限定されるものではなく、サーバ１が自動的にインポート対象とすべき他店舗を検索して設定を行ってもよい。例えばサーバ１は、店舗ＤＢ１４３を参照して、新規導入店舗と住所、店舗面積、売上高等の属性が類似する他店舗を検索し、検索した他店舗の学習データをインポートする。これにより、管理者によるインポート作業を省略することができる。

以上より、本実施の形態２によれば、店舗毎に強化学習を行うことで、店舗毎にローカライズされたコンテンツの切り換え動作を行うことができる。

また、本実施の形態２によれば、他店舗で既に学習済みの学習結果を新規導入店舗にインポートすることで、トータルの学習コストを大幅に下げることができる。

（実施の形態３）
本実施の形態では、店舗毎に異なるスコアテーブル１４５を設定する形態について説明する。
図９は、実施の形態３の概要を説明する説明図である。図９では、各店舗での課題、販売施策等に応じてスコアテーブル１４５が調整される様子を図示している。図９を用いて、本実施の形態の概要を説明する。

図９左側に示すスコアテーブル１４５は、図４で例示したスコアテーブル１４５と同一であり、スコアテーブル１４５のテンプレートである。一方で、図９右側の上下に示すスコアテーブル１４５はそれぞれ、図９左側に示すスコアテーブル１４５からスコア列のスコアが変更されたテーブルとなっている。具体的には、図９右上のスコアテーブル１４５は、図９左側のスコアテーブル１４５と比較して、「新規入店」に対応するスコアが増加している。例えば店舗側の経営方針として新規顧客を増やしたいと考えた場合、図９に示すように、「新規入店」のスコアを増加させる設定変更を行う。

また、図９右下のスコアテーブル１４５は、図９左側のスコアテーブル１４５と比較して、「再来店」、「再来閲覧」、「再来購買」に対応するスコアが増加している。例えば店舗側の経営方針としてリピーターを増やしたいと考えた場合、図９に示すように、再来店に関連する各ステータスのスコアを増加させる設定変更を行う。

上記のようにサーバ１は、スコアを変更するステータスの指定と、変更後のスコアとを入力する設定入力を受け付け、店舗毎に異なるスコアテーブル１４５（報酬規則）を設定する。例えばサーバ１は、本システムの管理者から設定入力を受け付け、各店舗のスコアテーブル１４５を保存する。強化学習を行う場合、サーバ１は各店舗に応じたスコアテーブル１４５を参照してスコアを算出し、目的関数の最適化を行う。カメラ３ａで撮像された画像に基づいて各店舗に来店した顧客を認識した場合、サーバ１は、店舗毎に生成される学習済みモデル（学習結果）を用いて表示コンテンツを判定し、コンテンツの切り換えを行う。

図１０は、実施の形態３に係るサーバ１が実行する処理手順の一例を示すフローチャートである。図１０に基づき、実施の形態３においてサーバ１が実行する処理内容について説明する。
サーバ１の制御部１１はまず、強化学習の報酬規則を規定するスコアテーブル１４５を店舗毎に設定する設定入力を受け付ける（ステップＳ３０１）。例えば制御部１１は、テンプレートのスコアテーブル１４５から、スコアを変更するステータス（購買行動）の指定と、変更後のスコアとを入力する設定入力を店舗毎に受け付ける。制御部１１は、店舗毎に設定されたスコアテーブル１４５を店舗ＩＤと紐付けて保存する。

ステップＳ２０の処理を実行後、制御部１１は、ステップＳ３０１で店舗毎に設定されたスコアテーブル１４５を参照して、強化学習に係る報酬値であるスコアを算出する（ステップＳ３０２）。そして制御部１１は、ステップＳ３０２で算出したスコアに基づき、店舗毎に異なる学習結果を生成する強化学習処理を実行する（ステップＳ３０３）。制御部１１は、処理をステップＳ１１に戻す。

以上より、本実施の形態３によれば、店舗の経営方針や目的に応じてコンテンツの優先度を変更可能となる。

（実施の形態４）
図１１は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。取得部１１１は、表示装置２の周囲の画像情報を撮像する撮像装置３ａ、及び店舗内の画像情報を撮像する店舗撮像装置３ｂ、３ｃから、各画像情報を取得する。記憶部１１２は、前記複数の広告を記憶する。判別部１１３は、前記撮像装置３ａから取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する。人物判定部１１４は、前記店舗撮像装置３ｂ、３ｃから取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部１１３が判別した前記人物と同一人物か否かを判定する。特定部１１５は、前記店舗における前記人物による前記商品に対応する行動を特定する。変更部１１６は、前記判別部１１３が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して表示する前記広告の優先度を変更する。

本実施の形態４は以上の如きであり、その他は実施の形態１から３と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ サーバ（広告出力装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
２ サイネージ（表示装置）
３、３ａ、３ｂ、３ｃ カメラ（撮像装置、店舗撮像装置）

Claims (14)

1. 店舗又は該店舗付近に設置されており、前記店舗で提供される商品が関連付けられた複数の広告を表示する表示装置と、
   該表示装置の周囲の画像情報を撮像する撮像装置と、
   前記店舗内の画像情報を撮像する店舗撮像装置と
   を有する広告表示システムであって、
   前記表示装置は、
   前記撮像装置及び店舗撮像装置の撮像した各画像情報を取得する取得部と、
   前記複数の広告を記憶する記憶部と、
   前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、
   前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、
   前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、
   前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して表示する前記広告の優先度を変更する変更部と
   を備えることを特徴とする広告表示システム。
2. 前記表示装置は、
   前記行動特定結果と、該行動特定結果に応じた報酬値とを対応付けた報酬規則を保持する規則保持部を備え、
   前記変更部は、前記人物が閲覧した前記広告と、該人物の前記行動特定結果とに基づき、前記報酬規則を参照して、前記人物に対して表示する前記広告の優先度を学習する
   ことを特徴とする請求項１に記載の広告表示システム。
3. 前記表示装置は、複数の前記店舗夫々に設置された表示装置であり、
   前記変更部は、前記店舗毎の学習結果を生成する
   ことを特徴とする請求項２に記載の広告表示システム。
4. 前記表示装置は、該表示装置が設置された前記店舗以外の他の前記店舗の前記学習結果を適用する設定入力を受け付ける受付部を備え、
   前記他の店舗の前記学習結果を用いて、前記人物に対し表示する前記広告の優先度を学習する
   ことを特徴とする請求項３に記載の広告表示システム。
5. 前記規則保持部は、前記店舗毎に異なる前記報酬規則を設定する設定入力を受け付け、
   前記変更部は、前記店舗に応じた前記報酬規則を参照して前記学習結果を生成する
   ことを特徴とする請求項３又は４に記載の広告表示システム。
6. 前記表示装置は、前記店舗の外部環境に関連する外部情報を取得する外部情報取得部を備え、
   前記変更部は、前記外部情報に応じて前記広告の優先度を変更する
   ことを特徴とする請求項１〜５のいずれか１項に記載の広告表示システム。
7. 前記判別部は、前記撮像装置から取得した前記周囲の画像情報に基づき、前記人物の属性を判別し、
   前記変更部は、前記人物の属性に応じて前記広告の優先度を変更する
   ことを特徴とする請求項１〜６のいずれか１項に記載の広告表示システム。
8. 前記表示装置は、前記店舗における前記商品の販売情報を取得する販売情報取得部を備え、
   前記特定部は、前記行動特定結果に基づき、前記人物が購入した前記商品に関する前記販売情報を特定し、
   前記変更部は、前記人物に対応する前記販売情報に基づき、前記広告の優先度を変更する
   ことを特徴とする請求項１〜７のいずれか１項に記載の広告表示システム。
9. 前記記憶部は、前記店舗の属性を表す店舗情報を記憶し、
   前記変更部は、前記表示装置に対応する前記店舗の店舗情報に基づき、前記広告の優先度を変更する
   ことを特徴とする請求項１〜８のいずれか１項に記載の広告表示システム。
10. 店舗又は該店舗付近に設置されており、前記店舗で提供される商品が関連付けられた複数の広告を表示する表示装置と、
    該表示装置の周囲の画像情報を撮像する撮像装置と、
    前記店舗内の画像情報を撮像する店舗撮像装置と、
    前記表示装置に前記広告を出力する広告出力装置と
    を有する広告表示システムであって、
    前記広告出力装置は、
    前記撮像装置及び店舗撮像装置の撮像した各画像情報を取得する取得部と、
    前記複数の広告を記憶する記憶部と、
    前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、
    前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、
    前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、
    前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して表示する前記広告の優先度を変更する変更部と
    を備えることを特徴とする広告表示システム。
11. 店舗又は該店舗付近に設置された表示装置であって、
    前記店舗で提供される商品が関連付けられた複数の広告を表示する表示部と、
    前記表示装置の周囲の画像情報を撮像する撮像装置、及び前記店舗内の画像情報を撮像する店舗撮像装置から、各画像情報を取得する取得部と、
    前記複数の広告を記憶する記憶部と、
    前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、
    前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、
    前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、
    前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果とを参照して、出力する前記広告の優先度を変更する変更部と
    を備えることを特徴とする表示装置。
12. 店舗又は該店舗付近に設置された表示装置に対し、前記店舗で提供される商品が関連付けられた複数の広告を出力する出力部と、
    前記表示装置の周囲の画像情報を撮像する撮像装置、及び前記店舗内の画像情報を撮像する店舗撮像装置から、各画像情報を取得する取得部と、
    前記複数の広告を記憶する記憶部と、
    前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定する判別部と、
    前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、前記判別部が判別した前記人物と同一人物か否かを判定する人物判定部と、
    前記店舗における前記人物による前記商品に対応する行動を特定する特定部と、
    前記判別部が特定した前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果とを参照して、出力する前記広告の優先度を変更する変更部と
    を備えることを特徴とする広告出力装置。
13. 店舗又は該店舗付近に設置された表示装置に対し、前記店舗で提供される商品が関連付けられた複数の広告を出力し、
    前記表示装置の周囲の画像情報を撮像する撮像装置、及び前記店舗内の画像情報を撮像する店舗撮像装置から、各画像情報を取得し、
    前記複数の広告を記憶部に記憶し、
    前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定し、
    前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、判別した前記人物と同一人物か否かを判定し、
    前記店舗における前記人物による前記商品に対応する行動を特定し、
    前記人物を判別した時間に表示していた前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して出力する前記広告の優先度を変更する
    処理をコンピュータに実行させることを特徴とするプログラム。
14. 店舗又は該店舗付近に設置された表示装置に対し、前記店舗で提供される商品が関連付けられた複数の広告を出力し、
    前記表示装置の周囲の画像情報を撮像する撮像装置、及び前記店舗内の画像情報を撮像する店舗撮像装置から、各画像情報を取得し、
    前記複数の広告を記憶部に記憶し、
    前記撮像装置から取得した前記周囲の画像情報に基づき、前記広告を閲覧した人物を判別し、該人物を判別した時間に表示していた前記広告を特定し、
    前記店舗撮像装置から取得した前記店舗内の画像情報内の前記人物を特定して、判別した前記人物と同一人物か否かを判定し、
    前記店舗における前記人物による前記商品に対応する行動を特定し、
    前記人物を判別した時間に表示していた前記広告と、該広告を閲覧した前記人物と同一人物の行動特定結果と、を参照して出力する前記広告の優先度を変更する
    処理をコンピュータに実行させることを特徴とする広告表示方法。

Images