JP2016062390A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザに適した操作の種類を把握できるようにする。
【解決手段】デジタルサイネージ装置１によれば、制御部２３は、撮像部３６により得られた撮影画像からユーザが検出されると、ユーザの特徴を抽出し、ユーザ操作が行われるとその操作の種類を検出し、操作したユーザの特徴とその操作の種類とを対応付けてサーバ装置２の操作情報記憶部２２２に記憶させる。また、制御部２３は、撮像部３６により得られた撮影画像からユーザが検出されると、撮影画像からユーザの特徴を抽出し、ユーザの特徴をサーバ装置２に送信し、サーバ装置２からの指示に応じて、ユーザの特徴に応じた操作の種類の操作案内を行うコンテンツに切り替えて出力する。
【選択図】図６

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

従来、映像供給装置に接続される映像出力装置と、反射部材と、スクリーンとを有し、映像出力装置からコンテンツを投影する出力光を反射部材によって反射し、この反射部材によって反射された出力光を当該コンテンツの輪郭の形状に形成されたスクリーンに投影することにより、閲覧者に対して印象を高めることができる映像出力装置搭載機器が知られている（例えば、特許文献１参照）。

特開２０１１−１５０２２１号公報

しかしながら、特許文献１に記載の技術においては、一方的に映像を出力するだけである。そのため、例えば、ユーザ操作を必要とするコンテンツを出力するような場合に、ユーザに適した操作の種類を把握して、ユーザに適した操作案内を行うことができなかった。

本発明の課題は、ユーザに適した操作の種類を把握できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の情報処理装置は、
ユーザを検出し、当該ユーザの特徴を抽出する抽出手段と、
前記ユーザにより行われた操作の種類を検出する検出手段と、
前記抽出手段により抽出された操作したユーザの特徴と前記検出手段により検出された前記ユーザによる操作の種類とを対応付けて記憶する記憶手段と、
を備える。

本発明によれば、ユーザに適した種類の操作を把握することが可能となる。

本実施形態におけるコンテンツ出力システムの全体構成例を示す図である。 図１のデジタルサイネージ装置の機能的構成を示すブロック図である。 図２のスクリーン部の概略構成を示す図である。 図１のサーバ装置の機能的構成を示すブロック図である。 図４の操作情報記憶部のデータ格納例を示す図である。 図２の制御部により実行される操作情報記録処理を示すフローチャートである。 図２の制御部により実行されるコンテンツ出力制御処理を示すフローチャートである。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。以下の実施形態では、本発明に係る情報処理装置をデジタルサイネージ装置１に適用した場合を例にとり説明する。なお、本発明は、図示例に限定されるものではない。

［コンテンツ出力システム１００の構成］
図１は、本発明の実施形態におけるコンテンツ出力システム１００の全体構成を示す図である。コンテンツ出力システム１００は、図１に示すように、店舗に設けられたデジタルサイネージ装置１と、サーバ装置２とを備えて構成されている。デジタルサイネージ装置１とサーバ装置２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークＮを介して通信接続可能に構成されている。なお、デジタルサイネージ装置１の台数は特に限定されない。

［デジタルサイネージ装置１の構成］
図２は、デジタルサイネージ装置１の主制御構成を示すブロック図である。
デジタルサイネージ装置１は、例えば、店舗で取り扱っている商品に係るコンテンツを出力する装置であり、図２に示すように、コンテンツの映像光を照射する投影部２１と、投影部２１から照射された映像光を背面で受けて前面に投影するスクリーン部２２とを備えている。

まず、投影部２１について説明する。
投影部２１は、制御部２３と、プロジェクタ２４と、記憶部２５と、通信部２６と、計時部３０と、を備えている。プロジェクタ２４、記憶部２５、通信部２６、計時部３０は、図２に示すように制御部２３に接続されている。

制御部２３は、記憶部２５のプログラム記憶部２５１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵとプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２３は、プログラムとの協働により、後述する操作情報記録処理やコンテンツ出力制御処理を始めとする各種処理を実行し、抽出手段、出力制御手段、推定手段として機能する。

プロジェクタ２４は、制御部２３から出力された画像データを映像光に変換してスクリーン部２２に向けて照射する投影装置である。プロジェクタ２４は、例えば、アレイ状に配列された複数個（ＸＧＡの場合、横１０２４画素×縦７６８画素）の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して表示動作することでその反射光により光像を形成する表示素子であるＤＭＤ（デジタルマイクロミラーデバイス）を利用したＤＬＰ（Digital Light Processing）(登録商標)プロジェクタが適用可能である。

記憶部２５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２５には、図２に示すように、プログラム記憶部２５１が設けられている。プログラム記憶部２５１には、制御部２３で実行されるシステムプログラムや、後述する操作情報記録処理やコンテンツ出力制御処理を始めとする各種処理を実行するための処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部２５には、コンテンツ記憶部２５２が設けられている。コンテンツ記憶部２５２には、コンテンツの識別情報に対応付けて、デジタルサイネージ装置１で再生するコンテンツのデータが記憶されている。コンテンツデータは、例えば、複数のフレーム画像により構成される動画データ及び各フレーム画像に対応する音声データにより構成されている。
また、記憶部２５には、自装置の装置ＮＯ．が記憶されている。

通信部２６は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続された外部機器との通信を行う。

計時部３０は、ＲＴＣ（Real Time Clock）等により構成され、現在日時を取得して制御部２３に出力する。

次に、スクリーン部２２について説明する。
図３は、スクリーン部２２の概略構成を示す正面図である。図３に示すようにスクリーン部２２には、画像形成部２７と、画像形成部２７を支持する台座２８とが備えられている。

画像形成部２７は、映像光の照射方向に対して略直交するように配置された、例えばアクリル板などの人型に成形された一枚の透光板２９に、フィルム状のフレネルレンズが積層された背面投影用のフィルムスクリーン２９１や予め人物が印刷されたフィルム２９２が貼付されて構成されたスクリーンである。プロジェクタ２４は、画像形成部２７のフィルムスクリーン２９１が貼付された領域に画像を投影する。なお、透光板２９全体にフィルムスクリーン２９１を貼付した構成とし、人物についても投影を行うこととしてもよい。画像形成部２７と前述したプロジェクタ２４とにより、出力手段を構成している。

台座２８には、ボタン式の操作部３２と、音声を出力するスピーカなどの音声出力部３３と、非接触通信部３４と、プリンタ３５と、撮像部３６と、が設けられている。

操作部３２は、複数の操作ボタンを備え、操作ボタンの押下信号を検出して制御部２３に出力する。各操作ボタンには、その操作ボタンを押下することにより実行される処理やその操作ボタンを押下することによるコンテンツの切り替え先等を表示する表示領域３２ａがそれぞれ対応付けられている。

非接触通信部３４は、ＮＦＣ（Near Field Communication）等による無線通信機能を備え、ＩＣカード３や携帯端末４と無線通信を行うことにより、ＩＣカード３や携帯端末４に対してデータの読み書きを行ったり、携帯端末４とデータの送受信を行ったりする。非接触通信部３４は、検出手段として機能する。

ここで、ＩＣカード３は、デジタルサイネージ装置１が設置された店舗の会員カード等であり、非接触通信が可能であり、ユーザを識別するためのユーザＩＤ等が記憶されている。携帯端末４は、ユーザが所持している、非接触通信可能な携帯端末である。

プリンタ３５は、制御部２３からの指示に従って用紙に印刷を行い、排出口３５１から出力する。

撮像部３６は、画像形成部２７に対向する空間の画像を撮影して撮影画像を生成する。撮像部３６は、図示は省略するが、光学系及び撮像素子を備えるカメラと、カメラを制御する撮像制御部とを備えている。
カメラの光学系は、画像形成部２７の前にいる人物（ユーザ）を撮影可能な方向に向けられている。また、その撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサである。そして、撮像素子は、光学系を通過した光学像を２次元の画像信号に変換する。

操作部３２、音声出力部３３、非接触通信部３４、プリンタ３５、撮像部３６は、図２に示すように制御部２３に接続されている。

［サーバ装置２の構成］
図４は、サーバ装置２の主制御構成を示すブロック図である。サーバ装置２は、ユーザに適したコンテンツを選定する装置であり、図４に示すように、制御部２０１、記憶部２０２、通信部２０３等を備えて構成されている。

制御部２０１は、記憶部２０２のプログラム記憶部２２１に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部２０１は、記憶部２０２のプログラム記憶部２２１に記憶されているプログラムとの協働により、操作情報分析処理を始めとする各種処理を実行する。

記憶部２０２は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部２０２には、図４に示すように、プログラム記憶部２２１が設けられている。プログラム記憶部２２１には、制御部２０１で実行されるシステムプログラム、操作情報分析処理を始めとする各種処理プログラム、これらのプログラムの実行に必要なデータ等が記憶されている。

また、記憶部２０２には、操作情報記憶部２２２、適合コンテンツ情報記憶部２２３が設けられている。

図５に、操作情報記憶部２２２のデータ格納例を示す。図５に示すように、操作情報記憶部２２２には、「日時」、「装置ＮＯ．」、「ユーザの特徴」、「再生コンテンツ」、「操作の種類」等の項目が設けられており、デジタルサイネージ装置１において操作が行われたときの操作したユーザの特徴、操作時に再生していたコンテンツを特定する情報、操作の種類等の操作情報を対応付けて記憶する。
ここで、「日時」は、操作が行われた日時である。「装置ＮＯ．」は、操作が行われたデジタルサイネージ装置１を識別するための識別番号である。「ユーザの特徴」は、操作を行ったユーザの特徴を示す情報であり、ここでは、性別及び推定年齢とする。「再生コンテンツ」は、どのコンテンツの再生中に操作が行われたかを特定する情報（例えば、操作が行われたときのコンテンツの識別情報や再生開始からの時間）等である。「操作の種類」は、例えば、ボタン操作（操作されたボタン番号）、ＩＣカード３をかざす操作、携帯端末４をかざす操作等である。

適合コンテンツ情報記憶部２２３は、ユーザの特徴（ここでは、性別及び年齢）と、その特徴を有するユーザに適したコンテンツの識別情報等を対応付けて記憶する。

通信部２０３は、モデム、ルータ、ネットワークカード等により構成され、通信ネットワークＮに接続された外部機器との通信を行う。

［コンテンツ出力システム１００の動作］
次に、コンテンツ出力システム１００の動作について説明する。

コンテンツ出力システム１００においては、まず、所定期間の或いは所定数の操作情報が操作情報記憶部２２２に蓄積されるまでの間、デジタルサイネージ装置１において操作情報記録処理（図６参照）を実行し、操作情報の蓄積を行う。所定期間の或いは所定数の操作情報が操作情報記憶部２２２に記憶されると、サーバ装置２において操作情報分析処理を実行し、操作情報記憶部２２２に蓄積された操作情報に基づいてユーザの特徴毎の嗜好や操作の種類の傾向を分析して、その分析結果に基づいてユーザの特徴毎に適合するコンテンツを選定又は作成する。そして、ユーザの特徴毎に適合するコンテンツの識別情報を適合コンテンツ情報記憶部２２３に記憶する。その後、デジタルサイネージ装置１においては、コンテンツ出力制御処理（図７参照）を行って、ユーザに適合するコンテンツを出力しつつ、更なる操作情報の蓄積を行う。サーバ装置２は、所定期間の或いは所定数の操作情報が操作情報記憶部２２２に記憶される毎に、操作情報分析処理を実行し、操作情報記憶部２２２に蓄積された操作情報に基づいて分析を行い、適合コンテンツの情報を更新する。以下、各装置において実行される処理について説明する。

（操作情報記録処理）
図６に、デジタルサイネージ装置１において実行される操作情報記録処理のフローチャートを示す。操作情報記録処理は、所定期間の或いは所定数の操作情報が蓄積されるまでの期間内においてデジタルサイネージ装置１の電源がＯＮの間、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、画像形成部２７及び音声出力部３３によりコンテンツを出力させる（ステップＳ１）。例えば、制御部２３は、コンテンツ記憶部２５２から順次コンテンツのコンテンツデータを読み出し、そのフレーム画像を順次プロジェクタ２４に出力してプロジェクタ２４により画像形成部２７に投影させる。また、読み出したコンテンツデータの音声データを音声出力部３３に出力し、コンテンツの音声を出力させる。なお、ステップＳ２以降においてもコンテンツの出力は続行される。

ここで出力されるコンテンツは、例えば、店舗で取り扱っている商品に係る広告等のコンテンツである。コンテンツの中では、例えば、ユーザの操作に応じてコンテンツで説明している商品の割引クーポンが当たるくじ引きや、商品の売場案内の表示、商品カタログのホームページのＵＲＬのダウンロード等を行うことができる。また、ユーザ操作（ここでは、操作部３２のボタン操作）に応じて、他の商品のコンテンツに切り替えることができる。

即ち、コンテンツに対するユーザ操作及び操作された時に出力されていたコンテンツを特定する情報をユーザの特徴毎に蓄積すれば、ユーザの特徴毎に、所望する商品の傾向（嗜好の傾向）を取得することが可能である。例えば、くじ引き、売場案内の表示、ダウンロード等を指示する操作は、その操作が行われた時に出力されていたコンテンツで説明されている商品にユーザが興味を持っているとみなすことができる。また、他のコンテンツに切り替える操作は、切り替え先のコンテンツにユーザが興味を持っているとみなすことができる。

また、ここで出力されるコンテンツでは、複数種類の操作手段が用意されている。例えば、くじ引きにより割引クーポンを取得する操作としては、（１）操作ボタンを押下して、紙のクーポンを発行、（２）ＩＣカード３を非接触通信部３４にかざしてＩＣカード３にクーポン情報を書き込み、（３）携帯端末４のアプリを立ち上げ非接触通信部３４にかざして携帯端末４にクーポン情報を書き込み、の３つの操作手段が用意されている。そこで、コンテンツに対するユーザ操作の種類をユーザの特徴毎に蓄積すれば、ユーザの特徴毎にどのような種類の操作が多く用いられているかの情報を取得することができる。

次いで、制御部２３は、撮像部３６により撮影を行わせて撮影画像を取得し（ステップＳ２）、取得した撮影画像に対して顔認識処理を行う（ステップＳ３）。そして、撮影画像から顔が検出されたか否かを判断する（ステップＳ４）。顔認識処理は、目、鼻、口等の特徴に基づく公知の画像処理技術を用いて行うことができる。

撮影画像から顔が検出されなかったと判断した場合（ステップＳ４；ＮＯ）、制御部２３は、ステップＳ１に戻り、コンテンツの出力中において所定時間間隔で撮像部３６により撮影を行わせる。

撮影画像から顔が検出されたと判断した場合（ステップＳ４；ＹＥＳ）、制御部２３は、ユーザが検出されたと判断し、撮影画像から検出された顔画像から、デジタルサイネージ装置１の前に来たユーザの特徴（具体的には、年齢、性別）を抽出し、抽出されたユーザの特徴を顔領域（位置及びサイズ）に対応付けてメモリの所定領域に記憶（上書き）する（ステップＳ５）。なお、ユーザの年齢及び性別の抽出は、例えば、顔画像から抽出した顔の輪郭やパーツの特徴に基づいて年齢や性別を推定する手法等、公知の何れの画像処理技術を用いて行ってもよい。撮影画像から複数の顔が検出された場合は、それぞれの顔画像から特徴の抽出を行う。

次いで、制御部２３は、ユーザ操作が検出されたか否かを判断する（ステップＳ６）。ここでは、操作部３２の何れかの操作ボタンの操作、ＩＣカード３をかざす操作、携帯端末４をかざす操作、の何れかが検出されたか否かを判断する。ＩＣカード３や携帯端末４をかざす操作が検出されたか否かは、非接触通信部３４の通信エリア内にＩＣカード３や携帯端末４が検出されたか否かに基づいて判断する。

ユーザ操作が検出されていないと判断した場合（ステップＳ６；ＮＯ）、制御部２３は、ステップＳ１に戻る。

ユーザ操作が検出されたと判断した場合（ステップＳ６；ＹＥＳ）、制御部２３は、計時部３０により現在日時（操作日時）を取得し、操作したユーザを推定する（ステップＳ７）。具体的には、ステップＳ４において検出された顔が１つである場合は、その顔のユーザが操作したユーザであると推定する。ステップＳ４において検出された顔が複数である場合は、顔領域が最も大きいユーザが操作したユーザであると推定する。

そして、制御部２３は、操作日時、自装置の装置ＮＯ.、メモリに記憶されている操作したユーザの特徴、操作時に再生されていたコンテンツを特定する情報、及び操作の種類（ボタン操作（操作されたボタン番号）、ＩＣカードをかざす操作、携帯端末をかざす操作）を対応付けて操作情報として通信部２６によりサーバ装置２に送信して操作情報記憶部２２２に記憶させ（ステップＳ８）、ステップＳ１に戻る。

制御部２３は、デジタルサイネージ装置１の電源がＯＮである間、ステップＳ１〜ステップＳ８を繰り返し実行する。

サーバ装置２の制御部２０１は、通信部２０３によりデジタルサイネージ装置１から操作情報を受信すると、受信した操作情報を操作情報記憶部２２２に記憶する。

（操作情報分析処理）
所定期間の或いは所定数の操作情報が操作情報記憶部２２２に記憶されると、サーバ装置２の制御部２０１は、操作情報分析処理を実行し、分析手段として操作情報記憶部２２２に蓄積された操作情報に基づいてユーザの特徴毎の嗜好や操作の種類の傾向を分析し、ユーザの特徴毎に適合するコンテンツの傾向を取得する。操作の種類の傾向としては、例えば、ユーザの特徴毎に、最も多く用いられていると判定された操作の種類を分析する。そして、分析結果に基づいて、ユーザの特徴毎に適合するコンテンツを既に用意されたコンテンツの中から選定するか、又はユーザの特徴毎に適合するコンテンツを新たに生成し、ユーザの特徴とそのコンテンツの識別情報とを対応付けて適合コンテンツ情報記憶部２２３に記憶する。新たにコンテンツが生成された場合は、コンテンツの識別情報とコンテンツデータとを対応付けてデジタルサイネージ装置１に送信し、コンテンツ記憶部２５２に記憶させる。

ここで、上述のように、サーバ装置２においては、操作情報記憶部２２２に蓄積された操作情報に基づいて、ユーザの特徴毎に、例えば、所望する商品の傾向（嗜好の傾向）及び操作の種類の傾向を分析して取得することができる。そこで、本実施形態においては、サーバ装置２の制御部２０１は、操作情報記憶部２２２に蓄積された操作情報に基づいて、ユーザの特徴毎に、その特徴を有するユーザの嗜好に適合する商品についてのコンテンツであって、その特徴を有するユーザに最も多く用いられている操作の種類の操作案内が表示されるコンテンツを適合コンテンツとして、その識別情報をユーザの特徴に対応付けて適合コンテンツ情報記憶部２２３に記憶する。
なお、サーバ装置２の制御部２０１は、操作情報分析処理が終了すると、通信部２０３によりデジタルサイネージ装置１にその旨を通知する。

（コンテンツ出力制御処理）
サーバ装置２において、上述の操作情報記録処理によりユーザの特徴毎に適合するコンテンツの識別情報が適合コンテンツ情報記憶部２２３に記憶されると、デジタルサイネージ装置１はの制御部２３は、コンテンツ出力制御処理（図７参照）を行って、ユーザに適合するコンテンツを出力しつつ、更なる操作情報の蓄積を行う。

図７に、デジタルサイネージ装置１において実行されるコンテンツ出力制御処理のフローチャートを示す。コンテンツ出力制御処理は、デジタルサイネージ装置１の電源がＯＮの間、制御部２３とプログラム記憶部２５１に記憶されているプログラムとの協働により実行される。

まず、制御部２３は、画像形成部２７及び音声出力部３３によりコンテンツを出力させる（ステップＳ１１）。例えば、制御部２３は、コンテンツ記憶部２５２から順次コンテンツのコンテンツデータを読み出して画像形成部２７及び音声出力部３３により出力させる。なお、ステップＳ１２以降においてもコンテンツの出力は続行される。

次いで、制御部２３は、撮像部３６により撮影を行わせて撮影画像を取得し（ステップＳ１２）、取得した撮影画像に対して顔認識処理を行う（ステップＳ１３）。そして、撮影画像から顔が検出されたか否かを判断する（ステップＳ１４）。

撮影画像から顔が検出されなかったと判断した場合（ステップＳ１４；ＮＯ）、制御部２３は、ステップＳ１１に戻り、コンテンツの出力中において所定時間間隔で撮像部３６により撮影を行わせる。

撮影画像から顔が検出されたと判断した場合（ステップＳ１４；ＹＥＳ）、制御部２３は、新たにユーザが検出されたと判断し、撮影画像から検出された顔画像から、デジタルサイネージ装置１の前に来たユーザの特徴（具体的には、年齢、性別）を抽出し、抽出されたユーザの特徴を顔領域に対応付けてメモリの所定領域に記憶（上書き）する（ステップＳ１５）。なお、撮影画像から複数の顔が検出された場合は、最も大きい顔領域、即ち、最もデジタルサイネージ装置１の近くにいるユーザの顔画像からユーザの特徴を抽出する。

そして、制御部２３は、通信部２６によりサーバ装置２にユーザの特徴の情報を送信してコンテンツの選定を依頼する（ステップＳ１６）。

サーバ装置２において、制御部２０１は、通信部２０３により操作情報を受信すると、適合コンテンツ情報記憶部２２３を参照し、受信したユーザの特徴に対応付けて記憶されている識別情報のコンテンツをユーザに適合したコンテンツとして選定する。ここでユーザに適合したコンテンツとは、操作情報記憶部２２２に蓄積されている、受信にしたユーザの特徴に紐づいている操作情報に基づいたコンテンツである。例えば、女性３０代が携帯端末で最も操作を行っている場合、携帯端末で操作することをメインとするコンテンツを選定する。そして、選定したコンテンツの識別情報を通信部２０３によりデジタルサイネージ装置１に送信する。

デジタルサイネージ装置１においては、通信部２６によりサーバ装置２からの選定されたコンテンツの識別情報の受信を待機する（ステップＳ１７）。
通信部２６によりサーバ装置２からの選定されたコンテンツの識別情報を受信すると（ステップＳ１７；ＹＥＳ）、制御部２３は、ステップＳ１５で抽出した特徴と同じ特徴のユーザが検出されたか否かを判断する（ステップＳ１８）。具体的には、ステップＳ１１〜ステップＳ１５で説明したものと同様の処理を再度行って、抽出された特徴がメモリに記憶されている特徴と一致している場合に、ステップＳ１５で抽出した特徴と同じ特徴のユーザが検出されたと判断する。

ステップＳ１５で抽出した特徴と同じ特徴のユーザが検出されたと判断した場合（ステップＳ１８；ＹＥＳ）、制御部２３は、サーバ装置２において選定されたコンテンツを画像形成部２７及び音声出力部３３により出力させる（ステップＳ１９）。

次いで、制御部２３は、ユーザ操作が検出されたか否かを判断する（ステップＳ２０）。ここでは、操作部３２の何れかの操作ボタンの操作、ＩＣカード３をかざす操作、携帯端末４をかざす操作、の何れかが検出されたか否かを判断する。

ユーザ操作が検出されていないと判断した場合（ステップＳ２０；ＮＯ）、制御部２３は、ステップＳ１８に戻る。
ユーザ操作が検出されたと判断した場合（ステップＳ２０；ＹＥＳ）、制御部２３は、計時部３０により現在日時（操作日時）を取得し、メモリにその特徴が記憶されているユーザ（撮影画像中で最も顔領域の大きいユーザ）を操作したユーザと推定する（ステップＳ２１）。そして、制御部２３は、操作日時、自装置の装置ＮＯ.、メモリに記憶されている操作したユーザの特徴、操作時に再生されていたコンテンツを特定する情報、及び操作の種類（ボタン操作（操作されたボタン番号）、ＩＣカードをかざす操作、携帯端末をかざす操作）を対応付けて操作情報として通信部２６によりサーバ装置２に送信し（ステップＳ２２）、ステップＳ１８に戻る。

サーバ装置２の制御部２０１は、通信部２０３によりデジタルサイネージ装置１から操作情報を受信すると、受信した操作情報を操作情報記憶部２２２に記憶する。

一方、ステップＳ１８において、ステップＳ１５で抽出した特徴と同じ特徴のユーザが検出されていないと判断した場合（ステップＳ１８；ＮＯ）、制御部２３は、ステップＳ１１に戻る。

制御部２３は、デジタルサイネージ装置１の電源がＯＮである間、ステップＳ１１〜ステップＳ２２の処理を繰り返し実行する。

このように、コンテンツ出力システム１００においては、デジタルサイネージ装置１の前にいるユーザの特徴に応じて、ユーザの嗜好に合った商品についてのコンテンツであって、ユーザに適した操作の種類の操作案内を出力するコンテンツを選定して出力する。従って、ユーザの嗜好に応じた利便性の高いコンテンツを提供することが可能となる。

所定期間の或いは所定数の操作情報が操作情報記憶部２２２に記憶されると、サーバ装置２の制御部２０１は、上述の操作情報分析処理を実行し、適合コンテンツ情報記憶部２２３に記憶されている内容やコンテンツ記憶部２５２に記憶されているコンテンツデータの更新を行う。

以上説明したように、本実施形態におけるデジタルサイネージ装置１によれば、制御部２３は、ユーザにより行われた操作の種類を検出し、操作したユーザの特徴と操作の種類とを対応付けてサーバ装置２の操作情報記憶部２２２に記憶させる。

従って、ユーザの特徴毎に操作の種類の傾向を取得することが可能となるので、ユーザに適した操作の種類を把握することが可能となる。

ユーザによる操作の種類には、ボタン操作、カードをかざす操作、携帯端末をかざす操作が含まれるので、ユーザに適した操作の種類がボタン操作なのか、カードをかざす操作なのか、携帯端末をかざす操作なのか等を把握することが可能となる。

また、サーバ装置２の制御部２０１は、操作情報記憶部２２２において互いに対応付けて記憶されているユーザの特徴及び操作の種類に基づいて、ユーザの特徴毎に、当該特徴を有するユーザに最も多く用いられている操作の種類の傾向を分析し、この傾向に応じた適合コンテンツ（具体的には、最も多く用いられている操作の種類の操作案内を行うコンテンツ）の識別情報をユーザの特徴に対応付けて適合コンテンツ情報記憶部２２３に記憶する。デジタルサイネージ装置１の制御部２３は、新たにユーザを検出してその特徴を抽出した場合に、出力されているコンテンツを、抽出した特徴に対応するコンテンツに切り替える。
従って、ユーザに適した操作の種類の操作案内を行うコンテンツを出力するので、ユーザの利便性を向上させることができる。

また、操作情報記憶部２２２には、操作したユーザの特徴と、操作の種類と、操作が検出されたときに出力されていたコンテンツを特定する情報とを対応付けて記憶するので、ユーザの特徴毎に、興味を持ったコンテンツ、即ち嗜好の傾向を把握することが可能となる。

ユーザの特徴は、ユーザの撮影画像を撮像部３６により取得し、取得した撮影画像に顔認識処理を行い、認識した顔画像に基づいて抽出することができる。

また、顔認識処理により複数の顔画像が認識された場合に、認識された顔画像のうち最も大きい顔画像を操作したユーザの顔画像と推定するので、操作したユーザを容易に推定することができる。

また、ユーザの特徴としてユーザの性別及び年齢を抽出することで、性別及び年齢別に操作の種類の傾向を取得することが可能となるので、ユーザの性別や年齢に適した操作の種類を把握し、ユーザの性別や年齢に適した操作の種類の操作案内を出力するコンテンツを出力することが可能となる。

なお、上記実施形態における記述内容は、本発明に係るコンテンツ出力システム及びデジタルサイネージ装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、撮影画像からのユーザの検出及びユーザの特徴の抽出をデジタルサイネージ装置１において行うこととしたが、サーバ装置２で行うこととしてもよい。そして、デジタルサイネージ装置１において操作が行われ、操作日時、装置ＮＯ．、操作の種類及び操作時に再生されていたコンテンツの情報がサーバ装置２に送信されると、サーバ装置２の制御部２３は、直前に抽出された操作したユーザの特徴を受信した情報に対応付けて操作情報記憶部２２２に記憶し、操作したユーザに適合するコンテンツを選定することとしてもよい。

また、上記実施形態においては、操作情報記憶部２２２及び適合コンテンツ情報記憶部２２３をサーバ装置２に設け、サーバ装置２において操作情報の記憶を行ったり、蓄積された操作情報に基づく分析を行ったり、ユーザに適合するコンテンツを選定したりする場合を例にとり説明したが、操作情報記憶部２２２及び適合コンテンツ情報記憶部２２３をデジタルサイネージ装置１の記憶部２５に設け、サーバ装置２で行った処理についてもデジタルサイネージ装置１の制御部２３により行うこととしてもよい。

また、上記実施形態においては、コンテンツ出力制御処理において、ユーザを検出した際にユーザの特徴を抽出してこの特徴に適合したコンテンツを選定して出力することとして説明したが、ユーザ操作が検出された際に、操作したユーザの特徴に適合したコンテンツを選定して出力することとしてもよい。

また、上記実施形態においては、コンテンツを予めデジタルサイネージ装置１に記憶しておき、記憶されているコンテンツの中から検出されたユーザの特徴に適合するコンテンツを選定することとしたが、ユーザの特徴に適合するコンテンツをサーバ装置２からその場でネット配信することとしてもよい。

また、上記実施形態においては、操作の種類を、ボタン操作、ＩＣカードをかざす操作、携帯端末をかざす操作の３種類としたが、操作の種類はこれらに限定されるものではない。例えば、デジタルサイネージ装置１からの質問に対して音声で応答を入力する対話型操作や、デジタルサイネージ装置１の前での動作（例えば、手の動き等）で操作入力を行うアクション操作等を含めることとしてもよい。また、この場合、対話の内容（回答）やアクションの内容を併せて操作情報に記憶する。

また、上記実施形態においては、顔画像からユーザの特徴として性別及び年齢を取得する場合を例にとり説明したが、ユーザの特徴としては、これに限定されない。例えば、人種、操作者の表情（笑っているか等）、メガネの有無、服装等をユーザの特徴として取得してもよい。これにより、よりきめ細かくユーザの特徴を分類し、より一層ユーザに適合したコンテンツを選定することができる。また、操作情報記憶部２２２に記憶されている操作情報のマーケティングデータとしての価値を向上させることができる。

また、上記実施形態においては、操作者と推定されたユーザの特徴のみを操作情報に含めて記憶することとしたが、撮影画像に顔画像が複数存在する場合、他の顔画像の人数（一緒にコンテンツを見ていた人数）やそれぞれのユーザの特徴を操作情報に対応付けて記憶することとしてもよい。これにより操作情報記憶部２２２に記憶されている操作情報のマーケティングデータとしての価値を更に向上させることができる。

また、例えば、店舗の会員登録時等に個人情報とともに登録されたユーザの顔画像をデジタルサイネージ装置１又はサーバ装置２のデータベースに記憶している場合、撮影画像から得られたユーザの顔画像とデータベースの顧客の顔画像とを照合することによりユーザの個人を特定してもよい。そして、特定したユーザのユーザＩＤ等に対応付けて操作情報を記憶しておけば、操作情報に基づいてユーザ個人の嗜好や操作の種類の傾向を取得することができ、ユーザ個人に適したコンテンツの選定が可能となる。また、所定時間毎に撮影を行ってそのユーザが笑顔になった時点のコンテンツの内容や位置を記憶しておけば、そのユーザがコンテンツのどこに反応したのかを明確にすることができ、マーケティングに役立てることができる。

また、上記実施形態においては、撮影画像から抽出された操作者の顔画像は特に利用せずに破棄しているが、目的に応じて操作情報に対応付けて記憶することとしてもよい。顔画像のデータを毎回記憶していくと、記憶すべきデータ量が大量となるという問題があるが、例えば、犯罪防止用の監視カメラの機能も兼ねるという目的で使用するのであれば顔画像も併せて記憶してもよい。

また、上記実施形態においては、画像形成部２７が人型である場合を例にとり説明したが、他の形状としてもよく、これに限定されるものではない。

また、上記実施形態においては、本発明をプロジェクタからスクリーンに画像を投影することで画像の表示を行うデジタルサイネージ装置に適用した場合を例にとり説明したが、例えば、液晶ディスプレイ、プラズマディスプレイ等、他の表示装置を有するコンテンツ出力装置に適用しても同様の効果を奏することができ、この例に限定されない。

その他、コンテンツ出力システム及びデジタルサイネージ装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
ユーザを検出し、当該ユーザの特徴を抽出する抽出手段と、
前記ユーザにより行われた操作の種類を検出する検出手段と、
前記抽出手段により抽出された操作したユーザの特徴と前記検出手段により検出された前記ユーザによる操作の種類とを対応付けて記憶する記憶手段と、
を備える情報処理装置。
＜請求項２＞
前記ユーザによる操作の種類には、ボタン操作、カードをかざす操作、携帯端末をかざす操作が含まれる請求項１に記載の情報処理装置。
＜請求項３＞
コンテンツを出力する出力手段と、
前記抽出手段が新たにユーザを検出してその特徴を抽出した場合に、前記出力手段により出力されているコンテンツを前記記憶手段において前記抽出された特徴に対応付けて記憶されている操作の種類に基づくコンテンツに切り替える出力制御手段と、
を備える請求項１又は２に記載の情報処理装置。
＜請求項４＞
前記記憶手段において互いに対応付けて記憶されているユーザの特徴及び操作の種類に基づいて、ユーザの特徴毎に、当該特徴を有するユーザに最も多く用いられている操作の種類を分析する分析手段を備え、
前記出力制御手段は、前記抽出手段が新たにユーザを検出してその特徴を抽出した場合に、前記出力手段により出力されているコンテンツを、前記分析手段により前記抽出された特徴を有するユーザに最も多く用いられていると判定された操作の種類の操作案内を行うコンテンツに切り替える請求項３に記載の情報処理装置。
＜請求項５＞
前記記憶手段は、前記抽出手段により抽出された操作したユーザの特徴と、前記検出手段により検出された前記ユーザによる操作の種類と、前記ユーザによる操作が検出されたときに出力されていたコンテンツを特定する情報とを対応付けて記憶する請求項３又は４に記載の情報処理装置。
＜請求項６＞
前記抽出手段は、ユーザの撮影画像を取得する撮像手段を有し、前記撮像手段により取得された撮影画像に顔認識処理を行い、認識した顔画像に基づいて、前記ユーザの特徴を抽出する請求項１〜５の何れか一項に記載の情報処理装置。
＜請求項７＞
前記顔認識処理により複数の顔画像が認識された場合に、認識された顔画像のうち最も大きい顔画像を操作したユーザの顔画像と推定する推定手段を備える請求項６に記載の情報処理装置。
＜請求項８＞
前記ユーザの特徴は、ユーザの性別及び年齢である請求項１〜７の何れか一項に記載の情報処理装置。
＜請求項９＞
ユーザを検出し、当該ユーザの特徴を抽出する工程と、
前記ユーザにより行われた操作の種類を検出する工程と、
前記抽出された操作したユーザの特徴と前記検出された前記ユーザによる操作の種類とを対応付けて記憶手段に記憶する工程と、
を含む情報処理方法。
＜請求項１０＞
コンピュータを、
ユーザを検出し、当該ユーザの特徴を抽出する抽出手段、
前記ユーザにより行われた操作の種類を検出する検出手段、
前記抽出手段により抽出された操作したユーザの特徴と前記検出手段により検出された前記ユーザによる操作の種類とを対応付けて記憶する記憶手段、
として機能させるためのプログラム。

１００ コンテンツ出力システム
１ デジタルサイネージ装置
２１ 投影部
２２ スクリーン部
２３ 制御部
２４ プロジェクタ
２５ 記憶部
２５１ プログラム記憶部
２５２ コンテンツ記憶部
２６ 通信部
２７ 画像形成部
２８ 台座
２９ 透光板
３２ 操作部
３３ 音声出力部
３４ 非接触通信部
２ サーバ装置
２０１ 制御部
２０２ 記憶部
２２１ プログラム記憶部
２２２ 操作情報記憶部
２２３ 適合コンテンツ情報記憶部
２０３ 通信部

Claims (10)

1. ユーザを検出し、当該ユーザの特徴を抽出する抽出手段と、
   前記ユーザにより行われた操作の種類を検出する検出手段と、
   前記抽出手段により抽出された操作したユーザの特徴と前記検出手段により検出された前記ユーザによる操作の種類とを対応付けて記憶する記憶手段と、
   を備える情報処理装置。
2. 前記ユーザによる操作の種類には、ボタン操作、カードをかざす操作、携帯端末をかざす操作が含まれる請求項１に記載の情報処理装置。
3. コンテンツを出力する出力手段と、
   前記抽出手段が新たにユーザを検出してその特徴を抽出した場合に、前記出力手段により出力されているコンテンツを前記記憶手段において前記抽出された特徴に対応付けて記憶されている操作の種類に基づくコンテンツに切り替える出力制御手段と、
   を備える請求項１又は２に記載の情報処理装置。
4. 前記記憶手段において互いに対応付けて記憶されているユーザの特徴及び操作の種類に基づいて、ユーザの特徴毎に、当該特徴を有するユーザに最も多く用いられている操作の種類を分析する分析手段を備え、
   前記出力制御手段は、前記抽出手段が新たにユーザを検出してその特徴を抽出した場合に、前記出力手段により出力されているコンテンツを、前記分析手段により前記抽出された特徴を有するユーザに最も多く用いられていると判定された操作の種類の操作案内を行うコンテンツに切り替える請求項３に記載の情報処理装置。
5. 前記記憶手段は、前記抽出手段により抽出された操作したユーザの特徴と、前記検出手段により検出された前記ユーザによる操作の種類と、前記ユーザによる操作が検出されたときに出力されていたコンテンツを特定する情報とを対応付けて記憶する請求項３又は４に記載の情報処理装置。
6. 前記抽出手段は、ユーザの撮影画像を取得する撮像手段を有し、前記撮像手段により取得された撮影画像に顔認識処理を行い、認識した顔画像に基づいて、前記ユーザの特徴を抽出する請求項１〜５の何れか一項に記載の情報処理装置。
7. 前記顔認識処理により複数の顔画像が認識された場合に、認識された顔画像のうち最も大きい顔画像を操作したユーザの顔画像と推定する推定手段を備える請求項６に記載の情報処理装置。
8. 前記ユーザの特徴は、ユーザの性別及び年齢である請求項１〜７の何れか一項に記載の情報処理装置。
9. ユーザを検出し、当該ユーザの特徴を抽出する工程と、
   前記ユーザにより行われた操作の種類を検出する工程と、
   前記抽出された操作したユーザの特徴と前記検出された前記ユーザによる操作の種類とを対応付けて記憶手段に記憶する工程と、
   を含む情報処理方法。
10. コンピュータを、
    ユーザを検出し、当該ユーザの特徴を抽出する抽出手段、
    前記ユーザにより行われた操作の種類を検出する検出手段、
    前記抽出手段により抽出された操作したユーザの特徴と前記検出手段により検出された前記ユーザによる操作の種類とを対応付けて記憶する記憶手段、
    として機能させるためのプログラム。

Images