JP2018055232A - コンテンツ提供装置、コンテンツ提供方法、及びプログラム - Google Patents

Abstract

【課題】 商品紹介エリアや展示会エリアなど、コンテンツ視聴者として個人、グループが混在するような場において、コンテンツ視聴者に適切なコンテンツを提供することを可能とする。【解決手段】 人物認識部２１は、ロボット２の周囲に存在する１以上の人物を認識し、認識した人物の情報を人物認識情報３０に記憶する。個人・グループ認識部２２は、人物認識情報３０を参照して、コンテンツの提供対象である１以上の「個人」及び／又は１以上の「グループ」を認識する。ジェスチャ認識部２４は、認識した「個人」及び／又は「グループ」に含まれる各人物のジェスチャを認識する。関心度取得部２５は、認識したジェスチャに基づいて、コンテンツに対する関心度のスコアを取得する。関心度反映部２６は、取得した関心度のスコアに基づいて、提供したコンテンツに対する関心度をコンテンツ関心度テーブル１００に反映する。【選択図】図４

Description

本発明は、コンテンツ提供装置、コンテンツ提供方法、及びプログラムに関し、特に、コンテンツ視聴者に応じて適切なコンテンツを提供することが可能なコンテンツ提供装置等に関する。

近年、人間と対話を行う対話型ロボットに関する研究や開発が盛んに進められている。ロボットが人とコミュニケーションを取りつつコンテンツを提供するものとして、ロボットの感情に適合するコンテンツを選択し、再生するものが提案されている（例えば、特許文献１）。特許文献１に記載されたコンテンツ再生システムでは、外部からの働きかけに応じて感情を変更して自律的に動作するロボット装置が、コンテンツ再生装置に感情情報を送信する。コンテンツ再生装置は、コンテンツに関する情報を記載したメタデータとロボット装置の感情情報とを比較し、ロボット装置の感情に適合するコンテンツを選択して再生することでロボット装置の感情を表現している。

しかしながら、特許文献１では、ロボット装置の感情に沿ったコンテンツを表示するのみであり、コンテンツに対してユーザが評価したり、コンテンツ再生時のユーザの反応を、再生するコンテンツに反映したりすることができない。

これに対し、特許文献２では、コンテンツに対するユーザの反応を容易に取得でき、ユーザ嗜好に合ったコンテンツを提供することが可能なコンテンツ提供システムが提案されている。具体的には、コンテンツを出力する出力部と、ユーザの挙動を検出するセンサから得られる情報に基づいて、前記ユーザの挙動の種類を判定する判定部と、前記出力部で出力されたコンテンツに対応する前記判定部による判定結果に基づいて、前記出力部がさらに出力するコンテンツを決定する、コンテンツ選択部とを備える。

特開２００５−１６９５６７号公報 特開２０１２−１５５６１６号公報

ところで、商品紹介エリアや展示会エリアなど多くの人が集まるようなエリアに設置されたロボットが、商品や展示物などのコンテンツを提供する場合、コンテンツの視聴者は単一の人物（個人）とは限らず、子ども連れの家族、カップル、…など複数人物からなるグループの場合がある。

この点、特許文献２のコンテンツ提供システムは、コンテンツに対する単一のユーザの動作情報からユーザの嗜好に合ったコンテンツを決定するものであるため、単一のユーザに対して適切なコンテンツを提供することは可能であるが、上記したように複数人物からなるグループがコンテンツ視聴者となる場合、適切なコンテンツを提供できない可能性があった。

本発明は、このような観点からなされたものであり、その目的とすることは、
商品紹介エリアや展示会エリアなど、コンテンツ視聴者として個人、グループが混在するような場において、コンテンツ視聴者に適切なコンテンツを提供することが可能な、コンテンツ提供装置、コンテンツ提供方法、及びプログラムを提供することである。

前述した課題を解決するための第１の発明は、コンテンツの提供対象である個人またはグループを認識する認識手段と、コンテンツを提供するコンテンツ提供手段と、前記コンテンツに対する前記個人または前記グループの関心度を取得する関心度取得手段と、取得した前記関心度を前記コンテンツに紐づけて記憶する記憶手段と、を備えることを特徴とするコンテンツ提供装置である。

また第１の発明において、前記関心度取得手段は、前記グループに含まれる各人物の関心度に基づいて、前記グループの関心度を取得することが望ましい。
例えば、前記関心度取得手段は、前記グループに含まれる各人物の関心度の平均値または最大値を、前記グループの関心度として取得することができる。
また、前記関心度取得手段は、前記グループに含まれる各人物の中から前記グループの代表者を選定し、選定した前記代表者の関心度を、前記グループの関心度として取得することができる。この場合、前記関心度取得手段は、前記グループに含まれる各人物の位置情報、属性情報、発話情報、又は滞留時間に基づいて、前記グループの代表者を選定することが望ましい。

また第１の発明において、前記個人または前記グループに含まれる各人物のジェスチャを認識するジェスチャ認識手段、を更に備え、前記関心度取得手段は、コンテンツの提供中において認識した前記ジェスチャに基づいて、前記関心度を取得することが望ましい。
また、前記関心度取得手段は、更にコンテンツの提供後において認識した前記ジェスチャに基づいて、前記関心度を取得するようにしてもよい。

また第１の発明において、前記記憶手段は、取得した前記関心度を、前記個人または前記グループの属性情報と紐づけて記憶することが望ましい。
また、前記コンテンツ提供手段は、新たな個人またはグループに対してコンテンツを提供する際、前記記憶手段を参照して、前記個人または前記グループの属性に対して関心度の高いコンテンツを選択し提供するようにしてもよい。

また第１の発明において、前記コンテンツ提供手段は、前記コンテンツの提供中に前記関心度取得手段により取得される前記コンテンツに対する関心度に応じて、提供するコンテンツを変えるようにしてもよい。

また第１の発明において、前記認識手段は、周囲の各人物の位置情報、認識時間、又は属性情報に基づいて、前記グループを認識するようにしてもよい。

第２の発明は、コンテンツの提供対象である個人またはグループを認識する認識ステップと、コンテンツを提供するコンテンツ提供ステップと、前記コンテンツに対する前記個人または前記グループの関心度を取得する関心度取得ステップと、取得した前記関心度を前記コンテンツに紐づけて記憶する記憶ステップと、
を含むことを特徴とするコンテンツ提供方法である。

第３の発明は、請求項１から請求項１１のいずれかに記載のコンテンツ提供装置として機能させることを特徴とするプログラムである。

本発明により、商品紹介エリアや展示会エリアなど、コンテンツ視聴者として個人、グループが混在するような場において、コンテンツ視聴者に適切なコンテンツを提供することが可能な、コンテンツ提供装置等が提供される。

コンテンツ提供システム１のシステム構成の一例を示す図 ロボット２の内部構成図 コンピュータ３の内部構成図 コンテンツ提供システム１（ロボット２）の機能構成図 人物認識情報３０を示す図 グループ認識情報４０を示す図 グループ属性テーブル５０を示す図 個人認識情報４５を示す図 個人属性テーブル５５を示す図 コンテンツリスト６０を示す図 ジェスチャテーブル７０を示す図 関心度算出テーブル８０を示す図 関心度履歴テーブル９０を示す図 コンテンツ関心度テーブル１００を示す図 ロボット２の動作を示すフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は、コンテンツ提供システム１のシステム構成の一例を示す図である。コンテンツ提供システム１は、本発明に係るコンテンツ提供装置の一形態であるロボット２、コンピュータ３、カメラ４、マイク５、及びディスプレイ６を備えて構成される。ロボット２、カメラ４、マイク５、及びディスプレイ６はコンピュータ３と通信接続され、コンピュータ３により各装置の動作が連携するよう制御される。ロボット２、カメラ４、マイク５、及びディスプレイ６とコンピュータ３との通信接続の形態は、有線、無線を問わない。

カメラ４は、周囲の映像データを取得する。カメラ４は、例えば、単独のカメラ、ステレオカメラ、距離センサ、或いはこれらを組み合わせた複合的なセンサである。なお、カメラ４に替えてロボット２に内蔵されるカメラ２１０を用いて映像データを取得することができる。この場合はカメラ４を省略してもよい。

マイク５は、周囲の音声データを取得する。マイク５は、例えば、単一のマイクロホン、或いは複数のマイクロホンから構成されるマイクロホンアレイである。マイク５についてもロボット２に内蔵されているマイク２１１を用いて音声データを取得することができる。この場合はマイク５を省略してもよい。

ディスプレイ６は、コンピュータ３によって制御され、コンテンツを表示する。ロボット２に搭載されている表示部２０４を用いて表示制御を行う場合や、ロボット２が音声のみでコンテンツを提供する場合はディスプレイ６を省略してもよい。

コンピュータ３は、カメラ４による映像データの取得、マイク５による音声データの取得、ディスプレイ６の表示制御を行う他、ロボット２の動作を制御する。

ロボット２は、例えば対話型のロボットである。ロボット２は、例えば、商品紹介エリアや展示会エリアに設置され、商品や展示物を紹介するコンテンツを提供する。
図２に示すように、ロボット２は、制御部２０１、記憶部２０２、入力部２０３、表示部２０４、メディア入出力部２０５、通信Ｉ／Ｆ２０６、可動部駆動機構２０７、周辺機器Ｉ／Ｆ部２０８、音声処理部２０９、カメラ２１０、マイク２１１、センサ２１２、スピーカ２１３がバス２２０を介して接続されて構成される。

制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部２０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２２０を介して接続された各部を駆動制御する。

制御部２０１のＣＰＵは、ロボット２による全処理を実行する。
ＲＯＭは、ロボット２のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。

記憶部２０２は、制御部２０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部２０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

また記憶部２０２は、後述する人物認識情報３０（図５）、グループ認識情報４０（図６）、グループ属性テーブル５０（図７）、個人認識情報４５（図８）、個人属性テーブル５５（図９）、コンテンツリスト６０（図１０）、ジェスチャテーブル７０（図１１）、関心度算出テーブル８０（図１２）、関心度履歴テーブル９０（図１３）、コンテンツ関心度テーブル１００（図１４）やコンテンツＤＢ１１０、発話ＤＢ１２０、アクションＤＢ１３０の各種データベースが記憶される。

入力部２０３は、例えばタッチパネル等の入力装置や各種操作ボタン等を含み、入力されたデータを制御部２０１へ出力する。
表示部２０４は、例えば液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、制御部２０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部２０３のタッチパネルは表示部２０４のディスプレイと一体的に構成される。

メディア入出力部２０５は、例えば、磁気ディスク、光ディスク、半導体メモリ等の記録媒体（メディア）等のドライブ装置であり、データの入出力を行う。

通信Ｉ／Ｆ２０６は、ネットワーク８との通信を媒介するインタフェースである。ネットワーク８は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク８との通信接続は有線、無線を問わない。ロボット２はネットワーク８を介してＷｅｂサーバにアクセスし、各種のプログラムやデータを送受信可能である。

可動部駆動機構２０７は、ロボット２の頭部、首、肩、腕、腰、脚等に設けられた可動部を駆動する機構及び駆動装置を含む。可動部駆動機構２０７の動作は制御部２０１により制御される。制御部２０１は記憶部２０２のアクションＤＢ１３０から可動部制御シーケンスを読み出し、各可動部駆動機構２０７に対して制御信号を送り、各駆動部を動作させる。

周辺機器Ｉ／Ｆ（インタフェース）部２０８は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を媒介する。周辺機器との接続形態は有線、無線を問わない。ロボット２は周辺機器Ｉ／Ｆ部２０８を介してコンピュータ３等と通信接続可能となる。

音声処理部２０９は、音声合成部、言語判別部、音声認識部等を含む。音声合成部は、制御部２０１からの指令に基づき、文字情報（テキストデータ）に対応する合成音声データを生成し、スピーカ２１３から合成音声を出力する。合成音声は、予め記憶部２０２の発話ＤＢ１２０（図４参照）に格納されている文字情報と音声データとの対応関係に基づいて生成される。

言語判別部は、入力された人物の音声データに対して、例えば、各言語による音素の種類、単語の音素配列パターン、韻律パターン、語彙などの違いを統計的にモデル化した言語判別モデルを用いて音声言語判別処理を実行することで、人物の発話言語を判別する。
音声認識部は、言語判別された音声データに対して、言語毎に用意された音声認識用の統計モデル（音響モデルおよび言語モデル）を用いて音声認識処理を実行することで、人物の発話内容を認識する。

カメラ２１０は、ロボット２に内蔵される、例えばＣＣＤ（Charge-Coupled Device）カメラ等の単独のカメラ、ステレオカメラ、距離センサ、或いはこれらを組み合わせた複合的なセンサであり、周囲の映像データを取得する。取得した映像データは制御部２０１に送られる。

マイク２１１は、ロボット２に内蔵される、例えば、単一のマイクロホン、或いは複数のマイクロホンから構成されるマイクロホンアレイであり、周囲の音声データを取得する。取得した音声データは制御部２０１に送られる。

センサ２１２は、３Ｄセンサ、タッチセンサ、ジャイロセンサ、ソナーセンサ、レーザセンサ、バンパーセンサ、赤外線センサ等のセンサを含む。各センサは検出した信号を制御部２０１に入力する。

スピーカ２１３は、音声処理部２０９の音声合成部により生成された合成音声を出力する。
バス２２０は、制御信号、データ信号等の授受を媒介する経路である。

コンピュータ３は、コンテンツ提供システム１全体の動作を制御する制御装置であり、カメラ４による映像データの取得、マイク５による音声データの取得、ディスプレイ６の表示制御を行う他、ロボット２の動作を制御する。

図３に示すように、コンピュータ３は、制御部３０１、記憶部３０２、メディア入出力部３０３、周辺機器Ｉ／Ｆ部３０４、入力部３０６、表示部３０７、通信Ｉ／Ｆ３０８がバス３０９を介して接続されて構成される。

制御部３０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される。ＣＰＵは、記憶部３０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３０９を介して接続された各部を駆動制御する。

制御部３０１のＣＰＵは、ロボット２が実行する処理（図１５）において、カメラ４による撮影制御やマイク５の音声取得制御やディスプレイ６の表示制御を行う。

ＲＯＭは、コンピュータ３のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部３０１が各種処理を行うために使用するワークエリアを備える。

記憶部３０２は、制御部３０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部３０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部３０３は、例えば、磁気ディスク、光ディスク、半導体メモリ等の記録媒体（メディア）等のドライブ装置であり、データの入出力を行う。

周辺機器Ｉ／Ｆ（インタフェース）部３０４は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部３０４を介して周辺機器とのデータの送受信を行う。周辺機器との接続形態は有線、無線を問わない。周辺機器Ｉ／Ｆ部３０４を介してコンピュータ３に、ロボット２、カメラ４、マイク５、及びディスプレイ６等を通信接続できる。

入力部３０６は、例えばキーボード、マウス、タッチパネル等の入力装置であり、入力されたデータを制御部３０１へ出力する。

表示部３０７は、例えば液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、制御部３０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部３０６のタッチパネルは表示部３０７のディスプレイと一体的に構成される。また、表示部３０７は外付けのディスプレイ６としてもよい。制御部３０１は表示部３０７またはディスプレイ６に対して表示情報を送り、表示させる。

通信Ｉ／Ｆ３０８は、ネットワーク８との通信を媒介するインタフェースである。コンピュータ３はネットワーク８上のＷｅｂサーバから各種のプログラムやデータを送受信可能である。
バス３０９は、制御信号、データ信号等の授受を媒介する経路である。

次に、図４を参照してコンテンツ提供システム１（ロボット２）の機能構成について説明する。

コンテンツ提供システム１（ロボット２）は、人物認識部２１、個人・グループ認識部２２、コンテンツ提供部２３、ジェスチャ認識部２４、関心度取得部２５、関心度反映部２６の各機能を備える。各機能の処理はプログラムによって実行される。このプログラムはロボット２の記憶部２０２またはコンピュータ３の記憶部３０２に予め記憶されものとしてもよいし、ネットワーク８を介してダウンロードしインストール可能なものとしてもよい。

人物認識部２１は、ロボット２の周囲に存在する１以上の人物を認識し、認識した人物の情報を人物認識情報３０（図５）に記憶する。
人物認識部２１は、図４に示すように、顔認識部２１Ａ、位置取得部２１Ｂ、認識時間取得部２１Ｃ、属性取得部２１Ｄ、の各機能を更に含む。

顔認識部２１Ａは、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により取得される映像データ中における１以上の人物の顔画像を認識（以下、顔認識）する。顔認識すると、顔認識した人物を一意に識別するＩＤを発行し、人物認識情報３０（図５参照）の人物ＩＤ３１に記憶する。

位置取得部２１Ｂは、顔認識部２１Ａにより顔認識した顔画像をトラッキング（追跡）し、顔の位置情報を取得し、人物認識情報３０のトラッキング位置３２に人物ＩＤ３１と紐づけて記憶する。人物が移動すると、このトラッキング位置３２も常時更新される。

認識時間取得部２１Ｃは、顔認識部２１Ａにより顔認識した時間（認識時間）を取得し、人物認識情報３０の認識時間３３に人物ＩＤ３１と紐づけて記憶する。

属性取得部２１Ｄは、顔認識部２１Ａにより顔認識した各人物の属性情報を取得する。属性情報とは、例えば人物の年齢（年代）、性別等である。属性取得部２１Ｄは、公知の画像処理技術（例えば、特開２０１２−０５３８１３等）を用いて、各人物の顔画像から属性情報を取得し、人物認識情報３０の人物属性３４に人物ＩＤ３１と紐づけて記憶する。

なお、人物認識部２１は、顔認識部２１Ａにより顔認識した人物が、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により取得される映像データからフレームアウトすると、人物認識部２１は、当該人物の認識情報を人物認識情報３０から削除する。すなわち、人物認識情報３０（図５）には、ロボット２が現在認識している周囲の人物の情報のみが記憶されているようにする。

個人・グループ認識部２２は、人物認識情報３０を参照して、コンテンツの提供対象（コンテンツ視聴者）となる１以上の「個人」及び／又は１以上の「グループ」を認識する。
「グループ」とは、少なくとも複数の人物から構成され、かつ、人物同士の間に何らかの物理的な関係（位置が近いなど）や属性的な関係（子ども連れ家族、カップルなど）が存在する場合をいう。「個人」とは、どの人物ともグループを形成しない単一の人物のことをいう。

個人・グループ認識部２２は、以下のように、人物認識情報３０（図５）の（１）トラッキング位置３２、（２）認識時間３３、（３）人物属性３４などに基づいて１以上のグループを認識する。

（１）トラッキング位置３２
各人物のトラッキング位置３２に基づいて人物間の距離を算出し、距離が近い人物同士をグループとして認識する。
（２）認識時間３３
各人物の認識時間３３が近い人物同士をグループとして認識する。
（３）人物属性３４
各人物の人物属性３４に基づいて年齢（年代）・性別などの属性が近い人物同士をグループとして認識する。

個人・グループ認識部２２は、上記（１）（２）（３）のいずれか或いは複数の情報に基づいて１以上のグループを認識し、認識したグループの情報を、グループ認識情報４０（図６参照）に記憶する。

図６はグループ認識情報４０の例を示す。グループ認識情報４０は、認識したグループを一意に識別するグループＩＤ４１と、グループに属する各人物の人物ＩＤ３１を保持する人物ＩＤリスト４２と、グループの属性（グループ属性）を一意に識別するグループ属性ＩＤ４３と、を対応づけて保持する。

図６の場合、個人・グループ認識部２２が、人物認識情報３０（図５）から２つのグループ（グループＩＤ４１が「Ｇ１」と「Ｇ２」のグループ）を認識したことを示す。
グループＩＤ４１（「Ｇ１」）のグループは、人物ＩＤ３１が「Ｐ１」、「Ｐ２」、「Ｐ３」の人物から構成されるグループであり、グループ属性はグループ属性ＩＤ「Ａ１」の“子ども連れ家族”である。
また、グループＩＤ４１（「Ｇ２」）のグループは、人物ＩＤが「Ｐ４」、「Ｐ５」の人物から構成されグループであり、グループ属性はグループ属性ＩＤ「Ａ２」の“２０代カップル”である。

なおグループ属性は、以下に示すように、グループ属性テーブル５０を参照することで決定される。
図７は、グループ属性を決定する際に参照されるグループ属性テーブル５０を示す。
グループ属性テーブル５０は、グループ属性を一意に識別するグループ属性ＩＤ４３と、グループ属性の内容を示すグループ属性５２と、グループ属性の諸条件を示すグループ条件５３と、を対応付けて保持する。

個人・グループ認識部２２は、グループに含まれる各人物のトラッキング位置３２、認識時間３３、人物属性３４などを参照し、各グループ属性のグループ条件５３を満たしているか否かを判断する。いずれかのグループ属性のグループ条件５３を満たしている場合、当該グループ属性に係るグループ属性ＩＤ４３を、グループ認識情報４０に設定する。

例えば、図６のグループＩＤ４１「Ｇ１」のグループの場合、人物ＩＤ３１が「Ｐ１」の人物が「男性（４２歳）」、人物ＩＤ３１が「Ｐ３」の人物が「女性（４２歳）」（図５参照）であるため、グループ属性ＩＤ４３「Ａ１」（“子ども連れ家族”）のグループ条件５３の条件（１）“男性一人、及び／又は、女性一人”を満たす。

また、人物ＩＤ３１が「Ｐ２」の人物が「男の子（１０歳）」（図５参照）であるため、条件（２）“条件（１）の人物より年の離れた男の子一人以上、及び／又は、女の子一人以上”を満たす。

また、「Ｐ１」〜「Ｐ３」の各人物のトラッキング位置３２に基づいて人物同士が互いに近くに存在すると判断された場合、条件（３）を満たす。図６の場合には、条件（１）〜条件（３）の全ての条件を満たしたため、グループ認識情報４０のグループ属性ＩＤ４３に「Ａ１」（“子ども連れ家族”）と設定されている。

一方、個人・グループ認識部２２は、人物認識情報３０（図５）に単一人物の認識情報のみが存在する場合（人物認識部２１により単一人物のみ顔認識された場合）や、人物認識情報３０（図５）の人物の中でグループとして認識されなかった人物を「個人」として認識する。

図８は、個人認識情報４５の例を示す。個人認識情報４５は、認識した個人を一意に識別する個人ＩＤ４６と、認識した個人に相当する人物ＩＤ３１と、個人の属性（個人属性）を一意に識別する個人属性ＩＤ４７と、を対応付けて保持する。

個人属性とは、認識した個人（人物）を、年齢（年代）、性別等でカテゴリー分けする情報である。
個人・グループ認識部２２は、個人属性テーブル５５（図９）を参照することで、個人属性を決定する。なお個人属性として図５の人物属性３４を用いてもかまわない。

コンテンツ提供部２３は、ロボット２によるコンテンツの提供を実行する。コンテンツ提供部２３は、記憶部２０２に記憶されているコンテンツリスト６０を参照し、ランダムに、或いは予め決められた順番でコンテンツＤＢ１１０からコンテンツを読み出し提供する。また、コンテンツ提供部２３は、コンテンツ視聴者の属性を取得し、コンテンツ関心度テーブル１００（図１４）を参照して、コンテンツ視聴者の属性に関心度が高いコンテンツを選択し、提供するようにしてもよい。

図１０は、記憶部２０２に格納されているコンテンツリスト６０を示す。図に示すように、コンテンツリスト６０は、コンテンツを一意に識別するコンテンツＩＤ６１と、記憶部２０２（コンテンツＤＢ１１０）におけるコンテンツデータの格納先の情報を示すコンテンツ格納先６２と、を対応付けて保持する。

コンテンツデータは、例えば、映像データ、音声データ、テキストデータ、動作データ、或いはこれらデータの任意の組み合わせである。
コンテンツデータが映像データの場合、ロボット２の表示部２０４やディスプレイ６に映像を表示させる。コンテンツデータが音声データの場合、ロボット２のスピーカ２１３から音声出力させる。コンテンツデータがテキストデータの場合、音声処理部２０９が、発話ＤＢ１２０を参照してテキストデータに対応する合成音声を生成し、スピーカ２１３から音声出力させる。或いは、ロボット２の表示部２０４やディスプレイ６にテキストデータを表示させる。コンテンツデータが動作データの場合、動作データに含まれる各アクションに対応した可動部制御シーケンスをアクションＤＢ１３０から読み出し、可動部駆動機構２０７に対して制御信号を送り、各駆動部を動作させる。

発話ＤＢ１２０は、テキストデータ（文字情報）と音声データとが対応づけて格納される。音声処理部２０９は、発話ＤＢ１２０に格納されたテキストデータと音声データとの対応関係に基づいて合成音声を生成し、スピーカ２１３から出力することでロボット２による発話を実現する。発話ＤＢ１２０には、定型文の音声データや、ロボット２の感情状態に応じて発話の抑揚や語尾を変化させるための発話変換データ等が格納されていてもよい。

アクションＤＢ１３０は、ロボット２の制御シーケンスを記載した制御シーケンステーブルが格納される。制御シーケンステーブルには、アクションの動作名とロボット２の可動部制御シーケンスとを紐づけたデータが格納される。動作名は、コンテンツデータのアクションの動作名と対応し、例えば、「うなずく」、「片手を上げる」、「両手を上げる」といった一連の可動部制御シーケンスをロボット２が実行した際のロボット動作の様子を示している。可動部制御シーケンスは、制御対象とする各可動部の駆動箇所と値等（例えば頭部チルト角２０度、右腕チルト角４０度等）のリストである。

ジェスチャ認識部２４は、個人・グループ認識部２２により認識した「個人」及び／又は「グループ」（コンテンツ視聴者）に含まれる各人物のジェスチャを認識する。
図１１は、認識対象とするジェスチャ内容を保持するジェスチャテーブル７０を示す。図に示すように、ジェスチャテーブル７０は、ジェスチャを一意に識別するジェスチャＩＤ７１と、ジェスチャの内容を示すジェスチャ内容７２と、ジェスチャ内容７２に示すジェスチャを顔器官や手足の位置や動き等の特徴量（動作パターン）として表すジェスチャ特徴量７３と、を対応付けて保持する。

ジェスチャ認識部２４は、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により取得される映像データを解析し、個人・グループ認識部２２により認識した「個人」及び／又は「グループ」（コンテンツ視聴者）に含まれる各人物のジェスチャをリアルタイムに認識する。具体的には、ジェスチャ認識部２４は、映像データから顔器官や手足の位置や動き等の特徴量（動作パターン）を抽出し、抽出した特徴量（動作パターン）とジェスチャ特徴量７３（図１１）を照合することにより、ジェスチャを認識する。ジェスチャ認識部２４は、ジェスチャを認識すると、関心度取得部２５にジェスチャを認識した人物の人物ＩＤとジェスチャＩＤを、関心度取得部２５に通知する。

本実施形態によれば、カメラから取得される映像データを解析することでジェスチャを認識するので、ジェスチャを認識するためのウェアラブルデバイス（姿勢検出デバイスなど）などを装着する必要がなく、また、映像に映る複数人物のジェスチャを同時に認識することができる。

ジェスチャ認識部２４は、コンテンツへの反応を評価するために、コンテンツ提供中における人物のジェスチャを認識することが望ましいが、コンテンツ提供後の人物のジェスチャを認識してもよい。例えば、興味を持ってコンテンツを視聴した人物は、コンテンツ提供後にロボット２に対して好意的な反応（例えば別れ際にロボット２に握手を求める）を示すような場合が想定されるためである。

関心度取得部２５は、ジェスチャ認識部２４により認識したジェスチャに基づいて、コンテンツに対する関心度のスコアを取得する。
具体的には、まず、ジェスチャ認識部２４により認識したジェスチャＩＤとジェスチャを行った人物の人物ＩＤの通知を受けると、当該人物のコンテンツに対する関心度増減値８２を関心度算出テーブル８０（図１２）から取得する。
図１２は、関心度を算出するために参照される関心度算出テーブル８０の内容を示す。図に示すように、関心度算出テーブル８０には、各ジェスチャに対する関心度のスコアである関心度増減値８２が設定されている。

図１２の関心度算出テーブル８０によれば、例えば、取得したジェスチャがジェスチャＩＤ「Ｊ１」の“頷く”の場合、コンテンツに対する関心が高いと考えらえるため、関心度増減値８２として「＋４」を取得する。また、取得したジェスチャがジェスチャＩＤ「Ｊ２」の“首を傾ける”の場合、コンテンツに対する関心度が低いと考えられるため、関心度増減値８２として「−４」を取得する。

関心度取得部２５は、取得した関心度増減値８２を関心度履歴テーブル９０に履歴として格納する。関心度履歴テーブル９０は、コンテンツ提供中（コンテンツ提供後のジェスチャも認識対象とする場合にはコンテンツ提供後も含む）において取得した関心度増減値８２と関心度増減値８２の合計値である関心度スコア９３を記憶するテーブルである（図１３（ａ）参照）。この関心度履歴テーブル９０は、個人・グループ認識部２２により認識した「個人」及び／又は「グループ」ごとに用意される。

関心度取得部２５は、ジェスチャを行った人物が「個人」の場合には、当該個人（人物）と紐づいた関心度履歴テーブル９０に取得した関心度増減値８２を格納する。ジェスチャを行った人物が「グループ」に属する場合には、当該グループと紐づいた関心度履歴テーブル９０に取得した関心度増減値８２を格納する。

図１３（ａ）は、図６のグループＩＤ４１「Ｇ１」のグループに含まれる各人物の関心度増減値８２の履歴を格納する関心度履歴テーブル９０を示す。図に示すように、グループに含まれる各人物Ｐ１、Ｐ２、Ｐ３の関心度増減値８２の履歴が格納される。

関心度取得部２５は、コンテンツの提供が終了すると、関心度増減値８２の合計値を関心度履歴テーブル９０の関心度スコア９３に記録する。図１３（ａ）の例では、関心度スコア９３に各人物Ｐ１、Ｐ２、Ｐ３の関心度増減値８２の合計値として「＋３」、「＋１７」、「＋７」が記録されている。

関心度取得部２５は、個人・グループ認識部２２により「個人」と認識された人物の場合には、その人物の関心度履歴テーブル９０（その人物の関心度増減値８２の履歴と関心度増減値８２の合計値である関心度スコア９３が格納されているテーブル）から関心度スコア９３を取得し、当該人物のコンテンツに対する最終的な関心度のスコアとする。
一方、個人・グループ認識部２２により「グループ」と認識された場合には、そのグループの関心度履歴テーブル９０の各人物の関心度スコア９３に基づいて、グループ全体としての関心度のスコアであるグループ関心度スコア９５を算出し取得する。

グループ関心度スコア９５としては、図１３（ｂ）に示すように、例えば平均スコア９５ａ、最大スコア９５ｂ、代表者スコア９５ｃを採用できる。
このうち図１３（ｂ）の平均スコア９５ａ（＋９）は、グループ関心度スコア９５を、グループに含まれる各人物の関心度スコア９３（＋３、＋１７、＋７）の平均値としたものである。
また図１３（ｂ）の最大スコア９５ｂ（＋１７）は、グループ関心度スコア９５を、グループに含まれる各人物の関心度スコア９３（＋３、＋１７、＋７）の最大値としたものである。

また図１３（ｂ）の代表者スコア９５ｃ（＋１７）は、グループ関心度スコア９５を、グループの代表者（図１３（ｂ）の場合はＰ２）の関心度スコア９３としたものである。グループの代表者は、以下のように、グループに含まれる各人物の（１）属性情報、（２）位置情報、（３）発話情報、（４）滞留時間などに基づいて選定される。

（１）属性情報
例えば、人物認識情報３０の人物属性３４を参照して、グループに含まれる各人物の中で年齢が一番高い人物を、グループの代表者に選定する。或いは、コンテンツが特定の属性（年齢層、性別など）をターゲットとしたものであれば、その属性と最も近い人物をグループの代表者に選定する。
（２）位置情報
例えば、カメラ２１０（距離センサ）やマイク２１１（マイクロホンアレイ）を用いて人物との距離を測位し、ロボット２から一番距離の近い人物をグループの代表者に選定する。
（３）発話情報
例えば、マイク２１１の収録音声を解析し、グループの中で最も発話量が多い（良く喋っている）人物や最も発話音量が大きい（大きい声で喋っている）人物をグループの代表者に選定する。
（４）滞留時間
例えば、人物認識情報３０の認識時間３３を参照して、グループに含まれる人物ごとに認識時間３３から現在時刻までの時間である滞留時間を算出し、滞留時間が最も長い人物をグループの代表者に選定する。

関心度取得部２５は、上記（１）（２）（３）（４）のいずれか或いは複数の情報に基づいて、代表者を選定し、代表者の関心度スコア９３をグループ関心度スコア９５として取得する。

関心度反映部２６は、関心度取得部２５により取得した関心度のスコアに基づいて、提供したコンテンツに対する関心度をコンテンツ関心度テーブル１００（図１４）に反映する。

具体的には、「個人」の場合には、その個人（人物）の関心度スコア９３から決定されるコンテンツに対する関心度（関心度＝「高い」、関心度＝「中程度」、関心度＝「低い」）を、提供したコンテンツと個人属性に紐づけて、コンテンツ関心度テーブル１００に反映設定する。また、「グループ」の場合には、グループ全体の関心度スコアであるグループ関心度スコア９５から決定される関心度（関心度＝「高い」、関心度＝「中程度」、関心度＝「低い」）を、提供したコンテンツとグループ属性に紐づけて、コンテンツ関心度テーブル１００に反映設定する。

なお、本実施形態では、関心度を関心度スコア９２またはグループ関心度スコア９５に基づいて３段階（「高い」「中程度」「低い」）で規定しているが、関心度の規定の仕方はこれに限定しない。例えば、関心度スコア９３とグループ関心度スコア９５の値をそのまま関心度としてもよい。

図１４は、「グループ」の場合のコンテンツ関心度テーブル１００を示す。コンテンツ関心度テーブル１００は、図に示すように、コンテンツＩＤ（Ｃ１、Ｃ２、Ｃ３、…）とグループ属性ＩＤ（Ａ１（「子ども連れ家族」）、Ａ２（「２０代カップル」）、Ａ３（「老夫婦」）、…）に紐づけて、関心度（「高い」「中程度」「低い」）が設定されている。なお、図の例では、グループ関心度スコア９５≧＋１０の場合に関心度を「高い」、０＜グループ関心度スコア９５＜＋１０の場合には関心度を「中程度」、グループ関心度スコア９５≦０の場合には関心度を「低い」と規定している。

また図示は省略するが、「個人」の場合にも、図１４と同様のコンテンツ関心度テーブル１００に、提供したコンテンツと個人属性（「男性４０代」「女性４０代」…など）に紐づけて、関心度（「高い」「中程度」「低い」）が設定される。

このようにコンテンツ関心度テーブル１００に提供したコンテンツに対する関心度を反映していくことで、どのような属性の個人またはグループがどのようなコンテンツに対して関心度が高いか（或いは低いか）が学習される。これにより、ロボット２は、コンテンツ視聴者の属性に応じて適切なコンテンツを選択し提供することができるようになる。

次に、図１５を参照してロボット２が実行する処理の流れを説明する。
ロボット２は例えば商品紹介エリアや展示エリアなどに設置されており、来客する人物に対して以下の処理を実行する。

ロボット２は、まず、周囲に存在する１以上の人物をリアルタイムに認識する（ステップＳ０）。認識した人物の情報は、前述したように、人物認識情報３０（図５）に格納される。

続いて、ロボット２は、人物認識情報３０（図５）を参照して、コンテンツの提供対象（コンテンツ視聴者）となる１以上の「個人」及び／又は１以上の「グループ」を認識する（ステップＳ１）。前述したように、人物認識情報３０のトラッキング位置３２、認識時間３３、人物属性３４に基づいて、グループを認識する。一方、人物認識情報３０に単一人物の情報のみ存在する場合（人物認識部２１により単一人物のみ認識された場合）や、人物認識情報３０の人物の中でグループとして認識されなかった人物を「個人」として認識する。

続いて、ロボット２は、コンテンツの提供を実行する（ステップＳ２）。具体的には、ロボット２は、記憶部２０２に記憶されているコンテンツリスト６０を参照し、ランダムに、或いは予め決められた順番でコンテンツＤＢ１１０からコンテンツデータを読み出しコンテンツの提供を実行する。

続いて、ロボット２は、コンテンツを提供しながら、ステップＳ１において認識した「個人」及び／又は「グループ」（コンテンツ視聴者）に含まれる各人物のジェスチャをリアルタイムに認識する（ステップＳ３）。

ロボット２は、人物のジェスチャを認識すると（ステップＳ３；Ｙｅｓ）、関心度算出テーブル８０（図１２）を参照して、ジェスチャに対応する関心度増減値８２を取得し、関心度履歴テーブル９０に履歴として格納していく（ステップＳ４）。前述したように、ジェスチャを行った人物が「個人」の場合には、当該個人（人物）と紐づいた関心度履歴テーブル９０に取得した関心度増減値８２を格納する。ジェスチャを行った人物が「グループ」に属する場合には、当該グループと紐づいた関心度履歴テーブル９０に取得した関心度増減値８２を格納する。

ロボット２は、上記したジェスチャの認識（ステップＳ３）と認識したジェスチャに対応する関心度増減値８２の取得（ステップＳ４）を、コンテンツの提供が終了するまで（ステップＳ５；Ｙｅｓ）、繰り返し行う。
なお、コンテンツ提供後の反応も関心度に反映させたい場合には、コンテンツの提供を終えてから所定時間経過するまで、ステップＳ３とステップＳ４を繰り返す。

そして、コンテンツの提供が終了すると（ステップＳ５；Ｙｅｓ）、ロボット２は、ステップＳ１において認識した「個人」及び／又は「グループ」ごとに関心度を求め、コンテンツ関心度テーブル１００に反映する（ステップＳ６）。
具体的には、前述したように、「個人」の場合には、その個人の関心度履歴テーブル９０の関心度スコア９３（関心度増減値８２の合計値）を取得し、関心度スコア９３から決定される関心度（「高い」「中程度」「低い」）を、提供したコンテンツと個人属性に紐づけて、コンテンツ関心度テーブル１００に反映設定する。

また、「グループ」の場合には、そのグループの関心度履歴テーブル９０の各人物の関心度スコア９３に基づいて、グループ全体としての関心度のスコアであるグループ関心度スコア９５を取得し、グループ関心度スコア９５から決定される関心度（「高い」「中程度」「低い」）を、提供したコンテンツとグループ属性に紐づけて、コンテンツ関心度テーブル１００に反映設定する。グループ関心度スコア９５としては、前述したように、例えば平均スコア９５ａ、最大スコア９５ｂ、代表者スコア９５ｃを採用できる（図１３（ｂ）参照）。

以上、ロボット２が実行する処理について説明した。本実施形態によれば、ロボット２は、周囲の人物の位置情報、認識時間、人物属性などに基づいてコンテンツの提供対象（コンテンツ視聴者）を「個人」「グループ」単位で認識し、「個人」「グループ」単位でコンテンツに対する関心度のスコアを取得する。そして、取得した関心度を、提供したコンテンツと個人属性、グループ属性に紐づけて記憶する。これにより、どのような属性の個人、グループがどのようなコンテンツに対して関心度を持っているかが学習される。これにより、ロボット２は、不特定多数の人が集まる商品紹介エリアや展示会エリアなど、コンテンツ視聴者として個人、グループが混在するような場において、コンテンツ視聴者に適切なコンテンツを提供することができ、コンテンツ視聴者の関心・興味、カスタマーエクスペリエンス、購買意欲等を向上させることができる。

具体的には、ロボット２は、以下のようにコンテンツ視聴者に適切なコンテンツを提供することができる。
例えば、ロボット２は、ステップＳ２においてコンテンツを提供する際に、ステップＳ１において認識したコンテンツ視聴者（「個人」及び／又は「グループ」）の属性を取得する。そして、コンテンツ関心度テーブル１００を参照して、取得した属性に対して関心度の高いコンテンツを選択して提供する。例えば、ステップＳ２においてコンテンツ視聴者のグループ属性としてグループ属性ＩＤ「Ａ２」が取得されたとする。この場合、ロボット２は、図１４のコンテンツ関心度テーブル１００を参照して、グループ属性ＩＤ「Ａ２」の中で関心度が高いコンテンツＩＤ「Ｃ３」のコンテンツを選択して提供する。なお、ステップＳ１において複数の「個人」や複数の「グループ」が認識された場合（コンテンツ視聴者が複数存在する場合）には、例えば、ロボット２と最も距離が近いコンテンツ視聴者（「個人」または「グループ」）の属性を取得し、当該属性に関心度の高いコンテンツを提供すればよい。

また例えば、ロボット２は、関心度に応じて提供するコンテンツをリアルタイムに切り替えてもよい。例えば、コンテンツの提供中において、ステップＳ４において取得される関心度増減値８２が減少傾向となるような場合（例えば、関心度増減値８２が連続して負値となる場合など）には、ロボット２は、提供中のコンテンツに対する興味、関心が低いと判断し、別のコンテンツに切り替えるようにしてもよい。

以上、添付図面を参照して、本発明に係る好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１……………………コンテンツ提供システム
２……………………ロボット
３……………………コンピュータ
４……………………カメラ
５……………………マイク
６……………………ディスプレイ
８……………………ネットワーク
２１…………………人物認識部
２１Ａ………………顔認識部
２１Ｂ………………位置取得部
２１Ｃ………………認識時間取得部
２１Ｄ………………属性取得部
２２…………………グループ認識部
２３…………………コンテンツ提供部
２４…………………ジェスチャ認識部
２５…………………関心度取得部
２６…………………関心度反映部
３０…………………人物認識情報
３２…………………トラッキング位置
３３…………………認識時間
３４…………………人物属性
４０…………………グループ認識情報
４５…………………個人認識情報
５０…………………グループ属性テーブル
５５…………………個人属性テーブル
６０…………………コンテンツリスト
７０…………………ジェスチャテーブル
８０…………………関心度算出テーブル
９０…………………関心度履歴テーブル
９３…………………関心度スコア
９５…………………グループ関心度スコア
９５ａ………………平均スコア
９５ｂ………………最大スコア
９５ｃ………………代表者スコア
１００………………コンテンツ関心度テーブル
２０１………………制御部
２０２………………記憶部
２０３………………入力部
２０４………………表示部
２０５………………メディア入出力部
２０６………………通信Ｉ／Ｆ
２０７………………可動部駆動機構
２０８………………周辺機器Ｉ／Ｆ部
２０９………………音声処理部
２１０………………カメラ
２１１………………マイク
２１２………………センサ
２１３………………スピーカ
２２０………………バス

Claims (13)

1. コンテンツの提供対象である個人またはグループを認識する認識手段と、
   コンテンツを提供するコンテンツ提供手段と、
   前記コンテンツに対する前記個人または前記グループの関心度を取得する関心度取得手段と、
   取得した前記関心度を前記コンテンツに紐づけて記憶する記憶手段と、
   を備えることを特徴とするコンテンツ提供装置。
2. 前記関心度取得手段は、前記グループに含まれる各人物の関心度に基づいて、前記グループの関心度を取得する
   ことを特徴とする請求項１に記載のコンテンツ提供装置。
3. 前記関心度取得手段は、前記グループに含まれる各人物の関心度の平均値または最大値を、前記グループの関心度として取得する
   ことを特徴とする請求項２に記載のコンテンツ提供装置。
4. 前記関心度取得手段は、前記グループに含まれる各人物の中から前記グループの代表者を選定し、選定した前記代表者の関心度を、前記グループの関心度として取得する
   ことを特徴とする請求項２に記載のコンテンツ提供装置。
5. 前記関心度取得手段は、前記グループに含まれる各人物の位置情報、属性情報、発話情報、又は滞留時間に基づいて、前記グループの代表者を選定する
   ことを特徴とする請求項４に記載のコンテンツ提供装置。
6. 前記個人または前記グループに含まれる各人物のジェスチャを認識するジェスチャ認識手段、を更に備え、
   前記関心度取得手段は、コンテンツの提供中において認識した前記ジェスチャに基づいて、前記関心度を取得する
   ことを特徴とする請求項１から請求項５のいずれかに記載のコンテンツ提供装置。
7. 前記関心度取得手段は、更にコンテンツの提供後において認識した前記ジェスチャに基づいて、前記関心度を取得する
   ことを特徴とする請求項６に記載のコンテンツ提供装置。
8. 前記記憶手段は、取得した前記関心度を、前記個人または前記グループの属性情報と紐づけて記憶する
   ことを特徴とする請求項１から請求項７のいずれかに記載のコンテンツ提供装置。
9. 前記コンテンツ提供手段は、新たな個人またはグループに対してコンテンツを提供する際、前記記憶手段を参照して、前記個人または前記グループの属性に対して関心度の高いコンテンツを選択し提供する
   ことを特徴とする請求項８に記載のコンテンツ提供装置。
10. 前記コンテンツ提供手段は、前記コンテンツの提供中に前記関心度取得手段により取得される前記コンテンツに対する関心度に応じて、提供するコンテンツを変える
    ことを特徴とする請求項１から請求項９のいずれかに記載のコンテンツ提供装置。
11. 前記認識手段は、周囲の各人物の位置情報、認識時間、又は属性情報に基づいて、前記グループを認識する
    ことを特徴とする請求項１から請求項１０のいずれかに記載のコンテンツ提供装置。
12. コンテンツの提供対象である個人またはグループを認識する認識ステップと、
    コンテンツを提供するコンテンツ提供ステップと、
    前記コンテンツに対する前記個人または前記グループの関心度を取得する関心度取得ステップと、
    取得した前記関心度を前記コンテンツに紐づけて記憶する記憶ステップと、
    を含むことを特徴とするコンテンツ提供方法。
13. 請求項１から請求項１１のいずれかに記載のコンテンツ提供装置として機能させることを特徴とするプログラム。
    
    
    

Images