JP2013150086A - 行動情報認識システム、情報処理装置および行動情報認識方法 - Google Patents

Abstract

【課題】ユーザの行動を認識し、そのユーザの行動を集計し、集計した情報をユーザ側にフィードバックすることで、ユーザの認識状況の提供が可能な、新規かつ改良された行動情報認識システムを提供する。
【解決手段】ユーザに行ってもらう行動を認識するための行動認識制御情報を生成する行動認識制御情報生成サーバと、行動認識制御情報を用いてユーザの行動を認識する１以上の情報処理端末と、を備え、各情報処理端末は、該情報処理端末のユーザによる行動を認識し、行動認識制御情報生成サーバから送信される行動認識制御情報と、認識の結果とからユーザ行動情報を生成するユーザ行動認識部と、ユーザ行動認識部が生成したユーザ行動情報を外部に送信するユーザ行動情報送信部と、１以上の情報処理端末から送信されたユーザ行動情報の集計結果を受信するユーザ行動情報受信部と、を含む、行動情報認識システムが提供される。
【選択図】図１

Description

本開示は、行動情報認識システム、情報処理装置および行動情報認識方法に関する。

番組その他のコンテンツを放送する放送局や、コンテンツを配信するコンテンツ配信事業者において、放送したり配信したりしたコンテンツに対する視聴者の反応を収集するシステムがある（例えば特許文献１参照）。特許文献１では、コンテンツに対する視聴者の反応データと、視聴者が視聴しているコンテンツの視聴データとを時間的に同期させることで、視聴者の反応を収集する技術が開示されている。

特開２００５−１４２９７５号公報

上記引用文献１に開示された技術は、視聴者側の反応を、コンテンツ配信側にフィードバックするものであり、視聴者側の反応をコンテンツ配信側におけるコンテンツ制作に利用するものであった。しかし、上記引用文献１に開示された技術は、視聴者側の反応を、コンテンツ配信側のみにフィードバックするものであるから、他の視聴者がコンテンツを視聴してどのような反応を示しているのか、視聴者は把握できない。

そこで、本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、ユーザの行動を認識し、そのユーザの行動を集計し、集計した情報をユーザ側にフィードバックすることで、ユーザの認識状況の提供が可能な、新規かつ改良された行動情報認識システム、情報処理装置および行動情報認識方法を提供することにある。

本開示によれば、ユーザに行ってもらう行動を認識するための行動認識制御情報を生成する行動認識制御情報生成サーバと、前記行動認識制御情報生成サーバから前記行動認識制御情報を受信し、該行動認識制御情報を用いてユーザの行動を認識する１以上の情報処理端末と、を備え、各前記情報処理端末は、該情報処理端末のユーザによる行動を認識し、前記行動認識制御情報生成サーバから送信される行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識部と、前記ユーザ行動認識部が生成したユーザ行動情報を外部に送信するユーザ行動情報送信部と、１以上の前記情報処理端末から送信されたユーザ行動情報の集計結果を受信するユーザ行動情報受信部と、を含む、行動情報認識システムが提供される。

また本開示によれば、ユーザに実行してもらう行動を認識するための行動認識制御情報を送信する行動認識制御情報送信部と、前記行動認識制御情報に基づいて得られる、前記ユーザによる行動情報を集計して全ユーザ行動情報を生成するユーザ行動情報集計部と、を備える、情報処理装置が提供される。

また本開示によれば、ユーザに行ってもらう行動を認識するための行動認識制御情報をサーバ装置で生成し、ユーザの行動を認識する１以上の端末に送信する行動認識制御情報生成ステップと、ユーザによる行動を認識し、前記行動認識制御情報生成ステップで生成された前記行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識ステップと、前記ユーザ行動認識ステップが生成したユーザ行動情報を外部に送信するユーザ行動情報送信ステップと、１以上の前記端末から送信されたユーザ行動情報の集計結果を１以上の前記端末で受信するユーザ行動情報受信ステップと、を含む、行動情報認識システムが提供される。

以上説明したように本開示によれば、ユーザの行動を認識し、そのユーザの行動を集計し、集計した情報をユーザ側にフィードバックすることで、ユーザの認識状況の提供が可能な、新規かつ改良された行動情報認識システム、情報処理装置および行動情報認識方法を提供することができる。

本開示の第１の実施形態にかかるコンテンツ提供システム１の構成例を示す説明図である。 本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の構成例を示す説明図である。 本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の動作を示す流れ図である。 本開示の第１の実施形態にかかる視聴情報集計サーバ３００の動作例を示す説明図である。 本開示の第１の実施形態にかかるコンテンツ提供サーバ１００の動作例を示す説明図である。 本開示の第１の実施形態にかかるコンテンツ再生端末２００で生成される視聴者構成情報の例を示す説明図である。 本開示の第１の実施形態にかかる視聴情報集計サーバ３００で集計される全視聴者構成情報の例を示す説明図である。 本開示の第２の実施形態にかかるコンテンツ提供システム１’の構成例を示す説明図である。 本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の構成例を示す説明図である。 本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の動作を示す流れ図である。 本開示の第２の実施形態にかかるコンテンツ提供システム１’で用いられる行動認識制御情報の例を示す説明図である。 本開示の第２の実施形態にかかるコンテンツ再生端末２００で生成される、視聴者行動情報の例を示す説明図である。 本開示の第２の実施形態にかかる視聴情報集計サーバ３００で生成される、全視聴者行動情報の例を示す説明図である。 全視聴者構成情報の例を示す説明図である。 番組表の例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．第１の実施形態＞
［システムの構成例］
［視聴者構成測定部の構成例］
［視聴者構成測定部の動作例］
［視聴情報集計サーバの動作例］
［コンテンツ提供サーバの動作例］
［視聴者構成情報の例］
＜２．第２の実施形態＞
［システムの構成例］
［システムの動作例］
＜３．まとめ＞

＜１．第１の実施形態＞
［システムの構成例］
まず、本開示の第１の実施形態にかかるコンテンツ提供システムの構成例について説明する。図１は、本開示の第１の実施形態にかかるコンテンツ提供システム１の構成例を示す説明図である。以下、図１を用いて本開示の第１の実施形態にかかるコンテンツ提供システム１の構成例について説明する。

図１に示したように、本開示の第１の実施形態にかかるコンテンツ提供システム１は、コンテンツ提供サーバ１００と、コンテンツ再生端末２００と、視聴情報集計サーバ３００と、を含んで構成される。なお、図１では１台のコンテンツ再生端末２００のみを図示しているが、コンテンツ再生端末２００の台数は複数であってもよい。また図１では１台のコンテンツ提供サーバ１００のみを図示しているが、放送局やコンテンツ配信事業者毎にコンテンツ提供サーバ１００が設けられていても良い。コンテンツ提供サーバ１００は、同一のコンテンツを、コンテンツが再生可能な状態にある全てのコンテンツ再生端末２００に対して同時に配信するように構成されていても良く、異なるコンテンツを、そのコンテンツが再生可能な状態にある全てのコンテンツ再生端末２００に対して独立して配信するように構成されていても良い。

コンテンツ提供サーバ１００は、コンテンツ再生端末２００に映像番組その他のコンテンツを提供するものである。図１に示したように、本開示の第１の実施形態にかかるコンテンツ提供サーバ１００は、コンテンツ送信部１１０と、全視聴者構成情報受信部１２０と、コンテンツ決定部１３０と、コンテンツデータベース（ＤＢ）１４０と、を含んで構成される。

コンテンツ送信部１１０は、コンテンツ再生端末２００へ提供するコンテンツを送信するものである。コンテンツ送信部１１０からコンテンツ再生端末２００へ提供されるコンテンツは、例えば、コンテンツ決定部１３０がコンテンツデータベース１４０の中から選択することで決定される。

全視聴者構成情報受信部１２０は、視聴情報集計サーバ３００で集計されてコンテンツ提供サーバ１００に送信される、全視聴者構成情報を受信する。全視聴者構成情報受信部１２０が受信した全視聴者構成情報は、コンテンツ決定部１３０に送られる。

コンテンツ決定部１３０は、コンテンツ送信部１１０からコンテンツ再生端末２００へ提供されるコンテンツを決定する。コンテンツ決定部１３０は、コンテンツ送信部１１０からコンテンツ再生端末２００へ提供されるコンテンツをコンテンツデータベース１４０から選択する。コンテンツ決定部１３０は、コンテンツの決定に際し、例えば全視聴者構成情報受信部１２０が視聴情報集計サーバ３００から受信した、全視聴者構成情報を用いる。

コンテンツ再生端末２００は、コンテンツ提供サーバ１００から提供されるコンテンツを受信し、表示する端末である。コンテンツ再生端末２００は、例えばテレビ受像機やパーソナルコンピュータ、タブレット型の通信端末等で構成される。

図１に示したように、本開示の第１の実施形態にかかるコンテンツ再生端末２００は、コンテンツ受信部２１０と、表示部２２０と、視聴者構成測定部２３０と、視聴者構成情報送信部２４０と、全視聴者構成情報受信部２５０と、を含んで構成される。

コンテンツ受信部２１０は、コンテンツ提供サーバ１００から提供されるコンテンツを受信する。コンテンツ受信部２１０は、コンテンツ提供サーバ１００から提供されるコンテンツを受信すると、受信したコンテンツを表示部２２０に出力するとともに、受信したコンテンツに関する情報（チャンネル名、番組名等）を視聴者構成測定部２３０に出力する。

表示部２２０は、コンテンツ提供サーバ１００から提供されるコンテンツを表示する。表示部２２０は、例えば液晶ディスプレイ、有機ＥＬディスプレイその他の表示装置で構成される。また、表示部２２０は、全視聴者構成情報受信部２５０が視聴情報集計サーバ３００から受信した、全視聴者構成情報も併せて表示する。

視聴者構成測定部２３０は、コンテンツ提供サーバ１００から提供され、表示部２２０に表示されているコンテンツを視聴している視聴者の構成を測定し、視聴者構成情報を生成する。視聴者構成測定部２３０は、視聴者構成情報を生成すると、生成した視聴者構成情報を視聴者構成情報送信部２４０に出力する。視聴者構成測定部２３０は、表示部２２０に表示されているコンテンツを視聴している視聴者の構成を測定するに際し、コンテンツ受信部２１０から供給される、受信したコンテンツに関する情報（チャンネル名、番組名等）を用いる。視聴者構成測定部２３０の構成は後に詳述する。

視聴者構成情報送信部２４０は、視聴者構成測定部２３０が生成した視聴者構成情報を視聴情報集計サーバ３００に送信する。視聴者構成情報送信部２４０が視聴者構成情報を視聴情報集計サーバ３００に送信する頻度は特定のものに限定されず、例えば１分〜数分おきであってもよく、視聴者構成測定部２３０が生成した視聴者構成情報に変化が発生したタイミングであってもよい。

全視聴者構成情報受信部２５０は、視聴情報集計サーバ３００で集計されてコンテンツ再生端末２００に送信される、全視聴者構成情報を受信する。全視聴者構成情報受信部２５０が受信した全視聴者構成情報は、例えば表示部２２０に送られ、表示部２２０に表示される。

視聴情報集計サーバ３００は、コンテンツ再生端末２００から送信される視聴者構成情報を受信して、受信した視聴者構成情報を集計して全視聴者構成情報を生成し、生成した全視聴者構成情報をコンテンツ提供サーバ１００およびコンテンツ再生端末２００に提供する。

図１に示したように、本開示の第１の実施形態にかかる視聴情報集計サーバ３００は、視聴者構成情報受信部３１０と、視聴者構成情報集計部３２０と、全視聴者構成情報送信部３３０と、を含んで構成される。

視聴者構成情報受信部３１０は、コンテンツ再生端末２００の視聴者構成情報送信部２４０から送信される、コンテンツ再生端末２００の視聴者構成情報を受信するものである。視聴者構成情報受信部３１０は、受信した視聴者構成情報を視聴者構成情報集計部３２０に出力する。

視聴者構成情報集計部３２０は、視聴者構成情報受信部３１０から送られてくる視聴者構成情報を集計し、全視聴者構成情報を生成するものである。視聴者構成情報集計部３２０は、コンテンツ提供サーバ１００が提供するコンテンツを再生する全てのコンテンツ再生端末２００の視聴者構成情報から、全視聴者構成情報を生成する。視聴者構成情報集計部３２０は、生成した全視聴者構成情報を全視聴者構成情報送信部３３０に出力する。

全視聴者構成情報送信部３３０は、視聴者構成情報集計部３２０から送られてくる全視聴者構成情報を、コンテンツ提供サーバ１００およびコンテンツ再生端末２００に送信する。コンテンツ提供サーバ１００が提供するコンテンツを再生する全てのコンテンツ再生端末２００の視聴者構成情報を視聴情報集計サーバ３００が集計し、全視聴者構成情報をコンテンツ提供サーバ１００およびコンテンツ再生端末２００に送信することにより、コンテンツ提供サーバ１００およびコンテンツ再生端末２００は、どのような視聴者がどのコンテンツを視聴しているのかを把握することができる。

以上、図１を用いて本開示の第１の実施形態にかかるコンテンツ提供システム１の構成例について説明した。次に、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の構成について説明する。

［視聴者構成測定部の構成例］
図２は、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の構成例を示す説明図である。なお、図２には視聴者構成測定部２３０の他にコンテンツ受信部２１０も併せて図示している。以下、図２を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の構成について説明する。

図２に示したように、視聴者構成測定部２３０は、画像入力部２６１と、画像認識部２６２と、音声入力部２６３と、音声認識部２６４と、人物推定部２６５と、視聴者構成情報生成部２６６と、を含んで構成される。

画像入力部２６１は、表示部２２０が表示するコンテンツを視聴する視聴者の姿を撮像するものであり、例えば撮像素子を備えたデジタルカメラで構成される。画像入力部２６１が撮像した視聴者の姿は画像認識部２６２に送られる。

画像認識部２６２は、画像入力部２６１が撮像した、表示部２２０が表示するコンテンツを視聴する視聴者の姿から、どのような視聴者がコンテンツを視聴しているのかについて画像認識する。従って、画像認識部２６２は、画像中の顔認識機能や身体認識機能を有することが望ましい。画像認識部２６２は、認識した結果を人物推定部２６５に出力する。

音声入力部２６３は、表示部２２０が表示するコンテンツを視聴する視聴者の声を収音するものであり、例えばマイクで構成される。音声入力部２６３を構成するマイクの数は、１つであっても、２つ以上であっても良い。音声入力部２６３が収音した音声情報は音声認識部２６４に送られる。

音声認識部２６４は、音声入力部２６３が集音した、表示部２２０が表示するコンテンツを視聴する視聴者の声から、どのような視聴者がコンテンツを視聴しているのかについて音声認識する。音声認識部２６４は、認識した結果を人物推定部２６５に出力する。

人物推定部２６５は、画像認識部２６２による画像認識の結果および音声認識部２６４による音声認識の結果を用いて、表示部２２０が表示するコンテンツをどのような視聴者が視聴しているのかを推定する。人物推定部２６５による、視聴者の推定結果は視聴者構成情報生成部２６６に出力される。人物推定部２６５による視聴者推定処理については後に詳述する。

視聴者構成情報生成部２６６は、人物推定部２６５が推定した視聴者の推定結果、およびコンテンツ受信部２１０から送られてくる、コンテンツ受信部２１０が受信し、表示部２２０が表示しているコンテンツに関する情報（チャンネル名、番組名等）を用いて、コンテンツ再生端末２００の視聴者構成情報を生成する。視聴者構成情報生成部２６６は、コンテンツ再生端末２００の視聴者構成情報を生成すると、生成した視聴者構成情報を視聴者構成情報送信部２４０へ出力する。

視聴者構成測定部２３０は、図２に示したような構成を有することで、コンテンツ受信部２１０が受信し、表示部２２０が表示しているコンテンツの視聴者に関する情報である視聴者構成情報を生成することができる。

以上、図２を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の構成について説明した。次に、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の動作について説明する。

［視聴者構成測定部の動作例］
図３は、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の動作を示す流れ図である。以下、図３を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の動作について説明する。

視聴者構成測定部２３０は、コンテンツ受信部２１０が受信し、表示部２２０が表示しているコンテンツの視聴者の顔領域または身体領域を検出する（ステップＳ１０１）。具体的には、画像入力部２６１が視聴者の姿を撮像し、撮像した画像に対して画像認識部２６２が顔検出処理や身体検出処理を実行することで、コンテンツの視聴者の顔領域または身体領域を検出することができる。

上記ステップＳ１０１で、視聴者構成測定部２３０がコンテンツの視聴者の顔領域または身体領域を検出すると、続いて視聴者構成測定部２３０は、コンテンツの視聴者の顔領域が検出されたかどうかを判断する（ステップＳ１０２）。具体的には、撮像した画像に対して画像認識部２６２が顔検出処理や身体検出処理を実行した結果、コンテンツの視聴者の顔領域が検出されたかどうかによって顔領域の有無を判断する。

上記ステップＳ１０２の判断の結果、視聴者構成測定部２３０が、コンテンツの視聴者の顔領域が検出されたと判断すると、続いて視聴者構成測定部２３０は、コンテンツの視聴者の顔識別を実行する（ステップＳ１０３）。具体的には、撮像した画像に対して画像認識部２６２が顔識別処理を実行することで、コンテンツの視聴者の顔識別が行われる。

上記ステップＳ１０３で、視聴者構成測定部２３０がコンテンツの視聴者の顔識別を実行すると、続いて視聴者構成測定部２３０は、顔識別の結果、識別した顔がコンテンツ再生端末２００に顔登録されている人物のものかどうかを判断する（ステップＳ１０４）。具体的には、識別した顔がコンテンツ再生端末２００に顔登録されている人物のものかどうかを、例えば画像認識部２６２が判断する。

上記ステップＳ１０４の判断の結果、識別した顔がコンテンツ再生端末２００に顔登録されている人物のものである場合は、続いて視聴者構成測定部２３０は、視聴者の性別、年齢、人種等の個人情報について、コンテンツ再生端末２００に顔登録されている人物の情報を利用する（ステップＳ１０５）。具体的には、人物推定部２６５が、コンテンツの視聴者の情報として、コンテンツ再生端末２００に顔登録されている人物の情報を利用する。

一方、上記ステップＳ１０４の判断の結果、識別した顔がコンテンツ再生端末２００に顔登録されている人物のものでない場合は、続いて視聴者構成測定部２３０は、視聴者の性別、年齢、人種等の個人情報の推定を行う（ステップＳ１０６）。具体的には、人物推定部２６５が、コンテンツの視聴者の情報として、画像入力部２６１が撮影した画像や、音声入力部２６３が収音した音声を用いて、性別、年齢、人種等の個人情報の推定を行う。人物推定部２６５による個人情報の推定に際しては、例えば特開２００９−３１９５１号公報、特開２００９−４２９１０号公報、特許第４４６２３３９号公報、特許第４７３０４０４号公報、特開２０１０−１６５３０５号公報等において開示されている技術を用いることが出来る。

また、上記ステップＳ１０２の判断の結果、視聴者構成測定部２３０が、コンテンツの視聴者の顔領域が検出されなかったと判断すると、続いて視聴者構成測定部２３０は、視聴者の性別、年齢、人種等の個人情報に関しては不明と判断する（ステップＳ１０７）。具体的には、人物推定部２６５が、視聴者の性別、年齢、人種等の個人情報に関しては不明であると推定する。

上記ステップＳ１０５、Ｓ１０６、Ｓ１０７で、視聴者構成測定部２３０が視聴者の性別、年齢、人種等の個人情報を推定するか、または不明であると判断すると、続いて視聴者構成測定部２３０は、コンテンツを視聴している人物全員に関する情報をまとめる（ステップＳ１０８）。具体的には、人物推定部２６５が、コンテンツを視聴している人物全員に関する情報をまとめる。

上記ステップＳ１０８で、視聴者構成測定部２３０がコンテンツを視聴している人物全員に関する情報をまとめると、続いて視聴者構成測定部２３０は、コンテンツを視聴している人物全員に関する情報と、視聴されているコンテンツに関する情報とをまとめる（ステップＳ１０９）。具体的には、人物推定部２６５がまとめたコンテンツを視聴している人物全員に関する情報と、コンテンツ受信部２１０が受信し、視聴者に視聴されているコンテンツに関する情報とを、視聴者構成情報生成部２６６がまとめる。

視聴者構成測定部２３０が、図３に示したような動作を実行することで、本開示の第１の実施形態にかかるコンテンツ再生端末２００は、表示しているコンテンツを視聴している視聴者についての情報である視聴者構成情報を生成することができる。

以上、図３を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者構成測定部２３０の動作について説明した。次に、本開示の第１の実施形態にかかる視聴情報集計サーバ３００の動作について説明する。

［視聴情報集計サーバの動作例］
図４は、本開示の第１の実施形態にかかる視聴情報集計サーバ３００の動作を示す流れ図であり、各コンテンツ再生端末２００から送信される視聴者構成情報を集計する際の動作について示したものである。以下、図４を用いて本開示の第１の実施形態にかかる視聴情報集計サーバ３００の動作について説明する。

視聴情報集計サーバ３００は、各コンテンツ再生端末２００から送信される視聴者構成情報について、そのコンテンツ再生端末２００における視聴者構成情報が、その直前にそのコンテンツ再生端末２００から送信された視聴者構成情報と内容的に異なるかどうかを判断する（ステップＳ１１１）。この判断は、例えば視聴者構成情報集計部３２０が実行する。

上記ステップＳ１１１の判断の結果、視聴者構成情報が内容的に異なっていると判断した場合は、視聴情報集計サーバ３００は、続いて、各コンテンツ再生端末２００で視聴されているコンテンツ毎に、性別、年齢、人種等からなる視聴者の属性ごとに該当する視聴者の数を集計する（ステップＳ１１２）。この集計処理は、例えば視聴者構成情報集計部３２０が実行する。この集計により、視聴情報集計サーバ３００は全視聴者構成情報を生成する。

一方、上記ステップＳ１１１の判断の結果、視聴者構成情報が内容的に異なっていないと判断した場合は、視聴情報集計サーバ３００はそのまま処理を終了する。

視聴情報集計サーバ３００が、図４に示したような動作を実行することで、各コンテンツ再生端末２００から送信される視聴者構成情報を用いて、各コンテンツ再生端末２００で視聴されているコンテンツ毎に、性別、年齢、人種等からなる視聴者の属性ごとに該当する視聴者の数を集計することができる。そして視聴情報集計サーバ３００は、生成した全視聴者構成情報を、コンテンツ提供サーバ１００および各コンテンツ再生端末２００に提供することができる。

以上、図４を用いて本開示の第１の実施形態にかかる視聴情報集計サーバ３００の動作について説明した。次に、本開示の第１の実施形態にかかるコンテンツ提供サーバ１００の動作について説明する。

［コンテンツ提供サーバの動作例］
図５は、本開示の第１の実施形態にかかるコンテンツ提供サーバ１００の動作例を示す説明図であり、視聴情報集計サーバ３００から全視聴者構成情報の提供を受けた際にコンテンツを決定する処理を示したものである。以下、図５を用いて本開示の第１の実施形態にかかるコンテンツ提供サーバ１００の動作について説明する。

コンテンツ提供サーバ１００は、視聴情報集計サーバ３００から全視聴者構成情報を受信すると、現在送信中のコンテンツはリアルタイムで制作中のものかどうかを判断する（ステップＳ１２１）。具体的には、全視聴者構成情報受信部１２０が視聴情報集計サーバ３００から全視聴者構成情報を受信すると、コンテンツ決定部１３０は、コンテンツ送信部１１０からコンテンツ再生端末２００へ送信しているコンテンツが、リアルタイムで制作中のものかどうかを判断する。

上記ステップＳ１２１の判断の結果、現在送信中のコンテンツはリアルタイムで制作中のものであると判断すると、コンテンツ提供サーバ１００は、その送信中のコンテンツの制作者に、全視聴者構成情報を提供（フィードバック）する（ステップＳ１２２）。全視聴者構成情報の提供方法としては、例えば、コンテンツ制作者が確認し得るモニタ等に、全視聴者構成情報を表示するようにしてもよく、コンテンツ制作者に対して全視聴者構成情報をメール等で送信するようにしてもよい。

一方、上記ステップＳ１２１の判断の結果、現在送信中のコンテンツはリアルタイムで制作中のものでないと判断すると、コンテンツ提供サーバ１００は、その送信中のコンテンツの内容を変更しても良いかどうかを判断する（ステップＳ１２３）。この判断処理は、例えばコンテンツ決定部１３０が実行する。コンテンツの内容の変更の可否は、例えば、コンテンツ提供サーバ１００が送信しているコンテンツの内容や、コンテンツを受信および表示するコンテンツ再生端末２００の設定や、コンテンツを視聴する視聴者の意思等の様々な要因によって判断される。

上記ステップＳ１２３の判断の結果、送信中のコンテンツの内容を変更しても良いと判断した場合は、コンテンツ提供サーバ１００は、受信した全視聴者構成情報における全視聴者構成において、所望の属性の視聴者に適したコンテンツを送信する（ステップＳ１２４）。具体的には、コンテンツ決定部１３０が、全視聴者構成を参照し、コンテンツデータベース１４０の中から適切なコンテンツを選択する。

所望の属性としては、例えば、全視聴者構成情報において多数を占める主要な属性を対象としてもよい。逆に、全視聴者構成情報において少数を占める属性を対象としてもよく、その属性に含まれる視聴者数の増加を意図するように、コンテンツ決定部１３０がコンテンツデータベース１４０の中から適切なコンテンツを選択ようにしてもよい。

コンテンツ提供サーバ１００が、図５に示したような動作を実行することで、視聴情報集計サーバ３００から提供される全視聴者構成情報を用いて送信するコンテンツの制作に役立てられたり、全視聴者構成に応じて送信するコンテンツを自動的に決定したりすることができる。

以上、図５を用いて本開示の第１の実施形態にかかるコンテンツ提供サーバ１００の動作について説明した。次に、本開示の第１の実施形態にかかるコンテンツ再生端末２００で生成される視聴者構成情報の例について説明する。

［視聴者構成情報の例］
図６は、本開示の第１の実施形態にかかるコンテンツ再生端末２００で生成される視聴者構成情報の例を示す説明図である。以下、図６を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００で生成される視聴者構成情報について説明する。

図６に示した視聴者構成情報は、どのコンテンツ再生端末でどの番組（コンテンツ）をどのような人物が視聴しているかについての情報が格納されている。図６に示した視聴者構成情報には、コンテンツ再生端末２００を識別するためのコンテンツ再生端末識別番号、コンテンツの視聴時間、視聴コンテンツ名、視聴者数、視聴者の情報（性別、年齢、人種）が含まれている。もちろん、視聴者構成情報に含まれる情報は図６に示したものに限られないことは言うまでもない。

例えば、「性別」の属性には男性または女性のいずれかの属性値を取り、「年齢」の属性には「１０歳代未満」「１０歳代」「２０歳代」「３０歳代」「４０歳代」「５０歳代」「６０歳代」「７０歳代以上」等の属性値を取ってもよい。また「人種」の属性には、「モンゴロイド」「コーカソイド」「ネグロイド」等の属性値を取っても良い。

以上、図６を用いて、本開示の第１の実施形態にかかるコンテンツ再生端末２００で生成される視聴者構成情報について説明した。次に、視聴情報集計サーバ３００で集計される全視聴者構成情報の例について説明する。

［全視聴者構成情報の例］
図７は、本開示の第１の実施形態にかかる視聴情報集計サーバ３００で集計される全視聴者構成情報の例を示す説明図である。以下、図７を用いて本開示の第１の実施形態にかかる視聴情報集計サーバ３００で集計される全視聴者構成情報の例について説明する。

図７に示した全視聴者構成情報は、総視聴者数と、どのチャンネルのどの番組をどのような人物が視聴しているかについての情報が格納されている。図７に示した全視聴者構成情報には、総視聴者数と、放送局毎や番組毎の視聴率、放送局毎や番組毎の視聴者数を母数とした、性別、年齢、人種等の各属性における属性値全てに関する占有率の情報が含まれている。もちろん、視聴者構成情報に含まれる情報は図７に示したものに限られないことは言うまでもなく、コンテンツ再生端末２００で生成される視聴者構成情報から生成したり集計したりすることが出来る情報であればどのようなものを含んでいても良い。

このように、視聴情報集計サーバ３００で集計される全視聴者構成情報は、総視聴者数や視聴率、占有率など、コンテンツ再生端末２００で生成される視聴者構成情報から生成したり集計したりすることが出来る情報を含む。放送局やコンテンツ配信事業者は、視聴情報集計サーバ３００で集計される全視聴者構成情報のフィードバックを受けて番組作りに活用することが出来る。また視聴者は、視聴情報集計サーバ３００で集計される全視聴者構成情報のフィードバックを受けて、どのような視聴者がどの番組を視聴しているのかを知ることが出来る。

以上、図７を用いて視聴情報集計サーバ３００で集計される全視聴者構成情報の例について説明した。次に、本開示の第１の実施形態にかかるコンテンツ提供サーバ１００における、コンテンツの変更処理例について説明する。

［コンテンツの変更処理例］
（１）リアルタイムに制作し放送するコンテンツの場合
コンテンツを提供する側では、コンテンツ提供サーバ１００が視聴情報集計サーバ３００から全視聴者構成情報を受信すると、コンテンツ内（番組内）の構成や出演者の行動が、全視聴者構成情報を参照して変化する。

例えば、事前には「（１）グルメレポートコーナー」「（２）ゲスト対談コーナー」「（３）料理紹介コーナー」の順番が予定されているが、コンテンツを提供する側は、全視聴者構成情報内の年齢構成や性別構成の変化に合わせて、例えば「（２）ゲスト対談コーナー」と「（３）料理紹介コーナー」の順番を入れ替えるようにしてもよい。

また例えば、提供するコンテンツがクイズ番組である場合では、コンテンツを提供する側は、出題するクイズを全視聴者構成情報内の主要な構成層に合わせて変えていくようにしてもよい。

（２）１チャンネル内で放送する番組の順番を変更する場合
「報道番組」「情報バラエティ番組」「料理番組」「音楽番組」「スポーツ番組」「映画」「ドラマ」「アニメ」等によって構成される一般的な放送チャンネルにおいて、コンテンツを提供する側は、番組毎に想定する視聴者層を設定しておき、コンテンツ提供サーバ１００が視聴情報集計サーバ３００から受信した全視聴者構成情報内のその時の主要構成に合わせて、予定されている番組の順番の変更や、予定外の番組の挿入や、それによる予定番組の削除を行うようにしてもよい。

例えば、ドラマを専門に放送するドラマ専門チャンネルにおいて、コンテンツ提供サーバ１００が視聴情報集計サーバ３００から受信した全視聴者構成情報内の性別構成に合わせて、男性向けあるいは女性向けのドラマ・コンテンツを連続して送信するようにしてもよい。

図１４は、あるチャンネル（例えばチャンネルＡとする）のある時刻（例えば１２時）における全視聴者構成情報の例を示す説明図である。図１４に示した全視聴者構成情報では、視聴者の構成が均等ではなく、特定の視聴者層に偏りがあることが分かる。そこで、番組毎に対象とする性別と年齢層を設定しておき、全視聴者構成情報に基づいて、例えば１２時３０分以降の番組の順番を変更するようにしてもよい。

図１５は、上記チャンネルＡの番組表の例を示す説明図である。変更前の番組表に示したように、元々は１２時３０分からはバラエティ番組（１）、ドラマ番組（１）、バラエティ番組（２）の順に放送されることになっているが、図１４に示した全視聴者構成情報を参照すると、女性の２０歳代から４０歳代の視聴者層が多いことが分かる。従って、コンテンツ提供サーバ１００は、１２時３０分からは、女性を想定対象とした番組を順次放送するように変更してもよい。

以上、本開示の第１の実施形態にかかるコンテンツ提供サーバ１００における、コンテンツの変更処理例について説明した。

以上説明したように、本開示の第１の実施形態にかかるコンテンツ提供システム１によれば、コンテンツ提供サーバ１００から配信されるコンテンツをコンテンツ再生端末２００で再生する際に、どのような視聴者がどのコンテンツを視聴しているかをコンテンツ再生端末２００で集計し、視聴者構成情報を生成する。コンテンツ再生端末２００が生成した視聴者構成情報は視聴情報集計サーバ３００に送信され、視聴情報集計サーバ３００で集計される。

放送局やコンテンツ配信事業者は、視聴情報集計サーバ３００で集計される全視聴者構成情報のフィードバックを受けて番組作りに活用することが出来る。また視聴者は、視聴情報集計サーバ３００で集計される全視聴者構成情報のフィードバックを受けて、どのような視聴者がどの番組を視聴しているのかを知ることが出来る。

＜２．第２の実施形態＞
［システムの構成例］
まず、本開示の第２の実施形態にかかるコンテンツ提供システムの構成例について説明する。図８は、本開示の第２の実施形態にかかるコンテンツ提供システム１’の構成例を示す説明図である。なお、図８に示したコンテンツ提供システム１’は、本開示の行動情報認識システムの一例である。以下、図８を用いて本開示の第２の実施形態にかかるコンテンツ提供システム１’の構成例について説明する。

図８に示したように、本開示の第２の実施形態にかかるコンテンツ提供システム１’は、コンテンツ提供サーバ１００と、コンテンツ再生端末２００と、視聴情報集計サーバ３００と、を含んで構成される。なお、図８では１台のコンテンツ再生端末２００のみを図示しているが、コンテンツ再生端末２００の台数は複数であってもよい。また図８では１台のコンテンツ提供サーバ１００のみを図示しているが、放送局やコンテンツ配信事業者毎にコンテンツ提供サーバ１００が設けられていても良い。

コンテンツ提供サーバ１００は、本開示の行動認識制御情報生成サーバの一例であり、コンテンツ再生端末２００の視聴者が、コンテンツ再生端末２００に対して行う行動（ジェスチャや音声の出力等）をコンテンツ再生端末２００が認識するための行動認識制御情報を生成する。またコンテンツ提供サーバ１００は、コンテンツ再生端末２００に映像番組その他のコンテンツを行動認識制御情報に併せて提供してもよい。図８に示したように、本開示の第２の実施形態にかかるコンテンツ提供サーバ１００は、行動認識制御情報送信部１１１と、全視聴者行動情報受信部１２１と、出演者行動認識部１３１と、を含んで構成される。なお、図８に示したコンテンツ提供サーバ１００には、図１に示したコンテンツ提供サーバ１００の構成要素の一部または全部が含まれていてもよい。コンテンツ提供サーバ１００は、同一のコンテンツを、コンテンツが再生可能な状態にある全てのコンテンツ再生端末２００に対して同時に配信するように構成されていても良く、異なるコンテンツを、そのコンテンツが再生可能な状態にある全てのコンテンツ再生端末２００に対して独立して配信するように構成されていても良い。

行動認識制御情報送信部１１１は、コンテンツ再生端末２００に対して行動認識制御情報を送信する。行動認識制御情報とは、後述するように、コンテンツ再生端末２００の視聴者による行動（ジェスチャや音声の出力等）を、コンテンツ再生端末２００が行動認識処理（ジェスチャ認識や音声認識等）によって認識した際に、認識対象となっている行動かどうかを識別するための情報である。

全視聴者行動情報受信部１２１は、視聴情報集計サーバ３００で集計され、コンテンツ提供サーバ１００に送信される全視聴者行動情報を受信する。全視聴者行動情報受信部１２１が、視聴情報集計サーバ３００から送信される全視聴者行動情報を受信することで、コンテンツを制作する放送局やコンテンツ配信事業者は、コンテンツの視聴者がどのような行動を行ったかを認識できる。

出演者行動認識部１３１は、コンテンツに出演している出演者が所定の動作を行った際にその動作を認識する。出演者行動認識部１３１は、例えば、出演者の姿を認識するための画像認識機能や音声認識機能を備える。出演者行動認識部１３１が認識するコンテンツ出演者の行動は、応答として視聴者に行ってもらいたい動作である。例えば、視聴者に対するアンケートを取る場合に、コンテンツ出演者が指を上げたり下げたりすると、出演者行動認識部１３１はそのコンテンツ出演者の行動を認識する。出演者行動認識部１３１は、コンテンツ出演者の行動を認識すると、認識結果を行動認識制御情報として行動認識制御情報送信部１１１に送信する。そして行動認識制御情報送信部１１１は、出演者行動認識部１３１が生成した行動認識制御情報をコンテンツ再生端末２００に対して送信する。

コンテンツ再生端末２００は、本開示の情報処理端末の一例であり、コンテンツ提供サーバ１００から提供される行動認識制御情報を受信し、コンテンツ再生端末２００の視聴者が、コンテンツ再生端末２００に対して行う行動（ジェスチャや音声の出力等）を認識する。また、コンテンツ再生端末２００は、コンテンツ提供サーバ１００から行動認識制御情報と併せて提供されるコンテンツを受信し、表示してもよい。コンテンツ再生端末２００は、例えばテレビ受像機やパーソナルコンピュータ、タブレット型の通信端末等で構成される。

図８に示したように、本開示の第２の実施形態にかかるコンテンツ再生端末２００は、行動認識制御情報受信部２１１と、表示部２２０と、視聴者行動認識部２３１と、視聴者行動情報送信部２４１と、全視聴者行動情報受信部２５１と、を含んで構成される。なお、図８に示したコンテンツ再生端末２００には、図１に示したコンテンツ再生端末２００の構成要素の一部または全部が含まれていてもよい。

行動認識制御情報受信部２１１は、コンテンツ提供サーバ１００から提供される行動認識制御情報を受信する。行動認識制御情報受信部２１１は、行動認識制御情報を受信すると、受信した行動認識制御情報を視聴者行動認識部２３１に送る。また行動認識制御情報受信部２１１は、行動認識制御情報を受信すると、受信した行動認識制御情報を表示部２２０に送っても良い。

表示部２２０は、全視聴者行動情報受信部２５１が視聴情報集計サーバ３００から受信した、全視聴者構成情報を表示する。また表示部２２０は、行動認識制御情報受信部２１１が受信した行動認識制御情報を取得して、取得した行動認識制御情報を表示してもよい。

視聴者行動認識部２３１は、コンテンツ提供サーバ１００から提供され、表示部２２０に表示されているコンテンツを視聴している視聴者の行動を認識し、視聴者行動情報を生成する。視聴者行動認識部２３１は、視聴者行動情報を生成すると、生成した視聴者行動情報を視聴者行動情報送信部２４１に出力する。視聴者行動認識部２３１は、表示部２２０に表示されているコンテンツを視聴している視聴者の行動を認識するに際し、行動認識制御情報受信部２１１が受信した行動認識制御情報を用いる。視聴者行動認識部２３１の構成は後に詳述する。

視聴者行動情報送信部２４１は、視聴者行動認識部２３１が生成した視聴者行動情報を視聴情報集計サーバ３００に送信する。視聴者行動情報送信部２４１が視聴者行動情報を視聴情報集計サーバ３００に送信する頻度は特定のものに限定されず、例えば１分〜数分おきであってもよく、視聴者行動認識部２３１が生成した視聴者行動情報に変化が発生したタイミングであってもよく、コンテンツ提供サーバ１００が視聴者行動情報の送信を指定した時刻であってもよい。

全視聴者行動情報受信部２５１は、視聴情報集計サーバ３００で集計されてコンテンツ再生端末２００に送信される、全視聴者行動情報を受信する。全視聴者行動情報受信部２５１が受信した全視聴者構成情報は、例えば表示部２２０に送られ、表示部２２０に表示されてもよい。

視聴情報集計サーバ３００は、コンテンツ再生端末２００から送信される視聴者行動情報を受信して、受信した視聴者行動情報を集計して全視聴者行動情報を生成し、生成した全視聴者行動情報をコンテンツ提供サーバ１００およびコンテンツ再生端末２００に提供する。

図８に示したように、本開示の第２の実施形態にかかる視聴情報集計サーバ３００は、視聴者行動情報受信部３１１と、視聴者行動情報集計部３２１と、全視聴者行動情報送信部３３１と、を含んで構成される。なお、図８に示した視聴情報集計サーバ３００には、図１に示した視聴情報集計サーバ３００の構成要素の一部または全部が含まれていてもよい。

視聴者行動情報受信部３１１は、コンテンツ再生端末２００の視聴者行動情報送信部２４１から送信される、コンテンツ再生端末２００の視聴者行動情報を受信するものである。視聴者行動情報受信部３１１は、受信した視聴者行動情報を視聴者行動情報集計部３２１に出力する。

視聴者行動情報集計部３２１は、視聴者行動情報受信部３１１から送られてくる視聴者行動情報を集計し、全視聴者行動情報を生成するものである。視聴者行動情報集計部３２１は、コンテンツ提供サーバ１００が提供するコンテンツを再生する全てのコンテンツ再生端末２００の視聴者行動情報から、全視聴者行動情報を生成する。視聴者行動情報集計部３２１は、生成した全視聴者行動情報を全視聴者行動情報送信部３３１に出力する。

全視聴者行動情報送信部３３１は、視聴者行動情報集計部３２１から送られてくる全視聴者行動情報を、コンテンツ提供サーバ１００およびコンテンツ再生端末２００に送信する。コンテンツ提供サーバ１００が提供するコンテンツを再生する全てのコンテンツ再生端末２００の視聴者行動情報を視聴情報集計サーバ３００が集計し、全視聴者行動情報をコンテンツ提供サーバ１００およびコンテンツ再生端末２００に送信することにより、コンテンツ提供サーバ１００およびコンテンツ再生端末２００は、どの行動をどの程度の視聴者が行っているのかを把握することができる。

以上、図８を用いて本開示の第２の実施形態にかかるコンテンツ提供システム１’の構成例について説明した。次に、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の構成について説明する。

［視聴者行動認識部の構成例］
図９は、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の構成例を示す説明図である。なお、図９には視聴者行動認識部２３１の他に行動認識制御情報受信部２１１も併せて図示している。以下、図９を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の構成について説明する。

図９に示したように、視聴者行動認識部２３１は、画像入力部２６１と、画像認識部２６２と、音声入力部２６３と、音声認識部２６４と、人物推定部２６５と、視聴者行動情報生成部２６７と、を含んで構成される。画像入力部２６１と、画像認識部２６２と、音声入力部２６３と、音声認識部２６４と、人物推定部２６５とは、図２に示した視聴者構成測定部２３０に含まれるものと基本的に同一のものであるが、画像認識部２６２については、図２に示した視聴者構成測定部２３０では、表示部２２０が表示するコンテンツを視聴する視聴者の姿から、どのような視聴者がコンテンツを視聴しているのかについて画像認識していたのに対し、図９に示した視聴者行動認識部２３１では、視聴者がどのようなジェスチャを行っているかについても併せて画像認識により取得する。

視聴者行動情報生成部２６７は、人物推定部２６５が推定した視聴者の推定結果、および行動認識制御情報受信部２１１から送られてくる行動認識制御情報を用いて、コンテンツ再生端末２００が再生するコンテンツを視聴している視聴者の行動と、行動認識制御情報とのマッチングを行う。視聴者行動情報生成部２６７により、視聴者の行動と、行動認識制御情報とのマッチングを行うことで、視聴者行動認識部２３１は、どのような行動を何人が取ったかを認識することができる。

以上、図９を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の構成について説明した。次に、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の動作について説明する。

［視聴者行動認識部の動作例］
図１０は、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の動作を示す流れ図である。図１０に示した流れ図は、視聴者行動認識部２３１による視聴者行動認識処理を示したものである。以下、図１０を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の動作について説明する。

視聴者行動認識部２３１が視聴者行動認識処理を実行するにあたり、まず、視聴者構成測定部２３０によって視聴者構成測定処理が行われる（ステップＳ２０１）。視聴者行動認識部２３１は、視聴者構成測定部２３０による視聴者構成測定処理の結果、視聴者が存在するかどうかを判断する（ステップＳ２０２）。ステップＳ２０２の判断の結果、視聴者が存在していなければ、視聴者行動認識部２３１は視聴者行動認識処理を終了する。

一方、上記ステップＳ２０２の判断の結果、視聴者が存在していれば、続いて視聴者行動認識部２３１は、視聴者のジェスチャ認識及び音声認識を行う（ステップＳ２０３）。そして視聴者行動認識部２３１は、視聴者のジェスチャ認識及び音声認識を行った結果、ジェスチャ認識あるいは音声認識の結果が存在するかどうかを判断する（ステップＳ２０４）。このステップＳ２０４の判断は、例えば画像認識部２６２や音声認識部２６４が行っても良い。

上記ステップＳ２０４の判断の結果、ジェスチャ認識及び音声認識の結果が存在していなければ、視聴者行動認識部２３１は視聴者行動認識処理を終了する。一方、上記ステップＳ２０４の判断の結果、ジェスチャ認識または音声認識の結果が存在していれば、続いて視聴者行動認識部２３１は、ジェスチャ認識または音声認識の結果が認識対象となっているものかどうかを判断する（ステップＳ２０５）。具体的には、この判断は視聴者行動情報生成部２６７が、行動認識制御情報受信部２１１から送られてくる行動認識制御情報と、視聴者のジェスチャ認識及び音声認識の結果とを照らし合わせることで行われる。

上記ステップＳ２０５の判断の結果、ジェスチャ認識または音声認識の結果が認識対象となっているものでなければ、視聴者行動認識部２３１は、その認識結果は対象外のものであるとして、視聴者行動認識処理を終了する。一方、上記ステップＳ２０５の判断の結果、ジェスチャ認識または音声認識の結果が認識対象となっているものであれば、視聴者行動認識部２３１は、その認識結果から視聴者行動情報を生成し、上記ステップＳ２０１で生成した視聴者構成情報を加える。具体的には、視聴者行動情報は視聴者行動情報生成部２６７が生成する。

もちろん、視聴者行動情報は、視聴者構成情報とは別に生成されるようにしてもよい。しかし、視聴者の構成情報のみではなく、視聴者の行動に関する情報も収集することによって、コンテンツ再生端末２００は、視聴者の意図をより具体的にコンテンツ提供側に伝達することが可能となり、また「視聴している」という行為以外の行動によっても視聴者の意図を伝達することが可能となる。

視聴者行動認識部２３１が、図１０に示したような動作を実行することで、本開示の第２の実施形態にかかるコンテンツ再生端末２００は、表示しているコンテンツを視聴している視聴者の行動についての情報である視聴者行動情報を生成することができる。

以上、図１０を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００に含まれる、視聴者行動認識部２３１の動作について説明した。次に、本開示の第２の実施形態にかかるコンテンツ提供システム１’で用いられる行動認識制御情報の例について説明する。

［行動認識制御情報の例］
図１１は、本開示の第２の実施形態にかかるコンテンツ提供システム１’で用いられる行動認識制御情報の例を示す説明図である。以下、図１１を用いて、本開示の第２の実施形態にかかるコンテンツ提供システム１’で用いられる行動認識制御情報の例について説明する。

行動認識制御情報は、コンテンツを提供する側において、出演者が、応答として視聴者に行ってもらいたい所望の動作を行った際に、コンテンツ提供サーバ１００で作成され、コンテンツ再生端末２００に送信される情報である。図１１には、行動認識制御情報として、視聴者に行ってもらいたい動作を示す情報（「ＲａｉｓｅＡｒｍＲｉｇｈｔ（右手を上げる）」、「ＲａｉｓｅＡｒｍＬｅｆｔ（左手を上げる）」、「ＴｈｕｍｂＵｐ（親指を立てる）」、「ＴｈｕｍｂＤｏｗｎ（親指を下げる）」）と、その動作の有効・無効（Ｏｎ、Ｏｆｆ）を示す情報とが示されている。

もちろん、応答として視聴者に行ってもらいたい所望の動作はかかる例に限定されない。例えば、「挙手」ジェスチャ、「指差し」、指を１本・５本のいずれかを伸ばして示すことによる「番号」ジェスチャなどを示す情報を、行動認識制御情報に含めても良い。また例えば、ジャンケンのような１対Ｎで行われる動作や、Ｎ対Ｎで行われる動作の判定を自動的に行うための情報を、行動認識制御情報に含めても良い。

コンテンツ再生端末２００は、コンテンツ提供サーバ１００から行動認識制御情報を受信すると、行動認識制御情報としてコンテンツ提供サーバ１００から提供された行動を認識対象とすることができる。図１１に示したような行動認識制御情報がコンテンツ提供サーバ１００から提供された場合は、コンテンツ再生端末２００は、視聴者による右手を上げた動作と、左手を上げた動作とを認識対象とする。

行動認識制御情報がコンテンツ提供サーバ１００からコンテンツ再生端末２００に送信されると、コンテンツ再生端末２００は、行動認識制御情報が送信される時にコンテンツの出演者が行っている動作のみが認識対象であることを把握することができる。

しかし、コンテンツ再生端末２００は、行動認識制御情報として登録されていない視聴者の動作を認識する場合もある。例えば、コンテンツ提供サーバ１００から提供されるコンテンツが、外国語習得の為の通信学習コンテンツである場合は、コンテンツ再生端末２００の視聴者の行動（発音等）を全て登録するのは現実的ではない。その場合は、例えば、音の特徴量情報をコンテンツ提供サーバ１００からコンテンツ再生端末２００に送信し、コンテンツ再生端末２００は、受信した音の特徴量情報と、視聴者が発音した音との類似度を計算して判定するようにしてもよい。なお、音の特徴量情報としては、例えば、「声音（スペクトル情報）」「イントネーション（声の高さ、声の強さ、声の速さといった韻律情報）」などであってもよい。

以上、図１１を用いて、本開示の第２の実施形態にかかるコンテンツ提供システム１’で用いられる行動認識制御情報の例について説明した。次に、本開示の第２の実施形態にかかるコンテンツ再生端末２００で生成される、視聴者行動情報の例について説明する。

［視聴者行動情報の例］
図１２は、本開示の第２の実施形態にかかるコンテンツ再生端末２００で生成される、視聴者行動情報の例を示す説明図である。以下、図１２を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００で生成される、視聴者行動情報の例について説明する。

図１２に示した、コンテンツ再生端末２００で生成される視聴者行動情報は、コンテンツ再生端末２００でコンテンツを視聴している視聴者数と、各視聴者の行動を示す情報と、を含んでいる。図１２には、コンテンツ再生端末２００でコンテンツを視聴している視聴者数が３人であり、３人の視聴者それぞれの動作に対応する行動情報が視聴者行動情報に含まれている状態が示されている。なおコンテンツ再生端末２００は、行動認識を行った結果、行動認識結果が取得できない視聴者については、応答なしを意味する情報（例えば「ＤｏＮｏｔｈｉｎｇ」など）を視聴者行動情報に含めて、視聴情報集計サーバ３００に送信する。

以上、図１２を用いて、本開示の第２の実施形態にかかるコンテンツ再生端末２００で生成される、視聴者行動情報の例について説明した。次に、本開示の第２の実施形態にかかる視聴情報集計サーバ３００で生成される、全視聴者行動情報の例について説明する。

［視聴者行動情報の例］
図１３は、本開示の第２の実施形態にかかる視聴情報集計サーバ３００で生成される、全視聴者行動情報の例を示す説明図である。以下、図１３を用いて、本開示の第２の実施形態にかかる視聴情報集計サーバ３００で生成される、全視聴者行動情報の例について説明する。

図１３に示した、視聴情報集計サーバ３００で生成される全視聴者行動情報は、コンテンツの全視聴者数と、行動認識制御情報に含まれる各行動を行った視聴者の総数と、を含んでいる。このように視聴情報集計サーバ３００が視聴者行動情報を集計して全視聴者行動情報を生成することで、コンテンツの制作者側は、リアルタイムで視聴者の行動の状況を把握することができ、また視聴者側は、他の視聴者による行動の状況を把握することができる。

なお、視聴情報集計サーバ３００は、行動認識制御情報によって認識対象となっていない行動認識結果については、対象外を意味する情報（例えば「Ｎ／Ａなど」）をコンテンツ提供サーバ１００やコンテンツ再生端末２００に送信してもよい。

以上、図１３を用いて、本開示の第２の実施形態にかかる視聴情報集計サーバ３００で生成される、全視聴者行動情報の例について説明した。

＜３．まとめ＞
以上説明したように本開示の各実施形態によれば、コンテンツの制作者側は、広範囲で詳細な視聴実態に関する情報を入手可能となる。そしてコンテンツの制作者側は、主要な視聴者群に合わせて提供コンテンツの内容をリアルタイムに変更することによって、多くの視聴者によりマッチしたコンテンツの提供が可能となる。またコンテンツの制作者側は、コンテンツの内容に関して、視聴者の応答を把握しながら、その結果に応じてコンテンツの内容を動的に変更することが可能となる。これによって、コンテンツの制作者側は多くの視聴者によりマッチしたコンテンツの提供が可能となる。

また本開示の各実施形態によれば、コンテンツの視聴者側は、多くの視聴者の視聴動向をリアルタイムに知ることによって、視聴するコンテンツの選択に有益な情報を得ることができる。またコンテンツの視聴者側は、ザッピングのような視聴行動や、詳細な電子番組表の情報を利用した探索などでは選択困難なコンテンツへの到達が可能となり得る。また、従来の視聴率調査では、視聴する個人が誰であるかを通知する為のボタン操作や、視聴の開始時と終了時を通知する為の操作等が必要であるが、そのような視聴に関する詳細な情報を取得する為の操作が不要となる。

またコンテンツの視聴者側は、多くの視聴者の応答をリアルタイムに知ることによって、視聴者自身にとっての有益な情報を得ることができる。またコンテンツの視聴者側は、従来の番組視聴では応答を入力する為にリモコンでのボタン操作等が必要であるが、視聴者からの応答を入力する為の専用の機器やそれに合わせた操作から解放される。またコンテンツ再生端末は、コンテンツを視聴する複数の視聴者が存在する場合においても、従来の番組視聴ではリモコン等の専用機器を通して視聴者１名分のみの情報が取得可能であったが、それぞれの視聴者の応答を全て取得することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、コンテンツ提供システム１、１’に視聴者情報集計サーバ３００を含めていたが、本開示はかかる例に限定されない。コンテンツ再生端末２００からの情報はコンテンツ提供システム１、１’外の別のサーバで集計するようにしておき、コンテンツ提供サーバ１００およびコンテンツ再生端末２００は、該サーバから集計された情報を取得するようにしてもよい。また、コンテンツ再生端末２００からの情報は、コンテンツ提供サーバ１００が集計するようにしても良い。すなわち、図８に示した視聴情報集計サーバ３００の構成が、コンテンツ提供サーバ１００に含まれるようにしても良い。

なお、本技術は以下のような構成も取ることができる。
（１）
ユーザに行ってもらう行動を認識するための行動認識制御情報を生成する行動認識制御情報生成サーバと、
前記行動認識制御情報生成サーバから前記行動認識制御情報を受信し、該行動認識制御情報を用いてユーザの行動を認識する１以上の情報処理端末と、
を備え、
各前記情報処理端末は、
該情報処理端末のユーザによる行動を認識し、前記行動認識制御情報生成サーバから送信される行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識部と、
前記ユーザ行動認識部が生成したユーザ行動情報を外部に送信するユーザ行動情報送信部と、
１以上の前記情報処理端末から送信されたユーザ行動情報の集計結果を受信するユーザ行動情報受信部と、
を含む、行動情報認識システム。
（２）
前記行動認識制御情報生成サーバは、ユーザによる所定の動作の内容を認識して行動認識制御情報を生成するユーザ行動認識部をさらに含む、前記（１）に記載の行動情報認識システム。
（３）
前記行動認識制御情報生成サーバは、前記ユーザ行動認識部が生成した行動認識制御情報を前記１以上の情報処理端末に送信する、前記（２）に記載の行動情報認識システム。
（４）
前記行動認識制御情報生成サーバは、前記１以上の情報処理端末にコンテンツを配信し、
前記ユーザ行動認識部は、
該情報処理端末が再生するコンテンツの視聴者の構成を推定する人物推定部を含む、前記（１）〜（３）のいずれかに記載の行動情報認識システム。
（５）
前記ユーザ行動認識部は、
前記人物推定部が推定した視聴者の構成と、前記行動認識制御情報生成サーバから送信される行動認識制御情報とを用いて、視聴者ごとの行動の情報である視聴者行動情報を生成する視聴者行動情報生成部をさらに含む、前記（４）に記載の行動情報認識システム。
（６）
前記行動認識制御情報生成サーバは、前記１以上の情報処理端末に同一のコンテンツを同時に配信し、
前記情報処理端末は、前記行動認識制御情報生成サーバから提供されるコンテンツを視聴している視聴者の構成を測定する視聴者構成測定部をさらに含む、前記（１）〜（５）のいずれかに記載の行動情報認識システム。
（７）
前記ユーザ行動情報受信部は、前記視聴者構成測定部で測定された各前記情報処理端末における視聴者の構成を集計して生成される全視聴者構成情報を受信する、前記（６）に記載の行動情報認識システム。
（８）
前記行動認識制御情報生成サーバは、前記視聴者構成測定部で測定された各前記情報処理端末における視聴者の構成を集計して生成される全視聴者構成情報を用いて、提供するコンテンツを決定するコンテンツ決定部をさらに含む、前記（６）または（７）に記載の行動情報認識システム。
（９）
ユーザに実行してもらう行動を認識するための行動認識制御情報を送信する行動認識制御情報送信部と、
前記行動認識制御情報に基づいて得られる、前記ユーザによる行動情報を集計して全ユーザ行動情報を生成するユーザ行動情報集計部と、
を備える、情報処理装置。
（１０）
ユーザに行ってもらう行動を認識するための行動認識制御情報をサーバ装置で生成し、ユーザの行動を認識する１以上の端末に送信する行動認識制御情報生成ステップと、
ユーザによる行動を認識し、前記行動認識制御情報生成ステップで生成された前記行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識ステップと、
前記ユーザ行動認識ステップが生成したユーザ行動情報を外部に送信するユーザ行動情報送信ステップと、
１以上の前記端末から送信されたユーザ行動情報の集計結果を１以上の前記端末で受信するユーザ行動情報受信ステップと、
を含む、行動情報認識システム。

１ コンテンツ提供システム
１００ コンテンツ提供サーバ
１１０ コンテンツ送信部
１１１ 行動認識制御情報送信部
１２０ 全視聴者構成情報受信部
１２１ 全視聴者行動情報受信部
１３０ コンテンツ決定部
１３１ 出演者行動認識部
１４０ コンテンツデータベース
２００ コンテンツ再生端末
２１０ コンテンツ受信部
２１１ 行動認識制御情報受信部
２２０ 表示部
２３０ 視聴者構成測定部
２３１ 視聴者行動認識部
２４０ 視聴者構成情報送信部
２４１ 視聴者行動情報送信部
２５０ 全視聴者構成情報受信部
２５１ 全視聴者行動情報受信部
２６１ 画像入力部
２６２ 画像認識部
２６３ 音声入力部
２６４ 音声認識部
２６５ 人物推定部
２６６ 視聴者構成情報生成部
２６７ 視聴者行動情報生成部
３００ 視聴情報集計サーバ
３１０ 視聴者構成情報受信部
３１１ 視聴者行動情報受信部
３２０ 視聴者構成情報集計部
３２１ 視聴者行動情報集計部
３３０ 全視聴者構成情報送信部
３３１ 全視聴者行動情報送信部

Claims (10)

1. ユーザに行ってもらう行動を認識するための行動認識制御情報を生成する行動認識制御情報生成サーバと、
   前記行動認識制御情報生成サーバから前記行動認識制御情報を受信し、該行動認識制御情報を用いてユーザの行動を認識する１以上の情報処理端末と、
   を備え、
   各前記情報処理端末は、
   該情報処理端末のユーザによる行動を認識し、前記行動認識制御情報生成サーバから送信される行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識部と、
   前記ユーザ行動認識部が生成したユーザ行動情報を外部に送信するユーザ行動情報送信部と、
   １以上の前記情報処理端末から送信されたユーザ行動情報の集計結果を受信するユーザ行動情報受信部と、
   を含む、行動情報認識システム。
2. 前記行動認識制御情報生成サーバは、ユーザによる所定の動作の内容を認識して行動認識制御情報を生成するユーザ行動認識部をさらに含む、請求項１に記載の行動情報認識システム。
3. 前記行動認識制御情報生成サーバは、前記ユーザ行動認識部が生成した行動認識制御情報を前記１以上の情報処理端末に送信する、請求項２に記載の行動情報認識システム。
4. 前記行動認識制御情報生成サーバは、前記１以上の情報処理端末にコンテンツを配信し、
   前記ユーザ行動認識部は、
   該情報処理端末が再生するコンテンツの視聴者の構成を推定する人物推定部を含む、請求項１に記載の行動情報認識システム。
5. 前記ユーザ行動認識部は、
   前記人物推定部が推定した視聴者の構成と、前記行動認識制御情報生成サーバから送信される行動認識制御情報とを用いて、視聴者ごとの行動の情報である視聴者行動情報を生成する視聴者行動情報生成部をさらに含む、請求項４に記載の行動情報認識システム。
6. 前記行動認識制御情報生成サーバは、前記１以上の情報処理端末に同一のコンテンツを同時に配信し、
   前記情報処理端末は、前記行動認識制御情報生成サーバから提供されるコンテンツを視聴している視聴者の構成を測定する視聴者構成測定部をさらに含む、請求項１に記載の行動情報認識システム。
7. 前記ユーザ行動情報受信部は、前記視聴者構成測定部で測定された各前記情報処理端末における視聴者の構成を集計して生成される全視聴者構成情報を受信する、請求項６に記載の行動情報認識システム。
8. 前記行動認識制御情報生成サーバは、前記視聴者構成測定部で測定された各前記情報処理端末における視聴者の構成を集計して生成される全視聴者構成情報を用いて、提供するコンテンツを決定するコンテンツ決定部をさらに含む、請求項６に記載の行動情報認識システム。
9. ユーザに実行してもらう行動を認識するための行動認識制御情報を送信する行動認識制御情報送信部と、
   前記行動認識制御情報に基づいて得られる、前記ユーザによる行動情報を集計して全ユーザ行動情報を生成するユーザ行動情報集計部と、
   を備える、情報処理装置。
10. ユーザに行ってもらう行動を認識するための行動認識制御情報をサーバ装置で生成し、ユーザの行動を認識する１以上の端末に送信する行動認識制御情報生成ステップと、
    ユーザによる行動を認識し、前記行動認識制御情報生成ステップで生成された前記行動認識制御情報と、前記認識の結果とからユーザ行動情報を生成するユーザ行動認識ステップと、
    前記ユーザ行動認識ステップが生成したユーザ行動情報を外部に送信するユーザ行動情報送信ステップと、
    １以上の前記端末から送信されたユーザ行動情報の集計結果を１以上の前記端末で受信するユーザ行動情報受信ステップと、
    を含む、行動情報認識システム。
    

Images