JP2016100033A - 再生制御装置 - Google Patents

Abstract

【課題】既存のコンテンツを使用する際にも、精度よく視聴者の反応を推定し、視聴者を飽きさせずに教育効果を向上させることができる再生制御装置を提供すること。
【解決手段】コンテンツの再生を制御する再生制御装置であって、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する画像解析部と、前記画像解析部が検出した人物の状態から集中度を算出する集中度算出部と、前記コンテンツの再生方法を変更する再生制御部とを備える。
【選択図】図１

Description

本発明は、再生制御装置に関する。

現在の日本では、本格的な少子高齢化社会が到来しつつあり、次代を担う若者の減少を食い止めるため、子育て支援など多くの少子化対策に取り組む必要性が差し迫っている。特に、幼児期の子育て支援は、親の就労と子育ての両立を図るという側面だけでなく、子どもの将来の人格形成にも重要な教育施策である。しかし、現状では、保育所や幼稚園が不足する地域が存在し、その要因として、深刻な保育士、幼稚園教諭の不足が問題となっている。そのため、不足している保育者を支援するための幼児教育方法および教育効果計測方法、幼児教育システムを提供することが可能なコンテンツの再生方法や提示方法、コンテンツ再生機器やシステムが提案されている。

例えば、特許文献１では、コンテンツを視聴しているユーザの反応を推定する反応推定装置が記載されている。この反応推定装置では、コンテンツのシーンごとに定義したユーザに期待される反応がメタデータとしてコンテンツに予め付与されている。この反応推定装置は、ユーザによるコンテンツ視聴時に、状態検出装置で検出されたユーザの状態からその状態変化を検出し、コンテンツからシーンに対応するメタデータを取得する。そして、反応推定装置は、状態変化の変化量が所定の閾値を超えた場合、その時点でユーザが視聴していたシーンに付与されたメタデータが表す反応を、当該シーンに対してユーザが示した反応として判定する。

また、特許文献２には、絵本の表示システムが記載されている。この表示システムでは、絵本の中身を電子情報化して記録した記録媒体が需要者（視聴者）に配布され、需要者は、記録媒体に保存されたデータを端末で再生し、端末のモニタに表示される映像化された絵本を視聴する。そして、表示システムは、絵本の中身についての需要者の発言を音声認識し、インターネットを介して絵本創作者に提示する。これにより、絵本創作者は、発言内容に応じて絵本を修正することができる。

特開２０１１−２３９１５８号公報 特開２００３−１８２２５９号公報

しかしながら、特許文献１に記載のユーザの反応推定装置では、あらかじめユーザに期待される反応をメタデータとしてコンテンツに記録する必要があり、視聴者へコンテンツを提示するには、特別なコンテンツを作成する必要があった。したがって既に作成されたコンテンツを使用することができなかった。また、シーン毎に推定されたユーザの反応は、あらかじめ定義した反応以外には推定できず、推定された反応が限定されてしまうという問題があった。

特許文献２に記載の絵本の作成方法は、ユーザの発言内容に合わせ、絵本自体を修正するため、ユーザへのコンテンツの再配布が発生し、利便性が悪かった。また、保育園や幼稚園などの多人数を対象とした絵本の読み聞かせの場合、ユーザの反応の取得に音声認識を用いると、複数のユーザが同時に発言するケースが発生し、誤検出の要因となるため、ユーザ全員の反応を取得するのが困難であった。さらに、コンテンツに対するユーザの反応として、必ずしも発言するとは限らず、飽きて集中度が下がってくると、よそ見や走りまわるなど、音声を伴わない反応を示す場合があるため、ユーザの反応を見逃してしまうという問題があった。

本発明は、上記の点を鑑みてなされたもので、既存のコンテンツを使用する際にも、精度よく視聴者の反応を推定し、視聴者を飽きさせずに教育効果を向上させることができる再生制御装置を提供する。

（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、コンテンツの再生を制御する再生制御装置であって、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する画像解析部と、前記画像解析部が検出した人物の状態から集中度を算出する集中度算出部と、前記コンテンツの再生方法を変更する再生制御部とを備えることを特徴とする再生制御装置である。

（２）また、本発明の他の態様は、（１）に記載の再生制御装置であって、前記人物の状態は、前記人物各々の顔の向き、前記画像から検出した前記人物全体の動き量、前記人物各々の動き量、前記人物各々の姿勢、前記人物各々の表情のうち、少なくとも１つを含むことを特徴とする。

（３）また、本発明の他の態様は、（１）または（２）に記載の再生制御装置であって、前記集中度に基づき、前記コンテンツの再生を制御する再生制御部を備えることを特徴とする。

（４）また、本発明の他の態様は、（３）に記載の再生制御装置であって、前記再生制御部は、前記集中度が所定の値より低下したときに、再生しているコンテンツを停止させ、前記再生しているコンテンツとは異なるコンテンツを再生させ、前記集中度が所定の値より向上したときに、再生を停止させていたコンテンツの再生を再開すること特徴とする。

（５）また、本発明の他の態様は、（１）から（３）のいずれかに記載の再生制御装置であって、前記再生しているコンテンツの一部分を、実物大で表示されるようにスケーリングする表示制御部を備え、前記表示制御部は、スケーリングする前記一部分を、前記集中度に応じて変更することを特徴とする。

この発明によれば、既存のコンテンツを使用する際にも、精度よく視聴者の反応を推定し、視聴者を飽きさせずに教育効果を向上させることができる。

本発明の第１の実施形態に係る再生制御システム１の構成を示す概念図である。 同実施形態に係る再生制御装置１２等の構成を示す概略ブロック図である。 同実施形態に係る視聴者Ｃが表示装置１０を向いている顔の角度を示す概念図（その１）である。 同実施形態に係る視聴者Ｃが表示装置１０を向いている顔の角度を示す概念図（その２）である。 同実施形態に係る視聴者Ｃが表示装置１０を向いている顔の角度を示す概念図（その３）である。 同実施形態に係る画像解析部１２１の構成を示す概略ブロック図である。 同実施形態に係る視聴者Ｃ全体の動きを検出する場合を説明する概念図である。 同実施形態に係る個々の視聴者Ｃの動きを検出する場合を説明する概念図である。 同実施形態に係る再生制御処理を示すフローチャートである。 本発明の第２の実施形態における再生制御装置１２ａの構成を示す概略ブロック図である。 同実施形態に係る絵本の読み聞かせコンテンツを教育コンテンツとして表示する場合の一例である。 同実施形態に係る再生制御処理を示すフローチャートである。 本発明の第３の実施形態に係る再生制御システム１ｂの構成を示す概念図である。 本発明の第１の実施形態の変形例に係る再生制御システム１ｃの構成を示すブロック図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。図１は、本発明の第１の実施形態に係る再生制御システム１の構成を示す概念図である。再生制御システム１は、表示装置１０、再生制御装置１２、情報表示端末装置２１を含む。表示装置１０は、撮像装置１１、表示部１００、スピーカ１０１、マイク（マイクロフォン）１０２を含む。再生制御装置１２と、情報表示端末装置２１とは、インターネット、ＬＡＮ（Local Area Network）などのネットワーク４１により接続されている。

再生制御システム１は、園児や、学生等の講義受講者等の視聴者Ｃ向けに、絵本などの読み聞かせコンテンツ、授業ビデオなどのコンテンツを表示し、その視聴状態を撮像する。そして、再生制御システム１は、撮像した画像から検出した人物の位置や動き、行動の状態を認識する。さらに、再生制御システム１は、認識した情報から視聴者Ｃの集中度を算出する。ユーザＵは、表示しているコンテンツによる教育効果を、再生制御システム１が算出した集中度によって判定することができる。ユーザＵは、コンテンツ視聴に対し、集中度が低下している（算出した集中度があらかじめ定めた閾値を下回る）など、教育効果が上がっていないと判断した場合は、再生方法の変更を、再生制御システム１に指示することができる。再生方法の変更には、例えば、コンテンツの再生を停止させる、しばらく時間をおいて再生させる、他のコンテンツを再生させる、または集中度が低下しているコンテンツの再生区間を繰り返し再生させるといったものがある。

また、再生制御システム１は、集中度に加えて、上述した認識した情報を、視聴者Ｃが居る宅内又は遠隔地に設置された情報表示端末装置２１に送信してもよい。送信された情報は、表示したコンテンツの教育効果の測定や子守り、見守り、侵入者の監視、防犯、その他のセキュリティ管理、宅内における電子機器の監視、制御、等、様々な用途に用いることができる。しかし、本実施形態は、これらの用途を必ずしも必須の構成とするものではない。

表示部１００は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイなどの映像表示デバイスを有し、入力された映像信号が表す映像を表示する。スピーカ１０１は、入力された音声信号が表す音声を出力する。再生制御装置１２には、絵本の読み聞かせ映像や教育ビデオ、講義ビデオなど（以下教育コンテンツ）が記録されている。再生制御装置１２は、記録されている教育コンテンツを、表示装置１０に送る。表示装置１０は、表示部１００にその映像を表示させ、スピーカ１０１にその音声を出力させる。これにより、視聴者Ｃはこれら教育コンテンツを視聴することができる。

撮像装置１１は、被写範囲内の被写体を視聴者Ｃ前方から撮像する撮像部１１０を含み、撮像部１１０が撮像して生成した画像データを、再生制御装置１２に送る。撮像部１１０は、被写体の像を結像させる光学系と、この光学系により結像された像を画像データに変換する撮像素子とを含む。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）素子である。撮像部１１０は、１個であってもよいし、２個以上であってもよい。２個以上の撮像部１１０間で、それぞれの撮像領域（画角）を分担することで、より広い領域を撮像することや、ある被写体（例えば、家具）によって遮られる領域（オクルージョン領域）を減少することが可能となる。

再生制御装置１２は、撮像装置１１により撮影された画像を取得し、その画像から人物の有無や動き情報などを検出し、検出された人物がどの位置にいるか、どのような行動をしているか、等、人物の状態に関する情報（以下、「認識情報」と呼ぶ）を認識（取得）する。マイク１０２は、撮像装置１１の撮像と同期して、収音した音声を表す音声データを生成し、再生制御装置１２に送る。再生制御装置１２は、取得した音声データと画像データを記録する。

再生制御装置１２は、それぞれ、撮像装置１１が撮像した画像データと、マイク１０２が取得した音声データと、認識した認識情報とを、ネットワーク４１を介して、情報表示端末装置２１に送信する。再生制御装置１２が送信するデータは、認識情報のみでもよいし、画像および音声データのみでもよいし、その両方でもよい。

情報表示端末装置２１は、再生制御装置１２から画像・音声データ及び認識情報を受信し、受信した画像データが表す画像や認識情報を表示する。これにより、ユーザＵは、教育コンテンツを視聴している視聴者Ｃの視聴状態を把握することができる。

なお、撮像装置１１の垂直方向の位置及び向きについては、表示部１００の上方に設置（内蔵）された場合、その光学系の光学軸が、表示部１００に表示された画像を見易い領域において、表示部１００の中心を通り、かつ、表示部１００に垂直な軸と交差するように、水平方向から所定角度（例えば、３０°）だけ下向きであればよい。また、撮像装置１１が表示部１００の下方に設置（内蔵）された場合、同様に交差するように、光学軸が水平方向から所定角度（例えば、３０°）だけ上向きであればよい。なお、撮像装置１１の位置、方向は、内蔵する撮像部１１０により撮影される画像が視聴者Ｃ全体を網羅するように設置されていれば、いかなる位置、方向であってもよい。例えば、天井、壁面に表示装置１０とは別の機器として設置されてもよいし、それらに設置される照明器具や空調装置に内蔵されてもよい。

また、再生制御装置１２の個数は、１台に限られず、２台以上であってもよい。再生制御装置の位置は、視聴者Ｃ全体が教育コンテンツを視認し易い位置（壁面など）であれば、いかなる位置であってもよく、屋内であってもよいし、屋外にあってもよい。

図２は、本実施形態に係る再生制御装置１２等の構成を示す概略ブロック図である。図２に示すように、撮像装置１１は、設置情報取得部１１１を含む。また、図２に示すように、再生制御装置１２は、情報ＤＢ１２０、画像解析部１２１、集中度算出部１２２、データ変換部１２３、伝送制御部１２４、及び再制御部１２５を含んで構成される。

設置情報取得部１１１は、撮像装置１１の設置状態を示す設置情報を取得し、取得した設置情報を画像解析部１２１に出力する。設置情報取得部１１１は、例えば、撮像装置１１の高さ、向きを検知する、赤外線センサ、測距センサ、加速度センサ、ジャイロセンサ、電子コンパス等を備え、撮像部１１０の位置や向きを検出してもよい。また、設置情報取得部１１１は、撮像装置１１の周囲、例えば被写範囲の明るさを検知する輝度センサを備えてもよいし、撮像部１１０が生成した画像データに基づいて明るさを検知してもよい。これらのセンサで検出された信号は、設置情報を示す。なお、設置情報取得部１１１は、これらの設置情報を他の機器から入力されてもよいし、ユーザによる操作入力に応じて入力されてもよい。

次に、本実施形態に係る再生制御装置１２の構成について説明する。
〔画像解析部１２１〕
画像解析部１２１は、撮像装置１１から入力された画像データを解析することにより、画像データが表す画像から被写体である人物やその人物の顔を検出する。画像解析部１２１は、検出した人物を識別し、また、その人物がとる動きや行動を検知する。画像解析部１２１は、画像データを解析する際、情報ＤＢ１２０に記憶された各種のデータを参照する。各種のデータには、画像解析部１２１における人物、顔の検出に用いられる人物、顔、等のテンプレート、人物の識別に用いられる特徴量データ（つまり、顔識別ＤＢ、設置状態に応じた顔識別ＤＢ）、動きや行動の検出に用いるためのモーション情報、等が含まれる。画像解析部１２１は、人物や顔の検出の有無、検出した人物、顔、その属性（年齢、性別など）、表情、識別した人物、検知した動き量、顔の向き、行動、のいずれか又はそれらの組み合わせである人物の状態を表す認識情報を生成し、生成した認識情報を集中度算出部１２２および情報ＤＢ１２０に出力する。情報ＤＢ１２０は画像解析部１２１から出力された認識情報を記憶する。画像解析部１２１は、認識情報の生成に用いた画像データおよび音声データを、その認識情報とともに集中度算出部１２２および情報ＤＢ１２０に出力してもよい。

また、画像解析部１２１は、画像データを解析する際、さらに、設置情報取得部１１１から入力された設置情報を参照してもよい。画像解析部１２１は、設置情報を認識情報に付加して集中度算出部１２２および情報ＤＢ１２０に出力してもよい。

〔情報ＤＢ１２０〕
情報ＤＢ１２０は、画像解析部１２１で用いられる各種のデータを記憶する記憶媒体（メモリ）を含んで構成される記憶部である。また、情報ＤＢ１２０は、画像解析部１２１で生成された中間データ、参照された現在・過去の画像データや音声データ、画像解析部１２１が出力する認識情報を一時的に記憶してもよい。また、情報ＤＢ１２０は、画像解析部１２１が生成した認識情報を情報表示端末装置２１で表示するための情報、例えば、表示用フォーマット、等を記憶し、再生制御装置１２は、その情報を認識情報とともに情報表示端末装置２１に送信してもよい。表示用フォーマットには、例えば、認識された人物について検知された行動を情報表示端末装置２１の表示部（不図示）に表示する際の態様、位置、文字、等を指定する情報が含まれてもよい。

〔集中度算出部１２２〕
集中度算出部１２２は、画像解析部１２１から入力された認識情報から視聴者Ｃの集中度を算出する。例えば、集中度算出部１２２は、画像解析部１２１から入力される、画像データ上の人物の顔の向きから、表示装置１０の方向を向いているか否かで判定する。集中度算出部１２２は、あらかじめ定めた閾値より表示装置１０に向いている顔の角度が小さい場合、集中していると判定し、閾値より大きい場合に集中度が低下している（飽きている）と判定する。

図３は、視聴者Ｃが表示装置１０を向いている顔の角度を示す概念図であり、表示装置１０と視聴者Ｃを上から見た場合の上面図である。集中度算出部１２２が、視聴者Ｃが表示装置１０の方向を向いていると判定する条件は、視聴者Ｃの向いている方向（顔面と垂直となる正面方向）と表示部１００の平面（表示面）が垂直に交わることである。この表示部１００の平面と垂直に交わる方向を表示装置１０を向いている基準方向（ａ）（ｂ）（ｃ）として図示している。図３の基準方向（ａ）、（ｂ）上の視聴者Ｃの向いている方向は、いずれも表示装置１０を向いている基準方向（ａ）、（ｂ）と平行であるため、基準方向（ａ）、（ｂ）上の視聴者Ｃは表示装置１０を向いている（すなわち、集中している）と、集中度算出部１２２は判定する。

図３の基準方向（ｃ）上の視聴者Ｃの向いている方向は、いずれも表示装置１０を向いている基準方向（ｃ）とは異なる方向を向いている。表示装置１０を向いている基準方向（ｃ）と、基準方向（ｃ）上の視聴者Ｃの向いている方向とのなす角度（図３上の表示装置１０を向いている角度）があらかじめ定めた閾値より大きい場合は、基準方向（ｃ）上の視聴者Ｃは表示装置１０を向いていない（すなわち、集中度が低下している）と、集中度算出部１２２は判定する。反対に、表示装置１０を向いている角度があらかじめ定めた閾値より小さい場合は、基準方向（ｃ）上の視聴者Ｃは表示装置１０を向いている（すなわち、集中している）と、集中度算出部１２２は判定する。このように、視聴者Ｃが表示装置１０を向いていると判定する条件として、表示装置１０を向いている基準方向と表示装置１０の表示部１００の平面が垂直に交わることを用いるのは、表示装置１０の幅の大きさに対し、視聴者Ｃの集団全体の幅が略同じの大きさであるか、視聴者Ｃ全体が表示装置１０の幅の領域内にいる場合であるとしてもよい。

また、視聴者Ｃが表示装置１０を向いていると判定する条件として、表示装置１０を向いている基準方向と表示装置１０の表示部１００の平面が垂直に交わるとしたが、これに限定されず、各視聴者Ｃの表示装置１０を向いている基準方向が同一の方向（すなわち、各視聴者Ｃの表示装置１０を向いている基準方向が各々平行）であれば、表示装置１０を向いている基準方向と表示装置１０の表示部１００の平面とのなす角度が垂直でなくてもよく、同一の角度であればよい。

また、集中度算出部１２２は、表示装置１０に向いている顔の角度の複数の範囲各々に集中度を割り当て、複数のレベルで集中度を算出しても良い。例えば、図４は表示装置１０を向いている角度に対応して集中度を割り当てる場合の概念図であり、視聴者Ｃを上から見た上面図である。集中度算出部１２２は、図４に示す表示装置１０を向いている基準方向を集中度１００とし、右に１０度傾くと集中度９０、左に３０度傾くと集中度７０のように、角度１度毎に集中度１を割り当て、視聴者Ｃの顔の向きが表示装置１０から逸れる方向に顔を傾けるとその割合だけ集中度が低下していると判定する。

図４の例では、表示装置１０を向いている基準方向と視聴者Ｃが向いている方向が一致する場合を基準として、左または右に顔を徐々に傾けていくと、傾けた割合だけ集中度が小さくなり、反対に表示装置１０を向いている基準方向に顔を徐々に傾けていくと、傾けた割合だけ集中度が大きくなる。視聴者Ｃの向いている角度が真横から後ろ側を通って反対側の真横までの間の角度を集中度０と判定する。このように視聴者Ｃの向いている角度毎に集中度を割り当てることで、集中度算出部１２２は、より詳細に視聴者Ｃ全体もしくは各々の集中度を算出することができ、集中度算出精度が向上する。詳細に集中度を算出することで、教育コンテンツや読み聞かせコンテンツの内容や、抑揚などの読み聞かせ方法、手遊びなどに対する視聴者Ｃの反応を詳細に分析することができるため、教育コンテンツや読み聞かせコンテンツの内容立案や、効果的な読み聞かせ方法の検討に役立てることができる。

また、表示装置１０の幅の大きさに対し、視聴者Ｃの集団全体の幅が大きくなるか、表示装置１０の幅の領域外に視聴者Ｃがいる場合は、集中度算出部１２２は、表示装置１０を向いている基準方向を視聴者Ｃ毎に変更してもよい。図５は、表示装置１０を向いている基準方向と表示装置１０の表示部１００の平面を必ずしも垂直に交わらせず、表示装置１０を向いている基準方向を視聴者Ｃ毎に設定する場合の概念図であり、表示装置１０と視聴者Ｃを上から見た上面図である。

表示装置１０の幅の領域内にいる基準方向（ｂ）上の視聴者Ｃの場合は、前記と同様に、表示装置１０を向いている基準方向（ｂ）は、表示装置１０の表示部１００の平面と垂直に交わるとする。基準方向（ｂ）上の視聴者Ｃの向いている方向は、表示装置１０を向いている基準方向（ｂ）と平行であるため、基準方向（ｂ）上の視聴者Ｃは表示装置１０を向いている（すなわち、集中している）と、集中度算出部１２２は判定する。
反対に、表示装置１０の幅の領域外にいる基準方向（ａ０）、（ａ１）、（ｃ０）、（ｃ１）上の視聴者Ｃの場合は、表示装置１０を向いている基準方向を視聴者Ｃ毎に個別に設定し、視聴者Ｃのいる位置から表示装置１０の表示部１００の中心位置への方向を表示装置１０を向いている基準方向（ａ０）、（ａ１）、（ｃ０）、（ｃ１）とする。

図５において、基準方向（ａ０）、（ａ１）上の視聴者Ｃの向いている方向は、いずれも表示装置１０を向いている基準方向（ａ０）、（ａ１）と平行であるため、基準方向（ａ０）、（ａ１）上の視聴者Ｃ各々は表示装置１０を向いている（すなわち、集中している）と、集中度算出部１２２は判定する。
基準方向（ｃ０）、（ｃ１）上の視聴者Ｃの向いている方向は、いずれも表示装置１０を向いている基準方向（ｃ０）、（ｃ１）とは異なる方向を向いているため、表示装置１０を向いている基準方向（ｃ０）、（ｃ１）と基準方向（ｃ０）、（ｃ１）上の視聴者Ｃ各々の向いている方向とのなす角度（図５上の表示装置１０を向いている角度）があらかじめ定めた閾値より大きい場合は、基準方向（ｃ０）、（ｃ１）上の視聴者Ｃ各々は表示装置１０を向いていない（すなわち、集中度が低下している）と、集中度算出部１２２は判定する。反対に、表示装置１０を向いている角度が予め定めた閾値より小さい場合は、基準方向（ｃ０）、（ｃ１）上の視聴者Ｃ各々は表示装置１０を向いている（すなわち、集中している）と、集中度算出部１２２は判定する。

このように、表示装置１０を向いている基準方向を視聴者Ｃ毎に個別に設定することで、視聴者Ｃ毎の集中度算出精度が向上し、視聴者Ｃがどのような並び方をしている場合でも、さらには視聴者Ｃが表示装置１０に対していかなる位置にいる場合でも、集中度を算出することが可能となる。

なお、視聴者Ｃ毎に個別に設定する表示装置１０を向いている基準方向は、視聴者Ｃのいる位置から表示部１００の中心位置への方向とするだけでなく、表示装置１０を向いている基準方向の終点は、表示部１００の平面上にある特定の位置としてもよいし、表示部１００の平面上にある位置を視聴者Ｃ毎に個別に設定しても良い。表示装置１０を向いている基準方向の終点を表示部１００の平面上の特定の位置とすることで、教育コンテンツや読み聞かせコンテンツ、読み聞かせ方法の特定のシーンや絵柄に対する集中度を算出することが可能となる。そのため、教育コンテンツや読み聞かせコンテンツの内容立案や、効果的な読み聞かせ方法の検討に役立てることができる。

さらに、表示装置１０を向いている基準方向の設定について、表示装置１０の幅の大きさと、視聴者Ｃの集団全体の幅の大きさの大小関係に分けて説明したが、これには限定されない。すなわち、表示装置１０の幅の大きさと、視聴者Ｃの集団全体の幅の大きさの大小関係に関わらず、教育コンテンツや読み聞かせコンテンツの内容や表示方法に合わせて表示装置１０を向いている基準方向を設定してもよい。例えば、表示装置１０を向いている基準方向が視聴者Ｃ毎に同一の方向（表示装置１０を向いている基準方向と表示装置１０の表示部１００の平面が垂直に交わる場合を含む）としてもよいし、視聴者Ｃ毎に個別に設定してもよい。

なお、これまでの説明は顔が左右に傾く場合について集中度を算出したが、顔が上下に傾く場合も同様にして集中度を算出してもよい。さらに、上下方向と左右方向の集中度を合算して総合的な集中度を算出してもよい。集中度を合算する方法は、上下および左右の集中度の平均値や最大値、二乗平均平方根（ＲＭＳ）などがあげられる。

また、集中度算出部１２２は、集中度算出を、視聴者Ｃが表示装置１０の方向を向いている時間が所定の時間より短くなった場合に集中度が低下していると判定してもよい。視聴者Ｃが表示装置１０の方向を向いているとする判定は、前記と同様に、顔の角度があらかじめ定めた閾値より小さい場合である。視聴者Ｃは表示装置１０の方向を向いていると判定されている時間の範囲毎に、集中度を割り当てても良い。例えば、１００秒間以上表示装置１０の方向を向いている場合は、集中度１００とし、表示装置１０の方向を向いている時間１秒毎に集中度１を割り当て、視聴者Ｃが表示装置１０の方向を向いている時間が短くなる割合だけ、集中度が低下していると判定する。
さらに、視聴者Ｃの眼の黒目の位置（眼の真ん中、または左右どちらかの端）を検出し、顔の向きと組合せて視聴者Ｃの視線を算出し、前記顔の向きから集中度を算出した場合と同様に、視線の方向と表示装置１０とのなす角度から集中度を算出してもよい。

また、集中度算出部１２２は、集中度の算出を、後述する動き情報を用いて行ってもよい。例えば、集中度算出部１２２は、撮像装置１１で撮像した画像データから画像全体に対して、画像解析部１２１が算出した動き情報を取得し、動いている領域（または画素）が予め定めた閾値より多い場合に、視聴者Ｃ全体の動きが多く、集中度が低下していると判定する。前述の顔の向きの場合と同様に、視聴者Ｃ全体の動き情報を集中度に割り当て、複数のレベルで集中度を算出しても良い。例えば、集中度算出部１２２は、画像データが表す画像を複数の領域に分割し、その分割数が１００の場合、動いている領域が１００の場合は集中度０、動いている領域が０の場合は集中度１００のように、動いている領域が１つ増加すると集中度が１つ低下する割合で集中度を算出することで、視聴者Ｃの動きが大きくなる割合だけ集中度が低下したと判定する。

また、集中度算出部１２２は、画像解析部１２１が視聴者Ｃ毎に算出した動き量を用いて集中度を算出してもよい。視聴者Ｃ毎の動き量を用いることで、集中している視聴者Ｃの割合や特定の視聴者Ｃにあった教育コンテンツの再生方法を行う等、きめ細やかな再生制御を行うことが可能となる。集中度算出部１２２は、視聴者Ｃ毎の動き量を用いて、例えば大きい動きをした場合や早く動いた場合は、当該視聴者Ｃの集中度が低い（集中度５０以下など）と判定する。また、動き情報や人物検出情報から視聴者Ｃが所定の場所にいないや、走り回っているなどを検出した場合も同様に、集中度が低い（集中度５０以下など）と判定する。

また、集中度算出部１２２は、後述する画像解析部１２１で算出した視聴者Ｃ毎の身体の動き量と顔の動き量とから集中度を算出しても良い。例えば、身体は動いているが、顔が静止していると検出した場合は、集中度が高いと判定する。より精度良く判定するため、前記条件に加え、顔の向いている方向が表示装置１０であるという条件を追加しても良い。これは、身体は動いている（貧乏ゆすりなど）が、顔は静止していて、顔の向いている方向が表示装置１０の場合は、集中してコンテンツを視聴している場合があるからである。反対に、顔は動いていて、身体が静止している場合は、集中度が低いと判定する。このように、顔の動きと身体の動きを個別に検出し、これら検出情報を組合せて集中度を算出することで、視聴者毎に、より高精度に集中度を算出することが可能となる。

また、集中度算出部１２２は、後述する顔の笑顔度を用いて集中度を算出してもよい。集中度算出部１２２は、笑顔度を「笑っていない＝０」から「笑っている＝１００」で表した場合、笑顔度１００を集中度１００に、笑顔度０を集中度０に割り当てて集中度を算出する。また、表情を推定し、笑顔や真顔、驚いている場合は集中度が高い（集中度が５０以上など）、それ以外（泣いている、怒っているなど）は集中度が低い（集中度５０以下など）として算出してもよい。

また、集中度算出部１２２は、視聴者Ｃの姿勢（例えば寝そべっている、立っている、座っている、寝ているなど）を用いて集中度を算出してもよい。後述する行動情報の検出において検出した視聴者Ｃが寝そべっているなどの姿勢を検出し、これら行動を行っている視聴者Ｃは集中度が低い（集中度５０以下など）とし、座っている視聴者Ｃは集中度が高いとして、視聴者Ｃ各々の集中度を算出してもよい。また、集中度算出部１２２は、視聴者Ｃ各々の集中度の平均を算出して、視聴者Ｃ全体の集中度としてもよい。なお、いずれの姿勢を集中度が高いとするかを、視聴者Ｃの年齢に応じて変更してもよい、例えば、幼児であれば、立っているときと、座っているときとは、集中度が高く、寝そべっているときと、寝ているときとは、集中度が低いと判定し、小学生以上であれば、座っているときは、集中度が高く、立っているときと、寝そべっているときと、寝ているときとは、集中度が低いと判定してもよい。

集中度算出部１２２は、算出した集中度を示す集中度情報をデータ変換部１２３および情報ＤＢ１２０に出力する。情報ＤＢ１２０は、集中度算出部１２２より出力された集中度情報を記憶する。また、集中度算出部１２２は、集中度情報の生成に用いた認識情報や画像データ、音声データを、その集中度情報とともにデータ変換部１２３に出力する。なお、集中度算出部１２２が算出する集中度は、上述の画像全体に対する動き情報を用いた場合のように、視聴者Ｃ全体に対するものであってもよいし、顔の向き、視聴者Ｃ毎の動き情報、表情、姿勢などを用いた場合のように、視聴者Ｃ各々に対するものであってもよい。また、視聴者Ｃ各々に対するものであるときは、その視聴者ＣのＩＤや、顔の画像を、集中度情報に含めてもよい。また、集中度算出部１２２は、視聴者Ｃ毎の集中度を用いて、視聴者Ｃ全体の集中度を算出してもよい。例えば、集中度算出部１２２は、画像データから検出した視聴者Ｃのうち、集中度が高いと判定される視聴者Ｃの割合が高いほど、視聴者Ｃ全体の集中度が高くなると判定してもよい。

〔データ変換部１２３〕
データ変換部１２３は、集中度算出部１２２から入力された認識情報、画像データ、音声データを所定のブロック単位のデータブロックに変換する。データブロックの形式は、情報表示端末装置２１との間の通信方式に適合した形式であればよい。データ変換部１２３は、変換したデータブロックと、集中度情報とを伝送制御部１２４に出力する。

〔伝送制御部１２４〕
伝送制御部１２４は、データ変換部１２３から入力されたデータブロックと、集中度情報とを、ネットワーク４１を介して情報表示端末装置２１に送信する。また、伝送制御部１２４は、ネットワーク４１を介して、情報表示端末装置２１から受信した再生コマンドを再生制御部１２５に出力する。なお、伝送制御部１２４は、データブロックを、再生制御装置１２に内蔵又は再生制御装置１２に接続された記憶媒体（図示せず）に記憶してもよい。この記憶媒体は、光学ディスク、ＨＤＤ(Ｈａｒｄ−Ｄｉｓｋ Ｄｒｉｖｅ)、半導体メモリ、等のいずれでもよい。伝送制御部１２４は、例えば、通信インタフェース、データ入出力インタフェースである。

〔再生制御部１２５〕
再生制御部１２５は、伝送制御部１２４から入力された再生コマンドに従い、情報ＤＢ１２０に記録された教育コンテンツを再生し、表示装置１０に映像を表示させ、スピーカ１０１に音声を出力させる。集中度算出部１２２によって算出された視聴者Ｃの集中度情報は、情報表示端末装置２１に送信され、表示されるので、ユーザＵは、視聴者Ｃの集中度を知ることができる。そしてユーザＵは、その集中度の大きさによって、教育コンテンツの再生方法または教育コンテンツを別のコンテンツに変更するなど、再生方法の変更を指示する。この再生方法の変更の指示に従った再生コマンドが、情報表示端末装置２１から伝送制御部１２４に送信されるので、上述の伝送制御部１２４から入力された再生コマンドは、この指示に従った再生コマンドである。

例えば、再生コマンドは、再生を一時停止させるコマンドである。ユーザＵは、集中度が低下したと判定した時点で再生を一時停止することにより、視聴者Ｃが表示装置１０に再注目することを利用する。そして、視聴者Ｃの集中度が回復した段階で、再生を再開する再生コマンドをユーザＵが発行する。この時、集中度が低下したと判定する集中度の閾値と、集中度が回復したと判定する集中度の閾値は、同じであっても異なっていてもよい。異なる閾値を設定する場合は、回復する集中度の閾値の方を低く設定しても良い。これにより、少しでも集中度が回復した時に、即時再生が再開されるため、視聴者Ｃのストレスを軽減できる。

さらに、例えば、再生コマンドは、再生の一時停止と、別のコンテンツの再生をさせるコマンドである。集中度が低下したと判定した時点で再生を一時停止した後、ユーザＵは別の教育コンテンツの再生を指示してもよいし、一時的に別のコンテンツ（教育コンテンツでなくてもよい）を再生し、その後、元の教育コンテンツの再生を再開させても良い。これにより、一時的に注目度が集まるコンテンツを表示することで、視聴者Ｃの集中度を回復させ、元の教育コンテンツ再生を継続することが可能となる。

また、例えば、再生コマンドは、集中度が低下した再生区間をユーザＵまたは情報表示端末装置２１、または再生制御部１２５が検出し、その再生区間を繰り返し再生させるコマンドであってもよい。例えば、再生制御部１２５は、集中度が低下した再生区間を、情報ＤＢ１２０に記録された集中度情報を読み出して検出する。
前記再生コマンドを受けた再生制御部１２５は、予め定めた閾値により、集中度のレベルを２つ以上設け、集中度レベルに応じて再生方法を決定してもよい。例えば、集中度が「中」となった場合は、再生制御部１２５は、教育コンテンツの再生を一時中断し、視聴者Ｃが興味を抱くコンテンツ（アニメキャラクターや歌の再生など）を再生し、一端休憩した後、教育コンテンツ再生を再開する。または、再生制御部１２５は、集中度が「低」となった場合は、視聴者Ｃ全体に飽きが発生しているため、これまでとは異なるコンテンツ（教育コンテンツでなくてもよい）再生に切替える。集中度に応じた再生方法を予め決定しておくことで、ユーザＵはスムーズに再生方法を変更できることに加え、絵本読み聞かせや講義ビデオ表示を複数拠点で行う場合に、教育効果を一定に保つことができる。

また、例えば、再生コマンドは、特定の視聴者Ｃを指定する情報（ＩＤなど）を含み、その情報に関連付けられたコンテンツを再生させるコマンドであってもよい。これにより、特定の視聴者Ｃの集中度が下がったときに、その視聴者Ｃの注意を喚起させる人物（その視聴者Ｃの教師、家族など）の画像や音声を再生させることができる。

このように、視聴者Ｃの集中度が低下し始めたことを検知し、その情報をユーザＵに通知することで、ユーザＵは、再生方法を変更することが可能となる。そして、再生方法がこれまでの再生状態との違いが発生することにより、視聴者Ｃは再生の連続性が断たれるため、表示装置１０に注目するようになることが期待できる。
また、視聴者Ｃの集中度が低下し始めたことを検知し、その情報を情報表示端末装置２１に通知し、情報表示端末装置２１は、通知された集中度情報に応じて自動的に再生方法を変更する再生コマンドを再生制御装置１２に送信することによって、再生方法を変更するようにしても良い。

なお、再生変更する教育コンテンツは、情報ＤＢ１２０に保存されたコンテンツに限らず、情報表示端末装置２１に保存されているコンテンツやインターネット上のサーバーに保存されているコンテンツを、伝送制御部１２４を経由して情報ＤＢ１２０にダウンロードし、再生制御部１２５にて再生（ストリーミング配信）してもよい。

〔画像解析部１２１〕
次に、本実施形態に係る画像解析部１２１の構成について説明する。図６は、本実施形態に係る画像解析部１２１の構成を示す概略ブロック図である。画像解析部１２１は、ユーザ情報検出部１１２、モーション検出部１１３、結果出力部１１４、人物検出部１１５、及び動き情報検出部１１６を含む。ユーザ情報検出部１１２は、属性推定部１１２０、表情推定部１１２１、人物識別部１１２２、位置検出部１１２３、人体部位検出部１１２４を含む。

画像解析部１２１は、情報ＤＢ１２０に記憶された顔識別ＤＢを参照して、撮像装置１１から入力された画像データが示す画像から、後述する画像処理方法を用いて人物の顔を検出する。顔の検出に成功した場合、被写体として人物を検出したと判定する。画像解析部１２１は、異なる撮像時刻間で画像に変化があった領域を人物の領域であると判定してもよい。画像解析部１２１は、人物の顔の検出結果と、撮像時刻が互いに異なる複数の画像から検出した被写体の動きを示す動き情報とから、その人物の顔の位置を追跡する。画像解析部１２１は、人物の有無を示す情報を認識情報の一部としてデータ変換部１２３に出力し、情報ＤＢ１２０に記憶する。

また、画像解析部１２１は、撮像装置１１から入力された画像データに基づいて、及び追跡した人物の位置、動き量の検出、人物の性別や年齢等の属性の推定、人物が誰であるかの識別、人物の顔が向いている方向や表情の推定、を行う。画像解析部１２１が、検出、推定した情報を認識情報の一部としてデータ変換部１２３に出力し、情報ＤＢ１２０に記憶する。また、画像解析部１２１は、検出した人物が行っている行動や動き（モーション）を検出し、検出した行動を表す情報を認識情報の一部としてデータ変換部１２３に出力し、情報ＤＢ１２０に記憶する。

〔動き情報検出部１１６〕
次に、動き情報検出部１１６が行う処理について説明する。動き情報検出部１１６は、撮像装置１１から入力された現在の画像データが示す画像と、情報ＤＢ１２０から読み取った所定のフレーム数の過去の画像データが示す画像から、被写体が動いた領域を検出する。動き情報検出部１１６は、撮像部１１０毎に現在のフレームの画素毎の画素値と、過去のフレームの対応する画素の画素値との差分値が予め定めた閾値よりも大きい領域を、動いた領域として検出する。動き情報検出部１１６は、検出した動いた領域と、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動き情報）として、人物検出部１１５及びモーション検出部１１３に出力する。また、動き情報検出部１１６は、これらの情報を認識情報としてデータ変換部１２３に出力してもよいし、情報ＤＢ１２０に記憶してもよい。

動き情報検出部１１６は、画像データの他、後述の人物検出部１１５から入力される人物情報を参照して画像内で動いた領域を検出してもよい（図示せず）。動き情報検出部１１６は、画像データを用いて検出した動いた領域が、人物情報に含まれる位置情報を基準に予め定めた閾値の範囲（領域）内にある場合に、人物が動いたと判定する。動き情報検出部１１６は、人物が動いたと判定した領域、その領域の重心座標、移動量ならびに移動方向（動きベクトル）を追跡情報（動き情報）として、モーション検出部１１３に入力する。また、動き情報検出部１１６は、これらの情報を検出情報としてデータ変換部１２３に出力し、情報ＤＢ１２０に記憶してもよい。このように、画像データから検出した領域と人物が検出されたことを示す人物情報を参照することで、人物以外の被写体の動きを検出することを避けることができる。

なお、動き情報検出部１１６が動いた領域を検出する方法は、上述した方法に限定されない。動き情報検出部１１６は、例えば、縦と横の画素数が８×８や１６×１６などの所定の大きさの領域（マクロブロック）の単位で現在のフレームのマクロブロックに対応する領域が過去のフレームのどこにあるかを探索してもよい。対応する領域を探索する際、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等の類似度を示す指標を用いることができる。そして、動き情報検出部１１６は、過去のフレームで探索した領域から、現在のフレームの対応する領域までの移動量と移動方向を定める。

〔人物検出部１１５〕
次に、人物検出部１１５が行う処理について説明する。人物検出部１１５は、撮像装置１１から入力された画像データと、動き情報検出部１１６から入力された動き情報とに基づいて検出された人物の顔面の画像を表す領域を検出する。顔の検出に成功した場合に、人物検出部１１５は、人物が室内に入室したと判定する。

人物検出部１１５は、検出した領域における代表点（例えば、重心点）の２次元座標や、その領域の上端、下端、左端、右端の２次元座標を表す２次元顔面領域情報を生成する。なお、撮像装置１１が複数の撮像ユニットを備える場合には、撮像ユニット毎に２次元顔面領域情報を生成し、生成した２次元顔面領域情報が示す２次元座標を組合せ、室内の３次元空間座標系の３次元座標に変換して、３次元の顔位置情報を生成してもよい。顔面の領域を検出するために、人物検出部１１５は、例えば予め設定した顔面の色彩（例えば、肌色）を表す色信号値の範囲にある画素を、入力された画像信号から抽出する。

なお、人物検出部１１５は、予め人間の顔面を表す濃淡（モノクロ）画像信号を記憶した記憶部を備えるようにしてもよい。そこで、人物検出部１１５は、記憶部から読み出した濃淡画像信号と入力された画像信号との相関値を複数の画素を含む画像ブロック毎に算出し、算出した相関値が予め定めた閾値よりも大きい画像ブロックを顔面の領域と検出する。

その他、人物検出部１１５は、入力された画像信号に基づいて顔の特徴量（例えば、Ｈａａｒ−Ｌｉｋｅ特徴量）を算出し、算出した特徴量に基づいて機械学習（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を行い、学習したデータベースと入力映像の特徴量から顔面の領域を検出してもよい。人物検出部１１５が顔面の領域を検出する方法は、上述の方法に限られず、入力された画像データから顔面の領域を検出する方法であれば、いかなる方法を用いてもよい。また、画像中に人物がいる場合でも、必ずしも顔が撮影されるとは限らないため、動き情報検出部１１６から入力される動き情報を用いて、動いた領域に人物がいると判定してもよい。さらに、顔面の領域情報と動き情報を組み合わせて人物を検出してもよい。動き情報と顔面の領域情報とを照合しながら、検出した人物を追跡し、次のフレーム画像での人物検出精度の向上や顔検出範囲を特定することにより計算量の削減が可能となる。

人物検出部１１５が画像上の顔を検出する方法はこれには限られない。人物検出部１１５は、入力された画像データから、顔の特性に関する特徴量、例えば、性別や年齢を表す特徴量や、顔の向いている向き、笑い、怒り、泣き、等の表情に係る特徴量（例えば、特徴点の座標、長さ、方向）など、を算出し、情報ＤＢ１２０に予め記憶した特徴量データを参照して、顔と類似していると判定された領域を顔領域として検出してもよい。

また、人物検出部１１５は、情報ＤＢ１２０に予め記憶した特徴量データを参照して、入力された画像データから、顔が表されている顔領域と、その顔の向いている向きを検出してもよい。ここで、情報ＤＢ１２０には、各方向（上、下、横、等）を向いた顔を表す画像から算出した特徴量を示す特徴量データを記憶しておく。
また、人物を検出する方法は、顔を検出する方法だけに限られない。人物検出部１１５は、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）を用いて、人物の身体のシルエットを特徴量として抽出し、抽出した特徴量を学習（例えばＡｄａｂｏｏｓｔアルゴリズムやＳＶＭなど）することによって、人物を検出してもよい。

人物検出部１１５は、検出又は識別した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２およびモーション検出部１１３に出力する。また、人物検出部１１５は、画像データが示す画像から顔が検出された領域を抽出し、この抽出した領域の画像を示す切出画像データをユーザ情報検出部１１２およびモーション検出部１１３、結果出力部１１４に出力する。

なお、上述の切出画像データとなる画像を抽出した領域は、その画像に検出された顔領域が含まれるように抽出されていればよく、抽出した領域の大きさは、例えば人物の身体全体が含まれる大きさのように、どのような大きさであってもよい。人物検出部１１５は、人物情報及び切出画像データを検出情報としてデータ変換部１２３に出力し、情報ＤＢ１２０に記憶してもよい。また、人物検出部１１５は、人物情報に、算出した特徴量を人物情報に含めて出力することにより、ユーザ情報検出部１１２での処理に利用できるようにしてもよい。

〔ユーザ情報検出部１１２〕
次に、ユーザ情報検出部１１２の行う処理について説明する。ユーザ情報検出部１１２は、属性推定部１１２０、表情推定部１１２１、人物識別部１１２２、位置検出部１１２３、及び人体部位検出部１１２４を含む。この構成により、ユーザ情報検出部１１２は、撮像された人物（視聴者Ｃ）の状態を検出し、検出した人物の状態を示す検出情報として後述する情報を結果出力部１１４に出力する。検出情報には、後述するように人体の特徴量を示す特徴量情報が含まれることがある。

属性推定部１１２０は、人物検出部１１５から入力された切出画像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の属性、例えば、年齢、性別を推定する。属性の推定に先立ち、前述の顔の特徴量を学習する際、年齢別や性別毎に特徴量を予め分類して学習データベースを生成しておく。属性推定部１１２０は、画像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、属性を推定する。属性推定部１１２０は、推定した属性を示す属性情報を結果出力部１１４に出力する。

表情推定部１１２１は、人物検出部１１５から入力された切出画像データから情報ＤＢ１２０に予め記憶された特徴量データを参照し、人物情報が示す人物の表情、例えば、笑い、泣き、怒り、等を推定する。表情の推定に先立ち、前述の属性推定部１１２０と同様に、表情毎に顔の特徴量を予め分類して学習データベースを生成しておく。表情推定部１１２１は、画像から抽出した特徴量とこれら学習データベースに含まれる特徴量との類似度を算出することによって、笑顔度、泣き顔度、怒り顔度などを推定する。表情推定部１１２１は、推定した結果を示す表情情報を結果出力部１１４に出力する。

人物識別部１１２２は、人物検出部１１５と同様の方法を用いて、人物検出部１１５から入力された切出画像データが示す画像から顔器官（口、目、等）の表示領域を特定し、特定した顔器官の表示領域毎の特徴量を算出する。人物識別部１１２２は、算出した特徴量と情報ＤＢ１２０に予め記憶された人物（登録者）毎の特徴量データが示す特徴量とを比較し、算出した特徴量との類似性を示す指標値が予め定めた指標値の閾値よりも類似性が高く、類似性が最も高いことを示す特徴量に係る人物を定める。そのような人物の特定に失敗した場合には、人物識別部１１２２は、画像が示す人物が未知の人物であると定める。人物識別部１１２２は、定めた人物を示す人物識別情報（例えば、視聴者ＣのＩＤ）を結果出力部１１４に出力する。

位置検出部１１２３は、撮像部１１０から入力された画像データが示す画像のうち、人物検出部１１５から入力された切出画像データが示す顔領域と照合して、顔領域が表されている表示位置を検出する。位置検出部１１２３は、設置情報取得部１１１から取得した設置情報と、検出した表示位置と、人物識別部１１２２で検出した顔器官の表示領域とに基づいて表示装置１０に対する顔の向きを算出する。位置検出部１１２３は、表示位置と算出した顔の向きとを示す位置情報を結果出力部１１４に出力する。

人体部位検出部１１２４は、撮像部１１０から入力された画像データが示す画像から人体の部位（頭、腕、手、足、胴体、等）の表示領域を検出する。人体部位検出部１１２４は、検出した部位毎の表示領域に基づいて、部位毎の代表点（例えば、重心点）を位置として算出し、大きさ（長さ、幅、等）を算出する。人体の部位の検出を行う際、人体部位検出部１１２４は、前述の人物検出部１１５と同様に、人体の各部位毎に前述のＨＯＧ特徴量を算出し、各部位毎に学習を行うことで、入力画像が表す人体の一部分が人体のどの部位に属するかの推定を行う。人体部位検出部１１２４は、定めた部位毎の位置と大きさを示す人体部位情報を結果出力部１１４に出力する。

〔モーション検出部１１３〕
次に、モーション検出部１１３が行う処理について説明する。モーション検出部１１３は、撮像装置１１から入力される複数の画像データと、人物検出部１１５から入力される人物情報と、動き情報検出部１１６から入力される動き情報から、検出した人のモーション（動作、行動、姿勢）を検出する。例えば、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、予め定めた閾値の座標よりも高い位置を示す場合、その人物が立っていると判定する。

また、情報ＤＢ１２０に人物毎に特徴量データと身長を示す身長情報を対応付けて予め記憶しておき、モーション検出部１１３は、識別情報が示す人物の身長情報を情報ＤＢ１２０から読み取り、読み取った身長情報が示す身長と撮像部１１０の位置に基づいて、立っていると判断するための顔の３次元座標の範囲を設定してもよい。モーション検出部１１３は、設定した範囲内に顔の位置が含まれるか否かにより、その人物の姿勢、ここでは立っているか否かを判定することができる。

また、その他の姿勢の判定として、モーション検出部１１３は、人物情報から求めた顔の３次元位置情報が示す鉛直方向の座標が、床の高さよりも高い位置であって、予め定めた閾値の座標よりも低い位置を示す場合、その人物が寝そべっていると判定する。また、モーション検出部１１３は、立っている状態でも、寝そべっている状態でもない場合、その人物が座っていると判定する。モーション検出部１１３は、判定したモーションを示すモーション情報を結果出力部１１４に出力する。

また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動き情報検出部１１６から入力された動き情報、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物が室内でじっとしているか否か、動いているか否かを判定してもよい。

また、モーション検出部１１３は、人物検出部１１５から入力された人物情報、動き情報検出部１１６から入力された動き情報、位置検出部１１２３から入力された位置情報、人体部位検出部１１２４から入力された人体部位情報に基づき、検出された人物の部位、例えば、手、足、顔の位置の変動を検出する。モーション検出部１１３は、検出した変動に基づき、ジャンプ等の行動や、予め定めた身体の形や動きのパターンであるジェスチャを検出してもよい。モーション検出部１１３は、検出した行動やジェスチャを示すモーション情報を結果出力部１１４に出力する。
なお、モーション検出部１１３は、上述したモーションに限られず、その他のモーションを検出してもよいし、これらのモーションの組み合わせを検出してもよい。

（視聴者Ｃ全体の動き検出）
モーション検出部１１３は、視聴者Ｃ全体の動きを検出してもよい。図７は、全体の視聴者Ｃの動きを検出する場合を説明する概念図である。撮像装置１１で撮像した画像データの大きさを１９２０×１０８０とし、左上を画像上の画素の原点（０、０）とし、右下を画素の終点（１９１９、１０７９）とする。モーション検出部１１３は、画像上写っている視聴者Ｃを左上から右方向に０から順に視聴者ＩＤを割り振り、右端（図７ではｎ）に達したら、下段に移り、同様に左から右方向に順に視聴者ＩＤ（図７では、ｎ＋１からＮ）を割り振る。図７では、視聴者ＩＤが「０」の視聴者Ｃの顔には、符号ＩＤ０を付し、視聴者ＩＤが「１」の視聴者Ｃの顔には、符号ＩＤ１を付すというように、視聴者ＩＤの値に応じた符号を、それぞれの視聴者Ｃの顔に付している。なお、符号ＩＤ１ａを付した顔は、視聴者ＩＤが「１」の視聴者Ｃが動いたことにより、正面を向いている符号ＩＤ１の顔から、向かって右を向いている符号ＩＤ１ａの顔となったことを示している。

また、モーション検出部１１３は、画像を左右それぞれ等間隔に分割し、画像全体をいくつかの領域に分割する。図７では、縦３、横４の合計１２領域に分割した例を示している。このとき、領域の分割数は視聴者人数と一致させ、１領域１視聴者となるように分割してもよい。さらに、画像を分割する間隔は分割領域毎に異なっていてもよい。画像を分割する間隔を領域毎に異なる間隔とすることで、視聴者１人に付き、１領域を割り当てる場合は、特に、視聴者Ｃの画像上の大きさに合わせて領域を割り当てることができるため、視聴者Ｃの顔や体の大きさ、視聴位置や視聴距離に合わせ、同一の拡大率で領域を分割することができる。

モーション検出部１１３は、分割した領域毎に、その領域の動き量を検出する。動き量の算出方法としては、現在より過去のフレーム（例えば現在フレームの１つ前のフレーム）を情報ＤＢ１２０に保存しておき、現在のフレームとの画素値の差分を算出するフレーム間差分や、視聴者Ｃがいない背景画像を予め撮影し、情報ＤＢ１２０に保存しておき、現在のフレームとの画素値の差分を算出する背景差分、過去のフレーム画像の予め決めた領域が、現フレームのどの領域と一致するかを検出するテンプレートマッチング（トラッキング）などがあげられる。また、人物検出部１１５で検出した顔の位置情報を用いて、その移動量を動き量として検出してもよい。

なお、集中度算出部１２２は、画像全体の領域毎に求めた動き量検出結果から、集中度を算出してもよい。集中度は前述と同様に動き量が少ないと集中度が高いとして算出する。このように、画像全体から動き量を算出することで、視聴者Ｃ全体の大まかな動き量を把握することができ、視聴者Ｃ全体の集中度を算出することができる。
また、動き量を算出する領域は視聴者Ｃが存在する領域のみとすることで、画像全体から動き情報を検出することに比べ、計算量を削減でき、より精度の高い動き量を算出することができる。

（視聴者個々の動き検出）
次に、モーション検出部１１３が個々の視聴者Ｃの動きを検出する場合について説明する。図８は、個々の視聴者Ｃの動きを検出する場合を説明する概念図である。視聴者ＩＤ１以外については、図７と同様であるため、説明を省略する。
モーション検出部１１３は、前述のテンプレートマッチング（トラッキング）または人物検出部１１５で検出した顔の位置情報を用いて、その移動量（距離）を動き量として検出する。

図８は、視聴者ＩＤが「１」の視聴者Ｃが動いた場合を示しており、正面を向いていた視聴者Ｃの顔ＩＤ１が破線で示すように右に移動し、顔ＩＤ１ａになったことを表している。図で示すように、顔ＩＤ１が移動し、顔ＩＤ２に近づくにつれ、本動き検出の方法では、顔ＩＤ１とＩＤ２が重なって区別がつかなくなる。そのため、図の破線で示すように、動き量の許容範囲Ａ１を設ける。

例えば、モーション検出部１１３は、視聴者ＩＤが「１」の視聴者Ｃが正面を向いていた時（顔ＩＤ１）を基準に半径１５０ｐｉｘ以内を許容範囲Ａ１として許容範囲Ａ１内の顔を含む人物を探索し、許容範囲Ａ１内で視聴者ＩＤが「１」の視聴者Ｃの顔（図８では顔ＩＤ１ａ）を検出したときは、顔ＩＤ１と顔ＩＤ１ａは同一人物と判定し、顔ＩＤ１から顔ＩＤ１ａへの動き量を算出する。これを視聴者Ｃ毎に行うことで、許容範囲Ａ１内において個々の視聴者Ｃの動き量を検出することが可能となる。なお、動き量の許容範囲は、画像全体で同一の値でもよく、視聴者Ｃの顔や体の大きさ、視聴位置や視聴距離に合わせ、個別に設定してもよい。例えば、顔や体が大きい視聴者Ｃおよび視聴位置が表示装置１０に近い視聴者Ｃの場合は、動き量の許容範囲を大きい値に設定し、顔や体が小さい視聴者Ｃや視聴位置が表示装置１０から遠い視聴者Ｃの場合は、動き量の許容範囲を小さい値に設定する。

また、集中度算出部１２２で集中度を算出する際、動き量の許容範囲Ａ１を超えて視聴者Ｃが移動した場合は、集中度が低い（例えば集中度５０以下など）と判定してもよいし、動き量の許容範囲内に視聴者Ｃが居ると検出された場合は、集中度が高い（例えば集中度５０以上など）と判定してもよい。

〔結果出力部１１４〕
図６に戻り、結果出力部１１４が行う処理について説明する。結果出力部１１４は、撮像装置１１から入力された画像データ、ユーザ情報検出部１１２から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動を認識する。なお、検出情報には、属性推定部１１２０による属性情報、表情推定部１１２１による表情情報、人物識別部１１２２による人物識別情報、位置検出部１１２３による位置情報、人体部位検出部１１２４による人体部位情報を含む。結果出力部１１４は、認識した行動を示す認識情報を情報ＤＢ１２０に記憶し、認識情報と、ユーザ情報検出部１１２から入力された検出情報を付加して認識情報として集中度算出部１２２に出力する。また、結果出力部１１４は、撮像部１１０から入力された画像データを集中度算出部１２２に出力する。

結果出力部１１４は、例えば、視聴者Ｃ各々が立っているか、座っているか、室内のどこに位置し、どの方向を向いているか、等を判定する。また、結果出力部１１４は、視聴者Ｃ各々の位置と向いている方向と、室内に設置されている設置物の位置と範囲に基づいて、視聴者Ｃの行動を判定してもよい。例えば、結果出力部１１４は、視聴者Ｃが読み聞かせ映像や講義ビデオを注視している、手遊びをしている、周囲を見回し落ち着きがない、室内を動き回っている、等の行動を判定することができる。

再生制御装置１２が表示部（図示せず）に接続されている場合には、結果出力部１１４は、判定した行動を示す認識情報を表示部に出力して、表示させるようにしてもよい。また、結果出力部１１４は、現在判定した行動を示す認識情報を表示部にリアルタイムに出力してもよいし、情報ＤＢ１２０に記憶した過去の認識情報のうち、ユーザによる操作入力に応じて指示された行動情報を出力してもよい。

〔処理フロー〕
次に、本実施形態に係る再生制御システム１による再生制御処理について説明する。図９は、本実施形態に係る再生制御処理を示すフローチャートである。図９において、再生制御処理には、認識情報伝送処理と教育コンテンツの再生制御処理、すなわちユーザＵによる再生方法の変更の指示が含まれる。

（ステップＳ１００）再生制御部１２５は、上述したように、情報ＤＢ１２０に記録されている教育コンテンツを読み出し、教育コンテンツの再生を開始する。その後、処理は、ステップＳ１０１に進む。
（ステップＳ１０１）撮像装置１１は、視聴者Ｃを撮影する。画像解析部１２１は、撮像装置１１から現在の画像を表す画像データを取得し、情報ＤＢ１２０から過去の画像を表す画像データを取得する。その後、処理は、ステップＳ１０２に進む。

（ステップＳ１０２）動き情報検出部１１６は、撮像装置１１、情報ＤＢ１２０から取得した画像データが示す時刻の異なるフレーム画像間で、画素値に変化があった領域を動いた領域として検出し、検出した領域の移動量を算出する。動き情報検出部１１６は、算出した移動量ならびに移動方向（移動ベクトル）、動いた領域の重心座標を示す動き情報（動きベクトル情報）を人物検出部１１５及びモーション検出部１１３に出力する。また、動き情報検出部１１６は現在のフレーム画像を示す画像信号を情報ＤＢ１２０に記憶する。

人物検出部１１５は、撮像装置１１から取得された画像データと動き情報検出部１１６から入力された動き情報を用いて、画像データが表す画像から人物の画像を表す領域を検出する。人物検出部１１５は、検出した人物の顔に関する情報を人物情報として、ユーザ情報検出部１１２及びモーション検出部１１３に出力する。
なお、人物検出部１１５が行う処理が動き情報検出部１１６が行う処理よりも先に行われてもよいし、両処理が同時に行われてもよい。その後、処理は、ステップＳ１０３に進む。

（ステップＳ１０３）ユーザ情報検出部１１２は、撮像装置１１から入力された画像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の状態を検出し、検出した状態を示す検出情報を生成する。例えば、ユーザ情報検出部１１２は、その人物の属性、表情を推定し、それぞれ属性情報、表情情報を生成する。また、ユーザ情報検出部１１２は、その人物の位置を示す位置情報を生成する。また、ユーザ情報検出部１１２は、撮像装置１１から入力された画像データと、人物検出部１１５が生成した人物情報とに基づき、情報ＤＢ１２０に記憶した情報ＤＢのデータを参照して、その人物の人体の部位を検出し、検出した部位毎の位置や大きさを示す人体部位情報を生成する。また、ユーザ情報検出部１１２は、情報ＤＢ１２０に記憶した顔識別ＤＢを参照して入力された画像データが示す人物が登録者のだれであるかを識別し、識別した人物を示す人物識別情報を生成する。ユーザ情報検出部１１２は、これらの生成した情報を検出情報として結果出力部１１４に出力する。その後、処理は、ステップＳ１０４に進む。

（ステップＳ１０４）モーション検出部１１３は、撮像装置１１から入力される画像データ、人物検出部１１５から入力される人物情報、及び動き情報検出部１１６から入力された動き情報に基づき、検出された人物の動作を検出し、検出した動作を示すモーション情報を結果出力部１１４に出力する。その後、処理は、ステップＳ１０５に進む。
（ステップＳ１０５）結果出力部１１４は、撮像装置１１から入力された画像データ、ユーザ情報検出部から入力された検出情報、モーション検出部１１３から入力されたモーション情報に基づいて、検出された人物の行動に関する行動情報を出力する。結果出力部１１４は、行動情報と入力された検出情報を認識情報として、集中度算出部１２２に出力する。また、結果出力部１１４は、出力する認識情報に対応する画像・音声データを集中度算出部１２２に出力する。

集中度算出部１２２は、画像解析部１２１から出力された認識情報、映像・音声データから、視聴者Ｃの集中度を算出する。集中度の算出は、例えば、画像解析部１２１で検出した人物の顔の向き情報から、表示装置を向いている角度の傾きを集中度として算出する。また、視聴者Ｃ全体の動き量や、視聴者Ｃ毎の動き量を集中度として用いても良い。その他、集中度の算出方法は、前述の方法と同様である。
集中度算出部１２２は、算出した集中度情報や認識情報、集中度情報に対応する画像・音声データをデータ変換部１２３に出力する。その後、処理は、ステップＳ１０６に進む。

（ステップＳ１０６）データ変換部１２３は、集中度算出部１２２から入力された認識情報や集中度情報、画像・音声データを伝送可能な単位のブロックデータに変換し、変換したブロックデータを伝送制御部１２４に出力する。ブロックデータはバイナリ形式のデータフォーマットでもよいし、アスキー形式のテキストデータであってもよい。そして、処理は、ステップＳ１０７に進む。
（ステップＳ１０７）伝送制御部１２４は、データ変換部１２３から入力されたブロックデータを、ネットワーク４１を介して情報表示端末装置２１に送信する。伝送制御部１２４が現在の画像データから検出された認識情報や集中度情報、画像・音声データの全てを伝送し終えた後、処理は、ステップＳ１０８に進む。

（ステップ１０８）情報表示端末装置２１を操作しているユーザＵは、再生制御装置から送信された認識情報や集中度情報、画像・音声データのうち、集中度情報を参照し、教育コンテンツを視聴している視聴者Ｃの集中度が所定の値より低下しているか、否かを確認する。
ユーザＵは、集中度が所定の値より低下していると確認した場合（ステップＳ１０８ ＹＥＳ）、ステップＳ１０９に進み、集中度が所定の値より低下していない（または、視聴者Ｃの集中度が回復した）と確認した場合（ステップＳ１０８ ＮＯ）、処理は、ステップＳ１１１に進む。

なお、集中度が所定の値より低下しているか否かの確認をユーザＵが行わずに、情報表示端末装置２１が本判定を行って、その結果を情報表示端末装置２１の表示部に表示してもよい。ユーザＵはその結果を確認し、視聴者Ｃの集中度が低下しているか否かを把握してもよい。

（ステップＳ１０９）情報表示端末装置２１を操作しているユーザＵは、教育コンテンツを視聴している視聴者Ｃの集中度が低下していると確認した場合、情報表示端末装置２１を操作して、情報表示端末装置２１から再生制御装置に対し、教育コンテンツを停止する命令を送信する。再生制御装置の伝送制御部１２４は、教育コンテンツ再生停止の命令を受け取ると、再生制御部１２５に対し、教育コンテンツ再生の停止命令を送り、再生制御部１２５は、教育コンテンツ再生停止の命令を受け取ると、情報ＤＢから教育コンテンツデータの取得をやめ、教育コンテンツの再生を停止する。その後、ステップＳ１１０に進む。
なお、既に教育コンテンツの再生が停止している場合は、再生制御部１２５は教育コンテンツの再生停止制御は行う必要はない。

（ステップＳ１１０）再生制御部１２５は、教育コンテンツの再生を停止させた後、前述の視聴者Ｃの興味が得られるコンテンツを再生する。視聴者Ｃの興味が得られるコンテンツとは、教育コンテンツと異なるコンテンツでもよいし、教育コンテンツの集中度が低下した再生区間を繰り返し再生してもよい。その後、ステップＳ１０１に進む。
なお、既に視聴者Ｃの興味が得られるコンテンツを再生している場合は、再生制御部１２５は、視聴者Ｃの興味が得られるコンテンツを新規に再生するように制御する必要はなく、既に再生している視聴者Ｃの興味が得られるコンテンツの再生を継続する。

（ステップＳ１１１）情報表示端末装置２１を操作しているユーザＵは、教育コンテンツを視聴している視聴者Ｃの集中度が低下していない（集中度が回復した）と確認した場合、情報表示端末装置２１を操作して、情報表示端末装置２１から再生制御装置に対し、教育コンテンツを再生する命令を送信する。再生制御装置の伝送制御部１２４は、教育コンテンツ再生の命令を受け取ると、再生制御部１２５に対し、教育コンテンツの再生命令を送り、再生制御部１２５は、教育コンテンツの再生命令を受け取ると、再度、情報ＤＢから教育コンテンツデータを取得し、前回再生を停止した再生位置から教育コンテンツの再生を再開する。その後、ステップＳ１１２に進む。
なお、既に教育コンテンツを再生または再生の再開をしている場合は、再生制御部１２５は、教育コンテンツを新規に再生するように制御する必要はなく、既に再生または再開している教育コンテンツの再生を継続する。

（ステップＳ１１２）再生制御装置は、本処理を終了するか否かを判定する。例えば、電源ＯＦＦ、教育コンテンツの再生を終了、等が操作入力に応じて指示された場合、再生制御装置は、本処理を終了すると判定し、指示されない場合、本処理を継続すると判定する。継続すると判定された場合（ステップＳ１１２ ＮＯ）、ステップＳ１０１に進み、次の時刻の画像データを取得する。終了すると判定された場合（ステップＳ１１２ ＹＥＳ）、本処理を終了する。

なお、ステップＳ１０３において、ユーザ情報検出部１１２の人物識別部１１２２は、上述したように人物検出部１１５で検出された領域の画像から特徴量を算出し、情報ＤＢ１２０に記憶された人物毎の顔識別ＤＢに含まれる特徴量のそれぞれ、及び設置状態に対応した顔識別ＤＢ（形成されている場合）に含まれる特徴量のそれぞれと照合する。人物識別部１１２２は、算出した特徴量とこれら顔識別ＤＢに含まれる特徴量との類似度を示す指標値を算出し、算出した指標値が最も小さい特徴量を対応する特徴量として特定する。人物識別部１１２２は、特定した特徴量が予め定めた特徴量の最低値よりも低い特徴量が発見されたとき、識別に成功したと判定し、発見できなかったとき、識別に失敗したと判定してもよい。人物識別部１１２２は、特定した特徴量を含む顔識別ＤＢに対応する登録者ＩＤを特定することにより、人物を識別する。

以上、説明したように、本実施形態に係る再生制御装置１２によれば、教育コンテンツを視聴している視聴者Ｃを撮影する画像から、視聴者Ｃの顔の向きや動き情報等を検出し、検出した人物の状態情報から、その人物の集中度を算出する。算出した集中度により、ユーザＵは、教育コンテンツの再生を継続するか、中断するかを判定し、再生を中断する場合は、視聴者Ｃの興味が得られるコンテンツを再生して、視聴者Ｃの集中度を回復させる。視聴者Ｃの集中度が回復した段階で、元の教育コンテンツを再生することで、視聴者Ｃへの教育効果を向上させることが可能となる。

また、本実施形態に関わる再生制御装置によれば、情報表示端末装置２１に送信するデータは、集中度情報のみとしてもよい。これにより、視聴者Ｃを撮影した画像データを、ユーザＵが使用する情報表示端末装置２１に送信し、情報表示端末装置２１で集中度を算出する場合と比較し、ネットワーク４１に送信するデータ量を大幅に削減することができる。さらに、集中度情報のみ送信することで、複数の再生制御装置からの集中度情報を一括して情報表示端末装置２１に送信することができるため、ユーザＵは、異なる部屋で教育コンテンツを視聴している複数の再生制御装置の集中度を把握することができ、教育コンテンツの再生方法を制御することができる。

（第２の実施形態）
次に、本発明の第２の実施形態に係る再生制御システムについて説明する。上述した第１の実施形態と同一の構成については、同一の符号を付して説明を援用する。本実施形態に係る再生制御システムは、第１の実施形態の再生制御システム１（図１）とほぼ同様の構成であるが、再生制御装置１２に変えて再生制御装置１２ａを有する点が異なる。図１０は、本実施形態における再生制御装置１２ａの構成を示す概略ブロック図である。再生制御装置１２ａは、第１の実施形態の再生制御装置１２（図２）とは、表示制御部１２６を有する点と、再生制御部１２５に変えて再生制御部１２５ａを有する点と、集中度算出部１２２から出力される集中度情報がデータ変換部１２３に加え、再生制御部１２５ａにも入力される点が異なる。

〔再生制御部１２５ａ〕
再生制御部１２５ａは、上述した第１の実施形態の再生制御部１２５（図６）の処理と以下の点が異なる。再生制御部１２５ａは、集中度算出部１２２から出力される集中度情報に応じて、情報ＤＢ１２０から読み出した教育コンテンツの再生方法を変更（制御）する。再生制御部１２５は、視聴者Ｃの集中度に応じてユーザＵが指定した再生方法に従っていたが、再生制御部１２５ａは、視聴者Ｃの集中度に応じて自動的に教育コンテンツの再生を制御する。例えば、本実施形態の再生制御装置１２ａを幼稚園や保育園等に設置することによって、園児への絵本の読み聞かせを教諭に代わって行うことができ、教諭の負担軽減や、教育者の必要人数削減が可能となる。

再生制御部１２５ａは、例えば、再生制御システム１にてユーザＵが行っていたのと同様に、集中度に基づき再生方法の変更を決定する。具体的には、再生制御部１２５ａは、集中度が予め設定された閾値α１を下回ると、コンテンツの再生を停止させる、他のコンテンツを再生させる、または、集中度が低下していたコンテンツの再生区間を繰り返し再生させる。そして、再生制御部１２５ａは、集中度が予め設定された閾値α２を超えると、コンテンツの再生を再開する。なお、コンテンツの再開は、集中度が閾値α２を超えたときではなく、コンテンツの再生を停止させてから、所定の時間が経過した後でもよい。

また、再生制御部１２５aは、集中度が低下した場合に集中度算出部１２２から出力される集中度情報に応じて、教育コンテンツの音量や読み聞かせ朗読者の声や、講義ビデオの先生が話す言葉の抑揚や強弱を変化させるように再生し、視聴者Ｃの興味を教育コンテンツに引きつけるように再生を制御してもよい。また、読み聞かせ朗読者や先生の声と異なる音声に変えて（園長先生などの別の先生、アニメーションキャラクタ、集中できていない人の両親（家族）など）再生してもよい。
また、再生制御部１２５aは、教育コンテンツの話の順番を変更し、通常とは異なるストーリーに変更することや、全く異なるストーリーに差替えて再生制御しても良い。

また、再生制御部１２５aは、画像解析部１２１の人物識別部１１２２で識別した情報を用いて、集中度が低下している視聴者Ｃの名前を呼ぶように再生制御しても良いし、教育コンテンツに登場する人物の名前を集中度が低下している人物に変更して再生制御することや、集中度が低下している視聴者Ｃの名前となる新たな登場人物を登場させるようにコンテンツのストーリーを変更するように再生制御しても良い。

また、再生制御部１２５aは、視聴者Ｃの集中度が低下した場合に、読み聞かせている絵本や教育ビデオに関する問題（質問）や、教育コンテンツを再生している環境などに関する問題（天気や所在地など）を視聴者Ｃに出題し、視聴者Ｃからの回答を促すコンテンツを再生してもよい。このように、質問や問題などをクイズ形式で出題するコンテンツを再生することで、視聴者Ｃのゲーム感覚や競争意識を引き出すことが可能なため、教育コンテンツへの集中度を向上させることができる。なお、これら問題を出題する相手は、視聴者Ｃ中の集中度が低下している視聴者であり、その名前を呼んで出題しても良い。

また、再生制御部１２５aは、視聴者Ｃの集中度が低下している場合に、音楽を流す、視聴者Ｃに流した音楽に合わせて歌を歌わせる、手遊びをするコンテンツを再生するように制御しても良い。集中度が低下し始めた場合は、視聴者Ｃ自身にアクションが発生するコンテンツを再生することで、気分転換することができ、教育コンテンツへの集中度を向上させることができる。

以上の再生方法を変更するコンテンツは、情報ＤＢ１２０に記録していても良いし、情報表示端末装置２１に記録されていても良い。さらに、異なる再生制御装置の情報ＤＢ１２０に記録されているものをネットワーク４１経由でダウンロードして再生しても良いし、ネットワーク４１上のサーバーに記録されているコンテンツを再生しても良い。
変更する再生制御方法は、集中度が低下したと判定した時点で再生を一時停止した後、前記変更したコンテンツを再生する。そして、視聴者Ｃの集中度が回復した時点で、元の教育コンテンツの再生を再開させても良い。これにより、一時的に注目度が集まるコンテンツを表示することで、視聴者Ｃの集中度を上げることができるため、教育効果を向上させることができる。

再生制御部１２５aは、再生制御した画像データおよび音声データと、これに対応する集中度情報およびどのような再生制御を行ったかを示す再生情報を表示制御部１２６に出力する。

〔表示制御部１２６〕
表示制御部１２６は、再生制御部１２５ａから出力された再生制御した画像データおよび音声データと、これに対応する集中度情報および再生情報とから、表示部１００に表示する画像を編集するように制御し、編集された画像データを表示装置１０に出力する。

図１１を用いて、表示制御部１２６が行う表示制御方法を説明する。図１１は、絵本の読み聞かせコンテンツを教育コンテンツとして表示する場合の一例である。
図１１の通常表示画面Ｄａは、絵本の朗読者Ｐａと絵本Ｃａの双方を表示するコンテンツを示している。朗読者Ｐａは絵本Ｃａ全体が視聴者Ｃに見えるように絵本Ｃａを抱え、視聴者Ｃに読み聞かせを行う。このとき、実際の教諭による読み聞かせと同様の条件となるように、表示部１００は、人の全身が実物大で表示可能なサイズのディスプレイ（例えば６０型以上）としても良い。そして、実際の教諭が読み聞かせている臨場感を視聴者Ｃが得られるように、高解像度の映像（例えば、４Ｋや８Ｋ映像）を出力してもよい。

これには、高解像度映像となるコンテンツを予め撮影し、情報ＤＢ１２０やネットワーク上のサーバーに記録しておく。さらに、コンテンツ収録時に、表示装置１０の大きさおよび表示解像度と、撮像装置が撮像する画像全体の画素数から、絵本Ｃａや朗読者Ｐａの身体・顔の大きさが表示装置１０に実物と同じ大きさで表示されるように、撮影距離を調整して、読み聞かせコンテンツを記録する。既に記録された読み行かせコンテンツを表示装置１０に表示する場合や、表示装置１０に合わせて収録した読み聞かせコンテンツを表示装置１０と異なる表示装置に表示する場合は、絵本Ｃａや朗読者Ｐａが表示装置に実物大で表示できるように、表示制御部１２６はスケーリングを行う。このように、絵本や朗読者を実物大で表示することにより、臨場感を向上させた読み聞かせを行うことができ、教育効果が一層増大する。

図１１の集中度大表示画面Ｄｂは、視聴者Ｃの集中度が高い場合の表示制御方法である。視聴者Ｃ全体の集中度が高いため、絵本Ｃｂを拡大表示してより視聴者Ｃから見やすくし、絵本へ没入させることができる。
図１１の集中度小表示画面Ｄｃは、視聴者Ｃの集中度が低下してきた場合に、表示装置１０に注目を集めるため、朗読者Ｐｃの顔を絵本画像の手前に大きく拡大表示するように制御する例である。これにより、視聴者Ｃは絵本の読み聞かせが中断したことと、朗読者Ｐｃの顔が実物より大きく表示することに驚き、再び表示装置１０に注目し、集中度を向上させることができる。さらに、朗読者Ｐｃの顔ではなく集中度が低下している視聴者Ｃの両親（家族）や先生、アニメキャラクターなどの画像を表示しても良い。朗読者Ｐｃの顔を表示する場合と同様に、視聴者Ｃはこれら画像が表示されることに驚き、再び表示装置１０に注目し、集中度を向上させることができる。

また、視聴者Ｃの集中度が低下した場合には、手遊び表示画面Ｄｄを表示しても良い。集中度が低下した場合に、読み聞かせコンテンツの再生を中断し、手遊びを行うコンテンツを再生するように制御することで、視聴者Ｃは表示装置１０に注目し、集中度を向上させることができる。なお、手遊びの手本をしている人Ｐｄは、朗読者Ｐａと同一人物であってもよいし、その他の人であってもよい。また、手遊びを行うコンテンツへの変更は、再生制御部１２５ａが行ってもよい。

その他、表示制御部１２６は、人物識別部１１２２の識別情報と集中度情報から、集中度が低い視聴者Ｃの顔画像を表示装置１０に表示してもよい。顔画像の表示は、朗読者拡大表示画面Ｄｃのように、絵本に重ねて拡大表示してもよいし、絵本の余白や横に表示してもよい。また、朗読者拡大表示画面Ｄｃや、集中度が低い視聴者Ｃの顔画像を表示する場合は、画像解析部１２１の認識情報である顔の位置情報から、拡大表示する顔の向きが集中度が低下している視聴者Ｃの方向に向けて表示するように表示を制御してもよい。

また、集中度が低い視聴者Ｃを絵本のストーリーに登場させ、絵本上の登場人物の絵に集中度の低い視聴者Ｃの顔画像を合成してもよい。さらに、集中度が低下した視聴者Ｃを登場させた登場人物を用いて、絵本や現在の居場所等のクイズを出すように表示を制御してもよい。さらに、手を上げた視聴者Ｃや笑っている視聴者、表示装置を見ている割合などをカウントして、その結果や現状況を表示装置１０に表示するように、ゲーム感覚を取り入れたコンテンツを表示するように制御してもよい。

表示制御部１２６による制御する表示方法の選択は、第一に視聴者Ｃ全体の動きを判定し、あらかじめ定めた集中度大用の閾値より集中度が大きい場合は、集中度大表示画面Ｄｂを選択し、あらかじめ定めた集中度小用の閾値より集中度が大きい場合は、通常表示画面Ｄａを選択するように表示を制御する。これら条件にあてはまらない集中度の場合（集中度小）の場合は、表示制御部１２６は、視聴者Ｃ毎の動き情報により、集中度の低い視聴者Ｃに合わせた表示方法を制御し、教育コンテンツの画像や音声を、表示装置１０に出力する。これら表示方法を制御することにより、視聴者Ｃの集中度に応じて表示する教育コンテンツの再生方法が変更できるため、視聴者Ｃの集中度や飽きを低減し、教育効果を向上させることができる。

〔処理フロー〕
次に、本実施形態に係る再生制御装置１２ａが行う再生制御処理について説明する。図１２は、本実施形態に係る再生制御処理を示すフローチャートである。図１２に示す処理は、ステップＳ１００からＳ１０７、Ｓ１０９からＳ１１２と、ステップＳ２０１−Ｓ２０２を有する。ステップＳ１００からＳ１０７、Ｓ１０９からＳ１１２は、図９と同様であるため、詳細な説明は省略する。ただし、ステップＳ１０９〜Ｓ１１２は、再生制御部１２５ａが行う。

（ステップ２０１）再生制御部１２５ａは、集中度算出部１２２から出力される集中度情報が所定の値より低下しているか、否かを確認する。再生制御部１２５ａは、集中度が所定の値より低下していると判定した場合（ステップＳ２０１ ＹＥＳ）、ステップＳ１０９に進み、集中度が所定の値より低下していない（または、視聴者Ｃの集中度が回復した）と判定した場合（ステップＳ２０１ ＮＯ）、ステップＳ１１１に進む。

（ステップＳ２０２）表示制御部１２６は、再生制御部１２５ａから出力される集中度情報や再生情報、画像・音声データから前述の視聴者Ｃの興味が得られる画像に編集して表示する。表示制御部１２６は、教育コンテンツに登場する人物（例えば、絵本読み聞かせの場合は朗読者など）を表示装置１０に表示する際、実物の人物と同じ大きさで表示されるようにスケーリングして表示する。また、視聴者Ｃの集中度に応じて、集中度が大きい場合は、例えば、絵本読み聞かせの場合、絵本画像を大きく拡大表示する。これにより、視聴者Ｃの没入感が向上し、集中度が上がる。また、視聴者Ｃの集中度が低い場合は、朗読者の顔画像を拡大表示するや、集中度が低い視聴者Ｃの名前を呼ぶ、顔画像を表示装置１０に表示するといった再生映像を編集して表示する。その他再生映像の編集は、前述の同じである。その後、ステップＳ１０１に進む。

以上、説明したように、本実施形態によれば、再生制御１２５ａは、集中度算出部１２２から出力される集中度情報に応じて、表示装置１０に表示する教育コンテンツを視聴者Ｃの興味を引くコンテンツや再生方法に変更し、再び視聴者Ｃの集中度を上げることにより、教育効果を向上させることができる。

（第３の実施形態）
次に、本実施形態の第３の実施形態に係る再生制御装置について説明する。上述した実施形態と同一の構成について同一の符号を付することにより、説明を援用する。
〔撮像装置の設置方法〕
図１３を参照して撮像装置１１（図１）とは異なる位置にも撮像装置を設置する場合について説明する。図１３における再生制御システム１ｂは、撮像装置１１ａおよび撮像装置１１ｂを有する点を除いて、図１の再生制御システム１と同様である。

図１３上の撮像装置１１ａは、表示装置１０が内蔵している撮像装置１１（図１）を、と同様の撮像装置を表示装置１０を設置した室内の天井に設置したものである。撮像装置１１ａは、再生制御装置１２に接続されており（図示はなし）、撮像した画像を再生制御装置１２に伝送する。撮像装置１１ａは、その撮影する光軸の向きが、鉛直下向きとなるように、設置する。そして、再生制御装置１２に記録された教育コンテンツを表示装置１０に表示し、撮像装置１１ａは、表示された画像を視聴している視聴者Ｃの様子を撮影する。

このように、撮像装置１１を天井に設置することにより、視聴者Ｃの動きを確実にとらえることが可能となる。視聴者Ｃは、床面を四方八方に動くと共に、ジャンプなどをすることが考えられるが、天井から撮影することにより、床面の移動量は、撮像装置１１ａで撮影した画像上の動きと一致するため、そのまま動き量として使用することができる。撮像装置１１（図１）の場合は、表示装置１０に近づくまたは離れる方向の動きの場合は、正しい動き量を検出できなかったが、撮像装置１１ａの場合は、正しい動き量を検出できるため、精度よく集中度を検出することが可能となる。
また、天井から視聴者Ｃを撮影することで、ある視聴者が別の視聴者に隠れて撮影されることが発生しないため、視聴者Ｃの並び順はいかなる並び順でも検出することが可能となる。

撮像装置１１ｂは、表示装置１０に内蔵されている撮像装置１１（図１）と同じ撮像装置を、視聴者Ｃの後方から撮影されるように設置した場合である。撮像装置１１ｂは、再生制御装置１２に接続されており（図示はなし）、撮像した画像を再生制御装置１２に伝送する。再生制御装置１２に記録された教育コンテンツを表示装置１０に表示し、撮像装置１１ｂは、表示された画像を視聴している視聴者Ｃの様子を撮影する。撮像装置１１（図１）のみを用いた場合は、視聴者Ｃの顔の向きが横方向から後方に向いた場合や、前方の視聴者で隠れてしまった場合に、視聴者Ｃの顔や動きを検出できなくなってしまうが、撮像装置１１ｂと組合せて撮像することによって、確実に視聴者Ｃの顔の向きや動きを検出することが可能となる。

さらに、撮像装置１１ｂが撮影した画像データを用いることで、表示装置１０に表示された教育コンテンツと視聴者Ｃの視聴状況が同時に撮影できるため、教育コンテンツの再生時間と、視聴者Ｃの集中度の関係を取得することができる。そのため、再生している教育コンテンツの教育効果向上に向けたコンテンツの修正や、新たな教育コンテンツの作成に役立てることが可能となる。

また、撮像装置１１、撮像装置１１ａ、撮像装置１１ｂの画像データを再生制御装置１２に入力し、これら３つの画像データを用いて、視聴者Ｃの集中度を算出しても良い。これにより、認識情報および集中度の算出精度を向上させることができる。

〔再生制御システム１ｃ〕
次に、上述の第１の実施形態の変形例である再生制御システム１ｃの構成について説明する。なお、上述の第２および第３の実施形態における再生制御システムについても、本変形例と同様に変形してもよい。図１４は、本変形例に係る再生制御システムの構成を示すブロック図である。再生制御システム１ｃは、表示装置１０−１〜１０−３、再生制御装置１２−１〜１２−３、情報表示端末装置２１−１、２１−２を含んで構成される。再生制御装置１２−１〜１２−３、情報表示端末装置２１−１、２１−２は、ネットワーク４１に接続され互いにデータを送信及び受信することができる。

ネットワーク４１は、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のいずれか、又は両者を含んで構成されることができるが、これに限定されない。例えば、情報表示端末装置２１−１が、再生制御装置１２−１〜１２−３と同一の建造物内（宅内）にあり、情報表示端末装置２１−２が、その建造物から予め定めた距離内にある場合には、ＬＡＮを用いて接続されるようにしてもよい。

ＬＡＮは、例えば、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５．１等、いずれの通信規格で規定された方式でもよい。
情報表示端末装置２１−１、２１−２は、再生制御装置１２−１〜１２−３から受信した認識情報や集中度情報に基づく表示用データを生成し、生成した表示用データを表示部（図示せず）に出力するデータ処理部（図示せず）を備えてもよい。

このデータ処理部は、認識情報や集中度情報を文字で表示するための表示用データを生成してもよいし、イラストで表示するための表示用データを生成してもよい。また、データ処理部は、認識情報や集中度情報に含まれるテキストデータについてテキスト音声合成処理を行って音声データに変換し、変換した音声データを音声再生部（例えば、スピーカ）に出力してもよい。

また、データ処理部は、認識情報や集中度情報に所定の視聴者Ｃの集中度低下を示す情報が含まれているか否かを判定し、含まれていると判定したとき、さらにユーザＵの注意を促す情報を表すデータを表示部、音声再生部、又は刺激提示部（例えば、バイブレータ）に出力してもよい。その場合、ユーザＵの注意を促す情報として、フラッシュ、警告音、又はバイブレーションが、認識情報、集中度情報とともに表示又は提示される。これにより、絵本の読み聞かせや講義ビデオなどを視聴している視聴者Ｃの集中度が低下していることを情報表示端末装置２１−１または情報表示端末装置２１−２を使用しているユーザＵ（ユーザ）に通知することができ、教育効果の低下を防ぐことができる。

また、情報表示端末装置２１−１、２１−２は、再生制御装置１２−１〜１２−３とＷＡＮを用いて接続されるようにしてもよい。情報表示端末装置２１−１、２１−２は、再生制御装置１２−１〜１２−３から認識情報や集中度情報、画像データを受信し、受信した認識情報や集中度情報、画像データが示す画像を上述したように表示する。

ＷＡＮは、公衆通信網、インターネット、あるいはそれらの組み合わせであってもよい。公衆通信網は、光回線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）などの固定網でもよいし、ＩＭＴ−２０００（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ ２０００）、ＬＴＥ−Ａｄｖａｎｃｅｄ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ Ａｄｖａｎｃｅｄ）などの移動網でもよい。

これにより、いずれかの情報表示端末装置、例えば、情報表示端末装置２１−２のユーザＵには、再生制御装置１２−１〜１２−３から離れた遠隔地に所在する場合であっても、認識情報や集中度情報、画像データが伝達される。
なお、情報表示端末装置２１−１、２１−２は、画像を撮像する撮像部を備え、撮像部が撮像した画像を示す画像データを再生制御装置１２−１〜１２−３に送信してもよい。

このように、複数の異なる場所に設置された再生制御装置１２−１〜１２−３の認識情報や集中度情報および画像データを、ネットワーク４１を介して情報表示端末装置２１−１または２１−２に送信することで、情報表示端末装置２１−１または２１−２は、各再生制御装置の認識情報や集中度情報を集計して、再生している教育コンテンツの教育効果を測定できるとともに、再生制御装置を設置した視聴者Ｃに合わせたストーリーや、教育コンテンツの教育効果を向上させる内容に変更することが可能となる。さらに、教育コンテンツの教育効果情報を蓄積することで、新たな教育コンテンツの作成に役立てることができる。

また、再生制御装置１２は、画像を表示する表示部に接続され、情報表示端末装置２１から受信した画像データを表示部に出力してもよい。これにより、再生制御装置１２と情報表示端末装置２１との間で双方向の画像通信（いわゆる、テレビ電話）が可能となり、視聴者Ｃは、教諭や先生のリアルタイムな顔を見ることができ、さらに会話をすることが可能となる。再生制御装置１２に接続される表示部は、ディスプレイ単体でもよいし、ディスプレイが組み込まれた電子機器、例えば、テレビジョン受信装置、携帯電話機（スマートフォンを含む）、タブレット端末装置、パーソナルコンピュータ、などでもよい。

なお、ネットワーク４１の構成は、上述した例に限られない。情報表示端末装置２１−１、２１−２は、再生制御装置１２−１〜１２−３と同一の建造物内のＬＡＮに接続されていてもよい。また、再生制御装置１２−１〜１２−３、情報表示端末装置２１−１、２１−２は、個別にＷＡＮに接続されてもよい。装置間でデータを送受信することができれば、ネットワーク４１は、いかなる構成を有してもよい。

また、上述した各実施形態における再生制御装置１２、１２ａ、例えば、画像解析部１２１であるユーザ情報検出部１１２、モーション検出部１１３、結果出力部１１４、人物検出部１１５、動き情報検出部１１６や、集中度算出部１２２、データ変換部１２３、伝送制御部１２４、再生制御部１２５、表示制御部１２６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、人物識別装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における再生制御装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。人物識別装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

（１）本発明の一態様は、コンテンツの再生を制御する再生制御装置であって、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する画像解析部と、前記画像解析部が検出した人物の状態から集中度を算出する集中度算出部と、前記コンテンツの再生方法を変更する再生制御部とを備えることを特徴とする再生制御装置である。

（２）また、本発明の他の態様は、（１）に記載の再生制御装置であって、前記人物の状態は、前記人物各々の顔の向き、前記画像から検出した前記人物全体の動き量、前記人物各々の動き量、前記人物各々の姿勢、前記人物各々の表情のうち、少なくとも１つを含むことを特徴とする。

（３）また、本発明の他の態様は、（１）または（２）に記載の再生制御装置であって、前記集中度に基づき、前記コンテンツの再生を制御する再生制御部を備えることを特徴とする。

（４）また、本発明の他の態様は、（３）に記載の再生制御装置であって、前記再生制御部は、前記集中度が所定の値より低下したときに、再生しているコンテンツを停止させ、前記再生しているコンテンツとは異なるコンテンツを再生させ、前記集中度が所定の値より向上したときに、再生を停止させていたコンテンツの再生を再開すること特徴とする。

（５）また、本発明の他の態様は、（４）に記載の再生制御装置であって、前記再生しているコンテンツとは異なるコンテンツは、前記再生しているコンテンツにおける音声、音声の音量、または音声の抑揚を変更したコンテンツであることを特徴とする。

（６）また、本発明の他の態様は、（１）から（３）のいずれかに記載の再生制御装置であって、前記再生しているコンテンツの一部分を、実物大で表示されるようにスケーリングする表示制御部を備え、前記表示制御部は、スケーリングする前記一部分を、前記集中度に応じて変更することを特徴とする。

（７）また、本発明の他の態様は、（１）から（３）のいずれかに記載の再生制御装置であって、集中度が低いと判定された人物に応じた画像を、前記再生しているコンテンツの画像に合成する表示制御部を備えことを特徴とする。

（８）また、本発明の他の態様は、（１）から（３）のいずれかに記載の再生制御装置であって、前記集中度をユーザに提示する他装置に送信し、前記再生制御部に対するコンテンツの再生方法の変更指示を受信する伝送制御部を備えることを特徴とする。

（９）また、本発明の他の態様は、コンテンツの再生を制御する再生制御方法であって、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する第１の過程と、前記第１の過程にて検出した人物の状態から集中度を算出する第２の過程と、前記コンテンツの再生方法を変更する第３の過程とを有することを特徴とする再生制御方法である。

（１０）また、本発明の他の態様は、コンピュータを、少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する画像解析部、前記画像解析部が検出した人物の状態から集中度を算出する集中度算出部、コンテンツの再生方法を変更する再生制御部として機能させるためのプログラムである。

１、１ｂ、１ｃ…再生制御システム
１０…表示装置
１１、１１ａ、１１ｂ…撮像装置
１２、１２ａ…再生制御装置
２１…情報表示端末装置
４１…ネットワーク
１００…表示部
１０１…スピーカ
１０２、１０２ａ、１０２ｂ…マイク
１１０…撮像部
１１１…設置情報取得部
１２０…情報ＤＢ
１２１…画像解析部
１２２…集中度算出部
１２３…データ変換部
１２４…伝送制御部
１２５、１２５ａ…再生制御部
１２６…表示制御部
１１２…ユーザ情報検出部
１１３…モーション検出部
１１４…結果出力部
１１５…人物検出部
１１６…動き情報検出部
１１２０…属性推定部
１１２１…表情推定部
１１２２…人物識別部
１１２３…位置検出部
１１２４…人体部位検出部

Claims (5)

1. コンテンツの再生を制御する再生制御装置であって、
   少なくとも１つの撮像部が撮像した画像から検出された人物の状態を検出する画像解析部と、
   前記画像解析部が検出した人物の状態から集中度を算出する集中度算出部と、
   前記コンテンツの再生方法を変更する再生制御部と
   を備えることを特徴とする再生制御装置。
2. 前記人物の状態は、前記人物各々の顔の向き、前記画像から検出した前記人物全体の動き量、前記人物各々の動き量、前記人物各々の姿勢、前記人物各々の表情のうち、少なくとも１つを含むことを特徴とする請求項１に記載の再生制御装置。
3. 前記集中度に基づき、前記コンテンツの再生を制御する再生制御部を備えることを特徴とする請求項１または請求項２に記載の再生制御装置。
4. 前記再生制御部は、前記集中度が所定の値より低下したときに、再生しているコンテンツを停止させ、前記再生しているコンテンツとは異なるコンテンツを再生させ、前記集中度が所定の値より向上したときに、再生を停止させていたコンテンツの再生を再開することを特徴とする請求項３に記載の再生制御装置。
5. 前記再生しているコンテンツの一部分を、実物大で表示されるようにスケーリングする表示制御部を備え、
   前記表示制御部は、スケーリングする前記一部分を、前記集中度に応じて変更すること
   を特徴とする請求項１から請求項３のいずれかの項に記載の再生制御装置。

Images