JP2016111612A - コンテンツ表示装置 - Google Patents

Abstract

【課題】コンテンツ表示装置において、事前のキャリブレーションを行うことなく、集中度の精度を高める。【解決手段】ＣＣＤカメラ３により撮像されたユーザ像Ｖから、ユーザＵの視線Ｓに係る視線方向としての顔向きθｆに加えてさらに、表示面２１からユーザＵまでのユーザ距離Ｄも推定するようにした。そして、ユーザＵの視線Ｓが表示面２１上にあるか否かを判定する第１判定角度範囲Ｒ１を設定するときに、ユーザ距離Ｄが増大するに従って、当該第１判定角度範囲Ｒ１をより狭く設定するようにした。【選択図】図４

Description

ここに開示する技術は、コンテンツ表示装置に係る。

特許文献１には、注目度推定装置及びそのプログラムについて記載されている。この注目度推定装置は、ＴＶなどの映像コンテンツを視聴しているユーザ（人物）の骨格位置情報を計測するモーションキャプチャと、当該ユーザの人物画像を取得するカメラと、を備えており、モーションキャプチャにより計測された身体動作量と、人物画像より計測された視線変動量とに基づいて、ユーザの映像コンテンツに対する集中度合い（注目度合い）を示す集中度（注目度）を推定する。この装置により推定された集中度は、前記映像コンテンツにおいて予め定めた映像区間毎に対応付けて記憶され、各映像区間に対する集中度として特定される。

また、特許文献２には、省電力制御方法、及びこの省電力制御方法を用いた装置について記載されている。この特許文献２に記載の制御方法では、ディスプレイ等の表示部（表示領域、表示画面）に取り付けたカメラによって、当該表示部を見るユーザの顔を撮像すると共に、撮像されたユーザ像から当該ユーザの瞳孔の向き（視線方向）又は顔向き（顔向き方向）を推定するように構成されている。この制御方法は、事前にキャリブレーションを行うことで、推定された瞳孔の向き又は顔向きと、ユーザが表示部を見ているか否かとを対応付けるよう構成されており、ユーザが表示部を見ていないと判定したときには、当該表示部に対して省電力制御を行うことができる。

特開２０１３−１０５３８４号公報 特開平１１−２８８２５９号公報

しかしながら、特許文献１に記載の注目度推定装置は、撮像されたユーザの視線がどれだけ安定しているかを計測することはできるものの、そのユーザが映像コンテンツを見ているか否かを判定することはできない。したがって、当該特許文献１の構成により推定される集中度は、撮像されたユーザが実際に映像コンテンツを見ているか否かを反映していないという点で、精度を高めるには不都合である。

また、特許文献１に記載の構成では、ユーザの身体動作を計測するのにモーションキャプチャを設ける必要があるため、当該モーションキャプチャ、及び、その制御系の分だけ、製造コストを抑止するにも不都合である。

そこで、モーションキャプチャを備えた構成に代えて、特許文献２に記載の制御方法を用いることによって、推定された集中度に、ユーザが表示部を見ているか否かの判定を反映させるように構成することが考えられる。

しかし、特許文献２に記載の制御方法は、カメラにより撮像されたユーザが表示部を見ているか否かの判定は行うものの、事前のキャリブレーションを必要とするため、ユーザの負担を増大させるという点で不都合である。

また、特許文献２に係るキャリブレーションは、特定のユーザに対して事前作業を行う必要があるという点で、不特定多数の人物を対象とした用途には適さない。しかも、こうしたキャリブレーションは、ユーザが位置を変更する度に行う必要があるから、設置スペース内を移動する等して、ユーザと表示部との間の相対位置関係が随時変化し得るような用途にも適さない。

特に、前記特許文献１に記載の注目度推定装置のように、算出された集中度を映像コンテンツに対応付けて記録する場合、そうした記録作業を所定の期間にわたって継続的に行うことが考えられるが、その場合、前述の構成のように、視聴の度に事前作業を必要として且つ、そうした事前作業後はユーザの移動を許容しない構成を適用するのは、現実的ではなく、実用性という点で不都合である。

前述の問題は、家屋等に設置されるＴＶ（テレビジョン受信装置）や、屋外に取り付けられるデジタルサイネージ（電子看板）のように、設置スペース内の各所からの視聴、又は、不特定多数の人物による視聴を前提としたコンテンツ表示装置に共通している。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、コンテンツ表示装置において、事前のキャリブレーションを行うことなく、集中度の精度を高めることにある。

ここに開示する技術は、ユーザに対してコンテンツを表示可能な表示面を有する表示手段と、ユーザ像を撮像可能な撮像手段と、前記撮像手段により撮像された前記ユーザ像を解析するユーザ像解析手段と、前記ユーザ像解析手段による解析結果に基づいて、前記ユーザの前記コンテンツに対する集中の度合いを示す集中度を算出する集中度算出手段と、前記集中度算出手段による算出結果を、時系列に沿って継続的に記録可能な集中度記録手段と、を備えたコンテンツ表示装置に係る。

前記ユーザ像解析手段は、前記ユーザ像から前記ユーザの顔領域を抽出すると共に、該ユーザ像内における顔領域のサイズを検出する顔領域分析部と、前記顔領域分析部により抽出された顔領域の形態に基づいて、前記ユーザの視線方向が、前記表示面上の基準位置から面直に延びる直線に対して成す視線角度を推定するユーザ視線推定部と、前記顔領域分析部により検出された顔領域のサイズに基づいて、前記基準位置から前記ユーザまでの距離を推定するユーザ距離推定部と、を有し、前記ユーザ距離推定部は、前記ユーザ像内における顔領域のサイズが大きくなるにしたがって、前記基準位置から前記ユーザまでの距離がより小さくなるように推定し、前記集中度算出手段は、前記ユーザ距離推定部による推定結果に基づいて、前記ユーザの視線が前記表示面上にあるか否かを判定する第１判定角度範囲を設定すると共に、前記視線角度が前記第１判定角度範囲内にあるときには、前記ユーザの視線が前記表示面上にあるものとして、当該第１判定角度範囲外にあるときよりも、前記集中度を高く算出するように構成される。

そして、前記第１判定角度範囲は、前記基準位置から前記ユーザまでの距離が大きくなるにしたがって狭くなるように設定される。

ここでいう「コンテンツ表示装置」は、所定のユーザに対してコンテンツを表示可能な装置であればよく、ＴＶ、デジタルサイネージ、及びパーソナルコンピュータを含む。

ここでいう「ユーザの視線方向」は、ユーザの瞳孔が向かう方向、ユーザの顔が向かう方向、又は、これらの組み合わせを含む。

また、ここでいう「ユーザ像内における顔領域のサイズ」とは、ユーザ像の大きさに対する顔領域の相対的なサイズを意味するものである。

通常、ユーザと表示面とが離れていくにしたがって、そのユーザの視界内に占める表示面のサイズは単調に減少していくから、減少した分だけ、ユーザの視線が表示面上にあるとみなすことができる立体角、ひいては視線角度の範囲は狭まっていく。ゆえに、ユーザの視線方向だけでは、ユーザが表示面を見ているか否かを判定することはできない。一方で、そうして離れていくにしたがって、撮像されたユーザ像内におけるユーザのサイズも単調に減少していくことになる。

そこで、本願発明者等は、前述の構成に示すように、ユーザ像内における顔領域のサイズに基づいて、表示面からユーザまでの距離を推定すると共に、その推定結果に基づいて、表示面からユーザまでの距離が大きくなるにしたがって、前記第１判定角度範囲をより狭く設定するようにした。

この構成によると、前記コンテンツ表示装置は、集中度を算出する上で、ユーザの視線角度に加えてさらに、ユーザ像内における顔領域のサイズから推定された表示面からユーザまでの距離も参照するようにした。そうすることで、事前のキャリブレーションを行うことなく、撮像されたユーザが表示面を見ているか否かを集中度に反映させることができるから、集中度をより正確に算出することができる。

さらに、前記コンテンツ表示装置は、視線角度及び距離を推定する上で、撮像手段により撮像されたユーザ像のみを用いるように構成されているから、モーションキャプチャ等の部材を新設したり、その部材に係る制御系を設けたりする必要がない分だけ、より簡素に構成することができるようになると共に、簡素に構成した分だけ、製造コストを抑止する上でも有利になる。

前記コンテンツ表示装置は、従来構成とは異なり、事前のキャリブレーションを必要としないから、ユーザの負担を軽減させるという点で、当該従来構成よりも利便性を高めることができる。また、撮像の度にユーザと表示面との間の距離を推定可能に構成されているから、ユーザが移動する等して距離が変化した場合であっても、第１判定角度範囲を再設定することで、集中度を安定して算出することができる。

前述のように、特定のユーザ毎に事前作業を行う必要がなく、しかも、ユーザと表示面との間の距離の変化を許容するような構成は、コンテンツ表示装置のように、ユーザが不特定多数であったり、各ユーザが設置スペース内の各所から視聴するような用途に適用したりする上で有利になる。

特に、前記コンテンツ表示装置のように、集中度の算出及び記録作業を継続的に行う場合、視聴の度に事前作業を行うことなく、ユーザの移動に伴う距離の変化を許容するような構成は、日常的に使用する上で、実用性を高めることができるという点で、取り分け有効となる。

こうして、前記コンテンツ表示装置は、事前のキャリブレーションをせずとも、撮像されたユーザが表示面を見ているか否かを集中度に反映させることができるから、簡素な構成でありながらも、集中度をより正確に算出することが可能となり、しかも、そうした算出を所定の期間にわたって継続的に行う上でも有利になる。

また、前記集中度算出手段は、前記第１判定角度範囲内に、第２判定角度範囲を設定すると共に、前記視線角度が前記第２判定角度範囲内にあるときには、前記ユーザが前記コンテンツに注視しているものとして、前記集中度を一定にするように構成される、としてもよい。

通常、ユーザの視線が表示面に向けられていて、その表示面上のコンテンツに注視している場合であっても、その視線は常時一定ではなく、コンテンツの変化に応じて変動したり、揺れ動いたりする。そうした変動や揺れ動きの影響を集中度に反映させてしまうのは、その算出を安定させる上で不都合である。

そこで、この構成によると、ユーザの視線角度が所定の第２判定角度範囲内にあるときには、コンテンツに注視しているものとして、集中度を一定にする。そうすることで、集中度の算出を安定させる上で有利になる。

また、前記ユーザ距離推定部は、前記ユーザ視線推定部により推定された視線角度に基づいて、前記ユーザの視線が前記表示面から離れる方向に向かうにつれて、前記基準位置から前記ユーザまでの距離がより小さくなるように推定する、としてもよい。

この構成によると、ユーザ像内における顔領域のサイズに加えてさらに、前記視線角度の推定結果も参照することで、表示面からユーザまでの距離を推定する上で、正確性を高めることができるという点で、有利になる。

また、前記ユーザ像解析手段は、前記顔領域分析部により抽出された顔領域の形態に基づいて、前記ユーザのまぶたの開度を検出するまぶた開閉判定部を有し、前記集中度算出手段は、前記まぶた開閉判定部により検出されたまぶたの開度に基づいて、前記ユーザのまぶたが閉じた状態にあると判定されたときには、開いた状態にあると判定されたときよりも、前記集中度を低く算出するよう構成される、としてもよい。

通常、コンテンツに対する集中度合いが高まるにしたがって、ユーザがまぶたを閉じる頻度は減少するものと考えられる。また、睡眠状態にあったり、眠気が高まった状態にあったりすると、まぶたが所定時間にわたって閉じたり、まぶたを閉じる頻度が増大したりする。

したがって、この構成によると、前記のような状況を集中度に反映させることができるから、集中度の精度を高める上で有利になる。

また、前記ユーザ像解析手段は、前記ユーザ像の時間推移に基づいて、前記ユーザの身体動作を検出するユーザ動作検出部を有し、前記集中度算出手段は、前記ユーザ動作検出部による検出結果に基づいて、前記ユーザの身体動作が検出されたときには、当該ユーザの身体動作が検出されなかったときよりも、前記集中度を低く算出するように構成される、としてもよい。

ここでいう「身体動作」は、ユーザ像に基づいて検出可能なものであればよく、顔の動き、又は、首の動きであってもよい。

通常、ユーザが身体動作をするとき、コンテンツに対する集中度合いは比較的低いものと考えられる。

したがって、この構成によると、そうした身体動作を集中度に反映させることができるから、集中度の精度を高める上で有利になる。

また、前記集中度算出手段は、前記集中度を所定の時間毎に平均し、前記集中度記録手段は、前記平均値を算出結果として記録するように構成される、としてもよい。

通常、集中度算出手段により算出される集中度は、視線のふらつきや、顔領域の抽出エラー等の影響を反映して、比較的大きく変動することになるため、記録された集中度を活用する際に不都合が生じる虞がある。

したがって、この構成によると、算出された集中度を所定の時間毎に平均した上で、そうした平均値を記録させるようにしたから、前記のような変動を低減する上で有利になる。これにより、記録された集中度を活用する上で有利になると共に、集中度記録部に記録させるデータ量を削減する上でも有利になる。

また、前記集中度記録手段は、前記集中度算出手段による算出結果を、当該算出の際に前記表示面に表示されていたコンテンツに関連付けて記録するように構成される、としてもよい。

この構成によると、算出結果を記録する際に、コンテンツに関連付けて記録するようにしたから、集中度の活用性を高める上で有利になる。

また、前記ユーザ像解析手段は、前記顔領域分析部により抽出された顔領域の形態に基づいて、撮像されたユーザの属性を推定するユーザ属性推定部を有し、前記集中度記録手段は、前記集中度算出手段による算出結果を、前記ユーザの属性に関連付けて記録するように構成される、としてもよい。

ここでいう「属性」は、ユーザ像から抽出された顔領域の形態に基づいて検出可能なものであればよく、性別、年齢及び表情を含む。

この構成によると、集中度を記録するときに、撮像されたユーザの属性に関連付けて記録するようにしたから、集中度の活用性を高める上で有利になる。

以上説明したように、前記コンテンツ表示装置は、事前のキャリブレーションをせずとも、撮像されたユーザが表示面を見ているか否かを集中度の算出に反映させることができるから、簡素な構成でありながらも、集中度をより正確に算出することが可能となり、しかも、そうした算出結果を継続的に記録する上でも有利になる。

図１（ａ）は、実施形態に係るＴＶと、当該ＴＶを視聴しているユーザとを後方から見て示す概略斜視図であり、図１（ｂ）は、上方から見て示す図１（ａ）相当図である。 図２は、同実施形態に係るユーザの顔向きを示す説明図である。 図３は、ユーザの顔向きと顔器官の位置との関係を示す説明図であり、図３（ａ）及び図３（ｂ）は、それぞれ、撮像されたユーザ像における顔器官の位置、及び、当該ユーザ像に係るユーザが正面を向いたときにおける顔器官の位置を示すものである。 図４は、同実施形態のＣＣＤカメラにより撮像されたユーザ像と、当該ユーザ像に係るユーザとＴＶとの間の相対位置関係とを示す説明図であり、図４（ａ）及び図４（ｂ）は、それぞれ、ＴＶからユーザまでの距離が小さい場合、及び、ＴＶからユーザまでの距離が大きい場合を示すものである。 図５は、同実施形態の顔領域分析部により検出された顔領域のサイズを、当該実施形態のユーザ距離推定部においてＴＶからユーザまでの距離に変換するための距離変換テーブルを示すグラフである。 図６は、同実施形態のユーザ視線推定部により推定された視線角度を、当該実施形態の算出部において集中度に変換するための集中度変換テーブルを示すグラフであり、図６（ａ）及び図６（ｂ）は、それぞれ、ＴＶからユーザまでの距離が小さい場合、及び、ＴＶからユーザまでの距離が小さい場合を示すものである。 図７は、同実施形態の要部を示すブロック図である。 図８は、同実施形態の算出部による算出結果を、時系列に沿って並べたヒストグラムであり、図８（ａ）は、算出部より得られた集中度を撮像間隔毎に並べたものであり、図８（ｂ）は、データ処理部より得られた集中度データを記録間隔毎に並べたものである。 図９は、同実施形態のデータ処理部が行う処理を示す説明図であり、図９（ａ）、図９（ｂ）及び図９（ｃ）は、それぞれ、算出部より得られた集中度の一部を拡大して示す図８（ａ）相当図、まぶたの開度及びユーザ動作を反映させた集中度を示す説明図、及び、記録間隔Ｔ毎に平均した集中度データの一部を拡大して示す図８（ｂ）相当図である。

以下、コンテンツ表示装置の実施形態を図面に基づいて説明する。以下の好ましい実施形態の説明は、本質的に例示にすぎない。以下の実施形態は、請求項１から請求項７に係る。

この実施形態に係るコンテンツ表示装置としてのＴＶ１は、ユーザＵに対して所定のコンテンツＣを表示可能な表示面２１を有する表示手段としてのディスプレイ２と、ユーザ像Ｖを撮像可能な撮像手段としてのＣＣＤカメラ３と、撮像されたユーザ像Ｖを解析するユーザ像解析手段４と、ユーザ像解析手段４による解析結果に基づいて、ユーザＵのコンテンツＣに対する集中の度合いを示す集中度を算出する集中度算出手段５と、集中度算出手段５による算出結果を、時系列に沿って継続的に記録可能な集中度記録手段としての記録媒体６と、を備えている。

ＴＶ１は、放送事業者及びコンテンツ配信会社等から提供されたテレビ番組及び広告等のコンテンツＣを提示するように構成されている。このＴＶ１は、ユーザＵによる操作、並びに、過去の視聴履歴に基づいて算出された番組推薦情報及び広告情報等に基づいて、ユーザＵに提示するコンテンツＣを選択する。この実施形態に係るＴＶ１は、家庭用テレビジョン受信装置として構成されており、家屋内の所定のスペースに配置されている。

ディスプレイ２は、図１（ａ）及び図１（ｂ）に示すように、紙面左右方向に延びる略矩形平面状の表示面２１を有しており、ユーザＵに提示するよう選択されたコンテンツＣを映像として表示する。

ＣＣＤカメラ３は、図１（ａ）に示すように、その撮像光学系３１を表示面２１の正面側に向けた姿勢で、ディスプレイ２の上縁部付近に取り付けられている。この撮像光学系３１の光軸は、表示面上の左右略中央部から、当該表示面２１に対して面直な方向に沿って延びている。

ＣＣＤカメラ３は、ＴＶ１がコンテンツＣを表示しているとき、表示面２１の正面側の場景を、この実施形態に係るユーザ像Ｖとして撮像すると共に、撮像されたユーザ像Ｖを、所定の時間間隔ｔ毎にユーザ像解析手段４に入力する。以下では、この“所定の時間間隔”ｔを“撮像間隔”ｔと記載する。

撮像間隔ｔは、ＴＶ１及びＣＣＤカメラ３の構成等に応じて適宜設定されるものであり、この実施形態では、その一例として１秒に設定されている。

以下、ユーザ像解析手段４の構成及び作動について説明する。

ユーザ像解析手段４は、図７に示すように、顔領域分析部４１と、ユーザ視線推定部４２と、ユーザ距離推定部４３と、まぶた開閉判定部４６と、ユーザ動作検出部４４と、を有している。

ユーザ像解析手段４は、ＣＣＤカメラ３により撮像されたユーザ像Ｖを、顔領域分析部４１に入力する。そして、顔領域分析部４１は、入力されたユーザ像Ｖを解析することにより、ユーザＵの顔領域Ｆを抽出すると共に、ユーザ像Ｖ内に占める顔領域Ｆの相対サイズＦｓを検出するように構成されている。

この実施形態に係る顔領域分析部４１は、ユーザ像Ｖから顔領域Ｆを抽出するために、Ｐ．ＶｉｏｌａとＭ．Ｊｏｎｅｓとにより提案された機械学習方式（「Rapid ObjectDection Using a Boosted Cascadeof Simple Features(ACCEPTED CONFERENCE ON COMPUTER VISIONAND PATTERN RECOGNITION 2001)」を参照）を用いている。すなわち、顔領域分析部４１は、図７に示すように、学習データベース７を介して、複数の顔画像データと複数の非顔画像データとを事前に学習することによって、ユーザ像Ｖ内の輝度値の差で表された特徴量（Ｈａａｒ−ｌｉｋｅ特徴量）を用いて、顔領域Ｆを抽出するように構成されている。この顔領域分析部４１は、抽出された顔領域Ｆの形態に係る情報を、図７に示すように、ユーザ視線推定部４２とまぶた開閉判定部４６とユーザ動作検出部４４とに入力する。

また、顔領域分析部４１は、抽出された顔領域Ｆの相対サイズＦｓを計測すると共に、図７に示すように、その計測結果をユーザ距離推定部４３とユーザ動作検出部４４とに入力する。以下では、この“顔領域Ｆの相対サイズ”Ｆｓを、“顔サイズＦｓ”と記載する。この顔サイズＦｓは、図３（ａ）に示すように、ユーザ像Ｖの全面積に対する相対的なサイズとして計測される。

ユーザ視線推定部４２は、顔領域分析部４１から入力された顔領域Ｆの形態に基づいて、ユーザＵの視線Ｓに係る視線方向と、前記表示面中央部２１ｃから面直に延びる直線Ａとが成す視線角度θｓを推定する。この実施形態では、ユーザ視線推定部４２は、ユーザＵの視線方向として、当該ユーザＵの顔が向かう方向を用いるように構成されており、図１（ａ）、図１（ｂ）及び図２等に示すように、前記視線角度として、前記直線ＡとユーザＵの顔が向かう方向とが成す顔向きθｓを用いる。

なお、図１（ａ）、図１（ｂ）及び図２に示すように、以下の説明におけるｚ方向は、前記直線Ａに平行で且つ、ユーザＵから表示面２１に向かって延びる方向を意味し、ｘ方向及びｙ方向は、双方とも、前記ｚ方向に垂直な方向（表示面２１に平行な方向）を意味するものとする。また、ｘ方向は、表示面２１の長手方向一側（図１（ｂ）の紙面右手方向）に向かって延びる方向を意味し、ｙ方向は、表示面２１の短手方向一側（図１（ａ）の紙面上方向）に向かって延びる方向を意味するものとする。他の図におけるｘ方向、ｙ方向及びｚ方向も、これらと同一の方向、又は、これらに対応する方向である。以下の説明におけるｘ軸（ｘ成分）、ｙ軸（ｙ成分）及びｚ軸（成分）についても、前述の方向にそれぞれ対応するように定義されている。

この実施形態に係る視線Ｓは、３次元ベクトル量として定義されており、それに対応する顔向きθｓも、３成分を有している。具体的に、顔向きθｓは、ｘ軸、ｙ軸及びｚ軸まわりの角度としてそれぞれ定義される、ピッチ角θｐ、ヨー角θｆ及びローリング角θｒの値により特定されるよう構成されている。

この実施形態に係るＴＶ１は、顔向きθｓとして、前記ヨー角θｆを用いるように構成されており、以下、特段の事情がない限りは、この“ヨー角”θｆを“顔向き”θｆと記載することにする。この顔向きθｆは、図２に示すように、ユーザＵが表示面中央部２１ｃを正面から見た状態を０度とするように定義されている（つまり、ｙ軸に係る左ネジ方向）。

ユーザ視線推定部４２は、ユーザ像Ｖ内における各顔器官の位置を計測する。この実施形態に係るユーザ視線推定部４２は、顔領域分析部４１により抽出された顔領域Ｆの形態に基づいて、各顔器官を検出すると共に、図３（ａ）に示すように、ユーザ像Ｖ中における左目中央部、眉間及び右目中央部のｘ座標をそれぞれｘ_Ｌ、ｘ_Ｒ及びｘ_Ｍとして検出する。この実施形態に係るユーザ視線推定部４２は、眉間のｘ座標をｘ_Ｍとして、左右両目を結んだ直線と、当該直線に対して鼻中央部から延ばした垂線との交点の座標を用いるように構成されている。

なお、各顔器官のｘ座標は、顔サイズＦｓと同様に、ユーザ像Ｖ内における相対位置関係に係る座標として検出されている。

次に、ユーザ視線推定部４２は、検出された各顔器官のｘ座標に基づいて、ユーザＵの顔向きθｆを推定する。具体的に、この実施形態に係るユーザ視線推定部４２は、図３（ａ）に示すように、ユーザＵの左右両目を含む頭部横断面を、所定の座標ｘ_０を中心とした、半径ｒの円形状としてモデル化する。この半径ｒについては、学習データベース７を介した事前学習等を通じて、予め設定されている。この場合、ユーザＵが正面を向いたとき、つまり、該ユーザＵの顔向きを、ｙ軸に平行で且つｘ_０を通る回転軸を中心として−θｆ回転させたとき（図３（ｂ）参照）、正面を向いた顔領域Ｆのｘ方向中央部に眉間が位置するものと仮定すると、眉間のｘ座標ｘ_Ｍは、

として記述されることになる。また、ユーザＵが正面を向いたときの、右目中央部、眉間及び右目中央部のｘ座標をそれぞれｘ_Ｌ’、ｘ_Ｒ’及びｘ_Ｍ’として、ユーザＵが正面を向いたとき、左目中央部から眉間までの距離と、右目中央部から眉間までの距離とが同一であると仮定すると、図３（ａ）及び図３（ｂ）に示すように、

がそれぞれ成立する。上式（１）〜（４）にｘ_Ｌ、ｘ_Ｒ及びｘ_Ｍの検出結果を代入して整理することで、顔向きθｆが得られる。ユーザ視線推定部４２は、図７に示すように、顔向きθｆの推定結果を、集中度算出手段５とユーザ距離推定部４３とに入力する（ユーザ距離推定部４３への入力については、図７に不図示）。

まぶた開閉判定部４６は、顔領域分析部４１より入力された顔領域Ｆの形態に基づいて、ユーザＵのまぶたの開度を判定する。この実施形態に係るまぶた開閉判定部４６は、顔領域Ｆにおける左右両目の形態に基づいて、まぶたの開度を検出するように構成されており、その検出結果を集中度算出手段５に入力する。この実施形態では、顔領域Ｆから瞳孔（黒目）が検出されたときには、まぶたが完全に開いた状態にあると判定する一方、瞳孔（黒目）が検出されなかったときには、まぶたが完全に閉じた状態にあると判定するように構成されている。

ユーザ動作検出部４４は、ユーザ像Ｖの時間推移に基づいて、ユーザＵの身体動作を検出する。この実施形態に係るユーザ動作検出部４４は、顔領域分析部４１より入力された顔サイズＦｓの経時変化をモニターするように構成されている。そして、所定時間あたり（この実施形態では、撮像間隔ｔあたり）の顔サイズＦｓの変化量が所定の設定値を超えたときには、ユーザＵの身体動作を検出したものとして、その検出結果を集中度算出手段５に入力する（図７参照）。例えば、顔サイズＦｓが比較的大きく増減したときには、そのユーザＵが首を動かしたり、貧乏ゆすりをしたり、したものとみなすことができる。

ユーザ距離推定部４３は、顔領域分析部４１より入力された顔サイズＦｓの検出結果に基づいて、表示面中央部２１ｃからユーザＵまでの距離Ｄを推定する。以下では、この“距離”Ｄを“ユーザ距離”Ｄと記載する。

具体的には、図３（ａ）及び図３（ｂ）に示すように、ＴＶ１から離れたとき、つまり、ユーザ距離Ｄが増大したときには、顔サイズＦｓが減少する一方で、ＴＶ１に近づいたとき、つまり、ユーザ距離Ｄが減少したときには、顔サイズＦｓが増大することになる。そこで、ユーザ距離推定部４３は、顔サイズＦｓとユーザ距離Ｄとを対応付ける距離変換テーブルＴ１を参照することによって、顔サイズＦｓの検出結果からユーザ距離Ｄを推定する。距離変換テーブルＴ１は、ディスプレイ２及びＣＣＤカメラ３の構成等に基づいて事前に設定されており、図５の実線Ｌ１に示すように、顔サイズＦｓが増大するにしたがって、ユーザ距離Ｄが単調に減少するように推定する。

また、ユーザ距離推定部４３は、顔サイズＦｓの検出結果に加えてさらに、顔領域分析部４１による顔向きθｆの推定結果も、ユーザ距離Ｄの推定に反映させるように構成されている。具体的には、図３（ａ）及び図３（ｂ）に示すように、ユーザＵの顔向きθｆが＋９０度又は−９０度に近づくに従って、すなわち、ユーザＵの視線Ｓが表示面中央部２１ｃから離れる方向に向かうに従って、右目中央部のｘ座標ｘ_Ｌと左目中央部のｘ座標ｘ_Ｒとの差の大きさ、ひいてはユーザ像Ｖから検出される顔サイズＦｓの大きさは、単調に減少することになる。この実施形態に係る構成では、ユーザＵが真横を向いたとき、つまり、顔向きθｆが＋９０度、又は、−９０度のとき、顔サイズＦｓの大きさはゼロとなる。つまり、ユーザ距離Ｄが一定に保持されていたとしても、顔向きθｆの大きさに応じて、顔サイズＦｓの検出結果が変化することになる。そこで、ユーザ距離推定部４３は、図５の実線Ｌ１と破線Ｌ２とに示すように、顔向きθｆが表示面中央部２１ｃから離れる方向に向かうに従って、ユーザ距離Ｄが単調に減少するように推定する。

ユーザ距離推定部４３は、前述のように、顔サイズＦｓと顔向きθｆとに基づいて推定されたユーザ距離Ｄを、集中度算出手段５に入力する（図７参照）。

集中度算出手段５は、図７に示すように、前記ユーザ像解析手段４による解析結果に基づいて、ユーザＵのコンテンツＣに対する集中の度合いを示す集中度を算出する。具体的に、集中度算出手段５は、ユーザ視線推定部４２により推定された顔向きθｆ、まぶた開閉判定部４６により検出されたまぶたの開度、ユーザ動作検出部４４による検出結果、及び、ユーザ距離推定部４３により推定されたユーザ距離Ｄが入力される算出部５１と、この算出部５１により算出された集中度に対して種々の処理を施すと共に、そうした処理を施した集中度を、算出結果として記録媒体６に入力するデータ処理部５２と、を有している。

算出部５１は、ユーザ距離Ｄの推定結果に基づいて、ユーザＵの視線Ｓが表示面２１上にあるか否かを判定するための第１判定角度範囲Ｒ１を設定する。図１（ａ）及び図１（ｂ）に示すように、第１判定角度範囲Ｒ１は、顔向きθｆの推定結果と比較することで、その顔向きθｆに対応する視線Ｓが表示面２１上にあるか否かを判定する指標であり、表示面２１の長手方向の形態等に基づいて設定されている。図６（ａ）に示すように、この実施形態に係る第１判定角度範囲Ｒ１は、所定の角度θ１から−θ１にわたって設けられており、推定された顔向きθｆがこの範囲内（−θ１＜θｆ＜θ１）であれば、ユーザＵの視線Ｓが表示面２１上にあるものとみなすことができる。

また、算出部５１は、第１判定角度範囲Ｒ１内に、ユーザＵが表示面２１に表示されたコンテンツＣに注視しているか否かを判定するための第２判定角度範囲Ｒ２を設定する。図１（ａ）及び図１（ｂ）に示すように、この第２判定角度範囲Ｒ２は、顔向きθｆの推定結果と比較することで、その顔向きθｆに対応する視線Ｓが表示面中央部２１ｃ付近にあるか否かを判定する指標であり、表示面２１及びコンテンツＣの長手方向の形態等に基づいて設定されている。図６（ａ）に示すように、この実施形態に係る第２判定角度範囲Ｒ２は、所定の角度θ２（＜θ１）から−θ２にわたって設けられており、推定された顔向きθｆがこの範囲内（−θ２＜θｆ＜θ２）であれば、その顔向きθｆに対応する視線Ｓが前記表示面中央部２１ｃ付近にある、つまり、ユーザＵの視線Ｓは表示面２１上にあり且つ、当該ユーザＵがコンテンツＣに注視しているものとみなすことにする。

算出部５１は、第１判定角度範囲Ｒ１及び第２判定角度範囲Ｒ２の設定を反映するように構成された集中度変換テーブル（図６（ａ）参照）Ｔ２に基づいて、撮像間隔ｔ毎に、推定された顔向きθｆを集中度に変換する。前述のように、顔向きθｆが第１判定角度範囲Ｒ１外にある状況は、ユーザＵの視線Ｓが表示面２１上にない状況に相当する。この場合、ユーザＵは、表示面２１、ひいてはコンテンツＣに比較的集中していないものとみなすことができる。それゆえ、集中度変換テーブルＴ２は、図６（ａ）に示すように、この場合には、集中度をゼロとするように構成されている。

次に、顔向きθｆが第１判定角度範囲Ｒ１内にあり且つ、第２判定角度範囲Ｒ２外にある状況は、前述のように、ユーザＵの視線Ｓが表示面２１上にある状況に相当する。この場合、ユーザＵは、表示面２１、ひいてはコンテンツＣに比較的集中しているものとみなすことができる。それゆえ、集中度変換テーブルＴ２は、図６（ａ）に示すように、この場合には、集中度がゼロを上回るように構成されている。また、顔向きθｆの大きさがゼロに近づいていくにつれて、ユーザＵの視線Ｓと表示面２１との交点は、表示面２１の周縁部付近から表示面中央部２１ｃ付近に向けて移動していくものとみなすことができる。この場合、ユーザＵのコンテンツＣに対する集中度合いが高まっていくものとして、変換テーブルＴ１は、集中度が単調に増大していくように構成されている。

さらに、顔向きθｆが第２判定角度範囲Ｒ２内にある状況は、前述のように、視線Ｓは表示面中央部２１ｃ付近の領域Ｃ１に向けられており、ユーザＵがコンテンツＣに注視している状況に相当する。集中度変換テーブルＴ２は、図６（ａ）に示すように、この場合には、第２判定角度範囲Ｒ２内における顔向きθｆの増減に拘らず、集中度が一定の最大値（＝１００）になるように構成されている。

この実施形態に係る算出部５１は、ユーザ距離推定部４３により推定されたユーザ距離Ｄが増大するにつれて、前記θ１及びθ２の値を減少させることで、前記のような第１判定角度範囲Ｒ１と第２判定角度範囲Ｒ２とが、それぞれ、より狭くなるように設定する。

こうした構成は、以下の知見を反映している。

例えば、図４（ａ）に示すように、ユーザ距離Ｄの大きさをＤａとして、このときの第１判定角度範囲Ｒ１は、前記θ１から−θ１にわたって設けられているものとする。この場合、顔向きθｆがθ１に等しいとすると、表示面２１に沿って平行に延ばした平面と、顔向きθｆに対応する視線Ｓとの交点Ｐ１は、表示面２１の周縁部付近に位置することになる。

一方で、図４（ｂ）に示すように、ユーザ距離Ｄの大きさがＤａからＤｂに増大したものとする。この場合、ユーザ距離Ｄが増大した分だけ、そのユーザＵの視界内における表示面２１の相対サイズが単調に縮小するため、その縮小に対応するように、第１判定角度範囲Ｒ１を再設定する必要がある。つまり、顔向きθｆがθ１に保持されているものとすると、図４（ｂ）に示すように、表示面２１に沿って平行に延ばした平面と、顔向きθｆに対応する視線Ｓとの交点Ｐ２は、前記Ｐ１よりも外方に位置することになる。つまり、ユーザＵの視線Ｓは表示面２１上にないため、図４（ａ）に示す状況よりも集中度を低くすることが考えられる。そこで、算出部５１は、ユーザ距離Ｄが増大した分だけ、図４（ａ）に示す状況よりも、第１判定角度範囲Ｒ１を狭く設定するように構成されている。

第２判定角度範囲Ｒ２についても、第１判定角度範囲Ｒ１と同様に、ユーザ距離Ｄが大きくなるにしたがって、より狭く設定されるように構成されている。

このように、本願発明者等は、ユーザ距離Ｄの推定結果に基づいて、第１判定角度範囲Ｒ１及び第２判定角度範囲Ｒ２の範囲を定めるようにした。具体的には、図６（ｂ）に示すように、集中度変換テーブルＴ２は、ユーザ距離Ｄが大きくなるにつれて、θ１及びθ２の値がそれぞれθ１’及びθ２’に減少するよう構成されている。

算出部５１は、前述のようにして、ユーザ距離Ｄの大きさに応じて調整された集中度変換テーブルＴ２に基づいて、顔向きθｆを集中度に変換する。そして、変換により算出された集中度を、時系列に沿ってデータ処理部５２に入力する（図７参照）。以下では、データ処理部５２により実行される種々の処理について、図８（ａ）、図８（ｂ）、図９（ａ）及び図９（ｂ）に示す例を用いて説明する。

図８（ａ）は、撮像間隔ｔ毎に算出された集中度を模式的に示したヒストグラムである。この実施形態に係るデータ処理部５２は、算出された集中度のそれぞれに対して所定の処理を行った上で、図８（ｂ）に示すように、所定の時間Ｔ毎に平均する。

図９（ａ）は、図８（ａ）におけるコンテンツＣの一部区間Ｘ１，Ｘ２に係る集中度を拡大して示すものであり、図９（ｂ）及び図９（ｃ）は、当該区間Ｘ１，Ｘ２におけるデータ処理部５２による前記所定の処理を説明するものである。

具体的に、データ処理部５２は、撮像間隔ｔ毎に、まぶた開閉判定部４６により検出されたまぶたの開度を参照する。そして、ユーザＵのまぶたが一部乃至完全に閉じた状態にあると判定されていたときには、その判定に係る顔領域Ｆに基づいて算出された集中度を、検出された開度に応じて減少させる。図９（ａ）における区間Ｙ１においては、ユーザＵのまぶたが完全に閉じた状態にあると判定されていたため、集中度がゼロまで減少されている（図９（ｂ）参照）。

また、データ処理部５２は、まぶた開閉判定部４６による判定結果に加えてさらに、撮像間隔ｔ毎に、ユーザ動作検出部４４による検出結果も参照する。そしてユーザＵの身体動作が検出されていたときには、その検出に係る顔領域Ｆに基づいて算出された集中度の大きさを、前述の算出結果から半減させる。図９（ａ）における区間Ｙ２においては、ユーザの身体動作が検出されていたため、集中度が半減されている（図９（ｂ）参照）。

データ処理部５２は、まぶた開閉判定部４６の検出結果と、ユーザ動作検出部４４の検出結果とを反映させた集中度を、所定の時間Ｔ（＞ｔ）毎に平均（移動平均）した上で、その平均値を、算出結果（集中度データ）として記録媒体６に記録する。図９（ｃ）に示すように、この実施形態では、集中度を５回算出する毎に１回平均するよう構成されている（つまり、Ｔ＝５ｔ）。以下では、この“所定の時間”Ｔを、“記録間隔”Ｔと記載する。

記録媒体６は、この実施形態では、ＴＶ１に内蔵されたＨＤＤとして構成されている。この記録媒体６は、図７及び図８（ｂ）に示すように、データ処理部５２から入力された集中度データを、記録間隔Ｔ毎に、継続的に記録する。また、記録媒体６は、そうした集中度データとは別に、その集中度データを算出したときに、表示面２１に表示されていたコンテンツＣを識別するためのコンテンツ識別データが入力されるよう構成されており、集中度データとコンテンツ識別データとを対応付けて記録する。それゆえ、記録媒体６に記録される集中度データは、図８（ｂ）に示すように、各コンテンツＣに関連付けられた状態で、継続的に記録されることになる。

ユーザＵが２人以上の場合も同様である。その場合、ユーザＵ毎に顔領域Ｆが抽出されて、それぞれについての集中度データが得られる。この実施形態に係るＴＶ１は、設定に応じて、各人に係る集中度データを統計処理したデータ（例えば、各人に係る集中度データの平均値）を記録したり、各ユーザＵ毎に集中度データを独立して記録したり、するように構成されている。

この実施形態に係る集中度データは、時系列に沿って、日時に関連付けられて記録されている。したがって、この集中度データは、ユーザＵの視聴履歴（視聴内容及び視聴日時）と関連付けられた状態で、記録されることになる。このＴＶ１は、そうした集中度データに基づいて、番組推薦情報及び広告推薦情報を算出するように構成されている。例えば、この実施形態に係るＴＶ１は、あるコンテンツＣに係る集中度データが比較的高いときには、そのコンテンツＣに興味があるものとして、当該コンテンツＣと同ジャンルの番組を推薦する。

以上説明したように、この実施形態に係るＴＶ１は、集中度を算出するときに、顔向きθｆに加えてさらに、顔サイズＦｓから推定されるユーザ距離Ｄも参照するようにした。そうした参照によって設定される第１判定角度範囲Ｒ１と、顔向きθｆとの間の相対関係に基づいて集中度を算出するように構成したから、ユーザＵが表示面２１を見ているか否かを集中度に反映させることができるという点で、集中度をより正確に算出することができる。

さらに、この実施形態に係るＴＶ１は、顔サイズＦｓ及び顔向きθｆを推定する上で、ＣＣＤカメラにより撮像されたユーザ像Ｖのみを用いるように構成されているから、モーションキャプチャ等の部材を新設したり、その部材に係る制御系を設けたりする必要がない分だけ、より簡素に構成することができるようになり、ひいては、ＴＶ１の製造コストを抑止する上でも有利になる。

この実施形態に係るＴＶ１は、従来構成とは異なり、事前のキャリブレーションを必要としないから、ユーザＵの負担を軽減させるという点で、当該従来構成よりも利便性に優れる。また、ユーザ像Ｖを撮像する度にユーザ距離Ｄを推定できるように構成されているから、ユーザＵが移動する等しても、第１判定角度範囲Ｒ１を再設定することで、集中度を安定して算出することができる。

ユーザＵ毎に事前のキャリブレーションを行う必要がなく、しかもユーザ距離Ｄの変化を許容するような構成は、ＴＶ１のように、ユーザＵが複数人と成り得たり、各ユーザＵが家屋内の各所から視聴するような用途に適用したりする上で有利になる。

ユーザＵが２人以上の場合には、ユーザＵ毎に顔領域Ｆを抽出し、それぞれについて集中度を算出するだけでよいから、利便性を高める上で有利になる。

また、この実施形態に係るＴＶ１のように、集中度データを継続的に記録する場合、視聴の度に事前作業を行うことなく、しかも、ユーザ距離Ｄの変化を許容するような構成は、日常的に使用する上で、実用性を高めることができるという点で、取り分け有効となる。

また、算出部５１は、顔向きθｆが第１判定角度範囲Ｒ１内にあり且つ、第２判定角度範囲外にあるときには、顔向きθｆが０度に近づくにしたがって、集中度を単調に増大させるように構成されているから、集中の度合いを定量化する上で有利になる。

また、算出部５１は、顔向きθｆが第２判定角度範囲Ｒ２内にあるときに、集中度を一定の最大値にするよう構成されているから、ユーザＵがコンテンツＣに注視しているときに、コンテンツＣの変化に応じた視線Ｓの変動や揺れ動きの影響を低減させる上で有利になり、ひいては、集中度の算出を安定させる上で有利になる。

また、ユーザ距離推定部４３は、ユーザ距離Ｄを推定するときに、顔サイズＦｓに加えてさらに、顔向きθｆの推定結果も参照するようにしたから、ユーザ距離Ｄをより正確に推定する上で有利になる。

また、データ処理部５２は、まぶた開閉判定部４６による判定結果に基づいて、まぶたが閉じた状態にあると判定されたときには、集中度を減少させるよう構成されている。通常、コンテンツＣに対する集中度合いが高まるにしたがって、ユーザＵがまぶたを閉じる頻度は減少していくものと考えられる。また、睡眠状態にあったり、眠気が高まった状態にあったりすると、まぶたが所定時間にわたって閉じたり、まぶたを閉じる頻度が増大したりする。ゆえに、この構成によると、前記のような状況を集中度に反映させることができるから、集中度の精度を高める上で有利になる。

また、データ処理部５２は、ユーザ動作検出部４４による判定結果に基づいて、ユーザＵの身体動作が検出されたときには、集中度を半減させるよう構成されている。通常、ユーザが身体動作をするとき、コンテンツＣに対する集中度合いは比較的低いものと考えられるから、このように構成することで、集中度の精度を高める上で有利になる。

また、データ処理部５２は、所定の記録間隔Ｔ毎に、算出された集中度を平均するよう構成されているから、ユーザＵの視線のふらつきや、顔領域Ｆの抽出エラー等の影響を低減する上で有利になる。これにより、記録媒体６に記録された集中度データを活用する上で有利になる。

また、記録媒体６は、平均値として得られた集中度データを記録間隔Ｔ毎に記録するように構成されているから、平均した分だけデータ量を削減することができるという点で、当該記録媒体６を構成するＨＤＤの容量を節約する上で有利になる。

また、記録媒体６は、集中度データとコンテンツ識別データとを関連付けて記録するようにしたから、番組推薦情報及び広告推薦情報の精度を高めることができるという点で有利になる。

また、記録媒体６は、集中度データと日時とを関連付けて記録するようにしたから、番組推薦情報及び広告推薦情報の精度を高めることができるという点で有利になる。

（第１の変形例）
以下では、前記実施形態に係る第１の変形例について説明する。この変形例は、請求項８に係る。

第１の変形例に係るユーザ属性推定部を含んで構成される顔領域分析部４１は、抽出された顔領域Ｆを分析することにより、ユーザＵの属性として、老若男女に係る情報を分析する。こうした分析は、学習データベース７による事前学習に基づいて、顔領域Ｆにおける顔のしわ、及び、髪型等を解析することにより行われる。

第１の変形例に係る記録媒体６は、集中度データを記録する際に、ユーザＵの属性を識別する属性識別データと関連付けて記録する。この記録媒体６は、インターネットを介して外部のデータベースに接続されていて、記録された集中度データを属性別に集計する。

第１の変形例によると、顔領域分析部４１は、抽出された顔領域ＦよりユーザＵの属性を抽出するから、番組推薦情報及び広告推薦情報の精度を高める上で有利になる。また、記録された集中度データを属性別に集計することで、不特定多数のユーザＵのニーズを分析する上でも有利になる。

また、ユーザＵの属性を抽出することで、複数のユーザＵが複数人いる状況において、各ユーザＵを区別する上でも有利になる。そうすることで、ユーザＵ毎に集中度データを記録する上で有利な構成が得られる。こうした構成は、コンテンツ表示装置としてのデジタルサイネージに適用する上で取り分け有利となる。

（第２の変形例）
以下では、前記実施形態に係る第２の変形例について説明する。

第２の実施形態に係るＴＶ１は、顔向きθｓとして、ヨー角θｆとピッチ角θｐとを用いるように構成されている。このピッチ角θｐは、ユーザＵが表示面中央部（基準位置）２１ｃを正面から見た状態を０度とするように定義されている（つまり、ｘ軸の右ネジ方向）。

第２の変形例に係るユーザ視線推定部４２は、ユーザ像Ｖ内における各顔器官の位置として、眉間、鼻中央部、及び口中央部のｙ座標をそれぞれ検出する。そして、事前に設定された顔モデルに基づいて、ユーザＵが正面を向いたときに、眉間と鼻中央部と口中央部とがｙ方向に沿って所定の比率で並ぶと仮定すると、ヨー角θｆと同様に、ピッチ角θｐを推定することができる。

第２の変形例に係る算出部５１は、ヨー角θｆと同様に、ピッチ角θｐに係る第１判定角度範囲Ｒ１と第２判定角度範囲Ｒ２とを、表示面２１及びコンテンツＣの短手方向の形態等に基づいて設定し、ユーザ距離Ｄを、前記ヨー角θｆに係る集中度とは別に、ピッチ角θｐに係る集中度として変換する。

第２の変形例に係る算出部５１は、ヨー角θｆに係る集中度と、ピッチ角θｐに係る集中度とを乗算した値を、算出結果としてデータ処理部５２に入力する。

第２の変形例によると、算出結果として、ヨー角θｆに係る集中度に加えてさらに、ピッチ角θｐに係る集中度を算出するようにしたから、集中度の精度を高める上で有利になると共に、表示面２１ひいてはコンテンツＣの形態に対応するように、第１判定角度範囲Ｒ１及び第２判定角度範囲Ｒ２を設定する上でも有利になる。

＜他の実施形態＞
前記実施形態では、コンテンツ表示装置の一例として、ＴＶ１について説明したが、これに限定されるわけではない。例えば、デジタルサイネージに適用してもよいし、パーソナルコンピュータに適用してもよい。

前記実施形態では、表示手段の一例として、平面状に形成された表示面２１を有するディスプレイ２について説明したが、この構成に限定されるわけではない。例えば、曲面状に形成された表示面を有するディスプレイであってもよいし、表示面としての壁部又はスクリーン上に映像を投射するように構成された投影装置であってもよい。

また、前記実施形態では、基準位置として表示面中央部２１ｃを用いた構成について説明したが、この構成に限定されるわけではない。表示面２１の形態、ひいては、表示面２１上におけるコンテンツＣの表示位置等に応じて、適宜変更することができる。例えば、コンテンツＣの形態に応じて、基準位置の位置を所定の時間間隔毎に変更するようにしてもよい。

前記実施形態では、撮像手段の一例として、ＣＣＤカメラ３を用いた構成について説明したが、この構成に限定されるわけはない。ユーザ像を撮像可能なものであればよい。その取付位置についても、前記実施形態に係る構成から可能な範囲で変更することができる。

撮像手段、ユーザ像解析手段及び集中度算出手段は、それぞれ、コンテンツ表示装置を構成する各要素に対して一体的、又は、着脱可能に構成されていてもよい。例えば、撮像手段として、ＵＳＢポートを介して取付可能なＵＳＢカメラを適用してもよい。各手段間の接続方法についても、ケーブルで接続してもよいし、ワイヤレスで通信させてもよい。

前記実施形態では、集中度記録手段の一例として、ＴＶ１に内蔵されたＨＤＤから構成された記録媒体６について説明したが、この構成に限定されるわけではない。例えば、外付式のＨＤＤであってもよいし、インターネットを介して接続されたクラウド式のデータベースでもよい。

ユーザ像解析手段４に係る構成についても、可能な範囲で変更することができる。顔領域Ｆの抽出方法として、前記実施形態では、機械学習方式を用いた方法について説明したが、この方式に代えて、撮像されたユーザ像Ｖから、人物の顔モデルに基づいて設定された所定の形状を有し且つ、所定の色を有する領域を抽出するような方法でもよい。機械学習方式を用いる場合においても、インターネットを介して接続された学習データベースを用いるよう構成することもできる。

また、顔領域Ｆのモデル化（式（１）参照）についても、可能な範囲で変更することができる。円形状ではなく所定の楕円形状であってもよいし、顔領域Ｆに基づいて分析されたユーザＵの属性に基づいて設定してもよい。

また、前記実施形態では、ユーザＵの視線角度として顔向きθｆを用いた構成について説明したが、これに代えて、又は、これに加えて、ユーザＵの瞳孔の向きを反映させるようにしてもよい。その場合、顔領域Ｆから左右両目の中心の位置を検出するときに、それぞれの目に係る瞳孔の中心の位置も検出するように構成すればよい。

ユーザ動作検出部４４の構成についても、可能な範囲で変更することができる。前記実施形態では、撮像間隔ｔ毎に検出するように構成されていたが、記録間隔Ｔ毎に検出してもよいし、撮像間隔ｔとも記録間隔Ｔとも異なる時間毎に行ってもよい。

第１判定角度範囲Ｒ１の設定の詳細についても、可能な範囲で変更することができる。表示面２１の形態や、当該表示面２１上に表示されるコンテンツＣの形態に応じて設定されるものであればよい。第２判定角度範囲Ｒ２の設定についても同様である。集中度変換テーブルの詳細についても、可能な範囲で変更することができる。

集中度算出手段５に係る構成についても可能な範囲で変更することができる。例えば、算出部５１とデータ処理部５２とを一体的に構成してもよい。集中度算出手段５が行う処理についても、例えば、前記実施形態のように、集中度を算出した後にまぶたの開閉に係る処理を行う構成に代えて、集中度の算出とまぶたの開閉に係る処理とを併せて行うようにしてもよい。記録間隔Ｔについても、適宜変更することができる。

Ｃ コンテンツ
Ｄ ユーザ距離（基準位置からユーザまでの距離）
Ｆ 顔領域
Ｆｓ 顔サイズ（ユーザ像内における顔領域のサイズ）
Ｒ１ 第１判定角度範囲
Ｒ２ 第２判定角度範囲
Ｓ 視線
Ｕ ユーザ
Ｖ ユーザ像
θｆ 顔向き（視線角度）
１ ＴＶ（コンテンツ表示装置）
２ ディスプレイ（表示手段）
２１ 表示面
２１ｃ 表示面中央部（基準位置）
３ ＣＣＤカメラ（撮像手段）
４ ユーザ像解析手段
４１ 顔領域分析部
４２ ユーザ視線推定部
４３ ユーザ距離推定部
４４ ユーザ動作検出部
４６ まぶた開閉判定部
５ 集中度算出手段
６ 記録媒体（集中度記録手段）

Claims (8)

1. ユーザに対してコンテンツを表示可能な表示面を有する表示手段と、
   ユーザ像を撮像可能な撮像手段と、
   前記撮像手段により撮像された前記ユーザ像を解析するユーザ像解析手段と、
   前記ユーザ像解析手段による解析結果に基づいて、前記ユーザの前記コンテンツに対する集中の度合いを示す集中度を算出する集中度算出手段と、
   前記集中度算出手段による算出結果を、時系列に沿って継続的に記録可能な集中度記録手段と、を備え、
   前記ユーザ像解析手段は、前記ユーザ像から前記ユーザの顔領域を抽出すると共に、該ユーザ像内における顔領域のサイズを検出する顔領域分析部と、前記顔領域分析部により抽出された顔領域の形態に基づいて、前記ユーザの視線方向が、前記表示面上の基準位置から面直に延びる直線に対して成す視線角度を推定するユーザ視線推定部と、前記顔領域分析部により検出された顔領域のサイズに基づいて、前記基準位置から前記ユーザまでの距離を推定するユーザ距離推定部と、を有し、
   前記ユーザ距離推定部は、前記ユーザ像内における顔領域のサイズが大きくなるにしたがって、前記基準位置から前記ユーザまでの距離がより小さくなるように推定し、
   前記集中度算出手段は、前記ユーザ距離推定部による推定結果に基づいて、前記ユーザの視線が前記表示面上にあるか否かを判定する第１判定角度範囲を設定すると共に、前記視線角度が前記第１判定角度範囲内にあるときには、前記ユーザの視線が前記表示面上にあるものとして、当該第１判定角度範囲外にあるときよりも、前記集中度を高く算出するように構成され、
   前記第１判定角度範囲は、前記基準位置から前記ユーザまでの距離が大きくなるにしたがって狭くなるように設定される、コンテンツ表示装置。
2. 請求項１に記載のコンテンツ表示装置において、
   前記集中度算出手段は、前記第１判定角度範囲内に、第２判定角度範囲を設定すると共に、前記視線角度が前記第２判定角度範囲内にあるときには、前記ユーザが前記コンテンツに注視しているものとして、前記集中度を一定にするように構成される、コンテンツ表示装置。
3. 請求項１又は請求項２に記載のコンテンツ表示装置において、
   前記ユーザ距離推定部は、前記ユーザ視線推定部により推定された視線角度に基づいて、
   前記ユーザの視線が前記表示面から離れる方向に向かうにつれて、前記基準位置から前記ユーザまでの距離がより小さくなるように推定する、コンテンツ表示装置。
4. 請求項１から請求項３のいずれか１つに記載のコンテンツ表示装置において、
   前記ユーザ像解析手段は、前記顔領域分析部により抽出された顔領域の形態に基づいて、前記ユーザのまぶたの開度を検出するまぶた開閉判定部を有し、
   前記集中度算出手段は、前記まぶた開閉判定部により検出されたまぶたの開度に基づいて、前記ユーザのまぶたが閉じた状態にあると判定されたときには、開いた状態にあると判定されたときよりも、前記集中度を低く算出するよう構成される、コンテンツ表示装置。
5. 請求項１から請求項４のいずれか１つに記載のコンテンツ表示装置において、
   前記ユーザ像解析手段は、前記ユーザ像の時間推移に基づいて、前記ユーザの身体動作を検出するユーザ動作検出部を有し、
   前記集中度算出手段は、前記ユーザ動作検出部による検出結果に基づいて、前記ユーザの身体動作が検出されたときには、当該ユーザの身体動作が検出されなかったときよりも、前記集中度を低く算出するように構成される、コンテンツ表示装置。
6. 請求項１から請求項５のいずれか１つに記載のコンテンツ表示装置において、
   前記集中度算出手段は、前記集中度を所定の時間毎に平均し、
   前記集中度記録手段は、前記平均値を算出結果として記録するように構成される、コンテンツ表示装置。
7. 請求項１から請求項６のいずれか１つに記載のコンテンツ表示装置において、
   前記集中度記録手段は、前記集中度算出手段による算出結果を、当該算出の際に前記表示面に表示されていたコンテンツに関連付けて記録するように構成される、コンテンツ表示装置。
8. 請求項１から請求項７のいずれか１つに記載のコンテンツ表示装置において、
   前記ユーザ像解析手段は、前記顔領域分析部により抽出された顔領域の形態に基づいて、撮像されたユーザの属性を推定するユーザ属性推定部を有し、
   前記集中度記録手段は、前記集中度算出手段による算出結果を、前記ユーザの属性に関連付けて記録するように構成される、コンテンツ表示装置。

Images