JP2006277192A - 映像表示システム - Google Patents

Abstract

【課題】 脳障害者などの鑑賞者の興味に応じたコンテンツを重点的に表示させる映像表示システムを提供する。
【解決手段】 この発明の映像表示システムは、複数の映像コンテンツを有する映像コンテンツ供給装置と、この映像コンテンツ供給装置から与えられる複数の映像を１つの画面に領域を分割して表示するモニタ１と、人間の顔領域を含む対象画像の画像データを撮影して取得するビデオカメラ１１と、このカメラ１１からの画像データに基づき被撮影者の動作を検出し、この検出出力に応じて被撮影者のモニタ１に表示されているコンテンツへの集中度を判定してモニタ１に表示させる映像コンテンツを選択し、モニタ１に選択したコンテンツ映像を与えるように制御するコンピュータと、を備える。
【選択図】 図１

Description

この発明は、映像表示システムに係り、特に、観察者に興味を抱かせる映像コンテンツを表示する映像表示システムに関するものである。

痴呆や事故などによる脳障害者を介護する介護者を支援する目的で作成される「思い出ビデオ」というコンテンツが存在する。思い出ビデオは脳障害者に対して、ビデオ映像への集中を促し、徘徊などの危険行為を抑制したり、ビデオ映像への集中時間を作り出すことによって、脳障害者の問題行為の抑制のために心理的な安定を引き出したり、介護者の自由時間を確保する目的で提案され、その有効性が臨床の現場で報告されている（例えば、非特許文献１参照）。

上記した「思い出ビデオ」は、脳障害者の昔のアルバムから作成したスライドショーに映像エフェクトを施し、ＢＧＭやナレーションを加え、視聴者にとって魅力的なコンテンツとして編集したものである。

痴呆や事故などによる脳障害者を介護する介護者にとって、患者がビデオ映像に心を集中し、じっとしている時間が増えれば、負荷が軽減される。しかし、同じコンテンツのビデオ映像を流し続けておくと、脳障害者が、興味を無くして、退屈してしまうという問題がある。そこで、予め複数のコンテンツのビデオ映像を用意しておき、興味を無くして飽きてきたら、コンテンツが異なるビデオ映像に切り替えて、引き続き興味を引きつけ、ビデオ映像を鑑賞する時間を増やすことが考えられる。しかし、脳障害者がコンテンツの異なるビデオ映像に能動的に自分で選んだり、切り替えたりすることは不可能な場合が多い。また、介護者がコンテンツを切り替える場合には、介護者への負担が生じることになる。

また、ある程度時間が経過すると、コンテンツの異なるビデオ映像に自動的に切り替えるように構成することもできる。しかしながら、興味を抱いて鑑賞しているビデオ映像を突然他のビデオ映像に切り替えると、脳障害者等にとって気分を害することになり、かえって逆効果になる。
安田清ほか：痴呆症者への思い出ビデオの作成と集中度の評価、第２８回高次脳機能障害学会総会（２００４）

表示されているビデオ映像に鑑賞者が興味を持っているか否かを判断し、この判断結果に応じて、コンテンツ映像を切り替える制御を行なえばより長く鑑賞者を楽しませることができる。鑑賞者が、興味を抱いているか否かの検出は、例えば、鑑賞者に装着した脈拍形、血圧計、脳波計などの生理情報検出装置を用いて行うことができる。しかし、脳障害者は、装着型の機器は好まなく、すぐ外してしまう傾向がある。

そこで、この発明は、脳障害者などの鑑賞者に、計測機器を装着せずに、鑑賞者が興味あるコンテンツを選好し、鑑賞者の興味に応じたコンテンツ切り替えを行い鑑賞者が興味を持つコンテンツを重点的に表示させる映像表示システムを提供することを目的とするものである。

この発明の映像表示システムは、複数の映像コンテンツを有する映像供給手段と、この映像供給手段から与えられる複数の映像を表示する表示手段と、人間の顔領域を含む対象画像の画像データを撮影して取得する撮影手段と、この撮影手段からの画像データに基づき被撮影者の特徴を検出する検出手段と、この検出手段の出力に応じて被撮影者の表示手段への集中度を判定する判定手段と、この判定手段に応じて前記表示手段に表示された複数の映像コンテンツの中から１つの映像コンテンツを選択して前記表示手段に表示させる手段と、備えたことを特徴とする。

前記表示手段に複数のコンテンツの映像を同時に表示、または時分割で表示するように構成すればよい。

また、前記検出手段は、被撮影者の視線の向きを検出するように構成し、前記判定手段は、前記検出手段で検出した視線の向きがコンテンツに向いている時間を計測し、その計測結果に応じて集中度を判定するように構成できる。

また、前記検出手段は、被撮影者の瞳孔の大きさを検出するように構成し、前記判定手段は、前記検出手段で検出した瞳孔の大きさに応じて集中度を判定するように構成できる。

また、前記映像供給手段は、複数の映像コンテンツを格納する記憶手段を備え、前記判定手段に応じて前記記憶手段から映像コンテンツを読み出すように構成することができる。

この発明によれば、鑑賞者が興味を有するコンテンツを選択してその映像を重点的に表示させることができる。また、興味を無くして飽きてきたら、コンテンツが異なるビデオ映像に切り替えて、引き続き興味を引きつけることができるので、ビデオ映像を鑑賞する時間を増やすことができる。更に、興味を抱いて鑑賞しているビデオ映像を突然他のビデオ映像に切り替えることもなくなり、脳障害者等のユーザの気分を害する虞もない。

この発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付し、説明の重複を避けるためにその説明は繰返さない。図１はこの発明の実施形態にかかる映像表示システムの構成を示す概略図、図２は、この発明の実施形態にかかる映像表示システムの構成を示すブロック図、図３は、この発明の映像表示システムにおけるコンピュータ１０の構成を中心にしたブロック図である。

図１に示すこの発明の映像表示システムは、パーソナルコンピュータ、ワークステーションのようなコンピュータ１０を含み、ユーザ３の興味に応じてＣＲＴ、液晶表示装置、プラズマディスプレイ装置、プロジェクタなどのモニタ１に表示させる映像のコンテンツを選択し、更に、集中度に応じて表示されているコンテンツを切り替えるものである。ここで、集中度は、脳障害者などのユーザ３が、モニタ１に表示されているコンテンツ映像に対して、興味を抱いて注視している状態を測定した興味の程度のことをいう。

人は、興味を抱く刺激に対しては瞳孔の拡大現象を示すことが知られている。また、興味があるコンテンツ映像が表示されていると、そのモニタ１を注視するし、逆に、興味が無いあるいは薄れてゆくとモニタ１から顔や視線を逸らす度合いが多くなると考えられる。そこで、この実施形態では、顔の向き、視線などの注視状態だけでなく瞳孔の大きさなどでもユーザの集中度を測定するものである。

この図１に示すように、椅子２に腰掛けたユーザ３の集中度を非接触で検出し、検出結果に応じてコンピュータ１０が、映像コンテンツ供給装置２０としての映像再生装置２１〜２４を選択して、ユーザが興味を示している映像を表示させる。この実施形態では、ユーザ３の集中度を検出するために、ユーザ１を撮像するビデオカメラ１１と赤外線カメラ１２が設けられる。このビデオカメラ１１、赤外線カメラ１２で撮像した映像をコンピュータ１０に取り込む。ビデオカメラ１１からの画像データにより、コンピュータ１０が非接触顔追跡手法を利用し、顔の向き、視線の変化を検出する。また、赤外線カメラ１２からの画像データにより、コンピュータ１０がユーザ３の瞳孔の大きさを検出し、瞳孔の拡大現象を検出する。また、ビデオカメラ１１には、図示しないがマイクを内蔵している。このマイクより、ユーザ３の発話などを集音する。

コンピュータ１０は、ユーザ３の顔の向き、視線、瞳孔の大きさなどにより、モニタ１に表示されている映像のコンテンツに対するユーザの興味を判断するものである。そして、この判断結果に応じて映像コンテンツを選択してモニタ１にユーザ３の意図を反映した表示がなされる。このとき、コンテンツが音声を含む場合には、モニタ１内蔵のスピーカより音声が出力される。そして、表示されているコンテンツへの興味が薄らぐとモニタ１に表示するコンテンツが切り替えられる。このように、映像再生装置２１〜２４の信号を切り替えて、ユーザ３が興味を示す映像をモニタ１に与えるものである。また、マイクからの集音により、ユーザ３の集中度を判断するように適用しても良い。

図２はかかる映像システムの構成を示すブロック図である。図２に示すように、この映像システムは、上述したように、モニタ１、コンピュータ１０、コンピュータ１０により制御される映像コンテンツ供給装置２０と、映像コンテンツ供給装置２０から与えられる映像信号を合成または選択してモニタ１に与えるコンテンツ合成切替装置３０と、ユーザに応じて注視時間を設定する設定入力手段４０と、ユーザを撮像するビデオカメラ１１と、赤外線カメラ１２と、ユーザの声などを集音するマイク１３と、を備える。

コンテンツ合成切替装置３０は、映像コンテンツ供給装置２０から供給される複数の映像信号を１つの画面の映像として供給したり、映像コンテンツ供給装置２０から与えられる複数の映像信号の中からユーザが興味を抱いていると判断された所定のコンテンツにかかる映像を選択して供給する。ビデオカメラ１１、赤外線カメラ１２から出力される画像データは、コンピュータ１０へ与えられる。また、マイク１３にて集音されたユーザが存在する場ないし空間の音音声又は動作音に対応する音声信号（音声データ）がコンピュータ１０へ与えられる。

映像コンテンツ供給装置２０には、この実施形態では、４つの映像再生装置２１〜２４を備え、各映像再生装置２１〜２４には、それぞれ異なるコンテンツの映像が再生できるように構成されている。この映像再生装置２１〜２４は、ＤＶＤやビデオテープなどの映像メディア媒体を再生するものである。例えば、映像再生装置２１には、思い出ビデオの内容のコンテンツの映像媒体が装填され、映像再生装置２２には、相撲などのスポーツの内容のコンテンツの映像媒体が装填され、映像再生装置２３には、ニュースなどの内容のコンテンツの映像媒体が装填され、映像再生装置２４には、自然番組などの内容のコンテンツの映像媒体が装填される。これら映像再生装置２１〜２４は、コンピュータ１０の制御に基づき、オンオフ、再生、停止等の動作が制御される。また、映像再生装置２１…は、記録された映像メディアだけでなく、リアルタイムで放送されているＴＶ番組、ＴＶ電話などの映像等も供給できるように構成されている。

そして、これら映像再生装置２１〜２４の映像信号はコンテンツ合成切替装置３０に与えられ、このコンテンツ合成切替装置30は、コンピュータ１０からの制御信号に基づき、ユーザ３がコンテンツを選ぶための映像表示態様やユーザ３が選好したと判断したコンテンツの映像を供給するために、映像再生装置２１〜２４からの映像信号を合成または選択した映像に切り替え、そして、対応した映像信号をモニタ１に与える。

また、コンピュータ１０は、モニタ１のオン／オフ制御並びにモニタに内蔵されたスピーカ１４の音量、スピーカ１４に与える音声信号を供給する。

図３は、この発明の映像表示システムにおけるコンピュータ１０の構成を中心にしたブロック図である。この発明では、コンピュータ１０により、ユーザのモニタ１への集中度の判定、この判定に基づく映像コンテンツの切替を制御するものである。このシステムを構成するコンピュータ１０は、それぞれバス１１０に接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、起動用プログラムが格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ワークメモリなどとして用いられるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ハードディスクドライブ１０４を備える。

更に、このコンピュータ１０は、ビデオカメラ１１、赤外線カメラ１２からの画像を取り込むための画像取り込み装置１０５，マイク１３からの音声データを取り込むための音声取り込み装置１０６を備え、これら画像取り込み装置１０５、音声取り込み装置１０６がバス１１０と接続されている。更に、フロッピィディスク（ＦＤ）が装填され、データの読み取り／書き込みを行うフロッピィディスクドライブ（ＦＤＤ）装置１０７、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の光ディスク装填され、光ディスクに格納されたソフトウェアなどのデータを読み込む光ディスクドライブ装置１０８を備え、これら両ドライブ１０７，１０８からのデータはバス１１０を介してハードディスクドライブ１０４などに与えられる。ＣＰＵ１０１からの制御信号は、インタフェース回路１０９を介して映像コンテンツ供給装置２０，コンテンツ切替装置３０及びモニタ１に与えられる。

設定入力手段４０は、テンキーなどを含むキーボードやボリュームコントロールなどで構成され、ユーザ３によって１つの場所を注視する時間が違う場合があるため、介護者がこの設定入力手段４０により、注視する時間を設定する。設定入力手段40からの指示入力は、インターフェース回路１０９を介してバス１１０からＣＰＵ１０１に取り込まれる。

さらに、この装置は、音声合成装置１１１を備え、ユーザ３に対するコメントなどが音声合成装置１１１にて合成され、スピーカ１４から合成された音声が出力される。この音声合成回路１１１からは、ユーザ３が好んでいる人の声に基づいて音声を合成し、出力するように構成すれば、ユーザ３にとって気分良く指示の言葉を認識できる。

この映像表示システムの動作は、コンピュータ１０のハードウェアとＣＰＵ１０１により実行されるソフトウェアとにより実現される。一般的にこのようなソフトウェアは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＦＤ等の記憶媒体に格納されて流通し、光ディスクドライブ１０８、ＦＤＤ１０７等により、記憶媒体から読み取られ、ハードディスクドライブ１０４にそのソフトウェアが格納される。また、当該装置がネットワークに接続されている場合には、サーバからハードディスクドライブ１０４にソフトウェアを格納するように構成できる。そして、ハードディスクドライブ１０４からＲＡＭ１０３に読み出されＣＰＵ１０１により実行される。

また、ビデオカメラ１１、赤外線カメラ１２からの画像データは画像取り込み装置１０５、バス１１０を経てＲＡＭ１０３及びハードディスクドライブ１０４に与えられる。また、マイク１３からの音声データも同様に音声取り込み装置１０６、バス１１０を経てＲＡＭ１０３及びハードディスクドライブ１０４に与えられる。

次に、この発明の映像表示システムにおけるユーザの集中度等を検出する方法につき説明する。

この発明は、選好注視法を利用した選好の測定と、興味を引く刺激に対しては瞳孔が拡大するという現象に基づく興味の測定を利用してユーザ３の集中度等を検出するものである。

視覚刺激に対する選好を調べる選好注視法で知られているように、被験者の全面に２つのターゲットを出しておき、片方は中性的であまり興味のない刺激、もう片方は興味の対象となる刺激を提示する。興味のある対象を選好するならそのターゲットを注視する時間が増加する。そこで、この実施形態では、ユーザ３の視線を推定し、ユーザ３の視線が向いている時間の長いコンテンツを調べることで、ユーザ３の選好を推定するものである。そのため、ユーザ３の顔の向きと視線の向きを推定する。

まず、この発明の映像システムは、ビデオカメラ１１によりユーザ３の顔を撮像してるか否か判定し、撮像しているならその位置と向き並びに視線を抽出して追跡を行う。そのため、ビデオカメラ１１で撮像し、その画像取込み装置１０５から与えられる画像データをＣＰＵ１０１が判定する。この実施形態では、ＣＰＵ１０１は、顔の検出に２段階のステップを踏む。まず、ビデオカメラ１１より得た画像データより、粗く顔の候補点を拾い出し、絞った候補点に対して精度の高い顔らしさの判定を実施する。顔らしさの判定のプロセスで目の位置を抽出し、両目の位置に基づいて鼻位置を抽出する。顔の向きは目と鼻の相対位置関係から推定する。顔の追跡は、両目の中点パターンを毎フレーム更新しながらテンプレートマッチングで追跡する。

顔候補点の抽出につき説明する。顔候補点の抽出プロセスでは、まず、図４に示すように、６つのセグメントに分割した一定サイズの矩形枠で全画面を走査する。セグメントＳｉの領域の平均濃度を［Ｓｉ］で表す。左右の目や眉がそれぞれＳ１とＳ３に入った場合の顔の一般的な濃淡パターンから、次の（１）（２）式で示す不等式が成立すると期待できる。

［Ｓ１］＜［Ｓ２］ 且つ ［Ｓ１］＜［Ｓ４］ …（１）
［Ｓ３］＜［Ｓ２］ 且つ ［Ｓ３］＜［Ｓ６］ …（２）

そこで、不等式（１）（２）が同時に満たされる枠は顔候補とする。このようなフィルタを、ここでは６分割矩形（ＳＳＲ：Ｓｉｘ−Ｓｅｇｍｅｎｔｅｄ Ｒｅｃｔａｎｇｕｌａｒ）フィルタと呼ぶことにする。

ＳＳＲフィルタを高速で計算するために、中間画像としてｉｎｔｅｇｒａｌ ｉｍａｇｅを利用する。画像ｆ（ｘ、ｙ）に対してｉｎｔｅｇｒａｌ ｉｍａｇｅ（ｉｉ）は次の式（３）のように定義される。

このｉｎｔｅｇｒａｌ ｉｍａｇｅを次のように、ワンパスで計算することができる。

ここで、Ｓ（ｘ，ｙ）は行の累積値で、ｓ（−１，ｙ）＝０，ｉｉ（ｘ．−１）＝０とする。

ｉｎｔｅｇｒａｌ ｉｍａｇｅを利用すると、任意の矩形領域Ｄの画素値の総和はそのコーナーの座標を（ｘ１，ｙ１）、（ｘ２，ｙ１）、（ｘ１，ｙ２）、（ｘ２，ｙ２）とすると、その４点の値から次のように計算できる。

したがって、ＳＳＲフィルタ計算は、フィルタの大きさによらず一定時間で処理できる。

顔の大きさは予め知ることはできないので、例えば、入力画像３２０×２４０に対して、１２０×７２、８０×４８、６０×３６、４０×２４、３０×１８の５種類のフィルタを適用する。

この実施形態で使用したＳＳＲフィルタのセグメントの比は図４の記号でｗ１＝４、ｗ２＝２、ｗ３＝４、ｈ１＝ｈ２＝３である。

現実には不等式（１）（２）を満たす点は塊で現れるので、そのクラスターの中心を１つの顔候補とする。

背景の中の顔の写真などを顔候補として抽出しないように、背景差分を利用して、顔候補領域に動きが生じていることを確認することにしている。

次に、顔、非顔の判定を行う。候補点が顔か非顔かの判定には、機械学習アルゴリズムの１つであるＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）を適用した。ヘアスタイルや髭などの影響を小さくするため、ＳＶＭの学習パターンには、額や口の領域を含めないことにした。図５に典型的な学習パターンの一例を示す。パターンの大きさは３５×２１である。スケールと回転は目の座標によって正規化する。この例では、両目間の距離は２３画素で、目は上から８画素目の列に水平に並んでいる。そしてヒストグラム平坦化の処理で濃度も正規化されている。

候補点をＳＶＭにインプットする前に、そのパターンは学習パターンと同じように正規化する必要がある。そこで、ＳＳＲフィルタの（Ｓ１＋Ｓ４）と（Ｓ３＋Ｓ６）の各領域で最も暗い点と２番目に暗い点を目の候補として抽出する。ＳＳＲフィルタで抽出された１つの顔候補に対して最大４つのパターンがＳＶＭで確かめられることになる。２番目に暗い点までの目の候補とするのは、眉が目より暗く撮像されるケースが少なくないからである。

ＳＶＭによる顔・非顔判定プロセスで目の位置も抽出される。目の追跡処理で問題になるのは、瞬きによって目の形状パターンが瞬間的に大きく変化することである。そのため、目のテンプレートを毎フレーム更新しても追従することができない。そこで、この実施形態では、目に代わって眉間を追跡し、その結果を基に目を再度検出する手順を採用している。眉間のパターンは顔表情が変化してもかなり安定しており、また額部と鼻筋は比較的明るく、両側の目部分が楔状に暗いパターンとなっているため位置決めしやすい。眉間追跡後、目はその両サイドに、前フレームと相対的に同じ位置に暗い領域として再探索される。追跡結果は、ＳＶＭによって顔らしさを確認する。

眉間のパターンは毎フレーム更新することにより、顔の向きの変化に対応する。顔の見かけの大きさの変化に対応するため、サブサンプリングによる２／３，１／２，１／３，１／４，１／６の一連の縮小画像を用意して、両目間の距離に応じて、追跡用の縮小画像が決定される。その結果、顔の見かけの大きさが大きく変化しても追跡用のテンプレートのサイズは固定サイズで対応できる。

次に、鼻頭の検出と追跡につき説明する。両目の位置が見つけ出されると、鼻頭を抽出するのは難しくはない。鼻頭は凸形状で皮膚の皺も少ない。従って、照明の方向が異なっても、鼻頭のどこかにハイライトが生じる。図６は目に対して相対的な鼻頭の探索領域を示している。この領域内の最も明るい点が鼻頭候補である。そして、その点が両目から等距離になったならば鼻頭として追跡を開始する。鼻頭の追跡においても、更新型テンプレートのサイズは固定サイズで対応できる。追跡の結果が、図６の領域からはずれた場合には誤追跡として判断し、再度検出処理から始める。

次に、顔の向きの推定処理につき説明する。精度の高い顔の向きの推定には、顔の特徴点の三次元位置を計測するステレオシステムが必要であるが、ここでは、対象者が正面を向いているか否かの判定を行うため、シングルカメラの方法を採用している。

一般に、正面顔の画像では左右の目から鼻頭までの距離はほぼ等しい。そこで、図７に示すように、両目を結ぶラインに鼻頭から垂線を下ろし、その垂線の足が両目の中点からどれくらい離れているかによって、正面を向いているか横方向を向いているかを判定する。高精度は期待できないが、シングルカメラの場合、ロングショットの画像にも適用できる利点がある。

両目と鼻頭の座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３．ｙ３）とし、ｘ２−ｘ１＝ｘ２１，ｙ２−ｙ１＝ｙ２１とすると、垂線の足の座標は次の式のようになる。

上記の式によれば、ｒの符号は顔が左右のどちらを向いているかを表し、絶対値はその度合いを表す。

また、同様にして、顔が下へ向いているか上へ向いているかは、両目を結ぶラインに鼻頭から垂線を下ろし、その垂線の距離を測定することで、判定できる。垂線の距離が正面でモニタ１を注視している状態より小さくなれば、顔が下または上を向いていると判断でき、更に鼻頭の輝度により、下を向いているか、上を向いているか判断できる。上を向くと鼻頭は明るくなり、下を向くと鼻頭は暗くなる。

上記の処理で検出した目は、単に暗い領域として抽出されるだけであるので、視線の推定には、さらに詳しい解析を行う。

図８は、この実施形態における視線方向推定処理の動作を示すフローチャート、図９は、目の領域の解析の状態を示す模式図であり、開眼時の虹彩と上下瞼の抽出例を示している。

図８のフローチャートに示すように、視線方向推定処理を開始すると、上記のビデオカメラ１１からの画像により、正面顔を検出する（ステップＳ１）。続いて、検出した正面顔のデータから暗い領域として抽出された目の位置を手がかりに、目領域内のエッジを抽出する（ステップＳ２）。

次に、図９に示すように上瞼のエッジ５１を選択する（ステップＳ３）。この時、目が開いているか閉じているかが不明なときでも上瞼のエッジ５１は比較的安定して抽出できる。続いて、この上瞼のエッジ５１に沿ってその下部に両目間距離に比例した虹彩サイズの円形領域の平均濃度が最も低い領域を虹彩候補として探索する（ステップＳ４）。

次に、虹彩候補位置の下瞼のエッジ５２を抽出する（ステップＳ５）。そして、目の開閉判定を行う（ステップＳ６）。この開閉判定は、抽出した下瞼のエッジ５２と上瞼のエッジ５１との距離が閾値以下なら閉眼と判定する。閉眼と判定すると視線の方向は判定できないので、この処理を終了する。図９に示す開眼時の虹彩と上下瞼の抽出例を示している。このとき、虹彩５３の両サイドに俗に白眼と呼ばれる強膜５４が見えている。眼球が左右に回転するとこの強膜５４の面積の左右の比が変化する。ステップＳ７においては、虹彩５３の両サイドの強膜面積を抽出する。そして、抽出した左右の強膜面積の比から虹彩が正面向き方向から左右どれぐらい回転しているか判定することにより、視線方向を推定し（ステップＳ８）、この処理が終わる。

次に、瞳孔の測定処理につき説明する。人間の網膜は近赤外線光に対して高い反射率を有する。また、瞳孔を通って眼球内に入った光は再び瞳孔より射出するため、入射光と同一方向に光が戻る再帰反射となる。そこで、この実施形態では、図１０に示すように、近赤外線ＬＥＤ１２１を有する赤外線カメラ１２にて瞳孔部分を撮像する。カメラの光軸と近赤外線ＬＥＤ１２１の光軸とを同軸に近い赤外線カメラ１２を用いることで、網膜３０反射し、再帰反射した光が可視光カットフィルタ１２２を通り、レンズからＣＣＤに撮像されることにより、瞳孔部分を明るく撮像することができる。

図１１は瞳孔測定処理を示すフローチャートである。このフローチャートに示すように、瞳孔測定は、まず、赤外線カメラ１２から眼の領域の画像データ抽出する（ステップＳ１０）。続いて、得られた画像データは空間的な微分フィルタを用いて瞳孔部分のみを強調する処理を行う（ステップＳ１１）。この処理は、瞳孔径は平均で約５ｍｍ程度であるので、ある注目画素ｆ（ｘ、ｙ）に対して平均瞳孔径Δ（５ｍｍ）だけ離れた上下左右の画素間で差分を取る微分演算を行うことで瞳孔強調処理を行う。微分演算式を以下に示す。図１２の瞳孔強調フィルタの関係を示す模式図で示すように、ここで、撮像画像の解像度が０．３４ｍｍとすると、Δ＝１５画素となる。

続いて、瞳孔部分の面積を算出する（ステップＳ１２）。強調処理を行った後、適当な値で２値化処理を行う。ここまでの処理で得られた２値画像の殆どは瞳孔部分の画素のみである。そして、この２値画像を用いて瞳孔部分の面積を算出して、瞳孔測定処理を終える。

さて、この発明の映像表示システムは、大まかにキャリブレショーンフェーズ、コンテンツ選択フェーズ、選好コンテンツ提示フェーズという３つのフェーズにより、複数のコンテンツの中からユーザ３が最も興味を示すコンテンツを選び、そのコンテンツの映像をモニタ１に表示させるものである。ユーザ３の興味、集中度を測定するために、上述した視線方向推定処理と瞳孔測定処理をビデオカメラ１１，赤外線カメラ１２の画像からコンピュータ１０が判断するものである。

キャリブレーションフレーズは、ユーザ３の何もコンテンツを提示しないときの瞳孔の平均値を求めるフレーズである。このフレーズでユーザ３の瞳孔の平均値と視線方向の推定における中心あわせを行っておく。

次に、コンテンツ選択フェーズは、モニタ１に複数のコンテンツを同時に１画面を分割して表示し、ユーザ３の視線を視線方向推定により検出し、どのコンテンツに注視しているか判別する。例えば、４つのコンテンツを１画面に同時に表示すると、図１に示す左上１ａ、左下１ｃ、右上１ｂ、右下１ｄにそれぞれのコンテンツが表示される。コンピュータ１０は検出したユーザ３の視線が４つのどこに向いているにより、どのコンテンツを注視しているか判別する。例えば、視線が右上の方に一定時間向いている場合には右上に表示されているコンテンツ１ｂを注視していると判断する。さらに、赤外線カメラ１２の画像から瞳孔径を測定しており、瞳孔径が平均値よりも大きければ、そのコンテンツが好まれたと判断する。

続いて、選好コンテンツ提示フェーズでは、コンテンツ選択フェーズで、４分割されたなかのコンテンツのうち好まれたと判断したコンテンツの映像をモニタ１の画面全面に表示する。そして、ユーザ３の集中度を引き続き測定する。もし、視線がモニタ１からはずれることが多くなったり、瞳孔径が平均値より小さくなってきた場合には、現在表示されているコンテンツに飽きてきたとみなし、他のコンテンツに切り替えるために、コンテンツ選択フェーズに戻り、複数のコンテンツをモニタ１に提示する。このサイクルを繰り返し、ユーザ３が興味を抱くコンテンツを逐次提示させることができる。

上記したこの第１の実施形態の制御につき、図１３、図１４のフローチャートに従い更に説明する。この第１の実施形態は、キャリブレーションフェーズ後、モニタ１に４つの異なるコンテンツの映像を上下左右に分割して表示し、ユーザ３に興味のあるコンテンツを選好してもらうように構成したものである。

まず、動作を開始すると、モニタ１の表示画面をクリア並びに他の設定も初期化する（ステップＳ２１）。続いて、キャリブレーション用光点の表示に移り（ステップＳ２２）、コンピュータ１０はモニタ１にキャリブレーション画像を送り、モニタ１の中心に例えば１ｃｍ大の光点を点滅表示させる。

そして、コンピュータ１０は、音声合成装置１１１を動作させ、「画面の点を見て下さい」というメッセージを出力すると共に、モニタ１にも「画面の点を見て下さい」というメッセージを表示させる（ステップＳ２３）。

続いて、コンピュータ１０は、ビデオカメラ１１で撮像した画像からユーザ３の視点を推定し算出する（ステップＳ２４）。そして、ユーザ３がモニタ１の中心点滅光点を見ているかどうか算出したユーザ３の視点により判断する（ステップＳ２５）。光点を見ていない場合には、ステップ２３に戻り、前述の動作を繰り返す。なお、ステップ２３の動作には、直ちに戻るのではなく、所定時間、例えば３秒間経過後に戻るように構成している。直ちに、ステップＳ２３の動作に戻ってもまだユーザ３は光点を見ていない場合が多いのである程度時間を開けた方が良いからである。

ステップＳ２５において、ユーザ３が光点を見ていると判断すると、無選好状態の瞳孔面積を測定する為に、コンピュータ１０は、赤外線カメラ１２の画像データから上述した方法に基づいて、１秒間ユーザ３の瞳孔の面積または径を計測する。そして、この実施形態では、瞳孔の拡大を面積で判断するので、面積を計測する。この計測した面積を無選好瞳孔面積（ＮＤＰ）とし、メモリ１０３、ハードディスク１０４に記憶させておく（ステップＳ２６）。

続いて、モニタ１にコンテンツ基準画面を表示する（ステップＳ２７）。このコンテンツ基準画面は、この実施形態では、４つの異なるコンテンツ画像を同時にモニタ１に表示させる。このため、映像再生装置２１から２４からそれぞれのコンテンツ映像をコンテンツ合成切替装置30に送り、４つの映像を１つの画面に上下左右に分けて合成しモニタ１に表示させる。この例では、映像再生装置２１には、思い出ビデオの内容のコンテンツの映像媒体が装填され、映像再生装置２２には、相撲などのスポーツの内容のコンテンツの映像媒体が装填され、映像再生装置２３には、ニュースなどの内容のコンテンツの映像媒体が装填され、映像再生装置２４には、自然番組などの内容のコンテンツの映像媒体が装填されている。まず、コンピュータ１０は、例えば、左上の領域１ａに思い出ビデオ表示し、左下の領域１ｃに相撲などのスポーツを表示し、右上の領域１ｂにニュースを表示し、右下の領域１ｄに自然番組を表示させる。

コンピュータ１０は、ビデオカメラ１１からの画像に基づき、ユーザ３の視線方向求め（ステップＳ２８）、赤外線カメラ１２からの画像に基づき、ユーザの瞳孔の面積を求める処理（ステップＳ２９）を続ける。

続いて、ユーザ３の視線がモニタ１の外にあるか否か判断し（ステップＳ３０）、モニタ１の外を見ていると判断すると、「画面を見て下さい」という音声メッセージを音声合成装置１１１が合成して出力し、モニタ１の画面内に視線を誘導し、ステップ２８に戻り前述の動作を繰り返す（ステップＳ３１）。

ステップＳ３０において、ユーザ１の視線がモニタ１内にあると判断すると、ユーザ３の視線が所定時間、この実施形態では、３秒以上４つのコンテンツのうちの一つを向いていたか否か判断する（ステップＳ３２）。ユーザ３となる患者によって注視する時間が異なる場合もあるので、介護者が設置入力手段４０で所定時間が調整可能なように構成している。

そして、ユーザ３が１つのコンテンツが表示されている領域に３秒以上視線を向けていたと判断すると、その視線を向けていたコンテンツに興味があると判断し、ステップＳ３６に進む。一方、コンテンツに３秒以上視線を向けていない場合には、視線を向けたコンテンツで瞳孔面積が先に算出したＮＤＰより大きいか否か判断する（ステップＳ３３）。コンテンツに３秒以上視線を向けていない場合であっても瞳孔面積が拡大すると興味があると判断できるので、瞳孔面積がＮＤＰより大きくなった場合には、そのコンテンツに興味があると判断し、ステップＳ３６へ進む。

視線が３秒以上留まっていない、また瞳孔面積が拡大していない場合にはコンテンツに興味がない場合と判断し、ステップＳ３４で興味がない状態を示すカウンタのカウントを１つカウントアップする。これは１回の判断で興味がないと判断するのではなく、何回か繰り返し判断した後に興味があるかないかを判断するためである。続いて、カウントした値が所定回数か否か判断する（ステップＳ３５）。この実施形態では、５回まで興味があるか否か判断するように構成しているので、５回に達していない場合には、ステップＳ２７に戻り、前述の動作を繰り返す。

一方、ステップＳ３２またはＳ３３において、ユーザ３が表示されているコンテンツの中で興味を持っているコンテンツがあるとステップＳ３６に進む。そして、ステップＳ３６において、ユーザ３が興味があると判断したコンテンツが選好されたとして、興味を持っているコンテンツの映像再生装置からの映像をモニタ１の全面に表示させる。例えば、左上の領域１ａに表示された「思い出ビデオ」を選好したと判断されると、映像再生装置２１からの映像をモニタ１に表示させるように、映像コンテンツ供給装置２０、コンテンツ合成切替装置３０を制御し、映像再生装置２１で再生されている映像をモニタ１に表示させる。そして、コンピュータ１０は、ユーザの顔の向き、視線のモニターは継続している。

続いて、選好したコンテンツ映像を視聴している間、コンピュータ１０はユーザ１のモニタ１への集中度の判定を行うため集中度判定処理にはいる（ステップＳ３７）。集中度判定処理で集中していると判断されると、ステップＳ３６に戻り、引き続き同じコンテンツをモニタ１に表示させる。一方、集中していないと判断されると、ステップＳ２７に戻り、他のコンテンツを選択できるように、コンテンツ基準画面を表示させる。

ステップＳ３７において、集中度判定のルーチンに入ると、ステップＳ４０において、過去Ｔ秒間以内にユーザ３がモニタ１を見ていなかった割合γを算出する。この算出は、例えば、Ｔ秒間を１分間とすると、１分間の間で、検出したユーザの視線がモニタ１の画面を離れた時間を計測しておき、その累積時間を基準である１０秒間で除した割合で算出する。このため、コンピュータ１０は、Ｔ時間（１分間）の間の視線がモニタ１の画面から離れた時間を計測し、ＲＡＭ１０２に格納している。

続いて、割合γが閾値を超えたか否か判断する（ステップＳ４１）。ここでは、０．５、すなわち、半分の時間以上視線がモニタ１の画面からはずれたか否か判断される。閾値以下の場合には集中していると判断する。閾値を超えるた場合には、直ちに集中していないと判断するのではなく、ステップＳ４２に進む。ステップＳ４２では、直前のコンテンツ切り替えから所定時間（Ｎ秒）経過したか否か判断する。これはコンテンツが切り替わった直後は、モニタ１を正視していない場合があり、直ちに集中していないと判断すると、頻繁にコンテンツを切り替えることになる。また、興味があるコンテンツでも切り替えられることになる。このため、この実施形態では、一定時間、例えば１２０秒間経過した後も閾値を超える場合には集中していないと判断するように構成している。直前のコンテンツの切り替えから１２０秒経過しても、割合γ以上ユーザ３の視線がモニタ１の画面からはずれている場合には集中していないと判断する。なお、このコンテンツ切替直後の集中していないと判断するための待機時間はこの例では１２０秒間にしたが、ユーザの状態などでその時間を決めればよい。

集中度判定ルーチン（ステップＳ３７）において判断された集中度により、ステップＳ３８において、ユーザが集中しているか否か判断する。集中している場合には、ステップＳ３６に戻り、前述の動作を繰り返す。集中していないと判断されると、ステップＳ２７に戻り、ステップＳ２７おいて、他のコンテンツを選択できるように、モニター１にコンテンツ基準画面を表示させる。そして、ユーザ３が次のコンテンツを選好するとその選好した映像再生装置を選び、コンテンツの切り替え動作を行って、モニタ１に表示させるコンテンツ映像を切り替える。そして、ユーザ３に選好するコンテンツがないと判断されると、動作は終了する。

上記のように構成することで、ユーザ３に興味のあるコンテンツの映像を視聴させることができ、また、ユーザ３が興味を無くして飽きてきたら、コンテンツが異なるビデオ映像に切り替えることができ、引き続き興味を引きつけ、ビデオ映像を鑑賞する時間を増やすことができる。また、興味を抱いて鑑賞しているビデオ映像を突然他のビデオ映像に切り替えることもなくなり、脳障害者等のユーザの気分を害する虞もない。

なお、上述した実施形態においては、４つの映像表示装置２１から２４で異なるコンテンツの映像を再生するように構成しているが、ハードディスクドライブを内蔵した映像再生装置などを用いて、複数のコンテンツをハードディスクドライブに格納しておき、格納されたデータの読み出しを制御して、コンテンツ映像を切り替えるように構成しても良い。このように構成すると、上記した映像コンテンツ供給装置２０とコンテンツ切替装置３０とが一体に構成され、読み出し制御でコンテンツ映像の選択、切り替えが行える。

更に、モニタ１に表示させるコンテンツとしては、記録した映像コンテンツに限らず、テレビ電話、テレビ放送などのライブ映像、ＣＧなどのコンピュータグラフィックなどを映像コンテンツの一つとして用い、これらコンテンツを選択し、切り替えるように構成しても良い。

次に、この発明の第２の実施形態につき、図１５のフローチャートに基づき説明する。第１の実施形態においては、提示するコンテンツが４つを１組の場合を例にとり説明した。これに対して、この第２の実施形態は、バラエティ、映画など更に別のコンテンツを複数組有する場合である。なお、図１３のフローチャートと同じ処理については同じステップ番号を用いて説明し、説明の重複を避けるためにここではその説明を割愛する。

この第２の実施形態は、キャリブレーションフェーズ後、モニタ１に、第１の候補として４つの異なるコンテンツの映像を上下左右に分割して表示し、ユーザ３に興味のあるコンテンツを選好してもらうように構成したものである。

まず、動作を開始すると、第１の実施形態と同じくステップS２１からステップＳ２３までの処理が行われる。第１の候補として提示した４つのコンテンツの中からユーザ３が興味を抱いたものがあると判断した場合には、ステップＳ３６からＳ３８の処理を行い第１の実施形態と同じ処理になる。

第１の実施形態においては、ステップＳ３５で興味がない状態を示すカウンタのカウント値が所定回数以上になると動作を終了する。これに対して、この第２の実施形態においては、ユーザ３が第１の候補の中で興味を示すものがない場合には、別の組のコンテンツに切り替えてユーザ３に提示するように構成している。このため、ステップＳ３５において、興味がない状態を示すカウンタのカウント値が所定回数以上になるとステップＳ３５ａに進み、ステップ３５ａにて、今まで提示した以外の他のコンテンツがあるか否か判断する。複数組のコンテンツ全てを提示した場合には、もう提示するコンテンツはないので、動作を終了する。

提示する他のコンテンツがある場合には、ステップＳ３５ｂに進み、別のコンテンツの組を選びモニタ１に提示すべき基準画面を入れ替えしてステップＳ２７に戻る。

ステップＳ２７においては、入れ替えられたコンテンツに基づき基準画面を表示し、前述と同様に、ユーザ３がどのコンテンツに興味を抱いたかを検出する処理を行い、ユーザ３が興味のあるコンテンツを選好すると、ステップＳ３６からＳ３８の処理を行い、ユーザ３が選好したコンテンツ映像を鑑賞する。

このように、この第２の実施形態では、多種類のコンテンツを用意することができ、ユーザ３が好むコンテンツを幅広く用意することができる。また、コンテンツが異なるビデオ映像に多数切り替えることができ、引き続き興味を引きつけ、ビデオ映像を鑑賞する時間を増やすことができる。

なお、上記第２の実施形態において、選好したコンテンツを表示していた時間を計測しておき、その時間をハードディスクドライブ１０４等に記憶させておくように構成しても良い。このように構成すると、表示された色々なコンテンツの中でのユーザが集中していた時間を取得することができる。この取得した時間に基づき、次回以降興味を持っていたと思われるコンテンツを優先的に表示させるように映像コンテンツ供給装置２０を制御することができる。

また、上記第１、第２の実施形態においては、視線追跡でコンテンツに視線が向いている時間だけでなく、瞳孔の拡大の有無も用いてユーザ３の選好の検出に用いているが、視線の追跡だけでユーザ３の選好の検出を行っても良い。なお、この場合には、視線が向いている時間を適宜調整して、ユーザ３に動作に合うように調整することが好ましい。

また、モニタ１にコンテンツ選好時にモニタ１に同時に提示するコンテンツは、上記の第１、第２の実施形態においては４個に構成したが、同時に提示するコンテンツの数は必要に応じて２個、６個、８個など変更することもできる。

次に、この発明の第３の実施形態につき、図１６のフローチャートに基づき説明する。第１、第２のの実施形態においては、１つのモニタ１の画面に複数のコンテンツを同時に提示しているが、この実施形態では、時系列的に複数のコンテンツをモニタ１に表示させる場合である。なお、図１３、図１５のフローチャートと同じ処理については同じステップ番号を用いて説明し、説明の重複を避けるためにここではその説明を割愛する。

この第３の実施形態は、キャリブレーションフェーズ後、モニタ１に、順次、時系列的に異なるコンテンツの映像を全面に表示し、表示されたコンテンツの中からユーザ３に興味のあるコンテンツを選好してもらうように構成したものである。

第３の実施形態においても、キャリブレーションフェーズに相当するステップＳ２１からＳ２６まで、上記第１の実施形態と同様の処理が行われる。そして、この第３の実施形態では、複数のコンテンツから１つのコンテンツを選択し、モニタ１の全面に表示する（ステップＳ２７ａ）。このステップＳ２７ａでは、例えば、１０秒間１つのコンテンツを表示させる。続いて、第１の実施形態と同様に、視線方向の算出、瞳孔面積算出等の処理を行う（ステップＳ２８〜Ｓ３１）。

そして、ステップＳ３０において、ユーザ１の視線がモニタ１内にあると判断すると、ユーザ３の視線が所定時間、この実施形態では、３秒以上視線をモニタ１の画面を向けていたか否か判断する（ステップＳ５０）。ユーザ３となる患者によって注視する時間が異なる場合もあるので、介護者が設置入力手段４０で時間を調整可能なように構成している。

そして、ユーザ３がモニタ１の画面に３秒以上視線を向けていたと判断すると、その視線を向けていたコンテンツに興味があると判断し、ステップＳ５１に進む。ステップＳ５１において、コンピュータ１０は、表示していたコンテンツと視線を向けていた累積時間のデータをＲＡＭ１０３に格納させた後、ステップＳ５４に進む。

一方、コンテンツに３秒以上視線を向けていない場合には、瞳孔面積が先に算出したＮＤＰより大きいか否か判断する（ステップＳ５２）。コンテンツに３秒以上視線を向けていない場合であっても瞳孔面積が拡大すると興味があると判断できるので、瞳孔面積がＮＤＰより大きくなった場合には、そのコンテンツに興味があると判断し、ステップＳ５３に進む。ステップＳ５３において、表示していたコンテンツと瞳孔面積のデータをＲＡＭ１０３に格納させた後、ステップＳ５４に進む。

視線が３秒以上留まっていない、また瞳孔面積が拡大していない場合にはコンテンツに興味がない場合と判断し、ステップＳ５４に進む。また、データを格納後もステップＳ５４に進む。

ステップＳ５４では、表示すべき他のコンテンツがあるか否か判断し、コンテンツ全てを提示した場合には、もう提示するコンテンツはないので、ステップＳ５６に進む。

提示する他のコンテンツがある場合には、ステップＳ５５に進み、別のコンテンツを選びモニタ１に提示すべきコンテンツを入れ替えしてステップＳ２７ａに戻り、前述の動作を繰り返す。

全てのコンテンツの提示が終わると、ステップＳ５４からステップＳ５６に進む。ステップＳ５６においては、コンピュータ１０はＲＡＭ１０３をアクセスし、上記ステップＳ５０，Ｓ５２においてユーザ３が興味を抱いて選好したコンテンツがあるか否か判断する。選好したコンテンツがない場合には動作が終了する。

ステップＳ５６において、選好があると判断されると、ステップＳ５７に進み、選好されたコンテンツのうち、１番興味があると思われるものをＲＡＭ１０３に格納したデータに基づきコンピュータ１０が判断し、そのコンテンツを選び（ステップＳ５７）、そして、そのコンテンツをモニタ１に表示させる（ステップＳ３６）。

ステップＳ５７において、１番興味のあると選択する順序は、例えば、視線を向けていた時間の長いものや瞳孔面積の一番大きなものなどを基準としてコンピュータ１０が選好したコンテンツの中で順序を決めておく。その順序で１番のものを選択する。

ユーザ３が興味のあるコンテンツを選好すると、ステップＳ３６からＳ３８の処理を行い、ユーザ３が選好したコンテンツ映像を鑑賞する。続いて、実施形態と同様にコンピュータ１０はユーザ１のモニタ１への集中度の判定を行うため集中度判定処理に入り、はいる（ステップＳ３７）。集中度判定処理で集中していると判断されると、ステップＳ３６に戻り、引き続き同じコンテンツをモニタ１に表示させる。一方、集中していないと判断されると、ステップＳ２７ａに戻り、他のコンテンツを選択できるように、順次コンテンツを時分割で表示し、新たなコンテンツを選択する。

なお、このときコンテンツの選好に入るのではなく、予めＲＡＭ１０３に複数個の選好したコンテンツがあることを示すデータが格納されていると、今表示していたコンテンツの次に興味を抱いていたコンテンツを選択し、モニタ１に表示させ、この表示されたコンテンツに対して再び興味を抱いていると判断できた場合には、そのコンテンツを選好したコンテンツとしてモニタ１に表示させるように構成しても良い。このように構成すると、ユーザ３は、たびたびコンテンツを選好する作業を行うことなく、興味ある異なるコンテンツに切り替えてモニタ１に表示させることができる。

上記した実施形態においては、ユーザの集中度を視線の向きで判定しているが、ユーザが発する声、手拍子などの動作音でユーザの集中度を判断するように構成することもできる。図１７にユーザの発話・動作音を用いてユーザの集中度を判定するフローチャートを示す。この集中度の判定は、ユーザがコンテンツ映像を視聴している時、ユーザの好む歌のコンテンツなどにおいては、コンテンツの音声に合わせて歌を歌ったり、手拍子などを取ることもある。このような状態を判断して、集中度を測定を行うものである。

集中度判定のルーチンに入ると、ステップＳ３１ａにおいて、過去Ｔ秒間以内にユーザがコンテンツの音声信号と同期した発話・動作音が計測されていた割合γ２を算出する。この算出は、例えば、Ｔ秒間を１０秒間とすると、１０秒間の間で検出した発話・動作音の時間を計測しておき、その累積時間を基準である１０秒間で除した割合で算出する。計測はマイク１３で集音された音声データに基づき、ユーザが発生している音声並びに手拍子などの音を検出する。このため、コンピュータ１０は、Ｔ時間（１０秒間）の間の発話・動作音の時間を計測し、ＲＡＭ１０２に格納している。

続いて、割合γ２が閾値を超えたか否か判断する（ステップＳ３２ａ）。ここでは、０．５、すなわち、半分の時間以上発話・動作音があるか否か判断される。閾値以上の場合には集中していると判断する。閾値を下回るた場合には、直ちに集中していないと判断するのではなく、ステップＳ３３ａに進む。ステップＳ３３ａでは、直前のコンテンツ切り替えから所定時間（Ｎ秒）経過したか否か判断する。これはコンテンツが切り替わった直後は、モニタ１等を視聴していない場合があり、直ちに集中して以内と判断すると、頻繁にコンテンツを切り替えることになる。また、興味があるコンテンツでも切り替えられることになる。このため、この例では、一定時間、例えば３０秒間経過した後も閾値を下回る場合には集中していないと判断するように構成している。直前のコンテンツの切り替えから３０秒経過しても、半分の時間以上発話・動作音がない場合には集中していないと判断する。なお、このコンテンツ切替直後の集中していないと判断するための待機時間はこの例では３０秒間にしたが、ユーザの状態などでその時間を決めればよい。このように、この処理によれば、ユーザ３の発話・動作音を用いて集中度判定を行うこともできる。

また、この集中度の判断として、瞳孔径が平均値より小さくなってきた場合には、現在表示されているコンテンツに飽きてきた判断するように構成することもできる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明は、脳障害者などを介護する施設などに用いることができる。

この発明の実施形態にかかる映像表示システムの構成を示す概略図である。 この発明の実施形態にかかる映像表示システムの構成を示すブロック図である。 この発明の映像表示システムにおけるコンピュータの構成を中心にしたブロック図である。 この発明の顔の向きを検出する際に用いる場合の、画像枠を６つのセグメントに分けたＳＳＲフィルタを示す説明図である。 この発明の顔の向きを検出する際に用いる場合の典型的な学習パターンを示す模式図である。 目に対して相対的な鼻頭の探索領域を示す模式図である。 両目と鼻頭との関係を示す図である。 この発明の実施形態における視線方向推定処理の動作を示すフローチャートである。 目の領域の解析の状態を示す模式図であり、開眼時の虹彩と上下瞼の抽出例を示している。 この発明に用いられる赤外線カメラの構成を示す説明図である。 この発明に用いられる瞳孔測定処理を示すフローチャートである。 この発明に用いられる瞳孔強調フィルタの関係を示す模式図である。 この発明の第１実施形態にかかる映像表示システムの動作を説明するためのフローチャートである。 この発明における集中度測定の動作の一例を説明するためのフローチャートである。 この発明の第２実施形態にかかる映像表示システムの動作を説明するためのフローチャートである。 この発明の第３実施形態にかかる映像表示システムの動作を説明するためのフローチャートである。 この発明における集中度測定の動作の他の例を説明するためのフローチャートである。

符号の説明

１ モニタ、３ ユーザ、１０ コンピュータ、１１ ビデオカメラ、１２ 赤外線カメラ、２０ 映像コンテンツ供給装置、２１〜２４ 映像再生装置、３０ コンテンツ合成切替装置。

Claims (8)

1. 複数の映像コンテンツを有する映像供給手段と、この映像供給手段から与えられる複数の映像を表示する表示手段と、人間の顔領域を含む対象画像の画像データを撮影して取得する撮影手段と、この撮影手段からの画像データに基づき被撮影者の特徴を検出する検出手段と、この検出手段の出力に応じて被撮影者の表示手段への集中度を判定する判定手段と、この判定手段に応じて前記表示手段に表示された複数の映像コンテンツの中から１つの映像コンテンツを選択して前記表示手段に表示させる手段と、備えたことを特徴とする映像表示システム。
2. 前記表示手段に複数のコンテンツの映像を同時に表示すること特徴とする請求項１に記載の映像表示システム。
3. 前記表示手段に複数のコンテンツの映像を時分割で表示することを特徴とする請求項１に記載の映像表示システム
4. 前記検出手段は、被撮影者の視線の向きを検出することを特徴とする請求項１ないし３のいずれかに記載の映像表示システム。
5. 前記判定手段は、前記検出手段で検出した視線の向きがコンテンツに向いている時間を計測し、その計測結果に応じて集中度を判定することを特徴とする請求項４に記載の映像表示システム。
6. 前記検出手段は、被撮影者の瞳孔の大きさを検出することを特徴とする請求項１ないし３のいずれかに記載の映像表示システム。
7. 前記判定手段は、前記検出手段で検出した瞳孔の大きさに応じて集中度を判定することを特徴とする請求項５に記載の映像表示システム。
8. 前記映像供給手段は、複数の映像コンテンツを格納する記憶手段を備え、前記判定手段に応じて前記記憶手段から映像コンテンツを読み出すことを特徴とする請求項１ないし３のいずれかに記載の映像表示システム。
   

Images