JP2006048644A - 映像表示装置及び視聴意志判定装置 - Google Patents

Abstract

【課題】 人物の視聴意志にあわせ、タイムリーにインタフェースを提示でき、使いやすい映像表示装置を提供する。
【解決手段】 映像入力制御部１０１と、操作入力部１０６と、ユーザインタフェース構成要素の作成とその選択を受け付ける操作構成要素作成選択部１０７と、ユーザインタフェース構成要素と入力した映像とを合成する合成部１０８と、合成映像を表示する表示部１０２と、表示部周辺の人物の情報を取得する人物状況取得部１０３と、人物の視聴意志を判定する視聴意志判定部１０４と、判定結果が視聴意志有りから視聴意志無へ、もしくはその逆へ遷移するとき、操作構成要素作成選択部と操作入力部とを制御する操作制御部１０５とを備える。
【選択図】 図１

Description

本発明は、人物の視聴意志をセンサ等を用いて検知し、表示部の制御に工夫を凝らすことにより、人物の視聴意志にあわせてタイミングよく映像を表示できる映像表示装置に関するものである。

従来より、センサを通じて人物を検知し表示部を制御する装置として、赤外線センサなどにより人物の有無を検知し、表示部の電源のＯＮ／ＯＦＦを制御するものがあった。例えば、特許文献１（特開平７−４４１４４号公報）は、表示部の前に、センサを取り付ける技術を開示する。

特許文献１によると、センサは、表示部の正面に人物が存在するか否かを検知し、表示部の正面に人物が存在しない場合、表示部の電源をＯＦＦにする。また、表示部の正面から人までの距離が、所定距離以下か否かを検知し所定距離以下の場合には、表示部の電源をＯＮにする。

特許文献２（特開平１１−２８８２５９号公報）は、センサにより人物を検知し表示内容を変更する技術を開示する。即ち、センサが人を検知すると、表示装置が、広告等の映像データを再生する。また、この手法では、センサが人を検知すると、あらかじめ記録部に蓄積されている電子広告映像を表示する。

特許文献３（特開２００２−１２３２３７号公報）は、撮像装置により人物の動きを検出し、人物の動きに応じて効果的な映像を表示する技術を開示する。そして、人物の位置を検出することにより、人物が動いているか否かが検出され、人物の位置の変化に伴って合成画像が作成される。

特許文献４（特開平１１−２４６０３号公報）は、表示部における人物の注視点を視線検出部によって検出し、注視点に、所定の情報（例えば電子広告画像等）を表示する技術を開示する。

しかしながら、特許文献１から特許文献３では、人の有無や人の動きによって表示部の電源のＯＮ／ＯＦＦや表示内容を制御している。したがって、視聴意志がない場合（例えば単なる通行人が通りすぎる場合等）においても、表示部の電源のＯＮ／ＯＦＦが切り替えられたり、表示内容が変更される。

したがって、人物が表示部の近辺を頻繁に移動するような環境（例えば、家庭内のリビングルーム、店舗、展示会場等）では、電源もしくは省電力モードのＯＮ／ＯＦＦが頻繁に切り替えられ、あるいは、表示内容が頻繁に変更される結果となり、これらの特許文献が意図する省電力効果や、映像表示を人物の移動に合わせる効果が、得られない。

特許文献２では、記録部に蓄積された映像データが再生される。ところが、映像データが、その途中まで再生されているとき、センサが人を検知すると、その映像データは最後まで再生されず、その映像データの最初のシーンにさかのぼって、再び同じ映像データが再生される結果となる。この現象は、センサが人を検知するたびに発生するため、人の往来が激しい場所（広告効果が一般に高いと考えられる場所）に、特許文献２に従う装置を設置しても、本来の広告効果を発揮できるとは考えられない。

特許文献４のように注視点を利用する情報表示装置では、注視点に応じてその注視点の場所に一方的に情報を提示するだけであり、人物とのインタフェースを考慮していない。例えば、操作メニューは、常に注視点に表示され、注視点が変わると、それに合わせて、操作メニューが移動することになる。したがって、人物が操作メニュー以外の部分の画像を見たいと考えても、操作メニューに邪魔されてその希望は叶えられない。要するに、効果的な表示制御ができているとは言い難い。
特開平７−４４１４４号公報（第１−４頁、図２） 特開平１１−２８８２５９号公報 特開２００２−１２３２３７号公報 特開平１１−２４６０３号公報

そこで本発明は、人物の視聴意志にあわせ、タイムリーにインタフェースを提示できる映像表示装置を提供することを目的とする。

第１の発明に係る映像表示装置は、外部からの映像入力を制御する映像入力制御部と、操作入力を受け付ける操作入力部と、ユーザインタフェース構成要素を作成し、作成したユーザインタフェース構成要素の選択を受け付ける操作構成要素作成選択部と、操作構成要素作成選択部が作成したユーザインタフェース構成要素と映像入力制御部が入力した映像とを合成し合成映像を生成する合成部と、合成部が生成した合成映像を表示する表示部と、表示部と関連付けられ、表示部周辺の人物の情報を取得する人物状況取得部と、人物状況取得部が取得した情報に基づいて人物の視聴意志を判定する視聴意志判定部と、視聴意志判定部の判定結果が視聴意志有りから視聴意志無へ、もしくは視聴意志無から視聴意志有りへ遷移するとき、操作構成要素作成選択部と操作入力部とを制御する操作制御部とを備える。

ここで、本明細書にいう「ユーザインタフェース構成要素」とは、操作メニューや擬人化されたコンピュータグラフィクスキャラクタなど、表示部を介して表示されるユーザインタフェースに関連するグラフィカルなイメージである。

この構成により、視聴者が視聴意志を示した時点でタイミングよく操作のためのインタフェースを提示でき、映像表示装置は、操作入力可能な状態になる。これにより、使いやすいインタフェースをもつ映像表示装置を提供できる。

第２の発明に係る映像表示装置では、視聴意志判定部の判定結果が、視聴意志無しから視聴意志有りに遷移したことを示してから一定時間継続して操作入力部が操作入力が受け付けていない場合、操作制御部は、操作構成要素作成選択部と操作入力部とについて、既に実施した制御を解除する。

この構成により、複数の視聴者が存在する場合、ある視聴者の操作が終了し、さらに他の視聴者が一定時間継続して操作しなければ、インタフェースは自然に消えることになり、インタフェースが他の視聴者の視聴を邪魔することがない。

第３の発明に係る映像表示装置では、人物状況取得部は、所定の領域における人物の有無及び所定の領域において人物が静止しているか否かを示す情報を取得し、視聴意志判定部は、人物状況取得部が取得した情報が、所定の領域に人物が存在し、かつ、その人物が静止していることを示すとき、視聴意志有りと判定する。

この構成により、単なる通行人が表示部の付近を通りすぎても、視聴意志無しとすることができるため、省電力効果を高め、操作画面提示を効果的に実施できる。

第４の発明に係る映像表示装置では、人物状況取得部は、更に、所定の領域に存在する人物の顔向きが所定の方向を向いているか否かの情報を取得し、視聴意志判定部は、人物状況取得部が取得した情報が、所定の領域に存在する人物の顔向きが所定の方向を向いていることを示すとき、視聴意志有りと判定する。

この構成により、人物の周囲に複数の表示部が存在する場合、人物は、顔を見たい表示部に向けさえすれば、それだけで、見たい表示部を具体的に特定した結果となり、操作メニューは、視聴者により的確に提示される。

本発明によれば、人物が視聴意志を示した時点にタイミングよく、操作用のインタフェースを提示でき、映像表示装置は、操作入力可能な状態になる。したがって、人物が表示部近辺を頻繁に移動する場所（例えば、家庭内のリビングルーム及び店舗や展示会場等）においても、視聴意志が示された時のみに操作インタフェースが提示され、しかも、操作インタフェースが他の視聴者の視聴を妨げない。その結果、無用の操作入力を未然に防ぐことができる。更に、表示部の無駄なＯＮ／ＯＦＦを避けて、省エネルギーに資することができる。

以下図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
図１は、本発明の実施の形態１における映像表示装置の機能ブロック図である。

図１において、映像入力制御部１０１は、レコーダ、プレーヤ、チューナ、ネットワーク等を介して、映像を入力する。入力された映像は、表示部１０２により表示される。本発明では、映像の入力経路を特に区別する必要はない。

人物状況取得部１０３は、赤外線センサ、超音波センサもしくはカメラ等を備え、人物１００の状況をセンシングし、センシング結果を示す情報を出力する。なお、本形態では以下カメラを中心に説明し、適宜、赤外線センサ、超音波センサに対する説明を適宜加えるものとする。

視聴意志判定部１０４は、人物状況取得部１０３が取得したカメラ画像等のセンシング結果を解析し、人物の有無と共にその人物に視聴意志があるか否かを判定する。視聴意志判定部１０４の詳細については、後に図７等を参照しながら説明する。

操作制御部１０５は、操作をするためのインタフェースの決定・作成・開始・終了・中断・再開を制御し、後述する操作構成要素作成選択部１０７と操作入力部１０６の両方を制御する。

操作入力部１０６は、実際に人物が操作のための入力をすることができる要素であり、具体的には、表示部１０２の操作が可能なタッチパネル、ボタン、遠隔操作可能なリモコン、携帯端末等で構成される。そして、操作制御部１０５は、操作入力部１０６による操作可能開始／操作可能終了を制御する。

操作構成要素作成選択部１０７は、操作制御部１０５の指示に応じ、操作メニューや擬人化エージェント（コンピュータグラフィクスキャラクタの例）などユーザインタフェースの対象となる画面を作成し、作成したユーザインタフェースの選択を受け付ける。

合成部１０８は、映像入力制御部１０１から入力された映像と操作構成要素作成選択部１０７が作成したインタフェース用画面を合成し合成映像を出力する。この合成映像は、表示部１０２に表示される。

図２は、図１の映像表示装置のブロック図である。表示部２０１は、表示部１０２に相当し、ＬＣＤやＰＤＰ等のディスプレイにより構成される。この表示部２０１と関連付けられた状態で、人物状況取得部１０３を構成するカメラ２０２等が設置されており、カメラ２０２は、表示部２０１の周辺の人物の状況をセンシングする。

視聴意志判定部１０４は、このカメラ２０２を通じて入力された映像に基づいて、人物の有無や人物の動作、人物の顔の向き等を解析し、人物の視聴意志の有無を判定する。なお、カメラ２０２と表示部２０１とは、一体的に構成しても良いし、カメラ２０２と表示部２０１とがネットワークを介して接続されても良い。また、カメラ２０２と表示部２０１とは、必ずしも１対１に関連付けられていなくても良く、１対他、他対１で関連付けられていても良い。

人物状況取得部１０３が取得した情報に基づいて、視聴意志判定部１０４が、新たに視聴意志が有りと判定すると、表示部２０１の表示内容は、次のようになる。

即ち、図３（ａ）に示すように、操作構成要素作成選択部１０７がポップアップ型の操作メニューを選択し、その操作メニュー３０１が表示部２０１に表示される。あるいは、図３（ｂ）に示すように、操作構成要素作成選択部１０７が擬人化エージェントを選択し、その擬人化エージェント３０２が表示部２０１に表示される。

なお、図３（ａ）、（ｂ）に示すように、操作メニュー３０１、擬人化エージェント３０２は、既に表示部２０１に表示されている映像に重ね合わせて表示することが望ましく、操作メニュー３０１や擬人化エージェント３０２は、その位置が表示部２０１の端部周辺となるように配置することが望ましい。

また、操作メニュー３０１、擬人化エージェント３０２に加えて、コンテンツの属性情報（タイトル、残り時間、字幕等の属性等）や、その他ユーザに有効な付加情報（天気予報や日付、時間等）を同時に、若しくは、それのみを表示するようにしても構わない。この場合も、現在の状態を、操作を受け付ける状態に変更できる限り、本発明に包含される。

また、同時に音量を操作してもよい。例えば、メニューが表示されている間、視聴者が操作に集中しやすくするために、音量を下げておくとよい。あるいは、視聴者に操作を促すメッセージを発音しても良い。

操作入力部１０６は、音声入力による入力、表示部２０１の周辺にあるボタンやタッチパネル（視聴者の指が触れたことを表示部２０１が直接検知できる場合）等での入力、人物が持っているもしくは周辺にあるリモコンや携帯端末での操作入力等の入力を受け付ける。

図３（ａ）に示す操作メニュー３０１は、図２に示す状態に対応しており、「チャネル」、「コントロール」、「コンテンツ」及び「設定」の各ボタンを備える。図２に示す状態では、操作制御部１０５がネットワークインタフェース２０３や送受信部２０４等を通じて、人物１００が持つ携帯端末２０５に受付可能である情報を送り、人物１００が携帯端末２０５を用いて、表示部２０１を制御する。

次に、図４、図５を参照しながら、本形態の映像表示装置の動作について説明する。ここでは、カメラ２０２は、人物１００に対して正面もしくは上部に設置されており、人物１００の顔の位置が把握可能であるとする。

図５は、視聴意志判定部１０４が使用する領域を例示する。図５に示すように、カメラ２０２の撮像領域５０１に基づいて、人物１００が表示部２０１を視聴すると考えられる定義領域５０２が設定される。

そして本形態では、視聴意志の有無を次のように定義する。即ち、「視聴意志有り」とは、人物１００が定義領域５０２内に入り、人物１００がその後静止し、人物１００の顔が表示部２０１に向いている状態をいい、そうでないとき、「視聴意志無し」とする。

次に、図４を参照しながら、本形態における映像表示装置の処理の流れを説明する。

まず、人物状況取得部１０３が人物状況の情報を取得する（ステップ Ｓ４０１）。次に、視聴意志判定部１０４が、取得された人物状況取得結果に基づいて視聴意志の有無を判定する（ステップ Ｓ４０２）。そして、操作制御部１０５は、視聴意志が遷移したか否かによって制御すべき処理を変える（ステップ Ｓ４０３）。

まず、視聴意志が無から有へ遷移したとき、もしくは有から無へ遷移したとき、操作制御部１０５は、操作構成要素作成選択部１０７を制御して操作すべき画面を作成させる（ステップ Ｓ４０４）と共に、操作入力部１０６を操作可能な状態にする（ステップ Ｓ４０５）。また、視聴意志が無から有に遷移し且つ表示部２０１の電源の状態が第１の状態（表示部２０１の電源ＯＦＦ若しくは省電力モード）である場合（ステップ Ｓ４１０）、表示部２０１の状態を、第２の状態（表示部２０１の電源ＯＮ若しくは通常モード）に変更する（ステップ Ｓ４１１）。そして、合成部１０８が、映像入力制御部１０１が入力した映像と操作構成要素作成選択部１０７が作成した画面とを合成し、その合成画像が、表示部１０２に表示される。また、人物１００は、操作入力部１０６を用いて映像表示装置を操作可能な状態になる。

一方、視聴意志の遷移が確認されなかった場合、操作制御部１０５は、前回視聴意志が遷移してから一定時間継続して（ステップ Ｓ４０６）、操作入力がない状態にあるかどうか（ステップ Ｓ４０７）をチェックする。

チェック結果が「是」ならば、操作制御部１０５は、操作構成要素作成選択部１０７に操作画面の終了を命じ（ステップ Ｓ４０８）、同時に操作入力部１０６を受付不可能な状態にする（ステップ Ｓ４０９）。そして、操作制御部１０５は、処理をステップ Ｓ４０１へ戻す。

なお、チェック結果が「否」ならば、操作制御部１０５は、ただちに処理をステップ Ｓ４０１へ戻す。

次に、人物状況取得部１０３及び視聴意志判定部１０４について、より具体的に説明する。図６は、人物状況取得部１０３の内部構成を示すブロック図である。

図６に示すように、人物状況取得部１０３は、表示部２０１の周辺を、その光学系を用いて撮像する撮像部６０１と、撮像部６０１が撮像した画像から人物を検知する人物検知部６０２と、人物が静止しているか否かを判定する静止判定部６０３と、人物の顔向きが所定の向き（表示部２０１への向き）を向いているか否かを判定する顔向き判定部６０４とを備える。

次に、人物状況取得部１０３の動作を説明する。まず、撮像部６０１が、図５に示す撮像領域５０１を撮像する。次に、人物検知部６０２が人物の定義領域５０２内への存在有無を検知し、静止判定部６０３が人物が静止しているか否かを判定する。そして、顔向き判定部６０４が、定義領域５０２内の顔領域を取得し、人物１００の顔が表示部２０１を向いているか否かを判定する。

なお、静止判定部６０３は、必ずしも身体が完全に静止している状態を判定するわけではなく、身体全体の移動、すなわち、歩き等によって身体全体が移動している状態を判定するものであり、身体の一部の動作、すなわち、頭部や上半身の動作が静止しているか否かを判定するものではない。

以下、図７を用いて、人物状況取得部１０３が取得した情報に基づく具体的な手順を説明する。

まず、装置の電源がＯＮになると、撮像部６０１及び人物検知部６０２が起動する（ステップ Ｓ７０１）。そして、人物検知部６０１は、定義領域５０２内の人物１００の存在有無を検知する（ステップ Ｓ７０２）。

次に、操作制御部１０５は、人物１００の存在有無の遷移により、処理を変更する（ステップ Ｓ７０３）。まず、人物１００の存在有無が無から有に遷移したとき、操作制御部１０５は静止判定部６０３を起動し（ステップ Ｓ７０４）、静止判定部６０３は人物１００の静止を判定する（ステップ Ｓ７０５）。一方、人物１００が存在し続けている場合には、既に静止判定部６０３が起動されているので、静止判定部６０３は、そのまま人物の静止を判定する（ステップ Ｓ７０５）。一方、人物が存在しない場合、操作制御部１０５は処理をステップ Ｓ７０２に移す。

次に、人物１００の静止判定結果が、人物１００が動作状態から静止状態へ遷移したことを示すとき、操作制御部１０５は、次の処理を行う（ステップ Ｓ７０６）。まず、操作制御部１０５は、顔向き判定部６０４を起動し（ステップ Ｓ７０７）、顔向き判定部６０４は、顔が所定の向きを向いているか否かを判定する（ステップ Ｓ７０８）。一方、人物が静止し続けているとき、顔向き判定部６０４は既に起動されているので、顔向き判定部６０４は、顔が所定の向きを向いているか否かを判定する（ステップ Ｓ７０８）。一方、人物が動作状態である場合、操作制御部１０５はステップ Ｓ７０２へ処理を移す。

ステップ Ｓ７０９では、顔向き判定部６０４は、顔向き判定結果が所定の向きか否かを判定し（ステップ Ｓ７０９）、顔向きが遷移したかどうかを判定する（ステップ Ｓ７１０）、（ステップ Ｓ７１１）。そして、視聴意志判定部１０４は、視聴意志有り状態へ遷移した（ステップ Ｓ７１２）のか、視聴意志有り状態のまま（ステップ Ｓ７１３）なのか、視聴意志無し状態に遷移した（ステップ Ｓ７１５）のか、視聴意志無し状態のまま（ステップ Ｓ７１４）であるかを判定し、その結果を出力する。この４とおりの状態のいずれにあるかを示す情報が、操作制御部１０５へ出力され、操作制御部１０５は、この情報を操作制御のために使用する。

次に、図６、図８から図１０を参照しながら、人物検知部６０２、静止判定部６０３及び顔向き判定部６０４について、より具体的に説明する。図８は、人物検知部６０２及び静止判定部６０３の処理の流れを示す。人物検知部６０２と静止判定部６０３のいずれも、前段の動き差分（ステップ Ｓ８０１）とエッジ検出（ステップ Ｓ８０２）とを実施する。

まず、静止判定部６０３は、撮像部６０１が取得した動画像から２つの画像を求める。この２つ画像の１つは、図９（ａ）に示すように、注目するフレーム（時刻ｔ）における画像Ｆ（ｔ）であり、もう１つは、時刻ｔからΔｔだけ前（時刻ｔ−Δｔ）のフレーム画像Ｆ（ｔ−Δｔ）である。

図９（ｃ）に示すように、静止判定部６０３は、これらの画像の差分の絶対値をとった画像Ｍ（ｔ）（＝｜Ｆ（ｔ）−Ｆ（ｔ−Δｔ）｜）を求める（ステップ Ｓ８０１）。そして、図９（ｄ）〜図９（ｆ）に示すように、静止判定部６０３は、この画像Ｍ（ｔ）に対し上から動き差分点を探索しエッジ点を設定した画像をエッジ画像Ｅ（ｔ）とする（ステップ Ｓ８０２）。なお、静止判定部６０３は、エッジ点の個数があらかじめ設定した値以下であれば静止状態であると判定し、閾値以上であれば動状態であると判定する（ステップ Ｓ８０６）
人物検知部６０２は、エッジ画像から細かなノイズを除去した稜線画像（あるいは、包絡線画像）を求める。具体的には、人物検知部６０２は、ステップ Ｓ８０１からステップ Ｓ８０２まで、図１０（ａ）に示すように、静止判定部６０３と同様の処理を行い、その後、図１０（ｂ）に示すように、エッジ画像Ｅ（ｔ）に対し、細かなノイズを除去するため空間のローパスフィルタをかけ、稜線画像Ｒ（ｔ）を求める（ステップ Ｓ８０３）。そして、人物検知部６０２は、稜線画像Ｒ（ｔ）における稜線を波形と捉え、この波形の極大点を検出し、極大点の位置ｍ（ｘ，ｙ；ｔ）を人物の位置と決定する（ステップ Ｓ８０４）。

さらに、人物検知部６０２は、人物１００が定義領域５０２内に存在するかどうかを判定し、存在すれば、人物１００が表示部２０１を見る位置にいると判定する（ステップ Ｓ８０５）。

なお、人物検知部６０２と静止判定部６０３とは、必ずしもカメラ等の撮像部６０１を用いて取得した映像を用いなくても差し支えない。その代わりに、人物検知部６０２と静止判定部６０３とが、光電センサや超音波センサを利用するようにしてもよい。例えば、発光部と受光部からなる光電センサを用いる場合、発光部から所定領域に照射された赤外線などの光線が反射して受光部に受光される。受光部は、これを出力電圧、出力電流もしくは抵抗値の変化として出力し、その値がある値以上であれば人物を検知したとみなすことも可能である。また、そのセンサをアレイセンサとして用いて複数のセンサの結果を統合して人物が静止したか否かを判定することも可能である。

その他、床面に埋設する圧力センサや、天井に設置する赤外線エリアセンサ、熱画像センサ、鼓動センサ、超音波センサ等を、設置環境にあわせて適宜選択し、人物検知部６０２と静止判定部６０３とを構成してもよい。

次に、顔向き判定部６０４について説明する。顔向き判定部６０４は、人物１００の顔が所定の向きを向いているか否かを判定する。これを実現するために、人物１００の頭部に赤外線発光部を装着し、その赤外線発光部が所定の向きを向いているか否かを判定してもよい。あるいは、撮像部６０１を用いて取得した画像から顔向きを判定することもできる。こうすれば、人物１００が赤外線発光部を装着する必要がなく、顔向き判定部６０４は簡易に構成される。特に、撮像部６０１が、人物の目・鼻・口等の顔部品を撮像可能な場合、顔向き判定部６０４として、顔部品のテンプレート画像を用いて顔向きを検出できる。

なお本形態では、人物検知部６０２、静止判定部６０３、顔向き判定部６０４の全ては、撮像部６０１が撮像した画像を入力することにしたが、上述したように、この点は必須ではない。安全安心への要求が高まる中、撮像部６０１と表示部２０１とが、物理的に離れた位置にそれぞれ設置されることがある。そして、撮像部６０１と表示部２０１とをネットワークを経由して接続でき、撮像部６０１が設置された建物に人が出入りしないとき、撮像部６０１は、監視カメラとして使用できる。また、人が出入りするとき、撮像部６０１を本形態における人物状況取得部１０３の構成要素として使用できる。このように、撮像部６０１を本形態とは異なる用途（監視カメラ）に使用することができる。そのような場合であっても、本形態と同等の構成を含む限り、本発明に包含される。

次に、図１１を参照しながら、操作構成要素作成選択部１０７が作成するポップアップ型で階層構造を有する操作メニュー３０１（図３（ａ）参照）について、さらに詳細に説明する。図１１は、操作メニューの体系を示している。

図１１に示すように、操作メニューは、何かのアイテムを選択すれば、次の階層に移る多階層型の体系となっている。そして、操作構成要素作成選択部１０７は、現在実行中の階層の項目を指すポインタを持っている（現在の状態Ａ）。ここでは、現在なんらかのメディアを再生中の状態であることを示している。

操作構成要素作成選択部１０７は、操作制御部１０５から操作画面を作成するように要求されると、現在持っているポインタを選択肢の１つとして持つ階層をホームポジションとして定義し、そのポジションの画面を作成する。

例えば、図１１の場合では、「コントロール」の配下にある項目であるところの、「再生」「停止」「一時停止」「早送り」及び「巻き戻し」というメニューが表示される。なお、このようなホームポジション型だけでなく必ずトップメニューを表示する形にしても良いが、複数の操作体系が複雑にからむ場合には、操作性を向上させるため、ホームポジション型の操作体系を採用することが望ましい。

一方、図３（ｂ）に示した、擬人化エージェント３０２の場合には、擬人化エージェント３０２が現れるように処理をするだけでなく、その状況に応じて、擬人化エージェント３０２の動作や表情を制御したり、擬人化エージェント３０２の声（擬人化エージェント３０２の出現と同期して再生される音声データ）を変えるように制御することもできる。

例えば、擬人化エージェント３０２が現れるときの動作パターンや表情パターンをいくつか保持しておき、その時の時間によって表情や動作、発声の内容（例えば、朝ならば「おはようございます」と発音する等）を変えてもよい。さらに、擬人化エージェント３０２の場合でも、現在の状況をホームポジションで管理しておくと、擬人化エージェント３０２に発声させる単語や連語を選択したり、擬人化エージェント３０２の発声を動的に変更したりするような場合、都合がよい。

操作制御部１０５は、上述したように、操作構成要素作成選択部１０７を制御すると共に、操作入力部１０６の受け付け待ち状態を制御する。既に述べたが、操作入力部１０６による入力は、タッチパネル入力、音声入力、ボタン入力、携帯端末による操作、リモコンによる入力など各種の場合が考えられるが、そのいずれを用いたとしても、本発明に包含される。

（実施の形態２）
実施の形態１では、基本的に起動中の1台の表示部２０１を、少なくとも１つのカメラ等から取得した視聴意志の状況によって、操作入力と表示を制御している。本形態では、複数の表示部を用いて映像入力制御部に入力される映像を視聴する場合を想定し、人物が見ようとしている表示部をＯＮにし、ＯＮになった表示部を用いた映像表示の制御を実現する。また、これらの制御を電源ＯＦＦの状態からの一連の流れとして説明する。なお、本形態において、実施の形態１と同様の機能を有する要素には、実施の形態１の要素と同じ名前を付する。

図１２は、実施の形態２が適する場面の外観を平面視で示している。図１２に示す状態では、１つの部屋の中に、３つの表示部（第１表示部１２０１、第２表示部１２０２及び第３表示部１２０３）が存在し、２つのカメラ（第１カメラ１２０４及び第２カメラ１２０５）を用いて人物状況を取得し、これらの表示部１２０１〜１２０３を制御する。また、人感センサ１２０９が別途設置されており、部屋の中に人がいるか否かを検知できるようにしている。図１３は、本発明の実施の形態２におけるネットワーク構成図である。各カメラ１２０４〜１２０５は、人物状況取得部１３０５、１３１６、１３０７がネットワークインタフェース１３０６、１３１７、１３０８を介してサーバ部１２０７と接続する。また、各表示部１２０１、１２０２において、操作制御部１３０３、１３１４及び表示部１３０２、１３１３は、ネットワークインタフェース１３０４、１３１５を介してサーバ部１２０７と接続する。なお、サーバ部１２０７は、全体を制御する全体制御部１３２０と、操作構成要素作成選択部１３１０と、映像入力制御部１３０９と、合成部１３１１及びネットワークインタフェース１３１２とを備える。また、図１３で示すように、人感センサ１２０９は、センサ本体１３１９と、ネットワークインタフェース１３１８とを備える。

次に、図１３を参照しながら、電源が投入された段階からの全体の流れについて説明する。人感センサ１２０９とカメラ１２０４、１２０５は、サーバ部１２０７の全体制御部１３２０によって、監視用途とユーザインタフェース用途との間を切り替えながら使用される。

例えば、ユーザが全体制御部１３２０を介し、「セキュリティＯＮ」モードが選択されると、カメラ１２０４、１２０５は、監視用のカメラ及びセンサとして使われ、「セキュリティＯＦＦ」モードが選択されると、カメラ１２０４、１２０５は、本発明のために使用される。

「セキュリティＯＦＦモード」の初期状態は「スタンバイモード」であり、そのとき、人感センサ１２０９とサーバ部１２０７のみが起動している。部屋に人が入ってくると、人感センサ１２０９が人を検知し、全体制御部１３２０にネットワークインターフェース１３１８を介して通知する。その結果、全体制御部１３２０は、カメラ１２０４、１２０５及び視聴意志判定部１２０６をＯＮにする（この状態を「カメラＯＮモード」という。）そして、カメラ１２０４、１２０５は、人物状況を取得し、視聴意志判定部１２０６が視聴意志有と判定すると、全体制御部１３２０は、視聴意志が向けられた表示部（第１表示部１２０１、第２表示部１２０２のいずれか）の電源をＯＮにすると共に、その表示部の操作制御部を操作入力待ちの状態にする。

なお、人感センサ１２０９が一定期間人を検知しなくなったら、部屋の中に人がいないと判断され、全体制御部１３２０は、現在の状態を「スタンバイモード」に変更する。

次に、「カメラＯＮモード」以降の処理の流れについて、図１２、図１３を用いて説明する。まず、人物状況取得部１３０５、１３１６は、それぞれ第１カメラ１２０４、第２カメラ１２０５を用いて人物状況を取得する。図１４に示すように、カメラ１２０４、１２０５には、第１表示部１２０１、第３表示部１２０３のそれぞれの位置に基づいて予め定義された撮像領域１４０１内の定義領域１４０２、１４０３が設定されている。

視聴意志判定部１３０７は、実施の形態１で述べた人物の定義領域に対する存在有無、静止判定結果、顔向き判定結果に加え、その結果がどの表示部のどのカメラの結果にあたるのかも判定する。なお、実施の形態１では、顔向き判定部について、顔部品（例えば、目・鼻・口等）の存在を前提とする記述をしていたが、本形態においては、任意の向きでの顔向き検出が必要である。任意の向きでの顔向き検出については、日本国特開２００３−４４８５３号公報の実施の形態１に記載の構成により実現できる。詳細は、同公報を参照されたい。

視聴意志判定部１２０６は、各カメラ１２０４、１２０５の人物状況取得結果と表示部のサイズや向きといった情報に基づいて、どの表示部により視聴しようとしているかを判定する。そのために、各カメラ１２０４、１２０５からの出力に基づいて、視聴意志判定部１３０７は、図１５に示すようなマップを作成する。例えば、第１カメラ１２０４の撮像結果により、ある人物の像が、第１表示部１２０１の定義領域１４０２と第３表示部１２０３の定義領域１４０３の両方に存在し静止しているが、その人物の顔向きは、第１表示部１２０１を向いているという結果が得られる。

視聴意志判定部１３０７は、これをもとづいて、その人物は、第３表示部１２０３にではなく、第１表示部１２０１に対して、視聴意志があると判断し、第１表示部１２０１をＯＮし、同時に操作制御をするように通知する。

通知を受けた第１表示部１２０１は、その操作制御部１３０２が操作入力部１３０１による操作入力を受け付け可能な状態にするとともに、ネットワークを介してサーバ部１２０７に映像と操作構成要素を合成した結果を送信するよう要求する。

サーバ部１２０７は、その要求を受け、操作構成要素作成選択部１３１０が作成した操作構成要素と映像入力制御部１３０９が取得した映像とを、合成部１３１１が合成し、合成部１３１１は合成映像をネットワークインタフェース１３１２、１３０４を介して、第１表示部１３０２に送信し、第１表示部１３０２は受信した映像を、表示部１３０２上に表示する。

以上の結果、複数の表示部がある場合にも、人物が特に意識しなくとも、人物が視聴意志を向けた第１表示部１２０１が、サーバ部１２０７を内部的に操作し、所望の結果を得ることができるから、インタフェースの使い勝手を大幅に向上できる。

更に、図１６に示すように、複数の人物が存在する場合、表示部の大きさと人物の方向の中から最適な表示部を少なくとも１台決定すれば、最適な台数の表示部を用いて制御することができる。

例えば、第１人物１５０１及び第２人物１５０２が、図１６に示すような方向を向いている場合、人物に最も近い表示部を使用することにすると、第１人物１５０１が第１表示部１２０１を使用し、第２人物１５０２が第２表示部１５０３を使用することになる。

しかしながら、図１６に示す場合において、表示部と人物との距離だけでなく、表示部のサイズをも加味して制御すれば、次のようになる。図１６に示す状態では、第４表示部１５０３のサイズが非常に小さいため、例えば、サイズが大きい第１表示部１２０１に対応して、第１表示部１２０１の定義領域を大きく設定し、この定義領域を、第１人物１５０１と第２人物１５０２とで共用させ、第１人物１５０１と第２人物１５０２とは、いずれも第１表示部１２０１を使用するようにすることができる。このような制御を行うと、インタフェースの使いやすさをさらに向上できるし、省電力に資することができる。

本発明に係る映像表示装置は、例えば、家庭内のテレビジョン装置や屋外の大型映像表示装置あるいはそれらを用いたシステム等の分野において好適に利用できる。

本発明の実施の形態１における映像表示装置の機能ブロック図 本発明の実施の形態１における映像表示装置のブロック図 （ａ）本発明の実施の形態１における表示例図 （ｂ）本発明の実施の形態１における表示例図 本発明の実施の形態１における操作制御部のフローチャート 本発明の実施の形態１における撮像領域と定義領域の関係図 本発明の実施の形態１における人物状況取得部のブロック図 本発明の実施の形態１における人物状況取得部及び視聴意志判定部のフローチャート 本発明の実施の形態１における人物検知部及び静止判定部のフローチャート （ａ）本発明の実施の形態１におけるフレーム画像の例示図 （ｂ）本発明の実施の形態１におけるフレーム画像の例示図 （ｃ）本発明の実施の形態１における差分画像の説明図 （ｄ）本発明の実施の形態１における差分画像の処理過程図 （ｅ）本発明の実施の形態１における差分画像の処理過程図 （ｆ）本発明の実施の形態１における差分画像の処理過程図 （ａ）本発明の実施の形態１における差分画像の処理過程図 （ｂ）本発明の実施の形態１における差分画像の処理過程図 本発明の実施の形態１における操作構成要素の階層を示すチャート 本発明の実施の形態２における映像表示装置の外観図 本発明の実施の形態２における映像表示装置のネットワーク構成図 本発明の実施の形態２における撮像エリアと定義領域の関係図 本発明の実施の形態２における人物配置例の説明図 本発明の実施の形態２における人物配置例の説明図

符号の説明

１０１、１３０９ 映像入力制御部
１０２、１３０２、１３１３ 表示部
１０３、１３０５、１３１６ 人物状況取得部
１０４、１３０７ 視聴意志判定部
１０５、１３０３、１３１４ 操作制御部
１０７、１３１０ 操作構成要素作成選択部
１０８、１３１１ 合成部
２０１ 表示部
２０２ カメラ
２０３、１３０４、１３０６、１３０８、１３１２、１３１５、１３１７ ネットワークインタフェース
２０４ 送受信部
２０５ 携帯端末
３０１ 操作メニュー
３０２ 擬人化エージェント
５０１、１３０１ 撮像領域
５０２、１３０２、１３０３ 定義領域
６０１ 撮像部
６０２ 人物検知部
６０３ 静止判定部
６０４ 顔向き判定部
１２０１ 第１表示部
１２０２ 第２表示部
１２０３ 第３表示部
１２０４ 第１カメラ
１２０５ 第２カメラ
１２０７ サーバ部
１２０８、１５０１ 第１人物
１３０１ 操作入力部
１５０２ 第２人物
１５０３ 第４表示部

Claims (16)

1. 外部からの映像入力を制御する映像入力制御部と、
   操作入力を受け付ける操作入力部と、
   ユーザインタフェース構成要素を作成し、作成したユーザインタフェース構成要素の選択を受け付ける操作構成要素作成選択部と、
   前記操作構成要素作成選択部が作成したユーザインタフェース構成要素と前記映像入力制御部が入力した映像とを合成し合成映像を生成する合成部と、
   前記合成部が生成した合成映像を表示する表示部と、
   前記表示部と関連付けられ、前記表示部周辺の人物の情報を取得する人物状況取得部と、
   前記人物状況取得部が取得した情報に基づいて人物の視聴意志を判定する視聴意志判定部と、
   前記視聴意志判定部の判定結果が視聴意志有りから視聴意志無へ、もしくは視聴意志無から視聴意志有りへ遷移するとき、前記操作構成要素作成選択部と前記操作入力部とを制御する操作制御部とを備える映像表示装置。
2. 前記視聴意志判定部の判定結果が、視聴意志無しから視聴意志有りに遷移したとき、前記操作制御部は、前記操作構成要素作成選択部にユーザインタフェース構成要素を作成させ、前記操作入力部を操作入力受け付け可能な状態にする請求項１記載の映像表示装置。
3. 前記視聴意志判定部の判定結果が、視聴意志無しから視聴意志有りに遷移したとき、前記操作制御部は、前記表示部の電力消費状態を、第１の状態から前記第１の状態よりも多くの電力を消費する第２の状態へ変更する請求項１記載の映像表示装置。
4. 前記第１の状態は、前記表示部の電源オフと省電力モードの少なくとも一つであり、前記第２の状態は、前記表示部の電源オンと通常モードの少なくとも一つである請求項３記載の映像表示装置。
5. 前記視聴意志判定部の判定結果が、視聴意志無しから視聴意志有りに遷移したことを示してから一定時間継続して前記操作入力部が操作入力が受け付けていない場合、前記操作制御部は、前記操作構成要素作成選択部と前記操作入力部とについて、既に実施した制御を解除する請求項１から２記載の映像表示装置。
6. 前記人物状況取得部は、所定の領域における人物の有無及び前記所定の領域において人物が静止しているか否かを示す情報を取得し、前記視聴意志判定部は、前記人物状況取得部が取得した情報が、前記所定の領域に人物が存在し、かつ、その人物が静止していることを示すとき、視聴意志有りと判定する請求項１から５記載の映像表示装置。
7. 前記人物状況取得部は、更に、前記所定の領域に存在する人物の顔向きが所定の方向を向いているか否かの情報を取得し、前記視聴意志判定部は、前記人物状況取得部が取得した情報が、前記所定の領域に存在する人物の顔向きが所定の方向を向いていることを示すとき、視聴意志有りと判定する請求項６記載の映像表示装置。
8. 前記人物状況取得部は、光学系を有する撮像部を含む請求項１から７記載の映像表示装置。
9. 前記操作構成要素作成選択部が作成する前記ユーザインターフェイス構成要素は、操作階層構造を持つグラフィカルユーザインタフェースを含む請求項１から８記載の映像表示装置。
10. 前記操作階層構造は、前記視聴意志判定部から視聴意志を入力したとき及びそれ以前の操作階層を含む請求項９記載の映像表示装置。
11. 前記操作構成要素作成選択部は、コンピュータグラフィクスキャラクタを作成する請求項８から１０記載の映像表示装置。
12. 前記操作構成要素作成選択部は、前記コンピュータグラフィクスキャラクタの動作及び前記コンピュータグラフィクスキャラクタの表情の少なくとも一方を作成する請求項１１記載の映像表示装置。
13. 前記操作構成要素作成選択部は、前記コンピュータグラフィクスキャラクタの声を作成する請求項１２記載の映像表示装置。
14. 音声入力部をさらに備え、前記操作制御部は、前記音声入力部による音声入力の受け付けを制御する請求項１から１３記載の映像表示装置。
15. 人物の情報を取得する人物状況取得部と、
    前記人物状況取得部が取得した情報に基づいて人物の視聴意志を判定する視聴意志判定部とを備え、
    前記人物状況取得部は、所定の領域における人物の有無及び前記所定の領域において人物が静止しているか否かを示す情報を取得し、前記視聴意志判定部は、前記人物状況取得部が取得した情報が、前記所定の領域に人物が存在し、かつ、その人物が静止していることを示すとき、視聴意志有りと判定する視聴意志判定装置。
16. 前記人物状況取得部は、更に、前記所定の領域に存在する人物の顔向きが所定の方向を向いているか否かの情報を取得し、前記視聴意志判定部は、前記人物状況取得部が取得した情報が、前記所定の領域に存在する人物の顔向きが所定の方向を向いていることを示すとき、視聴意志有りと判定する請求項１５記載の視聴意志判定装置。

Images