JP2008182321A - 画像表示システム - Google Patents

Abstract

【課題】 画像表示装置に対するリモコンの向きや位置等を正しく検出してリモコンを所持している人を撮像する。
【解決手段】 画像表示システムはＴＶ１とリモコン２とで構成される。リモコン２は、ＴＶ１の画像表示部１０を撮像可能な第２のカメラ２０と、第２のカメラ２０で撮像した撮像画像中の撮像カーソル画像１４の座標と、そのときに表示されている表示カーソル画像１４ａの座標とを比較してリモコン相対位置（距離）とリモコンの向きを検出する位置検出部２３を備える。また、これらの情報を送信する通信部２５を備える。ＴＶ１は第１のカメラ１６を備える。カメラ制御部は、上記の情報に基づいて第１のカメラ１６を制御する。
【選択図】図１

Description

この発明は、テレビジョン（ＴＶ）またはパソコン（ＰＣ）とリモートコントロール装置（リモコン）とで構成される画像表示システムに関する。

ＴＶやＰＣにカメラを設け、リモコンを所持している人を撮影する画像表示システムが提案されている。このようなシステムは、さまざまな応用が可能であり、例えば、ＴＶ電話に利用することが可能である。

特許文献１に示される装置は、リモコンに光信号送信部を設け、ＴＶの光センサでリモコンの位置を特定する。このリモコンの位置に基づいてカメラの向き、焦点距離を自動的に変更してリモコンを所持しているユーザを撮影する。

特許文献２に示される装置は、リモコンに超音波発振器を設け、ＴＶのセンサでリモコンの位置を特定する。このリモコンの位置に基づいてカメラの向き、焦点距離を自動的に変更してリモコンを所持しているユーザを撮影する。
特開２００１−０７８１６１号公報 特開平０７−１１５６３２号公報

上記の各特許文献に示される画像表示システムは、リモコンに光信号送信部や超音波発振器等のセンサを設け、このセンサからの情報に基づいてリモコン位置を特定している。

しかしながら、これらのシステムは、リモコン位置を正確に測定することが困難であり、また、リモコンと画像表示装置に複雑なセンサシステムを設けることが必要であり、高コストとなる不都合がある。

この発明の目的は、画像表示装置に対するリモコンの向きや位置等を正しく検出してリモコンを所持している人を撮像することのできる画像表示システムを提供することにある。

この発明の画像表示システムは、上記課題を解決するために以下の構成を備えている。

所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
前記画像表示部の前方を撮像する第１のカメラを備え、
前記リモコンは、
該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能な第２のカメラと、
前記画像表示部に表示されている表示所定画像の座標と、該第２のカメラで撮像した撮像画像内の撮像所定画像の座標とを比較して、該画像表示部に対する該リモコンの向き及び相対位置を検出するリモコン位置検出部と、
前記リモコン位置検出部で検出したリモコンの向き及び相対位置を前記画像表示装置に送信するリモコン位置送信部と、を備え、
前記第１のカメラは、前記リモコン位置送信部から送信されてきたリモコンの向き及び相対位置に基づいて該カメラの撮像方向を制御するカメラ制御部を備えている。

所定画像は、たとえばカーソルの画像であったり、またはコマンドや選択可能なコンテンツ等が配列されているメニュー画面の画像である。また、この所定画像は基準所定画像としてリモコンに設けられているメモリに予め記憶しておくことができる。

そこで、リモコンのメモリに、たとえばカーソル画像を基準カーソル画像として記憶しておけば、リモコン位置検出部において、第２のカメラで撮像した画像表示部の画像とメモリに記憶されている基準カーソル画像とを比較する。この時、第２のカメラで撮像した画像表示部の画像中にカーソル画像を見つけることができれば、その撮像カーソル画像の座標と、そのときの表示カーソル画像の座標とを対比することによって、すなわち画像の投影関係を示す行列式を演算することによって画像表示部に対する第２のカメラの向き及び相対位置を検出することができる。また、第２のカメラの向きはリモコンの向きであるから、結局、リモコンの向きとリモコン相対位置を求めることができる。なお、表示カーソル画像の座標は、無線や赤外線等により画像表示装置側から取得する。

ごのリモコンの向きとリモコン相対位置に基づいて、カメラ制御部は第１のカメラの撮像方向を制御する。すなわち、カメラ制御部は、第１のカメラのカメラ視線がリモコンの向きになるように、該カメラのパン角度またはチルト角度の制御を行う。

また、リモコン相対位置に基づいて第１のカメラのズーム量を制御することも可能である。すなわち、画像表示装置に対するリモコンの向きと相対位置に応じて、第１のカメラの撮像画像（例えばユーザの顔画像）が常に同じ大きさとなるように、第１のカメラのズーム量を制御する。

この発明は、リモコンに設けたカメラで画像表示部に表示されている画像を撮像する。そして、この撮像した画像中の撮像所定画像（撮像カーソル画像等）の座標と画像表示部から送られてきた表示所定画像（表示カーソル画像等）の座標とを比較してリモコンの向きと相対位置を検出する。このように構成しているために、画像表示装置に対するリモコンの向きと相対位置を正確に求めることが可能であり、リモコンを持っているユーザを確実に撮影することができる。

図１は、この発明の実施形態である画像表示システムの構成図である。この画像表示システムは、画像表示装置であるＴＶ１と、リモコン２とで構成され、ＴＶ電話機能を持っている。画像表示装置は、ＴＶ１に代えて、画像表示部を備えるパソコン（ＰＣ）等の装置で構成することもできる。

ＴＶ１は、画像表示部１０と、画像生成部１１と、リモコン２との通信を行う通信部１２と、ＴＶ１の全体の制御を行う制御部１３と、第１のＣＣＤカメラ（以下、第１のカメラという）１６と、この第１のカメラ１６のパン角度、チルト角度、ズーム量の制御を行うカメラ制御部１７と、電話通信部１８とを備えている。第１のカメラ１６は、画像表示部の法線方向を基準視線として設定されている。

画像表示部１０は、リモコン２によって選択されたチャンネルのＴＶ画像を表示画面１５に表示したり、図示するようなメニュー画像を表示することができる。また、ＴＶ電話機能が選択されたときには、第１のカメラ１７の撮像画像と、ネット（インターネット）３を介して伝送されてくる相手方の画像を表示することができる。メニュー画像を表示すると、図示するようなカーソル画像（表示カーソル画像）１４が表示される。リモコン２によって、このカーソル画像１４を任意の位置に移動し、さらに所定のキー操作を行うことによって、カーソル画像１４で指示するコマンドを制御部１３に渡すことができる。

電話通信部１８は、リモコン２に設けられている電話通信部２７から送信されてきた音声データと、第１のカメラ１６で撮像した撮像画像を合成してネット３を介して電話通信リンクの確立した相手方に送信する。また、ネット３を介して相手方より送られてきたデータを画像データと音声データに分離し、画像データは画像合成部１１に出力し、音声データはリモコン２の電話通信部２７に送信する。

リモコン２は、第２のＣＣＤカメラ（以下、第２のカメラという）２０と、基準所定画像（基準カーソル画像）を記憶するメモリ２１と、第２のカメラ２０で撮像した撮像カーソル画像の座標とＴＶ１から送信されてきた表示カーソル画像の座標とを対比して、ＴＶ１の画像表示部１０に対するリモコン２の向きと相対位置（両者間の距離）を検出する画像処理部２２と、操作部２４と、通信部２５と、制御部２６、電話通信部２７と、スピーカ２８とマイク２９とを備える。

画像処理部２４は位置検出部２３を備えている。この位置検出部２３は、画像表示部１０に対するリモコン２の向きと相対位置（両者間の距離）を演算によって求める。

操作部２４は、複数のキーを含み、各キーで操作されたコマンドを通信部２５を介してＴＶ１に送信する。

通信部２５は、ＴＶ１の通信部１２との間で赤外線（ＩｒＤＡ）や数ＧＨｚ帯の電波を使用して、データの送受信を行う。

電話通信部２７は、画像表示装置１に設けられている電話通信部１８と通信を行う。通信データは、音声データである。マイク２９で集音した音声データは電話通信部１８に送信され、電話通信部１８から送られてきた音声データはスピーカ２８で出力する。

制御部２６は、リモコン２の全体の制御を行う。

図１の画像表示システムは、リモコン２の通常の機能である第１の機能と、第２の機能と、第３の機能を備えている。

第１の機能では、操作部２４で操作されたチャンネルコマンドのような一般操作内容（操作コマンド）をＴＶ１に送信する。

第２の機能では、画像処理部２２の位置検出部２３で演算されたリモコン２の向きと相対位置を通信部２５によってＴＶ１に送信する。

第３の機能は、ＴＶ電話機能である。

この実施形態では、第２の機能と第３の機能を別々に選択することができ、また、同時に選択することもできる。

第２の機能は、リモコン２でカーソル移動を行う。画像表示部１０の画像表示面１５に表示されている画像を第２のカメラ２０で撮像し、この第２のカメラ２０で撮像した画像とメモリ２１に記憶されている基準カーソル画像とを比較して、撮像画像中におけるカーソル画像の位置を検出する。次に、前記表示カーソル画像の座標をＴＶ１から取得し、この表示カーソル画像の座標と撮像カーソル画像の座標とを比較して、ＴＶ１の表示画面１５上でカメラ２０が指示する位置、すなわちリモコン２が指示するリモコン指示位置を検出する。画像生成部１１は、このリモコン指示位置にカーソル画像を追従させる。

第３の機能では、ＴＶ１は、リモコン２で検出されたリモコン２の向きと相対位置を通信部１２で受信し、カメラ制御部１７が、このリモコン２の向きと相対位置に基づいて第１のカメラ１６のパン角度、チルト角度、ズーム量を制御する。すなわち、第１のカメラ１６の視線方向をリモコン２の方向になるように、パン角度、チルト角度の制御を行い、同カメラ１６による撮像画像が一定の大きさの画像となるように、ズーム量の制御を行う。

以下、第２の機能と第３の機能が選択された場合を説明する。

最初に、リモコン２の向きと相対位置を検出する方法について述べる。

図２は、ＴＶ１に表示されている表示カーソル画像１４ａ（図２（Ａ））と、第２のカメラ２０で撮像された撮像カーソル画像１４ｂ（図２（Ｂ））とを示している。なお、メモリ２１にも表示カーソル画像１４ａ（図２（Ａ））と同様な基準カーソル画像が記憶されている。ただし、座標は記憶されていない。図２（Ａ）に示す座標は、後述のように、ＴＶ１から送信されてくる。

画像処理部２２では、第２のカメラ２０で撮像された画像から、基準カーソル画像を使って公知の画像認識方法によって撮像カーソル画像１４ｂを抽出する。また、ＴＶ１に対してこのときの表示カーソル画像の座標を問い合わせて取得する。なお、ここでは、カーソル画像の特徴点を表す３点の表示画面１５上での座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）を取得している。表示カーソル画像１４ａの先端位置の座標は、ここでは（ｘ１，ｙ１）である。

画像処理部２２では、表示画面１５上の３点の特徴点の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）と、カメラ２０によって撮影された画像上の対応する特徴点の座標（ｘ１′，ｙ１′）、（ｘ２′，ｙ２′）、（ｘ３′，ｙ３′）とを比較し、投影関係を計算する。この計算によってカメラ２０の座標系と表示画面１５上の座標系の関係を特定することが出来、表示画面１５上でのリモコン指示位置を求めることができる。同時に表示画面１５に対するリモコン２の相対位置及び方向を検出することが出来る。

すなわち、画像表示部１０に対するリモコン２の向きが演算できる。また、画像表示部１０と第２のカメラ２０間の距離（リモコン２の相対位置）、すなわち、ＴＶ１とリモコン２間の距離（リモコン２の相対位置）が演算できる。

前記リモコン相対位置は、通信部２５を介してＴＶ１に送信される。ＴＶ１の通信部１２は、これを受信する。カメラ制御部１７は、上記リモコン２の向きと相対位置に基づいて、第１のカメラ１６のパン角度、チルト角度、ズーム量を制御する。すなわち、カメラ制御部１７は、第１のカメラ１７の視線がリモコン２の位置に一致するように第１のカメラ１６のパン角度、チルト角度を制御する。また、カメラ制御部１７は、第１のカメラ１６での撮像画像が一定の大きさになるようにズーム量を制御する。

カメラ制御部１７が上記のように制御することにより、第１のカメラ１６は、リモコン２を所持するユーザの顔画像を確実に撮像することができ、また、その顔画像が一定の大きさとなるように撮像することができる。

第２の機能では、表示画面１５に表示されるカーソル画像１４をリモコン２の移動や回転動作に追従させることができる。すなわち、リモコン２で指し示す位置（リモコン指示位置）にカーソル画像を移動させることができる。

リモコン指示位置にカーソル画像を追従する機能について説明する。

第２の機能と第３の機能が選択されると、ＴＶ１の表示画面１５にメニュー画面とカーソル画像１４が表示される。このときのカーソル画像１４は、画面１５の中央位置に表示される。

ＴＶ１の表示画面１５の中央位置にカーソル画像１４が表示されている状態で、画像処理部２２の位置検出部２３は、第２のカメラ２０で撮像した撮像画像中から、メモリ２１に記憶されている基準カーソル画像を用いて撮像カーソル画像１４ｂを抽出する。また、ＴＶ１から取得した表示カーソル画像１４ａの座標と撮像カーソル画像１４ｂの座標とを比較する。これにより、表示画面１５のリモコン２が指示するリモコン指示位置を検出することが出来る。そこで、このリモコン指示位置を通信部２５によってＴＶ１に送信する。ＴＶ１では、受信したリモコン指示位置に表示する新たなカーソル画像１４を生成し、これを表示画面１５上に表示する。したがって、表示画面１５の中央位置にカーソル画像１４が表示された状態でＴＶ１側に向けたリモコン２を少しだけ移動又は回転すると、カーソル画像１４がその動きに追従する。

続いて、リモコン２をさらに移動又は回転すると、上記と同じ動作によって表示画面１５上に表示されるカーソル画像１４が移動する。すなわち、表示画面１０上のカーソル画像１４はリモコン２の移動に追従していく。これにより、リモコン２を移動又は回転すると、それに追従して表示画面１０上でカーソル画像１４が移動していく。そして、カーソル画像１４が所定の位置に移動した状態でリモコン２の操作部２４で特定のキーを操作すれば、表示画面１０上でカーソル画像１４が指定する位置のコマンドを制御部１３に入力することが可能になる。

図３は、ＴＶ１の表示画面１５に対するリモコン２の指示位置を示している。リモコン２に内蔵されている第２のカメラ２０の視線Ｌは表示画面１５上のカーソル画像１４の先端部に位置している。この状態で、リモコン２を矢印Ｘ方向に回転すると、それに応じて視線ＬもＸ方向に回転し、これに応じて表示画面１５上に表示されるカーソル画像１４も移動する。

上記の実施形態では、最初にＴＶ１の表示画面１５の中央位置にカーソル画像１４を表示している。したがって、第２の機能又は第３の機能を選択するための所定の操作を行ったときから、表示画面１５上で、カーソル画像１４がリモコン２の移動又は回転に追従して移動する。

このように、リモコン２の操作部２４で所定の操作を行った時に表示画面１５の中央位置にカーソル画像１４を表示することにより、ＴＶ１に対しリモコン２がかなり接近していてもカメラ２０の視野内にカーソル画像１４が必ず入るために、画像処理部２２においてのカーソル画像１４の抽出が確実である。

第２のカメラ２０の視野角が非常に広い場合には、操作部２４において所定の操作を行った時のカーソル画像１４の初期位置は中央である必要はない。たとえば、図１の左側のメニューを示す領域の中央位置を初期位置とすることもできる。初期位置は任意でよい。

別の実施形態として、メモリ２１に基準カーソル画像とともに、画像表示部１０の画面サイズ及び画面形状を基準所定画像として記憶するようにしてもよい。図４（Ａ）は画像表示部１０の画面サイズ及び画面形状を示している。メモリ２１は、この情報と基準カーソル画像とを一緒に記憶する。図４（Ｂ）はカメラ２０で撮像した撮像画像を示す。このようにメモリ２１に画像表示部１０の画面サイズ及び画面形状を記憶しておくことによって、第２のカメラ２０の視野Ｖ内に画像表示部１０の全体が表示される限り、リモコン指示位置を算出することができる。具体的には画面のサイズと形状により、特徴点を３点抽出して座標を設定しておく。メモリ２１に記憶されている画像表示部１０の画面サイズ、画面形状を用いてカメラ２０の画像から画像表示部を抽出する。抽出した画像表示部の上記特徴点に対応する３点の座標を求め、投影関係を計算することによってリモコン指示位置を算出する。

リモコン２の位置検出部２３では、表示カーソル画像１４ａと第２のカメラ２０で撮像した撮像カーソル画像１４ｂとを比較する時に、少なくとも３点以上の座標を対比する。これによって、リモコン２の画像表示装置１に対する相対位置（距離）も検出（算出）する。そこで、この距離に応じて、表示画面１５上に表示するカーソル画像１４の大きさを制御することによって、カメラ２０によるカーソル画像１４の視認性を高めることが可能になれ、リモコン指示位置の検出精度をあげることができる。すなわち、距離が近ければカーソル画像１４の大きさを小さくし、距離が離れるに従って、カーソル画像１４の大きさを大きくする。

図５（Ａ）、（Ｂ）は、リモコン２の位置に対するカーソル画像１４の大きさを示す図である。同図（Ｂ）ではＴＶ１に対しリモコン２が離れているために、カーソル画像１４が相対的に大きい。なお、上述のようにカーソルの位置をリモコン２の位置によって変えることにより、遠距離や近距離での操作者の視認性を高める効果もある。上記のようにして求めた距離は、カーソル画像１４の大きさを制御するだけではなく、ＴＶ１の音量制御にも使用することができる。すなわち、距離が離れるとＴＶ１の音量を大きくし、距離が短くなるとそれに応じて音量を小さくする。その他、ＴＶ１とリモコン２との距離に応じて様々な制御が可能である。

第３の機能では、リモコンの向きと相対位置（距離）が検出され、この情報がリモコン２から画像表示装置１に送信される。リモコンの向きはリモコン指示位置と同じ情報であるため、リモコン指示位置から容易に求めることができる。画像送信装置１のカメラ制御部１７は、上記情報に基づいて第１のカメラ１６のパン角度、チルト角度、ズーム量を制御する。また、電話通信部１８では、リモコン２側の電話通信部２７と通信を行い、ネット３を介して接続される相手方と音声デーと画像データのやりとりをする。相手方から受信した画像データは画像生成部１１にて復調し適当な大きさの画像として画像表示部１０に表示する。相手方から受信した音声データは復調したのち、リモコン２の電話通信部２７に送信し、該電話通信部２７では受信した音声データをスピーカ２８から出力する。また、リモコン２の電話通信部２７は、マイク２９で集音した音声データを画像通信装置１の電話通信部１８に送信する。

次にリモコン２の制御部２６の動作を説明する。

図６、図７は第２の機能と第３の機能が選択された場合の制御部２６の動作の概略を示すフローチャートである。このフローチャートに示す例では、ＴＶ電話機能が選択されると、第２の機能と第３の機能がともに選択される。

図６において、操作部２４でキー操作があると、キー操作がＴＶ電話機能を選択するキー操作であるかどうかの判定を行う（ＳＴ１）。第１の機能に含まれる通常のチャンネルキー操作等であれば、そのキー操作に応じたコマンドをＴＶ１に対して送信する（ＳＴ２）。

上記ＳＴ１においてＴＶ電話機能の選択操作であれば、第２のカメラ２０で、前方すなわちＴＶ１の画像表示部１０に表示されている画像を撮像する（ＳＴ３）。さらに、その撮像した画像とメモリ２１に記憶されている基準カーソル画像に基づいて、カーソル画像１４の表示位置（リモコン指示位置）や大きさを決めるためのカーソル画像データを演算する動作と、これらの演算結果から求められるリモコン２の向きと、距離を示すリモコン相対位置を検出する動作とを行う（ＳＴ４）。カーソル制御に用いられる情報は、リモコン指示位置とリモコン相対位置（距離）で構成される。また、カメラ制御に用いられる情報は、リモコンの向きとリモコン相対位置で構成される。そして、上記ＳＴ４で求めたカーソル画像データとリモコン相対位置とリモコンの向きとをＴＶ１に対して送信する（ＳＴ５）。

図７は、ＳＴ４の動作を示している。

まず、第２のカメラ２０で撮像したカメラ撮像画像を取得する（ＳＴ１０）。この画像とメモリ２１に記憶されている基準カーソル画像とのパターンマッチングを行う（ＳＴ１１）。上記パターンマッチングにより、カメラ撮像画像中の、撮像カーソル画像１４ｂの座標を検出する（ＳＴ１２）。この時、撮像カーソル画像１４ｂについては図２に示すように、少なくとも３点の座標を検出する（ＳＴ１２）。そして、ＴＶ１から、そのときの表示カーソル画像１４ａの座標を受信する。この表示カーソル画像１４ａの座標と、撮像カーソル画像１４ｂの座標とから、リモコン指示位置の座標及びリモコン相対位置を求める（ＳＴ１３）。先に述べたように、座標が３点以上であれば表示画面１５上のリモコン指示位置を演算で求めることができるとともに、さらにリモコン相対位置（リモコン２とＴＶ１間の距離）を演算で求めることができる。また、リモコン指示位置は、リモコン２の向きを示す情報であるため、リモコン指示位置に基づいてリモコン２の向きを検出する。この演算の精度は、演算に使用する点数（座標点の数）が多ければ多いほど高精度となる。しかし、その分、演算量が増えるため制御部２６の負担が重くなる。

次に、上記演算結果の信頼性を判断する（ＳＴ１４）。信頼性の判断には、各種の手法がある。たとえば、ＴＶ１の周囲が明るいために、第２のカメラ２０で撮像した撮像画像の濃度差が大きくない場合、または、ＴＶ１の表示画面１５に対してリモコン２の傾きが一定以上に大きい場合に信頼性が小さいと判断することができる。信頼性が小さい場合は、ＳＴ２０に進み、この信頼性の小さい判断が所定回数連続したかどうかを判定する。所定回数以下であれば、リターンして再び元の動作に戻る。ＳＴ２０で所定回数連続していると判断した場合には、ＴＶ１の表示画面１５の中心位置にカーソル画像１４が表示されるよう、カーソル画像データの設定を行う（ＳＴ２１）。

上記ＳＴ１４において信頼性が一定以上の大きさである場合には、ＳＴ１５において、変化量が大きいかどうかの判断を行う。すなわち、ＳＴ１３で算出したリモコン指示位置またはリモコン相対位置が前回の処理のＳＴ１３で算出した時の値よりも変化していて、且つその変化量が一定以上大きい場合にはＳＴ１６に進む。ＳＴ１６では、ＴＶ１とリモコン２間の距離が一定以上大きい場合、すなわち、ＳＴ１３で求めたリモコン相対位置がＴＶ１から一定以上に離れている場合、ＳＴ１７において、カーソル属性データを「大」に設定する。そうでない場合には、ＳＴ１８においてカーソル属性データを「小」に設定する。そして、これらのカーソル属性データ及び上記ＳＴ１３で求めたリモコン指示位置を含むカーソル画像データを設定する（ＳＴ１９）。ＳＴ１５の判定において、変化量が小さいと判定されたときはカーソル座標の変更を設定しない。このため、リモコン２の操作者の手振れなどを原因とする意図しない微小な振れをキャンセルする。

上記のようにして、ＳＴ１９で設定したカーソル画像データ、またはＳＴ２１で設定したカーソル画像データと、ＳＴ１３で算出した、リモコン相対位置とリモコン向きとを図６のＳＴ５においてＴＶ１に送信する。

ＴＶ１では、通信部１２において上記のデータを受信する。画像生成部１１において、受信した上記カーソル画像データとリモコン相対位置とに基づいてカーソル画像１４を生成する。画像表示部１０は、このようにして生成されたカーソル画像１４を表示画面１５に表示する。

ＴＶ１のカメラ制御部１７は、受信した上記リモコン相対位置とリモコン向きとに基づいて、第１のカメラ１６のパン角度、チルト角度、ズーム量の制御を行う。すなわち、第１のカメラ１６がリモコン２の方向を向くように、且つ、撮像画像中の顔画像（リモコンを持つユーザの顔画像）が一定の大きさになるように、それらの要素を制御する。また、撮像した画像を画像生成部１１に出力する。

ＴＶ１の電話通信部１８は、予め指定された相手方とネット３を介してＴＶ電話ができるように設定される。

ＴＶ１の電話通信部１８とリモコン２の電話通信部２７は、ＴＶ電話機能が選択されると、次のように作動する。

電話通信部１８、２７は、相互に音声データの通信が可能であり、電話通信部１８は、リモコン２から受信した音声データと第１のカメラ１６で撮像した画像とを合成し圧縮してネット３側に出力する。また、電話通信部１８は、ネット３側から受信した合成データを復調した後、音声データと画像データに分離し、音声データについては電話通信部２７に送信し、画像データについては画像生成部１１に出力する。

画像生成部１１では、第１のカメラ１６で撮像した画像と、電話通信部１８から入力した画像とを合成して、画像表示部１０に表示する。

図８は、画面右下にメニュー画面が表示され、画面左側にＴＶ電話中の相手方の顔画像（受信中の顔画像）と自分の顔画像（送信中の顔画像）とを示している。

第２の機能だけを選択した場合は、リモコン向きの検出が略される。また、第１のカメラ１６の制御も行われない。第３の機能だけを選択した場合は、最初に一度だけ、リモコン２の向きを検出し、それ以降の検出を省略することができる。その場合は、カーソル画像がリモコン２の向きに追従する制御は行われない。

なお、先に述べたように、メモリ２１には、メニュー画像を基準メニュー画像（基準所定画像）として記憶してもよい。この場合には、図７のＳＴ１１においてカメラ撮像画像とメモリ２１に記憶されている基準メニュー画像とがパターンマッチングされる。そして、ＳＴ１２において撮像メニュー画像の座標が検出される。また、ＳＴ１３では、表示メニュー画像の座標（ＴＶ１から送信される）と撮像メニュー画像の座標に基づいて、リモコン指示位置とリモコン相対位置が演算される。なお、表示メニュー画像の座標が固定である場合には、予めこの座標をメモリ２１に記憶しておいても良い。この場合には、ＴＶ１からこの情報を送信する必要はない。

また、図６のＳＴ１において、メニューキー操作が検出されると、その時点で一旦、図７のＳＴ２１に示すカーソル画像データを設定してこれをＴＶ１側に送信することも可能である。そのようにすると、メニューキー操作があると、直ちに表示画面１５の中心位置にカーソル画像１４が表示される。したがって、図７のＳＴ１３においての表示カーソル画像と撮像カーソル画像の比較が確実なものとなる。

この発明の別の実施形態では、ＴＶ１にメニュー画像が表示された時、このメニュー画像をリモコン２に送信して、これをメモリ２１に基準メニュー画像として記憶するようにしてもよい。このようにすると、複数のメニュー画像があった場合にも、メモリ２１に記憶する基準メニュー画像を各メニューに対応して適切に設定することができる。

この発明のさらに他の実施形態では、図１の画像処理部２２に含まれる位置検出部２３をＴＶ１側に設けることが可能である。

この実施形態では、リモコン２において、メモリ２１と位置検出部２３が不要である。一方、通信部２５は、カメラ２０で撮像した画像を高速にＴＶ１に対して送信する機能を持つことが必要である。すなわち、リモコン２の通信部２５とＴＶ１の通信部１２は高帯域の通信機能を備えていることが要求される。ＴＶ１では、通信部１２で受信した撮像画像とその時に表示画面１５で表示されている表示画像とを比較して、リモコン指示位置とリモコン相対位置を検出する。この検出方法は、上記の実施形態と同様である。そして、画像生成部１１は、検出したリモコン指示位置に基づいて、その位置に表示するためのカーソル画像を生成し、画像表示部１０がこのカーソル画像を表示画面１５に表示する。また、画像生成部１１は、検出したリモコン相対位置に基づいてカーソル画像１４の大きさを変える。

以上の実施形態では、カーソル画像１４の形状を矢印形状としているが、三角形状、手の平形状、その他、任意の形状を適用できる。

この発明の実施形態である画像表示システムの構成図 表示カーソル画像と撮像カーソル画像を示す図 リモコン２の回転に対してカーソル画像１４が追従する状態を説明する図 画像表示部の画面サイズ、画面形状とカメラ２０での撮像画像を示す図 リモコン位置に対するカーソル画像の大小を説明する図 リモコン２の概略動作を示すフローチャート リモコン２の概略動作を示すフローチャート ＴＶ電話機能を選択した場合の画像表示部の表示例を示す図。

符号の説明

１−ＴＶ
２−リモコン
１０−画像表示部
１４−カーソル画像
１５−表示画面
１６−第１のカメラ
２０−第２のカメラ
２２−画像処理部
２３−位置検出部

Claims (6)

1. カーソル画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
   前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
   前記画像表示部の前方を撮像する第１のカメラを備え、
   前記リモコンは、
   該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能な第２のカメラと、
   前記カーソル画像の基準となる基準カーソル画像を予め記憶するメモリと、
   前記メモリに記憶されている基準カーソル画像を用いて前記第２のカメラで撮像した撮像画像内の撮像カーソル画像を抽出し、前記画像表示部に表示されている表示カーソル画像の座標と前記撮像カーソル画像の座標とを比較して、該画像表示部に対する該リモコンの向き及び相対位置を検出するリモコン位置検出部と 前記リモコン位置検出部で検出したリモコンの向き及び相対位置を前記画像表示装置に送信するリモコン位置送信部と、を備え、
   前記第１のカメラは、該カメラの撮像方向がリモコンの方向となるように前記リモコン位置送信部から送信されてきたリモコンの向きに基づいて該カメラのパン角度とチルト角度を制御し、且つ第１のカメラで撮像される被写体の大きさが一定となるように前記リモコン位置送信部から送信されてきたリモコンの相対位置に基づいて該カメラのズーム量を制御するカメラ制御部を備えることを特徴とする画像表示システム。
2. 所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
   前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
   前記画像表示部の前方を撮像する第１のカメラを備え、
   前記リモコンは、
   該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能な第２のカメラと、
   前記画像表示部に表示されている表示所定画像の座標と、該第２のカメラで撮像した撮像画像内の撮像所定画像の座標とを比較して、該画像表示部に対する該リモコンの向き及び相対位置を検出するリモコン位置検出部と、
   前記リモコン位置検出部で検出したリモコンの向き及び相対位置を前記画像表示装置に送信するリモコン位置送信部と、を備え、
   前記第１のカメラは、前記リモコン位置送信部から送信されてきたリモコンの向き及び相対位置に基づいて該カメラの撮像方向を制御するカメラ制御部を備えることを特徴とする画像表示システム。
3. 前記カメラ制御部は、前記リモコン位置送信部から送信されてきたリモコンの向き及び相対位置に基づいて該カメラのズーム量を制御する請求項２記載の画像表示システム。
4. 前記カメラ制御部は、前記ズーム量を、前記リモコンの向き及び相対位置にかかわらず第１のカメラで撮像される被写体の大きさが一定となるように制御する請求項３記載の画像表示システム。
5. 前記リモコンは、前記所定画像の基準となる基準所定画像を予め記憶するメモリを備え、
   前記リモコン指示位置検出部は、該メモリに記憶されている基準所定画像を用いて前記撮像画像内の撮像所定画像を抽出する請求項２記載の画像表示システム。
6. 前記所定の画像は、カーソル画像である請求項５記載の画像表示システム。

Images