JP2008181198A - 画像表示システム - Google Patents

Abstract

【課題】 ＴＶやＰＣに対してリモコンが接近した場合でも離れた場合であってもリモコンの向きを正しく検出することのできる画像表示システムを提供する。
【解決手段】 画像表示システムはＴＶ１とリモコン２とで構成される。リモコン２は、ＴＶ１の画像表示部１０を撮像可能なカメラ２０と、カメラ２０で撮像した撮像画像中の撮像カーソル画像１４ｂの座標と、そのときに表示されている表示カーソル画像１４ａの座標とを比較してリモコン指示位置を検出する位置検出部２３を備える。また、リモコン指示位置を送信する通信部２５を備える。ＴＶ１の画像生成部は、表示画面１５上のリモコン指示位置に表示するためのカーソル画像１４を生成する。
【選択図】図１

Description

この発明は、テレビジョン（ＴＶ）またはパソコン（ＰＣ）とリモートコントロール装置（リモコン）とで構成される画像表示システムに関する。

ＴＶやＰＣの表示画面上で、リモコンを使って任意の位置を指し示す（ポインティングする）画像表示システムが提案されている。たとえば、特許文献１では、リモコンにカメラを設け、このカメラで撮像した画像を処理することによってＴＶ画面の４隅を検出し、これによりリモコンの向きを検出する方法が開示されている。また、特許文献２及び３では、ＴＶに発光素子を設け、この発光素子をリモコンに設けられたカメラで撮像することによってリモコンの向きを検出し、検出したリモコンの向きに応じてカーソルを表示する装置が提案されている。さらに特許文献４には、リモコンにカメラを設け、カメラでＴＶ画像を撮像している時のカメラの画像の時間変化を検出し、これによりリモコンの方向変化を検出してカーソルを表示する装置が提案されている。
特開２００３−２０８２６０号公報 特開平３−１７６７１８号公報 特許３２６２６７７号公報 特開平９−１３４２５０号公報

上記の各特許文献に示される画像表示システムでは、リモコンにカメラを設け、このカメラでＴＶ画面を撮像してリモコンの向きを検出し、その情報をＴＶ側に送信することによってリモコンの向きに対応してカーソルを表示するようにしたものである。

しかしながら、特許文献１に示される装置ではカメラでＴＶ画面の４隅を検出しているために、リモコンがＴＶに近づき過ぎるとＴＶカメラの４隅を検出できなくなる。このため、リモコンの向きに対応してカーソル表示ができなくなる問題がある。

また、特許文献２及び３に示される装置でも、リモコンがＴＶに近づき過ぎると発光素子が撮像できなくなる。このため、リモコンの向きに対応してカーソル表示を行うことができない。また、この問題を解決するためにリモコンのカメラを広角にすると、遠距離で精度が落ちるという不都合がある。さらに発光素子が別途必要であるという問題がある。

また、特許文献４に示される装置では、リモコンが左右上下のどちら側に動いたかという相対的な情報しか得られないために操作に違和感があり、また画像のコントラストが低い場合には画像処理が困難となってリモコンの方向の検出精度が低下するという不都合がある。

この発明の目的は、ＴＶやＰＣに対してリモコンが接近した場合でも離れた場合であってもリモコンの向きを正しく検出することのできる画像表示システムを提供することにある。

この発明の画像表示システムは、上記課題を解決するために以下の構成を備えている。

所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
前記リモコンは、
該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
前記画像表示部に表示されている表示所定画像の座標と、該カメラで撮像した撮像画像内の撮像所定画像の座標とを比較し、該画像表示部の表示画面上でリモコンが指示するリモコン指示位置を検出するリモコン指示位置検出部と、
前記リモコン指示位置検出部で検出したリモコン指示位置を前記画像表示装置に送信するリモコン指示位置送信部と、を備え、
前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコン指示位置に表示するカーソル画像を生成する。

上記画像表示システムでは、リモコン指示位置検出部において、カメラで撮像した撮像所定画像の座標と表示所定画像の座標とを比較することによって、リモコン指示位置を検出する。

所定画像は、たとえばカーソルの画像であったり、またはコマンドや選択可能なコンテンツ等が配列されているメニュー画面の画像である。また、この所定画像はリモコンに設けられているメモリに基準所定画像として予め記憶しておくことができる。

そこで、リモコンのメモリに、たとえば基準カーソル画像を基準所定画像として記憶しておけば、リモコン指示位置検出部において、カメラで撮像した画像表示部の画像とメモリに記憶されている基準カーソル画像とを比較する。この時、カメラで撮像した画像表示部の画像中にカーソルを見つけることができれば、そのときの表示カーソル画像の座標を画像表示装置から赤外線や無線等により取得する。取得した表示カーソル画像の座標と、カメラで撮像した撮像カーソル画像の座標とを対比することによって、すなわち画像の投影関係を示す行列式を演算することによって画像表示部に対するカメラの指示位置、すなわちリモコンの指示位置を検出することができる。具体的には、リモコンが指示する画像表示面上のＸＹ座標を検出することができる。

このリモコン指示位置に基づいて画像表示装置側でカーソル画像を生成する。この動作の繰り返しにより、リモコンを移動すると、それに応じて画像表示部に表示されている表示カーソル画像の位置が移動する。

この発明では、上記リモコン指示位置の検出信頼性を判断することが可能である。検出信頼性が一定以下であれば、画像表示措置の所定位置（例えば、画像表示装置の表示中心位置）に表示所定画像が表示されるようリモコン指示位置の設定を行う
前記メモリに記憶する基準所定画像は、たとえば、画像表示部に表示されるメニュー画像であってもよい。メニュー画像の時には、その画像の複数点の座標が予め分かっているために、この座標を含む情報をメモリに記憶しておく。

画像表示装置は、特定の時、すなわちリモコンがリモコン指示位置を検出する必要が生じた時に画像表示部の特定の位置（たとえば中央位置）にカーソルを表示することができる。特定の時は、例えば、リモコンでメニュー画面表示を選択した時である。このようにすると、カーソルの検出がしやすくなり、リモコン指示位置を容易に検出することが可能になる。

また、別の実施態様では、画像表示装置側が、任意の時にメニュー画像等の所定画像をリモコンに送信する。リモコンのメモリは、この送信された所定画像を所定基準画像として記憶する。このように構成すると、リモコン指示位置検出部は、メニュー画像等が変更された場合であってもリモコン指示位置を容易に検出することが可能である。

別の実施態様では、前記メニュー画像等の所定画像は、画像表示部の画面サイズや画面形状をも含む。このように構成すれば、リモコン指示位置の検出精度がより一層高まる。

さらに、別の実施態様では、リモコン指示位置検出部は、少なくとも３点以上の座標位置を演算対象とする。このように構成すれば、画像表示装置に対するリモコンの相対位置を検出することが可能になる。すなわち、画像表示装置とリモコンの距離を知ることができる。そこで、画像表示装置に対してリモコンが接近している時には表示されるカーソルを小さくし、リモコンが離れている時には表示されるカーソルを大きくする等、リモコンの相対位置に応じて画像表示部に表示されるカーソルの大きさを変える。このように構成すれば、ユーザの視認性を高めることができる。

さらに、別の実施態様では、リモコンに設けたカメラで撮像した画像をそのまま、またはその画像から抽出した特徴部を画像表示装置側に送信する表示画像送信部をリモコンに設ける。画像表示装置側では、リモコンから送信されてきた表示画像中の撮像所定画像（撮像カーソル画像）の座標とその時に画像表示部で表示している表示所定画像（表示カーソル画像）の座標とを比較して、リモコン指示位置を検出する。

上記の構成では、リモコン側にメモリを設ける必要がないという利点がある。

この発明は、リモコンに設けたカメラで画像表示部に表示されている画像を撮像する。そして、この撮像した画像中の撮像所定画像（撮像カーソル画像等）の座標と画像表示部から送られてきた表示所定画像（表示カーソル画像等）の座標とを比較してリモコン指示位置を検出する。このように構成しているために、画像表示装置とリモコン間の距離に係わらずリモコン指示位置を正しく検出することができる。

図１は、この発明の実施形態である画像表示システムの構成図である。この画像表示システムは、画像表示装置であるＴＶ１と、リモコン２とで構成される。画像表示装置は、ＴＶ１に代えて、画像表示部を備えるパソコン等の装置で構成することもできる。

ＴＶ１は、画像表示部１０と、画像生成部１１と、リモコン２との通信を行う通信部１２と、ＴＶ１の全体の制御を行う制御部１３とを備えている。

画像表示部１０は、リモコン２によって選択されたチャンネルのＴＶ画像を表示画面１５に表示したり、図示するようなメニュー画像を表示することができる。メニュー画像を表示すると、図示するようなカーソル画像（表示カーソル画像）１４が表示される。リモコン２によって、このカーソル画像１４を任意の位置に移動し、さらに所定のキー操作を行うことによって、カーソル画像１４で指示するコマンドを制御部１３に渡すことができる。

リモコン２は、ＣＣＤカメラ（以下カメラという）２０と、基準カーソル画像を記憶するメモリ２１と、カメラ２０で撮像した撮像カーソル画像の座標とＴＶ１から送信されてきた表示カーソル画像の座標とを対比して、ＴＶ１の表示画面１５上のリモコン２が指示するリモコン指示位置を検出する画像処理部２２と、操作部２４と、通信部２５と、制御部２６とを備える。

操作部２４は、複数のキーを含み、各キーで操作されたコマンドを通信部２５を介してＴＶ１に送信する。

通信部２５は、ＴＶ１の通信部１２との間で赤外線（ＩｒＤＡ）や数ＧＨｚ帯の電波を使用して、データの送受信を行う。

制御部２６は、リモコン２の全体の制御を行う。

画像処理部２２は、リモコン指示位置を検出するための演算を行う位置検出部２３を備えている。

図１の画像表示システムは、リモコン２の通常の機能である第１の機能と、第２の機能とを備えている。

第１の機能では、操作部２４で操作された操作内容（操作コマンド）をＴＶ１に送信する。

第２の機能では、画像処理部２２の位置検出部２３で演算されたリモコン指示位置を通信部２５によってＴＶ１に送信する。

第２の機能では、画像表示部１０の画像表示面１５に表示されている画像全体をカメラ２０で撮像し、このカメラ２０で撮像した画像全体とメモリ２１に記憶されている基準カーソル画像とを比較して、撮像画像中のカーソル画像（撮像カーソル画像）の位置を抽出する。次に、前記表示カーソル画像の座標をＴＶ１から取得し、この表示カーソル画像の座標と撮像カーソル画像の座標とを比較して、ＴＶ１の表示画面１５上でカメラ２０が指示する位置、すなわちリモコン２が指示するリモコン指示位置を検出する。

ＴＶ１は、リモコン２で検出されたリモコン指示位置を通信部１２で受信し、画像生成部１１が、このリモコン指示位置に表示するカーソル画像を生成して表示画面１５上に表示する。

図２は、ＴＶ１に表示されている表示カーソル画像１４ａ（図２（Ａ））と、カメラ２０で撮像された撮像カーソル画像１４ｂ（図２（Ｂ））とを示している。なお、メモリ２１にも表示カーソル画像１４ａ（図２（Ａ））と同様な基準カーソル画像が記憶されている。ただし、座標は記憶されていない。図２（Ａ）に示す座標は、後述のように、ＴＶ１から送信されてくる。

画像処理部２２では、カメラ２０で撮像された画像から、基準カーソル画像を使って公知の画像認識方法によって撮像カーソル画像１４ｂを抽出する。また、ＴＶ１に対してこのときの表示カーソル画像の座標を問い合わせて取得する。なお、ここでは、カーソル画像の特徴点を表す３点の表示画面１５上での座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）を取得している。表示カーソル画像１４ａの先端位置の座標は、ここでは（ｘ１，ｙ１）である。

画像処理部２２では、表示画面１５上の３点の特徴点の座標（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）と、カメラ２０によって撮影された画像上の対応する特徴点の座標（ｘ１′，ｙ１′）（ｘ２′，ｙ２′）（ｘ３′，ｙ３′）とを比較し、投影関係を計算する。この計算によってカメラ２０の座標系と表示画面１５上の座標系の関係を特定することが出来、表示画面１５上でのリモコン指示位置を求めることが出来る。同時に表示画面１５に対するリモコン２の相対位置及び方向を検出することが出来る。

操作部２４で所定の操作（例えば、メニュー画面の表示を行うための操作）を行うと、ＴＶ１の表示画面１５にメニュー画面と表示カーソル画像１４が表示される。このときの表示カーソル画像は、画面１５の中央位置に表示される。

ＴＶ１の表示画面１５の中央位置に表示カーソル画像１４ａが表示されている状態で、画像処理部２２の位置検出部２３は、カメラ２０で撮像した画像中から、基準カーソル画像を用いて撮像カーソル画像１４ｂを抽出する。また、ＴＶ１から表示カーソル画像１４ａの座標を取得する。撮像カーソル画像１４ｂの座標と表示カーソル画像１４ａの座標とを比較する。これにより、表示画面１５のリモコン２が指示するリモコン指示位置を検出することができる。そこで、このリモコン指示位置を通信部２５によってＴＶ１に送信する。ＴＶ１では、受信したリモコン指示位置に表示する新たなカーソル画像１４を生成し、これを表示画面１５上に表示する。したがって、表示画面１５の中央位置にカーソル画像１４が表示された状態でＴＶ１側に向けたリモコン２を少しだけ移動又は回転すると、カーソル画像１４がその動きに追従する。

続いて、リモコン２をさらに移動又は回転すると、上記と同じ動作によって表示画面１５上に表示されるカーソル画像１４が移動する。すなわち、表示画面１０上のカーソル画像１４はリモコン２の移動に追従していく。これにより、リモコン２を移動又は回転すると、それに追従して表示画面１０上でカーソル画像１４が移動していく。そして、カーソル画像１４が所定の位置に移動した状態でリモコン２の操作部２４で特定のキーを操作すれば、表示画面１０上でカーソル画像１４が指定する位置のコマンドを制御部１３に入力することが可能になる。

図３は、ＴＶ１の表示画面１５に対するリモコン２の指示位置を示している。リモコン２に内蔵されているカメラ２０の視線Ｌは表示画面１５上のカーソル画像１４の先端部に位置している。この状態で、リモコン２を矢印Ｘ方向に回転すると、それに応じて視線ＬもＸ方向に回転し、これに応じて表示画面１５上に表示されるカーソル画像１４も移動する。

上記の実施形態では、リモコン２の操作部２４において所定の操作（メニュー画面を表示する操作等）を行った時にＴＶ１の表示画面１５の中央位置にカーソル画像１４を表示している。したがって、所定の操作を行ったときから、表示画面１５上で、カーソル画像１４がリモコン２の移動又は回転に追従して移動する。

このように、リモコン２の操作部２４で所定の操作を行った時に表示画面１５の中央位置にカーソル画像１４を表示することにより、ＴＶ１に対しリモコン２がかなり接近していてもカメラ２０の視野内にカーソル画像１４が必ず入るために、画像処理部２２においてのカーソル画像１４の抽出が確実である。

カメラ２０の視野角が非常に広い場合には、操作部２４において所定の操作を行った時のカーソル画像１４の初期位置は中央である必要はない。たとえば、図１の左側のメニューを示す領域の中央位置を初期位置とすることもできる。初期位置は任意でよい。

別の実施形態として、メモリ２１に基準カーソル画像とともに画像表示部１０の画面サイズ及び画面形状を基準所定画像として記憶するようにしてもよい。図４（Ａ）は画像表示部１０の画面サイズ及び画面形状を示している。メモリ２１は、この情報と基準カーソル画像とを一緒に記憶する。図４（Ｂ）はカメラ２０で撮像した撮像画像を示す。このようにメモリ２１に画像表示部１０の画面サイズ及び画面形状を基準所定画像として記憶しておくことによって、カメラ２０の視野Ｖ内に画像表示部１０の全体が表示される限り、リモコン指示位置を算出することができる。具体的には画面のサイズと形状により、特徴点を３点抽出して座標を設定しておく。メモリ２１に記憶されている画像表示部１０の画面サイズ、画面形状を用いてカメラ２０の画像から画像表示部を抽出する。抽出した画像表示部の上記特徴点に対応する３点の座標を求め、投影関係を計算することによってリモコン指示位置を算出する。

さらに、リモコン２の位置検出部２３では、表示カーソル画像１４ａとカメラ２０で撮像した撮像カーソル画像１４ｂとを比較する時に、少なくとも３点以上の座標を対比する。これによって、リモコン指示位置とともに、リモコン２の画像表示装置１に対する相対位置（距離）を検出（算出）することができる。そこで、この距離に応じて、表示画面１５上に表示するカーソル画像１４の大きさを制御することによって、カメラ２０によるカーソル画像１４の視認性を高めることが可能になり、リモコン指示位置の検出精度を高めることが出来る。すなわち、距離が近ければカーソル画像１４の大きさを小さくし、距離が離れるに従って、カーソル画像１４の大きさを大きくする。

図５（Ａ）、（Ｂ）は、リモコン２の位置に対するカーソル画像１４の大きさを示す図である。同図（Ｂ）ではＴＶ１に対しリモコン２が離れているために、カーソル画像１４が相対的に大きい。なお、上述のようにカーソルの位置をリモコン２の位置によって変えることにより、遠距離や近距離での操作者の視認性を高める効果もある。上記のようにして求めた距離は、カーソル画像１４の大きさを制御するだけではなく、ＴＶ１の音量制御にも使用することができる。すなわち、距離が離れるとＴＶ１の音量を大きくし、距離が短くなるとそれに応じて音量を小さくする。その他、ＴＶ１とリモコン２との距離に応じて様々な制御が可能である。

次にリモコン２の制御部２６の動作を説明する。

図６、図７は制御部２６の動作の概略を示すフローチャートである。

図６において、操作部２４でキー操作があると、キー操作がメニューキー操作であるかどうかの判定を行う（ＳＴ１）。通常のチャンネルキー操作等、メニューキー操作以外の操作であれば、そのキー操作に応じたコマンドをＴＶ１に対して送信する（ＳＴ２）。

上記ＳＴ１においてメニューキー操作であれば、カメラ２０で、前方すなわちＴＶ１の画像表示部１０に表示されている画像を撮像する（ＳＴ３）。さらに、その撮像した画像とメモリ２１に記憶されている基準カーソル画像に基づいて、カーソル画像１４の表示位置（リモコン指示位置）や大きさを決めるためのカーソル画像データを演算する動作と、距離を示すリモコン位置（リモコン相対位置）を検出する動作とを行う（ＳＴ４）。そして、上記ＳＴ４で求めたカーソル画像データとリモコン位置をＴＶ１に対して送信する（ＳＴ５）。

図７は、ＳＴ４の動作を示している。

まず、カメラ２０で撮像したカメラ撮像画像を取得する（ＳＴ１０）。この画像とメモリ２１に記憶されている基準カーソル画像とのパターンマッチングを行う（ＳＴ１１）。上記パターンマッチングにより、カメラ撮像画像中の、撮像カーソル画像１４ｂの座標を検出する（ＳＴ１２）。この時、撮像カーソル画像については図２に示すように、少なくとも３点の座標を検出する（ＳＴ１２）。そして、ＴＶ１から、そのときの表示カーソル画像１４ａの座標を受信する。この表示カーソル画像１４ａの座標と、撮像カーソル画像１４ｂの座標とから、リモコン指示位置の座標及びリモコン位置を求める（ＳＴ１３）。先に述べたように、座標が３点以上であれば表示画面１５上のリモコン指示位置を演算で求めることができるとともに、さらにリモコン位置（リモコン２のＴＶ１に対する相対位置）を演算で求めることができる。この演算の精度は、演算に使用する点数（座標点の数）が多ければ多いほど高精度となる。しかし、その分、演算量が増えるため制御部２６の負担が重くなる。

次に、上記演算結果の信頼性を判断する（ＳＴ１４）。信頼性の判断には、各種の手法がある。たとえば、ＴＶ１の周囲が明るいために、カメラ２０で撮像した撮像画像の濃度差が大きくない場合、または、ＴＶ１の表示画面１５に対してリモコン２の傾きが一定以上に大きい場合に信頼性が小さいと判断することができる。信頼性が小さい場合は、ＳＴ２０に進み、この信頼性の小さい判断が所定回数連続したかどうかを判定する。所定回数以下であれば、リターンして再び元の動作に戻る。ＳＴ２０で所定回数連続していると判断した場合には、ＴＶ１の表示画面１５の中心位置にカーソル画像１４が表示されるよう、カーソル画像データの設定を行う（ＳＴ２１）。

上記ＳＴ１４において信頼性が一定以上の大きさである場合には、ＳＴ１５において、変化量が大きいかどうかの判断を行う。すなわち、ＳＴ１３で算出したリモコン指示位置またはリモコン位置が前回の処理のＳＴ１３で算出した時の値よりも変化していて、且つその変化量が一定以上大きい場合にはＳＴ１６に進む。ＳＴ１６では、ＴＶ１とリモコン２間の距離が一定以上大きい場合、すなわち、ＳＴ１３で求めたリモコン位置がＴＶ１から一定以上に離れている場合、ＳＴ１７において、カーソル属性データを「大」に設定する。そうでない場合には、ＳＴ１８においてカーソル属性データを「小」に設定する。そして、これらのカーソル属性データ及び上記ＳＴ１３で求めたリモコン指示位置を含むカーソル画像データを設定する（ＳＴ１９）。ＳＴ１５の判定において、変化量が小さいと判定されたときはカーソル座標の変更を設定しない。このため、リモコン２の操作者の手振れなどを原因とする意図しない微小な振れをキャンセルする。

上記のようにして、ＳＴ１９で設定したカーソル画像データ、またはＳＴ２１で設定したカーソル画像データと、ＳＴ１３で算出したリモコン位置とを図６のＳＴ５においてＴＶ１に送信する。

ＴＶ１では、通信部１２において上記のデータを受信する。画像生成部１１において、受信した上記データに基づいてカーソル画像１４を生成する。画像表示部１０は、このようにして生成されたカーソル画像１４を表示画面１５に表示する。

なお、先に述べたように、メモリ２１には、メニュー画像を基準メニュー画像（基準所定画像）として記憶してもよい。この場合には、図７のＳＴ１１においてカメラ撮像画像とメモリ２１に記憶されている基準メニュー画像とがパターンマッチングされる。そして、ＳＴ１２において撮像メニュー画像の座標が検出される。また、ＳＴ１３では、表示メニュー画像の座標（ＴＶ１から送信される）と撮像メニュー画像の座標に基づいて、リモコン指示位置とリモコン位置が演算される。なお、表示メニュー画像の座標が固定である場合には、予めこの座標をメモリ２１に記憶しておいても良い。この場合には、ＴＶ１からこの情報を送信する必要はない。

また、図６のＳＴ１において、メニューキー操作が検出されると、その時点で一旦、図７のＳＴ２１に示すカーソル画像データを設定してこれをＴＶ１側に送信することも可能である。そのようにすると、メニューキー操作があると、直ちに表示画面１５の中心位置にカーソル画像１４が表示される。したがって、図７のＳＴ１３においての表示カーソル画像と撮像カーソル画像の比較が確実なものとなる。

この発明の別の実施形態では、ＴＶ１にメニュー画像が表示された時、このメニュー画像をリモコン２に送信して、これをメモリ２１に基準メニュー画像として記憶するようにしてもよい。同時に、基準メニュー画像の座標も送信する。このようにすると、複数のメニュー画像があった場合にも、メモリ２１に記憶する基準メニュー画像を各メニューに対応して適切に設定することができる。

この発明のさらに他の実施形態では、図１の画像処理部２２に含まれる位置検出部２３をＴＶ１側に設けることが可能である。

この実施形態では、リモコン２において、メモリ２１と位置検出部２３が不要である。一方、通信部２５は、カメラ２０で撮像した画像を高速にＴＶ１に対して送信する機能を持つことが必要である。すなわち、リモコン２の通信部２５とＴＶ１の通信部１２は高帯域の通信機能を備えていることが要求される。ＴＶ１では、通信部１２で受信した撮像画像とその時に表示画面１５で表示されている表示画像とを比較して、リモコン指示位置とリモコン位置を検出する。この検出方法は、上記の実施形態と同様である。そして、画像生成部１１は、検出したリモコン指示位置に基づいて、その位置に表示するためのカーソル画像を生成し、画像表示部１０がこのカーソル画像を表示画面１５に表示する。また、画像生成部１１は、検出したリモコン位置に基づいてカーソル画像１４の大きさを変える。

以上の実施形態では、カーソル画像１４の形状を矢印形状としているが、三角形状、手の平形状、その他、任意の形状を適用できる。

この発明の実施形態である画像表示システムの構成図 表示カーソル画像と撮像カーソル画像を示す図 リモコン２の回転に対してカーソル画像１４が追従する状態を説明する図 画像表示部の画面サイズ、画面形状とカメラ２０での撮像画像を示す図 リモコン位置に対するカーソル画像の大小を説明する図 リモコン２の概略動作を示すフローチャート リモコン２の概略動作を示すフローチャート

符号の説明

１−ＴＶ
２−リモコン
１０−画像表示部
１４−カーソル画像
１５−表示画面
２０−カメラ（ＣＣＤ）
２２−画像処理部
２３−位置検出部

Claims (12)

1. カーソル画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
   前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
   前記リモコンは、
   該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
   前記カーソル画像の基準となる基準カーソル画像を予め記憶するメモリと、
   前記メモリに記憶されている基準カーソル画像を用いて前記カメラで撮像した撮像画像内の撮像カーソル画像を抽出し、前記画像表示部に表示されている表示カーソル画像の座標と前記撮像カーソル画像の座標とを比較し、該画像表示部の表示画面上でリモコンが指示するリモコン指示位置を検出するリモコン指示位置検出部と、
   前記リモコン指示位置検出部で検出したリモコン指示位置及びリモコン相対位置を前記画像表示装置に送信するリモコン指示位置送信部と、を備え、
   前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコン指示位置に表示するカーソル画像を生成し、前記送信部から送信されてきたリモコン相対位置に応じて前記カーソル画像の大きさを変えることを特徴とする画像表示システム。
2. 所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
   前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
   前記リモコンは、
   該リモコンを前記画像表示装置に向けたときに画像表示部を撮像可能なカメラと、
   前記画像表示部に表示されている表示所定画像の座標と、該カメラで撮像した撮像画像内の撮像所定画像の座標とを比較し、該画像表示部の表示画面上でリモコンが指示するリモコン指示位置を検出するリモコン指示位置検出部と、
   前記リモコン指示位置検出部で検出したリモコン指示位置を前記画像表示装置に送信するリモコン指示位置送信部と、を備え、
   前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコン指示位置に表示するカーソル画像を生成することを特徴とする画像表示システム。
3. 前記リモコンは、前記所定画像の基準となる基準所定画像を予め記憶するメモリを備え、
   前記リモコン指示位置検出部は、該メモリに記憶されている基準所定画像を用いて前記撮像画像内の撮像所定画像を抽出する請求項２記載の画像表示システム。
4. 前記リモコン指示位置検出部は、さらに検出したリモコン指示位置の検出信頼性を判定する検出信頼性判定部を備え、検出信頼性判定部によって検出信頼性が一定以下と判定した場合、画像表示装置の所定位置に表示所定画像が表示されるようリモコン指示位置を設定する、請求項２記載の画像表示システム。
5. 前記基準所定画像は、基準カーソル画像である請求項４記載の画像表示システム。
6. 前記画像表示部は、前記リモコン指示位置検出部がリモコン指示位置を検出するときに、画像表示部の特定の位置にカーソル画像を表示する請求項５記載の画像表示システム。
7. 前記基準所定画像は、メニュー画像である請求項３記載の画像表示システム。
8. 前記画像表示装置は、任意の時に前記基準所定画像を前記リモコンに送信する基準所定画像送信部を備え、前記リモコンのメモリは、前記基準所定画像送信部から送信されてきた基準所定画像を記憶する請求項２記載の画像表示システム。
9. 前記基準所定画像は、前記画像表示部の画面サイズ、画面形状を含む請求項８記載の画像表示システム。
10. 前記リモコン指示位置検出部は、前記表示所定画像の座標と前記撮像所定画像の座標とを比較して、リモコンの前記画像表示装置に対する相対位置を検出する請求項２記載の画像表示システム。
11. 前記リモコン指示位置送信部は、前記リモコンの前記画像表示装置に対する相対位置を前記画像表示装置に送信し、前記画像表示装置の前記画像生成部は、前記送信部から送信されてきたリモコンの相対位置に応じて前記画像表示部に表示するカーソル画像の大きさを変える請求項１０記載の画像表示システム。
12. 所定画像を含む画像を生成する画像生成部と生成した画像を表示する画像表示部を備える画像表示装置と、
    前記画像表示装置の表示を制御する操作部を備え、該操作部で操作された操作内容を前記画像表示装置に送信するリモコンと、を備える画像表示システムにおいて、
    前記リモコンは、
    該リモコンを前記画像表示装置に向けたときに画像表示部の表示画像を撮像可能なカメラと、該カメラで撮像した前記画像表示部の表示画像を前記画像表示装置に送信する表示画像送信部と、を備え、
    前記画像表示装置は、前記リモコンの表示画像送信部から送信されてきた表示画像中の撮像所定画像の座標と、そのときに前記画像表示部に表示している表示所定画像の座標とを比較して、該画像表示部の表示画面上でリモコンが指示するリモコン指示位置を検出するリモコン指示位置検出部を備え、前記画像生成部は、前記リモコン指示位置に表示するカーソル画像を生成することを特徴とする画像表示システム。

Images