JP2011521316A - 使用が容易な光無線遠隔制御装置 - Google Patents

Abstract

ビデオディスプレイデバイスの動作を制御するためのシステム及び方法は、ビデオディスプレイに対して一般的に固定される少なくとも１の標識を検出し；標識に対するカーソルの投射位置を決定し；カーソル位置に基づき、ビデオディスプレイデバイス用のコマンドを生成する；ための少なくとも１の画像センサを有する無線遠隔制御装置を具える。
【選択図】図１

Description

本開示は、ビデオディスプレイを遠隔制御するためのシステム及び方法に関する。

ディジタル画像センサの価格の低下及びフォームファクタは、コスト及び／又は性能上手が出せなかった多様なプロセスへの、ディジタル画像及び／又は処理の導入を可能にした。例としては、米国特許第７，０９１，９４９号、第６，９５２，１９８号、及び第６，２７５，２１４号に開示のような、光学マウスデバイス、「使い捨て（ｔｈｒｏｗ−ａｗａｙ）」あるいは同様の使い切りディジタルカメラ、及びプレゼンテーションシステムを含み、これらの開示は本明細書中に全体を引用によって組み込まれる。これらの特許は１以上のポインタの位置を追跡するシステム及び方法を開示する。

近年はこの技術はＷｉｉ（登録商標）リモート（任天堂株式会社によって製造）で導入され、並程度に成功している。しかしながら、Ｗｉｉリモートで用いられるアプローチは固有の性能に対し顕著な位置制限を有し、空間精度において限定され、ろうそく、白熱灯の光、又は他のポイント様の赤外熱源の周りで用いられた場合にすぐに機能しなくなる。

ディスプレイコントローラとディスプレイとを有し、少なくとも１の標識が前記ディスプレイに対して固定されているビデオディスプレイデバイスの動作を制御するためのシステム及び方法は、ハンドヘルド型の遠隔制御装置内に配置された画像センサで形成される、少なくとも１の標識及びディスプレイの少なくとも１の部分の画像を検出するステップと；少なくとも１の標識及びディスプレイの少なくとも１の部分に対して、ハンドヘルド型の遠隔制御装置と関連付けるカーソルの投射位置を決定するステップと；少なくともカーソルの位置に基づいて、ビデオディスプレイコントローラ用の遠隔制御装置からのコマンドを無線送信するステップと；を具える。

ある実施形態においては、ビデオディスプレイを遠隔制御するためのハンドヘルド型の遠隔制御装置は、ビデオディスプレイに連結する少なくとも１の標識を有し、少なくとも１の画像センサと；少なくとも１のエミッタと；少なくとも１の画像センサ及び少なくとも１のエミッタと通信するプロセッサと；を具える。プロセッサは、少なくとも１の標識の画像に対するポインタの位置を決定するために、少なくとも１の画像センサに形成された少なくとも１の標識の画像を処理し、少なくともポインタの決定位置に基づいてビデオディスプレイを制御するようにコマンドを無線送信すべく信号を生成する

一実施形態においては、光遠隔制御デバイスは、１以上のコンピュータ、ゲームデバイス、又は他のビデオ出力デバイスからの出力を提供する関連するディスプレイで、ビデオデバイスを制御するのに用いられる。複数の実施形態は１以上の標識を含み、逆反射体、能動エミッタ、及び／又はその組合せによって実装でき、１以上のディスプレイに対して空間的に取付けられる。標識は総てが、同一形状である必要はない；すなわち、一部はポイントであってもよく、一部は形状であってもよく、一部は多様なパターンに配列されうるポイント／形状のクラスタであってもよい。能動エミッタ又は逆反射体を照射する光源はシステムによって変調して、スプーフィング可能なデバイス又は標識との区別を促進できる。

別の実施形態は、１以上の画像センサ及び１以上の光エミッタを有するハンドヘルド型遠隔デバイスを具える。複数の画像センサを有する実施形態については、センサは、センサごとの画像重複を有してあるいは有さずに配置されうる。２以上の光エミッタを有する実施形態は、レーザ型ポインタといった１以上の汎用コリメート光エミッタに加え、更に大きな円錐角又は発散を有する「投光照明（ｆｌｏｏｄ−ｌｉｇｈｔ）」型のエミッタを具えてもよい。エミッタのうちの１以上は米国特許第６，９５２，１９２号に記載の高感度光ポインタとして構成してもよく、これによってその開示は全体として引用によって組み込まれる。１以上のエミッタは、可視光及び／又は可視スペクトルの外部にある光を放射できる。複数の実施形態は更に、遠隔制御デバイス内のボタン、プロセッサ、又は他の機構によって制御される特徴（例えば、強度、色彩、形状、「ブリンキング（ｂｌｉｎｋ）」パターンなど）を有しうる、あるいは有しえないエミッタを具えてもよい。

本発明は多様な利点を提供する。例えば、本発明の複数の実施形態は、遠隔制御装置の方向及び位置の決定のために、実質的に細密な空間解像度及び精度にできる顕著に高感度の光遠隔制御デバイスを提供する。本発明の複数の実施形態は、多様な型のビデオディスプレイシステム用の汎用のハンドヘルド型遠隔制御デバイスとして用いることができ、テレビ、コンピュータ、投写型ディスプレイ等を含む。逆反射体の標識を用いた実施形態については、別個の電源を必要とせず、反射体は「焼損（ｂｕｒｎ ｏｕｔ）」し得ない。変調した能動標識を用い、あるいは反射標識を照射する光を変調する実施形態は、環境クラッター及び／又はスプーフィングデバイスから標識を区別することを可能にする。逆反射体及び標識変調の双方を実装する実施形態は、複数のリモートが異なる変調で同時に用いられ、各リモートが標識中の自己の変調のみを認識する固有の特徴を有する。１以上のポインタとして構成される１以上のエミッタを有する実施形態によって、ビデオディスプレイ上の正確なディスプレイ位置は決定され、かつマウス座標にマッピングされ、実質的に更に複雑なコンピュータ／ゲームの対話を可能にする。本発明の複数の実施形態は、用いるのが単純かつ容易なリモートを提供し、操作者はビデオを表示するシステムを制御するために、多くの場合に不可解な、リモートのボタン又はボタンの組合せを記憶する必要はなく、ビデオディスプレイ上のメニュー項目によって誘導される。

上述の利点ならびに他の利点及び特徴は、付属の図面に関連付けると以下の好適な実施形態の詳細な記載から容易に明確となるであろう。

図１は、本発明の一実施形態による光学ポインタでビデオディスプレイを遠隔制御するためのシステム又は方法の動作を示すブロック図である。 図２は、本発明による代表的な光遠隔制御装置のための精度と距離との間の関係を示す距離を変えた場合の画像センサ面及びビデオディスプレイの上面／側面図である。 図３は、本発明の一実施形態による、代表的な画像センサ面と遠隔エミッタからの投射カーソルを有するディスプレイ画像とを示す。 図４は、本発明の一実施形態による、遠隔制御デバイスで画像センサを用いた、ビデオディスプレイを検出するための同一線上にないディスプレイ標識を示す図である。 図５は、本発明の一実施形態によるビデオディスプレイデバイスのアレイとともに、遠隔制御デバイスの動作を示す図である。 図６は、本発明の一実施形態による遠隔制御デバイスの動作を示すブロック図である。

当該技術分野の当業者が理解するように、図面のうちの任意の１つによって図示及び記載される多様な実施形態の特徴は、明確に例示又は記載されない代替的な実施形態を生成するために、１以上の他の図面に記載の特徴と組合わせることができる。例示された特徴の組合せは、一般用途の代表的な実施形態を提供する。しかしながら、本開示の教示と一致する特徴の多様な組合せ及び変形は、特定の用途又は実装のために要求されうる。例示で用いられる代表的な実施形態は一般的には、ビデオディスプレイで用いるための光遠隔制御デバイスに関する。当該技術分野の当業者は他のデバイスと同様の用途又は実装を理解しうるであろう。

図１は、本発明によるビデオディスプレイ用の光遠隔制御装置の代表的な実施形態を示す。リモート「Ｒ」が標識Ｄ１．．．Ｄ４の任意の一般的な方向に向けられる場合、リモート「Ｒ」はビデオコントローラ「Ｖ」によって制御されるビデオディスプレイシステムの方に円錐状に光を投射する。光の一部は標識Ｄ１ないしＤ４のうちの１以上によって反射され、前記標識がＣ１．．．Ｃ４によって区切られるビデオ領域内にある場合、リモート「Ｒ」に含まれる画像センサ「Ｓ」のうちの１以上によって空間的に検出される。図１においては、実施例の標識Ｄ１ないしＤ４はビデオ領域内に総てある。しかしながら、リモートは本明細書中に更に詳細に述べるように、感知されたビデオ画像「Ｉ」の外部で、標識のうちの１以上とともに機能する。多様な用途及び実装は更に、本発明の教示と一致する異なる数の標識及び／又は異なる形状の標識を用いてもよい。システムは能動エミッタである標識及び／又は逆反射体である標識とともに動作できる。動作の１の好適なモードはホログラフィックな逆反射体を用いる。更に、図２におけるＤ１及びＤ２と、図３におけるＤ１．．．Ｄ４参照。リモートは、高周波（ＲＦ）、赤外線（ＩＲ）、又は本明細書中に引用され、組み込まれる米国特許に開示される方法のいずれかの無線通信方法を用いて、１以上のビデオデバイスのビデオコントローラ「Ｖ」と通信する。リモートは「Ｒ」の電流及び／又は履歴で算出される方向、ならびに標識に対するＰ１の相対位置を座標及び／又はコマンドに変換し、リモートボタン及び／又はスイッチ状態がある場合に、コントローラにそれらを送信する。コントローラは、ライブビデオを更新するいくつかの通常の既知の方法のいずれかによって、例えば、オーバーレイなどを介して、ビデオストリームににデータを合併することによって、あるいは「ステンシル（ｓｔｅｎｃｉｌ）」することによって、メニュー、ボタン、ノブ、ウィンドウ、及び／又は他の動作インタフェース／能動領域を示すように、表示されたビデオストリームを（用途及び受信されたリモートデータに好適となるように）変更する。リモートから受信された座標及び／又はコマンドは、通常に用いられるＷｉｎｄｏｗ−Ｉｃｏｎ−Ｍｏｕｓｅ−Ｐｏｉｎｔｅｒ（ＷＩＭＰ）インタフェースと同様のシステムと対話するのに用いられる。当該技術分野の当業者は、ビデオコントローラ「Ｖ」が、ケーブルテレビ用のセットトップボックス、音声／ビデオ受信機、ビデオゲームコンソール等といった、ビデオ信号をビデオディスプレイに提供する別個の構成であってもよいことを理解するであろう。代替的に、ビデオコントローラは例えば、テレビといったビデオディスプレイデバイスに統合してもよい。同様に、ビデオディスプレイは、ＬＣＤ、ＣＲＴ、プラズマ、又は他の前面式又は後面式の投写型ディスプレイといった任意の型のディスプレイスクリーンであってもよい。

図２は、リモート内の画像センサ画像センサＳの距離又は半径（Ｒ１、Ｒ２、Ｒ３、Ｒ４）がどのように標識の画素画像（この図においてはＤ１及びＤ２）に影響するかを示す。「Ｗ」は既定の半径での単一画素の投射空間幅又は高さを示す。通常知られるように、この投射空間幅はセンサ「Ｓ」からの距離が増加するにつれて増加する。標識Ｄ１及びＤ２間の物理的距離は「Ｍ」で固定されたままであるため、Ｄ１及びＤ２の感知される又は見かけ上の空間は、Ｒが増加するにつれて減少する。Ｄ１及びＤ２の見かけ上のサイズは更に減少する。Ｒ１で、双方の標識が２以上の画素を覆っていることに留意されたい。Ｒ４で、各標識は実質的には１画素未満である。相対的な標識／画素サイズが単なる例示であり、任意の寸法の制限を規定することを意図しないことは理解すべきである。図２は一般的には、半径が増加するにつれて、どの程度距離を正確に見積る能力が減少するかを例示する。

図３は画素アレイを有するＣＣＤといった画像センサを示す。図３は標識の数が、ディスプレイとリモートとの間の空間関係を決定する場合に行われうる測定の数にどのように影響するかを示す。センサ画像面内の単一の標識がある場合、図２に対して一般的に例示及び記載されるような標識の既知のサイズを用いて、特定の標識によってカバーされる画素の数はディスプレイとリモートとの間の距離を決定するのに用いられうる。しかしながら、更なる測定は、距離決定の精度を改善するためになされない。センサの画像面内で検出される２の標識（Ｄ１及びＤ２）がある場合、固定測定値Ｍａは精度を改善するのを補助するようになされうる。３の標識（Ｄ１、Ｄ２、Ｄ３）がある場合、距離をより正確に決定するのに利用可能な３の測定値（Ｍａ、Ｍｂ、及びＭｅ）がある。一般的には、各々の更なる固定標識は利用可能な測定値に加えられ、例えば、標識に対する投射カーソルの位置の決定；及び、ディスプレイからのリモートの距離の決定；のために、精度のポテンシャルを増加させる。

図４は３以上の円形の同一線上にない標識が、どのようにポインタの位置及び方向を正確に決定する能力を改善するのに用いられうるかを示す。単一の標識Ｄ１がある場合、標識とポインタ／カーソルとの間のＲａの距離はＤ１に対するリモート及びポインタの可能な方向についての完全な円を与える。２の標識Ｄ１及びＤ２がある場合、Ｒｂ１及びＲｂ２に示されるように、検出されたポインタ位置に基づく、２の方向のポテンシャルのみがある。３の同一線上にない標識が加えられる場合、Ｒｃに示されるように、方向のポテンシャルの数は１に低下する。３つの円は総てが単一の点で交差する訳ではないが、この３つは交差部に非常に近くなり、ポインタ／カーソルの「推定上の配置部位」又は位置を形成することに留意されたい。これは、現在広範な用途でＧＰＳによって行われる円形公算誤差及び／又は球形公算誤差の計算に非常に似ている。

少なくとも１の軸周りで円形非対称を有する非円形標識（例えば、図１におけるＤ３）及び／又はポインタが用いられる場合、方向は更に少ない標識で決定できる。しかしながら既知の形状は、標識及び／又はポインタ用の副画素の座標精度をブートストラップするのを助けるため、より多くの標識の使用は更に、ポインタ／カーソルの座標決定の精度を向上させる。

リモートがポインタ型エミッタを含まない場合、仮想ポインタ又はカーソルＰ１は画像面において画素のうちの１つとして任意に示されることに留意されたい。任意の画素、画素群、又は画素の交差部は仮想部Ｐ１として作用しうる。一般的な選択は例えば、真ん中の画素の１つ、又は４の画素間の真ん中の交差部である。このアプローチは機能的である一方、ビデオディスプレイに選択されているものを正確に認識する操作者の能力が失われ、好適な動作モードが、遠隔制御装置を操作するユーザ又は操作者に視覚的なフィードバックを提供するように、遠隔制御装置からビデオディスプレイに可視カーソルを投射するコリメート型又はレーザ型のポインタエミッタとなる。

図５は、４の別個の６×９パネルを有するパネル型又はタイル型のビデオディスプレイを制御するのに用いられるハンドヘルド型の無線リモート「Ｒ」内に９の画像センサを有するシステムを示す。この実施形態においては、ディスプレイパネルが各「連結部（ｊｕｎｃｔｉｏｎ）」で、及び最外側の４の隅部で標識を有し、標識Ｄ１ないしＤ９からなる。遠隔制御装置内のセンサはそれぞれ、Ｃ１ａ．．．Ｃ４ａないしＣ１ｉ．．．Ｃ４ｉによって示される自己の座標系と；Ｃ１．．．Ｃ４によって示される１の全体座標系と；を有する。システム構成（ディスプレイ及びセンサ）は、アセンブリ、較正、又はファイルからの負荷中に構成され、その後、１の大きな仮想ディスプレイ及び１の仮想センサとして処理されうる。システムの処理はシステムの速度を増加させるのと並行して動作する、単一のＣＰＵ又は複数のＣＰＵでなされ、特定の用途及び実装に依存している。

図６は一般的に、リモート「Ｒ」とビデオコントローラ「Ｖ」との双方の動作の流れを示す。リモートが「切（ＯＦＦ）」である場合、ビデオコントローラ「Ｖ」はビデオストリーム上の能動領域をオーバーレイしない非リモートモードで動作する。リモートが作動する場合、ビデオコントローラに周期的に拍動を送信開始し、ビデオコントローラはリモート有りの動作モードにあることを認識する。このモードにおいては、リモートは繰返しフレームを捕捉し、それを分析し、任意のキー押下又は他のコマンドとともに結果をビデオコントローラに送信する。ビデオコントローラは任意のオーバーレイを好適に更新する受信情報を所有し、公知のメニュー／ボタン／ダイアログインタフェースでのシステムの制御を可能にする。インタフェースの外観は完全に任意であり、インタフェース設計者の所望及び想像によってのみ制御される。

標識が逆反射体である場合、標識からの検出光は、ハンドヘルド型リモートに配置された１以上のエミッタから反射される光である。単一のレーザポインタ型エミッタを含む簡易なリモートにおいては、逆反射体は更に、図１に示したビデオ画像領域「Ｉ」又はフリンジ照射領域を満たすように、主要ビームの縁部から光を散乱する光フリンジ効果のため、光を反射できることに留意されたい。複数のエミッタを含む、より複雑なリモートにおいては、エミッタのうちの１つは、かなり大きな偏角においても、逆反射体が更に検出可能な画像をリモート中の画像センサに戻すように、広範な領域にわたって可視光又は不可視光（一般的には、この場合には赤外線）を分配する投光照明として構成されうる。この実施形態においては、逆反射体は更に不可視光を反射するためだけに設計でき、これによって単にリモートに「可視的（ｖｉｓｉｂｌｅ ｔｏ）」あるいは認識されるが、操作者又は１以上のディスプレイを見る他人によって認識されないようになることに留意されたい。このアプローチを用いた一般的な実装は、テレビスクリーンの周縁部に取付けられたＩＲ逆反射体であり、ＩＲ透過性のベゼル微調整後に配置される。人間の目に対しては、見かけ上標識がないが、ベゼルのＩＲのため、リモートからの不可視光は到達し、標識によって反射され、次いで１以上のリモートセンサによって検出される。

単一の標識を有する実施形態、あるいは複数の標識の単一の標識のみが一般的に画像センサによって検出される実施形態について、１以上のディスプレイからのリモートの距離は、１以上のエミッタの特性に基づいて、及び／又は、検出された標識画像が複数の画素を補う場合に、既知の実際の標識サイズに対する検出した標識画像のサイズを用いて、画像センサでの検出強度の変化（又はロールオフ）によって推定されうる。標識が好適に形成される（例えば図１のＤ３）場合、リモートの回転方向は更に、１以上のセンサ上の標識画像が実質的に２以上の画素を照射するかどうかに依存して、既知の標識サイズについて推定されうる。図２は、既定の標識の検出サイズが標識からのリモートの距離でどのように変わるかを示す。しかしながら、単一の標識の場合、ディスプレイに対するリモートの方向は一般的に、図４中のＲａによって示されるように曖昧である。

２の標識の場合、改善された距離推定値は、初期システム構成中で計算される較正距離によって１以上のセンサ中の標識画像の空間的分離をスケーリングすることによって得られる。更に、リモートの回転方向は単一形状の反射器より良好な精度で決定できる。これは、図３中のＤ１とＤ２との間の測定値「Ｍａ」によって示される。図２は、Ｄ１及びＤ２が固定された分離「Ｍ」を有する場合に、センサ「Ｓ」の画像面からの距離に依存して変化する画素数をどのように補うかを示す。光の点線部は、ビューの奥行きがＲ１からＲ２に、Ｒ３に、Ｒ４の距離に増加するにつれて画素によって補われるビュー領域を表わす。標識間の物理的距離が同一であるにも拘わらず、距離「Ｒ１」では、「Ｒ４」でのスパンと比較すると、実質的に多くの画素がＤ１とＤ２との間で補われる。カメラの視野角によって形成される「Ｍ」及び円錐角の双方が経験的に知られる場合、既知の遠近計算及び幾何学的計算を用いて、「Ｓ」からＤ１及びＤ２の間の線分の中心までの概算の距離を計算することが直接的である。しかしながら、図４のＲｂ１及びＲｂ２によって表わされるように、リモートと標識との間には更なる方向の曖昧性がある。能動的なライトバーを有する任天堂株式会社のＷｉｉ（登録商標）遠隔制御装置の動作と同様であることに留意されたい。Ｗｉｉ（登録商標）システムが方向の曖昧性を受けることは、Ｗｉｉ（登録商標）リモートが上下逆で用いることができ、あるいは、鏡にそれを向けることによって左右が反転するという事実によって、簡単に示されうる。Ｗｉｉ（登録商標）リモートを２の点火されたろうそくに向けることによって自明に示されるように、Ｗｉｉ（登録商標）システムは更に、ろうそく、白熱灯の光といったＩＲ光源によって容易にスプーフィングされる。対照的に、本発明の実施形態は、標識の変調又は標識の照射を用いて、このような「ノイズ」又は意図されないエミッタについて容易に識別できる。

３以上の同一線上にない標識がある場合、リモートの方向及び位置は、１以上のセンサにおいて標識画像の遠近感をモデリングし、かつ、１以上のセンサ内の画像に現れるように、標識ごとの縮尺距離を用いることによって決定できる。図３は、４の標識がある場合に、計算されうる縮尺距離の数が６（Ｍａ、Ｍｂ、Ｍｃ、Ｍｄ、Ｍｅ、Ｍｆ）であることを示す。これらの測定値の各々は、対応する標識間の対応する「Ｍ」の物理的空間が既知の場合に、少なくとも３の同一線上にない標識が用いられるとすぐに、標識に対し正確なリモート方向と３Ｄ位置とを決定する助けになる。図４は、同一線上にない標識の追加がどのようにリモート及び標識の方向の曖昧さを解決するかを示す。

１以上のエミッタは、レーザ型ポインタが可視型の、一般的にはコリメートされたビームを投射するように構成され、更にカーソルパターン（＋といった）を形成できる場合、その光は１以上の標識（図１、２、及び３の「Ｐ１」参照）に対して空間的に検出され、１以上の標識から１以上のエミッタ光への分離角の決定を可能にする。既定の標識から既定のエミッタ光までの距離が、１以上の既定の標識−エミッタ画像位置に対する総ての可能なリモートの方向を表わす「円錐角（ｃｏｎｅ ａｎｇｌｅ）」の固定部分となるため、このことによって顕著に改善された距離精度が可能になる。この固定部分はシステム構成中に較正されるため、分離距離に対する円錐角の比率が、リモートに対する距離の決定に対して改善された精度を与える。光カーソルは更に、リモートがポインティングする場所を正確に示すことによって、操作者に対し視覚性のフィードバックを提供する。

標識は、遠隔制御装置中の画像センサによって受信される可視型又は不可視型の信号を一定に又は周期的に放射する能動デバイスによって、あるいは好適には、廉価に大量生産されうる受動性ホログラフィック逆反射体ステッカーによって実装されうる。一時使用のために、これらは多数回「静電学的に（ｅｌｅｃｔｒｏ−ｓｔａｔｉｃａｌｌｙ）」適用でき、再利用のために水で洗浄できるようなステッカーであってもよい。一時的な標識はプロジェクタがゲームスクリーンを表示し、プレイヤーは本発明を用いて設計されたカスタム型のリモートを用いて、１以上のゲームスクリーンと対話する場合に、「ゲームの壁」のセットアップ及びテイクダウンを促進する。

表示されたビデオ領域に対するポインタ又はカーソルの位置Ｐ１のコンピュータスクリーン座標は（ビデオ領域が単一ディスプレイ又は複数ディスプレイによるかどうかに拘らず）、本明細書中に引用され組み込まれる特許において、ならびに１の座標系から別の座標系へのマッピングについて記載するビデオ及び画像処理の多くの書籍において開示されるものと同様の技術を用いて、容易にコンピュータ処理される。

複数のビデオディスプレイを相互に整合させるディスプレイシステム（例えば図５）においては、システムは、スティッチ領域が１のビデオディスプレイ座標系から別のディスプレイ座標系への遷移を促進するようになるディスプレイ標識タグを用いることができる。例えば、標識は特定のパネル内にポインタの座標を決定するのに用いてもよく、その位置はより大きなディスプレイ内の座標にマッピングされる。

リモートは、例えば、図１中のＲＦ又はＩＲ信号によって表わされるように、ＲＦ、ＩＲ、又は他の無線機構を介して、ビデオディスプレイシステムのコントローラと通信する。リモートがビデオディスプレイの能動領域内にポインティングするのを、ディスプレイシステムのコントローラ「Ｖ」が認識した場合、ディスプレイシステムのコントローラは、標準的なＷＩＭＰ型の動作、すなわちクリッキング、ドラッギング等を用いて操作者が作動させる任意のメニュー、ボタン、又は他のコントロールをオーバーレイできる。しかしながら、本発明の多様な実施形態は更に、リモート「Ｒ」と「Ｐ１」との間に形成される軸の周りの回転を介してコマンドを生成する能力を有し、ディスプレイの方に、あるいはディスプレイから遠方に移動させる（例えば、ＷからＺへ、又はその逆）ことによって、簡単なマウス又は一般的なテレビのリモートよりも多くのコマンド／制御を開始する。

例えば、テレビでポインティングされ、ボリュームボタンが押下された場合、ビデオディスプレイデバイスのコントローラは、ビデオディスプレイスクリーン上でボリューム「ノブ」をオーバーレイできる。操作者は手首を時計回り又は反時計回りに回転させて、ボリュームを上下に変えるのにビデオディスプレイスクリーン上に表示されたノブを「ねじり」、つまり、クリックで上下するより直感的に動作させることができる。

新しい制御性能の別の実施例は、「ピクチャー・イン・ピクチャー（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）」性能を有するテレビであり、小さな画面が大きな画面に埋込まれて表示される。１の画面から他の画面に切り替えるために、操作者は小さな画面でポインティングするか、「ドラッグ」機能を作動させるためにリモート上のボタンをクリックするか、あるいは所望のサイズに到達するときにユーザが遠隔制御装置ボタンから手を離すまで画面を拡大するために、リモートをビデオディスプレイから引くことができる。

電力消費を低減するために、操作者がボタンを押下した場合のみに、埋込まれた１以上の画像センサ、１以上のエミッタ、及びプロセッサが作動するように、リモートが設計されうる。例えば、リモート上でボタンを押下することによって、１以上のエミッタ、１以上のプロセッサ、及び１以上の画像センサが作動し、リモートはボタン押下ならびに任意の標識及びポインタの検出状態（位置、形状等）を表わす信号を送信し始める。ビデオディスプレイコントローラは送信された信号を受信し、それに応じて、ボタンの押下とポインタの動作の位置／パターンとに基づいてオーバーレイを更新する。操作者がボタンを放した場合、ディスプレイデバイスは操作者の動作に対し有効なプログラムコマンド又はコマンドシーケンスを行うが、「何もしない（ｄｏ ｎｏｔｈｉｎｇ）」こともできる。この動作モードは実質的に、「スリープ状態」がタイムアウト又は切れるまで、１以上のプロセッサ、１以上のセンサ、及び／又は１以上のエミッタが動作「オン（ｏｎ）」モードに維持されるいずれの動作モードよりもバッテリー寿命を増加させる。

リモートは更に、１以上のセンサがＰ１及び／又は１以上の標識の強度の突然のサージによって明示されるような鏡面反射を検出する場合、１以上のエミッタを「減光する（ｄｉｍ）」ためのロジックを組み込むことができる。このことはディスプレイデバイスがフラットパネル又はＣＲＴ型のディスプレイといった「輝く（ｓｈｉｎｙ）」面あるいは光沢面を有する場合に起こりうる。これらのディスプレイ上では、エミッタビームは操作者に反射されうる。反射は操作者の方に直接的に反射しているときに非常に強くなるため、リモートはこれが検出される場合に、１以上のエミッタの強度を変調でき、操作者の目の眩惑又は他の失見当識の確率を低減する。

リモートは更に、１以上のポインタの特徴が変調される「インテリジェントポインタ（ｉｎｔｅｌｌｉｇｅｎｔ ｐｏｉｎｔｅｒ）」を組み込むことができ、本明細書中の引用によって既に同定され、組み込まれた特許において記載のように、同一のビデオディスプレイ領域で、同時に複数の操作者を有することが可能となる。この場合においては、それぞれのリモートが固有のインテリジェントポインタをそれぞれ有するため、各リモートは自身のポインタだけを追跡及び追従し、一式のリモートはＴＤＭＡ、ＦＭ、周波数ホッピング、ＣＤＭＡ等といった同一帯域内で複数の信号を送信するのに利用可能な多くの方法のうちの１つを用いる必要があり、その総てがＲＦ及びＩＲの双方の送信に適用できる。

リモートＲ内に埋込まれるプロセッサはビデオ処理アルゴリズムを用いて、副画素の精度と共に、各標識及びポインタの画像面座標を決定できる。決定された標識の方向はその後、標識の位置、次いでポインタ位置の精度を改善するのに用いられうる。

要約すると、更なる標識を追加することによって、各標識に対する正確な座標を算出する能力を改善し、次いでポインタに対する位置計算の精度を改善する。この更なる精度によって、ビデオコントローラがシステムを制御するように実質的に高感度のユーザインタフェースの使用を可能にする。その組合せはリモートコントローラの実質的な単純化を可能にする一方、システムを制御する能力を増加させる。

動作において、代表的なシステム又は方法の実施形態は、テレビ又は同様のデバイスを動作させるビデオディスプレイコントローラと通信するハンドヘルド型リモートによって実装される。リモートがポインタ及びディスプレイ標識を検出した場合、座標と方向情報をビデオコントローラに送信する。ビデオコントローラは好適なボタン及びメニューをオーバーレイして、ディスプレイの好適な領域におけるチャンネル選択、ボリューム変更、ピクチャー・イン・ピクチャーの選択、ステレオ、照明等といった更なるデバイスの制御を促進する。通常知られているように、これらのオーバーレイはビデオストリームの連続再生を可能にするように半透明になされるが、更にシステムを制御できる。同様に、本発明による遠隔制御装置を用いて、例えば、ビデオゲームコンピュータソフトウェアアプリケーション、インターネットブラウザ、テレビのセットトップボックス動作に関連するような、ディスプレイスクリーン上に表示された他のグラフィカルユーザインタフェースを動作させてもよい。メニューシステム又は他のユーザインタフェースは、所望されるように単純又は複雑であってもよい。

可視光がエミッタのうちの１以上で用いられる場合、ユーザは、アクティブディスプレイ内のどの項目が、リモートのボタンクリックといった動作によって選択されるかを認識できる。

このように、本発明は、遠隔制御装置の方向及び位置の決定のために、実質的に細密な空間解像度及び精度にできる顕著に高感度の光遠隔制御デバイスを提供する。本発明の複数の実施形態は、多様な型のビデオディスプレイシステム用の汎用のハンドヘルド型遠隔制御デバイスとして用いることができ、テレビ、コンピュータ、投写型ディスプレイ等を含む。本発明は、用いるのが単純かつ容易なリモートを提供し、操作者はビデオを表示するシステムを制御するために、多くの場合に不可解な、リモートのボタン又はボタンの組合せを記憶する必要はなく、ビデオディスプレイ上のメニュー項目によって誘導される。

ベストモードが詳細に記載されてきたが、当該技術分野の当業者は以下の請求項の範囲内で、多様で代替的な設計及び実施形態を認識するであろう。多様な実施形態が利点を提供し、１以上の所望される特徴について、別の実施形態に好適となるように記載されるが、当該技術分野の当業者が認識するように、１以上の特徴は所望のシステム属性を得るように妥協され、それは特定の用途及び実装に依存する。これらの属性は限定しないが価格、強度、耐久性、ライフサイクルコスト、市販性、外観、パッケージング、大きさ、稼働率、重量、製造性、構築の容易さ等を含む。１以上の特徴について、他の実施形態又は先行技術の実装よりも望ましくないと記載された本明細書中で考察した実施形態は、本開示の範囲外ではなく、特定の用途に対しては所望されうる。

Claims (20)

1. 少なくともビデオディスプレイコントローラとディスプレイとを有し、少なくとも１の標識が前記ディスプレイに対して固定されているシステムの動作を制御するための方法であって、当該方法が、
   ハンドヘルド型の遠隔制御装置内に配置された画像センサで形成される、前記少なくとも１の標識及び前記ディスプレイの少なくとも１の部分の画像を検出するステップと；
   前記少なくとも１の標識及び前記ディスプレイの少なくとも１の部分に対して、前記ハンドヘルド型の遠隔制御装置と関連付けるカーソルの投射位置を決定するステップと；
   少なくとも前記カーソルの位置に基づいて、前記ビデオディスプレイコントローラ用の前記遠隔制御装置からのコマンドを無線送信するステップと；
   を具えることを特徴とする方法。
2. 請求項１に記載の方法が、前記ハンドヘルド型の遠隔制御装置から投射される光で、前記少なくとも１の標識を照射するステップを更に具えることを特徴とする方法。
3. 請求項２に記載の方法において、照射ステップが、不可視光で前記少なくとも１の標識を照射するステップを具えることを特徴とする方法。
4. 請求項１に記載の方法において、前記少なくとも１の標識が前記ディスプレイ上に配置される非対称形状の逆反射体を具えることを特徴とする方法。
5. 請求項１に記載の方法が、可視光を用いて前記ディスプレイ上に前記カーソルを投射するステップを更に具えることを特徴とする方法。
6. 請求項５に記載の方法が更に、前記画像センサに形成されるカーソル画像の強度の増加に応じて、投射された前記カーソルの強度を低減するステップを更に具えることを特徴とする方法。
7. 請求項１に記載の方法において、前記カーソルが、前記遠隔制御装置の画像センサの少なくとも１の画素と前記ディスプレイとの間に延在する想像線の交差と関連づけられる仮想カーネルを具えることを特徴とする方法。
8. 請求項１に記載の方法において、位置を決定するステップが、前記ディスプレイからの前記ハンドヘルド型の遠隔制御装置の距離を決定するステップを具えることを特徴とする方法。
9. 請求項８に記載の方法において、前記距離が、前記画像センサに形成される前記画像の強度の変化に基づいて決定されることを特徴とする方法。
10. 請求項８に記載の方法において、前記距離が、前記画像センサに形成される前記少なくとも１の標識の前記画像のサイズに基づいて決定されることを特徴とする方法。
11. 請求項８に記載の方法において、コマンドを無線送信するステップが、前記ディスプレイからのリモートの距離に基づいて、コマンドを無線送信するステップを具えることを特徴とする方法。
12. 請求項１に記載の方法において、前記少なくとも１の標識が少なくとも３の同一線上にない標識を具え、投射位置を決定するステップが、
    前記画像センサに形成される画像から、前記少なくとも３の標識の間の縮尺距離を決定するステップと；
    前記少なくとも３の標識の間の、前記画像の縮尺距離と対応する実際の距離との間の関係に基づいて、前記投射位置を決定するステップと；
    を具えることを特徴とする方法。
13. 請求項１に記載の方法が、次のボタンが押下されるまでコマンドを無線送信した後に、前記リモートを停止するステップを更に具えることを特徴とする方法。
14. システムを遠隔制御するためのハンドヘルド型の遠隔制御装置であって、少なくとも１のビデオディスプレイに連結する少なくとも１の標識を有し、前記遠隔制御装置が、
    少なくとも１の画像センサと；
    少なくとも１のエミッタと；
    前記少なくとも１の画像センサ及び前記少なくとも１のエミッタと通信するプロセッサと；
    を具え、当該プロセッサは、前記少なくとも１の標識の画像に対するポインタの位置を決定するために、前記少なくとも１の画像センサに形成された前記少なくとも１の標識の画像を処理し、少なくとも前記ポインタの決定位置に基づいて前記ビデオディスプレイを制御するようにコマンドを無線送信すべく信号を生成することを特徴とする、ハンドヘルド型の遠隔制御装置。
15. 請求項１４に記載のハンドヘルド型の遠隔制御装置において、前記ポインタが前記画像センサの少なくとも１の指定画素によって代表される仮想ポインタであることを特徴とする、ハンドヘルド型の遠隔制御装置。
16. 請求項１４に記載のハンドヘルド型の遠隔制御装置において、前記画像センサが少なくとも１の画素配列を具えることを特徴とする、ハンドヘルド型の遠隔制御装置。
17. 請求項１４に記載のハンドヘルド型の遠隔制御装置において、前記エミッタが赤外線エミッタを具えることを特徴とする、ハンドヘルド型の遠隔制御装置。
18. 請求項１４に記載のハンドヘルド型の遠隔制御装置が、レーザポインタを更に具えることを特徴とする、ハンドヘルド型の遠隔制御装置。
19. 請求項１８に記載のハンドヘルド型の遠隔制御装置において、前記プロセッサが、前記画像センサに形成される前記ポインタの画像の強度の増加を検出するのに応じて、前記レーザポインタの強度を低減することを特徴とする、ハンドヘルド型の遠隔制御装置。
20. 請求項１４に記載のハンドヘルド型の遠隔制御装置において、前記プロセッサが、少なくとも３の同一線上にない標識の画像間の縮尺距離に基づいて、前記ビデオディスプレイからの前記ハンドヘルド型の遠隔制御装置の距離を決定することを特徴とする、ハンドヘルド型の遠隔制御装置。
    

Images