JP2011170866A

JP2011170866A - 動作検知インターフェース

Info

Publication number: JP2011170866A
Application number: JP2011062985A
Authority: JP
Inventors: Ryuichi Iwamura; 隆一岩村
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 1998-10-13
Filing date: 2011-03-22
Publication date: 2011-09-01
Anticipated expiration: 2019-10-13
Also published as: US6498628B2; US6501515B1; JP5222376B2; US20020057383A1; US20010042245A1

Abstract

【課題】電子機器における予測可能な処理を示す複数のアイコンを表示する装置及び視野内の動作を検出する動作検出回路から構成される遠隔制御装置を提供する。
【解決手段】動作検出回路１５は、視野内における、移動オブジェクトの画像又は移動オブジェクトの所定の動きを、遠隔制御開始の指示として検出し、移動オブジェクトの動きを追跡する。また、動作検出回路１５は、移動オブジェクトの動きを示すカーソル制御信号を出力する。制御回路５乃至８及び１３乃至１６は、電子機器１乃至１２及び１６に移動可能な視覚的指示手段を用いてユーザが選択したアイコンに対応する処理を実行させる。１つの実施例において、２つのビデオカメラ１３を用いることで、移動オブジェクトの３次元の動作による電子機器１乃至１２及び１６の制御が実現される。
【選択図】図１

Description

本発明は、テレビジョン受像器等の電子機器用の遠隔制御装置、特に電子機器用の光学動作感知遠隔制御装置に関する。

遠隔からテレビジョン受像器を制御するための一般的な装置として、赤外線遠隔制御装置が用いられている。しかしながら、従来の遠隔制御装置には欠点が幾つかある。その一つとしては、遠隔制御装置はなくなりやすいという点が挙げられる。また、ユーザは、しばしば、ビデオカセットレコーダの遠隔制御装置とテレビジョン受像器の遠隔制御装置とを間違える。実際、多くの人々が多数の遠隔制御装置を所有している。また、ユーザは遠隔制御装置のどこに何のボタンが位置するかを覚えなくてはならない。また、遠隔制御装置は定期的に電池を取り替えなければならない。テレビジョン受像器にビデオカメラが備え付けてあり、ユーザの身振りを読みとることができれば、遠隔制御装置は不要になる。しかしながら、テレビジョン受像器において、ビデオカメラに写る範囲内で、その他の動きとユーザのジェスチャーとを見分けることは容易ではない。例えば、ユーザは、台所にスナックを取りに行くために立ち上がるたびに、チャンネルを変わってしまっては、不都合である。

本発明は、上述した実情に鑑みてなされたものであり、本発明は、電子機器における予測可能な処理を示す複数のアイコンを表示する表示装置及び視野内の動作を検出する動作検出回路から構成される遠隔制御装置を提供することを目的とする。

動作検出回路はユーザの手の形及び視野内においてユーザが遠隔制御操作を開始したことを示す所定の手の動きを検出した後に、その手の動きを追跡する。なお、オブジェクトは必ずしも手である必要はない。動作検出回路は手の動きを表すカーソル制御信号を出力する。表示装置及び動作検出回路は制御回路に接続している。制御回路は、カーソル制御信号を受信し、可動移動可能な視覚的指示手段、すなわち、カーソルを表示装置上に表示する。カーソルはユーザの手の動きにあわせて表示装置上を移動する。また、制御回路が電子機器を制御すると、制御された電子機器は、ユーザが移動可能な視覚的指示手段を用いてユーザが選択したアイコンに対応する操作を行う。

本発明に係る実施例のいくつかにおいて、ある特定のアイコンと移動可能な視覚的指示手段が表示装置上で重なると、動作検出回路は、所定の手の動作パターンを検出し、ユーザによるアイコンの選択を検出する。例えば、動作検出回路は、ある特定のアイコンと移動可能な視覚的指示手段が表示装置上で重なった後のある一定の期間における手の動作の休止を、ユーザによるアイコンの選択として検出する。あるいはまた、ユーザがアイコンを押すような動作を行った場合、動作検出回路は、この動作をボタンを押す操作として検出する。

本発明の第１の実施例において、動作検出回路はビデオカメラを備える。また、動作検出回路はビデオカメラから出力されるビデオ出力信号を受信し、２つの連続するビデオフレーム間の各マクロブロックにおける動きベクトルを算出する。各ビデオフレームは複数のブロックから構成される。各ブロックは、検出されたオブジェクトの動作を表すベクトルを有する。動作検出回路は、隣接するほぼ同方向のベクトルを、１つの領域としてグループ化する。各フレームについて、オブジェクトを追跡するか追跡しないか決定するとき、動作検出回路は各領域を調査し、この領域が以下に示す（ａ）及び（ｂ）の２つの条件を満たすものであるか否かを判断する。

（ａ）このベクトルが時計回り又は反時計回りに一回転する。
（ｂ）この領域が初めに位置していた位置に戻る。
この領域が上記（ａ）及び（ｂ）の条件が満たすとき、動作検出回路はこの領域をロックする。

本発明の第２の実施例において、動作検出回路は少なくとも１つのビデオカメラ、ランダムアクセスメモリインターフェース（random access memory interface）、ランダムアクセスメモリ（random access memory）、及びＣＰＵを備える。動作検出回路は、ビデオカメラから出力される２つの連続するビデオフレームにおける各マクロブロックの画素値を比較して、動作を検出する。２つの連続するビデオフレームにおける２つの対応するマクロブロックの差分の絶対値がある一定の値を超えた場合、動作検出回路は、このマクロブロックにおいて動作が行われたと判断し、この領域を活性領域として判断する。

各ビデオフレームについて、手の動きを追跡するか追跡しないかを決定するとき、動作検出回路は検出した活性領域を調査し、この活性領域が以下に示す（ａ）及び（ｂ）の２つの条件を満たすものであるか否かを判断する。

（ａ）この活性領域が第１の方向に一直線状の動きを行う。
（ｂ）この活性領域が初めに位置していた場所に戻る。
この活性領域が上記（ａ）及び（ｂ）の条件を満たすとき、動作検出回路はこの活性領域をロックする。上述の動きのほか、手の動きのロックを指示する動作として、あらゆる種類の反復動作を用いることができる。

また、本発明の第３の実施例において、動作検出回路はビデオカメラから出力されるユーザが選択した画像部分と予め記憶してある画像とを比較し、この２つの画像が一致したとき、ビデオカメラから出力されるユーザが選択した画像部分がユーザの手であると判断する。上述した方法のほか、様々な方法を用いて、ユーザは自分の手を表す画像部分を選択することができる。

本発明の全ての実施例において、ユーザ及び動作検出回路間の距離の長短に関わらず、手の移動距離と移動可能な視覚的指示手段の移動距離との比率を常に一定に保つため、制御回路は自動カーソル感度調整機能を備える。自動カーソル感度調節調整機構は、手２０の移動距離に対応する移動可能な視覚的指示手段の移動距離の比率を算出する。したがって、例えば、ユーザが手を斜め方向に動かす動作を行った場合、ユーザ及び動作検出回路間の距離の長短に関わらず、移動可能な視覚的指示手段は表示画面の対角線上を移動する。

本発明を適用した遠隔制御装置の基本的な構成を示すブロック図である。ユーザが、どのように、手の動作を用いて、図１に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。ユーザが、どのように図１に示す遠隔制御装置を制御し、ユーザの手の動きに追従するカーソルを表示画面上で移動させるかを説明するための図である。図１に示す遠隔制御装置が動作を算出しているときの、１つのビデオフレーム内におけるマクロブロック及び動きベクトルを矢印を用いて示す図である。０．５秒間隔でとらえた動きベクトルのスナップショットを示す図である。０．５秒間隔でとらえた動きベクトルのスナップショットを示す図である。０．５秒間隔でとらえた動きベクトルのスナップショットを示す図である。０．５秒間隔でとらえた動きベクトルのスナップショットを示す図である。図１に示す遠隔制御装置が手の画像を判断し、画像をロックしたときのマクロブロックのスナップショットを示す図である。ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、図１に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。図１０に示す手の動作を行ったときの、マクロブロック及び図１に示す遠隔制御装置が検出した動きベクトルを０．５秒間隔でとらえたスナップショットを示す図である。図１０に示す手の動作を行ったときの、マクロブロック及び図１に示す遠隔制御装置が検出した動きベクトルを０．５秒間隔でとらえたスナップショットを示す図である。電子機器において、ＭＰＥＧエンコーダを用いた変形例の基本的な構成を示すブロック図である。本発明の第２の実施例において、ユーザが、どのように手の動作を用いて、図１に示す遠隔制御装置に対して、遠隔制御を行う意図を認識させるかを説明するための図である。本発明の第２の実施例において、どのように動作が検出されるかを説明するための、２つの時間的に連続するフレーム及び各々のフレームにおける対応するマクロブロックを示す図である。本発明の第２の実施例における遠隔制御装置が、斜線部で示す活性領域を演算処理したときの１つのビデオフレームにおけるマクロブロックを示す図である。本発明の第２の実施例における遠隔制御装置が、斜線部で示す活性領域を演算処理したときの１つのビデオフレームにおけるマクロブロックを示す図である。本発明の第２の実施例において、カーソルを操作するときの、ユーザの手の動きを示す図である。本発明の第２の実施例における遠隔制御装置が、表示画面上のカーソルを操作するユーザの手の動きを検出をしているときのマクロブロックを示す図である。本発明の第２の実施例における遠隔制御装置が、表示画面上のカーソルを操作するユーザの手の動きを検出をしているときのマクロブロックを示す図である。ユーザが、どのように、本発明の第２の実施例における遠隔制御装置を制御し、表示画面上のカーソルをユーザの手の動きに追従するように移動させ、表示画面上のアイコンを選択するかを説明するための図である。ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、本発明の第２の実施例における遠隔制御装置に、ユーザの手を認識させるかを説明するための図である。図２３（ａ）及び図２３（ｂ）は、各々、ユーザが、どのように、上述した手の動きと異なる手の動きを用いて、本発明の第２の実施例における遠隔制御装置に対して、ユーザの手を認識させるかを説明するための図である。本発明の第３の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。本発明の第３の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。本発明の第３の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。本発明の第３の実施例において、遠隔制御装置が、どのように、ユーザの手の画像を認識するかを説明するための図である。ユーザが、どのように、自動カーソル感度調整機能の設定を行うかを説明するための図である。ユーザがテレビジョン受像器の近くに位置するとき、図１に示す遠隔制御装置が、どのように、ユーザによる斜め方向の手の動きを検出するかを示す図である。ユーザがテレビジョン受像器から離れて位置するとき、図１に示す遠隔制御装置が、どのように、ユーザによる斜め方向の手の動きを検出するかを示す図である。本発明の第４の実施例において、３次元の動きを検出する遠隔制御装置の基本的な構成を示すブロック図である。図３１に示す遠隔制御装置を用いた実施例を示す図である。図３１に示す遠隔制御装置が活性領域を演算処理したときの１つのビデオフレームにおけるマクロブロック及びその活性領域を斜線部で示す図である。図３１に示す遠隔制御装置が斜線部で示す活性領域を演算処理したときの１つのビデオフレームにおけるマクロブロックを示す図である。

以下、本発明に係る電子機器用の遠隔制御装置及び遠隔制御方法について、図面を参照しながら詳細に説明する。

本発明の第１の実施例において、ユーザが、テレビジョン受像器にとって検出が容易な動作を行うと、テレビジョン受像器はこの手の画像をロックする。また、本発明の変形例において、遠隔制御装置は、視覚的にユーザの手を認識し、ロックする。なお、この明細書では、「手」という用語を用いるが、このユーザの手に代えてその他の判別可能なオブジェクト用いてもよい。

本発明の全ての実施例において、手の画像がロックされると、テレビジョン受像器は手の動きを追跡し、手の動きと同方向に、表示装置上のカーソルを移動させる。すなわち、ユーザはパーソナルコンピュータのマウスを動かすように、手を用いてカーソルを動かすことができる。また、ユーザは、カーソルを移動させ、表示装置上のアイコンから所望のアイコンを選択することができる。手の画像をロックした後にこの動きを見失った場合、テレビジョン受像器はユーザに対してメッセージを表示する。メッセージが表示されると、ユーザは特定の手の動作を行うか、または、表示装置上の手の画像を再び選択する。上述の方法により、テレビジョン受像器は、手の画像を再びロックし、この動作を追跡する。

図１は、本発明を適用した遠隔制御装置の基本的な構造を示すブロック図である。ブロック１乃至１２に示す部分は、従来のデジタルテレビジョン受像器セットと同様である。アンテナ１は信号を受信する。チューナ２は、アンテナ１が受信した信号を同調する。チューナ２において同調された信号は、復調及び誤り訂正ブロック３において、復調及び誤り訂正される。デマルチプレクサ４は、ブロック３から供給された信号を分離させる。分離表示画面（demultiplexed on-screen：以下、ＯＳＤという）データはＯＳＤ回路５に供給され、映像データはビデオデコーダ６に供給され、また、音声データは音声デコーダ１０に供給される。スーパーインポーザ（superimposer）７はＯＳＤデータ及び復調された映像データを混合し、陰極線管（cathode ray tube：以下、ＣＲＴという）ブロック８に供給する。ＣＲＴブロック８は、スーパーインポーザ７から供給されたデータをＣＲＴ９上に表示する。増幅器１１は復調された音声信号を増幅し、ラウドスピーカ１２に出力する。

ブロック１３乃至１６は、本発明の全ての実施例において、主要な機能を果たす部位であり、また、各々の実施例において、何らかの異なった機能を果たす。ビデオカメラ１３はＣＲＴ９上に載置され、例えば、テレビジョン受像器セットの前のユーザ１８の画像を捕捉すると、その画像を動作検出回路１５に供給する。動作検出回路１５はＲＡＭ１４及びＣＰＵ１６に接続している。

本発明の第１の実施例において、テレビジョン受像器を遠隔操作したい場合、まず、ユーザ１８は手２０を使って、判別可能な動作を繰り返し行う。この判別可能な動作としては、例えば、図２に示すような、円を描く動作や、図１４に示すように、手２０を２０（ａ）の位置から２０（ｂ）へ移動する動作が例として挙げられる。テレビジョン受像器は、上述した動作とその他の動作とを区別し、ユーザの遠隔操作を行おうとする意図を感知する。このとき、テレビジョン受像器は、図３及び図２１に示すように、ＣＲＴ９の画面上にメニューボタンアイコン２２を表示する。ＣＰＵ１６により手２０の画像が捕捉されると、ＣＰＵ１６はこの動きをロックし、ＣＲＴ９の画面上に表示されたカーソル２４はロックされた手２０の動きに追従する。例えば、ユーザ１８が手２０を右に動かすと、同時に、ＣＲＴ９の画面上に表示されたカーソル２４も右に移動する。手２０及び、カーソル２４は、各々、パーソナルコンピュータにおけるマウス及びカーソルと同様に機能する。なお、テレビジョン受像器は手２０の絶対位置については関知せず、移動速度及び移動方向のみを感知し、それに対応して、カーソル２４を移動させる。カーソル２４がユーザ１８の希望するメニューボタンアイコンの位置に移動すると、ユーザ１８は、この位置で、約２又は３秒間、手２０を停止した状態を保つ。ＣＰＵ１６は、ボタンを押す動作として、上述の動作を判断し、メニューボタンアイコン２２が表す機能を実行する。一定時間内に、何らかの動作が検出されない場合は、ＣＰＵ１６は時間切れと判断し、メニューボタンアイコン２２を画面上から削除し、再び、所定の動作の検出を始める。

次に、本発明の第１の実施例における動作検出回路１５について、説明する。まず、動作検出回路１５は、２つの連続するフレーム間における各々のマクロブロックの動きベクトルを検出する。このとき、動作検出回路１５は特定の閾値に満たない動きベクトルを削除する。図４は１つのビデオフレームにおけるマクロブロック全体の具体例を示す図である。なお、説明を簡潔にするため、図中のマクロブロックを実際よりも少なく、また大きく示す。動作検出回路１５は、動きベクトルを検出すると、図４に示すように、ほぼ同じ方向を有する複数のベクトルを１つの領域としてグループ化する。例えば、図４は領域１及び領域２がグループ化されたことを示す図である。この時点において、動作検出回路１５は、どの領域に手２０の画像が属するかについては判断せず、全てのフレームに対して上述の処理を行う。

次フレーム中に、領域１とほぼ同位置に位置し、且つ、ほぼ同方向を有するベクトルから構成される領域がある場合、動作検出回路１５はこの領域を上記領域１に続く領域としてグループ化する。他の領域も同様にしてグループ化される。新しい領域には、新しい名前が与えられる。前フレーム中の領域に続く領域が検出されない場合、動作検出回路１５はこの領域を削除する。図５乃至図８は、動きベクトルのスナップショットを示す図であり、各々の間隔は０．５秒である。円を描く動作を行う場合、通常３秒間を要する。図６に示すように、領域１は３秒以内に消滅しているため、動作検出回路１５は、領域１を手２０の動作ではないと判断する。領域２は、手２０の動作が属する領域の候補として残存する。全てのフレームに対して、動作検出回路１５は各々の領域が以下（１）及び（２）の条件を満たすものであるかを検査する。

（１）このベクトルが時計回り又は反時計回りに１回転する。
（２）この領域が初めに位置していた位置に戻る。

ある領域が上述した２つの条件を満たすとき、動作検出回路１５はこの領域を手２０の画像であると判断する。

動作検出回路１５は、図８に示すように、領域２が手２０の画像であると判断すると、次に、図９に示すように、領域２をロックし、この動きを追跡する。動作検出回路１５はＣＰＵ１６に対して、手２０の動きをロックしたことを知らせ、また、手２０の動きについての情報をＣＰＵ１６に供給する。ＣＰＵ１６は動作検出回路１５から受信した情報をＯＳＤ回路５に供給する。ＯＳＤ回路５は情報を受信すると、ＣＲＴ９上にカーソル２４を表示させ、手２０の動きに追従させる。

動作検出回路１５が手２０の進路を見失った場合、動作検出回路１５はＣＰＵ１６にその情報を供給する。ＣＰＵ１６は情報を受信すると、ＣＲＴ９上に「手を右に動かして下さい」というメッセージを表示する。ユーザ１８がこのメッセージに従うと、次に、動作検出回路１５はＣＰＵ１６を制御し、ＣＲＴ９上に「手を上に動かして下さい」というメッセージを表示させる。ユーザ１８が、再度、このメッセージに従うと、動作検出回路１５は、最初に右に移動し、次に上に移動する画像を検出することにより、手２０の画像を再び判断し、ロックする。

上述した特定の手２０の動作は、円を描くような動作に限定されるものではなく、その他の特定できる動作であってもよい。また、メニューボタンアイコン２２を選択するときも、ユーザ１８は手２０を止めるだけでなく、その他の特定の動作を行うことが可能である。円を描くような動作の変形例として、ユーザ１８は図１０に示すように、例えば、左下から右上のように、斜め方向に、数回、手２０を動かしてもよい。ユーザ１８が手２０を上に動かすと、図１１中の領域３に示すように、動きベクトルは右上を指し、また、ユーザ１８が手２０を下に動かすと、図１２中の領域３に示すように、動きベクトルは左下を指す。すなわち、ユーザ１８が手２０を動かすたびに、動きベクトルは反対方向を指すことになる。したがって、動作検出回路１５は、一定の時間内で、所定の回数だけ、所定の方向から反対の方向へ指す動きベクトルを検出することにより、ユーザが特定の動作を行ったことを判断し、手２０の動きをロックする。

上述した動作は、図２に示す円を描く動作に比べて、ユーザ１８が行いやすい動作であり、また、動作検出回路１５が検出しやすい動作である。しかしながら、この動作は、ユーザ１８により、意図せずに行われることが頻繁にあり、そのため、誤って検出されることが多い。例えば、ユーザ１８が脚を上下に動かしたとき、動作検出回路１５はその動作を上述した動きとして、誤って検出する可能性がある。これは、トレードオフである。

カーソル２４のバリエーションとして、ＯＳＤ回路５はデジタルサテライトシステム・グラフィカルユーザインターフェース（digital satellite system graphical user interface）のように、メニューボタンアイコン２２を強調表示してもよい。例えば、ユーザ１８が手２０を上に動かすと、ＯＳＤ回路５は上部のメニューボタンアイコン２２を強調表示する。ユーザ１８は強調表示されたメニューボタンアイコン２２にカーソルをあわせた状態で、手２０を停止させ、このメニューボタンアイコン２２を選択する。本明細書及び請求の範囲において、カーソル２４は、上述したような手２０の動作に対応したメニューボタンアイコン２２の強調表示を含む、動作検出回路１５に検出された手２０の動きに追従する、表示装置上の全ての変化を意味するものとする。

本発明の実施例において、画像認識の方法は動きベクトルの検出に限定されるものではない。例えば、動作検出回路１５は、手２０の色が描く軌跡を追跡し、この軌跡が円を描いた場合、この色の領域を手２０の画像として検出し、ロックする。本発明の第２の実施例においては、パターン照合法を、手２０の画像を検出する方法として用いる。本発明において、最も重視すべき点は、ユーザは、動作検出回路１５が容易に手２０の動き及びその他の動きの判別できるような、所定の特定可能な動作を行うという点である。

また、本発明はデジタルテレビジョン受像器のみならず、アナログテレビジョン受像器又はパーソナルコンピュータテレビジョン電話等の、ビデオカメラ及び表示装置を備える装置全般に適用することができる。また、ＣＲＴ９と同様に、例えば、液晶表示装置又はプロジェクタを用いることもできる。

テレビジョン会議及びテレビジョン電話には、ＭＰＥＧ又はＨ２６１ビデオエンコーダを用いる。図１３はビデオエンコーダの一般的な例を示す図である。ビデオカメラ１００は、減算ノード１０１を介して、離散コサイン変換回路１０２に信号を供給し、離散コサイン変換回路１０２は受信した信号を圧縮する。予測フレームの場合には、減算ノードがビデオカメラ１００から信号を受信し、この信号を復元されたフレーム内のデータから減算した後、離散コサイン変換回路１０２がこの信号を離散コサイン変換処理する。量子化回路１０３は、離散コサイン変換処理された信号を受信し、その信号を量子化し、符号化されたストリームとして出力する。逆量子化回路１０４は、量子回路から信号を受信し、その信号を逆量子化し、逆離散コサイン変換回路１０５に供給する。逆離散コサイン変換回路１０５は、受信した信号を圧縮し、加算ノード１０６を介して、フレーム１０７に供給する。フレーム１０７は、受信した信号を格納する。予測フレームの場合には、加算ノード１０６が、逆離散コサイン変換回路１０５から信号を受信し、この信号に復元されたフレーム内のデータを加算した後、フレーム１０７に処理済みの信号を供給する。

動作検出回路１０８は、フレームメモリ１０７に接続しており、現フレームと前フレームを比較し、各々のマクロブロックの動きベクトルを算出する。動作検出回路１０８は、上述のように、動きベクトルを算出し、したがって、与えられた領域における動きベクトルを算出することにより、手２０の円を描く動作を検出することができる。動作検出回路１０８は、手２０の動作を示すデータをＣＰＵ１６に供給する。ブロック１乃至１２は、図１に示すブロック１乃至１２と共通する。ブロック１３乃至１５がこのエンコーダの変形例と置き換えることができる。動作検出回路と符号化装置を一体化することにより、回路のサイズを縮小し、また、コストを削減することができる。

さらに、ビデオカメラ１３が、モータ駆動されている場合、ＣＰＵ１６は、パン、チルト及びズームを自動的に制御し、手２０の画像をビデオカメラ１３の視野内において最適な位置、通常は中央に位置させる。

本発明を適用した遠隔制御装置は、色信号を必要としないため、暗所においては、赤外線カメラを用いることができる。

例えば、ＩＥＥＥ（Institute of Electrical and Electronics Engineers：米国電気電子技術者協会）１３９４インターフェース（以下、単に１３９４インターフェースという）等のネットワークインターフェースにＣＰＵ１６を接続した場合、ＣＰＵ１６は、ネットワークを介して、接続する他の装置に、手２０の位置に関するデータを供給し、その装置を制御することができる。

以下に説明する本発明の第２の実施例において、動作検出回路１５は、ＲＡＭインターフェース回路を備える。その他、上述した第１の実施例と同じ構成要素には同一の指示符号を付して、同様の機能を有する場合、それらの説明は省略する。

ＣＰＵ１６は、動作検出回路１５が備えるＲＡＭインターフェース回路内の現ビデオフレームにおける各々のマクロブロックの画素値と、ＲＡＭ１４に格納された前ビデオフレームにおいて対応するマクロブロックの画素値を比較し、ビデオカメラ１３の視野内で動作が行われたかどうか判断する。なお、各々のマクロブロックは、縦１６、横１６の画素から構成される。

次に、ＣＰＵ１６がどのように手２０の画像を認識し、ロックするかについて説明する。ここでは、横３５２、縦２８８の画素から構成されるビデオフレームを例として用いる。１つのマクロブロックは、縦１６、横１６の画素から構成されるので、このビデオフレームは縦２２、横１８のマクロブロックを有する。図１５は、２つの連続するビデオフレームｎ及びビデオフレームｎ−１を示す図である。ＭＢｍ（ｎ）は、フレームｎにおけるｍ番目のマクロブロックを意味し、ＭＢｍ（ｎ）［ｉ，ｊ］は、ＭＢｍ（ｎ）において、横ｉ行目、縦ｊ列目に位置する画素を意味する。２つの連続するビデオフレームｎ−１及びビデオフレームｎにおける、ＭＢｍ（ｎ−１）［ｉ，ｊ］及びＭＢｍ（ｎ）［ｉ，ｊ］の差分は、以下の式で表される。なお、ＣＰＵ１６は、各々のマクロブロックについての差分を算出する。関数ＡＢＳ（ｘ）はｘの絶対値を意味する。
ｊ＝１５ｉ＝１５
差分＝３３ＡＢＳ（ＭＢｍ（ｎ）［ｉ，ｊ］−ＭＢｍ（ｎ −１）［ｉ，ｊ］）
ｊ＝０ｉ＝０

ＣＰＵ１６は、上記式によって求めた差分が所定の閾値に満たないとき、ビデオフレームｎ−１及びビデオフレームｎ間のマクロブロックＭＢｍにおいて動作が行われなかったと判断する。このマクロブロックを非活性マクロブロックと呼ぶ。本棚又はソファ等の静止背景の場合、差分は０又は０に近い値をとる。一方、差分が所定の閾値を超えたとき、ＣＰＵ１６はマクロブロックＭＢｍにおいて、動作が行われたと判断する。このマクロブロックを活性マクロブロックと呼び、図中においては、斜線部で示す。ＣＰＵ１６は、２つの連続するビデオフレームｎにおいて対応する各々のマクロブロックについて、画素値を算出する。ＣＰＵ１６は、隣接する活性マクロブロックを、１つの領域としてグループ化し、ＣＰＵ１６内部の記憶装置又はＲＡＭ１４に、この領域を格納する。上述した算出は、前述の構成例において述べた動きベクトルの推定よりも単純である。この演算処理は、ソフトウェアにより実現できる。この演算処理は、ハードウェアを必要としない。

ユーザ１８は、所定の動作を行い、表示装置上にメニューボタンアイコン２２を表示させる。ユーザは、例えば、図１４に示すように、２０（ａ）の位置及び２０（ｂ）の位置間で、手２０を斜め方向に２回動かす。図１６及び図１７は、１つのビデオフレーム内のマクロブロック全体を示す図である。なお、説明を簡潔にするため、図中のマクロブロックの数を実際よりも少なく示す。斜線部は活性マクロブロックを示す。ユーザ１８が手２０の移動を開始すると領域１００における対応するマクロブロックが活性化する。手２０が位置２０（ｂ）の方向に移動するにつれて、活性領域は、右上（領域１０１）に移動する。ユーザ１８が手２０を２０（ｂ）の位置から２０（ａ）の位置へ戻すと、活性領域は領域１００の位置に戻る。ユーザ１８が上述の動作を繰り返したとき、活性領域はユーザ１８の手２０の動きにあわせて、領域１００及び領域１０１間の移動を繰り返す。これにより、活性領域が上述の条件を満たすとき、ＣＰＵ１６は、この領域を手２０の画像として判断し、手２０の位置を検出する。ビデオカメラの視野内において、その他の手２０の動作が行われている場合でも、ＣＰＵ１６は活性領域の移動を判断することにより、手２０の所定の動きと手２０のその他の動きを区別できる。

ＣＰＵ１６は、手２０の位置を検出すると、続いて、ＯＳＤ回路５にコマンドを供給する。ＯＳＤ回路５は、このコマンドを受信して、図２１に示すように、メニューボタンアイコン２２を生成する。次に、ＣＰＵ１６は手２０の動きを追跡する。図１８乃至図２１は、ユーザ１８が、手２０を、２０（ａ）の位置から２０（ｃ）の位置に平行移動させたときの状態を示す図である。ユーザ１８が上述の手２０の動作を行うと、ＣＰＵ１６が検出した活性領域は、図１９及び図２０に示すように、領域１００から領域１０２に移動する。ＣＰＵ１６は、手２０が右に移動したと判断し、ＯＳＤ回路５を制御して、カーソル２４をＣＲＴ９上で３０の位置から３１の位置へ移動させる。上述のように、カーソル２４は手２０の動きに追従する。ユーザ１８は、希望するメニューボタンアイコン２２上でカーソル２４を一定時間停止させ、メニューボタンアイコン２２を選択する。ＣＰＵ１６は、ユーザ１８が選択したメニューボタンアイコン２２を認識し、対応するタスクを実行する。

ＣＰＵ１６は、手２０を見失った場合、ＯＳＤ回路５を制御して、ＣＲＴ９上に「手を右に動かして下さい」というメッセージを表示させる。ユーザ１８がこのメッセージに従うと、続いて、ＣＰＵ１６はＯＳＤ回路５を制御し、ＣＲＴ９上に「手を上に動かして下さい。」というメッセージを表示させる。再び、ユーザがこのメッセージに従うと、ＣＰＵ１６は、初めに右に移動し、次に上に移動する画像を検出するすることにより、ＣＰＵ１６は、再び、手２０の画像を検出し、ロックする。

所定の手２０の動きは、上述したような直線状の動きに限定されるものではなく、その他の特定可能な動作であってもよい。また、メニューボタンアイコン２２を選択するときも、ユーザ１８は、手２０の動きを止めるだけでなく、その他の特定可能な動作を行うことができる。直線状の動作の変形例として、ユーザ１８は、図２８に示すように、例えば、左下から右上のように、斜め方向に、数回、手２０を動かしてもよい。

また、手２０の検出に画像認識技術を用いてもよい。この方法は、上述した認識方法よりも、より精密な認識方法であり、手２０の動きも小さい。ユーザ１８は、図２２に示すように、手２０を広げる動作を行うか、また、図２３（ａ）に示すように、手２０を握った状態から、図２３（ｂ）に示すように、手２０を広げる動作を行う。ＣＰＵ１６は、このような手２０の動作が行われると、対応するマクロブロックを活性マクロブロックとして認識し、手２０の位置を検出する。ＣＰＵ１６は、手２０の位置を検出すると、誤って検出するのを防ぐため、手２０の画像をデジタル処理によりカットアウト（cutout）し、手２０の画像であるかどうか判断する。

ＣＰＵ１６は、図２４に示すように、カットアウトした手２０の画像を２値画像に変換する。広げた状態の手２０は、各々の指間にＶ字形が形成される点を最も大きな特徴とする。ＣＰＵ１６は、例えば、水平走査線Ｌ１上に位置するポイントｐ１及びポイントｑ２のように、２値画像において、同一水平線上に位置する縁端点の全てを検査する。水平走査線Ｌ１よりも下に位置する水平走査線Ｌ２において、ポイントｐ２及びポイントｑ２に示すように、２つの縁端点は近づいており、最終的には一致する。ＣＰＵ１６は、上述のように、同一の水平走査線上に位置する各々の縁端点間の距離を算出することにより、画像の外郭がＶ字形を有するかどうかを判断する。ＣＰＵ１６は、１又は複数のＶ字形を検出した場合、この画像が手２０の画像であると判断する。手２０を検出した後、ＣＰＵ１６は手２０の動きを追跡するが、その方法については、上述した手法と同様である。上述のような手２０の画像認識は、あまり多くの演算処理を必要としないため、ソフトウェアによる処理が可能である。

また、ＣＰＵ１６は、手２０の画像の輪郭を認識するかわりに、手２０の画像照合を行うことにより、手２０を検出してもよい。以下、手２０の画像照合方法について、図２５を参照して説明する。まず、ユーザ１８は、従来の赤外線遠隔制御装置を用いて、ＯＳＤ回路５に信号を送信し、ビデオカメラ１３が撮影した画像、すなわち、ユーザ自身の画像を、ＣＲＴ９上に表示させる。つづいて、従来のグラフィカルユーザインターフェースを用いて、手２０の画像２５を選択する。ＲＡＭ１４は画像２５を格納する。必要に応じて、例えば子供の手２０や、左利きの人の手２０等の複数の手２０の画像を格納してもよい。ユーザが手２０を固定させると、ＣＰＵ１６は、図２６に示すように、対応する領域内の画像２６とＲＡＭ１４に格納された手２０の画像２５を比較し、この両方が最も一致する位置を調査する。図２７は、画像２５及び画像２６が最も一致した位置を示す図である。画像２５及び画像２６は、必ずしも、完全に一致するとは限らないが、ＣＰＵ１６は、前述したマクロブロック間の差分の算出と同様に、画像２５及び画像２６の差分の算出を行う。ＣＰＵ１６は、画像２５及び画像２６の差分が所定の閾値に満たないとき、画像２６を手２０であると判断し、手２０の動作を追跡する。なお、図面を簡略化するため、図２６及び図２７においては、手２０の輪郭を示したが、実際は図２４に示すように、２値画像を用いる。

以上に述べたように、ＣＰＵ１６は様々な方法を用いて、ユーザ１８の手２０をロックする。本発明において、ユーザ１８は、ＣＰＵ１６が、容易に、手２０の動き及びその他の動きを判別又は手２０の画像とビデオカメラ１３の視野内のその他のオブジェクトを区別できるような、特定の動作を行わなければならない。

手２０の移動距離は、ビデオカメラ１３の視野角及びビデオカメラ１３及びユーザ１８間の距離に依存する。図２８乃至図３０は、ユーザ１８が手２０を斜め方向に動かしたときの状態を示す図である。ビデオカメラ１３の視野角が狭いか、もしくは、ユーザ１８及びビデオカメラ１３間の距離が近いときと比較すると、図２９に示すように、ビデオカメラ１３の視野角が広いか、もしくは、ユーザ１８がビデオカメラ１３から離れているとき、ＣＲＴ９上のカーソル２４の移動距離は短くなる。また、ビデオカメラ１３の視野角が狭いとき、もしくは、ユーザ１８及びビデオカメラ１３間の距離が近いとき、図３０に示すように、手２０の動きに対応するカーソル２４の移動距離は長くなる。このよう場合、カーソル２４の感度が一定であるとすると、前者、すなわち、ビデオカメラ１３の視野角が広いか、もしくは、ユーザ１８がビデオカメラ１３から離れた場所にいるとき、ユーザ１８が手２０を大きく動かしても、カーソル２４の移動距離は比較的短くなる。同様に、後者、すなわち、ビデオカメラ１３の視野角が狭いか、もしくは、ユーザ１８及びビデオカメラ１３間の距離が近いとき、ユーザ１８が小さく手２０を動かしたとしても、カーソル２４の移動距離は長くなる。

上述のような問題点を解決するため、ＣＰＵ１６は、自動カーソル感度制御機能を備える。ビデオカメラ１３の視野内における手２０の所定の動作が小さいとき、ＣＰＵ１６は、カーソル２４の移動距離を長くし、一方、ビデオカメラ１３の視野内における手２０の所定の動作が大きいときには、カーソル２４の移動距離を短くする。例えば、図２９に示すように、手２０の所定の動作が５０画素長であるとき、ＣＰＵ１６は、手２０が１画素長移動するのに対して、カーソル２４を４画素長移動させる。すなわち、ＣＰＵ１６は、検出した手２０の移動距離に応じて、カーソル２４の移動距離を自動的に算出する。図３０に示すように、手２０の所定の動作が２００画素長のとき、ＣＰＵ１６は、手２０が１画素長移動するのに対して、カーソル２４を１画素長移動させる。ユーザ１８は、ビデオカメラ１３の視野角又はビデオカメラ１３からの距離を考慮する必要はなく、したがって、カーソル２４をＣＲＴ９の左端から右端まで移動させるときでも、手２０を大きく動かす必要はない。上述のような自動カーソル感度制御は、ＣＰＵ１６に組みこまれたソフトウェアプログラムを用いて行う。

図２８に示すように、ユーザが手２０を斜め方向に動かす所定の動作を行うと、ＣＰＵ１６は手２０の動きを追跡し、カーソル２４を表示画面において、斜め方向に移動させる。ＣＰＵ１６は、常に、手２０のストローク距離に対するビデオフレームの斜め方向の距離の比率を算出する。カーソル２４は、この比率に比例して、制御される。ユーザ１８が、常に、一定距離だけ、手２０を動かすと、ＣＰＵ１６は、この距離を検出が必要とされる最も大きい手２０の動作として認識し、対応するカーソル２４の移動距離を算出し、表示画面の対角線上でカーソル２４を移動させる。上述のように算出された、手２０の移動距離及び対応するカーソルの移動距離における基準は、以後の手２０の動きについても利用される。例えば、認識された手２０のストロークが１０インチである場合、ＣＰＵ１６により手２０がロックされると、ユーザ１８は、斜め方向に、手２０を１０インチ動かすことにより、ＣＲＴ９上のカーソル２４を左下端から右上端まで移動させることができる。同様に、認識された斜め方向の手２０のストロークが２０インチである場合、ユーザ１８は、斜め方向に、手２０を２０インチ動かすことにより、ＣＲＴ９上のカーソル２４を左下端から右上端まで動かすことができる。

ＣＰＵ１６は、カーソル２４のかわりに、デジタル衛生システムグラフィカルユーザインターフェース（digital satellite system graphical user interface：ＤＳＳＧＵＩ）のように、メニューボタンアイコン２２を強調表示してもよい。例えば、ユーザ１８が手２０を上に上げると、ＣＰＵ１６は上部のメニューボタンアイコン２２を強調表示する。本明細書において、「カーソル」とは、例えば、ユーザ１８の手２０の動きに対応するメニューボタンアイコン２２の強調表示等の、ＣＰＵ１６が検出したユーザ１８の動作を追跡した結果の、テレビジョン受像器の表示装置上におけるあらゆる変化を含むものとする。

また、本装置は、３次元の手２０の動作のインターフェースにおいても適用することができる。図３１及び図３２に示すように、第２のビデオカメラ３１を、ユーザの右側又は左側に設置する。もしくは、天井に取り付けてもよい。第２のビデオカメラ３１は、Ｚ軸に示すように、表示画面に対して垂直な方向の手２０の動作を感知する。図３１は、本装置の構成を示すブロック図である。ブロック１乃至１６は、図１に示す構成部１乃至１６と共通するものであり、説明を簡潔にするため、図３１では省略する。ビデオカメラ３１はビデオカメラ１３と同様の機能を有し、ＲＡＭ３２はＲＡＭ１４と同様の機能を有し、また、ＲＡＭインターフェース３３はＲＡＭインターフェース１５と同様の機能を有し、ＲＡＭ３２及びＲＡＭインターフェース３３では、Ｚ軸上の動作を検出するために用いる。ビデオカメラ３１，ＲＡＭ３２及びＲＡＭインターフェース３３は、ビデオカメラ１３、ＲＡＭ１４及びＲＡＭインターフェース１５と同一の動作をする。

まず、ユーザ１８が、例えば、斜め方向に手２０を動かす等の、所定の動作を行うと、ＣＰＵ１６は、上述のように、活性領域を検査し、Ｘ−Ｙ面上の手２０の位置を検出する。また、ＣＰＵ１６は、ビデオカメラ３１から画像信号を受信し、Ｙ−Ｚ面上で手２０の位置を検出する。ユーザ１８が、図３２に示すように、２０（ａ）の位置及び２０（ｂ）の位置間で手２０を動かすと、活性領域は、図１６及び図１７に示すように、領域１００から領域１０１に移動する。一方、Ｙ−Ｚ面上の領域は、図３３に示すように、領域２００及び領域２０１間を移動する。これらの活性領域は同時に移動するため、ＣＰＵ１６は、容易に、Ｘ−Ｙ面上及びＹ−Ｚ面上の手２０の位置を検出することができる。また、ユーザ１８が手２０をＣＲＴ９に対して垂直方向に動かした場合、活性領域は、図３４に示すように、領域２００から領域２０２に移動する。このように、ＣＰＵ１６は、Ｚ軸上の手２０の動作を検出する。

本発明の３次元インターフェースは、様々に応用可能である。例えば、３次元インターフェースは、２次元のＯＳＤにも適用することができる。Ｚ軸上の動作は、メニューボタンアイコン２２を選択するために用いられる。メニューボタンアイコン２２を選択するとき、ユーザ１８は、まず、所望のメニューボタンアイコン２２上で手２０を停止させる。次に、ユーザ１８は、機械のボタンを押すときの動作と同じように、手２０をＣＲＴ９に近づけ、そして、元の位置に戻す。ＣＰＵ１６は、このＺ軸上の動作をメニューボタンアイコン２２の選択として検出し、検出したメニューボタンアイコン２２に対応する処理を実行する。

また、Ｚ軸上の動作は、ズーミングを行うときにも、用いることができる。ユーザ１８が手２０をＣＲＴ９に近づけると、ＣＰＵ１６は、ＯＳＤ回路５及びビデオデコーダ６にコマンドを送信する。ＯＳＤ回路５及びビデオデコーダ６は、コマンドを受信すると、ＣＲＴ９上の手２０の画像を拡大する。ユーザ１８が手２０をＣＲＴ９から遠ざけると、手２０の画像は縮小する。このような方法を用いることにより、ユーザ１８は、極めて自然な感覚で、ズーミングを行うことができる。また、ユーザ１８は、ズーミングを行う前に、カーソル２４を用いて画像の範囲を選択したり、手２０の動きにあわせてカーソル２４を移動させ、ズーミングの中心を選択することができる。

ユーザ１８は、３次元グラフィックスにおいて、カーソル２４を制御することができるため、本発明を適用したインターフェースはコンピュータゲームにも適している。ユーザ１８が、手２０をＣＲＴ９に近づけると、カーソル２４は小さくなり、３次元グラフィックスにおいて、遠くに位置するように見える。したがって、ユーザ１８は、あるオブジェクトの背後に位置するオブジェクトを選択することができる。例えば、ユーザ１８は、ファイルホルダから書類を検索し、選ぶ動作を体感することができる。このように、本発明を適用した遠隔制御装置を用いることにより、ユーザ１８は、実際にものを扱ってるかのような感覚を得ることができる。

また、本発明を適用した遠隔制御装置は、デジタルテレビジョン受像器のみならず、アナログテレビジョン受像器、パーソナルコンピュータテレビジョン電話の他、ビデオカメラ及びモニタ表示装置を備えるあらゆる装置に適用できる。また、表示装置は、ＣＲＴに限定されるものではなく、液晶表示装置及びプロジェクタ等のその他の表示装置を用いることも可能である。

ＣＰＵ１６を、例えば、１３９４インターフェース等のネットワークインターフェースに接続した場合、本発明を適用した遠隔制御装置は、手の位置に関するデータを、ネットワークを介して、接続する他の装置に伝送し、その装置を制御することができる。ＣＰＵ１６を、テレビジョン受像器と独立して構成してもよい。

本発明の好適な実施の形態を用いて本発明を説明したが、特許請求の範囲に示す本発明の思想を逸脱することなく、上述の実施の形態を様々に変形及び修正することができる。以下の請求の範囲における全ての機能プラス手段又は機能プラスステップで示される構成要素に対応する構造、要素、動作及び等価物には、他の請求項において具体的に明示した構成要素とともに、その機能を実現するあらゆる構造、要素又は動作が含まれるものとする。

Claims

電子機器１乃至１２及び１６用の遠隔制御装置において、
電子機器１乃至１２及び１６が実行可能な処理を表す複数のアイコン２２を表示する表示装置９と、
視野内の移動オブジェクト２０の第１の所定の動きを遠隔制御開始の指示として検出し、上記移動オブジェクト２０の動きに追従し、上記移動オブジェクト２０の動きを示すカーソル制御信号を出力する動作検出手段１５と、
上記表示装置９、上記電子機器１乃至１２及び１６及び上記動作検出手段１５に接続し、上記カーソル制御信号を受信し、上記移動オブジェクト２０の動きに追従する移動可能な視覚的指示手段２４を表示させるように上記表示装置９を制御し、上記移動可能な視覚的指示手段２４を用いてユーザが選択したアイコン２２に対応する動作を実行させるように上記電子機器１乃至１２及び１６を制御する制御手段５乃至８及び１３乃至１６とを備える遠隔制御装置。
上記動作検出手段１５は、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なったとき、上記移動オブジェクト２０の第２の所定の動きを検出することにより、ユーザによるアイコン２２の選択を検出することを特徴とする請求項１記載の遠隔制御装置。
上記第２の所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における上記移動オブジェクト２０の動きの停止であることを特徴とする請求項２記載の遠隔制御装置。
上記動作検出手段１５は、ビデオカメラ１３、３１を備えることを特徴とする請求項１記載の遠隔制御装置。
上記移動可能な視覚的指示手段２４は、カーソルであることを特徴とする請求項１記載の遠隔制御装置。
上記電子機器１乃至１２及び１６は、テレビジョン受像器９であることを特徴とする請求項１記載の遠隔制御装置。
上記表示装置９は、陰極線管であることを特徴とする請求項１記載の遠隔制御装置。
上記移動オブジェクト２０は、ユーザの手２０であり、上記第１の所定の動きは、円を描く動作であることを特徴とする請求項１記載の遠隔制御装置。
上記動作検出手段１５は、ビデオカメラ１３、３１を備え、上記ビデオカメラ１３、３１が出力する映像信号における２つの連続するビデオフレーム間の各々のマクロブロックの動きベクトルを算出することを特徴とする請求項１記載の遠隔制御装置。
上記ビデオフレームの各々は、上記移動オブジェクト２０の動きを示す複数の動きベクトルを有する複数のマクロブロックから構成される領域１及び領域２を有し、上記領域１及び２において、隣接する複数の動きベクトルはほぼ同方向を指すことを特徴とする請求項９記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を追跡するか追跡しないかを決定するとき、上記ビデオフレームの各々について、上記領域１及び２が、（ａ）上記動きベクトルが時計回り又は反時計回りに一回転する、（ｂ）上記領域１及び２が初めに位置していた位置に戻るという２つの条件を満たすものであるかを判断し、上記２つの条件を満たす領域をロックすることを特徴とする請求項１０記載の遠隔制御装置。
上記動作検出手段１５は、カメラ１００と、上記カメラ１００に接続し、上記カメラ１００が出力する映像信号を離散コサイン変換する離散コサイン変換手段１０２と、上記離散コサイン変換手段１０２に接続し、離散コサイン変換処理された映像信号を量子化する量子化手段１０３と、上記量子化手段１０３に接続し、離散コサイン変換処理された映像信号を逆離散コサイン変換処理する逆離散コサイン変換手段１０５と、上記逆離散コサイン変換手段１０５に接続し、上記逆離散コサイン変換部からの出力信号を格納するフレームメモリ１０７と、予測フレームにおいて、上記カメラ１００及び上記離散コサイン変換回路１０２間に介在し、上記フレームメモリ１０７が出力する復元されたフレーム内のデータから上記カメラ１００が出力する映像信号を減算する減算ノード１０１と、予測フレームにおいて、上記フレームメモリ及び上記逆離散コサイン変換回路１０５間に介在し、上記逆離散コサイン変換回路１０５が出力する映像信号に上記フレームメモリが出力する復元されたフレーム内のデータを加算する加算ノード１０６と、上記フレーム１０７に接続し、上記フレーム１０７に格納された前フレーム及び現フレームを比較し、前フレーム及び現フレーム間の各々のマクロブロックに関して動きベクトルを算出する動作検出部１０８とを備えることを特徴とする請求項１記載の遠隔制御装置。
上記ビデオフレームは、上記移動オブジェクト２０の検出された動きを示す動きベクトルを有する複数のマクロブロックから構成される領域１及び領域２を有し、上記領域１及び領域２において、隣接する動きベクトルはほぼ同方向を示すことを特徴とする請求項１２記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を追跡するか追跡しないかを決定するとき、ビデオフレームの各々について、上記領域１及び２が、（ａ）上記動きベクトルが時計回り又は反時計回りに一回転する、（ｂ）上記領域１及び領域２が初めに位置していた位置に戻るという２つの条件を満たすものであるかを判断し、上記２つの条件を満たす領域をロックすることを特徴とする請求項１３記載の遠隔制御装置。
上記遠隔制御装置は、上記動作検出手段１５が検出した移動オブジェクト２０の移動距離に対応して、上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整する自動カーソル感度制御手段１６を備えることを特徴とする請求項１記載の遠隔制御装置。
上記自動カーソル感度制御手段１６は、上記動作検出手段１５が検出した上記第１の所定の動きに対応して、上記表示装置９上の上記移動可能な視覚的指示手段２４の移動距離が一定となるように制御することを特徴とする請求項１５記載の遠隔制御装置。
電子機器１乃至１２及び１６の遠隔制御方法において、
表示装置９上に、上記電子機器１乃至１２及び１６の実行可能な処理を表すアイコン２２を表示する表示ステップと、
視野内の上記移動オブジェクト２０の所定の動きを遠隔制御開始の指示として検出し、上記移動オブジェクト２０の動きを追跡し、上記移動オブジェクト２０の動きを示すカーソル制御信号を出力する動作検出ステップと、
上記移動オブジェクト２０の動きに追従する移動可能な視覚的指示手段２４を表示させるように上記表示装置９を制御し、上記移動可能な視覚的指示手段２４を用いてユーザが選択したアイコン２２に対応する処理を実行させるように上記電子機器１乃至１２及び１６を制御する制御ステップと備える遠隔制御方法。
ユーザによる上記アイコン２２の選択を検出するステップは、上記移動可能な視覚的指示手段２４及び特定のアイコン２２が上記表示装置９上で重なったとき、上記移動オブジェクト２０の所定の動きを検出するステップを有することを特徴とする請求項１７記載の遠隔制御方法。
ユーザによる上記アイコン２２の選択を検出するステップは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における、上記移動オブジェクト２０の動きの停止を検出するステップを有することを特徴とする請求項１７記載の遠隔制御方法。
上記移動可能な視覚的指示手段２４は、カーソルであることを特徴とする請求項１７記載の遠隔制御方法。
上記電子機器１乃至１２及び１６は、テレビジョン受像器９であることを特徴とする請求項１７記載の遠隔制御方法。
上記表示ステップは、陰極線管９上に表示するステップを有することを特徴とする請求項１７記載の遠隔制御方法。
上記所定の動きは、上記移動オブジェクト２０による円を描く動きであること特徴とする請求項１７記載の遠隔制御方法。
上記動作検出ステップにおいて、ビデオカメラ１３、３１を用いることを特徴とする請求項１７記載の遠隔制御方法。
上記動作検出ステップは、上記ビデオカメラ１３、３１が出力する映像信号における２つの連続するビデオフレーム間の各々のマクロブロックの動きベクトルを算出するステップを有することを特徴とする請求項２４記載の遠隔制御方法。
上記ビデオフレームの各々は、上記移動オブジェクト２０の動きを示す複数の動きベクトルを有する複数のマクロブロックから構成される領域１及び領域２を有し、上記領域１及び２において、隣接する複数の動きベクトルはほぼ同方向を指すことを特徴とする請求項２５記載の遠隔制御方法。
上記移動オブジェクト２０を追跡するか追跡しないかを決定するとき、ビデオフレームの各々について、上記領域１及び領域２が、（ａ）上記動きベクトルが時計回り又は反時計回りに一回転する、（ｂ）上記領域１及び領域２が初めに位置していた位置に戻るという２つの条件を満たすものであるかを判断し、上記２つの条件を満たす領域をロックするステップを有する請求項２６記載の遠隔制御方法。
上記検出ステップは、上記ビデオカメラ１３，３１が出力する画像信号をＭＰＥＧ規格に基づいて符号化するステップに属し、上記ビデオカメラ１３，３１が出力する映像信号における前ビデオフレーム及び現ビデオフレーム間の各々のマクロブロック間に関して動きベクトルを算出するステップを有することを特徴とする請求項２４記載の遠隔制御方法。
上記ビデオフレームは、上記移動オブジェクト２０の検出された動きを示す動きベクトルを有する複数のマクロブロックから構成される領域１及び領域２を有し、上記領域１及び領域２において、隣接する動きベクトルはほぼ同方向を示すことを特徴とする請求項２８記載の遠隔制御方法。
上記移動オブジェクト２０を追跡するか追跡しないかを決定するとき、ビデオフレームの各々について、上記領域１及び領域２が、（ａ）上記動きベクトルが時計回り又は反時計回りに一回転する、（ｂ）上記領域１及び領域２が初めに位置していた位置に戻るという２つの条件を満たすものであるかを判断し、上記２つの条件を満たす領域をロックするステップを有する請求項２８記載の遠隔制御方法。
上記動作検出ステップにおいて検出された上記移動オブジェクト２０の移動距離に対応して、上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整するステップを有する請求項１７記載の遠隔制御方法。
上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整するステップは、上記動作検出ステップにおいて検出された所定の動きに対応して、上記表示装置９上の上記移動可能な視覚的指示手段２４の移動距離が一定であるように調整するステップを有することを特徴とする請求項３１記載の遠隔制御方法。
電子機器１乃至１２及び１６用の遠隔制御装置において、
電子機器１乃至１２及び１６が実行可能な処理を表す複数のアイコン２２を表示する表示装置９と、
視野内の移動オブジェクトの動きを検出する動作検出手段１５であって、視野内の移動オブジェクト２０を遠隔制御開始の指示として検出し、上記移動オブジェクト２０の動きに追従し、上記移動オブジェクト２０の動きを示すカーソル制御信号を出力する動作検出手段１５と、
上記表示装置９、上記電子機器１乃至１２及び１６及び上記動作検出手段１５に接続し、上記カーソル制御信号を受信し、上記移動オブジェクト２０の動きに追従する移動可能な視覚的指示手段２４を表示させるように上記表示装置９を制御し、上記移動可能な視覚的指示手段２４を用いてユーザが選択したアイコン２２に対応する動作を実行させるように上記電子機器１乃至１２及び１６を制御する制御手段５乃至８及び１３乃至１６とを備える遠隔制御装置。
上記動作検出手段１５は、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なったとき、上記移動オブジェクトの所定の動きを検出することにより、ユーザによるアイコン２２の選択を検出することを特徴とする請求項３３記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における上記移動オブジェクト２０の動きの停止であることを特徴とする請求項３４記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における、上記移動オブジェクト２０の上記表示装置９に対する垂直軸上の動きであることを特徴とする請求項３３記載の遠隔制御装置。
上記動作検出手段１５は、初めに、視野内の上記移動オブジェクト２０の所定の動きを遠隔制御開始の指示として検出することを特徴とする請求項３３記載の遠隔制御装置。
上記動作検出手段１５は、少なくとも１つのビデオカメラ１３を備えることを特徴とする請求項３３記載の遠隔制御装置。
上記動作検出手段１５は、上記ビデオカメラ１３が出力する画像信号における、時間的に連続する２つのビデオフレームｎ−１及びビデオフレームｎ間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）の画素値を比較し、上記マクロブロックＭＢｍに関して、２つのビデオフレームｎ−１及びビデオフレームｎ間の画素値の差が所定の閾値を超えるとき、上記マクロブロックＭＢｍにおいて動作が行われたと判断し、上記マクロブロックＭＢｍを活性領域であると判断することを特徴する請求項３８記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、時間的に連続する２つのビデオフレームｎ−１及びビデオフレームｎにおける各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）を検査し、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであるかを判断することを特徴とする請求項３９記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性化領域する所定のパターンを示すものであることを判断した後、現活性領域が有する画像及び格納された画像を比較し、上記現活性領域が有する画像及び上記格納された画像が一致するとき、上記ビデオカメラ１３が出力する画像の現活性領域は上記移動オブジェクト２０であることを判断することを特徴とする請求項４０記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３が出力する画像においてユーザが選択した画像部分２５及び格納された画像を比較し、上記ビデオカメラ１３が出力する画像においてユーザが選択した画像部分２５と格納された画像が一致するとき、上記画像部分２５を上記移動オブジェクト２０であると判断することを特徴とする請求項３８記載の遠隔制御装置。
上記移動可能な視覚的指示手段２４は、カーソルであることを特徴とする請求項３３記載の遠隔制御装置。
上記電子機器１乃至１２及び１６は、テレビジョン受像器９であることを特徴とする請求項３３記載の遠隔制御装置。
上記表示装置９は、陰極線管であることを特徴とする請求項３３記載の遠隔制御装置。
上記遠隔制御装置は、上記動作検出手段１５が検出した移動オブジェクト２０の移動距離に対応して、上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整する自動カーソル感度制御手段１６を備えることを特徴とする請求項３３記載の遠隔制御装置。
上記自動カーソル感度制御手段１６は、上記動作検出手段１５が検出した上記第１の所定の動きに対応して、上記表示装置９上の上記移動可能な視覚的指示手段２４の移動距離が一定となるように制御することを特徴とする請求項４６記載の遠隔制御装置。
上記動作検出手段１５は、互いに直角をなすように設置され、ユーザを監視する２つのビデオカメラ１３、３１を備えることを特徴とする請求項３３記載の遠隔制御装置。
上記動作検出手段１５は、上記ビデオカメラ１３、３１が出力する画像信号における、時間的に連続する２つのビデオフレームｎ−１及びビデオフレームｎ間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）の画素値を比較し、上記マクロブロックＭＢｍに関して、２つのビデオフレームｎ−１及びビデオフレームｎ間の画素値の差が所定の閾値を超えるとき、上記マクロブロックＭＢｍにおいて動作が行われたと判断し、上記マクロブロックＭＢｍを活性領域であると判断することを特徴する請求項４８記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１が出力する画像信号における、時間的に連続する２つのビデオフレームｎ−１及びビデオフレームｎ間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）を検査し、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであるかを判断することを特徴とする請求項４９記載の遠隔制御装置。
上記動作検出手段１５は、移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１の各々が出力する１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性化領域する所定のパターンを示すものであることを判断した後、上記ビデオカメラ１３、３１の両方が出力する画像の活性領域を活性領域としてロックすることを特徴とする請求項５０記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性化領域する所定のパターンを示すものであることを判断した後、現活性領域が有する画像及び格納された画像を比較し、上記現活性領域が有する画像及び上記格納された画像が一致するとき、上記ビデオカメラ１３、３１が出力する画像の現活性領域は上記移動オブジェクト２０であることを判断することを特徴とする請求項５０記載の遠隔制御装置。
上記動作検出手段１５は、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分２５及び格納された画像を比較し、上記ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分２５と格納された画像が一致するとき、上記画像部分２５を上記移動オブジェクト２０であると判断することを特徴とする請求項４８記載の遠隔制御装置。
上記動作検出手段１５は、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なったとき、上記移動オブジェクト２０の所定の動きを検出することにより、ユーザによるアイコン２２の選択を検出することを特徴とする請求項４８記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における上記移動オブジェクト２０の動きの停止であることを特徴とする請求項５４記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における、上記移動オブジェクト２０の上記表示装置９に対する垂直軸上の動きであることを特徴とする請求項５４記載の遠隔制御装置。
電子機器１乃至１２及び１６の遠隔制御方法において、
表示装置９上に、上記電子機器１乃至１２及び１６の実行可能な処理を表すアイコン２２を表示する表示ステップと、
視野内の移動オブジェクトの動きを検出する動作検出ステップであって、上記移動オブジェクト２０を遠隔制御開始の指示として検出し、上記移動オブジェクト２０の動きを追跡し、上記移動オブジェクト２０の動きを示すカーソル制御信号を出力する動作検出ステップと、
上記移動オブジェクト２０の動きに追従する移動可能な視覚的指示手段２４を表示させるように上記表示装置９を制御し、上記移動可能な視覚的指示手段２４を用いてユーザが選択したアイコン２２に対応する処理を実行させるように上記電子機器１乃至１２及び１６を制御する制御ステップと備える遠隔制御方法。
上記動作検出ステップは、上記移動可能な視覚的指示手段２４と上記特定のアイコン２２が上記表示装置９上で重なったとき、上記移動オブジェクト２０の所定の動きを検出することにより、ユーザが上記アイコン２２を選択したことを判断するステップを有することを特徴とする請求項５７記載の遠隔制御方法。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における上記移動オブジェクト２０の動きの停止であることを特徴とする請求項５７記載の遠隔制御方法。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における、上記移動オブジェクト２０の上記表示装置９に対する垂直軸上の動きであることを特徴とする請求項５７記載の遠隔制御方法。
上記動作検出ステップは、初めに、視野内の上記移動オブジェクト２０の所定の動きを遠隔制御開始の指示として検出するステップを有することを特徴とする請求項５７記載の遠隔制御方法。
上記動作検出ステップは、上記ビデオカメラ１３を用いて、視野内の画像を生成するステップを有することを特徴とする請求項５７記載の遠隔制御方法。
上記動作検出ステップは、上記ビデオカメラ１３が出力する画像信号における時間的に連続する２つのビデオフレーム間の各々の対応するマクロブロックの画素値を比較し、上記マクロブロックにおける２つのビデオフレーム間の差分が所定の閾値を超えたとき、上記マクロブロックにおいて動作が行われたと判断し、上記マクロブロックが活性領域であると判断するステップを有することを特徴とする請求項６２記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、時間的に連続する２つのビデオフレームにおける各々対応する上記マクロブロックを検査し、１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであるかを判断するステップを有することを特徴とする請求項６３記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１の各々が出力する１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すことを判断した後、現活性領域が有する画像及び格納された画像を比較し、上記現活性領域が有する画像と格納された画像が一致するとき、上記ビデオカメラ１３、３１が出力する画像の現活性領域は上記移動オブジェクト２０であることを判断するステップを有することを特徴とする請求項６３記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が活性領域化し、続いて非活性領域化する所定のパターンを示すことを判断した後、現活性領域が有する画像と格納された画像を比較し、現活性領域が有する画像と格納された画像が一致するとき、上記ビデオカメラ１３が出力する画像の現活性領域は上記移動オブジェクト２０であることを判断するステップを有することを特徴とする請求項６５記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３が出力する画像においてユーザが選択した画像部分及び格納された画像を比較し、上記ビデオカメラ１３が出力する画像においてユーザが選択した画像部分と上記格納された画像が一致するとき、ユーザが選択した画像部分は上記移動オブジェクト２０であることを判断するステップを有することを特徴とする請求項６６記載の遠隔制御方法。
上記移動可能な視覚的指示手段２４は、カーソルであることを特徴とする請求項５７記載の遠隔制御方法。
上記電子機器１乃至１２及び１６は、テレビジョン受像器であることを特徴とする請求項５７記載の遠隔制御方法。
上記表示装置９は、陰極線管であることを特徴とする請求項５７記載の遠隔制御方法。
上記動作検出ステップにおいて検出された上記移動オブジェクト２０の移動距離に対応して、上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整するステップを有する請求項５７記載の遠隔制御方法。
上記表示装置９上に表示される上記移動可能な視覚的指示手段２４の移動距離を自動的に調整するステップは、上記動作検出ステップにおいて検出された所定の動きに対応して、上記表示装置９上の上記移動可能な視覚的指示手段２４の移動距離が一定であるように調整するステップを有することを特徴とする請求項７１記載の遠隔制御方法。
上記動作検出ステップは、互いに直角をなすよう設置され、ユーザを監視する上記ビデオカメラ１３、３１を用いて、同時に２つの画像を生成するステップを有することを特徴とする請求項５７記載の遠隔制御方法。
上記動作検出ステップは、上記ビデオカメラ１３、３１が出力する画像信号における時間的に連続する２つのビデオフレーム間の各々の対応するマクロブロックの画素値を比較し、上記マクロブロックにおける２つのビデオフレーム間の差分が所定の閾値を超えたとき、上記マクロブロックにおいて動作が行われたと判断し、上記マクロブロックが活性領域であると判断するステップを有することを特徴とする請求項７３記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、ビデオカメラ１３、３１が出力する画像信号における時間的に連続する２つのビデオフレーム内のマクロブロックを検査し、１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであるかを判断するステップを有することを特徴とする請求項７４記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１の各々が出力する１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すことを判断した後、現活性領域が有する画像及び格納された画像を比較し、上記現活性領域が有する画像と格納された画像が一致するとき、上記ビデオカメラ１３、３１が出力する画像の現活性領域は上記移動オブジェクト２０であることを判断するステップを有することを特徴とする請求項４５記載の遠隔制御方法。
上記動作検出ステップは、上記移動オブジェクト２０を検出するとき、上記ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分及び格納された画像を比較し、上記ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分と上記格納された画像が一致するとき、ユーザが選択した画像部分は上記移動オブジェクト２０であることを判断するステップを有することを特徴とする請求項７３記載の遠隔制御方法。
上記動作検出ステップは、上記移動可能な視覚的指示手段２４及び特定のアイコン２２が上記表示装置上で重なったとき、上記移動オブジェクト２０の所定の動きを検出することにより、ユーザによるアイコンの選択を検出するステップを有することを特徴とする請求項７３記載の遠隔制御方法。
上記第２の所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における上記移動オブジェクト２０の動きの停止であることを特徴とする請求項７８記載の遠隔制御方法。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後のある一定時間内における、上記移動オブジェクト２０の上記表示装置９に対する垂直軸上の動きであることを特徴とする請求項３３記載の遠隔制御方法。
電子機器１乃至１２及び１６用の遠隔制御装置において、
電子機器１乃至１２及び１６の実行可能な動作を表すアイコン２２を表示する表示装置９と、
視野内のユーザの体の一部２０を遠隔制御開始の指示として検出し、続いて、体の一部２０の動きを追跡し、上記ユーザの体の一部２０の動きを示すカーソル制御信号を出力する動作検出手段１５と、
上記表示装置９、上記電子機器１乃至１２及び１６及び上記動作検出手段１５に接続し、上記カーソル制御信号を受信し、上記ユーザの体の一部２０の動きに追従する移動可能な視覚的指示手段２４を表示させるように上記表示装置９を制御し、上記移動可能な視覚的指示手段２４を用いてユーザが選択した上記アイコン２２に対応する動作を実行させるように上記電子機器１乃至１２及び１６を制御する制御手段５乃至８及び１３乃至１６とを備え、
上記動作検出手段１５は、ビデオカメラ１３と、ランダムアクセスメモリ（random access memory）１４と、上記ビデオカメラ１３が出力する画像信号を上記ランダムアクセスメモリ１４に格納するランダムアクセスメモリインターフェース１５と、上記ランダムアクセスメモリインターフェース１５に接続し、上記ビデオカメラ１３が出力する画像信号における、時間的に連続した２つのビデオフレームｎ−１及びビデオフレームｎ間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）の画素値を比較し、マクロブロックＭＢｍに関して、上記２つのビデオフレームｎ−１及びビデオフレームｎ間の画素値の差が所定の閾値を超えたとき、上記マクロブロックＭＢｍにおいて動作が行われたと判断し、上記マクロブロックＭＢｍを活性領域であると判断する中央制御装置１６とを備え、
上記制御手段５乃至８及び１３乃至１６は、上記中央処理装置１６が制御する分離表示画面回路５を備えることを特徴とする遠隔制御装置。
上記動作検出手段１５は、視野内の上記ユーザの体の一部２０の所定の動きを遠隔制御開始の指示として検出することを特徴とする請求項８１記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、時間的に連続する２つのビデオフレームにおける各々の対応するマクロブロックを検査し、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであるかを判断することを特徴とする請求項８２記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性領域化する所定のパターンを示すものであることを判断した後、現活性領域が有する画像及び上記ランダムアクセスメモリ１４に格納された画像を比較し、上記現活性領域が有する画像及び上記ランダムアクセスメモリ１４に格納された画像が一致するとき、上記ビデオカメラ１３が出力する画像の現活性領域は上記ユーザの体の一部２０であると判断することを特徴とする請求項８３記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、上記ビデオカメラ１３が出力する画像においてユーザが選択した画像部分２５及び格納された画像を比較し、上記ビデオカメラ１３が出力する画像においてユーザが選択した上記画像部分２５と格納された画像が一致するとき、上記画像部分２５は上記ユーザの体の一部２０であると判断することを特徴とする請求項８２記載の遠隔制御装置。
上記中央処理装置１６は、上記移動可能な視覚的指示手段２４及び特定のアイコン２２が上記表示装置９上で重なったとき、上記ユーザの体の一部２０の所定の動きを検出することにより、ユーザによる上記アイコン２２の選択を検出することを特徴とする請求項８１記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後の、ある一定時間内における上記ユーザの体の一部２０の動きの停止であることを特徴とする請求項８６記載の遠隔制御装置。
上記所定の動きは、上記移動可能な視覚的指示手段２４と特定のアイコン２２が上記表示装置９上で重なった後の、ある一定時間内における、上記ユーザの体の一部２０の上記表示装置９に対する垂直軸上の動きであることを特徴とする請求項８６記載の遠隔制御装置。
上記動作検出手段１５は、第１のビデオカメラ１３と、上記第１のビデオカメラ１３に対して垂直方向に設置され、ユーザを監視する第２のビデオカメラ３１と、第２のランダムアクセスメモリ３２と、第２のランダムアクセスメモリインターフェース３３とを備えることを特徴とする請求項８１記載の遠隔制御装置。
上記中央処理装置１６は、上記ビデオカメラ１３、３１の各々が出力する画像信号における、時間的に連続する２つのビデオフレーム間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）の画素値を比較し、第１のマクロブロックに対応する２つのランダムアクセスメモリ１４、３２のうち、第１のランダムアクセスメモリに格納された２つのビデオフレーム間の差分が、所定の閾値を超えたとき、上記第１のマクロブロックにおいて動作が行われたと判断し、上記第１のマクロブロックを活性領域として判断し、第２のマクロブロックに対応する２つのランダムアクセスメモリ１４、３２のうち、第２のランダムアクセスメモリに格納された２つのビデオフレーム間の差分が、所定の閾値を超えたとき、上記第２のマクロブロックにおいて動作が行われたと判断し、上記第２のマクロブロックを活性領域として判断することを特徴とする請求項８８記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、上記ビデオカメラ１３、３１が出力する画像信号における時間的に連続する２つのビデオフレーム内の各々対応するマクロブロックを検査し、１つのビデオフレーム内において、隣接する複数のマクロブロックの集合が、活性領域化し、続いて、非活性領域化する所定のパターンを示すものであるかを判断することを特徴とする請求項９０記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、１つのビデオフレーム内の隣接する複数のマクロブロックの集合が、活性領域化し、続いて非活性化領域する所定のパターンを示すものであることを判断した後、現活性領域が有する画像及び格納された画像を比較し、上記現活性領域が有する画像及び格納された画像が一致するとき、上記ビデオカメラ１３、３１が出力する画像の現活性領域は上記ユーザの体の一部２０であることを判断することを特徴とする請求項９１記載の遠隔制御装置。
上記中央処理装置１６は、上記ユーザの体の一部２０を検出するとき、ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分２５及び上記ランダムアクセスメモリ１４、３２のどちらか一方のランダムアクセスメモリに格納された画像を比較し、上記ビデオカメラ１３、３１が出力する画像においてユーザが選択した画像部分２５と上記ランダムアクセスメモリ１４、３２のどちらか一方のランダムアクセスメモリに格納された画像が一致するとき、上記画像部分２５は上記ユーザの体の一部２０であると判断することを特徴とする請求項９２記載の遠隔制御装置。