JP2000196914A

JP2000196914A - 動作検知インタ―フェ―ス

Info

Publication number: JP2000196914A
Application number: JP29153999A
Authority: JP
Inventors: Ryuichi Iwamura; 隆一岩村
Original assignee: Sony Electronics Inc
Current assignee: Sony Electronics Inc
Priority date: 1998-10-13
Filing date: 1999-10-13
Publication date: 2000-07-14
Anticipated expiration: 2019-10-13
Also published as: JP5048890B2

Abstract

(57)【要約】（修正有）【課題】複数のアイコン表示装置及び視野内の動作を検
出する動作検出回路から構成される電子機器１乃至１２
及び１６用の遠隔制御装置を提供する。【解決手段】動作検出回路１５は、視野内における、移
動オブジェクト２０の画像又は移動オブジェクト２０の
所定の動きを、遠隔制御開始の指示として検出し、移動
オブジェクト２０の動きを追跡する。また、移動オブジ
ェクト２０の動きを示すカーソル制御信号を出力する。
制御回路５乃至８及び１３乃至１６は、表示装置９、電
子機器１乃至１２及び１６及び動作検出回路１５に接続
し、カーソル制御信号を受信すると、表示装置９を制御
し、移動オブジェクト２０の動きに追従する移動可能な
視覚的指示手段２４、すなわち、カーソルを表示させ、
電子機器１乃至１２及び１６に移動可能な視覚的指示手
段２４を用いてユーザが選択したアイコン２２に対応す
る処理を実行させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン受像
器等の電子機器用の遠隔制御装置、特に電子機器用の光
学動作感知遠隔制御装置に関する。

【０００２】

【従来の技術】遠隔からテレビジョン受像器を制御する
ための一般的な装置として、赤外線遠隔制御装置が用い
られている。しかしながら、従来の遠隔制御装置には欠
点が幾つかある。その一つとしては、遠隔制御装置はな
くなりやすいという点が挙げられる。また、ユーザは、
しばしば、ビデオカセットレコーダの遠隔制御装置とテ
レビジョン受像器の遠隔制御装置とを間違える。実際、
多くの人々が多数の遠隔制御装置を所有している。ま
た、ユーザは遠隔制御装置のどこに何のボタンが位置す
るかを覚えなくてはならない。また、遠隔制御装置は定
期的に電池を取り替えなければならない。テレビジョン
受像器にビデオカメラが備え付けてあり、ユーザの身振
りを読みとることができれば、遠隔制御装置は不要にな
る。しかしながら、テレビジョン受像器において、ビデ
オカメラに写る範囲内で、その他の動きとユーザのジェ
スチャーとを見分けることは容易ではない。例えば、ユ
ーザは、台所にスナックを取りに行くために立ち上がる
たびに、チャンネルを変わってしまっては、不都合であ
る。

【０００３】

【発明が解決しようとする課題】本発明は、上述した実
情に鑑みてなされたものであり、本発明は、電子機器に
おける予測可能な処理を示す複数のアイコンを表示する
表示装置及び視野内の動作を検出する動作検出回路から
構成される遠隔制御装置を提供することを目的とする。

【０００４】

【課題を解決するための手段】動作検出回路はユーザの
手の形及び視野内においてユーザが遠隔制御操作を開始
したことを示す所定の手の動きを検出した後に、その手
の動きを追跡する。なお、オブジェクトは必ずしも手で
ある必要はない。動作検出回路は手の動きを表すカーソ
ル制御信号を出力する。表示装置及び動作検出回路は制
御回路に接続している。制御回路は、カーソル制御信号
を受信し、可動移動可能な視覚的指示手段、すなわち、
カーソルを表示装置上に表示する。カーソルはユーザの
手の動きにあわせて表示装置上を移動する。また、制御
回路が電子機器を制御すると、制御された電子機器は、
ユーザが移動可能な視覚的指示手段を用いてユーザが選
択したアイコンに対応する操作を行う。

【０００５】本発明に係る実施例のいくつかにおいて、
ある特定のアイコンと移動可能な視覚的指示手段が表示
装置上で重なると、動作検出回路は、所定の手の動作パ
ターンを検出し、ユーザによるアイコンの選択を検出す
る。例えば、動作検出回路は、ある特定のアイコンと移
動可能な視覚的指示手段が表示装置上で重なった後のあ
る一定の期間における手の動作の休止を、ユーザによる
アイコンの選択として検出する。あるいはまた、ユーザ
がアイコンを押すような動作を行った場合、動作検出回
路は、この動作をボタンを押す操作として検出する。

【０００６】本発明の第１の実施例において、動作検出
回路はビデオカメラを備える。また、動作検出回路はビ
デオカメラから出力されるビデオ出力信号を受信し、２
つの連続するビデオフレーム間の各マクロブロックにお
ける動きベクトルを算出する。各ビデオフレームは複数
のブロックから構成される。各ブロックは、検出された
オブジェクトの動作を表すベクトルを有する。動作検出
回路は、隣接するほぼ同方向のベクトルを、１つの領域
としてグループ化する。各フレームについて、オブジェ
クトを追跡するか追跡しないか決定するとき、動作検出
回路は各領域を調査し、この領域が以下に示す（ａ）及
び（ｂ）の２つの条件を満たすものであるか否かを判断
する。

【０００７】（ａ）このベクトルが時計回り又は反時計
回りに一回転する。（ｂ）この領域が初めに位置していた位置に戻る。この領域が上記（ａ）及び（ｂ）の条件が満たすとき、
動作検出回路はこの領域をロックする。

【０００８】本発明の第２の実施例において、動作検出
回路は少なくとも１つのビデオカメラ、ランダムアクセ
スメモリインターフェース（random access memory int
erface）、ランダムアクセスメモリ（random access me
mory）、及びＣＰＵを備える。動作検出回路は、ビデオ
カメラから出力される２つの連続するビデオフレームに
おける各マクロブロックの画素値を比較して、動作を検
出する。２つの連続するビデオフレームにおける２つの
対応するマクロブロックの差分の絶対値がある一定の値
を超えた場合、動作検出回路は、このマクロブロックに
おいて動作が行われたと判断し、この領域を活性領域と
して判断する。

【０００９】各ビデオフレームについて、手の動きを追
跡するか追跡しないかを決定するとき、動作検出回路は
検出した活性領域を調査し、この活性領域が以下に示す
（ａ）及び（ｂ）の２つの条件を満たすものであるか否
かを判断する。

【００１０】（ａ）この活性領域が第１の方向に一直線
状の動きを行う。（ｂ）この活性領域が初めに位置していた場所に戻る。この活性領域が上記（ａ）及び（ｂ）の条件を満たすと
き、動作検出回路はこの活性領域をロックする。上述の
動きのほか、手の動きのロックを指示する動作として、
あらゆる種類の反復動作を用いることができる。

【００１１】また、本発明の第３の実施例において、動
作検出回路はビデオカメラから出力されるユーザが選択
した画像部分と予め記憶してある画像とを比較し、この
２つの画像が一致したとき、ビデオカメラから出力され
るユーザが選択した画像部分がユーザの手であると判断
する。上述した方法のほか、様々な方法を用いて、ユー
ザは自分の手を表す画像部分を選択することができる。

【００１２】本発明の全ての実施例において、ユーザ及
び動作検出回路間の距離の長短に関わらず、手の移動距
離と移動可能な視覚的指示手段の移動距離との比率を常
に一定に保つため、制御回路は自動カーソル感度調整機
能を備える。自動カーソル感度調節調整機構は、手２０
の移動距離に対応する移動可能な視覚的指示手段の移動
距離の比率を算出する。したがって、例えば、ユーザが
手を斜め方向に動かす動作を行った場合、ユーザ及び動
作検出回路間の距離の長短に関わらず、移動可能な視覚
的指示手段は表示画面の対角線上を移動する。

【００１３】

【発明の実施の形態】以下、本発明に係る電子機器用の
遠隔制御装置及び遠隔制御方法について、図面を参照し
ながら詳細に説明する。

【００１４】本発明の第１の実施例において、ユーザ
が、テレビジョン受像器にとって検出が容易な動作を行
うと、テレビジョン受像器はこの手の画像をロックす
る。また、本発明の変形例において、遠隔制御装置は、
視覚的にユーザの手を認識し、ロックする。なお、この
明細書では、「手」という用語を用いるが、このユーザ
の手に代えてその他の判別可能なオブジェクト用いても
よい。

【００１５】本発明の全ての実施例において、手の画像
がロックされると、テレビジョン受像器は手の動きを追
跡し、手の動きと同方向に、表示装置上のカーソルを移
動させる。すなわち、ユーザはパーソナルコンピュータ
のマウスを動かすように、手を用いてカーソルを動かす
ことができる。また、ユーザは、カーソルを移動させ、
表示装置上のアイコンから所望のアイコンを選択するこ
とができる。手の画像をロックした後にこの動きを見失
った場合、テレビジョン受像器はユーザに対してメッセ
ージを表示する。メッセージが表示されると、ユーザは
特定の手の動作を行うか、または、表示装置上の手の画
像を再び選択する。上述の方法により、テレビジョン受
像器は、手の画像を再びロックし、この動作を追跡す
る。

【００１６】図１は、本発明を適用した遠隔制御装置の
基本的な構造を示すブロック図である。ブロック１乃至
１２に示す部分は、従来のデジタルテレビジョン受像器
セットと同様である。アンテナ１は信号を受信する。チ
ューナ２は、アンテナ１が受信した信号を同調する。チ
ューナ２において同調された信号は、復調及び誤り訂正
ブロック３において、復調及び誤り訂正される。デマル
チプレクサ４は、ブロック３から供給された信号を分離
させる。分離表示画面（demultiplexed on-screen：以
下、ＯＳＤという）データはＯＳＤ回路５に供給され、
映像データはビデオデコーダ６に供給され、また、音声
データは音声デコーダ１０に供給される。スーパーイン
ポーザ（superimposer）７はＯＳＤデータ及び復調され
た映像データを混合し、陰極線管（cathode ray tube：
以下、ＣＲＴという）ブロック８に供給する。ＣＲＴブ
ロック８は、スーパーインポーザ７から供給されたデー
タをＣＲＴ９上に表示する。増幅器１１は復調された音
声信号を増幅し、ラウドスピーカ１２に出力する。

【００１７】ブロック１３乃至１６は、本発明の全ての
実施例において、主要な機能を果たす部位であり、ま
た、各々の実施例において、何らかの異なった機能を果
たす。ビデオカメラ１３はＣＲＴ９上に載置され、例え
ば、テレビジョン受像器セットの前のユーザ１８の画像
を捕捉すると、その画像を動作検出回路１５に供給す
る。動作検出回路１５はＲＡＭ１４及びＣＰＵ１６に接
続している。

【００１８】本発明の第１の実施例において、テレビジ
ョン受像器を遠隔操作したい場合、まず、ユーザ１８は
手２０を使って、判別可能な動作を繰り返し行う。この
判別可能な動作としては、例えば、図２に示すような、
円を描く動作や、図１４に示すように、手２０を２０
（ａ）の位置から２０（ｂ）へ移動する動作が例として
挙げられる。テレビジョン受像器は、上述した動作とそ
の他の動作とを区別し、ユーザの遠隔操作を行おうとす
る意図を感知する。このとき、テレビジョン受像器は、
図３及び図２１に示すように、ＣＲＴ９の画面上にメニ
ューボタンアイコン２２を表示する。ＣＰＵ１６により
手２０の画像が捕捉されると、ＣＰＵ１６はこの動きを
ロックし、ＣＲＴ９の画面上に表示されたカーソル２４
はロックされた手２０の動きに追従する。例えば、ユー
ザ１８が手２０を右に動かすと、同時に、ＣＲＴ９の画
面上に表示されたカーソル２４も右に移動する。手２０
及び、カーソル２４は、各々、パーソナルコンピュータ
におけるマウス及びカーソルと同様に機能する。なお、
テレビジョン受像器は手２０の絶対位置については関知
せず、移動速度及び移動方向のみを感知し、それに対応
して、カーソル２４を移動させる。カーソル２４がユー
ザ１８の希望するメニューボタンアイコンの位置に移動
すると、ユーザ１８は、この位置で、約２又は３秒間、
手２０を停止した状態を保つ。ＣＰＵ１６は、ボタンを
押す動作として、上述の動作を判断し、メニューボタン
アイコン２２が表す機能を実行する。一定時間内に、何
らかの動作が検出されない場合は、ＣＰＵ１６は時間切
れと判断し、メニューボタンアイコン２２を画面上から
削除し、再び、所定の動作の検出を始める。

【００１９】次に、本発明の第１の実施例における動作
検出回路１５について、説明する。まず、動作検出回路
１５は、２つの連続するフレーム間における各々のマク
ロブロックの動きベクトルを検出する。このとき、動作
検出回路１５は特定の閾値に満たない動きベクトルを削
除する。図４は１つのビデオフレームにおけるマクロブ
ロック全体の具体例を示す図である。なお、説明を簡潔
にするため、図中のマクロブロックを実際よりも少な
く、また大きく示す。動作検出回路１５は、動きベクト
ルを検出すると、図４に示すように、ほぼ同じ方向を有
する複数のベクトルを１つの領域としてグループ化す
る。例えば、図４は領域１及び領域２がグループ化され
たことを示す図である。この時点において、動作検出回
路１５は、どの領域に手２０の画像が属するかについて
は判断せず、全てのフレームに対して上述の処理を行
う。

【００２０】次フレーム中に、領域１とほぼ同位置に位
置し、且つ、ほぼ同方向を有するベクトルから構成され
る領域がある場合、動作検出回路１５はこの領域を上記
領域１に続く領域としてグループ化する。他の領域も同
様にしてグループ化される。新しい領域には、新しい名
前が与えられる。前フレーム中の領域に続く領域が検出
されない場合、動作検出回路１５はこの領域を削除す
る。図５乃至図８は、動きベクトルのスナップショット
を示す図であり、各々の間隔は０．５秒である。円を描
く動作を行う場合、通常３秒間を要する。図６に示すよ
うに、領域１は３秒以内に消滅しているため、動作検出
回路１５は、領域１を手２０の動作ではないと判断す
る。領域２は、手２０の動作が属する領域の候補として
残存する。全てのフレームに対して、動作検出回路１５
は各々の領域が以下（１）及び（２）の条件を満たすも
のであるかを検査する。

【００２１】（１）このベクトルが時計回り又は反時計
回りに１回転する。（２）この領域が初めに位置していた位置に戻る。

【００２２】ある領域が上述した２つの条件を満たすと
き、動作検出回路１５はこの領域を手２０の画像である
と判断する。

【００２３】動作検出回路１５は、図８に示すように、
領域２が手２０の画像であると判断すると、次に、図９
に示すように、領域２をロックし、この動きを追跡す
る。動作検出回路１５はＣＰＵ１６に対して、手２０の
動きをロックしたことを知らせ、また、手２０の動きに
ついての情報をＣＰＵ１６に供給する。ＣＰＵ１６は動
作検出回路１５から受信した情報をＯＳＤ回路５に供給
する。ＯＳＤ回路５は情報を受信すると、ＣＲＴ９上に
カーソル２４を表示させ、手２０の動きに追従させる。

【００２４】動作検出回路１５が手２０の進路を見失っ
た場合、動作検出回路１５はＣＰＵ１６にその情報を供
給する。ＣＰＵ１６は情報を受信すると、ＣＲＴ９上に
「手を右に動かして下さい」というメッセージを表示す
る。ユーザ１８がこのメッセージに従うと、次に、動作
検出回路１５はＣＰＵ１６を制御し、ＣＲＴ９上に「手
を上に動かして下さい」というメッセージを表示させ
る。ユーザ１８が、再度、このメッセージに従うと、動
作検出回路１５は、最初に右に移動し、次に上に移動す
る画像を検出することにより、手２０の画像を再び判断
し、ロックする。

【００２５】上述した特定の手２０の動作は、円を描く
ような動作に限定されるものではなく、その他の特定で
きる動作であってもよい。また、メニューボタンアイコ
ン２２を選択するときも、ユーザ１８は手２０を止める
だけでなく、その他の特定の動作を行うことが可能であ
る。円を描くような動作の変形例として、ユーザ１８は
図１０に示すように、例えば、左下から右上のように、
斜め方向に、数回、手２０を動かしてもよい。ユーザ１
８が手２０を上に動かすと、図１１中の領域３に示すよ
うに、動きベクトルは右上を指し、また、ユーザ１８が
手２０を下に動かすと、図１２中の領域３に示すよう
に、動きベクトルは左下を指す。すなわち、ユーザ１８
が手２０を動かすたびに、動きベクトルは反対方向を指
すことになる。したがって、動作検出回路１５は、一定
の時間内で、所定の回数だけ、所定の方向から反対の方
向へ指す動きベクトルを検出することにより、ユーザが
特定の動作を行ったことを判断し、手２０の動きをロッ
クする。

【００２６】上述した動作は、図２に示す円を描く動作
に比べて、ユーザ１８が行いやすい動作であり、また、
動作検出回路１５が検出しやすい動作である。しかしな
がら、この動作は、ユーザ１８により、意図せずに行わ
れることが頻繁にあり、そのため、誤って検出されるこ
とが多い。例えば、ユーザ１８が脚を上下に動かしたと
き、動作検出回路１５はその動作を上述した動きとし
て、誤って検出する可能性がある。これは、トレードオ
フである。

【００２７】カーソル２４のバリエーションとして、Ｏ
ＳＤ回路５はデジタルサテライトシステム・グラフィカ
ルユーザインターフェース（digital satellite system
graphical user interface）のように、メニューボタ
ンアイコン２２を強調表示してもよい。例えば、ユーザ
１８が手２０を上に動かすと、ＯＳＤ回路５は上部のメ
ニューボタンアイコン２２を強調表示する。ユーザ１８
は強調表示されたメニューボタンアイコン２２にカーソ
ルをあわせた状態で、手２０を停止させ、このメニュー
ボタンアイコン２２を選択する。本明細書及び請求の範
囲において、カーソル２４は、上述したような手２０の
動作に対応したメニューボタンアイコン２２の強調表示
を含む、動作検出回路１５に検出された手２０の動きに
追従する、表示装置上の全ての変化を意味するものとす
る。

【００２８】本発明の実施例において、画像認識の方法
は動きベクトルの検出に限定されるものではない。例え
ば、動作検出回路１５は、手２０の色が描く軌跡を追跡
し、この軌跡が円を描いた場合、この色の領域を手２０
の画像として検出し、ロックする。本発明の第２の実施
例においては、パターン照合法を、手２０の画像を検出
する方法として用いる。本発明において、最も重視すべ
き点は、ユーザは、動作検出回路１５が容易に手２０の
動き及びその他の動きの判別できるような、所定の特定
可能な動作を行うという点である。

【００２９】また、本発明はデジタルテレビジョン受像
器のみならず、アナログテレビジョン受像器又はパーソ
ナルコンピュータテレビジョン電話等の、ビデオカメラ
及び表示装置を備える装置全般に適用することができ
る。また、ＣＲＴ９と同様に、例えば、液晶表示装置又
はプロジェクタを用いることもできる。

【００３０】テレビジョン会議及びテレビジョン電話に
は、ＭＰＥＧ又はＨ２６１ビデオエンコーダを用いる。
図１３はビデオエンコーダの一般的な例を示す図であ
る。ビデオカメラ１００は、減算ノード１０１を介し
て、離散コサイン変換回路１０２に信号を供給し、離散
コサイン変換回路１０２は受信した信号を圧縮する。予
測フレームの場合には、減算ノードがビデオカメラ１０
０から信号を受信し、この信号を復元されたフレーム内
のデータから減算した後、離散コサイン変換回路１０２
がこの信号を離散コサイン変換処理する。量子化回路１
０３は、離散コサイン変換処理された信号を受信し、そ
の信号を量子化し、符号化されたストリームとして出力
する。逆量子化回路１０４は、量子回路から信号を受信
し、その信号を逆量子化し、逆離散コサイン変換回路１
０５に供給する。逆離散コサイン変換回路１０５は、受
信した信号を圧縮し、加算ノード１０６を介して、フレ
ーム１０７に供給する。フレーム１０７は、受信した信
号を格納する。予測フレームの場合には、加算ノード１
０６が、逆離散コサイン変換回路１０５から信号を受信
し、この信号に復元されたフレーム内のデータを加算し
た後、フレーム１０７に処理済みの信号を供給する。

【００３１】動作検出回路１０８は、フレームメモリ１
０７に接続しており、現フレームと前フレームを比較
し、各々のマクロブロックの動きベクトルを算出する。
動作検出回路１０８は、上述のように、動きベクトルを
算出し、したがって、与えられた領域における動きベク
トルを算出することにより、手２０の円を描く動作を検
出することができる。動作検出回路１０８は、手２０の
動作を示すデータをＣＰＵ１６に供給する。ブロック１
乃至１２は、図１に示すブロック１乃至１２と共通す
る。ブロック１３乃至１５がこのエンコーダの変形例と
置き換えることができる。動作検出回路と符号化装置を
一体化することにより、回路のサイズを縮小し、また、
コストを削減することができる。

【００３２】さらに、ビデオカメラ１３が、モータ駆動
されている場合、ＣＰＵ１６は、パン、チルト及びズー
ムを自動的に制御し、手２０の画像をビデオカメラ１３
の視野内において最適な位置、通常は中央に位置させ
る。

【００３３】本発明を適用した遠隔制御装置は、色信号
を必要としないため、暗所においては、赤外線カメラを
用いることができる。

【００３４】例えば、ＩＥＥＥ（Institute of Electri
cal and Electronics Engineers：米国電気電子技術者
協会）１３９４インターフェース（以下、単に１３９４
インターフェースという）等のネットワークインターフ
ェースにＣＰＵ１６を接続した場合、ＣＰＵ１６は、ネ
ットワークを介して、接続する他の装置に、手２０の位
置に関するデータを供給し、その装置を制御することが
できる。

【００３５】以下に説明する本発明の第２の実施例にお
いて、動作検出回路１５は、ＲＡＭインターフェース回
路を備える。その他、上述した第１の実施例と同じ構成
要素には同一の指示符号を付して、同様の機能を有する
場合、それらの説明は省略する。

【００３６】ＣＰＵ１６は、動作検出回路１５が備える
ＲＡＭインターフェース回路内の現ビデオフレームにお
ける各々のマクロブロックの画素値と、ＲＡＭ１４に格
納された前ビデオフレームにおいて対応するマクロブロ
ックの画素値を比較し、ビデオカメラ１３の視野内で動
作が行われたかどうか判断する。なお、各々のマクロブ
ロックは、縦１６、横１６の画素から構成される。

【００３７】次に、ＣＰＵ１６がどのように手２０の画
像を認識し、ロックするかについて説明する。ここで
は、横３５２、縦２８８の画素から構成されるビデオフ
レームを例として用いる。１つのマクロブロックは、縦
１６、横１６の画素から構成されるので、このビデオフ
レームは縦２２、横１８のマクロブロックを有する。図
１５は、２つの連続するビデオフレームｎ及びビデオフ
レームｎ−１を示す図である。ＭＢｍ（ｎ）は、フレー
ムｎにおけるｍ番目のマクロブロックを意味し、ＭＢｍ
（ｎ）［ｉ，ｊ］は、ＭＢｍ（ｎ）において、横ｉ行
目、縦ｊ列目に位置する画素を意味する。２つの連続す
るビデオフレームｎ−１及びビデオフレームｎにおけ
る、ＭＢｍ（ｎ−１）［ｉ，ｊ］及びＭＢｍ（ｎ）
［ｉ，ｊ］の差分は、以下の式で表される。なお、ＣＰ
Ｕ１６は、各々のマクロブロックについての差分を算出
する。関数ＡＢＳ（ｘ）はｘの絶対値を意味する。ｊ＝１５ｉ＝１５差分＝３３ＡＢＳ（ＭＢｍ（ｎ）［ｉ，ｊ］−ＭＢ
ｍ（ｎ−１）［ｉ，ｊ］）ｊ＝０ｉ＝０

【００３８】ＣＰＵ１６は、上記式によって求めた差分
が所定の閾値に満たないとき、ビデオフレームｎ−１及
びビデオフレームｎ間のマクロブロックＭＢｍにおいて
動作が行われなかったと判断する。このマクロブロック
を非活性マクロブロックと呼ぶ。本棚又はソファ等の静
止背景の場合、差分は０又は０に近い値をとる。一方、
差分が所定の閾値を超えたとき、ＣＰＵ１６はマクロブ
ロックＭＢｍにおいて、動作が行われたと判断する。こ
のマクロブロックを活性マクロブロックと呼び、図中に
おいては、斜線部で示す。ＣＰＵ１６は、２つの連続す
るビデオフレームｎにおいて対応する各々のマクロブロ
ックについて、画素値を算出する。ＣＰＵ１６は、隣接
する活性マクロブロックを、１つの領域としてグループ
化し、ＣＰＵ１６内部の記憶装置又はＲＡＭ１４に、こ
の領域を格納する。上述した算出は、前述の構成例にお
いて述べた動きベクトルの推定よりも単純である。この
演算処理は、ソフトウェアにより実現できる。この演算
処理は、ハードウェアを必要としない。

【００３９】ユーザ１８は、所定の動作を行い、表示装
置上にメニューボタンアイコン２２を表示させる。ユー
ザは、例えば、図１４に示すように、２０（ａ）の位置
及び２０（ｂ）の位置間で、手２０を斜め方向に２回動
かす。図１６及び図１７は、１つのビデオフレーム内の
マクロブロック全体を示す図である。なお、説明を簡潔
にするため、図中のマクロブロックの数を実際よりも少
なく示す。斜線部は活性マクロブロックを示す。ユーザ
１８が手２０の移動を開始すると領域１００における対
応するマクロブロックが活性化する。手２０が位置２０
（ｂ）の方向に移動するにつれて、活性領域は、右上
（領域１０１）に移動する。ユーザ１８が手２０を２０
（ｂ）の位置から２０（ａ）の位置へ戻すと、活性領域
は領域１００の位置に戻る。ユーザ１８が上述の動作を
繰り返したとき、活性領域はユーザ１８の手２０の動き
にあわせて、領域１００及び領域１０１間の移動を繰り
返す。これにより、活性領域が上述の条件を満たすと
き、ＣＰＵ１６は、この領域を手２０の画像として判断
し、手２０の位置を検出する。ビデオカメラの視野内に
おいて、その他の手２０の動作が行われている場合で
も、ＣＰＵ１６は活性領域の移動を判断することによ
り、手２０の所定の動きと手２０のその他の動きを区別
できる。

【００４０】ＣＰＵ１６は、手２０の位置を検出する
と、続いて、ＯＳＤ回路５にコマンドを供給する。ＯＳ
Ｄ回路５は、このコマンドを受信して、図２１に示すよ
うに、メニューボタンアイコン２２を生成する。次に、
ＣＰＵ１６は手２０の動きを追跡する。図１８乃至図２
１は、ユーザ１８が、手２０を、２０（ａ）の位置から
２０（ｃ）の位置に平行移動させたときの状態を示す図
である。ユーザ１８が上述の手２０の動作を行うと、Ｃ
ＰＵ１６が検出した活性領域は、図１９及び図２０に示
すように、領域１００から領域１０２に移動する。ＣＰ
Ｕ１６は、手２０が右に移動したと判断し、ＯＳＤ回路
５を制御して、カーソル２４をＣＲＴ９上で３０の位置
から３１の位置へ移動させる。上述のように、カーソル
２４は手２０の動きに追従する。ユーザ１８は、希望す
るメニューボタンアイコン２２上でカーソル２４を一定
時間停止させ、メニューボタンアイコン２２を選択す
る。ＣＰＵ１６は、ユーザ１８が選択したメニューボタ
ンアイコン２２を認識し、対応するタスクを実行する。

【００４１】ＣＰＵ１６は、手２０を見失った場合、Ｏ
ＳＤ回路５を制御して、ＣＲＴ９上に「手を右に動かし
て下さい」というメッセージを表示させる。ユーザ１８
がこのメッセージに従うと、続いて、ＣＰＵ１６はＯＳ
Ｄ回路５を制御し、ＣＲＴ９上に「手を上に動かして下
さい。」というメッセージを表示させる。再び、ユーザ
がこのメッセージに従うと、ＣＰＵ１６は、初めに右に
移動し、次に上に移動する画像を検出するすることによ
り、ＣＰＵ１６は、再び、手２０の画像を検出し、ロッ
クする。

【００４２】所定の手２０の動きは、上述したような直
線状の動きに限定されるものではなく、その他の特定可
能な動作であってもよい。また、メニューボタンアイコ
ン２２を選択するときも、ユーザ１８は、手２０の動き
を止めるだけでなく、その他の特定可能な動作を行うこ
とができる。直線状の動作の変形例として、ユーザ１８
は、図２８に示すように、例えば、左下から右上のよう
に、斜め方向に、数回、手２０を動かしてもよい。

【００４３】また、手２０の検出に画像認識技術を用い
てもよい。この方法は、上述した認識方法よりも、より
精密な認識方法であり、手２０の動きも小さい。ユーザ
１８は、図２２に示すように、手２０を広げる動作を行
うか、また、図２３（ａ）に示すように、手２０を握っ
た状態から、図２３（ｂ）に示すように、手２０を広げ
る動作を行う。ＣＰＵ１６は、このような手２０の動作
が行われると、対応するマクロブロックを活性マクロブ
ロックとして認識し、手２０の位置を検出する。ＣＰＵ
１６は、手２０の位置を検出すると、誤って検出するの
を防ぐため、手２０の画像をデジタル処理によりカット
アウト（cutout）し、手２０の画像であるかどうか判断
する。

【００４４】ＣＰＵ１６は、図２４に示すように、カッ
トアウトした手２０の画像を２値画像に変換する。広げ
た状態の手２０は、各々の指間にＶ字形が形成される点
を最も大きな特徴とする。ＣＰＵ１６は、例えば、水平
走査線Ｌ１上に位置するポイントｐ１及びポイントｑ２
のように、２値画像において、同一水平線上に位置する
縁端点の全てを検査する。水平走査線Ｌ１よりも下に位
置する水平走査線Ｌ２において、ポイントｐ２及びポイ
ントｑ２に示すように、２つの縁端点は近づいており、
最終的には一致する。ＣＰＵ１６は、上述のように、同
一の水平走査線上に位置する各々の縁端点間の距離を算
出することにより、画像の外郭がＶ字形を有するかどう
かを判断する。ＣＰＵ１６は、１又は複数のＶ字形を検
出した場合、この画像が手２０の画像であると判断す
る。手２０を検出した後、ＣＰＵ１６は手２０の動きを
追跡するが、その方法については、上述した手法と同様
である。上述のような手２０の画像認識は、あまり多く
の演算処理を必要としないため、ソフトウェアによる処
理が可能である。

【００４５】また、ＣＰＵ１６は、手２０の画像の輪郭
を認識するかわりに、手２０の画像照合を行うことによ
り、手２０を検出してもよい。以下、手２０の画像照合
方法について、図２５を参照して説明する。まず、ユー
ザ１８は、従来の赤外線遠隔制御装置を用いて、ＯＳＤ
回路５に信号を送信し、ビデオカメラ１３が撮影した画
像、すなわち、ユーザ自身の画像を、ＣＲＴ９上に表示
させる。つづいて、従来のグラフィカルユーザインター
フェースを用いて、手２０の画像２５を選択する。ＲＡ
Ｍ１４は画像２５を格納する。必要に応じて、例えば子
供の手２０や、左利きの人の手２０等の複数の手２０の
画像を格納してもよい。ユーザが手２０を固定させる
と、ＣＰＵ１６は、図２６に示すように、対応する領域
内の画像２６とＲＡＭ１４に格納された手２０の画像２
５を比較し、この両方が最も一致する位置を調査する。
図２７は、画像２５及び画像２６が最も一致した位置を
示す図である。画像２５及び画像２６は、必ずしも、完
全に一致するとは限らないが、ＣＰＵ１６は、前述した
マクロブロック間の差分の算出と同様に、画像２５及び
画像２６の差分の算出を行う。ＣＰＵ１６は、画像２５
及び画像２６の差分が所定の閾値に満たないとき、画像
２６を手２０であると判断し、手２０の動作を追跡す
る。なお、図面を簡略化するため、図２６及び図２７に
おいては、手２０の輪郭を示したが、実際は図２４に示
すように、２値画像を用いる。

【００４６】以上に述べたように、ＣＰＵ１６は様々な
方法を用いて、ユーザ１８の手２０をロックする。本発
明において、ユーザ１８は、ＣＰＵ１６が、容易に、手
２０の動き及びその他の動きを判別又は手２０の画像と
ビデオカメラ１３の視野内のその他のオブジェクトを区
別できるような、特定の動作を行わなければならない。

【００４７】手２０の移動距離は、ビデオカメラ１３の
視野角及びビデオカメラ１３及びユーザ１８間の距離に
依存する。図２８乃至図３０は、ユーザ１８が手２０を
斜め方向に動かしたときの状態を示す図である。ビデオ
カメラ１３の視野角が狭いか、もしくは、ユーザ１８及
びビデオカメラ１３間の距離が近いときと比較すると、
図２９に示すように、ビデオカメラ１３の視野角が広い
か、もしくは、ユーザ１８がビデオカメラ１３から離れ
ているとき、ＣＲＴ９上のカーソル２４の移動距離は短
くなる。また、ビデオカメラ１３の視野角が狭いとき、
もしくは、ユーザ１８及びビデオカメラ１３間の距離が
近いとき、図３０に示すように、手２０の動きに対応す
るカーソル２４の移動距離は長くなる。このよう場合、
カーソル２４の感度が一定であるとすると、前者、すな
わち、ビデオカメラ１３の視野角が広いか、もしくは、
ユーザ１８がビデオカメラ１３から離れた場所にいると
き、ユーザ１８が手２０を大きく動かしても、カーソル
２４の移動距離は比較的短くなる。同様に、後者、すな
わち、ビデオカメラ１３の視野角が狭いか、もしくは、
ユーザ１８及びビデオカメラ１３間の距離が近いとき、
ユーザ１８が小さく手２０を動かしたとしても、カーソ
ル２４の移動距離は長くなる。

【００４８】上述のような問題点を解決するため、ＣＰ
Ｕ１６は、自動カーソル感度制御機能を備える。ビデオ
カメラ１３の視野内における手２０の所定の動作が小さ
いとき、ＣＰＵ１６は、カーソル２４の移動距離を長く
し、一方、ビデオカメラ１３の視野内における手２０の
所定の動作が大きいときには、カーソル２４の移動距離
を短くする。例えば、図２９に示すように、手２０の所
定の動作が５０画素長であるとき、ＣＰＵ１６は、手２
０が１画素長移動するのに対して、カーソル２４を４画
素長移動させる。すなわち、ＣＰＵ１６は、検出した手
２０の移動距離に応じて、カーソル２４の移動距離を自
動的に算出する。図３０に示すように、手２０の所定の
動作が２００画素長のとき、ＣＰＵ１６は、手２０が１
画素長移動するのに対して、カーソル２４を１画素長移
動させる。ユーザ１８は、ビデオカメラ１３の視野角又
はビデオカメラ１３からの距離を考慮する必要はなく、
したがって、カーソル２４をＣＲＴ９の左端から右端ま
で移動させるときでも、手２０を大きく動かす必要はな
い。上述のような自動カーソル感度制御は、ＣＰＵ１６
に組みこまれたソフトウェアプログラムを用いて行う。

【００４９】図２８に示すように、ユーザが手２０を斜
め方向に動かす所定の動作を行うと、ＣＰＵ１６は手２
０の動きを追跡し、カーソル２４を表示画面において、
斜め方向に移動させる。ＣＰＵ１６は、常に、手２０の
ストローク距離に対するビデオフレームの斜め方向の距
離の比率を算出する。カーソル２４は、この比率に比例
して、制御される。ユーザ１８が、常に、一定距離だ
け、手２０を動かすと、ＣＰＵ１６は、この距離を検出
が必要とされる最も大きい手２０の動作として認識し、
対応するカーソル２４の移動距離を算出し、表示画面の
対角線上でカーソル２４を移動させる。上述のように算
出された、手２０の移動距離及び対応するカーソルの移
動距離における基準は、以後の手２０の動きについても
利用される。例えば、認識された手２０のストロークが
１０インチである場合、ＣＰＵ１６により手２０がロッ
クされると、ユーザ１８は、斜め方向に、手２０を１０
インチ動かすことにより、ＣＲＴ９上のカーソル２４を
左下端から右上端まで移動させることができる。同様
に、認識された斜め方向の手２０のストロークが２０イ
ンチである場合、ユーザ１８は、斜め方向に、手２０を
２０インチ動かすことにより、ＣＲＴ９上のカーソル２
４を左下端から右上端まで動かすことができる。

【００５０】ＣＰＵ１６は、カーソル２４のかわりに、
デジタル衛生システムグラフィカルユーザインターフェ
ース（digital satellite system graphical user inte
rface：ＤＳＳＧＵＩ）のように、メニューボタンア
イコン２２を強調表示してもよい。例えば、ユーザ１８
が手２０を上に上げると、ＣＰＵ１６は上部のメニュー
ボタンアイコン２２を強調表示する。本明細書におい
て、「カーソル」とは、例えば、ユーザ１８の手２０の
動きに対応するメニューボタンアイコン２２の強調表示
等の、ＣＰＵ１６が検出したユーザ１８の動作を追跡し
た結果の、テレビジョン受像器の表示装置上におけるあ
らゆる変化を含むものとする。

【００５１】また、本装置は、３次元の手２０の動作の
インターフェースにおいても適用することができる。図
３１及び図３２に示すように、第２のビデオカメラ３１
を、ユーザの右側又は左側に設置する。もしくは、天井
に取り付けてもよい。第２のビデオカメラ３１は、Ｚ軸
に示すように、表示画面に対して垂直な方向の手２０の
動作を感知する。図３１は、本装置の構成を示すブロッ
ク図である。ブロック１乃至１６は、図１に示す構成部
１乃至１６と共通するものであり、説明を簡潔にするた
め、図３１では省略する。ビデオカメラ３１はビデオカ
メラ１３と同様の機能を有し、ＲＡＭ３２はＲＡＭ１４
と同様の機能を有し、また、ＲＡＭインターフェース３
３はＲＡＭインターフェース１５と同様の機能を有し、
ＲＡＭ３２及びＲＡＭインターフェース３３では、Ｚ軸
上の動作を検出するために用いる。ビデオカメラ３１，
ＲＡＭ３２及びＲＡＭインターフェース３３は、ビデオ
カメラ１３、ＲＡＭ１４及びＲＡＭインターフェース１
５と同一の動作をする。

【００５２】まず、ユーザ１８が、例えば、斜め方向に
手２０を動かす等の、所定の動作を行うと、ＣＰＵ１６
は、上述のように、活性領域を検査し、Ｘ−Ｙ面上の手
２０の位置を検出する。また、ＣＰＵ１６は、ビデオカ
メラ３１から画像信号を受信し、Ｙ−Ｚ面上で手２０の
位置を検出する。ユーザ１８が、図３２に示すように、
２０（ａ）の位置及び２０（ｂ）の位置間で手２０を動
かすと、活性領域は、図１６及び図１７に示すように、
領域１００から領域１０１に移動する。一方、Ｙ−Ｚ面
上の領域は、図３３に示すように、領域２００及び領域
２０１間を移動する。これらの活性領域は同時に移動す
るため、ＣＰＵ１６は、容易に、Ｘ−Ｙ面上及びＹ−Ｚ
面上の手２０の位置を検出することができる。また、ユ
ーザ１８が手２０をＣＲＴ９に対して垂直方向に動かし
た場合、活性領域は、図３４に示すように、領域２００
から領域２０２に移動する。このように、ＣＰＵ１６
は、Ｚ軸上の手２０の動作を検出する。

【００５３】本発明の３次元インターフェースは、様々
に応用可能である。例えば、３次元インターフェース
は、２次元のＯＳＤにも適用することができる。Ｚ軸上
の動作は、メニューボタンアイコン２２を選択するため
に用いられる。メニューボタンアイコン２２を選択する
とき、ユーザ１８は、まず、所望のメニューボタンアイ
コン２２上で手２０を停止させる。次に、ユーザ１８
は、機械のボタンを押すときの動作と同じように、手２
０をＣＲＴ９に近づけ、そして、元の位置に戻す。ＣＰ
Ｕ１６は、このＺ軸上の動作をメニューボタンアイコン
２２の選択として検出し、検出したメニューボタンアイ
コン２２に対応する処理を実行する。

【００５４】また、Ｚ軸上の動作は、ズーミングを行う
ときにも、用いることができる。ユーザ１８が手２０を
ＣＲＴ９に近づけると、ＣＰＵ１６は、ＯＳＤ回路５及
びビデオデコーダ６にコマンドを送信する。ＯＳＤ回路
５及びビデオデコーダ６は、コマンドを受信すると、Ｃ
ＲＴ９上の手２０の画像を拡大する。ユーザ１８が手２
０をＣＲＴ９から遠ざけると、手２０の画像は縮小す
る。このような方法を用いることにより、ユーザ１８
は、極めて自然な感覚で、ズーミングを行うことができ
る。また、ユーザ１８は、ズーミングを行う前に、カー
ソル２４を用いて画像の範囲を選択したり、手２０の動
きにあわせてカーソル２４を移動させ、ズーミングの中
心を選択することができる。

【００５５】ユーザ１８は、３次元グラフィックスにお
いて、カーソル２４を制御することができるため、本発
明を適用したインターフェースはコンピュータゲームに
も適している。ユーザ１８が、手２０をＣＲＴ９に近づ
けると、カーソル２４は小さくなり、３次元グラフィッ
クスにおいて、遠くに位置するように見える。したがっ
て、ユーザ１８は、あるオブジェクトの背後に位置する
オブジェクトを選択することができる。例えば、ユーザ
１８は、ファイルホルダから書類を検索し、選ぶ動作を
体感することができる。このように、本発明を適用した
遠隔制御装置を用いることにより、ユーザ１８は、実際
にものを扱ってるかのような感覚を得ることができる。

【００５６】また、本発明を適用した遠隔制御装置は、
デジタルテレビジョン受像器のみならず、アナログテレ
ビジョン受像器、パーソナルコンピュータテレビジョン
電話の他、ビデオカメラ及びモニタ表示装置を備えるあ
らゆる装置に適用できる。また、表示装置は、ＣＲＴに
限定されるものではなく、液晶表示装置及びプロジェク
タ等のその他の表示装置を用いることも可能である。

【００５７】さらに、ビデオカメラ１３が、モータ駆動
されている場合、ＣＰＵ１６は、パン、チルト及びズー
ムを自動的に制御し、手２０の画像をビデオカメラ１３
の視野内において最適な位置、通常は中央に位置させ
る。

【００５８】本発明を適用した遠隔制御装置は、色信号
を必要としないため、暗所においては、赤外線カメラを
用いることができる。

【００５９】ＣＰＵ１６を、例えば、１３９４インター
フェース等のネットワークインターフェースに接続した
場合、本発明を適用した遠隔制御装置は、手の位置に関
するデータを、ネットワークを介して、接続する他の装
置に伝送し、その装置を制御することができる。ＣＰＵ
１６を、テレビジョン受像器と独立して構成してもよ
い。

【００６０】本発明の好適な実施の形態を用いて本発明
を説明したが、特許請求の範囲に示す本発明の思想を逸
脱することなく、上述の実施の形態を様々に変形及び修
正することができる。以下の請求の範囲における全ての
機能プラス手段又は機能プラスステップで示される構成
要素に対応する構造、要素、動作及び等価物には、他の
請求項において具体的に明示した構成要素とともに、そ
の機能を実現するあらゆる構造、要素又は動作が含まれ
るものとする。

【図面の簡単な説明】

【図１】本発明を適用した遠隔制御装置の基本的な構成
を示すブロック図である。

【図２】ユーザが、どのように、手の動作を用いて、図
１に示す遠隔制御装置に対して、遠隔制御を行う意図を
認識させるかを説明するための図である。

【図３】ユーザが、どのように図１に示す遠隔制御装置
を制御し、ユーザの手の動きに追従するカーソルを表示
画面上で移動させるかを説明するための図である。

【図４】図１に示す遠隔制御装置が動作を算出している
ときの、１つのビデオフレーム内におけるマクロブロッ
ク及び動きベクトルを矢印を用いて示す図である。

【図５】０．５秒間隔でとらえた動きベクトルのスナッ
プショットを示す図である。

【図６】０．５秒間隔でとらえた動きベクトルのスナッ
プショットを示す図である。

【図７】０．５秒間隔でとらえた動きベクトルのスナッ
プショットを示す図である。

【図８】０．５秒間隔でとらえた動きベクトルのスナッ
プショットを示す図である。

【図９】図１に示す遠隔制御装置が手の画像を判断し、
画像をロックしたときのマクロブロックのスナップショ
ットを示す図である。

【図１０】ユーザが、どのように、上述した手の動きと
異なる手の動きを用いて、図１に示す遠隔制御装置に対
して、遠隔制御を行う意図を認識させるかを説明するた
めの図である。

【図１１】図１０に示す手の動作を行ったときの、マク
ロブロック及び図１に示す遠隔制御装置が検出した動き
ベクトルを０．５秒間隔でとらえたスナップショットを
示す図である。

【図１２】図１０に示す手の動作を行ったときの、マク
ロブロック及び図１に示す遠隔制御装置が検出した動き
ベクトルを０．５秒間隔でとらえたスナップショットを
示す図である。

【図１３】電子機器において、ＭＰＥＧエンコーダを用
いた変形例の基本的な構成を示すブロック図である。

【図１４】本発明の第２の実施例において、ユーザが、
どのように手の動作を用いて、図１に示す遠隔制御装置
に対して、遠隔制御を行う意図を認識させるかを説明す
るための図である。

【図１５】本発明の第２の実施例において、どのように
動作が検出されるかを説明するための、２つの時間的に
連続するフレーム及び各々のフレームにおける対応する
マクロブロックを示す図である。

【図１６】本発明の第２の実施例における遠隔制御装置
が、斜線部で示す活性領域を演算処理したときの１つの
ビデオフレームにおけるマクロブロックを示す図であ
る。

【図１７】本発明の第２の実施例における遠隔制御装置
が、斜線部で示す活性領域を演算処理したときの１つの
ビデオフレームにおけるマクロブロックを示す図であ
る。

【図１８】本発明の第２の実施例において、カーソルを
操作するときの、ユーザの手の動きを示す図である。

【図１９】本発明の第２の実施例における遠隔制御装置
が、表示画面上のカーソルを操作するユーザの手の動き
を検出をしているときのマクロブロックを示す図であ
る。

【図２０】本発明の第２の実施例における遠隔制御装置
が、表示画面上のカーソルを操作するユーザの手の動き
を検出をしているときのマクロブロックを示す図であ
る。

【図２１】ユーザが、どのように、本発明の第２の実施
例における遠隔制御装置を制御し、表示画面上のカーソ
ルをユーザの手の動きに追従するように移動させ、表示
画面上のアイコンを選択するかを説明するための図であ
る。

【図２２】ユーザが、どのように、上述した手の動きと
異なる手の動きを用いて、本発明の第２の実施例におけ
る遠隔制御装置に、ユーザの手を認識させるかを説明す
るための図である。

【図２３】図２３（ａ）及び図２３（ｂ）は、各々、ユ
ーザが、どのように、上述した手の動きと異なる手の動
きを用いて、本発明の第２の実施例における遠隔制御装
置に対して、ユーザの手を認識させるかを説明するため
の図である。

【図２４】本発明の第３の実施例において、遠隔制御装
置が、どのように、ユーザの手の画像を認識するかを説
明するための図である。

【図２５】本発明の第３の実施例において、遠隔制御装
置が、どのように、ユーザの手の画像を認識するかを説
明するための図である。

【図２６】本発明の第３の実施例において、遠隔制御装
置が、どのように、ユーザの手の画像を認識するかを説
明するための図である。

【図２７】本発明の第３の実施例において、遠隔制御装
置が、どのように、ユーザの手の画像を認識するかを説
明するための図である。

【図２８】ユーザが、どのように、自動カーソル感度調
整機能の設定を行うかを説明するための図である。

【図２９】ユーザがテレビジョン受像器の近くに位置す
るとき、図１に示す遠隔制御装置が、どのように、ユー
ザによる斜め方向の手の動きを検出するかを示す図であ
る。

【図３０】ユーザがテレビジョン受像器から離れて位置
するとき、図１に示す遠隔制御装置が、どのように、ユ
ーザによる斜め方向の手の動きを検出するかを示す図で
ある。

【図３１】本発明の第４の実施例において、３次元の動
きを検出する遠隔制御装置の基本的な構成を示すブロッ
ク図である。

【図３２】図３１に示す遠隔制御装置を用いた実施例を
示す図である。

【図３３】図３１に示す遠隔制御装置が活性領域を演算
処理したときの１つのビデオフレームにおけるマクロブ
ロック及びその活性領域を斜線部で示す図である。

【図３４】図３１に示す遠隔制御装置が斜線部で示す活
性領域を演算処理したときの１つのビデオフレームにお
けるマクロブロックを示す図である。

Claims

【特許請求の範囲】

【請求項１】電子機器１乃至１２及び１６用の遠隔制
御装置において、電子機器１乃至１２及び１６が実行可能な処理を表す複
数のアイコン２２を表示する表示装置９と、視野内の移動オブジェクト２０の第１の所定の動きを遠
隔制御開始の指示として検出し、上記移動オブジェクト
２０の動きに追従し、上記移動オブジェクト２０の動き
を示すカーソル制御信号を出力する動作検出手段１５
と、上記表示装置９、上記電子機器１乃至１２及び１６及び
上記動作検出手段１５に接続し、上記カーソル制御信号
を受信し、上記移動オブジェクト２０の動きに追従する
移動可能な視覚的指示手段２４を表示させるように上記
表示装置９を制御し、上記移動可能な視覚的指示手段２
４を用いてユーザが選択したアイコン２２に対応する動
作を実行させるように上記電子機器１乃至１２及び１６
を制御する制御手段５乃至８及び１３乃至１６とを備え
る遠隔制御装置。
【請求項２】上記動作検出手段１５は、上記移動可能
な視覚的指示手段２４と特定のアイコン２２が上記表示
装置９上で重なったとき、上記移動オブジェクト２０の
第２の所定の動きを検出することにより、ユーザによる
アイコン２２の選択を検出することを特徴とする請求項
１記載の遠隔制御装置。
【請求項３】上記第２の所定の動きは、上記移動可能
な視覚的指示手段２４と特定のアイコン２２が上記表示
装置９上で重なった後のある一定時間内における上記移
動オブジェクト２０の動きの停止であることを特徴とす
る請求項２記載の遠隔制御装置。
【請求項４】上記動作検出手段１５は、ビデオカメラ
１３、３１を備えることを特徴とする請求項１記載の遠
隔制御装置。
【請求項５】上記移動可能な視覚的指示手段２４は、
カーソルであることを特徴とする請求項１記載の遠隔制
御装置。
【請求項６】上記電子機器１乃至１２及び１６は、テ
レビジョン受像器９であることを特徴とする請求項１記
載の遠隔制御装置。
【請求項７】上記表示装置９は、陰極線管であること
を特徴とする請求項１記載の遠隔制御装置。
【請求項８】上記移動オブジェクト２０は、ユーザの
手２０であり、上記第１の所定の動きは、円を描く動作
であることを特徴とする請求項１記載の遠隔制御装置。
【請求項９】上記動作検出手段１５は、ビデオカメラ
１３、３１を備え、上記ビデオカメラ１３、３１が出力
する映像信号における２つの連続するビデオフレーム間
の各々のマクロブロックの動きベクトルを算出すること
を特徴とする請求項１記載の遠隔制御装置。
【請求項１０】上記ビデオフレームの各々は、上記移
動オブジェクト２０の動きを示す複数の動きベクトルを
有する複数のマクロブロックから構成される領域１及び
領域２を有し、上記領域１及び２において、隣接する複
数の動きベクトルはほぼ同方向を指すことを特徴とする
請求項９記載の遠隔制御装置。
【請求項１１】上記動作検出手段１５は、上記移動オ
ブジェクト２０を追跡するか追跡しないかを決定すると
き、上記ビデオフレームの各々について、上記領域１及
び２が、（ａ）上記動きベクトルが時計回り又は反時計
回りに一回転する、（ｂ）上記領域１及び２が初めに位
置していた位置に戻るという２つの条件を満たすもので
あるかを判断し、上記２つの条件を満たす領域をロック
することを特徴とする請求項１０記載の遠隔制御装置。
【請求項１２】上記動作検出手段１５は、カメラ１０
０と、上記カメラ１００に接続し、上記カメラ１００が
出力する映像信号を離散コサイン変換する離散コサイン
変換手段１０２と、上記離散コサイン変換手段１０２に
接続し、離散コサイン変換処理された映像信号を量子化
する量子化手段１０３と、上記量子化手段１０３に接続
し、離散コサイン変換処理された映像信号を逆離散コサ
イン変換処理する逆離散コサイン変換手段１０５と、上
記逆離散コサイン変換手段１０５に接続し、上記逆離散
コサイン変換部からの出力信号を格納するフレームメモ
リ１０７と、予測フレームにおいて、上記カメラ１００
及び上記離散コサイン変換回路１０２間に介在し、上記
フレームメモリ１０７が出力する復元されたフレーム内
のデータから上記カメラ１００が出力する映像信号を減
算する減算ノード１０１と、予測フレームにおいて、上
記フレームメモリ及び上記逆離散コサイン変換回路１０
５間に介在し、上記逆離散コサイン変換回路１０５が出
力する映像信号に上記フレームメモリが出力する復元さ
れたフレーム内のデータを加算する加算ノード１０６
と、上記フレーム１０７に接続し、上記フレーム１０７
に格納された前フレーム及び現フレームを比較し、前フ
レーム及び現フレーム間の各々のマクロブロックに関し
て動きベクトルを算出する動作検出部１０８とを備える
ことを特徴とする請求項１記載の遠隔制御装置。
【請求項１３】上記ビデオフレームは、上記移動オブ
ジェクト２０の検出された動きを示す動きベクトルを有
する複数のマクロブロックから構成される領域１及び領
域２を有し、上記領域１及び領域２において、隣接する
動きベクトルはほぼ同方向を示すことを特徴とする請求
項１２記載の遠隔制御装置。
【請求項１４】上記動作検出手段１５は、上記移動オ
ブジェクト２０を追跡するか追跡しないかを決定すると
き、ビデオフレームの各々について、上記領域１及び２
が、（ａ）上記動きベクトルが時計回り又は反時計回り
に一回転する、（ｂ）上記領域１及び領域２が初めに位
置していた位置に戻るという２つの条件を満たすもので
あるかを判断し、上記２つの条件を満たす領域をロック
することを特徴とする請求項１３記載の遠隔制御装置。
【請求項１５】上記遠隔制御装置は、上記動作検出手
段１５が検出した移動オブジェクト２０の移動距離に対
応して、上記表示装置９上に表示される上記移動可能な
視覚的指示手段２４の移動距離を自動的に調整する自動
カーソル感度制御手段１６を備えることを特徴とする請
求項１記載の遠隔制御装置。
【請求項１６】上記自動カーソル感度制御手段１６
は、上記動作検出手段１５が検出した上記第１の所定の
動きに対応して、上記表示装置９上の上記移動可能な視
覚的指示手段２４の移動距離が一定となるように制御す
ることを特徴とする請求項１５記載の遠隔制御装置。
【請求項１７】電子機器１乃至１２及び１６の遠隔制
御方法において、表示装置９上に、上記電子機器１乃至１２及び１６の実
行可能な処理を表すアイコン２２を表示する表示ステッ
プと、視野内の上記移動オブジェクト２０の所定の動きを遠隔
制御開始の指示として検出し、上記移動オブジェクト２
０の動きを追跡し、上記移動オブジェクト２０の動きを
示すカーソル制御信号を出力する動作検出ステップと、上記移動オブジェクト２０の動きに追従する移動可能な
視覚的指示手段２４を表示させるように上記表示装置９
を制御し、上記移動可能な視覚的指示手段２４を用いて
ユーザが選択したアイコン２２に対応する処理を実行さ
せるように上記電子機器１乃至１２及び１６を制御する
制御ステップと備える遠隔制御方法。
【請求項１８】ユーザによる上記アイコン２２の選択
を検出するステップは、上記移動可能な視覚的指示手段
２４及び特定のアイコン２２が上記表示装置９上で重な
ったとき、上記移動オブジェクト２０の所定の動きを検
出するステップを有することを特徴とする請求項１７記
載の遠隔制御方法。
【請求項１９】ユーザによる上記アイコン２２の選択
を検出するステップは、上記移動可能な視覚的指示手段
２４と特定のアイコン２２が上記表示装置９上で重なっ
た後のある一定時間内における、上記移動オブジェクト
２０の動きの停止を検出するステップを有することを特
徴とする請求項１７記載の遠隔制御方法。
【請求項２０】上記移動可能な視覚的指示手段２４
は、カーソルであることを特徴とする請求項１７記載の
遠隔制御方法。
【請求項２１】上記電子機器１乃至１２及び１６は、
テレビジョン受像器９であることを特徴とする請求項１
７記載の遠隔制御方法。
【請求項２２】上記表示ステップは、陰極線管９上に
表示するステップを有することを特徴とする請求項１７
記載の遠隔制御方法。
【請求項２３】上記所定の動きは、上記移動オブジェ
クト２０による円を描く動きであること特徴とする請求
項１７記載の遠隔制御方法。
【請求項２４】上記動作検出ステップにおいて、ビデ
オカメラ１３、３１を用いることを特徴とする請求項１
７記載の遠隔制御方法。
【請求項２５】上記動作検出ステップは、上記ビデオ
カメラ１３、３１が出力する映像信号における２つの連
続するビデオフレーム間の各々のマクロブロックの動き
ベクトルを算出するステップを有することを特徴とする
請求項２４記載の遠隔制御方法。
【請求項２６】上記ビデオフレームの各々は、上記移
動オブジェクト２０の動きを示す複数の動きベクトルを
有する複数のマクロブロックから構成される領域１及び
領域２を有し、上記領域１及び２において、隣接する複
数の動きベクトルはほぼ同方向を指すことを特徴とする
請求項２５記載の遠隔制御方法。
【請求項２７】上記移動オブジェクト２０を追跡する
か追跡しないかを決定するとき、ビデオフレームの各々
について、上記領域１及び領域２が、（ａ）上記動きベ
クトルが時計回り又は反時計回りに一回転する、（ｂ）
上記領域１及び領域２が初めに位置していた位置に戻る
という２つの条件を満たすものであるかを判断し、上記
２つの条件を満たす領域をロックするステップを有する
請求項２６記載の遠隔制御方法。
【請求項２８】上記検出ステップは、上記ビデオカメ
ラ１３，３１が出力する画像信号をＭＰＥＧ規格に基づ
いて符号化するステップに属し、上記ビデオカメラ１
３，３１が出力する映像信号における前ビデオフレーム
及び現ビデオフレーム間の各々のマクロブロック間に関
して動きベクトルを算出するステップを有することを特
徴とする請求項２４記載の遠隔制御方法。
【請求項２９】上記ビデオフレームは、上記移動オブ
ジェクト２０の検出された動きを示す動きベクトルを有
する複数のマクロブロックから構成される領域１及び領
域２を有し、上記領域１及び領域２において、隣接する
動きベクトルはほぼ同方向を示すことを特徴とする請求
項２８記載の遠隔制御方法。
【請求項３０】上記移動オブジェクト２０を追跡する
か追跡しないかを決定するとき、ビデオフレームの各々
について、上記領域１及び領域２が、（ａ）上記動きベ
クトルが時計回り又は反時計回りに一回転する、（ｂ）
上記領域１及び領域２が初めに位置していた位置に戻る
という２つの条件を満たすものであるかを判断し、上記
２つの条件を満たす領域をロックするステップを有する
請求項２８記載の遠隔制御方法。
【請求項３１】上記動作検出ステップにおいて検出さ
れた上記移動オブジェクト２０の移動距離に対応して、
上記表示装置９上に表示される上記移動可能な視覚的指
示手段２４の移動距離を自動的に調整するステップを有
する請求項１７記載の遠隔制御方法。
【請求項３２】上記表示装置９上に表示される上記移
動可能な視覚的指示手段２４の移動距離を自動的に調整
するステップは、上記動作検出ステップにおいて検出さ
れた所定の動きに対応して、上記表示装置９上の上記移
動可能な視覚的指示手段２４の移動距離が一定であるよ
うに調整するステップを有することを特徴とする請求項
３１記載の遠隔制御方法。
【請求項３３】電子機器１乃至１２及び１６用の遠隔
制御装置において、電子機器１乃至１２及び１６が実行可能な処理を表す複
数のアイコン２２を表示する表示装置９と、視野内の移動オブジェクトの動きを検出する動作検出手
段１５であって、視野内の移動オブジェクト２０を遠隔
制御開始の指示として検出し、上記移動オブジェクト２
０の動きに追従し、上記移動オブジェクト２０の動きを
示すカーソル制御信号を出力する動作検出手段１５と、上記表示装置９、上記電子機器１乃至１２及び１６及び
上記動作検出手段１５に接続し、上記カーソル制御信号
を受信し、上記移動オブジェクト２０の動きに追従する
移動可能な視覚的指示手段２４を表示させるように上記
表示装置９を制御し、上記移動可能な視覚的指示手段２
４を用いてユーザが選択したアイコン２２に対応する動
作を実行させるように上記電子機器１乃至１２及び１６
を制御する制御手段５乃至８及び１３乃至１６とを備え
る遠隔制御装置。
【請求項３４】上記動作検出手段１５は、上記移動可
能な視覚的指示手段２４と特定のアイコン２２が上記表
示装置９上で重なったとき、上記移動オブジェクトの所
定の動きを検出することにより、ユーザによるアイコン
２２の選択を検出することを特徴とする請求項３３記載
の遠隔制御装置。
【請求項３５】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における上記移動オ
ブジェクト２０の動きの停止であることを特徴とする請
求項３４記載の遠隔制御装置。
【請求項３６】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における、上記移動
オブジェクト２０の上記表示装置９に対する垂直軸上の
動きであることを特徴とする請求項３３記載の遠隔制御
装置。
【請求項３７】上記動作検出手段１５は、初めに、視
野内の上記移動オブジェクト２０の所定の動きを遠隔制
御開始の指示として検出することを特徴とする請求項３
３記載の遠隔制御装置。
【請求項３８】上記動作検出手段１５は、少なくとも
１つのビデオカメラ１３を備えることを特徴とする請求
項３３記載の遠隔制御装置。
【請求項３９】上記動作検出手段１５は、上記ビデオ
カメラ１３が出力する画像信号における、時間的に連続
する２つのビデオフレームｎ−１及びビデオフレームｎ
間の互いに対応する各々のマクロブロックＭＢｍ（ｎ−
１）、ＭＢｍ（ｎ）の画素値を比較し、上記マクロブロ
ックＭＢｍに関して、２つのビデオフレームｎ−１及び
ビデオフレームｎ間の画素値の差が所定の閾値を超える
とき、上記マクロブロックＭＢｍにおいて動作が行われ
たと判断し、上記マクロブロックＭＢｍを活性領域であ
ると判断することを特徴する請求項３８記載の遠隔制御
装置。
【請求項４０】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、時間的に連続する２つ
のビデオフレームｎ−１及びビデオフレームｎにおける
各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ（ｎ）
を検査し、１つのビデオフレーム内の隣接する複数のマ
クロブロックの集合が、活性領域化し、続いて非活性領
域化する所定のパターンを示すものであるかを判断する
ことを特徴とする請求項３９記載の遠隔制御装置。
【請求項４１】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、１つのビデオフレーム
内の隣接する複数のマクロブロックの集合が、活性領域
化し、続いて非活性化領域する所定のパターンを示すも
のであることを判断した後、現活性領域が有する画像及
び格納された画像を比較し、上記現活性領域が有する画
像及び上記格納された画像が一致するとき、上記ビデオ
カメラ１３が出力する画像の現活性領域は上記移動オブ
ジェクト２０であることを判断することを特徴とする請
求項４０記載の遠隔制御装置。
【請求項４２】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１３
が出力する画像においてユーザが選択した画像部分２５
及び格納された画像を比較し、上記ビデオカメラ１３が
出力する画像においてユーザが選択した画像部分２５と
格納された画像が一致するとき、上記画像部分２５を上
記移動オブジェクト２０であると判断することを特徴と
する請求項３８記載の遠隔制御装置。
【請求項４３】上記移動可能な視覚的指示手段２４
は、カーソルであることを特徴とする請求項３３記載の
遠隔制御装置。
【請求項４４】上記電子機器１乃至１２及び１６は、
テレビジョン受像器９であることを特徴とする請求項３
３記載の遠隔制御装置。
【請求項４５】上記表示装置９は、陰極線管であるこ
とを特徴とする請求項３３記載の遠隔制御装置。
【請求項４６】上記遠隔制御装置は、上記動作検出手
段１５が検出した移動オブジェクト２０の移動距離に対
応して、上記表示装置９上に表示される上記移動可能な
視覚的指示手段２４の移動距離を自動的に調整する自動
カーソル感度制御手段１６を備えることを特徴とする請
求項３３記載の遠隔制御装置。
【請求項４７】上記自動カーソル感度制御手段１６
は、上記動作検出手段１５が検出した上記第１の所定の
動きに対応して、上記表示装置９上の上記移動可能な視
覚的指示手段２４の移動距離が一定となるように制御す
ることを特徴とする請求項４６記載の遠隔制御装置。
【請求項４８】上記動作検出手段１５は、互いに直角
をなすように設置され、ユーザを監視する２つのビデオ
カメラ１３、３１を備えることを特徴とする請求項３３
記載の遠隔制御装置。
【請求項４９】上記動作検出手段１５は、上記ビデオ
カメラ１３、３１が出力する画像信号における、時間的
に連続する２つのビデオフレームｎ−１及びビデオフレ
ームｎ間の互いに対応する各々のマクロブロックＭＢｍ
（ｎ−１）、ＭＢｍ（ｎ）の画素値を比較し、上記マク
ロブロックＭＢｍに関して、２つのビデオフレームｎ−
１及びビデオフレームｎ間の画素値の差が所定の閾値を
超えるとき、上記マクロブロックＭＢｍにおいて動作が
行われたと判断し、上記マクロブロックＭＢｍを活性領
域であると判断することを特徴する請求項４８記載の遠
隔制御装置。
【請求項５０】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１
３、３１が出力する画像信号における、時間的に連続す
る２つのビデオフレームｎ−１及びビデオフレームｎ間
の互いに対応する各々のマクロブロックＭＢｍ（ｎ−
１）、ＭＢｍ（ｎ）を検査し、１つのビデオフレーム内
の隣接する複数のマクロブロックの集合が、活性領域化
し、続いて非活性領域化する所定のパターンを示すもの
であるかを判断することを特徴とする請求項４９記載の
遠隔制御装置。
【請求項５１】上記動作検出手段１５は、移動オブジ
ェクト２０を検出するとき、上記ビデオカメラ１３、３
１の各々が出力する１つのビデオフレーム内の隣接する
複数のマクロブロックの集合が、活性領域化し、続いて
非活性化領域する所定のパターンを示すものであること
を判断した後、上記ビデオカメラ１３、３１の両方が出
力する画像の活性領域を活性領域としてロックすること
を特徴とする請求項５０記載の遠隔制御装置。
【請求項５２】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、１つのビデオフレーム
内の隣接する複数のマクロブロックの集合が、活性領域
化し、続いて非活性化領域する所定のパターンを示すも
のであることを判断した後、現活性領域が有する画像及
び格納された画像を比較し、上記現活性領域が有する画
像及び上記格納された画像が一致するとき、上記ビデオ
カメラ１３、３１が出力する画像の現活性領域は上記移
動オブジェクト２０であることを判断することを特徴と
する請求項５０記載の遠隔制御装置。
【請求項５３】上記動作検出手段１５は、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１
３、３１が出力する画像においてユーザが選択した画像
部分２５及び格納された画像を比較し、上記ビデオカメ
ラ１３、３１が出力する画像においてユーザが選択した
画像部分２５と格納された画像が一致するとき、上記画
像部分２５を上記移動オブジェクト２０であると判断す
ることを特徴とする請求項４８記載の遠隔制御装置。
【請求項５４】上記動作検出手段１５は、上記移動可
能な視覚的指示手段２４と特定のアイコン２２が上記表
示装置９上で重なったとき、上記移動オブジェクト２０
の所定の動きを検出することにより、ユーザによるアイ
コン２２の選択を検出することを特徴とする請求項４８
記載の遠隔制御装置。
【請求項５５】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における上記移動オ
ブジェクト２０の動きの停止であることを特徴とする請
求項５４記載の遠隔制御装置。
【請求項５６】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における、上記移動
オブジェクト２０の上記表示装置９に対する垂直軸上の
動きであることを特徴とする請求項５４記載の遠隔制御
装置。
【請求項５７】電子機器１乃至１２及び１６の遠隔制
御方法において、表示装置９上に、上記電子機器１乃至１２及び１６の実
行可能な処理を表すアイコン２２を表示する表示ステッ
プと、視野内の移動オブジェクトの動きを検出する動作検出ス
テップであって、上記移動オブジェクト２０を遠隔制御
開始の指示として検出し、上記移動オブジェクト２０の
動きを追跡し、上記移動オブジェクト２０の動きを示す
カーソル制御信号を出力する動作検出ステップと、上記移動オブジェクト２０の動きに追従する移動可能な
視覚的指示手段２４を表示させるように上記表示装置９
を制御し、上記移動可能な視覚的指示手段２４を用いて
ユーザが選択したアイコン２２に対応する処理を実行さ
せるように上記電子機器１乃至１２及び１６を制御する
制御ステップと備える遠隔制御方法。
【請求項５８】上記動作検出ステップは、上記移動可
能な視覚的指示手段２４と上記特定のアイコン２２が上
記表示装置９上で重なったとき、上記移動オブジェクト
２０の所定の動きを検出することにより、ユーザが上記
アイコン２２を選択したことを判断するステップを有す
ることを特徴とする請求項５７記載の遠隔制御方法。
【請求項５９】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における上記移動オ
ブジェクト２０の動きの停止であることを特徴とする請
求項５７記載の遠隔制御方法。
【請求項６０】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における、上記移動
オブジェクト２０の上記表示装置９に対する垂直軸上の
動きであることを特徴とする請求項５７記載の遠隔制御
方法。
【請求項６１】上記動作検出ステップは、初めに、視
野内の上記移動オブジェクト２０の所定の動きを遠隔制
御開始の指示として検出するステップを有することを特
徴とする請求項５７記載の遠隔制御方法。
【請求項６２】上記動作検出ステップは、上記ビデオ
カメラ１３を用いて、視野内の画像を生成するステップ
を有することを特徴とする請求項５７記載の遠隔制御方
法。
【請求項６３】上記動作検出ステップは、上記ビデオ
カメラ１３が出力する画像信号における時間的に連続す
る２つのビデオフレーム間の各々の対応するマクロブロ
ックの画素値を比較し、上記マクロブロックにおける２
つのビデオフレーム間の差分が所定の閾値を超えたと
き、上記マクロブロックにおいて動作が行われたと判断
し、上記マクロブロックが活性領域であると判断するス
テップを有することを特徴とする請求項６２記載の遠隔
制御方法。
【請求項６４】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、時間的に連続する２つ
のビデオフレームにおける各々対応する上記マクロブロ
ックを検査し、１つのビデオフレーム内において、隣接
する複数のマクロブロックの集合が、活性領域化し、続
いて非活性領域化する所定のパターンを示すものである
かを判断するステップを有することを特徴とする請求項
６３記載の遠隔制御方法。
【請求項６５】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１
３、３１の各々が出力する１つのビデオフレーム内にお
いて、隣接する複数のマクロブロックの集合が、活性領
域化し、続いて非活性領域化する所定のパターンを示す
ことを判断した後、現活性領域が有する画像及び格納さ
れた画像を比較し、上記現活性領域が有する画像と格納
された画像が一致するとき、上記ビデオカメラ１３、３
１が出力する画像の現活性領域は上記移動オブジェクト
２０であることを判断するステップを有することを特徴
とする請求項６３記載の遠隔制御方法。
【請求項６６】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、１つのビデオフレーム
内において、隣接する複数のマクロブロックの集合が活
性領域化し、続いて非活性領域化する所定のパターンを
示すことを判断した後、現活性領域が有する画像と格納
された画像を比較し、現活性領域が有する画像と格納さ
れた画像が一致するとき、上記ビデオカメラ１３が出力
する画像の現活性領域は上記移動オブジェクト２０であ
ることを判断するステップを有することを特徴とする請
求項６５記載の遠隔制御方法。
【請求項６７】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１３
が出力する画像においてユーザが選択した画像部分及び
格納された画像を比較し、上記ビデオカメラ１３が出力
する画像においてユーザが選択した画像部分と上記格納
された画像が一致するとき、ユーザが選択した画像部分
は上記移動オブジェクト２０であることを判断するステ
ップを有することを特徴とする請求項６６記載の遠隔制
御方法。
【請求項６８】上記移動可能な視覚的指示手段２４
は、カーソルであることを特徴とする請求項５７記載の
遠隔制御方法。
【請求項６９】上記電子機器１乃至１２及び１６は、
テレビジョン受像器であることを特徴とする請求項５７
記載の遠隔制御方法。
【請求項７０】上記表示装置９は、陰極線管であるこ
とを特徴とする請求項５７記載の遠隔制御方法。
【請求項７１】上記動作検出ステップにおいて検出さ
れた上記移動オブジェクト２０の移動距離に対応して、
上記表示装置９上に表示される上記移動可能な視覚的指
示手段２４の移動距離を自動的に調整するステップを有
する請求項５７記載の遠隔制御方法。
【請求項７２】上記表示装置９上に表示される上記移
動可能な視覚的指示手段２４の移動距離を自動的に調整
するステップは、上記動作検出ステップにおいて検出さ
れた所定の動きに対応して、上記表示装置９上の上記移
動可能な視覚的指示手段２４の移動距離が一定であるよ
うに調整するステップを有することを特徴とする請求項
７１記載の遠隔制御方法。
【請求項７３】上記動作検出ステップは、互いに直角
をなすよう設置され、ユーザを監視する上記ビデオカメ
ラ１３、３１を用いて、同時に２つの画像を生成するス
テップを有することを特徴とする請求項５７記載の遠隔
制御方法。
【請求項７４】上記動作検出ステップは、上記ビデオ
カメラ１３、３１が出力する画像信号における時間的に
連続する２つのビデオフレーム間の各々の対応するマク
ロブロックの画素値を比較し、上記マクロブロックにお
ける２つのビデオフレーム間の差分が所定の閾値を超え
たとき、上記マクロブロックにおいて動作が行われたと
判断し、上記マクロブロックが活性領域であると判断す
るステップを有することを特徴とする請求項７３記載の
遠隔制御方法。
【請求項７５】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、ビデオカメラ１３、３
１が出力する画像信号における時間的に連続する２つの
ビデオフレーム内のマクロブロックを検査し、１つのビ
デオフレーム内において、隣接する複数のマクロブロッ
クの集合が、活性領域化し、続いて非活性領域化する所
定のパターンを示すものであるかを判断するステップを
有することを特徴とする請求項７４記載の遠隔制御方
法。
【請求項７６】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１
３、３１の各々が出力する１つのビデオフレーム内にお
いて、隣接する複数のマクロブロックの集合が、活性領
域化し、続いて非活性領域化する所定のパターンを示す
ことを判断した後、現活性領域が有する画像及び格納さ
れた画像を比較し、上記現活性領域が有する画像と格納
された画像が一致するとき、上記ビデオカメラ１３、３
１が出力する画像の現活性領域は上記移動オブジェクト
２０であることを判断するステップを有することを特徴
とする請求項４５記載の遠隔制御方法。
【請求項７７】上記動作検出ステップは、上記移動オ
ブジェクト２０を検出するとき、上記ビデオカメラ１
３、３１が出力する画像においてユーザが選択した画像
部分及び格納された画像を比較し、上記ビデオカメラ１
３、３１が出力する画像においてユーザが選択した画像
部分と上記格納された画像が一致するとき、ユーザが選
択した画像部分は上記移動オブジェクト２０であること
を判断するステップを有することを特徴とする請求項７
３記載の遠隔制御方法。
【請求項７８】上記動作検出ステップは、上記移動可
能な視覚的指示手段２４及び特定のアイコン２２が上記
表示装置上で重なったとき、上記移動オブジェクト２０
の所定の動きを検出することにより、ユーザによるアイ
コンの選択を検出するステップを有することを特徴とす
る請求項７３記載の遠隔制御方法。
【請求項７９】上記第２の所定の動きは、上記移動可
能な視覚的指示手段２４と特定のアイコン２２が上記表
示装置９上で重なった後のある一定時間内における上記
移動オブジェクト２０の動きの停止であることを特徴と
する請求項７８記載の遠隔制御方法。
【請求項８０】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後のある一定時間内における、上記移動
オブジェクト２０の上記表示装置９に対する垂直軸上の
動きであることを特徴とする請求項３３記載の遠隔制御
方法。
【請求項８１】電子機器１乃至１２及び１６用の遠隔
制御装置において、電子機器１乃至１２及び１６の実行可能な動作を表すア
イコン２２を表示する表示装置９と、視野内のユーザの体の一部２０を遠隔制御開始の指示と
して検出し、続いて、体の一部２０の動きを追跡し、上
記ユーザの体の一部２０の動きを示すカーソル制御信号
を出力する動作検出手段１５と、上記表示装置９、上記電子機器１乃至１２及び１６及び
上記動作検出手段１５に接続し、上記カーソル制御信号
を受信し、上記ユーザの体の一部２０の動きに追従する
移動可能な視覚的指示手段２４を表示させるように上記
表示装置９を制御し、上記移動可能な視覚的指示手段２
４を用いてユーザが選択した上記アイコン２２に対応す
る動作を実行させるように上記電子機器１乃至１２及び
１６を制御する制御手段５乃至８及び１３乃至１６とを
備え、上記動作検出手段１５は、ビデオカメラ１３と、ランダ
ムアクセスメモリ（random access memory）１４と、
上記ビデオカメラ１３が出力する画像信号を上記ランダ
ムアクセスメモリ１４に格納するランダムアクセスメモ
リインターフェース１５と、上記ランダムアクセスメモ
リインターフェース１５に接続し、上記ビデオカメラ１
３が出力する画像信号における、時間的に連続した２つ
のビデオフレームｎ−１及びビデオフレームｎ間の互い
に対応する各々のマクロブロックＭＢｍ（ｎ−１）、Ｍ
Ｂｍ（ｎ）の画素値を比較し、マクロブロックＭＢｍに
関して、上記２つのビデオフレームｎ−１及びビデオフ
レームｎ間の画素値の差が所定の閾値を超えたとき、上
記マクロブロックＭＢｍにおいて動作が行われたと判断
し、上記マクロブロックＭＢｍを活性領域であると判断
する中央制御装置１６とを備え、上記制御手段５乃至８及び１３乃至１６は、上記中央処
理装置１６が制御する分離表示画面回路５を備えること
を特徴とする遠隔制御装置。
【請求項８２】上記動作検出手段１５は、視野内の上
記ユーザの体の一部２０の所定の動きを遠隔制御開始の
指示として検出することを特徴とする請求項８１記載の
遠隔制御装置。
【請求項８３】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、時間的に連続する２つ
のビデオフレームにおける各々の対応するマクロブロッ
クを検査し、１つのビデオフレーム内の隣接する複数の
マクロブロックの集合が、活性領域化し、続いて非活性
領域化する所定のパターンを示すものであるかを判断す
ることを特徴とする請求項８２記載の遠隔制御装置。
【請求項８４】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、１つのビデオフレーム
内の隣接する複数のマクロブロックの集合が、活性領域
化し、続いて非活性領域化する所定のパターンを示すも
のであることを判断した後、現活性領域が有する画像及
び上記ランダムアクセスメモリ１４に格納された画像を
比較し、上記現活性領域が有する画像及び上記ランダム
アクセスメモリ１４に格納された画像が一致するとき、
上記ビデオカメラ１３が出力する画像の現活性領域は上
記ユーザの体の一部２０であると判断することを特徴と
する請求項８３記載の遠隔制御装置。
【請求項８５】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、上記ビデオカメラ１３
が出力する画像においてユーザが選択した画像部分２５
及び格納された画像を比較し、上記ビデオカメラ１３が
出力する画像においてユーザが選択した上記画像部分２
５と格納された画像が一致するとき、上記画像部分２５
は上記ユーザの体の一部２０であると判断することを特
徴とする請求項８２記載の遠隔制御装置。
【請求項８６】上記中央処理装置１６は、上記移動可
能な視覚的指示手段２４及び特定のアイコン２２が上記
表示装置９上で重なったとき、上記ユーザの体の一部２
０の所定の動きを検出することにより、ユーザによる上
記アイコン２２の選択を検出することを特徴とする請求
項８１記載の遠隔制御装置。
【請求項８７】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後の、ある一定時間内における上記ユー
ザの体の一部２０の動きの停止であることを特徴とする
請求項８６記載の遠隔制御装置。
【請求項８８】上記所定の動きは、上記移動可能な視
覚的指示手段２４と特定のアイコン２２が上記表示装置
９上で重なった後の、ある一定時間内における、上記ユ
ーザの体の一部２０の上記表示装置９に対する垂直軸上
の動きであることを特徴とする請求項８６記載の遠隔制
御装置。
【請求項８９】上記動作検出手段１５は、第１のビデ
オカメラ１３と、上記第１のビデオカメラ１３に対して
垂直方向に設置され、ユーザを監視する第２のビデオカ
メラ３１と、第２のランダムアクセスメモリ３２と、第
２のランダムアクセスメモリインターフェース３３とを
備えることを特徴とする請求項８１記載の遠隔制御装
置。
【請求項９０】上記中央処理装置１６は、上記ビデオ
カメラ１３、３１の各々が出力する画像信号における、
時間的に連続する２つのビデオフレーム間の互いに対応
する各々のマクロブロックＭＢｍ（ｎ−１）、ＭＢｍ
（ｎ）の画素値を比較し、第１のマクロブロックに対応
する２つのランダムアクセスメモリ１４、３２のうち、
第１のランダムアクセスメモリに格納された２つのビデ
オフレーム間の差分が、所定の閾値を超えたとき、上記
第１のマクロブロックにおいて動作が行われたと判断
し、上記第１のマクロブロックを活性領域として判断
し、第２のマクロブロックに対応する２つのランダムア
クセスメモリ１４、３２のうち、第２のランダムアクセ
スメモリに格納された２つのビデオフレーム間の差分
が、所定の閾値を超えたとき、上記第２のマクロブロッ
クにおいて動作が行われたと判断し、上記第２のマクロ
ブロックを活性領域として判断することを特徴とする請
求項８８記載の遠隔制御装置。
【請求項９１】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、上記ビデオカメラ１
３、３１が出力する画像信号における時間的に連続する
２つのビデオフレーム内の各々対応するマクロブロック
を検査し、１つのビデオフレーム内において、隣接する
複数のマクロブロックの集合が、活性領域化し、続い
て、非活性領域化する所定のパターンを示すものである
かを判断することを特徴とする請求項９０記載の遠隔制
御装置。
【請求項９２】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、１つのビデオフレーム
内の隣接する複数のマクロブロックの集合が、活性領域
化し、続いて非活性化領域する所定のパターンを示すも
のであることを判断した後、現活性領域が有する画像及
び格納された画像を比較し、上記現活性領域が有する画
像及び格納された画像が一致するとき、上記ビデオカメ
ラ１３、３１が出力する画像の現活性領域は上記ユーザ
の体の一部２０であることを判断することを特徴とする
請求項９１記載の遠隔制御装置。
【請求項９３】上記中央処理装置１６は、上記ユーザ
の体の一部２０を検出するとき、ビデオカメラ１３、３
１が出力する画像においてユーザが選択した画像部分２
５及び上記ランダムアクセスメモリ１４、３２のどちら
か一方のランダムアクセスメモリに格納された画像を比
較し、上記ビデオカメラ１３、３１が出力する画像にお
いてユーザが選択した画像部分２５と上記ランダムアク
セスメモリ１４、３２のどちらか一方のランダムアクセ
スメモリに格納された画像が一致するとき、上記画像部
分２５は上記ユーザの体の一部２０であると判断するこ
とを特徴とする請求項９２記載の遠隔制御装置。