JP2009010849A - 電子機器の制御装置 - Google Patents

Abstract

【課題】表示された操作ボタンに対するユーザの空間の手の動きにより電子機器を制御する装置において、複数配列されている操作ボタンに対するユーザの手の動きによっては、ユーザが操作ボタン上に位置することを示すフラグが得られないことがある。
【解決手段】第１の動作検出器９１は表示されているプッシュボタンに手がかざされている間出力され、プッシュボタンが選択されていることを表すパルスである活性化フラグを出力する。フラグ発生器１１１は、時間差分フィルタ５３から出力される、プッシュボタンに対応した検出領域の周辺の周辺検出領域に手がかざされている面積に応じた動き発生量データが所定の閾値以上のときにハイレベルの動作検出フラグを出力する。フラグ制御器１１２は活性化フラグと動作検出フラグに基づいて、時間差分フィルタ５３内の検出領域における画像信号を書き込むメモリへの書き込みを停止するためのフラグを生成する。
【選択図】図２０

Description

本発明は電子機器の制御装置に係り、特にビデオカメラで撮像した人の手などの動作の画像を認識して、テレビジョン受像機などの電子機器の遠隔操作を行うための電子機器の制御装置に関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で家電機器を遠隔制御できるユーザインターフェースが広く普及し、家電製品の操作形態を大きく変貌させた。現在においてもこの操作形態が主流である。リモコンは一機能をその機能に割り当てられた一つのキーを押下することで実行する仕組みが基本となっている操作装置である。例えば、テレビジョン受像機に付属するリモコンでは、「電源」、「チャンネル」、「音量」、「入力切替」などの機能を遠隔操作するためのキーが存在する。このリモコンによる遠隔操作方法は、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送を受信するテレビジョン受像機において、所望のメニュー画面を選択するためには、リモコンの「上」、「下」、「左」、「右」や「決定」キーを何度も押下する必要があり、リモコンでの操作は煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）を用いて操作する場合は、マトリクスに配列された案内画面から所望の位置を選択して、リモコンのキーを押下する必要があるため、データ放送受信用テレビジョン受像機と同様にきめ細かな選択操作が必要であるという課題を有している。

そこで、このような課題を解決するために、マウスまたはこれに類似した位置指定操作装置を使って得られる位置指定情報を、リモコンキーのキー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている（例えば、特許文献１参照）。

しかしながら、特許文献１に示された制御装置は、パーソナルコンピュータ（以下、パソコン）の操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものである。従って、パソコンを利用しない人にとっては使いづらいもので、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま導入することは無理がある。そこで、遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。

更に、ネットワーク化の進展は、宅内のストレージメディアや宅外のインターネットから得られる多様な情報を、テレビジョン受像機やパソコンのディスプレイに表示することで情報を受容することになる。この場合の操作形態は情報源に依存するため、多様な操作形態に対応する必要があり、家電機器に付属する現状のリモコンでは充分な対応ができない。

以上説明したように、従来のリモコンでは、テレビジョン受像機などの機能の多様化と複雑化に対して、キーの数が増大し（リモコンが肥大化し）、使い難い。また、データ放送などを受信するテレビジョン受像機において、所望のメニュー画面の選択操作を従来のリモコンで行うと、ポインティング装置としての役割がより重要となるため、従来のリモコンでは使い勝手の面で難点が多い。また、ネットワーク化は、ネットワークにつながるあらゆる機器の機能を、表示装置を介して制御することになり、つながる機器の数に比例してリモコンの数が増える問題がある。

この問題は、テレビジョン受像機につながるＶＴＲ・ビデオディスク・その他オーディオ機器などでも現実にどのリモコンが該当のリモコンであるか判別がつかなくなるようなことで、現状でもよく経験している現象である。さらにインターネットに至っては、あらゆるウェッブサイトの情報を選択制御することになり、もはや従来のリモコンの形態では限界に達していることは自明である。

そこで、本出願人は、上述した点に着目して、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器の制御装置を開示した（例えば、特許文献２参照）。この本出願人による電子機器の制御装置では、ユーザの手の動作をビデオカメラで撮影して、手の撮影画像を操作ボタンを含む操作用画像と共に表示装置に表示させ、表示された手を表示された操作ボタン上に移動させて指を曲げる動作をすると、その動作から対応する制御動作を実行させる構成である。これにより、この本出願人による電子機器の制御装置によれば、リモコンを用いることなく電子機器の遠隔操作を可能とする。

特開２００３−２８３８６６号公報 特開２００６−０９１９４８号公報

しかしながら、上記の特許文献２記載の従来の電子機器の制御装置では、ビデオカメラで撮影したユーザの撮像信号からユーザの手の画像を抽出することが前提であり、複数の操作ボタンに対する、表示された手の作用を踏まえたアルゴリズムが前提となっている。すなわち、上記の従来の電子機器の制御装置では、表示されている複数の操作ボタンに表示されている手がまたがるときや、手以外の物体による誤検出により、所望の操作を阻害してしまう事態に陥る問題がある。

そこで、本出願人は、ユーザの手をより確実に抽出するために、特願２００６−２４３７８号にてオブジェクト抽出器に時間差分フィルタを設け、確実にユーザの手の動作を抽出できる電子機器の制御装置を提案している。

また、本出願人は、特願２００６−２７７１４０号にて、複数のボタンに対しても所望の操作を認識できるように、手による操作の特質を鑑みたアルゴリズムの電子機器の制御装置を提案している。この提案になる電子機器の制御装置では、表示装置に表示されている複数の操作検出領域のうち、ユーザが指し示したと判断される操作検出領域が複数あっても、最も優先順位の高い操作検出領域のみをユーザが指し示した操作対象領域として特定することで、ユーザが操作対象としている唯一の操作検出領域のみに絞って、その操作検出領域に対応した制御を行うことができる。

しかしながら、上記の本出願人の提案になる先の２つの特許出願に係る電子機器の制御装置を併用した場合、縦方向に配置された複数の操作ボタンを選択する際、ユーザの手の操作方向が、下から上へ向かう時は、問題なく所望の操作を行うことが可能であるが、上から下へ向かう時、ユーザの手を背景画像としてボタンメモリに書き込んでしまう場合があり（詳細については後述する）、時間差分フィルタが正常に動作しないという問題がある。

本発明は上記の点に鑑みなされたもので、ユーザの手の操作方向を限定せず、あらゆる手の動きに対しても正確に検出して、ユーザが意図した操作を行い得る電子機器の制御装置を提供することを目的とする。

上記の目的を達成するため、本発明は表示装置を備えた電子機器の制御装置において、表示装置の前に位置する操作者を撮影するビデオカメラと、ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器と、優先順位が付加された複数の操作ボタン画像を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器と、鏡像変換画像信号と操作用画像信号とを混合して混合画像信号を生成する混合器と、鏡像変換画像信号における複数の操作ボタン画像に対応する複数の検出領域内に含まれる各画像信号をそれぞれ記憶する第１のメモリと、鏡像変換画像信号における複数の検出領域のそれぞれに対応し、各検出領域の周辺に位置する複数の周辺検出領域内に含まれる各画像信号をそれぞれ記憶する第２のメモリと、表示装置に表示中の鏡像変換画像信号における複数の検出領域内に含まれる各画像信号と、第１のメモリから読み出された、複数の検出領域内に含まれていた各画像信号とのそれぞれの第１の差分に基づいて、複数の検出領域毎に第１の画像信号をそれぞれ生成する第１の減算器と、表示装置に表示中の鏡像変換画像信号における複数の周辺検出領域内に含まれる各画像信号と、第２のメモリから読み出された、複数の周辺検出領域内に含まれていた各画像信号とのそれぞれの第２の差分に基づいて、複数の周辺検出領域毎に第２の画像信号をそれぞれ生成する第２の減算器と、第１の画像信号に基づいて、複数の検出領域のうちから、表示装置に表示された操作者が操作したと判断される検出領域を検出し、この検出した検出領域が複数あった場合は、この複数の検出領域のうち、優先順位が最も高い検出領域を一つ選択して操作対象領域とし、この検出した検出領域が一つの場合は、この検出領域を操作対象領域とし、表示装置に表示された操作者が操作対象領域を操作した期間に対応した期間、第１のフラグを第１の論理値に設定する検出器と、第２の画像信号に基づいて、複数の周辺検出領域内における表示装置に表示された操作者の動いた領域の大きさに応じて発生する発生量を示す動き発生量データを算出する算出器と、動き発生量データが予め定めた閾値を越えた期間、第２のフラグを第２の論理値に設定するフラグ生成器と、第１のフラグの値と第２のフラグの値とに基づいて、第１のメモリの書き込みを停止するための書き込み停止フラグを生成するフラグ制御器と、検出器により検出された操作対象領域が、操作者によって確かに操作された領域であるか否かを検出し、操作者が確かに操作したことを検出した場合は、操作対象領域に対応した電子機器の制御動作を行う制御部と、
を有し、上記フラグ制御器は、
第１のフラグが第１の論理値でないときは第２のフラグが第２の論理値である期間、その第２のフラグが付加されている周辺検出領域に対応する検出領域内の画像信号の第１のメモリへの書き込みを停止する書き込み停止フラグを生成し、第１のフラグが第１の論理値に設定された時点で第２のフラグが第２の論理値であったときは、その第２のフラグが付加されている周辺検出領域に対応する検出領域内の画像信号の第１のメモリへの書き込みを第１のフラグが第１の論理値である期間継続して停止する書き込み停止フラグを生成し、第１のフラグが第１の論理値に設定された時点で第２のフラグが第２の論理値でないときは、その第２のフラグが付加されている周辺検出領域に対応する検出領域に付加されている第１のフラグが第１の論理値であるか、第２のフラグが第２の論理値である期間、第１のメモリへの書き込みを停止する書き込み停止フラグを生成することを特徴とする。

本発明によれば、操作者の対象物の操作方向を限定せず、あらゆる対象物の動きに対しても所望の操作を行うことができる。

次に、本発明の実施の形態について図面を参照して詳細に説明する。図１は従来のリモコンによる操作形態と、本発明の操作形態との違いを説明するための図である。視聴者（ユーザ）３が、テレビジョン受像機１を操作する場合、従来はユーザ３がリモコン４を手に持って所望の機能を働かせるキーをテレビジョン受像機１に向けて押下することによって操作がなされる。従って、リモコン４が無ければ操作ができず、不便を強いられる場合を時々経験する。

これに対し、本実施の形態では、図１に示すようにテレビジョン受像機１に設けられているビデオカメラ２により、テレビジョン受像機１の前方にいるユーザ３を撮影し、ビデオカメラ２の撮影画像からユーザ３の動作を検出して、テレビジョン受像機１及びそれに関連する機器の操作が行われる。検出されるユーザ３の動作とは、具体的にはテレビジョン受像機１の電源オン／オフ（ＯＮ／ＯＦＦ）制御やメニュー画面の表示／非表示の制御、メニュー画面から所望のボタンを選択する制御に対応した、ユーザ３の身体（手、足、顔など）を使った特定の動作のことであり、この特定の動作を検出することでテレビジョン受像機１及びそれに関連する機器の操作を行う。

図２は本発明になる電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図を示す。同図において、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、検出部１３、鏡像変換器１４、スケーラ１５、グラフィックス生成器１６、第１の混合器１７、画素数変換器１８、第２の混合器１９、制御情報判断器（ＣＰＵ）２０、及び表示装置２１を備えている。かかるブロック構成自体は前述した本出願人の先の提案における電子機器の制御装置のブロック構成と同様であるが、本実施の形態は後述するように、制御情報判断器２０の構成が先の提案と異なる。

基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスとを発生し、テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力映像信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期して、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するタイミングパルスを生成する。

ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前方に位置する視聴者（ユーザ）３、またはテレビジョン受像機１の前方の映像を撮影する。ビデオカメラ２により撮影して得られた出力撮像信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号からなり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施の形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２１の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。

検出部１３は、ここでは１６個の検出器、すなわち第１の検出器３０１，第２の検出器３０２，第３の検出器３０３，・・・，第１６の検出器３１６からなる。検出部１３に含まれる検出器の数は特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタン（パソコンではマウスでクリック操作する操作ボタンに該当）の数に対応して変動する。図２では後述する理由から検出器の数を最大１６個用意した場合を示す。検出部１３は、１６個に分割された画面領域のそれぞれについて、被写体像であるユーザの所定の部位（手や指）の動きを示す動き画像を検出する。

鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２１上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施の形態では、メモリを活用して水平方向の画像を反転させる手法を想定しているが、表示装置２１として陰極線管（ＣＲＴ;Cathode Ray Tube）を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像を予め水平方向に左右逆転しておく必要がある。

スケーラ１５は、ビデオカメラ２により撮影した被写体像（ユーザの画像）の大きさと位置とを調整する。なお、スケーラ１５は拡大率や縮小率の調整を行わずに、水平と垂直の位相調整を行うこともできる。このスケーラ１５の利用の仕方については後で詳しく述べる。

グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される信号として、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）を出力する。このグラフィックス生成器１６は操作メニューや操作ボタン等の操作用画像信号を生成する。また、生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。グラフィックス生成器１６が出力する信号の画素数は、本実施の形態では表示装置２１の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。

第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、第１の混合器１７は下記式で表される信号Ｍ１ｏを出力する。

Ｍ１ｏ＝α１・Ｓ１＋（１−α１）・Ｇｓ （１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器１７の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

画素数変換器１８は、外部から入力される外部入力信号の画素数と表示装置２１の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されているテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。

第２の混合器１９は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１ｏと、画素数変換器１８の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、第２の混合器１９は下記式で表される信号Ｍ２ｏを出力する。

Ｍ２ｏ＝α２・Ｍ１ｏ＋（１−α２）・Ｓ２ （２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１ｏの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器１９の例としてはこれに限らないが、本実施の形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

制御情報判断器（ＣＰＵ）２０は、検出部１３から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムの詳細は後述する。本実施の形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（ＣＰＵ上で展開）による処理とが混在するが、特にここで示す切り分けに限定するものではない。

表示装置２１は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、第２の混合器１９から出力された信号Ｍ２ｏであり、これは輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであるが、表示装置２１の内部にてＲＧＢの三原色信号にマトリクス変換された後、表示される。

次に、以上のように構成されたテレビジョン受像機１の動作を、視聴者（ユーザ）３の動作を交えて説明する。図３は図２のグラフィックス生成器１６で生成されたグラフィックス画像３１と、図２のビデオカメラ２により撮影された映像信号を鏡像変換器１４で鏡像変換した後、スケーラ１５でスケーリングして得られたスケーラ出力画像３３とを示している。スケーラ出力画像３３はグラフィックス画像３１と画素数を一致させている。これら二つの画像３１及び３３に対応するグラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とが、図２の第１の混合器１７で混合される。

図３のグラフィックス画像３１は、制御を行うためのメニュー画面を形成しており、図３の四角形３２はプッシュボタン（操作ボタン）を表す。一方のスケーラ出力画像３３は、ユーザを撮影した画像を鏡と同じように左右反転して表示した画像である。図３において、スケーラ出力画像３３中の破線の四角形３４は、図２に示した複数の検出器３０１〜３１６からなる検出部１３の検出エリア（検出領域）を表したもので、グラフィックス画像３１上のプッシュボタン３２と同一の空間位置に配置されている。

図４は第１の混合器１７における混合処理を説明するためのイメージ図を示す。図４（Ａ）はグラフィックス生成器１６で生成されるグラフィックス画像３１による制御メニュー画面を表したものであり、プッシュボタン（１−１）〜（１−８）の画像が含まれている。図４（Ｂ）は、ビデオカメラ２でユーザを撮影した画像を鏡像変換、及びスケーラ処理したスケーラ出力画像３３を示し、検出部１３の各検出器３０１〜３０８に対応する検出エリア（２−１）〜（２−８）が含まれている。

第１の混合器１７にて、図４（Ａ）及び（Ｂ）に示す画像３１及び３２を制御値α１に対応する混合割合で混合した画像が、図４（Ｃ）に示されている。なお、図４（Ｃ）に表示されるユーザの画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように、表示装置２１には、図４（Ｃ）に示すようにユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これにより、ユーザ本人は、自分の動きと制御メニューの位置を認識することができる。制御は、ユーザが図４（Ｃ）の表示装置２１の画面を見ながら、画面上のプッシュボタンにあたかも触れるように手（身体）を空間上で動かすことにより行う。言い換えれば、手をプッシュボタン上に位置するように画面を見ながらユーザが動作することにより、制御を行う。そして、手を触れた（該当する）プッシュボタンと１：１になっている検出エリア内の手を検出すれば、該当するプッシュボタンを押したことが認識できる。

従って、図２の制御情報判断器（ＣＰＵ）２０から該当プッシュボタンの制御内容に相当する制御信号を出力することができる。その際グラフィックス状のメニュー画面のプッシュボタンは形状又は色を変化させて、動作が認識されたことを表示装置２１の画面上に表す。例えば、プッシュボタンが押されたように画像を変化させる。

図５は、スケーラ出力画像３３上に設定している検出エリア（２−１）〜（２−８）と、図２の検出部１３の検出器３０１〜３０４との対応関係を示す。さらに図５には検出エリア（２−１）及び（２−８）を特定するタイミングパルス（水平、垂直）が図示されている。このタイミングパルスは図２のタイミングパルス発生器１２から出力される。

図５の各検出器３０１〜３０４や図２の検出器３０１〜３１６はそれぞれ同一構成で、図６に示すように、オブジェクト抽出器４１と、タイミングゲート器４２と、オブジェクト特徴データ検出部４３とを備えている。すなわち、メニュー画面に１６個のプッシュボタンが表示される場合は、検出部１３はそれぞれ図６に示す構成の１６個の検出器３０１〜３１６からなる。

図６において、タイミングゲート器４２は、図５に示したタイミングパルスでオブジェクト抽出器４１からの信号の通過を制御する。通過する領域は図５に破線の四角形で示す検出エリア内である。この検出エリア内に限定した信号を、更に様々なフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出する。

オブジェクト抽出器４１は、画像の特徴に添ったフィルタを備えており、本実施の形態ではユーザの手を検出するもので、ビデオカメラ２からの映像信号に対して手の色や階調と動作のフィルタ処理を行う。オブジェクト抽出器４１は、具体的には図７に示されるように、特定色フィルタ５１と、階調限定器５２と、時間差分フィルタ５３と、合成器５４と、オブジェクトゲート５５とを備えている。

特定色フィルタ５１は色差信号から色相と飽和度にて人の手の色の色差信号成分を区別して出力するフィルタである。この特定色フィルタ５１では、入力される色差信号から画像の色相と飽和度（色の濃さ）を求めて、公知の色差平面図において所定の角度範囲内にある色相で、かつ、色差平面図において原点からの所定の長さ範囲のベクトルの色差信号を通過させる。これにより、特定色フィルタ５１は、例えば人間の手の色である肌色の範囲の色差信号を通過させる。なお、特定色フィルタ５１の上記の動作は公知であり（例えば、特許文献２参照）、また、本発明の要旨ではないので、詳細な説明を省略する。

階調限定器５２は輝度信号（すなわち、階調）の最大階調レベルから最小階調レベルまでの範囲を特定して人間の手の階調レベルの輝度信号を通過させるものである。時間差分フィルタ５３はビデオカメラ２で撮影する被写体の背景画像が肌色であっても、僅かな輝度の差などに基づいて、ユーザの手の画像領域を抽出し、ユーザの手を識別するためのフィルタである。時間差分フィルタ５３については後述する。

合成器５４は、特定色フィルタ５１と階調限定器５２と時間差分フィルタ５３の各出力信号を領域パルスに変換する。すなわち、合成器５４は、特定色フィルタ５１と階調限定器５２と時間差分フィルタ５３のそれぞれを通過した各信号のすべてが存在（ＡＮＤ）する場合に、高レベルとなる領域パルスを出力する。

合成器５４で生成された領域パルスは、オブジェクトゲート５５に供給される。オブジェクトゲート５５は、領域パルスが高レベルであるとき、オブジェクト抽出器４１の入力信号である輝度信号と色差信号を通過させ、領域パルスが低レベルであるとき（すなわち、領域パルス外の範囲であるとき）は入力された輝度信号と色差信号を通過させず、規定した値の信号を出力する。本実施の形態では、通過させない範囲では、黒レベルの輝度信号、及び飽和度ゼロの色差信号を規定した値の信号として出力する。

図７に示した構成のオブジェクト抽出器４１の働きは、特定色フィルタ５１で色信号の色相（角度）と飽和度を限定した範囲を通過した信号と、階調限定器５２により輝度信号レベルで限定した範囲を通過した信号と、時間差分フィルタ５３で動作を検出して背景と異なるときの映像信号を通過させるものである。特定色フィルタ５１で色相と飽和度を限定することで人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なる。これら肌色といっても様々であるが、色相、飽和度、輝度信号の階調限定の範囲を調整すれば概ね人の手の画像を検出することができる。

なお、本実施の形態では人の手を対象にしているが、その他の色相と階調を適切に調整すれば、本実施の形態におけるパラメータの変更の範疇で同様にして他のものと区別することができる。更に、本実施の形態のオブジェクト抽出器４１ではユーザの動作を検出するようにしているため、人（ユーザ）の背景が肌色であっても人の手をより正確に識別することが可能になる。

図８は図７の時間差分フィルタ５３の一例のブロック図を示す。図８に示すように、時間差分フィルタ５３は、時間差分抽出部５３０と動き検出部５３１とからなり、これらがＣＰＵバス２３を介して制御情報判断器２０に接続されている。制御情報判断器２０は時間差分フィルタ５３を制御する時間差分フィルタ制御部８５を備えている。時間差分抽出器５３０は、検出領域画像メモリ７１、第１の減算器７２、第１の絶対値器７３、第１の非線形処理器７４及び書き込みパルス生成器７５から構成され、後述する検出領域（検出エリア）にかざされた手の領域を抽出する。動き検出部５３１は、周辺領域画像メモリ７６、第２の減算器７７、第２の絶対値器７８、第２の非線形処理器７９、タイミングゲート器８０及び動き発生量算出器８１から構成され、後述する周辺検出領域にかざされている手の動きを検出する。

本実施の形態では、ユーザが指し示したと判断される画面上の操作検出領域は、各プッシュボタンに対応する各検出領域とそれらの周辺の周辺検出領域とからなる。図９（Ａ）、（Ｂ）は周辺検出領域と検出領域との関係の各例を示す。図９（Ａ）は周辺検出領域４６ａが、検出領域４５の外周縁より大きい内周縁を有する枠形状であり、検出領域４５がその内周縁の内側にある一例を示す。ここで、検出領域４５とは、プッシュボタン（１−１）〜（１−８）に対応する検出エリア（２−１）〜（２−８）を総称したものとする。周辺検出領域４６ａの内周縁は、検出領域４５の外周縁と同じ大きさであってもよい。図９（Ｂ）は、周辺検出領域４６ｂが、検出領域４５の外周縁より小さい内周縁を有する枠形状であり、周辺検出領域４６ｂと検出領域４５とが重なっている例を示す。どちらを用いてもよいが、本実施の形態では、周辺検出領域４６ａの内周縁が検出領域４５の外周縁と同じ大きさである例を用いる。

図８に戻って説明する。検出領域画像メモリ７１はそれぞれのプッシュボタンに対応して設けられている検出領域４５内の、ビデオカメラ２からの画像信号を記憶する検出領域のメモリである。従って、検出領域画像メモリ７１は検出領域４５の大きさに相当する画像を記憶する容量があればよい。第１の読み出し制御信号による読み出しはフレーム単位である。検出領域画像メモリ７１への書き込みが停止された場合は、検出領域画像メモリ７１から最後のフレームが第１の読み出し制御信号により継続的に読み出される。後述するように、検出領域画像メモリ７１は、検出領域４５に手をかざす前の背景のみの画像を記憶して読み出すように制御される。ここでは、入力信号をノンインターレース信号としてフレーム単位としたが、インターレース信号であればフィールド単位であり、すなわち垂直周期単位である。

書き込みパルス生成器７５は、時間差分フィルタ制御部８５の制御及びタイミングパルス発生器１２から入力されるタイミングパルスに基づき、検出領域４５内の画像を検出領域画像メモリ７１に記憶させるための第１の書き込み制御信号を生成する。第１の読み出し制御信号は、制御情報判断器２０から出力されても、制御情報判断器２０によって制御された信号発生回路で生成され出力されてもよい。

第１の減算器７２は、現在のフレーム（画面）における検出領域４５の画像信号と、検出領域画像メモリ７１に最後に書き込まれたフレームの画像信号との差分を求める。差分を求めることで、検出領域４５内にかざされている手の領域を示す画像信号を抽出できる。減算の符号の向きは特に規定するものではない。

第１の絶対値器７３は、第１の減算器７２から入力される差分値を絶対値化して第１の非線形処理器７４に出力する。第１の非線形処理器７４は、入力された絶対値化された差分信号に対して非線形入出力特性に基づいて、検出領域４５内において得られた画像は手がかざされていることを示すと判断されるレベルと、手ではなくノイズであるとして切り捨てるレベルとに分けるよう、非線形処理を施す。非線形処理された出力信号は、合成器７３に入力される。

ここで、上記の非線形入出力特性は、ノイズであるとして切り捨てるとして設定した第１のレベル以下の入力信号に対してはゼロレベルの信号を出力し、手がかざされていることを示すと判断される第２のレベル以上の入力信号に対しては所定の上限レベル（一定）の信号を出力し、第１のレベルより大で、第２のレベル未満の範囲内のレベルの入力信号に対しては入力信号レベルに比例したレベルの信号を出力する特性である。第１の非線形処理器７４には比較器も含む。

周辺領域画像メモリ７６は、検出領域４５の周辺に設けられた周辺検出領域４６ａの画像信号を記憶する。周辺領域画像メモリ７６はフレームメモリであり、第２の書き込み制御信号と第２の読み出し制御信号に従って、周辺検出領域４６ａの画像信号を毎フレーム記憶して読み出す。周辺領域画像メモリ７６は、少なくとも１フレームを記憶するメモリであればよく、複数フレームを記憶するメモリでもよい。第２の書き込み制御信号、第２の読み出し制御信号は制御情報判断器２０から出力されても、制御情報判断器２０の制御に基づいて信号発生回路で生成され出力されてもよい。

第２の減算器７７は、現在のフレーム（画面）における周辺検出領域４６ａの画像信号と、検出領域画像メモリ７６に書き込まれた少なくとも１フレーム前の周辺検出領域４６ａの画像信号との差分を求める。差分を求めることで、周辺検出領域４６ａ内にかざされた手の領域を示す画像信号が抽出できる。減算の符号の向きは特に規定するものではない。第２の絶対値器７８と第２の非線形処理器７９は、第１の絶対値器７３と第１の非線形処理器７４と同様の機能を有するものである。第２の非線形処理器７９の入出力特性は第１の非線形処理器７４の入出力特性と同様である。

タイミングゲート器８０は、第２の非線形処理器７９から出力されたデータと図２で示したタイミングパルス発生器１２よりタイミングパルスとを入力として受け、第２の非線形処理器７９から出力されたデータにおける周辺検出領域４６ａの部分のデータのみ通過させる。

動き発生量算出器８１はタイミングゲート器８０から出力されたデータを入力として受け、所定の値以上を示すデータの数をカウントする。カウントした値は、手の動きに応じて発生する動き発生量を示すデータである。この動き発生量データを以下単に第１発生量と呼ぶ。動き発生量算出器８１は、入力されたデータが０を超えるたびにカウントするものであっても、所定の値以上のときカウントするものであってもよい。本実施の形態の動き発生量算出器８１は、入力されたデータが０を超えるたびにカウントするものとする。

第１発生量は周辺検出領域４６ａにおける差分が発生した画素の数であり、すなわち周辺検出領域４６ａにかざされた手（対象物）の領域の大きさに相当する。第１発生量は、周辺検出領域４６ａの全画素数に対する差分が発生した画素数の割合としてもよく、周辺検出領域４６ａにおける差分の発生の程度がわかればよい。動き発生量算出器８１から出力された第１発生量は、ＣＰＵバス２３を経由し時間差分フィルタ制御部８５に入力され、ソフトウェア処理される。

以上のように構成される時間差分フィルタ５３は、周辺検出領域４６ａの画像信号を周辺領域画像メモリ７６に保持して、１フレーム間または複数フレーム間より求めた画像信号の差分に基づき、周辺検出領域４６ａにかざされた手の領域の大きさに基づくデータ（第１発生量）を生成して時間差分フィルタ制御部８５に供給する。時間差分フィルタ制御部８５は、入力されたデータ（第１発生量）に基づいて、書き込みパルス生成器９０を制御して検出領域画像メモリ８０の書き込み及び読み出しを行う。

次に、本実施の形態によるプッシュボタンの押下の判別方法について説明する。図１０（Ａ）及び図１１（Ａ）は、ビデオカメラ２により撮影された撮像画像に対してプッシュボタンの領域（破線四角）が設定されていることを示す。本実施の形態では、このプッシュボタン領域に手をかざしたときの動作を制御情報として判別するものである。図１０（Ｂ）及び図１１（Ｂ）は、その手の動きを示す。図１０（Ｂ）は、手の指を伸ばしてプッシュボタンにかざしたところを示し、図１１（Ｂ）は、手の指を折り曲げた状態を示す。本実施の形態では、この指を折り曲げる動作を２度繰り返すことでプッシュボタンを押したことを認識するようにしている。手をかざしただけでも、１度でも３度以上の動作でも、同様の効果を得ることができることはいうまでもない。

図１２はプッシュボタン上で指の折り曲げ動作が行われたときに、図６のオブジェクト特徴データ検出部４３内の各検出器にて得られる波形を表している。図１２（Ａ）の波形は、手がダブルクリックした場合、すなわち２度折り曲げ動作が行われた場合の波形を示している。すなわち、図１２（Ａ）では指を伸ばしている状態から折り曲げた状態までの経過時間をＴｍとし、説明を分かり易くするため、この時間Ｔｍを最小単位としてＴ０、Ｔ１、・・・、Ｔ７と時間を区切って示す。

図１２（Ａ）において、時刻Ｔ−１では手が存在しない状態が示され、時刻Ｔ０では任意のプッシュボタンに手をかざした状態が示され、その状態が時刻Ｔ１まで時間Ｔｍの間保持された後、時刻Ｔ２で指を折り曲げた状態が示され、その後の時刻Ｔ３で指を伸ばした状態が示され、再び時刻Ｔ４で指を折り曲げ、時刻Ｔ５で指を伸ばした状態が示され、時刻Ｔ６まで指を伸ばした状態が保持された後、時刻Ｔ７で手が存在しない状態が示されている。図１２（Ａ）に示した手の指の動きをモデル化して描いたプッシュボタン上の手のひらの投影面積の変化を図１２（Ｂ）に示す。図１２（Ａ）の波形を解析することにより手の動きを特定することができる。

図１３はオブジェクト抽出器４１の出力信号に対応する画像を示す。オブジェクト抽出器４１を通過した信号は、図６のタイミングゲート器４２でプッシュボタンの領域が限定され、それ以外の領域は無視される。タイミングゲート器４２に入力されるオブジェクト抽出器４１を通過した信号は、オブジェクト抽出器４１により特定色フィルタ５１で色が特定され、ここでは手の肌色領域のみが通過となり、また階調方向にも限定され、さらに本実施の形態では時間差分フィルタ５３にて背景と手が区別された領域のみが通過となり、それ以外の領域が黒（輝度信号は０レベル、色信号は無彩色）とされる。

従って、タイミングゲート器４２でプッシュボタンの領域が限定されて出力される信号による画像は、図１１に示すように手の指以外が黒となる。図１１（Ａ）は指をプッシュボタンにかざした状態を示し、図１１（Ｂ）は指を折り曲げた状態を示している。なお、ここで抽出された対象物以外を黒に設定したのはあくまでも後段の検出器での検出精度を上げるためであり、検出すべき対象物によって最適レベル（特定のレべル）を設定することになる。

この図１１に示したプッシュボタンの領域における手以外の画像はすべて黒である画像のタイミングゲート器４２の出力信号に基づいて、図６及び図１４に示すオブジェクト特徴データ検出部４３により画像の特徴が検出される。このオブジェクト特徴データ検出部４３は、入力画像からさまざまな特徴を検出する機能ブロックで、図６及び図１４に示すように、ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域頻度検出器６３、最小値検出器６４、及び最大値検出器６５からなる。

この他にも画像を特徴づける項目はあるが本実施の形態では、これら検出器６１〜６５にて手であることを判別すると共にその動作を認識する。これらの検出器６１〜６５は、本実施の形態ではハードウェアにて構成され、空間内の検出枠内の状態を画面単位（フィールド及びフレーム単位：垂直周期単位）のデータに加工して、ＣＰＵで構成された制御情報判断器２０へバスを経由して送出する。制御情報判断器（ＣＰＵ）２０は、ソフトウェア上で変数に格納し、データ処理を行う。

ヒストグラム検出器６１は、輝度信号の全階調を８ステップに区切って各ステップに存在する画素の数をカウントし、１画面（フィールドまたはフレーム画面）毎に各ステップの頻度の値を制御情報判断器（ＣＰＵ）２０へ出力するものである。上記の８ステップのヒストグラムのうち、ステップ１が最も階調が低く（明るさが暗く）、以下、階調が高くなるにつれてステップ２、３、・・・、７と変化していき、最も階調の高い（明るさが明るい）のがステップ８である。ここではヒストグラムのステップ１は、黒の階調だけの頻度（画素数）を示しており、残る７ステップが均等に輝度分割されてヒストグラムにより頻度（画素数）を示すようにしている。

前述したように、オブジェクト特徴データ検出部４３の入力信号は、プッシュボタンの領域における手以外の画像はすべて黒である画像信号であるから、ヒストグラムのステップ１以外のステップ２〜８の各頻度を加算した総和が手の面積を示している。なお、検出領域全体の頻度からヒストグラムのステップ１の頻度（黒の画素数）を差し引いても、同様に手の面積を算出することができる。

平均輝度（ＡＰＬ）検出器６２は、１画面内の輝度レベルを加算し、画素数で割った１画面の平均輝度値を制御情報判断器（ＣＰＵ）２０へ出力する。高域頻度検出器６３は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、その高域成分の頻度を１画面単位で制御情報判断器（ＣＰＵ）２０に出力する。最小値検出器６４は、１画面の輝度信号の最小階調値を、また最大値検出器６５は１画面内の輝度信号の最大階調値を制御情報判断器（ＣＰＵ）２０へ出力する。

ここで、図１２（Ａ）に示した時刻Ｔ１のように手をプッシュボタンにかざした場合は、図１３（Ａ）に示したように黒の画像の面積が小さくなるから、例えばヒストグラム検出器６１はヒストグラムのステップ６付近で最も頻度が高くなり、ＡＰＬ検出器６２の出力検出値は値が比較的高い値を示す。また、図１２（Ａ）に示した時刻Ｔ２のようにプッシュボタンにかざした手の指を折り曲げた場合は、図１３（Ｂ）に示したように黒の画像の面積が大きくなるから、ヒストグラム検出器６１は上記のヒストグラムのステップ６付近の頻度が低くなり、かつ、ヒストグラムのステップ１の頻度が高くなり、また、ＡＰＬ検出器６２の出力検出値は値が比較的低い値を示す。ヒストグラムの合計値の変動はＡＰＬの変動と近い内容になり、値のスケールが異なるだけで同様の解析で手の動作が判別できる。

図２に示した制御情報判断器（ＣＰＵ）２０は、検出部１３から受け取ったデータを変数に格納し、ソフトウェア処理する。このソフトウェア処理の機能ブロックを記載したのが図１４である。同図中、図６、図８と同一構成部分には同一符号を付してある。図１４において、ヒストグラム検出器６１、平均輝度（ＡＰＬ）検出器６２、高域頻度検出器６３、最小値検出器６４、及び最大値検出器６５からそれぞれ出力された検出値は、制御情報判断器（ＣＰＵ）２０内の第１の動作検出器９１、第２の動作検出器９２、第３の動作検出器９３、第４の動作検出器９４、及び第５の動作検出器９５に別々に入力されて手の折り曲げ動作を検出する。制御情報発生器９６は、動作検出器９１〜９５からの検出値に基づいて手の折り曲げを検出すると制御情報を発生し、プッシュボタンに対応した制御情報を出力する。

また、制御情報判断器２０内の時間差分フィルタ制御部８５はフラグ生成器９７と論理和器９８とから構成される。フラグ生成器９７は、時間差分フィルタ５３から出力されたデータを入力として受け、その入力データに基づいて各種のフラグを生成して制御情報発生器９６及び論理和器９８に供給する。論理和器９８は第１の動作検出器９１及びフラグ生成器９７から出力されたフラグに基づいて、図８の検出領域画像メモリ７１の書き込み停止を制御するためのフラグを生成し、時間差分フィルタ５３に供給する。

図１５はオブジェクト特徴データ検出部４３から入力される波形を処理するＣＰＵの制御情報判断部２０内の動作検出器９１〜９５の内容を説明する図である。同図中、Ｔ０〜Ｔ６は図１２のＴ０〜Ｔ６に対応している。図１５（Ａ）の波形はプッシュボタン内の手の面積を表しており、ヒストグラム検出器６１により前記した方法で算出された手の面積を示す信号であり、ヒストグラム検出器６１から入力される。また、プッシュボタン内の画像の平均値（ＡＰＬ）もこれに近い値を示す。

図１５（Ｂ）の波形は第１の動作検出器９１内にて同図（Ａ）の入力信号からそのＤＣオフセット成分を除去した信号波形を示す。この図１５（Ｂ）に示す信号は、同図（Ａ）に示す信号を前記時間Ｔｍだけ遅延した遅延信号と、遅延していない入力信号とを減算して差分信号を得た後、その差分信号レベルを１／２倍にする構成の、Ｔｍ時間前後で（−１／２，１／２）のタップ係数を有する高域通過のデジタルフィルタにより得られる。前記特許文献２は、この信号と、装置内にテーブルとして持っているほぼ同じ基準波形とをデジタルフィルタで相関計算して、手のクリック動作であることを判定するものである。

図１５（Ｅ）の波形は、動作検出器９１内において、上記の図１５（Ｂ）に示す信号を相互相関デジタルフィルタに入力して得られた相関計算出力信号の包絡線を表したもので、相関計算が進むに従って振幅が大きくなり、閾値ＴＨ４を越えた振幅値を持って指の動きによる制御を確定に導くものである。図１５（Ｃ）の波形は同図（Ａ）の閾値ＴＨ０以上の信号の波形を積分して得られた波形であり、動作検出器９１内にて得られる。なお、図１５（Ａ）に示す波形が閾値ＴＨ０以下の時に初期化を行う。図１５（Ｃ）に示す積分値が閾値ＴＨ１を超えるまでの時間帯が検出領域である。

そして、図１５（Ｃ）の波形が閾値ＴＨ１以上になったとき、制御情報判断が活性領域に入り、動作検出器９１内にて同図（Ｄ）のパルスが生成される。図１５（Ｄ）のパルスはプッシュボタンに手がかざされている間出力され、プッシュボタンが選択されていることを表すフラグとして機能する。従って、このパルスを活性化フラグと呼称する。また、図１５（Ｅ）に示した波形が閾値ＴＨ４を越えた時点から、相関計算の結果をもって手の動作を制御状態と判断する判定領域が始まる。なお、相関計算して手のクリック動作を確定に導くアルゴリズムは公知であり（例えば、特許文献２参照）、また、本発明の要旨ではないので、その詳細な説明は省略する。

図１６は本発明のプッシュボタンの選択に係わる説明をするためのプッシュボタンの配列の一例を示す。本実施の形態では、制御内容が１６種類存在してそれに対応するプッシュボタンの画像が図１６に示すように１６個整列されて表示装置２１に表示される。各プッシュボタンには（１）から（１６）までの識別番号が付されている。これら１６個のプッシュボタンは、テレビジョン受像機１のメディア選択（ＣＳ放送、ＢＳ放送、地上波デジタル放送、ビデオ入力、設定）、チャンネル選択などを操作するために各操作毎に予め割り当てられているボタンである。勿論、テレビジョン受像機１に接続された他の電子機器の遠隔制御（接続されているＶＴＲやＤＶＤプレーヤの電源オン／オフ制御その他の制御）なども可能である。

また、図１４に示す５つの動作検出器９１〜９５はそれぞれ同一構成であり、例えば図１７のブロック図に示す構成とされている。図１７に示すように、動作検出器９１〜９５は、活性化ボタン検出器１０１、ボタン選択器１０２、動作内容評価器１０３、及び動作内容判定器１０４から構成される。活性化ボタン検出器１０１は、対象とする１６個全てのプッシュボタンの面積情報が共通に入力され、その中で活性化しているプッシュボタンから優先順位の高いプッシュボタン番号を検出し、そのプッシュボタンの活性化フラグを立てる構成である。検出された優先順位の高いプッシュボタン番号はボタン選択器１０２に出力される。また、検出プッシュボタンの活性化フラグは、動作内容評価器１０３と動作内容判定器１０４にそれぞれ出力される。

ボタン選択器１０２は活性化ボタン検出器１０１で得られた活性化プッシュボタンのボタン番号に基づいて、入力される面積情報を持った信号（Ｂ［１］〜Ｂ［１６］）から活性化したボタン番号の面積情報のみを選択して出力する。後段の動作内容評価器１０３と動作内容判定器１０４は、活性化フラグが立っている時に選択されたボタンの面積情報から動作内容の評価と判定処理を行う。

活性化ボタン検出器１０１には対象とする１６個全てのプッシュボタンのボタン領域の信号情報Ｂ［１］〜Ｂ［１６］が入力される。このボタン領域の信号情報とはヒストグラムで考えるとプッシュボタンのボタン領域にかざされた手の面積情報ということになる。活性化ボタン検出器１０１は、このボタン領域の信号情報Ｂ［１］〜Ｂ［１６］のそれぞれについて、時間方向に累積演算して、その累積値を出力する（ステップＳ１）。オブジェクト特徴データ検出部４３以降では１垂直周期毎に変換するデータが伝送され、そのデータが図１５（Ａ）に示す波形とされて制御情報判断器（ＣＰＵ）２０に入力されるため、上記のステップＳ１では１垂直周期期間、上記の累積演算を例えば１次の巡回型フィルタを用いて行う。

続いて、活性化ボタン検出器１０１は、各プッシュボタンに対応した全部で１６個の累積値のそれぞれについて、予め定めた閾値と比較し、閾値以上の累積値については値「１」、閾値未満の累積値については値「０」を設定したフラグＦ［１］〜Ｆ［１６］を得る（ステップＳ２）。ここで、フラグＦ［ｎ］（ｎは１〜１６）は番号（ｎ）のプッシュボタンに対応するフラグである。なお、番号（ｎ）は要素番号と呼ぶものとする。

続いて、活性化ボタン検出器１０１は、各プッシュボタンに対応したフラグＦ［１］〜Ｆ［１６］の中で、値が「１」であるフラグの中で最小の要素番号を取得した後（ステップＳ３）、最後に最小の要素番号以外のフラグをすべて「０」に設定し、値が「１」であるフラグを活性化フラグとして動作内容評価器１０３及び動作内容判定器１０４にそれぞれ出力すると共に、値が「１」であるフラグの要素番号をボタン番号としてボタン選択器１０２へ出力する（ステップＳ４）。

後述する図１８（３−Ａ）で描かれた手の位置の例では、各ボタン領域の信号情報Ｂ［１］〜Ｂ［１６］がステップＳ１にて累積された後、ステップＳ２で番号（５），（９），（１３）のプッシュボタンのフラグＦ［５］，Ｆ［９］，Ｆ［１３］に「１」が設定される。ステップＳ３では「１」に設定されたフラグＦ［５］，Ｆ［９］，Ｆ［１３］の中から最も要素番号が小さなボタン番号「５」を取得する。そして、ステップＳ４にてＦ［５］のみは「１」のままとし、フラグＦ［９］，Ｆ［１３］は「０」に変更する。

従って、活性化ボタン検出器１０１は、ボタン選択器１０２には、フラグの要素番号である「５」を出力して番号（５）のプッシュボタンからの信号情報Ｂ［５］を選択させ、また、フラグＦ［５］が動作内容評価器１０３、動作内容判定器１０４にそれぞれ出力されて動作を実行させる。このようにして活性化ボタン検出器１０１は、プッシュボタン（５）、（９）、（１３）のうち最も配列位置が上にあるプッシュボタン（５）を優先して、その活性化フラグ（フラグＦ［５］）を出力する。

動作内容評価器１０３は、対応して設けられた活性化ボタン検出器１０１からの活性化フラグが立っているとき手の空間クリックが妥当な内容か否かを評価するブロックである。これは図１５（Ｅ）に相当し相関計算値を出力とするものである。

動作内容判定器１０４は、対応して設けられた動作内容評価器１０３の出力信号の内容から動作の内容が妥当であるか否かを判断して、妥当な場合に出力に確定したことを示す確定フラグＤ［１］〜Ｄ［１６］を出力する。この動作内容判定器１０４の処理は、図１５（Ｅ）の波形が閾値ＴＨ４を越えたか否かを見て確定に導く判定領域に相当する処理である。各確定フラグは図１４に示した制御情報発生器９６に送られる。このようにして、複数にまたがる手の領域でどのプッシュボタンが操作対象となるか不確定な状態を、優先順に基づいて１つのプッシュボタンに絞ることができる。優先順位に基づいて絞った一つのプッシュボタンを示す領域が操作対象領域である。

ところで、以上は本出願人が特願２００６−２７７１４０号、特願２００６−２４３７８号等にて提案した電子機器の制御装置と同様の構成であるが、かかる構成での問題点について更に図１８及び図１９と共に説明する。図１８は上記の本出願人の先の提案になる電子機器の制御装置において、プッシュボタン配列をユーザの手により選択操作した一例を示す。同図において、Ｔ１→Ｔ２→Ｔ３→Ｔ４→Ｔ１へと時間が経過している。なお、図１８の各時間Ｔ１〜Ｔ４での図は、図１６に示した１６個のプッシュボタンの図が左右に２つずつ並列に描かれているが、左側の図が表示装置２１に表示されている画像を示し、右側の図が左側の図において活性化フラグが得られたプッシュボタンを示す。左側の図だけであると手がプッシュボタンのどこにあるのかが、プッシュボタンと手がオーバラップした部分が重なって分かり難いので、説明上分けて描いたものである。

図１８の時間Ｔ１における（１−Ａ）は、プッシュボタン配列をユーザが選択操作する前の状態を表しており、このときは、（１−Ｂ）に示すように選択操作前の状態なので、活性化フラグは得られない。次の時間Ｔ２では、（２−Ａ）に示すように、（９）のプッシュボタンにユーザが手をかざしている状態（手の操作方向は下→上）を表している。この場合、（１３）のプッシュボタンにも手がかかっているが、本出願人が先に提案した特願２００６−２７７１４０号では画面上上側位置にあるプッシュボタンほど高い優先順位付けを行っているため、（２−Ｂ）にハッチングで模式的に示すように、（９）のプッシュボタンのみ活性化フラグが得られる。

次の時間Ｔ３では、（３−Ａ）に示すように、（９）のプッシュボタンのすぐ上に配置されている（５）のプッシュボタンにユーザが手をかざしている状態（手の操作方向は下→上）を表している。この場合も上記優先順位付けを行っているため、（３−Ｂ）に示すように、（５）のプッシュボタンのみ活性化フラグが得られる。続く時間Ｔ４では、（４−Ａ）に示すように、（９）のプッシュボタンに手をかざしている状態（手の操作方向は上→下）を表している。この場合、（４−Ｂ）に示すように、活性化フラグが得られない状態になる。つまり、プッシュボタン配列の（９）に手をかざしているにも関わらず、このボタンが選択されていない状態に陥る。図１８（４−Ａ）に示した状態の後、手がプッシュボタン配列から外され、同図（１−Ａ）の状態に戻る。

図１８（４−Ｂ）に示した活性化フラグが得られない状態になる原因について図１９に示すタイミング図により説明する。図１９は本出願人が先に提案した特願２００６−２７７１４０号でユーザが図１８に示した選択操作をした時のタイミング図を示す。図１９において、（Ａ）から（Ｊ）までの各図の横軸（時間軸）は同一スケールで描いている。図１９（Ａ）は、プッシュボタン配列の（５）のプッシュボタンに対して、ボタンホール領域（図９（Ａ）、（Ｂ）の周辺検出領域４６ａ、４６ｂに相当）に得られる動作頻度を縦軸に、横軸はフレーム単位の時間経過を示している。また、図１９（Ｂ）はプッシュボタン配列の（９）のプッシュボタンに対して、ボタンホール領域（周辺検出領域４６ａ又は４６ｂ）に得られる動作頻度を縦軸に、横軸はフレーム単位の時間経過を示している。

ここで動作頻度とは、周辺検出領域４６ａ又は４６ｂにかざされた手の領域の大きさに相当する、時間差分フィルタ５３から出力される第１発生量（動き発生量データ）のことである。図１９（Ａ）、（Ｂ）において、閾値ｔｈ１は動作頻度（第１発生量）から手が現れたと判断するレベルを示す。

図１９（Ａ）では第１発生量に基づいて、フラグ生成器９７が時刻ｔ６からｔ９までと、時刻ｔ１１からｔ１４までが手が現れたと判断をしている期間を示す。また、図１９（Ｂ）では第１発生量に基づいて、フラグ生成器９７が時刻ｔ１からｔ４までと、時刻ｔ６からｔ９までと、時刻ｔ１１からｔ１４までと、時刻ｔ１７からｔ２１までが手が現れたと判断をしている期間を示す。

上記の手が現れたとの判断には、更に閾値ｔｈ１を第１発生量が越えた時刻の直前の期間Ｐ１の間、第１発生量が閾値ｔｈ１以下であるかという条件を設定している。これは、操作対象領域であるプッシュボタンを含む周辺検出領域４６ａ又は４６ｂに動く物体が無いときに検出領域画像メモリ７１への書き込みを完了させて、手が現れたときに背景との差分が得られるようにするためで、背景が動いていないことを前提としたものである。読み出しは常にフレーム単位に読み出されているので、最後のフレームに書き込まれた内容が継続的に読み出される。

フラグ生成器９７は第１発生量（ボタンホール動作頻度）が閾値ｔｈ１を越えた時点から期間Ｐ２が経過してから動作検出フラグを立ち上げ、閾値ｔｈ１以下になった時点から期間Ｐ２経過してから動作検出フラグを立ち下げる。従って、フラグ生成器９７は図１９（Ａ）に示す第１発生量（ボタンホール動作頻度）が得られるときは同図（Ｃ）に示す動作検出フラグを出力する。また、フラグ生成器９７は図１９（Ｂ）に示す第１発生量（ボタンホール動作頻度）が得られるときは同図（Ｄ）に示す動作検出フラグを出力する。期間Ｐ２はノイズに対する耐性を保つためと、閾値に対するバタツキを回避するためのものである。動作検出フラグの立ち上がり時の期間Ｐ２と、立下り時の期間Ｐ２とはレベル方向にヒステリシスを持たせて異ならせてもよい。動作検出フラグは論理和器９８に供給される。

図１９（Ｅ）は、プッシュボタン配列の（５）のプッシュボタンの検出領域４５に手が届き、図１３に示したプッシュボタン上の手の面積の時間経過を示したものである。図１９（Ｆ）は、プッシュボタン配列の（９）のプッシュボタンの検出領域４５に手が届き、図１３に示したボタン上の手の面積の時間経過を示したものである。

図１９（Ｈ）は、（９）のプッシュボタン上の手の面積が閾値ｔｈ２を越えたとき立つパルスで、第１の動作検出器９１により生成されるボタン活性化フラグを示したものである。閾値ｔｈ２を下回る際は、期間Ｐ３の時定数を設けてフラグを降ろすようにしている。図１９（Ｈ）に示す時刻ｔ３以降のハイレベルのボタン活性化フラグが得られる期間は図１８（２−Ａ）に示した（９）のプッシュボタン上に手をかざしている状態のときである。

図１９（Ｇ）は、（５）のプッシュボタン上の手の面積が閾値ｔｈ２を越えたとき立つパルスで、第１の動作検出器９１により生成されるボタン活性化フラグを示したものである。閾値ｔｈ２を下回る際は、期間Ｐ３の時定数を設けてフラグを降ろすようにしている。図１９（Ｇ）に示す時刻ｔ８以降のハイレベルのボタン活性化フラグが得られる期間は図１８（３−Ａ）に示した手が（９）のプッシュボタンから（５）のプッシュボタンに移行して（５）のプッシュボタン上に手をかざしている状態のときである。なお、このときは（９）のプッシュボタン上にも掌の下部あるいは手首が位置しているが、前記のプッシュボタン配列の優先順位付けを行うことで、（５）のプッシュボタンのボタン活性化フラグが立った直後から（９）のプッシュボタンの活性化フラグを降ろすようにしている。

論理和器９８は上記の動作検出フラグと上記の活性化フラグとが供給され、それらを論理和演算したパルスを書き込み停止フラグとして生成して時間差分フィルタ５３へ出力する。従って、（５）のプッシュボタンを操作するときは、図１９（Ｃ）の動作検出フラグと同図（Ｇ）の活性化フラグとから同図（Ｉ）に示す書き込み停止フラグが論理和器９８から出力される。また、（９）のプッシュボタンを操作するときは、図１９（Ｄ）の動作検出フラグと同図（Ｈ）の活性化フラグとから同図（Ｊ）に示す書き込み停止フラグが論理和器９８から出力される。書き込み停止フラグは、ローレベルのとき検出領域画像メモリ７１の書き込みを行わせ、ハイレベルのときに検出領域画像メモリ７１の読み出しを行わせる。

ここで、図１８（４−Ｂ）において、活性化フラグが得られなかった原因について下記に説明する。図１９（Ｈ）に示す（９）のプッシュボタンのボタン活性化フラグは、同図（Ｇ）に示す（５）のプッシュボタンのボタン活性化フラグがハイレベルになった直後（時刻ｔ８）より、同図（Ｆ）に示すように閾値ｔｈ２を越えて手の面積があるものの、プッシュボタン（５）の方がプッシュボタン（９）よりもボタン配列で上側の位置にあり、高い優先順位付けを行っているので、強制的にローレベルに落としている。

一方、プッシュボタン（９）の動作検出フラグは、図１９（Ｄ）に示すように時刻ｔ１０からｔ１２の期間ローレベルであるので、同図（Ｊ）に示すようにプッシュボタン（９）の書き込み停止フラグが、時刻ｔ１０からｔ１２の期間ローレベルに落ちる。従って、制御情報判断器２０は時刻ｔ１０からｔ１２の期間、時間差分フィルタ５３内の検出領域画像メモリ７１へプッシュボタン（９）上の手の画像の書き込みを開始する。

その後、手によるボタン選択操作が、時刻ｔ１２でプッシュボタン（５）からプッシュボタン（９）へ移行する瞬間に手がプッシュボタン（５）の検出領域４５から周辺検出領域４６ａ又は４６ｂに移行するため図１９（Ｂ）に示すプッシュボタン（９）の第１発生量（ボタンホール動作頻度）が閾値ｔｈ１を越える。このため、図１９（Ｄ）のプッシュボタン（９）の動作検出フラグが時刻ｔ１２でハイレベルになり、同図（Ｊ）に示すプッシュボタン（９）の書き込み停止フラグが時刻ｔ１２でハイレベルになる。このため、時刻ｔ１２より検出領域画像メモリ７１からプッシュボタン（９）の画像が背景画像として読み出し開始される。

その後、手が図１８（４−Ａ）に示すようにプッシュボタン（５）からプッシュボタン（９）に移行して時刻ｔ１５で図１９（Ｇ）に示すようにプッシュボタン（５）の活性化フラグがローレベルとなったときは、プッシュボタン（９）上の手の面積は図１９（Ｆ）に示すように閾値ｔｈ２以上であるので、本来はプッシュボタン（９）の活性化フラグが時刻ｔ１５以降再びハイレベルとなるはずである。しかし、時刻ｔ１２より検出領域画像メモリ７１からプッシュボタン（９）の画像が背景画像として読み出されているため、プッシュボタン（９）上の手の画像との差分信号が減算器７２から殆ど得られない。その結果、オブジェクト抽出器４１からは手の画像を識別した信号が出力されず、プッシュボタン（９）の活性化フラグは図１９（Ｈ）に示すように時刻ｔ１５以降得られないという問題へとつながる。

本発明は、かかる問題を改善するものであり、その実施の形態について以下に説明する。図２０は本発明になる電子機器の制御装置の一実施の形態の要部のブロック図を示す。同図中、図１４と同一構成部分には同一符号を付し、その説明を省略する。図２０に示す実施の形態は、制御情報判断器（ＣＰＵ）２０内の時間差分フィルタ制御部１１０をフラグ生成部１１１とフラグ制御器１１２とからなる構成とした点に特徴がある。

フラグ生成器１１１は、図１４のフラグ生成器９７と同様に、時間差分フィルタ５３から入力されたデータに基づいて各種のフラグを生成し、制御情報発生器９６またはフラグ制御器１１２に供給する。フラグ制御器１１２は第１の動作検出器９１から供給される検出領域の活性化フラグとフラグ生成器１１１から供給される動作検出フラグとに基づいて、検出領域画像メモリ（図８の７１）の書き込み停止を制御するための書き込み停止フラグを生成し、時間差分フィルタ５３に供給する。

次に、フラグ制御器１１２の動作について、図２１のフローチャートと、図２３の手とプッシュボタン配列上の手の動きの一例を示す図と、図２４のタイミングチャートと共に説明する。図２１のフローチャートはフレーム単位で処理されるものである。また、図２４のタイミングチャートにおいて、（Ａ）から（Ｊ）までの各図の横軸（時間軸）は同一スケールで描いている。また、図２４（Ａ）〜（Ｆ）の説明は、図１９（Ａ）〜（Ｆ）にて説明した内容と同一であるので省略する。

ここでは、図２３に示すように、図１８と同様にプッシュボタン配列をユーザの手により選択操作した場合を例にとって説明する。図２３において、Ｔ１→Ｔ２→Ｔ３→Ｔ４→Ｔ１へと時間が経過している。なお、図２３の各時間Ｔ１〜Ｔ４での図は、図１６に示した１６個のプッシュボタンの図を、図１８と同様に、手がプッシュボタンのどこにあるのかが、プッシュボタンと手がオーバラップした部分が重なって分かり難いので、説明上左右２つに分けて描かれている。

図２３の時間Ｔ１における（１−Ａ）は、プッシュボタン配列をユーザが選択操作する前の状態を表しており、このときは、（１−Ｂ）に示すように選択操作前の状態なので、活性化フラグは得られない。次の時間Ｔ２では、図２３（２−Ａ）に示すように、（９）のプッシュボタンにユーザが手をかざしている状態（手の操作方向は下→上）を表している。この場合、（１３）のプッシュボタンにも手がかかっているが、ここでは前述したように画面上上側位置にあるプッシュボタンほど高い優先順位付けを行っているため、（２−Ｂ）にハッチングで模式的に示すように、（９）のプッシュボタンのみ活性化フラグが得られる。

図２３（３−Ａ）は、（５）のプッシュボタンに手をかざしている状態（手の操作方向は下→上）を表している。この場合も優先順位付けを行っているため、同図（３−Ｂ）にハッチングを付して示すように、プッシュボタン（５）のみ活性化フラグが得られる。図２３（４−Ａ）は、プッシュボタン（９）に手をかざしている状態（手の操作方向は上→下）を表している。後述するように、図２１のフローチャートの本実施の形態のアルゴリズムにより、同図（４−Ｂ）にハッチングを付して示すように、プッシュボタン（９）の活性化フラグが得られる。図２３（４−Ａ）に示した状態の後、手がプッシュボタン配列から外され、同図（１−Ａ）の状態に戻る。

図２０において、フラグ制御器１１２はフラグ生成器１１１から動作検出フラグが供給されると共に、第１の動作検出器９１から活性化フラグが供給される。活性化フラグは、プッシュボタン配列に配置されているＮ個（ここでは１６個）の各プッシュボタンに対応している。

まず、フラグ制御器１１２はＮ個のプッシュボタンのそれぞれについて、活性化フラグがハイレベルか否かを判定する（図２１のステップＳ１１）。続いて、ステップＳ１１にて活性化フラグがローレベルと判定されれば（Ｎｏ）、活性化フラグがローレベルと判定されたプッシュボタン毎に、動作検出フラグと活性化フラグとの論理和を求める（図２１のステップＳ１２）。

従って、ステップＳ１２では、図２４（Ｇ）に示すプッシュボタン（５）の活性化フラグは時刻ｔ８（図２３（３−Ａ）の状態）の直前まではローレベルであるので、同図（Ｃ）に示すプッシュボタン（５）の動作検出フラグとの論理和が求められる。同様に、ステップＳ１２では、図２４（Ｈ）に示すプッシュボタン（９）の活性化フラグは時刻ｔ２（図２３（２−Ａ）の状態）の直前まではローレベルであるので、同図（Ｄ）に示すプッシュボタン（９）の動作検出フラグとの論理和が求められる。この論理和結果は図２４（Ｉ）、（Ｊ）に示す書き込み停止フラグとして時間差分フィルタ５３に出力される。このステップＳ１２により、図２４（Ｊ）に示すように、プッシュボタン（９）の書き込み停止フラグは時刻ｔ２〜ｔ３の期間ハイレベルとなる。

一方、ステップＳ１１にて活性化フラグがハイレベル（Ｙｅｓ）と判定されたときは、ハイレベルと判定されたプッシュボタンの活性化フラグの立ち上がりエッジにおいて、Ｎ個のすべてのプッシュボタンの動作検出フラグのそれぞれについてハイレベルか否かを判定する（図２１のステップＳ１３）。ここで、立ち上がりエッジとは、活性化フラグがハイレベルに変化した最初のフレームのことである。

すなわち、ステップＳ１３において、図２４では、（Ｇ）に示すプッシュボタン（５）の活性化フラグが時刻ｔ８で立ち上がるので、この時刻ｔ８でＮ個のプッシュボタンの動作検出フラグのそれぞれについてハイレベルか否かを判定する。同様に、図２４（Ｈ）に示すプッシュボタン（９）の活性化フラグが時刻ｔ３、ｔ１４で立ち上がるので、この時刻ｔ３、ｔ１４でＮ個のプッシュボタンの動作検出フラグのそれぞれについてハイレベルか否かを判定する。

続いて、フラグ制御器１１２はステップＳ１３において、あるプッシュボタンの活性化フラグの立ち上がりエッジの時刻で、Ｎ個の動作検出フラグのうちローレベルの動作検出フラグについては、その動作検出フラグと同じプッシュボタンの活性化フラグとの論理和を求め（図２１のステップＳ１４）、それを書き込み停止フラグとして出力する。例えば、図２４（Ｈ）に示すプッシュボタン（９）の活性化フラグが立ち上がる時刻ｔ３では、同図（Ｃ）に示すプッシュボタン（５）の動作検出フラグはローレベルであるので、ステップＳ１４により、プッシュボタン（５）の動作検出フラグと図２４（Ｇ）のプッシュボタン（５）の活性化フラグとの論理和を求める。時刻ｔ３では両者共にローレベルであるので、図２４（Ｉ）に示すように時刻ｔ３におけるプッシュボタン（５）の書き込み停止フラグはローレベルとなる。

一方、ステップＳ１３において、あるプッシュボタンの活性化フラグの立ち上がりエッジの時刻で、Ｎ個の動作検出フラグのうちハイレベルの動作検出フラグについては、その動作検出フラグと同じプッシュボタンの書き込み停止フラグを、立ち上がりエッジ後の活性化フラグが立ち下がるまでの期間ハイレベルに保持する（図２１のステップＳ１５）。

例えば、図２４（Ｈ）に示すプッシュボタン（９）の活性化フラグが立ち上がる時刻ｔ３では、同図（Ｄ）に示すプッシュボタン（９）の動作検出フラグはハイレベルであるので、ステップＳ１５により、プッシュボタン（９）の活性化フラグのハイレベル期間（ｔ３〜ｔ８）、同図（Ｊ）に示すようにプッシュボタン（９）の書き込み停止フラグをハイレベルに保持する。

同様に、図２４（Ｇ）に示すプッシュボタン（５）の活性化フラグが立ち上がる時刻ｔ８では、同図（Ｃ）、（Ｄ）にそれぞれ示すプッシュボタン（５）、（９）の各動作検出フラグはハイレベルであるので、ステップＳ１５により、プッシュボタン（５）の活性化フラグのハイレベル期間（ｔ８〜ｔ１５）、同図（Ｉ）、（Ｊ）に示すようにプッシュボタン（５）、（９）の書き込み停止フラグをそれぞれハイレベルに保持する。また、図２４（Ｈ）に示すプッシュボタン（９）の活性化フラグが立ち上がる時刻ｔ１５（図２４（３−Ａ）から（４−Ａ）の状態になる時刻）では、同図（Ｃ）、（Ｄ）にそれぞれ示すプッシュボタン（５）、（９）の各動作検出フラグはハイレベルであるので、ステップＳ１５により、プッシュボタン（９）の活性化フラグのハイレベル期間（ｔ１５〜ｔ２０）、同図（Ｉ）、（Ｊ）に示すようにプッシュボタン（５）、（９）の書き込み停止フラグをそれぞれハイレベルに保持する。時刻ｔ２０以降は図２４（Ｇ）、（Ｈ）に示す活性化フラグはそれぞれローレベルであるので、図２１のステップＳ１２により動作検出フラグの論理レベルに応じた論理レベルの書き込み停止フラグが出力される。

この結果、本実施の形態によれば、図２４（Ｊ）に示すように、プッシュボタン（９）の書き込み停止フラグは時刻ｔ２〜ｔ２２の期間、継続してハイレベルに保持されるため、検出領域画像メモリ７１のプッシュボタン（９）の画像記憶領域には、時刻ｔ１のプッシュボタン（９）の背景画像が書き込まれた後、時刻ｔ２〜ｔ２２の期間書き込み停止状態が保持される。

これにより、時刻１５で手がプッシュボタン（５）からプッシュボタン（９）に移行してプッシュボタン（５）の活性化フラグがローレベルとなったときは、プッシュボタン（９）上の手の面積は図２４（Ｆ）に示すように閾値ｔｈ２以上であるので、減算器７２からプッシュボタン（９）上の手の画像との背景画像との差分信号が得られる。その結果、プッシュボタン（９）の活性化フラグは図２４（Ｈ）に示すように時刻ｔ１５以降得られることとなる。

図２２は、本実施の形態においてユーザがプッシュボタンを選択操作した場合の、画面空間内における書き込み制御パルスの時間経過の一例を示す。図２２（Ａ）から（Ｆ）の方向に時間が経過している。図２２（Ａ）は、周辺検出領域（例えば、図９（Ｂ）の４６ｂ）と検出領域（図９（Ｂ）の４５）をｎ個、同一縦方向の位置に描いた図である。図２２（Ａ）では、手などの動作するものがｎ個のプッシュボタン（Ｗ１−１）〜（Ｗ１−ｎ）上に存在しない。このときはｎ個のプッシュボタン（Ｗ１−１）〜（Ｗ１−ｎ）にそれぞれ対応するｎ個の動作検出フラグはすべてローレベルであることを、（Ｗ１−１）から（Ｗ１−ｎ）を図面に記載することで示している。

図２２（Ｂ）は、手がプッシュボタン（Ｗ１−３）から（Ｗ１−７）まで掛かっている状態を表しており、優先順位付けが行われ、優先順位の一番高い（Ｗ１−３）が活性化している。この場合、本実施の形態により、プッシュボタン（Ｗ１−３）の活性化フラグの立ち上がりエッジにて、動作検出フラグがハイレベル、つまり動作する物体を検出した（Ｗ１−３）から（Ｗ１−７）までの書き込み停止フラグがハイレベルとなっている。書き込み停止フラグがハイレベルとなるプッシュボタンは、図２２では（Ｗ１−ｘ）（ｘは１〜ｎのいずれか）の図示をしないことにより示している。

図２１と共に説明したように、活性化フラグと動作検出フラグとの論理和により書き込み停止フラグが生成されるので、活性化フラグと動作検出フラグの少なくとも一方がハイレベルのときは書き込み停止フラグがハイレベルとなるため、検出領域画像メモリ７１におけるプッシュボタン（Ｗ１−３）から（Ｗ１−７）までの画像記憶領域への書き込みが停止される。

図２２（Ｃ）は、ユーザが手を同図（Ｂ）の状態から上へシフトさせ、プッシュボタン（Ｗ１−２）を選択している状態を表している。この場合、手が掛っているプッシュボタン（Ｗ１−２）から（Ｗ１−６）までと、直前まで手があり、上へシフトする際に動作検出フラグがハイレベルとなったプッシュボタン（Ｗ１−７）が、書き込み停止フラグがハイレベルとなっている。

図２２（Ｄ）は、ユーザが手をさらに上へシフトさせ、プッシュボタン（Ｗ１−１）を選択している状態を表している。この場合、手が掛っているプッシュボタン（Ｗ１−１）から（Ｗ１−５）までと、直前まで手があり、上へシフトする際に動作検出フラグがハイレベルとなったプッシュボタン（Ｗ１−６）が書き込み停止フラグがハイレベルとなっている。また、プッシュボタン（Ｗ１−７）は、プッシュボタン（Ｗ１−１）の活性化フラグの立ち上がりエッジにて、動作する物体がないので、書き込み停止フラグはローレベルに戻り、検出領域画像メモリ７１への背景画像の書き込みを再開する。

図２２（Ｅ）は、ユーザが手を下へシフトさせ、プッシュボタン（Ｗ１−２）を選択している状態を表している。この場合、手が掛っているプッシュボタン（Ｗ１−２）から（Ｗ１−６）までと、直前まで手があり、下へシフトする際に動作検出フラグがハイレベルとなったプッシュボタン（Ｗ１−１）が書き込み停止フラグがハイレベルとなっている。

図２２（Ｆ）は、ユーザが手をさらに下へシフトさせ、プッシュボタン（Ｗ１−３）を選択している状態を表している。この場合、手が掛っているプッシュボタン（Ｗ１−３）から（Ｗ１−７）までと、直前まで手があり、手が下へシフトする際に動作検出フラグがハイレベルとなったプッシュボタン（Ｗ１−２）が書き込み停止フラグがハイレベルとなっている。また、プッシュボタン（Ｗ１−１）は、プッシュボタン（Ｗ１−２）の活性化フラグの立ち上がりエッジにて、動作する物体がないので、書き込み制御パルスと動作検出フラグはローレベルに戻り、書き込み停止フラグがローレベルとなることから検出領域画像メモリ７１への背景画像の書き込みを再開する。

このように、本実施の形態では選択操作をしている間は、動作する物体（対象物）を検出したプッシュボタンの書き込みを停止させ続ける制御をしている。また、動作する物体を検出しない場合は、背景画像を検出領域画像メモリ７１に書き込み続けることで、動作する物体を検出した際に直前の背景画像との比較が行え、より精度の高い差分信号を得ることができる。

この結果、本実施の形態によれば、ユーザの手の操作方向によっては活性化フラグが得られないという従来の問題を解決し、ユーザの手の操作方向を限定せず、あらゆる手の動きに対しても所望の操作を行うことができる。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、プッシュボタン番号が大きいほうを優先して、それを踏まえた画面内での配置をしても同様の効果が得られる。また、プッシュボタンを空間クリックするのはユーザの指に限定されるものではなく、例えば手や足を模した棒や発光する物体などの特定の対象物でもその先端部で空間クリックによる操作は可能である。更に、テレビジョン受像機以外の電子機器にも本発明を適用できるものである。

従来のリモコン装置による操作形態と本発明の操作形態との違いを説明するための図である。 本発明の電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図である。 操作者の画像と操作用画像の一例を示す図である。 操作者の画像と操作用画像とを重畳（混合）した状態の一例を説明する図である。 図２に示す検出器と表示装置の画面上の検出領域との対応を説明するための図である。 図２に示す検出器の一例のブロック図である。 図６に示すオブジェクト抽出器の一例のブロック図である。 本出願人が特願２００６−２４３７８号にて提案した図７に示す時間差分フィルタの一例のブロック図である。 画面上の検出領域と周辺検出領域との関係の各例を示す図である。 画面上の操作ボタンに手をかざした状態を示す図である。 画面上の操作ボタンの上で指を曲げた状態を示す図である。 図６及び図７のオブジェクト抽出器で抽出された対象物の面積変化と手の動作内容を示す図である。 図６及び図７のオブジェクト抽出器を通過した操作ボタン領域の信号を表す図で、（Ａ）は手がかざされた場合、（Ｂ）は手が折り曲げられている場合の図である。 本出願人が特願２００６−２４３７８号にて提案した図２中の制御情報判断器の一例の構成をオブジェクト抽出器及びオブジェクト特徴データ検出部と共に示すブロック図である。 図１４中の動作検出器の内容を説明するタイミングチャートである。 プッシュボタンの配置とプッシュボタンの番号を示す図である。 本出願人が先に特願２００６−２７７１４０号にて提案した図１４中の動作検出器の詳細構成を示す図である。 本出願人が先に提案した特願２００６−２４３７８号及び特願２００６−２７７１４０号において、プッシュボタン配列をユーザの手により選択操作した一例を示す図である。 ユーザが図１８に示した選択操作をした時の本出願人が先に提案した特願２００６−２４３７８号及び特願２００６−２７７１４０号による問題を説明するタイミングチャートである。 本発明の電子機器の制御装置の一実施の形態の要部のブロック図である。 図２０に示すフラグ制御器の一実施の形態の動作説明用フローチャートである。 動作検出フィルタのプッシュボタンの書き込み制御を空間領域で説明するための図である。 本発明にてプッシュボタン配列をユーザの手により選択操作した一例を示す図である。 ユーザが図２３に示した選択操作をした時の図２０の要部のタイミングチャートである。

符号の説明

１ テレビジョン受像機（電子機器）
２ ビデオカメラ
３ ユーザ（操作者）
１３ 検出部
２０ 制御情報判断器（ＣＰＵ）
２１ 表示装置
４１ オブジェクト抽出器
４２ タイミングゲート器
４３ オブジェクト特徴データ検出部
４５ 検出領域
４６ａ、４６ｂ 周辺検出領域
５１ 特定フィルタ
５２ 階調限定器
５３ 時間差分フィルタ
５４ 合成器
５５ オブジェクトゲート
６１ ヒストグラム検出器
６２ 平均輝度（ＡＰＬ）検出器
６３ 高域頻度検出器
６４ 最小値検出器
６５ 最大値検出器
７１ 検出領域画像メモリ
７５ 書き込みパルス生成器
７６ 周辺領域画像メモリ
８１ 動き発生量算出器
８５ 時間差分フィルタ制御部
９１〜９５ 動作検出器
９６ 制御情報発生器
１０１ 活性化ボタン検出器
１０２ ボタン選択器
１０３ 動作内容評価器
１０４ 動作内容判定器
１１０ 時間差分フィルタ制御部
１１１ フラグ生成器
１１２ フラグ制御器

Claims (1)

1. 表示装置を備えた電子機器の制御装置において、
   前記表示装置の前に位置する操作者を撮影するビデオカメラと、
   前記ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器と、
   優先順位が付加された複数の操作ボタン画像を含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器と、
   前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合器と、
   前記鏡像変換画像信号における前記複数の操作ボタン画像に対応する複数の検出領域内に含まれる各画像信号をそれぞれ記憶する第１のメモリと、
   前記鏡像変換画像信号における前記複数の検出領域のそれぞれに対応し、各前記検出領域の周辺に位置する複数の周辺検出領域内に含まれる各画像信号をそれぞれ記憶する第２のメモリと、
   前記表示装置に表示中の前記鏡像変換画像信号における前記複数の検出領域内に含まれる各画像信号と、前記第１のメモリから読み出された、前記複数の検出領域内に含まれていた各画像信号とのそれぞれの第１の差分に基づいて、前記複数の検出領域毎に第１の画像信号をそれぞれ生成する第１の減算器と、
   前記表示装置に表示中の前記鏡像変換画像信号における前記複数の周辺検出領域内に含まれる各画像信号と、前記第２のメモリから読み出された、前記複数の周辺検出領域内に含まれていた各画像信号とのそれぞれの第２の差分に基づいて、前記複数の周辺検出領域毎に第２の画像信号をそれぞれ生成する第２の減算器と、
   前記第１の画像信号に基づいて、前記複数の検出領域のうちから、前記表示装置に表示された操作者が操作したと判断される検出領域を検出し、この検出した検出領域が複数あった場合は、この複数の検出領域のうち、前記優先順位が最も高い検出領域を一つ選択して操作対象領域とし、この検出した検出領域が一つの場合は、この検出領域を操作対象領域とし、前記表示装置に表示された操作者が前記操作対象領域を操作した期間に対応した期間、第１のフラグを第１の論理値に設定する検出器と、
   前記第２の画像信号に基づいて、前記複数の周辺検出領域内における前記表示装置に表示された操作者の動いた領域の大きさに応じて発生する発生量を示す動き発生量データを算出する算出器と、
   前記動き発生量データが予め定めた閾値を越えた期間、第２のフラグを第２の論理値に設定するフラグ生成器と、
   前記第１のフラグの値と前記第２のフラグの値とに基づいて、前記第１のメモリの書き込みを停止するための書き込み停止フラグを生成するフラグ制御器と、
   前記検出器により検出された前記操作対象領域が、前記操作者によって確かに操作された領域であるか否かを検出し、前記操作者が確かに操作したことを検出した場合は、前記操作対象領域に対応した前記電子機器の制御動作を行う制御部と、
   を有し、前記フラグ制御器は、
   前記第１のフラグが前記第１の論理値でないときは前記第２のフラグが前記第２の論理値である期間、その第２のフラグが付加されている前記周辺検出領域に対応する前記検出領域内の画像信号の前記第１のメモリへの書き込みを停止する書き込み停止フラグを生成し、前記第１のフラグが前記第１の論理値に設定された時点で前記第２のフラグが前記第２の論理値であったときは、その第２のフラグが付加されている前記周辺検出領域に対応する前記検出領域内の画像信号の前記第１のメモリへの書き込みを前記第１のフラグが前記第１の論理値である期間継続して停止する書き込み停止フラグを生成し、前記第１のフラグが前記第１の論理値に設定された時点で前記第２のフラグが前記第２の論理値でないときは、その第２のフラグが付加されている前記周辺検出領域に対応する前記検出領域に付加されている第１のフラグが前記第１の論理値であるか、前記第２のフラグが前記第２の論理値である期間、前記第１のメモリへの書き込みを停止する書き込み停止フラグを生成することを特徴とする電子機器の制御装置。