JP2008118633A - 電子機器の制御装置及び制御方法 - Google Patents

Abstract

【課題】画像認識を用いて電子機器を制御する際に、表示装置に表示された複数の操作ボタンのうち所望の操作ボタンが操作されたことを正しく検出する。
【解決手段】表示装置２１は、電子機器を制御するための複数の操作ボタンを含んだ操作用画像とビデオカメラ２で撮影された画像とを表示する。操作ボタンそれぞれに対応して検出領域が設けられている。検出器１７は、表示装置に表示された操作者が対象物を検出領域にかざして、操作ボタンを操作したことを、対応する検出領域の画像に基づいて検出する。制御部１８は、複数の検出領域に優先順位を設定し、検出器からの検出信号に基づいて複数の操作ボタンが操作されたと判断した場合は、複数の操作ボタンに対応する検出領域のうち、最も優先順位が高い検出領域からの検出信号に基づいて電子機器の制御動作を行う制御信号を発生する。
【選択図】図２

Description

本発明は、ビデオカメラを搭載したテレビジョン受像機などの電子機器に関し、人の手などの動作の画像を認識して、電子機器の遠隔操作を行うための電子機器に関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１つの機能を１つのキー（ボタン）を押すことにより実行させる仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。

本出願人による先願である特開２００６−０９１９４８号公報（特許文献１）には、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献１に記載の電子機器はユーザの手の動作をビデオカメラで撮影して、その動作から表示装置に表示されている操作ボタンに対する操作内容を識別するものである。

特開２００６−０９１９４８号公報

特許文献１に記載の電子機器においては、ユーザが表示装置に表示されている操作ボタンに手をかざして操作したことをかなり精度よく検出することが可能である。しかしながら、ユーザの手が所望の操作ボタンを含む複数の操作ボタンにかざされてしまったり、ユーザの手が所望の操作ボタンにかざされている際に手以外のものが複数の操作ボタンにかざされてしまった場合に、適切な制御を行うことが困難となる。

本発明はこのような課題をふまえてなされたもので、画像認識を用いて電子機器を制御する際に、表示装置に表示された複数の操作ボタンのうち所望の操作ボタンが操作されたことを正しく検出できる、電子機器を提供することを目的とする。

上記した課題を解決するために、本発明は次の（ａ）〜（ｊ）を提供する。
（ａ）表示装置２１を有する電子機器の制御装置において、前記表示装置の前に位置する操作者３を撮影するビデオカメラ２と、前記ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器１３と、前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器１５と、前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合器１６と、前記ビデオカメラで撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざして、前記複数の操作ボタンのいずれかを操作したことを、対応する前記検出領域の画像に基づいて検出して、検出信号を発生する検出器１７と、前記複数の検出領域に優先順位を設定し、前記検出器からの検出信号に基づいて前記表示装置に表示された操作者が前記対象物によって操作したと判断される操作ボタンが複数あると判断した場合は、前記複数の操作ボタンに対応する前記検出領域のうち、最も優先順位が高い検出領域からの検出信号に基づいて前記電子機器の制御動作を行う制御信号を発生し、前記操作者が前記対象物によって操作したと判断される操作ボタンが一つであると判断した場合は、その一つの操作ボタンに対応する検出領域からの検出信号に基づいて前記操作ボタンに対応した前記電子機器の制御動作を行う制御信号を発生する制御部１８とを備えることを特徴とする電子機器の制御装置。
（ｂ）表示装置２１を有する電子機器の制御装置において、前記表示装置の前に位置する操作者３を撮影するビデオカメラ２と、前記ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器１３と、前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器１５と、前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合器１６と、前記ビデオカメラで撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざしたことを前記検出領域の画像に基づいて検出した第１の検出信号と、前記対象物をかざした検出領域に対応した前記操作ボタンを操作したことを前記検出領域の画像に基づいて検出した第２の検出信号とを発生する検出器１７と、前記複数の検出領域は前記表示装置上の複数の領域にグループ分けされ、前記グループ毎に前記複数の検出領域に優先順位を設定し、前記検出器からの第１の検出信号に基づいて前記表示装置に表示された操作者が前記対象物をかざしたと判断される検出領域が複数あると判断した場合は、前記グループ毎に最も優先順位が高い検出領域からの前記第１の検出信号を取得し、前記グループ毎に最も優先順位が高い検出領域のうち前記第２の検出信号を発生した検出領域に対応した操作ボタンに対応する前記電子機器の制御動作を行う制御信号を発生する制御部とを備えることを特徴とする電子機器の制御装置。
（ｃ）前記検出器は、前記検出領域にかざされた前記対象物を検出するため前記鏡像変換画像信号より特定色の領域を抽出する特定色フィルタ７１を備えることを特徴とする（ａ）又は（ｂ）記載の電子機器の制御装置。
（ｄ）前記検出器は、前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調限定器７２と、前記特定色フィルタで抽出した特定色の領域であり、かつ、前記階調限定器で抽出した予め定めた階調の範囲内を前記対象物を示す領域として抽出する合成器７３とを備えることを特徴とする（ｃ）記載の電子機器の制御装置。
（ｅ）前記検出器は、前記鏡像変換画像信号における前記合成器で抽出した前記対象物を示す領域以外を特定の輝度又は色に置き換えるゲート７４を備えることを特徴とする（ｄ）記載の電子機器の制御装置。
（ｆ）表示装置２１を有する電子機器の制御方法において、前記表示装置の前に位置する操作者３を撮影する撮影ステップと、前記撮影ステップで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換ステップと、前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成ステップと、前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合ステップと、前記撮影ステップにおいて撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記混合ステップにより生成された前記混合画像信号を前記表示装置の画面上に表示させた状態で、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざして、前記操作ボタンのいずれかを操作したことを、対応する前記検出領域の画像に基づいて検出し検出信号を発生する検出ステップと、前記複数の検出領域に優先順位を設定し、前記検出信号に基づいて前記表示装置に表示された操作者が前記対象物によって操作したと判断される操作ボタンが複数あると判断した場合は、前記複数の操作ボタンに対応する前記検出領域のうち、最も優先順位が高い検出領域からの検出信号に基づいて前記電子機器の制御動作を行う制御信号を発生し、前記操作者が前記対象物によって操作したと判断される操作ボタンが一つであると判断した場合は、その一つの操作ボタンに対応する検出領域からの検出信号に基づいて前記操作ボタンに対応した前記電子機器の制御動作を行う制御信号を生成する制御ステップとを含むことを特徴とする電子機器の制御方法。
（ｇ）表示装置２１を有する電子機器の制御方法において、前記表示装置の前に位置する操作者３を撮影する撮影ステップと、前記撮影ステップで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換ステップと、前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像信号を生成する操作用画像生成ステップと、前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合ステップと、前記撮影ステップにおいて撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記混合ステップにより生成された前記混合画像信号を前記表示装置の画面上に表示させた状態で、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざしたことを前記検出領域の画像に基づいて検出した第１の検出信号を発生する第１の検出ステップと、前記対象物をかざした検出領域に対応した前記操作ボタンを操作したことを前記検出領域の画像に基づいて検出した第２の検出信号を発生する第２の検出ステップと、前記複数の検出領域は前記表示装置上の複数の領域にグループ分けされ、前記グループ毎に前記複数の検出領域に優先順位を設定し、前記第１の検出ステップで発生された第１の検出信号に基づいて前記表示装置に表示された操作者が前記対象物をかざしたと判断される検出領域が複数あると判断した場合は、前記グループ毎に最も優先順位が高い検出領域からの前記第１の検出信号を取得し、前記グループ毎に最も優先順位が高い検出領域のうち前記第２の検出ステップで発生された前記第２の検出信号を発生した検出領域に対応した操作ボタンに対応する前記電子機器の制御動作を行う制御信号を発生する制御ステップとを含むことを特徴とする電子機器の制御方法。
（ｈ）前記第１の検出ステップは、前記検出領域にかざされた前記対象物を検出するため前記鏡像変換画像信号より特定色の領域を抽出することを特徴とする（ｆ）又は（ｇ）記載の電子機器の制御方法。
（ｉ）前記第１の検出ステップは、前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調限定ステップと、前記抽出した特定色の領域であり、かつ、前記階調限定ステップで抽出した予め定めた階調の範囲内を前記対象物を示す領域として抽出する合成ステップとを含むことを特徴とする（ｈ）記載の電子機器の制御方法。
（ｊ）前記第１の検出ステップは、前記鏡像変換画像信号における前記合成ステップで抽出した前記対象物を示す領域以外を特定の輝度又は色に置き換えることを特徴とする（ｉ）記載の電子機器の制御方法。

本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する際に、操作ボタンの操作を更に確実に検出できる。

図１は、電子機器（テレビジョン受像機１）を操作する方法において、リモコン装置による従来の操作方法と、本発明の一実施形態である操作方法との違いを説明するための図である。
操作者（ユーザ）３がテレビジョン受像機１を従来の操作方法で操作する場合、ユーザ３はリモコン装置４を手に持ち、所望の機能を働かせるキーをテレビジョン受像機１に向けて押下する。従って、リモコン装置４が無ければテレビジョン受像機１を操作できず、不便を強いられる場合を時々経験する。

これに対し、本実施形態の操作方法では、テレビジョン受像機１に、ビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を得て、テレビジョン受像機１及びそれに関連する機器の操作が行われる。
ユーザ３の動作とは、具体的にはテレビジョン受像機１の表示装置２１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。本実施形態では後述するように最も実用的である手の動きで操作する方法が採用されている。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしている。遠隔操作用機器については後述する。

図２は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、鏡像変換器１３、スケーラ１４、グラフィックス生成器１５、第１の混合器１６、検出部１７、制御情報判断器（ＣＰＵ）１８、画素数変換器１９、第２の混合器２０、及び表示装置２１を備えている。

基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生する。ここで、同期信号は画素数変換器１９に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入し画素数を一致させればよい。

鏡像変換器１３は、ビデオカメラ２で撮影したユーザ３の画像（被写体像）を表示装置２１上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置２１として陰極線管（ＣＲＴ（Cathode Ray Tube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。

スケーラ１４は、ビデオカメラ２により撮影した被写体像の大きさを拡大又は縮小して調整する画像調整器で、制御情報判断器１８の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。

グラフィックス生成器１５は、制御情報判断器１８から供給されるメニュー画面（操作用画像）を生成するための制御信号に基づいてメニュー画面を展開する操作用画像生成器である。グラフィックス生成器１５から出力され、後段で映像信号と合成または混合される操作用画像信号Ｇｓは、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では１プレーンでよい。
メニュー画面を構成するグラフィックスの画素数は、本実施形態では表示装置２１の画素数に一致させるようにしている。一致していない場合は、グラフィックス生成器１５内またはグラフィックス生成器１５の後段に画素数変換器を設けて、互いの画素数を一致させればよい。

第１の混合器１６は、スケーラ１４の出力信号Ｓ１とグラフィックス生成器１５の出力信号Ｇｓとを、制御値α１により混合割合を制御して混合する。具体的には、下記（１）式で出力信号Ｍ１ｏが表される。
Ｍ１ｏ＝α１×Ｓ１＋（１−α１）×Ｇｓ…（１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号Ｓ１の割合が大きくなり、グラフィックス生成器１５の出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。なお、既述したようにビデオカメラ２と鏡像変換器１３の間にスケーラ１４を設けた場合には、鏡像変換器１３から出力される信号を出力信号Ｓ１とすればよい。

検出部１７は、第１の検出器１７１、第２の検出器１７２、…第ｎの検出器１７ｎを備える。検出部１７に含まれる検出器は数を特定するものではなく、グラフィックス生成器１５で生成されるメニュー画面と連携した制御内容を表す後述する操作ボタンの数に対応して変動する。なお、操作ボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。

制御情報判断器１８は、検出部１７から出力されるデータ（検出信号）の解析を行い、各種制御信号を出力する。制御情報判断器１８は、入力されるデータに基づいて操作された操作ボタンに対応する制御信号を生成し、各部を制御する。制御情報判断器１８はソフトウェアで各種の処理を行うものであり、アルゴリズムについての詳細は後述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器１８のＣＰＵ）による処理とが混在するが、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。

画素数変換器１９は、入力される映像信号の画素数と表示装置２１の画素数を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオ（ＶＴＲ）入力などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。

第２の混合器２０は、第１の混合器１６と同様の機能を有する。すなわち、第１の混合器１６の出力信号Ｍ１ｏと、画素数変換器１９の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記（２）式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２×Ｍ１ｏ＋（１−α２）×Ｓ２…（２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１６の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器１９の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

表示装置２１は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２１の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。

以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３は、図２に示すグラフィックス生成器１５の出力画像（以下、グラフィックス画像）４１と、図２に示すビデオカメラ２で撮影された画像を鏡像変換し、スケーリングによりグラフィックス画像４１と画素数を一致させたスケーラ１４の出力画像（以下、スケーラ出力画像）４３とを示している。この二つの画像４１及び４３に対応する信号が、第１の混合器１６で混合される。
グラフィックス画像４１は、操作を行うためのメニュー画面（操作用画像）を形成しており、矩形状の枠４２はプッシュボタン（操作ボタン）を表す。一方のスケーラ出力画像４３は、ユーザ３を撮影し、鏡と同じように表示するものである。スケーラ出力画像４３の中の破線で示す矩形状の枠４４は、複数の検出器１７１〜１７ｎからなる検出部１７で検出する検出領域である。検出領域４４はグラフィックス画像４１上のプッシュボタン４２それぞれに対応し、表示装置２１に表示されたプッシュボタン４２と表示装置上の同一の位置に配置されている。

図４は、第１の混合器１６における混合処理を説明するための図である。図４（Ａ）は図３に示したグラフィックス生成器１５で生成される操作メニュー画面（グラフィックス画像４１）を表したものであり、プッシュボタン（１−１）〜（１−８）が含まれている。図４（Ｂ）は、図３に示したスケーラ出力画像４３であり、ビデオカメラ２でユーザ３を撮影した鏡像変換及びスケーラ処理済みの画面である。スケーラ出力画像４３には更に、検出部１７の各検出器に対応する検出領域（２−１）〜（２−８）が含まれている。
第１の混合器１６にて、図４（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面を、図４（Ｃ）に示す。なお、図４（Ｃ）に表示されるユーザ３の画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように表示装置２１には、ユーザ３の画像が鏡と同様に表示されると共に、操作メニュー画面も重畳されて表示される。これによりユーザ３は、自分の動きと操作メニュー（プッシュボタン（１−１）〜（１−８））の位置を認識することができる。テレビジョン受像機１の操作は、ユーザ３が画面を見て、画面上のプッシュボタン（１−１）〜（１−８）に触れるように手（身体、対象物）を動かすことにより行う。
なお、ここではプッシュボタン（１−１）〜（１−８）に触れると表現したが、ユーザ３が実際に画面に触れるということではなく、プッシュボタン（１−１）〜（１−８）に相当する位置に手をかざして、表示装置２１に表示されたユーザ３の映像がプッシュボタン（１−１）〜（１−８）に触れるということである。換言すれば、手をプッシュボタン（１−１）〜（１−８）上に位置するように画面を見てユーザ３が動作することにより、テレビジョン受像機１を操作する。

検出部１７が、ユーザ３が手をかざしたプッシュボタン（１−１）〜（１−８）に対応して設けられている検出領域（２−１）〜（２−８）内の手を検出し、制御情報判断器１８は該当するプッシュボタン（１−１）〜（１−８）が押されたことを認識する。従って、制御情報判断器１８から該当するプッシュボタンの制御内容に相当する制御信号を出力することができる。その際、メニュー画面の操作されたプッシュボタンの形状または色を変化させて、動作が認識されたことを画面上に表すことが好ましい。例えばプッシュボタンが押されたように画像を変化させる。

図５は、ビデオカメラ２で撮影された画像（スケーラ出力画像４３）に対して設けている検出領域（２−１）〜（２−８）と、検出部１７の検出器１７１〜１７４との対応関係を示し、更に検出領域（２−１）〜（２−８）のうち、検出領域（２−１）と（２−８）を特定する水平及び垂直のタイミングパルスを示す。タイミングパルスは、図２のタイミングパルス発生器１２から発生される。

各検出器１７１〜１７ｎは、図６に示すように、オブジェクト抽出器３０と、タイミングゲート器３１と、オブジェクト特徴データ検出部３２とを備えている。オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器３１に出力する。
タイミングゲート器３１は、タイミングパルスに基づいてビデオカメラ２からの画像信号の通過を制御する。通過する領域は対応する検出領域内である。この検出領域内に限定した信号に対して、オブジェクト特徴データ検出部３２は種々のフィルタ処理を施してビデオカメラ２で撮影したユーザ３の手の画像を抽出する。

オブジェクト特徴データ検出部３２は、抽出されたユーザ３の手（対象物）の画像信号から、さまざまな特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器３３、平均輝度（ＡＰＬ）検出器３４、高域頻度検出器３５、最小値検出器３６、最大値検出器３７を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、制御情報判断器１８によって手であることを判別すると共にその動作を認識する。
ヒストグラム検出器３３〜最大値検出器３７（検出器３３〜３７）は、第１の動作検出器１８１〜第５の動作検出器１８５にそれぞれ検出信号を出力する。第１の動作検出器１８１〜第５の動作検出器１８５は、検出信号に基づいて手であることを判別すると共にその動作を認識する。第１の動作検出器１８１〜第５の動作検出器１８５から出力されたデータは、制御情報発生器１８６に入力される。

第１の動作検出器１８１〜第５の動作検出器１８５は、受け取ったデータを変数として格納し、ソフトウェアにてデータを処理する。後述する手の動作を検出する処理は、本実施形態ではソフトウェアによる処理となる。
なお、検出器３３〜３７の全てを備えることは好ましいが、例えばヒストグラム検出器３３のみでも手の動作を認識することができるので、ヒストグラム検出器３３のみを備える構成であってもよい。

図７に、オブジェクト抽出器３０の詳細ブロック図を示す。本実施形態ではユーザ３の手を検出するために、特に肌色に着目したフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器３０は、特定色フィルタ７１と、階調限定器７２と、動作検出フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。
特定色フィルタ７１、階調限定器７２及び動作検出フィルタ７５は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定し、階調限定器７２は、輝度信号の特定の階調の範囲を限定する。動作検出フィルタ７５は、画像の動きに基づいて人の手を抽出し、識別する。
本実施形態では人の手を、後述する操作ボタンを操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、オブジェクト抽出器３０は手以外の対象物も検出することができる。

合成器７３は、特定色フィルタ７１と階調限定器７２と動作検出フィルタ７５から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と動作検出フィルタ７５を通過した信号とが全て存在（ＡＮＤ）する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ７１と階調限定器７２と動作検出フィルタ７５のうち１つまたは２つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
特定色フィルタ７１と階調限定器７２と動作検出フィルタ７５のうちの、２つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、３つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。

合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。

特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を算出し、色差信号が公知の色差平面図における所望の領域に入っているか否かを検出する。色差平面図は、ｘ軸にＢ−Ｙ、ｙ軸にＲ−Ｙをとったもので、色相は、第１象限のＢ−Ｙ軸を基準（０度）として左回りの角度で表し、飽和度はベクトルのスカラ量で表すものである。色差平面の原点が飽和度０（零）で色がない状態となり、原点から離れるにしたがい飽和度が大きくなり色が濃いことを示す。
本実施形態では、抽出する人間の手の色である肌色に相当する領域に、色差信号が入っているか否かを検出したが、抽出する色の領域は特にこれに限定するものではない。

階調限定器７２は、輝度信号の特定の階調の範囲を限定して、特定の階調の範囲に含まれる輝度信号を出力する。本実施形態では、人間の手の階調の輝度信号を通過させるものである。
動作検出フィルタ７５は、入力される輝度信号に基づいて画像の動きを検出する。本実施形態では、検出領域に対象物がかざされている画像及びかざされる前の画像を基に、対象物の画像を検出する。

特定色フィルタ７１は、色差信号で入力される色信号の色相（角度）と飽和度を限定し、階調限定器７２は輝度信号の特定の階調の範囲を限定し、動作検出フィルタ７５は輝度信号を画像の動きに応じて限定する。
特定色フィルタ７１で色相と飽和度を限定することで、人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なるため、肌色といってもさまざまである。従って、オブジェクト抽出器３０に入力された映像信号は、制御情報判断器１８より入力される制御信号によって、特定色フィルタ７１で色相、飽和度を調整され、すなわち本実施形態では手の肌色の領域のみが通過する。また、階調限定器７２では限定された輝度信号の階調の領域が通過し、概ね人の手を検出することができる。更に、動作検出フィルタ７５によって、画像の動きに基づいて背景と区別された手の領域が抽出され、オブジェクト抽出器３０より手の領域を示す画像信号が出力される。

図７に示すオブジェクトゲート器７４は、各フィルタを通過した領域以外の領域を黒（輝度信号、色信号共に０）とする信号を生成し、信号に基づく画像は後述する図１０（Ａ）、（Ｂ）に示すように手の指以外の領域であるハッチングで示した領域が黒となる。ここで、肌色領域以外の領域を黒に設定したのは後段のオブジェクト特徴データ検出部３２での検出精度を上げるためであり、検出すべき対象物によって最適レベル（特定のレベル）を設定することになる。
オブジェクトゲート器７４から出力された信号は、更に図６のタイミングゲート器３１においてプッシュボタン（１−１）〜（１−８）に対応する領域（検出領域）が限定され、検出領域以外の領域は無視される。

図６に示すオブジェクト特徴データ検出部３２は、対象物の領域を示す画像信号から、ヒストグラム検出器３３〜最大値検出器３７（検出器３３〜３７）を用いて更にさまざまな特徴を検出し検出信号を発生する。各検出器３３〜３７から出力された各検出信号は、それぞれ第１の動作検出器１８１〜第５の動作検出器１８５に入力され、指の折り曲げ動作を検出する。そして折り曲げが検出されると、制御情報発生器１８６から操作されたプッシュボタン（１−１）〜（１−８）に割り当てられた電子機器の制御動作に対応する制御信号が出力される。

オブジェクト特徴データ検出部３２の各検出器３３〜３７は、本実施形態ではハードウェアにて構成され、画面上の検出領域（２−１）〜（２−８）内の各特徴を表すデータ（検出信号）を画面単位（フィールドまたはフレーム単位：垂直周期単位）で生成して、ＣＰＵバスを介して制御情報判断器１８ヘと送出する。

ヒストグラム検出器３３は、手の領域を示す画像信号に基づいて次のように検出信号を発生する。ここでは、タイミングゲート器３１から出力された輝度信号の階調を例えば８ステップ（階調“０”〜“７”と表記する）に区切って各ステップに存在する画素の数をカウントし、１画面（１フィールドまたは１フレーム画面）ごとにヒストグラムを示すデータを第１の動作検出器１８１へ出力する。階調“０”の頻度が黒を示す画素数を示す。本実施形態の第１の動作検出器１８１は、ヒストグラム検出器３３から手の領域を示す画像信号に基づいた１画面毎のヒストグラムを示すデータ（検出信号）を受け取り、検出信号に基づいて、プッシュボタン１〜１６内にかざされている手の領域の大きさに応じて発生する発生量を算出する。
ＡＰＬ検出器３４は、同様に１画面内の輝度レベルを加算し、全画素数で割った１画面の平均輝度値を第２の動作検出器１８２へ出力する。
高域発生量検出器３５は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、１画面内における高域成分の発生量を第３の動作検出器１８３に出力する。最小値検出器３６は、１画面内の輝度信号の最小階調値を、また最大値検出器３７は１画面内の輝度信号の最大階調値をそれぞれ第４の動作検出器１８４、第５の動作検出器１８５へ出力する。

図８（Ａ）及び図９（Ａ）は、ビデオカメラ２から入力される画像に対して破線にて示す検出領域（２−１）〜（２−８）が設定されていることを表す。既述したように本実施形態では、ユーザ３が表示装置２１に表示された各プッシュボタン（１−１）〜（１−８）に対応した検出領域（２−１）〜（２−８）に手をかざすと、その動作がプッシュボタン（１−１）〜（１−８）を操作した操作情報として判別される。
図８（Ｂ）及び図９（Ｂ）は、手の動きを示す。図８（Ｂ）は、手の指を伸ばしてプッシュボタン（１−８）に対応した検出領域（２−８）にかざした状態を示し、図９（Ｂ）は、手の指を折り曲げた状態を示す。本実施形態では、この指を折り曲げる動作を２度繰り返すことでプッシュボタン（１−１）〜（１−８）を押した（操作した）ことを制御情報判断器１８に認識させるようにしている。制御情報判断器１８は、操作されたプッシュボタンに割り当てられた電子機器の動作に対応する制御信号を出力する。なお、プッシュボタン（１−１）〜（１−８）を押したことを認識させるのは、手をかざしただけとしてもよく、折り曲げ動作を１度あるいは３度以上としてもよく、適宜設定すればよい。

図１０（Ａ）、（Ｂ）に、図７のオブジェクト抽出器３０の出力信号に対応する画像を示す。図１０（Ａ）は図８（Ｂ）のように指を伸ばして検出領域（２−８）にかざした状態を示し、図１０（Ｂ）は図９（Ｂ）のように指を折り曲げてかざした状態を示している。

ヒストグラム検出器３３において、ヒストグラムのデータに基づいて手（指）がどのような状態であるかを判別する方法は種々考えられる。例えば、階調を限定した範囲である階調“４”〜“７”の頻度を合計して、手の動作を判別することができる。
図１０（Ａ）、（Ｂ）を比較すれば分かるように、指を伸ばした状態と指を折り曲げた状態とでは黒の部分である階調“０”の頻度が異なる。これはオブジェクト抽出器３０の出力信号に含まれる階調“０”の部分の量が異なるからである。従って、階調“０”の頻度のみに基づいて手の動作を判別することも可能である。このような階調“０”の頻度のみに基づいた判別では、制御情報判断器１８における判別動作の処理が簡略化されるので都合がよい。

次に、図１１（Ａ），（Ｂ）を参照して手の動作を時間軸に添って説明する。指を伸ばしている状態から折り曲げた状態までの経過時間をＴｍとする。図１１（Ａ），（Ｂ）では説明を分かり易くするために動作の最小単位としてＴ０，Ｔ１，…，Ｔ７と時間を区切っている。以下に図１１（Ａ）に示す検出信号を時間経過に添って説明する。図１１（Ｂ）の左端部にはプッシュボタン（１−１）〜（１−８）または検出領域（２−１）〜（２−８）の一部を概念的に図示している。

図１１（Ａ）において、手を伸ばしている状態から折り曲げた状態とするまでにかかる期間をＴｍとして、手の動作の基準期間（時間間隔）とする。時刻Ｔ０からＴ１までの約Ｔｍ期間は、手を目的とする制御内容を示すプッシュボタンに対応した検出領域にかざした状態の期間であり、この期間の検出信号に基づいて該当するプッシュボタンが活性化されるかどうかを制御情報判断器１８が判断する。従って、時刻Ｔ０からＴ１の検出信号は検出領域に手をかざしたことを示す。なお、プッシュボタンが活性化されるとは、プッシュボタンが操作されている（プッシュボタンに対応した検出領域に手がかざされている）状態をいう。
時刻Ｔ−１は、手が存在しない状態を表している。
時刻Ｔ１からＴ２は手の指を折り曲げていく過程を表している。時刻Ｔ２からＴ３は手の指を伸ばしていく過程を表している。時刻Ｔ３〜Ｔ４は、再び手の指を折り曲げていく過程を表している。時刻Ｔ４〜Ｔ５は再び手の指を伸ばしていく過程を表している。時刻Ｔ５〜Ｔ６は指が伸び、伸びた指を約Ｔｍ期間保持している状態を表している。この一連の動作は、プッシュボタンを操作するための動作であり、マウスのダブルクリックの動作と類似しているため人にとって無理なくできるものである。時刻Ｔ１から時刻Ｔ６までの検出信号は、手をかざした検出領域に対応したプッシュボタンを操作者が操作したことを示す。

以上がプッシュボタン（１−１）〜（１−８）または検出領域（２−１）〜（２−８）上での手の動きである。図１１（Ａ）の波形図は、検出器が対応する検出領域の画像に基づいて検出した検出信号の波形であり、図１１（Ｂ）に示すように操作者が対象物（ここでは手）によりプッシュボタンを操作するために対応する検出領域にかざした、対象物の検出領域における投影面積の変化を示す。この波形の検出信号を制御情報判断器１８において解析することにより、手の動きを特定することができる。

ここで、図１１（Ｂ）に示した時刻Ｔ１のように指を伸ばしてプッシュボタンに手をかざした場合は、図１０（Ａ）に示したように黒の画像領域が小さくなるから、例えばヒストグラム検出器３３はヒストグラムの階調”５”付近で最も頻度が高くなり、ＡＰＬ検出器３４の出力検出値は値が比較的高い値を示す。また、図１１（Ｂ）に示した時刻Ｔ２のようにプッシュボタンにかざした手の指を折り曲げた場合は、図１０（Ｂ）に示したように黒の画像領域が大きくなるから、ヒストグラム検出器３３は上記のヒストグラムの階調”５”付近の頻度が低くなり、かつ、ヒストグラムの階調”０”の頻度が高くなる。また、ＡＰＬ検出器３４の出力検出値は値が比較的低い値を示す。ヒストグラムの合計値の変動はＡＰＬの変動と近い内容になり、値のスケールが異なるだけで同様の解析で手の動作が判別できる。

図１２はオブジェクト特徴データ検出部３２から入力される検出信号を処理する制御情報判断部１８内の第１の動作検出器１８１〜第５の動作検出器１８５の内容を説明する図である。図１２に示すＴ０〜Ｔ６は図１１のＴ０〜Ｔ６に対応している。
図１２（Ａ）は図１１（Ａ）で手の動作に対応させて表した検出信号の波形と同じ波形を示し、プッシュボタンに対応する検出領域内の手の領域を示すものである。本実施形態では、図１２（Ａ）はヒストグラム検出器３３により算出された手の領域を示す検出信号であり、ヒストグラム検出器３３から第１の動作検出器１８１に入力される。ここでは、ヒストグラムに基づいた第１の動作検出器１８１の動作について述べるが、第２の動作検出器１８２〜第５の動作検出器１８５も同様に動作する。例えば、平均輝度検出器３４から出力されるプッシュボタンに対応する検出領域内の画像の平均値（ＡＰＬ）の波形もこれに近い値を示す。

図１２（Ｂ）に示す波形は、第１の動作検出器１８１内にて図１２（Ａ）の入力信号からＤＣオフセット成分を除去した信号波形である。ＤＣオフセット成分の除去は、Ｔｍ時間前後で（−１／２，１／２）のタップ係数を有する高域通過のデジタルフィルタを用いて行う。デジタルフィルタは、図１２（Ａ）の検出信号を時間Ｔｍだけ遅延させた遅延信号から、遅延させていない検出信号を減算して差分信号を求め、差分信号のレベルを１／２倍としたオフセット成分除去信号を出力する。Ｔｍ期間の遅延は、手の動作の波形を通過させるためのものである。
図１２（Ｃ）に示す波形は、図１２（Ａ）の検出信号において閾値ＴＨ０以上の信号を積分した値を示す波形であり、第１の動作検出器１８１内にて得られる。図１２（Ｃ）に示す積分値が閾値ＴＨ１を超えるまでの時間は検出期間である。図１２（Ｃ）の波形が閾値ＴＨ１以上になったとき、第１の動作検出器１８１は、図１２（Ｄ）に示す活性化フラグを生成する。活性化フラグはプッシュボタンに手がかざされている間（活性期間）出力され、プッシュボタンが選択されていることを表す。

図１２（Ｅ）は、第１の動作検出器１８１内において、図１２（Ｂ）に示すオフセット成分除去信号を相互相関デジタルフィルタに入力して得られた相互相関計算値の波形に基づく波形の包絡線を表したものである。図１２（Ｅ）は、手の動きとの相関を示したものである。時刻が進行するに従って手の動作に基づいて得られる波形との一致度が増加するため、包絡線のピークが大きくなる。包絡線のピークが閾値ＴＨ４を越えた時点で、相関計算の結果をもって所定の動作が行われたとし、制御を確定とする（判定期間）。
なお、図１２（Ａ）に示す波形が閾値ＴＨ０以下の時に初期化を行う。相関計算して手のクリック動作を確定に導くアルゴリズムは公知であり、また、本発明の要旨ではないので、その詳細な説明は省略する。

次に、本発明にて制御のために活性化されるプッシュボタンの選択動作について説明する。図１３は本発明のプッシュボタンの選択に係わる説明をするためのプッシュボタンの配列の一例を示す。図１３に示す表示装置２１には、１６種類の制御に対応する１６のプッシュボタンが含まれた操作メニュー画面が表示されている。各プッシュボタンには、説明のため１から１６までの識別番号を付す。本実施形態では、各プッシュボタン１〜１６に対応した各検出領域も同一の識別番号（１〜１６）を有し、各検出領域の検出信号は対応する検出器１７１〜１７１６から出力される。
プッシュボタンによる制御は例えば、テレビジョン受像機１のメディア選択（ＣＳ放送、ＢＳ放送、地上波デジタル放送、ビデオ入力、設定）、チャンネル選択などであり、テレビジョン受像機１に接続された他の電子機器であるビデオカセットレコーダや、ＤＶＤプレーヤ等の電源オン／オフ制御等であってもよい。

図１４（Ａ）は、プッシュボタン５にユーザ３が手をかざした状態を示す図である。実際には図１４のように、プッシュボタン５のみではなく、プッシュボタン９及び１３にもユーザ３の手がかざされることがある。
そのため、各プッシュボタン５、９、１３に対応する各検出領域の検出器１７ｎから、既述したように活性化フラグが出力される。
図１４（Ｂ）は、活性化フラグが得られたプッシュボタン５、９、１３をクロスハッチングして示す図である。ここでは説明のため、ユーザ３の手は図示しない。プッシュボタン５、９、１３は、上記したように所定の表示態様で表示されている。

図１５（Ａ）は、図１４（Ａ）に示すように手がかざされたプッシュボタン５、９、１３の各検出領域における手の領域を示す検出信号Ｂ［５］、Ｂ［９］、Ｂ［１３］の時系列変化を示す。検出信号Ｂ［５］は、プッシュボタン５に対応する検出領域に対応した検出器１７５で生成され、同様に検出信号Ｂ［９］は検出器１７９、検出信号Ｂ［１３］は検出器１７１３で生成される。なお、［ ］内の数字はボタン番号であり、対応するプッシュボタンの番号である。この検出信号は、図１２（Ａ）に示した検出信号に相当する。図１５（Ａ）は、プッシュボタン５、９、１３と手の関係を示す図も併せて図面左側に示す。
プッシュボタン５、９、１３はメニュー画面において、この順に上から下に向かって配置され、ユーザ３の手は表示装置２１の画面に対して下から上へ向かって上がってきているので、ユーザ３の手は最も下側に位置するプッシュボタン１３から９、５の順にかざされていく。従って、まずプッシュボタン１３に対応した検出器１７１３からの検出信号Ｂ［１３］が出力され、図１５（Ａ）に示すようにプッシュボタン１３に対応する検出信号Ｂ［１３］の累積値が一番初めに閾値を超える。続いてプッシュボタン９に対応する検出信号Ｂ［９］、プッシュボタン５に対応する検出信号Ｂ［５］の累積値が閾値を超える。
ここで、プッシュボタンｎに対応した検出領域に対応した検出器１７ｎを、プッシュボタンｎの検出器ｎ、また検出器１７ｎからの検出信号Ｂ［ｎ］を、プッシュボタンｎに対応する検出信号Ｂ［ｎ］とする。

図１５（Ｂ）は、プッシュボタン５、９、１３に対応した各活性化フラグＦ［５］、Ｆ［９］、Ｆ［１３］を示す図である。活性化フラグＦ［ｉ］は、図１２（Ｄ）に示すように検出信号Ｂ［ｉ］に基づいて得られるものであり、検出信号Ｂ［ｉ］を時間方向に累積した累積値が閾値を超えると１（ハイレベル）となる。図１５（Ｂ）は、プッシュボタン５、９、１３の色の変化も併せて示す。活性化フラグがローレベルの時はプッシュボタンを白で示し、ハイレベルの時はプッシュボタンをクロスハッチングして示す。プッシュボタンの色は、制御情報判断器１８からの制御信号に応じてグラフィックス生成器１５が変化させる。
活性化フラグＦ［ｉ］も、図１５（Ｂ）に示すようにＦ［１３］、Ｆ［９］、Ｆ［５］の順でローレベルからハイレベルへ立ち上がる。
手が図１４（Ａ）に示すようにプッシュボタン５に指先がかかる位置で止まると、図１５（Ｂ）に示すように３つの活性化フラグＦ［５］、Ｆ［９］、Ｆ［１３］が同時にハイレベルとなる。活性化フラグのみではこのとき、どのプッシュボタンがユーザ３によって選択されたか。すなわち所望の制御が何であるか、が確定できないという問題が生じる。

しかしながら本実施形態では、所望のプッシュボタンに対応した検出領域に対象物をかざすだけでなく、更にプッシュボタンを操作するための指を２回折り曲げる動作を対象物が行うことで、プッシュボタンに対応する制御を行うことを確定とする。そのため、検出信号に基づいて複数の活性化フラグがハイレベルとなっても、その中で更にプッシュボタンが操作されたことを示す検出信号に基づいて対応した制御を行えばよい。
図１５（Ａ）に示すように、プッシュボタン５、９に対応する各検出信号Ｂ［５］、Ｂ［９］はいずれも指が２回折り曲げられたことを示しているが、ここでは、その振幅の大きさが異なるため、プッシュボタン５に対応した制御を確定とすることができる。

図１６は、本実施形態の第１の動作検出器１８１のブロック図を示すものであるが、第２の動作検出器１８２〜第５の動作検出器１８５も同じ構成であるため、ここでは特に説明しない。
第１の動作検出器１８１は、１６個の各プッシュボタンに対応する検出領域に対応する活性化ボタン検出器１０１〜１１６と、動作内容評価器２０１〜２１６と、動作内容判定器３０１〜３１６とを備える。第１の動作検出器１８１はソフトウェアで実現される。

活性化ボタン検出器１０１〜１１６は各検出器１７１〜１７１６からの検出信号Ｂ［ｉ］（ｉ＝１〜１６）をそれぞれ受け取り、対応するプッシュボタン１〜１６の検出領域に手がかざされているか否かを、入力される検出信号Ｂ［ｉ］に基づいて判断し、手がかざされていると判断したときは活性化フラグを”１”（ハイレベル）とする。
活性化ボタン検出器１０１〜１１６の入力は、図１２（Ａ）に示す手の領域を示す検出信号Ｂ［ｉ］であり、活性化ボタン検出器１０１〜１１６は各検出信号に基づき、図１２（Ｃ）に示す積分値が閾値ＴＨ１以上になった場合に図１２（Ｄ）に示す活性化フラグＦ［ｉ］（ｉ＝１〜１６）をハイレベルとする。活性化フラグは、動作内容評価器２０１〜２１６に出力される。

動作内容評価器２０１〜２１６は、対応する活性化ボタン検出器１０１〜１１６からの活性化フラグＦ［ｉ］がハイレベルであることを検出すると、図１２（Ｅ）に示す相関計算を行う。動作内容評価器２０１〜２１６は相関計算値を示す信号を出力する。

動作内容判定器３０１〜３１６は、対応する動作内容評価器２０１〜２１６の出力信号に基づいて指を２回折り曲げる動作が妥当であるか否かを判断して、妥当な場合にプッシュボタンに対応する制御を確定することを示す確定フラグＤ［１］〜Ｄ［１６］を出力する。動作内容判定器３０１〜３１６は、図１２（Ｅ）に示す波形が閾値ＴＨ４を越えたか否かを判定し、確定に導く処理を行う。各確定フラグＤ［１］〜Ｄ［１６］は後段の図６に示した制御情報発生器１８６に入力される。
制御情報発生器１８６は確定フラグに基づいて、プッシュボタンに対応する制御を行うための制御信号を出力する。

≪第１実施形態≫
既述したように、図１５（Ａ）に示す検出信号Ｂ［５］、Ｂ［９］は、振幅の大きさが異なるために、プッシュボタン５に対応した制御を確定とすることができたが、複数のプッシュボタンに対応する検出信号においてその振幅が同じである場合も考えられる。この場合、同時に２つのプッシュボタンを確定に導く可能性がある。
次に、複数のプッシュボタンに手がかざされた際にユーザ３が目的としているプッシュボタンを選択する選択動作の第１実施形態について説明する。

図１７（Ａ）は図１４（Ａ）同様に、プッシュボタン５に手をかざしたときの状態を示し、プッシュボタン５、９、１３に手がかざされている。
図１７（Ｂ）は、本実施形態の方法により、活性化したプッシュボタン５を示すものである。

本実施形態では、手がかざされた複数のプッシュボタンのうち、操作メニュー画面上で最も上に配置されているプッシュボタン（ここでは、プッシュボタン５）を優先させて活性化させる。これは、本実施形態ではプッシュボタン上で手の指を折り曲げる動作をすることで制御を確定とさせるため、指先がかざされるプッシュボタンが重要となるためである。
ただし、これはあくまでもテレビジョン受像機１を見る姿勢が座っている場合や立っている場合で、図１７（Ａ）のように指先が手や掌より上にあることを条件としている。更に左右については特に優先順位を決める理由はないが、活性化するプッシュボタンを一つとするならばいずれかに決めなければならない。
また、本実施の形態ではプッシュボタンに付した番号が小さい順に優先を決めることにする。各図のようにプッシュボタンに付した番号は、画面の上からかつ、左から番号が大きくなるように付している。このプッシュボタンの番号の大小関係で優先順位を考える。なお優先順位は制御情報判断器１８において設定され、制御情報判断器１８はこれに基づいてプッシュボタンに対応して設けられた検出領域に対応する検出器から出力された検出信号を処理する。

図１８は、本実施形態の第１の動作検出器１８１のブロック図を示すものである。本実施形態において、第１の動作検出器１８１〜第５の動作検出器１８５はそれぞれ同一構成であるため、第２の動作検出器１８２〜第５の動作検出器１８５については特に説明しない。
図１８に示すように、第１の動作検出器１８１は、活性化ボタン検出器９１、ボタン選択器９２、動作内容評価器９３、及び動作内容判定器９４を備える。活性化ボタン検出器９１は、１６個全てのプッシュボタンに対応する検出信号Ｂ［１］〜Ｂ［１６］が入力される。活性化ボタン検出器９１は、検出信号Ｂ［ｉ］に基づき、手がかざされているプッシュボタンを検出し、手がかざされていることを検出したプッシュボタンの番号（ここでは、１〜１６のいずれか）をボタン選択器９２に出力する。また活性化ボタン検出器９１は、検出信号Ｂ［ｉ］に基づき活性化フラグＦ［ｉ］を生成する。活性化フラグＦ［ｉ］は、後段の動作内容評価器９３及び動作内容判定器９４に出力される。
動作内容評価器９３は先に説明した動作内容評価器２０１〜２１６と同じものであり、動作内容判定器９４は先に説明した動作内容判定器３０１〜３１６と同じものである。動作内容判定器９４は、図６に示した制御情報発生器１８６に確定フラグＤ［ｉ］（ｉ＝１〜１６）を出力する。
なお、複数のプッシュボタンに手がかざされていることが検出された場合には、優先順位の高いプッシュボタンの番号をボタン選択器９２に出力する。

ボタン選択器９２は、１６個全てのプッシュボタンに対応する検出信号Ｂ［１］〜Ｂ［１６］が入力される。ボタン選択器９２は、活性化ボタン検出器９１から入力されたボタン番号に基づいて、ボタン番号に対応するプッシュボタンから出力された検出信号Ｂ［ｉ］を選択する。
動作内容評価器９３及び動作内容判定器９４は、図１２に示すように活性化フラグＦ［ｉ］が立っている間の選択されたプッシュボタンに対応する検出信号Ｂ［ｉ］に基づいて、動作内容を評価し判定する。

図１９は、活性化ボタン検出器９１において、手がかざされているプッシュボタンを検出するフローチャートを示す図である。
活性化ボタン検出器９１には、１６個全てのプッシュボタンに対応する検出信号Ｂ［１］〜Ｂ［１６］が入力される。ステップＳ１１で活性化ボタン検出器９１は、各検出信号Ｂ［１］〜Ｂ［１６］を時間方向に累積演算し、各累積値を算出する。
ここで、本実施の形態ではオブジェクト特徴データ検出部３２以降では１垂直周期毎に変換するデータが伝送され、そのデータが図１２（Ａ）に示す波形とされて制御情報判断器１８に入力されるため、ステップＳ１１では１垂直周期期間、上記の累積演算を例えば１次の巡回型フィルタを用いて行う。

次にステップＳ１２で活性化ボタン検出器９１は、各累積値を予め定めた閾値と比較し、閾値以上の累積値については値「１」（ハイレベル）、閾値未満の累積値については値「０」（ローレベル）を設定した活性化フラグＦ［１］〜Ｆ［１６］を生成する。
続いてステップＳ１３で活性化ボタン検出器９１は、活性化フラグＦ［１］〜Ｆ［１６］において値「１」を示す活性化フラグのうち、最も小さいボタン番号を有するものを選択し、そのボタン番号（要素番号）を得る。本実施形態では既述したように、ボタン番号が小さいほうが優先順位が高いことを制御情報判断器１８に予め設定しておく。ステップＳ１４で活性化ボタン検出器９１は、最も小さいボタン番号を有する活性化フラグＦ［ｉ］以外を値「０」とし、選択した最も小さいボタン番号を有する活性化フラグＦ［ｉ］のみを「１」とし、動作内容評価器９３及び動作内容判定器９４に出力する。また、選択したフラグのボタン番号を、ボタン選択器９２に出力する。
ボタン選択器９２は、入力される各検出信号Ｂ［１］〜Ｂ［１６］の中から、入力されたボタン番号を有する検出信号を選択し、動作内容評価器９３に出力する。

図１７に示した場合の活性化ボタン検出器９１の動作を、図２０（Ａ）（Ｂ）を用いて説明する。図２０（Ａ）は図１５（Ａ）同様に、手がかざされたプッシュボタン５、９、１３の各検出領域における手の領域を示す検出信号Ｂ［５］、Ｂ［９］、Ｂ［１３］の時系列変化を示す。この検出信号は、図１２（Ａ）に示した検出信号に相当する。なお、図２０（Ａ）では、プッシュボタン５、９、１３と手の関係を示す図も併せて図面左側に示す。
図２０（Ｂ）は、プッシュボタン５、９、１３に対応した各活性化フラグＦ［５］、Ｆ［９］、Ｆ［１３］を示す図である。図２０（Ｂ）は、プッシュボタン５、９、１３の色の変化も併せて示す。活性化フラグがローレベルの時はプッシュボタンを白で示し、ハイレベルの時はプッシュボタンをクロスハッチングを付して示す。

既述したように、手は表示装置２１の画面に対して下から上へ向かって上がってきているため、プッシュボタン１３から９、５の順で手がかざされていく。図２０（Ａ）は図１５（Ａ）と同様に、まずプッシュボタン１３の検出器１７１３からの検出信号Ｂ［１３］の累積値が一番初めに閾値を超え、続いてプッシュボタン９の検出信号Ｂ［９］、プッシュボタン５の検出信号Ｂ［５］の累積値が閾値を超える。
活性化ボタン検出器９１はプッシュボタン５、９、１３が対象物によって操作されたと判断し、値「１」のフラグを図２０（Ｂ）に示すようにＦ［１３］、Ｆ［９］、Ｆ［５］の順に生成する。また活性化ボタン検出器９１は、残りのプッシュボタンに対応するフラグは「０」として生成する。
図２０（Ｂ）は図１５（Ｂ）と異なり、本実施形態では検出信号Ｂ［１３］に基づいた活性化フラグＦ［１３］がまず初めにハイレベルとなるが、活性化フラグＦ［９］がハイレベルとなると活性化フラグＦ［１３］はローレベルとなることを示す。同様に続いて活性化フラグＦ［５］がハイレベルとなると活性化フラグＦ［９］はローレベルとなる。従って、活性化フラグＦ［５］のみがハイレベルとなる。
本実施形態では一つの活性化フラグＦ［ｉ］しかハイレベルにならない。また、ハイレベルとなる活性化フラグＦ［ｉ］は最も小さいボタン番号を有するものである。

このようにして本実施形態の活性化ボタン検出器９１は、値「１」となるフラグＦ［５］、Ｆ［９］、Ｆ［１３］のうち、最もボタン番号が小さいフラグＦ［５］を選択し、残りのＦ［９］、Ｆ［１３］は値「０」に変更する。活性化ボタン検出器９１は選択したフラグＦ［５］を値「１」のままとし、フラグＦ［５］を動作内容評価器９３及び動作内容判定器９４に出力し、ボタン番号５をボタン選択器９２に出力する。
ボタン選択器９２は、入力される各検出信号Ｂ［１］〜Ｂ［１６］の中からボタン番号５を有する検出信号Ｂ［５］を選択し、動作内容評価器９３に出力する。
プッシュボタン５にかざされていた手が離れる際には、手はプッシュボタン５から順にプッシュボタン９、１３へと動いていく。従って、活性化フラグＦ［５］、Ｆ［９］、Ｆ［１３］の順にハイレベルとなる。

ここでは、図２０（Ｂ）のように活性化フラグの変遷を示した。しかしながら、実際は、ユーザ３はプッシュボタン５に対応する制御を目的としているため、プッシュボタン５上で手を２回折り曲げる動作を行う。プッシュボタン５に対応する制御内容が確定に導かれると、活性化フラグＦ［５］を含む全ての活性化フラグはリセットされて初期状態に戻る。

≪第２実施形態≫
次に、第２実施形態のプッシュボタンを選択する選択動作について説明する。ここで図２１（Ａ）に示すように、目的とするプッシュボタン５を含む複数のプッシュボタンに手がかざされているだけでなく、ユーザ３の顔が複数のプッシュボタン上にかざされている場合を考える。
オブジェクト抽出器３０は、特定の色と階調と動作とから対象物を抽出するために、手と同様に顔などが抽出されてしまう。そのため、第１実施形態であれば、ハイレベルとなる活性化フラグＦ［ｉ］のうち、ボタン番号が最も小さいもののみをハイレベルとするので、図２１（Ｂ）に示すように、プッシュボタン３の活性化フラグＦ［３］がハイレベルになってしまう。これは、図２１（Ａ）から分かるように、ユーザ３の顔がプッシュボタン上にかざされてしまい生じたものであり、制御したい内容に対応したプッシュボタンの活性化フラグがハイレベルにならない。
従って、プッシュボタン５上でかざした手でクリック動作を行っても、制御内容を確定に導くことが難しくなる。

第２実施形態では、メニュー画面上に配置された複数のプッシュボタンに対応する検出領域を複数のセグメント（グループ）に分割する。そして各セグメントで一つ活性化フラグが立つ構成とする。図２２（Ａ）、（Ｂ）は、プッシュボタン１〜１６に対応する検出領域を表示装置２１上の左右２つの領域に分割した、２つのセグメントを示す。
図２２（Ａ）は、セグメント内でプッシュボタンの番号が連続するようプッシュボタンを配置した第１実施例を示し、図２２（Ｂ）は、先に示した配置のプッシュボタンをセグメントで分割した第２実施例を示す。
図２２（Ａ）に示す第１実施例は、第１セグメント１０１がプッシュボタン１〜８に対応する検出領域を備え、第２セグメント１０２がプッシュボタン９〜１６に対応する検出領域を備える。図２２（Ｂ）に示す第２実施例は、第１セグメント１０３がプッシュボタン１、２、５、６、９、１０、１３、１４に対応する検出領域を備え、第２セグメント１０４がプッシュボタン３、４、７、８、１１、１２、１５、１６に対応する検出領域を備える。

第１実施例及び第２実施例では、各セグメント内で小さい番号のプッシュボタンを画面の上側に配置したものであり、これは既述したように手の指先がより画面における上方向にかざされることを考慮したものである。プッシュボタンの配列は左側から右側へ向かって番号が大きくなり、上側から下側へ向かって番号が大きくなるようなものである。従って、各セグメントにおいて最も小さいボタン番号を有するプッシュボタンは、セグメントの左側の上側に配置されている。
プッシュボタンは、各セグメント毎に（１）から番号が始まるものであってもよい。この場合には、プッシュボタン番号とセグメント番号とを基に制御を行えばよい。

次に第２実施形態において、図２３（Ａ）に示すように目的とするプッシュボタン５を含む複数のプッシュボタンに手及びユーザ３の顔がかざされている場合のプッシュボタンの選択について検討する。プッシュボタンの配列及びセグメントの分割は、図２２（Ａ）に示す第１実施例のものとした。
第１セグメント１０１では、プッシュボタン３の活性化フラグＦ［３］がハイレベルになり、第２セグメント１０２では、プッシュボタン９の活性化フラグＦ［９］がハイレベルになる。図２３（Ｂ）は、プッシュボタン３、９が押されたように画像を変化させた図を示す。
プッシュボタン３においては、手の折り曲げ動作が行われるため、プッシュボタン３に対応した制御を確定させることができるが、プッシュボタン９においてはユーザ３の顔がかざされているので、プッシュボタン９に対応した制御を確定させる動作は検出されない。従って、二つのボタンの活性化フラグＦ［３］、Ｆ［９］がハイレベルになったとしても、所望の制御を行わせることができる。

図２４は、本実施形態の第１の動作検出器１８１のブロック図を示すものである。第２の動作検出器１８２〜第５の動作検出器１８５も、第１の動作検出器１８１と同じ構成であるためここでは特に説明しない。
図２４に示すように、第１の動作検出器１８１は、第１の活性化ボタン検出器９１１、第２の活性化ボタン検出器９１２、第１のボタン選択器９２１、第２のボタン選択器９２２、第１の動作内容評価器９３１、第２の動作内容評価器９３２、及び第１の動作内容判定器９４１、第２の動作内容判定器９４２を備える。第２実施形態の第１の動作検出器１８１は、複数のセグメントに対応して活性化ボタン検出器とボタン選択器と動作内容評価器と動作内容判定器とを一組とした検出部を複数備えるものである。
ここでは第１の動作検出器１８１は、第１実施例のプッシュボタンの配列に対応するため、２つのセグメント１０１、１０２に対応した二組の検出部を備える。第１の検出部は、第１の活性化ボタン検出器９１１と第１のボタン選択器９２１と第１の動作内容評価器９３１と第１の動作内容判定器９４１を備え、第２の検出部は、第２の活性化ボタン検出器９１２と第２のボタン選択器９２２と第２の動作内容評価器９３２と第２の動作内容判定器９４２を備える。

第１の活性化ボタン検出器９１１は、第１のセグメント１０１に存在するプッシュボタン１〜８に対応する検出信号Ｂ［１］〜Ｂ［８］が入力される。第１の活性化ボタン検出器９１１は、活性化ボタン検出器９１と同様のものであり、検出信号Ｂ［ｉ］に基づき、手がかざされているプッシュボタンを検出してプッシュボタン番号（ここでは、１〜８のいずれか）を出力し、各活性化フラグＦ［ｉ］を生成する。プッシュボタン番号は第１のボタン選択器９２１に出力され、活性化フラグＦ［ｉ］は、後段の第１の動作内容評価器９３１及び第１の動作内容判定器９４１に出力される。
動作内容評価器９３１は先に説明した動作内容評価器２０１〜２１６と同じものであり、動作内容判定器９４１は先に説明した動作内容判定器３０１〜３１６と同じものである。

第１のボタン選択器９２１は、８個のプッシュボタンに対応する検出信号Ｂ［１］〜Ｂ［８］が入力される。第１のボタン選択器９２１は、第１の活性化ボタン検出器９１１から入力されたボタン番号に基づいて、ボタン番号に対応するプッシュボタンの検出器から出力された検出信号Ｂ［ｉ］を選択する。
第１の動作内容評価器９３１及び第１の動作内容判定器９４１は、活性化フラグＦ［ｉ］が立っている間の、選択されたプッシュボタンに対応する検出信号Ｂ［ｉ］に基づいて、動作内容を評価し判定する。

第２の活性化ボタン検出器９１２は、第２のセグメント１０２に存在するプッシュボタン９〜１６に対応する検出信号Ｂ［９］〜Ｂ［１６］が入力される。第２の活性化ボタン検出器９１２は、検出信号Ｂ［ｉ］に基づき、手がかざされているプッシュボタンを検出してプッシュボタン番号（ここでは、９〜１６のいずれか）を出力し、各活性化フラグＦ［ｉ］を生成する。プッシュボタン番号は第２のボタン選択器９２２に出力され、活性化フラグＦ［ｉ］は、後段の第２の動作内容評価器９３２及び第２の動作内容判定器９４２に出力される。
動作内容評価器９３２は先に説明した動作内容評価器２０１〜２１６と同じものであり、動作内容判定器９４２は先に説明した動作内容判定器３０１〜３１６と同じものである。
第２のボタン選択器９２２は、８個のプッシュボタンに対応する検出信号Ｂ［９］〜Ｂ［１６］が入力される。第２のボタン選択器９２２は、第２の活性化ボタン検出器９１２から入力されたボタン番号に基づいて、ボタン番号に対応するプッシュボタンの検出器から出力された検出信号Ｂ［ｉ］を選択する。
第２の動作内容評価器９３２及び第２の動作内容判定器９４２は、活性化フラグＦ［ｉ］が立っている間の、選択されたプッシュボタンに対応する検出信号Ｂ［ｉ］に基づいて、動作内容を評価し判定する。

ソフトウェアで処理する場合は、各セグメントの動作検出器がＣ言語では関数となり、セグメントに分割した数だけ関数が呼び出されることになる。そして、セグメント単位に異なるプッシュボタンの数やプッシュボタンの始まりの番号などを引数として渡すことになる。図２４の構成はハードウェア的な表現で処理規模が大きくなるが、ソフトウェアで処理する場合、トータルのプッシュボタンの数が同じであればセグメントに分割しても処理の規模は分割しない場合と殆ど変わらない。

図２５はセグメントの分割の他の実施例を示す。図２５（Ａ）は４行４列に配列された１６個のプッシュボタンに対応する検出領域を、縦の列で一つのセグメントとして４分割した第３実施例である。画面の左から右方向へ第１セグメント１０５、第２セグメント１０６、第３セグメント１０７、第４セグメント１０８に分割される。プッシュボタンは上から下方向に、かつ、左から右方向に順番に番号が大きくなるように配列されている。
図２５（Ｂ）は１６個のプッシュボタンに対応する検出領域を６つのセグメント１１１〜１１６に分割した第４実施例を示す。画面の最も左側の第１セグメント１１１は画面左側に縦に配列された４つのプッシュボタン１〜４に対応する検出領域を備え、最も右側の第６セグメント１１６は画面右側に縦に配列された４つのプッシュボタン１３〜１６に対応する検出領域を備えるものである。画面の中央に位置する第２セグメント１１２〜第５セグメント１１５は、残る８個のプッシュボタン５〜１２に対応する検出領域を２個ずつ備える。

セグメント化はプッシュボタンに対応する検出領域が１つから多様な割り振りが可能である。本発明の操作形態では縦にセグメントを割りセグメント内のプッシュボタンを振られた番号に沿ってその対応する検出領域に優先順位をつけるのが操作上の問題を回避できてよい。多様な操作画面に対応して適切にセグメント割りすることで使い勝手を向上させるとともに多様な操作機能をセグメント単位に設定することが可能になる。

以上説明した本発明の第２実施形態では以下の特長を有している。プッシュボタンに優先順位を持たせることにより、指を２回折り曲げる動作（空間クリック）で操作されるプッシュボタンが一つに絞られる。そしてセグメント化することによって、手以外の物体に活性化状態が移り操作できなくなる問題が回避できる。さらに動作内容評価器を各セグメントに対応して設けるので、セグメント毎に引数で制御することで、クリックの回数を異なるようにするなど、異なる操作内容を与えることができる。多様な操作方法が機能ブロックを共用して実現できる利点は大きく、処理の規模を大きくすることなく実現できる。

なお、本発明の各実施形態は複数の操作ボタンに対応する複数の検出領域に対象物がかざされた際に、目的とする操作ボタンを対応する検出領域の検出信号に基づいて正しく判断し、対応する制御動作を行うための方法を説明した。特に詳細に説明しないが、一つの操作ボタンに対応する検出領域にのみ対象物がかざされた際には、検出領域からの検出信号に基づいてその一つの操作ボタンに対応する制御動作が当然正しく行われる。
また本発明は以上の実施の形態に限定されるものではなく、例えば、プッシュボタン番号の小さい方を優先順位が高いものとして説明したが、大きい方を優先して、それを踏まえた画面内での配置をしても同様の効果が得られるものである。
更に以上の実施の形態では、プッシュボタンを空間クリックするのはユーザの手の指であるものとして説明したが、本発明はこれに限定されるものではなく、例えば足、手を模した棒や発光する物体などの特定の対象物でもその先端部で空間クリックによる操作は可能である。更に、プッシュボタン（操作ボタン）に対応する検出領域を識別させるために通しの番号を付すように説明したが、通しの記号（アルファベットなど）を付して識別するようにしてもよい。更に、テレビジョン受像機１以外の他の表示装置を有する電子機器についても本発明を適用することができる。

従来のリモコン装置による操作形態と本発明の操作形態との違いを説明するための図である。 本発明の電子機器の制御装置の一実施の形態に係るテレビジョン受像機の要部のブロック図である。 操作者の画像と操作用画像の一例を示す図である。 操作者の画像と操作用画像とを重畳（混合）した状態の一例を説明する図である。 図２に示す検出器と表示装置の画面上の検出領域との対応を説明するための図である。 図２に示す検出器及び制御情報判断器の一実施形態のブロック図である。 図６に示すオブジェクト抽出器の一例のブロック図である。 画面上の操作ボタンに手をかざした状態を示す図である。 画面上の操作ボタンの上で指を曲げた状態を示す図である。 オブジェクト抽出器から出力された検出領域の画像を示す図である。 オブジェクト抽出器で抽出された検出領域における対象物の領域の変化を示す検出信号と対象物の動作とを示す図である。 動作検出器の内容を説明する図である。 プッシュボタンの配置とプッシュボタンに付した番号を示す図である。 操作画面上のプッシュボタンに手をかざしたときの状態を示す図である。 図１４に示す状態における検出領域からの検出信号を説明する図である。 本発明の一実施形態における動作検出器のブロック図である。 操作画面上のプッシュボタンに手をかざしたときの本発明の一実施形態の状態を示す図である。 本発明の一実施形態における動作検出器のブロック図である。 図１８の動作検出器の詳細な構成図である。 図１８に示す活性化ボタン検出器の動作を説明する図である。 操作画面上のプッシュボタンに手をかざしたときの状態を説明する図である。 セグメントを説明する図である。 操作画面上のプッシュボタンに手をかざしたときの状態を説明する図である。 本発明の一実施形態における動作検出器のブロック図である。 セグメントを説明する図である。

Claims (10)

1. 表示装置を有する電子機器の制御装置において、
   前記表示装置の前に位置する操作者を撮影するビデオカメラと、
   前記ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器と、
   前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器と、
   前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合器と、
   前記ビデオカメラで撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざして、前記複数の操作ボタンのいずれかを操作したことを、対応する前記検出領域の画像に基づいて検出して、検出信号を発生する検出器と、
   前記複数の検出領域に優先順位を設定し、前記検出器からの検出信号に基づいて前記表示装置に表示された操作者が前記対象物によって操作したと判断される操作ボタンが複数あると判断した場合は、前記複数の操作ボタンに対応する前記検出領域のうち、最も優先順位が高い検出領域からの検出信号に基づいて前記電子機器の制御動作を行う制御信号を発生し、前記操作者が前記対象物によって操作したと判断される操作ボタンが一つであると判断した場合は、その一つの操作ボタンに対応する検出領域からの検出信号に基づいて前記操作ボタンに対応した前記電子機器の制御動作を行う制御信号を発生する制御部と
   を備えることを特徴とする電子機器の制御装置。
2. 表示装置を有する電子機器の制御装置において、
   前記表示装置の前に位置する操作者を撮影するビデオカメラと、
   前記ビデオカメラで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換器と、
   前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成器と、
   前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合器と、
   前記ビデオカメラで撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざしたことを前記検出領域の画像に基づいて検出した第１の検出信号と、前記対象物をかざした検出領域に対応した前記操作ボタンを操作したことを前記検出領域の画像に基づいて検出した第２の検出信号とを発生する検出器と、
   前記複数の検出領域は前記表示装置上の複数の領域にグループ分けされ、前記グループ毎に前記複数の検出領域に優先順位を設定し、前記検出器からの第１の検出信号に基づいて前記表示装置に表示された操作者が前記対象物をかざしたと判断される検出領域が複数あると判断した場合は、前記グループ毎に最も優先順位が高い検出領域からの前記第１の検出信号を取得し、前記グループ毎に最も優先順位が高い検出領域のうち前記第２の検出信号を発生した検出領域に対応した操作ボタンに対応する前記電子機器の制御動作を行う制御信号を発生する制御部と
   を備えることを特徴とする電子機器の制御装置。
3. 前記検出器は、
   前記検出領域にかざされた前記対象物を検出するため前記鏡像変換画像信号より特定色の領域を抽出する特定色フィルタを備えることを特徴とする請求項１又は２記載の電子機器の制御装置。
4. 前記検出器は、
   前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調限定器と、
   前記特定色フィルタで抽出した特定色の領域であり、かつ、前記階調限定器で抽出した予め定めた階調の範囲内を前記対象物を示す領域として抽出する合成器とを備えることを特徴とする請求項３記載の電子機器の制御装置。
5. 前記検出器は、
   前記鏡像変換画像信号における前記合成器で抽出した前記対象物を示す領域以外を特定の輝度又は色に置き換えるゲートを備えることを特徴とする請求項４記載の電子機器の制御装置。
6. 表示装置を有する電子機器の制御方法において、
   前記表示装置の前に位置する操作者を撮影する撮影ステップと、
   前記撮影ステップで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換ステップと、
   前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像に対応した操作用画像信号を生成する操作用画像生成ステップと、
   前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合ステップと、
   前記撮影ステップにおいて撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記混合ステップにより生成された前記混合画像信号を前記表示装置の画面上に表示させた状態で、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざして、前記操作ボタンのいずれかを操作したことを、対応する前記検出領域の画像に基づいて検出し検出信号を発生する検出ステップと、
   前記複数の検出領域に優先順位を設定し、前記検出信号に基づいて前記表示装置に表示された操作者が前記対象物によって操作したと判断される操作ボタンが複数あると判断した場合は、前記複数の操作ボタンに対応する前記検出領域のうち、最も優先順位が高い検出領域からの検出信号に基づいて前記電子機器の制御動作を行う制御信号を発生し、前記操作者が前記対象物によって操作したと判断される操作ボタンが一つであると判断した場合は、その一つの操作ボタンに対応する検出領域からの検出信号に基づいて前記操作ボタンに対応した前記電子機器の制御動作を行う制御信号を生成する制御ステップと
   を含むことを特徴とする電子機器の制御方法。
7. 表示装置を有する電子機器の制御方法において、
   前記表示装置の前に位置する操作者を撮影する撮影ステップと、
   前記撮影ステップで撮影された画像を鏡像変換し、鏡像変換画像信号を出力する鏡像変換ステップと、
   前記電子機器を制御するための複数の操作ボタンを含んだ操作用画像信号を生成する操作用画像生成ステップと、
   前記鏡像変換画像信号と前記操作用画像信号とを混合して混合画像信号を生成する混合ステップと、
   前記撮影ステップにおいて撮影された画像に対して前記複数の操作ボタンそれぞれに対応した複数の検出領域が設けられており、前記混合ステップにより生成された前記混合画像信号を前記表示装置の画面上に表示させた状態で、前記表示装置に表示された操作者が対象物を前記複数の検出領域のいずれかにかざしたことを前記検出領域の画像に基づいて検出した第１の検出信号を発生する第１の検出ステップと、
   前記対象物をかざした検出領域に対応した前記操作ボタンを操作したことを前記検出領域の画像に基づいて検出した第２の検出信号を発生する第２の検出ステップと、
   前記複数の検出領域は前記表示装置上の複数の領域にグループ分けされ、前記グループ毎に前記複数の検出領域に優先順位を設定し、前記第１の検出ステップで発生された第１の検出信号に基づいて前記表示装置に表示された操作者が前記対象物をかざしたと判断される検出領域が複数あると判断した場合は、前記グループ毎に最も優先順位が高い検出領域からの前記第１の検出信号を取得し、前記グループ毎に最も優先順位が高い検出領域のうち前記第２の検出ステップで発生された前記第２の検出信号を発生した検出領域に対応した操作ボタンに対応する前記電子機器の制御動作を行う制御信号を発生する制御ステップと
   を含むことを特徴とする電子機器の制御方法。
8. 前記第１の検出ステップは、
   前記検出領域にかざされた前記対象物を検出するため前記鏡像変換画像信号より特定色の領域を抽出することを特徴とする請求項６又は７記載の電子機器の制御方法。
9. 前記第１の検出ステップは、
   前記鏡像変換画像信号より予め定めた階調の範囲を抽出する階調限定ステップと、
   前記抽出した特定色の領域であり、かつ、前記階調限定ステップで抽出した予め定めた階調の範囲内を前記対象物を示す領域として抽出する合成ステップとを含むことを特徴とする請求項８記載の電子機器の制御方法。
10. 前記第１の検出ステップは、
    前記鏡像変換画像信号における前記合成ステップで抽出した前記対象物を示す領域以外を特定の輝度又は色に置き換えることを特徴とする請求項９記載の電子機器の制御方法。
    
    
    

Images