JP2006262168A - 照明装置の制御方法及び電子機器の遠隔操作方法 - Google Patents

Abstract

【課題】 ビデオカメラにより暗い部屋で撮影を行うために使用される、可視光領域以外の光による照明装置の消費電力を抑制することができる制御方法を提供する。
【解決手段】 赤外線照明器４の点灯中に周期的に制御判断フレームｆｓ１，ｆｓ２，ｆｓ３にて赤外線照明器４を消灯し、該消灯後のビデオカメラにより得られる輝度信号レベルが閾値Ｔｈ２より低いときは、制御判断フレーム終了後に赤外線照明器４を再度点灯する。また制御判断フレームにて、ビデオカメラにより得られる輝度信号レベルが閾値Ｔｈ２以上であるときは、赤外線照明器４の消灯状態を継続する。赤外線照明器４を消灯させて明るさを判定することにより、赤外線照明器４自身の照明の影響を除き、適切な点灯制御を行う。
【選択図】 図１１

Description

本発明は、テレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器の遠隔操作を行うために設けられた照明装置の制御方法、及び
その照明装置の制御方法に適した、電子機器の遠隔操作方法に関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１機能を１押しで実行する仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上下左右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。

特許文献１には、このような課題を解決するために、マウスまたはこれに類似する位置指定操作装置により得られる位置指定情報を、キー押下信号の時系列パターンであるキー押下時系列符号に符号化し、そのキー押下時系列符号をテレビジョン受像機に送信するようにした制御装置が提案されている。

特開２００３−２８３８６６号公報

特許文献１に示された制御装置は、パーソナルコンピュータ（パソコン）の操作と酷似したポインティングの操作により、テレビジョン受像機を遠隔操作するものである。したがって、パソコンを利用しない人にとっては使いづらいもので、情報リテラシー（情報を使いこなす能力）の観点から、パソコンの使い勝手をそのまま導入することは無理がある。遠隔操作が求められる今日のテレビジョン受像機の利用形態にマッチした新たな操作手段が必要になっている。

さらにネットワーク化の進展は、宅内のストレージメディアや宅外のインターネットから得られる多様な情報を、テレビジョン受像機やパソコンのディスプレイに表示することで情報を受容することになる。この場合の操作形態は情報源に依存するため、多様な操作形態に対応する必要があり、家電機器に付属する現状のリモコンでは充分な対応が出来なかった。

以上説明したように、従来のリモコンでは、テレビジョン受像機などの機能の多様化と複雑化に対して、リモコンを肥大化させる。データ放送などのメニュー画面の選択操作を従来のリモコンで行うと、ポインティング装置としての役割がより重要となるため、従来のリモコンでは使い勝手の面で難点が多い。またネットワーク化は、ネットワークにつながるあらゆる機器の機能を、表示装置を介して制御することになり、つながる機器の数に比例してリモコンの数が増える問題がある。この問題は、テレビジョン受像機につながるＶＴＲ・ビデオディスク・その他オーディオ機器などでも現実にどのリモコンが該当のリモコンであるか判別がつかなくなるようなことで、現状でもよく経験している現象である。さらにインターネットに至っては、あらゆるウェッブサイトの情報を選択制御することになり、もはや従来のリモコンの形態では限界に達していることは自明である。

これに対して本出願人は、多様な操作機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような操作機器を手元で利用することを不要とする電子機器の制御装置を提案している。この提案ではビデオカメラで捉えた操作者の動作を検出することで操作を判別するが、暗い部屋の場合、ビデオカメラ画像のＳＮが悪く充分な検出精度が得られない問題があった。そこで、赤外線のように人の目に見えない光を照明として利用することで、視覚的に暗室状態を保ったままビデオカメラで操作者を明瞭に捉えて操作できるようにした場合、常時その赤外線照明装置を点灯させておくことは、不要に消費電力を増大させる。またカメラ画像を表示する表示装置から発する光が、室内の明るさに影響して、カメラ画像に基づく判別を誤る可能性がある。

本発明は上述した点に着目してなされたものであり、可視光領域以外の光による照明装置の消費電力を抑制することができる照明装置の制御方法、及びその照明装置の制御方法に適した、電子機器の遠隔操作方法を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、表示装置を有する電子機器を操作する操作者をビデオカメラにより撮影し、前記電子機器を遠隔操作する際、前記操作者に可視光領域外の光を照射する照明装置の制御方法であって、前記照明装置の消灯中に前記操作者を撮影する前記ビデオカメラから得られる輝度信号レベルが閾値より低いとき、前記照明装置を点灯し、前記照明装置の点灯中に周期的に前記照明装置を消灯し、該消灯後に前記ビデオカメラから得られる輝度信号レベルが閾値より低いときは、前記消灯後所定時間経過後に前記照明装置を点灯し、前記消灯後に前記ビデオカメラから得られる輝度信号レベルが閾値以上であるときは、前記照明装置の消灯状態を継続することを特徴とする照明装置の制御方法を提供する。

請求項２に記載の発明は、請求項１に記載の照明装置の制御方法において、前記表示装置に出力する画像信号の平均輝度信号レベルを、表示画面平均輝度信号レベルとして算出し、前記ビデオカメラから得られる輝度信号レベルの平均値を、カメラ出力平均輝度信号レベルとして算出し、カメラ出力平均輝度信号レベルを、表示画面平均輝度信号レベルにより補正し、補正後のカメラ出力平均輝度信号レベルに応じて、前記照明装置の点灯制御を行うことを特徴とする。

請求項３に記載の発明は、表示装置を有する電子機器を遠隔操作する、電子機器の遠隔操作方法であって、可視光領域外の光を照射する照明装置により、前記可視光領域外の光を前記電子機器の操作者に照射し、前記操作者をビデオカメラにより撮影し、前記ビデオカメラから得られる輝度信号レベルに応じて、前記照明装置の点灯及び消灯を行い、前記ビデオカメラから得られる前記操作者の画像、及び操作用ボタンを前記表示装置に表示し、前記ビデオカメラから出力される信号に基づいて、前記操作者の動作を示す動作検出信号を生成し、該動作検出信号に基づいて、前記操作者による前記操作用ボタンの操作を認識して前記電子機器の制御信号を生成するステップからなり、前記照明装置の一時的な消灯時においては前記照明装置の点灯時に得られた前記動作検出信号の内挿処理を行うことにより、前記動作検出信号を生成することを特徴とする遠隔操作方法を提供する。

請求項１に記載の発明によれば、照明装置を消灯した状態で、ビデオカメラから得られる輝度信号レベルに応じて、電子機器の設置場所の明るさが判断される。したがって、照明装置を点灯することによる影響を排除して設置場所の正確な明るさの判断を行い、適切な照明装置の点灯及び消灯を行うことができる。その結果、照明装置の消費電力を抑制することが可能となる。

請求項２に記載の発明によれば、ビデオカメラから得られる輝度信号レベルの平均値であるカメラ出力平均輝度信号レベルが、表示装置に出力される画像信号の平均輝度信号レベルによって補正され、補正後のカメラ出力平均輝度信号レベルに応じて、照明装置の点灯制御が行われる。したがって、表示装置が発する光の影響を除いて、設置場所の明るさの正確な判断を行うことができる。

請求項３に記載の発明によれば、照明装置により可視光領域外の光が電子機器の操作者に照射され、操作者がビデオカメラにより撮影され、ビデオカメラから得られる輝度信号レベルに応じて、照明装置の点灯及び消灯が行われ、ビデオカメラから得られる操作者の画像、及び操作用ボタンが表示装置に表示され、ビデオカメラから出力される信号に基づいて、操作者の動作を示す動作検出信号が生成され、該動作検出信号に基づいて、操作者による操作用ボタンの操作が認識され、電子機器の制御信号が生成される。そして、照明装置の一時的な消灯時においては照明装置の点灯時に得られた動作検出信号の内挿処理を行うことにより、動作検出信号が生成される。したがって、照明装置の一時的な消灯時において、適切な動作検出信号を得ることができ、操作者による操作の認識を正確に行うことができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は、本発明を適用したテレビジョン受像機１とその操作方法を説明するための図である。この操作方法は、テレビジョン受像機１に取り付けられたビデオカメラ２が視聴者３を撮影し、ビデオカメラ２の画像から視聴者３の動作を得て、テレビジョン受像機１及びそれに関連する機器を操作するものである。本実施形態では、テレビジョン受像機１に赤外線照明器４が取り付けられており、室内の照明が不十分であるときは、赤外線照明器４を点灯させて、視聴者３の動作の検出・判定が行われる。視聴者３の動作は、テレビジョン受像機１に表示されるメニュー画面を選択する身体の動き、手、足、顔、などの動きのことで、現実的には手の動きで操作することを想定している。ビデオカメラ２と赤外線照明器４の位置関係は、図示したものに特定しているわけでなく、デザイン・照明・撮影の効果などを配慮して決められるものである。

一般家庭でのテレビの視聴は、比較的明るい室内で行われることが多いが、ホームシアターなどの普及にともない、映画館と同様に暗い部屋で視聴する機会が増しており、ビデオカメラ２からの画像から視聴者の動作を検出する方式では、暗い部屋において操作不能に陥る。本実施形態では、暗い部屋では、赤外線照明器４によりビデオカメラ２からの画像を得られるようにしたもので、赤外線照明器４の入り（オン）切り（オフ）が、自動的に制御される。

図２は、赤外線カットフィルタが取り付けられていない撮像装置（イメージセンサ）の応答特性の一例を示す。横軸が光の波長であるが、一般に可視光の領域は矢印Ｙ２１で示すように、３８０ｎｍから７８０ｎｍである。赤外領域は７８０ｎｍ以上となる。ここでは矢印Ｙ２２の約７８０ｎｍから１０００ｎｍの範囲を想定している。ここで描かれている応答特性は、代表的な撮像装置の特性で赤外領域では赤緑青の三色ともに同じような応答特性が得られている。すなわち、赤外線カットフィルタが取り付けられていない撮像装置により、赤外領域において、輝度信号として赤外光の強弱を得ることができる。本実施形態では、ビデオカメラ２として、このような撮像装置を備えたものを用いる。

近年この赤外領域の照明素子として、発光ダイオード（ＬＥＤ：Light Emitting Diode）が開発されている。赤外線ＬＥＤは、波長が約７８０ｎｍから１０００ｎｍの範囲のものがあり、可視光領域から遠ざかるにしたがい赤みがかった色が見えなくなり、ホームシアタなどで照明を落として視聴する場合の妨げにならずに部屋を照らすことが可態である。したがって、図２の矢印２２で示す７８０ｎｍ〜１０００ｎｍの範囲の赤外線を照射し、同様の光の波長領域を電気信号に変換する撮像装置を利用することにより、ビデオカメラで暗室状態の被写体を撮影をすることが可能である。

図３は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、基準同期発生器１１、タイミングパルス発生器１２、グラフィックス生成器１６、赤外線照明器４、ビデオカメラ２、鏡像変換器１４、スケーラ１５、第１の混合器１７、画素数変換器２１、第２の混合器２２、表示装置２３、検出部１９、ビデオカメラＡＰＬ検出器２４、表示画面ＡＰＬ検出器２５、制御情報判断器（ＣＰＵ）２０を備えている。

基準同期発生器１１は、テレビジョン受像機１の基準になる水平周期パルスと垂直周期パルスを発生させる。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、その入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置して視聴者（ユーザ）３、またはテレビジョン受像機前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号で、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。ビデオカメラ２の光に対する応答特性は図２に示すものであり、赤外線領域の光に対しても応答し、対応する電気信号に変換する特性を有する。また、本実施形態では、ビデオカメラ２で撮像される画像の画素数は、表示装置２３の画素数と一致しているものとする。なお、画素数が一致していない場合は画素数変換器を挿入すればよい。

鏡像変換器１４は、ビデオカメラ２で撮影した被写体像を表示装置２３上に鏡と同じように左右を反転して表示するためのものである。したがって、文字を表示する場合は鏡と同じように左右が反転することになる。これについては、水平周期でデータの書き込み及び読み出しを行う第１のメモリと第２のメモリを用いてアドレス操作を行うことにより、容易に実現できる。例えば１水平周期をＮ画素とした場合、二つのメモリの書き込みアドレス０〜Ｎ−１まで１水平周期ごと交互に入力信号を書き込み、書き込み動作と排他的に読み出しを行い、書き込みアドレスと逆にＮ−１〜０へと辿り、水平方向の画像を左右に反転させる。

スケーラ１５は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器（ＣＰＵ）２０の制御で拡大率と縮小率を２次元で調整する。

グラフィックス生成器１６は、制御情報判断器（ＣＰＵ）２０から転送されるメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、Ｙ（輝度）信号と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）とする。また生成されるグラフィックスのプレーン数は限定するものではないが、説明に要するものは１プレーンである。画素数は、本実施形態では表示装置２３の画素数に一致させるようにしている。一致していない場合は、画素数変換器を入れて一致させる必要がある。

第１の混合器１７は、グラフィックス生成器１６の出力信号Ｇｓと、スケーラ１５の出力信号Ｓ１とを、制御値α１により混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ１oが表される。
Ｍ１o＝α１・Ｓ１＋（１−α１）・Ｇｓ
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ出力信号Ｓ１の割合が大きくなり、グラフィックス生成器出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

赤外線照明器４は、約３８０ｎｍ〜７８０ｎｍの可視光領域外の光（赤外線）を発生させる照明器であり、ビデオカメラ２の必要な応答特性及び照明効果が得られるＬＥＤが用いられる。

検出部１９は、第１の検出器３１，第２の検出器３２，第３の検出器３３，第４の検出器３４，…からなる。検出部１９に含まれる検出器は数を特定するものではなく、グラフィックス生成器１６で生成されるメニュー画面と連携した制御内容を表すプッシュボタン（パソコンではマウスでクリック操作する操作ボタンに該当）の数に対応して変動する。

制御情報判断器（ＣＰＵ）２０は、検出部１９から出力されるデータの解析を行い、各種制御信号を出力する。制御情報判断器（ＣＰＵ）２０の処理内容は、ソフトウェアで実現するものとなり、アルゴリズムについては詳細に記述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフト（ＣＰＵ上で展開）処理が混在するが、特にここで示す切り分けに限定するものではない。本実施形態では、空間処理（水平垂直面内の空間処理）をハードウェアで行い、時間方向の処理をＣＰＵでのソフトウェア処理として行うように切り分けた内容で説明する。

画素数変換器２１は、外部から入力される外部入力信号の画素数と表示装置２３の画素数を合わせるための画素数変換を行う。外部入力信号は、放送されてくるテレビ信号（データ放送なども含む）やビデオ（ＶＴＲ）入力などテレビジョン受像機の外部から入力されてくる信号を想定している。外部入力信号の同期系については、ここでの説明から省いてあるが、同期信号（水平及び垂直）を取得し、基準同期発生器１１にて同期を一致させている。

第２の混合器２２は、第１の混合器１７と同様の機能を有する。すなわち、第１の混合器１７の出力信号Ｍ１oと、画素数変換器２１の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記式で出力信号Ｍ２oが表される。
Ｍ２o＝α２・Ｍ１o＋（１−α２）・Ｓ２
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器出力信号Ｍ１oの割合が大きくなり、画素数変換器出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

表示装置２３は、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＰＤＰ（プラズマディスプレイ）、あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２３の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２３の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。

ビデオカメラＡＰＬ検出器２４は、ビデオカメラ２から得られる輝度信号レベルの平均値（以下「ビデオカメラＡＰＬ」という）を検出する。ビデオカメラＡＰＬ検出器２４は、検出部１９の中に設けられる平均輝度（ＡＰＬ）検出器６２と同様の動作をするが、画面全体または設定した比較的大きなエリアに対応する輝度信号レベルの平均値を求める。求められたデータはバスを介して制御情報判断器（ＣＰＵ）２０へ供給される。

表示画面ＡＰＬ検出器２５は、表示装置２３に出力される輝度信号の画面全体または特定の大きなエリアに対応する平均輝度信号レベル（以下「表示画面ＡＰＬ」という）を検出する。求められたデータはバスを介して制御情報判断器（ＣＰＵ）２０へ供給される。

以上のように構成されたテレビジョン受像機１の動作を、視聴者（ユーザ）の動作を交えて説明する。図４は、第１の混合器１７における混合処理を説明するためのイメージ図である。図４（Ａ）はグラフィックス生成器１６で生成される制御メニュー画面を表したものであり、プッシュボタン（１−１）〜（１−８）が含まれている。図４（Ｂ）は、ビデオカメラ２でユーザを捉えた画面（鏡像変換、及びスケーラ処理済み）で、検出部１９の各検出器に対応する検出エリア（２−１）〜（２−８）が含まれている。第１の混合器１７にて、図４（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面が、図４（Ｃ）に示されている。なお、図４（Ｃ）に表示されるユーザの画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように表示装置２３には、ユーザの画像が鏡と同様に映ると共に、制御のメニュー画面も重畳されて表示される。これによりユーザ本人は、自分の動きと制御メニューの位置を認識することが出来る。制御は、ユーザが画面を見て、画面上のプッシュボタンに触れるように手（身体）を動かすことにより行う。言い換えれば手をプッシュボタン上に位置するように画面を見てユーザが動作することにより、制御を行う。そして手を触れた（該当する）プッシュボタンと１：１になっている検出エリア内の手を検出すれば、該当するプッシュボタンを押したことが認識できる。したがって制御情報判断器（ＣＰＵ）２０から該当プッシュボタンの制御内容に相当する制御信号を出力することができる。その際グラフィック状のメニュー画面のプッシュボタンは形状及び／または色を変化させて、動作が認識されたことを表示上に表す。例えばプッシュボタンが押されたように画像を変化させる。

図５は、ビデオカメラ２からの画像上に設定している検出エリア（２−１）〜（２−８）と、検出部１９の検出器３１〜３４との対応関係を示し、さらに検出エリア（２−１）及び（２−８）を特定するタイミングパルス（水平垂直）を示す。

各検出器３１〜３４は、図６に示すように、オブジェクト抽出器５１と、タイミングゲート器５２と、オブジェクト特徴データ検出部５３とを備えている。タイミングゲート器５２は、図５に示したタイミングパルスでビデオカメラ２からの画像信号の通過を制御する。通過する領域は図５に破線の四角形で示す検出エリア内である。この検出エリア内に限定した信号を、さらにさまざまなフィルタ処理してビデオカメラ２で捉えたユーザの手を抽出する。

オブジェクト抽出器５１は、図７に示されるように、特定色フィルタ７１と、階調限定器７２と、合成器７３と、オブジェクトゲート７４とを備えている。特定色フィルタ７１は、設定した色相と飽和度（色の濃さ）を有する画像信号を通過させるフィルタである。

図７の階調限定器７２は、図８に示すように、輝度信号の特定の階調を限定するものである。８ビットデジタル信号の場合、０〜２５５までの２５６階調を有するが、この範囲の階調を限定する最大レベルＬｍａｘ及び最小レベルＬｍｉｎを設定し、レベルがその間にある輝度信号を出力する。

合成器７３は、特定色フィルタ７１と階調限定器７２から入力される信号を、領域パルスに変換する。すなわち、特定色フィルタ７１を通過した信号と、階調限定器７２を通過した信号の両方が存在（ＡＮＤ）する場合に、高レベルとなるパルスを出力する。

本実施形態では、テレビジョン受像機１が設置してある部屋が暗いときには、赤外線照明器４を点灯して得られる画像を評価し、所望のオブジェクト、すなわちユーザの手を捉える必要がある。前記したように赤外線領域ではビデオカメラ２からの信号はＲＧＢ各色ともに応答するため、色によるオブジェクトの識別は困難である。また特定の色の強度が高くても、画像全体が特定の色に片寄るだけで、これについても同様にオブジェクトを識別することはできない。したがって、赤外線照明器４による照明が必要なときには、特定色フィルタ７１は機能しないことになり、赤外線照明器４により赤外線を被写体（ユーザ）に照射する際は、特定色フィルタ７１の機能をオフする。これは、図７においては、合成器７３にＣＰＵから供給されるフィルタ合成器制御信号により実現される。

合成器７３で生成された領域パルスは、オブジェクトゲート７４に供給される。オブジェクトゲート７４は、領域パルスが高レベルであるとき、輝度信号と色差信号を通過させる。領域パルス外の範囲（領域パルスが低レベルであるとき）、すなわち入力信号を通過させない場合は、規定した値の信号を出力する。本実施形態では、通過させない範囲では、黒レベルの輝度信号、及び飽和度ゼロの色差信号を出力する。

このオブジェクト抽出器５１は、特定色フィルタ７１で色信号の色相（角度）と飽和度を限定したものをさらに輝度信号レベルで限定し、手の画像を抽出するためのものである。ただし、赤外線照明器４を点灯する場合は、輝度信号で画像を評価しなければならないので、部屋が明るい場合に比して充分な絞り込みができないことがある。そこで、本実施形態では、赤外線照明の強度を調整して被写体と背景画像の明暗をつけ、手を検出するようにしている。また、後段の処理で、時間方向の手の動きを評価するため、さらに高い検出強度が得られる。

図９（Ａ）及びと図１０（Ａ）は、ビデオカメラ２から入力されてくる画像に対してプッシュボタンの領域（破線の四角形で示す領域）が設定されていることを表す。本実施形態では、ビデオカメラ画像にユーザが手をかざし、その動作を制御情報として判別することを、暗室状態でも行うことができるようにしている。図９（Ｂ）及び図１０（Ｂ）に、その手の動きを示す。図９（Ｂ）はプッシュボタン領域に手をかざしたところを示し、図１０（Ｂ）はさらに手の指を折り曲げた状態を示す。本実施形態では、この折り曲げる動作を２度繰り返すことでプッシュボタンを押したことを認識するようにしている。１度でも３度以上の動作でも同様の効果を得ることが出来ることはいうまでもない。

本実施形態では、室内の照度が暗室またはそれに近いとき、それを自動的に判別して赤外線照明器４を点灯させる。また、室内が明るい（明室の）ときは自動的に赤外線照明器４を消灯させる。ここでの自動判別は、ビデオカメラ２から得られる映像信号の輝度レベルに応じて行われる。しかしながら、単純にビデオカメラ２から得られる映像信号の輝度レベルに応じた制御を行うと、暗室状態で赤外線照明器４が点灯されると明室と判断し、赤外線照明器４を消灯させるというハンチングが起きる。またこれを避けるために、輝度レベルの判定閾値を高くすると、室内が明るくなっても赤外線照明器４を点灯させることになる。これが赤外線照明器４を制御する上での課題である。

図１１（Ａ）は、赤外線を被写体に照射した場合のビデオカメラ２から得られるプッシュボタン領域の平均輝度レベル（ＡＰＬ）波形（実線）と、赤外線照明器４を消灯した場合のビデオカメラＡＰＬ検出器２４の出力波形（破線）を示し、同図（Ｂ）は、赤外線照明器４の点灯を制御する制御信号の波形を示し、同図（Ｃ）は、ビデオカメラＡＰＬ検出器２４から得られるＡＰＬの波形を示す。各横紬は時間の経過を表し、縦軸にレベル情報を表す。ここではテレビジョン信号のフレーム（インターレース走査の場合はフィールド）単位に、その包絡線が示されている。また同図（Ａ）には、縦にフレーム単位を表す破線を記してレベル情報の得られる時間単位を表している。時間軸についてはその他の図についても同様であるが、図面が複雑になるため、時間単位の破線は省いている。

図１１（Ａ）の実線の波形は、表示装置のプッシュボタン部にて手の動作によって得られるＡＰＬ検出器６２またはヒストグラム検出器６１から得られる信号（以下「動作検出信号」という）の波形である。破線の波形は、暗室時の室内の明るさを表している。暗室であれば完全に映像信号の明るさが零になるはずであるが、テレビジョン受像機（表示装置２３：投写型のプロジェクションテレビも含む）１の画像の平均輝度で室内が照らされるため、輝度レベルは低いが、テレビジョン受像機１に表示される信号の輝度レベルに応じて明るさが変化する様子を表している。

図１１（Ｂ）に示す赤外線照明器４の制御によれば、赤外線照明器４は、周期的に１フレームの期間消灯（ｆｓ１、ｆｓ２、ｆｓ３）される。この消灯は、特に同一周期でなくてもかまわないが、ここでは１６フレーム単位で消灯している。これは消灯時に部屋の明るさを検出するための操作であり、該当フレームを「制御判断フレーム」と呼称する。この制御判断フレームにて赤外線照明器４が消灯されたときは、ＡＰＬ検出器６２から得られる動作検出信号は、図１１（Ａ）に示すように、表示装置２３から発する光またはその他のわずかな外光に照らされる部屋の明るさと同一レベルとなる。表示装置２３から発光する光の強度は、表示画面ＡＰＬ検出器２５の出力信号に比例するものであり、これを利用することで補正が可能である。

図１１（Ｃ）の実線は、ビデオカメラ２から得られる画像の平均輝度レベルを表している。これは図３に示すビデオカメラＡＰＬ検出器２４から得られるものである。赤外線照明器４が点灯しているときは、レベルがＬ１となり、消灯時は破線のレベルで図１１（Ａ）と同様に表示装置２３またはその他のわずかな外光に照らされる部屋の明るさＬ０となる。厳密にはレベルＬ１は部屋の明るさＬ０と、図１１（Ａ）のプッシュボタン部の局部的なＡＰＬ変動の影響を受けるが、画面全体のビデオカメラＡＰＬへの影響は、レベル方向に微少であるとともに時間的にも平滑化されるため、ここではその変動を無視した図として説明する。したがって、レベルＬ１は平坦な図として描いている。図１１（Ｃ）のレベルＴｈ１とＴｈ２は、赤外線照明器４を制御するための閾値である。Ｔｈ１が消灯から点灯する場合の閾値であり、Ｔｈ２が点灯から消灯する場合の閾値であり、ヒステリシス特性を持たせている。この実施例ではヒステリシス特性を持たせてより良好な制御が行えるようにしているが、特に閾値をＴｈ１とＴｈ２に分けなくてもよい（単一の閾値を用いて判断するようにしてもよい）。赤外線照明器４の制御の判断は、この図１１（Ｃ）に示す例では、赤外線照明器４の点灯時に、周期的に赤外線照明器４を消灯させる制御判断フレーム（ｆｓ１、ｆｓ２、ｆｓ３）にて行われる。

ここで先に述べたように室内照明が消灯していてかつ制御判断フレームにて赤外線照明器４が消灯している暗室状態に近い場合、ビデオカメラ２から得られる映像信号のＡＰＬであるビデオカメラＡＰＬは、表示装置２３から出る光の影響が大きい。この場合は表示装置２３の影響を無視することが出来ないので、補正を行う。補正は、下記式（１）により、消灯時のビデオカメラＡＰＬであるＬ０から、表示画面ＡＰＬであるＤＬにスケール調整係数ｋ１を乗算した値を減算することにより行う。ＤＬは、表示画面ＡＰＬ検出器２５より得られるもので、これにより、表示装置２３から発する光の影響を抑圧することができる。
ＪＬ＝Ｌ０−ｋ１× ＤＬ （１）
ｋ１：スケール調整係数

式（１）により求められたＪＬが、赤外線照明器４を点灯させるか否かを判断する補正輝度レベルで、矢印Ｙ１、Ｙ２、Ｙ３は閾値と制御判断レベルであるＪＬとの間の差信号である。図１１（Ｃ）では矢印Ｙ１、Ｙ２、Ｙ３で示したレベルが閾値Ｔｈ１より低いので、継続的に点灯と判断される。

これと同様に図１１（Ａ）の動作検出信号も、表示装置２３から出る光の影響を受ける。動作検出信号は手の動きを検出するものなので、表示装置２３からの光が変化しなければ問題ないが、プッシュボタンなどのグラフィックスのメニュー画面のみでなく、部分的にビデオ信号が画面に表示された場合、表示画面ＡＰＬレベルが大きく変化して、動作検出信号へのノイズとして影響する場合が出てくる。これを抑制するために動作検出信号の輝度レベルをＭＬとして、下記式（２）により、補正動作検出信号輝度レベルＭＣＬを算出する。
ＭＣＬ＝ＭＬ−ｋ２×ＤＬ （２）
ｋ２：スケール調整係数

ｋ１、ｋ２はスケール調整係数で表示装置２３から出る光をビデオカメラ２で受けたときの輝度レベルをキャンセルするように設定する。このとき画面表示ＡＰＬは、表示装置２３直前の信号であるため、画面表示モード（暗いシネマモード、明るいダイナミックモードなど）による画面の明るさが反映されている。またブライト、コントラストなど画面調整された信号のＡＰＬを反映したものである。ビデオカメラ２からの暗室時のビデオカメラＡＰＬは、表示画面ＡＰＬに比例しているものであるが、部屋の壁の光の反射率によって大きく変わるため、視聴する部屋の大きさなどに応じてスケール調整係数ｋ１，ｋ２を設定し、表示装置２３による影響を抑制し、制御の判断精度及び動作検出精度を向上させる。当然、部屋の環境によっては補正せずにすませることもあり得る。

図１２（Ｄ）は、図１１（Ｂ）と同様に赤外線照明器４の点灯と消灯の制御内容を表している。図１２（Ｅ）は、図１１（Ｃ）と同様にビデオカメラＡＰＬを表している。この図１２（Ｄ）（Ｅ）は、室内照明が消灯から点灯に切り替わったときの遷移状態を説明するための図であり、室内照明が時点ＲＬｏｎまで消灯状態で、時点ＲＬｏｎ以降点灯している場合が示されている。室内照明が充分な明るさであれば、赤外線照明器４を消灯させることになる。

室内照明が消灯から点灯へ変化したときの動作を、図１２（Ｄ）（Ｅ）を参照して時間経過に沿って説明する。図１２（Ｄ）の時点ＲＬｏｎまでは、室内照明が消灯状態で部屋が暗く、赤外線照明器４が点灯している状態である。赤外線照明器４の制御判断のために１フレーム期間消灯し、補正済みのビデオカメラＡＰＬで評価する制御判断フレームｆｓ４では、室内照明が消灯状態で閾値Ｔｈ１よりもＡＰＬが低いため（矢印Ｙ４）、赤外線照明器４を継続的に点灯させるように判断する。室内照明が時点ＲＬｏｎにて点灯すると、ビデオカメラＡＰＬは、室内照明の明るさと赤外線照明器４から得られる明るさの合計値になり、その状態は次の制御判断フレームのｆｓ５まで続く。制御判断フレームｆｓ５では室内の明るさを示すビデオカメラＡＰＬが、閾値Ｔｈ２より上にあるので（矢印Ｙ５）、図１２（Ｄ）に示すように赤外線照明器４を消灯させるように判断する。次の制御判断フレームｆｓ６においてもビデオカメラＡＰＬが同様のレベルであるので（矢印Ｙ６）、赤外線照明器４の消灯状態を維持させるように判断する。制御判断フレームｆｓ６においては、赤外線照明器４がすでに消灯していて変化はないが、ビデオカメラＡＰＬを同一周期で閾値Ｔｈ１，Ｔｈ２に対して評価している。

図１３（Ｆ）は、図１１（Ｂ）と同様に赤外線照明器４の点灯と消灯の制御内容を表している。図１３（Ｇ）は、図１１（Ｃ）と同様にビデオカメラＡＰＬを表している。図１３（Ｆ）（Ｇ）は、室内照明が消灯から点灯に切り替わったときの遷移状態を説明するための図であり、室内照明が時点ＲＬｏｆｆまで点灯状態で、時点ＲＬｏｆｆ以降消灯している場合が示されている。室内が暗い場合、赤外線照明器４を点灯させることになる。

室内照明が点灯から消灯へ変化したときの動作を、図１３（Ｆ）（Ｇ）を参照して時間経過に沿って説明する。図１３（Ｆ）の時点ＲＬｏｆｆまでは室内照明が点灯状態で部屋が明るいので、赤外線照明器４が消灯している状態である。制御判断フレームｆｓ７では室内照明が点灯している状態で、ビデオカメラＡＰＬが閾値Ｔｈ２よりも高いため（矢印Ｙ７）、赤外線照明器４を継続的に消灯させるように判断する。室内照明が時点ＲＬｏｆｆにて消灯すると、ビデオカメラＡＰＬは、基本的には暗室状態になるが、ここでは前記したとおり表示装置２３から出る光で室内が照らされることを考慮したレベルが示されている。この状態は次の制御判断フレームｆｓ８まで続く。制御判断フレームｆｓ８では室内の明るさ、すなわちビデオカメラＡＰＬを表示画面ＡＰＬで補正したレベルＪＬが、閾値Ｔｈ１より低いので（矢印Ｙ８）、図１３（Ｆ）に示すように、赤外線照明器４を点灯させるように判断する（矢印Ｙ１０）。また制御判断フレームｆｓ９においても補正済みビデオカメラＡＰＬのレベルＪＬが同様であるので（矢印Ｙ９）、赤外線照明器４の点灯状態を継続させるように判断する。

以上のように本実施形態では、赤外線照明器４の消灯中に、補正されたビデオカメラＡＰＬが閾値Ｔｈ１より低いとき、赤外線照明器４を点灯し、赤外線照明器４の点灯中に周期的に制御判断フレームにて赤外線照明器４を消灯し、該消灯後の補正後ビデオカメラＡＰＬが閾値Ｔｈ１より低いときは、制御判断フレーム終了後に赤外線照明器４を再度点灯する。また制御判断フレームにて、ビデオカメラＡＰＬが閾値Ｔｈ２以上であるときは、赤外線照明器４の消灯状態を継続する。この制御により、赤外線照明器４の点灯制御を適切に行い、赤外線照明器４の消費電力を抑制することができる。

このようにビデオカメラ２から得られる信号の平均輝度レベルであるビデオカメラＡＰＬを活用して赤外線照明器４を適切に制御することが可能である。しかしながら、室内照明の消灯時に室内の明るさを判別するために、赤外線照明器４を消灯する制御判断フレームを設けたために、図１１（Ａ）に示すようにプッシュボタン領域から得られるＡＰＬ信号またはヒストグラム信号などの動作検出信号は、制御判断フレーム（ｆｓ１、ｆｓ２、ｆｓ３）時に不連続な信号になる。このことは、手の動作による制御方法の検出精度を悪化させる。

そこで本実施形態では、制御判断フレームにおいて生じる動作検出信号の不連続性の問題に対して、前後の信号から内挿処理して不連続性の問題を解決している。その内挿処理を、図１４を参照して説明する。図１４は、時間方向はフレーム単位に離散的な信号として示されている。ここで不連続フレームｆ２（ｆｓ１）は既知であり、その部分のみ前後のレベルから内挿する。この図では内挿処理は、前後のレベルの平均値をとることにより行っている。本実施形態におけるユーザの動作検出は、この程度のもので充分で、デジタルフィルタのタップ数が少ないほど動作の検出の判定にかかる時間を早めることができる。タップ数が多くなると絶対遅延量が多くなり、動作検出の判定にかかる時間が長くなる。したがって、内挿処理として最も簡単な前フレームの値をそのまま採用する、すなわち前値ホールドさせるようにしてもよい。

以上のように本実施形態では、部屋を暗くしてテレビジョン受像機を視聴する場合、ビデオカメラ２で捉える画像が鮮明でなくなることによる画像認識精度上の問題に対して、可視光として捉え難い領域の赤外線照明を活用することにより、操作者であるユーザをビデオカメラ２からの映像信号として精度よく捕捉することができる。

また室内照明の消灯点灯の自動的判別は、内蔵のビデオカメラ２からの映像信号で赤外線照明器４の点灯消灯の制御を判断することができ、室内照明点灯時のテレビジョン受像機１の消費電力を低減することができる。これは別途センサ部品を付加することなくビデオカメラ２からの信号によって赤外線照明器４を制御することを可能とするものであり、部品点数及びコスト的に有利な方式である。

本発明は上述した実施形態に限るものではなく、表示装置２３としてＣＲＴ、ＰＤＰ、ＬＣＤ、プロジェクションディスプレイなどからなるテレビジョン受像機や、パーソナルコンピュータなど表示装置を有する機器に応用することができるものである。

本発明の前提となる電子機器操作方法の概要を説明するための図である。 赤外線カットフィルタが取り付けられていない撮像装置（イメージセンサ）の応答特性の一例を示す図である。 本発明の一実施形態にかかるテレビジョン受像機の要部の構成を示すブロック図である。 操作者の画像と、操作用画像とを重畳（混合）した状態を説明するための図である。 図３に示す検出器と、表示装置の画面上の検出領域との対応を説明するための図である。 図３に示す検出器の構成を示すブロック図である。 図６に示すオブジェクト抽出器の構成を示すブロック図である。 オブジェクト抽出器で抽出する対象物の輝度信号レベルを示す図である。 画面上の操作ボタンに手をかざした状態を示す図である。 画面上の操作ボタンの上で指を曲げた状態を示す図である。 赤外線照明器の点灯制御を説明するためのタイムチャートである。 赤外線照明器の点灯制御を説明するためのタイムチャートである。 赤外線照明器の点灯制御を説明するためのタイムチャートである。 制御判断フレームにおける内挿処理を説明するためのタイムチャートである。

符号の説明

１ テレビジョン受像機（電子機器）
２ ビデオカメラ
４ ユーザ（操作者）
２０ 制御情報判断器（ＣＰＵ）
２３ 表示装置

Claims (3)

1. 表示装置を有する電子機器を操作する操作者をビデオカメラにより撮影し、前記電子機器を遠隔操作する際、前記操作者に可視光領域外の光を照射する照明装置の制御方法であって、
   前記照明装置の消灯中に前記操作者を撮影する前記ビデオカメラから得られる輝度信号レベルが閾値より低いとき、前記照明装置を点灯し、
   前記照明装置の点灯中に周期的に前記照明装置を消灯し、
   該消灯後に前記ビデオカメラから得られる輝度信号レベルが閾値より低いときは、前記消灯後所定時間経過後に前記照明装置を点灯し、
   前記消灯後に前記ビデオカメラから得られる輝度信号レベルが閾値以上であるときは、前記照明装置の消灯状態を継続することを特徴とする照明装置の制御方法。
2. 前記表示装置に出力する画像信号の平均輝度信号レベルを、表示画面平均輝度信号レベルとして算出し、
   前記ビデオカメラから得られる輝度信号レベルの平均値を、カメラ出力平均輝度信号レベルとして算出し、
   カメラ出力平均輝度信号レベルを、表示画面平均輝度信号レベルにより補正し、
   補正後のカメラ出力平均輝度信号レベルに応じて、前記照明装置の点灯制御を行うことを特徴とする請求項１に記載の照明装置の制御方法。
3. 表示装置を有する電子機器を遠隔操作する、電子機器の遠隔操作方法であって、
   可視光領域外の光を照射する照明装置により、前記可視光領域外の光を前記電子機器の操作者に照射し、
   前記操作者をビデオカメラにより撮影し、
   前記ビデオカメラから得られる輝度信号レベルに応じて、前記照明装置の点灯及び消灯を行い、
   前記ビデオカメラから得られる前記操作者の画像、及び操作用ボタンを前記表示装置に表示し、
   前記ビデオカメラから出力される信号に基づいて、前記操作者の動作を示す動作検出信号を生成し、
   該動作検出信号に基づいて、前記操作者による前記操作用ボタンの操作を認識して前記電子機器の制御信号を生成するステップからなり、
   前記照明装置の一時的な消灯時においては前記照明装置の点灯時に得られた前記動作検出信号の内挿処理を行うことにより、前記動作検出信号を生成することを特徴とする電子機器の遠隔操作方法。

Images