JP2013115649A - 制御装置、電力量制御方法 - Google Patents

Abstract

【課題】電力消費量を抑止する。
【解決手段】実施形態の制御装置は、入力処理手段と、検出手段と、処理手段と、電力量制御手段と、を備える。入力処理手段は、撮像手段により対象物を撮像した画像データを入力処理する。検出手段は、入力処理手段により入力処理された複数の画像データに基づいて、撮像された対象物の変化を検出する。処理手段は、検出手段が検出した変化に応じた処理を行う。電力量制御手段は、検出手段が検出した変化に従って、撮像手段、検出手段、及び処理手段のうち、少なくとも１つで行われる処理を切り替えさせ、電力消費量を制御する。
【選択図】図３

Description

本発明の実施形態は、制御装置、電力量制御方法に関する。

従来から、撮像手段による撮像能力や、画像処理能力の向上に伴い、カメラなどを用いて人の位置や動きを検出する技術が提案されている。

そこで、近年、カメラが撮像した画像データに対して解析処理を行うことで人の位置や動きを検出し、検出した人の位置や動きに従って、装置を制御する技術が提案されている。これにより、リモートコントローラ等を用いずとも、離れた場所から装置を操作することが可能となった。

特開２０１１−１３３９５５号公報

しかしながら、従来技術においては、装置を制御するために、人の位置や動きを検出し続ける必要があった。このため装置の電力の消費が大きくなるいという問題があった。

本発明は、上記に鑑みてなされたものであって、電力の消費量を抑止する制御装置、電力量制御方法を提供することを目的とする。

実施形態の制御装置は、入力処理手段と、検出手段と、処理手段と、電力量制御手段と、を備える。入力処理手段は、撮像手段により対象物を撮像した画像データを入力処理する。検出手段は、入力処理手段により入力処理された複数の画像データに基づいて、撮像された対象物の変化を検出する。処理手段は、検出手段が検出した変化に応じた処理を行う。電力量制御手段は、検出手段が検出した変化に従って、撮像手段、検出手段、及び処理手段のうち、少なくとも１つで行われる処理を切り替えさせ、電力消費量を制御する。

図１は、実施形態にかかるデジタルテレビジョン表示制御装置の外観を示す図である。 図２は、実施形態にかかるデジタルテレビジョン表示制御装置の主要な信号処理系を示すブロック図である。 図３は、実施形態にかかる制御部で操作アプリケーションを実行した場合に実現されるソフトウェア構成を示した図である。 図４は、実施形態にかかる動作モード記憶部のテーブル構造を示した図である。 図５は、実施形態にかかる表示処理部が表示する画面の遷移を示した図である。 図６は、実施形態にかかるデジタルテレビジョン表示制御装置における動作状態の遷移の例を示した図である。 図７は、実施形態にかかるデジタルテレビジョン表示制御装置における、動作モードの遷移に基づく処理の手順を示すフローチャートである。

図１は、実施形態にかかるデジタルテレビジョン表示制御装置１００の外観を示す図である。図１に示すデジタルテレビジョン表示制御装置１００は、映像を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部１２０を備える。

また、デジタルテレビジョン表示制御装置１００は、カメラ１１０を備えている。そして、デジタルテレビジョン表示制御装置１００では、当該カメラ１１０が撮像した撮像画像データに基づいて利用者１７０のジェスチャを検出し、当該ジェスチャに従った制御を行う。

次に、デジタルテレビジョン表示制御装置１００のハードウェア構成について説明する。図２は、本実施形態にかかるデジタルテレビジョン表示制御装置１００の主要な信号処理系を示すブロック図である。

ＢＳ／ＣＳデジタル放送受信用のアンテナ２４１で受信した衛星デジタルテレビジョン放送信号は、入力端子２０１を介して衛星デジタル放送用のチューナ２０２ａに供給される。

チューナ２０２ａは、制御部２０５からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をＰＳＫ（Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）復調器２０２ｂに出力する。

ＰＳＫ復調器２０２ｂは、制御部２０５からの制御信号により、チューナ２０２ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム（ＴＳ）を得て、ＴＳ復号器２０２ｃに出力する。

ＴＳ復号器２０２ｃは、制御部２０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部２０６内のＳＴＤバッファ（図示せず）へ出力する。

また、ＴＳ復号器２０２ｃは、デジタル放送により送られているセクション情報を信号処理部２０６内のセクション処理部（図示せず）へ出力する。

地上波放送受信用のアンテナ２４２で受信した地上デジタルテレビジョン放送信号は、入力端子２０３を介して地上デジタル放送用のチューナ２０４ａに供給される。

チューナ２０４ａは、制御部２０５からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調器２０４ｂに出力する。

ＯＦＤＭ復調器２０４ｂは、制御部２０５からの制御信号により、チューナ２０４ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム（ＴＳ）を得て、ＴＳ復号器２０４ｃに出力する。

ＴＳ復号器２０４ｃは、制御部２０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部２０６内のＳＴＤバッファへ出力する。

また、ＴＳ復号器２０４ｃは、デジタル放送により送られているセクション情報を信号処理部２０６内のセクション処理部へ出力する。

ここで、上記信号処理部２０６は、テレビ視聴時には、ＴＳ復号器２０２ｃおよびＴＳ復号器２０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部２０７及び音声処理部２０８に出力している。一方、番組録画時には、ＴＳ復号器２０２ｃおよびＴＳ復号器２０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、制御部２０５を介して録画用記録装置（例えば、ＨＤＤ）２７０に記録している。また、信号処理部２０６は、録画番組再生時には、制御部２０５を介して録画用記録装置（例えば、ＨＤＤ）２７０から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部２０７及び音声処理部２０８に出力している。

制御部２０５には、信号処理部２０６から、番組を取得するための各種データ（Ｂ−ＣＡＳデスクランブル用の鍵情報等）や電子番組ガイド（ＥＰＧ）情報、番組属性情報（番組ジャンル等）、字幕情報等（サービス情報、ＳＩ（Ｓｅｒｖｉｃｅ Ｉｎｆｏｒｍａｔｉｏｎ）やＰＳＩ（Ｐｒｏｇｒａｍ Ｓｐｅｃｉｆｉｃ Ｉｎｆｏｒｍａｔｉｏｎ））が入力されている。

制御部２０５は、これら入力された情報からＥＰＧ、字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部２０７へ出力する。

また、この制御部２０５は、番組録画および番組予約録画を制御する機能を有し、番組予約受付時には、表示部１２０に電子番組ガイド（ＥＰＧ）情報を表示し、操作部２２０を介したユーザ入力による予約内容、又はカメラ１１０が撮像した撮像画像データから抽出された予約内容を、記憶部２７１に設定する。

制御部２０５は記憶部２７１に設定された予約内容に従って、設定された時刻に予約番組を録画するようチューナ２０２ａ、２０４ａ、ＰＳＫ復調器２０２ｂ、ＯＦＤＭ復調器２０４ｂ、ＴＳ復号器２０２ｃ、２０４ｃおよび信号処理部２０６を制御する。

記憶部２７１は、予約内容を記憶するほか、動作モード記憶部２７１ａを備える。そして、動作モード記憶部２７１ａは、デジタルテレビジョン表示制御装置１００の動作モードを記憶する。

セクション処理部は、ＴＳ復号器２０２ｃ（２０４ｃ）から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド（ＥＰＧ）情報、番組属性情報（番組ジャンル等）、字幕情報等（サービス情報、ＳＩやＰＳＩ）を制御部２０５へ出力する。

グラフィック処理部２０７は、（１）信号処理部２０６内のＡＶデコーダ（図示せず）から供給されるデジタルの映像信号と、（２）ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号生成部２０９で生成されるＯＳＤ信号と、（３）データ放送による画像データと、（４）制御部２０５により生成されたＥＰＧ、字幕信号とを合成して映像処理部２１０へ出力する機能を有する。

また、字幕放送による字幕を表示するとき、グラフィック処理部２０７は、制御部２０５からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。

グラフィック処理部２０７から出力されたデジタルの映像信号は、映像処理部２１０に供給される。この映像処理部２１０は、入力されたデジタルの映像信号を、表示部１２０で表示可能なフォーマットのアナログ映像信号に変換した後、表示部１２０に出力して、表示部１２０の表示画面上に映像表示させる。

また、音声処理部２０８は、入力されたデジタルの音声信号を、音声出力装置２１２で再生可能なアナログ音声信号に変換した後、音声出力装置２１２に出力して音声を再生させる。

制御部２０５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０５ａと、当該ＣＰＵに作業エリアを提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０５ｂと、各種の設定情報及び制御情報等が格納される不揮発性メモリ２０５ｃと、を備え、デジタルテレビジョン表示制御装置１００全体を制御する。

また、この制御部２０５は、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２２３を介して、第１のメモリカード２２４が装着可能なカードホルダ２２５に接続されている。これによって、制御部２０５は、カードホルダ２２５に装着された第１のメモリカード２２４と、カードＩ／Ｆ２２３を介して情報伝送することができる。

さらに、制御部２０５は、カードＩ／Ｆ２２６を介して、第２のメモリカード２２７が装着可能なカードホルダ２２８に接続されている。これにより、制御部２０５は、カードホルダ２２８に装着された第２のメモリカード２２７と、カードＩ／Ｆ２２６を介して情報伝送することができる。

また、制御部２０５は、通信Ｉ／Ｆ２２９を介して第１のＬＡＮ端子２３０に接続されている。これにより、制御部２０５は、第１のＬＡＮ端子２３０に接続されたＬＡＮ対応の機器（例えば、外付けＨＤＤ）と、通信Ｉ／Ｆ２２９を介して情報伝送することができる。

さらに、制御部２０５は、通信Ｉ／Ｆ２３１を介して第２のＬＡＮ端子２３２に接続されている。これにより、制御部２０５は、第２のＬＡＮ端子２３２に接続されたＬＡＮ対応の各種機器と、通信Ｉ／Ｆ２３１を介して情報伝送することができる。

また、制御部２０５は、ＵＳＢ Ｉ／Ｆ２３３を介してＵＳＢ端子２３４に接続されている。これにより、制御部２０５は、ＵＳＢ端子２３４に接続された各種機器と、ＵＳＢ Ｉ／Ｆ２３３を介して情報伝送することができる。

また、制御部２０５は、カメラ１１０に接続されている。これにより、制御部２０５は、カメラ１１０が撮像した撮像画像データを取得することができる。

本実施形態にかかるデジタルテレビジョン表示制御装置１００では、カメラ１１０を搭載することで、ユーザのジェスチャ操作を実現する。本実施形態にかかるデジタルテレビジョン表示制御装置１００では、通常のデジタルテレビにカメラ１１０が追加された代わりに、赤外線入力装置が省かれた実施例とするが、赤外線入力とジェスチャ操作とを組み合わせても良い。

ところで、従来からのデジタルテレビジョン表示制御装置においては、電源コード接続後のシステムの電源ＯＮ／ＯＦＦ操作や、通常の操作は、赤外線リモコン(一部では無線リモコンが使用される)によって行われる。この場合、赤外線リモコンの入力と制御プロセッサの起動制御は、専用の電源マイコンで行う。現行のデジタルテレビの電源マイコンは、４ビットまたは８ビットマイコンで極めて低性能かつ低消費電力のものである。

これに対し、本実施形態にかかるデジタルテレビジョン表示制御装置１００では、操作に赤外線リモコンを用いること無く、ジェスチャ操作によって行う。デジタルテレビジョン表示制御装置１００が、ジェスチャによる操作を行う場合、カメラ１１０による撮像画像データを取得し、撮像画像データに対して画像処理を行う必要がある。しかしながら、デジタルテレビジョン表示制御装置１００が待機状態の場合、省電力であることが要求される。このため、デジタルテレビジョン表示制御装置１００が、テレビジョン映像を表示している通常時と同じ検出アルゴリズムでジェスチャ操作を検出することは望ましくない。

そこで、本実施形態では、動作モード毎に必要とされるジェスチャの複雑さを異ならせ、動作モード毎に検出アルゴリズムによる認識処理が異ならせることとした。これにより、省電力が要求される動作モードでは、ジェスチャ認識の負荷を軽減する。

次に、ＲＯＭ２０５ａに格納された制御プログラムのうち、ユーザのジェスチャに基づいて操作を行うための操作アプリケーション２０５ｄを実行した場合に行われる処理について説明する。図３は、制御部２０５で当該操作アプリケーション２０５ｄを実行した場合に実現されるソフトウェア構成を示した図である。

操作アプリケーション２０５ｄは、入力処理部３０１と、ジェスチャ検出部３０２と、処理部３０３と、電力量制御部３０４と、表示処理部３０５と、を備える。

そして、本実施形態にかかるデジタルテレビジョン表示制御装置１００では、ジェスチャを用いたグラフィカルユーザインタフェース（ＧＵＩ）を備えている。そして、操作アプリケーション２０５ｄは、現在の動作モードに応じて検出アルゴリズム等を変更する。これにより、処理負荷の制御、即ち消費電力の制御を行う。

動作モード記憶部２７１ａは、デジタルテレビジョン表示制御装置１００における動作モード毎に電力消費量を制御するための設定を記憶する。図４は、動作モード記憶部２７１ａのテーブル構造を示した図である。

図４に示すように、動作モード記憶部２７１ａは、デジタルテレビジョン表示制御装置１００の動作モード毎に、受付可能なジェスチャ操作と、電力消費量を制御するための設定情報と、を対応付けて記憶している。

図４に示すように、動作モード記憶部２７１ａは、動作モードと、操作と、必要処理量と、カメラ解像度と、ジェスチャ検出アルゴリズムと、フレームレートと、プロセッサクロックと、バックライト制御と、を対応付けて記憶している。

動作モードは、デジタルテレビジョン表示制御装置１００の動作モードとする。操作は、各動作モードで認識可能なジェスチャ操作を示している。必要処理量は、対応付けられた操作に必要な処理の重さを示している。カメラ解像度は、対応付けられた動作モードで利用されるカメラ１１０の解像度を示している。オプティカルフローは、対応付けられた動作モードで利用されるジェスチャ検出アルゴリズム（オプティカルフロー）の精度を示している。フレームレートは、対応付けられた動作モードで利用されるフレームレートを示している。プロセッサクロックは、各操作に対応する処理、カメラ１１０の解像度、及びオプティカルフローの精度に基づいて、必要となるプロセッサのクロック数を示している。バックライト制御は、対応付けられた動作モードに対応するバックライト制御を示している。

図４に示されるように、本実施形態にかかるデジタルテレビジョン表示制御装置１００の動作モードは、待機モードと、省電力モードと、操作モードと、高精度操作モードと、が存在する。

待機モードは、デジタルテレビジョン表示制御装置１００に電源コードから電力は供給されているが、電源はＯＦＦとなっている状態とする。待機モードでは、人がテレビの前に移動したり、動きがあった程度を認識すれば良い。そのため、ジェスチャ認識用のカメラ映像の解像度は極めて低くて良い。

そこで、本実施形態にかかるデジタルテレビジョン表示制御装置１００では、待機モードでは、カメラ解像度を低解像度とする。この低解像度では、例えばカメラ１１０の映像を８×４の３２分割して、各領域の中心点のピクセルで、所定の閾値以上の変化が生じたか否かを認識できる程度とする。

同様に、待機モードのカメラ映像のフレームレートも、１／１０ｆｐｓと極低く設定されている。これにより、待機モードは、画像ピクセル数が通常の解像度（例えば１００万画素）及びフルフレームレート（例えば３０ｆｐｓ）で処理する操作モードと比べて、結果的には数千万分の１の処理負担となる。

省電力モードは、待機モードと比べて必要処理量は高いものの、操作モード及び高精度操作モードと比べて必要処理量は低くなる。このため、省電力モードの電源ＯＮ操作は、単純なジェスチャ操作となる。つまり、電源ＯＮ操作は、必要とされるジェスチャ操作が複雑ではないため、カメラ１１０の解像度を待機モードと同様の解像度とし、極簡易な検出アルゴリズム（オプティカルフロー）をまかなうことができる。なお、省電力モードのカメラ撮影のフレームレートは、１ｆｐｓする。このフレームレートは、待機モードよりは高いが、通常の動画撮影等と比べると低いレートとなる。

操作モードは、待機モード及び省電力モードと比べて、高い処理能力を有している。カメラ１１０の解像度も１００万画素となり、フレームレートも３０ｆｐｓとなる。これにより、検出アルゴリズム（オプティカルフロー）の精度は、待機モード及び省電力モードよりも高くなる。そして、デジタルテレビジョン表示制御装置１００は、当該オプティカルフローを用いることで、音量操作や番組表操作などのジェスチャ操作を認識可能となる。

さらに、高精度操作モードでは、操作モードと比べてさらなる高い処理能力を有している。カメラ１１０の解像度も最高（例えば１８０万画素）となり、検出アルゴリズム（オプティカルフロー）の精度も最高となる。この高精度操作モードの文字入力操作では、必要とされるジェスチャは極めて複雑である。このため、カメラ１１０の入力解像度を最高とし、検出アルゴリズム（オプティカルフロー）も最も高度なものとなる。

本実施形態にかかるデジタルテレビジョン表示制御装置１００では、状況に応じて、これらの動作モードを切り替え、各構成を制御することで、負荷の軽減と、ジェスチャの認識とを、両立させることができる。

入力処理部３０１は、カメラ１１０から、ユーザ等の対象物を撮像した画像データを入力処理する。入力処理部３０１に入力される画像データの解像度は、図４に示すように、動作モードに応じて異なる。例えば、動作モードが待機モード、省電力モードの場合、入力処理部３０１は８×４の３２個の画素を入力処理し、動作モードが操作モードの場合、入力処理部３０１は１００万画素の画像データを入力処理する。

そして、ジェスチャ検出部３０２は、入力処理部３０１により入力処理された複数の画像データ間の違いに基づいて、画像データに撮像された（ユーザなどの）対象物の変化を検出する。検出対象となる対象物の変化は、例えばユーザの存在の有無や、ユーザのジェスチャ操作などがある。

本実施形態にかかるジェスチャ検出部３０２は、動作モードの違いに応じて、検出アルゴリズムを異ならせる。本実施形態にかかるジェスチャ検出部３０２は、待機モードの時に最も単純な検出アルゴリズムを用いる。例えば、ジェスチャ検出部３０２は、待機モードでは、上述した３２個のピクセルのうち、いずれか１つ以上について閾値以上の変化を、ユーザの有無として検出する。

そして、ジェスチャ検出部３０２は、省電力モード、操作モード、高精度操作モードとなるに従って、複雑且つ高度な検出アルゴリズムを用いることとする。

操作モード及び高精度操作モードにおいては、ジェスチャ検出部３０２は、入力処理された撮像画像データに基づいて、撮像された被写体（人物）の動きを検出する。本実施形態にかかるジェスチャ検出部３０２は、複数の撮像画像データ間の差分に基づいて、被写体（人物）の動きを検出する。

ジェスチャ検出部３０２による動きの検出として、本実施形態ではオプティカルフローを用いる。オプティカルフローは、前のフレームと次のフレームとの間で点（又はピクセル）の移動をトラッキングする技術であり、密なオプティカルフローと疎なオプティカルフローとが存在する。密なオプティカルフローは、精度が高いが計算コストが高いのに対し、疎なオプティカルフローは計算コストが少なくなる。そして、本実施形態にかかるジェスチャ検出部３０２は、動作モードに応じて異なるオプティカルフローを用いて、動きの検出を行う。検出アルゴリズムとしては、例えば、画像中の注目する複数の点それぞれを囲む、ある小さなウィンドウに対して動きを求めるLucas-Kanade(ＬＫ)アルゴリズムを用いることで、オプティカルフローによる手の動きを認識できる。

処理部３０３は、ジェスチャ検出部３０２が検出した対象物の変化に応じた処理を行う。例えば、ジェスチャ検出部３０２が電源ＯＮのジェスチャ操作を検出した場合に、本実施形態にかかる処理部３０３は、電源をＯＮにするための処理を行う。他の例としては、ジェスチャ検出部３０２が音量操作のジェスチャ操作を検出した場合に、処理部３０３は、音量操作のための処理を行う。他に、処理部３０３は、ジェスチャ検出部３０２が検出したジェスチャ操作に応じて、番組表操作や、文字入力操作等を行う。

電力量制御部３０４は、ジェスチャ検出部３０２が検出したジェスチャ操作に従って、動作モードが遷移する場合に、動作モードに応じた各構成の制御を行う。これにより、動作モードに応じた電力消費量の制御を行うことができる。本実施形態にかかる電力量制御部３０４は、動作モードが遷移する場合に、カメラ１１０、ジェスチャ検出部３０２、又は処理部３０３のうち少なくとも１つ以上に対して、動作モードに応じた処理を行うように指示する。指示の例としては、カメラ１１０の解像度や、制御部２０５のプロセッサクロックの切り替えや、ジェスチャ検出部３０２のオプティカルフローの検出精度の切り替えや、バックライトの点灯制御の切り替え等とする。

表示処理部３０５は、ＧＵＩ生成部３１１を備え、表示部１２０に対して、表示用の画像データを表示する制御を行う。さらには、表示処理部３０５は、チューナ２０２ａ、２０４ｂによって受信した映像データを表示する。

ＧＵＩ生成部３１１は、ユーザがジェスチャ操作で操作対象とするスイッチが配置されたＧＵＩ画像データを生成する。そして、表示処理部３０５は、ＧＵＩ生成部３１１が生成したＧＵＩ画像データを表示する制御を行う。本実施形態にかかる表示処理部３０５は、動作モードに応じては、当該ＧＵＩ画像データを、カメラ１１０が撮影した撮像画像データと重畳した上で表示する。なお、表示処理部３０５は、当該ＧＵＩ画像データを、チューナ２０２ａ、２０４ｂによって受信した映像データと重畳した上で、表示してもよい。

図５は、表示処理部３０５が表示する画面の遷移を示した図である。図５の表示画面例５０１に示されるように、待機モードでは、表示処理部３０５は、表示部１２０に対して表示制御を行わない。さらに、待機モードにおいて、ジェスチャ検出部３０２は、ユーザがデジタルテレビジョン表示制御装置１００の前を横切ったか否か程度の検出を行う。つまり、待機モードでは、複雑な検出アルゴリズムを用いない。例えば、待機モードにおいて、ジェスチャ検出部３０２は、上述した３２個の中心点のピクセルのうちいずれかで変化が生じたか否かを検出する。これにより、ユーザがデジタルテレビジョン表示制御装置１００の前に移動してきたか否か程度の検出を可能とすると共に、例えばユーザ認識（待機モードにおけるジェスチャ操作）に必要な処理量（必要処理量）を極めて小さくできる。

このように、待機モードにおいて、制御部２０５に内蔵されているプロセッサのプロセッサクロックを極めて低減させて、消費電力を低減できる。また、待機モードでは、バックライトの点灯を行わないため、バックライトの電力消費量を“０”にする。

そして、ジェスチャ検出部３０２が、待機モードにおいて、ユーザの移動を検出した場合に、処理部３０３が、ユーザにログインを行わせるための制御を行う。本実施形態では、処理部３０３は、表示処理部３０５に対してログイン画面の表示を指示する。これに伴い、表示処理部３０５が、表示部１２０に電源ＯＮにするためのログイン画面５０２を表示する。

そして、電力量制御部３０４が、待機モードから省電力モードに遷移するために各構成を制御する。例えば、電力量制御部３０４は、表示部１２０に対してバックライトの弱点灯の開始の指示、カメラ１１０に対して撮像画像データのフレームレートを１／１０ｆｐｓから１ｆｐｓへの切り替える指示、及び制御部２０５に対してプロセッサクロックを最低から低への切り替えるための指示を行う。

図５に示されるように、省電力モードでは、表示処理部３０５は、ログイン画面５０２を表示する。ログイン画面５０２では、水平方向の矢印５２１が表示されているため、手などを水平方向に予め定められた領域をなぞる（移動させる）ようなジェスチャ操作が、電源ＯＮ操作ログインに必要なジェスチャ操作であることをユーザが認識できる。

また、図４の一覧で示されるように、省電力モードでは、ジェスチャ検出部３０２は、上記の電源ＯＮのジェスチャ操作の検出を行う。この水平方向になぞるようなジェスチャの検出アルゴリズムは、例えば、入力処理部３０１により入力処理された８×４ドットの３２個のピクセルのうち、水平方向に配置されたピクセルが順次所定の閾値以上変化したことの検出等とする。

つまり、省電力モードにおいては、ジェスチャ検出部３０２が、予め定められた領域を水平方向になぞるような単純なジェスチャ操作の検出に対応することで、低解像度でもよくなる。さらには、ある程度連続している撮像画像データであればよいため、フレームレートを低く（例えば１ｆｐｓ）抑えることができる。これにより、ジェスチャ検出に必要な処理量が低くなるため、制御部２０５に内蔵されているプロセッサの動作クロックを落としても対応できる。また、図５のログイン画面５０２は、明瞭に表示する必要はないため、バックライトの弱点灯制御でよく、通常視聴時に比べて大幅に消費電力を低減できる。

そして、ジェスチャ検出部３０２が、省電力モードにおいて、電源ＯＮ操作のジェスチャ操作を検出した場合に、処理部３０３が電源ＯＮにするための処理を行う。さらに、処理部３０３は、表示処理部３０５に対して、操作表示画面５０３の表示を指示する。

そして、電力量制御部３０４は、省電力モードから操作モードに遷移するための処理を行う。電力量制御部３０４は、表示部１２０に対してバックライトの通常点灯の開始の指示、カメラ１１０の画素数を１００万画素に切り替えの指示、カメラ１１０に対して撮像画像データのフレームレートを１ｆｐｓから３０ｆｐｓへの切り替えの指示、及び制御部２０５のプロセッサクロックを低から中への切り替えの指示等を行う。

このように、操作モード及び高精度操作モードにおいては、複雑なジェスチャ認識が必要となる。当該ジェスチャ認識のために、連続的ななめらかな動きの検出が必要となるため、カメラの解像度及びフレームレートを向上させる必要がある。これに伴い、処理量が増大するために、プロセッサクロックを低減させないように制御する必要がある。

図５に示されるように、動作モードでは、表示処理部３０５は、操作画面５０３を表示する。操作画面５０３では、カメラ１１０で撮像された撮像画像データと、ＧＵＩ画像データとが重畳されて表示される。ＧＵＩ画像データ画像データには、ユーザがジェスチャ操作を行うためのアイコン等が配置されている。操作画面図５０３では、音量操作のためのボリュームや、番組表を行うための検索アイコンや、番組表表示を行うための番組表アイコンなどが配置されている。そして、表示部１２０に表示されたボリューム、検索アイコン、番組表アイコンをつかむ等のジェスチャ操作をジェスチャ検出部３０２が、検出することで、処理部３０３が、検出したジェスチャ操作に対応する処理（例えば音量の調節、番組検索画面の表示、番組表の表示）等を行う。

また、複雑なジェスチャ操作であれば、カメラ１１０で撮像された、ユーザ等を含んだ撮像画像データや、様々な操作を行うためのアイコンの表示も明瞭である必要がある。このため、電力量制御部３０４は、表示部１２０のバックライトの点灯を十分に行うよう制御を行う。

このように、本実施形態にかかるデジタルテレビジョン表示制御装置１００は、画面の遷移と共に動作モードを遷移させ、当該動作モードに応じた電力量の制御を可能とする。そして、各操作に対応するジェスチャ操作毎に必要な処理量が異なる。本実施形態においては、待機モードや省電力モードの場合に、簡易なジェスチャ操作の検出に留めて、プロセッサの動作クロックを低下させる。これにより、低電圧での動作が可能となり、消費電力を低減できる。

図６は、デジタルテレビジョン表示制御装置１００における動作状態の遷移の例を示した図である。図６に示す例では、デジタルテレビジョン表示制御装置１００の電源ケーブルをコンセントに接続することで、非給電モード６０１から、バックライトが非点灯の待機モード６０２に遷移する。

ところで、従来のデジタルテレビジョン表示制御装置では、省電力待機状態の場合に、電源マイコンのみ起動した状態で、バックライトも不点灯となる。

しかしながら、本実施形態にかかるデジタルテレビジョン表示制御装置１００では、ジェスチャ操作の検出可能な状態であることをユーザに認識させる必要がある。

そこで、本実施形態にかかるデジタルテレビジョン表示制御装置１００では、カメラ１１０のみ起動して、ユーザの存在の有無の検出だけを行う（不点灯）待機モード６０２と、電源ＯＮのジェスチャ操作が可能な省電力モード６０３と、を用意する。そして、不点灯の待機モード６０２では、上述したユーザの存在を検出したことをトリガーとして、省電力モード６０３に遷移する。これにより、省電力モードに遷移することで、ジェスチャ操作による電源ＯＮ操作を可能とする。一方、不点灯の待機モード６０２では、ジェスチャ操作は簡易的なものでよく、制御部２０５のプロセッサへのクロック供給は最低限にできる。そして、省電力モード６０３では、電源ＯＮ操作のジェスチャ認識のみで十分であるため、検出アルゴリズムは簡易でよく、制御部２０５のプロセッサへのクロック供給は低程度にできる。

そして、ジェスチャ検出部３０２が、電源ＯＮ操作に対応するジェスチャ操作を検出した場合に、電力量制御部３０４が、省電力モード６０３から操作モード６０４に遷移するための制御を行う。操作モード６０４では、カメラ１１０の撮像画像データが、ＧＵＩと重畳された上で、表示部１２０に表示される。これにより、複雑なジェスチャ操作が可能となる。

そして、ジェスチャ検出部３０２が検出したジェスチャ操作に応じて、デジタルテレビジョン表示制御装置１００の動作モードは、音量変更モード６０５、番組表表示モード６０６、検索ダイアログ表示モード６０７、文字入力モード６０８等に遷移する。

このように本実施形態にかかるデジタルテレビジョン表示制御装置１００は、動作モードに応じて、ジェスチャ操作を単純なものから複雑なものへ切り替えた。これにより、動作モードに応じたカメラの解像度の変更、認識アルゴリズムの変更を行うこととして、これによる負荷低減で得られた制御プロセッサへの余裕分の動作クロックを低下させることで消費電力を制御する。

次に、本実施形態にかかるデジタルテレビジョン表示制御装置１００における、動作モードの遷移に基づく処理について説明する。図７は、本実施形態にかかるデジタルテレビジョン表示制御装置１００における上述した処理の手順を示すフローチャートである。

デジタルテレビジョン表示制御装置１００では、コンセントに接続された場合に、直ちに電源マイコンを起動させる（ステップＳ７０１）。一般的なデジタルテレビ装置では、起動高速化のためのサスペンド動作などを行わない限りは、この状態で操作待機状態となる。

しかしながら、本実施形態にかかるデジタルテレビジョン表示制御装置１００は、不点灯の待機モードに遷移するために、制御部２０５のプロセッサを起動して、カメラ１１０を初期化する（ステップＳ７０２）。

そして、待機モードを開始するために、電力量制御部３０４は、表示部１２０のバックライトを不点灯にする指示（ステップＳ７０３）を行った後、カメラ１１０に対して低解像度（例えば３２個の画素）に設定するよう指示する（ステップＳ７０４）。さらには、電力量制御部３０４は、カメラ１１０に対して、フレームレートを１／１０ｆｐｓに設定するよう指示する（ステップＳ７０５）。また、電力量制御部６０４は、プロセッサを超低速で動作するよう、制御部２０５に設定を要求する（ステップＳ７０６）。

これにより、デジタルテレビジョン表示制御装置１００は、不点灯の待機モードを開始する（ステップＳ７０７）。当該待機モードでは、カメラ１１０が、設定に従って撮像を行い（ステップＳ７０８）、入力処理部３０１が、撮像された撮像画像データの入力処理を行う。

そして、ジェスチャ検出部３０２が、環境の変化（ユーザの移動）を検出したか否かを判定する（ステップＳ７０９）。検出していない場合（ステップＳ７０９：Ｎｏ）、再びカメラ１１０が撮像を行う（ステップＳ７０８）。このように不点灯の待機モードでは、カメラ１１０による撮像を一定間隔で繰り返し、ジェスチャ検出部３０２が簡易ジェスチャ認識を行う。

一方、ジェスチャ検出部３０２が、環境の変化（ユーザの移動）を検出した場合（ステップＳ７０９：Ｙｅｓ）、省電力モードを開始するために、電力量制御部３０４は、カメラ１１０に対して低解像度（例えば３２個の画素）に設定するよう指示する（ステップＳ７１０）。さらには、電力量制御部３０４は、カメラ１１０に対して、フレームレートを１ｆｐｓに設定するよう指示する（ステップＳ７１１）。電力量制御部３０４は、表示部１２０のバックライトを低輝度で点灯にする指示を行う（ステップＳ７１２）。さらに、電力量制御部６０４は、待機モード（超低速）よりクロック数を向上させ、プロセッサを低速で動作するよう、制御部２０５に設定を要求する（ステップＳ７１３）。

その後、表示処理部３０５が、処理部３０３からの指示に従い、ログイン画面（電源ＯＮ操作受付画面）を表示する（ステップＳ７１４）。これにより、デジタルテレビジョン表示制御装置１００は、省電力モードに遷移する（ステップＳ７１５）。当該省電力モードでは、カメラ１１０が、設定に従って撮像を行い（ステップＳ７１６）、入力処理部３０１が、撮像された撮像画像データの入力処理を行う。

そして、ジェスチャ検出部３０２が、電源ＯＮに対応するジェスチャ操作がなされたか否かを判定する（ステップＳ７１７）。そして、ジェスチャ検出部３０２が、一定時間、電源ＯＮに対応するジェスチャ操作を検出しなかった場合（ステップＳ７１７：Ｎｏ）、表示処理部３０５は、ログイン画面（電源ＯＮ操作受付画面）の表示を中止して（ステップＳ７１８）、ステップＳ７０３から再び処理を行う。

一方、ジェスチャ検出部３０２が、電源ＯＮに対応するジェスチャ操作を検出した場合（ステップＳ７１７：Ｙｅｓ）、処理部３０３が、デジタルテレビジョン表示制御装置１００に対して電源ＯＮにするための処理を行う。

その後、電力量制御部３０４は、カメラ１１０に対して解像度を１００万画素に設定するよう指示する（ステップＳ７１９）。さらには、電力量制御部３０４は、カメラ１１０に対して、フレームレートを３０ｆｐｓに設定するよう指示する（ステップＳ７２０）。電力量制御部３０４は、表示部１２０のバックライトを通所の輝度で点灯にする指示を行う（ステップＳ７２１）。さらに、電力量制御部６０４は、省電力モード（低速）よりクロック数を向上させ、プロセッサを中速で動作するよう、制御部２０５に設定を要求する（ステップＳ７２２）。

その後、表示処理部３０５が、処理部３０３からの指示に従い、ＧＵＩメニュー画面と、撮像画像データと、を重畳した操作画面を表示する（ステップＳ７２３）。これにより、デジタルテレビジョン表示制御装置１００は、操作モードに遷移する（ステップＳ７２４）。

上述した処理手順に従って処理を行うことで、デジタルテレビジョン表示制御装置１００は、動作モードに応じた電力消費量になるよう制御を行うことができる。

なお、本実施形態にかかるデジタルテレビジョン表示制御装置１００は一例として示したものであり、ジェスチャ操作の検出アルゴリズム、オプティカルフローのアルゴリズム等を制限するものではない。また、各種ジェスチャ操作についても特に制限するものではなく、動作モードや実施態様に応じた操作を用いればよい。

本実施形態にかかるデジタルテレビジョン表示制御装置１００は、動作モードの遷移に伴い、検出アルゴリズムの変更、演算処理の精度の切り替え、カメラ１１０から入力される撮像画像データの解像度の切り替え制御を行う。これにより、動作モードに応じた処理負荷の制御が可能となる。例えば、動作モードが待機モード又は省電力モードの場合に、簡易な検出アルゴリズムで所望するジェスチャ操作の検出と、省電力と、を両立させることができる。

さらに、デジタルテレビジョン表示制御装置１００では、システムの起動時に、ワンチップマイコンレベルのプロセッサで処理可能とするために、低解像度、低精度の検出アルゴリズムを用いてシステムを起動し、必要に応じて検出アルゴリズムを高度化することで、電力消費量を制御できる。

デジタルテレビジョン表示制御装置１００では、待機モードでは、カメラ１１０のみを動作させ、画面表示とバックライト点灯を行わないことで電力消費を抑えるようできる。

このように、本実施形態にかかるデジタルテレビジョン表示制御装置１００は、動作モードの状況に応じて、ジェスチャ認識の処理自体を簡略化等を行うことで、することで、処理負荷を自在に制御するものである。

動作モードが複数ある場合に、その動作モードに応じて認識処理を制御することで、処理負荷を軽減でき、カメラのフレームレート、プロセッサの動作クロック、動作電圧などを低減する制御を行うことで電力消費を抑えることができる。

なお、本実施形態にかかるデジタルテレビジョン表示制御装置１００は、ハードウェア構成について制限を設けるものではなく、図２に示したハードウェア構成であってもよい。また、カメラ１１０の配置位置についても制限を設けるものではなく、ユーザのジェスチャ操作を検出できる位置に配置されていればよい。

さらに、本実施形態にかかるデジタルテレビジョン表示制御装置１００は、電力消費量の制限手法を制限するものではなく、他の構成に対して消費電力の制御を行っても良い。例えば、メモリの動作クロックの制御等を行っても良い。

なお、本実施形態のデジタルテレビジョン表示制御装置で実行される操作アプリケーションは、ＲＯＭ等に予め組み込まれて提供される。

本実施形態のデジタルテレビジョン表示制御装置で実行される操作アプリケーションは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢメモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態のデジタルテレビジョン表示制御装置で実行される操作アプリケーションを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のデジタルテレビジョン表示制御装置で実行される操作アプリケーションをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態のデジタルテレビジョン表示制御装置で実行される操作アプリケーションは、上述した各部（入力処理部、ジェスチャ検出部、処理部、電力量制御部、表示処理部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから操作アプリケーションを読み出して実行することにより上記各部が主記憶装置上にロードされ、入力処理部、ジェスチャ検出部、処理部、電力量制御部、表示処理部が主記憶装置上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…デジタルテレビジョン表示制御装置、１１０…カメラ、１２０…表示部、２０５…制御部、２０５ａ…ＲＯＭ、２０５ｂ…ＲＡＭ、２０５ｄ…操作アプリケーション、２０５ｃ…不揮発性メモリ、２７１…記憶部、２７１ａ…動作モード記憶部、３０１…入力処理部、３０２…ジェスチャ検出部、３０３…処理部、３０４…電力量制御部、３０５…表示処理部、３１１…ＧＵＩ生成部。

Claims (5)

1. 撮像手段により対象物を撮像した画像データを入力処理する入力処理手段と、
   前記入力処理手段により入力処理された複数の前記画像データに基づいて、撮像された前記対象物の変化を検出する検出手段と、
   前記検出手段が検出した変化に応じた処理を行う処理手段と、
   前記検出手段が検出した変化に従って、前記撮像手段、前記検出手段、及び前記処理手段のうち、少なくとも１つで行われる処理を切り替えさせ、電力消費量を制御する電力量制御手段と、
   を備える制御装置。
2. 前記電力量制御手段は、前記制御装置が、消費電力を抑止する待機モードから、ユーザが当該制御装置を使用する操作モードに移行した場合に、前記撮像手段による撮像の解像度の切り替え、前記検出手段の検出アルゴリズムの切り替え、及び前記処理手段による照明手段の点灯制御のうち、少なくとも１つの制御を行う、
   請求項１に記載の制御装置。
3. 前記制御手段は、前記検出手段が検出した前記対象物の変化に従って、前記電力消費量を複数段階で切り替える制御を行う、
   請求項１又は２に記載の制御装置。
4. 前記処理手段は、変化に応じた前記処理として、前記制御装置の電源の切り替え制御を行う、
   請求項１乃至３のいずれか１項に記載の制御装置。
5. 制御装置で実行される電力量制御方法であって、
   入力処理手段が、撮像手段により対象物を撮像した画像データを入力処理する入力処理ステップと、
   検出手段が、前記入力処理ステップにより入力処理された複数の前記画像データに基づいて、撮像された前記対象物の変化を検出する検出ステップと、
   処理手段が、前記検出ステップが検出した変化に応じた処理を行う処理ステップと、
   電力量制御手段が、前記検出ステップが検出した変化に従って、前記撮像手段、前記検出手段、及び前記処理手段のうち、少なくとも１つで行われる処理を切り替えさせ、電力消費量を制御する電力量制御ステップと、
   を含むことを特徴とする電力量制御方法。

Images