JP2013143749A - 電子機器および電子機器の制御方法 - Google Patents

Abstract

【課題】電子機器の消費電力を低くすること。
【解決手段】実施形態によれば、電子機器は、出力手段と、撮影手段と、認識手段と、提示手段と、制御手段とを具備する。出力手段は、三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する。表示手段は、前記映像信号に基づいた映像を画面に表示する。撮影手段は、前記画面に表示された前記映像を観察する前記観察者を撮影し、撮影データを出力する。認識手段は、前記撮影データから前記観察者の顔領域、または前記観察者の左眼領域および右眼領域を認識する。提示手段は、前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する。制御手段は、前記認識手段が認識に失敗した場合、前記認識手段による認識を禁止する。
【選択図】図３

Description

本発明の実施形態は、裸眼三次元ディスプレイを備えた電子機器、および電子機器の制御方法に関する。

近年、立体画像（三次元画像）を観賞するための様々な表示装置が提供されている。このような表示装置の一つに、裸眼立体視方式（裸眼３Ｄ方式）による表示装置がある。裸眼立体視方式では、例えば、液晶ディスプレイ（ＬＣＤ）上に左眼用画像と右眼用画像とを同時に表示する空間分割方式と、左眼用画像と右眼用画像とを交互に表示する時分割表示方式とがある。

空間分割方式の一つに例えば視差障壁と呼ばれる左眼と右眼とに別々の光線を入射させるメカニズムによって、それら画像内の画素に対応する光線が射出される方向を制御する方式（レンチキュラ方式、パララックス・バリア方式）がある。

レンチキュラ方式やパララックス・バリア方式では、観察者に正しく立体画像を知覚させるために、観察者の顔領域の位置を検出し、検出された位置に応じて、画像内の画素に対応する光線が射出される方向を制御する技術が開発されている。

特開２０１１−２３４２７８号公報

近年、電子機器の消費電力をより低くすることが望まれている。

本発明は、消費電力を低くすることが可能な電子機器および電子機器の制御方法を提供することを目的とする。

実施形態によれば、電子機器は、出力手段と、撮影手段と、認識手段と、提示手段と、制御手段とを具備する。出力手段は、三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する。表示手段は、前記映像信号に基づいた映像を画面に表示する。撮影手段は、前記画面に表示された前記映像を観察する前記観察者を撮影し、撮影データを出力する。認識手段は、前記撮影データから前記観察者の顔領域、または前記観察者の前記左眼領域および前記右眼領域を認識する。提示手段は、前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する。制御手段は、前記認識手段が認識に失敗した場合、前記認識手段による認識を禁止する。

実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器で用いられる３Ｄ表示システムの構成例を示すブロック図。 画素配置変換部によって行われる画素配置変換処理を説明するための図。 観察者の顔が画面の略中心線上にある場合の屈折率分布を示す図。 観察者の顔が画面の中心に対して左側にある場合の屈折率分布を示す図。 観察者の顔が画面の中心に対して右側にある場合の屈折率分布を示す図。 認識制御部による制御処理の手順を示すフローチャート。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この情報処理装置は、タブレットＰＣ、ＰＤＡ、スマートフォン等として実現され得る。

図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。
ディスプレイユニット３には、裸眼３次元ディスプレイ（裸眼３Ｄディスプレイ）１５およびカメラ３１が組み込まれている。裸眼３Ｄディスプレイ１５は、裸眼立体視方式（例えば、レンチキュラ方式、パララックス・バリア方式等）による３次元表示を行う。裸眼３Ｄディスプレイ１５は、ＬＣＤ（liquid crystal display）１５Ａと、ＬＣＤ１５Ａ上に配設されたレンズユニット１５Ｂとを備えている。ユーザは、裸眼３Ｄディスプレイ１５に表示された画像を見ることにより、三次元画像を裸眼で知覚することができる。

カメラ３１は、裸眼３Ｄディスプレイ１５に表示されている画像を見るユーザを撮影できるように、設けられている。カメラ３１は、１秒間に１５個のフレーム画像データを出力する。

ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。また、裸眼３Ｄディスプレイ１５は、ＬＣＤ（liquid crystal display）１５Ａとレンズユニット１５Ｂとを備える。レンズユニット１５Ｂは、ＬＣＤ１５Ａ上にはり合わせられている。レンズユニット１５Ｂは、ＬＣＤ１５Ａに表示される画像に含まれる複数の画素に対応する複数の光線をそれぞれ所定の方向に射出するための複数のレンズ機構を含む。レンズユニット１５Ｂは、例えば、三次元画像表示に必要な機能を電気的にスイッチングできる液晶ＧＲＩＮ（gradient index）レンズである。この液晶ＧＲＩＮレンズでは、平坦な液晶層を用いて電極で屈折率分布を作るので、例えば、画面内の指定した領域で三次元画像を表示し、他の領域で二次元画像を表示することができる。つまり、三次元画像を表示する領域と二次元画像を表示する領域とでレンズの屈折率を変えることにより、三次元画像を表示するための三次元画像表示領域（裸眼３Ｄ領域）と、二次元画像を表示するための二次元画像表示領域とを、画面内で部分的に切り替えることができる。

画面内の裸眼３Ｄ領域では、例えば、左眼用画像と右眼用画像が水平方向に画素単位で交互に表示される。そして、交互に表示される左眼用画像の画素それぞれと右眼用画像の画素それぞれが左眼および右眼にそれぞれ届くように、裸眼３Ｄ領域に対応するレンズ部によって左眼用画像の画素それぞれに対応する光と右眼用画像の画素それぞれに対応する光が屈折される。一方、二次元画像表示領域（２Ｄ領域）では、その２Ｄ領域に表示される二次元画像の各画素に対応する光は、２Ｄ領域に対応するレンズ部によって屈折されることなくそのまま出射される。裸眼３Ｄ領域として設定すべき画面内の領域の位置およびサイズは任意に指定することができる。裸眼３Ｄ領域以外の画面内の他の領域は２Ｄ領域となる。

コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、入力操作パネル２９、ポインティングデバイス２７、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル２９上には、各種操作ボタンが設けられている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。

コンピュータ本体２の例えば右側面には、ＴＶ放送用のアンテナ端子３０Ａが設けられている。また、コンピュータ本体２の例えば背面には、例えばＨＤＭＩ（high-definition multimedia interface）規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような画像コンテンツデータに含まれる画像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

図２は、本コンピュータ１のシステム構成を示す図である。
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィクスプロセッシングユニット（ＧＰＵ）１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、裸眼３Ｄディスプレイ１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、ＴＶチューナ３０、カメラ３１、および制御ＩＣ３２等を備えている。

ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、制御プログラム１３Ｂ、および各種アプリケーションプログラムを実行する。アプリケーションプログラムには、３Ｄ対応の幾つかのアプリケーションプログラム（以下、３Ｄアプリケーションプログラムと称する）が含まれている。３Ｄアプリケーションプログラムには、例えば、ＴＶアプリケーションプログラム、プレーヤアプリケーションプログラム、ゲームアプリケーションプログラム等がある。

ＴＶアプリケーションプログラムは放送コンテンツの視聴および録画等を実行するためのプログラムであり、２Ｄフォーマットの放送番組データおよび３Ｄフォーマットの放送番組データの双方を扱うことができる。３Ｄフォーマットとしては、サイドバイサイドフォーマットまたはトップアンドボトムフォーマット、等が知られている。

ＴＶアプリケーションプログラムは、２Ｄフォーマットの放送番組データ内の各フレームの二次元画像データを３次元画像データにリアルタイムに変換する２Ｄ−３Ｄ変換機能も有している。２Ｄ−３Ｄ変換では、二次元画像データの画素毎に奥行き値が推定され、この推定された画素それぞれの奥行き値に基づいて、複数の視差画像、例えば、左眼用画像と右眼用画像とを含む２つの視差画像が生成される。

プレーヤアプリケーションプログラムはＤＶＤのような記憶メディアに格納されたビデオコンテンツを再生するためのプログラムであり、２Ｄコンテンツおよび３Ｄコンテンツの双方を扱うことができる。プレーヤアプリケーションプログラムも上述の２Ｄ−３Ｄ変換機能を有していてもよい。

制御プログラム１３Ｂは、３Ｄアプリケーションプログラムそれぞれを制御するためのプログラムである。通常のシステム設計では、コストアップを避けるために、裸眼３Ｄ領域に設定することができる画面内の領域は例えば一つに制限されることが多い。画面内の複数の領域それぞれに異なる三次元画像を同時に表示するためには多くのハードウェア資源が必要とされ、これによってコストアップが引き起こされるからである。

さらに、制御プログラム１３Ｂは、裸眼３Ｄ領域の使用状況に応じて３Ｄアプリケーションプログラムの各々の表示モード（２Ｄモード、３Ｄモード）を適応的に制御する機能も有している。

また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、ＧＰＵ１４との通信を実行する機能も有している。

ＧＰＵ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５Ａを制御するデバイスである。このＧＰＵ１４によって生成される表示信号はＬＣＤ１５Ａに送られる。ＬＣＤ１５Ａは、表示信号に基づいて画像を表示する。

サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。

サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。

ＴＶチューナ３０はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子３０Ａに接続されている。このＴＶチューナ３０は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。ＴＶチューナ３０は、放送信号を受信し、受信した放送信号を復調して音声データと、左眼用画像および右眼用画像を含む動画像データとを出力する。また、ＴＶチューナ３０は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

制御ＩＣ３２は、制御プログラム１３Ｂによる要求に応じて、裸眼３Ｄ領域に複数の視差画像が水平方向に画素単位で交互に配置されるように、裸眼３Ｄ領域に表示されるべき画素の並びを変換する。左眼用画像と右眼用画像とを含む２つの視差画像を使用して３Ｄ画像を表示する場合には、左眼用画像と右眼用画像が水平方向に画素単位で交互に裸眼３Ｄ領域に表示されるように、裸眼３Ｄ領域に表示されるべき画素の並びが変換される。

さらに、制御ＩＣ３２は、制御プログラム１３Ｂによる要求に応じて、裸眼３Ｄ領域に対応するレンズユニット１５Ｂ内の一部分が３Ｄ表示のための所定の屈折率分布を有するように、レンズユニット１５Ｂ内の一部分を制御する。これにより、レンズユニット１５Ｂ内のこの一部分においては、レンズ効果が現れる。よって、裸眼３Ｄ領域では、左眼用画像の各画素および右眼用画像の各画素が左眼および右眼にそれぞれ届くように、左眼用画像の画素それぞれに対応する光の出射方向と右眼用画像の画素それぞれに対応する光の出射方向が制御される。この場合、左眼用画像および右眼用画像を左眼および右眼で正しく観察可能な観察位置は限られた位置に制限される可能性がある。

このため、本装置１では、フェイストラッキングを利用する。フェイストラッキングでは、観察者の観察位置（例えば、観察者の顔領域の位置、または観察者の左眼領域および右眼領域それぞれの位置）に応じて、左眼用画像の画素それぞれに対応する光が左眼に届き、右眼用画像の画素それぞれに対応する光が右眼に届くように、左眼用画像の画素それぞれに対応する光の出射方向と右眼用画像の画素それぞれに対応する光の出射方向が適応的に制御される。これにより、三次元画像を知覚可能な視域を広げることができる。

次に、図３を参照して、本実施形態で用いられる３Ｄ表示システムの構成例を説明する。
ここでは、本実施形態のコンピュータ１によって実行される複数の３Ｄ対応アプリケーションプログラムとして、３Ｄ対応アプリケーションプログラム５１を例示する。

３Ｄ対応アプリケーションプログラム５１は、３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツを３Ｄモードおよび２Ｄモードの一方でユーザに提示するための機能を有している。３Ｄ対応アプリケーションプログラム５１が３Ｄモードの間は、３Ｄ対応アプリケーションプログラム５１は、３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツに対応する複数の視差画像（例えば、左眼画像と右眼画像とを含む２つの視差画像）をＶＲＡＭ１４Ａに描画する。この場合、３Ｄ対応アプリケーションプログラム５１は、左眼画像と右眼画像とをサイドバイサイドフォーマット等でＶＲＡＭ１４Ａに描画してもよい。３Ｄ対応アプリケーションプログラム５１が２Ｄモードの間は、３Ｄ対応アプリケーションプログラム５１は、３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツに対応する一つの二次元画像をＶＲＡＭ１４Ａに描画する。

３Ｄ対応アプリケーションプログラム５１が起動された場合、または３Ｄ対応アプリケーションプログラム５１の画面上の３Ｄボタンが押された場合に、３Ｄ対応アプリケーションプログラム５１は三次元画像を表示するための要求（３Ｄ要求）を制御プログラム１３Ｂに送信する。３Ｄ要求が制御プログラム１３Ｂによって許可された場合、３Ｄ対応アプリケーションプログラム５１は３Ｄモードで動作することができる。

制御プログラム１３Ｂは、三次元画像表示領域設定部６１と、認識制御部６２と、認識部６３と、制御部６４とを含む。三次元画像表示領域設定部６１は、ある３Ｄアプリケーションプログラムによって描画される複数の視差画像に基づく三次元画像を表示するための処理を実行する。

いま、裸眼３Ｄディスプレイ１５の画面内に裸眼３Ｄ領域が設定されていない状態で、制御プログラム１３Ｂが３Ｄ対応アプリケーションプログラム５１からの３Ｄ要求を受けた場合を想定する。

三次元画像表示領域設定部６１は、３Ｄ対応アプリケーションプログラム５１のウィンドウに対応する画面内の第１領域に３Ｄ対応アプリケーションプログラム５１によって扱われるコンテンツに対応する複数の視差画像に基づく三次元画像が表示されるように、画面内の第１領域を裸眼３Ｄ領域に設定する。この場合、三次元画像表示領域設定部６１は、画面内の第１領域を裸眼３Ｄ領域に設定するために、第１領域を指定する座標情報（３Ｄエリア情報）を制御ＩＣ３２に送信してもよい。

認識制御部６２は、カメラ３１によって撮影された複数のフレーム画像データを含む映像データを受け取る。認識制御部６２は、受け取ったフレーム画像データを後述する認識部６３に送る。また、認識制御部６２は、認識部６３による前のフレーム画像データを用いた顔領域の認識結果に応じて、認識結果を認識部６３に送るかを判定する。前のフレーム画像を用いた顔領域の認識に成功していた場合、認識制御部６２は、前のフレーム画像データの認識結果を認識部６３に送る。前のフレーム画像データを用いた顔領域の認識に失敗していた場合、認識制御部６２は、前のフレーム画像データの認識結果を認識部６３に送る。

認識部６３は、カメラ３１によって撮影された映像データ内の各フレーム画像データから観察者の顔領域の位置または、観察者の左眼および右眼の位置を認識する。認識制御部６２からフレーム画像データだけが送られた場合、認識部６３は、第１の認識モードで顔領域（または、左眼領域および右眼領域の位置）の認識を試みる。第１の認識モードでは、フレーム画像データ全体から顔領域（または、左眼領域および右眼領域の位置）の認識が行われる。認識制御部６２からフレーム画像データおよび前のフレーム画像データの認識結果送られた場合、認識部６３は、第２の認識モードで顔領域（または、眼領域および右眼領域の位置）の認識を試みる。第２の認識モードでは、前のフレーム画像データの認識結果に対応する領域を含むフレーム画像データ内の一部領域から顔領域（または、眼領域および右眼領域の位置）の認識が行われる。顔領域の認識に成功した場合、認識部６３は、認識制御部６２に成功した旨および認識結果を通知する。顔領域の認識に失敗した場合、認識部６３は、認識制御部６２に失敗した旨を通知する。

認識に成功した旨および認識結果が認識制御部６２に通知された場合、認識制御部６２は、認識結果（認識位置情報）を制御ＩＣ３２に通知する。

認識に失敗した旨が認識制御部６２に通知された場合、認識制御部６２は、制御部６４に最後の認識結果（認識位置情報）を制御ＩＣ３２に通知する。認識制御部６２は、更にタイマ６５の値を取得する。タイマ６５の値が０であれば、制御部はタイマ６５をスタートさせる。タイマ６５の値が０で無ければ、制御部は、タイマ６５の値が設定値を超えているかを判定する。タイマ６５の値が超えていた場合、認識制御部６２は、認識部６３へのフレーム画像データの送信を停止し、認識部６３による認識処理を停止させる。また、認識制御部６２は、制御部６４に三次元画像表示処理を停止するように指示する。

ＧＰＵ１４は、ＶＲＡＭ１４Ａに描画された画像データに基づいて、画面イメージを形成する映像信号を生成する。制御ＩＣ３２は、画素配置変換部３２Ａおよびレンズ制御部３２Ｂを備える。画素配置変換部３２ＡはＧＰＵ１４から映像信号を受信すると共に、制御プログラム１３Ｂから３Ｄエリア情報を受信する。３Ｄエリア情報は、裸眼３Ｄ領域に設定されるべき画面内の領域（例えば、矩形領域）を示す座標情報である。３Ｄエリア情報は、矩形領域の４つの頂点の位置を示す４つの座標情報を含んでいてもよい。

画素配置変換部３２Ａは、３Ｄエリア情報に基づき、受信された映像信号に対応する画面全体の画像から裸眼３Ｄ領域に対応する画像部を取り出す。そして、画素配置変換部３２Ａは、その取り出した画像部に画素配置変換処理を施す。画素配置変換処理では、取り出された画像部内に含まれる複数の視差画像が水平方向に画素単位で交互に配置されるようにそれら複数の視差画像が並べ替えられる。例えば、複数の視差画像として、左眼用画像と右眼用画像とを含む２つの視差画像を使用する場合においては、左眼用画像と右眼用画像とが水平方向に画素単位で交互に配置されるように、それら左眼用画像と右眼用画像とが並べ替えられる。例えば、図４に示すように、左眼用画像４００Ｌと右眼用画像４００Ｒとを含むサイドバイサイドフォーマットの場合、左眼用画像４００Ｌの第１列の画素領域４０１Ｌ、右眼用画像４００Ｒの第１列の画素領域４０１Ｒ、左眼用画像４００Ｌの第２列の画素領域４０２Ｌ、右眼用画像４００Ｒの第２列の画素領域４０１Ｒ、左眼用画像４００Ｌの第３列の画素領域４０３Ｌ、右眼用画像４００Ｒの第３列の画素領域４０１Ｒ、左眼用画像４００Ｌの第４列の画素領域４０４Ｌ、右眼用画像４００Ｒの第４列の画素領域４０１Ｒ、…、左眼用画像４００Ｌの第ｎ−３列の画素領域４０ｎ−３Ｌ、右眼用画像４００Ｒの第ｎ−３列の画素領域４０ｎ−３Ｒ、左眼用画像４００Ｌの第ｎ−２列の画素領域４０ｎ−２Ｌ、右眼用画像４００Ｒの第ｎ−２列の画素領域４０ｎ−２Ｒ、左眼用画像４００Ｌの第ｎ−１列の画素領域４０ｎ−１Ｌ、右眼用画像４００Ｒの第ｎ−１列の画素領域４０ｎ−１Ｒ、左眼用画像４００Ｌの第ｎ列の画素領域４０ｎＬ、および右眼用画像４００Ｒの第ｎ列の画素領域４０ｎＲが配置される。これにより、ＬＣＤ１５Ａの画面上の裸眼３Ｄ領域に対応する領域には左眼用画像と右眼用画像とが水平方向に画素単位で交互に表示される。一方、裸眼３Ｄ領域に対応する画像部以外の他の画像部は画素配置変換されずに、ＬＣＤ１５Ａに表示される。

レンズ制御部３２Ｂは、３Ｄエリア情報および顔領域（または眼領域および右眼領域の位置）を示す顔位置情報に基づき、裸眼３Ｄ領域に対応するレンズユニット１５Ｂ内の一部分が所定の屈折率分布を有するようにレンズユニット１５Ｂを制御する。より具体的には、認識位置情報に基づいて、裸眼３Ｄ領域内の左眼用画像が観察者の左眼だけに見え、裸眼３Ｄ領域内の右眼用画像が観察者の右眼だけに見えるように制御する。

屈折率分布の一例を図５〜図７を参照して説明する。なお、図５〜図７は、裸眼３Ｄディスプレイ１５全体が裸眼３Ｄ領域に設定されている場合を示している。
例えば、裸眼３Ｄディスプレイ１５の略中心に観察者の顔Ｆがある場合、図５に示すように、左眼用画像５０１ＬＬ、５０１ＣＬ、５０１ＲＬが観察者の左眼に入射するようにレンズユニット１５Ｂを制御し、右眼用画像５０１ＬＲ、５０１ＣＲ、５０１ＲＲが観察者の右眼に入射するようにレンズユニット１５Ｂを制御する。

裸眼３Ｄディスプレイ１５の中心に対して左側に観察者の顔Ｆがある場合、図６に示すように、左眼用画像５０２ＬＬ、５０２ＣＬ、５０２ＲＬが観察者の左眼に入射するようにレンズユニット１５Ｂを制御し、右眼用画像５０２ＬＲ、５０２ＣＲ、５０２ＲＲが右眼に入射するようにレンズユニット１５Ｂを制御する。

裸眼３Ｄディスプレイ１５の中心に対して右側に観察者の顔Ｆがある場合、図７に示すように、左眼用画像５０３ＬＬ、５０３ＣＬ、５０３ＲＬが観察者の左眼に入射するようにレンズユニット１５Ｂを制御し、右眼用画像５０３ＬＲ、５０３ＣＲ、５０３ＲＲが右眼に入射するようにレンズユニット１５Ｂを制御する。

ところで、フレーム画像データの全体から顔領域の位置を認識する第１の認識モード時のＣＰＵ１１の負荷は、フレーム画像データ内の一部の領域から顔領域の位置を認識する第２の認識モード時のＣＰＵ１１の負荷に対して２倍程度になる場合がある。本装置は、顔領域が検出されない状態が一定時間継続された場合、認識制御部６２は、認識部６３による顔領域の認識処理を停止させ、省電力化を図る。また、本装置は、更に三次元画像表示処理を停止し、さらなる省電力化を図っている。

図８のフローチャートを参照して、認識制御部６２による顔認識処理の制御処理について説明する。
認識制御部６２が、カメラ３１から送信されたフレーム画像データを受信する（ステップＢ８０１）。認識制御部６２は、ステップＢ８０１で受信したフレーム画像データの前に受信したフレーム画像データを用いた認識処理に成功していたかを判定する（ステップＢ８０２）。認識処理に成功していた場合（ステップＢ８０２のＹｅｓ）、認識制御部６２は、ステップＢ８０１で受信したフレーム画像データおよび前のフレーム画像データによる認識結果を認識部６３に渡す（ステップＢ８０３）。認識制御部６２は、タイマの値が０であるかを判定する（ステップＢ８０４）。タイマの値が０ではないと判定した場合（ステップＢ８０４のＮｏ）、認識制御部６２は、タイマをリセットし、タイマの値を０にする（ステップＢ８０５）。

ステップＢ８０２において、認識処理に成功していないと判定した場合（ステップＢ８０２のＮｏ）、ステップＢ８０１で受信したフレーム画像データを認識部６３に渡す（ステップＢ８０６）。認識制御部６２は、タイマの値が０であるかを判定する（ステップＢ８０７）。タイマの値が０であると判定した場合（ステップＢ８０７のＹｅｓ）、認識制御部６２は、タイマを動作させる（ステップＢ８０８）。タイマの値が０であると判定した場合（ステップＢ８０７のＮｏ）、認識制御部６２は、タイマの値が設定値を超えているかを判定する（ステップＢ８０９）。設定値を超えていると判定した場合（ステップＢ８０９のＹｅｓ）、カメラ３１の動作を停止し、認識処理を中止する（ステップＢ８１０）。認識制御部６２は、制御部６４に三次元画像表示処理の停止（禁止）を指示する（ステップＢ８１１）。制御部６４は、三次元画像表示処理を停止する。

なお、三次元画像の表示を再開させるには、３Ｄ対応アプリケーションプログラム５１の画面上の３Ｄボタンをユーザが操作すれば良い。なお、ユーザに３Ｄボタンを操作すれば三次元画像表示が再開されることを通知するために、３Ｄボタンをユーザが操作すれば三次元画像表示が再開される旨をポップアップ表示でユーザに提示しても良い。

また、背景が動いている、即ち連続するフレーム画像の差分が大きい場合、観察者の顔領域を認識できなくても、三次元画像表示処理が停止されないようにしても良い。連続するフレーム画像の差分が大きい場合、店頭で装置１のデモンストレーションが行われているかもしれないので、三次元画像表示処理を停止しない。

本実施形態による認識処理の制御処理によれば、認識に失敗した場合に、認識処理を禁止することで、更なる省電力化を図ることが可能になる。

なお、本実施形態の認識処理の制御処理の手順は全てソフトウェアによって実行することができるので、本実施形態の制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを、画面内に設定された三次元画像表示領域に三次元画像を表示可能な裸眼３Ｄディスプレイを備えたコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…パーソナルコンピュータ（電子機器）、１３Ｂ…制御プログラム、１４…グラフィクスプロセッシングユニット、１５…裸眼３次元ディスプレイ、１５Ａ…ＬＣＤ、１５Ｂ…レンズユニット、３１…カメラ、３２…制御ＩＣ、３２Ａ…画素配置変換部、３２Ｂ…レンズ制御部、５１…３Ｄ対応アプリケーションプログラム、６１…三次元画像表示領域設定部、６２…認識制御部、６３…認識部。

実施形態によれば、電子機器は、出力手段と、撮影手段と、認識手段と、提示手段と、制御手段とを具備する。出力手段は、三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する。表示手段は、前記映像信号に基づいた映像を画面に表示する。撮影手段は、前記画面に表示された前記映像を観察する前記観察者を撮影し、撮影データを出力する。認識手段は、前記撮影データから前記観察者の顔領域、または前記観察者の前記左眼領域および前記右眼領域を認識する。提示手段は、前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する。制御手段は、前記認識手段が前記観察者の顔領域または前記観察者の左眼領域および右眼領域を認識することに失敗した場合、前記認識手段による認識を停止させる。前記認識手段が認識に成功した場合、前記出力手段は、前記左眼用画像および前記右眼用画像を含む映像信号を出力する。

Claims (8)

1. 三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する出力手段と、
   前記映像信号に基づいた映像を画面に表示する表示手段と、
   前記画面に表示された前記映像を観察する前記観察者を撮影し、撮影データを出力する撮影手段と、
   前記撮影データから前記観察者の顔領域または前記観察者の左眼領域および右眼領域を認識する認識手段と、
   前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する提示手段と、
   前記認識手段が認識に失敗した場合、前記認識手段による認識を禁止する制御手段と
   を具備する電子機器。
2. 前記認識手段は、前記撮影データに含まれる第１のフレーム画像の前のフレーム画像の認識結果に基づいて、前記第１のフレーム画像内の一部の領域を用いて認識を行う第１の認識モードと、前記第１の認識モードを用いた認識に失敗した場合に、前記第１のフレーム画像全体を用いて認識を行う第２の認識モードとを有し、
   前記認識手段が前記第２の認識モードによって前記第１のフレーム画像を用いた認識に失敗した場合に、前記制御手段は、前記認識手段による認識を禁止する
   請求項１に記載の電子機器。
3. 前記制御手段は、前記認識手段が認識に失敗した時間が予め設定された時間を超えた場合に、前記認識手段による認識を禁止する
   請求項１に記載の電子機器。
4. 前記出力手段は、放送信号を受信し、受信した放送信号を復調して音声データと、前記左眼用画像および前記右眼用画像を含む動画像データとを出力するチューナを具備する請求項１に記載の電子機器。
5. 前記出力手段は、ビデオデータの画像フレームを解析することによって当該画像フレームに含まれる画素毎の奥行き位置を推定し、前記推定した画素毎の奥行き位置に基づいた視差の、前記画像フレームに対応する前記左眼用画像と前記右眼用画像とを生成する生成手段を具備する請求項１に記載の電子機器。
6. 前記出力手段は、光ディスクに記録されているデータを再生することによって、音声データと、前記左眼用画像および前記右眼用画像を含む動画像データとを出力する光ディスク再生部を具備する請求項１に記載の電子機器。
7. 三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する出力手段と、前記映像信号に基づいた映像を画面に表示する表示手段と、前記画面に表示された前記映像を観察する観察者を撮影し、撮影データを出力する撮影手段と、前記撮影データから前記観察者の顔領域、または前記観察者の左眼領域および右眼領域を認識する認識手段と、前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する提示手段とを具備する電子機器の制御方法であって、
   前記認識手段が認識に失敗した場合、前記認識手段による認識を禁止する
   電子機器の制御方法。
8. 三次元画像を観察者に知覚させるための左眼用画像および右眼用画像を含む映像信号を出力する出力手段と、前記映像信号に基づいた映像を画面に表示する表示手段と、前記画面に表示された前記映像を観察する観察者を撮影し、撮影データを出力する撮影手段と、前記撮影データから前記観察者の顔領域、または前記観察者の左眼領域および右眼領域を認識する認識手段と、前記認識手段の認識結果に基づいて、前記画面に表示された前記左眼用画像を前記観察者の左眼に選択的に提示し、前記画面に表示された前記右眼用画像を前記観察者の右眼に選択的に提示する提示手段とを備えたコンピュータに、
   前記認識手段が認識に失敗した場合、前記認識手段による認識を禁止する手順を実行させるためのプログラム。

Images