JP2016181004A - 情報処理装置、表示制御方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】透明ディスプレイを使用して構成される表示装置の利便性の向上を図る。【解決手段】タッチパネルを有する透明ディスプレイのこのタッチパネルにより検出された領域に対して、イメージセンサで得られた撮像画像のうち、上記領域に対応した部分の画像を表示して、透明ディスプレイを通してユーザに観察される像から上記領域を削除する制御を行う制御部を備える。透明ディスプレイを通して観察される像から異物を削除し、アンビエント性の向上を図る。【選択図】図２

Description

本技術は、情報処理装置、表示制御方法、プログラムおよび記憶媒体に関し、特に、透明ディスプレイを使用して構成される情報処理装置等に関する。

従来、透明ディスプレイを使用して構成される表示装置が提案されている（例えば、特許文献１参照）。このような表示装置の場合、ユーザは透明ディスプレイを通して正面側の像を観察でき、また、透明ディスプレイにその観察されている像に関連する文字あるいは画像の情報（重畳情報）の表示が可能となる。

特開２０１０−１０８６４７号公報

本技術の目的は、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることにある。

本技術の概念は、
透明ディスプレイと、
上記透明ディスプレイの周囲の情報を得るためのセンサ部と、
上記センサ部の出力に基づいて上記透明ディスプレイの表示状態を制御する制御部とを備える
表示装置にある。

本技術において、表示装置は、透明ディスプレイを使用して構成される。センサ部により、透明ディスプレイの周囲の情報が得られる。そして、制御部により、このセンサ部の出力に基づいて、透明ディスプレイの表示状態が制御される。例えば、センサ部は、透明ディスプレイの周囲の像を撮像して撮像画像を得、制御部は、透明ディスプレイの周囲の撮像画像を利用した画像処理を行って透明ディスプレイの表示状態を制御する、ようにされてもよい。この場合、例えば、センサ部は、透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、上記透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有する、ようにされてもよい。また、この場合、例えば、センサ部は、透明ディスプレイの正面側および背面側の像を撮像可能な単一のイメージセンサを有する、ようにされてもよい。このように本技術においては、透明ディスプレイの周囲の情報に基づいて透明ディスプレイの表示状態が制御されるものであり、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることが可能となる。

なお、本技術において、例えば、センサ部として、透明ディスプレイの正面側の像を撮像するフロントイメージセンサ（リアカメラ）を有し、制御部は、透明ディスプレイを通してユーザに観察される像に含まれる異物の領域だけに、フロントイメージセンサで得られた撮像画像のうち、異物の領域に対応した部分の画像に応じた画像を表示して、透明ディスプレイを通してユーザに観察される像から異物を削除する、ようにされてもよい。このように異物の削除が行われることで、アンビエント（ambient）性の向上を図ることができる。

例えば、センサ部として、透明ディスプレイの正面側の面に配置されるタッチパネルを有し、制御部は、タッチパネルの出力からユーザの手の領域を異物の領域として検出し、このユーザの手の領域だけに、フロントイメージセンサで得られた撮像画像のうち、ユーザの手の領域に対応した部分の画像を表示して、透明ディスプレイを通してユーザに観察される像からユーザの手を削除する、ようにされてもよい。

また、例えば、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、制御部は、指定された所定のオブジェクトを含むオブジェクト領域を異物の領域とし、このオブジェクト領域だけに、フロントイメージセンサで得られた撮像画像のうち、オブジェクト領域に対応した部分の画像に基づく画像を表示して、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを削除する、ようにされてもよい。オブジェクト指定部は、例えば、透明ディスプレイの背面側に配置されるタッチパネルにより構成される。

この場合、制御部は、指定されたオブジェクトに動きがあるとき、オブジェクト領域だけに、フロントイメージセンサで得られた、所定のオブジェクトが存在しない過去フレームの撮像画像のうち、オブジェクト領域に対応した部分の画像を表示して、透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを削除する、ようにされてもよい。

また、本技術において、例えば、センサ部として、透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有し、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、制御部は、発生された重畳情報を透明ディスプレイに表示し、フロントイメージセンサで得られた撮像画像により透明ディスプレイに表示された重畳情報への視線が検出されるとき、リアイメージセンサで得られた撮像画像から透明ディスプレイを通して観察される視線方向の画像領域の色情報を取得し、透明ディスプレイに表示する重畳情報の表示色をこの取得された色情報に対応した色にする、ようにされてもよい。このように透明ディスプレイに表示される重畳情報の表示色が制御されることで、透明ディスプレイの正面側からの重畳情報を把握することが困難となり、プライバシー保護を図ることができる。

また、本技術において、例えば、透明ディスプレイは、正面側の第１の透明ディスプレイおよび背面側の第２の透明ディスプレイとからなり、センサ部として、透明ディスプレイの正面側の人物を検出する人感センサと、透明ディスプレイの正面側の像を撮像するフロントイメージセンサとを有し、制御部は、人感センサにより人物の存在が検出されるとき、第１の透明ディスプレイを非透明状態にし、第２の透明ディスプレイにフロントイメージセンサで得られた撮像画像を表示する、ようにされてもよい。このように透明ディスプレイを構成する第１および第２の透明ディスプレイが制御されることで、ユーザは、透明ディスプレイの正面側にいる他人の視線を気にしないで済むようになる。

例えば、制御部は、フロントイメージセンサで得られた撮像画像に基づいて透明ディスプレイへの視線があるかを判断し、人感センサにより人物の存在が検出され、かつ、透明ディスプレイへの視線があるとき、第１の透明ディスプレイを非透明状態にし、第２の透明ディスプレイにフロントイメージセンサで得られた撮像画像を表示する、ようにされてもよい。

そして、この場合、制御部は、透明ディスプレイへの視線が、この透明ディスプレイの所定の分割領域への視線であるとき、第１の透明ディスプレイの所定の分割領域を非透明状態にし、第２の透明ディスプレイの所定の分割領域に、フロントイメージセンサで得られた撮像画像のうち、この所定の分割領域に対応した部分の画像を表示する、ようにされてもよい。

また、本技術において、センサ部として、透明ディスプレイの正面側の画像を撮像するフロントイメージセンサと、透明ディスプレイの背面側の画像を撮像するリアイメージセンサとを有し、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、制御部は、ユーザにおける透明ディスプレイの表示面と透明ディスプレイを通して観察される像とに対する焦点不一致が起こるとき、リアイメージセンサで得られる撮像画像に基づいて、ユーザが透明ディスプレイの表示面を注視しているかを判断し、透明ディスプレイの表示面を注視していると判断するとき、透明ディスプレイに、フロントイメージセンサで得られた撮像画像を表示し、この撮像画像に重ねて、発生された重畳情報を表示し、透明ディスプレイの表示面を注視していないと判断するとき、発生された重畳情報を透明ディスプレイに表示しないか、あるいはこの重畳情報を透明ディスプレイに目立たなく表示する、ようにされてもよい。このようにユーザの注視位置に応じて透明ディスプレイの表示状態を制御することで、焦点不一致によるユーザの不快感の改善を図ることができる。

例えば、制御部は、リアイメージセンサで得られた撮像画像から推定されたユーザの眼と透明ディスプレイの表示面との間の距離と、フロントイメージセンサで得られた撮像画像から推定された透明ディスプレイの表示面と透明ディスプレイを通して観察される像との間の距離に基づいて、ユーザにおける透明ディスプレイの表示面と透明ディスプレイを通して観察される像とに対する焦点不一致を判断する、ようにされてもよい。

また、本技術において、例えば、透明ディスプレイに表示する重畳情報を発生する重畳情報発生部と、この透明ディスプレイの背面側の面に配置された光線制御部とをさらに備え、センサ部として、透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有し、制御部は、リアイメージセンサで得られた撮像画像から取得された透明ディスプレイに対するユーザの左右の眼の位置と、フロントイメージセンサで得られた撮像画像から取得された透明ディスプレイを通して観察される像の奥行き情報に基づいて、重畳情報がユーザに透明ディスプレイを通して観察される像の位置に知覚されるための視差が付与された左眼重畳情報および右眼重畳情報を生成して透明ディスプレイに表示し、透明ディスプレイに表示された左眼重畳情報からの光線がユーザの左眼に到達し、透明ディスプレイに表示された右眼重畳情報からの光線がユーザの右眼に到達するように光線制御部を制御する、ようにされてもよい。このように透明ディスプレイへの左眼重畳情報および右眼重畳情報の表示と、それからの光線の方向とが制御されることで、実像と透明ディスプレイに表示される重畳情報とのシームレスな結合を図ることができる。

本技術によれば、透明ディスプレイを使用して構成される表示装置の利便性の向上を図ることができる。

第１の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイを通してユーザに観察される像Ｉａの一例を示すと共に、この像Ｉａに含まれているユーザの手が削除されることを示す図である。 第１の実施の形態としての表示装置の回路構成例を示す図である。 表示装置の異物除去モードにおける処理手順の一例を示すフローチャートである。 第２の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイを通してユーザに観察される像Ｉａの一例を示すと共に、この像Ｉａに含まれている所定のオブジェクトが削除されることを示す図である。 第２の実施の形態としての表示装置の回路構成例を示す図である。 表示装置の異物除去モードにおける処理手順の一例を示すフローチャートである。 第３の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイの背面側にいるユーザＭａが観察するビュー（View from the user）の一例を示すと共に、透明ディスプレイの正面側にいる他人Ｍｂが観察するビュー（View from others）の一例を示す図である。 第３の実施の形態としての表示装置の回路構成例を示す図である。 表示装置のプライバシー保護モードにおける処理手順の一例を示すフローチャートである。 第４の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイの背面側にいるユーザＭａが正面側の像Ｉａを観察し得ることを示すと共に、透明ディスプレイの正面側にいる他人Ｍｂが背面側にいるユーザＭａなどを観察し得ることを示す図である。 第４の実施の形態としての表示装置の回路構成例を示す図である。 表示装置のプライバシー保護モードにおける処理手順の一例を示すフローチャートである。 第５の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイの背面側にいるユーザＭａが透明ディスプレイを通して像Iａを観察する際の状態の例を示す図である。 ユーザが透明ディスプレイの表示面を注視している場合などの透明ディスプレイの表示を説明するための図である。 第５の実施の形態としての表示装置の回路構成例を示す図である。 表示装置の焦点不一致改善モードにおける処理手順の一例を示すフローチャートである。 第６の実施の形態としての表示装置の外観を概略的に示す図である。 透明ディスプレイの背面側にいるユーザＭａが、この透明ディスプレイを通して像Iａを観察する際の状態の一例を示す図である。 透明ディスプレイの表示面に表示される重畳情報をユーザＭａには像Ｉａとほぼ同じ位置に知覚されるようにすることを説明するための図である。 第６の実施の形態としての表示装置の回路構成例を示す図である。 左眼、右眼の重畳情報領域、つまり光線制御表示部分と、そこに表示される重畳情報や各視点画像の左眼、右眼への照射の関係を示す図である。 表示装置の表示位置調整モードにおける処理手順の一例を示すフローチャートである。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
６．第６の実施の形態
７．変形例

＜１．第１の実施の形態＞
［表示装置の構成例］
図１は、第１の実施の形態としての表示装置１００の外観を概略的に示している。この表示装置１００はモバイル機器を構成している。この表示装置１００は、透明ディスプレイ１０１を有している。この透明ディスプレイ１０１の上端に、フロントカメラ（フロントイメージセンサ）１０２と、リアカメラ（リアイメージセンサ）１０３が隣接して配置されている。フロントカメラ１０２は、透明ディスプレイ１０１の正面側の像を撮像する。リアカメラ１０３は、透明ディスプレイ１０１の背面側の像を撮像する。また、透明ディスプレイ１０１の正面側の面にタッチパネル１０４が配置されている。

図２(ａ)は、透明ディスプレイ１０１を通してユーザに観察される像Ｉａの一例を示している。この場合、ユーザの手（一部）１０５が透明ディスプレイ１０１の正面側にあり、この手１０５の一部が透明ディスプレイ１０１を覆っており、像Ｉａに異物として含まれている。この表示装置１００においては、図２（ｂ）に示すように、像Ｉａに含まれているユーザの手１０５を削除することが可能とされる。

図３は、第１の実施の形態としての表示装置１００の回路構成例を示している。この表示装置１００は、透明ディスプレイ１０１と、フロントカメラ１０２と、リアカメラ１０３と、タッチパネル１０４を有している。また、この表示装置１００は、視点推定部１２１と、領域推定部１２２と、撮像画像記憶部１２３と、補間画像作成部１２４と、表示制御部１２５と、重畳情報発生部１２６を有している。

視点推定部１２１は、リアカメラ１０３で得られた撮像画像に基づいて、ユーザの視点（眼の位置）を推定する。領域推定部１２２は、タッチパネル１０４の出力から、ユーザの手１０５の領域を異物の領域として検出する。また、領域推定部１２２は、ユーザの手１０５の領域の情報と、視点推定部１２１で得られた視点情報とに基づいて、フロントカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した画像の領域を推定する。

撮像画像記憶部１２３は、フロントカメラ１０２で得られた撮像画像を所定フレーム期間分だけ記憶する。補間画像作成部１２４は、領域推定部１２２の領域推定結果に基づいて、撮像画像記憶部１２３に記憶されている撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像を切り出して、補間画像を作成する。重畳情報発生部１２６は、透明ディスプレイ１０１に表示する文字や画像などの重畳情報を発生する。

この重畳情報は、例えば、ユーザが透明ディスプレイ１０１を通して観察する正面側の像に含まれる所定のオブジェクトに関連する情報とされる。この重畳情報は、例えば、フロントカメラ１０２で得られた撮像画像から所定のオブジェクトが画像認識され、その認識結果に基づいて図示しない通信機能によりインターネット上のサーバ装置から自動的に取得されてもよい。この場合、フロントカメラ１０２で得られた撮像画像を通信機能によりクラウド上（インターネット上）のサーバ装置に送信し、そのサーバ装置側で画像認識を行って、サーバ装置から重畳情報を受信する構成も考えられる。以上の重畳情報に関することは、以下の他の実施の形態においても同様である。

表示制御部１２５は、重畳情報発生部１２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ１０１に表示する。また、表示制御部１２５は、異物除去モードにあるとき、補間画像作成部１２４で作成された補間画像を、透明ディスプレイ１０１のユーザの手１０５の領域にだけ表示する。

図３に示す表示装置１００の動作を簡単に説明する。フロントカメラ１０２で透明ディスプレイ１０１の正面側の像を撮像して得られた撮像画像は、撮像画像記憶部１２３に一時的に記憶される。また、リアカメラ１０３で透明ディスプレイ１０１の正面側の像を撮像して得られた撮像画像は、視点推定部１２１に供給される。この視点推定部１２１では、リアカメラ１０３で得られた撮像画像に基づいて、ユーザの視点を推定する。この視点推定結果は領域推定部１２２に供給される。

タッチパネル１０４の出力は領域推定部１２２に供給される。この領域推定部１２２では、タッチパネル１０４の出力から、ユーザの手１０５の領域が異物の領域として検出される。また、この領域推定部１２２では、ユーザの手１０５の領域の情報と、視点推定部１２１で得られた視点情報とに基づいて、フロントカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した画像の領域が推定される。この領域推定結果は、補間画像作成部１２４に供給される。

補間画像作成部１２４では、領域推定部１２２の領域推定結果に基づいて、撮像画像記憶部１２３に記憶されている撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像が切り出され、補間画像（置き換え）が作成される。表示制御部１２５では、異物除去モードにあるとき、補間画像作成部１２４で作成された補間画像を、透明ディスプレイ１０１のユーザの手１０５の領域にだけ表示することが行われる。これにより、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれているユーザの手１０５が削除される（図２（ｂ）参照）。また、表示制御部１２５では、重畳情報発生部１２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ１０１に表示することが行われる。

図４のフローチャートは、図１、図３に示す表示装置１００の異物除去モードにおける処理手順の一例を示している。表示装置１００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２において、フロントカメラ１０２およびリアカメラ１０３による撮像を開始すると共に、タッチパネル１０４を起動する。

次に、表示装置１００は、ステップＳＴ３において、タッチパネル１０４で、手１０５で覆っている領域を検出する。次に、表示装置１００は、ステップＳＴ４において、手で覆っている領域の光景(画像)を、フロントカメラ１０２で得られた撮像画像上で推定して切り出す。次に、表示装置１００は、ステップＳＴ５において、手で覆っている領域だけに、ステップＳＴ４で切り出された画像を表示する。

次に、表示装置１００は、ステップＳＴ６において、異物除去モードを終了するか否かを判断する。異物除去モードを終了するか否かは、図３にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置１００は、ステップＳＴ３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置１００は、ステップＳＴ７において、処理を終了する。

上述したように、図１に示す表示装置１００においては、異物除去モードでは、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれるユーザの手１０５の領域だけに、フロントカメラ１０２で得られた撮像画像のうち、ユーザの手１０５の領域に対応した部分の画像が表示される。そのため、透明ディスプレイ１０１を通してユーザに観察される像Ｉａからユーザの手１０５が除去され、アンビエント（ambient）性の向上が図られる。

＜２．第２の実施の形態＞
［表示装置の構成例］
図５は、第２の実施の形態としての表示装置２００の外観を概略的に示している。この表示装置２００はモバイル機器を構成している。この表示装置２００は、透明ディスプレイ２０１を有している。この透明ディスプレイ２０１の上端に、フロントカメラ（フロントイメージセンサ）２０２と、リアカメラ（リアイメージセンサ）２０３が隣接して配置されている。フロントカメラ２０２は、透明ディスプレイ２０１の正面側の像を撮像する。リアカメラ２０３は、透明ディスプレイ２０１の背面側の像を撮像する。また、透明ディスプレイ２０１の背面側の面にタッチパネル２０４が配置されている。

図６(ａ)は、透明ディスプレイ２０１を通してユーザに観察される像Ｉａの一例を示している。この場合、像Ｉａにオブジェクト２０５が異物として含まれている。この表示装置１００においては、図６（ｂ）に示すように、像Ｉａに含まれているオブジェクト２０５を削除することが可能とされる。

図７は、第２の実施の形態としての表示装置２００の回路構成例を示している。この表示装置２００は、透明ディスプレイ２０１と、フロントカメラ２０２と、リアカメラ２０３と、タッチパネル２０４を有している。また、この表示装置２００は、視点推定部２２１と、領域推定部２２２と、撮像画像記憶部２２３と、補間画像作成部２２４と、表示制御部２２５と、重畳情報発生部２２６を有している。

タッチパネル２０４は、ユーザが、透明ディスプレイ２０１を通して観察される像Ｉａから、所定のオブジェクト２０５を指定するために用いられる。この意味で、このタッチパネル２０１は、オブジェクト指定部を構成している。視点推定部２２１は、リアカメラ２０３で得られた撮像画像に基づいて、ユーザの視点を推定する。領域推定部２２２は、タッチパネル２０４で指定されたオブジェクト２０５を含むオブジェクト領域を異物の領域として検出する。また、領域推定部２２２は、オブジェクト領域の情報と、視点推定部２２１で得られた視点情報とに基づいて、フロントカメラ２０２で得られた撮像画像のうち、オブジェクト領域に対応した画像の領域を推定する。

撮像画像記憶部２２３は、フロントカメラ２０２で得られた撮像画像を所定フレーム期間分だけ記憶する。補間画像作成部２２４は、領域推定部２２２の領域推定結果に基づいて、補間画像を作成する。この場合、補間画像作成部２２４は、オブジェクト２０５に動きがあるときは、撮像画像記憶部２２３に記憶されている撮像画像のうち、オブジェクト２０５が存在しない過去フレームの撮像画像からオブジェクト領域に対応した部分の画像を切り出して、補間画像（置き換え画像）を作成する。また、補間画像作成部２２４は、オブジェクト２０５に動きがないときは、オブジェクト領域の周辺画素を利用して、補間画像（置き換え画像）を作成する。

表示制御部２２５は、重畳情報発生部２２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ２０１に表示する。また、表示制御部２２５は、異物除去モードにあるとき、補間画像作成部２２４で作成された補間画像を、透明ディスプレイ２０１のオブジェクト領域にだけ表示する。

図７に示す表示装置２００の動作を簡単に説明する。フロントカメラ２０２で透明ディスプレイ２０１の正面側の像を撮像して得られた撮像画像は、撮像画像記憶部２２３に一時的に記憶される。また、リアカメラ２０３で透明ディスプレイ２０１の正面側の像を撮像して得られた撮像画像は、視点推定部２２１に供給される。この視点推定部２２１では、リアカメラ２０３で得られた撮像画像に基づいて、ユーザの視点が推定される。この視点推定結果は領域推定部２２２に供給される。

タッチパネル２０４が使用され、ユーザが透明ディスプレイ２０１を通して観察される像Ｉａから、ユーザが除去を望むオブジェクト２０５が指定される。この領域推定部２２２では、タッチパネル２０４で指定されたオブジェクトを含むオブジェクト領域が異物の領域として検出される。また、この領域推定部２２２では、オブジェクト領域の情報と、視点推定部２２１で得られた視点情報とに基づいて、フロントカメラ２０２で得られた撮像画像のうち、オブジェクト領域に対応した画像の領域が推定される。この領域推定結果は、補間画像作成部２２４に供給される。

補間画像作成部１２４では、領域推定部２２２の領域推定結果に基づいて、補間画像（置き換え画像）が作成される。この場合、補間画像作成部２２４は、オブジェクト２０５に動きがあるときは、撮像画像記憶部２２３に記憶されている撮像画像のうち、オブジェクト２０５が存在しない過去フレームの撮像画像からオブジェクト領域に対応した部分の画像が切り出され、補間画像（置き換え画像）が作成される。一方、補間画像作成部２２４では、オブジェクト２０５に動きがないときは、オブジェクト領域の周辺画素が利用されて、補間画像（置き換え画像）が作成される。

表示制御部２２５では、異物除去モードにあるとき、補間画像作成部２２４で作成された補間画像が、透明ディスプレイ２０１のオブジェクト領域にだけ表示することが行われる。これにより、透明ディスプレイ２０１を通してユーザに観察される像Ｉａに含まれているオブジェクト２０５が削除される（図６（ｂ）参照）。また、表示制御部２２５では、重畳情報発生部２２６で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ２０１に表示することが行われる。

図８のフローチャートは、図５、図７に示す表示装置２００の異物除去モードにおける処理手順の一例を示している。表示装置２００は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、表示装置２００は、フロントカメラ２０２およびリアカメラ２０３による撮像を開始すると共に、タッチパネル２０４を起動する。

次に、表示装置２００は、ステップＳＴ１３において、ユーザのタッチパネル２０４の操作により、透明ディスプレイ２０１を通して観察される像から、削除したいオブジェト２０５を指定する。そして、表示装置２００は、ステップＳＴ１４において、指定オブジェクトに動きがあるか否かを判断する。例えば、フロントカメラ２０２で得られた撮像画像に基づいて、オブジェクト２０５の動きベクトルを検出することで、このオブジェクト２０５の動き判断を行うことができる。

オブジェクト２０５に動きがあると判断されるとき、表示装置２００は、ステップＳＴ１５において、フロントカメラ２０２で得られた撮像画像のうち、オブジェクト２０５が存在していない過去フレームを利用して、オブジェクト領域に対応した補間画像（置き換え画像）を作成する。一方、オブジェクト２０５に動きがないと判断されるとき、表示装置２００は、ステップＳＴ１６において、フロントカメラ２０２で得られた撮像画像のうち、オブジェクト領域２０５の周囲画素を利用して、オブジェクト領域に対応した補間画像（置き換え画像）を作成する。

表示装置２００は、ステップＳＴ１５あるいはステップＳＴ１６の処理の後、ステップＳＴ１７の処理に移る。このステップＳＴ１７において、表示装置２００は、ステップＳＴ１５あるいはステップＳＴ１６で作成した補間画像を、オブジェクト領域だけに表示する。

次に、表示装置２００は、ステップＳＴ１８において、異物除去モードを終了するか否かを判断する。異物除去モードを終了するか否かは、図７にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置２００は、ステップＳＴ１３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置２００は、ステップＳＴ１９において、処理を終了する。

上述したように、図５に示す表示装置２００においては、異物除去モードでは、透明ディスプレイ１０１を通してユーザに観察される像Ｉａに含まれる、ユーザが指定したオブジェクト１０５の領域だけに、フロントカメラ２０２で得られた撮像画像に基づいて作成された補間画像（置き換え画像）が表示される。そのため、透明ディスプレイ２０１を通してユーザに観察される像Ｉａから指定オブジェクト２０５が除去され、アンビエント（ambient）性の向上が図られる。

＜３．第３の実施の形態＞
［表示装置の構成例］
図９は、第３の実施の形態としての表示装置３００の外観を概略的に示している。この表示装置３００はモバイル機器を構成している。この表示装置３００は、透明ディスプレイ３０１を有している。この透明ディスプレイ３０１の上端に、フロントカメラ（フロントイメージセンサ）３０２と、リアカメラ（リアイメージセンサ）３０３が隣接して配置されている。フロントカメラ３０２は、透明ディスプレイ３０１の正面側の像を撮像する。リアカメラ３０３は、透明ディスプレイ３０１の背面側の像を撮像する。

図１０は、透明ディスプレイ３０１の背面側にいるユーザＭａが透明ディスプレイ３０１の正面側の像Ｉａを観察した場合のビュー（View from the user）の一例を示している。このビュー（以下、適宜、「ユーザビュー」という）には、像Ｉａの他に他人Ｍｂが含まれ、さらに、透明ディスプレイ３０１に表示された文字や画像などの重畳情報（図示の例では文字情報）も含まれている。

また、図１０は、透明ディスプレイ３０１の正面側にいる他人Ｍｂが透明ディスプレイ３０１の背面側の像Ｉｂを観察した場合のビュー（View from others）の一例を示している。このビュー（以下、適宜、「他人ビュー」という）には、像Ｉｂの他にユーザＭａが含まれ、さらに、透明ディスプレイ３０１に表示された文字や画像などの重畳情報（図示の例では文字情報）も含まれている。

この表示装置３００においては、他人Ｍｂの視線が透明ディスプレイ３０１に表示されている重畳情報に向いているとき、重畳情報の表示色を、像Ｉｂのうち視線方向の領域の色情報に対応した色にすることが可能とされる。

図１１は、第３の実施の形態としての表示装置３００の回路構成例を示している。この表示装置３００は、透明ディスプレイ３０１と、フロントカメラ３０２と、リアカメラ３０３を有している。また、この表示装置３００は、視線推定部３２１と、色情報取得部３２２と、重畳情報発生部３２３と、重畳情報処理部３２４と、表示制御部３２５を有している。

視線推定部３２１は、フロントカメラ３０２で得られた撮像画像に基づいて、他人Ｍｂの視線方向を推定する。この視線方向の推定には、例えば、「“Passive Driver Gaze Tracking with Active Appearance Models ”T.Ishikawa,S.Baker,I.Matthews,and T.Kanade Proceedings of the 11th World Congress on Intelligent Transportation Systems, October, 2004.」に記載される技術などを適用し得る。

色情報取得部３２２は、視線推定部３２１で推定された他人Ｍｂの視線の方向が透明ディスプレイ３０１に表示される重畳情報（文字や画像など）への視線であるとき、リアカメラ３０３で得られた撮像画像から、その視線方向の領域の色情報を取得する。この視線方向の領域は、他人Ｍｂが透明ディスプレイ３０１に表示されている重畳情報に視線を向けたときに、この透明ディスプレイ３０１を通して観察される、重畳情報の背景に位置する像領域である。

重畳情報発生部３２３は、透明ディスプレイ３０１に表示する重畳情報（文字や画像など）を発生する。重畳情報処理部３２４は、プライバシー保護モードにあるとき、重畳情報発生部３２３で発生される重畳情報を、その表示色が色情報取得部３２２で取得された色情報に対応した色となるように、色変更の処理をする。なお、重畳情報処理部３２４は、プライバシー保護モードにないときは、重畳情報発生部３２３で発生される重畳情報を、色変更処理を施すことなく、そのまま出力する。表示制御部３２５は、重畳情報発生部３２３で重畳情報が発生されるとき、重畳情報処理部３２４を経た重畳情報を、透明ディスプレイ３０１に表示する。

図１１に示す表示装置３００の動作を簡単に説明する。フロントカメラ３０２で透明ディスプレイ３０１の正面側の像を撮像して得られた撮像画像は、視線推定部３２１に供給される。この視線推定部３２１では、その撮像画像が処理されて、その撮像画像に他人Ｍｂが存在するときには、その視線方向が推定される。この視線方向の推定結果は、色情報取得部３２２に供給される。

また、リアカメラ３０３で透明ディスプレイ３０１の背面側の像を撮像して得られた撮像画像は、色情報取得部３２２に供給される。色情報取得部３２２では、視線推定部３２１で推定された他人Ｍｂの視線の方向が透明ディスプレイ３０１に表示される重畳情報（文字や画像など）への視線であるとき、リアカメラ３０３で得られた撮像画像から、その視線方向の領域の色情報が取得される。この色情報は、重畳情報処理部３２４に供給される。

重畳情報処理部３２４では、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、重畳情報発生部３２３で発生される重畳情報が、その表示色が色情報取得部３２２で取得された色情報に対応した色となるように、色変更の処理が施される。一方、重畳情報処理部３２４では、プライバシー保護モードにないときは、重畳情報発生部３２３で発生される重畳情報がそのまま出力される。

表示制御部３２５では、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、重畳情報処理部５２４で色変更処理が施された重畳情報を透明ディスプレイ３０１に表示することが行われる。そのため、他人Ｍｂは、透明ディスプレイ３０１に表示される重畳情報を把握することが困難となる。なお、プライバシー保護モードにないとき、あるいは、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっていないときは、重畳情報発生部３２３で発生される重畳情報そのものが、透明ディスプレイ３０１に表示される。

図１２のフローチャートは、図９、図１１に示す表示装置３００のプライバシー保護モードにおける処理手順の一例を示している。表示装置３００は、ステップＳＴ２１において、処理を開始し、その後に、ステップＳＴ２２の処理に進む。このステップＳＴ２２において、表示装置３００は、フロントカメラ３０２およびリアカメラ３０３による撮像を開始する。そして、ステップＳＴ２３において、フロントカメラ３０２の撮像画像から他人Ｍｂの視線方向を推定する。

次に、表示装置３００は、ステップＳＴ２４において、視線方向が透明ディスプレイ３０１に表示されている重畳情報に向かっているか否かを判断する。視線方向が重畳情報に向かっているとき、表示装置３００は、ステップＳＴ２５において、リアカメラ３０３で得られた撮像画像から、視線方向の領域の色情報を取得する。そして、表示装置３００は、ステップＳＴ２６において、重畳情報を、その表示色が色情報に対応した色となるように色変更処理を施して表示する。一方、視線方向が重畳情報に向かっていないとき、表示装置３００は、ステップＳＴ２７において、重畳情報発生部３２３で発生された重畳情報を、色変更処理を施すことなく、そのまま表示する。

次に、表示装置３００は、ステップＳＴ２８において、プライバシー保護モードを終了するか否かを判断する。プライバシー保護モードを終了するか否かは、図１１にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置３００は、ステップＳＴ２３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置３００は、ステップＳＴ２９において、処理を終了する。

上述したように、図９に示す表示装置３００においては、プライバシー保護モードにあって、他人Ｍｂの視線が透明ディスプレイ３０１に表示される重畳情報に向かっているとき、色変更処理が施された重畳情報が、透明ディスプレイ３０１に表示される。そのため、他人Ｍｂは、透明ディスプレイ３０１に表示される重畳情報を把握することが困難となり、プライバシー保護を図ることができる。

＜４．第４の実施の形態＞
［表示装置の構成例］
図１３は、第４の実施の形態としての表示装置４００の外観を概略的に示している。この表示装置４００はモバイル機器を構成している。この表示装置４００は、透明ディスプレイ４０１を有している。この透明ディスプレイ４０１は、正面側透明ディスプレイ４０１Ｒと、背面側透明ディスプレイ４０１Ｆとからなっている。この透明ディスプレイ４０１の上端に、フロントカメラ（フロントイメージセンサ）４０２と、人感センサ４０３が隣接して配置されている。フロントカメラ４０２は、透明ディスプレイ４０１の正面側の像を撮像する。人感センサ４０３は、透明ディスプレイ４０１の正面側の一定範囲に存在する人物を検出する。

図１４（ａ）は、透明ディスプレイ４０１の背面側にいるユーザＭａが、透明ディスプレイ４０１を通してその正面側の像Ｉａを観察し得ることを示している。また、図１４（ｂ）は、透明ディスプレイ４０１の正面側にいる他人Ｍｂが、透明ディスプレイ４０１を通してその背面側にいるユーザＭａなどを観察し得ることを示している。

この表示装置４００においては、他人Ｍｂの存在が検出され、かつ、透明ディスプレイ４０１に向けた視線があるとき、図１４（ｃ）に示すように、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、また、図１４（ｄ）に示すように、正面側透明ディスプレイ４０１Ｒを非透明状態にすることが可能とされる。
この表示装置４００においては、他人Ｍｂの存在が検出され、かつ、透明ディスプレイ４

図１５は、第４の実施の形態としての表示装置４００の回路構成例を示している。この表示装置４００は、正面側透明ディスプレイ４０１Ｒと、背面側透明ディスプレイ４０１Ｆと、フロントカメラ４０２と、人感センサ４０３を有している。また、この表示装置４００は、視線推定部４２１と、人物検出部４２２と、重畳情報発生部４２３と、表示制御部４２４を有している。

視線推定部４２１は、フロントカメラ４０２で得られた撮像画像に基づいて、他人Ｍｂの視線方向を推定する。この視線推定部４２１は、上述の表示装置３００における視線推定部３２１と同様の構成とされる。人物検出部４２２は、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを検出する。

重畳情報発生部４２３は、透明ディスプレイ４０１に表示する文字や画像などの重畳情報を発生する。表示制御部４２４は、重畳情報発生部４２３で重畳情報が発生されるとき、この重畳情報を透明ディスプレイ４０１、例えば背面側透明ディスプレイ４０１Ｆに表示する。

また、表示制御部４２４は、プライバシー保護モードにあるとき、視線推定部４２１の視線推定結果および人物検出部４２２の人物検出結果に基づいて、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとう条件を満たすか判断する。表示制御部４２４は、この条件を満たすと判断するとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態にする。

図１５に示す表示装置４００の動作を簡単に説明する。人感センサ４０３の出力は人物検出部４２２に供給される。そして、人物検出部４２２では、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に人物が存在するか否かの検出が行われる。この検出結果は、表示制御部４２４に供給される。

また、フロントカメラ４０２で透明ディスプレイ４０１の正面側の像を撮像して得られた撮像画像は、視線推定部４２１に供給される。この視線推定部４２１では、その撮像画像が処理されて、その撮像画像に他人Ｍｂが存在するときには、その視線方向が推定される。この視線方向の推定結果は、表示制御部４２４に供給される。

重畳情報処理部４２３では、透明ディスプレイ４０１に表示する重畳情報（文字や画像など）が発生される。この重畳情報は、表示制御部４２４に供給される。表示制御部４２４では、その重畳情報を背面側透明ディスプレイ４０１Ｆに表示することが行われる。

また、表示制御部４２４では、プライバシー保護モードにあるとき、視線推定部４２１の視線推定結果および人物検出部４２２の人物検出結果に基づいて、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとう条件を満たすかが判断される。そして、条件を満たすと判断されるとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態にすることが行われる。そのため、他人Ｍｂは、透明ディスプレイ４０１を通して、その背面側にいるユーザＭａなどを観察することが困難となる。

図１６のフローチャートは、図１３、図１５に示す表示装置４００のプライバシー保護モードにおける処理手順の一例を示している。表示装置４００は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２の処理に進む。このステップＳＴ３２において、表示装置４００は、フロントカメラ４０２による撮像を開始し、さらに、人感センサ４０３を起動する。

次に、表示装置４００は、ステップＳＴ３３において、透明ディスプレイ４０１の正面側の一定範囲に他人Ｍｂが存在するか否かを判断する。他人Ｍｂが存在するとき、表示装置４００は、ステップＳＴ３４の処理に移る。このステップＳＴ３４において、表示装置４００は、その他人Ｍｂの視線が透明ディスプレイ４０１に向いているか否かを判断する。

他人Ｍｂの視線が透明ディスプレイ４０１に向いているとき、表示装置４００は、ステップＳＴ３５において、正面側透明ディスプレイ（外側ディスプレイ）４０１Ｒを非透明状態にする。また、このとき、表示装置４００が、背面側透明ディスプレイ（内側ディスプレイ）４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示する。一方、ステップＳＴ３３で他人Ｍｂが存在していないとき、あるいはステップＳＴ３４で他人Ｍｂの視線が透明ディスプレイ４０１に向いていないとき、表示装置４００は、ステップＳＴ３６において、正面側透明ディスプレイ４０１Ｒおよび背面側透明ディスプレイ４０１の双方を透明状態に維持する。

次に、表示装置４００は、ステップＳＴ３７において、プライバシー保護モードを終了するか否かを判断する。プライバシー保護モードを終了するか否かは、図１５にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置４００は、ステップＳＴ３３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置４００は、ステップＳＴ３８において、処理を終了する。

上述したように、図１３に示す表示装置４００においては、プライバシー保護モードにあって、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像が表示され、正面側透明ディスプレイ４０１Ｒが非透明状態とされる。そのため、他人Ｍｂは、透明ディスプレイ４０１を通して、その背面側にいるユーザＭａなどを観察することが困難となり、プライバシー保護を図ることができる。この場合、ユーザＭａにおける他人Ｍｂから見られているという感覚を低減できる。

なお、上述では、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とするものである。しかし、他人Ｍｂが存在するとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とすることも考えられる。この場合、他人Ｍｂの視線が透明ディスプレイ４０１に向けられているという条件を課さないものである。その場合には、図１５の表示装置４００における視線推定部４２１は不要となる。

また、上述では、人物検出部４２２は、人感センサ４０３の出力に基づいて、透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを検出するものである。しかし、人物検出部４０３は、フロントカメラ４０２で得られた撮像画像を処理して透明ディスプレイ４０１の正面側の一定範囲に存在する他人Ｍｂを認識（検出）するように構成することも可能である。その場合には、人感センサ４０３は不要となる。

また、上述では、他人Ｍｂが存在し、かつ、その視線が透明ディスプレイ４０１に向けられているとき、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とするものである。しかし、透明ディスプレイ４０１を複数のブロックに分割し、視線が向けられている分割領域についてのみ、背面側透明ディスプレイ４０１Ｆにフロントカメラ４０２で得られた撮像画像を表示し、正面側透明ディスプレイ４０１Ｒを非透明状態とすることも考えられる。さらには、視線が向けられている分割領域の透明度を最低とし、その分割領域から遠ざかるほど透明度が高くなるように制御することも考えられる。

＜５．第５の実施の形態＞
［表示装置の構成例］
図１７は、第５の実施の形態としての表示装置５００の外観を概略的に示している。この表示装置５００はモバイル機器を構成している。この表示装置５００は、透明ディスプレイ５０１を有している。この透明ディスプレイ５０１の上端に、フロントカメラ（フロントイメージセンサ）５０２と、リアカメラ（リアイメージセンサ）５０３が隣接して配置されている。フロントカメラ５０２は、透明ディスプレイ５０１の正面側の像を撮像する。リアカメラ５０３は、透明ディスプレイ５０１の背面側の像を撮像する。

図１８（ａ）は、透明ディスプレイ５０１の背面側にいるユーザＭａが、透明ディスプレイ５０１を通して像Iａを観察する際の状態の一例を示している。この例は、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａに比べて、透明ディスプレイ５０１の表示面と像Ｉａとの間の距離ｒｂがかなり大きく（ｒａ＜＜ｒｂ）、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が発生する状態を示している。図１８（ｂ）は、その場合に、ユーザＭａが透明ディスプレイ５０１の表示面を注視した場合に観察されるビューの一例を示しており、像Ｉａはぼやけた状態となる。なお、図示しないが、逆に、ユーザＭａが像Ｉａを注視した場合に観察されるビューでは、透明ディスプレイ５０１の表示面の情報がぼやけた状態となる。

図１８（ｃ）は、透明ディスプレイ５０１の背面側にいるユーザＭａが、透明ディスプレイ５０１を通して像Iａを観察する際の状態の一例を示している。この例では、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａに比べて、透明ディスプレイ５０１の表示面と像Ｉａとの間の距離ｒｂがかなり小さく（ｒａ＞＞ｒｂ）、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が発生しない状態を示している。図１８（ｄ）は、その場合に、ユーザＭａが透明ディスプレイ５０１の表示面あるいは像Ｉａを注視した場合に観察されるビューの一例を示しており、透明ディスプレイ５０１の表示面の情報および像Ｉａの双方とも明瞭な状態となる。

この表示装置５００においては、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が検出される場合、図１９（ａ）に示すように、ユーザが透明ディスプレイ５０１の表示面を注視しているときには、この透明ディスプレイ５０１にフロントカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示することが可能とされる。この場合、図１９（ｂ）に示すように、ユーザＭａが観察するビューにおいては、重畳情報および像Ｉａの双方とも明瞭な状態となる。

この表示装置５００においては、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が検出される場合、図１９（ｃ）に示すように、ユーザが透明ディスプレイ５０１の表示面を注視しているときには、この透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報の透明ディスプレイ５０１への表示を目立たなくすることが可能とされる。この場合、図１９（ｄ）に示すように、ユーザＭａが観察するビューにおいては、像Ｉａが、透明ディスプレイ５０１に表示される重畳情報に邪魔されることなく、明瞭に表示される状態となる。

図２０は、第５の実施の形態としての表示装置５００の回路構成例を示している。この表示装置５００は、透明ディスプレイ５０１と、フロントカメラ５０２と、リアカメラ５０３を有している。また、この表示装置５００は、視線推定部５２１と、距離推定部５２２と、距離推定部５２３と、重畳情報発生部５２４と、表示制御部５２５を有している。

視線推定部５２１は、リアカメラ５０３で得られた撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向を推定する。この視線推定部５２１は、上述の表示装置３００における視線推定部３２１と同様の構成とされる。距離推定部５２２は、リアカメラ５０３で得られた撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａを推定する。距離推定部５２３は、フロントカメラ５０２で得られた撮像画像に基づいて、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂを推定する。

重畳情報発生部５２４は、透明ディスプレイ５０１に表示する重畳情報（文字や画像など）を発生する。表示制御部５２５は、焦点不一致改善モードにあるとき、距離推定部５２２，５２３の距離推定結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かを判断する。表示制御部５２５は、例えば、ｒａ＜＜ｒｂであるときは、焦点不一致があると判断する。

また、表示制御部５２５は、視線推定部５２１で推定されるユーザＭａの左眼および右眼の視線方向に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか、あるいは像Iａを注視しているかを判断する。表示制御部５２５は、左眼および右眼の視線が透明ディスプレイ５０１の表示面のほぼ同一位置（重畳情報の表示位置）に向かっている場合には、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断する。一方、表示制御部５２５は、左眼および右眼の視線が像Ｉａのほぼ同一位置に向かっている場合には、ユーザＭａが像Ｉａを注視していると判断する。

そして、表示制御部５２５は、焦点不一致があると判断し、しかも、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断するとき、この透明ディスプレイ５０１にフロントカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示する。また、表示制御部５２５は、焦点不一致があると判断し、しかも、ユーザＭａが像Ｉａを注視していると判断するとき、透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報のコントラスト落とすなどして目立たなく表示する。なお、表示制御部５２５は、焦点不一致がないと判断するとき、透明ディスプレイ５０１に重畳情報のみを表示する。

図２０に示す表示装置５００の動作を簡単に説明する。リアカメラ５０３で得られた撮像画像は視線推定部５２１に供給される。この視線推定部５２１では、その撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向が推定される。この視線推定結果は表示制御部５２５に供給される。

また、リアカメラ５０３で得られた撮像画像は、距離推定部５２２に供給される。この距離推定部５２２では、その撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａが推定される。また、フロントカメラ５０２で得られた撮像画像は、距離推定部５２３に供給される。この距離推定部５２３では、その撮像画像に基づいて、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂが推定される。

重畳情報発生部５２４では、透明ディスプレイ５０１に表示する重畳情報（文字や画像など）が発生される。表示制御部５２５では、焦点不一致改善モードにないとき、この重畳情報のみを透明ディスプレイ５０１に表示することが行われる。また、焦点不一致改善モードにあるとき、表示制御部５２５では、以下の制御が行われる。

すなわち、距離推定部５２２，５２３の距離推定結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かが判断される。また、視線推定部５２１で推定されるユーザＭａの左眼および右眼の視線方向に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか、あるいは像Iａを注視しているかが判断される。

そして、表示制御部５２５では、焦点不一致があると判断され、しかも、ユーザＭａが透明ディスプレイ５０１の表示面を注視していると判断されるとき、この透明ディスプレイ５０１にフロントカメラ５０２で得られた撮像画像を表示し、さらに、この撮像画像に重ねて重畳情報（文字や画像など）を表示することが行われる（図１９（ａ），（ｂ）参照）。

また、表示制御部５２５では、焦点不一致があると判断され、しかも、ユーザＭａが像Ｉａを注視していると判断されるとき、透明ディスプレイ５０１に重畳情報の表示をしないか、あるいはその重畳情報のコントラスト落とすなどして目立たなく表示することが行われる（図１９（ｃ），（ｄ）参照）。なお、表示制御部５２５では、焦点不一致がないと判断されるときは、上述した焦点不一致改善モードにないときと同様に、透明ディスプレイ５０１に重畳情報のみを表示することが行われる。

図２１のフローチャートは、図１３、図１５に示す表示装置５００の焦点不一致改善モードにおける処理手順の一例を示している。表示装置５００は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に進む。このステップＳＴ４２において、表示装置５００は、フロントカメラ５０２およびリアカメラ５０３による撮像を開始する。

次に、表示装置５００は、ステップＳＴ４３において、リアカメラ５０３の撮像画像に基づいて、ユーザＭａの眼と透明ディスプレイ５０１の表示面との間の距離ｒａを推定する。次に、表示装置５００は、ステップＳＴ４４において、透明ディスプレイ５０１の表示面と、この透明ディスプレイ５０１を通してユーザＭａが観察する像Ｉａとの間の距離ｒｂを推定する。そして、表示装置５００は、ステップＳＴ４５において、距離ｒａと距離ｒｂとを比較する。

次に、表示装置５００は、ステップＳＴ４６において、比較結果に基づいて、透明ディスプレイ５０１の表示面と像Ｉａとに対する焦点不一致が起こるか否かを判断する。焦点不一致が起こると判断するとき、表示装置５００は、ステップＳＴ４７において、リアカメラ５０３の撮像画像に基づいて、ユーザＭａの左眼および右眼の視線方向を推定する。

次に、表示装置５００は、ステップＳＴ４８において、視線方向の推定結果に基づいて、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか否かを判断する。透明ディスプレイ５０１の表示面を注視していると判断するとき、表示装置５００は、ステップＳＴ４９において、フロントカメラ５０２の撮像画像と重畳情報発生部５２４で発生される重畳情報を透明ディスプレイ５０１に表示する（図１９（ａ），（ｂ）参照）。

また、ステップＳＴ４８で透明ディスプレイ５０１の表示面を注視していないと判断するとき、表示装置５００は、ステップＳＴ５０において、透明ディスプレイ５０１に何も表示しないか、あるいは、重畳情報発生部５２４で発生される重畳情報を透明ディスプレイ５０１にコントラストを落とすなどして目立たなく表示する（図１９（ｃ），（ｄ）参照）。また、ステップＳＴ４６で焦点不一致が起こらないと判断するとき、表示装置５００は、ステップＳＴ５１において、透明ディスプレイ５０１に、重畳情報発生部５２４で発生される重畳情報のみを、通常の状態で表示する。

表示装置５００は、ステップＳＴ４９、ステップＳＴ５０、ステップＳＴ５１の処理の後、ステップＳＴ５２において、焦点不一致改善モードを終了するか否かを判断する。焦点不一致改善モードを終了するか否かは、図２０にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置５００は、ステップＳＴ４３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置５００は、ステップＳＴ５３において、処理を終了する。

上述したように、図１７に示す表示装置５００においては、焦点不一致改善モードにあって、焦点不一致が起こると判断するとき、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているか否かにより、透明ディスプレイ５０１の表示状態が変更される。すなわち、ユーザＭａが透明ディスプレイ５０１の表示面を注視しているときには、透明ディスプレイ５０１に、フロントカメラ５０２の撮像画像と重畳情報発生部５２４で発生される重畳情報が表示される。

一方、ユーザＭａが透明ディスプレイ５０１の表示面を注視していないとき、つまり、透明ディスプレイ５０１を通して正面側の像Ｉａを観察しているときは、透明ディスプレイ５０１に、何も表示されないか、あるいは、重畳情報発生部５２４で発生される重畳情報が目立たなく表示される。そのため、焦点不一致によるユーザＭａの不快感の改善を図ることができる。

なお、上述の図２０に示す表示装置５００では、フロントカメラ５０２の撮像画像から距離ｒbを推定し、リアカメラ５０３の撮像画像から距離ｒaを推定し、これらの距離の比較により、表示制御部５２５では、焦点不一致を起こすか否かを自動的に判断している。しかし、焦点不一致を起こすか否かの情報を例えばユーザが手動操作で与えることも考えられる。その場合には、図２０に示す表示装置５００において、距離推定部５２２，５２３は不要となる。また、表示制御部５２５で、距離情報から焦点不一致を起こすか否かの判断を行うことも不要となる。

＜６．第６の実施の形態＞
［表示装置の構成例］
図２２は、第６の実施の形態としての表示装置６００の外観を概略的に示している。この表示装置６００はモバイル機器を構成している。この表示装置６００は、透明ディスプレイ６０１を有している。この透明ディスプレイ６０１の上端に、フロントカメラ（フロントイメージセンサ）６０２と、リアカメラ（リアイメージセンサ）６０３が隣接して配置されている。フロントカメラ６０２は、透明ディスプレイ６０１の正面側の像を撮像する。リアカメラ６０３は、透明ディスプレイ６０１の背面側の像を撮像する。また、透明ディスプレイ６０１の背面側に、液晶レンズやパララックスバリアなどで構成される光線制御部６０４が被着されている。

図２３は、透明ディスプレイ６０１の背面側にいるユーザＭａが、透明ディスプレイ６０１を通して像Iａを観察する際の状態の一例を示している。この例は、ユーザＭａの眼と透明ディスプレイ６０１の表示面との間の距離ｒａに比べて、透明ディスプレイ６０１の表示面と像Ｉａとの間の距離ｒｂがかなり大きい（ｒａ＜＜ｒｂ）状態を示している。この場合、透明ディスプレイ６０１の表示面と像Ｉａとの視差が大きいため、左右の像が融合しなくなり、見づらくなる。

この場合、ユーザＭａが透明ディスプレイ６０１の表示面を注視した場合に観察されるビューでは像Ｉａは融合しない状態となる。また、この場合、ユーザＭａが像Ｉａを注視した場合に観察されるビューでは、透明ディスプレイ６０１の表示面は融合しない状態となる。

この表示装置６００においては、図２４（ａ）に示すように、透明ディスプレイ６０１の表示面に表示される文字や画像などの重畳情報（図示の例では文字）が、図２４（ｂ）に示すように、ユーザＭａには像Ｉａとほぼ同じ位置に知覚されるようにすることが可能とされる。そのために、重畳情報として左眼重畳情報および右眼重畳情報が生成され、これら２つの重畳情報に適切な視差が付与されて、透明ディスプレイ６０１に表示することが行われる。

図２５は、第６の実施の形態としての表示装置６００の回路構成例を示している。この表示装置６００は、透明ディスプレイ６０１と、フロントカメラ６０２と、リアカメラ６０３と、光線制御部６０４を有している。また、この表示装置６００は、奥行きマップ取得部６２１と、重畳位置決定部６２２と、ユーザ始点位置決定部６２４と、ユーザ始点画像生成部６２４と、重畳情報生成部６２５と、表示制御部６２６を有している。

奥行きマップ生成部６２１は、フロントカメラ６０２で得られた撮像画像に基づいて、画素毎の奥行きを検出して奥行きマップを取得する。この奥行きの検出方法としては、ステレオ入力から計算する方法、２Ｄ３Ｄ変換による推測、単眼カメラと距離センサの組み合わせなどがある。重畳位置決定部６２２は、奥行きマップを参照して、透明ディスプレイ６０１の表示面に表示される重畳情報の左眼用および右眼用の表示位置を決定する。この場合、重畳位置決定部６２２は、ユーザが透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚し得るように、左眼用および右眼用の表示位置を決定する。

ユーザ視点位置検出部６２３は、リアカメラ６０３で得られた撮像画像に基づいて、ユーザの左眼および右眼の視点位置（眼の位置）を検出する。この視点位置の検出には、例えば、「“Passive Driver Gaze Tracking with Active Appearance Models ”T.Ishikawa,S.Baker,I.Matthews,and T.Kanade Proceedings of the 11th World Congress on Intelligent Transportation Systems, October, 2004.」に記載される技術などを適用し得る。

ユーザ視点画像生成部６２４は、検出されたユーザの左眼および右眼の視点位置と、取得された奥行きマップを参照して、フロントカメラ６０２で得られた撮像画像から、左眼および右眼のそれぞれの視点の画像を生成する。画像の奥行きを求め、そこから任意の視点の画像を生成する技術は、例えば、特開２０１１−１７６８２２号公報に記載されている。重畳情報発生部６２５は、透明ディスプレイ５０１に表示する文字や画像などの重畳情報を発生する。

表示制御部６２６は、表示位置調整モードにないときは、重畳情報発生部６２５で発生された重畳情報をそのまま透明ディスプレイ６０１に表示する。この場合、透明ディスプレイ６０１には、左眼および右眼に共通の１つの重畳情報が表示されることとなり、ユーザは、透明ディスプレイ６０１の表示面に重畳情報を知覚するものとなる。一方、表示制御部６２６は、表示位置調整モードにあるときは、重畳位置決定部６２２で決定された左眼用および右眼用の表示位置で示される重畳情報領域に、以下の表示を行う。

この場合、表示制御部６２６は、左眼の重畳情報領域に、重畳情報を表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する。また、表示制御部６２６は、この左眼の重畳情報領域に、右眼視点の画像からその領域の部分を切り出して表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する。

また、表示制御部６２６は、右眼の重畳情報領域に、重畳情報を表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する。また、表示制御部６２６は、この右眼の重畳情報領域に、左眼視点の画像からその領域の部分を切り出して表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する。光線制御部６０４は、例えば、特開２００４−２５８６３１号公報に記載されるように、液晶アレイレンズなどで構成できる。図２６は、上述した、左眼、右眼の重畳情報領域、つまり光線制御表示部分と、そこに表示される重畳情報や各視点画像の左眼、右眼への照射の関係を示している。

図２５に示す表示装置６００の動作を簡単に説明する。フロントカメラ６０２で透明ディスプレイ６０１の正面側の像を撮像して得られた撮像画像は、奥行きマップ取得部６２１に供給される。奥行きマップ生成部６２１では、フロントカメラ６０２で得られた撮像画像に基づいて、画素毎の奥行きが検出されて奥行きマップが取得される。この奥行きマップは重畳位置決定部６２２に供給される。この重畳位置決定部６２２では、ユーザが透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚し得るように、左眼用および右眼用の表示位置が決定される。この表示位置情報は、表示制御部６２６に供給される。

また、リアカメラ６０３で透明ディスプレイ６０１の背面側の像を撮像して得られた撮像画像は、ユーザ視点位置検出部６２３に供給される。このユーザ視点位置検出部６２３では、リアカメラ６０３で得られた撮像画像に基づいて、ユーザの左眼および右眼の視点位置（眼の位置）が検出される。視点位置情報は、表示制御部６２６に供給される。

表示制御部６２６では、表示位置調整モードにないときは、重畳情報発生部６２５で発生された重畳情報をそのまま透明ディスプレイ６０１に表示することが行われる。この場合、ユーザは、透明ディスプレイ６０１の表示面に重畳情報を知覚するものとなる。また、表示制御部６２６は、表示位置調整モードにあるときは、透明ディスプレイ６０１の表示面のうち、重畳位置決定部６２２で決定された左眼用および右眼用の表示位置で示される重畳情報領域に、以下のように表示することが行われる。

この場合、表示制御部６２６では、左眼の重畳情報領域に、重畳情報を表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する、ことが行われる。また、表示制御部６２６では、この左眼の重畳情報領域に、右眼視点の画像からその領域の部分を切り出して表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する、ことが行われる。

また、表示制御部６２６では、右眼の重畳情報領域に、重畳情報を表示し、その表示情報が右眼に照射されるように光線制御部６０４を制御する、ことが行われる。また、表示制御部６２６では、この右眼の重畳情報領域に、左眼視点の画像からその領域の部分を切り出して表示し、その表示情報が左眼に照射されるように光線制御部６０４を制御する、ことが行われる。この場合、ユーザは、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚するものとなる。

図２７のフローチャートは、図２２、図２５に示す表示装置６００の表示位置調整モードにおける処理手順の一例を示している。表示装置６００は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に進む。このステップＳＴ６２において、表示装置６００は、フロントカメラ６０２およびリアカメラ６０３による撮像を開始する。そして、ステップＳＴ６３において、フロントカメラ６０２の撮像画像から、ユーザが透明ティスプレイ６０１を通して観察する対象物（像Iａ）の画素毎の奥行きを検出し、奥行きマップを生成する。

次に、表示装置６００は、ステップＳＴ６４において、リアカメラ６０３の撮像画像から、ユーザの左眼および右眼の視点位置を検出する。また、表示装置６００は、ステップＳＴ６５において、透明ディスプレイ６０１の表示面における重畳情報の左眼用および右眼用の重畳位置を決定する。そして、表示装置６００は、ステップＳＴ６６において、フロントカメラ６０２の撮像画像から、ユーザの左眼および右眼の視点位置と奥行きマップを参照して、ユーザの左眼、右眼の視点画像を生成する。

次に、表示装置６００は、ステップＳＴ６７において、左眼および右眼の重畳位置で示される画像重畳領域のみ、重畳情報および視点画像を表示し、光線制御を行う。これにより、ユーザが、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚可能にする。

次に、表示装置６００は、ステップＳＴ６８において、表示位置調整モードを終了するか否かを判断する。表示位置調整モードを終了するか否かは、図２５にはユーザ操作部を示していないが、例えば、ユーザの明示的な指示操作に基づいて判断する。終了でないと判断するとき、表示装置６００は、ステップＳＴ６３の処理に戻り、上述したと同様の処理を繰り返す。一方、終了であると判断するとき、表示装置６００は、ステップＳＴ６９において、処理を終了する。

上述したように、図２２に示す表示装置６００においては、表示位置調整モードにあるとき、透明ディスプレイ６０１に左眼用および右眼用の重畳情報が視差を付与されて表示されると共に光線制御が行われ、ユーザが、透明ディスプレイ６０１を通して観察される正面側の像Ｉａとほぼ同じ位置に重畳情報を知覚可能とされるものである。そのため、像Iａと重畳情報とのシームレスが結合を図ることができ、焦点不一致の発生によるユーザの不快感の軽減できる。

＜７．変形例＞
なお、上述では、本技術をモバイル機器に適用したものを示した。しかし、本技術を、その他の機器、建築構造物などに適用することも考えられる。

例えば、ショーウインドウを、上述の第４の実施の形態の表示装置４００と同様の構造とすることが考えられる。その場合、普段は透明ディスプレイを通してショーウインドウの中を観察できるようにされる。作業員がショーウインドウの中に入ってきて展示物の交換などをするときには、内側の透明ディスプレイが非透明状態とされ、外側の透明ディスプレイにカメラ画像、テレビ画像、あるいは再生画像が表示される。

また、例えば、住宅の壁の一部を、上述の第４の実施の形態の表示装置４００と同様の構造とすることが考えられる。その場合、普段は、シースルーでアンビエント性が向上され、人物を検知したら、外側の透明ディスプレイを非透明状態にし、内側の透明ディスプレイにカメラ画像、テレビ画像、あるいは再生画像などが表示される。

また、上述の第１の実施の形態（図１参照）、第２の実施の形態(図５参照)、第３の実施の形態（図９参照）、第５の実施の形態（図１７参照）および第６の実施の形態（図２２参照）では、フロントカメラ５０２およびリアカメラ５０３の２つのカメラ（イメージセンサ）を備える構成を示した。しかし、これら２つのカメラを配置する代わりに、例えば、特許４０００４４９号公報に記載されているような単一のカメラ（イメージセンサ）を配置して、透明ディスプレイの正面側および背面側の像を、この単一のカメラで撮像して利用することも考えられる。

また、本技術は、以下のような構成をとることもできる。
（１）透明ディスプレイと、
上記透明ディスプレイの周囲の情報を得るためのセンサ部と、
上記センサ部の出力に基づいて上記透明ディスプレイの表示状態を制御する制御部とを備える
表示装置。
（２）上記センサ部は、
上記透明ディスプレイの周囲の像を撮像して撮像画像を得、
上記制御部は、
上記透明ディスプレイの周囲の撮像画像を利用した画像処理を行って上記透明ディスプレイの表示状態を制御する
前記（１）に記載の表示装置。
（３）上記センサ部は、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、上記透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有する
前記（２）に記載の表示装置。
（４）上記センサ部は、上記透明ディスプレイの正面側および背面側の像を撮像可能な単一のイメージセンサを有する
前記（２）に記載の表示装置。
（５）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサを有し、
上記制御部は、
上記透明ディスプレイを通してユーザに観察される像に含まれる異物の領域だけに、上記フロントイメージセンサで得られた撮像画像のうち、上記異物の領域に対応した部分の画像に応じた画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記異物を削除する
前記（１）に記載の表示装置。
（６）上記センサ部として、上記透明ディスプレイの正面側の面に配置されるタッチパネルを有し、
上記制御部は、
上記タッチパネルの出力からユーザの手の領域を上記異物の領域として検出し、該ユーザの手の領域だけに、上記フロントイメージセンサで得られた撮像画像のうち、上記ユーザの手の領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記ユーザの手を削除する
前記（５）に記載の表示装置。
（７）上記透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、
上記制御部は、
上記指定された所定のオブジェクトを含むオブジェクト領域を上記異物の領域とし、該オブジェクト領域だけに、上記フロントイメージセンサで得られた撮像画像のうち、上記オブジェクト領域に対応した部分の画像に基づく画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
前記（５）に記載の表示装置。
（８）上記制御部は、
上記指定されたオブジェクトに動きがあるとき、上記オブジェクト領域だけに、上記フロントイメージセンサで得られた、上記所定のオブジェクトが存在しない過去フレームの撮像画像のうち、上記オブジェクト領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する
前記（７）に記載の表示装置。
（９）上記オブジェクト指定部は、上記透明ディスプレイの背面側に配置されるタッチパネルにより構成される
前記（７）または（８）に記載の表示装置。
（１０）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、上記透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
上記発生された重畳情報を上記透明ディスプレイに表示し、
上記フロントイメージセンサで得られた撮像画像により上記透明ディスプレイに表示された重畳情報への視線が検出されるとき、上記リアイメージセンサで得られた撮像画像から上記透明ディスプレイを通して観察される上記視線方向の領域の色情報を取得し、上記透明ディスプレイに表示する重畳情報の表示色を該取得された色情報に対応した色にする
前記（１）に記載の表示装置。
（１１）上記透明ディスプレイは、正面側の第１の透明ディスプレイおよび背面側の第２の透明ディスプレイとからなり、
上記センサ部として、上記透明ディスプレイの正面側の人物を検出する人感センサと、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサとを有し、
上記制御部は、
上記人感センサにより人物の存在が検出されるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに、上記フロントイメージセンサで得られた撮像画像を表示する
前記（１）に記載の表示装置。
（１２）上記制御部は、
上記フロントイメージセンサで得られた撮像画像に基づいて上記透明ディスプレイへの視線があるかを判断し、
上記人感センサにより人物の存在が検出され、かつ、上記透明ディスプレイへの視線があるとき、上記第１の透明ディスプレイを非透明状態にし、上記第２の透明ディスプレイに上記フロントイメージセンサで得られた撮像画像を表示する
前記（１１）に記載の表示装置。
（１３）上記制御部は、
上記透明ディスプレイへの視線が、該透明ディスプレイの所定の分割領域への視線であるとき、上記第１の透明ディスプレイの上記所定の分割領域を非透明状態にし、上記第２の透明ディスプレイの上記所定の分割領域に、上記フロントイメージセンサで得られた撮像画像のうち、該所定の分割領域に対応した部分の画像を表示する
前記（１２）に記載の表示装置。
（１４）上記センサ部として、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、上記透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有し、
上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部をさらに備え、
上記制御部は、
ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致が起こるとき、上記リアイメージセンサで得られる撮像画像に基づいて、上記ユーザが上記透明ディスプレイの表示面を注視しているかを判断し、
上記透明ディスプレイの表示面を注視していると判断するとき、上記透明ディスプレイに、上記フロントイメージセンサで得られた撮像画像を表示し、該撮像画像に重ねて上記発生された重畳情報を表示する
前記（１）に記載の表示装置。
（１５）上記制御部は、
上記透明ディスプレイの表示面を注視していないと判断するとき、上記発生された重畳情報を透明ディスプレイに表示しないか、あるいは該重畳情報を透明ディスプレイに目立たなく表示する
前記（１４）に記載の表示装置。
（１６）上記制御部は、
上記リアイメージセンサで得られた撮像画像から推定されたユーザの眼と透明ディスプレイの表示面との間の距離と、上記フロントイメージセンサで得られた撮像画像から推定された上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像との間の距離に基づいて、上記ユーザにおける上記透明ディスプレイの表示面と上記透明ディスプレイを通して観察される像とに対する焦点不一致を判断する
前記（１４）または（１５）に記載の表示装置。
（１７）上記透明ディスプレイに表示する重畳情報を発生する重畳情報発生部と、
上記透明ディスプレイの背面側の面に配置された光線制御部とをさらに備え、
上記センサ部として、上記透明ディスプレイの正面側の像を撮像するフロントイメージセンサと、上記透明ディスプレイの背面側の像を撮像するリアイメージセンサとを有し、
上記制御部は、
上記リアイメージセンサで得られた撮像画像から取得された上記透明ディスプレイに対するユーザの左右の眼の位置と、上記フロントイメージセンサで得られた撮像画像から取得された上記透明ディスプレイを通して観察される像の奥行き情報に基づいて、上記重畳情報が上記ユーザに上記透明ディスプレイを通して観察される像の位置に知覚されるための視差が付与された左眼重畳情報および右眼重畳情報を生成して上記透明ディスプレイに表示し、
上記透明ディスプレイに表示された上記左眼重畳情報からの光線がユーザの左眼に到達し、上記透明ディスプレイに表示された上記右眼重畳情報からの光線がユーザの右眼に到達するように上記光線制御部を制御する
請求項１に記載の表示装置。
（１８）透明ディスプレイを備える表示装置における表示制御方法であって、
上記透明ディスプレイの周囲環境を検出し、
上記周囲環境に基づいて、上記透明ディスプレイの表示状態を制御する
表示制御方法。

１００，２００，３００，４００，５００，６００・・・表示装置
１０１，２０１，３０１，４０１，５０１，６０１・・・透明ディスプレイ
１０２，２０２，３０２，４０２，５０２，６０２・・・フロントカメラ
１０３，２０３，３０３，５０３，６０３・・・リアカメラ
１０４，２０４・・・タッチパネル
１２１，２２１・・・視点推定部
１２２，２２２・・・領域推定部
１２３，２２３・・・撮像画像記憶部
１２４，２２４・・・補間画像作成部
１２５，２２５，３２５，４２４，５２５，６２６・・・表示制御部
１２６，２２６，３２３，４２３，５２４，６２５・・・重畳情報発生部
３２１，４２１，５２１・・・視線推定部
３２２・・・色情報取得部
３２４・・・重畳情報処理部
４０１Ｒ・・・正面側ディスプレイ
４０１Ｆ・・・背面側ディスプレイ
４０３・・・人感センサ
４２２・・・人物検出部
５２２，５２３・・・距離推定部
６０４・・・光線制御部
６２１・・・奥行きマップ取得部
６２２・・・重畳位置決定部
６２３・・・ユーザ視点位置検出部
６２４・・・ユーザ視点画像生成部

Claims (11)

1. タッチパネルを有する透明ディスプレイの上記タッチパネルにより検出された領域に対して、イメージセンサで得られた撮像画像のうち、上記領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記領域を削除する制御を行う制御部を備える
   情報処理装置。
2. 上記タッチパネルを有する透明ディスプレイをさらに備える
   請求項１に記載の情報処理装置。
3. 上記タッチパネルにより検出された領域はユーザの手の領域である
   請求項１に記載の情報処理装置。
4. 上記イメージセンサをさらに備える
   請求項１に記載の情報処理装置。
5. 上記制御部は、上記透明ディスプレイを通してユーザに観察される像から所定の領域を削除する
   請求項１に記載の情報処理装置。
6. 上記透明ディスプレイを通してユーザに観察される像から所定のオブジェクトを指定するオブジェクト指定部をさらに備え、
   上記制御部は、
   上記指定された所定のオブジェクトを含むオブジェクト領域を上記所定の領域とし、該オブジェクト領域に対して、上記イメージセンサで得られた撮像画像のうち、上記オブジェクト領域に対応した部分の画像に基づく画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する制御を行う
   請求項５に記載の情報処理装置。
7. 上記制御部は、
   上記指定されたオブジェクトに動きがあるとき、上記オブジェクト領域に対して、上記イメージセンサで得られた、上記所定のオブジェクトが存在しない過去フレームの撮像画像のうち、上記オブジェクト領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記所定のオブジェクトを削除する制御を行う
   請求項６に記載の情報処理装置。
8. 上記オブジェクト指定部は、上記透明ディスプレイに配置されるタッチパネルにより構成される
   請求項６に記載の情報処理装置。
9. 制御部が、タッチパネルを有する透明ディスプレイの上記タッチパネルにより検出された領域に対して、イメージセンサで得られた撮像画像のうち、上記領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記領域を削除する制御を行うステップを有する
   表示制御方法。
10. コンピュータを、
    タッチパネルを有する透明ディスプレイの上記タッチパネルにより検出された領域に対して、イメージセンサで得られた撮像画像のうち、上記領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記領域を削除する制御を行う制御手段として機能させる
    プログラム。
11. コンピュータを、
    タッチパネルを有する透明ディスプレイの上記タッチパネルにより検出された領域に対して、イメージセンサで得られた撮像画像のうち、上記領域に対応した部分の画像を表示して、上記透明ディスプレイを通してユーザに観察される像から上記領域を削除する制御を行う制御手段として機能させる
    プログラムを記憶した記憶媒体。