JP2013535020A

JP2013535020A - イメージキャプチャおよびディスプレイ装置並びにその方法

Info

Publication number: JP2013535020A
Application number: JP2013512547A
Authority: JP
Inventors: ソ，ソン−ジュ; チェー，チャン−ギュ; イ，クォン−ジュ; パク，ドゥ−シク
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2010-05-27
Filing date: 2011-05-27
Publication date: 2013-09-09
Anticipated expiration: 2031-05-27
Also published as: JP6448190B2; EP2390872A2; US20110304532A1; US9549134B2; EP2390872B1; CN102918579A; US20170126982A1; CN102918579B; US10477111B2; WO2011149303A2; KR20110130102A; KR101725044B1; EP2390872A3; WO2011149303A3

Abstract

ディスプレイ装置および方法を提供する。ディスプレイ装置は、オブジェクトから反射してディスプレイパネルを通過した光を検出し、前記光が前記ディスプレイパネルを通過したか否かに応じてバックライトユニットのパワーを制御することができる。

Description

本発明は、ディスプレイ装置および方法に関し、より詳しくは、イメージが発生されるよう入射光を検出すると同時にイメージを表示するディスプレイ装置および方法に関する。

本出願は、参照として同封する開示物である２０１０年５月２７日付にて韓国特許庁に提出された韓国特許出願第１０−２０１０−４９５６４の優先権の利益を請求する。

ディスプレイ装置は、ディスプレイパネル、カメラ、およびバックライトユニットを備える。ディスプレイ装置は、イメージデータを取得するためのキャプチャモード、あるいはイメージデータを表示するためのディスプレイモードに作動する。

上記のディスプレイ装置の２種類の例として、２００９年１２月ＳＩＧＧＲＡＰＨＡＳＩＡで、Ｈｉｒｓｃｈｅｔａｌ．による「ライトフィールドを用いた３Ｄ相互作用のための薄膜深度制御ＬＣＤ」の記事で議論されたが、ここでは類似するディスプレイ装置が提示されている。第１の例示として、ディスプレイ装置は、実質的に角度リミッター層、ディスプレイパネル／コード化されたマスク層、および拡散層を備える。ディスプレイパネルは、コード化されたマスク層のコード化されたマスク効果を発生させるように制御され、カメラは拡散層の後方に位置してもよい。したがって、キャプチャされたイメージデータは、拡散層の表面から取得することができる。このような手法から、記事の著者は、ディスプレイ前面に角度制限フィルムを用いることによって不利な面を有するよりも、角度制限フィルムの不足を補償するようにカメラを拡散層１メートルの後方に位置づける必要があると指摘した。

他の手法からは、ディスプレイ装置は、実質的にディスプレイパネル、マスク、シングルラージフォーマットセンサ（single large-format sensor）およびバックライトを備える。シングルラージフォーマットセンサは、ディスプレイパネルを通過した後にセンサへ入射される光を検知する。バックライトからの大部分の光はディスプレイパネルに提供される必要があるため、シングルラージフォーマットセンサは、クリア基板または薄膜（membrane）にクリアフォト検出器の平面に構成される必要があると著者は指摘した。この２種類の手法において、外装カメラおよびシングルラージフォーマットセンサは全て低い解像度のキャプチャ性能を有するものの、著者はジェスチャーを検出するための十分な平面イメージの取得にさらに大きい重点をおいたため、このような問題は大きい関心を持たず、高品質のイメージを取得できないものと認めた。

また、Ｈｉｒｓｃｈｅｔａｌ．の記事は、ディスプレイパネルの後方にカメラを密集して配置することが実用的ではなく、その理由は、そのような手法がシングルラージフレームセンサを用いることに比べて工学的な複雑さを増加させるためである。また、Ｈｉｒｓｃｈｅｔａｌ．によると、そのような異なるセンサの手法は、バックライトによって発生した光を遮断するセンサ要素によってバックライトの不均一の問題が生じ得る。Ｈｉｒｓｃｈｅｔａｌの著者は、むしろ、バックライトからの光が遮断されないように特別に用いられたクリア基板または薄膜を有する透明なフォトダイオードシングルラージフォーマットセンサの長所を指摘した。Ｈｉｒｓｃｈｅｔａｌの著者は、さらに、近いうちに代替技術は利用できるようになるとは思われないと指摘した。また、著者は、全体ディスプレイであるパネルが若干のミリ秒の間にＭＵＲＡコーディングパターンを形成するように設定され、顕著なチラツキを発生させながら、ＭＵＲＡコーディングパターンが用いられる場合、その手法が延長されたイメージデータのキャプチャ期間を要求するという点に注目した。ＭＵＲＡコーディングパターンのために必要な時間の延長期間が要求されることによって、シングルラージフレームセンサは、傾斜するＭＵＲＡコードによって調整されたイメージデータを均一にキャプチャすることができる。

したがって、カメラまたはそのようなシングルラージフレームセンサを備えるディスプレイ装置は、バックライトから放射される光に基づくイメージを表示するようにディスプレイパネルを作動させる一方、入射光を正確に検出することのできない点を含めてイメージの取得に限界がある。

本発明のディスプレイ装置は、ディスプレイを通過した後にセンサパネルに入射する第１入射光を検出し、前記センサパネルによって光の送信を少なくとも部分的に遮断するように形成されるセンサパネルと、前記センサパネルに向かう前記第１入射光が通過できるように前記ディスプレイを選択的に制御し、イメージを表示する前記ディスプレイの光出力が通過できるように前記ディスプレイを制御するコントローラとを備え、前記センサパネルは、前記センサパネルから前記ディスプレイに向かう光をそれぞれ伝達するように形成される複数の分割領域を含む。

本発明に係るディスプレイ装置は、ディスプレイパネルと、前記ディスプレイパネルから入射光を検出するように構成される複数のセンサユニット、およびセンサパネルから前記ディスプレイパネルに向かう光をそれぞれ伝達するように構成される複数の分割領域を含むセンサパネルと、第２モードにおいて、前記ディスプレイパネル上に前記イメージを表示するために前記ディスプレイパネル上にパターンを生成する前記ディスプレイパネルのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、第１モードにおいて、少なくとも１つのセンサユニットによってイメージをキャプチャするため、透明に制御された前記ディスプレイパネル上の少なくとも１つのパターンと不透明に制御された少なくとも１つのパターンを取り囲む前記ディスプレイパターンの領域を形成するコントローラを備え、前記複数の分割領域は、複数のアパーチャーまたは複数のバックライトユニットがそれぞれ配設され、前記複数のアパーチャーのうち少なくとも１つは拡散要素を含み、複数のバックライトユニットそれぞれは個別に光を生成して前記ディスプレイパネルに直ちに伝達する。

本発明に係るディスプレイ方法は、現在のモードが第１モードである場合、ディスプレイによって前記ディスプレイの後端に位置するセンサパネルに向かう第１入射光を通過するように、少なくとも１つの透明なピクセルまたはサブピクセルを用いてパターンを形成し、前記パターンを少なくとも取り囲む不透明な領域を形成するようにディスプレイを選択的に構成し、前記現在のモードが第２モードである場合、前記ディスプレイによって前記ディスプレイの後端に位置するバックライトからの光を通過させるように前記ディスプレイを構成するステップと、第１モードにおいて、光の送信を少なくとも部分的に遮断する前記センサパネルに入射された前記ディスプレイを通過した第１入射光を検出するステップと、前記ディスプレイによって前記センサレイヤから光を通過させてディスプレイ上にイメージを表示するステップと、複数回の前記現在のモードの変化を少なくとも含み、第１モードおよび第２モードのうちの１つに前記現在のモードを繰り返して制御するステップとを含む。

本発明に係るディスプレイ方法は、前記第１モードの現在の時間でそれ以前の時間に比べて、前記第１モードの間に前記不透明に選択的に制御された前記ディスプレイの第１ピクセルの数、前記第１モードの間に透明に選択的に制御された前記ディスプレイの第２ピクセルの数、前記第１モードの間に不透明に制御された前記ディスプレイの１つ以上のピクセルの位置、および前記第１モードの間に透明に制御された前記ディスプレイの１つ以上のピクセルの位置のうち少なくとも１つの変化に応じて、現在のモードが前記第１モードである時より以前の時間に形成したパターンと異なる少なくとも１つのパターンを有するように前記ディスプレイを制御するステップをさらに含む。

本発明に係るディスプレイ方法は、前記第１モードの現在の時間においてそれ以前の時間に比べて、前記第１モードの間に前記不透明に選択的に制御された前記ディスプレイの第１サブピクセルの数、前記第１モードの間に透明に選択的に制御された前記ディスプレイの第２サブピクセルの数、前記第１モードの間に不透明に制御された前記ディスプレイの１つ以上のサブピクセルの位置、および前記第１モードの間に透明に制御された前記ディスプレイの１つ以上のサブピクセルの位置のうち少なくとも１つの変化に応じて、現在のモードが前記第１モードである時以前の時間に形成したパターンと異なる少なくとも１つのパターンを有するように前記ディスプレイを制御するステップをさらに含む。

本発明にかかるディスプレイ方法は、前記センサパネルからイメージをキャプチャするためのキャプチャ率および複数のイメージを表示するためのディスプレイレートの結合が、前記ディスプレイの最大の再生率よりも大きくなるように選択的に制御するステップをさらに含む。

本発明に係るディスプレイ方法は、複数の固定された時間の長さサイクルである第１時間の間に、前記センサパネルに向かう第１入射光のみを通過させるために前記ディスプレイを制御し、前記複数の固定された時間の長さサイクルである第２サイクルの間に、前記イメージを表示するために前記ディスプレイの前記光の出力のみを通過させるために前記ディスプレイを選択的に制御するステップをさらに含み、前記固定された時間は、前記ディスプレイが一回の再生を行うためにかかる時間である。本発明に係るディスプレイ方法は、第２モードにおいて、前記ディスプレイ上に前記イメージを表示するために、前記ディスプレイ上にパターンを生成する前記ディスプレイのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、前記センサパネルの少なくとも１つのセンサユニットによってイメージをキャプチャするために、第１モードにおいて、透明に制御された前記ディスプレイ上に少なくとも１つのパターンと不透明に制御された前記少なくとも１つのパターンを取り囲む前記ディスプレイの領域を形成するステップをさらに含み、前記ディスプレイは、前記第１モードと前記第２モードとを異なるように制御する。

本発明に係るディスプレイ方法は、前記センサパネルによって検出された前記少なくとも１つのパターンのブラーの少なくとも１つ検出された大きさに基づいて、前記第１入射光に示すオブジェクトの深度を決定するステップをさらに含む。本発明に係るディスプレイ方法は、前記決定するステップは、それぞれ検知された入射光に対するブラーパターンの少なくとも１つの検出された大きさに個別に基づいて、前記センサパネルによってそれぞれ検知された複数の第１入射光に示す前記オブジェクトの複数の深度測定を決定し、前記オブジェクトの３次元情報を生成するステップを含む。本発明に係るディスプレイ方法は、複数のキャプチャされたイメージとそれぞれ生成された複数の３次元情報によって、前記オブジェクトによる動きのモニタリングを制御し、前記モニタリングされた動きと生成された複数の３次元情報が前記オブジェクトの動きに応じて生成された、複数の定義されたジェスチャを示すかを決定し、前記決定されたジェスチャに基づいて装置の動作を制御するステップをさらに含む。

本発明に係るディスプレイ方法は、前記決定された深度に基づいた距離基盤のインパルス応答を算出し、前記ディスプレイの前記少なくとも１つのパターンに応じて形成された反射および／または幾何学的な効果を補償するために、前記距離基盤のインパルス応答を用いて前記キャプチャされたイメージのデボルーション（ｄｅｖｏｌｕｔｉｏｎ）を行って前記キャプチャされたイメージを復元し、前記復元されたキャプチャされたイメージを符号化するステップをさらに含む。

本発明に係るディスプレイ方法は、現在のモードが第１モードである場合、ディスプレイによって前記ディスプレイの後端に位置するセンサパネルに向かう第１入射光を通過するように少なくとも１つの透明なピクセルまたはサブピクセルを有するパターンを形成し、前記パターンを少なくとも取り囲む不透明な領域を形成するようにディスプレイを選択的に構成し、前記現在のモードが第２モードである場合、前記ディスプレイによって、前記ディスプレイの後端に位置するバックライトからの光を通過させるように前記ディスプレイを構成するステップと、第１モードにおいて、光の送信を遮断する前記センサパネルに入射した前記ディスプレイを通過した第１入射光を検出するステップと、前記ディスプレイによって前記センサレイヤから、各バックライトから個別に生成された光を通過させてディスプレイ上にイメージを表示するステップと、複数回の前記現在のモードの変化を少なくとも含み、第１モードおよび第２モードのうちの１つに前記現在のモードを繰り返して制御するステップとを含む。

１つ以上の実施形態における追加的な観点および／または利益は以下の説明によって明示され、部分的には前記説明によって明確になり、または開示される１つ以上の実施形態の実現によって導くことができる。

本発明に係るディスプレイ装置および方法の原理的構成を示す図である。本発明に係るディスプレイ装置および方法の原理的構成を示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置に含まれる図１に示すセンサパネルのような各種のセンサパネルを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイ装置において、図１に示すディスプレイパネルのようなディスプレイパネルによって形成された各種のパターンを示す図である。本発明に係るディスプレイデバイス、システム、および方法を示す図である。本発明に係るディスプレイデバイス、システム、および方法を示す図である。本発明に係るディスプレイデバイス、システム、および方法を示す図である。

１つ以上の実施形態において、添付の図面を参照して本発明をより詳細に説明し、ここで、同一の参照符号は全体的に同一の要素を表す。これと関連して、本発明の実施形態は、数多い異なる形態に具体化されてもよく、ここに説明された実施形態に制限されて解釈されることはない。したがって、図面を参照して以下に記載された実施形態は、単に本発明の一面を説明するものである。

図１および図２は、１つ以上の実施形態に係るディスプレイ装置および１つ以上の対応するイメージキャプチャおよび／またはディスプレイ方法を説明する。

図１を参照すると、例えば、ディスプレイ装置１０１は、ディスプレイパネル１０３、センサパネル１０７、バックライトユニット１１３、およびコントローラ１１５を備えている。センサパネルは、１つ以上のセンサユニット１０９および１つ以上のアパーチャー（aperture）１１１を備える。図１の左側はディスプレイ装置１０１よりも拡大された状態を示すものであり、右側はディスプレイ装置の層の構成を示すものである。図１の右側に示すディスプレイパネル１０３、センサパネル１０７、およびバックライトユニット１１３は、任意の従来における半導体または光学／ディスプレイ製造方法によって行われてよい。ディスプレイパネル１０３、センサパネル１０７、センサユニット１０９、アパーチャー１１１、バックライト１１３、および任意の潜在的な拡散層に対する互いに異なる配列は、そのような半導体または光学／ディスプレイパネル製造方法によって創意的な配列に製造されてよい。図１の左側に示すように、センサパネルはアパーチャー１１１を形成するためにエッチングされたり、あるいはフォトレジストの洗浄された基板から構成され、例えば、光が下部バックライトユニット１１３からディスプレイパネル１０３に向かって送信されることのできる固定領域がある。また、一例として、拡散器が１つ以上のアパーチャーに導入された場合、このような導入は、センサパネル１０７が製造されると同時に行われてもよく、１つ以上のアパーチャーを通過した光は拡散器によって拡散されてもよい。

実施形態が同一に制限されることはないが、１つ以上の実施形態において、ディスプレイパネル１０３は液晶ディスプレイ（liquid crystal display）であってもよい。一実施形態において、ディスプレイパネル１０３は、入射光の通過を可能にする１つ以上のピンホールおよび／またはマスクを選択的に提供することのできる任意のパネルであってもよい。ここで、ディスプレイパネル１０３は、コントローラ１１５の所定の基準に基づくキャプチャモードまたはディスプレイモードに作動してもよい。例えば、ディスプレイパネル１０３が１２０Ｈｚ周波数で再生すると、ディスプレイパネル１０３は、全１２０Ｈｚにかけて再生するたびに、キャプチャモードとディスプレイモードとの間で切換えてよい（例えば、キャプチャモードで６０Ｈｚ、ディスプレイモードで６０Ｈｚ）。一実施形態において、ディスプレイパネル１０３の再生率は、ディスプレイパネル１０３が与えられたデータをディスプレイできる１秒当たりの回数である。ディスプレイパネル１０３が、例えばＬＣＤパネルである場合、再生率はＬＣＤパネルが状態を変化させることのできる（すなわち、ピクセルやサブピクセルを不透明な状態から透明な状態に変化させることのできる）１秒当たりの回数であるか、またはその間で任意の利用可能なグラデーションであってもよいが、これは、全ての基礎制御動作を行うためにかかる時間の総合を表すものとなる。

したがって、１つのサイクル、例えば、ディスプレイパネル１０３の外に光を放射する間に、全てまたは数個のピンホールやマスクなしにピンホールおよび／またはマスクはディスプレイパネル１０３によって選択的に提供されてもよく、他のサイクル、例えば、ディスプレイパネル１０３を通過した光をセンサパネル１０７に向かって選択的に通過させる間に、全てまたは数個のピンホールやマスクと共にディスプレイパネルによってピンホールおよび／またはマスクを選択的に提供してもよい。ピンホールまたはマスクは、放射サイクルの間に完全に除去される必要はなく、全て利用可能な、または同一のピンホールまたはマスクが全てのキャプチャサイクルにおいて維持される必要はない。代わりに、一実施形態において、全てのピンホールまたはマスクはディスプレイモードから除去される。

キャプチャモードにおいて、ディスプレイパネル１０３は、例えば、オブジェクトから反射された第１入射光をセンサパネル１０７に通過させてもよい。特に、ディスプレイパネル１０３は、第１ピクセルまたは第１サブピクセルを、例えば不透明なものに制御し、第２ピクセルまたは第２サブピクセルを、例えば第１ピクセルと異なる透明なものに制御することで、第１入射光の通過のために１つ以上のパターンを形成するよう制御することができる。例えば、ディスプレイパネル１０３は、円形のホールパターンを含むパターン１０５を形成するように制御され、パターン１０５によって第１入射光を通過させてもよい。ここで、パターン１０５は第２ピクセルによって形成されてもよく、第２ピクセルについては１つのシングルピクセルまたはサブピクセルであると記載したが、１つ以上の実施形態は複数の隣接する第２ピクセルを含み、例えば、このピクセルは、パターン１０５によって表現されるピンホールのアパーチャー直径を制御するために用いてもよい。このように実施形態および窮極的に検出された光の使用を別にすることで、パターン１０５は単に円形状を有するように制限されることなく、円の形状でなくてもよい。一実施形態において、パターン１０５の大きさは同一の大きさを有するか、互いに異なる大きさのディスプレイパネルに対して同一のピクセル／サブピクセルを有するように制御してもよく、同一のパターンの大きさを維持するように各ディスプレイの解像度を別にすることによって選択的に修正されてもよい。

したがって、１つ以上の実施形態において、ディスプレイパネル１０３は他のタイプのパターンを形成するように制御してもよい。一例として、ディスプレイパネル１０３は、円形ホール、多角形ホール、および第１ピクセルと第２ピクセルとを組み合わせたＭＵＲＡのうち少なくとも１つを含むパターンを形成するように制御してもよい。ここで、パターン１０５は、光を遮断する代わりに光を通過させるパターンの光学的な意味を有する。

ディスプレイパネル１０３は、通過する第１入射光の数に基づいて形成されたパターンを繰り返して構成されるよう制御してもよい。例えば、２つの第１入射光が通過するように要求される場合、ディスプレイパネル１０３は２つのパターンを提供するように制御してもよい。４個の第１入射光が通過するように要求される場合、ディスプレイパネル１０３は４個のパターンを提供するように制御してもよい。

ディスプレイパネル１０３は、不透明な第１ピクセルの数、透明な第２ピクセルの数、不透明な第１ピクセルそれぞれの位置、および透明な第２ピクセルそれぞれの位置のうち少なくとも１つを変化させることで、様々なタイプのパターンを形成するように制御してもよい。

ディスプレイパネル１０３は、複数のパターンを形成するように制御してもよく、また、所定の間隔でパターンの数または各パターンの位置を変更してもよい。例えば、ディスプレイパネル１０３は、複数のパターンを水平、垂直、または任意の他の組織された配列に形成されるように制御してもよい。１つ以上の実施形態において、数個または全てのパターンまたは対応する位置はコントローラ１１５によって任意に選択してもよく、および／または数個のパターンまたは対応する位置はキャプチャサイクルの間に様々に変化し得る。

ディスプレイモードにおいて、ディスプレイパネル１０３は、バックライトユニット１１３から放射されてディスプレイパネル１０３に向かって外側に放射する第２光を用いて、外側にイメージデータを表示するように制御してもよい。

センサパネル１０７は、例えば、オブジェクトから反射されてディスプレイパネル１０３を通過してセンサパネル１０７に向かう第１入射光を検出することで、イメージデータを取得するようにディスプレイパネル１０３の後方または下方に配置してもよい。

センサパネル１０７は、入射光を検出するための１つ以上のセンサユニット１０９およびバックライトから放射する光を例に挙げて、ディスプレイパネル１０３に向かって通過させるアパーチャー１１１を含んでもよい。１つ以上の実施形態において、センサパネル１０７は、センサユニット１０９およびアパーチャー１１１が格子パターンを形成するように構成されたり、あるいは、センサユニット１０９およびアパーチャー１１１が反復パターンを形成するように構成されてもよく、また、他のパターンが利用可能であることに注目すべきである。１つ以上の実施形態において、センサユニット１０９の配置は全体センサパネル１０７にかけて等しく分布できない場合があり、１つ以上の領域におけるアパーチャー１１１の密度に比べて１つ以上の領域における密度が増加する場合がある。また、一実施形態において、センサパネル１０７の大部分は、全体あるいは主にアパーチャー１１１またはセンサユニット１０９に構成してもよい。例えば、ユーザの視野レベルに対応される領域では、センサユニット１０９で密度が増加することがあるため、遠隔受信人はユーザがカメラを直接みていると感じられる。密度を変化させる異なる理由が同様に利用可能である。

センサユニット１０９は、例えば、オブジェクトから反射してディスプレイパネル１０３を通過する第１入射光を検出する少なくとも１つのセンサであってもよい。上記のように、１つ以上のセンサユニット１０９は、ディスプレイパネル１０３に形成されたパターン１０５を通過した各第１入射光を検出するように配列されてもよい。ここで、複数のホールのような複数のパターン１０５が存在すれば、１つ以上のセンサユニット１０９は、複数のパターンを通過した各第１入射光を検出してもよい。そのような１つのパターンからの入射光を検出するために要求されるセンサユニット１０９の数が算出または測定され、それによってセンサパネル１０７が構成されてもよい。１つ以上の実施形態において、センサ層１０５は再構成されてもよく、センサユニット１０９およびアパーチャー１１１が選択的に用いられるために固定されない。

パターン１０５が赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）を含むピクセルユニットに基づいて形成される場合、センサユニット１０９はパターン１０５を通過した入射光を検出することによって、Ｒ、Ｇ、Ｂに相応するイメージデータを取得することができる。パターン１０５がサブピクセルユニットに基づいて形成される場合、Ｒサブピクセルとして形成されたパターン、Ｇサブピクセルとして形成されたパターン、およびＢサブピクセルとして形成されたパターンは、例えば、他の色の隣接するサブピクセルによって他のサイクルに順次形成されてもよい。ここで、キャプチャされたイメージの輝度を増加させるために、例示の１２０利用可能なサイクルの間、Ｇサブピクセルから入射された光がキャプチャされる回数は、ＲまたはＢサブピクセルから入射された光の各回数よりも多い場合もある。したがって、センサユニット１０９は、ディスプレイパネル１０３のパターンを通過した入射光を検出することによって、Ｒ、Ｇ、Ｂに相応するイメージデータを取得することができる。

一実施形態において、ディスプレイパネル１０３を備えていないか、あるいは他のピクセルやサブピクセルに対して各カラーフィルタを適用しないよう制御される場合、各センサユニット１０９は、カラーフィルタの相応するカラーに対応するイメージデータを取得するように、特定カラーフィルタを備えて構成してもよい。例えば、１つのセンサユニット１０９は、第１センサユニットおよび第２センサユニットを備えてもよい。第１センサユニットおよび第２センサのそれぞれは、互いに異なるように彩色されたユニットカラーフィルタを備えてもよい。ここで、また、異なるように彩色されたユニットカラーフィルタの第３センサユニットを有してもよい。また、第１センサユニットおよび第２センサユニットのそれぞれは、互いに異なる色を有する複数のカラーフィルタを備えてもよい。また、上記のように、異なって彩色されたフィルタおよび対応するセンサユニット１０９の密度および配列は同一であるか均等である必要がなく、実施形態によって変わり得る。

センサユニット１０９がＲカラーフィルタを有するように構成されると、センサユニット１０９は、パターン１０５を通過した入射光を検出して赤色に相応するイメージデータを取得することができる。センサユニット１０９がＢカラーフィルタを有するように構成されると、センサユニット１０９は、パターン１０５を通過した入射光を検出することによって緑色に相応するイメージデータを取得することができる。センサユニット１０９がＢカラーフィルタを有するように構成されると、センサユニット１０９はパターン１０５を通過した入射光を検出することによって、青色に相応するイメージデータを取得することができる。１つ以上の実施形態において、センサパネル１０７に対する互いに異なるフィルタリングセンサユニット１０９の配列は例えば、バイエルパターン（Bayer pattern）によって異なってもよい。

バックライトユニット１１３がセンサパネル１０７の後方または下方に配置する場合、センサパネル１０７のアパーチャー１１１は、ディスプレイパネル１０３に向かってバックライトユニット１１３から放射された第２放射光を通過させることができる。ここで、アパーチャー１１１は、選択的に光を通過させたり、常に光を通過させる光学部材であってもよく、あるいは光を遮断する代わりに、センサパネル１０７において単純に空いている状態であってもよい。アパーチャー１１１は、ディスプレイパネル１０３のパターン１０５に類似してもよく、１つ以上の実施形態において、ディスプレイモードでは透明であり、キャプチャモードでは光を遮断するよう制御してもよい。他の実施形態において、アパーチャーは常に光を通過させる固定された光学部材であってもよい。

したがって、バックライトユニット１１３がセンサパネル１０７の後方または下方に配置されると、アパーチャー１１１は、バックライトユニット１１３から放射されてディスプレイパネル１０３に向かって放射する第２光がセンサパネル１０７によって遮断されることなく、ディスプレイパネル１０３に送信できるようにする。したがって、ディスプレイパネル１０３は、センサユニット１０９が第１入射光および第２入射光の１つ、または両方の送信を遮断する時にもアパーチャー１１１を介してイメージデータを明確に表示することができる。上記の内容と類似に、アパーチャー１１１の密度に比べてセンサユニット１０９の密度は互いに異なってもよく、その配列は固定されるか均等である必要がない。一実施形態の一例として、センサパネルは、ディスプレイ解像度を増加させるためにセンサユニット１０９の数よりもアパーチャー１１１の数をさらに多く有するか、または、キャプチャされたイメージの解像度を増加させるためにアパーチャー１１１よりもセンサユニット１０９の数をさらに多く用いてもよい。

また、他の実施形態によると、センサパネル１０７は、バックライトユニット１１３から放射された光が部分的に集中することを防止する拡散器をアパーチャー１１１が備えてもよく、またはセンサパネル１０７は、アパーチャー１１１を用いる代わりに、例えば、アパーチャー１１１の位置にバックライトユニット１１３を備えて構成してもよい。

ディスプレイ装置１０１は、ディスプレイパネル１０３とセンサパネル１０７との間に選択的に拡散器を備えてもよい。また、ディスプレイ装置１０１は、センサパネル１０７のアパーチャー１１１に拡散器へ導入するようセンサパネル１０７を配列することによって、センサパネル１０７のセンサユニット１０９で検出された第１入射光がセンサパネル１０７の前方や上方に位置する拡散器によって遮断されることを防止でき、または１つ以上のバックライトユニット１１３がアパーチャー１１１の代りにセンサパネル１０７に配列される場合、センサパネル１０７は、また、各バックライトユニット１１３によって放射された光を拡散するよう各バックライトユニット１１３の上方や前方に拡散層を備えてもよい。

また、ディスプレイパネルの再生率が固定され、表示されたイメージのフレーム率がキャプチャ率に比べて減少するとしても、一実施形態において、ディスプレイモードに進入する時パターン１０５が意図的に変化しなければ、（例えば、ディスプレイパネル１０３のパターン１０５と同一の領域でディスプレイに利用可能なイメージデータがあっても、パターン１０５に対応するセンサユニット１０９に隣接する選択されたアパーチャー１１１が透明に制御されたり、またはセンサパネル１０７に導入された隣接するバックライトユニット１１３が各第２光を放射しないように制御されると、）ディスプレイモードの間に、イメージがディスプレイパネル１０３の異なる全ての部分を介して表示されるその時間に、他のアパーチャー１１１を介して放射したり、異なる隣接するバックライトユニット１１３によって放射される、隣接する第２光の周辺光効果に応じて特定のセンサユニット１０９からイメージはキャプチャされる。このような実施形態において、ディスプレイは最大の再生率で作動し、イメージは最大のキャプチャ率でキャプチャすることができる。

しかし、周辺効果は、そのような同一の時間キャプチャを実行できないようにするため、その代わりに一実施形態は、ディスプレイ装置１０１、または図１８に示すディスプレイデバイス１１００を備えてもよいが、例えば、ディスプレイの特定領域に対して周辺光の効果を低減させるように特別に設計された各ディスプレイパネル１０３を有する。代わりに、ディスプレイ装置１０１または図１８に示すディスプレイデバイス１１００は、例えば、周辺光の効果を低減するように追加の隣接するアパーチャーを不透明にしたり、あるいは追加のバックライトユニット１１３が各第２光を放射しないよう制御する機能モードを有してもよいが、この場合、コントローラは、ディスプレイパネル１０３の視野空間において損失を補償するよう表示されたイメージの垂直または水平スキャン率および縦横比を変化させてもよい。ここで、イメージディスプレイおよびイメージキャプチャについて「同時（ｓｉｍｕｌｔａｎｅｏｕｓ）」という用語は、繋がるサイクルにおいて、潜在的に次に異なるモードが行われ、イメージキャプチャがイメージディスプレイとほぼ同時に行われる可能性を意味する。ここで、イメージキャプチャおよびイメージディスプレイについて「同じ時間（ｓａｍｅｔｉｍｅ）」という用語は、同一のサイクル内でキャプチャおよびディスプレイが発生することを意味する。各イメージのキャプチャおよびディスプレイが同じサンプリングレートおよびディスプレイレートに発生すると、例えば、秒当たりのフレームは、ディスプレイパネル１０３の実際の再生率よりも大きく合計されてもよい。したがって、実施形態においてコントローラ１１５は、センサパネル１０７を用いてイメージをキャプチャするキャプチャ率およびディスプレイパネル１０３を用いてイメージを表示するディスプレイレートが同じ時間内で総合して、ディスプレイパネル１０３の最大の再生率よりも大きくなるよう制御してもよい。また、コントローラ１１５は、選択的に同時または同じ時間にキャプチャモードとディスプレイモードを行ってもよい。

コントローラ１１５は、決まった基準に応じてディスプレイパネル１０３をキャプチャモードまたはディスプレイモードに切り替えることで、ディスプレイパネル１０３によってキャプチャモードでオブジェクトイメージを取得したりキャプチャするように制御し、ディスプレイモードでイメージデータを表示するように制御してもよい。上記のように、一実施形態における決まった基準は、現在の異なるモード、例えば、交代に動作するよう単純に以前の作動モードがキャプチャモードであったりディスプレイモードであってもよい。しかし、１つ以上の実施形態において、キャプチャモードとディスプレイモードそれぞれに対して、例示的にＬＣＤパネルの１２０利用可能なサイクル（１２０Ｈｚ再生率）におけるサイクル百分率のようなサイクル百分率は均等ではない場合もある。

一実施形態において、さらに多くのサイクルがキャプチャモードあるいはディスプレイモードのために考案される。一実施形態において、サイクルの数が同一モードの作動と異なるモードの作動との間で変化するため、同じモード作動が維持されるサイクルの数は、総１２０の利用可能なサイクルの間に変化する。作動モードの間における上記のような変化は、コントローラ１１５によって制御されるが、例えば、所望するイメージキャプチャ解像度、イメージキャプチャフレーム率、またはイメージディスプレイ解像度のような要素に基づくこともある。所望する要素はユーザによって制御してもよく、ディスプレイ装置のメモリに格納されてもよく、および／またはキャプチャイメージに対する利用可能な光量、表示されたイメージが見られる視野環境、データ送信能力、またはキャプチャされたイメージデータが異なるディスプレイデバイスに無線または有線で符号化されて送信されるテレコン（teleconference）のようなディスプレイデバイス間のセッティングのような外部要素を基礎とする。

ここで、一実施形態において、例示的な遠隔ディスプレイデバイスとして他のディスプレイデバイスもディスプレイ装置１０１であれば、遠隔ディスプレイデバイスは、それぞれキャプチャモードとディスプレイモードの作動を行なってもよく、イメージキャプチャおよび／またはディスプレイに対して任意の前記制御をそれぞれ同一に行なってもよい。一実施形態において、例示的なローカルディスプレイデバイスのキャプチャモードおよびディスプレイモードの構成および作動は、遠隔ディスプレイデバイスのキャプチャモードとディスプレイモードの構成、および作動セッティングに基づいてローカルキャプチャモードとディスプレイモードの構成および作動を制御してもよい。したがって、１つ以上の実施形態において、符号化されたイメージデータはローカルディスプレイデバイスのセッティングを確認する情報と共に結合され得る。ここで、遠隔あるいはローカルディスプレイデバイスは、また、各ローカルまたは遠隔デバイスのセッティングを確認するという、その情報を復号化してもよい。その情報は、セッティングが開始された理由に対するインディケーション、例えば、デバイスの処理能力またはディスプレイ／キャプチャ能力における限界、あるいは送信チャネルの限界を含んでもよい。

ディスプレイパネル１０３がキャプチャモードに制御されると、コントローラ１１５は、ディスプレイパネル１０３とセンサパネル１０７との間の距離またはセンサパネル１０７の大きさに基づいて、ディスプレイパネル１０３に形成された１つ以上のパターンの大きさを調整してもよい。例えば、コントローラ１１５は、距離が変更できるディスプレイ装置１０１の実施形態において、またはコントローラがパターン１０５に対する適切な大きさまたは位置を先に決定してディスプレイ装置１０１の内部値数を決定する場合、異なる解像度、および／または各ディスプレイパネル１０３とセンサパネル１０７との間における異なる距離を有する、互いに異なる大きさのディスプレイデバイスとして用いてもよい。１つ以上の実施形態は、各センサパネル１０７およびコントローラ１１５によって各キャプチャモードの能力を有する複数のディスプレイデバイスを備えたシステムを含み、ディスプレイデバイスの各構成は、パターン１０５、センサユニット１０９、アパーチャー１１１、バックライト１１３、拡散要素の利用可能な異なる配列のように同一の構成を有する必要はない。また、２以上の上記ディスプレイ装置があり、ローカルディスプレイパネル１０３に２以上の遠隔で発生したイメージが表示されるという実施形態において、ローカルセンサパネル１０７におけるセンサユニット１０９の密度は、センサパネル１０７の他の部分でセンサユニット１０９の密度に比べて、表示されたイメージに相応する領域よりも大きい場合がある。そのような配列によってローカルビューアーが直接見ているような感じを遠隔ビューアーに提供することができる。

コントローラ１１５は、ディスプレイパネル１０３のモードに基づいてディスプレイパネル１０３に向かって放射された光と関連するバックライトユニット１１３の電力を制御し、バックライトユニット１１３から放射された光を制御してもよい。

例えば、ディスプレイパネル１０３がキャプチャモードである場合、コントローラ１１５は、第２光がバックライトユニット１１３からディスプレイユニット１０３に向かって放射されないようにバックライトユニット１１３の電源を遮断し、第２光が第１入射光の検出を妨害しないようにする。ディスプレイパネル１０３がディスプレイモードに制御される場合、コントローラ１１５は、第２光がバックライトユニット１１３からディスプレイユニット１０３に向かって放射されるようバックライトユニット１１３の電源をオンする。代わりに、バックライトユニット１１３がセンサパネル１０７の下方に配列される場合、アパーチャー１１１は、第２光を選択的に遮断するように透明度を不透明から透明に変化させるよう制御してもよく、バックライトはサイクルをオンまたはオフしない。

アパーチャー１１１が、センサパネル１０７の同一の位置に入射された第１入射光を検出する更なるセンサユニット１０９に代替された構成に比べて、コントローラ１１５は、一例として、コントローラ１１５に含まれたセンサイメージ復旧ユニットを制御し、ディスプレイパネル１０３の１つ以上のセンサユニット１０９を用いて第１入射光を検出して取得したイメージデータを補間し、センサパネル１０７でアパーチャー１１１の導入によって損失されたイメージデータを復旧する。したがって、コントローラ１１５は、対応するオブジェクトをより明確に表現することのできるイメージデータを取得することができる。一実施形態において、他のセンサユニット１０９またはセンサユニット１０９のグループは、他の意図をもってイメージ情報をキャプチャしてもよい。例えば、センサユニット１０９またはセンサユニット１０９グループは、更なるセンサユニット１０９またはセンサユニット１０９のグループがモーション検出または深度検出のためにイメージデータをキャプチャする間、遠隔視聴装置に送信するためのイメージデータをキャプチャしてもよい。深度検出は、３Ｄグラフィックデータフォーマットでキャプチャされたイメージデータを符号化するために用いられるが、例えば、深度に基づいてフォーカスを制御したりイメージ補償するために用いられてもよい。モーション検出は、ユーザのジェスチャーを検出するために、オン表面（ディスプレイデバイスの表面に接触）モーションの検出および／またはオフ表面（ディスプレイデバイスの表面に接触しない）モーションの検出のために用いられるが、例えば、ディスプレイデバイスの作動を制御するために用いてもよい。１つ以上の実施形態において、コントローラ１１５は、分離された検出、オン／オフ表面モーションの検出および深度の検出を制御する。コンピュータの複雑性によって数個の検出プロセスがディスプレイ装置１０１または図１８に示すような、ディスプレイデバイス１１００のプロセシング要素を代替するように選定されてもよい。

したがって、前記１つ以上の実施形態は、ディスプレイを直接タッチしたり、あるいはディスプレイ装置１０１の制御によって推定あるいは設定され得るオフ表面ジェスチャー、または他の検出可能なイメージ特徴に応じて少なくともセンサパネル１０７によってキャプチャされたイメージデータに基づいてマルチタッチインタフェースを介してユーザがディスプレイ装置１０１の作動の操作を可能にする。ディスプレイ装置の制御は、ディスプレイ装置１０１を取り囲む環境を検知するよう、検知されたジェスチャーイメージまたはディスプレイ装置１０１の安全な使用または遠隔情報の安全な手法のための顔面認識を含むビューアーの顔面イメージから検知された特徴によって更に利用可能である。ビューアーのムードも検出できる。１つ以上の実施形態は、例えば、オン表面入力方法によって利用可能なマルチタッチおよびカメラレベルの検出を越えて、ユーザがスクリーンから離れていても近接検出およびタッチ、ジェスチャー認識、および長距離ジェスチャー入力のようなナチュラルな相互作用（interaction）を可能にするインタフェース技術を含む。必要なイメージおよび深度情報のキャプチャ、任意の利用可能な遠隔イメージデータの送信および受信、およびキャプチャ構成については、例えばここに説明された配列によってのみ行なわれてもよく、そのようなマルチタッチインタフェース検出、オン表面ジェスチャー検出、オフ表面イメージジェスチャー検出、顔面認識、感情検査および近接、長距離ジェスチャー検出、および入力インタフェースは、従来に知られた技術に基づいた１つ以上の実施形態によって実現される。

従来の手法において、ビデオコールモードにおいてディスプレイ装置を作動するときアイコンタクトは不可能であり、スクリーン位置とカメラ位置との間における不一致によってユーザが互いの顔を見ているような感じを受けることができなかったため、従来の手法においてユーザはそのようなビデオコールモードを用いることはなかった。同様に、従来の手法の欠点のために、ユーザがスクリーンに近付くときに,カメラの位置と移動しているユーザに求められる距離によって、ユーザの正面イメージが失われる可能性があるため、デバイスのユーザは没入型壁（Immersive Wall）とスマートウィンドウのような大型スクリーンを用いる極めて遠い位置に物理的に相手（counter party）と共にいるような感じはなかった。更なる例として、従来の手法は、ユーザのイメージをキャプチャするためのカメラが典型的にディスプレイの上段の終端に位置してジェスチャーを検出することが困難であったため、また、ユーザによってジェスチャーインタフェースによってディスプレイデバイスを制御するようにしつつ、ユーザのイメージを同時にキャプチャすることができなかった。同様に、カメラ配置がジェスチャーの検出に更に適する場合、カメラの配置はユーザのイメージをキャプチャするには適しない。前記Ｈｉｒｓｃｈｅｔａｌ．システムにおいても、カメラがディスプレイパネルの後方に位置する場合、イメージの解像度はイメージキャプチャに適することなく、フレーム率は正確なジェスチャー検査に満足できなかった。

しかし、上記の欠点は前記１つ以上の実施形態によって全て克服される。

ディスプレイ装置の作動は、図２を参照してより完全に理解でき、図２は、１つ以上の実施形態によってピンホールカメラのあるオブジェクトに対してイメージデータの取得において、ディスプレイパネル１０３およびセンサパネル１０７の作動について説明する。ここで、ピンホールカメラは、例えば、少なくとも図１に示すパターン１０５を示す。後述するピンホールカメラの作動について、行われる算出は、例えば、図１に示すコントローラ１１５または図１８に示すディスプレイデバイス１１００のような異なるプロセシングデバイスによって行うことができる。

図２を参照すると、ピンホールカメラは、入射光をフォーカスするレンズを用いる代わりに、ピンホールを用いてセンサ平面にイメージを形成するカメラに該当する。したがって、ピンホールカメラは、ピンホールとしてディスプレイパネル１０３のパターン１０５を用いてもよく、センサ平面としてセンサパネル１０７を用いてもよい。複数のパターンがディスプレイパネル１０３に形成されると、複数のカメラの効果が提供される。

２種類タイプのブラーが、例えば、ディスプレイパネル１０３のパターン１０５のようなピンホールの大きさに基づいて発生される。例えば、ピンホールのアパーチャー直径が比較的に大きければ、幾何学的な効果によるブラーが発生されることがある。ピンホールのアパーチャー直径が比較的に小さければ、回折効果によるブラーが発生する。

幾何学的な効果によるブラーｂ_Ｇは、例えば、以下の式（１）のように表してもよい。

式（１）において、ｄ_ｏはオブジェクトとピンホールとの間の距離を示し、ａはアパーチャー直径を示し、ｄ_ｉはピンホールとセンサ平面との間の距離を示す。

光の波長λに対して、光学回折の効果に起因したブラーｂ_Ｄは、例えば、以下の式（２）のように表してもよい。

式（２）において、ｄ_ｉはピンホールとセンサ平面との間の距離を示す。

最終ブラーの大きさｂは２種類の効果の合計に対応するため、例えば、以下の式（３）のように表してもよい。

アパーチャー直径とピンホールおよびセンサ平面の間の距離を把握すると、ピンホールカメラはブラーの大きさ、オブジェクトの深度、またはオブジェクトとピンホールとの間の距離を、例えば、以下の式（４）によって算出することができる。

ここで、式（４）を用いて、オブジェクトとディスプレイパネルとの間の距離またはオブジェクトの深度を２つのブラーに基づいて算出することができる。要約すると、これは前記Ｈｉｒｓｃｈｅｔａｌ．の記事のような以前の手法とは異なる点に注目するが、前記記事において著者は他の解答を取得するために他の目的に数３（Ｈｉｒｓｃｈｅｔａｌ．では数１）を用いるが、著者は、深度情報を取得するよりも、２つのブラーからの情報を用いて正投影図の数を制御するようシステムの角度分解能を決定した。

ピンホールカメラは、オブジェクトとピンホールとの間の距離ｄ_ｏに基づいて逆衝撃応答を算出することができる。ピンホールカメラは、例えば、以下の式（５）に示すように、センサ平面から取得したブラーイメージデータに対して、逆衝撃応答を用いてデコンボリューションを行うことによって距離に基づいたイメージデータを復旧することができる。

式（５）において、

は復旧したイメージデータ、

はブラーされたイメージデータ、

は逆衝撃応答を表す。

したがって、ピンホールカメラは、オブジェクトとピンホールとの間の定められた距離に基づいてさらに正確なイメージデータを取得することができる。例えば、図１に示すディスプレイ装置１０１を用いて、コントローラ１１５は、オブジェクトとパターン１０５との間の距離を決定し、決定された距離に基づいて対応する１つ以上のセンサユニット１０９によってキャプチャされたイメージを復旧することができる。

図３および図４は、１つ以上の実施形態によって図１に示すセンサパネル１０７のようなディスプレイ装置のセンサパネル２０１を示す。

図３を参照すると、センサパネル２０１は、入射光を検出するためのセンサユニット２０３とセンサパネル２０１の下方から放射される光を通過させるためのアパーチャー２０５を備える。センサパネル２０１は、センサユニット２０３およびアパーチャー２０５が格子パターンで配列されるように構成されたり、あるいはセンサユニット２０３とアパーチャー２０５が反復パターンで配列されるように構成されてもよい。これによって、一実施形態においてセンサユニット２０３およびアパーチャー２０５は均一に分布する。

したがって、本実施形態において、センサパネル２０１は、センサユニット２０３とアパーチャー２０５が分布するように構成されることによって、例えば、オブジェクトから反射された第１入射光を均一に取得することができ、センサパネル２０１の下方のバックライトユニットから放射された第２光を上部ディスプレイパネルに均一に伝達することができる。

キャプチャモードにおいて、ディスプレイパネルのパターンに含まれたパターンが、Ｒ、Ｇ、Ｂピクセルユニットを含むディスプレイパネルのピクセルユニットに基づいて形成されると、センサパネル２０１は、パターン２１１を通過した光を検出することによって、Ｒ、Ｇ、Ｂに対応するイメージデータを取得することができる。また、ディスプレイパネルのパターンに含まれたパターンがサブピクセルユニットに基づいて形成される場合、Ｒサブピクセルとして形成されたパターン２１３、Ｇサブピクセルとして形成されたパターン２１５、Ｂサブピクセルとして形成されたパターン２１７を順次形成してもよい。したがって、センサパネル２０１は、パターン２１３、２１５、２１７を通過する光をそれぞれ検出することによって、Ｒ、Ｇ、Ｂに対応するイメージデータを取得することができる。

センサパターン２０１の構成は、図３に示すように制限されることなく、入射光を検出するセンサユニットおよび放射光を通過させるためのアパーチャーの構成については、図４の左側、中央、右側センサパネルの図面に示した様々な構成のように多様に変化可能である。

図５および図６は、１つ以上の実施形態によって図１に示すセンサパネル１０７のようなディスプレイ装置のセンサパネル３０１、３０７を示す。

図５を参照すると、センサパネル３０１は、図１においてディスプレイパネル１０３のパターン１０５のようなディスプレイパネルのパターンを通過した入射光を検出するためのカラーフィルタを有するセンサユニットを備え、カラーフィルタのカラーに対応する各イメージデータを取得するように構成してもよい。センサパネル３０１は、例えば、第１センサユニットと第２センサユニットを備えてもよい。第１センサユニットと第２センサユニットのそれぞれは、また、互いに異なる色を有するユニットカラーフィルタを備えてもよい。また、第１センサユニットと第２センサユニットのそれぞれは、複数の互いに異なる色を有するカラーフィルタを備えてもよい。第１センサユニットと第２センサユニットは、例えば、任意のバイエルパターンに応じて備えられてもよく、互いに異なる第１センサユニットと第２センサユニットは互いに異なるバイエルパターンに応じて１つ以上の他の色を有するフィルタであってもよい。

一例として、図５のセンサパネル３０１に示すように、センサパネル３０１は、赤色ユニットカラーフィルタであり、第１センサユニット３０３と青色ユニットカラーフィルタとして第２センサユニット３０５を有して構成されてもよい。また、他の例として、図５のセンサパネル３０７に示すように、センサパネル３０７は、複数のＲＧＢカラーフィルタを備える第１センサユニット３０９と第２センサユニット３１１を有して構成されてもよい。

センサパネルの構成は、図５のセンサパネル３０１、３０７に示すものに制限されることなく、センサパネルは、図６の左側上段、右側上段、左側下段、右側下段に示された他の構成のような様々なタイプのカラーフィルタを有するよう構成してもよい。

図７および図８は、１つ以上の実施形態によってセンサパネル１０７のようなディスプレイ装置のセンサパネル４０１を示す。

図７を参照すると、センサパネル４０１は、入射光を検出するセンサユニット４０３とディスプレイパネル４０７に向かう光を放射するためのバックライトユニット４０５を備えてもよい。１つ以上の実施形態において、センサパネル４０１は、センサユニット４０３とバックライトユニット４０５が格子パターンで構成されるか、あるいはセンサユニット４０３とバックライトユニット４０５が反復パターンに構成され、１つ以上の実施形態において、センサユニット４０３とバックライトユニット４０５は均一に分布する。

したがって、そのような実施形態において、センサパネル４０１は、例えば、オブジェクトから反射された第１入射光を均一に取得して均一に光を放射するよう構成してもよい。ここで、センサユニット４０３とバックライトユニット４０５は、均一に分布するように配列されてもよい。したがって、センサパネル４０１は、センサユニット４０３から入射光を均一に取得し、光をバックライトユニット４０５からディスプレイパネル４０７に均一に放射する。

センサパネル４０１はバックライトユニット４０５を備えているため、バックライトユニット４０５からディスプレイパネル４０７に放射された光が、図３および図４に示すように、センサパネル４０１を介してディスプレイパネル４０７に向かって放射される代りに、ディスプレイパネル４０７に向かって直接放射され得る。図８は、センサパネル４０１、ディスプレイパネル４０７を示すが、ここでは、ディスプレイパネル４０７に各センサユニット４０３によってキャプチャされたステレオイメージを作り出す２つのピンホールまたは２つのパターン１０５があることを示す。

したがって、センサパネル４０１とバックライトユニット４０５は統合して形成してもよいため、以前にセンサパネル４０１の下方に配置されるよう要求されたバックライトユニットを除去してディスプレイ装置の内部体積を低減することで、スリムなディスプレイ装置４０９で光を発生することができる。また、このような構成によると、例えば、バックライトの下方からの光がアパーチャー１１１のみを介して送信されることに限定されないので、図３および図４の配列の全体にかけて発光効率が増加する。

図９および図１０は、１つ以上の実施形態によって図１に示すセンサパネル１０７のようなディスプレイ装置のセンサパネル５０１を示す。

図９によると、センサパネル５０１は、入射光を検出するセンサユニット５０３とバックライトユニット５０９から放射された光を拡散させる拡散器５０５を備えてもよい。単なる例示として、センサパネル５０１は、センサユニット５０３と拡散器５０５が格子パターンで配列されるように構成されたり、あるいはセンサユニット５０３と拡散器５０５が反復パターンで配列されるように構成されてもよい。したがって、一実施形態において、センサユニット５０３と拡散器５０５は均一に分布する。

このような実施形態において、センサパネル５０１は、センサユニット５０３と拡散器５０５を均一に分布することによって、例えば、オブジェクトから反射された第１入射光を均一に取得し、バックライトユニット５０９から放射された第２光をディスプレイパネル５０７に均一に放射することができる。

一実施形態によって拡散器５０５を備えるセンサパネル５０１を用いるディスプレイ装置５１１は、センサパネル５０１を用いてディスプレイパネル５０７を通過した入射光を直接検出できるため、例えば、オブジェクトに対して正確なイメージデータを取得することができる。図１０は、また、センサパネル５０１とディスプレイパネル５０７を示しているが、ここでは、ディスプレイパネル５０７に各センサユニット５０３によってキャプチャされたステレオイメージを作り出す２つのピンホールまたは２つのパターン１０５があることを立証する。

図１１〜図１３は、１つ以上の実施形態によって、例えば、図１に示すディスプレイパネル１０３のようなディスプレイ装置のディスプレイパネル６０１に形成され得る複数の利用可能なパターンを示す。

図１１を参照すると、ディスプレイパネル６０１は、第１ピクセルを不透明に制御し、第２ピクセルを第１ピクセルとは異なって透明に制御することによって、パターン６０３を形成するよう制御してもよく、例えば、オブジェクトから反射された光がパターン６０３を通過できるように、パターン６０３に含まれるパターンを形成できる。

ディスプレイパネル６０１は、円形のホールパターンを含むようにパターン６０３を形成して制御してもよい。しかし、これは単なる例示として、ディスプレイパネル６０１は、例えば、多角形のホールを含むパターン６０５、ＭＵＲＡイメージを含むパターン６０７を形成するように制御してもよい。

図１２に示すように、ディスプレイパネル６０１は、図（ｉ）において１１×１１ピクセル（または、サブピクセル）パターン、図（ｉｉ）において１７×１７ピクセル（または、サブピクセル）パターン、および／または図（ｉｉｉ）において２３×２３ピクセル（または、サブピクセル）パターンを形成するように制御してもよい。図１３に示すように、ディスプレイパネル６０１は、図（ｉ）において１１×１１ピクセル（または、サブピクセル）ＭＵＲＡパターン、図（ｉｉ）において１７×１７ピクセル（または、サブピクセル）ＭＵＲＡパターン、および／または図（ｉｉｉ）において２３×２３ピクセル（または、サブピクセル）ＭＵＲＡパターンを形成するように同一に制御してもよい。ディスプレイパネル６０１は、ピクセルまたはサブピクセルの大きさを変化させながら、パターンとＭＵＲＡパターンを全て形成するよう制御してもよい。図１２に示す図（ｉ）は、また、単一ピクセルまたは単一サブピクセルを用いるパターンを示し得る。

図１４に示すように、ディスプレイパネル６０１は複数のパターンを形成してもよく、複数のパターンを用いて、例えば、オブジェクトから反射された入射光を通過させることができる。図１４の左側の図はビューアーのイメージキャプチャに有用な前記ステレオイメージを示している一方、図１４の中央および右側図は、例えば、より大きい３次元データを有するビューまたはオブジェクトのジェスチャーキャプチャリングや正投影キャプチャに有用なパターンを示す。１つ以上の実施形態において、例えば、図１に示すコントローラ１１５は深度に対するイメージを解決することができ、単一のイメージまたはパターンよりも１つ以上さらに少ないイメージを発生させるために収集されたイメージ情報の一部または全体を用いることができる。

図１５〜図１７は１つ以上の実施形態によって、例えば、図１に示すディスプレイパネル１０３によるもののように、ディスプレイ装置に含まれたディスプレイパネルによって形成され得るパターンを示す。

ここで、ディスプレイパネルは複数のパターンを形成するように制御してもよく、例えば、数多い不透明な第１ピクセル、数多い透明な第２ピクセル、不透明な第１ピクセルそれぞれの位置、および透明な第２ピクセルそれぞれの位置の少なくとも１つを変化させることで、パターンの数および／または各パターンの位置を調整することができる。

図１５を参照すると、例えば、ＬＣＤスクリーンの例示の１２０Ｈｚ再生率である１２０サイクルで有用な相異したサイクルの選定された間隔に、第１カラム８０１、第２カラム８０３、第３カラム８０５、および第４カラム８０７として複数パターンの順次に形成することによって、複数のパターンを水平的に配列してもよい。

図１６を参照すると、前記ディスプレイパネルは、他のサイクルのような予め決定した間隔に、第１ライン９０１、第２ライン９０３、および第３ライン９０５として複数のパターンを順次に形成することによって、複数のパターンを垂直に配列するように制御してもよい。

図１７を参照すると、前記ディスプレイパネルは、例えば、インターリービング方式によって順次に変化するパターンの位置に応じて複数のパターンを選択的に形成するように制御してもよい。

図１８〜図２０に示す１つ以上の実施形態に係るディスプレイデバイス、システム、および方法を示す。

図１８によると、前記ディスプレイ装置１１００は、例えば、ディスプレイとユーザインタフェース１１０１、コントローラ１１１５、マルチメディアデコーダ１１２０、マルチメディアエンコーダ１１３０、中央処理装置（ＣＰＵ）、メモリ１１５０、送信機／受信機１１６０、スピーカ１１７０、およびマイクロホンを１１８０を備える。前記ディスプレイとユーザインタフェース１１０１は、前記コントローラ１１１５が図１に示すコントローラ１１５として動作し、例えば、前述したディスプレイパネル、センサパネル、センサユニット、バックライトユニット、および拡散準備（ｄｉｆｆｕｓｉｎｇａｒｒａｎｇｅｍｅｎｔｓ）のうちいずれか１つに類似するよう動作することができる。キャプチャイメージ情報は、コントローラ１１１５、またはジェスチャ検出、顔検出、イメージの解像度、またはコンボルーションなどで要求される、より拡大した処理をこのようなＣＰＵに移管される必要処理によって分析されることができる。ディスプレイとユーザインタフェース１１０１は、例えば、オン／オフスクリーンモーション検出またはジェスチャー検出によってユーザ入力を含んでもよい。エンコーダ１１３０は、例えば、コントローラ１１１５によって１つ以上のオブジェクトの決定された深度に基づいていずれの３Ｄグラフィックデータ符号化を行うことを含むキャプチャされたイメージデータを符号化することができる。エンコーダは、もちろん、例示のようにＭＰＥＧ標準のような従来におけるビデオ／オーディオ符号化スキーマに応じてマイクロホン１１８０によってキャプチャした、符号化されたイメージデータと共にキャプチャされたオーディオデータを符号化することができる。

エンコーダは、もちろん前記符号化されたビデオとオーディオ情報を共にあるいは個別に符号化し、第１および第２ディスプレイデバイス１１００−１、１１００−２を有する図１９に示すシステムのように、遠隔ディスプレイデバイスによって考慮された前記イメージのキャプチャに用いられる、例えば、前述した前記キャプチャおよび／またはディスプレイモードのための環境またはセッティング、対応するセットを構成かつ準備するような制御情報を制御してもよい。

送信機／受信機１１６０は、図１９に示す第２ディスプレイ装置１０００−２のような、遠隔ディスプレイ装置において前記符号化されたデータを送信してもよい。送信機／受信機１１６０は、遠隔ディスプレイデバイスから類似するように符号化された情報を受信し、前記遠隔ディスプレイデバイスからのビデオ／オーディオデータと制御データを復号化するデコーダ１１２０に伝達する。復号化されたビデオ／オーディオ情報は、前記ディスプレイによって出力され、全て復号化された制御情報は、前記ディスプレイデバイス１１１０のキャプチャモードのセッティングをキャプチャする現在のイメージが変更されるかを決定する前記コントローラによって検討される。

図１９を参照すると、システム１１１０は、前記ディスプレイデバイス１１００と、第１ディスプレイデバイス１１００−１、第２ディスプレイデバイス１１００−２としての図１８に示す遠隔ディスプレイデバイスを備え、１つ以上の実施形態において、各ディスプレイデバイスは、ディスプレイとユーザインタフェース１１０１、エンコーダおよびデコーダ要素１１２５を含む図１８に示すディスプレイデバイスと対応する。ネットワーク１１９０は、第１ディスプレイデバイス１０００−１、第２ディスプレイデバイス１１００−２との間で用いられる通信経路であってもよく、例えば、インターネットプロトコル基盤ネットワークまたは無線プロトコル、またはこの組み合せであってもよい。第１および２ディスプレイデバイス１１００−１、１１００−２は、図１８に示すディスプレイデバイス１１００と対応するディスプレイデバイスである必要はなく、これにより送信されたイメージデータを生成するために、ディスプレイデバイスの間に通信する必要がない。

図２０には、モバイルフォンやスマートフォンが図示されているが、システム１１１０において第１または第２ディスプレイデバイス１１０１−１、１１０１−２のように、図１８および図１９に示すディスプレイデバイス１１００は、システム１１１０においてディスプレイデバイスと同一であるか、テレビ、パーソナルコンピュータ、およびパーソナルコンピュータシステムとしてのディスプレイ、タブレットコンピュータ装置、携帯電話、ＰＤＡ、電話会議装置、セットトップボックスなどのような任意の異なるタイプであってもよい。図１９に示すシステム１１１０は、第１または第２ディスプレイデバイス１１０１−１、１１０１−２のうちいずれか１つのデバイスを備え、前記第１または第２ディスプレイデバイス１１０１−１、１１０１−２はディスプレイデバイスと同一のタイプを要求しない。

１つ以上の一実施形態において、全ての装置、システムおよびユニットは、ディスプレイシステムまたはハードウェア要素と結合されるコントローラのような１つ以上のハードウェアデバイスおよび／またはハードウェア処理要素／デバイスを含んで記述した。例えば、１つ以上の実施形態には、前記キャプチャモードの間、ピンホールアパーチャーを生成する前記ディスプレイパネルを制御し、コントローラから明らかにセンサパネルまたは拡散観点を制御するディスプレイモードの間、イメージを表示するディスプレイパネルを制御する制御方法および／または制御デバイスを備える。この各コントローラは、処理要素のようなハードウェアを含んでもよい。さらに、１つ以上の実施には、ＣＰＵ、ディスプレイ、エンコーダ、および／または復号化のようなモバイルデバイスのハードウェア部品を、コントローラ内に１つ以上の処理要素として含む、図１８に類似する構成を含んでもよい。したがって、１つ以上の実施形態において、前述した全ての装置、システム、およびユニットは、例えば、１つ以上の好ましいメモリおよび好ましいハードウェア入力／出力送信デバイスをさらに備えてもよい。さらに、前記記載の装置は、単一位置または空間において、単一デバイスとして例示されるデバイスや、全ての実施形態において単一の各要素／装置または空間内で具体化された前述した全ての要素に制限されることなく、かえって異なるデバイスまたは場所および／または異なるハードウェア要素を通した異なる位置において共にまたは個別に具体化されて開放される実施形態に依存し、物理的なシステムの要素との同意語として考慮されなければならない。

前述した具体的な例に加えて、コンピュータで読み出し可能な媒体として例示される非一時的な媒体内／上でコンピュータで読み出し可能なコード／命令によって実現してもよく、プロセッサ、コンピュータデバイス、コンピュータまたは周辺機器を有するコンピュータシステムのような少なくとも１つの処理要素／デバイスを制御し、前述した実施形態または全ての実施形態の観点で実現される実施形態を実現することができる。前記媒体は、定義、測定、類型構造に相応してコンピュータで読み出し可能なコードにおける格納および／または送信する。追加的に、１つ以上の実施形態は少なくとも１つの処理要素またはデバイスを備える。

前記メディアは、コンピュータで読み出し可能なコード、データファイル、データ構成などの組合をさらに含んでもよい。コンピュータで読み出し可能なメディアの１つ以上の実施形態は、ハードウェアディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気メディア、ＣＤＲＯＭディスクおよびＤＶＤのような光学メディア、光学ディスクのようなメグニト光学ディスク、およびＲＯＭ、ＲＡＭ、フラッシュメモリ、少なくとも１つのプロセシングデバイスのように、プログラム命令を格納および／または形成するよう特別に構成されたハードウェアデバイスをそれぞれ備える。コンピュータで読み出し可能なコードは、例えば、コンパイラによって生成された機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。メディアは、コンピュータで読み出し可能なコードが分散方式で格納および／または実行されるように、１つ以上の分散ネットワークの格納、測定、および類型要素であってもよい。１つ以上の実施形態において、分散ネットワークは、コンピュータで読み出し可能なコードまたは遠隔で格納される同一の領域のような、同一の位置で格納され得るコンピュータで読み出し可能なコードを要求せず、単一の媒体上の潜在的な単一位置で遠隔に格納またはクラウド基盤の方式のような分散方式により格納される。追加的な例示を言及すると、処理要素はプロセッサまたはコンピュータプロセッサを含んでもよく、処理要素は分散および／または単一デバイスのうちに含まれてもよい。１つ以上の処理要素および／または複数のカラーを有するプロセッサのような複数に区分された処理要素を有する処理要素は、１つ以上の実施形態において、ハードウェアおよび／または信号を符号化するためのコーディングまたは複数コア同期または非同期動作を含む。

コンピュータで読み出し可能なメディアは、プログラム命令を実行（プロセッサの処理のように）し、例えば、少なくとも１つのＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）またはＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）で具体化され得る。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

Claims

ディスプレイを通過した後にセンサパネルに入射する第１入射光を検出し、前記センサパネルによって光の送信を少なくとも部分的に遮断するように形成されるセンサパネルと、
前記センサパネルに向かう前記第１入射光が通過できるように前記ディスプレイを選択的に制御し、イメージを表示する前記ディスプレイの光出力が通過できるように前記ディスプレイを制御するコントローラとを備え、
前記センサパネルは、前記センサパネルから前記ディスプレイに向かう光をそれぞれ伝達するように形成される複数の分割領域を含むことを特徴とするディスプレイ装置。
前記コントローラは、複数の固定された時間の長さサイクルである第１サイクルの間に、前記センサパネルに向かう第１入射光のみを通過させるために前記ディスプレイを選択的に制御し、前記複数の固定された時間の長さサイクルである第２サイクルの間に、前記イメージを表示するために前記ディスプレイの前記光出力のみを通過させるために前記ディスプレイを制御することを特徴とする請求項１に記載のディスプレイ装置。
前記固定された時間は、前記ディスプレイが一回の再生を行うためにかかる時間であることを特徴とする請求項２に記載のディスプレイ装置。
前記イメージを表示するために前記ディスプレイを制御する前記コントローラを変更することなく前記コントローラによって制御された前記ディスプレイのパターンからキャプチャ率を示す、それぞれの第１入射光の複数の検出からキャプチャされる複数のイメージを前記コントローラが選択的に制御する時、前記コントローラは、前記ディスプレイの最大の再生率よりも大きくなるように、前記キャプチャ率に複数のイメージを表示するためのディスプレイレートを加算して制御するように構成されることを特徴とする請求項１に記載のディスプレイ装置。
前記コントローラは、
第２モードにおいて、前記ディスプレイ上に前記イメージを表示するため、前記ディスプレイ上にパターンを生成する前記ディスプレイのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、
前記センサパネルの少なくとも１つのセンサユニットによってイメージをキャプチャするため、第１モードにおいて、透明に制御された前記ディスプレイ上に少なくとも１つのパターンと不透明に制御された前記少なくとも１つのパターンを取り囲む前記ディスプレイの領域を形成し、
前記ディスプレイは、前記コントローラによって前記第１モードと前記第２モードとに異なるように制御されることを特徴とする請求項１に記載のディスプレイ装置。
前記コントローラは、前記センサパネルによって検出された前記少なくとも１つのパターンのブラーの少なくとも１つの検出された大きさに基づいて前記第１入射光に示すオブジェクトの深度を決定することを特徴とする請求項５に記載のディスプレイ装置。
前記コントローラは、それぞれ検知された入射光に対するブラーパターンの少なくとも１つの検出された大きさに個別に基づいて、前記センサパネルによってそれぞれ検知された複数の第１入射光に示す前記オブジェクトの複数の深度測定を決定し、前記オブジェクトの３次元情報を生成することを特徴とする請求項６に記載のディスプレイ装置。
前記コントローラは、複数のキャプチャされたイメージとそれぞれ生成された複数の３次元情報によって、前記オブジェクトによる動きのモニタリングを制御し、前記モニタリングされた動きと生成された複数の３次元情報が前記オブジェクトの動きに応じて生成される、複数の定義されたジェスチャを示すかを決定することを特徴とする請求項７に記載のディスプレイ装置。
前記コントローラは、前記決定された深度に基づいた距離基盤のインパルス応答を算出し、前記ディスプレイの前記少なくとも１つのパターンに応じて形成された反射および／または幾何学的な効果を補償するために、前記距離基盤のインパルス応答を用いて前記キャプチャされたイメージのデボルーションを行って前記キャプチャされたイメージを復元することを特徴とする請求項６に記載のディスプレイ装置。
前記ディスプレイとしてのディスプレイパネルと、
前記センサパネルに第２光を照射するバックライトユニットと、をさらに備え、
前記コントローラは、
前記第１モードにおいて、前記センサパネルに向かう前記第１入射光を通過させるように前記ディスプレイパネルを選択的に制御し、
前記第２モードにおいて、前記イメージを表示するために前記ディスプレイパネルを介して第２光を通過させるように前記ディスプレイパネルを制御することを特徴とする請求項１に記載のディスプレイ装置。
前記複数の分割領域それぞれは、前記バックライトユニットから前記ディスプレイユニットに前記第２光が常に伝達するように構成されることを特徴とする請求項１０に記載のディスプレイ装置。
前記コントローラは、前記第２モードで光を照射し、前記第１モードの間で光を照射しないように前記バックライトユニットを制御することを特徴とする請求項１０に記載のディスプレイ装置。
前記ディスプレイ装置は、
少なくとも１つのプロセッサ、メモリ、前記第１モードで前記センサパネルによる検出によってキャプチャされたイメージを符号化するためのエンコーダ、外部ソースから受信されたイメージデータを少なくとも復号化するためのデコーダをそれぞれ含む、テレビ、パーソナルコンピュータシステム、タブレットコンピュータ装置、モバイルフォン、ＰＤＡ、電話会議装置またはシステム、またはセットトップボックスのうちいずれか１つであり、
前記コントローラは、
前記デコーダから前記ディスプレイパネルに復号化されたイメージデータを伝達するように制御し、前記第２モードで前記復号化されたイメージデータを表示するために前記ディスプレイパネルを制御することを特徴とする請求項１０に記載のディスプレイ装置。
前記コントローラは、
第２モードにおいて、前記ディスプレイパネル上に前記イメージを表示するために、前記ディスプレイパネル上にパターンを生成する前記ディスプレイパネルのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、
第１モードにおいて、少なくとも１つの透明ピクセルまたはサブピクセルを含むように制御された前記ディスプレイパネル上に少なくとも１つのパターンと不透明に制御された前記少なくとも１つのパターンを取り囲む前記ディスプレイパネルの領域を形成し、前記センサパネルの少なくとも１つのセンサユニットによってイメージをキャプチャし、
前記ディスプレイパネルは、前記コントローラによって前記第１モードと前記第２モードとに異なるように制御されることを特徴とする請求項１３に記載のディスプレイ装置。
前記コントローラは、複数のキャプチャされたイメージとオブジェクトに対してそれぞれ生成された複数の３次元情報によって、前記第１入射光に示すオブジェクトによる動きのモニタリングを制御し、前記モニタリングされた動きと生成された複数の３次元情報が前記オブジェクトの動きに応じて生成された、複数の定義されたジェスチャを示すかを決定することを特徴とする請求項１３に記載のディスプレイ装置。
前記コントローラは、前記第１入射光に示すオブジェクトの決定された深度に基づいた距離基盤のインパルス応答を算出し、前記ディスプレイパネルを通過した前記第１入射光から前記ディスプレイのパターンに応じて形成された反射および／または幾何学的な効果を補償するために、前記距離基盤のインパルス応答を用いて前記キャプチャされたイメージのデボルーションを行って前記キャプチャされたイメージを復元し、
前記オブジェクトの決定された深度は、前記センサパネル上に入射する前記第１入射光のブラーの、少なくとも１つの検出された大きさに基づいて前記コントローラによって算出されることを特徴とする請求項１３に記載のディスプレイ装置。
前記イメージを表示するために前記ディスプレイを制御する前記コントローラを変更することなく前記コントローラによって制御された前記ディスプレイのパターンからのキャプチャ率を示す、各第１入射光の複数の検出からキャプチャされる複数のイメージを前記コントローラが選択的に制御する時、
前記コントローラは、前記ディスプレイの最大の再生率よりも大きくなるように前記キャプチャ率に複数のイメージを表示するためのディスプレイレートを加算して制御するように構成されたことを特徴とする請求項１に記載のディスプレイ装置。
前記ディスプレイとしてのディスプレイパネルと、
前記ディスプレイパネルに第２光をそれぞれ個別に照射する、前記センサパネルの前記複数の分割領域に個別に存在する複数のバックライトユニットと、をさらに備え、
前記コントローラは、
前記第１モードにおいて、前記センサパネルに向かう前記第１入射光を通過させるように前記ディスプレイパネルを選択的に制御し、
前記第２モードにおいて、前記ディスプレイパネルを介して前記第２光それぞれを通過させるように前記ディスプレイパネルを制御することを特徴とする請求項１に記載のディスプレイ装置。
前記コントローラは、前記第２モードで光を照射し、前記第１モードの間に光を照射しないよう前記複数のバックライトユニットをそれぞれ制御することを特徴とする請求項１８に記載のディスプレイ装置。
前記ディスプレイ装置は、少なくとも１つのプロセッサ、メモリ、前記第１モードで前記センサパネルによる検出によってキャプチャされたイメージを符号化するためのエンコーダ、外部ソースから受信されたイメージデータを少なくとも復号化するためのデコーダをそれぞれ備える、テレビ、パーソナルコンピュータシステム、タブレットコンピュータ装置、モバイルフォン、ＰＤＡ、電話会議装置またはシステム、またはセットトップボックスのうちいずれか１つであり、
前記コントローラは、前記デコーダから前記ディスプレイパネルに復号化されたイメージデータを伝達するように制御し、前記第２モードにおいて前記復号化されたイメージデータを表示するために前記ディスプレイパネルを制御することを特徴とする請求項１８に記載のディスプレイ装置。
前記コントローラは、
第２モードにおいて、前記ディスプレイパネル上に前記イメージを表示するために、前記ディスプレイパネル上にパターンを生成する前記ディスプレイパネルのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、
第１モードにおいて、少なくとも１つの透明ピクセルまたはサブピクセルを含むように制御された前記ディスプレイパネル上に少なくとも１つのパターンと不透明に制御された前記少なくとも１つのパターンを取り囲む前記ディスプレイパネルの領域を形成し、前記センサパネルの少なくとも１つのセンサユニットによってイメージをキャプチャし、
前記ディスプレイパネルは、前記コントローラによって前記第１モードと前記第２モードとに異なるように制御されることを特徴とする請求項２０に記載のディスプレイ装置。
前記コントローラは、複数のキャプチャされたイメージとオブジェクトに対してそれぞれ生成された複数の３次元情報によって、前記第１入射光に示すオブジェクトによる動きのモニタリングを制御し、前記モニタリングされた動きと生成された複数の３次元情報が前記オブジェクトの動きに応じて生成された、複数の定義されたジェスチャを示すかを決定することを特徴とする請求項２０に記載のディスプレイ装置。
前記コントローラは、前記第１入射光に示すオブジェクトの決定された深度に基づいた距離基盤のインパルス応答を算出し、前記ディスプレイパネルを通過した前記第１入射光から前記ディスプレイのパターンに応じて形成された反射および／または幾何学的な効果を補償するために、前記距離基盤のインパルス応答を用いて前記キャプチャされたイメージのデボルーションを行って前記キャプチャされたイメージを復元し、
前記オブジェクトの決定された深度は、前記センサパネル上に入射する前記第１入射光のブラーの、少なくとも１つ検出された大きさに基づいて前記コントローラによって算出されることを特徴とする請求項２０に記載のディスプレイ装置。
前記センサパネルの前記複数の分割領域によって伝達された前記光を生成するバックライトユニットをさらに備え、
前記センサパネルは、前記第１モードにおいて、前記第１入射光を検出する複数のセンサユニットと、
第１、２モードにおいて、前記バックライトユニットから前記ディスプレイに照射された前記第２光を通過する前記複数の分割領域としての各複数のアパーチャーとを備え、
前記コントローラは、前記第２モードでイメージを表示するために前記ディスプレイを制御し、
前記複数のセンサユニットおよび複数のアパーチャーは、前記センサパネルにかけて格子型のパターンで配列されることを特徴とする請求項１に記載のディスプレイ装置。
前記アパーチャーは、前記第２光を拡散させる拡散板をそれぞれ備えることを特徴とする請求項２４に記載のディスプレイ装置。
前記センサパネルは、前記第１入射光を検出するために第１センサユニットおよび第２センサユニットを備え、
前記第１、２センサユニットそれぞれは異なる色相フィルタを有する単一カラーフィルタを備えることを特徴とする請求項１に記載のディスプレイ装置。
前記センサパネルの複数のセンサユニットは、異なるバイエルパターンで集合的に組織されることを特徴とする請求項２６に記載のディスプレイ装置。
前記センサパネルは、前記第１入射光を検出するために第１センサユニットおよび第２センサユニットを備え、
前記第１センサユニットと前記第２センサユニットそれぞれは、異なる色相をそれぞれフィルタリングする複数のカラーフィルタを備えることを特徴とする請求項１に記載のディスプレイ装置。
前記コントローラは、前記第１入射光の前記検出によって取得したイメージデータを補間し、前記センサパネルの前記複数の分割領域で前記センサパネルのいずれの検出によってもキャプチャされていないイメージデータを復元させるセンサイメージ復元部をさらに備えることを特徴とする請求項１に記載のディスプレイ装置。
前記ディスプレイとしてのディスプレイパネルをさらに備え、
第１モードにおける前記コントローラは、
第２モードにおいて、前記イメージを表示するために前記ディスプレイパネルを前記コントローラが制御する時とは異なるように制御し、互いに異なる前記ディスプレイパネルのピクセルまたはサブピクセルをそれぞれ不透明に選択的に制御することによって、前記ディスプレイパネルを介して前記センサパネルに前記第１入射光を通過させる少なくとも１つのパターンを選択的に形成するように前記ディスプレイパネルを制御することを特徴とする請求項１に記載のディスプレイデバイス。
前記第１モードの現在の時間において前記コントローラは、以前時間に比べて、
前記第１モードの間に不透明になるように選択的に制御された前記ディスプレイパネルの第１ピクセルの数、前記第１モードの間に透明になるように選択的に制御された前記ディスプレイパネルの第２ピクセルの数、前記第１モードの間に不透明に制御された前記ディスプレイパネルの１つ以上のピクセルの位置、および前記第１モードの間に透明に制御された前記ディスプレイパネルの１つ以上のピクセルの位置のうち少なくとも１つの変化に応じて、前記ディスプレイ装置が前記第１モードである時の以前時間に形成したパターンと異なる少なくとも１つのパターンを有するように前記ディスプレイパネルを制御することを特徴とする請求項３０に記載のディスプレイ装置。
前記コントローラは、前記ディスプレイパネルの予め設定された領域内において、複数の第１ピクセルまたは複数の第１サブピクセルを不透明になるよう、および複数の第２ピクセルまたは複数の第２サブピクセルが透明になるよう制御することによって、少なくとも１つのパターンとして、円形パターン、多角形パターン、またはＭＵＲＡ（ＭｏｄｉｆｉｅｄＵｎｉｆｏｒｍｌｙＲｅｄｕｎｄａｎｔＡｒｒａｙ）パターンのうち少なくとも１つのパターンを形成するように前記ディスプレイパネルを選択的に制御することを特徴とする請求項３０に記載のディスプレイ装置。
前記予め設定された領域は、１１×１１ピクセル、１１×１１サブピクセル、１７×１７ピクセル、１７×１７サブピクセル、２３×２３ピクセル、および２３×２３サブピクセルのうち１つであることを特徴とする請求項３２に記載のディスプレイ装置。
前記センサパネルは、光を送信しない基板材料から構成されることを特徴とする請求項１に記載のディスプレイ装置。
ディスプレイパネルと、
前記ディスプレイパネルから入射光を検出するように構成される複数のセンサユニット、およびセンサパネルから前記ディスプレイパネルに向かう光をそれぞれ伝達するように構成される複数の分割領域を含むセンサパネルと、
第２モードにおいて、前記ディスプレイパネル上に前記イメージを表示するために前記ディスプレイパネル上にパターンを生成する前記ディスプレイパネルのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、第１モードにおいて、少なくとも１つのセンサユニットによってイメージをキャプチャするため、透明に制御された前記ディスプレイパネル上の少なくとも１つのパターンと不透明に制御された少なくとも１つのパターンを取り囲む前記ディスプレイパターンの領域を形成するコントローラを備え、
前記複数の分割領域は、複数のアパーチャーまたは複数のバックライトユニットがそれぞれ位置し、前記複数のアパーチャーのうち少なくとも１つは拡散要素を含み、複数のバックライトユニットそれぞれは個別に光を生成して前記ディスプレイパネルに直ちに伝達することを特徴とするディスプレイ装置。
現在のモードが第１モードである場合、ディスプレイによって前記ディスプレイの後端に位置するセンサパネルに向かう第１入射光を通過するように、少なくとも１つの透明なピクセルまたはサブピクセルを用いてパターンを形成し、前記パターンを少なくとも取り囲む不透明な領域を形成するようにディスプレイを選択的に構成し、前記現在のモードが第２モードである場合、前記ディスプレイによって前記ディスプレイの後端に位置するバックライトからの光を通過させるように前記ディスプレイを構成するステップと、
第１モードにおいて、光の送信を少なくとも部分的に遮断する前記センサパネルに入射された前記ディスプレイを通過した第１入射光を検出するステップと、
前記ディスプレイによって前記センサレイヤから光を通過させてディスプレイ上にイメージを表示するステップと、
複数回の前記現在のモードの変化を少なくとも含み、第１モードおよび第２モードのうちの１つに前記現在のモードを繰り返して制御するステップと、
を含むことを特徴とするディスプレイ方法。
前記第１モードの現在の時間で前記以前時間に比べて、前記第１モードの間に前記不透明に選択的に制御された前記ディスプレイの第１ピクセルの数、前記第１モードの間に透明に選択的に制御された前記ディスプレイの第２ピクセルの数、前記第１モードの間に不透明に制御された前記ディスプレイの１つ以上のピクセルの位置、および前記第１モードの間に透明に制御された前記ディスプレイの１つ以上のピクセルの位置のうち少なくとも１つの変化に応じて、現在のモードが前記第１モードである時の以前時間に形成したパターンと異なる少なくとも１つのパターンを有するように前記ディスプレイを制御するステップをさらに含むことを特徴とする請求項３６に記載のディスプレイ方法。
前記第１モードの現在の時間において前記以前時間に比べて、前記第１モードの間に前記不透明に選択的に制御された前記ディスプレイの第１サブピクセルの数、前記第１モードの間に透明に選択的に制御された前記ディスプレイの第２サブピクセルの数、前記第１モードの間に不透明に制御された前記ディスプレイの１つ以上のサブピクセルの位置、および前記第１モードの間に透明に制御された前記ディスプレイの１つ以上のサブピクセルの位置のうち少なくとも１つの変化に応じて、現在のモードが前記第１モードである時の以前時間に形成したパターンと異なる少なくとも１つのパターンを有するように前記ディスプレイを制御するステップをさらに含むことを特徴とする請求項３６に記載のディスプレイ方法。
前記センサパネルからイメージをキャプチャするためのキャプチャ率および複数のイメージを表示するためのディスプレイレートの結合が、前記ディスプレイの最大の再生率よりも大きくなるように選択的に制御するステップをさらに含むことを特徴とする請求項３６に記載のディスプレイ方法。
複数の固定された時間の長さサイクルである第１時間の間に、前記センサパネルに向かう第１入射光のみを通過させるために前記ディスプレイを制御し、前記複数の固定された時間の長さサイクルである第２サイクルの間に、前記イメージを表示するために前記ディスプレイの前記光の出力のみを通過させるために前記ディスプレイを選択的に制御するステップをさらに含み、
前記固定された時間は、前記ディスプレイが一回の再生を行うためにかかる時間であることを特徴とする請求項３６に記載のディスプレイ方法。
第２モードにおいて、前記ディスプレイ上に前記イメージを表示するために、前記ディスプレイ上にパターンを生成する前記ディスプレイのピクセルおよび／またはサブピクセルを不透明に選択的に制御し、前記センサパネルの少なくとも１つのセンサユニットによってイメージをキャプチャするために、第１モードにおいて、透明に制御された前記ディスプレイ上に少なくとも１つのパターンと不透明に制御された前記少なくとも１つのパターンを取り囲む前記ディスプレイの領域を形成するステップをさらに含み、
前記ディスプレイは、前記第１モードと前記第２モードとを異なるように制御することを特徴とする請求項３６に記載のディスプレイ方法。
前記センサパネルによって検出された前記少なくとも１つのパターンのブラーの少なくとも１つ検出された大きさに基づいて、前記第１入射光に示すオブジェクトの深度を決定するステップをさらに含むことを特徴とする請求項４０に記載のディスプレイ方法。
前記決定するステップは、それぞれ検知された入射光に対するブラーパターンの少なくとも１つの検出された大きさに個別に基づいて、前記センサパネルによってそれぞれ検知された複数の第１入射光に示す前記オブジェクトの複数の深度測定を決定し、前記オブジェクトの３次元情報を生成するステップを含むことを特徴とする請求項４１に記載のディスプレイ方法。
複数のキャプチャされたイメージとそれぞれ生成された複数の３次元情報によって、前記オブジェクトによる動きのモニタリングを制御し、前記モニタリングされた動きと生成された複数の３次元情報が前記オブジェクトの動きに応じて生成された、複数の定義されたジェスチャを示すかを決定し、前記決定されたジェスチャに基づいて装置の動作を制御するステップをさらに含むことを特徴とする請求項４２に記載のディスプレイ方法。
前記決定された深度に基づいた距離基盤のインパルス応答を算出し、前記ディスプレイの前記少なくとも１つのパターンに応じて形成された反射および／または幾何学的な効果を補償するために、前記距離基盤のインパルス応答を用いて前記キャプチャされたイメージのデボルーションを行って前記キャプチャされたイメージを復元し、前記復元されたキャプチャされたイメージを符号化するステップをさらに含むことを特徴とする請求項４１に記載のディスプレイ方法。
現在のモードが第１モードである場合、ディスプレイによって前記ディスプレイの後端に位置するセンサパネルに向かう第１入射光を通過するように少なくとも１つの透明なピクセルまたはサブピクセルを有するパターンを形成し、前記パターンを少なくとも取り囲む不透明な領域を形成するようにディスプレイを選択的に構成し、前記現在のモードが第２モードである場合、前記ディスプレイによって、前記ディスプレイの後端に位置するバックライトからの光を通過させるように前記ディスプレイを構成するステップと、
第１モードにおいて、光の送信を遮断する前記センサパネルに入射した前記ディスプレイを通過した第１入射光を検出するステップと、
前記ディスプレイによって前記センサレイヤから、各バックライトから個別に生成された光を通過させてディスプレイ上にイメージを表示するステップと、
複数回の前記現在のモードの変化を少なくとも含み、第１モードおよび第２モードのうちの１つに前記現在のモードを繰り返して制御するステップと、
を含むことを特徴とするディスプレイ方法。