JP2012503211A - 内蔵カメラを有するモニタ及びそれを操作する方法 - Google Patents

内蔵カメラを有するモニタ及びそれを操作する方法 Download PDF

Info

Publication number
JP2012503211A
JP2012503211A JP2011526870A JP2011526870A JP2012503211A JP 2012503211 A JP2012503211 A JP 2012503211A JP 2011526870 A JP2011526870 A JP 2011526870A JP 2011526870 A JP2011526870 A JP 2011526870A JP 2012503211 A JP2012503211 A JP 2012503211A
Authority
JP
Japan
Prior art keywords
array
image
substrate
display pixels
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011526870A
Other languages
English (en)
Inventor
リフ,ローランド
サッター,エドワード,エル.ジュニア.
Original Assignee
アルカテル−ルーセント ユーエスエー インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント ユーエスエー インコーポレーテッド filed Critical アルカテル−ルーセント ユーエスエー インコーポレーテッド
Publication of JP2012503211A publication Critical patent/JP2012503211A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13312Circuits comprising photodetectors for purposes other than feedback

Abstract

本明細書で議論されるように、ビジュアル通信システム、双方向ビジュアル通信を行う方法、及び装置が提示される。一実施形態では、装置は、(1)片面にマイクロ・レンズの第1のアレイを有するレンズ基板、(2)表示画素の第2のアレイを有する光出力基板、及び(3)第1のアレイの表示画素に関して横に相互分散され、第1のアレイのマイクロ・レンズから光を受光するように配置された画像センサの第3のアレイを有する光入力基板を含む。

Description

本発明は、一般に、表示及び画像キャプチャ・デバイスを対象とし、より具体的には、表示機能及び画像キャプチャ機能の両方を有するデバイスに関する。
コンピュータ・ネットワークを介しての通信は、多くの場合、テキストを送信することよりずっと多くのことを含む。インターネットなどのコンピュータ・ネットワークはまた、音声通信及びビジュアル通信のために使用されることが可能である。さらに、画像及びビデオは、そのようなネットワークを通じて送信されることが可能なビジュアル・データの例である。
カメラは、ビジュアル通信を提供するためにパーソナル・コンピュータ(PC)に結合されることが可能である。その場合、カメラは、コンピュータ・ネットワークを通じてビデオなどのリアルタイム・ビジュアル情報を送信するために使用されることが可能である。ビデオ情報を有する音声送信を可能にするために同時送受通信が使用されることが可能である。したがって、参加者は、コンピュータ・ネットワークを通じてリアルタイムで音声及びビデオを介して通信することができる(即ち、音声・ビデオ通信)。
米国特許第6,926,850号明細書
本発明の一態様は、装置を提供する。一実施形態では、装置は、(1)片面にマイクロ・レンズの第1のアレイを有するレンズ基板、(2)表示画素の第2のアレイを有する光出力基板、及び(3)第1のアレイの表示画素に関して横に相互分散され、第1のアレイのマイクロ・レンズから光を受光するように配置された画像センサの第3のアレイを有する光入力基板を含む。
本発明の他の態様は、ビジュアル通信システムを提供する。一実施形態では、ビジュアル通信システムは、(1)片面にマイクロ・レンズのアレイを有するレンズ基板、(2)表示画素のアレイを有する光出力基板、(3)光出力基板の表示画素に関して横にインタリーブされ、マイクロ・レンズのアレイから光を受光するように配置された画像センサのアレイを有する光入力基板、(4)表示画素のアレイ及び画像センサのアレイにアドレスするための少なくとも1つのアクティブ・マトリクス、及び(5)少なくとも1つのアクティブ・マトリクスを介して画像センサのアレイ及び表示画素のアレイにアドレスすることを指令するように構成されたコントローラを含む。
本発明の他の態様は、双方向ビジュアル通信を行う方法を提供する。一実施形態では、本方法は、(1)表示するべき第1の画像を受信するステップ、(2)第1の画像をビューアに表示するために表示画素のアレイを照明するステップ、及び(3)画像センサのアレイを介して第2の画像をキャプチャするステップであって、画像センサが表示画素の間に横にインタリーブされるステップを含む。
次に、本発明のより完全な理解のために、添付の図面に関連して行われる以下の説明が言及される。
本発明の原理に従って構成されたビジュアル通信システムの一実施形態を有するコンピュータ・モニタがビデオ通信のために使用されている環境の図である。 表示画素及び画像画素のインタリーブされたアレイを示す本発明の原理に従って構成されたビジュアル通信システムの一実施形態の正面図である。 本発明の原理に従って構成されたビジュアル通信システムの一実施形態の分解図である。 ビジュアル通信システムのマイクロ・レンズのアレイによって光がどのようにキャプチャされるかの一実施形態を表すビジュアル通信システムの側面図である。 本発明の原理に従って構成されたレンズ基板の構成を表すビジュアル通信システムの正面図である。 本発明の原理に従って実行される双方向ビジュアル通信を行う方法の流れ図である。
音声・ビデオ通信セッション中は、送信されるビジュアル画像はカメラの配置に依存する。したがって、通信時には、1つ又は複数のカメラの位置とPCの表示画面との間に差異が存在するので、参加者は互いに目と目を合わせて相手を見ることができない。開示された実施形態は、より現実的な音声・ビデオ通信を可能にする。
様々な実施形態は、音声・ビデオ通信参加者が、画面及びPCカメラのそれぞれ異なる軸によってではなく互いに直接相手を見ていると知覚することができるようにするビジュアル通信システムを提供する。ビジュアル通信システムは、表示画素を画像画素とインタリーブすることにより参加者のためのアラインされた又は事実上アラインされた視軸を実現する。したがって、各参加者のためのビジュアル通信システムの入力軸(即ち、カメラ)及び出力軸(即ち、表示装置)は事実上同一である。したがって、視差は大きく低減される、又は少なくとも事実上除去されるはずである。したがって、現在使用されている典型的な「カメラ・オーバ・ザ・スクリーン(camera−over−the−screen)」技法に存在するオークワード・ビュー(awkward view)を補償する必要は存在しない。その場合、通信セッションは、パーソン・トゥ・パーソン・ミーティングをよりよくシミュレートすることができる。
様々な実施形態は、表示装置にカメラ画素(即ち、画像センサ)を埋め込み、それらの画像センサが、協働して画像をキャプチャするように、予め決められた方向からの光をキャプチャすることができるようにするいわゆる「マイクロ・レンズ」を利用することにより構成された内蔵分散カメラを有する表示装置を導入する。画像センサのアレイは、表示画素にアドレスするために使用される電子技術及び画素アドレッシング論理のアクティブ層に埋め込まれることが可能である。アクティブ層はまた、画像センサに到達する光強度を読み取るために利用されることが可能である。
図1は、ビジュアル通信システムの一実施形態を有するコンピュータ・モニタ100が音声・ビデオ通信のために使用されている環境を例示する。通常、モニタ100は、通常のコンピュータ・モニタにおいて利用される構成要素を含む。さらに、モニタ100は、音声・ビデオ通信セッションの参加者が「目と目を合わせて」見ているという知覚を可能にする、光入力基板及び光出力基板の両方を有するビジュアル通信システムを含む。これらの光基板は結合されて、音声・ビデオ通信セッションの参加者に共通のカメラ及び表示軸を提供する又は少なくとも事実上提供する表示画素及び画像画素の相互分散されたアレイを生成する。したがって、音声・ビデオ通信セッション中のPCカメラの軸と表示画面の軸との間の差異は、除去される又は少なくとも事実上低減されることが可能である。以下で議論される図2は、アレイがインタリーブされている場合の相互分散されたアレイの一実施例を例示する。
モニタ100以外に、ビジュアル通信システムは、音声・ビデオ通信が使用される様々な製品において使用されることが可能である。例えば、ビジュアル通信システムはまた、テレプロンプタ(登録商標)において及びドライブ・スルーの窓口で使用されることが可能である。ビジュアル通信システムはまた、パーソン・トゥ・パーソン通信以外に他の用途において使用されることが可能である。いくつかの実施形態では、ビジュアル通信システムは、壁のそれぞれの側の表示画素が画像センサを介して壁の反対側にあるものを表示する透明な構造を提供する壁で使用されることが可能である。
図2は、表示画素及び画像センサのインタリーブされたアレイを示すビジュアル通信システム200の一実施形態の正面図を例示する。この正面図は、図1に例示されているような通信セッションの参加者が見ることができるものを表す。表示画素は、液晶ディスプレイ(LCD)画素でよく、画像センサは、電荷結合素子(CCD)センサでよい。他の表示画素及び画像センサが使用されてもよい。例えば、表示画素は、発光ダイオード(LED)でよい。以下で議論されるように、表示画素及び画像センサは、ビジュアル通信システムを形成する別個の層又は基板上に配置されることが可能である。2つの異なるアレイの表示画素及び画像センサは相互分散されて、ビデオ通信参加者に、PCカメラ及び画面(例えば、コンピュータ・モニタ)の異なる軸を通して通信しているのではなく、相互に直接(即ち、画面において直接)見ているという知覚を提供する。
表示画素及び画像センサは、他の全ての各画素又はセンサが横にも縦にも逆のタイプであるようにビジュアル通信システム上に配置されることが可能である。いくつかの実施形態では、他の全ての各画素は、図3に例示されているように逆のタイプでなくてもよい。表示画素及び画像センサは、1つの画素グループずつ又は1つの画素ずつインタリーブされることが可能である。したがって、図2の画像センサ及び表示センサは、単一の画素又は画素のグループを表すことができる。表示画素アレイの単一の画素又は画素のグループは、画素210として識別され、画像センサ・アレイの単一のセンサ又はセンサのグループは、画素220として識別される。ビジュアル通信システムの入力軸及び出力軸は、それぞれがビジュアル通信システムの本質的に同一の点にあるはずなので、事実上同一でよい。したがって、視差は大きく低減され、多分事実上除去されるはずである。
図3は、ビジュアル通信システム300の一実施形態の分解図である。ビジュアル通信システム300は、レンズ基板310、ガラス・カバー320、カラー・フィルタ330、光出力基板340、光入力基板350、ガラス基板360、光源370、及びコントローラ380を含む。
ガラス・カバー320及びガラス基板360は、通常LCDデバイスに見られる通常の構成要素でよい。ガラス・カバー320及びガラス基板360両方の外側表面上にはそれぞれ互いに直角になっている偏光膜がある。カラー・フィルタ330はまた、通常のLCDデバイスに見られる典型的なカラー・フィルタでよい。カラー・フィルタ330は、単一の表示画素を形成するために赤、緑、及び青のサブ画素を含んでよい。光源370は、LCDデバイスの中に含まれる通常の光源でよい。例えば、光源370は、LEDのアレイでよい。
レンズ基板310は、マイクロ・レンズのアレイを含む。マイクロ・レンズは、外側表面上にあってよい。アレイの各マイクロ・レンズは、それぞれ異なる視域からの光をキャプチャし、その視域から入力された光を光入力基板250の画像センサに提供するようにレンズ基板310上に配列される。マイクロ・レンズのアレイによってキャプチャされた結合された光は、ビジュアル通信システム300の視野からの画像を表すために、デジタル・カメラと同様に、光入力基板350に提供される。
レンズ基板310のマイクロ・レンズの形状は、様々な実施形態において様々でよい。様々な横からの形状には、例えば、円形、楕円形、正方形、及び長方形があり得る。いずれか1つの実施形態におけるいくつかのマイクロ・レンズの焦点距離も、様々なマイクロ・レンズから視野内の対象物までの距離の変化を補償するために様々でよい。例えば、マイクロ・レンズのうちのいくつかのものの厚さは様々でよい。さらに、レンズ基板310は、当技術分野で一般に使用される様々なエッチング技術を使用して作成されることが可能である。一実施形態では、レンズ基板310は、本発明と共に本発明の譲受人に譲渡され、参照によりその全体が本明細書に組み込まれている、「Method for Making Micro Lenses」という名称の2005年8月9日にBolleに対して発行された米国特許第6,926,850号に従って製作されることが可能である。
図3では、レンズ基板310は、ガラス・カバー320の前に配置された追加の基板として表されている。他の実施形態では、レンズ基板310は、通常の技法によってガラス・カバー320に取り付けられてもよい。さらに、マイクロ・レンズのアレイは、ガラス・カバー320の一部分として製作されてもよい。いくつかの実施形態では、レンズ基板310は、当業者にはよく知られているハエの目のタイプでよい。図5は、カラー・フィルタ330などのカラー・フィルタに関して、レンズ基板310などのレンズ基板の構成を表すビジュアル通信システムの正面図を例示する。
図4は、光がレンズ基板310のマイクロ・レンズのアレイによってどのようにキャプチャされることが可能であるかの一例示的実施形態の側面図を例示する。円錐形の光の側面図は、各光線がマイクロ・レンズのアレイの特定のマイクロ・レンズによってキャプチャされた部分を示す視野を表す。完全な視野をキャプチャするために、画像センサの軸及びマイクロ・レンズの軸は、多少一致しなくてもよい。例えば、光入力基板350の中心部分のあたりで、マイクロ・レンズと画像センサがアラインされてもよい(即ち、それぞれの軸がアラインされる)。レンズ基板310と光入力基板350の軸から離れると、視野全体がキャプチャされることを保証するために、マイクロ・レンズ及び画像センサはよりミスアラインされるようになる可能性がある(それぞれの軸の間の距離がより大きくなる)。したがって、マイクロ・レンズのアレイは、レンズ基板310から延びる視野を表す各角度からの光をキャプチャするために、レンズ基板310にわたって一様に分布され且つ/又は同一の方向に向けられてよい。
上記のように、図4は、光をキャプチャするために使用されることが可能であるマイクロ・レンズの1つの構成の側面図を表す。様々な方向からの光をキャプチャするために他の構成が使用されてもよい。例えば、レンズ基板310の上面にあるマイクロ・レンズが、視野の最下部からである画像センサのための光をキャプチャするようにその画像センサに関して配置されてよい。
レンズが視野を表す光をキャプチャするように配置される以外に、レンズはまた、光出力基板340の表示画素を見ることができるように配置されてよい。したがって、アレイの各マイクロ・レンズ間に隙間が存在する可能性がある。いくつかのそのような隙間又は各そのような隙間の間に、表示画素が、表示するべき画像の一部分を提示するように配置されてよい。
光出力基板340は、光源370によって照明されたときにアクティブ・バックプレーンに従って表示を提供する表示画素を含む。図3では、光出力基板340は、表示画素を形成する通常の液晶材料又は通常のLEDのアレイを含む。アクティブ・バックプレーンは、各表示画素の動作を指令する。図3には例示されていないアクティブ・バックプレーンは、光入力基板350に組み込まれる。光入力基板350の中心部分は、アクティブ表示のために取っておかれた端部を有する画像センサを含んでよい。他の実施形態では、光出力基板340のためのアクティブ・バックプレーンは、光入力基板350とは別の基板上に形成されてよい。アクティブ・バックプレーンは、薄膜トランジスタ(TFT)のマトリクスでよく、各TFTは特定の表示画素にアドレスする。アクティブ・バックプレーンは、アレイ・タイプのLCDデバイス又はLEDデバイスの通常のアクティブ・バックプレーンとして動作することができる。
光入力基板350は、レンズ基板310によってキャプチャされた光を受光する画像センサのアレイを含む。画像センサは、キャプチャされた光を、キャプチャされた光からのビジュアル・データを表す電気信号に変換する。画像センサは、例えば電荷結合素子(CCD)でよい。代替として、画像センサは、相補型金属酸化物半導体(CMOS)センサでもよい。これらのセンサは両方とも通常のデジタル・カメラにおいて利用され、当技術分野ではよく知られている。
コントローラ380は、送信のために、画像センサのアレイから電気信号を受信し処理することができる。アクティブ・バックプレーンは、表示画素以外に画像センサにアドレスするために使用されることが可能である。コントローラ380によって制御されるスイッチは、表示画素の画像センサを交互に制御するために使用されることが可能である。代替として、画像センサのアレイにアドレスするために別個の制御マトリクスが使用されてもよい。画像センサのための制御マトリクスは、ガラス基板360の内側表面上に配置されてよい。いくつかの実施形態では、コントローラ380は、メモリに結合されてよく、そこに記憶されるべきキャプチャされた1つ又は複数の画像を送信することができる。コントローラ380はまた、表示を提供するために光出力基板340の照明を制御する。したがって、コントローラ380は、LCD画素又はLED画素のためのバックプレーンを指令することなど通常行われる様々な機能以外に、本明細書に記載の機能を実行するように構成されたアレイ・タイプのLCDデバイス又はLEDデバイスに通常含まれているプロセッサでよい。したがって、コントローラ380は、画像センサ及び表示画素の動作を指令することができる。
さらに、コントローラ380は、光源370に照明サイクルとブラック・サイクルとの間でサイクルするように指令するように構成されてもよい。照明サイクル中は、光源370が点灯され、表示画素が照明される。ブラック・サイクル中は、光源が消灯され、光は画像センサによって受光される。光源370が点灯されている場合の時間と、光源が消灯されているときの時間との割合は、画像センサの効率に応じて様々な実施形態において様々であり得る。いくつかの実施形態では、光源370は、10%又は約10%の時間、消灯サイクルにある。他の実施形態では、光源370は、最大50%又は約50%の時間、消灯サイクルにあり得る。したがって、コントローラ380は、光源370に10%から50%までの範囲内の時間、消灯サイクルにあるように指令することができる。コントローラ380は、光出力基板340のために必要とされる明るさと、光入力基板350の画像センサのために受光する必要がある光の量との間でバランスを取ることができる。
他の実施形態では、コントローラ380が、照明サイクルとブラック・サイクルとの間でサイクルすることを指令するのではなく、光を集めている期間中に光が画像センサへ通り抜けることができるようにするために、表示画素のうちの少なくともいくつかが透明であることを保証するために、電極が表示画素と結合されてもよい。コントローラ380は、画像がキャプチャされるときに表示画素の透明度を調整するように構成されることが可能である。例えば、カラー・シーケンシャル方式を利用している通常の表示システムは、カラー・ビデオ・ソースから少なくとも3つの異なるカラー・フィールドを露出する。したがって、コントローラ380は、2つの特定のカラー・フレーム間のデッド・タイムを増やし、全ての画素が完全透明にされる「ダミー・フレーム」を導入することができる。
画像を検出するときに、コントローラ380は、画像センサが光を集めている時間間隔を制御することができる。したがって、CCDのようないくつかの通常の検出器アレイと同様に、コントローラ380は、画像センサが光を集めている間の時間間隔を制御する「電子シャッタ」を管理するために使用されることが可能である。
コントローラ380は、上記機能の1つ又は複数を実行するようにプログラムされた、又はソフトウェア命令のシーケンスの実行可能なプログラムを記憶する、様々な通常のデジタル・データ・プロセッサのうちの1つでよい。そのようなプログラムのソフトウェア命令は、様々なタイプのデジタル・データ・プロセッサ又はコンピュータが前述の機能の1つ、複数又は全てを実行することができるようにするために、通常のデジタル・データ記憶媒体、例えば、磁気又は光ディスク、ランダム・アクセス・メモリ(RAM)、磁気ハード・ディスク、フラッシュ・メモリ、及び/又は読出し専用メモリ(ROM)上で機械実行可能な形式でエンコードされることが可能である。
図5は、ビジュアル通信システム500の一実施形態の図を例示する。図5は、カラー・フィルタ520の前のレンズ基板510を例示する。レンズ基板510は、マイクロ・レンズのアレイを含む。カラー・フィルタ520は、各カラー表示画素を生成するために使用される赤色フィルタ、緑色フィルタ、及び青色フィルタのサブ画素を含む。レンズ基板510の各隣接するマイクロ・レンズは、カラー・フィルタ520からそれぞれ異なるカラー・フィルタ(赤色、緑色、又は青色)を利用する。
図3に例示されているように、カラー・フィルタ520は、ビジュアル通信システムのガラス・カバーと光出力基板との間に配置されることが可能である。他の実施形態では、ビジュアル通信システム500は、通常のデジタル・カメラにおいて通常実行されるように画像センサのためにカラー・フィルタリングを実行することができる。したがって、カラー・フィルタ520は、光入力基板の上に配置されてよい。例えば、カラー・フィルタ520は、光出力基板と光入力基板との間に配置されてよい。
マイクロ・レンズは、全ての各隣接するレンズがそれぞれ異なるカラー・フィルタを利用することができるように配置されてよい。マイクロ・レンズの位置は、画像センサによってキャプチャされた光の方向が表示装置上の全体的な位置の関数として変化するように、各カラー・セグメントの中心に関してウォーク・オフを有してよい。
図6は、双方向ビジュアル通信を行う方法600の流れ図を例示する。方法600は、単一の通信セッションのために表示装置として及びカメラとして動作する単一のビジュアル通信システムを利用することを開示する。方法600は、ステップ610において開始する。
次いで、ステップ620において、表示するべき画像が受信される。画像は、リモート装置から受信されてよい。例えば、画像は、コンピューティング・ネットワークを介してPCカメラを利用して遠くのコンピュータから受信されてよい。いくつかの実施形態では、受信された画像は、音声・ビデオ通信セッションの参加者のビデオでよい。
画像を受信した後に、ステップ630において、表示画素のアレイは、受信された画像を表示するために照明される。表示画素は、液晶表示画素でもよく、発光ダイオード表示画素でもよい。薄膜トランジスタ(TFT)のアクティブ・バックプレーンが、受信された画像を提示する表示画素のアレイにアドレスするために使用されてよい。
ステップ640において、表示画素のアレイと相互分散された画像センサのアレイを介して画像がキャプチャされる。キャプチャされた画像は、音声・ビデオ通信セッションの第2の参加者のものでよい。一実施形態では、受信された画像は、第2の装置から、第1の装置において受信されることが可能であり、キャプチャされた画像は、第1の装置の視野の中に位置している第2の参加者のものである。第1の装置及び第2の装置は両方とも、本明細書に記載のビジュアル通信システムを含んでよい。
表示画素のアレイの照明は、サイクルで行われることが可能である。プロセッサは、アレイの照明を制御するために使用されることが可能である。プロセッサはまた、照明サイクルの間に画像をキャプチャすることを調整することができる。コントローラ380のようなコントローラは、プロセッサとして使用されることが可能である。
プロセッサはまた、ビジュアル通信システムのバック・ライトから画像センサによって不所望の吸収光を遮断することができる。プロセッサは、キャプチャされた画像から不所望の光をキャンセルするためのソフトウェア・プログラムを実行することにより画像センサの上ににじみ出る光を補償することができる。
次いで、方法600は、ステップ650において、キャプチャされた画像を送信することにより進む。キャプチャされた画像は、第1の装置から第2の装置に送信されることが可能である。キャプチャされた画像は、インターネットを含むコンピューティング・ネットワークを通じて転送されることが可能である。第1の装置及び第2の装置は、本明細書に記載のビジュアル通信システムを含むコンピュータ(例えば、パーソナル・コンピュータ又はラップトップ)でよい。キャプチャされた画像を送信した後に、方法600は、ステップ660において終了する。
本開示は、表示装置のために及びカメラのために使用されることが可能である単一の画面について記述する。画面は、画像を出力する表示画素のアレイ、及び光を吸収し画像を表す画像センサのアレイを含む。画像センサのアレイ及び表示画素のアレイは、他の全ての各画素又は画素のグループが逆のタイプであるように、画像センサ及び表示画素をインタリーブすることを含めて、横に相互分散されることが可能である。その場合、画面の入力軸及び出力軸は、本質的に同一の点にあるはずである。
本発明が関係する当業者は、前述の実施形態に対して本発明の範囲から逸脱することなく他の及び更なる追加、削除、代替、及び変更が行われることが可能であることを理解するであろう。

Claims (10)

  1. 片面にマイクロ・レンズの第1のアレイを有するレンズ基板と、
    表示画素の第2のアレイを有する光出力基板と、
    前記第2のアレイの表示画素に関して横に相互分散され、前記第1のアレイの前記マイクロ・レンズから光を受光するように配置された画像センサの第3のアレイを有する光入力基板とを備える、装置。
  2. 前記画像センサのアレイの各画像センサが、前記マイクロ・レンズのアレイの単一のマイクロ・レンズに関して、キャプチャされた光をそのマイクロ・レンズから受光するように配置される、請求項1に記載の装置。
  3. 前記第2のアレイの前記表示画素が前記第1のアレイの前記マイクロ・レンズと横にインタリーブされる、請求項1に記載の装置。
  4. 前記画像センサ及び前記表示画素が横にも縦にもインタリーブされる、請求項1に記載の装置。
  5. 片面にマイクロ・レンズのアレイを有するレンズ基板と、
    表示画素のアレイを有する光出力基板と、
    前記光出力基板の前記表示画素に関して横にインタリーブされ、前記マイクロ・レンズのアレイから光を受光するように配置された画像センサのアレイを有する光入力基板と、
    前記表示画素のアレイ及び前記画像センサのアレイにアドレスするための少なくとも1つのアクティブ・マトリクスと、
    前記少なくとも1つのアクティブ・マトリクスを介して前記画像センサのアレイ及び前記表示画素のアレイにアドレスすることを指令するように構成されたコントローラとを備える、ビジュアル通信システム。
  6. 前記コントローラが照明サイクルとブラック・サイクルとの間でサイクルするようにさらに構成され、前記照明サイクル中に前記表示画素のアレイが受信された画像を表示し、前記ブラック・サイクル中に前記画像センサのアレイが前記受信された光によって表された画像をキャプチャする、請求項5に記載のビジュアル通信システム。
  7. 前記マイクロ・レンズのうちの隣接するものどうしの間の間隔が前記マイクロ・レンズのアレイにわたって様々である、請求項5に記載のビジュアル通信システム。
  8. ガラス・カバー、ガラス基板、及びカラー・フィルタをさらに備え、前記光入力基板、前記光出力基板、及び前記カラー・フィルタが前記ガラス・カバーと前記ガラス基板との間に配置される、請求項5に記載のビジュアル通信システム。
  9. 双方向ビジュアル通信を行う方法であって、
    表示するべき第1の画像を受信するステップと、
    前記第1の画像をビューアに表示するために表示画素のアレイを照明するステップと、
    画像センサのアレイを介して第2の画像をキャプチャするステップであって、前記画像センサが前記表示画素の間に横にインタリーブされるステップとを含む、方法。
  10. 前記受信された画像がビデオ・ストリームの1つの画像である、請求項9に記載の方法。
JP2011526870A 2008-09-16 2009-09-15 内蔵カメラを有するモニタ及びそれを操作する方法 Pending JP2012503211A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/211,799 US8223188B2 (en) 2008-09-16 2008-09-16 Monitor having integral camera and method of operating the same
US12/211,799 2008-09-16
PCT/US2009/005145 WO2010033175A2 (en) 2008-09-16 2009-09-15 A monitor having integral camera and method of operating the same

Publications (1)

Publication Number Publication Date
JP2012503211A true JP2012503211A (ja) 2012-02-02

Family

ID=42006842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011526870A Pending JP2012503211A (ja) 2008-09-16 2009-09-15 内蔵カメラを有するモニタ及びそれを操作する方法

Country Status (6)

Country Link
US (1) US8223188B2 (ja)
EP (1) EP2338274A4 (ja)
JP (1) JP2012503211A (ja)
KR (1) KR20110044301A (ja)
CN (1) CN102160370A (ja)
WO (1) WO2010033175A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021527851A (ja) * 2018-08-03 2021-10-14 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. ディスプレイスクリーン及び電子デバイス

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100171862A1 (en) * 2009-01-06 2010-07-08 Earl Alexander Culham Parallax Camera and Display Screen
CN102025978A (zh) * 2010-12-03 2011-04-20 中国联合网络通信集团有限公司 视频监控系统和方法
US8576325B2 (en) * 2011-01-13 2013-11-05 International Business Machines Corporation Generating still images and video by capture of images projected by light passing through a display screen
US8698940B2 (en) * 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Switchable imaging apparatus for viewing and capture
US8698941B2 (en) * 2011-05-09 2014-04-15 Intellectual Ventures Fund 83 Llc Imaging apparatus with switchable beam deflector array
US8610814B2 (en) * 2011-05-09 2013-12-17 Intellectual Ventures Fund 83 Llc Switchable imaging apparatus for display and capture
US20120287323A1 (en) * 2011-05-09 2012-11-15 John Norvold Border Imaging apparatus with dual switchable beam deflectors
US8446514B2 (en) * 2011-05-09 2013-05-21 Intellectual Ventures Fund 83 Llc Capturing images using a switchable imaging apparatus
US8520114B2 (en) * 2011-06-01 2013-08-27 Global Oled Technology Llc Apparatus for displaying and sensing images
JP5836768B2 (ja) * 2011-11-17 2015-12-24 キヤノン株式会社 撮像装置付き表示装置
TWI430012B (zh) * 2011-12-05 2014-03-11 Hannspree Inc 影像擷取觸控顯示器
US9055187B1 (en) * 2011-12-29 2015-06-09 Intellectual Ventures Fund 79 Llc Methods, devices, and mediums for displaying an image
GB2506631A (en) 2012-10-04 2014-04-09 Sony Comp Entertainment Europe Combined image display and sensing device
CN103780812A (zh) * 2013-11-26 2014-05-07 广东欧珀移动通信有限公司 显示装置及其摄像显示方法
CN106710521A (zh) * 2015-11-13 2017-05-24 小米科技有限责任公司 Oled面板、终端及识别控制方法
CN106710524A (zh) * 2015-11-13 2017-05-24 小米科技有限责任公司 Oled面板、终端及感光控制方法
DE102015016714A1 (de) * 2015-12-22 2017-06-22 Catharina Casper Kommunikationsvorrichtung
US10229316B2 (en) 2016-01-29 2019-03-12 Synaptics Incorporated Compound collimating system using apertures and collimators
US10043051B2 (en) * 2016-03-07 2018-08-07 Microsoft Technology Licensing, Llc Triggered image sensing with a display
US10055637B2 (en) 2016-12-07 2018-08-21 Synaptics Incorporated Optical sensor with substrate light filter
US10958841B2 (en) * 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
CN106847092B (zh) * 2017-03-10 2020-03-31 京东方科技集团股份有限公司 一种显示面板、显示装置及其获取图像的方法
US10701308B2 (en) * 2017-07-31 2020-06-30 Noah Zimmerman Methods and systems for a natural and realistic telepresence experience
CN107592444B (zh) * 2017-10-30 2019-10-25 北京京东方显示技术有限公司 一种显示面板和显示装置
CN108428723B (zh) * 2018-03-27 2021-08-03 京东方科技集团股份有限公司 像素界定结构及其制备方法、显示基板、喷墨打印方法
US11397452B2 (en) 2018-07-31 2022-07-26 Hewlett-Packard Development Company, L.P. Displays with partial transparent areas
US11076071B2 (en) * 2019-05-08 2021-07-27 Lenovo (Singapore) Pte. Ltd. Device having a camera overlaid by display and method for implementing same
US10999483B2 (en) * 2019-06-04 2021-05-04 Gopro, Inc. Display-based camera apparatus and methods
US11336806B2 (en) * 2019-08-12 2022-05-17 Disney Enterprises, Inc. Dual-function display and camera
TW202143213A (zh) * 2020-02-03 2021-11-16 日商索尼半導體解決方案公司 電子機器
US11211433B2 (en) 2020-05-04 2021-12-28 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
DE102020003522B4 (de) * 2020-06-12 2022-04-14 Jochen Ohligs Vorrichtung zur Darstellung von Bildern sowie Verwendung einer solchen Vorrichtung
KR20230018023A (ko) * 2021-07-29 2023-02-07 엘지디스플레이 주식회사 표시장치와 그 구동 방법
US11600235B1 (en) * 2021-12-20 2023-03-07 Meta Platforms Technologies, Llc Scheme for operating under-display camera to prevent light interference from display

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280978A (ja) * 1988-01-14 1989-11-13 Nippon Telegr & Teleph Corp <Ntt> 撮像表示装置
JPH0846162A (ja) * 1994-07-29 1996-02-16 Fujitsu Ltd 表示・撮像装置
JP3062238B2 (ja) * 1990-11-06 2000-07-10 日本電信電話株式会社 表示・撮像装置
JP2001109394A (ja) * 1999-07-23 2001-04-20 Semiconductor Energy Lab Co Ltd 画像認識装置一体型表示装置
JP2002314899A (ja) * 2001-04-13 2002-10-25 Sharp Corp 撮像機能一体型表示装置
JP2005031480A (ja) * 2003-07-08 2005-02-03 Sharp Corp 撮像機能具備型表示装置
JP2007074666A (ja) * 2005-09-09 2007-03-22 Nec Personal Products Co Ltd 表示撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618084B1 (en) * 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
EP1209901A1 (en) 2000-11-22 2002-05-29 Deutsche Thomson-Brandt Gmbh Image pick-up and display apparatus
US6926850B2 (en) * 2001-07-26 2005-08-09 Lucent Technologies Inc. Method for making micro lenses
FI114752B (fi) * 2003-05-30 2004-12-15 Nokia Corp Valosähköinen elementti ja sellaisen käsittävä päätelaite
JP4411059B2 (ja) * 2003-12-12 2010-02-10 キヤノン株式会社 カメラ付きディスプレイ装置、通信装置および通信システム
US7535468B2 (en) * 2004-06-21 2009-05-19 Apple Inc. Integrated sensing display
US20070002130A1 (en) * 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
JP4665630B2 (ja) * 2005-07-05 2011-04-06 株式会社日立製作所 投射型映像表示装置およびオプチカルインテグレータ
US7808540B2 (en) * 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01280978A (ja) * 1988-01-14 1989-11-13 Nippon Telegr & Teleph Corp <Ntt> 撮像表示装置
JP3062238B2 (ja) * 1990-11-06 2000-07-10 日本電信電話株式会社 表示・撮像装置
JPH0846162A (ja) * 1994-07-29 1996-02-16 Fujitsu Ltd 表示・撮像装置
JP2001109394A (ja) * 1999-07-23 2001-04-20 Semiconductor Energy Lab Co Ltd 画像認識装置一体型表示装置
JP2002314899A (ja) * 2001-04-13 2002-10-25 Sharp Corp 撮像機能一体型表示装置
JP2005031480A (ja) * 2003-07-08 2005-02-03 Sharp Corp 撮像機能具備型表示装置
JP2007074666A (ja) * 2005-09-09 2007-03-22 Nec Personal Products Co Ltd 表示撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021527851A (ja) * 2018-08-03 2021-10-14 オッポ広東移動通信有限公司Guangdong Oppo Mobile Telecommunications Corp., Ltd. ディスプレイスクリーン及び電子デバイス

Also Published As

Publication number Publication date
US8223188B2 (en) 2012-07-17
EP2338274A4 (en) 2014-05-21
WO2010033175A2 (en) 2010-03-25
EP2338274A2 (en) 2011-06-29
CN102160370A (zh) 2011-08-17
US20100066800A1 (en) 2010-03-18
WO2010033175A3 (en) 2010-06-17
KR20110044301A (ko) 2011-04-28

Similar Documents

Publication Publication Date Title
US8223188B2 (en) Monitor having integral camera and method of operating the same
US10327014B2 (en) Three-dimensional telepresence system
JP4728793B2 (ja) ディスプレイ装置およびその制御方法
US8446514B2 (en) Capturing images using a switchable imaging apparatus
CN111726502B (zh) 电子设备及显示装置
US20110279689A1 (en) Integrated Display Camera Using Oscillating Display Elements
CN105280111A (zh) 透明显示器
CN105892138B (zh) 透明液晶显示器
CN103493480A (zh) 视频会议显示装置
CN108594448B (zh) 高光学效率和均匀分辨率双视3d显示装置及方法
TWI420151B (zh) 顯示方法
CN103901653A (zh) 具有光学摄像功能的微显示器件
WO2019000948A1 (zh) 三维立体显示面板、其显示方法及显示装置
US10859850B2 (en) Reflective 3D display device and display method
TWI399570B (zh) 立體顯示器以及立體顯示系統
JP2007208819A (ja) 撮像表示装置
US11336806B2 (en) Dual-function display and camera
US20110018980A1 (en) Stereoscopic display apparatus
US8866880B2 (en) Display-camera system with selective crosstalk reduction
TWI722229B (zh) 具有不同大小光圈的多攝像頭模組及其應用
JP2000152205A (ja) 撮像・表示装置
JP2005031480A (ja) 撮像機能具備型表示装置
TWI822157B (zh) 透過影像串流匹配偏光視角之立體顯示裝置及立體顯示方法
KR20090072731A (ko) 입체영상디스플레이 시스템
TWI779445B (zh) 顯示模組及其影像顯示器

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121023

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130123

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131105