JP2010509804A - 複数の捕獲装置を有する統合されたディスプレイ - Google Patents

Abstract

1つの光景の画像を捕獲している間に画像を表示するための統合されたイメージング装置であって、画像内容の表示に用いる表示画素のアレイを有する電子式ディスプレイと；複数個あってそのディスプレイの内部に統合されており、それぞれが、一部が透明な少なくとも1つの画素を含んでいるアパーチャと；複数個あり、そのそれぞれが、1つの画像を捕獲し、レンズと画像センサー・アレイを少なくとも含んでいる捕獲装置とを備えていて；それぞれの捕獲装置がディスプレイの特定のアパーチャの少なくとも一部と関係づけられており；一部が透明な画素も画像内容を表示するために光を供給する装置。

Description

本発明は、画像を双方向通信するための装置に関するものであり、その中でも特に、画像の表示と画像の捕獲の両方の機能を提供する統合された捕獲・表示装置に関する。

通信チャネルによって接続された2つの場所のそれぞれにディスプレイとカメラがあって、その異なる2つの場所の間でビデオ画像と音声を通信することのできる双方向ビデオ・システムが利用できるようになっている。そもそもは、このようなシステムは、離れた場所の光景を表示するビデオ・モニタと、そのビデオ・モニタの周縁部またはその近くに位置していてその場所の光景を撮影するための独立のビデオ・カメラに加え、音声を捕獲するマイクロフォンと、音声を提示するためのスピーカがそれぞれの場所にあるという構成にされているため、2つの場所の間の双方向ビデオ・音声通信システムが提供される。

図1を参照すると、典型的な従来の双方向通信システムが示されており、ここでは第1の見る人71が第1のディスプレイ73を見ている。第1の画像捕獲装置75（ディジタル・カメラが可能である）が第1の見る人71の画像を捕獲する。その画像がディジタル静止画像であるなら、第1の静止画像メモリ77に記憶させて再生することができる。次に、第1の静止画像メモリ77から再生された静止画像、または第1の画像捕獲装置75から直接取得されたビデオ画像は、第1のD/A変換器79を用いてディジタル信号からアナログ信号へと変換される。次に、第1の変調器／復調器81が第1の通信チャネル83を利用してそのアナログ信号を第2のディスプレイ87に送信するため、第2の見る人85は捕獲された画像をその第2のディスプレイ87で見ることができる。

同様に、第2の画像捕獲装置89（ディジタル・カメラが可能である）が第2の見る人85の画像を捕獲する。捕獲された画像データは第2のD/A変換器93に送られてアナログ信号に変換されるが、最初に第2の静止画像メモリ91に記憶させて再生することができる。捕獲された画像のアナログ信号が第2の変調器／復調器95に送られた後、第2の通信チャネルを通じて第1のディスプレイ73に送信されて第1の見る人71が見る。

このようなシステムがテレビ会議や他の双方向通信の用途で製造されて使用されてきたが、実用上の大きな欠点がいくつかあるために有効さが限られていて広く受け入れられていない。このようなシステムの利用しやすさと品質を向上させることが最近の多くの研究の焦点であり、提案されている多くの解決法は、リアル-タイムの相互作用をよりうまく近似し、そのことによって対話型仮想現実の1つの形態を作り出すことに向けられている。多数あるこれらの改善法は、このようなシステムの通信帯域幅、ユーザー・インターフェイスの制御、画像捕獲の優秀さ、ディスプレイ部品に焦点を絞っている。別の改善法は、捕獲装置とディスプレイを統合して仮想現実環境を改善しようとしている。

既存の多くの解決法に特徴的であるアイ・コンタクトの乏しさという問題に対処するため、多数の解決法がこれまでに提案されてきた。図1のパターンに従う従来のシステムだと、アイ・コンタクトの乏しさは、ビデオ・カメラをビデオ・モニタと異なる光軸上に位置させることから生じ、その結果として見られている参加者の視線が合っていないように見えることになる。これはビデオ通信システムにとって望ましくない。この問題に対処するため、ディスプレイ、カメラ、ビーム・スプリッタ、スクリーンを用いた従来の解決法が多数の特許に記載されている。それは例えば、Smootに付与された「表示スクリーンの背後にカメラがあるテレビ会議端末」という名称のアメリカ合衆国特許第4,928,301号；McNelleyらに付与された「透過反射型投影ディスプレイ」という名称のアメリカ合衆国特許第5,639,151号と、「画像ブロッキング・テレビ会議アイ・コンタクト端末」という名称のアメリカ合衆国特許第5,777,665号；Yonetaらに付与された「ビデオ電話」という名称のアメリカ合衆国特許第5,194,955号である。あるいは譲受人に譲渡されたFredlundらの「画像捕獲・表示装置」という名称のアメリカ合衆国特許出願公開第2005/0024489号には、共通の光軸に沿って画像を捕獲して表示するディスプレイ装置が記載されている。この装置は、表面と裏面を持っていて表示状態と透過状態にできる表示パネルを備えている。画像捕獲装置が設けられていて、透過状態のときに表示パネルを透過して画像を捕獲する。表示パネルが表示状態のとき、画像供給源が画像をその表示パネルに供給する。表示パネルを交互に表示状態と透過状態にする機構も設けられているため、第1の画像を見ることと、ディスプレイの前にある光景に関する第2の画像を捕獲することを高速で実施できる。そのためユーザーは表示状態と透過状態の交代をほとんど認識できない。

譲受人に譲渡されたManicoらの「画像捕獲・表示装置」という名称のアメリカ合衆国特許第7,042,486号には、画像表示装置の正面に位置する対象の画像を捕獲するための電子式ビデオ・カメラと、捕獲した画像を投影するディジタル・プロジェクタとを備える画像捕獲・表示装置が記載されている。光学素子が、共通の光軸を持つ電子式カメラと、その共通の光軸の位置にあって透明な状態と曇った状態を電子的に交互に切り換えられる光バルブ投影スクリーンを提供するため、透明な状態のときには電子式カメラが投影スクリーンを通じて対象の画像を捕獲でき、曇った状態のときには捕獲した画像が投影スクリーン上に表示される。電子式カメラとディジタル・プロジェクタと光バルブ投影スクリーンに接続された制御装置が、投影スクリーンを、交互に、電子式カメラが画像を捕獲できる透明な状態と、捕獲した画像をディジタル・プロジェクタが投影スクリーン上に表示することのできる曇った状態にする。このシステムは、ディスプレイ装置全体を透明な状態と曇った状態の間で急速に切り換えることに基づいている。しかし従来のイメージング素子の多くのタイプでは、こうすることで画像のちらつきが誘導され、その結果としてディスプレイの明るさが低下する可能性がある。さらに、カメラを1台だけ用いるのでは光景の変化に応答して捕獲条件（例えば視野またはズーム）を調節することができない。

一部が銀メッキされた鏡とビーム・スプリッタを用いた解決法が実現されているが、その有用性は多くの理由で限られている。共通する光軸なしの解決法では、参加者の視線がそれるため、会話の臨場感がそがれる。一部に銀メッキしたミラーとビーム・スプリッタは特に深さ方向がかさばる。あるいは透明または半透明な投影表示スクリーンを構成するのは難しい可能性があり、状態間を素早く切り換えると、周囲とのコントラストの問題が起こったり、フリッカーが認識されたりする可能性がある。数多いこれらの解決法からわかるように、こうした一般的な方法では装置が比較的かさばる可能性があるため、視野が狭くなって見る人が快適に利用することは難しい。

別の方法として、画像の表示素子と検出素子をより近くして統合することが提案されている。例えばTsuboiによる「カメラと通信装置を備えるディスプレイ装置」という名称のアメリカ合衆国特許出願公開第2005/0128332号には、ディスプレイを見ている1人の人の顔のほぼ全体が得られる内蔵式イメージング画素アレイを有する携帯式ディスプレイが記載されている。Tsuboiの'8332号特許出願に記載されている装置は、表示画素を含まない多数のアパーチャ領域に加えて表示画素が配置されたディスプレイ素子を備えている。この複合イメージング配置では、表示パネルの裏側に配置された複数のセンサーが、表示画素の間に形成されたアパーチャ領域の上方に配置した複数のクラスター化されたレンズを通じてその光景の複数の画像を取得する。次に、それぞれのセンサーは、感知した光を変換してその光景の各部分に関する複数の小さな画像群を取得する。その後、その画像群がつなぎ合わされてその光景に関する1つの複合画像が得られる。このようにするには、ディスプレイ装置は、カメラを用いて得られる複数の画像からの画像情報を組み合わせる画像組み合わせ区画を備えている必要がある。

このタイプのイメージング法の1つの変形例として、Uyによる「統合された感知ディスプレイ」という名称のアメリカ合衆国特許出願公開第2006/0007222号には、ディスプレイの表面に沿って分布した画像感知素子と統合されたディスプレイ素子群を有するディスプレイが開示されている。それぞれの感知画素にはマイクロレンズを付随させることができる。Tsuboiの'8332号特許出願で提案されている解決法と同様、おそらく次に複合イメージングを利用し、取得した個々の画像から1つの画像を形成することになろう。その結果、Tsuboiの'8332号特許出願におけるデバイスと同様、Uyの'7222出願に記載されている統合された感知装置は、画像を（例えば1つの表示として）出力することと、複数の供給源からの光を入力することの両方が可能である。入力されるその光をつなぎ合わせて画像データを形成できるため、低解像度カメラ装置が形成される。

同様に、Zanatyによる「ビデオ画像の表示と捕獲が同時になされるビデオ捕獲モニタのシステムと方法」という名称のアメリカ合衆国特許出願公開第2004/0140973号には、発光素子と感知素子の両方を備える4区画画素構造を利用したビデオ捕獲モニタの中で複合画像を形成するための装置と方法が記載されている。3種類ある個々の発光画素素子が、ビデオ捕獲モニタ上に情報を表示するために画像の赤色、緑色、青色（RGB）の成分を表示する。さらに、同じ画素構造の一部として、感知素子である第4の画素素子が、画像の一部を、ビデオ捕獲モニタ上の光-電子アレイの一部として捕獲する。この出願には画像を組み合わせて画像の捕獲と表示の両方を行なうことが記載されているが、このタイプの解決法では画像の品質を確保することが非常に難しく、Zanatyの'0973出願ではこの問題が解決されていない。この配置のほんの1つの問題の一例として、アレイ内の画像捕獲画素には、光景中の変化（例えば動き）に対応できる光学素子が設けられていないことがある。

Tsuboi '8332”、Uy '7222、Zanaty '0973の実施例で提案されている複合イメージング方式の解決法は捕獲された画像のイメージングに限定されており、一般に、品質を保証するのに必要なものが不足している。これらの方法では、視野と全体的イメージング性能（特に解像度）に関してかなりの妥協がなされている。多数の小さな画像をつなぎ合わせて連続した1つの画像にする光学的作業と計算作業は厄介であり、非常に複雑で高価な制御回路を必要とする。それに加え、本質的に同じ方向を向くイメージング装置アレイを用いるイメージング法では、内容が非常に似た一連の画像が生成する傾向があるため、全体の画像品質を小さな画像のうちの1つの品質よりも著しく改善することはできない。多機能の画素を形成するための、または画像捕獲装置を表示素子と混合するための製造上の試みもかなりなされている。これは、収率が低く、解像度が低下し、素子の寿命が短くなり、製造コストが高くなることを示している。

双方向の表示・画像捕獲通信に適した光学素子を提供しようとする他の多くの試みでは、ピンホール・カメラ素子がこれまで用いられてきた。例えばRamboらに付与された「電話通信装置とコンピュータ・ビデオ装置においてピンホール画像感知装置を用いて視線を全体的に揃えること」という名称のアメリカ合衆国特許第6,888,562号には、双方向ビデオ通信装置と、そのような装置の操作法が記載されている。この装置は、ビデオ表示装置と、そのビデオ表示装置の能動的表示領域内に位置する1つ以上のピンホール・イメージング装置を備えている。画像処理装置を用いることで、表示された画像を分析することと、ピンホール・イメージング装置の1つからの出力信号を選択することができる。画像処理装置は、表示された画像を変更し、離れた端にいる人が認識するアイ・コンタクトの程度を最適化することもできる。

似たタイプのピンホール・カメラ式イメージング装置として、Tingに付与された「画像出力と画像入力のための装置」という名称のアメリカ合衆国特許第6,454,414号には、半透明なディスプレイと画像捕獲装置を備える入力／出力装置が記載されている。ディスプレイ装置は、半透明であるようにするため、複数の透明な穴を備えている。さらに別の一例として、Colmenarezらに付与された「レンズとセンサーの配置が特別な画像感知ディスプレイ装置」という名称のアメリカ合衆国特許第7,034,866号には、光をカメラに送るため、平面内でディスプレイ素子がピンホール・アパーチャと交互になったアレイが記載されている。

Ramboらの'562号特許、Tingの'414号特許、Colmenarezらの' 866号特許にある例からわかるように、ピンホール・カメラ方式の解決法には、別の欠点がある。ピンホールを通して捕獲した画像には、ピンホールを通る光が少ないことが原因の明るさのレベルの低さと大きなノイズ・レベルが反映されている。こうした方法では、望ましくない“網戸”イメージングという異常も起こる可能性がある。ディスプレイ上に暗い点を発生させるピンホール領域のためにディスプレイの性能と明るさも低下する。結局、ピンホール・カメラという解決法では、表示画像の品質と捕獲画像の品質の両方で最初から妥協がなされている。

すぐ上に指摘したように、ディスプレイ内に捕獲画素を混合して統合する構造により、画像捕獲システムまたは画像表示にアーチファクトが発生する可能性がある。捕獲画素構造は、ある程度欠陥のある画素であると考えられ、適切な方法または構造によって訂正または補償することができよう。一例として、Kimpeによる「ヒト視覚系の特徴を利用してマトリックス式ディスプレイにおける欠陥を視覚的にマスクするための方法と装置」という名称のヨーロッパ特許出願第1536399号には、複数のディスプレイ素子を用いてヒト視覚系を表現することにより、マトリックス式ディスプレイに存在する欠陥の視覚的インパクトを減らす方法が記載されている。Kimpeのこのヨーロッパ特許出願第1536399号には、ディスプレイに少なくとも1つの欠陥が存在していて、ヒト視覚系の表現に従う欠陥のない複数の表示画素のうちの少なくともいくつかのための駆動信号を導出し、上記少なくとも1つの欠陥の特徴を明らかにしてその欠陥に対するヒト視覚系の予想される応答を減らし、次いで欠陥のない上記複数の表示画素のうちの少なくともいくつかを、導出した駆動信号を用いて駆動することが記載されている。しかしたまたま離れた位置に1つの欠陥画素があるディスプレイは、複数の捕獲アパーチャまたは捕獲画素が混合した計画的な下部構造を持つディスプレイとは異なるものである。したがって表示画像の品質を向上させるための補正操作は大きく異なる可能性がある。

多数ある従来の解決法における1つの問題は、見ている人の動きと視野内の変化を補償できないことに関係している。この問題に対処する方法の中に、複合シミュレーション画像を生成させるための比較的複雑なシステムがある。それは例えばHillisらによる「ビュー・モーフィングを利用したビデオ供給システムにおいてアイ・コンタクトを維持する方法と装置」という名称のアメリカ合衆国特許出願公開第2004/0196360号に記載されている。この問題に対処する別の方法が、Zhangらに付与された「注視を補正したビデオ-テレビ会議システム」という名称のアメリカ合衆国特許第6,771,303号に提案されており、この方法では、テレビ会議の各参加者の頭部の追跡と複数のカメラを利用して画像の合成を実行している。しかしこのような方法では、統合された表示・画像捕獲装置でのイメージングの問題を回避するのに、真のリアル-タイム・イメージングを合成された画像内容で置き換える試みによっているため、より有効なビデオ会議と通信に必要な人間同士の実際の相互作用を提供する要求を満たしていない。

改善されたテレビ会議や他の双方向ビデオ通信としてますます多くの解決法が提案されているということは、問題がいかに複雑であるかを示しているとともに、大きな問題群が残っていることも示唆している。したがって、自然な双方向通信が可能で、見ている人のアイ・コンタクトがうまく提供され、異なる視野と光景の内容の変化に適応でき、アーチファクトが少ない優れた品質の捕獲画像を提供でき、表示された画像に顕著な欠陥がない十分に明るいディスプレイを提供できる統合された画像捕獲・表示装置が必要とされていることは明らかである。

本発明によれば、1つの光景の画像を捕獲している間に画像を表示するための統合されたイメージング装置であって、
a）画像内容の表示に用いる表示画素のアレイを有する電子式ディスプレイと；
b）複数個あってそのディスプレイの内部に統合されており、それぞれが、一部が透明な少なくとも1つの画素を含んでいるアパーチャと；
c）複数個あり、そのそれぞれが、1つの画像を捕獲し、レンズと画像センサー・アレイを少なくとも含んでいる捕獲装置とを備えていて、
それぞれの捕獲装置がディスプレイの特定のアパーチャの少なくとも一部と関係づけられており；
上記一部が透明な画素も画像内容を表示するために光を供給する装置が提供される。

本発明により、統合された画像表示・画像捕獲装置を備えていて、改善された捕獲能力と改善された表示画像品質を提供する装置が提供される。それに加え、本発明の解決法を利用すると、光景の変化に応じて画像捕獲条件を変えることができる。

以下に提示する本発明の好ましい実施態様に関する詳細な説明では、添付の図面を参照する。

典型的な従来の遠隔通信システムのブロック・ダイヤグラムである。 表示モードで動作している本発明の装置を示す斜視図である。 画像捕獲モードで動作している本発明の装置を示す斜視図である。 本発明の画像表示と画像捕獲のためのタイミング図である。 本発明で用いる画像捕獲装置の斜視図である。 本発明の一実施態様の断面図である。 図5の実施態様のより詳細な断面図である。 透明な薄膜電子素子を有する本発明の別の一実施態様の断面図である。 複数の透明な表示画素を有する本発明のさらに別の一実施態様の断面図である。 共通する1つの色を出す透明な複数の表示画素を有する本発明の別の一実施態様の断面図である。 透明な部分が隣り合った本発明のさらに別の一実施態様の断面図である。 図10の実施態様の上面図である。 共通する発光材料とカラー・フィルタを有する本発明の別の一実施態様の断面図である。 反射部と透明部を持つ電極を備える本発明の別の一実施態様の断面図である。 複数の透明部と画像捕獲装置を有する本発明のさらに別の一実施態様の上面図である。 本発明のディスプレイの上面図であり、半透明な画素のさまざまなグループ化の例を示している。 フーリエ面空間フィルタリングを有する本発明の別の一実施態様の断面図である。 一実施態様における本発明のシステムの構成要素のブロック・ダイヤグラムである。 一実施態様における本発明のシステムの構成要素の上面図である。 ネットワーク化された一実施態様における本発明のシステムの構成要素を示すブロック・ダイヤグラムである。

本発明の装置と方法は、以下に示す因子の組み合わせを活用することにより、統合された表示・画像捕獲装置の要求に応えている。
（i）実質的に透明な電極材料を有するさまざまなタイプの表示装置用素子の製造；
（ii）発光（または吸収または反射）と透過が交互に可能な光変調素子の使用；
（iii）装置のさまざまな素子のために画像捕獲と画像表示の機能を交互に同期させるタイミング；
（iv）画像捕獲と画像表示を強化する装置の構造のレイアウトと設計；
（v）画像捕獲と画像表示に関する画像品質を向上させる補正法。

重要なことだが、本発明の装置と方法では、Tsuboi '8332”、Uy '7222、Zanaty '0973の例に言及してすでに説明したように光を検出するセンサーだけを利用してタイル化または他の画像合成法によって画像を組み立てようと試みるのではなく、イメージング用光学素子とセンサー素子を用いることにより、複合イメージングの問題点を回避している。それに加え、本発明の装置と方法では、Ramboらの'562号特許、Tingの'414号特許、Colmenarezらの' 866号特許に言及してすでに説明したようなピンホール・イメージングに一般に付随する問題が回避される。これは、本発明の装置と方法では、さまざまなタイプの表示素子が透明である性質を利用することで、表示画像の品質を著しく損なうことなくイメージングのための適切なアパーチャが提供されるからである。

本発明の実施態様を示すのに利用する図面は正しい縮尺では描かれておらず、図面は、これらの実施態様で用いるカギとなる要素と原理を説明するものであることに注意されたい。さらに、本発明の装置は、サポートするさまざまなタイプのハードウエアとソフトウエアを利用して多数の異なるタイプのシステムとして実現できることを強調しておく必要がある。

図2Aと図2Bには、本発明の装置と方法で利用される動作の重要な特徴を示してある。本発明の統合された表示・捕獲装置100は、一般に、ディスプレイ5と、1つ以上の捕獲装置40を備えている。ディスプレイ5は、一人以上の人（図示せず）が見る表示スクリーンを形成する画素素子の配列すなわち画素8と9を有する。図2Aと図2Bに影を付けて示した表示画素8は通常の表示画素（例えば発光OLED画素または透過LCD画素）である。図2Aと図2Bに白色または透明で示した画素9も表示画素として機能するが、制御によって少なくとも一部が透明になるように製造されているため、この明細書では少なくとも一部が透明な（または半透明な）表示画素9と呼ぶ。捕獲装置40は、通常は、複数の画像画素を捕獲するために光を画像センサー41の方に向けるレンズ42を有するディジタル・カメラまたはビデオ・カメラである。図2Aでは、少なくとも一部が透明な画素9が表示モードになっており、表示画像光62の一部に寄与する。画素9は、光を出す（OLEDディスプレイの場合）か、光を透過させる（または反射する）（LCDディスプレイの場合）。図2Bでは、少なくとも一部が透明な画素9が透過モードまたは透明モードになっており、遠くの光景からの入射光60を受け取る。図3のタイミング図は、少なくとも一部が透明な画素9の表示タイミング・パターン102と、画像センサー41からの画像を捕獲するための捕獲タイミング・パターン104を示している。1つのフレーム時間（Δt）はオン状態からオフ状態まで間の完全な1つのサイクルに広がっている（例として50％のデューティ・サイクルを示してある）。図2Bに示してあるように、（時間的に）少なくとも一部が透明な画素9が透明な状態のとき、1つの画像捕獲サイクルを実施することができる。少なくとも一部が透明な画素9が表示状態のときには、本来は画像捕獲が起こらない。表示画素8を操作するためのタイミング・パターン（106a、b、c）については後で説明する。

図4からわかるように、捕獲装置40は、光軸43を有するイメージング光学素子を備えている。捕獲装置40の基本的な要素は、レンズ42と画像センサー41であり、これらは場合によってはハウジング44に収容される（図4に点線で示してある）。画像センサー41は複数のセンサー画素45からなるアレイを備えており、イメージング技術でよく知られているように行46と列47に配置されている。入射光60（一点鎖線で表示）がレンズ42によって画像センサー41に向かい、その上に画像が形成される。レンズ42内にバッフル（図示せず）を設けてあらゆる迷光またはゴースト画像を最少にし、捕獲される画像の品質が低下しないようにできる。レンズ42として、ハウジングの厚さに折り畳まれた光学素子が可能である。画像センサー41は、多数の画素からなる画像を捕獲することができる。画像センサー41としては、約100〜800万画素の解像度を持つCCDセンサー・アレイまたはCMOSセンサー・アレイが可能である。捕獲される画像は、光景全体の画像でもよいし、より大きな複合画像の一部でもよい。以前の方法の表示／捕獲装置という解決法の多くでは小さなレンズに光学的にカップルしたセンサーを用いて単一の画素を捕獲しようとしていたが、本発明はそれとは異なり、本発明で用いる画像センサー41はカメラとして機能し、各捕獲装置40から二次元画像を供給する。

すでに指摘したように、少なくとも画像捕獲の間はディスプレイ素子が透明であることは、本発明の統合された表示・捕獲装置100を実現する上で重要な属性である。以下に現われる図と説明は、画像センサー41を用いたこの原理と、図2A、図2B、図3を参照して説明したタイミングと同期を利用した多数の実施態様の概略を示している。

図5を参照すると、本発明による統合された表示・捕獲装置100の一実施態様は、複数の表示画素8を有するディスプレイ5を備えていることがわかる。ここでは1つ以上の表示画素8が、（図5に少なくとも一部が透明な画素9によって示したように）少なくとも一部が透明であり、（図5に表示画素8によって示したように）一部が不透明である。捕獲装置40は、図4を参照してすでに説明したように、複数の画像画素を捕獲するための画像センサー41を有する。

ディスプレイ5は、見られる第1の側6を有する。捕獲装置40は、第1の側6とは反対側の第2の側7で、少なくとも一部が透明な画素9の位置に対応する位置にある。捕獲装置40は、少なくとも一部が透明な画素9を通して第1の側6の光景から光60を受け取り、その光景の画像を形成する。本発明の一実施態様では、ディスプレイ5は基板10の上に形成され、ディスプレイ5を保護するため基板10に接着されたカバー20を備えている。ディスプレイの見られる側である第1の側6をカバー20の側にすることができる。第2の側7を基板10の側にし、捕獲装置40を基板10の隣に位置させることで、カバー20を通じて光を出させることが可能である。あるいは捕獲装置40をカバー20の側に位置させ、基板10側から光を出させることもできる。本発明の一実施態様では、表示画素8は、反射性電極12と透明な共有電極16を備えている。表示画素8（モノクロ画素またはカラー画素が可能である）は光を前方に（ディスプレイを見ている人に向かって）出し、後方に出る光は反射性電極12によって再び前方に向けられる。少なくとも一部が透明である半透明な画素9は、透明な2つの電極16と13を備えている。図からわかるように、特別なタイプの表示画素8が存在している。それは白色光発光体14Wであり、半透明な画素9と、薄膜電子素子30を有する部分を含んでいる。薄膜電子素子30としては、電極、トランジスタ、抵抗器、または他の基本的な回路部品が可能である。

この明細書で用いる一部が透明な画素という用語は、捕獲装置40によって見られたり記録されたりするときに有効な画像を形成するのに十分な光が透過する画素である。本発明の装置では、少なくとも50％の透過率が必要であり、80％を超える透過率が好ましい。装置の設計と構成によって透明にすることが可能である。例えばOLEDデバイスは、薄膜素子を使用しているため実質的に透明に製造することができる。これについては、GorrnらがAdvanced Materials、2006年、第18巻(6)、738〜741ページに書いている「シー-スルー・ディスプレイに向けて：透明な有機発光ダイオードを駆動する完全に透明な薄膜トランジスタ」という論文に記載されている。一般に、パターニングされた材料が、実質的に透明な薄膜（例えば100nmの厚さ）の状態に堆積される。OLEDディスプレイの場合には、表示画素8は、赤色光、緑色光、青色光をそれぞれ出すパターニングされた有機材料14R、14G、14Bからなる層14を含んでいる。モノクロ・ディスプレイの場合には、表示画素8と半透明な画素9の両方とも白色光を出す。OLEDデバイスは、ディスプレイ・イメージングの分野でよく知られている。

透明にする別の方法は、LCDディスプレイ技術を利用するというものである。ディスプレイ5がLCDディスプレイである場合には、層14は、透明な状態と光吸収状態の間の切り換えが可能な液晶を含んでいる。反射性電極と透明な電極は従来技術で知られており、例えば、金属や金属酸化物（反射性のアルミニウム層や銀層など）と、透明なインジウム-スズ酸化物導体が挙げられる。透明な電極はいくらか反射性であってもよく、例えば薄い銀層から形成される。LCDデバイスもディスプレイ・イメージングの分野で同様によく知られている。特に、画素が反射性部分と透過性部分の両方を有する透明-反射性LCDの一般的な構造を拡張して統合された表示・捕獲装置を作り出すことができよう。

図5に示したように、透明な表示画素9は表示スクリーンにアパーチャAを形成し、そのアパーチャAを通して画像センサー41が光60を取得する。1つ以上の捕獲装置が外を見るアパーチャAまたはウインドウのサイズは、システムの性能にとって重要な1つの因子である。光学的には、アパーチャAのサイズはできるだけ大きいことが望ましい。捕獲装置40によって形成される画像が劣化することのないよう、アパーチャAを十分に大きくして（例えば25μm超にして）光60が大きく回折しないようにせねばならない。アパーチャAのサイズを大きくすると捕獲装置40が利用できる光60の光学的スループットが大きくなるため、ノイズがより少なくてより明るい画像が可能になる。有効なアパーチャAがより大きくて介入する構造がより少ないと、レンズが焦点を結びやすくもなるであろう。なぜならレンズをぼんやりとさせる“網戸効果”がより少なくなるだろうからである。また、光学素子（例えばレンズ42や画像センサー41）を備える小さなカメラを製造することは難しいため、アパーチャAはできるだけ大きくすることが好ましい。

本発明の装置と方法では、アパーチャAと画素のサイズの関係が重要である。よく知られているように、画素のサイズはデバイスごとに大きく異なる可能性がある。大型の表示装置の中には、画素のサイズを0.05〜1mm²のオーダーの面積にできるものがある。特に、現在の携帯電話のディスプレイは一般に幅が約0.1〜0.2mmの画素を有するのに対し、コンピュータのモニタでは幅が約0.3mmの画素構造を利用し、大パネルのエンターテインメント・システムは0.5〜0.8mmの画素構造を有する。以下に説明する実施態様では、アパーチャAが最大になるとともに、十分なサイズのアパーチャA、または十分に透明なアパーチャAを取得する上で固有の問題がなくなるようにして画素を配置する方法の概略を説明する。例えば図7、図8、図10のディスプレイに関しては、半透明な材料（例えばITO電極）をより多く利用したり、アパーチャがより近接した状態になるように画素をパターニングしたりすることによって透明な領域が広がった画素構造にすると、有効なアパーチャAのサイズが大きくなる。他のケース（図9、図15）では、画像捕獲装置40が互いにずれた複数の透明な画素（9）を通して見るようにすることで有効なアパーチャAが大きくなる。しかし半透明な画素（またはその集合）からなるこうしたアパーチャAを設計する際（そのサイズとパターニングも含む）には、そのアパーチャがディスプレイのユーザーにとって表示のアーチファクトとして見える可能性があることを考慮して設計する必要がある。本来は捕獲装置40は中心に揃っていて、アパーチャAの法線方向になっている（光軸がアパーチャAに垂直になっている）必要がある。ただし、アパーチャAがわざと斜めになっている場合（運動を追跡するために傾けたりパンしたりする場合も含む）は除く。

統合された表示・捕獲装置100のための本発明の別の一実施態様によると、表示画素8は、表示画素の発光と反射を制御するための薄膜電子素子30を有するアクティブ-マトリックス画素である。図6を参照すると、ディスプレイ5は、基板10の上に形成された薄膜電子素子30を備えていることがわかる。平坦化層32と34を用いて層の表面を滑らかにするとともに、層同士の間と、共通層の中に形成された電極12と13の間を絶縁する。一実施態様では、薄膜電子素子は、比較的不透明なシリコンの上に形成される。アパーチャAの中にある電極13は透明である。発生する光62は、透明な画素と不透明な画素の両方からのものが可能である。

図7の実施態様を参照すると、ディスプレイ5は、1種類以上の透明な材料（例えば亜鉛酸化物、ドープされた亜鉛酸化物、インジウム-スズ酸化物（ITO））で形成された薄膜電子素子を備えていることがわかる。一例として、光60は、（“比較的透明な”）あらゆる薄膜電子素子30（例えば一部が透明な電極30a）を通過して画像センサー41に入射することができる。したがって半透明な画素のサイズを実質的に大きくできるため、アパーチャAのサイズが大きくなり、画像捕獲装置40の性能が向上する。

図8では、捕獲装置40はディスプレイ5の多数の表示画素8と9を通して光60を受け取るため、アパーチャAが大きくなる。図示した例では、画像化される光景から発光画素14W（半透明な画素9を含む）の一部を通していくらかの光が得られ、一部が透明な電極30aを有する部分からさらに別の光が得られる。画像のための光は、OLEDデバイスの中にあってパターニングされた緑色有機材料14Gからなる一部が透明な層である緑色画素14Gの少なくとも一部を通しても回収される。アパーチャAは、実質的に不透明な電極（30）の代わりに一部が透明な電極30aを有する他の着色光発光画素を設けることによってさらに大きくすることができる。同様に、画素14Wにある一部が透明な電極30aは、光を阻止するようなものにできる。たとえそうであっても入射光60は白色画素（9）の半透明な画素部分とカラー画素の両方を通過するため有効なアパーチャAはやはり大きくなる。もちろん、どの半透明なカラー画素も、画像捕獲のためのウインドウとしても機能するため、捕獲時間の間はオフ（非発光状態）になっていなければならない。一部が透明な表示画素9を他のさまざまな配置にして、フィルタされた光またはフィルタされていない光を画像センサー41に向かわせることができる。これについてはあとで説明する。

図9は、光がアパーチャAを通して得られる装置100の別の一実施態様を示しており、この場合には、アパーチャAは、互いにずらすか離すかして表示画素の間に散在させたウインドウ画素を含んでいる。図9では、図示した光透過画素またはウインドウ画素は、少なくとも一部が透明な表示画素9だけである。この実施態様では、少なくとも一部が透明な表示画素9のすべてが同じ色の光を出し、その色はこの場合には白色である。しかし互いに離した光透過画素として、アパーチャAを形成するために個別に分布した、またはクラスターになった白色画素とカラー画素の両方が可能であろう。OLEDデバイスまたはLCDデバイスでは異なる色は異なる発光効率を持つ可能性があるため、色が共通の透明な画素をグループにして色の異なる画素群の間の違いを小さくすると有用である可能性がある。特に、白色発光体は他の色よりも効率が高い可能性がある。この改善された効率を利用すると、非反射性電極を用いることの視覚的なインパクトを和らげることができる。

統合された表示・捕獲装置100の別の一実施態様として、図10に示したように、一部が透明な表示画素9がクラスター化または隣接したディスプレイ5を製造することにより、一部が透明な単一の表示画素9を通して利用できる以上に有効なアパーチャAを大きくすることができる。その場合、捕獲装置40はより大きくできるため、より多くの光を受け取り、おそらく画像センサー41の信号を大きくすることができる。上に引用した譲受人に譲渡されたアメリカ合衆国特許出願シリアル番号11/341,945に教示されているように、反射式画素のレイアウトにしてこれを実現することができる。図11を参照すると、そのような配置を持つディスプレイ5の一部の上面図が示してある。ここでは素子のレイアウトにおいてバス・コネクタ31、薄膜トランジスタ30b、少なくとも一部が透明な画素9が互いに隣り合った位置にあって大きくなったアパーチャAを形成しており、その全体を点線の楕円で示してある。

パターニングされた有機材料を利用して発光体を形成する本発明のOLEDの一実施態様では、有機材料は、少なくとも一部が透明な表示画素9を通過する光をあまり吸収しない。LCDの一実施態様では、液晶は同様に実質的に透明である。これらの実施態様では、捕獲装置40に追加のカラー・フィルタを用いてディスプレイ5の第1の側6に光景のカラー画像を形成することができる。

図12を参照すると、本発明のOLEDの一実施態様として、パターニングされていない有機材料14を用いて広帯域発光体を形成するとともに、カラー・フィルタ24R、24G、24Bがカラー・ディスプレイを形成している場合を示してある。この実施態様では、カラー・フィルタ24R、24G、24Bは通過する光を実質的に吸収できるため、捕獲装置40にカラー画像が提供される。RGBW配置を利用する場合には、白色画素はいかなるカラー・フィルタも持たない。捕獲装置40がカラー・フィルタのないそのような白色画素と揃った位置にある場合には、捕獲装置40は着色光を受け取ることはなかろう。したがって捕獲装置40は、独立したカラー・フィルタを必要とすることなくモノクロ画像記録またはカラー画像記録を画像センサー41上に形成することができる。オプションであるブラック・マトリックス22を用いて周囲光の反射を減らすことができる。カラー・フィルタ24R、24G、24Bは、図12に示したように電極の上に位置させること、または図7に示したように保護カバー20の内側に位置させることができる。

図13を参照すると、ディスプレイ5の反射性電極12は、反射領域12aと、光が通過して捕獲装置40に到達する透明領域13aを備えることができる。特に、図5、図7、図8、図10に示したようなトップ-エミッション型構造では、底部電極の一部は、薄膜電子素子30（例えば薄膜トランジスタ）に対応する領域の上方に形成され、別の部分は、これら薄膜素子（トランジスタ（30））の間に形成される。そのような場合には、薄膜トランジスタ（30）に対応する領域の上方に反射性領域12aを設け、薄膜トランジスタ（30）の間の領域に透明な領域13aを設けるとよい。このようにすると、出てくる光を最もよく利用できる。このような電極構造は、図13に示してあるように、反射性領域12aだけに反射性でおそらくは導電性の層を設け、反射性領域12aと透明な領域13aの両方の上方に透明な層を設けることによって形成できる。

図5に示したように、ディスプレイ5は、動作中は、光の発生が制御されてディスプレイ5の第1の側6に表示画像を形成する。第1の側6の光景を照らす周囲光60がディスプレイ5に入射し、1つ以上の半透明な表示画素9を通過し、捕獲装置40の画像センサー41によって感知されて第1の側6に光景の画像が形成される。図14aに示したように、統合された表示・捕獲装置100は、ディスプレイ5を通して見る1つ以上の捕獲装置40を備えることができる。これら複数の捕獲装置（カメラ）40は、個別に、または組み合わせた状態で、異なるイメージング属性を持つことができる。これらのデバイスは、焦点距離が異なるレンズと、視野（例えば広角、望遠）または倍率が異なる画像を利用することが最も多い。1つのカメラ40のレンズはズーム能力を持つことができるのに対し、他のレンズはそうではない。これらのカメラ40は、異なる画素数（さまざまな解像度のセンサー）、スペクトル感度の異なる光感知素子、異なるカラー・フィルタや、他のさまざまな属性を持つことができる。ユーザー／見る人の光景環境において運動の追跡を可能にするため、これらカメラ40のうちのいくつかにはパン機能と傾斜機能を容易にする手段（図示せず）を取り付けることができる。したがってこれら複数の捕獲装置40は、重なりがあるようにして、または重なることなしに、1つの光景の異なる部分を見る方向に向けることができる。画像処理装置120が、複数の画像、または複数の画像データ（ビデオ）流、または複合画像、または複合画像流を出力することができる。制御装置122により、変化する光景条件に応答した捕獲装置40の変数（ズーム。パン、傾斜、視野の変更、光景の明るさの変更など）の自動制御と手動制御が容易になろう。

図15に示したように、捕獲装置40は、画像センサー41よりも前のどこかにスペクトル・フィルタ66を備えることができる。用途に応じ、スペクトル・フィルタ66は、帯域通過フィルタまたは帯域拒絶フィルタにすることが可能である。例えばスペクトル・フィルタ66として、赤色光と赤外光（例えば600〜1200nm）を透過させる一方で、紫外光と、青色光と、緑色光と、帯域外の赤外光を排除するフィルタが可能であろう。別の選択肢として、スペクトル・フィルタ66は、紫外光を選択的に透過させるフィルタにすることが可能であろう。そのような場合には、付随する画像センサー41は、選択したスペクトル範囲内で十分な感度を持つことも必要になろう。当業者であれば、光が極めて少ない条件で捕獲装置40が動作するように設計されている場合には、スペクトル・フィルタ66を除いてできるだけ多くの光が画像センサー41に届くようにすると有利であることがわかるであろう。

それに加え、可視スペクトル（350〜700nm）の範囲外からの光を用いて画像を生成させることが望ましいいくつかの場合には、可視スペクトルの範囲外（例えば紫外や赤外）で動作する1つ以上の捕獲装置40を追加することも本発明の範囲に含まれる。その場合には、紫外（350nm未満）の領域や赤外（700nm超）の領域で動作するレンズ42を選択することが重要である。スペクトル・フィルタ66を用い、画像化される領域外の光を取り除くことができる。本発明では、連続的または同時的なマルチ-スペクトル・イメージングを可能にするには可視スペクトルの範囲外で動作する捕獲装置40と組み合わせるために可視スペクトルの範囲内で動作する捕獲装置40が必要となることも想定されている。

表示画素8と少なくとも一部が透明な画素9に加えて1つ以上の画像捕獲装置40を備える本発明の統合された表示・捕獲装置100では、画像ディスプレイまたは画像捕獲空間のいずれかに画像のアーチファクトが生じる可能性があると認識されている。そのような可能性のあるアーチファクトとして、空間周波数効果、“網戸”効果、ピン・ホール“欠陥”効果、迷光およびゴースト光の問題、カラーまたはスペクトルの効果、フリッカー効果、一様でないシャドウイングの問題などがある。これらアーチファクト（と他のアーチファクト）は、個別に、または組み合わさって発生する可能性があるが、一般に、適切に設計したハードウエアまたは適切な画像処理補正を同様に個別に、または組み合わせて適用することによって減らせる。一般に、目標は、画像ディスプレイまたは画像捕獲空間に存在するあらゆるアーチファクトをヒトがそのアーチファクトを認識する際の適切な閾値よりも少なくともわずかに小さくすることにより、画像の品質を向上させることであろう。あとで説明するように、ハードウエアの設計と画像処理の両方ともこうした必要性に合わせることができる。

一例として、図15に、画像表示と画像捕獲の両方に関する画像のアーチファクトを減らすためのバッフル64を有する統合された表示・捕獲装置100を示してある。入射光60が半透明な画素9または表示画素8を通過し、所定の画像捕獲装置40に入る。その光は、何回も反射と散乱のイベントを経た後に捕獲装置40に入ってゴースト画像またはフレア光を生じさせる可能性があるため、表示される画像または捕獲される画像の品質を低下させる。捕獲装置40は、このリスクを小さくするため外側のハウジング44と内側のバッフル（図示せず）を備えることができる。さらに、いくらかの入射光がディスプレイ5の裏側から透明な画素と表示画素8を通って再び出現し、ディスプレイを見る人が見る画像にゴーストまたはフレア光が生じる可能性がある。これに対処するため、統合された表示・捕獲装置100は、1つ以上の光吸収バッフル64を備えている。光吸収バッフル64として、コーティングされたプレートと表面、シート状ポリマー材料、光トラップ構造などが可能である。バッフル64は、ディスプレイ5の基板10のいずれかの側に形成することができる。バッフル64はディスプレイ5の支持部材と似ており、一般に、入ってくる周囲光からの望まない迷反射を減らすためにディスプレイの微細構造の中に設けることが可能などの薄膜吸収層とも異なっていることに注意されたい。図14aに関しては、これらのバッフルは、ディスプレイ5の裏側で、少なくともさまざまな画像捕獲装置40の間の領域に位置させることになろう。もちろん、半透明な画素9がカメラの位置にだけ設けられている場合には（図14a参照）、バッフル64は必要ないか、アパーチャAの近傍にだけ必要になろう。

統合された表示・捕獲装置100の統合された構造は、捕獲画像のさまざまなアーチファクト（例えばシャドウイング）を発生させる可能性がある。例えば画像センサー41への入射光の一部が光路中の薄膜電子素子30によって遮断される可能性がある。この場合には、捕獲装置40は、画像センサー41上にシャドウを伴った光景を記録する。そのようなシャドウは規則的で周期的な構造を持つ可能性がある。このようなシャドウ領域は焦点が外れており、ディジタル捕獲装置-ディスプレイ・システムの固定された光学構造の既知の部分によって生じるため、画像に対するシャドウの効果は、モデル化してテストして補償することができる。周囲光条件と光学素子のアーチファクト（例えば光路の遮断）を補償する方法は公知であり、画像後処理ステップにおいて実現することができる。このステップは、図18に示してあるように、例えば画像処理装置120において実施することができる。

ディスプレイ5の構造も捕獲画像の他の欠陥を引き起こす可能性がある。それは、画像の内容が装置構造によって違う送られ方をしたり、除去されたり、隠されたりするからである。例えば図8の実施態様の場合には、光を透過させるアパーチャAは、半透明な画素14Wで一部が透明な電極30aがある部分とない部分の両方と、やはり一部を透明にできる色発生画素（例えば14G）でやはり一部が透明な電極30aがある部分またはない部分にまたがって広がることができる。一部が透明なさまざまな画素または画素部分は少なくともブランキング状態では異なる透過率を持つことができるため、アパーチャAを通る透過率は、ディスプレイ5上で空間的に異なる。捕獲される光景内の物体がディスプレイから十分に離れている限り、透過率のこうした変動は視野のあらゆる点に関して平均されるはずである。しかし物体がより近くなるにつれ、ディスプレイ5のアパーチャA内のこのような空間的変動によって画像が一様でなくなる可能性がある。このような差は、画像処理装置120によってたいていは容易に訂正または補償することができる。同様に、入射光60がカラー・フィルタ（24R、24G、24B。図7参照）を通過するならば、フィルタリングを補償し、画像センサー41の位置に得られる画像を調節して画像内の空間的な色の変動を訂正することができる。

別の一例として、ディスプレイ5中の周期的空間構造により、捕獲画像のアーチファクトが生じる可能性がある。この場合、その構造の有効周波数によって画像の内容が除去されたり、ぼけたり、変化したりする。いくつかの場合には、光学的な補償法または訂正法を利用することができよう。特に、フーリエ面空間フィルタリングを利用し、規則的な周期的構造によって生じるアーチファクトを見えにくくすることができる。一例として、ディスプレイ5が、赤色画素、緑色画素、青色画素、白色画素からなる繰り返し構造を有する統合された表示・捕獲装置100を図15に示してある。捕獲装置40は、複数のレンズ素子42a、42b、42cを有するレンズ42と、画像センサー41とを備えており、多数の半透明な画素9を通して見る。レンズ42のサイズと、半透明な画素9のサイズおよびピッチとに応じ、捕獲装置40は、カラー画素（またはモノクロ画素）によって隔てられたいくつかの、または数百以上の半透明な画素9を通して見ることができる。捕獲装置40に関しては、半透明な画素9によって形成されるこのアパーチャ・アレイを通じたイメージングは、網戸を通じたイメージングと非常に似ており、その結果として光強度の損失と構造そのものの混乱が起こる。するとフォーカシングが難しくなるとともに、空間周波数が似た光景の画像の品質に影響が及ぶ可能性がある。エイリアスも生じる可能性がある。これら半透明な画素9は、（図9、図10、図11におけるような）白色画素と、実質的に透明な電子素子（図7のアパーチャA）および／またはパターニングされた半透明なカラー画素構造（図8のアパーチャA）を光が透過する半透明な構造を含むことができる。

半透明な画素（9）が空間内で周期的に繰り返されている場合には、または準周期的な繰り返しの場合でさえ、静的な構造が周波数空間内で発生する可能性がある。光学系の場合には、この周波数構造は、レンズ系のフーリエ面内で明白になる。例えば図15に示したように、捕獲装置40は、画像センサー41と、複数のレンズ素子（42a、42b、42c）を有するレンズ42とを備えている。この光学系の中では、フーリエ面68は、開口絞り69の位置、またはその近傍に存在する。視野内の多数の位置から入射する入射光60は半透明な画素9を通じて回収され、フーリエ面68（点線で示してある）と開口絞り69に向かって焦点を結ぶか集束され、複数のレンズ素子42bと42cを通った後に画像センサー41上に画像を作り出す。最も簡単なやり方だと、固定されたパターンのフーリエ面フィルタ70を用いた空間フィルタリングにより、ディスプレイ構造によって作り出される固定された周波数パターンまたは静的周波数パターンを小さくすることができる。このフィルタは、例えば複数のレンズ素子42a、42b、42cの間に取り付けられる透明な基板の上に形成された非常に吸収性のある領域からなる（二次元）空間パターンを含むことができる。

半透明な画素9とアパーチャAの分布またはパターンによって表示画像のアーチファクトも生じる可能性があり、それによってディスプレイを見る人に影響が及ぶ可能性がある。ディスプレイ5の設計においては、画素9とアパーチャAが、複数の捕獲装置40が存在する場所だけにある（図14a）か、より広い面積、それどころかディスプレイ5全体にあるかどうかの選択がある。少なくとも一部が透明なこれらの画素9の構造はかなり大きくして（1つの方向が約0.1〜1.0mm）パターニングできるため、目に見えるアーチファクトが発生してディスプレイのユーザーの目障りになる可能性がある。例えば表示強度が異なるパターンを有する領域の中で、ユーザーは“バンディング効果”を認識する可能性がある。その場合、構造が、ヒトの空間パターンの感度が最大である領域と一致する数mmのピッチのアーチファクトとして現われる。半透明な画素構造のパターンは、ディスプレイにまだらになった外観を作り出すため、見る人の目障りになる可能性がある。例えば極端な場合には、ウインドウまたは透明な画素のパターンは、（透明な状態または暗い状態のいずれかで）複数の暗いスポットからなるグリッドのように見える可能性がある。それを図14bに示してある。この図には半透明な画素9の異なるグループ化（26a、26b、26c）を示してあり、画素のグループ化26aと26bは規則的なグリッドを表わしている。画素9が十分に小さいのであれば、一般に気づかれることなく存在できよう。しかし一例として、表示された動画がディスプレイを横断すると、見る人がそれを認識する可能性が大きくなる。

ディスプレイを見る人にとって半透明な画素9（またはアパーチャA）を見えにくくするのに利用できるさまざまな方法が存在している。第1に、半透明な画素9は、カメラのある位置だけに製造し、ディスプレイ全体には存在しないようにできる。半透明な画素9（白色）はRGB画素より小さくすることもできる。しかしテレビ会議の用途では“アイ・コンタクト”画像を捕獲する目的でディスプレイの背後に、またはスクリーンの中心に、またはスクリーンの近傍にカメラを配置することが望ましいため、より軽減するための設計上の特徴が必要となる可能性がある。半透明な画素9は1つの行内で同じピッチのパターニングを維持するが、行が異なると互い違いになるようにし、規則的なグリッドには見えにくくすること（画素のグループ化26aのようにはなりにくくすること）ができよう。別の方法として、ディスプレイ5は、この効果を減らすため、捕獲装置40の捕獲アパーチャ内に、またはより広い意味でディスプレイ5のいろいろな領域に、準周期的（擬周期的）に、またはランダムに混じり合って分布した半透明な画素9（またはアパーチャA）を備えることができよう。この考え方は、図14bの画素のグループ化26cに例として示してある。しかし電子デバイス（特にアレイ式の電子デバイス）は通常はあらかじめ決められた繰り返し構造にして製造されるため、ランダムな画素化は極めて難しかろう。準周期的な構造のほうがより可能性が大きく、その構造は、ディスプレイ5のXY方向（図14bの水平方向と垂直方向）で同じにすること、または同じでなくすることができよう。画像捕獲のための光学的周波数空間（フーリエ面68）において、画素9を準周期的なパターンにすることでガウス分布する周波数パターンを作り出すことができよう。するとフーリエ面フィルタ70は、一定の大きな吸光率（または反射率）の複数の領域からなるより伝統的なパターンではなく、1つ以上の位置で関数依存性（例えばガウス分布）に従って空間的にパターニングされた吸光率を持たせることができよう。あるいは、またはそれに加えて、捕獲画像からディスプレイの構造的なアーチファクトを取り除くための周波数フィルタリングを捕獲画像処理用エレクトロニクスの中で実施することができよう。電気的／ソフトウエア・フィルタリングと比較した光学的フィルタリングの利点は、データ処理のための計算能力を必要とすることなく実施されることである。

画像捕獲のための半透明な画素9を時間的に変化させることによってこれらの画素が見えにくくすることも望ましい可能性がある。ある意味で、タイミング図（図3）はより複雑になろう。なぜならフレーム時間（Δt）内の変調は、1つの画素9から別の画素へとずらされる（異なった位相にされる）、またはセグメント化されるだろうからである。この変調により、周期的または準周期的なアレイにされた半透明な画素9のグループ化（26）をディスプレイ5が含んでいるかどうかに応じ、見る人が認識するこれら画素の見かけの空間的パターンまたは周波数を変化させることができよう。逆に、そのことによってフーリエ面68において見られる空間的周波数パターンに影響が及ぶ可能性があろう。フーリエ面フィルタ70は、画素9の変調と同期して時間的に変調されるダイナミックなデバイス（例えば空間的光変調器（LCDやDMDなど））にすることができよう。しかしそのように同期された周波数空間補正は、捕獲された画像を取り扱う画像プロセッサ120の中で直接行なうことが最もよかろう。

半透明な画素9またはアパーチャAの存在により、画素が暗く見えるか明るく見えるかに応じ、（フレアに加え、）表示される画像に影響を与える一様でないアーチファクトが発生する可能性がある。ディスプレイ5全体における半透明な画素9の空間的な分布とサイズはこれらアーチファクトに非常に大きく影響する。こうした問題のうちのいくつかは、半透明な画素の暗い状態が、光の発生と光の透過の両方ともない状態である場合に解決される。しかしそれぞれの半透明な画素9（またはアパーチャA）の周囲または隣にある表示画素8を較正された補償法で変調してディスプレイを見る人に半透明な画素9が見にくくできる場合がそれでも存在している。表示される光景の較正は、光景に依存したやり方で実施することができる。そのとき、表示用エレクトロニクスが、ディスプレイ5の（静的）構造に関する情報を持っていること、画素の変調のタイミングと強度を制御していること、表示される画像の前処理をできることを利用する。例えば、一般に明るい白っぽい画像がカラー画素によって表示されているある領域内で半透明な画素9が白色状態にあるとき、近くの表示画素8を暗くして補償することができよう。同様に、半透明な画素9（透明、暗い、白色のいずれかだけが可能である）が、スクリーン上に表示された色が一定である（例えば赤）領域に存在しているとき、（半透明な画素9から離れた赤色表示画素8ではなく）隣の表示画素8を明るくしてこの半透明な画素を補償することができよう。別の意味では、半透明な画素9を使用して表示画像のコントラストを大きくすることができよう。なぜなら半透明な画素9は明るい（暗い）状態または白色状態にできるからである。

半透明な画素9の動作を補償または訂正するために局所的な、または隣接した表示画素8を利用することは、表示画素をいかにして動作させるかに依存する。例えば透明でない発光表示画素がフレーム時間（Δt）の大半の時間にオンになっている、すなわち光を出しているのであれば、その画素は、半透明な画素9が画像を捕獲するため、透明な状態の一部で動作状態になる（図3の表示タイミング・パターン106bを参照）。そのとき、表示と捕獲のタイミングは少なくともいくらかずれているが、決められたフレーム時間Δtは一定であると仮定されている。表示画素の明るさの局所的な変化は、一定の平均強度を与えることによって、または1つのフレーム時間内で強度を能動的に変化させること（図3の表示タイミング・パターン106c）によって実現できる。したがって半透明な画素9の近くにある表示画素は、画素が切り換えられて透明になるときに、より高電圧で駆動すること（例えば近くにあるカラー画素の集合が白色画像を与える場合）や、光景の内容に応じてより低電圧で駆動したり一定の電圧にしたりすることができよう。不透明な発光表示画素のためのオン状態または発光状態のタイミングが半透明な画素9とほぼ同じである場合（表示のタイミング・パターン106a≒半透明な画素のタイミング・パターン102）には、おそらく画素の明るさの差だけを、時間的な操作なしに表示画素の強度の差を通じて補償できよう。これは、少なくともいくつかの表示画素8が反射性電極構造ではなく透明な電極構造を持つ図8のデバイスに特に当てはまる。その場合、半透明な画素9などの画素は同じタイミング図（パターン106a = パターン102、図3）に従わねばならないため、裏側から光が出て捕獲装置40に向かうことはない。

同様に、より大きなスケールでは、再び図14aを考慮すると、ディスプレイ5は、捕獲装置40が存在する位置またはディスプレイ5全体に半透明な画素9またはアパーチャAを用いて製造することができる。いずれの場合にも、これらウインドウ画素がディスプレイ全体に存在するか、カメラ40のための局在した領域だけに存在するかに応じ、表示される画像は捕獲領域と非捕獲領域で異なって見える可能性がある。特に、ある広い領域と比べて表示が異なった見え方をする他の広い領域が存在する可能性がある（すなわち大きな空間的非一様性）。全体として、こうした全体的な非一様性は予想が可能で、画像処理用エレクトロニクス120の中で（おそらく較正ステップの助けを借りて）訂正できるはずであり、画像を表示する前に補償されねばならない。

しかし半透明な画素9の主要な目的は、1つ以上のカメラによる画像捕獲のためのウインドウまたはアパーチャとして機能することである。OLEDタイプの装置では、これらの画素が駆動されて“オン”（光が出ている状態）になり、ディスプレイを見る人にとって見えにくくなる。しかし捕獲用カメラの視野内のすべての画素は、十分な期間にわたって“オフ”または透明になっている必要があるため、捕獲視野全体で実質的に一様な画像捕獲を行なうことができる。半透明な画素のタイミング・パターン102（図3）に関し、暗い画素の表示状態の定義がカギとなる可能性がある。一般に、暗い半透明な画素9はずっとオンである、すなわち表示状態であるが、光を捕獲装置40に伝えないようにされる。しかしいくつかの設計またはデバイス技術によるディスプレイ5では、暗い状態はオフ／透明な状態と等しくすることができる。その場合には、入射光60を捕獲装置40に送ることができる。例えば長期間にわたって暗い画像領域内に半透明な画素が存在しているのであれば、これは、半透明な画素を（捕獲フレーム時間と比べて）長期間にわたって明るい状態、または透明な状態（ディスプレイを見る人にとって暗い状態）にしておけることを意味するであろう。すると光は、すでに定義したブランク状態の間に捕獲装置（カメラ）40に入射することになろう。この問題をなくすため、捕獲装置40はシャッター（図示せず）を備えることができよう。あるいは、捕獲用カメラの視野内で長期にわたって暗い半透明な画素9は、オン状態になっている画素よりもはるかに多くの光が時間内に透過するため、捕獲した画像に対して空間的および／または時間的な変動の補正または利得の調節を行なうことができよう。

図3を参照して説明したように、周期的制御の最も簡単な形態は、ある期間にわたって半透明な画素9をオフにして捕獲装置が光景を捕獲できるようにすることである。名目上はすべての画素ではなく少なくとも一部が透明な表示画素9だけが切り換えられるため、切り換えはディスプレイ内で控えめに行なうことができる。さらに、画像捕獲は短い期間（例えば1/100秒、または30Hzでの単一のフレームの一部）に行なうことができるため、画像捕獲のデューティ・サイクルが短くなると同時に時間的アーチファクトが見えにくくなる。不透明な発光表示画素の動作は、半透明な画素9の動作と少なくとも一部がリンクしている。例えばこれらの画素が同じタイミング（パターン106a = パターン102）に従うとすると、オフ状態の時間を短くすることは、同じ画素強度をより少ない駆動負荷で実現できることを意味する。したがって画像が捕獲されている間に表示画素（8または9）が50％の時間オフにされるのであれば、表示画素は、スイッチがオンになっている残りの50％の時間を通じて2倍の光を出すことができる。画像捕獲に必要な時間が長くなるにつれ、（フリッカーと瞬間的な負荷に関して）不透明な発光表示画素の動作を半透明なアパーチャAを含む画素の動作と切り離すことがより望ましくなる。

別の画像アーチファクトであるフリッカーは、画像表示装置と画像捕獲装置の両方に影響を与える可能性がある。この場合には、アクティブでない状態（画像捕獲に関して透明）とアクティブな（オン）状態の間で切り換わる少なくとも一部が透明な表示画素9を利用する一方で、フレーム時間の大半にわたって表示画素をアクティブにすることにより、画像表示に関するフリッカーが減少する。少なくとも一部が透明な領域を有する表示画素だけがアクティブな状態と非アクティブな状態の間で切り換わるため、スイッチングが表示の品質に及ぼす視覚的効果は小さくなり、ユーザーの認識状態が改善される。知られているように、画像捕獲の間に表示画素がオンであるというのは、表示光の一部が捕獲視野内で物体と遭遇し、捕獲装置40に向かって後ろに反射または散乱する可能性があることを意味する。この光は、ノイズ・レベルを上昇させたり、スペクトルを変化させたり、捕獲された画像を時間的に変化させたりする可能性がある。しかしこの戻ってくる光の効果は周囲光と比べてごくわずかであるように見える。さらに、クロックまたは搬送周波数信号を供給するといった電気的方法を利用してこのような効果を減らすことができよう。表示画素と半透明な画素（白色画素またはカラー画素）が同じタイミング図に従う場合には、フリッカーが見えるのを減らすため、捕獲時間を短くすること（より短いデューティ・サイクル）、またはフレーム速度を大きくすることが可能である。

すでに述べたように、例えば反射性電極が透過性電極で置き換えられたOLEDの実施態様では、ディスプレイ5から後方に発生する光（白色光または着色光）が画像センサー41に入射する可能性がある。この問題は、図3の一致したタイミング・パターン102と106aを持つウインドウ画素からだけ光を発生させることによってたいていは対処することができる。さらに、捕獲装置40は、同期した光阻止シャッターまたはセンサー・ドレインを備えることができる。あるいは画像が表示されている間の画像捕獲の時間を長くする（タイミング・パターン104"）と望ましい可能性がある。すなわちアパーチャAのウインドウ画素（半透明な画素9と半透明なカラー画素（図8））が少なくとも画像捕獲の一部の間は光を（前方と後方の両方に）出すことになろう。ディスプレイ制御装置122はディスプレイ5から出る光60を知っているため、画像センサー41が受け取った光信号からディスプレイ5からの発光を差し引いて光景に関する画像捕獲の品質を改善することができる。別の選択肢として、画像センサー41によって画像捕獲が同時になされている間に少なくとも一部が透明な表示画素9から出る光を周期的に減らし、光景に関する画像捕獲の品質を改善することができる。光の吸収を制御できることに基づいて画像を形成する実施態様（例えばLCD）では、一部が透明な表示画素9によって吸収される光の量をディスプレイ制御装置が同様に知っているため、対応する画像センサーに対して補正を行ない、一部が透明な表示画素9による周囲光の吸収を補正することができる。

統合された表示・捕獲装置100の構造が画像捕獲と画像表示に及ぼす影響に関する以前の議論は、統合された表示・捕獲装置100がOLEDタイプのデバイスである実施態様に主として焦点を当てたものであり、その場合には少なくとも一部が透明な画素9が発光画素になる。しかしすでに説明したように、統合された表示・捕獲装置100としてLCDタイプのデバイスも可能である。たとえそうであっても、すでに説明した画像のアーチファクト（例えばシャドウイング、フレア光、空間的パターンの周波数効果、空間的透過率の差）の多くは画像捕獲の品質に影響を与える可能性がある。同様に、すでに説明した画像表示のアーチファクト（例えば画素パターンの認知、局所的な明るさと全体的な明るさの差）の多くは、画像表示の品質に影響を与える可能性がある。したがってさまざまなハードウエアによる補正の多く（準周期的な画素パターニング、バッフル、フーリエ面フィルタリングなど）と画像処理による補正（画素の明るさの変更、シャドウの除去、利得とオフセットの調節など）をLCDの場合に適用してそのような画像アーチファクトの存在を減らすことができる。

本発明の統合された表示・捕獲装置100は特に遠隔通信に利用できる可能性があるため、この統合された表示・捕獲装置100がいかにしてネットワークと相互作用するかを考えることも価値がある。ここで図1の文脈に戻ると、この図には典型的な従来の双方向遠隔通信システムを示してあり、ここでは第1の見る人71が第1のディスプレイ73を見る。第1の画像捕獲装置75（ディジタル・カメラが可能）が第1の見る人71の画像を捕獲する。本発明では、ディスプレイと捕獲装置は図1におけるよりもはるかによく統合されている。例えば図16には、通信ネットワークの一部の中にある統合された表示・捕獲装置100をブロック・ダイヤグラムの形態で示してある。見る人80は、統合されたディジタル捕獲装置40を備えるディスプレイ5を見る。捕獲装置40は以下に説明するようにして画像信号を取得し、その画像信号を画像処理装置86に供給する。画像処理装置86は変調器82を通じて画像データを別の場所に送る。復調器84が別の場所から制御信号を供給してディスプレイ5を動作させる。図17のブロック・ダイヤグラムは、別の一実施態様における統合された表示・捕獲装置100の上面図であり、この統合された表示・捕獲装置100は、画像をネットワーク94または96に供給するため制御用論理処理装置90と通信モジュール92を備えている。

図18のブロック・ダイヤグラムは、第1の場所112にいる見る人80aと第2の場所114にいる見る人80bの間で通信するための統合された捕獲装置とディスプレイを利用した双方向通信システム110を示している。それぞれの見る人80aと80bは、統合された1つ以上の捕獲装置40を有するディスプレイ5を備える統合された表示・捕獲装置（100）を持っている。中央処理ユニット（CPU）116が、画像処理装置120と、表示の駆動と画像捕獲制御の機能を提供する制御装置122の制御を調節する。通信制御装置124が通信チャネル（例えば無線または有線のネットワーク・チャネル）に対するインターフェイスとして機能し、画像とそれ以外のデータを1つの場所から別の場所へと転送する。図18の配置では、双方向通信システム110はテレビ会議をサポートするように最適化されている。それぞれの見る人80aと80bは、自分がいる場所のディスプレイ5に表示される他方の人を見ることができるため、テレビ会議のための人の間の相互作用が促進される。画像処理用エレクトロニクス120は複数の目的に役立つ可能性がある。目的としては、例えば、離れたディスプレイ5における画像捕獲の品質の改善、離れたディスプレイ5に表示される画像の品質の改善、（画像品質、データ圧縮、暗号化などを改善することによる）遠隔通信のためのデータの処理などがある。図18は、一実施態様に役立つ構成要素の一般的な配置を示していることに注意されたい。捕獲装置40とディスプレイ5は、デバイス統合の一部としてフレームまたはハウジング（図示せず）の中にまとめて入れられている。システムのこのハウジングには、画像処理装置120、制御装置122、CPU116、通信制御装置124も含めることができる。ビデオ通信の分野でよく知られている使用される可能性のある音声通信と他のサポート要素も図示されていない。

要するに、本発明により、捕獲装置とディスプレイが物理的に薄いパッケージの中に自然に統合されるため、効果的なユーザー体験が提供される。特に、ディスプレイに形成されたピンホールではなく少なくとも一部が透明な表示画素9を使用することでディスプレイの充填因子またはアパーチャ比が改善されるため、ディスプレイのより広い領域から光を出したり反射したりすることが可能になり、寿命と表示画像の品質が改善される。ディスプレイの解像度も改善することができる。さらに、捕獲装置40を背後に備える一部が透明な表示画素9を使用することで、ディスプレイの残りの面積を反射性または光吸収性にすることができる。そのため光出力または反射光の量が改善されたり、ディスプレイと周囲のコントラストが改善されたりし、その結果として表示画像の品質が改善される。多数の透明な領域を形成すると、透明な領域の裏に位置する捕獲装置40が利用できる光の量が増えるため、または複数の捕獲装置40を利用できるため、画像捕獲能力が向上する。

本発明の統合された表示・捕獲装置100は、確かにテレビ会議またはビデオ電話として使用できる。さらに、この装置は、広告のための説明用ディスプレイとして、またはビデオ・ゲームや他のエンターテインメント形式の対話式ディスプレイとして利用することができよう。表示される画像の内容としては、写真、アニメーション、文章、チャート、グラフ、ダイヤグラム、静止した素材、ビデオ素材などや、他の内容が可能であり、個別に、または組み合わせて表示できる。特に、統合された表示・捕獲装置100は、ディスプレイのユーザー一人以上の画像を捕獲し、その画像の一部または全体を、表示される画像内容に組み込むのに使用できよう。統合された表示・捕獲装置100の他の用途（例えば医学でのイメージング）を考えることができる。統合された表示・捕獲装置100は、携帯電話や持ち運びの用途のサイズにすること、またはラップトップまたはデスクトップのコンピュータで使用するサイズにすること、またはエンターテインメント用ディスプレイで用いるサイズにすることができる。統合された表示・捕獲装置100は、光景を照らす目的で統合された発光装置を備えることもできる。これは、周囲光が少ない場合や、普通ではない捕獲スペクトルが望ましい場合に有用である可能性がある。照明装置は例えばディスプレイ5の外縁部の周囲に配置することができよう。同様に、統合された表示・捕獲装置100とともに用いる1つ以上の捕獲装置40において画像センサー41の代わりに他の光学的検知装置または検出装置を用いることができよう。例えば低解像度の広角レンズと、簡単な和と差の演算を行なうエレクトロニクスを備える4個組セルとを用いて動きを追跡し、例えば誰かが捕獲装置の視野に入ったことを認識することができよう。特別な装置（例えば光学的フィンガープリント・イメージャ）をセキュリティ上の特徴として設けることができよう。あるいは単一のセルからなる複数のセンサーを用いて周囲光のレベルを検出したり、太陽エネルギーを変換するための光電セルとして機能させたりすることができよう。最も基本的なのは、光学センサーは入射光に応答して有用な電気信号を発生させる必要があるということである。

本発明はディスプレイ装置で利用することができる。そのようなディスプレイ装置は、追加の層または光学装置（例えば保護層または封止層、フィルタ、偏光器（円偏光器））も備えることができる。好ましい一実施態様では、本発明は、1988年9月6日にTangらに付与されたアメリカ合衆国特許第4,769,292号や、1991年10月29日にVanSlykeらに付与されたアメリカ合衆国特許第5,061,569号などに開示されている小分子OLEDまたはポリマーOLEDからなるフラット-パネルOLED デバイスで使用される。有機発光ディスプレイの多くの組み合わせやバリエーションを利用してこのようなデバイス（例えば、トップ-エミッション型またはボトム-エミッション型のアクティブ-マトリックスOLEDディスプレイとパッシブ-マトリックスOLEDディスプレイの両方）を製造することができる。表示装置に関する他の技術を本発明で利用することができる。そのような技術として、例えば無機リン光材料に基づくデバイス（量子ドットなど）がある、

本発明をいくつかの好ましい実施態様を特に参照して詳細に説明してきたが、本発明の精神と範囲の中でさまざまなバリエーションや変更が可能であることが理解されよう。本発明の説明において提示したさまざまな図面は本発明の考え方を説明することを目的としたものであり、工学での図面のスケール通りになってはいないことを理解されたい。

A アパーチャ
5 ディスプレイ
6 第1の面
7 第2の面
8 表示画素
9 少なくとも一部が透明な表示画素（または半透明な画素）
10 基板
12 反射性電極
12a 反射性領域
13 透明な電極
13a 透明な領域
14 有機層
14R パターニングされた赤色有機材料
14G パターニングされた緑色有機材料
14B パターニングされた青色有機材料
14W パターニングされた白色有機材料
16 透明な電極
20 カバー
22 ブラック・マトリックス
24R 赤色フィルタ
24G 緑色フィルタ
24B 青色フィルタ
26 画素のグループ化
26a 画素のグループ化
26b 画素のグループ化
26c 画素のグループ化
30 薄膜電子素子
30a 一部が透明な電極
30b 薄膜トランジスタ
31 バス・コネクタ
32 絶縁平坦化層
34 絶縁平坦化層
40 捕獲装置（またはカメラ）
41 画像センサー
42 レンズ
42a レンズ素子
42b レンズ素子
42c レンズ素子
43 光軸
44 ハウジング
45 画素
46 行
47 列
60 光
62 光
64 バッフル
66 スペクトル・フィルタ
68 フーリエ面
69 開口絞り
70 フーリエ面フィルタ
71 第1の見る人
73 第1のディスプレイ
75 第1の画像捕獲装置
77 第1の静止画像メモリ
79 第1のD/A変換器
80 見る人
80a 見る人
80b 見る人
81 第1の変調器／復調器
82 変調器
83 第1の通信チャネル
84 復調器
85 第2の見る人
86 画像処理装置
87 第2のディスプレイ
89 第2の画像捕獲装置
90 制御用論理処理装置
91 第2の静止画像メモリ
92 通信モジュール
93 第2のD/A変換器
94 ネットワーク
95 第2の変調器／復調器
96 ネットワーク
97 第2の通信チャネル
100 統合された表示・捕獲装置
102 半透明画素のタイミング・パターン
104 捕獲のタイミング・パターン
106a 表示のタイミング・パターン
106b 表示のタイミング・パターン
106c 表示のタイミング・パターン
110 双方向通信システム
112 場所
114 場所
116 中央処理ユニット（CPU）
120 画像処理装置
122 制御装置
124 通信制御装置

Claims (34)

1つの光景の画像を捕獲している間に画像を表示するための統合されたイメージング装置であって、
a）画像内容の表示に用いる表示画素のアレイを有する電子式ディスプレイと；
b）複数個あってそのディスプレイの内部に統合されており、それぞれが、一部が透明な少なくとも1つの画素を含んでいるアパーチャと；
c）複数個あり、そのそれぞれが、1つの画像を捕獲し、レンズと画像センサー・アレイを少なくとも含んでいる捕獲装置とを備えていて、
それぞれの捕獲装置が上記ディスプレイの特定のアパーチャの少なくとも一部と関係づけられており；
上記一部が透明な画素も画像内容を表示するために光を供給する装置。

表示される画像内容の品質と捕獲される画像の品質の一方または両方に影響を与える画像処理用エレクトロニクスをさらに備える、請求項1に記載の装置。

上記画像処理用エレクトロニクスが、画像の局所的な非一様性、画像の全体的な非一様性、色の違いといった因子、またはこれらの組み合わせに関し、表示される画像内容を改善する手段を備える、請求項2に記載の装置。

上記画像処理用エレクトロニクスが、シャドウイング、周波数のアーチファクト、空間的非一様性、スペクトルの差、画像のフリッカーといった因子、またはこれらの組み合わせに関し、捕獲された画像の品質を向上させる手段を備える、請求項2に記載の装置。

上記画像処理用エレクトロニクスが、上記複数の画像捕獲装置から得られる捕獲された画像から複合画像を形成する、請求項2に記載の装置。

上記一部が透明な表示画素が周期的に制御されて光の発生と光の非発生が交互になされる、請求項1に記載の装置。

上記一部が透明な表示画素が、赤色画素、緑色画素、青色画素、白色画素のうちの1つ以上である、請求項1に記載の装置。

上記一部が透明な表示画素が周期的に制御されて一部が透明になる、請求項1に記載の装置。

上記複数の画像捕獲装置が、異なるイメージング属性に関してある範囲をカバーするように選択されていて、そのイメージング属性には、異なる焦点長、異なる捕獲視野、異なる倍率、異なる解像度、異なるスペクトル感度、またはこれらの組み合わせが含まれる、請求項1に記載の装置。

上記複数の画像捕獲装置が、可視スペクトルの内側と外側の両方に広がる異なる光感度を有する、請求項1に記載の装置。

各アパーチャが、パターニングされた一部が透明な複数の画素を、個別の状態またはクラスターの状態で、周期的または準周期的に備える、請求項1に記載の装置。

光を吸収または阻止するバッフルを有する隣接していない複数のアパーチャが存在していて、そのバッフルがアパーチャ間のスペースに設けられている、請求項1に記載の装置。

1つの光景の異なる部分の画像を捕獲する装置であって、
a）表示画素と、少なくとも2つのアパーチャを形成する一部が透明な複数の画素とを含む画素素子からなるアレイを有する表示スクリーンと；
b）1つのアパーチャに付随する第1の画像捕獲装置と；
c）異なる1つのアパーチャに付随する少なくとも1つの第2の画像捕獲装置とを備えていて；
上記一部が透明な画素が、画像内容を表示するために光を供給し；
各画像捕獲装置が、光景の一部からの光を対応する画像センサー・アレイに向けるためのイメージング用レンズを備えることにより、光景の異なる部分を捕獲する装置。

上記画像捕獲装置が、異なるイメージング属性に関してある範囲をカバーするように選択されていて、そのイメージング属性には、異なる焦点長、異なる捕獲視野、異なる倍率、異なる解像度、異なるスペクトル感度が含まれる、請求項13に記載の装置。

表示される画像内容の品質と捕獲される画像の品質の一方または両方に影響を与える画像処理用エレクトロニクスをさらに備える、請求項13に記載の装置。

上記画像処理用エレクトロニクスが、第1の画像捕獲装置と第2の画像捕獲装置から得られる捕獲された画像から複合画像を形成する、請求項15に記載の装置。

1つの光景の画像を捕獲している間に画像を表示するための統合されたイメージング装置であって、
a）画像内容の表示に用いる表示画素のアレイを有する電子式ディスプレイと；
b）少なくとも2つあってそのディスプレイの内部に統合されており、それぞれが、一部が透明な少なくとも1つの画素を含んでいるアパーチャと；
c）レンズと画像センサー・アレイを少なくとも備えていて、1つのアパーチャを通じて見ることによって画像を捕獲する少なくとも1つの捕獲装置と；
d）光学的センサーを備えていて、1つのアパーチャを通じて周囲光を回収する少なくとも1つの光学的感知装置とを備えていて；
上記一部が透明な画素も画像内容を表示するために光を供給する装置。

統合されたエレクトロニクス・デバイスからの画像の表示と捕獲を同時に行なう方法であって、
a）第1の画像を表示するため、表示画素と、混在した一部が透明な画素とからなるアレイを備える電子式ディスプレイを用意し；
b）上記一部が透明な画素を周期的に作動させ、1つのフレーム時間内に発光状態と光透過状態の両方を提供し；
c）1つ以上あり、そのそれぞれが、上記一部が透明な画素のうちの少なくとも1つを通じて見る画像捕獲装置を用いて光景の画像を捕獲する操作を含む方法。

表示される画像と捕獲される画像の両方に対して画像処理を行なって画像の品質を向上させる、画像の表示と捕獲を同時に行なう、請求項18に記載の方法。

1つのフレーム時間のうちで少なくとも上記一部が透明な画素が動作して光を出している部分の間に上記表示画素を使用して表示画像の内容を表示するための光を提供する、画像の表示と捕獲を同時に行なう、請求項18に記載の方法。

1つのフレーム時間のうちで上記一部が透明な画素が動作して光を出している部分の間だけ上記表示画素を使用して表示画像の内容を表示するための光を提供する、画像の表示と捕獲を同時に行なう、請求項18に記載の方法。

上記表示画素の出力強度をフレーム時間内に変化させて上記一部が透明な画素の動作を補償する、画像の表示と捕獲を同時に行なう、請求項18に記載の方法。

上記1つ以上の画像捕獲装置が、1つのフレーム時間のうちで上記一部が透明な画素が動作して光を透過させている部分の間でだけ光景の画像を捕獲する、画像の表示と捕獲を同時に行なう、請求項18に記載の方法。

光景の画像を捕獲している間に画像を表示するための統合されたイメージング装置であって、
a）画像内容の表示に用いる表示画素のアレイを有する電子式ディスプレイと；
b）複数個あり、そのそれぞれが、イメージング用レンズと、画像センサー・アレイとを少なくとも有する画像捕獲装置とを備えていて；
c）それぞれの画像捕獲装置が、上記ディスプレイに設けられていて一部が透明な少なくとも1つの画素を有するアパーチャを通じて見ることと、一部が透明なその画素も画像内容を表示するための光を提供することを特徴とする装置。

上記アパーチャのうちの少なくとも1つが、一部が透明な複数の画素によって形成されている、請求項24に記載の装置。

上記アパーチャのうちの少なくとも1つを有する上記一部が透明な複数の画素が連続的にパターニングされてそのアパーチャを形成している、請求項25に記載の装置。

アパーチャのうちの少なくとも1つを有する上記一部が透明な複数の画素がパターニングされ、一部が透明なその画素の少なくとも一部が互いにずれていて、表示画素のうちの少なくとも1つが中間スペースに位置するようにされている、請求項26に記載の装置。

上記一部が透明な複数の画素が、個別の状態またはクラスターの状態で、周期的または準周期的にパターニングされている、請求項26に記載の装置。

上記複数の画像捕獲装置が、異なるイメージング属性に関してある範囲をカバーするように選択されていて、そのイメージング属性には、異なる焦点距離、異なる捕獲視野、異なる倍率、異なる解像度、異なるスペクトル感度、またはこれらの組み合わせが含まれる、請求項25に記載の装置。

表示される画像内容の品質と捕獲される画像の品質の一方または両方に影響を与える画像処理用エレクトロニクスをさらに備える、請求項25に記載の装置。

上記画像処理用エレクトロニクスが、上記複数の画像捕獲装置から得られる捕獲された画像から複合画像を形成する、請求項30に記載の装置。

上記一部が透明な表示画素が周期的に制御されて発光と非発光が交互になされる、請求項25に記載の装置。

上記一部が透明な画素が、赤色画素、緑色画素、青色画素、白色画素のうちの1つ以上である、請求項25に記載の装置。

1つのフレーム時間のうちで少なくとも上記一部が透明な画素が画像内容を表示する光を提供している部分の間に上記表示画素が動作して表示画像の内容のための表示光を提供する、請求項25に記載の装置。

Images