JP2011259090A - 画像表示装置、電子機器、画像表示システム、画像取得方法、プログラム - Google Patents

Abstract

【課題】表示部の裏面で撮像装置により表示面側の被写体を撮像するとき、表示光の一部が迷光となり撮像装置に入射することで画像に現われる映り込みノイズを抑制する。
【解決手段】画像表示装置１Ａは、画像表示部１０の光透過部を通して撮像装置２０により取得された画像情報に対して、映り込みノイズを信号処理により抑制するノイズ抑制処理部２００を備える。制御部９０は、タイミング制御を行なう、好ましくは双方のタイミングの同期をとる。ノイズ抑制処理部２００は、画像を構成する信号成分の一部のみを処理対象とすることで全信号成分を処理対象とするよりも高速処理にする。たとえば、特定領域の画像情報のみ、および／または、画像情報を表す複数の信号の内の１つのみを処理対象とする。好ましくは、輝度情報との相関が強い信号成分（典型的には緑）や輝度情報のみを処理対象とすることで、ノイズ抑制効果の低減を回避しつつ処理の高速化を図る。
【選択図】図７

Description

本発明は、画像表示装置、電子機器、画像表示システム、画像取得方法、プログラムに関する。より詳細には、画像表示部の背面側に撮像装置を配置して表示面側の被写体を撮像する仕組みに関する。

画像表示装置と撮像装置を組み合わせることで、画像表示装置に画像表示以外の機能を付加する試みが盛んに行なわれている（たとえば特許文献１，２を参照）。

特開２００５−１７６１５１号公報 特開２００５−０１０４０７号公報

特許文献１に開示されている技術では、画像表示装置の画像表示部を構成する画素の間に微小レンズを有する光透過部（開口部）を複数設け、これら複数の光透過部を通過した光を複数のカメラで撮像する。ここで、画像表示装置を見る使用者の顔を複数の異なる角度から撮像し、得られた複数の画像を処理して使用者を正面から捉えた像を生成する。

特許文献２に開示されている技術では、たとえば、その図１５、図１６に示されているように、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像する。

しかしながら、画像表示部の裏面側で画像表示部を通して撮像すると、画像表示部を通さずに撮像した場合には現われない特有のノイズが撮像画像に現われる問題が発生することが分かった。

また、特許文献１に開示されている技術では、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。

また、特許文献１に開示された技術にあっては、微小レンズを開口部に設ける必要があり、しかも、正確に像を撮像装置に結ぶためには高精度の微小レンズが必要とされるため、画像表示装置の製造コストの増加を招く。しかも、使用者の正面の顔を撮像しているわけではなく、異なる角度から撮像した複数の画像から正面の画像を作り出すため、実写ではなく、いわゆるＣＧ（コンピュータグラフィックス）画像を相手側に提供するため、実際には違和感が大きい。

特許文献２に開示されている技術も、特許文献１に開示されている技術と同様に、光透過部が微小な場合、光透過部において回折現象が生じる結果、撮像装置に結像する像にボケが生じ、その影響で撮像画像は鮮明さに欠ける場合がある。加えて、複数の画素内に設けられた１つ光透過部を通過した光に基づき撮像装置において撮像するので、撮像装置に十分な光量の光を集光させることが困難である。

本発明は、上記事情に鑑みてなされたものであり、画像表示部の裏面側で画像表示部を通して撮像する場合に撮像画像に現われてしまう前述した特有のノイズを抑制することのできる仕組みを提供することを主たる目的とする。

また、本発明は、好ましくは、表示部の微小な光透過部を通して裏面に配置した撮像装置で表示面側の被写体を撮像するときに、光透過部で回折現象が生じることにより画像に現われる影響を抑制できる仕組みを提供することを目的とする。

また、本発明は、好ましくは、低コストで製造することができ、画像表示部に正対する使用者の画像を容易に取得し得る仕組みを提供することを目的とする。

また、本発明は、好ましくは、撮像装置に十分な光量の光を集光させることができる仕組みを提供することを目的とする。

本発明の第１の態様は、表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部（あるいは撮像装置：以下この項において同様）が配置可能になっているとともに、撮像部と対応する領域に光透過部が設けられている画像表示部と、光透過部を通して撮像部により取得された画像情報に対して、画像表示部の表示画像の撮像画像への映り込み成分を抑制する映り込みノイズ抑制処理を行なうノイズ抑制処理部と、を備えるものとした。要するに、信号処理の側面から、撮像画像に含まれている表示画像と対応した映り込み成分を抑制する趣旨である。

本発明の第２の態様は、表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、撮像部と対応する領域に光透過部が設けられている画像表示部と、光透過部を通して撮像部により取得された画像情報に含まれ得る画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、画像表示部における表示タイミングと撮像部における撮像タイミングを制御するタイミング制御部と、を備えるものとした。要するに、表示と撮像のタイミング制御の側面から、表示画像と対応した映り込み成分が撮像画像に含まれ難くなるようにする、あるいは、信号処理の側面からの対応と連携して撮像画像に含まれている表示画像と対応した映り込み成分を抑制する趣旨である。

本発明の第１の態様と第２の態様の何れにおいても、好ましくは、表示と撮像のタイミングの同期をとるとよい。なお、同期をとる場合には、信号処理の側面からの対応と連携して撮像画像に含まれている表示画像と対応した映り込み成分を抑制するとよい。

本発明の第１の態様においては、好ましくは、ノイズ抑制処理部は、画像を構成する信号成分の一部のみを処理対象とすることで、全信号成分を対象として処理する場合よりも処理の高速化を図るとよい。

「信号成分の一部」を如何様に決めるかは種々の態様を採り得るが、たとえば、撮像部により取得された画像情報から抽出した特定領域の画像情報のみを対象とする手法を採り、処理対象面積を削減することで、処理の高速化を図ることが考えられる。この際には、予め定められている特定の対象物（人物、人物の顔、人物の顔の特注部位など）の領域を特定領域として処理することで、感覚的なノイズ抑制効果を劣化させずに、処理の高速化を図るとよい。

また、撮像部により取得された画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について映り込みノイズ抑制処理を行なうことも考えられる。この際には、輝度情報との相関が強い信号成分（典型的には緑色成分）のみや、輝度情報のみについて処理することで、ノイズ抑制効果の低減を回避しつつ処理の高速化を図るとよい。

さらには、特定領域の画像情報のみを対象とする手法と撮像部により取得された画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）を対象とする手法を組み合わせてもよい。

好ましくは、光透過部を通して撮像部により取得された画像情報に対して、光透過部による回折効果によって画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部をさらに設けるとよい。

好ましくは、外光の波長分布を測定する波長分布測定部をさらに設け、波長分布測定部により測定された外光の波長分布を参照して回折補正処理を行なうようにするとよい。

さらに好ましくは、光透過部を通過した光を撮像部に集光する集光部を画像表示部と撮像部との間に配置することで、光透過部を通過した光が撮像部に確実に集光するようにするとよい。

本発明の一態様によれば、画像表示部の背面側に撮像部（あるいは撮像装置：以下この項において同様）を配置し、光透過部を通して表示面側の被写体を撮像するので、ディスプレイに正対している使用者の画像を容易に取得できる。

この際に、光透過部を通して撮像部により画像情報を取得したときに撮像画像に現れ得る映り込み成分に関しては、信号処理の側面から抑制する第１の手法や、表示と撮像のタイミングを制御する第２の手法によって映り込みノイズを抑制することができる。

また、好ましくは、光透過部において回折現象が生じることにより画像に与える影響を信号処理の側面からの対処により抑制できる。このとき、画像の全領域ではなく特定領域の画像情報のみを処理対象とすることで、全信号成分を対象として処理する場合よりも処理時間を短縮できる。

また、好ましくは、画像を構成する複数の信号成分の一部のみを回折補正処理の対象とすれば、全信号成分を対象として処理する場合よりも処理時間を短縮できる。この際に、輝度信号成分や輝度との相関が強い信号成分（たとえば緑色成分）のみを回折補正処理の対象とすれば、処理時間を短縮できることに加えて、全信号成分を対象として処理する場合と遜色のない（同等の）精度で補正処理ができる。

さらに好ましくは、光透過領域に配置する光透過部そのものの側面からの対処も行なうようにすれば、光透過部において回折現象が生じることを予め抑制しておくことができる。その結果、回折現象が生じることにより画像に与える影響をより確実に抑制できる。

好ましくは、画像表示部と撮像部との間に集光部を配置するようにすれば、光透過部を通過した光が撮像部に確実に集光されるので撮像部に十分な光量の光を集光させることができる。正確に像を撮像部の撮像面に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがなく、低コストで製造することができる。

図１は、第１実施形態の画像表示装置および画像表示システムの概念図である。 図２は、画像表示部を構成する複数の画素の最も典型的な配置の模式図である。 図３は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。 図４は、画像表示装置による撮像イメージを表す図である。 図５は、画像表示部の詳細を説明する図である。 図６は、映り込み現象を説明する模式図である。 図７は、第１実施形態の画像表示装置のブロック図である。 図８は、第１実施形態の画像表示システムのブロック図である。 図９は、映り込み現象による影響を信号処理の側面から対策する手法を採る場合に用いて好適な同期制御を説明する図である。 図１０は、映り込みノイズ抑制処理の第１例を説明する図である。 図１１は、映り込みノイズ抑制処理の第２例を説明する図である。 図１２は、映り込みノイズ抑制処理の第３例を説明する図である。 図１３は、映り込みノイズ抑制処理の第４例を説明する図である。 図１４は、回折現象による撮像画像への影響を説明する模式図である。 図１５は、撮像装置の手前にガラス板を配置して撮像した画像例を示す図である。 図１６は、第２実施形態の画像表示装置のブロック図である。 図１７は、第２実施形態の画像表示システムのブロック図である。 図１８は、光透過部の形状の一例を模式的に示す図（その１）である。 図１９は、光透過部の形状の一例を模式的に示す図（その２）である。 図２０は、第３実施形態の画像表示装置および画像表示システムの概念図である。 図２１は、第３実施形態の画像表示装置のブロック図である。 図２２は、第３実施形態の画像表示システムのブロック図である。 図２３は、本実施形態の画像表示装置が適用される電子機器の一例を示す図である。 図２４は、画像表示装置の第２変形例を示す図である。 図２５は、画像表示システムの第２変形例を示す図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。各機能要素について実施形態別に区別する際には、Ａ，Ｂ，…などのように大文字の英語の参照子を付して記載し、特に区別しないで説明する際にはこの参照子を割愛して記載する。図面においても同様である。各実施形態における種々の数値や材料は例示であり、それらに限定されるものではない。

説明は以下の順序で行なう。
１．基本概念（全体概要、映り込みノイズ抑制処理、回折補正処理、波長分布測定、光透過領域、撮像装置、画像表示部）
２．第１実施形態（全体概要、撮像装置の配置位置、画像表示部の断面構造、映り込みノイズ抑制に対応した構成、映り込み現象対策の同期制御）
３．映り込みノイズ抑制処理（第１例：処理面積縮小の手法）
４．映り込みノイズ抑制処理（第２例：第１例＋全信号）
５．映り込みノイズ抑制処理（第３例：第１例＋特定信号→輝度情報と相関ある信号）
６．映り込みノイズ抑制処理（第４例：第１例＋輝度情報、第１例〜第４例の纏め）
７．第２実施形態（第１実施形態＋回折補正に対応した構成、回折現象の対策原理）
８．第３実施形態（第２実施形態＋波長分布測定処理）
９．電子機器のモニタ装置の代替
10．総括（第１変形例：位置検出、第２変形例：３次元画像表示＋位置検出、第３変形例：ＴＶ会議システム、第４変形例：デジタルミラー）

＜基本概念＞
［全体概要］
本実施形態の撮像装置付き画像表示装置（以下単に「画像表示装置」と記す）にあっては、画像表示部の背面に撮像装置（あるいは撮像部：以下同様）を配置し、画像表示部の撮像装置と対応する光透過領域部分に光透過部を設ける。そして、光透過部（つまり画像表示部）を通して表示面側の被写体を撮像する。

光透過部を通過した光が撮像装置に集光される。画像表示部の背面側に撮像装置が配置されているので、ディスプレイに正対している使用者の顔、目、動作などを撮像装置によって正確に撮像することができる。画像表示部（表示装置の表示パネル）に裏面まで光が到達するような光透過部を設けて、対応する位置に撮像装置を設置することにより、ディスプレイに正対している使用者の顔、目、動作などを撮像装置で撮像することで正確に把握することができるので、表示装置の付加価値を簡便かつ安価に高めることができる。

必須ではないが、画像表示部と撮像装置との間に集光部を配置することで、光透過部を通過した光が撮像装置に確実に集光されるようにする。集光部を配置することで、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。

［映り込みノイズ抑制処理］
ここで、本実施形態の画像表示装置では、画像表示部の裏面側で画像表示部を通して撮像すると、画像表示部を通さずに撮像した場合には現われない特有のノイズが撮像画像に現われることがあることが分かった。そして、このようなノイズの発生原因を探求したところ、画像表示部の表示素子からの光（表示光）が画像表示部内部の各部で反射しいわゆる迷光となって撮像装置に入射することによるということを突き止めた。

以下では、画像表示部を通さずに撮像した場合には存在し得ないが、画像表示部の裏面側で画像表示部を通して撮像した場合に撮像画像に現われる特有のノイズを「映り込みノイズ」と称する。

この映り込みノイズの対策として、本実施形態では、画像表示部における表示タイミングと撮像装置における撮像タイミングを制御するタイミング制御部を設ける。タイミング制御部は、光透過部を通して撮像装置により取得された画像情報に含まれ得る画像表示部の表示画像の映り込み成分を抑制し得るように、双方のタイミングを制御する。

タイミング制御部は、表示タイミングと撮像タイミングを大きくずらすことで、換言すると、撮像と表示を非同期とし各フレームレートを大きく異ならせることで、見た目上、映り込みノイズを認識し難くする（視覚効果による映り込みノイズ抑制手法と称する）。撮像と表示が非同期の場合に、各フレームレートが近い場合には、撮像画像への表示画像の映り込みがいわゆるフリッカ現象として認識される（たとえば３０フレーム以下では認識される）。これに対して、フレームレートの差を３０フレームよりも大きくすることで、たとえ撮像画像への表示画像の映り込みがあったとしても、視覚上認識され難くなる。

ただし、各フレームレートの設定に自由度がない場合には、視覚効果による映り込みノイズ抑制手法を採ることができない。そこで、本実施形態では、他の態様として、信号処理の側面から映り込みノイズが撮像画像に与える影響を補正することで画像の高品質化を図るようにする（信号処理による映り込みノイズ抑制手法と称する）。

信号処理による映り込みノイズ抑制手法では、具体的には、先ず、映り込みノイズ抑制処理部は、画像表示部の映像データを参照して撮像装置で撮像された画像に乗った映り込みノイズを抑制（好ましくは完全に除去）することで、高品位な画像を取得する。つまり、撮像期間中に表示画像が映り込んだ場合でも、その映り込みの成分（映り込みノイズ）を映像データから判定し、撮像画像から映り込み成分を抑制（除去）する。表示素子からの光が迷光となって撮像装置に入射することによる映り込み成分が撮像されることが映り込みノイズの原因である。よって、映り込みノイズの量は、その映り込みノイズ（迷光）の元となっている映像データと相関があるので、映像データに基づいて算出された補正量を撮像データから差し引くことで、映り込み成分を除去することができる。

映り込みノイズ抑制処理を画像情報に対して施すに当たっては、画像情報を構成する各信号成分（たとえばＲ，Ｇ，Ｂの色画像情報）のそれぞれについて処理する方法や信号成分の一部について処理することでノイズ抑制処理時間の短縮を図る方法が考えられる。

前者の場合は画像情報を構成する全ての信号成分についてノイズ抑制処理を施すので、処理負荷は掛かるがノイズ抑制効果は後者よりも高い。一方、後者の場合は画像情報を構成する一部の信号成分についてノイズ抑制処理を施すので、ノイズ抑制効果は前者よりも低いが処理負荷は低減される。

後者の場合には、第１の手法として、撮像装置で取得された撮像画像の全領域の信号成分ではなく一部の領域の信号成分について処理する方法（「処理面積縮小の手法」と称する）を採ることで、ノイズ抑制処理時間の短縮を図ることが考えられる。つまり、処理面積の側面から一部の信号成分についてノイズ抑制処理を施す手法である。

また、各信号成分を代表する少なくとも１つ（全てではない）について処理する方法（「特定信号重視の手法」と称する）を採ることで、ノイズ抑制処理時間の短縮を図ることが考えられる。つまり、処理対象信号の数の側面から一部の信号成分についてノイズ抑制処理を施す手法である。

処理面積縮小の手法において、ノイズ抑制処理の対象とする画像の一部の領域を「特定領域」と称し、撮像画像の全領域から「特定領域」を除いた領域を「背景領域」と称する。撮像画像を「特定領域」と「背景領域」に分離して「特定領域」のみにノイズ抑制処理を施す。その後、ノイズ抑制済みの「特定領域」の画像（その信号成分）とノイズ抑制処理を施していない「背景領域」の画像（その信号成分）を合成して処理を完了させる。

撮像画像の全領域から分離（抽出）された「特定領域」は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として処理する場合と比較して計算量が少なくなり、ノイズ抑制処理時間は短縮されるから、処理を高速化できる。

「特定領域」を如何様に設定するかは種々の観点が考えられる。たとえば、撮像画像の中央部や隅など場所の側面から規定する手法（「場所重視の手法」と称する）と、使用者など予め定められている特定の（着目すべき）対象物の側面から規定する手法（「被写体重視の手法」と称する）に大別できる。後者の場合、全画面を対象としてノイズ抑制処理を行なう場合と比べて、たとえば人物像に対してのみノイズ抑制処理を行なうため高速処理が可能である。

場所重視の手法では、撮像装置により取得された画像情報から抽出するべき場所を予め決めておく、あるいは幾つかの候補場所を提示して使用者が選択できるようにしてもよい。場所重視の手法ではさらに、撮像画像から「特定領域」を抽出する際の形状（たとえば矩形や丸など）を規定することが考えられる。抽出する際の形状に関しても、予め決めておく、あるいは幾つかの候補形状を提示して使用者が選択できるようにしてもよい。

被写体重視の手法では、さらに、被写体の一部の領域の側面から規定する手法（「特定部位重視の手法」と称する）を採ることが考えられる。映り込みノイズのある画像からノイズ成分を除去して人物像を鮮明にしようとしたとき、人物の全体が鮮明でなくても、顔全体や、さらには、目、鼻、口などの顔の特徴を表わす特定部位のみを映り込みノイズのない鮮明な画像とする処理にしても違和感はない。こうすることで、処理対象となる画像の面積比がより少なくなるので、処理をより高速にできるし、実態的にはノイズ抑制効果は劣るものの感覚的なノイズ抑制効果を劣化させずに済む。

被写体重視の手法（特定部位重視の手法を含む）では、全体画像から特定した被写体領域を抽出する際には、忠実にその輪郭に沿って抽出する方法を採ることもできるが、処理のし易さを考えると、被写体の部分（被写体の一部の場合を含む）を抽出する際の領域形状は、予め決められた形状（たとえば矩形）とすることが好ましい。

被写体重視の手法（特定部位重視の手法を含む）は、画像全体から被写体や特定部位の部分を抽出（特定）する処理が必要となり、一般的には処理負荷が重くなる。これに対して、場所重視の手法は、画像全体から抽出する「特定領域」を予め決められた形状にできるので、抽出処理は簡単である。

被写体重視の手法（特定部位重視の手法も含む）を採る場合には、その被写体（特定部位を含む）の動きに「特定領域」を追従させることも考えられる。

場所重視の手法と被写体重視の手法（特定部位重視の手法も含む）を組み合わせることも考えられる。たとえば、最初は場所重視の手法を採ってたとえば撮像画像の中央部を処理対象とするが、途中からは被写体重視の手法（特定部位重視の手法）に切り替えることで、その被写体（特定部位を含む）の動きに「特定領域」を追従させることが考えられる。被写体が画面中央部からはみ出るような場合でも、着目すべき被写体（特定部位を含む）を重視したノイズ抑制処理を確実に実行できる。

「特定信号重視の手法」では、ノイズ抑制済みの信号成分と、ノイズ抑制処理を施していない残りの信号成分とを合成して処理を完了させる。画像を表わす全ての信号成分の数よりもノイズ抑制処理の対象とする信号成分の数が少ないので、全ての信号成分をノイズ抑制処理の対象とする場合と比較して計算量が少なくなり、ノイズ抑制処理時間は短縮されるから、処理を高速化できる。

特定信号重視の手法の場合、たとえば各色（たとえばＲ，Ｇ，Ｂ）の何れか一色に着目した処理にすることが考えられるが、その場合でも、特に、輝度信号成分や輝度信号成分との相関がある（相対的に強い）色画像情報に着目して処理するのが好ましい。実質的な（見た目の）ノイズ抑制効果を全信号を対象とする場合と同程度に維持しながら、ノイズ抑制処理の高速化を図ることができる。

たとえば、人間の視覚特性として特に輝度（明暗）に対する感受性が強い（敏感性がある）ことや、輝度成分は画像の緑成分と相関が強いことが一般的に知られており、このような人間の輝度に対する感受性を利用したノイズ抑制処理とすることが考えられる。すなわち、撮像画像の輝度成分のみノイズ抑制処理を行なう。

このような人間の視覚特性に着目した方法によれば、ノイズ抑制処理済み画像は、画像情報を構成する各信号成分全てにノイズ抑制処理した画像と比較すると映り込みノイズという観点では遜色のない抑制効果が得られるということが確認された。さらに、各信号成分全てにノイズ抑制処理を行なう場合と比べて処理時間を短縮できる。つまり、ノイズ抑制処理の高速化を実現できる。

本実施形態では、これらの各種のノイズ抑制処理手法の中から、利用者が処理速度やノイズ抑制精度などの観点から好みのものを選択できるようにしておく。

映像データを参照して撮像画像から映り込みノイズを抑制する際は、たとえば映像データに基づいて算出された補正量を撮像データから差し引くことになるが、表示と撮像のタイミングが同期していない場合には、不可能ではないがその処理や制御が煩雑になる。たとえば、映像データや撮像データの受渡しだけでなく、表示や撮像のタイミング情報の受渡しを行なう機能やそれらを制御する機能などが必要になると考えられる。

そこで、好ましくは、本実施形態では、信号処理の側面から映り込みノイズが撮像画像に与える影響を補正し得るように画像表示装置と撮像装置が協調して対応するようにする。「協調して対応する」とは、光透過部を通して撮像装置により取得された画像情報に含まれ得る画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、画像表示装置における表示タイミングと撮像装置における撮像タイミングを制御することを意味する。好ましくは、画像表示装置における表示タイミングと撮像装置における撮像タイミングの同期をとる。同期をとる際に、画像表示装置と撮像装置の何れが主（マスター）になり何れが従（スレーブ）になるかは任意である。実体的には、画像表示装置の表示タイミングに合わせて撮像装置の撮像を開始するようにするのがよい。

両タイミングの同期をとることで、撮像データに乗る表示画像成分の除去が容易に可能となり、高品位な撮像画像を取得することができる。たとえば、常に（毎フレーム）、画像表示装置の表示期間内の特定のタイミング（毎フレーム同じタイミング）で撮像装置の撮像を開始するようにする。こうすることで、撮像装置で取得された画像中に表示画像（映像データ）と相関のある映り込み成分が存在した場合でも、容易にその成分を抑制（除去）することができる。たとえば、撮像を表示装置の表示期間内の特定タイミングで開始することで、表示画像の撮像画面への映り込みを効果的に除去して、高品位な撮像画像を取得することができる。

映り込みノイズ抑制処理部は、画像表示装置に設けてもよいし、撮像装置あるいは撮像装置で取得された画像を利用する後段の装置側に設けてもよい。画像表示装置に映り込みノイズ抑制処理部を設ける場合には、撮像装置で取得された撮像画像を画像表示装置に渡すとよい。画像表示装置は、表示タイミングに合わせて、撮像データ中に含まれ得る映像データと相関のある映り込みノイズの量を見積もって、映り込み成分を除去すればよい。撮像装置や撮像装置よりも後段の装置に映り込みノイズ抑制処理部を設ける場合には、表示画像の情報（映像データ）を撮像装置や後段の装置に渡すとよい。撮像装置や後段の装置は、撮像タイミングに合わせて、撮像データ中に含まれ得る映像データと相関のある映り込みノイズの量を見積もって、映り込み成分を除去すればよい。

たとえば、映り込みノイズ抑制処理部は、入出力部を有するＣＰＵとメモリから構成された回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置と撮像装置を別体（着脱可能）に構成する場合には、画像表示装置の裏面に配置される撮像装置（電子機器の一例）に映り込みノイズ抑制処理部を設けることも考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては周辺機器に映り込みノイズ抑制処理部の機能を持たせることも考えられる。

［回折補正処理］
本実施形態の画像表示装置では、画像表示部の背面に撮像装置を配置し、光透過部（つまり画像表示部）を通して表示面側の被写体を撮像する。光透過領域を構成する光透過部の開口が小さい場合、開口を通して画像を撮像すると、いわゆる回折現象が生じる結果、撮像装置に結像する像にボケが生じる場合や鮮明さに欠ける場合がある。

この対策として、本実施形態では、好ましくは、信号処理の側面から光透過部において生じた回折現象による影響を補正するべく、本実施形態の画像表示装置および画像表示システムは、回折補正部を備えた構成とするとよい。好ましくは、光透過部そのものの側面（たとえば形状、大きさ、分布など）から、回折現象が生じることを抑制するとよい。

回折補正部は、撮像装置を介して取得された撮像画像情報やその他の画像データに対して、光透過領域を構成する光透過部において生じる回折の補正を施す。因みに「その他の画像データ」は、たとえば、撮像装置によって使用者などを撮像して得られた画像表示部に表示すべき画像データである。以下では、撮像画像情報と「その他の画像データ」を纏めて、単に「画像データ」と称することもある。

たとえば、光透過部（の開口）の一部または全部を、画像表示部の第１の方向および第２の方向に沿って周期的に設ける。このとき、第１の方向に沿った光透過部の長さをＬ_tr-1、第１の方向に沿った画素のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、「Ｌ_tr-1／Ｐ_px-1≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌ_tr-1／Ｐ_px-1≧０．８」を満足するようにするのがよい。線開口率Ｌ_tr-1／Ｐ_px-1の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第１の方向に沿った光透過部の長さＬ_tr-1は、第１の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第１の方向に沿った画素のピッチＰ_px-1は、第１の方向に沿った画素の１周期当たりの長さを意味する。

また、第２の方向に沿った光透過部の長さをＬ_tr-2、第２の方向に沿った画素のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、「Ｌ_tr-2／Ｐ_px-2≧０．５」を満足するようにするのがよく、さらに好ましくは、「Ｌ_tr-2／Ｐ_px-2≧０．８」を満足するようにするのがよい。線開口率Ｌ_tr-2／Ｐ_px-2の上限値には、光透過部が形成できる限りにおいて、特段の制約はない。ここで、第２の方向に沿った光透過部の長さＬ_tr-2は、第２の方向に光透過部を射影したときの、その形状に対応する線分の１周期当たりの長さを意味し、第２の方向に沿った画素のピッチＰ_px-2は、第２の方向に沿った画素の１周期当たりの長さを意味する。

第１の方向と第２の方向とは、直交している場合もあるし、場合によっては、９０度以外の角度で交わっている場合もある。後者の場合、光透過部の一部または全部は、画像表示部の第１の方向および第２の方向だけでなく、第３の方向、第４の方向、…に沿って周期的に設けられている場合もあり、このような場合には、各方向の内の少なくとも２方向に沿った光透過部の長さと、これらの少なくとも２方向に沿った画素のピッチとが、前記の関係（具体的には０．５倍以上、より好ましくは０．８倍以上）を満足していることが好ましい。

回折補正部における回折補正処理としては、撮像装置で取得された画像の鮮鋭度（解像度）を評価するレスポンス関数（空間周波数特性を示すもの）を用いて、その振幅（絶対値）であるＭＴＦ（modulation transfer function）を指標値とする処理にするとよい。公知のようにレスポンス関数は点像または線像強度分布をフーリエ変換して求められるものである。光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）は光透過部（微小開口部）の配置パターンと対応している。たとえば、ＭＴＦにおける高周波成分の大小により解像度低下の影響（画像のボケの程度）を評価できる。

したがって、光透過部の配置パターンを参照して撮像画像に対して逆フーリエ変換を施せば、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響が排除された画像を復元できる。つまり、撮像装置により取得された画像情報をフーリエ変換し、フーリエ変換した情報を、光透過部の配置状態と対応したレスポンス関数（ここではＭＴＦ）を用いて、逆フーリエ変換することで、回折補正処理を行なうとよい。

たとえば、光透過部の配置パターン（形状、大きさ、分布など）に基づき算出されるＭＴＦ逆変換処理（画像復元処理）を画像情報に対して施すことが好ましい。ＭＴＦ逆変換処理では、撮像画像の信号成分についてＭＴＦ形状データを用いてＭＴＦ逆変換処理を行なう。この際には、回折補正部に記憶部を設けて、光透過部の形状、大きさ、分布などの配置パターンを表すＭＴＦ形状データを予め記憶部に記憶しておくとよい。レスポンス関数の特定は、画像（を表す信号）をフーリエ解析するフーリエ変換法を適用すればよい。

ここで示した回折補正処理の手法は、光透過部を通して撮像装置で撮像することにより画像に現れる解像度低下の影響（画像のボケの程度）を補正する手法の一例に過ぎず、その他の公知の手法を適用してもよい。

回折補正部は、たとえば、入出力部を有するＣＰＵとメモリから構成された回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置と撮像装置を別体（着脱可能）に構成する場合には、画像表示装置の裏面に配置される撮像装置（電子機器の一例）に回折補正部を設けることも考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては周辺機器に回折補正部の機能を持たせることも考えられる。

ＭＴＦ逆変換処理を画像情報に対して施すに当たっては、画像情報を構成する各信号成分（たとえばＲ，Ｇ，Ｂの色画像情報）のそれぞれについて処理する方法や信号成分の一部について処理することで補正処理時間の短縮を図る方法が考えられる。映り込みノイズ抑制処理と同様の考え方である。各種のノイズ抑制処理手法の中から、利用者が処理速度やノイズ抑制精度などの観点から好みのものを選択できるようにしておくとよい。

なお、映り込みノイズ抑制処理と回折補正処理は、何れを先に実行し何れを後に実行するかは基本的には任意である。たとえば、映り込みノイズ抑制処理を先に実行し、その後に回折補正処理を実行する場合には、特段の不利な点はない。回折補正処理を先に実行し、その後に映り込みノイズ抑制処理を実行する場合には、映りこむ画像は回折成分を含まないので、元画像（回折有り＋映り込みあり）に対して、回折補正を先に行なうと、回折が無い＋映り込み成分に対して、回折処理を行なってしまうので、不具合が生じる。したがって、総合的に判断すると、映り込みノイズ抑制処理を先に実行し、その後に回折補正処理を実行する方がよい。

［波長分布測定］
本実施形態の画像表示装置および画像表示システムは、外光の波長分布を測定する波長分布測定部をさらに備えている構成とすることができる。このような構成を採用することで、回折補正処理では、光透過部の形状、大きさ、分布だけでなく、外光の波長分布も考慮することができ、ＭＴＦ逆変換処理の精度向上を図ることができ、外光（外部照明環境）に依らず、最適な画像を得ることができる。加えて、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）を図ることもできる。

波長分布測定部は、たとえば、ホトセンサなどの受光装置から構成することができる。波長分布測定部の制御は、たとえば、入出力部を有するＣＰＵとメモリから構成された制御回路として画像表示装置や画像表示装置を搭載した電子機器に設けることが考えられる。また、画像表示装置にパーソナルコンピュータ（電子計算機）などの周辺機器が接続された画像表示システムにあっては、周辺機器に波長分布測定部の制御の機能を持たせることも考えられる。

なお、回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要はない。しかしながら、このような場合にあっても、外光の波長分布を測定する波長分布測定部をさらに備えることで、たとえば回折補正部は撮像装置で取得された画像を撮像画像の波長分布で重み付けすることができる。その結果、撮像装置を介して取得された画像情報の精度の向上を図ることができる。

［光透過領域］
本実施形態の画像表示装置の画像表示部に設ける光透過領域は、撮像装置が配設される部分と対応した部分（少なくとも撮像素子の撮像面正面に位置する箇所）に形成されていればよい。そして、光透過領域には、表示面側の被写体像を表す光が通過する微小な開口部が形成された光透過部を少なくとも１個は存在させる、好ましくは複数設ける。

ここで、光透過領域は、光透過部が複数の画素に設けられている第１構成例とすることができる。また、光透過領域は、少なくとも１つ以上（好ましくは、少なくとも２つ以上）の画素の周囲に光透過部が設けられている第２構成例とすることもでき、この場合、光透過部は、画素の全ての周囲に設けられていてもよいし、画素の周囲の一部に（具体的には、画素の境界に相当する辺の内の連続する２辺以上に）設けられていてもよいが、後者の場合、画素の全周の１／４倍以上の長さ（連続する２辺にあっては、各一辺の長さの１／２倍以上）に亙り光透過領域が設けられていることが好ましい。

このような構成にあっては、複数の画素に設けられた光透過部を通過した光が撮像装置に集光され、あるいは、少なくとも１つ以上の画素の周囲に設けられた光透過部を通過した光が撮像装置に集光される。したがって、正確に像を撮像装置に結ぶために高精度の微小レンズを必要とせず、撮像装置付き画像表示装置の製造コストの増加を招くことがないし、撮像装置に十分な光量の光を集光させることができる。

第１構成例の場合、光透過部は複数の画素に設けられているが、たとえば（限定するものではないが）、３個以上の画素に設けられていることが望ましく、光透過領域を構成する光透過部の外形形状は、本質的には任意であり、長方形や正方形といった四角形を挙げることができる。

第２構成例の場合、光透過領域は、少なくとも１つ以上の画素の周囲に光透過部が設けられているが、たとえば（限定するものではないが）、３個以上の画素の周囲に設けられていることが望ましく、光透過部の外形形状は、本質的には任意である。たとえば、「Ｌ」字形状（光透過部が画素の境界に相当する辺の内の連続する２辺に設けられている形態）、「コ」の字形状（光透過部が画素の境界に相当する辺の内の連続する３辺に設けられている形態）、「ロ」の字形状（光透過部が画素の境界に相当する辺の全てに設けられている形態）、井桁状の形状（光透過部が画素の境界に相当する辺の全てに設けられており、かつ隣接する画素の間に共通して設けられている形態）を例示することができる。あるいは、撮像装置に備えられたレンズの射影像が含まれる画素群の周囲に光透過部を設ける構成とすることも考えられる。

［撮像装置］
本実施形態の画像表示装置において、撮像装置は、画像表示部の背面側に配置されていればよいが、画像表示部の中央部に配置されていることが好ましい。撮像装置は、１個であってもよいし、複数個であってもよい。撮像装置は、たとえば、ＣＣＤ素子やＣＭＯＳセンサを備えた周知、市販の固体撮像素子を用いればよい。

本実施形態の画像表示装置においては、画像表示部と撮像装置との間に、光透過領域の光透過部を通過した光を撮像装置に集光する集光部を設けることが好ましい。集光部としては、周知のレンズを挙げることができる。レンズとして、具体的には、両凸レンズ、平凸レンズ、メニスカス凸レンズの何れかから構成することができるし、反射鏡やフレネルレンズから構成してもよいし、これらの各種の凸レンズを組み合わせて構成することもできるし、凹レンズとこれらの各種の凸レンズとを組み合わせて構成することもできる。

撮像装置としては、周知、市販のビデオカメラやウェブカメラといった固体撮像装置を用いることもでき、これらの場合には、集光部と撮像装置が一体化している。

本実施形態の画像表示装置においては、画像表示部に入射し、光透過部を通過し、画像表示部から出射し、集光部に入射する光の光路には、カラーフィルタを配置しないことが好ましく、また、マイクロレンズなどの結像系を配置しないことが好ましい。

［画像表示部］
本実施形態の画像表示装置に用いる画像表示部は、画素（の表示部分）の隙間に光透過部を形成できればよく、印加される電圧や流れる電流によって輝度が変化する電気光学素子を画素の表示素子として用いたものであれば何でもよい。

たとえば、印加される電圧によって輝度が変化する電気光学素子としては液晶表示素子が代表例であり、流れる電流によって輝度が変化する電気光学素子としては、有機エレクトロルミネッセンス（Organic Electro Luminescence, 有機ＥＬ, Organic Light Emitting Diode, OLED；以下、有機ＥＬと記す）素子が代表例である。後者の有機ＥＬ素子を用いた有機ＥＬ表示装置は、画素の表示素子として、自発光型の発光素子（自発光素子）を用いたいわゆる自発光型の表示装置である。一方、液晶表示装置を構成する液晶表示素子は、外部からの光（前面や背面からの光、前面の場合は外光でもよい）の通過を制御するものであり、画素が発光素子を含むものではない。

たとえば、近年、フラットパネル表示装置（ＦＰ表示装置）として、有機ＥＬ表示装置に関心が高まっている。現在、ＦＰ表示装置として液晶表示装置（ＬＣＤ）が主流を占めているが、自発光デバイスではなく、バックライトや偏光板などの部材を必要とする。それ故、ＦＤ表示装置の厚さが増す、輝度が不足するなどの問題点がある。一方、有機ＥＬ表示装置は自発光デバイスであり、バックライトなどの部材が原理的に不要であり、薄型化、高輝度であるなど、ＬＣＤと比較して多数の利点を有する。特に、各画素にスイッチング素子を配したアクティブマトリクス型有機ＥＬ表示装置は、各画素をホールド点灯させることで消費電流を低く抑えることができ、しかも、大画面化および高精細化が比較的容易に行なえることから、各社で開発が進められており、次世代ＦＰ表示装置の主流になると期待されている。

自発光型の表示装置としては、有機ＥＬ表示装置の他に、プラズマ表示装置（ＰＤＰ：Plasma Display Panel）、電界放出型表示装置（ＦＥＤ：Field Emission. Display ）、表面伝導型電子放出素子表示装置（ＳＥＤ：Surface-conduction Electron-emitter Display ）などがあり、これらも本実施形態の画像表示部に適用できる。

ただし、本実施形態の画像表示装置としては、画像表示部の発光素子は自発光型の発光素子であることが望ましく、さらには有機ＥＬ素子からなる形態とすることがより好ましい。発光素子を有機ＥＬ素子から構成する場合、有機ＥＬ素子を構成する有機層（発光部）は有機発光材料からなる発光層を備えているが、具体的にはたとえば、正孔輸送層と発光層と電子輸送層との積層構造、正孔輸送層と電子輸送層を兼ねた発光層との積層構造、正孔注入層と正孔輸送層と発光層と電子輸送層と電子注入層との積層構造から構成することができる。

電子輸送層、発光層、正孔輸送層および正孔注入層を「タンデムユニット」とする場合、有機層は、第１のタンデムユニット、接続層、および、第２のタンデムユニットが積層された２段のタンデム構造も有していてもよく、さらには、３つ以上のタンデムユニットが積層された３段以上のタンデム構造も有していてもよい。これらの場合、発光色を赤色、緑色、青色と各タンデムユニットで変えることで、全体として白色を発光する有機層を得ることができる。

有機層の厚さの最適化を図ることで、たとえば、第１電極と第２電極との間で発光層において発光した光を共振させ、この光の一部を第２電極を介して外部に出射する構成とすることもできる。

本実施形態の画像表示装置において画像表示部の発光素子を有機ＥＬ素子とする場合、第１基板、第１基板上に設けられた駆動回路、駆動回路を覆う層間絶縁層、層間絶縁層上に設けられた発光部、発光部上に設けられた保護層、保護層上に設けられた遮光層、および、保護層および遮光層を覆う第２基板、を備えている形態とすることができる。

さらに、各画素は、駆動回路および発光部を備えており、遮光層には、開口部が設けられており、開口部、並びに、開口部の下方に位置する保護層の部分および層間絶縁層の部分によって光透過部が構成されており、第２基板と対向しない第１基板の面の側に、撮像装置が配置されている形態とすることができる。

ここで、画素の配列として、たとえば、ストライプ配列、ダイアゴナル配列、デルタ配列、レクタングル配列を挙げることができる。また、第１基板や第２基板として、高歪点ガラス基板、ソーダガラス（Ｎａ₂Ｏ・ＣａＯ・ＳｉＯ₂）基板、硼珪酸ガラス（Ｎａ₂Ｏ・Ｂ₂Ｏ₃・ＳｉＯ₂）基板、フォルステライト（２ＭｇＯ・ＳｉＯ₂）基板、鉛ガラス（Ｎａ₂Ｏ・ＰｂＯ・ＳｉＯ₂）基板、表面に絶縁膜が形成された各種ガラス基板、石英基板、表面に絶縁膜が形成された石英基板、表面に絶縁膜が形成されたシリコン基板、ポリメチルメタクリレート（ポリメタクリル酸メチル，ＰＭＭＡ）やポリビニルアルコール（ＰＶＡ）、ポリビニルフェノール（ＰＶＰ）、ポリエーテルスルホン（ＰＥＳ）、ポリイミド、ポリカーボネート、ポリエチレンテレフタレート（ＰＥＴ）に例示される有機ポリマー（高分子材料から構成された可撓性を有するプラスチック・フィルムやプラスチック・シート、プラスチック基板といった高分子材料の形態を有する）を挙げることができる。

駆動回路は、たとえば、１または複数の薄膜トランジスタ（ＴＦＴ）などから構成すればよい。層間絶縁層の構成材料として、ＳｉＯ₂、ＢＰＳＧ、ＰＳＧ、ＢＳＧ、ＡｓＳＧ、ＰｂＳＧ、ＳｉＯＮ、ＳＯＧ（スピンオングラス）、低融点ガラス、ガラスペーストといったＳｉＯ₂系材料；ＳｉＮ系材料；ポリイミドなどの絶縁性樹脂を、単独あるいは適宜組み合わせて使用することができる。画素を有機ＥＬ素子から構成する場合、発光部は上述した通りである。保護膜を構成する材料として、発光部で発光した光に対して透明であり、緻密で、水分を透過させない材料を用いることが好ましく、具体的には、たとえば、アモルファスシリコン（α−Ｓｉ）、アモルファス炭化シリコン（α−ＳｉＣ）、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）、アモルファス酸化シリコン（α−Ｓｉ_1-yＯ_y）、アモルファスカーボン（α−Ｃ）、アモルファス酸化・窒化シリコン（α−ＳｉＯＮ）、Ａｌ₂Ｏ₃を挙げることができる。遮光膜（ブラックマトリクス）は周知の材料から構成すればよい。必要に応じて、カラーフィルタを設けてもよい。

画像表示部は、表示素子（発光素子）を含む画素ユニットを複数配置してなるが、ここで、画素ユニットの数を（Ｍ，Ｎ）で表したとき、ＶＧＡ（６４０，４８０）、Ｓ−ＶＧＡ（８００，６００）、ＸＧＡ（１０２４，７６８）、ＡＰＲＣ（１１５２，９００）、Ｓ−ＸＧＡ（１２８０，１０２４）、Ｕ−ＸＧＡ（１６００，１２００）、ＨＤ−ＴＶ（１９２０，１０８０）、Ｑ−ＸＧＡ（２０４８，１５３６）の他、（１９２０，１０３５）、（７２０，４８０）、（８５４，４８０）、（１２８０，９６０）など、画像表示用解像度の幾つかを例示することができるが、これらの値に限定するものではない。

カラー表示を行なう画像表示部において、１つの画素ユニットは、たとえば、赤（Ｒ）色成分を表示する赤色画素、緑（Ｇ）色成分を表示する緑色画素、および、青（Ｂ）色成分を表示する青色画素の３種の画素から構成される。あるいは、これらの３種の画素に加え、輝度向上のために白色光を表示する画素、色再現範囲を拡大するために補色を表示する画素、色再現範囲を拡大するためにイエローを表示する画素、色再現範囲を拡大するためにイエローおよびシアンを表示する画素など、４種あるいはそれ以上の画素から構成することもできる。

本実施形態の画像表示装置は、電子機器の一例であり、表示パネル部分の裏面側に撮像装置を配置できるようになっていればよく、撮像装置が着脱可能なものでもよいし、固定的に装着されたものでもよい。

画像表示装置は、たとえば、パーソナルコンピュータを構成するモニタ装置の代替として使用することができるし、ノート型パーソナルコンピュータに組み込まれたモニタ装置の代替として使用することができる。さらには、携帯電話やＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機の代替として使用することもできる。

＜第１実施形態：映り込みノイズ抑制処理対応＞
［全体概要］
図１〜図２は、第１実施形態の画像表示装置および画像表示システムの概念を説明する図である。ここで、図１（１）は画像表示装置の概念図であり、図１（２）は画像表示システムの概念図である。図１（１−１）は画像表示装置を正面から眺めた概念図であり、図１（１−２）は画像表示装置を側面から眺めた概念図である。図１（２−１）は画像表示システムを正面から眺めた概念図であり、図１（２−２）は画像表示システムを側面から眺めた概念図である。図２は、画像表示部を構成する複数の画素の最も典型的な配置を模式的に示した図である。

図１（１）に示すように、第１実施形態の画像表示装置１Ａは、画像表示部１０、画像表示部１０の背面側に配置された撮像装置２０、画像表示部１０に形成された光透過部３０、光透過部３０を通過した光を撮像装置２０に集光する集光部２１を有する。撮像装置２０は画像表示装置１の背面に対して着脱可能に構成してもよい。画像表示部１０の撮像装置２０と対応する部分が光透過領域１２とされる。たとえば、画像表示部１０の少なくとも撮像装置２０の有効撮像領域と対応する部分が光透過領域１２とされる。撮像装置２０の有効撮像領域よりも光透過領域１２の方が狭い場合には、撮像装置２０での実際の撮像領域が狭くなる。

撮像装置２０は、画像表示部１０の背面側、より具体的には、画像表示部１０の背面側の中央部に配置されており、備えられた撮像装置２０は１つである。ここで、撮像装置２０および集光部２１は、これらが一体化された、すなわちＣＣＤ素子を備えた周知、市販のビデオカメラからなる。

画像表示装置１Ａは、たとえばパーソナルコンピュータを構成するモニタ装置の代替として使用される。すなわち、図１（２）に示すように、第１実施形態の画像表示システム２Ａは、画像表示装置１Ａ_2にパーソナルコンピュータ（電子計算機）の本体などの周辺機器７０Ａが接続されている。周辺機器７０Ａ（後述の他の周辺機器７０も同様）は電子機器の一例である。画像表示装置１Ａ_2は、周辺機器７０Ａのモニタ装置として機能するようになっている。画像表示装置１Ａ_2は、画像表示装置１Ａから一部の機能部を取り外したものである。その取り外した機能部は周辺機器７０Ａに組み込まれている。周辺機器７０Ａと画像表示部１０および撮像装置２０とはケーブル７２，７３で接続されている。

画像表示部１０の画素１１としては、自発光型の発光素子、具体的には、有機ＥＬ素子からなるものを使用する。画像表示部１０は、カラー表示のＸＧＡタイプの有機ＥＬ表示装置からなる。すなわち、画素ユニットの数を（Ｍ，Ｎ）で表したとき、（１０２４，７６８）である。

図２に示すように、１つの画素ユニットは、赤色を発光する赤色発光画素１１Ｒ、緑色を発光する緑色発光画素１１Ｇ、および、青色を発光する青色発光画素１１Ｂの３つの画素から構成されている。なお、画素の外縁を点線で示している（後述する他の例でも同様である）。

画像表示部１０には、表示素子を含む画素１１（１１Ｒ，１１Ｇ，１１Ｂ）が複数配置されており、画像表示部１０の光透過領域１２の複数の画素１１には光透過部３０が設けられている。この例では光透過部３０は画素１１ごとに各別のものとなっているが、このことは必須でなく、複数の画素１１に跨っていてもよい。また、この例では光透過部３０が画素１１ごとに（光透過領域１２の全ての画素１１に）設けられているが、このことは必須でなく、少なくとも光透過領域１２の複数の画素１１に光透過部３０が設けられていればよく、たとえば２画素おきなど光透過領域１２の一部の画素１１に光透過部３０が設けられていないものがあってもよい。

光透過部３０は、限定するものではないが、たとえば６×３＝１８個の画素１１に設けられている。１つの画素に１つの光透過部３０が設けられている。集光部２１は、これらの６×３＝１８個の画素１１における光透過部３０を通過した光を撮像装置２０に集光する。各光透過部３０の形状は長方形である。

図示しないが、画像表示部１０には、各走査線を駆動する走査信号供給ＩＣ、および、映像信号を供給する映像信号供給ＩＣが配されている。そして、走査信号供給ＩＣには走査線制御回路が、映像信号供給ＩＣには信号線制御回路が、それぞれ、接続されている。画像表示部１０に入射し、光透過部３０を通過し、画像表示部１０から出射し、集光部２１に入射する光の光路には、カラーフィルタは配置されていないし、マイクロレンズなどの結像系も配置されていない。

［撮像装置の配置位置］
図３〜図４は、撮像装置の配置位置と表示される画像との関係を説明する概念図である。ここで、図３（１）は、第１実施形態の画像表示装置１の場合を示し、図３（２）は、撮像装置が画像表示部の外側に固定された比較例の画像表示装置１Ｘの場合を示す。図４は、画像表示装置１Ａによる撮像イメージを表す図である。

図３（２）に示すように、撮像装置２０Ｘが画像表示部１０Ｘの外側に固定されている場合、撮像装置２０Ｘは画像表示装置１Ｘの使用者を斜めから撮像することになり、係る画像を画像表示部１０Ｘにて表示したとき、画像表示部１０Ｘには、斜めから撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができないし、画像表示部１０Ｘのどこを使用者が注視しているかを正確に判別することもできない。さらには、使用者が画像表示部１０Ｘに近づいた場合には、撮像範囲外になってしまう可能性が大である。

一方、図３（１）に示すように、第１実施形態の画像表示装置１Ａにあっては、撮像装置２０が画像表示部１０の背面側の中央部に配置されているので、画像表示装置１Ａの使用者を、撮像装置２０は正面から撮像することができ、係る画像を画像表示部１０にて表示したとき、画像表示部１０には、正面から撮像された使用者の画像が表示される。したがって、使用者の顔を正確に表示することができるし、画像表示部１０のどこを使用者が注視しているかを容易に、しかも、正確に判別することができる。また、使用者が画像表示部１０に近づいた場合でも、使用者の撮像を行なうことができる。

画像表示装置１Ａにあっては、光透過領域１２の複数の画素１１のそれぞれに設けられた光透過部３０（複数の光透過部３０）を通過した光が撮像装置２０に集光される。したがって、正確に像を撮像装置２０に結ぶために高精度の微小レンズを必要とせず、画像表示装置１Ａの製造コストの増加を招くことがないし、撮像装置２０に十分な光量の光を集光させることができる。

たとえば図４（１）には、一例として、観察者（撮像装置２０にとっての被写体）が画像表示部１０の表示画像を見ながら、ペンで指示している状態が示されている。画像表示装置１Ａ（画像表示部１０）の裏面には撮像装置２０が設けられており、図４（２）に示すように、表示面に正対している観察者の顔や目、および手やペンを撮像することができる。これにより、たとえば、観察者の視線を撮像画像から検出することができる。また、手やペンなどの向きから画像表示部１０の対応する指示点を特定することができるので、いわゆるポインタ機能を画像表示装置１Ａに容易に付加することができる。さらには、ポインタ機能以外にも、使用者の顔や目、手の動き、周辺の明るさなども撮像画像から分かるので、様々の情報を画像表示装置１Ａから得て、種々のシステムに送出することができ、画像表示装置１Ａの付加価値を高めることができる。

［画像表示部の断面構造］
図５は、画像表示部１０の詳細を説明する図である。ここで、図５（１）は、画像表示部１０の模式的な一部断面図である。図５（２）は、画像表示部１０の発光素子の詳しい構成を纏めた図表である。

画像表示部１０は、第１基板４０、第１基板４０上に設けられた複数のＴＦＴから構成される駆動回路、駆動回路を覆う層間絶縁層４１、層間絶縁層４１上に設けられた有機層６３（発光部）、有機層６３上に設けられた保護層６４、保護層６４上に設けられた遮光層６５、保護層６４および遮光層６５を覆う第２基板６７を備えている。

各画素１１は、駆動回路および発光部を備えており、遮光層６５には、開口部６５Ａが設けられており、開口部６５Ａ、並びに、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、および、層間絶縁層４１の部分などによって光透過部３０が構成されている。集光部２１および撮像装置２０は、第２基板６７と対向しない第１基板４０の面の側に配置されている。

より具体的には、ソーダガラスからなる第１基板４０上には駆動回路が設けられている。駆動回路を構成するＴＦＴは、第１基板４０上に形成されたゲート電極５１、第１基板４０およびゲート電極５１上に形成されたゲート絶縁膜５２、ゲート絶縁膜５２上に形成された半導体層に設けられたソース／ドレイン領域５３、並びに、ソース／ドレイン領域５３の間であって、ゲート電極５１の上方に位置する半導体層の部分が相当するチャネル形成領域５４から構成されている。図示した例にあっては、ＴＦＴをボトムゲート型としたが、トップゲート型であってもよい。

ＴＦＴのゲート電極５１は、走査線（図示せず）に接続されている。そして、層間絶縁層４１（４１Ａ，４１Ｂ）が、第１基板４０および駆動回路を覆っている。また、有機ＥＬ素子を構成する第１電極６１は、ＳｉＯ_XやＳｉＮ_Y、ポリイミド樹脂などからなる層間絶縁層４１Ｂ上に設けられている。ＴＦＴと第１電極６１とは、層間絶縁層４１Ａに設けられたコンタクトプラグ４２、配線４３、コンタクトプラグ４４を介して電気的に接続されている。図においては、１つの有機ＥＬ素子駆動部につき、１つのＴＦＴを図示した。

層間絶縁層４１上には、開口４６を有し、開口４６の底部に第１電極６１が露出した絶縁層４５が形成されている。絶縁層４５は、平坦性に優れ、しかも、有機層６３の水分による劣化を防止して発光輝度を維持するために吸水率の低い絶縁材料、具体的には、ポリイミド樹脂から構成されている。開口４６の底部に露出した第１電極６１の部分の上から、開口４６を取り囲む絶縁層４５の部分に亙り設けられ、有機発光材料からなる発光層を備えた有機層６３が形成されている。有機層６３は、たとえば、正孔輸送層、および、電子輸送層を兼ねた発光層の積層構造から構成されているが、図面では１層で表す。

第２電極６２上には、有機層６３への水分の到達防止を目的として、プラズマＣＶＤ法に基づき、アモルファス窒化シリコン（α−Ｓｉ_1-xＮ_x）からなる絶縁性の保護層６４が設けられている。保護層６４の上には、黒色のポリイミド樹脂からなる遮光層６５が形成されており、保護層６４および遮光層６５上にはソーダガラスからなる第２基板６７が配されている。保護層６４および遮光層６５と第２基板６７とは、アクリル系接着剤からなる接着層６６によって接着されている。

第１電極６１をアノード電極として用い、第２電極６２をカソード電極として用いる。具体的には、第１電極６１は、厚さ０．２μｍ〜０．５μｍのアルミニウム（Ａｌ）、銀（Ａｇ）、あるいは、これらの合金で構成される光反射材料からなり、第２電極６２は、厚さ０．１μｍのＩＴＯやＩＺＯといった透明導電材料や、厚さ５ｎｍ程度の銀（Ａｇ）、マグネシウム（Ｍｇ）などの光をある程度透過する金属薄膜（半透明金属薄膜）からなる。第２電極６２はパターニングされておらず、１枚のシート状に形成されている。場合によっては、有機層６３と第２電極６２との間に、厚さ０．３ｎｍのＬｉＦからなる電子注入層（図示せず）を形成してもよい。

以上、纏めると、本実施形態の画像表示装置１Ａにおける画像表示部１０の発光素子の詳しい構成は、図５（２）に示す通りである。

第１基板４０から保護層６４および遮光層６５までが表示素子基板である。第２基板６７は封止基板として機能する。ここで、第２基板６７に設けられる光透過部３０をなす開口部６５Ａは、表示素子基板の画素電極（第１電極６１）、ＴＦＴ（ゲート電極５１を含む）および配線がない部分にある。また、封止剤として機能する保護層６４、ＥＬ共通電極として機能する第２電極６２、画素分離膜として機能する絶縁層４５、平坦化絶縁膜として機能する層間絶縁層４１（４１Ａ，４１Ｂ）、ソース／ドレイン領域５３、ゲート絶縁膜５２は光透過性を持っている。したがって、表示面（第２基板６７）側より入射する外光は、開口部６５Ａを通って裏面（第１基板４０側）に到達することができる。

パネル裏面に設置される撮像装置２０は、光透過部３０（開口部６５Ａ）があるパネル裏面に撮像面を近接するように（ただし本例では集光部２１を介在させる）設置される。よって、表示面側より入射される外光は、撮像装置２０のレンズ（図示せず）で結像され、ＣＣＤやＣＭＯＳなどの固体撮像素子に入るので、表示面側に存在する被写体を撮像することができる。

［映り込みノイズ抑制に対応した構成］
図６〜図８は、映り込み現象とその対策を説明する図である。ここで、図６は、映り込み現象（詳しくは、その原因となる迷光が光透過部３０を通して撮像装置２０に入射する現象）を説明する模式図である。図７は、映り込み現象による影響を信号処理面から補正（抑制）するようにした第１実施形態の画像表示装置１Ａのブロック図である。図８は、映り込み現象による影響を信号処理面から補正（抑制）するようにした第１実施形態の画像表示システム２Ａのブロック図である。

第１実施形態の画像表示装置１Ａでは、表示素子に有機ＥＬ素子を使用しており、光透過部３０を設けるだけで、裏面（第１基板４０）側に撮像装置２０を設置することで、表示面（第２電極６２）側に存在する被写体を撮像できる。

このような簡便な構成は、いわゆるＬＣＤでは不可能ではないが困難性があるし、また可視光波長も含めて透過させる構造はさらに困難である。これに対して第１実施形態の画像表示装置１Ａは、光透過部３０を設けるだけであり、簡便な構成で裏面から表示面側にいる被写体を撮像できる。

ここで、本実施形態の画像表示装置では、画像表示部の裏面側で画像表示部を通して撮像すると、画像表示部を通さずに撮像した場合には現われない特有のノイズが撮像画像に現われることがあることが分かった。そして、このようなノイズの発生原因を探求したところ、画像表示部の表示素子からの光が画像表示部内部の各部で反射しいわゆる迷光となって撮像装置に入射することによるということを突き止めた。

図６に示すように、画像表示部１０は、遮光層６５に開口４６と開口部６５Ａが設けられている。トップエミッション構造になっており、開口部６５Ａでは、有機層６３（の発光層）から発せられた光が第２電極６２、保護層６４、接着層６６、第２基板６７を透過し出射光となって表示面から出射する。一方、光透過部３０は、遮光層６５に設けられた開口部６５Ａ、開口部６５Ａの下方に位置する保護層６４の部分、第２電極６２の部分、および、層間絶縁層４１の部分などによって構成される。配線４３は光透過部３０を遮らないように配置されている。

ここで、有機層６３（の発光層）から発せられた光は、全てが出射光となって表示面から出射するとはいえず、図示のように、その一部には、たとえば、接着層６６と第２基板６７との界面や第２基板６７と空気との界面にて反射し、内部に戻る光（いわゆる迷光）となるものが存在する。この迷光が、開口部６５Ａや配線４３の隙間を通過すると、撮像装置２０に到達し得るようになり撮像装置２０にて撮像されてしまう。迷光は画像表示部１０で表示した光の一部であるから、表示画像と同じような画像が撮像装置２０で撮像される。この現象は、画像表示部１０を通さずに撮像したときには起こらない現象である。

迷光による映り込みノイズが小さい場合には、撮像画像に対して映り込み成分を除去する処理を行なう必要は無いが、高品質な撮像画像を必要とする場合には、映り込み現象による影響を補正することが好ましい。

第１実施形態では、この映り込みノイズの対策として、信号処理の側面から映り込みノイズが撮像画像に与える影響を補正し得るように画像表示装置と撮像装置が協調して対応することで、画像の高品質化を図るようにする。

因みに、画像表示部１０の一の画素１１から発せられた光の一部が迷光となり撮像装置２０の何れの画素でどの程度の強さで撮像されるかは、画像表示部１０のデバイス構造（各部材の形状や大きさ配置、さらには光透過部の形状、大きさ、分布など）に依存する。したがって、撮像装置２０に撮像される画像表示部１０の画素１１ごとの映り込みの情報（映り込みパターンデータと称する）を予め測定し、その映り込みパターンデータを所定の記憶部に記憶しておき、映り込みノイズ抑制処理で使用するようにするとよい。

図７には、映り込み現象による影響を信号処理面から補正するようにした第１実施形態の画像表示装置１Ａが示されている。

第１実施形態の画像表示装置１Ａは、装置全体の動作を制御する制御部９０、画像表示部１０の表示動作を制御する表示用タイミングコントローラ９２、撮像装置２０（撮像部２０ａ）の撮像動作を制御する撮像用タイミングコントローラ９４を有する。

制御部９０は表示データやタイミング信号などを、表示用タイミングコントローラ９２に供給する。制御部９０は、撮像タイミング信号、シャッタ制御信号、ゲイン制御信号などを、撮像用タイミングコントローラ９４へ供給する。

表示用タイミングコントローラ９２は、図示しない信号線制御回路を具備し、信号線制御回路は、表示データや水平タイミング信号を図示しない映像信号供給ＩＣを介して画像表示部１０に供給する。表示用タイミングコントローラ９２は、図示しない走査線制御回路を具備し、走査線制御回路は垂直タイミング信号を図示しない走査信号供給ＩＣを介して画像表示部１０に供給する。

第１実施形態の画像表示装置１Ａは、撮像装置２０を介して取得された画像情報に対して、画像表示部１０の裏面側で光透過部３０を通して撮像した場合に発生する映り込みノイズの補正を施す映り込みノイズ抑制処理部２００を備えている。撮像装置２０（電子機器の一例）を画像表示装置１Ａと別体にする場合には、図に一点破線で示すように、映り込みノイズ抑制処理部２００（場合によっては撮像用タイミングコントローラ９４も）を撮像装置２０側に配置することも考えられる。

映り込みノイズ抑制処理部２００は、映り込みパターン記憶部２０２と演算処理部２０８を有する。図示しないが、演算処理部２０８は、撮像データ記憶部と映像データ記憶部を有する。映り込みノイズ抑制処理部２００の処理動作は制御部９０により制御される。

撮像装置２０に撮像される画像表示部１０の画素１１ごとの映り込みの情報を予め測定し、映り込みパターンデータＤ２０２を映り込みパターン記憶部２０２に記憶しておく。

撮像データ記憶部は、撮像装置２０から供給される撮像画像データＤ２０を記憶する。映像データ記憶部は、撮像装置２０における撮像タイミングに合わせて画像表示部１０の映像データＤ１０を表示用タイミングコントローラ９２より取り込んで記憶する。

演算処理部２０８は、映り込みパターン記憶部２０２に記憶されている映り込みパターンデータＤ２０２を参照して撮像画像データＤ２０（画素ごと）に対して補正係数ηを掛けて補正値とし、撮像画像データＤ２０（画素ごと）から補正値を減算することで、撮像データ記憶部に記憶した撮像画像データＤ２０に含まれる映り込みノイズを除去する。ηは迷光の強度と対応した指標であり、基準（標準的な）のデバイス・映像データにて予め測定された映り込みパターンデータＤ２０２から特定される。

たとえば、一の画素１１の映像データＤ１０の補正係数η分が撮像装置２０の一の画素の撮像画像データＤ２０の映り込みノイズとなっている場合、「Ｄ２０−Ｄ１０・η」により映り込みノイズを補正することができる。ηは迷光の強度と対応した指標であり、基準（標準的な）のデバイス・映像データにて予め見積もって（測定して）おくとよい。なお、撮像画像を確認しながら、映り込みノイズを認識できなくなるようにηを調整するようにしてもよい。

制御部９０は使用者から各種の指示を受付けて、映り込みノイズ抑制処理部２００やその他の各機能部の動作を制御する。たとえば、詳細を後述するように、本実施形態の映り込みノイズ抑制処理として種々の手順が考えられるが、それらは処理速度とノイズ抑制効果の各面で優劣があるので、何れの手法を採用するかを、利用者の指示により適宜選択できるようにするのがよい。

制御部９０は、ノイズ抑制処理部２００（演算処理部２０８）で得られた処理済み画像から、たとえば、使用者の視線検出、使用者の手の動作の検出など、多様な検出を行ない、画像表示部１０での表示に反映させる。

制御部９０は、画像表示部１０の表示タイミングと撮像装置２０の撮像タイミングを制御するタイミング制御部の機能を持ち、画像表示部１０における画像表示と撮像装置２０の撮像動作を制御する。たとえば、制御部９０から表示データおよびタイミング信号などが表示用タイミングコントローラ９２に送られ、表示用タイミングコントローラ９２から表示データおよび水平タイミング信号が図示しない信号線制御回路に送られ、一方、垂直タイミング信号が図示しない走査線制御回路に送られる。そして、画像表示部１０において、周知の方法に基づき画像表示がなされる。

一方、制御部９０から、撮像タイミング信号、シャッター制御信号、ゲイン制御信号などが撮像用タイミングコントローラ９４に送られ、撮像用タイミングコントローラ９４からこれらの信号が撮像装置２０に送られ、撮像装置２０の動作が制御される。このとき、好ましくは、制御部９０は、画像表示部１０の表示タイミングと撮像装置２０の撮像タイミングの同期をとるようにするとよい。

撮像装置２０を介して取得された画像情報（たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの画像情報）が、ノイズ抑制処理部２００を構成する撮像データ記憶部に送られる。このとき、同時に映像データ記憶部は、撮像装置２０における撮像タイミングに合わせて画像表示部１０の映像データＤ１０（たとえば、Ｒ、Ｇ、Ｂごとの映像データ）を取り込んで記憶する。

演算処理部２０８は、Ｒ、Ｇ、Ｂごとの映像データを映像データ記憶部から読み出して、そのデータを参照して、撮像データ記憶部から読み出したＲ、Ｇ、Ｂごとの撮像データに対して「Ｄ２０−Ｄ１０・η」なる演算を行うことで映り込みノイズを抑制し、映り込みノイズが抑制された撮像データを制御部９０に送出する。この際には、計算を簡素化して処理時間を短縮するべく、全信号成分についてではなく、一部の信号成分に着目した処理を行なってもよい。この点については詳細を後述する。

図８には、映り込み現象による影響を信号処理面から補正する第１実施形態の画像表示システム２Ａが示されている。図７に示した画像表示装置１Ａとの相違点は、画像表示装置１Ａから、制御部９０と映り込みノイズ抑制処理部２００を取り外して画像表示装置１Ａ_2とし、その取り外した制御部９０と映り込みノイズ抑制処理部２００が周辺機器７０Ａ（電子機器の一例）に組み込まれている。

すなわち、制御部９０は、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。映り込みノイズ抑制処理部２００も、画像表示装置１Ａに備えられてもよいし、画像表示装置１Ａ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ａに備えられてもよい。

画像表示装置１Ａや画像表示システム２Ａにおける映り込みノイズ抑制処理部２００や制御部９０の制御機能（特に映り込みノイズ抑制処理部２００を制御する機能）は、ソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。これらの点は、後述する回折補正処理を行なう場合や外光の波長分布の測定結果を反映させることで、撮像装置を介して取得された画像情報の精度の向上（たとえば色情報の精度向上）やＭＴＦ逆変換処理の精度向上を図る場合においても同様である。

すなわち、本実施形態において、映り込みノイズ抑制処理や回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理を行なう制御構成の仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）の仕組みを用いてソフトウェア的に実現され得る。ソフトウェアにより実行させる仕組みでは、ハードウェアの変更を伴うことなく処理手順などが容易に変更し得る。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。

映り込みノイズ抑制処理や回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて個別プログラムモジュールとして提供されてもよい。

また、映り込みノイズ抑制処理や回折補正処理や波長分布測定処理並びにこれらの処理に関わる制御処理の各機能を実現するための各部（機能ブロックを含む）の具体的手段は、ハードウェア、ソフトウェア、通信手段、これらの組み合わせ、その他の手段を用いることができ、このこと自体は当業者において自明である。また、機能ブロック同士が複合して１つの機能ブロックに集約されてもよい。また、コンピュータにプログラム処理を実行させるソフトウェアは、組合せの態様に応じて分散してインストールされる。

ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で構築すると、処理が複雑であっても、処理速度の低下が防止され、高いスループットを得る高速化を図ったアクセラレータシステムが構築される。

［映り込み現象対策の同期制御］
図９は、映り込み現象による影響を信号処理の側面から対策する手法を採る場合に用いて好適な同期制御を説明する図であって、撮像と表示のタイミング例を示す。

第１実施形態の仕組みにおいては、撮像開始を表示装置の表示期間内の特定タイミングで開始することで、表示画像の撮像画面への映り込みを効果的に除去して、高品位な撮像画像を取得することができる。

図９では、表示フレーム期間に対して撮像フレーム期間が長い場合を示しているが、これは一例に過ぎず、表示フレーム期間に対して撮像フレーム期間が短い場合でもよいし、表示フレーム期間と撮像フレーム期間が同じ場合でもよい。

撮像開始は、表示開始から時間ｔｓ後に開始するように、映像表示と撮像の同期をとる。たとえば、映像信号の垂直同期信号に合わせて、撮像装置２０のシャッタ信号の同期をとる。なお、表示と撮像の同期タイミングは、表示期間中のある特定時間であればよく、ブランキングなどの非表示期間であることは必須ではない。

このように撮像開始を表示期間内の特定時間で同期をとることで、撮像期間中に表示画像が映り込んだ場合でも、同期をとっているので、どのような表示画像が撮像画像に映り込んだかを映像データＤ１０から容易に判定できるようになる。そのため、撮像画像（撮像画像データＤ２０）から映り込み成分を容易に除去することができるようになる。

仮に、撮像と表示が非同期の場合、撮像画像への映り込みを除去することは不可能ではないが実際には困難であり、撮像画像には、いわゆるフリッカ現象が発生してしまう（特に撮像と表示のフレームレートが近い場合に顕著である）。

＜映り込みノイズ抑制処理：第１例（処理面積縮小処理）＞
図１０は、ノイズ抑制処理部２００による映り込みノイズ抑制処理の第１例を説明する図（フローチャート）である。第１例の映り込みノイズ抑制処理は、処理面積縮小の手法を適用するものである。

一例として、撮像装置２０から撮像データとしてＲ，Ｇ，Ｂの色画像データ（撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータ：映像データＤ１０）がノイズ抑制処理部２００に供給されるものとする（Ｓ１０）。ノイズ抑制処理部２００は、撮像装置２０から供給される映像データＤ１０を撮像データ記憶部に記憶する。

ノイズ抑制処理部２００の演算処理部２０８は、撮像画像を、「特定領域」と「背景領域」に分離し、「特定領域」を抽出する。たとえば、「被写体重視の手法」を適用し、「特定領域」を被写体の一部の領域（たとえば使用者の顔の領域）とし、顔とそれ以外の領域に分離して、顔領域を抽出する。顔領域の抽出アルゴリズムは、たとえばハール（Ｈａａｒ）状特徴分類などの公知の顔検出手法を用いればよい。因みに、特定した顔を内包する矩形領域を抽出するものとする。当然ながら抽出された顔領域は、撮像画像全体と比べると面積は小さい。

演算処理部２０８は、抽出した特定領域のみに対して、撮像画像に存在する表示画像の映り込みの影響を取り除く（Ｓ３０）。たとえば、ＴＶ電話では、背景よりも通話者間の表情や顔色の画質が重要であり、顔部分だけ映り込み成分を除去した画像でも違和感なく通話できる。

演算処理部２０８は、映り込みノイズ抑制済みの顔領域（特定領域）の抽出画像（その信号成分）と、映り込みノイズ抑制処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了させる（Ｓ４０）。

撮像画像の全領域から分離（抽出）された抽出領域（特定領域：この例では顔領域）は、撮像画像全体と比べると面積は小さいので、撮像画像の全領域を対象として映り込みノイズ抑制処理を施す場合と比較して計算量が少なくなり、処理時間は短縮されるから、処理を高速化できる。たとえば、全体領域に対して特定領域の面積が１／Ｘ倍である場合、処理速度は「α・Ｘ」倍となる。αは、１未満の値であり、全体領域から特定領域を抽出する処理（Ｓ２０）と、映り込みノイズ抑制処理済みの特定領域の画像と未処理の背景領域の画像とを合成する処理（Ｓ４０）によるオーバーヘッド分である。

＜映り込みノイズ抑制処理：第２例（全信号成分を対象）＞
図１１は、ノイズ抑制処理部２００による映り込みノイズ抑制処理の第２例を説明する図（フローチャート）である。第２例の映り込みノイズ抑制処理は、撮像装置２０で取得される画像情報を構成する各信号成分のそれぞれについて処理する方法である。

以下では、特定領域のみを処理対象とする第１例と併用する例で説明するが、このことは必須でない（後述する第３例〜第４例でも同様）。演算処理部２０８は、抽出した特定領域のみに対して、撮像画像に存在する表示画像の映り込みの影響を取り除く（Ｓ３０）。この際、演算処理部２０８は、映り込みノイズ抑制処理をＲ，Ｇ，Ｂの色画像データ別に施す。

たとえば、演算処理部２０８は、映り込みパターン記憶部２０２に記憶してある映り込みパターンデータＤ２０２を参照して、Ｒ，Ｇ，Ｂの色別（画素別）に補正係数ηを求める（Ｓ１３０）。

演算処理部２０８は、Ｒ，Ｇ，Ｂの色別に、映像データＤ１０に対してステップＳ１３０で求めた補正係数ηを掛けて撮像画像データＤ２０に対する補正データＤcompとする（Ｓ１５０）。

演算処理部２０８は、Ｒ，Ｇ，Ｂの色別にステップＳ１５０で求めた補正データＤcompで映像データＤ１０を補正（たとえば撮像の画素ごとに、映像データＤ１０から補正データＤcompを減算）して色別に映り込みノイズが抑制された画像を取得する（Ｓ１６０）。

演算処理部２０８は、映り込みノイズ抑制処理済みの特定領域の抽出画像（その信号成分）と、映り込みノイズ抑制処理を施していない背景領域の画像（その信号成分）とを合成して処理を完了（画像表示部１０に表示）させる（Ｓ４０）。

第２例は、画像情報を構成するＲ，Ｇ，Ｂの各信号成分について映り込みノイズ抑制処理を施すので、処理負荷は掛かるが、一部の信号成分に着目した処理に比べてノイズ抑制効果が高く、映り込み現象により撮像画像に現れるノイズを精度よく抑制できる。

なお、第２例に対する変形例として、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、色変換後の画像データについてデータ別に処理する方法を採ってもよい。この場合、色変換処理を伴うので処理負荷は掛かる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、色変換後に映り込みノイズ抑制処理を行なうことで、処理速度は、０．８倍程度（０．２は色変換処理によるロス分）になる。しかしながら、輝度成分と色成分とに分けて映り込みノイズ抑制処理を行うので、補正係数η（換言するとノイズ抑制効果）を輝度成分と色成分とで異ならせることができる利点がある。また、画像情報を構成する各信号について映り込みノイズ抑制処理を施すので、一部の信号に着目した処理よりもノイズ抑制効果が高く、映り込み現象により撮像画像に現れるノイズを精度よく補正できる。

＜映り込みノイズ抑制処理：第３例（特定信号重視処理：輝度信号成分との相関が強い緑色）＞
図１２は、ノイズ抑制処理部２００による映り込みノイズ抑制処理の第３例を説明する図（フローチャート）である。第３例の映り込みノイズ抑制処理は、撮像装置２０で取得される画像情報を構成する複数の信号成分の少なくとも１つ（ただし全てではない）について処理する特定信号重視の手法を適用する方法である。

以下では、画像情報を構成する複数（たとえばＲ，Ｇ，Ｂや色変換後のＸ，Ｙ，ＺやＹ，ｕ，ｖ）の内の何れか１つのみに着目した処理とする。以下、第２例との相違点を中心に説明する。なお、処理ステップを３００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。

演算処理部２０８は、映り込みノイズ抑制処理をＲ，Ｇ，Ｂの何れか一色についてのみ施す。この際には、好ましくは、輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理する、つまり、輝度信号成分との相関が強い緑色についてのみ映り込みノイズ抑制を施す。

たとえば演算処理部２０８は、映り込みパターン記憶部２０２に記憶してある映り込みパターンデータＤ２０２を参照してＧ色（画素別）の補正係数ηを求める（Ｓ３３０）。

演算処理部２０８は、Ｇ色について、映像データＤ１０に対してステップＳ３３０で求めた補正係数ηを掛けて撮像画像データＤ２０に対する補正データＤcompとする（Ｓ３５０）。

演算処理部２０８は、Ｇ色についてステップＳ３５０で求めた補正データＤcompでＧ色の映像データＤ１０を補正（たとえば、撮像の画素ごとに、映像データＤ１０から補正データＤcompを減算）して映り込みノイズが抑制された緑色画像を取得する（Ｓ３６０）。

演算処理部２０８は、ステップＳ３６０で取得した映り込みノイズが抑制された緑色画像と、それぞれ未処理のＲ色の撮像ＲデータおよびＢ色の撮像Ｂデータに基づいて、カラーの画像を取得する（Ｓ３８０）。

第３例は、画像情報を構成するＲ，Ｇ，Ｂの少なくとも一色（ただし全色でない）について映り込みノイズ抑制処理を施すので、全信号成分について処理する第２例比べてノイズ抑制効果は劣るが処理負荷が軽減され、処理の高速化が図れる。たとえば、３つ（たとえばＲ，Ｇ，Ｂ）の色成分の信号で画像を表わす場合に、１色に着目した処理とすることで、処理速度が３倍になる。

また、「処理面積縮小の手法」と「特定信号重視の手法」を併用することで、抽出した特定領域のみに対しての映り込みノイズ抑制処理による効果（処理速度α・Ｘ倍）が加わるので、全体としての処理時間を大幅に短縮できる。

第３例では、Ｒ色やＢ色に着目して処理することも考えられるが、好ましくは輝度信号成分との相関が相対的に強い緑色画像情報に着目して処理することで、全信号成分について処理する第２例に比べても遜色のないノイズ抑制効果が得られる。ノイズ抑制効果と処理負荷の両面からバランスのよいノイズ抑制処理が実現される。後述する第４例との比較では、色変換処理を伴わないので処理負荷は第４例よりも軽くなる。

＜映り込みノイズ抑制処理：第４例（特定信号重視処理：輝度信号成分）＞
図１３は、ノイズ抑制処理部２００による映り込みノイズ抑制処理の第４例を説明する図（フローチャート）である。第４例は、撮像装置２０で取得される画像情報を構成する各成分の撮像データの色空間を変換し、色変換後の複数の画像データの少なくとも１つ（ただし全てではない）について処理する方法である。以下では、色変換された複数（たとえばＸ，Ｙ，ＺやＹ，ｕ，ｖ）の画像データの内の何れか１つのみに着目した処理とする。なお、処理ステップを４００番台で示し、第２例と同様の処理ステップには第２例と同じ１０番台と１番台で示す。

演算処理部２０８は、抽出した特定領域のみに対して、映り込みノイズ抑制処理を施し映り込みの影響を取り除く（Ｓ３０）。この際、演算処理部２０８は、抽出された特定領域の画像について、ＲＧＢ色空間の撮像Ｒデータ、撮像Ｇデータ、撮像Ｂデータを、他の色空間（たとえばＸＹＺ色空間やＹｕｖ色空間）の画像データに変換する（Ｓ４１０）。

この例では、先に特定領域の画像情報を抽出してから色空間変換処理をするようにしているが、逆に、画像表示部１０で取得された全画像領域について色空間変換処理をしてから特定領域の画像情報を抽出してもよい。後者の場合は、特定領域の画像情報のみを対象として色空間変換処理する場合と比較して処理量が多くなり変換処理時間が掛る。この点を勘案して、本例では前者の手法を採っている。

演算処理部２０８は、映り込みノイズ抑制処理を、ステップＳ４１０で取得された色変換後の複数の画像データの内の何れか１つについてのみ施す、つまり、何れか１つの信号成分についてのみ映り込みノイズ抑制処理を施す。この際には、好ましくは、輝度信号成分に着目して処理する、つまり、色変換後の複数の画像データから輝度信号成分を抽出して、輝度信号成分のみ映り込みノイズ抑制処理を施す。以下では、ＲＧＢ色空間をＸＹＺ色空間に色変換したものとして説明する。

たとえば、演算処理部２０８は、映り込みパターン記憶部２０２に記憶してある映り込みパターンデータＤ２０２を参照して、輝度成分Ｙ（画素別）の補正係数ηを求める（Ｓ４３０）。

演算処理部２０８は、輝度成分Ｙについて、映像データＤ１０に対してステップＳ４３０で求めた補正係数ηを掛けて撮像画像データＤ２０に対する補正データＤcompとする（Ｓ４５０）。

演算処理部２０８は、輝度成分ＹについてステップＳ４５０で求めた補正データＤcompで輝度成分Ｙの映像データＤ１０を補正（具体的には、撮像の画素ごとに、映像データＤ１０から補正データＤcompを減算）して映り込みノイズが抑制された輝度成分Ｙの画像を取得する（Ｓ４６０）。

演算処理部２０８は、ステップＳ４６０で取得した映り込みノイズが抑制された輝度成分Ｙの画像と、それぞれ未処理の変換ＸデータＸ₎および変換ＺデータＺを、ＲＧＢ色空間の原画像に戻す、つまりＲＧＢ色空間の画像データに変換する（Ｓ４７０）。これにより、それぞれ映り込みノイズが抑制された赤色画像、緑色画像、青色画像が取得される。

演算処理部２０８は、ステップＳ４７０でＲ，Ｇ，Ｂの色別に取得した赤色画像Ｒ、緑色画像Ｇ、青色画像Ｂに基づいて、カラーの画像を取得する（Ｓ４８０）。ステップＳ４７０の色変換処理を割愛して直接に、カラーの画像を取得するようにしてもよい。

第４例は、色変換処理を伴うので処理負荷は掛かるが、色変換後の各信号成分の少なくとも１つ（ただし全てでない）について映り込みノイズ抑制処理を施すので全信号成分について処理する場合に比べて処理負荷が軽減される。したがって、全信号成分について処理する場合に比べてノイズ効果は劣るが、全体としての処理負荷は軽減される方向にあり、処理の高速化が図れる。

第４例において、輝度信号成分のみ映り込みノイズ抑制処理を施すようにすれば、全信号成分について処理する場合に比べても遜色のないノイズ抑制効果が得られる。補正効果と処理負荷の両面からバランスのよい処理となる。

［第１例〜第４例の纏め］
以上の説明から理解されるように、第１実施形態の映り込みノイズ抑制処理では、たとえば第１例〜第４例に挙げたものなど種々の手順が考えられるが、それらは処理速度とノイズ抑制精度の各面で優劣がある。したがって、何れの手法を採用するかを、利用者が適宜選択できるようにするのがよい。

＜第２実施形態：映り込みノイズ抑制処理対応＋回折補正対応＞
［回折補正に対応した構成］
図１４〜図１７は、回折現象とその対策を説明する図である。ここで、図１４は、回折現象による撮像画像への影響を説明する模式図である。図１５は、撮像装置２０の手前にガラス板を配置して撮像して得られた画像の一例を示す図である。図１６は、回折現象による影響を信号処理面から補正（補償）するようにした第２実施形態の画像表示装置１Ｂのブロック図である。図１７は、回折現象による影響を信号処理面から補正（補償）するようにした第２実施形態の画像表示システム２Ｂのブロック図である。

一般に、ある小さい光透過開口部を通して画像を撮像した場合、光透過開口部で、いわゆる回折現象が発生する。すなわち、図１４に示すように、微小な光透過部３０が所定ピッチで設けられた物体（画像表示部１０）の背面に撮像装置２０を設置して、光透過部３０を通して撮像すると、光透過部３０が光スリットとして作用する。このため、回折現象によって、画像「Ｃ」と同じ画像が等ピッチで画像「Ａ」および画像「Ｂ」として出現する結果、画像にボケが生じる。

撮像装置２０の手前に光透過部が設けられていない透明なガラス板を配置して撮像して得られた画像が図１５（１）に示されている。撮像装置２０の手前にある形状、大きさ、分布を有する光透過部を設けた透明なガラス板を配置して撮像して得られた画像が図１５（２）に示されている。図１５（２）に示す画像にはボケが認められる。一方、図１５（１）に示す画像にはボケが認められない。

回折光の強度と分布は、光透過部の形状、大きさ、分布、並びに、入射光（外光）の波長に依存する。回折によるボケが小さい場合には、撮像画像に対して回折を補正（補償）する処理を行なう必要は無いが、高品質な撮像画像を必要とする場合には、回折現象による影響を補正（補償）することが好ましい。

図１６には、映り込みノイズの影響を信号処理面からを抑制するようにした第１実施形態の構成に加えて、回折現象による影響を信号処理面から補正するようにした第２実施形態の画像表示装置１Ｂが示されている。

第２実施形態の画像表示装置１Ｂは、撮像装置２０を介して取得された画像情報に対して、光透過部３０において生じる回折の補正（補償）を施す回折補正部１００を備えている。回折補正部１００は、ＭＴＦ形状記憶部１０２とＭＴＦ逆変換部１０４を有する。ＭＴＦ逆変換部１０４は、図示しない画像格納メモリを有しており、撮像装置２０から供給される撮像画像データを画像格納メモリに記憶する。回折補正部１００の処理動作は制御部９０により制御される。

なお、第１実施形態で説明した映り込みノイズ抑制処理を先に実行し、その後に回折補正処理を実行する場合には、演算処理部２０８による処理済みの画像情報をＭＴＦ逆変換部１０４に供給する。回折補正処理を先に実行し、その後に映り込みノイズ抑制処理を実行する場合には、ＭＴＦ逆変換部１０４による処理済みの画像情報を演算処理部２０８に供給する。

制御部９０は使用者から各種の指示を受付けて、回折補正部１００やその他の各機能部の動作を制御する。たとえば、第２実施形態の回折補正処理として種々の手順が考えられるが、それらは処理速度と補正精度の各面で優劣があるので、何れの手法を採用するかを、利用者の指示により適宜選択できるようにするのがよい。

ＭＴＦ形状記憶部１０２は、光透過部３０の大きさ、形状、分布といったＭＴＦ形状データを記憶する。たとえば、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２に記憶しておく。

撮像装置２０を介して取得された画像情報、あるいはノイズ抑制処理部２００により映り込みノイズが抑制された処理済み画像が、回折補正部１００を構成するＭＴＦ逆変換部１０４に送られる。ＭＴＦ逆変換部１０４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）ごとの外光の波長と２次元ＦＦＴにて得られている光透過部３０のＭＴＦ形状データをＭＴＦ形状記憶部１０２から読み出してＭＦＴ逆変換を行ない、原画像に復元する。この際には、計算を簡素化して処理時間を短縮するべく、全信号成分についてではなく、一部の信号成分に着目した処理を行なってもよい。

制御部９０は、回折補正部１００（ＭＴＦ逆変換部１０４）で得られた復元画像から、たとえば、使用者の視線検出、使用者の手の動作の検出など、多様な検出を行ない、画像表示部１０での表示に反映させる。

図１７には、回折現象による影響を信号処理面から補正する第２実施形態の画像表示システム２Ｂが示されている。図１６に示した画像表示装置１Ｂとの相違点は、画像表示装置１Ｂから、制御部９０と回折補正部１００を取り外して画像表示装置１Ｂ_2とし、その取り外した制御部９０と回折補正部１００が周辺機器７０Ｂ（電子機器の一例）に組み込まれている。

すなわち、制御部９０は、画像表示装置１Ｂに備えられてもよいし、画像表示装置１Ｂ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ｂに備えられてもよい。回折補正部１００も、画像表示装置１Ｂに備えられてもよいし、画像表示装置１Ｂ_2に接続されたパーソナルコンピュータなどの周辺機器７０Ｂに備えられてもよい。

［回折現象の対策原理］
図１８〜図１９は、回折現象による影響を信号処理の側面から対策する手法を説明する図であって光透過部３０の形状の一例（図２とは異なる）を模式的に示す図である。

回折分布Ｐ_diffは、光透過部３０のパターン形状、大きさ、分布、並びに、入射光（外光）の波長が決定している場合、式（１）で算出することができる。二重積分においては、ｘおよびｙに関して−∞から＋∞まで積分する。

ここで、Ｐ_at（ｘ，ｙ）は光透過部３０のｘｙ平面での２次元パターンであり、λは入射光（外光）の波長であり、θ_x，θ_yはｘ方向およびｙ方向の回折角である。ここでは、計算を簡素化するために入射光（外光）の波長λの値を５２５ｎｍで一定とした。

式（１）は、Ｐ_at（ｘ，ｙ）の２次元フーリエ変換であるので、高速フーリエ変換（ＦＦＴ）を用いることで高速に算出することができる。Ｐ_diff（ｋ_x，ｋ_y）は位相情報を含んでいるが、実際には、撮像装置では回折光強度Ｈ_diff（ｋ_x，ｋ_y）を検出する。式（２）に示すように、回折光強度Ｈ_diff（ｋ_x，ｋ_y）は、Ｐ_diff（ｋ_x，ｋ_y）の絶対値の二乗に等しい。

ここで、回折光により撮像装置２０の空間解像度に変調が加えられたとして、式（３）からＭＴＦ（Modulation Transfer Function）を算出する。「ＦＦＴ［ ］」は、高速フーリエ変換を実行することを意味し、「ＩＦＦＴ［ ］」は、高速逆フーリエ変換を実行することを意味する。

ここで、ｆ_x，ｆ_yは、撮像装置２０を構成する各々の撮像素子におけるｘ方向およびｙ方向の空間周波数を表す。そして、撮像装置２０で得られる光透過部３０を通した画像Ｉ_cam(x,y)と、光透過部３０を通さないとしたときの原画像Ｉ_real(x,y)との間には、式（４）に示す関係が成立する。画像Ｉ_cam(x,y)は、たとえば、赤（Ｒ）色成分であれば撮像ＲデータＲ_cam(x,y)、緑（Ｇ）色成分であれば撮像ＧデータＧ_cam(x,y)、青（Ｂ）色成分であれば撮像ＢデータＢ_cam(x,y)とする。

すなわち、空間周波数領域において、画像Ｉ_cam(x,y)は、原画像Ｉ_real(x,y)とＭＴＦの積となる。よって、画像Ｉ_cam(x,y)から原画像Ｉ_real(x,y)を得るには、式（５）に基づいた処理を行なえばよい。換言すると、光透過部３０の形状、大きさ、分布、並びに、入射光（外光）の波長（纏めて「ＭＴＦ形状データ」）に基づき算出されるＭＴＦ逆変換処理を画像情報に対して施せばよい。原画像Ｉ_real(x,y)は、たとえば、赤（Ｒ）色成分であれば赤色原画像Ｒ_real(x,y)、緑（Ｇ）色成分であれば緑色原画像Ｇ_real(x,y)、青（Ｂ）色成分であれば青色原画像Ｂ_real(x,y)とする。

ここで、ＭＴＦは、光透過部３０の大きさ、形状、分布が決まれば、光透過部３０の２次元パターンをフーリエ変換したものを入射光（外光）の波長によりスケーリングすればよいので、容易に求めることができ、式（５）で示した関係から、原画像を容易に復元することができる。

たとえば、光透過部３０の形状が、図１８（１），（２）や図１９に例示されている。光透過部３０の一部または全部は、画像表示部１０の第１の方向（水平方向）および第２の方向（垂直方向）に沿って周期的に設けられている。

図１８（１）に示す例にあっては、画素の下部を第１の方向（水平方向）に沿って延びる光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられており、第２の方向（垂直方向）に沿って延びる光透過部３０Ｖは、各画素１１Ｒ，１１Ｇ，１１Ｂに設けられ、しかも、画素と画素との間に設けられている。図１８（２）に示す例にあっては、光透過部３０Ｈと光透過部３０とが繋がっている。図１９に示す例にあっては、光透過部３０Ｈは、３つの画素（１１Ｒ，１１Ｇ，１１Ｂ）から構成された１つの画素ユニットに跨って設けられているが、図１８（１）とは異なり、２つの部分から構成されている。

第１の方向に沿った光透過部３０の長さをＬ_tr-1、第１の方向に沿った画素１１のピッチをＰ_px-1としたとき、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1は、「Ｌ_tr-1／Ｐ_px-1≧０．５」を満足し、第２の方向に沿った光透過部３０の長さをＬ_tr-2、第２の方向に沿った画素１１のピッチをＰ_px-2としたとき、第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2は、「Ｌ_tr-2／Ｐ_px-2≧０．５」を満足する。これは、ＭＴＦの定義から説明できる。

ＭＴＦは、式（２）および式（３）から導かれる式（６）に示すように、光透過部３０のｘｙ平面での２次元パターンＰ_at（ｘ，ｙ）から得られる回折分布を二乗したものを高速フーリエ変換し、その結果をさらに二乗したものとして得られる。

そして、いわゆるウィナー・キンチンの定理から、自己相関関数のフーリエ変換はパワースペクトラムに等しいので、ＭＴＦは、光透過部３０で生ずる回折分布の自己相関関数の絶対値の二乗に等しい。自己相関関数が、空間周波数領域においていわゆる無相関である点（すなわち、０になる点）が存在しない条件は、「Ｌ_tr-1／Ｐ_px-1≧０．５」、「Ｌ_tr-2／Ｐ_px-2≧０．５」である。ＭＴＦが０になる点を持たない場合、式（５）は特異点を持たないので、原画像の再現が容易になる。それ故、第１の方向の線開口率Ｌ_tr-1／Ｐ_px-1および第２の方向の線開口率Ｌ_tr-2／Ｐ_px-2の値は０．５以上であるといった要請を満足することが好ましい。

＜第３実施形態：映り込みノイズ抑制処理対応＋回折補正対応＋波長分布測定対応＞
図３０〜図３２は、第３実施形態の画像表示装置および画像表示システムを説明する図である。ここで、図３０は、第３実施形態の画像表示装置および画像表示システムの概念を説明する図である。図３０（１）は画像表示装置の概念図であり、図３０（２）は画像表示システムの概念図である。図３０（１−１）は画像表示装置を正面から眺めた概念図であり、図３０（１−２）は画像表示装置を側面から眺めた概念図である。図３０（２−１）は画像表示システムを正面から眺めた概念図であり、図３０（２−２）は画像表示システムを側面から眺めた概念図である。図３１は、波長分布測定を可能にした第３実施形態の画像表示装置１Ｃのブロック図である。図３２は、波長分布測定を可能にした第３実施形態の画像表示システム２Ｃのブロック図である。

図３０（１）に示すように、第３実施形態の画像表示装置１Ｃは、第２実施形態の画像表示装置１Ｂに加えて、外光の波長分布を測定する波長分布測定部１１０を備えている。波長分布測定部１１０は画像表示装置１に対して着脱可能に構成してもよい。本例では、波長分布測定部１１０は、画像表示部１０のパネル上部に配置されているが、これは一例であって、外光の波長分布を測定し得る場所である限り、何れの箇所に配置してもよい。

図３０（２）に示すように、第３実施形態の画像表示システム２Ｃは、第２実施形態の画像表示システム２Ｂに加えて、外光の波長分布を測定する波長分布測定部１１０をさらに備えている。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。波長分布測定部１１０は、外光の波長分布を測定し得る場所である限り、画像表示装置１Ｃ_2の近傍の何れの場所に配置してもよい。

波長分布測定部１１０は、たとえば、赤色フィルタが取り付けられたホトセンサ、緑色フィルタが取り付けられたホトセンサ、および、青色フィルタが取り付けられたホトセンサの組から構成されている。

図３１に示すように、画像表示装置１Ｃでは、同装置内の制御部９０が波長分布測定部１１０の測定動作を制御する。波長分布測定部１１０により取得された情報が回折補正部１００に供給される。図３２に示すように、画像表示システム２Ｃにおいては、周辺機器７０Ｃに組み込まれた制御部９０が、波長分布測定部１１０の測定動作を制御する。

第２実施形態で説明したように、光透過部３０のｘｙ平面での回折分布Ｐ_diff（ｋ_x，ｋ_y）を求める式（１）には、入射光（外光）の波長λが含まれている。したがって、外光の波長分布を測定することで、各波長のＭＴＦを外部環境に応じて適合させることができ、一層正確に回折に対する補正、補償を行なうことができ、より高品質な撮像画像を得ることができる。

波長分布測定部１１０を設けることで、外光の波長分布（光のスペクトル）を得ることができる。そして、得られた外光の波長分布と撮像装置２０の分光スペクトルを掛け合わせることで、撮像画像の各原色（赤色、緑色、青色）ごとの波長分布を得ることができる。そして、波長ごとにＭＴＦ逆変換処理した画像を撮像画像の波長分布で重み付けすることで、一層正確に回折に対する補正、補償を行なうことができる。

第３実施形態にあっては、このような構成を採用することで、一層正確に回折に対する補正、補償を行なうことができるだけでなく、撮像装置２０を介して取得された画像情報の精度の向上（たとえば、色情報の精度向上）を図ることができる。

＜電子機器のモニタ装置の代替＞
図３３は、本実施形態の画像表示装置１が適用される電子機器の一例を示す図である。画像表示装置１Ａ，１Ｂ，１Ｃは、たとえばパーソナルコンピュータを構成するモニタ装置の代替に限らず、各種の電子機器のモニタ装置の代替として使用することができる。たとえば、ノート型パーソナルコンピュータ（図３３（１）参照）に組み込まれたモニタ装置の代替として使用することができる。携帯電話（図３３（２）参照）や、図示しないが、ＰＤＡ（携帯情報端末，Personal Digital Assistant）、ゲーム機器に組み込まれたモニタ装置、従来のテレビジョン受像機などの代替として使用することができる。何れも、画像表示部１０には、図示しない光透過部３０が形成されている光透過領域１２が設けられ、表示面側と反対側の裏面には撮像装置２０が設けられる。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は前記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で前記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、前記の実施形態は、クレーム（請求項）に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

さらには、前記の実施形態で説明した画像表示装置１や画像表示システム２は、さらなる変形を加えることができ、さらなる発明を抽出することもできる。以下に、幾つかの変形例を挙げる。

［第１変形例：位置検出］
図示しないが、第１変形例は、撮像装置２０を介して取得された画像情報に基づき被写体の位置情報を求める位置検出部を備えるようにしたものである。位置検出部は画像表示装置に設けてもよいし周辺機器に設けてもよい。

光透過部３０を通して撮像すると、映り込み現象によるノイズが撮像画像に現れ得るので、被写体の位置情報の検出精度の低下が懸念される。しかしながら、先に説明したノイズ抑制処理部２００を備えた構成による作用効果を享受できるので、光透過部３０を通して撮像することによる映り込み現象によるノイズの影響を抑制でき、被写体の位置情報を精度よく取得できる。被写体として、たとえば、画像表示部１０を観察する観察者（使用者）の手や指、眼球、使用者が手に持っている棒状の物体などを挙げることができる。

位置検出部によって被写体（たとえば、手や指、眼球、棒状の物体（たとえば、ペンや鉛筆など））の位置情報を時系列に連続して求めれば、被写体の動きを求めることができる。このため、被写体の動きに対応した各種の処理（たとえば、パーソナルコンピュータのモニタ装置における画像の上下、左右への移動、画面を閉じる処理、別の画面を開く処理など）を行なうことができる。被写体の動きと各種の処理との関係を位置検出部に登録しておけばよい。

場合によっては、被写体の位置情報から被写体の形状（たとえば、身体や手の形で表現される形状や、指の組合せで表現される形状、仕草など）を位置検出部によって周知のアルゴリズムやソフトウェアに基づいて求めることで、被写体の形状に対応した各種の処理を行なうこともできる。また、位置検出部によって被写体の向いている方向を求めれば、被写体の向いている方向に対応した各種の処理を行なうことができる。

［第２変形例：３次元画像表示＋位置検出］
図３４〜図３５に示す第２変形例は、画像表示部１０の裏面側に複数（典型的には２つ）の撮像装置２０を配置し、撮像装置２０のそれぞれからの画像情報に基づき画像表示部１０から使用者までの距離を位置検出部７１Ｄが求めるようにしたものである。位置検出部７１Ｄは画像表示装置１Ｄに設けてもよいし周辺機器７０Ｄに設けてもよい。第１実施形態に対する変形例で示すが、これには限らず他の実施形態にも適用できる。

光透過部３０_1，３０_2を通して撮像することにより、映り込み現象によるノイズが撮像画像に現れ得るので、観察者の位置情報の検出精度の低下が懸念される。しかしながら、先に説明したノイズ抑制処理部２００を備えた構成による作用効果を享受できるので、光透過部３０_1，３０_2を通して撮像することによる映り込み現象によるノイズの影響を抑制でき、観察者の位置情報を精度よく取得できる。

観察者の位置情報を、観察者の両眼の位置データとすることができるし、画像表示部１０から観察者までの距離データとすることもできる。また、観察者の位置情報を、複数の撮像装置２０_1，２０_2を介して撮像された画像データの観察者の両眼に基づき求めることができる。観察者の位置情報を画像表示部１０に表示する構成とすることができ、これによって、観察者が３次元画像を容易に観察できるように、最適な３次元画像観察位置を観察者に明確に指示し、あるいは最適な３次元画像観察位置に観察者を誘導することができる。あるいは、画像表示部１０に表示する画像を観察者の位置情報に基づいて最適化する構成とすることができる。

［第３変形例：ＴＶ会議システム］
図示しないが、第３変形例は、前記実施形態の仕組みをいわゆるテレビジョン電話会議システム（テレビ電話装置）に適用したものである。第３変形例は、撮像装置２０を介して取得された画像情報を送出する情報送出部と、外部から入力された画像情報に基づく画像を画像表示部１０に表示する表示制御部をさらに備えたものとする。撮像装置２０を介して取得された画像情報を情報送出部によって外部に送出し、外部から入力された画像情報に基づく画像を表示制御部によって画像表示部１０に表示する。情報送出部と表示制御部は画像表示装置に設けてもよいし周辺機器に設けてもよい。

第３変形例によれば、撮像装置２０が画像表示部１０の背面側に配置されているので、画像表示部１０の正面に位置する使用者の顔を撮像することができ、画像表示部１０に映し出される相手側の使用者の顔が自分の方を向いているため、従来のＴＶ電話システムにあった互いの視線が合わないといった違和感を与えることがない。先に説明したノイズ抑制処理部２００を備えた構成による作用効果も享受できるので、映り込みノイズの影響が抑制された状態の使用者の顔などの画像が相手方の画像表示部１０に映し出される。

［第４変形例：デジタルミラー］
図示しないが、第４変形例は、前記実施形態の画像表示装置１をいわゆるデジタルミラーとして機能させるものである。

第４変形例は、撮像装置２０を介して取得された画像情報を記憶する画像情報記憶部と、撮像装置２０を介して取得された（取得されている状態も含み得る）画像情報および画像情報記憶部に記憶された画像情報に基づく画像を画像表示部１０に表示する表示制御部をさらに備えたものとする。画像情報記憶部と表示制御部は、画像表示装置に設けてもよいし周辺機器に設けてもよい。

第４変形例によれば、画像表示部１０において、過去と現在の使用者の比較結果を、別々のウインドウに表示することができる。先に説明したノイズ抑制処理部２００を備えた構成による作用効果も享受できるので、映り込みノイズの影響が抑制された状態の使用者の顔などの画像が画像表示部１０に映し出される。

１…画像表示装置、２…画像表示システム、１０…画像表示部、１００…回折補正部、１０２…ＭＴＦ形状記憶部、１０４…ＭＴＦ逆変換部、１１…画素、１１０…波長分布測定部、１２…光透過領域、２０…撮像装置、２０ａ…撮像部、２１…集光部、３０…光透過部、７０…周辺機器、９０…制御部、２００…ノイズ抑制処理部、２０２…映り込みパターン記憶部、２０８…演算処理部

Claims (20)

1. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部と、
   前記光透過部を通して前記撮像部により取得された画像情報に対して、前記画像表示部の表示画像の撮像画像への映り込み成分を抑制する映り込みノイズ抑制処理を行なうノイズ抑制処理部と、
   を備えた画像表示装置。
2. 前記画像表示部における表示タイミングと前記撮像部における撮像タイミングの同期をとるタイミング制御部を備えている
   請求項１に記載の画像表示装置。
3. 前記ノイズ抑制処理部は、前記光透過部を通して前記撮像部により取得された画像情報から抽出した特定領域の画像情報に対して前記映り込みノイズ抑制処理を行ない、前記特定領域を除く背景領域の前記映り込みノイズ抑制処理がなされていない画像情報と前記特定領域について前記映り込みノイズ抑制処理を行なった画像情報とを合成する
   請求項１または請求項２に記載の画像表示装置。
4. 前記ノイズ抑制処理部は、前記画像情報を表す複数の信号の内の少なくとも１つ（ただし全てではない）について、前記映り込みノイズ抑制処理を行なう
   請求項１から請求項３の何れか一項に記載の画像表示装置。
5. 前記ノイズ抑制処理部は、前記画像情報を表す複数の信号の内で、輝度情報との相関があるものについて、前記映り込みノイズ抑制処理を行なう
   請求項４に記載の画像表示装置。
6. 前記ノイズ抑制処理部は、前記画像情報を表す複数の信号を少なくとも輝度情報を表す信号成分が含まれるように色空間変換し、変換後の複数の信号の内で、前記輝度情報を表す信号成分について、前記映り込みノイズ抑制処理を行なう
   請求項４に記載の画像表示装置。
7. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部と、
   前記光透過部を通して前記撮像部により取得された画像情報に含まれ得る前記画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、前記画像表示部における表示タイミングと前記撮像部における撮像タイミングを制御するタイミング制御部と、
   を備えた画像表示装置。
8. 前記タイミング制御部は、前記画像表示部における表示タイミングと前記撮像部における撮像タイミングの同期をとる
   請求項７に記載の画像表示装置。
9. 前記画像表示部は前記撮像部と対応する領域に複数の前記光透過部が設けられており、
   前記複数の光透過部を通して前記撮像部により取得された画像情報に対して前記光透過部による回折効果によって前記画像情報に現われる影響を抑制する回折補正処理を行なう回折補正部を備えた
   請求項１から請求項８の何れか一項に記載の画像表示装置。
10. 外光の波長分布を測定する波長分布測定部を備え、
    前記回折補正部は、前記波長分布測定部により測定された外光の波長分布を参照して前記回折補正処理を行なう
    請求項９に記載の画像表示装置。
11. 前記光透過部を通過した光を前記撮像部に集光する集光部
    を備えた請求項１から請求項１０の何れか一項に記載の画像表示装置。
12. 前記表示素子は、発光素子である
    請求項１から請求項１１の何れか一項に記載の画像表示装置。
13. 画像を撮像する撮像部と、
    表示素子を含む画素が複数配列されており、背面側に前記撮像部が配置されているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部と、
    前記光透過部を通して前記撮像部により取得された画像情報に対して、前記画像表示部の表示画像の撮像画像への映り込み成分を抑制する映り込みノイズ抑制処理を行なうノイズ抑制処理部と、
    を備えた電子機器。
14. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置されているとともに前記撮像部と対応する領域に光透過部が設けられている画像表示部の前記光透過部を通して前記撮像部により取得された画像情報に対して、前記画像表示部の表示画像の撮像画像への映り込み成分を抑制する映り込みノイズ抑制処理を行なうノイズ抑制処理部
    を備えた電子機器。
15. 画像を撮像する撮像部と、
    表示素子を含む画素が複数配列されており、背面側に前記撮像部が配置されているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部と、
    前記光透過部を通して前記撮像部により取得された画像情報に含まれ得る前記画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、前記画像表示部における表示タイミングと前記撮像部における撮像タイミングを制御するタイミング制御部と、
    を備えた電子機器。
16. 画像を撮像する撮像装置と、
    表示素子を含む画素が複数配列されており、背面側に前記撮像装置が配置可能になっているとともに、前記撮像装置と対応する領域に光透過部が設けられている画像表示部を具備した画像表示装置と、
    前記光透過部を通して前記撮像装置により取得された画像情報に対して、前記画像表示部の表示画像の撮像画像への映り込み成分を抑制する映り込みノイズ抑制処理を行なうノイズ抑制処理部と、
    を備えた画像表示システム。
17. 画像を撮像する撮像装置と、
    表示素子を含む画素が複数配列されており、背面側に前記撮像装置が配置可能になっているとともに、前記撮像装置と対応する領域に光透過部が設けられている画像表示部を具備した画像表示装置と、
    前記光透過部を通して前記撮像装置で取得された画像情報に含まれ得る前記画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、前記画像表示部における表示タイミングと前記撮像装置における撮像タイミングを制御するタイミング制御部と、
    を備えた画像表示システム。
18. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部に画像を表示し、
    表示面側の被写体を前記光透過部を通して前記撮像部で撮像して画像情報を取得し、
    取得された画像情報に対して、前記画像表示部の表示画像の前記撮像部により撮像された画像情報への映り込み成分を抑制する映り込みノイズ抑制処理を行なう
    画像取得方法。
19. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに、前記撮像部と対応する領域に光透過部が設けられている画像表示部に画像を表示し、
    表示面側の被写体を前記光透過部を通して前記撮像部で撮像して画像情報を取得し、
    前記光透過部を通して前記撮像部により取得された画像情報に含まれ得る前記画像表示部の表示画像の撮像画像への映り込み成分を抑制し得るように、前記画像表示部における表示タイミングと前記撮像部における撮像タイミングを制御する
    画像取得方法。
20. 表示素子を含む画素が複数配列されており、背面側に画像を撮像する撮像部が配置可能になっているとともに前記撮像部と対応する領域に光透過部が設けられている画像表示部における表示タイミングと、前記光透過部を通して前記撮像部により表示面側の被写体を撮像する撮像タイミングの同期をとる工程と、
    前記撮像部により取得された画像情報に対して、前記画像表示部の表示画像の前記撮像部により撮像された画像情報への映り込み成分を抑制する工程と、
    をコンピュータに実行させるプログラム。