JP2017068030A - 表示装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】Ｓ／Ｎ比が良好な画像が得られ、かつ表示装置における表示が妨げられることなく相手側と良好にコミュニケーションを行う。【解決手段】表示パネル２は複数の画素を有し光の透過が可能な光透過領域と画素を駆動するための電極とを備えている。カメラ１０は表示パネルの背面側に配置され、光透過領域を介して光学像を受光する撮像素子を備える。複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であり、光透過領域において行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列され、行方向における色画素の間隔は列方向における同一色の色画素の間隔以下で、かつ画素の各々において行方向の幅は前記列方向の幅よりも大きく、撮像素子は行方向の長さが列方向の長さよりも大きい。【選択図】図３

Description

本発明は、テレビ電話又はテレビ会議などに用いられる撮像装置付き表示装置に関し、特に、有機ＥＬパネル等の透過型の表示パネルの背面に撮像装置が配置された表示装置に関する。

一般に、テレビ電話又はテレビ会議などのように、リアルタイムで双方向通信を行うようにした通信システムが知られている。例えば、テレビ会議システムにおいて用いられる機器には、テレビ会議を行う拠点毎にカメラなどの撮像装置とディスプレイなどの表示装置が備えられている。そして、１つの拠点において撮像装置による撮像で得られた映像が他の拠点に送られ、他の拠点では表示装置に当該映像が表示される。

つまり、テレビ会議システムの利用者は、表示装置に表示された相手の顔を見つつ会話を行う。そして、利用者の顔は撮像装置によって撮像されて映像として相手側に送られる。

ところが、テレビ会議など双方向通信に用いられる機器では、一般に撮像装置は別に表示装置の隣などに配置される。このため、表示装置の画面を正面から見る利用者は、撮像装置によって斜め方向から撮像されることになる。この結果、表示装置に表示される顔において視線が別の方向を向いており、会話を行っても何となくもぎこちなく、面と向かって会話する場合と比べて違和感がある。

さらには、撮像装置と表示装置とが別々に製造される関係上、不可避的に製造コストが高くなってしまう。

このような問題を解決するため、例えば、表示装置の背部に撮像装置を配設した画像表示装置がある（特許文献１参照）。特許文献１に記載の画像表示装置では、表示装置の遮光部材の一部に撮像装置に光を導くための開口部を設け、表示装置を介して利用者を撮影するようにしている。これによって特許文献１に記載の画像表示装置では、表示装置を目視している利用者を正面から撮像することができ、表示装置に表示される相手と視線を一致させれば、利用者はコミュニケーションを向上させることができる。

さらに、特許文献１に記載の画像表示装置では、開口部を設けたことに起因して、開口部を透過した光によって周期的に生じる回折像を回復処理するための回折補正部が備えられている。

特開２０１１−２４２６１６号公報

ところが、特許文献１に記載の画像表示装置では、開口部は、微小な光透過部であるので、その開口面積は極めて小さい。この結果、撮像装置には十分な光量が到達せず、撮像装置においてＳ／Ｎ比が良好な画像を得ることは困難である。なお、表示装置における画像の表示を考慮すると、開口部を大きくすることは困難である。

そこで、本発明の目的は、撮像装置においてＳ／Ｎが良好な画像が得られ、かつ表示装置における表示が妨げられることなく相手側と良好にコミュニケーションを行うことのできる表示装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による表示装置は、画像が表示される表示パネルと当該表示パネルの背面側に配置された撮像装置とを有する表示装置であって、複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え、前記光学像に応じた画像データを出力する撮像手段と、前記撮像手段の出力である画像データに対して所定の回復処理を行う回復手段とを有し、前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であり、前記光透過領域において、行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列されており、前記行方向における前記色画素の間隔は、前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きいことを特徴とする。

本発明による制御方法は、複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え前記光学像に応じた画像データを出力する撮像手段とを備える表示装置の制御方法であって、前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であって、前記光透過領域において行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列され、前記行方向における前記色画素の間隔は前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きく、前記撮像素子の画素の配列方向は前記表示手段の電極の配列方向と平行あるいは直交するように配置され、前記画像データに対して前記行方向および前記列方向のいずれか一方について前記回復処理を行う第１のステップと、前記第１のステップが行われた後、前記行方向および前記列方向の他方について回復処理を行って、回復処理済み画像データを得る第２のステップと、を有することを特徴とする。

本発明による制御プログラムは、複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え前記光学像に応じた画像データを出力する撮像手段とを備える表示装置で用いられる制御プログラムであって、前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であって、前記光透過領域において行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列され、前記行方向における前記色画素の間隔は前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きく、前記撮像素子の画素の配列方向は前記表示手段の電極の配列方向と平行あるいは直交するように配置され、前記表示装置に備えられたコンピュータに、前記画像データに対して前記行方向および前記列方向のいずれか一方について前記回復処理を行う第１のステップと、前記第１のステップが行われた後、前記行方向および前記列方向の他方について回復処理を行って、回復処理済み画像データを得る第２のステップと、を実行させることを特徴とする。

本発明によれば、Ｓ／Ｎが良好な画像が得られ、かつ表示装置における表示が妨げられることなく相手側と良好にコミュニケーションを行うことができる。

本発明の第１の実施形態による表示装置の外観を説明するための図であり、（ａ）は表示装置を上側から見た図、（ｂ）は表示装置を正面から見た図である。 図１に示す表示装置の制御系の一例を示すブロック図である。 図１に示す表示パネルの構成の一例を説明するための図である。 図３に示す表示パネルを有機ＥＬ発光層を省略した状態で示す図である。 回析光の強度分布および回析像の空間周波数特性を説明するための図であり、（ａ）は回折光の強度分布を示す図、（ｂ）は回折像の空間周波数特性を示す図である。 図２に示す表示装置で行われる撮影処理を説明するためのフローチャートである。 本発明の第２の実施形態よる表示装置で用いられる表示パネルを有機ＥＬ発光層を省略した状態で示す図である。

以下に、本発明の実施の形態による表示装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による表示装置の外観を説明するための図である。そして、図１（ａ）は表示装置を上側から見た図であり、図１（ｂ）は表示装置を正面から見た図である。

表示装置１は、後述するように、撮像装置を備えており、この撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１１である。表示装置１の前面には表示パネル２が配置されており、この表示パネル２は光を透過可能である。表示パネル２の背面側（図中＋ｚ方向）には、表示パネル２を目視する利用者を撮影するためのカメラ１１が配設されている。このカメラ１１は、表示パネル２の画面中央よりもやや上方（図中＋ｙ方向）に位置し、表示パネル２を介して利用者を撮影する。

表示パネル２の周囲において、表示装置１の筐体には、利用者の音声を集音するマイク２１、２２、および２３と、相手側の音声を出力するスピーカー３１、３２、および３３が配置されている。マイク２１、２２、および２３で集音された音声は、後述の音声処理回路５３において処理される。

なお、複数の利用者が存在する場合には、音声処理回路５３は既知の遅延和手法によって話者を検出する。さらに、複数の利用者が存在する場合には、後述の駆動回路５４はスピーカー３１、３２、および３３を駆動してスピーカー３１、３２、および３３を話者の方向に向ける。そして、表示装置１の筐体上面には、後述する制御モードを変更するための操作スイッチ４０が配置されている。

図２は、図１に示す表示装置の制御系の一例を示すブロック図である。

表示装置１は、システム制御回路５０を有しており、システム制御回路５０は表示装置１の制御を司る。カメラ１１は、撮影レンズ（図示せず）、撮像素子１０、および撮像素子駆動回路５１を備えており、撮影レンズを介して被写体像（ここでは、利用者像）が撮像素子１０に結像する（つまり、受光する）。

撮像素子駆動回路５１は、システム制御回路５０の制御下で、撮像素子１０を駆動して、画素読み出しなどを行う。これによって、撮像素子１０は被写体像（光学像）に応じたアナログ信号を得る。そして、撮像素子１０は当該アナログ信号をＡ／Ｄ変換して、撮像素子駆動回路５１を介して画像データとしてシステム制御回路５０に送る。

マイク２０（図１に示すマイク２１〜２３に相当する）で集音された音声は、音声信号として音声処理回路５３に送られる。音声処理回路５３は、システム制御回路５０の制御下で、音声信号に対して所定の処理を行って、音声データとしてシステム制御回路５０に送る。システム制御回路５０は、前述の画像データおよび音声データを送受信回路５６によって相手側の表示装置１に送る。

なお、画像演算回路５７は、システム制御回路５０の制御下で、後述するようにして画像回復処理を行う。また、システム制御回路５０は、後述するようにして画像データを記憶回路５８に記録する。

送受信回路５６はネットワークなどを介して相手側の表示装置と接続される。送受信回路５６を介して相手側の表示装置１から画像データおよび音声データを受信すると、システム制御回路５０は表示処理回路５２によって画像データに応じた画像を表示パネル２に表示する。また、システム制御回路５０は、駆動回路５４によってスピーカー３０（図１に示すスピーカー３１〜３３に相当する）を駆動して、音声データに応じた音声をスピーカー３０から出力する。

図３は、図１に示す表示パネルの構成の一例を説明するための図である。

図示の例では、表示パネル２は、例えば、光を透過可能な有機ＥＬパネルである。有機ＥＬパネルは、２次元マトリックス状に配列された複数の有機ＥＬ発光層（画素）２０４を有しており、これら有機ＥＬ発光層２０４によって光透過領域が形成される。

これら有機ＥＬ発光層は青（Ｂ）、緑（Ｇ）、および赤（Ｒ）のいずれか色の光（発光色）を発光する。図示の例では、第１行目に青色の光を発光する有機ＥＬ発光層２０４＿Ｂが配列され、第２行目に緑色の光を発光する有機ＥＬ発光層２０４＿Ｇが配列される。そして、第３行目に赤色の光を発光する有機ＥＬ発光層２０４＿Ｒが配列される。以下この順で有機ＥＬ発光層２０４が各行に配列される。つまり、光透過領域は複数の色画素を有し、行方向に沿って同一色の色画素が配列される。

有機ＥＬ発光層２０４の各々は、信号選択電極２０１、電源電極２０２、および走査電極２００を電圧制御することによって発光制御される。信号選択電極２０１、電源電極２０２、および走査電極２００は、例えば、アルミニウムで形成されており、光を透過しない。信号選択電極２０１および電源電極２０２は、図中ｙ方向（つまり、列方向）に平行に形成され、走査電極２００は図中ｘ方向（つまり、行方向）と平行に形成されている。なお、図示しない共通電極はｉＴＯなどの透明電極によって形成されている。

有機ＥＬ発光層２０４毎にＴＦＴ部２０３が形成されており、このＴＦＴ部２０３は、有機ＥＬ発光層２０４のスイッチングおよび駆動用の素子である。そして、ＴＦＴ部２０３はＳｉなどによって形成されており光を透過しない。なお、有機ＥＬ発光層２０４、信号選択電極２０１、電源電極２０２、走査電極２００、およびＴＦＴ分２０３は透明基板（図示せず）によって保護されている。

前述のように、図示の例では、有機ＥＬ発光層２０４＿Ｂ、２０４＿Ｇ、および２０４＿Ｒは、図中ｙ方向（表示パネル２の短辺方向）に３画素周期で配列され、同一の色の発光する画素（つまり、有機ＥＬ発光層）が図中ｘ方向（表示パネル２の長辺方向）に配列されている。

いま、同一の色を発光する画素が、水平方向（図中ｘ方向）にＰｈの周期で配列され、垂直方向（図中ｙ方向）にＰｖの周期（つまり、間隔）で配列されているとすると、ここでは、次の式（１）を満たす周期で同一の色を発光する画素が配列される。

Ｐｈ≦Ｐｖ （１）
つまり、行方向における色画素の間隔は、列方向における同一色の色画素の間隔以下である。ここでは、人の視覚特性を考慮して、表示パネル２の解像度を水平方向に高くなるようにして、利用者が表示パネル２に表示される画像について高画質感を得られるようにしている。

有機ＥＬ発光層２０４は光を透過し、表示パネル２の背面側に配置されるカメラ１１には十分な光量の光が到達する。つまり、恰も表示パネル２の開口面積が広くなって、カメラ１１に十分な光量の光が到達しカメラ１１によってＳ／Ｎの良好な画像を得ることができる。

なお、有機ＥＬ発光層２０４＿Ｒ、２０４＿Ｇ、および２０４＿Ｂの層構成は互いに異なるので、有機ＥＬ発光層２０４＿Ｒ、２０４＿Ｇ、および２０４＿Ｂにおける光の透過状況は異なる。

図４は、図３に示す表示パネルを有機ＥＬ発光層を省略した状態で示す図である。

図４においては、表示パネル２と撮像素子１０との位置関係を説明するため、表示パネル２の背面側に配置されるカメラ１１に備えられた撮像素子１０が便宜的に示されている。

撮像素子１０の水平方向（図中ｘ方向）の長さをＳｈ、垂直方向（図中ｙ方向）の長さをＳｖとすると、長さＳｈと長さＳｖとは式（２）に示す関係を満たす。この結果、カメラ１１で得られた画像は、水平方向に視野の広い臨場感のある画像となる。

Ｓｈ＞Ｓｖ （２）
表示パネル２に備えられた信号選択電極２０１、電源電極２０２、走査電極２００およびＴＦＴ部２０３によって遮光されていない領域（以下開口部という）を透過した光には回折を生じる。そして、当該光は撮影レンズによって集光されて撮像素子１０に達する。

撮像素子１０に備えられた画素は２次元マトリックス状に配列されており、水平方向（図中ｘ方向）の画素配列の方向は、信号選択電極２０１および電源電極２０２と直交する。同様に、垂直方向（図中ｙ方向）の画素配列は走査電極２００と直交する。この結果、開口部を透過した光の回折光である高次光は、撮像素子１０の画素配列方向に発生する。

いま、開口部の水平方向（図中ｘ方向）の長さをＴｈとし、垂直方向（図中ｙ方向）の長さをＴｖとすると、長さＴｈおよび長さＴｖは次の式（３）で示す関係を満たすものとする。

Ｔｈ＞Ｔｖ （３）
一般に、水平方向の長さがＴｈで、垂直方向の長さがＴｖである矩形開口部によって生じる回折光の強度分布Ｊ（ｐ、ｑ）は、次の式（４）で表される。

Ｊ（ｐ、ｑ）＝Ｊ０×［ｓｉｎ（ｋ×ｐ×Ｔｈ）／ｋ×ｐ×Ｔｈ］^２×［ｓｉｎ（ｋ×ｑ×Ｔｖ）／ｋ×ｑ×Ｔｖ）^２ （４）
ここで、ｋは波数である。

図５は、回析光の強度分布および回析像の空間周波数特性を説明するための図である。そして、図５（ａ）は回折光の強度分布を示す図であり、図５（ｂ）は回折像の空間周波数特性を示す図である。

図５（ａ）および図５（ｂ）においては、それぞれ水平方向の長さがＴｈで、垂直方向の長さがＴｖである矩形開口部における回折光の強度分布と回析像の空間周波数特性が示されている。図示のように、表示パネル２の開口部を透過した光による水平方向の回折像は垂直方向の回折像に比べて空間周波数特性の高いシャープな像となることが分かる。

図２に示すシステム制御回路５０は、画像演算回路５７によってカメラ１１で得られた回折画像について回復処理を行う。この際、撮像素子１０で得られる回折画像において水平方向の成分は空間周波数特性の高いシャープな像であるので、回復処理で得られた画像も水平方向の空間周波数特性が高いシャープな像となる。この結果、表示パネル２に表示された画像を目視する利用者に高品質の画像を提供することができる。

図６は、図２に示す表示装置で行われる撮影処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、システム制御回路５０の制御下で行われる。

図２および図６を参照して、いま、表示装置１の電源をオンとすると表示装置１が起動する。電源がオンすると、システム制御回路５０は送受信回路５６における通信状態を確認する（ステップＳ１０１）。そして、システム制御回路５０は通信が終了したか否かを判定する（ステップＳ１０２）。

通信が終了していないと（ステップＳ１０２において、ＮＯ）、つまり、送受信回路５６が相手側の表示装置１と通信状態であると、システム制御回路５０はカメラ１０によって利用者を撮影する（ステップＳ１０３）。この際には、システム制御回路５０は撮像素子駆動回路５１によって撮像素子１０を駆動して画像データを読み出すことになる。

なお、前述のように、カメラ１１で得られた画像は、撮像素子１０の画素配列の方向と平行な方向および直交する方向の２次元方向に回折が生じた画像（回析画像）となる。

ここでは、回折画像の画像回復処理に要する時間を短縮するため、システム制御回路５０は、画像演算回路５７によってまず回析画像について水平方向の画像回復処理を行う（ステップＳ１０４）。カメラ１１の出力である回折画像をＯ（ｘ、ｙ）、水平方向の画像回復を行うために用いられるフィルタをＰ（ｘ）とすると、水平方向の回復処理が行われた画像Ｉｈ（ｘ、ｙ）は、次の式（５）で表される。

Ｉｈ（ｘ、ｙ）＝∫Ｏ（ｘ−ｘ’、ｙ）×Ｐ（ｘ’）ｄｘ’ （５）
そして、システム制御回路５０は表示処理回路５２によって画像Ｉｈ（ｘ、ｙ）を１次元処理画像として、表示パネル２に予め規定された表示領域（子画面）に表示する（ステップＳ１０５）。なお、上述のように、１次元処理画像を子画面に表示すれば、子画面表示の際においても、解像感に敏感な水平方向のみが画像回復処理された高品位の画像が表示され、さらに表示タイムラグを短くすることができる。

続いて、システム制御回路５０は、１次元処理画像について垂直方向の画像回復処理を行う（ステップＳ１０６）。垂直方向の画像回復を行うためのフィルタをＱ（ｙ）とすると、垂直方向の画像回復処理が行われた画像Ｉｈｖ（ｘ，ｙ）は、次の式（６）で表される。

Ｉｈｖ（ｘ、ｙ）＝∫Ｉｈ（ｘ、ｙ−ｙ’）×Ｑ（ｙ’）ｄｙ’ （６）
システム制御回路５０は、画像Ｉｈｖ（ｘ，ｙ）を２次元処理画像（回復処理済み画像データ）として、送受信回路５６によって相手側の表示装置１に送信する（ステップＳ１０７）。このように、２次元処理画像を相手側の表示装置に送れば、水平方向および垂直方向に高品位の画像であるので、相手側において画像が拡大されたとしても画質が問題となることはない。

ところで、前述の操作スイッチ４０を用いれば制御モードを変更することができる。ここでは、操作スイッチ４０によって制御モードとして撮影の結果得られた画像を記憶回路５８に記録する否かを設定することができる。

ステップＳ１０７の処理の後、システム制御回路５０は操作スイッチ４０が画像記録モードとなっているか否かを判定する（ステップＳ１０８）。画像記録モードに設定されていないと（ステップＳ１０８において、ＮＯ）、システム制御回路５０はステップＳ１０１の処理に戻る。

一方、画像記録モードに設定されていると（ステップＳ１０８において、ＹＥＳ）、システム制御回路５０は２次元処理画像を記憶回路５８に記録する（ステップＳ１０９）。そして、システム制御回路５０はステップＳ１０１の処理に戻る。

ステップＳ１０２において、通信が終了すると（ステップＳ１０２において、ＹＥＳ）、例えば、相手側の操作によって送受信回路５６による送受信が終了すると、システム制御回路５０はカメラ１１による撮影を停止する（ステップＳ１１０）。そして、システム制御回路５０は撮影処理を終了する。

このように、本発明の第１の実施形態では、表示パネルとして有機ＥＬパネルなどの透過パネルを用いて、表示パネルの背面側に配置されたカメラで利用者を撮影する。これによって、カメラには十分な光量の光学像が入射し、Ｓ／Ｎ比の良好な画像を得ることができるばかりでなく、利用者の視覚特性に合致する高品質を表示することができる。

［第２の実施形態］
次に、本発明の第２の実施形態による表示装置の一例について説明する。なお、第２の実施形態による表示装置の外観は図１に示す表示装置と同様であり、その制御系は図２に示す制御系と同様である。また、第２の実施形態による表示パネルの構成は図３に示す表示パネルと同様である。

図７は、本発明の第２の実施形態よる表示装置で用いられる表示パネルを有機ＥＬ発光層を省略した状態で示す図である。なお、図７において、図４に示す表示パネルと同一の構成要素については同一の参照番号を付す。

図７においては、表示パネル２と撮像素子１０との位置関係を説明するため、表示パネル２の背面側に配置されるカメラ１１に備えられた撮像素子１０が便宜的に示されている。

撮像素子１０の水平方向（図中ｘ方向）における画素サイズをＳｐｈ、垂直方向（図中ｙ方向）の画素サイズをＳｐｖとすると、画素サイズＳｐｈと画素サイズＳｐｖとは式（７）に示す関係を満たす。この結果、カメラ１１で得られた画像は、水平方向の解像度が高い画像となる。

Ｓｐｈ＜Ｓｐｖ （７）
前述のように、表示パネル２に備えられた信号選択電極２０１、電源電極２０２、走査電極２００およびＴＦＴ部２０３によって遮光されていない開口部を透過した光には回折を生じる。そして、当該光は撮影レンズによって集光されて撮像素子１０に達する。

前述のように、撮像素子１０において、水平方向（図中ｘ方向）の画素配列の方向は、信号選択電極２０１および電源電極２０２と直交する。同様に、垂直方向（図中ｙ方向）の画素配列は走査電極２００と直交する。この結果、開口部を透過した光の回折光である高次光は、撮像素子１０の画素配列方向に発生する。

開口部の水平方向の長さＴｈと垂直方向の長さＴｖとは、式（３）で示す関係にあり、図５（ａ）および図５（ｂ）に示すように、表示パネル２の開口部を透過した光による水平方向の回折像は垂直方向の回折像に比べて空間周波数特性の高いシャープな像となる。

第２の実施形態による表示装置において、撮影処理は図６で説明したフローチャートに応じて行われる。前述のように、撮像素子１０で得られる回折画像において水平方向の成分は空間周波数特性の高いシャープな像であるので、回復処理で得られた画像も水平方向の空間周波数特性が高いシャープな像となる。この結果、表示パネル２に表示された画像を目視する利用者に高品質の画像を提供することができる。

このように、本発明の第２の実施形態おいても、表示パネルとして有機ＥＬパネルなどの透過パネルを用いて、表示パネルの背面側に配置されたカメラで利用者を撮影する。これによって、カメラには十分な光量の光学像が入射し、Ｓ／Ｎ比の良好な画像を得ることができるばかりでなく、利用者の視覚特性に合致する高品質を表示することができる。

なお、上述の第１および第２の実施形態では、表示パネル２が有機ＥＬ発光層２０４＿Ｒ、２０４＿Ｇ、および発光層２０４＿Ｂを備える場合について説明したが、全ての有機ＥＬ発光層を白色として、有機ＥＬ発光層に選択的に赤、緑、又は青のカラーフィルタを備えるようにしてもよい。

また、上述の実施の形態では、回析画像について水平方向の画像回復処理を行った後に、垂直方向の画像回復処理を行う例について説明したが、水平方向および垂直方向のいずれか一方について画像回復処理を行った後、水平方向および垂直方向の他方について画像回復処理を行うようにしてもよい。

上述の説明から明らかなように、図２に示す例では、システム制御回路５０および画像演算回路５７が回復手段として機能し、システム制御回路５０および表示処理回路５２が表示制御手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を表示装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを表示装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ 表示パネル
１０ 撮像素子
４０ 操作スイッチ
５０ システム制御回路
５１ 撮像素子駆動回路
５２ 表示処理回路
５３ 音声処理回路
５６ 送受信回路
５７ 画像演算回路
５８ 記憶回路

Claims (9)

1. 画像が表示される表示パネルと当該表示パネルの背面側に配置された撮像装置とを有する表示装置であって、
   複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、
   前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え、前記光学像に応じた画像データを出力する撮像手段と、
   前記撮像手段の出力である画像データに対して所定の回復処理を行う回復手段とを有し、
   前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であり、前記光透過領域において、行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列されており、
   前記行方向における前記色画素の間隔は、前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、
   前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きいことを特徴とする表示装置。
2. 前記撮像素子に備えられた複数の画素の各々は、前記列方向のサイズが前記行方向のサイズよりも大きいことを特徴とする請求項１に記載の表示装置。
3. 前記撮像素子の画素の配列方向は前記表示手段の電極の配列方向と平行あるいは直交するように配置され、
   前記回復手段は、前記画像データに対して前記行方向および前記列方向のいずれか一方について前記回復処理を行った後、前記行方向および前記列方向の他方について回復処理を行って、回復処理済み画像データを得ることを特徴とする請求項１又は２に記載の表示装置。
4. 前記回復処理済み画像データを記録する設定がなされていると、前記回復処理済み画像データを記録する記録手段を有することを特徴とする請求項３に記載の表示装置。
5. 前記回復処理済み画像データをネットワークを介して接続された相手側の機器に送信する送信手段を有することを特徴とする請求項３又は４に記載の表示装置。
6. 前記相手側の機器から受信した画像データに応じた画像を前記表示パネルに表示する表示制御手段を有することを特徴とする請求項５に記載の表示装置。
7. 前記表示パネルは有機ＥＬパネルであることを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
8. 複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え前記光学像に応じた画像データを出力する撮像手段とを備える表示装置の制御方法であって、
   前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であって、前記光透過領域において行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列され、前記行方向における前記色画素の間隔は前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きく、前記撮像素子の画素の配列方向は前記表示手段の電極の配列方向と平行あるいは直交するように配置され、
   前記画像データに対して前記行方向および前記列方向のいずれか一方について前記回復処理を行う第１のステップと、
   前記第１のステップが行われた後、前記行方向および前記列方向の他方について回復処理を行って、回復処理済み画像データを得る第２のステップと、
   を有することを特徴とする制御方法。
9. 複数の画素が２次元マトリックス状に配置され、光の透過が可能な光透過領域と前記光透過領域に画像を表示する際に前記画素を駆動するための電極とを備える表示パネルと、前記表示パネルの背面側に配置され、前記光透過領域を介して光学像を受光する撮像素子を備え前記光学像に応じた画像データを出力する撮像手段とを備える表示装置で用いられる制御プログラムであって、
   前記複数の画素の各々は複数の色のうちのいずれかの色の光を発光する色画素であって、前記光透過領域において行方向に沿って同一色の色画素を配列し、列方向に沿って所定の周期で発光色が異なる色画素が配列され、前記行方向における前記色画素の間隔は前記列方向における同一色の色画素の間隔以下であり、かつ前記画素の各々において前記行方向の幅は前記列方向の幅よりも大きく、前記撮像素子は前記行方向の長さが前記列方向の長さよりも大きく、前記撮像素子の画素の配列方向は前記表示手段の電極の配列方向と平行あるいは直交するように配置され、
   前記表示装置に備えられたコンピュータに、
   前記画像データに対して前記行方向および前記列方向のいずれか一方について前記回復処理を行う第１のステップと、
   前記第１のステップが行われた後、前記行方向および前記列方向の他方について回復処理を行って、回復処理済み画像データを得る第２のステップと、
   を実行させることを特徴とする制御プログラム。