JP2005151245A - 表示装置および撮像方法 - Google Patents

Abstract

【課題】 ノイズの少ない表示品質に優れた画像取込機能を持つ表示装置を提供する。
【解決手段】 表示装置は、アレイ基板１と、画像処理用IC2と、ホストPC３と、ホストPC３と画像処理用IC2との間で信号の受け渡しを行うインターフェース部４と、アレイ基板１と画像処理用IC2との間で信号の受け渡しを行うインターフェース部５とを備えている。アレイ基板１全体を赤にした状態で露光条件を変えながらＮ回撮像し、次にアレイ基板１全体を緑にした状態で露光条件を変えながらＮ回撮像し、次にアレイ基板１全体を青にした状態で露光条件を変えながらＮ回撮像するため、ノイズの影響のない撮像画像が得られる。
【選択図】 図１

Description

本発明は、画像取込み機能を備えた表示装置および撮像方法に関する。

液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。

ところで、アレイ基板上に、画像取込みを行う光電変換素子を配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。

この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。

最近では、画素TFTや駆動回路を同一のガラス基板上に多結晶シリコン（ポリシリコン）プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
特開2001-292276号公報 特開2001-339640号公報

画像取込機能を持つ表示装置において、撮像画像の階調値を検出する手法として、撮像時間を段階的に切り替えながら撮像を行って、複数の撮像結果を合成して最終的な撮像画像を得る手法がある。

しかしながら、最終的に得られた撮像画像は、ガンマ調整が正しく行われておらず、表示品質が悪いという問題がある。また、光電変換素子の特性等によっては、ノイズの多い撮像画像が得られるおそれもある。また、撮像のための条件設定が煩雑となるおそれもある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ノイズの少ない表示品質に優れた画像取込機能を持つ表示装置を提供することにある。また、本発明は、簡易な条件設定で撮像を行うことが可能な撮像方法を提供することにある。

上記の目的を達成するため、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う撮像回路と、前記画素アレイ部の全体を第１色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行い、その後、前記画素アレイ部の全体を第２色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行い、その後、前記画素アレイ部の全体を第３色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行った結果に基づいて、最終的な撮像データを生成する撮像処理手段と、を備える。

また、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う光センサを含む撮像回路と、を備えた表示装置の撮像方法において、前記画素アレイ部の表示を中間調とした状態で、前記画素アレイ部の表示面に白色面を持つ蓋の該白色面を密着させて、前記撮像回路にて撮像を行い、前記撮像回路の撮像結果によりむら減算用のむら画像を取得する。

また、本発明は、縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う光センサを含む撮像回路と、を備えた表示装置の撮像方法において、カラー画像を撮像するための複数の色を同時に前記画素アレイ部の1画面に表示させながら、前記撮像回路で撮像を行い、その撮像結果に基づいて各色の撮像条件を決める。

本発明によれば、画素アレイ部の全体を第１〜第３色に表示した状態でそれぞれＮ回ずつ撮像を行うため、ノイズの影響を受けにくい撮像画像を得ることができる。

以下、図面を参照しながら、本発明に係る表示装置について説明する。図１は本発明に係る表示装置の一実施形態の概略構成を示すブロック図である。図１の表示装置は、アレイ基板１と、画像処理用IC2と、ホストPC３と、ホストPC３と画像処理用IC2との間で信号の受け渡しを行うインターフェース部４と、アレイ基板１と画像処理用IC2との間で信号の受け渡しを行うインターフェース部５とを備えている。

画像処理用IC2は、アレイ基板１上に実装されてもよいし、アレイ基板１とは別基板上に実装されてもよい。画像処理用IC2のパッケージはどのようなものでもよく、例えばASIC（特定用途向けLSI）やFPGA(プログラミング可能なLSI)などが採用可能である。画像処理用IC2は、メモリ6と処理回路７を有する。メモリ6はSRAMやDRAMを用いることができる。

ホストPC３は、画像処理用IC2に対して、表示用の映像データと映像・各種設定書き換えコマンドを送る。ホストPC３からの表示データはメモリ6に格納され、映像・各種設定書き換えコマンドは処理回路７に格納される。メモリ6に格納された映像データはインタフェース部５を介してアレイ基板１に送られる。また、処理回路７は、インタフェース部を介してアレイ基板１に表示／撮像用制御信号を送る。アレイ基板１で撮像された撮像データは、インタフェース部５を介してメモリ6に送られる。処理回路７は、メモリ6に格納された映像データおよび撮像データに対して多階調化や並び替えなどの画像処理演算を行う。

ここで多階調化とは、複数の撮像条件での撮像により得られた複数の撮像データ（2値）を加算した上で、これを条件数で割る平均化処理のことをいう。また、並び替えとは、撮像データの並びを、アレイ基板1から出力された順番（アレイ基板1のデータ出力を行う回路の構造の便宜により決まる）をセンサ配置に即した順番に直すことをいう。画像処理演算された処理画像データ（以下、階調データ）は、メモリ6からインタフェース部４を介してホストPC３に送られる。

撮像データはノイズ等を含むため画像処理が必要である。画像処理は一部を処理回路７によって行い、一部をホストPC3でソフトウェアにより行う。表示装置から画像処理用IC2には、大量の撮像データが送られるが、画像処理用IC2からホストPC３には画像処理がなされた後の画像データのみが送られる。全ての撮像データのデータ量より階調データのデータ量の方が少ない。

図１からわかるように、画像処理用IC2とアレイ基板１の間で送受される各種制御信号、映像信号および撮像データのいずれもCPUバスを介さないため、CPUバスの混み具合に依存しなくなる。CPUバスが他の処理のために占有されていても、並行して撮像動作を行うことができる。

CPUバスを介する伝送のうち、撮像動作に関わる部分は、画像処理がなされた後の画像データの収集と映像・各種設定書き換えコマンドのみであるため、CPUバスが高速なものでなくてもよい。１枚撮像するごとに、多階調化や並び替えなどの画像処理をIC2の内部で行うため、多階調化や並び替えなどの画像処理を全てホストPC側で行う場合に比べて画像処理時間を大幅に短縮できる。CPUバスの速度は遅くてもよいため、全体システムの低コスト化が可能となる。

図２はアレイ基板１の内部構成の一例を示すブロック図であり、アレイ基板１上の構成を示している。図１の表示装置は、信号線および走査線が列設され画像取込機能を有する画素アレイ部１１と、信号線を駆動する信号線駆動回路１２と、走査線を駆動するゲート線駆動回路１３と、画像取込結果をシリアル出力するシリアル信号出力回路１４とを備えている。これらの回路は、例えばポリシリコンTFTにより、ガラスからなるアレイ基板１上に形成される。

画素アレイ部１１は、縦横に配置された複数の画素回路１５を有する。図３は画素回路１５の内部構成の一例を示す回路図であり、このような回路が各画素ごとに設けられている。図３の画素回路１５は、ゲート線により駆動され一端が信号線に接続された画素TFT１６と、画素TFT１６の他端に接続された補助容量Ｃsおよび液晶容量LCと、画像取込用のフォトダイオードPDと、フォトダイオードPDで取り込んだ画像に対応する電荷を蓄積するセンサ容量Ｃ１と、センサ容量Ｃ１の一端に接続されるアンプAMPと、制御線SFBにより駆動されアンプAMPの出力を信号線に供給するか否かを切り替えるトランジスタNT1と、制御線CRTにより駆動されるプリチャージ用のトランジスタNT2とを有する。以下では、フォトダイオードPD、センサ容量Ｃ１、アンプAMPおよびトランジスタNT1,NT2を画像取込センサ７と呼ぶ。

フォトダイオードPDは、ポリシリコンTFTで形成してもよいし、ポリシリコンに不純物を注入して形成したダイオードでもよい。

図４は表示装置の断面構造を示す断面図である。図示のように、アレイ基板１は、ガラス基板上に形成されるフォトダイオードPDと、フォトダイオードPD上に形成されるゲート絶縁膜２１と、ゲート絶縁膜２１上に延びるフォトダイオードPDのAl配線層２２と、Al配線層２２上に形成されるパッシベーション膜２３と、パッシベーション膜２３上に形成される遮光層２４と、遮光層２４およびパッシベーション膜２３上に形成される透明樹脂２５とを有する。このアレイ基板１は、図４に示すように、ガラス基板が上になるように配置されて、対向基板２６と対向配置される。対向基板２６を挟んでアレイ基板１の反対側にはバックライト２７が配置される。

本実施形態の表示装置は、通常の表示動作を行うこともできるし、スキャナと同様の画像取込みを行うこともできる。通常の表示動作を行う場合は、トランジスタＱ３はオフ状態に設定され、バッファ１３には有効なデータは格納されない。この場合、信号線には、信号線駆動回路１２からの画素電圧が供給され、この画素電圧に応じた表示が行われる。

バックライト２７からの光は、アレイ基板１と対向基板２６を通過して撮像対象物２８に照射される。撮像対象物２８からの反射光は、アレイ基板１上のフォトダイオードPDで受光されて画像取込みが行われる。

取り込んだ画像データは、図３に示すようにセンサ容量Ｃ１に格納された後、信号線線を介して、図１に示す画像処理用IC2に送られる。この画像処理用IC2は、本実施形態の表示装置から出力されるデジタル信号を受けて、データの並び替えやデータ中のノイズの除去などの演算処理を行う。

図４に示すように、アレイ基板１内に遮光層２４を設けることで、バックライト２７からの直接光がフォトダイオードPDに入射されなくなり、フォトダイオードPDに直接光による光リーク電流が流れなくなり、S/N比が向上する。

図１に示す処理回路７は、撮像対象物に応じて、少なくとも２種類の処理のうちから1種類の処理を選択して行う。より具体的には、名刺などのテキストデータや線画からなる画像を読み取る場合に行われる名刺撮像処理と、濃淡のある画像を読み取る場合に行われる自然画撮像処理とがある。

図５は名刺撮像処理の処理手順の一例を示すフローチャートである。まず、撮像対象物をアレイ基板１の表面に接触させる（ステップＳ１）。次に、アレイ基板１の全体を赤表示させた状態で、撮像条件を段階的にＮ回変えながら画像取込センサ７にて撮像を行う（ステップＳ２）。

画像取込センサ７の出力は２値データであるが、これらＮ回分の２値データを合成することにより、赤の階調データを生成する（ステップＳ３）
同様に、アレイ基板１の全体を緑表示させた状態で、撮像条件を段階的にＮ回変えながら画像取込センサ７にて撮像を行い（ステップＳ４）、これらＮ回の撮像結果に基づいて緑の階調データを生成する（ステップＳ５）。

同様に、アレイ基板１の全体を青表示させた状態で、撮像条件を段階的にＮ回変えながら画像取込センサ７にて撮像を行い（ステップＳ６）、これらＮ回の撮像結果に基づいて青の階調データを生成する（ステップＳ７）。

このように、赤、緑、青の順に撮像を行うことにより、最もノイズの影響が少ない撮像画像が得られる。その理由は、赤が一番温度変化の影響を受けやすいため、最初に撮像するのが望ましいためである。

ポリシリコンに不純物を注入して形成したダイオードやポリシリコンTFTの光リーク電流のS/N比は、青・緑・赤の順に良い。赤が最も悪い。撮像中には紙からセンサーへ熱の移動が起こる。例えば、センサを含めたアレイ基板や対向基板はバックライトにより32℃程度にある。紙はそれまでの状態により必ずしもアレイ基板等と同一の温度ではなく、25℃と低いこともある。撮像は数秒から十数秒要する。撮像の間、センサが紙によって冷やされる。えてして全面均一に進まず、大きな熱電流ばらつきがチップ内で生じる。このような訳で、赤ラスターでの撮像画像はむらやノイズが大きくなる。光センサが別の材料を用いて形成される場合は、光リーク電流の色別のS/N比を調べて、S/N比のもっとも悪い色を先に撮像すると良い。

次に、ステップＳ３，Ｓ５，Ｓ７で得られた赤緑青の階調データを単純合成する（ステップＳ８）。この状態では、色むらのある画像が得られる。

次に、色補正線形変換処理を行って、赤緑青の階調データの色補正を行う（ステップＳ９）。より具体的には、（１）式に示すように、３×３の行列を用いて色補正を行う。

この行列の各係数は、カラーチャート等の再現色と元の色との差ができるだけ小さくなるようにあらかじめ求めておく。ただし、各係数には、以下の（２）〜（４）式に示す制約条件が課される。

Ｍ11＋Ｍ12＋Ｍ13＝１ …（２）
Ｍ21＋Ｍ22＋Ｍ23＝１ …（３）
Ｍ31＋Ｍ32＋Ｍ33＝１ …（４）
図６は３×３の行列の具体例を示す図である。図６の行列では、対角成分を正の値で、非対角成分をゼロ以外の負の値にしている。液晶表示装置の全画素を赤表示しても、視野角が狭いため、画素の斜め方向に他の色成分（緑成分または青成分）が漏れてしまう。このため、撮像画像に、緑成分や青成分が混入されてしまう。そこで、図６の行例では、非対角成分を負の値にして、他の色成分の影響を受けないようにしている。

なお、図５のフローチャートでは、撮像を行う際に、アレイ基板１を赤／緑／青に順に設定してＮ回ずつ撮像を行う例を説明したが、アレイ基板１をシアン／マゼンダ／イエローに順に設定してＮ回ずつ撮像を行ってもよい。この場合の３×３行列は図７のようになる。図７の行列の場合、対角成分が負の値で、非対角成分が正の値になっている。また、アレイ基板１を白／シアン／マゼンダに順に設定してＮ回ずつ撮像を行う場合の３×３行列は図８のようになる。図８の行列の場合、図６と同様に対角成分が正の値で、非対角成分が負の値である。

図５のステップＳ９に示す色補正線形変換処理が終了すると、次にむら減算処理が行われる（ステップＳ１０）。このむら減算処理では、中間階調の均一な画像を予め撮像してその階調データを保持しておく。この階調データにもむら成分が含まれているため、この階調データと撮像対象物の撮像結果との差分を取ることで、むら成分を相殺除去できる。

ここで、表示装置に図１４のような蓋３１を設けてもよい。蓋３１の内側の白い面が表示面に密着した状態で、かつ、液晶表示を中間調として撮像を色ごとにN回ずつ撮像し、IC2に格納しておくようにすると、むら減算処理に用いるむら画像の取得が容易となる。光センサの特性が温度などの環境により変化してしまう場合、出荷時に格納したむら画像が不適切になることがある。このようなときにも、図１４のようにしておけば撮像直前に容易にむら画像を取得しなおすことができるため、高品質な撮像を行うことが可能となる。

次に、画面の横スジを除去する横むら処理を行う（ステップＳ１１）とともに、骨格化処理を行う（ステップＳ１２）。

まず、横むら処理の概要について説明する。図９は画面の縦方向の画素座標（Ｙ座標）と各座標位置での階調値との関係を示す図である。図９に示すように、縦方向の２画素周期で階調が変動する傾向があることがわかる。これは液晶の駆動方法によって発生したり発生しなかったりする。各画素に画素電圧を書き込む際、1行ごとに極性反転しながら書き込みを行う場合に発生しやすい。

そこで、横むら処理を行う場合には、図９のような２画素周期のむらを除去するために、図１０に示すような３×３行列からなる近傍値フィルタを用いる。このフィルタは、縦方向にのみ階調を平滑化するローパスフィルタであり、行列の中間行成分のみゼロ以外の値を取る。横むら処理を行う前（むら減算処理後）の画素(x,y)の階調データをＦ(x,y)、横むら処理後の画素(x,y)の階調データをＧ(x,y)とすると、（５）式の関係が成り立つ。

Ｇ(x,y)＝［Ｆ(x,y-1)＋２Ｆ(x,y)＋Ｆ(x,y+1)］／４ …（５）
このような横むら処理を行うことにより、図１１に示すように、横スジのない撮像画像が得られる。

図１２は骨格化処理の概略を説明する図である。線画からなる撮像対象物に対して、アレイ基板１全体を青、緑または赤表示した状態で撮像を行うと、それぞれ図１２（ａ）、図１２（ｂ）、図１２（ｃ）のような撮像結果が得られる。図示のように、青表示した状態で撮像した場合が最も輪郭のはっきりした撮像画像が得られる。これが骨格化処理のステップＳ１０である。

青表示した状態での撮像画像が最もボケが少ない理由は、ポリシリコンに不純物を注入して形成したダイオードやポリシリコンTFTを用いた画像取込センサ７が青色に対する感度が緑色や赤色の場合と比べて最も優れているためである。

図１２（ａ）、図１２（ｂ）、図１２（ｃ）の各撮像画像を合成して、上述した横むら処理を行うと、図１２（ｄ）のような撮像画像が得られる。図１２（ｄ）の画像は、緑および赤の撮像画像の影響で、青の撮像画像よりもぼやけた画像になる。ここで、図１２（ｄ）の画像に、さらに図１２（ａ）の青の撮像画像を合成することにより、図１２（ｅ）のように輪郭のはっきりした撮像画像が得られる。

画像取込センサ７の出力を単純に合成した単純合成画像データを（Ｒ1，Ｇ1，Ｂ1）、横むら処理前の画像データを（Ｒ2，Ｇ2，Ｂ2）、係数をＵとしたとき、ステップＳ１３の平均化処理後の階調データ（Ｒ3，Ｇ3，Ｂ3）は以下の（６）〜（８）式で表される。

Ｒ3＝（Ｒ1＋Ｕ×Ｂ2）／（１＋Ｕ） …（６）
Ｇ3＝（Ｇ1＋Ｕ×Ｂ2）／（１＋Ｕ） …（７）
Ｂ3＝（Ｂ1＋Ｕ×Ｂ2）／（１＋Ｕ） …（８）
（６）〜（８）式において、係数Ｕは、元画像に混ぜる青の割合を示しており、負以外の実数である。名刺などの高い解像度（輪郭のシャープさ）が要求される場合にはＵ＝0.5~１であり、自然画像などの色再現が重要な場合にはＵ＝０~0.5である。すなわち、自然画像の場合には、骨格化処理は強くは行わない。また、光センサが別の材料を用いて形成される場合、S/N比の色依存性を調べて、S/N比の最も良い色を用いて撮像した画像を骨格化処理に用いればよい。

図５のステップＳ１１に示す横むら処理とステップＳ１２に示す骨格化処理が終了すると、次に、階調の平均化処理を行った後（ステップＳ１３）、エッジ強調処理を行う（ステップＳ１４）。このエッジ強調処理では、注目画素の階調値Ｌijから、周囲の隣接画素の階調値を所定の割合で減じる処理を行う。エッジ強調処理後の階調値をＬ'ijとすると、以下の（９）式の演算を行う。

係数ａijは、図１３（ａ）や図１３（ｂ）のような３×３の行列で表される。図１３（ａ）および図１３（ｂ）の行列は、正の値と負の値との差分が１になるようにしている。これにより、エッジ強調処理を行っても、見た目の階調が変化しなくなる。図１３（ｃ）はエッジ強調処理の結果を示している。

図５のステップＳ１４に示すエッジ強調処理が終了すると、次にガンマ調整が行われる（ステップＳ１５）。このガンマ調整は、アレイ基板１の特性に応じたガンマ係数γを用いて、赤緑青の階調値を調整する。ガンマ係数γは、正の実数であり、γ＝1.2程度である。

より具体的には、ガンマ調整前の階調値を（Ｒ₀、Ｇ₀、Ｂ₀）とし、ガンマ調整後の階調値を（Ｒ、Ｇ、Ｂ）とすると、以下の（１０）式による演算を行う。

Ｒ＝Ｒ₀ ^γ、Ｇ＝Ｇ₀ ^γ、Ｂ＝Ｂ₀ ^γ …（１０）
以上の処理により、名刺等の線画像についてのカラーの撮像画像が得られる。なお、撮像対象物がモノクロ画像であっても、同様の処理が行われる。

上述した図５のステップＳ２〜Ｓ７では、アレイ基板１を例えば赤緑青にそれぞれ設定した状態で、撮像条件を変えながらＮ回ずつ撮像を行っているが、ここで、撮像条件とは、露光時間を指している。すなわち、Ｎ回のそれぞれについて、露光時間を段階的に切り替えている。以下に、ガンマ係数を考慮に入れて露光時間を設定する手法について説明する。

一般に、表示装置の再現輝度Ｙと階調値は、（１１）式の関係を満たすように設定することが多い。

Ｙ＝（階調値）^γ …（１１）
（１１）式を変形すると、（１２）式が得られる。

階調値＝Ｙ^1/γ …（１２）
ここで、第ｎ階調の画像を読み取るのに必要な画像取込センサ７の露光時間Ｔは、（１３）式の関係を満たす。

Ｔ∝１／（第ｎ階調のグレースケールのリーク電流）
＝１／（熱電流＋第ｎ階調のグレースケールでの光電流） …（１３）
（１３）式より、以下の（１４）式が得られる。

１／Ｔ＝定数×（熱電流＋第ｎ階調のグレースケールでの光電流） …（１４）
ここで、理想的な黒（光電流が生じない状態）を読み取るための露光時間Ｔ₀は（１５）式で表される。

１／Ｔ₀＝定数×熱電流 …（１５）
（１４）式と（１５）式の差分を取ると、（１６）式が得られる。

１／Ｔ−１／Ｔ₀＝定数×（第ｎ階調のグレースケールでの光電流）
∝第ｎ階調の輝度 …（１６）
（１６）式と（１２）式より、（１７）式の関係が成り立つ。

（１／Ｔ−１／Ｔ₀）^1/γ∝Ｙ^1/γ＝撮像対象物の階調 …（１７）
したがって、撮像対象物の階調を一定間隔で変化させて撮像を行うには、（１／Ｔ−１／Ｔ₀）^1/γが一定間隔で変化するように露光時間Ｔを段階的に切り替えるのが望ましい。このような露光時間Ｔを予め計算して、図１のメモリ6等に格納しておけば、露光時間Ｔを迅速に選択できるため、望ましい。

T_０を求めるためには具体的には次のようにする。白色紙（写真の印画紙や上質紙）を表示装置の表示面に密着させ、かつ、表示装置のバックライトを消灯した状態で、撮像時間を変化させながら撮像を行い、画像取込センサ７から出力される撮像データの白：黒の割合が１：１になるような時間をT₀とする。

最も小さいTを求めるためには具体的には次のようにする。白色紙（写真の印画紙や上質紙を用いる。あるいは図１４のように蓋３１を設け、蓋３１の内側を白色にしておく）の白色面を表示装置の表示面に密着させ、かつ、表示装置のバックライトを点灯した状態で、撮像時間を変化させながら撮像を行い、画像取込センサ７から出力される撮像データの白：黒の割合が１：１になるような時間を最も小さいT（以下T_stと呼ぶ）とする。カラーの読み取りを行う場合には、液晶表示を赤、緑、青としてそれぞれごとにT_{st_R}、T_{st_G}、T_{st_B}を求める。これらを求める動作をそれぞれの色ごとに3回行ってもよいが、図１５のように表示を赤、緑、青として1回の動作でまとめて行っても良い。

図１６はさらに工夫したものである。光画像取込センサ７の特性の面内ばらつきが大きくても、図１６のようにしてTstを求めると、均一性の高い撮像を行うことができるようになる。図１６は一例にすぎない。さらに表示エリアの区分を細かくするなど種々変形が可能である。表示画素に光画像取込センサ７を内蔵している構造のため、表示を利用してこのように特徴的なTst導出が可能となる。

図１７は、（１／Ｔ−１／Ｔ₀）^1/γが一定間隔で変化するように露光時間Ｔを段階的に切り替えた場合と、露光時間Ｔを一定間隔で変化させた場合と、露光時間Ｔの逆数を一定間隔で変化させた場合のそれぞれについて、撮像対象物の撮像結果を示す輝度値と、撮像対象物を輝度計で測定した輝度との関係を示す図である。図示のように、（１／Ｔ−１／Ｔ₀）^1/γが一定間隔で変化するように露光時間Ｔを段階的に切り替えると、撮像対象物の撮像画像の輝度値は線形に変化することがわかる。また、カラー画像の撮像を行う場合、全ての階調でホワイトバランスが崩れない必要がある。この点でも（１／Ｔ−１／Ｔ₀）^1/γが一定間隔で変化するように露光時間Ｔを段階的に切り替えた場合が最も良い。

次に、撮像対象物が自然画の場合の処理手順を説明する。図１８は自然画撮像の処理手順の一例を示すフローチャートである。ステップＳ２１〜Ｓ３０は、図５のステップＳ１〜Ｓ１０と同様である。ステップＳ３０のむら減算処理が終了すると、ステップＳ１１と同様の横むら処理を行う（ステップＳ３１）。ただし、骨格化処理は行わない。

その後、コントラストアップ処理を行う（ステップＳ３２）。このコントラストアップ処理では、横むら処理後の階調データを、階調値の最小値から最大値まで使用する階調データに変換する。

次に、メジアンフィルタ処理を行う（ステップＳ３３）。このメジアンフィルタ処理は、図５のステップＳ１４のエッジ強調処理の一種であり、輪郭をくっきりさせるとともに、ノイズを除去して画像を滑らかにする。より具体的には、注目画素を取り囲む３×３画素の階調値を大きい順に並べ、その中間値（メジアン）を注目画素の画素値とする。

メジアンフィルタ処理が終了すると、図５のステップＳ１５と同様のガンマ調整を行い（ステップＳ３４）、最終的な自然画のカラー画像が得られる（ステップＳ３５）。

このように、本実施形態では、アレイ基板１全体を赤にした状態で露光条件を変えながらＮ回撮像し、次にアレイ基板１全体を緑にした状態で露光条件を変えながらＮ回撮像し、次にアレイ基板１全体を青にした状態で露光条件を変えながらＮ回撮像するため、ノイズの影響のない撮像画像が得られる。

また、色補正線形変換に用いる行列の対角成分と非対角成分の正負符号を逆にするため、斜め方向に漏れる不要な色成分の影響を除去できる。

また、名刺などの線画を読み取る場合には、骨格化処理を行って感度の高い青成分を混ぜるようにしたため、輪郭のくっきりした撮像画像が得られる。

本発明に係る表示装置の一実施形態の概略構成を示すブロック図。 アレイ基板１の内部構成の一例を示すブロック図。 画素回路１５の内部構成の一例を示す回路図。 表示装置の断面構造を示す断面図。 名刺撮像処理の処理手順の一例を示すフローチャート。 色補正線形変換処理における３×３の行列の具体例を示す図。 色補正線形変換処理における３×３の行列の他の例を示す図。 色補正線形変換処理における３×３の行列の他の例を示す図。 画面の縦方向の画素座標（Ｙ座標）と各座標位置での階調値との関係を示す図。 横むら処理で用いる３×３の行列の具体例を示す図。 横むら処理を行った後の画像を示す図。 骨格化処理の概略を説明する図。 エッジ強調処理で用いる３×３の行列の具体例を示す図。 表示装置に蓋を設けた例を示す図。 撮像時に赤、緑、青の表示を同時に行う例を示す図。 撮像時に表示エリアを細かく区切った例を示す図。 撮像対象物の撮像結果を示す輝度値と、撮像対象物を輝度計で測定した輝度との関係を示す図。 自然画撮像の処理手順の一例を示すフローチャート。

符号の説明

１アレイ基板
２画像処理用ASIC
３ホストPC
４，５インターフェース部
６SRAM
７処理回路
１１画素アレイ部
１２信号線駆動回路
１３ゲート線駆動回路
１４シリアル信号出力回路

Claims (15)

1. 縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、
   前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う光センサを含む撮像回路と、
   前記画素アレイ部の全体を第１色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行い、その後、前記画素アレイ部の全体を第２色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行い、その後、前記画素アレイ部の全体を第３色で表示した状態で前記撮像回路にてＮ回（Ｎは２以上の整数）撮像を行った結果に基づいて、最終的な撮像データを生成する撮像処理手段と、を備えることを特徴とする表示装置。
2. 前記撮像回路は、前記第１色、第２色および第３色のそれぞれについて、前記Ｎ回の各回ごとに露光条件を変えることを特徴とする請求項１に記載の表示装置。
3. 前記撮像回路から出力された第１色階調信号、第２色階調信号および第３色階調信号に対して、対角成分と非対角成分との正負符号が互いに異なる３行×３列の行列を用いて行列演算を行う色補正線形変換手段と、を備え、
   前記撮像処理手段は、前記色補正線形変換手段による行列演算結果に基づいて、最終的な撮像データを生成することを特徴とする請求項１または２に記載の表示装置。
4. 前記第１色は赤色、前記第２色は緑色および前記第３色は青色であることを特徴とする請求項１及至３のいずれかに記載の表示装置。
5. 光センサのS/N比の低い色から順に第1色、第2色、第3色とすることを特徴とする請求項１乃至３のいずれかに記載の表示装置。
6. 前記撮像回路から出力された第１色階調信号、第２色階調信号および第３色階調信号のそれぞれに対して、特定色の階調値に応じた階調補正を行う階調補正手段を備えることを特徴とする請求項１及至５のいずれかに記載の表示装置。
7. 前記撮像回路から出力された第１色階調信号、第２色階調信号および第３色階調信号の表示むらの減算処理を行うむら減算手段を備え、
   前記特定色の階調値は、表示むらの減算処理を行った後の特定色の階調値であることを特徴とする請求項６に記載の表示装置。
8. 前記特定色は青色であることを特徴とする請求項６または７に記載の表示装置。
9. 前記特定色は、光センサのS/N比が最も高い色であることを特徴とする請求項６または７に記載の表示装置。
10. 前記階調補正手段による階調補正は、撮像対象物が線画の場合にのみ行われることを特徴とする請求項６及至９のいずれかに記載の表示装置。
11. 縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に設けられる表示素子を有する画素アレイ部と、
    前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う撮像回路と、
    前記撮像回路での露光時間を段階的に切り替える撮像条件切替手段と、を備え、
    前記撮像条件切替手段は、前記撮像回路の露光時間をＴ、理想的な黒を読み取るための露光時間をＴ₀、前記画素アレイ部のガンマ値をγ、としたときに、（１／Ｔ−１／Ｔ₀）^1/γの値が一定間隔で変化するように、前記撮像回路での露光時間Ｔを設定することを特徴とする表示装置。
12. （１／Ｔ−１／Ｔ₀）^1/γの値を一定間隔で変化させる複数種類の露光時間Ｔを予め記憶する露光時間記憶手段を備え、
    前記撮像条件切替手段は、前記露光時間記憶手段に記憶された露光時間Ｔを順に選択して、前記撮像回路の露光時間を決定することを特徴とする請求項１１に記載の表示装置。
13. 前記画素アレイ部の表示面に白色面を密着させる開閉自在な蓋を備えることを特徴とする請求項１乃至１２に記載の表示装置。
14. 縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、
    前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う光センサを含む撮像回路と、を備えた表示装置の撮像方法において、
    前記画素アレイ部の表示を中間調とした状態で、前記画素アレイ部の表示面に白色面を持つ蓋の該白色面を密着させて、前記撮像回路にて撮像を行い、前記撮像回路の撮像結果によりむら減算用のむら画像を取得する撮像方法。
15. 縦横に列設される信号線及び走査線の各交点付近に形成される画素それぞれの内部に表示素子を設けた画素アレイ部と、
    前記表示素子に対応して設けられ、それぞれが撮像対象物の所定範囲の撮像を行う光センサを含む撮像回路と、を備えた表示装置の撮像方法において、
    カラー画像を撮像するための複数の色を同時に前記画素アレイ部の1画面に表示させながら、前記撮像回路で撮像を行い、その撮像結果に基づいて各色の撮像条件を決める撮像方法。

Images