JP2006053663A - 光入力機能付き表示装置 - Google Patents

Abstract

【課題】光源への接触・非接触を区別するためのスイッチを設けることなく、表示画面への接触・非接触を判定し得る光入力機能付き表示装置を提供する。
【解決手段】受光領域面積を計算し、この受光領域面積の基準面積からのずれ量が十分小さく、受光領域面積の時間変動量が十分小さく、受光領域の円形度が十分大きい時に接触したと判定する。
【選択図】図１

Description

本発明は、例えばライトペンなどのような光源からの光が表示画面を照射することにより、情報入力ができる光入力機能付き表示装置に関する。この装置では、前記光により照射された前記表示画面上の照射位置情報、或は接触位置情報が検出される。更に詳しくは、後述する実施の形態の説明においてより一層明確にされる。

近年、液晶表示装置は、携帯電話、ノート型コンピュータなどの各種機器に表示装置として広く利用されている。この液晶表示装置は、複数の走査線と複数の信号線との各交差部に薄膜トランジスタ（ＴＦＴ）、液晶容量、補助容量からなる液晶画素部が配列されたアレイ基板と、走査線および信号線を駆動する駆動回路とを有して構成される。しかしながら、近年の集積回路技術の発展およびプロセス技術の実用化により前記駆動回路の一部も前記アレイ基板上に形成され得るようになり、液晶表示装置全体の軽薄短小化が図られている。

一方、アレイ基板上に画像取り込み機能を有する密着型エリアセンサを配置した画像取り込み機能付き表示装置が、光入力機能付き表示装置として提案されている。この種の画像取り込み機能を有する従来の液晶表示装置は、複数の走査線と複数の信号線との各交差部に配列された例えば液晶画素部などからなる表示手段と、例えばフォトダイオードなどからなる光検知手段を有する。この光検知手段では、フォトダイオードに接続されたキャパシタの電荷量が、該フォトダイオードでの受光量に応じて変化する。したがって、この表示装置は、各交差部の複数のキャパシタの両端の電圧を検出することにより画像データが生成されるので、画像取り込みを行うことが可能である。

このような画像取り込み機能を有する表示装置において、複数の撮像条件で得られた画像データから画像処理によって入射光の照射強度に対応した多階調画像データを得る手法が提案されている。

また、画像を表示する表示フレームの間に撮像フレームを挿入することにより画像の表示を行いながら画像を取り込む手法も提案されている。この手法を用いると、例えばペン型の光源を用いて表示画面に光を照射することにより、表示装置の座標入力デバイスとして使用することが可能であり、そのための座標算出アルゴリズムやタップ検出アルゴリズムなどが提案されている。
特開２００２−１８２８３９号公報

上述した光入力機能付き表示装置において、例えばライトペンのような光源からの照射による座標入力を行う場合、光源が常に点灯しているためにペン先が表示画面に接触しているのか否かの区別が困難であるという問題がある。また上記問題を解決するためにペン先にスイッチを付けておき接触時にのみ点灯させることで区別するという手法もあるが、この手法では滑らかな書き心地を実現することが困難である。

本発明は、上記に事情に鑑みてなされたもので、その目的とするところは、光源に接触・非接触を区別するためのスイッチを設けることなく接触・非接触を判定し得る光入力機能付き表示装置を提供することにある。

この発明は、並行に配列された複数の走査線と、該複数の走査線に交差するように並行に配列された複数の信号線と、複数の走査線と複数の信号線との交差部に配列された複数の表示手段と、複数の走査線と複数の信号線との交差部に配列された複数の光検知手段と、画像を表示画面に表示するために、前記複数の走査線と前記複数の信号線を介して前記複数の表示手段を駆動する駆動手段と、前記複数の光検知手段からの光検知信号を処理する信号処理部とを有し、光源手段の先端からの光が前記表示画面に照射されたとき、前記光検知信号を用いて前記表示画面上の受光領域の面積の情報を求める演算処理部と、前記受光領域の面積の情報が予め設定したパラメータの設定範囲内にあるときに、前記光の入力があったものと判定する判定部とを具備する。

上記の手段により、光センサへの入力・非入力判定が正確となる。

以下、図面を用いて、本発明を実施するための最良の形態（以下、実施形態と称する）を説明する。

図１は、本発明の一実施形態に係わる光入力機能付き表示装置の要部となる座標入力及び画像入力部の基本的な構成を示すブロック図である。図１において、１００は、画素及び光センサを内蔵した液晶装置（ＬＣＤ）である。このＬＣＤ１００は、表示及び光入力が可能な表示及びセンサ部として機能する。５００は、集積回路化された信号処理部であり、その一部のブロックを示している。

ＬＣＤ１００からは、垂直同期信号Ｖｓｙｎｃと、水平同期信号Ｈｓｙｎｃと、この同期信号に同期して画像データＤａｔａが出力される。垂直同期信号Ｖｓｙｎｃと、水平同期信号Ｈｓｙｎｃとは、信号処理部５００内のタイミング発生回路５０１に入力され、画像データＤａｔａは、ラインメモリ５０２に入力される。タイミング発生回路５０１は、ラインメモリ５０２に対して、書き込み読出しアドレスを同期信号Ｈｓｙｎｃに同期して与えている。

ラインメモリ５０２の出力は、メジアンフィルタ５０３と収縮フィルタ５０４に供給される。メジアンフィルタ５０３は、画面内において、予め定めた所定領域（受光領域に対応）分のデータを用いて、不要成分の除去処理を実行し、そのフィルタ出力を用いて、白領域領域面積計算回路５０５は、残存する面積を求める処理を行う。即ち、メジアンフィルタ５０３は、所定領域内に点在するノイズ及び画素欠陥等に基づくデータ欠落部を除去し、その出力が白領域面積計算回路５０５が入力され、ここで残った領域の面積Ｗ_５（ｔ）が求められる。一方、収縮フィルタ５０４は、予め定めた所定領域（受光領域に対応）分のデータを用いて、例えば周囲１画素分の収縮処理を実行し、そのフィルタ出力を用いて、白領域面積計算回路５０６は、収縮処理後の残った面積Ｗ_９（ｔ）を求める。また重心座標計算回路５０７は、面積Ｗ_５（ｔ）と座標情報（ｘ、ｙ）を用いて、光が照射されている領域の重心座標（Ｘｇ，Ｙｇ）を求めることができる。

なお面積Ｗの計算は、例えば、フィルタから出力された画素出力値のうち、所定レベル以上の画素出力値を、画面上の所定の面積Ａ（Ａ＞Ｗ）の受光領域内でカウントすることで求めることができる。また、受光領域を決める場合は、最初に面積Ａの単位で、表示画面が複数に区分されて光検出信号が得られている複数領域の候補があげられる。そして、例えば所定の後述する条件（図１１で説明）を満足する領域が絞り込まれ、ここの領域が受光領域として採用されるようになる。また、受光領域が判明したすると、面積Ａを得たときの画面の水平（Ｘ）方向、垂直（Ｙ）方向のアドレスから、その最大Ｘ座標値、最小Ｘ座標値、最大Ｙ座標値、最小Ｙ座標値がわかる。この座標値を用いて、重心座標（Ｘｇ，Ｙｇ）が求められる。

上記の面積Ｗ_５（ｔ）、面積Ｗ_９（ｔ）を示す情報は、減算器５０８と、接触判定回路５０９に入力される。面積Ｗ_５（ｔ）を示す情報は、座標値レジスタ５１０にも入力されている。減算器５０８からは、面積Ｗ_５（ｔ）と面積Ｗ_９（ｔ）の差Ｌ（ｔ）が得られる。この差は、受光領域の周囲の長さ、つまり周囲長に相当する。この周囲長Ｌ（ｔ）は、接触判定回路５０９に入力される。

接触判定回路５０９では、ライトペン（光源）が表示画面に対して正常な入力状態にあるかどうかを判定し、正常な入力状態であるときは、接触フラグを出力し、座標値レジスタ５１０に供給する。５１１は、しきい値レジスタであり、中央演算処理装置（ＣＰＵ）６００から与えられたパラメータ（面積基準値Ｗ０、ずれ量しきい値α、時間変動しきい値β、および円形度しきい値γ）を保持している。接触判定回路５０９には、これらのパラメータが入力されている。さらに座標値レジスタ５１０に保持されている１フレーム前の面積情報Ｗ_５（ｔ−１）も、接触判定回路５０９に入力されている。

接触判定回路５０９は、後述するように、パラメータ及び入力情報を用いた演算処理を行い、先の接触フラグを得ている。

つまり、上記接触判定回路５０９は、ＬＣＤ１００からの画像データの演算処理によって得られた面積Ｗ_５（ｔ）、Ｗ_９（ｔ）、及び周囲長Ｌ（ｔ）と、座標値レジスタ５１１に格納されている１フレーム前の面積Ｗ_５（ｔ−１）と、しきい値レジスタの４つのパラメータとを用いて、光源が表示画面に接触しているか否かの判定を行い、結果を接触フラグとして座標値レジスタ５１０に書き込む回路である。

座標値レジスタ５１０には、先の重心座標（Ｘｇ，Ｙｇ）も入力されている。さらに座標値レジスタ５１０に保持されている１フレーム前の面積情報Ｗ_５（ｔ−１）は、接触判定回路５０９に入力される。

この集積回路化された信号処理部５００は、面積情報、光源が接触しているか否かを示す接触フラグ等を算出して、この接触フラグを座標値レジスタ５１０に保持するＤＳＰやＡＳＩＣといった処理ＩＣである。

ＣＰＵ６００は、座標値レジスタ５１０のデータを読み出して各種処理を行うことができる。ＣＰＵ６００は、そのレジスタを読み書きすることによって接触判定動作の調整を行う。

ここではＬＣＤ１００からの画像データの階調は１ビット（２階調）であるとしている。多階調データの場合でも、適当な２値化処理、もしくは階調を重み付けした処理によって面積が計算可能であるがここでは特に述べない。上記の周囲長Ｌ（ｔ）は、

によって計算される値であり、受光領域の周囲の長さに相当する。

次に、図２（Ａ），図２（Ｂ），図２（Ｃ）を参照して、ライトペン７００が、ＬＣＤ１００の表示画面１３０に対して近づいたり離れたりしたときのフィルタ出力、演算出力などの様子を説明する。今、図２（Ｃ）に示すように、時間経過に伴い、ライトペン７００が、ＬＣＤ１００の表示画面１３０に対して、状態（１）−（６）のような姿勢をとるものとする。ライトペン７００は、例えば発光ダイオード（ＬＥＤ）を光源としている。

図２（Ｃ）に示すような状態（１）−（６）を取った場合、つまりＬＣＤ１００に照射しながら、ペン７００の先端をＬＣＤ１００に接触させて離すという動作を行った場合、画像データとしては、例えば図（Ｂ）のような画像となる。即ち、黒の背景に対して光検出した白い領域が状態（１）−（６）のような変遷をたどる。状態（５）のときは、きれいな円形となり、面積も所定の範囲になる。ここで、図１で説明した面積Ｗ_５（ｔ），Ｗ_９（ｔ）、Ｌ（ｔ）の変化を見ると、図２（Ａ）の如く変化する。状態（５）のときは、３つの要素がすべて小さくなる、所定面積Ｗ０（＝２３０）になる。したがって、この値が得られたときに、接触フラグが出力される。図（Ａ）は、典型的な画像データＤａｔａと、面積Ｗ_５（ｔ）、Ｗ_９（ｔ）及び周囲長Ｌ（ｔ）の時間変化を表すグラフである。

さらに説明すると、画像データがおおよそどの時刻のものであるか、またペン７００がおおよそどのような状態にある時のものかについての対応を番号（１）−（６）を付与して示している。状態（１）から状態（５）にかけてはペン先を徐々に近づけており、状態（５）から状態（６）にかけてはペン先を徐々に遠ざけている。状態（１）は光センサがペンからの入射光に反応し始めた状態であり、センサ素子や読み出し回路のばらつきによって反応する画素としない画素がある。状態（２）はＬＥＤの放射強度の角度分布に対応して中央部と周辺部に反応領域があり、その複雑な形状をしている。状態（３）は中央部と周辺部の反応領域が徐々に近づき連結した状態である。この付近の状態で面積Ｗ_５（ｔ）は最大値をとる。状態（４）はペン７００からの光の広がりが小さくなるために反応領域の面積も小さくなっているが、また接触してはいない状態である。状態（５）はペン７００が接触した状態であり、面積Ｗ_５（ｔ）は極小値となる。状態（６）はペン７００が少し離れた状態であり、状態（４）と似た画像となる。以後は状態（１）から状態（４）までと逆向きの振る舞いをする。同図の状態（５）の時のみ接触したと判定し、その他の状態では非接触と判定するために、次の３つの判定条件を用いる。

１つ目の条件は、面積Ｗ_５（ｔ）が基準値Ｗ０に対してどれぐらいずれているかを表すずれ量が指定したしきい値αに比べて小さいことである。実際図１の例では、接触している間の面積Ｗ_５（ｔ）が２３０程度の一定値になっている。ずれ量としては基準値との差Ｗ_５（ｔ）−Ｗ０の絶対値をＷ０で割った値、あるいは周囲長Ｌ（ｔ）で割った値を用いる。したがって１つ目の条件は、

と表される。

基準値Ｗ０はキャリブレーション作業によって予め決めておく必要がある。例えば新しいペンを使うたびに、ユーザーにペン先を数秒程度押し付けてもらい、その間の受光領域面積の平均値などを測定してＷ０とすれば良い。あるいは、接触時の面積はペンの開口部の面積に対応するから、ペンの開口部の面積が既知であればこれを用いてＷ０を算出しても良い。同様に、αについてはペン先を押し付けたまま表示画面内をスライドしてもらい、その間のずれ量が最大どの程度になるかを測定して決めれば良い。またしきい値αを調整することで、多少浮いていても接触と判定したり、逆にきちんと押し付けないと接触と判定されなかったり、というようなユーザーの好みに応じた設定が可能となる。

２つ目の条件は、面積Ｗ_５（ｔ）の時間変動量が指定したしきい値βに比べて小さいことである。図１の例でも接触している間は面積Ｗ_５（ｔ）がほとんど時間的に変動しないことがわかる。時間変動量としては、面積Ｗ_５（ｔ）と前の撮像フレームの面積Ｗ_５（ｔ−１）の差の絶対値を面積Ｗ_５（ｔ）あるいは周囲長Ｌ（ｔ）で割った値を用いる。よって２つ目の判定条件は、

と表される。しきい値βはキャリブレーション作業によって決定しておくこともできる。

例えばユーザーに好みの速さでタップ動作を行ってもらい、１つ目の条件（Ｗ０に十分近い）を満たす領域で時間変動量が最大どの程度になるかを測定して決めれば良い。しきい値βを調整することによって、タップ動作の速さをユーザーの好みに応じて設定することができる。

３つ目の条件は、受光領域の円形度が指定したしきい値γに比べて大きいことである。円形度とは領域の「円らしさ」を表す尺度であり、面積Ｗ_５（ｔ）と４πの積を周囲長Ｌ（ｔ）の二乗で割った値、または面積Ｗ_９（ｔ）と４πの積を周囲長Ｌ（ｔ）の二乗で割った値を用いる。円形度は領域が円に近いほど１に近い値になり、領域が複雑になればなるほど小さい値になる。

図２（Ｂ）の例でも接触時は受光領域がほぼ円形であり、非接触時はより複雑な形状となっている。

以上から、３つ目の判定条件は

と表される。しきい値γはキャリブレーション作業によって決定しておくこともできる。ペンを傾けると受光領域は円から楕円に変化し円形度は小さくなるので、ペン先を接触させたままユーザーに通常使用程度の範囲内でペンを傾けてもらい円形度が最小でどれくらいになるかを計測すれば良い。しきい値γを調整することによって、ある程度ペンを傾けると非接触と判定される、といった設定をユーザーの好みに応じて行うことができる。

図３（Ａ），図３（Ｂ），図３（Ｃ）は、図２（Ａ）−図２（Ｃ）のデータから基準値とのずれ量、時間変動量、円形度を算出してグラフにしたものである。

図３（Ａ）は、基準面積Ｗ０に対する面積Ｗ５の半径のズレ量の絶対値３Ａ１、基準面積Ｗ０に対する面積Ｗ５のズレ率３Ａ２を示している。図３（Ｂ）は、基準面積Ｗ０に対する面積Ｗ５の半径のズレ量の絶対値３Ａ１、面積Ｗ５の半径が時間とともに変化した変動半径３Ｂ１と、面積Ｗ５の変動率３Ｂ２とを示している。

図３（Ｃ）は、メジアンフィルタで処理した後の画像の円形度３Ｃ１と、収縮フィルタで処理した後の画像の円形度３Ｃ２を示している。

図４は、図３（Ａ）−図３（Ｃ）データに対して、しきい値α＝１．８、β＝０．２５、γ＝０．３８を設定して、接触判定を行い、データがいくつの判定条件を満たしたかをグラフにしたものである。判定条件としては、それぞれ式３（得点１に対応）、式５（得点２に対応）、式７（得点３に対応）を用いている。

３条件を同時に課したことによって実際に接触している時刻だけで正しく接触判定がされたことがわかる。３条件のうち１つまたは２つのみを用いることによっても接触判定が可能ではあるが、図３からわかるように、誤判定させないためにはしきい値をより厳密に設定する必要がある。従って３つの条件を同時に課す方が望ましい。

図５は上記３つの判定条件を課して接触・非接触の判定を行い、接触フラグを出力する接触判定回路５０９の構成例を示している。この回路５０９は、フィールド周波数に同期したクロックで動作し、予め設定したエリア単位で、ライトペンが接触しているか否かを示す判定出力を得ている。

判定条件としては、それぞれ式３、式５、式７を用いているが、さらに移項して除算回路を含まないようにしており、そのためしきい値γの代わりに４π／γを入力している。

図５では各条件を並列処理するために組み合わせ回路としては乗算器、差の絶対値回路、コンパレータをそれぞれ複数個使用している。しかしこれらの組み合わせ回路を共有してパイプライン処理することによって回路規模を縮小することも可能である。

図５において、乗算器５５１は、面積Ｗ９（ｔ）と（４π／γ）の乗算を行なう。この結果は、Ｄタイプフリップフロップ（Ｄ−ＦＦ）５５２に保持される。Ｄ−ＦＦ５５２の出力は、比較器５５３に入力され、周囲長Ｌ（ｔ）の２乗値と比較される。つまりこの系統は、式７の処理を実行していることになる。

差の絶対値回路５５４は、Ｗ５（ｔ−１）とＷ５（ｔ）との差の絶対値を得る。この絶対値は、Ｄ−ＦＦ５５５でラッチされる。Ｄ−ＦＦ５５５の出力は、比較器５５６に入力されて、βＬ（周囲長Ｌのβ倍）と比較される。つまりこの系統は、式５の処理を実行していることになる。

差の絶対値回路５５７は、Ｗ０とＷ５（ｔ）との差の絶対値を得る。この絶対値は、Ｄ−ＦＦ５５８でラッチされる。Ｄ−ＦＦ５５８の出力は、比較器５５９に入力されて、αＬ（周囲長Ｌのα倍）と比較される。つまりこの系統は、式３の処理を実行していることになる。

比較器５５３、５５６、５５９の出力は、アンド回路５６０に入力され、それらの論理積出力が、接触フラグとして導出される。

乗算器５６１とＤ−ＦＦ５６２の系統は、先の周囲長Ｌ（ｔ）の２乗値を求めている。乗算器５６３とＤ−ＦＦ５６４の系統は、先の周囲長Ｌ（ｔ）にβを乗算したβＬを求めている。乗算器５６５とＤ−ＦＦ５６６の系統は、先の周囲長Ｌ（ｔ）にαを乗算したαＬを求めている。これらのα、βは、図１のしきい値レジスタ５１１に格納格納することができる。またα、βは、可変することもできる。したがって、α、βは、接触フラグを得る感度特定を変更する要因となる。

上記のように、本発明は、複数の光検知手段からの光検知信号を処理する信号処理部を有し、ここでは、光源手段の先端からの光が表示画面に照射されたとき、光検知信号を用いて前記表示画面上の受光領域の面積の情報を求める演算処理部と、前記受光領域の面積の情報が予め設定したパラメータの設定範囲内にあるときに、前記光の入力があったものと判定する判定部とを有する。

図６には、先のＬＣＤ１００、信号処理部５００、ＣＰＵ６００を示し、この図では、ＬＣＤ１００内の機能ブロックを示している。

ＬＣＤ１００のアレイ基板上の表示領域１３０には、並行に配列された複数の走査線（Ｘｎ）と、該複数の走査線に交差するように並行に配列された複数の信号線（Ｙｍ）が形成されている（図では走査線と信号線を１本ずつ示している）。複数の走査線と複数の信号線との交差部には、複数の表示手段としてのスイッチトランジスタを含む画素回路１３１１が配列されている。また複数の走査線と複数の信号線との交差部に配列された複数の光検知手段としてのセンサ回路１３１２が配列されている。図では、１つの画素回路及び１つのセンサ回路を代表して示している。

さらに画像を表示画面に表示するために、記複数の走査線と前記複数の信号線を介して前記複数の表示手段を駆動する駆動手段が設けられている。この駆動手段は、複数の画素回路をライン単位で駆動するためのゲート線駆動回路１１２と、駆動される画素回路にそれぞれ信号を供給する信号線駆動回路１１４とを有する。

また、上記した複数の光検知手段を制御するためのセンサ制御手段が設けられている。センサ制御手段は、センサ回路にプリチャージを行うためのプリチャージ回路１２５と、センサ回路をライン単位で指定するためのセンサ制御回路１２２と、センサ回路からの出力をアナログデジタル変換するＡ／Ｄ変換回路１２３と、デジタル変換されたデータを出力するデータ出力回路１２４を有する。このデータ出力回路１２４から出力されるデータが、図１で先に説明した画像データＤａｔａである。

この画像データは、センサ出力データとして、先の信号処理部５００に入力される。信号処理部５００内は、図１では、その一部のみを示した。しかし、実際には、ＬＣＤ１００を駆動するための制御信号出力部（シーケンサー）、及び表示用のビデオ信号出力部をも含む。さらには、ビデオ信号をデジタルアナログ変換するためのデジタルアナログ変換回路（ＤＡＣ）も含む。また各種駆動電圧を得るためのＤＣ−ＤＣ変換部も含む。

図７（Ａ）、図７（Ｂ）には、先のセンサ回路１３１２の基本的な構成を示している。図７（Ａ）において、７０１は、アレイ基板（ガラス基板）であり、このアレイ基板０１の内面側に、走査線、信号線、画素回路及びセンサ回路が印刷技術及び蒸着技術を用いて形成されている。アレイ基板７０１の外面には、ガラス保護のための透明膜７０２がコーティングまたは貼付けられている。アレイ基板７０１の内面に形成されたＰＩＮダイオードＤ１、Ｄ２、Ｄ３を代表して示している。ＰＩＮダイオードＤ１、Ｄ２、Ｄ３は、それぞれセンサ回路内で、光感応素子として機能する。ＰＩＮダイオードＤ１、Ｄ２、Ｄ３の周囲は絶縁層７０３により囲まれている。また絶縁層７０３の上面で、前記ＰＩＮダイオードＤ１、Ｄ２、Ｄ３に対応する部分は、遮光膜ＳＨ１，ＳＨ２，ＳＨ３が形成されている。

７１１は、上記のアレイ基板７０１に間隔を置いて対向する共通電極（透明電極）を有した対向基板（ガラス基板）である。この対向基板７１１とアレイ基板７０１との間は、液晶層７２０である。さらに対向基板７１１の外側には、バックライト７３０が配置されている。画素回路に画像信号が与えられることで、画素回路の付近の液晶層の液晶分子が制御される。これによりバックライト７３０からの光が、対向基板７１１、液晶層７２０、アレイ基板７０１を透過する際、その透過状態が制御され、表示画面に画像が得られる。

図７（Ｂ）には、１つのセンサ回路の基本的な回路構成を示している。信号線Ｓｉｇ（ｎ）には、スイッチトランジスタ（薄膜トランジスタ）ｎｔ１のソースが接続され、このトランジスタｎｔ１のドレインは、ＰＩＮダイオードＰＤのカソードに接続されるとともに、センサ容量ＣＰの一方の電極に接続されている。ダイオードＰＤのアノード及びセンサ容量ＣＰの他方の電極は、所定の電位のアースラインに接続されている。トランジスタｎｔ１のゲートは、リセット制御ラインＣＲＴ（ｍ）に接続されている。

このセンサ回路は、特定の水平ブランキング期間の後半で、センサ容量ＣＰにプリチャージが行なわれ、次の周回（１垂直期間後）の特定の水平ブランキング期間の前半で読出しが行われる。プリチャージの後、フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ない。したがって、読出し期間に、センサ容量ＣＰの電圧を増幅器を介して出力することでセンサ出力を得ることができる。

図８（Ａ）には、上記の画素回路及びセンサ回路の構成例を示している。電圧ラインＣｓは、補助容量Ｃｓｋ及び液晶ＬＣの一方の電極に所定の周期で所定の電位を与える電圧ラインである。ゲートラインＧａｔｅ（ｍ）は、画素回路１３１１の薄膜トランジスタ（ＴＦＴ）（以下駆動トランジスタ）１３ａをオンオフ制御するためのゲートラインである。

またリセット制御ラインＣＲＴ（ｍ）は、センサ回路１３１２を構成する薄膜トランジスタｎｔ１をオンオフ制御するための制御信号ラインである。トランジスタｎｔ１がオンしたときに、センサ容量ＣＰにプリチャージが行なわれる。ＧＮＤは、接地ラインである。またＳＦＢ（ｍ）は、センサ容量ＣＰの電位を読み出すときに薄膜トランジスタｎｔ３をオンするセンサ出力制御ラインである。薄膜トランジスタｎｔ２は増幅素子として機能する。ＰＤはフォトダイオードであり、光に感応し、光量に応じた電流を流す。これにより、センサ容量ＣＰにプリチャージされている電荷を放出することができる。Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）は、信号線である。

フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ないことになる。フォトダイオードＰＤと図示しないバックライトとの間には、遮光処理が成されている。

信号線Ｓｉｇ（ｎ）,Ｓｉｇ（ｎ＋１）は、信号線駆動回路１１４及びＡ／Ｄ変換回路１２３に接続されている。また電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）は、ゲート線駆動回路１１２に接続されており、リセット制御ラインＣＲＴ（ｍ）、接地ラインＧＮＤ、センサ出力制御ラインＳＦＢ（ｍ）は、センサー制御回路１２２に接続されている。

図４（Ｂ）には、上記の回路の動作を説明するためのタイミングチャートを示している。本回路において、１垂直期間（１フレーム期間）内の特定の１水平期間を次のように設定している。画素回路１３１１では、１水平期間（１Ｈ）内を、第１のブランク期間、コモン反転タイミング期間、書込み期間、第２のブランキング期間に分けている。またこの４つの期間に対応させて、センサ回路１３１２では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージ期間に分けている。１垂直期間（１フレーム期間）内の上記特定期間を除く他の期間は、画素回路１３１１は表示期間にあり、センサ回路１３１２は、撮像期間である。いま、画素回路１３１１、センサ回路１３１２の部分の動作を説明する。

画素回路１３１１においては、補助容量Ｃｓｋに対して信号線Ｓｉｇ（ｎ）を介して、書込み期間に、矢印ａ１に示すような経路で、画像信号が書き込まれる。この容量Ｃｓｋの両端間に生じた電圧値に応じて、液晶ＬＣが駆動され階調表示される。

センサ回路１３２１では、上記書込み期間に続いて、トランジスタｎｔ１がオンされ、容量ＣＰに対してプリチャージが行なわれる。このときも信号線Ｓｉｇ（ｎ）が利用される（矢印ｂ１、ｃ１の経路）。つまり、書込み期間とプリチャージ期間とがずれており、信号線Ｓｉｇ（ｎ）を有効利用している。撮像期間においてフォトダイオードＰＤに電流が流れると、プリチャージ電圧が変化する。そして、次の１フレームサイクルで、出力期間に、トランジスタｎｔ３がオンされる。すると、センサ容量ＣＰの電圧は、トランジスタｎｔ２で増幅されて、信号線Ｓｉｇ（ｎ＋１）を介して取出される（矢印ｄ１、ｅ１の経路）。隣の画素及びセンサ（リードライト画素と称しても良い）部においても次の１水平期間に同様な動作が実行される。センサ容量ＣＰから取出された電圧は、プリチャージ以後、読出しスタートまでの間、フォトダイオードＰＤが遮光されていた時間に応じて変化する。全く遮光されていない場合（ライトペンによる光照射ありの場合）は、読み出された電圧は十分に低い電圧であり、遮光されていた時間が長い場合（ライトペンによる光照射なしの場合）は、高い電圧が得られる。これによりインプットが成されたのかどうかを判定することができる。

図９は、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。画素及びセンサ部の構成は上記の実施例に限定されるものではない。画素回路として青用画素回路、緑用画素回路、赤用画素回路を有する３系統のものでもよい。

この発明は上記の実施形態に限定されるものではない。図１の説明では、受光領域の面積情報を求める場合、白また黒を示す２値画像データを用いて面積を求めた。しかし、さらに階調を持つ画像データを用いるようにしてもよい。つまり、階調を持つ画像データから、受光領域の画像データを抽出する際、抽出回路において、階調のしきい値を設定する。そして、輝度の高い画像データが受光領域の画像データであるものとして取り出すようにしてもよい。また、前記階調のしきい値は、可変パラメータとして利用してもよい。

図１０（Ａ）、図１０（Ｂ）には、例えば３画素×３画素を１つの単位として階調画像データを得る方法を示している。各画素にはセンサが１つ対応している。画素毎にセンサの感度が異なる。そこで３画素×３画素を１つの単位としてセンサの感度を魔方陣としている。図１０（Ａ）のような３画素×３画素を１つの単位ブロックとする２値化データから、その平均値を求める。図１０（Ａ）、図１０（Ｂ）では、９つのブロックが示されている。この１ブロックの平均値を、注目画素の階調値とするのである。図１０（Ｂ）には、各画素の階調を識別して示している。

図１１（Ａ）−図１１（Ｅ）は、光源であるライトペン７００の先端より光が表示画面に照射されたとき、正確な光検知信号を得る方法の一例を説明するために示している。

今、図１１（Ａ）に示すように、ライトペン７００がＬＣＤの表示画面１３０に対向し、ノイズ光が存在するものとする。またライトペン７００のペン光は、その形状が例えば図１１（Ｂ），図１１（Ｃ）に示すように時間経過とともに縦長の楕円スポットと、横長の楕円スポット状態に切り換わるものとする。

図１１（Ｄ）は、ノイズ光とライトペン７００のペン光とが一部重なっており、時間Ｔ１−Ｔ５と経過した場合を示している。この時間Ｔ１−Ｔ５に対応した撮像画像データＰ１−Ｐ５としては、ノイズの像とペン光の像とが、重なった状態になるとき（時間Ｔ１，Ｔ３）と、重ならない状態になるとき（時間Ｔ２、Ｔ４）がある。そして、ライトペンの光が消灯されたときの状態がある（時間Ｔ５）。つまり、楕円スポットまたは横長の楕円スポットが現われない状態がある。そこで、この発明では、ノイズ除去手段として、図１１（Ｅ）に示すように、楕円スポットまたは横長の楕円スポットが現われている状態の画像データから、楕円スポットまたは横長の楕円スポットが現われない状態の画像データを減算処理することにより、ペン光以外のノイズ光を大幅に減じることができる。このような処理は図１０のような多階調データに対して行うことができる。

このノイズ除去回路は、図１２に示すように、ＬＣＤ１００とラインメモリ５０２との間に設けられる。その他の部分は、図１の回路と同じであるから、同一符号を付して説明は省略する。なお、ノイズを減じた後のデータは所定の閾値（スレッショルド）で2値化した上で以降の処理回路に渡し前述の処理を受ける。

この発明は小型の携帯電話器に適用した場合も大きな効果を奏することができる。本発明によると、外部入力手段として、センサ回路内蔵のＬＣＤを用いている。しかもセンサ回路の制御及びデータ読出し手段は、従来の表示専用の回路に対して小規模の回路を追加するだけで実現できる。このために、小型の携帯電話器のように部品増設するための空間的余裕が少ない装置に対しても、本発明は容易に適用可能となる。携帯電話機用LCDの信号線駆動回路はワンチップのIC（以下ドライバICと呼ぶ）で形成され、アレイ基板上に貼り付けて用いられることが多い。本発明では、ドライバIC内に、ライトペンによりインプットされたデータ用の小容量メモリ（補助記憶装置）と、ライトペンによりインプットされたデータを処理する信号処理部５００を一体形成している。この信号処理部５００は、１チップＩＣとして実現することができドライバICとしてＬＣＤパネルに貼り付けることで、従来の液晶表示装置と殆ど同等の部品面積で構成することができる。

また、信号処理部とＬＣＤとの間は、専用のI/Oピンを追加しなくても、映像用のI/Oピンを時分割で利用することができる。ドライバIC内の信号線駆動回路からアレイ基板の各信号線に供給される映像信号は所定のブランキング期間を有する。このブランキング期間中に、ライトペンによりインプットされたデータを信号処理部５００に出力するようにプロトコルを定めればよい。このためドライバICのI/Oピン数を増大させずにすむため、ドライバICのコストを抑制することができる。このために従来の液晶表示装置の製造に対して大幅な変更を加えることなく本発明の装置を得ることができる。また従来の液晶表示装置と略同等の面積で本発明を実現することができる。

さらにライトペンなどでインプットされた画像位置情報はＬＣＤ１００から外部に出力されるが、画像情報に関しては、信号処理部５００内で、上記の補助記憶装置から主記憶装置へ直接転送処理することができる。これにより、表示画面上のインプット画像（例えば右側領域で入力された画像）を、表示側（例えば左側の領域）へ転送する（表示させる）画像処理が容易である。

またこの発明では、ライトペンなどでインプットされた画像情報を電圧変換し、スレッシュホルド電圧と比較し、画像認識するレベルを設定することが可能である。また入力装置（ライトペン）と、例えば信号処理部或はＣＰＵとの間に通信機能を持たせてもよい。この通信機能を持たせて、通信により感度調整を行えるようにしてもよい。つまり先に説明したα、βなどのパラメータの係数を調整できるようにしてもよい。携帯電話器は、種々の環境の元（明るいところ、暗いところ、室内、屋外等）で使用されるので、その入力感度を調整することがあるからである。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係わる光入力機能付き表示装置の要部となる座標入力及び画像入力部の基本的な構成を示すブロック図。 ライトペン７００が、ＬＣＤ１００の表示画面１３０に対して近づいたり離れたりしたときのフィルタ出力、演算出力などの様子を説明するために示した説明図。 図２（Ａ）−図２（Ｃ）のデータと基準値とのずれ量、該データの時間変動量、該データによる円形度を算出してグラフにした説明図。 図３（Ａ）−図３（Ｃ）データに対して、しきい値α＝１．８、β＝０．２５、γ＝０．３８を設定して、接触判定を行い、データがいくつの判定条件を満たしたかをグラフにした説明図。 接触フラグを出力する接触判定回路５０９の構成例を示す図。 ＬＣＤ１００、信号処理部５００、ＣＰＵ６００の関連を示し、特にＬＣＤ１００内の機能ブロックを示す図。 センサ回路１３１２の基本的な構成例を示す図。 画素回路及びセンサ回路の具体的構成例を示す回路図。 図８の回路の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図。 ３画素×３画素を１つの単位として階調画像データを得る方法の例を説明するために示した図。 光源であるライトペン７００の先端よりの光が表示画面に照射されたとき、正確な光検知信号を得る方法の一例を説明するために示した図。 この発明の他の実施の形態を示す構成説明図。

符号の説明

１００…ＬＣＤ、５００…信号処理部、５０１…タイミング発生回路、５０２…ラインメモリ、５０３…メジアンフィルタ回路、５０４…収縮フィルタ回路、５０５…面積計算回路、５０６…面積計算回路、５０７…重心座標計算回路、５０８…減算器、５０９…接触判定回路、５１０…座標値レジスタ、５１１…しきい値レジスタ、６００…ＣＰＵ、１３１１…画素回路（表示素子回路）、１３１２…センサ回路。

Claims (10)

1. 並行に配列された複数の走査線と、
   該複数の走査線に交差するように並行に配列された複数の信号線と、
   複数の走査線と複数の信号線との交差部に配列された複数の表示手段と、
   複数の走査線と複数の信号線との交差部に配列された複数の光検知手段と、
   画像を表示画面に表示するために、前記複数の走査線と前記複数の信号線を介して前記複数の表示手段を駆動する駆動手段と、
   前記複数の光検知手段からの光検知信号を出力する出力部と、
   光源手段の先端からの光が前記表示画面に照射されたとき、前記光検知信号を用いて前記表示画面上の受光領域の面積の情報を求める演算処理部と、
   前記受光領域の面積の情報が予め設定したパラメータの設定範囲内にあるときに、前記光の入力があったものと判定する判定部とを具備したことを特徴とする光入力機能付き表示装置。
2. 前記前記受光領域の面積の情報は、複数であり、メジアンフィルタ出力を用いた第１の面積の情報と、収縮フィルタ出力を用いて得られた第２の面積の情報であり、
   前記パラメータには、前記第１と第２の面積の情報の差分から求めた周囲長の２乗値と、前記周囲長に可変可能な係数を掛けた乗算値とが含まれていることを特徴とする請求項１記載の光入力機能付き表示装置。
3. 並行に配列された複数の走査線と該複数の走査線にそれぞれ交差するように並行に配列された複数の信号線との複数の交差部に配列された複数の表示手段と、前記複数の交差部に配列された複数の光検知手段と、前記複数の表示手段により画像を表示画面に表示するとともに、先端から光を照射することができる光源手段によって表示画面に照射される光を前記複数の光検知手段により検知し、この検知情報により情報入力を行うことができる光入力機能付き表示装置であって、
   前記光源手段の先端から照射される光の前記表示画面における受光領域を前記複数の光検知手段からの光検知信号に基づき検出する受光領域検出手段と、
   前記受光領域の面積をある指定された面積基準値と比較して基準値からのずれ量を算出する演算手段と、
   前記基準値からのずれ量がある指定されたずれ量しきい値よりも小さい場合に前記光源手段が前記表示画面に接触したと判定する接触判定手段と、
   を有することを特徴とする光入力機能付き表示装置。
4. 前記光源手段の先端の開口部の面積に基づいて前記面積基準値を設定することを特徴とする請求項３に記載の光入力機能付き表示装置。
5. 前記面積基準値を予め算出し記憶しておくキャリブレーション手段を有することを特徴とする請求項３に記載の光入力機能付き表示装置。
6. 前記ずれ量しきい値を予め算出し記憶しておくキャリブレーション手段を有することを特徴とする請求項３に記載の光入力機能付き表示装置。
7. 並行に配列された複数の走査線と該複数の走査線にそれぞれ交差するように並行に配列された複数の信号線との複数の交差部に配列された複数の表示手段と、前記複数の交差部に配列された複数の光検知手段とを有し、前記複数の表示手段により画像を表示画面に表示するとともに、先端から光を照射することができる光源手段によって表示画面に照射される光を前記複数の光検知手段により検知し、この検知情報により情報入力を行うことができる光入力機能付き表示装置であって、
   前記光源手段の先端から照射される光の前記表示画面における領域を前記複数の光検知手段からの光検知信号に基づき検出する受光領域検出手段と、
   前記受光領域の面積の時間変動量を算出する演算手段と、
   前記時間変動量がある指定された時間変動量しきい値よりも小さい場合に前記光源手段が前記表示画面に接触したと判定する接触判定手段と、
   を有することを特徴とする光入力機能付き表示装置。
8. 前記時間変動量しきい値を予め算出し記憶しておくキャリブレーション手段を有することを特徴とする請求項７に記載の光入力機能付き表示装置。
9. 複数の並行に配列された走査線と該複数の走査線にそれぞれ交差するように並行に配列された複数の信号線との複数の交差部に配列された表示手段と、前記複数の交差部に配列された複数の光検知手段とを有し、これら複数の表示手段により画像を表示画面に表示するとともに、先端から光を照射することができる光源手段によって表示画面に照射される光を前記複数の光検知手段により検知し、この検知情報により情報入力を行うことができる光入力機能付き表示装置であって、
   前記光源手段の先端から照射される光の前記表示画面における受光領域を前記複数の光検知手段からの光検知信号に基づき検出する受光領域検出手段と、
   前記受光領域の面積と周囲長から該領域の円形度を算出する演算手段と、
   前記円形度がある指定された円形度しきい値よりも大きい場合に前記光源手段が前記表示画面に接触したと判定する接触判定手段と、
   を有することを特徴とする光入力機能付き表示装置。
10. 前記円形度しきい値を予め算出し記憶しておくキャリブレーション手段を有することを特徴とする請求項９に記載の光入力機能付き表示装置。

Images