JP2005327106A - インプットセンサ内蔵ディスプレイ装置及びその駆動方法 - Google Patents

Abstract

【課題】特にインプットセンサ（例えば光電変換素子）を内蔵した表示装置において、データの読出し速度を向上できる。
【解決手段】マトリックス状に複数の表示素子を含む表示素子回路１３１１群、光センサを含むセンサ回路１３１２群が配置される。表示用駆動回路１１２が表示素子回路群の列線に表示用信号を、表示素子回路群の行線に駆動信号を与え表示を得る。読み出し回路１２２，１１４が、複数の光センサ回路群を同時に特定し、複数の光センサの検知信号を演算出力として読み出す。信号処理手段３００は、読み出し回路から出力された検知信号を、処理する。
【選択図】 図３

Description

本発明は、液晶、発光素子などを用いた平板型のディスプレイ装置に係わり、特にインプットセンサを内蔵したインプットセンサ内蔵ディスプレイ装置に関する。

液晶表示装置は、信号線、走査線及び画素ＴＦＴが列設されたアレイ基板と、信号線及び走査線を駆動する駆動回路とを備えている。最近の集積回路技術の進歩発展により、駆動回路の一部をアレイ基板上に形成するプロセス技術が実用化されている。これにより、液晶表示装置全体を軽薄短小化することができ、携帯電話やノート型コンピュータなどの各種の携帯機器の表示装置として幅広く利用されている。

ところで、アレイ基板上に、画像取込みを行う密着型エリアセンサ（光電変換素子）を配置した画像取込み機能を備えた表示装置が提案されている（例えば、特許文献１，２を参照）。

この種の画像取込み機能を備えた従来の表示装置は、光電変換素子に接続されたキャパシタの電荷量を光電変換素子での受光量に応じて変化させるようにし、キャパシタの両端電圧を検出することで、画像取込みを行っている。

最近では、画素ＴＦＴや駆動回路を同一のガラス基板上に多結晶シリコン（ポリシリコン）プロセスで形成する技術が進んでおり、上述した光電変換素子もポリシリコンプロセスで形成することにより、各画素内に容易に形成可能である。
特開2001-292276号公報 特開2001-339640号公報

表示装置の画素内に表示素子と光電変換素子（光センサ）を内蔵すると、表示素子を駆動するための表示データ処理装置、光電変換素子から読み出したデータを処理するための読出しデータ処理装置が必要である。さらに、表示素子で表示された画像が示す内容と、読み出したデータの内容（タイミング、座標位置等）とが関連する場合、相互の関連付けを処理する関連データ処理装置が必要である。しかも読出しデータの内容は、ユーザの操作に基づいて変化するので、関連データ処理装置は、融通性をもつことが重要である。

ここで上記の光電変換素子からデータを読み出す場合、その読出し速度が問題となる場合がある。例えば、表示装置が操作パネルとして用いられると、タッチ操作が高速で頻繁に繰り返し行われる場合がある。このような速度の速いタッチ操作を検知するためには、データ読出しも高速で行う必要がある。

本発明は上記の点に鑑みてなされたものであり、特にインプットセンサ（例えば光電変換素子）を内蔵した表示装置において、データの読出し速度を向上できるインプットセンサ内蔵ディスプレイ装置を提供することにある。

この発明は、上記目的を達成するために、マトリックス状に配置された複数の表示素子を含む表示素子回路群と、マトリックス状に配置された光センサを含むセンサ回路群と、前記表示素子回路群の列線に表示用信号を与え、且つ前記表示素子回路群の行線に駆動信号を与える表示用駆動回路と、前記光センサ回路群の１つの列線と複数の行線とを、１フレーム内の特定の１水平期間の一部期間に指定することで複数の光センサ回路群を特定し、複数の光センサの検知信号を演算出力として読み出す読み出し回路と、前記読み出し回路から出力された検知信号を、処理する読出し信号処理手段とを有する。

上記のように前記読み出し回路から出力された検知信号は、複数の光センサの検知信号の演算出力である。このために、光センサの１つずつから読み出すよりも格段と読出し速度が速くなる。

以下図面を参照して本発明の実施の形態を説明する。まず、図１を参照して、本発明の一実施の形態に係るインプットセンサ内蔵ディスプレイ装置の全体的な概略構成を説明する。

１００は、表示及びセンサ部であり、例えば液晶が用いられた表示及びセンサ部である。この表示及びセンサ部１００は、マトリックス状に２次元配列された表示素子と、マトリックス状に２次元配列されたセンシング素子とを内蔵している。この構造については、さらに後で詳しく説明する。

２００は、インプットセンサ内蔵ディスプレイ装置の各部を制御するためのシステム制御部、または、外部に独立して用意された、システム制御部（コンピュータ装置）であり、本発明に関連する部分を示している。このシステム制御部２００は、メインボード上に構築される。システム制御部２００には、マイクロコンピュータ２０１、このマイクロコンピュータ２０１と、アプリケーションプログラムに基づいて各種の制御動作を実現するための各種制御部２０２がある。基本のプログラムはＲＯＭ２０３に格納されており、また各種のアプリケーションプログラムがＲＡＭ２０４に格納される。タイマー２０５は、この装置の基準時間情報を生成している。２０６は、外部制御インターフェース及びデータインターフェースであり、制御データ（コマンドの入出力）、画像データの入出力を行う。また外部の機器、セットトップボックス、チューナ、モデム、パーソナルコンピュータ等との接続を可能としている。

３００は、表示及び撮像データ処理部であり、システム制御部２００からの指令に応じて、先の表示及びセンサ部１００の表示状態、撮像状態、表示及び撮像のタイミング、領域設定などを実現する。表示及び撮像データ処理部３００は、書込み読出し専用処理部３１２を有し、メモリ（ＳＲＡＭ）３１１に対して撮像した画像データ、表示するための画像データなどを一時的に保存することができる。さらにまた、スイッチ及びＬＥＤ処理部３１３を有し、ここでは外部からのスイッチ入力（例えば感度調整、輝度調整などの操作信号）を処理することもできるし、さらにシステムの状態を外部に知らせるために、発光素子（ＬＥＤ）を駆動することもできる。書込み読出し専用処理部３１２は、読出し信号処理部、書込み信号処理部を含む。読出し信号処理部は、表示及びセンサ部１００からの検知信号をアプリケーションに基づいて種々の状態に変換処理することができる。書込み信号処理部は表示するための信号を表示及びセンサ部１００に送り出すための処理を行う。

書込み読出し専用処理部３１２は、中継ボード４００を介して先の表示及びセンサ部１００に接続されている。中継ボード４００には、電源回路、画像データを表示用に変換するデジタルアナログ変換器等が搭載されている。

表示及びセンサ部１００に与えられる信号の種類を大別すると、表示用制御信号，表示用のＲＧＢ画像データ、撮像用制御信号がある。また表示及びセンサ部１００から読み出される信号として、撮像データがある。

図２には、先の表示及び撮像データ処理部３００内の特に書込み読出し専用処理部３１２の基本的な機能ブロックを示している。３０２はデジタルインターフェースであり、システム制御部２００のインターフェース２０６、スイッチ及びＬＥＤ処理部３１３に接続されている。このインターフェース３０２に取り込まれたデータは、データ分離及びデータ転送部３０３で、データの種類が認識される。外部から送られてきたコマンドは、コマンドレジ３０４に格納される。

撮像条件・撮像形態ルックアップテーブル３０５は、複数の撮像条件（プリチャージ電圧、撮像時間など）の情報を格納しており、これらの情報は、システム制御部２００からインターフェースを介して書込みすることができ、またシステム制御部２００側から読取ることもできる。また、書込み読出しタイミング制御部及びデータ入出力部３０６で発生しているタイミング信号を監視して、書込み読出しタイミング制御部及びデータ入出力部３０６から出力される前記タイミング信号の位相などをコントロールすることも可能である。

書込み読出しタイミング制御部及びデータ入出力部３０６は、前記撮像条件・撮像形態ルックアップテーブル３０５からの制御データに基づいて、撮像用の制御信号、また、表示用制御信号も出力する。さらにコマンドレジスタ３０４からのコマンドに応答して、撮像データをデータ分離及びデータ転送部３０３を介して外部に出力することもできる。また撮像データをＳＲＡＭ３１１に格納するために、ＳＲＡＭ制御部３０７に転送することもできる。さらにまた、表示用の画像データを受け取り、表示及びセンサ部１００に送ることもできる。ＳＲＡＭ３１１に格納されているデータが表示用の画像データとして用いられるときは、この画像データは、ＳＲＡＭ制御部３０７を介して書込み読出しタイミング制御部及びデータ入出力部３０６に送られる。外部からの画像データが表示用の画像データとして用いられるときは、この画像データは、データ分離及びデータ転送部３０３を介して書込み読出しタイミング制御部及びデータ入出力部３０６に送られる。

ＳＲＡＭ制御部３０７は、書込み読出しタイミング制御部３０６を介して取り込んだ撮像データをＳＲＡＭ３１１に格納する制御を行う。またＳＲＡＭ３１１に格納されている画像データを、書込み読出しタイミング制御部３０６を介して表示及びセンサ部１００に送り出すなどの制御を行う。さらにまた、コマンドに従って、ＳＲＡＭ３１１に格納されている画像データの編集処理、画像切替え処理等も行うことができる。また、ＳＲＡＭ３１１からの画像データをデータ分離及びデータ転送部３０３、インターフェース３０２を介して外部に送りだすこともできる。

また、ＳＲＡＭ制御部３０７は、インターフェース３０２、データ分離及びデータ転送部３０３を介して外部から送られて来た画像データ、さらには制御データなどをＳＲＡＭ３１１に格納することができる。また、撮像データを用いてユーザーが表示面上を指示している座標の計算及びタップしたか否かの判定を行うことができる。

コマンドレジスタ３０４は、コマンドを格納している。コマンドに応じて以下のような処理を実行する。リセット処理を行うことができる。モード指定１では、通常表示モードと、入力可能モードと、を切替えることができる。入力可能モードは、表示及びセンサ部１００からの撮像データを読取り、処理する状態にセットすることである。通常表示のみの場合は、表示及びセンサ部１００から撮像データを出力しないことで、消費電力の節約を得る。

モード指定２では、本撮像状態、キャリブレーション撮像状態に切替えることができる。キャリブレーション撮像状態では、表示及びセンサ部１００において、表示素子部を閉じる（オフする）ことで、撮像に専念し、撮像ムラを低減するためのデータを取得することができる。

基準信号に対する映像信号の位相信号を、書込み読出しタイミング制御部及びデータ入出力部３０６に渡し、表示及びセンサ部１００に最適なタイミングで、信号処理を実行させる。また、ＳＲＡＭ３１１に２つの画面分の画像データが保存されているような場合に、いずれを表示するかを瞬時に切替える。転送モード（ハンドシェイク（ＨＳ）／バースト）切替えを行う、つまり撮像条件・撮像形態ルックアップテーブル３０５及びＳＲＡＭ制御部３０７などがデータ分離及びデータ転送部３０３及びインターフェース３０２に所定単位のデータを転送する場合、その転送方法、転送速度などを設定する。サンプリングタイミング指示を行う、つまり表示及びセンサ部１００から出力する撮像データを、表示及びセンサ部１００がサンプリングするタイミングを指示する。システム制御部２００側からの書込み許可命令を行う、つまり撮像条件・撮像形態ルックアップテーブル３０５及びＳＲＡＭ制御部３０７に対してインターフェース３０２を介してデータ書込みを許可する。

インターフェース３０２は、システム制御部２００側からのコマンドを受けて、コマンドレジスタ３０４への書込み処理を行う。また、撮像条件・撮像形態を設定するためのデータをシステム制御部２００側から受け取り、撮像条件・撮像形態ルックアップテーブル３０５に送り込む。また、ＳＲＡＭ３１１に書き込むための画像データを、システム制御部２００側から受け取り、ＳＲＡＭ制御部３０７に送る。またＳＲＡＭ制御部３０７から、座標、タップ情報などの計算結果を受け取り、システム制御部２００側に送り出す。

転送モードとしては、ハンドシェイク（ＨＳ）（〜１．５Ｋｂｐｓ）があり、この速度で、コマンドレジスタ３０４への書込み、撮像条件・撮像形態ルックアップテーブル３０５へのデータ書込みが行われる。また、転送モードとしては、バースト転送（〜１６０Ｍｂｐｓ）があり、撮像条件・撮像形態ルックアップテーブル３０５からのデータ読出し、ＳＲＡＭ３１１へのデータの書込み読出しが行われる。これらの転送モードが選択的に利用される。

上記の表示及び撮像データ処理部３００は、システム制御部２００の各種制御部２０２に格納されている各種アプリケーション、及びこれに基づいて発生するシステム制御部２００からの命令、を受け取る。したがって、アプリケーションに応じて、本発明の装置は、種々の使い方、利用形態をが可能となる。表示及び撮像データ処理部３００、システム制御部２００及び表示及びセンサ部１００は、一体に構成されていてもよい。また、表示及び撮像データ処理部３００と表示及びセンサ部１００とが一体で、システム制御部２００が別途独立したものでもよい。

そのためにこの発明では、表示及び撮像データ処理部３００の特に、デジタルインターフェース３０２は、各種のタイプが用意されていてもよい。つまり、外部との接続のためにＵＳＢが用いられてよいし、無線モデムユニットなども用意されてもよい。さらには、携帯電話のデータ入力出力部に接続可能であってもよい。さらにまた、映像信号用としてＲＧＢ端子、ＹＩＱ端子など設けられてもよい。

図３には、表示及びセンサ部１００の機能をブロック化して示している。１３０は画素及びセンサアレイ部であり、マトリックス状に配置された表示素子群と、マトリックス状に配置された光センサ群とを有する。この画素及びセンサアレイ部１３０の画素回路及びセンサ回路については後述する。

画素及びセンサアレイ部１３０の側部（図面左側）には、表示用ゲート線駆動回路１１２、読み出し用ゲート線駆動回路１２２が形成されている。表示用ゲート線駆動回路１１２は、マトリックス状に配列された表示素子群を行毎或は複数行単位で駆動する回路である。

ここで、読み出し用ゲート線駆動回路１２２は、マトリックス状に配列された光センサ群を行毎あるいは複数行単位で駆動する回路である。

画素及びセンサアレイ部１３０の下側部には、信号線駆動回路及びプリチャージ回路１１４が形成されている。この信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された表示素子群の列方向の各表示素子に画像データを書き込む回路である。また信号線駆動回路及びプリチャージ回路１１４は、マトリックス状に配列された光センサ群の列方向の各センサに所定電位をプリチャージする回路である。

画素及びセンサアレイ部１３０の上部には、Ａ/Ｄ変換回路１２３、データ出力回路１２４が形成されている。Ａ/Ｄ変換回路１２３は、光センサ群の信号線から読み出された信号をアナログデジタル変換し、データ出力回路１２４に転送する回路である。データ出力回路１２４は、取り込んだデータをシリアルデータに変換したうえで、撮像データ１２５として出力する。

ここで、読出し用ゲート線駆動回路１２２には、撮像用制御信号１２１が、先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。また表示用ゲート線駆動回路１１２には、表示用制御信号１１１が、先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。さらに、信号線駆動回路及びプリチャージ回路１１４には、Ｒ，Ｇ，Ｂの画像データが先の表示及び撮像データ処理部３００から中継ボード４００を介して与えられている。Ｒ，Ｇ，Ｂの画像データは中継ボード上のデジタル-アナログ変換回路（ＤＡＣ）で液晶セルの階調表示に適したアナログ電圧に変換され、信号線駆動回路を経由して所定の信号線に書き込まれ、さらに表示用ゲート線駆動回路１２１により指定される行の画素に書き込まれる。また、プリチャージ電圧制御信号１１５が与えられてもよい。なお、液晶セルの階調表示は、フレームレートコントロール方式であってもよい。

画素及びセンサ（リードライト画素と称しても良い）部は、表示用の画素回路１３１１と読み取り用のセンサ回路１３１２で構成される。

図４は、上記のリードライト画素の基本的な回路構成例を示す。Ｃｓは、補助容量Ｃｓｋ及び液晶ＬＣの一方の電極に所定の周期で所定の電位を与える電圧ラインである。Ｇａｔｅ（ｍ）は、画素回路１３１１の薄膜トランジスタ（ＴＦＴ）（以下駆動トランジスタ）１３ａをオンオフ制御するためのゲートラインである。またＣＲＴ（ｍ）は、センサ回路１３１２を構成する薄膜トランジスタｎｔ１をオンオフ制御するためのリセット信号ラインである。トランジスタｎｔ１がオンしたときに、センサ容量ＣＰにプリチャージが行なわれる。ＪＶｓｓは、接地ラインである。またＳＦＢ（ｍ）は、センサ容量ＣＰの電位を読み出すときに薄膜トランジスタｎｔ３をオンするセンサ出力制御ラインである。薄膜トランジスタｎｔ２は増幅素子として機能する。ＰＤはフォトダイオードであり、光に感応し、光量に応じた電流を流す。これにより、センサ容量ＣＰにプリチャージされている電荷を放出することができる。Ｓｉｇ（ｎ）, Ｓｉｇ（ｎ＋１）は、信号線である。

フォトダイオードＰＤに照射される光量が多い場合は、センサ容量ＣＰの放電量が多い、逆にフォトダイオードＰＤの照射される光量が少ない場合は、センサ容量ＣＰの放電量が少ないことになる。フォトダイオードＰＤと図示しないバックライトとの間には、遮光処理が成されている。

信号線Ｓｉｇ（ｎ）,Ｓｉｇ（ｎ＋１）は、図３に示した信号線駆動回路１１４及びＡ／Ｄ変換回路１２３に接続されている。また電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）は、表示用ゲート線駆動回路１１２に接続されており、リセット信号ラインＣＲＴ（ｍ）、接地ラインＪＶｓｓ、センサ出力制御ラインＳＦＢ（ｍ）は、読出し用ゲート線駆動回路１２２に接続されている。

図４（Ｂ）には、上記の回路の動作を説明するためのタイミングチャートを示している。本回路において、１垂直期間（１フレーム期間）内の特定の１水平期間を次のように設定している。画素回路（または表示素子回路と称しても良い）１３１１では、１水平期間（１Ｈ）内を、第１のブランク期間、コモン反転タイミング期間、書込み期間、第２のブランキング期間に分けている。またこの４つの期間に対応させて、センサ回路１３１２では、出力期間、コモン反転タイミング期間、ブランク期間、プリチャージ期間に分けている。１垂直期間（１フレーム期間）内の上記特定期間を除く他の期間は、画素回路１３１１は表示期間にあり、センサ回路１３１２は、撮像期間である。

［書込み期間（画素回路）の動作］
次に、画素回路１３１１、センサ回路１３１２の部分の動作を説明する。画素回路１３１１においては、補助容量Ｃｓｋに対して信号線Ｓｉｇ（ｎ）を介して、そして書込み期間に矢印ａ１に示すような経路で、画像信号が書き込まれる。この容量Ｃｓｋの両端間に生じた電圧値に応じて、液晶ＬＣが駆動され階調表示される。

［書込み期間（画素回路）からプリチャージ期間（センサ回路）の動作］
センサ回路１３２１では、上記書込み期間に続いて、トランジスタｎｔ１がオンされ、容量ＣＰに対してプリチャージが行なわれる。このときも信号線Ｓｉｇ（ｎ）が利用される（矢印ｂ１、ｃ１の経路）。つまり、書込み期間とプリチャージ期間とがずれており、信号線Ｓｉｇ（ｎ）を有効利用している。

［撮像期間から出力期間（センサ回路）の動作］
撮像期間においてフォトダイオードＰＤに電流が流れると、プリチャージ電圧が変化する。そして、次の１フレームサイクルで、出力期間に、トランジスタｎｔ３がオンされる。すると、センサ容量ＣＰの電圧は、トランジスタｎｔ２で増幅されて、信号線Ｓｉｇ（ｎ＋１）を介して取出される（矢印ｄ１、ｅ１の経路）。隣の画素及びセンサ（リードライト画素と称しても良い）部においても次の１水平期間に同様な動作が実行される。センサ容量ＣＰから取出された電圧は、プリチャージ以後、読出しスタートまでの間、フォトダイオードＰＤが遮光されていた時間に応じて変化する。全く遮光されていない場合は、読み出された電圧は十分に低い電圧であり、遮光されていた時間が長い場合は、高い電圧が得られる。これによりインプットが成されたのかどうかを判定することができる。

図５は、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。画素及びセンサ部の構成は上記の実施例に限定されるものではない。

図６には、画素及びセンサ部の他の構成例を示している。この構成は、画素回路として青用画素回路１３２Ｂ、緑用画素回路１３２Ｇ、赤用画素回路１３２Ｒを有する。したがって夫々の回路１３２Ｂ、１３２Ｇ、１３２Ｒに対応する信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒが設けられている。電圧ラインＣｓ、ゲートラインＧａｔｅ（ｍ）、リセット信号ラインＣＲＴ（ｍ）、センサ出力制御ラインＳＦＢ（ｍ）は、先の図４の回路と同じである。

センサ回路１３１２は、トランジスタｎｔ１，容量ＣＰ，フォトダイオードＰＤ，増幅器としてのトランジスタｎｔ２，出力を取出すためのトランジスタｎｔ３で構成されている。

この回路においても、信号線が有効に活用されている。図４、図５のタイミングチャートも参照して説明する。信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒは、スイッチトランジスタ１３ａがオンしている期間では、それぞれ対応する容量Ｃｓへ映像信号を書き込むために利用される。信号線Ｓｉｇ（ｎ）Ｒは、プリチャージ期間に、容量ＣＰに所定電位をプリチャージするために利用される。信号線Ｓｉｇ（ｎ）Ｇは、撮像期間にフォトダイオードＰＤに流れる電流を放出するために利用される。信号線Ｓｉｇ（ｎ）Ｇの電位を設定することで、この電流放出動作が可能である。そして、信号線Ｓｉｇ（ｎ）Ｂは、撮像信号の出力期間に、容量ＣＰの電圧を増幅して読み出すために利用される。

ここで本発明では、撮像信号の読出しが短時間で得られるように工夫されている。そのために本発明では、撮像信号を読み出す場合、複数行分のセンサ回路の電荷を同時または連続して読み出すのである。

図７（Ａ）には、１行のセンサ回路の電荷を読み出した場合に、信号線上での電圧変化の様子を示している。電荷読出しに先立って、信号線は所定電位Ｖｐｒｅにチャージされる。次に、先に説明したように、容量ＣＰの電荷が薄膜トランジスタｎｔ２，ｎｔ３を介して導出される。電圧ＶＯ１は、黒出力の場合の変化を示し、電圧ＶＯ２は、灰色（白黒半々の中間階調）出力の場合の変化を示し、電圧ＶＯ３は、白出力の場合の変化を示している。これに対して、図７（Ｂ）には、１０行のセンサ回路の電荷を同時に同じ信号線に出力したときの出力変化を示している。電圧ＶＯ１１は、黒出力の場合の変化を示し、電圧ＶＯ２２は、灰色（白黒半々の中間階調）出力の場合の変化を示し、電圧ＶＯ３３は、白出力の場合の変化を示している。

この場合は、１０行分のセンサ（複数のセンサ回路群）の出力が加算演算された状態となる。したがって、センサ回路群の出力開始から検出時間も短くてよい。さらにまた、１フレーム分の撮像信号を得る場合も、検出回数が少なくてよい。このことは、読み取った撮像信号を信号処理して、撮像内容を判定する際、その時間的余裕が得られるということである。

図８（Ａ）、図８（Ｂ）には、１０行分のセンサ回路（複数行）の電荷を同時に読み出すための、回路例とタイミングチャートを示している。基本的には、図４−図６で説明した動作に類似する。図８（Ａ）の回路は、図６に示した回路と同じであるが、信号線Ｓｉｇ（ｎ）Ｒ、Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇの配置が異なるだけである。

信号線Ｓｉｇ（ｎ）Ｂ、Ｓｉｇ（ｎ）Ｇ、Ｓｉｇ（ｎ）Ｒは、スイッチトランジスタ１３ａがオンしている期間では、それぞれ対応する容量Ｃｓへ映像信号を書き込むために利用される。容量Ｃｓｋへ映像信号が書き込まれた場合、この容量Ｃｓｋで液晶ＬＣが駆動される。複数のまとまった液晶ＬＣの駆動状態により、画像が表示される。ここでは、インプットセンサに関する画像となる。例えばテンキーやスイッチが画像表示される。このようなシンボル画像は、１画素のみで実現されることはない。そこでこの発明では、このようなシンボル画像は、複数の画素単位で書込み処理を行っても問題がないことに着目し、複数行分の画素単位で、映像信号を書き込むのである。図では、１行分の表示素子回路しか示していないが、実際には、例えば１０行分の表示素子回路（表示素子回路群）の各容量Ｃｓｋに映像信号が時分割で書き込まれる。

さらにこの発明では、例えば１０行分のセンサ回路（センサ回路群）の単位で撮像信号の読み出しが行われる。以下、センサ回路の動作について説明する。

信号線Ｓｉｇ（ｎ）Ｒは、プリチャージ期間に、センサ回路１３２１の容量ＣＰに所定電位をプリチャージするために利用される。このとき、図では１行分のセンサ回路しか示していないが、実際には、１０行分のセンサ回路（センサ回路群）の各容量ＣＰにプリチャージが行なわれる。

信号線Ｓｉｇ（ｎ）Ｇは、撮像期間にフォトダイオードＰＤに流れる電流を放出するために利用される。信号線Ｓｉｇ（ｎ）Ｇの電位を設定することで、この電流放出動作が可能である。フォトダイオードＰＤに光が当たると、光量に応じて電流が流れるために、容量ＣＰの電位が低減する。そして、信号線Ｓｉｇ（ｎ）Ｂは、撮像信号の出力期間に、容量ＣＰの電圧を増幅して読み出すために利用される。この時、信号線Ｓｉｇ（ｎ）Ｂは、は事前に例えば５Ｖにプリチャージされる。今、容量ＣＰにプリチャージされている電圧が５Ｖであるとし、電圧が低下していないとすると、出力期間での信号線Ｓｉｇ（ｎ）Ｂの電位は変化しない（黒出力）。出力期間に、容量ＣＰにプリチャージされている電圧５Ｖが低下し、ているとすると、信号線Ｓｉｇ（ｎ）Ｂの電位が変化する（中間階調出力、又は白出力）。

図９には、上記の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。図５に示した内容とほぼ同じであるが、この例では、読み出し単位が１０行単位である。したがって、１つのフレーム内のセンサ回路群の情報を読み出すのに、1行ずつ読み出す時間ＴＰＦに比べて、十分の一の時間（１／１０）ＴＰＦでよい。このためにセンサ回路から得られた検出信号を処理するための時間的な余裕が得られることになる。この時間的余裕をもつことは重要なことである。なぜならば、センサ回路群を解して入力した情報に対しては、種々な論理的判断を行うために必要な時間が必要であるからである。また映像信号の書込みに関しても、例えばテンキーやスイッチが画像のようなシンボル画像は、１画素のみで実現されることはない。そこで、このようなシンボル画像は、複数の画素単位で書込み処理を行っても問題がないことに着目し、複数行分の画素に対して、映像信号を書き込むのである。これにより書込み処理にも時間的余裕ができることになる。映像信号が書き込まれる場合は、映像書込み期間（図８（Ｂ），図９（Ｂ）に示す）に時分割で、例えば１０行分の映像信号Ｒ，Ｇ，ＧをＳｉｇ（ｎ）Ｒ，Ｓｉｇ（ｎ）Ｂ，Ｓｉｇ（ｎ）Ｇに書込み回路（信号線駆動回路・プリチャージ回路１１４）からそれぞれ出力するのである。なお信号線駆動回路・プリチャージ回路１１４は、上記の動作を実現するために、信号線の電位を適切な電位に切替設定する機能を備える。この発明は、上記の実施の形態に限定されるものではない。

図１０（Ａ），図１０（Ｂ）にはこの発明の他の実施の形態を示している。この実施の形態が、図８（Ａ），図８（Ｂ）の実施の形態と異なる点は、センサ回路群から撮像信号を読み出すとき（出力期間）に、例えば１０行分を連続で順次読み出す方法である。その他は、図８（Ａ），図８（Ｂ）の実施の形態と同じであるから、同じ部分に関しては説明は省略する。

図１１は、図１０（Ａ）の回路の動作をフレーム単位（Ｎフレーム目とＮ＋１フレーム目）で示した説明図である。１回の読み出し単位が、時分割１０行の単位である。したがって、１つのフレーム内のセンサ回路群の情報を読み出すのに、1行ずつ読み出す時間ＴＰＦに比べて、十分の一の時間（１／１０）ＴＰＦでよい。このためにセンサ回路から得られた検出信号を処理するための時間的な余裕が得られることになる。

図１２には、１０行分のセンサ回路群からの出力が得られるときの各種の例を示している。１０行のセンサ回路から電荷を順次に同じ信号線に出力したときの出力変化を示している。電圧ＶＯ４１は、黒出力の場合の変化を示し、電圧ＶＯ４２は、灰色（白黒半々の中間階調）出力の場合の変化を示し、電圧ＶＯ４３は、白出力の場合の変化を示している。この場合は、１０行分のセンサ（複数のセンサ回路群）の出力の平均値が出力された状態となる。

上記の撮像信号は、Ａ／Ｄ変換回路でデジタル化され、データ出力回路を介して撮像データとして出力される。この撮像データは、図１に示した中継ボード４００を介して，書込み読出し専用処理部３１２に取り込まれる。ここで書込み読出し専用処理部３１２は、撮像データの効率的な取込処理を行っている。

図１３には、書込み読出し専用処理部３１２が撮像データを取り込むケースの一例をを示している。例えば図１３（Ａ）に示すようなテンキーの表示が成されており、撮像信号は、いずれかのキーへのタッチ状態を検出したいような場合がある。このときに有用な撮像データは、主としてテンキーの表示部に位置する光センサ出力である。

そこで本発明の装置では、書込み読出し専用処理部３１２は、図１３（Ｂ）に示すようにテンキーの表示位置に対応する領域（ｒ１、ｒ２、ｒ３…）のみがサンプリングされるように設定される。このサンプリングタイミングは、撮像条件・撮像形態ＬＵＴ３０５において、選択されているテーブルに基づいて、図１３（Ｂ）に示すようなサンプリングパルスＨＧＰ，ＶＧＰを発生し、このサンプリングパルスのタイミングで撮像データを判定すればよい。これにより、必要最小限のサンプリングデータに基づいて、効率的なデータ処理が可能となる。この発明では、撮像データの判定精度を上げるために各種の工夫がされている。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施の形態を示すブロック構成図。 図１の表示及び撮像データ処理部の構成を詳しく示すブロック図。 本発明に係る表示及びセンサ部１００の全体的なブロック構成図。 図３の画素回路及びセンサ回路の具体例とその動作を説明するために示した説明図。 本発明に係る装置の表示及び撮像タイミングをフレーム単位で説明するために示した説明図。 本発明に係る画素回路及びセンサ回路の他の具体例を示す説明図。 センサ回路の電荷を読み出した場合の信号線上での電圧変化の様子を示す説明図。 本発明に係る画素回路及びセンサ回路のさらに他の具体例を示す説明図。 図８の回路の表示及び撮像タイミングをフレーム単位で説明するために示した説明図。 本発明に係る画素回路及びセンサ回路のまた他の具体例を示す説明図。 図１０の回路の表示及び撮像タイミングをフレーム単位で説明するために示した説明図。。 図１０のセンサ回路の電荷を読み出した場合の信号線上での電圧変化の様子を示す説明図。 本発明に係る装置の画面表示例と撮像データの取り込みタイミングの例を説明するために示した図。

符号の説明

１００…表示及びセンサ部、２００…システム制御部、３００…表示及び撮像データ処理部、４００…中継ボード、１３１１…画素回路（表示素子回路）、１３２１…センサ回路。

Claims (10)

1. マトリックス状に配置された複数の表示素子を含む表示素子回路群と、
   マトリックス状に配置された光センサを含むセンサ回路群と、
   前記表示素子回路群の列線に表示用信号を与え、且つ前記表示素子回路群の行線に駆動信号を与える表示用駆動回路と、
   前記光センサ回路群の１つの列線と複数の行線とを、１フレーム内の特定の１水平期間の一部期間に指定することで複数の光センサ回路群を特定し、複数の光センサの検知信号を演算出力として読み出す読み出し回路と、
   前記読み出し回路から出力された検知信号を、処理する読出し信号処理手段とを有することを特徴とするインプットセンサ内蔵ディスプレイ装置。
2. 前記読み出し回路は、前記演算出力を、前記表示素子回路群で使用する信号線に導出するように前記センサ回路群を制御する手段を有することを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
3. 前記読み出し回路は、１フレーム内の特定の１水平期間の一部期間に前記複数の光センサの検知信号を同時に演算出力として読み出すように前記センサ回路群を制御する手段を有することを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
4. 前記読み出し回路は、１フレーム内の特定の１水平期間の一部期間に前記複数の光センサの検知信号を順次時分割出力として読み出すように前記センサ回路群を制御する手段を有することを特徴とする請求項１記載のインプットセンサ内蔵ディスプレイ装置。
5. 前記読み出し回路は、複数の光センサの検知信号を演算出力として読み出す前に、読み出す前記信号線を、所定電位に設定する手段を含むことを特徴とする請求項２記載のインプットセンサ内蔵ディスプレイ装置。
6. マトリックス状に配置された複数の表示素子を含む表示素子回路群と、マトリックス状に配置された光センサを含むセンサ回路群と、前記表示素子回路群の列線に表示用信号を与え、且つ前記表示素子回路群の行線に駆動信号を与える表示用駆動回路とを有したディスプレイ装置の駆動方法であって、
   読み出し回路により、前記光センサ回路群の１つの列線と、複数の行線とを、１フレーム内の特定の１水平期間の一部期間に指定することで複数の光センサ回路群を特定し、複数の光センサの検知信号を演算出力として読み出し、
   信号処理回路により、前記読み出された検知信号を、処理する、
   ことを特徴とするインプットセンサ内蔵ディスプレイ装置の駆動方法。
7. 前記読み出し回路は、前記演算出力を、前記表示素子回路群で使用する信号線に導出するように前記センサ回路群を制御することを特徴とする請求項６記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。
8. 前記読み出し回路は、１フレーム内の特定の１水平期間の一部期間に前記複数の光センサの検知信号を同時に演算出力として読み出すように前記センサ回路群を制御することを特徴とする請求項６記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。
9. 前記読み出し回路は、１フレーム内の特定の１水平期間の一部期間に前記複数の光センサの検知信号を順次時分割出力として読み出すように前記センサ回路群を制御することを特徴とする請求項６記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。
10. 前記読み出し回路は、複数の光センサの検知信号を演算出力として読み出す前に、読み出す前記信号線を、所定電位に設定することを特徴とする請求項７記載のインプットセンサ内蔵ディスプレイ装置の駆動方法。

Images