JP2007052497A - 表示装置 - Google Patents

Abstract

【課題】 表示面への物体の接触と物体の接近とをそれぞれ検知し、かつ小型化を図ることが可能である表示装置を提供する。
【解決手段】 画像の表示と受光とを同時又は交互に行う表示装置１０において、発光させて画像を表示させる複数の表示素子と、この表示素子による表示面に入射した光の受光を行う複数の受光素子９と、受光素子９における受光に基いて、表示面に接触又は近接した状態を検出する検出手段と、表示素子における画像の表示を制御する制御手段とを備え、検出手段が検出した内容に対応して、表示素子によって表示される画像の内容が、制御手段により変更される構成とする。
【選択図】 図１

Description

本発明は、例えば、液晶表示ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイ等に適用して好適な表示装置に係わり、特に、発光と並行して受光も可能な表示技術に係わる。

従来、テレビジョン受像機等の表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成する場合、表示装置とは別体のタッチパネルを表示画面上に重ねた構成としていた。

このように別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。これは、導電性フィルムを用いたタッチセンサであり、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のもの等がある。また、電磁誘導式と言われるもので、特殊なペンを用いて位置を入力するものもある。
これらの方式では、いずれも、表示装置の表示パネルの上に、特殊な位置検出用のパネルを重ねた構造となる。

これら、検出用のパネルを表示パネルの上に重ね合わせて使用するものは、接触の検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。
また、表面に指やペン等で触れる必要があり、接触しないと動作させることができない。

これに対して、表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。
即ち、パネルの上下左右に、発光素子（発光ダイオード等）と、受光素子（フォトトランジスタ等）を組み合わせて配置し、指等によって光が遮られることにより、その位置を検出するものである。
従って、画面から離れた位置に物体が近づいたこと、並びにその物体の位置を検知することが可能であり、表面に接触させなくても、タッチパネルを動作させることが可能である。

このような光学式の具体的な構成としては、例えば、赤外線を照射する発光素子と、赤外線を検知する受光素子とを、それぞれ表示パネルの近傍に設置した構成が考えられる。
例えば、発光素子から照射された赤外線が、指等の物体に反射して受光素子に入射することを検知して、物体の近接を判断することができる。
また例えば、表示パネルの側方に配置された発光素子から照射されて受光素子に入射していた赤外線が、指等の物体に遮られて、受光素子への入射量が変化することを検知して、物体の近接を判断することができる。

光学式の他の構成として、例えば、表示パネルの近傍にＡＦ（自動焦点距離調整）カメラを設置した構成が考えられる。
この構成では、例えば、常にＡＦ動作をさせておいて、指等の物体が近づいてくると、この物体に合焦するので、レンズ駆動系から、そのときの物体との距離を換算することができる。
また、レンズ駆動機構を固定して、物体が合焦位置にきたときに発生する合焦信号を検知して、物体との距離を検知するように構成することも可能である。
そして、物体との距離がある距離以下になったことを検知することにより、物体の近接を判断することができる。

さらにまた、光学式以外にも、画面から離れた位置に物体が近づいたことを検知する方法が考えられる。
例えば、超音波式や、特殊な静電容量式等が挙げられる。
超音波式は、表示パネルの近傍に超音波の発信源（スピーカー等）と、超音波を受信するマイク等とを設置して、発信源からの超音波が指等の物体により反射されてマイク等に到達するまでの時間から近接物の距離を判断する構成である。
特殊な静電容量式とは、表示パネルの画面上に格子状にワイヤを形成し、このワイヤに電流を流して発生させた電界が、表示面に近づいた指等の物体によって乱れるため、この電界の変化から物体の近接を検知するものである（例えば、非特許文献１参照）。

"（ニュース）（製造）「保護ケースの外側から操作できるタッチ・パネル」"、［online］、２００５年７月１日、日経ＢＰ社、［２００５年７月２１日検索］、インターネット＜ＵＲＬ：http://nikkeibp.jp/wcs/leaf/CID/onair/jp/elec/383706＞

前述した光学式のタッチパネル等では、表面に接触させなくても、表示面から離れた位置にある物体を検知して、タッチパネルを動作させることが可能である。

そして、例えば、赤外線方式のタッチパネルでは、赤外線の受発光素子を表示面から離れた位置に配置することにより、表示面から離れた位置にある物体の位置を検知することが可能である。しかし、このように配置した場合には、逆に表示面に触れたかどうかの判断が困難である。

超音波式は、表示面から離れた位置にある物体を検知することは可能であるが、物体の正確な位置を検出することは困難である。また、表示面に触れたかどうかの判断は困難である。
また、前述した特殊な静電容量式等においても、表示面から離れた位置にある物体を検知することは可能であるが、表示面に触れたかどうかの判断は困難である。

このように、従来提案されているタッチパネルの構成では、ディスプレイ表面から離れた位置にある物体の位置検出と、表面に接触したときの位置検出及び接触の検知とのうち、いずれか一方のみが可能であった。

また、画面から離れた位置に物体が近づいたことを検知する、前述した各種の方式では、表示品質の低下は起こらないが、マイクや受光素子やカメラ等の、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。

上述した問題の解決のために、本発明においては、表示面への物体の接触と、表示面への物体の接近とを、それぞれ検知することが可能であり、かつ小型化を図ることが可能である表示装置を提供するものである。

本発明の表示装置は、画像の表示と受光とを同時又は交互に行う表示装置において、発光させて画像を表示させる複数の表示素子と、この表示素子による表示面に入射した光の受光を行う複数の受光素子と、受光素子における受光に基いて、表示面に接触又は近接した状態を検出する検出手段と、表示素子における画像の表示を制御する制御手段とを備え、検出手段が検出した内容に対応して、表示素子によって表示される画像の内容が、制御手段により変更されるものである。

上述の本発明の表示装置の構成によれば、受光素子における受光に基いて、表示面に接触又は近接した状態を検出する検出手段と、表示素子における画像の表示を制御する制御手段とを備え、検出手段が検出した内容に対応して、表示素子によって表示される画像の内容が、制御手段により変更されるので、表示面に物体（指等）が接触又は近接した状態を検出して、表示する画像の内容を変更することによって、ガイドを与える、操作を誘導する、或いは不必要な操作を隠す等が可能になる。
そして、表示面に物体が接触していない状態でも、物体の近接した状態を検知して、表示する画像の内容を変更することが可能になる。
また、表示装置が受光素子を備えていることにより、前述した光学式（赤外線式）や超音波式のように、表示装置とは別に、受光手段やマイク等を設ける必要がない。

上述の本発明によれば、画面の表示を変更することにより、ガイドを与える、操作を誘導する、或いは不必要な操作を隠す等が行えるため、操作者がより使いやすい表示装置を実現することができる。
また、本発明によれば、受光素子によって物体が近接したことが検知されるため、表示装置の操作を、効率的、効果的に行うことができる。
さらに、本発明によれば、受光手段やマイク等を表示装置とは別に設ける必要がないため、表示装置を小型化することが可能になる。これにより、携帯機器等の小型の表示装置に適用することも可能になる。

本発明の一実施の形態として、表示装置の概略構成図を図１に示す。
本実施の形態においては、本発明の表示装置をカラー液晶表示ディスプレイに適用したものである。図１は、カラー液晶表示ディスプレイの積層構造を模式的に示している。

この表示装置１０は、ガラス等で構成された２枚の透明な基板（ＴＦＴ基板１、対向電極基板２）を互いに対向配置させ、その間隙に、例えば、ツイステッドネマチック（ＴＮ）液晶を封入した液晶層３を設けた構成となっている。
ＴＦＴ基板１には、その液晶層３側に、スイッチング素子としての薄膜トランジスタ（ＴＦＴ）と、画素電極と、それらを絶縁・分離する絶縁層を含む、電極層４が形成されている。
対向電極基板２には、その液晶層３側に、対向電極５及びカラーフィルター６が形成されている。
そして、これら各層１，２，３，４，５，６により、透過型の液晶表示パネルが構成される。
また、各透明基板１，２の液晶層３とは反対側に、それぞれ偏光板７，８が設けられている。

さらに、液晶表示パネルの背面側には、バックライト１５が設けられている。
このバックライト１５によって、背面側から液晶表示パネルを照明することにより、カラー画像を表示することができる。
バックライト１５としては、例えば、複数の蛍光管や、複数の発光ダイオード等の、光源が配列された構成とすることができる。そして、好ましくは、比較的高速で点灯のオン・オフ制御ができるように構成する。

また、電極層４には、受光素子として、受光センサ９が形成されている。
そして、液晶表示ディスプレイを構成する各発光素子に隣接して、受光センサ（受光素子）を配置することにより、発光（画像の表示）と受光（読み取り）とを、並行して行うことを可能にしている。
以下、発光と受光を並行して行える本形態のディスプレイを、画像の入力（受光）と出力（表示）が同時に行えるディスプレイであることから、Ｉ／Ｏディスプレイと称し、液晶表示パネルをＩ／Ｏディスプレイパネルと称する。

なお、本実施の形態のＩ／Ｏディスプレイは、発光素子からの光が画面上の物体に当たって反射した光を受光素子で検出することにより、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であるため、以下の説明では、画面への近接の検出をも含んで、「接触の検出」と述べる。

次に、図１の表示装置１０における、制御のブロック図を図２に示す。
バックライト１５を備えたＩ／Ｏディスプレイパネル２０に対して、アプリケーションプログラム実行部１１、表示ドライブ回路１２、受光ドライブ回路１３、画像処理部１４の各ブロックが設けられている。
アプリケーションプログラム実行部１１は、ここで実行中のアプリケーションに応じた画像をＩ／Ｏディスプレイパネル２０に表示させるように、画像データの処理及び画像の表示の指示を行うと共に、Ｉ／Ｏディスプレイパネル２０への接触を検出して、接触した表示箇所に応じた処理等を行うように構成される。即ち、このアプリケーションプログラム実行部１１は、本発明の表示装置における、表示素子における画像の表示を制御する制御手段を構成するものである。
アプリケーションプログラム実行部１１からの画像の表示の指示は、表示ドライブ回路１２に送られ、Ｉ／Ｏディスプレイパネル２０で画像を表示させるための駆動が行われる。
バックライト１５の点灯のオン・オフ制御は、表示ドライブ回路１２による画像表示の駆動に連動して行われる。

Ｉ／Ｏディスプレイパネル２０の受光センサ（受光素子）９への受光光量に対応して蓄積された信号電荷（受光信号）は、受光ドライブ回路１３からの駆動により、受光ドライブ回路１３に読み出される。
受光ドライブ回路１３は、内部にフレームメモリ１３ａを備えており、このフレームメモリ１３ａは、受光信号の読み出し時に必要な判定処理に使用される。

受光ドライブ回路１３で読み出されて判定された受光信号は、画像処理部１４に送られて、接触又は近接の状態等が画像として判定され、必要により接触中心の座標位置等が判定される。即ち、画像処理部１４は、本発明の表示装置における、受光素子における受光に基いて、表示面に接触又は近接した状態を検出する検出手段を構成するものである。
そして、判定結果（座標データ、認識結果等）が、画像処理部１４からアプリケーションプログラム実行部１１に送られる。
送られた判定結果を受けて、アプリケーション実行部１１において、実行中のアプリケーションに応じた処理を行う。

次に、図２のＩ／Ｏディスプレイパネル２０のドライバの配置の一形態を図３に示す。
図３に示すように、Ｉ／Ｏディスプレイパネル２０の中央に、透明な表示エリア（センサエリア）２１が配置され、この表示エリア２１の４つの端面に、表示用水平ドライバ２２、表示用垂直ドライバ２３、センサ用垂直ドライバ２４、センサ読み出し用水平ドライバ２５が配置されている。
表示用水平ドライバ２２と表示用垂直ドライバ２３とには、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。
センサ用垂直ドライバ２４とセンサ読み出し用水平ドライバ２５とには、読み出し用のクロック（図示せず）が供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して、図２に示した受光ドライブ回路１３に供給する。

次に、本実施の形態の表示装置１０の表示エリアに配置された１つの画素の回路構成図を図４に示す。
１つの画素３１が備える表示のための構成としては、薄膜トランジスタ（ＴＦＴ）から成るスイッチング素子３１ａと、画素電極３１ｂとを備えている。
スイッチング素子３１ａは、そのゲートが、水平方向に延びるゲート線３１ｈに接続され、そのドレインが、垂直方向に延びる表示信号線３１ｉに接続されている。即ち、これら２本の配線３１ｈ，３１ｉの交点に、スイッチング素子３１ａが配置されている。
また、このスイッチング素子３１ａのソースは、画素電極３１ｂに接続されている。この画素電極３１ｂのスイッチング素子３１ａとは反対側には、配線３１ｎが接続されている。
スイッチング素子３１ａは、ゲート線３１ｈを介して供給される信号により、オン・オフが制御され、表示信号線３１ｉを介して供給される信号により、画素電極３１ｂでの表示状態が設定される。

画素電極３１ｂに隣接した位置に、受光センサ（受光素子）３１ｃが配置され、電源線から電源電圧ＶＤＤが供給される。この受光センサ（受光素子）３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続され、またバッファアンプ３１ｆと読み出しスイッチ３１ｇとを介して、センサ信号線３１ｊが接続されている。
リセットスイッチ３１ｄのオン・オフは、リセット線３１ｋから供給される信号により制御される。
読み出しスイッチ３１ｇのオン・オフは、読み出し線３１ｍから供給される信号により制御される。

この受光センサ３１ｃにおける動作は、以下のように行われる。
まず、リセットスイッチ３１ｄをオンにして、センサ３１ｃの電荷のリセットを行う。
その後、リセットスイッチ３１ｄをオフにすることにより、センサ３１ｃにおける受光量に対応した電荷が、コンデンサ３１ｅに蓄積される。
次に、読み出しスイッチ３１ｇをオンにすることにより、コンデンサ３１ｅに蓄積された電荷が、バッファアンプ３１ｆを介して、センサ信号線３１ｊに供給され、外部に出力される。

本実施の形態の表示装置１０では、特に、表示面に接近した物体、例えば指先等の位置を検出することによって、物体が接触しなくても、その物体の位置を検出して、それに合わせた画面表示を行う。
このために、表示装置１０に用いられるアプリケーションプログラムを、物体の接近を検出したときに、それに合わせた画面表示を行うように構成する。

即ち、図２に示した画像処理部１４において、受光素子から得られた受光信号から、画像処理によって、物体の表示面への接触又は近接の有無を検出する。
そして、図２に示したアプリケーションプログラム実行部１１において、例えば、表示画像中に接触又は近接を検出した箇所や範囲等を表示させる処理を行うように構成する。

続いて、本実施の形態における、物体の接近及び位置の検出と画面の表示について、図５〜図７を用いて説明する。
図５Ａ〜図５Ｅは、Ｉ／Ｏディスプレイパネル２０に指４１が接近していく各状態と、それぞれの状態で得られる受光画像とを、それぞれ示している。なお、本実施の形態の場合、指４１に反射した光を検出するため、実際に得られる受光画像は、黒地に指４１からの反射光の部分だけ白く映ることになるが、図５Ａ〜図５Ｅの各下図の受光画像では、白と黒とを反転させて表示している。
本実施の形態の表示装置１０では、表示素子から、Ｉ／Ｏディスプレイパネル２０に表示する画像に対応する光が出射されており、Ｉ／Ｏディスプレイパネル２０に指４１等の物体が近接すると、物体の像が受光素子において受光信号として得られる。

まず、図５Ａの上図に示すように、指４１がＩ／Ｏディスプレイパネル２０に近づいてくると、指４１で反射された光が、Ｉ／Ｏディスプレイパネル２０に配置された受光素子（光センサー）に戻るようになる。これにより、図５Ａの下図に示すように、指４１に対応する受光画像が得られる。
そして、図５Ｂ〜図５Ｄに示すように、指４１がＩ／Ｏディスプレイパネル２０に近づくにつれて、段々と反射光量が大きくなっていくため、受光画像も濃くなっていく。
さらに、図５Ｅに示すように、指４１がＩ／Ｏディスプレイパネル２０の表示面に接近して、表示面に接触すると、ある一定信号量の連続した画像となる。

ここで、図５Ａ〜図５Ｅの各図の下図において、画面上のＡ−Ａ´の線上における画像データを図６にプロットして示す。図６の縦軸は画像データの信号レベル（相対値）を示し、Ａ〜Ｅの各線は、図５Ａ〜図５Ｅにそれぞれ対応している。
図５Ａから図５Ｅへと指４１の位置が変化するに従って、画像データが変化する。そして、図６からわかるように、指４１が表示面に近づくにつれて、画像データの信号レベルが増加し、図５Ｅに示したパネル２０の表示面に触れた状態では、指４１の反射量はほぼ一定レベルとなる。

このとき、画像データの信号レベルが、図６に示す閾値Ｋ１以上になったことを検知すれば、即ち、図５Ｃに示した状態にまで指４１がパネル２０の表示面に近づいたことが検知できる。
そして、この閾値Ｋ１以上の受光信号が得られた画面の位置を検出することにより、その位置に指４１が近づいたと判断することが可能になる。
この判断に基づき、初期状態では例えば図７Ａであったような画面表示を、図７Ｂのように変化させることにより、ユーザーに対して画面への接触無しに表示画像を変化させることができる。
図７Ａは、Ｉ／Ｏディスプレイの表示エリア２１に何も表示されていない、もしくは無地の単色が表示されている状態を示している。一方、図７Ｂは、表示エリア２１内に、操作ボタン２７（停止ボタン２７Ａ、進行ボタン２７Ｂ、一時停止ボタン２７Ｃ）を含む画像２６を表示した状態を示している。

なお、図７Ｂの表示画像２６は、指が近づいたと判断した後、一定時間の間表示させてから、図７Ａの状態に戻しても良いし、或いは表示画面のどこかに指が接触した、と判断されるまで表示させたままにしておいても良い。

また、図７Ｂでは表示エリア２１の一部が変化しているが、表示エリア２１全体を変化させても良い。或いは、表示エリア２１の一部領域のみ指４１が近づいた時に画像が変化し、他の領域は指４１が近づいても画像が変化しないように構成しても良い。

また、上述した説明では、ある閾値Ｋ１を超えた受光信号が得られたときに、指４１が近づいたと判断したが、その判断基準に、さらに、受光信号の信号レベルが閾値Ｋ１を超えた領域の面積を加えても良い。
即ち、ある一定以上の面積が閾値Ｋ１を超えた時に指４１と判断するようにすれば、ペン等の細い物体やノイズ等によって画面表示が誤動作することを防止することができる。
或いは、閾値Ｋ１を超えた面積が定められた大きさよりも大きい場合は、指ではなく太陽光である、等と判断して画面表示を変えないようにすることもできる。

次に、指４１等の物体がＩ／Ｏディスプレイパネル２０の表示面に接近したことを検知して、表示面に表示する画像の内容を変更するまでの制御処理について説明する。
この制御処理としては、種々の態様が考えられるが、例えば、図８〜図１０にそれぞれフローチャートを示す態様が可能である。

図８に示すフローチャートは、閾値Ｋ１以上の明るさになったら表示画像を変化させる制御処理を示している。
まず、ステップＳ１において、近接閾値Ｋ１を設定する。なお、この近接閾値Ｋ１を常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ２において、受光素子を通じて、画像データを取得する。
次に、ステップＳ３において、画像データ中に、近接閾値Ｋ１以上の信号レベルの点があるかどうか判断する。そのような点がある場合は次のステップＳ４に進み、ない場合はステップＳ２に戻る。
ステップＳ４では、近接閾値Ｋ１以上の信号レベルの点があるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ５において、用意された画像を表示する。即ち、Ｉ／Ｏディスプレイパネル２０の表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図９に示すフローチャートは、近接した物体が指であることを、面積Ａで判断して、表示画像を変化させる制御処理を示している。
まず、ステップＳ１１において、近接閾値Ｋ１を設定する。
続いて、ステップＳ１２において、面積閾値Ａを設定する。
なお、これらの閾値Ｋ１，Ａを常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ１３において、受光素子を通じて、画像データを取得する。
次に、ステップＳ１４において、画像データ中に、近接閾値Ｋ１以上の信号レベルの点があるかどうか判断する。そのような点がある場合は次のステップＳ１５に進み、ない場合はステップＳ１３に戻る。
ステップＳ１５では、画像処理を行って、近接閾値Ｋ１以上の信号レベルの点の面積を計算する。
次に、ステップＳ１６において、近接閾値Ｋ１以上の信号レベルの点の面積が、面積閾値Ａ以上であるかどうか判断する。面積閾値Ａ以上である場合は次のステップＳ１７に進み、面積閾値Ａ未満である場合はステップＳ１３に戻る。
ステップＳ１７では、閾値Ｋ１以上の信号レベルの点の面積が面積閾値Ａ以上であるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ１８において、用意された画像を表示する。即ち、表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図１０に示すフローチャートは、近接した物体の位置を検知し、その位置に画像を表示する制御処理を示している。
ステップＳ２１〜Ｓ２７は、図９に示したフローチャートのステップＳ１１〜Ｓ１７と同様である。
ステップＳ２７で指４１がＩ／Ｏディスプレイパネル２０に近接したと判断した後、ステップＳ２８において、信号レベルが近接閾値Ｋ１以上である領域の重心の位置を計算する。
次に、ステップＳ２９において、計算して求めた重心位置に、用意された画像を表示する。即ち、表示エリア２１の重心位置付近の画像を、予め用意された画像に変化させる。

これら図８〜図１０に示したフローチャートに従って制御処理を行うことにより、指４１等の物体が接近したことを検知して、Ｉ／Ｏディスプレイパネル（表示パネル）２０の表示エリア（表示面）２１に表示する画像を変化させることができる。
これらの制御処理は、図２に示した画像処理部１４とアプリケーションプログラム実行部１１において行われる。

上述の本実施の形態の表示装置１０によれば、Ｉ／Ｏディスプレイパネル（表示パネル）２０に設けられた受光素子（センサ３１ｃ）における受光に基いて、検出手段である画像処理部１４において、表示パネル２０の表示面に指４１等の物体が接触又は近接した状態を検出し、制御手段であるアプリケーションプログラム実行部１１において、表示する画像の内容を変更することによって、ガイドを与える、操作を誘導する、或いは不必要な操作を隠す等が可能になる。
これにより、操作者（ユーザー）がより使いやすい表示装置を実現することができる。

そして、表示面に物体が接触していない状態でも、物体の近接した状態を検知して、表示する画像の内容を変更することが可能になる。
これにより、表示装置１０の操作を、効率的、効果的に行うことができる。

また、表示装置１０が受光素子（センサ３１ｃ）を備えていることにより、前述した光学式（赤外線式）や超音波式のように、表示装置１０とは別に、受光手段やマイク等を設ける必要がないため、表示装置１０を小型化することが可能になる。
これにより、携帯機器等の小型の表示装置に適用することも可能になる。

上述の実施の形態では、表示パネル２０の表示画像、即ち表示素子から出射する光を光源として利用して、その反射光を受光素子（センサ３１ｃ）で受光して、物体の接触又は近接の検出を行う構成であった。
本発明では、その他の光源を使用して、接触又は近接の検出を行うことも可能である。

例えば、表示素子とは別の発光素子を表示装置に内蔵し、その発光素子から出射する光を用いることが考えられる。
具体的には、赤外線等の非可視光を出射する発光素子と、この非可視光を受光する受光素子とを、それぞれ表示装置に備えて、表示パネルの表面から非可視光を出射させ、指等の物体で反射して表示パネルに入射する光を受光素子で受光検出する。
このように構成しても、上述した実施の形態の表示装置１０と同様に、接触又は近接した物体の状態に応じた出力信号が得られる。

このような構成とした場合には、画面に表示された画像に左右されることなく、物体の接触又は近接を検知することができる。
従って、例えば、表示画像が暗い場合でも、物体の接触又は近接の検出を感度良く行うことが可能になる。

また例えば、表示エリアの縁に光源を設置して、表示装置を構成することも可能である。このような構成の表示装置としては、以下のような形態が挙げられる。
図１１Ａ〜図１１Ｃに示すように、これら各形態は、いずれも、表示パネルの上方（表示面側）の空間を照射するように、表示パネルの表示エリア（表示面）２１の近傍に光源１０１，１０２，１０３を設けている。なお、受光素子は、図示しないが表示装置に内蔵されている。
図１１Ａに示す形態は、冷陰極線管（ＣＣＦＬ）のような、帯状又は線状の光源１０１を、矩形の表示エリア２１の外側に、表示エリア２１の四辺に沿って配置した構成である。
図１１Ｂに示す形態は、発光ダイオード（可視光又は非可視光）のような、点状の光源１０２を、表示エリア２１の外側に、表示エリア２１の四辺に沿って、所定の個数配置した構成である。
図１１Ｃに示す形態は、電球等のような、比較的大きい点状の光源１０３を、表示エリア２１の周囲に配置した構成である。
これらの構成では、光源１０１，１０２，１０３が表示エリア２１の表示面側の空間を照射しているので、指等の物体が近接すると、その物体からの反射光が表示パネルの表示エリア（センサエリア）２１に到達し、受光素子によって、この物体の画像を取得することができる。

また例えば、表示装置とは別の外部の光源を利用することも可能である。
このように外部の光源を利用する場合、この光源からの光が表示パネルに照射されると共に、指等の物体が接触又は近接すると、表示パネルの表示面に物体の影ができる。この影ができたことを、表示装置に内蔵されている受光素子で検出して、物体の近接を検知することができる。
そして、前述した各構成がいずれも反射光を受光検出していたのに対して、透過光を受光検出する。

外部の光源を利用する具体的な構成としては、室内の照明や曇天下の外光等の拡散光を光源とする構成や、複数個の照明を設置する構成等が挙げられる。

拡散光（室内の照明や曇天下の外光等）を光源とする構成では、物体がない状態では全体が明るいが、指等の物体が近接してくるに従ってその影ができ始め、だんだんと影が暗く（濃く）なってくる。
そこで、この影の暗さ（濃さ）を検出し、定められた暗さ以下になったときに近接したと判断する。もちろん、併せてその面積を検出して近接の判断をしてもよい。

この拡散光を光源とする構成の場合、反射光ではなく透過光を受光検出するため、物体の接近及び位置の検出の態様が図５及び図６とは異なる。
この構成における物体の接近及び位置の検出を、図１２及び図１３を用いて説明する。
図１２Ａ〜図１２Ｅは、図５Ａ〜図５Ｅと同様に、Ｉ／Ｏディスプレイパネル２０に指４１が接近していく各状態と、それぞれの状態で得られる受光画像とを、それぞれ示している。

まず、図１２Ａの上図に示すように、指４１がＩ／Ｏディスプレイパネル２０に近づいてくると、光源からの光が指４１で一部遮られて、Ｉ／Ｏディスプレイパネル２０に配置された受光素子（光センサー）に入射する。これにより、図１２Ａの下図に示すように、指４１に対応する影を有する受光画像が得られる。
そして、図１２Ｂ〜図１２Ｄに示すように、指４１がＩ／Ｏディスプレイパネル２０に近づくにつれて、段々と遮られる光量が大きくなっていくため、受光画像の影も濃くなっていく。
さらに、図１２Ｅに示すように、指４１がＩ／Ｏディスプレイパネル２０の表示面に接近して、表示面に接触すると、ある一定信号量の連続した画像となる。

ここで、図１２Ａ〜図１２Ｅの各図の下図において、画面上のＢ−Ｂ´の線上における画像データを図１３にプロットして示す。図１３の縦軸は画像データの信号レベル（相対値）を示し、Ａ〜Ｅの各線は、図１２Ａ〜図１２Ｅにそれぞれ対応している。
図１２Ａから図１２Ｅへと指４１の位置が変化するに従って、画像データが変化する。そして、図１３からわかるように、指４１が表示面に近づくにつれて、画像データの信号レベルが低下し、図１２Ｅに示したパネル２０の表示面に触れた状態では、指４１部分の透過量は非常に小さくなる。

このとき、画像データの信号レベルが、図１３に示す閾値Ｋ２以下になったことを検知すれば、即ち、図１２Ｄに示した状態にまで指４１がパネル２０の表示面に近づいたことが検知できる。
そして、この閾値Ｋ２以下の受光信号が得られた画面の位置を検出することにより、その位置に指４１が近づいたと判断することが可能になる。
この判断に基づき、例えば図７Ｂに示したと同様に、画面表示を変化させることにより、ユーザーに対して画面への接触無しに表示画像を変化させることができる。

この拡散光を光源とする構成における制御処理としては、例えば、図１４〜図１６にそれぞれフローチャートを示す態様が可能である。

図１４に示すフローチャートは、閾値Ｋ２以下の明るさになったら表示画像を変化させる制御処理を示している。
まず、ステップＳ３１において、近接閾値Ｋ２を設定する。なお、この近接閾値Ｋ２を常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ３２において、受光素子を通じて、画像データを取得する。
次に、ステップＳ３３において、画像データ中に、近接閾値Ｋ２以下の信号レベルの点があるかどうか判断する。そのような点がある場合は次のステップＳ３４に進み、ない場合はステップＳ３２に戻る。
ステップＳ３４では、近接閾値Ｋ２以下の信号レベルの点があるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ３５において、用意された画像を表示する。即ち、表示パネル２０の表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図１５に示すフローチャートは、近接した物体が指であることを、面積Ａで判断して、表示画像を変化させる制御処理を示している。
まず、ステップＳ４１において、近接閾値Ｋ２を設定する。
続いて、ステップＳ４２において、面積閾値Ａを設定する。
なお、これらの閾値Ｋ２，Ａを常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ４３において、受光素子を通じて、画像データを取得する。
次に、ステップＳ４４において、画像データ中に、近接閾値Ｋ２以下の信号レベルの点があるかどうか判断する。そのような点がある場合は次のステップＳ４５に進み、ない場合はステップＳ４３に戻る。
ステップＳ４５では、画像処理を行って、近接閾値Ｋ２以下の信号レベルの点の面積を計算する。
次に、ステップＳ４６において、近接閾値Ｋ２以下の信号レベルの点の面積が、面積閾値Ａ以上であるかどうか判断する。面積閾値Ａ以上である場合は次のステップＳ４７に進み、面積閾値Ａ未満である場合はステップＳ４３に戻る。
ステップＳ４７では、閾値Ｋ２以下の信号レベルの点の面積が面積閾値Ａ以上であるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ４８において、用意された画像を表示する。即ち、表示パネル２０の表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図１６に示すフローチャートは、近接した物体の位置を検知し、その位置に画像を表示する制御処理を示している。
ステップＳ５１〜Ｓ５７は、図１５に示したフローチャートのステップＳ４１〜Ｓ４７と同様である。
ステップＳ５７で指４１がＩ／Ｏディスプレイパネル２０に近接したと判断した後、ステップＳ５８において、信号レベルが近接閾値Ｋ１以上である領域の重心の位置を計算する。
次に、ステップＳ５９において、計算して求めた重心位置に、用意された画像を表示する。即ち、表示パネル２０の表示エリア２１の重心位置付近の画像を、予め用意された画像に変化させる。

これら図１４〜図１６に示したフローチャートに従って制御処理を行うことにより、指４１等の物体が接近したことを検知して、Ｉ／Ｏディスプレイパネル（表示パネル）２０の表示エリア２１に表示する画像を変化させることができる。

一方、複数個の照明を設置する構成では、表示パネルの上方（表示面側）に複数個の光源を設置して、それぞれの光源から表示パネルを照明する。
即ち、図１７に示すように、表示パネル２０の上方にパネル表面に向かって光を照射するように光源１０４を設置する。光源１０４の表示面からの距離や集光性にもよるが、比較的平行に近く、影の出やすい光が照射されているとき、指４１等の物体が近接すると、表示パネル２０の表示面に光源１０４の数に応じた複数の影４２ができる。
そして、この影４２の部分の距離を検出することにより、物体の近接状態を検知することができる。例えば、光源１０４が２個の場合、指４１を表示パネル２０の表示面に近づけると２つの影４２ができ、２つの影４２の距離は、指４１が表示パネル２０の表示面に近づくにつれて短くなってくる。各々の影４２の位置を求めながら、ある一定以下の距離になったら、指４１等の物体が近接したと判断して、表示する画像を変更して、新たな画像を表示するように制御する。

より詳細には、ある明るさ以下の面積の図形の中心或いは重心の位置を各々求め、この位置の間隔がある程度以下になったときに、「近接した」と判断する。
もちろん、指４１等の大きさを規定しておき、この大きさよりも小さいものの場合は処理を行わないようにすることも可能である。

この複数個の照明を設置する構成における制御処理としては、例えば、図１８〜図２０にそれぞれフローチャートを示す態様が可能である。

図１８に示すフローチャートは、照明（光源）が２個の場合に、近接閾値Ｋ２以下の明るさの点の距離が距離閾値Ｌ以下になったら、表示画像を変える制御処理を示している。
まず、ステップＳ６１において、近接閾値Ｋ２を設定する。
続いて、ステップＳ６２において、距離閾値Ｌを設定する。
なお、これらの閾値Ｋ２，Ｌを常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ６３において、受光素子を通じて、画像データを取得する。
次に、ステップＳ６４において、画像データ中に、近接閾値Ｋ２以下の信号レベルの点が２点あるかどうか判断する。そのような点が２点以上ある場合は次のステップＳ６５に進み、そのような点がないか又は１点しかない場合はステップＳ６３に戻る。
ステップＳ６５では、画像処理を行って、近接閾値Ｋ２以下の信号レベルの各点の位置を検出する。
次に、ステップＳ６６において、近接閾値Ｋ２以下の信号レベルの２点の距離が、距離閾値Ｌ以下であるかどうか判断する。距離閾値Ｌ以下である場合は次のステップＳ６７に進み、距離閾値Ｌを超える場合はステップＳ６３に戻る。
ステップＳ６７では、近接閾値Ｋ２以下の信号レベルの２点の距離が距離閾値Ｌ以下であるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ６８において、用意された画像を表示する。即ち、表示パネル２０の表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図１９に示すフローチャートは、近接した物体が指であることを面積Ａで判断して、表示画像を変化させる制御処理を示している。
まず、ステップＳ７１において、近接閾値Ｋ２、面積閾値Ａ、距離閾値Ｌを、それぞれ設定する。
なお、これらの閾値Ｋ２，Ａ，Ｌを常時固定した値とする場合には、改めて設定する必要はない。
次に、ステップＳ７２において、受光素子を通じて、画像データを取得する。
次に、ステップＳ７３において、画像データ中に、近接閾値Ｋ２以下の信号レベルの点が２点あるかどうか判断する。そのような点が２点以上ある場合は次のステップＳ７４に進み、そのような点がない又は１点しかない場合はステップＳ７２に戻る。
ステップＳ７４では、画像処理を行って、近接閾値Ｋ２以下の信号レベルの点の面積を計算する。
次に、ステップＳ７５において、近接閾値Ｋ２以下の信号レベルの点の面積が、各々面積閾値Ａ以上であるかどうか判断する。いずれも面積閾値Ａ以上である場合は次のステップＳ７６に進み、少なくとも一部が面積閾値Ａ未満である場合はステップＳ７２に戻る。
ステップＳ７６では、近接閾値Ｋ２以下の信号レベルの２点の重心位置を計算して求めると共に、重心間の距離を計算して求める。
次に、ステップＳ７７において、近接閾値Ｋ２以下の信号レベルの２点の距離が、距離閾値Ｌ以下であるかどうか判断する。距離閾値Ｌ以下である場合は次のステップＳ７８に進み、距離閾値Ｌを超える場合はステップＳ７２に戻る。
ステップＳ７８では、近接閾値Ｋ２以下の信号レベルの点の面積が各々面積閾値Ａ以上であり、かつ２点の距離が距離閾値Ｌ以下であるという情報から、指４１がＩ／Ｏディスプレイパネル２０に近接したと判断する。
そして、ステップＳ７９において、用意された画像を表示する。即ち、表示パネル２０の表示エリア２１に表示する画像を、予め用意された画像に変化させる。

図２０に示すフローチャートは、近接した物体の位置を検知し、その位置に画像を表示する制御処理を示している。
ステップＳ８１〜Ｓ８８は、図１９に示したフローチャートのステップＳ７１〜Ｓ７８と同様である。
ステップＳ８８で指４１がＩ／Ｏディスプレイパネル２０に近接したと判断した後、ステップＳ８９において、信号レベルが近接閾値Ｋ２以下である各領域の重心の中間位置を計算する。
次に、ステップＳ９０において、計算して求めた重心の中間位置に、用意された画像を表示する。即ち、重心の中間位置付近の画像を、予め用意された画像に変化させる。

これら図１８〜図２０に示したフローチャートに従って制御処理を行うことにより、指４１等の物体が接近したことを検知して、Ｉ／Ｏディスプレイパネル２０の表示パネル２０に表示する画像を変化させることができる。

なお、光源を表示装置に取り付けた場合や、照明（光源）を表示装置の外部に設けた場合には、表示画像を光源とする場合と比較して、光源の分だけ全体の容積が増えることになる。
これに対して、例えば、外光や部屋の照明等を光源として利用すれば、全体の容積が増えることなく、物体の接触又は近接を検出することができる。

前述した実施の形態では、本発明を液晶表示ディスプレイに適用したが、本発明を有機ＥＬ（electro-luminescence）ディスプレイに適用することも可能である。
本発明の他の実施の形態として、有機ＥＬディスプレイに適用した場合の実施の形態を以下に示す。

液晶表示ディスプレイの場合には、表示画素とは別に、発光手段としてバックライトを必要としたが、有機ＥＬディスプレイの場合には、画素を構成する素子が発光する。
このため、前述した実施の形態の場合に比べて、処理構成を一部変更する必要があり、本実施の形態ではその点について重点的に説明を行い、検出された受光信号の処理や、使用されるアプリケーション等については、前述した実施の形態と同じであるため、説明を省略する。

図２１は、本実施の形態の表示装置の構成を示すブロック図である。
アプリケーションプログラム実行部５１は、そのアプリケーション実行部５１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルへの接触を検出して、接触した表示箇所に応じた処理等を行うようにしてある。
アプリケーションプログラム実行部５１からの画像の表示の指示は、表示ドライブ回路５２に送られ、Ｉ／Ｏディスプレイパネル６０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル６０は、有機ＥＬディスプレイとして構成され、表示エリア（センサエリア）に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、表示素子が受光素子としても機能するようにしてあり、発光期間と受光期間を時分割で設定するようにしてある。そして、受光期間に、受光光量に対応して蓄積した信号電荷を、受光ドライブ回路５３からの駆動で読み出す構成としてある。
受光ドライブ回路５３は、内部にフレームメモリ５３ａを備えて、受光信号の読み出し時に必要な判定処理に使用するようにしてある。

受光ドライブ回路５３で読み出されて判定された受光信号は、画像処理部５４に送られて、物体の接触又は近接の状態等が画像として判定され、必要により物体が接触又は近接した領域の中心の座標位置等が判定され、判定結果（座標データ、認識結果等）がアプリケーションプログラム実行部５１に送られる。アプリケーション実行部５１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触又は近接を検出した箇所や範囲等を表示させる処理を行う。

本実施の形態の表示装置の１画素の構成を図２２に示す。
ここでは、図２２に示すように、ここでは、有機ＥＬディスプレイの発光素子６１を発光ダイオードとして示しており、その発光ダイオード６１には、寄生容量６１ａが生じている。
また、画像表示のために、表示データ信号線６２から発光素子６１に、表示データをスイッチＳＷ１を介して供給するように構成している。
従って、表示期間（発光期間）は、スイッチＳＷ１をオンさせている期間によって設定される。

そして、発光素子６１で発光が停止している期間には、表示パネルの表面に入射した光量に応じて、発光素子６１に生じた寄生容量６１ａに、電荷が蓄積する。その蓄積した電荷は、スイッチＳＷ２のオンで、受信データ信号線６４に読み出される。
なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オンさせて、寄生容量６１ａに発光時に蓄積した電荷を放出させる必要がある。スイッチＳＷ２のオンは、読み出しライン選択線６３に得られる信号で制御される。

このような有機ＥＬディスプレイタイプのＩ／Ｏディスプレイパネル６０で、画像等を表示させながら、そのパネル６０に接触又は近接したことを検出する処理を行う場合には、例えば、発光領域を１画面中の特定の複数水平ラインとして、この発光領域を１フィールド期間内で変化させることで、画面を見ている者にとっては、残像効果により１画面全体に表示されて見えるようにすることができる。
この状態で、受光信号の読み出しについては、発光領域以外の水平ラインを読み出すようにして、読み出しを行う水平ラインについても、発光領域の変化に連動して順に変化させる。

このように、有機ＥＬディスプレイのように、画素を構成する表示素子が発光する素子である場合にも、本発明を適用することが可能であり、液晶ディスプレイのように、表示パネルとは別の発光手段を必要とする場合と、表示パネルそのものが発光する場合のいずれでも、本発明を適用することが可能である。

上述の各実施の形態では、画像を表示する構成として、液晶表示パネルや有機ＥＬディスプレイパネルを用いたが、本発明では、その他の構成の表示装置を使用することも可能である。
例えば、プラズマディスプレイパネルを用いた表示パネル等を使用することも可能である。

本発明は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲でその他様々な構成が取り得る。

本発明の一実施の形態の表示装置の概略構成図である。 図１の表示装置の制御のブロック図である。 図２のＩ／Ｏディスプレイパネルのドライバの配置の一形態である。 図１の表示装置の１つの画素の回路構成図である。 Ａ〜Ｅ 図１の表示装置におけるパネルに指が接近していく各状態と、それぞれの状態で得られる受光画像とを示した図である。 図５Ａ〜図５ＥのＡ−Ａ´の線上における画像データの信号レベルをプロットして示した図である。 Ａ、Ｂ 画面表示の変化を示す図である。 近接閾値Ｋ１以上の明るさになったら表示画像を変化させる制御処理のフローチャートである。 近接した物体が指であることを、面積Ａで判断して、表示画像を変化させる制御処理のフローチャートである。 近接した物体の位置を検知し、その位置に画像を表示する制御処理のフローチャートである。 Ａ〜Ｃ 表示エリアの縁に光源を配置した構成の表示装置の各形態を示す図である。 Ａ〜Ｅ 透過光を受光する構成の表示装置におけるパネルに指が接近していく各状態と、それぞれの状態で得られる受光画像とを示した図である。 図１２Ａ〜図１２ＥのＢ−Ｂ´の線上における画像データの信号レベルをプロットして示した図である。 近接閾値Ｋ２以下の明るさになったら表示画像を変化させる制御処理のフローチャートである。 近接した物体が指であることを、面積Ａで判断して、表示画像を変化させる制御処理のフローチャートである。 近接した物体の位置を検知し、その位置に画像を表示する制御処理のフローチャートである。 複数個の照明を設置した構成の表示装置の概略構成図である。 照明が２個の場合に、近接閾値Ｋ２以下の明るさの点の距離が距離閾値Ｌ以下になったら、表示画像を変える制御処理フローチャートである。 近接した物体が指であることを面積Ａで判断して、表示画像を変化させる制御処理のフローチャートである。 近接した物体の位置を検知し、その位置に画像を表示する制御処理のフローチャートである。 本発明の他の実施の形態の表示装置の構成を示すブロック図である。 本発明の他の実施の形態の１画素の構成を示す回路構成図である。

符号の説明

１ ＴＦＴ基板、２ 対向電極基板、３ 液晶層、４ 電極層、５ 対向電極、６ カラーフィルター、７，８ 偏光板、９ 受光センサ、１０ 表示装置、１１ アプリケーションプログラム実行部、１２ 表示ドライブ回路、１３ 受光ドライブ回路、１３ａ フレームメモリ、１４ 画像処理部、１５ バックライト、２０ Ｉ／Ｏディスプレイパネル（表示パネル）、２１ 表示エリア（センサエリア）、２２ 表示用水平ドライバ、２３ 表示用垂直ドライバ、２４ センサ用水平ドライバ、２５ センサ用垂直ドライバ、３１ 画素、３１ａ スイッチチング素子、３１ｂ 画素電極、３１ｃ センサ素子、３１ｄ リセットスイッチ、３１ｅ コンデンサ、３１ｆ バッファアンプ、３１ｇ 読み出しスイッチ、４１ 指、５１ アプリケーションプログラム実行部、５２ 表示ドライブ回路、５３ 受光ドライブ回路、５３ａ フレームメモリ、５４ 画像処理部、６０ Ｉ／Ｏディスプレイパネル、６１ 発光素子、６１ａ 寄生容量、６２ 表示データ信号線、６３ 読み出しライン選択線、６４ 受信データ信号線、１０１，１０２，１０３，１０４ 光源、ＳＷ１，ＳＷ２，ＳＷ３ スイッチ

Claims (3)

1. 画像の表示と受光とを同時又は交互に行う表示装置において、
   発光させて画像を表示させる複数の表示素子と、
   前記表示素子による表示面に入射した光の受光を行う複数の受光素子と、
   前記受光素子における受光に基いて、前記表示面に接触又は近接した状態を検出する検出手段と、
   前記表示素子における画像の表示を制御する制御手段とを備え、
   前記検出手段が検出した内容に対応して、前記表示素子によって表示される画像の内容が、前記制御手段により変更される
   ことを特徴とする表示装置。
2. 前記表示面に接触又は近接したことが検出された位置又は範囲を、前記表示素子で画像として表示させることを特徴とする請求項１に記載の表示装置。
3. 前記表示面のうち、物体が接触又は近接した箇所を含む部分、或いは、物体が接触又は近接した箇所に近い部分について、表示する画像の変更が行われることを特徴とする請求項１に記載の表示装置。
   

Images