JP2010191438A - 表示装置及び表示方法 - Google Patents

Abstract

【課題】発光と受光を並行して同時に行う場合における、外光の影響の除去を簡単に行う。
【解決手段】表示装置の表示面での画像の表示と受光とを同時又は交互に行う場合において、表示面を発光させて画像を表示させる処理を行うと共に、表示面に入射した光の受光を行い、その受光として、表示用発光が行われている状態（ステップＳ１１）と、発光していない状態（ステップＳ１２）との２回の受光を行い、その２回の受光量の差の検出（ステップＳ１３）から、表示面に接触又は近接した状態を検出し、２回の受光量の差の値を２値化して、表示面に接触又は近接した位置を特定する。
【選択図】図６

Description

本発明は、例えば、液晶表示ディスプレイ、有機ＥＬ（electro-luminescence）ディスプレイなどに適用して好適な表示装置及び表示方法に関し、特に、発光と並行して受光も可能な表示技術に関する。

従来、テレビジョン受像機などの表示装置の表示画面上に、その画面に触れることで操作が可能なタッチパネルを構成させる場合、表示装置とは別体のタッチパネルを表示画面上に重ねる構成としてあった。

別体のタッチパネルを使用する構成としては、例えば、画面の上に、透明で薄い入力検出装置を貼り付けたものがある。これは導電性フィルムを用いたタッチセンサで、圧力を検出する感圧式のものや、人体との接触で変化する静電容量式のものなどがある。また、電磁誘導式といわれるもので、特殊なペンを用いて位置を入力するものもある。これらは表示パネルの表面に特殊な位置検出用のパネルをもう一枚重ねた構造となる。

これら検出用のパネルを、表示パネルと重ね合わせて使用するものは、タッチの検出原理は簡単であるが、表示パネルの上に何らかの部材を重ねるために、必然的に表示品質の低下が起こる。また検出方法が主に容量変化を検出する方式であるため、２箇所以上の入力を同時に検出することは困難である。

表面にパネルを追加しないタッチパネルの方式には、光学式のものがある。パネルの上下左右に発光素子（発光ダイオードなど）と、フォトトランジスタを組み合わせて配置し、指などが遮光することにより、位置を検出するものである。このような光学式では表示品質の低下は起こらないが、表示装置の周囲に設置する装置が大掛かりとなり、携帯機器には不向きである。

これらの従来のタッチパネルの不都合を解決するために、近年、別体のタッチパネルを設けることなく、表示装置の画面がそのままタッチパネルとして機能するようにしたものが提案されている。特許文献１には、このような発光と受光を並行して行う表示装置についての開示がある。

このような発光と受光を並行して行う表示装置の例としては、例えば表示面に配置された画像表示用の発光素子での表示（発光）を、間欠的に行い、その発光が休止した期間に、発光素子そのものに受光に応じた電荷を蓄積させて、その蓄積した電荷量を読み出すように構成する。このような構成が可能な表示装置としては、例えば有機ＥＬディスプレイがある。また、液晶表示ディスプレイのように、表示画素そのものが受光する（電荷を蓄積する）機能を備えていない場合には、表示画素に隣接して、受光素子を配置して、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。

特開２００４−１２７２７２号公報（図５）

この種の発光と受光を同時に行う表示装置を構成させた場合、受光時には、外光の影響で受光される信号状態に大きな変動がある問題があった。即ち、例えば表示画面に指などで触れたことを検出することを想定した場合、暗い室内で受光を検出する状態と、明るい日中の屋外で受光を検出する状態とでは、受光条件が大きく異なり、均一の受光条件で表示装置の表面の接触などを検出するのは困難であった。

従って、例えば携帯用の電子機器の表示パネルに適用する場合のように、屋外、屋内のいずれでも使用可能な機器に適用する場合には、外光の強度の変化に対応した何らかの対処が必要であるが、既に提案されている発光と受光を同時に行う表示装置で、簡単にそのような対処を行うことは困難であった。

本発明はかかる点に鑑みてなされたものであり、発光と受光を並行して同時に行う場合における、外光の影響の除去を簡単に行うことを目的とする。

本発明は、表示装置の表示面での画像の表示と受光とを同時又は交互に行う場合において、表示面を発光させて画像を表示させる処理を行うと共に、表示面に入射した光の受光を行い、その受光として、表示用発光が行われている状態と、発光していない状態との２回の受光を行い、その２回の受光量の差から、表示面に接触又は近接した状態を検出し、２回の受光量の差の値を２値化して、表示面に接触又は近接した位置を特定するようにしたものである。

このようにしたことで、例えば、表示面を発光させた状態で、表示面に触れた個所の素子が検出する受光量については、例え外光があっても、触れた物体そのものが外光を遮るために、外光の有無に関係なく、ほぼ一定の受光量となる。そして、それ以外の個所の素子が検出する受光量については、その一定の受光量から変化するので、２回の受光量の差が所定レベル以上ある場合に、該当する個所に触れられた状態であることが判定できる。表示面に近接した状態についても、同様に判定できる。

本発明によると、２回の受光量の差が所定レベル以上ある場合に、該当する個所に触れられた状態（又は近接した状態）であることが判定でき、外光の影響を除去した、使用環境に影響されない良好な接触又は近接の判定ができる。

本発明の第１の実施の形態による表示装置の構成例を示すブロック図である。 本発明の第１の実施の形態による表示パネルの例を示す構成図である。 本発明の第１の実施の形態による画素構成例を示す接続図である。 本発明の第１の実施の形態による画素からの読み出し構成例を示す接続図である。 本発明の第１の実施の形態によるバックライトのオン・オフのタイミングの例を示したタイミング図である。 本発明の第１の実施の形態による接触又は近接位置の特定処理例を示したフローチャートである。 本発明の第１の実施の形態による検出画像の例を示した説明図である。 本発明の第１の実施の形態による外光大の状態での検出例を示した説明図である。 本発明の第１の実施の形態による外光小の状態での検出例を示した説明図である。 本発明の第１の実施の形態による検出例を示した説明図である。 本発明の第１の実施の形態による複数箇所の接触又は近接位置の判定処理例を示したフローチャートである。 本発明の第１の実施の形態による検出画像の例を示した説明図である。 本発明の第１の実施の形態による検出例を示した説明図である。 本発明の第１の実施の形態による検出例を示した説明図である。 本発明の第１の実施の形態による検出例を示した説明図である。 本発明の第１の実施の形態による検出と伝達の例を示した説明図である。 本発明の第１の実施の形態による検出例を示した説明図である。 本発明の第２の実施の形態による表示装置の構成例を示すブロック図である。 本発明の第２の実施の形態による画素構成例を示した接続図である。 本発明の第２の実施の形態による駆動タイミングの例を示した説明図である。

以下、本発明の第１の実施の形態を、図１〜図１７を参照して説明する。

本例においては、液晶表示ディスプレイとして構成された表示装置に適用したものであり、その液晶表示ディスプレイを構成する各発光素子に隣接して受光素子を配置して、発光（表示）と受光（読み取り）とを並行して行えるように構成したものである。ここでは、発光と受光を並行して行える本例のディスプレイを、画像の入力（受光）と出力（表示）が同時に行えるディスプレイであるので、Ｉ／Ｏディスプレイと称する。また、後述するように本例のＩ／Ｏディスプレイは、画面を触れた状態である接触だけでなく、画面に近接した物体についても検出が可能であり、以下の説明で接触の検出と述べた場合には、特に説明がある場合を除いて、近接の検出をも含むようにしてある。

図１は、本例の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部１１は、そのアプリケーション実行部１１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部１１からの画像の表示の指示は、表示ドライブ回路１２に送られ、Ｉ／Ｏディスプレイパネル２０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル２０は、液晶表示ディスプレイとして構成され、ガラス基板などの透明な基板上に透明電極などが配置されて、表示エリア（センサエリア）２１に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、背面にバックライト１５が配置してある。本例のバックライト１５は、例えば複数の発光ダイオードが配列されたものを使用してあり、比較的高速でバックライトの点灯のオン・オフ制御ができるようにしてある。バックライト１５での点灯のオン・オフ制御は、表示ドライブ回路１２での表示駆動に連動して行われる。

Ｉ／Ｏディスプレイパネル２０は、表示素子とは別に複数の受光素子が配置してある。即ち、例えば、表示エリア（センサエリア）２１の各表示画素に隣接して、受光素子がマトリクス状に配置してあり、この受光素子への受光光量に対応して蓄積した信号電荷を、受光ドライブ回路１３からの駆動で読み出す構成としてある。受光ドライブ回路１３は、内部にフレームメモリ１３ａを備えて、後述する受光信号の読み出し時に必要な判定処理に使用するようにしてある。

受光ドライブ回路１３で読み出されて判定された受光信号（後述する差分画像信号）は、画像処理部１４に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果（座標データ、認識結果など）がアプリケーションプログラム実行部１１に送られる。アプリケーション実行部１１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。

次に、図２を参照して、本例のＩ／Ｏディスプレイパネル２０のドライバの配置例を説明する。中央に透明な表示エリア（センサエリア）２１が配置されたＩ／Ｏディスプレイパネル２０は、図２に示すように、表示エリア２１の４つの端面に、表示用水平ドライバ２２、表示用垂直ドライバ２３、センサ用水平ドライバ２４、センサ用垂直ドライバ２５が配置してある。表示用水平ドライバ２２と表示用垂直ドライバ２３には、表示用のデータとして、表示信号と制御クロックとが供給されて、表示エリア２１にマトリクス状に配置された表示画素の駆動が行われる。センサ用水平ドライバ２４とセンサ用垂直ドライバ２５には、読み出し用のクロックが供給されて、そのクロックに同期して読み出された受光信号を、受光信号線を介して受光ドライブ回路１３に供給する。

図３は、表示エリア２１に配置された画素の１つの構成を示した図である。１つの画素３が備える表示のための構成としては、ここでは水平方向にゲート電極３１ｈが配置してあり、垂直方向にドレイン電極３１ｉが配置してあり、両電極の交点にスイッチチング素子３１ａが配置してあり、そのスイッチチング素子３１ａと画素電極３１ｂが接続してある。スイッチチング素子３１ａは、ゲート電極３１ｈを介して得られる信号によりオン・オフが制御され、ドレイン電極３１ｉを介して供給される信号により、画素電極３１ｂでの表示状態が設定される。

そして、画素電極３１ｂに隣接した位置に、受光センサ（受光素子）３１ｃが配置してあり、電源電圧ＶＤＤが供給される。この受光センサ（受光素子）３１ｃには、リセットスイッチ３１ｄとコンデンサ３１ｅが接続してあり、リセットスイッチ３１ｄでリセットされながら、コンデンサ３１ｅで受光量に対応した電荷を蓄積するようにしてある。その蓄積された電荷が、読み出しスイッチ３１ｇがオンとなるタイミングで、バッファアンプ３１ｆを介して、信号出力用電極３１ｊに供給され、外部に出力される。リセットスイッチ３１ｄのオン・オフは、リセット電極３１ｋに得られる信号により制御され、読み出しスイッチ３１ｇのオン・オフは、読出し制御電極３１ｋに得られる信号により制御される。

図４は、受光センサから読み出した信号が、センサ用ドライバ２５に供給されるまでの構成を示した図である。図４では、隣接して配置された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの画素３１，３２，３３を示してある。それぞれの画素の受光センサ３１ｃ，３２ｃ，３３ｃに接続されたコンデンサで蓄積した電荷は、それぞれのバッファアンプ３１ｆ，３２ｆ，３３ｆで増幅されて、読み出しスイッチ３１ｇ，３２ｇ，３３ｇがオンになるタイミングで、信号出力用電極を介してドライバ２５に供給される。ここで、各信号出力用電極には、定電流源４１ａ，４１ｂ，４１ｃが接続してあり、ドライバ２５で感度良く受光量に対応した信号を検出できる構成としてある。

図５は、本例のＩ／Ｏディスプレイパネル２０での表示と受光の状態を示した図である。図５に示すように、例えば１フレームが１／６０秒のフレーム周期で画像（動画像又は静止画像）の表示を行うとすると、各フレーム期間を１／２に分割して、その前半の期間（１／１２０秒間）にバックライト１５を点灯させて、各表示画素に表示信号を書き込ませて、そのフレーム期間の画像を表示させる。そして、各フレーム期間の後半の期間には、バックライト１５を消灯させて、表示を行わないようにしてある。

受光素子で受光した信号の読出しについては、各フレーム期間毎に、バックライトが点灯した前半の期間に１回読み出すとともに、バックライトが消灯した後半の期間にも１回読み出す処理を行う。但し、画像信号の表示についてはフレーム周期で各フレームに行う必要があるが、受光信号の読出しについては、必ずしも１フレーム周期で行う必要はなく、ある程度間引いた周期で行うようにしてもよい。

次に、このようにして受光信号を読み出してから行われる処理を、図６のフローチャートを参照して説明する。図５を参照して既に説明したように、本例の場合には、１フレーム期間に２回の受光信号の読み出しを行うようにしてある。即ち、自発光（バックライト光）がオンの状態で読み出す（ステップＳ１１）とともに、自発光（バックライト光）がオフの状態でも読み出す（ステップＳ１２）。それぞれ読み出された信号は、受光ドライブ回路１３内のフレームメモリ１３ａ（図１）に一時蓄積されて、その２つの受光信号の差分を画素単位で検出する処理が、受光ドライブ回路１３内で行われる（ステップＳ１３）。

検出された差分の信号を、１フレーム単位の差分画像として、画像処理部１４に送る。画像処理部１４では、供給された差分画像を、画素単位で、所定レベル以上と未満とに２値化する処理を行う（ステップＳ１４）。さらに、２値化されて所定レベル以上と検出された領域の重心を判定する演算処理を行い（ステップＳ１５）、その判定された重心の座標位置（表示エリア２１の座標位置）をアプリケーション実行部１１に送る。アプリケーション実行部１１では、供給された重心の座標位置を、接触又は近接した物体の中心位置として特定する（ステップＳ１６）。

図７は、このようにしてＩ／Ｏディスプレイパネル２０の表示面に接触又は近接した物体（者）が検出される状態の例を示したものである。図７の例の画像は、Ｉ／Ｏディスプレイパネル２０の表示面に指で触れた場合の画像を示したものである。図７の上段の左右に示すように、自発光がオンの状態で読み出された受光量による画像（右側）と、自発光がオフの状態で読み出された受光量による画像（左側）とが得られたとする。このとき、図７の中段に示すように、両受光画像の差分画像が得られる。その差分画像は、後述するように、外光の明るさに影響されないで、接触又は近接状態を検出できる画像である。そして、その差分画像を２値化することで、図７の下段に示すように、接触した範囲が検出された２値化画像が得られる。さらに、その２値化画像の接触した範囲の重心を検出することで、指で触れた位置を特定することができる。

ここで、本例の如き接触又は近接の検出処理で、Ｉ／Ｏディスプレイパネル２０の表示面に接触又は近接した物体が、外光の影響を受けずに良好に検出できる原理を、図８及び図９を参照して説明する。図８は、ディスプレイパネルに入射する外光が強い場合（バックライトの光よりも強い場合）の例を示し、図８（ａ）はその状態でのパネルを指で触れた状態を示し、図８（ｂ）は、受光出力電圧の１ラインでの変化を示したものである。また、図９は、ディスプレイパネルに入射する外光が殆どない場合の例を示し、図９（ａ）はその状態でのパネルを指で触れた状態を示し、図９（ｂ）は、受光出力電圧の１ラインでの変化を示したものである。

図８に示した入射する外光が強い場合には、バックライト１５を点灯させた状態での受光電圧Ｖon１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに低下する。これに対して、バックライト１５を消灯させた状態での受光電圧Ｖoff１は、指で触れた個所以外では、外光の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

次に、図９に示した入射する外光が殆どない状態では、バックライト１５を点灯させた状態での受光電圧Ｖon２は、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃとなり、指で触れた個所では、そのときに触れた物体（指）の表面で、バックライトからの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、バックライト１５を消灯させた状態での受光電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

ここで、図８と図９を比較すると判るように、パネルの表示エリア２１に接触していない個所では、外光がある場合とない場合とで、受光電圧が大きく異なっている。ところが、指が接触している個所では、外光の有無に関係なく、バックライトの点灯時の電圧Ｖｂと、バックライトの消灯時の電圧Ｖｃとが、ほぼ同じような状態となることが判る。

従って、バックライトの点灯時の電圧と消灯時の電圧との差を検出して、電圧Ｖｂと電圧Ｖｃとの差のように、一定以上の差がある個所が、接触した個所又は近接した個所であると判断できる。上述した図６のフローチャートに示した検出及び判別の処理は、この原理を利用した処理であり、パネルに入射する外光が強い場合でも、外光が殆どない場合でも、均一な条件で良好に接触を検出できる。接触に近い状態のパネルへの近接についても、同様に検出できる。

図１０は、受光電圧の検出に必要なダイナミックレンジについて説明したものである。図１０（ａ）は、パネルの表示エリア２１の接触状態を示したもので、指ｆでパネル表面を触れているとともに、反射率がほぼ１００％の円形の物体ｍを、表示エリア２１に載せた状態としてある。この状態で、指ｆと物体ｍの双方を走査するラインでの受光電圧は、図１０（ｂ）に示す状態となる。図１０（ｂ）において、電圧Ｖon３は、バックライトを点灯させた状態での受光電圧であり、電圧Ｖoff３は、バックライトを消灯させた状態での受光電圧である。

この図１０（ｂ）に示すように、反射率がほぼ１００％の物体ｍがある個所で、バックライト点灯時に検出される電圧Ｖｄよりも高い電圧は観測不要なレベルＶｙであり、そのレベル以下の範囲Ｖｘが、検出に必要なダイナミックレンジである。観測不要なレベルＶｙの信号については、オーバーフローさせてしまって、同一の強度とみなすようにすればよい。

以上説明したように、本実施の形態のＩ／Ｏディスプレイパネルによると、そのディスプレイに接触した状態又は近接した状態を、外光の有無にかかわらず、均一な状態で良好に検出することができる。また、本例のように２回の受光画像の差分を検出する処理を行うことで、画素毎の受光特性の不均一による固定ノイズについても同時に除去される。固定ノイズの除去性能としては、実験では約２５ｄＢにもなることが確かめられた。

なお、本例での接触を検出する原理では、接触した位置での、表示パネルからの自発光の反射光を検出するものであるため、接触を検出する位置については、画面上である程度の明るさで画像を表示させる必要がある。例えば、指で押すべきボタンを、明るく表示させるような対処が必要である。アプリケーションプログラム実行部１１で実行させる表示と接触検出を行うアプリケーションプログラム側で、そのような表示を行う対処を行えばよい。

また、接触又は近接を検出する範囲を、表示画面内の特定範囲に限定して、その範囲を明るく表示させるようにしてもよい。或いは、表示される画像の明るさと無関係に、良好に接触などを検出するために、バックライトから発光させる光として、画像照明用の可視光以外に、赤外線光を発光させる構成として、その赤外線光を、常時一定の明るさでパネル２０を透過させ、その赤外線光の反射光を検出するようにしてもよい。

また、ここまでの説明では、Ｉ／Ｏディスプレイパネルに触れた（近接した）１箇所だけを検出する処理について説明したが、本例の検出処理を適用することで、パネル上の複数箇所を同時に接触（近接）した場合における、その複数の接触（近接）個所の同時検出についても行える。複数の接触個所の同時検出については、パネルから得た受光信号の判別処理で対処できる。

図１１のフローチャートは、この場合の処理例を示したものである。自発光（バックライト光）がオンの状態で読み出す（ステップＳ１１）とともに、自発光（バックライト光）がオフの状態でも読み出す（ステップＳ１２）。そして、その２つの受光信号の差分を画素単位で検出する処理が、受光ドライブ回路１３内で行われ（ステップＳ１３）、差分画像を、画素単位で所定レベル以上と未満とに２値化する処理を行う（ステップＳ１４）。

ここまでは図６に示した例と同じであるが、本例の場合には、ここで接触（近接）個所が複数箇所であるか否か判断される（ステップＳ２１）。ここでの判断としては、例えば、ある程度以上の面積の接触検出領域が、それぞれ独立して複数ある場合に、複数箇所の接触であると判断する。

この判断で、複数あると判断した場合には、それぞれの個所の重心位置を個別に計算し（ステップＳ２２）、それぞれの判定された重心の座標位置（表示エリア２１の座標位置）をアプリケーション実行部１１に送る。アプリケーション実行部１１では、供給されたそれぞれの重心の座標位置を、接触又は近接した物体の中心位置として特定する（ステップＳ２３）。

また、ステップＳ２１で接触個所が１箇所であると判断した場合には、その１箇所の領域の重心を判定する演算処理を行い（ステップＳ２４）、その判定された重心の座標位置（表示エリア２１の座標位置）をアプリケーション実行部１１に送る。アプリケーション実行部１１では、供給された重心の座標位置を、接触又は近接した物体の中心位置として特定する（ステップＳ２５）。

図１２は、このようにして複数箇所の接触を同時検出する場合の、実際の画像の例である。図１２の例の画像は、Ｉ／Ｏディスプレイパネル２０の表示面に、３本の指で触れた場合の画像を示したものである。図１２（ａ）は、自発光がオンの状態で読み出された受光量による画像であり、図１２（ｂ）は、自発光がオフの状態で読み出された受光量による画像である。この２つの画像の差分による画像が、図１２（ｃ）に示す画像である。さらに、それを２値化したものが、図１２（ｄ）に示した画像である。この図１２（ｄ）に示すように２値化することで、３つの指先が接触した個所が、それぞれ独立した領域となり、それぞれの重心を検出することで、それぞれの指で触れたボタン表示に対応した操作などが可能になる。このような複数箇所の同時接触検出は、従来のタッチパネルでは原理的に不可能なものであった。

ここまで説明した本実施の形態での接触又は近接の検出処理としては、接触範囲の重心位置などの中心位置を特定する処理を行うようにしたが、そのような接触位置の座標のデータとして処理するのではなく、接触範囲を示す画像データとして捉えて、様々な用途に使用することもできる。アプリケーション実行部１１に実装されるアプリケーションプログラムで該当する処理を行うようにすればよい。

図１３の例は、表示パネルの表面を手１００で触れて、その触れた個所の軌跡を、描画ライン１０１として画面に表示させるようにした例である。

図１４の例は、手の形を用いたジェスチャ認識の例である。この例では、表示パネルに触れた（又は近接した）手１１０の形状を認識して、その認識した手の形を画像として表示させ、その表示オブジェクトの移動１１１で、何らかの処理を行うようにしたものである。

図１５の例は、閉じた状態の手１２１から、開いた状態の手１２２に変化させて、それぞれの状態の手１２１，１２２の接触又は近接を表示パネルで画像認識させて、その画像認識に基づいた処理を実行させるようにしたものである。

これらの認識に基づいて処理を行うことで、例えば、ズームインなどの指示を行うことができる。このような指示ができることで、例えば本例のＩ／Ｏディスプレイパネル２０をパーソナルコンピュータ装置に接続して、そのコンピュータ装置上でコマンドを切り替えている操作などを、これらの画像認識で、より自然な形で入力することが可能になる。

また、例えば図１６に示すように、本例のＩ／Ｏディスプレイパネルを複数台用意して、その複数台のＩ／Ｏディスプレイパネルを、何らかの伝送手段で接続することで、接触又は近接を検出した画像を、相手のＩ／Ｏディスプレイパネルに伝送して表示させて、両ディスプレイパネルを操作するユーザ間でコミュニケーションをとるようにしても良い。即ち、図１６に示すように、２つのＩ／Ｏディスプレイパネル１３１，１４１を用意して、パネル１４１で画像認識した手形を相手に送信して、他方のパネル１３１に手形１３２を表示させたり、或いは、パネル１３１を手１３３で触れて表示された軌跡１３４を、相手のパネル１４１に送って表示させる等の処理が可能になる。このようにして、描画している状態が動画で伝達され、手書きの文字や図形などを相手に送ることで、新しいコミュニケーションツールの可能性がある。このような例としては、例えば、本例のＩ／Ｏディスプレイパネルを携帯電話端末の表示パネルに適用すること等が想定される。

また、本例のような接触の検出が可能なことで、例えば図１７に示すように、筆１５１を使用してＩ／Ｏディスプレイパネル１５０の表面で文字を書くように触れさせて、その筆１５１が触れた個所をパネル１５０に画像１５２として表示させることで、毛筆による手書きの入力が可能になる。この場合には、毛筆の細かいタッチまで認識して実現することが可能である。従来の手書き認識の場合には、例えば一部のデジタイザにおいて、特殊なペンの傾きを電界検出で実現していたが、本例では、本物の毛筆の接触面そのものを検知することにより、より現実的な感覚で情報入力を行える。

次に、本発明の第２の実施の形態を、図１８〜図２０を参照して説明する。上述した第１の実施の形態では、液晶表示ディスプレイに適用した例としたが、本実施の形態では、有機ＥＬディスプレイに適用した例としたものである。液晶表示ディスプレイの場合には、表示画素とは別に、発光手段としてバックライトを必要としたが、有機ＥＬディスプレイの場合には、画素を構成する素子が発光するために、第１の実施の形態の場合に比べて、処理構成を一部変更する必要があり、本実施の形態ではその点について重点的に説明を行い、検出された受光信号の処理や、使用されるアプリケーション等については、第１の実施の形態と同じであり、説明を省略する。

図１８は、本実施の形態の表示装置の構成例を示すブロック図である。アプリケーションプログラム実行部５１は、そのアプリケーション実行部５１が実行中のアプリケーションに応じた画像を表示させる処理を行うと共に、ディスプレイパネルの接触を検出して、接触した表示箇所に応じた処理などを行うようにしてある。アプリケーションプログラム実行部５１からの画像の表示の指示は、表示ドライブ回路５２に送られ、Ｉ／Ｏディスプレイパネル６０で画像を表示させるための駆動が行われる。

Ｉ／Ｏディスプレイパネル６０は、有機ＥＬディスプレイとして構成され、表示エリア（センサエリア）に、複数の画素（表示素子）がマトリクス状に形成されたディスプレイであり、表示素子が受光素子としても機能するようにしてあり、発光期間と受光期間を時分割で設定するようにしてある。そして、受光期間に、受光光量に対応して蓄積した信号電荷を、受光ドライブ回路５３からの駆動で読み出す構成としてある。受光ドライブ回路５３は、内部にフレームメモリ５３ａを備えて、受光信号の読み出し時に必要な判定処理（差分の検出処理）に使用するようにしてある。

受光ドライブ回路５３で読み出されて判定された受光信号（差分画像信号）は、画像処理部５４に送られて、接触状態などが画像として判定され、必要により接触中心の座標位置などが判定され、判定結果（座標データ、認識結果など）がアプリケーションプログラム実行部５１に送られる。アプリケーション実行部５１では、実行中のアプリケーションに応じた処理を行う。例えば、表示画像中に、接触を検出した箇所や範囲などを表示させる処理を行う。

図１９は、１画素の構成を示した図である。ここでは、有機ＥＬディスプレイの発光素子６１を発光ダイオードとして示してあり、その発光ダイオード６１には、寄生容量６１ａが生じている。画像表示のために発光素子６１に、表示データ信号線６１から、表示データをスイッチＳＷ１を介して発光素子６１に供給するようにしてある。従って、表示期間（発光期間）は、スイッチＳＷ１をオンさせている期間で設定される。

そして、発光素子６１で発光が停止している期間には、表示パネルの表面に入射した光量に応じて、発光素子６１に生じた寄生容量６１ａに、電荷が蓄積する。その蓄積した電荷は、スイッチＳＷ２のオンで、受信データ信号線６４に読み出される。なお、受光期間の開始時には、リセット用のスイッチＳＷ３を一瞬オンさせて、寄生容量６１ａに発光時に蓄積した電荷を放出させる必要がある。スイッチＳＷ２のオンは、読み出しライン選択線６３に得られる信号で制御される。

図２０は、このような有機ＥＬディスプレイタイプのＩ／Ｏディスプレイパネル６０で、画像などを表示させながら、そのパネル６０に接触又は近接したことを検出する処理を行う場合の例を示したものである。

図２０（ａ）は、Ｉ／Ｏディスプレイパネル６０の状態を示したもので、ここではパネル６０の表面を指ｆで触れた状態としてある。そして、図２０（ａ）に示した状態では、発光領域６０ａが１画面中の特定の複数水平ラインとしてある。発光領域６０ａでは発光していないが、発光領域６０ａを１フィールド期間内で変化させることで、この画面を見ている者にとっては、残像効果で１画面全体で表示されて見える。図２０（ａ）の状態では、発光領域６０ａの水平ラインが上から下に変化している状態を示している。

この状態で、受光信号の読み出しについては、発光領域６０ａに隣接した上側の水平ラインの読み出し６０ｂと、その読み出し６０ｂからある程度間隔をあけた水平ラインの読み出し６０ｃの２回の読み出しを、１フィールド期間に行うようにする。読み出し６０ｂ，６０ｃを行うラインについても、発光領域６０ａの変化に連動して順に変化させる。

このようにして読み出しを行うことで、発光領域６０ａに隣接した水平ラインの読み出し６０ｂについては、発光領域６０ａからの光の反射を検出できる読み出しとなり、図２０（ｂ）に示すように、自発光オン時の読み取りデータとなる。そして、発光領域６０ａから離れた水平ラインの読み出し６０ｃについては、発光の影響のない読み出しであり、図２０（ｃ）に示すように、自発光オフ時の読み取りデータとなる。従って、両読み出しデータの差分を、図２０（ｄ）に示すように検出することで、自発光オン時の受光データと、自発光オフ時の受光データの差分が検出され、その差分の画像データを２値化するなどして処理することで、上述した第１の実施の形態と同様に、外光の影響の除去や、画素を構成する素子の特性の不均一による感度の劣化の除去が行え、良好に接触又は近接を検出できるようになる。

このように、有機ＥＬディスプレイのように、画素を構成する表示素子が発光する素子である場合にも、本発明を適用することが可能であり、液晶ディスプレイのように、表示パネルとは別の発光手段を必要とする場合と、表示パネルそのものが発光する場合のいずれでも、本発明の適用が可能である。上述した各実施の形態では、それぞれの表示パネルとして、液晶ディスプレイと有機ＥＬディスプレイを例として説明したが、受光素子を組み込むことが可能なディスプレイであれば、その他の構成のディスプレイにも本発明は適用可能である。

１１…アプリケーションプログラム実行部、１２…表示ドライブ回路、１３…受光ドライブ回路、１３ａ…フレームメモリ、１４…画像処理部、１５…バックライト、２０…Ｉ／Ｏディスプレイパネル、２１…表示エリア（センサエリア）、２２…表示用水平ドライバ、２３…表示用垂直ドライバ、２４…センサ用水平ドライバ、２５…センサ用垂直ドライバ、３１，３２，３３…画素、３１ａ…スイッチチング素子、３１ｂ…画素電極、３１ｃ…センサ素子、３１ｄ…リセットスイッチ、３１ｅ…コンデンサ、３１ｆ…バッファアンプ、３１ｇ…読み出しスイッチ、４１ａ，４１ｂ，４１ｃ…定電流源、５１…アプリケーションプログラム実行部、５２…表示ドライブ回路、５３…受光ドライブ回路、５３ａ…フレームメモリ、５４…画像処理部、６０…Ｉ／Ｏディスプレイパネル、６１…発光素子、６１ａ…寄生容量、６２…表示データ信号線、６３…読み出しライン選択線、６４…受信データ信号線、１３１，１４１，１５０…Ｉ／Ｏディスプレイパネル、ＳＷ１，ＳＷ２，ＳＷ３…スイッチ

Claims (8)

1. 発光させて画像を表示させる複数の表示素子と、
   前記表示素子による表示面に入射した光の受光を行う複数の受光素子と、
   前記表示素子による発光状態での表示が行われている状態と、発光していない状態との２回の前記受光素子での受光を実行させる制御部と、
   前記受光素子での前記２回の受光量の差から、表示面に接触又は近接した状態を検出する検出部と、
   前記検出部からの前記２回の受光量の差の値を２値化して、表示面に接触又は近接した位置を特定する画像処理部と、を備えた
   表示装置。
2. 請求項１に記載の表示装置において、
   前記画像処理部は、表示面に接触又は近接した所定面積以上の領域が存在する場合には、表示面に接触又は近接していると判断する
   表示装置。
3. 請求項１〜２のいずれか１項に記載の表示装置において、
   前記２回の受光量の差に基づいて表示面に接触又は近接した範囲を検出し、その検出された範囲の重心位置を、接触又は近接した位置の中心として判定する
   表示装置。
4. 請求項１〜３のいずれか１項に記載の表示装置において、
   前記表示素子とは別に、前記表示面の背面に配置されたバックライトを備え、
   前記バックライトは、可視光と共に赤外光を発光し、
   前記検出部は、前記赤外光により表示面に接触又は近接した状態を検出する
   表示装置。
5. 請求項１〜３のいずれか１項に記載の表示装置において、
   前記表示素子とは別に、前記表示面を背面から照明するバックライトを備え、
   前記２回の受光は、前記バックライトによる照明が行われた状態での受光と、前記バックライトによる照明が行われない状態での受光である
   表示装置。
6. 請求項１〜３のいずれか１項に記載の表示装置において、
   発光する素子からなる複数の表示素子がマトリクス状に配置され、
   前記表示素子による発光状態での表示が行われている状態での受光は、発光する表示素子が水平ライン状に配列する発光領域に隣接する場合の受光であり、前記発光していない状態での受光は、前記発光領域から離れた発光の影響のない場合の受光である
   表示装置。
7. 請求項１〜３のいずれか１項に記載の表示装置において、
   前記表示素子と前記受光素子とは同一の素子であり、
   前記表示素子による発光表示が行われない期間に、前記表示素子を受光素子として使用するものであり、
   前記表示素子による発光状態での表示が行われている状態での受光は、前記表示素子による発光が停止した直後の受光であり、前記発光していない状態での受光は、発光が停止してから所定時間が経過してからの受光である
   表示装置。
8. 表示面での画像の表示と受光とを同時又は交互に行う表示方法において、
   前記表示面を発光させて画像を表示させ、
   前記表示面に入射した光の受光を行い、その受光として、表示用発光が行われている状態と、発光していない状態との２回の受光を行い、
   前記２回の受光量の差から、表示面に接触又は近接した状態を検出し、
   前記２回の受光量の差の値を２値化して、表示面に接触又は近接した位置を特定する
   表示方法。

Images