JP2007183706A - タッチセンサシステム - Google Patents

Abstract

【課題】タッチセンサシステムにおいて、外光の遮断を行うことなく、パネルにタッチした指先の位置を検出することである。
【解決手段】最初に、指がガラス基板に接触したか否かを判断する（Ｓ１０）。次に、外光明るさを取得する（Ｓ１２）。そして、取得された外光明るさが閾値以上かどうか判断する（Ｓ１４）。閾値以上のときは、外光による指の影を検出し、次に、指の影の中で指先部分を検出し、指先位置を特定する（Ｓ１６−Ｓ２０）。閾値未満のときは、バックライト光による指からの反射を検出し、次に、指からの反射の中で指先部分を検出し、指先位置を特定する（Ｓ２２−Ｓ２６）。このほかに、２段階の明暗差に基づいて、指先位置を特定することもでき、その場合でも、外光の明るさに応じて、異なる処理手順を選択する。
【選択図】図４

Description

本発明はタッチセンサシステムに係り、特にパネルにタッチした指先の位置を検出するタッチセンサシステムに関する。

表示パネルを有する電子機器において、キーボードを用いる代わりに、表示パネルに指またはペンシル状のもので触れることで、データ入力することが行われる。このようなデバイスは、タッチパネルあるいはタッチセンサと呼ばれる。

例えば、特許文献１には、平板状の導光板の一方側面から照明手段によって光を入射し、入射された光は導光板の内部を全反射しながら進み、対向側面に設けられた光センサアレイによって検出される構成を開示している。ここでは、導光板の表面に触れると、光センサアレイの検出する受光量が変化するので、タッチセンサとして用いられる。

特開２０００−１７２４４４号公報

特許文献１では、光センサアレイが照明手段に対し導光板の対向側面に配置されているが、その他に、表示パネルの２次元平面に光センサアレイを配置する構成をとることができる。いずれの構成をとるにしても、光センサは、余分な光が入るとノイズとなり、指先等の接触検出の誤差の原因となる。したがって、例えば余計な外光が光センサに入らないような工夫が必要である。

本発明の目的は、外光の遮断を行うことなく、パネルにタッチした指先の位置を検出することができるタッチセンサシステムを提供することである。

本発明に係るタッチセンサシステムは、パネルにタッチした指先の位置を検出するタッチセンサシステムにおいて、前記パネル内にマトリクス状に複数配置される指検出用光センサと、前記複数の指検出用光センサの検出信号を画像処理して、前記パネルにタッチした指先の位置を特定する画像処理部と、を備え、前記画像処理部は、前記パネルに入射する外光の明るさに応じて、指先検出のための画像処理方法を選択する選択手段を有することを特徴とする。

また、前記選択手段は、前記外光の明るさがバックライト光の明るさに比較して明るく、前記外光による指の影を前記指検出用光センサが検出することができる第１の場合と、前記バックライト光の明るさが前記外光の明るさに比較して明るく、前記バックライト光を受けて指から反射する光を前記指検出用光センサが検出することができる第２の場合と、に応じて、前記指先検出のための画像処理方法を選択することが好ましい。

また、前記画像処理部は、前記第１の場合に、前記外光による前記指の影の中で、前記パネルにタッチしている指先部分と、タッチしていない指の部分との間で、前記バックライト光を受けて反射する光の強さが異なることに基づいて、前記指先の位置を特定することが好ましい。

また、前記画像処理部は、前記第２の場合に、前記バックライト光を受けて反射する光の強さが、前記パネルにタッチしている指先部分と、タッチしていない指の部分との間で異なることに基づいて、前記指先の位置を特定することが好ましい。

また、前記画像処理部は、前記第１の場合に、前記指検出用光センサが最も明るい部分として検出する領域と、最も暗い部分として検出する領域とを区別し、その区別に基づいて、前記指先の位置を特定することが好ましい。

また、前記画像処理部は、前記第２の場合に、前記指検出用光センサが最も暗い部分として検出する領域と、次に暗い部分として検出する領域とを区別し、その区別に基づいて、前記指先の位置を特定することが好ましい。

また、前記画像処理部は、エッジ検出法によって明るさの異なる領域を区別することが好ましい。

また、本発明に係るタッチセンサシステムにおいて、さらに、指先から放射される特定波長の光を検知して、指が前記パネルにタッチしたことを検出することが好ましい。

また、本発明に係るタッチセンサシステムにおいて、さらに、前記外光の強さを検出する外光センサを備えることが好ましい。

上記構成により、パネル内に指検出用光センサをマトリクス状に配置し、複数の指検出用光センサの検出信号を画像処理してパネルにタッチした指先の位置を特定する際に、パネルに入射する外光の明るさに応じて、指先検出のための画像処理方法を選択する。したがって、外光の遮断を行うことなく、パネルにタッチした指先の位置を検出することができる。

また、外光の明るさがバックライト光の明るさに比較して明るく、外光による指の影を指検出用光センサが検出することができる第１の場合と、バックライト光の明るさが外光の明るさに比較して明るく、バックライト光を受けて指から反射する光を指検出用光センサが検出することができる第２の場合と、に応じて、指先検出のための画像処理方法を選択する。したがって、外光が明るいときでも、外光が暗いときでも、パネルにタッチした指先の位置を検出することができる。

また、外光が明るい場合に、外光による指の影の中で、パネルにタッチしている指先部分と、タッチしていない指の部分との間で、バックライト光を受けて反射する光の強さが異なることに基づいて、指先の位置を特定する。したがって、明るい中での暗さの区別で指先の特定が行える。

また、バックライト光が明るい場合に、バックライト光を受けて反射する光の強さが、パネルにタッチしている指先部分と、タッチしていない指の部分との間で異なることに基づいて、指先の位置を特定する。したがって、暗い中での明るさの区別で指先の特定が行える。

また、外光が明るい場合に、指検出用光センサが最も明るい部分として検出する領域と、最も暗い部分として検出する領域とを区別し、その区別に基づいて、指の部分の中の指先の位置を特定する。したがって、明暗の区別によって指先の特定が行える。

また、バックライト光が明るい場合に、指検出用光センサが最も暗い部分として検出する領域と、次に暗い部分として検出する領域とを区別し、その区別に基づいて、指先の位置を特定する。したがって、明暗の区別によって指先の特定が行える。

また、エッジ検出法によって明るさの異なる領域を区別するので、周知の技術を用いて指先の特定が行える。

また、指先から放射される特定波長の光を検知して、指がパネルにタッチしたことを検出するので、例えばタッチ検出の後に指先特定処理等を行うものとすることができる。

また、外光の強さを検出する外光センサを備えることとするので、自動的に、外光の明るさに応じて指先検出のための画像処理方法の選択を行うことができる。

上記のように、本発明に係るタッチセンサシステムによれば、外光の遮断を行うことなく、パネルにタッチした指先の位置を検出することができる。

以下に図面を用いて本発明に係る実施の形態につき詳細に説明する。以下において、タッチセンサシステムは、画素がマトリクス状に配置される液晶表示パネル装置に適用されるものとして説明するが、マトリクス状でない画素配置の表示パネルであってもよい。例えば、セグメント状の画素が配置される表示パネルであってもよい。また、液晶以外の表示機構を用いる表示パネルであってもよい。例えばＬＥＤ表示パネルや、プラズマ表示パネルであってもよい。また、表示を行わず、単にタッチパネルのみの機能を有するパネルであってもよい。また、以下において、液晶表示パネル装置は、マトリクス状に配置される画素、指先検出光センサの外に、ゲート駆動部とデータ駆動部の回路もガラス基板等の透明基板上に構成されるものとして説明するが、ガラス基板上に配置されるデバイスは、これ以外のものであってもよく、また逆に、画素と指先検出光センサのみがガラス基板上に配置されるものであってもよい。

図１は、タッチセンサシステムを内蔵する液晶表示パネル装置１０の構成を示す。液晶表示パネル装置１０は、画素デバイス２２等が配置されるガラス基板１２と、ガラス基板１２の外に設けられる回路等で構成される。液晶表示パネル装置１０は、パネル装置の動作のための条件が入力される入力部１４と、パネル装置の動作を制御するパネル制御部１６と、ガラス基板１２上にマトリクス状に配置される複数の画素デバイス２２を選択しデータを与えるためのゲート駆動部１８及びデータ駆動部２０と、ガラス基板１２の背後に設けられるバックライト２４と、バックライト駆動部２６とを含む。これらの要素は、一般的な液晶表示パネル装置に共通のものである。

そして、液晶表示パネル装置１０は、タッチセンサシステムとして固有の要素として、以下のものを含む。すなわち、ガラス基板１２の上に、画素デバイス２２と同様にマトリクス状に配置される複数の指検出用光センサ３０と、複数の指検出用光センサ３０の出力を検出する光センサセンシング部３２と、場合により設けることができる外光センサ３４と、液晶表示パネルのガラス基板に触れた指先を特定するためのタッチセンサ制御部４０を含む。タッチセンサシステムとしてはこれらの要素のほかに、外光の明るさを入力する機能も有する入力部１４、タッチセンサシステム全体の制御を行う機能も有するパネル制御部１６、バックライト２４、バックライト駆動部２６等も含む。

一般的な液晶表示パネル装置に共通な各要素、及びタッチセンサシステムに用いられる各要素は、内部配線あるいは内部接続等によって相互に接続される。

ガラス基板１２は、ここでは１枚のガラス板をいうのではなく、透明電極やスイッチングトランジスタ等をマトリクス状に配置したガラス板を対向させ、その間に液晶を封入して組み立てられた複合ガラス基板で、いわゆる液晶表示ガラス基板を指す。ガラス基板１２の中央部には、液晶表示のための画素デバイス２２がマトリクス状に配置され、周辺部には、上記のゲート駆動部１８とデータ駆動部２０が配置される。画素デバイス２２は、周知のように、ゲートラインとデータラインとで選択特定されるスイッチングトランジスタと、上下透明電極と、上下透明電極の間に保持される表示要素である液晶と、保持キャパシタ等で構成される。ゲート駆動部１８と、データ駆動部２０は、複数のゲートライン及びデータラインを選択するための選択回路等で構成される回路部である。画素デバイス２２のスイッチングトランジスタ、ゲート駆動部１８及びデータ駆動部２０を構成するトランジスタ等は、ガラス板上に、低温ポリシリコントランジスタ形成技術、高温ポリシリコントランジスタ形成技術、アモルファストランジスタ形成技術等によって形成することができる。

ガラス基板１２上にマトリクス上に配置される指検出用光センサ３０は、外光又はバックライト光を利用して、ガラス基板１２に触れる指先あるいはペンシル状の接触ツールの形状を検出する機能を有する電子デバイスである。具体的には、光に対し高感度なトランジスタを用いることができる。例えば、画素デバイス２２のスイッチング素子として用いられるＭＯＳトランジスタ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｔｒａｎｓｉｓｔｏｒ）を用いることができる。一般的に、ＭＯＳトランジスタのリーク電流は光に対し高感度であるので、これを用いることができる。ＭＯＳトランジスタのゲート端子は一定電位に保持してＭＯＳトランジスタをオフとしてそのリーク電流の光依存性を利用してもよく、ゲート端子をオープンとして光に対する感度をより高めてもよい。図１においては、ゲート端子をオープンとしたｎチャネルトランジスタを光に対し高感度な指検出用光センサ３０として、そのドレイン端子を共通電源に接続し、ソース端子を光センサセンシング部３２に接続する構成が示されている。

光センサセンシング部３２は、マトリクス上に配置された複数の指検出用光センサ３０のそれぞれのリーク電流の大きさを検出するセンシング回路である。センシングは、各指検出用光センサ３０ごとに行ってもよく、適当に区切ったブロック単位ごとに複数の指検出用光センサ３０をまとめて検出してもよい。後者の場合は、リーク電流の値が大きくなるので、区別を行うのが容易となる。図１では、各画素デバイス２２ごとに１つの指検出用光センサ３０を配置し、９つの指検出光センサをまとめてセンシングする例を示すため、３×３の画素デバイスのブロックの中央に、１つの指検出用光センサ３０を代表して図示してある。光センサセンシング部３２の出力は、タッチセンサ制御部４０によって取得される。

バックライト２４は、ガラス基板１２の表示部を背面から照明するためのランプである。ここで背後とは、液晶表示パネル装置１０の表示面の背後という意味である。図１が液晶表示パネル装置１０を表示面側から見た図であるとすると、紙面の裏側にバックライト２４が配置され、紙面の裏側から紙面の表側に向かって光が照射される。バックライト駆動部２６は、バックライト２４の点灯、消灯、及び明るさの調整を行う機能を有する回路である。

パネル制御部１６は、上記のように液晶表示パネル装置１０の各要素を全体として制御する機能を有し、具体的にはマイクロプロセッサ等で構成することができる。入力部１４は、ユーザ等によって操作され、液晶パネルの点灯及び消灯、表示モードの選択等に関する指示をパネル制御部１６に与える機能を有するもので、具体的には外部スイッチ、外部キーボード等で構成することができる。

また、入力部１４は、外光の明るさに関する情報を入力する機能を有する。外光の明るさに関する情報とは、真夏の室外のようにきわめて明るい環境であること、平均的なオフィスの明るさの環境であること、雨天で暗い環境であること、真夜中で真っ暗の環境であること、等の情報である。後述のように、タッチセンサシステムにおいて、外光の明るさの情報は、バックライト光の明るさとの比較が問題となる。したがって、外光の明るさは、上記のように、いくつかの明るさのランクを切り替えスイッチ等でユーザが入力するものとしてもよく、バックライト光の明るさとの関係で、さらに粗い分類で入力するものとしてもよい。入力された外光の明るさに関する情報は、タッチセンサ制御部４０によって取得される。

場合により設けることができる外光センサ３４は、外光の明るさを検出するセンサで、上記の外光の明るさを入力部１４から入力する代わりに、外光の明るさを検出し、そのデータをタッチセンサ制御部４０に出力する。

タッチセンサ制御部４０は、外光の明るさにかかわらず、ガラス基板１２に触れた指先等の位置を特定する機能を有する。具体的には、マイクロプロセッサ等で構成でき、また、パネル制御部１６の一部の機能とすることもできる。タッチセンサ制御部４０は、指等がガラス基板１２に触れた事を検出するタッチ検出モジュール４２、入力部１４又は代替的に外光センサ３４から外光の明るさに関する情報を取得する外光明るさ取得モジュール４４、外光の明るさとバックライト光の明るさに応じて指先検出のために適した画像処理の方法を選択する処理方法選択モジュール４６と、光センサセンシング部３２のデータを取得する光センサデータ取得モジュール４８と、指先位置を特定する指先位置特定モジュール５０とを含んで構成される。かかる機能は、ソフトウェアで実現でき、具体的には、対応するタッチセンサプログラムを実行することで実現することができる。これらの機能の一部をハードウェアで実現してもよい。

上記構成の液晶表示パネル装置１０の動作、特にタッチセンサシステムの動作を、タッチセンサ制御部４０の各機能に関連付けて、以下に詳細に説明する。最初に、外光とバックライト光とが存在する場合、ガラス基板１２に指が触れたときに、指検出用光センサ３０がどのように働くかを説明し、それに基づいて指先位置検出の手順についてフローチャート等を用いて説明する。

図２は、ガラス基板１２の表面に指６の先端の指先８が触れたときの様子を示す図である。ガラス基板１２は、その内部に画素デバイス２２を含むが、ここではその図示を省略してある。バックライト２４は、ガラス基板１２の背後から、バックライト光２５を照射し、指６の腹の部分をガラス基板１２側から照らす。一方外光４は、指６の上側から注ぎ、ガラス基板１２上に指６の影を作る。マトリクス状に配置される指検出用光センサ３０は、ガラス基板１２の表面とバックライト２４との間に配置され、バックライト２４からの光を直接受けないように、底面側と側面側は遮光されている。したがって、指検出用光センサ３０は、ガラス基板１２の表面側からの光のみを検出する。

ガラス基板１２の表面側からの光は、外光４による成分と、バックライト光２５が指６に反射して戻ってくる成分とがある。外光４による成分は、図２に示すように、外光４により指６の影となる部分（Ａ）と、指先８がガラス基板１２に接触している部分（Ｂ）と、指６の影とならず、そのまま外光４がガラス基板１２に入射する部分（Ｃ）とで、指検出用光センサ３０が検出する明るさが異なってくる。また、バックライト光２５による成分も、図２に示すように、バックライト光２５により指６から反射してくる部分（Ａ）と、ガラス基板１２に接触している指先８から反射してくる部分（Ｂ）と、指６にさえぎられずにそのままバックライト光２５がガラス基板１２の外に向かって照射する部分（Ｃ）とで、指検出用光センサ３０が検出する明るさが異なってくる。

図３は、ガラス基板１２の表面に指６の先端の指先８が触れたときに、ガラス基板１２の裏側から見た明るさを模式的に示したもので、これはマトリクス状に配置された複数の指検出用光センサ３０の２次元的明るさ検出の結果に相当する。ここで、明るさを示すため、明るい側を白で、暗くなるに従い、斜線の密度を増してある。

図３（ａ）は、外光４がバックライト光２５に比べ圧倒的に明るい場合で、指６の部分は影の部分７０となって検出される。この影の部分７０は、図２の（Ａ）に対応する。そして、指先８の部分は、影の部分７０の中に含まれるが、ガラス基板１２に密着しているため、ガラス基板１２に密着していないその他の指の部分に比べ、バックライト光２５の反射が比較的多い。したがって、暗い影の中でも、明るい楕円部分８０として検出される。この明るい楕円部分８０は、図２の（Ｂ）に対応する。指の影にならない背景部分６０は、外光４が指検出用光センサ３０に到達するので、最も明るい。この明るい背景部分６０は、図２の（Ｃ）に対応する。

図３（ｂ）は、外光４が暗く、バックライト光２５が支配的な場合で、指６の部分からの反射は指形部分７２となって検出される。この指形部分７２の部分は、図２の（Ａ）に対応する。そして、指先８の部分は、指形部分７２の中に含まれるが、ガラス基板１２に密着しているため、ガラス基板１２に密着していないその他の指の部分に比べ、バックライト光２５の反射がさらに多い。したがって、指形部分７２の中でも、比較的明るい楕円部分８２として検出される。この比較的明るい楕円部分８２は、図２の（Ｂ）に対応する。指の影にならない背景部分６２は、バックライト光２５が指６に反射せず外部に照射されるので最も暗く、指検出用光センサ３０に到達する光がほとんどない。この暗い背景部分６２は、図２の（Ｃ）に対応する。

このように、外光４が支配的な場合には、背景部分６０が最も明るく、次に指先８に対応する楕円部分８０が明るく、指６の影の部分７０が最も暗い。一方、バックライト光２５が支配的な場合には、背景部分６２が最も暗く、次に指６に対応する指形部分７２が暗く、最後に指先８に対応する楕円部分８２が最も明るい。このように、外光４とバックライト光２５との相対的な明るさの相違により、指先８に対応する部分の明るさと、他の部分の明るさとの関係が、明るさ自体とともに、明るさの順序も、相対的に変化することがわかる。これに基づいて、タッチセンサ制御部４０は、外光の明るさに応じて、指先検出のための画像処理の方法を選択する。以下に、指先位置検出の手順についてフローチャート等を用いて説明する。

指先検出の方法は大別して２通りある。１つは、図３で説明したように、背景部分と、指６に対応する部分と、指先８に対応する部分と、明るさあるいは暗さが３段階あることに着目する方法である。図４は、その手順を示すフローチャートである。もう１つは、３段階の明るさの区別ではなく、２段階の明暗の区別を用いて、指先位置を特定しようとする方法で、図５、図７は、その手順を示すフローチャートである。

図４は、３段階の明るさ又は暗さに着目して、指先位置を特定する手順を示すフローチャートである。最初に、指６がガラス基板１２に接触したか否かを判断する（Ｓ１０）。この手順は、タッチセンサ制御部４０のタッチ検出モジュール４２の機能により実現される。指６は人体の一部であるので、その体温、血流等に基づいて特定の波長の赤外線が放射される。特定の波長の検出は、その波長に適合したフィルタをガラス基板１２に設け、あるいは、指検出用光センサ３０の波長特性をその特定の波長に合わせこむことで、指検出用光センサ３０により検出できる。あるいは、特別のセンサを設けてもよい。タッチ検出工程を設けることで、指６がガラス基板１２にタッチしてから以後の工程に進むようにでき、システム自体の無駄な処理をなくし、タッチセンサシステムの消費電力を抑制することができる。

次に、外光明るさを取得する（Ｓ１２）。これは、外光明るさ取得モジュール４４の機能により実現される。具体的には、入力部１４からユーザが入力する外光明るさの情報を取得し、あるいはユーザの入力を取得する代わりに外光センサ３４の出力を取得する。

そして、取得された外光明るさが閾値以上かどうか判断する（Ｓ１４）。閾値の大きさは、図３で説明した、外光４が支配的な場合と、バックライト光２５が支配的な場合とに区別するためのもので、バックライト光２５との関係で実験等に基づき予め定めることができる。閾値以上のときは、Ｓ１６−Ｓ１８−Ｓ２０の処理手順が選択され、閾値未満のときはＳ２２−Ｓ２４−Ｓ２６の手順が選択される。したがって、Ｓ１４の工程は、異なる処理手順の中から１つを選択することも含む選択工程でもある。この手順は、処理方法選択モジュール４６の機能により実行される。

Ｓ１６−Ｓ１８−Ｓ２０の処理手順は、外光４が支配的な場合の処理手順である。ここでは、光センサデータ取得モジュール４８の機能により、光センサセンシング部３２からマトリクス状に配置された各指検出光センサ３０のリーク電流等の検出データを取得し、これを明るさに換算し、さらにガラス基板１２の平面上の位置に対応付けて、２次元の明るさマップ等のデータに変換する。この２次元の明るさマップデータに基づいて、Ｓ１６以下の処理が行われる。

Ｓ１６では、外光による指の影を検出する。図３（ａ）に即して説明すれば、最も明るい背景部分６０と、最も暗い影の部分７０との区別を行う。そして次に、指の影の中で指先部分を検出する（Ｓ１８）。図３（ａ）に即して説明すれば、最も暗い影の部分７０と、比較的明るい楕円部分８０との区別を行う。このように、Ｓ１６−Ｓ１８において、明るい背景部分に囲まれた部分の中で暗さの異なる２つの部分を区別する。すなわち、３段階の明るさを区別して、楕円部分８０を検出する。そして、Ｓ２０において、この楕円部分８０を指先位置として特定する。指先位置の特定は、指先位置特定モジュール５０の機能により実行される。

Ｓ２２−Ｓ２４−Ｓ２６の処理手順は、バックライト光２５が支配的な場合の処理手順である。この処理は、上記のように光センサデータ取得モジュール４８及び指先位置特定モジュール５０の機能により実行される。ここで、Ｓ２２では、バックライト光による指からの反射を検出する。図３（ｂ）に即して説明すれば、最も暗い背景部分６２と、次に暗い指形部分７２との区別を行う。そして次に、指からの反射の中で指先部分を検出する（Ｓ２４）。図３（ｂ）に即して説明すれば、２番目に暗い指形部分７２と、最も明るい楕円部分８２との区別を行う。このように、Ｓ２２−Ｓ２４において、暗い背景に囲まれた部分の中で明るさの異なる２つの部分を区別する。すなわち、３段階の明るさを区別して、楕円部分８２を検出する。そして、Ｓ２６において、この楕円部分８２を指先位置として特定する。

明るさの差のある領域を区別するには、周知のエッジ検出法を用いることができる。エッジ検出法は、明るさについての閾値を定め、この閾値を超えるか否かで、明暗差を２値化し、全領域を走査して、２値の変化する境界であるエッジを検出し、これを接続して、明暗差の異なる領域を区別する領域線とするものである。したがって、周知の処理方法を用いることで、容易に明暗差のある領域を区別できる。

図５は、２段階の明暗差に着目して、指先位置を特定する手順を示すフローチャートである。工程Ｓ１０から工程Ｓ１４までは、図４で説明した内容と同じであるので詳細な説明を省略する。Ｓ１４で外光明るさが閾値以上かどうか判断し、閾値以上のときは、Ｓ３０−Ｓ３２の処理手順が選択され、閾値未満のときはＳ３４−Ｓ３６の手順が選択される。ここでも、Ｓ１４の工程は、異なる処理手順の中から１つを選択することも含む選択工程でもある。

Ｓ３０−Ｓ３２の処理手順は、外光４が支配的な場合の処理手順である。この処理手順も、上記のように、光センサデータ取得モジュール４８及び指先位置特定モジュール５０の機能により実行される。ここで、Ｓ３０では、外光によって最も明るい背景部分を無視し、残った部分の中の明るさを区別する。つまり、図３で説明したように、元々は３段階ある明暗の差を、最も明るい背景部分を無視することで、２段階の明暗の区別に絞り込む。その様子を図６（ａ）に示す。図６（ａ）は、図３（ａ）のうち、背景部分６０を無視し、最も暗い影の部分７０と、やや明るい楕円部分８０とを抜き出して図示したものである。このように、楕円部分８０を周囲から区別する。これによって、この楕円部分８０を指先位置として特定することができる（Ｓ３２）。

Ｓ３４−Ｓ３６の処理手順は、バックライト光２５が支配的な場合の処理手順である。この処理手順も、上記のように、光センサデータ取得モジュール４８及び指先位置特定モジュール５０の機能により実行される。ここで、Ｓ３４では、バックライト光２５が指６に妨げられず外部に向けて照射されて最も暗い背景部分を無視し、残った部分の中の明るさを区別する。ここでも、元々は３段階ある明暗の差を、最も暗い背景部分を無視することで、２段階の明暗の区別に絞り込む。その様子を図６（ｂ）に示す。図６（ｂ）は、図３（ｂ）のうち、背景部分６２を無視し、２番目に暗い指形部分７２と、最も明るい楕円部分８２とを抜き出して図示したものである。このように、楕円部分８２を周囲から区別する。これによって、この楕円部分８２を指先位置として特定することができる（Ｓ３６）。

図７は、２段階の明暗差に着目して指先位置を特定する別の方法についての手順を示すフローチャートである。工程Ｓ１０から工程Ｓ１４までは、図４で説明した内容と同じであるので詳細な説明を省略する。Ｓ１４で外光明るさが閾値以上かどうか判断し、閾値以上のときは、Ｓ４０−Ｓ４２の処理手順が選択され、閾値未満のときはＳ４４−Ｓ４６の手順が選択される。ここでも、Ｓ１４の工程は、異なる処理手順の中から１つを選択することも含む選択工程でもある。

Ｓ４０−Ｓ４２の処理手順は、外光４が支配的な場合の処理手順である。Ｓ４０では、外光によって最も明るい部分と最も暗い部分とを区別する。すなわち、２番目の明るさの部分を無視する。これによって、図３で説明したように、元々は３段階ある明暗の差を、中間の明るさの部分を無視することで、２段階の明暗の区別に絞り込む。その様子を図８（ａ）に示す。図８（ａ）は、図３（ａ）のうち、中間的に明るい楕円部分８０を無視し、最も明るい背景部分６０と、最も暗い影の部分７０とを抜き出して図示したものである。このとき、最も暗い影の部分７０において、背景部分６０とも影の部分７０とも異なる明るさの部分が、最も暗い影の部分７０の輪郭線として検出される。すなわち、もっとも暗い影の部分７０の先端部分に、楕円部分８０が抜け落ちて認識される。この最も暗い影の部分７０の内部の境界線で囲まれた部分を、指先位置として特定することができる（Ｓ４２）。

Ｓ４４−Ｓ４６の処理手順は、バックライト光２５が支配的な場合の処理手順である。Ｓ４４では、最も明るい楕円部分８２を無視し、残った部分の中の明るさを区別する。ここでも、元々は３段階ある明暗の差を、最も明るい楕円部分を無視することで、２段階の明暗の区別に絞り込む。その様子を図８（ｂ）に示す。図８（ｂ）は、図３（ａ）のうち、最も明るい楕円部分８２を無視し、最も暗い背景部分６２と、次に暗い指形部分７２とを抜き出して図示したものである。このとき、次に暗い指形部分７２において、背景部分６２とも指形部分７２とも異なる明るさの部分が、指形部分７２の輪郭線として検出される。すなわち、指形部分７２の先端部分に、楕円部分８２が抜け落ちて認識される。この指形部分７２の内部の境界線で囲まれた部分を、指先位置として特定することができる（Ｓ４６）。

このように、ガラス基板に入射する外光の明るさに応じて、指先検出のための処理手順を選択することで、外光が明るくても暗くても、指先位置の検出ができる。

本発明に係る実施の形態のタッチセンサシステムを内蔵する液晶表示パネル装置の構成を示す図である。 本発明に係る実施の形態において、ガラス基板の表面に指の先端の指先が触れたときの様子を示す図である。 本発明に係る実施の形態において、ガラス基板の表面に指の先端の指先が触れたときに、ガラス基板の裏側から見た明るさを模式的に示した図である。 本発明に係る実施の形態において、指先位置検出の手順についてのフローチャートである。 他の実施形態における指先位置検出の手順についてのフローチャートである。 図５における手順を説明する図である。 他の実施形態における指先位置検出の手順についてのフローチャートである。 図７における手順を説明する図である。

符号の説明

４ 外光、６ 指、８ 指先、１０ 液晶表示パネル装置、１２ ガラス基板、１４ 入力部、１６ パネル制御部、１８ ゲート駆動部、２０ データ駆動部、２２ 画素デバイス、２４ バックライト、２５ バックライト光、２６ バックライト駆動部、３０ 指検出用光センサ、３２ 光センサセンシング部、３４ 外光センサ、４０ タッチセンサ制御部、４２ タッチ検出モジュール、４４ 外光明るさ取得モジュール、４６ 処理方法選択モジュール、４８ 光センサデータ取得モジュール、５０ 指先位置特定モジュール、６０，６２ 背景部分、７０ 影の部分、７２ 指形部分、８０，８２ 楕円部分。

Claims (9)

1. パネルにタッチした指先の位置を検出するタッチセンサシステムにおいて、
   前記パネル内にマトリクス状に複数配置される指検出用光センサと、
   前記複数の指検出用光センサの検出信号を画像処理して、前記パネルにタッチした指先の位置を特定する画像処理部と、
   を備え、
   前記画像処理部は、前記パネルに入射する外光の明るさに応じて、指先検出のための画像処理方法を選択する選択手段を有することを特徴とするタッチセンサシステム。
2. 請求項１に記載のタッチセンサシステムにおいて、
   前記選択手段は、
   前記外光の明るさがバックライト光の明るさに比較して明るく、前記外光による指の影を前記指検出用光センサが検出することができる第１の場合と、前記バックライト光の明るさが前記外光の明るさに比較して明るく、前記バックライト光を受けて指から反射する光を前記指検出用光センサが検出することができる第２の場合と、に応じて、前記指先検出のための画像処理方法を選択することを特徴とするタッチセンサシステム。
3. 請求項２に記載のタッチセンサシステムにおいて、
   前記画像処理部は、
   前記第１の場合に、前記外光による前記指の影の中で、前記パネルにタッチしている指先部分と、タッチしていない指の部分との間で、前記バックライト光を受けて反射する光の強さが異なることに基づいて、前記指先の位置を特定することを特徴とするタッチセンサシステム。
4. 請求項２に記載のタッチセンサシステムにおいて、
   前記画像処理部は、
   前記第２の場合に、前記バックライト光を受けて反射する光の強さが、前記パネルにタッチしている指先部分と、タッチしていない指の部分との間で異なることに基づいて、前記指先の位置を特定することを特徴とするタッチセンサシステム。
5. 請求項２に記載のタッチセンサシステムにおいて、
   前記画像処理部は、
   前記第１の場合に、前記指検出用光センサが最も明るい部分として検出する領域と、最も暗い部分として検出する領域とを区別し、その区別に基づいて、前記指先の位置を特定することを特徴とするタッチセンサシステム。
6. 請求項２に記載のタッチセンサシステムにおいて、
   前記画像処理部は、
   前記第２の場合に、前記指検出用光センサが最も暗い部分として検出する領域と、次に暗い部分として検出する領域とを区別し、その区別に基づいて、前記指先の位置を特定することを特徴とするタッチセンサシステム。
7. 請求項５又は請求項６に記載のタッチセンサシステムにおいて、
   前記画像処理部は、エッジ検出法によって明るさの異なる領域を区別することを特徴とするタッチセンサシステム。
8. 請求項１に記載のタッチセンサシステムにおいて、さらに、
   指先から放射される特定波長の光を検知して、指が前記パネルにタッチしたことを検出することを特徴とするタッチセンサシステム。
9. 請求項１に記載のタッチセンサシステムにおいて、さらに、
   前記外光の強さを検出する外光センサを備えることを特徴とするタッチセンサシステム。

Images