JP2009048335A - 液晶表示装置 - Google Patents

Abstract

【課題】光学式タッチセンサのタッチ位置認識精度を向上させた液晶表示装置を得る。
【解決手段】複数のドット電極に隣接するように透明基板に設けられた複数のセンサと、各ドット電極を個別に駆動するゲート線およびソース線と、各センサからのセンサ出力信号を読み出すセンサ出力線と、ゲート線およびソース線への印加電圧を制御して各ドット電極を駆動する表示駆動制御部と、センサ出力信号に基づいて透明基板上のタッチ位置を認識するタッチ位置認識部２２とを備え、タッチ位置認識部２２は、センサ出力信号に基づく画像の分布密度を検出する分布密度検出部３１と、分布密度の分布領域を検出する分布領域検出部３２と、透明基板に対するタッチ状態を検出するタッチ状態検出部３３と、分布領域検出部３２およびタッチ状態検出部３３の検出結果に基づいて操作決定位置を認識する操作決定位置認識部３４とを含む。
【選択図】図３

Description

この発明は、カーナビゲーションシステムなどに用いられる光学式タッチセンサ機能付きの液晶表示装置に関し、特に操作者の指のタッチ位置（接触位置）の認識精度を向上させた液晶表示装置に関するものである。

光学式タッチセンサ機能付きの液晶表示装置は、透明基板上の各画素に対応して設けられた複数のフォトセンサを有しており、カーナビゲーションシステムなどへの適用を目指している（たとえば、特許文献１参照）。
図７はカーナビゲーションシステムに適用される一般的な光学式タッチセンサ機能付き液晶表示装置１０Ａを示す外観図であり、液晶表示装置１０Ａは、表示駆動制御部およびセンサ出力信号の処理部など（図示せず）を有している。

図７において、液晶表示装置１０Ａの画面上にユーザの指を配置させると、周囲光の遮断または表示光の反射により、タッチ位置のフォトセンサ（図示せず）の出力レベルが変動するので、センサ出力信号が変動する領域に基づいてタッチ位置を認識することができる。

しかしながら、周知のように、液晶表示装置１０Ａにおける光学式タッチセンサとしての認識性能はあまり高くないので、位置座標や接触認識でのエラーが発生し易い。
たとえば、ノイズなどの影響による輝度変化を、操作者のタッチによる輝度変化として誤認識する可能性がある。

特開２０００−１７２４４４号公報

従来の液晶表示装置では、ノイズなどの影響による輝度変化と操作者のタッチによる輝度変化とを高い信頼性で区別することができないので、操作者によるタッチ状態を正確に認識することが困難となり、タッチセンサとしての認識精度が低下するという課題があった。

この発明は、上記のような課題を解決するためになされたものであり、センサ出力信号に基づく画像の分布密度から分布領域を判別することにより、タッチ位置の認識精度を向上させた液晶表示装置を得ることを目的とする。

この発明による液晶表示装置は、光学式タッチセンサ機能を有する液晶表示装置であって、表示画素に対応した複数のドット電極を有する透明基板と、複数のドット電極の少なくとも１つに隣接するように透明基板に設けられた複数のフォトセンサと、複数のドット電極を個別に駆動するためのゲート線およびソース線と、複数のフォトセンサからのセンサ出力信号を読み出すためのセンサ出力線と、ゲート線およびソース線への印加電圧を制御して複数のドット電極を駆動する表示駆動制御手段と、複数のフォトセンサからのセンサ出力信号に基づいて透明基板上のタッチ位置を認識するタッチ位置認識手段とを備えた液晶表示装置において、タッチ位置認識手段は、センサ出力信号に基づく画像の分布密度を検出する分布密度検出手段と、分布密度に基づく分布領域を検出する分布領域検出手段と、透明基板に対するタッチ状態を検出するタッチ状態検出手段と、分布領域検出手段の検出結果およびタッチ認識手段の認識結果に基づいて操作決定位置を認識する操作決定位置認識手段とを含むものである。

この発明によれば、操作者の指（または、スタイラスペン）によるタッチ位置をセンサ出力信号の画像の分布領域に基づいて認識するので、誤認識を回避してタッチ位置の認識信頼性を向上させることができる。

実施の形態１．
以下、図面を参照しながら、この発明の実施の形態１について説明する。
図１はこの発明の実施の形態１に係る光学式タッチセンサ機能付き液晶表示装置を制御装置とともに示す側断面図である。
また、図２は図１内の透明基板部（ガラス基板部）の構成を示す平面図であり、信号線と関連した具体的な電極構成を拡大して模式的に示している。

図１において、光学式タッチセンサ機能を有する液晶表示装置１０は、液晶が介在された表示パネルを構成する２枚の透明基板１１と、透明基板１１の背面側から光（破線矢印参照）を照射するバックライト１２と、２枚の透明基板１１の間に介在された複数のフォトセンサ（以下、単に「センサ」という）１３と、表示駆動制御部２１およびタッチ位置認識部２２を有する制御装置２０とを備えている。

図示したように、光学式タッチセンサ機能付き液晶表示装置１０の表示パネル上に、操作者が指３０を配置させると、タッチ位置に対応した領域において、センサ１３に入射される周囲光（２点鎖線矢印参照）が遮断されるか、または、バックライト１２からの光（破線矢印参照）が反射してセンサ１３に入射される。

これにより、タッチ位置に対応した領域のセンサ出力信号のレベルが、他のセンサ出力信号のレベルと比べて著しく変動し、このセンサ出力信号のレベル変動は、制御装置２０内のタッチ位置認識部２２に入力される。

図２において、透明基板１１は、Ｂ（青）、Ｒ（赤）、Ｇ（緑）の各表示画素に対応した複数のドット電極１４（１４ｂ、１４ｒ、１４ｇ）を有する。各ドット電極１４は、表示画面のライン（図中右）方向に順次的に配列されている。
また、複数のセンサ１３は、透明基板１１において、複数のドット電極１４（の少なくとも１つ）に隣接するように、１つずつ個別に設けられている。

複数のドット電極１４には、各ドット電極を個別に駆動するための信号線として、ラインごとのゲート線Ｇｎ＋１、Ｇｎ＋２、・・・と、各ゲート線Ｇｎ＋１、Ｇｎ＋２、・・・に直交配置されたＢソース線Ｓｂ、Ｒソース線ＳｒおよびＧソース線Ｓｇとが接続されている。
各センサ１３には、各センサ１３からのセンサ出力信号を読み出すためのセンサ出力線ＲＯが接続されている。

ゲート線Ｇｎ＋１、Ｇｎ＋２、・・・およびソース線Ｓｂ、Ｓｒ、Ｓｇは、表示データに応じて、制御装置２０内の表示駆動制御部２１により駆動制御される。
表示駆動制御部２１は、ゲート線Ｇｎ＋１、Ｇｎ＋２、・・・およびソース線Ｓｂ、Ｓｒ、Ｓｇへの印加電圧を制御して、複数のドット電極１４を駆動する。

センサ出力線ＲＯは、制御装置２０内のタッチ位置認識部２２に入力される。
タッチ位置認識部２２は、複数のセンサ１３からのセンサ出力信号に基づいて、たとえばセンサ出力信号の変動量が閾値以上を示す領域を抽出することにより、透明基板１１上のタッチ位置を認識する。

図３はタッチ位置認識部２２の具体的構成を示す機能ブロック図である。
図３において、タッチ位置認識部２２は、分布密度検出部３１と、分布領域検出部３２と、タッチ状態検出部３３と、操作決定位置認識部３３とを備えている。

分布密度検出部３１は、入力画像に基づいて、センサ出力信号に基づく画像の分布密度を検出する。分布領域検出部３２は、分布密度に基づく分布領域を検出する。タッチ状態検出部３３は、分布領域が所定の大きさを有する場合に、透明基板１１に対するタッチ状態（指の接近状態を含む）を検出する。
操作決定位置認識部３４は、分布領域検出部３２の検出結果およびタッチ認識部３３の認識結果に基づいて操作決定位置を認識する。

具体的には、タッチ状態検出部３３は、分布領域の直径が０．８ｍｍ〜１５ｍｍの範囲内の値を示す場合に、タッチ位置を認識する。
また、操作決定位置認識部３４は、分布領域が所定の大きさを有しかつ所定領域内に存在する状態が、所定時間以上持続した時点で、分布領域の重心位置を操作決定位置と認識する。

図４はこの発明の実施の形態１による画像処理状態の一例を示す説明図であり、操作者の指タッチ無し（ａ）の場合と、操作者の指タッチ有り（ｂ）の場合とにおける各処理画面を示している。
図４において、光学式タッチセンサ出力信号に基づく「指タッチ状態」の認識手法は、以下の通りである。

まず、タッチ状態検出部３３は、光学式タッチセンサで検出された入力画像の密度および大きさが所定量の場合に、透明基板１１に対する指３０（または、スタイラスペン）のタッチ（接近）状態であると認識する。すなわち、指タッチ無し（ａ）の通常画像では、検出ウインドウＷ内の所定サイズ以下のノイズ領域Ｎを「指タッチ」と誤認識することはなく、指タッチ有り（ｂ）の画像では、所定の大きさの分布領域Ｔを、操作者の指３０による「タッチ状態」と認識する。

また、操作決定位置認識部３４は、所定領域に所定時間以上継続して検出された分布領域を操作決定位置と認識する。
すなわち、指３０の画像（分布領域Ｔ）が所定以上の大きさを有し（指３０が透明基板１１に接触し）、かつ所定領域内で数秒間継続（操作者の意図する選択位置で静止）した場合に、分布領域の重心位置を最終的なタッチ位置（操作決定位置）と認識する。
これにより、センサ出力信号に基づいて指タッチを正確に認識することができる。

次に、図５のフローチャートを参照しながら、この発明の実施の形態１によるタッチ位置認識部２２の処理動作について説明する。
図５において、タッチ位置認識部２２は、センサ出力信号に基づく入力画像に対して、ステップＳ１１〜Ｓ１６からなる画像補正処理（ステップＳ１０）を施した後に、ステップＳ２１〜Ｓ２５からなる画像解析処理（ステップＳ２０）を実行する。

まず、画像補正処理（ステップＳ１０）において、入力画像に対して正規化（ステップＳ１１）を行い、その後の処理を安定化させる。
具体的には、取り込まれた入力画像の１画面の平均値を中心値に設定する。以下、正規化された値となる。

続いて、画像切り替えを確認し（ステップＳ１２）、補正（ステップＳ１３）を行う。
ステップＳ１２において、画像が切り替わったことを確認できた場合には、ステップＳ１３において、時間変化しないノイズ成分を取り除く。

次に、解析に悪影響を与える要素を取り除いて解析精度を向上させるために、ノイズ除去処理（ステップＳ１４、Ｓ１５）が施される。
ノイズ除去処理においては、たとえば、時間軸方向での平均を利用した処理（ステップＳ１４）と、１画面内でのメディアンフィルタ処理（ステップＳ１５）とが併用される。

ステップＳ１５のメディアンフィルタとは、画像処理で一般的に使用されるノイズ除去フィルタであり、輝度を小さい順に並び替えたときの中央値をそのピクセルの輝度とすることにより、特にゴマ塩状ノイズ（ｓａｌｔ ａｎｄ ｐｅｐｐｅｒ ｎｏｉｓｅ）を効果的に取り除くことができ、かつ画像がぼけないという特性を有する。

こうして画像補正処理（ステップＳ１０）が終了すると、次に、タッチ位置認識部２２は、画像解析処理（ステップＳ２０）において、指３０の位置を算出するとともに、実際にタッチ（操作決定）したか否かを判定する。具体的には、閾値から指と背景とを分け、指の加重平均（重み付き平均）から指３０の位置を求める。

まず、分布密度検出部３１は、輝度のヒストグラムから、指と背景とを分ける閾値を求め（ステップＳ２１）、指の部分の分布密度を求める（ステップＳ２２）。
続いて、分布領域検出部３２は、分布密度に基づく分布領域を求めるとともに、加重平均を求める際の重みを加味した重心を求める（ステップＳ２３）。
図６は分布密度に基づく分布領域の一例を示す説明図である。図６においては、太線内を影としており、影の外周部の値「１」よりも影の中心部分ほど大きな値「３」が得られる状態を示している。

次に、タッチ状態検出部３３は、分布領域の直径が０．８ｍｍ〜１５ｍｍの範囲内の値であれば、操作者の指３０のタッチ状態（接近状態を含む）であることを検出する（ステップＳ２４）。
具体的には、分布領域の直径が１０ｍｍ〜２０ｍｍの範囲内の値であれば、操作者の指３０のタッチ状態であることを検出し、０．５ｍｍ〜１ｍｍの範囲内の値であれば、操作者が持つスタイラスペン（図示せず）のタッチ状態（接近状態）であることを検出する。

最後に、操作決定位置認識部３４は、センサ出力信号に基づく画像の分布密度から分布領域を判別し、分布領域が所定の大きさを有しかつ所定範囲内に存在する状態が、所定時間以上持続した（変化しない）時点で、分布領域の重心位置（タッチ位置）を操作決定位置として認識し（ステップＳ２５）、図５の処理ルーチンを終了する。

以上のように、この発明の実施の形態１に係る光学式タッチセンサ機能を有する液晶表示装置１０は、表示画素に対応した複数のドット電極１４を有する透明基板１１と、複数のドット電極１４の少なくとも１つに隣接するように透明基板１１に設けられた複数のセンサ１３と、複数のドット電極１４を個別に駆動するためのゲート線Ｇｎ＋１、Ｇｎ＋２、・・・およびソース線Ｓｂ、Ｓｒ、Ｓｇと、複数のセンサ１３からのセンサ出力信号を読み出すためのセンサ出力線ＲＯと、ゲート線およびソース線への印加電圧を制御して複数のドット電極１４を駆動する表示駆動制御部２１と、複数のセンサ１３からのセンサ出力信号に基づいて透明基板１１上のタッチ位置を認識するタッチ位置認識部２２とを備えている。

また、タッチ位置認識部２２は、センサ出力信号に基づく画像の分布密度を検出する分布密度検出部３１と、分布密度に基づく分布領域を検出する分布領域検出部３２と、分布領域が所定の大きさを有する場合に、透明基板１１に対するタッチ状態を検出するタッチ状態検出部３３と、分布領域検出部３２およびタッチ状態検出部３３の検出結果に基づいて操作決定位置を認識する操作決定位置認識部３４とを備えている。

また、タッチ状態検出部３３は、分布領域の直径が０．８ｍｍ〜１５ｍｍの範囲内の値を示す場合に、タッチ状態を検出する。
さらに、操作決定位置認識部３４は、分布領域が所定の大きさを有しかつ所定領域内に存在する状態が、所定時間以上持続した時点で、分布領域の重心位置を操作決定位置と認識する。

このように、光学式タッチセンサを内蔵した液晶表示装置１０において、操作者の指３０（または、スタイラスペン）が液晶表示装置１０のパネルに近づくと、センサ出力信号に基づく画像（分布領域）が大きくなることに着目して、ノイズ画像をタッチ操作時の影画像と誤認識することを回避することにより、操作者によるタッチ状態を確実に認識することができ、タッチセンサとしての認識信頼性を向上させることができる。

実施の形態２．
なお、上記実施の形態１では、分布領域が所定の大きさを有する場合にタッチ状態を検出したが、表示フレームの前後におけるセンサ出力信号に基づく画像の変化からタッチ状態を検出してもよい。
この場合も、図４の指タッチ無し（ａ）の通常画像から、指タッチ有り（ｂ）の分布領域画像へと変化があった場合に、透明基板１１に対するタッチ状態を検出することができる。

すなわち、タッチ状態検出部３３は、分布領域検出部３２の検出結果に基づいて、表示フレーム前後のセンサ出力信号に基づく画像の変化を検出した場合にタッチ状態を検出し、これに応答して、操作決定位置認識部３４は、前述と同様に、操作決定位置を認識することができる。

また、タッチ状態検出部３３は、１つの表示フレームのみの前後ではなく、複数の表示フレーム前後のセンサ出力信号に基づく画像の変化を検出した場合に、タッチ状態を検出してもよい。
これにより、１つの表示フレームに重畳したノイズをタッチ位置と誤検出することを回避することができる。

この発明の実施の形態１に係る液晶表示装置を御装置とともに示す側断面図である。 図１内の透明基板部の具体的構成を模式的に示す平面図である。 図１内のタッチ位置認識部２２の具体的構成を示す機能ブロック図である。 この発明の実施の形態１によるタッチ操作前後における画像処理状態を示す説明図である。 この発明の実施の形態１によるタッチ位置認識部の動作を示すフローチャートである。 この発明の実施の形態１による分布領域の一例を示す説明図である。 一般的な光学式タッチセンサ機能付き液晶表示装置を示す外観図である。

符号の説明

１０ 液晶表示装置、１１ 透明基板、１２ バックライト、１３ センサ（フォトセンサ）、１４、１４ｂ、１４ｒ、１４ｇ ドット電極、２０ 制御装置、２１ 表示駆動制御部、２２ タッチ位置認識部、３０ 操作者の指、３１ 分布密度検出部、３２ 分布領域検出部、３３ タッチ状態検出部、３４ 操作決定位置認識部、Ｇｎ＋１、Ｇｎ＋２、・・・ ゲート線、Ｓｂ、Ｓｒ、Ｓｇ ソース線、ＲＯ センサ出力線。

Claims (5)

1. 光学式タッチセンサ機能を有する液晶表示装置であって、
   表示画素に対応した複数のドット電極を有する透明基板と、
   前記複数のドット電極の少なくとも１つに隣接するように前記透明基板に設けられた複数のフォトセンサと、
   前記複数のドット電極を個別に駆動するためのゲート線およびソース線と、
   前記複数のフォトセンサからのセンサ出力信号を読み出すためのセンサ出力線と、
   前記ゲート線および前記ソース線への印加電圧を制御して前記複数のドット電極を駆動する表示駆動制御手段と、
   前記複数のフォトセンサからのセンサ出力信号に基づいて前記透明基板上のタッチ位置を認識するタッチ位置認識手段と
   を備えた液晶表示装置において、
   前記タッチ位置認識手段は、
   前記センサ出力信号に基づく画像の分布密度を検出する分布密度検出手段と、
   前記分布密度に基づく分布領域を検出する分布領域検出手段と、
   前記透明基板に対するタッチ状態を検出するタッチ状態検出手段と、
   前記分布領域検出手段および前記タッチ状態検出手段の検出結果に基づいて操作決定位置を認識する操作決定位置認識手段と
   を含むことを特徴とする液晶表示装置。
2. 前記タッチ状態検出手段は、前記分布領域の直径が０．８ｍｍ〜１５ｍｍの範囲内の値を示す場合に、前記タッチ状態を検出することを特徴とする請求項１に記載の液晶表示装置。
3. 前記操作決定位置認識手段は、前記分布領域が所定の大きさを有しかつ所定領域内に存在する状態が、所定時間以上持続した時点で、前記分布領域の重心位置を操作決定位置と認識することを特徴とする請求項１または請求項２に記載の液晶表示装置。
4. 前記タッチ状態検出手段は、表示フレームの切り替え前後における前記センサ出力信号の所定量以上の輝度変化を検出した場合に前記タッチ状態を検出することを特徴とする請求項１に記載の液晶表示装置。
5. 前記タッチ状態検出手段は、複数の表示フレームの前後において前記センサ出力信号の輝度変化を検出することを特徴とする請求項４に記載の液晶表示装置。

Images