JP2008140021A - 表示装置 - Google Patents

Abstract

【課題】光学式タッチパネル機能を備えた表示装置において、接触判定の精度を向上させるとともに、回路規模の増大を抑制する。
【解決手段】画素部３に表示された表示画像に応じて撮像画像のうち座標計算・接触判定を行わない領域を撮像画像の階調のメジアン値で塗りつぶす。これにより、表示画像による影響を抑制することができるので、撮像画像に基づく接触座標の検出をより正確に行うことが可能となる。また、各種信号処理に際して、処理を行う撮像画像のサイズが変化しないため、撮像画像に応じて信号処理手順を変えなくてもよいので、各種信号処理回路の回路規模の増大を抑制することができる。
【選択図】図１

Description

本発明は、画像取り込み機能を備えた表示装置に関する。

液晶表示装置は、携帯電話やノート型コンピュータなどの携帯機器における表示装置として幅広く利用されている。近年、画素内に光センサを内蔵し、光により表示画面から情報の入力を可能にしたものが開発されている（特許文献１参照）。

画像取り込み機能を備えた表示装置の用途として、環境光によってできる指の影やバックライト光の指での反射光を検出することにより、指の位置や接触を検知する光学式タッチパネルが提案されている。
特開２００５−３２７１０６号公報

以下、撮像画像に基づいて行われる指の接触判定について説明する。図５は、光学式タッチパネル機能を備えた表示装置の表示画像を示す図である。同図に示す表示画像は、下部にボタン・アイコン５２を表示し、上部に画像５１を表示した画像であり、ボタン・アイコン５２が表示されている下部において指５３などと表示画面との接触判定を行うものである。

バックライトにより放射された光は、液晶層、偏光板等を通過して表示画面に画像を表示するが、一部の光は、偏光板などの界面や液晶パネルの表面に配置された保護アクリル板などにより反射し、光センサに入射する。そのため、得られる撮像画像は、図６に示す撮像画像のように、表示画像が映り込む場合がある。

光学式タッチパネルは、例えば、撮像画像から指の影を読み取ることで座標認識や接触判定を行うので、撮像画像に表示画像の濃淡が映り込んだ場合には、本来の指の位置から外れた位置を座標として認識し、誤入力が起こる可能性がある。

そこで、図７に示すように、図６に示した撮像画像から接触判定が必要なボタン・アイコンに対応する領域を切り取ることで表示画像の影響を抑制する方法が考えられる。以下、図を用いて座標計算および接触判定の処理を説明する。

図８は、接触判定をする領域を切り取る場合の処理を示すフローチャートである。液晶パネルで撮像された撮像画像は、切り取り座標情報に基づいてトリミング（切り取り）され、面積階調、間引き処理が行われる。トリミングされた画像にエッジ処理、差分処理などの各種信号処理を施して、撮像された物体の座標の検出および接触判定が行われる。

しかしながら、撮像画像を切り取る領域は、表示画像によって変化し、一定の範囲と定めることはできないので、各種信号処理ごとに切り取り座標情報を入力する必要がある。さらに、切り取った領域のピクセル数に応じて信号処理手順を変えなければならないため、その処理を実現する回路規模が増大し、ＩＣ面積が増加する原因となる。

本発明は、上記に鑑みてなされたものであり、その課題とするところは、光学式タッチパネル機能を備えた表示装置において、接触判定の精度を向上させるとともに、画像処理回路の回路規模の増大を抑制することにある。

本発明に係る表示装置は、画像を表示画面に表示する表示手段と、表示画面に近接した物体を撮像する光入力手段と、表示画面に表示される画像に応じて、光入力手段が撮像した撮像画像の一部を所定の階調値に置き換える画像処理手段と、を有することを特徴とする。

本発明にあっては、画像を表示する表示画面に近接した物体の画像を撮像する表示装置において、表示画面に表示される表示画像に応じて、光入力手段が撮像した撮像画像のうち表示画面に近接した物体の座標計算や接触判定を行わない領域を所定の階調値に置き換えることにより、表示画像の映り込みの影響を抑制することができるので、撮像画像に基づく座標計算や接触判定をより正確に行うことが可能となる。また、座標計算や接触判定などの画像処理に際して、画像処理を行う撮像画像の領域が変化しないので、撮像画像に応じて信号処理手順を変えなくてもよくなり、画像処理回路の回路規模の増大を抑制することができる。

ここで、階調値は撮像画像の階調のメジアン値であることが、各種画像処理に際して、撮像画像の一部を所定の階調値に置き換えた影響を抑えるうえで望ましい。

本発明によれば、光学式タッチパネル機能を備えた表示装置において、接触判定の精度を向上させるとともに、画像処理回路の回路規模の増大を抑制することができる。

以下、本発明の実施の形態について図面を用いて説明する。

図１は、本実施の形態における表示装置の構成を示すブロック図である。同図に示す表示装置は、ガラス基板１と半導体基板２で構成されており、ガラス基板１上には、画素部３、信号線駆動回路４、走査線駆動回路５および検出回路６を備え、半導体基板２には、表示制御および画像取り込み制御を行うロジックＩＣ７が実装されている。ガラス基板１と半導体基板２は、例えば、ＦＰＣ（Flexible Printed Circuit）を介して接続されており、各種信号の送受信が行われる。なお、ガラス基板１上の各回路は、例えば、ポリシリコンＴＦＴ（Thin Film Transistor）によって形成される。

図２は、画素部３の回路の構成を示す模式図である。画素部３には、複数の走査線１０と信号線１１がマトリックス状に配線されている。走査線１０と信号線１１の交点に、画素ＴＦＴ９が配置され、画素ＴＦＴ９に、液晶容量Ｃ１および補助容量Ｃ２が接続されて１つの画素を構成している。液晶容量Ｃ１および補助容量Ｃ２の他方の端子は補助容量線１３に接続されている。信号線１１には、映像信号が印加される。映像信号は、信号線駆動回路４の有するデジタルアナログ変換回路により、ロジックＩＣ７から送信されたデジタル画像データを表示素子の駆動に適したアナログ電圧に変換したものである。走査線駆動回路５により、走査信号を走査線１０に印加することにより、画素ＴＦＴ９がオンして信号線１１に印加された映像信号が液晶容量Ｃ１および補助容量Ｃ２に書き込まれる。

また、各画素には画像を取り込むための光センサ部８が形成されている。光センサ部８は、検出した受光量に応じた大きさの電気信号をデータ線１２を介して出力する。光センサ部８は、入射光を受光して電気信号に変換する光センサと、受光量に応じた電荷を蓄積するセンサ容量と、センサ容量に蓄積された電荷に応じた信号をデータ線１２に出力するか否かを制御するスイッチング素子などで構成され、光センサにはフォトダイオードなどが用いられる。なお、画素は赤、緑、青などの各色で構成され、光センサ部８は、すべての画素に形成しなくてもよく、例えば、３つの画素に対して１つの光センサ部８を形成してもよい。また、映像信号と受光量に応じた電気信号の流れるタイミングを制御することにより、信号線１１をデータ線１２として用いることも可能である。

検出回路６は、光センサ部８の露光時間及びプリチャージ時間を制御するとともに、光センサ部８における受光量に応じた大きさの電気信号を受信し、その電気信号の大きさをアナログデジタル変換回路で階調値に変換することで撮像画像を得る。

ロジックＩＣ７は、表示制御および撮像制御を行い、検出回路６から受信した撮像画像に基づいて撮像された物体の座標計算・接触判定などの処理を行う。座標計算・接触判定を行う際には、図３に示すように、符号３１で示す接触判定が不要な領域を撮像画像の階調のメジアン値で塗りつぶす。これにより、撮像画像に表示画像が映り込む場合でも、表示画像による影響を抑制することが可能となる。以下、図を用いて座標計算・接触判定の処理について説明する。

図４は、座標計算・接触判定の処理の流れを示すフローチャートである。画素部３において撮像された撮像画像は、図３の符号３２に示す座標計算・接触判定を行う領域のみを残して符号３１に示す領域を撮像画像の階調のメジアン値で塗りつぶされ、面積階調、間引き処理が行われる。塗りつぶす処理を行うときには、塗りつぶさない領域を示す切り取り座標情報が入力される。

続いて、塗りつぶされた領域を含む撮像画像に対して、エッジ処理、差分処理などの各種信号処理が施される。符号３１で示す領域を所定の階調値で塗りつぶすことにより、表示画像の影響が抑制されるので、符号３２で示す部分のみを処理するのではなく、塗りつぶした領域を含む画像全体について各種信号処理を行う。これにより、座標計算・接触判定が必要な領域が変化しても、処理を行う撮像画像の縦横ピクセル数は変化しないため、切り取り座標情報を入力する必要がなくなる。ピクセル数に応じて信号処理手順を変えなくてもよいので、各種信号処理回路の回路規模の増大を抑制することができる。

また、符号３１で示す領域を撮像画像の階調のメジアン値で塗りつぶすことにより、撮像画像の階調値が小さい方や大きい方へ偏った場合でも、信号処理の影響を抑えることができる。メジアン値の替わりに平均値を用いてもよい。

なお、接触判定を行う範囲の指定については、図３に示すような画面の下部領域のような指定に限られないことは言うまでもなく、例えば、画面全領域よりも小さい四角い領域の内側を指定したり、逆にその四角い領域の外側の領域を指定して、いわゆる額縁状の領域を指定するようにしてアイコン選択、拡大・縮小、ページング等の操作手段を考慮した指定を行うようにしてもよい。

したがって、本実施の形態によれば、画素部３に表示された表示画像に応じて撮像画像のうち座標計算・接触判定を行わない領域を撮像画像の階調のメジアン値で塗りつぶすことにより、表示画像による影響を抑制することができるので、撮像画像に基づく接触座標の検出をより正確に行うことが可能となる。また、各種信号処理に際して、処理を行う撮像画像のサイズが変化しないため、撮像画像に応じて信号処理手順を変えなくてもよいので、各種信号処理回路の回路規模の増大を抑制することができる。

一実施の形態における表示装置の構成を示すブロック図である。 上記表示装置の画素部の構成を示す模式図である。 上記表示装置において撮像画像の一部を塗りつぶした状態を示す図である。 上記表示装置における座標計算・接触判定の処理の流れを示すフローチャートである。 表示画像と撮像対象の様子を示す平面図である。 近接した物体の撮像画像を示す図である。 従来の表示装置において撮像画像の接触判定を行う領域を切り取った様子を示す図である。 従来の表示装置における座標計算・接触判定の処理の流れを示すフローチャートである。

符号の説明

Ｃ１…液晶容量
Ｃ２…補助容量
１…ガラス基板
２…半導体基板
３…画素部
４…信号線駆動回路
５…走査線駆動回路
６…検出回路
７…ＩＣ
８…光センサ部
９…画素ＴＦＴ
１０…走査線
１１…信号線
１２…データ線
１３…補助容量線

Claims (2)

1. 画像を表示画面に表示する表示手段と、
   前記表示画面に近接した物体を撮像する光入力手段と、
   前記表示画面に表示される画像に応じて、前記光入力手段が撮像した撮像画像の一部を所定の階調値に置き換える画像処理手段と、
   を有することを特徴とする表示装置。
2. 前記階調値は撮像画像の階調のメジアン値であることを特徴とする請求項１記載の表示装置。