JP2010055213A - 情報入力装置、情報入力方法、情報入出力装置および情報入力プログラム - Google Patents

Abstract

【課題】外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能な情報入力装置を提供する。
【解決手段】入出力パネル１１により得られた外部近接物体の検出信号に基づいて、検出信号処理部１３および画像処理部１４において、外部近接物体の位置情報および面積情報をそれぞれ取得する。また、制御部２１において、取得した面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データ（表示データ）を生成する。これにより、従来のように外部近接物体の接触圧力を検出することなく、面積値に応じた外部近接物体の描画データの生成が可能となる。
【選択図】図８

Description

本発明は、外部近接物体に関する情報を入力するための情報入力装置、情報入力方法および情報入力プログラム、ならびにそのような情報の入出力を行う情報入出力装置に関する。

画像表示装置には、タッチパネルを備えたものがある。このタッチパネルには、電気抵抗の変化を利用した抵抗型や、静電容量の変化を利用した静電容量型のほか、光学的に指等を検知する光学型タッチパネルがある。

ところで、このようなタッチパネルにおいて、情報入力の際の利便性向上のため、スタイラス等の外部近接物体の接触圧力（筆圧）に応じて、接触部分を描画する際の線幅等を変化させることが望まれる場合がある。そのような線幅を変化させる手法については、例えば特許文献１等に開示されている。

特開２００７−２５７６５５号公報

上記特許文献１では、特殊なスタイラスを用いて筆圧を検知することにより、線幅を変化させるようになっている。具体的には、この手法では、圧力センサを用いて筆圧を検知している。

ところが、この手法では、上記したような特別な仕組み（圧力センサ）をスタイラスに組み込む必要があるため、コスト面や簡便性に問題があった。したがって、外部近接物体に関する情報を入力する場合において、簡易な構造で利便性の高い情報入力の実現が望まれていた。

本発明はかかる問題点に鑑みてなされたもので、その目的は、外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能な情報入力装置、情報入力方法、情報入出力装置および情報入力プログラムを提供することにある。

本発明の情報入力装置は、外部近接物体を検出する検出機能を有する入力パネルと、この入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報をそれぞれ取得する位置検出部と、この位置検出部により得られた面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データを生成する画像生成部とを備えたものである。

本発明の情報入力方法は、外部近接物体を検出する検出機能を有する入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報をそれぞれ取得し、取得した面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データを生成するようにしたものである。

本発明の情報入出力装置は、外部近接物体を検出する検出機能と画像表示機能とを有する入出力パネルと、この入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報をそれぞれ取得する位置検出部と、この位置検出部により得られた面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データを生成する画像生成部とを備えると共に、上記入出力パネルにおいて、画像生成部により生成された描画データに基づいて外部近接物体の画像表示を行うようにしたものである。

本発明の情報入力プログラムは、外部近接物体を検出する検出機能を有する入力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報をそれぞれ取得するステップと、取得した面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データを生成するステップとをコンピュータに実行させるようにしたものである。

本発明の情報入力装置、情報入力方法、情報入出力装置および情報入力プログラムでは、入力パネルまたは入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報がそれぞれ取得される。そして、取得された面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データが生成される。すなわち、外部近接物体の接触圧力を検出することなく、取得された面積情報に基づいて、その面積値に応じた外部近接物体の描画データの生成が可能となる。

本発明の情報入力装置、情報入力方法、情報入出力装置または情報入力プログラムによれば、入力パネルまたは入出力パネルにより得られた外部近接物体の検出信号に基づいて、外部近接物体の位置情報および面積情報をそれぞれ取得すると共に、取得した面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データを生成するようにしたので、外部近接物体の接触圧力を検出することなく、面積値に応じた外部近接物体の描画データを生成することができる。よって、外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能となる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る情報入出力装置１の概略構成を表すものである。また、図２〜図５は、情報入出力装置１における入出力パネル（後述する入出力パネル１１）の詳細構成を表すものである。この情報入出力装置１は、ディスプレイ１０と、このディスプレイ１０を利用する電子機器本体２０とを備えたものである。ディスプレイ１０は、入出力パネル１１、表示信号処理部１２、検出信号処理部１３および画像処理部１４を有し、電子機器本体２０は、制御部２１を有する。なお、本発明の第１の実施の形態に係る情報入力方法および情報入力プログラムは、本実施の形態の画像入出力装置１において具現化されるため、以下併せて説明する。

入出力パネル１１は、外部近接物体を検出する検出機能と、画像表示機能とを有するものである。具体的には、複数の画素がマトリクス状に配列された液晶表示パネルにおいて、抵抗膜方式のタッチセンサ機能（外部の指等の外部近接物体に関する検出信号を取得する機能）を持たせたものである。図２は、入出力パネル１１の平面構成を表したものである。この入出力パネル１１は、例えばＦＦＳ（Fringe Field Switching）方式の液晶表示パネルにより構成されており、列方向にはシグナルラインＳＬが複数配置され、行方向にはゲートラインＧＬが複数配置されている。各シグナルラインＳＬと各ゲートラインＧＬとの交差点近傍には、画素トランジスタ５１および画素電極５４が設けられ、これらが一つのサブピクセルに対応している。更に、隣り合う三つのサブピクセルが一つの画素Ｐｘを構成している。

また、この入出力パネル１１内には、第１空間制御柱５Ａおよび第２空間制御柱５Ｂが、所定間隔（例えば、１行おき、４画素おき）で交互に設けられている。第１空間制御柱５Ａは、後述する液晶層７０のギャップを形成するためのスペーサとしての機能を有しており、その高さは液晶層７０の厚みと同じ、例えば約３μｍ程度である。第２空間制御柱５Ｂは、後述する第２センサ電極６２を配置するためのものであり、その高さは液晶層７０の厚みよりも低く、例えば約２．５μｍである。第１空間制御柱５Ａおよび第２空間制御柱５Ｂは、例えば、有機膜により構成されている。

図３は、図２に示した画素Ｐｘの一部を拡大したものであり、図４は、図３における折れ線ＩＩＩ−ＩＩＩに沿った断面構成を表したものである。この入出力パネル１１は、第１基板５０と第２基板６０との間に液晶層７０を有している。

第１基板５０は、ガラス基板５０Ａに、画素トランジスタ５１、第１層間絶縁膜５２Ａ、シグナルラインＳＬ、第２層間絶縁膜５２Ｂ、コモン電極５３、第３層間絶縁膜５２Ｃおよび画素電極５４を順に形成したものである。

画素トランジスタ５１は、ガラス基板５０Ａ上に、ゲートラインＧＬ、ゲート絶縁膜５１Ａおよび半導体層５１Ｂを順に積層した構成を有し、半導体層５１Ｂは、シグナルラインＳＬと同層のコンタクト部５１Ｃを介して、画素電極５４に電気的に接続されている。第１層間絶縁膜５２Ａは、例えば無機膜により構成されていることが望ましい。

画素電極５４およびコモン電極５３は、液晶層７０に電界を印加するための表示電極であり、例えば、厚みが５０ｎｍないし１００ｎｍ程度であり、ＩＴＯ（Indium Tin Oxide）またはＺｎＯ等の透明導電膜により構成されている。画素電極５４は、複数のスリット５４Ａを含む平面形状を有し、コモン電極５３は、画素電極５４の下に、無機絶縁膜よりなる第３層間絶縁膜５２Ｃを間にして形成されている。画素電極５４に与えられた電位は、スリット５４Ａを通ってコモン電極５３へ電界Ｅを生じる。これにより、液晶層７０の液晶分子７１Ａ，７１Ｂの方向は、無電界時には、図３および図４において点線で示したように、スリット５４Ａの長手方向に対して平行になっているが、電界印加時には、図３および図４において実線で示したように、スリット５４Ａの長手方向に対して交差するようになっている。なお、コモン電極５３は、高コントラストな表示を可能とするため、有機膜よりなる平坦化膜である第２層間絶縁膜５２Ｂ上に形成されていることが望ましい。

第２基板６０は、ガラス基板６０Ａに、有機膜よりなるカラーフィルタ６１と、上述した第１空間制御柱５Ａおよび第２空間制御柱５Ｂとを形成したものである。第２空間制御柱５Ｂ上には、対向センサ電極６２が形成されている。この対向センサ電極６２は、例えば図５に示したように、接触体（例えば、指先など）により第２基板６０がたわむと画素電極５４に接触可能となっており、これら画素電極５４および対向センサ電極６２により、入出力パネル１１内に、位置検出手段としての抵抗膜方式タッチセンサが構成されている。なお、ここでは、画素電極５４は複数のスリット５４Ａを有しているので、画素電極５４の断面形状は、複数のエッジ５４Ｂを含んでいる。また、対向センサ電極６２（複数のスリット６２Ａおよびパターン６２Ｂを含んでいる）は、画素電極５４の複数のエッジ５４Ｂに対向して配置されている。これにより、この入出力パネル１１では、位置検出の不安定性を抑えることができるようになっている。ここで、画素電極５４が、本発明における「第１センサ電極」の一具体例に対応し、対向センサ電極６２が、本発明における「第２センサ電極」の一具体例に対応している。

また、図１に示す表示信号処理部１２は、入出力パネル１１の前段に接続され、入出力パネル１１が表示データに基づいて画像を表示するように、入出力パネル１１の駆動を行う回路である。

検出信号処理部１３は、入出力パネル１１の後段に接続され、入出力パネル１１において得られた検出信号を取り込んで増幅等を行うものである。

画像処理部１４は、検出信号処理部１３の後段に接続され、検出信号処理部１３から検出画像を取り込んで、２値化やノイズ除去、ラベリング等の処理を行い、外部近接物体の点情報、すなわち外部近接物体の重心や中心座標、および外部近接物体の領域（サイズや形状）を示す情報を得る回路である。具体的には、画像処理部１４におけるラベリング処理部（図示せず）は、ラベリング処理を行うことにより、検出画像全体についてのラベル情報（検出画像内における連結領域ごとの識別番号を示す情報）、連結領域ごとの位置情報および面積情報をそれぞれ取得するようになっている。また、画像処理部１４における位置検出部（図示せず）は、ラベリング処理部より得られた上記ラベル情報、位置情報および面積情報に基づいて信号処理を行い、検出された物体が存在する位置等を特定するようになっている。これにより、接触あるいは近接する指等の位置を特定することが可能となる。

電子機器本体２０は、ディスプレイ１０の表示信号処理部１２に対して表示データを出力すると共に、画像処理部１４から上記したような内容の点情報を入力するようになっている。

制御部２１は、点情報を用いて表示画像を変化させるものであり、例えばＣＰＵ（Central Processing Unit）などにより構成されている。この制御部２１は、例えば図６に示したように、外部近接物体であるスタイラス８等を入出力パネル１１へ接触させる場合において、検知されたスタイラス８の面積情報に基づく外部近接物体の描画データ（表示データ）を生成するものである。具体的には、例えば図７（Ａ）および図７（Ｂ）中の符号Ｐ１，Ｐ２で示したように、スタイラス８等によって入出力パネル１１へ接触した際に、押圧（接触圧力、筆圧）に応じてスタイラス８等の検知面積が変化することを利用している。この制御部２１は、画像処理部１４（位置検出部）により得られたスタイラス８等の位置情報および面積情報に基づいて、スタイラス８等の検知位置においてそのスタイラス８等の面積値に応じた外部近接物体の描画データ（表示データ）を生成し、表示信号処理部１２へ供給するようになっている。そして、入出力パネル１１では、このようにして生成された描画データに基づいて画像表示が行われるようになっている。なお、この制御部２１が、本発明における「画像生成部」の一具体例に対応する。

また、制御部２１は、具体的には、外部近接物体の面積値に応じて、この外部近接物体により描画をする際の線幅、濃淡（輝度）および色合いのうちの少なくとも１つを含む描画情報が変化するように、描画データを生成するようになっている。ここでは、外部近接物体の面積値に応じて、この外部近接物体により描画をする際の線幅を示す描画情報が変化する場合について、代表して説明する。この際、制御部２１は、例えば図８に示したように、外部近接物体の面積値（Pixel）と、描画する際の線幅（Pixel）との対応関係を定める変換テーブルを用いて、取得した面積情報を線幅に変換している。なお、図８では、外部近接物体の面積値）と描画する際の線幅との対応関係が、単純な１次関数（線幅＝係数Ａ×面積）により規定されているが、他の関数（例えば、非線形な関数）により規定するようにしてもよい。

さらに、制御部２１は、例えば図９中の符号Ｐｎ−１，Ｐｎで示したように、時間軸に沿った複数の描画情報（（ｎ−１）フレームにおいて得られた線幅（ｎ−１）、およびｎフレームにおいて得られた線幅ｎ）に基づいて描画データを生成する場合には、描画情報を補間生成するようにするのが好ましい。具体的には、描画の際に描画情報（ここでは、線幅）が徐々に（滑らかに）変化するように、描画情報を補間生成するようにする。これにより、例えば図１０中の符号Ｐ２で示したように、入出力パネル１１において外部近接物体より描画をする際に、描画情報（ここでは、線幅）を徐々に（滑らかに）変化させることが可能となるからである。なお、図１０中の符号Ｐ２では、（ｎ−１）フレームにおいて得られた線幅（ｎ−１）と、ｎフレームにおいて得られた線幅ｎとの２点の間を直線で繋いでいるが、他の手法を用いてもよい。具体的には、例えば図９中の点線および括弧書きと図１０中の符号Ｐ３とで示したように、（ｎ−１）フレームにおいて得られた線幅（ｎ−１）と、ｎフレームにおいて得られた線幅ｎと、（ｎ＋１）フレームにおいて得られた線幅（ｎ＋１）との３点の間を、スプライン補間などを用いることにより、線幅が滑らかに変化するようにしてもよい。

次に、図１〜図１０に加えて図１１〜図１３を参照して、本実施の形態の情報入出力装置１の作用および効果について説明する。図１１および図１２は、入出力パネル１１における画像表示および情報検出の際の駆動シーケンスを表すものである。また、図１３は、情報入出力装置１による画像処理全体の流れを表すものである。

最初に、図１１および図１２を参照して、入出力パネル１１における画像表示および情報検出の際の駆動シーケンスについて説明する。なお、図１１および図１２は、画素Ｐｘの電位読み出し（情報検出）と書き込み（画像表示）とを共通の配線で行うようにした場合を表している。

各画素Ｐｘは、図１１に示したように、画素トランジスタ５１と、液晶素子ＬＣと、センサＳｅｎｓｏｒとを有している。画素トランジスタ５１のゲートはゲートラインＧＬに接続されている。画素トランジスタ５１のソースはシグナルラインＳＬに接続され、ドレインは、液晶素子ＬＣの一端およびセンサＳｅｎｓｏｒの一端に接続されている。シグナルラインＳＬは、Ｒｅａｄスイッチを介してＲｅａｄ回路（図１に示した検出信号処理部１３に対応）に接続されると共に、Ｗｒｉｔｅスイッチを介してＷｒｉｔｅ回路（図１に示した表示信号処理部１２に対応）に接続されている。液晶素子ＬＣの他端およびセンサＳの他端はＣＳラインに接続されている。

ここで、図１２を参照して、この回路系の駆動シーケンスについて説明する。なお、図１２（Ａ）はｎ段目のゲートラインＧＬの電位Ｖｇｎを、図１２（Ｂ）はシグナルラインＳＬの電位Ｖｓｉｇを、図１２（Ｃ）はＣＳラインの電位Ｖｃｏｍを、図１２（Ｄ）はＷｒｉｔｅスイッチの状態（オン状態またはオフ状態）を、図１２（Ｅ）はＲｅａｄスイッチの状態（オン状態またはオフ状態）を、それぞれ表している。

まず、タイミングＴ１において、Ｗｒｉｔｅスイッチがオン状態になる（図１２（Ｄ）参照）。これにより、図１２（Ｂ）に示したように、画素Ｐｘへ表示電位を書き込む前に、Ｗｒｉｔｅ回路からシグナルラインＳＬの配線部へ、一旦、ＣＳラインの電位Ｖｃｏｍと逆位相の電位がプリチャージされる。

次いで、Ｗｒｉｔｅスイッチがオフ状態となったのち、タイミングＴ２において、図１２（Ａ）に示したように、ゲートラインＧＬを介して画素トランジスタ１１のゲートへ電位Ｖｇｎが印加され、画素トランジスタ１１がオン状態となる

このとき、画素電極５４が対向センサ電極６２に接触している場合（例えば図５に示したように、第２基板６０が押されてたわんでいる状態）には、瞬間的にシグナルラインＳＬの電位Ｖｓｉｇが、ＣＳラインの電位Ｖｃｏｍと等しくなる（図１２（Ｂ）中の実線部分参照）。一方、画素電極５４が対向センサ電極６２に接触していない場合（第２基板６０が押されていない状態）には、シグナルラインＳＬでは、プリチャージ電位が保持される（図１２（Ｂ）中の点線部分参照）。

続いて、タイミングＴ３において、Ｒｅａｄスイッチがオン状態となる（図１２（Ｅ）参照）。これにより、図１１中に示した経路Ｐ４を介して、シグナルラインＳＬの電位Ｖｓｉｇが、Ｒｅａｄ回路へ読み込まれる。そしてこの読み込んだデータに基づいて、画素電極５４が対向センサ電極６２に接触している場合には接触位置がマトリクス状にセンシングされ、位置検出（情報検出）のための検出信号が得られる。

次いで、Ｒｅａｄスイッチがオフ状態となったのち、タイミングＴ４において、Ｗｒｉｔｅスイッチが再びオン状態となる（図１２（Ｄ）参照）。これにより、図１１中の経路Ｐ５で示したように、Ｗｒｉｔｅ回路からシグナルラインＳＬおよび画素トランジスタ５１を介して、画素Ｐｘへの表示電位が液晶素子ＬＣへ書き込まれる（図１２（Ｂ）参照）。そしてタイミングＴ５において、画素トランジスタ５１がオフ状態となる（図１２（Ａ）参照）と共に、Ｗｒｉｔｅスイッチがオフ状態となる（図１２（Ｄ）参照）ことにより、画素Ｐｘでの表示電位が確定する。これにより、表示データに基づく画像表示が行われる。なお、その後はタイミングＴ６において、ＣＳラインの電位Ｖｃｏｍが反転されることとなる。

次に、図１３を参照して、情報入出力装置１全体の動作について説明する。

まず、電子機器本体２０から出力された表示データは、表示信号処理部１２に入力される。表示信号処理部１２は、表示データに基づいて入出力パネル１１に画像が表示されるように、入出力パネル１１を駆動させる。

入出力パネル１１では、上記したような駆動シーケンスにより、外部近接物体の検出信号が取得される。そして検出信号処理部１３は、この検出信号を入力して増幅等の処理を行い、検出信号を処理する（図１３のステップＳ１０）。このようにして、検出信号処理部１３において、検出画像が得られる。

次に、画像処理部１４は、検出信号処理部１３から検出画像を入力し、この検出画像に対し２値化処理を行う（ステップＳ１１）。すなわち、画像処理部１４は、予め設定された閾値を記憶しており、例えば、検出画像データの信号強度が閾値よりも小さいか、または閾値以上であるかを比較して、それぞれ「０」または「１」に設定する２値化処理を行う。これにより、外部近接物体によって画素電極５４が対向センサ電極６２に接触している部分が「１」に設定され、他の部分が「０」に設定される。

そして、画像処理部１４は、２値化された検出画像から、孤立点を除去する（ステップＳ１２）。すなわち、画像処理部１４は、上記のように２値化されている場合、外部近接物体から孤立している「１」に設定された部分を除去することにより、ノイズ除去を行う。

この後、画像処理部１４は、ラベリング処理部（図示せず）において、ラベリング処理を行う（ステップＳ１３）。すなわち、ラベリング処理部は、上記のように２値化されている場合、「１」に設定された部分に対してラベリング処理を行う。そして、ラベリング処理部は、「１」に設定された領域を外部近接物体の領域として検出し、上記ラベル情報、位置情報および面積情報をそれぞれ取得する。そしてこのようなデータは、点情報として制御部２１に出力される。

次に、制御部２１は、画像処理部１４から入力した点情報を用いて、表示画像を変化させる等の必要な処理を行う。例えば、画面に何らかの操作メニューを表示した場合を仮定すると、その操作メニューの中のどのボタンがユーザの指によって選択されたのかを検知し、その選択されたボタンに対応する命令を実行する。以上により、情報入出力装置１における基本動作が終了となる。

ここで、本実施の形態の情報入出力装置１では、入出力パネル１１により得られた外部近接物体の検出信号に基づいて、検出信号処理部１３および画像処理部１４により、外部近接物体の位置情報および面積情報がそれぞれ取得される。そして、制御部２１では、例えば前述の図６〜図１０に示したようにして、取得された面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データ（表示データ）が生成される。具体的には、例えば図８に示したように、外部近接物体の面積値に応じて、この外部近接物体により描画をする際の線幅、濃淡および色合いのうちの少なくとも１つを含む描画情報が変化するように、描画データが生成される。そして、入出力パネル１１では、このようにして生成された描画データに基づいて画像表示が行われる。

すなわち、従来のように外部近接物体の接触圧力（押圧、筆圧）を検出することなく、取得された面積情報に基づいて、その面積値に応じた外部近接物体の描画データの生成が可能となる。

以上のように本実施の形態では、入出力パネル１１により得られた外部近接物体の検出信号に基づいて、検出信号処理部１３および画像処理部１４において、外部近接物体の位置情報および面積情報をそれぞれ取得すると共に、制御部２１において、取得した面積情報に基づいて外部近接物体の面積値に応じた外部近接物体の描画データ（表示データ）を生成するようにしたので、従来のように外部近接物体の接触圧力を検出することなく、面積値に応じた外部近接物体の描画データを生成することができる。よって、外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能となる。

また、時間軸に沿った複数の描画情報（描画する際の線幅、濃淡（輝度）および色合いのうちの少なくとも１つの情報）に基づいて、外部近接物体による描画の際に描画情報が徐々に変化するように描画情報を補間生成して描画データを生成するようにした場合には、より利便性の高い情報入力を行うことが可能となる。

［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像入出力装置は、図１に示した第１の実施の形態の画像入出力装置１において、抵抗膜方式タッチセンサを含んで構成された入出力パネル１１の代わりに、光学式タッチセンサを含んで構成された入出力パネル（後述する入出力パネル１１Ａ）を設けるようにしたものである。なお、第１の実施の形態における構成要素と同一のものには同一の符号を付し、適宜説明を省略する。また、本発明の第２の実施の形態に係る情報入力方法および情報入力プログラムは、本実施の形態の画像入出力装置において具現化されるため、以下併せて説明する。

図１４は、本実施の形態に係る入出力パネル１１Ａを含んだディスプレイ１０の詳細構成を表すものである。また、図１５は、入出力パネル１１Ａの一部を拡大した断面を表すものである。

入出力パネル１１Ａは、図１４に示すように、複数の画素１６がマトリクス状に配列された液晶ディスプレイパネルで構成されたものであり、表示要素（後述する発光セルＣＷに対応）および受光要素（後述する受光セルＣＲに対応）を備えている。すなわち、この入出力パネル１１Ａも、入出力パネル１１と同様に、外部近接物体を検出する検出機能と、画像表示機能とを有している。表示要素は、光源となるバックライトから出射された光を利用して、図形や文字等の画像を表示面に表示する液晶素子である。受光要素は、光を受光して電気信号として出力する、例えばフォトダイオード等の受光素子である。受光要素は、バックライトの出射光が入出力パネル１１Ａの外部の指等の外部近接物体によって反射されて戻ってきた反射光を受光して、受光信号（検出信号）を出力するものである。受光要素は、本実施の形態の場合、画素１６毎に配置されて、面内に複数配列されている。

この入出力パネル１１Ａは、図１４および図１５に示したように、１対の透明基板３０，３１の間に、隔壁３２によって互いに分離された構造の複数の発光受光セルＣＷＲをマトリクス状に配列して構成されている。各発光受光セルＣＷＲは、発光セルＣＷ（ＣＷ１，ＣＷ２，ＣＷ３，…）と、これらの発光セルＣＷに内包された複数の受光セルＣＲ（ＣＲ１，ＣＲ２，ＣＲ３，…）とを備えている。発光セルＣＷは、表示要素としての液晶セルからなり、受光セルＣＲは、受光要素としての受光素子ＰＤを含む。なお、受光セルＣＲにおいては、バックライトから出射された光ＬＢが入射しないように、バックライト側の透明基板３０と受光素子ＰＤとの間に遮蔽層３３が配置されている。これにより、各受光素子ＰＤはバックライト光ＬＢの影響を受けず、バックライトと反対側の透明基板３１の方向から入射された光のみを検出するようになっている。

ここで、図１に示した表示信号処理部１２は、図１４に示した、表示信号保持制御部４０、発光側スキャナ４１、表示信号ドライバ４２および受光側スキャナ４３を備えている。表示信号保持制御部４０は、制御部２１から出力される表示データを１画面毎（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）等で構成されるフィールドメモリに格納して保持すると共に、各発光セルＣＷを駆動する発光側スキャナ４１および表示信号ドライバ４２、および各受光セルＣＲを駆動する受光側スキャナ４３を連動して動作するように制御する機能を有する。具体的には、発光側スキャナ４１には発光タイミング制御信号を、受光側スキャナ４３には受光タイミング制御信号を、表示信号ドライバ４２には制御信号およびフィールドメモリに保持されている表示信号に基づいて、１水平ライン分の表示信号を出力する。これらの制御信号および表示信号により、線順次動作が行われるようになっている。

発光側スキャナ４１は、表示信号保持制御部４０から出力される発光タイミング制御信号に応じて駆動対象の発光セルＣＷを選択する機能を有する。具体的には、入出力パネル１１Ａの各画素１６に接続された発光用ゲート線を介して発光用選択信号を供給し、発光素子選択スイッチを制御する。つまり、発光用選択信号によりある画素１６の発光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６では表示信号ドライバ４２から供給された電圧に対応した輝度の発光動作がなされるようになっている。

表示信号ドライバ４２は、表示信号保持制御部４０から出力される１水平ライン分の表示信号に応じて駆動対象の発光セルＣＷに表示データを供給する機能を有する。具体的には、入出力パネル１１Ａの各画素１６に接続されたデータ供給線を介して前述の発光側スキャナ４１により選択された画素１６に表示データに対応する電圧を供給する。この発光側スキャナ４１および表示信号ドライバ４２が連動して線順次動作することにより、任意の表示データに対応する画像が入出力パネル１１Ａに表示される。

受光側スキャナ４３は、表示信号保持制御部４０から出力される受光タイミング制御信号に応じて駆動対象の受光セルＣＲを選択する機能を有する。具体的には、入出力パネル１１Ａの各画素１６に接続された受光用ゲート線を介して受光用選択信号を供給し、受光素子選択スイッチを制御する。つまり、前述の発光側スキャナ４１の動作と同様に、受光用選択信号によりある画素１６の受光素子選択スイッチがオン状態となる電圧が印加されると、その画素１６から検出された受光信号が受光信号レシーバ４５に出力されるようになっている。これにより、例えばある発光セルＣＷからの出射光に基づいて接触あるいは近接する物体において反射した光を、受光セルＣＲが受光し、検出することが可能となる。また、この受光側スキャナ４３からは、受光信号レシーバ４５および受光信号保持部４６へ受光ブロック制御信号が出力され、これら受光動作に寄与するブロックを制御する機能も有する。なお、本実施の形態の画像入出力装置においては、前述の発光用ゲート線および受光用ゲート線は各発光受光セルＣＷＲに対して別個に接続され、発光側スキャナ４１および受光側スキャナ４３はそれぞれ、独立して動作することが可能となっている。

また、図１に示す検出信号（受光信号）処理部１３は、図１４に示した、受光信号レシーバ４５および受光信号保持部４６を備えている。

受光信号レシーバ４５は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、各受光セルＣＲから出力された１水平ライン分の受光信号（検出信号）を取得する機能を有する。この受光信号レシーバ４５において取得された１水平ライン分の受光信号は、受光信号保持部４６へ出力される。

受光信号保持部４６は、受光側スキャナ４３から出力される受光ブロック制御信号に応じて、受光信号レシーバ４５から出力される受光信号を、１画面ごと（１フィールドの表示ごと）の受光信号である受光画像（検出画像）に再構成し、例えば、ＳＲＡＭなどから構成されるフィールドメモリに格納して保持する機能を有する。受光信号保持部４６において格納された受光信号のデータ（受光画像）は、画像処理部１４（図１）内の位置検出部（図示せず）へ出力される。なお、この受光信号保持部４６はメモリ以外の記憶素子から構成されていてもよく、例えば受光信号をアナログデータ（電荷）として容量素子に保持しておくことも可能である。

次に、図１、図１４および図１５を参照して、本実施の形態の情報入出力装置の作用および効果について説明する。なお、情報入出力装置全体の基本動作は、上記第１の実施の形態と同様であるため、主に、入出力パネル１１Ａにおける画像表示および情報検出の動作について説明する。

この入出力パネル１１Ａは、バックライトからの出射光を用いて画像を表示要素（前述の発光セルＣＷに対応）に表示する一方、受光要素（前述の受光セルＣＲに対応）を駆動している。そして、表示要素に指等の外部近接物体が接触または近接すると、表示要素に表示された画像が外部近接物体で反射されて、この反射光が受光要素で検出される。この検出によって、受光要素からは受光信号（検出信号）が出力される。そして検出信号（受光信号）処理部１３は、この受光信号を入力して増幅等の処理を行い、受光信号を処理する（図１３のステップＳ１０）。このようにして、第１の実施の形態と同様にして、検出信号処理部１３において、検出画像（撮像画像）が得られる。

ここで、本実施の形態の情報入出力装置においても、第１の実施の形態の情報入出力装置１と同様に、制御部２１において、取得された面積情報に基づいて、外部近接物体の面積値に応じた外部近接物体の描画データ（表示データ）が生成される。これにより、第１の実施の形態と同様の作用により同様の効果を得ることができる。すなわち、外部近接物体に関する情報を入力する際に、簡易な構造で利便性の高い情報入力を行うことが可能となる。

なお、本実施の形態の入出力パネル１１Ａは、光学式タッチセンサとして機能するため、例えば図１６（Ａ）および図１６（Ｂ）に中の符号Ｐ６，Ｐ７で示したように、柔軟なペン先を有するスタイラス８Ａを用いるのが好ましい。これにより、スタイラス８Ａによって入出力パネル１１Ａへ接触した際に、第１の実施の形態と同様に、押圧（接触圧力、筆圧）に応じてスタイラス８Ａの検知面積が変化するようになるからである。

また、本実施の形態では、１つの発光セルＣＷに対応して１つの受光セルＣＲを設けるようにしたが、複数の発光セルＣＷに対応して１つの受光セルＣＲを設けるようにしてもよい。

以上、第１および第２の実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。

例えば、本発明の情報入出力装置は、上記実施の形態で説明した情報入出力装置１だけでなく、例えば図１７に示したような情報入出力装置２にも適用することが可能である。この画像入出力装置２は、上記実施の形態に係る画像入出力装置１と比較して、画像処理部１４が電子機器本体２０に設けられた点が異なっている。すなわち、この画像入出力装置２は、表示信号処理部１２、入出力パネル１１（または入出力パネル１１Ａ）および検出信号（受光信号）処理部１３がディスプレイ１０に設けられ、制御部２１および画像処理部１４が電子機器本体２０に設けられたものである。このような画像入出力装置２であっても、上記実施の形態に係る画像入出力装置１と同様の効果を奏することができる。

また、これまでは、制御部２１が電子機器本体２０内に設けられている場合について説明したが、制御部２１をディスプレイ１０内に設けるようにしてもよい。

また、これまでは、外部近接物体を検出する検出機能と画像表示機能とを有する入出力パネル１１，１１Ａを備えた情報入出力装置１，２を例に挙げて本発明を説明したが、本発明は、外部近接物体を検出する検出機能を有する入力パネルを備えた情報入力装置（撮像装置）にも適用することが可能である。すなわち、そのような入力パネルと、制御部２１により生成された表示データ（外部近接物体の描画データ）に基づく画像表示を行う出力パネル（表示パネル）とを、別々に設けるようにしてもよい。

また、これまで説明した情報入出力装置１，２等では、入出力パネル１１，１１Ａとして、液晶ディスプレイパネルを用いた構成について説明した。しかしながら、本発明の情報入力装置は、入出力パネルとして、有機エレクトロルミネッセンス（ＥＬ）パネル等を用いた構成にすることもできる。有機ＥＬ素子は、順方向バイアス電圧を印加すると発光動作をし、逆方向バイアス電圧を印加すると受光して電流を発生する性質を有する。このため、有機ＥＬ素子は、表示要素と受光要素とを有することになる。このような構成の場合、入出力パネルは、有機ＥＬ素子を画素毎に配置することで構成され、表示データに応じて各有機ＥＬ素子に順方向バイアス電圧を印加して発光動作をさせると画像を表示し、他の有機ＥＬ素子に逆方向バイアス電圧を印加して反射光を受光することになる。

また、上記実施の形態において説明した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされるようになっている。このようなプログラムは、コンピュータに内蔵されている記録媒体に予め記録してさせておくようにしてもよい。

さらに、これまで説明した情報入出力装置等は、テレビジョン装置，デジタルカメラ，ノート型パーソナルコンピュータ、携帯電話等の携帯端末装置あるいはビデオカメラなど、外部から入力された映像信号あるいは内部で生成した映像信号を、画像あるいは映像として表示するあらゆる分野の電子機器に適用することが可能である。

本発明の第１の実施の形態に係る情報入出力装置の構成を表すブロック図である。 図１に示した入出力パネルの構成を表す平面図である。 図２に示した画素を拡大して表す平面図である。 図３における折れ線ＩＩＩ−ＩＩＩ線に沿った断面図である。 図１に示した入出力パネルにおける情報検出の際の構成例を表す断面図である。 外部近接物体（スタイラス）による入出力パネルへの接触動作の一例を表す模式図である。 スタイラスによる押圧と接触面積（検出面積）との関係を説明するための平面図である。 検出面積と描画する際に設定する線幅との対応関係の一例を表す特性図である。 単位フレーム間での滑らかな描画を実現するための処理について説明するための平面図である。 図９に示した処理による入出力パネル上での描画例を表す平面図である。 図１に示した入出力パネルにおける画像表示および情報検出の際の駆動シーケンスについて説明するための回路図である。 図１に示した入出力パネルにおける画像表示および情報検出の際の駆動シーケンスについて説明するためのタイミング波形図である。 図１に示した情報入出力装置による画像処理全体の流れ図である。 第２の実施の形態に係る入出力パネルを含むディスプレイの詳細構成を表すブロック図である。 図１４に示した入出力パネルの一部を拡大した断面図である。 図１４に示した入出力パネルに対する外部近接物体（スタイラス）による接触動作の一例を表す模式図である。 本発明の変形例に係る情報入出力装置の構成を表すブロック図である。

符号の説明

１，２…画像入出力装置、１０…ディスプレイ、１１，１１Ａ…入出力パネル、１２…表示信号処理部、１３…検出信号（受光信号）処理部、１４…画像処理部、１６…画素、２０…電子機器本体、２１…制御部、５Ａ…第１空間制御柱、５Ｂ…第２空間制御柱、５０…第１基板、５０Ａ，６０Ａ…ガラス基板、５１…画素トランジスタ、５２Ａ…第１層間絶縁膜、５２Ｂ…第２層間絶縁膜、５２Ｃ…第３層間絶縁膜、５３…コモン電極、５４…画素電極、５４Ａ，６２Ａ…スリット、５４Ｂ…エッジ、６０…第２基板、６１…カラーフィルタ、６２…対向センサ電極、７０…液晶層、７１…液晶分子、８，８Ａ…スタイラス、Ｐｘ…画素、ＧＬ…ゲートライン、ＬＣ…液晶素子、Ｓｅｎｓｏｒ…センサ、ＳＬ…シグナルライン。

Claims (12)

1. 外部近接物体を検出する検出機能を有する入力パネルと、
   前記入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置情報および面積情報をそれぞれ取得する位置検出部と、
   前記位置検出部により得られた面積情報に基づいて、前記外部近接物体の面積値に応じた外部近接物体の描画データを生成する画像生成部と
   を備えた情報入力装置。
2. 前記画像生成部は、前記外部近接物体の面積値に応じて、この外部近接物体による描画の際の線幅、濃淡および色合いのうちの少なくとも１つを含む描画情報が変化するように、前記描画データを生成する
   請求項１に記載の情報入力装置。
3. 前記画像生成部は、前記外部近接物体の面積値と前記描画情報との対応関係を定める変換テーブルを有する
   請求項２に記載の情報入力装置。
4. 前記変換テーブルにおいて、前記外部近接物体の面積値と前記描画情報との対応関係が、１次関数により規定されている
   請求項３に記載の情報入力装置。
5. 前記画像生成部は、時間軸に沿った複数の描画情報に基づいて、前記外部近接物体による描画の際に前記描画情報が徐々に変化するように描画情報を補間生成することにより、前記描画データを生成する
   請求項２ないし請求項４のいずれか１項に記載の情報入力装置。
6. 前記入力パネルが、
   液晶層を間にして互いに対向する第１基板および第２基板と、
   前記第１基板と前記第２基板との間に形成され、前記第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極と
   を有すると共に、
   前記第１センサ電極および前記第２センサ電極の接触による電位の変化を読み取ることにより、前記外部近接物体の位置に応じた第２基板のたわみ位置を検出するものである
   請求項１に記載の情報入力装置。
7. 前記入力パネルが、撮像面に沿って配列され、前記外部近接物体で反射された光を受光する複数の受光要素を有するものである
   請求項１に記載の情報入力装置。
8. 外部近接物体を検出する検出機能を有する入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置情報および面積情報をそれぞれ取得し、
   取得した面積情報に基づいて、前記外部近接物体の面積値に応じた外部近接物体の描画データを生成する
   情報入力方法。
9. 外部近接物体を検出する検出機能と画像表示機能とを有する入出力パネルと、
   前記入出力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置情報および面積情報をそれぞれ取得する位置検出部と、
   前記位置検出部により得られた面積情報に基づいて、前記外部近接物体の面積値に応じた外部近接物体の描画データを生成する画像生成部と
   を備え、
   前記入出力パネルにおいて、前記画像生成部により生成された描画データに基づいて画像表示を行う
   情報入出力装置。
10. 前記入出力パネルが、
    第１基板および第２基板の間に液晶層を有する表示パネルと、
    前記表示パネル内に形成され、前記第２基板のたわみにより接触可能な第１センサ電極および第２センサ電極と
    を有すると共に、
    前記第１センサ電極および前記第２センサ電極の接触による電位の変化を読み取ることにより、前記外部近接物体の位置に応じた第２基板のたわみ位置を検出し、前記表示パネルにおいて画像表示を行うものである
    請求項９に記載の情報入出力装置。
11. 前記入出力パネルが、
    表示面に沿って配列され、画像データに基づいて画像を表示する複数の表示要素と、
    前記表示面に沿って配列され、前記表示面から出射されて前記外部近接物体で反射された光を受光する複数の受光要素と
    を有するものである
    請求項９に記載の情報入出力装置。
12. 外部近接物体を検出する検出機能を有する入力パネルにより得られた外部近接物体の検出信号に基づいて、前記外部近接物体の位置情報および面積情報をそれぞれ取得するステップと、
    取得した面積情報に基づいて、前記外部近接物体の面積値に応じた外部近接物体の描画データを生成するステップと
    をコンピュータに実行させる情報入力プログラム。

Images