JP2011002926A - 触覚呈示機能付き表示装置 - Google Patents

Abstract

【課題】画像の視覚的表示と触覚的呈示とを両立させる表示装置であって、触覚的呈示により画像表示が損なわれず、利用者に対して好適な触覚刺激を与えること。
【解決手段】画像を表示する画像表示用ディスプレイ１０３と、複数のセンス電極を面内に配置して指の接触を検出するタッチセンサパネル１０４と、複数のアクチュエータを面内に配置して画面の法線方向に変位させる触覚ディスプレイ１０５とを備え、画像表示側から見て触覚ディスプレイ１０５、タッチセンサパネル１０４、画像表示用ディスプレイ１０３の順に配置する。触覚ディスプレイ１０５は、タッチセンサパネル１０４からの接触検出信号に基づいて所定の領域のアクチュエータを変位させる。
【選択図】図１

Description

本発明は、画像を表示画面に表示するとともに、画面上に表示された仮想ボタン等に利用者が指で触れると、指で触れた領域の表面が変位して利用者に対し触覚的な刺激を呈示する触覚呈示機能付き表示装置に関するものである。

近年、携帯電話に代表されるモバイル機器においては、表示パネル上にタッチセンサを搭載した端末が登場し、端末操作者は、表示画面上に表示されたメニュー画面から指又はスタイラスペンを使用して項目を選択し、作業するのが一般的になりつつある。ただし、平坦かつ硬質な表示画面上を触れるのみであり、例えば操作ボタンの押し下げ動作時のような反力が、指先あるいはスタイラスペンに呈示されることはない。したがって、実際の入力操作感を得ることは難しかった。

これに関し特許文献１に記載のタブレット装置では、入力操作を検出した場合に、操作パネルや別途搭載した支持基板を振動させて、操作パネルに接触する指又はスタイラスペンに刺激を提示するフォースフィードバック型タブレット装置が開示される。また特許文献２には、突起形成部を複数配列した触覚ディスプレイが開示され、突起形成部は弾性体の変形により突起を形成する手段を備え、突起が点及びそれらの集合群として触覚に図形を提示することが記載される。

特開２００５−２２２３２６号公報 特開２００５−５５４８９号公報

特許文献１に記載のフォースフィードバック型タブレット装置は、指またはスタイラスペンでの接触動作を検知した場合に、表示装置あるいは表示装置を搭載した端末全体を振動させるものである。これにより、端末の使用感を向上できると述べられているが、提示刺激が振動のみであるため、例えば、現実におけるボタン押し下げ時の感覚とは異なる。また、特許文献１に記載のタブレット装置は、前述したようにデバイス全体を振動させることになるが、操作者に刺激として認識させるには、ヒトの知覚特性から少なくともμｍオーダーの振幅動作が必要である。この振幅を得るためには、振動素子を駆動するための電流は百〜数百ｍＡと大きくなることが予想される。

また、特許文献２に記載の触覚ディスプレイは、ピン状突起をマトリクス状に配置し、端末の操作者の指先に図形を提示することが可能としている。しかし、指先に対して垂直方向にピン状突起を変動させるためには、構造上圧電素子は長軸方向に一定の長さを確保する必要がある。また、マトリクス状に配置するためには、ピン状突起の長さ方向に、圧電素子を積層配置する必要があるため、触覚ディスプレイの厚みが増大することになる。また、表示ディスプレイとの組み合わせを想定した場合、特許文献２の触覚ディスプレイは透明でないことから、操作者に触覚刺激を呈示しながら、画像を表示することができない。

本発明の目的は、画像の視覚的表示と触覚的呈示とを両立させる表示装置であって、触覚的呈示により画像表示が損なわれず、利用者に対して好適な触覚刺激を与える触覚呈示機能付き表示装置を提供することにある。

本発明は、画像を表示画面に表示するとともに、該表示画面を変位させて触覚的な刺激を呈示する触覚呈示機能付き表示装置において、複数の画素を面内に配置して画像を表示する画像表示用ディスプレイと、該画像表示用ディスプレイを駆動する画像表示用ディスプレイドライバと、複数のセンス電極を面内に配置して指またはペンの接触を検出するタッチセンサパネルと、該タッチセンサパネルを制御するタッチセンサ制御回路と、複数のアクチュエータを面内に配置して所定の領域を表示画面の法線方向に変位させる触覚ディスプレイと、該触覚ディスプレイを駆動する触覚ディスプレイドライバと、上記画像表示用ディスプレイドライバと上記タッチセンサ制御回路と上記触覚ディスプレイドライバを制御するプロセッサを備え、画像表示側から見て上記画像表示用ディスプレイの前面に上記タッチセンサパネルと上記触覚ディスプレイとを配置して積層する。好ましくは、前記触覚ディスプレイを前記タッチセンサパネルの前面に配置して積層する。

あるいは、前記触覚呈示機能付き表示装置において、前記タッチセンサパネルと前記触覚ディスプレイとを共通のパネルにて構成し、前記センス電極と前記アクチュエータを同一面内に配置する。

あるいは前記触覚呈示機能付き表示装置において、前記共通のパネル内に配置する前記センス電極と前記アクチュエータを共通の素子で構成するとともに、前記タッチセンサ制御回路と前記触覚ディスプレイドライバとを共通のドライバで構成する。

ここで、前記触覚ディスプレイドライバは、前記タッチセンサ制御回路からの接触検出信号に基づいて前記触覚ディスプレイ内の所定の領域のアクチュエータを駆動する。

本発明によれば、画像の視覚的表示と触覚的呈示とを両立させる触覚呈示機能付き表示装置において、画像として表示した仮想ボタンがあたかも実際に存在するかのような操作感覚を利用者に与えることで、使い勝手が優れたものとなる。

本発明の第１の実施例に係る触覚呈示機能付き表示装置の概要図である。 触覚ディスプレイ１０５の制御線の構成を示す図である。 触覚ディスプレイ１０５の構成例を示した図である。 触覚ディスプレイドライバ１０８の構成と動作を示す図である。 触覚ディスプレイドライバ１０８内の信号波形を示す図である。 本発明の第２の実施例に係る触覚呈示機能付き表示装置の概要図である。 混在パネル３０１の制御線の構成を示す図である。 本発明の第３の実施例に係る触覚呈示機能付き表示装置の概要図である。 兼用パネル４０１の制御線の構成を示す図である。 兼用ドライバ４０２の構成と動作（タッチセンサ動作時）を示す図である。 兼用ドライバ４０２の構成と動作（触覚ディスプレイ動作時）を示す図である。 兼用ドライバ４０２におけるタッチセンサ動作と触覚ディスプレイ動作の切替えタイミングを示す図である。 本発明の第４の実施例に係る触覚呈示機能付き表示装置の概要図である。

本発明の触覚呈示機能付き表示装置は、画像表示用ディスプレイとタッチセンサパネルと触覚ディスプレイとを備え、画像表示用ディスプレイ上に仮想ボタン等の画像を表示し、利用者が指で仮想ボタンに触れるとタッチセンサパネルによりそれを検出し、触覚ディスプレイにより指で触れた領域の表面を変位させる。これにより、利用者の操作に対して触覚を介して刺激を与えることで、利用者の操作感覚を向上させるものである。以下、本発明の各実施形態について、携帯電話や携帯メディアプレーヤに代表されるモバイル機器への適用を例に説明する。

図１は、本発明の第１の実施例に係る触覚呈示機能付き表示装置の概要図である。複合パネル１０２は、画像表示用の液晶ディスプレイ１０３、利用者が指（又はスタイラスペンなど）で接触したことを検出するタッチセンサパネル１０４、触れた領域の表面を変位させる触覚ディスプレイ１０５を積層したものである。タッチセンサパネル１０４は例えば静電容量検出素子をマトリクス状に配列し、触覚ディスプレイ１０５はアクチュエータとして例えば圧電素子をマトリクス状に配列したものである。ただし、これらの素子の配列は、マトリクス状に限定せず、任意の位置に配列しても良いことは言うまでもない。これらの各パネルを駆動するため、液晶ディスプレイドライバ１０６、タッチセンサ制御回路１０７、触覚ディスプレイドライバ１０８を備える。プロセッサ１０１は、液晶ディスプレイドライバ１０６、タッチセンサ制御回路１０７、触覚ディスプレイドライバ１０８を制御するとともに、互いに連係した動作を行わせる。

本表示装置の基本動作を説明する。プロセッサ１０１は液晶ディスプレイドライバ１０６に画像データを転送し、液晶ディスプレイ１０３に動画や静止画を表示し、また仮想的な操作ボタン１０９を表示して利用者のボタン操作を待つ。そのときタッチセンサ制御回路１０７は、タッチセンサパネル１０４内の操作ボタン１０９に対応する領域に、利用者の指（スタイラスペン）が接触したことを検出するための制御信号を供給する。タッチセンサ制御回路１０７は利用者の指が接触したことを検出すると、プロセッサ１０１に検出信号を転送する。プロセッサ１０１はその検出信号から接触領域の位置（ＸＹ座標）を求め、触覚ディスプレイドライバ１０８に対し接触領域の位置データと変位量データを転送する。触覚ディスプレイドライバ１０８は、触覚ディスプレイ１０５内の指定領域のアクチュエータ（圧電素子）を駆動して所定量だけ変位（凹凸変位または振動）させる。このように本実施例では、触覚ディスプレイ１０５は利用者の指が接触した領域に限定して変位応答するものであるから、利用者にとって操作感覚が優れたものとなる。

複合パネル１０２は、液晶ディスプレイ１０３、タッチセンサパネル１０４、触覚ディスプレイ１０５を積層したものであるが、その積層順序は、表面側（利用者の操作面側）から触覚ディスプレイ１０５、タッチセンサパネル１０４、液晶ディスプレイ１０３の順に配置している。触覚ディスプレイ１０５とタッチセンサパネル１０４は薄膜で透明化することで、背面の液晶ディスプレイ１０３の画像表示を妨げないようにする。触覚ディスプレイ１０５を最表面に配置することで、触覚ディスプレイ１０５の変位を利用者の指に直接伝達できるので効率的である。すなわち、触覚ディスプレイ１０５の変位量が小さい場合に有効であり、消費電力を低減できる。なお、触覚ディスプレイ１０５の変位量が大きく取れる場合には、タッチセンサパネル１０４の裏面に触覚ディスプレイ１０５を配置する構成でも良い。

次に、各パネルの構成を詳細に説明する。
図２は、触覚ディスプレイ１０５の制御線の構成を示す図である。触覚ディスプレイ１０５には、Ｘ軸方向とＹ軸方向にマトリクス状に制御線（信号線と走査線）が配線され、それぞれの制御線は触覚ディスプレイドライバ１０８に接続される。ここでは、信号線ｘ＝１〜ｎ、走査線ｙ＝１〜ｍとする。また各走査線と信号線の交点は、ＴＦＴ（薄膜トランジスタ）スイッチ２０１を有するアクティブマトリクス型の構造１１０としており、符号２００はアクチュエータである圧電素子である。

具体的には、ＴＦＴスイッチ２０１のソース端子に電圧信号を変位量に変換する圧電素子２００（ピエゾ素子あるいはシート状のピエゾシート）を設置し、圧電素子２００の他端側は基準電極例えばＧＮＤに接続する。また、ＴＦＴスイッチ２０１のソース端子と基準電極間には、ＴＦＴスイッチ２０１がオフした場合であってもソース端子の電圧レベルを保持するための保持容量Ｃを有する。なお、基準電極は制御線の交点と同数設置するのではなくベタ形状の共通電極とし、保持容量Ｃは制御線の交点毎に設置する。

液晶ディスプレイ１０３は、画素毎にＴＦＴが配置されており、これに接続する信号線と走査線とがマトリクス状に配線されて、アクティブマトリクス型で構成される。液晶ディスプレイドライバ１０６は、液晶ディスプレイ１０３内の信号線と走査線に駆動電圧を印加する回路である。これらは、図２の触覚ディスプレイ１０５と触覚ディスプレイドライバ１０８の制御線と同様の構成である。

具体的には、プロセッサ１０１から転送されるデジタルの表示データをアナログのデータ電圧に変換し、信号線を介して、ＴＦＴ２０１のソース端子に接続された画素電極にデータ電圧を印加する。また、走査線には、ＴＦＴ２０１をオン状態にする走査パルスを線順次で印加する。以上の電圧印加により画素電極にデータ電圧が印加され、液晶分子にかかる実効値が変化し、液晶ディスプレイ１０３の表示輝度が画素毎に制御される。

タッチセンサパネル１０４は、座標検出機能に好適な投射型の静電容量方式を採用する。この場合、Ｘ軸方向とＹ軸方向に制御線がマトリクス状に配線され、その交点には、指又はスタイラスペンの接触の有無、接触動作を検知するためのセンス電極を設置する。Ｘ軸方向、及びＹ軸方向の配線数は、前述の液晶ディスプレイ１０３の信号線及び走査線の配線密度より低くする。センス電極は、指が近づいた場合に付加される容量負荷の容量値を検知する。タッチセンサパネル制御回路１０７は、センス電極からの容量変化をアナログの電圧値に変換後、アナログ−デジタル変換を実施して、デジタルデータをプロセッサ１０１へ転送する。

一般的な静電容量方式のタッチセンサパネル１０４では、樹脂製のスタイラスペンは使用できないが、例えば導電性の専用スタイラスペンと組み合わせたり、タッチセンサパネル１０４側で樹脂製スタイラスペンに対応するための仕組みを導入すれば適用可能である。後者の例を挙げるならば、抵抗膜方式を採用すれば良い。抵抗膜方式の場合には、タッチセンサパネル１０４が出力する電圧値をデジタル値に変換し、デジタルデータをプロセッサ１０１へ転送することになる。いずれにしてもスタイラスペンでの作業が可能であることが望ましい。

図３は、触覚ディスプレイ１０５の構成例を示した図である。触覚ディスプレイ１０５は、基準電極２０８上に走査線Ｇｔ１〜Ｇｔｍと信号線Ｄｔ１〜Ｄｔｎをマトリクス状に配置し、その交点にアクチュエータである圧電素子２００を配置する。圧電素子２００は、例えばピエゾ素子、あるいはシート状に変形させたピエゾシートが好適である。その際アクチュエータ（圧電素子）を薄膜化することで、液晶ディスプレイ１０３の輝度を妨げないものとする。圧電素子２００に単発のパルス波形を入力すれば、ハイ幅に応じた変位期間を有する凹凸変位（矩形刺激）を呈示する。また、圧電素子２００に繰り返しパルスを入力すればパネル面に対して法線方向の振動刺激を呈示する。

触覚ディスプレイ１０５の仕様は、ヒトの触感覚特性に合わせることが望ましい。触感覚、特に皮膚に対して垂直方向の刺激は、皮下に存在するパチニ小体と呼ばれる触覚受容器が司っていることが判っている。したがって、圧電素子２００のサイズや隣接素子間のピッチは、例えばパチニ小体のサイズ（具体的には直径１ｍｍ）を考慮して、１〜２ｍｍ単位で設計すればよい。また、刺激の変形量や周波数は、このパチニ小体の神経活動特性に合わせて設定すれば良い。具体的には、パチニ小体の感度は周波数２００Ｈｚ程度の刺激に対して最も感度が高いことが知られているので、これを考慮して触覚ディスプレイ１０５を駆動するのが良い。

図４は、触覚ディスプレイドライバ１０８の構成と動作を示す図である。触覚ディスプレイドライバ１０８は、触覚ディスプレイ１０５のＹ軸方向に配列した制御線（走査線）Ｇｔｙに線順次で走査パルスを印加し（ｙ＝１〜ｍ）、走査タイミングに同期してＸ軸方向に配列した制御線（信号線）Ｄｔｘ（ｘ＝１〜ｎ）に圧電素子２００を変位させるためのアナログ電圧Ｖｉｘを印加する。図４は、触覚ディスプレイドライバ１０８の出力端子ｘと、触覚ディスプレイ１０５内のノードｙに着目した図である。触覚ディスプレイドライバ１０８は、コントローラ２０２、電圧生成部２０３、ＤＡ変換回路２０４、バッファアンプ２０５、ＣＭＯＳスイッチ２０６、信号電極２０７、基準電極２０８を有する。圧電素子２００の一端は信号電極２０７に、他端は基準電極２０８に接続される。なお、ここでは基準電極２０８の電圧レベルはＧＮＤレベル（０Ｖ）とする。これにより圧電素子２００は、信号電極２０７と基準電極２０８間に印加される電圧のレベル差に応じて変形する。さらに個々の動作制御のために、信号電極２０７は対応するＴＦＴスイッチ２０１のソース端子に接続され、ＴＦＴスイッチ２０１のゲート端子は触覚ディスプレイ用走査線Ｇｔｙに、ＴＦＴスイッチ２０１のドレイン端子は触覚ディスプレイ用信号線Ｄｔｘに接続される。

プロセッサ１０１は、各圧電素子２００の変位量を規定する触覚ディスプレイ用デジタルデータＤｉｎｘ（ｘ＝１〜ｎ）を生成する。Ｄｉｎｘの値は変位量の大きさを示し、Ｄｉｎｘ＝０は変位量０とする。コントローラ２０２は、プロセッサ１０１から転送される触覚ディスプレイ用デジタルデータＤｉｎｘを受信し、ＤＡ変換部２０４に転送する。

電圧生成部２０３は、圧電素子２００を変位させるためのアナログ電圧Ｖｉｎｘを複数レベル生成する。生成するレベル数はプロセッサから転送されるデータのｂｉｔ数に依存し、例えば２ｂｉｔであれば４レベルのアナログ電圧を生成し、６ｂｉｔであれば６４レベルのアナログ電圧を生成するものとする。そしてＤＡ変換回路２０４は、コントローラ２０２から転送されるデジタルデータＤｉｎｘを電圧生成部２０３が生成したアナログ電圧Ｖｉｎｘに変換し、後段のバッファアンプ２０５に転送する。バッファアンプ２０５は、触覚ディスプレイ用信号線Ｄｔｘとオン状態のＴＦＴスイッチ２０１を介して、ＤＡ変換回路２０４の出力であるアナログ電圧Ｖｉｎｘを圧電素子２００に印加する。また、Ｄｉｎｘ＝０のときは、非選択領域、つまり圧電素子２００を変位させない部分の信号電極２０７にＧＮＤレベル（０Ｖ）を印加することにより、圧電素子２００の両端に印加される電圧レベルを同電位（ＧＮＤ）にする。

なお、前述のバッファアンプ２０５において低電圧側の電源電圧をＧＮＤレベルに設定すると、バッファアンプ２０５を構成するトランジスタの制約によりＧＮＤレベルを出力することができない。そこでバッファアンプ２０５の各出力にはＣＭＯＳスイッチ２０６を設置し、ＣＭＯＳスイッチ２０６をオンすることでＧＮＤレベルを出力する構成にした。この切替信号ＮＴｘ（ｘ＝１〜ｎ）は、前述のコントローラ２０２により生成して供給する。すなわちコントローラ２０２は、Ｄｉｎｘ＝０の場合（圧電素子２００を変位させない場合）は切替信号ＮＴｘ＝１とし、バッファアンプ２０５とＣＭＯＳスイッチ２０６に供給する。これによりバッファアンプ２０５への電流供給を停止し、ＣＭＯＳスイッチ２０６をＧＮＤ側に切替える。Ｄｉｎｘが０でない場合（圧電素子２００を変位させる場合）は切替信号ＮＴｘ＝０とし、バッファアンプ２０５へ電流供給し、ＣＭＯＮスイッチ２０６をバッファアンプ２０５の出力側に切替える。

このような構成とすることで、触覚ディスプレイドライバ１０８は基準電極２０８用の駆動回路を必要としない。また、ＴＦＴスイッチ２０１のソース端子にＧＮＤレベルを印加する場合は、保持容量Ｃにチャージされた電荷を駆動回路側に移動させるだけでバッファアンプ２０５に給電する必要がないため、非選択領域での圧電素子で消費される電力を削減することが可能となる。

図５は、触覚ディスプレイドライバ１０８内の信号波形を示す図である。ここでは、触覚ディスプレイの走査線Ｇｔｙをｍ本とし、信号線Ｄｔｘに着目した場合の各制御線Ｇｔ１〜Ｇｔｍ、Ｄｔｘに印加する信号のタイミングを示す。触覚ディスプレイドライバ１０８は、Ｓｙｎｃ信号を基準として各走査線Ｇｔ１〜Ｇｔｍに線順次に走査パルスを印加し、走査タイミングに同期して、信号線Ｄｔｘに圧電素子２００を変位させるためのアナログ電圧Ｖｉｎｘを印加する。また、プロセッサ１０１から入力されたデジタルデータＤｉｎｘに応じて、切替信号ＮＴｘを生成し、ＮＴｘ＝１の場合には信号線ＤｔｘにＧＮＤレベルを出力し、ＮＴｘ＝０の場合には信号線Ｄｔｘに対応するアナログ電圧Ｖｉｎｘを出力する。例えばアナログ電圧Ｖｉｎｘの信号として、指定した領域において単発のパルス波形を入力することで、その振幅に応じた変位量を有する矩形刺激（クリック動作）を呈示することができる。

さらに触覚ディスプレイ１０５は、指定した領域において任意周波数での振動動作を行うことが可能である。そのため触覚ディスプレイドライバ１０８は、走査周波数を制御することで刺激の繰り返し周波数を制御する。例えば周波数２００Ｈｚの刺激を発生させる場合には、触覚ディスプレイ１０５の走査周波数を４００Ｈｚとして、得られる包絡線の形状でボタンの押し下げ時の変位を再現すればよい。このように、アナログ電圧Ｖｉｎｘと走査周波数を適宜選択することで、所望の形態の変位を実現することができる。

触覚ディスプレイ１０５の動作は、タッチセンサパネル１０４に連動させる。すなわち、タッチセンサパネル１０４は、指が接触している領域の座標を検出し、その検出結果をプロセッサ１０１に転送する。プロセッサ１０１は接触領域を判断して、応答すべき領域情報を触覚ディスプレイ１０５に転送する。そして、触覚ディスプレイ１０５は、指定された領域のアクチュエータのみを動作させ、それ以外の領域は動作させないものとする。このようにして、タッチセンサパネル１０４が検知した接触動作に連動して触覚ディスプレイ１０５のアクチュエータを動作させることにより、利用者に対し好適な触覚刺激を与えることができる。なお、プロセッサ１０１は触覚ディスプレイドライバ１０８に対し、液晶ディスプレイ１０３で表示された画像のパターンに応じて所定の領域（例えば仮想ボタンの領域）のアクチュエータを駆動させるようにすることもできる。

以上のような装置構成と動作により、液晶ディスプレイ１０３とタッチセンサパネル１０４と触覚ディスプレイ１０５との組み合わせにおいて、画像として表示した仮想ボタンが、あたかも実際に存在するかのような操作感覚を利用者（操作者）に与えることが可能になる。また、タッチセンサパネル１０４が指の接触を検出しなかった領域については、アクチュエータへの通電を抑制することにより、パネル全体を駆動する場合に比べて消費電力を低減できる。本実施例の表示装置をモバイル端末に適用すれば、使い勝手の優れた省電力のモバイル端末を提供できる。

第２の実施例は、タッチセンサパネルの機能と触覚ディスプレイの機能とを同一パネル内に混在させて構成したものである。以下このパネルを、「混在パネル」または「共通パネル」と呼ぶ。これにより、液晶ディスプレイの前面に配置するパネル数を１枚に低減し、液晶ディスプレイの表示輝度が減衰するのを防止し、高画質化を可能とするものである。

図６は、本発明の第２の実施例に係る触覚呈示機能付き表示装置の概要図である。３０１はタッチセンサと触覚ディスプレイの混在パネル（共通パネル）であり、液晶ディスプレイ１０３の前面に配置する。タッチセンサ制御回路３０２と触覚ディスプレイドライバ３０３は実施例１と同様であり、それぞれ混在パネル３０１中のタッチセンサの部分と触覚ディスプレイの部分とを駆動する。

混在パネル３０１は、同一面上にタッチセンサ部（例えば静電容量検出素子）と触覚ディスプレイ部（例えば圧電素子）を設置した構成であり、タッチセンサ部と触覚ディスプレイ部の両方に対して、利用者（操作者）の指、又はスタイラスペンが直接接触できるようにしたものである。すなわち、実施例１ではタッチセンサ部は背面に配置されていたがこれを前面に配置することで、タッチセンサ部の検出性能を向上させ誤動作を防止することができる。

図７は、混在パネル３０１の制御線の構成を示す図である。混在パネル３０１の場合、同一面上にタッチセンサ部３０１ａと触覚ディスプレイ部３０１ｂを交互に設置した構成であり、タッチセンサ用制御線と触覚ディスプレイ用制御線（走査線、信号線）を交互に配線して、タッチセンサ制御回路３０２と触覚ディスプレイドライバ３０３を接続する。なお、タッチセンサ部３０１ａと触覚ディスプレイ部３０１ｂを交互に設置しない場合は、これに合わせてタッチセンサ用制御線と触覚ディスプレイ用制御線の配置を決定すればよい。本実施例の動作は、第１の実施例と同様であるため、説明を省略する。

以上より、液晶ディスプレイと混在パネル（タッチセンサ部と触覚ディスプレイ部）の組み合わせにおいて、画像として表示した仮想ボタンがあたかも実際に存在するかのような感覚を利用者（操作者）に与え、操作感を向上させることが可能となる。本実施例では、タッチセンサ部と触覚ディスプレイ部がいずれも操作者の指、又はスタイラスペンに接触することができるので、タッチセンサ機能の検出精度が向上する。

第３の実施例は、第２の実施例における触覚ディスプレイ用の素子とタッチセンサ用の素子とを同一素子（共通素子）で兼用する構成である。例えば圧電素子（ピエゾ素子）を共通素子として、触覚ディスプレイ機能とタッチセンサ機能に適用する。以下このパネルを「兼用パネル」と呼ぶ。これにより、液晶ディスプレイの前面に配置する兼用パネル内の素子数とその制御線数を削減（半減）させ、液晶ディスプレイの表示輝度を減衰させず、より高画質化を可能とするものである。なお、素子を兼用するため、タッチセンサパネルとしての動作と触覚ディスプレイとしての動作を交互に行うように、時分割で制御する。

図８は、本発明の第３の実施例に係る触覚呈示機能付き表示装置の概要図である。４０１はタッチセンサ−触覚ディスプレイ兼用パネル（兼用パネル）であり、４０２はタッチセンサ制御回路兼用触覚ディスプレイドライバ（兼用ドライバ）である。兼用パネル４０１は、第１の実施例における触覚ディスプレイ１０５と同様の構成とし、共通素子として圧電素子２００を兼用して用いる。

図９は、兼用パネル４０１の制御線の構成を示す図である。制御線の配線は、第１の実施例における触覚ディスプレイ１０５と同様の構成である。兼用パネル４０１を触覚ディスプレイとして使用する場合は、第１の実施例と同様に圧電素子２００に電圧を与えて、所定量だけ変位させる。一方、兼用パネル４０１をタッチセンサとして使用する場合は、圧電素子２００に外部から力ｆを印加させた場合に起電圧が発生することを利用し、各圧電素子２００で発生した電圧を圧電素子端子間に設置した保持容量Ｃに保持させ、タッチセンサ機能用の走査期間でその電圧レベルを読み出すことにする。以上の動作を実現するため、兼用ドライバ４０２は、触覚ディスプレイの駆動電圧を印加する機能とタッチセンサ機能の電圧読み出し機能を有する。

図１０Ａと図１０Ｂは、兼用ドライバ４０２の構成と動作を示す図であり、図１０Ａはタッチセンサ動作時の状態、図１０Ｂは触覚ディスプレイ動作時の状態を示す。図では、兼用ドライバ４０２の入出力端子ｘと、兼用パネル４０１内のノードｙに着目している。兼用ドライバ４０２の構成は、触覚ディスプレイ機能を実現するために、コントローラ２０２、電圧生成部２０３、ＤＡ変換回路２０４、バッファアンプ２０５、ＣＭＯＳスイッチ２０６を有する。これは前記図４の構成と同様である。さらにタッチセンサ機能を実現するために、ＣＭＯＳスイッチ５０１、バッファアンプ５０２、座標検出部５０３を有する。タッチセンサ動作と触覚ディスプレイ動作の切替えは、ＣＭＯＳスイッチ５０１により行う。

図１０Ａのタッチセンサ動作時は、ＣＭＯＳスイッチ５０１で兼用ドライバ４０２の入出力端とバッファアンプ５０２の入力を短絡する。バッファアンプ５０２には、オン状態のＴＦＴスイッチ２０１に接続された圧電素子２００の端子電圧Ｖｏｕｔｘを入力する。バッファアンプ５０２はボルテージフォロア、あるいは圧電素子２００が出力し得る電圧レベルによっては電圧増幅を実施し、その出力電圧を座標検出部５０３に転送する。このようにして、兼用ドライバ４０２の各入出力端に設置された複数のバッファアンプ５０２の出力が座標検出部５０３に入力され、それらを基に、利用者の指、あるいはスタイラスペンの接触領域を特定する。接触領域の特定方法の一例を挙げるならば、座標検出部５０３に入力される電圧レベルを比較し、最も高電圧を出力するバッファアンプ５０２に対応する出力でＸ軸方向の位置を特定し、それに対応する走査タイミングからＹ軸方向の位置を特定することが可能である。このようにして得られた指、又はスタイラスペンの接触領域のＸＹ座標やバッファアンプ５０２から得られた電圧レベルをプロセッサ１０１に転送する。

図１０Ｂの触覚ディスプレイ動作時は、ＣＭＯＳスイッチ５０１で、兼用ドライバ４０２の入出力端とＣＭＯＳスイッチ２０５を短絡する。プロセッサ１０１は、図１０Ａの動作で特定された接触領域のＸＹ座標をもとに、触覚ディスプレイ用デジタルデータＤｉｎｘを生成してコントローラ２０２に渡す。それ以後の動作は、前述した第１の実施例と同様であり、該当する圧電素子２００に電圧Ｖｉｎｘを印加して変位させる。

図１１は、兼用ドライバ４０２におけるタッチセンサ動作と触覚ディスプレイ動作の切替えタイミングを示す図である。５０５はタッチセンサ動作期間、５０６は触覚ディスプレイ動作期間であり、５０４はそれらの１サイクル期間である。Ｓｙｎｃは１サイクル期間５０４を規定するためのタイミング信号であり、ＳＥＬはタッチセンサ動作期間５０５と触覚ディスプレイ動作期間５０６を切替える信号、つまりＣＭＯＳスイッチ５０１の制御信号である。本実施例では、ＳＥＬ＝０でタッチセンサ動作期間５０５を、ＳＥＬ＝１で触覚ディスプレイ動作期間５０６を選択するものとする。そして、走査線Ｇｔｙ（ｙ＝１〜ｍ）に対しては、タッチセンサ動作期間５０５ではタッチセンサ用走査パルスを印加し、触覚ディスプレイ動作期間５０６では触覚ディスプレイ用走査パルスを印加する。なお、信号線Ｄｔｘへの電圧印加については、実施例１と同様であり、説明を省略する。

以上より、液晶ディスプレイと兼用パネル（タッチセンサと触覚ディスプレイ）の組み合わせにおいて、画像として表示した仮想ボタンがあたかも実際に存在するかのような感覚を利用者（操作者）に与え、操作感を向上させることが可能となる。本実施例では、タッチセンサと触覚ディスプレイの兼用パネルを用いるので、パネル内の素子数と制御線数を削減させ、背面の液晶ディスプレイの表示輝度を減衰させず、より高画質化を可能とするものである。さらに、タッチパネル動作と触覚ディスプレイ動作が時分割で行われるので、互いの動作が干渉することなく、高精度の動作が可能となる。

第４の実施例は、タッチセンサパネルのセンス電極の配置、あるいは触覚ディスプレイのアクチュエータの配置を、パネル内で等間隔ではなく、使用するアプリケーションに合わせて、粗密間隔を混在させて配置したものである。

図１２は、本発明の第４の実施例に係る触覚呈示機能付き表示装置の概要図である。ここでは、前記実施例３の兼用パネルを用いる場合について示す。６０１は液晶ディスプレイ、６０２はボタン表示領域、６０３は兼用パネル（タッチセンサパネル／触覚ディスプレイ兼用）、６０４は兼用ドライバ（タッチセンサ制御回路／触覚ディスプレイドライバ兼用）である。

ここで、兼用パネル６０３内の制御線の配置は、例えばパネル中央部を高密度領域６０５とし、それ以外の周辺部を低密度領域６０６として設定する。この高密度領域６０５は、例えば液晶ディスプレイ６０１内のボタン表示領域６０２、すなわち操作用領域と対応する位置に設けたものである。これにより、ボタン操作で必要とされる機能、すなわちタッチセンサの検出精度や触覚ディスプレイの空間的分解能を損なうことはない。

パネル内の制御線の高密度領域６０５と低密度領域６０６は、使用するアプリケーションの形状と位置に合わせて設定すればよい。また、粗密間隔を混在させる構成は、タッチセンサパネルと触覚ディスプレイを独立に構成する場合（実施例１）や、両者を混在パネルで構成する場合（実施例２）にも同様に適用できる。これにより、タッチセンサパネルや触覚ディスプレイの制御線数が削減され、同時にタッチセンサの制御回路及び触覚ディスプレイドライバの出力数も削減できるため、パネルや表示装置の低コスト化を図ることができる。

以上の各実施例では、画像表示用ディスプレイとして液晶ディスプレイを例にして説明してきたが、これ以外のディスプレイ、例えば有機ＥＬディスプレイ、電子ペーパーディスプレイなども適用可能である。また、液晶ディスプレイはアクティブマトリクス型としたが、画素毎にＴＦＴを配置しないパッシブマトリクス型の液晶ディスプレイであっても構わない。また、タッチセンサパネルとして静電容量方式を前提に説明してきたが、これ以外のタッチセンサ、例えば抵抗膜方式、光学式方式などその他のタッチセンサであっても適用可能である。さらに触覚ディスプレイに関しても、電圧制御のアクチュエータに限るわけではなく、同様の制御及び刺激呈示が可能であれば、例えば空気圧を使用した触覚ディスプレイであっても構わない。

以上の各実施例によれば、画像表示用ディスプレイとタッチセンサ機能を組み合わせた表示装置において、画像表示した仮想ボタンがあたかも実際のボタンのような操作感覚を利用者に与えることが可能になる。本実施例の適用分野は、モバイル端末だけでなく大型ＴＶのディスプレイまで広範囲にわたって適用可能である。

１０１…プロセッサ、
１０２…複合パネル、
１０３…液晶ディスプレイ、
１０４…タッチセンサパネル、
１０５…触覚ディスプレイ、
１０６…液晶ディスプレイドライバ、
１０７，３０２…タッチセンサ制御回路、
１０８，３０３…触覚ディスプレイドライバ、
１０９…仮想ボタン、
１１０…アクティブマトリクス構造、
２００…圧電素子、
２０１…ＴＦＴスイッチ、
２０２…コントローラ、
２０３…電圧生成部、
２０４…ＤＡ変換回路、
２０５…バッファアンプ、
２０６…ＣＭＯＳスイッチ、
２０７…信号電極、
２０６…基準電極、
３０１…混在パネル（タッチセンサ／触覚ディスプレイ混在）、
４０１，６０３…兼用パネル（タッチセンサ／触覚ディスプレイ兼用）、
４０２，６０４…兼用ドライバ（タッチセンサ制御回路／触覚ディスプレイドライバ兼用）、
５０１…ＣＭＯＳスイッチ、
５０２…バッファアンプ、
５０３…座標検出部、
６０１…画像表示用ディスプレイ、
６０２…ボタン表示領域、
６０５…高密度領域、
６０６…低密度領域。

Claims (10)

1. 画像を表示画面に表示するとともに、該表示画面を変位させて触覚的な刺激を呈示する触覚呈示機能付き表示装置において、
   複数の画素を面内に配置して画像を表示する画像表示用ディスプレイと、
   該画像表示用ディスプレイを駆動する画像表示用ディスプレイドライバと、
   複数のセンス電極を面内に配置して指またはペンの接触を検出するタッチセンサパネルと、
   該タッチセンサパネルを制御するタッチセンサ制御回路と、
   複数のアクチュエータを面内に配置して所定の領域を表示画面の法線方向に変位させる触覚ディスプレイと、
   該触覚ディスプレイを駆動する触覚ディスプレイドライバと、
   上記画像表示用ディスプレイドライバと上記タッチセンサ制御回路と上記触覚ディスプレイドライバを制御するプロセッサを備え、
   画像表示側から見て上記画像表示用ディスプレイの前面に上記タッチセンサパネルと上記触覚ディスプレイとを配置して積層したことを特徴とする触覚呈示機能付き表示装置。
2. 請求項１に記載の触覚呈示機能付き表示装置において、
   前記触覚ディスプレイを前記タッチセンサパネルの前面に配置して積層したことを特徴とする触覚呈示機能付き表示装置。
3. 請求項１に記載の触覚呈示機能付き表示装置において、
   前記タッチセンサパネルと前記触覚ディスプレイとを共通のパネルにて構成し、前記センス電極と前記アクチュエータを同一面内に配置したことを特徴とする触覚呈示機能付き表示装置。
4. 請求項３に記載の触覚呈示機能付き表示装置において、
   前記共通のパネル内に配置する前記センス電極と前記アクチュエータを共通の素子で構成するとともに、
   前記タッチセンサ制御回路と前記触覚ディスプレイドライバとを共通のドライバで構成したことを特徴とする触覚呈示機能付き表示装置。
5. 請求項１ないし４のいずれか１項に記載の触覚呈示機能付き表示装置において、
   前記触覚ディスプレイドライバは、前記タッチセンサ制御回路からの接触検出信号に基づいて所定の領域のアクチュエータを駆動することを特徴とする触覚呈示機能付き表示装置。
6. 請求項５に記載の触覚呈示機能付き表示装置において、
   前記触覚ディスプレイドライバは、さらに、前記画像表示用ディスプレイで表示された画像のパターンに応じて所定の領域のアクチュエータを駆動することを特徴とする触覚呈示機能付き表示装置。
7. 請求項４に記載の触覚呈示機能付き表示装置において、
   前記共通のドライバは前記共通の素子に対し、前記センス電極として動作する期間と前記アクチュエータとして動作する期間とを時分割に設定して駆動することを特徴とする触覚呈示機能付き表示装置。
8. 請求項１ないし４のいずれか１項に記載の触覚呈示機能付き表示装置において、
   前記触覚ディスプレイ内のアクチュエータ、または前記共通のパネル内の共通の素子を、前記画像表示用ディスプレイで表示する操作用画像の領域では高密度に、他の領域では低密度に配置したことを特徴とする触覚呈示機能付き表示装置。
9. 請求項１または４に記載の触覚呈示機能付き表示装置において、
   前記触覚ディスプレイ内のアクチュエータ、または前記共通のパネル内の共通の素子として圧電素子を用いたことを特徴とする触覚呈示機能付き表示装置。
10. 請求項１に記載の触覚呈示機能付き表示装置において、
    前記触覚ディスプレイドライバは、前記触覚ディスプレイ内のアクチュエータを所定の周波数で順次走査し、所定領域のアクチュエータを所定の周波数で振動させることを特徴とする触覚呈示機能付き表示装置。

Images