JP2006012184A - 表示装置、情報処理装置、及びその制御方法 - Google Patents

Abstract

【課題】 単純な視覚的手段や聴覚的手段によるインタフェース機構に加えて、よりリアリティのあるインタフェース機能を有する表示装置を提供する。
【解決手段】 ディスプレイパネル１００は、振動素子２００によって振動を付与される状態で支持されている。ディスプレイパネル１００の裏面には位置センサシート３００が配置され、ディスプレイパネル１００に対するペン５００等の接触位置を検出する。位置センサシート３００の裏面には、配線基板４００が配置され、制御回路４１０と信号変換回路４２０が設けられている。制御回路４１０はペン５００の接触位置と表示中の画像の内容に応じて、振動の種類を決定し、それを信号変換回路４２０に伝える。信号変換回路４２０は、制御回路４１０の指示に基づいて、振動素子２００を駆動し、ディスプレイパネル１００を振動させ、ペン５００を介してオペレータに伝える。
【選択図】図１

Description

本発明は、各種情報を表示する表示画面を有する表示装置に関し、特に表示画面に表示した画像を手指やポインティングデバイス等で指定することにより、所定の入力を行う機能を有する表示装置に関する。

従来より、パーソナルコンピュータに設けられる表示装置において、表示画面上に座標検出装置を配置し、表示画面に表示されたアイコン等をタブレット等のペン入力装置によって指定することにより、この指定位置を座標検出装置によって検出し、その指定内容に応じて表示画面を切り換えたり、指定内容に対応したメッセージの音声合成出力を行うようにしたペン入力インタフェース機能を有するものが知られている。

しかしながら、従来のペン入力インタフェース機能を有する表示装置においては、視覚と聴覚とによるフィードバックインタフェースであるため、例えば３次元立体表現等のように、リアリティを志向するデジタルコンテンツの情報提供において、質や操作性に限界があるため、一層の直感的リアリティを実現することが望まれる。
また、上述した従来の表示装置では、画面とペン先との接触感覚が一様で滑り易く、硬質であるため、メタファーとする実際の紙とペンの触感覚と比べ、違和感、不確実感があり、ペン入力になじめないユーザが少なくない。

そこで本発明の目的は、単純な視覚的手段や聴覚的手段によるインタフェース機構に加えて、よりリアリティのあるインタフェース機能を有する表示装置を提供することにある。

本発明は前記目的を達成するため、各種情報を表示する表示画面を有する表示装置において、前記表示画面に所定の接触手段が接触した場合に、その接触条件を検出する接触条件検出手段と、前記表示画面に対する接触手段の接触条件に応じて特定の振動を生成し、前記表示画面を介して前記接触手段に伝達する振動生成手段とを有することを特徴とする。

本発明の表示装置では、例えば手指やペン等の接触手段によって表示画面の特定位置を指定した場合、その接触条件、例えば接触位置、接触圧力、移動速度、接触手段の種類等を接触条件検出手段が検出する。
そして、その検出した接触条件に応じて振動生成手段が特定の振動を生成し、これを表示画面を介して接触手段に伝達する。
この結果、オペレータの操作内容に応じた振動が接触手段を介してオペレータに伝わる。これにより、従来は無機質であった接触感覚を改善でき、オペレータに感覚的なリアリティを与えることができる。
本発明の表示装置では、表示画面に所定の接触手段が接触した場合に、その接触条件を検出し、その接触条件に応じて特定の振動を生成し、表示画面を介して接触手段に伝達するようにした。
このため、画面上の画像が単に視覚的要素として扱われるのでなく、接触手段を介して伝えられる振動により一定の触感をもった対象として捉え易くなり、従来は無機質であった接触感覚を改善でき、オペレータに感覚的なリアリティを与えることができる。
したがって、グラフィック−ユーザインタフェースの可能性を広げることができ、触感覚を生かしたデジタルコンテンツ（ゲーム、教育等）を構成することも可能となる。また、ペン入力装置と画面との間の接触感をペンと紙との接触感に近づけることができ、シミュレート装置としての表示装置の機能を向上することができる。
さらに、軽度視覚障害者に対して、グラフィック−ユーザインタフェースの補助機能としての利用も可能である。

以下、本発明による表示装置の実施の形態例について説明する。
図１は、本発明による表示装置の外観例を示す斜視図であり、図２は、図１に示す表示装置の構成を示す分解斜視図である。
本例の表示装置は、ディスプレイパネル１００と、振動素子２００と、位置センサシート３００と、配線基板４００とを有し、例えばペン５００や手指等によってディスプレイパネル１００上の表示領域を指定するものである。
ディスプレイパネル１００は、ＬＣＤ表示画面を構成するものであり、各種の画像や文字列を表示するものである。
振動素子２００は、例えば圧電素子等より構成されたものであり、ディスプレイパネル１００をその両側から微動可能に支持するとともに、ディスプレイパネル１００に振動を付与するものである。

位置センサシート３００は、ディスプレイパネル１００に対するペン５００等の接触位置を、電磁誘導方式や静電結合方式等の原理によって検出するものである。
配線基板４００は、図示しないパーソナルコンピュータからの信号を入力してディスプレイパネル１００への表示情報を出力したり、位置センサシート３００からの検出信号を処理する制御回路４１０を設けたものである。
また、配線基板４００には、制御回路４１０からの制御信号に基づいて振動素子２００の駆動信号を出力する信号変換回路４２０が設けられている。

以上のような構成の表示装置において、制御回路４１０は、パーソナルコンピュータからの各種コマンドやデータに基づいて、ディスプレイパネル１００への画像表示を行う。この画像表示には、オペレータがペン５００により選択すべき選択肢をウインドウやアイコン等によって表示した画像や、オペレータがペン５００により任意の描画を行うための画像が含まれる。
そして、このような画像表示制御を行っている状態おいて、ディスプレイパネル１００上に接触しているペン５００の位置を位置センサシート３００で検出する。そして、位置センサシート３００は、この位置検出データを制御回路４１０に出力する。

制御回路４１０は、位置センサシート３００からの位置検出データに基づいて、例えばオペレータによる選択指示等を認識し、この指示に基づいて、画面の切り換えやデータの取り込み等の各種処理を行う。
また、制御回路４１０は、位置センサシート３００からの位置検出データと、ディスプレイパネル１００に表示している特定の画像（オブジェクト）の位置データとを照合し、一致している場合には、そのオブジェクトに対応した振動を所定のアルゴリスムに基づいてリアルタイムに決定する。なお、この決定は、予め制御回路４１０のメモリ内に、オブジェクトの位置データとともに、振動の種類を対応させたテーブルを記憶しておき、このテーブルを参照して振動の種類を決定してもよい。

そして、制御回路４１０は、その決定した振動に対応する制御信号を信号変換回路４２０に出力する。信号変換回路４２０は、この制御信号に対応して駆動信号を振動素子２００に出力する。これにより、振動素子２００が作動し、ディスプレイパネル１００を振動させる。
そして、このディスプレイパネル１００を振動させる場合の周波数や振幅等を変えることにより、オブジェクトに対応した振動をペン５００等を介してオペレータに伝えることができ、よりリアリティのあるインタフェース機能を得ることができる。

次に、オブジェクトの種類と振動の種類との対応関係の具体例について説明する。
図３は、オブジェクトのコントラストによって振動の強弱、波形を変化させる例を示す説明図である。
図３（Ａ）に示すように、ディスプレイパネル１００には、輪郭のはっきりしたストライプ画像１０Ａと、輪郭のはっきりした細いストライプ画像１０Ｂと、輪郭のはっきりしないストライプ画像１０Ｃと、輪郭のはっきりしない太いストライプ画像１０Ｄが表示されている。

そして、これらのストライプ画像１０Ａ〜１０Ｄを横断するように、ペン５０を進ませた場合、その接触点の変位に同期して、図３（Ｂ）に示すように、ストライプ画像１０Ａ〜１０Ｄの輪郭の強弱と幅に応じた振動１２Ａ〜１２Ｄを生成し、これをペン５００を介してオペレータに伝える。
これによりオペレータは、ペン５００を各ストライプ画像１０Ａ〜１０Ｄ上で操作しているときには、そのストライプ画像１０Ａ〜１０Ｄに応じた振動を受け、一定の抵抗感を感じることができる。
この結果、無機質で均一な接触感によりペン５００を操作するのに比較して、よりリアルな操作感を与えることができる。したがって、このようなペン５００より受ける振動による操作感の変化と、表示画像の切り換えによる視覚的な効果、さらには音声合成による聴覚的な効果とを連動させることで、よりリアリティのあるインタフェース機能を得ることができる。

なお、振動を選択する画像の条件としては、上述した画像のコントラストの他に、画像の色、意味性、画像属性等を用いることができる。ここで画像の意味性とは、例えば太陽を表した画像と月を表した画像とで振動を変えたり、人を表した画像と犬を表した画像とで振動を変えたりするものである。また、画像属性とは、例えば表示画像が文字列画像か、絵乃至図形の画像かで振動を変えるものである。

図４、図５は、以上のような各種オブジェクトの触感覚変換の例を示す説明図である。
図４（Ｂ）では、山の高さで振動の強度を示しており、図４（Ａ）に示すような視覚的な表示画像に対し、図４（Ｂ）に示すような強度の振動を生成し、その強度に応じて、ペン５００を移動した場合の抵抗感を変えることができる。
また、図５（Ｂ）では、斜線の種類によって振動の種類を示しており、図５（Ａ）に示すような視覚的な表示画像に対し、図５（Ｂ）に示すように振動を変化させて、ペン５００を移動した場合の抵抗感を変えることができる。
このような振動の変化によって各種オブジェクトの触感覚変換を行うことができ、立体感をもつオブジェクトとして認識させることができる。

また、以上の例では、ペン５００の接触位置を検出し、この接触位置に応じて振動を生成するようにしたが、上述した位置センサシート３００の代わりに、例えばディスプレイパネル１００の上面に、透明の圧力センサシートや接触面を検出可能なセンサシートを設け、ペン５００の接触圧力や接触面の大きさを検出することにより、この検出結果に基づいて振動を変化させるようにしてもよい。
例えば図６は、ペン５００の接触圧や接触面の大きさに基づいて、ペン５００の種類を識別し、その識別結果に応じて振動の強弱、波形を変化させる例を示す説明図である。

図６（Ａ）に示すように、フェルトペンによる描画２０Ａと、チョークによる描画２０Ｂと、クレヨンによる描画２０Ｃとを識別することにより、図６（Ｂ）に示すように、各筆記具に応じた２２Ａ〜２２Ｃを生成し、これをペン５００を介してオペレータに伝える。
また、筆記具に限らず、他のマテリアル（例えば手指でもよい）を想定し、それに応じて振動を変えることも勿論可能である。また、同様にペン５００による接触圧力を検出し、接触圧力に応じて振動を変化させることもできる。

また、接触位置の検出によって、マテリアルの移動速度を判定し、その結果によって振動を変化させることもできる。さらに、マテリアルの種類、接触圧力、移動速度の組み合わせによって、振動を変化させるようにしてもよい。
また、位置検出センサとパターン解析装置とを組み合わせることにより、入力途中の画像の属性や意味性を認識し、この認識結果に基づいて、振動を変化させるようにしてもよい。
例えば、ある選択肢に対し、ＹＥＳならマル、ＮＯならバツをペン５００で入力することにより選択するようなシステムにおいて、ペン５００の軌跡がマルかバツかを入力途中でリアルタイムに判断し、この判断に応じて振動の強度を徐々に変化させるような構成とすることも可能である。

本発明による表示装置の外観例を示す斜視図である。 図１に示す表示装置の構成を示す分解斜視図である。 図１に示す表示装置において、オブジェクトのコントラストによって振動を変化させる例を示す説明図である。 図１に示す表示装置において、オブジェクトの触感覚変換の例を示す説明図である。 図１に示す表示装置において、オブジェクトの触感覚変換の他の例を示す説明図である。 図１に示す表示装置において、ペンの接触圧や接触面の大きさに基づいて振動を変化させる例を示す説明図である。

符号の説明

１００……ディスプレイパネル、２００……振動素子、３００……位置センサシート、４００……配線基板、４１０……制御回路、４２０……信号変換回路、５００……ペン。

Claims (13)

1. 各種情報を表示する表示画面を有する表示装置において、
   前記表示画面に所定の接触手段が接触した場合に、その接触条件を検出する接触条件検出手段と、
   前記表示画面に対する接触手段の接触条件に応じて特定の振動を生成し、前記表示画面を介して前記接触手段に伝達する振動生成手段と、
   を有することを特徴とする表示装置。
2. 前記接触条件検出手段は、前記接触条件として、表示画面に対する接触手段の接触位置を検出する機能を有し、前記振動生成手段は、前記接触手段の接触位置に表示された画像の内容に対応する振動を生成することを特徴とする請求項１記載の表示装置。
3. 前記画像の内容には、画像のコントラスト、色、意味性、画像属性のいずれか１つまたは複数の組み合わせを含むことを特徴とする請求項２記載の表示装置。
4. 前記画像属性とは、表示画像が文字列画像か、絵乃至図形の画像かを区別するものであることを特徴とする請求項３記載の表示装置。
5. 前記接触条件検出手段は、前記接触条件として、表示画面に対する接触手段の接触状態を検出する機能を有し、前記振動生成手段は、前記接触手段の接触状態に対応する振動を生成することを特徴とする請求項１記載の表示装置。
6. 前記接触手段の接触状態には、前記接触手段の接触圧力、移動速度、接触手段の種類のいずれか１つまたは複数の組み合わせを含むことを特徴とする請求項５記載の表示装置。
7. 前記接触条件検出手段は、前記接触条件として、入力途中の画像の属性及び／または意味性を認識する機能を有し、前記振動生成手段は、入力途中の画像の属性及び／または意味性に対応する振動を生成することを特徴とする請求項１記載の表示装置。
8. 前記接触条件検出手段によって検出される接触条件に応じて特定の音響出力を生成する音響出力生成手段を有することを特徴とする請求項１記載の表示装置。
9. 前記接触条件検出手段によって検出される接触条件に応じて表示を切り換えるとともに、前記振動生成手段による振動を切り換えることを特徴とする請求項１記載の表示装置。
10. 前記特定の振動とは、特定の周波数及び／または特定の振幅を有する振動であることを特徴とする請求項１記載の表示装置。
11. 前記特定の振動とは、前記表示画面に表示された画像の意味性に対応して周波数及び／または振幅が変動する振動であることを特徴とする請求項１記載の表示装置。
12. 前記表示画面を構成するディスプレイパネルと、前記ディスプレイパネルに振動を付与する振動生成手段としての振動素子と、前記ディスプレイパネルの裏面に配置され、前記ディスプレイパネルに対する接触手段の接触位置を検出する位置センサと、前記位置センサの検出出力に応じて振動の種類を決定する制御回路と、前記制御回路からの制御信号に基づいて前記振動素子へ駆動信号を出力する信号変換回路とを有することを特徴とする請求項２記載の表示装置。
13. 前記制御回路と前記信号変換回路は、前記位置センサの裏面に配置された配線基板に設けられていることを特徴とする請求項２記載の表示装置。

Images