JP2009064357A - ユーザインターフェース装置及び携帯情報端末 - Google Patents

Abstract

【課題】 使用者に対して視触覚的に情報を伝達可能な構成において、視覚的に伝えられる情報の変更と共に触覚的に伝えられる情報についての変更をも可能とする。
【解決手段】
視触覚ＵＩパネル５５は、流体の注入・排出により所定形状に変形する透明な複数の変形部４１，５１が各々配された複数の層からなる。ポンプ５３は、流体を吐出・吸引する。流路４４，５４は、ポンプ５３が吐出した流体を変形部４１，５１へ供給、若しくは排出させる。そして、視触覚ＵＩパネル５５は、ディスプレイパネルの上面に配されており、当該視触覚ＵＩパネル５５の変形部４１，５１は、ディスプレイパネル上の画像に応じて変形制御される。
【選択図】 図２

Description

本発明は、視覚的及び触覚的な形態によりユーザへ情報を伝えることが可能なユーザインターフェース装置及び携帯情報端末に関する。

従来より、例えば液晶パネル等のディスプレイ上にいわゆるタッチパネルが配置された情報表示・入力装置では、ディスプレイ画面上に例えば仮想キーの画像等が表示されている状態で、その仮想キーの表示位置に対応したタッチパネルエリア上を、ユーザが指先やスタイラスペンのペン先などで触れることにより、その仮想キーに割り当てられている情報を入力若しくは選択するようなことが可能となされている。

なお、特開２００４−１５７９３３号の公開特許公報（特許文献１）には、透明基板上に配列された変位部と、その変位部を制御信号に応じて基板離隔方向に変位させる変位力生成部とから構成される複数の変位素子と、それら変位素子に近接して設けられ、前記変位部が当接した状態で変位力を受けたときに当該当接部分が凸状に変位する透明フィルム層と、前記各変位素子に対し個別的に制御信号を出力可能な制御手段とを備えた凹凸形成デバイスが開示されている。そして、透明基板とフィルム層が表示デバイスと重ねられてパネル構造となされ、そのパネル表面部には接触を検出するための接触検出手段が設けられている。この公報には、凹凸形成デバイスの透明フィルム層を凸状に変位させることで、タッチパネル操作時に触れるべき指定表示位置（例えば仮想キー位置）を使用者に知らせるようにしている。

特開２００４−１５７９３３号公報（図１，図９）

上述したように、表示デバイスのパネル表面上に例えば凹凸形成デバイスとタッチパネルを配置して、当該パネル表面上に凹凸形状を形成可能とした構成を用いれば、使用者に対して、画面上の表示内容による視覚的な形態での情報伝達だけでなく、凹凸形状の形成による触覚的な形態での情報伝達も可能になる。

しかしながら、前述の公開特許公報に記載されたような構成の場合、上記パネル表面上の或る位置に形成される凹凸形状は、常に同じ凹凸形状となる。つまり、パネル表面の或る位置に形成可能な凹凸形状は、同位置に配されている変位素子の形状に依存しており、したがって例えば、当該或る時に凹凸形状を形成させ、一方、別の時にはそれとは異なる凹凸形状を形成させるようなことはできない。すなわちこのことを言い換えると、前述の公開特許公報記載の構成では、使用者に対して視覚的な形態で伝えられる情報については、画面上の表示内容を変えることにより変更可能であるが、使用者に対して触覚的な形態で伝えられる情報については、上記凹凸形状が常に同じ形状となるために変更することができない。

一方で、例えば、表示内容を変更することで視覚的な形態により伝えられる情報を変更すると同時に、触覚的な形態で伝えられる情報についても、当該表示内容の変更に連動して変えること（つまり凹凸形状を変更すること）ができれば、使用者に対してより多彩で且つ正確なユーザインターフェースが可能になる。

本発明は、このような実情に鑑みて提案されたものであり、使用者に対して視覚的及び触覚的な形態で情報を伝える構成において、視覚的な形態により伝えられる情報の変更と共に触覚的な形態により伝えられる情報についての変更をも可能とするユーザインターフェース装置及び携帯情報端末を提供することを目的とする。

本発明のユーザインターフェース装置及び携帯情報端末は、流体の注入若しくは排出により所定形状に変形する透明な複数の変形部が各々配された複数の層からなる透明パネル部と、変形部へ注入される流体を供給する透明流路と変形部から排出された流体の透明流路とが共通化されるか若しくは別個に形成された流路部と、流体を少なくとも流路へ吐出するか若しくは流路から吸引する流体ポンプ部と、透明パネル部が上面に設けられ、少なくとも画像を表示するための表示面を備えた表示パネル部と、表示パネル部の表示面上に表示する画像に応じて透明パネル部の変形部への流体の注入若しくは排出を制御する制御部とを有することにより、上述した課題を解決する。

すなわち、本発明によれば、流体の注入若しくは排出により所定形状に変形する透明な複数の変形部が各々配された複数の層からなる透明パネルにおいて、各層の変形部をそれぞれ変形させることで、透明パネル部上に形成される形状を様々な形状にすることができる。

本発明においては、流体の注入若しくは排出により所定形状に変形する透明な複数の変形部が各々配された複数の層からなる透明パネルについて、各層の変形部をそれぞれ変形させることにより、視覚的な形態により伝えられる情報の変更と共に触覚的な形態により伝えられる情報についての変更をも可能となる。

以下、図面を参照しながら、本発明の一実施形態について説明する。

なお、以下の実施形態では、本発明のユーザインターフェース装置及び携帯情報端末の適用例として携帯電話端末を挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。

〔基本構成〕
図１〜図３には、本発明実施形態の携帯電話端末４０に設けられる視触覚ＵＩ（ユーザインターフェース）パネル４５の基本構成の概念図を示す。なお、図１は、本実施形態の携帯電話端末４０をディスプレイパネルの表示面側（正面側）から観た図を示している。図２及び図３は、図１の携帯電話端末４０を図１中の一点鎖線で切断して図中矢印Ａ−Ａ側から観た概略断面構造を示し、また、図２は視触覚ＵＩパネル４５の変形部４１が凸形状に変形する前の状態を、図３は視触覚ＵＩパネル４５の変形部４１が凸形状に変形した後の状態を概略的に示している。

上記視触覚ＵＩパネル４５は、少なくとも、透明シート４２と、複数の変形部４１と、ポンプ４３と、流路４４とを有して構成されている。

上記透明シート４２は、伸縮性を有する透明エラストマー材等により形成され、携帯電話端末４０のディスプレイパネル４６の前面（上面、表示面側）に設けられると共に当該ディスプレイパネル４６の表示面の略々全面を覆うように配される。また、本実施形態の携帯電話端末の場合、図示は省略しているが、上記透明シート４２の前面側（上面側）には、当該透明シート４２と同様に伸縮性を有すると共に、その透明シート４２の略々全面を覆うように配された透明タッチパネルが設けられている。なお、本実施形態の場合、上記透明タッチパネルは、例えばユーザが指先やスタイラスペンのペン先などでその表面を触れたときに、当該接触を検知してその検知信号を出力可能な既存の技術により構成されたパネルとなされているため、ここではその図示及び詳細な説明は省略する。

上記流路４４は、流体（例えば液体や気体、ゲル状物質など）が移動可能な例えばチューブ状の透明部材により形成されている。そして、各流路４４のチューブの一方の端部はポンプ４３の流体吐出吸引口に繋がれ、他方の端部は各変形部４１に繋がれている。なお、当該流路４４は、上記チューブの長手方向や当該長手方向に直交する方向については或る程度の可撓性を有する一方で、少なくとも径については変化しない（つまり径方向に膨張収縮しない）素材により形成することが望ましい。また、図１〜図３では、図示を簡略化するために、一部の流路４４のみしか示していないが、実際の流路４４は上記ポンプ４３と全ての変形部４１との間を繋ぐように形成及び配設されている。その他、流路４４を長手方向に直交する方向で切断した場合の断面形状は環形状に限定されない。

上記ポンプ４３は、流体の吐出と吸引が可能なポンプであり、本実施形態では、一例としていわゆるダイアフラム式マイクロポンプを用いている。

上記複数の変形部４１は、それぞれ所定の形状（図１の例では円形状）を有しており、当該円形状部分の内部に対して流体（液体や気体、ゲル状物質など）の注入及び排出が可能となされていると共に、その円形状部分の内部に流体が注入された時には、上記透明シート４２の厚み方向へ膨張し、一方、その円形状部分の内部から流体が排出された時には上記透明シート４２の厚み方向へ収縮可能となされた、透明なエラストマー材により形成されている。そして、各変形部４１の円形状部分は、上記流路４４を通じて上記ポンプ４３の流体吐出吸引口に繋がれている。したがって、上記ポンプ４３から流体（液体や気体、ゲル状物質など）が吐出された時には、その流体が流路４４を通じて上記変形部４１の円形状部分に注入され、当該円形状部分が上記透明シート４２の厚み方向に膨張することになる。一方、上記ポンプ４３が上記流路４４を通じて流体を吸引した時には、上記変形部４１の円形状内部から流体が排出され、当該円形状部分が上記透明シート４２の厚みと略々同じ厚さまで収縮することになる。但し、本実施形態の携帯電話端末の場合、上記視触覚ＵＩパネル４５は、上述したようにディスプレイパネル４６の表示面上に設けられており、当該ディスプレイパネル４６の表示面は、或る程度の硬さを有し、多少の外力では変形しないものとなされている。このため、上記変形部４１に流体が注入されて上記円形状部分が膨張する場合、その膨張方向は、図３に示すようにディスプレイパネル４６の表示面とは反対側（つまりタッチパネル側）となる。なお、本実施形態の携帯電話端末のような携帯型の小型情報端末が備えている１．５インチ〜３インチ程度の大きさのディスプレイパネル４６上に視触覚ＵＩパネル４５を設け、そのパネル４５内の上記変形部４１へ流体を注入して円形状等の凸部を形成するような場合、当該変形部４１の円形状部分の径は一例として３ｍｍ〜８ｍｍにすることができ、また凸形状に膨張した時の高さ（透明シート４２の表面から突き出た際の凸量）は一例として１ｍｍ程度に、さらに、当該凸形状に膨らんだ円形部分の硬さ（柔らかさ）は一例としてゴム硬度で６０度程度にすることができる。また、本実施形態によれば、視触覚ＵＩパネル４５の変形部４１を膨張させて例えばボタンやキーを形成することにした場合において、ポンプ４３からの流体吐出量若しくは流体吸引量を調整することにより、その変形部の内包流体圧力を調整することも可能となっている。

また、上記透明シート４２と各変形部４１や流路４４は同じ部材により形成されていてもよい。すなわち例えば、上記透明シート４２を例えば二枚の透明エラストマーシートの張り合わせと接着により形成するようにし、それら二枚のシートを張り合わせて接着する際に、上記各変形部４１の部分と上記各流路４４の部分については接着を行わないようにすれば、上記ポンプ４３から流体が吐出された時には、その流体が上記二枚のシートの非接着部分により形成された流路４４を通って、同じく上記二枚のシートの非接着部分により形成された上記変形部４１の円形状部分に注入されるようになって、当該円形状部分が膨張することになる。一方、上記ポンプ４３が流体を吸引した時には、上記変形部４１の円形状内部から排出された流体が流路４４を通ってポンプ４３に戻ることで、上記円形状部分が収縮することになる。なお、この例の場合、流路４４を形成する非接着部分の幅（つまり流路の径に相当する）が、透明シート４２の厚みに対して充分に小さければ、上記流体による当該流路４４の径方向の膨張収縮については無視できる。

また、図１〜図３の例では、上記ポンプ４３による流体の吐出・吸引により全ての変形部４１の膨張・収縮を同時に行う例について説明したが、例えば、各変形部４１の流体注入部分にマイクロバルブ（図示は省略する。）を設け、各マイクロバルブの開閉を個々に制御して、個々の変形部４１への流体の注入・排出を制御可能とすれば、所望の変形部４１のみ膨張・収縮させることが可能となる。

上述のように、図１〜図３に示した本実施形態の携帯電話端末における視触覚ＵＩパネル４５の基本構成によれば、ポンプ４３による流体の吐出・吸引を制御して各変形部４１への流体の注入・排出を制御することにより、ディスプレイパネル４６の前面に、必要に応じて凸形状を形成したり、逆に、その凸形状を無くして略々フラットな面へ戻すようなことが可能となる。

これにより、本実施形態の携帯電話端末において、例えば、上記視触覚ＵＩパネル４５の上記各変形部４１の配置場所に対応させるように、ディスプレイ画面上に例えば仮想キーの画像を表示させるようにし、それと同時に、上記視触覚ＵＩパネル４５の各変形部４１へ流体を供給して、それら各変形部４１を凸形状に変形させるようにすれば、使用者には、上記ディスプレイ画面上の仮想キーが実際に凸形状のキーとして視覚的に見えるようになり、さらに、使用者は、その凸形状の変形部４１を指等により触れることで、視覚的だけでなく触覚的にも実際のキーとして認識することができることになる。

なお、本実施形態の携帯電話端末では、前述したように、視触覚ＵＩパネル４５の表面上にタッチパネルが設けられているため、上記凸形状となされた変形部４１上のタッチパネル面を使用者が指等により触れた場合、当該タッチパネルからの接触検知信号により、その位置つまり仮想キーの表示位置を、使用者が触れたことを認識できることになる。これにより、使用者は、当該仮想キーに割り当てられている情報の入力若しくは選択が可能となる。

上記ポンプ４３の吐出・吸引制御やマイクロバルブの開閉制御、タッチパネルの接触検知信号に基づく情報入力若しくは選択処理などを行うための構成の説明については後述する。

〔視覚的及び触覚的な形状変更を実現する構成〕
上述した図１〜図３に示した基本構成の場合、本実施形態の携帯電話端末が使用者に伝達できる情報は、上記ディスプレイ画面上に表示される画像による視覚的な情報と、上記視触覚ＵＩパネル４５の各変形部４１の変形による視覚的及び触覚的な情報となる。ここで、本実施形態の携帯電話端末が使用者に伝えることのできる情報のうち、上記ディスプレイ画面上の表示画像による視覚的な情報については、当該表示画像を所望のものに変更することで自由に変えることができるが、視触覚ＵＩパネル４５による視覚的及び触覚的な情報については、上記各変形部４１を膨張させて凸形状に変形させた時と各変形部４１を収縮させて略々平面（フラット）にした時の二通りの情報のみとなり、当該視触覚ＵＩパネル４５による視覚的及び触覚的な情報の変更については自由度が必ずしも多くない。

図４〜図６には、本発明実施形態の携帯電話端末５０において、使用者に対して視覚的及び触覚的に伝えることができる情報を変更する際の自由度をより高めることを実現可能とした視触覚ＵＩパネル５５の概念図を示す。なお、図４は、本実施形態の携帯電話端末５０をディスプレイパネルの表示面側（正面側）から観た図を示している。図５及び図６は、図４の携帯電話端末５０を図４中の一点鎖線で切断して図中矢印Ａ−Ａ側から観た概略断面構造を示し、また、図５は視触覚ＵＩパネル５５の第２レイヤの変形部５１が凸形状に変形した状態を、図６は視触覚ＵＩパネル５５の第１レイヤの変形部４１が凸形状に変形した状態を概略的に示している。

本発明実施形態の携帯電話端末５０において、上記視触覚ＵＩパネル５５は、第１のレイヤと第２のレイヤの少なくとも二つのパネルデバイスと、ポンプ５３とを有して構成されている。

第１のレイヤのパネルデバイスは、前述の図１〜図３で説明した視触覚ＵＩパネル４５の透明シート４２，複数の変形部４１，流路４４と略々同じ構成要素を備えている。当該第１のレイヤを構成する透明シート４２，変形部４１，流路４４は、図１〜図３で説明したものと略々同じものであり、図１〜図３と同じ指示符号を付して、ここではそれらの詳細な説明については省略する。

本実施形態の視触覚ＵＩパネル５５の場合、第１のレイヤを構成する透明シート４２の前面には、第２のレイヤのパネルデバイスが配され、タッチパネル（図示は省略）は当該第２のレイヤの前面に配されている。

すなわち本実施形態の視触覚ＵＩパネル５５において、第２のレイヤは、少なくとも、透明シート５２と、複数の変形部５１と、流路５４とを有して構成されている。

当該第２のレイヤの透明シート５２は、第１のレイヤの透明シート４２と同様に、伸縮性を有する透明エラストマー材等により形成され、携帯電話端末５０のディスプレイパネル４６の前面側（表示面側）で且つ第１のレイヤのパネルデバイスの前面側に設けられると共に当該ディスプレイパネル４６の表示面の略々全面を覆うように配される。また、本実施形態の携帯電話端末の場合、図示は省略しているが、上記第２のレイヤの透明シート５２の前面側には、前述同様の透明タッチパネルが、当該透明シート５２の略々全面を覆うように配されている。

また、この第２のレイヤの流路５４は、第１のレイヤの流路４４と同様に、流体（液体や気体、ゲル状物質など）が移動可能な例えばチューブ形状の透明部材により形成されている。そして、当該第２のレイヤの各流路５４のチューブの一方の端部はポンプ５３の流体吐出吸引口に繋がれ、他方の端部は各変形部５１に繋がれている。なお、当該第２のレイヤの流路５４についても、第１のレイヤの流路４４と同様に、チューブ形状の長手方向や当該長手方向に直交する方向については或る程度の可撓性を有する一方で、少なくとも径については変化しない（径方向に膨張収縮しない）素材により形成することが望ましい。また、図４〜図６では、図示を簡略化するために、第１のレイヤ、第２のレイヤ共にそれぞれ一部の流路４４，５４のみしか示していないが、第１のレイヤの実際の流路４４は上記ポンプ５３と当該第１のレイヤの全ての変形部４１との間、第２のレイヤの実際の流路５４は上記ポンプ５３と第２のレイヤの全ての変形部５１との間を、繋ぐように形成及び配設されている。

本実施形態の視触覚ＵＩパネル５５の上記ポンプ５３は、前述のポンプ４３と同様に、流体の吐出と吸引が可能なポンプであり、一例としていわゆるダイアフラム式マイクロポンプを用いているが、この図４〜図６の例の場合は、第１のレイヤの流路４４と、第２のレイヤの流路５４とで別々に流体の吐出・吸引を行えるものとなされている。

上記第２のレイヤの複数の変形部５１は、それぞれ所定の形状（図４の例では四角形状）を有しており、当該四角形状部分の内部に対して流体（液体や気体、ゲル状物質など）の注入及び排出が可能となされていると共に、その四角形状部分の内部に流体が注入された時には、当該第２のレイヤの透明シート５２の厚み方向へ膨張し、一方、その四角形状部分の内部から流体が排出された時には上記透明シート５２の厚み方向へ収縮可能となされた、透明なエラストマー材により形成されている。そして、当該第２のレイヤの各変形部５１の四角形状部分は、この第２のレイヤの流路５４を通じて上記ポンプ５３の流体吐出吸引口に繋がれている。したがって、上記ポンプ５３から当該第２のレイヤの流路５４へ流体（液体や気体、ゲル状物質など）が吐出された時には、その流体が上記変形部５１の四角形状部分に注入され、当該四角形状部分が第２のレイヤの透明シート５２の厚み方向に膨張することになり、一方、上記ポンプ５３が第２のレイヤの流路５４を通じて流体を吸引した時には、当該第２のレイヤの変形部５１の四角形状内部から流体が排出され、当該四角形状部分が第２のレイヤの透明シート５２の厚みと略々同じ厚さまで収縮することになる。

ここで、本実施形態の携帯電話端末の場合、上記視触覚ＵＩパネル５５は、第１、第２の二つのレイヤのパネルデバイスがディスプレイパネル４６の表示面上に設けられており、前述同様に或る程度の硬さを有したディスプレイパネル４６の表面上には第１のレイヤのパネルデバイスが配され、第２のレイヤのパネルデバイスは上記第１のレイヤの前面側に配されている。このため、例えば第１のレイヤの変形部４１のみに流体が注入されて当該変形部４１の円形状部分が膨張した場合、当該視触覚ＵＩパネル５５は、図６に示すように、変形部４１の円形状部分がディスプレイパネル４６の表示面とは反対側（つまり第２のレイヤ側）に凸状に変形した状態となり、一方で、第２のレイヤの変形部５１については第１のレイヤの変形部４１の凸形状に沿って変形する。また、例えば第２のレイヤの変形部５１のみに流体が注入されて当該変形部５１の四角形状部分が膨張した場合、当該視触覚ＵＩパネル５５は、図５に示すように、変形部５１の四角形状部分がディスプレイパネル４６の表示面とは反対側（つまりタッチパネル側）に凸状に変形した状態となり、一方で、第１のレイヤの変形部４１についてはディスプレイパネル４６に沿った略々フラット形状を維持したままの状態となる。なお、本実施形態の携帯電話端末のような携帯型の小型情報端末の場合、前述の図１〜図３の例と同様に、第２のレイヤの変形部４５の四角形状部分は、例えば３ｍｍ〜８ｍｍ角の形状となされ、また凸形状の膨張した時の高さ（透明シート５２の表面から突き出た際の凸量）は例えば１ｍｍ程度、当該四角形部分の硬さ（柔らかさ）は例えばゴム硬度で６０度程度となされている。また、本実施形態においても前述の例と同様に、視触覚ＵＩパネル５５の変形部４１，５１を膨張させて例えばボタンやキーを形成することにした場合において、ポンプ５３からの流体吐出量若しくは流体吸引量を調整することにより、その変形部の内包流体圧力を調整することも可能となる。

またこの図４〜図６の例においても前述同様に、上記第１のレイヤの透明シート４２と各変形部４１や流路４４を同じ部材により形成し、また、第２のレイヤの透明シート５２と各変形部５１や流路５４についても同じ部材により形成するようにしても良い。ここでは第２のレイヤについてのみ説明するが、例えば、第２のレイヤの透明シート５２を例えば二枚の透明エラストマーシートの張り合わせと接着により形成するようにし、それら二枚のシートを張り合わせて接着する際に、上記各変形部５１の部分と上記各流路５４の部分については接着を行わないようにすれば、上記ポンプ５３から流体が吐出された時には、その流体が上記二枚のシートの非接着部分により形成された流路５４を通って、同じく上記二枚のシートの非接着部分により形成された上記変形部５１の四角形状部分に注入されるようになって、当該四角形状部分が膨張することになる。一方、上記ポンプ５３が流体を吸引した時には、上記変形部５１の四角形状内部から排出された流体が流路５４を通ってポンプ５３に戻ることで、上記四角形状部分が収縮することになる。さらに、この例の場合も前述同様に、流路５４を形成する非接着部分の幅（流路の径に相当する）が、透明シート５４の厚みに対して充分に小さければ、上記流体による当該流路５４の径方向の膨張収縮については無視できる。

また、図４〜図６の例では、上記ポンプ５３による流体の吐出・吸引により、第１のレイヤの全ての変形部４１の膨張・収縮を同時に行うか、又は、第２のレイヤの全ての変形部５１の膨張・収縮を同時に行う例について説明したが、例えば、前述したように、第１のレイヤの各変形部４１の流体注入・排出部分にマイクロバルブ（図示は省略する。）を設けると共に、第２のレイヤの各変形部５１の流体注入・排出部分にもマイクロバルブ（図示は省略する。）を設けるようにし、それら各レイヤの各マイクロバルブの開閉を個々に制御して、各レイヤの個々の変形部４１，５１への流体の注入・排出を制御可能とすれば、所望のレイヤの変形部４１或いは５１のみ膨張・収縮させることが可能となる。

上述のように、図４〜図６に示した本実施形態の携帯電話端末における視触覚ＵＩパネル５５の基本構成によれば、ポンプ５３による流体の吐出・吸引を制御して各レイヤの各変形部４１，５１への流体の注入・排出を制御することにより、ディスプレイパネル４６の前面に、必要に応じて、第１のレイヤの各変形部４１による円形の凸形状を形成したり、或いは、第２のレイヤの各変形部５１による四角の凸形状を形成することや、逆に、それら第１，第２のレイヤの凸形状を無くして略々フラットな面へ戻すようなことが可能となる。

これにより、本実施形態の携帯電話端末において、例えば、上記視触覚ＵＩパネル５５の上記第１のレイヤの各変形部４１の配置場所に対応させるように、ディスプレイ画面上に例えば円形仮想キーの画像を表示させるようにし、それと同時に、第１のレイヤの各変形部４１へ流体を供給して、それら各変形部４１を凸形状に変形させるようにすれば、使用者には、上記ディスプレイ画面上の円形仮想キーが実際に円形で凸形状のキーとして視覚的に見えるようになり、さらに、使用者は、その円形で凸形状の変形部４１を指等により触れることで、触覚的にも実際の円形キーとして認識することができることになる。また例えば、上記視触覚ＵＩパネル５５の上記第２のレイヤの各変形部５１の配置場所に対応させるように、ディスプレイ画面上に例えば四角形仮想キーの画像を表示させるようにし、それと同時に、第２のレイヤの各変形部５１へ流体を供給して、それら各変形部５１を凸形状に変形させるようにすれば、使用者には、上記ディスプレイ画面上の仮想キーが実際に四角形で凸形状のキーとして視覚的に見えるようになり、さらに、使用者は、その四角形で凸形状の変形部５１を指等により触れることで、触覚的にも実際の四角キーとして認識することができることになる。

すなわち、本実施形態によれば、視触覚ＵＩパネル５５により視覚的及び触覚的に使用者に伝えられる情報は、第１のレイヤの各変形部４１を膨張させて円形凸形状に変形させた時と、第２のレイヤの各変形部５１を膨張させて四角形凸形状に変形させた時と、第１，第２のレイヤの各変形部４１，５１の両方を収縮させて略々フラットにした時の三つの情報となり、当該視触覚ＵＩパネル５５による視覚的及び触覚的な情報の変更の自由度が高められている。勿論、第１、第２のレイヤの各変形部４１，５１を同時に膨張させて円形凸形状と四角形凸形状を同時に形成した場合には、円形凸形状と四角形凸形状の組み合わせになり、さらに自由度が増えることになる。

なお、図４〜図６に示した実施形態の携帯電話端末では、前述したように、第１，第２の二つのレイヤを有する視触覚ＵＩパネル５５の表面上にタッチパネルが設けられているため、例えば、第１レイヤの変形部４１が凸形状となされた状態で当該変形部４１上のタッチパネル面を使用者が指等により触れた場合、携帯電話端末５０は、そのタッチパネルからの接触検知信号により、当該位置つまり円形仮想キーの表示位置を使用者が触れたことを認識でき、一方、使用者は、当該円形仮想キーに割り当てられている情報の入力若しくは選択が可能となる。また例えば、第２レイヤの変形部５１が凸形状となされた状態で当該変形部５１上のタッチパネル面を使用者が指等により触れた場合、携帯電話端末５０は、そのタッチパネルからの接触検知信号により、当該位置つまり四角形仮想キーの表示位置を使用者が触れたことを認識でき、一方、使用者は、当該四角形仮想キーに割り当てられている情報の入力若しくは選択が可能となる。

上記ポンプ５３の吐出・吸引制御やマイクロバルブの開閉制御、タッチパネルの接触検知信号に基づく情報入力若しくは選択処理などを行うための構成の説明については後述する。

また、図４〜図６の例では、レイヤ数を第１，第２の二つのレイヤのみとしているが、それら二つのレイヤにさらに多数のレイヤを重ねる構成とし、それら多数の各レイヤについてそれぞれ異なる形状の複数の変形部を設け、それら各レイヤの各変形部をそれぞれ個別に変形制御させるようにしても良い。

なお、前述の図１〜図３や図４〜図６の例では、変形部に流体を注入することで凸形状になる例を挙げたが、例えば中央部が凹んだ状態で全体的に盛り上がるような形状（例えばリング状に周囲が盛り上がる形状など）や、或る場所のみ他よりも高く盛り上がるような形状など、変形部に流体が注入された時の形状としては例示したもの以外の様々な形状についても本発明の所定形状に含まれている。

〔基本構成の他の例〕
前述した図１〜図３に示した基本構成では、視触覚ＵＩパネル４５の変形部４１が所定の形状（円形状）となされているため、当該視触覚ＵＩパネル４５の変形部４１により使用者へ伝えられる情報は、上記変形部４１を膨張させた時の円形凸形状による視覚的及び触覚的な情報となる。同様に、前述の図４〜図６に示した構成において、例えば第２のレイヤの変形部５１のみを膨張させた場合に使用者へ伝達できる情報は、当該変形部５１を膨張させた時の四角形凸形状による視覚的及び触覚的な情報となる。

図７〜図９には、本発明実施形態の携帯電話端末６０において、例えば円形状や四角形状だけでなく、その他の所望の形状を形成でき、それら所望の形状を用いた視覚的及び触覚的な情報伝達を可能とする視触覚ＵＩパネル６５の概念図を示す。なお、図７は、本実施形態の携帯電話端末６０をディスプレイパネルの表示面側（正面側）から観た図を示している。図８は、図７の携帯電話端末６０を図７中の一点鎖線で切断して図中矢印Ａ−Ａ側から観た概略断面構造を示しており、上記所望の形状を形成するために上記視触覚ＵＩパネル６５の各変形部６１のうちの幾つかを凸形状に膨張させた状態を概略的に示している。また、図９は、図７の円Ｂ内にて示された部分のみを抜き出して拡大した概念図を示している。

これら図７〜図９に示す本実施形態の携帯電話端末６０において、上記視触覚ＵＩパネル６５は、透明シート６２と、ドット変形部６１と、ポンプ６３と、流路６４とを有して構成されている。なお、図７，図８では、図示を簡略化するために、多数配されている全ドット変形部６１の一部のみ、同様に多数配されている全流路６４の一部のみしか示していない。

上記透明シート６２は、前述の各例と同様に、伸縮性を有する透明エラストマー材等により形成され、携帯電話端末６０のディスプレイパネル４６の前面（表示面側）に設けられると共に当該ディスプレイパネル４６の表示面の略々全面を覆うように配される。なお、本実施形態においても前述の各例と同様に、図示は省略しているが、上記透明シート６２の前面側には透明タッチパネルが設けられている。

本実施形態の場合のドット変形部６１は例えばマトリクス状に行列配置されており、それら各ドット変形部６１は、それぞれ所定の形状（図１の例では四角形状であるが円形等の他の形状でもよい。）を有し、図示しない流体注入口を介して当該四角形状部分の内部へ流体（液体や気体、ゲル状物質など）の注入が可能となされ、図示しない流体排出口を介して当該四角形状部分の内部から流体の排出が可能となされている。

上記流路６４は、流体（液体や気体、ゲル状物質など）が移動可能な管状の透明部材により形成されている。また、本実施形態の場合、上記流路６４は、ポンプ６３から吐出される流体を通して各ドット変形部６１へ供給するための複数の流体供給用流路６４inと、各ドット変形部６１から排出される流体を通してポンプ６３へ戻すための複数の流体吸引用流路６４outとに区別されている。さらに、本実施形態の場合、上記流体供給用流路６４inは、上記各ドット変形部６１のマトリクス状行列配置の例えば各列毎に一つずつ配置され、同様に、流体吸引用流路６４outも上記マトリクス状行列配置の各列毎に一つずつ配置されている。また、上記マトリクス状行列配置の一つの列について配置された一つの流体供給用流路６４inは、当該列内の各行毎に一つずつ分岐した複数の分岐流路を有しており、同様に、マトリクス状行列配置の一つの列について配置された一つの流体吸引用流路６４outもその列内の各行毎に一つずつ分岐した複数の分岐流路を有している。そして、マトリクス状行列配置の一つの列について配置された一つの流体供給用流路６４inの上記各分岐流路の端部は、当該一つの列内の各行毎に設けられている各ドット変形部６１の流体注入口に各々対応して繋がれており、一方、上記分岐流路側でない方の共通端部は、上記ポンプ６３の流体吐出口に繋がれている。同様に、マトリクス状行列配置の一つの列について配置された一つの流体吸引用流路６４outの上記各分岐流路の端部は、当該一つの列内の各行毎に設けられている各ドット変形部６１の流体排出口に各々対応して繋がれており、一方、上記分岐流路側でない方の共通端部は、上記ポンプ６３の流体吸引口に繋がれている。なお、これら流路６４についても、前述同様に、チューブの長手方向や当該長手方向に直交する方向については或る程度の可撓性を有する一方で、少なくとも径については変化しない（径方向に膨張収縮しない）素材により形成されている。また、上述の説明では、複数の流体供給用流路６４inの上記分岐流路側でない方の共通端部がそれぞれポンプ６３の流体吐出口に繋がれ、複数の流体吸引用流路６４outの上記分岐流路側でない方の共通端部がそれぞれポンプ６３の流体吸引口に繋がれているとして説明したが、例えばポンプ６３の流体吐出口が一つしかない場合には、例えば、複数の流体供給用流路６４inの上記分岐流路側でない方の共通端部を一つに纏めて当該ポンプ６３の一つの流体吐出口に繋ぐようにし、同様に、ポンプ６３の流体吸引口が一つしかない場合には、上記複数の流体吸引用流路６４outの上記分岐流路側でない方の共通端部を一つに纏めて当該ポンプ６３の一つの流体吸引口に繋ぐようにしても良い。

上記ポンプ６３は、流体の吐出と吸引が可能な例えばダイアフラム式マイクロポンプであり、流体吐出口が上記流体供給用流路６４inに繋がれ、流体吸引口が上記流体吸引用流路６４outに繋がれている。

また、図９に示すように、本実施形態において、流体供給用流路６４inの各分岐流路の端部近傍には、それぞれ個々に流体注入口用マイクロバルブ６６が設けられ、同様に、流体吸引用流路６４outの各分岐流路の端部近傍には、それぞれ個々に流体排出口用マイクロバルブ６７が設けられている。上記流体注入口用マイクロバルブ６６と流体排出口用マイクロバルブ６８は、それぞれ開閉制御可能となされている。すなわち、本実施形態の携帯電話端末６０において、例えばドット変形部６１へ流体を注入して当該ドット変形部６１を膨張状態にさせる場合には、上記流体注入口用マイクロバルブ６６が開栓制御されると共に上記流体排出口用マイクロバルブ６７が閉栓制御され、またこの際、ポンプ６３では、そのドット変形部６１に流体を供給するための流体供給用流路６４inに対して流体を吐出する動作が行われる。これにより、ポンプ６３から吐出された流体は、上記流体供給用流路６４inと上記開栓制御された流体注入口用マイクロバルブ６６を通じて、当該ドット変形部６１の内部へ注入させる。一方、例えば膨張状態になっているドット変形部６１から流体を排出させて当該ドット変形部６１を空（平面）状態にさせる場合には、上記流体排出口用マイクロバルブ６７が開栓制御されると共に上記流体注入口用マイクロバルブ６６が閉栓制御され、またこの際、ポンプ６３では、そのドット変形部６１の流体を吸引するための流体吸引用流路６４outに対して流体を吸引する動作が行われる。これにより、ドット変形部６１内の流体が排出されて、当該ドット変形部６１は空（平面）状態になる。なお、上記ポンプ６３の吐出・吸引制御や各マイクロバルブ６６，６７の開閉制御などを行うための構成の説明については後述する。

上述のようにして、上記マトリクス状に配置された各ドット変形部６１の中の所望のドット変形部６１を膨張状態にし、また、他の所望のドット変形部６１を空（平面）状態にする制御を行えば、上記膨張状態になされた各ドット変形部６１上の透明シート６２は、上記ディスプレイパネル４６の表示面から離れる方向に持ち上げられ、一方、上記空（平面）状態の各ドット変形部６１上の透明シート６２は、上記ディスプレイパネル４６の表示面に近い低い位置に留まることになる。

すなわち本実施形態の携帯電話端末によれば、例えば図７に示したように、膨張状態となっており且つそれぞれ隣接した各ドット変形部６１により持ち上げられた透明シート６２の部分と、空（平面）状態となっており且つそれぞれ隣接した各ドット変形部６１により低くなっている部分とを形成することにより、例えば透明シート６２が持ち上げられている部分或いは透明シート６２が低くなっている部分により、前述のような円形状や四角形状だけでなく、例えば略三角形状や環形或いは任意の曲線形状などの様々な形状を、ディスプレイパネル４６の上に形成することができるようになり、これにより、使用者へ視覚的及び聴覚的に伝達できる情報のバリエーションを増やすことが可能となる。勿論、この例においても前述同様に、視触覚ＵＩパネル６５の表面上にはタッチパネルが設けられているため、そのタッチパネル面を使用者が指等により触れることで、使用者による様々な情報の入力や選択等が可能となる。

〔マトリクス配置されたドット変形部による視触覚的な形状変更を実現する他の例〕
上述した図７〜図９で説明したようなドット変形部のマトリクス配置による基本構成の場合、ディスプレイパネル４６の表示面からの透明シート６２の高さは、ドット変形部６１を膨張状態にした時の高さと、ドット変形部６１を空（平面）状態にした時の高さの二通りの高さに制御することができる。すなわちこのことを言い換えると、図７〜図９で説明した基本構成の場合、例えばディスプレイパネル４６の表示面に対して並行な方向について上記視触覚ＵＩパネル６５により使用者へ伝達可能な視触覚的な情報は、所望のドット変形部６１を膨張状態／空（平面）状態に制御することで自由に変更することができるのに対し、ディスプレイパネル４６の表示面に対して垂直な方向について上記視触覚ＵＩパネル６５により使用者へ伝達可能な視触覚的な情報は、各ドット変形部６１の膨張状態と空（平面）状態の二通りの情報、つまり透明シート６２の高低制御による二通りの情報のみとなり、視触覚的に伝達可能な情報の変更ついて必ずしも自由度は高くない。

図１０には、本発明実施形態の携帯電話端末７０において、ディスプレイパネル４６の表示面に対して垂直な方向について、使用者へ視触覚的に伝達可能な情報の変更についての自由度を高めることを可能とした視触覚ＵＩパネル７５の概念図を示す。

図１０に示した携帯電話端末７０の視触覚ＵＩパネル７５は、前述の図７〜図９で説明した基本構成に対して、前述の図４〜図６で説明したのと同様な複数レイヤ構造（図１０の例では第１，第２の二つのレイヤ）を適用したものである。すなわち、本実施形態の携帯電話端末７０の視触覚ＵＩパネル７５の場合、各レイヤ毎にドット変形部６１がマトリクス配置され、また各レイヤ毎に前述同様の流路６４とマイクロバルブが形成され、ポンプ６３は各レイヤ毎に前述同様の流体吐出・吸引制御を行う。なお、図７の基本構成をレイヤ構造化したこと以外は、図７で示した構成例と略々同じであるため、本実施形態の携帯電話端末７０をディスプレイパネルの表示面側（正面側）から観た図については省略する。また、図１０は、図７の基本構成をレイヤ構造化した本実施形態の携帯電話端末７０を図７中の一点鎖線で切断して図中矢印Ａ−Ａ側から観た概略断面構造を示し、視触覚ＵＩパネル７５の第１レイヤと第２のレイヤ内で所望のドット変形部６１を膨張状態に変形させ、その他のドット変形部６１を空（平面）状態にした様子を示している。その他、図１０において、図７〜図９で説明したものと略々同じ構成要素については、図７〜図９と同じ指示符号を付して、ここではそれらの詳細な説明については省略する。勿論、図１０の例では、図示を簡略化するために、レイヤ数を二つのみとしているが、それら二つのレイヤにさらに多数のレイヤを重ねる構成とし、それら多数の各レイヤ内の各変形部をそれぞれ個別に変形制御させるようにしても良い。

本発明実施形態の携帯電話端末７０において、上記視触覚ＵＩパネル７５は、第１のレイヤと第２のレイヤの少なくとも二つのパネルデバイスを有して構成されている。

ディスプレイパネル４６に近い側である第１のレイヤのパネルデバイスは、前述の図７〜図９で説明した視触覚ＵＩパネル６５の透明シート６２、マトリクス配置された複数のドット変形部６１、複数の流体供給用流路６４in及び流体吸引用流路６４outと略々同じ構成要素を備えている。

また、本実施形態の視触覚ＵＩパネル７５において、上記第１のレイヤを構成する透明シート６２の前面には、第２のレイヤのパネルデバイスが配され、当該第２のレイヤの前面にはタッチパネル（図示は省略）が配されている。そして、本実施形態の視触覚ＵＩパネル７５において、当該第２のレイヤは、第１のレイヤと略々同様に、透明シート６２、マトリクス配置された複数のドット変形部６１、複数の流体供給用流路６４in及び流体吸引用流路６４outを有して構成されている。

本実施形態の携帯電話端末７０のポンプ６３についても、前述の図７〜図９の例と同様に、流体の吐出と吸引が可能なダイアフラム式マイクロポンプであり、流体吐出口が第１と第２のレイヤの流体供給用流路６４inに繋がれ、流体吸引口が第１と第２のレイヤの流体吸引用流路６４outに繋がれている。なお、流体吐出口は第１，第２のレイヤで共通化されていても良いし、第１，第２のレイヤ毎に別々に設けられていても良い。同様に、流体吸引口についても、第１，第２のレイヤで共通化されていても良いし、第１，第２のレイヤ毎に別々に設けられていても良い。

また、この図１０の例においても前述の図９の例と同様に、各レイヤの各流体供給用流路６４inの各分岐流路の端部近傍には、それぞれ個々に流体注入口用マイクロバルブ６６が設けられ、同様に、流体吸引用流路６４outの各分岐流路の端部近傍にも、それぞれ個々に流体排出口用マイクロバルブ６７が設けられている。そして、それら各レイヤのマイクロバルブ６６，６７は、それぞれ個別に開栓制御、閉栓制御が可能となされている。

本実施形態の携帯電話端末７０によれば、第１，第２のレイヤ構造を有し、それら各レイヤ内でマトリクス状に配置された各ドット変形部６１の中の所望のドット変形部６１を膨張状態にし、また、他の所望のドット変形部６１を空（平面）状態にする制御を行うことにより、図１０に示したように、第１のレイヤにおいて膨張状態で且つ各々隣接した各ドット変形部６１により持ち上げられた透明シート６２の部分と、同じく第１のレイヤにおいて空（平面）状態で且つ各々隣接した各ドット変形部６１により低くなっている部分とを形成すると共に、第２のレイヤにおいて膨張状態で且つ各々隣接した各ドット変形部６１により持ち上げられた透明シート６２の部分と、同じく第２のレイヤにおいて空（平面）状態で且つ各々隣接した各ドット変形部６１により低くなっている部分とを形成することができることになる。

すなわち本実施形態によれば、第１，第２のレイヤの所望のドット変形部６１の膨張状態と空（平面）状態を制御すること、つまりディスプレイパネル面からの第１，第２のレイヤによる高さを少なくとも三段階に制御することができ、これにより、ディスプレイパネル４６の表示面に垂直な方向について視触覚ＵＩパネル７５により使用者へ伝達可能な視触覚的な情報変更の自由度を、図７〜図９の構成例よりも高めることができる。

〔本実施形態の携帯電話端末による視触覚的なユーザインターフェースの具体例〕
以下、図１１〜図１５を用い、上述した各実施形態の携帯電話端末の視触覚ＵＩパネルによって使用者へ提供することが可能な視触覚的なユーザインターフェースの具体例を説明する。図１１〜図１５は、本実施形態の携帯電話端末の様々な利用シーンに応じて視触覚ＵＩパネルの変形部を変形制御する具体例を挙げている。なお、図１１〜図１４は、それぞれ図中（ａ）に携帯電話端末１００をディスプレイパネル表示面側（視触覚ＵＩパネル１０１面側）から見た概略図を示し、図中（ｂ）には携帯電話端末１００を長手方向の側面側から見た概略図を、図中（ｃ）は携帯電話端末１００を短手方向の側面側からみた概略図を示している。

図１１には、視触覚ＵＩパネル１０１の変形部を全てフラット状態（ドット変形部の場合には全てフラット状態か若しくは全て膨張状態の何れか）にして凹凸を形成させないように制御した時の携帯電話端末１００の状態を示している。また、図１１は、例えばディスプレイパネルの画面上に画像等を表示することによる視覚的な情報の伝達のみが行われる場合のユーザインターフェース例を示している。なお、図１１において、ディスプレイパネル面上に表示される画像としては、一例として写真撮影時の撮影前画像や写真画像表示時のフォトビュー画像などを挙げることができる。すなわち図１１は、本実施形態の携帯電話端末の利用シーンとして、上記撮影前画像やフォトビュー画像を表示するような場面を挙げている。

図１２には、視触覚ＵＩパネル１０１の一部の変形部１１０，１１１，１１２を膨張状態にし、それ以外の変形部を全てフラット状態に制御した時の携帯電話端末１００の状態を示している。この図１２は、例えばディスプレイパネル面上に、視触覚ＵＩパネル１０１により例えば複数種類の形状で且つ凸状のボタンを形成することで、視覚的及び触覚的な情報伝達を可能とする場合のユーザインターフェース例を示している。また、この図１２のようなユーザインターフェースを行う場合、本実施形態の携帯電話端末１００は、ディスプレイパネルの表示画像のうち、特に、上記視触覚ＵＩパネル１０１上で凸状に形成されたボタン直下に表示される画像として、例えばボタン面上（キートップ）の刻印と当該ボタンに対して斜め情報から光が当てられることによる陰影を表現する画像を表示する画像表示制御を行う。なお、図１２のユーザインターフェースは、一例として、電子ゲーム使用時やメニュー操作時を挙げることができ、視触覚ＵＩパネル１０１により形成される各ボタンは例えば電子ゲームのコントロールボタンやメニュー選択ボタンなどを挙げることができる。また、図１２において、視触覚ＵＩパネル１０１のフラット面下のディスプレイパネル面に表示される画像は、例えば電子ゲーム使用時には電子ゲームの表示画像が、例えばメニュー操作時には各メニューの画像などが表示される。すなわち図１２は、本実施形態の携帯電話端末の利用シーンとして、電子ゲームやメニュー操作を行う場面を挙げている。

図１３には、視触覚ＵＩパネル１０１の一部の変形部１２１を膨張状態にし、それ以外の変形部を全てフラット状態に制御した時の携帯電話端末１００の状態を示している。この図１３も図１２の例と同様に、視触覚ＵＩパネル１０１により複数の凸状のボタンを形成することで、視覚的及び触覚的な情報伝達を可能とする場合のユーザインターフェース例を示している。また、この図１３のようなユーザインターフェースにおいても図１２の例と同様に、携帯電話端末１００は、ディスプレイパネルの表示画像のうち、特に、上記視触覚ＵＩパネル１０１上で凸状に形成されたボタン直下に表示される画像として、ボタン面上（キートップ）の刻印と当該ボタンに対して斜め情報から光が当てられることによる陰影を表現する画像を表示する画像表示制御を行う。なお、図１３のユーザインターフェースは、一例として、ディジタルテレビジョン放送視聴時や録画映像の再生時を挙げることができ、視触覚ＵＩパネル１０１により形成される各ボタンは例えばテレビジョン視聴時のボリュームコントロールボタンやチャンネル選択ボタンなどを挙げることができる。また、図１３において、視触覚ＵＩパネル１０１のフラット面下のディスプレイパネル面に表示される画像は、例えばテレビジョン画像などが表示される。すなわち図１３は、本実施形態の携帯電話端末の利用シーンとして、テレビジョン視聴を行う場面を挙げている。

図１４には、視触覚ＵＩパネル１０１の一部の変形部１３１を膨張状態にし、それ以外の変形部を全てフラット状態に制御した時の携帯電話端末１００の状態を示している。この図１４も図１２，図１３の例と同様に、視触覚ＵＩパネル１０１により複数の凸状のボタンを形成することで、視覚的及び触覚的な情報伝達を可能とする場合のユーザインターフェース例を示している。また、この図１４のようなユーザインターフェースにおいても図１２，図１３の例と同様に、携帯電話端末１００は、ディスプレイパネルの表示画像のうち、特に、上記視触覚ＵＩパネル１０１上で凸状に形成されたボタン直下に表示される画像として、ボタン面上（キートップ）の刻印と当該ボタンに対して斜め情報から光が当てられることによる陰影を表現する画像を表示する画像表示制御を行う。なお、図１４のユーザインターフェースは、一例として、携帯電話使用時を挙げることができ、視触覚ＵＩパネル１０１により形成される各ボタンは例えば携帯電話端末のテンキー（１２キー）や発着信ボタン、十字キーなどを挙げることができる。また、図１４において、視触覚ＵＩパネル１０１のフラット面下のディスプレイパネル面に表示される画像は、携帯電話使用時の待ち受け画面やメール作成画面などが表示される。すなわち図１４は、本実施形態の携帯電話端末の利用シーンとして、携帯電話として使用する場面を挙げている。

図１５には、特に前述の図１０のようにマトリクス配置された複数のドット変形部を備えたパネルデバイスが複数レイヤ構造（例えば数層或いは数十層構造）となされた視触覚ＵＩパネル１０１を用いることで、ディスプレイパネルの表示面に対して垂直な方向についての高さ方向の変化の自由度を高めた携帯電話端末１００におけるユーザインターフェース例を示している。この図１５は、ディスプレイパネルの二次元表示画面内に仮想的に表示される三次元画像（三次元空間の画像及びその三次元空間内の立体の画像）を、視触覚ＵＩパネル１０１のドット変形部の変形制御によって、使用者が実際に視覚的及び触覚的に立体的なものとして認識できるようにした例を示している。

すなわち、図１５では、ディスプレイ画面に表示される画像の一例として、ゴルフ場のグリーン１３０の画像が表示されている。このグリーン１３０を含む表示画像は、実際にはディスプレイ画面上の二次元画像であるが、コンピュータグラフィック技術を用いることにより、仮想的な三次元画像として表現されている。本実施形態では、当該ゴルフ場のグリーン１３０とその周辺における地形を表現した仮想的三次元画像（グリーン１３０の面の傾きやその周辺の地形などが三次元的に仮想的に表された画像）を、視触覚ＵＩパネル１０１の各レイヤのドット変形部１３２の変形制御により、使用者が実際に視覚的及び触覚的且つ立体的なものとして認識できるようにしている。すなわち図１５は、本実施形態の携帯電話端末の利用シーンとして、ディスプレイ画面に表示される仮想的三次元画像を、視触覚ＵＩパネル上で実際の三次元的なものとして視触覚的に表現可能にした場面例を挙げている。なお、ディスプレイ画面上の仮想的三次元画像を、視触覚ＵＩパネル１０１により三次元的なものとして視触覚的に表現可能にするための制御の詳細については後述する。

〔視触覚ＵＩパネルの変形部膨張による拡大画像の補正〕
上述の図１２〜図１４の例のように、視触覚ＵＩパネルの変形部を膨張状態にして凸形状のボタン等を形成した場合、当該凸形状のボタンは凸レンズとして作用することがある。すなわち、凸形状のボタンを通して見たディスプレイ画像は、実際のサイズよりも拡大して見えることになる。

図１６には、変形部を凸形状にすることで画像が拡大視されてしまう状態を補正するための一構成例を挙げる。なお、この図１６はあくまでも一例であり、本発明はこの例に限定されるものでないことは言うまでもない。

図１６の構成例では、視触覚ＵＩパネルが２層のレイヤ構造を有し、上層レイヤの変形部８１と下層レイヤの変形部９１は、ディスプレイパネル４６の表示面に対して垂直な方向の同軸上に配されている。なお、図１６の例は、複数配置されている変形部の中の上下層の一組の変形部のみを示している。上層レイヤの変形部８１は、その底面部８６が可撓性を有さない透明部材により形成されており、下層レイヤの変形部９１は、その底面部９７及び側面部９６が可撓性を有さない透明部材により形成されている。そして、上層レイヤの変形部８１は流路８４によりポンプ８３に繋がれ、下層レイヤの変形部９１は流路９４によりポンプ８３に繋がれている。

ポンプ８３は、上記上層レイヤの変形部８１を膨張状態にするために流路８４へ流体を吐出する時には、下層レイヤの変形部９１を収縮状態にするために流路９４を通じて流体を吸引するように動作すると同時に、上記変形部８１に流体が注入されて膨張することにより凸形状に変形する部分の曲率と、上記変形部９１から流体が排出されて収縮することにより凹形状に変形する部分の曲率が同じになるように、上記変形部８１への流体吐出量と上記変形部９１からの流体吸引量を調整する制御を行う。また、ポンプ８３は、上記上層レイヤの変形部８１をフラット状態にさせるために流路８４から流体を吸引する時には、下層レイヤの変形部９１をフラット状態にさせるために流路９４へ流体を吐出するように動作すると同時に、上記変形部８１と変形部９１が共にフラット状態になるように、それら変形部８１からの流体吸引量と上記変形部９１への流体吐出量を調整する制御を行う。

これにより、図１６の構成によれば、上層レイヤの変形部８１を凸形状にした場合でも、使用者は、ディスプレイパネルの表示画像を等倍視可能となる。

なお、変形部を凸形状にすることで画像が拡大視されてしまう状態を補正するための他の例として、ディスプレイパネルの表示画像を、上記変形部を凸形状による画像拡大率に対応した縮小率で縮小表示するようにしても良い。この場合には、上記下層レイヤは不要となる。

〔携帯電話端末の概略的な内部構成〕
図１７には、本発明の各実施形態の携帯電話端末の概略的な内部構成を示す。

図１７において、通信アンテナ１２は、例えば内蔵アンテナであり通話やパケット通信のための信号電波の送受信を行う。通信回路１１は、送受信信号の周波数変換、変調と復調等を行う。

制御部１０は、ＣＰＵからなり、通信回路１１における通信の制御、音声処理及びその制御、画像処理及びその制御、非接触通信の制御、その他各種信号処理や各部の制御を行う。また、制御部１０は、上記メモリ部１５のプログラム蓄積部１６に蓄積されている各種のアプリケーションプログラムの実行等も行う。

スピーカ２１は、携帯電話端末に設けられている受話用のスピーカやリンガ（着信音）、アラーム音、警告音、再生音楽、ディジタル音声、再生動画像の音声等の出力用スピーカであり、音声処理部２０から供給された音声信号を音響波に変換して空気中に出力する。

マイクロホン２２は、送話用及び外部音声集音用のマイクロホンであり、音響波を音声信号に変換し、その音声信号を音声処理部２０に送る。

音声処理部２０は、データラインを介して入力された圧縮符号化された音声データの伸張復号化や誤り訂正等の所定の音声処理を行い、その処理後の音声データをディジタル／アナログ変換した後増幅し、その増幅後の音声信号を上記スピーカ１８へ出力する。また、音声処理部２０は、マイクロホン２２から供給された入力音声信号を増幅及びアナログ／ディジタル変換し、そのアナログ／ディジタル変換後の音声データに必要に応じて圧縮符号化や誤り訂正符号の付加等の処理を施して、データラインを介して出力する。

表示部２３は、例えば液晶ディスプレイパネル等の表示デバイスと、そのディスプレイパネルの表示駆動回路とを含み、上記ディスプレイパネルの画面上に文字や各種メッセージ、静止画像や動画像等を表示する。

操作入力部２４は、本実施形態の携帯電話端末の場合は前述した透明タッチパネルに相当する。すなわち、操作入力部２４では、例えばユーザが指先やスタイラスペンなどで透明タッチパネルの表面を触れたときに、その接触を検知してその検知信号をデータライン若しくは制御ラインを通じて制御部１０へ出力する。これにより、制御部１０は、透明タッチパネルの何れの場所が使用者により触れられたのかを認識（入力位置を認識）することができ、その入力位置に応じた処理を実行することができる。すなわち一例として、前述の図１２〜図１４の例の場合には、何れかのボタンが使用者により押されたのかを知ることで、そのボタンに割り当てられている機能を実行することができる。

変形部２５は前述した本実施形態の視触覚ＵＩパネルの変形部であり、同様にマイクロバルブ２６は本実施形態の視触覚ＵＩパネルのマイクロバルブ、ポンプ２７は前述のポンプである。

ポンプ制御部２８は、制御部１０からの制御データに基づいて、ポンプ２７における流体吐出動作や流体吸引動作を行う。すなわち、制御部１０からの制御データは、ポンプ制御部２８がポンプ２７を流体吐出動作させる際の流体吐出量の制御値や、流体吸引動作時における流体吸引量の制御値、また、本実施形態の携帯電話端末の視触覚ＵＩパネルが複数の流路を備えている場合には、それらの何れの流路へ流体を吐出するか若しくは流体を吸引するかを示す制御値も含まれている。

バルブ制御部２９は、本実施形態の携帯電話端末の視触覚ＵＩパネルが複数のマイクロバルブを備えている場合に、制御部１０からの制御データに基づいて、各マイクロバルブを開栓，閉栓させる制御を行う。すなわち、制御部１０からの制御データは、バルブ制御部２９が各マイクロバルブ２６を開栓，閉栓させる際の制御値、また、本実施形態のマイクロバルブがその開栓量或いは閉栓量を調整可能なバルブである場合には、それら開栓量或いは閉栓量を調整するための制御値も含まれている。

メモリ部１５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）のような書き換え可能な記憶媒体を含み、例えば、プログラム蓄積部１６にＯＳ（Operating System）のプログラムや制御部１０が各部を制御するための制御プログラム及び本実施形態にかかるポンプやバルブを制御するための制御プログラム、各種のアプリケーションプログラムが蓄積され、また、圧縮符号化された楽曲データコンテンツや動画像データコンテンツの他、各種の初期設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などをも記憶する。ＲＡＭは、制御部１０が各種のデータ処理を行う際の作業領域として、随時データを格納する。なお、メモリ部１５には、着脱可能な外部メモリカードを含んでいてもよい。

画像処理部１３は、待ち受け画面や電子メール文、アドレス帳、各種ユーザインターフェース画面、動画像データコンテンツの再生動画像、ディジタルテレビジョン放送の受信動画像等の画像データを生成して、それら画像データをデータラインを介して表示部２３のディスプレイパネルへ送って表示させる処理等を行う。また、画像処理部１３は、描画エンジン１４を備えており、レンダリング処理により画像データを生成する。当該描画エンジン１４により生成された画像データも、上記表示部２３のディスプレイパネルへ送られて表示される。なお、前述したようにディスプレイ画面上に仮想的なボタン画像を表示し、そのボタン画像に対して陰影を付けるような処理も描画エンジン１４により行うことができる。レンダリング処理や画像への陰影付けなどについては、既存のコンピュータグラフィック技術が適用されるためここではその詳細な説明は省略する。

ここで、マトリクス配置された複数のドット変形部を備えたパネルデバイスを複数レイヤ構造とした視触覚ＵＩパネルを用い、例えば前述の図１５で示したように、ディスプレイ画面の二次元表示画像により仮想的に表現されている三次元画像を、視触覚ＵＩパネルのドット変形部の変形制御により、使用者が実際に視覚的及び触覚的且つ立体的のものとして認識可能にする場合、本実施形態の携帯電話端末の画像処理部１３と制御部１０では、以下のような処理が行われる。なお、以下に説明する処理はあくまでも一例であり、本発明はこの例に限定されるものでないことはいうまでもない。

本実施形態の携帯電話端末の画像処理部１３は、上記描画エンジン１４での例えばレンダリング処理により、図１５に示したような仮想的三次元画像をディスプレイパネル上に二次元表示するための画像データを生成して、その画像データを表示部２３へ送る。またこの時、画像処理部１３は、上記描画エンジン１４でのレンダリング処理の際に用いられるＸ，Ｙ，Ｚ軸の座標を含む三次元図形データを制御部１０へ送る。

制御部１０は、その三次元図形データを用い、コンピュータグラフィックの技術により描画されるポリゴン毎に当該仮想的三次元空間内での高さを求める。また、制御部１０は、上記視触覚ＵＩパネル上にマトリクス配置された各ドット変形部に対応させるように、上記ディスプレイ表示画面をマトリクス状に分割する分割画面領域を設定し、それら各分割画面領域内に表示される画像（三次元画像が分割画面領域毎に分割された画像）を構成している各ポリゴンの上記仮想的三次元空間内での高さの情報を集め、さらに当該分割画面領域内のポリゴンの上記高さ情報の中で、例えば最も高い値となっている情報を、その分割画像領域内の仮想的三次元画像の高さ情報として設定する。そして、制御部１０は、各分割画像領域内の仮想的三次元画像の高さ情報から、ディスプレイパネル表示面に対して垂直な方向についての高さ情報を生成し、当該ディスプレイパネル表示面に対して垂直な方向についての高さ情報から、視触覚ＵＩパネルにマトリクス配置された各ドット変形部を各々変形制御させる制御データを生成する。

より具体的に説明すると、制御部１０は、例えば、上記各分割画像領域内の仮想的三次元画像のうち、仮想的三次元空間内での高さが最も低くなっている画像が含まれる分割画像領域に対応した位置の視触覚ＵＩパネル内の各レイヤの各ドット変形部を、全て空（平面）状態にさせるような制御データを生成する。また、制御部１０は、例えば、上記各分割画像領域内の仮想的三次元画像のうち、仮想的三次元空間内での高さが最も高くなっている画像が含まれる分割画像領域に対応した位置の視触覚ＵＩパネル内の各レイヤの各ドット変形部を、全て膨張状態にさせるような制御データを生成する。そして、制御部１０は、例えば、上記各分割画像領域内の仮想的三次元画像のうち、仮想的三次元空間内での高さが最も高くなっている画像が含まれる分割画像領域と、仮想的三次元空間内での高さが最も低くなっている画像が含まれる分割画像領域以外の残りの分割画像領域に対応した位置の視触覚ＵＩパネル内の各レイヤの各ドット変形部については、それら各分割画像領域内の仮想的三次元画像の高さに応じて、当該分割画像領域に対応した位置の視触覚ＵＩパネル内の各レイヤの各ドット変形部を膨張又は平面状態にさせる制御データを生成する。制御部１０は、それらの制御データによりポンプ制御部２８やバルブ制御部２９を制御する。これにより、図１５で説明したように、ディスプレイ画面上に表示される仮想的な三次元立体画像が、視触覚ＵＩパネル上で実際の三次元なものとして表現されることになる。

その他、図１７には図示を省略しているが、本発明の携帯電話端末は、写真画像の撮影のためのディジタルカメラ部、キー照明や着信ライト用などのＬＥＤ（発光ダイオード）とその駆動部、各部へ電力を供給するバッテリとその電力をコントロールするパワーマネージメントＩＣ部、いわゆるブルートゥース方式（Bluetooth：登録商標）やＵＷＢ（Ultra Wide Band）方式、無線ＬＡＮ（Local Area Network）などによる近距離無線通信を行うための近距離無線通信部、ＧＰＳ（Global Positioning System）通信部、外部メモリ用スロット、ディジタル放送の受信チューナ部とＡＶコーデック部、タイマ（時計部）など、一般的な携帯電話端末に設けられる各構成要素についても備えている。

〔まとめ〕
以上説明したように、本発明実施形態の携帯電話端末においては、視触覚ＵＩパネルの変形制御を行うことにより、使用者に対して視覚的及び触覚的な形態で情報を伝達可能なユーザインターフェースを実現でき、また特に、視触覚ＵＩパネルを複数レイヤ構造にして各レイヤ毎に変形制御を行うことにより、視覚的な形態により伝えられる情報の変更と共に触覚的な形態により伝えられる情報についても変更可能とするユーザインターフェースを実現できる。

また、本実施形態の携帯電話端末では、機械構造としてのボタンやキーを備えていないため極限の薄さを実現することができる。

なお、上述した本発明の各実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

また本発明のユーザインターフェース装置及び携帯情報端末は、携帯電話端末に限定されず、ＰＤＡ（Personal Digital Assistant）やパーソナルコンピュータ、携帯型テレビゲーム装置、携帯型ディジタルテレビジョン受信機、カーナビゲーション装置など様々な端末の他に、据え置き型の装置などにも適用可能である。

また、上述した実施形態では、透明タッチパネルを視触覚ＵＩパネルの上面に設ける例を挙げており、この場合の透明タッチパネルには一例としていわゆる静電容量検出方式のタッチパネルを挙げることができる。勿論、本発明は、この例に限定されず、例えばいわゆる抵抗線式のように押下圧力による抵抗値の変化を検出する方式のタッチパネルや、指等により遮られる光や指等にて反射された光を検出する光学式、スタイラスペンのような専用ペンを用いた磁気の変化を検出する磁気誘導式などの他のタッチパネルにも適用可能である。また、透明タッチパネルは、ディスプレイパネルと視触覚ＵＩパネルとの間、つまり視触覚ＵＩパネルの下面側に設けられても良い。特に、視触覚ＵＩパネルの下面側に透明タッチパネルを設けるようにした場合、当該透明タッチパネルは前述の実施形態のような可撓性を有しているものである必要がなくなる。また、指等により加えられた外圧を検知可能な方式の透明タッチパネルを採用した場合には、例えば視触覚ＵＩパネルの変形部の膨張等による圧力変化を、指等により外圧が加えられたとして誤って検知する可能性もあるが、そのような場合には、一例として、変形部の膨張等による圧力値と指等による外圧による圧力値との違いを判定し、上記変形部の膨張等による圧力値を上記指等による外圧として誤って検知しないようにすることも可能である。

その他にも、本実施形態のユーザインターフェース装置は、携帯情報端末のような小型装置だけでなく、例えば建物の屋上或いは外壁面上，室内の内壁面上に設けられる超大型ディスプレイパネルや競技場の大型スクリーン、遊技施設の地面上などに設けられる大型ディスプレイパネルと、それら大型ディスプレイやスクリーンの上面に配されるＵＩパネルとにより形成されていても良い。なお、このような数十インチ〜数百インチ或いはそれ以上の大きさの大型ディスプレイパネルを備えた大型のユーザインターフェース装置の場合、ＵＩパネルの変形部により形成される凹凸部は、その幅が例えば数ｃｍ〜数ｍ規模の大きさで、高さが数ｃｍ〜数ｍになされても良い。また、変形部の硬さについても、当該ユーザインターフェース装置の大きさに応じて所望の硬度に設定することが望ましい。

本実施形態の携帯電話端末に設けられる基本的な構成の視触覚ＵＩパネルを備えた携帯電話端末をディスプレイパネルの表示面側からみた正面図である。 図１の基本構成の視触覚ＵＩパネルの変形部が凸形状に変形する前の状態を示す図である。 図１の基本構成の視触覚ＵＩパネルの変形部が凸形状に変形させた後の状態を示す図である。 使用者に対して視覚的及び触覚的に伝達する情報を変更可能な視触覚ＵＩパネルを備えた携帯電話端末をディスプレイパネルの表示面側からみた正面図である。 図４の視触覚ＵＩパネルの第２のレイヤの変形部を凸形状に変形させた後の状態を示す図である。 図４の視触覚ＵＩパネルの第１のレイヤの変形部を凸形状に変形させた後の状態を示す図である。 マトリクス配置されたドット変形部を有する基本的な構成の視触覚ＵＩパネルを備えた携帯電話端末をディスプレイパネルの表示面側からみた正面図である。 図７の基本構成の視触覚ＵＩパネルの幾つかのドット変形部を凸形状に変形させた後の状態を示す図である。 図７の円Ｂ内にて示された部分のみを抜き出して拡大した概念図である。 マトリクス配置されたドット変形部を複数レイヤ構造とした視触覚ＵＩパネルを備えた携帯電話端末の幾つかのドット変形部を凸形状に変形させた後の状態を示す図である。 撮影前画像やフォトビュー画像を表示するような利用シーンにおいて、本実施形態携帯電話端末の視触覚ＵＩパネルの状態説明に用いる図である。 電子ゲームやメニュー操作を行うような利用シーンにおいて、本実施形態携帯電話端末の視触覚ＵＩパネルの状態説明に用いる図である。 テレビジョン視聴等を行うような利用シーンにおいて、本実施形態携帯電話端末の視触覚ＵＩパネルの状態説明に用いる図である。 携帯電話として使用するような利用シーンにおいて、本実施形態携帯電話端末の視触覚ＵＩパネルの状態説明に用いる図である。 ディスプレイ画面上の画像の高低を視触覚ＵＩパネル上で実際の高低として表現するような利用シーンにおいて、本実施形態携帯電話端末の視触覚ＵＩパネルの状態説明に用いる図である。 変形部の凸形状により画像が拡大視される状態を補正するための一構成例の説明に用いる図である。 本発明の各実施形態の携帯電話端末の概略的な内部構成を示すブロック図である。

符号の説明

１０ 制御部、１１ 通信回路、１２ 通信アンテナ、１３ 画像処理部、１４ 描画エンジン、１５ メモリ部、１６ プログラム蓄積部、２０ 音声処理部、２１ スピーカ、２２ マイクロホン、２３ 表示部、２４ 操作入力部、２５ 変形部、２６ マイクロバルブ、２７ ポンプ、２８ ポンプ制御部、２９ バルブ制御部、４０，５０，６０，７０，１００ 携帯電話端末、４１，５１，６１、８１，９１ 変形部、４２ 透明シート、４３，５３，６３，８３ ポンプ、４４，５４，６４，８４，９４ 流路、４５，５５，６５，７５，１０１ 視触覚ＵＩパネル、４６ ディスプレイパネル

Claims (7)

1. 流体の注入若しくは排出により所定形状に変形する透明な複数の変形部が各々配された複数の層からなる透明パネル部と、
   上記変形部へ注入される流体を供給する透明流路と上記変形部から排出された流体の透明流路とが共通化されるか若しくは別個に形成された流路部と、
   流体を少なくとも上記流路へ吐出するか若しくは上記流路から吸引する流体ポンプ部と、
   上記透明パネル部が上面に設けられ、少なくとも画像を表示するための表示面を備えた表示パネル部と、
   上記表示パネル部の表示面上に表示する画像に応じて、上記透明パネル部の変形部への上記流体の注入若しくは排出を制御する制御部とを有する、
   ことを特徴とするユーザインターフェース装置。
2. 上記透明パネル部の上面若しくは下面側に設けられ、物体の接触位置を検知してその検知信号を生成する接触検知パネル部を有することを特徴とする請求項１記載のユーザインターフェース装置。
3. 上記透明パネル部に設けられる変形部は、少なくとも各層毎に異なる所定の形状で変形することを特徴とする請求項１記載のユーザインターフェース装置。
4. 上記透明パネル部の各層毎に設けられる複数の変形部は、それぞれ各層内でマトリクス状に配置されていることを特徴とする請求項１記載のユーザインターフェース装置。
5. 上記複数の各変形部への上記流体の注入若しくは上記複数の各変形部からの流体の排出を、制限するバルブ部を有することを特徴とする請求項１記載のユーザインターフェース装置。
6. 上記制御部は、上記表示パネル部の二次元表示画面内に仮想的に表示される三次元空間の画像から、上記表示パネル部の表示面上の各所定位置における当該表示面から垂直な方向への高さ情報を生成し、当該表示パネル部の表示面上の各所定位置における上記垂直な方向の高さ情報に基づいて上記変形部への流体の注入若しくは排出を制御することを特徴とする請求項１記載のユーザインターフェース装置。
7. 少なくとも画像を表示するための表示面を備えた表示パネル部を備えた携帯情報端末において、
   上記表示パネル部の表示面の上面に設けられ、流体の注入若しくは排出により所定形状に変形する透明な複数の変形部が各々配された複数の層からなる透明パネル部と、
   上記変形部へ注入される流体を供給する透明流路と上記変形部から排出された流体の透明流路とが共通化されるか若しくは別個に形成された流路部と、
   流体を少なくとも上記流路へ吐出するか若しくは上記流路から吸引する流体ポンプ部と、
   上記表示パネル部の表示面上に表示する画像に応じて、上記透明パネル部の変形部への上記流体の注入若しくは排出を制御する制御部とを有する、
   ことを特徴とする携帯情報端末。

Images