JP2008217787A - ユーザインタフェース装置、ユニバーサルリモコンユニットおよびユーザインタフェース装置制御プログラム - Google Patents

Abstract

【課題】単純なユーザインタフェース装置を提供する。
【解決手段】複数の可動部品を覆う柔軟性を有する表示膜を含み、前記柔軟性を有する表示膜が像を提供し、前記複数の可動部品がレリーフ状の凹凸を提供し、調整されたユーザインタフェースを使用可能とするために、前記像と前記レリーフ状の凹凸とがともに調整される。前記レリーフ状の凹凸は粗い三次元触覚情報であってよく、前記柔軟性を有する表示膜は、前記像を表示する柔軟性を有するＬＥＤファブリック、ＬＣＤレイヤー電子ペーパーなどであってよい。
【選択図】図１

Description

本発明は一般にインタフェース装置に関し、詳細には、接触性ユーザインタフェース装置に関する。さらに詳細には、本発明は、複数の可動部品を覆う柔軟性を有する表示膜を含むユーザインタフェース装置、外部被制御装置を制御するユニバーサルリモコンユニット、および、ユーザインタフェース装置を制御する機能をコンピュータに実現させるプログラムに関する。

昨今、コンピュータなどの様々な装置とのユーザインタラクション(user interaction)に関連するユーザエクスペリエンス(user experience)を向上させようとする努力が多くなされている。本目的のため、プッシュピンユーザインタフェース(pushpin user interfaces)が開発されたが、これは様々な三次元（３Ｄ）形状のシミュレーションを可能とするものである。これらのインタフェースは主として、三次元のオブジェクトを正確に描写し、また、これらのオブジェクトを統御する物理的過程(physics)を提供することを目的としているが、バーチャルリアリティを拡張することもしばしば目的としている。既存のプッシュピンインタフェースは、複雑であるため高価であり、したがって、大部分のユーザに適さない。

加えて、既存の技術では、シミュレートされた三次元形状の正確な視覚表示を表現する方法を提供し得ず、これがユーザエクスペリエンス全体に負の影響を与える。詳細には、従来のシステムでは、三次元形状の視覚的な態様を表現するためにプロジェクタに依存している場合が多い。当業者に理解されるように、このようなシステムでは、ユーザの手がイメージを遮断してしまうことがあり、投影されたイメージが、ユーザの手の上で見えることになってしまうようなことがしばしばある。このため、二次元レイヤーと三次元レイヤーとが互いにずれてしまい、意図した効果を実質的に得ることができない。

結局、被覆素材を有さないプッシュピンを使用しようとすると、非常に高いレベルの接触分解能(tactile resolution)が必要となって、既存のシステムを高度に複雑化し、また、購入できないほどの高価なものとしてしまう。しかしながら、非常に高い分解能は、実際には、満足すべきユーザエクスペリエンスを提供するためにユーザインタフェース装置に要求されるものではない。

すなわち、複雑なインタラクションを容易なものとし、単純なユーザインタフェース装置によって満足すべきユーザエクスペリエンスを提供するようなシステムとこれに関連する方法が必要とされている。

ロシグナックら(Rossignac, et al.)、「デジタルクレーによるフィンガースカルプティング：コンピュータ制御実表面を介した三次元形状の入力および出力（"Finger Sculpting with Digital Clay: 3D Shape Input and Output through a Computer-Controlled Real Surface"）」、ＧＶＵテックレポート（GVU Tech Report）、韓国、形状モデリング国際学会（Shape Modeling International Conference）、２００３年５月、GIT-GVU-03-05 ヒシら(Hishi, et al.)、「クレーおよびサンドのデジタルデザインへの利用 - 連続触覚ユーザインタフェース（"Bringing Clay and Sand into Digital Design - Continuous Tangible User Interfaces"）」、ＢＴテクノロジージャーナル（BT Technology Journal）、２００４年１０月、Vol. 22、No. 4、頁２８７〜２９９

本発明の課題は、従来の接触性ユーザインタフェース装置に関連する上記の問題および他の問題の１つ以上を実質的に解決する方法およびシステムを提供することに関する。詳細には、単純なユーザインタフェース装置を提供する。

本発明の一の態様によれば、複数の可動部品を覆う柔軟性を有する表示膜を含むユーザインタフェース装置が提供される。本発明のユーザインタフェース装置の柔軟性を有する表示膜は、ユーザに対して像を提供する。本発明のユーザインタフェース装置の可動部品は、調整されたユーザインタフェースを使用可能とするために、像および薄浮き彫りの触角情報がともに調整されるように、ユーザに対して薄浮き彫りの触覚情報を提供する。

本発明の別の態様によれば、外部被制御装置を制御するユニバーサルリモコンユニットが提供される。本発明のユニバーサルリモコンユニットは、複数の可動部品を覆う柔軟性を有する表示膜を含む少なくとも１つのボタンを備える。上記の柔軟性を有する表示膜はユーザに対して像を提供し、可動部品はユーザに対してレリーフ状の凹凸を提供する。調整されたユーザインタフェースを使用可能とするために、像およびレリーフ状の凹凸はともに調整され、ボタンの外観および感触は上記の外部被制御装置の識別によって変化する。

本発明のさらに別の態様によれば、ユーザインタフェース装置を制御するプログラムが提供される。本発明のプログラムは、ユーザに対して、複数の可動部品を覆うように構成されている柔軟性を有する表示膜に像を提供する機能をコンピュータに実現させる。本発明のプログラムは、さらに、調整されたユーザインタフェースを使用可能とするために、像およびレリーフ状の凹凸がともに調整されるように、可動部品がレリーフ状の凹凸を提供する機能をコンピュータに実現させる。

本発明の第１の態様はユーザインタフェース装置であって、柔軟性を有し画像を表示する表示膜と、前記表示膜に覆われるとともに、前記表示膜を介してレリーフ状の凹凸を提供する複数の可動部品と、前記表示膜あるいは前記可動部品に対するユーザインタラクションを検出するセンサと、使用するユーザインタフェースに応じて、前記像と前記レリーフ状の凹凸とがともに調整される。

本発明の第２の態様は、第１の態様のユーザインタフェース装置であって、前記レリーフ状の凹凸を提供する複数の可動部品が、前記表示膜に表示される画像の解像度よりも粗い密度で配置されている。

第１の態様のユーザインタフェース装置においては、前記柔軟性を有する表示膜が、前記像を表示する柔軟性を有するＬＥＤファブリックを含んでもよい。

第１の態様のユーザインタフェース装置においては、前記柔軟性を有する表示膜が、前記像を表示する柔軟性を有するＬＣＤレイヤーを含んでもよい。

第１の態様のユーザインタフェース装置においては、前記柔軟性を有する表示膜が、前記像を表示する電子ペーパーを含んでもよい。

第１の態様のユーザインタフェース装置においては、前記柔軟性を有する表示膜が、前記像を表示する柔軟性を有する光ファイバーマトリックスを含んでもよい。

第１の態様のユーザインタフェース装置においては、前記像および前記レリーフ状の凹凸がソフトウェアによって変更可能であってよい。

第１の態様のユーザインタフェース装置においては、前記複数の可動部品によって提供される前記レリーフ状の凹凸が、インタラクションに必要な最小詳細レベルを提供するために十分抽象化されてもよい。

第１の態様のユーザインタフェース装置においては、前記柔軟性を有する表示膜が、前記複数の可動部品の表面を一体化して、一体化された知覚形状を作成してもよい。

第１の態様のユーザインタフェース装置においては、前記レリーフ状の凹凸が長期にわたって持続してもよい。

本発明の第３の態様は、第１の態様のユーザインタフェース装置であって、前記柔軟性を有する表示膜による表示と前記複数の可動部品が同期して、動き、位置およびサイズを変化させる。

本発明の第４の態様は、第１の態様のユーザインタフェース装置であって、前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置の物理的インタフェースをシミュレートするように、前記表示膜に表示される画像および前記複数の可動部品のレリーフ状の凹凸の状態が調整される。

本発明の第５の態様は、第４の態様のユーザインタフェース装置であって、前記物理的インタフェースが、ボタン、スライダ、ダイアルおよびロッカースイッチの少なくとも１つを含む。

本発明の第６の態様は、第１の態様のユーザインタフェース装置であって、前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置とのユーザインタラクションの状況に基づいて変化するように調整される。

本発明の第７の態様は、第１の態様のユーザインタフェース装置であって、前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置を制御するために、複数種類の制御機器をシミュレートして提供する。

本発明の第８の態様は、第７の態様のユーザインタフェース装置であって、前記複数の制御機器の少なくとも１つの制御機器の位置が、前記被制御装置とのユーザインタラクションの状況によって決定される。

第７の態様のユーザインタフェース装置において、前記複数の制御機器の少なくとも１つの制御機器が、前記被制御装置とのユーザインタラクションの状況によって前記制御機器が必要とされる場合にだけシミュレートされてもよい。

第７の態様のユーザインタフェース装置において、前記複数の制御機器の少なくとも１つの制御機器の位置が、ユーザの嗜好にしたがって決定されてもよい。

第７の態様のユーザインタフェース装置において、前記複数の制御機器の少なくとも１つの制御機器の位置が、前記被制御装置とのユーザインタラクションの状況にしたがって決定されてもよい。

本発明の第９の態様は、第７の態様のユーザインタフェース装置であって、前記複数の制御機器の少なくとも１つの制御機器が、前記ユーザインタフェース装置により制御される前記被制御装置の種別によって決定される。

本発明の第１０の態様は、第７の態様のユーザインタフェース装置であって、前記複数の制御機器の少なくとも１つの制御機器が、前記ユーザインタフェース装置により制御される前記被制御装置の機能によって決定される。

本発明の第１１の態様は、第７の態様のユーザインタフェース装置であって、前記複数の制御機器の少なくとも１つの制御機器が、ソフトウェアによって遠隔から変更可能である。

第７の態様のユーザインタフェース装置において、前記複数の制御機器の少なくとも１つの制御機器が、前記ユーザインタフェース装置を用いるユーザの嗜好にしたがって決定されてもよい。

上記ユーザインタフェース装置において、前記複数の制御機器の前記少なくとも１つの制御機器が、他のユーザの嗜好には依存せずに決定されてもよい。

第１の態様のユーザインタフェース装置において、前記複数の可動部品の少なくとも１つの可動部品が、機械式アクチュエータによって作動してもよい。

第１の態様のユーザインタフェース装置において、前記複数の可動部品の少なくとも１つの可動部品が、圧電式アクチュエータによって作動してもよい。

本発明の第１２の態様は、第１の態様のユーザインタフェース装置であって、前記複数の可動部品が、前記ユーザインタフェース装置とのユーザインタラクションを検出するために、少なくとも１つのセンサーに結合される。

第１２の態様のユーザインタフェース装置において、前記センサーが機械式センサーであってもよい。

第１２の態様のユーザインタフェース装置において、前記センサーが電子式センサーであってもよい。

本発明の第１３の態様は、第１の態様のユーザインタフェース装置であって、前記柔軟性を有する表示膜が、前記ユーザインタフェース装置とのユーザインタラクションを検出するために、少なくとも１つのセンサーを含む。

本発明の第１４の態様は、第１の態様のユーザインタフェース装置であって、前記像および前記レリーフ状の凹凸について時間を同期して少なくとも１つの音を生成する音声生成装置をさらに含む。

第１の態様のユーザインタフェース装置において、セキュリティモジュールをさらに含み、該セキュリティモジュールは、ユーザからパスワード情報を受信し、受信した前記パスワード情報を検証し、受信した前記パスワード情報の検証が成功した場合には、前記調整されたユーザインタフェースを使用可能にしてもよい。

第１の態様のユーザインタフェース装置において、セキュリティモジュールをさらに含み、該セキュリティモジュールは、ユーザからパスワード情報を受信し、受信した前記パスワード情報を検証し、受信した前記パスワード情報の検証が失敗した場合には、前記調整されたユーザインタフェースの限られた機能を使用可能にしてもよい。

本発明の第１５の態様は、複数種類の外部被制御装置を制御可能なユニバーサルリモコンユニットであって、前記ユニバーサルリモコンユニットが少なくとも１つのボタンを含み、前記ボタンが、柔軟性を有し画像を表示する表示膜と、前記表示膜に覆われるとともに、前記表示膜を介してレリーフ状の凹凸を提供する複数の可動部品と、前記表示膜あるいは前記可動部品に対するユーザインタラクションを検出するセンサと、使用する前記外部被制御装置のユーザインタフェースに応じて、前記像と前記レリーフ状の凹凸とがともに調整され、前記ボタンの外観および感触が、前記外部被制御装置に応じて変化する。

本発明の第１６の態様は、ユーザインタフェース装置を制御する機能をコンピュータに実現させるためのプログラムであって、該機能は、ａ．柔軟性を有する表示膜が画像を表示するための機能と、ｂ．前記表示膜により覆われるように構成された前記複数の可動部品が、レリーフ状の凹凸を提供する機能と、ｃ．使用するユーザインタフェースに応じて、前記画像と前記レリーフ状の凹凸とをともに調整する機能と、ｄ．前記表示膜あるいは前記可動部品に対するユーザインタラクションをセンサにより検出させる機能と、を含む。

第１６の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、前記像および前記レリーフ状の凹凸を変更する、ことをさらに含んでもよい。

第１６の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、前記柔軟性を有する表示膜と前記複数の可動部品の構成要素とを、動き、位置およびサイズについて同期する、ことをさらに含んでもよい。

本発明の第１７の態様は、第１６の態様のユーザインタフェース装置制御プログラムであって、前記画像と前記レリーフ状の凹凸とをともに調整する機能は、前記ユーザインタフェース装置により制御される被制御装置の物理的インタフェースを、前記柔軟性を有する表示膜および前記複数の可動部品によってシミュレートする、ことをさらに含む。

本発明の第１８の態様は、第１７の態様のユーザインタフェース装置制御プログラムであって、前記物理的インタフェースが、ボタン、スライダ、ダイアルおよびロッカースイッチの少なくとも１つを含む。

本発明の第１９の態様は、第１６の態様のユーザインタフェース装置制御プログラムであって、前記機能は、前記ユーザインタフェース装置により制御される被制御装置の複数種類の制御機器を、前記柔軟性を有する表示膜および前記複数の可動部品によってシミュレートする、ことをさらに含む。

第１９の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、前記複数の制御機器の少なくとも１つの制御機器の位置を、ユーザの嗜好にしたがって変更する、ことを更に含んでもよい。

本発明の第２０の態様は、第１６の態様のユーザインタフェース装置制御プログラムであって、前記ユーザインタフェース装置により制御される被制御装置を、前記センサにより検出された前記ユーザインタラクションにもとづいて制御する機能、をさらに含む。

第１６の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、前記像および前記レリーフ状の凹凸について時間を同期して少なくとも１つの音響的影響を生成する、ことをさらに含んでもよい。

第１６の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、パスワード情報をユーザから受信し、受信した前記パスワード情報を検証し、受信した前記パスワード情報の検証が成功した場合には、前記調整されたユーザインタフェースを使用可能にする、ことをさらに含んでもよい。

第１６の態様のユーザインタフェース装置制御プログラムにおいて、前記機能は、パスワード情報をユーザから受信し、受信した前記パスワード情報を検証し、受信した前記パスワード情報の検証が失敗した場合には、前記調整されたユーザインタフェースの制限された機能を使用可能にする、ことを含んでもよい。

本発明のさらに別の態様のある部分は以下の説明に記載され、ある部分は該説明から明らかであるか、もしくは、本発明を実施することによって理解される。本発明の態様は、上記の構成要素によって、また、以下の詳細な説明および添付の特許請求の範囲に特に指定されている様々な構成要素および特徴を組み合わせることによって実現および達成される。

上記の説明および以下の説明は双方とも単なる例示と説明が目的であり、特許請求の範囲に記載した本発明およびその応用を何ら制限する意図はないことを理解すべきである。

本発明は、複数の可動部品を覆う柔軟性を有する表示膜を含み、該柔軟性を有する表示膜が像を提供し、該複数の可動部品がレリーフ状の凹凸を提供し、調整されたユーザインタフェースを使用可能とするために、該像と該レリーフ状の凹凸とをともに調整する。これにより、本発明は、複雑なインタラクションを容易なものとし、満足すべきユーザエクスペリエンスを提供する単純なユーザインタフェース装置を提供することができる。

以下の詳細な説明では、添付図面を参照する。図中、同様の機能部品は同じ参照符号で示す。これらの添付図面は、本発明の原理と矛盾しない特定的な実施形態と実施例を示すが、例証目的であり制限目的ではない。これらの実施例は、当業者が本発明を実施可能なように十分詳細に説明され、また、他の実施例も利用可能であると同時に、様々な部品の構造的変更および／または置換が本発明の範囲と精神から逸脱することなくなされ得ることを理解すべきである。したがって、以下の詳細な説明は制限的なものと解釈すべきではない。加えて、説明する本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアという形態で、特殊化されたハードウェアという形態で、またはソフトウェアとハードウェアとの組み合わせという形態で実現される。

本発明のユーザインタフェース装置のある実施例では、可動部品の集合を覆っている柔軟性および／または伸縮性を有する二次元（２Ｄ）の表示膜を含んで、二次元（２Ｄ）および三次元（３Ｄ）のハイブリッド式ユーザインタフェース装置を形成している。この柔軟性を有する表示膜がユーザに対して可視像を提供し、可動部品が薄浮き彫り(low relief)の触覚情報をユーザに提供する。可視像およびレリーフ状の凹凸の双方のタイミングがともに調整されて、ユーザに対するユーザインタフェースエクスペリエンスを調整することを可能とする。

本発明の実施形態による二次元（２Ｄ）および三次元（３Ｄ）のハイブリッド式ユーザインタフェース装置によって、コンピュータと人間との新しい種類のインタラクションが可能とされる。本発明のあるハイブリッド式ユーザインタフェース装置によって、機械システムの表現およびシステム待ち時間が向上する。特定のタイプの二次元（写真のようにリアルな）情報と三次元（単純な薄浮き彫り）情報とをブレンドして、これを時間にわたるアニメーションとすることによって、本発明の概念では、他のプッシュピン（または類似の）インタフェースより外部表面の三次元変形がはるかに少ない三次元インタフェース装置が作成される。一方が触覚表示で他方が視覚表示という不完全な２つの表示をブレンドすることによって、本明細書に記載するインタフェース装置は、ユーザによる、空間的な触覚と視覚とによる記憶と知覚とを可能とする。詳細には、本発明のハイブリッド式ユーザインタフェース装置は、アナログ制御をできるだけ模倣することによって、制御されているシステムまたは装置とのより自然なインタラクションをユーザに与えるものである。

本発明の一実施形態によれば、触覚特性および視覚特性の変動を有するユーザインタフェース装置を、単に１つのハードウェア装置をプログラミングすることによって作成することが可能な方法が提供される。このような本発明の方法によって、物理的ユーザインタフェースの再設計が容易となり、また、物理的インタフェースを、このインタフェース装置がインタラクションする装置、アプリケーション、ユーザおよびタスクが変化するにつれて即座に再構成することが可能である。

本発明の概念の実施形態では、視覚刺激および触覚刺激の双方を組み込んだコンピュータとのインタラクションを提供する方法およびシステムが提供される。本発明の一実施形態では、本発明のインタフェースの触覚部分は、ノブ、ボタンおよび情報枠(information panes)を含むオブジェクトの薄浮き彫り表示という形態を取っている。本実施形態では、オブジェクトは、浅浮き彫り(bas relief)に緊密に関連したスタイルで描写される。浅浮き彫りとは、平坦な石や金属の表面をカービング(carving)したりエッチングしたりする動作を伴う一種の彫刻方法である。この言葉は、イタリア語の「ｂａｓｓｏ ｒｉｌｉｅｖｏ」（文字通りに訳すとコントラストの強調）に由来している。簡単に説明すれば、ピクチャとして表現された彫刻である。本方法によれば、表現されたイメージは、背景の平坦な表面より幾分浮き上がる。

ここで、本発明のインタフェース装置の実施形態によってシミュレートされるオブジェクトは、その一般的な形状および位置を伝えるために充分な程度の高さと詳細さとでしか表現されない。薄浮き彫りで表示されているオブジェクトの視覚的特徴を表す視覚イメージは、本発明のユーザインタフェースを表示する表面に載せられる。このイメージは、Ｔｒｏｍｐｅ−ｌ‘ｏｅｉｌ（だまし絵）に類似したスタイルで描写される。Ｔｒｏｍｐｅ−ｌ‘ｏｅｉｌとは、フランス語でｔｒｏｍｐｅｒ（だます）、ｌ’ｏｅｉｌ（目）、すなわち、「目を欺く」という意味である。これは、描写したオブジェクトが現実に存在するような幻影を作り出すために極めて写実的な像を用いる芸術技法である。

本発明のシステムの実施形態では、（視覚および触覚）の双方の情報レイヤーがアニメーション化され、さらに、互いに対して２ミリ秒以内で同期を採ることが好ましい。加えて、音声の合図を送って、ユーザエクスペリエンスを向上させてもよい。このような音声表示もまた、可視情報および触覚情報と適切に同期を採るべきである。ビデオゲームで用いられるのと類似した単純な物理的モデルを用いて、本発明の二次元／三次元ハイブリッド式オブジェクトの動作を統御する。装置に対するユーザの知覚が、この装置に対する制御動作によって影響されることが周知である。この事実を利用して、現実的な動作に対する期待感をユーザに持たせながら、装置に対して制御しているという感触を増大させるようなスイッチおよびノブを発生させることが可能である。

本発明の二次元／三次元ハイブリッド式ユーザインタフェース装置は、会議室や他の複雑な環境に対するユーザインタフェースを作成するに際して大きなフレキシビリティを提供する。このようなインタフェース装置を用いて、身近な環境内の装置を制御するために用いることが可能であるのと同じように、遠隔のオブジェクトを制御することが可能である。例えば、会議室やリビングルームで、ボタンの数、サイズおよびレイアウトが固定している多くのリモコンや１つのユニバーサルリモコンの代わりに、本発明の技術を用いれば、まさに必要とされる数のボタンしか持たず、ボタンが手近にある装置に対して適切にレイアウトされ、また、リモコンが制御する装置が追加されたり削除されたりするのにつれて容易に変更可能なユニバーサルリモコンが実現される。加えて、本発明の技術によって、制御インタフェースをユーザがカスタマイズすることが可能であり、ユーザは、インタフェース部品の位置、外観および感触を調整することが可能となる。具体的には、例えば、リモコンにおいて、ユーザは、ボタンの位置および形状を調整するためにソフトウェアを用いてもよい。

ボタンのレイアウトをフレキシブルで適応可能なものとすることに加えて、本発明では、ノブ、ロッカースイッチ、ダイアルおよびスライダを含む様々な物理的インタラクションがサポートされる。したがって、物理的入力のタイプを、装置の機能およびユーザの嗜好の双方と合わせることが可能である。インタフェース装置の触覚的態様および視覚的態様は双方とも、装置やユーザが変化するとともに変化し得るだけではなく、ユーザがタスクやタスク内でのレベルを変化させるにつれても変化し得るものであり、所与の時間において適切なスイッチとダイアルだけが表示され、また、最適なレイアウトが達成され得る。

さらに、本システムが提供する触覚フィードバックによって、このような環境に固有の待ち時間がより明瞭に示される。同じ理由で、二次元／三次元ハイブリッド式ユーザインタフェースというこの概念に基づいたより直接的な装置制御によって、ユーザエクスペリエンスがより信憑性のあるものとなる。どちらの場合も、インタフェースのメンタルマップ(mental map)を構築する頭脳の機能によって、ユーザインタフェース装置のレイアウトに対してあまり注意を集中する必要がないインタラクションが可能となる。加えて、視覚障害のある人でも、視覚に障害がない人が用いるのと同じユーザインタフェース装置を用いることが可能となる。

適応性が高いため、本発明のインタフェース装置は、従来のユーザインタフェース装置が提供し得るより強力な形態のフィードバックを提供することが可能である。例えば、一の実施形態では、範囲から外れたパラメータを設定しようとすると、ユーザは、エラーメッセージを受け取る代わりに、スライダがこの範囲の終端部で停止することを感じ取る。さらに、このインタフェース装置は、ユーザがあるタスクを実行することを示唆する突出したボタンをさらに突出させることによって警報を発することが可能である。

本発明の二次元／三次元ハイブリッド式ユーザインタフェースは、従来のデータとインタラクションする興味深い可能性を提供する。テキストや情報のウインドウを制御面上で非常に自然にスライドさせることが可能である。このようなウインドウは、単に背景に押し込むことによって無くしたり最小化したりすることが可能である。かなり複雑な編成タスクでも、簡単なインタラクションをいくらでもイメージして、遂行することが可能である。

この適応性を利用すると、正しいセキュリティキーを有さない限り、使用者に機能性を隠すことが可能である。例えば、セキュリティキーがなければ、インタフェースはブランクのように見え、表面も浮き上がらず、表示もなく、機能しないか、または、あるキーがないと、一部の機能性だけが利用可能となるだけであり、当該機能性に対応するインタフェースオブジェクトだけが表示され、他の機能性に関するヒントが全く与えられないようにする。

本発明のユーザインタフェース装置は、複雑なおよび／または多様なタスクを、小さい会議室や機械室から潜水艦や宇宙船に至る制限された空間内で遂行しなければならないような状況によく適している。所与のタスクを遂行するために必要とされる制御だけを実施することによって、貴重な不動産を不適切に空費したりほとんど使用したりしないなどということがなくなり、重要な機能性のために貴重な不動産(real estate)が節約されることになる。

このような触覚インタフェースはまた、生物学や薬品の分野において、例えば、腹腔鏡手術の場合のインタフェース装置としても応用可能である。より一般的には、このようなインタフェースは、小型のオブジェクトの操作、特に、ナノテクノロジ（Ｘ）の分野では利点がある。ナノスケールのオブジェクトをマクロスケールで表示し、次に、このような「アバター」の動きを制限し、これらアバターと実際に連絡を取っている装置の機能をシミュレートすることによって、このインタフェースはより簡単で、より直観的なインタラクションを提供する。

ここで、本発明のユーザインタフェース装置の実施形態を詳細に説明する。

「薄浮き彫りの三次元レイヤー」
上述したように、本発明のインタフェース装置１００はハイブリッド面１０３を提供するが、この面は図１に示すように、二次元イメージレイヤー（２Ｄイメージデータ）１０１を載せた薄浮き彫り三次元レイヤー（三次元標高データ）１０２からなっている。この三次元レイヤーは、かなり粗いマトリックスを成すピン１０４を用いて実現されるが、これらのピンによって、ノブ、ボタン、情報枠などを含むオブジェクトの簡単な三次元表示１０２を生成するために十分な解像度(resolution)が得られる。このようなピン１０４は、ユーザ入力とユーザインタフェース装置によって制御されているシステムの状態との組み合わせに基づいて上下動する。ピン１０４は、既知のまたは今後開発される機械式または電気式の作動方式、例えば、磁気作動や圧電式作動を用いて作動される。本目的のため、ピン１０４は、前述のアクチュエータ（機械式、電気式、磁気、圧電式などのアクチュエータ）に対して適切な様式で機械的に接続されている。例えば、本発明のシステムは、合計の占有面積が数ミリメートル以下のピン／ピストンを用いて実現されてもよい。このピンアクチュエータは、インタフェース装置と結合したコントローラモジュールによって電気的に制御される。したがって、ピン１０４マトリックスによってシミュレートされる三次元構造体の形状は、ユーザインタフェース装置と結合したコントローラまたはユーザのパーソナルコンピュータのメインＣＰＵ上で実行されるソフトウェアプリケーションによって制御され得る。

複数のピン上でのユーザの動きおよび任意のピングループに対する「押圧」は、１つ以上のセンサーを用いて追跡される。このようなセンサーは、ユーザインタフェース装置の構成要素とのユーザのインタラクションを検出して、結合している制御装置に対して適切な信号を送る。これらのセンサーは、電気式または機械式のタッチセンサーという形態で実現されてもよい。

本発明の他の実施形態では、他の方法を用いて薄浮き彫り三次元レイヤーを作成するが、この三次元レイヤーには、熱、電気、他の力による圧力によって変形した形状からなるマトリックスが含まれることがある。このような変形は急に発生するはずで、ユーザとの現実的なインタラクションを実現するに十分な力があるはずであり、また、完全に可逆性のものであるはずである。

多くの場合、本発明のシステムは、満足されるユーザエクスペリエンスを提供するために、精巧で詳細な三次元形状を作成する必要がないことに留意すべきである。このインタフェース装置によって作成された三次元形状の感触を、ユーザインタラクションにとって最低限必要な詳細レベルを提供するに十分なほど抽象化する。加えて、前述のピンマトリックスによって作成されたレリーフ状の凹凸は、長時間にわたって持続してもよい。

「二次元レイヤーの詳細」
このレイヤーは、三次元レイヤーを覆う不透明で柔軟性および／または伸縮性を有する膜として実現可能であり、ピンの一部または全部に対して物理的に付着されていてもよい。この膜は、イメージデータを表示し、また、ピンが作成する粗い格子を「平滑化」した滑らかな面を提供する。このレイヤー上に表示される詳細でアニメーション化されたビデオイメージは、ユーザが意識を集中する必要を有する何らかの重要なテキストまたは他のデータやシミュレートされた三次元オブジェクトを作成する際の素材（木材、金属など）などの背景（状況）情報(contextual information)を含む。この周辺情報は、三次元レイヤーによって提供される制御オブジェクトの簡略化された三次元表示を拡張する。このレイヤーの詳細もまた、三次元レイヤーのオブジェクトの高さおよび形状に関する情報の多くを含む。ユーザインタフェース装置のこの詳細な視覚表示は、三次元レイヤーの動きに同期して表現される。

本発明の一の実施形態では、像は、フィリップス社から市販されているＬｕｍｉｌｉｖｅのＬＥＤファブリックによって表示することが可能である。当分野で周知のように、Ｌｕｍｉｌｉｖｅのファブリックの特徴は、布の柔らかさや柔軟性を犠牲にすることなく、ファブリックに完全に統合されたカラー発光ダイオード（ＬＥＤ）からなるフレキシブルアレイにある。これらの発光性の布地によって、動的なメッセージ、グラフィックスまたはマルチカラーの面を提供することが可能な素材を作成することが可能となる。このような特性のため、ＬｕｍｉｌｉｖｅのＬＥＤファブリックは、歪みを最小に抑えた三次元レイヤーの表面を覆う素材として理想的なものとなっている。他の実施例では、柔軟性を有するＬＣＤ画面および電子ペーパーの頁もまた、ある程度変形が発生しても十分対応可能なほど柔軟なものとすることが可能である。このようなオプションによって、二次元レイヤーの像を極めて高解像度のものとする可能性が開かれる。本発明のさらに別の実施形態では、二次元イメージ表示を、適当な光源に結合された柔軟性を有する光ファイバーマトリックスを用いて作成してもよい。

イメージデータの実際のソースとして働くレイヤーを組み込むことによって、本発明のシステムは、プロジェクタに依存する従来のシステムより永続性のあるイメージを提供する。当業者には理解されるように、このようなシステムでは、ユーザの手がイメージを遮断してしまうことがある。投影されたイメージが、ユーザの手の上で見えることになってしまうようなことがしばしばある。このため、二次元レイヤーと三次元レイヤーとが互いにずれてしまい、意図した効果が実質的に得られない。本発明のシステムの強力な可視永続性によって、二次元／三次元ハイブリッド式オブジェクトの立体性が強調して知覚されることになる。

本発明の柔軟性を有する膜は、ピンベースの三次元オブジェクトに固有の欠点のうちの１つを解決する。この膜は一の成形された面を提供し、これによって、ピンが表示する三次元オブジェクトの実在感のある感触を劣化させることなく、ピンを互いにさらに離して位置させることが可能となる。指の触覚は非常に繊細であり、このため、単純なピンマトリックスが「実在感のあるように」感じられるためには、各々のピンを互いに対して０．９ミリメートル以内に置かなければならないほどである。ピンに載せられる本発明の二次元レイヤーによって、たとえ本発明のシステムで用いられる三次元格子がはるかに粗いものであっても、ユーザは、三次元レイヤーによって発生された形状を実在感のあるものとして知覚することが可能となる。

二次元レイヤーの詳細さのレベルは、これを生成するために用いられる技術によって制限されることに留意されたい。例えば、ＬＥＤ技術を用いて実現された本発明のシステムの実施形態は、ＬＣＤ技術を用いて実現された実施形態よりはるかに粗い。とは言うものの、本発明のユーザインタフェースを有用なものとするためには、ある程度の最小解像度を維持しなければならない。しかしながら、二次元レイヤーを目に見えるものとするための解像度には上限がない。事実、ユーザに対してはできる限り多くの情報を与えることが望ましい。本発明のユーザインタフェース装置の有用性は、特に触覚三次元レイヤーからの情報と組み合わせた場合に、視覚レイヤーの解像度が増すにつれて向上する。本明細書に記載する触覚三次元レイヤーの所望される解像度には限界がある。詳細には、形状の位置および境界を表現しながらも、付与する触覚情報の量をできる限り少なくすることが望ましい。また、何らかの理由によって、触覚レイヤーが機能しなくなった場合、視覚レイヤーが十分な情報を有し、本発明のユーザインタフェース装置が十分有用なものとなるようにする。このことは、視覚レイヤーが機能しなくなった場合には当てはまらない。

「二次元／三次元ハイブリッド式ユーザインタフェース装置」
本発明のある実施形態では、二次元レイヤーおよび三次元レイヤーの双方が、ＴＦＴタイプの電子駆動回路で駆動される。この双方のレイヤーで表される情報は、非常に緊密に同期を採られており、互いに対して２ミリ秒以内に同期が採られていることが好ましい。二次元レイヤーおよび三次元レイヤーの各々の構成要素は、動き、位置、サイズ、外観および感触という点で同期を採られる。ユーザインタフェース装置の待ち時間は、一定でなければならず、また、２００ミリ秒未満に抑えなければならない。前述の２つのレイヤーを組み合わせることによって、ユーザには、単純であるが情報が豊富なユーザインタフェース装置が提供され、このインタフェース装置は、システム要件やユーザ要件がいくつあってもこれらの要件に基づいてカスタマイズすることが可能である。

特定のタイプの二次元（写真のようにリアルな）情報と三次元（単純な薄浮き彫り）情報とをブレンドしてこれを時間にわたるアニメーションとすることによって、その結果として得られる三次元インタフェース装置では、他のプッシュピン（または類似の）インタフェース装置よりはるかに少ない外部表面の三次元変形が必要とされる。一方が触覚表示で他方が視覚表示という不完全な２つの表示をブレンドすることによって、本発明に記載するインタフェース装置は、ユーザによる、空間的な触覚および視覚による記憶および知覚を可能とする。

図２に、車両の例示の三次元（３Ｄ）形状２０２とこれに関連する三次元／二次元ハイブリッド式表示２０３を示す。三次元形状２０２は、ピン１０４マトリックスを用いて、本発明のインタフェース装置２０１の実施形態によって作成される。三次元／二次元表示２０３は、三次元形状２０２の上にこれに対応している二次元イメージを載せて組み込んだものである。当業者には理解されるように、本発明のシステムは、意図するオブジェクトの写実的な描写を達成するものである。

「第１の例示的な実施例」
第１の例示的な実施例は、単純なボタン形状を形成するように水平軸に沿って配置され、また、視覚インタフェースが可変光線（ｖＬｉｇｈｔ）方法および／または立体映像（Ｃｕｂｉｃ Ｖｉｓｉｏｎ）方法を用いて投影される柔軟性を有する膜で覆われたピンマトリックスからなる。プロトタイプを用いて、ピンの様々な直径および配置を比較することによってこのユーザインタフェース装置中の三次元オブジェクトを表すために必要な詳細さのレベルをテストすることが可能である。上記の単純なボタン形状によって置き換えられるピンの分量によって、これらの三次元構成要素を表すために必要とされる起伏のレベルがテストされる。

「第２の例示的な実施例」
第２の例示的な実施例は、単純なスライドショー制御インタフェース装置という形態を採っている。この例示のインタフェース装置は、「前へ」矢印と「次へ」矢印という２つの簡単なボタン形状を特徴とする。ユーザインタフェース装置が「オフ」の状態では、ボタンは全く見えない。「第１のスライド」状態では、「次へ」ボタンしか見えない。「表示」状態では、「前へ」矢印と「次へ」矢印との双方が見える。最後に、「最後のスライド」状態では、「前へ」矢印しか見えない。この実施例の場合、これら簡単なボタン形状が作動させられ、感圧性である必要があるだけであり、ピンは単に柔軟性を有する膜を変形させる役目を担うだけである。市販されているフィリップ社製のＬｕｍｉｌｉｖｅファブリックはこの実施例では二次元レイヤーとして用いられる。代替的に、第１の例示的な実施例で用いられた二次元情報を表示する別の方法を、第２の例示的な実施例でも用いることが可能である。

「第３の例示的な実施例」
第３の例示的な実施例は、特定の被制御装置、仕事(mission)または応用分野に適するボタンおよび他の制御部品を有する適応可能リモコンである。本実施例は、特定の制御部品が形成される制御エリアを含む。これらの制御部品は、１つ以上のボタン、スライダ、ダイアルおよび／またはロッカースイッチであってよい。第３の実施例によって提供されるこれら特定の制御部品の外観、位置および感触は、制御の対象とされている装置もしくは応用分野ならびにユーザの嗜好によって異なってよい。詳細には、ユーザは、自身が好む特定のタイプの制御機器を選択することができる。例えば、ユーザはスイッチよりボタンを選ぶかもしれない。ユーザはまた、例えば、ユーザの手のサイズに適した制御機器の特定の位置を選ぶかもしれない。本実施例による本発明のシステムは、ユーザが指定した制御機器を、本システムを用いたことのある他のユーザの嗜好を考慮することなく提供する。本システムはさらに、様々なユーザに対してユーザ嗜好を迅速に再構築することを可能とするユーザ個人情報を記憶してもよい。本発明は、様々な制御機器を、これらの制御機器が、制御される機能性とのユーザインタラクションの状況(context)で必要とされる場合にしか提供しなくてよい。

「他の特徴」
一の実施形態では、本発明のインタフェース装置は、ユーザに対して力をフィードバックするように構成されている。加えて、本発明のシステムを用いて、所定の方式で三次元表示のピンを配置することによって、意図するオブジェクトのテクスチャをシミュレートしてもよい。

「例示的なコンピュータプラットフォーム」
図３は、本発明の実施形態が実現されるコンピュータ／サーバシステム３００の実施形態を示すブロック図である。図３に示すコンピュータシステムはさておき、本発明のユーザインタフェース装置は、会議室、リビングルーム、機械室、宇宙船や潜水艦、手術、ナノマニピュレーション用のコントローラやゲーム機用などの他の様々なタイプの装置と接続して利用してもよいことを理解すべきである。このような制御システムの中には、以下に説明するようなコンピュータシステム３００の構成要素の一部を含むものもあるが、以下に説明する構成要素はいずれも本発明の概念を実施するために必須のものではないことを理解すべきである。したがって、コンピュータシステム３００に関する以下の説明は単なる例示であり、何ら制限的なものと考えるべきではない。

図３に示す例示のシステム３００は、コンピュータ／サーバプラットフォーム３０１、周辺機器３０２およびネットワークリソース３０３を含む。

コンピュータプラットフォーム３０１は、データバス３０４もしくはコンピュータプラットフォーム３０１の様々な部品全体にわたって情報を通信する他の通信メカニズムと、情報を処理し、他の計算タスクおよび制御タスクを実行するためにデータバス３０４と結合しているプロセッサ（ＣＰＵ）３０５と、を含んでよい。コンピュータプラットフォーム３０１はまた、様々な情報やプロセッサ３０５によって実行される命令を記憶するためにデータバス３０４に結合されているＲＡＭ（ランダムアクセスメモリ）や他のダイナミック記憶装置などの揮発性記憶装置３０６を含む。揮発性記憶装置３０６はまた、プロセッサ３０５が命令を実行している間に一時的数値変数または他の中間情報を記憶するために用いられてもよい。コンピュータプラットフォーム３０１はさらに、ＲＯＭまたはＥＰＲＯＭ（リードオンリーメモリ）３０７または、ＢＩＯＳ（基本入出力システム）や様々なシステム構成パラメータなどのプロセッサ３０５の静的な情報や命令を記憶するためにデータバス３０４に結合されている他のスタティック記憶装置を含んでもよい。磁気ディスク、光ディスクまたはソリッドステートのフラッシュメモリ装置などの不揮発性（永続性）記憶装置３０８が備えられていて、情報や命令を記憶するためにデータバス３０４に結合されている。

コンピュータプラットフォーム３０１は、システムアドミニストレータまたはコンピュータプラットフォーム３０１のユーザに対して情報を表示するために、ＣＲＴ（陰極線管）、プラズマディスプレイまたはＬＣＤ（液晶表示装置）などの表示装置３０９に、データバス３０４を介して結合していてもよい。本発明のユーザインタフェース装置（図示せず）はさておき、コンピュータプラットフォーム３０１は、選択された情報やコマンドをプロセッサ３０５との間で通信するためにデータバス３０４に結合されている、英数字キーや他のキーを含む入力装置（キーボード）３１０を含んでいてもよい。別のタイプのオプションのユーザ入力装置として、マウス、トラックボール、カーソル方向キーなどのカーソル制御装置を備えてもよく、これらは、方向情報や選択されたコマンドをプロセッサ３０５との間で通信したり、表示装置３０９上のカーソルの動きを制御したりする。この入力装置は一般には、第１の軸（例えば、ｘ）と第２の軸（例えば、ｙ）の２つの軸に沿って２つの自由度を有し、本装置が平面の位置を指定することを可能とするものである。本発明の実施形態では、オプションとしてのユーザインタフェース装置３１０および３１１は双方とも、本発明のユーザインタフェース装置と置換してもよいことを理解すべきである。

外部記憶装置３１２を、データバス３０４を介してコンピュータプラットフォーム３０１に接続して、コンピュータプラットフォーム３０１用の追加のまたは取り外し可能な記憶容量を提供するようにしてもよい。コンピュータシステム３００のある実施形態では、他のコンピュータシステムとのデータの交換を容易にするために、取り外し式の外部記憶装置３１２を用いてもよい。

本発明は、本明細書に記載する技法を実施するためにコンピュータシステム３００を使用することに関する。ある実施形態では、本発明のシステムは、コンピュータプラットフォーム３０１などの機械に含まれてもよい。本発明の一の実施形態によれば、本明細書に記載する技法は、揮発性記憶装置（揮発性メモリ）３０６に含まれている１つ以上の命令からなる１つ以上のシーケンスを実行するプロセッサ３０５に応答してコンピュータシステム３００によって実行される。このような命令は、不揮発性記憶装置３０８などの別のコンピュータ読み取り可能媒体から揮発性メモリ３０６に読み込まれる。揮発性メモリ３０６に含まれていた命令シーケンスの実行によって、プロセッサ３０５は、本明細書に記載するプロセスステップを実行する。代替の実施形態では、ハードワイヤードの回路をソフトウェア命令の代わりにまたはこれと組み合わせて用いて、本発明を実施してもよい。このように、本発明の実施形態は、ハードウェア回路およびソフトウェアの任意の特定の組み合わせに制限されるものではない。

本明細書で用いる「コンピュータ読み取り可能媒体」という用語は、実行用の命令をプロセッサ３０５に提供する動作に関与するいずれかの媒体のことである。コンピュータ読み取り可能媒体は、本明細書に記載する方法および／または技法のうちのいずれかを実施するための命令を有することができる機械読み取り可能媒体の単なる一例に過ぎない。このような媒体は、不揮発性媒体、揮発性媒体、伝送媒体などの形態を採ることができるが、本発明はこれらに限定されるものではない。不揮発性媒体には、例えば、記憶装置３０８などの光ディスクや磁気ディスクがある。揮発性媒体には、揮発性記憶装置３０６などのダイナミックメモリがある。伝送媒体には、データバス３０４を含むワイヤを含む同軸ケーブル、銅線および光ファイバが含まれる。伝送媒体もまた、電磁波(radio-wave)データ通信や赤外線データ通信中に生成されるような音波や光波という形態を採ることがある。

コンピュータ読み取り可能媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは他のいずれかの磁気媒体、ＣＤ−ＲＯＭ、他のいずれかの光媒体、パンチカード、紙テープ、穴のパターンを有する他のいずれかの物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、他のいずれかのメモリチップもしくはカートリッジ、以下に説明する搬送波、またはコンピュータが読み取り可能な他のいずれかの媒体が含まれる。

様々な形態のコンピュータ読み取り可能媒体が、実行用にプロセッサ３０５に対して１つ以上の命令からなる１つ以上のシーケンスを伝達する動作に関わることができる。例えば、これらの命令は、最初に遠隔のコンピュータから磁気ディスクに伝達されてもよい。代替的には、遠隔のコンピュータが、それ自体のダイナミックメモリ中に命令をロードして、これらの命令を、モデムを用いて電話回線を介して送ることができる。コンピュータシステム３００のローカルモデムは、電話回線上のデータを受信して、赤外線送信機を用いて、このデータを赤外線信号に変換することが可能である。赤外線検出器は、赤外線信号で搬送されたこのデータを受信し、適切な回路がこのデータをデータバス３０４上に置くことが可能である。データバス３０４は、このデータを揮発性記憶装置３０６に伝達し、プロセッサ３０５はこの記憶装置から命令を読み出して実行する。揮発性記憶装置（揮発性メモリ）３０６が受信した命令は、場合によっては、プロセッサ３０５によって実行される前または後で、不揮発性（永続性）記憶装置３０８に記憶されてもよい。これらの命令はまた、当分野で周知の様々なネットワークデータ通信プロトコルを用いてインターネット経由でコンピュータプラットフォーム３０１にダウンロードされてもよい。

コンピュータプラットフォーム３０１はまた、データバス３０４に結合されているネットワークインタフェースカード３１３などの通信インタフェースを含む。通信インタフェース（ネットワークインタフェースカード）３１３は、ローカルネットワーク（インターネット）３１５に接続されているネットワークリンク３１４に結合する双方向データ通信を提供する。例えば、通信インタフェース（ネットワークインタフェースカード）３１３は、デジタル総合サービスネットワーク（ＩＳＤＮ）カードや、対応するタイプの電話回線にデータ通信接続するモデムであってもよい。別の例として、通信インタフェース（ネットワークインタフェースカード）３１３を、ローカルエリアネットワークインタフェースカード（ＬＡＮＮＩＣ）として、コンパチブルなＬＡＮに対してデータ通信接続を提供するようにしてもよい。周知の８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇおよびブルートゥースなどの無線リンクもまた、ネットワーク実現のために用いてもよい。このようないずれの実施例においても、通信インタフェース（ネットワークインタフェースカード）３１３は、様々なタイプの情報を表しているデジタルデータストリームを搬送する電気信号、電磁気信号または光信号を送受信する。

ネットワークリンク３１４は、一般的に、１つ以上のネットワークを介して他のネットワークリソースに対してデータ通信機能を提供する。例えば、ネットワークリンク３１４は、ローカルネットワーク（インターネット）３１５を介してホストコンピュータ３１６またはネットワーク記憶装置／サーバ３１９に対してネットワーク接続を提供してもよい。これに加えて、またはこの代わりに、ネットワークリンク３１４は、インターネットなどのワイドエリアまたはグローバルネットワーク３１８に対してゲートウェイ／ファイアウォール３１７を介して接続してもよい。したがって、コンピュータプラットフォーム３０１は、遠隔のネットワーク記憶装置／サーバ３１９などのインターネット３１８のどこかに置かれているネットワークリソースにアクセスすることが可能である。他方では、コンピュータプラットフォーム３０１もまた、ローカルエリアネットワーク（インターネット）３１５および／またはインターネット３１８のどこかに位置するクライアントからアクセスされるようにしてもよい。ネットワーククライアント３２０および３２１はそれ自体を、プラットフォーム３０１に類似のコンピュータプラットフォームに基づいて実現するようにしてもよい。

ローカルネットワーク（インターネット）３１５およびインターネット３１８は双方ともが、デジタルデータストリームを搬送している電気信号、電磁気信号または光信号を用いている。様々なネットワークを通過する信号およびネットワークリンク３１４上のまたは通信インタフェースを介する信号は、コンピュータプラットフォーム３０１との間でデジタルデータを搬送するが、これらの信号は情報を輸送する搬送波の例示の形態である。

コンピュータプラットフォーム３０１は、インターネット３１８およびＬＡＮ（インターネット）３１５、ネットワークリンク３１４ならびに通信インタフェース（ネットワークインタフェースカード）３１３を含む様々なネットワークを介して、メッセージを送ったりプログラムコードを含むデータを受信したりすることが可能である。インターネットを例に採ると、システム（コンピュータプラットフォーム）３０１は、それ自体がネットワークサーバとして作動する場合、インターネット３１８、ゲートウェイ／ファイアウォール３１７、ローカルエリアネットワーク（インターネット）３１５および通信インタフェース（ネットワークインタフェースカード）３１３を介してクライアント３２０および／または３２１上で実行されるアプリケーションプログラム用の要求されているコードまたはデータを送信してもよい。同様に、このシステムは、他のネットワークリソースからコードを受信してもよい。

受信されたコードは、受信されるとプロセッサ３０５によって実行され、および／または、各々不揮発性（永続性）もしくは揮発性の記憶装置３０８および３０６または他の不揮発性記憶装置に記憶され、後で実行される。このようにして、コンピュータシステム（プラットフォーム）３０１は、アプリケーションコードを搬送波という形態で取得することができる。

最後に、本明細書に記載するプロセスと技法はいずれかの特定の装置に固有に関連したものではなく、構成要素の何らかの適切な組み合わせによって実施されることを理解すべきである。さらに、様々なタイプの汎用装置を、本明細書に記載する教示にしたがって用いることが可能である。また、特殊化された装置を構築して、本明細書に記載する方法ステップを実行することが好ましい。本発明を特定の例に関連して説明したが、これらの例はすべての点において、制限的なものではなくて例示目的である。当業者は、ハードウェア、ソフトウェア（プログラム）およびファームウェア（プログラム）の多くの様々な組み合わせが本発明を実施するに際して適切であることを理解する。例えば、記述に使用されるソフトウェア（プログラム）は、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）などの広い範囲にわたるプログラミング言語やスクリプト言語で実現されることができる。

さらに、本明細書に開示する本発明の説明と実施を考慮すれば、当業者には、本発明の他の実施例も明らかであろう。記載した実施形態の様々な態様および／または構成要素は、単独でまたは組み合わせて触覚コンピュータインタフェース装置において用いられ得る。本明細書および例は単なる例示と考えられるべきであり、本発明の真の範囲と精神は特許請求の範囲によって示されることを意図する。

本発明のユーザインタフェース装置の実施形態を示す。 例示的な車両の三次元（３Ｄ）形状とこれに関連する三次元／二次元ハイブリッド式表示を示す。 本発明のシステムを実現することができるコンピュータプラットフォームの実施形態を示す。

符号の説明

１００ インタフェース装置
１０１ 二次元イメージレイヤー
１０２ 薄浮き彫り三次元レイヤー
１０４ ピン

Claims (20)

1. 柔軟性を有し画像を表示する表示膜と、
   前記表示膜に覆われるとともに、前記表示膜を介してレリーフ状の凹凸を提供する複数の可動部品と、
   前記表示膜あるいは前記可動部品に対するユーザインタラクションを検出するセンサと、
   使用するユーザインタフェースに応じて、前記像と前記レリーフ状の凹凸とがともに調整される、
   ユーザインタフェース装置。
2. 前記レリーフ状の凹凸を提供する複数の可動部品が、前記表示膜に表示される画像の解像度よりも粗い密度で配置されている、請求項１に記載のユーザインタフェース装置。
3. 前記柔軟性を有する表示膜による表示と前記複数の可動部品が同期して、動き、位置およびサイズを変化させる、請求項１に記載のユーザインタフェース装置。
4. 前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置の物理的インタフェースをシミュレートするように、前記表示膜に表示される画像および前記複数の可動部品のレリーフ状の凹凸の状態が調整される、請求項１に記載のユーザインタフェース装置。
5. 前記物理的インタフェースが、ボタン、スライダ、ダイアルおよびロッカースイッチの少なくとも１つを含む、請求項４に記載のユーザインタフェース装置。
6. 前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置とのユーザインタラクションの状況に基づいて変化するように調整される、請求項１に記載のユーザインタフェース装置。
7. 前記調整されたユーザインタフェースが、前記ユーザインタフェース装置により制御される被制御装置を制御するために、複数種類の制御機器をシミュレートして提供する、請求項１に記載のユーザインタフェース装置。
8. 前記複数の制御機器の少なくとも１つの制御機器の位置が、前記被制御装置とのユーザインタラクションの状況によって決定される、請求項７に記載のユーザインタフェース装置。
9. 前記複数の制御機器の少なくとも１つの制御機器が、前記ユーザインタフェース装置により制御される前記被制御装置の種別によって決定される、請求項７に記載のユーザインタフェース装置。
10. 前記複数の制御機器の少なくとも１つの制御機器が、前記ユーザインタフェース装置により制御される前記被制御装置の機能によって決定される、請求項７に記載のユーザインタフェース装置。
11. 前記複数の制御機器の少なくとも１つの制御機器が、ソフトウェアによって遠隔から変更可能である、請求項７に記載のユーザインタフェース装置。
12. 前記複数の可動部品が、前記ユーザインタフェース装置とのユーザインタラクションを検出するために、少なくとも１つのセンサーに結合される、請求項１に記載のユーザインタフェース装置。
13. 前記柔軟性を有する表示膜が、前記ユーザインタフェース装置とのユーザインタラクションを検出するために、少なくとも１つのセンサーを含む、請求項１に記載のユーザインタフェース装置。
14. 前記像および前記レリーフ状の凹凸について時間を同期して少なくとも１つの音を生成する音声生成装置をさらに含む、請求項１に記載のユーザインタフェース装置。
15. 複数種類の外部被制御装置を制御可能なユニバーサルリモコンユニットであって、
    前記ユニバーサルリモコンユニットが少なくとも１つのボタンを含み、
    前記ボタンが、柔軟性を有し画像を表示する表示膜と、前記表示膜に覆われるとともに、前記表示膜を介してレリーフ状の凹凸を提供する複数の可動部品と、
    前記表示膜あるいは前記可動部品に対するユーザインタラクションを検出するセンサと、
    使用する前記外部被制御装置のユーザインタフェースに応じて、前記像と前記レリーフ状の凹凸とがともに調整され、
    前記ボタンの外観および感触が、前記外部被制御装置に応じて変化する、
    ユニバーサルリモコンユニット。
16. ユーザインタフェース装置を制御する機能をコンピュータに実現させるためのプログラムであって、
    該機能は、
    ａ．柔軟性を有する表示膜が画像を表示するための機能と、
    ｂ．前記表示膜により覆われるように構成された前記複数の可動部品が、レリーフ状の凹凸を提供する機能と、
    ｃ．使用するユーザインタフェースに応じて、前記画像と前記レリーフ状の凹凸とをともに調整する機能と、
    ｄ．前記表示膜あるいは前記可動部品に対するユーザインタラクションをセンサにより検出させる機能と、
    を含む、
    ユーザインタフェース装置制御プログラム。
17. 前記画像と前記レリーフ状の凹凸とをともに調整する機能は、前記ユーザインタフェース装置により制御される被制御装置の物理的インタフェースを、前記柔軟性を有する表示膜および前記複数の可動部品によってシミュレートする、ことをさらに含む、請求項１６に記載のユーザインタフェース装置制御プログラム。
18. 前記物理的インタフェースが、ボタン、スライダ、ダイアルおよびロッカースイッチの少なくとも１つを含む、請求項１７に記載のユーザインタフェース装置制御プログラム。
19. 前記機能は、前記ユーザインタフェース装置により制御される被制御装置の複数種類の制御機器を、前記柔軟性を有する表示膜および前記複数の可動部品によってシミュレートする、ことをさらに含む、請求項１６に記載のユーザインタフェース装置制御プログラム。
20. 前記ユーザインタフェース装置により制御される被制御装置を、前記センサにより検出された前記ユーザインタラクションにもとづいて制御する機能、
    をさらに含む、
    請求項１６に記載のユーザインタフェース装置制御プログラム。