JP2019049983A - ユーザインタフェースメタファを形状が変化する装置における物理的変化として表現する方法及び装置 - Google Patents

Abstract

【課題】ユーザインタフェースメタファを物理的な変化として促進する電子的なユーザインタフェース装置を提供する。【解決手段】電子装置１００は、柔軟な表面１２０又は１３０、柔軟な表面１２０又は１３０に動作可能に結合され、柔軟な表面１２０又は１３０の変形を発生させるように構成された触覚出力装置１２１又は１３１、及び触覚出力装置１２１又は１３１と信号通信可能なコントローラを有するユーザインタフェース装置を備える。コントローラは、ユーザインタフェースに視覚的に表された仮想要素のシミュレートされた物理的な動きに基づいて、柔軟な表面１２０又は１３０の変形を引き起こすように触覚出力装置１２１又は１３１を動作させるように構成される。【選択図】図１Ａ

Description

本発明は、ユーザインタフェースメタファを形状が変化する装置における物理的変化として表現する方法及び装置に関する。

一部の電子的なユーザインタフェース装置は、ゲーム環境等の仮想環境を視覚的にユーザに伝えることができる。仮想環境の仮想的な要素が、電子的なユーザインタフェース装置の画面上に表示される。ユーザは、画面上の要素へのタッチやドラグといったメタファを通じて、当該仮想要素と対話（interact）することができる。仮想環境は画面によって制限され、ユーザは、画面の境界を超えて仮想要素をドラグすることはできない。

本発明の一態様に従って、ユーザインタフェースメタファを物理的な変化として促進する電子的なユーザインタフェース装置が提供される。この装置は、柔軟な表面、触覚出力装置、及びコントローラを備える。この触覚出力装置は、柔軟な表面に動作可能に結合され、前記柔軟な表面を変形させるように構成されてもよい。このコントローラは、前記触覚出力装置と信号通信可能であり、前記触覚出力装置に、前記柔軟な表面の変形を起こさせることができる。引き起こされる変形は、前記ユーザインタフェースに表される仮想要素のシミュレートされた物理的な動きに基づくものであってもよい。

一実施形態において、前記物理的な動きは、前記仮想要素と前記柔軟な表面の物理的な相互作用である。前記仮想要素は、前記ユーザインタフェースの画面に視覚的に表されても良い。

一実施形態において、前記コントローラは、前記画面に前記仮想要素の一部分のみを視覚的に表してもよい。前記コントローラは、前記変形によって前記画面に視覚的に表されていない前記仮想要素の他の部分が表現されるように前記触覚出力装置を動作させることによって、前記仮想要素と前記柔軟な表面との物理的な相互作用をシミュレートするように構成されてもよい。

一実施形態においては、前記変形の速度が、前記柔軟な表面に対する前記画面上の前記仮想要素の前記一部分の視覚的な速度に基づくものであってもよい。

一実施形態において、前記コントローラは、前記柔軟な表面の前記変形の変化に応答して、前記画面上の前記仮想要素の前記一部分の動きを前記画面に視覚的に表すことにより、前記物理的な相互作用をシミュレートするように構成される。一実施形態において、前記コントローラは、前記仮想要素のシミュレートされた抵抗力に基づいて、前記柔軟な表面の柔軟性を調整するように構成されてもよい。

一実施形態において、前記柔軟な表面は、前記画面の前方又は後方にあるか、前記画面の一部である。前記コントローラは、前記画面において前記仮想要素を拡大又は縮小することによって前記物理的な相互作用をシミュレートし、当該拡大又は縮小に基づいた変形を起こさせるように前記触覚出力装置を動作させるように構成されてもよい。

一実施形態において、前記コントローラは、前記仮想要素に関連付けられた物理的要素の物理的な動きに基づいて変形を起こさせるように前記触覚出力装置を動作させることに
よって、前記物理的な動きをシミュレートするように構成される。前記物理的な動きは、前記物理的要素の拡大又は縮小を含んでも良い。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の"a"、"an"及び"the"には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

本発明の一実施形態に従った装置を模式的に示す。

図１Ａの装置の構成要素を模式的に示す。

図２Ａないし図２Ｇは、図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図４Ａないし図４Ｃは、図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図５Ａ及び図５Ｂは、図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図７Ａ及び図７Ｂは、図１Ａの装置のユーザインタフェースで表現される仮想要素の物理的な動きをシミュレートする変形を示す。

図１Ａは、ユーザインタフェースメタファを促進できる電子ユーザインタフェース装置１００の一実施形態を示す。このユーザインタフェースメタファによって、仮想環境の仮想要素が物理世界（physicalworld）と相互作用できるように見えたり、それ以外の方法
で物理的な動きを表しているように見えるようになる。一時部の例において、仮想要素は、画面１１０に仮想的に表されるアイコン、アニメーション、動画、又はこれら以外の画像等のオブジェクトである。仮想要素は、画面の縁に設けられた柔軟な表面１２０又は１３０の変形を通じて、画面を超えて物理世界に広がるように見える。この変形は、仮想要素と柔軟な表面１２０又は１３０との物理的相互作用をシミュレートすることができる。この変形は、柔軟な表面１２０又は１３０に対して仮想要素から作用する力や圧力をシミュレートすることができる。このように、この変形によって、仮想要素が画面を超えて表される物理的な動きを有するように見せることができる。一部の例において、当該仮想要素は視覚的に表現されなくともよい。例えば、仮想要素は、流体の圧力や力のように、視覚的に認識できない要素であってもよい。表面１２０又は１３０の変形は、当該表面に仮想要素から作用する圧力や力をシミュレートすることができる。一実施形態において、柔軟な表面１２０及び１３０の変形はそれぞれ、触覚出力装置１２１及び１３１が生じさせるものであってもよい。一実施形態において、当該変形は、巨視的変形であってもよい。この巨視的変形は、わずかに表面に接触したり軽く押圧するによって生じる変形と対照をなす。一実施形態において、この巨視的変形は、ユーザが見たり感じたりすることができる変形であってもよい。

一実施形態において、柔軟な表面１２０又は１３０は、変形することが可能な任意の物質、例えば、数マイクロメートル、数ミリメートル、数センチメートル、又は数１０センチメールほど弾性変形できる物質を含む。図１Ａに示すように、表面１２０及び１３０は、１２０ａ、１２０ｂ、１２０ｃ及び１３０ａ、１３０ｂ、１３０ｃでそれぞれ表されている複数の異なる位置に変形することができる。表面１２０又は１３０は、外向きの方向（例えば、装置１００から離れる方向）、内向きの方向（例えば、装置１００に向かう方向）、横方向（例えば、ねじったり引き延ばしたりする動き）、又はこれらの任意の組み合わせ等の動きの一又は複数の段階に沿って変形するように動作してもよい。一実施形態において、表面１２０又は１３０は、スポンジ状の物質の変形のように、自由な形状をとって変形するように構成されてもよい。

一実施形態において、触覚出力装置１２１又は１３１はアクチュエータであってもよく、ソレノイド、モータ、圧電物質、繊維複合材（例えば、macro-fibercomposite）アクチュエータ、又はこれらの任意の組み合わせであってもよい。一実施形態において、アクチュエータは、柔軟な表面の一部分であってもよい。圧電材料は、例えば、柔軟な表面の一部分であってもよく、当該圧電材料に電気信号が印加されたときに当該表面を変形させるように構成されていてもよい。一実施形態において、触覚出力装置１２１又は１３１は、例えばユーザによって表面１２０又は１３０ににそれぞれ加えられる力に基づいて信号を出力することができるトランスデューサであってもよい。

一実施形態において、触覚出力装置１２１又は１３１は、静電装置（electrostatic device）であってもよい。この静電装置は、電気振動型装置（electrovibrotactiledevice）又は触覚効果を生成するために機械的な動きに換えて電圧や電流を与える前記以外の任意の装置であってもよい。本実施形態において、前記静電装置は、導電層と絶縁層とを少なくとも有する。この導電層は、半導体又は銅、アルミニウム、金、もしくは銀等の任意の導電体であってもよい。この絶縁層は、ガラス、プラスチック、ポリマー、又は前記以外の任意の絶縁物質であってもよい。このシステムは、前記導電層に電気信号を加えることによって、前記静電装置を動作させることができる。この電気信号は、本実施形態において、前記導電層を表面１２０又は１３０に近接又は接触する物体と容量結合させる交流信号であってもよい。この交流信号は、高電圧増幅器によって生成されてもよい。電子的なユーザインタフェース装置１００は、触覚効果を生成するために、容量結合以外の原理を用いることもできる。この容量結合は、表面１２０又は１３０における摩擦係数や触感をシミュレートすることができる。摩擦係数は、前記表面１２０又は１３０は滑らかであるが、前記容量結合が当該表面１２０又は１３０の近くにある物体と前記導電層との間に引力を生成するという点においてシミュレートされたものである。この引力は、当該表面における物質の構造が変化しなくとも、当該表面における摩擦を増加させる。摩擦力を変化させることにより摩擦係数の変化をシミュレートすることができる。

容量結合は、表面１２０又は１３０に近接し又は接触しているユーザの肌の小体（corpuscles）等の物体の一部分を刺激することによって、触覚効果を生成することもできる。肌における小体は、例えば、刺激され、振動やより具体的な感覚として容量結合を検知することができる。例えば、導電層は、ユーザの指の導電性の部分と結合する交流電圧信号を加えられてもよい。

一実施形態において、触覚出力装置１２１又は１３１は、表面１２０又は１３０において、低周波パルス又は高周波振動を生成するように構成されてもよい。低周波パルス又は高周波振動は、触覚効果として利用され得る。一実施形態において、触覚出力装置１２１又は１３１は、柔軟な表面を様々な無作為の３次元の輪郭に変形させるように構成されてもよい。例えば、触覚出力装置１２１及び１３１の各々が複数のソレノイドを備え、各ソレノイドによって、変形が画像のピクセルに対応するようにしてもよい。当該複数のソレノイドは、高さ情報、色情報、又は画像に関連する前記以外の任意の情報を伝達する表面変形を発生させてもよい。

一実施形態において、装置１００は、画面１１０と同一平面上にある柔軟な表面、画面１１０の一部である柔軟な表面、又は画面１１０の上部又は下部にある柔軟な表面を備えてもよい。一実施形態において、装置１００は、前記柔軟な表面の変形を発生させる触覚出力装置を備えても良い。一実施形態において、触覚効果は、画面１１０の表面において生成されてもよい。一実施形態において、画面１１０は、タッチスクリーンであってもよい。

図１Ｂに示されているように、触覚出力装置１２１及び１３１は、コントローラ１６０と信号通信可能であってもよい。このコントローラ１６０は、触覚出力装置１２１又は１３１を動作させて柔軟な表面１２０又は１３０の変形をそれぞれ発生させるように構成されてもよい。一実施形態において、電子的なユーザインタフェース装置１００は、コントローラ１６０の制御によって一又は複数の柔軟な表面の変形を発生させる触覚出力装置１４１及び１５１をさらに備えてもよい。この一又は複数の柔軟な表面には、例えば、画面１１０と同一面上にあるもの、及び、画像の上部もしくは下部にあるもの、又は、画面１１０の一部になっているものを含むことができる。この一又は複数の柔軟な表面には、例えば、装置１１０の背面側にある柔軟な表面を含むことができる。触覚出力装置１４１及び１５１は、異なる柔軟な表面に対して変形を発生させることができるし、同一の柔軟な表面に対して変形を発生させることもできる。

図２Ａないし図２Ｇは、仮想環境が周囲の物理的な空間に拡張したように見せるユーザインタフェースメタファを図示する。仮想環境はゲーム、製品の実演、又はこれら以外の任意の用途の一部であってもよい。図２Ａに示されているように、仮想空間は、仮想的なボールを含んでいても良い。この仮想的なボールは、画面１１０上に視覚的に表されている一部分３０１を有する（すなわち、オンスクリーン部分３０１を有する）ことができる。この仮想空間を画面１１０を超えて物理的な空間に伸張するために、柔軟な表面１２０は、当該仮想的なボールのオフスクリーン部分を表現するように変形することができる。この変形は、物理的な相互作用、例えば、柔軟な表面１２０が画面１１０を超えた位置にある当該仮想的なボールの一部分によって押されていること、をシミュレートすることができる。一実施形態において、このシミュレーションは、表面１２０の変形とシミュレートされた相互作用とを直接マッピング（directmapping）することを含むことができる。例えば、柔軟な表面１２０は、類似の物理的な動きを有する物理的なボールが表面１２０を変形させる態様と実質的に一致する形状及び寸法を有するように変形される。この形状は、例えば、弓形であってもよく、寸法は、当該仮想的なボールが画面１１０をどの程度超えて伸張するかに対応しても良い。表面１２０は、仮想的なボールのオンスクリーン部分３０１が表面１２０を縁取る位置に変形されてもよい。一実施形態において、このシミュレーションは、表面１２０の変形とシミュレートされた相互作用との描写的なマッピング（representativemapping）を含んでも良い。この描写的なマッピングに基づく柔軟な表面の変形は、例えば、直接マッピングのときの寸法と同様の寸法を依然として有することもあるが、直接マッピングよりも大幅に大きいか大幅に小さい寸法を有することもできる。他の例において、描写的なマッピングに基づく柔軟な表面の変形は、類似の物理的な要素が表面１２０を変形させる態様によらない形状を有することもできる。

図２Ｂは、表面１２０と仮想的なボールとの間のシミュレートされた物理的相互作用を示す。一例においては、仮想的なボールのオンスクリーン部分３０１が表面１２０から離れる方向に動くように表示されることに応答して、表面１２０の変形は小さくなってもよい。当該変形が小さくなる速度は、当該仮想的なボールが表面１２０から離れて動くように見える速度と実質的に一致するものであってもよい。

一例において、当該仮想的なボールは、表面１２０の変形を減少させる力に応答して、表面１２０から離れる方向に動くように示されても良い。この力は、表面１２０を内側に握りしめるユーザの手などのようにユーザによるものであってもよい。画面１１０上で仮想的なボールが動く速度や移動量は、このような力の持続時間、大きさ、又はこれらの組み合わせに基づくものであってもよい。この持続時間や大きさは、例えば、表面１２０に動作可能に結合されたトランスデューサによって検知されてもよい。仮想的なボールが画面１１０上で動く方向は、加えられた力の方向に基づくものであってもよい。

一例において、仮想的なボールの動きは、表面１２０の変形の変化と同時に描写されてもよい。かかる例において、仮想的なボールの動き又は表面１２０の変形の変化は、自動的に、又は、ユーザによる操作を必要としない他の任意の方法で発生しても良い。図２Ｃ及び図２Ｄに示されているように、柔軟な表面１２０及び１３０は、仮想的なボールが画面１１０の境界から離れて表示されるとき、又は、より一般的には、仮想的なボールが完全に画面上に表示されているとき、には変形しない。一実施形態においては、図５Ａ及び図５Ｂに示されているように、また、以下で述べるように、柔軟な表面１２０又は１３０は、仮想要素が完全に画面１１０上に表示されているときであっても変形することができる。この変形は、仮想要素と柔軟な表面１２０又は１３０との接触が必要とされない物理的な相互作用をシミュレートすることができ、仮想要素が装置１００の正面又は背面に向かって動くことをシミュレートすることができる。

図２Ｅ及び２Ｆに示すように、柔軟な表面１３０は、仮想的なボールのオフスクリーン部分との相互作用をシミュレートするように変形されてもよい。このシミュレーションは、変形と仮想的なボールのオフスクリーン部分とのシミュレートされた相互作用との直接マッピングを含んでもよいし、当該変形と当該相互作用との描画的なマッピングを含んでも良い。一実施形態において、柔軟な表面１３０の変形速度や変形量は、仮想的なボールが柔軟な表面１３０に近づく速度に基づくものであってもよい。一実施形態において、柔軟な表面１３０の変形速度や変形量は、表面１３０のシミュレートされた又は実際の剛性に基づくものであってもよい。例えば、シミュレートされた剛性が高くなると、シミュレートされた剛性が低い場合と比較して、表面１３０の変形はより少なくなる。一実施形態において、実際の又はシミュレートされた剛性は、画面１１０における仮想的なボールの動きに影響を与える。例えば、仮想的なボールは、表面のシミュレートされた又は実際の剛性に基づく速度で、表面１３０によって減速されるように表示されてもよい。

一実施形態において、柔軟な表面１３０の変形速度や変形量は、表面１３０に、例えば当該表面を握りしめたり他の方法で押圧したりするユーザからの力に基づくものであってもよい。例えば、図２Ｇに示すように、装置１００がユーザの手２１１Ａによってしっかりと握られている場合には、柔軟な表面１３０は、数ミリメートル又は数センチメートルしか変形することができず、仮想的なボールの動きは表面１３０によって急に減速されるように表示される。例えばユーザの手２１１Ａが表面１３０を内側に握りしめる場合のように、加えられた力が表面１３０を変形させる場合には、仮想的なボールは加えられた力の方向に動くように表示されてもよい。この動きは、例えば、表面１３０が仮想的なボールを表面１２０の方に押すことをシミュレートすることができる。

一実施形態において、柔軟な表面１２０又は１３０は、シミュレートされた又は実際のバネ状の性質を有する。また、画面１１０上における仮想的なボールの動きは、このシミュレートされた又は実際のバネ状の性質に基づくものであってもよい。例えば、変形された柔軟な表面１２０又は１３０は、バネのような態様で、仮想的なボールを押し返すようにシミュレートされる。仮想的なボールは、その後、ユーザの操作がなくとも、スプリング状の表面１２０又は１３０の間で跳ね返るようにシミュレートされてもよい。一実施形態において、柔軟な表面１２０又は１３０は、非弾性的であり、仮想要素が当該表面から離れたり、当該表面との相互作用を中止した後であっても、その変形された形状を維持するようにシミュレートされてもよい。このシミュレートされた非弾性特性は、例えば、くぼんだ表面をシミュレートすることができる。

一実施形態において、柔軟な表面１２０又は１３０の実際の剛性は調整可能であってもよい。例えば、一又は複数の触覚装置、例えば触覚装置１２１及び１３１は、コントローラ１６０によって変形の変化に抵抗するように制御される。表面１２０又は１３０の実際の剛性の調整は、仮想環境の物理的な特性、例えば動きに対するシミュレートされた抵抗、をシミュレートすることができる。例えば、図２Ｆに示されるように表面１３０が変形された後、一又は複数の触覚出力装置は、装置１００を握りしめるユーザ等から表面１３０に対して加えられる内向きの力に抵抗するように構成されてもよい。この変形の変化に対する抵抗は、仮想的なボールの質量をユーザに対してシミュレートすることができる。より重いボールは、押されたときにより大きな抵抗を有するようにシミュレートされてもよい。一例において、この変形の変化に対する抵抗は、仮想的な流体の粘性をシミュレートすることができる。より粘性の高い流体は、圧縮されたときにより大きな抵抗を有するようにシミュレートされてもよい。

図２Ａないし図２Ｇは画面１１０に少なくとも部分的に表示された仮想的なボールを示しているが、一部の実施形態においては、仮想的なボールは、一次的に又は永続的に、完全に画面外にあるように表現されても良い。

図３は、画面１１０上の動画に表示されたユーザ等の仮想要素と柔軟な表面１３０との間のシミュレートされた物理的相互作用を示す。柔軟な表面１３０は、例えば、壁や動画内のユーザが押しているそれ以外の表面を表すことができる。表面１３０の変形は、壁等の表面の変位量、当該壁等の表面に加えられた力の大きさ、又はこれらの任意の組み合わせに基づくものであってもよい。

図４Ａないし図４Ｃは、表面１３０が仮想的な矢及び仮想的な弓のオフスクリーン部分との相互作用をシミュレートするように変形されるゲームを示す。仮想的な弓のオフスクリーン部分は弓の弦を表現することができ、仮想的な矢のオフスクリーン部分は、仮想的な矢のオンスクリーン部分３０５を補完することができる。一実施形態において、表面１３０は、仮想的な矢の表面１３０方向への動きに応答して変形される。この仮想的な矢は、オンスクリーン部分３０５に対する接触入力を通じて移動されてもよい。この変形は、仮想的な矢及び仮想的な弓の弦が引かれることをシミュレートできる。

一実施形態において、仮想的な矢は、表面１３０で受け付けられるユーザ入力に応答して、画面１１０上で動くように表示される。例えば、ユーザは、外側に向かって表面１３０をたぐり寄せたり引っ張ったりすることにより、その方向に表面１３０を変形させることができる。これに応答して、仮想的な矢のオンスクリーン部分３０５は、その方向に引っ張られるように表示される。一実施形態において、表面１３０の変形は、矢や弓のオフスクリーン部分が表面１３０を変形させる態様をシミュレートする直接マッピングに基づいてもよく、変形の形状や大きさが類似の弓や矢による表面１３０の変形態様に依存しない描画的なマッピングに基づくものでもよい。一実施形態において、表面１３０が弓の弦を表す場合には、変形は、当該仮想的な弓の弦の変形やその他の物理的な動きをシミュレートすることができる。

仮想的な矢が仮想的な弓から放たれることをシミュレートするために、矢のオンスクリーン部分３０５が移動するように表示され、表面１３０の変形が減少してもよい。変形の画面上の動きと変形の変化は、同時であってもよく、一方が他方を発生させる関係であってもよい。仮想的な弓のテンションの効果をシミュレートするために、解放前の表面１３０の変形量が大きい場合に、仮想的な矢が画面上でより速く動き、解放後に表面１３０の変形の減少速度が速くなるようにしてもよい。

一実施形態において、画面１１０と同一面上にある（画面１１０の上部もしくは下部にあり又はその一部である）柔軟な表面は、画面から出てくる仮想要素や画面の奥に入っていく仮想要素をシミュレートするように変形され得る。柔軟な表面は、装置１００の表側、裏側、又はその両方に設けられ得る。一実施形態において、柔軟な表面は、３次元の輪郭をシミュレートするように変形されてもよい。例えば、当該表面は、仮想的なキーボードのシミュレートされた輪郭に基づいて変形されてもよい。一実施形態において、仮想要素がユーザに近づいていることを当該ユーザに対してシミュレートするために、当該仮想要素のオンスクリーン部分の寸法が増加してもよい。それに応答して、同一面上にある柔軟な表面は、当該ユーザに向かう方向に変形されてもよい。この変形は、当該仮想要素と当該同一面上にある柔軟な表面との物理的相互作用をシミュレートすることができる。このシミュレーションは、当該変形と当該シミュレートされた物理的な相互作用との間の直接マッピングや描写的なマッピングを含んでも良い。例えば、この直接マッピングに基づく変形は、当該仮想要素のオンスクリーン部分の寸法に対応する変形量を有してもよく、当該オンスクリーン部分の寸法が増加又は減少する速度に対応する変形速度を有してもよい。当該仮想要素は、画面１１０上に完全に表示されてもよく、画面１１０と表面１２０又は１３０との間の境界を超えて延びる部分を有するように表示されても良い。

図５Ａ及び図５Ｂは、完全に画面上に存在してもよい仮想的な糸に基づく柔軟な表面１２０及び１３０の変形を示す。一実施形態において、この変形は、仮想的な糸のオンスクリーン部分３０７と柔軟な表面１２０及び１３０との物理的な相互作用をシミュレートする。シミュレートされた物理的な相互作用は、相互作用する要素間の接触を必要としないものであってもよい。例えば、物理的な相互作用は、仮想要素によって生成され表面１２０又は１３０に作用する磁力や流体圧力を表すものであってもよく、相互作用する要素間での接触を必要としない前記以外の任意の相互作用を表すものであってもよい。このシミュレーションは、当該変形と当該相互作用との間の直接マッピングを含んでも良く、描画的なマッピングを含んでも良い。

一実施形態において、装置１００の表面１２０及び１３０はそれぞれ仮想的な糸を表現することができ、図５Ａ及び図５Ｂに表されている変形は、仮想的な糸の動き等の物理的な動きをシミュレートすることができる。本実施形態において、表面１２０又は１３０は、画面１１０上に示されている仮想的な糸の形状、大きさ、又はこれらの組み合わせを一致又は実質的に一致させるために変形されてもよい。

一実施形態において、変形は、仮想要素に関連付けられた物理的な要素の物理的動きに基づくものであってもよい。例えば、表面１２０及び１３０は、ユーザの心拍や呼吸の速さに基づいて変形されてもよい。このように、装置１００は、ユーザの物理的な心臓や物理的な血圧に関連付けられた仮想的な心臓を具体化することができる。ユーザの心臓の拡張及び収縮又はユーザの血圧の高低は、表面１２０及び１３０の拡張及び縮小に反映され、ユーザの心臓の物理的な状態（例えば、拡張しているか縮小しているか）を表すことができる。

図６は、ある装置において表された物理的な動きを他の装置において経験することができるユーザインタフェースメタファの一部として、表面１２０及び１３０が握手や手を握りしめるジェスチャに基づいて変形される例を示す。例えば、第１のユーザの手２１１Ａが装置１００を握りしめるか又は他の方法で装置１００に力を作用させると、第２のユーザの手２１３Ｂは、それに応答して装置１００Ａにおける変形を経験することができる。この装置１００Ａにおける変形は、加えられた力を示す装置１００からの信号に基づくものであってもよい。

一実施形態において、装置１００は、第１のユーザの手２１１Ａによって加えられた力で圧縮される仮想的な流体を表すことができる。装置１００は、装置１００Ａへの力を示す信号を伝送することができる。装置１００Ａは、仮想的な流体を表現することもでき、装置１００で表現される圧縮された仮想流体から仮想装置１００Ａで表現される仮想的な流体への圧力の転送として信号を解釈することができる。これに応答して、装置１００Ａの表面１２０Ａ及び１３０Ａは、外側に変形して、圧力転送によって拡張される装置１００Ａの仮想流体をシミュレートすることができる。

一実施形態において、装置１００Ａは、物理的な装置１００の仮想的なコピーを表現することができ、装置１００に関連付けられた前記以外の任意の仮想要素を表現することができる。装置１００の表面１２０及び１３０の変形等の物理的な動きは、装置１００Ａの変形によって反映される。例えば、第１のユーザの手２１１Ａが表面１２０及び１３０を内側に握りしめると、装置１００Ａの表面１２０Ａ及び１３０Ａは、それに応答して内側に変形される。この変形は、二人のユーザがそれぞれのインタフェース装置を使って物理的な相互作用をすることができるメタファを促進することができる。この相互作用は、例えば、握手（handshake）や手を握ること（handholding）等を模倣することができる。後者は、ユーザ間で、愛情やその他の感情を伝達するために用いることができる。一例において、装置１００Ａの変形は、装置１００までの距離に基づくものであってもよい。例えば、表面１２０Ａ及び１３０Ａの変形速度や変形量は、２つの装置間の距離とともに線形に減少しても良い。

一実施形態において、表面１２０又は１３０の変形は、画面１１０の外の位置にスクロールできる視覚的に表現された部分とともに、仮想的なメニュー（例えばオプションメニュー）、仮想的なページ（例えばウェブページ）、仮想的な文書、又はこれら以外の任意の仮想要素の物理的な動きをシミュレートすることができる。例えば、仮想メニュー、仮想ページ、又は仮想ドキュメントのオンスクリーン部分を左にスクロールすることによって、表面１２０を変形させることができる。この変形は、画面１１０の左側の位置にスクロールされた仮想要素の位置をシミュレートすることができる。変形量、変形速度、又はこれらの組み合わせは、スクロール速度、画面から外にスクロールされた部分のシミュレートされた位置、又はこれらの任意の組み合わせに基づくものであってもよい。図７Ａ及び図７Ｂに示すように、このスクロールの動きが仮想メニュー、仮想ページ、又は仮想文書を上方又は下方に移動させる場合には、表面１２０又は１３０の変形は、より一般的にスクロールの動きを表すことができる。例えば、表面１２０又は１３０は、スクロール速度を表すように変形されてもよく、オンスクリーン部分が仮想要素、仮想ページ、又は仮想文書の上端又は下端にどれだけ近いかを表現するように変形されてもよい。

上述した実施形態において、装置１００は、携帯電話、リモコン装置、タブレット、デスクトップもしくはラップトップコンピュータ、電子ディスプレイ、又はこれら以外の任意のユーザインタフェース装置であってもよい。コントローラ１６０は、マイクロプロセッサ、ロジック回路、又はこれら以外の任意のコンピュータ装置を含むことができる。

現時点で最も実用的であり好ましいと考えられる態様に基づいて、本発明を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものである。本発明は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。例えば、本発明においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (24)

1. 柔軟な表面を有するユーザインタフェースと、
   前記柔軟な表面に動作可能に結合され、前記柔軟な表面を変形させるように構成された触覚出力装置と、
   前記触覚出力装置と信号通信可能であり、前記ユーザインタフェースに表された仮想要素のシミュレートされた物理的な動きに基づいて、前記柔軟な表面の変形を発生させるように前記触覚出力装置を動作させるコントローラと、
   を備える電子装置。
2. 前記ユーザインタフェースは、前記仮想要素を視覚的に表すように構成された画面を備え、
   前記物理的な動きは、前記仮想要素と前記柔軟な表面の物理的な相互作用である、
   請求項１に記載の電子装置。
3. 前記コントローラは、前記画面に前記仮想要素の一部分のみを視覚的に表し、
   前記コントローラは、前記画面に視覚的に表されていない前記仮想要素の他の部分を表す変形を発生させるように前記触覚出力装置を動作させることによって、前記仮想要素と前記柔軟な表面との物理的な相互作用をシミュレートするように構成される、
   請求項２に記載の電子装置。
4. 前記コントローラは、前記変形の大きさが前記画面に視覚的に表されていない前記仮想要素の前記他の部分の大きさに基づくものとなるように前記触覚出力装置を動作させる、請求項３に記載の電子装置。
5. 前記コントローラは、前記変形の速度が、前記柔軟な表面に対する前記仮想要素の前記一部分の視覚的な速度に基づくものとなるように前記触覚出力装置を動作させる、請求項３に記載の電子装置。
6. 前記コントローラは、前記柔軟な表面の前記変形の変化に応答して、前記仮想要素の前記一部分の動きを前記画面に視覚的に表すことにより、前記物理的な相互作用をシミュレートするように構成される、請求項３に記載の電子装置。
7. 前記コントローラは、前記仮想要素のシミュレートされた抵抗力に基づいて、前記柔軟な表面の柔軟性を調整することにより、前記物理的な相互作用をシミュレートするように構成される、請求項６に記載の電子装置。
8. 前記柔軟な表面は、前記画面の前方、前記画面の後方、又は前記画面の一部であり、
   前記コントローラは、前記画面において前記仮想要素を拡大又は縮小することによって前記物理的な相互作用をシミュレートし、当該拡大又は縮小に基づいて前記変形を起こさせるように前記触覚出力装置を動作させる、
   請求項２に記載の電子装置。
9. 前記コントローラは、前記仮想要素に関連付けられた物理的要素の物理的な動きに基づいて前記変形を起こすように前記触覚出力装置を動作させることにより前記物理的な動きをシミュレートするように構成される、請求項１に記載の電子装置。
10. 前記物理的な動きは、前記物理的要素の拡大又は縮小を含む、請求項９に記載の電子装置。
11. 前記触覚出力装置はアクチュエータを含む、請求項１に記載の電子装置。
12. ユーザインタフェースに用いられるユーザインタフェースメタファを表す方法であって、
    前記ユーザインタフェースの柔軟な表面に動作可能に結合された触覚出力装置を前記柔軟な表面の変形を起こさせるように動作させることで、前記ユーザインタフェースに表された仮想要素の物理的な動きをシミュレートする工程を備える方法。
13. 前記ユーザインタフェースの画面に前記仮想要素を視覚的に表する工程をさらに備え、
    前記物理的な動きは、前記仮想要素と前記柔軟な表面の物理的な相互作用である、
    請求項１２に記載の方法。
14. 前記画面に前記仮想要素を視覚的に表す工程は、前記仮想要素の一部分のみを前記画面に視覚的に表す工程を含み、
    前記柔軟な表面と前記仮想要素との物理的な相互作用をシミュレート工程は、前記画面に視覚的に表されていない前記仮想要素の他の部分を表す前記変形を発生させるように前記触覚出力装置を動作させる工程を含む、
    請求項１３に記載の方法。
15. 前記変形を発生させるように前記触覚出力装置を動作させる工程は、前記変形の大きさが前記画面に視覚的に表されていない前記仮想要素の前記他の部分の大きさに基づくものとする工程を含む、請求項１４に記載の方法。
16. 前記変形が発生するように前記触覚出力装置を動作させる工程は、前記変形の速度が、前記柔軟な表面に対する前記仮想要素の前記一部分の視覚的な速度に基づくものとなるようにする工程を含む、請求項１４に記載の方法。
17. 前記物理的な相互作用をシミュレートする工程は、前記柔軟な表面の前記変形の変化に応答して、前記仮想要素の前記一部分の動きを前記画面に視覚的に表す工程を含む、請求項１４に記載の方法。
18. 前記物理的な相互作用をシミュレートする工程は、前記仮想要素のシミュレートされた抵抗力に基づいて、前記柔軟な表面の柔軟性を調整する工程を含む、請求項１７に記載の方法。
19. 前記柔軟な表面は、前記画面の前方、前記画面の後方、又は前記画面の一部であり、前記仮想要素の前記柔軟な表面との物理的な相互作用をシミュレートする工程は、前記画面において前記仮想要素を拡大又は縮小することによって前記物理的な相互作用をシミュレートし、当該拡大又は縮小に基づいて前記変形を起こさせる工程を含む、請求項１３に記載の方法。
20. 前記物理的な相互作用をシミュレートする工程は、前記仮想要素に関連付けられた物理的要素の物理的な動きに基づいて前記変形を起こすように前記触覚出力装置を動作させる工程を含む、請求項１９に記載の方法。
21. 前記物理的な動きは、前記物理的要素の拡大又は縮小を含む、請求項２０に記載の方法。
22. ユーザインタフェースに用いられるユーザインタフェースメタファを表す方法であって、
    前記ユーザインタフェースの柔軟な表面に動作可能に結合された触覚出力装置を前記柔軟な表面の変形を起こさせるように動作させることで、前記ユーザインタフェースに表された仮想要素の動きを表現する工程を備え、
    前記動きは、前記ユーザインタフェースの画面上における前記仮想要素の動きを含む方法。
23. 前記動きは、前記画面上の前記仮想要素のスクロールを含み、
    前記動きを表現する工程は、前記仮想要素がスクロールされる方向と一致しない方向における前記柔軟な表面の変形をを発生させるように前記触覚出力装置を動作させる工程を含む、
    請求項２２に記載の方法。
24. 前記動きは、前記画面上の前記仮想要素のスクロールを含み、
    前記動きを表現する工程は、前記柔軟な表面と前記画面から外へスクロールされた前記仮想要素の一部分とのシミュレートされた物理的な相互作用に基づいて前記柔軟な表面の変形を発生させるように、前記触覚出力装置を動作させる工程を含む、
    請求項２２に記載の方法。

Images