JP2011501298A - 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション - Google Patents

音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション Download PDF

Info

Publication number
JP2011501298A
JP2011501298A JP2010530038A JP2010530038A JP2011501298A JP 2011501298 A JP2011501298 A JP 2011501298A JP 2010530038 A JP2010530038 A JP 2010530038A JP 2010530038 A JP2010530038 A JP 2010530038A JP 2011501298 A JP2011501298 A JP 2011501298A
Authority
JP
Japan
Prior art keywords
touch screen
user
feedback
device
object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010530038A
Other languages
English (en)
Inventor
アレヴ ウムット
メイエル エリック
ウッサクリ シナン
Original Assignee
マイクロソフト コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US11/975,321 priority Critical patent/US20090102805A1/en
Application filed by マイクロソフト コーポレーション filed Critical マイクロソフト コーポレーション
Priority to PCT/US2008/079560 priority patent/WO2009052028A2/en
Publication of JP2011501298A publication Critical patent/JP2011501298A/ja
Application status is Pending legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the screen or tablet into independently controllable areas, e.g. virtual keyboards, menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Abstract

物理的に具体化された「3D(three-dimensional)」オブジェクトとユーザが相互作用する感覚を生成するために、音声、視覚、および触覚フィードバックが利用される設定を通じて、複数の知覚体験を、タッチ画面を有するデバイスのユーザに与える。特定の大きさ、持続時間または方向を有する動きをタッチ画面に伝えて、ユーザが、触ることによってタッチ画面上に表示されたオブジェクトを見つけられるようにする。具体的な例において、音響効果と、動画などの視覚効果とが組み合わされたとき、触覚フィードバックは、タッチ画面上のボタンが、ユーザがそれを押下したときに、本物の、物理的に具体化されたボタンのように動く知覚を生成する。ボタンは、その外観を変え、「クリック」の音声がデバイスによって再生されて、タッチ画面は、触力覚フィードバックをユーザの指に与える。

Description

本発明は、複数の知覚体験をデバイスのユーザに与える方法、および、知覚フィードバック体験を与えることによって、タッチ画面上に表示されたオブジェクトとの3D相互作用をシミュレートするデバイスに関する。

タッチセンサ式のディスプレイ画面は、従来のキーボード、およびユーザからのデータ入力または、他の入力を受信するための他の「HMI(human machine interface)」に代わるものとして急速に普及している。タッチ画面は、携帯デバイスと位置が固定されたデバイスとの両方を含む、様々なデバイスに使用される。タッチ画面を有する携帯デバイスは、一般的に、例えば、携帯電話機、「PDA(personal digital assistant)」、ならびに音楽およびビデオを再生するパーソナルメディアプレーヤを含む。タッチ画面を使用する、位置が固定されたデバイスは、一般的に、例えば、車に使用されるもの、「POS(point-of-sale)」端末機、および医療用および工業用アプリケーションに使用される装備を含む。

タッチ画面は、コンピュータデバイスからの出力をユーザに表示し、ユーザからの入力を受信する、両方の機能を果たすことができる。一部の例では、ユーザは、スタイラスを用いて画面上で「書き」、書いたものは、コンピュータデバイスへの入力に変わる。他の例では、ユーザの入力オプションが、例えば、制御、ナビゲーション、またはオブジェクトのアイコンとして画面上に表示される。ユーザがスタイラスまたは指で画面上の関連するアイコンに触ることによって入力オプションを選択したとき、コンピュータデバイスは、触った位置を感知して、アイコンを提示したアプリケーション、またはユーティリティにメッセージを送信する。

文を入力するために、主として、物理的に具体化された標準のキーボードのキートップに似た一連のアイコンである「仮想キーボード」が、タッチ画面上に表示される。ユーザは、その後、特定のキートップアイコンと関連するタッチ画面のエリアを連続的に触ることによって「タイプする」。一部のデバイスは、キーまたはアイコンがアクチュエートしたとき、ユーザにフィードバックを与えるための音声クリックまたは他の音を出すように構成される。他のデバイスは、キーまたはアイコンが押下されたとき、ユーザに視覚的合図を与えるためにキーまたはアイコンの外観を変えるように構成されてもよい。

現在のタッチ画面は、ほとんどのアプリケーションにおいてうまく機能するが、それらは、ユーザが、タッチ画面上のアイコンまたはキーを見つけて使用する視覚を使わずに入力するのを望む、「ブラインド」データ入力またはタッチタイピングにあまり適していない。さらに、一部の環境において、視覚的および聴覚的図に依存してフィードバックを与えることが常に可能とは限らない。例えば、タッチ画面を、それらを見えにくくする直射日光のもと、または聞き取りが困難な雑音環境において動作させることがある。そして車内で、タッチ画面が機能しているとき、運転者が道から目をそらすことは危険である。

従来のHMIデバイスは、主として、触ることによって機能することができる。例えば、物理的キーボードを用いて、ユーザは、個々のキーを触ることができる。そして一部の例では、「F」および「J」などのいくつかのキーが、小さなポッチまたは横線を有することにより、ユーザがキーを見ずに触ることによって自分の指をキーの「中心(home)」列の上に置くことができる。現在のタッチ画面を比較すると、ボタンまたはキーが押下されたとき、聴覚または視覚のフィードバックを与えるものでさえ、ユーザが触ることによってアイコンまたはキーを見つけて動作することができない。

本背景技術は、以下に続く発明の概要および発明の詳細な説明の簡易な文脈を導入するために与えられる。本背景技術は、特許請求の範囲の対象事項の範囲を決めるのに役立つものであることを意図せず、または特許請求の範囲の対象事項を、上記に提示された任意またはすべての不利点または問題を解決する実装に限定するものと見なされることを意図しない。

音声、視覚および触覚のフィードバックを利用して、ユーザが、物理的に具体化された「3D(three-dimensional)」オブジェクトと相互作用する感覚を生成する設定によって、複数の知覚体験を、タッチ画面を有するデバイスのユーザに与える。特定の大きさ、持続時間または方向を有する動きをタッチ画面に伝えて、ユーザが、触ることによってタッチ画面上に表示されたオブジェクトを見つけられようにする。これらのオブジェクトは、制御またはファイル、仮想キーボードのキートップ、もしくは経験または機能をユーザに与えるために使用される他の構成要素を表すアイコンを含むことができる。例えば、音響効果と、動画などの、視覚効果とを組み合わせた場合、触覚フィードバックは、タッチ画面上のボタンが、ユーザによって押下されたときに、まるで本物の、物理的に具体化されたボタンのように動く知覚を生成する。ボタンは、その外観、デバイスが再生する「クリック」の音声を変え、タッチ画面が動いて(例えば、振動する)、ユーザの指またはスタイラスに触力覚フィードバックを与える。

様々な具体的な例において、振動を作り出すモータなどの1または複数のモーションアクチュエータを、タッチ画面が内蔵された携帯デバイスに固定して接続する。デバイスが、主として、POS端末機などの固定された位置にあるアプリケーションにおいて、モーションアクチュエータを、移動できるタッチ画面に取り付けてもよい。モーションアクチュエータが、タッチ画面上に表示されたオブジェクトとのユーザ相互作用に応じて、大きさ、持続時間および強度を変えることができる触力覚フィードバックを作り出すことによって、さまざまな明示的なタッチ体験を作り出して、それらがあたかも三次元を有するかのように、タッチ画面上のオブジェクトとの異なる相互作用をシミュレートできるようにする。従って、仮想キーボートのキートップの端部は、それを押下してアクチュエートしたとき、キートップの中央部とは異なるように感じる。タッチ効果のこのような区別は、視覚的合図に頼る必要なく、ユーザが、触ることによって有利にタッチ画面に入力できるようにする。

本発明の概要は、以下の発明の詳細な説明でさらに説明される簡易な形式において概念の1つの選択を導入するために与えられる。本発明の概要は、特許請求の範囲の対象事項での重要な特徴または不可欠な特徴を特定することを意図せず、または特許請求の範囲の対象事項の範囲を決めるのに役立つものとして用いられることを意図しない。
図中、同じ参照数字は、同じ構成要素を示す。

タッチ画面を使用して、ユーザがデバイスと相互作用する具体的な携帯コンピュータ環境を示す図である。 アイコンおよび仮想キーボードを通じてユーザ相互作用を支援する具体的なタッチ画面を示す図である。 物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。 物理制御を使用して、タッチ画面によって与えられた制御を補完する、携帯コンピュータデバイスの代替的で具体的なフォームファクタを示す図である。 ボタンアイコンがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なボタンアイコンを示す図である。 ボタンアイコンがアクチュエートした状態で見えるときの具体的なボタンアイコンを示す図である。 キートップがアクチュエートしていない状態のとき、奥行き面を有するように設定された具体的なキートップを示す図である。 キートップがアクチュエートした状態で見えるときの具体的なキートップを示す図である。 デバイスのタッチ画面を使用してキートップをアクチュエートしたとき、触覚、音声および視覚のフィードバックの組み合わせをユーザに与える具体的な携帯コンピュータデバイスを示す図である。 具体的な振動モータの正面図である。 具体的な偏心荷重を回転させる直交図である。 振動装置が断面図に示したデバイスに取り付けられたときの上面図である。 振動装置がPOS端末機のタッチ画面に取り付けられたときの直交図である。 キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの上面図を示す図である。 キートップが奥行き面を有する知覚をユーザに伝えるタッチに応じて、触力覚フィードバックの輪郭が適用された具体的な仮想キートップの側面図を示す図である。 音声、視覚および触覚のフィードバックを使用した、3−Dオブジェクトシミュレーションの具体的なアプリケーションを示す図である。 音声、視覚および触覚のフィードバックを使用した、3−Dオブジェクトシミュレーションの別の具体的なアプリケーションを示す図である 音声、視覚および触覚のフィードバックを使用した、3−Dオブジェクトシミュレーションを実装するための具体的なアーキテクチャを示す図である。

音声、視覚および触覚のフィードバックを使用した本「3−D(three-dimensional)」オブジェクトシミュレーションのアプリケーションを容易にするタッチ画面110を使用して、ユーザ102がデバイス105と相互作用する、具体的な携帯コンピュータ環境100を図1に示す。図1に示すように、デバイス105は、一般的に、携帯電話機、スマートフォン、PDA、ウルトラモバイルPC(パーソナルコンピュータ)、携帯ゲーム機、パーソナルメディアプレーヤなどの、携帯コンピュータプラットフォームまたは情報家電として構成される。主として、タッチ画面110は、ディスプレイコンポーネント上に構成されるタッチセンサコンポーネントから構成される。ディスプレイコンポーネントは、PCまたはラップトップコンピュータ上の主なモニタのディスプレイコンポーネントと同じ方法で画像を表示する。多くのアプリケーションにおいて、デバイス105は、その軽重量、薄さおよび低コストに起因して「LCD(liquid crystal display)」を使用する。しかしながら、代替的アプリケーションにおいて、例えば、「CRT(cathode ray tube)」、プラズマ画面およびEL画面を含む他の標準の表示技術を利用してもよい。

タッチセンサコンポーネントは、ディスプレイコンポーネントの上部にある。タッチセンサを透明にして、ディスプレイが透けて見えるようにできる。タッチセンサ技術の多くの異なる種類は公知であり、特定の実装の要求に応じて適用できる。これらは、特に、抵抗性、容量性、近接場、光学的画像、歪みゲージ、分散信号、音響パルス認識、赤外線および弾性表面波の技術を含む。現在の一部のタッチ画面は、複数の同時性タッチポイントを区別することができ、および/または感圧性である。タッチ画面110との相互作用は、主として、指または親指を使用して、もしくは非容量型タッチセンサとして実現され、スタイラスも使用されてもよい。

デバイス105の携帯フォームファクタを図1に示すが、本設定は、タッチ画面が使用される固定されたアプリケーションに代替的に使用できる。これらのアプリケーションは、例えば、「ATM(automatic teller machine)」、「POS(point-of-sale)」端末機、または空港、銀行、レストランが使用するようなセルフサービスキオスクなど、およびユーザが問い合わせを行い、セルフサービスのチェックアウトを行い、または他の種類の取引を完了できるようにする小売店を含む。例えば、機械または設備を制御し、発注し、在庫管理などをするためにタッチ画面を使用する工業用、医療用および他のアプリケーションも検討される。タッチ画面は、「HVAC(heating, ventilation and air conditioning)」、娯楽およびナビゲーションなどのサブシステムを制御する自動車においても普及しつつある。新しいサーフィスコンピュータ製品、特にマイクロソフト社製のMicrosoft Surface(商標)も、本3−Dオブジェクトシミュレーションを用いて使用するのに適用されてもよい。

3−Dオブジェクトシミュレーションの本設定は、上記に挙げた家庭用、業務用、医療用および工業用のアプリケーションに必ずしも限定されないことも強調しておく。強固で機能豊富なユーザインタフェースが主に要求される、例えば、軍事的、安全保障および法の施行のシナリオを含む、広範囲の使用および適用が支援されてもよい。多くを要求するこれらの環境において、デバイスおよびシステムに対するより肯定的な相互作用および制御は、音声、視覚および触覚のフィードバックの組み合わせを使用して、ユーザに与えられたタッチ画面上に表示されたオブジェクトの相関関係および曖昧性の除去が改善されることによって可能になる。

図2に、アイコン202および仮想キーボード206を通じてユーザ相互作用を支援する具体的なタッチ画面110を示す。アイコン202は、タッチ画面110上に一般的に表示されるものを表し、ユーザの制御、入力またはナビゲーションを容易にする。アイコン202は、ファイル、ドキュメント、写真、音楽などのコンテンツを表してもよく、デバイス105上に格納され、または別の方法で(例えば、ネットワークまたは他の接続を経由して)利用できる。図のように、仮想キーボード206は、標準のキーボードのキートップを表す複数のアイコンを含む。タッチ画面110は、主として、仮想キーボード206上でユーザがタイプするキャラクター(すなわち、文字、数字、符号)を示す表示域または編集用ウィンドウ(図2に図示せず)などの他の機能性を与える。

図3Aおよび3Bに、物理制御307(例えば、ボタンなど)を使用してタッチ画面310によって与えられるユーザインタフェースを補完する、携帯コンピュータデバイス305の代替的で具体的なフォームファクタを示す。図3Aに示したこの例において、例えば、写真またはビデオを表すことができるいくつかのメディアコンテンツ(参照数字309および312で示される)を、タッチ画面310上に表示できる。図3Bに、タッチ画面310上に表示できる例示的なドキュメント322の1ページを示す。

図3Aおよび3Bに示すように、デバイス305は、タッチ画面310の長い面が垂直方向に置かれた「縦向き」モードでタッチ画面310を置く。しかしながら、他のコンピュータデバイスが、ユーザ選択か自動的かのいずれかによって、縦向きモードと横向きモードとを切り替えることができるのに対し、3−Dオブジェクトシミュレーションの本設定を用いて使用できる、一部の携帯コンピュータデバイスは、横向きモードでタッチ画面を置くように設定することができる。

図4に、奥行き面を有するように設定された具体的なボタンアイコン402を示す。影付け、遠近感および色彩などの視覚効果を、タッチ画面(例えば、図1のタッチ画面110または図3のタッチ画面310)上に表示される2−D構成要素に適用して、3−Dの形を有する外観にすることができる。この例において、ボタンアイコンがアクチュエートしていない(すなわち、ユーザによって作動されていないまたは「押下」されていない)状態のとき、視覚効果をボタンアイコン402に適用して、その上面が、携帯コンピュータデバイスの表面から突き出ている本物のボタンのように、タッチ画面の平面の上に位置しているように見せることができる。

図4Bに、ユーザが、ボタンアイコンを指またはスタイラスで触ることによってアクチュエートしたときに見えるボタンアイコン411を示す。図のように、視覚効果が除かれ(あるいは、効果が減少され、または別に適用される)、ボタンアイコン402が押下されたときに高さが低くなったように見せることができる。感圧性をタッチ画面に用いるそれらのアプリケーションにおいて、視覚効果は、例えば、適用される圧力の量に比例して減少されてもよい。このようにして、ボタン411は、ユーザがタッチ画面110上を強く押下すにつれてさらに下降するように見せることができる。

図5Aおよび図5Bに、具体的なキートップに適用されたとき、図4Aおよび図4Bに伴う上記の文と同じ視覚効果のアプリケーションを示す。図5Aに、アクチュエートしていない状態でのキートップ502を示し、図5Bに、ユーザが、キートップを指またはスタイラスで触ることによってアクチュエートしたときに見えるキートップ511を示す。

図6に、デバイスのタッチ画面110を使用して、仮想キーボード206のキートップがアクチュエートしたとき、ユーザ102に本物の3−Dキーと相互作用する錯覚与えるために、触覚、音声および視覚のフィードバックの組み合わせをユーザに与えるように構成された、具体的な携帯コンピュータデバイス105を示す。本3−Dオブジェクトシミュレーションの一部のアプリケーションにおいて、3つのフィードバック構造(触覚、音声および視覚)のすべての組み合わせを利用することよって、デバイス上でのブラインド入力および/またはタッチタイピングを十分可能にしながら、大いに満足できるユーザ体験を与えることが予想される。しかしながら、他のシナリオにおいて、フィードバックを単一または2つのさまざまな組み合わせにおいて使用することによっても、特定のアプリケーションの要求に応じた、満足できる結果を与えることができる。図6に、仮想キーボードの具体的な例を示すが、本明細書に説明するフィードバック技術の使用を、制御またはナビゲーションに使用されるアイコンと、デバイス105に格納または利用できるコンテンツを表すことができるアイコンとに適用できることも強調しておく。

この例における視覚フィードバックは、図4A、4B,5Aおよび5Bに示した視覚効果のアプリケーションを含み、特定のキートップが押されたときに、ユーザに視覚的に示す仮想キーボード206のキートップに関して、文に伴って説明される。図のように、仮想キーボード206のキーは、それらをタッチ画面110の表面から離れている様に見せることができる影付けを用いて設定される。キートップに触ったときに、この影付け効果を除く(または減少させることができる)。図のようなこの例において、ユーザは、キートップ「G」を押下している。

音声フィードバックは、主として、デバイス105に接続できるスピーカ606または外付けのヘッドセット(図示せず)を通じて、「クリック」(図6の参照数字602で示した)などのサンプル音声を再生することを備える。サンプル音声は、物理的に具体化されたキーボードでアクチュエートされる本物のキーの音をシミュレートするように設定される。代替的な設定において、利用されるサンプル音声は、特定の物理的動きをシミュレートしない、一部の任意の音(ビー、チリンチリン、音色、音符など)として構成されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、キートップがアクチュエートしたとき、サンプル音声の利用により、聴覚フィードバックをユーザに与える。

触覚フィードバックを設定して、デバイス105に対する動きのアプリケーションを通じて本物のキートップとの相互作用をシミュレートする。タッチ画面110が本質的に硬質であるため、タッチ画面110に接触した時点でデバイス105の動きをユーザに伝える。この例において、その動きは、波線617を使用して図6に示した振動を生じる。

振動装置712に備わっている、具体的な振動モータ704の正面図および具体的な偏心荷重710を回転させる直交図を、それぞれ図7Aと7Bに示す。この具体的な例において、振動装置712を使用して、上記に説明された触覚フィードバックを実装するために使用される振動の動きを与える。代替的な実施形態において、圧電振動子または電動リニアアクチュエータまたは回転型電動アクチュエータなどの他の種類のモーションアクチュエータが使用されてもよい。

この例における振動モータ704は、荷重710が固定して取り付けられているシャフト717を回転させるように設定された、ほぼ円筒形状のDCモータである。振動モータ704は、荷重710を順方向と逆方向の両方に回転させて動作するようにさらに構成される。一部のアプリケーションにおいて、振動モータ704は、可変速度で動作するように設定されてもよい。振動モータ704の動作は、主として、以下の図10に伴う文で説明されたモーションコントローラ、アプリケーション、および知覚フィードバック論理コンポーネントによって制御される。

偏心荷重710をシャフト717に対して非対称の形状にして、重心(図7Aの「G」として指定される)をシャフトと相殺できるようにする。従って、荷重が回転するときに方向を変えて、シャフトの角速度が増加するときに大きさを増加させるシャフト717に遠心力が伝わる。さらに、モーメントは、荷重710の回転方向と逆になる振動モータ704に適用される。

携帯デバイスの実装において、振動装置712は、主として、図7Cの上部切り取り図に示すデバイス105などのデバイスの内部に固定して取り付けられる。この取り付けにより、振動装置712の動作による力(すなわち、遠心力およびモーメント)をデバイス105に容易に結合させて、デバイスが、振動装置712に駆動信号を送るアプリケーションに応答して振動できるようにする。

適切な駆動信号のアプリケーションを通じて、例えば、回転方向、負荷サイクルおよび回転速度を含む振動装置712の動作の変化を実装することができる。異なる動作モードは、結合された振動の方向、持続時間および大きさを含むデバイス105の動きに影響を与えることが予想される。さらに、単一の振動装置を図7Cに示すが、3−Dオブジェクトシミュレーションの本設定の一部のアプリケーションにおいて、複数の振動装置を、デバイス105内の異なる位置および方向に固定して取り付けてもよい。この例において、デバイス105に伝えられる動きの方向および大きさに対する指の制御は、主として、実装されてもよい。強さのレベルを変える動きの多自由度は、従って、振動モータを単一および異なる駆動信号を用いた組み合わせにおいて動作させることによって実現できることを認識されたい。従って、さまざまな触覚効果を実装して、異なる錯覚が実現できるようにする。特に、聴覚フィードバックと視覚フィードバックを適切に組み合わせたとき、粗さ、滑らかさ、粘着性などを含む異なる3−Dジオメトリまたはテクスチャを効果的にシミュレートすることができる。

デバイス105により支援されるさまざまな機能を実装するのに使用されるソフトウェアおよび/またはファームウェアを実行するのに主に利用される、プロセッサ719およびメモリ721を、図7Cの幻影図に示す。単一のプロセッサ719を図7Cに示すが、一部の実装において複数のプロセッサを利用してもよい。メモリ721は、揮発性メモリ、不揮発性メモリまたはその2つの組み合わせを備えてもよい。

POS端末機または、キオスクの実装において、振動装置712によって提供されるものと同じ機能性を与えるように構成された1または複数の振動装置を、端末機に移動可能に接続されるように構成されたタッチ画面に固定して取り付ける。例えば、図7Dに示すように、タッチ画面725を枠731内に移動可能に留め置いてもよいし、またはPOS端末機744の基部735に移動可能に取り付けられてもよい。このようにして、POS端末機744自体が固定されたままであるが、タッチ画面725を移動させて、触覚フィードバックをユーザに与えることができる。POS端末機744は、一般的に、1または複数のプロセッサおよびメモリ(図示せず)も含む。

具体的な仮想キートップ808の上面図を図8Aに、側面図を図8Bに示す。キートップが奥行き面を有するという知覚をユーザに伝えるために、触覚フィードバックは、タッチに応答して1または複数の振動装置(例えば、図7の振動装置712)を動作することによって作り出す。図8Aおよび8Bに示す具体的な例において、振動を実装して、主として、複数の振動装置を使用することによって、大きさ、持続時間および方向を変える触覚フィードバック使用した触力覚フィードバックの輪郭を提供できるようにする。しかしながら、代替的な実施形態において、デバイス105のパーツ点数および煩雑さを減らすおよび/またはコストを下げるために、単一の振動装置が利用されてもよい。この代替的な例において、動きの自由度を利用できることが少なくなるが、3−Dのかなりの知覚は、主として、特定のアプリケーションに対して満足できるレベルまでなお実現可能である。

図8Bの点線の輪郭で示したように、キートップ808に奥行きの触覚イリュージョンを提供して、それをユーザが触ったときに、それがタッチ画面110の表面から離れている様に感じることができるようにする。ユーザは、指またはスタイラスでキートップ808の横を、(図8Aの線812で示したように)例えば、左から右にスライドまたはドラッグすることができる。白矢印815で示したように、ユーザのタッチがキートップ808の端部に到達したとき、黒矢印818で示したように、タッチ画面110の平面に対してほぼ左方向の水平に触力覚フィードバックを適用する。(説明820に示すように、白矢印は、指またはスタイラスによるタッチの方向を示し、黒矢印は、触力覚フィードバックが生じた方向を示す)。

矢印825で示したように、ユーザがキートップ808の仮想上部の端部からスライドしたとき、矢印830で示したように、触力覚フィードバックの方向は、ほぼ左側上方になり、キートップ808の端部の感じをユーザに伝える。キートップ808の端部を触ったときに触覚フィードバックを与えることによって、本物の、物理的に具体化されたキーボードと同じように単純に触ることによって、仮想キーボードのキートップをユーザが見つけるのを有利に支援することができる。

矢印836で示したように、ユーザがキートップをアクチュエートするつもりでキートップ808の中央部(すなわち、非端部)を触ったとき、矢印842で示したように、触力覚フィードバックは、ほぼ上方に向く。この例において、触覚フィードバックをキートップアクチュエーションに与えるのに使用される力の大きさは、キートップの端部をユーザに示すのに使用される力よりも大きくなってよい。つまり、例えば、キートップを見つける際にユーザに与えられたフィードバック力を少なくしながら、デバイス105からの振動力を強くして、キートップがアクチュエートされたことを示すことができる。さらに、またはあるいは、キートップアクチュエーションのフィードバックの持続時間を変えてもよい。従って、フィードバックを明示的にすることが可能になり、ユーザに対する触覚的合図によって、ユーザが機能を区別することができるようにする。ユーザがキートップを押下してそれをアクチュエートしたとき、主として、異なる感覚を体験しながら、ユーザが自分の指をキートップ上で滑らせたとき、その端部が明示的なフィードバックに影響を与えて、ユーザが触ることによってキートップを見つけることができるようにする。

従って、ユーザは、主として、タッチ画面110の表面を指またはスタイラスで、リフトせずに横に滑らせて触ることによって、オブジェクト(例えば、ボタン、アイコン、キートップなど)を見つけるであろう。同じ滑らせるまたは「ホバリング」動作が、ユーザがデバイス上の物理的に具体化されたボタンおよびオブジェクトを見つけようとするときに使用されるので、これらの動作を直感的に予想することができる。明示的な触覚的合図を与えて、タッチ画面110上のオブジェクトの位置をユーザに示す。ユーザは、次に、例えば、ホバリングからクリッキングに切り替えることによってボタンをクリックして、オブジェクトをアクチュエートできる。これを、いくつかの代替的な方法の中の1つにおいて実現できる。感圧性のタッチ画面が使用される実装において、ユーザは、主として、圧力をさらに適用してボタンクリックを実装するであろう。あるいは、ユーザは、タッチ画面110の表面から自分の指またはスタイラスを、主として、一時的にリフトしてよく、次に、ボタンをタップしてタッチ画面をクリックする(明示的な触覚的合図を与えて、ボタンクリックをユーザに確認させることができる)。リフティング動作によって、デバイス105が、ホバリングとクリッキングとを区別することができるので、ユーザのタップをボタンクリックとして解釈する。感圧性のタッチ画面を使用しない実装において、リフト・タップの方法論は、主として、触ることによってオブジェクトを見つけることと、オブジェクトの作動とを区別するために利用されるであろう。

代替的な設定において、アイコンまたはボタンの「状態」に応じて、ユーザに与えられたフォースフィードバックを変えることができる。ここで、特定のユーザ体験またはユーザインタフェースを支援するためには、アイコンまたはボタンを有効化してよく、それによってユーザがアクチュエートまたは「クリック」することができる。他の例において、しかしながら、アイコンまたはボタンが使用不能になる場合もあるので、ユーザがアクチュエートすることができない。使用不能の状態において、例えば、特定のボタンまたはアイコンに対して、ユーザが「クリッカブル(clickable)」でないことを示すために、フィードバックの大きさをさらに小さく(またはフィードバックを無くす)利用することが望ましい場合もある。

矢印845で示したように、ユーザがさらに自分の指をキートップ808の右側にスライドさせたとき、右側上方にある触力覚フィードバックを用いて、右端部の位置をユーザに示す。これを、矢印851で示す。矢印856で示したように、ユーザのタッチがキートップ808の遠端に到達したとき、矢印860で示したように、次に、タッチ画面110の平面に対してほぼ右方向の水平に触力覚フィードバックを適用する。ほとんどの例において、同じ触力覚フィードバックの輪郭を、ユーザがキートップ808上で指またはスタイラスを右から左に、および上から下に、下から上におよび他の方向からスライドさせる状況において適用できることに留意されたい。

図9に、音声、視覚および触覚のフィードバックを使用した、本3−Dオブジェクトシミュレーションの具体的なアプリケーションを示す。この例において、図のようなネコ909などの「仮想ペット」を実装するのに使用されるオブジェクトを、タッチ画面110上のデバイス105上で実行するアプリケーションによって表示する。仮想ペットネコ909は、主として、毛繕い、撫でる、ネコの耳の後ろを掻くなどによって、ユーザが自身の仮想ペットと相互作用する娯楽またはゲームのシナリオ部分として利用される。これらの相互作用は、この例において、3−Dオブジェクトシミュレーションの本技術を適用することによって強化される。例えば、ユーザ1012が仮想ペットネコ(オブジェクト)を撫でたとき、ネコ909の画像は、タッチ画面110上のユーザのタッチに応じて、その毛が滑らかになっているのを見せるように動画化できる。ネコのゴロゴロと鳴く音、またはネコの毛を滑らかにするまたはパタパタたたく音(それぞれ、参照番号915と918とで示される)を含むことができる、適切なサンプル音は、スピーカ606または接続された外付けのヘッドセット(図示せず)によってレンダリングされる。

タッチ画面110が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザによるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ102が、タッチ画面110上にさらに圧力をかけながらネコを撫でると、ネコ909は、さらに大声でゴロゴロと鳴くかもしれない。

ユーザ102がネコ909を撫でたときに与えられる音および視覚のフィードバックに加えて、デバイス105は、1または複数の振動装置(例えば、図7およびそれに伴う文で説明された振動装置712)を使用する振動などの触覚フィードバックを与えるように構成される。タッチ画面110上でのユーザのタッチに応じてフィードバックフォースの方向、持続時間および大きさを変えることによって、例えば、ネコ909を撫でた感じ、および/またはユーザ102が触るのに応じてネコ909を動かすことを含む、さまざまな触感をシミュレートできる。音声、視覚および触覚のフィードバックを、単一または2つのさまざまな組み合わせにおいて使用できるが、その3つを組み合わせて利用することにより、上記に説明された具体的な娯楽またはゲームのアプリケーションによって与えられるような設定において、最も完成した3−Dオブジェクトシミュレーションおよび最も豊富なユーザ体験を与えることが多いことが想定される。

図10に、音声、視覚および触覚のフィードバックを使用した、本3−Dオブジェクトシミュレーションの別の具体的なアプリケーションを示す。この例において、デバイス305は、ユーザ102が、タッチ画面310上のページ332の端部を触り、次に、ユーザの指でフリックまたは他の動きをすることによってページをめくることによって、ドキュメントの複数のページの中を閲覧できるように構成される。例えば、ドキュメントの次のページに進むために、ユーザ102は、ページ322の右端部を触って、次に、本物の本のページをめくるのと同じ動きで(タッチ画面310をユーザの指で横にドラッグすることによって)右から左に動かす。前のページに戻るために、ユーザ102は、ページ322の左端部を触って、それを右に動かすことができる。

ユーザ102が、図8Aおよび8Bに伴う文において上記に説明されたもとの同じ方法で、タッチ画面310を触ることによってページ322の端部を見つけたときに、触覚フィードバックを与える。仮想ページがめくられるときに、例えば、ユーザ102が本物のページをめくるときに体験するかもしれない感じ(例えば、ページをめくるときの、少量の空気抵抗の受け止め、ページの硬さおよび/または本の縛り具合など)をシミュレートするために、付加的な触力覚フィードバックをデバイス305に適用することができる。

多くのアプリケーションにおいて、触覚フィードバックは、主として、音声および視覚のフィードバックに組み合わされる。例えば、参照数字1015で示したように、デバイス305内のスピーカ1006、または接続された外付けのヘッドセット(図示せず)を通じてページをめくるときのパラパラというサンプル音が再生させる。しかしながら、図6に示した具体的な例およびそれに伴う文で説明されたように、代替的なサンプル音は、特定の物理的動きをシミュレートしない、任意の音(ビー、チリンチリン、音色、音符など)を含めて利用されてもよいし、またはそのようなさまざまな音の中からユーザが選択してもよい。すべての例において、ユーザが仮想ページ322をめくったときに、サンプル音の利用を聴覚フィードバックに与える。

図10に示した例に、利用される視覚フィードバックは、ユーザの指またはスタイラスの動きに応じて動画の動きをつける、ページ322の動画を備えることができる。従って、タッチ画面310上のページ322に対するユーザのタッチに応じて、例えば、ページ322を、反対に向け、スライドし、または消去するなどして、ドキュメントの次のページまたは前のページを見せることができる。

上記の具体的な例にあるように、タッチ画面310が感圧性である実装において、ユーザへの知覚フィードバックを、ユーザ102によるタッチ画面上の圧力の変更に応じて変更することができる。例えば、ユーザ102が、ページをさらに速くまたはさらに力を入れてめくる(すわなち、さらに圧力をタッチ画面310に適用する)場合、ページ322は、さらに速くめくられまたはスライドされ、ページがめくられる音を、さらに強くまたは大きくできる。

図11は、音声、視覚および触覚のフィードバックを使用した本3−Dオブジェクトシミュレーションの実装を容易にするデバイス上でインストールできる、機能コンポーネントを示す具体的なアーキテクチャ1104である。機能コンポーネントを、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアのさまざまな組み合わせを使用して、代替的に実装できる。例えば、具体的なアーキテクチャ1104における機能コンポーネントを、図7Cに示したプロセッサ721によってメモリ719に格納された命令の実行によるランタイム時に生成できる。

ホストアプリケーション1107は、図9およびそれに伴う文で説明されたように、主として、娯楽またはゲーム環境などの、特に所望される機能性を与えるのに利用される。しかしながら、一部の例では、ホストアプリケーション1107によって実装される機能は、デバイスのオペレーティングシステムまたはミドルウェアによって代替的に与えることができる。例えば、一部の実装において、仮想キーボードを介したファイルシステムの動作および入力を、基本オペレーションシステムの機能として支援できる。

知覚フィードバック論理コンポーネント1120は、さまざまなフィードバック方法をホストアプリケーション1107に表示させるように構成され、ホストアプリケーションとハードウェア専用コントローラとの間の媒介として機能させる。これらのコントローラは、主に、ソフトウェアのデバイスドライバとして実装できる、タッチ画面コントローラ1125、音声コントローラ1128およびモーションコントローラ1134を含む。タッチ画面コントローラ1125、音声コントローラ1128、およびモーションコントローラ1134は、それぞれ、タッチ画面、音声ジェネレータ、および1または複数の振動装置と相互作用し、図11の単一のハードウェアレイヤ1140内で抽出される。他の機能において、タッチ画面コントローラ1125は、タッチ画面に適用されるタッチ座標および/または圧力を示すデータを獲得するように構成され、獲得されたデータを、主に入力イベントの形で知覚フィードバック論理コンポーネント1120に返信する。モーションコントローラ1134は、1または複数の振動装置と相互作用して、特定の実装の要求にこたえる必要に応じて、単一または複数の動きの自由度を与えるように構成できる。

従って、知覚フィードバック論理コンポーネント1120は、対応する視覚的動画および音響効果とともに、図10の上記に示した例における滑らかになった毛の感じなどの、ホストアプリケーションからの特定の知覚効果の要求を受信するように設定される。知覚フィードバック論理コンポーネント1120は、次に、ハードウェア専用コントローラ用の適切なコマンドを作成することによって、所望の知覚効果をデバイス上に実装する。例えば、図10に伴う文に説明したように、ページをめくる複数の知覚効果を実装するために、知覚フィードバック論理コンポーネント1120は、タッチ画面上でのページ動画のレンダリングおよびページをめくる音の再生を呼び出す。さらに、1つの駆動信号、または一連の駆動信号を作り出して、振動装置などのモーションアクチュエータを制御する。駆動信号は、主に、振幅、周波数、パルス波形、持続時間などを変え、所望の触覚フィードバックを作り出す単一の振動装置(または複数の振動装置が利用される実装における振動装置のさまざまな組み合わせ)を対象としている。

明示的な知覚的合図をユーザに与えるのに利用されるタッチ画面の動きにおいて、触覚フィードバックを提示してきたが、一部のシナリオにおいて他の方法も用いられてよいことも強調しておく。例えば、低電流のシミュレーションをユーザの指に与えて、タッチ画面を動かすことによって与えられる触感を取り換え、または補完する、触覚フィードバックを与えるために、静電気放電ジェネレータを使用できる場合がある。あるいは、タッチ画面の周囲に磁場を生成するためにユーザ相互作用に応じて選択的に電圧を加える、電磁石を使用してもよい。この実施形態において、スタイラスの先端内部に永久磁石、電磁石または強磁性物質を有するスタイラスは、触覚フィードバックを与えるために、主に、磁場の動作によって作り出した反発力をユーザに戻すのに利用される。あるいは、これらの磁石を、人工装具または手袋などの、ユーザが装着できる商品に組み込んで、スタイラスを使用せずにタッチ画面との直接相互作用を容易にできる。

本発明の対象を構造的特徴および/または方法論的動作に特有の言語において説明してきたが、添付の特許請求の範囲に定義された本発明の対象事項は、上記の特定の機能または動作に必ずしも限定されないことを理解されたい。むしろ、上記の特定の機能および動作は、特許請求の範囲を実装する例示的形式として開示される。

Claims (20)

  1. 複数の知覚体験をデバイス(105)のユーザ(102)に与える方法であって、前記デバイスがタッチ画面(110)を含み、
    動きを前記タッチ画面(110)に伝えることであって、
    i)前記ユーザ(102)への触覚フィードバックを通じて、前記タッチ画面(110)上で行われるユーザ動作を確認し、
    ii)オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、
    iii)前記ユーザのタッチに応じて、前記タッチ画面(110)上に前記オブジェクトの表示(206)を伝える、ために設定される前記動きのステップと、
    前記オブジェクト(206)との前記相互作用と関連付けられるサンプル音声(602)を再生することであって、前記サンプル音声(602)が、前記ユーザ(102)への聴覚フィードバックを通じて前記ユーザ動作を確認するステップと、
    視覚効果(402)を、前記オブジェクトとの前記相互作用に応じて前記表示(206)にレンダリングすることであって、前記視覚効果(402)が、前記ユーザ(102)への視覚フィードバックを通じて前記ユーザ相互作用を確認するステップと
    を備えることを特徴とする方法。
  2. 前記動きは、多自由度を備えることを特徴とする請求項1に記載の方法。
  3. 前記視覚効果(402)は、前記タッチ画面(110)上の前記オブジェクトを表示させて、前記オブジェクトが奥行き面を有するように見せることを備えることを特徴とする請求項2に記載の方法。
  4. 前記表示は、前記オブジェクトを影付けに与え、または、遠近感を用いて前記オブジェクトをレンダリングし、または1または複数の色を前記オブジェクトに適用することを含むことを特徴とする請求項3に記載の方法。
  5. 前記視覚効果は、前記オブジェクトに対する動画の適用をさらに備えることを特徴とする請求項3に記載の方法。
  6. 前記ユーザが前記タッチ画面(110)に適用する圧力のレベルに応じて、前記タッチ画面に伝えられる動きを変えるステップをさらに含むことを特徴とする請求項1に記載の方法。
  7. 前記ユーザが前記タッチ画面(110)に適用する圧力のレベルに応じて、再生を変えるまたはレンダリングを変えるステップをさらに含むことを特徴とする請求項6に記載の方法。
  8. 知覚フィードバック体験を与えることによって、タッチ画面(110)上に表示されたオブジェクトとの3D相互作用をシミュレートするデバイスであって、
    タッチを介してユーザ動作を示す入力を受信し、および前記ユーザ動作に応じて視覚効果を表示するために設定されたタッチ画面(110)と、
    動きを前記タッチ画面(110)に伝えるために設定される1または複数のアクチュエータ(712)であって、i)ユーザへの触覚フィードバックを通じて、前記タッチ画面(110)上で行われるユーザ動作を確認し、ii)前記オブジェクトとの相互作用を、あたかも前記オブジェクトが三次元を有するかのようにシミュレートし、iii)前記ユーザのタッチに応じて、前記タッチ画面(110)上に前記オブジェクトの表示(206)を伝える、ために設定される前記動と、
    前記オブジェクトとの前記相互作用と関連付けられるサンプル音声(602)を再生するための音響レンダリングデバイス(606)であって、前記サンプル音声(602)が、前記ユーザ(102)への聴覚フィードバックを通じて前記ユーザ動作を確認する前記サンプル音声(602)と、
    知覚フィードバック論理命令を格納するメモリ(719)と、
    前記知覚フィードバック論理命令を実行するために前記メモリ(719)に接続された少なくとも1つのプロセッサ(721)であって、前記知覚フィードバック論理命令は、実行されたとき、前記ユーザ動作に応じて前記知覚フィードバック体験を前記ユーザ(102)に実装し、前記知覚フィードバック体験は、前記触覚フィードバック、前記聴覚フィードバック、および前記視覚効果を含むこと
    を備えることを特徴とするデバイス。
  9. 携帯電話機、パーソナルデジタルアシスタント、スマートフォン、携帯ゲーム機、ウルトラモバイルPC、パーソナルメディアプレーヤ、POS端末機、セルフサービスキオスク、自動車用娯楽システム、自動車用ナビゲーションシステム、自動車用サブシステムコントローラ、自動車用HVACコントローラ、医療器具コントローラ、工業用設備コントローラ、またはATMの中の1つに付帯機能性を実装するための、1または複数の構造をさらに含むことを特徴とする請求項8に記載のデバイス。
  10. 前記1または複数のモーションアクチュエータ(712)を、複数の動きの他自由度を用いて前記タッチ画面(110)を動かすために設定して、特定の3Dシミュレーションと関連付けられた明示的な動きを、前記タッチ画面(110)に伝えることができるようにすることを特徴とする請求項8に記載のデバイス。
  11. 前記3Dシミュレーションは、ジオメトリまたはテクスチャの中の1つから選択されることを特徴とする請求項10に記載のデバイス。
  12. 前記1または複数のモーションアクチュエータ(712)は、モータ(704)および偏心荷重(710)の回転を含む振動装置を備えることを特徴とする請求項10に記載のデバイス。
  13. 前記モータ(704)を、可変速度、または可変持続時間、または順方向および逆方向において駆動されるように設定して、複数の異なる動きを、前記タッチ画面(110)に伝えて、前記複数の異なる動きのそれぞれを、異なる相互作用をシミュレートのために使用できるようにすることを特徴とする請求項12に記載のデバイス。
  14. 前記1または複数のモーションアクチュエータ(712)は、可変磁場を作り出すように構成できる電磁石を備え、または静電気の放電を作り出すように構成できる静電気放電ジェネレータを備えることを特徴とする請求項10に記載のデバイス。
  15. 前記音響レンダリングデバイス(606)は、内蔵スピーカか、または外部に接続できるヘッドセットのいずれかを含むことを特徴とする請求項10に記載のデバイス。
  16. 電子デバイス(105)内に配置された1または複数のプロセッサによって実行されるとき、前記デバイス(105)と関連付けられたタッチ画面(110)上に表示されるオブジェクトに対して、対話型3D環境をシミュレートするためにアーキテクチャ(1104)を実装する命令を含むコンピュータ読み取り可能媒体であって、前記アーキテクチャ(1104)は、
    タッチ画面(110)への入力イベントに応じて視覚フィードバック、聴覚フィードバックおよび触覚フィードバックを備える前記デバイス(105)のユーザ(102)に、知覚フィードバック体験を実装するように構成された知覚フィードバック論理コンポーネント(1120)と、
    前記タッチ画面(110)からの前記入力イベントを受信し、および前記オブジェクト(206)の表示を前記タッチ画面(110)上にレンダリングすることを制御するように構成されたタッチ画面コントローラ(1125)と、
    サンプル音声(602)の再生を制御して、前記聴覚フィードバックを通じて前記入力を確認するように構成された音声コントローラ(1128)と、
    1または複数のモーションアクチュエータ(712)によって前記タッチ画面(110)に適用される力を制御するように構成されたモーションコントローラ(1134)であって、前記力は、複数の異なる入力イベントのそれぞれに対して、明示的な動きを前記タッチ画面(110)に与えるために、可変の方向、持続時間および大きさを備えるモーションコントローラ(1134)と
    を備えることを特徴とするアーキテクチャ(1104)。
  17. 前記対話型3D環境を作り出すため構成されたホストアプリケーション(1107)をさらに含むことを特徴とする請求項16に記載のコンピュータ読み取り可能媒体。
  18. タッチ画面、音声ジェネレータ、および1または複数のモーションアクチュエータを備えたハードウェア抽出レイヤ(1140)をさらに含むことを特徴とする請求項17に記載のコンピュータ読み取り可能媒体。
  19. 前記タッチ画面(110)上に表示された前記オブジェクトを触ることによって見つけるために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項18に記載のコンピュータ読み取り可能媒体。
  20. 前記タッチ画面(110)上に表示された前記オブジェクトと相互作用するために、前記入力イベントは、前記ユーザによるタッチを備えること特徴とする請求項19に記載のコンピュータ読み取り可能媒体。
JP2010530038A 2007-10-18 2008-10-10 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション Pending JP2011501298A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/975,321 US20090102805A1 (en) 2007-10-18 2007-10-18 Three-dimensional object simulation using audio, visual, and tactile feedback
PCT/US2008/079560 WO2009052028A2 (en) 2007-10-18 2008-10-10 Three-dimensional object simulation using audio, visual, and tactile feedback

Publications (1)

Publication Number Publication Date
JP2011501298A true JP2011501298A (ja) 2011-01-06

Family

ID=40563029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010530038A Pending JP2011501298A (ja) 2007-10-18 2008-10-10 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション

Country Status (5)

Country Link
US (1) US20090102805A1 (ja)
EP (1) EP2212761A4 (ja)
JP (1) JP2011501298A (ja)
CN (1) CN101828161B (ja)
WO (1) WO2009052028A2 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150624A (ja) * 2010-01-25 2011-08-04 Kyocera Corp 電子機器
JP2012113646A (ja) * 2010-11-26 2012-06-14 Kyocera Corp 触感呈示装置
JP5265819B2 (ja) * 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
WO2013128989A1 (ja) 2012-03-02 2013-09-06 Necカシオモバイルコミュニケーションズ株式会社 表示装置及びその動作方法
JP2014033936A (ja) * 2012-08-10 2014-02-24 Fukuda Denshi Co Ltd 心電計
WO2014034550A1 (ja) * 2012-08-31 2014-03-06 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
WO2014049794A1 (ja) * 2012-09-27 2014-04-03 パイオニア株式会社 電子機器
JP2014102819A (ja) * 2012-11-20 2014-06-05 Immersion Corp ガイド及び静電的摩擦との協力のための触覚的な手がかり(HapticCues)を提供する方法及び装置
JP2014179089A (ja) * 2013-03-14 2014-09-25 Immersion Corp 触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法
KR101518786B1 (ko) * 2013-11-29 2015-05-15 주식회사 하이딥 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
JP2015521328A (ja) * 2012-05-31 2015-07-27 ノキア コーポレイション ディスプレイ装置
WO2015121963A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 ゲームコントローラ
JP2015531932A (ja) * 2012-08-20 2015-11-05 サムスン エレクトロニクス カンパニー リミテッド マルチモードフィードバックでイメージを認識するシステム及び方法
JP2016184428A (ja) * 2016-06-08 2016-10-20 パイオニア株式会社 電子機器
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
US9983671B2 (en) 2013-10-25 2018-05-29 Panasonic Intellectual Property Management Co., Ltd. Electronic device
WO2019225151A1 (ja) * 2018-05-23 2019-11-28 株式会社デンソー 電子機器

Families Citing this family (167)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7748634B1 (en) 2006-03-29 2010-07-06 Amazon Technologies, Inc. Handheld electronic book reader device having dual displays
US9384672B1 (en) 2006-03-29 2016-07-05 Amazon Technologies, Inc. Handheld electronic book reader device having asymmetrical shape
US8413904B1 (en) 2006-03-29 2013-04-09 Gregg E. Zehr Keyboard layout for handheld electronic book reader device
WO2009037379A1 (en) 2007-09-18 2009-03-26 Senseg Oy Method and apparatus for sensory stimulation
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US20090207129A1 (en) * 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
FI20085475A0 (fi) * 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
KR101463821B1 (ko) * 2008-06-19 2014-12-04 엘지전자 주식회사 휴대 단말기
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20090322761A1 (en) * 2008-06-26 2009-12-31 Anthony Phills Applications for mobile computing devices
US20100053087A1 (en) * 2008-08-26 2010-03-04 Motorola, Inc. Touch sensors with tactile feedback
US8456320B2 (en) * 2008-11-18 2013-06-04 Sony Corporation Feedback with front light
KR101021099B1 (ko) * 2008-12-05 2011-03-14 엔에이치엔(주) 터치스크린을 통한 정보 입력 시 오입력을 방지하기 위한 방법, 연산 장치 및 컴퓨터 판독 가능한 기록 매체
US8166023B2 (en) 2009-02-24 2012-04-24 Ebay Inc. Systems and methods for providing multi-directional visual browsing
US8963844B2 (en) * 2009-02-26 2015-02-24 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electronic devices part I
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
KR101686913B1 (ko) 2009-08-13 2016-12-16 삼성전자주식회사 전자기기에서 이벤트 서비스 제공 방법 및 장치
US8499239B2 (en) * 2009-08-28 2013-07-30 Microsoft Corporation Globe container
US8451238B2 (en) 2009-09-02 2013-05-28 Amazon Technologies, Inc. Touch-screen user interface
US9262063B2 (en) * 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
US8624851B2 (en) * 2009-09-02 2014-01-07 Amazon Technologies, Inc. Touch-screen user interface
US8471824B2 (en) * 2009-09-02 2013-06-25 Amazon Technologies, Inc. Touch-screen user interface
KR20110027117A (ko) * 2009-09-09 2011-03-16 삼성전자주식회사 터치 패널을 구비한 전자 장치와 표시 방법
US8766933B2 (en) * 2009-11-12 2014-07-01 Senseg Ltd. Tactile stimulation apparatus having a composite section comprising a semiconducting material
US20110116665A1 (en) * 2009-11-17 2011-05-19 King Bennett M System and method of providing three-dimensional sound at a portable computing device
EP2502215A2 (en) * 2009-11-17 2012-09-26 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
US8810524B1 (en) 2009-11-20 2014-08-19 Amazon Technologies, Inc. Two-sided touch sensor
US9128602B2 (en) 2009-11-25 2015-09-08 Yahoo! Inc. Gallery application for content viewing
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
US9880622B2 (en) 2009-12-21 2018-01-30 Kyocera Corporation Tactile sensation providing apparatus and control method for tactile sensation providing apparatus when using an application that does not support operation of tactile sensation
JP5749435B2 (ja) * 2009-12-28 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US8433828B2 (en) * 2010-02-26 2013-04-30 Apple Inc. Accessory protocol for touch screen device accessibility
US20110282967A1 (en) * 2010-04-05 2011-11-17 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
JP2011238205A (ja) * 2010-05-04 2011-11-24 Samsung Electro-Mechanics Co Ltd タッチスクリーン装置
FR2960087B1 (fr) * 2010-05-12 2013-08-30 Ingenico Sa Dispositif portable comprenant un ecran tactile et procede d'utilisation correspondant.
US9223475B1 (en) * 2010-06-30 2015-12-29 Amazon Technologies, Inc. Bookmark navigation user interface
US9367227B1 (en) 2010-06-30 2016-06-14 Amazon Technologies, Inc. Chapter navigation user interface
CN101943997A (zh) * 2010-09-13 2011-01-12 中兴通讯股份有限公司 一种实现触摸屏终端发出操作提示音的方法及终端
CN101972149B (zh) * 2010-11-02 2012-03-07 浙江理工大学 视触觉测试仪及视触觉敏感性测试方法
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
EP2666282B1 (en) * 2011-01-18 2018-06-20 Savant Systems LLC. Remote control interface providing head-up operation and visual feedback
KR20120090565A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 영상 데이터의 실감 효과 처리장치 및 방법
US20120226979A1 (en) * 2011-03-04 2012-09-06 Leica Camera Ag Navigation of a Graphical User Interface Using Multi-Dimensional Menus and Modes
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子(上海)有限公司 触控式电子装置及其虚拟键盘操作方法
EP2506117A1 (en) * 2011-03-28 2012-10-03 Research In Motion Limited Portable electronic device with display and feedback module
US20120274578A1 (en) * 2011-04-26 2012-11-01 Research In Motion Limited Electronic device and method of controlling same
CN103608804B (zh) * 2011-05-24 2016-11-16 三菱电机株式会社 字符输入装置及包括该字符输入装置的车载导航装置
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101882262B1 (ko) * 2011-11-25 2018-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9400600B2 (en) 2011-12-16 2016-07-26 Samsung Electronics Co., Ltd. Method, apparatus, and graphical user interface for providing visual effects on a touchscreen display
EP2791771A4 (en) * 2011-12-16 2015-07-01 Samsung Electronics Co Ltd Method, apparatus, and graphical user interface for providing visual effects on a touchscreen display
EP2798440A4 (en) * 2011-12-27 2015-12-09 Intel Corp Full 3d interaction on mobile devices
US9013426B2 (en) * 2012-01-12 2015-04-21 International Business Machines Corporation Providing a sense of touch in a mobile device using vibration
CN103460164B (zh) * 2012-02-03 2017-02-08 松下知识产权经营株式会社 触觉提示装置以及触觉提示装置的驱动方法
US20130222267A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
CN103294174B (zh) * 2012-02-27 2016-03-30 联想(北京)有限公司 电子设备及其信息处理方法
KR101181505B1 (ko) 2012-02-28 2012-09-10 한국과학기술원 다양하고 정교한 정보전달을 위한 입력 지점과 출력 지점이 분리된 햅틱 인터페이스
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9298236B2 (en) 2012-03-02 2016-03-29 Microsoft Technology Licensing, Llc Multi-stage power adapter configured to provide a first power level upon initial connection of the power adapter to the host device and a second power level thereafter upon notification from the host device to the power adapter
CN103294183B (zh) * 2012-03-05 2017-03-01 联想(北京)有限公司 终端设备及其对压力进行反馈的方法
EP2827235A4 (en) * 2012-03-16 2015-11-25 Ntt Docomo Inc Terminal for electronic book content replay and electronic book content replay method
US9046972B2 (en) 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
JP2013228937A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
JP2013228936A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
EP3410287A1 (en) 2012-05-09 2018-12-05 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169853A1 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013170099A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
WO2013192539A1 (en) 2012-06-21 2013-12-27 Nextinput, Inc. Wafer level mems force dies
US9032818B2 (en) 2012-07-05 2015-05-19 Nextinput, Inc. Microelectromechanical load sensor and methods of manufacturing the same
WO2015004620A2 (en) * 2013-07-10 2015-01-15 Gerijoy Inc Virtual companion
KR101949737B1 (ko) * 2012-08-28 2019-02-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
US20140078134A1 (en) * 2012-09-18 2014-03-20 Ixonos Oyj Method for determining three-dimensional visual effect on information element using apparatus with touch sensitive display
WO2014069749A1 (ko) * 2012-10-29 2014-05-08 에스케이플래닛 주식회사 모바일 웹 페이지에서 스와입 모션 감지에 따른 처리 시스템 및 방법
GB2507556A (en) * 2012-11-05 2014-05-07 Ibm Configuring a keyboard model
CN103809739B (zh) * 2012-11-13 2017-06-27 联想(北京)有限公司 一种电子设备的输出方法、输出控制装置及电子设备
CN102981622A (zh) * 2012-11-29 2013-03-20 广东欧珀移动通信有限公司 一种移动终端的外部控制方法及系统
CN103853363B (zh) * 2012-11-29 2017-09-29 联想(北京)有限公司 一种触觉反馈的方法及电子设备
US20160003494A1 (en) * 2012-12-20 2016-01-07 Volvo Construction Equipment Ab Actuator controlling device for construction equipment and actuator controlling method therefor
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
KR102035305B1 (ko) 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US20160139671A1 (en) * 2013-01-15 2016-05-19 Samsung Electronics Co., Ltd. Method for providing haptic effect in electronic device, machine-readable storage medium, and electronic device
KR20140105689A (ko) * 2013-02-23 2014-09-02 삼성전자주식회사 사용자의 입력에 응답하여 피드백을 제공하는 방법 및 이를 구현하는 단말
CN104020858A (zh) * 2013-03-01 2014-09-03 鸿富锦精密工业(深圳)有限公司 虚拟键盘提供装置
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
CN104111724A (zh) * 2013-04-19 2014-10-22 联想(北京)有限公司 一种信息处理的方法及电子设备
KR20140133095A (ko) 2013-05-09 2014-11-19 삼성전자주식회사 정보를 사용자에게 제공하기 위한 전자 장치
US9280259B2 (en) 2013-07-26 2016-03-08 Blackberry Limited System and method for manipulating an object in a three-dimensional desktop environment
US10037081B2 (en) * 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
US9390598B2 (en) 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
JP5584347B1 (ja) * 2013-12-17 2014-09-03 慎司 西村 コンピューターゲーム用擬似体験リモコンボタン
CN105934661B (zh) 2014-01-13 2019-11-05 触控解决方案股份有限公司 微型强化圆片级mems力传感器
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
EP2933714A1 (en) 2014-04-15 2015-10-21 idp invent ag Method of operating a touch screen device, display control unit and touch screen device
US20150363365A1 (en) * 2014-06-11 2015-12-17 Microsoft Corporation Accessibility detection of content properties through tactile interactions
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
FR3030070B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
DE102015200038A1 (de) * 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren in einem Kraftfahrzeug zur Eingabe eines Textes über virtuelle Bedienelemente mit haptischer Rückkopplung zur Simulation einer Tastenhaptik
MX2017010254A (es) * 2015-02-20 2018-03-07 Ultrahaptics Ip Ltd Percepciones en un sistema haptico.
KR20160106985A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US9600094B2 (en) * 2015-03-04 2017-03-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for directing motion of a writing device
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
WO2016201235A1 (en) 2015-06-10 2016-12-15 Nextinput, Inc. Ruggedized wafer level mems force sensor with a tolerance trench
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9959082B2 (en) * 2015-08-19 2018-05-01 Shakai Dominique Environ system
EP3291077A1 (en) * 2015-11-23 2018-03-07 Verifone, Inc. Method and system for authentication code entry in touch-sensitive screen enabled devices
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム
GB2562328A (en) * 2017-05-08 2018-11-14 Cirrus Logic Int Semiconductor Ltd Integrated haptic system
KR101917101B1 (ko) * 2017-06-05 2018-11-09 한국과학기술연구원 진동식 촉각 자극 생성 장치, 시스템 및 방법
DE102017219414A1 (de) * 2017-10-30 2019-05-02 Robert Bosch Gmbh Multimedia-Bedienvorrichtung und Verfahren zur Steuerung einer Multimedia-Bedienvorrichtung
EP3506056A1 (en) * 2017-12-30 2019-07-03 Advanced Digital Broadcast S.A. System and method for providing haptic feedback when operating a touch screen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003038800A1 (en) * 2001-11-01 2003-05-08 Immersion Corporation Method and apparatus for providing tactile sensations
JP2005092472A (ja) * 2003-09-17 2005-04-07 Hitachi Ltd タッチパネルを備えた表示装置
JP2006221568A (ja) * 2005-02-14 2006-08-24 Canon Inc 情報入力装置、情報入力方法及び情報入力プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US5977867A (en) * 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
KR20020064603A (ko) * 2001-02-02 2002-08-09 김응선 인체 반응형 터치 스크린
US20030184574A1 (en) * 2002-02-12 2003-10-02 Phillips James V. Touch screen interface with haptic feedback device
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
US7780527B2 (en) * 2002-05-14 2010-08-24 Atronic International Gmbh Gaming machine having three-dimensional touch screen for player input
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20050088417A1 (en) * 2003-10-24 2005-04-28 Mulligan Roger C. Tactile touch-sensing system
US7542026B2 (en) * 2003-11-03 2009-06-02 International Business Machines Corporation Apparatus method and system for improved feedback of pointing device event processing
US7814419B2 (en) * 2003-11-26 2010-10-12 Nokia Corporation Changing an orientation of a user interface via a course of motion
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
JP4439351B2 (ja) * 2004-07-28 2010-03-24 アルパイン株式会社 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
US20060028428A1 (en) * 2004-08-05 2006-02-09 Xunhu Dai Handheld device having localized force feedback
JP4860625B2 (ja) * 2004-10-08 2012-01-25 イマージョン コーポレーションImmersion Corporation タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US20060197753A1 (en) * 2005-03-04 2006-09-07 Hotelling Steven P Multi-functional hand-held device
JP5275025B2 (ja) * 2005-06-27 2013-08-28 コアクティヴ・ドライヴ・コーポレイション 触覚フィードバック用の同期式振動装置
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003038800A1 (en) * 2001-11-01 2003-05-08 Immersion Corporation Method and apparatus for providing tactile sensations
JP2005092472A (ja) * 2003-09-17 2005-04-07 Hitachi Ltd タッチパネルを備えた表示装置
JP2006221568A (ja) * 2005-02-14 2006-08-24 Canon Inc 情報入力装置、情報入力方法及び情報入力プログラム

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011150624A (ja) * 2010-01-25 2011-08-04 Kyocera Corp 電子機器
JP2012113646A (ja) * 2010-11-26 2012-06-14 Kyocera Corp 触感呈示装置
JP5265819B2 (ja) * 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
JP2013200879A (ja) * 2011-06-07 2013-10-03 Panasonic Corp 電子機器
US9563297B2 (en) 2012-03-02 2017-02-07 Nec Corporation Display device and operating method thereof
WO2013128989A1 (ja) 2012-03-02 2013-09-06 Necカシオモバイルコミュニケーションズ株式会社 表示装置及びその動作方法
JPWO2013128989A1 (ja) * 2012-03-02 2015-07-30 Necカシオモバイルコミュニケーションズ株式会社 表示装置及びその動作方法
JP2015521328A (ja) * 2012-05-31 2015-07-27 ノキア コーポレイション ディスプレイ装置
JP2014033936A (ja) * 2012-08-10 2014-02-24 Fukuda Denshi Co Ltd 心電計
JP2015531932A (ja) * 2012-08-20 2015-11-05 サムスン エレクトロニクス カンパニー リミテッド マルチモードフィードバックでイメージを認識するシステム及び方法
US9727140B2 (en) 2012-08-31 2017-08-08 Nec Corporation Tactile force sense presentation device, information terminal, tactile force sense presentation method, and computer-readable recording medium
WO2014034550A1 (ja) * 2012-08-31 2014-03-06 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JPWO2014034550A1 (ja) * 2012-08-31 2016-08-08 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
US9990039B2 (en) 2012-09-27 2018-06-05 Pioneer Corporation Electronic device
WO2014049794A1 (ja) * 2012-09-27 2014-04-03 パイオニア株式会社 電子機器
JPWO2014049794A1 (ja) * 2012-09-27 2016-08-22 パイオニア株式会社 電子機器
JP2014102819A (ja) * 2012-11-20 2014-06-05 Immersion Corp ガイド及び静電的摩擦との協力のための触覚的な手がかり(HapticCues)を提供する方法及び装置
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
JP2014179089A (ja) * 2013-03-14 2014-09-25 Immersion Corp 触覚及びジェスチャ駆動型ペーパーシミュレーションのためのシステム及び方法
US9983671B2 (en) 2013-10-25 2018-05-29 Panasonic Intellectual Property Management Co., Ltd. Electronic device
US10331337B2 (en) 2013-11-29 2019-06-25 Hideep Inc. Feedback method according to touch level and touch input device performing the same
KR101518786B1 (ko) * 2013-11-29 2015-05-15 주식회사 하이딥 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
JPWO2015121963A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 ゲームコントローラ
WO2015121963A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 ゲームコントローラ
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
JP2016184428A (ja) * 2016-06-08 2016-10-20 パイオニア株式会社 電子機器
WO2019225151A1 (ja) * 2018-05-23 2019-11-28 株式会社デンソー 電子機器

Also Published As

Publication number Publication date
EP2212761A2 (en) 2010-08-04
WO2009052028A3 (en) 2009-07-09
WO2009052028A2 (en) 2009-04-23
CN101828161A (zh) 2010-09-08
CN101828161B (zh) 2013-04-10
EP2212761A4 (en) 2016-08-10
US20090102805A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
CN101809526B (zh) 具有动态触觉效应的多触摸装置
US8570296B2 (en) System and method for display of multiple data channels on a single haptic display
JP4723799B2 (ja) 制御システムおよび制御方法
JP3085481U (ja) タッチパッド及びその他のタッチコントロール用触感フィードバック
USRE40808E1 (en) Low-cost haptic mouse implementations
CN101198925B (zh) 用于触敏输入设备的手势
KR100682901B1 (ko) 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
CN102349039B (zh) 用于在摩擦显示器中提供特征的系统和方法
CN102473035B (zh) 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
JP5948021B2 (ja) タッチ面用電気振動
US7602382B2 (en) Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US6920619B1 (en) User interface for removing an object from a display
JP6382564B2 (ja) 折り畳み可能・折り曲げ可能ディスプレイとのインタラクションに対する触覚フィードバック
US7358956B2 (en) Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US9134797B2 (en) Systems and methods for providing haptic feedback to touch-sensitive input devices
US10162483B1 (en) User interface systems and methods
US9632581B2 (en) Systems and methods for pressure-based haptic effects
CA2771918C (en) Direct manipulation gestures
US8533623B2 (en) Interface that allows a user to riffle through pages of an electronic document
KR20130001176A (ko) 근접 범위 움직임 추적 시스템 및 방법
JP6444052B2 (ja) 触覚使用可能な可変表面のためのシステム及び方法
US10168886B2 (en) Method for providing a user interface based on touch pressure, and electronic device using same
KR20160003031A (ko) 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
DE112013002412T5 (de) Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
JP3069791U (ja) マウス及び位置決め装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130215