JP2014102830A - 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法 - Google Patents

触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法 Download PDF

Info

Publication number
JP2014102830A
JP2014102830A JP2013232945A JP2013232945A JP2014102830A JP 2014102830 A JP2014102830 A JP 2014102830A JP 2013232945 A JP2013232945 A JP 2013232945A JP 2013232945 A JP2013232945 A JP 2013232945A JP 2014102830 A JP2014102830 A JP 2014102830A
Authority
JP
Japan
Prior art keywords
haptic
user
haptic effect
virtual
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013232945A
Other languages
English (en)
Other versions
JP6499392B2 (ja
Inventor
Levesque Vincent
ビンセント レベスク、
Juan Manuel Cruz-Hernandez
ファン マヌエル クルス−エルナンデス、
B Weddle Amaya
アマヤ ビー. ウェドル、
M Birnbaum David
デイヴィッド エム. バーンバウム、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014102830A publication Critical patent/JP2014102830A/ja
Application granted granted Critical
Publication of JP6499392B2 publication Critical patent/JP6499392B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10NELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N30/00Piezoelectric or electrostrictive devices
    • H10N30/20Piezoelectric or electrostrictive devices with electrical input and mechanical output, e.g. functioning as actuators or vibrators

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】表面ベースの触覚効果を有する装置において、よりユーザフレンドリであり、より説得力のあるユーザ体験を提供する。
【解決手段】タッチ面116とのユーザ相互作用を検出して、センサ信号を送信するセンサ108と、センサ108と通信するプロセッサ102であって、センサ信号に基づいてユーザ相互作用の位置を決定し、位置に関係付けられる特徴を決定し、特徴に関係付けられる装置を制御し、ユーザ相互作用に部分的に基づいて表示信号を修正し、ユーザ相互作用及び位置に少なくとも部分的に基づいて生成すべき触覚効果を選択し、触覚効果は特徴をシミュレートするように選択され、触覚効果を生成するために触覚効果を送信するように構成されるプロセッサ102と、プロセッサ102と通信し且つタッチ面116に結合される触覚出力装置118であって、触覚信号を受信して、触覚効果を出力する触覚出力装置118とを含む。
【選択図】図1A

Description

本発明は、触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法に関する。
(関連出願への相互参照)
本願は、2012年11月20日に提出され、“Systems and Methods for Providing Mode or State Awareness with Programmable Surface Texture”と題された仮出願第61/728,665号、2012年11月20日に提出され、“System and Method for Feedforward and Feedback with Electrostatic Friction”と題された仮出願第61/728,661号、2012年11月20日に提出され、“System and Method for Simulated Physical Interactions with Electrostatic Friction”と題された仮出願第61/728,727号、及び2013年3月14日に提出され、“System and Method For Simulated Physical Interactions With Haptic Effects”と題された正規の出願第13/830,087号への優先権を主張し、これらの全体が参照により本明細書に組み込まれる。
タッチ可能装置はますます人気になってきている。例えば、ユーザがタッチセンサ式ディスプレイのタッチ部分で入力を提供できるように、携帯及び他の装置はタッチセンサ式ディスプレイを用いて構成される場合がある。別の例示として、トラックパッド、マウス又は他の装置等のディスプレイとは別のタッチ可能表面が入力に使用される場合がある。更に、一部のタッチ可能装置は、触覚効果、例えば、ユーザがタッチ面上に感じる摩擦係数を変更する触覚効果を利用する。この種類の触覚効果は、ユーザに様々な情報を提供するために使用され得る。従って、触覚効果によってシミュレートされる物理相互作用が必要とされている。
本開示の実施形態は、タッチ領域において1つ以上の特徴をシミュレートする表面ベースの触覚効果を特徴付ける装置を含む。特長には、例えば、テクスチャ(texture)、摩擦係数及び/又は境界、障害物のシミュレーション、又は表面と接触しているオブジェクトの使用を通じて知覚され得るタッチ面の他の不連続性の変化が含まれてもよい。表面ベースの触覚効果を有する装置は、よりユーザフレンドリであり、より説得力のあるユーザ体験を提供してもよい。
一実施形態では、本開示のシステムは、タッチ面との相互作用を検出して相互作用に関係付けられるセンサ信号を送信するように構成されるセンサと、センサと通信するプロセッサであって、装置で利用可能な、第1のユーザ相互作用に関係付けられる操作を決定し、操作に関係付けられるシミュレートされるテクスチャを決定し、シミュレートされるテクスチャに関係付けられる触覚信号を出力し、第2のユーザ相互作用に基づいて操作を実行するかどうかを決定するように構成されるプロセッサと、プロセッサと通信し且つタッチ面に結合される触覚出力装置であって、触覚信号を受信して、触覚信号に部分的に基づいてタッチ面において触覚効果を出力するように構成される触覚出力装置とを備えてもよい。
この例示の実施形態は、本主題を限定又は定義するためではなく、その理解を支援するための例示を提供するために言及される。例示の実施形態は、詳細な説明において検討され、そこでは更なる説明が提供される。本明細書を吟味することによって、及び/又は請求項に記載の主題の1つ以上の実施形態を実施することによって、様々な実施形態によってもたらされる利点が更に理解され得る。
本明細書の以下の部分には完全且つ実施可能な開示がより詳細に説明される。本明細書は以下の添付の図面を参照する。
触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 図1Aで示されたシステムの一実施形態の外観図を示す。 図1Aで示されたシステムの別の実施形態の外観図を示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。 触覚効果によってシミュレートされる物理相互作用のためのシステムの例示である。 触覚効果によってシミュレートされる物理相互作用のための方法を実行するステップのフローチャートである。 触覚効果によってシミュレートされる物理相互作用のためのシステムの例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。 触覚効果によってシミュレートされる物理相互作用のためのシステムの更に別の例示である。
次に、多様な及び代替的な例示の実施形態並びに添付の図面を詳細に参照する。各例示は、限定としてではなく、説明目的で提供される。修正及び変更が行われ得ることは、当業者には明らかであろう。例えば、一実施形態の一部として例示され又は記載された特徴は、更なる実施形態をもたらすために別の実施形態において使用されてもよい。従って、本開示は、添付の請求項及び均等物の範囲に入る修正及び変形を含むことが意図されている。
(触覚効果によってシミュレートされる物理相互作用を提供するための装置の例示)
設計者は、デジタルインターフェースをより効率よく快適に使用するために物理相互作用によるユーザ体験を利用することが多い。これは、一般には、視覚及び/又は聴覚フィードバックを通して物理世界との相互作用の一部の側面を再現することによって行われる。こうした種類の相互作用は、タッチスクリーンにおいて特に強力であり得る。一部の実施形態では、静電摩擦(Electrostatic Friction、ESF)フィードバックを使用して、タッチセンサ式システムにおいてシミュレートされる物理相互作用の現実性及び有用性を増すことができる。例えば、本開示の一部の実施形態では、ESF又はアクチュエータを使用して、物理相互作用に関係付けられる感覚を部分的に再現するための現実的な触覚フィードバックを出力することができる。更に、一部の実施形態では、ESF又はアクチュエータによって抽象的触覚フィードバック(abstract tactile feedback)も可能である。
本開示の例示的な実施形態の1つは、スマートフォン、タブレット又は携帯型ミュージック装置等のコンピュータシステムを含む。コンピュータシステムは、この例示において、装置の画面に対応する表示領域に対するタッチの場所を決定するために加速度計及びセンサ(例えば、光学、抵抗性又は容量性)等の1つ以上のセンサを含み及び/又はこれらと通信してもよい。
ユーザが装置と相互作用すると、触覚効果を提供するために、1つ以上の触覚出力装置、例えば、アクチュエータが使用される。例えば、触覚効果は、装置の表面で指を動かす場合にユーザによって感知される摩擦係数を変化させるように構成されてもよい。このような実施形態では、表面上をユーザの指が動くと、ユーザによって感知される摩擦係数を変化させるために、振動、電磁場又は他の効果が出力されてもよい。どのように摩擦が変化するかによって、ユーザは、表面摩擦が変化しなかった場合には同じように(又は全く)感知されないであろうタッチ面における特徴を感知してもよい。特定の例示として、ユーザが特徴の端部、例えば、仮想ボタン、スライダ、ノブ又は他のインターフェース等のスクリーン上のウィジェットに対応する隆起、境界又は他の障害物を感知するように、摩擦が変化させられてもよい。一部の実施形態では、このウィジェットは、ウィジェットに関係付けられるシステムを制御するように構成されてもよい。例えば、一実施形態では、ウィジェットは、温度を制御するように構成される仮想ノブを含んでもよい。従って、仮想ノブと相互作用することによって、ユーザは温度設定を調節することが可能であってもよい。
他の実施形態では、上記の種類の触覚効果は、多くの可能な効果の1つをシミュレートするために出力されてもよい。例えば、一実施形態では、装置は仮想デスクトップを表示してもよい。このような実施形態では、ユーザは、仮想デスクトップの様々な特徴と相互作用するときに、デスクトップ上のアイテムに関係付けられる効果を感じてもよい。例えば、このような実施形態では、ユーザは、仮想デスクトップ上の用紙の束と相互作用すると、テクスチャ又は摩擦の変化等の触覚効果を感じてもよい。例えば、このような実施形態では、ユーザが仮想用紙の束と相互作用すると、装置は、互いに対して紙が擦れるようにユーザが感じる摩擦を増加させる触覚効果を出力してもよい。同様に、このような実施形態では、ディスプレイは、触覚効果に対応する視覚効果を示してもよい。例えば、ディスプレイは、ユーザが用紙の束と相互作用するとそれが動くことを示してもよい。更なる実施形態では、ユーザが用紙の束を押すと、装置は、用紙の束が倒れることに関係付けられる触覚効果を出力してもよい。同様に、このような実施形態では、ディスプレイは、用紙の束が倒れることに関係付けられる画像を示してもよい。
上記の種類の触覚効果は、更なる実施形態でも使用されてもよい。例えば、一実施形態では、ユーザは装置でビデオゲームをプレイしていてもよい。このような実施形態では、装置は、ユーザが取るアクションに関係付けられる触覚効果を出力してもよい。例えば、一実施形態では、ユーザはスクリーンの中でビデオゲームのキャラクタを動かしてもよい。このような実施形態では、装置は、ゲーム内のキャラクタが通り過ぎているテクスチャの変化をシミュレートするように構成される触覚効果を出力してもよい。同様に、このような実施形態では、装置は、キャラクタの仮想世界における異なる表面を横断してキャラクタを動かすときにユーザが感じる摩擦を変化させてもよい。例えば、一実施形態では、ユーザが粗い表面上でキャラクタを動かすと、装置は、ユーザがディスプレイの表面を横断して指を動かしていることを感じる摩擦係数を増加させるように構成される触覚効果を出力してもよい。別の実施形態では、ユーザは、仮想パチンコに関係付けられるゲームをプレイしていてもよい。このような実施形態では、ユーザが仮想パチンコを引き締めると、装置は、張力が増したことをシミュレートするように構成される触覚効果を出力してもよい。このような実施形態では、この触覚効果は、ユーザがパチンコを引き締めるためにスクリーンの表面で指を動かすときにユーザが感じる摩擦係数を増加させるように構成される効果を含んでもよい。
更に、一部の実施形態では、装置は、摩擦係数を変化させ、又はテクスチャをシミュレートし、ジェスチャが利用可能であることの確認をユーザに提供するように構成される効果を出力してもよい。例えば、一実施形態では、ユーザがタッチスクリーンの表面で指を動かすと、ユーザはタッチスクリーンの表面におけるボタン、スライダ又は他の入力装置を横切ってもよい。ユーザの指がこの入力装置を横切ると、装置は、ユーザに自身の指が入力装置上を横切ったことを知らせるために、摩擦係数を変化させ又はテクスチャをシミュレートするように構成される触覚効果を出力してもよい。例えば、一実施形態では、ユーザの指がボタンの上を移動すると、装置は、ユーザに自身の指がボタンを横切ったことを知らせるために、摩擦係数を増加させるように構成される触覚効果を出力してもよい。
更に、一部の実施形態では、装置は、異なる種類の相互作用がシミュレートされる入力装置(例えば、ボタン、スイッチ、スライダ、又はタッチスクリーンディスプレイ上の他の入力装置)を制御するために使用され得ることの確認をユーザに提供するために、摩擦係数を増加させ、又はテクスチャをシミュレートするように構成される効果を出力してもよい。例えば、一実施形態では、ユーザがタッチスクリーンの表面で自身の指を動かすと、ユーザは上記のボタンを知覚してもよい。更に、装置は、所定の操作が利用可能であることを識別するように構成される触覚効果を出力してもよい。例えば、一実施形態では、装置は、指を持ち上げてボタンから離すことがそれをアクティブ化することを示すテクスチャを出力してもよい。別の実施形態では、ユーザは、タッチスクリーンの表面で指を動かすと、スライダの端部を知覚する。このような実施形態では、ユーザがスライダ上で指を動かすと、装置は、スライダがスワイプ操作によってアクティブ化し得ることを示すために、知覚された摩擦係数を変化させ、又はテクスチャをシミュレートするように構成される効果を出力してもよい。更に他の実施形態では、触覚効果は、所定の相互作用が利用可能でないことを示すために使用されてもよい。例えば、一実施形態では、ユーザが現在アクティブでないボタンに関係付けられるタッチスクリーンの一部において自身の指を動かす場合に、装置は、ボタンが現在アクティブでないことをユーザに知らせるために、触覚効果(例えば、鈍いテクスチャをシミュレートするように構成される効果)を出力してもよい。
同様に、一部の実施形態では、タッチスクリーン上のアイテムが、その重要度を識別するために関連する触覚効果を有してもよい。例えば、一実施形態では、ボタン等の仮想入力装置が、他の仮想入力装置よりも重要な操作を有してもよい。例えば、一実施形態では、ボタンは、装置をオフにすること又は装置を「機内モード」に設定することに関係付けられてもよい。他の実施形態では、装置は、重要度の他の指標を使用してもよい。例えば、一実施形態では、ユーザは装置でニュースアプリケーションを閲覧していてもよい。このような実施形態では、装置は、見出しに関係付けてシミュレートされるテクスチャ又は変化させられる摩擦係数を適用するように構成されてもよい。同様に、ユーザが「高い重要度」の印をつけたメッセージを受信する場合、装置は、シミュレートされるテクスチャ又は摩擦係数をこのメッセージと関係付けるように構成されてもよい。
他の実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、アクション又はモードのアクティブ化の確認を提供するために使用されてもよい。例えば、タッチパッド又はタッチスクリーン上で様々なジェスチャを行うと、装置はジェスチャが受信されたことを示すために、摩擦係数を変化させ又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、ジェスチャをズームするためのピンチ操作に関係付けられてもよい。このような実施形態では、装置は、ジェスチャをズームするためのピンチ操作を検出すると、ジェスチャが受信されたことを確認するためにテクスチャ又は摩擦係数の変化をシミュレートするように構成される効果を出力してもよい。別の実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、ホームスクリーンに戻るための4本指ジェスチャの受信を確認するために出力されてもよい。更に他の実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、左/右、又は上/下にスクロールする等のジェスチャに関係付けられてもよい。一部の実施形態では、これによって、ユーザが即座に次の相互作用に進むことができるように、シミュレートされるテクスチャ又は摩擦係数の変化が相互作用が受信されたことを識別するので、ユーザが間断なく複数のジェスチャによる装置との相互作用を使用することが可能になる。
更に、一部の実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、特定の装置の操作、例えば、ボイスメールに呼び出しを送ること、テキストメッセージを送信すること、Eメールを送信すること、更新をダウンロードすること、ゲーム若しくはアプリケーションに関係付けられる何らかの操作、又は何らかの他の操作に関係付けられてもよい。同様に、一部の実施形態では、シミュレートされるテクスチャ又は摩擦係数の変化は、装置の制御下にあるシステムに関係付けられてもよい。例えば、一実施形態では、装置は、温度調節システムを制御するように構成されてもよい。このような実施形態では、ユーザがユーザインターフェース内のウィジェットと相互作用すると、ユーザは、例えば、温度設定又はファン設定を制御することが可能であってもよい。同様に、このような実施形態では、ユーザがウィジェットと相互作用すると、装置は、ユーザ入力が受信されたこと又はシステムが制御されていることを確認するためにシミュレートされるテクスチャ又は摩擦係数の変化を出力してもよい。
更に以下に詳細に検討されるように、表面でテクスチャをシミュレートすること又は摩擦係数を変化させることは、ユーザに情報を提供するために様々なやり方で使用され得る。更に、タッチ面における特徴の存在が、テクスチャをシミュレートすること又は摩擦係数を変化させることに追加の又はその代わりの効果を使用してシミュレートされ得る。同様に、ディスプレイ以外の装置の表面においてテクスチャの感覚をシミュレートするために触覚効果が出力され得る。
(触覚効果によってシミュレートされる物理相互作用を提供するための例示的なシステム)
図1Aは、触覚効果によってシミュレートされる物理相互作用を提供するための例示的なシステム100を示す。この例示では、システム100は、バス106を介して他のハードウェアとインターフェース接続されるプロセッサ102を有するコンピュータ装置101を含む。RAM、ROM又はEEPROM等の任意の適切な有形の(及び一時的でない)コンピュータ可読媒体を含み得るメモリ104が、コンピュータ装置の動作を構成するプログラム要素を具現化する。この例示では、コンピュータ装置101は、1つ以上のネットワークインターフェース装置110、入力/出力(I/O)インターフェース要素112、及び追加の記憶装置114を更に含む。
ネットワーク装置110は、ネットワーク接続を容易にする1つ以上の任意の構成要素を表し得る。限定されないが、例示には、Ethernet(登録商標)、USB、IEEE1394等の有線インターフェース、及び/又はIEEE802.11、Bluetooth(登録商標)等の無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS又は他の移動通信ネットワーク)が含まれる。
I/O構成要素112は、1つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロホン、及び/又はデータの入力又は出力に使用される他のハードウェア等の装置への接続を容易にするために使用されてもよい。記憶装置114は、装置101に含まれる磁気、光学、又は他の記憶媒体等の不揮発性記憶装置を表す。
システム100は、この例示では、装置101に統合されるタッチ面116を更に含む。タッチ面116は、ユーザの触覚入力を感知するように構成される任意の表面を表す。1つ以上のセンサ108は、物体がタッチ面に接触する場合に接触領域における接触を検出して、プロセッサ102によってユーザに適切なデータを提供するように構成される。センサの任意の適切な数、種類、又は配置が使用され得る。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。一部の実施形態では、センサ108及びタッチ面116は、タッチスクリーン又はタッチパッドを含んでもよい。例えば、一部の実施形態では、タッチ面116及びセンサ108は、表示信号を受信して、ユーザに画像を出力するように構成されるディスプレイの上に取り付けられるタッチスクリーンを含んでもよい。他の実施形態では、センサ108は、LED検出器を含んでもよい。例えば、一実施形態では、タッチ面116は、ディスプレイの側部に取り付けられるLED指検出器を含んでもよい。一部の実施形態では、プロセッサは単一のセンサ108と通信し、他の実施形態では、プロセッサは複数のセンサ108、例えば、第1のタッチスクリーン及び第2のタッチスクリーンと通信する。センサ108は、ユーザ相互作用を検出し、ユーザ相互作用に基づいて、プロセッサ102に信号を送信するように構成される。一部の実施形態では、センサ108は、ユーザ相互作用の複数の態様を検出するように構成されてもよい。例えば、センサ108は、ユーザ相互作用の速度及び圧力を検出して、この情報をインターフェース信号に組み込んでもよい。
この例示では、プロセッサ102と通信する触覚出力装置118がタッチ面116に結合される。一部の実施形態では、触覚出力装置118は、触覚信号に応じてタッチ面においてテクスチャをシミュレートする触覚効果を出力するように構成される。追加的又は代替的に、触覚出力装置118は、制御されるようにタッチ面を動かす振動触覚効果を提供してもよい。一部の触覚効果は、装置の筐体に結合されるアクチュエータを利用してもよい。また、一部の触覚効果は、順番に及び/又は同時に複数のアクチュエータを使用してもよい。例えば、一部の実施形態では、表面のテクスチャがシミュレートされてもよく、又は異なる周波数で表面を振動させることによって感知された摩擦係数が変化(例えば、減少又は増加)させられてもよい。このような実施形態では、触覚出力装置118は、例えば、圧電アクチュエータ、電気モータ、電磁アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ(ERM)又は線形共振アクチュエータ(LRA)の1つ以上を含んでもよい。一部の実施形態では、触覚出力装置118は、複数のアクチュエータ、例えば、ERM及びLRAを含んでもよい。
本明細書では単一の触覚出力装置118が示されているが、複数の実施形態では、タッチ面において表面テクスチャをシミュレートするために同じ又は異なる種類の複数の触覚出力装置が使用されてもよい。例えば、一実施形態では、超音波周波数で、例えば、一部の実施形態では20kHzよりも高い周波数で動作しているアクチュエータを使用することによって、垂直に及び/又は水平にタッチ面116の一部又は全部を移動するために圧電アクチュエータが使用されてもよい。一部の実施形態では、偏心回転質量モータ及び線形共振アクチュエータ等の複数のアクチュエータが、異なるテクスチャ及び他の触覚効果を与えるために単独で又は同時に使用され得る。
更に他の実施形態では、触覚出力装置118は、タッチ面116の表面におけるテクスチャをシミュレートするために又はユーザがタッチ面116上で指を動かすときに感じる摩擦係数を変化させるために、例えば、静電表面アクチュエータの使用により、静電引力を使用してもよい。例えば、一実施形態では、触覚出力装置118は、触覚効果を生成するために機械的な動きの代わりに電圧及び電流を加える電気振動触覚ディスプレイ又は任意の他の装置を含んでもよい。このような実施形態では、静電アクチュエータは、導電層及び絶縁層を含んでもよい。このような実施形態では、導電層は、任意の半導体又は銅、アルミニウム、金又は銀等の他の導電性材料であってもよい。また、絶縁層は、ガラス、プラスチック、ポリマ、又は任意の他の絶縁性材料であってもよい。更に、プロセッサ102は、導電層に電気信号を加えることによって静電アクチュエータを動作させてもよい。一部の実施形態では、電気信号は、導電層をタッチ面116に近くの又は接触しているオブジェクトと容量結合するAC信号であってもよい。一部の実施形態では、AC信号は、高圧増幅器によって生成されてもよい。他の実施形態では、容量結合は、タッチ面116の表面における摩擦係数又はテクスチャをシミュレートしてもよい。例えば、一実施形態では、タッチ面116の表面は円滑であるが、容量結合はタッチ面116の表面の付近のオブジェクト間に引力を生み出してもよい。一部の実施形態では、オブジェクトと導電層との間の引力レベルの変化は、タッチ面116の表面で動くオブジェクトにおけるシミュレートされるテクスチャを変化させることができる。更に、一部の実施形態では、静電アクチュエータが、タッチ面116の表面においてシミュレートされるテクスチャを変化させるために従来のアクチュエータと共に使用されてもよい。例えば、アクチュエータはタッチ面116の表面のテクスチャの変化をシミュレートするように振動してもよい。一方では同時に、静電アクチュエータがタッチ面116の表面において異なるテクスチャをシミュレートしてもよい。
当業者であれば、摩擦係数を変化させることに加えて、表面上のテクスチャをシミュレートするために他の技術又は方法が使用され得ることを理解するであろう。例えば、一部の実施形態では、テクスチャは、表面再構成可能な触覚基板(限定されないが、例えば、繊維、ナノチューブ、電気活性ポリマ、圧電要素、又は形状記憶合金を含む)又は磁性流体からの接触に基づいてそのテクスチャを変化させるように構成される可撓性表面層を使用してシミュレートされ又は出力されてもよい。別の実施形態では、表面のテクスチャは、例えば、変形機構、空気若しくは流体ポケット、材料の局部変形、共振機構要素、圧電性材料、微小電気機械システム(“MEMS”)要素、熱流体ポケット、MEMSポンプ、可変多孔性膜(variable porosity membranes)、又は層流変調で、1つ以上の表面特徴を上げる又は下げることによって変化させられてもよい。
一部の実施形態では、タッチ面116に近接した又は接触する体又はオブジェクトの部分をシミュレートすることによって触覚効果を生成するために静電アクチュエータが使用されてもよい。例えば、一部の実施形態では、ユーザの指の皮膚の神経終端又は静電アクチュエータに応答することができるスタイラスの構成要素をシミュレートしてもよい。例えば、皮膚の神経終端は、刺激されて、振動又は何らかのより具体的な感覚として静電アクチュエータ(例えば、容量結合)を感知してもよい。例えば、一実施形態では、静電アクチュエータの導電層が、ユーザの指の導電部分と結合するAC電圧信号を受信してもよい。ユーザがタッチ面116に触れてタッチ面上で自身の指を動かすと、ユーザは、チクチク、ザラザラ、ガタガタ、でこぼこ、粘々、又は何らかの他のテクスチャを感知してもよい。
メモリ104に関しては、例示のプログラム構成要素124、126及び128は、触覚効果によってシミュレートされる物理相互作用を与えるために一部の実施形態では、装置がどのように構成され得るかを示すように描かれている。この例示では、検出モジュール124が、タッチの位置を決定するためにセンサ108を介してタッチ面116を監視するようにプロセッサ102を構成する。例えば、モジュール124は、タッチの存在又は不存在を追跡して、タッチが存在する場合、場所、経路、速度、加速度、圧力及び/又は経時的なタッチの他の特性を追跡するためにセンサをサンプリングしてもよい。
触覚効果決定モジュール126は、生成すべき触覚効果を選択するためのタッチ特性に関するデータを分析するプログラム構成要素を表す。特に、モジュール126は、タッチの場所に基づいて、タッチ面の表面に出力すべき触覚効果を決定するコード、及び効果をシミュレートするために提供すべき1つ以上の触覚効果を選択するコードを含む。例えば、タッチ面116の一部又は全部の領域が、グラフィカルユーザインターフェースにマッピングされてもよい。特徴の対応表現がインターフェースに見られるときに特徴が感じられるように、接触面116の表面においてテクスチャをシミュレートすることによって特徴の存在をシミュレートするために、タッチの場所に基づいて異なる触覚効果が選択されてもよい。しかしながら、触覚効果は、対応要素がインターフェースに表示されなくても、タッチ面116を介して与えられてもよい(例えば、インターフェースの境界が横断される場合に、境界が表示されていなくても、触覚効果が与えられてもよい)。
触覚効果生成モジュール128は、少なくともタッチが起こっているときに選択された触覚効果を生成するためにプロセッサ102に触覚信号を生成させてアクチュエータ118へと送信させるプログラミングを表す。例えば、生成モジュール128は、記憶された波形又はコマンドにアクセスして、触覚出力装置118に送信してもよい。別の例示として、触覚効果生成モジュール128は、所望の種類のテクスチャを受信して、適切な信号を生成して触覚出力装置118に送信するために、信号処理アルゴリズムを利用してもよい。更なる例示として、テクスチャに関する目標座標と共に所望のテクスチャが示されて、表面(及び/又は他の装置要素)の適切な移動を生成してテクスチャを与えるために1つ以上のアクチュエータに適切な波形が送信されてもよい。一部の実施形態は、一致協力して特徴をシミュレートするために複数の触覚出力装置を利用してもよい。例えば、インターフェース上でボタン間の境界を横断することをシミュレートするためにテクスチャの変化が使用されてもよい。一方で、触覚振動効果が、ボタンを押したときの応答をシミュレートする。
コンピュータシステムの特定の実施形態によっては、タッチ面がディスプレイを覆ってもよく、又は覆わなくてもよい(或いは、対応しても、対応してなくてもよい)。図1Bでは、コンピュータシステム100Bの外観図が示される。コンピュータ装置101は、装置のタッチ面及びディスプレイを組み合わせたタッチ可能ディスプレイ116を含む。タッチ面は、ディスプレイ外部又は実際のディスプレイ構成要素上の1つ以上の材料層に対応してもよい。
図1Cは、タッチ面がディスプレイをオーバレイしないタッチ可能コンピュータシステムの別の例を示す。この例示では、コンピュータ装置101は、装置101とインターフェース接続されたコンピュータシステム120に含まれるディスプレイ122に設けられるグラフィカルユーザインターフェースにマッピングされ得るタッチ面116を含む。例えば、コンピュータ装置101は、マウス、トラックパッド、又は他の装置を含んでもよいが、コンピュータシステム120は、デスクトップ若しくはラップトップコンピュータ、セットトップボックス(例えば、DVDプレーヤ、DVR、ケーブルテレビボックス)、又は別のコンピュータシステムを含んでもよい。別の例示として、タッチ面116及びディスプレイ122は、ディスプレイ122備えるラップトップコンピュータにおけるタッチ可能トラックパッド等の同じ装置に配置されてもよい。ディスプレイと統合されるか否かに関わらず、本明細書の例示における平面的なタッチ面の描写は、限定することを意図していない。他の実施形態は、表面ベースの触覚効果を与えるように更に構成される湾曲した又は不規則なタッチ可能面を含む。
図2A−2Bは、触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法の例示的な実施形態を示す。図2Aは、タッチ可能ディスプレイ202を備えるコンピュータ装置201を含むシステム200の外観図を示す図面である。図2Bは、装置201の断面図を示す。装置201は図1Aの装置101と同様に構成され得るが、プロセッサ、メモリ及びセンサ等は明確のためこの図面には示されていない。
図2Bに見られるように、装置201は、複数の触覚出力装置218及び追加の触覚出力装置222を備える。触覚出力装置218−1は、ディスプレイ202に垂直の力を与えるように構成されるアクチュエータを含んでもよいが、一方で218−2は横方向にディスプレイ202を動かしてもよい。この例では、触覚出力装置218、222はディスプレイに直接結合されているが、触覚出力装置218、222は別のタッチ面、例えば、ディスプレイ202の上にある材料の層に結合され得ることが理解されるべきである。更に、1つ以上の触覚出力装置218又は222が上記の静電アクチュエータを含んでもよいことが理解されるべきである。更に、触覚出力装置222は、装置201の構成要素を保持する筐体に結合されてもよい。図2A−2Bの例では、ディスプレイ202の領域はタッチ領域に対応するが、原理は、ディスプレイとは完全に分離したタッチ面に適用され得る。
一実施形態では、触覚出力装置218の各々は圧電アクチュエータを含むが、追加の触覚出力装置222は、偏心回転質量モータ、線形共振アクチュエータ又は別の圧電アクチュエータを含む。触覚出力装置222は、プロセッサからの触覚信号に応答して振動触覚効果を提供するように構成され得る。振動触覚効果は、表面ベースの触覚効果と併せて及び/又は他の目的で利用され得る。例えば、ディスプレイ202の表面におけるテクスチャをシミュレートするために各アクチュエータが併せて使用されてもよい。
一部の実施形態では、触覚出力装置218−1及び218−2のいずれか又は両方は、圧電アクチュエータ以外のアクチュエータを含み得る。例えば、触覚出力装置218−1及び218−2は、圧電アクチュエータ、電磁アクチュエータ、電気活性ポリマ、形状記憶合金、可撓性複合圧電アクチュエータ(例えば、可撓性材料を含むアクチュエータ)、静電、及び/又は磁歪アクチュエータを含んでもよい。更に、触覚出力装置222が示されているが、複数の他の触覚出力装置が装置201の筐体に結合可能であり、及び/又は触覚出力装置222は別の場所に結合されてもよい。装置201は、異なる場所でもタッチ面に結合される複数の触覚出力装置218−1/218−2を特徴としてもよい。
次に図3Aを参照すると、システム300は、触覚効果によってシミュレートされる物理相互作用の例示である。図3Aは、タッチ可能ディスプレイ302を備えるコンピュータ装置301を含むシステム300の外観図を示す図面である。一実施形態では、コンピュータ装置301は、多機能コントローラを備えてもよい。例えば、キオスク、ATM、自動車、航空機、サーモスタット又は他の種類のコンピュータ装置で使用されるコントローラである。別の実施形態では、コンピュータ装置は、スマートフォン、タブレット、又は他の種類のコンピュータを含んでもよい。例えば、コンピュータ装置301は、ミュージックプレーヤを制御するように構成されてもよい。このような実施形態では、コンピュータ装置301は、ディスプレイ302上に1つ以上の仮想コントローラを備えてもよい。こうしたコントローラはミュージックプレーヤの機能に関係付けられてもよい。従って、ユーザはミュージックプレーヤの機能を制御するコントローラと相互作用してもよい。例えば、図3Aに示された実施形態では、コンピュータ装置301は、コントローラ304及びコントローラ306として図3Aに示された1つ以上のウィジェット又は仮想インターフェースを備える。このような実施形態では、コントローラ304は、ミュージックプレーヤの設定を制御するように構成されるノブの画像、例えば、ラジオ局を同調し、新しい歌を選択し、又は音量を調節するためのノブを含んでもよい。同様に、コントローラ306は、ミュージックプレーヤの別の特徴を調節するように構成されるスライダの画像を含んでもよい。他の実施形態では、コンピュータ装置301は、タッチ可能ディスプレイ上に複数の他の仮想コントローラを含んでもよい。仮想コントローラの各々は、システムの他の側面、例えば、ミュージックプレーヤ又は他のアプリケーションを制御するように構成されてもよい。
上記の実施形態では、コンピュータ装置301は、ミュージックプレーヤアプリケーションからカーステレオに音楽を出力するために使用され、又はステレオ自体の構成要素であってもよい。このような実施形態では、ユーザは、ミュージックプレーヤアプリケーションにおける設定を調節するために、道路から目を離すことを望まない運転者であってもよい。このような実施形態では、コンピュータ装置301は、タッチ可能ディスプレイ302に焦点を合わせことなくユーザが利用可能な機能を識別できるようにする触覚効果を実装してもよい。例えば、一実施形態では、装置301は、タッチ可能ディスプレイ302の表面におけるテクスチャをシミュレートするために触覚出力装置を使用してもよい。このような実施形態では、触覚出力装置は、砂利、砂土、研磨紙、フェルト、皮革、金属、氷、水、草又は別のオブジェクトのテクスチャをシミュレートするように構成される触覚効果を出力してもよい。このテクスチャに基づいて、ユーザは、コンピュータ装置が現在どの種類のシステム又は装置を制御しているかを決定することが可能であってもよい。例えば、一実施形態では、ユーザは、あるテクスチャ、例えば、砂利のテクスチャがミュージックプレーヤコントロールに関係付けられることが分かってもよい。このような実施形態では、ユーザがタッチ可能ディスプレイの表面で砂利のテクスチャを感じると、ユーザは、コントロールを見なくてもコンピュータ装置301がミュージックプレーヤの音量を現在制御していることが分かる。更なる実施形態では、ユーザは、コンピュータ装置301が制御し得る様々なモードにテクスチャを割り当てることが可能であってもよい。従って、例えば、ユーザは、コンピュータ装置301が制御し得る様々な機能に関係付けられる特定のテクスチャを選択することが可能であってもよい。
更なる実施形態では、コンピュータ装置301は、ユーザがコントローラ304及び306の各々をタッチし又は動かすと別の触覚効果を更に出力してもよい。例えば、一実施形態では、コントローラ304はノブ304を含んでもよい。このような実施形態では、ユーザがノブ304と相互作用すると、ユーザは、ノブ304にタッチしていることをユーザに知らせるように構成される所定の触覚効果を感じてもよい。例えば、一実施形態では、ノブ304は、タッチ可能ディスプレイ302上のバックグラウンドのテクスチャとは異なるテクスチャを有してもよい。従って、ユーザは、タッチ可能ディスプレイ上で指を走らせて、テクスチャの変化によってノブ304にタッチしていることが分かってもよい。更に別の実施形態では、コンピュータ装置301は、ユーザがノブ304を調節すると異なるテクスチャを出力してもよい。例えば、一実施形態では、ノブ304は、オーディオ出力システムの音量を制御してもよい。このような実施形態では、コンピュータ装置301は、ユーザが音量を調節するときにタッチ可能ディスプレイの表面でシミュレートされるテクスチャを調節してもよい。例えば、例えば、ユーザが音量を大きくすると、コンピュータ装置301は、タッチ可能ディスプレイ302の表面においてより粗くなるテクスチャをシミュレートするように構成される触覚効果を出力してもよい。一部の実施形態では、このような触覚効果は、コンピュータ装置301がユーザ入力を受信したことの確認として機能してもよい。
同様に、一部の実施形態では、上記の種類の触覚効果は、トグルスイッチをシミュレートするために使用されてもよい。例えば、一実施形態では、コントローラ306はスライダではなくトグルスイッチを含んでもよい。このような実施形態では、トグルスイッチは、指がタッチ可能ディスプレイ302に対してスライドすると2つの状態の間を切り替えてもよい。一部の実施形態では、状態遷移に関係付けられる触覚効果は、例えば、状態遷移の間に静電フィードバックのパルスを出力することによって出力されてもよい。別の実施形態では、スイッチの漸進的な揺動は、状態が変化すると急激に低下する強度増加のテクスチャをシミュレートするように構成される触覚効果を出力することによってシミュレートされてもよい。
一部の実施形態では、トグルスイッチは、軌道に対して水平にスライドするボタンとしてタッチ可能ディスプレイ302に示されてもよい。一部の実施形態では、このようなボタンは、水平にドラッグされて、代替位置に移動するように構成されてもよい。一部の実施形態では、ボタンは、開放されると最も近い静止位置に移動又は「嵌る(snap)」ように構成されてもよい。一部の実施形態では、ボタンは、タッチ可能ディスプレイの所定領域と相互作用することによって、例えば、ボタンに直接関係付けられる領域にタッチすることによって、又はボタンの周囲のより広い領域内にタッチすることによって捕捉されてもよい。このような実施形態では、ボタンは、最大移動量に到達するまで指の水平移動に対応する量だけ移動してもよい。スライド式トグルは同様に垂直方向にも実装され得る。
一部の実施形態では、ボタンがユーザ相互作用によってドラッグされると、トグルは触覚フィードバックをもたらす。一部の実施形態では、トグルがスライドしているとき、プロセッサが触覚出力装置に信号を出力してもよい。この信号は、アクティブのとき強度100%の50Hz方形波及び非アクティブのとき強度50%の200Hz正弦波を含む。一部の実施形態では、こうした信号の変化は、テクスチャの変化としてユーザによって知覚されてもよい。更に、一部の実施形態では、こうした信号は、より高いまたは低い周波数及び別の波形、例えば、鋸波、不規則波、ホワイトノイズ波又はピンクノイズ波を含んでもよい。一部の実施形態では、信号は、ウィジェットが左又は右にトグルされると操作の途中で変化してもよい。一部の実施形態では、この信号の変化は、ウィジェットがある状態(例えば、オン)から別の状態(例えば、オフ)に移行するとき、遷移効果に関係付けられてもよい。一部の実施形態では、信号は、ウィジェットが最大移動量に到達すると無効にされる。一部の実施形態では、ウィジェットの最大移動量の地点で、コンピュータ装置は、衝撃に関係付けられる効果を出力してもよい。
一部の実施形態では、触覚効果は、様々なやり方で実装され得る。例えば、一実施形態では、コンピュータ装置301は、ウィジェットが移動範囲の中間に到達すると、短いパルスでESFを出力してもよい。一部の実施形態では、これは、ウィジェットが代替状態にトグルされたことの指示として機能してもよい。また、一部の実施形態では、コンピュータ装置301は、トグルの地点で短く中断し得る均一で一時的なテクスチャを出力するように構成されてもよい。
更に、一部の実施形態では、仮想トグルスイッチの外観が変化してもよい。例えば、一部の実施形態では、仮想トグルスイッチは、車のダッシュボード及び他のインターフェースで使用される物理スイッチのものと同様の外観を含んでもよい。一部の実施形態では、コンピュータ装置301は、スイッチの物理モデル及び外観に適合するように調整される触覚効果を出力するように構成されてもよい。例えば、一実施形態では、スイッチの双安定の性質は、スイッチの場所で指がタッチ可能ディスプレイ302を押すことよりも遅く動くスイッチの移動部分を表示することによって補強され得る。このような実施形態では、スイッチは、それからトグルポイントに到達すると視覚的に急激に追い付くことができる。更に、このような実施形態では、触覚効果の強度は、この移動部分に対する力の緩やかな増大に一致するように構成されてもよい。
一部の実施形態では、2つの状態間のトグルを示すために別の触覚レンダリングが使用されてもよい。このような実施形態では、周期的駆動信号の振幅又は周波数が、スライドジェスチャの位置又は現在のスイッチ状態の関数として変調されてもよい。更に、一部の実施形態では、スイッチ又はスライダが漸進的にアクティブ化されると、周期的駆動信号の選択パラメータ(例えば、周波数、振幅、パルス幅又はパルス形状)が徐々に増加されてもよい。一実施形態では、選択パラメータは、スイッチ又はスライダがトグルの閾値に到達すると、最大に達してもよい。一部の実施形態では、閾値を越えてトグルが行われると、パラメータは急激に低い値に低下してもよい。別の実施形態では、スイッチ又はスライダのアクティブ化が増加し続けると、パラメータは低い値に維持されてもよい。一部の実施形態では、アクティブ化が針路を反転する場合、スイッチ又はスライダが逆方向で閾値に到達すると同時に最大値に到達し得るように、パラメータは傾斜して直線的に増加してもよい。一部の実施形態では、その後、閾値を越えると、パラメータは再び最小値に低下してもよい。更に、このような実施形態では、ジェスチャが終了するまで、例えば、ユーザが指を持ち上げて表面から離れるまで、同じ工程が繰り返されてもよい。
更に、一部の実施形態では、触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法は、バネ荷重ボタンをシミュレートするために使用されてもよい。例えば、一実施形態では、図3Aに示されるコントローラ306は、仮想バネ荷重ボタンを含んでもよい。このような実施形態では、仮想バネ荷重ボタン306は、例えば、ビデオ又はオーディオプレーヤアプリケーションにおける早送りボタンとして使用されてもよい。更に、一部の実施形態では、スライダ式トグルと視覚的に似ているが、バネ荷重ボタン306は、開放されると静止位置に復帰してもよく、例えば、バネに取り付けられるスイッチの動作をシミュレートしてもよい。
一部の実施形態では、仮想バネ荷重ボタン306は、スライド式ボタンを垂直にドラッグすることによって操作される(図3Aには示されていない一部の実施形態では、仮想バネ荷重ボタンは、別の方向に、例えば、水平、斜め、又は非直線方向に、例えば、中央から離れて、動かされてもよい)。一部の実施形態では、バネ荷重ボタン306は、移動限界に到達すると動作を停止する。一部の実施形態では、ボタンを操作すると背景色が現れて、ボタンのアクティブ化が示唆される。別の実施形態では、バネ状機構が代わりに表示されて、アニメーションされ得る。一部の実施形態では、これは、例えば、ボタンが操作されると拡張するアコーディオン状構造、コイルバネ又はテクスチャ加工素材の形態を取り得る。
一部の実施形態では、ユーザがバネ荷重ボタン306と相互作用すると、触覚フィードバックはバネ及びその抵抗の存在をシミュレートする。このような実施形態では、接触をシミュレートするためにユーザがバネ荷重ボタンと最初に相互作用するときに、50msのパルス信号が触覚出力装置に出力されてもよい。更に、このような実施形態では、この後に、触覚出力装置への100 Hz及び200 Hzの重み付け重畳が続いてもよい。一部の実施形態では、これは、ボタンが操作されるときに低周波数のテクスチャの振幅の減少及び高周波数のテクスチャの振幅の増加をシミュレートしてもよい。一部の実施形態では、これは、バネの拡張による感覚をシミュレートしてもよい。更に、一部の実施形態では、この感覚は、仮想バネ荷重ボタン306を動かすときにユーザが感じる抵抗の増加として解釈されてもよい。一部の実施形態では、この抵抗は、一方に仮想バネ荷重ボタン306を動かしている間にのみ、例えば、図3Aに示されている実施形態においてボタンを上向きに(又は図3Aに示されていない実施形態において、左又は右に)動かしている間にのみもたらされる。このような実施形態では、ユーザは、反対方向に仮想バネ荷重ボタン306を動かしているときに、例えば、図3Aに示されている実施形態においてボタンを下向きに(又は図3Aに示されていない実施形態において、左若しくは右、又は他の方向に)動かしているときに、効果を感じなくてもよい。更に、一部の実施形態では、この触覚フィードバックの他の変形が使用されてもよい。例えば、一実施形態では、ユーザが仮想バネ荷重ボタン306と相互作用すると、ユーザは強度増加の単一の時間的なテクスチャを感じてもよい。
他の実施形態では、上記の種類の効果は、他のボタン又はウィジェットに適用され得る。例えば、一部の実施形態では、コントローラ304はジョグダイヤル304を含んでもよい。このような実施形態では、ジョグダイヤル304は、バネ荷重ボタンに見られる抵抗と共にレギュラーダイヤル(例えば、戻り止め(detent))に見られる効果の組み合わせを含み得る。同様に、上記の種類の効果は、例えば、テクスチャに関して押しボタンに、及び発見に関して端効果に適用され得る。更に他の実施形態では、上記の種類の効果は、ヘッダタブに適用され得る。例えば、動作のモード間を変更するためのタブである(ヘッダタブは図4Bに関して以下に更に詳細に検討される)。
別の実施形態では、戻り止め及び止め具(stop)と共に物理的なスライダの抵抗を再現するために、静電フィードバック又は高周波振動等の触覚フィードバックが使用されてもよい。同様に、一実施形態では、センタリング力の存在をシミュレートするために触覚フィードバックを使用することによってジョイスティックがシミュレートされてもよい。一部の実施形態では、この力は、増加する強度で振動し得る触覚信号を出力することによってシミュレートされてもよい。
次に図3Bを参照すると、図3Bは、触覚効果によってシミュレートされる物理相互作用のための例示的なシステムを示す。図3Bに示されるように、タッチ可能ディスプレイ322を備えるコンピュータ装置321を含むシステム320の外観図が例示される。図3Bに示される実施形態では、コンピュータ装置321は、図3Aに関して記載されたコンピュータ装置301の実施形態を含んでもよい。図3Bに示されるように、システム320は、仮想直線スライダ325を含む。仮想直線スライダ325は、直線運動によって連続的なパラメータの調節を可能にしてもよい。一部の実施形態では、スライダは、1つ以上の装置を制御するように構成されてもよい。例えば、一部の実施形態では、仮想直線スライダ325は、車の換気システムからの空気流、オーディオシステム(例えば、音量、トラック選択、トラック内の場所、又はオーディオ出力に関係付けられる機能等)、又はビデオシステム(例えば、ビデオ選択、ビデオ内の場所、再生速度等)を制御するように構成されてもよい。
一部の実施形態では、角運動に応答する代わりに、直線スライダ325は、直線運動に応答する。従って、このような実施形態では、移動した度数の代わりに移動距離に基づいて動作する。一部の実施形態では、直線スライダ325は、タッチ可能ディスプレイの既定領域と相互作用することによって操作されてもよい。一部の実施形態では、この領域は、直線スライダ325を僅かに越えて延びる方形であってもよい。ユーザは、直線スライダ(例えば、ホイール)に関係付けられるオブジェクトを左又は右にドラッグすることによって直線スライダと相互作用してもよい。一部の実施形態では、ホイールは、ユーザがオブジェクトと相互作用しなくなった後でも水平移動に基づいて選択的に動き続けることができる。一部の実施形態では、この動作は、仮想直線スライダ325の運動量をシミュレートしてもよい。
一部の実施形態では、図3Bに示されるように、オブジェクト(図3Bに示される実施形態におけるタッチ可能ディスプレイに表示されたホイール)を回転させることによって、表示灯の組がオンにされる。例えば、図3Bに示される実施形態では、直線スライダ325が3つの位置326、328及び330で示される。図3Bに示される実施形態では、こうした位置の各々が表示灯の異なる構成を含む。一部の実施形態では、こうした表示灯は、どのような種類の装置が仮想直線スライダ325に関係付けられているかに応じて、直線スライダの動作に関係付けられる測定値、例えば、空気流のレベル、オーディオ音量又は映画再生中の場所に関係付けられてもよい。
一部の実施形態では、図3Bに示される種類の直線スライダに関係付けられるホイールは、複数の目盛りを更に含んでもよい。一部の実施形態では、ユーザがホイールと相互作用すると、ユーザは、ホイールの動作又はこうした目盛りとの相互作用をシミュレートするように構成される触覚効果を感じてもよい。例えば、一実施形態では、仮想直線スライダ325は、図3Aに関して記載されたコントローラ304及び306のものと同様の触覚フィードバックをもたらしてもよい。他の実施形態では、ユーザが仮想直線スライダ325と相互作用すると、触覚出力装置は、戻り止めをシミュレートするように構成される効果を出力してもよい。このような実施形態では、こうした戻り止めは、直線移動に応じる45ピクセルのパルスに関係付けられてもよい。更に、一部の実施形態では、戻り止めは、仮想直線スライダ325が動かされると、密度及び場所が視覚的戻り止めに適合するように設計され得る。
図3Cを参照すると、図3Cは、タッチ可能ディスプレイ352を備えるコンピュータ装置351を含むシステム350を示す。図3Cに示される実施形態では、コンピュータ装置301は、図3A及び3Bに関して記載されたコンピュータ装置301の一実施形態を含んでもよい。
一部の実施形態では、「連続的ウィジェット」に関係付けられる触覚効果をシミュレートするために、本明細書に記載された種類の触覚効果が使用されてもよい。連続的ウィジェットは、例えば、一部の実施形態では、図3A及び3Bに関して記載された仮想インターフェースと同様であり得るダイヤルであってもよい。
図3Bに示されたシステム350は、仮想ダイヤル354を含む。一部の実施形態では、仮想ダイヤル354に関係付けられるパラメータを制御するために、ユーザは、タッチ可能ディスプレイ352の表面で円形のジェスチャを使用してもよい。一部の実施形態では、このパラメータは、例えば、コンピュータ装置によって制御されるサーモスタット(例えば、車の温度調節器のサーモスタット)における温度パラメータ、音量パラメータ、輝度パラメータ、速度パラメータ(例えば、オーディオ又はビデオファイルの再生速度)、又はダイヤルによって制御され得る何らかの他のパラメータを含んでもよい。
一実施形態では、ユーザが仮想ダイヤル354と相互作用してもよい。このような実施形態では、ユーザの相互作用に基づいて、仮想ダイヤル354は、ユーザの指が仮想ダイヤル354の中心周りに円形ジェスチャを行うと回転してもよい。一部の実施形態では、仮想ダイヤル354の角変位、例えば、仮想ダイヤル354の中心周りθのタッチ入力の回転が、仮想ダイヤル354のθの等しい回転をもたらす。別の実施形態では、例えば、ユーザがタッチ可能ディスプレイ352から注意及び目を逸らす場合に起こるかもしれないので、仮想ダイヤル354の回転は、ジェスチャが仮想ダイヤル354から離れていくことができるように動的中心周りにユーザの指の回転を追跡してもよい。一部の実施形態では、これは、例えば、現在のジェスチャの曲率の推定に基づいて円形ジェスチャの中心を連続的に推定することを含んでもよい。同様に、曲率及び反転の方向に基づいて回転方向が推定されてもよい。
一部の実施形態では、仮想ダイヤル354は、タッチ可能ディスプレイ352の表面から立ち上がるディスクとして視覚的に表されてもよい。一部の実施形態では、仮想ダイヤル354の外縁が目盛りで覆われてもよく、その中心が仮想ダイヤル354の回転に関係付けられる指針を含んでもよい。例えば、一実施形態では、仮想ダイヤル354の中心は、仮想ダイヤル354が回転されると色が変化する赤及び青の円弧を含んでもよい。このような実施形態では、仮想ダイヤル354は、ディスクが一方向に回転されると明るい青から灰色へと徐々に色を変化させて、ダイヤルが回転し続けると徐々に赤になってもよい。このような実施形態では、ダイヤルは温度制御のためのサーモスタットに関係付けられもよく、色の指示は温度設定に関係付けられてもよい。他の実施形態では、この視覚表示は、物理制御又は抽象化に基づいて、ダイヤルの他の表現によって代替され得る。
一部の実施形態では、仮想ダイヤル354は、移動範囲の制限、例えば、回転数の制限(例えば、4回)を含んでもよい。このような実施形態では、移動範囲を超えると、システムは仮想ダイヤル354によって制御されなくなってもよい(例えば、温度、音量等が変化しなくなる)。更に、一部の実施形態では、移動範囲を超えると、仮想ダイヤル354は、指の回転の追跡を停止してもよい。一部の実施形態では、この種類の停止は異なるやり方で視覚的に表されてもよい。例えば、一実施形態では、仮想ダイヤル354は、指が限界を超えて回転し続けるとき、完全に動作を停止し、又は僅かにジグル(jiggle)するようにプログラムされ得る。一実施形態では、後者は、超過した指の回転の関数として振動し得る角度量で仮想ダイヤル354を動かすことによって達成されてもよい。例えば、一実施形態では、「ジグル」の量は、指が回転し続けると再び0°に低下する前に0°から5°に繰り返して増加するように、Δ=θ modulo 5として計算され得る。
一部の実施形態では、仮想ダイヤル354は、運動の範囲の限界に到達すると、明確なフィードバックをもたらしてもよい。一部の実施形態では、この触覚効果は、方形又は正弦波のいずれかの50Hz周期時間信号に関係付けられてもよい。他の実施形態では、他の時間又は空間的なテクスチャが動作範囲の終端で出力されてもよい。例えば、一部の実施形態では、動作範囲の終端は、高密度配列の戻り止め又はより複雑な時間的パターンに関係付けられてもよい。一部の実施形態では、この効果は、ユーザの指が仮想ダイヤル354の視覚的目盛りに触れる感覚をシミュレートするように調整されてもよい。別の実施形態では、この種類の効果は、限界に到達すると仮想ダイヤル354がカチカチと動いている感覚(clicking)をシミュレートするように調整されてもよい。
一部の実施形態では、他の触覚効果が仮想ダイヤル354の動作に関係付けられてもよい。例えば、一実施形態では、触覚効果は、バネが荷重を受けたかのように仮想ダイヤル354が回転に抵抗するように見えるように、非直線的なマッピングに関係付けられてもよい。一部の実施形態では、仮想ダイヤル354は解放されると別個の目盛り箇所に選択的にスナップし得る。一部の実施形態では、角運動からダイヤル変移へのマッピングは、仮想ダイヤル354が視覚的に動作を解放するように見えるように非直線的であってもよい。一部の実施形態では、こうした種類の効果は、ダイヤルの内部機構の物理効果の錯覚を補強してもよい。
一部の実施形態では、ユーザは、仮想ダイヤル354との相互作用の間、触覚効果を感じてもよい。例えば、仮想ダイヤル354がその移動範囲内にある間、コンピュータ装置351は、静電フィードバックの短いパルスの形態で戻り止め効果を出力するように構成されてもよい。一実施形態では、こうしたパルスは、角変位の関数として生成されて、空間ESFパターンをもたらしてもよい。例えば、一実施形態では、仮想ダイヤル354が目盛り上で回転すると、7.2°に及ぶパルスが生成され得る。より正確には、現在及び過去の角変位に基づいて標本間隔ごとに、このような空間マッピングをもたらす波形がもたらされ得る。一部の実施形態では、この種類の信号は、僅かなレンダリング遅延をもたらしてもよい。
更に、一部の実施形態では、コンピュータ装置351は、仮想ダイヤル354が回転されると明確な戻り止めをシミュレートするように構成される触覚効果を生成してもよい。例えば、一実施形態では、コンピュータ装置351は、仮想ダイヤル354の回転ごとに10の戻り止めをシミュレートするように構成される触覚効果を生成してもよい。一部の実施形態では、戻り止めの数は仮想ダイヤル354の視覚的表現と一致するように調整されてもよい。例えば、この数は、明確な物理モデルを確立するように、視覚的目盛り又はその断片の数と等しくてもよい。
他の実施形態では、連続的であり得る仮想ダイヤルの動作範囲内の異なる領域が異なる効果に関係付けられてもよい。例えば、一実施形態では、ESFの方形波パルスが仮想ダイヤル354の動作範囲における一領域に関係付けられてもよい。同様に、このような実施形態では、正弦波パルスが仮想ダイヤル354の動作範囲における別の領域に関係付けられてもよい。一部の実施形態では、方形波パルスは、正弦波パルスよりもユーザにとってより鋭く感じられてもよい。従って、例えば、一実施形態では、仮想ダイヤル354は、温度制御に関係付けられてもよい。このような実施形態では、暖かい温度は方形波パルスに関係付けられてもよく、正弦波パルスは冷たい温度に関係付けられてもよい。他の実施形態では、触覚効果を出力するために他のパルスの種類、例えば、変化する強度、幅、形状等のパルスが使用されてもよい。
他の実施形態では、コンピュータ装置351は、仮想ダイヤル354に関係付けられる異なる種類の触覚効果を出力するように構成されてもよい。例えば、一実施形態では、仮想ダイヤル354が1つの目盛りから回転して次に移動するときに出力されるESFを徐々に増加することによって触覚効果が出力されてもよい。更にこのような実施形態では、目盛りに到達すると出力が突然低下してもよい。このような実施形態は、目盛りごとに突然の変化をシミュレートしてもよい。更に、一部の実施形態では、時間的テクスチャ(周期信号)又は一連のパルス等の触覚効果の振幅も仮想ダイヤル354の位置に基づいて変調され得る。例えば、仮想ダイヤル354が温度機能を制御するように構成される実施形態では、コンピュータ装置351は、温度が中性点から増加又は減少するとパルスの変調又は強度を増加するように構成されてもよい。
次に図4Aを参照すると、50%のスイッチの移動で発生する遷移効果により、ON及びOFF状態間を交代するスライド式トグルスイッチ用の触覚フィードバックの使用の一実施形態が例示される。一部の実施形態では、このアルゴリズムは、水平方向に画像のカルーセルがスクロールされると遷移効果にも適用されて、1つの写真から次の写真への切り替えを示すことができる(図5に関して以下に更に詳細に記載される)。更に、一部の実施形態では、このアルゴリズムは、Eブックリーダにおけるページ交換又はスマートフォンのオペレーティングシステムにおけるホームページの交換に適用され得る。
図4Aに示されるように、周期的駆動信号の振幅は、トグルスイッチの現在の位置及びトグルスイッチの過去の履歴に基づいて変調される。(a)に示されるように、トグルはOFF状態で開始し、触覚出力は最小振幅に設定される。次に(b)に示されるように、トグルは右に向かってスライドし、触覚出力の振幅は直線的に増加する。次に(c)では、触覚出力の振幅が最大値に到達すると、トグルは閾値xTに到達する。次に(d)では、触覚出力は突然に最小値に低下する。それから(e)では、トグルスイッチが右に向かってスライドし続けると、触覚出力は最小値に維持される。一部の実施形態では、トグルスイッチが最大移動量に到達する前に左に戻るようにスライドされると、到達した最大x値を基準として用いて触覚出力は再び直線的に増加し始める。それから(f)では、トグルが再び右に向かって動かされると、振幅は同じ振幅位置の曲線に従って再び減少する。トグルが閾値xT以下に移動すると、トグルは切り替わってOFF状態に戻り、触覚出力は低下して最小値に戻る。一部の実施形態では、トグルが方向を変更すると、同様の工程が繰り返されてもよい。
次に図4Bを参照すると、図4Bは3組の仮想ヘッダタブ410、420及び430を示す。一部の実施形態では、仮想ヘッダタブ410、420及び430は、スライドジェスチャ使用を可能にするようにナビゲーションヘッダに取って代わるナビゲーションウィジェットを含んでもよい。更に、一部の実施形態では、図4Bに示された仮想ヘッダタブは、ユーザインターフェースの異なる機能パネルのディスプレイを制御してもよい。図4Bに示される実施形態では、仮想ヘッダタブは、畳まれたように、底部における保持棒と共に表される。一部の実施形態では、この種類の仮想ヘッダタブは、ヘッダ上の任意の場所へのユーザ相互作用によってアクティブ化されてもよい。例えば、一実施形態では、仮想ヘッダタブは、対象とするタブに対して水平にスライドするユーザ相互作用によってアクティブ化され、下にスライドすることによってタブを開いてアクティブ化してもよい。一部の実施形態では、新しく選択された仮想ヘッダタブが開くと、現在アクティブな仮想ヘッダタブが徐々に畳まれてもよい。これは、温湿(CLIMATE)タブが410の位置から420の位置を介して430の位置へと徐々に開き、同時に、メディア(MEDIA)タブは410の位置から420の位置を介して430の位置へと徐々に畳まれるように示される。他の実施形態では、タブは解放されると反対位置にスナップしてもよい。
更に、一部の実施形態では、ユーザが図4Bに示された1つ以上の仮想ヘッダタブと相互作用するとき、コンピュータ装置は触覚効果を出力してもよい。一実施形態では、この触覚効果は時間的テクスチャを含んでもよい。一実施形態では、この効果は、非アクティブタブに対して強度50%の200Hz方形波、及びアクティブタブに対して強度100%で50Hz方形波を含む触覚信号を送信することによって出力されてもよい。一部の実施形態では、この種類の触覚信号は、テクスチャ又は知覚される摩擦係数の変化をシミュレートするように構成される触覚出力装置に出力されてもよい。一部の実施形態では、このシミュレートされるテクスチャは、ユーザの指がタブ間を通り過ぎると中断されることで、遷移効果をシミュレートしてもよい。更に、一部の実施形態では、触覚効果は、直線的にテクスチャの強度を減少させて、100ピクセルの距離で再び増加させることによってもたらされてもよい。一部の実施形態では、タブとの相互作用は、振幅及び周波数の直線的遷移を引き起こして、非アクティブなテクスチャをアクティブなテクスチャへと変えてもよい。更に、一部の実施形態では、触覚出力は、タブが完全に広がると突然に終了して、端部効果を引き起こしてもよい。
一部の実施形態では、図3A−4Bに関して記載されたウィジェットは、アクティブ化することなくスクリーンに対してスライドしている間に発見できるように実装されてもよい。一部の実施形態では、ユーザは、ウィジェットがない場所でスクリーンに触れると探索モードに入ることができてもよい。このような実施形態では、ウィジェットは無反応になってもよいが、コンピュータ装置301はウィジェットの位置を示す触覚効果を生成してもよい。更に、一部の実施形態では、触覚効果は、こうした各ウィジェットの状態に関係付けられてもよい。例えば、一部の実施形態では、ユーザの指がウィジェットの境界領域に入り又は去ると、パルスが発信されてもよい。一実施形態では、この触覚効果は50msの方形波信号を含んでもよい。更に、一部の実施形態では、この信号は、ユーザの指がウィジェットの境界の近くにあるときに出力され得る。このような実施形態では、ウィジェットの境界は、計算効率のために単純化されてもよい(例えば、ウィジェットを境界ボックス又は円に置くこと)。
同様に、一部の実施形態では、コンピュータ装置301は、ユーザの指がウィジェットの内側をスライドしているとき、近くされる摩擦係数を変化するように構成されるテクスチャ又は効果を出力してもよい。一部の実施形態では、この効果は時間的テクスチャを含み、これはユーザの指がウィジェット上をスライドしているとき100Hz正弦波を含む触覚信号に関係付けられてもよい。更に、一部の実施形態では、触覚効果は、ウィジェットの状態、例えば、それがON又はOFFかどうか、感受性又は無感受性かどうか等によって変化してもよい。
次に図5を参照すると、プログラム可能な表面のテクスチャを有するモード又は状態認識の例示的な実施形態を示す。図5は、タッチ可能ディスプレイ502を備えるコンピュータ装置501を含むシステム500の外観図を示す図面である。一部の実施形態では、コンピュータ装置501は、ハンドヘルド装置、例えば、スマートフォン、タブレット、ポケットシステム手帳、GPS受信機、又は当技術分野で周知の他のハンドヘルド装置を含んでもよい。
図5は、3つの異なるジェスチャによる相互作用504、506及び508を更に描く。ジェスチャによる相互作用504、506及び508の各々は、タッチ可能ディスプレイ502とのユーザ相互作用を含む。例えば、左/右スクロール504は、ユーザがタッチ可能ディスプレイ502の表面上で指を左又は右にスワイプする相互作用を含む。当技術分野で周知のように、このようなジェスチャは、タッチ可能ディスプレイ502に示されたスクリーンを左又は右にスクロールさせる。同様に、上/下スクロール506は、ユーザがタッチ可能ディスプレイ502の表面上で指を上又は下にスワイプする相互作用を含む。このようなジェスチャは、タッチ可能ディスプレイ502に示されたスクリーンを上又は下にスクロールするようにコンピュータ装置501に変化させてもよい。最後に、4本の指によるピンチ操作508が4本又は5本の指を用いる場合に行われてもよく、ユーザは、タッチ可能ディスプレイ502の表面でピンチ操作のジェスチャを行う。このようなジェスチャは、タッチ可能ディスプレイ502においてコンピュータ装置に「ホーム」スクリーンを表示させてもよい。他の実施形態では、タッチ可能表面502によって検出される他のジェスチャがコンピュータ装置501を制御してもよい。例えば、何らかの既知のジェスチャが、ズームのためのジェスチャであり、プログラムを変更するためのジェスチャであり、又は前に戻るためのジェスチャであってもよい。
更に、図5に示された実施形態では、コンピュータ装置501は、ジェスチャの受信を確認するために触覚効果を出力してもよい。例えば、ユーザが左/右スクロールのジェスチャを行うと、コンピュータ装置501は、このジェスチャの受信を確認するための触覚効果を出力してもよい。一部の実施形態では、この触覚効果は、タッチ可能ディスプレイ502の表面におけるテクスチャをシミュレートするように構成される触覚効果を含んでもよい。他の実施形態では、この触覚効果は、ユーザがタッチ可能ディスプレイ502の表面上で指を動かすときに感じる摩擦係数を変化させるように構成される触覚効果を含んでもよい。例えば、一実施形態では、触覚効果は、200Hz正弦波を含む触覚信号に関係付けられてもよい。更に、このような実施形態では、触覚信号の振幅は、画面が新しいページに変わるポイントで又はそのポイントの近くで変化してもよい。一部の実施形態では、ユーザは、例えば、写真集をスクロールしてもよい。このような実施形態では、ユーザが各写真をスクロールすると、コンピュータ装置501は、ユーザが各写真を左又は右にスワイプするときに増加強度のシミュレートされるテクスチャを出力してもよい。更に、コンピュータ装置501は、タッチ可能ディスプレイ502上で以前の写真の場所に次の写真が交換されると鋭敏な戻り止めを出力してもよい。
同様に、一部の実施形態では、上/下スクロール506又は4本指のピンチ操作508等のジェスチャの受信を確認するための追加の触覚効果が出力されてもよい。一部の実施形態では、こうした触覚効果は、異なる触覚効果を含んでもよい。このような実施形態では、触覚効果は、装置がジェスチャを受信したことをユーザが知ることを可能にしてもよい。従って、ユーザは別のジェスチャに素早く進むことができるので、コンピュータ装置501をより素早く制御することができてもよい。例えば、ユーザが新しいページへとスクロールするために1つのジェスチャを行うと、触覚的確認によって、ユーザは相互作用が受信されたことを素早く判断して、新しいジェスチャ、例えば、プログラムを開くことに関係付けられるジェスチャに移ることが可能になってもよい。更に、触覚効果はプログラムが開いていることの確認を提供してもよく、それによりユーザはそのプログラムの操作に関係付けられるジェスチャに素早く移ることができる。
一部の実施形態では、図5に関して記載されたジェスチャは、ディスプレイ上のカルーセルをシミュレートするために使用されてもよい。例えば、一実施形態では、アルバムディスプレイは、一連の遷移によりアルバムカバーの選択を可能にする。一部の実施形態では、この原理は、より一般的に、画像等のコンテンツのカルーセルに適用され得る。
一部の実施形態では、アルバムディスプレイは、水平方向のスワイプジェスチャにより一組のアルバムカバーを視覚的にスクロールする相互作用可能ウィジェットである。一部の実施形態では、ユーザは、その表面に指を置いてアルバムカバーを水平にドラッグすることによってオブジェクトと相互作用し又はオブジェクトを「キャプチャ」する。一部の実施形態では、アルバムカバーのサイズ及びシェーディングはスライドして焦点に入ると修正されて、解放されるとアルバムが最寄の位置にスナップする。
一部の実施形態では、コンピュータ装置501は、アルバムが交換されると緩やかな遷移効果を生成すると共に、限界に到達すると格子のテクスチャ(grating texture)を生成してもよい。一部の実施形態では、遷移効果は、強度が突然に低下するポイントにおいて、遷移が発生するまでテクスチャをシミュレートするように構成される触覚出力装置に出力される200Hz方形波の強度を直線的に増加させることによってもたらされてもよい。このような実施形態では、進路を反転すると又は次のアルバムに焦点をスライドすると、強度が再び増加してもよい。一部の実施形態では、50ピクセルのピッチで速度ベースの格子のテクスチャを含む効果を出力することによって、限界効果がもたらされてもよい。例えば、一部の実施形態では、この効果は、タッチスクリーンの表面においてオブジェクト(例えば、指又はスタイラス)の速度に基づいて触覚出力装置に出力される方形波の周波数を周期的に増加又は減少させることによってもたらされてもよい。一部の実施形態では、速度の測定は、ユーザの指が所与の時間長さで通り過ぎるピクセル数に部分的に基づいてもよい。
一部の実施形態では、この種類の相互作用は、他の種類の触覚効果で補強されてもよい。例えば、一実施形態では、1つのアルバムカバーから次のアルバムカバーに切り替わるときに、例えば、単一のパルスが感じされ得る。更に、一部の実施形態では、触覚フィードバックは、アルバムを移動可能にする機構の物理モデルに一致するように調整されてもよい。例えば、一実施形態では、アルバムのカルーセルは、カルーセルがギアによって作動される感覚をシミュレートするように構成される触覚効果を含んでもよい。一部の実施形態では、これは、カルーセル内のコンテンツがスクロールすると戻り止めを出力することによってシミュレートされてもよい。
(触覚効果によってシミュレートされる物理相互作用を提供するための例示的な方法)
図6は、触覚効果によってシミュレートされる物理相互作用を提供するための例示的な方法600を示すフローチャートである。一部の実施形態では、図6のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。以下のステップは図1に示されたシステムに関して記載された構成要素を参照して記載される。
方法600は、ステップ602において、センサ108がタッチ面116とのユーザ相互作用を検出すると開始する。センサ108は当技術分野で周知の複数のセンサの1つ以上を含む。例えば、抵抗性及び/又は容量性のセンサが、タッチ面116に組み込まれて、タッチの場所及び圧力等の他の情報を検出するために使用されてもよい。別の例示として、接触位置を決定するためにタッチ面のビューを備える光学センサが使用されてもよい。更に他の実施形態では、センサ108及びタッチ面116は、タッチスクリーンディスプレイを含んでもよい。更に、第1の相互作用を検出すると、センサ108は、その相互作用に関係付けられる信号をプロセッサ102に送信してもよい。
プロセッサ102がユーザ相互作用に関係付けられるセンサ信号を送信すると、方法600は継続する。一部の実施形態では、センサ信号は、ユーザ相互作用の場所を含んでもよい。例えば、タッチ面116の表面上の場所である。更に、一部の実施形態では、この場所は上記の種類の仮想インターフェース又は「ウィジェット」に関係付けられてもよい。同様に、一部の実施形態では、センサ信号は、ユーザ相互作用の速さ又は力に関係付けられるデータを含んでもよい。例えば、センサ信号は、ユーザの指が動いている速さ又はユーザがタッチ面116を力を使って押しているかどうかを示してもよい。
プロセッサ102がユーザ相互作用に関係付けられる特徴を決定すると(606)、方法600は継続する。一部の実施形態では、プロセッサ102は、センサ信号に部分的に基づいてユーザ相互作用の位置を決定してもよい。更に、一部の実施形態では、プロセッサは、例えば、ユーザ相互作用が先の段落に記載された種類のウィジェットを含み得る特徴に関係付けられることを決定してもよい。例えば、プロセッサ102は、ユーザ相互作用がウィジェットの上部に及んでいることを決定してもよい。一部の実施形態では、ウィジェットは、ボタン、スイッチ、ノブ、仮想デスクトップ、又は本明細書に記載の他の種類の仮想インターフェースを含んでもよい。更に、プロセッサ102は、ユーザ相互作用の場所に基づいてユーザがウィジェットと相互作用していることを決定してもよい。例えば、プロセッサ102は、ユーザ相互作用がディスプレイ上のウィジェットの境界内又はウィジェットの境界の所定の近接内であることを決定し、この決定に基づいて、ユーザがウィジェットと相互作用していることを決定してもよい。
プロセッサ102が特徴に関係付けられる装置を制御すると(608)、方法600は継続する。一部の実施形態では、この装置は、コンピュータ装置、移動装置、装置におけるアプリケーション、自動車における機能、バスにおける機能、航空機における機能、又はボタン、スイッチ、ノブ、ダイヤル、スライダ等の従来のインターフェースによって制御され得る何らかの他の機能の1つ以上を含んでもよい。ユーザがウィジェットと相互作用すると、プロセッサ102は、ウィジェットによって制御されるシステムの動作を修正してもよい。例えば、一実施形態では、ユーザがファンに関係付けられるノブを回すと、プロセッサ102は、ファンの速さを修正するように構成される信号を送信してもよい。同様に、別の実施形態では、ユーザがミュージックプレーヤアプリケーションに関係付けられるウィジェットと相互作用すると、プロセッサ102は、ミュージックプレーヤによって出力される音量、又はミュージックプレーヤに関係付けられる何らかの他の機能(例えば、トラック選択、トラック内の場所、又はオーディオ出力設定)を修正してもよい。
プロセッサ102が表示信号を修正すると(610)、方法は継続する。表示信号は、I/O要素112に出力されて、ユーザに表示されてもよい。例えば、一部の実施形態では、I/O構成要素112は、ディスプレイ又はタッチスクリーンディスプレイを含んでもよい。このような実施形態では、ディスプレイはモードに関係付けられる画像を示してもよい。例えば、一実施形態では、ディスプレイは、図3A−5に示されたシステムの1つに関係付けられる画像を含んでもよい。プロセッサ102は、表示信号の1つ以上の特徴を修正してもよい。例えば、一実施形態では、ユーザは、仮想スイッチ又は仮想ノブ等のウィジェットと相互作用してもよい。このような実施形態では、プロセッサ102は、ユーザ相互作用に部分的に基づいて仮想スイッチ又は仮想ノブに関係付けられる場所で表示信号を変更してもよい。それから、表示信号は、修正された仮想スイッチ又は仮想ノブをユーザに表示するI/O要素112に出力されてもよい。
プロセッサ102が生成する表示信号を選択すると(612)、方法は継続する。プロセッサは、触覚効果を選択又は決定するために触覚効果決定モジュール126に含まれるプログラミングを利用してもよい。例えば、プロセッサ102は、メモリ104内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。一部の実施形態では、触覚効果は、複数の利用可能なテクスチャの1つであってもよい。例えば、複数のテクスチャは、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉のテクスチャ、又は任意の他の利用可能なテクスチャ、例えば、爆発又は炎に関係付けられるテクスチャの1つ以上を含んでもよい。一部の実施形態では、テクスチャは、ユーザに表示されるウィジェット等のユーザインターフェースの特徴に関係付けられてもよい。例えば、一実施形態では、特定のテクスチャ、例えば、砂のテクスチャが仮想ダイヤルに関係付けられてもよい。更に、このような実施形態では、例えば、ユーザが仮想ダイヤルの角回転を修正することによって仮想ダイヤルと相互作用すると、プロセッサ102は異なるテクスチャを出力してもよい。例えば、ユーザが仮想ダイヤルを回すと、触覚効果は、砂の粗さの変化をシミュレートするように構成されてもよい。従って、ユーザが仮想ダイヤルを一方に回すと、ユーザは砂利をシミュレートする触覚効果を感じてもよい。また、ユーザが仮想ダイヤルを他方に回すと、ユーザは粉末の感覚をシミュレートする触覚効果を感じてもよい。
ステップ614では、プロセッサ102が触覚効果を出力する触覚出力装置118に触覚効果に関係付けられる触覚信号を送信すると、方法は継続する。一部の実施形態では、プロセッサ102は、触覚出力装置118に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置118は、タッチ面116又はコンピュータ装置101内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置118は、静電界を使用してテクスチャをシミュレートする又はタッチ面116において知覚された摩擦係数を変化させるように構成される1つ以上の静電アクチュエータを含んでもよい。
次に、プロセッサ102は第2の触覚効果を決定する(618)。一部の実施形態では、第2の触覚効果は、ステップ608に関して検討された操作が完了したことの確認を含んでもよい。他の実施形態では、触覚効果は、ステップ608に関して検討された操作が完了しなかったことへの警告を含んでもよい。プロセッサは、第2の触覚効果を決定するために触覚効果決定モジュール126に含まれるプログラミングを利用してもよい。例えば、プロセッサ102は、メモリ104内に記憶されて特定の触覚効果に関係付けられる駆動信号にアクセスしてもよい。別の例示として、信号は、効果に関係付けられる記憶済みアルゴリズム及び入力パラメータにアクセスすることによって生成されてもよい。例えば、アルゴリズムは、振幅及び周波数パラメータに基づいて駆動信号を生成するのに使用されるデータを出力してもよい。別の例として、触覚信号は、アクチュエータによって復号するためにアクチュエータに送信されるデータを含んでもよい。例えば、アクチュエータ自体が、振幅及び周波数等のパラメータを特定するコマンドに応答してもよい。一部の実施形態では、触覚効果は、複数の利用可能なテクスチャの1つであってもよい。例えば、複数のテクスチャは、水、草、氷、金属、砂土、砂利、レンガ、毛皮、皮革、皮膚、繊維、ゴム、葉のテクスチャ、又は任意の他の利用可能なテクスチャの1つ以上を含んでもよい。一部の実施形態では、テクスチャは、ウィジェット又はウィジェット内の特徴に関係付けられてもよい。例えば、一実施形態では、ミュージックプレーヤを制御するように構成される場合にウィジェットに特定のテクスチャ、例えば、砂のテクスチャが関係付けられてもよい。更に、このような実施形態では、異なる種類のミュージックの各々が、ウィジェットに出力され得る別個のテクスチャを含む。例えば、ブルーグラスの歌曲が再生される場合、テクスチャは草に関係付けられるテクスチャを含んでもよい。また、ヘビーメタルが再生される場合、テクスチャは金属のテクスチャを含んでもよい。
プロセッサ102が第2の触覚効果を出力する触覚出力装置118に第2の触覚効果に関係付けられる第2の触覚信号を送信すると(618)、方法600は継続する。一部の実施形態では、プロセッサ102は、触覚出力装置118に触覚効果を生成させるように構成される触覚信号を出力する。一部の実施形態では、触覚出力装置118は、タッチ面116又はコンピュータ装置101内の他の構成要素に結合される圧電アクチュエータ又は電気モータ等の従来のアクチュエータを含んでもよい。他の実施形態では、触覚出力装置118は、静電界を使用してテクスチャをシミュレートするように構成される1つ以上の静電アクチュエータを含んでもよい。
(触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法)
本開示の一部の実施形態では、物理相互作用は、ユーザを楽しませ、動転させ又は落ち着かせる以外の任意の特定の目的なしで装置上で使用されてもよい。例えば、一実施形態では、壁紙、例えば、“Live Wallpaper”がユーザのタッチに反応してもよい。本開示の一部の実施形態では、物理相互作用は、触覚効果、例えば、静電摩擦効果に適合させることで補強され得る。一部の実施形態では、こうした触覚効果は、触覚のみの体験を生成するために他の効果に完全に取って代わることができる。更に、一部の実施形態では、タッチスクリーンアプリケーションにおいて類似の相互作用が使用され得る。例えば、一実施形態では、タッチスクリーンアプリケーションは、ユーザを熱中させ又はユーザの気を逸らせる効果を含んでもよい。
次に図7を参照すると、触覚効果によってシミュレートされる物理相互作用の一実施形態が示される。図7に示される実施形態は、コンピュータ装置701のタッチ可能ディスプレイ702上のタイルの配列704を含む。一部の実施形態では、ユーザがタッチ可能ディスプレイ702の表面で指を移動させると、ユーザは1つ以上のタイルと相互作用してもよい。ユーザがタイル704と相互作用すると、タイル704は、指の動作によって乱されて、画面の中に押され又は傾いてもよい。一実施形態では、コンピュータ装置701は、この相互作用に関係付けられる触覚効果を出力してもよい。例えば、一実施形態では、コンピュータ装置701は、ユーザの指が1つ以上のタイルと相互作用すると、テクスチャをシミュレートする又はタッチ可能ディスプレイの表面において知覚された摩擦係数を変化させるように構成される静電効果を出力してもよい。例えば、このような実施形態では、シミュレートされるテクスチャはタイルが押し込まれると低下してもよく、又はユーザの指が各タイルを擦ると別の短い効果が出力されてもよい。別の実施形態では、タイルが傾くと動的効果が出力されて、タイルの不安定性をユーザに触覚的に伝達してもよい。
次に図8を参照すると、触覚効果によってシミュレートされる物理相互作用の一実施形態が示される。本開示の一部の実施形態では、触覚効果によってシミュレートされる物理相互作用は、擬似三次元効果及び物理相互作用によって一般のデスクトップメタファを拡張するために使用されてもよい。図8に示される実施形態は、コンピュータ装置801のタッチ可能ディスプレイ802上の仮想デスクトップ804の画像を含む。一部の実施形態では、ユーザがアイコン806、文書808、ペン810又はボール812等の仮想デスクトップ804の様々な特徴と相互作用すると、ユーザは、タッチ可能ディスプレイ802の表面で対応する触覚効果を感じてもよい。
例えば、本開示の一実施形態では、仮想デスクトップ804は、1つ以上の文書(例えば、Eメール、テキストファイル、スプレッドシート、プレゼンテーション等)に関係付けられ得る文書808を含んでもよい。このような実施形態では、文書808は、タッチ可能ディスプレイ802上で指を文書の山に対して水平にスワイプすることによって倒され得る山の中に配置されてもよい。一部の実施形態では、この相互作用は、物理効果に一致する静電フィードバック等の触覚フィードバックによって補強され得る。例えば、このような実施形態では、指が文書808と衝突すると静電出力の短い増加により衝撃が感じられ得る。同様に、一部の実施形態では、それから文書808内のアイテムが互いにスライドして倒れる感覚をシミュレートするために擦れるテクスチャ及び戻り止めが出力され得る。一部の実施形態では、振動ベースのフィードバックによって類似の又は追加の効果が生成され得る。
本開示の別の実施形態では、ユーザがフリックジェスチャを行うことによってタッチ可能ディスプレイ802の画面上で文書808を投げてもよい。一部の実施形態では、文書との衝突は、静電出力の増加によってシミュレートされてもよい。一部の実施形態では、振動ベースのフィードバックによってこうした効果又は他の効果が生成され得る。
本開示の別の実施形態では、5本指のジェスチャで集めることによって文書を山にまとめてもよい。このような実施形態では、コンピュータ装置801は、文書がぶつかって再び山の中へと互いにスライドするときに、文書の衝突及び擦れをシミュレートするための静電触覚効果を出力してもよい。一部の実施形態では、振動ベースのフィードバックによってこうした効果又は他の効果が生成され得る。
本開示の別の実施形態では、ユーザがタッチ可能ディスプレイ802に対して指の長手方向を押し当てて文書808を押すことによって複数の文書808を並進させてもよい。このような実施形態では、静電フィードバックは、異なる文書との衝突をシミュレートするために使用され得る。同様に、静電フィードバックは、文書808が仮想デスクトップ804の表面を擦ることをシミュレートするために使用され得る。更に他の実施形態では、コンピュータ装置802は、文書の数及び種類に基づいて効果の強度を変調してもよい。一部の実施形態では、振動ベースのフィードバックによってこうした効果又は他の効果が生成され得る。
更に、一部の実施形態では、ユーザがアイコン806、ペン810又はボール812と相互作用すると類似の触覚効果が出力され得る。例えば、コンピュータ装置801は、ユーザがペン810を使用して絵を描く又は字を書くと知覚される摩擦係数の変化に関係付けられる触覚効果を出力するように構成されてもよい。同様に、コンピュータ装置801は、ユーザがタッチ可能ディスプレイ802上でボール812を押すときに衝突をシミュレートする触覚効果を出力するように構成されてもよい。一部の実施形態では、ボール812は仮想デスクトップ804内で他のオブジェクトと衝突してもよく、コンピュータ装置801はこうした衝突に関係付けられる触覚効果を出力するように構成されてもよい。
他の実施形態では、触覚効果によってシミュレートされる物理相互作用は、他のアプリケーションに組み込まれ得る。例えば、一部の実施形態では、触覚効果によってシミュレートされる物理相互作用は、電子ブックに、例えば、電子ブックのテキスト又はグラフィックスに組み込まれ得る。
次に図9を参照すると、タッチ可能ディスプレイ902を備えるコンピュータ装置901が含まれる。図9に示されるように、タッチ可能ディスプレイ902は4つのグラフィックスを含む。図9に示される実施形態では、それらは4匹の動物、羊904、狼906、魚908及びアルマジロ910である。更に、一部の実施形態では、ユーザがタッチ可能ディスプレイ902の表面で指を移動させると、コンピュータ装置901は各動物に関係付けられる触覚効果を出力するように構成されてもよい。一部の実施形態では、この触覚効果は、知覚される摩擦係数を変化(例えば、増加又は減少)させるように構成される触覚効果を含んでもよい。他の実施形態では、触覚効果は、タッチ可能ディスプレイ902の表面に出力されるテクスチャを含んでもよい。
一部の実施形態では、4匹の動物の各々が異なる触覚効果を含んでもよい。更に、一部の実施形態では、ユーザがタッチ可能ディスプレイ902で各動物の上を指でスライドするときにのみその動物に関係付けられる触覚効果を知覚してもよい。更に、一部の実施形態では、ユーザは、ゼロでない値を有する動物の一部を指でスライドさせるときにのみ触覚効果を感じてもよい。例えば、一部の実施形態では、グラフィックのアルファチャネルがそのグラフィックの透明性を含んでもよい。このような実施形態では、グラフィックがゼロより大きいアルファ値を有するときにのみ触覚効果が出力されてもよい。更に、一部の実施形態では、触覚効果が出力されるべきかどうか及びグラフィックス内のどの場所で触覚効果が出力されるべきかをビットマップが特定してもよい。同様に、一部の実施形態では、このビットマップは、触覚効果の振幅及び周波数に関係付けられるデータを含んでもよい。一部の実施形態では、このビットマップは、グラフィックに関係付けられる触覚データを含んでもよい。例えば、一部の実施形態では、触覚効果の振幅及び周波数は、1つ以上の色、コントラスト、輝度、明瞭性、解像度、パターン又はグラフィック若しくはグラフィックの要素に関係付けられる何らかの他の要素に関係付けられてもよい。更に、一部の実施形態では、触覚情報がグラフィックに組み込まれてもよい。従って、例えば、触覚効果、例えば、テクスチャは、ユーザがグラフィック内の場所と相互作用するときに出力されてもよい。一部の実施形態では、こうした触覚効果は、グラフィックの外観に関係付けられなくてもよい。例えば、一部の実施形態では、触覚効果に関係付けられる触覚値を含むグリッド又はセルの配列がグラフィックの領域内に含まれ得る。従って、ユーザがこうしたセルに関係付けられる場所と相互作用するときに、コンピュータ装置は触覚値に関係付けられる触覚効果を出力してもよい。一部の実施形態では、これは、どの触覚効果がグラフィックに関係付けられる領域内で特定され得るかについて更なる制御を触覚設計者に与えてもよい。
一部の実施形態では、魚908の本体はテクスチャを含んでもよいが、魚908のヒレはゼロ値を含むことでテクスチャに関係付けられなくてもよい。更に、一部の実施形態では、各動物は、その動物のテクスチャに関係付けられる触覚効果を含んでもよい。例えば、一実施形態では、ユーザが羊904と相互作用するときに、コンピュータ装置901は柔らかな触覚効果を出力してもよい。一部の実施形態では、75Hz正弦波を含む触覚信号によってこの触覚効果が出力されてもよい。更に、このような実施形態では、狼906は異なる、より粗い触覚効果を含んでもよい。一部の実施形態では、振幅50%で300 Hzの方形周期波(square periodic wave)及び振幅50%で速度200 Hzの確率波形(stochastic waveform)を含む触覚信号によってこの触覚効果が出力されてもよい。更に、一部の実施形態では、魚908は、鱗に関係付けられる触覚効果を含んでもよい。従って、ユーザは、魚908の表面で異なる方向に指を動かすと異なる触覚効果を感じてもよい。一部の実施形態では、魚908の表面で右に動くときに25ピクセルのピッチ及び魚908の表面で左に動くときに振幅75%で500Hz方形周期波を有する空間格子(例えば、ユーザの動きに基づいて触覚効果の周波数及び/又は振幅を変化させること)を含む触覚信号によってこの触覚効果が出力されてもよい。更に、このような実施形態では、アルマジロ910は、殻に関係付けられる触覚効果を含んでもよい。一部の実施形態では、50ピクセルのピッチを有する空間格子を含む触覚信号によってこの触覚効果が出力されてもよい。
図9に関して記載された動物及び触覚効果は例示である。当業者であれば、任意の複数のオブジェクト(動物、人間又は他の種類のオブジェクト等)がタッチ可能ディスプレイに示され得ることを理解するであろう。更に、ユーザがこうしたオブジェクトの各々に関係付けられるタッチ可能ディスプレイの領域と相互作用すると任意の複数の触覚効果が出力されてもよいことを理解するであろう。
次に図10A−10Bを参照すると、タッチ可能ディスプレイ1002を備えるコンピュータ装置1001がそれぞれ含まれる。図10Aに示されるように、タッチ可能ディスプレイは霜1004の領域を更に表示する。ユーザが霜1004の領域と相互作用すると、ユーザは霜1004を払うことができてもよい。一部の実施形態では、ユーザがタッチ可能ディスプレイ1002と相互作用すると、霜1004の量は徐々に減少されてもよい。更に、一部の実施形態では、ユーザが相互作用の速度を上げると、霜が除去される速度が上がってもよい。例えば、一実施形態では、ユーザ相互作用(例えば、ユーザの指の各スワイプ)ごとに除去される霜の量が、最後のタッチイベントからの時間によって10%から30%の間で直線的に変化する。例えば、一実施形態では、ユーザが最初に霜1004にタッチすると、半径50ピクセル及び強度10%の円盤状がユーザがタッチする霜1004の領域から取り除かれてもよい。更に、このような実施形態では、ユーザが続いて霜1004にタッチすると、現在及び過去のタッチ位置の間の帯と共にタッチの場所で円盤状が同様に取り除かれてもよい。一部の実施形態では、取り除かれる霜1004の強度は10%から30%の間で変化する。一部の実施形態では、これは、ユーザが素早く動くときに除去された経路に隙間がないことを確実にしてもよい。
図10Bを参照すると、ユーザが十分に霜を払うと、別のオブジェクトが露出されてもよい。図10Bに示される実施形態では、ユーザは霜を払って怪物1006を露出させている。一部の実施形態では、コンピュータ装置1001は、ユーザが霜1004及び怪物1006と相互作用すると1つ以上の触覚効果を出力するように構成されてもよい。一部の実施形態では、この触覚効果は、知覚される摩擦係数を変化(例えば、増加又は減少)させるように構成される触覚効果を含んでもよい。他の実施形態では、触覚効果は、タッチ可能ディスプレイ1002の表面に出力されるテクスチャを含んでもよい。一部の実施形態では、霜に関係付けられる触覚効果は、霜の現在のレベル(例えば、ユーザがどれ程の霜を取り除いたか)で直線的に変化する振幅を有する200Hz方形周期波に関係付けられる触覚効果であってもよい。同様に、霜1004を払った後で、ユーザは、怪物1006に関係付けられる触覚効果を感じてもよい。一部の実施形態では、振幅50%で300 Hzの方形周期波及び振幅50%で速度200Hzの確率波形を含む触覚信号によってこの触覚効果が出力されてもよい。
次に図11A−11Cを参照すると、タッチ可能ディスプレイ1102を備えるコンピュータ装置1101がそれぞれ含まれる。更に、図11Aは2本の縄によって宙吊りにされる車1104を含む。図11Aに示される実施形態では、左側の縄は細いが、右側の縄は太い。このような実施形態では、左側の細い縄はスワイプジェスチャによって切断されてもよい。対照的に、右側の縄は太いので、縄を切断するのに鋸アイコンと共に前後のジェスチャを反復することが必要とされてもよい。一部の実施形態では、鋸アイコンに関係付けられるタッチ可能ディスプレイ1102の領域にタッチすることで鋸アイコンが選択されてもよい。
図11Aに示される実施形態では、ユーザが鋸アイコンで太い縄を切断している過程である。一部の実施形態では、太い縄は、縄を切断するために必要とされる動作のピクセル数に関係付けられる太さを有してもよい。一実施形態では、太い縄は、1700の初期強度を備えてもよい。一部の実施形態では、これは、縄を切断するために、縄に対して鋸で1700ピクセルの動作をユーザが行わなければならないことを意味する。一部の実施形態では、これは鋸で完全に10回往復することであってもよい。更に、このような実施形態では、鋸が動くたびに、鋸が移動する距離が縄の強度から減算される。このような実施形態では、強度がゼロに到達すると、鋸が消えて縄が徐々に消えていく。一部の実施形態では、この徐々に消えていくことには、強度60%への最初の低下に対して0.3秒のフェード時間を含んでもよい。
図11Bに示されるように、ユーザが太い縄を切断すると、太い縄に関係付けられていた車1104の右側が落下する。更に、このような実施形態では、細い縄は、細い縄に関係付けられるタッチ可能ディスプレイ1102の部分をユーザの指で1回スワイプすることによって切断されてもよい。一部の実施形態では、細い縄は、切断されると太い縄と同様に消えていって車を解放する。
図11Cに示されるように、縄が切断されると、車1104は地面に落下する。一部の実施形態では、車1104は、地面に落下すると、所定期間の間はタッチ可能ディスプレイ1102に表示されたままであってもよい。一部の実施形態では、所定期間の経過後、車1104は画面から右又は左に立ち去ってもよい。例えば、一実施形態では、両方の縄が切断されると、車は、例えば、2000ピクセル/秒の速さで立ち去る前に0.5秒だけ画面に留まってもよい。
一部の実施形態では、ユーザが縄に関係付けられるタッチ可能ディスプレイ1102の部分と相互作用すると、コンピュータ装置1101が出力する関連触覚効果を各縄が含む。更に、一部の実施形態では、縄が切断される場合又は車1104が地面に衝突する場合に、別個の触覚効果が出力されてもよい。例えば、一部の実施形態では、ユーザが太い縄と相互作用すると、コンピュータ装置1101は、鋸が使用されるときに30ピクセルのピッチで空間格子に関係付けられる触覚効果を出力してもよい。更に、一部の実施形態では、空間格子の強度は、鋸のスワイプが縄を横切るごとに100%から40%まで直線的に低下してもよい。更に、一部の実施形態では、各縄が切断されると、コンピュータ装置1101は別の効果を出力してもよい。例えば、一実施形態では、切断されると、両方の縄は50msの時間パルスに関係付けられてもよい。
次に図12A−12Bを参照すると、タッチ可能ディスプレイ1202を備えるコンピュータ装置1201がそれぞれ含まれる。図12Aは、タブ1204を含む相互作用可能仮想書籍を含む。図12A−12Bに示されるように、ユーザはタブ1204と相互作用して(図12A−12Bではサーフィン犬として示される)オブジェクトを動かしてもよい。一部の実施形態では、タブ1204は、仮想アイスキャンディー棒に似た外観を含んでもよい。他の実施形態では、タブ124は、異なる外観(例えば、紙、金属、ノブ、又は何らかの他のオブジェクト)を含んでもよい。
一部の実施形態では、コンピュータ装置1201は、ユーザがタブ1204と相互作用するごとに触覚効果を出力するように構成されてもよい。例えば、一実施形態では、コンピュータ装置1201は、ユーザがタブ1204と相互作用するたびに、50msのパルスを含む触覚信号に関係付けられる触覚効果を出力するように構成されてもよい。同様に、一部の実施形態では、オブジェクトが動いているときは常に別の触覚効果が出力される。一部の実施形態では、この触覚効果は、知覚される摩擦係数を変化(例えば、増加又は減少)させることに関係付けられる触覚効果を含んでもよい。更に、一部の実施形態では、触覚効果は、テクスチャに関係付けられる触覚効果を含んでもよい。一実施形態では、触覚効果は、振幅50%で100Hzの正弦波及び振幅50%で100Hzの確率的影響を含む触覚信号に関係付けられる効果を含んでもよい。
次に図13A−13Bを参照すると、タッチ可能ディスプレイ1302を備えるコンピュータ装置1301がそれぞれ含まれる。図13Aは、相互作用可能仮想金庫1304を含む。図13Aに示される実施形態では、ユーザは、仮想金庫1304と相互作用することによって仮想金庫1304を解除することができてもよい。一部の実施形態では、この相互作用は、仮想金庫1304のダイヤルを回すことを含んでもよい。例えば、一実施形態では、ユーザは、標準的なダイヤル式ロック等によって(例えば、様々なプリセットされた座標に対してダイヤルを左右に回すことによって)仮想金庫1304に組み合わせ数字を入力してもよい。一部の実施形態では、コンピュータ装置1301は、仮想金庫1304の組み合わせ数字に関するヒントを提供するために矢印を表示するように構成されてもよい。例えば、一実施形態では、仮想金庫1304を解除するためにユーザが誤った方向にダイヤルを動かしているときは常にヒントを与えるために矢印が徐々に現れてきて、消えていってもよい。一実施形態では、こうした矢印は、誤った方向に動かしているときに毎秒5%の割合で不透明度を増加させて、正しい方向に動かしているときに毎秒20%の割合で消えていってもよい。
図13Bは、ユーザが仮想金庫1306を開けた場合の実施形態を示す。このような実施形態では、ユーザは、ドアを押す相互作用によって仮想金庫1306を閉じることが可能であり、ドアはその後バタンと閉まってもよい。更に、一部の実施形態では、ユーザはダイヤルを回転させることによって金庫を更に施錠することが可能であってもよい。
一部の実施形態では、コンピュータ装置1301は、ユーザが金庫1304の異なる構成要素と相互作用すると異なる効果を出力してもよい。例えば、一実施形態では、ユーザがドアと相互作用すると、コンピュータ装置は、75Hzの正弦波を含む触覚信号に関係付けられる触覚効果を出力してもよい。同様に、コンピュータ装置1301は、金庫を開けること又は閉めることに関係付けられる異なる触覚効果を出力してもよい。更に、ユーザが金庫のダイヤルと相互作用すると、コンピュータ装置1301は、図3A−3Cに関して検討されたものと同様の触覚効果を出力するように構成されてもよい。
一部の実施形態では、タッチ可能ディスプレイは、触覚効果が出力されるかどうかを制御するように構成され得るアイコンを含んでもよい。一部の実施形態では、アイコンは、ボタン、旗、又はユーザが触覚効果をオン又はオフにするために相互作用し得るアイコン等のウィジェットを含んでもよい。更に、一部の実施形態では、ユーザは、特定の場所でアイコンを設定することによって(例えば、仮想スイッチを所定の点まで押すこと又は仮想旗を特定の場所まで引くこと/押すことによって)触覚効果の強度を変化させることができてもよい。一部の実施形態では、コンピュータ装置は、ユーザがウィジェットと相互作用すると触覚効果を出力するように構成されてもよい。
更に他の実施形態では、触覚効果によってシミュレートされる物理相互作用は、ゲームに組み込まれ得る。例えば、ゲームは、静電ベースの効果を適合することによって増大し得る物理相互作用を含む場合が多い。例えば、一実施形態では、仮想パチンコ、例えば、1つのオブジェクトを別のオブジェクト群に向かって撃つゲームにおけるパチンコをユーザが引くと、コンピュータ装置は抵抗の増加に関係付けられる効果を出力してもよい。同様に、ユーザが仮想パチンコを解放せずに、パチンコの張力を徐々に減少させる場合、コンピュータ装置は、張力の減少をシミュレートするように構成される触覚効果を出力してもよい。一実施形態では、この効果は、テクスチャの減少又は摩擦係数の減少をシミュレートするように構成される効果を含んでもよい。例えば、このような触覚効果は、静電アクチュエータ又は超音波周波数(例えば、20kHzよりも大きい)で振動するように構成されるアクチュエータによって出力され得る。
他の実施形態では、切断の感覚をシミュレートするために触覚効果が出力されてもよい。例えば、タッチスクリーンゲームにおいて、ユーザの指のスワイプジェスチャを使用してユーザがオブジェクトを薄切りにしてもよい。本開示の一部の実施形態では、こうした相互作用は、ユーザのオブジェクトとの衝突に関係付けられる効果を出力する静電又は振動ベースの効果によって増大されてもよい。更に、一部の実施形態では、スライス動作の間にオブジェクトのテクスチャをシミュレートするために第2の効果が出力されてもよい。
更に他の実施形態では、スライドの感覚をシミュレートするために触覚効果が出力されてもよい。例えば、画面に対して又は互いに対してスライドするオブジェクトを含むゲームにおいて、この相互作用をシミュレートするために触覚効果が出力され得る。例えば、一実施形態では、丸太が長軸に沿って動かされると、互いに対して丸太が擦れることをシミュレートするように構成されるテクスチャをシミュレートするために静電効果が出力され得る。同様に、1つの丸太が別の丸太又は仕切りに衝突する衝撃を再現するために静電パルスが使用され得る。他の実施形態では、タッチスクリーンの画面上で指をドラッグするときにユーザが感知する摩擦係数を変化させるために静電効果が出力されてもよい。他の実施形態では、高周波振動を使用して同様の効果が出力されてもよい。
更に他の実施形態では、特定の場所又は「ドッキング」で終結することをシミュレートするために触覚効果が出力されてもよい。例えば、フライトシミュレータゲームにおいて、到着するフライトに対するユーザのトレース経路は、航空機が正しく接近していることをユーザに対して特定する触覚効果を更に含んでもよい。このような実施形態では、静電効果は、シミュレートされるテクスチャを生成し、又はユーザが感じる摩擦係数を変化させてもよい。同様に、触覚効果は、航空機が滑走路に着陸するときの衝撃を再現してもよい。
本開示のコンピュータ装置は、1つ以上の複数の触覚効果を出力するように構成されてもよい。一部の実施形態では、こうした触覚効果は、テクスチャに関係付けられてもよい。一部の実施形態では、このテクスチャは、液体、例えば、水、油、塗料、又は何らかの他の種類の液体のテクスチャを含んでもよい。このような実施形態では、ユーザの指がタッチ可能ディスプレイの上で移動すると、その移動が液体をかき乱してもよい。一実施形態では、これはタッチ可能ディスプレイの表面で視認可能な小波又は摂動を生成してもよい。更に、このような実施形態では、コンピュータ装置は小波又は摂動をシミュレートするように構成される触覚効果を出力してもよい。例えば、一実施形態では、小波は滑らかな静電摩擦格子を通じて感じられ得る。別の実施形態では、タッチ可能ディスプレイの表面でテクスチャをシミュレートし又は摩擦係数を変化させるように構成される触覚効果が出力されてもよい。この触覚効果は、液体の小波又は他の種類の摂動の存在をシミュレートしてもよい。
別の実施形態では、テクスチャは熱又は火に関係付けられるテクスチャを含んでもよい。このような実施形態では、ユーザの指がタッチ可能ディスプレイの上で移動すると、その移動が炎をかき乱してもよい。更に、一部の実施形態では、触覚効果は炎の強度をシミュレートしてもよい。例えば、テクスチャをシミュレートし又は摩擦係数を変化させるように構成される触覚効果が、炎の存在をシミュレートするために出力されてもよい。一部の実施形態では、この触覚効果は、静電アクチュエータによって出力されてもよい。他の実施形態では、それは超音波周波数で振動するアクチュエータによって出力されてもよい。
別の実施形態では、テクスチャは、コンピュータ装置のタッチ可能ディスプレイで粒状材料、例えば、砂、小石、又は粉末に関係付けられるテクスチャを含んでもよい。このような実施形態では、ユーザの指がタッチ可能ディスプレイの表面で移動すると、指は粒状材料の山と相互作用する。ユーザが粒状材料と相互作用すると、コンピュータ装置は相互作用をシミュレートするように構成される触覚効果を出力してもよい。例えば、一実施形態では、粒状材料のスライドは、粒状合成によって生成されるシミュレートされるテクスチャ等の静電フィードバックの適合を伴う。他の実施形態では、超音波周波数で振動するアクチュエータによって触覚効果が出力されてもよい。一部の実施形態では、この触覚効果は、タッチ可能ディスプレイの表面におけるテクスチャをシミュレートするように構成される。他の実施形態では、触覚効果は、タッチ可能ディスプレイの表面でユーザが感じる摩擦係数を変化させるように構成される。
別の実施形態では、テクスチャは、コンピュータ装置のタッチ可能ディスプレイにおける沈殿物、例えば、水又は粉末に関係付けられてもよい。このような実施形態では、ユーザの指がタッチ可能ディスプレイの表面で移動すると、指は沈殿物と相互作用する。一実施形態では、指が表面を擦ると、例えば、下層のガラス表面が現れるにつれて増加するように摩擦を変調するために静電効果が使用されてもよい。他の実施形態では、別の種類のアクチュエータが使用されてもよい。更に他の実施形態では、この触覚効果は、タッチ可能ディスプレイの表面において関連するテクスチャをシミュレートするように構成されてもよい。
上記の実施形態は、触覚効果によってシミュレートされる物理相互作用の例示である。他の実施形態では、追加の効果が出力され得る。例えば、本開示の実施形態は、タッチ可能ディスプレイの表面で悩みの数珠(worry beads)をシミュレートするために使用され得る。このような実施形態では、静電摩擦は、数珠の背景に対するスライド及び数珠の互いとの衝突をシミュレートするために使用されてもよい。別の実施形態では、気泡シートがディスプレイに示されてもよく、ユーザは気泡と相互作用してはじけさせることができてもよい。このような実施形態では、ユーザの指が各気泡に対してスライドすると触覚効果が出力されてもよい。
(触覚効果によってシミュレートされる物理相互作用の利点)
触覚効果によってシミュレートされる物理相互作用には数多くの利点がある。触覚効果によってシミュレートされる物理相互作用は、ユーザが装置を見なくても状態判断(例えば、装置の現在のモードの決定)を行うことを可能にしてもよい。従って、ユーザは、他の仕事に集中を維持することができてもよい。例えば、ユーザは、ディスプレイに焦点を合わせなくても、ユーザインターフェースで利用可能な操作に関する判断を行うことができてもよい。同様に、触覚効果は、操作が利用可能である、完了している、又は所定レベルの重要度を有することの確認として機能してもよい。
他の実施形態では、触覚効果によってシミュレートされる物理相互作用は、ユーザがソフトウェア及びユーザインターフェースをより効果的に使用することを可能にしてもよい。例えば、ユーザは、ディスプレイに焦点を合わせなくても、プログラムで利用可能な操作に関する判断を行うことができてもよい。更に、触覚効果によってシミュレートされる物理相互作用は、タッチスクリーン装置が従来のスイッチに取って代わることを可能にしてもよい。これによって、タッチスクリーン式装置が多機能コントローラとして動作することが可能になる。更に、タッチスクリーン式装置が以前に使用されなかった場所で使用されることが可能になる。これによって費用を減らすと共に、全体的なユーザ満足度を向上させることができる。
(概論)
上記の方法、システム及び装置は例示である。様々な構成が、適宜、様々な手続き又は構成要素を省略、置換、又は追加してもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は請求項の範囲を限定しない。
例示的な構成(実装を含む)の十分な理解を与えるために説明の中で特定の詳細が与えられている。しかしながら、こうした構成は特定の詳細なしで実施されてもよい。例えば、周知の回路、工程、アルゴリズム、構造及び技術が、構成を不明確にするのを避けるために不要な詳細なしで示されている。この説明は、例示的な構成のみを提供するものであり、請求項の範囲、応用性又は構成を限定しない。むしろ、構成の上記説明は、当業者に記載された技術を実装するための実施可能な説明を提供するであろう。本開示の精神又は範囲から逸れることなく、要素の機能及び配置の様々な変更が行われてもよい。
また、構成は、フロー図又はブロック図として描かれる処理として記載されてもよい。各々が連続した工程として操作を説明している場合があるが、こうした操作の多くは並列的又は同時に行われ得る。更に、操作の順序は並び替えられてもよい。工程は、図面に含まれない追加のステップを有してもよい。更に、方法の例示は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコード又はコードセグメントは、記憶媒体等の一時的でないコンピュータ可読媒体に記憶されてもよい。プロセッサは、記載されたタスクを実行してもよい。
複数の例示的な構成が記載されているが、本開示の精神から逸脱することなく、様々な修正、代替構造及び均等物が使用されてもよい。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が本発明のアプリケーションに優先し又はそれを修正してもよい。また、上記の要素が検討される前、間、又は後で多くのステップが行われてもよい。従って、先の記載は請求項の範囲を縛らない。
本明細書における「適合される」又は「構成される」の使用は、追加のタスク又はステップを実行するように適合又は構成される装置を排除しない開放的且つ包括的な言語を意図している。更に、「基づいて」の使用は開放的且つ包括的であることが意図されており、即ち、1つ以上の記載された条件又は値に「基づく」処理、ステップ、計算、又は他の動作が、実際には、記載されたものを越える追加の条件又は値に基づいてもよい。本明細書に含まれる表題、リスト、及び番号は、単に説明を容易にするためのものであって、限定することを意図していない。
本主題の態様に従う実施形態は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせに実装され得る。一実施形態では、コンピュータは、1つ又は複数のプロセッサを備えてもよい。プロセッサは、プロセッサに結合されるRAM(random access memory)等のコンピュータ可読媒体を備え、又はそれへのアクセスを有する。プロセッサは、センササンプリングルーチン、選択ルーチン、及び上述の方法を実行する他のルーチン等、メモリに記憶されたコンピュータ実行可能プログラム命令を実行する。
このようなプロセッサは、マイクロプロセッサ、DSP(digital signal processor)、ASIC(application−specific integrated circuit)、FPGA(field programmable gate array)、及び状態機械を含む。このようなプロセッサは、PLC、PIC(programmable interrupt controller)、PLD(programmable logic device)、PROM(programmable read−only memorie)、EPROM又はEEPROM(electronically programmable read−only memorie)、又は他の類似の装置等のプログラム可能電子装置を更に備えてもよい。
このようなプロセッサは、媒体、例えば、プロセッサによって実行されると、プロセッサによって遂行又は支援される本明細書に記載のステップをプロセッサに実行させることが出来る命令を記憶し得る有形のコンピュータ可読媒体を備え、又はこれと通信してもよい。コンピュータ可読媒体の実施形態は、限定されないが、プロセッサ、例えばウェブサーバのプロセッサにコンピュータ可読命令を提供することが出来る全ての電子、光学、磁気、又は他の記憶装置を備えてもよい。媒体の他の例は、限定されないが、フロッピー(登録商標)ディスク、CD−ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成プロセッサ、全ての光学媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取り可能な任意の他の媒体を含む。また、様々な他の装置は、ルータ、プライベート若しくはパブリックネットワーク、又は他の伝送装置等のコンピュータ可読媒体を含んでもよい。記載されたプロセッサ及び処理は、1つ以上の構造内にあってもよく、1つ以上の構造を通じて分散されてもよい。プロセッサは、本明細書に記載の1つ以上の方法(又は方法の一部)を実行するためのコードを備えてもよい。
本主題はその特定の実施形態に関して詳細に記載されているが、上記のことを理解すると、このような実施形態の変形、変化、及び均等物を当業者であれば容易に生み出し得ることが理解されるであろう。従って、本開示は、限定ではなく例示を目的として提示されており、当業者には容易に明らかとなる本主題への修正、変更及び/又は追加を含むことを排除しないことが理解されるべきである。

Claims (21)

  1. タッチ面とのユーザ相互作用を検出して、前記ユーザ相互作用に関係付けられるセンサ信号を送信するように構成されるセンサと、
    前記センサと通信するプロセッサであって、
    前記センサ信号に基づいて前記ユーザ相互作用の位置を決定し、
    前記ユーザ相互作用の前記位置に関係付けられる特徴を決定し、
    前記特徴に関係付けられる装置を制御し、
    前記ユーザ相互作用に部分的に基づいて表示信号を修正し、
    ユーザ相互作用及び前記位置に少なくとも部分的に基づいて生成すべき触覚効果を選択し、前記触覚効果は前記特徴をシミュレートするように選択され、且つ
    前記触覚効果を生成するために触覚効果を送信するように構成されるプロセッサと、
    前記プロセッサと通信し且つ前記タッチ面に結合される触覚出力装置であって、触覚信号を受信して、触覚効果を出力するように構成される触覚出力装置と
    を備える、システム。
  2. 前記触覚効果は、シミュレートされるテクスチャ又は前記タッチ面において摩擦係数を変化させるように構成される効果を含む、請求項1に記載のシステム。
  3. 前記触覚出力装置は、静電界を生成するように構成される装置を含む、請求項1に記載のシステム。
  4. 前記ディスプレイが前記センサを備える、請求項1に記載のシステム。
  5. 前記特徴は、仮想デスクトップのファイルに関係付けられる、請求項1に記載のシステム。
  6. 前記触覚効果は、前記ファイルを移動することに関係付けられる、請求項5に記載のシステム。
  7. 前記特徴は、ゲーム内のオブジェクトに関係付けられる、請求項1に記載のシステム。
  8. 前記触覚効果は、前記オブジェクトの移動に関係付けられる、請求項7に記載のシステム。
  9. 前記特徴は、シミュレートされる入力装置に関係付けられる、請求項1に記載のシステム。
  10. 前記シミュレートされる入力装置は、仮想スイッチ、仮想スライダ、仮想ボタン、仮想ジョイスティック、仮想マウス、又は仮想ダイヤルの1つ以上を含む、請求項9に記載のシステム。
  11. 前記シミュレートされる入力装置は、前記システムの機能を制御するように構成される、請求項9に記載のシステム。
  12. タッチ面とのユーザ相互作用を検出するステップと、
    前記ユーザ相互作用に関係付けられるセンサ信号を送信するステップと、
    前記ユーザ相互作用の位置に関係付けられる特徴を決定するステップと、
    前記特徴に関係付けられる装置を制御するステップと、
    前記ユーザ相互作用に部分的に基づいて表示信号を修正するステップと、
    ユーザ相互作用及び前記位置に少なくとも部分的に基づいて生成すべき触覚効果を選択するステップであって、前記触覚効果は前記特徴をシミュレートするように選択されるステップと、
    触覚出力装置に前記触覚効果に関係付けられる触覚信号を送信するステップと
    を含む、方法。
  13. 前記触覚効果は、シミュレートされるテクスチャ又は前記タッチ面において摩擦係数を変化させるように構成される効果の1つを含む、請求項12に記載の方法。
  14. 前記特徴は、仮想デスクトップのファイルに関係付けられる、請求項12に記載の方法。
  15. 前記触覚効果は、前記ファイルを移動することに関係付けられる、請求項13に記載の方法。
  16. 前記特徴は、ゲーム内のキャラクタに関係付けられる、請求項12に記載の方法。
  17. 前記触覚効果は、前記キャラクタの移動に関係付けられる、請求項16に記載の方法。
  18. 前記特徴は、シミュレートされる入力装置に関係付けられる、請求項12に記載の方法。
  19. 前記シミュレートされる入力装置は、仮想スイッチ、仮想スライダ、仮想ボタン、仮想ジョイスティック、仮想マウス、又は仮想ダイヤルを含む、請求項18に記載の方法。
  20. 前記シミュレートされる入力装置は、システムの機能を制御するように構成される、請求項18に記載の方法。
  21. プロセッサによって実行されると、
    タッチ面とのユーザ相互作用を検出すること、
    前記ユーザ相互作用に関係付けられるセンサ信号を送信すること、
    前記ユーザ相互作用の位置に関係付けられる特徴を決定すること、
    前記特徴に関係付けられる装置を制御すること、
    前記ユーザ相互作用に部分的に基づいて表示信号を修正すること、
    前記ユーザ相互作用に少なくとも部分的に基づいて生成すべき触覚効果を選択することであって、前記触覚効果は前記特徴をシミュレートするように選択され、前記触覚効果はシミュレートされるテクスチャ又は前記タッチ面において摩擦係数を変化させるように構成される効果を含むこと、及び
    触覚出力装置に前記触覚効果に関係付けられる触覚信号を送信すること
    を前記プロセッサに行なわせるように構成されるプログラムコードを含む、一時的でないコンピュータ可読媒体。
JP2013232945A 2012-11-20 2013-11-11 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法 Expired - Fee Related JP6499392B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201261728727P 2012-11-20 2012-11-20
US201261728665P 2012-11-20 2012-11-20
US201261728661P 2012-11-20 2012-11-20
US61/728,665 2012-11-20
US61/728,661 2012-11-20
US61/728,727 2012-11-20
US13/830,087 2013-03-14
US13/830,087 US9330544B2 (en) 2012-11-20 2013-03-14 System and method for simulated physical interactions with haptic effects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018052214A Division JP6574283B2 (ja) 2012-11-20 2018-03-20 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2014102830A true JP2014102830A (ja) 2014-06-05
JP6499392B2 JP6499392B2 (ja) 2019-04-10

Family

ID=49584603

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013232945A Expired - Fee Related JP6499392B2 (ja) 2012-11-20 2013-11-11 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法
JP2018052214A Active JP6574283B2 (ja) 2012-11-20 2018-03-20 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018052214A Active JP6574283B2 (ja) 2012-11-20 2018-03-20 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法

Country Status (5)

Country Link
US (2) US9330544B2 (ja)
EP (2) EP2733576A1 (ja)
JP (2) JP6499392B2 (ja)
KR (1) KR20140064647A (ja)
CN (2) CN108897424A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016110422A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 操作装置
JP2016126784A (ja) * 2014-12-31 2016-07-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド 相互システムの情報を伝達するために触覚制御装置の触覚表面を動的に変化するための技術
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
JP2018113025A (ja) * 2016-12-09 2018-07-19 イマージョン コーポレーションImmersion Corporation 触覚によるコンプライアンス錯覚のためのシステム及び方法
JP2019023942A (ja) * 2018-11-16 2019-02-14 株式会社デンソーテン 操作装置
JP2019525318A (ja) * 2016-07-12 2019-09-05 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. 触覚フィードバック付きタッチスクリーン制御装置
JP2021500677A (ja) * 2017-10-24 2021-01-07 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated 構成可能な仮想ウィジェットを含むタッチ感応性ユーザインターフェース

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8525778B2 (en) * 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
EP3130983B1 (en) 2008-07-15 2018-11-14 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US10504339B2 (en) * 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
CN104884133B (zh) 2013-03-14 2018-02-23 艾肯运动与健康公司 具有飞轮的力量训练设备
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US20140267035A1 (en) * 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US20140292668A1 (en) * 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback
US9672553B2 (en) 2013-04-15 2017-06-06 Ebay Inc. Searchable texture index
WO2014201151A1 (en) 2013-06-11 2014-12-18 Immersion Corporation Systems and methods for pressure-based haptic effects
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9304667B2 (en) * 2013-07-12 2016-04-05 Felix Houston Petitt, JR. System, devices, and platform for education, entertainment
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015045063A1 (ja) * 2013-09-26 2015-04-02 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
MX351158B (es) * 2013-09-26 2017-10-04 Fujitsu Ltd Aparato de control de accionador, dispositivo electronico y metodo de control del accionador.
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
US10328344B2 (en) 2013-10-11 2019-06-25 Valve Corporation Game controller systems and methods
US10885227B2 (en) 2013-11-26 2021-01-05 CaffeiNATION Signings (Series 3 of Caffeination Series, LLC) Systems, methods and computer program products for managing remote execution of transaction documents
JP6010012B2 (ja) * 2013-12-03 2016-10-19 富士フイルム株式会社 導電シート、静電容量式タッチパネル及び表示装置
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
EP3623020B1 (en) 2013-12-26 2024-05-01 iFIT Inc. Magnetic resistance mechanism in a cable machine
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
WO2015121955A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 電子機器、入力装置、及び駆動制御方法
JPWO2015121972A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 駆動制御装置、電子機器、システム、及び駆動制御方法
JP6183476B2 (ja) * 2014-02-14 2017-08-23 富士通株式会社 電子機器及び駆動制御方法
WO2015121963A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 ゲームコントローラ
FR3018122A1 (fr) * 2014-02-28 2015-09-04 Orange Procede de controle d'acces par retour haptique
WO2015138339A1 (en) 2014-03-10 2015-09-17 Icon Health & Fitness, Inc. Pressure sensor to quantify work
JP2017513165A (ja) 2014-03-21 2017-05-25 イマージョン コーポレーションImmersion Corporation 力ベースのオブジェクト操作及び触覚的感覚のためのシステム及び方法
AU2014391723B2 (en) 2014-04-21 2018-04-05 Apple Inc. Apportionment of forces for multi-touch input devices of electronic devices
CN106470739B (zh) 2014-06-09 2019-06-21 爱康保健健身有限公司 并入跑步机的缆索系统
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
KR102384103B1 (ko) * 2014-08-26 2022-04-07 엘지디스플레이 주식회사 터치 패널의 구동 장치
CN107077281A (zh) * 2014-09-09 2017-08-18 三菱电机株式会社 触感控制系统及触感控制方法
US9904463B2 (en) * 2014-09-23 2018-02-27 Sulake Corporation Oy Method and apparatus for controlling user character for playing game within virtual environment
US10139910B2 (en) * 2014-09-25 2018-11-27 Telefonaktiebolaget Lm Ericsson (Publ) Mobile communications device with adaptive friction of the housing
WO2016053789A1 (en) * 2014-10-01 2016-04-07 Northwestern University Interfaces and methods of digital composition and editing of textures for rendering on tactile surfaces
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
FR3026867A1 (fr) * 2014-10-02 2016-04-08 Dav Dispositif et procede de commande pour vehicule automobile
US10414274B2 (en) * 2014-11-26 2019-09-17 Toyota Motor Engineering & Manufacturing North America, Inc. Channel selection interface for a vehicle
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
KR101628894B1 (ko) * 2014-12-09 2016-06-14 한승희 터치 센싱 방법, 터치 센싱 콘트롤러 및 이를 갖는 터치 센싱 장치
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
FR3030071B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
FR3030070B1 (fr) * 2014-12-15 2018-02-02 Dav Dispositif et procede de commande pour vehicule automobile
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US10258828B2 (en) 2015-01-16 2019-04-16 Icon Health & Fitness, Inc. Controls for an exercise device
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
WO2016138085A1 (en) * 2015-02-25 2016-09-01 Immersion Corporation Systems and methods for user interaction with a curved display
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
CN104767655B (zh) * 2015-03-17 2018-09-21 微梦创科网络科技(中国)有限公司 一种模拟结果检测方法及装置
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
KR20170139508A (ko) 2015-04-21 2017-12-19 임머숀 코퍼레이션 에칭 입력의 동적 렌더링
GB201511042D0 (en) * 2015-06-23 2015-08-05 Royal College Of Art And Kong Ming Sensor device and method
DE102015110578A1 (de) * 2015-07-01 2017-01-05 Rwe Effizienz Gmbh Thermostat für Heizungs-, Klima- und/oder Lüftungsanlagen
JP2018527968A (ja) * 2015-07-01 2018-09-27 プラエヴィディ エルエルシーPraevidi,LLC 運動制御シート入力デバイス
US10537764B2 (en) 2015-08-07 2020-01-21 Icon Health & Fitness, Inc. Emergency stop with magnetic brake for an exercise device
US10953305B2 (en) 2015-08-26 2021-03-23 Icon Health & Fitness, Inc. Strength exercise mechanisms
US20170060241A1 (en) * 2015-08-26 2017-03-02 Fujitsu Ten Limited Input device, display device, method of controlling input device, and program
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
DE102015015075A1 (de) 2015-11-20 2017-05-24 Audi Ag Verfahren zum Betreiben einer Eingabevorrichtung und Eingabevorrichtung
US20170210484A1 (en) * 2016-01-25 2017-07-27 Ge Aviation Systems Llc Virtual Aircraft Operations Checklist
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US9898903B2 (en) 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10561894B2 (en) 2016-03-18 2020-02-18 Icon Health & Fitness, Inc. Treadmill with removable supports
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10293211B2 (en) 2016-03-18 2019-05-21 Icon Health & Fitness, Inc. Coordinated weight selection
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
WO2017197298A1 (en) * 2016-05-13 2017-11-16 Numenta, Inc. Inferencing and learning based on sensorimotor input data
US10252109B2 (en) 2016-05-13 2019-04-09 Icon Health & Fitness, Inc. Weight platform treadmill
JP6326194B2 (ja) * 2016-05-25 2018-05-16 レノボ・シンガポール・プライベート・リミテッド 形状記憶合金を利用したアクチュエータの駆動システム、駆動方法および電子機器
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US9886829B2 (en) * 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10471299B2 (en) 2016-07-01 2019-11-12 Icon Health & Fitness, Inc. Systems and methods for cooling internal exercise equipment components
US10441844B2 (en) 2016-07-01 2019-10-15 Icon Health & Fitness, Inc. Cooling systems and methods for exercise equipment
EP3483701B1 (en) * 2016-07-07 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program
US20180011538A1 (en) * 2016-07-08 2018-01-11 Immersion Corporation Multimodal haptic effects
US10416771B2 (en) * 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
WO2018025513A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10591993B2 (en) * 2016-09-21 2020-03-17 Apple Inc. Haptic structure for providing localized haptic output
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
US10500473B2 (en) 2016-10-10 2019-12-10 Icon Health & Fitness, Inc. Console positioning
US10207148B2 (en) 2016-10-12 2019-02-19 Icon Health & Fitness, Inc. Systems and methods for reducing runaway resistance on an exercise device
US10376736B2 (en) 2016-10-12 2019-08-13 Icon Health & Fitness, Inc. Cooling an exercise device during a dive motor runway condition
US10625114B2 (en) 2016-11-01 2020-04-21 Icon Health & Fitness, Inc. Elliptical and stationary bicycle apparatus including row functionality
TWI637770B (zh) 2016-11-01 2018-10-11 美商愛康運動與健康公司 用於固定式腳踏車的落入式樞軸配置
TWI646997B (zh) 2016-11-01 2019-01-11 美商愛康運動與健康公司 用於控制台定位的距離感測器
US10661114B2 (en) 2016-11-01 2020-05-26 Icon Health & Fitness, Inc. Body weight lift mechanism on treadmill
US10402161B2 (en) 2016-11-13 2019-09-03 Honda Motor Co., Ltd. Human-vehicle interaction
DE102017219332A1 (de) * 2016-11-13 2018-05-17 Honda Motor Co., Ltd. Mensch-fahrzeug-interaktion
TWI680782B (zh) 2016-12-05 2020-01-01 美商愛康運動與健康公司 於操作期間抵銷跑步機的平台之重量
EP3343318B1 (en) * 2016-12-29 2019-09-11 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for generating a haptic effect
US20180188905A1 (en) * 2017-01-04 2018-07-05 Google Inc. Generating messaging streams with animated objects
US10209804B2 (en) * 2017-01-10 2019-02-19 Rockwell Collins, Inc. Emissive Display over resistive touch sensor with force sensing
US10702736B2 (en) 2017-01-14 2020-07-07 Icon Health & Fitness, Inc. Exercise cycle
US9928700B1 (en) * 2017-01-25 2018-03-27 Immersion Corporation Method and apparatus for controlling generation of electrostatic friction effects for a plurality of electrodes
CN106919282A (zh) * 2017-02-10 2017-07-04 南昌欧菲显示科技有限公司 触觉反馈显示屏
US10467912B2 (en) * 2017-03-14 2019-11-05 Honeywell International Inc. System and method to revise vertical profile of a flight plan
EP3577542A1 (en) 2017-03-29 2019-12-11 Apple Inc. Device having integrated interface system
US11392237B2 (en) 2017-04-18 2022-07-19 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
FR3066959B1 (fr) * 2017-05-31 2020-11-06 Dav Procede de generation d'un retour sensitif pour une interface et interface associee
DE102017111897B3 (de) 2017-05-31 2018-09-06 Trw Automotive Electronics & Components Gmbh Bedienvorrichtung für eine Fahrzeugkomponente sowie Verfahren zum Erzeugen einer Rückmeldung
DE102017113660B3 (de) 2017-06-21 2018-10-25 Trw Automotive Electronics & Components Gmbh Kraftfahrzeugbedienvorrichtung
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
DE102017118079A1 (de) * 2017-08-09 2019-02-14 HELLA GmbH & Co. KGaA Bedieneinheit für ein Kraftfahrzeug und System, umfassend ein Kraftfahrzeug und eine Bedieneinheit
TWI722450B (zh) 2017-08-16 2021-03-21 美商愛康運動與健康公司 用於抗馬達中之軸向衝擊載荷的系統
US10503313B2 (en) 2017-08-21 2019-12-10 Apple Inc. Unified input/output interface for electronic device
DE102017214941A1 (de) 2017-08-25 2019-02-28 Dometic Sweden Ab Freizeitfahrzeug, Kühlvorrichtung, Steuerungssystem und Verfahren zur Steuerung der Kühlvorrichtung
US10509473B2 (en) 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10684734B2 (en) 2017-09-28 2020-06-16 Apple Inc. Transparent high-resistivity layer for electrostatic friction modulation over a capacitive input sensor
WO2019071018A1 (en) * 2017-10-04 2019-04-11 The Regents Of The University Of California ACTUATION SYSTEM WITH VIRTUAL AND PHYSICAL PARTS
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology
US10729965B2 (en) 2017-12-22 2020-08-04 Icon Health & Fitness, Inc. Audible belt guide in a treadmill
WO2019150591A1 (ja) 2018-01-31 2019-08-08 東芝キヤリア株式会社 タッチパネル式の操作スイッチ、設備管理装置、および設備管理画面生成方法
WO2019178522A1 (en) * 2018-03-16 2019-09-19 The Board Of Trustees Of The Leland Stanford Junior University Improved haptic devices to create the sensation of continuous lateral motion
US20190302889A1 (en) * 2018-03-30 2019-10-03 Apple Inc. Static Pattern Electrostatic Haptic Electrodes
US11175769B2 (en) * 2018-08-16 2021-11-16 Apple Inc. Electronic device with glass enclosure
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US10671271B2 (en) 2018-10-22 2020-06-02 Nio Usa, Inc. Jog dial user interface device
US11046182B2 (en) 2018-10-22 2021-06-29 Nio Usa, Inc. System and method for providing momentum scrolling via a rotary user interface device
US11498270B2 (en) 2018-11-21 2022-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Programmable matter
US11479308B2 (en) 2019-01-09 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Active vehicle interface for crosswind management
CN111475088B (zh) * 2019-01-23 2021-07-20 百度在线网络技术(北京)有限公司 页面滚动的方法、装置、存储介质和终端设备
FR3092415B1 (fr) * 2019-01-31 2021-03-05 Valeo Comfort & Driving Assistance Procédé de génération d’un retour sensitif pour une interface et interface associée
US11473567B2 (en) * 2019-02-07 2022-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. Programmable surface
CN113994345A (zh) 2019-04-17 2022-01-28 苹果公司 无线可定位标签
CN111984178A (zh) * 2019-05-23 2020-11-24 阿里巴巴集团控股有限公司 数据显示方法、设备及存储介质
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11079874B2 (en) * 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
KR102382194B1 (ko) * 2019-12-02 2022-04-04 한국과학기술원 고대역폭 고해상도 질감 표현을 위한 이중 계층 햅틱 모델을 제공하는 전자 장치 및 그의 동작 방법
CN111176455B (zh) * 2020-01-07 2021-01-19 北京航空航天大学 一种温度和纹理一致性呈现的柔性触觉反馈装置
CN111506191B (zh) * 2020-04-13 2024-04-26 维沃移动通信有限公司 控制方法及电子设备
DE102020004363A1 (de) 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
DE102020005333A1 (de) 2020-08-31 2022-03-03 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
EP3971691A1 (en) * 2020-09-18 2022-03-23 Dometic Sweden AB A recreational vehicle user interface
US11334166B2 (en) 2020-09-30 2022-05-17 International Business Machines Corporation Multi-sensory notifications
CN112596612A (zh) 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
TWI796891B (zh) * 2021-05-05 2023-03-21 寶德科技股份有限公司 搖桿組件及遊戲手把
WO2022248816A1 (en) * 2021-05-27 2022-12-01 Kano Computing Limited Audio output device
US11347392B1 (en) * 2021-06-16 2022-05-31 Microsoft Technology Licensing, Llc User interactions and feedback signals for sharing items to a network destination
CN113533777B (zh) * 2021-07-29 2022-04-22 中铁水利水电规划设计集团有限公司 水利工程安全监测移动物联网感知设备
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
US20240042312A1 (en) * 2022-08-03 2024-02-08 Sony Interactive Entertainment Inc. Haptics support for ui navigation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2011048686A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
WO2012145264A1 (en) * 2011-04-22 2012-10-26 Immersion Corporation Electro-vibrotactile display

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US7671851B1 (en) * 2001-02-22 2010-03-02 Pryor Timothy R Reconfigurable tactile controls and displays
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
EP1517224A3 (de) 2003-09-16 2007-02-21 Volkswagen Aktiengesellschaft Berührungsempfindliche Anzeigevorrichtung
US7742036B2 (en) 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8139035B2 (en) * 2006-06-21 2012-03-20 Nokia Corporation Touch sensitive keypad with tactile feedback
US7916002B2 (en) * 2006-06-30 2011-03-29 Nokia Corporation Haptic operative user interface input apparatus
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
EP2790088B1 (en) 2007-09-18 2019-05-01 Senseg Oy Method and apparatus for sensory stimulation
US10488926B2 (en) * 2007-11-21 2019-11-26 Immersion Corporation Method and apparatus for providing a fixed relief touch screen with locating features using deformable haptic surfaces
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US9513704B2 (en) * 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US20090295739A1 (en) * 2008-05-27 2009-12-03 Wes Albert Nagara Haptic tactile precision selection
JP2010086471A (ja) 2008-10-02 2010-04-15 Sony Corp 操作感提供装置、および操作感フィードバック方法、並びにプログラム
EP3031689B1 (en) 2008-10-03 2017-07-05 Senseg Oy Techniques for presenting vehicle-related information
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
US8345013B2 (en) * 2009-01-14 2013-01-01 Immersion Corporation Method and apparatus for generating haptic feedback from plasma actuation
US8077021B2 (en) * 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
EP3467624A1 (en) * 2009-03-12 2019-04-10 Immersion Corporation System and method for interfaces featuring surface-based haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
KR102003426B1 (ko) * 2009-03-12 2019-07-24 임머숀 코퍼레이션 텍스처 엔진에 대한 시스템 및 방법
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
JP5693476B2 (ja) * 2009-03-12 2015-04-01 イマージョン コーポレーションImmersion Corporation 摩擦ディスプレイ中に特徴を提供するためのシステムと方法
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
KR101985159B1 (ko) * 2009-03-12 2019-05-31 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
CN104503578B (zh) * 2009-07-22 2018-02-06 意美森公司 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
JP4672075B2 (ja) 2009-08-27 2011-04-20 京セラ株式会社 入力装置
US8334840B2 (en) * 2010-01-19 2012-12-18 Visteon Global Technologies, Inc. System and method of screen manipulation using haptic enable controller
US20110199321A1 (en) * 2010-02-12 2011-08-18 Electronics And Telecommunications Research Institute Apparatus for providing self-morphable haptic and visual information and method thereof
JP4846857B2 (ja) 2010-03-03 2011-12-28 株式会社東芝 情報処理装置及び入力制御方法
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
US9678569B2 (en) * 2010-04-23 2017-06-13 Immersion Corporation Systems and methods for providing haptic effects
US9501145B2 (en) 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
EP2393000B1 (en) * 2010-06-04 2019-08-07 Lg Electronics Inc. Mobile terminal capable of providing multiplayer game and method of controlling operation of the mobile terminal
WO2012001208A1 (en) * 2010-06-28 2012-01-05 Nokia Corporation Haptic surface compression
US8710968B2 (en) * 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
US20120133494A1 (en) 2010-11-29 2012-05-31 Immersion Corporation Systems and Methods for Providing Programmable Deformable Surfaces
US9501217B2 (en) * 2011-01-14 2016-11-22 Apple Inc. Target region for removing icons from dock
US20130021235A1 (en) * 2011-07-21 2013-01-24 Frederick Umminger Apparatus, system, and method for providing feedback sensations of texture and hardness-softness to a controller
US20130021234A1 (en) * 2011-07-21 2013-01-24 Frederick Umminger Apparatus, system, and method for providing feedback sensations of temperature and texture to a controller
KR102010206B1 (ko) 2011-09-06 2019-08-12 임머숀 코퍼레이션 햅틱 출력 장치 및 햅틱 출력 장치에서 햅틱 효과를 생성하는 방법
US8869625B2 (en) * 2011-09-28 2014-10-28 DigitalOptics Corporation MEMS MEMS actuator/sensor
US20130207715A1 (en) * 2012-02-13 2013-08-15 Nokia Corporation Method, Apparatus, Computer Program, Cable and System
US9208662B2 (en) * 2012-03-16 2015-12-08 Qualcomm Incorporated Methods and devices for selectively controlling and varying surface texture and/or force levels on a mobile device using haptic feedback
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US20140139451A1 (en) 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
FR3019704B1 (fr) * 2014-04-02 2017-09-01 Studec Procede de transmission d'informations via un canal video entre deux terminaux
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2011048686A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
WO2012145264A1 (en) * 2011-04-22 2012-10-26 Immersion Corporation Electro-vibrotactile display

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
JP2016110422A (ja) * 2014-12-08 2016-06-20 富士通テン株式会社 操作装置
JP2016126784A (ja) * 2014-12-31 2016-07-11 ハーマン インターナショナル インダストリーズ インコーポレイテッド 相互システムの情報を伝達するために触覚制御装置の触覚表面を動的に変化するための技術
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
JPWO2016136934A1 (ja) * 2015-02-27 2017-12-07 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US11701581B2 (en) 2015-02-27 2023-07-18 Sony Group Corporation Information processing apparatus, information processing method, and information processing system
US10589169B2 (en) 2015-02-27 2020-03-17 Sony Corporation Information processing apparatus, information processing method, and information processing system
US11065537B2 (en) 2015-02-27 2021-07-20 Sony Corporation Information processing apparatus, information processing method, and information processing system
US11181983B2 (en) 2016-07-12 2021-11-23 Vestel Elektronik Sanayi Ve Ticaret A.S. Touch-screen control device with haptic feedback
JP2019525318A (ja) * 2016-07-12 2019-09-05 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. 触覚フィードバック付きタッチスクリーン制御装置
JP2018113025A (ja) * 2016-12-09 2018-07-19 イマージョン コーポレーションImmersion Corporation 触覚によるコンプライアンス錯覚のためのシステム及び方法
JP2021500677A (ja) * 2017-10-24 2021-01-07 マイクロチップ テクノロジー インコーポレイテッドMicrochip Technology Incorporated 構成可能な仮想ウィジェットを含むタッチ感応性ユーザインターフェース
JP7181929B2 (ja) 2017-10-24 2022-12-01 マイクロチップ テクノロジー インコーポレイテッド 構成可能な仮想ウィジェットを含むタッチ感応性ユーザインターフェース
JP2019023942A (ja) * 2018-11-16 2019-02-14 株式会社デンソーテン 操作装置

Also Published As

Publication number Publication date
US20140139450A1 (en) 2014-05-22
US20160216765A1 (en) 2016-07-28
KR20140064647A (ko) 2014-05-28
CN108897424A (zh) 2018-11-27
CN103838423B (zh) 2018-07-13
JP6574283B2 (ja) 2019-09-11
EP3217261A1 (en) 2017-09-13
US9330544B2 (en) 2016-05-03
CN103838423A (zh) 2014-06-04
JP6499392B2 (ja) 2019-04-10
EP2733576A1 (en) 2014-05-21
JP2018136958A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
JP6574283B2 (ja) 触覚効果によってシミュレートされる物理相互作用のためのシステム及び方法
JP6603059B2 (ja) マルチタッチ型入力のための触覚効果を決定するためのシステム及び方法
JP6274822B2 (ja) 触覚効果によるフィードフォワード及びフィードバックのためのシステム及び方法
JP6563983B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP6355642B2 (ja) プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
JP6212175B2 (ja) サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
JP5694205B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP6148820B2 (ja) サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
JP2019194872A (ja) 圧力ベースの触覚効果のためのシステム及び方法
KR20160138137A (ko) 햅틱적으로 인에이블되는 곡면형 디바이스들을 위한 시스템 및 방법
JP2012520523A5 (ja)
KR20170118864A (ko) 곡면형 디스플레이와의 사용자 상호작용을 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180320

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180326

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190315

R150 Certificate of patent or registration of utility model

Ref document number: 6499392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees