JP2017224324A - 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果 - Google Patents

摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果 Download PDF

Info

Publication number
JP2017224324A
JP2017224324A JP2017149800A JP2017149800A JP2017224324A JP 2017224324 A JP2017224324 A JP 2017224324A JP 2017149800 A JP2017149800 A JP 2017149800A JP 2017149800 A JP2017149800 A JP 2017149800A JP 2017224324 A JP2017224324 A JP 2017224324A
Authority
JP
Japan
Prior art keywords
actuator
touch
haptic
haptic effect
friction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017149800A
Other languages
English (en)
Other versions
JP6563983B2 (ja
Inventor
ファン マニュエル クルス−エルナンデス、
Manuel Cruz-Hernandez Juan
ファン マニュエル クルス−エルナンデス、
ダニー エイ． グラント、
A Grant Danny
ダニー エイ． グラント、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2017224324A publication Critical patent/JP2017224324A/ja
Application granted granted Critical
Publication of JP6563983B2 publication Critical patent/JP6563983B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】合成触覚効果を提示するためのシステム、方法、及びコンピュータープロダクトを提供する。【解決手段】システム１００は、デバイス１０１と一体化されている接触表面（タッチサーフェース）１１６を備える。タッチサーフェース１１６は、ユーザの接触を感知するためのサーフェースである。一つ以上のセンサ１０８は、物体がタッチサーフェースに接触するときに接触領域（タッチエリア）における接触（タッチ）を検出し、さらにプロセッサ１０２による使用のために適切なデータを提供する。適切な数、タイプ、又はセンサの配置が用いられる。プロセッサ１０２と通信する第１アクチュエータ１１８は、タッチサーフェース１１６に接続される。第１アクチュエータ１１８は、第１触覚信号に応じてタッチサーフェースの摩擦係数を変化する触覚出力を出力する。【選択図】図１Ａ

Description

（関連出願との相互参照）
本出願は、２００９年３月１２日に提出された、「Locating Features Using a Friction Display」（摩擦ディスプレイを用いる特徴物検出）という名称の、米国仮特許出願番号６１／１５９，４８２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２００９年１１月１７日に提出された、「System and Method for Increasing Haptic Bandwidth in an Electronic Device」（エレクトロニックデバイスにおける触覚帯域幅を増加するためのシステム及び方法）という名称の、米国仮特許出願番号６１／２６２，０４１の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２００９年１１月１７日に提出された、「Friction Rotary Device for Haptic Feedback」（触覚フィードバックのための摩擦回転デバイス）という名称の、米国仮特許出願番号６１／２６２，０３８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Providing Features In A Friction Display」（摩擦ディスプレイにあって特徴物を提供するためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，８９３の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For FrictionDisplays And Additional Haptic Effects」（摩擦ディスプレイ及び付加的な触覚効果のためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９００の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Interfaces Featuring Surface-Based Haptic Effects」（サーフェースベースの触覚効果を特徴として備えているインターフェースのためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９６，９０８の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For A Texture Engine」(テクスチャエンジンのためのシステム及び方法)という名称の、米国実用新案出願番号１２／６９７，０１０の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Textures In Graphical User Interface Widgets」（グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０３７の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
本出願は、２０１０年１月２９日に提出された、「Systems And Methods For Using Multiple Actuators To Realize Textures」（テクスチャを実現するために複数アクチュエータを用いるシステム及び方法）という名称の、米国実用新案出願番号１２／６９７，０４２の優先権を主張するものであり、その全体を本明細書に参照として組み込む。
タッチ操作可能デバイスは、人気が高まってきた。例えば、移動可能な及び他のデバイスは、ユーザが接触式表示装置（タッチセンシティブディスプレイ）の一部などにタッチすることによって入力を提供することができるようにタッチセンシティブディスプレイを有して構成される。他の具体例にあって、ディスプレイから独立したタッチ操作可能な表面（サーフェース）は、トラックパッド、マウス、又は他のデバイスのような入力部によって用いられてもよい。
ユーザは、例えば、ボタン又は制御部（コントロール）のようなオンスクリーングラフィカルユーザインターフェースにマップされるディスプレイの一部又はサーフェースの一部に触れる。他の具現化例にあって、一つ以上の接触（タッチ）の配列（シーケンス）、サーフェースを横切るドラッグ又はデバイスによって感知される他の認識パターンのようなジェスチャが提供されてもよい。タッチ操作可能なディスプレイ、又は他のタッチベースのインターフェースはデバイスの機能性を大きく高めては来たけれども、欠点は残っている。例えば、キーボードがスクリーン上に表示されるが、物理的なキーボードに慣れたユーザは、タッチ操作可能なデバイスを用いているとはいえ、物理的なキーボードを体験しているのと同じようには感じないかもしれない。
具現化例は、タッチサーフェース及び一つ以上の他の出力装置の摩擦係数の変化を含む合成触覚効果を提供するためのシステム及び方法を含む。前記サーフェースベースの効果を提供することによって、デバイスは、前記効果がないときに達成された成果よりも、ユーザが納得できる体験を提供することができる。
一つの具現化例にあって、方法は、少なくとも一つのセンサを用いて、物体がタッチサーフェースに接触したときに接触領域（タッチエリア）内に発生するタッチを検出することを含む。前記方法は、前記接触に応答して少なくとも一つのサーフェースベースの触覚効果及び少なくとも一つの効果を含む合成触覚効果を生成するための合成触覚効果を選択することをさらに含む。前記選択された合成触覚効果に基づいて、第１の触覚信号は、第１アクチュエータに、前記タッチサーフェースの摩擦係数を変化するために、送信される。前記方法は、前記選択された合成触覚効果に基づいて、前記摩擦係数の変化に加えて第２触覚出力を、アクチュエータに提供させるように、第２触覚信号を送信することもさらに含む。前記第２触覚信号は第２アクチュエータに送信されるか、或いは摩擦係数を変化するために用いられるのと同じアクチュエータが第２触覚出力を生成できる。他の具現化例は、前記方法を実行するためのコンピューティングシステムによって実行可能なプログラムコードを含む有固体コンピュータ蓄積媒体を含む。
これらの例示された具現化例は、本願の発明の主体を制限するためのものでも、或いは制限を定義するために言及されるものでもなく、本発明の理解を助けるために提供されるだけのものである。付加的な具現化例は、合成触覚効果を提供するために構成されるシステム及びデバイス及び、合成触覚効果を提供するためのプログラムコードを含むコンピュータ蓄積媒体を含む。例示の具現化例は発明の詳細な説明にあって議論され、さらなる記述が発明の詳細な説明にて提供される。様々な具現化例によってもたらされる有利な長所は、本明細書を調査すること及び／又は請求された発明の主体の一つ以上の具現化例を実行することによってさらに理解されるかもしれない。
全ての及び授権的な開示は、本明細書の残りの部分にて、より具体的に明らかにされる。本願明細書は、以下の添付図面を参考にする。
合成触覚効果を提供するように構成された例示的なシステムを示すブロック図である。 合成触覚効果を提供するように構成された付加的な例示システムを示す図である。 合成触覚効果を提供するように構成された付加的な例示システムを示す図である。 合成触覚効果を提供するように構成された他の例示システムを示す図である。 図２Ａに示されたシステムの断面図である。 合成触覚効果を提供するように構成された他の例示システムを示す図である。 図３Ａに示されたシステムの断面図である。 合成触覚効果を提供する方法における例示のステップを示すフローチャートである。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物を示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 サーフェースベースの触覚効果の使用がシミュレートされる例示的な特徴物、具体的なテクスチャを示す図である。 合成触覚効果を提供する他の方法の例示的なステップを示すフローチャートである。 合成触覚効果を生成するために用いる参照ファイルの具体例を例示する図である。
参照は、本明細書において、様々なそして代替の実例となる具現化例及び添付の図面において明らかになるであろう。各具体例は、説明のために提供されるのであり、制限としてのものではない。当業者によって改良及び変更が成されることは容易であろう。例えば、一具現化例の部分として例示されるか或いは説明される特徴は、さらなる具現化例を生じるための他の具現化例にも用いられる。したがって、この開示は、添付される特許請求の範囲及びそれらの等価物の範囲内における改良及び変更を含むことを意図している。
合成触覚効果を提供するように構成されたデバイスの例示的な具体例
本発明の一具現化例は、共にCupertino, California のApple Inc.から入手できるｉＰｏｄ（登録商標）携帯音楽デバイス又はｉＰｈｏｎｅ（登録商標）モバイルデバイス、或いはRedmond, WashingtonのMicrosoft Corporationから入手できるＺｕｎｅ（登録商標）携帯デバイスのような、コンピューティングシステムを含む。コンピューティングシステムは、この具体例にて前記デバイスの前記スクリーンに対応するディスプレイ領域に関連する接触（タッチ）の位置を確定するセンサ（例えば、光学的な、抵抗の、又は容量性の）はもとより、加速度計のような一つ以上のセンサを含み、及び／又はそのセンサと通信する。
ユーザが前記デバイスと相互に対話すると、一つ以上のアクチュエータが、合成触覚効果を含む（制限するものではない）ような、触覚効果を提供するために用いられる。合成触覚効果は、摩擦係数の変化との組み合わせにて示される一つ以上の他の触覚効果を伴ったタッチサーフェースの摩擦係数の変化を用いる効果を含む。他の出力は、摩擦係数における変化と同時に、ちょっと速く及び／又はちょっと遅くに現される。前記合成効果は、単一の効果として知覚されるか、或いは複数の関連の効果として知覚される。
例えば、ユーザが指を前記デバイスを横切って動かすと、前記スクリーンの摩擦係数は、指の位置、速度及び／又は加速度に基づいて変化する。前記摩擦がどのように変化するのかに基づいて、ユーザは、特徴物及び／又は手触り（テクスチャ）を知覚する。具体的な実例にあって、前記摩擦は、ユーザが隆起、境界、又はオンスクリーンボタンのエッジに対応する他の障害物を知覚するように変化する。他の具体例にあって、振動ベースの効果は、ユーザが、隆起、境界、又はコントロール領域を定義する障害を知覚するように、前記制御部（コントロール）が選択され／変化されるときに示されるのに用いられる、摩擦係数における変動を伴って生成される。さらにまた、摩擦及び振動触覚効果における変化の組み合わせが、単一のテクスチャ又は他の特徴の知覚を作り出すための組み合わせにて用いられる。
摩擦係数における変動及び他の効果は、同一のアクチュエータによって、又は協力して働く異なるアクチュエータによって、生成される。例えば、摩擦係数はピエゾエレクトリックアクチュエータを用いることによって変動されるが、振動触覚効果は線形共振アクチュエータを用いることによって生成される。摩擦係数における変化に伴って用いられる触角出力の他の具現化例にあって、タッチサーフェースの一部は、上げられたり／下げられたり（例えば、アクチュエータ又は形状記憶合金を用いることで）する。
他の触覚効果と連携して表面ベースの触覚効果を提供する例示のシステム
図１Ａは、合成触覚効果を提供する実例のシステム１００を示す。特に、この具体例にあって、システム１００は、バス１０６を介して他のハードウェアと相互作用されるプロセッサ１０２の特色をなすコンピューティングデバイス１０１を備える。ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭなどのような適切な有固体（及び一時的ではない）の、コンピュータにて読み取りされる媒体を備えることができるメモリ１０４は、コンピューティングデバイスの動作を形成するプログラムコンポーネントを含む。この具体例にあって、コンピューティングデバイス１０１は、一つ以上のネットワークインターフェースデバイス１１０、入力／出力（Ｉ／Ｏ）インターフェースコンポーネント１１２、及び付加的な蓄積媒体１１４をさらに備える。
ネットワークデバイス１１０は、ネットワークを容易にするいかなるコンポーネントの役割を果たすこともできる。具体例は、制限されるものではないが、イーサネット（登録商標）（Ethernet）、ＵＳＢ、ＩＥＥＥ１３９４のような有線インターフェース、及び／又はＩＥＥＥ８０２．１１、ブルートゥース（Bluetooth（登録商標））のような無線インターフェース、又は携帯電話ネットワークにアクセスするためのラジオインターフェース（例えば、ＣＤＭＡ、ＧＳＭ（登録商標）、ＵＭＴＳ、又は他の移動通信ネットワークにアクセスするためのトランシーバ／アンテナ）を含む。
Ｉ／Ｏコンポーネント１１２は、一つ以上のディスプレイ、キーボード、マウス、スピーカ、マイクロフォン、及び／又はデータを入力又は出力するために用いられる他のハードウェアのようなデバイスの接続を容易にするために用いられる。ストレージ１１４は、磁気、光学又はデバイス１０１に含まれる他のストレージメディアのような不揮発性ストレージである。
システム１００は、この具体例の中では、デバイス１０１と一体化されている接触表面（タッチサーフェース）１１６をさらに備える。タッチサーフェース１１６は、ユーザの接触を感知するために構成されるいかなるサーフェースであることもできる。一つ以上のセンサ１０８は、物体がタッチサーフェースに接触するときに接触領域（タッチエリア）における接触（タッチ）を検出し、さらにプロセッサ１０２による使用のために適切なデータを提供する。いかなる適切な数、タイプ、又はセンサの配置が用いられることもできる。例えば、抵抗及び／又は容量性センサがタッチサーフェース１１６に埋め込まれ、タッチの位置を判断（或いは確定）するため、及びタッチ圧力のような他の情報を確定するために用いられる。他の具体例にあって、光学センサが用いられてもよい。
この具体例にあって、プロセッサ１０２と通信する第１アクチュエータ１１８は、タッチサーフェース１１６に接続される。いくつかの具現化例にあって、第１アクチュエータ１１８は、第１触覚信号に応じてタッチサーフェースの摩擦係数を変化する触覚出力を出力するように構成される。他の又は代替にて、第１アクチュエータ１１８は、制御された方法においてタッチサーフェースを動かすことによって触覚出力を提供する。いくつかの触覚出力は、デバイスのハウジングに連結されたアクチュエータを用いるかもしれないし、さらにいくつかの触覚出力は、直列に接続された及び／又は並列に接続された複数のアクチュエータを用いるかもしれない。例えば、摩擦係数は、異なる周波数及び／又は振幅にて前記サーフェースを振動することによって変化される。相違の異なる組み合わせ／順序は、テクスチャ、障害物又は突起のような他の特徴物の存在の感覚をシミュレートするために、或いは他の効果を提供するために用いられる。
単一の第１アクチュエータ１１８がここでは示されるが、具現化例は同一又は異なるタイプの複数のアクチュエータを、タッチサーフェースの摩擦係数を変化するために用いる。例えば、ピエゾ電気アクチュエータが超音波の周波数にて垂直及び／又は水平にタッチサーフェース１１６を部分的又は全体を表現するために、いくつかの具現化例にあって用いられる。
図１Ａは、さらに第２アクチュエータ１１９をも示す。第２アクチュエータ１１９は、第１アクチュエータによって提供された摩擦係数の変動に加えて第２触覚出力を提供するために用いられる。例えば、第２触覚出力は、デバイス及び／又はタッチサーフェース１１６の振動のような振動触感の触覚効果を含む。他の具現化例にて、第２触覚出力は、タッチサーフェース１１６における、温度、色、又はタッチサーフェース１１６にて部分的に上げる／下げることによって発生されるテクスチャにおける変化のような、変化を含む。
アクチュエータ１１８及び１１９は、それぞれ複数のアクチュエータを備え、さらに同一又は異なるタイプである。適切なアクチュエータタイプは、しかし制限されるものではないが、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、柔軟性合成ピエゾエレクトリックアクチュエータ（例えば、柔軟性材料を含むアクチュエータ）、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、ボイスコイルアクチュエータ、静電気アクチュエータ、及び／又は静磁気アクチュエータを備える。別個のエレメント１１８及び１１９として示してはいるが、タッチサーフェース１１６の摩擦係数を変化し、他の触覚効果を生成することができる単一のアクチュエータを、別個の第１及び第２のアクチュエータの代わりに用いることができる。加えて、実際には一つ以上のアクチュエータが、タッチサーフェース１１６に埋め込まれることができる。
メモリ１０４について、例示のプログラムコンポーネント１２４、１２６及び１２８は、いくつかの具現化例にあってはどのようにデバイスが合成触覚効果を提供するように形成されるかを示すように描かれている。この具現化例にあって、検出モジュール１２４はセンサ１０８を介してタッチの位置を確定（判断して確定）するためにタッチサーフェース１１６を監視するのにプロセッサ１０２を構成する。例えば、モジュール１２４は、タッチの有無を追跡するためにセンサ１０８をサンプルし、タッチがあれば、位置、経路、速度、加速度、圧力及び／又はタッチの他の特徴をある期間にわたって追跡する。
触覚効果判断（確定）モジュール１２６は、生成された合成触覚効果を選択するためタッチ特性についてデータを解析するプログラムコンポーネントとして描かれる。例えば、いくつかの具現化例にあって、一つ以上のタッチの配列を含む入力動作が認識され、一つ以上の合成触覚効果に相互関係があってもよい。他の具現化例にあって、タッチサーフェース１１６のいくつか又は全てのエリアは、グラフィカルインターフェースにマッピングされる。タッチサーフェースの摩擦を変化することによって、さらには一つ以上の触覚出力を提供することによって、スクリーン上に表示される特徴物の存在をシミュレートする。このために、異なる合成触覚効果がタッチの位置に基づいて選択されるので、前記特徴物は、前記特徴物を有するスクリーンの位置をマッピングされたタッチサーフェース１１６の一部が発生されたときに、感じられる。しかし、触覚効果は、対応するエレメントがインターフェースに表示されていなくてもタッチサーフェース１１６を介して提供されてもよい（例えば、触覚効果は、インターフェースの境界、この境界は表示されていないかもしれないが、横切られると、提供されるかもしれない）。
触覚効果生成モジュール１２８は、選択された合成触覚効果を少なくともタッチが生じたときに生成するために、プロセッサ１０２に触覚信号を生成させてアクチュエータ１１８／１１９に送信させるプログラミングの役割を果たす。例えば、触覚効果生成モジュール１２８は、アクチュエータ１１８及び１１９に送信するために格納されている波形又は命令にアクセスする。他の具現化例にあって、触覚効果生成モジュール１２８は、所望される摩擦係数を受け取り、適切な信号を生成してアクチュエータ１１８に送信するために信号処理アルゴリズムを用いる。モジュール１２８は、所望される触覚効果タイプを受け取り、さらにアクチュエータ１１９を選択し、選択されたアクチュエータに所望される触覚効果を提供させる。
他の具現化例にあって、所望されるテクスチャが、そのテクスチャ用のターゲットコーディネィトと調和して示されるかもしれない。適切な波形は、（比較的に）低周波数にてタッチサーフェース（及び／又は他のデバイスコンポーネント）の適切な変位を生成する。このために、一つ以上の振動触覚アクチュエータに送られる他の波形と共に、ピエゾエレクトリック又は高周波の変位を用いる摩擦係数を変化するため、又は特徴物が生じたときに、例えばポン、ポップ（pop）又はピシィッ、ピィング（ping）又は他の効果を提供するために、他のアクチュエータに送信される。
タッチサーフェースは、コンピューティングシステムの特別な構成に依存してディスプレイを覆うかもしれないし、覆わないかもしれない（またはさもなければディスプレイに合致するか、しないかもしれない）。図１Ｂには、コンピューティングシステムの外観が示されている。コンピューティングデバイス１０１は、タッチサーフェースとデバイスのディスプレイを兼ね併せたタッチ−操作可能ディスプレイ１１６を備えている。タッチサーフェースは、ディスプレイの外面又は実際のディスプレイコンポーネントの上の一つ以上の材料層に合致するかもしれない。
この具現化例にあって、合成触覚効果は、この具現化例にあっては、移動通信デバイスによって提供されるような１２個キーのキーパッドを示す、グラフィカルユーザインターフェース１３０の内容に基づいて選択される。特に、各キーは、境界１３２及び内部１３４を備える。合成触覚効果は、内部１３４に対応する摩擦に変化を生成するように選択され、さらに異なる触覚出力がユーザが境界１３２に達したときを示すために用いられる。この具現化例にあって、特徴１３６は、中央のキー（標準数字キーパッドでは「５」キーに相当する）に含まれる。例えば、特徴１３６は、内部１３４のテクスチャとは異なるテクスチャを備えることができるし、「センタリング」特徴として機能する隆起又はギャップのようなシミュレートされる特徴でもよい。ユーザが１本の指をキーパッドを横切って動かすと合成効果がキーの間の境界を示すため、さらには「５」キーに特徴１３６の認識によって達したことを示すのに用いられる。
前述したように、タッチサーフェースは、ディスプレィを覆うことを必要としない。図１Ｃは、タッチ−操作可能なコンピューティングシステム１００Ｃの他の具現化例を示す。この具現化例にあって、コンピューティングデバイス１０１は、デバイス１０１にインターフェースされるコンピューティングシステム１２０に備えられるディスプレイ１２２にあって提供されるグラフィカルユーザインターフェースにマップされるタッチサーフェース１１６を特徴としている。例えば、コンピューティングデバイス１０１は、マウス、トラックパッド、或いは他のデバイスを含むし、他方、システム１２０はデスクトップまたはラップトップコンピュータ、セット−トップボックス（例えば、ＤＶＤプレーヤ、ＤＶＲ、ケーブルテレビジョンボックス）、又は他のコンピューティングシステムを含む。他の具現化例にあって、タッチサーフェース１１６及びディスプレイ１２２は、ディスプレイ１２２を特徴としているラップトップコンピュータにおけるタッチ−操作可能なトラックパッドのような同じデバイスに含まれてもよい。
ディスプレイに一体化されているか或いは他の方法であるかにかかわらず、この明細書における具現化例の２次元の方形タッチサーフェースの描写は、制限されるものではない。他の具現化例は、曲面又は、サーフェースベースの触覚効果を提供するためにさらに構成される不規則なタッチ−操作可能なサーフェースを含む。
図１Ｃに戻り、この具現化例にあっては、メニューバー１４０及びボタン１４２、１４４及び１４６を有するグラフィカルインターフェース１３８が示されている。例えば、前記グラフィカルインターフェースは、ホームエンターティンメントデバイス用のオン−スクリーンメニューを含み、他方タッチサーフェース１１６は、リモートコントロール又は周辺機器を備える。１４８で示すように、タッチサーフェースの領域はメニューバー１４０にマップされている。ユーザが領域１４８に接触すると、合成触覚効果がメニューバーが選択されたことを示すために提供される。例えば、摩擦係数は、振動触覚又は、ユーザが領域１４８を介して動き、さらに領域１５０、１５２及び１５４の一つを横切るときに提供される、他のフィードバックを伴って、領域１４８及び、領域１５０、１５２及び１５４（ボタン１４２、１４４及び１４６それぞれに対応する）の間では、異なる。他の具現化例のように、振動触覚又は他の触覚出力が、ボタン１４２、１４４及び／又は１４６が作用されるときに各領域内にて変化される摩擦係数と共に、領域１４８、１５０、１５２及び１５４にあって異なるシミュレートされたテキスチャを生成するために用いられる。
図２Ａは、タッチサーフェースに対応するタッチ−操作可能ディスプレイ２０２を特徴とする他のコンピューティングデバイス２０１を示す。図２Ｂはデバイス２０１の断面を示す。図２Ｂに示されるように、この具現化例にあっては、第２アクチュエータが他の触覚効果をタッチサーフェース２０２を介して提供する間に、二つのアクチュエータ２１８−１及び２１８−２がタッチサーフェース２０２の摩擦係数を変化するために用いられている。例えば、アクチュエータ２１９は、例えばポン（pop）又はピシィッ（ping）のような振動触覚出力をタッチサーフェース２０２を介して提供してもよいし、タッチサーフェース２０２の一つ以上の部分を上げるか／下げるようにしてもよい。さらに、図２Ｂは、他の具現化例のアクチュエータ２２２を示す。例えば、アクチュエータ２２２は、一つ以上のアクチュエータ２１８−１、２１８−２、又は２１９に加えて、又は代わりに用いられる。例えば、アクチュエータ２１９がディスプレイ２０２の一部を持ち上げるか或いは下げると、アクチュエータ２２２は低周波数振動出力を提供するために用いられる。
図２Ａに戻ると、合成効果を提供する具現化例が２２０にて示されている。特に、指２２６がディスプレイに接触し、２２８にて示す位置に移動すると、シミュレートされた特徴物２３０に遭遇する。図２Ｂに示されるように、指が移動し、ディスプレイの第１領域２３２に始めに接触し、その後、第２領域２３４、及び第３領域２３６に接触する。合成触覚効果は、特徴物２３０をシミュレートするために用いられる。例えば、指が領域２３２に遭遇し、さらに領域２３４に移動する間、ディスプレイ２０２の摩擦係数は、アクチュエータ２１８−１／２１８−２の出力を調整することによって高められる。領域２３４が接近され、その後、遭遇すると、アクチュエータ２１９は振動触覚「pop」効果を提供するために用いられる。指が領域２３６を横切って移動すると、ディスプレイ２０２の摩擦係数は減少される。
合成触覚効果は、効果の一つのグループを含む。例えば、ライン２３８及び２４０は、２２６から２２８に動く指により追跡される経路を示す。この一具現化例にあって、合成触覚効果は、指が前記経路の外側を動くと、アクチュエータ２１９及び／又は２２２を用いて生成される出力を含む。例えば、摩擦の変化は、特徴物２３０をシミュレートするために用いられる。このとき、ユーザの指がライン２３８及び２４０の両方を横切るか否かを、特徴物２３０がシミュレートする間、提供される変動出力を伴う。
図３Ａ−３Ｂは、合成触覚効果を提供することができるデバイスのハードウェア構成を示す。この具現化例にあっては、他の透明材料（又は不透明材料）を用いることができるけれども、タッチサーフェースはガラスパネル３０２を備える。例えば、ガラスよりも、タッチパッド（つまりタッチ−センシティブデバイス）が用いられるかもしれない。一対のピエゾエレクトリックベンダ３１８−１及び３１８−２は、前記ガラス上に結合される。ガラス又はピエゾエレクトリックベンダの間の自由空間における他の透明材料の使用は、ディスプレイ（図示せず）の前記ガラスの下での使用を可能にさせる。いくつかの具現化例にあって、ピエゾエレクトリックベンダは、ガラス３０２の静的な摩擦係数を４２％削減するために制御される。いくつかの具現例は、前記摩擦係数を変化するために用いられる振幅を変化して、２４ＫＨｚのバイポーラパルス幅変調信号を用いる。一具現化例にあって、電圧の大きさ（或いは前記電圧の大きさを作り出すためのＰＷＭの大きさ）に応じて０から６０％の摩擦変化を伴って、２０ＫＨｚより上の周波数にて電圧を−８０及び＋８０ボルトの間にて変化する。これらの例示的な電圧、周波数、及び変化範囲は、例示の目的のためのものであって、制限を意図したものではない。
図３Ｂの断面図にあっては、複数の第２アクチュエータ３１９−１、３１９−２及び３１９−３が示されている。例えば、アクチュエータ３１９−２は、パネル３０２に結合され、偏芯回転質量（ＥＲＭ）アクチュエータ及び／又は触覚ポップ、揺動、及び線形共振アクチュエータ（ＬＲＡ）を介した類似物を用いての低周波数振動効果を提供するために用いられる。アクチュエータ３１９−１及び３１９−３は、デバイス３０１のケース又はハウジングに結合され、３１９−２と同じタイプのアクチュエータ或いは３１９−２とは異なるアクチュエータ（及び／又は相互に）を備えてもよい。例えば、一つの具現化例にあって、アクチュエータ３１９−１は、ＥＲＭアクチュエータを含み、アクチュエータ３１９−２はパネル３０２を動かすために用いられる形状記憶合金を含み、さらにアクチュエータ３１９−３はＬＲＡアクチュエータを備える。アクチュエータ３１９−１及び３１９−２のいずれか或いは両方は、パネル３０２及びデバイス３０１のハウジングの両方に結合される。
提供する触覚効果の確定のための実例の方法
図４は、少なくとも一つのサーフェースベースの触覚効果を含む合成触覚効果のインターフェースを提供する実例の方法４００を示すフローチャートである。ブロック４０２は、タッチ領域におけるタッチの位置の判断（確定）を示す。例えば、プロセッサは、埋め込まれた一つ以上のセンサ又は、サーフェース上のタッチ位置を追跡するためにタッチ−操作可能なディスプレイ又はサーフェースを視認することを用いる。現在及び／又は過去のタッチ位置に基づいて、タッチ領域にマップされるグラフィカルインターフェースとの対話が確定される。
前記対話に基づいて、一つ以上の他の触覚出力の提供に応じたタッチサーフェースの摩擦係数の変化により達成される合成効果を伴って、一つ以上の合成触覚効果がブロッグ４０４にて選択される。
例えば、タッチが固有のテクスチャがマップされたタッチサーフェースにおける、ある位置にて発生される。合成触覚効果は、テクスチャ又は特徴物のシミュレーションを含む。追加的に或いは代替的に、合成触覚効果は、環境効果（例えば、テクスチャ／特徴物）及び、特徴物が初期に遭遇されると提供される出力のようなダイナミック効果を含む。
一具現化例にあって、ジェスチャは、スクリーンを大きく横切る方向及び長さ、一つのパターンにあって分離されたタッチの配列、又は他の認識可能な対話（相互作用）に基づくような、一つ以上のタッチの配列又はタッチパターンと認識されることができる。ジェスチャが認識されると、そのジェスチャに対応する合成触覚効果が選択される。例えば、「Ｚ」形状のようなタッチ軌跡は、ジェスチャが進行中の間にデバイスのプロセッサによって実行されるパターン認識に基づいた入力ジェスチャのタイプとして認識されるかもしれない。一つ以上の合成触覚効果が、ジェスチャが進行中及び／又はジェスチャが完了した後に、出力する効果を示すプロセッサにアクセスできるデータにおける「Ｚ」ジェスチャに関係付けられる。例えば、そのデータは、ジェスチャがほぼ完了するとき、テクスチャ又は摩擦の変化を行うためにサーフェースに提供される。付加的に或いは代替的に、ディスプレイのテクスチャ又は摩擦係数は、ジェスチャがジェスチャの入力を確認するために認識された後に、変化する。
ブロック４０６にて、一つ以上の触覚信号が、摩擦係数のバリエーションを提供するため、及び第２の触覚出力（又は複数の触覚出力）を生成するために、アクセスされ、及び／又は生成される。例えば、プロセッサは、メモリ内に格納され、さらには特定の触覚効果に関係しているドライブ信号にアクセスする。他の具体例では、信号は、格納されたアルゴリズムにアクセスし、効果に関連したパラメータを入力することによって生成されるかもしれない。例えば、一つのアルゴリズムは、振幅及び周波数パラメータに基づいたドライブ信号の発生での使用のためデータを出力するかもしれない。他の具現化例では、触覚信号は、アクチュエータによってデコードされるために、アクチュエータに送られるデータを含んでもよい。例えば、アクチュエータは、振幅及び周波数のようなパラメータを規定する命令にアクチュエータ自身で応じるかもしれない。
一つの具現化例では、ギャップ、障害、又はテクスチャのようなシミュレートされた特徴物のため、タッチについての現在の画素位置及び／又はタッチの速度に基づいて予測される画素位置が、様々な画素位置用の合成触覚効果を規定するビットマップに比較される。合成触覚効果に応じて、適切な触覚信号が、ビットマップにあって規定された出力を提供するために、アクセス／生成される。
他の具現化例にあって、タッチの現在の又は予測される位置は、コントロール、テクスチャコンテンツ、境界などのようなグラフィカルユーザインターフェース（ＧＵＩ）特徴物の位置を特定するデータと比較される。その後、ＧＵＩ特徴物が前記位置にて特定されると、一つ以上の合成触覚効果を前記特徴物に関係付けるデータがアクセスされる。例えば、プロセッサは、タッチの位置を追跡し、さらに、タッチが、グラフィカルユーザインターフェースにあって特定の制御（例えば、ボタン）にマップされるタッチ領域における位置にあるか又はその位置に接近していることを確定する。プロセッサは、その後、そのボタンに関連する合成触覚効果（例えば、テクスチャ、摩擦変動）を確定するためインターフェース要素のリストを調べ、そしてその触覚効果に基づいて、合成触覚効果を生成するためのさらなる動作を行う。
ブロック４０８は一つの触覚信号又は複数の触覚信号を、合成触覚信号を実現するために、摩擦係数を変化し、一つ以上の他の触覚出力を提供することによって、一つ以上のアクチュエータに送信する役割を果たす。例えば、アナログドライブ信号が提供されるには、プロセッサは信号を形成するために、オンボードＤ／Ａコンバータを用いる。ディジタルコマンドがアクチュエータに提供されると、適切なメッセージがプロセッサのＩ／Ｏバスによって生成される。触覚効果は、タッチのポイント及び／又は他のポイントにて感じられる。例えば、二本指入力ジェスチャが提供されると、第１の指における、テクスチャ／摩擦係数が、第２の指の動きを認識することに応じて変化される。
いくつかの具現化例にあっては、デバイスが作り出すことのできる潜在的な効果の範囲を増大させるために、選択された触覚効果の不在時であっても、ベースライン触覚信号が、環境触覚効果を生成するためにアクチュエータに送られ得る。このように、触覚信号を伝送することは、適切に強度を低減するために、アクチュエータに「停止」命令、「ゼロ」もしくは最小信号、又は他の信号を送信することを含み得る。
一具現化例では、ピエゾエレクトリックアクチュエータのようなあるアクチュエータの使用は、摩擦係数における増加ではなく、タッチサーフェースの摩擦係数を低減させる。タッチサーフェースが静止のときのタッチサーフェースの「通常」の摩擦レベルが摩擦係数を下回るように、選択の範囲を設けるため、ベースライン信号が提供される。つまり、触覚効果は、静的な、値よりむしろ、ベースラインについて定義される。最大摩擦が所望されると、「ゼロ」信号がサーフェースの動きを止めるためにピエゾエレクトリックに送られる。
サーフェースベースの触覚効果は、いかなる適切な形をとってもよい。例えば、いくつかの触覚効果は、タッチサーフェースの摩擦の複数のバリエーションを含み、例えばいつかの部分は他の部分よりも「滑らか」又は「粗く」される。他の具現化例によれば、振動触覚効果は、振動又は連続振動のような振動を用いる。振動触覚効果及び／又は摩擦におけるバリエーションは、境界又は障害のようなはっきり認識できる特徴物の感覚をシミュレートするために用いられる。例えば、境界又は端部は、摩擦の増加によってシミュレートされるし、いくつかの例では、境界が横切られたときには摩擦が減少してもよい。
図５Ａ−５Ｄは、シミュレートされた特徴物の実例をそれぞれ表している。図５Ａは、非−ゼロ電圧ＰＷＭ信号を用いることによるような、アクチュエータがアクティブにされた領域を白領域で表す簡単な例を示す。例えば、前記白領域は、ユーザの指（又はサーフェースに接触する他の物体）が遭遇するであろう低摩擦領域である、タッチパッドの中間における仮想のボタンに対応する。図５は、逆の状態を示す。前記指／物体は、白領域を自由にナビゲートするが、高摩擦領域（黒）ではゆっくりあるいは停止されるかもしれない。これは、例えば、ユーザに、タッチ領域における、ボタン又は他の位置をより容易に探し出される。
図５Ｃは複数の溝を含むシミュレートされた特徴物を示す。ユーザの指又は他の物体が水平方向に複数のストライプを横切ると、前記指／物体は一連の溝として知覚される増加及び減少する摩擦に遭遇するであろう。
上述したように、サーフェースベースの触覚効果を提供するように構成されたタッチサーフェースを含むコンピューティングシステムは、実時間にて効果及び信号を確定する。例えば、図５Ａ−５Ｄのいずれにとっても、システムは前記タッチがサークルの内部であるか否かを初めに確定し、もしサークルの内部にあるのであれば、適切な出力値（図５Ａ）又は終止出力（図５Ｂ）を提供する。同様に、前記システムは、前記タッチが所望の高摩擦を伴って領域内にて発生したのか否かについて、発生したことを確定すると、前記アクチュエータを駆動することによって図５Ｃの特徴物を提供する。
図５Ｄは、より複雑なパターンを表す。例えば、図５Ｄにおけるパターンは、携帯電話のキー配列、シミュレートされたキーボード、又は他のコントローラのようなキー配列に関連する所望の特徴物に対応する。実時間の表現が、図５Ａ−５Ｄのいずれにあっても用いられるが、より複雑なロジックがパターン中の各特定のサークル／ボタンを表現するために、用いられる。これらのさらにはより任意のパターンは、プログラミングの複雑さ及び計算時間を増加するかもしれない。したがって、いくつかの具現化例にあって、サーフェースベースの触覚効果は、予定より早くに決定され、さらにはファイルに格納されている。実行時に、前記ファイルは、早期の確定と適切な触覚信号の発生を可能とするタッチ位置に基づいてアクセスされる。図５Ｄについて、そのようなファイルはタッチ位置がサークルにマップされるときに第１の触覚効果（例えば、高摩擦）を提供するためにアクチュエータを駆動するデータを含み、前記ファイルは、前記タッチ位置が前記サークルの外側位置にマップされるときに第２の効果（例えば、低摩擦）を提供するためにアクチュエータを駆動するデータを含む。
図５Ａ−５Ｄの特徴物は、ピエゾエレクトリックアクチュエータに加えるか代わりに他のタイプのアクチュエータを用いることによってシミュレートされるかもしれない。例えば、振動触覚アクチュエータは、振動、ポップ、パルス、クリックなどを、図５Ａ、５Ｂ又は５Ｄのサークルに遭遇するか、及び／又は図５Ｃのパターンに遭遇したとき（例えば、黒から白への各遷移でのポップ又はクリック）に、提供するために用いられる。アクチュエータによって生成される触覚効果は、開始時間及び停止時間はもとより、電流、電圧、周波数に依存して変動する。一つの具現化例にあって、複数のアクチュエータが、異なるアプリケーション用の異なる触覚効果を生成するために使用される。例えば、二つのアクチュエータは、前述された、グラフィカルオブジェクト（例えば、キーボードキー）を通りすぎるユーザの指又はタッチペンに応じて振動又はポップを提供するように構成される。
図５Ａ−５Ｄの特徴物は、合成触覚効果を用いることでシミュレートされる。例えば、摩擦の変化は、サーフェースをタッチする物体が黒から白、あるいはその反対に動くときにクリック、ポップ、又は他の反応にしたがって用いられる。
振動触覚効果及び／又は摩擦の変化は、付加的に或いは代替的に、様々なテクスチャをシミュレートするために用いられる。テクスチャの使用及び生成に関する付加される詳細は、「Systems and Methods for a Texture Engine」（テクスチャエンジンのためのシステム及び方法）（Attorney Docket IMM354(51851-383720)）、「Systems and Methods for Using Multiple Actuators to Realize Textures」（テクスチャを実現するための複数のアクチュエータを用いるためのシステム及び方法）（Attorney Docket IMM355(51851-383719)）、及び「Systems and Methods for Using Texture in Graphical User Interface Widgets」（グラフィカルユーザインターフェースウィジェットにあってテクスチャを用いるためのシステム及び方法）（Attorney Docket IMM356(51851-383718)）という名称の米国特許出願番号１２/６９７，０１０、１２/６９７，０４２、及び１２/６９７，０３７の各参照文献にそれぞれ見ることができる。
例えば、摩擦又は振動のパターンを異ならせるパターンは、レンガ、石、砂、草、毛皮、様々な繊維タイプ、水、糖蜜、及び他の流体、皮、木、氷、爬虫類の皮膚、金属及び他のテクスチュアパターンを真似るために提供される。高マグニチュードの振動触覚又は他のフィードバックのような、実世界のテクスチャに類似してない他のテクスチャも、「危険な」テクスチャが所望されるときに、用いられる。
全般的に、テクスチャは、空間的に変化する力として知覚される出力を提供することによってサーフェース特性をシミュレートすることができる。このように、テクスチャは、もちろん振動はテクスチャをシミュレートするのに用いられるのであるが、時間変動力として直接的に知覚されることを意図した振動出力と対比される。
一具現化例として、テクスチャは、スティック又は指が格子を超えて動かされると、感じられる力をシミュレートする。一つの具現化例にあって、テクスチャ力は、マグニチュード及び肌理(grit)を含むパラメータを用いるプログラマ／開発者によって特徴付けられる。マグニチュードは、タッチサーフェース（例えば、格子の各「隆起」）に遭遇する物体に適用される力の量を規定する。肌理は、基本的に力の間の空間である（例えば、格子の隆起のそれぞれの間の空間）。代替的には、付加命令パラメータは、テクスチャフォースの「隆起」の位置を制御するために設けられる。例えば、情報は、急激に距離を変動するため、或いは規定された公式に関して変動するために隆起の間の距離を増加することも含む。付加的に、与えられたテクスチャは、複数の重ねられた肌理及びマグニチュードとして定義される。
図６Ａは、テクスチャエンジンが本発明の一具現化例により生成するテクスチャの一つを例示する。図６Ａに示された具現化例は、レンガを含む。レンガのテクスチャは、モルタルから砂の谷の感覚を伴って断続され、レンガから粗い不定のテクスチャを有することによって特徴付けられる。テクスチャエンジンのシステムは、ユーザの指が動いている間に、媒体のランダム信号を、最大変動とする、ＬＲＡ，ＬＰＡ、又はＦＰＡのような、アクチュエータを駆動することによって粗い不定のレンガのテクスチャを生成する。いくつかの具現化例にあって、この変動は、異なる粗の調整用とされる。いくつかの具現化例にあって、レンガからモルタルへの遷移が、ＥＲＭによって作られる高持続ポップによって示される。付加的には、摩擦係数は、レンガとモルタル部分の間にて変動される。モルタルが厚さ十分であると、細かなテクスチャは、レンガのテクスチャを出力するアクチュエータを駆動するために用いられるよりも、高い変動を伴う低マグネチュード信号にてアクチュエータをドライブすることによって示される。
図６Ｂは、本発明の一具現化例にしたがって、テクスチャエンジンが生成するテクスチャの一つを例示する。図６Ｂに示された具現化例は、石を含む。石のテクスチャは、ユーザが石から石に動かすように、遷移が断続される滑らかなサーフェースによって特徴付けられる。石のテクスチャを出力するため、ＦＰＡ及び／又はピエゾエレクトリックアクチュエータのようなアクチュエータは、低摩擦の継ぎを形成するために用いられる。個々の石は、タッチ−センシティブインターフェースがユーザの動きを検出すると、表示される画像の視認されないエッジマップ、及びＬＲＡ，ＬＰＡ又はＥＲＡなどのようなアクチュエータへの高マグニチュード触覚信号を出力する。例えば、高マグニチュード出力は、タッチ−センシティブインターフェースがユーザの指が一つの石から他の石に遷移することを検出するといつでも、提供される。摩擦係数もまた、石の間にて変化される。
図６Ｃは、本発明の一具現化例により、テクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｃに示される具現化例は、砂又は紙やすりを含む。砂は、ユーザの指の前に造られた砂の粒子の堆積の感覚と同様に、粗く、ざらついた感じによって特徴付けられる。粗い、砂の、ざらついたテクスチャを出力するため、ＬＲＡ、ＬＰＡ又はＦＰＡのようなアクチュエータがユーザの指が動いている間、高い最大変動を伴うランダム信号により駆動される。いくつかの具現化例にあって、プロセッサは異なる粗さの度合いを形成するために信号の変動を調整する。砂の堆積の感じを作り出すため、ＦＰＡのようなアクチュエータが用いられる。そのような具現化例にあって、ユーザが指をタッチスクリーンを横切るように動かすと、プロセッサは、低強度にてスタートし、かつユーザが指を一方向に動かすときに形成する信号により、アクチュエータを駆動する。ピエゾエレクトニクス又は他のアクチュエータは、砂を堆積するのをシミュレートするために摩擦係数を増加するために用いられる。
他の具現化例にあって、図６Ｃに示されるテクスチャは、紙やすりを含む。紙やすりは、粗く、ざらざらした感じを有することによって特徴つけられる。粗い、ざらついた感覚を作り出すために、プロセッサは、ＬＲＡ、ＬＰＡ又はＦＰＡのようなアクチュエータを、高い最大変動を伴うランダム信号により駆動する。いくつかの具現化例にあって、この信号は、ユーザの指がタッチセンシィティブインターフェースのサーフェースを横切って動いている間に出力される。いくつかの具現化例にあって、プロセッサは、粗さのレベルを変化するために信号の変動を調整する。付加的に、粗さは、摩擦係数における急な変化を通して生成され、或いは強調される。
図６Ｄは、本発明の一具現化例によってテクスチャエンジンが生成する一つのテクスチャの例示である。図６Ｄに示される具現化例にあって、テクスチャは、草のテクスチャを含む。草は、ユーザの指をほとんどくすぐる断続的な軽い感覚によって特徴付けられる。草の感覚を作り出すために、プロセッサは、ＦＰＡ又はピエゾエレクトリックアクチュエータのようなアクチュエータを、草の部分を重ねた低摩擦の部分を形成するために構成された信号を用いて駆動する。いくつかの具現化例にあって、プロセッサは、表示される画像の目に見えないエッジマップを有することにより、さらにはユーザインターフェースがシミュレートされた葉の間の動きを検出するときに、ＬＰＡまたはＥＲＭのようなアクチュエータに低マグニチュード信号を出力することによって個々の草の葉を表現する。
図６Ｅは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｅに示される具現化例にあって、前記テクスチャは繊維のテクスチャを含む。繊維は、軽い滑らかな感覚によって特徴付けられる。繊維のテクスチャの感覚を作り出すために、プロセッサはＬＰＡ又はＬＲＡのようなアクチュエータを、低マグニチュード高周波数信号にて、ユーザの指がタッチ−センシティブインターフェースのサーフェースを横切って動くときに、駆動する。前記繊維の「性質」は肌理に沿って動くとき、低摩擦を提供するためディスプレイの摩擦レベルを変動することによってシミュレートされる。
図６Ｆは、本発明の一具現化例によりテクスチャエンジンが発生するテクスチャの一つの例示である。図６Ｆに示される具現化例にあって、テクスチャは水又は糖液を含む。水は、ほとんど感覚がないことを特徴としている。しかし、散乱する水は周辺に飛び散り、ユーザの指を打つかもしれない。水のテクスチャをまねるため、プロセッサは、ＦＰＡのようなアクチュエータをタッチセンシティブインターフェースのサーフェース上の摩擦を低減するために駆動する。水がはねるのをまねるため、プロセッサはユーザがスクリーンをタッチしているときだけ、触覚信号を出力する。糖蜜、又はオイルのようなもっと粘性の高い液体をまねるため、プロセッサはユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くとき、ユーザの指の摩擦を増加するように形成される信号によってアクチュエータを駆動する。
図６Ｇは、本発明の一具現化例によってテクスチャエンジンが生成するテクスチャの一つを例示する。図６Ｇに示された具現化例にあって、テクスチャは皮のテクスチャを含む。皮は、皮の表面の突起及び谷を含む全体的に滑らかな感覚によって特徴付けられる。皮のテクスチャの感覚を作り出すため、プロセッサは、ＦＰＡ又はピエゾエレクトリックアクチュエータのようなアクチュエータをユーザの指がタッチセンシティブインターフェースのサーフェースを横切って動くときに、摩擦を低減する触覚効果を出力するように構成される信号にて、駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指が動いたことを検出すると直ちに非常に短い低マグニチュード触覚信号によりアクチュエータを駆動することにより裂け目及び隆起を出力できる。
図６Ｈは、本発明の一具現化例によりテクスチャエンジンが生成するテクスチャの一つの例示である。図６Ｅに示された具現化例にあって、テクスチャは木のテクスチャを含む。木は、ユーザが板から板に動いたときに、急な変わり目によって区切られる不定の隆起テクスチャによって特徴つけられる。不定のでこぼこのテクスチャをつくりだすため、プロセッサは、ＬＲＡ、ＬＰＡ、又はＦＰＡのようなアクチュエータを、ユーザの指が動いているときに様々な時間で非常に短い低マグニチュード信号によって、駆動する。板材から板材への遷移を出力するため、プロセッサは、高マグニチュード、短い継続のポップをアクチュエータに生成させるように構成される触覚信号を出力する。タッチサーフェースの摩擦は、板材の間にての動きのときに変動され、木の木目に沿っての動きのときに保持される（或いはわずかに変動される）。
他の具現化例にあって、異なるテクスチャに関連する触覚効果が出力される。例えば、一具現化例にあって、プロセッサは、ユーザに氷のテクスチャに対応されるテクスチャを感じさせるように構成される触覚効果をアクチュエータに出力させるように構成される触覚信号を送信する。氷は、いくつかの具現化例にあっては、氷が完全に滑らかなテクスチャを有するように、他の具現化例にあっては、氷は繊細な低マグニチュードのざらついたテクスチャを備えるように、低摩擦によって特徴つけられる。氷のテクスチャをつくりだすため、プロセッサは、ユーザが指をタッチセンシティブインターフェースのサーフェースを横切って動かしている間にできるだけ、アクチュエータに摩擦を低減させるように構成される触覚信号を確定する。他の具現化例にあって、プロセッサはＬＰＡ又はＬＲＡのようなアクチュエータを、ユーザが指を動かす間に、低マグネニチュード効果を出力するように構成される触覚信号によって駆動する。これらの低マグニチュード効果は、氷のサーフェース上の欠陥又は肌理に対応される。
他の具現化例にあって、プロセッサは、爬虫類の皮のテクスチャとほぼ同じでる触覚効果をアクチュエータに出力させるように構成される信号によってアクチュエータを駆動する。爬虫類の皮膚は、皮膚上の隆起から隆起への遷移によって区切られる全体的に滑らかな感覚によって特徴つけられる。爬虫類の皮膚のテクスチャを含む触覚効果を実行するために、プロセッサは、タッチセンシティブインターフェースのサーフェース上にアクチュエータに低摩擦のパッチをつくりださせるように構成される触覚信号によってアクチュエータを駆動する。プロセッサは、タッチセンシティブインターフェースがユーザの指がタッチセンシティブインターフェースのサーフェースを動いているのを検出すると、高マグニチュード触覚信号を周期的に出力することによって前記爬虫類の皮膚の表面上に裂け目を表現する。これらの高マグニチュード信号は、前記爬虫類の皮膚のサーフェースに裂け目をみせかける。
さらに他の具現化例にあって、プロセッサはアクチュエータを毛皮のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。毛皮は、非常に柔らかなタッチである周期的な軽い感覚によって特徴つけられる。毛皮のテクスチャを含む触覚効果を実行するために、プロセッサは、アクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を低減するために構成される触覚効果をアクチュエータに出力させるように構成される触覚信号によって駆動する。プロセッサは、タッチセンシティブインターフェースのサーフェースがユーザの動きを検出すると、低マグニチュードパルス触覚信号を出力して個別の毛をさらに表現する。
さらに、他の具現化例にあって、プロセッサは、金属のテクスチャに似せた触覚効果をアクチュエータに出力させるように構成される信号によって、アクチュエータを駆動する。金属は、いくつかの具現化例にあっては、軽い肌理を含む滑らかな低摩擦サーフェースによって特徴つけられる。金属のテクスチャを含む触覚効果を実行するため、プロセッサはアクチュエータを、タッチセンシティブインターフェースのサーフェース上にユーザが感じる摩擦を弱めるように構成される信号によって駆動する。いくつかの具現化例にあって、プロセッサは、タッチセンシティブインターフェースがユーザのそのサーフェース上における動きを検出すると、高マグニチュードの触覚信号を短時間出力することによって個々の隆起を表現する。これらの短時間の高マグニチュードの信号は、金属のサーフェース上の肌理と同じようにされる。
さらに他の具現化例にあって、プロセッサは、アクチュエータを、他の感覚、例えば、熱を真似た触覚効果をアクチュエータに出力させるように構成される信号によって駆動する。そのような具現化例にあって、プロセッサは、ユーザが熱に関連するディスプレイの要素にタッチすると、高い周波数の揺さぶり効果をアクチュエータに出力させるように構成される触覚信号によって、アクチュエータを駆動する。
図７は、合成触覚信号を提供する他の方法７００における例示的なステップを示すフローチャートである。図７は、基準ファイルを形成し、用いることによってシミュレートされた特徴物を提供するための具現例の方法７００を示すフローチャートである。図８は、画素アレイを含む参照ファイルの具現化例を示す。ブロック７０２及び７０４は、合成触覚効果を確定するための参照ファイルの使用の前に発生するアクティビティであるプリプロセッシングを表現する。この具現化例によれば、単一の基準ファイルが摩擦値及び合成触覚効果の提供における少なくとも一つの他の触覚効果を確定するために用いられる。付加的には、「参照ファイル」は、共に用いられる複数のファイルを含んでもよい。
ブロック７０２は、配置のレイアウトを形成することを表し、ブロック７０４は、ビットマップにおける画素アレイ或いは他の画像ファイルのような、画像ファイルにレイアウトを格納することを表す。例えば、任意の形状は、所望される摩擦値を明確にするために引き延ばされる。図８にあって、白の画素は、摩擦の調整又は他の出力が意図されていないところを示すために表されている、これに対して影の付けられた画素は望まれる摩擦係数の値又はアクチュエータの駆動のために有効な値さえも示している（例えば、所望のＰＷＭ電圧レベル、周波数、など）。代替的に、白の画素は最大駆動を示してもよいし、様々な影の度合いは、黒がゼロ駆動を示すとして、低駆動値を表してもよい。一具現化例にあって、デバイスのアクチュエータの状態のオン／オフに対応する色により、白の画素及び黒の画素のみが用いられる。
この具現化例にあって、陰影の異なる度合いは、クロス−ハッチング（斜影線）によって表している。実際には、各画素は、異なるアクチュエータなどのための異なるレベルのような異なるデータを提供する複数の値を伴う、複数の値を含んでいる（例えば、各画素はＲＧＢ値を有しているかもしれない）。さらに、参照ファイルは、各画素位置用の様々なパラメータを規定するために複数の層を備えてもよい。例えば、一つの層は、振動触覚又は他の触覚出力の出力にあっての使用のための駆動値又は他の情報を定義するために用いられる一つ以上の他の層と共に、摩擦係数の変化を定義するために用いられる。この具体例は、比較的少なく数の画素を示しているが、実際には、画素の配列は、数千又は数百万の画素を含む。
この具体例にあっては、濃い陰影によって示されるボタンの境界を有した３つのボタン８０２、８０４及び８０６が示されている。それぞれの内側８０８、８１０及び８１２は、異なる陰影を有し、異なるテクスチャ、摩擦値、又はボタンの内側に対応する他の効果を表すことを意図されている。メニューバーは、相互に同一の陰影を伴う二つのメニュー命令８１６及び８１８と共に、メニューバーを現し、さらにその後、メニューアイテムを現すことを示すために用いられる異なる触覚効果に対応して、８１４にて異なる陰影を有して示されている。ここには示されないが、低及び高（又は高及び低）摩擦の間の遷移又は他の効果が含まれる。
図７の方法７００に戻り、一旦、参照ファイルが作り出されると、それはメモリに格納され、出力のための合成触覚効果を確定するためにブロック７０６に示されるように読みだされる。例えば、画素配列の一部又は全ては、位置検出及び特徴物シミュレーションルーティンを行うプロセッサのメモリとしての動作を継続する。一具現化例にあって、画素配列は、グラフィカルユーザインターフェースの対応する画素のそばに割り当てられる。他の具現化例にあって、画素配列は、グラフィカルユーザインターフェースイメージの一層又は要素であり、さらに他の具現化例にあって前記画素配列はグラフィカルユーザインターフェースとは関連しない別個のファイルである。
ブロック７０８は、タッチ位置を確定することを表す。例えば、センサはタッチ領域にマップされる画素配列におけるタッチの画素位置を確定するために用いられるデータを提供する。以下のマッピングステップの間に用いられる適切な遷移とともに、タッチの前記位置を識別するために用いられる画素座標はない。
ブロック７１０は、画像ファイルにおける入力（又は複数入力）へのタッチ位置をマッピングすることを示す。例えば、画素（ｘ，ｙ）＝（１０，１２）におけるタッチが画像（ｘ，ｙ）＝（１０，１２）での画像における一つ以上の画素値へのアクセスの結果であるように、タッチ領域は直接的にマップされる。しかし、もっと複雑なマッピングが用いられてもよい。例えば、一つのタッチ位置及び速度は、前記タッチ領域における一つの画素値を前記画像ファイルにおける異なる画素値にマップするために用いられる。例えば、前記タッチ領域のサイズ及び前記画素配列のサイズは、タッチ位置を画素値にマップするために用いられるスケーリングファクタと一緒に、異なる。
ブロック７１２は、前記画像ファイルからの少なくとも一部のデータに基づいたサーフェースベースの触覚効果を提供するための一つ以上のアクチュエータを作動させることを表す。例えば、画像ファイルの画素値は、所望される摩擦係数にマップされる。方法７００を実行するデバイスは、画素位置及び所望の摩擦係数に基づいて、所望の摩擦係数を生成するための一つ以上のアクチュエータに送るための適切な信号又は複数の信号を確定する。他の具現化例にあって、画素値は駆動信号を示す、もっと直接的には、ピエゾエレクトリックアクチュエータに送られるPWM信号のための電圧／振幅／周波数値又はオフセットのような駆動信号を示す。前記画像配列のデータは、他のタイプのアクチュエータ用の駆動信号を生成するのに用いられるようにも構成される。
さらに複雑な具現化例にあって、各画素のアドレスは、３つの彩度値（すなわち、ＲＧＢ）に関連づけられてもよい。前記３つの彩度値のそれぞれは、いくつかの具現化例における対応するアクチェエータ用の単一の彩度／周波数に関連付けられてもよい。他の具現化例にあって、いくつかの値は、再度を規定してもよいし、他の値は同じアクチュエータのための動作の長さを規定してもよい。さらなる具現化例にあって、異なる画素彩度値が単一のテクスチャをシミュレートするためのアクチュエータを駆動するたえに用いられる異なる所望のテクスチャ又は要素と相互に関連つけられてもよい。例えば、テクスチャ８０８、８１０及び８１２は、摩擦変化及び振動の組み合わせを用いるのに実行される。前記領域にマップされる位置にてタッチが生じると、適切なアクチュエータがテクスチャを生成するために用いられる。
方法７００は、前記画像ファイルにおける複数の画素にマップされるタッチ位置を確定してもよい。例えば、広いタッチは、前記画像ファイルにおける画素アドレスの範囲に対応する。画素アドレスの範囲からの値は、一緒に考慮されるか、或いは分析は、タッチ位置の「正確な位置を示す」ため、さらには対応する単一の画素アドレスから値を用いるためになされる。
この具現化例にあって、方法７００は、７１４にて、触覚効果に結び付けられる一つ以上のイベントをチェックする。前述したように、合成触覚効果は、選択を確認するための触覚出力を提供する一つ以上のアクチュエータを使用し、状態の変化を示し、さもなければユーザにフィードバックを提供する。ブロック７１６は、前記イベントに対応する合成出力を提供するための一つ以上のアクチュエータを用い、その後にタッチ位置を確定するために７０８に戻って継続する。
例えば、ユーザは、ボタン８０２にマップされるタッチサーフェースの領域を横切って、ボタン８０４にマップされる領域に指又は他の物体を動かすかもしれない。テクスチャ８０８は、生成されて、その後、指／物体がボタン８０４に動くと、クリック、ポップ、又は他の効果がボタンの境界を示すために出力されるかもしれない。ユーザが所定の時間の間、ボタンの操作を長くするか、及び／又はタッチ操作可能なシステムがタッチ又は圧力の増加を登録すると、クリック又はボタン−押下イベントが登録される。クリックイベントに対応して、クリック、ポップ、又は他の効果が、物理的ボタンの応答（又は他の応答）をシミュレートするために出力される。
いくつかの具現化例にあって、サーフェースベースの触覚効果を伴うタッチサーフェースを特徴つけるコンピューティングデバイスは、入力シーケンスに基づいた異なるサーフェースベースの触覚効果を出力できる。このため、タッチサーフェースのシミュレートされた特徴物は、サーフェースに関連されるデバイスの状態に基づいて変動する。いくつかの具現化例にあって、これは複数層を伴う参照ファイルを用いるのに実行される。ここで、各層は、固有の状態に対応することができる。前記状態は、例えば、様々な入力状態に基づいて変化される。
例えば、タッチサーフェースは、移動可能端末上のようなキーパッドとして作用するように構成されてもよい。前記キーパッドは、番号１−９に対応する３列のキーと、「０」、「＊」、及び「＃」キーからなる４番目の列を特徴とする。初期の状態にあって、タッチサーフェースは、「５」のキーにて、レイアウトの残りよりも、高い摩擦レベルのような、中央の特徴を提供するように構成される。
コンピューティングデバイスは、前記タッチ−センシティブ領域に関連する前記入力の追跡に基づいたユーザ入力に反応する前記タッチサーフェースの状態を変化するために構成される。例えば、一旦前記システムが、ユーザがタッチング、ホバーリング、又は「５」キーが位置されていることを示す他の動作（かならずしも選択されるわけでない）を検出したことを感知すると、前記サーフェースベースの効果は、異なる状態に基づいて提供される。複数層の参照ファイルが用いられると、例えば、異なる層がメモリにロードされる。第２の状態にあって、例えば、キー間の境界は、ユーザが中央から視認されるフィードバックを不要として所望のキーに進むことができるように、提供される（もちろん、視覚による、聴覚による、或いは他のフィードバックが本発明の主題の具現化例については提供されるけれども）。
サーフェースベースの触覚効果の情報提供内容又は意味は、様々な具現化例にて変化する。例えば、効果は、グラフィカルユーザインターフェース内の領域にマップされるタッチサーフェースの特別な部分を特定するために用いられ、キー又は他の制御がシミュレートされ、或いは美的な又は娯楽の目的のために提供される（例えば、デザイン及び／又はゲームの役割）。効果は、通信目的にも提供される。例えば、ブライユ点字（Braille）又は他の触覚ベースの通信方法にも役立つ。
全般的な考察
この明細書にあっての用語「適合される」又は「構成される」の使用は、付加的なタスク又はステップを実行するために適合される、或いは構成されるデバイスに対してのみあてはめることを主張するのではない開放的及び包括的な意味を有する。さらに、用語「基づいて」の使用は、プロセス、ステップ、計算又は、一つ以上の列挙される条件に「基づいた」他のアクション又は値が、実際に、付加的な条件又はそれら列挙された条件を超える値に基づいているということを意味する。この明細書において含まれる、見出し、リスト及び番号は、説明を容易にするためのものであって、制限することを意味するものではない。
本願の発明の主題に対して対応する具現化例は、デジタル電気回路、コンピュータハードウェア、ファームウェア、ソフトウェハ、又はそれらの組み合わせによって実行される。一つの具現化例にあって、コンピュータは、一つのプロセッサ又は複数のプロセッサを備えてもよい。前記プロセッサは、当該プロセッサに接続されるランダムアクセスメモリ（ＲＡＭ）のようなコンピュータ読み取り可能な媒体へのアクセスを含むし、有する。前記プロセッサは、メモリに格納されている、コンピュータにて実行される、センサーサンプリングルーティン、触覚効果選択ルーティン、及び前述された選択される触覚効果を生成するための信号を形成する適切なプログラミングを実行する一つ以上のプログラムのような、プログラム指示を実行する。
前述のようなプロセッサは、マイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、専用集積回路（ＡＳＩＣ），フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ），及びステートマシンを含む。前記プロセッサは、さらにＰＬＣｓ、プログラマブルインターラプトコントローラ（ＰＩＣｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、プログラマブルリードオンリィメモリ（ＰＲＯＭｓ）、電気的プログラマブルリードオンリィメモリ（ＥＰＲＯＭｓ又はＥＥＰＲＯＭｓ）、或いは同様のデバイスのようなプログラマブルエレクトロニックデバイスを備える。
前記プロセッサは、本明細書にはプロセッサによって実行され、或いは支援されるように記載されているステップをプロセッサに実行させる命令を格納している、例えば有体物のコンピュータ読み取り可能媒体である媒体を含むか、或いは前記媒体と通信する。コンピュータ読取可能な媒体は、制限されるものではないが、全ての電気的、光学的、磁気的、又はウェブサーバ内のプロセッサのようなプロセッサにコンピュータ読取可能な命令を提供することができる他のストレージデバイスを含む。媒体の他の具体例は、制限されるものではないが、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ，ＲＡＭ，ＡＳＩＣ、プロセッサを構成する、全ての光学媒体、全ての磁気テープ、又は他の磁気媒体、或いはコンピュータプロセッサが読み取ることのできるいかなる他の媒体をも含む。さらに、様々な他のデバイスは、ルータ、プライベート又はパブリックネットワーク、又は他の伝送デバイスのような、コンピュータ読取可能媒体を含む。記述された、前記プロセッサ、及びプロセッシングは、一つ以上の構成であるか、さらには一つ以上の構成を通して分散されていてもよい。プロセッサは、本明細書にあって記載された方法（或いは方法のいくつかの部分）を実行するためのコードを含んでもよい。
本発明の主題は、具体的な例の中で詳細に記述されているが、当業者は、前述の理解を成し遂げることで、容易に代替物、変形、及び前記具現化例の等価物を適切に創造できるであろう。すなわち、本開示は、制限というよりもむしろ具体例の目的のために示されたものであり、当業者にとっては容易に明瞭となり、本発明の主題の改良、変形及び／又は付加の包括を排除するものではない。

Claims (20)

  1. 物体がタッチサーフェースに接触した際にタッチ領域におけるタッチを検出するために構成されるセンサと、
    プロセッサと通信し、さらに前記タッチサーフェースに連結される第１アクチュエータであって、触覚信号に応じて前記タッチサーフェースの摩擦係数を変化させる触覚出力を提供するように構成される第１アクチュエータと、
    前記プロセッサと通信し、さらに前記タッチサーフェース及び前記タッチサーフェースを含むハウジングのうちの少なくとも一つと連結される第２アクチュエータであって、前記触覚信号に応じて前記摩擦係数を変化させる出力とは異なる第２触覚出力を提供するために構成される第２アクチュエータと、
    前記第１アクチュエータ、第２アクチュエータ、及びセンサと通信するプロセッサであって、生成する合成触覚効果を選択し、前記選択された合成触覚効果を生成するために第１及び第２アクチュエータのうちの少なくとも一つに触覚信号を送信するために構成されたプロセッサとを備えるシステム。
  2. 前記第１アクチュエータは、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、合成ピエゾエレクトリックアクチュエータ、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、又はボイスコイルアクチュエータのうちの少なくとも一つを含み、
    前記第２アクチュエータは、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、合成ピエゾエレクトリックアクチュエータ、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、又はボイスコイルアクチュエータのうちの少なくとも一つを含む、請求項１記載のシステム。
  3. 前記プロセッサは、さらに前記タッチの位置を決定するために構成され、前記合成触覚効果を選択することは、前記タッチサーフェース中の前記決定された位置又はその付近における特徴物の存在をシミュレートする触覚出力又は出力の組合せを決定することを含むことを特徴とする、請求項１記載のシステム。
  4. 前記プロセッサは、前記選択された合成触覚効果を生成するために前記第１アクチュエータ及び第２アクチュエータの両方に触覚信号を送信するように構成される、請求項１記載のシステム。
  5. 前記プロセッサは、背景テクスチャをシミュレートするために摩擦係数を変化させるように前記第１アクチュエータに第１触覚信号を送信し、前記背景テクスチャに重ね合わせる特徴物の存在をシミュレートするために第２触覚信号を前記第２アクチュエータに送信するように構成される、請求項４記載のシステム。
  6. 前記合成触覚効果を選択することは、
    ディスプレイ領域における前記タッチの位置を決定すること、
    複数の位置のそれぞれを対応する触覚効果にマップするマッピングファイルにアクセスすること、
    前記タッチの前記決定された位置に基づいて選択された位置である、選択された位置にマップされた合成触覚効果を特定することを含む、請求項１記載のシステム。
  7. 前記マッピングファイルにおける前記位置は、前記第１アクチュエータに送信するための第１触覚信号を生成するために用いられる第１の値及び前記第２触覚出力を提供するための信号を生成するために用いられる第２の値を含む複数の値を含む、請求項６記載のシステム。
  8. 前記選択された位置は、前記タッチの位置及び前記タッチの速度に基づいて決定される、請求項６記載のシステム。
  9. 前記プロセッサは、前記センサからのデータに基づいて前記タッチの圧力を決定するようにさらに構成され、前記合成触覚効果は前記タッチの圧力に少なくとも部分的に基づいて選択される、請求項１記載のシステム。
  10. ディスプレイをさらに備え、
    前記ディスプレイは、複数の画素を含んでディスプレイ領域を規定し、ディスプレイ信号に少なくとも部分的に基づいて画像を出力するように構成され、
    前記タッチサーフェースは、前記ディスプレイ又は前記ディスプレイの上の材料に対応し、
    前記プロセッサは、前記ディスプレイ信号を出力するために構成される、請求項１記載のシステム。
  11. 物体がタッチサーフェースに接触したときに、タッチ領域にて発生するタッチを、少なくとも一つのセンサを用いて検出することと、
    前記タッチに応答して生成するための、少なくとも一つのサーフェースベースの触覚効果を含む合成触覚効果を選択することと、
    前記選択された合成触覚効果に基づいて、前記タッチサーフェースの摩擦係数を第１アクチュエータに変化させるために前記第１アクチュエータに第１触覚信号を送信することと、
    前記選択された合成触覚効果に基づいて、前記摩擦係数の変化とは異なる第２触覚をアクチュエータに提供させるために第２触覚信号を送信することとを含む、コンピュータにて実行される方法。
  12. 前記第２触覚信号は第２アクチュエータに送信される、請求項１１記載の方法。
  13. 前記第１アクチュエータは、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、合成ピエゾエレクトリックアクチュエータ、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、又はボイスコイルアクチュエータのうちの少なくとも一つを含み、
    前記第２アクチュエータは、ピエゾエレクトリックアクチュエータ、形状記憶合金、電気活性ポリマー、合成ピエゾエレクトリックアクチュエータ、電磁アクチュエータ、偏芯回転質量アクチュエータ、線形共振アクチュエータ、又はボイスコイルアクチュエータのうちの少なくとも一つを含む、請求項１２記載の方法。
  14. 前記タッチの位置を決定することをさらに含み、
    前記合成触覚効果を選択することは、前記タッチサーフェース中における前記決定された位置又はその付近における特徴物の存在をシミュレートする触覚効果を決定することを含む、請求項１１記載の方法。
  15. 前記合成触覚効果は、
    背景テクスチャ及びシミュレートされた特徴物のうちの一方をシミュレートするために摩擦係数を変化させることと、
    前記背景テクスチャ及びシミュレートされた特徴物のうちの他方をシミュレートするために第２触覚出力を用いることとを含む、請求項１１記載の方法。
  16. 前記第１触覚信号は、特徴物をシミュレートするために前記第１アクチュエータに摩擦係数を変化させるように形成され、前記第２触覚信号は、前記シミュレートされた特徴物との相互作用に応答して触覚フィードバックを第２アクチュエータに提供させるように形成される、請求項１１記載の方法。
  17. 前記シミュレートされた特徴物は、シミュレートされたキーを含み、前記第２触覚信号は、前記シミュレートされたキーが押下されたことを示すデータに対応した触覚フィードバックを提供するように形成される、請求項１６記載の方法。
  18. 前記合成触覚効果を選択することは、
    前記タッチの位置を決定すること、
    複数の位置のそれぞれを対応する複数の触覚効果にマップするマッピングファイルにアクセスすること、および
    前記タッチの前記決定された位置に基づいて選択された位置である、選択された位置にマップされた複数の触覚効果を特定することを含む、請求項１１記載の方法。
  19. ディスプレイを用いてグラフィカルユーザインターフェースを出力することをさらに含み、前記タッチサーフェースは、
    前記ディスプレイ、
    前記ディスプレイ上の材料、又は
    前記グラフィカルユーザインターフェースの少なくとも一部分にマップされる領域を備える周辺デバイスのうちの少なくとも一つに対応する、請求項１１記載の方法。
  20. コンピューティングシステムによって実行されるプログラムコードを含む固体コンピュータストレージ媒体であって、
    前記プログラムコードは、
    前記コンピューティングシステムにタッチサーフェース上のタッチ位置を追跡させるためのプログラムコードと、
    前記コンピューティングシステムに、対話に基づいて生成する合成触覚効果を選択させるためのプログラムコードと、
    前記コンピューティングシステムに、前記タッチサーフェースの摩擦係数を変化させることによって前記選択された合成触覚効果を生成するために少なくとも一つのアクチュエータに触覚信号を伝送させるためのプログラムコードと、
    前記コンピューティングシステムに、第２触覚出力を生成することによって前記選択された合成触覚効果を生成するために少なくとも一つのアクチュエータに触覚信号を送信させるためのプログラムコードとを含む、固体コンピュータストレージ媒体。
JP2017149800A 2009-03-12 2017-08-02 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果 Expired - Fee Related JP6563983B2 (ja)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,908 2010-01-29
US12/696,900 2010-01-29
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,042 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 2010-01-29
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,893 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,010 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015020413A Division JP6220800B2 (ja) 2009-03-12 2015-02-04 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果

Publications (2)

Publication Number Publication Date
JP2017224324A true JP2017224324A (ja) 2017-12-21
JP6563983B2 JP6563983B2 (ja) 2019-08-21

Family

ID=73451290

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015020413A Expired - Fee Related JP6220800B2 (ja) 2009-03-12 2015-02-04 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP2017149800A Expired - Fee Related JP6563983B2 (ja) 2009-03-12 2017-08-02 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015020413A Expired - Fee Related JP6220800B2 (ja) 2009-03-12 2015-02-04 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果

Country Status (4)

Country Link
US (3) US9696803B2 (ja)
JP (2) JP6220800B2 (ja)
KR (1) KR101653330B1 (ja)
CN (2) CN105353877B (ja)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US8805517B2 (en) * 2008-12-11 2014-08-12 Nokia Corporation Apparatus for providing nerve stimulation and related methods
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
JP2012014375A (ja) * 2010-06-30 2012-01-19 Kyocera Corp 触感呈示装置および触感呈示装置の制御方法
WO2011024434A1 (ja) * 2009-08-27 2011-03-03 京セラ株式会社 触感呈示装置及び触感呈示装置の制御方法
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8779307B2 (en) * 2009-10-05 2014-07-15 Nokia Corporation Generating perceptible touch stimulus
US8686957B2 (en) * 2009-11-06 2014-04-01 Bose Corporation Touch-based user interface conductive rings
US8638306B2 (en) * 2009-11-06 2014-01-28 Bose Corporation Touch-based user interface corner conductive pad
US8350820B2 (en) * 2009-11-06 2013-01-08 Bose Corporation Touch-based user interface user operation accuracy enhancement
US8669949B2 (en) * 2009-11-06 2014-03-11 Bose Corporation Touch-based user interface touch sensor power
US8692815B2 (en) * 2009-11-06 2014-04-08 Bose Corporation Touch-based user interface user selection accuracy enhancement
US20110113371A1 (en) * 2009-11-06 2011-05-12 Robert Preston Parker Touch-Based User Interface User Error Handling
US9201584B2 (en) 2009-11-06 2015-12-01 Bose Corporation Audio/visual device user interface with tactile feedback
US20110109560A1 (en) 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Touch-Based User Interface
WO2011090780A1 (en) * 2010-01-20 2011-07-28 Northwestern University Method and apparatus for increasing the forces applied to bare a finger on a haptic surface
US9417695B2 (en) * 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
US8791800B2 (en) 2010-05-12 2014-07-29 Nokia Corporation Detecting touch input and generating perceptible touch stimulus
US9367150B2 (en) * 2010-05-20 2016-06-14 Nokia Technologies Oy Apparatus and associated methods
US9579690B2 (en) 2010-05-20 2017-02-28 Nokia Technologies Oy Generating perceptible touch stimulus
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US8836643B2 (en) * 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US8451240B2 (en) * 2010-06-11 2013-05-28 Research In Motion Limited Electronic device and method of providing tactile feedback
US9110507B2 (en) * 2010-08-13 2015-08-18 Nokia Technologies Oy Generating perceptible touch stimulus
US8576171B2 (en) * 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US8710968B2 (en) 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
US10638617B2 (en) * 2010-10-19 2020-04-28 Nokia Technologies Oy Display apparatus
BR112013022916A2 (pt) * 2011-03-09 2016-12-06 Bayer Ip Gmbh reação do atuador de polímero eletroativo, aparelho, sistema, e método
JP5597583B2 (ja) * 2011-03-28 2014-10-01 太陽誘電株式会社 タッチパネル装置及び電子機器
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US20120274545A1 (en) * 2011-04-28 2012-11-01 Research In Motion Limited Portable electronic device and method of controlling same
EP2742410B1 (en) 2011-05-10 2019-08-14 North Western University A touch interface device having an electrostatic multitouch surface and method for controlling the device
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
JP5755050B2 (ja) * 2011-06-28 2015-07-29 京セラ株式会社 電子機器
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
US8754756B2 (en) 2011-10-14 2014-06-17 Blackberry Limited Tactile indicator which changes the texture of a surface for a portable electronic device
US9594504B2 (en) * 2011-11-08 2017-03-14 Microsoft Technology Licensing, Llc User interface indirect interaction
US9823781B2 (en) * 2011-12-06 2017-11-21 Nri R&D Patent Licensing, Llc Heterogeneous tactile sensing via multiple sensor types
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
KR20130063871A (ko) 2011-12-07 2013-06-17 삼성전자주식회사 자기 소자 및 그 제조 방법
JP5413448B2 (ja) * 2011-12-23 2014-02-12 株式会社デンソー 表示システム、表示装置、及び操作装置
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP5857781B2 (ja) * 2012-02-15 2016-02-10 日産自動車株式会社 電動モータを用いた車両の制振制御装置
US9208662B2 (en) * 2012-03-16 2015-12-08 Qualcomm Incorporated Methods and devices for selectively controlling and varying surface texture and/or force levels on a mobile device using haptic feedback
GB201205765D0 (en) * 2012-03-30 2012-05-16 Hiwave Technologies Uk Ltd Touch and haptics device
KR20130114336A (ko) * 2012-04-09 2013-10-17 삼성전자주식회사 단말기에서 페이지 표시 방법 및 장치
JP5790578B2 (ja) * 2012-04-10 2015-10-07 株式会社デンソー 表示システム、表示装置、及び操作装置
JP6032657B2 (ja) * 2012-04-27 2016-11-30 パナソニックＩｐマネジメント株式会社 触感呈示装置、触感呈示方法、駆動信号生成装置および駆動信号生成方法
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US9792038B2 (en) * 2012-08-17 2017-10-17 Microsoft Technology Licensing, Llc Feedback via an input device and scribble recognition
KR101946365B1 (ko) 2012-08-20 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
KR102091597B1 (ko) * 2012-09-24 2020-03-20 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US20140098038A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Multi-function configurable haptic device
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9335822B2 (en) * 2012-12-12 2016-05-10 Immersion Corporation Method and system for providing haptic effects based on haptic context information
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
CN103902030B (zh) * 2012-12-26 2017-07-21 联想(北京)有限公司 一种触觉反馈方法、触觉反馈装置、电子设备及触控笔
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
KR102178845B1 (ko) 2013-01-29 2020-11-13 삼성전자주식회사 햅틱을 제어하는 휴대 단말 및 방법
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9489047B2 (en) * 2013-03-01 2016-11-08 Immersion Corporation Haptic device with linear resonant actuator
US20140274372A1 (en) * 2013-03-14 2014-09-18 Igt Touch button with tactile elements
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
CN105144052B (zh) * 2013-04-26 2019-02-15 意美森公司 用于柔性显示器的被动刚度和主动变形触觉输出设备
US20140340316A1 (en) * 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
EP3144780A1 (en) * 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US8884927B1 (en) 2013-06-27 2014-11-11 Elwha Llc Tactile feedback generated by phase conjugation of ultrasound surface acoustic waves
US9804675B2 (en) 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
US8766953B1 (en) 2013-06-27 2014-07-01 Elwha Llc Tactile display driven by surface acoustic waves
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
DE102013214148A1 (de) * 2013-07-18 2015-01-22 Technische Universität Dresden Verfahren und Vorrichtung zur haptischen Interaktion mit visualisierten Daten
WO2015020663A1 (en) 2013-08-08 2015-02-12 Honessa Development Laboratories Llc Sculpted waveforms with no or reduced unforced response
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
US9886093B2 (en) 2013-09-27 2018-02-06 Apple Inc. Band with haptic actuators
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
US9244532B2 (en) 2013-12-31 2016-01-26 Immersion Corporation Systems and methods for controlling multiple displays with single controller and haptic enabled user interface
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
EP3108344A4 (en) 2014-02-21 2017-11-22 Northwestern University Haptic display with simultaneous sensing and actuation
FR3018122A1 (fr) * 2014-02-28 2015-09-04 Orange Procede de controle d'acces par retour haptique
CN106104426B (zh) * 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
CN106489116B (zh) 2014-04-21 2019-08-16 苹果公司 用于电子设备的多触摸输入设备的力的分配
KR20150135820A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
JP6294170B2 (ja) 2014-06-26 2018-03-14 京セラ株式会社 触感呈示装置
KR102161745B1 (ko) * 2014-07-01 2020-10-06 삼성디스플레이 주식회사 터치 입력에 시각적 피드백을 제공하는 가속기, 터치 입력에 시각적 피드백을 제공하는 터치 입력 프로세싱 디바이스 및 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
DE102014014498A1 (de) * 2014-09-25 2016-03-31 Wavelight Gmbh Mit einem Touchscreen ausgestattetes Gerät sowie Verfahren zur Steuerung eines derartigen Geräts
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
JP6654743B2 (ja) * 2014-11-06 2020-02-26 天馬微電子有限公司 電子機器、電子機器の操作制御方法および操作制御プログラム
US10353469B2 (en) * 2014-11-12 2019-07-16 Kyocera Corporation Tactile sensation providing device
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
JP6332476B2 (ja) 2015-01-26 2018-05-30 富士通株式会社 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
KR20170108046A (ko) 2015-01-30 2017-09-26 임머숀 코퍼레이션 정전 햅틱 액추에이터, 및 정전 햅틱 액추에이터를 갖는 사용자 인터페이스
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
KR20170139508A (ko) 2015-04-21 2017-12-19 임머숀 코퍼레이션 에칭 입력의 동적 렌더링
US10664052B2 (en) 2015-07-01 2020-05-26 Samsung Electronics Co., Ltd. Method for providing feedback and an electronic device thereof
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
KR102462941B1 (ko) 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US9898903B2 (en) * 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN109074162A (zh) * 2016-04-21 2018-12-21 苹果公司 电子设备的触觉用户界面
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
CN109475079B (zh) 2016-07-22 2023-03-14 哈曼国际工业有限公司 触觉驾驶引导系统
US9898904B1 (en) 2016-08-17 2018-02-20 Immersion Corporation Selective control of an electric field to deliver a touchless haptic effect
US10234945B2 (en) 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
JP7043166B2 (ja) * 2016-09-21 2022-03-29 株式会社デンソーテン 表示制御装置、表示制御システム及び表示制御方法
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
US10416768B2 (en) 2016-12-28 2019-09-17 Immersion Corporation Unitary sensor and haptic actuator
US10413817B2 (en) * 2017-02-10 2019-09-17 Immersion Corporation Method and apparatus for determining energy availability for a haptic-enabled device and for conserving energy by selecting between a braking and non-braking mode
DE102017204351A1 (de) * 2017-03-15 2018-09-20 Technische Universität München Manuell betätigbare taktile Ein-/Ausgabeeinrichtung und deren Betriebsverfahren sowie Datenverarbeitungsanlage
US10564725B2 (en) * 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10768747B2 (en) * 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11435829B2 (en) 2017-10-26 2022-09-06 Weft Co. Communication device and method using haptic actuator
US10440848B2 (en) 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
US10504342B1 (en) * 2018-06-12 2019-12-10 Immersion Corporation Devices and methods for providing localized haptic effects to a display screen
US11016568B2 (en) * 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens
JP7203854B2 (ja) 2018-08-29 2023-01-13 アルプスアルパイン株式会社 入力装置、制御方法及びプログラム
CN109326221B (zh) * 2018-09-25 2021-09-28 上海天马微电子有限公司 显示装置和显示装置的触觉反馈显示方法
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US11157765B2 (en) 2018-11-21 2021-10-26 Samsung Electronics Co., Ltd. Method and system for determining physical characteristics of objects
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
KR20210077813A (ko) 2019-12-17 2021-06-28 삼성디스플레이 주식회사 표시 장치와 그의 햅틱 피드백 방법
US10955943B1 (en) 2020-02-28 2021-03-23 Microsoft Technology Licensing, Llc Touch screen panel with surface friction modification
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
US11797091B2 (en) 2021-06-24 2023-10-24 Microsoft Technology Licensing, Llc Computing device with haptic trackpad
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2023076246A1 (en) * 2021-10-26 2023-05-04 Strattec Security Corporation Automotive user interface
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
WO2007059172A2 (en) * 2005-11-14 2007-05-24 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
JP2008516348A (ja) * 2004-10-08 2008-05-15 イマージョン コーポレーション タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
JP2008209689A (ja) * 2007-02-27 2008-09-11 Sony Corp 力触覚ディスプレイ、力触覚ディスプレイの制御方法、並びにコンピュータ・プログラム

Family Cites Families (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2258094B1 (de) 1972-11-27 1974-05-30 Fa. Carl Zeiss, 7920 Heidenheim Verfahren und Vorrichtung zur photometrischen Bestimmung der Extinktion einer Probe
JPS6224187A (ja) 1985-07-24 1987-02-02 三菱原子力工業株式会社 燃料集合体
US4928030A (en) 1988-09-30 1990-05-22 Rockwell International Corporation Piezoelectric actuator
DE69109164T2 (de) 1990-03-23 1996-01-04 Rockwell International Corp Piezoelektrischer Motor.
EP0537384A1 (en) 1991-08-22 1993-04-21 Mitsubishi Jukogyo Kabushiki Kaisha Rotation control system for ultrasonic motor
JP3085481B2 (ja) 1991-09-28 2000-09-11 株式会社ニコン 反射屈折縮小投影光学系、及び該光学系を備えた露光装置
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
JP3343156B2 (ja) 1993-07-14 2002-11-11 アークレイ株式会社 光学式成分濃度測定装置および方法
US5734373A (en) 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
JP3225477B2 (ja) 1994-06-23 2001-11-05 日本電信電話株式会社 触覚刺激表出方法及び装置と触覚刺激ディスプレイ
US6850222B1 (en) 1995-01-18 2005-02-01 Immersion Corporation Passive force feedback for computer interface devices
US5691898A (en) 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6169540B1 (en) 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US7027032B2 (en) 1995-12-01 2006-04-11 Immersion Corporation Designing force sensations for force feedback computer applications
US6147674A (en) 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6028593A (en) 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6859819B1 (en) 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6046730A (en) 1996-03-15 2000-04-04 At&T Corp Backlighting scheme for a multimedia terminal keypad
US6046527A (en) 1996-07-05 2000-04-04 Honeybee Robotics, Inc. Ultrasonic positioner with multiple degrees of freedom of movement
US6084587A (en) 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7815436B2 (en) 1996-09-04 2010-10-19 Immersion Corporation Surgical simulation interface device and method
JP4354540B2 (ja) 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6088019A (en) 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
JP3987182B2 (ja) 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
EP1058924B1 (en) 1998-01-26 2012-06-13 Apple Inc. Method and apparatus for integrating manual input
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6693622B1 (en) 1999-07-01 2004-02-17 Immersion Corporation Vibrotactile haptic feedback devices
US6433711B1 (en) 1999-12-14 2002-08-13 Texas Instruments Incorporated System and method for offset error compensation in comparators
AT408488B (de) 1999-12-22 2001-12-27 Scan Messtechnik Gmbh Miniaturisiertes spektrometer
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3929672B2 (ja) 2000-03-10 2007-06-13 独立行政法人科学技術振興機構 弾性波を用いたコンピュータ入出力装置
JP2001290572A (ja) 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP3515042B2 (ja) 2000-04-13 2004-04-05 シャープ株式会社 画像表示装置および画像信号補正装置
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6963762B2 (en) 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
JP2003091233A (ja) 2001-09-17 2003-03-28 Toru Saito 画像表示装置および画像入力装置
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7032188B2 (en) 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
EP1459245B1 (en) 2001-12-12 2006-03-08 Koninklijke Philips Electronics N.V. Display system with tactile guidance
DE50207822D1 (de) 2001-12-18 2006-09-21 Oce Printing Systems Gmbh Verfahren, gerätesystem und computerprogramm zum speichern und abrufen von druckdaten in einem netzwerk
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
KR100769783B1 (ko) 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
JP4061105B2 (ja) 2002-03-29 2008-03-12 アルプス電気株式会社 力覚付与装置
JP4434609B2 (ja) 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
US7161580B2 (en) 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP3937982B2 (ja) 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
KR20040025398A (ko) 2002-09-19 2004-03-24 삼성전자주식회사 이동 통신 단말의 호착신 알림 방법
JP4117352B2 (ja) 2002-11-12 2008-07-16 株式会社ソニー・コンピュータエンタテインメント ファイル処理方法とこの方法を利用可能な装置
US7278119B2 (en) 2002-11-29 2007-10-02 Sigmatel, Inc. Battery-optimized system-on-a-chip and applications thereof
EP1570336A2 (en) 2002-12-04 2005-09-07 Koninklijke Philips Electronics N.V. Graphic user interface having touch detectability
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
EP1597895A2 (en) 2003-02-19 2005-11-23 Koninklijke Philips Electronics N.V. System for ad hoc sharing of content items between portable devices and interaction methods therefor
JP2004265281A (ja) 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
JP2004310518A (ja) 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
US20040218910A1 (en) 2003-04-30 2004-11-04 Chang Nelson L. Enabling a three-dimensional simulation of a trip through a region
US20040251780A1 (en) 2003-05-09 2004-12-16 Goodson J. Michael Advanced ceramics in ultrasonic transducerized devices
JP2004342018A (ja) 2003-05-19 2004-12-02 Alps Electric Co Ltd 力覚付与型入力装置
JP4713070B2 (ja) 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
JP3830476B2 (ja) 2003-08-29 2006-10-04 ファナック株式会社 教示操作盤
JP3856774B2 (ja) 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
DE10340188A1 (de) 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
JP2005128891A (ja) 2003-10-24 2005-05-19 Canon Inc 視触覚情報呈示装置
US7667687B2 (en) 2003-12-30 2010-02-23 Immersion Corporation Resistive and hybrid control schemes for haptic feedback interface devices
US7112737B2 (en) 2003-12-31 2006-09-26 Immersion Corporation System and method for providing a haptic effect to a musical instrument
JP2005258666A (ja) 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060209037A1 (en) 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1728142B1 (en) 2004-03-23 2010-08-04 Fujitsu Ltd. Distinguishing tilt and translation motion components in handheld devices
JP4046095B2 (ja) 2004-03-26 2008-02-13 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
US20060061545A1 (en) 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
US7796517B2 (en) 2004-06-28 2010-09-14 Minghua Chen Optimization of streaming data throughput in unreliable networks
US20060024647A1 (en) 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
GB2416962B (en) 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
US9046922B2 (en) 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
US7545550B2 (en) * 2004-09-27 2009-06-09 Idc, Llc Systems and methods of actuating MEMS display elements
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
JP4892829B2 (ja) 2004-11-15 2012-03-07 ソニー株式会社 振動発生装置、触覚機能付きの入出力装置及びその電子機器
WO2006071449A1 (en) 2004-11-30 2006-07-06 Immersion Corporation Systems and methods for controlling a resonant device for generating vibrotactile haptic effects
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
GB0503253D0 (en) 2005-02-17 2005-03-23 Univ Northumbria Newcastle User control of a hand-held device
JP2006228151A (ja) 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US8122354B1 (en) 2005-02-25 2012-02-21 The Mathworks, Inc. Systems and methods for providing an indicator of detection of input related to an element of a user interface
JP2006268068A (ja) 2005-03-22 2006-10-05 Fujitsu Ten Ltd タッチパネル装置
US20060226298A1 (en) 2005-03-30 2006-10-12 Lionel L.L.C. Graphical method and system for model vehicle and accessory control
JP4675152B2 (ja) 2005-05-16 2011-04-20 株式会社ワコム 可搬性を備えるコンピュータ
JP4756916B2 (ja) 2005-05-31 2011-08-24 キヤノン株式会社 振動波モータ
JP5275025B2 (ja) 2005-06-27 2013-08-28 コアクティヴ・ドライヴ・コーポレイション 触覚フィードバック用の同期式振動装置
KR100739723B1 (ko) 2005-07-19 2007-07-13 삼성전자주식회사 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
US7616192B2 (en) 2005-07-28 2009-11-10 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Touch device and method for providing tactile feedback
CN101278360B (zh) 2005-08-04 2011-07-27 X射线光学系统公司 用于痕量元素制图的单色x射线微束
US8116740B2 (en) 2005-09-21 2012-02-14 Nokia Corporation Mobile communication terminal and method
JP2007133698A (ja) 2005-11-10 2007-05-31 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
KR100877067B1 (ko) 2006-01-03 2009-01-07 삼성전자주식회사 햅틱 버튼 및 이를 이용한 햅틱 기기
GB2434877A (en) * 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
US8525778B2 (en) 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
WO2007117418A2 (en) 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US20070236474A1 (en) * 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
JP4810571B2 (ja) 2006-05-18 2011-11-09 アルプス電気株式会社 静電アクチュエータ
US8174512B2 (en) 2006-06-02 2012-05-08 Immersion Corporation Hybrid haptic device utilizing mechanical and programmable haptic effects
US7516406B1 (en) 2006-06-06 2009-04-07 Adobe Systems Incorporated Partial functionality indicator
JP2007331066A (ja) 2006-06-15 2007-12-27 Canon Inc 接触提示装置及び方法
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
JP5748956B2 (ja) 2006-09-13 2015-07-15 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ カジノゲーム用のハプティクスのためのシステム及び方法
JP4225337B2 (ja) 2006-09-26 2009-02-18 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及び画像処理方法
BRPI0622003A2 (pt) * 2006-09-27 2012-10-16 Nokia Corp tela sensìvel ao toque, dispositivo eletrÈnico, método para operar tela sensìvel ao toque de dispositivo eletrÈnico e produto de software
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
CN101523329A (zh) * 2006-10-05 2009-09-02 英默森公司 多模触觉反馈系统
US20080122589A1 (en) 2006-11-28 2008-05-29 Ivanov Yuri A Tactile Output Device
US20080218488A1 (en) 2006-11-30 2008-09-11 Electronics And Telecommunications Research Institute Active driving type visual-tactile display device
KR101533465B1 (ko) 2006-12-27 2015-07-02 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008225690A (ja) 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器
US9024874B2 (en) 2007-03-12 2015-05-05 University of Pittsburgh—of the Commonwealth System of Higher Education Fingertip visual haptic sensor controller
WO2008132540A1 (en) 2007-04-26 2008-11-06 Nokia Corporation Method and mobile terminal with user input based on movement of the terminal detected by a sensor
JP2008287402A (ja) 2007-05-16 2008-11-27 Sony Corp タッチパネルディスプレイ装置およびタッチパッド並びに電子機器
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
JP4960156B2 (ja) 2007-06-22 2012-06-27 株式会社東芝 加熱調理器
JP2009003867A (ja) 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US8154537B2 (en) * 2007-08-16 2012-04-10 Immersion Corporation Resistive actuator with dynamic variations of frictional forces
CN101836207B (zh) 2007-08-20 2017-03-01 高通股份有限公司 超出词汇的词的增强的拒绝
US8639708B2 (en) 2007-08-31 2014-01-28 Microsoft Corporation Fact-based indexing for natural language search
KR101348721B1 (ko) 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US20090102805A1 (en) 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US8004498B1 (en) 2007-10-22 2011-08-23 Adobe Systems Incorporated Systems and methods for multipoint temporary anchoring
US20090112572A1 (en) 2007-10-30 2009-04-30 Karl Ola Thorn System and method for input of text to an application operating on a device
KR100954529B1 (ko) 2007-11-27 2010-04-23 한국과학기술연구원 원환형 압전 초음파 공진기 및 그를 이용한 압전 초음파회전모터
US9569086B2 (en) 2007-12-12 2017-02-14 Nokia Technologies Oy User interface having realistic physical effects
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
WO2009097866A1 (en) 2008-02-04 2009-08-13 Nokia Corporation Device and method for providing tactile information
US20090207129A1 (en) 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
BRPI0804355A2 (pt) 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US20100020036A1 (en) 2008-07-23 2010-01-28 Edward Hui Portable electronic device and method of controlling same
NL2003141A1 (nl) 2008-07-30 2010-02-02 Asml Holding Nv Actuator system using multiple piezoelectric actuators.
US8676738B2 (en) 2008-09-03 2014-03-18 Nec Corporation Relationship detector, relationship detection method, and recording medium
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US10289199B2 (en) 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
CA2741580C (en) 2008-11-26 2016-10-18 Research In Motion Limited Touch-sensitive display method and apparatus
US8484179B2 (en) 2008-12-08 2013-07-09 Microsoft Corporation On-demand search result details
US8378979B2 (en) 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
CN102362246B (zh) 2009-03-12 2016-05-04 意美森公司 用于使用多个致动器实现纹理的系统和方法
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
CN102227696B (zh) 2009-05-21 2014-09-24 松下电器产业株式会社 触感处理装置
US8294557B1 (en) 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US20110115709A1 (en) 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
US9207848B2 (en) 2009-12-28 2015-12-08 Panasonic Intellectual Property Corporation Of America Text display device, text display program, and text display method presenting tactile sensations in accordance with displayed text
US8551576B2 (en) 2010-05-20 2013-10-08 GM Global Technology Operations LLC Method for controlling a coefficient of friction
US8704647B2 (en) 2010-12-21 2014-04-22 Electronics And Telecommunications Research Institute Haptic feedback case for electronic equipment
EP2686941A4 (en) 2011-03-17 2014-12-03 Coactive Drive Corp ASYMMETRIC AND GENERAL VIBRATION WAVE SHAPES FROM MULTIPLE SYNCHRONIZED VIBRATION ACTUATORS
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256105A (ja) * 2002-03-01 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> 力覚提示装置および力覚提示方法
JP2008516348A (ja) * 2004-10-08 2008-05-15 イマージョン コーポレーション タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
WO2007059172A2 (en) * 2005-11-14 2007-05-24 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
JP2008027223A (ja) * 2006-07-21 2008-02-07 Nippon Telegr & Teleph Corp <Ntt> 視触覚融合提示装置及びその方法
JP2008209689A (ja) * 2007-02-27 2008-09-11 Sony Corp 力触覚ディスプレイ、力触覚ディスプレイの制御方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
US20170255268A1 (en) 2017-09-07
CN105892921B (zh) 2019-12-10
US9696803B2 (en) 2017-07-04
JP6220800B2 (ja) 2017-10-25
US10466792B2 (en) 2019-11-05
KR101653330B1 (ko) 2016-09-01
CN105353877A (zh) 2016-02-24
CN105892921A (zh) 2016-08-24
US10073526B2 (en) 2018-09-11
JP6563983B2 (ja) 2019-08-21
US20100231550A1 (en) 2010-09-16
CN105353877B (zh) 2019-02-05
JP2015130187A (ja) 2015-07-16
KR20110130474A (ko) 2011-12-05
US20180373336A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6563983B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
JP5694205B2 (ja) 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
US10747322B2 (en) Systems and methods for providing features in a friction display
JP2012520523A5 (ja)
EP2406700B1 (en) System and method for providing features in a friction display
US20180275761A1 (en) Systems And Methods For Determining Haptic Effects For Multi-Touch Input

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190725

R150 Certificate of patent or registration of utility model

Ref document number: 6563983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees