JP2014512619A - 電気振動型タクタイル・ディスプレイ - Google Patents

電気振動型タクタイル・ディスプレイ Download PDF

Info

Publication number
JP2014512619A
JP2014512619A JP2014506471A JP2014506471A JP2014512619A JP 2014512619 A JP2014512619 A JP 2014512619A JP 2014506471 A JP2014506471 A JP 2014506471A JP 2014506471 A JP2014506471 A JP 2014506471A JP 2014512619 A JP2014512619 A JP 2014512619A
Authority
JP
Japan
Prior art keywords
haptic effect
interface device
change
friction
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014506471A
Other languages
English (en)
Other versions
JP6234364B2 (ja
Inventor
クルス‐ヘルナンデス,ファン,マヌエル
グラント,ダニー,エー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2014512619A publication Critical patent/JP2014512619A/ja
Application granted granted Critical
Publication of JP6234364B2 publication Critical patent/JP6234364B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

静電装置単独で又はアクチュエータやそれ以外の触覚効果を生成するように構成された装置との組み合わせによって触覚効果を生成するシステムが提供される。当該システムは、ディスプレイスクリーンやタッチパッド等のユーザインタフェースの表面における摩擦係数や触感をシミュレートする触覚効果を生成することができる。当該シミュレートされた摩擦係数は、当該ユーザインタフェース上で他の特性を伝達するために調整可能である。当該システムは、シミュレートされた摩擦係数及び当該表面におけるインピーダンスを測定するセンサをさらに備えることができる。

Description

関連出願への相互参照
本出願は、2011年4月22日に出願された米国特許出願第13/092,269号からの優先権を主張するものであり、この出願の全内容は参照により本明細書に組み入れられる。
本発明は、電気振動型タクタイル・ディスプレイに関する。
ビジュアルコンテンツやオーディオコンテンツに関してユーザに触覚効果(haptic effects)を提供するシステムが知られている。一般な理解によれば、このようなコンテンツについてのユーザエクスペリエンスは、触覚効果によって多少なりとも改善される。従来の一般的な触覚システム(haptic system)は、機械的振動として刺激を提供するに過ぎなかったが、これでは、システムとユーザとのインタラクションは制限されたものとなってしまう。
本発明の一態様によれば、総合的な触覚効果を提供するインタフェース装置が提供される。当該インタフェース装置は、総合的な触覚効果を出力するように構成された表面を備える。当該インタフェース装置は、当該表面に接続された静電装置をさらに備える。この静電装置は、前記表面で第1の触覚効果を生成する。前記インタフェース装置は、前記表面で第2の触覚効果を生成する静電装置をさらに備える。当該総合的な触覚効果は、前記第1の触覚効果及び前記第2の触覚効果を含む。
本発明の一態様によれば、総合的な触覚効果を提供する方法が提供される。当該方法は、静電装置を用いてインタフェース装置の表面で第1の触覚効果を生成する工程と、アクチュエータを用いて当該表面で第2の触覚効果を生成する工程とを備える。当該総合的な触覚効果は、前記第1の触覚効果及び前記第2の触覚効果を含む。
本発明の一態様によれば、静電ディスプレイにより触覚効果を提供するように構成されたシステムが提供される。前記静電ディスプレイは、前記表面がたとえ滑らかな場合であっても、当該ディスプレイの表面において摩擦の大きさや触感をシミュレートすることができる触覚効果を出力するように構成される。前記静電ディスプレイは、当該ディスプレイ上に表現される地形を伝達するために、様々な摩擦係数や触感をシミュレートする様々な触覚効果を出力することができる。一実施形態において、前記触覚効果は、物質の地形を伝達する摩擦係数や触感をシミュレートすることができる。一実施形態において、前記触覚効果は、前記ディスプレイの位置の高さや深さを伝達する摩擦係数や触感をシミュレートすることができる。一実施形態において、前記触覚効果は、前記ディスプレイ上の所定の場所にあるデータの特性を伝達することができる。センサは、シミュレートされた摩擦係数を測定することができ、その測定した摩擦係数に基づいて触覚効果を調節することができる。
本発明の一態様によれば、前記静電ディスプレイの表面で測定されたインピーダンスに基づいて触覚効果を変化させるシステムを提供することができる。一実施形態に係るシステムは、ユーザの肌の厚み、指の寸法、又は指の湿度によって、ユーザの指のインピーダンスの変化を測定する。当該システムは、これらの変化に関して触覚効果を調節し、二人又は三人のユーザによって同じように経験される刺激を生成することができる。
本発明の一態様によれば、アクチュエータ、サーマル装置等の非移動効果生成装置(non−moving effect generator)、又はその両方を備える静電ディスプレイが提供される。
本発明の一態様は、静電装置におけるディスプレイスクリーン以外の表面に触覚効果を生成することに関する。一実施形態において、触覚効果は、ディスプレイ装置の側部や背面部に生成される。これらの位置には、スライドバー等のコントローラが配置される。前記以外の表面としては、ハンドル、ダッシュボード、ジョイスティック、タッチパッド(又はトラックパッド)、及びリモートコントローラ等が含まれる。一実施形態における触覚効果は、ディスプレイ上に表現された特徴を伝達するために、当該ディスプレイ上の場所に対応するタッチパッド上の位置に生成される。
本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の“a”,“an”及び“the”には複数のものへの言及が含まれる。ただ
し、文脈によって別に解すべきことが明白な場合はこの限りでない。
本発明の実施形態に従って、アクチュエータ及び静電装置を用いて触覚効果を生成するように構成されたシステムを示す。
図1Aのシステムの他の視点から見た図を示す。
本発明の実施形態に従って、触感をシミュレートする触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、一又は複数のデータ要素に対応する触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、地図上の位置に対応する触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、触覚効果を用いて高さをシミュレートする方法の説明を示す。
本発明の実施形態に従って、ユーザのジェスチャに基づいた触覚効果を生成するように構成されたシステムを示す。 本発明の実施形態に従って、ユーザのジェスチャに基づいた触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、映像トリガ又は音声トリガに基づいた触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、触感を伝達する触覚効果をディスプレイではない表面に生成するように構成されたシステムを示す。
本発明の実施形態に従って、ディスプレイではない表面に触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、ディスプレイではない表面に触感をシミュレートする触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、ディスプレイではない表面に触覚効果を生成するように構成されたシステムを示す。
本発明の実施形態に従って、触覚効果を生成するように構成されたシステム及び回路のブロック図を示す。
図1は、ユーザインタフェースにおける摩擦係数をシミュレートする触覚効果を提供するシステム100の一実施形態を示す。触覚効果とは刺激又は力を意味し、振動、引力もしくは斥力、電圧もしくは電流、これら以外の機械的な力もしくは電磁的な力、加熱もしくは冷却、又はこれら以外の刺激を含むがこれらには限られない。触覚効果は、本明細書で説明される力もしくは刺激又はこれらの組み合わせを含み得る。複数の触覚効果を組み合わせて、総合的な触覚効果を形成することができる。触覚効果をユーザインタフェースに出力することにより、当該ユーザインタフェースと相互にやりとりするユーザ又は物体にフィードバックを提供することができる。触覚効果は、機械的な動き、例えば、固体の振動、流体の振動、又はユーザに触れるピンやロッド等の動作誘発物体(actuating object)を通じてフィードバックを提供することができる。ピンやロッドは、表面の起伏や輪郭を変化させることによって、当該表面を変形させることができる。総合的な触覚効果は、静電相互作用を通じてフィードバックを提供し、ユーザインタフェースにある指等の物体に対して力を発生させたり、指の神経やスタイラスのセンサ等の電気信号を検知可能な物体に電気信号を送信したりすることができる。
このシステムは、例えば、音楽プレイヤ、映像プレイヤ、グラフィックディスプレイ、電子書籍リーダ、もしくはこれらの組み合わせ、又はユーザインタフェースを有する前記以外のより汎用的な装置の一部であってもよい。本実施形態におけるシステム100は、接触している物体を検出するように構成されたディスプレイスクリーン110を通じてユーザとやりとりする。当該物体は、ユーザの指140、ユーザの手の平、又はこれら以外のユーザの体の触覚効果を感じることができる部分であってもよい。当該物体は、スクリーン110がその存在を検出可能なスタイラス等の装置であってもよい。当該スクリーンは、容量結合、抵抗結合、又は誘導結合によって物体を検出することができるが、検出方法はこれらの技術には限られない。
システム100は、一又は複数のアクチュエータ112、114、116、静電装置120、又はこれらの組み合わせによって、ディスプレイスクリーン110の表面で触覚効果を提供することができる。アクチュエータ112、114、116は、スクリーン100の表面において振動となる機械的な動きを生成するように構成される。アクチュエータは、圧電アクチュエータ、ボイスコイル、ソレノイド等の磁気アクチュエータ、空気圧式アクチュエータ、超音波エネルギーアクチュエータ、偏心質量体アクチュエータ、電気活性ポリマーアクチュエータ、形状記憶合金、又はこれら以外の種類のアクチュエータとして実現される。当該アクチュエータは、トルクを振動に変換するモータ、流体圧、物質の形状変化、又はこれら以外の動きを生成する力によって作動するものであってもよい。例えば、アクチュエータは、2つの物体間(例えば、後述する導電層120と絶縁層122との間)や静電表面アクチュエータにおけるレイヤ間の静電気引力を用いて動きを生成することができる。また、当該アクチュエータによって生成される動きは振動に限られず、横方向の移動、上下方向の移動、回転移動、もしくはこれらの組み合わせ、又は前記以外の動きが含まれる。図1Aにおける実施形態に関し、アクチュエータ116は、触覚効果を生成する振動を生成する圧電アクチュエータ又はボイスコイルアクチュエータであってもよく、アクチュエータ112は、触覚効果を生成する上下方向の動きを生成するソレノイドであってもよく、アクチュエータ114は、触覚効果を生成する横方向の動きを生成する空気圧式アクチュエータであってもよい。触覚効果を発生させるべきときには、当該アクチュエータの全てをアクティベートしてもよく、省電力のためや様々な触覚効果を生成するためにアクチュエータを1つだけアクティベートしてもよい。また、特定のアクチュエータは、システム100全体に対して、ユーザとやりとりするディスプレイスクリーン110のみに対して、当該ディスプレイスクリーンの一部のみに対して、又はシステムの他の部分に対して触覚効果を生成するように配置及び構成されてもよい。例えば、アクチュエータ116は、隅以外の部分における振動の振幅が閾値振幅よりも小さくなるように振動レベルを低く維持することにより、ディスプレイスクリーン110の隅にのみ振動を生成するように構成されてもよい。
システム100は、静電装置により触覚効果を提供してもよい。この静電装置は、電気振動型ディスプレイ(electrovibrotactile display)や、これ以外にも、触覚効果を生成するために機械的な動きではなく電圧や電流を加える任意の装置であってもよい。本実施形態において、前記静電装置は、導電層120と絶縁層122とを少なくとも有する。この導電層120は、半導体又は銅、アルミニウム、金、もしくは銀等の任意の導電体であってもよい。この絶縁層122は、ガラス、プラスチック、ポリマー、又は前記以外の任意の絶縁物質であってもよい。このシステム100は、前記導電層120に電気信号を加えることによって、前記静電装置を動作させることができる。この電気信号は、本実施形態において、前記導電層をディスプレイスクリーン110に近接又は接触する物体と容量結合させる交流信号であってもよい。この交流信号は、高電圧増幅器によって生成されてもよい。システム100は、触覚効果を生成するために、容量結合以外の原理を用いることもできる。この容量結合は、ディスプレイスクリーン110における摩擦係数や触感をシミュレートすることができる。ディスプレイスクリーン110は滑らかであるが、前記容量結合がスクリーン100の近くにある物体と導電層120との間に引力を生成するという点において、摩擦係数はシミュレートされたものである。この引力は、当該表面における物質の構造が変化しなくとも、当該表面における摩擦を増加させる。当該物体と導電層との間の引力のレベルを変化させることにより、ディスプレイスクリーン110を横切って動く物体の摩擦を変化させることができる。摩擦力を変化させることにより摩擦係数の変化をシミュレートすることができる。シミュレートされる摩擦係数もアクチュエータによって変化させることができる。例えば、アクチュエータは、振動を生成することにより、又は、ディスプレイスクリーン110の表面の起伏を変化させて実際の摩擦係数を変化させることにより、摩擦力を増加させることができる。
容量結合は、ディスプレイスクリーン110に近接し又は接触しているユーザの指140の肌にある小体(corpuscles)や当該容量結合に応答できるスタイラスの構成部品等の物体の一部分を刺激することによって、触覚効果を生成することもできる。肌における小体は、例えば、刺激されることにより、振動やより具体的な感覚として容量結合を検知することができる。例えば、導電層120は、ユーザの指140の導電性の部分と結合する交流電圧信号を加えられてもよい。ユーザがディスプレイスクリーン110に触れてその指140を当該スクリーン上で動かすときに、当該ユーザは、とげとげした感じ(プリックリネス、prickliness)、ざらざらした感じ(グレインネス、graininess)、こぶのある感じ(バンピネス、bumpiness)、でこぼこした感じ(ラフネス、roughness)、ねばねばした感じ(スティッキーネス、stickiness)、又はこれら以外の触感を感じることができる。ユーザの肌にある小体は、指140がスクリーン110を横切って動くときに、一般的な感覚を感じるように刺激されてもよい。したがって、容量結合を用いることにより、スクリーンに近接し又は接触している物体と結合する信号を生成することによって、摩擦係数や触感をシミュレートすることができる。
多くの異なる物体や人に対して同じ引力や同じレベルの刺激を提供するために、システム100はディスプレイスクリーン100の表面におけるインピーダンスを測定するセンサをさらに備えることができる。当該センサは、表面全体にパルスを加えて表面電圧を測定することにより、又は、容量結合の強さを測定することにより、インピーダンスを測定することができる。当該センサは、インピーダンスを測定するために、上記以外の公知の技術を用いることができる。また、大気中の湿度や温度等の変化する環境条件を補正することができる。触覚効果は、人のインピーダンスに基づいて調整可能である。例えば、高いインピーダンスを有する物体に対してはより力強い触覚効果を加え、低いインピーダンスを有する物体に対してはより弱い触覚効果を加えることができる。
一実施形態に係るユーザインタフェースには、物体が導電層に直接接触できるように、絶縁層が備えられていない。触覚効果は、導電層から物体へ電流を通過させることにより生成され得る。本実施形態は、絶縁層を用いてもよいが、当該絶縁層には一又は複数の電極が備えられ、物体が絶縁層を横切って動くときに当該電極に接触する物体に電流を流すことができるようにする。
一実施形態に係る触覚効果システムは、アクチュエータ及び静電装置と組み合わせされるサーマル装置118を備えてもよい。当該サーマル装置118は、当該システムとやりとりする物体を直接又は間接に加熱又は冷却することにより触覚効果を生成することができる。
当該触覚効果は、アクチュエータ及び静電装置によって1つずつ生成されたものでもよく、組み合わされたものであってもよい。例えば、スクリーン110に接触する指140の肌を引き寄せるとともにその肌にある小体を刺激できるほど高い電圧を導電層120に加えることができる。この電気振動型タクタイル(electro−vibrotactile)触覚効果と同時に、当該導電層120及び絶縁層122に静電気力が生成され、これらの層における機械的な動きが生成される。この触覚効果は、アクチュエータ112、114、116の1つ又はこれらの組み合わせによって生成される動きと組み合わされてもよい。これらの装置は、スクリーン表面の摩擦係数や触感をシミュレートするために協働できる。これらのアクチュエータは、例えば表面の摩擦や触感の変化もシミュレートするために、振動を生成することができる。
ユーザの指140等の物体がスクリーン110の表面を横切って動くときに、これらの装置によって、様々にシミュレートされた触感又は摩擦係数が生成される。図1には、第1の触覚領域130、第2の触覚領域132、及び第3の触覚領域134が示されているが、他の実施形態においては、1つの触覚領域、2つの触覚領域、又は4つ以上の触覚領域が設けられていてもよい。ユーザの指が第1の領域130で動いたときに、アクチュエータ及び静電装置によって、第1の触感又は摩擦係数がシミュレートされてもよい。ユーザの指が第2の領域132及び第3の領域134で動くときには、当該アクチュエータ及び静電装置は、第2及び第3の触感又は摩擦係数をそれぞれシミュレートすることができる。第2及び第3の触感又は摩擦係数は、第1の触感又は摩擦係数と異なるものでもよい。
本システムは、シミュレートされた摩擦係数を測定するセンサを備えても良い。このセンサは、インピーダンスを測定する上記のセンサと同じものでも、これとは異なるものであってもよい。当該センサは、例えばスクリーン110に接触している物体から当該スクリーン表面が受けている圧力の測定値に基づいて、及び、その表面における当該物体の動きに基づいて、シミュレートされた係数を測定することができる。当該物体の動きは、表面における圧力の時間変化及び位置変化に基づいて測定可能である。当該センサは、例えば、スクリーン110上におけるユーザの指の加速度及び当該ユーザの指から当該表面が受けた圧力に基づいてシミュレートされた摩擦係数を表す値を計算することができる。
当該触覚効果及びセンサは、制御部によって制御可能である。制御部は、インピーダンス、シミュレートされた摩擦係数、表面圧力、表面で測定された動きの速度、及びこれら以外のファクターを分析し、触覚効果のトリガ条件が満たされているか否か、又は、どの程度強い触覚効果を発生させるかを決定することができる。制御部の詳細は後述する。
図1Aの触覚効果システムの正面図を図1Bに示す。図1Bは、シミュレートされた摩擦係数又は触感を有する触覚領域130を示す。ユーザが指140をこの領域において動かすと、アクチュエータ及び静電装置は、シミュレートされた摩擦係数に対応する摩擦力をシミュレートする触覚効果を生成することができる。触覚領域の面積は、図1A及び図1Bに示すものよりかなり小さくても大きくてもよいし、対応する摩擦係数や触感も変更可能である。
図2は、触覚効果システム200の一実施形態を示す。システム200は、ディスプレイスクリーン210によりユーザインタフェースを提供するように構成される。ディスプレイスクリーン210は、触覚領域230を備える。触覚領域230は、ユーザの指140が当該領域を横切って動くときにれんがのザラザラした触感をシミュレートすることができる。ディスプレイスクリーン210は、触覚領域232を備える。触覚領域232は、ユーザの指140が当該領域を横切って動くときに石のゴツゴツした触感をシミュレートすることができる。当該システムは、上記以外の触感、例えば、スティッキーネス、ラフネス、アブレイシブネス(abrasiveness)などを生成することもできる。当該触覚効果は、触感及び温度を両方ともシミュレートするために、サーマル装置からの加熱又は冷却を組み込むことができる。
図3は、触覚効果システム200が提供できるインタラクションの他の形態を示す。システム200は、ファイルフォルダ等のデータ要素を表す触覚効果を生成することができる。スクリーン210は、異なる種類のフォルダに対して異なる触感又は摩擦係数をシミュレートする3つの触覚領域330、332、334を備えることができる。例えば、システム200は、ユーザの指140が領域330を横切って動くときには弱い触覚効果を提供するか全く触覚効果を提供しない。これは、ビジュアルデータを表すフォルダに対応するものである。システム200は、ユーザの指140が領域332を横切って動くときにより強い触覚効果を提供することができる。これは、オーディオデータを表すフォルダに対応するものである。最後に、システム200は、ユーザの指140が領域334を横切って動くときに、さらに強い触覚効果を提供することができる。これは、保護されたデータを表すフォルダに対応するものである。触覚領域は、多くの異なる種類のデータ要素、例えば、ボタン、チェックボックス、ドロップダウンボックス、他のフォーム要素、アイコン、カーソル、及びウインドウに対応することができる。システム200は、時間に応じて領域の触感や摩擦係数を変化させることができる。例えば、触覚領域がボタンに対応する場合には、システム200は、ユーザの指140が当該領域を横切って動く場合の第1の時間と第2の時間とで当該領域の触感や摩擦係数を変化させることができる。この変化は、例えば、ボタンが押下されたことを反映することができる。
図4には、データ要素の他の例が示されている。ここで、触覚領域430は、スライドバー(又はスクロールバー)に対応している。ユーザの指140が当該領域を横切って動くと、システム200は、指140が当該領域に存在する限り触感又は摩擦係数をシミュレートする触覚効果を生成することができる。システム200は、スライドバー上の指がある領域に当該触覚効果を局所化することができる。例えば、システム200は、スクリーン210の下方の異なる位置に複数のアクチュエータを備え、指140に最も近いアクチュエータのみをアクティベートすることができる。
システム200は、シミュレートされる触感や摩擦係数を調整するために、触覚効果を調整するように構成されてもよい。つまり、ユーザは、スライドバーを用いて画面を下方にスクロールするときにより正確なコントロールを実現するため、高い触感や摩擦係数をシミュレートするようにシステム200を構成することができる。当該システムは、例えば、指140の位置に基づいて触覚効果を自動的に調整することもできる。例えば、ユーザの指がスクロールを素早く行おうとしているときには、当該システム200は、スクリーン上での動きが速いことを検出して低摩擦係数をシミュレートするための弱い触覚効果を生成することにより、当該ユーザに適応することができる。
図5は、触覚効果をテキストの特性に対応させる例を示す。この具体的な実施形態は、テキストのハイライトに対応する触覚領域530を示している。また、当該触覚領域は、下線、イタリック、太字テキスト、所定のフォントのテキスト、又はテキストに属する前記以外の任意の特性に対応するものであってもよい。また、当該触覚効果は、特性がテキストに適用されたときに割り当てられたり変更されてもよい。例えば、ユーザがテキストをハイライトしているときに、触覚効果を生成することができる。
当該触覚効果は、テキストの視認可能な特性のみに対応するのではなく、メタデータ等の視認できない特性に対応するものであってもよい。例えば、システム200は、ハイパーリンクされたテキストに触覚領域を割り当てることができる。他の例において、システム200は、XMLファイルにアクセスして所定のセクションに属する所定のテキストを特定し、当該セクションに触覚領域を割り当てることができる。上述のように、ある領域の摩擦係数は、時間やスクリーン上の位置に応じて変化し得る。この例では、ユーザの指140がテキストをスクリーン210上の別の位置にスクロールするときに、システム200は、新しい位置にシミュレートされた新しい摩擦係数を設定し、例えば、古い位置における摩擦係数をゼロか所定の初期値に設定することにより、当該触覚領域を当該テキストの新しい位置へ効率的に移動させるように構成される。
図6は、触覚効果を位置に対応させる例を示す。本実施形態において、触覚領域632は、ユーザと特定の関係がない位置に対応し、その摩擦係数は、ゼロか初期値である。触覚領域630及び634は、2つの場所を識別するシミュレートされた触感又は摩擦係数を有する。この摩擦係数は、当該場所の識別子として働く。システム200は、当該場所における地形をシミュレートする触感又は摩擦力を生み出す触覚効果を生成することもできる。例えば、触覚領域630における触覚効果は、砂地の触感をシミュレートすることができ、触覚領域634における触覚効果は、砂利道の触感をシミュレートすることができる。触覚効果は、地形の触感をシミュレートすることには限定されない。例えば、スクリーン210は、衣服、繊維、食べ物、及びこれら以外の任意の物質や製品を表示することができる。システム200は、表示された物質や製品に対応する触覚領域を割り当て、当該物質又は製品をシミュレートする触感や摩擦力を生み出す触覚効果を生成することができる。
当該触覚効果は、一般に、描画における触感をシミュレートするように生成され得る。例えば、ユーザの指140がディスプレイスクリーン210に表示された描画プログラムにおいて描画する場合、当該システムは、例えば、ユーザの指140がスクリーン上にクロスハッチを描いているときにはクロスハッチの触感をシミュレートし、ユーザの指140がスクリーンにスプレープリントをしているときには、よりザラザラした触感をシミュレートする触感を生み出す触覚効果を生成することができる。
図7は、表面の特徴、特に隆起したエッジのシミュレートを示す。本実施形態において、このシミュレートされた隆起エッジ731は、スクリーンに描かれた領域、例えば、ボタン、テキストボックス、アイコン、又はこれら以外のユーザ入力オブジェクトの3次元の外観を表すことができる。例えば、ボタンのシミュレートされた隆起エッジを感じたユーザは、スクリーンを見なくとも、自らの指がボタンの上部を動いていることを知ることができる。シミュレートされた表面の特徴は、より一般に、ユーザインタフェースの高さや深さを伝達することができる。
隆起エッジ731は、ユーザの指140が触覚領域732の上にあるときにより強い触覚効果を加え、ユーザの指が触覚領域730の上にあるときにより弱い触覚効果を加え、ユーザの指が触覚領域734の上にあるときに触覚効果を加えないようにする時間領域プロファイル(time domain profile)によって定義され得る。例えば、触覚効果システムは、ユーザの指140が領域732の上で動いているときに高摩擦係数をシミュレートして、隆起エッジ731の上り勾配を表すことができる。当該触覚システムは、ユーザの指140が領域730の上で動いているときにより低い摩擦係数をシミュレートして、物体の平坦な上部を表すことができる。当該触覚システムは、ユーザの指140が領域734の上を動いているといきに、さらに弱い(例えばゼロの)摩擦係数をシミュレートし、下り勾配を表すことができる。ユーザの指が領域730の方向に動いているか(上っているエッジに対応する)又はその方向から離れる方向に動いているか(下っているのエッジに対応する)を検出することにより、当該システムは、触覚効果を変えて、上りについては高摩擦係数をシミュレートし、下りについては低摩擦係数をシミュレートすることができる。本実施形態においては、時間によって触覚効果を変化させる時間領域プロファイルについて説明したが、時間は独立変数ではない。むしろ、触覚効果のタイミングは、指140の位置に依存する。したがって、時間領域プロファイルにおける触覚効果は、常に同じ時間に発生するとは限らず、ユーザの指が触覚領域730、732、734にどれだけ素早く近づいているかに依存する。
ユーザインタフェースにおける高さや深さをより一般的に伝達するために、地図を用いて、触覚領域や摩擦係数をユーザインタフェース上の場所に割り当てることができる。触覚領域は、シミュレートされた2つの摩擦係数に限られず、それ以上の又はそれ以下の摩擦係数を有していても良い。より多くの摩擦係数を用いることにより、シミュレートされた摩擦をユーザの指が動いている方向に基づいて調節することができる。例えば、当該システムは、ユーザの指が北に対応する方向から領域730に近づいている場合にある摩擦係数を適用し、ユーザの指が西に対応する方向から近づいてきている場合に異なる摩擦係数を適用することができる。複数の摩擦係数により、領域732を異なる領域に対応する個別のサブ領域に効果的に分割することができる。当該システムは、例えば、2つの基準位置間の高さの差を当該2つの基準位置の水平距離で除することにより、地図に基づいて傾斜を計算するように構成されてもよい。スクリーンに表示された画像について、当該システムは、例えば、明度差、影の位置、及び画像内における高度差を測定できる前記以外の視覚的要素に基づいて、当該画像内における高度差を計算するように構成されてもよい。当該システムは、高度及び地形に関する情報を有し、物体、地形、又はユーザインタフェースに表示される他の種類の画像の地形図及び触感をシミュレートする触覚効果を生成できるものであってもよい。
高さ及び深さの知覚を変えるためにアクチュエータを用いてもよい。例えば、アクチュエータは、傾斜を表す領域から平坦部を表す領域への変化を示す振動を生成することができる。または、当該アクチュエータは、例えば、表面の起伏を変化させるロッドやピンを用いることにより、高さや深さを実際に作り出すことができる。
触覚効果は、表面にある物体からの表面圧力や動きの速さだけでなく、より具体的に認識されるジェスチャに基づいても生成され得る。図8A及び図8Bは、ページをめくるジェスチャに応答して生成される触覚効果を示す。触覚効果システム800は、スクリーン上にページの束を描写するディスプレイスクリーン810を備える。システム800は、スクリーン810上の位置に触覚領域を割り当てるのではなく、ユーザの指140が束820の中のページをめくっていると認識したときに触覚効果を生成することができる。例えば、当該システムは、ユーザの指がスクリーン810の右下隅から動き始めたか否か、及び、その指が左側に動いたか否かを検出することができる。システム800は、先頭のページがめくられていることを表現すると、次に、ユーザの指140がページの隅に追随しているか否かを検出することができる。もし追随していれば、システム800は、当該ジェスチャがページをめくるジェスチャであると認識し、触覚効果を生成することができる。当該システムは、これ以外のジェスチャ、例えば、スクロールジェスチャ、ズームジェスチャ、又は前記以外の認識可能な指の任意の動きを認識するように構成されてもよい。ズームジェスチャに関して、システム800は、スクリーン810上における2以上の指の動きを認識するように構成されてもよい。当該システム800は、2本、3本、又はそれ以上の本数の指に基づいて、前記以外のジェスチャ、例えばピンチジェスチャや回転ジェスチャを認識することができる当該システムは、2以上のユーザの指の動きに適応することができる。
触覚効果は、ユーザインタフェースに示されたビデオコンテンツ、グラフィックコンテンツ、又はオーディオコンテンツに基づいて開始されてもよい。図9は、着呼の映像表示及び音響表示に伴って生じる触覚効果を生成する触覚効果システム900を示す。システム900は、例えば、電話呼の視覚表示をスクリーン910上に表示するときに、当該スクリーン上に摩擦係数又は触感をシミュレートする触覚効果を生成するように構成され得る。
また、触覚効果は、ディスプレイスクリーン以外のユーザインタフェース表面上に生成されてもよい。装置の制御部はディスプレイスクリーン以外の表面に配置されるので、スクリーンはユーザ入力を受け付け可能である必要がない。その代わりに、スクリーンは、単にビジュアルオーディオコンテンツ及び触覚効果を出力し、図9のシステムのディスプレイではない表面にあるスライドバー930が例えばユーザ入力を受け付ける。当該スライドバーは着呼に応答するコントローラであってもよい。当該システムは、トリガ条件がなくとも触覚効果を生成することができる。例えば、静電装置は、ユーザの存在やトリガイベントによらず、当該スライドバーの下に一定の電圧を加えておくことができる。または、着呼のようなトリガイベントに基づいてのみ触覚効果を生成してもよい。
図10は、別の非ディスプレイ表面1020を示す。一実施例における表面は、コンピュータディスプレイスクリーン1010への入力を提供するトラックパッド又はタッチパッドに設けられる。コンピュータシステム1000は、スクリーン1010上の領域をタッチパッド1020上の触覚領域に対応させることができる。ユーザの指140が領域1030を横切って動き場合には、例えば、当該タッチパットは、コンピュータシステムのディスプレイ1010によって受信され領域1040を横切って動くカーソルやポインタとして反映される出力信号を生成することができる。タッチパッド1020は、コンピュータシステム1000からの入力信号を受信し、その受信した入力信号により触覚領域1030において触覚効果を生成することができる。ユーザの指が領域1032及び領域1034の上を動く場合には、当該タッチパッドは当該動きを検出し、システム1000に信号を出力することができる。システム1000は、この出力された信号に基づいて、カーソル又はポインタがディスプレイ1010上において対応する領域1042及び領域1044を横切って動くことを表現する。同時に、当該システムは、タッチパッド1020に信号を送信して、ユーザの指140が領域1032の上を動いているときに第1の触覚効果を生成させ、ユーザの指140が領域1034の上を動いているときに第2の触覚効果を生成させることができる。
図11は、触覚領域が境界領域の形状となる他の実施例を示す。本実施形態では、1つのファイル1144を含むファイル領域1140と、文書を含まないファイル領域1142とが示されている。このファイル領域は、ディスプレイスクリーン1010に描画されるウィンドウ又はファイルフォルダであってもよい。システム1000は、ファイル領域1140の境界に対応する触覚領域11130を割り当て、ファイル領域1142の境界に対応する触覚領域11132を割り当てることができる。このファイル領域は、ファイルをある領域から移動させることができないように、又は、ファイルを他の領域に書き込むことができないように、ロックされたものであってもよい。図11における触覚領域は、例えば、ユーザの指140がファイルを領域1140から外へ又は領域1142の中へ動かすことを検知したときに、触覚効果を提供することができる。つまり、当該システムは、ユーザの指が領域1130又は領域1132に触れたりその近くにきたときに、触覚効果を生成し、ユーザに当該アクションが禁止されていることを示すことができる。システム1000は、ユーザがファイルをドラグしようとしている場合にのみ、触覚効果を発生させるようにしてもよい。例えば、システム1000は、タッチパッド1020における動きを監視して、ユーザの指が領域1134において動き始めたか否かを検出することができる。ユーザの指がタッチパッド1020の他の部分で動き始めた場合には、システム1000は、触覚効果を生成しないと決定することができる。
図12は、さらに他の実施例を示す。この実施例におけるタッチパッド1020は、スクリーン1010上の地形に対応する摩擦又は触感をシミュレートすることができる。図6に示した実施形態と異なり、本実施形態における触覚効果はタッチパッド1020のような非ディスプレイ表面において触感をシミュレートする。ここで、システム1000は、場所1240にクレーテニスコートがあり、場所1242にハードコートがあるマップを示すことができる。当該システムは、クレーコート1240のスクリーン表示に対応するように触覚領域1230を割り当て、ハードコート1242のスクリーン表示に対応するように触覚領域1232を割り当てる。当該システムは、表面の動きを監視し、ユーザの指が領域1230を横切って動く場合にクレーコートに似た摩擦力又は触感を生み出し、ユーザの指が領域1232を横切って動く場合にハードコートに似た摩擦力又は触感を生み出すように触覚効果を生成することができる。触覚効果は、ディスプレイスクリーン1010に表示されない特徴に対しても生成可能である。例えば、システム1000は、ディスプレイスクリーン1010に表示されないか又はユーザにとって見ることができない地下トンネルに対応する触覚領域1234を割り当てることができる。
この触覚領域は、図12に説明の都合上表示されているが、実際には見えないものである。システム1000は、カーソル、ポインタ、アイコン、又はアバタをスクリーン上に表示して、タッチパッド上での動きがスクリーン上での動きとどのように対応しているのかをユーザに示すことができる。
図13は、さらに別の非ディスプレイ表面を示す。この例では、非ディスプレイ表面がゲームのリモートコントローラ1320に設けられている。このリモートコントローラ1320が触覚効果を出力することができる。当該ゲームリモートコントローラ1320は、アクチュエータ、静電装置、サーマル装置、又はこれらの組み合わせを使用して、当該コントローラの表面に触覚効果を生成することができる。当該触覚効果は、ディスプレイスクリーン1310に表現されたイベント、当該リモートコントローラの加速度もしくは速度、スクリーン1310に対するコントローラ1320の位置もしくは向き、音、照度レベル、又はこれら以外のトリガによって開始される。
本明細書で説明する任意の実施形態について、これらの以外のトリガを用いることができる。トリガの前記以外の例には、温度、湿度、照明、これら以外の環境条件、及び表面接触面積(例えば、他の物体との接触面積)が含まれる。これらの要素は、トリガとして働くだけでなく、触覚効果をどれだけ強くするか決める決定要因としても働く。例えば、センサによって暗く低照度の条件が検出された場合には、より強力な触覚効果を生成して、当該環境における見づらさを補償することができる。
また、前記以外の非ディスプレイ表面を使用することもできる。例えば、触覚効果は、スイッチ、つまみ、これら以外の制御機器、ダッシュボード、これ以外の制御盤の表面、又は触覚効果を出力可能な前記以外の任意の表面に出力することができる。また、本発明の実施形態は、全体が変形するようになっている表面などの、変形可能な表面とともに用いられ得る。
図14は、触覚効果を生成するモジュール1400の実施形態を示す。モジュール1400は、本明細書において説明した触覚効果システムの任意の実施形態に備えられ得る。モジュール1400は、一又は複数の触覚効果を生成する触覚装置1430を備えることができ、センサ1440によって測定されたインピーダンスやシミュレートされた摩擦係数に基づいて、当該触覚効果を調節することができる。当該センサデータは、制御部1450によって解析され、メモリ1420に蓄積される。制御部1450は、プロセッサ1410の一部として備えられてもよいし、別個の論理回路であってもよい。
現時点で最も実用的であり好ましいと考えられる態様に基づいて、本発明を例示のために詳細に説明したが、このような詳細な説明は例示のみを目的としたものである。本発明は開示された実施形態に限定されるものではなく、むしろ添付された特許請求の範囲の趣旨及び範囲に入る変形や均等な配置も本発明に含められることが意図されている。例えば、本発明においては、あらゆる実施形態の一又は複数の特徴を他の実施形態の一又は複数の特徴と可能な限り結合することができる。

Claims (49)

  1. 総合的な触覚効果を提供するインタフェース装置であって、
    前記インタフェース装置は、
    前記総合的な触覚効果を出力するように構成された表面と、
    前記表面に接続され、当該表面で第1の触覚効果を生成する静電装置と、
    前記表面で第2の触覚効果を生成するアクチュエータと、を備え、
    当該総合的な触覚効果は、前記第1の触覚効果及び前記第2の触覚効果を含むことを特徴とするインタフェース装置。
  2. 前記総合的な触覚効果は、シミュレートされた摩擦係数、振動、前記表面の起伏の変化、触感、又はこれらの任意の組み合わせを含むことを特徴とする請求項1に記載のインタフェース装置。
  3. 前記静電装置は、前記第1の触覚効果を生成することにより摩擦係数又は触感をシミュレートするように構成されることを特徴とする請求項1に記載のインタフェース装置。
  4. 前記触感は、ラフネス、バンピネス、スティッキーネス、ファインネス、コーネス、スムースネス、又はこれらの任意の組み合わせであることを特徴とする請求項3に記載のインタフェース装置。
  5. 前記アクチュエータは、前記第2の触覚効果を振動又は前記表面の起伏の変化として生成することにより前記総合的な触覚効果を変化させるように構成されることを特徴とする請求項3に記載のインタフェース装置。
  6. 前記シミュレートされた摩擦係数及び前記表面の起伏と相関がある前記表面からの入力を受信するように構成されたセンサをさらに備えることを特徴とする請求項5に記載のインタフェース装置。
  7. 前記入力は、表面圧力又は当該表面圧力の経時的な変化もしくは前記表面上の場所による変化と相関を有することを特徴とする請求項6に記載のインタフェース装置。
  8. 前記静電装置は、前記第1の触覚効果を生成して摩擦係数をシミュレートすることにより前記表面の高さ又は深さをシミュレートするように構成されていることを特徴とする請求項1に記載のインタフェース装置。
  9. 前記アクチュエータは、前記第2の触覚効果を生成して前記表面の起伏を変化させることにより、前記表面のシミュレートされた高さ又は深さを変化させることを特徴とする請求項8に記載のインタフェース装置。
  10. 前記静電装置は、摩擦係数をシミュレートする前記第1の触覚効果を生成することにより前記表面の高さ又は深さをシミュレートするように構成されていることを特徴とする請求項1に記載のインタフェース装置。
  11. 前記第2の触覚効果は、境界の横断に対応する振動であることを特徴とする請求項10に記載のインタフェース装置。
  12. 前記静電装置は、前記表面における入力の位置に基づいて前記第1の触覚効果を変化させるように構成されることを特徴とする請求項1に記載のインタフェース装置。
  13. 前記静電装置は、時間に基づいて前記第1の触覚効果を変化させるように構成されることを特徴とする請求項12に記載のインタフェース装置。
  14. 前記静電装置は、前記表面における前記入力の位置の変化に基づいて前記第1の触覚効果を変化させるように構成されることを特徴とする請求項12に記載のインタフェース装置。
  15. 前記静電装置は、前記表面における前記入力の位置の変化に基づいてジェスチャの入力を認識するように構成されることを特徴とする請求項14に記載のインタフェース装置。
  16. 前記静電装置は、前記表面における圧力、表面接触面積の大きさ、湿度、温度、環境光、又はこれらの任意の組み合わせに基づいて、前記第1の触覚効果を変化させるように構成されることを特徴とする請求項1に記載のインタフェース装置。
  17. 前記静電装置は、前記インタフェース装置の速度、前記インタフェース装置の加速度、前記表面に表示されたビジュアルコンテンツ、前記表面における音、又はこれらの任意の組み合わせから選択されるトリガに基づいて、前記第1の触覚効果を生成するように構成されることを特徴とする請求項1に記載のインタフェース装置。
  18. 前記表面におけるインピーダンスを測定するように構成されたセンサをさらに備えることを特徴とする請求項1に記載のインタフェース装置。
  19. 前記静電装置は、前記表面における前記インピーダンスに基づいて前記第1の触覚効果を変化させるように構成されることを特徴とする請求項18に記載のインタフェース装置。
  20. 前記センサは、前記表面にパルスを加えることによって前記インピーダンスを測定するように構成されることを特徴とする請求項18に記載のインタフェース装置。
  21. 前記表面の少なくとも一部分は非ディスプレイ表面であり、前記静電装置は、前記非ディスプレイ表面に前記第1の触覚効果を生成し、前記アクチュエータは、前記非ディスプレイ表面に前記第2の触覚効果を生成するように構成されることを特徴とする請求項1に記載のインタフェース装置。
  22. 前記非ディスプレイ表面は、スイッチ、つまみ、トラックパッド、リモートコントローラ、又はダッシュボードの一部分であることを特徴とする請求項21に記載のインタフェース装置。
  23. 前記非ディスプレイ表面にスライドバーをさらに備えることを特徴とする請求項21に記載のインタフェース装置。
  24. ディスプレイ表面として構成される第2の表面をさらに備え、前記静電装置は、前記第2の表面に表示されたビジュアルコンテンツ又はオーディオコンテンツに基づいて、前記非ディスプレイ表面に前記第1の触覚効果を生成するように構成されることを特徴とする請求項21に記載のインタフェース装置。
  25. 前記表面に第3の触覚効果を提供するように構成されるサーマル装置をさらに備えることを特徴とする請求項1に記載のインタフェース装置。
  26. 総合的な触覚効果を提供する方法であって、
    インタフェース装置の表面に静電装置によって第1の触覚効果を生成する工程と、
    前記表面にアクチュエータによって第2の触覚効果を生成する工程と、を備え、
    当該総合的な触覚効果は、前記第1の触覚効果及び前記第2の触覚効果を含むことを特徴とする方法。
  27. 前記総合的な触覚効果は、シミュレートされた摩擦係数、振動、前記表面の起伏の変化、触感、又はこれらの任意の組み合わせを含むことを特徴とする請求項26に記載の方法。
  28. 前記第1の触覚効果は前記表面において摩擦係数又は触感をシミュレートすることを特徴とする請求項26に記載の方法。
  29. 前記触感は、ラフネス、バンピネス、スティッキーネス、ファインネス、コースネス、スムースネス、又はこれらの任意の組み合わせであることを特徴とする請求項28に記載の方法。
  30. 前記第2の触覚効果は、振動又は前記表面の起伏の変化であることを特徴とする請求項28に記載の方法。
  31. 前記第1の触覚効果を前記静電装置によって変化させ、又は、前記第2の触覚効果を前記アクチュエータによって変化させて、シミュレートされた摩擦係数を変化させる工程をさらに含むことを特徴とする請求項28に記載の方法。
  32. 前記表面においてインピーダンスを測定する工程をさらに備えることを特徴とする請求項26に記載の方法。
  33. 前記表面にパルスを加えることによって前記インピーダンスを測定する工程をさらに備えることを特徴とする請求項32に記載の方法。
  34. 前記第1の触覚効果は、前記表面における前記インピーダンスに基づいて生成されることを特徴とする請求項32に記載の方法。
  35. 前記第1の触覚効果は、前記表面における圧力、表面接触面積の大きさ、湿度、温度、環境光、又はこれらの任意の組み合わせに基づいて生成されることを特徴とする請求項26に記載の方法。
  36. 前記第1の触覚効果は、前記表面において受信された入力の位置又は前記表面における前記入力の位置の変化に基づいて、前記静電装置によって変更されることを特徴とする請求項31に記載の方法。
  37. 前記表面において受信される入力の位置に基づいて、前記静電装置によって高さや深さをシミュレートする工程をさらに備えることを特徴とする請求項30に記載の方法。
  38. 前記高さ又は深さは、地形プロファイルに基づいてシミュレートされることを特徴とする請求項37に記載の方法。
  39. 前記第2の触覚効果を生成して前記表面の起伏を変化させることにより、前記表面のシミュレートされた高さ又は深さを変化させる工程をさらに備えることを特徴とする請求項37に記載の方法。
  40. 前記第2の触覚効果は、境界の横断に対応する振動であることを特徴とする請求項37に記載の方法。
  41. 前記第2の触覚効果を生成して振動を生成することに基づいて、前記アクチュエータによって前記シミュレートされた境界の横断を変化させる工程をさらに備えることを特徴とする請求項40に記載の方法。
  42. 前記表面に表示されたビジュアルコンテンツに基づいて前記静電装置によって前記第1の触覚効果を変化させることを特徴とする請求項31に記載の方法。
  43. 前記表面における圧力、前記表面における圧力の経時的な変化又は前記表面の場所による変化に基づいて、前記静電装置により前記第1の触覚効果を変化させることを特徴とする請求項31に記載の方法。
  44. サーマル装置により前記表面に第3の触覚効果を生成する工程をさらに備えることを特徴とする請求項26に記載の方法。
  45. 前記表面は非ディスプレイ表面であることを特徴とする請求項26に記載の方法。
  46. 第2の表面に表示されたビジュアルコンテンツ又はオーディオコンテンツに基づいて前記静電装置によって前記第1の触覚効果を生成することを特徴とする請求項45に記載の方法。
  47. 前記表面の入力の位置に対応する前記第2の表面における位置に表示されたビジュアルコンテンツに基づいて、前記静電装置によって前記第1の触覚効果を生成することを特徴とする請求項46に記載の方法。
  48. 前記非ディスプレイ表面は、スイッチ、つまみ、トラックパッド、リモートコントローラ、又はダッシュボードの一部分であることを特徴とする請求項45に記載の方法。
  49. 前記静電装置によって前記第1の触覚効果を生成することは、前記非ディスプレイ表面におけるスライドバーに前記触覚効果を生成することを含む請求項45に記載の方法。
JP2014506471A 2011-04-22 2012-04-16 電気振動型タクタイル・ディスプレイ Expired - Fee Related JP6234364B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/092,269 US9448713B2 (en) 2011-04-22 2011-04-22 Electro-vibrotactile display
US13/092,269 2011-04-22
PCT/US2012/033743 WO2012145264A1 (en) 2011-04-22 2012-04-16 Electro-vibrotactile display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016186095A Division JP2017033586A (ja) 2011-04-22 2016-09-23 電気振動型タクタイル・ディスプレイ

Publications (2)

Publication Number Publication Date
JP2014512619A true JP2014512619A (ja) 2014-05-22
JP6234364B2 JP6234364B2 (ja) 2017-11-22

Family

ID=47020937

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014506471A Expired - Fee Related JP6234364B2 (ja) 2011-04-22 2012-04-16 電気振動型タクタイル・ディスプレイ
JP2016186095A Ceased JP2017033586A (ja) 2011-04-22 2016-09-23 電気振動型タクタイル・ディスプレイ
JP2018140510A Pending JP2018195335A (ja) 2011-04-22 2018-07-26 電気振動型タクタイル・ディスプレイ

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2016186095A Ceased JP2017033586A (ja) 2011-04-22 2016-09-23 電気振動型タクタイル・ディスプレイ
JP2018140510A Pending JP2018195335A (ja) 2011-04-22 2018-07-26 電気振動型タクタイル・ディスプレイ

Country Status (6)

Country Link
US (1) US9448713B2 (ja)
EP (2) EP2702468B1 (ja)
JP (3) JP6234364B2 (ja)
KR (2) KR20190112192A (ja)
CN (2) CN106940622A (ja)
WO (1) WO2012145264A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016015140A (ja) * 2014-07-02 2016-01-28 イマージョン コーポレーションImmersion Corporation 静電触覚効果を提供する表面要素のためのシステム及び方法
JP2016018419A (ja) * 2014-07-09 2016-02-01 ユニバーシティ・オブ・タンペレUniversity of Tampere 触知イメージング・システム
WO2016038677A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
JP2016038609A (ja) * 2014-08-05 2016-03-22 株式会社Nttドコモ 電子書籍閲覧装置及び電子書籍閲覧方法
JP2016057858A (ja) * 2014-09-10 2016-04-21 三菱電機株式会社 触感制御システムおよび触感制御方法
JP2017045419A (ja) * 2015-08-28 2017-03-02 富士通テン株式会社 入力装置および表示装置
JP2018067048A (ja) * 2016-10-17 2018-04-26 コニカミノルタ株式会社 表示装置および表示装置の制御プログラム
US10545576B2 (en) 2016-01-07 2020-01-28 Fujitsu Limited Electronic device and drive control method thereof
JP6821100B1 (ja) * 2020-01-07 2021-01-27 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
WO2021059739A1 (ja) * 2019-09-26 2021-04-01 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
JP2022510548A (ja) * 2018-10-12 2022-01-27 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. ナビゲーション装置及びナビゲーション装置の動作方法

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
WO2012154972A2 (en) 2011-05-10 2012-11-15 Northwestern University A touch interface device having an electrostatic multitouch surface and method for controlling the device
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US8773403B2 (en) 2011-05-20 2014-07-08 Sony Corporation Haptic device for position detection
US8681130B2 (en) 2011-05-20 2014-03-25 Sony Corporation Stylus based haptic peripheral for touch screen and tablet devices
US8956230B2 (en) 2011-05-20 2015-02-17 Sony Corporation Haptic device for 3-D gaming
US8749533B2 (en) * 2011-05-20 2014-06-10 Sony Corporation Haptic device for carving and molding objects
US9710061B2 (en) * 2011-06-17 2017-07-18 Apple Inc. Haptic feedback device
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
CN106095119A (zh) 2011-09-06 2016-11-09 意美森公司 触觉输出设备和在触觉输出设备内产生触觉效果的方法
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
JP2013228936A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
WO2015127257A1 (en) 2014-02-21 2015-08-27 Northwestern University Haptic display with simultaneous sensing and actuation
US9075460B2 (en) * 2012-08-10 2015-07-07 Blackberry Limited Method of momentum based zoom of content on an electronic device
US9116546B2 (en) 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
US20140139451A1 (en) * 2012-11-20 2014-05-22 Vincent Levesque Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
US9330544B2 (en) 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9202350B2 (en) * 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9880623B2 (en) * 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
CN103970310A (zh) * 2013-01-24 2014-08-06 宏碁股份有限公司 触控装置及触控方法
JPWO2014125857A1 (ja) * 2013-02-13 2017-02-02 日本電気株式会社 入力装置とその制御方法、および、プログラム
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
KR102048015B1 (ko) 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
US9547366B2 (en) 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
CN109582150A (zh) 2013-04-26 2019-04-05 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US20140340316A1 (en) * 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) * 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US10359857B2 (en) 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US9652040B2 (en) 2013-08-08 2017-05-16 Apple Inc. Sculpted waveforms with no or reduced unforced response
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
WO2015047356A1 (en) 2013-09-27 2015-04-02 Bodhi Technology Ventures Llc Band with haptic actuators
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
US9921649B2 (en) 2013-10-07 2018-03-20 Immersion Corporation Electrostatic haptic based user input elements
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US20150123913A1 (en) * 2013-11-06 2015-05-07 Andrew Kerdemelidis Apparatus and method for producing lateral force on a touchscreen
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
JP6644466B2 (ja) 2013-12-31 2020-02-12 イマージョン コーポレーションImmersion Corporation 触覚通知を提供するシステム及び方法
JP2015130168A (ja) 2013-12-31 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
CN103793062B (zh) * 2014-03-05 2016-09-28 吉林大学 应用阻抗检测的自适应多点静电力触觉再现装置及方法
JP6381240B2 (ja) * 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
US9594429B2 (en) 2014-03-27 2017-03-14 Apple Inc. Adjusting the level of acoustic and haptic output in haptic devices
DE112014006608B4 (de) 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
US9696806B2 (en) 2014-07-02 2017-07-04 Immersion Corporation Systems and methods for multi-output electrostatic haptic effects
US9886090B2 (en) 2014-07-08 2018-02-06 Apple Inc. Haptic notifications utilizing haptic input devices
US9710063B2 (en) 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
WO2016036671A2 (en) 2014-09-02 2016-03-10 Apple Inc. Haptic notifications
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
US9927786B2 (en) 2014-10-02 2018-03-27 Anne Dewitte Expandable and collapsible shape element for a programmable shape surface
US10146308B2 (en) * 2014-10-14 2018-12-04 Immersion Corporation Systems and methods for impedance coupling for haptic devices
KR102357599B1 (ko) * 2014-11-24 2022-02-03 엘지디스플레이 주식회사 휴대용 전자 기기
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US9971406B2 (en) 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
JP2018510052A (ja) 2015-01-30 2018-04-12 イマージョン コーポレーションImmersion Corporation 静電触覚アクチュエータ及び静電触覚アクチュエータを有するユーザインターフェース
KR101554256B1 (ko) * 2015-02-16 2015-09-18 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US9750322B2 (en) 2015-03-08 2017-09-05 Apple Inc. Co-molded ceramic and polymer structure
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10703680B2 (en) 2015-05-25 2020-07-07 Apple Inc. Fiber-reinforced ceramic matrix composite for electronic devices
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
KR101630430B1 (ko) * 2015-06-29 2016-06-13 박동현 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
MA42907A (fr) * 2015-07-07 2018-05-16 Mankiewicz Gebr & Co Gmbh & Co Kg Revêtements à surfaces microstructurées et leur utilisation dans des tableaux de bord, des consoles de commutation et des tableaux de commande
US20170024010A1 (en) 2015-07-21 2017-01-26 Apple Inc. Guidance device for the sensory impaired
KR101650099B1 (ko) 2015-07-23 2016-08-23 린츠 주식회사 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
US10013060B2 (en) 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US11104616B2 (en) 2015-09-30 2021-08-31 Apple Inc. Ceramic having a residual compressive stress for use in electronic devices
US10664053B2 (en) * 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
KR102422461B1 (ko) * 2015-11-06 2022-07-19 삼성전자 주식회사 햅틱 제공 방법 및 이를 지원하는 전자 장치
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US9895607B2 (en) 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
WO2017100901A1 (en) * 2015-12-15 2017-06-22 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US10976819B2 (en) * 2015-12-28 2021-04-13 Microsoft Technology Licensing, Llc Haptic feedback for non-touch surface interaction
CN105700795A (zh) * 2015-12-30 2016-06-22 宇龙计算机通信科技(深圳)有限公司 移动终端振动强度设置方法、装置和移动终端
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US9898903B2 (en) 2016-03-07 2018-02-20 Immersion Corporation Systems and methods for haptic surface elements
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
CN105892664B (zh) * 2016-03-31 2021-05-18 联想(北京)有限公司 一种信息处理方法及电子设备
US11604514B2 (en) 2016-04-14 2023-03-14 Apple Inc. Substrate having a visually imperceptible texture for providing variable coefficients of friction between objects
CN109074162A (zh) * 2016-04-21 2018-12-21 苹果公司 电子设备的触觉用户界面
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
US10444838B2 (en) * 2016-05-17 2019-10-15 Immersion Corporation Thermally activated haptic output device
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10649529B1 (en) 2016-06-28 2020-05-12 Apple Inc. Modification of user-perceived feedback of an input device using acoustic or haptic output
KR20190017010A (ko) * 2016-07-08 2019-02-19 임머숀 코퍼레이션 멀티모덜 햅틱 효과
US10845878B1 (en) 2016-07-25 2020-11-24 Apple Inc. Input device with tactile feedback
US10416771B2 (en) 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US10264690B2 (en) 2016-09-01 2019-04-16 Apple Inc. Ceramic sintering for uniform color for a housing of an electronic device
US11088718B2 (en) 2016-09-06 2021-08-10 Apple Inc. Multi-colored ceramic housings for an electronic device
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
CN109085921A (zh) * 2016-09-06 2018-12-25 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10372214B1 (en) 2016-09-07 2019-08-06 Apple Inc. Adaptable user-selectable input area in an electronic device
US10420226B2 (en) 2016-09-21 2019-09-17 Apple Inc. Yttria-sensitized zirconia
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
US11678445B2 (en) 2017-01-25 2023-06-13 Apple Inc. Spatial composites
JP2018132929A (ja) * 2017-02-15 2018-08-23 株式会社デンソーテン 制御装置および制御方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
WO2018164321A1 (ko) * 2017-03-09 2018-09-13 한양대학교 산학협력단 초음파를 이용하는 촉감 제공 장치 및 촉감 디스플레이 장치
CN111263924B (zh) 2017-03-29 2022-10-14 苹果公司 具有集成接口系统的设备
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10627906B2 (en) 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
EP3646159B1 (en) * 2017-06-28 2021-01-13 Telefonaktiebolaget LM Ericsson (PUBL) Flexible communication device and method for changing the shape of the device
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10775889B1 (en) 2017-07-21 2020-09-15 Apple Inc. Enclosure with locally-flexible regions
KR102494625B1 (ko) * 2017-08-28 2023-02-01 삼성디스플레이 주식회사 표시 장치
CN107688416A (zh) * 2017-08-30 2018-02-13 京东方科技集团股份有限公司 触控基板、触摸屏、电子设备及触摸控制方法
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US10416772B2 (en) * 2017-09-06 2019-09-17 Apple Inc. Electrical haptic output array
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10556252B2 (en) 2017-09-20 2020-02-11 Apple Inc. Electronic device having a tuned resonance haptic actuation system
US10694014B2 (en) 2017-09-22 2020-06-23 Apple Inc. Haptic locomotion using wide-band actuator
US10775890B2 (en) 2017-09-27 2020-09-15 Apple Inc. Electronic device having a piezoelectric body for friction haptics
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10585482B2 (en) 2017-09-27 2020-03-10 Apple Inc. Electronic device having a hybrid conductive coating for electrostatic haptics
US10248211B1 (en) 2017-09-28 2019-04-02 Apple Inc. Ground-shifted touch input sensor for capacitively driving an electrostatic plate
KR102413568B1 (ko) 2017-09-29 2022-06-27 애플 인크. 다중 부분 디바이스 인클로저
US10440848B2 (en) 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
CN108536280B (zh) * 2018-01-30 2021-01-01 吉林大学 一种应用指垫的静电力和振动融合触觉再现装置及方法
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
US11402669B2 (en) 2018-04-27 2022-08-02 Apple Inc. Housing surface with tactile friction features
US10620705B2 (en) 2018-06-01 2020-04-14 Google Llc Vibrating the surface of an electronic device to raise the perceived height at a depression in the surface
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US11112827B2 (en) 2018-07-20 2021-09-07 Apple Inc. Electronic device with glass housing member
US10705570B2 (en) 2018-08-30 2020-07-07 Apple Inc. Electronic device housing with integrated antenna
US11258163B2 (en) 2018-08-30 2022-02-22 Apple Inc. Housing and antenna architecture for mobile device
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
GB2577079B (en) * 2018-09-12 2021-05-12 Sony Interactive Entertainment Inc Portable device and system
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US11691912B2 (en) 2018-12-18 2023-07-04 Apple Inc. Chemically strengthened and textured glass housing member
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11199929B2 (en) 2019-03-21 2021-12-14 Apple Inc. Antireflective treatment for textured enclosure components
CN113994345A (zh) 2019-04-17 2022-01-28 苹果公司 无线可定位标签
US11372137B2 (en) 2019-05-29 2022-06-28 Apple Inc. Textured cover assemblies for display applications
US11192823B2 (en) 2019-06-05 2021-12-07 Apple Inc. Electronic devices including laser-textured glass cover members
US11109500B2 (en) 2019-06-05 2021-08-31 Apple Inc. Textured glass component for an electronic device enclosure
US10827635B1 (en) 2019-06-05 2020-11-03 Apple Inc. Electronic device enclosure having a textured glass component
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US12009576B2 (en) 2019-12-03 2024-06-11 Apple Inc. Handheld electronic device
CN111158474B (zh) * 2019-12-19 2021-10-22 维沃移动通信有限公司 交互方法和电子设备
DE102020110153A1 (de) * 2020-04-14 2021-10-14 Bayerische Motoren Werke Aktiengesellschaft Bedienvorrichtung mit Aktiv- und Passivhaptik und Lenkvorrichtung mit einer solchen Bedienvorrichtung
US11281881B2 (en) * 2020-05-05 2022-03-22 Qualcomm Incorporated Device including an ultrasonic fingerprint sensor and a coulomb force apparatus
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
DE102020004365A1 (de) 2020-07-20 2022-01-20 Daimler Ag Verfahren zum Erzeugen einer haptischen Rückmeldung
US11897809B2 (en) 2020-09-02 2024-02-13 Apple Inc. Electronic devices with textured glass and glass ceramic components
CN112333329B (zh) * 2020-10-28 2022-04-26 维沃移动通信有限公司 未读信息提醒方法、装置及电子设备
CN112596612A (zh) * 2020-12-28 2021-04-02 北京小米移动软件有限公司 触感反馈生成方法、触感反馈生成装置及存储介质
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN115698916A (zh) * 2021-05-31 2023-02-03 京东方科技集团股份有限公司 显示装置
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
EP4202606A1 (en) * 2021-12-21 2023-06-28 Nokia Technologies Oy User-device interaction
WO2023118958A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. Haptic device
WO2023126645A1 (en) * 2021-12-27 2023-07-06 Bosch Car Multimedia Portugal S.A Interface and alert device with haptic and thermal feedback for autonomous vehicle

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62222328A (ja) * 1986-01-15 1987-09-30 テクトロニツクス・インコ−ポレイテツド タッチパネル装置
JPH11203020A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
JP2003216294A (ja) * 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2004319255A (ja) * 2003-04-16 2004-11-11 Equos Research Co Ltd 擬似触覚呈示装置
JP2006012184A (ja) * 2005-08-01 2006-01-12 Sony Corp 表示装置、情報処理装置、及びその制御方法
JP2006251948A (ja) * 2005-03-09 2006-09-21 Univ Of Tokyo 電気触覚提示装置及び電気触覚提示方法
JP2008502073A (ja) * 2004-06-10 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 制御可能な装置を制御するために生物の部位のインピーダンスを用いて制御信号を生成する方法及び装置
JP2008186079A (ja) * 2007-01-26 2008-08-14 Ntt Docomo Inc 情報端末及びその入力方法
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
JP2009532808A (ja) * 2006-04-06 2009-09-10 イマージョン コーポレイション 触覚効果強化のためのシステムおよび方法
JP2010503579A (ja) * 2006-09-14 2010-02-04 イマーション コーポレーション 局所的な触覚フィードバック
US20100231550A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Friction Displays and Additional Haptic Effects
JP2011530756A (ja) * 2008-08-12 2011-12-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き検出システム

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5149918A (en) * 1990-10-29 1992-09-22 International Business Machines Corporation Touch sensitive overlay
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP3852368B2 (ja) 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP3937982B2 (ja) 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US7522152B2 (en) * 2004-05-27 2009-04-21 Immersion Corporation Products and processes for providing haptic feedback in resistive interface devices
JP2006048302A (ja) 2004-08-03 2006-02-16 Sony Corp 圧電複合装置、その製造方法、その取扱方法、その制御方法、入出力装置及び電子機器
KR100682901B1 (ko) * 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
JP2006163206A (ja) * 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
US7542816B2 (en) 2005-01-27 2009-06-02 Outland Research, Llc System, method and computer program product for automatically selecting, suggesting and playing music media files
JP4626376B2 (ja) 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
US20070118043A1 (en) 2005-11-23 2007-05-24 Microsoft Corporation Algorithms for computing heart rate and movement speed of a user from sensor data
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
JP2007188597A (ja) 2006-01-13 2007-07-26 Sony Corp コンテンツ再生装置およびコンテンツ再生方法並びにプログラム
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) * 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
JP2007287005A (ja) 2006-04-19 2007-11-01 Sony Corp 情報入出力装置、および情報処理方法、並びにコンピュータ・プログラム
JP4305671B2 (ja) 2006-08-22 2009-07-29 ソニー株式会社 健康運動支援システム、携帯型音楽再生装置、サービス情報提供装置、情報処理装置、健康運動支援方法
US20100315345A1 (en) * 2006-09-27 2010-12-16 Nokia Corporation Tactile Touch Screen
US20080097633A1 (en) 2006-09-29 2008-04-24 Texas Instruments Incorporated Beat matching systems
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
FI20085475A0 (fi) 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
WO2009037379A1 (en) 2007-09-18 2009-03-26 Senseg Oy Method and apparatus for sensory stimulation
GB0721475D0 (en) * 2007-11-01 2007-12-12 Asquith Anthony Virtual buttons enabled by embedded inertial sensors
US9357052B2 (en) * 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US9733704B2 (en) * 2008-06-12 2017-08-15 Immersion Corporation User interface impact actuator
EP2741177B1 (en) * 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
JP2010086471A (ja) 2008-10-02 2010-04-15 Sony Corp 操作感提供装置、および操作感フィードバック方法、並びにプログラム
KR20100039024A (ko) * 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8823542B2 (en) 2008-11-26 2014-09-02 Nokia Corporation Apparatus and methods relevant to electronic devices
US9927873B2 (en) * 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
EP2406702B1 (en) * 2009-03-12 2019-03-06 Immersion Corporation System and method for interfaces featuring surface-based haptic effects
WO2010105012A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for a texture engine
US8570291B2 (en) * 2009-05-21 2013-10-29 Panasonic Corporation Tactile processing device
US8378797B2 (en) * 2009-07-17 2013-02-19 Apple Inc. Method and apparatus for localization of haptic feedback
US8441465B2 (en) * 2009-08-17 2013-05-14 Nokia Corporation Apparatus comprising an optically transparent sheet and related methods
US10254824B2 (en) 2009-10-16 2019-04-09 Immersion Corporation Systems and methods for output of content based on sensing an environmental factor
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62222328A (ja) * 1986-01-15 1987-09-30 テクトロニツクス・インコ−ポレイテツド タッチパネル装置
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間/機械インターフェース
JPH11203020A (ja) * 1998-01-16 1999-07-30 Fuji Xerox Co Ltd 触力覚呈示装置
JP2003216294A (ja) * 2002-01-25 2003-07-31 Victor Co Of Japan Ltd ユーザインタフェース装置
JP2004319255A (ja) * 2003-04-16 2004-11-11 Equos Research Co Ltd 擬似触覚呈示装置
JP2008502073A (ja) * 2004-06-10 2008-01-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 制御可能な装置を制御するために生物の部位のインピーダンスを用いて制御信号を生成する方法及び装置
JP2006251948A (ja) * 2005-03-09 2006-09-21 Univ Of Tokyo 電気触覚提示装置及び電気触覚提示方法
JP2006012184A (ja) * 2005-08-01 2006-01-12 Sony Corp 表示装置、情報処理装置、及びその制御方法
JP2009532808A (ja) * 2006-04-06 2009-09-10 イマージョン コーポレイション 触覚効果強化のためのシステムおよび方法
JP2010503579A (ja) * 2006-09-14 2010-02-04 イマーション コーポレーション 局所的な触覚フィードバック
JP2008186079A (ja) * 2007-01-26 2008-08-14 Ntt Docomo Inc 情報端末及びその入力方法
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
JP2011530756A (ja) * 2008-08-12 2011-12-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き検出システム
US20100231550A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and Methods for Friction Displays and Additional Haptic Effects

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016015140A (ja) * 2014-07-02 2016-01-28 イマージョン コーポレーションImmersion Corporation 静電触覚効果を提供する表面要素のためのシステム及び方法
JP2016018419A (ja) * 2014-07-09 2016-02-01 ユニバーシティ・オブ・タンペレUniversity of Tampere 触知イメージング・システム
JP2016038609A (ja) * 2014-08-05 2016-03-22 株式会社Nttドコモ 電子書籍閲覧装置及び電子書籍閲覧方法
WO2016038677A1 (ja) * 2014-09-09 2016-03-17 三菱電機株式会社 触感制御システムおよび触感制御方法
JPWO2016038677A1 (ja) * 2014-09-09 2017-04-27 三菱電機株式会社 触感制御システムおよび触感制御方法
CN107077281A (zh) * 2014-09-09 2017-08-18 三菱电机株式会社 触感控制系统及触感控制方法
JP2016057858A (ja) * 2014-09-10 2016-04-21 三菱電機株式会社 触感制御システムおよび触感制御方法
JP2017045419A (ja) * 2015-08-28 2017-03-02 富士通テン株式会社 入力装置および表示装置
US10545576B2 (en) 2016-01-07 2020-01-28 Fujitsu Limited Electronic device and drive control method thereof
JP2018067048A (ja) * 2016-10-17 2018-04-26 コニカミノルタ株式会社 表示装置および表示装置の制御プログラム
JP2022510548A (ja) * 2018-10-12 2022-01-27 ベステル エレクトロニク サナイー ベ ティカレト エー.エス. ナビゲーション装置及びナビゲーション装置の動作方法
WO2021059739A1 (ja) * 2019-09-26 2021-04-01 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
JPWO2021059739A1 (ja) * 2019-09-26 2021-04-01
CN114424150A (zh) * 2019-09-26 2022-04-29 三菱电机株式会社 触觉呈现面板、触觉呈现触摸面板、触觉呈现触摸显示器
JP7267443B2 (ja) 2019-09-26 2023-05-01 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
CN114424150B (zh) * 2019-09-26 2023-08-04 三菱电机株式会社 触觉呈现面板、触觉呈现触摸面板、触觉呈现触摸显示器
JP6821100B1 (ja) * 2020-01-07 2021-01-27 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
WO2021140550A1 (ja) * 2020-01-07 2021-07-15 三菱電機株式会社 触覚提示パネル、触覚提示タッチパネル、触覚提示タッチディスプレイ
US11747907B2 (en) 2020-01-07 2023-09-05 Mitsubishi Electric Corporation Tactile presentation panel, tactile presentation touch panel, and tactile presentation touch display

Also Published As

Publication number Publication date
KR20190112192A (ko) 2019-10-02
US9448713B2 (en) 2016-09-20
KR20140040134A (ko) 2014-04-02
US20120268412A1 (en) 2012-10-25
CN106940622A (zh) 2017-07-11
CN103562827A (zh) 2014-02-05
CN103562827B (zh) 2017-04-26
WO2012145264A1 (en) 2012-10-26
JP2018195335A (ja) 2018-12-06
JP2017033586A (ja) 2017-02-09
JP6234364B2 (ja) 2017-11-22
EP3531251A1 (en) 2019-08-28
EP2702468A4 (en) 2015-02-25
EP2702468B1 (en) 2019-06-12
EP2702468A1 (en) 2014-03-05
KR102027307B1 (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
US10175761B2 (en) Haptic output device and method of generating a haptic effect in a haptic output device
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
US10551924B2 (en) Mobile device configured to receive squeeze input
EP2467768B1 (en) Apparatus comprising an optically transparent sheet and related methods
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
CN107407963A (zh) 用于与弯曲显示器的用户交互的系统和方法
Radivojevic et al. 31.1: Invited paper: Programmable electrostatic surface for tactile perceptions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160426

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171024

R150 Certificate of patent or registration of utility model

Ref document number: 6234364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees