CN101828161A - 使用音频、视觉和触觉反馈的三维对象模拟 - Google Patents

使用音频、视觉和触觉反馈的三维对象模拟 Download PDF

Info

Publication number
CN101828161A
CN101828161A CN200880112417A CN200880112417A CN101828161A CN 101828161 A CN101828161 A CN 101828161A CN 200880112417 A CN200880112417 A CN 200880112417A CN 200880112417 A CN200880112417 A CN 200880112417A CN 101828161 A CN101828161 A CN 101828161A
Authority
CN
China
Prior art keywords
touch
screen
user
equipment
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880112417A
Other languages
English (en)
Other versions
CN101828161B (zh
Inventor
E·梅耶
U·阿莱夫
S·乌沙科勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN101828161A publication Critical patent/CN101828161A/zh
Application granted granted Critical
Publication of CN101828161B publication Critical patent/CN101828161B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Manipulator (AREA)

Abstract

通过其中利用音频、视觉和触觉反馈来创建用户正与物理地形象化的、三维(“3-D”)对象交互的感觉的安排来向具有触摸屏的设备的用户提供多传感体验。给予触摸屏具有特定大小、持续时间或方向的运动以使得用户可通过感觉来定位显示在该触摸屏上的对象。在一说明性示例中，在与声音和诸如动画等视觉效果结合时，触觉反馈创建了触摸屏上的按钮在被用户按下时就像真实的、物理地形象化的按钮那样移动的感觉。按钮改变其外观，设备播放可听的“咔嗒声”，并且触摸屏向用户手指提供触觉反馈力。

Description

使用音频、视觉和触觉反馈的三维对象模拟
背景
作为对传统键盘以及用于从用户接收数据输入或其它输入的其它人机接口(“HMI”)的替代，触敏显示屏已变得越来越常见。触摸屏被用在包括便携式和固定位置设备在内的各种设备中。具有触摸屏的便携式设备通常包括例如：移动电话、个人数字助理(PDA)以及播放音乐和视频的个人媒体播放器。使用触摸屏的固定位置设备通常包括例如：车载设备、销售点(“POS”)终端以及在医疗和工业应用中使用的设备。
触摸屏可用于向用户输出来自计算设备的输出以及从用户接收输入。在某些情况下，用户用指示笔在屏幕上“书写”，该书写被转换成对计算设备的输入。在其它情况下，用户的输入选项被显示为例如屏幕上的控件、导航或对象图标。当用户通过用指示笔或手指来触摸屏幕上的相关联的图标来选择输入选项时，计算设备感测该触摸的位置并向呈现该图标的应用程序或实用程序发送消息。
为了输入文本，在触摸屏上显示“虚拟键盘”，它通常是看上去像常规的物理地形象化的键盘的键帽的一组图标。用户然后通过连续触摸触摸屏中与特定键帽图标相关联的区域来“键入”。某些设备被配置成发出可听的咔嗒声或其它声音以便在键或图标致动时向用户提供反馈。其它设备可被配置成改变键或图标的外观以便在这些键或图标被按下时向用户提供视觉提示。
虽然当前的触摸屏在大多数应用中运转良好，但它们并非很好地适用于用户希望在不使用视觉来查找和使用触摸屏上的图标或键的情况下进行输入的“盲”数据输入或按指法键入(touch-typing)。另外，在某些环境中，依靠视觉和听觉提示来提供反馈并非始终是可能的。例如，有时在可能使得难以看见触摸屏的阳光直射下或者在难以听见触摸屏的嘈杂环境中操作触摸屏。并且在汽车中，驾驶员在操作触摸屏时不看路面可能不安全。
传统HMI设备通常允许通过感触来操作。例如，在物理键盘的情况下，用户可感触到各个键。并且在某些情况下，诸如“F”和“J”等若干键具有使得用户能够在不必看键的情况下将其手指定向到“主”键行上的小凸点或小凸条。通过比较，现有触摸屏，即使是在按下按钮或键时提供听觉或视觉反馈的触摸屏，都不允许用户通过感触来定位和操作图标或键。
提供本背景来介绍以下的概述和详细描述的简要上下文。本背景不旨在帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
通过其中利用音频、视觉和触觉反馈来创建用户正与物理地形象化的、三维(“3-D”)对象交互的感觉的安排来向具有触摸屏的设备的用户提供多传感体验。给予触摸屏具有特定大小、持续时间或方向的运动以使得用户可通过感觉来定位显示在该触摸屏上的对象。这些对象可包括表示控件或文件的图标、虚拟键盘中的键帽、或者用于为用户提供体验或特征的其它元素。例如，在与声音和诸如动画等视觉效果结合时，触觉反馈创建了触摸屏上的按钮在被用户按下时就像真实的、物理地形象化的按钮那样移动的感觉。按钮改变其外观，设备播放可听的“咔嗒声”，并且触摸屏移动(例如，振动)以向用户手指或指示笔提供触觉反馈力。
在各说明性示例中，诸如产生振动的电动机等一个或多个运动致动器固定地耦合到具有集成触摸屏的便携式设备。在设备通常处于固定位置的应用中，诸如在POS终端的情况下，运动致动器可附连到可移动的触摸屏。运动致动器响应于用户与显示在触摸屏上的对象的交互来生成大小、持续时间、以及强度可以变化的触觉反馈力，以使得可生成各种不同的触觉体验以模拟与触摸屏上的对象的不同交互，就好像它们是三维的。因此，在为致动虚拟键盘中的键帽而按下它时，对该键帽的边缘的触感将与键帽中心的不同。这一触摸效果差别可有利地使得用户能够在无需依靠视觉提示的情况下通过感触来对触摸屏进行输入。
提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
附图说明
图1示出了用户与使用触摸屏的设备交互的说明性便携式计算环境；
图2示出了支持通过图标和虚拟键盘的用户交互的说明性触摸屏；
图3A和3B示出了使用物理控件来补充由触摸屏提供的控件的便携式计算设备的替换说明性形状因子；
图4A示出了被安排成在处在非致动状态时看上去具有深度的说明性按钮图标；
图4B示出了在以致动状态出现时的说明性按钮图标；
图5A示出了被安排成在处在非致动状态时看上去具有深度的说明性键帽；
图5B示出了在以致动状态出现时的说明性键帽；
图6示出了在使用设备的触摸屏来致动键帽时向用户提供触觉、音频以及视觉反馈的组合的说明性便携式计算设备；
图7A和7B分别示出了说明性振动电动机和旋转偏心锤的前视图和正交视图；
图7C是以剖切图示出的安装在设备中的振动单元的俯视图；
图7D是安装到POS终端中的触摸屏的振动单元的正交视图；
图8A和8B分别示出了说明性虚拟键帽的俯视图和侧视图，响应于触摸来施加对于该虚拟键帽的触觉反馈力轮廓(profile)以给予用户键帽具有深度的感觉；
图9示出了使用音频、视觉以及触觉反馈的3-D对象模拟的说明性应用；
图10示出了使用音频、视觉以及触觉反馈的3-D对象模拟的另一说明性应用；以及
图11示出了用于实现使用音频、视觉以及触觉反馈的3-D对象模拟的说明性体系结构。
各附图中的相同的附图标记指示相同的元素。
详细描述
图1示出了用户102使用触摸屏110来与设备105交互的说明性计算环境100，触摸屏便于应用本发明的使用音频、视觉以及触觉反馈的三维(“3-D”)对象模拟。如图1所示，设备105通常被配置成便携式计算平台或信息设备，诸如移动电话、智能电话、PDA、超移动PC(个人计算机)、手持式游戏设备、个人媒体播放器等等。通常，触摸屏110由构造在显示组件的上方的触摸传感器组件构成。显示组件以类似于PC或膝上型计算机上的典型监视器的方式显示图像。在许多应用中，由于液晶显示器(“LCD”)轻薄且成本较低，设备105将使用LCD。然而，在替换应用中，可利用其它常规显示技术，包括例如：阴极射线管(“CRT”)、等离子屏幕以及电发光屏幕。
触摸传感器组件位于显示组件之上。触摸传感器是透明的以使得可通过其看见显示画面。许多不同类型的触摸传感器技术是已知的并且可以按需使用以满足特定实现的需求。这些技术包括电阻、电容、近场、光学成像、应变仪、色散信号、声音脉冲识别、红外线、表面声波技术、以及其它技术。某些现有的触摸屏可以在多个、同时触摸点之间进行区分和/或是压敏的。与触摸屏110的交互通常是使用手指或拇指来实现的，或者对于非电容型触摸传感器，也可使用指示笔。
虽然在图1中示出设备105的便携式形状因子，但本发明的安排可另选地用于使用触摸屏的固定应用中。这些应用包括例如：诸如机场、银行、餐馆、以及零售设施用来使得用户能够进行查询、执行自助结账、或者完成其它类型的交易的自动提款机(“ATM”)、销售点(“POS”)终端、或者自助服务终端等等。也考虑了使用触摸屏来例如控制机器或设备、下定单、管理库存等的工业、医疗以及其它应用。在汽车中触摸屏也在变得越来越常见，用于控制诸如加热、通风和空调(“HVAC”)、娱乐、以及导航等子系统。新的表面计算机产品，特别是微软公司的Microsoft SurfaceTM也可适于与本发明的3-D对象模拟一起使用。
还强调本发明的3-D对象模拟安排不必限于以上所列出的消费者、商业、医疗、以及工业应用。可支持各种各样的用途和应用，包括例如：通常需要稳健且特征丰富的用户接口的军事、安全、以及法律实施情形。在这些要求较高(demanding)的环境中，通过使用音频、视觉和触觉反馈的组合向用户提供了显示在触摸屏上的对象的增强的关联和歧义消除，允许对设备和系统的更主动的交互和控制。
图2示出了支持通过图标202和虚拟键盘206的用户交互的说明性触摸屏110。图标202表示通常显示在触摸屏110上以便于用户控制、输入或导航的控件。图标202还可表示诸如文件、文档、图片、音乐等存储在设备105上或可以按其它方式(例如，通过网络或其它连接)获得的内容。虚拟键盘206包括表示常规键盘的键帽的多个图标，如图所示。触摸屏110通常提供其它功能，诸如示出由用户在虚拟键盘206上键入的字符(即字母、数字、符号)的显示区域或编辑窗口(未在图2中示出)。
图3A和3B示出了使用物理控件307(例如按钮等)来补充由触摸屏310提供的用户界面的便携式计算设备305的替换说明性形状因子。在如图3A所示的示例中，可表示例如照片或视频的若干媒体内容片段(由附图标记309和312指示)可显示在触摸屏310上。图3B示出了可显示在触摸屏310上的示例性文档322中的一页。
如图3A和3B所示，设备305以触摸屏310的长度在上下方向上定向的“竖向”模式定向触摸屏310。然而，可与本发明3-D对象模拟安排一起使用的某些便携计算设备可被安排成以横向模式定向触摸屏，而其它便携式计算设备可经由用户选择或自动地在竖向和横向模式之前切换。
图4A示出了被安排成看上去具有深度的说明性按钮图标402。可对显示在触摸屏(例如分别在图1和3中的触摸屏110或310)上的2-D元素应用诸如阴影(drop-shadow)、透视、以及颜色等视觉效果以给予该2-D元素具有3-D形状的外观。在该示例中，在按钮图标402处于非致动状态(即用户尚未操作或“按下”)时对其应用视觉效果，以使其顶面看上去就像真实按钮从便携式计算设备的表面伸出那样位于触摸屏的平面上方。
图4B示出了按钮图标411在用户通过用手指或指示笔触摸该按钮图标而致动时所表现的样子。如图所示，移除了视觉效果(或另选地减少效果或应用不同地效果)以使得按钮图标402在按下时看上去高度降低。在结合触摸屏采用压力敏感性的应用中，可以与例如施加的压力量成比例地减少视觉效果。以此方式，按钮图标411可随着用户在触摸屏110上更重地按压而看上去进一步下降。
图5A和5B示出了与以上在图4A和4B的描述中类似的、当应用于说明性键帽时的视觉效果的应用。图5A示出了处于非致动状态的键帽502，而图5B示出了键帽511在用户通过用手指或指示笔触摸该键帽来致动时所表现的样子。
图6示出了说明性便携式计算设备105，其被配置成向用户提供触觉、音频、以及视觉反馈的组合以便在使用该设备的触摸屏110来致动虚拟键盘206中的键帽时为用户102提供与真实的3-D键交互的感觉错觉。在本发明的3-D对象模拟的某些应用中，可以预见到，利用所有三种反馈机制(触觉、音频、以及视觉)的组合将提供高度令人满意的用户体验同时完全允许在设备上进行盲输入和/或按指法键入。然而，在其它情形中，取决于特定应用的要求，单独地或以两者的各种组合使用反馈也可提供令人满意的结果。虽然图6示出了虚拟键盘的说明性示例，但应强调，对此处所描述的反馈技术的使用也可适用于用来控制或导航的图标、以及可表示存储在设备105上或设备105上可用的内容的图标。
该示例中的视觉反馈包括对虚拟键盘206中的键帽应用在图4A、4B、5A和5B中示出并且在相应说明中描述的视觉效果，以便在特定键帽被按下时可视地向用户指示。如图所示，虚拟键盘206中的键安排有阴影以使得这些键看上去站立在触摸屏110的表面上。在触摸键帽时移除(或减轻)该阴影效果。在所示示例中，使用正在按压“G”键帽。
音频反馈通常将包括通过扬声器606或者可耦合到设备105的外接耳机(未示出)播放诸如“咔嗒声”(由图6中的附图标记602指示)等音频样本。该音频样本被安排成模拟在物理地形象化的键盘中致动真实键的声音。在替换安排中，所利用的音频样本可被配置成不模拟特定物理动作、或者可以是可由用户从各种此类声音中选择的某一任意声音(诸如蜂鸣声、叮当声、声调、音符等)。在所有情况下，对音频样本的利用在致动键帽时向用户提供听觉反馈。
触觉反馈被安排成通过向设备105施加运动来模拟与真实键帽的交互。因为触摸屏110本质上是坚硬的，所以在与触摸屏110的接触点处向用户给予设备105的运动。在该示例中，运动是振动，这在图6中使用波状线617来示出。
图7A和7B分别示出了构成振动单元712的说明性振动电动机704和旋转偏心锤710的前视图和正交视图。在该说明性示例中，使用振动单元712来提供用于实现上述触觉反馈的振动运动。在替换实施例中，可使用其它类型的运动致动器，诸如压电振动器或电动机驱动的线性或旋转致动器。
该示例中的振动电动机704是基本上圆柱形的DC(直流电)电动机，其被安排成旋转固定地附连有锤710的轴717。振动电动机704还被配置成运转以在向前和向后方向上旋转锤710。在某些应用中，振动电动机704还可被安排成以可变速度运转。振动电动机704的运转通常由以下在图10的说明中描述的运动控制器、应用程序、以及传感反馈逻辑组件来控制。
偏心锤710是相对于轴717不对称地成形的，以使得重心(在图7A中指定为“G”)偏离轴。因此，赋予轴717方向随着锤旋转而变化且大小随着轴的角速度增加而增大的离心力。另外，对振动电动机704施加与锤710的旋转方向相反的力矩。
在便携式设备实现中，振动单元712通常固定地附连到诸如图7C的俯视剖切图所示的设备105等设备的内部。这一附连便于来自振动单元712的运转的力(即，离心力和力矩)耦合到设备105以使得设备响应于对振动单元712施加驱动信号而振动。
通过施加适当的驱动信号，可实现振动单元712的运转中的变化，包括例如：旋转方向、工作周期、以及旋转速度。不同的运转模式可预期影响设备105的运动，包括所耦合的振动的方向、持续时间、以及大小。另外，虽然图7C示出了单个振动单元，但在本发明的3-D对象模拟安排的某些应用中，多个振动单元可固定地安装在设备105中的不同的位置并且以不同的方向安装。在这种情况下，通常可实现对赋予设备105的运动的方向和幅度的更精细的控制。将会理解，由此可通过单独地操作振动电动机并结合使用不同的驱动信号来实现具有不同强度级的多个运动自由度。因此，可实现各种触觉效果以使得可实现不同的感觉错觉。特别是在与适当的听觉和视觉反馈结合时，可有效地模拟不同的3-D几何形状或纹理，包括粗糙度、平滑度、粘性等等。
图7C的透视图中还示出处理器719和存储器721，它们通常用于运行用于实现设备105所支持的各种特征和功能的软件和/或固件。虽然图7C示出了单个处理器719，但在某些实现中，可利用多个处理器。存储器721可包括易失性存储器、非易失性存储器或两者的组合。
在POS终端或自助服务终端实现中，被配置成提供与振动单元712所提供的功能类似的功能的一个或多个振动单元固定地附连到被配置成可移动地耦合到终端的触摸屏。例如，如图7D所示，触摸屏725可以可移动地悬挂在外壳731中，或者可移动地附连到POS终端744的基部735。以此方式，触摸屏725可以在POS终端744本身保持固定时移动以便向用户提供触觉反馈。POS终端744通常还将包括一个或多个处理器和存储器(未示出)。
图8A和8B分别示出了说明性虚拟键帽808的俯视图和侧视图。响应于触摸来通过一个或多个振动单元(例如，图7中的振动单元712)的运转来生成触觉反馈，以给予用户键帽具有深度的感觉。在图8A和8B所示的说明性示例中，实现振动以使得可通常通过使用多个振动单元，使用不同大小、持续时间和方向的触觉反馈来提供触觉反馈力轮廓。然而，在替换实现中，可利用单个振动单元来减少部件数和设备105的复杂性和/或降低成本。在这种替换情况下，尽管较少的运动自由度可用，但仍然可实现对特定应用可以是令人满意的水平的显著的3-D感知。
如图8B中的虚线轮廓所示，提供了具有键帽808具有深度的触觉错觉，以使得该键帽在用户触摸它时感觉就像站立在触摸屏110的表面上。用户可以跨键帽808(如图8A中的线812所示)例如从左到右地滑动或拖动手指或指示笔。当用户的触摸到达键帽808的边缘时，如箭头815所示，在基本上向左的方向上，与触摸屏110的平面水平地施加触觉反馈力，如黑箭头818所示(如图例820所示，白箭头表示手指或指示笔的触摸方向，而黑箭头表示所产生的触觉反馈力的方向)。
如箭头825所示，当用户从边缘滑动到键帽808的虚拟上方时，触觉反馈力的方向基本上是向上的且向左的，如箭头830所示，以便给予用户键帽808的边缘的感觉。在触摸到键帽808的边缘时提供触觉反馈可有利地协助用户仅通过触摸，以类似于真实的、物理地形象化的键盘的方式定位虚拟键盘中的键帽。
如箭头836所示，当用户为致动键帽808而触摸该键帽的中心(即非边缘)部分时，基本向上地定向触觉反馈力，如箭头842所示。在该示例中，用于为键帽致动提供触觉反馈的力的大小可以大于用于向用户指示键帽边缘的力的大小。即，例如，来自设备105的振动力为指示已致动键帽而可以是较强的，而在定位键帽时提供给用户的力反馈是较小的。另外地或另选地，对键帽致动的反馈的持续时间可以变化。因此，使反馈与众不同以使得对用户的触觉提示将使得用户能够在各功能之间进行区分是可能的。当用户在键帽上滑动他或她的手指时，键帽的边缘将影响不同的反馈以使得用户能够通过感觉来定位键帽，而在用户按下键帽以致动它时通常将体验到不同的感觉。
因此，用户通常将通过经由跨触摸屏110的表面滑动手指或指示笔而不提起来进行触摸，来定位对象(例如，按钮、图标、键帽等)。这一动作预期是直观的，因为在用户试图定位设备上的物理地形象化的按钮和对象时使用类似的滑动或“悬停”动作。提供不同的触觉提示以向用户指示触摸屏110上的对象的位置。用户然后可通过从悬停切换至点击来致动该对象，例如点击按钮。这可通过若干替换方式中的一种来实现。在使用压敏触摸屏的实现中，用户通常将施加更多的压力以实现按钮点击。或者，用户可将他或她的手指或指示笔从触摸屏110的表面提起(通常是暂时地)，并且然后敲击按钮以点击该按钮(可提供不同的触觉提示以便向用户确认该按钮点击)。该提起动作使得设备105能够在悬停和点击之间进行区分以由此将用户的敲击解释为按钮点击。在不使用压敏触摸屏的实现中，该提起和敲击方法通常将用于在通过触摸来定位对象和致动对象之间进行区分。
在一替换安排中，提供给用户的力反馈可根据图标或按钮的“状态”而变化。此处，可以认识到，为了支持特定用户体验或界面，图标或按钮可以是活动的，并因此能够由用户致动或“点击”。然而，在其它情况下，可禁用图标或按钮并因此不能被用户致动。在禁用状态中，可能期望利用例如较小的反馈大小(或根本没有反馈)来指示特定按钮或图标并非是用户“可点击的”。
当用户将他或她的手指进一步滑动到键帽808的右侧时，如箭头845所示，用向上且向右的触觉反馈力来向用户指示右侧边缘的位置。这由箭头851示出。当用户的触摸到达键帽808的远侧边缘时，如箭头856所示，于是在基本上向右的方向上，与触摸屏110的平面水平地施加触觉反馈力，如箭头860所示。注意，在大多数情况下，在用户在键帽808上从右到左地以及从上到下地、从下到上地、和从其它方向滑动手指或指示笔的情形中，可施加类似的触觉反馈力轮廓。
图9示出了本发明的使用音频、视觉、以及触觉反馈的3-D对象模拟的说明性应用。在该示例中，诸如如图所示的猫909等用于实现“虚拟宠物”的对象由在设备105上运行的应用程序显示在触摸屏110上。虚拟宠物猫909通常作为用户通过饲养、抚摸、抓搔耳后等来与他们的虚拟宠物交互的娱乐或游戏情形的一部分来利用。在该示例中，这一交互通过应用本发明的用于3-D对象模拟的技术来增强。例如，在用户102抚摸虚拟宠物猫(对象)时，猫909的图像可以是动画的以示出它的毛响应于用户在触摸屏110上的触摸而被理平滑。可包括猫的喘声、或者理毛或轻拍猫的声音(分别由附图标记915和918示出)的适当的声音样本由扬声器606或耦合的外接耳机(未示出)呈现。
在触摸屏110是压敏的实现中，给用户的传感反馈可响应于在触摸屏上改变来自用户的压力而改变。例如，猫909可能在用户102在触摸屏110上用更大的压力来敲打猫时发出更大的喘声。
除了在用户102抚摸猫909时提供的声音和视觉反馈之外，设备105被配置成提供触觉反馈，诸如使用一个或多个振动单元(例如在图7中示出并且在所附说明中描述的振动单元712)的振动。通过响应于用户在触摸屏110上的触摸来使反馈力的方向、持续时间和大小不同，可模拟各种触觉感觉，包括例如：敲击猫909的感觉和/或使猫909响应于用户102的触摸而移动。虽然可单独地或以各种两两组合使用音频、视觉和触觉反馈，但可以想象利用这三种反馈的组合通常将在诸如由上述说明性娱乐或游戏应用所提供的设置中提供最完全的3-D对象模拟和最丰富的用户体验。
图10示出了本发明的使用音频、视觉、以及触觉反馈的3-D对象模拟的说明性应用。在该示例中，设备305被配置成使得用户102能够通过在触摸屏310上触摸页面322的边缘并且然后通过用户手指的轻拂或其它运动来翻页，来在文档中的多个页面之间进行浏览。例如，为了向前移至文档中的下一页，用户102以类似于翻真实书本中的页面的运动来触摸页面322的右侧边缘并且然后从右到左地移动(通过跨触摸屏310拖动用户的手指)。为了返回到上一页，用户102可触摸页面322的左侧边缘并向右侧移动。
在用户102通过以类似于以上在图8A和8B所附说明中描述的方式触摸触摸屏310来定位页面322的边缘时提供触觉反馈。可以在翻虚拟页面时对设备305应用附加的触觉反馈力，例如以便模拟用户102在翻真实页面时可能体验到的感觉(例如，在翻页时克服少量的空气阻力、页面的刚性和/或书本中的装订等)。
触觉反馈在许多应用中通常将与音频和视觉反馈结合。例如，通过设备305中的扬声器1006或者耦合的外接耳机(未示出)来播放页面在翻动时的沙沙声的音频样本，如附图标记1015所示。然而，如同在图6中示出并且在所附说明中描述的说明性示例，可利用不模拟特定物理动作或者可以是用户可从各种这样的声音中选择的替换音频样本，包括任意声音(诸如蜂鸣声、叮当声、声调、音符等)。在所有情况下，对音频样本的利用在用户翻动虚拟页面322时提供听觉反馈。
在图10所示的示例中利用的视觉反馈可包括页面322的动画，其中动画运动是响应于用户手指或指示笔的运动而执行的。因此，例如，页面322可响应于用户在触摸屏310上对页面322的触摸来翻页、滑动、或渐隐等以显露文档中的下一页或上一页。
如同在上述说明性示例中，在触摸屏310是压敏的实现中，对用户的传感反馈可响应于在触摸屏上改变的来自用户102的压力而改变。例如，如果用户102更快地或用更大的力量(即通过对触摸屏310施加更多的压力)翻页，则页面322将更快地翻动或滑动，并且翻动的页面的声音可以更强烈或更响。
图11是示出可安装在设备上以便于实现本发明的使用音频、视觉、以及触觉反馈的3-D对象模拟的功能组件的说明性体系结构1104。这些功能组件可另选地使用软件、硬件、固件、或者软件、硬件和固件的各种组合来实现。例如，说明性体系结构1104中的功能组件可以在运行时期间通过由图7C所示的处理器721执行存储在存储器719中的指令来创建。
通常利用主应用程序1107来提供诸如在图9中示出并且在所附说明中描述的娱乐或游戏环境等特定的所需功能。然而，在某些情况中，由主应用程序1107实现的特征和功能可另选地由设备的操作系统或中间件来提供。例如，在某些实现中可支持通过虚拟键盘的文件系统操作和输入作为基本操作系统功能。
传感反馈逻辑组件1120被配置成向主应用程序1107展示各种反馈方法，并充当主应用程序和硬件专用控制器之间的中介。这些控制器包括通常可用软件来实现为设备驱动程序的触摸屏控制器1125、音频控制器1128、以及运动控制器1134。触摸屏控制器1125、音频控制器1128、以及运动控制器1134分别与在图11中的单个硬件层1140中抽象的触摸屏、音频生成器、以及一个或多个振动单元交互。除了其它功能之外，触摸屏控制器1125被配置成捕捉指示触摸坐标和/或施加给触摸屏的压力的数据并将捕捉到的数据通常以输入事件的形式返回传感反馈逻辑组件1120。运动控制器1134可被配置成与一个或多个振动单元互操作以提供满足特定实现的需求所必需的单个或多个运动自由度。
因此，传感反馈逻辑组件1120被安排成从主应用程序接收对诸如以上在图10中示出的示例中的毛被理顺的感觉以及对应的视觉动画和声音效果等特定传感效果的调用。传感反馈逻辑组件1120然后为硬件专用控制器制定适当的命令以由此在设备上实现所需传感效果。例如，为了实现在图10所附的说明中描述的翻页的多传感效果，传感反馈逻辑组件1120调用触摸屏上的页面动画的呈现以及翻页声音的播放。另外，生成用于控制诸如振动单元等运动致动器的驱动信号或一组驱动信号。驱动信号通常将在大小、频率、脉冲波形、持续时间等方面变化，并被定向到单个振动单元(或者在利用多个振动单元的实现方式中的振动单元的各种组合)以产生所需触觉反馈。
虽然已给出利用触摸屏的运动来向用户提供不同的传感提示的触觉反馈，但应强调，在某些情形中也可采用其它方法。例如，可使用静电发生器来提供对用户手指的低电流电刺激以提供用于替换或补充通过移动触摸屏提供的触觉感觉的触觉反馈。或者，可使用响应于用户交互来选择性地通电以创建触摸屏周围的磁场的电磁铁。在该实施例中，通常利用在笔尖中具有永磁铁、电磁铁或铁磁材料的指示笔来将通过操作磁场生成的斥力传回到用户以提供触觉反馈。或者，可将这些磁铁结合到诸如假肢或手套等用户可穿戴的物品中以便于在不使用指示笔的情况下直接与触摸屏交互。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (20)

1.一种用于向设备(105)的用户(102)提供多传感体验的方法，所述设备包括触摸屏(110)，所述方法包括以下步骤：
给予所述触摸屏(110)运动，所述运动被安排成i)通过对所述用户(102)的触觉反馈来确认在所述触摸屏(110)上执行的用户动作；ii)模拟与对象的交互就好像所述对象是三维的；以及iii)响应于所述用户对所述触摸屏(110)上的对象(206)的表示的触摸来给予；
播放和与所述对象(206)的交互相关联的音频样本(602)，所述音频样本(602)通过对所述用户(102)的听觉反馈来确认所述用户动作；以及
呈现响应于与所述对象的交互的对于所述表示(206)的视觉效果(402)，所述视觉效果(402)通过对所述用户(102)的视觉反馈来确认所述用户交互。
2.如权利要求1所述的方法，其特征在于，所述运动包括多个自由度。
3.如权利要求2所述的方法，其特征在于，所述视觉效果(402)包括在所述触摸屏(110)上显示所述对象以使得所述对象看上去具有深度。
4.如权利要求3所述的方法，其特征在于，所述显示包括向所述对象提供阴影、或者以透视法呈现所述对象、或者向所述对象应用一个或多个颜色。
5.如权利要求3所述的方法，其特征在于，所述视觉效果还包括对所述对象应用动画。
6.如权利要求1所述的方法，其特征在于，还包括响应于所述用户施加给所述触摸屏(110)的压力水平来使给予所述触摸屏的运动变化的步骤。
7.如权利要求6所述的方法，其特征在于，还包括响应于所述用户施加给所述触摸屏(110)的压力水平来使所述播放或所述呈现变化的步骤。
8.一种用于通过提供传感反馈体验来模拟与显示在触摸屏(110)上的对象的3-D交互的设备，包括：
被安排成接收指示经由触摸的用户动作的输入并且响应于所述用户动作来显示视觉效果的触摸屏(110)；
一个或多个运动致动器(712)，安排成给予所述触摸屏(110)运动，所述运动被安排成i)通过对用户(102)的触觉反馈来确认在所述触摸屏(110)上执行的用户动作；ii)模拟与对象的交互就好像所述对象是三维的；以及iii)响应于所述用户对所述触摸屏(110)上的对象(206)的表示的触摸来给予；
用于播放和与所述对象的交互相关联的音频样本(602)的声音呈现设备(606)，所述音频样本(602)通过对所述用户(102)的听觉反馈来确认所述用户动作；
用于存储传感反馈逻辑指令的存储器(719)以及
耦合到所述存储器(719)的至少一个处理器(721)，所述至少一个处理器用于执行所述传感反馈逻辑指令，所述传感反馈逻辑指令在被执行时响应于所述用户动作来为所述用户(102)实现所述传感反馈体验，所述传感反馈体验包括所述触觉反馈、所述听觉反馈以及所述视觉反馈。
9.如权利要求8所述的设备，其特征在于，还包括用于实现以下各项中的一个所附带的功能的一个或多个结构：移动电话、个人数字助理、智能电话、便携式游戏设备、超移动PC、个人媒体播放器、POS终端、自助服务终端、车辆娱乐系统、车辆导航系统、车辆子系统控制器、车辆HVAC控制器、医疗器械控制器、工业设备控制器或者ATM。
10.如权利要求8所述的设备，其特征在于，所述一个或多个运动致动器(712)被安排成以多个运动自由度移动所述触摸屏(110)以使得能给予所述触摸屏(110)与特定3-D模拟相关联的不同运动。
11.如权利要求10所述的设备，其特征在于，所述3-D模拟选自几何形状或纹理中的一个。
12.如权利要求10所述的设备，其特征在于，所述一个或多个运动致动器(712)包括包含电动机(704)和旋转偏心锤(710)的振动单元。
13.如权利要求12所述的设备，其特征在于，所述电动机(704)被安排成以可变速度、或者在可变持续时间内、或者在向前和向后方向上驱动，以使得能给予所述触摸屏(110)多个不同的运动，所述多个不同的运动中的每一个都能用于模拟不同的交互。
14.如权利要求10所述的设备，其特征在于，所述一个或多个运动致动器(712)包括能被配置成产生可变磁场的电磁铁或者包括能被配置成产生静电放电的静电发生器。
15.如权利要求10所述的设备，其特征在于，所述声音呈现设备(606)包括集成的扬声器或者可外部地耦合的耳机。
16.一种包含指令的计算机可读介质，所述指令在由设置在电子设备(105)中的一个或多个处理器执行时实现一种用于模拟对于显示在与所述设备(105)相关联的触摸屏(110)上的对象的交互式3-D环境的体系结构(1104)，所述体系结构(1104)包括：
传感反馈逻辑组件(1120)，配置成响应于对触摸屏(110)的输入事件来为所述设备(105)的用户(102)实现包括视觉反馈、听觉反馈以及触觉反馈的传感反馈体验；
触摸屏控制器(1125)，配置成从所述触摸屏(110)接收所述输入事件并控制所述对象(206)的表示在所述触摸屏(110)上的呈现；
音频控制器(1128)，配置成控制音频样本(602)的回放以通过所述听觉反馈来确认所述输入事件；以及
运动控制器(1134)，配置成控制一个或多个运动致动器(712)施加给所述触摸屏(110)的力，所述力包括可变方向、可变持续时间、以及可变大小，以便为所述触摸屏(110)提供对应于多个不同的输入事件中的每一个的不同运动。
17.如权利要求16所述的计算机可读介质，其特征在于，还包括配置成生成所述交互式3-D环境的主应用程序(1107)。
18.如权利要求17所述的计算机可读介质，其特征在于，还包括包含触摸屏、音频生成器、以及一个或多个运动致动器的硬件抽象层(1140)。
19.如权利要求18所述的计算机可读介质，其特征在于，所述输入事件包括所述用户为通过感触来定位显示在所述触摸屏(110)上的对象而进行的触摸。
20.如权利要求19所述的计算机可读介质，其特征在于，所述输入事件包括所述用户为通过感触来与显示在所述触摸屏(110)上的对象交互而进行的触摸。
CN200880112417XA 2007-10-18 2008-10-10 使用音频、视觉和触觉反馈的三维对象模拟 Expired - Fee Related CN101828161B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/975,321 2007-10-18
US11/975,321 US20090102805A1 (en) 2007-10-18 2007-10-18 Three-dimensional object simulation using audio, visual, and tactile feedback
PCT/US2008/079560 WO2009052028A2 (en) 2007-10-18 2008-10-10 Three-dimensional object simulation using audio, visual, and tactile feedback

Publications (2)

Publication Number Publication Date
CN101828161A true CN101828161A (zh) 2010-09-08
CN101828161B CN101828161B (zh) 2013-04-10

Family

ID=40563029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880112417XA Expired - Fee Related CN101828161B (zh) 2007-10-18 2008-10-10 使用音频、视觉和触觉反馈的三维对象模拟

Country Status (5)

Country Link
US (1) US20090102805A1 (zh)
EP (1) EP2212761A4 (zh)
JP (1) JP2011501298A (zh)
CN (1) CN101828161B (zh)
WO (1) WO2009052028A2 (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101943997A (zh) * 2010-09-13 2011-01-12 中兴通讯股份有限公司 一种实现触摸屏终端发出操作提示音的方法及终端
CN101972149A (zh) * 2010-11-02 2011-02-16 浙江理工大学 视触觉测试仪及视触觉敏感性测试方法
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
CN103294183A (zh) * 2012-03-05 2013-09-11 联想(北京)有限公司 终端设备及其对压力进行反馈的方法
CN103339591A (zh) * 2010-11-09 2013-10-02 诺基亚公司 用于用户输入以控制显示信息的装置和方法
CN103460164A (zh) * 2012-02-03 2013-12-18 松下电器产业株式会社 触觉提示装置以及触觉提示装置的驱动方法、驱动程序
CN103809739A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种电子设备的输出方法、输出控制装置及电子设备
CN103853363A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈的方法及电子设备
CN104007922A (zh) * 2013-02-23 2014-08-27 三星电子株式会社 响应于用户输入提供反馈的方法和实现所述方法的终端
CN104020858A (zh) * 2013-03-01 2014-09-03 鸿富锦精密工业（深圳）有限公司 虚拟键盘提供装置
CN104769645A (zh) * 2013-07-10 2015-07-08 哲睿有限公司 虚拟伴侣
CN104978026A (zh) * 2015-06-18 2015-10-14 延锋伟世通电子科技（上海）有限公司 一种面向汽车电子的带触摸振动反馈效果的结构
CN105751997A (zh) * 2015-01-05 2016-07-13 大众汽车有限公司 通过虚拟操作元件输入文字并具有触觉反馈的设备和方法
CN104054040B (zh) * 2012-01-12 2017-02-15 国际商业机器公司 使用振动在移动设备的显示器上模拟触摸纹理
CN106964152A (zh) * 2013-12-17 2017-07-21 西村慎司 电子游戏用虚拟体验遥控器按钮
CN107209554A (zh) * 2014-12-15 2017-09-26 Dav公司 用于控制机动车辆的设备和方法
CN107209585A (zh) * 2014-10-02 2017-09-26 Dav公司 用于机动车辆的控制装置
CN107209550A (zh) * 2014-10-02 2017-09-26 Dav公司 控制装置和用于机动车辆的方法
CN107407969A (zh) * 2015-02-20 2017-11-28 超级触觉资讯处理有限公司 触觉系统中的感知
US9880622B2 (en) 2009-12-21 2018-01-30 Kyocera Corporation Tactile sensation providing apparatus and control method for tactile sensation providing apparatus when using an application that does not support operation of tactile sensation
CN107924279A (zh) * 2015-08-24 2018-04-17 奇手公司 具有多传感器流同步数据的触敏设备
CN108509027A (zh) * 2018-02-11 2018-09-07 合肥市科技馆 一种基于图像互动的自然科普装置
CN109219790A (zh) * 2016-07-08 2019-01-15 伊兹特商户服务公司 用于删除用户界面中的对象的装置、方法和图形用户界面
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
CN109313492A (zh) * 2016-03-31 2019-02-05 森赛尔股份有限公司 人机接口系统
CN109587544A (zh) * 2018-09-27 2019-04-05 杭州家娱互动网络科技有限公司 一种图标渲染方法、装置及电子设备
CN111414082A (zh) * 2016-09-06 2020-07-14 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面
CN111784805A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种虚拟角色交互反馈方法和装置
CN112399260A (zh) * 2020-11-04 2021-02-23 四川长虹电器股份有限公司 智能电视内容浏览交互系统及方法
CN113448441A (zh) * 2021-07-08 2021-09-28 北京有竹居网络技术有限公司 具备触觉交互功能的用户手持设备、触觉交互方法及装置
WO2021259341A1 (zh) * 2020-06-24 2021-12-30 京东方科技集团股份有限公司 交互系统、交互方法和机器可读存储介质
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US11460924B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. System and method for detecting and characterizing inputs on a touch sensor surface
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system

Families Citing this family (223)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384672B1 (en) 2006-03-29 2016-07-05 Amazon Technologies, Inc. Handheld electronic book reader device having asymmetrical shape
US7748634B1 (en) 2006-03-29 2010-07-06 Amazon Technologies, Inc. Handheld electronic book reader device having dual displays
US8413904B1 (en) 2006-03-29 2013-04-09 Gregg E. Zehr Keyboard layout for handheld electronic book reader device
US11126321B2 (en) * 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
FI20085475A0 (fi) * 2008-05-19 2008-05-19 Senseg Oy Kosketuslaiteliitäntä
KR101580227B1 (ko) 2007-09-18 2015-12-24 센세그 오와이 감지 자극에 대한 장치 및 방법
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US20090207129A1 (en) * 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
KR101463821B1 (ko) * 2008-06-19 2014-12-04 엘지전자 주식회사 휴대 단말기
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20090322761A1 (en) * 2008-06-26 2009-12-31 Anthony Phills Applications for mobile computing devices
US20100053087A1 (en) * 2008-08-26 2010-03-04 Motorola, Inc. Touch sensors with tactile feedback
US8456320B2 (en) * 2008-11-18 2013-06-04 Sony Corporation Feedback with front light
KR101021099B1 (ko) * 2008-12-05 2011-03-14 엔에이치엔(주) 터치스크린을 통한 정보 입력 시 오입력을 방지하기 위한 방법, 연산 장치 및 컴퓨터 판독 가능한 기록 매체
CN102334154B (zh) 2009-02-24 2016-02-03 电子湾有限公司 用于提供多方向视觉浏览的系统和方法
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US8963844B2 (en) * 2009-02-26 2015-02-24 Tara Chand Singhal Apparatus and method for touch screen user interface for handheld electronic devices part I
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8686951B2 (en) * 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US8111247B2 (en) * 2009-03-27 2012-02-07 Sony Ericsson Mobile Communications Ab System and method for changing touch screen functionality
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
KR101686913B1 (ko) * 2009-08-13 2016-12-16 삼성전자주식회사 전자기기에서 이벤트 서비스 제공 방법 및 장치
US8499239B2 (en) * 2009-08-28 2013-07-30 Microsoft Corporation Globe container
US8451238B2 (en) * 2009-09-02 2013-05-28 Amazon Technologies, Inc. Touch-screen user interface
US8624851B2 (en) * 2009-09-02 2014-01-07 Amazon Technologies, Inc. Touch-screen user interface
US9262063B2 (en) * 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
US8471824B2 (en) * 2009-09-02 2013-06-25 Amazon Technologies, Inc. Touch-screen user interface
KR20110027117A (ko) * 2009-09-09 2011-03-16 삼성전자주식회사 터치 패널을 구비한 전자 장치와 표시 방법
US8766933B2 (en) 2009-11-12 2014-07-01 Senseg Ltd. Tactile stimulation apparatus having a composite section comprising a semiconducting material
US20110116665A1 (en) * 2009-11-17 2011-05-19 King Bennett M System and method of providing three-dimensional sound at a portable computing device
EP2502215B1 (en) * 2009-11-17 2020-06-03 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
US8810524B1 (en) 2009-11-20 2014-08-19 Amazon Technologies, Inc. Two-sided touch sensor
US8839128B2 (en) 2009-11-25 2014-09-16 Cooliris, Inc. Gallery application for content viewing
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
JP5749435B2 (ja) * 2009-12-28 2015-07-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム、制御対象機器および情報処理システム
JP5665322B2 (ja) * 2010-01-25 2015-02-04 京セラ株式会社 電子機器
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US8433828B2 (en) * 2010-02-26 2013-04-30 Apple Inc. Accessory protocol for touch screen device accessibility
US20110282967A1 (en) * 2010-04-05 2011-11-17 Electronics And Telecommunications Research Institute System and method for providing multimedia service in a communication system
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
JP2011238205A (ja) * 2010-05-04 2011-11-24 Samsung Electro-Mechanics Co Ltd タッチスクリーン装置
FR2960087B1 (fr) * 2010-05-12 2013-08-30 Compagnie Ind Et Financiere Dingenierie Ingenico Dispositif portable comprenant un ecran tactile et procede d'utilisation correspondant.
US9367227B1 (en) 2010-06-30 2016-06-14 Amazon Technologies, Inc. Chapter navigation user interface
US9223475B1 (en) * 2010-06-30 2015-12-29 Amazon Technologies, Inc. Bookmark navigation user interface
JP5706676B2 (ja) * 2010-11-26 2015-04-22 京セラ株式会社 触感呈示装置
US10503255B2 (en) * 2010-12-02 2019-12-10 Immersion Corporation Haptic feedback assisted text manipulation
AU2012207616B2 (en) * 2011-01-18 2016-01-07 Savant Systems, Inc. Remote control interface providing head-up operation and visual feedback
KR20120090565A (ko) * 2011-02-08 2012-08-17 삼성전자주식회사 영상 데이터의 실감 효과 처리장치 및 방법
US20120226979A1 (en) * 2011-03-04 2012-09-06 Leica Camera Ag Navigation of a Graphical User Interface Using Multi-Dimensional Menus and Modes
CN102693066B (zh) * 2011-03-25 2015-05-27 国基电子（上海）有限公司 触控式电子装置及其虚拟键盘操作方法
EP2506117A1 (en) * 2011-03-28 2012-10-03 Research In Motion Limited Portable electronic device with display and feedback module
US20120274578A1 (en) * 2011-04-26 2012-11-01 Research In Motion Limited Electronic device and method of controlling same
US9465517B2 (en) * 2011-05-24 2016-10-11 Mitsubishi Electric Corporation Character input device and car navigation device equipped with character input device
JP5265819B2 (ja) * 2011-06-07 2013-08-14 パナソニック株式会社 電子機器
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
KR101941644B1 (ko) * 2011-07-19 2019-01-23 삼성전자 주식회사 휴대 단말기의 피드백 제공 방법 및 장치
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101882262B1 (ko) * 2011-11-25 2018-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9400600B2 (en) 2011-12-16 2016-07-26 Samsung Electronics Co., Ltd. Method, apparatus, and graphical user interface for providing visual effects on a touchscreen display
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices
US20130222267A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
CN103294174B (zh) * 2012-02-27 2016-03-30 联想(北京)有限公司 电子设备及其信息处理方法
KR101181505B1 (ko) * 2012-02-28 2012-09-10 한국과학기술원 다양하고 정교한 정보전달을 위한 입력 지점과 출력 지점이 분리된 햅틱 인터페이스
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9360893B2 (en) 2012-03-02 2016-06-07 Microsoft Technology Licensing, Llc Input device writing surface
US9563297B2 (en) * 2012-03-02 2017-02-07 Nec Corporation Display device and operating method thereof
USRE48963E1 (en) 2012-03-02 2022-03-08 Microsoft Technology Licensing, Llc Connection device for computing devices
US9064654B2 (en) 2012-03-02 2015-06-23 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9426905B2 (en) 2012-03-02 2016-08-23 Microsoft Technology Licensing, Llc Connection device for computing devices
US9460029B2 (en) 2012-03-02 2016-10-04 Microsoft Technology Licensing, Llc Pressure sensitive keys
US9298236B2 (en) 2012-03-02 2016-03-29 Microsoft Technology Licensing, Llc Multi-stage power adapter configured to provide a first power level upon initial connection of the power adapter to the host device and a second power level thereafter upon notification from the host device to the power adapter
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
EP2827235A4 (en) * 2012-03-16 2015-11-25 Ntt Docomo Inc END DEVICE FOR REPRODUCING THE CONTENT OF AN ELECTRONIC BOOK AND METHOD FOR REPRODUCING THE CONTENT OF AN ELECTRONIC BOOK
US9046972B2 (en) 2012-03-23 2015-06-02 Nokia Technologies Oy Structure for a tactile display
JP2013228936A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
JP2013228937A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN108958550B (zh) 2012-05-09 2021-11-12 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
EP3096218B1 (en) 2012-05-09 2018-12-26 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013170099A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
CN104737096B (zh) * 2012-05-31 2018-01-02 诺基亚技术有限公司 显示装置
US10031556B2 (en) 2012-06-08 2018-07-24 Microsoft Technology Licensing, Llc User experience adaptation
WO2013188307A2 (en) 2012-06-12 2013-12-19 Yknots Industries Llc Haptic electromagnetic actuator
US9019615B2 (en) 2012-06-12 2015-04-28 Microsoft Technology Licensing, Llc Wide field-of-view virtual image projector
WO2013192539A1 (en) 2012-06-21 2013-12-27 Nextinput, Inc. Wafer level mems force dies
WO2014008377A1 (en) 2012-07-05 2014-01-09 Ian Campbell Microelectromechanical load sensor and methods of manufacturing the same
JP2014033936A (ja) * 2012-08-10 2014-02-24 Fukuda Denshi Co Ltd 心電計
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
KR101949737B1 (ko) * 2012-08-28 2019-02-19 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체
WO2014034550A1 (ja) * 2012-08-31 2014-03-06 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
US20140078134A1 (en) * 2012-09-18 2014-03-20 Ixonos Oyj Method for determining three-dimensional visual effect on information element using apparatus with touch sensitive display
WO2014049794A1 (ja) * 2012-09-27 2014-04-03 パイオニア株式会社 電子機器
KR102068042B1 (ko) * 2012-10-29 2020-01-20 에스케이플래닛 주식회사 모바일 웹 페이지에서 스와입 모션 감지에 따른 처리 시스템 및 방법
GB2507556A (en) * 2012-11-05 2014-05-07 Ibm Configuring a keyboard model
US10078384B2 (en) * 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
CN102981622A (zh) * 2012-11-29 2013-03-20 广东欧珀移动通信有限公司 一种移动终端的外部控制方法及系统
EP2937471A4 (en) * 2012-12-20 2016-09-14 Volvo Constr Equip Ab ACTUATOR CONTROL DEVICE FOR BUILDING EQUIPMENT AND ACTUATOR CONTROL METHOD THEREFOR
WO2014105274A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for navigating user interface hierarchies
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US20160139671A1 (en) * 2013-01-15 2016-05-19 Samsung Electronics Co., Ltd. Method for providing haptic effect in electronic device, machine-readable storage medium, and electronic device
KR102035305B1 (ko) 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9304549B2 (en) 2013-03-28 2016-04-05 Microsoft Technology Licensing, Llc Hinge mechanism for rotatable component attachment
CN104111724A (zh) * 2013-04-19 2014-10-22 联想(北京)有限公司 一种信息处理的方法及电子设备
KR102133365B1 (ko) 2013-05-09 2020-07-13 삼성전자 주식회사 정보를 사용자에게 제공하기 위한 전자 장치
US9280259B2 (en) 2013-07-26 2016-03-08 Blackberry Limited System and method for manipulating an object in a three-dimensional desktop environment
US10037081B2 (en) * 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
US9390598B2 (en) 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling
US9665206B1 (en) 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
JP6037252B2 (ja) 2013-10-25 2016-12-07 パナソニックＩｐマネジメント株式会社 電子機器
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
KR101518786B1 (ko) * 2013-11-29 2015-05-15 주식회사 하이딥 터치의 압력 레벨에 따른 피드백 방법 및 이를 수행하는 터치 스크린을 포함하는 장치
US9902611B2 (en) 2014-01-13 2018-02-27 Nextinput, Inc. Miniaturized and ruggedized wafer level MEMs force sensors
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
WO2015121963A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 ゲームコントローラ
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
EP2933714A1 (en) 2014-04-15 2015-10-21 idp invent ag Method of operating a touch screen device, display control unit and touch screen device
US11023655B2 (en) * 2014-06-11 2021-06-01 Microsoft Technology Licensing, Llc Accessibility detection of content properties through tactile interactions
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
KR20160106985A (ko) 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
US9600094B2 (en) * 2015-03-04 2017-03-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for directing motion of a writing device
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
CN107848788B (zh) 2015-06-10 2023-11-24 触控解决方案股份有限公司 具有容差沟槽的加固的晶圆级mems力传感器
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
JP2017037583A (ja) * 2015-08-14 2017-02-16 レノボ・シンガポール・プライベート・リミテッド コンピュータの入力システム
US9959082B2 (en) 2015-08-19 2018-05-01 Shakai Dominique Environ system
US10705723B2 (en) 2015-11-23 2020-07-07 Verifone, Inc. Systems and methods for authentication code entry in touch-sensitive screen enabled devices
EP4050462A1 (en) * 2015-11-23 2022-08-31 Verifone, Inc. Authentication code entry in devices having touch-sensitive screen
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム
JP6074097B2 (ja) * 2016-06-08 2017-02-01 パイオニア株式会社 電子機器
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
CN116907693A (zh) 2017-02-09 2023-10-20 触控解决方案股份有限公司 集成数字力传感器和相关制造方法
US11243125B2 (en) 2017-02-09 2022-02-08 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
CN106959814A (zh) * 2017-03-27 2017-07-18 联想(北京)有限公司 一种虚拟键盘的显示方法、装置及终端
GB2562328A (en) * 2017-05-08 2018-11-14 Cirrus Logic Int Semiconductor Ltd Integrated haptic system
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
KR101917101B1 (ko) * 2017-06-05 2018-11-09 한국과학기술연구원 진동식 촉각 자극 생성 장치, 시스템 및 방법
US11221263B2 (en) 2017-07-19 2022-01-11 Nextinput, Inc. Microelectromechanical force sensor having a strain transfer layer arranged on the sensor die
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
WO2019023309A1 (en) 2017-07-25 2019-01-31 Nextinput, Inc. FORCE SENSOR AND INTEGRATED FINGERPRINTS
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
US11579028B2 (en) 2017-10-17 2023-02-14 Nextinput, Inc. Temperature coefficient of offset compensation for force sensor and strain gauge
DE102017219414A1 (de) * 2017-10-30 2019-05-02 Robert Bosch Gmbh Multimedia-Bedienvorrichtung und Verfahren zur Steuerung einer Multimedia-Bedienvorrichtung
US11385108B2 (en) 2017-11-02 2022-07-12 Nextinput, Inc. Sealed force sensor with etch stop layer
US11874185B2 (en) 2017-11-16 2024-01-16 Nextinput, Inc. Force attenuator for force sensor
EP3506056A1 (en) * 2017-12-30 2019-07-03 Advanced Digital Broadcast S.A. System and method for providing haptic feedback when operating a touch screen
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
DE102018202668B4 (de) * 2018-02-22 2021-03-04 Audi Ag Bedienvorrichtung sowie Verfahren zum Ansteuern zumindest einer Funktionseinheit für ein Kraftfahrzeug mit einer optischen Verlagerung eines Bediensymbols
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
EP3791246A1 (de) * 2018-05-07 2021-03-17 Behr-Hella Thermocontrol GmbH Bedienvorrichtung für ein fahrzeug
JP6879265B2 (ja) * 2018-05-23 2021-06-02 株式会社デンソー 電子機器
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
DE102018215213A1 (de) 2018-09-07 2020-03-12 Robert Bosch Gmbh Vorrichtung zur Erzeugung einer akustischen Rückmeldung bei Betätigung eines Bedienelements und Verfahren zur Erzeugung einer akustischen Rückmeldung bei Betätigung eines Bedienelements
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
JP7302781B2 (ja) * 2019-02-18 2023-07-04 株式会社東海理化電機製作所 制御装置およびプログラム
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
KR20210029921A (ko) * 2019-09-09 2021-03-17 현대자동차주식회사 터치 스크린, 그를 가지는 차량 및 그 제어 방법
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6590573B1 (en) * 1983-05-09 2003-07-08 David Michael Geshwind Interactive computer system for creating three-dimensional image information and for converting two-dimensional image information for three-dimensional display systems
US5977867A (en) * 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
KR20020064603A (ko) * 2001-02-02 2002-08-09 김응선 인체 반응형 터치 스크린
KR101289110B1 (ko) * 2001-11-01 2013-08-07 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
US20030184574A1 (en) * 2002-02-12 2003-10-02 Phillips James V. Touch screen interface with haptic feedback device
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
US7780527B2 (en) * 2002-05-14 2010-08-24 Atronic International Gmbh Gaming machine having three-dimensional touch screen for player input
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP4039344B2 (ja) * 2003-09-17 2008-01-30 株式会社日立製作所 タッチパネルを備えた表示装置
US20050088417A1 (en) * 2003-10-24 2005-04-28 Mulligan Roger C. Tactile touch-sensing system
US7542026B2 (en) * 2003-11-03 2009-06-02 International Business Machines Corporation Apparatus method and system for improved feedback of pointing device event processing
US7814419B2 (en) * 2003-11-26 2010-10-12 Nokia Corporation Changing an orientation of a user interface via a course of motion
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
JP4439351B2 (ja) * 2004-07-28 2010-03-24 アルパイン株式会社 振動付与機能付きタッチパネル入力装置および操作入力に対する振動付与方法
US20060028428A1 (en) * 2004-08-05 2006-02-09 Xunhu Dai Handheld device having localized force feedback
EP1805585B1 (en) * 2004-10-08 2017-08-16 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
JP4717461B2 (ja) * 2005-02-14 2011-07-06 キヤノン株式会社 情報入力装置、情報入力方法及び情報入力プログラム
EP1907086B1 (en) * 2005-06-27 2011-07-20 Coactive Drive Corporation Synchronized vibration device for haptic feedback
US7782319B2 (en) * 2007-03-28 2010-08-24 Autodesk, Inc. Three-dimensional orientation indicator and controller

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9880622B2 (en) 2009-12-21 2018-01-30 Kyocera Corporation Tactile sensation providing apparatus and control method for tactile sensation providing apparatus when using an application that does not support operation of tactile sensation
CN101943997A (zh) * 2010-09-13 2011-01-12 中兴通讯股份有限公司 一种实现触摸屏终端发出操作提示音的方法及终端
CN101972149A (zh) * 2010-11-02 2011-02-16 浙江理工大学 视触觉测试仪及视触觉敏感性测试方法
US10146426B2 (en) 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
CN103339591A (zh) * 2010-11-09 2013-10-02 诺基亚公司 用于用户输入以控制显示信息的装置和方法
CN103339591B (zh) * 2010-11-09 2017-07-07 诺基亚技术有限公司 用于用户输入以控制显示信息的装置和方法
CN102843334A (zh) * 2011-06-20 2012-12-26 华为技术有限公司 在线应用的交互方法、服务器、客户端设备和系统
CN104054040B (zh) * 2012-01-12 2017-02-15 国际商业机器公司 使用振动在移动设备的显示器上模拟触摸纹理
CN103460164B (zh) * 2012-02-03 2017-02-08 松下知识产权经营株式会社 触觉提示装置以及触觉提示装置的驱动方法
CN103460164A (zh) * 2012-02-03 2013-12-18 松下电器产业株式会社 触觉提示装置以及触觉提示装置的驱动方法、驱动程序
CN103294183B (zh) * 2012-03-05 2017-03-01 联想(北京)有限公司 终端设备及其对压力进行反馈的方法
CN103294183A (zh) * 2012-03-05 2013-09-11 联想(北京)有限公司 终端设备及其对压力进行反馈的方法
CN103809739A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种电子设备的输出方法、输出控制装置及电子设备
CN103853363A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈的方法及电子设备
CN103853363B (zh) * 2012-11-29 2017-09-29 联想(北京)有限公司 一种触觉反馈的方法及电子设备
CN104007922B (zh) * 2013-02-23 2019-09-03 三星电子株式会社 响应于用户输入提供反馈的方法和实现所述方法的终端
CN104007922A (zh) * 2013-02-23 2014-08-27 三星电子株式会社 响应于用户输入提供反馈的方法和实现所述方法的终端
CN104020858A (zh) * 2013-03-01 2014-09-03 鸿富锦精密工业（深圳）有限公司 虚拟键盘提供装置
CN104769645A (zh) * 2013-07-10 2015-07-08 哲睿有限公司 虚拟伴侣
CN106964152B (zh) * 2013-12-17 2020-08-18 西村慎司 电子游戏用虚拟体验遥控器按钮
CN106964152A (zh) * 2013-12-17 2017-07-21 西村慎司 电子游戏用虚拟体验遥控器按钮
CN107209550A (zh) * 2014-10-02 2017-09-26 Dav公司 控制装置和用于机动车辆的方法
CN107209585A (zh) * 2014-10-02 2017-09-26 Dav公司 用于机动车辆的控制装置
CN107209554A (zh) * 2014-12-15 2017-09-26 Dav公司 用于控制机动车辆的设备和方法
CN105751997A (zh) * 2015-01-05 2016-07-13 大众汽车有限公司 通过虚拟操作元件输入文字并具有触觉反馈的设备和方法
CN107407969A (zh) * 2015-02-20 2017-11-28 超级触觉资讯处理有限公司 触觉系统中的感知
CN107407969B (zh) * 2015-02-20 2020-09-11 超级触觉资讯处理有限公司 操纵触觉场以产生所期用户感知的方法
CN104978026A (zh) * 2015-06-18 2015-10-14 延锋伟世通电子科技（上海）有限公司 一种面向汽车电子的带触摸振动反馈效果的结构
CN107924279A (zh) * 2015-08-24 2018-04-17 奇手公司 具有多传感器流同步数据的触敏设备
US11409388B2 (en) 2016-03-31 2022-08-09 Sensel, Inc. System and method for a touch sensor interfacing a computer system and a user
CN109313492B (zh) * 2016-03-31 2022-03-18 森赛尔股份有限公司 人机接口系统
CN109313492A (zh) * 2016-03-31 2019-02-05 森赛尔股份有限公司 人机接口系统
US11592903B2 (en) 2016-03-31 2023-02-28 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11460924B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. System and method for detecting and characterizing inputs on a touch sensor surface
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
CN109219790A (zh) * 2016-07-08 2019-01-15 伊兹特商户服务公司 用于删除用户界面中的对象的装置、方法和图形用户界面
CN111414082A (zh) * 2016-09-06 2020-07-14 苹果公司 用于提供触觉反馈的设备、方法和图形用户界面
CN108509027A (zh) * 2018-02-11 2018-09-07 合肥市科技馆 一种基于图像互动的自然科普装置
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
CN109587544A (zh) * 2018-09-27 2019-04-05 杭州家娱互动网络科技有限公司 一种图标渲染方法、装置及电子设备
WO2021259341A1 (zh) * 2020-06-24 2021-12-30 京东方科技集团股份有限公司 交互系统、交互方法和机器可读存储介质
CN111784805A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种虚拟角色交互反馈方法和装置
CN111784805B (zh) * 2020-07-03 2024-02-09 珠海金山数字网络科技有限公司 一种虚拟角色交互反馈方法和装置
CN112399260A (zh) * 2020-11-04 2021-02-23 四川长虹电器股份有限公司 智能电视内容浏览交互系统及方法
CN113448441A (zh) * 2021-07-08 2021-09-28 北京有竹居网络技术有限公司 具备触觉交互功能的用户手持设备、触觉交互方法及装置

Also Published As

Publication number Publication date
EP2212761A4 (en) 2016-08-10
US20090102805A1 (en) 2009-04-23
CN101828161B (zh) 2013-04-10
WO2009052028A3 (en) 2009-07-09
WO2009052028A2 (en) 2009-04-23
JP2011501298A (ja) 2011-01-06
EP2212761A2 (en) 2010-08-04

Similar Documents

Publication Publication Date Title
CN101828161B (zh) 使用音频、视觉和触觉反馈的三维对象模拟
JP6143922B2 (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
CN103092406B (zh) 用于触敏表面上的多压交互的系统和方法
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
CN102473035B (zh) 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
JP6545955B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
CN104122996B (zh) 用于支持触觉的紧贴式和多面显示器的系统和方法
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
CN104798013B (zh) 提供具有可编程表面纹理的模式或状态意识的系统和方法
CN101460908B (zh) 用于对便携式电子设备进行交互式输入的技术
EP3217261A1 (en) System and method for simulated physical interactions with haptic effects
WO2015187758A1 (en) Systems and methods for controlling feedback for multiple haptic zones
JP2008516348A (ja) タッチ式入力装置におけるボタンおよびスクロール動作シミュレーション用の触覚フィードバック
JP2012520522A (ja) グラフィカルユーザインターフェース装置においてテクスチャを用いるためのシステム及び方法
US20160246375A1 (en) Systems And Methods For User Interaction With A Curved Display
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
KR20180066865A (ko) 햅틱들을 가지는 컴플라이언스 착시들을 위한 시스템들 및 방법
WO2012147346A1 (ja) 通信機器および通信システム
US20220100276A1 (en) Method for generating a haptic feedback for an interface, and associated interface
Zhang et al. Pulling, pressing, and sensing with In-Flat: Transparent touch overlay for smartphones
JP3855561B2 (ja) 触覚力覚呈示装置及び情報入出力装置
Yong et al. Stereo‐Vision‐Based Human‐Computer Interaction with Tactile Stimulation
Müller Haptic Touch Screens for Mobile Devices: Feedback & Interaction
Jansen Improving inattentive operation of peripheral touch controls
JPH11175235A (ja) 入力装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150528

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150528

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130410

Termination date: 20191010

CF01 Termination of patent right due to non-payment of annual fee