CN109582150A - 利用触觉单元阵列模拟有形用户界面交互和手势 - Google Patents

利用触觉单元阵列模拟有形用户界面交互和手势 Download PDF

Info

Publication number
CN109582150A
CN109582150A CN201910126632.5A CN201910126632A CN109582150A CN 109582150 A CN109582150 A CN 109582150A CN 201910126632 A CN201910126632 A CN 201910126632A CN 109582150 A CN109582150 A CN 109582150A
Authority
CN
China
Prior art keywords
haptic
user
output devices
deformation
flexible layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910126632.5A
Other languages
English (en)
Inventor
A·莫达里斯
J·M·克鲁兹-赫尔南德斯
D·A·格兰特
V·利沃斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109582150A publication Critical patent/CN109582150A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Telephone Function (AREA)

Abstract

本申请涉及利用触觉单元阵列模拟有形用户界面交互和手势。更具体而言，涉及用户界面设备，其包括柔性层、被柔性层覆盖的多个触觉单元、传感器和处理器，其中柔性层包括配置为接收用户触摸的触摸表面，其中多个触觉单元中的每个触觉单元包括触觉输出设备，其中传感器配置为当用户触摸所述触摸表面时感测柔性层的变形量和/或变形率，并且其中处理器配置为接收来自传感器的输出信号、基于来自传感器的输出信号生成触觉控制信号、及将触觉控制信号输出到多个触觉单元中的至少一个触觉输出设备以使得该触觉输出设备响应于感测到的柔性层的变形使相关联的触觉单元变形。

Description

利用触觉单元阵列模拟有形用户界面交互和手势
本申请是申请日为2014年04月25日、中国国家阶段申请号为201480023082.X、题为“利用触觉单元阵列模拟有形用户界面交互和手势”的发明专利申请的分案申请。
对相关申请的交叉引用
本申请要求对于2013年4月26日提交的美国临时专利申请No.61/816,605的优先权权益，其全部内容通过引用被结合于此。
技术领域
本发明针对利用触觉单元阵列模拟有形用户界面交互和手势。
背景技术
当前以触摸屏形式的用户界面使用音频、视频和在一些情况下使用振动触觉向用户显示数字信息。触摸屏的当前实现还通常为了交互需要不断的视觉注意。尽管有形的(即，物理的)用户界面元素会有助于用户界面交互，尤其在诸如驾驶的占用视觉的情景中，但是当前在数字设备中实现的用户界面交互和手势通常在物理和现实方面有所缺乏。
增加启用触觉的触摸屏的应用范围，诸如增加触摸屏的感知分辨率和扩大可以由这些触摸屏传递的触觉信息的广度和深度是所期望的。通过用户界面元素的物理模拟来增强用户界面交互和手势的逼真度和现实感以创建有形和高效的交互/界面和提高用户体验也是所期望的。
发明内容
根据本发明的一方面，其中提供了用户界面设备，该设备包括柔性层、被柔性层覆盖的多个触觉单元、传感器和处理器，其中柔性层包括配置为接收用户触摸的触摸表面，其中多个触觉单元中的每个触觉单元包括触觉输出设备，其中传感器配置为当用户触摸所述触摸表面时感测柔性层的变形量和/或变形率，并且其中处理器配置为接收来自传感器的输出信号、基于来自传感器的输出信号生成触觉控制信号、及将触觉控制信号输出到多个触觉单元中的至少一个触觉输出设备以使得该触觉输出设备响应于感测到的柔性层的变形使相关联的触觉单元变形。
在实施例中，处理器被配置为将多个触觉控制信号输出到位于彼此接近的多个触觉输出设备来共同地创建触觉效果。
在实施例中，触觉效果模拟按钮或操纵杆。
在实施例中，多个触觉输出设备中的至少两个触觉输出设备创建与其相关联的触觉单元的不同量的变形来创建触觉效果。
在实施例中，处理器被配置为基于来自传感器的输出信号生成多个触觉控制信号并且将触觉控制信号顺序地输出到多个触觉输出设备来创建触觉效果。
在实施例中，触觉效果模拟波或波纹。在实施例中，触觉效果模拟操纵杆或滑块的移动。
在实施例中，处理器被配置为生成与所述触觉控制信号不同的第二触觉控制信号并且将第二触觉控制信号输出到触觉输出设备以使得触觉输出设备输出振动触觉效果。
在实施例中，用户界面设备还包括配置为感测由触觉单元在触摸表面处给用户显示的阻力的压力传感器。在实施例中，处理器被配置为基于感测到的由触觉单元显示的阻力改变触觉控制信号。
根据本发明的一方面，提供了一种方法，该方法包括感测用户界面设备的柔性层的位移量和/或位移率、基于感测到的柔性层的位移量和/或位移率用处理器生成触觉控制信号、及基于触觉控制信号利用触觉输出设备使触觉单元变形。
在实施例中，该方法包括生成多个触觉控制信号并且基于该多个触觉控制信号利用多个触觉输出设备使位于彼此接近的多个触觉单元变形来共同地创建触觉效果。在实施例中，触觉单元中的至少两个触觉单元被变形不同的量来创建触觉效果。
在实施例中，该方法包括生成多个触觉控制信号并且基于该多个触觉控制信号利用多个触觉输出设备顺序地使位于彼此接近的多个触觉单元变形来共同地创建触觉效果。
在实施例中，该方法包括生成与所述触觉控制信号不同的第二触觉控制信号并且利用触觉输出设备生成振动触觉效果。
在实施例中，该方法包括感测由触觉单元向用户界面设备的用户显示的阻力。在实施例中，该方法包括基于感测到的由触觉单元显示的阻力改变触觉控制信号。
当参考附图考虑以下描述和所附权利要求时，本发明的这些与其它方面、特征和特性，以及相关结构元件的操作方法和功能以及部件的组合和制造的经济性，都将变得更加显然，其中附图、以下描述和权利要求都构成本说明书的一部分。但是，应当明确地理解，附图仅仅是为了说明和描述的目的而不是要作为本发明限制的定义。如在说明书和权利要求中所使用的，除非上下文清楚地另外指出，否则单数形式“一”、“一个”和“该”也包括复数形式的所指代物。
附图说明
示出以下附图的部件是为了强调本公开内容的一般原理并且附图的部件不一定是按比例绘制的。为了一致性和清晰起见，指定对应部件的标号在必要时贯穿所有附图重复。
图1是根据本发明的实施例的系统的示意图；
图2是用户界面形式的图1的系统的实施例的示意性分解图；
图3是图2的用户界面的示意性顶视图；
图4A是处于第一状态的图2的用户界面的触觉单元的示意性侧视图；
图4B是处于第二、变形状态的图4A的用户界面的触觉单元的示意性侧视图；
图5是图1的系统的处理器的实施例；
图6是图2的用户界面设备的触觉单元的实施例的示意性侧视图；
图7是用于两个不同触觉控制信号的电压作为时间的函数的示图，其中这两个不同触觉控制信号用于驱动图4A的触觉单元的触觉输出设备；及
图8是用于单个触觉控制信号的电压作为时间的函数的示图，其中该单个触觉控制信号用于驱动图4A的触觉单元的触觉输出设备。
具体实施方式
图1是根据本发明的实施例的系统100的示意图。如所示出的，系统100包括处理器110、存储器设备120和输入/输出设备130，这些部件经由总线140互连。在实施例中，输入/输出设备130可以包括触摸屏设备150、触觉输出设备160和/或从系统100的用户接收输入的其它输入设备和向系统100的用户输出信息的其它输出设备。在实施例中，系统100可以是在单个集成设备中包括图1中示出的所有部件的触摸移动或平板设备形式的用户界面。
触摸屏设备150可以被配置为任何合适的用户界面或触摸/接触表面组件，并且可以配置为用于与诸如手写笔、手指等用户控制设备的物理交互。在一些实施例中，触摸屏设备150可以包括至少一个输出设备和至少一个输入设备。例如，触摸屏设备150可以包括配置为显示例如图像的视觉显示器152和包括叠加在视觉显示器152上以从用户的手指或由用户控制的手写笔接收输入的至少一个传感器154的触敏屏幕。视觉显示器152可以包括高清晰度显示屏幕。
传感器154可以包括应变仪传感器来测量在用户和触摸屏设备150之间的交互过程中的变形幅度、力敏感电阻(“FSR”)传感器来测量施加到触摸屏设备150的力/应力、多点触摸传感器来检测在用户的单点或多点触摸交互中的(一个或多个)触摸输入的位置、和/或多点触摸压力传感器来测量在每个触摸位置下方施加的压力。在一些实施例中，传感器154可以包括温度或湿度或大气压力传感器来捕获环境状况、加速计或陀螺仪或磁力计以表征设备的运动、速度、加速度和/或朝向、或者麦克风以捕获用户的语音命令或环境音频信息。此外，传感器154可以包括无线发射机来无线地从/向其它设备接收或发送信息。
在各种实施例中，触觉输出设备160被配置为当系统100的用户与系统100的至少一部分接触时向该用户提供触觉反馈。例如，触觉输出设备160可以在用户与触摸屏设备150接触时向触摸屏设备150自身和/或向系统100的另一部分，诸如包含至少输入/输出设备130的壳体，提供触觉反馈来施加触觉效果。如在下面进一步详细讨论的，当与系统100交互时，可以使用触觉效果来增强用户体验。
由触觉输出设备160提供的触觉反馈可以利用创建触觉效果的任何方法来创建，诸如变形、动觉、振动、静电或超声摩擦等。在实施例中，触觉输出设备160可以包括非机械或非振动设备，诸如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备，或者利用超声触觉换能器感应出声辐射压力的设备，或者使用触觉基板和弹性或可变形表面的设备，或者提供热效应的设备，或者提供诸如利用空气喷嘴的一股空气的喷射触觉输出的设备，等等。触觉输出设备160可以包括致动器，例如，诸如其中偏心质块被电动机移动的偏心旋转质块(“ERM”)的电磁致动器、其中附连到弹簧的质块被来回驱动的线性共振致动器(“LRA”)、或者诸如压电材料、电活性聚合物或形状记忆合金的“智能材料”、宏观复合纤维(“MCF”)致动器、静电致动器、电触感致动器和/或提供诸如振动触觉反馈的物理反馈的其它类型的致动器。可以使用多个触觉输出设备160来生成不同的触觉效果。
处理器110可以是用于管理或控制系统100的操作和功能的通用或专用处理器或微控制器。例如，处理器110可以被专门设计为专用集成电路(“ASIC”)来控制对触觉输出设备160的输出信号以提供触觉效果。处理器110可以被配置为基于预定义的因素来基于由处理器110接收到或确定的触觉控制信号决定要生成什么触觉效果、其中生成触觉效果的次序、以及触觉效果的幅度、频率、持续时间和/或其它参数。处理器110也可以被配置为提供可用于驱动触觉输出设备160用于提供特殊触觉效果的流命令。在一些实施例中，处理设备110可以实际上包括多个处理器，每个处理器都配置为在系统100内执行某些功能。处理器110在下面进一步详细描述。
存储器设备120可以包括一个或多个内部固定的存储单元、可拆卸存储单元和/或可远程访问的存储单元。各种存储单元可以包括易失性存储器和非易失性存储器的任意组合。存储单元可以被配置为存储信息、数据、指令、软件代码等的任意组合。更具体地，存储单元可以包括触觉效果简档、用于如何驱动触觉输出设备160的指令、或用于生成触觉效果的其它信息。
图2以用户界面设备200的形式示出了图1的系统100的实施例。如所示出的，用户界面设备200包括触摸屏设备210、显示器220和壳体230。在实施例中，触摸屏设备210可以由基本上透明的材料制成，使得由显示器220输出的图像可以通过触摸屏设备230被看到。显示器220可以是任何类型的显示器，诸如阴极射线管(“CRT”)、液晶显示器(“LCD”)、发光二极管(“LED”)显示器、等离子显示器、平板显示器、柔性显示器，等等。触摸屏设备210和显示器220可以被一起安装在壳体230内。在实施例中，触摸屏设备210和显示器220可以被集成到同一单元或设备中。在实施例中，用户界面设备200可以不包括显示器220。在实施例中，用户界面设备200可以是柔性的，例如，永久同形的(conformed)、可弯曲的、可折叠的或者可卷曲的。
在实施例中，触摸屏设备210包括柔性层402(在图4A中示出)和布置在阵列或网格中的多个触觉单元212。触觉单元212可以通过边界214隔开，如在图3中所示出的，其中示出了触摸屏设备210的示意性顶视图。在实施例中，触觉单元212可以不通过边界隔开，而是彼此抵靠。触觉单元212中的每一个都被配置为独立于其它触觉单元212响应于输入而提供触觉效果。例如，当多个触点基本上同时按压在触摸屏设备210上时，触觉单元212可以被配置为响应于多个触点生成多个触觉效果。多个触点可以通过一个手指或多个手指来完成。每个触觉单元212的尺寸或大小都可以被配置为小于5mm x 5mm、或小于4mm x 4mm、或小于3mm x 3mm、或小于2mm x 2mm、或小于1mm x 1mm。
图4A示出了其中一个触觉单元212的实施例的示意性侧视图。触觉单元212包括触觉输出设备410和将触觉输出设备410连接到电源和上述处理器110的电连接器411。如所示出的，柔性层402具有配置为从设备的用户接收输入并且覆盖触觉输出设备410的触摸表面403。在实施例中，柔性层402可以覆盖触觉单元212的整个阵列。在实施例中，每个触觉单元212可以包括与相邻触觉单元212的柔性层402分离的柔性层402。在实施例中，至少一个上述传感器154可以被嵌入在或以其它方式耦合到柔性层402，使得传感器154可以在触摸表面403处检测到用户的触摸输入。
触觉输出设备410可以包括当被电源供电时可以引起柔性层402变形的任何类型的触觉输出设备，例如，以上相对于图1的触觉输出设备160描述的任何设备。例如，触觉输出设备可以包括微流体显示器、压电材料或复合压电材料、电活性聚合物(“EAP”)、形状记忆合金、微机电系统(“MEMS”)设备，其可以包括MEMS泵、智能凝胶、电/磁流变流体、热流体袋、谐振设备、可变孔隙率膜、层流调制设备和/或电磁致动器。
当处理器110向触觉输出设备410输出触觉控制信号时，如在下面进一步详细描述的，触觉输出设备410的形状并因此触觉单元212可以变形，如在图4B中所示出的。触觉单元212的阵列可以被集成到移动设备和平板设备的触摸屏中，其中每个触觉单元212都配置为在宽广的频率范围显示(即输出)触觉效果，从准静态变形到高频振动。触觉单元212的机械组件配置和布置可以允许积累相邻触觉单元的力和位移，以创建可编程的平滑的凸出(突出)或凹进(凹陷)特征，即，自由形式的变形，如下面进一步详细描述的。
图5更详细地示出了处理器110的实施例。处理器110可以被配置为执行一个或多个计算机程序模块。一个或多个计算机程序模块可以包括传感器模块112、确定模块114、触觉输出设备控制模块116和/或其它模块中的一个或多个。处理器110还可以包括电子存储设备118，其可以是与存储器设备120相同的或者作为存储设备120的附加。处理器110可以被配置为通过软件、硬件、固件、软件、硬件和/或固件的某种组合和/或用于在处理器110上配置处理能力的其它机制执行模块112、114和/或116。
应当理解，虽然模块112、114和116在图2中被示为共同位于单个处理单元内，但是在其中处理器110包括多个处理单元的实施例中，模块112、114和/或116中的一个或多个可以位于远离其它的模块。由下述不同模块112、114和/或116提供的功能的描述是为了说明的目的，而不是要进行限制，因为模块112、114和/或116中的任一模块都可以提供比所描述的更多或更少的功能。例如，模块112、114和/或116中的一个或多个模块可以被去掉，并且它的一些或全部功能可以由模块112、114和/或116中的其它模块提供。作为另一个例子，处理器110可以被配置为执行一个或多个附加模块，这一个或多个附加模块可以执行属于以下模块112、114和/或116中的其中一个的一些或全部功能。
传感器模块112被配置为从传感器154接收当传感器154检测到来自系统100或用户界面设备200的用户的输入时生成的输入信号。在其中有多个传感器的实施例中，传感器模块112被配置为从多个传感器接收和处理输入信号。传感器模块112可以被配置为通过将输入信号的强度与对应于有意输入的预定阈值强度比较来确定感测到的输入是否是有意的输入或者仅仅是对触摸屏设备150，210无意的触摸。传感器模块112还被配置为向确定模块114发送信号用于进一步处理。
确定模块114被配置为确定当用户向传感器154提供输入时用户的意图是什么。例如，用户可以触摸触摸屏设备150，210的某个位置或者向触摸屏设备150，210提供指示要由系统100执行的某个功能的手势。确定模块114可以利用预定手势库和触摸屏设备150，210上的触摸位置进行编程，使得当用户触摸触摸屏设备150，210上的特定位置或向触摸屏设备150，210提供手势时，确定模块114可以确定相应的输出。此外，确定模块114还可以向触觉输出设备控制模块116输出信号，使得可以向用户提供根据下述本发明的实施例的触觉效果。
触觉输出设备控制模块116被配置为接收来自确定模块114的输出信号并且基于由确定模块114生成的信号确定要由触觉输出设备160生成的触觉效果。确定触觉效果可以包括确定触觉效果的类型和触觉效果的一个或多个参数，诸如触觉效果的幅度、频率、持续时间等，这些参数将增强例如诸如控制按钮的有形用户界面元素，如下面进一步详细讨论的。
在实施例中，用户界面200可以包括阻抗显示600，其一部分在图6中示出，它使用触觉单元212阵列的压力感测、变形/位移感测、变形率/位移率和/或变形显示功能的组合来模拟在由触摸屏设备210的显示器220显示的虚拟环境中的对象或介质的机械阻抗/硬度。在实施例中，阻抗可以通过利用位置反馈来闭合(close)回路的力控制机制呈现，如在下面进一步详细描述的。这种实施例的实现在游戏应用、增强现实应用、医疗应用、握手通信等中提供了显示硬对象相互作用和软对象相互作用的能力。
大多数物理对象的机械属性，就针对变形所显示的阻力而言，可以利用硬度(k)参数和阻尼(λ)参数进行表征。例如，在本发明的实施例中，用户的手指的交互可以按照在时间中每一时刻柔性层402发生的变形量(由“x”表示)和变形率(由“v”表示)来描述。在这个实施例中，变形量(x)和/或变形率(v)可以通过位移传感器602来测量，位移传感器602诸如嵌入在或者以其它方式耦合到柔性层402的应变仪等。向用户显示的阻力(由“Fr”表示)可以利用嵌入在或以其它方式耦合到柔性层402的压力传感器604来测量。为了模拟某种材料，针对用户的移动所显示的期望阻力(由“F”表示)应该遵循公式(1)：
F＝k*x+λ*v (1)
在这个实施例中，处理器110可以被编程，使得显示给用户的阻力(Fr)基本上等于根据公式(1)的针对用户的移动显示的期望阻力(F)。例如，如果F的值小于Fr的值，则处理器110可以经由触觉输出设备控制模块116输出触觉控制信号到触觉输出设备410，以通过例如向触觉输出设备410应用较高的电压来增加弹性层402的阻力，直到F＝Fr。类似地，如果F的值大于Fr的值，则处理器110可以向触觉输出设备410输出触觉控制信号，以通过例如向触觉输出设备410应用较低的电压来降低柔性层的阻力，直到F＝Fr。由压力传感器对Fr和由位移传感器对位移量(x)和/或位移率(v)的不断测量，以及F的值的计算可以在由处理器110的确定模块114执行的闭环控制回路中完成。在实施例中，k和λ的值可以是常数，并且基于期望的阻力的感觉。在实施例中，k和λ的值可以是在时间中每一时刻的变形量(x)和/或变形率(v)的函数。
例如，在实施例中，如果显示器220正在显示蜂蜜的图像，则可能期望模拟蜂蜜的感觉。由于蜂蜜的粘性属性，因此期望的是，如果变形率相对较高则输出较高大小的阻力并且如果变形率相对较低则输出较低大小的阻力，这将给用户好像他/她正在对蜂蜜按压的感觉。处理器110可以利用硬度(k)和阻尼(λ)系数作为变形率(v)的函数进行编程，使得用户可以体验更逼真的效果。作为另一个例子，处理器110可以被编程来模拟当用户对触摸表面403按压时正在被显示器220显示的对象的物理状况的变化。例如，如果被显示的物品是脆的，则当用户开始对触摸表面403按压时，显示给用户的阻力可以相对较高以模拟硬物体，但是当对象“破裂”时，阻力可以被急剧下降以模拟对象的破裂。
在实施例中，柔性层402的触摸表面403可以模拟物理上真实的用户界面特征，诸如按钮或操纵杆，其从触摸表面403中冒出(emerge)，如在图4B中所示出的。用户可以在与触摸表面相切的方向移动操纵杆。在这个实施例中，处理器110可以被编程以通过触觉输出设备410以针对平行于触摸表面403的用户运动的阻力形式来显示可编程的动觉触觉。类似于上述实施例，预定的硬度(k)和阻尼(λ)可以与移动操作杆相关联。变形量(x)和/或变形率(v)可以利用嵌入的位移传感器602来测量，并且针对用户显示的阻力(Fr)可以利用压力传感器604来测量。如果测得的针对用户显示的力(Fr)小于如利用以上公式(1)所计算的要针对用户显示的期望的力F，则如上所述处理器可以通过例如向触觉输出设备410应用较高的电压以使F与Fr匹配来增加阻力，并且反之亦然。
在一些实施例中，取决于触觉单元212的大小，用户可以在不是直接在单个触觉单元212上方而是在诸如边界214上的触觉单元212之间，或者在多个触觉单元212上方的位置处触摸触摸表面403。在这种情况下，处理器110可以使用适当的内插技术来复制用户直接在单个触觉单元212上的感觉。例如，当用户的手指放置在两个触觉单元212之间时，触觉呈现可以包括部分地致动这两个单元212的触觉输出设备410，以便复制用户在单个单元212上的感觉。这个实施例的实现可以向用户提供提高的感知触觉分辨率。此外，这个实施例的实现可以在分指(sub-finger)水平、定制变形特征尺寸为信息显示启用单元之间的转换效果，诸如用于显示皮肤拉伸效果，等等。
在实施例中，处理器110可以被编程以按顺序控制相邻触觉单元212的触觉输出设备410，使得可以显示移动或流动感以及可以生成类似于物理波的感觉。例如，如果用户触摸触摸表面403并且跨触摸表面403滑动他/她的手指，则处理器110可以响应于感测到的触摸而生成触觉控制信号，使得多个触觉单元212的触觉输出设备410顺序地从对应于初始触摸的位置到对应于触摸结束的位置致动，使得用户将感觉到好像对象正在连续地跨触摸表面移动。在实施例中，波的形状和波的行进速度可以是正在被触摸屏设备210模拟的材料的属性的函数。在实施例中，可以通过使位于围绕触摸输入位置四周的多个触觉输出设备410顺序地远离触摸位置移动来创建波纹。这种多个触觉输出设备410的顺序激活可以用来创建像流动的运动、行进的波和/或波纹，其可以增强在显示器220上的旋转和平移运动，诸如创建涡流或波纹形状，使得中心可以被识别为事件或通知的来源。
在实施例中，处理器110可以被配置为利用叠加的触觉控制信号以如下方式控制触觉单元212阵列，即柔性层402可以在特定位置处动觉地变形并同时提供振动触觉刺激。例如，在实施例中，处理器110可以向至少一个触觉单元212的触觉输出设备410输出触觉控制信号，以通过动觉变形生成按钮，并且然后当传感器感测到用户按压柔性层402的对应于生成的按钮的位置时，处理器110可以向触觉输出设备410输出另一个触觉控制信号，以通过振动触觉效果生成点击确认。
在实施例中，由处理器110输出的触觉控制信号可以包括具有不同特性的两个分量。首先，如在图7中所示出的，可以生成低频且大幅正弦曲线710，它如果通过自身运行会在每个触觉单元212中创建低频变形，使得触觉单元212可以在中心处上下移动。第二，可以生成高频且低幅信号720，它如果单独运行会在触觉单元212中生成高频振动并且可以被感受为振动触觉反馈。如果触觉输出信号是低频且大幅正弦曲线710和高频且低幅信号720的组合，如在图8中示为信号810的，则触觉单元212可以显示动觉触觉变形并且同时地显示振动触觉。
在实施例中，可以使用多个触觉单元212来为响应多个输入的多输出应用生成分离的振动效果。在实施例中，可以使用多个触觉单元212来模拟吉它应用，其中可以显示与琴弦相关联的宏观变形以及高频(微观级别)振动两者。
在实施例中，可以使用触觉单元212阵列来物理地模拟有形触摸屏键盘并且物理地增强在触摸屏移动设备和平板设备中的文本录入/键盘交互。换句话说，在文本录入应用中，可以使用触觉单元212阵列来物理地显示每个键或在键盘的键之间的边缘。也可以模拟其它有形特征来增强键的显示。例如，如同F和J键在一些物理键盘中一样，可以对F和J键在触觉上进行标记以便于键入，或者当保持修改键被按住(例如，CTRL)时，具有预定义功能的某些键可以在触觉上被突出显示(例如，CTRL+C、CTRL+B、Ctrl+V，等等)。与每个键相关联的行程(travel stroke)和力分布(force profile)可以被微调和调节，使得与真实的键盘交互相比，它具有与真实按钮相同的几何形状、行程和力分布，以增强文本录入/键入体验的逼真度和准确性。此外，可以调整键的形状以使键盘更符合人体工程学，诸如朝向大拇指变圆，等等。
在实施例中，可以使用触觉单元212阵列通过使在滚动或静态列表中的条目凸出或凹进来增强用户与条目列表的交互(例如，列表滚动)，从而便于选择和增加真实感。例如，在静态列表中的每个条目都可以被凸出，使得随着用户的指尖从一个条目滑动到另一个条目时指尖感觉到转换。此外，标记的条目，诸如“收藏的条目”，可以具有不同的形状、纹理或振动触觉反馈，并且条目的分组(例如，种类，字母分组)之间的转换也可以利用不同的特征，诸如凸出或凹进的线条，进行突出显示。类似的变形可以应用到滚动列表，使得将会通过轻轻触摸列表并感觉滑动的条目来感觉到形状。
在实施例中，因为触觉单元212阵列允许用户与“绑定”到对象的突起或凹槽物理地交互，因此可以使用触觉单元212阵列在虚拟环境中物理地增强并从而促进操纵对象。这种能力可以使得交互更加真实，因为它提供了与真实世界对象交互情景类似的感知。此外，如上所述，与这种交互相关联的力分布可以是可编程的，这可以允许启用更丰富触觉的用户界面，其能够显示关于对象及其属性的广泛数据。可以从这个实施例中受益的用户交互的例子包括，但不限于：跨屏幕移动/推动覆盖在特定用户界面元素上并且绑定到其的突起(或凹槽)，诸如窗口小部件、应用图标、文件、文件夹等。通常在视觉上被手指挡住的诸如调整大小图柄的小的用户界面窗口小部件一旦变形就可以通过触摸动觉反馈来检测到并进行操作。在类似的例子中，用户可以以即使当手指遮住数字绘图的边缘时形状也可以例如在不溢出的情况下被填充(即几乎涂满)的方式感觉到/探索(explore)数字绘图的边缘。作为另一个例子，可以通过本发明的实施例感觉到被拖动对象和屏幕上其它内容之间的交互的显示。例如，当凸出的图标被移动越过窗口的边缘时，将通过凸出的图标感觉到移动的线条。在类似的例子中，当用户正在拖动对象时，对象可能碰到障碍并且不能进行任何进一步移动。本发明的实施例可以与文本操作一起使用。例如，将变形特征覆盖在一段文字之上可以便于文本操作并且解决文本交互中的视觉遮挡问题，并且诸如移动、复制和粘贴的操作可以通过与文本之上覆盖的变形特征的物理交互来执行。当虚拟对象自己移动时(例如，在虚拟重力的影响下)，也可以使用相同的功能使得用户可以感觉到它在那个方向上移动。
在实施例中，可以使用触觉单元212阵列模拟触摸屏设备210中的物理控制器。例如，变形特征可以从平坦的触摸表面403凸出，以表示标准的物理用户界面控件，诸如十字键(D-Pad)。触觉单元212阵列不仅可以模拟十字键的物理形状，而且可以复制当用户与真实控制器交互时用户的体验。例如，如果十字键的左侧被按下，则用户手指下方的触觉单元212会向下移动而在右侧的触觉单元212会向上移动，这使得交互类似于与真实D-Pad控制器的交互。在实施例中，可以提供用户可与其交互的凸出的特征以模拟例如二维(“2D”)操纵杆、交互式游戏控制台、或可以在笔记本电脑上找到的轨迹点。
在实施例中，可以使用触觉单元212阵列在宏观级别模拟物理纹理，诸如可以在现实生活中找到的纹理。可以使用触觉单元212的小变形来产生从砂子到玻璃等不同的纹理。
在实施例中，可以使用触觉单元212阵列通过提供变形来启用非可视用户界面交互和手势，以便于在不进行可视检查情况下执行的手势并且也提供触觉反馈。例如，可以通过在触摸屏210上创建将用户的手指朝某个目标位置引导并且然后当手指到达目标点时阻挡手指的路径来促进手指引导。更一般地，本发明的实施例可以允许用户“对齐”到(“snap”to)特定的网格或形状。例如，在绘画应用中，这种功能可以创建形状的轨迹，但是如果期望的话，同时允许用户不遵循该形状。在其中用户界面设备200是电话的实施例中，用户可以通过检查表示目标功能的变形特征与他/她的口袋中的电话交互以应答呼叫，目标功能诸如应答电话、挂断电话、转移到无线耳机等。类似地，通过能够感觉到用于引导的触摸屏的模拟有形特征可以发送预定义的消息而无需看触摸屏。
也可以使用上述可编程的变形显示器来启用更广范围的新颖手势交互，这可以产生更丰富的手势语言。例如，用户可以通过操纵触摸表面403录入空间信息，就好像柔性层402是由粘土或其它类似材料制成的。在实施例中，用户可以操纵/更改地图中的高度(elevation)，图像中的亮度(或者在图像的隔离部分上局部地或者在整个图像上全部地)、可以通过操纵映射到二维表面的参数在音频信号中创建失真、或者可以在模拟的粘土中创建标记来标记特定的内容，诸如文档。
也可以使用本发明的实施例利用变形来触觉上增强自由空间手势。例如，在实施例中，用户界面设备200可以在六自由度中移动，并且可以播放代表各条信息的变形触觉效果。例如，用户可以从左到右地摇晃用户界面设备200或者以不连续的角度旋转用户界面设备200，并且可以经由触摸屏设备210播放碰撞触觉效果或显示变形触觉纹理。在实施例中，可以利用触觉单元212阵列来启用与比用户界面设备200大的对象的交互。触摸屏设备210上的变形可以给用户通过只接收关于对象的部分的触觉信息来探索或感觉虚拟对象的能力(取决于空间位置和抓握的方向，显示的信息可能不同)。类似于用手探索球，触觉单元212阵列可以显示虚拟对象的形状，其可以通过手在特定位置处被感觉到，就好像用户正在触摸它。在实施例中，可以通过触摸屏设备210显示诸如柔软度和温度的其它属性。
在某些手势表达/交流中，变形特征(凸出/凹进)的位置、动力学和运动模式不必与在交互过程中用户的手指的位置、动力学和运动模式完全相同。例如，在对象操纵情景中，用户可以选择对象(并因此在对象上创建突起)，并且然后点击其中可以显示第二突起的触摸屏设备210上的另一个点。然后，用户可以选择或者使用同位(collocated)的突起(在该对象之上的突起)，或者使用非同位(un-collocated)的突起来跨屏幕推动对象。在另一个例子中，不是推动在对象的图像之上浮现的单个突起，而是用户可以将他/她的手指放置在位于沿图像的边界线的两个或更多个突起之间并且利用对象到处移动突起。
在实施例中，触觉单元212阵列可以通过至少一个可编程的可变形“按钮”显示各种内容/元数据。这种物理按钮可以采用各种几何形状、形状因子、行程和触觉力分布，从而允许自定义的按钮交互和确认体验。可以使用按钮的特定力分布(阻力、动态惯性、止动等)或点击分布(在单次按压中)向与该按钮交互的用户传达各种元数据。类似应用的例子包括：指示所需的未决动作的闪烁按钮、除非处于活动状态否则不能被压下(凹进)的按钮、或者用其形状示出自可供性(affordance)或交互主题的按钮。例如，按钮的倾斜形状可以指示该按钮应该被侧向推。在实施例中，多功能按钮可以被配置为改变其形状以指示新的功能。例如，当用户在平坦按钮上按下时，该按钮可以变得变圆以表明该按钮现在可以被用作滑块。用户然后可以沿着表面滑动该按钮。
在实施例中，如上所述，可以利用触觉单元212阵列通过触摸屏全键盘显示内容信息。例如，可以提供利用接近感测的触觉键放大，使得当处于或在柔性层402中的接近传感器感测到手指接近触摸屏设备210上的某个键的运动时，只有靠近手指的目标点的键/一组键会被凸出(即，利用变形触觉上显示)。在实施例中，只有基于文本预测在下一步最有可能被点击的键会被物理变形。可编程的变形可以允许取决于用户的偏好使键边缘变得较硬或较软、或者改变按钮的形状或柔软度(compliance)。在实施例中，在当前用户界面中具有有用功能的键可以被凸出，而没有立即有用功能或处于不活动状态的键可以被凹进。
在实施例中，由显示器220显示的可视内容可以利用某个感官或元数据来增强，其中附加信息/增强的信息以重叠在由显示器220显示的图像之上的触摸屏设备210的变形的形式来显示。例如，这种附加信息可以是图像的“可视”特性，诸如对比度、亮度、全光谱摄影，等等。
在实施例中，可以使用变形特征(例如，凸起，凹进等)形式的“非可视”信息在虚拟环境中增强某些角色(例如，在电影、游戏等中)。例如，在游戏应用中，游戏的角色设备、健康状况或者在地图上部署的部队的位置和规模都可以利用变形来增强(突出显示)。这些变形特征，除了将某些触感关联到(一个或多个)目标角色之外，还可以更改它(它们)的视觉外观。如果，例如，触觉单元212阵列在角色之上形成凹的或凸的形状并且从而局部地改变屏幕的有效光学属性，则后者会发生。利用这种方法，可以使虚拟环境中的某些区域(角色)变得模糊/减弱，而一些其它的则变得更亮/增强。在实施例中，可以使用用户界面设备200的某些区域通过利用触觉单元212阵列跨触摸屏设备210生成的单独的振动向用户显示不同的音频数据/声音。
在实施例中，可以通过，例如，把整个触摸屏设备210变为盲文显示器来显示用于视觉障碍患者的盲文特征。代表字符的每个盲文单元可以按像矩形的形状因子布置的2乘以4点的阵列组成，并且用户可以选择盲文单元的大小或其它属性。在实施例中，用于视觉障碍患者的“触感图形”可以具有触摸屏设备210。
在实施例中，可以使用经由触觉单元212阵列的基于变形的触觉以非视觉的方式向用户显示信息，从而最小化视觉探索触摸屏设备210的需要。例如，搜索任务的结果(文本，网页等)可以利用凸出/凹进特征来显示。搜索结果可以通过凸出/凹进被物理地“突出显示”，从而允许用户通过简单的检查触摸表面403来确定它们的位置。这可以例如通过或者利用手指探索屏幕或者通过将手的全部手掌放在屏幕上确定触觉上突出显示的(一个或多个)条目的位置来完成。在实施例中，诸如呼叫者ID或消息发送者ID的信息可以被编码到凸出/凹进特征中，从而允许用户，例如，在当他/她的电话仍然在他/她的口袋中时就识别呼叫者。在实施例中，GPS路线引导信息可以通过以物理路径的形式模拟道路、交叉点、以及下一个要转弯的道路在触摸屏设备210上进行显示，并且车辆本身可以通过移动的突出块来表示。
在实施例中，当用户参与操纵在数字环境中的用户界面元素或对象时，可以使用触觉单元212阵列来传达某些元数据。例如，当用户试图操纵利用触觉单元212阵列物理模拟的虚拟对象时，在操纵/移动用户界面元素的过程中，以对运动可调节阻力形式的可编程的力显示(例如，粘住、滑动、止动效果等)可以传达关于对象的类型、大小和其它属性的信息。此外，可以使用突出或凹进变形来指示对象的抓握或选择是否已成功。例如，当选择或突出显示由显示器220显示的文本的一部分时，可以通过与选择/突出显示的文本的位置相关联的触觉单元212的变形在该选择/突出显示的文本的一部分之上具有突出或凹进变形。
本发明的实施例可以用于对应用进行品牌推广，其中触摸屏设备210可以被配置为显示可以以特定OEM的触觉“签名”或表示特定OEM的元数据的形式被设计、定制和布置的触觉效果。例如，当用户界面设备200被打开时，可以显示特定的触觉模式或签名，其可以包括显示对应的OEM的相关静态或动态抬起/凹进信息。在实施例中，目标OEM的标志也可以被静态显示。
在实施例中，所描述的系统和方法可以用于远程信息显示功能。例如，触觉单元212阵列可以生成可被视觉地检测到或进行检查或进行远程分析而无需持有或触摸用户界面设备200的大的静态变形。诸如呼叫者ID、时钟、日历日期等的信息，如果利用静态凸出显示进行显示，则即使当用户界面设备200位于离用户相当远的距离时，这些信息也可以通过简单地看用户界面设备200来访问。
本发明的实施例也可以在可穿戴设备上实现，其中当可穿戴设备对着身体按压时，在特定环境中的静音通知可以被显示以传达某些信息。在实施例中，手表可以通过在其下方创建凹坑并且对着穿戴者的手腕的皮肤推压来传达时间。在实施例中，手镯可以被配置为通过在穿戴者的皮肤上生成波和其它模式来传达警告。在实施例中，鞋可以被配置为对着穿戴者的脚创建凹坑来指示他/她应该行走的方向。
本发明的实施例也可以在医疗设备中实现。例如，腹腔镜手柄的内部可以具有触觉单元212阵列，其可以在手术过程中向外科医生显示与测量的生物信号有关的压觉，诸如心率等。
在实施例中，可以利用触觉单元212阵列来传达与环境、用户、电话等有关的一系列状态信息。例如，当利用触摸屏设备210与脸颊或颚接触打电话时，可指示电池状态或服务断开的基于变形的提醒可以显示在用户的皮肤上。此外，即使利用在口袋中的电话，用户也可以通过在触摸屏设备210上点击并且接收以由触觉单元212阵列提供的变形特征形式编码的反馈来查询信息，诸如未接电话、接收到的消息、或日历中即将发生的事件的数量。在实施例中，可以使用触觉单元212阵列的变形来显示环境信息，诸如气压、温度、指南针方向，等等。在实施例中，触觉单元212阵列的变形可以用于社交环境感知和传达信息，诸如具有某些共性的人的数量和/或位置。
上述本发明的实施例可以通过物理地增强用户界面部件及与可变形触觉单元相关联的交互来恢复用户界面元素丢失的真实感/有形性，这可以启用更丰富，更直观和较少认知负担的交互体验。有形的用户界面也可以例如通过为文本键入启用有形键盘导致更高效和更不易出错的交互。
在商用设备中实现变形显示器的一个潜在挑战是高分辨率(即每个面积上有大量单元)触觉单元阵列的成本。如上所述，利用在单元之间的力分布/效果之间内插，即使利用粗粒度的可变形触觉单元阵列，也可以模拟相当精细的触觉分辨率。
上述本发明的实施例提供了用于呈现和控制触觉上增强的有形用户界面和内容/信息显示的系统、方法及潜在的考虑。上述实施例提供了各种控制和呈现机制，其考虑了用户输入和触觉输出，围绕实现可变形触觉单元阵列进行设计，以有效地显示不同类型的触觉信息和启用直观有形的用户界面。上述方法可以扩展功能并且增加可变形触觉单元阵列的有效性，诸如提高感知分辨率等，并且去除了对更复杂和昂贵硬件的需要。
上述本发明的实施例提供了可用来命令可变形触觉单元阵列以启用有形用户界面交互和内容/元数据显示的呈现和控制机制。上述本发明的实施例提供了利用可变形触觉单元阵列显示数字内容和元数据的系统和方法，从而启用更丰富、更具有信息并且更直观的交互体验。上述本发明的实施例提供了用于采用启用触觉的和可编程的可变形触觉单元阵列以有形的、真实的和高效的方式显示内容/信息/元数据的创新技术。上述实施例也可以增加可变形触觉单元阵列的应用范围并且扩展用户界面设备可以提供的触觉信息的广度和深度。
上述本发明的实施例基于可编程自由形式的变形提供了能够以更真实、有形和直观的方式显示内容和元数据的新的输出维度。变形的使用，作为另一种基于触觉的内容显示维度，扩展了信息显示介质的广度和深度并且丰富了数据传输带宽。
本文所述的实施例代表多种可能的实现和例子，并且不是要一定把本公开内容限制到任何特定的实施例。相反，如本领域普通技术人员将理解的，可以对这些实施例进行各种修改。任何这些修改都要被包括在本公开内容的精神和范围内并且受以下权利要求的保护。

Claims (10)

1.一种用户界面设备，包括：
柔性层，其包括配置为接收用户触摸的触摸表面；
由柔性层覆盖的多个触觉单元，其中每个触觉单元都包括触觉输出设备；
传感器，配置为当用户触摸所述触摸表面时感测柔性层的变形量和/或变形率；及
处理器，配置为接收来自传感器的输出信号、基于来自传感器的输出信号生成触觉控制信号、及将触觉控制信号输出到所述多个触觉单元中的至少一个触觉输出设备以使得该触觉输出设备响应于感测到的柔性层的变形使相关联的触觉单元变形。
2.如权利要求1所述的用户界面设备，其中所述处理器被配置为将多个触觉控制信号输出到位于彼此接近的多个触觉输出设备来共同地创建触觉效果。
3.如权利要求2所述的用户界面设备，其中所述触觉效果模拟按钮或操纵杆。
4.如权利要求2所述的用户界面设备，其中所述多个触觉输出设备中的至少两个触觉输出设备创建与其相关联的触觉单元的不同量的变形来创建触觉效果。
5.如权利要求1所述的用户界面设备，其中所述处理器被配置为基于所述来自传感器的输出信号生成多个触觉控制信号并且将触觉控制信号顺序地输出到多个触觉输出设备来创建触觉效果。
6.一种方法，包括：
感测用户界面设备的柔性层的位移量和/或位移率；
基于感测到的柔性层的位移量和/或位移率用处理器生成触觉控制信号；及
基于触觉控制信号利用触觉输出设备使触觉单元变形。
7.如权利要求6所述的方法，还包括生成多个触觉控制信号并且基于该多个触觉控制信号利用多个触觉输出设备使位于彼此接近的多个触觉单元变形来共同地创建触觉效果。
8.如权利要求7所述的方法，其中所述触觉效果模拟按钮或操纵杆。
9.如权利要求7所述的方法，其中所述触觉单元中的至少两个触觉单元被变形不同的量来创建触觉效果。
10.如权利要求6所述的方法，还包括生成多个触觉控制信号并且基于该多个触觉控制信号利用多个触觉输出设备顺序地使位于彼此接近的多个触觉单元变形来共同地创建触觉效果。
CN201910126632.5A 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势 Pending CN109582150A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361816605P 2013-04-26 2013-04-26
US61/816,605 2013-04-26
CN201480023082.XA CN105144035B (zh) 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480023082.XA Division CN105144035B (zh) 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势

Publications (1)

Publication Number Publication Date
CN109582150A true CN109582150A (zh) 2019-04-05

Family

ID=50513838

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201910126632.5A Pending CN109582150A (zh) 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势
CN201480023082.XA Expired - Fee Related CN105144035B (zh) 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势
CN201480023079.8A Expired - Fee Related CN105144052B (zh) 2013-04-26 2014-04-25 用于柔性显示器的被动刚度和主动变形触觉输出设备
CN201910124413.3A Pending CN110069157A (zh) 2013-04-26 2014-04-25 用于柔性显示器的被动刚度和主动变形触觉输出设备
CN201810251553.2A Pending CN108563326A (zh) 2013-04-26 2014-04-28 用于支持触觉的显示器的系统和方法以及计算机可读介质
CN201410260402.5A Expired - Fee Related CN104122996B (zh) 2013-04-26 2014-04-28 用于支持触觉的紧贴式和多面显示器的系统和方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
CN201480023082.XA Expired - Fee Related CN105144035B (zh) 2013-04-26 2014-04-25 利用触觉单元阵列模拟有形用户界面交互和手势
CN201480023079.8A Expired - Fee Related CN105144052B (zh) 2013-04-26 2014-04-25 用于柔性显示器的被动刚度和主动变形触觉输出设备
CN201910124413.3A Pending CN110069157A (zh) 2013-04-26 2014-04-25 用于柔性显示器的被动刚度和主动变形触觉输出设备
CN201810251553.2A Pending CN108563326A (zh) 2013-04-26 2014-04-28 用于支持触觉的显示器的系统和方法以及计算机可读介质
CN201410260402.5A Expired - Fee Related CN104122996B (zh) 2013-04-26 2014-04-28 用于支持触觉的紧贴式和多面显示器的系统和方法

Country Status (6)

Country Link
US (10) US9335823B2 (zh)
EP (5) EP2989525B1 (zh)
JP (7) JP6335613B2 (zh)
KR (3) KR20160002941A (zh)
CN (6) CN109582150A (zh)
WO (2) WO2014176528A1 (zh)

Families Citing this family (259)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD353539S (en) * 1990-07-20 1994-12-20 Norden Pac Development Ab Combined tube and cap
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US20140029190A1 (en) * 2012-07-25 2014-01-30 Kabushiki Kaisha Toshiba Electronic device
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9449772B2 (en) 2012-10-30 2016-09-20 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9710069B2 (en) 2012-10-30 2017-07-18 Apple Inc. Flexible printed circuit having flex tails upon which keyboard keycaps are coupled
US9502193B2 (en) 2012-10-30 2016-11-22 Apple Inc. Low-travel key mechanisms using butterfly hinges
CN109375713A (zh) 2013-02-06 2019-02-22 苹果公司 具有可动态调整的外观和功能的输入/输出设备
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9412533B2 (en) 2013-05-27 2016-08-09 Apple Inc. Low travel switch assembly
US9908310B2 (en) 2013-07-10 2018-03-06 Apple Inc. Electronic device with a reduced friction surface
KR102265083B1 (ko) * 2013-08-22 2021-06-15 삼성전자주식회사 가변강성 필름, 가변강성 유연 디스플레이 및 이의 제조 방법
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015047356A1 (en) 2013-09-27 2015-04-02 Bodhi Technology Ventures Llc Band with haptic actuators
US9928950B2 (en) 2013-09-27 2018-03-27 Apple Inc. Polarized magnetic actuators for haptic response
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
WO2015047606A1 (en) 2013-09-30 2015-04-02 Apple Inc. Keycaps having reduced thickness
US10236760B2 (en) 2013-09-30 2019-03-19 Apple Inc. Magnetic actuators for haptic response
JP2016532232A (ja) 2013-09-30 2016-10-13 アップル インコーポレイテッド 厚みを薄くしたキーキャップ
WO2015050345A1 (en) * 2013-10-01 2015-04-09 Lg Electronics Inc. Control apparatus for mobile terminal and control method thereof
US9317118B2 (en) * 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US9501147B2 (en) 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics
US20170038795A1 (en) * 2014-01-05 2017-02-09 Vorbeck Materials Corp. Coated leather articles and method of preparation
US9793066B1 (en) 2014-01-31 2017-10-17 Apple Inc. Keyboard hinge mechanism
KR102251081B1 (ko) * 2014-02-05 2021-05-13 삼성디스플레이 주식회사 플렉서블 디스플레이 장치
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
WO2015143124A1 (en) 2014-03-21 2015-09-24 Immersion Corporation Systems and methods for haptically-enabled curved devices
US9779889B2 (en) 2014-03-24 2017-10-03 Apple Inc. Scissor mechanism features for a keyboard
US10571972B2 (en) * 2014-03-28 2020-02-25 Intel Corporation Rotation sensor device
JP6344006B2 (ja) * 2014-03-28 2018-06-20 カシオ計算機株式会社 携帯情報機器、携帯情報機器におけるオブジェクトの報知方法、及び携帯情報機器のプログラム
US20150286402A1 (en) * 2014-04-08 2015-10-08 Qualcomm Incorporated Live non-visual feedback during predictive text keyboard operation
DE112014006608B4 (de) * 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
US9704665B2 (en) 2014-05-19 2017-07-11 Apple Inc. Backlit keyboard including reflective component
US9715978B2 (en) 2014-05-27 2017-07-25 Apple Inc. Low travel switch assembly
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
US9400557B2 (en) * 2014-06-25 2016-07-26 Intel Corporation Multimodal haptic effect system
DE202014103215U1 (de) * 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt
US9965036B2 (en) * 2014-07-18 2018-05-08 Google Technology Holdings LLC Haptic guides for a touch-sensitive display
US10121335B2 (en) 2014-07-18 2018-11-06 Google Technology Holdings LLC Wearable haptic device for the visually impaired
US9727182B2 (en) 2014-07-18 2017-08-08 Google Technology Holdings LLC Wearable haptic and touch communication device
WO2016025890A1 (en) 2014-08-15 2016-02-18 Apple Inc. Fabric keyboard
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160024605A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 접철식 기기
KR20160025830A (ko) * 2014-08-28 2016-03-09 삼성전자주식회사 전자 장치
US10082880B1 (en) 2014-08-28 2018-09-25 Apple Inc. System level features of a keyboard
US9830782B2 (en) 2014-09-02 2017-11-28 Apple Inc. Haptic notifications
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR102228857B1 (ko) * 2014-09-05 2021-03-17 엘지전자 주식회사 휴대 전자기기
GB2530036A (en) * 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
JP3213042U (ja) 2014-09-30 2017-10-19 アップル インコーポレイテッド キーボードアセンブリ用のキー及びスイッチハウジング
WO2016059514A1 (en) * 2014-10-17 2016-04-21 Semiconductor Energy Laboratory Co., Ltd. Electronic device
JP2016085457A (ja) * 2014-10-24 2016-05-19 株式会社半導体エネルギー研究所 電子機器
US9791929B2 (en) * 2014-10-31 2017-10-17 Elwha Llc Tactile control system
JP6654743B2 (ja) * 2014-11-06 2020-02-26 天馬微電子有限公司 電子機器、電子機器の操作制御方法および操作制御プログラム
CN105589594B (zh) 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN104460089B (zh) * 2014-12-12 2018-02-16 京东方科技集团股份有限公司 一种多面显示器件
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
WO2016101160A1 (en) * 2014-12-24 2016-06-30 Intel Corporation User interface for liquid container
CN105808112B (zh) * 2014-12-30 2019-10-29 联想(北京)有限公司 电子装置、穿戴式设备和信息处理方法
US9763628B2 (en) 2014-12-31 2017-09-19 Immersion Corporation Systems and methods for providing enhanced haptic feedback
CN112150985B (zh) * 2015-01-07 2023-04-18 三星电子株式会社 可弯曲用户终端装置及其显示方法
KR102341879B1 (ko) * 2015-01-14 2021-12-23 삼성디스플레이 주식회사 폴더블 표시장치
KR20160089164A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 플렉서블 디바이스의 디스플레이의 형상을 제어하는 방법 및 플렉서블 디바이스
KR20160090981A (ko) * 2015-01-22 2016-08-02 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 윈도우 보호 방법
KR102524966B1 (ko) 2015-02-20 2023-04-21 울트라햅틱스 아이피 엘티디 햅틱 시스템에서의 알고리즘 개선
KR102319466B1 (ko) * 2015-02-25 2021-10-29 삼성디스플레이 주식회사 표시장치 및 이를 이용한 표시장치의 구동방법
KR102113201B1 (ko) * 2015-02-27 2020-05-20 삼성전자주식회사 기능 실행 방법 및 이를 지원하는 전자 장치
CN105988577A (zh) 2015-02-28 2016-10-05 北京智谷睿拓技术服务有限公司 基于柔性器件的交互方法、交互装置及用户设备
KR102354505B1 (ko) * 2015-03-03 2022-01-21 삼성디스플레이 주식회사 착용형 표시 장치
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
CA2923867C (en) 2015-03-17 2021-07-27 Roel Vertegaal Haptic rendering for a flexible computing device
KR102287583B1 (ko) * 2015-04-08 2021-08-09 삼성디스플레이 주식회사 표시 장치
KR102367252B1 (ko) * 2015-04-16 2022-02-25 삼성디스플레이 주식회사 표시 장치
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
KR102274908B1 (ko) * 2015-04-30 2021-07-08 엘지디스플레이 주식회사 햅틱 구동 장치 및 햅틱 기능을 갖는 전자 기기
CN205959841U (zh) 2015-05-13 2017-02-15 苹果公司 电子设备和键盘组件
WO2016183510A1 (en) 2015-05-13 2016-11-17 Knopf Eric A Keyboard for electronic device
US9997304B2 (en) 2015-05-13 2018-06-12 Apple Inc. Uniform illumination of keys
WO2016183498A1 (en) 2015-05-13 2016-11-17 Apple Inc. Low-travel key mechanism for an input device
US9934915B2 (en) 2015-06-10 2018-04-03 Apple Inc. Reduced layer keyboard stack-up
EP3314381B1 (en) 2015-06-26 2023-03-08 Microsoft Technology Licensing, LLC Passive haptics as reference for active haptics
US10268831B2 (en) * 2015-07-08 2019-04-23 International Business Machines Corporation Self-protecting device
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
KR102378357B1 (ko) * 2015-08-24 2022-03-25 삼성디스플레이 주식회사 폴딩 가능한 디스플레이 장치 및 그 운용방법
WO2017044618A1 (en) 2015-09-08 2017-03-16 Apple Inc. Linear actuators for use in electronic devices
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
US10365736B2 (en) 2015-09-15 2019-07-30 Visteon Global Technologies, Inc. Morphing pad, system and method for implementing a morphing pad
KR102483379B1 (ko) 2015-09-21 2023-01-02 삼성디스플레이 주식회사 표시장치
US9971084B2 (en) 2015-09-28 2018-05-15 Apple Inc. Illumination structure for uniform illumination of keys
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
USD804443S1 (en) * 2015-10-02 2017-12-05 Samsung Electronics Co., Ltd. Mobile terminal
KR102423447B1 (ko) * 2015-10-22 2022-07-21 삼성전자 주식회사 벤디드 디스플레이를 구비한 전자 장치 및 그 제어 방법
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US9849379B2 (en) * 2015-11-25 2017-12-26 Immersion Corporation Haptic peripheral having a deformable substrate configured for amplified deformation
US9895607B2 (en) * 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
WO2017113103A1 (zh) * 2015-12-29 2017-07-06 深圳市柔宇科技有限公司 中控系统及具有该中控系统的汽车
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
KR20170081401A (ko) * 2016-01-04 2017-07-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102422974B1 (ko) * 2016-01-15 2022-07-21 한국전자통신연구원 촉감과 온도를 동시에 제공하는 하이브리드 디스플레이 제어 장치 및 방법
KR102462941B1 (ko) * 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
CN105809003B (zh) * 2016-03-10 2018-03-27 广东欧珀移动通信有限公司 一种指纹识别的终端屏幕解锁方法及终端
CN105740689B (zh) 2016-03-14 2017-11-07 广东欧珀移动通信有限公司 一种解锁控制方法及终端设备
US20170269687A1 (en) * 2016-03-17 2017-09-21 Google Inc. Methods and apparatus to provide haptic feedback for computing devices
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
EP3242143B1 (en) * 2016-05-02 2023-03-01 Rohde & Schwarz GmbH & Co. KG Measurement apparatus
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
KR102492732B1 (ko) * 2016-06-10 2023-01-27 삼성디스플레이 주식회사 표시 장치
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
KR102460466B1 (ko) 2016-07-06 2022-10-28 삼성전자주식회사 플렉서블 디스플레이를 포함하는 접철식 전자 장치
CN106227634B (zh) 2016-07-08 2017-11-14 广东欧珀移动通信有限公司 一种充电提醒的方法、装置以及终端
KR102359245B1 (ko) * 2016-07-08 2022-02-04 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기
JP1583195S (zh) * 2016-07-27 2017-08-07
US10353485B1 (en) 2016-07-27 2019-07-16 Apple Inc. Multifunction input device with an embedded capacitive sensing layer
CN106293211A (zh) * 2016-08-01 2017-01-04 京东方科技集团股份有限公司 触控盖板和触控显示装置
US9921609B2 (en) 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10416771B2 (en) 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US10115544B2 (en) 2016-08-08 2018-10-30 Apple Inc. Singulated keyboard assemblies and methods for assembling a keyboard
US10755877B1 (en) 2016-08-29 2020-08-25 Apple Inc. Keyboard for an electronic device
US10109162B2 (en) 2016-09-01 2018-10-23 Immersion Corporation Haptic effect enabled system using fluid
US9916003B1 (en) * 2016-09-02 2018-03-13 Microsoft Technology Licensing, Llc 3D haptics for interactive computer systems
DK179278B1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10725544B1 (en) 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US10268273B1 (en) * 2016-09-09 2019-04-23 Apple Inc. Stylus with multiple inputs
US11500538B2 (en) 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US9799279B1 (en) * 2016-09-15 2017-10-24 Essential Products, Inc. Electronic display with a relief
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
CN106598391B (zh) * 2016-12-13 2019-02-01 珠海格力电器股份有限公司 一种移动终端的盲操实现方法和装置
DE102016224838A1 (de) * 2016-12-13 2018-06-14 Zf Friedrichshafen Ag Bedienvorrichtung zum Auswählen zumindest einer Getriebestufe eines Fahrzeugs, Fahrzeug mit einer Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung
CN107995971A (zh) * 2016-12-29 2018-05-04 深圳市柔宇科技有限公司 智能终端及其控制方法
JP6715192B2 (ja) * 2017-01-06 2020-07-01 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法
JP7043171B2 (ja) * 2017-01-25 2022-03-29 株式会社ジャパンディスプレイ 表示装置
CN206412029U (zh) 2017-01-25 2017-08-15 合肥鑫晟光电科技有限公司 一种膜状结构及柔性显示装置
CN106910427B (zh) * 2017-02-23 2019-11-22 武汉华星光电技术有限公司 一种显示器及其柔性显示屏的平展方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
CN108811514B (zh) * 2017-03-03 2022-03-01 谷歌有限责任公司 用于检测在客户端设备上执行的应用不当地实施对内容项的呈现的系统和方法
CN106843506A (zh) * 2017-03-21 2017-06-13 淮阴师范学院 一种纹理触觉再现接口装置
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US9983678B1 (en) * 2017-05-01 2018-05-29 Immersion Corporation User interface device configured to selectively hide components from tactile perception
US10396272B2 (en) * 2017-05-04 2019-08-27 International Business Machines Corporation Display distortion for alignment with a user gaze direction
CN108874243B (zh) * 2017-05-11 2021-11-12 京东方科技集团股份有限公司 触控面板、电子装置及其驱动方法
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN107193420B (zh) * 2017-05-25 2020-06-02 京东方科技集团股份有限公司 一种触控器件及制备触控器件的方法
US10627906B2 (en) 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
US10353506B2 (en) * 2017-06-16 2019-07-16 Apple Inc. Dual resistive strain and pressure sensor for force touch
EP3646159B1 (en) * 2017-06-28 2021-01-13 Telefonaktiebolaget LM Ericsson (PUBL) Flexible communication device and method for changing the shape of the device
US10572011B2 (en) * 2017-06-30 2020-02-25 Microsoft Technology Licensing, Llc Haptic feedback system
CN107291296A (zh) * 2017-07-03 2017-10-24 京东方科技集团股份有限公司 触控感应结构、工作方法、触控基板、制作方法、触控显示装置
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10775850B2 (en) 2017-07-26 2020-09-15 Apple Inc. Computer with keyboard
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
CN107770307B (zh) * 2017-09-06 2019-10-22 深圳市金立通信设备有限公司 一种移动终端
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
KR102409993B1 (ko) * 2017-09-13 2022-06-15 엘지디스플레이 주식회사 접촉 감응 소자 및 이를 포함하는 표시 장치
US10509473B2 (en) * 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN109584719A (zh) * 2017-09-28 2019-04-05 京东方科技集团股份有限公司 柔性显示模组及制备方法与弯折方法、电子设备
US10871847B2 (en) * 2017-09-29 2020-12-22 Apple Inc. Sensing force and press location in absence of touch information
WO2019070249A1 (en) 2017-10-04 2019-04-11 Hewlett-Packard Development Company, L.P. USER INTERFACES WITH STRAIN SENSORS
USD893475S1 (en) * 2017-10-11 2020-08-18 Samsung Display Co., Ltd. Display device
USD885381S1 (en) * 2017-10-11 2020-05-26 Samsung Display Co., Ltd. Display device
JP7155505B2 (ja) 2017-10-23 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
USD891427S1 (en) * 2017-11-13 2020-07-28 Samsung Display Co., Ltd. Display device
CN110753896A (zh) * 2017-11-16 2020-02-04 深圳市柔宇科技有限公司 一种解锁方法、装置、待解锁设备以及终端设备
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
KR102490861B1 (ko) * 2017-12-14 2023-01-19 엘지디스플레이 주식회사 백 플레이트 및 이를 포함하는 폴더블 표시장치
US10440848B2 (en) * 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
JP6964293B2 (ja) * 2018-03-08 2021-11-10 地方独立行政法人神奈川県立産業技術総合研究所 力触覚伝達システム、力触覚伝達方法及びプログラム
US10948370B2 (en) * 2018-04-10 2021-03-16 The Boeing Company Haptic pin field sensor and manipulator
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
JP6765394B2 (ja) * 2018-05-22 2020-10-07 京セラ株式会社 測定装置及び測定装置の制御方法
JP6926029B2 (ja) * 2018-05-23 2021-08-25 京セラ株式会社 構造体及び触感呈示装置
CN111356979B (zh) 2018-05-25 2023-12-29 苹果公司 具有动态显示界面的便携式计算机
WO2019229698A1 (en) 2018-05-31 2019-12-05 Purple Tambourine Limited Interacting with a virtual environment using a pointing controller
KR102255793B1 (ko) * 2018-06-14 2021-05-25 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
US10748389B2 (en) * 2018-06-15 2020-08-18 Immersion Corporation Damping for a haptic actuator
US10585483B2 (en) * 2018-06-15 2020-03-10 Immersion Corporation Haptic actuator assembly with a pre-load device
US20190384394A1 (en) * 2018-06-15 2019-12-19 Immersion Corporation Method and apparatus for providing resistive feedback
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
KR102072991B1 (ko) * 2018-07-03 2020-02-04 서울대학교산학협력단 구조색을 이용한 무선 센서 및 그의 제조방법
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
DE102018213384A1 (de) * 2018-08-09 2020-02-13 Robert Bosch Gmbh Berührungsempfindliche Oberfläche mit haptischen Elementen
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
CN109324714A (zh) * 2018-09-13 2019-02-12 武汉华星光电半导体显示技术有限公司 Oled触控显示面板
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
JP6472109B1 (ja) * 2018-09-20 2019-02-20 株式会社ネットアプリ タッチパネルシステム及び記録媒体
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US20200159326A1 (en) * 2018-11-21 2020-05-21 Immersion Corporation Systems and methods for providing haptic feedback related to lifting or manipulating a virtual object
JP2020087207A (ja) * 2018-11-29 2020-06-04 株式会社デンソー 入力装置
CN109669612A (zh) * 2018-11-29 2019-04-23 惠州Tcl移动通信有限公司 移动终端控制方法、装置、移动终端及存储介质
KR102562126B1 (ko) 2019-01-04 2023-08-02 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
ES2938523T3 (es) * 2019-01-31 2023-04-12 Behr Hella Thermocontrol Gmbh Dispositivo de mando para un vehículo
AU2020226861A1 (en) 2019-02-18 2021-10-14 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
CN113504866A (zh) * 2019-02-22 2021-10-15 华为技术有限公司 屏幕控制方法、电子设备及存储介质
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US11027194B2 (en) * 2019-03-01 2021-06-08 Sony Interactive Entertainment Inc. Force feedback to improve gameplay
KR20200109737A (ko) 2019-03-14 2020-09-23 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
US10852833B2 (en) * 2019-03-29 2020-12-01 Google Llc Global and local haptic system and mobile devices including the same
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
KR20200126480A (ko) * 2019-04-29 2020-11-09 삼성디스플레이 주식회사 폴딩 부재 및 이를 포함하는 표시 장치
CN110209302B (zh) * 2019-05-31 2024-02-20 武汉天马微电子有限公司 一种显示面板、显示装置和显示面板的使用方法
JPWO2021005871A1 (zh) * 2019-07-05 2021-01-14
US10650163B2 (en) * 2019-08-14 2020-05-12 BehavioSec Inc Bot detection and access grant or denial based on bot identified
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
CA3152444A1 (en) 2019-09-24 2021-04-01 Landon NICKERSON Smart ring
CN114424149A (zh) * 2019-09-25 2022-04-29 索尼集团公司 信息处理装置、信息处理方法、服务器装置和程序
KR20210038108A (ko) * 2019-09-30 2021-04-07 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
DE102019126754A1 (de) * 2019-10-04 2021-04-08 Audi Ag Gebogenes OLED-Display mit Bedienelement in einem Faltbereich
CN110955368B (zh) * 2019-11-06 2022-04-29 维沃移动通信有限公司 屏幕形变控制方法和电子设备
US12009576B2 (en) 2019-12-03 2024-06-11 Apple Inc. Handheld electronic device
CN110728916B (zh) * 2019-12-05 2022-03-01 京东方科技集团股份有限公司 一种折叠屏及显示装置
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
CN111176455B (zh) * 2020-01-07 2021-01-19 北京航空航天大学 一种温度和纹理一致性呈现的柔性触觉反馈装置
US20210232308A1 (en) 2020-01-28 2021-07-29 Immersion Corporation Systems, devices, and methods for providing localized haptic effects
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
US11093005B1 (en) 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
KR102324562B1 (ko) 2020-05-07 2021-11-11 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
US20210353226A1 (en) * 2020-05-13 2021-11-18 Apple Inc. Wearable electronic device with glass shell
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11455039B2 (en) * 2020-09-17 2022-09-27 Rockwell Collins, Inc. Advanced haptics in touchscreen avionics lower level device simulators
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
US11460293B2 (en) * 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
CN112331080A (zh) * 2020-11-10 2021-02-05 四川长虹电器股份有限公司 一种可卷曲柔性屏
US12118677B2 (en) 2020-12-22 2024-10-15 Arkh, Inc. Spatially aware environment interaction
US11819999B2 (en) * 2021-01-27 2023-11-21 Toyota Research Institute, Inc. Input devices having a deformable membrane and methods of using the same
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113093948B (zh) * 2021-04-28 2024-03-01 东南大学 一种柔性触觉式移动机器人操作输入装置及交互方法
CN113687713B (zh) * 2021-07-14 2023-07-18 北京航空航天大学 一种纹理呈现装置及其制造方法
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
DE102021005263A1 (de) 2021-10-21 2023-04-27 Giesecke+Devrient Mobile Security Gmbh Kartenförmiger Datenträger für sehbehinderte Personen und Verfahren zum Betreiben eines kartenförmigen Datenträgers
US11954256B2 (en) 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US11921929B2 (en) * 2022-02-24 2024-03-05 Electronics And Telecommunications Research Institute Stereoscopic surface display device and operation method of the same
WO2023179879A1 (en) * 2022-03-25 2023-09-28 Telefonaktiebolaget Lm Ericsson (Publ) Haptic profiles for electronic devices
CN114706496B (zh) * 2022-04-19 2023-08-01 业成科技（成都）有限公司 触控显示模组、电子设备和监控方法
IT202200014668A1 (it) 2022-07-12 2022-10-12 Pietro Battistoni Metodo per l'interazione uomo-computer basato sul tatto ed interfacce utente tangibili.
US11907427B1 (en) * 2022-08-31 2024-02-20 Fca Us Llc Display with localized haptic response

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20100177050A1 (en) * 2009-01-14 2010-07-15 Immersion Corporation Method and Apparatus for Generating Haptic Feedback from Plasma Actuation
US20110018695A1 (en) * 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
US20110260984A1 (en) * 2010-04-23 2011-10-27 Reseach In Motion Limited Portable electronic device including tactile touch-sensitive input device
CN102236463A (zh) * 2010-04-23 2011-11-09 英默森公司 透明复合压电组合的触摸传感器和触觉致动器
CN102349038A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于纹理引擎的系统和方法
CN102725716A (zh) * 2009-12-21 2012-10-10 泰克图斯科技公司 用户界面系统
CN102893241A (zh) * 2010-05-12 2013-01-23 诺基亚公司 检测触摸输入并生成可感知的触摸刺激

Family Cites Families (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4330730A (en) 1980-03-27 1982-05-18 Eastman Kodak Company Wound piezoelectric polymer flexure devices
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
DE4012267A1 (de) 1990-03-13 1991-11-28 Joerg Fricke Geraet zur tastbaren darstellung von information
US5717423A (en) 1994-12-30 1998-02-10 Merltec Innovative Research Three-dimensional display
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000148393A (ja) 1998-11-06 2000-05-26 Minolta Co Ltd 視触覚情報伝達装置
US20040217877A1 (en) 1999-05-04 2004-11-04 William Kokonaski Flexible electronic display and wireless communication system
CA2271416A1 (en) 1999-05-10 2000-11-10 Vincent Hayward Electro-mechanical transducer suitable for tactile display and article conveyance
US7561142B2 (en) 1999-07-01 2009-07-14 Immersion Corporation Vibrotactile haptic feedback devices
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US6496200B1 (en) 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
US6509892B1 (en) * 1999-12-17 2003-01-21 International Business Machines Corporation Method, system and program for topographical interfacing
WO2001084530A1 (en) * 2000-04-28 2001-11-08 Texas Tech University Haptic virtual environments
EP2385518A3 (en) * 2000-05-24 2012-02-15 Immersion Medical, Inc. Haptic devices using electroactive polymers
DE10046099A1 (de) 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
US6303008B1 (en) 2000-09-21 2001-10-16 Delphi Technologies, Inc. Rotating film carrier and aperture for precision deposition of sputtered alloy films
JP2002157087A (ja) 2000-11-20 2002-05-31 Sony Corp 入力装置
US20020090980A1 (en) 2000-12-05 2002-07-11 Wilcox Russell J. Displays for portable electronic apparatus
US20020108439A1 (en) 2001-02-14 2002-08-15 Whitehead Dennis D. Systems and methods for displaying status of consumable resource
US6819316B2 (en) 2001-04-17 2004-11-16 3M Innovative Properties Company Flexible capacitive touch sensor
US7409441B2 (en) * 2001-05-18 2008-08-05 Sony Computer Entertainment Inc. Display apparatus for accessing desired web site
JP4934924B2 (ja) 2001-08-09 2012-05-23 パナソニック株式会社 強誘電体アクチュエータ素子およびその製造方法
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US6819304B2 (en) 2001-10-11 2004-11-16 International Business Machines Corporation Adjustable display device with display adjustment function and method therefor
ATE320059T1 (de) 2001-12-12 2006-03-15 Koninkl Philips Electronics Nv Anzeigensystem mit taktiler führung
US7352356B2 (en) 2001-12-13 2008-04-01 United States Of America Refreshable scanning tactile graphic display for localized sensory stimulation
JP3824529B2 (ja) 2001-12-21 2006-09-20 アルプス電気株式会社 入力装置
US7009595B2 (en) 2002-01-03 2006-03-07 United States Of America Extended refreshable tactile graphic array for scanned tactile display
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP2003280546A (ja) 2002-03-27 2003-10-02 Matsushita Electric Ind Co Ltd 自己変形型フレキシブルディスプレイ及びそれを用いた情報処理端末
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2004029999A (ja) * 2002-06-24 2004-01-29 Matsushita Electric Ind Co Ltd 力触覚ディスプレイハンドおよびその製造方法
EP1376316A1 (en) * 2002-06-26 2004-01-02 BRITISH TELECOMMUNICATIONS public limited company Haptic communications
JP2004071765A (ja) 2002-08-05 2004-03-04 Sony Corp 電気粘性流体装置及び電子機器
US7161590B2 (en) 2002-09-04 2007-01-09 John James Daniels Thin, lightweight, flexible, bright, wireless display
US7138985B2 (en) 2002-09-25 2006-11-21 Ui Evolution, Inc. Tactilely enhanced visual image display
US6940485B2 (en) 2003-01-15 2005-09-06 Xerox Corporation Flexible micron-thin display device
US6964201B2 (en) 2003-02-25 2005-11-15 Palo Alto Research Center Incorporated Large dimension, flexible piezoelectric ceramic tapes
DE10324579A1 (de) 2003-05-30 2004-12-16 Daimlerchrysler Ag Bedienvorrichtung
WO2005020190A2 (en) 2003-08-11 2005-03-03 Virtualblue, Llc Rectractable flexible digital display apparatus
US7245292B1 (en) 2003-09-16 2007-07-17 United States Of America As Represented By The Secretary Of The Navy Apparatus and method for incorporating tactile control and tactile feedback into a human-machine interface
US20080297878A1 (en) 2003-10-01 2008-12-04 Board Of Regents, The University Of Texas System Compositions, methods and systems for making and using electronic paper
JP4341360B2 (ja) 2003-10-03 2009-10-07 日本ビクター株式会社 表示装置
JP2005182687A (ja) * 2003-12-24 2005-07-07 Canon Inc 表示と入力の少なくとも一方を行なうための装置
JP2006011646A (ja) 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
JP2006053678A (ja) * 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
JP2006154380A (ja) 2004-11-30 2006-06-15 Victor Co Of Japan Ltd 表示装置
KR100590576B1 (ko) * 2004-12-28 2006-11-23 삼성전자주식회사 영상의 촉각 제공 장치 및 방법
US7382357B2 (en) 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
EP1920408A2 (en) 2005-08-02 2008-05-14 Ipifini, Inc. Input device having multifunctional keys
US7625287B2 (en) * 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
JP2007121765A (ja) 2005-10-28 2007-05-17 Pioneer Electronic Corp 表示制御装置、表示方法、表示プログラムおよび記録媒体
US7639237B2 (en) 2006-03-03 2009-12-29 Perkins Michael T Roll-out touch screen support system (ROTS3)
US20080035306A1 (en) * 2006-08-08 2008-02-14 White John M Heating and cooling of substrate support
TWI306051B (en) * 2006-12-14 2009-02-11 Ind Tech Res Inst Robotic apparatus with surface information displaying and interaction capability
TWI444942B (zh) 2007-04-20 2014-07-11 Via Optronics Gmbh 無框架顯示系統以及建構其之方法
US20080266273A1 (en) 2007-04-24 2008-10-30 White Electronic Designs Corp. Interactive display system
US9823833B2 (en) 2007-06-05 2017-11-21 Immersion Corporation Method and apparatus for haptic enabled flexible touch sensitive surface
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US20090015560A1 (en) * 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
JP2009098899A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 情報提示装置
US8232976B2 (en) * 2010-03-25 2012-07-31 Panasonic Corporation Of North America Physically reconfigurable input and output systems and methods
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
DE602007011948D1 (de) 2007-11-16 2011-02-24 Research In Motion Ltd Touchscreen für ein elektronisches Gerät
US10488926B2 (en) 2007-11-21 2019-11-26 Immersion Corporation Method and apparatus for providing a fixed relief touch screen with locating features using deformable haptic surfaces
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US20100250071A1 (en) * 2008-03-28 2010-09-30 Denso International America, Inc. Dual function touch switch with haptic feedback
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8174372B2 (en) 2008-06-26 2012-05-08 Immersion Corporation Providing haptic feedback on a touch surface
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
EP3206381A1 (en) * 2008-07-15 2017-08-16 Immersion Corporation Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging
US8836611B2 (en) * 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US8947320B2 (en) * 2008-09-08 2015-02-03 Qualcomm Incorporated Method for indicating location and direction of a graphical user interface element
US8427433B2 (en) 2008-10-17 2013-04-23 Honeywell International Inc. Tactile-feedback touch screen
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US20100117809A1 (en) 2008-11-11 2010-05-13 Motorola Inc. Display module with piezoelectric haptics
US8368658B2 (en) * 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
KR20110110212A (ko) * 2009-01-21 2011-10-06 바이엘 머티리얼사이언스 아게 촉각 피드백 장치를 위한 전기활성 폴리머 트랜스듀서
KR101973918B1 (ko) * 2009-03-12 2019-04-29 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
KR20190020180A (ko) 2009-03-12 2019-02-27 임머숀 코퍼레이션 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
KR20170016521A (ko) 2009-03-12 2017-02-13 임머숀 코퍼레이션 다수의 액츄에이터를 사용하여 텍스처를 실현하는 시스템 및 방법
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US7864517B2 (en) * 2009-03-30 2011-01-04 Microsoft Corporation Mobile computer device binding feedback
CN102422244A (zh) 2009-05-07 2012-04-18 伊梅森公司 用于提供触觉反馈形状变化显示器的方法和设备
JP2010282259A (ja) * 2009-06-02 2010-12-16 Panasonic Corp 収音機器および映像表示機器
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
JP5527797B2 (ja) * 2009-08-06 2014-06-25 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子機器
US8390594B2 (en) * 2009-08-18 2013-03-05 Immersion Corporation Haptic feedback using composite piezoelectric actuator
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US20110115754A1 (en) 2009-11-17 2011-05-19 Immersion Corporation Systems and Methods For A Friction Rotary Device For Haptic Feedback
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
JP2011221676A (ja) * 2010-04-07 2011-11-04 Sony Corp 情報提示装置、触覚提示方法及びプログラム
US9417695B2 (en) * 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
US20110261002A1 (en) 2010-04-27 2011-10-27 Microsoft Corporation Displaying images on solid surfaces
KR101319347B1 (ko) * 2010-06-10 2013-10-16 엘지디스플레이 주식회사 터치 패널 일체형 액정 표시 장치
KR101677631B1 (ko) * 2010-06-21 2016-11-18 엘지전자 주식회사 이동 단말기 및 이에 구비되는 디스플레이 모듈의 제조방법
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
EP2456175B1 (en) * 2010-11-19 2014-01-15 BlackBerry Limited Portable electronic device including flexible display
US20120133494A1 (en) 2010-11-29 2012-05-31 Immersion Corporation Systems and Methods for Providing Programmable Deformable Surfaces
BR112013022703B1 (pt) * 2011-03-21 2022-08-16 Apple Inc. Dispositivos eletrônicos com displays flexíveis
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
JP5134706B2 (ja) 2011-05-16 2013-01-30 日本写真印刷株式会社 曲面タッチパネル、その製造方法及び曲面タッチパネル付表示装置
US9176535B2 (en) * 2011-06-03 2015-11-03 Microsoft Technology Licensing, Llc Flexible display flexure assembly
US9563274B2 (en) * 2011-06-10 2017-02-07 Sri International Adaptable input/output device
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
CN202205176U (zh) * 2011-07-21 2012-04-25 北京三五九投资有限公司 一种基于压容效应的印刷型柔性触摸显示屏
US9501179B2 (en) * 2011-08-04 2016-11-22 Atmel Corporation Touch sensor for curved or flexible surfaces
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
SG11201401634RA (en) * 2011-10-21 2014-09-26 Univ Singapore An array of elements forming a human-computer interface device
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013196623A (ja) * 2012-03-22 2013-09-30 Sharp Corp ディスプレイ装置、ディスプレイシステム、およびディスプレイ制御方法、ならびにそのプログラム。
KR20140023066A (ko) * 2012-08-16 2014-02-26 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 피드백 제공 방법
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US20140125471A1 (en) * 2012-11-05 2014-05-08 Advanced Input Devices, Inc. Haptic feedback systems and methods
US20140232679A1 (en) * 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
US9715300B2 (en) * 2013-03-04 2017-07-25 Microsoft Technology Licensing, Llc Touch screen interaction using dynamic haptic feedback
US10628025B2 (en) * 2013-03-15 2020-04-21 Apple Inc. Device, method, and graphical user interface for generating haptic feedback for user interface elements
EP2989525B1 (en) * 2013-04-26 2019-09-25 Immersion Corporation Simulation of tangible user interface interactions and gestures using array of haptic cells
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
CN105556423B (zh) * 2013-06-11 2019-01-15 意美森公司 用于基于压力的触觉效果的系统和方法
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20100177050A1 (en) * 2009-01-14 2010-07-15 Immersion Corporation Method and Apparatus for Generating Haptic Feedback from Plasma Actuation
CN102349038A (zh) * 2009-03-12 2012-02-08 伊梅森公司 用于纹理引擎的系统和方法
US20110018695A1 (en) * 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
CN102725716A (zh) * 2009-12-21 2012-10-10 泰克图斯科技公司 用户界面系统
US20110260984A1 (en) * 2010-04-23 2011-10-27 Reseach In Motion Limited Portable electronic device including tactile touch-sensitive input device
CN102236463A (zh) * 2010-04-23 2011-11-09 英默森公司 透明复合压电组合的触摸传感器和触觉致动器
CN102893241A (zh) * 2010-05-12 2013-01-23 诺基亚公司 检测触摸输入并生成可感知的触摸刺激

Also Published As

Publication number Publication date
US20160306427A1 (en) 2016-10-20
US20180246574A1 (en) 2018-08-30
US20160216767A1 (en) 2016-07-28
US9405369B2 (en) 2016-08-02
US20160306426A1 (en) 2016-10-20
US20140320396A1 (en) 2014-10-30
CN110069157A (zh) 2019-07-30
KR20160002941A (ko) 2016-01-08
US20140320435A1 (en) 2014-10-30
US9405368B2 (en) 2016-08-02
EP2796983A1 (en) 2014-10-29
US10503262B2 (en) 2019-12-10
US9335823B2 (en) 2016-05-10
JP6276385B2 (ja) 2018-02-07
CN104122996A (zh) 2014-10-29
EP3462297A2 (en) 2019-04-03
EP3462297A3 (en) 2019-07-10
US9971409B2 (en) 2018-05-15
US20170285752A1 (en) 2017-10-05
JP6335613B2 (ja) 2018-05-30
JP2018152103A (ja) 2018-09-27
EP2989530A1 (en) 2016-03-02
CN105144052A (zh) 2015-12-09
JP2019050003A (ja) 2019-03-28
CN104122996B (zh) 2018-04-24
WO2014176528A1 (en) 2014-10-30
JP2014216026A (ja) 2014-11-17
KR20140128275A (ko) 2014-11-05
EP3575941A1 (en) 2019-12-04
US9983676B2 (en) 2018-05-29
JP2016520914A (ja) 2016-07-14
EP2989530A4 (en) 2017-01-25
EP2989525A4 (en) 2016-12-21
EP2989530B1 (en) 2019-08-07
EP2989525B1 (en) 2019-09-25
JP6670884B2 (ja) 2020-03-25
JP2019197576A (ja) 2019-11-14
WO2014176532A1 (en) 2014-10-30
US20180224941A1 (en) 2018-08-09
JP2016520915A (ja) 2016-07-14
CN108563326A (zh) 2018-09-21
EP2796983B1 (en) 2018-11-14
EP2989525A1 (en) 2016-03-02
US9715281B2 (en) 2017-07-25
US20190204924A1 (en) 2019-07-04
US20140320436A1 (en) 2014-10-30
CN105144052B (zh) 2019-02-15
US10248210B2 (en) 2019-04-02
JP2018088264A (ja) 2018-06-07
KR20160003031A (ko) 2016-01-08
CN105144035B (zh) 2019-03-22
CN105144035A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
CN105144035B (zh) 利用触觉单元阵列模拟有形用户界面交互和手势
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
JP7265567B2 (ja) センサ及び触覚を用いた指装着デバイス
US10048758B2 (en) Haptic feedback for interactions with foldable-bendable displays
US20190064996A1 (en) Method and apparatus for generating a haptic effect in response to flex gesturing
JP5833601B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
US20180011538A1 (en) Multimodal haptic effects
US20180335864A1 (en) Devices, Systems, and Methods For Using Corrugated Tessellation To Create Surface Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190405