CN103970267B - 用于触觉装置中的三维浮凸的摩擦调制 - Google Patents

用于触觉装置中的三维浮凸的摩擦调制 Download PDF

Info

Publication number
CN103970267B
CN103970267B CN201410035071.5A CN201410035071A CN103970267B CN 103970267 B CN103970267 B CN 103970267B CN 201410035071 A CN201410035071 A CN 201410035071A CN 103970267 B CN103970267 B CN 103970267B
Authority
CN
China
Prior art keywords
display
haptic effect
image
texture
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410035071.5A
Other languages
English (en)
Other versions
CN103970267A (zh
Inventor
R·拉克罗伊克斯
V·利沃斯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201910026786.7A priority Critical patent/CN109683717A/zh
Publication of CN103970267A publication Critical patent/CN103970267A/zh
Application granted granted Critical
Publication of CN103970267B publication Critical patent/CN103970267B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于触觉装置中的三维浮凸的摩擦调制。一种触觉装置包括：显示器，被构造为显示图像；触觉输出装置，被构造为当用户与显示器交互时向用户产生触觉效果；以及处理器，被构造为接收与显示在显示器上的图像相关的信息。所述处理器还被构造为：创建与显示在显示器上的图像相关联的基于摩擦的触摸效果图，以及当用户在所述图像显示在显示器上时与显示器交互时，对触觉输出装置产生输出触觉效果的信号，所述触觉效果被构造为三维模拟所述图像的感觉。

Description

用于触觉装置中的三维浮凸的摩擦调制
技术领域
本发明涉及用于触觉装置中的三维浮凸（relief）的摩擦调制。
背景技术
人类天生就有感觉事物的形状的期望，而当前的触摸屏显示装置不以任何形式提供这个能力。另外，静态视觉观看可以导致形成歧义性。在现实世界中，人们使用触摸的感觉来消除对象形状的歧义。
发明内容
对于具有显示器的电子装置的用户期望能够触摸显示器并感觉显示器上的图像的轮廓。图像可以是无生命的对象或有生命的对象（诸如人的脸或手）。
根据本发明的一方面，提供一种触觉装置，该触觉装置包括：显示器，被构造为显示图像；触觉输出装置，被构造为当用户与显示器交互时向用户产生触觉效果；以及处理器，被构造为接收与显示在显示器上的图像相关的信息，创建与显示在显示器上的图像相关联的基于摩擦的触摸效果图，以及用户在该图像显示在显示器上时与显示器交互时，对触觉输出装置产生信号以输出触觉效果，所述触觉效果被构造为三维模拟该图像的感觉。
根据本发明的一方面，提供一种方法，该方法包括：接收与显示在显示器上的图像相关的信息；创建与显示在显示器上的图像相关联的基于摩擦的触觉效果图，所述触觉效果图表示该图像的三维特征；以及当用户在显示器正在显示该图像时与显示器交互时，输出触觉效果，所述触觉效果三维模拟该图像的感觉。
根据本发明的一方面，提供一种包括触摸屏视频显示器的系统，该触摸屏视频显示器包括触觉输出装置。触摸屏视频显示器被构造为：接收视频信号，基于该视频信号显示图像，以及输出触觉效果。该系统包括处理器，该处理器被构造为：接收与显示在显示器上的图像相关的信息，创建与显示在显示器上的图像相关联的基于摩擦的触觉效果图，以及当用户在该图像显示在显示器上时与显示器交互时，对触觉输出装置产生信号以输出触觉效果。触觉效果被构造为三维模拟该图像的感觉。
根据本发明的一方面，提供一种方法，该方法包括：接收包括图像的视频流；分析该视频流和逼近在该视频流中正在接收的图像的三维形状；以及基于该图像的三维形状产生触觉效果。
附图说明
以下图的组件被示出是为了强调本公开的总原理，不一定是按比例绘制的。为了一致和清晰，必要时在所有图中重复指定相应组件的参考字符。
图1示出根据本发明的实施例的电子装置的示意图；
图2示出根据本发明的实施例的图1的电子装置的触摸屏装置的示意图；
图3示出图1的电子装置可以显示的图像的实施例，包括(1)触摸屏、(b)手和(c)脸；
图4示出使用灰度掩膜使脸图像纹理化的实施例，包括(a)源图像和(b)与该源图像相应的灰度掩膜；
图5示出通过矢量图元进行纹理化的实施例，包括(a)源图像和(b)与该源图像相应的纹理区域；
图6示出边缘图的实施例，包括(a)源图像和(b)与该源图像相应的具有不同强度的边缘图；
图7示出触摸输入处的图像的视觉畸变的实施例，包括(a)源图像、(b)畸变的源图像和(c)与该畸变的源图像相应的网格的畸变；
图8示出可允许畸变范围的计算的实施例，包括(a)和(c)源图像以及(b)和(d)分别离这些源图像的边缘的距离；
图9示出图3b的更详细的视图；
图10示出用于图9的图像的纹理掩膜的实施例，包括(a)完整的手、(b)没有皱纹的手和(c)皱纹；
图11示出图9的手图像的边缘的实施例；
图12示出纹理掩膜和用于通信小部件纹理掩膜的边缘图的实施例，(a)纹理、(b)按钮和(c)边缘图；
图13示出图3c的更详细的视图；
图14示出用于图13的图像的纹理掩膜的实施例，包括(a)脸、(b)颈部、(c)嘴巴、(d)鼻子和(e)耳朵；
图15示出图13的脸图像的边缘图的实施例；
图16是根据本发明的实施例的系统的示意图；
图17是根据本发明的实施例的方法的流程图；和
图18是根据本发明的实施例的方法的流程图。
具体实施方式
本公开描述包括触觉输出装置的触觉装置的实施例，这些触觉输出装置经由用户装置的用户界面、人机界面或其他部分对用户施加触觉效果。具体地讲，本文中所描述的触觉装置的实施例可以被构造为将触觉效果施加于用户装置的触摸敏感表面。在一些实施例中，触摸敏感表面可以是可以包括视觉输出机构和触摸敏感输入机构这两个机构的显示装置的部件。因此，可以在用户装置（诸如电子手持装置）中应用触觉反馈来向用户提供丰富的感觉体验。
尽管本文中所描述的许多例子涉及触摸屏装置，但是应当理解，本公开还包含涉及触摸敏感结构的其他类型的人机界面。另外，当阅读并理解本公开的总原理时，其他特征和优点对于本领域的普通技术人员将是清楚的。这些其他特征和优点也意在于包括在本公开中。
图1是根据本发明的实施例的电子装置10的框图。如所示，电子装置10包括处理装置（例如，处理器）12、存储器装置14、输入/输出装置16，这些装置经由总线18互连。在实施例中，输入/输出装置16可以包括触摸屏装置20或其他人机界面装置。
触摸屏装置20可以被构造为任何合适的人机界面或触摸/接触表面组件。触摸屏装置20可以是任何触摸屏、触控板、触摸敏感结构、计算机监视器、膝上型电脑显示装置、工作簿显示装置、电脑亭屏幕、便携式电子装置屏幕、或其他合适的触摸敏感装置。触摸屏装置20可以被构造用于与用户控制的装置（诸如触笔、手指等）进行物理交互。在一些实施例中，触摸屏装置20可以包括至少一个输出装置和至少一个输入装置。例如，触摸屏装置20可以包括视觉显示器和叠加在视觉显示器上以从用户的手指接收输入的触摸敏感屏。视觉显示器可以包括高清晰显示屏幕。
在各种实施例中，触摸屏装置20向电子装置10的至少一部分提供触觉反馈，该触觉反馈可以被传达给与电子装置10接触的用户。具体地讲，触摸屏装置20可以向触摸屏本身提供触觉反馈，以当用户与该屏幕接触时施加触觉效果。触觉效果可以用于增强用户体验，具体地讲，可以向用户提供该用户已经与屏幕充分接触足以被触摸屏装置20检测到的确认。
电子装置10可以是任何装置，诸如台式电脑、膝上型电脑、电子工作簿、电子手持装置（诸如移动电话、游戏装置、个人数字助理（“PDA”）、便携式电子邮件装置、便携式互联网接入装置、计算器等）、电脑亭（诸如自动柜员机、定时购买机等）、打印机、销售点装置、游戏控制器或其他电子装置。
处理装置12可以是用于管理或控制电子装置10的操作和功能的通用或专用处理器或微控制器。例如，处理装置12可以被专门设计为控制将提供触觉效果的信号输出到输入/输出装置16的驱动器的专用集成电路（“ASIC”）。处理装置12可以被构造为基于预定义因素来决定要产生什么触觉效果、产生触觉效果的次序、以及触觉效果的幅度、频率、持续时间和/或其他参数。处理装置12还可以被构造为提供可以用于驱动用于提供特定触觉效果的触觉输出装置的流传输命令。在一些实施例中，处理装置12实际上可以包括多个处理器，每个处理器被构造为执行电子装置10内的某些功能。
存储器装置14可以包括一个或多个内部固定存储单元、可移动存储单元、和/或可远程访问存储单元。各种存储单元可以包括易失性存储器和非易失性存储的任何组合。存储单元可以被构造为存储信息、数据、指令、软件代码等的任何组合。更具体地讲，存储装置可以包括触觉效果配置文件、关于要如何驱动输入/输出装置16的触觉输出装置的指令、和/或用于产生触觉效果的其他信息。
除了触摸屏装置20之外，输入/输出装置16还可以包括特定的输入机构和输出机构。例如，输入机构可以包括诸如键盘、键区、光标控制装置（例如，计算机鼠标）或其他数据输入装置的装置。输出机构可以包括计算机监视器、虚拟现实显示装置、音频输出装置、打印机或其他外设装置。输入/输出装置16可以包括被设计为不仅从用户接收输入、而且还向用户提供反馈的机构，诸如触摸屏装置的许多例子。触摸屏装置20和其他输入/输出装置16可以包括按钮、键区、光标控制装置、触摸屏组件、触笔相应组件或其他数据输入组件的任何合适的组合和构造。触摸屏装置20还可以包括计算机监视器、显示屏幕、触摸屏显示器、触觉输出装置或用于向用户提供输出的其他通知装置的任何合适的组合。
在实施例中，触摸屏装置20包括显示表面22（可以是刚性的），显示表面22被构造为通过（包括，但不限于）静电摩擦或超声表面振动对其摩擦性质进行调制，以当用户在整个显示器上运行手指或触笔时给予用户与显示图像相应的表面浮凸（例如，山丘和谷地）的感觉。
图2示出可以在装置的表面110处产生触觉效果的触觉效果使能用户界面装置100的实施例。装置100的表面110可以是与图1的触摸屏装置的显示表面22相同或类似的显示表面。可以产生模拟装置100所表示的特征（诸如表面特征）的触觉效果。例如，模拟的表面特征可以是表面100的模拟的纹理、空间图案、边缘或边界、或任何其他触感感知，而不管是自然的还是人造的。在实施例中，表面110可以是显示与模拟的表面特征相应的图像（诸如具有模拟的纹理或其他触感感知的对象的图像）的触摸屏。在实施例中，表面110可以是与图像的显示相应的触控板或任何其他触摸界面。装置100可以包括移动电话、平板电脑、电子显示器、触控板或任何其他电子用户界面装置。
在实施例中，装置100可以包括触觉驱动模块（例如，控制器130）、产生触觉效果的触觉输出装置120、以及触觉驱动电路125，触觉驱动电路125与控制器130和触觉输出装置120操作地耦合以便将驱动电压施加于触觉输出装置120。控制器130可以包括一个或多个处理器或任何其他处理单元，并且可以是图1的处理装置12的部件。触觉输出装置120可以包括致动器（例如，音圈、超声振动装置、螺线管、压电装置或任何其他致动器）、静电装置、或任何其他触觉输出装置。在某些情况下，超声振动装置可以减小表面110处的摩擦水平。控制器130可以与触觉输出装置120操作地耦合，触觉输出装置120可以与表面110操作地耦合。在于2011年4月22日提交的、序号为13/092,269的、标题为“Electro-vibrotactileDisplay”的美国专利申请（该专利申请于2012年10月25日作为公开号为2012/0268412的美国专利申请公开而被公开）中更详细地讨论了触觉输出装置，该专利申请的全部内容通过引用并入本文。
在实施例中，控制器130、触觉驱动电路125和触觉输出装置120可以通过控制摩擦水平来模拟表面110处的表面特征。例如，触觉输出装置120可以包括可以通过在表面110处产生振动来控制摩擦的致动器。触觉输出装置120可以包括可以通过将电压施加于表面110或表面110的下面来控制摩擦水平的静电装置。例如交流电压信号可以创建吸引手指F、触笔或表面110处的任何其他对象的电容效果。表面处的吸引力可以被感知为对象在整个表面移动时的摩擦。增大吸引力可以提高表面处的摩擦水平。在于2011年4月22日提交的、序号为13/092,269的、标题为“Electro-vibrotactile Display”的美国专利申请（该专利申请于2012年10月25日作为公开号为2012/0268412的美国专利申请公开而被公开）中更详细地讨论了通过触觉效果控制摩擦，该专利申请的全部内容通过引用并入本文。
如公开号为2012/0268412的美国专利申请公开中所描述的，在实施例中，静电装置可以与包括具有一个或多个电极的导电层并且包括绝缘层的表面一起使用。导电层可以是任何半导体或其他导电材料。绝缘层可以是玻璃、塑料（例如，热塑性塑料）、聚合物或任何其他绝缘层。静电装置可以通过施加AC信号来进行操作，在一个实施例中，该AC信号将导电层与表面110附近或触摸表面110的对象电容耦合。该AC信号可以由高压放大器产生。
电容耦合可以控制表面110上的摩擦水平。在实施例中，可以通过控制表面110上的摩擦水平来模拟纹理。改变对象与导电层之间的吸引水平可以改变在整个表面110上移动的对象上的摩擦。改变摩擦力可以模拟一个或多个纹理。
此外，电容耦合还可以通过模拟表面110附近或触摸表面110的对象的部件（诸如用户的手指的皮肤中的机械感受器）来产生触觉效果。在例子中，导电层可以被施加与用户的手指的导电部件耦合的AC电压信号。当用户在屏幕上移动他或她的手指时，用户可以感测针刺状、颗粒状、崎岖不平的、粗糙度、粘性的纹理或一些其他纹理。
在实施例中，表面110可以不具有绝缘层，以使得对象可以直接触摸导电层。可以通过经由导电路径将电压从导电层施加于对象来产生触觉效果。这个实施例可以可替换地使用绝缘层，但是在绝缘层中包括一个或多个电极，当触摸该电极的对象在整个绝缘层上移动时，该电极可以创建从导电层到该对象的导电路径。
在实施例中，触觉效果不局限于电子用户界面装置的表面（例如，表面110）。在这个实施例中，例如用户的手可以触摸超出触摸屏或触控板的对象，并且仍可以感知到触觉效果。可以通过例如将电压从信号发生器或任何其他电压产生装置直接施加于用户的身体来产生触觉效果。在某些情况下，电压产生装置可以是适于安装在频繁与用户的身体接触的位置处的独立装置。每当传感器检测到用户的身体正在触摸其上的纹理将被模拟的对象时，就可以施加该电压。该电压可以将电荷放置在用户的身体上。用户的身体上的电荷与正被触摸的对象之间的电容相互作用可以创建用户的身体与对象之间的吸引力。吸引力可以控制对象的表面处的摩擦水平，该摩擦水平可以模拟正被触摸的对象的纹理或任何其他触感感知。改变施加于用户的身体的电压可以改变触觉效果，从而改变正被模拟的触感感知。如果电压基于周期性信号，则改变该电压可以包括改变信号的振幅或频率。在某些情况下，对象可以具有被绝缘层包围的导电层。电容相互作用可以在导电层与用户的身体上的电荷之间。在某些情况下，正被触摸的对象和电压产生装置都可以具有公共地。在某些情况下，可以使用户的身体接地。在某些情况下，可以不使用户的身体接地。
在实施例中，用户可以通过在对象的表面处产生的静电效果和由电子用户界面装置创建的增强现实体验这两者来感知对象上的模拟纹理。例如，电子用户界面装置可以通过显示对象的捕捉图像并在该图像上叠加纹理的图形表示来创建增强现实体验。在实施例中，用户可以通过触摸对象并在电子用户界面上查看叠加在对象上的纹理的图形表示来感知对象上的纹理。
在实施例中，控制器130可以被构造为使触觉输出装置120产生周期性触觉效果。图2例如示出了基于触觉驱动信号201的周期性触觉效果。在某些情况下，触觉驱动信号可以是周期性驱动信号。在某些情况下，触觉驱动信号可以表示触觉输出装置120所产生的触觉效果。例如，如果触觉输出装置120包括静电装置，则基于触觉驱动信号201的触觉效果可以包括具有与触觉驱动信号201匹配或成比例的频率和振幅的正弦AC电压。如果触觉输出装置120包括致动器，则基于触觉驱动信号201的触觉效果可以包括具有与触觉驱动信号201匹配的频率和振幅的振动。周期性触觉效果可以根据如图2所示的正弦波形、方波、三角波或锯齿波形或任何其他周期性波形而改变。例如，可以通过具有正弦、方波、三角波、锯齿或任何其他波形的AC电压来产生周期性静电效果。
在实施例中，控制器130可以使触觉输出装置120改变触觉效果。例如，周期性触觉效果的频率可以随着手指F或创建触摸输入的任何其他对象在整个表面110上移动而改变。例如，可以将触觉驱动信号变为具有与图2的触觉驱动信号201相比更大的频率。在实施例中，触觉效果如何改变可以基于移动的位置、速率、加速度、方向、所施加的压力、横向力、接触区域、接触区域的形状、对象的接近角、方位、温度、电导或干度，或者基于系统输入。在实施例中，如以下更详细地讨论的，触觉效果可以基于通过触摸表面正在显示的图像的模拟轮廓而改变。
在实施例中，静电摩擦可以用于在两个人之间的以计算机为中介的视频会议的上下文下提供触觉反馈。如图3(a)所示，用户可以一开始被呈现包括图像300的屏幕，图像300包括302和304所表示的从其选择的两个联系人。用户然后可以通过在显示屏上的相应图像302或304上轻敲来选择联系人之一，显示屏也是触摸屏装置（诸如以上所讨论的触摸屏装置20）的部件。然后在屏幕上显示表示远程接触的图像，诸如如图3b所示的学步的小孩310的手的图像、或如图3c所示的部分脸320的图像。显示器所显示的所有三个图像300、310、320都可以用以下更详细描述的纹理和触觉效果来增强。
在实施例中，可以使用对显示器的平面表面上方的纹理的强度进行调制的算法。在实施例中，可以通过使用灰度位图或彩色位图的单个通道（例如，ARGB位图的透明度通道）来指定显示器的不同位置处的纹理的强度。位图可以以几种方式生成。在实施例中，可以手动地使用图像编辑或绘画工具（诸如）来生成位图。在实施例中，可以通过将图像处理技术（诸如转换为灰度或边缘检测）应用于源图像来生成位图。在实施例中，可以组合这两种技术来对源图像进行处理，并且可以例如通过扩大一些特征来手动地编辑结果。其他实施例可以包括通过观测视频流来逼近图像的三维（3D）形状的软件算法，而不是使用专用硬件。
图4b示出灰度掩膜420的例子，灰度掩膜420通过从图4a的部分脸320的图像提取亮度信息并手动地对该图像的远离部分（诸如颈部322、嘴唇324、鼻子326和耳朵328）进行分段而生成。还可以使用矢量图元（诸如矩形、圆形和多边形）来指定纹理区域的广度和强度。这可以通过程序来进行（例如，通过在源代码中指定将被纹理化的区域），或者可以通过矢量图形语言（诸如可缩放矢量图形（SVG））和编辑器（诸如和）来进行。
图5b显示例子500，在例子500中，分别如图5b中的502、504所表示的，图5a中的图像300的两个矩形区域302、304已经被用程序标记用于纹理化。在实施例中，每次产生触摸事件时，或者每次更新触觉输出时，可以通过根据触摸位置的掩膜强度选择纹理强度来进行纹理的渲染。在实施例中，这可以每30-45ms发生。在实施例中，可以通过二次采样来进行纹理的渲染，以通过模拟顺序的触摸输入之间的运动来生成更精确的强度转变。例如，在时间T更新的触觉纹理可以再现在触摸输入XT-1与XT之间发生的强度分布。
可以使用利用位图生成纹理区域的其他方法。本文中所描述的实施例并非意图以任何方式限制。例如，可以使用于2010年1月29日提交的、序号为12/696,893的、标题为“Systems and Methods for Providing Features in a Friction Display”的美国专利申请（该专利申请于2010年9月16日作为公开号为2010/0231367的美国专利申请公开而被公开）中所描述的方法和系统中的任何一个，该专利申请的全部内容通过引用并入本文。
另外，可以使用下列专利申请中所描述的方法和/或系统中的任何一个来生成与本发明的实施例一起使用的纹理区域：于2010年1月29日提交的、序号为12/697,010的、标题为“Systems and Methods for a Texture Engine”的美国专利申请（该专利申请于2010年9月16作为公开号为2010/0231540的美国专利申请公开而被公开）；于2010年1月29日提交的、序号为12/697,042的、标题为“Systems and Methods for Using MultipleActuators to Realize Textures”的美国专利申请（该专利申请于2010年9月16作为公开号为2010/0231508的美国专利申请公开而被公开）；于2010年1月29日提交的、序号为12/697,037的、标题为“Systems and Methods for Using Textures in Graphical UserInterface Widgets”的美国专利申请（该专利申请于2010年9月16作为公开号为2010/0231541的美国专利申请公开而被公开）；于2010年1月29日提交的、序号为12/696,900的、标题为“Systems and Methods for Friction Displays and Additional HapticEffects”的美国专利申请（该专利申请于2010年9月16作为公开号为2010/0231550的美国专利申请公开而被公开）；以及于2010年1月29日提交的、序号为12/696,908的、标题为“Systems and Methods for Interfaces Featuring Surface-Based Haptic Effects”的美国专利申请（该专利申请于2010年9月16作为公开号为2010/0231539的美国专利申请公开而被公开），所有这些专利申请的全部内容都通过引用并入本文。
在实施例中，可以与本发明的实施例一起使用渲染基元，诸如于2012年10月31日提交的、序号为13/665,526的、标题为“Method and Apparatus for Simulating SurfaceFeatures on a user Interface with Haptic Effects”的美国专利申请中所描述的正弦图案的组合和使用随机性创建随机纹理，该专利申请的全部内容通过引用并入本文。
在实施例中，可以产生表示更现实的纹理（诸如人的皮肤）的空间纹理。在实施例中，可以对于2012年10月31日提交的、序号为13/665,526的、标题为“Method andApparatus for Simulating Surface Features on a user Interface with HapticEffects”的美国专利申请中所描述的时间纹理的频率进行调制，以与触摸输入的速率匹配来产生空间纹理，该专利申请的全部内容通过引用并入本文。在实施例中，可以连续地生成基于触摸输入的移动、而不是时间的分段波形来产生空间纹理。在这两个实施例中，可以用方波波形来生成在空间格栅上滑动的幻觉。如果手指在触摸屏上的移动是水平移动，则可以生成水平格栅。
在实施例中，可以产生周期性的或非周期性的任意的空间图案。在实施例中，可以通过基于触摸输入的绝对运动叠加空间正弦纹理来产生空间图案。在每个触摸事件时，可以计算通过触摸输入而行进的绝对距离，并将该绝对距离与空间正弦纹理内的位置相加。不管相对于屏幕的移动的方向如何，结果都是随该移动而改变的正弦纹理。这可以导致更现实的纹理。
在实施例中，可以基于触摸屏上的运动的方向来对纹理的性质进行调制，以加强例如脸图像上的梯度。例如，当手指朝向图像的水平中心移动时，可以假定手指反重力移动，并且可以感觉到充分的纹理。当手指远离中心移动时，可以假定手指顺着脸向下下降，并且可以感觉到一半强度的纹理。
在实施例中，可以通过使用三维（3D）传感器（例如，KINECT）、通过图像处理（例如，从明暗恢复形状）、或者通过手动地对不同图像位置进行编码来获得图像的高度图。渲染软件然后可以对3D表面的梯度进行分析，并相应地对纹理的强度进行调制（诸如通过增大急剧上升的斜坡的纹理的强度并降低下降斜坡的纹理的强度）。在实施例中，位图或矢量图形可以用于例如通过分离的掩膜组之间的插值来将不同纹理掩膜指定为方向的函数。
在实施例中，可以使用经由叠加对正弦信号的组合来创建触觉效果。在实施例中，可以将两个正弦信号一起相乘，而不是将它们相加，这可以在高频效果上导致低频包络，该低频包络提供截然不同的触觉效果。
在实施例中，可以使用边缘效果来模拟在触摸屏上正在显示的图像的边缘。在实施例中，可以通过将静电摩擦输出在短时间短（～50ms）内设置为最大电压来生成边缘效果。在实施例中，可以通过使现有的静电摩擦输出渐变来生成边缘效果。在实施例中，可以通过使用纹理掩膜来加强边缘效果。
与纹理非常像地，可以用位图或矢量图形来指定边缘。在实施例中，可以在位图（灰度图像或彩色图像的通道）中标记边缘的位置。可以自动地例如通过使用边缘检测算法或者手动地例如通过使用图像编辑器来生成这样的边缘图。图6示出通过手动地跟踪图6a的手310的图像的轮廓来生成如图6b所示的边缘图610的实施例。
在实施例中，可以在与触摸屏上的图像的每个触摸事件时使用碰撞检测算法。在实施例中，该算法可以采取以下形式。例如，如果确定用户的手指的前一位置在边缘上方，但是它的当前位置不在边缘上方，则应当生成边缘效果。如果确定用户的手指的当前位置在边缘上方，但是它的前一位置不在边缘上方，则不应生成边缘效果，因为用户的手指刚进入边缘。如果确定这两个位置都在边缘上方，则不应生成边缘效果，因为用户的手指在边缘内。如果确定这两个位置都不在边缘上方，则应当检查从前一位置到当前位置的直线上的每个像素。如果任何像素在边缘上方，则应当生成边缘效果，因为用户的手指已经越过了边缘。
在实施例中，边缘效果的强度可以对应于边缘图中已经被越过的边缘的灰度强度。在实施例中，可以使用矢量图元（诸如线、圆形和多边形）来指定边缘。然后可以使用根据计算几何的算法来高效率地执行碰撞检测。在实施例中，图6a的手310上的皱纹312可以被表示为图6b的边缘图610中的一组短线612，并且可以使用简单的线交叉算法来对皱纹312测试越过。
在实施例中，可以在视觉上使手和脸的图像在触摸输入周围畸变，以便加强与现实对象交互的幻觉。图7中示出了这的例子。图7a示出手310的部分图像710，图7b示出手310上的触摸730，图7c示出图7b的手310上的触摸730的图形表示740。
在图7所示的实施例中，视觉效果由两个分量组成。第一，可以将50个像素的半径内的像素重新映射为它们到触摸输入的距离的函数。如图7c所示，这些像素被“捏”向中心，并且在外缘附近“被拉出”。第二，可以将变形盘732的形式的、表示触摸730的阴影添加到触摸输入。为了清晰，在图7b和7c中扩大了该阴影。如图7b和7c所示，该阴影在变形盘732的顶部732a变暗，并且在变形盘732的底部732b变亮。如所示，该效果在阴影的边缘附近逐渐地淡出。
为了防止诸如手310或脸320的边缘处的不现实的变形，当触摸输入在对象的边缘附近时，可以减小变形滤波器的半径。如图8所示，这可以通过在图像中的每个点处计算离最近边缘的最小距离来进行。例如，图8b显示图8a的手310的图像810，图像810表示在图像中的每个点处离最近边缘的最小距离，该图像的较亮部分指示离最近边缘的距离较大。类似地，图8d显示图8c的脸320的图像820，该图像的较亮部分指示离最近边缘的距离较大。
在操作中，装置的用户可以被呈现图3a的联系人屏幕的图像300，该联系人屏幕显示两个联系人。用户可以通过在相应的图像或姓名上轻敲来选择要呼叫哪个联系人。用户还可以感觉到屏幕的内容。例如，当进入或离开图片时，可以通过用50Hz方波时间正弦和50ms边缘效果覆盖两个图像310、320来为这两个图像310、320提供静电摩擦效果。可以用具有50个像素的空间波长的水平空间格栅覆盖姓名。
在实施例中，如下所述，当用户触摸图3的图像时，这些图像可以感觉像是它们的内容。另外，图3a中的标题文本“你想呼叫谁？”也可以被格栅纹理覆盖。
在所示的实施例中，如图3b所示，Aaron联系人与显示学步的小孩的手的图像310相关联。如图9中更清楚地所示的，显示手的图像310的屏幕还在左下角显示了小部件902，小部件902包括指示联系人的姓名和呼叫的当前持续时间的文本910。小部件902还包括三个按钮904、906。在实施例中，按钮904之一可以被构造为切换和关闭触摸效果。其他按钮906、908可以被构造为提供其他功能，诸如结束呼叫和/或返回到图3a的联系人屏幕。
图10示出可以与图9的手图像310一起使用的不同纹理掩膜。在实施例中，如图10a所示，单个纹理1010可以用于整个手。该纹理可以由例如波长为12个像素、强度为70%的空间正弦曲线组成。在实施例中，可以将不同纹理分配给手的皱纹1014（图10c）和手的其他区域1012（图10b）。
图11示出与图9的手图像310相应的边缘图1110的实施例。在实施例中，每当触摸输入越过非零区域时，可以播放50ms的边缘效果，强度与被越过的边缘的灰度值相应。
图9的左下角的通信小部件902也可以用纹理和边缘效果来增强。可以通过如图12a所示的矩形掩膜1202来限定纹理910，并且用具有50个像素的空间波长的空间栅格来渲染纹理910。可以通过如图12b所示的具有50Hz的时间方波效果的掩膜1204来类似地限定按钮904、906、908。根据图12c中所示的边缘图1206，当进入或离开按钮条时，也可以感觉到50ms的边缘效果。
在所示的实施例中，如图13所示，Suki联系人与部分女性脸320的图像相关联。通信小部件902在左下角中再一次可用，并且如以上所讨论的，可以通过与用于图9的手屏幕相同的触觉反馈来增强。
图14示出可以用于脸图像320的纹理掩膜的实施例。可以根据随原始图像的强度而变化的灰度掩膜1420来使脸的主要部分纹理化（图14a）。可以通过例如具有5个像素的波长和75%的强度的空间正弦曲线来产生纹理。为了加强梯度，当远离图像的水平中心移动时，可以使强度减半。可以通过例如具有10个像素的空间波长和50%的强度的方向性正弦曲线来类似地使图14b中所示的颈部1422纹理化。可以通过例如具有50Hz的频率和50%的强度的时间正弦曲线来使图14c中所示的嘴巴1424纹理化。可以通过例如强度为30%的500Hz正弦曲线来使图14d中所示的鼻子1426和图14e中所示的耳朵1428纹理化。
图15示出用于脸图像320的边缘图1520的实施例。在实施例中，每当越过边缘图上的非零区域（强度与被越过的边缘的灰度值相应）时，就可以感觉到50ms的边缘效果。在实施例中，某些特征（诸如嘴唇）可以具有较低的强度。
本文中所描述的本发明的实施例可以与包括显示器和包括触觉输出装置的用户界面的任何电子装置一起使用。例如，两个人可以通过根据本发明的实施例的系统和方法参与视频会议会话。
图16中示出了视频会议系统1600的实施例。例如，第一个人可以使用被安置在第一位置处的第一系统1610。在所示的实施例中，第一系统1610包括视频显示器1612、音频扬声器1614、摄像机1616、3D视频图像扫描仪1618（诸如）、麦克风1620、处理单元1630、以及在处理单元1630上运行的使得能够进行视频会议的软件应用1632。第一系统1610被构造为经由合适的通信系统1640与在视频会议的另一端的第二位置处的第二个人所使用的第二系统1650连接并且将数据发送到第二系统1650/从第二系统1650接收数据。处理单元1630可以被构造为通过摄像机1616、3D视频图像扫描仪1618和麦克风1620来捕捉第一个人的脸、头部和肩膀的图像、声音和3D表示。视频、视频的3D表示和声音可以通过通信系统1640被发送到第二系统1650。
在所示的实施例中，第二系统1650包括合并上述表面摩擦调制技术的实施例的触摸屏视频显示器1652。触摸屏视频显示器1652包括被构造为根据本文中所描述的本发明的实施例输出触觉效果的触觉输出装置1653。第二系统1650还可以包括音频扬声器1654、摄像机1656、麦克风1658、处理单元1660、以及在处理单元1660上运行的使得能够进行视频会议的软件应用1662。第二系统1650被构造为通过通信系统1640与第一系统1610连接并通过通信系统1640将数据发送到第一系统1610以及从第一系统1610接收数据。
在第二系统1650中，软件应用1662可以被构造为将第一个人的脸、头部和肩膀的3D表示变换为摩擦梯度图，该摩擦梯度图可以用于驱动摩擦显示，以使得任何3D形状的间断点（诸如第一个人的身体轮廓、鼻子、嘴唇、眉毛等的边缘）可以被表示为触摸屏视频显示器1652上的更高摩擦区域。在实施例中，视频流分析软件可以包括在软件应用1662中，并且可以用于确定通过通信系统1640流传输的图像的近似3D形状。在实施例中，可以对图像像素进行分析，以通过使用通过观测视频数据流逼近图像的3D形状的软件算法来逼近触觉效果。在实施例中，可以将变换应用于第一个人的3D表示，以使得当第二个人在触摸屏视频显示器1602所显示的第一个人的视频图像上运行手指时，在第一个人的物理特征的局部曲率与触摸屏显示器1652的触觉输出装置1653所施加的静电摩擦之间存在关系。
这样，在视频会议呼叫中，第二个人可以伸出手并感觉到第一个人的身体轮廓、鼻子、下巴、肩膀等，并且与没有本发明的实施例的系统相比，根据本发明的实施例的第二系统1650可以传达更高程度的“远程呈现”。
本文中所公开的实施例并非意图以任何方式限制。例如，视频会议实施例被提供来说明非对称系统设置。在另一实施例中，第一系统1610和第二系统1650是相同的系统，以使得双方都可以利用本文中所描述的一整套技术。
图17示出根据本发明的实施例的方法1700。如图17所述，方法1700从1702开始。在1704，处理器接收与显示器上的图像相关的信息。在1706，处理器创建基于摩擦的触觉效果图，该触觉效果图与和处理器所接收的图像相关的信息相关联。在1708，当用户用例如手指或触笔与显示器交互时，处理器将产生触觉效果的信号输出到触觉输出装置。所产生的触觉效果对应于显示在显示器上的图像，以使得用户感测正被显示的图像的3D表示。当图像在显示器上改变时，该方法可以返回到1704。该方法在1712结束。
图18示出根据本发明的实施例的方法1800。如图18所示，方法1800从1802开始。在1804，接收包括图像的视频流。在1806，对视频流进行分析，并逼近该视频流中正在接收的图像的三维形状。在1808，产生基于图像的三维形状的触觉效果。只要视频流被接收，该方法就可以返回到1804。该方法在1812结束。
本发明的实施例可以用于使得能够在各种电子装置（诸如触摸屏手持装置（移动装置、PDA和导航系统）、汽车应用、游戏机等）中实现触觉反馈。
本文中所描述的实施例表示若干种可能的实现和例子，而非意图一定使本公开限于任何特定实施例。相反，如本领域的普通技术人员将理解的，可以对这些实施例进行各种修改。任何这样的修改意在于包括在本公开的精神和范围内并且受到权利要求书的保护。

Claims (20)

1.一种触觉装置，包括：
显示器，所述显示器被构造为显示图像；
触觉输出装置，所述触觉输出装置被构造为产生触觉效果；
处理器，所述处理器耦合到所述显示器和所述触觉输出装置；以及
存储器装置，所述存储器装置包括能够由所述处理器执行的指令，以使得所述处理器：
检测跨所述显示器的表面在一个或多个方向上的运动；
根据跨所述显示器的所述表面的所述运动的方向，从多个纹理掩膜之中选择一纹理掩膜，其中所述多个纹理掩膜对应于所述图像，并且其中所述多个纹理掩膜中的每个纹理掩膜指定所述触觉效果在所述显示器的不同位置处的强度，并且与跨所述表面的运动的不同方向相关联；以及
基于所选择的纹理掩膜和跨所述显示器的所述表面的所述运动的方向，调制所述触觉效果的强度。
2.根据权利要求1所述的触觉装置，其中，所述触觉效果包括静电摩擦。
3.根据权利要求1所述的触觉装置，其中，所述触觉效果包括超声振动。
4.根据权利要求1所述的触觉装置，其中，所述触觉效果被构造为三维模拟所述图像的轮廓。
5.根据权利要求1所述的触觉装置，其中，所述触觉效果被构造为模拟所述图像的纹理。
6.一种用于产生触觉效果的方法，包括：
接收与显示在显示器上的图像相关的信息；
检测跨所述显示器的表面在一个或多个方向上的运动；
根据跨所述显示器的所述表面的所述运动的方向，从多个纹理掩膜之中选择一纹理掩膜，其中所述多个纹理掩膜对应于所述图像，并且其中所述多个纹理掩膜中的每个纹理掩膜指定所述触觉效果在所述显示器的不同位置处的强度，并且与跨所述表面的运动的不同方向相关联；
经由触觉输出设备输出所述触觉效果；以及
至少部分基于所选择的纹理掩膜和跨所述显示器的所述表面的所述运动的方向，调制所述触觉效果的强度。
7.根据权利要求6所述的方法，其中，所述触觉效果包括静电摩擦。
8.根据权利要求6所述的方法，其中，所述触觉效果包括超声振动。
9.根据权利要求6所述的方法，其中，所述触觉效果三维模拟所述图像的轮廓。
10.根据权利要求6所述的方法，其中，所述触觉效果模拟纹理。
11.一种用于产生触觉效果的系统，包括：
触摸屏视频显示器，所述触摸屏视频显示器包括触觉输出装置，所述触摸屏视频显示器被构造为接收视频信号，基于所述视频信号显示图像，以及输出触觉效果；
处理器，所述处理器被构造为：
检测跨所述触摸屏视频显示器的表面在一个或多个方向上的运动；
根据跨所述触摸屏视频显示器的所述表面的所述运动的方向，从多个纹理掩膜之中选择一纹理掩膜，其中所述多个纹理掩膜对应于所述图像，并且其中所述多个纹理掩膜中的每个纹理掩膜指定所述触觉效果在所述触摸屏视频显示器的不同位置处的强度，并且与跨所述表面的运动的不同方向相关联；以及
基于所选择的纹理掩膜和跨所述触摸屏视频显示器的所述表面的所述运动的方向，调制所述触觉效果。
12.根据权利要求11所述的系统，其中，所述触觉效果包括静电摩擦。
13.根据权利要求11所述的系统，其中，所述触觉效果包括超声振动。
14.根据权利要求11所述的系统，其中，所述触觉效果被构造为三维模拟所述图像的轮廓。
15.根据权利要求11所述的系统，其中，所述触觉效果被构造为模拟纹理。
16.根据权利要求11所述的系统，还包括被构造为捕捉用户的图像的摄像机、以及被构造为将所捕捉的用户的图像流传输到另一个位置的通信系统。
17.根据权利要求16所述的系统，还包括被安置在所述另一个位置处的视频显示器，所述视频显示器被构造为向第二用户显示所捕捉的用户的图像。
18.根据权利要求16所述的系统，还包括被安置在所述另一个位置处的第二摄像机和三维视频图像扫描仪，所述摄像机和三维视频图像扫描仪被构造为产生所述触摸屏视频显示器所显示的图像，以及其中，所述触摸屏视频显示器所显示的图像是第二用户的图像。
19.一种用于产生触觉效果的方法，包括：
接收包括图像的视频流；
根据跨显示器的表面的运动的方向，从多个纹理掩膜之中选择一纹理掩膜，其中所述多个纹理掩膜对应于视频流中的所述图像中的一个或多个，并且其中所述多个纹理掩膜中的每个纹理掩膜指定触觉效果在显示器的不同位置处的强度，并且与跨所述显示器的表面的运动的不同方向相关联；以及
至少部分基于所选择的纹理掩膜和跨所述显示器的所述表面的所述运动的方向，输出并调制所述触觉效果，所述触觉效果被构造为模拟对象的纹理或三维模拟所述对象的轮廓。
20.根据权利要求19所述的方法，其中所述触觉效果包括具有基于所述纹理掩膜的强度的静电摩擦。
CN201410035071.5A 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制 Expired - Fee Related CN103970267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910026786.7A CN109683717A (zh) 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361756355P 2013-01-24 2013-01-24
US61/756,355 2013-01-24
US13/793,843 US9880623B2 (en) 2013-01-24 2013-03-11 Friction modulation for three dimensional relief in a haptic device
US13/793,843 2013-03-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910026786.7A Division CN109683717A (zh) 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制

Publications (2)

Publication Number Publication Date
CN103970267A CN103970267A (zh) 2014-08-06
CN103970267B true CN103970267B (zh) 2019-02-12

Family

ID=50002558

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410035071.5A Expired - Fee Related CN103970267B (zh) 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制
CN201910026786.7A Pending CN109683717A (zh) 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910026786.7A Pending CN109683717A (zh) 2013-01-24 2014-01-24 用于触觉装置中的三维浮凸的摩擦调制

Country Status (5)

Country Link
US (3) US9880623B2 (zh)
EP (1) EP2759915A3 (zh)
JP (3) JP6373588B2 (zh)
KR (1) KR102260705B1 (zh)
CN (2) CN103970267B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106990811A (zh) 2008-07-15 2017-07-28 意美森公司 用于触觉消息传输的系统和方法
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
EP2494432B1 (en) * 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
WO2014147443A1 (en) * 2013-03-20 2014-09-25 Nokia Corporation A touch display device with tactile feedback
JP2015028766A (ja) * 2013-06-24 2015-02-12 パナソニックＩｐマネジメント株式会社 触感呈示装置および触感呈示方法
GB2516820A (en) * 2013-07-01 2015-02-11 Nokia Corp An apparatus
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US10394326B2 (en) 2014-03-31 2019-08-27 Sony Corporation Tactile sense presentation apparatus, signal generation device, tactile sense presentation system, and tactile sense presentation method
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
FR3026866B1 (fr) * 2014-10-02 2019-09-06 Dav Dispositif et procede de commande pour vehicule automobile
KR102313364B1 (ko) * 2015-04-01 2021-10-18 삼성디스플레이 주식회사 표시 장치
WO2016168117A2 (en) * 2015-04-14 2016-10-20 John James Daniels Wearable electric, multi-sensory, human/machine, human/human interfaces
KR102512840B1 (ko) * 2015-10-15 2023-03-22 삼성전자주식회사 실행 화면 레코딩 방법 및 그 방법을 처리하는 전자 장치
CN105607787A (zh) * 2015-10-16 2016-05-25 宇龙计算机通信科技(深圳)有限公司 终端的控制方法、终端的控制装置和终端
US9895607B2 (en) * 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US10591993B2 (en) 2016-09-21 2020-03-17 Apple Inc. Haptic structure for providing localized haptic output
JP6797406B2 (ja) * 2016-11-04 2020-12-09 高知県公立大学法人 接触式入力装置
CN110381826A (zh) 2016-11-25 2019-10-25 约翰·丹尼尔斯 人机触觉界面和可穿戴电子产品方法及装置
US10101813B2 (en) * 2016-12-14 2018-10-16 Immersion Corporation Automatic haptic generation based on color features and motion analysis
US10147460B2 (en) * 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
JP7032048B2 (ja) 2017-02-03 2022-03-08 株式会社デンソーテン 制御装置、入力システムおよび制御方法
US10416772B2 (en) 2017-09-06 2019-09-17 Apple Inc. Electrical haptic output array
US10585482B2 (en) 2017-09-27 2020-03-10 Apple Inc. Electronic device having a hybrid conductive coating for electrostatic haptics
US10775890B2 (en) 2017-09-27 2020-09-15 Apple Inc. Electronic device having a piezoelectric body for friction haptics
US10248211B1 (en) 2017-09-28 2019-04-02 Apple Inc. Ground-shifted touch input sensor for capacitively driving an electrostatic plate
CN107831892B (zh) * 2017-11-01 2020-12-29 东南大学 一种基于指套式装置的虚拟物体三维形状再现方法
US10916105B2 (en) 2018-09-06 2021-02-09 Bank Of America Corporation Processing system for providing enhanced reality interfaces at an automated teller machine (ATM) terminal platform
US10462425B1 (en) 2018-09-07 2019-10-29 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10755250B2 (en) 2018-09-07 2020-08-25 Bank Of America Corporation Processing system for providing a teller assistant experience using enhanced reality interfaces
US10659614B1 (en) * 2018-11-20 2020-05-19 International Business Machines Corporation Haptic feedback during phone calls
US10930265B2 (en) * 2018-11-28 2021-02-23 International Business Machines Corporation Cognitive enhancement of communication with tactile stimulation
US10908693B2 (en) 2019-02-20 2021-02-02 Wuhan Tianma Micro-Electronics Co., Ltd. Tactile presentation device
US11520406B2 (en) 2019-05-28 2022-12-06 Tanvas, Inc. Bipolar projected haptics with balanced loading
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
WO2021240818A1 (ja) * 2020-05-29 2021-12-02 三菱電機株式会社 表示器
CN113628294B (zh) * 2021-07-09 2023-06-20 南京邮电大学 一种面向跨模态通信系统的图像重建方法及装置
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0561970A (ja) * 1991-08-30 1993-03-12 Canon Inc 画像処理装置及び方法
US5999185A (en) * 1992-03-30 1999-12-07 Kabushiki Kaisha Toshiba Virtual reality control using image, model and control data to manipulate interactions
US6650338B1 (en) * 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6496200B1 (en) * 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
US20040196282A1 (en) * 2003-02-14 2004-10-07 Oh Byong Mok Modeling and editing image panoramas
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
WO2006081198A2 (en) * 2005-01-25 2006-08-03 The Board Of Trustees Of The University Of Illinois Compact haptic and augmented virtual reality system
CN100517060C (zh) * 2006-06-01 2009-07-22 高宏 一种三维人像摄影方法
US8248462B2 (en) * 2006-12-15 2012-08-21 The Board Of Trustees Of The University Of Illinois Dynamic parallax barrier autosteroscopic display system and method
US8072432B2 (en) 2008-01-15 2011-12-06 Sony Ericsson Mobile Communications Ab Image sense tags for digital images
JP4903170B2 (ja) * 2008-02-28 2012-03-28 日本放送協会 触覚情報表示装置
US20090251421A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications Ab Method and apparatus for tactile perception of digital images
EP2327004A4 (en) * 2008-07-23 2013-01-23 Research In Motion Ltd TOUCH FEEDBACK FOR TOUCH SIMULATION ON TOUCH SCREENS
DE102008054570A1 (de) * 2008-12-12 2010-06-17 Robert Bosch Gmbh FMCW-Radarsensor für Kraftfahrzeuge
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
EP3467624A1 (en) * 2009-03-12 2019-04-10 Immersion Corporation System and method for interfaces featuring surface-based haptic effects
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
KR101658261B1 (ko) * 2009-03-12 2016-09-22 임머숀 코퍼레이션 그래픽 사용자 인터페이스 위젯에서 텍스처를 사용하는 시스템 및 방법
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
JP5694205B2 (ja) * 2009-03-12 2015-04-01 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
JP4854819B2 (ja) * 2009-05-18 2012-01-18 小平アソシエイツ株式会社 画像情報出力方法
JP4778591B2 (ja) * 2009-05-21 2011-09-21 パナソニック株式会社 触感処理装置
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
KR20110062099A (ko) * 2009-12-02 2011-06-10 엘지전자 주식회사 화상 회의 시스템 및 그 방법
US20130021288A1 (en) * 2010-03-31 2013-01-24 Nokia Corporation Apparatuses, Methods and Computer Programs for a Virtual Stylus
GB2479996A (en) * 2010-04-26 2011-11-02 Hu-Do Ltd Mobile computing device operating in conjunction with companion computing device to generate a user environment.
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US8836643B2 (en) * 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US20130300740A1 (en) * 2010-09-13 2013-11-14 Alt Software (Us) Llc System and Method for Displaying Data Having Spatial Coordinates
JP5496032B2 (ja) * 2010-09-17 2014-05-21 京セラ株式会社 触感呈示装置及び触感呈示装置の制御方法
US9542000B2 (en) 2011-02-10 2017-01-10 Kyocera Corporation Electronic device and control method for electronic device
US8837578B2 (en) * 2011-03-16 2014-09-16 Verizon Patent And Licensing Inc. MPEG-W decoder
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
TWI431516B (zh) 2011-06-21 2014-03-21 Quanta Comp Inc 觸覺回饋方法及其電子裝置
GB201114591D0 (en) * 2011-08-23 2011-10-05 Tomtom Int Bv Methods of and apparatus for displaying map information
FR2980896B1 (fr) * 2011-09-30 2016-07-01 Soc Tech Michelin Methode d'analyse rapide des elements en relief figurant sur la surface interne d'un pneumatique
US9746945B2 (en) * 2011-12-19 2017-08-29 Qualcomm Incorporated Integrating sensation functionalities into a mobile device using a haptic sleeve
US9292090B2 (en) * 2012-01-31 2016-03-22 Panasonic Intellectual Property Management Co., Ltd. Haptic feedback device and haptic feedback method
JP2013235513A (ja) 2012-05-10 2013-11-21 Sony Computer Entertainment Inc 画像生成装置、画像生成方法、プログラム及び情報記憶媒体
US9200919B2 (en) * 2012-06-05 2015-12-01 Apple Inc. Method, system and apparatus for selectively obtaining map image data according to virtual camera velocity
US9069440B2 (en) * 2012-06-05 2015-06-30 Apple Inc. Method, system and apparatus for providing a three-dimensional transition animation for a map view change
US20140015826A1 (en) * 2012-07-13 2014-01-16 Nokia Corporation Method and apparatus for synchronizing an image with a rendered overlay
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
US9071116B2 (en) 2013-01-17 2015-06-30 Remy Technologies, Llc Apparatus for installing stator winding conductors
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
CN105529262A (zh) 2014-09-29 2016-04-27 无锡华润华晶微电子有限公司 一种垂直双扩散金属氧化物半导体场效应管及其制作方法

Also Published As

Publication number Publication date
CN103970267A (zh) 2014-08-06
CN109683717A (zh) 2019-04-26
US20140208204A1 (en) 2014-07-24
US20200272238A1 (en) 2020-08-27
KR20140095432A (ko) 2014-08-01
US9880623B2 (en) 2018-01-30
JP2018190443A (ja) 2018-11-29
EP2759915A3 (en) 2016-10-05
JP2014142930A (ja) 2014-08-07
JP6840702B2 (ja) 2021-03-10
US10649530B2 (en) 2020-05-12
EP2759915A2 (en) 2014-07-30
US20180067560A1 (en) 2018-03-08
US11054907B2 (en) 2021-07-06
JP2021099822A (ja) 2021-07-01
KR102260705B1 (ko) 2021-06-07
JP6373588B2 (ja) 2018-08-15

Similar Documents

Publication Publication Date Title
CN103970267B (zh) 用于触觉装置中的三维浮凸的摩擦调制
CN103838421B (zh) 用于提供用于引导的触觉提示并与静电摩擦校准的方法和设备
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
KR101885740B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
US9746923B2 (en) Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10416834B1 (en) Interaction strength using virtual objects for machine control
KR20150046105A (ko) 멀티모드 피드백으로 이미지를 인식하는 시스템 및 방법
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法
Nojima et al. Hairlytop interface: An interactive surface display comprised of hair-like soft actuators
Sawada et al. Tactile pen for presenting texture sensation from touch screen
KR100942026B1 (ko) 다중 감각 인터페이스에 기반한 가상의 3차원 얼굴메이크업 시스템 및 방법
Faeth et al. Combining 3-D geovisualization with force feedback driven user interaction
Butscher et al. InformationSense: Trade-offs for the design and the implementation of a large highly deformable cloth display
Asai et al. Revisiting gradient-based haptic rendering for lateral force feedback in SPIDAR-mouse
Asai et al. Displaying haptic interaction with a synthesized model of real objects using SPIDAR-mouse
Seaborn Towards a semiotics of visual texture in touch-based interaction
Kjeldsen Exploiting the flexibility of vision-based user interactions
Burschka et al. A practical approach for integrating vision-based methods into interactive 2d/3d applications
DeCorato Creating A Basis For Three Dimensional Sketching
Leithinger Design and implementation of a relief interface

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: Immersion Corp.

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190212

CF01 Termination of patent right due to non-payment of annual fee