CN101910977B - 基于视觉环境的音频和触觉反馈 - Google Patents

基于视觉环境的音频和触觉反馈 Download PDF

Info

Publication number
CN101910977B
CN101910977B CN2008801226991A CN200880122699A CN101910977B CN 101910977 B CN101910977 B CN 101910977B CN 2008801226991 A CN2008801226991 A CN 2008801226991A CN 200880122699 A CN200880122699 A CN 200880122699A CN 101910977 B CN101910977 B CN 101910977B
Authority
CN
China
Prior art keywords
touch
screen
location
feedback system
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801226991A
Other languages
English (en)
Other versions
CN101910977A (zh
Inventor
S·P·龙凯宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101910977A publication Critical patent/CN101910977A/zh
Application granted granted Critical
Publication of CN101910977B publication Critical patent/CN101910977B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

此处公开了一种装置。所述装置包括外壳部分、电子电路、触摸屏和用户感觉反馈系统。所述电子电路被安装在所述外壳部分内。所述触摸屏在所述外壳部分上。所述触摸屏被配置以便感知在所述触摸屏的区域处的触摸。所述电子电路被配置以便分析在所述触摸屏的所述区域处显示的特征。所述用户感觉反馈系统接近于所述外壳部分。所述用户感觉反馈系统被配置以便至少部分地基于以下内容来实施操作：在所述触摸屏的所述区域处的触摸，以及对于在所述触摸屏的所述区域处的特征的图像分析。

Description

基于视觉环境的音频和触觉反馈
技术领域
本发明涉及电子设备，并且更特别地，涉及基于电子设备的视觉环境的音频和触觉反馈。
背景技术
很多电子设备制造商提供用于基本用户接口(UI)控制(例如，图标选择、屏幕滚动等)的触摸屏。随着消费者对电子设备功能的需求增多，需要提供一种具有增多的触摸屏能力的改进设备。
对持续体积小型化的需求生成了对实现增多的触摸屏功能的挑战。相应地，需要提供一种改进的具有用于电子设备的反馈能力的触摸屏用户接口。
发明内容
根据本发明的一个方面，公开了一种装置。所述装置包括外壳部分、电子电路、触摸屏和用户感觉反馈系统。所述电子电路被安装在所述外壳部分内。所述触摸屏在所述外壳部分上。所述触摸屏被配置以便感知在所述触摸屏的区域处的触摸。所述电子电路被配置以便分析在所述触摸屏的所述区域处显示的特征。所述用户感觉反馈系统接近于所述外壳部分。所述用户感觉反馈系统被配置以便至少部分地基于以下内容来实施操作：在所述触摸屏的所述区域处的触摸，以及对于在所述触摸屏的所述区域处的特征的图像分析。
根据本发明的另一方面，公开了一种装置。所述装置包括外壳部分、电子电路、触摸屏和用户感觉反馈系统。所述电子电路被安装在所述外壳部分内。所述触摸屏在所述外壳部分上。所述触摸屏被配置以便感知在所述触摸屏的区域处的触摸。所述电子电路被配置以便：确定在所述触摸屏的所述区域处显示的特征的第一纹理方向(texture direction)。所述电子电路被配置以便：确定在所述触摸屏的所述区域处显示的所述特征的第二不同纹理方向。所述用户感觉反馈系统接近于所述外壳部分。所述用户感觉反馈系统被配置以便：响应于在所述触摸屏的所述区域处的触摸和在所述触摸屏的所述区域处显示的特征的所述第一纹理方向，以第一模式进行操作。所述用户感觉反馈系统被配置以便：响应于在所述触摸屏的所述区域处的触摸和在所述触摸屏的所述区域处显示的特征的所述第二纹理方向，以第二不同模式进行操作。
根据本发明的另一方面，公开了一种方法。感知在触摸屏的区域处的触摸。分析在所述触摸屏的所述区域处显示的特征。响应于在所述触摸屏的所述区域处的触摸和对于在所述触摸屏的所述区域处的特征的图像分析，操作用户感觉反馈系统。
根据本发明的另一方面，公开了一种方法。感知在触摸屏的区域处的触摸。确定在所述触摸屏的所述区域处显示的特征的第一纹理方向。确定在所述触摸屏的所述区域处显示的特征的第二不同纹理方向。响应于在所述触摸屏的所述区域处的触摸和在所述触摸屏的所述区域处显示的特征的所述第一纹理方向，以第一模式操作用户感觉反馈系统。响应于在所述触摸屏的所述区域处的触摸和在所述触摸屏的所述区域处显示的特征的所述第二纹理方向，以第二不同模式操作所述用户感觉反馈系统。
根据本发明的另一方面，公开了一种程序存储设备，所述程序存储设备可被机器读取，并且有形地体现了可被所述机器执行的指令的程序，用于实施操作以便基于在触摸屏上显示的特征来提供反馈。感知在所述触摸屏的区域处的触摸。分析在所述触摸屏的所述区域处显示的特征。至少部分地基于以下内容来操作用户感觉反馈系统：所感知的在所述触摸屏的所述区域处的触摸，以及针对所分析的在所述触摸屏的所述区域处显示的特征而确定的纹理方向和/或图形变化。
附图说明
在结合附图的下文说明书中解释本发明的上述各方面和其它特征，在所述附图中：
图1是包括本发明特征的电子设备的透视图；
图2是表示了在图1所示的电子设备中使用的示例性算法的流程图；
图3是表示了在图1所示的电子设备中使用的另一示例性算法的流程图；
图4是图1所示的电子设备的显示器屏幕的正视图；
图5是图4所示的显示器屏幕的区域的示图；
图6是在图1所示的电子设备的显示器屏幕处提供反馈的示例性方法的框图；
图7是在图1所示的电子设备的显示器屏幕处提供反馈的另一示例性方法的框图；以及
图8是示出了图1所示的便携式电子设备的组件的示意图。
具体实施方式
参考图1，其示出了纳入本发明特征的电子设备10的透视图。尽管将参考附图所示的示例性实施例来描述本发明，然而应当理解，可以以很多替代形式的实施例来体现本发明。另外，可以使用任何适当的尺寸、形状或类型的元件或材料。
在该实施例中，设备10包括因特网平板设备。然而，在备选实施例中，该设备可以包括任何适当类型的电子设备。例如，设备10可以包括移动电话、数字照相机、音乐播放器、手持式游戏设备、PDA或笔记本计算机。设备10一般包括外壳部分12、连接到天线16的收发器14、电子电路18(例如在诸如外壳12内的控制器)、用户输入区20和显示器22。在备选实施例中，设备10可以具有本领域中已知的任何适当类型的特征。在所示出的实施例中，设备10包括用户输入区20和单个显示器22。然而，备选实施例可以包括任何适当数目的显示器或用户输入区。另外，用户输入区可以包括例如键板。
显示器22能够显示各种应用显示和信息，包括例如，数字图片、因特网Web站点页面、应用控制屏幕和菜单。这些仅是一些例子，不应当被视为加以限制。除了能够充当显示器屏幕外，显示器22还是适于感知用户的手指或指示笔对显示器的触摸或按压的触摸屏。因而，显示器22形成了可用于基本用户接口(UI)控制(例如，图标选择、屏幕滚动等)的触摸屏用户接口。
根据本发明的一些实施例，设备10提供了被合并到触摸屏22中的用户感觉反馈系统24。该用户感觉反馈系统可以利用例如触觉技术。触觉技术指的是这样的技术，即，通过向用户施加力量、震动和/或动作，经由对触摸的感知来与用户交接的技术。例如，用户感觉反馈系统24的换能器(transducer)或激励器(actuator)26可以被放置在触摸屏22下面，当用户按压屏幕22上的虚拟按钮时生成反馈。换能器或激励器26可以是压电激励器。压电是晶体响应于所施加的机械应力而生成电压的能力。压电效应是可逆的，因为在压电晶体受到外部施加的电压时可以少量地改变形状。可以作出反馈来近乎真实地仿真在按钮下的真实物理圆顶(dome)，因而创建基于压电激励器的纹理仿真或运动仿真。
应当注意，用户感觉反馈系统24可以包括：在用户按压触摸屏22的时候能够向用户给予音频和/或触觉反馈的任何适当类型的换能器或激励器。例如，换能器/激励器26可以是诸如扩音器这样的电声换能器，或者诸如震动器/激励器/触觉设备这样的机电换能器。另外，应当注意，备选实施例可以包括任何适当数目的换能器和/或激励器。
压电激励器26的输出可以是动态的并且容易被编制。根据本发明的一些实施例，当用户在屏幕22上移动手指或指示笔时，设备10利用压电激励器26来产生对触摸屏22上的物理材料的仿真。
例如，考虑这样一种情形：触摸屏“桌面”上有照片被用作背景图像，并且其上方存在具有清晰边框的大的白色窗口。现在，当用户在该背景图像上移动指示笔时，压电激励器26被用于造成屏幕22上的一点震颤(tremble)，从而使得背景感觉到崎岖不平(bumpy)。当指示笔跨窗口边框移动时，存在清楚的“点击”，从而使得用户感觉到具有清楚锐利的边缘。当在窗口背景上拖拽指示笔时，并不生成震颤，这造成关于窗口可包括的平坦材料的假象(illusion)。
在精心挑选的用于指示笔尖端和触摸屏22的材料的情况下，甚至可以仿真摩擦(friction)。如果指示笔的尖端是由橡胶制成的(即，在指示笔与屏幕22之间有高摩擦)，那么拖拽它需要一点力量。然后，造成屏幕22的一点震颤会使得指示笔尖端一直从屏幕22弹开一点，从而使得拖拽它更轻，生成关于更光滑表面的假象。
根据本发明的一些实施例，对具有用户感觉反馈系统24的设备10的操作首先包括：在通电状态起动设备10。优选地，可以在触摸发生之前进行对屏幕22内容的分析(即，生成针对当用户触摸屏幕22上的点时应当如何驱动声音/触觉激励器26的指令)，以便最小化在触摸和生成输出的时间之间的等待时间。
为此，每次屏幕22内容发生改变，围绕屏幕22上的每一个点，屏幕22内容都被分析(至少在发生改变的区域中)。例如，可以运行纹理分析算法，所述纹理分析算法分析在屏幕22上的每一个点周围的预先定义的区域(例如，10乘10像素)中的粗糙度。或者，可以运行例如边缘检测算法。应当注意，屏幕22可以显示例如像静态图像、移动图片或视频这样的视觉信息。还应当注意，视觉信息可以包括区域、图标、文本或数字(所有这些都可以被分析)。
在一些情况中，移动的方向也会起作用，例如，取决于触摸点是跨边缘移动还是沿边缘移动，边缘生成不同的输出。该输出还可以仿真特定类型的材料，其中，取决于以哪种方式来触摸或摩擦屏幕22，感觉是不同的。例如，毛皮取决于它是被沿着毛皮的毛发方向还是反方向触摸，感觉是不同的。这可以通过确定特征的纹理方向来实现。纹理方向可以是沿特征的第一方向的第一纹理。特征还可以包括沿相同特征的第二不同方向的第二不同纹理。所述第一和第二方向以及第一和第二纹理可以处于显示器22的相同区域。可以通过在触摸屏22的所述区域处显示的特征的颜色、强度、锐度、亮度或对比度来定义纹理方向。例如，按照在以上描述的在屏幕22上显示“毛皮”的情况中，特征的颜色、强度、锐度、亮度或对比度可以与被触摸或按压的显示器22的所述区域处的特征的纹理方向相关联。
在一些情况中，保持手指/指示笔静止并不造成声音/触觉输出，而是只有当手指/指示笔移动时才生成输出(现实生活中的例子可以是：在桌子上的纸张的边缘上放置手指，当手指静止时，过一会就感觉不到边缘，而当手指移动时，再次感觉到边缘)。这可以通过操作用户感觉反馈系统24使得换能器26在一段时间不活动来实现。另一例子可以是：当在屏幕22的一部分上显示黑色时，这可以仅指示图形背景，并且因此不需要在显示器22处提供任何类型的反馈(即，换能器26不是活动的)。这同样可以应用于当在显示器22上显示的特征有变化时。
图2示出了表示设备10的示例性算法的流程图。该算法包括以下步骤。基于图像分析(例如，围绕点的纹理分析、边缘检测、颜色/亮度/锐度等)，为屏幕22上的每一个点创建输出表，可能地，还为在不同方向上的移动计算不同的值(步骤102)。屏幕22内容在改变(步骤104)？
该算法使得对每个位置的音频和/或触觉反馈能够取决于触摸屏22中被按压的区域的视觉信息。例如，用户感觉反馈系统24可以响应于在触摸屏22的所述区域处显示的特征的颜色、强度、锐度、亮度或对比度，在触摸屏22的所述区域处提供音频和/或触觉反馈。在使用期间，用户的手指或指示笔击打屏幕22。但不一定要生成触觉反馈。如果用于触摸点的输出表不存在(例如，在视频情况下)，则为该触摸点计算输出。这可以取决于移动，从而使得当手指/指示笔静止时不生成输出。
图3示出了表示设备10的另一示例性算法的流程图。该算法包括以下步骤。用户正在触摸屏幕22(步骤202)？用于触摸点的输出表存在吗(步骤204)？基于图像分析(例如，纹理分析、颜色分析、边缘检测等)以及(有可能)移动方向，为触摸点生成输出指令(步骤206)。基于用于触摸点的输出指令，驱动声音和/或触觉激励器26(步骤208)。用户仍在触摸屏幕22(步骤210)？触摸点在移动(步骤212)？记录移动方向(步骤214)。
如果手指/指示笔被保持在屏幕22上并且被移动，则系统记录移动的方向(要是针对手指/指示笔所移动到的点的不同方向，输出表具有不同的值)。
用户感觉反馈系统24可以包括在触摸屏的不同区域处的换能器/激励器26。这允许用户感觉反馈系统24对触摸屏22的其它区域处的触摸进行响应。例如，即使当所按压的区域改变坐标(或屏幕22的区域)时，用户感觉反馈系统24也可以继续工作。另外，触摸屏22和用户感觉反馈系统24可以被配置以便：当用户的手指或指示笔触摸触摸屏22的边框时，提供反馈(其例如可以是音频或触觉反馈)。
图4示出了设备10的显示器22上的示例性桌面环境300，它可以例如是
Figure BPA00001162775000071
N800因特网平板TM。用于屏幕22的输出表可以包括例如以下规则：两个像素之间(在移动方向上)的对比度越大，用于声音/触觉激励器的输出就越大。图4和图5中示出了这样的例子。在图4中，用户通过沿屏幕22的区域(由虚线302示出)移动拇指或手指28来触摸屏幕22。在图5中单独示出了围绕虚线302的区域的输出。图5是示图400，其示出了当手指28位于该区域的每个点上时到达用户感觉反馈系统24(其可以包括例如压电激励器/扩音器等)的输出信号。举例来说，利用边缘检测算法，通过分析桌面区域300来生成所述输出信号。边缘检测算法将桌面区域300转换成如图5中所示的“冲击图(bump map)”。例如，桌面300上所显示的特征的边缘304、306、308分别对应于示图400所示的峰404、406、408。
图6示出了在触摸屏22处提供反馈的示例性方法500。该方法500包括以下步骤。感知在触摸屏22的区域处的触摸(步骤502)。所述感知可以例如通过压电传感器来进行。分析在触摸屏22的所述区域处显示的特征(步骤504)。并且，响应于在触摸屏22的所述区域处的触摸以及对于在触摸屏22的所述区域处的特征的图像分析，操作用户感觉反馈系统(步骤506)。这可以例如是诸如幻灯片放映这样的图片或者动画中的改变。使得所述至少一个换能器26对于所述特征的改变是不活动的(步骤508)。响应于在触摸屏22的另一区域处的触摸，操作用户感觉反馈系统(步骤510)。响应于在触摸屏22的所述区域处的触摸，操作用户感觉反馈系统，其中，所述区域包括触摸屏22的至少一个边框，并且其中，用户感觉反馈系统提供音频或触觉反馈(步骤512)。应当注意，以上任何步骤均可以被单独实施或结合一个或多个步骤进行实施。
图7示出了在触摸屏22处提供反馈的另一示例性方法600。该方法包括以下步骤。感知在触摸屏22的区域处的触摸(步骤602)。确定在触摸屏22的所述区域处显示的特征的第一纹理方向(步骤604)。确定在触摸屏22的所述区域处显示的所述特征的第二不同纹理方向(步骤606)。响应于在触摸屏22的所述区域处的触摸以及在触摸屏22的所述区域处显示的所述特征的第一纹理方向，以第一模式来操作用户感觉反馈系统(步骤608)。响应于在触摸屏22的所述区域处的触摸以及在触摸屏22的所述区域处显示的所述特征的第二纹理方向，以第二不同模式来操作用户感觉反馈系统(步骤610)。在触摸屏22上的所述触摸的时刻向用户提供音频和/或触觉反馈(步骤612)。响应于在触摸屏22的所述区域处显示的所述特征的颜色、强度、锐度、亮度或对比度，在触摸屏22的所述区域处提供音频或触觉反馈(步骤614)。应当注意，以上任何步骤均可以被单独实施或结合一个或多个步骤进行实施。
现在参考图8，例如，设备10一般包括诸如微处理器这样的控制器700。电子电路包括例如像印刷电路板上的耦合于控制器700的存储器702。存储器可以包括多个存储器，包括例如可装卸存储器模块。所述设备具有用户可以使用的诸如软件的应用704。所述应用可以包括例如电话应用、因特网浏览应用、游戏播放应用、数字照相机应用等。这些仅是一些例子，不应当被视为有所限制。一个或多个用户输入20耦合于控制器，并且一个或多个显示器22耦合于控制器700。用户感觉反馈系统24(包括换能器/激励器26)也耦合于控制器700。优选地，当触摸屏22上显示的特征有变化时，设备10被编制以便在显示器处自动提供反馈响应。然而，在备选实施例中，这可以不是自动的。用户可能需要主动选择正在使用/运行的应用上的改变。
在常规配置中，压电显示器中存在未利用的潜力。根据本发明的一些实施例，设备10为用户提供桌面式用户接口，并且利用触觉反馈，从而使得用户可以感觉出桌面上的不同材料。例如，在用户的手上可以感觉出在滚动条上移动光标，使得更容易击中它。或者，桌面的背景图像感觉是崎岖不平的，而窗口感觉是光滑的。简而言之，该系统创建了关于桌面是由物理物质制成的假象，从而除了视觉感知之外还提供了触觉感知，增加了系统的可用性。
尽管用户感觉反馈系统的换能器/激励器可以生成附加的声音并且增加能耗，然而设备10相比于常规配置提供了显著优势。根据本发明的一些实施例，除了查看显示器中示出的项目之外，设备10还允许用户“感觉”显示器中示出的项目。这增加了可用性，尤其是在用户的注意力会被分散的移动情境中，通过若干形态来提供反馈是有帮助的。
本发明的各种示例性实施例设定：分析所显示的图像，以便创建屏幕内容的“触觉地图”。所述内容可以例如只是屏幕或任何其它应用上的图像或特征。所述图像或特征也可以是除了颜色之外的事物。例如，可以对图像实施面部检测算法，并且仅当用户的手指在面部上时，产生触觉输出。或者，在另一例子中，可以实施方向检测算法，其中，仅在具有垂直线的区域上生成触觉输出。
另外，应当注意，触觉输出可以取决于用户的触摸点(即，手指或指示笔所在的点)移动的方向。因而，如果屏幕上存在垂直线，则当触摸点跨这些线(即，在水平方向上)移动时而不是当触摸点沿这些线(即，垂直方向)移动时，可以生成触觉输出。通过这种方式，可以生成关于一些表面结构的假象。
本发明的各种示例性实施例设定：触觉输出是基于对屏幕上事物的图像分析(或面部检测)的。常规配置通常提供预先生成的内容，其中，当系统检测到光标在窗口边框上被移动时，产生预先定义的触觉力量。常规配置也不考虑特征或图像(例如像窗口边框)在显示器屏幕上看起来如何。根据本发明各种实施例的优势在于：即使窗口边框是不可视的(或者在屏幕上是看不见的)，也生成触觉力量。
本发明的各种示例性实施例设定：事先(从而使得可以生成“输出表”，类似图2所示的步骤102)或者在使用期间(类似图3所示的步骤204和206)分析处于光标下的屏幕内容(图像分析)。另外，如果还没有生成“输出表”，那么可以立即计算与当前位置相关的输出。
在常规配置中，触觉输出需要事先编制，并且因此不能在例如像用户所拍摄的照片这样的一些特征或图像上实施。另一方面，本发明的各种示例性实施例设定：分析图像的粗糙度，并且当用户的手指/指示笔在图像上移动时，相应地生成触觉输出。本发明的一些实施例还设定：分析特征或图像的颜色或亮度。例如，黄色可以被定义成产生特定类型的震动。然而，在备选实施例中，甚至可以实施更为精细的图像处理。
本发明的各种示例性实施例允许触摸屏上的特征基于图像分析，其中，所述特征处在光标/指示笔当前所在的触摸点的下方。这提供了基于图像分析的特征。该特征可以例如是在触摸点下方的像素的颜色或亮度。然而，所述特征还可以是更复杂的事物，例如像在触摸点周围(具有某种预先定义的尺寸)的区域中的图像的整体粗糙度。在另一例子中，所述特征可以是在该点周围的图形纹理的方向。在又一例子中，则是该触摸点是否处在被检测到存在面部的这种图像区域上。这种触觉输出生成还可以取决于触摸点移动的方向。
举例来说，当尝试仿真所显示的图像/内容的材料特性时，以及当在跨触摸屏滑动手指时使用不同的触觉震动模式时，本发明的各种示例性实施例为用户体验增值。
应当理解，以上说明书仅示意性地说明本发明。在不背离本发明的情况下，本领域的技术人员可以设想出各种备选方案和修改。相应地，本发明旨在涵盖落入所附权利要求范围内的所有这样的备选方案、修改和变化。

Claims (40)

1.一种能够提供基于视觉信息的反馈的装置，其包括：
外壳部分；
安装在所述外壳部分内的电子电路；
在所述外壳部分上的触摸屏，其中，所述触摸屏被配置以便感知在所述触摸屏的区域处的触摸，并且其中，所述电子电路被配置以便对在所述触摸屏的所述区域处显示的特征执行图像分析，以生成在所述区域被触摸时用于驱动用户感觉反馈系统的指令；以及
接近于所述外壳部分的用户感觉反馈系统，其中，所述用户感觉反馈系统被配置以便至少部分地基于以下内容来实施操作：在所述触摸屏的所述区域处的触摸的移动方向，以及对于在所述触摸屏的所述区域处的特征的图像分析。
2.根据权利要求1的装置，其中，所述用户感觉反馈系统包括电声换能器和/或机电换能器。
3.根据权利要求1的装置，其中，所述用户感觉反馈系统被配置以便：在所述触摸屏的所述区域处向用户提供音频和/或触觉反馈。
4.根据权利要求2的装置，其中，所述用户感觉反馈系统被配置以便：在所述触摸屏的所述区域处向用户提供音频和/或触觉反馈。
5.根据权利要求1至4中任何一项的装置，其中，所述触摸屏被配置以便：在所述触摸屏的所述区域处显示静态图像、移动图片或视频。
6.根据权利要求1至4中任何一项的装置，其中，所述装置包括便携式通信设备。
7.根据权利要求5的装置，其中，所述装置包括便携式通信设备。
8.一种能够提供基于视觉信息的反馈的装置，其包括：
外壳部分；
安装在所述外壳部分内的电子电路；
在所述外壳部分上的触摸屏，其中，所述触摸屏被配置以便感知在所述触摸屏的区域处的触摸，其中，所述电子电路被配置以便确定在所述触摸屏的所述区域处显示的特征的第一纹理方向，并且其中，所述电子电路被配置以便确定在所述触摸屏的所述区域处显示的所述特征的第二不同纹理方向；以及
接近于所述外壳部分的用户感觉反馈系统，其中，所述用户感觉反馈系统被配置以便：响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的所述特征的第一纹理方向，以第一模式进行操作，并且其中，所述用户感觉反馈系统被配置以便：响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的所述特征的第二纹理方向，以第二不同模式进行操作。
9.根据权利要求8的装置，其中，所述用户感觉反馈系统包括换能器。
10.根据权利要求9的装置，其中，所述换能器被布置接近于所述触摸屏。
11.根据权利要求8的装置，其中，所述用户感觉反馈系统包括电声换能器和/或机电换能器，并且其中，所述用户感觉反馈系统被配置以便：在所述触摸屏的所述区域处向用户提供音频和/或触觉反馈。
12.根据权利要求8的装置，其中，所述用户感觉反馈系统包括压电激励器。
13.一种用于提供基于视觉信息的反馈的方法，其包括：
感知在触摸屏的区域处的触摸；
对在所述触摸屏的所述区域处显示的特征执行图像分析以生成在所述区域被触摸时用于驱动用户感觉反馈系统的指令；以及
响应于在所述触摸屏的所述区域处的触摸的移动方向以及对于在所述触摸屏的所述区域处的特征的图像分析，操作用户感觉反馈系统。
14.根据权利要求13的方法，其中，所述用户感觉反馈系统包括至少一个换能器。
15.根据权利要求14的方法，其中，操作所述用户感觉反馈系统进一步包括：使得所述至少一个换能器对于所述特征的改变是不活动的。
16.根据权利要求13的方法，其中，所述用户感觉反馈系统包括电声换能器和/或机电换能器。
17.根据权利要求13至16中任何一项的方法，其中，对所述用户感觉反馈系统的操作进一步包括：响应于在所述触摸屏的另一区域处的触摸的移动方向，操作所述用户感觉反馈系统。
18.根据权利要求13至16中任何一项的方法，其中，对所述用户感觉反馈系统的操作进一步包括：响应于在所述触摸屏的所述区域处的触摸的移动方向，操作所述用户感觉反馈系统，其中，所述区域包括所述触摸屏的至少一个边框，并且其中，所述用户感觉反馈系统提供音频或触觉反馈。
19.根据权利要求17的方法，其中，对所述用户感觉反馈系统的操作进一步包括：响应于在所述触摸屏的所述区域处的触摸的移动方向，操作所述用户感觉反馈系统，其中，所述区域包括所述触摸屏的至少一个边框，并且其中，所述用户感觉反馈系统提供音频或触觉反馈。
20.根据权利要求13至16中任何一项的方法，其中，能够在便携式通信设备中实现所述方法。
21.根据权利要求17的方法，其中，能够在便携式通信设备中实现所述方法。
22.根据权利要求18的方法，其中，能够在便携式通信设备中实现所述方法。
23.根据权利要求19的方法，其中，能够在便携式通信设备中实现所述方法。
24.一种用于提供基于视觉信息的反馈的方法，其包括：
感知在触摸屏的区域处的触摸；
确定在所述触摸屏的所述区域处显示的特征的第一纹理方向；
确定在所述触摸屏的所述区域处显示的所述特征的第二不同纹理方向；
响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的特征的第一纹理方向，以第一模式来操作用户感觉反馈系统；以及
响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的特征的第二纹理方向，以第二不同模式来操作所述用户感觉反馈系统。
25.根据权利要求24的方法，其中，所述用户感觉反馈系统包括电声换能器和/或机电换能器。
26.根据权利要求24的方法，其中，对所述用户感觉反馈系统的操作进一步包括：在所述触摸屏上的所述触摸的时刻向用户提供音频和/或触觉反馈。
27.根据权利要求25的方法，其中，对所述用户感觉反馈系统的操作进一步包括：在所述触摸屏上的所述触摸的时刻向用户提供音频和/或触觉反馈。
28.根据权利要求24至27中任何一项的方法，其中，对所述特征的第一和第二纹理方向的确定进一步包括：确定在所述触摸屏的所述区域处显示的所述特征的颜色、强度、锐度、亮度和/或对比度。
29.根据权利要求24至27中任何一项的方法，其中，对所述用户感觉反馈系统的操作进一步包括：响应于在所述触摸屏的所述区域处显示的所述特征的颜色、强度、锐度、亮度或对比度，在所述触摸屏的所述区域处提供音频或触觉反馈。
30.根据权利要求28的方法，其中，对所述用户感觉反馈系统的操作进一步包括：响应于在所述触摸屏的所述区域处显示的所述特征的颜色、强度、锐度、亮度或对比度，在所述触摸屏的所述区域处提供音频或触觉反馈。
31.根据权利要求24至27中任何一项的方法，其中，所述特征包括静态图像、移动图片或视频。
32.根据权利要求28的方法，其中，所述特征包括静态图像、移动图片或视频。
33.根据权利要求29的方法，其中，所述特征包括静态图像、移动图片或视频。
34.根据权利要求30的方法，其中，所述特征包括静态图像、移动图片或视频。
35.根据权利要求24至27中任何一项的方法，其中，所述特征包括区域、图标、文本和/或数字。
36.根据权利要求28的方法，其中，所述特征包括区域、图标、文本和/或数字。
37.根据权利要求29的方法，其中，所述特征包括区域、图标、文本和/或数字。
38.根据权利要求30的方法，其中，所述特征包括区域、图标、文本和/或数字。
39.一种用于提供基于视觉信息的反馈的设备，其包括：
用于感知在触摸屏的区域处的触摸的装置；
用于对在所述触摸屏的所述区域处显示的特征执行图像分析以生成在所述区域被触摸时用于驱动用户感觉反馈系统的指令的装置；以及
用于响应于在所述触摸屏的所述区域处的触摸的移动方向以及对于在所述触摸屏的所述区域处的特征的图像分析，操作用户感觉反馈系统的装置。
40.一种用于提供基于视觉信息的反馈的设备，其包括：
用于感知在触摸屏的区域处的触摸的装置；
用于确定在所述触摸屏的所述区域处显示的特征的第一纹理方向的装置；
用于确定在所述触摸屏的所述区域处显示的所述特征的第二不同纹理方向的装置；
用于响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的特征的第一纹理方向，以第一模式来操作用户感觉反馈系统的装置；以及
用于响应于在所述触摸屏的所述区域处的触摸的移动方向以及在所述触摸屏的所述区域处显示的特征的第二纹理方向，以第二不同模式来操作所述用户感觉反馈系统的装置。
CN2008801226991A 2007-12-28 2008-12-26 基于视觉环境的音频和触觉反馈 Expired - Fee Related CN101910977B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/005,830 2007-12-28
US12/005,830 US9170649B2 (en) 2007-12-28 2007-12-28 Audio and tactile feedback based on visual environment
PCT/IB2008/055549 WO2009083928A1 (en) 2007-12-28 2008-12-26 Audio and tactile feedback based on visual environment

Publications (2)

Publication Number Publication Date
CN101910977A CN101910977A (zh) 2010-12-08
CN101910977B true CN101910977B (zh) 2013-10-09

Family

ID=40671389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801226991A Expired - Fee Related CN101910977B (zh) 2007-12-28 2008-12-26 基于视觉环境的音频和触觉反馈

Country Status (4)

Country Link
US (1) US9170649B2 (zh)
EP (1) EP2225626A1 (zh)
CN (1) CN101910977B (zh)
WO (1) WO2009083928A1 (zh)

Families Citing this family (101)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US8290646B2 (en) * 2008-03-27 2012-10-16 Hetronic International, Inc. Remote control system implementing haptic technology for controlling a railway vehicle
US9019237B2 (en) 2008-04-06 2015-04-28 Lester F. Ludwig Multitouch parameter and gesture user interface employing an LED-array tactile sensor that can also operate as a display
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
US8169414B2 (en) 2008-07-12 2012-05-01 Lim Seung E Control of electronic games via finger angle using a high dimensional touchpad (HDTP) touch user interface
EP2723107B1 (en) 2008-07-15 2019-05-15 Immersion Corporation Systems and methods for transmitting haptic messages
US8604364B2 (en) * 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
JP5227769B2 (ja) * 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ， エービー 携帯端末およびコンピュータプログラム
US20100201652A1 (en) * 2009-02-12 2010-08-12 Sony Ericsson Mobile Communications Ab Embedded piezoelectric elements in touch panels
KR101643600B1 (ko) * 2009-02-13 2016-07-29 삼성전자주식회사 디지털 동영상 촬영장치 및 디지털 동영상 처리장치
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
CN102349038B (zh) * 2009-03-12 2016-08-24 意美森公司 用于纹理引擎的系统和方法
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US8170346B2 (en) 2009-03-14 2012-05-01 Ludwig Lester F High-performance closed-form single-scan calculation of oblong-shape rotation angles from binary images of arbitrary size using running sums
US20100328229A1 (en) * 2009-06-30 2010-12-30 Research In Motion Limited Method and apparatus for providing tactile feedback
JP2011048685A (ja) 2009-08-27 2011-03-10 Kyocera Corp 入力装置
US20110066933A1 (en) 2009-09-02 2011-03-17 Ludwig Lester F Value-driven visualization primitives for spreadsheets, tabular data, and advanced spreadsheet visualization
US8619044B2 (en) * 2009-09-30 2013-12-31 Blackberry Limited Electronic device including tactile touch-sensitive display and method of controlling same
EP2306271B1 (en) 2009-09-30 2015-01-07 BlackBerry Limited Electronic device including tactile touch-sensitive display and method of controlling same
EP2328063B1 (en) 2009-11-30 2018-01-10 BlackBerry Limited Portable electronic device and method of controlling same to provide tactile feedback
US20110128227A1 (en) * 2009-11-30 2011-06-02 Research In Motion Limited Portable electronic device and method of controlling same to provide tactile feedback
KR101657963B1 (ko) * 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치
US20110202934A1 (en) * 2010-02-12 2011-08-18 Ludwig Lester F Window manger input focus control for high dimensional touchpad (htpd), advanced mice, and other multidimensional user interfaces
US10146427B2 (en) * 2010-03-01 2018-12-04 Nri R&D Patent Licensing, Llc Curve-fitting approach to high definition touch pad (HDTP) parameter extraction
US9417695B2 (en) 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
EP2375306B1 (en) * 2010-04-08 2014-07-30 BlackBerry Limited Tactile feedback method and apparatus
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9626023B2 (en) 2010-07-09 2017-04-18 Lester F. Ludwig LED/OLED array approach to integrated display, lensless-camera, and touch-screen user interface devices and associated processors
US9632344B2 (en) 2010-07-09 2017-04-25 Lester F. Ludwig Use of LED or OLED array to implement integrated combinations of touch screen tactile, touch gesture sensor, color image display, hand-image gesture sensor, document scanner, secure optical data exchange, and fingerprint processing capabilities
US8754862B2 (en) 2010-07-11 2014-06-17 Lester F. Ludwig Sequential classification recognition of gesture primitives and window-based parameter smoothing for high dimensional touchpad (HDTP) user interfaces
US9950256B2 (en) 2010-08-05 2018-04-24 Nri R&D Patent Licensing, Llc High-dimensional touchpad game controller with multiple usage and networking modalities
WO2012025783A1 (en) * 2010-08-23 2012-03-01 Nokia Corporation Apparatus and method for providing haptic and audio feedback in a touch sensitive user interface.
WO2012026095A1 (ja) * 2010-08-26 2012-03-01 京セラ株式会社 文字列検索装置
US20120204577A1 (en) 2011-02-16 2012-08-16 Ludwig Lester F Flexible modular hierarchical adaptively controlled electronic-system cooling and energy harvesting for IC chip packaging, printed circuit boards, subsystems, cages, racks, IT rooms, and data centers using quantum and classical thermoelectric materials
US9442652B2 (en) 2011-03-07 2016-09-13 Lester F. Ludwig General user interface gesture lexicon and grammar frameworks for multi-touch, high dimensional touch pad (HDTP), free-space camera, and other user interfaces
CN102208138A (zh) * 2011-05-23 2011-10-05 南京航空航天大学 基于纹理触觉再现的学习和认知系统
TWI431516B (zh) * 2011-06-21 2014-03-21 Quanta Comp Inc 觸覺回饋方法及其電子裝置
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9052772B2 (en) 2011-08-10 2015-06-09 Lester F. Ludwig Heuristics for 3D and 6D touch gesture touch parameter calculations for high-dimensional touch parameter (HDTP) user interfaces
WO2013068793A1 (en) * 2011-11-11 2013-05-16 Nokia Corporation A method, apparatus, computer program and user interface
US10430066B2 (en) 2011-12-06 2019-10-01 Nri R&D Patent Licensing, Llc Gesteme (gesture primitive) recognition for advanced touch user interfaces
US9823781B2 (en) 2011-12-06 2017-11-21 Nri R&D Patent Licensing, Llc Heterogeneous tactile sensing via multiple sensor types
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847657B1 (en) 2012-05-09 2016-08-10 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
JP6031186B2 (ja) 2012-05-09 2016-11-24 アップル インコーポレイテッド ユーザインタフェースオブジェクトを選択するためのデバイス、方法及びグラフィカルユーザインタフェース
JP6082458B2 (ja) * 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
CN104487930A (zh) 2012-05-09 2015-04-01 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
CN103777797B (zh) * 2012-10-23 2017-06-27 联想(北京)有限公司 一种信息处理的方法及电子设备
KR102047689B1 (ko) * 2012-12-17 2019-11-22 엘지전자 주식회사 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
CN103869960B (zh) * 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
KR101742808B1 (ko) 2012-12-29 2017-06-01 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
AU2013368441B2 (en) 2012-12-29 2016-04-14 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105277A2 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR101958582B1 (ko) 2012-12-29 2019-07-04 애플 인크. 터치 입력에서 디스플레이 출력으로의 관계들 사이에서 전환하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
CN107832003B (zh) 2012-12-29 2021-01-22 苹果公司 用于放大内容的方法和设备、电子设备和介质
US9501201B2 (en) * 2013-02-18 2016-11-22 Ebay Inc. System and method of modifying a user experience based on physical environment
CN103207672B (zh) * 2013-03-04 2015-11-25 小米科技有限责任公司 物理反馈系统、控制方法、装置、显示器组件及电子设备
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
WO2014147443A1 (en) 2013-03-20 2014-09-25 Nokia Corporation A touch display device with tactile feedback
US10248382B2 (en) 2013-09-27 2019-04-02 Volkswagen Aktiengesellschaft User interface and method for assisting a user with the operation of an operating unit
CN104598105A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种操作反馈方法
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
CN106371573B (zh) 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN106775130A (zh) * 2017-02-10 2017-05-31 业成科技（成都）有限公司 震动触觉控制系统及其方法
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
US11922006B2 (en) 2018-06-03 2024-03-05 Apple Inc. Media control for screensavers on an electronic device
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11995240B2 (en) * 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400996B1 (en) * 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6448977B1 (en) * 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6469695B1 (en) * 1999-01-28 2002-10-22 Ncr Corporation Method and apparatus for touch screen touch ahead capability
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7667687B2 (en) * 2003-12-30 2010-02-23 Immersion Corporation Resistive and hybrid control schemes for haptic feedback interface devices
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback

Also Published As

Publication number Publication date
EP2225626A1 (en) 2010-09-08
US9170649B2 (en) 2015-10-27
US20090167701A1 (en) 2009-07-02
WO2009083928A1 (en) 2009-07-09
CN101910977A (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
CN101910977B (zh) 基于视觉环境的音频和触觉反馈
US10198077B2 (en) Systems and methods for a texture engine
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
EP2406701B1 (en) System and method for using multiple actuators to realize textures
JP5779508B2 (ja) テクスチャエンジン用のシステム及び方法
KR102104463B1 (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
US20100020036A1 (en) Portable electronic device and method of controlling same
KR200258353Y1 (ko) 터치패드용 햅틱 피드백 및 기타 터치 제어장치
US20090102805A1 (en) Three-dimensional object simulation using audio, visual, and tactile feedback
CA2731042A1 (en) Portable electronic device and method of controlling same
US9019315B2 (en) Method of controlling display
KR20100107997A (ko) 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
US20130321469A1 (en) Method of controlling display
JP2018063529A (ja) キーボード、情報処理装置、フィードバック方法、及びプログラム
KR20100107996A (ko) 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
JP6512299B2 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160205

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131009

Termination date: 20161226

CF01 Termination of patent right due to non-payment of annual fee