CN104914987B - 用于触觉启用的投影用户界面的系统和方法 - Google Patents

用于触觉启用的投影用户界面的系统和方法 Download PDF

Info

Publication number
CN104914987B
CN104914987B CN201410840715.8A CN201410840715A CN104914987B CN 104914987 B CN104914987 B CN 104914987B CN 201410840715 A CN201410840715 A CN 201410840715A CN 104914987 B CN104914987 B CN 104914987B
Authority
CN
China
Prior art keywords
haptic
user
remote
sensor
output device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410840715.8A
Other languages
English (en)
Other versions
CN104914987A (zh
Inventor
文森特·莱韦斯克
阿利·莫达雷斯
阿马亚·B·韦德尔
大卫·M·比恩鲍姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN104914987A publication Critical patent/CN104914987A/zh
Application granted granted Critical
Publication of CN104914987B publication Critical patent/CN104914987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了用于触觉启用的投影用户界面的系统和方法。本文中所公开的一个说明性系统包括：传感器，所述传感器被配置成检测与投影用户界面相关联的用户输入并且发射与用户交互相关联的传感器信号；以及与所述传感器通信的处理器，所述处理器被配置成：接收所述传感器信号，至少部分地基于所述用户输入来确定远程触觉效果，至少部分地基于所述远程触觉效果来生成触觉信号，并且发射所述触觉信号。所述说明性系统还包括与所述处理器通信的触觉输出设备，所述触觉输出设备被配置成接收所述触觉信号并且输出所述远程触觉效果。

Description

用于触觉启用的投影用户界面的系统和方法
技术领域
本发明涉及用户界面设备的领域。更具体地，本发明涉及用于为投影用户界面提供触觉反馈的方法和装置。
背景技术
随着计算设备在尺寸上减小以符合用户对于便携性的偏好，用于显示屏幕的可用不动产也是如此。随着计算设备的小型化以及投影和感测技术的增强，基于手势的交互式系统和投影用户界面已变得越来越流行。用户界面能够由例如微型投影仪投影到表面上，从而允许用户比在小显示屏幕上更容易地导航用户界面。例如，移动电话可以配置有投影键盘，使得用户能够通过与更大的投影表面而不是小触摸屏显示器交互来提供输入。作为另一示例，设备可以投影用户界面，其中用户通过手手势或通过显示其它物理对象来与设备交互。虽然已开发了各种技术以便通过这样的投影用户界面来简化导航，但是存在对于用来提供触觉反馈的投影用户界面的需要。
发明内容
本公开的实施例包括使提供触觉反馈的投影用户界面有特色的设备。在一个实施例中，本公开的系统可以包括：传感器，所述传感器被配置成检测与投影用户界面相关联的用户输入并且发射与用户交互相关联的传感器信号；以及与所述传感器通信的处理器，所述处理器被配置成：接收所述传感器信号，至少部分地基于所述用户输入来确定远程触觉效果，至少部分地基于所述远程触觉效果来生成触觉信号，并且发射所述触觉信号。所述系统可以进一步包括与所述处理器通信的触觉输出设备，所述触觉输出设备被配置成接收所述触觉信号并且输出所述远程触觉效果。
在另一实施例中，本公开的方法可以包括：接收与用户输入相关联的传感器信号，所述用户输入与投影用户界面相关联，至少部分地基于所述传感器信号来确定远程触觉效果，至少部分地基于所述远程触觉效果来生成触觉信号，以及将与所述远程触觉效果相关联的触觉信号发射到触觉输出设备。又一个实施例包括用于实现这样的方法的计算机可读介质。
这些说明性实施例被提到为不限制或者定义本主题的限制，但是提供示例以帮助其理解。说明性实施例在具体实施方式中被讨论，并且在那里提供进一步描述。可以通过研究本说明书和/或通过实践所要求保护的主题的一个或多个实施例来进一步理解由各种实施例所提供的优点。
附图说明
完全且实现的公开在本说明书的剩余部分中更特别地阐述。本说明书对以下附图进行参考。
图1A示出用于触觉启用的(haptically-enabled)投影用户界面的系统的一个实施例的外部视图；
图1B示出用于触觉启用的投影用户界面的系统的另一实施例的外部视图；
图2A是示出根据一个实施例的用于触觉启用的投影用户界面的系统的框图；
图2B是示出用于触觉启用的投影用户界面的系统的另一实施例的框图；
图3示出用于触觉启用的投影用户界面的系统的一个实施例的外部视图；
图4示出根据一个实施例的用于触觉启用的投影用户界面的另一系统；
图5示出用于触觉启用的投影用户界面的系统的另一实施例；以及
图6是示出根据一个实施例的用于启用投影用户界面的触觉反馈的方法的流程图。
具体实施方式
现在将详细地参考各种和替代说明性实施例并且参考附图。每个示例通过解释的方式来提供，而不作为限制。对于本领域的技术人员而言将显而易见的是，能够进行修改和变化。例如，作为一个实施例的一部分所图示或描述的特征可以在另一实施例中用来产生再一个实施例。因此，意图是，本公开包括如落入所附权利要求及其等同物的范围内的修改和变化。
触觉启用的投影用户界面设备的说明性示例
图1A示出用于触觉启用的投影用户界面的系统的一个实施例的外部视图。所示出的实施例包括能够由用户使用的计算设备101。例如，计算设备101可以是具有相对小的键盘的手持设备，诸如智能电话、平板、口袋助手、GPS接收机或其它手持设备。在这样的设备上，利用更大的外部键盘可能是有利的。
能够与计算设备101一起利用的一种类型的外部键盘是投影虚拟键盘。在图1A中图示了这样的键盘。计算设备101包括能够将图像投影到投影表面130上的投影仪116。
在图1A中投影表面130是计算设备101位于其上的相同表面。图1B示出用于触觉启用的投影用户界面的系统的另一实施例的外部视图。在图1B中所示出的实施例中，计算设备101将虚拟键盘投影到墙壁上的投影表面130上。
在虚拟键盘被显示在投影表面130上后，用户能够与它交互。计算设备101包括用于检测用户交互并且将与这些交互相关联的一个或多个传感器信号提供给计算设备101中的处理器的一个或多个传感器(未示出)。这些交互可以例如包括在键盘上打字。处理器利用与这些交互相关联的传感器信号来影响在处理器上执行的软件的操作。
在该说明性实施例中，计算设备101还能够将触觉反馈提供给用户。例如，计算设备确定应该基于用户的交互输出的触觉效果，生成触觉反馈信号，并且将该触觉反馈信号发射到被配置成向用户输出触觉效果的触觉效果生成器(即“触觉输出设备”)。在一些实施例中，这些触觉输出设备包括从计算设备101远程地输出触觉效果的“远程触觉输出设备”。
例如，投影表面130可以并入包括例如能够在投影表面130上给予振动使得用户能够感到该振动的偏心旋转质量(ERM)电机的远程触觉输出设备。在一些实施例中，远程触觉输出设备可以包括一个或多个喷射器，所述喷射器被配置成随着他或她跨越投影表面130移动他的或她的手指而向用户(例如，向用户的手的背面)辐射诸如固体、液体、气体或等离子体的物质。在其它实施例中，远程触觉输出设备可以包括被配置成在用户的方向上投出压力波的一个或多个超声换能器。这些说明性实施例仅仅作为示例被提供，并且本领域的技术人员将理解，可以实现本发明的各种其它实施例。
如将在下面更详细地讨论的，能够以任何数目的方式使用远程触觉效果以将信息提供给用户。附加地，能够使用除远程触觉效果之外或代替远程触觉效果的效果来模拟特征存在于投影表面中。类似地，能够在除投影表面以外的表面上输出远程触觉效果。
用于触觉启用的投影用户界面设备的说明性系统
图2A是示出根据一个实施例的用于触觉启用的投影用户界面的系统200的框图。在该示例中，系统200包括计算设备201。在一些实施例中，计算设备201可以包括计算机，诸如台式计算机或膝上型计算机，或诸如智能电话、平板、电子阅读机或便携式音乐设备的手持设备。本公开的其它实施例将计算设备201包括在诸如领带、手表、眼镜或戒指的可穿戴设备内。
计算设备201具有经由总线206与其它硬件对接的处理器202。能够包括诸如RAM、ROM、EEPROM等的任何适合的有形(和非暂时性)计算机可读介质的存储器204具体实现配置计算设备201的操作的程序组件。在该示例中，计算设备201还包括一个或多个网络接口设备210、输入/输出(I/O)接口组件212以及附加的储存器214。
网络设备210能够表示便于网络连接的任何组件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394的有线接口，和/或诸如IEEE 802.11、蓝牙的无线接口，或用于接入蜂窝电话网络的无线电接口(例如，用于接入CDMA、GSM、UMTS的收发信机/天线，或其它移动通信网络)。
I/O组件212可以被用来便于连接到诸如一个或多个显示器230、键盘、鼠标、扬声器、麦克风的设备和/或用来输入数据或者输出数据的其它硬件。储存器214表示诸如包括在设备201中的磁、光学或其它存储介质的非易失性储存器。
投影仪216能够表示便于投影数据的任何组件中的一个或多个。例如，投影仪216可以是微型投影仪(还被称为“口袋投影仪”、“移动投影仪”、“手持投影仪”或“小型投影机”)。通过微型投影仪，它简单地意指相对小的投影仪。微型投影仪可以包括例如具有图像投影仪的手持设备，其可以包括用于投影数字图像的小型化硬件和软件。在一些实施例中，投影仪216可以将图像投影到投影表面上。在其它实施例中，投影仪216可以将图像投影到与表面不相关联的空间中(例如，和全息图一样)。在一些实施例中，可以利用相对大的投影仪，诸如与计算设备201通信的外部投影仪。投影仪216可以包括例如数字光处理成像器、光束偏转成像器或硅上液晶成像器。投影仪216可以进一步包括液晶显示光闸、发光二极管、激光二极管、棱镜、灯、二向色滤光器或阴极射线管中的一个或多个。在一些实施例中，投影仪216能够投影可以包括文本、图像、按钮、滑块、开关、微件或与图形用户界面相关联的任何其它特征的用户界面。
系统200还包括一个或多个传感器208，所述传感器208被配置成在用户与界面(诸如投影界面)交互时检测用户输入，并且提供适当的数据以供处理器202使用。在一个实施例中，用户可以通过沿着投影表面移动他的或她的手指和/或做出手势(例如，用他的或她的手的扫掠)来与投影用户界面交互。任何适合数目、类型或布置的传感器能够被用来检测用户交互。例如，陀螺仪和加速度计能够被用来检测计算设备201的定向或位置中的改变，或者相机可以被用来检测用户输入手势或用户与投影表面的交互。在一些实施例中，处理器202与单个传感器208通信。在其它实施例中，处理器202与多个传感器208(例如，陀螺仪、加速度计、相机、深度传感器以及触敏表面)通信。在一些实施例中，传感器208可以被配置成检测用户交互的多个方面。例如，传感器208可以检测用户交互的速度和方向，并且将这个信息并入接口信号中。
在该示例中，触觉输出设备218与处理器202通信并且嵌入在计算设备201内。在其它实施例中，触觉输出设备218可以位于计算设备201的远程，但是通信地耦合至处理器202。在一些实施例中，触觉输出设备218被配置成响应于触觉信号来向用户或投影表面输出触觉效果。一些触觉效果可以利用耦合至设备的外壳的启动器，并且一些触觉效果可以依次和/或一致地使用多个启动器。例如，在一些实施例中，触觉输出设备218可以通过在不同的频率下使投影表面振动来输出触觉效果。在这样的实施例中，触觉输出设备218可以包括以下中的一个或多个：例如，压电启动器、电动机、电磁启动器、语音线圈、形状记忆合金、电活性聚合物、螺线管、电旋转质量电机(ERM)或线性谐振启动器(LRA)。在其它实施例中，触觉输出设备218可以使用多个超声换能器来辐射集中压力波以使投影表面振动。
在一些实施例中，触觉输出设备218可以使用导体、加热体、液体或气体来产生热触觉效果，诸如把投影表面加热或使投影表面冷却。在其它实施例中，触觉输出设备218可以包括例如扬声器或辐射诸如固体、液体、气体或等离子体的物质的喷射器，并且可以从计算设备201向用户或投影表面远程地投出触觉效果。另外，在一些实施例中，触觉输出设备218可以包括用于通过将电流直接传递到用户的手指来提供电触觉刺激的导体。尽管这里示出了单个触觉输出设备218，但是实施例可以使用相同类型或不同类型的多个触觉输出设备来提供触觉反馈。例如，在一些实施例中，多个ERM和气体喷射器能够被单独或一致地用来提供不同的触觉效果。
在仍然其它的实施例中，触觉输出设备218可以例如通过使用静电表面启动器来使用静电吸引，以在投影表面130上模拟纹理或以变化用户在跨越投影表面移动他的或她的手指时感到的摩擦系数。此外，在一些实施例中，静电启动器可以与其它触觉输出设备218相结合地用来输出远程触觉效果。例如，超声换能器的阵列可以辐射集中压力波以使投影表面或用户的身体的一部分振动，同时诸如静电启动器的另一触觉输出设备在投影表面上模拟纹理。
转向存储器204，描绘了说明性程序组件224、226以及228以示出设备如何能够在一些实施例中被配置成对于投影用户界面实现触觉反馈。在该示例中，检测模块224将处理器202配置成经由传感器208来监测投影表面以检测用户交互。例如，模块224可以对传感器208进行采样以便跟踪用户输入的存在或不存在，并且如果输入存在，以便跟踪输入随着时间的推移的位置、路径、速率、加速度和/或其它特性中的一个或多个。
触觉效果确定模块226表示分析有关用户交互的数据以选择要生成的远程触觉效果的程序组件。特别地，模块226可以包括基于输入的位置来确定要输出的远程触觉效果的代码和选择要输出的一个或多个远程触觉效果的代码。例如，投影表面的区域中的一些或全部可以被映射到在显示器230上示出的图形用户界面。在一些实施例中，当投影仪216和/或显示器230输出特征的对应视觉表示时，远程触觉效果可以模拟特征的存在。然而，即使对应的元件未由投影仪216和/或显示器230显示，(一个或多个)触觉输出设备218也可以输出远程触觉效果(例如，即使在视觉上不显示边界，如果界面中的边界是交叉的，则也可以提供触觉效果)。
在其它实施例中，触觉效果确定模块226可以将其远程触觉效果确定基于投影表面的特性(例如，表面如何对在不同频率下的振动起反应、投影表面的内容或投影表面的拓扑)、计算设备201与用户之间的距离或由用户感到所需要的远程触觉效果的强度中的一个或多个。例如，在一个这样的实施例中，处理器202可以确定投影表面的近似基本频率或正常频率并且部分地使用该数据来确定远程触觉效果。在一个这样的实施例中，计算设备201包括与处理器202通信的加速度计。计算设备201使投影表面振动，并且基于加速度计信号，处理器202确定投影表面的近似基频或正常频率。部分地基于这个数据，处理器202确定远程触觉效果的特性。
在另一实施例中，计算设备201可以包括与处理器202通信的相机、距离传感器或其它传感器。在一些实施例中，基于相机信号、距离传感器信号或其它传感器信号，处理器202可以确定投影表面包括一个或多个物质。例如，在一个实施例中，处理器202可以确定投影表面包括木材。在一些实施例中，处理器202可以确定远程触觉效果的特性以跨越包括不同物质的投影表面保证一致性。例如，如果投影表面包括木材，则处理器202可以变更远程触觉效果(例如振动)的强度，使得用户感知到基本上相似的触觉效果好像投影表面包括了层积材。
在另一实施例中，基于相机信号或其它传感器信号，处理器202可以确定投影表面包括特征(例如“强烈地振动”)、徽标、广告、商品或其它信息的特定集合。部分地基于这个数据，处理器202可以确定远程触觉效果的特性。例如，在一个实施例中，处理器202可以确定投影表面包括Immersion徽标。在这样的实施例中，处理器202可以确定与Immersion的徽标相关联的远程触觉效果，例如，一组脉冲振动。
在一些实施例中，基于相机信号、深度传感器信号、距离传感器信号或其它传感器信号，处理器202可以确定投影表面的拓扑。处理器202可以基于所确定的拓扑来确定远程触觉效果的特性。例如，在一个实施例中，处理器202可以确定投影表面的拓扑包括一系列凸起。在这样的实施例中，处理器202可以部分地基于该系列凸起来确定远程触觉效果。例如，处理器202可以确定使投影表面振动的远程触觉效果，使得该系列凸起不像对于用户而言可感知的那样。
在另一实施例中，基于相机信号、深度传感器信号、距离传感器信号或其它传感器信号，处理器202可以确定计算设备201与用户之间的距离。部分地基于这个数据，处理器202可以确定远程触觉效果的特性。例如，在这样的实施例中，如果计算设备201与用户之间的距离是大的，则模块226可以确定适当的远程触觉效果可能比在计算设备201与用户之间的距离是小的情况下更强烈。
触觉效果生成模块228表示使处理器202生成触觉信号并且将它发射到触觉输出设备218以生成所选远程触觉效果的编程。例如，生成模块228可以访问存储的波形或命令以发送到触觉输出设备218。作为另一示例，触觉效果生成模块228可以利用信号处理算法来生成适当的信号以发送到触觉输出设备218。作为另一个示例，处理器202可以确定期望的远程触觉效果以及该远程触觉效果的目标坐标。触觉效果生成模块228可以将适当的波形发送到一个或多个触觉输出设备以在所指定的坐标(例如，投影表面上的位置)处生成适当的远程触觉效果。一些实施例可以一致地利用多个触觉输出设备来模拟特征。例如，在一个这样的实施例中，超声换能器的阵列可以辐射集中压力波，该集中压力波使投影表面的一部分振动以模拟跨越界面上的按钮之间的边界。
图2B是示出用于触觉启用的投影用户界面的系统200的另一实施例的框图。在该示例中，系统200包括外部设备232。外部设备232包括触觉输出设备218。在一些实施例中，外部设备232位于计算设备201的远程。在一些实施例中，外部设备232经由有线链路或无线链路与计算设备201通信。当用户通过例如做出手势来与投影用户界面交互时，触觉输出设备218可以将远程触觉效果提供给用户。例如，在一个这样的实施例中，外部设备232可以包括在用户的口袋中或在手臂上投影用户界面的智能电话或便携式音乐播放机。当用户与投影用户界面交互时，计算设备201确定与交互相关联的远程触觉效果并且向外部设备232输出对应的信号，所述外部设备232然后输出该远程触觉效果。
在另一实施例中，外部设备232可以包括可穿戴设备，例如，手镯、手表、领带、眼镜或手套。当用户通过例如做出手势来与投影用户界面交互时，触觉输出设备218可以经由可穿戴设备将远程触觉效果提供给用户。例如，外部设备232可以被嵌入在领带内。当用户与投影表面交互时，计算设备201确定与交互相关联的远程触觉效果并且向领带输出对应的信号，所述领带然后向用户输出远程触觉效果。在一些实施例中，可穿戴设备可以进一步包括投影仪216。例如，在一个实施例，外部设备232和投影仪216可以被嵌入在领带内。当用户通过世界导航时，投影仪216可以投影一个或多个用户界面。当用户与投影用户界面交互时，计算设备201确定与交互相关联的远程触觉效果并且向领带输出对应的信号，所述领带然后向用户输出远程触觉效果。
作为另一示例，在一些实施例中，用户可以穿戴包括被配置成输出远程触觉效果的触觉输出设备218的手套。当用户的手指跨越投影用户界面(例如投影到投影表面上或作为全息图的一部分投影的用户界面)移动时，计算设备201确定远程触觉效果并且向该手套中的触觉输出设备218输出对应的触觉信号。触觉输出设备218然后向用户的手输出远程触觉效果。在一些实施例中，这个远程触觉效果可以被配置成模拟投影用户界面中的特征。例如，特征可以包括被配置成模拟按按钮(例如，键盘上的键)、移动滑块、转动旋钮或越过障碍物的效果。
在其它实施例中，投影表面可以包括触觉输出设备218。在这样的实施例中，当用户与投影用户界面交互时，触觉输出设备218可以将远程触觉效果直接提供给投影表面。例如，在一个实施例中，触觉输出设备218可以包括用于使投影表面振动的ERM、用于输出电触觉刺激的导体或用于改变投影表面的温度的导体。当用户与投影表面交互时，计算设备201可以确定与交互相关联的远程触觉效果。计算设备201然后可以向触觉输出设备218输出对应的信号，所述触觉输出设备218输出该远程触觉效果。
在一个这样的实施例中，触觉输出设备218可以包括嵌入在投影表面下方的导体。当用户与投影表面交互时，计算设备201确定与交互相关联的远程触觉效果，诸如温度的增加。计算设备201然后向触觉输出设备218输出对应的信号，所述触觉输出设备218输出增加在投影表面处的温度的远程触觉效果。在另一实施例中，触觉输出设备218可以包括布置在倚着投影表面的计算设备201的底部或支柱中的ERM。当用户与投影表面交互时，计算设备201确定与交互相关联的远程触觉效果，诸如振动。计算设备201然后向触觉输出设备218输出对应的信号，所述触觉输出设备218通过直接使投影表面振动来输出远程触觉效果。在再一个实施例中，触觉输出设备218可以包括布置在接触投影表面的计算设备201的底部或支柱中的导体。当用户与投影表面交互时，计算设备201确定与交互相关联的远程触觉效果，诸如电触觉效果。计算设备201然后向触觉输出设备218输出对应的信号，所述触觉输出设备218通过将电流传递到投影表面来输出远程触觉效果。在一些实施例中，用户可以例如通过投影表面中的半导体或导体来感知到这个远程触觉效果。
图3示出用于触觉启用的投影用户界面的系统的一个实施例的外部视图。在一些实施例中，计算设备301可以包括台式计算机、膝上型计算机、智能电话、平板、电子阅读机和/或其它电子设备。在图3中所示出的实施例中，计算设备301将虚拟键盘306投影到投影表面302上。在一些实施例中，计算设备301可以将虚拟键盘306投影到与表面不相关联的区域(例如，与全息图相关联的区域)中。在一个这样的实施例中，用户可以使用投影虚拟键盘306来输入数据。在这样的实施例中，当用户与投影虚拟键盘306交互时，计算设备301输出被配置成确认用户已成功地输入字母的远程触觉效果。
例如，在一个实施例中，计算设备301包括智能电话并且将大虚拟键盘306投影到投影表面302上。不是使用智能电话显示器的小虚拟键盘来输入文本消息，而是用户可以替代地通过与虚拟键盘306交互来输入文本消息数据。在这样的实施例中，计算设备301输出远程触觉效果以用作用户键入了字母的确认。在一个这样的实施例中，当用户成功地输入字母时，计算设备301可以通过使直接耦合至投影表面302的触觉输出设备振动来输出远程触觉效果。在另一实施例中，当用户成功地输入字母时，计算设备301可以通过向投影表面302辐射集中超声压力波来使投影表面302振动。在又一个这样的实施例中，当用户成功地输入字母时，计算设备301可以通过向用户的手指的背面辐射气体(例如空气、氧气、二氧化碳、一氧化碳或氮气)的一连串或股气体来输出远程触觉效果。在其它实施例中，计算设备301可以通过辐射一连串液体(诸如水)或固体(诸如一个或多个泡沫球)来输出远程触觉效果。
在一些实施例中，当用户成功地输入字母时，计算设备301可以通过使桌面它本身振动来直接地输出振动。用户可以通过桌面或投影表面302的振动而感到这个远程触觉效果。在这样的实施例中，由用户所感到的效果的特性可以取决于以下因素：诸如由计算设备301所辐射的振动的属性、计算设备与用户的手指之间的距离以及振动必须通过其而行进的表面。因此，作为确定远程触觉效果的一部分，计算设备301可以确定以下特性：诸如表面的类型(例如，表面如何对在不同频率下的振动起反应)、到用户的距离、以及由用户感到所需要的振动的强度。
在一些这样的实施例中，计算设备301可以向包括触觉输出设备的可穿戴设备(诸如领带)输出触觉信号，所述可穿戴设备在用户成功地输入字母时输出远程触觉效果。在又一个实施例中，当用户成功地输入字母时，计算设备301可以通过改变投影表面302的温度来输出远程触觉效果。在其它实施例中，可以将远程触觉效果添加到许多不同类型的投影用户界面。
现在转向图4，图4示出根据一个实施例的用于触觉启用的投影用户界面的另一系统。在一个实施例中，计算设备401可以包括多功能控制器。例如，控制器用于在台式计算机、膝上型计算机、视频游戏系统、投影视频系统或其它类型的计算设备中使用。在另一实施例中，计算设备401可以包括智能电话、平板或其它类型的计算机。
在图4中所示出的实施例中，计算设备401可以被配置成控制音频播放机。如图4中所示，计算设备401将一个或多个虚拟控制器投影到投影表面402上。在其它实施例中，一个或多个虚拟控制器可以被投影到与表面不相关联的空间(例如，与全息图相关联的空间)中。用户可以与控制器交互以控制音频播放机的功能。例如，在图4中所示出的实施例中，计算设备401包括如图4中作为控制器404和控制器406所示出的一个或多个微件或虚拟界面。控制器404包括被配置成控制音频播放机的设定的旋钮(例如，用来调谐至无线电台或选择新的歌曲的旋钮)的图像。类似地，控制器406包括被配置成调整音频播放机的另一特征(诸如音量)的滑块的图像。在其它实施例中，计算设备401可以投影多个其它虚拟控制器，所述虚拟控制器中的每一个被配置成控制音频播放机的其它方面，诸如均衡、高音、低音或通常与音乐播放机相关联的其它功能。
当用户与控制器404和406交互时，计算设备401输出远程触觉效果以确认手势的接收。例如，在一个实施例中，计算设备401可以使用一个或多个触觉输出设备来输出包括振动的触觉效果。在这样的实施例中，计算设备401可以选择用来将信息传送给用户的振动模式。例如，这个振动模式可以指示由计算设备401所控制的系统或设备的类型。在一个这样的实施例中，用户可以知道一个振动模式(例如，长短短)与音频播放机控制相关联。在这样的实施例中，计算设备401可以随着用户与投影用户界面交互而输出这个振动模式以控制音频播放机应用。
在另一个实施例中，计算设备401可以输出附加类型的远程触觉效果。例如，在一个实施例中，当用户与控制器404或406中的一个交互时，计算设备401可以输出被配置成确认用户交互的检测的远程触觉效果。在一个这样的实施例中，计算设备401例如包括诸如被配置成向用户的手投出一股气体(例如空气)的喷射器的触觉输出设备。因此，当用户与投影用户界面交互时，该股气体可以确认用户正在触摸旋钮。
在另一实施例中，计算设备401可以随着用户调整旋钮而输出不同的远程触觉效果。在一个这样的实施例中，计算设备401可以包括被配置成随着用户与控制器404或406交互而向用户或投影表面402投出振动的超声换能器的阵列。例如，在一个这样的实施例中，随着用户进一步向右转动控制器404，计算设备401输出渐增强度的效果。类似地，随着用户向左转动控制器404，计算设备401输出变得更弱的效果。在一些实施例中，这样的远程触觉效果可以用作计算设备401已接收到用户输入的确认。
在另一个实施例中，用户可以将振动模式或其它远程触觉效果指派给由计算设备401所控制的各种应用或操作。因此，例如，用户可以选择特定振动模式或其它类型的远程触觉效果并且使该远程触觉效果与由计算设备401所控制的应用相关联。
作为特定示例，在上面所描述的实施例中，用户可以是办公室中的工作人员。计算设备401将音频播放机控件投影到用户的书桌上。在这样的实施例中，远程触觉效果可以使得用户能够调整音频应用的设定而不必集中于投影界面。例如，远程触觉效果可以允许用户确定计算设备401接收到输入，而不用集中于计算设备401。这可以使得用户能够在仍然与计算设备401交互的同时维持集中于另一设备，例如，用户的台式计算机。另外，在一些实施例中，触觉反馈可以使得用户能够与未被看得见地投影的用户界面交互。例如，在一些实施例中，计算设备401可以在不用看得见地显示投影用户界面的情况下检测用户的手势。
在一些实施例中，计算设备401可以包括用于播放视频游戏的游戏设备。在一些实施例中，计算设备401可以是包括投影仪(例如，微型投影仪)的手持设备。计算设备401可以将视频游戏投影到投影表面406上或到与表面不相关联的区域(例如，与全息图相关联的空间)中。在一些实施例中，用户可以通过改变其定向或者摇动它或通过做出手势来与计算设备401交互(相对于图5进一步讨论)。例如，在一个实施例中，通过使计算设备401倾斜，用户可以使投影虚拟字符蜷伏。在另一实施例中，通过轻敲投影表面402，用户可以使虚拟字符跳跃。在一些实施例中，响应于用户交互或基于游戏事件，计算设备401可以输出触觉效果。例如，在一个实施例中，用户可以通过向左/右用他的或她的手指打手势或通过使计算设备401向左/右倾斜来使虚拟字符向左/向右转。作为响应，在一些实施例中，计算设备402可以输出触觉效果，诸如振动、温度改变或成股空气。在一些实施例中，触觉效果可以确认用户输入的接收或者可以对应于游戏事件(诸如虚拟爆炸、开火或虚拟字符可能正在越过的地形)。
现在转向图5，图5示出用于触觉启用的投影用户界面的系统的另一实施例。如图5中所示，手势交互由滚动箭头508和510表示。手势交互包括可能的用户与计算设备501交互的示例。例如，用户可能希望滚动数据，其中对于在投影表面502一侧变得可见的数据的每行来说，数据的另一行在投影表面502相反侧变得不可见。在这样的实施例中，向左/向右510或向上/向下508滚动可以包括其中用户向左/向右或向上/向下扫掠他的或她的手指的交互。在一个这样的实施例中，用户可以跨越投影表面502向左/向右或向上/向下扫掠他的或她的手指。在另一实施例中，用户可以远离投影表面502向左/向右或向上/向下扫掠他的或她的手指。在其它实施例中，计算设备501可以检测其它手势。这些可以包括诸如四手指捏的手势，其中使用四个手指用户做出可以使计算设备501改变程序的捏手势、轻敲或摆手，或用来返回的手势。
在一些实施例中，计算设备501检测这些手势中的每一个。这一些这样的实施例中，计算设备501可以基于手势来控制一个或多个应用。例如，在一个实施例中，计算设备501可以包括被配置成控制在显示器上示出的游戏(图5中未示出)的游戏系统。当用户通过打手势来与计算设备501交互时，计算设备501控制与游戏相关联的操作。
在其它实施例中，计算设备501可以输出远程触觉效果以确认手势的接收。在一个这样的实施例中，计算设备501可以位于桌面上并且将用户界面投影到同一桌面上。在接收到手势输入(诸如向左/向右扫掠至向左/向右滚动)后，计算设备501可以以特定模式或强度使投影表面502振动以确认手势输入的接收。例如，在一个实施例中，用户可以滚动相簿。在这样的实施例中，当用户向左/向右扫掠以滚动每个图片时，计算设备501输出变化强度的振动以确认扫掠手势的接收。
用于启用投影用户界面的触觉反馈的说明性方法
图6是示出根据一个实施例的用于启用投影用户界面的触觉反馈的方法600的流程图。在一些实施例中，图6中的步骤可以用由处理器(例如，通用计算机、移动设备或服务器中的处理器)执行的程序代码加以实现。在一些实施例中，这些步骤可以由一组处理器实现。在一些实施例中，可以省略或以不同的次序执行图6中所示出的一个或多个步骤。类似地，在一些实施例中，还可以执行图6中未示出的附加的步骤。分别参考上面相对于图1和图2中示出的系统100和200所描述的组件来描述这些步骤。
方法600在处理器202接收到与用户输入相关联的传感器208信号的步骤604处开始。在一些实施例中，用户输入可以与投影用户界面相关联。传感器208可以包括本领域中所知的多个传感器中的一个或多个，例如，相机、加速度计、陀螺仪、深度传感器或触敏表面。传感器208可以被配置成确定输入的位置和其它信息，诸如方向和速率。在检测到用户输入后，传感器208可以向处理器202发送与该交互相关联的信号。用户输入可以包括例如手势、计算系统201的定向改变、由传感器208所检测到的平地内的交互或与投影表面130的交互中的一个或多个。在一些实施例中，传感器信号可以包括与用户交互的位置、速率、方向或力相关联的数据。例如，传感器信号可以指示用户的手指正在移动有多快、用户正对投影表面130施加了多大力或沿着投影表面130移动的方向。
当处理器202至少部分地基于传感器信号确定远程触觉效果时，方法600在步骤606处继续。处理器202可以依靠在触觉效果确定模块226中包含的编程来确定远程触觉效果。例如，在一些实施例中，触觉效果确定模块226可以包括具有包括多个远程触觉效果和多个用户输入的数据的查找表。例如，在一个实施例中，响应于在投影虚拟键盘上打字，处理器202可以访问查找表以确定远程触觉效果。
在另一实施例中，投影用户界面的特征可以与特定远程触觉效果相关联。例如，在一个这样的实施例中，在按钮上滑动用户的手指可以与特定远程触觉效果相关联。在这样的实施例中，响应于用户在按钮之上滑动手指，处理器202确定其中计算设备201辐射喷气以刺激用户的手的远程触觉效果。在一些实施例中，投影用户界面的一个或多个特征可以与多个可用纹理中的一个相关联。在这样的一个实施例中，当用户与这些特征中的每一个交互时，处理器202可以确定被配置成模拟纹理中的一个(例如，黏性纹理、崎岖不平纹理、似橡胶纹理或水样纹理)的远程触觉效果。
在一个实施例中，处理器202可以部分地基于用户输入来确定远程触觉效果。例如，在一个实施例中，用户可以经由投影虚拟键盘来输入数。作为响应，处理器202可以确定被配置成包括具有与该数的大小成反比的强度的振动的触觉效果的远程触觉效果。
另外，在一些实施例中，用户可以具有“触觉简档”，其中用户能够确定与特定事件或用户界面相关联的远程触觉效果的“简档”并且将该“简档”保存在存储器204中。例如，在一个实施例中，用户可以选择要与虚拟按钮相关联的远程触觉效果。例如，用户可以选择诸如长振动、短振动、图案化振动、长氧气吹气、短氧气吹气、图案化氧气吹气、水喷溅或诸如崎岖不平的、似橡胶的或平滑的纹理的远程触觉效果。在这样的实施例中，处理器202可以部分地基于触觉简档来确定远程触觉效果。
在一些实施例中，处理器202可以从多个可用的触觉输出设备218中确定一个或多个触觉输出设备以输出远程触觉效果。例如，在一个实施例中，处理器202可以确定包括水样纹理的远程触觉效果。在这样的实施例中，处理器202可以进一步确定哪一个触觉输出设备218要用来输出包括水样纹理的远程触觉效果。处理器202可以选择单独或相组合地能够输出包括水样纹理的远程触觉效果的一个或多个触觉输出设备，诸如辐射空气的喷射器和耦合至投影表面130的ESF启动器。
在一些实施例中，处理器202可以基于查找表、算法、默认选择、从用户接收到的输入或哪些触觉输出设备当前不在使用中来确定哪一个触觉输出设备218要用来输出远程触觉效果。例如，在一个这样的实施例中，处理器202可以部分地基于查找表来确定哪一个触觉输出设备218要用来输出远程触觉效果。查找表可以包括具有多个触觉输出设备和多个触觉效果的数据。例如，查找表可以包括具有气体喷射器和多个触觉效果(诸如一连串氧气、一股氧气或一连串氮气)的数据。在这样的实施例中，处理器202可以访问查找表并且使包括一股氧气的触觉效果与气体喷射器相关联。
在另一这样的实施例中，处理器202可以部分地基于默认触觉输出设备118来做出其确定。例如，在这样的实施例中，除非处理器202例如部分地基于查找表、算法或用户输入确定了另一触觉输出设备118是更适当的，否则它可以在默认情况下选择气体喷射器来输出远程触觉效果。在另一这样的实施例中，处理器202可以部分地基于哪些触觉输出设备118已经不在使用中的确定来确定触觉输出设备118。例如，在一个这样的实施例中，处理器202可以确定包括水样纹理的远程触觉效果。处理器202可以进一步确定远程触觉效果能够由包括ESF启动器的触觉输出设备218或包括空气喷射器的触觉输出设备218来生成。在这样的实施例中，包括ESF启动器的触觉输出设备218可能已经正被用来生成不同的远程触觉效果，诸如投影表面130上的摩擦系数的模拟增加。处理器202因此可以确定包括空气喷射器的触觉输出设备118应该被用来输出远程触觉效果。
该方法在处理器202至少部分地基于远程触觉效果608生成了触觉信号时继续并且将与该远程触觉效果相关联的触觉信号发射到触觉输出设备610。在一些实施例中，处理器202可以通过访问存储在存储器104中并且与特定远程触觉效果相关联的驱动信号来生成触觉信号。在一个实施例中，处理器202可以通过访问被配置成基于振幅和频率参数来确定驱动信号的存储的算法来生成触觉信号。在一些实施例中，触觉信号可以包括待由启动器解码的向启动器发送的数据。例如，启动器它本身可以对规定诸如振幅和频率的参数的命令做出响应。
在一些实施例中，触觉输出设备218可以包括用来远程地投影触觉效果的设备，诸如例如超声换能器、扬声器或辐射固体、液体、气体或等离子体的喷射器。在一个这样的实施例中，触觉输出设备218可以包括被配置成在接收到触觉信号后辐射具有变化特性的成股或成串氧气、氮气、二氧化碳或一氧化碳的气体喷射器。在其它实施例中，触觉输出设备218可以包括超声换能器的阵列，所述超声换能器可以响应于接收到触觉信号来辐射在投影表面130或用户处引起具有变化特性的振动的集中压力波。在一些实施例中，触觉输出设备218可以包括诸如耦合至计算设备201内的组件的压电启动器或电动机的传统的启动器。在这样的实施例中，触觉输出设备218可以直接使投影表面130振动。
用于触觉启用的投影用户界面的系统的附加实施例
在本公开的一些实施例中，计算设备可以在没有任何特定目的的情况下输出远程触觉效果而不是使用户感到兴趣、分心或镇定。例如，在一个实施例中，壁纸(例如“动态壁纸”)可以对用户的触摸起反应。当用户触摸动态壁纸时，计算设备可以输出远程触觉效果，例如，振动。在另一实施例中，投影应用可以包括其中用户设法触摸投影表面上的可能对用户的触摸起反应的运动方块的游戏。
在一个实施例中，计算设备可以包括免提游戏设备。在这样的实施例中，计算设备可以将游戏投影到投影表面上并且用户可以通过做出手势来与游戏交互。例如，用户可以做出扫掠运动以射出虚拟武器。当用户与游戏交互时，计算设备可以输出远程触觉效果。在一个这样的实施例中，计算设备可以使用一个或多个触觉输出设备来输出确认用户交互的检测的远程触觉效果。例如，在一个实施例中，计算设备包括诸如被配置成向用户的手投出一股气体(例如空气)的触觉输出设备。当用户利用他的或她的手来做出手势时，计算设备发射一股气体以确认它已检测到该手势。
在一些实施例中，投影用户界面可以包括可以被配置成控制远程触觉效果是否将被输出的图标。在一个这样的实施例中，这个图标可以包括微件，诸如用户可以与其交互以打开或关闭远程触觉效果的按钮、标志或图标。另外，在一些实施例中，用户也许能通过将图标设定在特定位置中(例如，通过将虚拟开关推送到特定点或将虚拟标志拉出/推送到特定位置)来使触觉效果的强度变化。在一些实施例中，当用户与这个微件交互时，本公开的计算设备可以被配置成输出远程触觉效果。
在一些实施例中，计算设备可以部分地基于投影表面的拓扑或内容来变更投影图像或投影用户界面。在一些实施例中，计算设备可以包括用于确定投影表面的拓扑或内容的传感器(例如相机、深度传感器或距离传感器)。在一个这样的实施例中，部分地基于传感器信号，计算设备可以确定并且投影新的图像或用户界面。例如，在一个实施例中，基于传感器信号，计算设备可以确定投影表面包括Immersion徽标。在这样的实施例中，计算设备可以将与Immersion徽标相关联的新的用户界面投影到投影表面上。另外，在一些实施例中，计算设备可以部分地基于传感器信号来确定远程触觉效果。例如，在一个实施例中，计算设备可以确定投影表面包括单词“INTENSE VIBRATION(强烈振动)”。作为响应，在一些实施例，计算设备可以输出包括强烈振动的远程触觉效果。
在一些实施例中，计算设备可以将用户界面投影到与特定表面不相关联的空间(例如，与全息图相关联的空间)中。在这样的实施例中，计算设备可以包括用于确定用户与投影用户界面交互的传感器，例如，深度传感器、相机或距离传感器。在一个这样的实施例中，部分地基于传感器信号，计算设备可以确定并且输出远程触觉效果。在一些实施例中，计算设备可以确定信号并且将它发射到可穿戴设备，诸如领带，所述可穿戴设备向用户输出触觉效果。在其它实施例中，计算设备可以例如通过向用户辐射固体、液体、气体、等离子体或压力波来向用户直接输出远程触觉效果。例如，在一个实施例中，当用户与全息投影用户界面交互时，计算设备可以确定用户的手指已越过虚拟按钮。作为响应，在一些实施例中，计算设备可以确定包括水的喷出的远程触觉效果，并且向用户输出该远程触觉效果。
触觉启用的投影用户界面的优点
存在具有触觉启用的投影用户界面的许多优点。随着用户航行于投影用户界面而提供触觉反馈可以允许用户做出状态确定(例如，确定设备所处于的模式)，而不必实际上集中于投影表面。因此，用户也许能维持集中于其它任务。例如，用户也许能做出关于投影界面上的可用操作的确定，而不必实际上集中于投影表面。类似地，远程触觉效果可以用作操作是可用的、已完成或具有一定程度的重要性的确认。
另外，提供触觉反馈可以允许投影开关替换常规开关。这可以允许投影用户界面作为多功能控制器。它可以进一步允许基于投影的设备被用在先前未用的地方中。这可以降低费用，并且提高总体用户满意度。
一般考虑事项
上面所讨论的方法、系统以及设备是示例。各种配置可以酌情省略、取代或者添加各种过程或组件。例如，在替代配置中，可以以与所描述的次序不同的次序执行这些方法，和/或可以添加、省略和/或组合各种阶段。并且，可以在各种其它配置中组合相对于特定配置所描述的特征。可以以相似方式组合配置的不同方面和元件。并且，技术进化，进而许多元件是示例并且不限制本公开或权利要求的范围。
在本说明书中给出了特定细节以提供对示例配置(包括实施方式)的彻底理解。然而，可以在没有这些特定细节的情况下实践这些配置。例如，已在没有不必要细节的情况下示出了众所周知的电路、过程、算法、结构以及技术以便避免使这些配置混淆。本描述仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反地，配置的前面描述将给本领域的技术人员提供用于实现描述的技术的实现描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置做出各种改变。
而且，可以将配置描述为被描绘为流程图或框图的过程。尽管每个可以将操作描述为顺序过程，但是能够并行地或同时执行许多操作。此外，可以重新布置操作的次序。过程可以具有未包括在图中的附加步骤。此外，方法的示例可以由硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实现。当用软件、固件、中间件或微码加以实现时，用来执行必要任务的程序代码或代码段可以被存储在诸如存储介质的非暂时性计算可读介质中。处理器可以执行所描述的任务。
已经描述了数个示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造以及等同物。例如，上述元件可以是更大系统的组件，其中其它规则可以优先于或者以其它方式修改本发明的应用。并且，可以在考虑上述元件之前、期间或之后着手许多步骤。因此，上述描述不约束权利要求的范围。
在本文中使用“适于”或“被配置成”意思为不排除适于或被配置成执行附加的任务或步骤的开放式且包括性语言。附加地，“基于”的使用意在为开放式且包括性的，因为“基于”一个或多个记载的条件或值的过程、步骤、计算或其它动作在实践中可以基于超过所记载的那些的附加条件或值。包括在本文中的标题、列表以及编号仅为了易于说明，并且不意在为限制性的。
依照本主题的这些方面的实施例能够用数字电子电路、用计算机硬件、固件、软件或者用前述各项的组合加以实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或者能够访问计算机可读介质，诸如耦合至处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行包括传感器采样例行程序、选择例行程序以及其它例行程序的一个或多个计算机程序以执行上面所描述的方法。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这样的处理器可以进一步包括可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)，或其它相似的设备。
这样的处理器可以包括可以存储指令的媒体(例如有形计算机可读媒体)或者可以与媒体通信，所述指令当由处理器执行时，能够使处理器像由处理器所执行或帮助的那样执行本文中所描述的步骤。计算机可读媒体的实施例可以包括但不限于能够给处理器(诸如web服务器中的处理器)提供计算机可读指令的电子、光学、磁或其它存储设备。媒体的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学媒体、所有磁带或其它磁媒体，或计算机处理器能够从其读取的任何其它介质。并且，各种其它设备可以包括计算机可读媒体，诸如路由器、专用网络或公用网络或其它传输设备。所描述的处理器和处理可以在一个或多个结构中，并且可以通过一个或多个结构来分散。处理器可以包括用于执行本文中所描述的方法中的一个或多个(或方法的各部分)的代码。
虽然已经相对于其特定实施例详细地描述了本主题，但是应当了解，本领域的技术人员在获得对前述各项的理解后，可以容易地产生对这样的实施例的变更、变化以及等同物。因此，应该理解，本公开已被呈现用于示例而不是限制的目的，并且不排除包括如对于本领域的普通技术人员而言将是容易地显而易见的对本主题的这些修改、变化和/或添加。

Claims (20)

1.一种系统，包括：
传感器，所述传感器被配置成：检测与投影用户界面的用户交互，以及发射反映所述用户交互的传感器信号，所述投影用户界面被投影到表面上；
与所述传感器通信的处理器，所述处理器被配置成：
接收所述传感器信号；
基于来自至少一个传感器的至少一个传感器信号来确定所述表面的特性；
至少部分地基于所述用户交互和所述表面的所述特性来确定远程触觉效果；
至少部分地基于所述远程触觉效果来生成触觉信号；以及
发射所述触觉信号；以及
与所述处理器通信的触觉输出设备，所述触觉输出设备被配置成：接收所述触觉信号，以及输出所述远程触觉效果。
2.根据权利要求1所述的系统，所述传感器包括以下中的一个或多个：相机、加速度计、深度传感器或距离传感器。
3.根据权利要求1所述的系统，还包括投影仪。
4.根据权利要求1所述的系统，所述触觉输出设备还被配置成：将所述远程触觉效果输出到所述表面上。
5.根据权利要求4所述的系统，所述触觉输出设备被直接耦合至所述表面。
6.根据权利要求1所述的系统，所述触觉输出设备位于所述表面的远程。
7.根据权利要求6所述的系统，所述触觉输出设备被直接地耦合至用户。
8.根据权利要求6所述的系统，所述触觉输出设备与被配置成由用户穿戴的设备相关联。
9.根据权利要求1所述的系统，所述远程触觉效果包括以下中的一个或多个：振动；纹理；摩擦系数的改变；温度的改变；或固体、液体、气体、等离子体或声音压力波中一个或多个的辐射。
10.根据权利要求1所述的系统，所述触觉输出设备包括以下中的一个或多个：超声换能器、扬声器、喷射器、压电启动器、电动机、电磁启动器、语音线圈、形状记忆合金、电活性聚合物、螺线管、电旋转质量电机或线性谐振启动器。
11.根据权利要求1所述的系统，所述特性包括对振动的表面反应的指示。
12.根据权利要求1所述的系统，所述特性包括所述表面的拓扑。
13.一种方法，包括：
接收反映与投影用户界面的用户交互的传感器信号，所述投影用户界面被投影到表面上；
基于来自至少一个传感器的至少一个传感器信号来确定所述表面的特性；
至少部分地基于所述传感器信号和所述表面的特性来确定远程触觉效果；
至少部分地基于所述远程触觉效果来生成触觉信号；以及
将与所述远程触觉效果相关联的触觉信号发射到触觉输出设备。
14.根据权利要求13所述的方法，所述传感器还包括以下中的一个或多个：相机、加速度计、深度传感器或距离传感器。
15.根据权利要求13所述的方法，所述触觉输出设备位于所述表面的远程。
16.根据权利要求15所述的方法，所述触觉输出设备被直接地耦合至用户。
17.根据权利要求15所述的方法，所述触觉输出设备与被配置成由用户穿戴的设备相关联。
18.一种包括程序代码的非暂时性计算机可读介质，所述程序代码当由处理器执行时被配置成使所述处理器：
接收反映与投影用户界面的用户交互的传感器信号，所述投影用户界面被投影到表面上；
基于来自至少一个传感器的至少一个传感器信号来确定所述表面的特性；
至少部分地基于所述传感器信号和所述表面的特性来确定远程触觉效果；
至少部分地基于所述远程触觉效果来生成触觉信号；以及
将与所述远程触觉效果相关联的所述触觉信号发射到触觉输出设备。
19.根据权利要求18所述的非暂时性计算机可读介质，所述远程触觉效果包括以下中的一个或多个：振动；纹理；温度的改变；摩擦系数的改变；或固体、液体、气体、等离子体或声音压力波中一个或多个的辐射。
20.根据权利要求18所述的非暂时性计算机可读介质，所述触觉输出设备包括以下中的一个或多个：超声换能器、扬声器、喷射器、压电启动器、电动机、电磁启动器、语音线圈、形状记忆合金、电活性聚合物、螺线管、电旋转质量电机或线性谐振启动器。
CN201410840715.8A 2013-12-30 2014-12-30 用于触觉启用的投影用户界面的系统和方法 Active CN104914987B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/143,675 US9965034B2 (en) 2013-12-30 2013-12-30 Systems and methods for a haptically-enabled projected user interface
US14/143,675 2013-12-30

Publications (2)

Publication Number Publication Date
CN104914987A CN104914987A (zh) 2015-09-16
CN104914987B true CN104914987B (zh) 2019-12-10

Family

ID=52272942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410840715.8A Active CN104914987B (zh) 2013-12-30 2014-12-30 用于触觉启用的投影用户界面的系统和方法

Country Status (5)

Country Link
US (2) US9965034B2 (zh)
EP (1) EP2889717B1 (zh)
JP (2) JP6504809B2 (zh)
KR (1) KR20150079471A (zh)
CN (1) CN104914987B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831982B2 (en) 2009-10-14 2020-11-10 Iplcontent, Llc Hands-free presenting device
US9400549B2 (en) 2013-03-08 2016-07-26 Chi Fai Ho Method and system for a new-era electronic book
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP6413372B2 (ja) * 2014-06-11 2018-10-31 オムロン株式会社 操作ユニットおよび遊技機
US9530302B2 (en) * 2014-11-25 2016-12-27 Vivint, Inc. Keypad projection
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
US10591869B2 (en) * 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects
US9928696B2 (en) * 2015-12-30 2018-03-27 Immersion Corporation Externally-activated haptic devices and systems
US10197408B1 (en) 2016-01-05 2019-02-05 Open Invention Network Llc Transport parking space availability detection
KR101938276B1 (ko) * 2016-11-25 2019-01-14 건국대학교 글로컬산학협력단 입체 영상 표시장치
JP7298809B2 (ja) 2016-07-15 2023-06-27 ライト フィールド ラボ、インコーポレイテッド ２次元、ライトフィールドおよびホログラフィックリレーによるエネルギー伝搬および横方向アンダーソン局在
CN106814810A (zh) * 2017-01-13 2017-06-09 深圳市合智智能科技有限公司 基于无线传输的触觉式智能穿戴系统
CN106843391A (zh) * 2017-01-13 2017-06-13 深圳市合智智能科技有限公司 基于多维感应的触觉式智能穿戴系统
CN106846944B (zh) * 2017-03-28 2019-04-09 郑州本格计算机科技有限公司 一种基于蓝牙通信的交互式全息早教系统及其方法
EP3737980A4 (en) 2018-01-14 2021-11-10 Light Field Lab, Inc. SYSTEMS AND METHODS FOR LOCATING TRANSVERSE ENERGY IN ENERGY RELAYS USING ORDERED STRUCTURES
CN115430062A (zh) 2018-01-14 2022-12-06 光场实验室公司 光场视力矫正装置
US10831274B2 (en) * 2018-05-07 2020-11-10 International Business Machines Corporation Changing tactile sensitivity of interactions with midair interfaces
KR102136461B1 (ko) * 2018-07-27 2020-07-21 (주)휴맥스 스마트 디바이스 및 그 제어 방법
US11087582B2 (en) * 2018-10-19 2021-08-10 Igt Electronic gaming machine providing enhanced physical player interaction
US10775894B2 (en) * 2018-11-02 2020-09-15 Immersion Corporation Systems and methods for providing customizable haptic playback
US11305209B2 (en) 2019-03-07 2022-04-19 Universal City Studios Llc Actuatable surface techniques
TWI723544B (zh) * 2019-09-17 2021-04-01 宏碁股份有限公司 浮空操控裝置、浮空操控裝置之操作方法及互動顯示系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705541A (zh) * 2002-10-21 2005-12-07 Fsi国际公司 具有触觉传感器的机器人的教导
CN102236463A (zh) * 2010-04-23 2011-11-09 英默森公司 透明复合压电组合的触摸传感器和触觉致动器

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298544A (ja) * 1999-04-12 2000-10-24 Matsushita Electric Ind Co Ltd 入出力装置と入出力方法
GB0012275D0 (en) * 2000-05-22 2000-07-12 Secr Defence Brit Three dimensional human computer interface
WO2003050754A1 (en) 2001-12-12 2003-06-19 Koninklijke Philips Electronics N.V. Display system with tactile guidance
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
US7684016B1 (en) 2003-08-15 2010-03-23 Schaefer Philip R Method and apparatus for measuring distances using light
US20070159453A1 (en) * 2004-01-15 2007-07-12 Mikio Inoue Mobile communication terminal
US8405618B2 (en) 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP2007295375A (ja) 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 投影映像補正装置及び投影映像補正プログラム
WO2008123500A1 (ja) 2007-03-30 2008-10-16 National Institute Of Information And Communications Technology 空中映像インタラクション装置及びそのプログラム
US8059101B2 (en) * 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US8031172B2 (en) * 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
KR20100039024A (ko) 2008-10-07 2010-04-15 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8593409B1 (en) * 2008-10-10 2013-11-26 Immersion Corporation Method and apparatus for providing haptic feedback utilizing multi-actuated waveform phasing
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US9696803B2 (en) * 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US8378797B2 (en) * 2009-07-17 2013-02-19 Apple Inc. Method and apparatus for localization of haptic feedback
US8531485B2 (en) 2009-10-29 2013-09-10 Immersion Corporation Systems and methods for compensating for visual distortion caused by surface features on a display
US20120327006A1 (en) 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
KR101841121B1 (ko) * 2011-02-17 2018-05-04 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어방법
US20120274545A1 (en) * 2011-04-28 2012-11-01 Research In Motion Limited Portable electronic device and method of controlling same
JP5392302B2 (ja) 2011-06-10 2014-01-22 ブラザー工業株式会社 現像カートリッジ
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
US8830188B2 (en) * 2011-06-21 2014-09-09 Microsoft Corporation Infrastructural haptics on wall scale interactive displays
US20130021234A1 (en) 2011-07-21 2013-01-24 Frederick Umminger Apparatus, system, and method for providing feedback sensations of temperature and texture to a controller
US20130229396A1 (en) 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US8988373B2 (en) * 2012-04-09 2015-03-24 Sony Corporation Skin input via tactile tags
US9262068B2 (en) * 2012-05-31 2016-02-16 Opportunity Partners Inc. Interactive surface
US20130329183A1 (en) * 2012-06-11 2013-12-12 Pixeloptics, Inc. Adapter For Eyewear
US9046925B2 (en) * 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
US9430098B2 (en) * 2012-12-17 2016-08-30 Apple Inc. Frequency sensing and magnification of portable device output
US9053435B2 (en) * 2013-09-17 2015-06-09 Xamarin Inc. Generating application models based on discovery based machine learning
US9671826B2 (en) 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP6664069B2 (ja) 2013-12-31 2020-03-13 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚コンテンツを伴う視点動画を記録及び再生するシステム並びに方法
US10613627B2 (en) 2014-05-12 2020-04-07 Immersion Corporation Systems and methods for providing haptic feedback for remote interactions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1705541A (zh) * 2002-10-21 2005-12-07 Fsi国际公司 具有触觉传感器的机器人的教导
CN102236463A (zh) * 2010-04-23 2011-11-09 英默森公司 透明复合压电组合的触摸传感器和触觉致动器

Also Published As

Publication number Publication date
EP2889717A1 (en) 2015-07-01
JP6504809B2 (ja) 2019-04-24
US20150185841A1 (en) 2015-07-02
EP2889717B1 (en) 2019-08-28
US20180292905A1 (en) 2018-10-11
US10656715B2 (en) 2020-05-19
US9965034B2 (en) 2018-05-08
JP2019149175A (ja) 2019-09-05
JP2015127962A (ja) 2015-07-09
CN104914987A (zh) 2015-09-16
KR20150079471A (ko) 2015-07-08

Similar Documents

Publication Publication Date Title
CN104914987B (zh) 用于触觉启用的投影用户界面的系统和方法
US10488931B2 (en) Systems and methods for pressure-based haptic effects
US10540003B2 (en) Head mounted display device and method for controlling the same
JP6553136B2 (ja) タッチ感応表面上でのマルチ圧力相互作用のためのシステムと方法
US20180052556A1 (en) System and Method for Feedforward and Feedback With Haptic Effects
US10474238B2 (en) Systems and methods for virtual affective touch
JP2019192268A (ja) 近接感知による触覚的効果
US20140139451A1 (en) Systems and Methods For Providing Mode or State Awareness With Programmable Surface Texture
KR20150069545A (ko) 햅틱 디스플레이 파라미터들의 광학적 전송을 위한 시스템 및 방법
US20150193103A1 (en) User terminal apparatus and control method thereof
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
EP3367216A1 (en) Systems and methods for virtual affective touch

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant