CN105094311B - 用于基于视口的增强现实触觉效果的系统和方法 - Google Patents
用于基于视口的增强现实触觉效果的系统和方法 Download PDFInfo
- Publication number
- CN105094311B CN105094311B CN201510224738.0A CN201510224738A CN105094311B CN 105094311 B CN105094311 B CN 105094311B CN 201510224738 A CN201510224738 A CN 201510224738A CN 105094311 B CN105094311 B CN 105094311B
- Authority
- CN
- China
- Prior art keywords
- virtual object
- haptic
- display
- user
- computing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000694 effects Effects 0.000 title claims abstract description 214
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000003190 augmentative effect Effects 0.000 title abstract description 88
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims description 33
- 239000011521 glass Substances 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 8
- 239000007789 gas Substances 0.000 claims description 7
- 239000007788 liquid Substances 0.000 claims description 7
- 239000007787 solid Substances 0.000 claims description 7
- 241000238631 Hexapoda Species 0.000 claims description 4
- 230000008859 change Effects 0.000 description 15
- 230000035939 shock Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 239000004033 plastic Substances 0.000 description 3
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- -1 canvas Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229920001410 Microfiber Polymers 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000003658 microfiber Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了用于基于视口的增强现实触觉效果的系统和方法。本文中公开的说明性系统包括显示器，该显示器被配置为接收显示信号和输出图像；和图像捕捉设备，该图像捕捉设备被配置为捕捉区域图像和传送图像信号。该说明性系统还包括与图像捕捉设备和显示器通信的处理器，该处理器被配置为：接收图像信号；部分基于图像信号确定虚拟对象；部分基于图像信号确定显示信号，其中显示信号包括与虚拟对象相关联的数据；至少部分基于虚拟对象确定触觉效果；和传送与触觉效果相关联的触觉信号。该说明性系统进一步包括触觉输出设备，该触觉输出设备被配置为接收触觉信号和输出触觉效果。
Description
技术领域
本发明涉及用户接口设备领域。更具体地说，本发明涉及基于视口的增强现实触觉效果。
背景技术
随着基于计算机的系统变得更加普遍，接口的质量也变得越来越重要，人类通过接口与这些系统交互。一种常见类型的用户接口是增强现实用户接口。增强现实接口典型地允许用户经由显示器，观看已经利用虚拟内容补充(“增强”)的相机数据。该虚拟内容可以包括文本、图像、或者声音，其可以向用户提供关于与相机数据相关联的场景的方面的附加信息。通过包括触觉能力可以改进增强现实接口。
发明内容
本公开的实施例包括计算设备，该计算设备包含基于视口的增强现实触觉效果。在一个实施例中，本公开的系统可以包含显示器，该显示器被配置为接收显示信号和输出图像；和图像捕捉设备(例如，相机)，该图像捕捉设备被配置为捕捉区域图像和传送图像信号。该系统还可以包含与图像捕捉设备和显示器通信的处理器，该处理器被配置为：接收图像信号；部分基于图像信号确定虚拟对象；部分基于图像信号确定显示信号，其中显示信号包含与虚拟对象相关联的数据；至少部分基于虚拟对象确定触觉效果；和传送与触觉效果相关联的触觉信号。该系统进一步可以包含触觉输出设备，该触觉输出设备被配置为接收触觉信号和输出触觉效果。
在另一个实施例中，本公开的方法可以包括：接收图像信号，其中图像信号包含区域图像；部分基于图像信号确定虚拟对象；部分基于图像信号确定显示信号，其中显示信号包含与虚拟对象相关联的数据；和将显示信号传送到显示器，其中显示器被配置为输出图像。该方法可以进一步包含至少部分基于虚拟对象确定触觉效果；将与触觉效果相关联的触觉信号传送到触觉输出设备；和输出触觉效果。再一个实施例包含用于实现这种方法的计算机可读介质。
这些说明性实施例被提及并不用以限制或者定义本主题的限制，而是提供示例以帮助其理解。在具体实施方式中讨论说明性实施例，以及在那里提供进一步描述。可通过解释该说明书和/或通过实践所请求主题的一个或多个实施例来进一步理解通过各种实施例提供的优点。
附图说明
在说明书的剩余部分更具体地陈述全面和实现公开。该说明书参照下述附图。
图1是示出根据一个实施例的用于基于视口的增强现实触觉效果的系统的框图；
图2示出用于基于视口的增强现实触觉效果的系统的实施例；
图3示出用于基于视口的增强现实触觉效果的系统的另一个实施例；
图4示出根据一个实施例的用于基于视口的增强现实触觉效果的系统；
图5示出根据另一个实施例的用于基于视口的增强现实触觉效果的系统；
图6是根据一个实施例的用于执行用于提供基于视口的增强现实触觉效果的方法的步骤的流程图；和
图7示出根据另一个实施例的用于基于视口的增强现实触觉效果的系统。
具体实施方式
现在将详细地参照各种和替代说明性实施例以及附图。每个示例均通过解释提供并且不作为限制。对于本领域内技术人员将是显而易见的是，可以做出各种修改和变体。例如，作为一个实施例的部分说明的或者描述的特征可用在另一个实施例中以产生又一个进一步实施例。如此，该公开旨在包括所附权利要求和其等同物的范围内的修改和变体。
基于视口的增强现实触觉效果的说明性示例
本公开的一个说明性实施例包含移动设备，诸如智能手机。移动设备包含触摸屏显示器、存储器、相机和与这些元件中的每一个通信的处理器。触摸屏显示器包含视口。视口包含显示数据(例如，文本或者图像)的屏幕范围。在一些实施例中，视口可以包含屏幕的整个区域。
在说明性实施例中，移动设备还包含增强现实应用。增强现实应用经由显示器，输出已经利用诸如文本或者图像的虚拟内容补充(“增强”)的相机数据。虚拟内容可以是静态的或者动画的。在说明性实施例中，用户可以执行增强现实应用和使用移动设备的相机以利用移动设备捕捉图像。例如，用户可以定向移动设备，使得相机捕捉住宅的房间的图像。在这种实施例中，增强现实应用从相机接收图像数据并将该数据输出到触摸屏显示器。在一些实施例中，该图像数据可以被实时更新，例如，增强现实应用可以继续从相机接收更新的图像数据。在一些实施例中，用户可以感知相机数据，好像用户正通过显示器看着。
在说明性实施例中，用户可以选择虚拟对象以包括在增强现实应用中。例如，用户可以从与增强现实应用相关联的目录选择与一件家具相关联的虚拟对象。在这种实施例中，增强现实应用在触摸屏显示器中生成家具的图形表示。例如，增强现实应用可以生成家具的三维(3D)虚拟表示，允许用户经由触摸屏显示器观看房间中的家具。进一步，在说明性实施例中，用户可以使用应用来观看不同位置中的和具有不同定向、比例和颜色的虚拟对象(例如，家具的图像)。如此，在说明性实施例中，设计者、经销商、零售商或者其他卖家可以提供增强现实应用和目录以允许用户在购买之前选择和观看商品。在其他实施例中，增强现实应用可以被用于向用户提供关于例如公司、产品或者位置的附加信息(例如，地址，价格信息，历史信息，教育信息，或者评论)；和/或从通过相机捕捉的场景添加、修改或者移除对象(例如，人们，动物，建筑物，景观特征，机动车)。
在说明性实施例中，用户可以通过在触摸屏上做手势(例如，手指挥动或者接触触摸屏上显示的对象)来改变图像或者虚拟对象。如上所述，在说明性实施例中，增强现实应用将虚拟对象层加在相机的数据上。在说明性实施例中，通过改变设备的定向或者通过在触摸屏显示器上做手势，用户可以更改位置、定向、比例、颜色或者与虚拟对象相关联的其他因素。这可以允许用户感知各个位置中适当的虚拟对象(例如，一件家具在各个房间可以看起来怎么样)。
在说明性实施例中，移动设备进一步包含触觉输出设备。触觉输出设备从移动设备接收信号并将触觉效果输出到用户。在说明性实施例中，触觉效果可以包含模拟的纹理、震动、或者感知的摩擦系数的改变。进一步，在说明性实施例中，触觉输出设备输出远离移动设备的触觉效果(下文中称为“远程触觉效果”)。例如，通过在用户的方向上发射集中压力波，或者通过在用户处从喷嘴发射固体、液体或者气体，触觉输出设备可以输出远程触觉效果。替代地，在一些实施例中，触觉输出设备可以从移动设备分离。例如，触觉输出设备可以与可穿戴物品(例如，袖子、手表、手链、衣服、夹克、眼镜、手套、戒指、头带、帽子或者鞋子)相关联，并通信地耦合到移动设备(例如，经由网络连接、蓝牙连接、或者某个其他有线或者无线连接)。
在说明性实施例中，移动设备被配置为一旦事件发生就经由触觉输出设备输出触觉效果。如本文中所用的事件是任何的交互、动作、碰撞、或者可以潜在地包含关联的触觉效果的设备的操作期间发生的其他事件。在说明性实施例中，事件包含虚拟对象的存在(例如，虚拟家具的存在)，与移动设备的交互(例如，倾斜或者移动移动设备，与触摸屏显示器交互)，移动设备中的状态的改变，接收数据，发送数据，程序活动(例如，游戏活动)，与虚拟对象交互，虚拟对象的移动(例如，虚拟对象的移动或者弹跳)，和/或虚拟对象的比例、位置、定向、颜色或者其他特性的改变。
例如，在说明性实施例中，当用户与虚拟对象交互(例如，通过触摸与虚拟家具相关联的位置或者触摸与虚拟对象相关联的真实空间中的区域)，或者在触摸屏显示器的表面上做手势(例如，改变虚拟家具的颜色、尺寸或者定向)时，移动设备输出效果。进一步，触觉效果可以与虚拟对象相关联。例如，在说明性实施例中，当用户与和虚拟家具相关联的触摸屏的位置交互时，移动设备确定与和虚拟家具相关联的材料(例如，木头，玻璃，金属或者塑料)相关联的触觉效果，并输出与那些材料的一个或多个相关联的触觉效果(例如，触觉效果被配置为向用户模拟材料的纹理)。作为另一个示例，在说明性实施例中，如果用户触摸与一件虚拟家具相关联的真实空间中的区域，那么移动设备输出远程触觉效果，包含例如，被发射到用户的手的背面的一股空气。用户可以感知远程触觉效果，好像用户正在与真实空间中的虚拟对象交互。
上面仅仅提供说明性实施例的描述作为示例。文本中描述本发明的各种其他实施例，并且本领域内技术人员将理解这些实施例的变体。通过检查该说明书和/或通过实践所请求保护主题的一个或多个实施例，可进一步理解通过各种实施例提供的优点。
用于基于视口的增强现实触觉效果的说明性系统
图1是示出根据一个实施例的用于基于视口的增强现实触觉效果的系统100的框图。在所示的实施例中，系统100包含计算设备101，计算设备101具有经由总线106与其他硬件通信的处理器102。计算设备101可以包含，例如，智能手机、平板电脑、电子阅读器、笔记本计算机、便携式游戏设备、头带式显示器或者眼镜。
存储器104含有配置计算设备101的操作的程序组件，存储器104可以包含任何适当的有形(和非暂时性)计算机可读介质，诸如RAM、ROM、EEPROM，或者类似物。在所示的实施例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112、和储存器114。
网络设备110可以表示易于网络连接的任何组件的一个或多个。示例包括，但不限于，诸如以太网、USB、IEEE 1394的有线接口，和/或诸如IEEE 802.11、蓝牙或者用于访问蜂窝电话网络的无线电接口(例如，用于访问CDMA、GSM、UMTS、或者其他移动通信网络的收发器/天线)的无线接口。
I/O组件112可以用于易于有线或者无线连接到设备，设备诸如一个或多个显示器134、游戏控制器、键盘、鼠标、控制杆、相机、按钮、扬声器、麦克风和/或用于输入数据或者输出数据的其他硬件。储存器114表示非易失性储存器，诸如被包括在设备101中或者耦合到处理器102的磁性、光学或者其他储存介质。
系统100进一步包括触摸感应表面116，在该示例中其被集成到计算设备101中。触摸感应表面116表示被配置为感测用户的触觉输入的任何表面。一个或多个触摸传感器108被配置为当对象接触触摸感应表面116时检测触摸区域中的触摸，并提供处理器102所用的恰当数据。任何适当数量、类型或者布置的传感器均可以使用。例如，电阻式和/或电容式传感器可嵌入在触摸感应表面116中并用于确定触摸的位置和其他信息，诸如压力、速度和/或方向。作为另一个示例，具有触摸感应表面116的视野的光学传感器可用于确定触摸方位。
在其他实施例中，触摸传感器108可以包含LED检测器。例如，在一个实施例中，触摸感应表面116可以包含安装在显示器134的侧面的LED手指检测器。在一些实施例中，处理器102与单一触摸传感器108通信，在其他实施例中，处理器102与多个触摸传感器108通信，例如，第一触摸屏和第二触摸屏。触摸传感器108被配置为检测用户交互，并基于用户交互将信号传送到处理器102。在一些实施例中，触摸传感器108可以被配置为检测用户交互的多个方面。例如，触摸传感器108可以检测用户交互的速度和压力，并将该信息合并到接口信号中。
触摸感应表面116可以包含或者不包含(或者另行对应于)显示器134，取决于系统100的具体配置。一些实施例包括组合触摸感应表面116和设备的显示器134的触摸启用显示器。触摸感应表面116可以对应于外部的显示器134或者实际显示器134组件上的一个或多个材料层。在其他实施例中，计算设备101包含触摸感应表面116，其被映射到显示器134中提供的图形用户接口，显示器134被包括在接口到计算设备101的系统100中。
进一步，系统100包含相机130。虽然相机130在图1中被描述为在计算设备101的内部，但是在一些实施例中，相机130可在计算设备101的外部并与计算设备101通信。例如，相机130可在计算设备101的外部并经由诸如以太网、USB、IEEE 1394的有线接口和/或诸如IEEE 802.11、蓝牙或者无线电接口的无线接口与计算设备101通信。相机130被配置为捕捉区域的一个或多个图像(下文中称为“区域图像”)。区域图像包含空间和/或空间内一个或多个对象的图像，例如，诸如住宅内的房间或者商店内部的室内区域，或者诸如公园或者街道的室外区域。相机130进一步被配置为传送与图像相关联的相机130信号到处理器102。进一步，在一些实施例中，系统100可以包含多个相机130。在一些实施例中，处理器102可以基于来自于一个或多个相机130的信号，确定图像和/或显示信号以输出到显示器134。例如，在一些实施例中，处理器102可以基于来自于多个相机130的信号，确定包含场景的3D表示的图像以输出到显示器134。
在所示实施例中，计算设备101包含一个或多个附加传感器132。在一些实施例中，传感器132可以包含，例如陀螺仪、加速计、全球定位系统(GPS)单元、测距传感器或者深度传感器。在一些实施例，陀螺仪、加速计和GPS单元可以分别检测计算设备101的定向、加速度和位置。在一些实施例中，相机、距离传感器和/或深度传感器可以检测计算设备101与外部对象(例如，用户的手、头部、胳膊、脚部或者腿部；另一个人；机动车；树木；建筑物；家具)之间的距离。在一些实施例中，计算设备301可以基于该距离生成具有属性的虚拟对象(例如，定向、颜色、比例或者位置)。在一些实施例中，处理器102可以与单一传感器132通信，以及在其他实施例中，处理器102可以与多个传感器132通信，例如，陀螺仪和加速计。传感器132被配置为将传感器132信号传送到处理器102。
系统100进一步包括与处理器102通信的触觉输出设备118。触觉输出设备118被配置为响应于触觉信号而输出效果。在一些实施例中，触觉输出设备118被配置为输出触觉效果，包括例如，震动、感知的摩擦系数的改变、模拟的纹理、表面变形和/或一股固体、液体或者气体。
在一些实施例中，触觉输出设备118可以通过震动计算设备101或者计算设备101的组件，例如，触摸感应表面116或者显示器134来输出触觉效果。在这种实施例中，触觉输出设备118可以包含被配置为输出震动的触觉输出设备，例如，压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、离心旋转质量电机(ERM)或者线性谐振器(LRA)。
在一些实施例中，触觉输出设备118可以被配置为输出远程触觉效果。在一些实施例中，触觉输出设备118可以包含，例如，从计算设备101向用户发射诸如固体、液体、气体或者等离子体的材料的扬声器或者喷嘴。在一些实施例中，触觉输出设备118可以使用多个超声换能器以朝着用户发射集中压力波。
在一些实施例中，触觉输出设备118可以经由用户正在接触的表面输出触觉效果。例如，在一些实施例中，计算设备101可以被安置在用户正在接触的表面上(例如，地面、书桌、椅子或者桌子)。触觉输出设备118可以通过震动、移动、倾斜或者变形表面来输出触觉效果。例如，在一些实施例中，计算设备101可以被安置在用户正在接触的桌子上。在一些实施例中，触觉输出设备118可以通过震动桌子来输出触觉效果。在一些实施例中，用户能够经由桌子感知触觉效果。
在图1中所示的实施例中，触觉输出设备118与处理器102通信，并且在计算设备101的内部。在其他实施例中，触觉输出设备118可以远离计算设备101，但是通信地耦合到处理器102。例如，触觉输出设备118可以在计算设备101外部并且经由诸如USB、IEEE 1394的有线接口，和/或诸如IEEE 802.11、蓝牙或者无线电接口的无线接口与计算设备101通信。在一些实施例中，触觉输出设备118可以耦合到远离计算设备101的可穿戴设备。在一些实施例中，可穿戴设备可以包含鞋子、袖子、夹克、眼镜、手套、戒指、手表、腕带、手链、衣服、帽子、头带和/或首饰。可穿戴设备可以与用户的身体的一部分相关联，例如，用户的手指、胳膊、手、脚部、腿部、头部或者其他身体部分。
在一些实施例中，触觉输出设备118可以被设置在计算设备101外部的对象(未示出)内，例如，盒子、棒子、书本或者智能手机。在一些实施例中，触觉输出设备118可以经由外部对象输出触觉效果。例如，在一些实施例中，外部对象可以确定(例如经由蓝牙或GPS)外部对象是否在与计算设备101一定距离(例如，1米)内。在一些实施例中，如果外部设备是与计算设备101一定距离(例如，1米)，那么外部对象可以经由触觉输出设备118输出触觉效果。
在一些实施例中，触觉输出设备118可以被配置为响应于触觉信号而输出模拟纹理或者调节触摸感应表面116上感知的摩擦系数的触觉效果。在一个这种实施例中，触觉输出设备118可以包含超声致动器。超声致动器可以超声频率震动，例如20KHz，增加或者减少触摸感应表面116的表面处感知的系数。进一步，超声致动器可以包含压电材料。
在其他这种实施例中，触觉输出设备118可以使用静电吸引，例如通过使用静电表面致动器，以输出模拟纹理或者调节触摸感应表面116上感知的摩擦系数的触觉效果。在这种实施例中，静电致动器可以包含导电层和绝缘层。导电层可以是任何半导体或者其他导电材料，诸如铜、铝、金或者银。绝缘层是玻璃、塑料、聚合物或者任何其他绝缘材料。而且，处理器102可以通过将例如由高压放大器生成的AC信号的电信号应用到导电层，操作静电致动器。在一些实施例中，电信号可以电容地耦合导电层与触摸感应表面116附近或者接触触摸感应表面116的对象(例如，用户的手指、头部、脚部、胳膊、肩膀、腿部或者其他身体部分，或者触笔)。在一些实施例中，改变对象和导电层之间的吸引水平可以改变跨过触摸感应表面116的表面移动的对象上模拟的纹理。
在一些实施例中，触觉输出设备118可以包括变形设备，该变形设备被配置为通过变形触摸感应表面116的表面或者计算设备101的另一个表面来输出触觉效果。在这种实施例中，触觉输出设备118可以包含智能凝胶，其通过改变硬度、体积、透明度和/或颜色来响应刺激或多个刺激。在一些实施例中，硬度可以包含触摸感应表面116对变形的阻力。在一个这种实施例中，一个或多个电线可嵌入在或者耦合到智能凝胶。随着电流穿过电线，热量被散发，使智能凝胶膨胀或者收缩，变形触觉输出设备118。在其他实施例中，触觉输出设备118可以包含耦合到胳膊的旋转变形组件的致动器。致动器可以包含压电致动器、旋转/线性致动器、螺线管、电活性聚合物致动器、微纤维复合(MFC)致动器、形状记忆合金(SMA)致动器和/或其他致动器。随着致动器旋转变形组件，变形组件可以移动触觉输出设备118的表面，使其变形。在一些实施例中，触觉输出设备118可以是触摸感应表面116的外壳的一部分。在其他实施例中，触觉输出设备118可以被封装在覆盖触摸感应表面116的柔性外壳内。
虽然这里所示为单一触觉输出设备118，但是一些实施例可以使用相同类型或者不同类型的多个触觉输出设备以提供触觉反馈。一些触觉效果可以利用耦合到设备的外壳的致动器，以及一些触觉效果可以依次或者一齐使用多个致动器。例如，在一些实施例中，多个震动致动器或者气体喷嘴可以被单独或者一齐使用以提供不同的触觉效果。
转到存储器104，程序组件124、126和128被描述以示出在一些实施例中设备可以被怎么配置以提供基于视口的增强现实触觉效果。在该示例中，检测模块124配置处理器102以经由触摸传感器108来监视触摸感应表面116，以确定触摸的方位。例如，模块124可以采样触摸传感器108，以追踪触摸存在或者不存在，以及如果触摸存在，那么在一段时间内追踪触摸的位置、路径、速度、加速度、压力和/或其他特性中的一个或多个。
触觉效果确定模块126表示分析数据以确定将生成的触觉效果的程序组件。具体来说，触觉效果确定模块126可以包含基于触摸感应表面116上触摸的位置确定要输出的触觉效果的代码，和选择要提供的以模拟效果的一个或多个触觉效果的代码。例如，不同触觉效果可以基于触摸的位置来选择以在显示器134上模拟虚拟对象(例如，虚拟家具、机动车、动物、卡通形象、按钮、杠杆、标志或者人)的存在。进一步，在一些实施例中，触觉效果确定模块126可以包含基于虚拟对象的尺寸、颜色、位置、移动和/或其他特性确定要输出的触觉效果的代码，和选择要提供的以模拟效果的一个或多个触觉效果的代码。例如，触觉效果可以基于虚拟对象的颜色来选择(例如，如果虚拟对象是红的那么强烈震动，以及如果虚拟对象是绿的那么较弱震动)。
在一些实施例中，触觉效果确定模块126可以基于事件确定触觉效果。如本文中所使用的事件是任何交互、动作、碰撞或者可以潜在地包含相关联的触觉效果的设备的操作期间发生的其他事件。在一些实施例中，事件可以包含虚拟对象的存在(例如，虚拟家具的存在)，与移动设备的交互(例如，倾斜或者移动移动设备，或者与触摸感应表面116的交互)，移动设备的状态的改变，接收数据，发送数据，程序活动(例如，游戏活动)，与虚拟对象交互，虚拟对象的移动(例如，虚拟对象的移动或者弹跳)，和/或虚拟对象的比例、位置、定向、颜色或者其他特性的改变。例如，在一些实施例中，增强现实应用可以包含其中用户操控虚拟化身通过虚拟空间的游戏。在一些实施例中，如果用户的虚拟化身打击虚拟空间中的对象(例如，用户家的虚拟表示中的家具)，增强现实应用可以确定被配置为模拟碰撞的触觉效果。例如，触觉效果确定模块126可以确定触觉效果，包含具有与化身和虚拟对象之间的冲击速度成比例的量级的震动。就是说，化身和虚拟对象之间的冲击速度越高，那么震动的量级越高。
在其他实施例中，触觉效果确定模块126可以至少部分基于从传感器132接收到的传感器信号确定触觉效果。传感器132可以包含，例如，相机或者深度传感器。在一些实施例中，处理器102可以从传感器132接收传感器信号并确定计算设备101和用户或者用户的身体的一部分(例如，手或者手指)之间的距离。基于该确定，触觉效果确定模块132可以确定远程触觉效果。例如，在一个这种实施例中，处理器102可以使用配置为输出一股空气的触觉输出设备来确定要输出到用户的脚部的触觉效果。在这种实施例中，处理器102可以从传感器132接收传感器信号和基于那些信号确定计算设备101和用户的脚部之间的距离(例如，1米)。触觉效果确定模块126可以至少部分基于确定的距离确定触觉效果。
触觉效果生成模块128表示使处理器102将触觉信号传送到触觉输出设备118以生成所选的触觉效果的编程。例如，触觉效果生成模块128可以访问储存的波形或者命令以发送到触觉输出设备118。作为另一个示例，触觉效果生成模块128可以包含确定触觉信号的算法。触觉效果生成模块128可以包含确定用于触觉效果的目标坐标的算法。这些目标坐标可以包含，例如，触摸感应表面116上的位置。
图2示出了用于基于视口的增强现实触觉效果的系统的实施例。在该示例中，系统包含计算设备201。在一些实施例中，计算设备201可以包含平板电脑、一体机、智能电话、电子阅读器、笔记本计算机、台式计算机、便携式游戏设备、眼镜、头戴式显示器、和/或其他电子设备。在图2中所示的实施例中，计算设备201包含触摸屏显示器206。
计算设备201进一步包含相机(未示出)。在一些实施例中，相机可以在计算设备201的内部。例如，相机被安置在计算设备201的前面、后面或者侧面。在其他实施例中，相机可以在计算设备201的外部并与计算设备201有线或者无线通信。在又一个实施例中，计算设备201可以包含多个相机，其可以在计算设备201的内部和/或外部。
计算设备201包含增强现实应用。在图2中所示的实施例中，增强现实应用允许用户捕捉相机数据并改变与相机数据相关联的对象的颜色。例如，如图2中所示，用户可以使用调色板208调整对象的颜色。
如图2中所示，用户已经定向计算设备201以捕捉与汽车相关联的相机数据。用户可以与调色板208交互，通过例如跨过触摸屏显示器206的表面滑动用户的手指或者触笔(例如，利用挥动或者两个手指挤压)。进一步，在一些实施例中，通过抖动、倾斜或者另行移动计算设备201，用户可以与调色板208交互。在这种实施例中，加速计或者陀螺仪可以检测用户交互并将与用户交互相关联的传感器信号传送到处理器。
计算设备201可以基于事件的发生确定并输出触觉效果。事件可以包括时间推移；虚拟对象的颜色、比例、定向或者位置的改变；或者与计算设备201的用户交互(例如，倾斜或者移动计算设备201，与触摸屏显示器206交互或者与诸如按钮或者控制杆的其他用户接口设备交互)。触觉效果可以包含震动、感知的摩擦系数的改变、或者模拟的纹理。在一些实施例中，模拟的纹理可以包含金属、玻璃、塑料、木头、橡胶、帆布、沙子、碎石、水泥、草地和/或其他纹理。例如，在一个实施例中，随着用户将手指放在包含汽车204的显示器206上的位置上，计算设备201输出包含模拟的金属纹理的触觉效果。在另一个实施例中，触觉效果可以包含表面变形，例如，提升或者降低触摸屏显示器206的一部分。例如，在一个实施例中，随着用户将手指放在包含汽车204的显示器206上的位置上，计算设备201输出包含表面变形的触觉效果，其中包含汽车周边的触摸屏显示器206的一部分被提升。
在一些实施例中，计算设备201可以至少部分基于相机数据(例如，实时或者接近实时相机数据)确定触觉效果。例如，在一些实施例中，计算设备201可以基于通过相机捕捉的图像中的数据确定触觉效果。在一个这种实施例中，计算设备确定相机数据包含汽车的图像并输出相关联的触觉效果。例如，计算设备可以输出被配置为模仿汽车引擎的轰鸣的触觉效果(例如，震动)。在一些实施例中，该触觉效果可定期(例如，每两分钟)输出。
在一些实施例中，计算设备201可以至少部分基于来自其他传感器(例如，GPS设备、加速计、陀螺仪、倾斜计、深度传感器或者测距检测器)的数据输出触觉反馈。例如，在一些实施例中，处理器可以部分基于用户的位置确定触觉效果。在一些实施例中，用户可以捕捉街道上汽车的图像。在这种实施例中，计算设备201可以经由GPS设备，确定与汽车和位置相关联的用户的位置和显示数据。例如，计算设备201可以向运送汽车的最近汽车代理商提供通知，以及关于汽车的其他信息(例如，年代、型号或者价格)。在一些实施例中，计算设备201可以输出与汽车相关联的触觉效果。例如，在一个实施例中，触觉效果包含具有与用户和汽车代理商之间的距离成反比的量级的震动。
作为另一个示例，在一些实施例中，用户可以捕捉餐馆的图像。在这种实施例中，计算设备201可以经由GPS设备确定与餐馆相关联的用户的位置和显示数据。例如，计算设备可以提供具有关于餐馆的信息(例如，所有者、菜单、预定选择、餐馆时间、网站、烹饪类型或者评论)的通知。在一些实施例中，计算设备201可以输出与餐馆相关联的触觉效果。例如，在一个实施例中，触觉效果包含具有与餐馆的评论等级(满分五颗星)成比例的量级的震动。
在一些实施例中，计算设备201可以分析相机的数据，并基于该分析，将虚拟对象(例如，人们、动物、家具、街道、碎石、沙子、植物、建筑物、地毯、昆虫或者车辆)添加到通过相机捕捉的场景。例如，在一些实施例中，计算设备201可以分析相机的数据并确定通过相机捕捉的场景包括汽车204。基于该分析，计算设备201可以将虚拟对象添加到包含例如汽车206下面的道路的场景。在一些实施例中，随着用户移动手指跨过包含道路的区域上触摸屏显示器206的表面，计算设备201可以输出触觉效果，包含显示器206的表面上感知的摩擦系数的增加。在其他实施例中，计算设备201可以将虚拟汽车添加到场景，例如，使得用户可以比较通过相机捕捉的汽车与其他机动车品牌和型号。在一些实施例中，随着用户在虚拟汽车型号之间切换，例如，通过挥动手指跨过触摸屏显示器206的表面，计算设备201可以输出包含确认用户输入的接收的震动的触觉效果。在一些实施例中，计算设备201可以将虚拟树木添加到场景。在一些实施例中，随着用户移动手指跨过包含树木的区域上触摸屏显示器206的表面，计算设备201可以输出包含与树皮或者树叶相关联的模拟的纹理的触觉效果。
在一些实施例中，计算设备201可以基于事件的发生和/或相机数据输出除了触觉效果之外的声音、文本和/或视频。在一些实施例中，声音、文本和/或视频可以与虚拟对象相关联。例如，一旦事件(例如，用户与虚拟汽车交互)发生，计算设备201就可以输出触觉效果和声音(例如，喇叭按动)。
图3示出了用于基于视口的增强现实触觉效果的系统的另一个实施例。在该示例中，系统包含计算设备301，其包括具有显示器306的智能手机或者平板电脑。
计算设备301包含被安置在计算设备301的背面上的相机(未示出)。进一步，计算设备301包含增强现实应用。增强现实应用可以在显示器306上输出虚拟对象304，例如，虚拟帽子、眼镜、卡通形象、机动车、家具、按钮、杠杆、建筑物、植物、和/或动物。在一些实施例中，增强现实应用可以将虚拟对象304放置在显示器306上的各种位置的一个中，例如，在显示器的角落或者中间，或者在与相机数据相关联的位置中(例如，通过相机捕捉的书架、汽车、住宅、动物或人的顶端)。进一步，在一些实施例中，增强现实应用可以基于显示器306中虚拟对象304的位置在哪而改变虚拟对象304的定向、比例、颜色和/或其他特性。
在图3中所示的实施例中，增强现实应用在通过相机捕捉的对象上生成虚拟对象304。例如，在图3中所示的实施例中，用户已经将手308放置在相机的视野内，以及增强现实应用已经在用户的手上生成包含虚拟企鹅的虚拟对象304。
在一些实施例中，计算设备301可以基于虚拟对象304和/或事件的发生来输出触觉效果。在一些实施例中，触觉效果可以基于虚拟对象304的移动、颜色、位置、定向、比例或者存在。例如，在图3中所示的实施例中，计算设备301可以输出与虚拟企鹅的移动相关联的触觉效果，例如，在用户的手308上行走。在这种实施例中，随着虚拟企鹅迈步，计算设备301可以输出触觉效果，例如，通过计算设备301的外壳的震动。
进一步，在一些实施例中，计算设备301可以输出远程触觉效果。如上所述，例如，通过来自喷嘴的一股固体、液体、气体或者等离子体，通过来自超声换能器阵列的集中压力波，或者通过耦合到与用户的身体部分相关联的可穿戴设备的触觉输出设备，远程触觉效果可以包含远离计算设备301输出的触觉效果。例如，在一些实施例中，触觉效果可以与虚拟对象304和用户之间的交互相关联。例如，在图3中所示的实施例中，随着虚拟企鹅在用户的右手308上移动，计算设备301可以输出用户的手308处定向的远程触觉效果。该远程触觉效果可以包含，例如，朝着用户的手308上的位置其中虚拟对象已经“迈步”的地方，发射的气压或者集中压力波。在这种实施例中，用户可以感知一股气体或者集中压力波，好像虚拟对象308正在实际接触用户的手308。作为另一个示例，在一些实施例中，计算设备301可以包含前置相机。在一些实施例中，用户能够使用增强显示应用以将虚拟对象304(例如，超级英雄面具)放在用户的身体上，例如，用户的脸上。随着用户操控虚拟对象304，计算设备301可以输出在用户的脸部处定向的远程触觉效果。该远程触觉效果可以包含，例如，朝着用户的脸部发射的气压或者集中压力波。在这种实施例中，用户可以感知一股气体或者集中压力波，好像虚拟对象308正在实际接触和/或移动跨过用户的脸部。
在一些实施例中，系统可以包含远离计算设备301但是与计算设备301通信的触觉输出设备。例如，触觉设备可以耦合到与用户的身体的一部分(例如，用户的手指、胳膊、手、脚部、腿部或者头部)相关联的可穿戴设备(例如，鞋子、袖子、夹克、眼镜、手套、戒指、手表、手链、腕带、头带、衣服、帽子和/或首饰)。计算设备301可以经由远程触觉输出设备将远程触觉效果(例如，震动)输出到用户。
例如，在一些实施例中，用户可以穿戴包含与计算设备301通信的一个或多个触觉输出设备的可穿戴设备。随着用户操控虚拟对象304，计算设备301可以经由可穿戴设备输出远程触觉效果。例如，在一些实施例中，用户可以正戴着包含一个或多个触觉输出设备的头带。在一些实施例中，计算设备301可以包含前置相机，以及用户能够使用增强现实应用以“试穿”虚拟衣服。例如，在一个这种实施例中，用户可以将帽子添加到与用户的头部相关联的相机数据。随着用户经由增强现实应用操控虚拟帽子，计算设备301可以通过头带输出远程触觉效果(例如，震动)以模拟操控用户的头部上帽子的感觉。在另一个实施例中，用户可以正在玩包含视频游戏的增强现实应用。例如，用户正在玩视频游戏，其中用户可以射击手腕式、未来虚拟激光枪。增强现实应用可以将虚拟激光枪添加到与用户的手腕相关联的相机数据。在一些实施例中，用户可以感知虚拟激光枪，好像其在用户的手腕上。进一步，用户正戴着包含一个或多个触觉输出设备的腕带。随着用户开动虚拟激光枪，计算设备301可以经由腕带输出远程触觉效果(例如，震动)。在一些实施例中，远程触觉效果可以模拟开动激光枪的感觉。
图4示出了根据一个实施例的用于基于视口的增强现实触觉效果的系统。在该示例中，系统包含计算设备401，计算设备401包含具有显示器402的智能手机。计算设备401进一步包含被安置在计算设备401的背面上的相机(未示出)和增强现实应用。在图4中所示的实施例中，增强现实应用涉及装饰或者修复。在一些实施例中，这种应用可以允许用户虚拟地从房间添加或者移除墙壁，改变房间的墙壁颜色和/或向房间添加或者移除家具。
在图4中所示的实施例中，用户已经将相机指向浴室，以及计算设备401正在显示器402上输出来自与浴室相关联的相机的数据。在图4中所示的实施例中，增强现实应用允许用户向浴室添加或者移除虚拟家具或者固定装置。在该示例中，用户已经选择将虚拟淋浴404添加到用户的浴室。
在一些实施例中，计算设备401可以基于虚拟对象(例如，虚拟淋浴404)和/或响应于不同的事件，输出不同类型的触觉效果。例如，在一个实施例中，用户可以选择用于虚拟淋浴的不同瓷砖。此后，如果用户移动手指跨过显示器402，计算设备401输出与显示器402的表面上瓷砖相关联的纹理或者感知的摩擦系数的改变。
在一些实施例中，计算设备401可以经由相机、深度传感器和/或测距传感器中的一个或多个，检测通过相机捕捉的区域中的用户的手势。在一些实施例中，基于该数据，计算设备可以使用户能够和与虚拟对象相关联的区域交互，例如，用户可以与虚拟淋浴的龙头交互。在这种实施例中，计算设备401可以输出与用户交互相关联的远程触觉效果。例如，计算设备401可以输出包含用户的手指的后面处一股空气或者通过震动触觉使能的可穿戴设备(例如，戒指或者手表)的远程触觉效果。在一些实施例中，该触觉反馈可以确认输入手势的接收或者模拟与虚拟对象的交互。例如，在图4中所示的实施例中，与虚拟淋浴的龙头交互可以将虚拟淋浴“打开”。在这种实施例中，当虚拟淋浴打开时，计算设备401可以显示虚拟水从虚拟淋浴头部流出并且输出相关联的触觉效果。例如，计算设备401可以经由计算设备401的外壳输出包含轻微震动的触觉效果以模拟流水的感觉。
在一些实施例中，计算设备401可以被配置为被戴在用户的头上或者脸上，例如，作为头盔或者眼镜。在一些实施例中，计算设备401可以包含显示器402，例如，头戴式显示器(HMD)。在一些实施例中，显示器402可以是透明的。进一步，计算设备401包含增强现实应用。增强现实应用可以在显示器402上输出虚拟对象。在一些实施例中，一旦事件发生，计算设备401就可以输出触觉效果，例如，震动或者远程触觉效果(例如，经由可穿戴设备或者一股气体)。例如，在一些实施例中，计算设备401可以包含头盔。头盔可以包含被安置的相机以捕捉用户的前面或者后面的图像。计算设备401可以将相机图像输出到显示器402。进一步，在一些实施例中，计算设备401输出覆盖相机图像的虚拟对象(例如，虚拟淋浴404)。在一些实施例中，一旦用户和与虚拟对象相关联的真实空间中的区域交互，计算设备401就可以输出与交互相关联的触觉效果。例如，一旦用户触摸与虚拟对象相关联的真实空间中的区域，计算设备401就可以输出包含例如朝着用户的手指的一股气体的触觉效果。头戴式显示器的附加示例可以被发现在美国专利申请No.14/106275中，其请求美国临时专利申请No.61/909797的优先权，这两件申请通过引用被全文并入。
图5示出了根据另一个实施例的用于基于视口的增强现实触觉效果的系统。在该示例中，系统包含计算设备501，计算设备501包含具有显示器506的智能手机。
计算设备501包含被安置在计算设备501的背面的相机(未示出)。在该示例中，用户已经将相机指向其上有公司名称的盒子，以及计算设备501正在显示器506上输出来自与盒子相关联的相机的数据。计算设备501进一步包含增强现实应用。在图5中所示的实施例中，增强现实应用分析相机数据并确定与公司相关联的数据是否存在，例如，公司的标志、名称或者产品。如果与公司相关联的数据存在，那么增强现实应用输出与公司相关联的虚拟对象。例如，增强现实应用可以输出与公司相关联的虚拟标志。虚拟标志可以包含公司的标志的2D或者3D表示。
在图5中所示的实施例中，增强现实应用已经分析与盒子相关联的数据，确定公司名称Immersion存在，以及输出包含Immersion标志的虚拟标志508。在其他实施例中，增强现实应用可以分析产品(例如，汽车、帽子、电话、计算机、平板电脑、家具或者服装)，确定与产品相关联的公司(例如，
)，以及输出与公司相关联的虚拟标志508。例如，在一些实施例中，应用可以检测某些产品特征(例如，产品的尺寸、形状、颜色、和/或材料)和/或产品上的标志以确定与产品相关联的公司。
在一些实施例中，计算设备501可以基于虚拟对象和/或响应于不同事件而输出不同类型的触觉效果。在一些实施例中，计算设备508一旦显示虚拟标志508就可以立刻或者在某个时间延迟(例如，两分钟之后，或者重复地每两分钟)之后输出触觉效果。在其他实施例中，当用户触摸包含虚拟标志508的显示器506上的位置时，计算设备501可以输出触觉效果(例如，震动、纹理、或者感知的摩擦系数的改变)。
在一些实施例中，用户能够伸出并触摸与虚拟标志508的位置相关联的真实空间中的位置。作为响应，计算设备501可以输出远程触觉效果，例如，一股气体、集中压力波，或者通过激活耦合到可穿戴设备的触觉输出设备。在一些实施例中，例如，通过震动计算设备501的外壳，计算设备501可以附加地或者替代地输出本地触觉效果。在一些实施例中，触觉效果可以提供用户输入的确认或者提供与虚拟标志508的更大交互性。
在一些实施例中，计算设备501可以输出与公司的产品或者品牌相关联的触觉效果。例如，公司可以关联某个触觉效果或者触觉效果系列与具体产品或者品牌。在一些实施例中，一旦用户与公司的虚拟标志508交互，计算设备501就可以输出与公司相关联的触觉效果。例如，在一些实施例中，Immersion可以关联其品牌和包含三个短脉冲震动的触觉效果。一旦用户与Immersion的虚拟标志508交互，计算设备501就可以确定并输出该触觉效果。在一些实施例中，确定触觉效果可以包含访问与标志相关联的触觉效果的本地和/或远程数据库。
用于提供基于视口的增强现实触觉效果的说明性方法
图6是根据一个实施例的用于执行提供基于视口的增强现实触觉效果的方法的步骤的流程图。在一些实施例中，图6中的步骤可以被实现在通过处理器执行的程序代码中，例如，通用计算机、移动设备或者服务器中的处理器。在一些实施例中，这些步骤可以通过一组处理器来实现。在一些实施例中，图6中所示的一个或多个步骤可以被省略或者以不同的次序来执行。类似地，在一些实施例中，也可以执行图6中未示出的附加步骤。下面的步骤参照关于图1中所示的系统100的上述组件来描述。
当处理器102接收图像信号时，方法600在步骤602处开始。图像信号可以与来自相机130的数据相关联(例如，相机130的视场的区域图像)。例如，在一些实施例中，图像可以包含城市街道的图像。在这种实施例中，图像可以包含城市街道上常见的特征(例如，建筑物、汽车、街道标记、或者人们)。
当处理器102部分基于图像信号确定虚拟对象时(例如，虚拟机动车、化身、或者家具)，方法600在步骤604处继续。在一些实施例中，虚拟对象可以包含与通过相机130捕捉的图像相关联的数据。例如，在一些实施例中，虚拟对象可以包含与图像中商店或者餐馆相关联的数据。在这种实施例中，虚拟对象可以包含图像中餐馆的菜单。
当处理器102部分基于图像信号确定显示信号时，方法600在步骤606处继续。显示信号包含与虚拟对象相关联的数据。在一些实施例中，显示信号包含覆盖通过相机130捕捉的图像的虚拟对象数据。例如，在一些实施例中，显示信号可以包含覆盖通过相机130捕捉的图像中餐馆的菜单数据。
当处理器102将显示信号传送到显示器时，方法600在步骤608处继续。显示器被配置为输出与显示信号相关联的图像。例如，显示器可以输出包含覆盖餐馆的图像的菜单数据的图像。
当处理器102确定与虚拟对象的用户交互时，方法600在步骤610处继续。在一些实施例中，处理器102可以经由来自传感器108的信号，确定与虚拟对象相关联的位置处触摸感应表面116的表面上的用户交互。例如，在一些实施例中，如果用户在与虚拟对象相关联的位置处触摸感应表面116上敲击手指，那么处理器102可以确定与虚拟对象(例如，虚拟菜单)的用户交互。在一些实施例中，处理器102可以经由来自传感器132的信号确定用户交互(例如，倾斜或者移动计算设备)。例如，在一些实施例中，一旦用户触摸与虚拟对象相关联的真实空间中的点(例如，与虚拟汽车相关联的真实空间中的点)，处理器102就可以确定用户交互。
当处理器102确定触觉效果时方法600在步骤612处继续。在一些实施例中，处理器102可以至少部分基于下述的一个或多个来确定触觉效果：虚拟对象、来自相机130的图像信号、事件或者触觉简档(profile)。在一些实施例中，处理器102可以依靠触觉效果确定模块126中含有的编程来确定触觉效果。在一些实施例中，触觉效果确定模块126可以包含查找表。在一些实施例中，处理器102可以使用查找表来关联事件与具体触觉效果(例如，纹理)。
例如，在一个实施例中，事件是基于游戏活动(例如，射击、完成程度、或者爆炸)。在这种实施例中，增强现实应用可以输出虚拟对象(例如，虚拟汽车)，用户可以控制虚拟对象以完成某些目的(例如，成功地在行人周围操纵汽车)。随着用户完成目的，计算设备101可以确定关联的触觉效果。
在一些实施例中，用户可以具有“触觉简档”，其中用户可以在存储器104中确定并保存用户想要与具体事件相关联的触觉效果的“简档”。例如，在一个实施例中，用户可以从可用的触觉效果列表选择并关联这些触觉效果中的一个与通过增强现实应用输出的虚拟对象。在一些实施例中，列表可以包含，例如，诸如一股空气、强烈震动、轻微震动的触觉效果，或者诸如崎岖不平、橡胶状或者光滑的纹理。在一些实施例中，处理器102可以与用户的触觉简档协商以确定生成哪个触觉效果。例如，如果用户的触觉简档将与虚拟对象的交互和强烈震动相关联，那么响应于用户将手指放在虚拟对象上的触摸屏显示器上，处理器102可以确定包含强烈震动的触觉效果。
当处理器102将触觉信号传送到触觉输出设备118时方法在步骤614处继续。触觉信号至少部分基于触觉效果。在一些实施例中，处理器102可以访问存储器104中储存的与具体触觉效果相关联的驱动信号。在一个实施例中，信号是通过访问储存的算法并输入与效果相关联的参数来生成的。例如，在这种实施例中，算法可以基于幅度和频率参数输出用于生成驱动信号的数据。作为另一个示例，第二触觉信号可以包含发送到致动器的数据以通过致动器解码。例如，致动器自身可以对指定诸如幅度和频率的参数的命令做出响应。
当触觉输出设备118输出触觉效果时方法600在步骤614处继续。触觉输出设备118接收触觉信号并输出触觉效果。在一些实施例中，触觉效果包含震动、感知的摩擦系数的改变、模拟的纹理、表面变形、集中压力波、和/或一股固体、液体、气体或者等离子体。
用于基于视口的增强现实触觉效果的系统的附加实施例
图7示出了根据另一个实施例的用于基于视口的增强现实触觉效果的系统。在该示例中，系统700包含被安置在表面706(例如，地面)上的计算设备702。计算设备702包含显示器708和相机710。在该示例中，计算设备702包括一体机。
计算设备702进一步包含增强现实应用。在一些实施例中，增强现实应用可以被配置为生成与用户704相关联的虚拟对象712。在一些实施例中，增强现实应用可以被配置为生成与计算设备702外部的物理对象714(例如，盒子、书本、棒子、卡片、码块、立方体、智能电话、椅子或者钢笔)相关联的虚拟对象712。例如，在一些实施例中，用户704可以夹持物理对象714。计算设备702可以检测物理对象714(例如，经由相机710)和/或确定物理对象714的特性。在一些实施例中，计算设备702可以基于确定的特性生成虚拟对象712。
在一些实施例中，物理对象708可以包含与计算设备702通信的触觉输出设备。一旦事件发生，计算设备702就可以经由物理对象714将触觉效果输出到用户704。例如，在一些实施例中，用户可以在相机710前面夹持物理对象714(例如，棒子)。物理对象714可以包含触觉输出设备。计算设备702可以包含增强现实应用，该增强现实应用被配置为生成与物理对象714相关联的虚拟对象(例如，从棒子的尾部发射的火花)。在一些实施例中，一旦事件发生(例如，用户抖动棒子)，计算设备702可以进一步经由物理对象714输出触觉效果(例如，震动)。
例如，在一些实施例中，用户704可以夹持包括例如卡片的物理对象714。卡片可以包括与计算设备702通信的触觉输出设备。一旦事件发生，计算设备702就可以经由卡片输出触觉效果。例如，用户704可以将卡片放在相机710的前面。计算设备702可以包含增强现实应用，该增强现实应用被配置为生成被安置在卡片顶端的虚拟对象712。例如，在一些实施例中，增强现实应用可以生成被安置在卡片的顶端上的虚拟汽车。随着用户704与虚拟汽车交互(例如，通过打开或者关闭汽车的虚拟门或者启动汽车的虚拟引擎)，计算设备702可以经由卡片中的触觉输出设备输出触觉效果到用户。例如，触觉效果可以被配置为模拟汽车门的打开或者关闭，或者汽车的引擎的轰鸣。
进一步，在一些实施例中，用户704可以接触计算设备702外部的表面706(例如，地面、书桌、椅子或者桌子)。在一些实施例中，一旦事件发生，计算设备702可以经由表面706将触觉效果输出到用户704。例如，在一些实施例中，计算设备702可以输出被配置为震动、倾斜或者移动用户704正在接触的表面706(例如，用户704正站在或者坐在其上)的触觉效果。在一些实施例中，表面706可以包含与计算设备702通信的触觉输出设备。计算设备702可以经由触觉输出设备输出触觉效果。在其他实施例中，计算设备702可以输出通过表面706传播的触觉效果(例如，震动)，以使用户704可以感知触觉效果。例如，在一些实施例中，物理对象714可以包含书本，以及计算设备702可以包含，例如，一体机、电视、计算机或者游戏系统。用户704可以正在相机710前面夹持书本。在一些实施例中，计算设备702可以包含增强现实应用，该增强现实应用被配置为生成与书本相关联的虚拟对象712，例如，与书本相关联的虚拟角色。在一些实施例中，一旦用户704与虚拟角色交互，计算设备702就可以经由表面706输出触觉效果，例如，用户704正站在其上的地面。例如，在一些实施例中，计算设备702可以震动地面以便用户704可以感知触觉效果。
进一步，在一些实施例中，计算设备702可以分析相机数据并确定与物理对象714相关联的信息(例如，其制造商、尺寸、形状、内容、颜色或者定向)。在一些实施例中，计算设备702可以基于确定的信息输出触觉效果。例如，在一些实施例中，用户704可以在与计算设备702相关联的相机710前面夹持包含例如玩具盒子的物理对象714。计算设备702可以确定与玩具盒子相关联的信息，例如，玩具盒子含有玩具直升机。在一些实施例中，计算设备702可以包含增强现实应用，该增强现实应用被配置为生成与物理对象714相关联的虚拟对象712，例如，玩具盒子内的玩具的3D模型(例如，玩具直升机)。进一步，在一些实施例中，计算设备702可以基于确定的信息输出触觉效果。例如，在物理对象包括玩具直升机的上述实施例中，计算设备702可以输出包含被配置为模拟飞行中的直升机的低沉轰鸣震动的触觉效果。在一些实施例中，计算设备702可以经由用户704正站在其上的表面706输出触觉效果。在其他实施例中，计算设备702可以经由玩具盒子内的触觉输出设备输出触觉效果。
基于视口的增强现实触觉效果的优点
具有基于视口的增强现实触觉效果有许多优点。随着用户经由增强现实应用与虚拟对象交互而提供触觉反馈可以允许用户更加真实地感知虚拟对象的方面，从而增加整体用户满意度。例如，在一些实施例中，增强现实应用可以输出覆盖相机数据的虚拟老虎。一旦事件发生，诸如用户移动手指跨过与虚拟老虎相关联的触摸屏显示器区域，计算设备可以输出模拟皮毛的纹理。作为结果，用户可以感知更加真实的虚拟老虎。
进一步，将触觉反馈增加到基于视口的增强现实可以对于品牌导致改进的营销。例如，在一些实施例中，增强现实应用可以输出包括例如公司标志的虚拟对象，以及一旦事件发生，输出与标志相关联的触觉反馈。这可以使用户识别具有品牌的触觉效果，强化品牌。进一步，这些实施例可以提供更加身临其境和增强的营销体验。
在一些实施例中，基于视口的增强现实触觉效果可以向用户提供确认。例如，在一些实施例中，增强现实应用可以输出包含按钮的虚拟对象。随着用户和与按钮相关联的真实空间中的位置交互，计算设备可以向用户的手指的背部输出触觉效果(例如，集中压力波)，从而确定按钮按压。在一些实施例中，确认的触觉反馈可以提供增强的用户体验。
在一些实施例中，将触觉反馈增加到基于视口的增强现实可以向用户提供附加的信息。例如，在一些实施例中，增强现实应用可以输出包含摩托车的虚拟对象。用户能够通过跨过显示屏幕挥动手指来切换摩托车模型。一旦切换摩托车模型，在一些实施例，增强现实应用就可以基于当前显示的摩托车模型中引擎的马力来输出具有量级和/或持续时间的震动。如此，作为触觉效果的结果，用户可以感知关于虚拟对象(例如，虚拟摩托车)的附加信息。
一般考虑
上述讨论的方法、系统和设备是示例。各种配置酌情可以省略、替换或者添加各种步骤或者组件。例如，在替代的配置中，方法可以不同于上述的次序来执行，和/或各个阶段可以被添加、省略和/或组合。同样，关于某些配置描述的特征可以被组合在各种其他配置中。配置的不同方面和元件可以类似的方式被组合。同样，技术发展，如此，很多元件是示例并且不限制本公开或者权利要求的范围。
描述中给出特定细节以提供示例配置(包括实现)的深入理解。然而，在没有这些特定细节的情况下可以实现该配置。例如，在没有不必要细节的情况下公知电路、处理、算法、结构和技术已经被示出，以避免模糊配置。该描述仅仅提供示例配置，并且不限制权利要求的范围、应用或者配置。而是，配置的前面描述将向本领域技术人员提供用于实现所述技术的实现描述。在不脱离本公开的精神或者范围的情况下可以在元件的功能和布置中做出各种改变。
同样，配置可以被描述为作为流程图或者框图描述的处理。虽然每个可以将操作描述为顺序处理，但是很多操作可以被平行地或者同时地执行。此外，操作的次序可以被重新安排。处理可以具有图中未包括的附加步骤。而且，方法的示例可以通过硬件、软件、固件、中间件、微码、硬件说明语言、或者任何其组合来实现。当被实现在软件、固件、中间件或者微码中时，执行必要任务的程序代码或者代码段可以被储存在诸如储存介质的非易失性计算机可读介质中。处理器可以执行所述任务。
在不脱离本公开的精神的情况下，可以使用具有所述的几个示例配置、各种修改、替代结构和等同物。例如，上述元件可以是较大系统的组件，其中其他规则可以优先于本发明的应用或者以其他方式修改本发明的应用。同样，在上述元件被考虑之前、期间或者之后许多步骤可以被执行。因此，上述描述不限制权利要求的范围。
本文中“适于”或者“配置为”的使用意为开放和包含的语言，不排除适于或者配置为执行附加任务或者步骤的设备。附加地，“基于”的使用意在开放和包含的，因为“基于”一个或多个列举的条件或者价值的处理、步骤、计算或者其他动作，在实践中可以基于超过那些列举的附加条件或者价值。本文中包括的标题、列表和编号仅仅用于易于解释，而不意在限制。
根据本主题的方面的实施例可以被实现在数字电子电路中、计算机硬件、固件、软件或者前述的组合中。在一个实施例中，计算机可以包含一个处理器或者多个处理器。处理器包含或者访问计算机可读介质，诸如耦合到处理器的随机访问存储器(RAM)。处理器运行存储器中储存的计算机可运行程序指令，诸如运行一个或多个计算机程序，包括传感器采样程序、选择程序和执行上述方法的其他例程。
这些处理器可以包含微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和状态机。这样的处理器可以进一步包含可编程电子设备，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电子可编程只读存储器(EPROM或者EEPROM)，或者其他类似设备。
这样的处理器可以包含，或者可以与例如有形计算机可读介质的介质通信，介质可以储存当通过处理器执行或者通过处理器辅助时可以使处理器执行如本文中执行的所述步骤的指令。计算机可读介质的实施例可以包含，但不限于，能够提供处理器的所有电子、光学、磁性或者其他储存设备，诸如具有计算机可读指令的web服务器中的处理器。介质的其他示例包含，但不限于，软盘、CD-ROM、磁盘、记忆棒、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或者其他磁性介质，或者计算机处理器可以从其读取的任何其他介质。同样，各种其他设备可以包含计算机可读介质，诸如路由器、私有的或者公共的网络、或者其他传输设备。所述处理器和处理可以在一个或多个结构中，以及可以被分散在一个或多个结构中。处理器可以包含用于执行本文中所述的方法中一个或多个(或者部分方法)的代码。
已经关于其特定实施例详细描述了本主题，然而本领域内技术人员将领会到，一旦获得前面的理解可以容易地产生这些实施例的更改、变体和等同。因此，应该理解本公开已经被呈现用于示例目的而不是限制，并且不排除包含对于本领域内普通技术人员将是显而易见的本主题的这样的修改、变体和/或添加。
Claims (18)
1.一种系统，包括：
显示器，所述显示器被配置为接收显示信号和输出图像；
图像捕捉设备，所述图像捕捉设备被配置为捕捉区域图像和传送与所述区域图像对应的图像信号；
处理器，所述处理器与所述图像捕捉设备和所述显示器通信，所述处理器被配置为：
接收所述图像信号；
确定第一虚拟对象，该第一虚拟对象是在所述区域图像中描绘的物理对象的图形表示；
部分基于所述第一虚拟对象确定第二虚拟对象；
通过添加所述第二虚拟对象并且将所述第二虚拟对象覆盖在所述区域图像之上，来部分基于所述图像信号确定所述显示信号；
将所述显示信号传送到所述显示器；
检测与所述第二虚拟对象的交互；
响应于检测到与所述第二虚拟对象的交互，确定触觉效果，所述触觉效果被配置为模拟所述第二虚拟对象的特性；
传送与所述触觉效果相关联的触觉信号；和
触觉输出设备，所述触觉输出设备被配置为接收所述触觉信号和输出所述触觉效果。
2.根据权利要求1所述的系统，所述显示器包含触摸屏显示器。
3.根据权利要求1所述的系统，所述第二虚拟对象包含：机动车、自行车、家具、昆虫、建筑物、住宅、动物、人、计算设备、卡通角色、标志、或者植物。
4.根据权利要求1所述的系统，所述触觉输出设备被耦合到配置为由用户穿戴的物品。
5.根据权利要求4所述的系统，所述物品包括：袖子、手表、手链、腕带、衣服、夹克、眼镜、手套、戒指、头带、帽子、或者鞋子。
6.根据权利要求1所述的系统，所述触觉效果包含下述中一个或者多个：震动，模拟的纹理，感知的摩擦系数的改变，或者固体、液体、气体、等离子体、或集中压力波中的一种或多种的发射。
7.根据权利要求1所述的系统，至少部分基于所述交互的特性来进一步地确定所述触觉效果。
8.一种方法，包含：
接收图像信号，所述图像信号包含区域图像；
确定第一虚拟对象，该第一虚拟对象是在所述区域图像中描绘的物理对象的图形表示；
部分基于所述第一虚拟对象确定第二虚拟对象；
通过添加所述第二虚拟对象并且将所述第二虚拟对象覆盖在所述区域图像之上，来部分基于所述图像信号确定显示信号；
将所述显示信号传送到显示器，所述显示器被配置为输出图像；
检测与所述第二虚拟对象的交互；
响应于检测到与所述第二虚拟对象的交互，确定触觉效果，所述触觉效果被配置为模拟所述第二虚拟对象的特性；以及
利用触觉输出设备，输出所述触觉效果。
9.根据权利要求8所述的方法，所述显示器包含触摸屏显示器。
10.根据权利要求8所述的方法，所述第二虚拟对象包含：机动车、自行车、家具、昆虫、建筑物、住宅、动物、人、计算设备、卡通角色、标志、或者植物。
11.根据权利要求8所述的方法，所述触觉输出设备被耦合到配置为由用户穿戴的物品。
12.根据权利要求11所述的方法，所述物品包含：袖子、手表、手链、腕带、衣服、夹克、眼镜、手套、戒指、头带、帽子、或者鞋子。
13.根据权利要求8所述的方法，所述触觉效果包含下述中一个或者多个：震动，模拟的纹理，感知的摩擦系数的改变，或者固体、液体、气体、等离子体、或集中压力波中的一种或多种的发射。
14.根据权利要求8所述的方法，至少部分基于所述交互的特性来进一步确定所述触觉效果。
15.一种包含程序代码的非暂时性计算机可读介质，当通过处理器执行所述程序代码时，所述程序代码被配置为使所述处理器：
接收图像信号，所述图像信号包括区域图像；
确定第一虚拟对象，该第一虚拟对象是在所述区域图像中描绘的物理对象的图形表示；
部分基于所述第一虚拟对象确定第二虚拟对象；
通过添加所述第二虚拟对象并且将所述第二虚拟对象覆盖在所述区域图像之上，来部分基于所述图像信号确定显示信号；
将所述显示信号传送到显示器，所述显示器被配置为输出图像；
检测与所述第二虚拟对象的交互；
响应于检测到与所述第二虚拟对象的交互，确定触觉效果，所述触觉效果被配置为模拟所述第二虚拟对象的特性；以及
将与所述触觉效果相关联的触觉信号传送到触觉输出设备，
所述触觉输出设备被配置为接收所述触觉信号并且输出所述触觉效果。
16.根据权利要求15所述的非暂时性计算机可读介质，所述第二虚拟对象包含：机动车、自行车、家具、昆虫、建筑物、住宅、动物、人、计算设备、卡通角色、标志、或者植物。
17.根据权利要求15所述的非暂时性计算机可读介质，所述触觉输出设备被耦合到配置为由用户穿戴的物品。
18.根据权利要求15所述的非暂时性计算机可读介质，至少部分基于所述交互来进一步确定所述触觉效果。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/269,357 US9690370B2 (en) | 2014-05-05 | 2014-05-05 | Systems and methods for viewport-based augmented reality haptic effects |
| US14/269,357 | 2014-05-05 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105094311A CN105094311A (zh) | 2015-11-25 |
| CN105094311B true CN105094311B (zh) | 2020-06-12 |
Family
ID=53274362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510224738.0A Expired - Fee Related CN105094311B (zh) | 2014-05-05 | 2015-05-05 | 用于基于视口的增强现实触觉效果的系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US9690370B2 (zh) |
| EP (2) | EP3540561A1 (zh) |
| JP (2) | JP6598500B2 (zh) |
| KR (1) | KR20150126780A (zh) |
| CN (1) | CN105094311B (zh) |
Families Citing this family (76)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| DE102014106960A1 (de) * | 2014-05-16 | 2015-11-19 | Faindu Gmbh | Verfahren zur Darstellung einer virtuellen Interaktion auf zumindest einem Bildschirm und Eingabevorrichtung, System und Verfahren für eine virtuelle Anwendung mittels einer Recheneinheit |
| US11163367B2 (en) * | 2014-07-17 | 2021-11-02 | Signify Holding B.V. | Method of obtaining gesture zone definition data for a control system based on user input |
| US9753539B2 (en) | 2014-10-02 | 2017-09-05 | Futureplay Inc. | Method, device, system and non-transitory computer-readable recording medium for providing user interface |
| WO2016061267A1 (en) | 2014-10-15 | 2016-04-21 | Dirtt Environmental Solutions, Inc. | Virtual reality immersion with an architectural design software application |
| US9733790B2 (en) * | 2014-10-30 | 2017-08-15 | Disney Enterprises, Inc. | Haptic interface for population of a three-dimensional virtual environment |
| US20160189427A1 (en) * | 2014-12-31 | 2016-06-30 | Immersion Corporation | Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications |
| US9763628B2 (en) | 2014-12-31 | 2017-09-19 | Immersion Corporation | Systems and methods for providing enhanced haptic feedback |
| US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
| US10768704B2 (en) * | 2015-03-17 | 2020-09-08 | Whirlwind VR, Inc. | System and method for modulating a peripheral device based on an unscripted feed using computer vision |
| JP6367166B2 (ja) | 2015-09-01 | 2018-08-01 | 株式会社東芝 | 電子機器及び方法 |
| KR101678455B1 (ko) * | 2015-10-14 | 2016-11-23 | 한국과학기술연구원 | 질감인지공간을 이용한 햅틱 속성 적용 장치 및 방법 |
| CN106371574B (zh) * | 2015-12-04 | 2019-03-12 | 北京智谷睿拓技术服务有限公司 | 触觉反馈的方法、装置和虚拟现实交互系统 |
| US9990078B2 (en) * | 2015-12-11 | 2018-06-05 | Immersion Corporation | Systems and methods for position-based haptic effects |
| US10031580B2 (en) | 2016-01-13 | 2018-07-24 | Immersion Corporation | Systems and methods for haptically-enabled neural interfaces |
| US20170285863A1 (en) * | 2016-03-31 | 2017-10-05 | Google Inc. | Conductive contacts for alignment of portable user device in vr viewer |
| CN106020468A (zh) * | 2016-05-18 | 2016-10-12 | 翁明辉 | 一种手套控制的增强现实系统 |
| US10699484B2 (en) * | 2016-06-10 | 2020-06-30 | Dirtt Environmental Solutions, Ltd. | Mixed-reality and CAD architectural design environment |
| US10095311B2 (en) | 2016-06-15 | 2018-10-09 | Immersion Corporation | Systems and methods for providing haptic feedback via a case |
| CN106155322A (zh) * | 2016-06-30 | 2016-11-23 | 联想(北京)有限公司 | 信息处理方法、电子设备以及控制系统 |
| DE102016215481A1 (de) * | 2016-08-18 | 2018-02-22 | Technische Universität Dresden | System und Verfahren zur haptischen Interaktion mit virtuellen Objekten |
| CN106371584B (zh) * | 2016-08-19 | 2020-02-21 | 联想(北京)有限公司 | 信息处理方法、电子设备及系统 |
| CN106373086A (zh) * | 2016-09-29 | 2017-02-01 | 福州大学 | 一种基于增强现实的戒指2d在线实时试戴方法及系统 |
| CN106485572A (zh) * | 2016-10-12 | 2017-03-08 | 大连文森特软件科技有限公司 | 一种基于视频图像特征点识别技术和虚拟现实技术的网上购物系统 |
| US10593116B2 (en) | 2016-10-24 | 2020-03-17 | Snap Inc. | Augmented reality object manipulation |
| EP3319361A1 (en) * | 2016-11-03 | 2018-05-09 | Alcatel Lucent | Method and apparatus for a radio communication network |
| KR20180052330A (ko) * | 2016-11-10 | 2018-05-18 | 삼성전자주식회사 | 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치 |
| US20180138831A1 (en) * | 2016-11-17 | 2018-05-17 | Immersion Corporation | Control of Contact Conditions For Static ESF |
| JP6754678B2 (ja) * | 2016-11-18 | 2020-09-16 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| US20180164885A1 (en) * | 2016-12-09 | 2018-06-14 | Immersion Corporation | Systems and Methods For Compliance Illusions With Haptics |
| US10324531B2 (en) * | 2016-12-27 | 2019-06-18 | Immersion Corporation | Haptic feedback using a field of view |
| US10511892B2 (en) * | 2016-12-30 | 2019-12-17 | DISH Technologies L.L.C. | Systems and methods for facilitating content discovery based on augmented context |
| US20180232051A1 (en) * | 2017-02-16 | 2018-08-16 | Immersion Corporation | Automatic localized haptics generation system |
| GB2560004B (en) | 2017-02-24 | 2020-11-25 | Sony Interactive Entertainment Inc | Virtual reality |
| GB2560003B (en) * | 2017-02-24 | 2021-08-18 | Sony Interactive Entertainment Inc | Virtual reality |
| US10049276B1 (en) | 2017-02-28 | 2018-08-14 | DISH Technologies L.L.C. | Augmented reality installation/troubleshooting assistance |
| US10639510B2 (en) * | 2017-03-20 | 2020-05-05 | The Trustees Of Columbia University In The City Of New York | Human musculoskeletal support and training system methods and devices |
| US10984493B1 (en) | 2017-05-05 | 2021-04-20 | Wells Fargo Bank, N.A. | Augmented or virtual reality to scenario plan property purchase or renovation |
| US10317990B2 (en) | 2017-05-25 | 2019-06-11 | International Business Machines Corporation | Augmented reality to facilitate accessibility |
| US11158101B2 (en) | 2017-06-07 | 2021-10-26 | Sony Interactive Entertainment Inc. | Information processing system, information processing device, server device, image providing method and image generation method |
| US10194078B2 (en) | 2017-06-09 | 2019-01-29 | Immersion Corporation | Haptic enabled device with multi-image capturing abilities |
| KR102364678B1 (ko) * | 2017-06-20 | 2022-02-18 | 엘지전자 주식회사 | 이동 단말기 |
| US20190007726A1 (en) * | 2017-06-30 | 2019-01-03 | Intel Corporation | Audio, video, and actuation (a/v/a) synchronization for mixed reality |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| US10607082B2 (en) * | 2017-09-09 | 2020-03-31 | Google Llc | Systems, methods, and apparatus for image-responsive automated assistants |
| US10509962B2 (en) * | 2017-09-14 | 2019-12-17 | Ebay Inc. | Camera platform incorporating schedule and stature |
| US11120515B1 (en) | 2017-11-03 | 2021-09-14 | Wells Fargo Bank, N.A. | Property enhancement analysis |
| KR102029906B1 (ko) * | 2017-11-10 | 2019-11-08 | 전자부품연구원 | 이동수단의 가상현실 콘텐츠 제공 장치 및 방법 |
| CN108182730B (zh) * | 2018-01-12 | 2022-08-12 | 北京小米移动软件有限公司 | 虚实对象合成方法及装置 |
| DK201870349A1 (en) | 2018-01-24 | 2019-10-23 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models |
| JP2019139403A (ja) * | 2018-02-08 | 2019-08-22 | 東京瓦斯株式会社 | 試着装置、サーバ装置および試着システム |
| KR102499354B1 (ko) | 2018-02-23 | 2023-02-13 | 삼성전자주식회사 | 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법 |
| US10572017B2 (en) * | 2018-04-20 | 2020-02-25 | Immersion Corporation | Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments |
| US10977871B2 (en) | 2018-04-25 | 2021-04-13 | International Business Machines Corporation | Delivery of a time-dependent virtual reality environment in a computing system |
| FR3080935B1 (fr) * | 2018-05-02 | 2020-05-22 | Argo | Procede et systeme de generation a la volee d'un contenu de realite augmentee sur un appareil utilisateur. |
| CN108896156A (zh) * | 2018-05-11 | 2018-11-27 | 北京旷视科技有限公司 | 物品监控方法、装置及系统 |
| US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| KR20190140657A (ko) * | 2018-06-12 | 2019-12-20 | 삼성전자주식회사 | 오브젝트를 생성하는 전자장치 및 시스템 |
| WO2020028826A1 (en) * | 2018-08-02 | 2020-02-06 | Firefly Dimension, Inc. | System and method for human interaction with virtual objects |
| US11288733B2 (en) * | 2018-11-14 | 2022-03-29 | Mastercard International Incorporated | Interactive 3D image projection systems and methods |
| US10845894B2 (en) | 2018-11-29 | 2020-11-24 | Apple Inc. | Computer systems with finger devices for sampling object attributes |
| KR20200084586A (ko) * | 2019-01-03 | 2020-07-13 | 주식회사 웨이브컴퍼니 | 가상현실 공간의 감각 인지 시스템 및 방법 |
| AU2019437374B2 (en) * | 2019-03-26 | 2023-08-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Determining a transformation between coordinate systems in an ultrasonic haptic device and a visual sensor device |
| GB2586060B (en) * | 2019-08-01 | 2022-09-21 | Sony Interactive Entertainment Inc | Surface characterisation apparatus and system |
| US11503256B2 (en) | 2019-09-04 | 2022-11-15 | Material Technologies Corporation | Object feature visualization apparatus and methods |
| WO2021046153A1 (en) * | 2019-09-04 | 2021-03-11 | Material Technologies Corporation | Object feature visualization apparatus and methods |
| US11132850B1 (en) | 2020-03-24 | 2021-09-28 | International Business Machines Corporation | Augmented reality diagnostic interface |
| WO2021193421A1 (ja) * | 2020-03-27 | 2021-09-30 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
| KR102332318B1 (ko) * | 2020-07-22 | 2021-12-01 | 이화여자대학교 산학협력단 | 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템 |
| WO2022139636A1 (en) * | 2020-12-22 | 2022-06-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Moderating a user's sensory experience with respect to an extended reality |
| WO2023063161A1 (ja) * | 2021-10-12 | 2023-04-20 | ソニーグループ株式会社 | 情報処理システム、制御方法及び制御プログラム |
| US11734929B2 (en) * | 2021-12-07 | 2023-08-22 | Marxent Labs Llc | Enhanced product visualization technology with web-based augmented reality user interface features |
| CN114281195B (zh) * | 2021-12-27 | 2022-08-05 | 广东景龙建设集团有限公司 | 一种基于虚拟触觉手套的装配石材的选择方法及系统 |
| US11790573B2 (en) | 2021-12-27 | 2023-10-17 | Dish Network Technologies India Private Limited | Systems and methods for using augmented reality for antenna adjustment |
| KR102496927B1 (ko) | 2022-11-01 | 2023-02-07 | 김태원 | 촉감을 제공하는 성인 콘텐츠용 vr 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6211848B1 (en) * | 1998-05-15 | 2001-04-03 | Massachusetts Institute Of Technology | Dynamic holographic video with haptic interaction |
| CN102592484A (zh) * | 2010-11-16 | 2012-07-18 | 韩国电子通信研究院 | 用于基于虚拟现实的训练模拟器的可重配置平台管理设备 |
| WO2013085639A1 (en) * | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6271256A (ja) | 1985-09-25 | 1987-04-01 | Toshiba Corp | 化合物半導体集積回路 |
| US8508469B1 (en) * | 1995-12-01 | 2013-08-13 | Immersion Corporation | Networked applications including haptic feedback |
| JP2002082751A (ja) | 2000-09-08 | 2002-03-22 | Mitsubishi Electric Corp | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
| JP2002304246A (ja) * | 2001-04-04 | 2002-10-18 | Nippon Telegr & Teleph Corp <Ntt> | 力覚提示装置及び仮想空間システム |
| JP4149926B2 (ja) | 2001-11-01 | 2008-09-17 | イマージョン コーポレーション | 触知感覚を与える方法及び装置 |
| JP2003316493A (ja) | 2002-04-19 | 2003-11-07 | Seiko Epson Corp | 触覚提示装置 |
| SE0203908D0 (sv) | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
| WO2006004894A2 (en) * | 2004-06-29 | 2006-01-12 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using data in a graphics pipeline |
| US7376903B2 (en) * | 2004-06-29 | 2008-05-20 | Ge Medical Systems Information Technologies | 3D display system and method |
| US20060017654A1 (en) | 2004-07-23 | 2006-01-26 | Romo Justin R | Virtual reality interactivity system and method |
| JP2006146803A (ja) * | 2004-11-24 | 2006-06-08 | Olympus Corp | 操作装置及び遠隔操作システム |
| WO2006081198A2 (en) | 2005-01-25 | 2006-08-03 | The Board Of Trustees Of The University Of Illinois | Compact haptic and augmented virtual reality system |
| US7920124B2 (en) * | 2006-08-29 | 2011-04-05 | Canon Kabushiki Kaisha | Force sense presentation device, mixed reality system, information processing method, and information processing apparatus |
| JP4926799B2 (ja) | 2006-10-23 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| WO2009024971A2 (en) | 2007-08-19 | 2009-02-26 | Saar Shai | Finger-worn devices and related methods of use |
| JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| KR100927009B1 (ko) | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
| JP2009276996A (ja) * | 2008-05-14 | 2009-11-26 | Canon Inc | 情報処理装置、情報処理方法 |
| JP5344388B2 (ja) | 2008-07-10 | 2013-11-20 | 学校法人立命館 | 操作システム |
| US8747116B2 (en) | 2008-08-21 | 2014-06-10 | Lincoln Global, Inc. | System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback |
| US20100053151A1 (en) | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
| US8344863B2 (en) * | 2008-12-10 | 2013-01-01 | Postech Academy-Industry Foundation | Apparatus and method for providing haptic augmented reality |
| WO2010093780A2 (en) | 2009-02-13 | 2010-08-19 | University Of Florida Research Foundation, Inc. | Communication and skills training using interactive virtual humans |
| US8009022B2 (en) | 2009-05-29 | 2011-08-30 | Microsoft Corporation | Systems and methods for immersive interaction with virtual objects |
| US8542105B2 (en) | 2009-11-24 | 2013-09-24 | Immersion Corporation | Handheld computer interface with haptic feedback |
| US8633916B2 (en) | 2009-12-10 | 2014-01-21 | Apple, Inc. | Touch pad with force sensors and actuator feedback |
| US20130314303A1 (en) | 2010-02-28 | 2013-11-28 | Osterhout Group, Inc. | Ar glasses with user action control of and between internal and external applications with feedback |
| EP2539759A1 (en) * | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| CN101819462B (zh) | 2010-03-12 | 2011-07-20 | 东南大学 | 基于力/触觉交互设备的图像纹理的力触觉再现系统 |
| US20110310227A1 (en) | 2010-06-17 | 2011-12-22 | Qualcomm Incorporated | Mobile device based content mapping for augmented reality environment |
| US8922355B2 (en) * | 2011-01-13 | 2014-12-30 | Empire Technology Development Llc | Haptic feedback device using electro-rheological fluid |
| CA2835120C (en) * | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US20130002425A1 (en) | 2011-07-01 | 2013-01-03 | General Electric Company | Augmented reality excessive noise display and warning system |
| US20130265300A1 (en) * | 2011-07-03 | 2013-10-10 | Neorai Vardi | Computer device in form of wearable glasses and user interface thereof |
| US20130100008A1 (en) | 2011-10-19 | 2013-04-25 | Stefan J. Marti | Haptic Response Module |
| WO2013089490A1 (ko) * | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | 디스플레이 장치와 연동하는 촉감 제공 장치 및 방법 |
| CN104081307B (zh) * | 2012-02-10 | 2018-02-23 | 索尼公司 | 图像处理装置、图像处理方法和程序 |
| US9041622B2 (en) * | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
| US20140198130A1 (en) | 2013-01-15 | 2014-07-17 | Immersion Corporation | Augmented reality user interface with haptic feedback |
| US9854014B2 (en) * | 2013-03-14 | 2017-12-26 | Google Inc. | Motion data sharing |
| US9092954B2 (en) | 2013-03-15 | 2015-07-28 | Immersion Corporation | Wearable haptic device |
| US9619027B2 (en) * | 2013-07-12 | 2017-04-11 | Disney Enterprises, Inc. | Using vortices to provide tactile sensations corresponding to a visual presentation |
| US10345903B2 (en) * | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
| US20150262428A1 (en) | 2014-03-17 | 2015-09-17 | Qualcomm Incorporated | Hierarchical clustering for view management augmented reality |
| US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
-
2014
- 2014-05-05 US US14/269,357 patent/US9690370B2/en active Active
-
2015
- 2015-04-29 KR KR1020150060499A patent/KR20150126780A/ko not_active Application Discontinuation
- 2015-04-30 JP JP2015092512A patent/JP6598500B2/ja active Active
- 2015-05-01 EP EP19170814.8A patent/EP3540561A1/en not_active Ceased
- 2015-05-01 EP EP15166146.9A patent/EP2942693B1/en active Active
- 2015-05-05 CN CN201510224738.0A patent/CN105094311B/zh not_active Expired - Fee Related
-
2017
- 2017-05-19 US US15/600,141 patent/US9946336B2/en active Active
-
2018
- 2018-03-13 US US15/919,260 patent/US10444829B2/en not_active Expired - Fee Related
-
2019
- 2019-10-01 JP JP2019181221A patent/JP6906580B6/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6211848B1 (en) * | 1998-05-15 | 2001-04-03 | Massachusetts Institute Of Technology | Dynamic holographic video with haptic interaction |
| CN102592484A (zh) * | 2010-11-16 | 2012-07-18 | 韩国电子通信研究院 | 用于基于虚拟现实的训练模拟器的可重配置平台管理设备 |
| WO2013085639A1 (en) * | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
Also Published As
| Publication number | Publication date |
|---|---|
| US9946336B2 (en) | 2018-04-17 |
| JP6906580B2 (ja) | 2021-07-21 |
| CN105094311A (zh) | 2015-11-25 |
| JP6598500B2 (ja) | 2019-10-30 |
| JP2015212946A (ja) | 2015-11-26 |
| JP6906580B6 (ja) | 2021-08-25 |
| US20170255255A1 (en) | 2017-09-07 |
| US10444829B2 (en) | 2019-10-15 |
| EP2942693A1 (en) | 2015-11-11 |
| US9690370B2 (en) | 2017-06-27 |
| US20180239418A1 (en) | 2018-08-23 |
| EP2942693B1 (en) | 2019-07-10 |
| KR20150126780A (ko) | 2015-11-13 |
| EP3540561A1 (en) | 2019-09-18 |
| US20150316985A1 (en) | 2015-11-05 |
| JP2020042827A (ja) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105094311B (zh) | 用于基于视口的增强现实触觉效果的系统和方法 | |
| US10248210B2 (en) | Systems and methods for haptically-enabled conformed and multifaceted displays | |
| CN108170262B (zh) | 触觉环绕功能 | |
| JP6538657B2 (ja) | 圧力ベースの触覚効果のためのシステム及び方法 | |
| JP6591805B2 (ja) | 静電触覚効果を提供する表面要素のためのシステム及び方法 | |
| CN110633006A (zh) | 用于虚拟现实用户的真实世界触觉交互 | |
| EP3364272A1 (en) | Automatic localized haptics generation system | |
| CN103635891A (zh) | 大量同时远程数字呈现世界 | |
| WO2019150781A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN103785169A (zh) | 混合现实的竞技场 | |
| KR102201678B1 (ko) | 증강 현실에서 햅틱 오버레이를 통합하는 시스템들 및 방법들 | |
| US20220270363A1 (en) | Image processing apparatus, image processing method, and program | |
| US20200286298A1 (en) | Systems and methods for a user interaction proxy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200612 |