CN109814705A - 触觉附属装置 - Google Patents

触觉附属装置 Download PDF

Info

Publication number
CN109814705A
CN109814705A CN201811394484.7A CN201811394484A CN109814705A CN 109814705 A CN109814705 A CN 109814705A CN 201811394484 A CN201811394484 A CN 201811394484A CN 109814705 A CN109814705 A CN 109814705A
Authority
CN
China
Prior art keywords
auxiliary equipment
tactile
physical object
processor
suitable body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811394484.7A
Other languages
English (en)
Inventor
J·萨布恩
J·M·克鲁兹-埃尔南德斯
J·马洛夫
伍黎雯
S·弗雷斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN109814705A publication Critical patent/CN109814705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本公开涉及触觉附属装置，该触觉附属装置可用于虚拟现实(VR)或增强现实(AR)环境。触觉附属装置包括适于被附接到物理对象的适形体、触觉输出设备、配置成跟踪触觉附属装置的运动的运动传感器、无线通信接口单元、处理器和电源。无线通信单元被配置为将传感器信息从运动传感器无线传递到被配置为执行提供VR或AR环境的应用的计算机系统，并且从计算机系统接收指示触觉附属装置将输出触觉效果的信号，其中触觉输出设备被配置为基于该信号输出触觉效果。

Description

触觉附属装置
技术领域
本发明涉及一种可附接到物理对象的触觉附属装置(haptic accessoryapparatus)，并且具有在用户接口、游戏和消费电子产品中的应用。
背景技术
随着电子用户接口系统变得越来越普遍，人类与这些系统进行交互所通过的接口质量变得越来越重要。触觉反馈或更一般地触觉效果可以通过向用户提供提示、提供特定事件的警报或提供真实反馈来改善接口的质量以在虚拟环境内创建更大的感官沉浸。触觉效果的示例包括动觉触觉效果(诸如主动和阻力反馈)、振动触感(vibrotactile)触觉效果和静电摩擦触觉效果。
发明内容
以下详细描述本质上仅是示例性的，并不意图限制本发明或本发明的应用和用途。此外，不意图受前述技术领域、背景技术、发明内容或以下详细描述中呈现的任何明示或暗示的理论的约束。
本文的实施例的一个方面涉及用于虚拟现实(VR)或增强现实(AR)环境的触觉附属装置。触觉附属装置包括适于被附接到物理对象的适形体(conformable body)、设置在适形体上或中的触觉输出设备、设置在适形体上或中并且被配置为跟踪触觉附属装置的运动的运动传感器、和无线通信接口单元(和/或有线通信接口单元)。无线通信单元被配置为将传感器信息从运动传感器无线传递到被配置为执行提供VR或AR环境的应用的计算机系统，并且从计算机系统接收指示触觉附属装置将输出触觉效果的信号，其中触觉附属装置的触觉输出设备被配置为基于该信号输出触觉效果。触觉附属装置还包括处理器和电源。处理器设置在适形体上或中并且至少与触觉输出设备、运动传感器和无线通信接口单元进行通信。电源设置在适形体上或中并被配置为至少向触觉输出设备、处理器和无线通信接口单元供电。
在实施例中，适形体由柔性层形成，并且可重新配置以适合不同物理对象的不同形状。
在实施例中，触觉附属装置还包括设置在适形体上的用户输入元件，其中用户输入元件是触发器和操纵杆中的至少一个，其中用户输入元件与处理器通信。
在实施例中，触觉附属装置被配置为在触觉附属装置被附接到物理对象时，向物理对象提供手持控制器功能和触觉功能。
在实施例中，适形体被配置为缠绕在物理对象的至少一部分周围。
在实施例中，适形体包括弹性材料，该弹性材料被配置为弹性拉伸以配合在物理对象的至少一部分周围。
在实施例中，适形体形成具有环形的弹性带。
在实施例中，触觉附属装置还包括一个或多个附加传感器，该一个或多个附加传感器被配置为感测适形体的拉伸和弯曲中的至少一个，其中处理器被配置为基于来自一个或多个附加传感器的信号确定物理对象的估计尺寸和估计形状中的至少一个。
在实施例中，触觉输出设备是静电摩擦(ESF)致动器，其被配置为基于来自计算机系统的信号来模拟纹理。
在实施例中，触觉输出设备是压电致动器，其被配置为基于来自计算机系统的信号输出振动触感触觉效果。
在实施例中，触觉输出设备是超声触觉致动器和热生成器中的至少一个。
在实施例中，由运动传感器输出的传感器信息指示触觉附属装置的位置和取向中的至少一个。
在实施例中，适形体是柔性的并且由聚合材料形成，并且其中处理器、触觉输出设备、电源、运动传感器和无线通信接口单元嵌入聚合材料中。
在实施例中，触觉附属装置的运动传感器包括加速计、惯性测量单元(IMU)和陀螺仪中的至少一个。
本文的实施例的一个方面涉及用于提供虚拟现实(VR)或增强现实(AR)环境的支持触觉的系统。该系统包括计算机系统和触觉附属装置。该计算机系统包括第一处理器和显示设备，其中第一处理器被配置为执行提供VR或AR环境的应用，并且显示设备被配置为显示VR或AR环境。触觉附属装置包括适形体，其适于附接到在从触觉附属装置分离时不具有手持控制器功能的物理对象，并且其中触觉附属装置被配置为在触觉附属装置附接到物理对象时为物理对象提供手持控制器功能。触觉附属装置还包括触觉输出设备、运动传感器、无线通信接口单元、第二处理器和电源。触觉输出设备设置在适形体上或中。运动传感器设置在适形体上或中并配置为跟踪触觉附属装置的运动。无线通信接口单元被配置为与计算机系统进行无线通信。第二处理器设置在适形体上或中并与触觉输出设备、运动传感器和无线通信接口单元进行通信。电源设置在适形体上或中并被配置为至少向触觉输出设备、第二处理器和无线通信接口单元供电。计算机系统的第一处理器被配置为：从触觉附属装置的运动传感器经由其无线通信接口单元接收传感器信息，基于传感器信息控制VR或AR环境的虚拟对象，确定将生成与虚拟对象相关联的触觉效果，并且经由无线通信接口单元向第二处理器传递信号，其中该信号指示该触觉附属装置将生成该触觉效果，并且该触觉附属装置的触觉输出设备被配置为基于该信号输出触觉效果。
在实施例中，适形体是柔性的并且由聚合材料形成，并且可重新配置以适合不同物理对象的不同形状，并且其中处理器、触觉输出设备、电源、运动传感器和无线通信接口单元嵌入聚合材料中。
在实施例中，传感器信息指示触觉附属装置的位置和取向中的至少一个，并且其中第一处理器被配置为基于传感器信息改变显示设备上的虚拟对象的显示位置和取向中的至少一个。
在实施例中，第一处理器被配置为在计算机系统的存储器中将多个物理对象中的一个物理对象与虚拟对象相关联。
在实施例中，虚拟对象具有要在显示设备上显示的形状，其中第一处理器被配置为通过确定多个物理对象中的物理对象的形状与虚拟对象的形状大体上相同，来确定该物理对象将与虚拟对象相关联。
在实施例中，支持触觉的系统还包括与第一处理器进行通信的相机，其中第一处理器被配置为基于相机捕获的图像来确定多个物理对象中的物理对象的形状与虚拟对象的形状大体上相同。
在实施例中，第一处理器还被配置为使显示设备显示触觉附属装置应该手动附接到多个物理对象中的物理对象的指示。
在实施例中，多个物理对象中的物理对象是多个物理对象中的第一物理对象和第二物理对象，并且触觉附属装置被配置为附接到第一物理对象和第二物理对象中的每一个。第一处理器被配置为检测从触觉附属装置附接到第一物理对象到触觉附属装置附接到第二物理对象的改变，并且被配置为在计算机系统的存储器中将虚拟对象的关联从与第一物理对象相关联改变成与第二物理对象相关联。
在实施例中，触觉附属装置还包括一个或多个附加传感器，其被配置为感测触觉附属装置的适形体的拉伸和弯曲中的至少一个，其中第二处理器被配置为基于来自一个或多个附加传感器的附加传感器信息来确定多个物理对象中的物理对象的估计尺寸和估计形状中的至少一个，并将物理对象的估计尺寸和估计形状中的至少一个传递到第一处理器。
在实施例中，指示触觉附属装置将生成触觉效果的信号指示触觉效果的强度、频率和类型中的至少一个，并且其中第一处理器被配置为基于物理对象的估计尺寸和估计形状中的至少一个来确定信号中指示的强度、频率和类型中的至少一个。
在实施例中，指示触觉附属装置将生成触觉效果的信号指示触觉效果的强度、频率和类型中的至少一个，并且其中第一处理器被配置为基于虚拟对象的虚拟质量、虚拟形状、虚拟尺寸和虚拟温度中的至少一个来确定信号中指示的强度、频率和类型中的至少一个。
在实施例中，触觉附属装置的触觉输出设备是触觉附属装置的多个触觉输出设备之一，并且其中由第一处理器生成的信号指示多个触觉输出设备中的哪一个或哪多个触觉输出设备要输出触觉效果。
在实施例中，该信号还指示由一个或多个触觉输出设备生成的触觉效果的定时。
在实施例中，由处理器执行的应用提供AR环境，并且显示设备被配置为在AR环境中的物理对象上覆盖图像，该图像具有与物理对象大体上相同的形状。
本文实施例的一个方面涉及一种用于提供虚拟现实(VR)或增强现实(AR)环境的方法，该方法由具有第一处理器和显示设备的计算机系统执行，该方法包括由计算机系统的第一处理器执行提供VR或AR环境的应用。该方法还包括由第一处理器使VR或AR环境的虚拟对象显示在计算机系统的显示设备上。该方法还包括从触觉附属装置接收来自触觉附属装置的运动传感器的传感器信息，其中触觉附属装置包括适形体、触觉输出设备、运动传感器、无线通信接口单元、第二处理器和电源，其中适形体适于附接到在从触觉附属装置分离时不具有手持控制器功能的物理对象，其中触觉输出设备、运动传感器、无线通信接口单元、第二处理器和电源中的每一个都设置在适形体上或中。该方法还包括由第一处理器基于传感器信息控制虚拟对象。该方法还包括由第一处理器确定将生成与虚拟对象相关联的触觉效果；并且由第一处理器向触觉附属装置传递指示触觉附属装置将生成触觉效果的信号，使得在附接到触觉附属装置的物理对象处生成触觉效果。
在实施例中，该方法还包括通过以下操作确定触觉附属装置将被附接到第一物理对象：接收由与第一处理器通信的相机捕获的图像，从由相机捕获的图像确定物理对象的形状与虚拟对象的形状大体上相同，并且响应于确定物理对象的形状与虚拟对象的形状大体上相同，在显示设备上输出触觉附属装置将被手动地附接到物理对象的指示，并且在计算机的存储器中将触觉附属装置与物理对象相关联。
在实施例中，适形体由柔性材料形成，并且被配置为适合物理对象的表面。
在实施例中，适形体可重新配置以适合不同物理对象的不同形状。
在实施例中，虚拟对象是第一虚拟对象和第二虚拟对象，并且物理对象是多个物理对象的第一物理对象和第二物理对象。在该实施例中，该方法还包括由第一处理器使第二虚拟对象显示在计算机系统的显示设备上，由第一处理器检测从触觉附属装置附接到第一物理对象到触觉附属装置附接到第二物理对象的改变，并且由第一处理器在计算机系统的存储器中将第二物理对象与第二虚拟对象相关联，其中第二虚拟对象是该VR或AR环境的一部分或是不同VR或AR环境的一部分。
在实施例中，第一物理对象和第二物理对象具有不同的相应形状。
在实施例中，该方法还包括：当触觉附属装置附接到第一物理对象时，从触觉附属装置接收第一物理对象的第一估计形状和第一估计尺寸中的至少一个；当触觉附属装置附接到第二物理对象时，从触觉附属装置接收第二物理对象的第二估计形状和第二估计尺寸中的至少一个。
在实施例中，触觉效果是第一触觉效果，并且在触觉附属装置附接到第一物理对象时基于第一物理对象的第一估计形状和第一估计尺寸中的至少一个来确定第一触觉效果，该方法进一步包括：在触觉附属装置附接到第二物理对象时，基于第二物理对象的第二估计形状或第二估计尺寸中的至少一个来确定第二触觉效果。
在实施例中，该方法还包括使显示设备基于从触觉附属装置接收的传感器信息来显示虚拟对象的移动。
通过阅读下面的详细描述，其中将参考附图，本领域技术人员将清楚本发明实施例的特征、目的和优点。
附图说明
本发明的前述和其他特征、目的和优点将从如附图所示的本发明实施例的以下描述中变得明显。并入本文并形成说明书一部分的附图进一步用于解释本发明的原理并使相关领域的技术人员能够制造和使用本发明。附图不按比例绘制。
图1描绘了根据本发明实施例的具有触觉附属装置和计算机系统的支持触觉的系统。
图2描绘了根据本发明实施例的具有触觉附属装置和计算机系统的支持触觉的系统。
图3A描绘了根据本发明实施例的具有带的形式的触觉附属装置，其中带形成环。
图3B、图3C和图3D描绘了根据本发明实施例的具有片状形式的触觉附属装置。
图4描绘了根据本发明实施例的触觉附属装置的框图。
图5示出了根据本发明实施例的用于利用触觉附属装置生成触觉效果的方法。
图6和图7示出了根据本发明实施例的物理对象、触觉附属装置和虚拟对象之间的交互。
图8示出了根据本发明实施例的由与触觉附属装置通信的计算机系统执行的步骤。
具体实施方式
以下详细描述本质上仅是示例性的，并不意图限制本发明或本发明的应用和用途。此外，不意图受前述技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。
本文的实施例涉及可以向物理对象添加触觉功能和手持控制器功能的装置，该物理对象可以是本身没有触觉功能和手持控制器功能的日常对象。因此，该装置可以充当触觉附属装置，其允许每个不同的日常对象被配置为用于例如虚拟现实(VR)或增强现实(AR)环境的支持触觉的手持控制器。在实施例中，触觉附属装置可以充当可以将各种不同物理对象配置成支持触觉的手持控制器的通用装置。因此，触觉附属装置可以通过允许不同的相应形状或尺寸的不同物理对象每个被配置成手持控制器，在手持控制器的形状或尺寸方面提供定制。在一些情况下，触觉附属装置可以进一步通过一个或多个运动传感器提供手持控制器功能，一个或多个运动传感器可以跟踪触觉附属装置和与其附接的任何物理对象的运动。通过能够将各种不同的物理对象配置成支持触觉的手持控制器，触觉附属装置可以允许用户或程序(例如，提供VR/AR环境的程序)选择物理对象，其例如最佳匹配或以其他方式最佳地表示VR/AR环境的虚拟对象(例如，在形状、尺寸或一些其他因素方面最佳地匹配虚拟对象)。在这种情况下，通过与虚拟对象类似，物理对象可以充当VR或AR环境中的虚拟对象的代理(proxy)。在实施例中，物理对象可配置为手持控制器，因为物理对象具有允许物理对象由普通用户的手直接握持和移动的形状和尺寸(例如，它足够小到可由用户的手掌握)。
此外，在实施例中，触觉附属装置允许专用手持控制器(例如，Remote)被用户的物理位置或周围环境(例如，家或办公室)中的物理对象替换，其中物理对象本身没有控制器功能。触觉附属装置一旦将被附接到物理对象就向物理对象提供控制器功能。一旦被附接到物理对象，触觉附属装置就允许物理对象被用作可以为VR或AR环境提供用户输入的手持控制器(例如，游戏外围设备)。在另一个实施例中，除了由触觉附属装置提供的任何运动感测能力之外，物理对象本身可以具有运动感测能力。例如，物理对象可以是包括运动传感器的游戏操纵杆。
在实施例中，不同的物理对象可以与触觉附属装置一起使用以控制不同的各自虚拟对象或更一般地与不同的各自虚拟对象交互。被用于与特定虚拟对象交互的特定物理对象可以由正在执行VR或AR环境的计算机系统选择，或者由用户选择。在两种情况下，计算机系统可以通过例如将虚拟对象与物理对象相关联(例如，在存储器中的表中)将虚拟对象映射到物理对象。例如，计算机系统可以执行VR或AR环境，其中用户可以使用虚拟剑或虚拟光剑进行模拟剑斗。在这样的示例中，计算机系统或用户可以选择例如圆柱形薯片容器(例如，马铃薯薯片罐)作为虚拟剑或虚拟光剑的物理代理，因为圆柱形薯片容器可以具有细长形状，其类似于虚拟剑或虚拟光剑的细长形式，并且因为圆柱形薯片容器也具有圆柱形状，其类似于剑柄的圆柱形状。在另一个例子中，计算机系统或用户可以选择例如网球拍作为虚拟剑或虚拟光剑的物理代理。用户可以通过例如在物理位置摆动圆柱形薯片容器或网球拍来控制VR或AR环境中的虚拟剑或虚拟光剑。在游戏期间，如果用户移动物理对象，则VR或AR环境可以以相应的方式显示虚拟剑或光剑的移动。在实施例中，如果虚拟剑或虚拟光剑击中另一个虚拟对象，诸如另一个虚拟剑或虚拟墙，则触觉附属装置可以被配置为输出物理对象上的触觉效果，诸如圆柱形薯片容器上的振动触感触觉效果。触觉效果可以提供模拟在VR或AR环境中用户的虚拟剑或光剑与另一(另外多个)虚拟对象之间的接触的功能。
在实施例中，用户可以在最初显示或以其他方式渲染VR或AR环境之前或之时将触觉附属装置附接到物理对象。在实施例中，执行VR或AR环境的计算机系统可以被配置为捕获计算机系统的物理位置或周围环境的图像，并使用图像处理算法来识别在物理位置或周围环境中的一个或多个物理对象(例如，可被配置为手持控制器的一个或多个物理对象)。计算机系统可以从一个或多个物理对象中选择物理对象作为已经或将要被渲染的虚拟对象的代理。选择可以基于例如在形状和/或尺寸方面，一个或多个物理对象中的哪个与虚拟对象最接近地匹配。在实施例中，计算机系统可以输出已经选择特定物理对象作为虚拟对象的代理的指示。例如，它可以在物理位置或周围环境的图像中显示物理对象旁边的标记，以便将物理对象标识为所选择的代理。当用户看到或以其他方式感知到指示时，用户则可以将触觉附属装置附接到由计算机系统识别的物理对象。
在另一个实施例中，用户可以选择特定的物理对象作为虚拟对象的代理，而无需计算机系统的参与。例如，用户可以决定圆柱形薯片容器应该用作已经或将要由VR或AR环境渲染的虚拟剑的代理。在该场景中，用户可以首先将物理对象呈现给作为计算机系统的一部分或与计算机系统通信的相机。相机可以捕获物理对象的图像，这可以允许计算机系统将物理对象与VR或AR环境的虚拟对象相关联。该关联可以涉及例如存储器中的表，该表将虚拟对象的标识符(例如，虚拟对象ID)与物理对象的图像(或者与计算机系统分配给它的物理对象ID)相关联。在实施例中，如果用户已选择特定物理对象作为虚拟对象的代理，则用户可以将触觉附属装置附接到物理对象，而不由计算机系统指示。计算机系统可以被配置为例如捕获计算机系统的物理位置或周围环境的图像，并且可以被配置为从图像中识别触觉附属装置和附接到或以其他方式与触觉附属装置接触的任何物理对象。计算机系统可以被配置为确定附加到触觉附属装置的物理对象已经被用户选择为VR或AR环境的虚拟对象的代理，并且将该物理对象与虚拟对象相关联。
在另一示例中，VR或AR环境可以是涉及虚拟块的三维(3D)游戏。在该示例中，计算机系统或用户可以选择物理纸巾盒作为虚拟块之一的代理。触觉附属装置可以由用户附接到物理纸巾盒。在实施例中，计算机系统可以将物理纸巾盒与该虚拟块相关联。在实施例中，用户可以通过移动物理纸巾盒来控制虚拟块在VR或AR环境中的移动。例如，为了将虚拟块降低到游戏的虚拟地平面，用户可以将物理纸巾盒降低到用户家中的厨房桌子或地板。此外，触觉附属装置可以向物理纸巾盒添加触觉功能。例如，当虚拟块与另一虚拟块或与虚拟地平面接触时，这样的事件可以触发触觉附属装置输出用户感觉到的在物理纸巾盒上或在物理纸巾盒处的振动触感触觉效果。这种触觉效果可以模拟虚拟块与另一个虚拟块或虚拟地平面接触。
在另一个示例中，VR或AR环境可以是涉及使用虚拟锤打击虚拟鼹鼠的打鼹鼠游戏的一部分。在该示例中，计算机系统或用户可以选择物理TV遥控器作为虚拟锤的代理。触觉附属装置可以由用户附接到物理TV遥控器。在实施例中，计算机系统可以将物理TV遥控器与虚拟锤相关联。在实施例中，用户可以通过移动物理TV遥控器来控制虚拟锤在VR或AR环境中的移动。在VR或AR环境中，当虚拟锤打击虚拟鼹鼠时，可以触发触觉附属装置以输出例如用户感觉到的在物理TV遥控器上或在物理TV遥控器处的振动触感触觉效果。这种触觉效果可以模拟虚拟锤和虚拟鼹鼠之间的碰撞。在实施例中，VR或AR环境可以具有一个或多个虚拟鼹鼠，不由计算机系统将其与任何物理对象相关联。在另一个实施例中，一个或多个虚拟鼹鼠可以与一个或多个相应物理对象相关联。例如，虚拟鼹鼠之一可以与物理订书机相关联。当VR或AR环境确定在打鼹鼠游戏中显示从虚拟洞中弹出的虚拟鼹鼠时，在显示设备上显示虚拟鼹鼠弹出的位置可以对应于物理订书机的物理位置。在一些情况下，物理订书机可以附接到第二触觉附属装置。在实施例中，触觉附属装置可以被配置为输出例如静电摩擦(ESF)效果以模拟诸如虚拟鼹鼠上的毛发纹理的纹理。在该实施例中，用户可能能够在VR或AR环境中向虚拟鼹鼠伸出，并且可以触摸物理订书机和附接到其上的第二触觉附属装置。第二触觉附属装置可以模拟鼹鼠毛发的纹理，从而模拟与虚拟鼹鼠或其他虚拟对象的接触。
在实施例中，执行VR或AR环境的计算机系统可以通过从作为触觉附属装置的一部分的运动传感器接收运动传感器信息来跟踪物理对象的移动。在触觉附属装置附接到物理对象之后，触觉附属装置及其运动传感器可以与物理对象一起移动。在实施例中，执行VR或AR环境的计算机系统可以基于执行图像识别来跟踪物理对象的移动。更具体地，计算机系统可以包括相机或与相机通信，相机可以捕获物理对象的图像或一系列图像(例如，视频)。计算机系统可以基于捕获的图像或一系列图像来跟踪物理对象的移动。
在实施例中，AR或VR环境的计算机系统可以基于确定物理对象可配置为手持控制器(例如，计算机系统确定其足够小可以由平均大小的手握持)并且确定物理对象的形状与虚拟对象的形状大体上相同来选择物理对象。虚拟对象的形状可以指虚拟对象在VR或AR环境中显示时，诸如在VR头戴式设备上或在台式计算机的屏幕上。对于AR环境，计算机系统可以在显示设备上将虚拟对象的图像覆盖在物理对象的图像上，使得用户可以看到虚拟对象而不是物理对象(例如，虚拟剑的图像被覆盖在圆柱形薯片容器的图像上)。当用户移动或以其他方式操纵物理对象时，VR或AR环境可以更新虚拟对象的图像。根据本发明的实施例，当物理对象具有与虚拟对象的形状大体上匹配的形状时，在AR环境中虚拟对象的图像在物理对象的捕获图像上的覆盖可能是最有效的。
在实施例中，触觉附属装置可以具有适形体，其可以适合不同相应物理对象的不同形状，诸如在用户家中或办公室中找到的日常对象。在实施例中，触觉附属装置可以是自包含的设备，其用于向这样的日常对象提供手持控制器功能和/或触觉功能，这些日常对象本身可以不具有这样的功能。为了提供这样的功能，触觉附属装置可以包括例如运动传感器、触觉输出设备、通信接口、处理器和电源。在一些情况下，适形体可以具有包括上述组件的柔性层(也称为柔性片)的形式。柔性层可以例如能够缠绕在物理对象的表面周围。在一些情况下，柔性层可以由弹性材料制成，该弹性材料可以在物理对象的表面上/周围拉伸。
在实施例中，触觉附属装置可以装备有单个触觉输出设备(例如，单个触觉致动器)或多个触觉输出设备(例如，多个触觉致动器)。多个触觉输出设备可以提供相同类型的触觉效果(例如，振动触感效果)或不同类型的触觉效果(例如，热、ESF、振动触感等)。在实施例中，触觉附属装置的主体可以具有足够的柔性以允许至少部分地在物理对象周围缠绕，或者可以是刚性的。在该实施例中，VR/AR环境的VR/AR引擎可以向用户输出如何将触觉附属装置附接到物理对象的推荐。该推荐可以由触觉效果设计者预先设计，或者可以由VR/AR引擎本身自动估计。估计可以基于触觉输出设备的数量、触觉附属装置的形状(或更一般地，几何形状)以及物理对象的形状(或更一般地，几何形状)。触觉附属装置和物理对象的形状可以用相机确定，或者触觉附属装置可以向VR/AR引擎提供关于触觉附属装置的特性的信息(例如，触觉输出设备的布局、形状，触觉输出设备的数量、触觉输出设备的类型、触觉输出设备的其他属性等。)。
在实施例中，触觉附属装置和计算机系统可以配对(例如，经由配对)，其中触觉附属装置被通知计算机系统的存在，计算机系统被通知触觉附属装置的存在。在实施例中，配对可以涉及触觉附属装置向计算机系统提供关于其自身的信息(例如，触觉输出设备的数量和类型)，反之亦然。在配对时，VR或AR引擎可以选择要生成哪个触觉效果，使用哪个触觉输出设备来生成触觉效果，或者它们的组合。VR或AR引擎还可以提供如何附接触觉附属装置的推荐，并将推荐输出给用户。VR或AR引擎可以针对单个物理对象，进一步决定合并和混合一些效果并在特定触觉输出设备上或者在特定触觉附属装置上或其组合播放它们。
图1示出了根据本文的实施例的用于提供增强现实(AR)或虚拟现实(VR)环境的支持触觉的系统100。图1的支持触觉的系统100可以包括被配置为提供AR或VR环境的计算机系统120和触觉附属装置110。触觉附属装置110可以附接到用户周围或物理位置中的各种物理对象，包括物理对象131、物理对象132和物理对象133。
在实施例中，计算机系统120可以是台式计算机、游戏控制台(例如，或控制台)、服务器、膝上型计算机、平板计算机或甚至移动电话。在实施例中，计算机系统120可以包括处理器121、存储器123和显示设备125。在实施例中，处理器121、存储器123和显示设备125可以集成到单个设备中，诸如被配置为提供AR游戏环境的平板计算机，或者诸如可以为VR头盔(例如，VR头盔或其他头戴式设备(HMD))提供VR环境的移动电话。在实施例中，计算机系统120可以仅包括被配置为提供VR或AR环境的HMD。在这样的实施例中，HMD可以具有足够的处理能力来执行VR或AR引擎而无需分开的台式计算机或服务器。在实施例中，计算机系统120的处理器121、存储器123和显示设备125可以是不同分立设备的一部分。例如，处理器121和存储器123可以是配置为生成VR或AR环境的台式计算机的一部分，而显示设备125是与台式计算机通信(例如，经由数据线)的分开的设备(例如，独立LED监视器或)。在实施例中，存储器123可以是非暂时性计算机可读介质，其具有用于存储在其上的VR或AR应用的计算机可读指令。在实施例中，处理器121可以被配置为通过执行计算机可读指令来执行VR或AR应用。
在实施例中，触觉附属装置110可以包括适形体112、触觉输出设备111、运动传感器113、通信接口单元115、处理器117和电源119。每个所述组件可以是设置在(例如，附接到)适形体112的表面上，或者设置在(例如，嵌入在内)适形体112中。适形体112可以适于可重新配置以适合不同的相应物理对象的不同形状，诸如物理对象131、132、133。例如，适形体112可以包括可以适合各种形状的柔性材料(例如，柔性聚合材料)。在一些情况下，如果将柔性材料操纵成特定形状，则其可以能够保持该形状直到用户将柔性材料操纵成另一种形状。在实施例中，适形体112可以封装触觉输出设备111、运动传感器113、通信接口单元115、处理器117和电源119。例如，如果适形体112由柔性材料形成，则上述组件可以嵌入柔性材料中。在实施例中，适形体可以由弹性材料(例如，橡胶)制成，该弹性材料可以被拉伸以适合不同形状的表面。在实施例中，弹性材料可以允许适形体112可重新配置以适合不同的相应物理对象的不同形状。例如，如果适形体112缠绕在第一物理对象131周围，则适形体112如果是弹性的则也可以是可重新配置以便稍后缠绕在具有不同形状的第二物理对象132或第三物理对象133周围。在另一个实施例中，触觉附属装置110可以附接到(例如，缠绕)用户的身体。例如，适形体112可以缠绕在用户的手腕周围。
在实施例中，触觉输出设备111可以是，例如被配置为输出振动触感触觉效果的振动触感致动器(例如，压电致动器)、被配置为输出ESF触觉效果(例如，模拟纹理)的静电摩擦(ESF)触觉输出设备、热触觉输出设备、超声触觉输出设备、任何其他触觉输出设备或其组合。在实施例中，装置110的任何振动触感致动器可包括压电致动器、电磁致动器、线性共振致动器(LRA)或任何其他振动触感致动器。此外，触觉附属装置110的任何振动触感致动器可以设置在(例如，嵌入在内)适形体112中。在实施例中，任何ESF触觉输出设备可以设置在适形体112的表面上。这样的ESF触觉输出设备可以包括例如设置在适形体112的表面上的一个或多个电极。在实施例中，触觉输出设备111可以包括配置成提供动觉触觉效果的马达或其他致动器。在实施例中，触觉输出设备111可以包括智能材料致动器(例如，电活性聚合物(EAP)致动器)，其被配置为输出静态或低频触觉效果。在实施例中，触觉输出设备111可以是超声触觉致动器、热发生器或其组合。虽然图1示出了具有单个触觉输出设备111的触觉附属装置110，但是其他实施例可以涉及包括设置在触觉附属装置的适形体上或内的不同位置处的多个触觉输出设备的触觉附属装置。
在实施例中，运动传感器113可以被配置为跟踪触觉附属装置110的运动。在实施例中，传感器113可以包括加速计、陀螺仪、压力传感器、惯性测量单元(IMU)或其任何组合。在实施例中，运动传感器113可以被配置为测量触觉附属装置110的速率、速度(指示移动的速率和方向)、加速度或取向中的至少一个。在实施例中，测量速度可包括旋转速度(例如，旋转速率和方向)、横向速度或其组合。当触觉附属装置110被附接到物理对象(例如，物理对象131)时，运动传感器113还可以测量物理对象的速率、移动方向、加速度或取向中的至少一个。在实施例中，运动传感器113可以将原始传感器信息作为运动传感器信息直接提供给通信接口单元115，通信接口单元115可以将传感器信息传递到支持触觉的系统100的另一个设备。在实施例中，运动传感器113可以将原始传感器信息提供给处理器117，处理器117可以处理原始传感器信息以生成处理后的传感器信息。然后，处理器117可以将处理后的传感器信息提供给通信接口单元115，通信接口单元115然后可以将处理后的传感器信息作为运动传感器信息传递给另一个设备。在实施例中，触觉附属装置110的处理器117或计算机系统120的处理器121可以被配置为基于运动传感器信息确定触觉附属装置110的位置。例如，触觉附属装置110的处理器117或计算机系统120的处理器117可以被配置为从运动传感器信息获得速度数据，并且计算速度数据的积分(术语数据和信息正在关于运动传感器113的输出可交换地使用)。计算的积分可以表示触觉附属装置的累积运动。触觉附属装置110的处理器117或计算机系统120的处理器121可以将累积运动与触觉附属装置110的初始位置相加以确定触觉附属装置110的当前位置。处理器121可以使得显示设备125基于传感器信息改变虚拟对象的显示位置(或显示取向)。
在实施例中，通信接口单元115可以被配置为与计算机系统120通信。所传递的信息可以包括例如从触觉附属装置110的运动传感器113到计算机系统120的传感器信息，或者包括从计算机系统120到触觉附属装置110的一个或多个信号(例如，命令信号)，或任何其他信息。来自运动传感器的传感器信息可以包括直接来自运动传感器113的原始传感器信息，或者如果触觉附属装置110使用处理器117来处理(例如，过滤)原始传感器信息，则可以包括由处理器117生成的处理后的传感器信息。从计算机系统120传递的信号可以包括，例如指示触觉附属装置110将输出触觉效果的触觉命令。然后，触觉附属装置110可以使其触觉输出设备111基于该信号输出触觉效果。例如，如果触觉输出设备111是ESF致动器，则其可以被配置为基于来自计算机系统120的信号来模拟纹理。如果触觉致动器111是压电致动器，则其可以被配置为基于来自计算机系统120的信号输出振动触感触觉效果。
在实施例中，触觉附属装置110和计算机系统120之间的通信可以通过有线接口。例如，通信接口单元115和计算机系统120可以通过通用串行总线(USB)接口进行通信。在实施例中，通信可以通过无线接口。例如，通信接口单元115可以是无线通信接口单元，其被配置为使用诸如IEEE 802.11、或任何其他无线通信协议的无线通信协议与计算机系统120通信。
在实施例中，通信接口单元115可以用于执行配对过程(例如，)以与计算机系统120配对。配对可以允许触觉附属设备110和计算机系统120彼此知晓存在另一设备。在一些情况下，配对可以涉及信息的交换或报告。例如，通信接口单元115可以向计算机系统120报告包括在装置110中的触觉输出设备的数量、包括在装置110中的触觉输出设备的类型、装置110上触觉输出设备的一个或多个位置、关于触觉附属装置110的其他信息或其任何组合。
在实施例中，处理器117可以被配置为处理来自运动传感器113的原始传感器信息，如上所述。在实施例中，处理器117可以被配置为控制触觉输出设备111。例如，处理器117可以被配置为从计算机系统120接收命令以输出触觉效果，其中该命令可以指定触觉效果的参数值，诸如开始时间、持续时间、幅度或频率。处理器117可以被配置为基于来自计算机系统120的命令为触觉输出设备111生成驱动信号。在实施例中，处理器117可以是微处理器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)或任何其他处理电路。
在实施例中，电源119可以被配置为至少向触觉输出设备111、处理器117和通信接口单元115供电。在实施例中，电源119可以进一步向运动传感器113供电。在实施例中，运动传感器113可以是在没有输入电的情况下操作的机械传感器。在实施例中，电源119可以是电池、充电单元、发电机或其任何组合。充电单元可以包括例如电感或其他无线充电单元。在电源119利用发电机的实施例中，发电机可以被配置为例如从触觉附属装置的运动、从用户的体热或从一些其他源生成电。
如上所述，适形体112可以适于可重新配置以适合不同的相应物理对象131、132、133的不同形状。在实施例中，物理对象131、132、133可以是用户家或者办公室中的日常对象，并且可以具有不同的相应形状(例如，球形、多边形、圆柱形)、不同的相应尺寸或其组合。在实施例中，物理对象131、132、133可以是具有基本几何形状(诸如球形、立方形或圆柱形)的专用物理对象。在适形体具有可以适应物理对象131的形状、物理对象132的形状和物理对象133的形状中的每一个的结构的意义上，适形体112可以是可重复使用的和可重新配置的。图2提供了具有适形体212的触觉附属装置210以及适形体212可适应的物理对象231、232、233、234的更具体示例。
更具体地，图2示出了具有触觉附属装置210和计算机系统220的支持触觉的系统200。在实施例中，触觉附属装置210具有两个触觉输出设备211a、211b、运动传感器213、无线通信接口单元215、处理器217和电源219。在实施例中，两个触觉输出设备211a、211b可以是不同类型的触觉输出设备。例如，触觉输出设备211a可以是振动触感压电致动器，而触觉输出设备211b可以是ESF设备。在实施例中，触觉输出设备211a、211b可以是相同类型的触觉输出设备。在实施例中，上述组件被嵌入适形体212中，适形体212适于适合物理对象使得物理对象然后可以被转换为/可用作手持控制器。物理对象可以包括是细长的圆柱形容器(例如，罐)的第一物理对象231、是矩形盒(例如，纸巾盒)的第二物理对象232、是TV遥控器的第三物理对象233和是酒瓶的第四物理对象234。在实施例中，适形体212由柔性材料形成，柔性材料诸如塑料或其他聚合材料。在实施例中，柔性材料可以形成为柔性层(也称为柔性片)。在实施例中，触觉附属装置210的适形体212适于的物理对象231、232、233、234是或者适于成为手持对象。
在实施例中，适形体212可以通过缠绕在物理对象周围而附接到物理对象231、232、233、234中的一个。换句话说，适形体212可以缠绕在物理对象231、232、233、234中每一个的表面的至少一部分周围。例如，形成适形体212的柔性材料可以包括弹性材料，该弹性材料能够弹性拉伸以配合在任何物理对象231、232、233、234的至少一部分周围，使得弹性材料缠绕在任何物理对象的至少一部分周围。如下所论述，在示例中，适形体212可以形成弹性带，该弹性带可以拉伸在任何物理对象231、232、233、234的至少一部分周围。在实施例中，触觉附属装置210可以包括紧固件，其被配置为将触觉附属装置210的缠绕的适形体212固定在任何物理对象231、232、233、234周围，并因此附接到物理对象231、232、233、234。根据本发明的实施例，紧固件的相应部分可以单独地附接到触觉附属装置，或者可以附接到每个触觉附属装置并且附接到它要被固定到其上的物理对象231、232、233、234之一。在实施例中，紧固件可包括设置在适形体212的相对端处的钩和环紧固件(例如，紧固件)，并且当适形体210已经缠绕在物理对象231、232、233、234之一的至少一部分周围时被用于将适形体212保持在环构造中。
在实施例中，当触觉附属装置210与那些物理对象231、232、233、234分离时，物理对象231、232、233、234都不具有任何手持控制器功能或触觉功能。在实施例中，手持控制器功能可以包括感测用户输入(例如，基于运动的手势)，与正在执行VR或AR环境的计算机系统通信，或者任何其他手持控制器功能。在实施例中，触觉功能可以包括输出触觉效果。在另一个实施例中，即使当触觉附属装置210与那些物理对象231、232、233、234分离时，物理对象231、232、233、234中的一个或多个也可以具有控制器功能和/或触觉功能。例如，物理对象231、232、233或234中的一个或多个可以是具有第一类型触觉输出设备(例如，偏心旋转质量或线性共振致动器)的游戏控制器，而触觉附属装置210可以具有第二类型的触觉致动器(例如，静电触觉输出设备或热触觉输出设备)。在这样的实施例中，触觉附属装置因此可以通过能够生成游戏控制器就它本身所不能的触觉效果的类型来增强游戏控制器。
在实施例中，触觉附属装置210可以是物理封装，其包括用于执行这种手持控制器功能和触觉功能的组件。例如，如上所述，触觉附属装置210可以具有被配置为输出触觉效果的触觉输出设备211a、211b、被配置为感测基于运动的手势或任何其他形式的用户输入的运动传感器213、被配置为与计算机系统220通信的无线通信接口单元215、被配置为控制触觉附属装置210的其他组件(例如，控制触觉输出设备211a、211b)的处理器217和被配置为向装置210的其他组件供电的电源219。这些组件可以全部嵌入触觉附属装置210的适形体212(例如，诸如橡胶的弹性材料片)中。因此当触觉附属装置210被附接到相应物理对象时，触觉附属装置210可以被用于将每个物理对象231、232、233转换成或重新用于支持触觉的手持控制器。
在实施例中，被配置为提供VR或AR环境的计算机系统220可以具有处理器221、存储器223和头戴式显示器(HMD)设备225。在实施例中，处理器221和存储器223可以是台式计算机226的一部分，而HMD设备225可以是经由有线接口(或者在另一个实施例中，经由无线接口)与处理器221通信的分开的设备。HMD设备225可以包括用于显示VR或AR环境的显示组件228。在实施例中，计算机系统220可以包括相机227，其与处理器221通信并且被配置为捕获相机227的物理位置或周围环境的图像。在实施例中，相机227可以是显示设备的一部分，诸如HMD设备225的一部分。在这样的实施例中，当用户佩戴HMD设备225时，相机227可以被配置为捕获在用户前面的物理位置或者周围环境的图像。在另一个实施例中，相机227可以是与HMD设备225并且与台式计算机分开的单独设备。在实施例中，相机227可以是网络相机。
如上所阐述，在实施例中，触觉附属装置210可以具有弹性带形式的适形体，如图3A所示。例如，图3A示出了利用弹性带312A形成环的触觉附属装置310A。环形弹性带312A可以被拉伸以在特定物理对象周围配合，以便被附接到物理对象。此外，形成环形弹性带312A的弹性材料可以允许环形弹性带312A配合在不同形状或尺寸的不同对象周围，诸如图2中的物理对象231、232、233、234。如图3A中进一步所示，触觉附属装置310A可以包括设置在环形弹性带312A内或上的触觉输出设备311a、311b、运动传感器313A、无线通信接口单元315A、处理器317A和电源319A。这些组件可以类似于上述触觉输出设备211a、211b、运动传感器213、无线通信接口单元215、处理器217和电源219。
在另一个实施例中，图3B示出了具有柔性片形式的适形体312B的触觉附属装置310B。适形体312B可以由诸如柔性聚合物的柔性材料形成。适形体312B可以缠绕在物理对象周围。例如，图3D示出了被缠绕在酒瓶234周围的适形体312B。
在实施例中，触觉附属装置310B可以具有触觉输出设备311c，触觉输出设备311c包括电极321和设置在电极321上方的绝缘层，其中触觉输出设备311c被配置为生成静电摩擦(ESF)效果。电极321可以嵌入在适形体312B内，如图3C所示，其示出了沿图3B中的线A-A的截面图。在一些情况下，适形体312B的一部分可以形成设置在电极321上方的绝缘层。在实施例中，装置310B包括处理器317，处理器317可以使电源319向触觉输出设备311c输出正弦驱动信号。当正弦驱动信号被施加到触觉输出设备311c时，它可以被感知为模拟纹理。在实施例中，触觉附属装置310B还可以包括运动传感器313和通信接口单元315。在实施例中，组件311c、313、315、317和319可以嵌入在适形体312B内。
图4示出了触觉附属装置410的另一实施例，其具有图1所示的触觉附属装置110的组件(触觉输出设备111、运动传感器113、通信接口单元115、处理器117和电源119)，并且还具有用户输入元件413和应变传感器414。在实施例中，用户输入元件413可以包括按钮、触发器、操作器(例如，操纵杆或拇指操纵杆)或它们的组合中的一个或多个。在实施例中，触觉输出设备111可以是能够在用户输入元件413上施加致动力的致动器，以便在用户输入元件413上提供动觉触觉效果。在实施例中，触觉输出设备可以是振动触感致动器，其被配置为在用户输入元件413处提供振动触感触觉效果。在实施例中，触觉附属装置410可以具有适形体412。用户输入元件416可以通过例如粘附到适形体412的表面上，来附接到适形体412的表面上。
在实施例中，触觉附属装置410可以包括应变传感器414，其被配置为感测触觉附属装置410的适形体412的拉伸和弯曲中的至少一个。应变传感器414可以是，例如粘附到适形体412的表面上(或更一般地，设置在适形体412的表面上)或嵌入在(或更一般地，设置在其中)适形体412内的应变仪。在实施例中，触觉附属装置410的处理器117可以被配置为从应变传感器414接收应变数据，并且基于应变数据确定触觉附属装置410附接到的物理对象的估计尺寸和估计形状中的至少一个。例如，处理器117可以基于由应变传感器414测量的拉伸量来确定物理对象的估计尺寸，其中适形体412的更大的拉伸量(并且因此更大的应变量)可以与触觉附属装置410附接到的物理对象的更大尺寸相关联。在实施例中，处理器117可以使得物理对象的估计尺寸或估计形状被传递到提供VR或AR环境的计算机系统(例如，120)。计算机系统可以基于虚拟对象的估计尺寸或估计形状来控制虚拟对象，并且可以基于该物理对象的估计尺寸或估计形状确定用于触觉效果的参数值(例如，持续时间、幅度、频率、开始时间、类型等)。在实施例中，触觉附属装置410可以包括温度传感器，并且计算机系统120可以将触觉效果的参数值也基于或附加地基于物理对象的温度，如温度传感器所测量的。在实施例中，计算机系统120或220可以将触觉效果的参数值附加地或替代地基于在触觉附属装置410的用户输入元件413处接收的输入，基于由运动传感器113跟踪的运动手势，或者更一般地基于用户正在采取的行动。
在实施例中，触觉附属装置410可以包括放置在适形体412的不同部分处的附加传感器(例如，附加应变传感器)。处理器117可以被配置为从多个附加传感器中的每一个接收应变数据，并且基于来自多个附加传感器的应变数据来确定例如物理对象的估计形状，适形体412缠绕在该物理对象周围。
图5示出了用于提供VR或AR环境的示例方法500的流程图，并且该示例方法可以由例如计算机系统120/220的处理器121/221执行。在实施例中，方法500开始于步骤501，其中处理器121/221执行提供VR或AR环境的应用。例如，应用可以是游戏应用，诸如上面讨论的虚拟剑斗游戏、3D游戏或打鼹鼠游戏或者一些其他游戏(例如，)。在实施例中，应用可以是视觉或图形设计应用。在实施例中，步骤501可以包括处理器121/221执行存储在非暂时性计算机可读介质(诸如存储器123/223)上的指令。在实施例中，指令可以是用于AR或VR引擎的指令。
在步骤503中，处理器121/221使VR或AR环境的虚拟对象显示在计算机系统的显示设备上。例如，处理器121/221可以使虚拟对象显示在计算机系统100/200的显示设备125/225上。另一显示设备625在图6和图7中示出，其中虚拟对象651(虚拟光剑)和虚拟对象652(虚拟方块砖)显示在显示设备625上。显示设备625可以是例如HMD设备或者台式或膝上型显示设备(例如，LED屏幕)，并且还可以是计算机系统(诸如游戏系统)的一部分。可以在将触觉附属装置(例如，110/210/310A/310B/410)附接到物理对象之前、期间或之后执行步骤503，这将在下面更详细地讨论。
返回图5，在步骤505中，处理器121/221从触觉附属装置110/210/310A/310B/410的运动传感器113/213/313/313A接收传感器信息。触觉附属装置110/210/310A/310B/410可以附接到物理对象(例如，131/132/133/231/232/23/234)。触觉附属装置110/210/310A/310B/410可包括适形体112/212/312A/312B、触觉输出设备111a-b/211a-b/311a-c、运动传感器113/213/313/313A、无线通信接口单元115/215/315/315A、处理器117/217/317/317A和电源119/219/319/319A。如上所阐述，适形体适于可重新配置以适合不同的相应物理对象的不同形状。在实施例中，触觉输出设备111a-b/211a-b/311a-c、运动传感器113/213/313/313A、无线通信接口单元115/215/315/315A、处理器117/217/317/317A和电源119/219/319/319A中的每一个都可以设置在适形体112/212/312A/312B上或中(例如，嵌入在内)。此外，适形体可以从每个物理对象上分离。例如，图6和图7示出了触觉附属装置310A和310B，每个触觉附属装置具有能够适合图6的物理对象231和/或图7的物理对象232的适形体(例如，312A、312B)。此外，触觉附属装置310A/310B可以附接到一个物理对象(例如，231)，然后从那分离并附接到另一个(例如，物理对象232)，反之亦然。在实施例中，物理对象可以是用户家中或办公室中的日常对象。在实施例中，物理对象可以定制为具有特定形状。例如，物理对象可以是一组物理对象的一部分，该组物理对象包括与触觉附属装置一起出售的塑料球、塑料立方体和塑料圆柱形。用户可以从该组中选择物理对象，该物理对象是VR或AR环境中的虚拟对象的最佳代理。
返回图5，在步骤505中来自运动传感器的传感器信息可以指示物理对象正在移动的速率、物理对象正在移动的方向、物理对象正在移动的速度(速率和方向)、物理对象上的加速度速率和方向中的至少一个。在实施例中，传感器信息可以附加地或替代地指示物理对象的位置或取向。如上所述，来自运动传感器的传感器信息可包括运动传感器直接提供给触觉附属装置110/210/310A/310B/410的通信接口单元115/215/315/315A的原始传感器信息，或者可以包括由处理器117/217/317/317A基于原始传感器信息生成的处理后的传感器信息。此外，图6和图7示出了触觉附属装置310A/310B的运动，触觉附属装置310A/310B附接到物理对象231/232。在图6中，物理对象231可以是罐或者其他细长的圆柱形容器，并且被用作虚拟对象651(虚拟光剑)的代理。图6示出了物理对象231(由用户)沿着速度矢量V1移动，速度矢量V1可以是剑摆动运动的一部分。触觉附属装置310A的运动传感器313A可以测量触觉附属装置310A的速度，其与物理对象231的速度相同。运动传感器可以输出被传递到显示设备625的计算机系统的原始传感器信息，该计算机系统可以基于原始传感器信息确定物理对象231以速度V1移动。在图7中，物理对象232是被用作虚拟3D方块砖的代理的纸巾盒。物理对象232沿着速度矢量V2移动或者更具体地降低。运动传感器313A可以类似地生成指示物理对象232的速度矢量V2的原始传感器信息。
返回图5，在步骤507中，处理器121/221基于传感器信息控制虚拟对象。例如，传感器信息可以描述物理对象的移动，并且处理器可以控制虚拟对象的移动以匹配物理对象的移动。例如，图6示出了虚拟对象651被控制为在显示设备625上以速度V移动，速度V与物理对象231的速度矢量V1在移动方向、速率或两者的方面大体上相同。图6可以示出在玩游戏期间由用户摆动的物理对象231。结果，显示设备625所属的计算机系统可以确定摆动运动的速度，并且控制虚拟对象651被显示为以相同或相似的速度摆动。在另一个实施例中，来自触觉附属装置310A的运动传感器的速度数据可以表示物理对象231的旋转速度，其可以指示旋转方向和旋转速率。结果，显示设备625所属的计算机系统可以控制虚拟对象651被显示为以相同或相似的旋转速度旋转。另外，图7还示出了显示设备625所属的计算机系统控制虚拟对象652被显示为以与物理对象232的速度矢量V2相同的速度矢量V移动。在另一实施例中，触觉附属装置310A/310B可能缺少用于感测物理对象231/232的位置或移动的功能。在这种情况下，触觉附属装置310A/310B仍然可以基于物理环境或虚拟环境的环境条件输出触觉效果，环境条件诸如相应虚拟对象651/652的表面属性(例如，输出ESF效果以表示虚拟对象651/652的表面纹理)。
返回图5，在步骤509中，处理器121/221可以确定将生成与虚拟对象相关联的触觉效果。在实施例中，触觉效果可以由VR或AR环境中的事件触发，诸如上面讨论的剑斗游戏或3D游戏中的事件。例如，这样的事件可以是在虚拟对象(例如，虚拟光剑)与另一个虚拟对象(例如，作为模拟剑斗的一部分的另一个虚拟光剑，或虚拟墙或虚拟地面)接触之间的接触事件。在实施例中，处理器121/221可以确定触觉效果的参数值，诸如触觉效果的类型(例如，模拟接触的振动触感效果或模拟纹理的ESF效果)、哪个触觉致动器或哪种类型的触觉致动器要生成触觉效果、触觉效果的幅度、触觉效果的频率、触觉效果的定时(例如，持续时间、开始时间)和触觉效果的任何其他参数值。在实施例中，处理器121/221可以通过选择预先存在的存储的驱动信号波形的波形标识符或者通过生成信号波形本身，来确定触觉效果的驱动信号波形。在实施例中，处理器121/221可以通过基于虚拟对象与VR或AR环境的交互来确定参数值或驱动信号波形，来使用触觉效果传达虚拟对象正发生什么。在实施例中，可以基于虚拟对象的虚拟形状、虚拟尺寸、虚拟温度或其他虚拟属性中的至少一个来确定参数值或驱动信号波形。在实施例中，可以基于触觉附属装置所附接的物理对象的物理属性(诸如物理对象的估计形状、估计尺寸、估计质量、刚度水平、温度或速度)来确定参数值或驱动信号波形。
在实施例中，如果计算机系统120/220和触觉附属装置110/210/310A/310B/410执行了配对处理并在处理期间交换了或报告了信息，则处理器121/221可以基于交换的或报告的信息来确定触觉效果的参数值或驱动信号波形。例如，在配对处理期间，触觉附属装置可以报告它具有多少触觉输出设备，它具有什么类型的触觉输出设备，触觉输出设备位于触觉附属装置的适形体内哪里，或者其组合。处理器120/220可以被配置为基于报告的信息来确定触觉效果的参数值或驱动信号波形。
在步骤511中，处理器121/221可以向触觉附属装置110/210/310A/310B/410传递信号，该信号指示触觉附属装置110/210/310A/310B/410将生成触觉效果，使得触觉效果也在附接到触觉附属装置的物理对象(例如，231/232/23/233)处生成。在实施例中，该信号可以包括触觉命令，该触觉命令指示触觉附属装置110/210/310A/310B/410将输出触觉效果。在实施例中，信号可以包括触觉效果的一个或多个参数值。在实施例中，信号可以包括触觉效果的驱动信号波形或波形标识符。在实施例中，信号可以识别触觉附属装置110/210/310A/310B/410将在生成触觉效果时使用哪个触觉输出设备。该信号可以经由计算机系统120/220的通信接口被发送到触觉附属装置110/210/310A/310B/410的通信接口单元115/215。
如上所述，在实施例中，用户可以选择物理对象(例如，231)作为VR或AR环境的虚拟对象(例如，651)的代理，并且将触觉附属装置(例如，310A)附接到物理对象。这可以在用于VR或AR环境的应用已经开始由计算机系统120/220执行之前或之后，或者在VR或AR环境已经被显示或以其他方式渲染之前或之后完成。在一些实例中，为了指示用户已选择什么物理对象作为虚拟对象的代理，用户可将物理对象放置在计算机系统120/220的相机227(如果系统120/220具有相机)前面。相机227可以捕获物理对象的图像，并且计算机系统120/220的处理器121/221可以接收物理对象的捕获图像。然后，处理器121/221可以在计算机系统120/220的存储器123/223中将物理对象与虚拟对象相关联(例如，将物理对象231与虚拟对象651相关联)。在计算机系统(例如，120)没有相机的实施例中，计算机系统120可以与触觉附属装置110/210/310A/310B/410配对(例如，经由)，使得触觉附属装置110/210/310A/310B/410可以执行运动传感器跟踪(也称为惯性传感器跟踪)。配对可以涉及在计算机系统120/220和装置110/210/310A/310B/410之间建立通信。配对可以无线地、通过数据线或其组合来执行。在实施例中，计算机系统120/220可以同时与多个触觉附属装置配对，多个触觉附属装置可以附接到不同的相应物理对象。在一些情况下，计算机系统120/220还可以将VR或AR环境中的每个虚拟对象与不同的相应物理对象相关联。
在实施例中，一旦计算机系统120/220和触觉附属装置110/210/310A/310B/410被配对，触觉附属装置的移动就通过运动传感器跟踪(如上所述)、相机227的视觉跟踪或其任何组合，被转译为虚拟对象的移动。此外，在实施例中，VR或AR环境的VR或AR引擎可以使处理器121/221将命令发送到触觉附属装置110/210/310A/310B/410(经由无线或有线接口)。引擎可以将驱动信号直接发送到特定触觉输出设备111a-b/211a-b/311a-c，或者可以发送具有与触觉附属装置上保存的触觉效果波形相关联的特定触觉效果ID的命令。触觉效果ID可以指定参数值，诸如频率、波形、幅度等。然后，触觉附属装置可以生成驱动信号波形，或者检索存储在装置上或存储在云上的驱动信号波形。
在实施例中，如上所述，计算机系统120/220可以选择物理对象以用作VR或AR环境的虚拟对象的代理。在一些情况下，该选择可以基于执行图像处理以从适合作为手持控制器被握持的物理对象中识别具有与虚拟对象的形状最佳匹配的形状的物理对象。在图8所示的实施例中，包括步骤601，其中计算机系统120/220的处理器121/221接收由与处理器121/221通信的相机(例如，227)捕获的图像。图像可以是相机227前面的物理位置或周围环境的图像。在实施例中，如果相机接近用户，则图像也可以是用户的物理位置或周围环境的图像。由相机捕获的图像可以包括多个物理对象，其可以经由图像处理算法被识别。在步骤603中，处理器121/221从由相机227捕获的图像确定该图像的物理对象(来自多个物理对象中的物理对象)具有与虚拟对象的形状大体上相同的形状。例如，由相机227捕获的图像可以捕获物理对象231、232、233、234。如果VR或AR环境涉及虚拟对象651(虚拟光剑)，则处理器121/221可以确定当显示在显示设备625上时，虚拟光剑具有细长和圆柱形的形状，并且可以确定物理对象231具有与虚拟光剑的形状大体上相似的形状。在实施例中，相机227可以扫描其物理位置或周围环境以捕获多个相应物理对象的图像。人工智能(AI)引擎可以处理捕获的图像以识别和分类图像中的各种物理对象。
在步骤605中，响应于确定物理对象具有与虚拟对象的形状大体上相同的形状，处理器121/221可以在计算机系统120/220的显示设备125/225/625上输出触觉附属装置将被手动附接到物理对象的指示。例如，参考其中捕获物理对象231、232、233、234的图像的上述示例，处理器可以使得物理对象231在显示设备125/225/625上的图像中被突出显示。物理对象231的突出显示可以向用户指示他或她要将触觉附属装置110/210/310A/310B/410附接到物理对象231(与其他物理对象232、233、234相对)。
在步骤607中，处理器121/221可以在处理器121/221所属的计算机系统120/220的存储器123/223中，将虚拟对象(例如，651)与物理对象(例如，231)相关联。在实施例中，该关联可以在存储在存储器123/223中的表中，其中该表的一列具有虚拟对象的列表，并且该表的另一列具有与该虚拟对象相关联的相应物理对象的列表。
在一些情况下，触觉附属装置可以附接到第一物理对象，第一物理对象可以用作第一虚拟对象的代理。稍后可以将同一触觉附属装置附接到第二物理对象，该第二物理对象可以用作第二虚拟对象的代理。在实施例中，不同的触觉附属装置可以附接到同一物理对象。例如，具有第一类型触觉输出设备(例如，振动触感致动器)的第一触觉附属装置可以附接到物理对象。具有第二类型触觉输出设备(例如，ESF致动器)的第二触觉附属装置可以在第一触觉附属装置被附接的同时或者在第一触觉附属装置被移除之后，被附接到物理对象。在一些情况下，虚拟对象可以由附接到第一物理对象的第一触觉附属装置表示，并且稍后可以由附接到第二物理对象的第二触觉附属装置表示。
在实施例中，在处理器121/221使VR或AR环境生成第一虚拟对象(例如，651)并基于第一物理对象(例如，231)控制第一虚拟对象之后，处理器121/221可以被配置为生成替换第一虚拟对象(例如，651)的第二虚拟对象(例如，652)，并且将不同的物理对象(例如，232)与第二虚拟对象652相关联。例如，处理器可以使第二虚拟对象652显示在计算机系统的显示设备625上。虚拟对象652可以是生成虚拟对象651的相同VR或AR环境的一部分，或者可以是不同VR或AR环境的一部分。处理器还可以检测从触觉附属装置(例如，310A)被附接到多个物理对象的第一物理对象231到触觉附属装置310B被附接到第二物理对象232的改变。然后，处理器可以将第二物理对象232与计算机的存储器中的第二虚拟对象652相关联。在实施例中，第一物理对象231和第二物理对象232可以具有不同的各自形状。
在实施例中，触觉附属装置(例如，110/210/310A/310B/410)可以被配置为测量物理对象231/232/233、234的物理特征并且将测量结果提供给计算机系统120/220。因此，在实施例中，当触觉附属装置附接到第一物理对象231时，计算机系统120/220的处理器121/221可以从触觉附属装置接收第一物理对象(例如，231)的第一估计形状和第一估计尺寸中的至少一个，并且当触觉附属装置附接到第二物理对象232时，还可以接收第二物理对象232的第二估计形状和第二估计尺寸中的至少一个。
在实施例中，计算机120/220的处理器121/221可以基于物理对象231/232/233/234的属性确定触觉附属装置110/210/310A/310B/410应该在物理对象231/232/233/234上生成什么触觉效果。例如，当触觉附属装置附接到第一物理对象231时，可以基于物理对象231的第一估计形状和第一估计尺寸中的至少一个来确定触觉效果。在实施例中，当触觉附属装置附接到第二物理对象232时，处理器还可以基于第二物理对象232的第二估计形状或第二估计尺寸中的至少一个确定第二触觉效果。
虽然上面已经描述了各种实施例，但是应该理解，它们仅仅是作为本发明的说明和示例而呈现的，而不是作为限制。对于相关领域的技术人员明显的是，可以在形式和细节上进行各种改变而不脱离本发明的精神和范围。因此，本发明的广度和范围不应受任何上述示例性实施例的限制，而应仅根据所附权利要求及其等同物来限定。还应理解，本文讨论的每个实施例的每个特征和本文引用的每个参考的每个特征可以与任何其他实施例的特征组合使用。本文讨论的所有专利和出版物均通过引用整体并入本文。

Claims (20)

1.一种用于虚拟现实(VR)或增强现实(AR)环境的触觉附属装置，所述触觉附属装置包括：
适形体，适于被附接到物理对象；
触觉输出设备，设置在所述适形体上或所述适形体中；
运动传感器，设置在所述适形体上或所述适形体中并且被配置为跟踪所述触觉附属装置的运动；
无线通信接口单元，被配置为：
将传感器信息从所述运动传感器无线传递到被配置为执行提供VR或AR环境的应用的计算机系统，并且
从所述计算机系统接收指示所述触觉附属装置将输出触觉效果的信号，其中所述触觉附属装置的所述触觉输出设备被配置为基于所述信号输出所述触觉效果；
处理器，设置在所述适形体上或所述适形体中并且至少与所述触觉输出设备、所述运动传感器和所述无线通信接口单元进行通信；和电源，设置在所述适形体上或所述适形体中并且被配置为至少向所述触觉输出设备、所述处理器和所述无线通信接口单元供电。
2.根据权利要求1所述的触觉附属装置，其中所述适形体由柔性层形成，并且可重新配置以适合不同物理对象的不同形状。
3.根据权利要求2所述的触觉附属装置，还包括设置在所述适形体上的用户输入元件，其中所述用户输入元件是触发器和操纵杆中的至少一个，其中所述用户输入元件与所述处理器通信。
4.根据权利要求2所述的触觉附属装置，其中所述触觉附属装置被配置为在所述触觉附属装置被附接到所述物理对象时，向所述物理对象提供手持控制器功能和触觉功能。
5.根据权利要求4所述的触觉附属装置，其中所述适形体被配置为缠绕在所述物理对象的至少一部分周围。
6.根据权利要求5所述的触觉附属装置，其中所述适形体包括弹性材料，所述弹性材料被配置为弹性拉伸以配合在所述物理对象的至少一部分周围。
7.根据权利要求6所述的触觉附属装置，其中所述适形体形成具有环形的弹性带。
8.根据权利要求6所述的触觉附属装置，还包括一个或多个附加传感器，所述一个或多个附加传感器被配置为感测所述适形体的拉伸和弯曲中的至少一个，其中所述处理器被配置为基于来自所述一个或多个附加传感器的信号确定所述物理对象的估计尺寸和估计形状中的至少一个。
9.根据权利要求1所述的触觉附属装置，其中所述触觉输出设备是静电摩擦(ESF)致动器，所述静电摩擦(ESF)致动器被配置为基于来自所述计算机系统的信号来模拟纹理。
10.根据权利要求1所述的触觉附属装置，其中所述触觉输出设备是压电致动器，所述压电致动器被配置为基于来自所述计算机系统的信号输出振动触感触觉效果。
11.根据权利要求1所述的触觉附属装置，其中由所述运动传感器输出的所述传感器信息指示所述触觉附属装置的位置和取向中的至少一个。
12.根据权利要求1所述的触觉附属装置，其中所述适形体是柔性的并且由聚合材料形成，并且其中所述处理器、所述触觉输出设备、所述电源、所述运动传感器和所述无线通信接口单元嵌入在聚合材料中。
13.一种用于提供虚拟现实(VR)或增强现实(AR)环境的支持触觉的系统，所述系统包括：
计算机系统，包括第一处理器和显示设备，其中所述第一处理器被配置为执行提供VR或AR环境的应用，并且所述显示设备被配置为显示VR或AR环境；和
触觉附属装置，包括：
适形体，所述适形体适于被附接到在从所述触觉附属装置分离时不具有手持控制器功能的物理对象，并且其中所述触觉附属装置被配置为在所述触觉附属装置被附接到物理对象时为所述物理对象提供手持控制器功能；
触觉输出设备，设置在所述适形体上或所述适形体中；
运动传感器，设置在所述适形体上或所述适形体中并且被配置为跟踪所述触觉附属装置的运动；
无线通信接口单元，被配置为与所述计算机系统无线通信；
第二处理器，设置在所述适形体上或所述适形体中并且与所述触觉输出设备、所述运动传感器和所述无线通信接口单元进行通信；和
电源，设置在所述适形体上或所述适形体中并且被配置为至少向所述触觉输出设备、所述第二处理器和所述无线通信接口单元供电，
其中所述计算机系统的所述第一处理器被配置为：
从所述触觉附属装置的所述运动传感器经由其无线通信接口单元接收传感器信息，
基于所述传感器信息控制VR或AR环境的虚拟对象，以确定将生成与所述虚拟对象相关联的触觉效果，并且
经由所述无线通信接口单元向所述第二处理器传递信号，其中所述信号指示所述触觉附属装置将生成所述触觉效果，并且所述触觉附属装置的所述触觉输出设备被配置为基于所述信号输出所述触觉效果。
14.根据权利要求13所述的支持触觉的系统，其中所述适形体是柔性的并且由聚合材料形成，并且可重新配置以适合不同物理对象的不同形状，并且其中所述处理器、所述触觉输出设备、所述电源、所述运动传感器和所述无线通信接口单元嵌入所述聚合材料中，
其中所述传感器信息指示所述触觉附属装置的位置和取向中的至少一个，并且其中所述第一处理器被配置为基于所述传感器信息改变所述显示设备上的所述虚拟对象的显示位置和取向中的至少一个，并且其中所述第一处理器被配置为在所述计算机系统的存储器中将多个物理对象中的物理对象与所述虚拟对象相关联。
15.根据权利要求14所述的支持触觉的系统，其中所述虚拟对象具有要在所述显示设备上显示的形状，其中所述第一处理器被配置为通过确定所述多个物理对象中的所述物理对象的形状与所述虚拟对象的形状大体上相同，来确定所述物理对象将与所述虚拟对象相关联。
16.根据权利要求14所述的支持触觉的系统，其中所述触觉附属装置还包括一个或多个附加传感器，所述一个或多个附加传感器被配置为感测所述触觉附属装置的所述适形体的拉伸和弯曲中的至少一个，其中所述第二处理器被配置为基于来自所述一个或多个附加传感器的附加传感器信息来确定所述多个物理对象中的所述物理对象的估计尺寸和估计形状中的至少一个，并且将所述物理对象的所述估计尺寸和估计形状中的至少一个传递到所述第一处理器。
17.根据权利要求16所述的支持触觉的系统，其中指示所述触觉附属装置将生成所述触觉效果的所述信号指示所述触觉效果的强度、频率和类型中的至少一个，并且其中所述第一处理器被配置为基于所述物理对象的所述估计尺寸和估计形状中的至少一个来确定所述信号中指示的强度、频率和类型中的所述至少一个。
18.一种用于提供虚拟现实(VR)或增强现实(AR)环境的方法，所述方法由具有第一处理器和显示设备的计算机系统执行，所述方法包括：
由所述计算机系统的所述第一处理器执行提供VR或AR环境的应用；
由所述第一处理器使VR或AR环境的虚拟对象显示在所述计算机系统的所述显示设备上；
从触觉附属装置接收来自所述触觉附属装置的运动传感器的传感器信息，其中所述触觉附属装置包括适形体、触觉输出设备、所述运动传感器、无线通信接口单元、第二处理器和电源，其中所述适形体适于被附接到在从所述触觉附属装置分离时不具有手持控制器功能的物理对象，其中所述触觉输出设备、所述运动传感器、所述无线通信接口单元、所述第二处理器和所述电源中的每一个都设置在所述适形体上或所述适形体中；
由所述第一处理器基于所述传感器信息控制所述虚拟对象；
由所述第一处理器确定将生成与所述虚拟对象相关联的触觉效果；并且
由所述第一处理器向所述触觉附属装置传递指示所述触觉附属装置将生成所述触觉效果的信号，使得在附接到所述触觉附属装置的所述物理对象处生成所述触觉效果。
19.根据权利要求18所述的方法，还包括通过以下操作确定所述触觉附属装置将被附接到第一物理对象：
接收由与所述第一处理器通信的相机捕获的图像；
从由所述相机捕获的图像确定所述物理对象的形状与所述虚拟对象的形状大体上相同；
响应于确定所述物理对象的形状与所述虚拟对象的形状大体上相同，在所述显示设备上输出所述触觉附属装置将被手动地附接到所述物理对象的指示；并且
在计算机的存储器中将所述触觉附属装置与所述物理对象相关联。
20.根据权利要求19所述的方法，其中所述适形体由柔性材料形成并且被配置为适合所述物理对象的表面，其中所述适形体可重新配置以适合不同物理对象的不同形状，
其中，所述虚拟对象是第一虚拟对象和第二虚拟对象，并且所述物理对象是多个物理对象中的第一物理对象和第二物理对象，所述方法还包括：
由所述第一处理器使所述第二虚拟对象显示在计算机系统的显示设备上；
由所述第一处理器检测从所述触觉附属装置被附接到所述第一物理对象到所述触觉附属装置被附接到所述第二物理对象的改变；并且
由所述第一处理器在所述计算机系统的存储器中将所述第二物理对象与所述第二虚拟对象相关联，其中所述第二虚拟对象是所述VR或AR环境的一部分或者是不同VR或AR环境的一部分。
CN201811394484.7A 2017-11-22 2018-11-22 触觉附属装置 Pending CN109814705A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/820,990 2017-11-22
US15/820,990 US20190155387A1 (en) 2017-11-22 2017-11-22 Haptic Accessory Apparatus

Publications (1)

Publication Number Publication Date
CN109814705A true CN109814705A (zh) 2019-05-28

Family

ID=64453318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811394484.7A Pending CN109814705A (zh) 2017-11-22 2018-11-22 触觉附属装置

Country Status (5)

Country Link
US (1) US20190155387A1 (zh)
EP (1) EP3489804A1 (zh)
JP (1) JP2019096312A (zh)
KR (1) KR20190059234A (zh)
CN (1) CN109814705A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110328660A (zh) * 2019-06-03 2019-10-15 深圳前海达闼云端智能科技有限公司 触觉检测方法、装置、设备及机器人

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083944A1 (en) * 2018-10-22 2020-04-30 Unity IPR ApS Method and system for addressing and segmenting portions of the real world for visual digital authoring in a mixed reality environment
US10852827B1 (en) * 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
KR102592653B1 (ko) * 2019-07-01 2023-10-23 엘지전자 주식회사 Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법
JP2021157517A (ja) * 2020-03-27 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
US11430309B1 (en) * 2021-03-15 2022-08-30 Sony Interactive Entertainment Inc. Detachable accessory for enhanced effects, accessibility, spectating, and play-along

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN104750411A (zh) * 2013-12-31 2015-07-01 意美森公司 提供触觉通知的系统和方法
CN105739683A (zh) * 2014-12-31 2016-07-06 意美森公司 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
CN106371508A (zh) * 2015-07-23 2017-02-01 三星电子株式会社 可穿戴电子设备
US20170185160A1 (en) * 2015-12-24 2017-06-29 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198034A1 (en) * 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
CN103970265A (zh) * 2013-01-15 2014-08-06 英默森公司 具有触觉反馈的增强现实用户接口
CN104750411A (zh) * 2013-12-31 2015-07-01 意美森公司 提供触觉通知的系统和方法
CN105739683A (zh) * 2014-12-31 2016-07-06 意美森公司 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
CN106371508A (zh) * 2015-07-23 2017-02-01 三星电子株式会社 可穿戴电子设备
US20170185160A1 (en) * 2015-12-24 2017-06-29 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110328660A (zh) * 2019-06-03 2019-10-15 深圳前海达闼云端智能科技有限公司 触觉检测方法、装置、设备及机器人

Also Published As

Publication number Publication date
EP3489804A1 (en) 2019-05-29
US20190155387A1 (en) 2019-05-23
KR20190059234A (ko) 2019-05-30
JP2019096312A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
CN109814705A (zh) 触觉附属装置
JP7407219B2 (ja) ３次元空間内の仮想オブジェクトの自動配置
CN100397304C (zh) 手持式计算机交互装置
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
US9367136B2 (en) Holographic object feedback
CN103257783B (zh) 用于在移动设备上共享反馈的交互模型
US20110148607A1 (en) System,device and method for providing haptic technology
KR20160081809A (ko) 증강 및 가상 현실 애플리케이션들에 대한 햅틱 향상 객체들을 생성하기 위한 시스템 및 방법
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
CN110249368A (zh) 混合现实环境中的虚拟用户输入控制
CN105005376A (zh) 结合拉伸特性的触觉设备
KR20190080802A (ko) 가상 물체의 터칭 및 파지와 관련된 햅틱 효과를 제공하는 시스템 및 방법
CN110389655A (zh) 在沉浸现实环境中生成触觉效果的启用触觉的可穿戴设备
CN108434726A (zh) 自动局部触觉生成系统
KR20200008946A (ko) 동적 시스템 식별에 기반한 적응적 햅틱 효과 렌더링
CN110045813A (zh) 用于二维跟踪和三维跟踪的触觉激活外围设备
KR20190017010A (ko) 멀티모덜 햅틱 효과
WO2022014445A1 (ja) 検出装置及び検出方法
KR101618004B1 (ko) 가상 현실 기반의 인터랙티브 컨텐츠 제공 장치 및 그 방법
US20230041294A1 (en) Augmented reality (ar) pen/hand tracking
CN117251058B (zh) 一种多信息体感交互系统的控制方法
EP4381370A1 (en) Augmented reality (ar) pen/hand tracking
Yalçinkaya Designing 3D scenarios and interaction tasks for immersive environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190528