CN103970265A - 具有触觉反馈的增强现实用户接口 - Google Patents

具有触觉反馈的增强现实用户接口 Download PDF

Info

Publication number
CN103970265A
CN103970265A CN201410018078.6A CN201410018078A CN103970265A CN 103970265 A CN103970265 A CN 103970265A CN 201410018078 A CN201410018078 A CN 201410018078A CN 103970265 A CN103970265 A CN 103970265A
Authority
CN
China
Prior art keywords
equipment
augmented reality
feedback
control signal
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410018078.6A
Other languages
English (en)
Other versions
CN103970265B (zh
Inventor
R·拉克罗伊克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201910688902.1A priority Critical patent/CN110262666A/zh
Publication of CN103970265A publication Critical patent/CN103970265A/zh
Application granted granted Critical
Publication of CN103970265B publication Critical patent/CN103970265B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及具有触觉反馈的增强现实用户接口。一种设备可以被配置成基于增强现实环境来提供反馈。该设备可以包含，例如，被配置成从增强现实设备接收控制信号的处理器，及被配置成基于接收到的控制信号来提供反馈的反馈设备。增强现实设备可以产生增强现实环境并且可以远离设备。通过设备接收到的控制信号可以表示增强现实环境中发生的事件。增强现实环境可以包括其中至少一个物理对象存在的物理空间，及其中增强物理对象的一个或多个虚拟对象被显示的增强现实空间。

Description

具有触觉反馈的增强现实用户接口
技术领域
本发明涉及一种设备，被配置成基于在增强现实环境中发生的事件而产生反馈。
背景技术
增强现实设备提供增强现实环境，其中物理空间中的物理对象与虚拟空间中的虚拟对象被同时显示。不同的增强现实设备识别布置在物理对象上的具体代码（例如，QR代码）并且显示视图内的一个或多个虚拟对象，该视图包括基于具体代码利用虚拟对象增强的物理对象。其它增强现实设备能够使用图像识别来识别具体的已知物理对象，诸如通过将图像传输至执行图像识别的服务器。
尽管增强现实系统有进步，但是与增强虚拟环境进行交互的能力仍是受限的。例如，传统增强现实设备通常使用语音识别以便提供与增强现实环境有关的输入。将有用反馈提供给用户也是受限的。另外，在许多实例中识别虚拟现实环境中的对象可能是计算密集型的并且降低可用性。
发明内容
本公开涉及一种设备，被配置成基于增强现实环境中发生的事件而产生反馈，将输入提供至增强现实环境，并且与增强现实环境相关联地被识别。增强现实环境可以通过可通信地耦接至设备的增强现实设备来产生。
设备可以被配置成基于增强现实环境而提供反馈。该设备可以包含，例如，被配置成从增强现实设备接收控制信号的处理器，及被配置成基于接收到的控制信号来提供反馈的反馈设备。增强现实设备可以产生增强现实环境并且可以远离设备。通过设备接收到的控制信号可以表示增强现实环境中发生的事件。增强现实环境可以包括至少一个物理对象存在的物理空间，及增强物理对象的一个或多个虚拟对象被显示的增强现实空间。
事件可以包括设备和增强现实环境之间的交互、对相关于增强现实环境发生的动作的确认、设备被增强现实设备识别的确认、设备和在增强现实空间中显示的一个或多个虚拟对象之间的交互、和/或在增强现实环境中的其它事件。
设备可以包含，例如，通信端口、位置或方向设备、输入组件、和/或其它组件。通信端口可以包括接口，通信信道可以通过该接口与例如增强现实设备维持联系。来自增强现实设备的控制信号可以经由通信信道被接收，通信信道可以包括有线或无线通信信道。位置或方向设备可以被配置成经由通信信道向增强现实设备提供位置、方向或二者。输入组件可以被配置成接收输入，诸如按钮按下、手势、和/或其它输入。可以通过处理器将输入经由通信信道通信至增强现实设备。
在一些实施方式中，设备的处理器可以被配置成执行一个或多个模块，包括，例如，反馈控制模块、通信模块、和/或其它计算机程序模块。反馈控制模块可以被配置成接收控制信号并且使反馈设备提供反馈。通信模块可以被配置成促进设备和增强现实设备之间的通信。
反馈控制模块可以被配置成接收控制信号并且使反馈设备提供反馈。控制信号可以表示增强现实设备处的事件。事件可以包括，例如，正在增强虚拟环境中显示的一个或多个虚拟对象、设备和一个或多个虚拟对象之间的一个或多个交互、和/或与增强现实环境相关的其它事件。在一些实施例中，反馈控制模块可以被配置成将控制信号提供至反馈设备。在这个实施例中，控制信号可以被直接施加至反馈设备以便引起反馈。在一些实施例中，反馈控制模块可以被配置成基于接收到的控制信号来确定反馈信号。在这些实施例中，反馈控制模块可以咨询查找表以便基于接收到的控制信号来确定反馈信号。
通信模块可以被配置成促进设备和增强现实设备之间的通信。在一些实施方式中，通信模块可以被配置成促进设备、增强现实设备、服务器、包含与设备类似的组件和功能的手持设备、和/或可以与设备通信的其它设备之间的通信。通信模块可以被配置成提供用于设备、增强现实设备、手持设备、服务器、和/或其它设备之间通信的有线或无线通信信道。
在一些实施方式中，反馈设备可以包含被配置成提供触觉效果形式的触觉反馈的触觉输出设备，被配置成提供视觉反馈的视觉设备，被配置成提供听觉反馈的音频设备，和/或产生反馈的其它设备。触觉输出设备可以包括致动器，例如，诸如通过电机移动偏心质量的偏心旋转质量（“ERM”）的电磁致动器，被附连至弹簧的质量被前后驱动的线性谐振致动器（“LRA”），或诸如压电、电活性聚合物或形状记忆合金的“智能材料”，宏复合纤维致动器，静电致动器，电触觉致动器，和/或提供诸如触觉（例如，振动触知）反馈的物理反馈的其它类型致动器。触觉输出设备可以包括非机械或非振动式设备，诸如使用静电摩擦（ESF）、超声波表面摩擦（USF）的那些设备，或利用超声波触觉传感器引起声辐射压力的那些设备，或使用触觉基底和柔性或可变形表面的那些设备，或提供诸如使用空气喷射的空气喷出的投射触觉输出的那些设备，等等。视觉设备可以被配置成在设备处产生诸如可见光的视觉反馈。例如，视觉反馈可以视觉指示增强现实环境中事件的发生。
反馈设备可以被配置成从反馈控制模块接收一个或多个信号（例如，控制信号或反馈信号）。基于一个或多个信号，触觉输出设备、视觉设备、音频设备、和/或其它反馈设备可以经由设备提供反馈。
设备可以包含标识符设备，被配置成产生标识标记。标识标记可以被增强现实设备使用以便标识设备。标识标记可以包含可见光学签名（例如，光的可见波长范围内的光学签名）或非可见签名（例如，不在光的可见波长范围内的光学签名）。在一些实施方式中，可以将增强现实符号布置在设备表面上。增强现实符号可以用于，例如，确定增强现实环境内设备的方向，标识增强现实环境中设备的存在，和/或允许其它形式的设备识别。在一些实施方式中，设备可以发射听觉签名、红外签名、和/或可以被增强现实设备识别的其它签名。
在一些实施方式中，设备可以被配置为诸如环状物（ring）的可穿戴设备。在这些实施方式中，反馈设备可以包含布置在环状物周围的光发射带。来自光发射带的反馈可以包括颜色、图案、和/或可以与增强现实环境中的一个或多个虚拟对象协调的其它可见特性。反馈设备可以包含在环状物上间隔开的一个或多个触觉输出设备。
在一些实施方式中，设备可以包括手套、顶针、环状物、和/或能够穿戴的其它设备。在这些实施方式中，反馈设备可以包含布置在指尖上的设备的一部分上和/或设备的其它部分上的光发射带。反馈设备可以包含贯穿设备间隔开的一个或多个触觉输出设备。可以将标识标记和/或增强现实符号布置在设备表面上。在一些实施方式中，设备可以至少覆盖穿戴者手的一根手指的指尖。可以将标识标记或增强现实符号布置在覆盖穿戴者指尖的设备表面上和/或设备的其它表面上。
在一些实施方式中，手持设备可以包含与设备相同或类似的组件和功能，并且可以用与设备相同或类似方式与增强现实设备交互。手持设备可以包含，例如，触笔、游戏杆、移动电话、视频游戏控制器、和/或可以可通信地耦接至增强现实设备的其它手持设备。在一些实施方式中，设备和手持设备都可以同时都与增强现实设备交互。
增强现实（“AR”）设备可以被配置成产生增强现实环境，其包含增强现实空间和物理空间二者。AR设备可以包含，例如，通信端口、成像设备、处理器、和/或其它组件。通信端口可以包含接口，通信信道通过该接口可以和例如设备维持联系。诸如摄像机的成像设备可以被配置成对物理空间进行成像。在一些实施方式中，增强现实设备的成像设备可以包含摄像机、红外探测器、和/或其它图像记录设备。处理器可以被配置成产生与物理空间相符的增强现实空间。处理器可以被配置成识别物理空间中的至少一个物理对象并且利用增强现实空间中的一个或多个虚拟对象来增强至少一个物理对象。处理器可以被配置成确定增强现实环境内的事件并且经由有线或无线通信信道将表示此事件的控制信号通信至设备。控制信号可以引起要在设备上产生的反馈。
在一些实施方式中，AR设备的处理器可以被配置成执行一个或多个模块，模块包括，例如，对象识别模块、对象产生模块、事件处理器模块、控制信号产生模块、通信模块、和/或其它计算机程序模块。对象识别模块可以被配置成识别物理空间中的物理对象。对象产生模块可以被配置成产生虚拟对象以便增强被识别物理对象。事件处理器模块可以被配置成探测增强现实环境中事件是否发生。控制信号产生模块可以被配置成接收与事件有关的信息并且产生用于传输至设备的控制信号。通信模块可以被配置成促进增强现实设备和设备之间的通信。
在一些实施方式中，基于增强现实环境提供反馈的系统可以包含增强现实设备、设备、和/或手持设备。
参考附图，考虑下列说明和所附权利要求书后，本文公开的系统和/或方法的这些及其它目的、特征、及特性，以及操作方法和结构相关元件的功能及零件及制造的经济性的组合将变得更加显而易见，所有这些形成本说明书的一部分，其中类似的附图标记标明不同图中的对应零件。然而，会清楚地理解，附图是出于示例和描述的目的而非旨在作为限制本发明的定义。正如在本说明书和权利要求书中使用的那样，单数形式“一个”、“该”包括复数所指物，除非上下文清楚地另有所指。
附图说明
下列图中的组件被示出是为了强调本公开的一般原理，不一定是按比例绘制的。为了一致和清晰，在各图中指定对应组件的附图标记必要时被重复。
图1示出根据本发明一种实施方式的基于增强现实环境来提供反馈的示例性系统的框图；
图2A示出根据本发明不同实施方式的被配置为诸如环状物的可穿戴设备的示例性设备的示意图；
图2B示出根据本发明不同实施方式的被配置为诸如触笔的手持设备的示例性设备的示意图；
图3示出根据本发明一种实施方式的示例性反馈设备的示意图；
图4示出对根据本发明实施方式的示例性增强现实环境的描述；
图5A、5B、及5C示出根据本发明不同实施方式的示例性增强现实设备的示意图；
图6示出根据本发明一种实施方式的基于增强现实环境来提供反馈的示例性过程的流程图；和
图7示出根据本发明一种实施方式的基于增强现实环境来提供反馈的示例性过程的流程图。
具体实施方式
图1示出基于增强现实（“AR”）环境来提供反馈的示例性系统10的框图。系统10可以包含设备100、增强现实（“AR”）设备200、通信信道300、服务器400、手持设备102、和/或可以与设备100、AR设备200、或服务器400通信的其它设备。
设备100可以被配置成基于AR环境来提供反馈。例如，设备100可以被配置成基于AR环境中发生的事件来产生反馈，将输入提供至AR环境，并且与AR环境相关联地被识别。可以通过可通信地耦接至设备100的AR设备200产生AR环境。
AR设备200可以产生AR环境并且可以远离设备100。通过设备100接收到的控制信号可以表示AR环境中发生的事件。AR环境可以包括至少一个物理对象存在的物理空间，及增强物理对象的一个或多个虚拟对象被显示的增强现实（“AR”）空间。如下文中进一步详细讨论的那样，在一些实施方式中，AR设备200可以被配置成呈眼镜的形状。
事件可以包括设备100和AR环境之间的交互、对关于AR环境发生的动作的确认、通过AR设备200识别设备100的确认、设备100和在AR空间中显示的一个或多个虚拟对象之间的交互、用户和AR环境之间的交互、和/或AR环境中的其它事件。
在一些实施方式中，设备100可以包含，例如，被配置成从AR设备200接收控制信号的处理器110，被配置成基于接收到的控制信号来提供反馈的反馈设备120，通信端口130、位置/方向设备140、输入组件150、标识符设备160、和/或其它组件。如下文中进一步详细讨论的那样，在一些实施方式中，设备100可以包括手套、顶针、环状物、和/或能够穿戴的其它设备。在一些实施方式中，设备100可以被配置为手持设备，诸如触笔、游戏杆、移动电话、视频游戏控制器、和/或可以可通信地耦接至AR设备200的其它手持设备。在一些实施方式中，设备100和AR设备200可以是单个物理设备中的单独设备或被集成在单个物理设备中。
在一些实施方式中，设备100的处理器110可以被配置成执行一个或多个模块，包括，例如，反馈控制模块111、通信模块112、和/或设备100的其它计算机程序模块。反馈控制模块111可以被配置成接收控制信号并且使反馈设备120提供反馈。通信模块112可以被配置成促进设备100和AR设备200之间的通信。
反馈控制模块111可以被配置成（例如，从AR设备200）接收控制信号并且使反馈设备120经由设备100来提供反馈。控制信号可以表示AR设备200处的事件。事件可以包括，例如，在增强虚拟环境中正被显示的一个或多个虚拟对象、设备100和一个或多个虚拟对象之间的一个或多个交互、和/或与AR环境相关的其它事件。在一些实施例中，反馈控制模块111可以被配置成将控制信号提供至反馈设备120。在这个实施例中，控制信号可以被直接施加至反馈设备120以便引起反馈。在一些实施例中，反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。在这些实施例中，反馈控制模块111可以咨询查找表以便基于接收到的控制信号来确定反馈响应。反馈响应可以包含一种或多种类型的反馈和基于接收到的控制信号要产生的指示反馈类型的一个或多个反馈信号。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至该信号对应的各自的反馈设备120。
在一些实施方式中，反馈控制模块111可以咨询设备100的查找表以便基于接收到的控制信号来确定哪种类型的反馈和哪个反馈信号包括在反馈响应中。反馈响应可以包括用于单个反馈设备120的单个反馈信号、多个反馈信号，用于多个反馈设备120的多个反馈信号，用于一个或多个反馈设备120的反馈信号图案、和/或其它类型的反馈响应。在一些实施方式中，反馈响应的类型可以指示通过控制信号表示的事件类型。例如，包含单个信号的反馈响应可以指示：事件表示对AR环境中设备100的识别。包含信号图案的反馈响应可以指示，事件表示设备100和AR环境之间的交互。与不同类型反馈响应相关联的指示不限于所述实例。
在一些实施方式中，查找表可以储存多个控制信号和多个反馈响应之间的关联。例如，当控制信号包含指示事件发生的信息时，查找表可以储存与此控制信号相关联的反馈响应。当控制信号包含指示一种类型的事件发生的信息时，查找表可以为通过控制信号的信息指示的一种或多种类型的事件储存一个或多个不同的反馈响应。当控制信号包含指示虚拟对象在增强虚拟环境中被显示的信息时，查找表可以为可以在增强虚拟环境中显示的不同虚拟对象储存不同的反馈响应。例如，反馈响应可以与信号中指示的一个或多个虚拟对象协调，使得反馈响应对应于信号中指示的一个或多个虚拟对象的一个或多个特性。反馈可以包含颜色、形状、图案、若干个反馈信号、和/或类似于指示的虚拟对象的特性。当控制信号包含指示设备100和一个或多个虚拟对象之间的交互的信息时，查找表可以为设备100和AR环境之间可以发生的不同交互储存不同的反馈响应。在一些实施方式中，反馈控制模块111可以从服务器400取回反馈响应，服务器400被配置成储存包含多个控制信号和相关联反馈响应的查找表。
通信模块112可以被配置成促进设备100和AR设备200之间的通信。在一些实施方式中，通信模块112可以被配置成促进设备100、AR设备200、服务器400、可以包含与设备100类似的组件和功能的手持设备102、和/或可以与设备100通信的其它设备之间的通信。通信模块112可以被配置成为设备100、AR设备200、手持设备102、服务器400、和/或与设备100通信的其它设备之间的通信提供有线或无线通信信道300。
反馈设备120可以包含被配置成提供触觉效果形式的触觉反馈的一个或多个触觉输出设备，被配置成提供视觉反馈的一个或多个视觉设备，被配置成提供听觉反馈的一个或多个音频设备，和/或产生反馈的其它设备。触觉输出设备可以包括致动器，例如，电磁致动器，诸如通过电机移动偏心质量的运动偏心旋转质量（“ERM”），附连至弹簧的质量被前后驱动的线性谐振致动器（“LRA”），或诸如压电、电活性聚合物或形状记忆合金的“智能材料”，宏复合纤维致动器，静电致动器，电触觉致动器，和/或提供诸如触觉（例如，振动触知）反馈的物理反馈的其它类型致动器。触觉输出设备可以包括非机械或非振动式设备，诸如使用静电摩擦（ESF）、超声波表面摩擦（USF）的那些设备，或利用超声波触觉传感器引起声辐射压力的那些设备，或使用触觉基底和柔性或可变形表面的那些设备，或提供诸如使用空气喷射的空气喷出的预计触觉输出的那些设备，等等。视觉设备可以被配置成在设备100上产生诸如可见光的视觉反馈。例如，视觉反馈可以视觉指示AR环境中事件的发生。
反馈设备120可以被配置成从反馈控制模块111接收一个或多个信号（例如，控制信号或反馈信号）。基于一个或多个信号，触觉输出设备、视觉设备、音频设备、和/或其它反馈设备120可以经由设备100提供反馈。
通信端口130可以包括接口，例如，通信信道300可以通过该接口与例如AR设备200维持联系。可以经由通信信道300接收来自AR设备200的控制信号，通信信道300可以包括有线或无线通信信道。
位置/方向设备140可以被配置成经由通信信道300向AR设备200提供位置、方向或二者。例如，位置/方向设备140可以包含陀螺仪、地理空间定位设备、罗盘、和/或其它定向或定位设备。
输入组件150可以被配置成接收诸如按钮按下、手势的输入，和/或其它输入。输入可以通过处理器110经由通信信道300被通信至AR设备200。例如，输入组件150可以包括触摸板、触摸屏、机械按钮、开关、和/或能够接收输入的其它输入组件。
标识符设备160可以被配置成产生用于设备100的标识标记。标识标记可以被AR设备200用来识别设备100。标识标记可以包含可见光学签名（例如，光的可见波长范围内的光学签名）或非可见签名（例如，不在光的可见波长范围内的光学签名）。在一些实施方式中，反馈设备120可以诸如通过产生光学签名来产生标识标记。
在一些实施方式中，可以将增强现实（“AR”）符号布置在设备100的表面上。AR符号可以用于，例如，确定设备100在AR环境内的方向，标识设备100在AR环境中的存在，和/或允许对设备100其它形式的识别。在一些实施方式中，设备100可以发射听觉签名、红外签名、和/或可以被AR设备200识别的其它签名。
在一些实施方式中，如图2A所示，设备100可以被配置为诸如环状物200的可穿戴设备。在一些实施方式中，设备100可以包括可穿戴设备，诸如手套、顶针、和/或能够穿戴的其它设备100。反馈设备120可以包含一个或多个设备。可以将一个或多个设备布置在设备100的一个或多个部分上。标识符设备160可以包含标识标记和/或AR符号，其可以被布置在覆盖穿戴者指尖的设备100的表面上或设备100的其它表面上。在一些实施方式中，标识符设备160可以产生标识标记和/或AR符号。在一些实施方式中，设备100可以覆盖穿戴者手的手指上的至少一个指甲。可以将标识标记或AR符号布置在覆盖穿戴者指甲的设备100的表面上或设备100的其它表面上。
如图2B所示，在一些实施方式中，设备100可以被配置为手持设备102。手持设备102可以包含与设备100相同或类似的组件和功能，并且可以用与设备10相同或类似方式与AR设备200交互。手持设备102可以包含，例如，触笔、游戏杆、移动电话、视频游戏控制器和/或可以可通信地耦接至AR设备200的其它手持设备102。在一些实施方式中，设备100和手持设备102都可以同时都与AR设备200交互。
如图3所示，设备100的反馈设备120可以包含一个或多个设备。在一些实施方式中，一个或多个设备可以在设备100上间隔开。反馈设备120可以包含，例如，被配置成提供一个或多个触觉效果的一个或多个触觉输出设备122，被配置成提供视觉反馈的一个或多个视觉设备124，被配置成提供听觉效果的一个或多个音频设备126，光发射带128，和/或产生反馈的其它设备。
触觉输出设备122可以包括致动器，例如，诸如通过电机移动偏心质量的偏心旋转质量（“ERM”）的电磁致动器，被附连至弹簧的质量被前后驱动的线性谐振致动器（“LRA”），或诸如压电、电活性聚合物或形状记忆合金的“智能材料”，宏复合纤维致动器，静电致动器，电触觉致动器，和/或提供诸如触觉（例如，振动触知）反馈的物理反馈的其它类型致动器。触觉输出设备可以包括非机械或非振动式设备，诸如使用静电摩擦（ESF）、超声波表面摩擦（USF）的那些设备，或利用超声波触觉传感器引起声辐射压力的那些设备，或使用触觉基底和柔性或可变形表面的那些设备、或提供诸如使用空气喷射的空气喷出的投射触觉输出的那些设备，等等。在一些实施方式中，一个或多个触觉输出设备122可以贯穿设备100间隔开。
视觉设备124可以被配置成在设备100处产生诸如可见光的视觉反馈。例如，视觉反馈可以视觉指示AR环境中事件的发生。
音频设备126可以被配置成在设备100处产生诸如一个或多个声音的音频反馈。例如，音频反馈可以可听见地指示AR环境中事件的发生。
光发射带128可以被配置成产生从设备100和/或环绕着设备100发出的光发射带。经由带128发射的光可以包括颜色、图案、和/或其它视觉特性。视觉特性可以与AR环境中一个或多个虚拟对象协调。
返回到图1，AR设备200可以被配置成产生包含AR空间和物理空间二者的AR环境。AR设备200可以包含，例如，处理器210、成像设备200、通信端口230、和/或其它组件。处理器210可以被配置成产生与物理空间相符的AR空间。处理器210可以被配置成识别物理空间中的至少一个物理对象，并且利用AR空间中一个或多个虚拟对象来增强至少一个物理对象。处理器210可以被配置成确定AR环境内的事件，并且将表示此事件的控制信号经由有线或无线通信信道300通信至设备100。控制信号可以引起要在设备100处产生的反馈。成像设备220可以被配置成将物理空间成像。在一些实施方式中，成像设备220可以包含一个或多个摄像机、红外探测器、视频摄像机、和/或其它图像记录设备。通信端口230可以包含接口，通信信道300通过该接口可以和例如设备100维持联系。
在一些实施方式中，处理器210可以被配置成执行一个或多个模块，模块包括，例如，对象识别模块211、对象产生模块212、事件处理器模块213、控制信号产生模块214、通信模块215、和/或其它计算机程序模块。对象识别模块211可以被配置成识别物理空间中的物理对象。对象产生模块212可以被配置成产生虚拟对象以便增强被识别物理对象。事件处理器模块213可以被配置成探测事件是否在AR环境中发生。控制信号产生模块214可以被配置成接收与事件有关的信息并且产生用于传输至设备100的控制信号。通信模块215可以被配置成促进AR设备200和设备100之间的通信。
在一些实施方式中，对象识别模块211可以被配置成识别物理空间中的对象。对象识别模块211可以与成像设备220和AR设备200中的储存器通信以便识别物理空间中的对象。例如，对象识别模块211可以接收从成像设备220捕获的视觉数据，并且可以处理视觉数据以便确定在捕获的视觉数据中是否存在一个或多个对象。对象识别模块211可以将视觉数据中存在的捕获对象和储存器中储存的对象进行比较。
例如，对象识别模块211可以根据已知技术将捕获对象的像素和储存器中储存对象的像素进行比较。当捕获对象的像素的阈值百分比（例如，80%、90%、100%、和/或其它百分比）与储存对象的像素相匹配时，对象识别模块211可以确定捕获对象已经被识别为储存对象。在一些实施方式中，阈值百分比可以取决于成像设备220的分辨率。
对象识别模块211可以获得与储存对象有关的信息，并且将与储存对象有关的信息和与捕获对象有关的信息传输至对象产生模块212。传输至对象产生模块212的信息可以包括，例如，用于储存对象的图像数据，储存对象的类型，捕获对象在物理空间中的位置，捕获对象与其它物理对象的接近度，与储存对象有关的背景信息，与捕获对象有关的背景信息，和/或与储存对象或捕获对象相关联的其它数据。在一些实施方式中，对象识别模块211可以将与储存对象有关的信息和与捕获对象有关的信息传输至事件处理器模块213、控制信号产生模块214、和/或处理器210的其它模块中的一个或多个。
在一些实施方式中，当捕获对象与储存对象不相匹配时，对象识别模块211可以将与捕获对象有关的数据传输至服务器400使得服务器400能够执行对象识别。当服务器400识别捕获对象时，服务器400可以将与和捕获对象匹配的储存对象有关的信息通信至对象识别模块211。对象可以将来自服务器400的与储存对象有关的信息和与捕获对象有关的信息传输至对象产生模块212。当服务器400不识别捕获对象时，服务器400可以通信未发现匹配的指示。
在一些实施方式中，对象产生模块212可以从对象识别模块211接收与物理对象有关的信息并且可以产生一个或多个虚拟对象以便增强AR环境中的物理对象。对象产生模块212可以访问储存器以便确定一个或多个虚拟对象是否与物理对象相关联。当无虚拟对象与物理对象相关联时，对象产生模块212可以与服务器400通信以便确定服务器400的储存器是否已经储存一个或多个物理对象和一个或多个虚拟对象之间的一个或多个关联。当在服务器400的储存器中发现关联时，服务器400可以将与相关联虚拟对象相关的数据通信至对象产生模块212。
当虚拟对象与从对象识别模块211接收到的信息中标识的物理对象相关联时，对象产生模块212可以产生与物理空间相符的AR空间。图4示出示例性AR环境500的框图。AR环境500包含物理空间520和AR空间510，物理空间520包含一个或多个物理对象520a、520b、…、520n，AR空间510包含增强物理空间520中的一个或多个物理对象520a、520b、…、520n的一个或多个虚拟对象510a、510b、…、510n。
在一些实施方式中，对象产生模块212可以利用AR空间510中的一个或多个虚拟对象510a、510b、…、510n来增强物理对象520n。例如，对象产生模块212可以经由AR设备200的显示器表面来显示AR空间510（和一个或多个虚拟对象510a、510b、…、510n）。在一些实施方式中，所显示的AR空间510和一个或多个虚拟对象510a、510b、…、510n可以经由AR设备200的显示器表面以三维方式显示。
经由AR设备200的显示器显示的AR环境500可以包括物理空间520和AR空间510。在一些实施例中，物理空间520可以被成像设备220成像并且经由显示器进行显示。在一些实施例中，物理空间520可以简单地通过显示器进行观察，诸如在显示器被配置为至少部分透明的显示器（例如，镜片）的实施例中，通过至少部分透明的显示器可以观察物理空间520。无论使用哪个实施例来显示物理空间520，与存在于物理空间520中的一个或多个物理对象520a、520b、…、520n相符或相关联的一个或多个虚拟对象510a、510b、…、510n都可以得到显示，由此增强AR环境500中一个或多个物理对象520a、520b、…、520n。单个虚拟对象510a可以增强单个物理对象520a或多个物理对象520a、520b、…、520n。多个虚拟对象510a、510b、…、510n可以增强单个物理对象520a或多个物理对象520a、520b、…、520n。增强存在于物理空间520中的物理对象520a、520b、…、520n的虚拟对象510a、510b、…、510n的数量和类型不限于所述实例。
在一些实施方式中，事件处理器模块213可以被配置成探测事件是否在AR环境中发生。事件处理器模块213可以从成像设备220、对象识别模块211、对象产生模块212、储存器、和/或AR设备200的其它模块或设备接收数据。AR设备200的储存器可以储存与AR设备200可以识别的一个或多个事件相关的数据。例如，AR设备200的储存器可以储存与事件相关的数据，这些事件包括，例如，设备100和AR环境之间的交互，关于AR环境发生的动作的确认，由AR设备200识别设备100的确认，设备100和在AR空间510中显示的一个或多个虚拟对象之间的交互，增强物理对象的具体类型虚拟对象的产生，设备100的识别，手持设备102的识别，用户和AR环境之间的交互，和/或与AR环境相关的其它事件。
在一些实施方式中，事件处理器模块213可以接收来自成像设备220的视觉数据、与来自对象识别模块211的视觉数据中的捕获对象有关的信息、与通过对象产生模块212产生的虚拟对象有关的信息、和/或与AR环境相关的其它信息。事件处理器模块213可以将接收到的信息和与储存器中储存的事件相关的数据进行比较，以便确认信息（或一部分信息）是否与事件相关联。当接收到的信息与事件相关联时，事件处理器模块213可以将包括接收到的信息的事件数据和与关联事件有关的数据传输至控制信号产生模块214。
在一些实施方式中，事件处理器模块213可以从处理器接收数据，其指示设备100和AR环境之间发生的交互、变化的AR环境中的一个或多个虚拟对象、输入从设备100被接收、从设备100接收到的输入被AR设备200处理、用户和AR环境之间发生的交互、和/或其它处理被AR设备200执行。在一些实施方式中，事件处理器模块213可以将从处理器210接收到的数据和储存器中储存的数据进行比较以便确定数据是否与事件相关联。当一些或所有接收到的信息都与储存器中储存的事件相关联时，事件处理器模块213可以将包括所接收信息的事件数据和与关联事件有关的数据传输至控制信号产生模块214。
在一些实施方式中，当接收到的信息与储存器中储存的事件不相关联时，事件处理器模块213可以将包括接收到的信息的事件数据传输至服务器400使得服务器400能够执行事件处理。当一些或所有接收到的信息都与服务器400的储存器中储存的事件相关联时，服务器400可以将与关联事件有关的信息通信至事件处理器模块213。事件处理器模块213可以将包括接收到的信息的事件数据和与关联事件有关的数据传输至控制信号产生模块214。当接收到的信息与服务器400的储存器中储存的事件不相关联时，服务器400可以通信未发现匹配的指示。
在一些实施方式中，控制信号产生模块214可以被配置成从事件处理器模块213接收事件数据并且基于用于传输至设备100的事件数据来产生控制信号。AR设备200的储存器可以包括查找表，其使多个事件和各自多个控制信号相关联。基于从事件处理器模块213接收到的事件数据，控制信号产生模块214可以产生用于传输至设备100的控制信号。例如，控制信号产生模块214可以将接收到的事件数据和储存器上储存的数据进行比较。当一些或所有事件数据都与储存器中储存的事件相匹配时，控制信号产生模块214可以产生与匹配事件相关联的控制信号相关的控制信号。当事件数据与储存器中储存的事件不相匹配时，控制信号产生模块214可以将事件数据通信至服务器400以便确定服务器的储存器是否已经储存与一些或所有事件数据相关联的控制信号。控制信号可以包含，例如，指示事件发生的信息，指示发生事件的具体类型的信息，指示增强虚拟环境中一个或多个虚拟对象已经/被显示的信息，指示设备100和一个或多个虚拟对象之间的一个或多个交互的信息，和/或与AR环境中的事件有关的其它信息。
通信模块215可以被配置成促进AR设备200和设备100之间的通信。在一些实施方式中，通信模块215可以被配置成促进AR设备200、设备100、服务器400、手持设备102、和/或可以与AR设备200通信的其它设备之间的通信。通信模块215可以被配置成提供用于AR设备200、设备100、和/或手持设备102之间通信的有线或无线通信信道300。通信模块215可以被配置成经由有线或无线通信信道300或经由单独通信信道来提供AR设备200、设备100、手持设备102、服务器、和/或其它设备之间的通信。通信模块215可以被配置成经由有线或无线通信信道300将控制信号产生模块214产生的控制信号通信至设备100和/或手持设备102。
在一些实施方式中，AR设备200的处理器210可以被配置成当设备100在成像设备220的视场内和/或在AR环境500的物理空间520内移动时识别设备100。例如，AR设备200的对象识别模块211可以被配置成通过将来自成像设备220的图像数据和储存器中储存的图像数据进行比较来识别设备100。AR设备200的储存器可以包括与设备100对应的图像数据。储存器可以包括与可以布置在设备100上的一个或多个标记对应的图像数据。标记可以包含产品代码、QR代码、与设备100相关联的图像、和/或用于识别设备100的其它图像。AR设备200的处理器210可以被配置成识别听觉签名、红外签名、和/或通过设备100产生的其它签名。在这些实施方式中，控制信号产生模块214可以产生可以表示设备100的识别的控制信号，使得设备100上产生的反馈指示识别。
在一些实施方式中，处理器210可以被配置成从设备100接收设备100的位置和/或设备100的方向。设备100的位置和/或方向可以经由设备100和AR设备200之间的通信信道300被通信。处理器210可以被配置成基于接收到的位置和/或方向来确定设备100在AR环境500中的位置和/或设备100的方向。在一些实施方式中，可以将位置指示器图像和/或方向指示器图像布置在设备100上。当识别可穿戴对象100处在成像设备的观察范围内和/或处在AR环境500的物理空间520内时，对象识别模块211可以识别位置指示器图像和/或方向指示器图像。位置指示器图像和/或方向指示器图像数据可以通过对象识别模块211、事件处理器模块213、和/或AR设备200的其它模块进行处理以便确定设备100在AR环境500内的位置和/或方向。在一些实施方式中，处理器210可以被配置成在AR环境500内定位设备100而不考虑物理对象和设备100之间的距离。
处理器210可以被配置成从设备100接收输入。例如，处理器210可以从与经由输入组件150接收的输入相关的设备100接收数据。经由输入组件150接收到的输入可以包含，例如，按钮按下、手势、和/或其它输入。AR设备200的处理器210可以处理接收到的数据并且基于处理来执行功能。例如，处理器210可以增加、删除、改变、和/或更改AR环境500中的一个或多个虚拟对象510a、510b、…、510n。处理器210可以基于处理将数据发送至设备100。处理器210可以基于处理来执行其它功能。在一些实施方式中，处理器可以从设备100接收输入，其包括用于设备100的标识标记和输入包含标识标记的指示。AR设备200可以储存标识标记并且使标识标记和设备100相关联。
如图5A所示，在一些实施方式中，AR设备200可以被配置成呈眼镜的形状。例如，AR设备200可以被配置成经由眼镜的一个或两个镜片250来显示AR环境500（或AR环境500A、500B）。AR设备200的组件（例如，成像设备220、无线收发器240、处理器等）可以被布置在眼镜的不同位置上。下面仅仅出于示例性目的而非限制性的实例。接近其中一个镜片250A（或镜片250A的一部分）的一部分框架可以包含成像设备220。接近另一个镜片250B（或另一个镜片250B的一部分）的一部分镜框可以包含无线收发器240，其可以包含通信端口。眼镜腿210（包括从镜片延伸至耳朵的眼镜框架的一部分）可以包含处理器、通信端口、和/或AR设备200的其它组件。在一些实施方式中，眼镜腿210A、210B可以包含处理器、通信端口、和/或AR设备200的其它组件中的一个或多个。也可以使用其它配置。
如图5B所示，在一些实施方式中，AR设备200可以被配置为移动电话，诸如个人数字助理、智能电话、和/或其它移动电话。成像设备220可以包括一个或多个摄像头（例如，前视摄像机220A、后视摄像机220B、和/或移动电话的其它摄像机）。移动电话的处理器可以包含AR设备200的处理器的组件和功能。电话的通信组件和功能（例如，一个或多个端口，无线收发器，一个或多个天线，促进与其它设备通信的处理功能，和/或其它通信组件和功能）可以包含AR设备200的通信端口和通信模块。移动设备的显示器可以被配置成显示AR环境500。
在一些实施方式中，AR设备200可以被配置为计算设备，诸如笔记本电脑、台式计算机、平板电脑、和/或其它计算设备。一个或多个成像设备220A、220B可以包括前视摄像机、后视摄像机、可通信地耦接至计算设备的网络摄像机、和/或其它成像设备。计算设备的处理器可以包含AR设备200的处理器的组件和功能。计算设备的通信组件和功能（例如，一个或多个端口，无线收发器，一个或多个天线，促进与其它设备通信的处理功能，和/或其它通信组件和功能）可以包含AR设备200的通信端口和通信模块。计算设备的显示器可以被配置成显示AR环境500。
如图5C所示，在一些实施方式中，AR设备200可以包含电视、视频游戏系统、和/或用于显示的运动图像的其它设备。一个或多个成像设备220可以包括前视摄像机、对象传感器、可通信地耦接至计算设备的网络摄像机、和/或其它成像设备。设备的处理器可以包含AR设备200的处理器的组件和功能。设备的通信组件和功能（例如，一个或多个端口，无线收发器，一个或多个天线，促进与其它设备通信的处理功能，和/或其它通信组件和功能）可以包含AR设备200的通信端口和通信模块。设备的显示器250可以被配置成显示AR环境500。
返回到参考图1，在一些实施方式中，服务器400可以被配置成与设备100、AR设备200、手持设备102、和/或与服务器400通信的其它设备中的一个或多个通信。在一些实施方式中，服务器400可以包含处理器、储存器、及通信端口。
服务器400的处理器可以被配置成接收数据、识别对象、处理事件、发送数据、和/或提供其它功能。在一些实施方式中，服务器400可以被配置成从设备100的处理器110接收控制信号。服务器400的储存器可以包含查找表，其可以按照与设备100的查找表类似或相同的方式进行配置，该方式包含多个控制信号和多个反馈响应。当查找表包括与控制信号有关的条目时，服务器400可以将包括反馈响应的信息通信至反馈控制模块111。当服务器400的查找表不包括与控制信号有关的条目时，服务器400可以将未发现用于控制信号的匹配的指示通信至反馈控制模块111。在一些实施方式中，服务器400可以执行图像处理和/或与从设备100接收到的数据有关的对象识别。
在一些实施方式中，服务器400可以接收与被AR设备200的成像设备220捕获的对象相关的数据。服务器400的处理器可以执行与捕获对象相关的对象识别。服务器400的储存器可以包含查找表，其包含一个或多个物理对象。服务器400可以确定查找表是否包含与从接收到的数据识别出的对象相关的条目。当查找表包含与被识别对象相关的条目时，服务器400可以将与和识别对象相匹配的储存对象有关的信息通信至对象识别模块211。当服务器400不识别被识别对象时，服务器400可以将未发现匹配的指示通信至对象识别模块211。
在一些实施方式中，服务器400可以接收与被AR设备200的处理器210的对象识别模块211识别的物理对象相关的数据。服务器400的处理器可以确定服务器400的储存器是否已经储存物理对象和一个或多个虚拟对象之间的关联。在一些实施方式中，服务器400的储存器可以包含查找表，其包含物理对象、虚拟对象、和一个或多个物理对象和一个或多个虚拟对象之间的一个或多个相关性。当在服务器400的储存器中发现关联时，服务器400可以将与关联虚拟对象相关的数据通信至对象产生模块212。当在服务器400的储存器中发现无关联时，服务器400可以通信已经发现无关联。
在一些实施方式中，服务器400可以被配置成从AR设备200的处理器210的事件处理器模块213接收事件数据。服务器400的储存器可以包括查找表，其将多个事件与各自多个控制信号相关联。当一些或所有事件数据都与服务器400的储存器中储存的事件相匹配时，服务器400的处理器可以将与事件相关的事件数据通信至事件处理器模块213。当事件数据与储存器中储存的事件不相匹配时，服务器400的处理器可以将未发现匹配通信至AR设备200。
服务器400的通信端口可以包括接口，通信信道300可以通过该接口与例如设备100、手持设备102、AR设备200、和/或与服务器400通信的其它设备维持联系。可以经由通信信道300、和/或其它通信信道接收数据和/或信号，服务器400通过通信信道300、和/或其它通信信道接收数据和/或信号。
图6示出根据本发明一种实施方式的基于AR环境500来提供反馈的示例性过程的流程图。图6和其它图的所述操作可以使用上文详细描述的一些或所有系统组件来完成，并且在一些实施方式中，可以按不同顺序执行不同操作。在其它实施方式中，附加的操作可以连同图6和其它图中示出的一些或所有操作一起执行。在又一些实施方式中，一个或多个操作可以同时执行。在又一些实施方式中，可以执行不同操作的一个或多个组合。一些实施方式可以不执行与图6和其它图相关的所有所述操作。因此，所述操作本质上是示例性的，这样，应当不被视为限制性的。
在一些实施例中，图6和其它图中的操作可以在一个或多个处理设备（例如，设备100、AR设备200、服务器400、手持设备102、和/或其它设备）中得以实施。一个或多个处理设备可以包括一个或多个设备，其响应于电子储存介质上电子储存的指令而执行图6和其它图中一些或所有操作。一个或多个处理设备可以包括通过为执行图6和其它图中一个或多个操作而具体设计的硬件、固件、和/或软件进行配置的一个或多个设备。
在操作602中，可以在设备100和AR设备200之间建立通信信道300。
在操作604中，可以在AR环境500中探测到事件的发生。AR设备200的处理器210的对象识别模块211和对象产生模块212中的一个或两个都可以被配置成促进AR环境500的产生，AR环境500包括与物理空间520相符的AR空间510。事件处理器模块213可以被配置成基于从处理器210或成像设备220中的一个或多个接收到的信息来确定AR环境500内的事件。事件可以包括设备100和AR环境500之间的交互、关于AR环境500发生的动作的确认、通过AR设备200识别设备100的确认、设备100和在AR空间中显示的一个或多个虚拟对象之间的交互、用户和AR环境之间的交互、和/或AR环境500中的其它事件。
在操作606中，设备100可以从AR设备200接收控制信号。当AR设备200的事件处理器模块213探测事件时，控制信号产生模块214可以被配置成确定与探测到的事件相关联的控制信号并且经由有线或无线通信信道300将控制信号通信至设备100。处理器110的反馈控制模块111可以接收控制信号。控制信号可以基于对AR环境500中事件发生的探测。
在操作608中，可以经由设备100提供反馈。反馈控制模块111可以使反馈设备120经由设备100来提供反馈。在一些实施方式中，反馈控制模块111可以被配置成将控制信号提供至反馈设备120。在这些实施例中，控制信号可以被直接施加至反馈设备120以便引起反馈。在一些实施方式中，反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。反馈控制模块111可以提供反馈响应，反馈响应包含一种或多种类型的反馈和要产生的指示反馈类型的一个或多个反馈信号。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至该信号对应的各自的反馈设备120。
设备100的一个或多个反馈设备120可以经由设备100来提供反馈。在一些实施方式中，提供的反馈可以基于从反馈控制模块111接收到的一个或多个反馈信号。反馈可以对应于在AR环境500内探测到的事件。例如，反馈可以表示事件。
图7示出根据本发明一种实施方式的基于AR环境来提供反馈的示例性处理的流程图。
在操作702中，可以在设备100和AR设备200之间建立通信信道300。
在操作704中，设备100可以在AR设备200的AR环境500内被探测到。例如，AR设备200的成像设备220可以捕获AR环境500的物理空间520中的图像。AR设备200的处理器210的对象识别模块211可以基于被成像设备220捕获的图像数据来探测设备100。在一些实施方式中，设备100可以探测图像中的对象并且可以基于与探测到的对象相关联的数据来确定对象是否是设备。在一些实施方式中，对象识别模块211可以基于布置在设备100处的标识标记来探测设备100。在一些实施方式中，AR设备的处理器210可以基于设备100的标识标记来探测设备100。标识标记可以包含可见光学签名（例如，光的可见波长范围内的光学签名）或非可见签名（例如，不在光的可见波长范围内的光学签名）。在一些实施方式中，可以将AR符号布置在设备100的表面上。对象识别模块211可以基于布置在设备100上的AR符号来探测设备100。在一些实施方式中，AR设备的处理器210可以基于听觉签名、红外签名、和/或通过设备100发射的其它签名来探测设备100。
在操作706中，设备100可以从AR设备200接收指示AR环境500内设备100的识别的控制信号。当对象识别模块211或处理器210中的一个或多个识别AR环境500内的设备100时，可以将指示设备100的识别的数据发送至事件处理器模块213。事件处理器模块213可以将从对象识别模块211接收到的数据和储存器中储存的数据进行比较以便确定数据是否与事件相关联。当一些或所有接收到的信息都与包含设备100的识别的事件相关联时，事件处理器模块213可以将包括接收到的信息的事件数据和与设备100的识别有关的数据传输至控制信号产生模块214。控制信号产生模块214可以被配置成从事件处理器模块213接收事件数据并且基于用于传输至设备100的事件数据来产生控制信号。
处理器110的反馈控制模块111可以接收由控制信号产生模块214产生的控制信号。控制信号可以指示对AR环境500中事件发生的探测。
在操作708中，指示AR环境500内设备100的识别的反馈可以经由设备100而被提供。反馈控制模块111可以使反馈设备120经由设备100来提供反馈。在一些实施方式中，反馈控制模块111可以被配置成将控制信号提供至反馈设备120。在这些实施例中，控制信号可以被直接施加至反馈设备120以便引起反馈。在一些实施方式中，反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至该信号对应的各自反馈设备120。
可以经由设备100提供反馈。例如，设备100的一个或多个反馈设备120可以经由设备100提供反馈。在一些实施方式中，提供的反馈可以基于从反馈控制模块111接收到的一个或多个反馈信号。反馈可以与AR环境500内探测到的事件对应。例如，反馈可以表示AR环境500内设备100的识别。
在操作710中，可以探测设备100和AR环境500之间的交互。例如，可以基于经由输入组件150从设备100接收到的输入来探测交互。基于对AR环境500中设备100的识别、AR环境500中设备100的运动、设备100与AR环境500的物理空间520中物理对象520a的交互、设备100与AR环境500的虚拟空间510中虚拟对象510a的交互、由AR环境500中设备100提供的反馈（例如，物理空间510中提供的虚拟反馈和/或可通过AR设备200识别的其它反馈）、对AR环境500中用户的识别、AR环境500中用户的运动、用户与AR环境500的物理空间520中物理对象520a的交互、用户与AR环境500的虚拟空间510中虚拟对象510a的交互、和/或设备100和AR环境500之间的另一个交互，可以探测交互。
在操作712中，设备100可以从AR设备200接收控制信号，其指示设备100和AR环境500之间的交互。当AR设备200（包括，例如，对象识别模块211、事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）探测设备100和AR环境500之间的交互时，AR设备200（包括，例如，事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）可以基于对用于传输至设备100的交互的探测来产生控制信号。
处理器110的反馈控制模块111可以接收由AR设备200产生的控制信号。控制信号可以基于对设备100和AR环境500之间交互的探测。
在操作714中，可以经由设备100提供指示交互的反馈。反馈控制模块111可以使反馈设备120经由设备100来提供反馈。在一些实施方式中，反馈控制模块111可以被配置成将控制信号提供至反馈设备120。在这些实施例中，控制信号可以被直接施加至反馈设备120以便引起反馈。在一些实施方式中，反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至信号对应的各自的反馈设备120。
可以经由设备100提供反馈。例如，设备100的一个或多个反馈设备120可以经由设备100来提供反馈。在一些实施方式中，提供的反馈可以基于从反馈控制模块111接收到的一个或多个反馈信号。反馈可以与设备100和AR环境500之间探测到的交互对应。例如，反馈可以表示设备100和AR环境500之间的交互。
在操作716中，可以探测设备100在AR环境500内的位置和/或方向。在一些实施方式中，设备100的位置/方向设备140可以被配置成经由通信信道300向AR设备200提供位置、方向、或二者。例如，位置/方向设备140可以包含陀螺仪、地理空间定位设备、罗盘、和/或其它定向/定位设备。AR设备200的处理器210可以被配置成基于接收到的位置和/或方向来确定在AR环境500内设备100的位置和/或设备100的方向。在一些实施方式中，可以将位置指示器图像和/或方向指示器图像布置在设备100上。当识别可穿戴对象100处在成像设备的观察范围内和/或处在AR环境500的物理空间520内时，对象识别模块211可以识别位置指示器图像和/或方向指示器图像。位置指示器图像和/或方向指示器图像数据可以被对象识别模块211、事件处理器模块213、和/或AR设备200的其它模块处理以便确定设备100在AR环境500内的位置和/或方向。
在操作718中，设备100可以被探测为在AR环境500中虚拟对象的一定接近度内。在一些实施方式中，基于对设备100在AR环境500中的位置和/或方向的确定，AR设备200可以确定设备100是否在AR环境500中虚拟对象（例如，虚拟对象510n）的一定接近度内。
在操作720中，设备100可以从AR设备200接收控制信号，其指示AR环境500的虚拟对象的一个或多个特性。设备100可以接收控制信号，其指示虚拟对象510a的一个或多个特性。在一些实施方式中，设备100可以基于虚拟对象510a一定接近度内设备的探测来接收控制信号。在一些实施方式中，设备100可以单独从各自对于虚拟对象510a的设备100的位置的探测来接收控制信号。
在操作722中，可以经由设备100提供与虚拟对象协调的反馈。处理器110的反馈控制模块111可以接收控制信号，其指示虚拟对象510a的一个或多个特性。反馈控制模块111可以使反馈设备120基于虚拟对象510a的一个或多个特性经由设备100来提供反馈。反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至该信号对应的各自的反馈设备120。反馈信号可以使各自的反馈设备120提供对应于虚拟对象510a的一个或多个特性的反馈。
设备100的一个或多个反馈设备120可以经由设备100来提供反馈，其与虚拟对象510a的一个或多个特性对应。例如，当虚拟对象510a的一个或多个特性包含颜色、图案、和/或其它视觉特性时，反馈设备120可以提供对应的视觉、音频和/或触觉图案的相同颜色的反馈，和/或其它对应的反馈。在一下实施方式中，反馈设备120可以经由设备100的一部分处的光发射带来提供反馈。光发射带可以包括颜色、图案、和/或与虚拟对象512a协调的其它视觉特性。
在操作724中，可以探测用户和AR环境500之间的交互。例如，可以基于经由成像设备220、通信端口230、和/或其它设备从AR设备200接收到的输入而探测交互。基于对AR环境500中用户的识别、AR环境500中用户的运动、用户与AR环境500的物理空间520中物理对象520a的交互、用户与AR环境500的虚拟空间510中虚拟对象510a的交互、对AR环境500的物理空间520中物理对象520a一定接近度内用户的探测、对AR环境500的虚拟空间510中虚拟对象510a一定接近度内用户的探测、和/或用户和AR环境500之间另一个交互，探测交互。在一些实施方式中，AR设备200（包括，例如，对象识别模块211、事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）可以只探测具有与设备100和/或AR设备200相关联的信息的用户之间的交互。在一些实施方式中，AR设备200（包括，例如，对象识别模块211、事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）可以探测用户和AR环境500之间的交互。
在操作726中，设备100可以从AR设备200接收控制信号，其指示用户和AR环境500之间的交互。当AR设备200（包括，例如，对象识别模块211、事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）探测用户和AR环境500之间的交互时，AR设备200（包括，例如，事件处理器模块213、控制信号产生模块214、和/或AR设备200的其它模块或设备）可以基于对用于传输至设备100的交互的探测来产生控制信号。
处理器110的反馈控制模块111可以接收由AR设备200产生的控制信号。控制信号可以基于用户和AR环境500之间交互的探测。
在操作728中，可以经由设备100提供指示交互的反馈。反馈控制模块111可以使反馈设备120经由设备100来提供反馈。在一些实施方式中，反馈控制模块111可以被配置成将控制信号提供至反馈设备120。在这些实施例中，可以将控制信号直接施加至反馈设备120以便引起反馈。在一些实施方式中，反馈控制模块111可以被配置成基于接收到的控制信号来确定反馈响应。反馈控制模块111可以被配置成产生反馈响应的指示反馈信号并且将反馈信号传输至信号对应的各自的反馈设备120。
可以经由设备100提供反馈。例如，设备100的一个或多个反馈设备120可以经由设备100来提供反馈。在一些实施方式中，提供的反馈可以基于从反馈控制模块111接收到的一个或多个反馈信号。反馈可以与在设备100和AR环境500之间探测到的交互对应。例如，反馈可以表示设备100和AR环境500之间的交互。虽然出于示例的目的，基于目前被视为最实用和优选的实施方式已经详细描述了本公开的系统和/或方法，但是可以理解的是，这些细节仅仅是用于该目的并且本公开不限于公开的实施方式，而是，正相反，旨在涵盖所附权利要求书的精神和范围内的更改和等效装置。例如，可以理解的是，本公开尽可能地考虑，任何实施方式的一个或多个特征都能够与任何其他实施方式的一个或多个特征相结合。

Claims (24)

1.一种被配置成基于增强现实环境来提供反馈的设备，所述设备包含：
处理器，被配置成：
接收来自产生所述增强现实环境并且远离所述设备的增强现实设备的控制信号，所述控制信号表示所述增强现实环境中发生的事件；和
反馈设备，被配置成基于所接收到的控制信号来提供反馈。
2.根据权利要求1所述的设备，其中所述反馈设备包含被配置成提供触觉效果的触觉输出设备、被配置成提供视觉反馈的视觉设备、或被配置成提供听觉反馈的音频设备。
3.根据权利要求1所述的设备，其中所述反馈设备包含被配置成产生触觉效果的致动器。
4.根据权利要求1所述的设备，其中所述反馈设备包含被配置成产生触觉效果的非机械触觉输出设备。
5.根据权利要求1所述的设备，其中所述事件包含所述设备和所述增强现实环境之间的交互、关于所述增强现实环境发生的动作的确认、或通过所述增强现实设备识别设备的确认。
6.根据权利要求1所述的设备，进一步包含：
通信端口，被配置成建立与所述增强现实设备的有线或无线通信信道，其中所述控制信号经由所述有线或无线通信信道被接收。
7.根据权利要求6所述的设备，进一步包含：
位置或方向设备，被配置成经由所述有线或无线通信信道向所述增强现实设备提供位置、方向、或二者。
8.根据权利要求6所述的设备，进一步包含：
输入组件，被配置成接收输入，其中所述处理器被配置成经由所述有线或无线通信端口将所述输入通信至所述增强现实设备。
9.根据权利要求1所述的设备，其中所述增强现实环境包含一个或多个虚拟对象在其中被显示的增强现实空间，所述事件包含所述设备和所述一个或多个虚拟对象之间的交互。
10.根据权利要求9所述的设备，其中所述反馈设备包含被配置成提供视觉反馈的视觉设备，所述视觉设备被配置成在与所述一个或多个虚拟对象协调的所述设备处产生视觉反馈。
11.根据权利要求10所述的设备，其中所述设备处的所述视觉反馈与所述一个或多个虚拟对象协调使得二者都包含类似的颜色或图案。
12.根据权利要求1所述的设备，进一步包含：
增强现实符号，被布置在所述设备的表面上，其中所述增强现实符号用于确定所述增强现实环境内所述设备的方向。
13.根据权利要求1所述的设备，进一步包含：
识别设备，被配置成产生被所述增强现实设备用来标识所述设备的标识标记。
14.根据权利要求13所述的设备，其中所述标识标记包含光学签名或非可见签名。
15.根据权利要求1所述的设备，其中所述设备被配置为环状物。
16.根据权利要求15所述的设备，其中所述反馈设备包含布置在所述环状物周围的光发射带。
17.一种被配置成产生增强现实环境的增强现实设备，所述增强现实环境包含增强现实空间和物理空间，所述增强现实设备包含：
通信端口，被配置成建立与设备的有线或无线通信信道；
成像设备，被配置成对所述物理空间成像；
处理器，被配置成：
产生与所述物理空间相符的所述增强现实空间；
识别所述物理空间中的至少一个物理对象并且利用所述增强现实空间中的一个或多个虚拟对象来增强所述至少一个物理对象；
确定所述增强现实环境内的事件；并且
经由所述有线或无线通信信道将表示所述事件的控制信号通信至所述设备，所述控制信号引起要在所述设备处产生的反馈。
18.根据权利要求17所述的增强现实设备，其中所述处理器被配置成：
当所述设备被移动至所述成像设备的视场内和所述物理空间内时识别所述设备。
19.根据权利要求18所述的增强现实设备，其中所述控制信号表示所述设备的所述识别使得要在所述设备处产生的所述反馈指示所述识别。
20.根据权利要求17所述的增强现实设备，其中所述处理器被配置成：
从所述设备接收所述设备的位置、所述设备的方向、或所述设备的位置和所述设备的方向二者；并且
基于所接收到的所述设备的位置、所接收到的所述设备的方向、或所接收到的方向和所接收到的位置二者来确定所述增强现实环境内所述设备的位置、所述设备的方向、或所述设备的位置和方向二者。
21.根据权利要求17所述的增强现实设备，其中所述处理器被配置成对所述增强现实环境内的所述设备进行定位而不考虑所述至少一个物理对象和所述设备之间的距离。
22.根据权利要求17所述的增强现实设备，其中所述增强现实设备被配置为眼镜。
23.根据权利要求22所述的增强现实设备，其中所述增强现实环境经由所述眼镜的镜片被传输。
24.一种基于增强现实环境来提供反馈的系统，所述系统包含：
设备；和
增强现实设备，包含：
通信端口，被配置成建立与所述设备的有线或无线通信信道；
成像设备，被配置成对所述物理空间成像；
处理器，被配置成：
产生与所述物理空间相符的所述增强现实空间；
识别所述物理空间中的至少一个物理对象并且利用所述增强现实空间中的一个或多个虚拟对象来增强所述至少一个物理对象；
确定所述增强现实环境内的事件；并且
经由所述有线或无线通信信道将表示所述事件的控制信号通信至所述设备，所述控制信号引起要在所述设备处产生的反馈，
其中所述设备包含：
反馈设备，被配置成基于所接收到的控制信号来提供反馈。
CN201410018078.6A 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口 Expired - Fee Related CN103970265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910688902.1A CN110262666A (zh) 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/741,826 US20140198130A1 (en) 2013-01-15 2013-01-15 Augmented reality user interface with haptic feedback
US13/741,826 2013-01-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910688902.1A Division CN110262666A (zh) 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口

Publications (2)

Publication Number Publication Date
CN103970265A true CN103970265A (zh) 2014-08-06
CN103970265B CN103970265B (zh) 2019-08-23

Family

ID=49958279

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410018078.6A Expired - Fee Related CN103970265B (zh) 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口
CN201910688902.1A Pending CN110262666A (zh) 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910688902.1A Pending CN110262666A (zh) 2013-01-15 2014-01-15 具有触觉反馈的增强现实用户接口

Country Status (5)

Country Link
US (1) US20140198130A1 (zh)
EP (1) EP2755113A3 (zh)
JP (2) JP6271256B2 (zh)
KR (1) KR20140092267A (zh)
CN (2) CN103970265B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105739671A (zh) * 2014-12-08 2016-07-06 北京蚁视科技有限公司 一种振动反馈装置及含有该装置的近眼显示器
CN106648044A (zh) * 2015-11-03 2017-05-10 中华映管股份有限公司 扩增实境系统以及扩增实境互动方法
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
CN106997235A (zh) * 2016-01-25 2017-08-01 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
CN107148604A (zh) * 2014-10-31 2017-09-08 索尼公司 电子装置和反馈提供方法
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107422942A (zh) * 2017-08-15 2017-12-01 吴金河 一种沉浸式体验的控制系统及方法
CN107924236A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、方法和计算机程序
CN108170262A (zh) * 2016-12-08 2018-06-15 意美森公司 触觉环绕功能
CN109147001A (zh) * 2017-06-19 2019-01-04 亮风台（上海）信息科技有限公司 一种用于呈现虚拟指甲的方法与设备
CN109814705A (zh) * 2017-11-22 2019-05-28 意美森公司 触觉附属装置
CN110582741A (zh) * 2017-03-21 2019-12-17 Pcms控股公司 用于增强现实中触觉交互检测和增强的方法和系统
CN110678827A (zh) * 2017-06-08 2020-01-10 霍尼韦尔国际公司 用于在工业自动化系统和其他系统中以增强/虚拟现实记录和重放交互式内容的装置和方法
CN110928472A (zh) * 2018-09-19 2020-03-27 阿里巴巴集团控股有限公司 物品处理方法、装置及电子设备
CN111819520A (zh) * 2018-03-06 2020-10-23 微软技术许可有限责任公司 空间化触觉设备力反馈
CN111937046A (zh) * 2018-02-01 2020-11-13 Cy游戏公司 混合现实系统、程序、方法和便携式终端装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3206381A1 (en) 2008-07-15 2017-08-16 Immersion Corporation Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
WO2017127128A1 (en) * 2016-01-22 2017-07-27 Elwha Llc Feedback for enhanced situational awareness
US20210385299A1 (en) * 2016-01-25 2021-12-09 Hiscene Information Technology Co., Ltd Method and apparatus for augmented reality interaction and presentation
DE102016113060A1 (de) 2016-07-15 2018-01-18 Beckhoff Automation Gmbh Verfahren zum Steuern eines Objekts
KR20180019270A (ko) * 2016-08-16 2018-02-26 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
US10019875B1 (en) * 2016-12-30 2018-07-10 Immersion Corporation Inertial haptic actuators having a cantilevered beam and a smart material
KR102364678B1 (ko) 2017-06-20 2022-02-18 엘지전자 주식회사 이동 단말기
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
US11875693B2 (en) 2018-05-01 2024-01-16 Codescribe Corporation Simulated reality technologies for enhanced medical protocol training
US11270597B2 (en) * 2018-05-01 2022-03-08 Codescribe Llc Simulated reality technologies for enhanced medical protocol training
EP3599538B1 (en) * 2018-07-24 2023-07-19 Nokia Technologies Oy Method and apparatus for adding interactive objects to a virtual reality environment
KR20200033388A (ko) * 2018-09-20 2020-03-30 (주)리얼감 포스 피드백 방법 및 시스템, 기계로 읽을 수 있는 저장 매체
CN109917911B (zh) * 2019-02-20 2021-12-28 西北工业大学 一种基于信息物理交互的振动触觉反馈装置设计方法
US10852827B1 (en) 2019-03-25 2020-12-01 Facebook Technologies, Llc Tactile simulation of initial contact with virtual objects
CN110442233B (zh) * 2019-06-18 2020-12-04 中国人民解放军军事科学院国防科技创新研究院 一种基于手势交互的增强现实键鼠系统
KR102467436B1 (ko) * 2020-11-13 2022-11-16 (주)에이트원 산업 안전 가상 훈련 시스템 및 그 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
US20060017654A1 (en) * 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
EP1916592A2 (en) * 2006-10-23 2008-04-30 Canon Kabushiki Kaisha Haptic feedback apparatus and method
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统
CN102165505A (zh) * 2008-08-21 2011-08-24 林肯环球股份有限公司 使用实时熔池反馈在实时仿真的虚拟现实环境下提供弧焊训练的系统和方法
US20110279249A1 (en) * 2009-05-29 2011-11-17 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US20120139828A1 (en) * 2009-02-13 2012-06-07 Georgia Health Sciences University Communication And Skills Training Using Interactive Virtual Humans
CN102609088A (zh) * 2001-11-01 2012-07-25 伊梅森公司 用于提供触感的方法和系统
CN102713805A (zh) * 2009-12-10 2012-10-03 苹果公司 具有力传感器和致动器反馈的触摸板

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1758156A (en) * 1928-12-27 1930-05-13 Frederick W Huber Method and means for cementing oil wells
JP2002082751A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
JP2003316493A (ja) * 2002-04-19 2003-11-07 Seiko Epson Corp 触覚提示装置
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
JP5344388B2 (ja) * 2008-07-10 2013-11-20 学校法人立命館 操作システム
CN103337111B (zh) * 2008-10-27 2016-04-27 索尼电脑娱乐公司 用于传送视觉信息的控制设备
US8542105B2 (en) * 2009-11-24 2013-09-24 Immersion Corporation Handheld computer interface with haptic feedback
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
CA2835120C (en) * 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
US20130002425A1 (en) * 2011-07-01 2013-01-03 General Electric Company Augmented reality excessive noise display and warning system
US20130265300A1 (en) * 2011-07-03 2013-10-10 Neorai Vardi Computer device in form of wearable glasses and user interface thereof
CA3207408A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609088A (zh) * 2001-11-01 2012-07-25 伊梅森公司 用于提供触感的方法和系统
US20040189675A1 (en) * 2002-12-30 2004-09-30 John Pretlove Augmented reality system and method
US20060017654A1 (en) * 2004-07-23 2006-01-26 Romo Justin R Virtual reality interactivity system and method
US20070035511A1 (en) * 2005-01-25 2007-02-15 The Board Of Trustees Of The University Of Illinois. Compact haptic and augmented virtual reality system
EP1916592A2 (en) * 2006-10-23 2008-04-30 Canon Kabushiki Kaisha Haptic feedback apparatus and method
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
CN102165505A (zh) * 2008-08-21 2011-08-24 林肯环球股份有限公司 使用实时熔池反馈在实时仿真的虚拟现实环境下提供弧焊训练的系统和方法
US20120139828A1 (en) * 2009-02-13 2012-06-07 Georgia Health Sciences University Communication And Skills Training Using Interactive Virtual Humans
US20110279249A1 (en) * 2009-05-29 2011-11-17 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
CN102713805A (zh) * 2009-12-10 2012-10-03 苹果公司 具有力传感器和致动器反馈的触摸板
CN101819462A (zh) * 2010-03-12 2010-09-01 东南大学 基于力/触觉交互设备的图像纹理的力触觉再现系统

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107148604A (zh) * 2014-10-31 2017-09-08 索尼公司 电子装置和反馈提供方法
CN107004044A (zh) * 2014-11-18 2017-08-01 皇家飞利浦有限公司 增强现实设备的用户引导系统和方法、使用
CN105739671A (zh) * 2014-12-08 2016-07-06 北京蚁视科技有限公司 一种振动反馈装置及含有该装置的近眼显示器
CN107209582A (zh) * 2014-12-16 2017-09-26 肖泉 高直观性人机界面的方法和装置
CN107924236A (zh) * 2015-09-08 2018-04-17 索尼公司 信息处理装置、方法和计算机程序
CN107924236B (zh) * 2015-09-08 2021-09-21 索尼公司 信息处理装置、方法和存储介质
US11314333B2 (en) 2015-09-08 2022-04-26 Sony Corporation Information processing device, method, and computer
CN106648044A (zh) * 2015-11-03 2017-05-10 中华映管股份有限公司 扩增实境系统以及扩增实境互动方法
WO2017129148A1 (zh) * 2016-01-25 2017-08-03 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
CN106997235A (zh) * 2016-01-25 2017-08-01 亮风台（上海）信息科技有限公司 用于实现增强现实交互和展示的方法、设备
CN108170262A (zh) * 2016-12-08 2018-06-15 意美森公司 触觉环绕功能
US10974138B2 (en) 2016-12-08 2021-04-13 Immersion Corporation Haptic surround functionality
CN108170262B (zh) * 2016-12-08 2021-06-22 意美森公司 触觉环绕功能
CN110582741B (zh) * 2017-03-21 2024-04-02 交互数字Vc控股公司 用于增强现实中触觉交互检测和增强的方法和系统
US11726557B2 (en) 2017-03-21 2023-08-15 Interdigital Vc Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality
CN110582741A (zh) * 2017-03-21 2019-12-17 Pcms控股公司 用于增强现实中触觉交互检测和增强的方法和系统
US12008154B2 (en) 2017-03-21 2024-06-11 Interdigital Vc Holdings, Inc. Method and system for the detection and augmentation of tactile interactions in augmented reality
CN110678827A (zh) * 2017-06-08 2020-01-10 霍尼韦尔国际公司 用于在工业自动化系统和其他系统中以增强/虚拟现实记录和重放交互式内容的装置和方法
CN110678827B (zh) * 2017-06-08 2023-11-10 霍尼韦尔国际公司 用于在工业自动化系统和其他系统中以增强/虚拟现实记录和重放交互式内容的装置和方法
CN109147001A (zh) * 2017-06-19 2019-01-04 亮风台（上海）信息科技有限公司 一种用于呈现虚拟指甲的方法与设备
CN107422942A (zh) * 2017-08-15 2017-12-01 吴金河 一种沉浸式体验的控制系统及方法
CN109814705A (zh) * 2017-11-22 2019-05-28 意美森公司 触觉附属装置
CN111937046A (zh) * 2018-02-01 2020-11-13 Cy游戏公司 混合现实系统、程序、方法和便携式终端装置
CN111937046B (zh) * 2018-02-01 2024-03-29 Cy游戏公司 混合现实系统、存储介质、方法和便携式终端装置
CN111819520A (zh) * 2018-03-06 2020-10-23 微软技术许可有限责任公司 空间化触觉设备力反馈
CN111819520B (zh) * 2018-03-06 2024-06-11 微软技术许可有限责任公司 空间化触觉设备力反馈
CN110928472A (zh) * 2018-09-19 2020-03-27 阿里巴巴集团控股有限公司 物品处理方法、装置及电子设备
CN110928472B (zh) * 2018-09-19 2023-05-05 阿里巴巴集团控股有限公司 物品处理方法、装置及电子设备

Also Published As

Publication number Publication date
US20140198130A1 (en) 2014-07-17
JP6713445B2 (ja) 2020-06-24
EP2755113A3 (en) 2016-12-28
EP2755113A2 (en) 2014-07-16
KR20140092267A (ko) 2014-07-23
JP6271256B2 (ja) 2018-01-31
CN110262666A (zh) 2019-09-20
CN103970265B (zh) 2019-08-23
JP2018073433A (ja) 2018-05-10
JP2014139784A (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
CN103970265A (zh) 具有触觉反馈的增强现实用户接口
US10269222B2 (en) System with wearable device and haptic output device
US10395116B2 (en) Dynamically created and updated indoor positioning map
CN110476168B (zh) 用于手部跟踪的方法和系统
EP3320413B1 (en) System for tracking a handheld device in virtual reality
CN105739683A (zh) 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
US8553049B2 (en) Information-processing apparatus and information-processing method
CN103180893B (zh) 用于提供三维用户界面的方法和系统
CN116348836A (zh) 增强现实中用于交互式游戏控制的手势跟踪
CN107407965A (zh) 连接至移动计算设备的虚拟现实头戴设备
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
KR20150129621A (ko) 원격 상호 작용을 위한 햅틱 피드백을 제공하는 시스템 및 방법
CN109669530A (zh) 用于触觉设备的振动触觉驱动器电路
US11178342B2 (en) Camera systems for bendable electronic devices
WO2014111947A1 (en) Gesture control in augmented reality
CN115777091A (zh) 检测装置及检测方法
CN112561952A (zh) 用于为目标设置可呈现的虚拟对象的方法和系统
KR20170110442A (ko) 증강현실 기능을 구비한 제어용 컴퓨터 장치 및 그 제어방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: Immersion Corp.

Address before: American California

Applicant before: Immersion Corp.

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190823

Termination date: 20220115

CF01 Termination of patent right due to non-payment of annual fee