CN105264460A - 全息图对象反馈 - Google Patents

全息图对象反馈 Download PDF

Info

Publication number
CN105264460A
CN105264460A CN201480020907.2A CN201480020907A CN105264460A CN 105264460 A CN105264460 A CN 105264460A CN 201480020907 A CN201480020907 A CN 201480020907A CN 105264460 A CN105264460 A CN 105264460A
Authority
CN
China
Prior art keywords
virtual objects
virtual
terminal user
feedback
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480020907.2A
Other languages
English (en)
Other versions
CN105264460B (zh
Inventor
S·G·拉塔
A·G·鲍罗斯
C·G·布朗
D·J·麦克洛克
M·卡普兰
A·Z·那弗拉迪尔
J·保罗维奇
K·兹努达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105264460A publication Critical patent/CN105264460A/zh
Application granted granted Critical
Publication of CN105264460B publication Critical patent/CN105264460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于在移动设备的终端用户正在与增强现实环境内的一个或多个虚拟对象进行交互或正在操纵此一个或多个虚拟对象时，向该终端用户提供实时反馈的方法。该实时反馈可包括视觉反馈、音频反馈和/或触觉反馈。在一些实施例中，移动设备(诸如头戴式显示设备(HDM))可确定与增强现实环境内的虚拟对象相关联的对象分类，检测移动设备的终端用户所执行的对象操纵姿势，基于该对象操纵姿势来检测与虚拟对象的交互，确定与该交互相关联的虚拟力的幅度，以及基于该交互、向虚拟对象施加的虚拟力的幅度以及与虚拟对象相关联的对象分类来向移动设备的终端用户提供实时反馈。

Description

全息图对象反馈
背景
增强现实(AR)涉及提供经增强的真实世界环境，其中用计算机生成的虚拟数据来增强或修改对真实世界环境(或表示真实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示真实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。虚拟数据还可包括与真实世界环境有关的信息，诸如与真实世界环境中的真实世界对象相关联的文本描述。AR环境内的对象可包括真实对象(即，存在于特定的真实世界环境内的对象)和虚拟对象(即，不存在于特定的真实世界环境内的对象)。
为了将虚拟对象逼真地集成到AR环境中，AR系统通常执行包括映射和定位的若干任务。映射涉及生成真实世界环境的映射的过程。定位涉及相对于真实世界环境的映射来定位特定的视角或姿态的过程。在一些情况下，AR系统可实时定位在真实世界环境内移动的移动设备的姿态，以便确定与该移动设备相关联的、需要随该移动设备在真实世界环境中移动而被增强的特定视图。
概述
描述了用于在移动设备的终端用户正在与增强现实环境内的一个或多个虚拟对象进行交互或正在控制此一个或多个虚拟对象时向该终端用户提供智能反馈的技术。该反馈可包括视觉反馈、音频反馈和/或触觉反馈。在一些实施例中，移动设备(诸如头戴式显示设备(HDM))可确定与增强现实环境内的虚拟对象相关联的对象分类，检测移动设备的终端用户所执行的对象操纵姿势，基于对象操纵姿势来检测与虚拟对象的交互，确定与该交互相关联的虚拟力的幅度，以及基于该交互、向虚拟对象施加的虚拟力的幅度以及与虚拟对象相关联的对象分类来向移动设备的终端用户提供实时反馈。
提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。该概述不意图标识所要求保护的主题的关键特征或基本特征，也不意图被用来帮助确定所要求保护的主题的范围。
附图简述
图1是可在其中实施所公开的技术的联网计算环境的一个实施例的框图。
图2A描绘了与第二移动设备通信的移动设备的一个实施例。
图2B描绘了HMD的一部分的一个实施例。
图3描绘了包括捕捉设备和计算环境的移动设备的一个实施例。
图4A描绘了如使用HMD查看到的增强现实环境的一个实施例，其中虚拟碰撞姿势被执行。
图4B描绘了如使用HMD查看到的增强现实环境的一个实施例，其中虚拟抓取和移动姿势被执行。
图4C描绘了如使用HMD查看到的增强现实环境的一个实施例，其中虚拟旋转姿势被执行。
图4D描绘了如使用HMD查看到的增强现实环境的一个实施例，其中虚拟对象被显示成使得它看起来像被手遮挡了。
图5A是描绘一种用于在移动设备的终端用户操纵增强现实环境内的虚拟对象时，向该终端用户提供实时反馈的方法的一个实施例的流程图。
图5B是描绘一种用于在移动设备的终端用户操纵增强现实环境内的虚拟对象时，向该终端用户提供实时反馈的方法的一替换实施例的流程图。
图5C是描述用于确定反馈响应的过程的一个实施例的流程图。
图6是移动设备的一个实施例的框图。
详细描述
描述了用于在移动设备的终端用户正在与增强现实环境内的一个或多个虚拟对象进行交互或正在操纵此一个或多个虚拟对象时，向该终端用户提供实时反馈的技术。该实时反馈可包括视觉反馈、音频反馈和/或触觉反馈。在一些实施例中，移动设备(诸如头戴式显示设备(HDM))可确定与增强现实环境内的虚拟对象相关联的对象分类，检测移动设备的终端用户所执行的对象操纵姿势，基于对象操纵姿势来检测与虚拟对象的交互，确定与该交互相关联的虚拟力的幅度，以及基于该交互、向虚拟对象施加的虚拟力的幅度以及与虚拟对象相关联的对象分类来向移动设备的终端用户提供实时反馈。
在一些实施例中，将增强现实环境投影给HMD的终端用户的HMD可将姿势识别和手部跟踪技术应用于HMD所捕捉的图像以便检测由终端用户执行的用于控制增强现实环境内的虚拟对象的手到对象姿势。终端用户可按各种方式来控制虚拟对象，诸如使用其手或手持的对象来控制虚拟对象，手持的对象诸如为(可用于抓取并旋转虚拟对象)的指示笔或镊子。检测到的姿势可对应于与虚拟对象的各种虚拟交互，诸如对虚拟对象的虚拟抓取、对虚拟对象的虚拟移动或旋转、在抓取了虚拟对象后对虚拟对象的释放、或对虚拟对象的虚拟碰撞。响应于检测到和标识出与虚拟对象的特定交互，HMD可使得终端用户体验到基于向虚拟对象施加的虚拟力的程度和/或与虚拟对象相关联的材料特性的实时视觉、音频和触觉反馈
在一个示例中，虚拟对象可包括虚拟金属球，并且当终端用户虚拟地抓取并旋转该虚拟金属球时，HMD可使得终端用户体验到触觉反馈(例如，电子腕带或移动电话以特定频率和幅度振动)、音频反馈(例如，低音量金属点击声)和视觉反馈(例如，如果终端用户用其背对HMD的手掌抓取了该虚拟金属球，则该虚拟金属球的将被终端用户的手遮挡的各部分可不向该终端用户显示)。在一些情况下，当终端用户已用其背对HMD的手掌抓取了虚拟对象时，随后该虚拟对象可在其在增强现实环境内的位置方面略微移位，以使得该虚拟对象不被终端用户的手完全覆盖(例如，虚拟对象的位置可被移位，并且该虚拟对象的一部分可被显示，从而使得该部分看起来像在终端用户的手的拇指和食指之间)。
在一些实施例中，合适的反馈响应可经由反馈映射文件来确定。反馈映射文件可包括各反馈响应到涉及虚拟对象的各交互的映射。这些映射可针对特定虚拟对象(例如，每一虚拟对象可具有定制的反馈响应)或针对虚拟对象分类(例如，第一虚拟对象分类包括木对象，第二虚拟对象分类包括金属对象，并且第三虚拟对象分类包括虚拟生物)。对虚拟对象分类映射的使用允许与特定分类相关联的虚拟对象具有相似和一致的反馈响应(即，终端用户可跨具有共同特性的不同虚拟对象接收相同的视觉、音频和触觉反馈)。
与增强现实环境内的虚拟对象进行交互的一个问题在于，不像与真实世界对象进行交互，触觉反馈不会固有地由虚拟对象提供，以便增强预期交互。此外，HMD的终端用户可预期在进行交互时，与相似虚拟对象的交互提供一致或相似的反馈。由此，存在当HMD的终端用户正在与增强现实环境内的一个或多个虚拟对象进行交互或正在操纵此一个或多个虚拟对象时向该终端用户提供实时且一致的反馈的需要。
图1是可在其中实施所公开的技术的联网计算环境100的一个实施例的框图。联网计算环境100包括通过一个或多个网络180互连的多个计算设备。此一个或多个网络180允许一特定计算设备连接到另一计算设备以及与其通信。所描绘的计算设备包括移动设备11、移动设备12、移动设备19和服务器15。在一些实施例中，所述多个计算设备可包括未示出的其他计算设备。在一些实施例中，此多个计算设备可包括比图1所示的计算设备的数目更多或更少的计算设备。此一个或多个网络180可包括诸如企业专用网络之类的安全网络、诸如无线开放式网络之类的不安全网络、局域网(LAN)、广域网(WAN)、以及因特网。此一个或多个网络180中的每个网络可以包括集线器、网桥、路由器、交换机、以及有线传输介质，比如有线网络或直接线连接。
可包括补充信息服务器或应用服务器的服务器15可允许客户端从该服务器下载信息(例如，文本、音频、图像和视频文件)或者执行与存储在该服务器上的特定信息相关的搜索查询。一般而言，“服务器”可包括在客户端-服务器关系中充当主机的硬件设备、或者与一个或多个客户机共享资源或为所述一个或多个客户机执行工作的软件过程。客户端-服务器关系下的计算设备之间的通信可以通过由客户端向服务器发送要求访问特定资源或执行特定工作的请求来发起。服务器随后可执行所请求的动作并且将响应发送回客户端。
服务器15的一个实施例包括网络接口155、处理器156、存储器157和翻译器158，所有这些都彼此通信。网络接口155允许服务器15连接到一个或多个网络180。网络接口155可以包括无线网络接口、调制解调器、和/或有线网络接口。处理器156允许服务器15执行存储在存储器157中的计算机可读指令以执行本文中讨论的各过程。翻译器158可包括用于将第一文件格式的第一文件翻译成相应的第二文件格式的第二文件的映射逻辑(即，第二文件可以是第一文件的经翻译版本)。可使用文件映射指令来配置翻译器158，该文件映射指令提供用于将第一文件格式的文件(或其部分)映射成相应的第二文件格式的文件的指令。
移动设备19的一个实施例包括网络接口145、处理器146、存储器147、相机148、传感器149、以及显示器150，所有这些都彼此通信。网络接口145允许移动设备19连接到一个或多个网络180。网络接口145可包括无线网络接口、调制解调器、和/或有线网络接口。处理器146允许移动设备19执行存储在存储器147中的计算机可读指令以执行本文中讨论的各过程。相机148可捕捉彩色图像和/或深度图像。传感器149可生成与移动设备19相关联的运动和/或定向信息。在一些情况下，传感器149可包括惯性测量单元(IMU)。显示器150可显示数字图像和/或视频。显示器150可包括透视显示器。
在一些实施例中，移动设备19的包括网络接口145、处理器146、存储器147、相机148以及传感器149在内的各组件可被集成在单芯片基片上。在一个示例中，网络接口145、处理器146、存储器147、相机148和传感器149可被集成作为片上系统(SOC)。在另一实施例中，网络接口145、处理器146、存储器147、相机148和传感器149可被集成在单个封装中。
在一些实施例中，移动设备19可通过采用相机148、传感器149，和在处理器146上运行的姿势识别软件来提供自然用户界面(NUI)。使用自然用户界面，人的身体部位和移动可被检测、解释、以及用于控制计算应用的各方面。在一个示例中，利用自然用户界面的计算设备可推断与该计算设备交互的人的意图(例如，终端用户已执行了特定姿势以便控制该计算设备)。
联网计算环境100可以为一个或多个计算设备提供云计算环境。云计算指的是基于因特网的计算，其中共享的资源、软件和/或信息通过因特网(或其他全局网络)被按需提供给一个或多个计算设备。基于在计算机网络图中使用的云图来将因特网描绘成对其所表示的底层基础设施的抽象，术语“云”被用作对因特网的比喻。
在一个示例中，移动设备19包括头戴式显示设备(HMD)，该头戴式显示设备向该HMD的终端用户提供增强现实环境或混合现实环境(例如用于控制正在该HMD上运行的应用)。HMD可包括视频透视和/或光学透视系统。终端用户所佩戴的光学透视HMD可允许(例如经由透明透镜)对真实世界环境的实际直接查看，并且同时可将虚拟对象的图像投影到终端用户的视野中，由此用虚拟对象来增强终端用户所感知的真实世界环境。
通过利用HMD，佩戴HMD的终端用户可在真实世界环境(例如，起居室)中四处移动，并感知覆盖有虚拟对象的图像的真实世界的视图。虚拟对象可以看起来保持与真实世界环境的相干空间关系(即，当终端用户在真实世界环境中转动他们的头或移动时，显示给该终端用户的图像将改变，使得虚拟对象看起来像被终端用户感知的那样存在于该真实世界环境内)。虚拟对象还可看起来相对于终端用户的视角是固定的(例如，无论终端用户如何在真实世界环境中转动他们的头或移动，总是出现在终端用户视角的右上角的虚拟菜单)。在一个实施例中，真实世界环境的环境映射可由服务器15(即，在服务器侧)来执行，而相机定位可在移动设备19上(即，在客户机侧)执行。虚拟对象可包括与真实世界对象相关联的文本描述。
在一些实施例中，移动设备(诸如移动设备19)可与云中的服务器(诸如服务器15)通信，并可提供与移动设备相关联的服务器位置信息(例如，经由GPS坐标的移动设备的位置)和/或图像信息(例如，与在移动设备的视野内检测到的对象有关的信息)。作为响应，服务器可基于提供给该服务器的位置信息和/或图像信息向移动设备传送一个或多个虚拟对象。在一个实施例中，一个或多个虚拟对象可由移动设备的终端用户使用手和/或手指姿势来操纵或控制。
在一些实施例中，移动设备(诸如移动设备19)可向HMD的终端用户提供增强现实环境，并将姿势识别和/或手部跟踪技术应用于HMD所捕捉的图像以便检测终端用户所执行的用于操纵增强现实环境内的一个或多个虚拟对象的姿势。检测到的姿势可对应于与虚拟对象的各种虚拟交互，诸如对虚拟对象的虚拟抓取、对虚拟对象的虚拟移动、对虚拟对象的虚拟旋转、在抓取了虚拟对象后对虚拟对象的释放、或虚拟对象的虚拟碰撞。响应于检测到和标识出与虚拟对象的特定交互，HMD可使得终端用户体验到基于向虚拟对象施加的虚拟力的程度和/或与虚拟对象相关联的材料特性确定的实时视觉、音频和触觉反馈。在一些情况下，对于具有共同分类(例如，虚拟木对象或虚拟金属对象)或具有共同对象特性(例如，相似的尺寸、形状和/或色彩)的虚拟对象而言，向HMD的终端用户提供的实时反馈可能是相似且一致的。
图2A描绘了与第二移动设备5通信的移动设备19的一个实施例。移动设备19可包括透视HMD。如所描绘的，移动设备19经由有线连接6与移动设备5通信。然而，移动设备19还可经由无线连接与移动设备5通信。在一个示例中，HMD的终端用户所佩戴的HMD可与处于该终端用户的邻近度内的第二移动设备(例如，终端用户所使用的移动电话)(例如，该第二移动设备可在外套口袋内)无线地通信。移动设备5可被移动设备19用来卸载计算密集的处理任务(例如，渲染各虚拟对象和/或识别各姿势)，并存储可被用来在移动设备19上提供增强现实环境的信息(例如虚拟对象模型)(例如，被终端用户用来控制正在该移动设备上运行的应用)。移动设备19还可向移动设备5提供与移动设备19相关联的运动和/或定向信息。在一个示例中，运动信息可包括与移动设备19相关联的速度或加速度，并且定向信息可包括欧拉角，其提供围绕特定坐标系统或参照系的转动信息。在一些情况中，移动设备19可包括运动和定向传感器，诸如惯性测量单元(IMU)，以便获得与移动设备19相关联的运动和/或定向信息。
图2B描绘了HMD(诸如图1中的移动设备19)的一部分的一个实施例。仅示出了HMD200的右侧。HMD200包括右镜腿202、鼻梁204、镜片216、以及眼镜框214。右镜腿202包括与处理单元236通信的捕捉设备213(例如，前置相机和/或话筒)。捕捉设备213可包括用于记录数字图像和/或视频的一个或多个相机，并可将视觉记录传送到处理单元236。一个或多个相机可捕捉色彩信息、IR信息、和/或深度信息。此一个或多个相机可包括一个或多个图像传感器(例如，CCD图像传感器或CMOS图像传感器)。捕捉设备213还可包括用于记录声音的一个或多个话筒，并可将音频记录传送到处理单元236。
右镜腿202还包括生物测定传感器220、眼睛跟踪系统221、耳机230、运动和定向传感器238、GPS接收器232、电源239、以及无线接口237，所有这些都与处理单元236通信。生物测定传感器220可包括用于确定与HMD200的终端用户相关联的脉搏或心率的一个或多个电极，以及用于确定与HMD200的终端用户相关联的体温的温度传感器。在一个实施例中，生物测定传感器220包括压着终端用户的太阳穴的脉搏速率测量传感器。运动和定向传感器238可以包括三轴磁力计、三轴陀螺仪、和/或三轴加速度计。在一个实施例中，运动和定向传感器238可包括惯性测量单元(IMU)。GPS接收器可确定与HMD200相关联的GPS位置。处理单元236可以包括一个或多个处理器和用于存储将要在所述一个或多个处理器上执行的计算机可读指令。存储器还可存储要在一个或多个处理器上执行的其它类型的数据。
在一个实施例中，眼睛跟踪系统221可包括面向内的相机。在另一实施例中，眼睛跟踪系统221可包括眼睛跟踪照明源和相关联的眼睛跟踪IR传感器。在一个实施例中，眼睛跟踪照明源可包括以大约预定IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪传感器可包括用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。关于眼睛跟踪系统的更多信息可在2008年7月22授权的标题为“HeadMountedEyeTrackingandDisplaySystem(头戴式眼睛跟踪和显示系统)”的美国专利7,401,920以及2011年9月26日提交的标题为“IntegratedEyeTrackingandDisplaySystem(集成眼睛跟踪和显示系统)”的美国专利申请No.13/245,700中找到。
在一个实施例中，镜片216可包括透视显示器，由此由处理单元236生成的图像可被投影和/或显示在透视显示器上。捕捉设备213可被校准，使得捕捉设备213所捕捉的视野对应于HMD200的终端用户所看到的视野。耳机230可用于输出与虚拟对象的投影图像相关联的声音。在一些实施例中，HMD200可包括两个或更多个前置相机(例如，每个镜腿上一个相机)，以便从与前置相机所捕捉的视野相关联的立体信息中获得深度。两个或更多个前置相机还可包括3D、IR、和/或RGB相机。也可从利用来自运动技术的深度的单个相机中获取深度信息。例如，可从单个相机获取两个图像，这两个图像与在不同的时间点的、两个不同的空间点相关联。然后，给定与两个不同空间点有关的位置信息的情况下，可执行视差计算。
在一些实施例中，HMD200可使用凝视检测元件和与一个或多个人类眼睛元素(诸如角膜中心、眼球旋转的中心、或瞳孔中心)有关的三维坐标系来为终端用户的每只眼睛执行凝视检测。凝视检测可被用来标识终端用户正在关注视野内的何处。凝视检测元件的示例可包括生成闪光的照明器和用于捕捉表示所生成的闪光的数据的传感器。在一些情况中，角膜中心可以基于两次闪光使用平面几何来确定。角膜中心链接瞳孔中心和眼球的旋转中心，这可被当作用于确定处于某种凝视或观看角度的终端用户的眼睛的光轴的固定位置。
图3描绘了包括捕捉设备20和计算环境12的计算系统10的一个实施例。在一些实施例中，捕捉设备20和计算环境12可集成在单个移动计算设备中。该单个集成移动计算设备可包括移动设备，诸如图1中的移动设备19。在一个示例中，捕捉设备20和计算环境12可被集成在HMD中。在其它实施例中，捕捉设备20可与第一移动设备(诸如图2A中的移动设备19)集成，而计算环境12可与和第一移动设备通信的第二移动设备(诸如图2A中的移动设备5)集成。
在一个实施例中，捕捉设备20可包括用于捕捉图像和视频的一个或多个图像传感器。图像传感器可包括CCD图像传感器或CMOS图像传感器。在一些实施例中，捕捉设备20可包括图像传感器和/或IRCMOS图像传感器。捕捉设备20可包括图像相机组件32。图像相机组件32可包括可用来对捕捉区域的深度图像进行捕捉的IR光组件34、深度相机36以及RGB相机38。在一个示例中，捕捉设备20的IR光组件34可以将红外光发射进入捕捉区域，然后可以使用传感器，用图像相机组件32内的彩色和/或IR光传感组件来检测从捕捉区域中的一个或多个对象的表面反向散射的光。在某些实施例中，可以使用脉冲式红外光，从而出射光脉冲和相应的入射光脉冲之间的时间可以被测量并被用于确定从捕捉设备20到捕捉区域中的一个或多个对象上的特定位置的物理距离。捕捉设备20还可包括用于产生准直光和/或用于漫射光的光学器件(例如，用于扩散来自生成窄光束的IR光源的光的光学漫射器)以用于照明环境。
如图3所描绘的，捕捉设备20可包括一个或多个话筒40。该一个或多个话筒40中的每一个都可以包括可以接收声音并将其转换成电信号的换能器或传感器。该一个或多个话筒可包括话筒阵列，其中一个或多个话筒可以按预定布局布置。
捕捉设备20可包括可与图像相机组件32可操作地通信的处理器42。处理器42可包括标准处理器、专用处理器、微处理器等。处理器42可执行以下指令：该指令可包括用于接收和分析图像和/或确定特定姿势(例如，用于控制或操纵虚拟对象的终端用户姿势)是否已发生的指令。应当理解，至少一些图像分析和/或姿势识别操作可由包含在一个或多个捕捉设备(诸如捕捉设备20)内的处理器来执行。
捕捉设备20可包括存储器44，该存储器44可存储可由处理器42执行的指令以及由图像相机组件32的光感测组件捕捉的图像(或图像帧)。在一个示例中，存储器44可包括随机存取存储器(RAM)、只读存储器(ROM)、高速缓存、闪存、非易失性存储器或任何其它合适的存储组件。如所描绘的，存储器44可以是与图像捕捉组件32和处理器42进行通信的分开的组件。在另一实施例中，存储器44可被集成到处理器42和/或图像捕捉组件32中。在其他实施例中，捕捉设备20的组件32、34、36、38、40、42和44中的部分或全部可被容纳在单个外壳中。
捕捉设备20可经由通信链路46与计算环境12进行通信。通信链路46可以是有线连接或诸如无线802.11b、g、a或n连接之类的无线连接。在一个实施例中，捕捉设备20可经由通信链路46将由例如深度相机36和/或RGB相机38捕捉的图像提供给计算环境12。
如图3所描绘的，计算环境12包括与应用196通信的图像和音频处理引擎194。应用196可包括操作系统应用或诸如游戏应用、消息收发应用、或用于生成增强现实环境的应用之类的其他计算应用。图像和音频处理引擎194包括虚拟数据引擎197、对象和姿势识别引擎190、结构数据198、处理单元191和存储器单元192，其全部都彼此通信。图像和音频处理引擎194处理从捕捉设备20接收到的视频、图像和音频数据。为了辅助对象的检测和/或跟踪，图像和音频处理引擎194可以利用结构数据198以及对象和姿势识别引擎190。
虚拟数据引擎197处理虚拟对象，并记录与存储在存储器单元192中的真实世界环境的各种映射有关的虚拟对象的位置和定向。虚拟数据引擎还可渲染与虚拟对象相关联的图像以供向计算系统10的终端用户显示。在一些实施例中，计算系统10可使用从捕捉设备20获得的图像来相对于环境的3D图确定对应于这些图像的六自由度(6DOF)姿态。在一示例中，6DOF姿态可包括与移动设备(例如HMD)在该环境内的位置和定向相关联的信息。6DOF姿态可用于定位移动设备并生成虚拟对象的图像，以使得这些移动对象看起来像存在于增强现实环境内的合适位置处。关于确定6DOF姿态的更多信息可在题为“DistributedAsynchronousLocalizationandMappingforAugmentedReality(增强现实的分布式异步定位和映射)”的美国专利申请13/152,220中找到。关于执行对移动设备的估计和/或定位的更多信息可在题为“MobileCameraLocalizationUsingDepthMaps(使用深度图的移动相机定位)”的美国专利申请13/017,474中找到。
处理单元191可以包括用于执行对象、面部和语音识别算法的一个或多个处理器。在一个实施例中，图像和音频处理引擎194可以将对象识别和面部识别技术应用于图像或视频数据。例如，对象识别可用于检测特定对象(例如HMD的终端用户所握持的铅笔)，并且面部识别可用于检测环境内的特定人的面部。图像和音频处理引擎194可将音频和语音识别技术应用于音频数据。例如，音频识别可用于检测特定声音。要检测的特定面部、语音、声音和对象可被存储在存储器单元192中所包含的一个或多个存储器中。处理单元191可执行存储在存储器单元192中的计算机可读指令以执行本文中讨论的各过程。
图像和音频处理引擎194可在执行对象识别时利用结构数据198。结构数据198可包括关于要跟踪的目标和/或对象的结构信息。例如，可以存储人类的骨架模型以帮助识别各身体部位(例如，手臂、手和/或手指)。在另一示例中，结构数据198可包括关于一个或多个无生命对象的结构信息以便帮助识别此一个或多个无生命对象(例如铅笔或指示笔)。
图像和音频处理引擎194还可在执行姿势识别时利用对象和姿势识别引擎190。在一个示例中，对象和姿势识别引擎190可包括姿势过滤器的集合，每个姿势过滤器都包括关于可执行的姿势的信息。对象和姿势识别引擎190可将由捕捉设备20捕捉的数据与姿势库中的姿势过滤器进行比较以标识用户何时执行了一个或多个姿势。在一个示例中，图像和音频处理引擎194可使用该对象和姿势识别引擎190来检测计算系统10的终端用户所执行的特定姿势(例如，用于操纵或控制增强现实环境内的虚拟对象的姿势)的执行。在一个实施例中，对象和姿势识别引擎190可利用机器学习分类技术。
图4A-4D描绘了与虚拟对象的各虚拟对象交互(或交互)的各实施例。可基于虚拟对象的三维模型生成虚拟对象并将该虚拟对象显示在增强现实环境内。虚拟对象的三维模型可指定该虚拟对象的维度和形状。虚拟对象的三维模型还可包括与该虚拟对象相关联的各特性，诸如虚拟重量、虚拟材料(例如，木头、金属或塑料)、虚拟色彩和相应的透明程度、以及虚拟气味。
图4A描绘了如使用HMD查看到的增强现实环境400的一个实施例，其中虚拟碰撞姿势被执行。如所描绘的，增强现实环境400包括虚拟球412(即虚拟对象)和HMD的终端用户的手402(即真实世界对象)。HMD的终端用户可佩戴电子腕带404，该电子腕带可用于向终端用户提供触觉反馈，诸如特定频率和幅度的振动感觉或特定程度的变紧感觉(或收缩感觉)。电子表和/或电子臂章也可被HMD的终端用户佩戴来向终端用户提供实时的触觉反馈。在这种情况下，HMD的终端用户(或增强现实环境400内的另一人)可执行对应于向虚拟球412施加的碰撞运动姿势422的姿势。碰撞运动姿势422(或撞击姿势)可重定向或更改虚拟球412在增强现实环境400内的位置。碰撞运动姿势422可对应于向虚拟球412施加的虚拟力。该虚拟力可基于手402在撞击虚拟球412或与虚拟球412相互作用之际的加速度和/或速度来确定。
在一些实施例中，(例如，经由碰撞运动姿势)对虚拟对象的碰撞可通过播放有与向虚拟对象施加的虚拟力的量成比例的大小的音量的声音效果来加强。该声音效果还可对应于虚拟对象的材料特性。例如，如果虚拟对象包括虚拟金属对象，则可播放与金属对象相关联的金属声音。如果虚拟对象包括木虚拟对象，则可向HMD的终端用户播放与木对象相关联的低木质声音。对虚拟对象的碰撞还可通过在与虚拟对象的碰撞点周围显示灰尘的虚拟停留来加强。虚拟灰尘的量可与向虚拟对象施加的虚拟力成比例。
图4B描绘了如使用HMD查看到的增强现实环境400的一个实施例，其中虚拟抓取和移动姿势被执行。如所描绘的，增强现实环境400包括虚拟球412(即虚拟对象)和HMD的终端用户的手402(即真实世界对象)。HMD的终端用户可佩戴电子腕带404，该电子腕带可用于向终端用户提供触觉反馈，诸如特定频率和幅度的振动感觉以及特定程度的变紧感觉。在这种情况下，HMD的终端用户(或增强现实环境400内的另一人)可执行对应于向虚拟球412施加的虚拟抓取和移动姿势424的一个或多个姿势。虚拟抓取和移动姿势424可将虚拟球412移动到增强现实环境400内的新位置。在一个实施例中，虚拟球412可对齐到(snapto)终端用户的手的中心，并看起来像随着终端用户的手一起在增强现实环境内移动。虚拟抓取和移动姿势424可对应于向虚拟球412施加的虚拟力。该虚拟力可基于手402在虚拟地抓取并随后移动虚拟球412之际的加速度和/或速度来确定。
在一个实施例中，HMD的终端用户可在增强现实环境中存在虚拟对象的区域内执行抓取姿势。在检测到抓取姿势之际，虚拟对象可对齐到终端用户的手的中心。抓取姿势的执行可允许终端用户与虚拟对象交互或接管对虚拟对象的控制。此外，使虚拟对象对齐到终端用户的手的中心可确保终端用户感觉虚拟对象的旋转是正确的(例如，当终端用户的手旋转时，向虚拟对象施加的旋转可与该终端用户认为其向虚拟对象施加的实际旋转匹配)。一旦虚拟对象已被虚拟地抓取，则该虚拟对象可在增强现实环境内被移动直到虚拟对象释放姿势被执行。虚拟对象释放姿势可将虚拟对象从终端用户的控制中释放出来。在一个示例中，抓取姿势可包括其中终端用户的拇指和手指以抓取运动朝向彼此移动的手姿势，并且释放姿势可包括其中终端用户的拇指和手指移动回到自然笔直手位置(例如，使手从捏紧的手位置放松)的手姿势。
在一些实施例中，(例如，经由虚拟抓取姿势的)对虚拟对象的抓取可通过用增加的音调播放声音来加强。由于对虚拟对象的抓取和对虚拟对象的释放是相对或相反的动作，因此可将与抓取姿势和释放姿势相关联的反馈配对，并可使用反馈对称性。在一个示例中，具有增加的音调的声音可用于虚拟抓取姿势，而具有减小的音调的声音可用于虚拟释放姿势。在另一示例中，恒定低振动可用于虚拟抓取姿势，而恒定低振动的禁用可用于虚拟释放姿势。
在一些实施例中，虚拟抓取姿势可通过顺着终端用户的手的定向显示虚拟对象来加强。例如，如果终端用户的手被定向成使得其手掌背对HMD(或背对终端用户的身体)，则虚拟对象的将被终端用户的手自然遮盖的各部分可被移除(例如，对应于虚拟对象的被终端用户的手或前臂遮挡的各部分的经渲染的像素可被移除)，由此提供虚拟对象在终端用户的手中的外观。该“手遮挡”技术可模拟将被终端用户的手部分或完全遮挡的对象的真实世界行为。在一些情况下，在检测到抓取姿势之际，虚拟对象可被突出显示、用鲜明的色彩来脉冲化、或有虚拟线框叠加在虚拟对象上。抓取姿势还可通过向终端用户所佩戴的电子腕带(诸如电子腕带404)提供脉冲振动来加强。
图4C描绘了如使用HMD查看到的增强现实环境400的一个实施例，其中虚拟旋转姿势被执行。如所描绘的，增强现实环境400包括虚拟球412(即虚拟对象)和HMD的终端用户的手402(即真实世界对象)。HMD的终端用户可佩戴电子腕带404，该电子腕带可用于向终端用户提供触觉反馈，诸如特定频率和幅度的振动感觉以及特定程度的变紧感觉。在这种情况下，HMD的终端用户(或增强现实环境400内的另一人)可执行对应于向虚拟球412施加的虚拟旋转姿势426的一个或多个姿势。虚拟旋转姿势426可在增强现实环境400内旋转虚拟球412。在一个实施例中，虚拟球412可对齐到终端用户的手的中心，并看起来像相对于终端用户的手的旋转而在增强现实环境内旋转。虚拟旋转姿势426可对应于向虚拟球412施加的虚拟力，该虚拟力与虚拟球412依据终端用户的手的旋转而虚拟地旋转的速度成比例。在一些情况下，当终端用户正在执行虚拟对象交互姿势时，向虚拟对象施加的虚拟力可通过考虑与终端用户的前臂、手、手腕和手指相关联的速度来确定。例如，虚拟对象的旋转以及对应的向虚拟对象施加的虚拟力可取决于终端用户所使用的手腕运动和指尖运动两者。
在一些实施例中，(例如，经由虚拟旋转姿势的)虚拟对象的旋转可通过在虚拟对象被旋转时播放低音量点击声音来加强。在旋转曲柄和旋钮对象时，低音量点击声音可模拟终端用户熟悉的声音。虚拟对象的虚拟旋转还可通过使得终端用户体验到(或感觉到)与音频点击反馈同步的短振动脉冲来加强。
图4D描绘了如使用HMD查看到的增强现实环境400的一个实施例，其中虚拟对象被显示成使得它看起来像被手遮挡了。如所描绘的，增强现实环境400包括虚拟球412(即虚拟对象)和HMD的终端用户的手402(即真实世界对象)。HMD的终端用户可佩戴电子腕带404，该电子腕带可用于向终端用户提供触觉反馈，诸如特定频率和幅度的振动感觉以及特定程度的变紧感觉。在这种情况下，HMD的终端用户已执行了抓取姿势或已按其他方式接管了对虚拟球412的控制。如所描绘的，虚拟球412在增强现实环境内的位置已被移位成使得仅虚拟球412的一部分对HMD的终端用户可见(即，仅虚拟球412的一部分被显示在终端用户的拇指和手指之间)。
图5A是描绘一种用于在移动设备的终端用户操纵增强现实环境内的虚拟对象时，向该终端用户提供实时反馈的方法的一个实施例的流程图。在一个实施例中，图5A的过程可由移动设备(诸如图1中的移动设备19)来执行。
在步骤502，获取与增强现实环境相关联的一个或多个虚拟对象。一个或多个虚拟对象可从虚拟对象服务器(诸如图1中的服务器15)处获取。一个或多个虚拟对象可包括已经被放置在或出现在增强现实环境中的虚拟对象。一个或多个虚拟对象可包括第一虚拟对象。在一个实施例中，第一虚拟对象包括三维虚拟球，诸如图4A中的虚拟球412。
在步骤504，确定与第一虚拟对象相关联的对象分类。对象分类可包括多个虚拟对象分类中的最佳拟合或最接近匹配分类。多个虚拟对象分类可允许根据相似的虚拟对象属性或特性对多个虚拟对象进行分类。在一个示例中，可向与特定虚拟对象材料、特定虚拟对象形状、特定虚拟对象计算应用相关联的、或大于或小于特定虚拟对象尺寸的所有虚拟对象分配相同的虚拟对象分类。例如，多个虚拟对象分类可包括含木对象的第一虚拟对象分类和含金属对象的第二虚拟对象分类。将虚拟对象分类用于映射反馈响应允许与共同分类相关联的虚拟对象具有相似和一致的反馈响应(即，终端用户可跨具有共同特性的许多不同的虚拟对象接收一致的反馈)。
在步骤506，获取反馈映射文件。反馈映射文件可包括基于对象分类的对一个或多个交互的一个或多个反馈响应。反馈映射文件可从服务器(诸如图1的服务器15)处获取。一个或多个反馈响应可包括视觉反馈响应、音频反馈响应和/或触觉或触知反馈响应。
在步骤508，检测对象操纵姿势。在一个实施例中，对象操纵姿势可通过将对象识别和/或姿势识别技术应用于由提供增强现实环境的移动设备捕捉到的图像来检测。在步骤510，基于对象操纵姿势来检测与第一虚拟对象的交互。在一个实施例中，如果特定姿势由HMD的终端用户执行并且该姿势是在第一虚拟对象附近执行的，则可检测到该交互。在一些情况下，对象操纵姿势可包括虚拟对象抓取姿势、虚拟对象移动姿势或虚拟对象释放姿势。
在步骤512，确定与该交互相关联的虚拟力的幅度。虚拟力的幅度可基于与对象操纵姿势相关联的加速度和/或速度来确定(或与其成比例)。例如，使用快速手移动作出的手姿势可对应于大幅度的虚拟力，而使用慢速手移动作出的手姿势可对应于小幅度的虚拟力。
在步骤514，基于反馈映射文件和虚拟力的幅度来确定对该交互的一个或多个反馈响应中的一反馈响应。反馈响应可包括向HMD的终端用户提供的视觉反馈、音频反馈和触觉反馈的组合。用于确定反馈响应的过程的一个实施例稍后参考图5C来描述。在步骤516，输出反馈响应。在步骤518，渲染对应于第一虚拟对象的一个或多个图像，并将其显示在移动设备上。对应于第一虚拟对象的一个或多个图像可被渲染并显示成使得第一虚拟对象被感知为存在于向移动设备的终端用户显示的增强现实环境内。
在一些实施例中，当所执行的姿势变为在虚拟对象的特定距离内时，可向HMD的终端用户提供邻近度反馈响应。邻近度反馈响应可有助于引导终端用户将其手移动到虚拟对象在增强现实环境内的位置。在一个示例中，当终端用户的手接近虚拟对象并变为在虚拟对象的特定距离内(例如在虚拟对象的四英寸内)时，可开始播放音频反馈，该音频反馈随着终端用户的手变得更接近于虚拟对象而增加音量或音调。在触摸虚拟对象之际，可播放特殊音频音调以确认终端用户已虚拟地触摸了虚拟对象。在另一示例中，当终端用户的手接近虚拟对象并变为在虚拟对象的特定距离内(例如，在虚拟对象的六英寸内)时，可显示诸如虚拟方向箭头或移动质点云之类的视觉反馈以便提供关于终端用户的手必须向哪个方向移动以虚拟地触摸该虚拟对象的引导。在另一示例中，提供诸如围绕在虚拟对象的特定距离内的终端用户的手的手腕的电子腕带的振动之类的触觉反馈，随着终端用户的手变得更接近于虚拟对象，该触觉反馈的幅度和/或频率增加。在触摸虚拟对象之际，特殊振动(例如，特定的高频可靠脉冲)可用于确认终端用户已虚拟地触摸了虚拟对象。
图5B是描述一种用于在移动设备的终端用户操纵增强现实环境内的虚拟对象时，向该终端用户提供实时反馈的方法的一替换实施例的流程图。在一个实施例中，图5B的过程可由移动设备(诸如图1中的移动设备19)来执行。
在步骤532，获取与增强现实环境相关联的一个或多个虚拟对象。该一个或多个虚拟对象可从虚拟对象服务器(诸如图1中的服务器15)处获取。一个或多个虚拟对象可包括已经被放置在增强现实环境内的虚拟对象。一个或多个虚拟对象可包括第一虚拟对象。在一个实施例中，第一虚拟对象包括三维虚拟球，诸如图4A中的虚拟球412。
在步骤534，获取反馈映射文件。反馈映射文件可包括对涉及第一虚拟对象的一个或多个交互的一个或多个反馈响应。反馈映射文件可从服务器(诸如图1的服务器15)处获取。一个或多个反馈响应可包括视觉反馈响应、音频反馈响应和/或触觉反馈响应。
在步骤536，确定与第一虚拟对象相关联的材料。在一个实施例中，该材料可对应于虚拟材料特性。例如，该材料可对应于金属、塑料、玻璃或木头。在步骤528，确定增强现实环境内与第一虚拟对象相关联的区域。该区域可对应于增强现实环境内的一个或多个点。在一个实施例中，第一虚拟的对象可包括虚拟球(或虚拟球体)，且增强现实环境内的区域可对应于增强现实环境内被虚拟球遮挡的各位置。在一些情况下，该区域可延伸出增强现实环境内被虚拟球遮挡的那些位置达特定量。例如，该区域可延伸出具有28英寸的圆周的虚拟球达附加的2英寸。在一个实施例中，该区域可延伸出虚拟对象达特定距离，该特定距离对应于虚拟对象的总尺寸的几分之一。
在步骤540，检测对象操纵姿势。在一个实施例中，对象操纵姿势可通过将对象识别和/或姿势识别技术应用于由提供增强现实环境的移动设备捕捉到的图像来检测。在步骤542，基于对象操纵姿势以及在步骤538中确定的区域来检测与第一虚拟对象的交互。在一些情况下，如果特定姿势由HMD的终端用户执行并且该姿势是在与第一虚拟对象相关联的区域内执行的，则可检测到交互。对象操纵姿势可包括虚拟对象抓取姿势、虚拟对象移动姿势、虚拟对象释放姿势或触发与第一虚拟对象的交互的其他姿势。
在步骤544，确定与交互相关联的虚拟力的幅度。虚拟力的幅度可基于与对象操纵姿势相关联的加速度和/或速度来确定(或与其成比例)。例如，使用快速手移动作出的手姿势可对应于第一幅度虚拟力，而使用慢速手移动作出的手姿势可对应于第二幅度虚拟力，该第二幅度虚拟力小于第一幅度虚拟力。
在步骤546，基于反馈映射文件、虚拟力的幅度以及在步骤536中确定的材料来确定对交互的一个或多个反馈响应中的一反馈响应。反馈响应可包括向HMD的终端用户提供的视觉反馈、音频反馈和触觉反馈的组合。用于确定反馈响应的过程的一个实施例稍后参考图5C来描述。在步骤548，输出反馈响应。在步骤550，在移动设备上渲染并显示对应于第一虚拟对象的一个或多个图像。对应于第一虚拟对象的一个或多个图像可被渲染并显示成使得第一虚拟对象被感知为存在于向移动设备的终端用户显示的增强显示环境内。
图5C是描述用于确定反馈响应的过程的一个实施例的流程图。图5C中描述的过程是用于实现图5A中的步骤514或用于实现图5B中的步骤546的过程的一个示例。在一个实施例中，图5C的过程由移动设备(诸如图1中的移动设备19)来执行。
在步骤572，标识与虚拟对象相关联的交互。该交互可包括参与交互，其中对虚拟对象的控制被获得并保持直到释放动作或脱离动作被执行。该交互可包括对虚拟对象的抓取、对虚拟对象的移动或对虚拟对象的释放。在步骤574，获取反馈映射文件、向虚拟对象施加的虚拟力的幅度和与虚拟对象相关联的材料特性。
在步骤576，基于反馈映射文件、向虚拟对象施加的虚拟力的幅度和材料特性来确定对交互的视觉响应。在一个实施例中，在确定合适的视觉响应之前，确定与该交互相关联的HMD的终端用户的手是否背对HMD(即，终端用户的手掌背对HMD)。如果终端用户的手在交互期间背对HMD并且该交互包括抓取姿势，则虚拟对象的位置可在增强现实环境内被移位，使得仅虚拟对象的一部分对HMD的终端用户可见(即，仅虚拟对象的一部分被显示在终端用户的拇指和手指之间)。
在一些情况下，在对虚拟对象执行了虚拟对象抓取姿势后，虚拟响应可包括诸如虚拟对象的闪烁之类的对象专用视觉反馈。在其他情况下，视觉响应可包括诸如屏幕色彩改变或如使用HMD查看到的增强现实环境的背景色彩的改变之类的非对象专用视觉反馈。与特定虚拟对象姿势或交互相关联的视觉指示符也可出现在增强现实环境内以向HMD的终端用户提供反馈(例如，虚拟对象抓取图标可出现在HMD的视野内的右上角)。
在步骤578，基于反馈映射文件、向虚拟对象施加的虚拟力的幅度和材料特性来确定对交互的音频响应。在一个实施例中，音频响应可包括与材料特性相关联的声音效果。例如，如果材料特性对应于金属虚拟对象，则可播放与金属对象相关联的金属声音。
在步骤580，基于反馈映射文件、向虚拟对象施加的虚拟力的幅度和材料特性来确定对交互的触觉响应。在一个实施例中，触觉响应可与电子腕带(诸如图4A中的电子腕带404)的振动相关联。此外，当一些虚拟对象交互固有地对称时，向终端用户提供的反馈响应可以是对称的。在一个实施例中，对虚拟对象的抓取和对虚拟对象的释放可被看成是对称动作，并且由此与对虚拟对象的抓取和释放相关联的反馈可变为对称。在一个示例中，具有增加的音调的声音可用于虚拟抓取姿势，而具有减小的音调的声音可用于虚拟释放姿势。在另一示例中，恒定的低振动可用于虚拟抓取姿势，而恒定的低振动的禁用可用于虚拟释放姿势。
在步骤582，输出视觉响应、音频响应和触觉响应。在一个实施例中，输出的视觉响应可包括如HMD的终端用户查看到的虚拟对象的经更新显示，输出的音频响应可包括(例如，经由嵌入在HMD中的扬声器)对特定声音的播放，并且输出的触觉响应可包括电子腕带、与HMD的终端用户相关联的移动电话或HMD本身)的振动。
所公开的技术的一个实施例包括与一个或多个处理器通信的透视显示器。该一个或多个处理器获取第一虚拟对象并确定与第一虚拟对象相关联的对象分类，该一个或多个处理器检测由电子设备的终端用户执行的对象操纵姿势并基于该对象操纵姿势来检测与第一虚拟对象的交互，该一个或多个处理器确定与该交互相关联的虚拟力的幅度并基于该虚拟力的幅度和对象分类来确定对该交互的反馈响应。该一个或多个处理器输出反馈响应。反馈响应可包括视觉响应、音频响应和触觉响应。透视显示器显示第一虚拟对象的一个或多个图像，使得第一虚拟对象被感知到存在于增强现实环境内。
所公开的技术的一个实施例包括获取与增强现实环境相关联的一个或多个虚拟对象。一个或多个虚拟对象包括第一虚拟对象。该方法进一步包括：确定与第一虚拟对象相关联的对象分类，检测对象操纵姿势，基于对象操纵姿势来检测与第一虚拟对象的交互，确定与该交互相关联的虚拟力的幅度，基于该虚拟力的幅度和对象分类来确定对该交互的反馈响应，以及输出该反馈响应。反馈响应可包括视觉响应、音频响应和触觉响应。该方法可进一步包括渲染对应于第一虚拟对象的一个或多个图像，并将该一个或多个图像显示在移动设备上。
所公开的技术的一个实施例包括：获取与增强现实环境相关联的第一虚拟对象和第二虚拟对象，确定与第一虚拟对象和第二虚拟对象相关联的对象分类，检测增强现实环境内的对象操纵姿势，基于该对象操纵姿势来检测与第一虚拟对象的交互，确定与该交互相关联的虚拟力的幅度，基于虚拟力的幅度和对象分类确定对该交互的反馈响应，以及输出该反馈响应。反馈响应包括视觉响应、音频响应和触觉响应中的至少一者。该方法进一步包括渲染对应于第一虚拟对象的一个或多个图像，并将该一个或多个图像显示在移动设备上。
图6是移动设备8300(诸如图1中的移动设备19)的一个实施例的框图。移动设备可以包括已经整合了无线接收机/发射机技术的膝上型计算机、袖珍计算机、移动电话、HMD、个人数字助理、以及手持式媒体设备。
移动设备8300包括一个或多个处理器8312以及存储器8310。存储器8310包括应用8330和非易失性存储8340。存储器8310可以是任何种类的存储器存储介质类型，包括非易失性和易失性存储器。移动设备操作系统处理移动设备8300的不同操作，并可包含用于操作的用户界面，如拨打和接听电话呼叫、文本消息收发、检查语音邮件等。应用8330可以是任何种类的程序，如用于照片和/或视频的相机应用、地址簿、日历应用、媒体播放器、因特网浏览器、游戏、闹钟应用、以及其它应用。存储器8310中的非易失性存储组件8340可以包含诸如音乐、照片、联系人数据、日程安排数据、以及其它文件之类的数据。
一个或多个处理器8312与透视显示器8309进行通信。透视显示器8309可显示与真实世界环境相关联的一个或多个虚拟对象。该一个或多个处理器8312还与下列各项通信：RF发射机/接收机8306，其又耦合到天线8302；红外发射机/接收机8308；全球定位服务(GPS)接收器8365；以及移动/定向传感器8314，其可以包括加速度计和/或磁力计。RF发射机/接收机8308可以通过诸如蓝牙或IEEE802.11标准之类的各种无线技术标准来启用无线通信。加速度计可能已经结合在移动设备中以实现诸如下列应用：智能用户界面应用，其让用户通过姿势输入命令；以及定向应用，其可以在移动设备被旋转时将显示自动地从竖向改变成横向。可以，例如，通过微机电系统(MEMS)来提供加速度计，该微机电系统是构建在半导体芯片上的微小机械器件(微米尺寸)。可以感测加速度方向、以及定向、振动和震动。所述一个或多个处理器8312还与响铃器/振动器8316、用户界面小键盘/屏幕8318、扬声器8320、话筒8322、相机8324、光传感器8326和温度传感器8328进行通信。用户界面小键盘/屏幕可以包括触敏屏幕显示器。
该一个或多个处理器8312控制无线信号的发射和接收。在发射模式期间，该一个或多个处理器8312向RF发射机/接收机8306提供来自话筒8322的语音信号，或其它数据信号。发射机/接收机8306通过天线8302来发射信号。响铃器/振动器8316被用于向用户发传入呼叫、文本消息、日历提醒、闹钟提醒或其它通知等信号。在接收模式期间，RF发射机/接收机8306通过天线8302接收来自远程站的语音信号或数据信号。所接收到的语音信号被提供给扬声器8320，而接收到的其它数据信号被适当地处理。
另外，可以使用物理连接器8388来将移动设备8300连接到诸如AC适配器或加电对接底座之类的外部电源，以便对电池8304进行再充电。物理连接器8388还可被用作到外部计算设备的数据连接。该数据连接允许诸如将移动设备数据与另一设备上的计算数据进行同步等操作。
所公开的技术可用各种其它通用或专用计算系统环境或配置来操作。适合结合本技术中使用的公知的计算系统、环境和/或配置的示例包括，但不限于，个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络PC、小型计算机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
所公开的技术可在诸如程序模块等由计算机执行的计算机可执行指令的通用上下文中描述。一般而言，如此处所述的软件和程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构和其它类型的结构。硬件或硬件和软件的组合可以替代在此描述的软件模块。
所公开的技术也可以在任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实现。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
出于本文档的目的，与所公开的技术相关联的每个过程可以持续地并由一个或多个计算设备来执行。该过程中的每个步骤都可由与在其他步骤中所使用的那些计算设备相同或不同的计算设备来执行，且每个步骤不必由单个计算设备来执行。
出于本文的目的，说明书中引述的“一实施例”、“一个实施例”、“某些实施例”或“另一实施例”用于描述不同的实施例并且不必然指的是同一实施例。
出于本文的目的，连接可以是直接连接或间接连接(例如，经由另一方)。
出于本文的目的，术语对象的“集合”指的是一个或多个对象的“集合”。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (10)

1.一种用于提供与虚拟对象交互相关联的反馈的电子设备，包括：
一个或多个处理器，所述一个或多个处理器获取第一虚拟对象并确定与所述第一虚拟对象相关联的对象分类，所述一个或多个处理器检测所述电子设备的终端用户所执行的对象操纵姿势并基于所述对象操纵姿势来检测与所述第一虚拟对象的交互，所述一个或多个处理器确定与所述交互相关联的虚拟力的幅度，所述一个或多个处理器基于所述虚拟力的幅度以及所述对象分类来确定对所述交互的反馈响应，所述一个或多个处理器输出所述反馈响应；以及
与所述一个或多个处理器通信的透视显示器，所述透视显示器显示所述第一虚拟对象的一个或多个图像，使得所述第一虚拟对象被感知到存在于所述增强现实环境内。
2.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器确定与所述第一虚拟对象相关联的材料特性，所述一个或多个处理器基于所述虚拟力的幅度和所述材料特性确定所述反馈响应。
3.如权利要求1-2中的任一项所述的电子设备，其特征在于：
所述一个或多个处理器确定所述增强现实环境内与所述第一虚拟对象相关联的区域，所述一个或多个处理器通过检测在所述区域内执行的所述对象操纵姿势来检测与所述第一虚拟对象的交互，所述区域延伸出所述第一虚拟对象达特定距离。
4.如权利要求1-3中的任一项所述的电子设备，其特征在于：
所述反馈响应包括触觉响应，所述触觉响应包括所述电子设备的振动。
5.如权利要求1所述的电子设备，其特征在于：
所述一个或多个处理器通过确定所述电子设备的终端用户的手是否背对所述电子设备来确定所述反馈响应，所述反馈响应包括视觉响应，所述视觉响应包括显示所述第一虚拟对象的第一部分而不显示所述第一虚拟对象的被所述终端用户的手遮挡的第二部分。
6.如权利要求5所述的电子设备，其特征在于：
所述视觉响应包括移位所述第一虚拟对象在所述增强显示环境内的位置，使得所述第一部分看起来在所述终端用户的手的拇指和食指之间。
7.如权利要求1所述的电子设备，其特征在于：
所述反馈响应包括触觉反馈，所述触觉反馈包括与所述电子设备不同的第二电子设备以与所述虚拟力的幅度成比例的特定幅度的振动。
8.一种用于提供与虚拟对象交互相关联的反馈的方法，包括：
获取与增强现实环境相关联的一个或多个虚拟对象，所述一个或多个虚拟对象包括第一虚拟对象；
确定与所述第一虚拟对象相关联的对象分类；
检测对象操纵姿势；
基于所述对象操纵姿势来检测与所述第一虚拟对象的交互；
确定与所述交互相关联的虚拟力的幅度；
基于所述虚拟力的幅度和所述对象分类来确定对所述交互的反馈响应；
输出所述反馈响应；
渲染对应于所述第一虚拟对象的一个或多个图像；以及
将所述一个或多个图像显示在移动设备上。
9.如权利要求8所述的方法，进一步包括：
确定与所述第一虚拟对象相关联的材料特性，所述确定对所述交互的反馈响应包括基于所述虚拟力的幅度和所述材料特性来确定所述反馈响应。
10.如权利要求8-9中任一项所述的方法，其特征在于，进一步包括：
确定所述增强现实环境内与所述第一虚拟对象相关联的区域，所述检测与所述第一虚拟对象的交互包括检测在所述区域内执行的对象操纵姿势。
CN201480020907.2A 2013-04-12 2014-04-08 全息图对象反馈 Active CN105264460B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/862,210 US9367136B2 (en) 2013-04-12 2013-04-12 Holographic object feedback
US13/862,210 2013-04-12
PCT/US2014/033245 WO2014168901A1 (en) 2013-04-12 2014-04-08 Holographic object feedback

Publications (2)

Publication Number Publication Date
CN105264460A true CN105264460A (zh) 2016-01-20
CN105264460B CN105264460B (zh) 2018-10-12

Family

ID=50694051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480020907.2A Active CN105264460B (zh) 2013-04-12 2014-04-08 全息图对象反馈

Country Status (5)

Country Link
US (1) US9367136B2 (zh)
EP (1) EP2984539A1 (zh)
KR (1) KR102194164B1 (zh)
CN (1) CN105264460B (zh)
WO (1) WO2014168901A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106155322A (zh) * 2016-06-30 2016-11-23 联想(北京)有限公司 信息处理方法、电子设备以及控制系统
CN107491947A (zh) * 2017-08-24 2017-12-19 维沃移动通信有限公司 一种资源转移方法、相关设备及系统
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN108885803A (zh) * 2016-03-30 2018-11-23 微软技术许可有限责任公司 物理环境中的虚拟对象操纵
CN108897425A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN109298776A (zh) * 2017-07-25 2019-02-01 广州市动景计算机科技有限公司 增强现实互动系统、方法和装置
CN109891369A (zh) * 2016-12-05 2019-06-14 谷歌有限责任公司 虚拟会议中的信息隐私
CN110333785A (zh) * 2019-07-11 2019-10-15 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
CN110646938A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 近眼显示器系统
CN110647239A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 人工现实环境中的虚拟内容的基于手势的投射和操纵
CN110832450A (zh) * 2017-04-25 2020-02-21 微软技术许可有限责任公司 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测
CN111813226A (zh) * 2019-07-11 2020-10-23 谷歌有限责任公司 使用手势和ui控制的遮挡平面通过深度遍历照片增强信息
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
CN112083798A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 响应于用户输入的温度调节反馈系统
CN112204640A (zh) * 2018-05-28 2021-01-08 微软技术许可有限责任公司 针对视觉受损者的辅助设备
CN112823299A (zh) * 2018-10-01 2021-05-18 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US8947216B2 (en) 2012-11-02 2015-02-03 Immersion Corporation Encoding dynamic haptic effects
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
US9202352B2 (en) 2013-03-11 2015-12-01 Immersion Corporation Automatic haptic effect adjustment system
US9092954B2 (en) 2013-03-15 2015-07-28 Immersion Corporation Wearable haptic device
DE102013207528A1 (de) * 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9207764B2 (en) 2013-09-18 2015-12-08 Immersion Corporation Orientation adjustable multi-channel haptic device
KR102271637B1 (ko) 2013-09-27 2021-07-02 센셀, 인크. 저항성 터치 센서 시스템 및 방법
US10013092B2 (en) 2013-09-27 2018-07-03 Sensel, Inc. Tactile touch sensor system and method
US11221706B2 (en) 2013-09-27 2022-01-11 Sensel, Inc. Tactile touch sensor system and method
US10163264B2 (en) * 2013-10-02 2018-12-25 Atheer, Inc. Method and apparatus for multiple mode interface
US10740979B2 (en) * 2013-10-02 2020-08-11 Atheer, Inc. Method and apparatus for multiple mode interface
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9986225B2 (en) * 2014-02-14 2018-05-29 Autodesk, Inc. Techniques for cut-away stereo content in a stereoscopic display
US10254836B2 (en) 2014-02-21 2019-04-09 Immersion Corporation Haptic power consumption management
JP6307627B2 (ja) 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
JP6314564B2 (ja) * 2014-03-17 2018-04-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
KR20160014418A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 유저 인터페이스 장치 및 유저 인터페이스 방법
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160024168A (ko) * 2014-08-25 2016-03-04 삼성전자주식회사 전자 장치의 디스플레이 제어 방법 및 전자 장치
CN104407786A (zh) * 2014-09-30 2015-03-11 深圳市亿思达科技集团有限公司 实现全息图像显示的交互式显示方法、控制方法及系统
CN104407696B (zh) * 2014-11-06 2016-10-05 北京京东尚科信息技术有限公司 移动设备的虚拟球模拟及控制的方法
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
US10613628B2 (en) 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
GB2533789A (en) * 2014-12-30 2016-07-06 Nokia Technologies Oy User interface for augmented reality
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
US10656720B1 (en) * 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160239085A1 (en) * 2015-02-18 2016-08-18 Lenovo (Singapore) Pte, Ltd. Force indication of a boundary
US10216277B2 (en) 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
KR20160105321A (ko) 2015-02-27 2016-09-06 임머숀 코퍼레이션 사용자의 무드에 기초하는 액션 생성
US9791917B2 (en) * 2015-03-24 2017-10-17 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
US20160299565A1 (en) * 2015-04-07 2016-10-13 Siemens Aktiengesellschaft Eye tracking for registration of a haptic device with a holograph
EP3286621A4 (en) 2015-04-21 2018-12-12 Immersion Corporation Dynamic rendering of etching input
CN104820492A (zh) * 2015-04-23 2015-08-05 济南大学 一种三维触觉系统
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
WO2017019991A1 (en) * 2015-07-29 2017-02-02 Sensel Inc. Systems and methods for manipulating a virtual environment
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US20180197342A1 (en) * 2015-08-20 2018-07-12 Sony Corporation Information processing apparatus, information processing method, and program
US10109161B2 (en) 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US11334165B1 (en) * 2015-09-03 2022-05-17 sigmund lindsay clements Augmented reality glasses images in midair having a feel when touched
KR20180057668A (ko) 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
US9857874B2 (en) * 2015-11-03 2018-01-02 Chunghwa Picture Tubes, Ltd. Augmented reality system and augmented reality interaction method
KR102450416B1 (ko) 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US20180368736A1 (en) 2015-11-15 2018-12-27 Wamis Singhatat Feedback wearable
US10776618B2 (en) * 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN106371574B (zh) * 2015-12-04 2019-03-12 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
JP6709633B2 (ja) * 2016-02-17 2020-06-17 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びゲームシステム
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10088947B2 (en) 2016-03-25 2018-10-02 Sensel Inc. System and method for detecting and characterizing force inputs on a surface
CN105955458B (zh) * 2016-04-21 2019-04-05 北京众绘虚拟现实技术研究院有限公司 反馈力生成方法及装置
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10556175B2 (en) 2016-06-10 2020-02-11 Immersion Corporation Rendering a haptic effect with intra-device mixing
US10140776B2 (en) 2016-06-13 2018-11-27 Microsoft Technology Licensing, Llc Altering properties of rendered objects via control points
US10459522B2 (en) 2016-06-15 2019-10-29 Konkuk University Glocal Industry-Academic Collaboration Foundation System and method for inducing somatic sense using air plasma and interface device using them
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
US20170371410A1 (en) * 2016-06-28 2017-12-28 International Business Machines Corporation Dynamic virtual object interactions by variable strength ties
US10353478B2 (en) * 2016-06-29 2019-07-16 Google Llc Hover touch input compensation in augmented and/or virtual reality
US9965051B2 (en) 2016-06-29 2018-05-08 Microsoft Technology Licensing, Llc Input device tracking
US10210724B2 (en) 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
US10671170B2 (en) * 2016-07-22 2020-06-02 Harman International Industries, Inc. Haptic driving guidance system
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
IL264690B (en) * 2016-08-11 2022-06-01 Magic Leap Inc Automatic positioning of a virtual object in 3D space
US11269480B2 (en) 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US10147460B2 (en) 2016-12-28 2018-12-04 Immersion Corporation Haptic effect generation for space-dependent content
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
JP2018152812A (ja) * 2017-03-15 2018-09-27 ソニー株式会社 ヘッドホン
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
CN110582741B (zh) 2017-03-21 2024-04-02 交互数字Vc控股公司 用于增强现实中触觉交互检测和增强的方法和系统
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10824293B2 (en) 2017-05-08 2020-11-03 International Business Machines Corporation Finger direction based holographic object interaction from a distance
US11144114B2 (en) * 2017-05-11 2021-10-12 Sony Corporation Information processing apparatus and information processing method
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
US10168789B1 (en) * 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10366584B2 (en) 2017-06-05 2019-07-30 Immersion Corporation Rendering haptics with an illusion of flexible joint movement
US10194078B2 (en) 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US10325409B2 (en) 2017-06-16 2019-06-18 Microsoft Technology Licensing, Llc Object holographic augmentation
US20190156715A1 (en) * 2017-07-10 2019-05-23 Pierce Elliott James Method and system for facilitating provisioning of holographic content
US20190011698A1 (en) * 2017-07-10 2019-01-10 Pierce Elliott James Method and system for facilitating provisioning of holographic content
US10444703B2 (en) 2017-07-28 2019-10-15 International Business Machines Corporation Method and system for simulation of forces using holographic objects
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
KR102408359B1 (ko) * 2017-08-23 2022-06-14 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10477298B2 (en) 2017-09-08 2019-11-12 Immersion Corporation Rendering haptics on headphones with non-audio data
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US11966793B1 (en) 2017-10-18 2024-04-23 Campfire 3D, Inc. Systems and methods to extend an interactive space across multiple platforms
US10583359B2 (en) 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
GB201800920D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
EP3743892A4 (en) * 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US10565797B2 (en) * 2018-02-17 2020-02-18 Varjo Technologies Oy System and method of enhancing user's immersion in mixed reality mode of display apparatus
KR102279300B1 (ko) * 2018-02-26 2021-07-19 미쓰비시덴키 가부시키가이샤 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
KR102279306B1 (ko) * 2018-02-26 2021-07-19 미쓰비시덴키 가부시키가이샤 가상 물체 표시 제어 장치, 가상 물체 표시 시스템, 가상 물체 표시 제어 방법, 및 가상 물체 표시 제어 프로그램
CN108398787B (zh) * 2018-03-20 2023-05-16 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US11694575B2 (en) 2018-04-14 2023-07-04 The Trustees of the California State University Hands-on laboratory and demonstration equipment with a hybrid virtual/augmented environment, along with their methods of use
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US11054638B2 (en) 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device
US10665067B2 (en) 2018-06-15 2020-05-26 Immersion Corporation Systems and methods for integrating haptics overlay in augmented reality
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) * 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
KR102333768B1 (ko) * 2018-11-16 2021-12-01 주식회사 알체라 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US11132060B2 (en) * 2018-12-04 2021-09-28 International Business Machines Corporation Collaborative interactions and feedback with midair interfaces
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10885715B2 (en) * 2019-01-14 2021-01-05 Microsoft Technology Licensing, Llc Interactive carry
US11796959B2 (en) 2019-01-25 2023-10-24 International Business Machines Corporation Augmented image viewing with three dimensional objects
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11297366B2 (en) * 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
JP2021005157A (ja) * 2019-06-25 2021-01-14 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
EP4062268A1 (en) * 2019-11-19 2022-09-28 Orcam Technologies Ltd. Wearable systems and methods for locating an object
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102332318B1 (ko) * 2020-07-22 2021-12-01 이화여자대학교 산학협력단 시공간 인코딩을 사용하여 가상 객체의 거칠기 촉각을 제공하기 위한 방법 및 시스템
US11481039B2 (en) * 2020-08-28 2022-10-25 Electronics And Telecommunications Research Institute System for recognizing user hand gesture and providing virtual reality content based on deep learning using transfer learning
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US20220383601A1 (en) * 2021-05-25 2022-12-01 Samsung Electronics Co., Ltd. Virtual avatars and physical object interaction in augmented reality applications
US11579691B2 (en) 2021-05-25 2023-02-14 Kyndryl, Inc. Mid-air volumetric visualization movement compensation
US11875792B2 (en) 2021-08-17 2024-01-16 International Business Machines Corporation Holographic interface for voice commands
GB2612767A (en) * 2021-11-03 2023-05-17 Sony Interactive Entertainment Inc Virtual reality interactions
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质
US11662822B1 (en) * 2021-12-20 2023-05-30 Huawei Technologies Co., Ltd. Systems and methods for generating pseudo haptic feedback
WO2024005243A1 (ko) * 2022-07-01 2024-01-04 엘지전자 주식회사 시각 장애인용 보행 보조 시스템 및 그 방법
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690338B1 (en) * 1993-08-23 2004-02-10 Francis J. Maguire, Jr. Apparatus and method for providing images of real and virtual objects in a head mounted display
US5991085A (en) 1995-04-21 1999-11-23 I-O Display Systems Llc Head-mounted personal visual display apparatus with image generator and holder
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6031519A (en) * 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US20060209019A1 (en) 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US7920124B2 (en) * 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
US9881520B2 (en) * 2008-01-08 2018-01-30 Immersion Medical, Inc. Virtual tool manipulation system
US20110080273A1 (en) * 2008-06-13 2011-04-07 Waseda University Sensation Presenting System and Sensation Presenting Device
EP2304491A1 (en) * 2008-07-10 2011-04-06 Real View Imaging Ltd. Broad viewing angle displays and user interfaces
US8493188B2 (en) 2009-01-14 2013-07-23 International Business Machines Corporation Haptic motion feedback device
US20110270135A1 (en) * 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
US20110148607A1 (en) * 2009-12-17 2011-06-23 Charles Timberlake Zeleny System,device and method for providing haptic technology
WO2011106798A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
WO2012096666A1 (en) * 2011-01-13 2012-07-19 2Empire Technology Development Llc Haptic feedback device using electro-rheological fluid
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
US20130137076A1 (en) * 2011-11-30 2013-05-30 Kathryn Stone Perez Head-mounted display based education and instruction
US9013426B2 (en) * 2012-01-12 2015-04-21 International Business Machines Corporation Providing a sense of touch in a mobile device using vibration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080094351A1 (en) * 2006-10-23 2008-04-24 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN101387908A (zh) * 2007-09-10 2009-03-18 佳能株式会社 信息处理装置及信息处理方法
US20090195538A1 (en) * 2008-02-04 2009-08-06 Gwangju Institute Of Science And Technology Method and system for haptic interaction in augmented reality
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US20120302289A1 (en) * 2011-05-27 2012-11-29 Kang Heejoon Mobile terminal and method of controlling operation thereof

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885803A (zh) * 2016-03-30 2018-11-23 微软技术许可有限责任公司 物理环境中的虚拟对象操纵
CN106155322A (zh) * 2016-06-30 2016-11-23 联想(北京)有限公司 信息处理方法、电子设备以及控制系统
CN109891369A (zh) * 2016-12-05 2019-06-14 谷歌有限责任公司 虚拟会议中的信息隐私
CN109891369B (zh) * 2016-12-05 2022-06-03 谷歌有限责任公司 虚拟会议中的信息隐私
US12008725B2 (en) 2017-04-25 2024-06-11 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
CN110832450B (zh) * 2017-04-25 2024-04-23 微软技术许可有限责任公司 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统
CN110832450A (zh) * 2017-04-25 2020-02-21 微软技术许可有限责任公司 用于基于用户特性在虚拟或半虚拟空间中提供对象的方法和系统
CN110622107A (zh) * 2017-05-09 2019-12-27 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
CN110622107B (zh) * 2017-05-09 2022-07-08 微软技术许可有限责任公司 跟踪可穿戴设备和手持对象姿势
US11314321B2 (en) 2017-05-09 2022-04-26 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
CN109298776A (zh) * 2017-07-25 2019-02-01 广州市动景计算机科技有限公司 增强现实互动系统、方法和装置
CN109298776B (zh) * 2017-07-25 2021-02-19 阿里巴巴（中国）有限公司 增强现实互动系统、方法和装置
CN107491947A (zh) * 2017-08-24 2017-12-19 维沃移动通信有限公司 一种资源转移方法、相关设备及系统
CN107491947B (zh) * 2017-08-24 2020-06-02 维沃移动通信有限公司 一种资源转移方法、相关设备及系统
CN107728782A (zh) * 2017-09-21 2018-02-23 广州数娱信息科技有限公司 交互方法及交互系统、服务器
CN112204640B (zh) * 2018-05-28 2022-07-08 微软技术许可有限责任公司 针对视觉受损者的辅助设备
CN112204640A (zh) * 2018-05-28 2021-01-08 微软技术许可有限责任公司 针对视觉受损者的辅助设备
CN110647239A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 人工现实环境中的虚拟内容的基于手势的投射和操纵
CN110646938A (zh) * 2018-06-27 2020-01-03 脸谱科技有限责任公司 近眼显示器系统
CN110646938B (zh) * 2018-06-27 2022-05-24 脸谱科技有限责任公司 近眼显示器系统
CN108897425B (zh) * 2018-06-29 2020-12-18 联想(北京)有限公司 一种数据处理方法及电子设备
CN108897425A (zh) * 2018-06-29 2018-11-27 联想(北京)有限公司 一种数据处理方法及电子设备
CN110969658B (zh) * 2018-09-28 2024-03-29 苹果公司 利用来自多个设备的图像进行定位和标测
CN110969658A (zh) * 2018-09-28 2020-04-07 苹果公司 利用来自多个设备的图像进行定位和标测
CN112823299A (zh) * 2018-10-01 2021-05-18 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN112823299B (zh) * 2018-10-01 2024-03-29 镭亚股份有限公司 全息现实系统、多视图显示器和方法
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
CN112083798A (zh) * 2019-06-12 2020-12-15 阿里巴巴集团控股有限公司 响应于用户输入的温度调节反馈系统
CN111813226A (zh) * 2019-07-11 2020-10-23 谷歌有限责任公司 使用手势和ui控制的遮挡平面通过深度遍历照片增强信息
CN110333785B (zh) * 2019-07-11 2022-10-28 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
CN110333785A (zh) * 2019-07-11 2019-10-15 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及增强现实设备
CN115047624A (zh) * 2022-05-24 2022-09-13 北京领为军融科技有限公司 智能眼镜操控系统
CN115047624B (zh) * 2022-05-24 2023-06-27 北京领为军融科技有限公司 智能眼镜操控系统

Also Published As

Publication number Publication date
KR102194164B1 (ko) 2020-12-22
EP2984539A1 (en) 2016-02-17
WO2014168901A1 (en) 2014-10-16
KR20150140807A (ko) 2015-12-16
US9367136B2 (en) 2016-06-14
CN105264460B (zh) 2018-10-12
US20140306891A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
CN105264460B (zh) 全息图对象反馈
CN105378801B (zh) 全息图快照网格
KR102408318B1 (ko) 실세계 객체들의 가상 표현들
EP2984541B1 (en) Near-plane segmentation using pulsed light source
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2020091904A (ja) システムおよびコントローラ
US11340707B2 (en) Hand gesture-based emojis
JP6263252B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
US20140306994A1 (en) Personal holographic billboard
JP6392911B2 (ja) 情報処理方法、コンピュータ、および当該情報処理方法をコンピュータに実行させるためのプログラム
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
WO2014138267A2 (en) Inconspicuous tag for generating augmented reality experiences
US11989843B2 (en) Robotic learning of assembly tasks using augmented reality
CN117337426A (zh) 音频加强的增强现实
JP6495399B2 (ja) 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置
KR20230070308A (ko) 웨어러블 장치를 이용한 제어가능한 장치의 위치 식별
JP2019020836A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant