CN115176306A - 用于可穿戴系统的手部和图腾输入融合 - Google Patents

用于可穿戴系统的手部和图腾输入融合 Download PDF

Info

Publication number
CN115176306A
CN115176306A CN202180016973.2A CN202180016973A CN115176306A CN 115176306 A CN115176306 A CN 115176306A CN 202180016973 A CN202180016973 A CN 202180016973A CN 115176306 A CN115176306 A CN 115176306A
Authority
CN
China
Prior art keywords
hand
handheld device
data
gesture
gesture data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180016973.2A
Other languages
English (en)
Inventor
Y-L·E·章
L·J·诺
A·然
P·A·克林克穆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN115176306A publication Critical patent/CN115176306A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

用于将与用户的手部相关联的手部姿势数据与与手持式设备相关联的手持式设备姿势数据融合的技术。在一些实施例中，在本文所描述的实施例中使用用户的两只手。使用手部姿势传感器来捕获包括手部在参考系内的位置的手部姿势数据。使用手持式设备姿势传感器来捕获包括手持式设备在参考系内的位置的手持式设备姿势数据。确定手部姿势数据与手持式设备姿势数据之间的姿势差异，姿势差异至少包括手部的位置与手持式设备的位置之间的位置差异。基于姿势差异执行融合操作。

Description

用于可穿戴系统的手部和图腾输入融合
相关申请的交叉引用
本申请要求于2020年2月26日提交的题为“HAND AND TOTEM INPUT FUSION FORWEARABLE SYSTEMS(用于可穿戴系统的手部和图腾输入融合)”的美国临时专利申请NO.62/981,930的优先权的权益，其整体内容用于所有目的通过引用并入本文。
背景技术
现代计算和显示技术已经有助于用于所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中，数字再现的图像或其部分以其看起来是真实的或可以被感知为真实的方式呈现给用户。虚拟现实或者“VR”场景典型地包含数字或者虚拟图像信息的呈现，而无需对其他实际现实世界视觉输入透明；增强现实或者“AR”场景典型地包含作为用户周围的实际世界的可视化的增强的数字或者虚拟图像信息的呈现。
不管在这些显示技术中取得的进步，在本领域中需要涉及增强现实系统，特别是显示系统，的经改进的方法、系统和设备。
发明内容
本公开大体涉及用于改进光学系统的性能和用户体验的技术。更特别地，本公开的实施例提供用于操作其中手持式设备用于辅助可穿戴系统的操作的增强现实(AR)、虚拟现实(VR)或混合现实(MR)可穿戴系统的方法。本公开的综述下文作为一系列示例提供。如下文所使用的，对一系列示例的任何引用将被理解为分离地对那些示例中的每一个的引用(例如，“示例1-4”将被理解为“示例1、2、3、或4”)。
示例1是一种将手部姿势数据与手持式设备姿势数据融合的方法，所述方法包括：使用手部姿势传感器来捕获包括手部在参考系内的位置的所述手部姿势数据；使用手持式设备姿势传感器来捕获包括手持式设备在所述参考系内的位置的所述手持式设备姿势数据；确定所述手部姿势数据与所述手持式设备姿势数据之间的姿势差异，所述姿势差异包括所述手的所述位置与所述手持式设备的所述位置之间的位置差异；以及基于所述姿势差异执行融合操作。
示例2是根据示例1所述的方法，其中，所述位置差异是所述手部的所述位置与所述手持式设备的所述位置之间的距离。
示例3是根据示例2所述的方法，还包括：确定所述距离是大于还是小于距离阈值。
示例4是根据示例3所述的方法，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：确定所述手持式设备未由所述手部握持。
示例5是根据示例3所述的方法，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：确定所述手持式设备由所述手部握持。
示例6是根据示例3所述的方法，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：抑制所述手部姿势数据；或抑制所述手持式设备姿势数据。
示例7是根据示例3所述的方法，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：使用所述手部姿势数据来增强所述手持式设备姿势数据；使用所述手持式设备姿势数据来增强所述手持式姿势数据；或使用所述手部姿势数据和所述手持式设备姿势数据，生成组合姿势数据。
示例8是根据示例1所述的方法，其中，使用所述手部姿势传感器来捕获所述手部姿势数据包括：识别与所述手相关联的多个关键点；以及基于所述多个关键点确定所述手的所述位置。
示例9是根据示例1所述的方法，其中，所述手部姿势数据包括所述手部的所述位置和所述手部的所述取向。
示例10是根据示例1所述的方法，其中，所述手部姿势数据包括所述手部的所述位置但不包括所述手部的所述取向。
示例11是根据示例1所述的方法，其中，所述手持式设备姿势数据包括所述手持式设备的所述位置和所述手持式设备的所述取向。
示例12是根据示例1所述的方法，其中，所述手持式设备姿势数据包括所述手持式设备的所述位置但不包括所述手持式设备的所述取向。
示例13是根据示例1所述的方法，其中，所述手部姿势数据包括所述手的取向；以及所述手持式设备姿势数据包括所述手持式设备的取向。
示例14是根据示例13所述的方法，其中，所述姿势差异包括所述手部的所述取向与所述手持式设备的所述取向之间的取向差异。
示例15是根据示例14所述的方法，其中，所述取向差异是所述手的所述取向与所述手持式设备的所述取向之间的角度偏移。
示例16是根据示例15所述的方法，还包括：确定所述角度偏移是大于还是小于角度阈值。
示例17是根据示例13所述的方法，基于所述手持式设备的三维(3D)模型和所述手持式设备的所述取向，修改所述手持式设备的所述位置。
示例18是根据示例1所述的方法，其中，所述手部姿势传感器与所述手持式设备姿势传感器不同。
示例19是根据示例1所述的方法，其中，所述手部姿势传感器和所述手持式姿势传感器是相同的传感器。
示例20是根据示例1所述的方法，其中，所述手部姿势传感器是图像捕获设备。
示例21是根据示例1所述的方法，其中，所述手部姿势传感器是深度传感器。
示例22是根据示例1所述的方法，其中，所述手部姿势传感器被安装到耳机。
示例23是根据示例1所述的方法，其中，所述手持式设备姿势传感器包括电磁(EM)发射器和EM接收器。
示例24是根据示例23所述的方法，其中，所述EM发射器被安装到所述手持式设备，并且，所述EM接收器被安装到耳机。
示例25是一种系统，包括：手部姿势传感器，其被配置为捕获包括手部在参考系内的位置的手部姿势数据；以及手持式设备姿势传感器，其被配置为捕获包括手持式设备在所述参考系内的位置的手持式设备姿势数据；与所述手部姿势传感器和所述手持设备姿势传感器通信的一个或多个处理器，所述一个或多个处理器被配置为执行包括以下各项的操作：确定所述手部姿势数据与所述手持式设备姿势数据之间的姿势差异，所述姿势差异包括所述手部的所述位置与所述手持式设备的所述位置之间的位置差异；以及基于所述姿势差异执行融合操作。
示例26是根据示例25所述的系统，其中，所述位置差异是所述手部的所述位置与所述手持式设备的所述位置之间的距离。
示例27是根据示例26所述的系统，还包括：确定所述距离是大于还是小于或等于距离阈值。
示例28是根据示例27所述的系统，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：确定所述手持式设备未由所述手部握持。
示例29是根据示例27所述的系统，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：确定所述手持式设备由所述手部握持。
示例30是根据示例27所述的系统，其中，如果确定所述距离小于所述距离阈值，则执行所述融合操作包括：抑制所述手部姿势数据；或抑制所述手持式设备姿势数据。
示例31是根据示例27所述的系统，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：抑制所述手部姿势数据；或抑制所述手持式设备姿势数据。
示例32是根据示例27所述的系统，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：使用所述手部姿势数据来增强所述手持式设备姿势数据；使用所述手持式设备姿势数据来增强所述手部姿势数据；或使用所述手部姿势数据和所述手持式设备姿势数据，生成组合姿势数据。
示例33是根据示例25所述的系统，其中，使用所述手部姿势传感器来捕获所述手部姿势数据包括：识别与所述手部相关联的多个关键点；以及基于所述多个关键点，确定所述手部的所述位置。
示例34是根据示例25所述的系统，其中，所述手部姿势数据包括所述手部的所述位置和所述手部的所述取向。
示例35是根据示例25所述的系统，其中，所述手部姿势数据包括所述手部的所述位置但不包括所述手部的所述取向。
示例36是根据示例25所述的系统，其中，所述手持式设备姿势数据包括所述手持式设备的所述位置和所述手持式设备的所述取向。
示例37是根据示例25所述的系统，其中，所述手持式设备姿势数据包括所述手持式设备的所述位置但不包括所述手持式设备的所述取向。
示例38是根据示例25所述的系统，其中：所述手部姿势数据包括所述手部的取向；以及所述手持式设备姿势数据包括所述手持式设备的取向。
示例39是根据示例38所述的系统，其中，所述姿势差异包括所述手部的所述取向与所述手持式设备的所述取向之间的取向差异。
示例40是根据示例38所述的系统，基于所述手持式设备的三维(3D)模型和所述手持式设备的所述取向，修改所述手持式设备的所述位置。
示例41是根据示例39所述的系统，其中，所述取向差异是所述手部的所述取向与所述手持式设备的所述取向之间的角度偏移。
示例42是根据示例41所述的系统，还包括：确定所述角度偏移是大于还是小于角度阈值。
示例43是根据示例38所述的系统，基于所述手持式设备的三维(3D)模型和所述手持式设备的所述取向，修改所述手持式设备的所述位置。
示例44是根据示例25所述的系统，其中，所述手部姿势传感器与所述手持式设备姿势传感器不同。
示例45是根据示例25所述的系统，其中，所述手部姿势传感器和所述手持式姿势传感器是相同的传感器。
示例46是根据示例25所述的系统，其中，所述手部姿势传感器是图像捕获设备。
示例47是根据示例25所述的系统，其中，所述手部姿势传感器是深度传感器。
示例48是根据示例25所述的系统，其中，所述手部姿势传感器被安装到耳机。
示例49是根据示例25所述的系统，其中，所述手持式设备姿势传感器包括电磁(EM)发射器和EM接收器。
示例50是根据示例49所述的系统，其中，所述EM发射器被安装到所述手持式设备，并且，所述EM接收器被安装到耳机。
示例51是一种系统，包括：至少一个可穿戴部件，其被配置为由用户穿戴；多个电子硬件部件，其至少一部分被包含在所述至少一个可穿戴部件内或被附接到所述至少一个可穿戴部件，所述多个电子硬件部件包括：显示器，其被配置为将内容呈现给用户；多个传感器，其中的至少一个包括图像捕获设备；以及至少一个处理器，其与所述显示器、所述多个传感器、和佩配置为握持在所述用户的手部中的便携式输入设备通信，其中，所述至少一个处理器被配置为：从所述图像捕获设备接收图像数据；从与所述图像捕获设备不同的所述多个传感器中的一个或多个接收数据；至少部分地基于从所述图像捕获设备接收的所述图像数据和从与所述图像捕获设备不同的所述多个传感器中的一个或多个接收的数据，确定所述便携式输入设备是否被定位为距离所述用户的手部小于至少一个阈值距离；以及至少部分地基于所述便携式输入设备是否被确定为被定位为距离所述用户的手部小于所述至少一个阈值距离来控制所述显示器的操作。
示例52是根据示例50所述的系统，其中，为了确定所述便携式输入设备是否被定位为距离所述用户的手部小于至少一个阈值距离并控制所述显示器的操作，所述至少一个处理器被配置为：至少部分地基于从所述图像捕获设备接收到的所述图像数据和从与所述图像捕获设备不同的所述多个传感器中的一个或多个接收到的数据来确定所述便携式输入设备是否被定位在相对于所述用户的手部定义的体积内；以及至少部分地基于所述便携式输入设备是否被确定为被定位在相对于所述用户的手部定义的体积内来控制所述显示器的操作。
示例53是根据示例51所述的系统，其中，相对于所述用户的手部定义的体积在形状上是球形或椭圆形。
示例54是根据示例51所述的系统，其中，所述至少一个处理器还被配置为：至少部分地基于从所述图像捕获设备接收的所述图像数据来确定所述用户的手部的位置和取向中的一者或两者，以及至少部分地基于从与所述图像捕获设备不同的所述多个传感器中的一个或多个接收的数据，确定所述便携式输入设备的位置和取向中的一者或两者，其中，所述至少一个处理器被配置为至少部分地基于所述用户的手部的所述位置、所述用户的手部的所述取向、所述便携式输入设备的所述位置、所述便携式输入设备的所述取向或其组合，定义相对于所述用户的手部的体积。
示例55是根据示例53所述的系统，其中，所述至少一个处理器被配置为至少部分地基于一个或多个因素，调整所述音量的一个或多个参数，其中，所述体积的所述一个或多个参数包括所述体积的位置、所述体积的取向、所述体积的尺寸、所述体积的形状或其组合，以及其中，所述一个或多个因素包括以下各项中的至少一项：所述至少一个可穿戴部件与所述便携式输入设备之间的距离，所述至少一个可穿戴部件与所述用户的手部之间的距离，所述便携式输入设备或所述用户的手部是否被确定为被被定位为更靠近所述至少一个可穿戴部件，从所述多个传感器中的一些或全部接收的数据，或从所述便携式输入设备接收的数据。
示例56是根据示例51所述的系统，其中，相对于所述用户的手部定义的体积包括第一体积，并且其中，所述至少一个处理器还被配置为：至少部分地基于从所述图像捕获设备接收到的所述图像数据和从与所述图像捕获设备不同的所述多个传感器中的一个或多个接收到的数据，确定所述便携式输入设备是否被定位在相对于所述用户或所述至少一个可穿戴部件定义的第二体积内，以及其中，至少部分地基于所述便携式输入设备是否被确定为被定位在相对于所述用户的手部定义的体积内，控制所述显示器的操作，所述至少一个处理器被配置为：至少部分地基于(i)所述便携式输入设备是否被确定为被定位在相对于所述用户的手部定义的第一体积内，或者(ii)所述便携式输入设备是否被确定为被定位在相对于所述用户或所述至少一个可穿戴部件定义的第二体积内。
示例57是根据示例55所述的系统，其中，所述第二体积相对于与所述用户的手部不同的所述用户的一个或多个部分来定义，所述用户的所述一个或多个部分包括所述用户的胸部、肩部、头部、手臂、眼睛或其组合的一个或多个部分。
示例58是根据示例56所述的系统，其中，所述第二体积对应于相对于所述用户的三维空间中被定位所述用户可触及范围内的位置范围。
示例59是根据示例50所述的系统，其中，至少部分地基于所述便携式输入设备是否被确定为被定位为距离所述用户的手部小于所述至少一个阈值距离来控制所述显示器的操作，所述至少一个处理器被配置为：响应于所述便携式输入设备被定位为距离所述用户的手部小于所述至少一个阈值距离的确定，根据第一操作模式控制所述显示器的操作，处于第一操作模式，启用经由所述便携式输入设备与由所述显示器呈现的所述内容中的至少一些的用户交互，并且限制或禁用与由所述显示器呈现的所述内容中的至少一些的基于手部的用户交互；以及响应于所述便携式输入设备未被定位为距离所述用户的手部小于所述至少一个阈值距离的确定，根据第二操作模式控制所述显示器的操作，处于第二操作模式，启用与由所述显示器呈现的所述内容中的至少一些的基于手部的用户交互，并且限制或禁用经由所述便携式输入设备由所述显示器呈现的所述内容中的至少一些的用户交互。
附图说明
并入本说明书中并且形成其一部分的被包括以提供本公开的进一步的理解的附图示出了本公开的实施例，并且连同详细描述一起用于解释本公开的原理。未做出尝试以以比对于本公开的基本理解必要的更详细地示出本公开的结构细节和其可以被实践的各种方式。
图1A和图1B示出了可穿戴系统的各种部件的姿势的示例。
图2A和图2B示出了确定手持式设备与用户的手部之间的姿势差异的示例。
图3A至图3C示出了基于确定的姿势差异确定手持式设备是否正由用户的手部握持的各种示例。
图4A至图4C示出了基于确定的姿势差异确定手持式设备是否正由用户的手部握持的各种示例。
图5示出了可穿戴AR/VR/MR系统的各种可能部件。
图6示出了可以由可穿戴AR/VR/MR系统采用的电磁跟踪系统的示例。
图7示出了可以如何将视觉跟踪系统和/或电磁跟踪系统并入可穿戴AR/VR/MR系统中的示例。
图8A至图8E示出了用于跟踪可穿戴设备、手持式设备和/或用户的手部的姿势的可穿戴AR/VR/MR系统的各种示例配置。
图9示出了可以基于捕获的用户的手部的图像或视频来识别的一组手部关键点的示例。
图10示出了可以基于所确定的手持式设备的姿势和手持式设备的已知3D模型来识别的一组手持式设备关键点的示例。
图11示出了可以被识别的一组手部关键点和一组手持式设备关键点的示例。
图12A至图12F示出了用于为可穿戴系统执行手部和图腾输入融合的方法。
图13示出了计算机系统。
具体实施方式
可穿戴系统可以呈现交互式增强现实(AR)、虚拟现实(VR)和/或混合现实(MR)环境，这些环境可以包括由用户可以通过各种输入与之交互的数据元素。虽然现代计算系统通常被设计为基于单个直接输入生成给定输出(例如，键盘将中继如从用户的手指笔划接收的文本输入，语音识别应用可以基于用户的语音创建可执行数据串作为直接输入，计算机鼠标可以响应于用户的直接操纵引导光标等)，但是在诸如AR/VR/MR环境的数据丰富且动态的交互环境中，可能需要高度的特异性来完成特定任务。
否则，在没有精确输入的情况下，计算系统可能遭受高错误率，并可能导致执行不正确的计算机操作。例如，当用户打算使用触摸板在3D空间中移动对象时，如果用户没有使用触摸板指定目的地或指定对象，则计算系统可能无法正确解释移动命令。作为另一示例，使用作为仅有输入模式的虚拟键盘(例如，如通过用户输入设备或通过手势操纵的)输入文本字符串可能很慢并且身体疲劳，因为它需要长时间的精细运动控制才能在半空中或渲染虚拟键盘的物理表面(例如书桌)上键入所描述的键。
在许多实例中，在任何时间点使用的特定传感器输入可以随着用户与3D环境交互而动态变化。当设备确定输入模式正在提供附加信息以帮助瞄准虚拟对象时，可以动态添加(或“融合”，如本文进一步描述的)输入模式，并且如果该输入模式不再提供相关信息，则可以动态移除输入模式。例如，可穿戴系统可以确定用户的头部姿势和眼睛注视指向目标对象。设备可以使用这两种输入模式来辅助目标对象的选择。如果设备确定用户也在将图腾指向目标对象，则设备可以动态地将图腾输入添加到头部姿势和眼睛注视输入，这可以提供用户打算选择目标对象的进一步确定性。可以说，图腾输入已经与头部姿势输入和眼睛注视输入“融合”。继续该示例，如果用户视线离开目标对象，使得用户的视线不再指向目标对象，则设备可以停止使用眼睛注视输入同时继续使用图腾输入和头部姿势输入。在这种情况下，可以说眼睛注视输入已经从图腾输入和头部姿势输入“发散”。
虽然已经开发了许多技术用于确定在多种输入模式之间发生的会聚和发散事件，但是一个困难是在图腾靠近用户的手部但不一定被用户握持时，检测图腾输入(例如，手持式设备的运动)与手势输入(例如，用户的手部的运动)之间的会聚。例如，用户可以将图腾放置在用户手部附近的表面上、用户衬衫或裤子的口袋中，或者可以将图腾从一只手部切换到另一只手部。在许多应用中，知道图腾是否实际上在用户的手部中，以及图腾在哪只手部上(或者图腾是否被双手握持)，可以影响用户与之交互的虚拟对象。例如，在多个用户玩虚拟球和虚拟球棒的游戏期间，可以向正在击球的用户提供图腾来表示虚拟球棒。虚拟球棒是否应该看起来由用户的虚拟手部握持将取决于图腾是否实际上在用户的手部中。作为另一示例，图腾是否在用户的手部中的确定可能影响针对图腾和用户的手部的姿势数据如何由可穿戴系统使用。例如，如果图腾在用户的手部中，则针对手部的姿势数据可用于增强(例如，增加准确度)针对图腾的姿势数据，反之亦然。
在一些实例中，在图腾在用户的手部中时，抑制针对用户的手部的姿势数据并相反基本上依赖于针对图腾的姿势数据可能是有利的。例如，用于确定针对图腾的姿势数据的电磁跟踪系统可能比用于确定针对用户的手部的姿势数据的视觉跟踪系统产生更准确的估计。因此，使用针对用户的手部的姿势数据来组合或增强针对图腾的姿势数据的任何尝试可以减小其准确度。
准确的姿势信息对于由可穿戴系统执行的许多任务很重要。例如，头部姿势的检测可以利于显示系统渲染虚拟对象，使得其看起来以对用户有意义的方式占用真实世界中的空间。另外，真实对象(诸如手持式设备(在本文中也称为图腾、便携式输入设备或控制器))、触觉设备、或其他真实物理对象相对于用户的头部或可穿戴系统的姿势的检测也可以利于显示系统将显示信息呈现给用户以使得用户能够有效地与AR/VR/MR系统的某些方面交互。至少针对AR应用，虚拟对象与物理对象的空间关系的放置(例如，呈现以看起来空间近似二维或三维的物理对象)可以是重要问题。
例如，头部运动可以显著地使周围环境的视图中的虚拟对象的放置复杂。视图是否被捕获作为周围环境的图像并且然后投射或显示给终端用户，或者终端用户是否直接感知周围环境的视图，这样是真实的。例如，头部运动将可能使得终端用户的视场改变，其将可能要求更新为各种虚拟对象被显示在终端用户的视场中。
此外，头部运动可以在各种范围和速度内发生。头部运动速度可以不仅在不同头部运动之间改变，而且在单个头部运动的范围内或超过单个头部运动的范围改变。例如，头部运动速度可以初始地从起始点增加(例如，线性地或非线性地)，并且可以在到达结束点时减小，在起始点和结束点之间某处获得头部运动的最大速度。迅速的头部运动可以甚至超过特定显示或投射技术的渲染对终端用户看起来均匀和/或作为平滑运动的图像的能力。
为了准确姿势估计的目的，用于融合图腾和手势输入的当前方法没有以令人满意的速度或精度标准执行。因此，在AR/VR/MR设备情景中存在针对更好的系统、方法和其他技术的需要。在以下描述中，将描述各种实施例。出于解释的目的，阐述特定配置和细节以提供实施例的透彻理解。然而，对于本领域技术人员而言将明显的是，可以在没有特定细节的情况下实践实施例。此外，众所周知的特征可以省略或者简化以便不使所描述的实施例模糊。
如本文所使用的，术语“姿势”可以是指部件的位置和/或取向，但是除非另有指示，否则不一定暗示位置和取向。例如，如本文所使用的部件的“确定姿势”通常可以是指确定部件的位置和/或确定部件的取向。作为另一示例，部件的“确定姿势”通常可以是指确定冰怡件的位置或取向中的至少一个。作为另一示例，部件的“确定包括位置的姿势”通常可以是指确定部件的位置和可选地取向。作为另一示例，部件的“确定包括取向的姿势”通常可以是指确定部件的取向和可选地位置。
图1A和图1B示出了可穿戴系统的各种部件的姿势的示例，包括可穿戴设备102、手持式设备104和用户的手部106。参考图1A，可穿戴设备102可以具有相对于参考系定义为(XWP，YWP，ZWP)的位置(“可穿戴位置”)和相对于参考系定义为(XWO，YWO，ZWO)的取向(“可穿戴取向”)。可穿戴设备102的位置可以用X、Y和Z笛卡尔值；或经度、纬度和海拔值；以及其他可能值来表示。可穿戴设备102的取向可以用俯仰角、偏航角和滚动角值以及其他可能值来表示。
类似地，手持式设备104可以具有相对于参考系定义为(XDP，YDP，ZDP)的位置(“手持式位置”)和相对于参考系定义为(XDO，YDO，ZDO)的取向(“手持式取向”)。手持式设备104的位置可以用X、Y和Z笛卡尔值；或经度、纬度和海拔值；以及其他可能值来表示。可穿戴设备102的取向可以用俯仰角、偏航角和滚动角值以及其他可能值来表示。类似地，手部106可以具有相对于参考系定义为(XHP，YHP，ZHP)的位置(“手部位置”)和相对于参考系定义为(XHO，YHO，ZHO)的取向(“手部取向”)。手部106的位置可以用X、Y和Z笛卡尔值；或经度、纬度和海拔值；以及其他可能值来表示。手部106的取向可以用俯仰角、偏航角和滚动角值以及其他可能值来表示。
在一些实施例中，用于位置和取向中的每一个的参考系可以是世界参考系。在一些实施例中，可穿戴设备102的位置和取向可以用作参考系，使得可穿戴设备102的位置可以被设置为(0，0，0)并且可穿戴设备102的取向可以被设置为(0°，0°，0°)。因此，手持式设备104和手部106的位置和取向可以相对于可穿戴设备102的位置和取向来确定。
图1B示出了将手持式设备104握持在手中的可穿戴系统的用户的示例，从而使得手持式设备104和手部106的位置彼此靠近。因此，在本公开的一些实施例中，手持式设备104和手部106的位置之间的相似性(例如，接近度)可以指示手持式设备104在用户的手部中。此外，由于用户的手部在其与手持式设备104接合时通常以特定的方式取向，因此手持式设备104和手部106的取向之间的相似性也可以指示手持式设备104在用户的手部中。
手持式设备104和手部106的位置和取向相似性(或者，按照相同的逻辑，位置和取向不相似或差异)以及它们与可穿戴设备102的关系可以通知可穿戴系统关于用户是否正握持手持式设备104，这可能影响关于输入模式选择和处理的决定。
图2A和图2B示出了确定手持式设备104与手部106之间的姿势差异的示例。可以将姿势差异计算为参考图2A所示的位置差异202和参考图2B所示的取向差异204的组合。在一些实施例中，位置差异202被计算为手持式设备104和手部106的位置之间的距离，并且因此可以以任何长度单位表示，诸如英尺或米。在一些实施例中，取向差异204被计算为手持式设备104和手部106的取向之间的角度，并且因此可以以用于测量角度的任何单位来表示，诸如弧度或度。
图3A至图3C示出了基于确定的姿势差异确定手持式设备104是否正由手部106握持的各种示例。在一些实施例中，距离阈值302可以用作手持式设备104和手部106的位置之间的最大距离，在该最大距离内预期手持式设备104将被手部106握持。距离阈值302可以对应于沿着体积的外表面(例如，球体、椭圆体等)的一个或多个位置与体积内的位置之间的距离，该距离可以与手持式设备104的位置或手部106的位置一致。例如，距离阈值302可以用作可以以任一位置为中心的球体的半径。参考图3A，具有等于距离阈值302的半径的球体以手持式设备104的位置为中心。由于手部106的位置位于球体之外，因此确定手持式设备104未由手部106握持。
参考图3B，具有等于距离阈值302的半径的球体以手部106的位置为中心。由于手持式设备的位置104位于球体之外，因此确定手持式设备104未由手部106握持。参考图3C，球体以手持式设备104的位置为中心，并且现在手部106的位置在球体内部，以及因此，确定手持式设备104由手部106握持。
图4A至图4C示出了基于确定的姿势差异确定手持式设备104是否正由手部106握持的各种示例。参考图4A，可以确定可穿戴设备102、手持式设备104和手部106中的每一个的姿势，并且具有等于距离阈值302的半径的球体以手部106的位置为中心。当手持式设备104的位置位于图4A中的球体内时，基于可穿戴设备102和手部106的位置之间的关系，球体在图4B中变形为椭圆体。在所示的示例中，椭圆体朝向可穿戴设备102的位置延伸比远离可穿戴设备102的位置更远，以考虑手持式设备104在未被用户握持时远离用户(例如，在桌子或书桌上)的趋势。当手持式设备104的位置与椭圆体进行比较时，可以确定该位置位于椭圆体之外，并且因此手持设备104未由手部106握持。
在一些实施例中，第一体积(例如，球体、椭圆体等)可以相对于手部106定义(例如，配准到手部106的位置)，并且第二体积可以相对于可穿戴设备102定义(例如，注册到可穿戴设备102的位置)或用户的除手部106之外的一个或多个部分(例如，注册到用户的胸部或肩部的估计位置)。在这些实施例中的一些实施例中，当手持式设备104的位置被确定为位于第一体积和第二体积内(例如，被确定为位于三维空间中的第一体积和第二体积之间的重叠区域内)时，可以确定手持式设备104正由手部106握持。然而，在这些实施例中的至少一些实施例中，当手持式设备104的位置被确定为位于第一体积和第二体积中的一者或两者外部(例如，被确定为位于三维空间中的第一体积和第二体积之间的重叠区域外部)时，可以确定手持式设备104未由手部106握持。在这样的实施例中，第一体积和第二体积之间的重叠体积区域的位置、取向、尺寸和/或形状可以以类似于上文参考图4B所描述的椭圆体体积的方式表现。
在一些示例中，第二体积可以对应于用户可触及的三维空间中的位置范围。即，在一些示例中，可以至少部分地基于估计或假定的用户手臂中的一者或两者的长度、跨度或最大到达距离来定义第二体积的一个或多个外表面。在这些示例中，可以至少部分地基于以下各项，确定一个或多个这样的估计或假定参数：由可穿戴设备102的一个或多个传感器(例如，一个或多个面向外部的相机、一个或多个电磁(EM)传感器、一个或多个深度相机或传感器等)获取的图像数据；指示通过手持式设备104和/或通过可穿戴设备102的一个或多个用户接口部件提供的用户输入(例如，指定用于一个或多个参数的值的用户输入)；由手持式设备104的一个或多个传感器获取或输出的数据(例如，一个或多个相机、一个或多个惯性测量单元(IMU)等)；通过一个或多个通信网络接收的数据等。
在一些实施方式中，第一体积可以不相对于手部106定义，而是相对于手持式设备104定义(例如，注册到手持式设备104的位置)。在这样的实施方式中，当手部106的位置被确定为位于第一体积和第二体积内(例如，被确定为位于三维空间中的第一体积和第二体积之间的重叠区域内)时，可以确定手持式设备104正由手部106握持，以及当手部106的位置被确定为位于第一体积和第二体积中的一者或两者外部(例如，被确定为位于三维空间中的第一体积和第二体积之间的重叠区域外部)时，可以确定手持式设备104未由手部106握持。在一些实施例中，手持式设备104或手部106的位置可以与三维空间中的两个或两个以上(例如，三个、四个、五个等)不同体积之间的重叠区域进行比较。其他配置是可能的。
参考图4C，在一些实施例中，可穿戴设备102的位置与手持式设备104和手部106的位置之间的距离可以被确定并用于辅助确定手持式设备104是否正由手部106握持。例如，在一些实施例中，可以将这两个距离相互比较以确定手持式设备104还是手部106离可穿戴设备102更远。在一些实例中，如果手持式设备104比手部106离可穿戴设备102更远(即，可穿戴设备102和手部106的位置之间的距离小于可穿戴设备102和手持式设备104的位置之间的距离)，则仅可以确定手持式设备104未由手部106握持。在一些实施例中，第二距离阈值可用于确定手持式设备104距可穿戴设备102是否比手部106距可穿戴设备远至少第二距离阈值(即，可穿戴设备102和手部106的位置之间的距离比可穿戴设备102和手持式设备104的位置之间的距离小至少第二距离阈值)。
图5示出了可穿戴AR/VR/MR系统500的各种可能部件。在示出的实施例中，描绘了穿戴以耦接到定位在用户的眼睛的前面的显示系统562的框架2064结构为特征的头戴式部件558的可穿戴系统用户560。扬声器566以描绘的配置被耦合到框架564并且被定位在用户的耳道附近(在一个实施例中，未示出的另一扬声器被定位在用户的另一耳道附近以提供立体/可塑形的声音控制)。显示系统562诸如通过有线导线或无线连接被可操作地耦接(如由568所指示的)到本地处理和数据模块570，其可以以各种配置安装，诸如被固定地附接到框架564、被固定地附接到头盔或帽子、被以背包型配置可移除地附接到用户560的躯干或被以腰带耦合型配置可移除地附接到用户560的髋部。
本地处理和数据模块570可以包括功率高效的处理器或者控制器，以及数字存储器，诸如闪存，其二者可以用于辅助数据的处理、高速缓存和存储，该数据包括：a)从被可操作地耦接到框架564的传感器捕获的，诸如图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备、和/或陀螺仪；和/或(2)使用远程处理模块572和/或远程数据存储库574获得和/或处理的，该数据可能用于在这样的处理或检索之后传送到显示系统562。
本地处理和数据模块570可以诸如经由一个或多个有线或无线通信链路被可操作地耦合(如由576、578所指示的)到远程处理模块572和远程数据存储库574，使得这些远程模块572、574被可操作地耦合到彼此并且可用作本地处理和数据模块570的资源。在一个实施例中，远程处理模块572可以包括被配置为分析和处理数据和/或图像信息的一个或多个相对强大的处理器或控制器。在一个实施例中，远程数据存储库574可以包括相对大规模数字数据存储设施，该设施可以通过因特网或“云”资源配置中的其它网络配置获得。在一个实施例中，所有数据被存储本地处理和数据模块中并且在本地处理和数据模块中执行所有计算，这允许来自任何远程模块的完全自主使用。
图6示出了可以由可穿戴系统500采用的电磁跟踪系统600的示例。电磁跟踪系统600可以具有与由诸如由加利福尼亚洛斯盖多斯的Sixense(RTM)娱乐公司制造的佛蒙特强生公司PolhemusRTM)约翰逊&约翰逊公司的Biosense(RTM)部门以及其他跟踪公司的组织开发的部件类似的部件。在一个或多个实施例中，电磁跟踪系统600包括电磁场发射器602，该电磁场发射器602被配置为发射已知磁场。如图6所示，电磁场发射器602可以被耦合到电源610(例如，电流、电池等)以向电磁场发射器602提供电力。
在一个或多个实施例中，电磁场发射器602包括产生磁场的多个线圈(例如，垂直于彼此定位以产生X、Y、和Z方向上的场的至少三个线圈)。这些电磁场用于建立坐标空间，其允许系统映射传感器相对于已知磁场的位置，并且帮助确定传感器的位置和/或取向。在一个或多个实施例中，电磁传感器604A、604B等可以被附接到一个或多个真实对象。电磁传感器604可以包括其中通过发射的电磁场可以引起电流的较小线圈。
通常，电磁场传感器604的组件可以包括小线圈或回路，诸如一起耦合在小结构(诸如立方体或其他容器)内的三个不同取向的(即，诸如相对于彼此正交取向的)线圈的集合，定位/取向该线圈集以捕获来自由电磁场发射器(602)发射的磁场的输入磁通量，并且通过比较通过这些线圈引起的电流，并且知道线圈相对于彼此的相对定位和取向，可以计算传感器相对于发射器的相对位置和取向。
如将参考图7进一步描述的，一个或多个运动传感器诸如IMU可以被可操作地耦接到电磁场发射器302和电磁场传感器304中的每一个以检测每个部件相对于彼此和/或相对于坐标系的位置和取向。在一个或多个实施例中，可以相对于电磁场发射器602和电磁场传感器604使用多个传感器(可能包括IMU)来检测每个部件的位置和取向。在一些实例中，电磁跟踪系统可以通过三个方向(即，X、Y和Z方向)并且进一步地以两个或三个取向角提供的位置。在一些实施例中，一个或多个IMU的测量结果可以与线圈的测量结果相比较以确定传感器的位置和取向。在一个或多个实施例中，EM数据和运动数据二者连同各种其他数据源一起(诸如相机、深度传感器、和其他传感器)可以被组合以确定位置和取向。该信息可以发送(例如，无线通信、蓝牙等)到处理单元606。在一些实施例中，姿态可以在常规系统中以相对高刷新率被报告。
通常，电磁发射器被耦合到相对稳定并且大的对象，诸如桌子、操作台、墙、或天花板，并且一个或多个传感器被耦合到更小的对象，诸如医学设备、手持式游戏部件等。可替代地，电磁跟踪系统的各种特征可以用于产生其中可以跟踪相对于更稳定的全局坐标系在空间中移动的两个对象之间的位置和/或取向的改变或差量。例如，图7示出了一种配置，其中电磁跟踪系统的变化可以用于跟踪头戴式部件与手持式部件之间的位置和取向数据差量，同时以其他方式确定相对于全局坐标系(比如说本地于用户的房间环境)的头部姿态，该其他方式包括诸如通过使用可以被耦合到系统的头戴式部件的面向外部的捕获相机来同时定位和映射(SLAM)技术。
处理单元606可以控制电磁场发射器620，并且还可以从各种电磁场传感器604捕获数据。应当理解，系统的各种部件可以通过任何机电或无线装置被彼此耦合。处理单元606还可以包括：关于已知磁场的数据以及相对于磁场的坐标空间。该信息然后用于检测传感器相对于与已知电磁场相对应的坐标空间的位置和取向。
电磁跟踪系统的一个优点在于，其产生具有最小延迟和高分辨率的高度准确的跟踪结果。此外，电磁跟踪系统不必依赖于光学跟踪器，并且不在用户的视线内的传感器/对象可以容易地跟踪。应当理解，电磁场的强度作为距线圈发射其(例如，电磁场发射器602)的距离的三次函数下降。因此，处理单元606可以被配置为执行某些函数，诸如基于测量的强度来预测距离的算法，来确定远离电磁场发射器602的不同距离处的传感器/对象的位置和取向。
给定电磁场的强度的迅速下降，当人们移动更远离电磁发射器时，在准确度、效率和低延迟方面的最好结果可以在更接近的距离处实现。在典型的电磁跟踪系统中，电磁场发射器由电流(例如，插入电源)供电并且具有位于远离电磁场发射器20ft半径内的传感器。传感器与场发射器之间的较短半径可以在许多应用，包括AR应用，中是更期望的。
图7示出了可以如何将视觉跟踪系统和/或电磁跟踪系统并入具有可穿戴设备702(例如，耳机)和手持式设备704(例如，控制器)的可穿戴AR/VR/MR系统中的示例。在一些实施例中，手持式设备704可以是允许用户向可穿戴系统提供输入的手持式控制器。例如，手持式设备704可以是在游戏场景中使用的图腾。手持式设备704可以是触觉设备并且可包括利用各种传感器类型的一个或多个触觉表面。在可穿戴系统的操作期间，用户可以通过主动抓握手持式设备704和/或通过将附接机构(例如，环绕式带)固定到用户的手部来将手持式设备704握在他们的左手或右手中。
手持式设备704可以包括沿着手持式设备704的一个或多个外表面定位的一个或多个基准(在本文中称为手持基准722)，使得基准可以在手持式设备704外部的成像设备的视场内。手持基准722可以具有相对于彼此的已知关系，使得成像设备可以通过捕获手持基准722中的一个或多个的图像来确定其相对于手持式设备704的位置和/或取向。手持基准722可以是动态的、静态的、电动的、无动力的，并且在一些实施例中可以彼此区分。例如，第一基准可以是具有第一波长的发光二极管(LED)，并且第二基准可以是具有第二波长的LED。可替代地或附加地，不同的基准可以具有不同的亮度和/或可以以不同的频率脉动(例如，第一基准可以以100Hz脉动并且第二基准可以以150Hz脉动)。
手持式设备704可以包括一个或多个成像设备(本文中被称为手持式成像设备726)，其以某种方式定位使得当手持式设备704由用户握持时，手持式设备704周围的一些特征和/或可穿戴设备702在一个或多个成像设备的一个或多个视场内。例如，前部手持式成像设备726A可以被定位成使得其视场远离用户朝向手持式设备704周围的一个或多个特征取向，并且后部手持式成像设备726B可以被定位成使得其视场朝向可穿戴设备702取向。手持式成像设备726可以包括一个或多个面向前部的成像设备和/或一个或多个面向后部的成像设备以创建期望的累积视场。在一些实施例中，手持式成像设备726可以是诸如相机的光学设备并且可以捕获静止或运动图像。
手持式设备704可以包括被刚性固定在手持式设备704内的IMU(本文中称为手持式IMU 724)，使得手持式设备704的旋转和线性运动由手持式IMU 724类似地经历。在一些实例中，手持式IMU 724可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)和/或数字信号处理硬件和软件以将原始测量结果转换为处理数据。例如，手持式IMU 724可包括用于三个轴中的每一个的加速度计、陀螺仪和磁力计。对于每个轴，手持式IMU 724可以输出以下各项中的一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。可替代地或附加地，手持式IMU724可以输出原始数据，根据该原始数据可以计算任何上文所提到的形式的处理数据。
手持式设备704可以包括为手持基准722、手持式成像设备726、手持式IMU 724、电磁场发射器732和手持式设备704的任何其他部件供电的可再充电和/或可更换电池728或其他电源。尽管在图7中未示出，但是手持式设备704可以包括用于使能与可穿戴设备702和/或腰带包740的无线通信的电路。例如，在使用手持式成像设备726和手持式IMU 724来检测或捕获数据时，手持式设备704可以将原始数据或处理数据发送到可穿戴设备702和/或腰带包740。
可穿戴设备702可以包括沿着可穿戴设备702的一个或多个外表面定位的一个或多个基准(在本文中称为可穿戴基准706)，使得基准可以在后部手持式成像设备726B的视场内。可穿戴基准706可以具有相对于彼此的已知关系，使得成像设备可以通过捕获可穿戴基准706中的一个或多个的图像来确定其相对于可穿戴设备702的位置和/或取向。可穿戴基准706可以是动态的、静态的、电动的、无动力的，并且在一些实施例中可以彼此区分。例如，第一基准可以是具有第一波长的LED，并且第二基准可以是具有第二波长的LED。可替代地或附加地，不同的基准可以具有不同的亮度和/或可以不同的频率脉动。
可穿戴设备702可以包括一个或多个成像设备(本文中被称为可穿戴成像设备710)，其以某种方式定位使得当手持式设备704正由用户握持时，手持式设备704(具体地手持式基准722)在一个或多个成像设备的一个或多个视场内。例如，一个或多个可穿戴成像设备710可以在可穿戴设备702上面向前定位在可穿戴设备702的光学透视部件的上面、下面和/或侧面。在一个实施例中，两个可穿戴成像设备710可以被定位在可穿戴设备702的光学透视部件的相对侧。在一些实施例中，可穿戴成像设备710可以是诸如相机的光学设备并且可以捕获静止或运动图像。
可穿戴设备702可以包括被刚性固定在可穿戴设备702内的IMU(本文中称为可穿戴IMU 708)，使得可穿戴设备702的旋转和线性运动由可穿戴IMU 708类似地经历。在一些实例中，可穿戴IMU 708可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)和/或数字信号处理硬件和软件以将原始测量结果转换为处理数据。例如，可穿戴IMU 708可包括用于三个轴中的每一个的加速度计、陀螺仪和磁力计。对于每个轴，可穿戴IMU 708可以输出以下各项中的一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。可替代地或附加地，可穿戴IMU708可以输出原始数据，根据该原始数据可以计算任何上文所提到的形式的处理数据。
在一些实施例中，可穿戴系统可以包括腰带包740，其可以包括用于执行手持式设备704相对于可穿戴设备702的定位的计算装置(例如，一个或多个处理器和相关联的存储器)。可替代地或附加地，计算装置可以驻留在可穿戴设备702本身中，或者甚至手持式设备704中。计算装置可以(经由有线和/或无线连接)从可穿戴IMU 708、可穿戴成像设备710、手持式IMU 724和手持式成像设备726中的每一个接收原始数据或处理数据，并且可以计算手持式设备704的地理空间位置(相对于可穿戴设备702的地理空间位置)和手持式设备704的取向(相对于可穿戴设备702的取向)。在一个或多个实施例中，计算装置可以进而包括映射数据库742(例如，可联结的世界模型、坐标空间等)以检测姿势、确定真实对象和虚拟对象的坐标，并且可以甚至连接到云资源和可联结的世界模型。在一些实施例中，使用可穿戴成像设备710和/或手持式成像设备726捕获的图像可用于构建可联结的世界模型。例如，可以在捕获的图像中检测特征，并且收集的数据(例如，稀疏点)可以以其他方式用于构建可联结的世界模型或环境地图。
可穿戴系统可包括作为手持式设备704的一部分并入的电磁场发射器732。在一些实施例中，电磁场发射器732可以作为腰带包470或可穿戴设备702的一部分并入。在一些实施例中，来自IMU或其他运动传感器的数据可以辅助确定电磁场发射器732的位置和/或取向。在电磁场发射器732和电磁场传感器734二者移动的情况下，这可能是有益的。如图7的示例所示，将电磁场发射器732布置在手持式控制器中而不是腰带包中可以确保电磁场发射器不竞争腰带包处的资源，而是在手持式设备704处使用电池728。
在一些实施例中，电磁传感器734可以相对于可穿戴设备702定位，诸如被放置在可穿戴设备702上的一个或多个位置和/或腰带包740上的一个或多个位置上。由于电磁传感器734可被设计为小的(并且因此，在一些情况下，可以是较不敏感的)，所以具有多个传感器可以改进效率和精度。
在许多实例中，常规电磁发射器对于可穿戴设备可能太笨重。因此，使用与传统系统相比较更小的线圈，电磁场发射器可以被设计为紧凑的。然而，给定电磁场的长度作为远离场发射器的距离的三次函数减小，当与常规系统相比较时，电磁传感器734与电磁场发射器732之间的较短半径(例如，约3-3.5ft)可以减少功耗。该方面可以用于延长可以对手持式设备704和电磁场发射器供电的电池728的寿命。在一些实施例中，该方面可以用于减少生成电磁场发射器732处的磁场的线圈的尺寸。然而，为了得到磁场的相同强度，可能需要增加电力。这允许可以紧凑地适配在手持式设备704处的紧凑电磁场发射器732。
变可以在使用用于AR设备的电磁跟踪系统时做出多个其他改，其可能受益于比其他应用更有效的姿态报告速率。例如，可以使用基于运动或基于IMU的姿态跟踪。在许多情况下，增加的IMU的稳定性可能导致增加的姿态检测过程的效率。IMU可以被设计为使得其保持稳定直到50-100毫秒。应当理解，一些实施例可以利用可以使得姿态更新能够以10-20Hz的速率报告的外部姿态估计器模块(例如，IMU可以随时间漂移)。通过将IMU保持稳定在合理的速率处，姿态更新的速率可以急剧减小到10-20Hz(与常规系统中的较高频率相比较)。
如果电磁跟踪系统可以以10％占空比运行(例如，仅每隔100毫秒针对地面实况(ground truth)查验)，则这将是节省可穿戴系统处的电力的附加方式。这将意味着电磁跟踪系统唤醒每100毫秒中的每10毫秒以生成姿势估计。这直接地转化为功耗节省，其可以进而影响可穿戴系统的尺寸、电池寿命和成本。在一个或多个实施例中，占空比的该降低可以策略地通过提供两个手持式设备(未示出)而不是仅一个手持式设备利用。例如，用户可以玩要求两个图腾等的游戏。或者，在多用户游戏中，两个用户可以具有其自己的图腾/手持式控制器来玩游戏。当使用两个控制器(例如，针对每只手的对称控制器)而不是一个控制器时，控制器可以以偏移占空比操作。例如，相同概念也可以适用于由玩多人游戏的两个不同用户利用的控制器。
图8A至图8D示出了用于跟踪可穿戴设备802、手持式设备804和/或手830的姿势的可穿戴AR/VR/MR系统的各种示例配置。图8A示出了可穿戴系统800A的示例配置，其中，可穿戴设备802包括：一个或多个可穿戴成像设备810，其具有至少部分地且至少暂时地包括手持式基准822的视场，并且手持式设备804包括一个或多个手持式基准822。可穿戴系统800可以包括被安装到手持式设备804的附加传感器，诸如手持式IMU 824。这样的配置的一个优点可以是手持式设备804的简单性和低功耗。可穿戴系统800可以包括被安装到可穿戴设备802的附加传感器，诸如可穿戴IMU 808。
图8B示出了可穿戴系统800B的示例配置，其中，可穿戴设备802包括一个或多个可穿戴基准806并且手持式设备804包括一个或多个后向手持式成像设备826，其具有至少部分地且至少暂时地包括可穿戴基准806的视场。可穿戴系统800B可以包括被安装到手持式设备804的附加传感器，诸如手持式IMU 824。这样的配置的一个优点可以是手持式设备804具有执行自身相对于可穿戴设备802的定位所需的所有数据，从而减少可穿戴设备802上的处理负载。可穿戴系统800B可以包括被安装到可穿戴设备802的附加传感器，诸如可穿戴IMU 808。
图8C示出了可穿戴系统800C的示例配置，其中，手持式设备826包括前手持式成像设备826A和后手持式成像设备826B，该前手持式成像设备826A具有在手持式设备804由用户握持时至少部分地且至少暂时地包括一个或多个周围特征844的视场，并且该后手持式成像设备826B具有至少部分地且至少暂时地包括一个或多个可穿戴基准806的视场。在示例配置中，多个可穿戴基准822被固定到可穿戴设备802。可穿戴系统800C可以包括被安装到手持式设备804的附加传感器，诸如手持式IMU 824。这样的配置的一个优点可以是由多个成像设备提供的增加的准确度。可穿戴系统800C可以包括安装到可穿戴设备802的附加传感器，诸如可穿戴IMU 808。
图8D示出了可穿戴系统800D的示例配置，其中，可穿戴设备802包括电磁传感器834，并且手持式设备826包括电磁场发射器832，从而允许确定可穿戴设备和/或手持式设备804的姿势。图8E示出了可穿戴系统800E的示例配置，其中，可穿戴设备802包括一个或多个可穿戴成像设备810，其具有至少部分地且至少暂时地包括手部830的视场，从而允许确定手部830的姿势。
图9示出了可以基于捕获的用户的手部902的图像或视频来识别的一组手部关键点904的示例。手部关键点904可以使用各种图像分析技术来识别，例如，通过使用一组标记图像来训练机器学习模型(例如，神经网络)。在训练之后，机器学习模型可以接收图像或图像流作为输入并产生手部关键点904。在一些实施例中，手部关键点904可用于确定手部902的位置。例如，手部902的位置可以被设置为手部关键点904之一，或者手部关键点904可用于计算沿着手部的不同位置，诸如质心。
图10示出了可以基于所确定的手持式设备1002的姿势和手持式设备1002的已知3D模型来标识的一组手持式设备关键点1004的示例。例如，手持式设备1002的确定位置可以是电磁场发射器1008的位置，或发射器位置1006，根据该位置可以确定手持式设备关键点1004。在一些实施例中，手持式设备关键点1004可以对应于沿着手持式设备1002的最接近于它们的对应手部关键点的位置，诸如图9所示的手关键点904。
图11示出了可以被识别的一组手关键点1102和一组手持式设备关键点1104的示例。在一些实施例中，可以计算两个对应关键点之间的位置差异1106(例如，一个关键点来自手部关键点1102，并且一个关键点来自手持式设备关键点1104)作为它们之间的距离。在一些实施例中，可以在对应的关键点之间计算多个位置差异1106，这些位置差异可以组合成总的位置差异。在一些实施例中，位置差异1106可以被计算为对应关键点之间的最大、最小或平均距离。构想了其他可能性。
图12A至图12F示出了用于为可穿戴系统(诸如AR/VR/MR系统)执行手和图腾输入融合的方法1200。方法1200的一个或多个步骤可以在方法1200的执行期间省略，并且方法1200的步骤不需要以所示的顺序执行。方法1200的一个或多个步骤可以由一个或多个处理器执行，诸如包括在本地处理和数据模块570或远程处理模块572中的处理器。
参考图12A，在方法1200的步骤1202处，捕获手部姿势数据。在一些实施例中，手部姿势数据包括手部在参考系内的位置。在一些实施例中，手部姿势数据包括手部在参考系内的取向。在一些实施例中，使用手部姿势传感器来捕获手部姿势数据。在一些实施例中，捕获手部姿势数据可以包括：使用手部姿势传感器来捕获传感器数据并且基于捕获的传感器数据生成手部姿势数据。例如，参考图12B，在子步骤1202-1处，使用手部姿势传感器来捕获传感器数据。在子步骤1202-2处，例如通过处理和分析传感器数据，基于传感器数据，确定手部的位置。在子步骤1202-3处，例如通过处理和分析传感器数据，基于传感器数据，确定手部的取向。
参考图12A，在步骤1204处，捕获手持式设备姿势数据。在一些实施例中，手持式设备姿势数据包括手持式设备在参考系内的位置。在一些实施例中，手持式设备姿势数据包括手持式设备在参考系内的取向。在一些实施例中，使用手持式设备姿势传感器来捕获手持式设备姿势数据。在一些实施例中，捕获手持式设备姿势数据可以包括：使用手持式设备姿势传感器来捕获传感器数据并且基于捕获的传感器数据生成手持式设备姿势数据。例如，参考图12C，在子步骤1204-1处，使用手持式设备姿势传感器来捕获传感器数据。在子步骤1204-2处，例如通过处理和分析传感器数据，基于传感器数据，确定手持式设备的位置。在子步骤1204-3处，例如通过处理和分析传感器数据，基于传感器数据，确定手持式设备的取向。
在一些实施例中，手部姿势传感器和手持式设备姿势传感器是相同的传感器。例如，被安装到头戴设施的图像捕获设备可以收集关于两个设备的姿势的信息，并且因此可以是手部姿势传感器和手持式设备姿势传感器。在一些实施例中，手部姿势传感器和手持式设备姿势传感器彼此不同。例如，手部姿势传感器可以是图像捕获设备，而手持式设备姿势传感器可以是电磁发射器和电磁接收器。
参考图12A，在步骤1206处，确定手部姿势数据与手持式设备姿势数据之间的姿势差异。在一些实施例中，姿势差异包括手部的位置和手持式设备的位置之间的位置差异。例如，参考图12D，在子步骤1206-1处，确定手部的位置和手持式设备的位置之间的位置差异。位置差异可以是两个位置之间的距离或基于两个位置的一些其他距离度量。在一些实施例中，姿势差异包括手部的取向和手持式设备的取向之间的取向差异。例如，参考图12D，在子步骤1206-2处，确定手部的取向和手持式设备的取向之间的取向差异。取向差异可以是两个取向之间的角度偏移或基于两个取向的角度偏移的某种其他度量。在一些实施例中，角度偏移不限于单个角度并且角度偏移可以包括多于一个角度。
参考图12A，在步骤1208处，基于姿势差异执行融合操作。在一些实施例中，融合操作可以基于手部的位置和手持式设备的位置之间的距离是大于还是小于距离阈值。例如，参考图12E，在子步骤1208-1处，确定距离是大于还是小于距离阈值。如果确定距离大于距离阈值，则方法1200进行到子步骤1208-2。如果确定距离小于距离阈值，则方法1200进行到子步骤1208-4。在子步骤1208-2处，确定手持式设备未由手部握持。在子步骤1208-3处，手部姿势数据被抑制，使得执行融合操作包括：抑制手部姿势数据。在一些实施例中，抑制手部姿势数据包括：不使用和/或考虑手部姿势数据作为一个或多个处理模块的直接输入。在一些实施例中，抑制手部姿势数据包括：不使用和/或考虑手部姿势数据用于手持式设备的位置和/或取向的任何确定。
在子步骤1208-4处，确定手持式设备正由手部握持。在子步骤1208-5处，手部姿势数据被用于增强手持式设备姿势数据，使得执行融合操作包括：使用手部姿势数据来增强手持式设备姿势数据。在一些实施例中，使用手部姿势数据来增强手持式设备姿势数据包括：在手持式设备的位置和/或取向的任何确定中使用手部姿势数据。
作为另一示例，参考图12F，执行子步骤1208-1、1208-2和1208-4，类似于参考图12E所描述的子步骤。在子步骤1208-6处，手持式设备姿势数据被抑制，使得执行融合操作包括抑制手持式设备姿势数据。在一些实施例中，抑制手持式设备姿势数据包括：不使用和/或考虑手持式设备姿势数据作为一个或多个处理模块的直接输入。在一些实施例中，抑制手持式设备姿势数据包括：不使用和/或考虑手持式设备姿势数据用于手的位置和/或取向的任何确定。
在子步骤1208-7处，手持式设备姿势数据被用于增强手部姿势数据，使得执行融合操作包括：使用手持式设备姿势数据来增强手部姿势数据。在一些实施例中，使用手持式设备姿势数据来增强手部姿势数据包括：在手部的位置和/或取向的任何确定中使用手持式设备姿势数据。
图13示出了根据本文所描述的实施例的简化计算机系统1300。如图13所示的计算机系统1300可以被包含到本文所描述的设备中。图13提供了可以执行由各种实施例所提供的方法的步骤中的一些或全部的计算机系统1300的一个实施例的示意图。应当注意，图13仅旨在提供其任何或全部可以酌情使用的各种部件的一般化图示。因此，图13广泛地示出了单独系统元件可以如何以相对分离或相对更集成的方式实现。
示出了包括可以经由总线1305电气耦合或可以酌情以其他方式通信的硬件元件的计算机系统1300。硬件元件可包括一个或多个处理器1310，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器诸如数字信号处理芯片、图形加速处理器、和/或类似物；一个或多个输入设备1315，其可以包括但不限于鼠标、键盘、相机、和/或类似物；以及一个或多个输出设备1320，其可以包括但不限于显示设备、打印机、和/或类似物。
计算机系统1300还可以包括一个或多个非暂态存储设备1325和/或与一个或多个非暂态存储设备1325通信，该非暂态存储设备1325可以包括但不限于本地和/或网络访问存储，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光存储设备、固态存储设备，诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，其可以是可编程的、快闪更新的和/或类似物。这样的存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构和/或类似物。
计算机系统1300还可以包括通信子系统1319，该通信子系统3119可以包括但不限于调制解调器、网络卡(无线或有线)、红外通信设备、无线通信设备、和/或芯片集诸如BluetoothTM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等和/或类似物。通信子系统1319可包括允许数据与网络(诸如下文所描述的网络，仅举一个示例)、其他计算机系统、电视、和/或本文所描述的任何其他设备交换的一个或多个输入和/或输出通信接口。取决于期望的功能和/或其他实现问题，便携式电子设备或类似设备可以经由通信子系统1319传递图像和/或其他信息。在其他实施例中，便携式电子设备(例如，第一电子设备)可以被包含到计算机系统1300中，例如，作为输入设备1315的电子设备。在一些实施例中，计算机系统1300将还包括工作存储器1335，该工作存储器1335可以包括RAM或ROM设备，如上文所描述的。
计算机系统1300还可包括示出为当前位于工作存储器1335内的软件元素，包括操作系统1340、设备驱动程序、可执行库、和/或其他代码，诸如一个和多个应用程序1345，其可包括由各种实施例提供的计算机程序，和/或可以被设计为实现方法、和/或配置由其他实施例所提供的系统，如上文所描述的。仅举例来说，关于上文所讨论的方法所描述的一个或多个程序可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令；在方面中，然后，这样的代码和/或指令可以用于配置和/或适配通用计算机或其他设备以执行根据所描述的方法的一个或多个操作。
这些指令和/或代码的集合可以被存储在非暂态计算机可读存储介质上，诸如上文所描述的(一个或多个)存储设备1325。在一些情况下，存储介质可以被包含在计算机系统内，诸如计算机系统1300。在其他实施例中，存储介质可能与计算机系统分离，例如，可移除介质，诸如光盘，和/或被提供在安装包中，使得存储介质可以用于利用在其上存储的指令/代码来编程、配置、和/或适配通用计算机。这些指令可能采取可由计算机系统1300执行的可执行代码的形式和/或可能采取源和/或可安装代码的形式，其基于计算机系统1300上的编译和/或安装，例如，使用任何各通常可用的编译器、安装程序、压缩/解压实用程序等，然后采取可执行代码的形式。
对于本领域的技术人员来说显而易见的是，可以根据具体要求做出实质性的变化。例如，定制硬件还可以被使用，和/或特定元件可以以硬件、软件(包括便携式软件，诸如小应用程序等)或者两者实现。进一步地，可以采用对诸如网络输入/输出设备的其他计算设备的连接。
如上文所提到的，在一个方面中，一些实施例可以使用计算机系统(诸如计算机系统1300)执行根据技术的各种实施例的方法。根据一组实施例，这样的方法的过程中的一些或全部响应于处理器1310执行一个或多个指令的一个或多个序列而由计算机系统1300执行，其可以被包含到操作系统1340和/或其他代码中，诸如在工作存储器1335中包含的应用程序1345。这样的指令可以从另一计算机可读介质(诸如存储设备925中的一个或多个)读取到工作存储器1335中。仅举例来说，在工作存储器1335中包含的指令的序列的执行可能使得(一个或多个)处理器1310执行本文所描述的方法的一个或多个过程。附加地或者可替代地，本文所描述的方法的部分可以通过专用硬件执行。
如本文所使用的术语“机器可读介质”和“计算机可读介质”指代参与提供使得机器以特定的方式操作的数据的任何介质。在使用计算机系统1300实现的实施例中，各种计算机可读介质可以涉及向(一个或多个)处理器1310提供指令/代码以用于执行和/或可以用于存储和/或携带这样的指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形存储介质。这样的介质可以采取非易失性介质或易失性介质的形式。非易失性介质包括例如光学和/或磁盘，诸如(一个或多个)存储设备1325。易失性介质包括但不限于动态存储器，诸如工作存储器1335。
物理和/或有形计算机可读介质的常见形式包括例如软磁盘、软盘、硬盘、磁带、或任何其他磁性介质、CD-ROM、任何其他光学介质、打孔卡、纸带、具有孔的图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或者磁带盒、或计算机可从其读取指令和/或代码的任何其他介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列携带到(一个或多个)处理器1310以用于执行。仅举例来说，指令可以初始地被携带在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中并且通过传输介质发送指令作为信号以由计算机系统1300接收和/或执行。
通信子系统1319和/或其部件通常将接收信号，并且总线1305然后可将信号和/或由信号携带的数据、指令等携带到工作存储器1335，从该工作存储器1335，(一个或多个)处理器1310取得并且执行指令。由工作存储器1335接收的指令可以在由(一个或多个)处理器1310执行之前或之后被可选地存储在非暂态存储设备1325上。
上文所讨论的方法、系统和设备是示例。各种配置可酌情省略、替换或添加各种过程或部件。例如，在可替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加、省略和/或组合各阶段。而且，关于某些配置所描述的特征可以以各种其他配置组合。配置的不同方面和元素可以以类似方式组合。而且，技术演变，并且因此许多元素是示例，并且不限制本公开或权利要求的范围。
在具体实施方式中给定特定细节以提供示例性配置(包括实施方式)的透彻理解。然而，可以在没有这些特定细节的情况下实践配置。例如，在没有不必要的细节的情况下示出了众所周知的电路、过程、算法、结构和技术以便避免混淆配置。本说明书仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，配置的前述描述将向本领域技术人员提供用于实现所描述的技术的启用描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
而且，配置可以被描述为被描绘为示意性流程图或者框图的过程。虽然每个配置可以将操作描述为顺序的过程，但是许多操作能够并行或者并发执行。另外，操作的顺序可以重新排列。过程可以具有图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当在软件、固件、中间件或微代码中实现时，执行必要任务的程序代码或代码段可被存储在诸如存储介质的非暂态计算机可读介质中。处理器可执行所描述的任务。
描述了多个示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、可替代构造和等同物。例如，以上元件可以是较大系统的部件，其中，其它规则可以优于或者以其它方式修改技术的应用。而且，在考虑以上元件之前、期间或之后，可以采取多个步骤。因此，以上描述不结合权利要求的范围。
如本文和在随附的权利要求中所使用的，除非上下文另外清楚指示，否则单数形式“一”、“一个”、和“该”包括复数引用。因此，例如，对“用户”的引用包括一个或多个这样的用户，并且对“处理器”的引用包括一个或多个处理器和其对本领域技术人员已知的等同物的引用等。
而且，当在本说明书中并且在以下权利要求中使用时，词语“包括”、“包括了”、“容纳”、“容纳了”、“包含”、“包含了”、“包含有”旨在指定说明特征、整体、部件、或步骤的存在，但是其不排除一个或多个其他特征、整体、部件、步骤、动作、或组合的存在或者添加。
还应理解，本文所描述的示例和实施例仅用于说明目的，并且将向本领域技术人员建议根据其进行的各种轻微的修改或改变，并且将包括在本申请的精神和范围内以及权利要求书的范围内。

Claims (20)

1.一种将手部姿势数据与手持式设备姿势数据融合的方法，所述方法包括：
使用手部姿势传感器来捕获包括手部在参考系内的位置的所述手部姿势数据；
使用手持式设备姿势传感器来捕获包括手持式设备在所述参考系内的位置的所述手持式设备姿势数据；
确定所述手部姿势数据与所述手持式设备姿势数据之间的姿势差异，所述姿势差异包括所述手部的所述位置与所述手持式设备的所述位置之间的位置差异；以及
基于所述姿势差异，执行融合操作。
2.根据权利要求1所述的方法，其中，所述位置差异是所述手部的所述位置与所述手持式设备的所述位置之间的距离。
3.根据权利要求2所述的方法，还包括：
确定所述距离是大于还是小于距离阈值。
4.根据权利要求3所述的方法，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：
确定所述手持式设备未由所述手部握持。
5.根据权利要求3所述的方法，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：
确定所述手持式设备由所述手部握持。
6.根据权利要求3所述的方法，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：
抑制所述手部姿势数据；或
抑制所述手持式设备姿势数据。
7.根据权利要求3所述的方法，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：
使用所述手部姿势数据来增强所述手持式设备姿势数据；
使用所述手持式设备姿势数据来增强所述手部姿势数据；或
使用所述手部姿势数据和所述手持式设备姿势数据，生成组合姿势数据。
8.根据权利要求1所述的方法，其中，使用所述手部姿势传感器来捕获所述手部姿势数据包括：
识别与所述手部相关联的多个关键点；以及
基于所述多个关键点，确定所述手部的所述位置。
9.一种系统，包括：
手部姿势传感器，其被配置为捕获包括手部在参考系内的位置的手部姿势数据；以及
手持式设备姿势传感器，其被配置为捕获包括手持式设备在所述参考系内的位置的手持式设备姿势数据；
与所述手部姿势传感器和所述手持设备姿势传感器通信的一个或多个处理器，所述一个或多个处理器被配置为执行包括以下各项的操作：
确定所述手部姿势数据与所述手持式设备姿势数据之间的姿势差异，所述姿势差异包括所述手部的所述位置与所述手持式设备的所述位置之间的位置差异；以及
基于所述姿势差异，执行融合操作。
10.根据权利要求9所述的系统，其中，所述位置差异是所述手部的所述位置与所述手持式设备的所述位置之间的距离。
11.根据权利要求10所述的系统，还包括：
确定所述距离是大于还是小于或等于距离阈值。
12.根据权利要求11所述的系统，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：
确定所述手持式设备未由所述手部握持。
13.根据权利要求11所述的系统，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：
确定所述手持式设备由所述手部握持。
14.根据权利要求11所述的系统，其中，如果确定所述距离小于所述距离阈值，则执行所述融合操作包括：
抑制所述手部姿势数据；或
抑制所述手持式设备姿势数据。
15.根据权利要求11所述的系统，其中，如果确定所述距离大于所述距离阈值，则执行所述融合操作包括：
抑制所述手部姿势数据；或
抑制所述手持式设备姿势数据。
16.根据权利要求11所述的系统，其中，如果确定所述距离小于或等于所述距离阈值，则执行所述融合操作包括：
使用所述手部姿势数据来增强所述手持式设备姿势数据；
使用所述手持式设备姿势数据来增强所述手部姿势数据；或
使用所述手部姿势数据和所述手持式设备姿势数据，生成组合姿势数据。
17.根据权利要求9所述的系统，其中，使用所述手部姿势传感器来捕获所述手部姿势数据包括：
识别与所述手部相关联的多个关键点；以及
基于所述多个关键点，确定所述手部的所述位置。
18.一种非暂态计算机可读介质，包括指令，所述指令在由一个或多个处理器执行时使得所述一个或多个处理器执行用于将手部姿势数据与手持式设备姿势数据融合的操作，所述操作包括：
使用手部姿势传感器来捕获包括手部在参考系内的位置的所述手部姿势数据；
使用手持式设备姿势传感器来捕获包括手持式设备在所述参考系内的位置的所述手持式设备姿势数据；
确定所述手部姿势数据与所述手持式设备姿势数据之间的姿势差异，所述姿势差异包括所述手部的所述位置与所述手持式设备的所述位置之间的位置差异；以及
基于所述姿势差异，执行融合操作。
19.根据权利要求18所述的非暂态计算机可读介质，其中，所述位置差异是所述手部的所述位置与所述手持式设备的所述位置之间的距离。
20.根据权利要求19所述的非暂态计算机可读介质，还包括：
确定所述距离是大于还是小于距离阈值。
CN202180016973.2A 2020-02-26 2021-02-24 用于可穿戴系统的手部和图腾输入融合 Pending CN115176306A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202062981930P 2020-02-26 2020-02-26
US62/981,930 2020-02-26
PCT/US2021/019483 WO2021173725A1 (en) 2020-02-26 2021-02-24 Hand and totem input fusion for wearable systems

Publications (1)

Publication Number Publication Date
CN115176306A true CN115176306A (zh) 2022-10-11

Family

ID=77366947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180016973.2A Pending CN115176306A (zh) 2020-02-26 2021-02-24 用于可穿戴系统的手部和图腾输入融合

Country Status (5)

Country Link
US (1) US20210263592A1 (zh)
EP (1) EP4111442A4 (zh)
JP (1) JP2023515526A (zh)
CN (1) CN115176306A (zh)
WO (1) WO2021173725A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
GB2608186A (en) * 2021-06-25 2022-12-28 Thermoteknix Systems Ltd Augmented reality system
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9111351B2 (en) * 2011-12-15 2015-08-18 Sony Corporation Minimizing drift using depth camera images
US20150247729A1 (en) * 2012-09-04 2015-09-03 Deborah Meduna System and method for device bearing estimation
US10606341B2 (en) * 2015-02-22 2020-03-31 Technion Research & Development Foundation Limited Gesture recognition using multi-sensory data
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
KR20230054499A (ko) * 2016-04-26 2023-04-24 매직 립, 인코포레이티드 증강 현실 시스템들을 사용한 전자기 추적
US10545584B2 (en) * 2016-05-17 2020-01-28 Google Llc Virtual/augmented reality input device
US10249090B2 (en) * 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
JP6854928B2 (ja) * 2018-01-19 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US11481030B2 (en) * 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11107242B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Detecting pose using floating keypoint(s)

Also Published As

Publication number Publication date
JP2023515526A (ja) 2023-04-13
EP4111442A4 (en) 2023-08-16
US20210263592A1 (en) 2021-08-26
WO2021173725A1 (en) 2021-09-02
EP4111442A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
US11016305B2 (en) Sensor fusion for electromagnetic tracking
KR102331164B1 (ko) 증강 현실을 위한 시스템들 및 방법들
US11709544B2 (en) Pose estimation using electromagnetic tracking
CN115176306A (zh) 用于可穿戴系统的手部和图腾输入融合
CN110494792B (zh) 外围设备的视觉跟踪
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP7455121B2 (ja) 電磁追跡のための周囲電磁歪み補正
US11994676B2 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination