CN110275602A - 人工现实系统和头戴式显示器 - Google Patents

人工现实系统和头戴式显示器 Download PDF

Info

Publication number
CN110275602A
CN110275602A CN201910040457.8A CN201910040457A CN110275602A CN 110275602 A CN110275602 A CN 110275602A CN 201910040457 A CN201910040457 A CN 201910040457A CN 110275602 A CN110275602 A CN 110275602A
Authority
CN
China
Prior art keywords
user
processor
bracelet
neckstrap
wearable device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910040457.8A
Other languages
English (en)
Inventor
伦佐·德·纳尔迪
理查德·安德鲁·纽科姆比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Oculus VR Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oculus VR Inc filed Critical Oculus VR Inc
Publication of CN110275602A publication Critical patent/CN110275602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

本发明涉及一种人工现实系统和头戴式显示器。该系统包括眼部佩戴设备，该眼部佩戴设备被配置为向用户呈现内容。处理器通信地耦接至眼部佩戴设备。手环设备通信地耦接至处理器，并且包括至少一个传感器，该至少一个传感器被配置为响应于用户手部的移动来确定位置信号。深度照相机组件通信地耦接至处理器，并且被配置为向用户的环境发射波形，并且从环境中的至少一个对象反射出的波形捕获多个光信号。处理器被配置为部分基于位置信号和多个光信号，确定用户手部相对于环境的位置。

Description

人工现实系统和头戴式显示器
技术领域
本公开总体涉及人工现实系统，并且具体地，涉及具有手部跟踪设备的分布式人工现实系统。
背景技术
增强现实(AR)系统和环境允许用户直接或间接观看通过生成的感官输入而增强的现实世界环境，所生成的感官输入可以叠加在现实世界环境上。感官输入可以是任意形式的媒体，诸如声音、视频、图形等。通常，AR系统包括向用户提供视觉和音频信息的头盔。因为AR系统允许用户在除了所生成的环境之外继续与他们的现实世界环境接合，所以与用户通常沉浸在完全生成的环境中的虚拟现实(VR)系统相反，用户可能对于大型AR头盔设备具有较低容忍度。此外，较小的形状因子通过降低用户对他或她的环境的体验与人工现实系统自身之间的冲突，来促进人工现实系统的全天或更长的使用。
然而，AR系统的降低形状因子对于提供足够的电力和计算产生挑战，并且限制用于添加可以增强用户的AR体验并促进AR系统与环境的交互的额外特征的能力。此外，手势是用户与其环境内的对象交互并指示其环境内的对象的重要方式，但是这些并未被头盔设备捕获到。由于其有限的视野，头盔设备可能不能够看到用户的手部或者响应于头盔所呈现的模拟环境而捕获用户手势。此外，传统手部跟踪系统主要集中于仅捕获手部移动，而不是在用户环境以及通过分布式系统检测的其他信号的情境下确定手部运动的含义是什么。更通常地，分布式系统经常无法完全集成不同设备，并且无法利用分布式AR系统的能力来结合由系统中的每一个设备捕获的信息。
发明内容
分布式系统包括手环设备，该手环设备相对于用户的人工现实环境跟踪用户手部运动。手环设备是分布式人工现实系统中的若干设备中的一个，其结合跨多个设备的感测、处理和电力存储。分布式系统中的其他设备包括眼部佩戴设备和颈带设备。分布式人工现实系统通过提供检测用户的现实世界环境内的对象和其他特征的成像设备，而在用户环境内情景化用户的手部运动。人工现实可以响应于用户手部运动而被调整。
系统包括眼部佩戴设备，该眼部佩戴设备被配置为向用户呈现内容。处理器通信地耦接至眼部佩戴设备。手环设备通信地耦接至处理器。手环设备包括至少一个传感器，该至少一个传感器被配置为响应于用户手部的移动来确定位置信号。深度照相机组件通信地耦接至处理器。深度照相机组件被配置为向用户的环境发射波形，并且从环境中的至少一个对象反射出的波形捕获多个光信号。处理器被配置为部分基于位置信号和多个光信号，来确定用户手部相对于环境的位置。
附图说明
图1是根据一个或多个实施方式的分布式人工现实系统的示图。
图2是根据一个或多个实施方式的由用户佩戴的分布式人工现实系统的示图。
图3是根据一个或多个实施方式的局部环境中的分布式人工现实系统的成像设备的示图。
图4是根据一个或多个实施方式的分布式人工现实系统中的信号通信的示图。
图5是根据一个或多个实施方式的分布式人工现实系统的框图。
附图仅出于说明性目的描绘了本公开的实施方式。本领域技术人员将从以下描述中容易认识到，在不脱离本文所述的公开内容的原理或推崇的益处的情况下，可以采用本文所示的结构和方法的替代实施方式。
具体实施方式
AR和/或混合现实(MR)设备允许用户直接或间接观看通过生成的感官输入(诸如，声音、视频、图形等)而增强的现实世界环境。所生成的感官输入可以叠加在现实世界环境上，允许用户与两者同时交互。为了允许用户在另外感知增强环境的同时，继续观看他或她的现实世界环境并与他或她的现实世界环境交互，AR设备为用户理想地提供可易于长时间段佩戴且不干扰用户与环境的交互的微创接口。AR、虚拟现实(VR)和/或MR设备设计中的一类包括具有向用户提供所生成的视觉输入(诸如，图形或视频)的光学元件的近眼显示器(NED)。NED可以以搁置在用户的鼻梁上的眼镜的形式嵌入眼部佩戴设备中。然而，为了适应作为一对眼镜的NED的降低形状因子，计算、电池和额外功能从NED移除并移至单独链接设备。结果得到一起为用户提供全面AR体验的多个独立设备的分布式AR系统。
手势和手部运动是人们与其现实世界环境交互的重要方式。为了确定用户如何对人工现实做出响应，分布式AR系统可以捕获手部移动并将其转化为手势并且对生成的人工现实做出响应。然而，手部跟踪系统总体上仅集中于检测用户手部运动，并且不必将这些信号与分布式AR系统内的其他设备的功能相结合。例如，根据用户环境，指向手势可以具有许多可能含义；如果在真实世界中存在一对象，则用户指向该对象与仅捕获到用户正在做出指向手势具有完全不同的含义。因此，相对于用户的现实世界环境确定手势对于理解用户如何与可以覆盖在其顶部上的人工现实交互是重要的。
本公开提供小形状因子设备来向用户呈现视觉和音频内容，并且另外通过跨若干设备分布功能来跟踪用户手势。所得到的分布式人工现实系统允许相对于人工和现实世界环境检测用户手势的手部跟踪，这为用户手势提供不必单独通过手部跟踪系统来实现的情境。因此，分布式AR系统利用跨多个设备收集的信号，来提供对用户与人工现实的交互做出更好响应的更加沉浸式的人工现实系统。
本公开的实施方式可以包括人工现实系统或者可以结合人工现实系统实现。人工现实是在呈现至用户之前已经以一定方式调整的现实形式，其可以包括例如，虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混合式现实(hybrid reality)或者其一些组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，现实世界)内容结合所生成的内容。人工现实内容可以包括视频、音频、触觉反馈或者其某种组合，并且其中的任一个可以呈现在单个通道或多个通道(诸如，为观看者产生三维效果的立体视频)中。此外，在一些实施方式中，人工现实也可以与用于例如在人工现实中创建内容和/或以另外方式(例如，执行活动)用在人工现实中的应用、产品、配件、服务或者其某种组合相关联。提供人工现实内容的人工现实系统可以实现在各种平台上，包括能够向一个或多个观看者提供人工现实内容的连接至主机计算机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统或者任意其他硬件平台。
系统概述
图1是根据一个或多个实施方式的分布式人工现实系统100的示图。分布式系统100包括手环105、眼部佩戴设备110以及颈带115。在替代实施方式中，分布式系统100可以包括额外部件(例如，如以下相对于图4和图5详细讨论的移动设备)。
手环
手环105检测用户手部的移动。手环105包括位置传感器120、照相机125和磁性传感器130。手环105示出为由具有圆形边缘的带形成的小圈。手环105适配在用户的手腕周围，其相对于图2更详细示出。手环105可以由任意柔性材料(诸如弹性体或其他聚合物材料)形成。手环105的尺寸可调节，使得带尺寸可以适配每个单独用户的手腕。
如所示的，手环105包括位置传感器120。可以存在位于手环105上的各个点处的任意数量的位置传感器120。一个或多个位置传感器可以位于惯性测量单元(IMU)(未示出)外部、IMU内部或者其某种组合。位置传感器120可以是能够确定手环105的位置并且响应于手环105的移动而生成信号的任意传感器。由于手环105佩戴在用户手腕上，因此位置传感器120提供由用户手臂的移动而引起的位置信号。在一些实施方式中，位置传感器120随时间跟踪手环105的位置，使用前一个位置数据点确定后续位置。在一些实施方式中，位置传感器120可以是测量平移运动(例如，前/后、上/下、左/右)的加速计。另外或可替代地，位置传感器120是测量旋转运动(例如，俯仰、偏航、滚动)的陀螺仪。在一些实施方式中，位于手环105上的多个加速计和多个陀螺仪一起提供指示手环105在六个自由度上的移动的位置信号。位置传感器120可以是MEMS设备。
一个或多个位置传感器120向可以位于手环105、眼部佩戴设备110和/或颈带115上的IMU(未示出)提供位置信号。IMU使用来自一个或多个位置传感器120的位置信号来估计手环105的位置。IMU可以估计手环105相对于分布式人工现实系统100中的眼部佩戴设备110、颈带115和/或任意其他设备(诸如，如图4至图5描述的移动设备)的相对位置。在一些实施方式中，IMU快速采样来自一个或多个位置传感器120的测量信号，并且从采样数据计算手环105的估计位置。例如，IMU对从一个或多个位置传感器120接收的测量信号随时间进行积分以估计速度矢量，并对速度矢量随时间进行积分以确定手环105的参考点的估计位置。针对来自一个或多个位置传感器120的位置信号的IMU处理的一些或所有计算可以通过分布式人工现实系统100中的颈带115的计算舱170、眼部佩戴设备110、移动设备(未示出)或任意其他设备执行。
从位置传感器120确定位置的IMU、计算舱170或任意其他处理器可以从手环105接收一个或多个校准参数。一个或多个校准参数用于保持手环105的跟踪。基于所接收的校准参数，IMU可以调节一个或多个IMU参数(例如，采样率)。该调节可以通过分布式人工现实系统100中的颈带115的计算舱170、移动设备的处理器或设备的任意其他处理器确定。在一些实施方式中，某些校准参数使IMU更新参考点的初始位置，使其对应于参考点的下一校准位置。在参考点的下一个校准位置处更新参考点的初始位置有助于减小与所确定的手环105的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随时间从参考点的实际位置“漂移”离开。在一些实例中，IMU从手环105上的一个或多个位置传感器120以及眼部佩戴设备110上的位置传感器(未示出)和颈带115上的位置传感器(未示出)接收位置信息。
如图1所示，手环105包括照相机125。可以存在位于手环105上的一个或多个照相机125。一个或多个照相机125捕获如从手环105可见的用户手部的手势信息。关于用户手部的手势信息包括手指运动和姿势以及手掌运动姿势。用户手部的手势、姿势、位置或移动可以是通过用户的手部进行的指向、挥动或任意其他信号。在视觉信息可以通过一个或多个照相机125捕获的同时，用户手部的手势、姿势或位置可以通过并非物理位于手环105上的处理器从视觉信息来确定。处理器可以位于分布式人工现实系统100中的颈带115、眼部佩戴设备110或任意其他设备(诸如，如参考图4至图5描述的移动设备)上。通过一个或多个照相机125捕获的视觉信息可以用在手部的运动学模型中，该运动学模型将用户手部的视觉检测移动与手势相关。运动学模型可以是机器学习的，使得随着时间通过一个或多个照相机125捕获的与移动信息相关的模型适配用户手势。运动学模型可以将从一个或多个照相机125收集的视觉信息与来自手环105、眼部佩戴设备110和/或颈带115上的其他传感器的其他信息相结合。例如，来自照相机125的视觉信息可以与通过位置传感器120和/或IMU确定的移动信息相结合。在其他实例中，来自照相机125的视觉信息可以与从位于眼部佩戴设备110和/或颈带115上的照相机(未示出)获得的视觉信息相结合。运动学模型可以存储在控制器或其他软件模块(未示出)中。例如，运动学模型可以存储在移动设备中，诸如参考图4至图5描述的移动设备。处理器与控制器或软件模型通信，并且使用运动学模型从位于手环105上的照相机125、位置传感器120、磁性传感器130或任意其他传感器的信号中的任一个来确定姿势、手势或手部信号。处理器位于分布式人工现实系统100中的颈带115、眼部佩戴设备110或任意其他设备(诸如参考图4至图5描述的移动设备)上。
在一些实例中，照相机可以是收集用户手部的深度图像数据的深度照相机组件。位于眼部佩戴设备110、颈带115和/或移动设备中的任一个上的手部跟踪单元可以包括使用深度图像数据来确定用户手部的手部姿势的神经网络。关于确定关于用户的手部的姿势、手势或其他信息的额外细节可以在美国专利申请号15/487361中找到，其全部内容通过引证结合于此。
通过照相机125、一个或多个位置传感器120和IMU确定的描述用户手部的移动的信号与由测量手环105相对于背景磁场的相对位置的磁性传感器130产生的信号相结合。磁性传感器130可以位于手环105上的任何位置，并且可以存在分布于手环105上的任意数量的磁性传感器130。磁性传感器130可以是能够检测磁场的方向、强度和/或变化的磁力仪、MEMS磁场传感器或任意其他磁性传感器。
基线、背景磁场存在于手环105所运行的任意环境中，不论这是大地磁场的结果还是来自环境中的生成电磁辐射的其他电子设备的存在的结果。不管来源是什么，环境背景磁场存在于环境中，尽管它可以具有不同方向和/或大小。磁性传感器130测量背景磁场的矢量方向。当手环105响应于用户手臂的移动而移动时，通过磁性传感器130测量的矢量方向响应于手环105相对于背景磁场的新方位而改变。在一些实施方式中，假设背景磁场未及时改变，并且因此所检测的磁场的变化由手环105的移动引起。在一些实施方式中，磁性传感器130是3D磁力仪，并且因此每个磁性传感器检测在三个自由度上的改变。在其他实施方式中，每个磁性传感器可以被配置为响应于单个方向的改变而生成信号，使得为了实现三个自由度，三个不同的磁性传感器130被配置为沿着三个单独轴检测。
磁性传感器130一起产生信号，该信号给出由手环105相对于固定背景磁场的移动而导致的测量磁场的变化梯度。从该梯度，可以确定手环105的速度，速度可以包含旋转速度分量和线性速度分量。然而，旋转速度可以通过位置传感器120(诸如通过陀螺仪位置传感器120)独立测量。因此，将来自磁性传感器130的测量与来自位置传感器120的已知旋转测量相结合允许从测量梯度独立确定梯度的线性速度分量。因此，可以确定该线性速度，而不会受到可能影响位置传感器120的准确性的集成线性加速计和IMU测量的漂移误差。类似地，如果通过加速计位置传感器120测量的已知线性速度用于确定未知旋转速度，则可以从通过磁性传感器130测量的梯度来确定手环105的速度的旋转分量。
在一些实施方式中，来自位置传感器120、照相机125和磁性传感器130中的任一个的测量可以结合至运动学模型，以确定手势、用户手臂的位置和/或用户前臂的位置。在一些实施方式中，来自位置传感器120、照相机125和磁性传感器130中的任一个的测量可以用于同时定位与地图构建(SLAM)计算，该计算可以通过分布式人工现实系统100中的位于颈带115上的计算舱170和/或任意其他设备(诸如，如图4至图5描述的移动设备)来执行。
在一些实施方式中，手环105包括位于手环105上的任何地方的无线网关或定向天线(未示出)，手环105通过该无线网关或定向天线，从分布式人工现实系统100中的眼部佩戴设备110、颈带115和/或任意其他设备发送和接收信息。手环105、眼部佩戴设备110和/或颈带115之间的无线连接可以是能够发送并接收信息的Wi-Fi连接、蓝牙连接或任意其他无线连接。无线网关也可以将手环105连接至移动设备，如参考图4至图5更详细描述的。在其他实施方式中，手环105通过有线连接连接至分布式人工现实系统中的颈带115、眼部佩戴设备110或任意其他设备，诸如移动设备。在这些实例中，有线连接可以向手环105提供电力和/或从手环105向第二设备发送信息。例如，颈带115中的电池舱155可以通过有线连接向手环105提供电力。连接线可以是可伸缩的或者以另外方式在长度上可调节的。
在一些实施方式中，手环105包括电池舱(未示出)，位置传感器120、照相机125和磁性传感器130中的任一个由该电池舱供电。电池舱中的电源可以是可再充电的。电池舱中的电源可以是锂离子电池、锂聚合物电池、初级锂电池、碱性电池或任意其他形式的电力存储。
眼部佩戴设备
眼部佩戴设备110向分布式系统100的用户提供内容。眼部佩戴设备110包括两个光学系统135。眼部佩戴设备110也可以包括各种传感器，诸如一个或多个被动传感器、一个或多个主动传感器、一个或多个音频设备、眼睛跟踪系统、IMU(未示出)或其某种组合。如图1所示，眼部佩戴设备110和光学系统135以眼镜的形状形成，其中，两个光学系统135用作框架140内的眼镜“镜片”。框架140通过连接器145附接至颈带115，该连接器通过连接接头150连接至颈带115。
光学系统135向用户呈现视觉媒体。光学系统135中的每一个可以包括显示组件。在一些实施方式中，当眼部佩戴设备110被配置为AR眼部佩戴设备时，显示组件还允许和/或将来自眼部佩戴设备110周围的局部区域的光引导至眼箱(即，将被用户的眼睛占据的空间区域)。光学系统135可以包括矫正镜片，其可以针对用户的眼镜处方而可定制化。光学系统135可以是双焦矫正镜片。光学系统135可以是三焦矫正镜片。
显示组件通过利用投影仪生成图像光并且通过任意数量的波导、光栅、光扩展等将输出光传递至眼箱中的用户眼睛，来向用户呈现视觉媒体。因此，显示组件通过生成的图像光提供内容，该图像光可以覆盖在用户现实世界环境的顶部上。显示组件可以由具有一个或多个折射率的、有效地最小化重量并加宽眼部佩戴设备110视觉系统的视野的一个或多个材料(例如，塑料、玻璃等)组成。在替代配置中，眼部佩戴设备110包括显示组件与眼睛之间的一个或多个元件。元件可以用来例如，校正从显示组件发射的图像光的像差、校正针对任意光源的由于用户视觉处方需求而引起的像差、放大图像光、执行从显示组件发射的图像光的一些其他光学调节、或者其某种组合。元件可以包括光圈、菲涅耳透镜、凸透镜、凹透镜、液晶透镜、液体或其他可变形表面透镜、衍射元件、波导、滤波器、偏振器、扩散器、锥形光纤、一个或多个反射表面、偏振反射表面、双折射元件或影响从显示组件发射的图像光的任意其他合适光学元件。描述显示组件的实例的额外细节可以在美国专利申请号15/704190中找到，其全部内容通过引证结合于此。
通过眼部佩戴设备110呈现的媒体的实例包括一个或多个图像、文本、视频、音频或其某种组合。眼部佩戴设备110可以被配置为在视觉域中作为VR NED、AR NED、混合现实(MR)NED或者其某种组合操作。例如，在一些实施方式中，眼部佩戴设备110可以利用计算机生成元件(例如，图像、视频、声音等)增强物理的现实世界环境的视图。眼部佩戴设备110可以包括向用户传递音频的扬声器或任意其他装置(诸如骨传导、软骨传导等)。
通过眼部佩戴设备110呈现的媒体可以响应于通过手环105检测的用户手势而调节。例如，手环105可以确定用户指向在眼部佩戴设备110中显示的视觉人工现实中的虚拟对象。作为响应，通过眼部佩戴设备110示出的视图可以放大对象、显示关于对象的信息、使对象变得清楚或者对用户手势做出响应的任意其他调节。
在其他实施方式中，眼部佩戴设备110不向用户呈现媒体或信息。例如，眼部佩戴设备110可以结合独立显示器(诸如耦接的移动设备或膝上型电脑(未示出))使用。在其他实施方式中，眼部佩戴设备110可以用于各种研究目的、训练应用、生物特征应用(例如，疲劳或压力检测)、汽车应用、针对残疾人的通信系统或者可以使用眼睛跟踪或其他感测功能的任意其他应用。
眼部佩戴设备110可以包括诸如1维(1D)、2维(2D)成像器的嵌入式传感器(未示出)或者用于眼部佩戴设备110的定位和稳定的扫描仪以及用于随时间理解用户目的和注意力的传感器。位于眼部佩戴设备110上的传感器可以用于SLAM计算，其可以通过嵌入计算舱170中的处理器和/或位于耦接的移动设备(如参考图4至图5更详细描述的)上的处理器整体或部分地执行。位于眼部佩戴设备110上的嵌入式传感器可以具有关联处理和计算能力。
在一些实施方式中，眼部佩戴设备110进一步包括用于跟踪用户的单眼或双眼的位置的眼睛跟踪系统(未示出)。应注意，关于眼睛位置的信息也包括关于眼睛方位的信息，即，关于用户视线的信息。基于所确定和跟踪的眼睛的位置和方位，眼部佩戴设备110调节从一个或两个显示组件发射的图像光。在一些实施方式中，眼部佩戴设备110通过光学系统135调节图像光的焦点，并且确保图像光以确定的视线角度对准焦点，以便减轻视觉辐辏调节冲突(VAC)。另外或可替代地，眼部佩戴设备110基于眼睛的位置，通过执行图像光的注视点渲染来调节图像光的分辨率。另外或可替代地，眼部佩戴设备110使用关于注视位置和方位的信息来提供用户(无论是对真实内容还是虚拟内容的)注意力的情境感知。眼睛跟踪器通常包括照明源和成像设备(照相机)。在一些实施方式中，眼睛跟踪器的部件集成至显示组件。在替代实施方式中，眼睛跟踪器的部件集成至框架140。关于眼睛跟踪系统与眼部佩戴设备的合并的额外细节可以在美国专利申请号15/644,203中找到，其全部内容通过引证结合于此。
用于眼睛跟踪系统的计算可以通过位于计算舱170和/或耦接的移动设备(如参考图4至图5更详细描述的)中的处理器执行。眼部佩戴设备110可以包括IMU传感器(未示出)以确定眼部佩戴设备相对于用户环境的位置并检测用户移动。IMU传感器也可以确定眼部佩戴设备110与颈带115之间的相对空间关系和/或眼部佩戴设备110与手环105之间的空间关系，其可以提供关于相对于用户身体和手部的位置的用户头部的位置的信息。本文中，颈带115也可以包括IMU传感器(未示出)以促进颈带115相对于眼部佩戴设备110的对准和定向。颈带115上的IMU传感器可以在其独立于眼部佩戴设备110操作时，确定颈带115的方位。眼部佩戴设备110也可以包括深度照相机组件(DCA)(未示出)，其可以是飞行时间(ToF)照相机、结构光(SL)照相机、被动和/或主动立体声系统，并且可以包括红外(IR)光源和检测照相机。DCA捕获设备(诸如，眼部佩戴设备110)周围的区域的场景的各种深度区域的视觉信息。描述DCA的额外细节可以在美国专利申请号15/372779中找到，其全部内容通过引证结合于此。眼部佩戴设备110可以包括各种被动传感器，诸如红绿蓝(RGB)彩色照相机、被动定位传感器等。眼部佩戴设备110上的照相机可以补充通过位于手环105上的一个或多个照相机125确定的关于用户手部的视觉信息。眼部佩戴设备110可以包括各种主动传感器，诸如结构光传感器、主动定位器等。主动传感器的数量可以被最小化以降低眼部佩戴设备110上的总重量、电力消耗以及热量生成。主动和被动传感器以及照相机系统可以放置在眼部佩戴设备110上的任何地方。
颈带
颈带115是执行从其他设备(例如，手环105、眼部佩戴设备110、移动设备等)卸载至其的处理密集操作的可穿戴设备。如图1所示，颈带115通过连接接头150连接至眼部佩戴设备110。颈带115通过任意标准无线信号连接来无线地连接至手环105。颈带115包括位于第一臂160、第二臂165和计算舱170中的每一个上的电池舱155。如所示的，电池舱155嵌入第一臂160和第二臂165中。如所示的，计算舱170连接至第一臂160和第二臂165。
以上部件中的任一个可以位于颈带115的任意其他部分中。可以存在分布在颈带115上的任意数量的电池舱155。可以存在分布在颈带115上的任意数量的计算舱170。电池舱155和计算舱170优选地定位为使得在设备对称轴上从左到右，在颈带115上均匀分配重量。电池舱可以对称位于设备对称轴上，或者可以不对称分布以平衡其他传感器或舱室的重量。例如，电池舱155可以位于第一臂160上以平衡位于第二臂165上的计算舱。
由第一臂160、第二臂165和计算舱170组成的颈带115形成为符合用户颈部的“U”形。如相对于图2更详细描述的，在眼部佩戴设备110佩戴在用户头部(未示出)上的同时，围绕用户颈部佩戴颈带115。颈带115的第一臂160和第二臂165可以均搁置在用户肩部的接近他或她的颈部的顶部上，使得第一臂160和第二臂165的重量由用户的颈部基部和肩部承担。计算舱170可以位于用户颈部的后面。连接器145足够长以允许在颈带115围绕用户颈部搁置的同时，眼部佩戴设备110佩戴在用户头部上。连接器145可调整以允许每个用户定制化连接器145的长度。
电池舱155中的电源可以位于一个或多个子组件(如示出的，具有两个)中，其中，嵌入第一臂160中的单元和/或第二臂165中的电池舱155为眼部佩戴设备110供电。每个电池舱155容纳可再充电的电源(例如，电池)。电池舱155中的电源可以是锂离子电池、锂聚合物电池、初级锂电池、碱性电池或任意其他形式的电力存储。如果利用不止一个电池子组件，则第一臂160的电池舱155可以与第二臂165的电池舱155中的电池具有不同电池或电力容量。计算舱170可以具有其自身电源(未示出)和/或可以通过电池舱155中的电源供电。将电池舱155定位在颈带115上从眼部佩戴设备110向颈带分配由电池舱155生成的重量和热量，其可以更好地扩散并分散热量，并且还利用用户的颈部基部和肩部的承载能力。将电池舱155、计算舱170和任意数量的其他传感器定位在颈带115上也可以更好地调节这些元件中的每一个的热暴露，因为将它们定位为紧挨着用户颈部可以保护它们免受太阳和环境热源。
计算舱170容纳处理器(未示出)，该处理器处理由手环105、眼部佩戴设备110和/或颈带115上的传感器或照相机系统中的任一个生成的信息。计算舱170的处理器通信地耦接至眼部佩戴设备110。计算舱170的处理器通信地耦接至手环105。参考图3更详细描述手环105、眼部佩戴设备110与颈带115之间的通信。处理器与手环105和眼部佩戴设备110中的任一个之间的通信可以通过参考图3描述的信号中的任一个进行。通过手环105、眼部佩戴设备110和颈带115生成的信息也可以由移动设备(诸如参考图4至图5更详细描述的移动设备)处理。移动设备(诸如参考图4至图5更详细描述的移动设备)的处理器可以通信地耦接至眼部佩戴设备110和/或手环105。计算舱170中的处理器可以处理由手环105、眼部佩戴设备110和颈带115中的每一个生成的信息。连接器145在眼部佩戴设备110与颈带115之间以及眼部佩戴设备110与计算舱170中的处理器之间传递信息。手环105可以经由位于手环105和颈带115上的无线网关向计算舱170传递信息。参考图5更详细描述颈带115的无线网关。在一些实例中，第一臂160和第二臂165也可以各自具有嵌入处理器(未示出)。在这些实例中，连接器145在眼部佩戴设备110与第一臂160、第二臂165和计算舱170中的每一个中的处理器之间传递信息。在这些实例中，通过无线网关从手环105接收的信息可以分配至第一臂160、第二臂165和计算舱170中的每一个以用于处理。信息可以是以光学数据、电子数据或任意其他可传输数据形式的形式。将由手环105和眼部佩戴设备110生成的信息的处理移动至颈带115降低了手环105和眼部佩戴设备110的重量和热量生成，使得它们对于用户更舒适并且在更长的时间范围内激励用户。
嵌入计算舱170中的处理器可以从位于手环105和眼部佩戴设备110上的IMU传感器来计算所有惯性和空间计算。嵌入计算舱170中的处理器可以从位于眼部佩戴设备110上的主动传感器、被动传感器和照相机系统以及手环105上的位置传感器120、照相机125和磁性传感器130来执行所有计算。嵌入计算舱170中的处理器可以从由位于手环105和/或眼部佩戴设备110上的任意传感器提供的信息执行所有计算。嵌入计算舱170中的处理器可以结合位于耦接的外部设备(诸如，参考图4至图5更详细描述的移动设备)上的处理器，来从由位于手环105和/或眼部佩戴设备110上的任意传感器提供的信息执行所有计算。
颈带115可以包括多功能舱(未示出)。多功能舱可以是可定制化舱，在该可定制化舱中，额外特征单元可以由用户插入和移除。额外特征可以由用户在购买颈带115时选择和定制。可以包括在多功能舱中的单元的实例是：成像设备、存储器单元、处理单元、麦克风阵列、投影仪、照相机等。这些可以参考图5更详细描述。
计算舱170和电池舱155可以是如图1所示的颈带115的段。然而，计算舱170和电池舱155也可以是颈带115的任意子结构，诸如嵌入在颈带115内的舱、耦接至嵌入在颈带115中的传感器的舱和/或可以位于颈带115的任何地方上。
在一些实例中，连接器145从眼部佩戴设备110向颈带115传递信息。位于眼部佩戴设备110上的传感器可以向嵌入计算舱170中的处理器提供感测数据，该数据可以由计算舱170中的处理器处理。计算舱170可以将其计算结果传递至眼部佩戴设备110。例如，如果计算舱170中的处理器的结果是要显示至用户的渲染结果，则计算舱通过连接器145发送要显示在光学系统135上的信息。在一些实例中，可以存在多个连接器145。例如，一个连接器145可以传递电力，同时另一连接器145可以传递信息。
在一些实例中，连接器145通过连接接头(未示出)与框架140的磁性感应，向眼部佩戴设备110提供电力。在该实例中，连接器145可以利用保持磁体耦接至框架140。在其他实例中，连接器145通过任意传统电力耦接技术，从颈带115向眼部佩戴设备110提供电力。连接器145是柔性的以允许眼部佩戴设备110相对于颈带115的独立移动。由于用户头部与颈部之间的距离可以变化，因此连接器145可以是可收缩的或者以另外方式可调节以提供用于每个用户的近眼显示器与颈带115之间的正确长度。
在一些实例中，眼部佩戴设备110与颈带115无线地耦接。在这些实例中，嵌入计算舱170的处理器通过无线信号连接从眼部佩戴设备110以及位于眼部佩戴设备110上的传感器和照相机组件接收信息，并且可以通过无线信号连接将信息发送回眼部佩戴设备110。眼部佩戴设备110与颈带115之间的无线连接可以通过位于第一臂160和/或第二臂165中和/或眼部佩戴设备110上的无线网关(未示出)或定向天线进行。眼部佩戴设备110与颈带115之间的无线连接可以是能够发送并接收信息的Wi-Fi连接、蓝牙连接或任意其他无线连接。无线网关也可以将眼部佩戴设备110和/或颈带115连接至如参考图4至图5更详细描述的移动设备。
在眼部佩戴设备110与颈带115无线耦接的一些实例中，连接器145可以仅在颈带115与眼部佩戴设备110之间传输电力。因此，眼部佩戴设备110与颈带115之间的信息将无线传输。在这些实例中，连接器145可以更薄。在眼部佩戴设备110与颈带115无线耦接的一些实例中，电力可以经由无线电力感应在眼部佩戴设备110与颈带115之间传输。另外或可替代地，电力可以经由无线电力感应在颈带115与手环105之间传输。在一些实例中，可以存在位于眼部佩戴设备110中的单独电池或电源。在眼部佩戴设备110与颈带115无线耦接的一些实例中，连接器145的添加是可选的。
分布式系统中的设备之间的交互
由眼部佩戴设备110上的光学系统135或颈带115生成的人工现实的视觉分量可以响应于如由手环105测量的用户手部的移动而变化。另外或可替代地，由眼部佩戴设备110或颈带115产生的人工现实的音频分量可以响应于如由手环105测量的用户手部的移动而调节。由眼部佩戴设备110和/或颈带115生成的人工现实的任意其他分量可以响应于如由手环105测量的用户手势或手部移动而改变。例如，手环105可以确定用户指向在光学系统135中显示的虚拟对象，并且作为响应，光学系统135可以放大该对象。
因此，手环105、眼部佩戴设备110和颈带115架构在仍然保持提供完整人工现实体验所必需的处理和电池电力的同时，允许通过小形状因子设备实现用户的人工现实体验。此外，手环105允许分布式人工现实系统100响应于通过眼部佩戴设备110和颈带115显示和生成的人工现实来确定用户的手部运动。由于其处理可以通过颈带115执行，因此手环105的形状因子可以减小。通过手环105检测的移动可以通过将用户手势与关于用户现实世界环境的信息(如通过位于眼部佩戴设备110和/或颈带115上的传感器确定的)相结合而进一步情景化。这相对于图3进行更详细描述。
分布式人工现实系统与用户
图2是根据一个或多个实施方式的由用户佩戴的分布式人工现实系统的示图。用户200靠近他或她手部205佩戴手环105。手环105与用户200手腕的形状相一致。用户200在他或她头部上佩戴如同一副眼镜的眼部佩戴设备110。颈带115示出为围绕用户颈部210，使得计算舱170在用户颈部210的后方并且第二臂165搁置在用户颈部210的侧面上。因此，颈带115的重量分布至用户肩部，并且颈带115与用户颈部210的形状相一致。
手环105与用户手腕相一致，使得用户手部205和/或臂(未示出)的移动不会导致手环105上的传感器相对于手部205的转移。照相机125可以固定为使得用户手部205处于照相机125的视线中。与位置传感器120和照相机125相结合的磁性传感器(未示出)可以集中测量用户手部205的移动，并且将该测量传递至颈带115的计算舱170。因为用户可以在其肩部上忍受较重负载，所以可能以另外方式位于手环105和/或眼部佩戴设备110上的部件的重量可以转移至颈带115，便于用户手部205的更自由移动。
局部环境的情境中的手部跟踪
图3是根据一个或多个实施方式的局部环境305中的分布式人工现实系统的成像设备310的示图。成像设备310可以是DCA，其收集关于用户的局部环境305的信息。成像设备310可以位于眼部佩戴设备110和/或颈带115上。成像设备310包括一个或多个源和一个或多个光传感器(例如，照相机、摄像机)。光源照亮局部环境，这允许成像设备310检测局部环境中的对象(例如，对象320和对象325、用户手部等)的存在。手环105跟踪用户手部，并且相对于局部环境305以及所检测的对象320和对象325确定手势330。如本文提到的，手势330也可以被称为用户手部的姿势、用户手部的位置或手部移动。
成像设备310向局部环境305发射波形315。波形315的波长可以处于可见频带(～380nm至750nm)、红外(IR)频带(～750nm至1500nm)、紫外频带(10nm至380nm)、另一部分的电磁频谱或者其某种组合。光传感器可以对发射为波形315的波长的相同范围敏感。光传感器也可以对具有可见波长的光以及发射为波形315的光敏感。例如，光传感器可以是红色、绿色、蓝色、IR(RGBI)照相机。在一些实施方式中，光传感器可以是除了互补金属氧化物半导体(CMOS)图像器以外的其他照相机、其他光敏设备或其某种组合。
成像设备310的光传感器检测局部环境305中对象(例如，对象320和对象325、用户手部等)的存在。例如，发射至局部环境305的波形315从对象320和对象325反射出。除了反射波形315外，对象320和对象325反射可以通过成像设备310的光传感器收集的入射环境光。反射的环境光和波形315光由光传感器收集，并且与发射波形315相比以确定对象320和对象325的特征，诸如对象320和对象325与成像设备310的距离、对象320和对象325的形状、对象320和对象325的表面纹理等。在一些实例中，波形315是结构光(SL)，其可以为任意SL图案，诸如对称或准点图案、网格、水平条等。成像设备310将发射的SL与反射光的结构相比较，以检测对象320和对象325的特征。在一些实施方式中，成像设备310可以使用飞行时间(ToF)深度确定技术，其中，例如，从发射波形315与所检测的从对象320和对象325反射出的波形315的一部分的反射之间的时间延迟，来确定对象320和对象325的特征。在一些实施方式中，成像设备310可以使用立体成像技术，其中，通过立体图像确定对象320和对象325的特征。此外，在一些实施方式中，一个或多个深度确定技术可以结合以确定局部环境305中的对象(例如，对象320、对象325、用户手部等)的深度信息。可以由成像设备310使用任意其他深度感测，来确定对象320和对象325和/或用户手部的特征。在一些实施方式中，成像设备310进行局部环境305中的波形315的初始扫描，以检测对象320和对象325，并且随后选择性发射围绕所检测的对象320和对象325定位的第二组波形315。
成像设备310传递收集的关于对象320和对象325的信息，并且将它们传递至分布式人工现实系统的处理器，诸如颈带115的计算舱170中的处理器、移动设备(诸如，如图4至图5所示的移动设备405或移动设备534)的处理器或者分布式人工现实系统中的任意其他设备的任意其他处理器。处理器也接收来自照相机125的大量视觉信号、来自位置传感器120的位置信号、来自磁性传感器130的方位信号或者来自手环105的任意其他信号，这些信号一起可以指示手势330。处理器从接收自手环105的信号中的任一个确定手势330。因此，成像设备310可以通过任意有线或无线信号通信地耦接至分布式人工现实系统中的处理器。
处理器将通过成像设备310确定的关于位于局部环境305中的对象的信息与手势330相结合。手势330由处理器从自位于手环105上的传感器传递至处理器的传感器信息确定。在一些情况下，关于位于局部环境305中的对象的信息也可以包括关于用户手部的一个或多个的深度信息。处理器可以确定手势330是否指向在局部环境305中检测的对象中的任一个。例如，处理器可以确定手势330是否表示用户与对象的交互，诸如手势330是否指向局部环境305中的对象。因此，在通过成像设备310确定的局部环境305的情境内，处理器从由位于手环105上的任意数量传感器提供的传感器信息，来解释通过处理器确定的用户手势330。在一些实例中，处理器使用关于位于局部环境305中的对象的信息来确定手势330。处理器可以将从手环105接收的信号与从成像设备310接收的关于对象的信息相结合以确定手势330。例如，如果手环105上的传感器指示手环105与通过成像设备310检测的对象对齐，则处理器可以使用该信息确定用户指向对象，并且因此手势330是指向手势。
响应于将手势330与检测对象相关，处理器可以通过手环105、眼部佩戴设备110和/或颈带115中的任一个，调节提供至用户的人工现实。例如，如果处理器确定手势330指向对象320，则它可以指示眼部佩戴设备110向用户显示关于对象320的信息。例如，如果对象320是手势330所指向的书籍，则眼部佩戴设备110可以向用户显示关于书籍的最新评论、同一作者的书籍、书籍的预览等。
因此，通过结合由成像设备310和手环105进行的检测，分布式人工现实系统能够情景化手势330，并且响应于手势330向人工现实环境内的用户提供反馈。
分布式系统中的信号路径
图4是根据一个或多个实施方式的信号路径400的示图。在信号路径400中，信号源410向移动设备405发送第一信号415。移动设备向颈带115发送第二信号420。移动设备还向手环105发送第三信号425。手环105向颈带115发送第四信号430。该信号路径可以颠倒，使得颈带115向手环105发送第四信号430，和/或手环105向移动设备405发送第三信号425。连接器145将第五信号435传送至眼部佩戴设备110。该信号路径可以颠倒，使得眼部佩戴设备110通过连接器145向颈带115发送第五信号435，颈带115向移动设备405发送第二信号420，并且移动设备向信号源410发送第一信号415。第一信号415、第二信号420、第三信号425、第四信号430和第五信号435分别可以以任意顺序发送和接收。仅仅用于说明性目的，它们在图4中描述为“第一”、“第二”、“第三”、“第四”和“第五”。
信号源410是无线信号源，其能够经由信号源410的蜂窝网络，将移动设备405链接至互联网。在一些实例中，信号源410是蜂窝网络。信号源可以是使用有线和/或无线通信系统的来自局域网和/或广域网的任意组合。信号源410可以使用标准通信技术和/或协议来发送第一信号415。可以使用诸如以太网、802.11、全球互通微波存取(WiMAX)、3G、4G、5G、码分多址(CDMA)、数字用户线路(DSL)等的技术发送第一信号415。在一些实例中，移动设备可以是具有计算机功能的任意设备，诸如个人数字助理(PDA)、智能电话、膝上型电脑、平板电脑或另一合适设备。移动设备405被配置为与信号源410、手环105和颈带115通信。在一些实施方式中，颈带115和/或手环105与信号源410直接通信，使得从信号源410发送的第一信号415被直接发送至颈带115和/或手环105。
移动设备405将第二信号420传送至颈带115并且将第三信号425传送至手环105。第二信号420和第三信号425可以是有线或无线信号。移动设备405可以具有用于控制通过手环105、颈带115和/或眼部佩戴设备110生成的人工现实环境的应用。该应用可以在任意移动设备操作系统(诸如IOS操作系统、安卓操作系统等)上运行。移动设备405上的应用可以控制手环105、颈带115和眼部佩戴设备110上的其他特征，诸如，打开或关闭语音命令特征、调节音量、亮度等。移动设备405上的应用可以允许手环105、颈带115和眼部佩戴设备110的个性化设置。
移动设备405可以用作位于颈带115的计算舱中的处理器以外的额外处理器。通过第二信号420或第三信号425中的任一个，移动设备405的处理器通信地耦接至颈带115和手环105中的每一个。在一些实例中，眼部佩戴设备110可以通过第五信号435和第二信号420通信地耦接至移动设备405的处理器。在其他实例中，眼部佩戴设备110通过无线信号通过眼部佩戴设备110与移动设备405之间的直接信号(未示出)，通信地耦接至移动设备405的处理器。眼部佩戴设备110与移动设备405之间的无线信号可以是蓝牙信号、Wi-Fi信号或任意其他合适的无线信号。移动设备可以处理来自手环105、眼部佩戴设备110和/或颈带115的信息。取决于是否存在接收或发送处理信息的延迟问题，移动设备405与颈带115可以具有有线或无线通信。在一些实例中，移动设备405可以用作用于位于颈带115上的电池舱的电池备份。在一些实例中，颈带115从移动设备405接收关于眼部佩戴设备110上的传感器的信息。
第二信号420、第三信号425、第四信号430和第五信号435分别可以是无线信号，诸如蓝牙信号、Wi-Fi信号或任意其他合适的无线信号。在一些实例中，第二信号420、第三信号425、第四信号430和第五信号435分别可以是通过有线或任意其他非无线信号传递的电、磁或光信号。因此，第二信号420可以是从颈带115传递至移动设备405的信息，或者从移动设备405传递至颈带115的信息。该信息可以由移动设备405处理。
因此，移动设备405通过至少第二信号420耦接至颈带115。颈带115上的投影仪可以向移动设备405的屏幕投影图像、视频或任意视觉内容。因此，移动设备405可以用作额外人工现实设备，可以从颈带115投影人工现实环境到该人工现实设备上。移动设备405可以仅与手环105和/或颈带115一起操作，使得眼部佩戴设备110不被包括在用户的人工现实体验中，并且人工现实环境完全由颈带115和移动设备405或者手环105和移动设备405生成。
在一些实例中，移动设备405上的照相机可以具有3D用户捕获特征，允许用户的身体被3维渲染和跟踪。移动设备上的照相机可以提供用户面部的3D深度图。成像设备310可以位于移动设备405上。在一些实例中，移动设备405包括增强通过成像设备310确定的关于局部环境305的信息的单独成像设备。例如，移动设备405可以具有包括深度照相机组件的被动照相机或主动照相机，其能够扫描房间或者以另外方式映射用户环境。照相机组件可以是能够产生深度图的ToF系统、SL系统、单声道或立体声视觉(被动和/或主动)或者任意其他系统。照相机组件可以提供用户环境的全面3D描述，诸如用户所站立的房间或者围绕用户的其他物理结构。移动设备405上的照相机可以向手环105、颈带115和/或眼部佩戴设备110提供3D信息。
移动设备405也可以具有音频和/或视觉流特征，允许用户感知可以补充通过手环105、颈带115和/或眼部佩戴设备110产生的人工现实环境的音频/视觉信息。移动设备405可以包括触觉特征，其中，用户与移动设备405的物理交互作为命令转移至手环105、颈带115和/或眼部佩戴设备110。
因此，移动设备405可以补充由手环105、眼部佩戴设备110和/或颈带115提供的人工现实环境。
除了通过移动设备405通信以外，手环105可以通过第四信号430向颈带115直接通信。第四信号430可以是无线信号，诸如蓝牙信号、Wi-Fi信号或任意其他合适的无线信号。在一些实例中，第四信号430可以是通过有线或任意其他非无线信号传递的电、磁或光信号。因此，第四信号430可以是从颈带115传递至手环105的信息或者从手环105传递至颈带115的信息。该信息可以由颈带115处理。例如，手环105可以通过第四信号430将手势330传送至颈带115。
分布式人工现实系统
图5是根据一个或多个实施方式的分布式人工现实系统500的框图。分布式人工现实系统500包括手环536、NED 502、颈带514和移动设备534。手环536连接至NED 502、颈带514和移动设备534。手环536可以是如图1至图4所述的手环105。颈带514连接至手环536、NED 502和移动设备534。颈带514可以是如图1至图2以及图4所述的颈带115。NED 502可以是如图1至图2以及图4所示的眼部佩戴设备110。移动设备534可以是如图4所示的移动设备405。在系统500的替代配置中，不同和/或额外部件可以被包括。系统500可以在VR系统环境、AR系统环境、MR系统环境或者其某种组合中操作。
NED 502包括如参考图1描述的光学系统135。NED 502也可以包括眼睛跟踪器504、一个或多个被动传感器506、一个或多个主动传感器508、一个或多个位置传感器510以及惯性测量单元(IMU)512。眼睛跟踪器504可以是NED 502的可选特征。
眼睛跟踪器504跟踪用户的眼睛移动。眼睛跟踪器504可以至少包括：二向色镜，用于从眼睛区域朝向第一位置反射光；以及照相机，位于光被反射的位置处以用于捕获图像。基于所检测的眼睛移动，眼睛跟踪器504可以与手环536、颈带514、CPU 520和/或移动设备534通信以用于进一步处理。通过眼睛跟踪器504收集并通过颈带514的CPU 520和/或移动设备534处理的眼睛跟踪信息可以用于各种显示和交互应用。各种应用包括但不限于，提供用户界面(例如，基于视线的选择)、注意力估计(例如，用于用户安全)、注视跟随显示模式(例如，注视点渲染、变焦光学器件、自适应光学失真校正、合成景深渲染)、用于深度和视差校正的度量缩放等。在一些实施方式中，移动设备534中的处理器也可以提供用于眼睛跟踪器504的计算。
被动传感器506可以是照相机。被动传感器也可以是定位器，其是位于NED 502上的相对于彼此并且相对于NED 502上的具体参考点的特定位置的对象。定位器可以是角隅棱镜反射器、反射标记物、与NED 502所运行的环境形成对比的一类光源或者其某种组合。在定位器是主动传感器(即，LED或其他类型的发光设备)的实施方式中，定位器可以以可见频带(～370nm至750nm)、红外(IR)频带(～750nm至1700nm)、紫外频带(300nm至380nm)、电磁频谱的某个其他部分或其某种组合发光。
基于来自一个或多个位置传感器510的一个或多个测量信号，IMU 512生成指示相对于NED 502的初始位置的NED 502的估计位置的IMU跟踪数据。例如，位置传感器510包括多个加速度计来测量平移运动(前/后、上/下、左/右)，以及多个陀螺仪来测量旋转运动(例如，俯仰、偏航、滚动)。在一些实施方式中，IMU 512对测量信号进行快速采样，并且从采样数据中计算NED 502的估计位置。例如，IMU 512对从加速计接收的测量信号随时间进行积分以估计速度矢量，并对速度矢量随时间进行积分以确定NED 502的参考点的估计位置。可替代地，IMU 512向颈带514和/或移动设备534提供采样的测量信号，以处理估计NED 502的速度矢量和估计位置所需的计算。
IMU 512可以从手环536、颈带514和/或移动设备534接收一个或多个校准参数。一个或多个校准参数用于保持NED 502的跟踪。基于所接收的校准参数，IMU 512可以调节一个或多个IMU参数(例如，采样率)。该调节可以通过颈带514的CPU 520或移动设备534的处理器确定。在一些实施方式中，某些校准参数使IMU 512更新参考点的初始位置，使其对应于参考点的下一校准位置。在参考点的下一个校准位置处更新参考点的初始位置有助于减少与所确定的NED 502的估计位置相关联的累积误差。累积误差(也称为漂移误差)导致参考点的估计位置随时间从参考点的实际位置“漂移”离开。在一些实例中，IMU 512位于颈带514上，或者IMU存在于颈带514和NED 502两者中。在一些实例中，IMU 512从NED 502上的位置传感器510、手环536上的位置传感器538和颈带(未示出)上的位置传感器510接收位置信息。
如图5所示，颈带514包括成像设备310、电源518、CPU 520、投影仪526、用户生命特征监控器528、无线网关530、成像设备310和激活器532。音频单元516、投影仪526、用户生命特征监控器528、成像设备310和激活器532是颈带514的可选部件。在一些实施方式中，颈带514包括与各种功能单元接合的一个或多个多功能舱。功能单元可以包括，例如，额外电源、额外处理单元(例如，CPU)、投影仪526、用户生命特征监控器528、无线网关530和激活器532。
可选地，成像设备310位于颈带514上。在系统500的其他实施方式中，成像设备310可以位于移动设备534或NED 502上。参考图3更详细描述成像设备310。
电源518向光学系统135、眼睛跟踪器504、被动传感器506、主动传感器508、位置传感器510和IMU 512提供电力。电源518可以是如图1所示的电池舱155。电源518可以是可再充电电池，其可以通过移动设备534再充电。电源518可以响应于激活器532的输入和/或由移动设备534接收的命令而开启或关闭。
CPU 520可以是任意标准处理器，并且可以是嵌入如图1所示的计算舱170中的处理器。CPU 520可以提供用于手环536和NED 502的所有计算处理，包括与位置传感器538、IMU 540、照相机542、磁性传感器544、眼睛跟踪器504、被动传感器506、主动传感器508、IMU512相关联的计算。CPU 520可以执行与移动设备534的处理器并行的计算。移动设备534中的处理器可以向CPU 520提供计算结果。
投影仪526可以位于颈带514上以便向用户投影视觉信息。投影仪526可以向用户视野的表面或者与屏幕耦接的设备(诸如移动设备534)上投影视觉信息。
用户生命特征监控器528监控生命体征和其他用户健康指标。生命体征可以是心律、脉搏、估计卡路里消耗、用户所进行的步数、用户体温、呼吸率、血压等。用户生命特征监控器528可以定位为与颈带514上的用户颈部紧密接近，使得生命体征可以精确。例如，如果生命特征监控器牢固按压在用户颈部上，则脉搏检测更准确。用户生命特征监控器528可以与电源518和CPU 520隔热，以确保温度估计是用户体温的结果并且未受到由电源518和CPU520生成的热量的影响。用户生命特征监控器可以与位置传感器510和IMU 512通信以检测用户步数和用户移动，以估计所进行的步数和/或卡路里消耗。
无线网关530提供与移动设备534、手环536和/或NED 502的信号通信。如图4所示，无线网关530可以从移动设备405向颈带115传递第二信号420。如图4所示，无线网关530可以传递第三信号425。无线网关530可以是任意标准无线信号网关，诸如蓝牙网关、Wi-Fi网关等。
激活器532控制手环536、颈带514、NED 502和/或移动设备534上的功能。激活器532可以接通或断开手环536、NED 502和/或颈带514的单元中的任一个。
手环536包括位置传感器538、IMU 540、照相机542和磁性传感器544。手环536可以包括任意额外被动或主动传感器。位置传感器538响应于手环536的移动产生信号。在一些实例中，位置传感器538指示手环536与NED 502、颈带514和/或移动设备534中的任一个之间的相对位置。位置传感器538可以是位置传感器120，并且被相对于图1更详细描述。IMU540使用由位置传感器538生成的信号，来确定手环536的位置。还相对于图1描述IMU 540。照相机542收集关于用户手部的视觉信息以确定用户手势，诸如手势330。照相机542可以是照相机125，并且被相对于图1更详细描述。磁性传感器544产生指示背景磁场的方向的信号。手环536的移动产生磁性传感器544相对于磁场的相对位置的变化，该变化可以用于确定手环105的移动。磁性传感器544可以是磁性传感器130，并且被相对于图1更详细描述。
分布式人工现实系统500向用户或者其任意组合产生人工现实环境。分布式人工现实系统500能够在手环536、NED 502、颈带514和移动设备534上分配处理、电力和热量生成功能。这允许手环536、NED 502和颈带514中的每一个为了用户舒适度而被调节至期望重量和温度，并且提供变化的虚拟环境接口和功能以用于用户与手环536、NED 502、颈带514和/或移动设备534中的任一个交互。
附加配置信息
本公开实施方式的上述描述仅出于说明的目的而呈现，并不旨在穷尽或者将本公开局限于所公开的确切形式。本领域的技术人员可以理解，鉴于上述公开内容，许多修改和变化是可能的。
本说明书的一些部分从信息运算的算法和符号表示法的角度描述了本公开的实施方式。这些算法描述和表示通常由数据处理领域的技术人员使用，以便将他们的工作实质有效传达给本领域的其他技术人员。这些运算，当被描述为功能性的、计算性的或逻辑性的时，被理解为由计算机程序或其他等同电路、微码等实施。此外，有时，把这些运算的安排称为模块也是方便的，并且不失其一般性。运算及其关联模块可以具体化为软件、固件、硬件或其任意组合。
本文描述的任何步骤、操作或处理可以被一个或多个硬件或软件模块单独或与其他设备组合执行或实施。在一个实施方式中，软件模块可以被计算机程序产品实施，该计算机程序产品包括包含计算机程序代码的计算机可读介质，该程序代码可以由计算机处理器执行以用于执行所描述的任何或所有步骤、操作或处理。
本公开的实施方式还可以涉及一种用于执行本文中的操作的装置。这种装置可能是为所需的目的特别构造的，和/或该装置可以包括被储存在计算机中的计算机程序选择性启动或重新配置的通用计算设备。这样的计算机程序可以被储存在非暂时性、有形的计算机可读存储介质或适于存储电子指令的任意介质类型，这些介质可以耦接至计算机系统总线。此外，本说明书所指的任何计算系统可以包括单个处理器或者可以是使用多个处理器设计以增强计算能力的架构。
本公开的实施方式还可以涉及由本文中所描述的计算过程制造的产品。这样的产品可以包括来自计算过程的信息，其中，信息存储在非暂时性、有形的计算机可读存储介质中，并且可以包括本文所述的计算机程序产品或其他数据组合的任意实施方式。
最后，本说明书中使用的语言被主要选择为达到可读性和指导目的，并且可以未被选择为描绘或限制本发明主题。因此，意图是本公开的范围不受该详细描述的限制，而是由基于此的应用发布的任何权利要求。因此，实施方式的公开内容旨在用于说明，而非限制在所附权利要求中阐述的本公开的范围。

Claims (20)

1.一种人工现实系统，包括：
眼部佩戴设备，被配置为向用户呈现内容；
处理器，通信地耦接至所述眼部佩戴设备；
手环，包括至少一个传感器，所述至少一个传感器被配置为响应于所述用户的手部的移动来确定位置信号，所述手环通信地耦接至所述处理器；
深度照相机组件，通信地耦接至所述处理器并且被配置为向所述用户的环境发射波形，并且从所述环境中的至少一个对象反射出的波形捕获多个光信号；并且
其中，所述处理器被配置为部分基于所述位置信号和所述多个光信号，来确定所述用户的手部相对于所述环境的位置。
2.根据权利要求1所述的系统，其中，所述处理器被进一步配置为至少部分基于所述多个光信号，来确定所述用户的所述环境中的所述至少一个对象的位置。
3.根据权利要求2所述的系统，其中，所述处理器被进一步配置为将所述环境中的所述至少一个对象的位置与所述用户的手部的位置进行比较，并且确定所述用户的手部的位置指向所述至少一个对象。
4.根据权利要求2所述的系统，其中，所述用户的手部的位置指向所述至少一个对象，并且所述眼部佩戴设备被进一步配置为改变向所述用户呈现的内容。
5.根据权利要求1所述的系统，其中，所述处理器使用运动学模型来将所述位置信号与手势相关，并且其中，所述眼部佩戴设备响应于所述手势改变向所述用户呈现的内容。
6.根据权利要求5所述的系统，其中，所述运动学模型是机器学习模型。
7.根据权利要求1所述的系统，进一步包括与所述手环通信地耦接的移动设备，并且其中，所述处理器位于所述移动设备中。
8.根据权利要求1所述的系统，进一步包括与所述手环通信地耦接的颈带，并且其中，所述处理器位于所述颈带中。
9.根据权利要求8所述的系统，其中，所述深度照相机组件位于所述颈带中。
10.根据权利要求1所述的系统，其中，所述至少一个传感器选自由以下项组成的组：陀螺仪、加速计和磁力计。
11.一种头戴式显示器，包括：
眼部佩戴设备，被配置为向用户呈现内容；
处理器，通信地耦接至所述眼部佩戴设备；
手环，包括至少一个传感器，所述至少一个传感器被配置为响应于所述用户的手部的移动来确定位置信号，所述手环通信地耦接至所述处理器；
深度照相机组件，通信地耦接至所述处理器并且被配置为向所述用户的环境发射波形，并且从所述环境中的至少一个对象反射出的波形捕获多个光信号；并且
其中，所述处理器被配置为部分基于所述位置信号和所述多个光信号，来确定所述用户的手部相对于所述环境的位置。
12.根据权利要求11所述的头戴式显示器，其中，所述处理器被进一步配置为至少部分基于所述多个光信号，来确定所述用户的所述环境中的所述至少一个对象的位置。
13.根据权利要求12所述的头戴式显示器，其中，所述处理器被进一步配置为将所述环境中的所述至少一个对象的位置与所述用户的手部的位置进行比较，并且确定所述用户的手部的位置指向所述至少一个对象。
14.根据权利要求12所述的头戴式显示器，其中，所述用户的手部的位置指向所述至少一个对象，并且所述眼部佩戴设备被进一步配置为改变向所述用户呈现的内容。
15.根据权利要求11所述的头戴式显示器，其中，所述处理器使用运动学模型来将所述位置信号与手势相关，并且其中，所述眼部佩戴设备响应于所述手势改变向所述用户呈现的内容。
16.根据权利要求15所述的头戴式显示器，其中，所述运动学模型是机器学习模型。
17.根据权利要求11所述的头戴式显示器，进一步包括与所述手环通信地耦接的移动设备，并且其中，所述处理器位于所述移动设备中。
18.根据权利要求11所述的头戴式显示器，进一步包括与所述手环通信地耦接的颈带，并且其中，所述处理器位于所述颈带中。
19.根据权利要求18所述的头戴式显示器，其中，所述深度照相机组件位于所述颈带中。
20.根据权利要求11所述的头戴式显示器，其中，所述至少一个传感器选自由以下项组成的组：陀螺仪、加速计和磁力计。
CN201910040457.8A 2018-03-13 2019-01-16 人工现实系统和头戴式显示器 Pending CN110275602A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/919,887 2018-03-13
US15/919,887 US10572002B2 (en) 2018-03-13 2018-03-13 Distributed artificial reality system with contextualized hand tracking

Publications (1)

Publication Number Publication Date
CN110275602A true CN110275602A (zh) 2019-09-24

Family

ID=67904055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910040457.8A Pending CN110275602A (zh) 2018-03-13 2019-01-16 人工现实系统和头戴式显示器

Country Status (2)

Country Link
US (2) US10572002B2 (zh)
CN (1) CN110275602A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022067836A1 (en) * 2020-10-01 2022-04-07 Qualcomm Incorporated Simultaneous localization and mapping using cameras capturing multiple spectra of light

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110102044B (zh) * 2019-03-15 2021-04-30 歌尔科技有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
WO2020255384A1 (ja) * 2019-06-21 2020-12-24 マクセル株式会社 ヘッドマウントディスプレイ装置
WO2023220294A1 (en) * 2022-05-12 2023-11-16 Meta Platforms Technologies, Llc Head-worn wearable device providing indications of received and monitored sensor data, and methods and systems of use thereof
US11822736B1 (en) * 2022-05-18 2023-11-21 Google Llc Passive-accessory mediated gesture interaction with a head-mounted device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
CN103180893A (zh) * 2011-08-23 2013-06-26 索尼公司 用于提供三维用户界面的方法和系统
US20130229261A1 (en) * 2012-03-01 2013-09-05 Elwha Llc Systems and methods for scanning a user environment and evaluating data of interest
US20150019227A1 (en) * 2012-05-16 2015-01-15 Xtreme Interactions, Inc. System, device and method for processing interlaced multimodal user input
US20150188997A1 (en) * 2014-01-02 2015-07-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling electronic devices in proximity
CN105190482A (zh) * 2013-03-15 2015-12-23 高通股份有限公司 缩放手势的检测
CN105785316A (zh) * 2016-03-11 2016-07-20 成都理想境界科技有限公司 一种空间定位系统及方法
CN205484773U (zh) * 2016-03-11 2016-08-17 成都理想境界科技有限公司 一种空间定位系统
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN107209960A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN107664949A (zh) * 2016-07-29 2018-02-06 联想（新加坡）私人有限公司 用于呈现虚拟现实对象的设备和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW395121B (en) 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
DE69736622T2 (de) 1996-07-03 2007-09-13 Hitachi, Ltd. System zur Bewegungserkennung
AU2001233019A1 (en) 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US20110199303A1 (en) 2010-02-18 2011-08-18 Simpson Samuel K Dual wrist user input system
US20110199296A1 (en) 2010-02-18 2011-08-18 Simpson Samuel K Single wrist user input system
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US20140267701A1 (en) 2013-03-12 2014-09-18 Ziv Aviv Apparatus and techniques for determining object depth in images
EP3090382B1 (en) * 2014-01-05 2023-08-30 ManoMotion AB Real-time 3d gesture recognition and tracking system for mobile devices
US20150227245A1 (en) * 2014-02-10 2015-08-13 Polyera Corporation Attachable Device with Flexible Electronic Display Orientation Detection
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120194644A1 (en) * 2011-01-31 2012-08-02 Microsoft Corporation Mobile Camera Localization Using Depth Maps
CN103180893A (zh) * 2011-08-23 2013-06-26 索尼公司 用于提供三维用户界面的方法和系统
US20130229261A1 (en) * 2012-03-01 2013-09-05 Elwha Llc Systems and methods for scanning a user environment and evaluating data of interest
US20150019227A1 (en) * 2012-05-16 2015-01-15 Xtreme Interactions, Inc. System, device and method for processing interlaced multimodal user input
CN105190482A (zh) * 2013-03-15 2015-12-23 高通股份有限公司 缩放手势的检测
US20150188997A1 (en) * 2014-01-02 2015-07-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling electronic devices in proximity
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN107209960A (zh) * 2014-12-18 2017-09-26 脸谱公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
CN107533233A (zh) * 2015-03-05 2018-01-02 奇跃公司 用于增强现实的系统和方法
CN105785316A (zh) * 2016-03-11 2016-07-20 成都理想境界科技有限公司 一种空间定位系统及方法
CN205484773U (zh) * 2016-03-11 2016-08-17 成都理想境界科技有限公司 一种空间定位系统
CN107664949A (zh) * 2016-07-29 2018-02-06 联想（新加坡）私人有限公司 用于呈现虚拟现实对象的设备和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022067836A1 (en) * 2020-10-01 2022-04-07 Qualcomm Incorporated Simultaneous localization and mapping using cameras capturing multiple spectra of light

Also Published As

Publication number Publication date
US10572002B2 (en) 2020-02-25
US20190286224A1 (en) 2019-09-19
US10976807B2 (en) 2021-04-13
US20200150753A1 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
US10528133B2 (en) Bracelet in a distributed artificial reality system
US10261542B1 (en) Distributed augmented reality system
US11385467B1 (en) Distributed artificial reality system with a removable display
US9728010B2 (en) Virtual representations of real-world objects
CN110275602A (zh) 人工现实系统和头戴式显示器
CN108474952B (zh) 头戴式电子设备
CN103443742B (zh) 用于凝视和姿势接口的系统和方法
US9122321B2 (en) Collaboration environment using see through displays
US10623721B2 (en) Methods and systems for multiple access to a single hardware data stream
US11854171B2 (en) Compensation for deformation in head mounted display systems
US20160063762A1 (en) Management of content in a 3d holographic environment
US11628038B2 (en) Multi-option all-digital 3D surgery visualization system and control
CN110941091B (zh) 具有多个电源和数据配置的多设备系统
KR20180096434A (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN109567778A (zh) 心率监测设备
KR101203921B1 (ko) 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치
CN115735150A (zh) 增强现实眼戴器与3d服装
CN108446011A (zh) 一种基于增强现实的医疗辅助方法及设备
CN116249873A (zh) 具有异步滚动快门相机的护目镜
US20220197032A1 (en) Eyewear including a push-pull lens set
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
Luo et al. Development of a three-dimensional multimode visual immersive system with applications in telepresence
JP2013131884A (ja) 眼鏡

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190924