CN115104134A - 联合的红外及可见光视觉惯性对象跟踪 - Google Patents

联合的红外及可见光视觉惯性对象跟踪 Download PDF

Info

Publication number
CN115104134A
CN115104134A CN202180008021.6A CN202180008021A CN115104134A CN 115104134 A CN115104134 A CN 115104134A CN 202180008021 A CN202180008021 A CN 202180008021A CN 115104134 A CN115104134 A CN 115104134A
Authority
CN
China
Prior art keywords
wearable device
frame
camera
exposure time
capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180008021.6A
Other languages
English (en)
Inventor
C·福斯特
A·梅利姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN115104134A publication Critical patent/CN115104134A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

在一个实施例中，一种用于跟踪的方法包括接收由可穿戴设备的运动传感器捕获的运动数据、基于运动数据生成可穿戴设备的姿势、由相机使用第一曝光时间来捕获可穿戴设备的第一帧、在第一帧中标识设置在可穿戴设备上的灯的图案、由相机使用第二曝光时间来捕获可穿戴设备的第二帧、在第二帧中标识可穿戴设备的预定特征、以及基于第一帧中所标识的灯的图案或第二帧中所标识的预定特征来调整可穿戴设备在环境中的姿势。方法利用预定特征，用于在特定的光条件下在可见光帧中跟踪可穿戴设备，以提高控制器的姿势的准确性。

Description

联合的红外及可见光视觉惯性对象跟踪
技术领域
本发明总体上涉及基于红外的对象跟踪，并且更明确地涉及用于惯性辅助的红外及可见光跟踪的方法、装置和系统。
背景技术
当前的AR/VR控制器正使用由控制器上的红外IR发光二极管(LED)形成的已知图案被跟踪。尽管每个控制器具有IMU并且IMU数据可以被使用以确定控制器的姿势，但是估计的姿势将不可避免地随时间漂移。因此，控制器的基于IMU的姿势估计将需要周期性地与由相机观察到的经观察的图案重新对准。此外，基于IR LED的跟踪具有几个缺点。例如，明亮的阳光或其它红外光源将导致跟踪失败。此外，当控制器靠近用户的头部时，IR LED可能不可见以允许适当的跟踪。
发明内容
为了解决上述问题，公开了通过交替地捕获对象的短曝光帧和长曝光帧以跟踪控制器的方法、装置和系统，诸如通过相机交替地执行基于红外(IR)的跟踪和视觉惯性测程(VIO)跟踪。本公开提供了一种通过交替地拍摄具有较短曝光时间的控制器的IR图像和具有较长曝光时间的可见光图像来重新对准控制器的位置的方法。本申请中公开的方法可以基于基于IR的观测或可见光观测，考虑环境的条件来跟踪控制器。此外，本申请中公开的方法可以周期性地重新发起控制器的跟踪或当控制器在相机的视场中可见时重新发起控制器的跟踪，从而控制器的估计姿势的精度可以随时间被提高。
本文公开的实施例仅是示例，并且本公开的范围不限于它们。特定实施例可以包括以下的全部、一些或没有：本文公开的实施例的组件、元件、特征、功能、操作或步骤。根据方法的一个实施例，方法包括由计算系统接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据。方法进一步包括基于运动数据生成可穿戴设备的姿势。方法还进一步包括由相机使用第一曝光时间捕获可穿戴设备的第一帧。方法附加地包括在第一帧中标识设置在可穿戴设备上的灯的图案。方法进一步包括由相机使用第二曝光时间捕获可穿戴设备的第二帧。方法进一步包括在第二帧中标识可穿戴设备的预定特征。在特定实施例中，预定特征可以是在先前帧中所标识的特征。方法还进一步包括基于以下中的至少一项来调整可穿戴设备在环境中的姿势：(1)在第一帧中的所标识的灯的图案或(2)在第二帧中的所标识的预定特征。
根据本发明的一个方面，提供了一种方法，包括由计算系统：接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据；基于运动数据生成可穿戴设备的姿势；由相机使用第一曝光时间捕获可穿戴设备的第一帧；在第一帧中标识设置在可穿戴设备上的灯的图案；由相机使用第二曝光时间捕获可穿戴设备的第二帧；在第二帧中标识可穿戴设备的预定特征；以及基于以下中的至少一项来调整可穿戴设备在环境中的姿势：(1)在第一帧中的所标识的灯的图案或(2)在第二帧中的所标识的预定特征。
当环境具有第一光条件时，一些实施例可以使用第一曝光时间来捕获可穿戴设备的第一帧；以及当环境具有第二光条件时，使用第二曝光时间来捕获可穿戴设备的第二帧。
在一些实施例中，第二光条件可以包括以下中的一项或多项：具有明亮光的环境；具有干扰可穿戴设备的灯的图案的光源的环境；无法捕获灯的图案的相机。
在一些实施例中，可穿戴设备可以配备有一个或多个惯性测量单元(IMU)和一个或多个红外IR发光二极管(LED)；第一帧是IR图像；并且第二帧是可见光图像。
在一些实施例中，第二曝光时间可以比第一曝光时间长。
在一些实施例中，可穿戴设备的姿势可以以比第一帧和第二帧被捕获的频率更快的频率被生成。
在一些实施例中，方法可以进一步包括：由相机使用第二曝光时间捕获可穿戴设备的第三帧；在第三帧中标识与可穿戴设备的预定特征相对应的一个或多个特征；确定预定特征和一个或多个特征之间的对应性数据；以及基于对应性数据来跟踪环境中的可穿戴设备。
在一些实施例中，计算系统可以包括：相机，其被配置为捕获可穿戴设备的第一帧和第二帧；标识单元，其被配置为标识可穿戴设备的灯的图案和预定特征；以及滤波器单元，其被配置为调整可穿戴设备的姿势。
在一些实施例中，相机可以位于头戴式装置内；并且其中所述可穿戴设备是与头戴式装置分离的控制器。
在一些实施例中，头戴式设备可以包括一个或多个处理器，其中一个或多个处理器被配置为实现相机、标识单元、以及滤波器单元。
根据本发明的进一步方面，提供了一种或多种计算机可读非瞬态存储介质，体现有软件，软件在被执行时能够操作以：接收由可穿戴设备的一个或多个运动传感器捕获的运动数据；基于运动数据生成可穿戴设备的姿势；由相机使用第一曝光时间捕获可穿戴设备的第一帧；在第一帧中标识设置在可穿戴设备上的灯的图案；由相机使用第二曝光时间捕获可穿戴设备的第二帧；在第二帧中标识可穿戴设备的预定特征；以及基于以下中的至少一项来调整可穿戴设备在环境中的姿势：(1)在第一帧中的所标识的光图案或(2)在第二帧中的所标识的预定特征。
在一些实施例中，软件在被执行时还能够操作用于：当环境具有第一光条件时，使用第一曝光时间捕获可穿戴设备的第一帧；以及当环境具有第二光条件时，使用第二曝光时间捕获可穿戴设备的第二帧。
在一些实施例中，第二光条件可以包括以下中的一个或多个：具有明亮光的环境；具有干扰可穿戴设备的灯的图案的光源的环境；不能够捕获灯的图案的相机。
在一些实施例中，可穿戴设备可以配备有一个或多个惯性测量单元(IMU)和一个或多个红外(IR)发光二极管(LED)；第一帧是IR图像；并且第二帧是可见光图像。
在一些实施例中，第二曝光时间可以比第一曝光时间长。
在一些实施例中，可穿戴设备可以以比第一帧和第二帧被捕获的频率更快的频率被生成。
在一些实施例中，软件在被执行时能够进一步操作以：由相机使用第二曝光时间捕获可穿戴设备的第三帧；在第三帧中标识与可穿戴设备的预定特征相对应的一个或多个特征；确定在预定特征和一个或多个特征之间的对应性数据；以及基于经调整的姿势姿和对应性数据来跟踪环境中的可穿戴设备。
在一些实施例中，相机可以位于头戴式设备内；并且其中可穿戴设备是与头戴式设备分离的远程控制器。
根据本发明的进一步方面，提供了一种系统，包括：一个或多个处理器；以及一个或多个计算机可读非瞬态存储介质，其耦合到处理器中的一个或多个处理器并且包括指令，该指令当由处理器中的一个或多个处理器执行时能够操作以使系统：接收由可穿戴设备的一个或多个运动传感器捕获的运动数据；基于运动数据生成可穿戴设备的姿势；由相机使用第一曝光时间捕获可穿戴设备的第一帧；在第一帧中标识设置在可穿戴设备上的灯的图案；由相机使用第二曝光时间捕获可穿戴设备的第二帧；在第二帧中标识可穿戴设备的预定特征；以及基于以下中的至少一项来调整可穿戴设备在环境中的姿势：(1)在第一帧中的所标识的灯的图案或(2)在第二帧中的所标识的预定特征。
在一些实施例中，指令可以进一步使系统以：当环境具有第一光条件时，使用第一曝光时间捕获可穿戴设备的第一帧；以及当环境具有第二光条件时，使用第二曝光时间捕获可穿戴设备的第二帧。
在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体公开了根据本发明的实施例，其中在一个权利要求类别(例如方法)中提及的任何特征也可以在另一个权利要求类别(例如系统)中被要求。所附权利要求中的从属或引用仅针对形式原因而被选择。然而，也可以要求保护由对任何先前权利要求(特别是多个从属权利要求)的有意引用而产生的任何技术方案，使得权利要求及其特征的任何组合被公开并且可以被保护而不管在所附权利要求中选择的从属权利要求。可以要求被保护的技术方案不仅包括所附权利要求中阐述的特征的组合，而且包括权利要求中的特征的任何其它组合，其中权利要求中提及的每个特征可以与权利要求中的任何其它特征或其它特征的组合进行组合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中被保护。
本公开及其实施例的某些方面可以提供对这些或其他挑战的解决方案。本文提出了解决本文公开的一个或多个问题的各种实施例。本公开中公开的方法可以提供用于控制器的跟踪方法，其基于由头戴式设备的相机所捕获的IR图像和/或可见光图像来调整由从设置在控制器上的(多个)IMU所收集的IMU数据估计的控制器的姿势。即使用户处于具有各种光条件或光干扰的环境中，本公开中公开的方法也可以提高控制器的姿势的准确性。此外，本申请中公开的特定实施例可以基于IMU数据和可见光图像生成控制器的姿势，使得基于IR的跟踪可以被限制在特定光条件下以节省功率并且潜在地降低用于制造控制器的成本。因此，本公开中公开的备选跟踪系统可以在各种环境条件下有效地改进跟踪任务。
本公开的特定实施例可以包括人工现实系统或结合人工现实系统来实现。人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、混杂现实、或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或与所捕获的内容(例如，真实世界照片)组合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈或其某种组合，并且可以在单个通道或多个通道中呈现它们中的任何一个(诸如对观看者产生三维效果的立体视频)。另外，在一些实施例中，人工现实可以与例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。提供人工现实内容的人工现实系统可以在各种平台上被实现，包括连接至主机系统的头戴式显示器(HMD)、独立HMD、移动设备或计算系统、或能够向一个或多个观看者提供人工现实内容的任何其他硬件平台
本文公开的实施例仅是示例，并且本公开的范围不限于它们。特定实施例可以包括以下中的全部、一些或没有：以上公开的实施例的组件、元件、特征、功能、操作或步骤中。在涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体公开了根据本发明的实施例，其中在一个权利要求类别(例如方法)中提及的任何特征也可以在另一个权利要求类别(例如系统)中被要求。所附权利要求中的从属或引用仅针对形式原因而被选择。然而，也可以要求保护由对任何在前权利要求(特别是多个从属权利要求)的有意引用而产生的任何技术方案，使得权利要求及其特征的任何组合被公开并且可以被保护而不管在所附权利要求中选择的从属权利要求。可以要求保护的技术方案不仅包括所附权利要求中阐述的特征的组合，而且包括权利要求中的特征的任何其它组合，其中权利要求中提及的每个特征可以与权利要求中的任何其它特征或其它特征的组合进行组合。此外，本文描述或描绘的任何实施例和特征可以在单独的权利要求中和/或与在此描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中被保护。
附图说明
专利或申请文件包含彩色附图。具有(多个)彩色附图的本专利或专利申请公开的副本将由办公室(Office)在请求和支付必要费用后提供；
并入本说明书中并且形成本说明书的一部分的附图示出了本公开的若干方面，并且与说明书一起用于解释本公开的原理；
图1示出了跟踪系统架构的示例图；
图2示出了基于IR图像和/或可见光图像跟踪控制器的一个示例实施例；
图3示出了基于所标识的灯的图案和/或所标识的特征来跟踪控制器的一个示例实施例；
图4示出了调整控制器的姿势的示例图；
图5示出了基于控制器的经调整的姿势在局部或全局地图中定位控制器的示例图；
图6A－6B示出了用于通过基于环境中的第一光条件交替地捕获IR图像和可见光图像来调整可穿戴设备的姿势的方法的实施例；
图7示出了用于通过基于环境中的第二光条件捕获可见光图像来调整可穿戴设备的姿势的方法的实施例
图8示出了示例计算机系统。
具体实施方式
针对由当前AR/VR设备提供的广泛的服务和功能，控制器通常与AR/VR设备配对，以向用户提供一种简单、直观的方式来输入针对AR/VR设备的指令。控制器通常配备有用于AR/VR设备的至少一个惯性测量单元(IMU)和红外IR发光二极管(LED)，以估计控制器的姿势和/或跟踪控制器的位置，使得用户可以经由控制器执行某些功能。例如，用户可以使用控制器在房间的角落显示可视对象或在环境中生成可视标签。控制器的估计姿势将不可避免地随时间漂移，并且需要通过基于IR的跟踪来重新对准。然而，基于IR的跟踪可能受到其它LED光源和/或在具有明亮光的环境下的干扰。此外，基于IR的跟踪可能由于控制器的IRLED不可见以允许针对适当的跟踪而失败。本公开中公开的特定实施例提供了一种交替拍摄IR图像和可见光图像的方法，针对基于不同的光水平、环境条件和/或控制器的位置来调整控制器的姿势。
本公开中公开的特定实施例提供了一种根据利用IR跟踪或特征跟踪来重新对准控制器的姿势的方法，这取决于先发生哪一个。在控制器的初始化期间，本申请的特定实施例可以通过在中央模块中设置/描绘这些特征来预先确定特定特征，例如跟踪控制器的可靠特征，使得中央模块可以在可见光图像中标识这些特征，以在控制器的姿势沿操作漂移时调整控制器的姿势。
图1示出了根据特定实施例的示例性的基于VIO的SLAM跟踪系统架构。跟踪系统100包括中央模块110和至少一个控制器模块120。中央模块110包括相机112，其被配置为捕获环境中的控制器模块120的帧；标识单元114，其被配置为从由相机112所捕获的帧中标识斑块(patches)和特征；以及至少一个处理器116，其被配置为估计中央模块110和控制器模块120的几何形状。例如，几何形状包括局部地图中的3D点、控制器模块120和/或中央模块110的姿势/运动、中央模块110的校准、和/或控制器模块120的校准。控制器模块120包括至少一个IMU 122，其被配置为在从中央模块110接收指令124时收集控制器模块120的原始IMU数据128，并且被配置为将原始IMU数据128发送到处理器116以生成控制器模块120的姿势，使得中央模块110可以学习和跟踪控制器模块120在环境中的姿势。控制器模块120还可以向标识单元114提供原始IMU数据126，以用于计算针对对应模块的预测，诸如对应性数据。此外，控制器模块120可以包括选择性地分布在控制器模块120上以便由中央模块110跟踪的可跟踪标记。例如，可跟踪标记可以是多个灯(例如，发光二极管)或可以由相机112跟踪的其它可跟踪标记。
在特定实施例中，中央模块110的标识单元114接收指令130以启动控制器模块120。标识单元114经指令130的接收指示相机112捕获控制器模块120的第一帧以用于初始化。第一帧140可以包括设置或描绘在中央模块110中的一个或多个预定特征142。例如，预定特征142可以是在先前帧中所标识以跟踪控制器模块120的特征，并且在先前帧中重复识别的这些所标识的特征被认为是用于跟踪控制器模块120的可靠特征。中央模块110的相机112然后可以在控制器模块120的初始化之后开始捕获第二帧144。例如，中央模块110的处理器116可以通过捕获第二帧144开始跟踪控制器模块120。在一个实施例中，第二帧144可以是包括控制器模块120的预定特征142的可见光图像，使得中央模块110可以基于在第二帧144中所捕获的预定特征142来调整控制器模块120的姿势。在另一个实施例中，第二帧可以是IR图像，其捕获设置在控制器模块120上的多个灯，使得中央模块110可以基于由控制器模块120上的多个灯形成的灯的图案146来重新对准控制器模块120的姿势。此外，IR图像可以被使用以基于设置在控制器模块120上的灯的图案146(例如，LED的群集(constellation))来跟踪控制器模块120，并且此外，以更新中央模块110的处理器116。在特定实施例中，中央模块110可以被设置为交替地拍摄IR图像和可见光图像，以用于重新对准控制器模块120。在特定实施例中，中央模块110可以基于环境的光条件来确定拍摄IR图像或可见光图像以用于重新对准控制器模块120。在中央模块110处执行的详细操作和动作可以在图4中进一步被描述。
在某些实施例中，标识单元114可以进一步捕获第二帧144之后的第三帧，并且在第三帧中标识与预定特征142相对应的一个或多个斑块。在此特定实施例中，第二帧144和第三帧以及可能的一个或多个下一个帧是可见光帧，例如以长曝光时间拍摄的帧，使得中央模块110可以基于帧上的重复标识的特征来跟踪控制器模块120。然后，标识单元114可以确定在不同帧(例如，第二帧144和第三帧)中所标识的彼此对应的斑块之间的预定特征142的对应性数据132，并且将对应性数据132发送到处理器116以用于进一步分析和服务，诸如调整控制器模块120的姿势并且生成控制器模块120的状态信息。在特定实施例中，状态信息可以包括控制器模块120的姿势、速度，加速度、空间位置和运动，以及控制器模块120相对于由中央模块110的相机112所捕获的一系列帧建立的环境的可能的先前路径。
图2示出了根据某些实施例的用于基于IR图像和/或可见光图像的控制器的示例跟踪系统。跟踪系统200包括中央模块(未示出)和控制器模块210。中央模块包括相机和至少一个处理器以跟踪环境中的控制器模块210。在特定实施例中，中央模块的相机可以捕获第一帧220以确定或设置控制器模块210的预定特征222，用于在初始化阶段期间进行跟踪。例如，在控制器模块210的初始化/启动阶段期间，用户将控制器模块210放置在中央模块的相机的视场(FOV)范围内以启动控制器模块210。中央模块的相机可以在该启动阶段捕获控制器模块210的第一帧220，以确定一个或多个预定特征222以跟踪控制器模块210，诸如手的范围与控制器模块120重叠的区域和表示用户握持控制器模块120的手的尺侧缘。在特定实施例中，预定特征222还可以被描绘(例如，经由小QR码)。在特定实施例中，预定特征222可以是桌子的角落或在可见光帧中所标识的任何其它可跟踪特征。在特定实施例中，预定特征222可以是IR图像中的IR图案“斑点(blob)”，例如在IR图像中所捕获的LED的群集。
在特定实施例中，控制器模块210包括至少一个IMU和多个IR LED，使得控制器模块210可以在操作期间基于捕获IR LED的图案240的第二帧230或捕获预定特征222的第二帧230来重新对准。例如，中央模块可以基于从控制器模块210发送的原始IMU数据生成控制器模块210的姿势。所生成的控制器模块210的姿势可以随时间移位并且需要重新对准。中央模块可以确定以捕获第二帧230，第二帧230捕获控制器模块210，用于基于环境中的光条件来调整控制器210的所生成的姿势。在一个实施例中，第二帧230可以是包括IR LED的图案240的IR图像。当IR图案是已知先验的之时，作为IR图像的第二帧可以被使用以重新对准或跟踪控制器模块210而无需多个帧。在另一个实施例中，第二帧230可以是被标识为包括至少一个预定特征222的可见光图像。可见光图像可以是RGB图像、CMYK图像或灰度图像。
在特定实施例中，中央模块可以通过默认设置交替地捕获IR图像和可见光图像，使得中央模块可以基于IR图像或可见光图像中的哪一个图像被首先捕获以用于重新调整，来重新调整控制器模块210的所生成的姿势。在特定实施例中，当环境包括第一光条件时，中央模块可以捕获IR图像。第一光条件可以包括以下中的一项或多项：室内环境、背景中没有亮光的环境、没有干扰控制器模块210的IR LED的图案240的光源的环境。例如，环境可以不包括其他LED以干扰由中央模块的IR LED形成的图案240以确定控制器模块210的位置。
在特定实施例中，当环境包括第二光条件时，中央模块可以捕获可见图像。第二光条件可以包括以下中的一项或多项：具有明亮光的环境、具有干扰控制器模块210的IR LED的图案240的光源的环境、以及不能捕获灯的图案的中央模块的相机。例如，当用户握持用控制器模块210实现的控制器太靠近用中央模块实现的头戴式设备时，中央模块的相机不能捕获由控制器模块210的IR LED形成的完整图案240以确定控制器模块210在环境中的位置。在中央模块处执行的详细操作和动作可以在图3至7中进一步描述。
图3示出了根据某些实施例的利用控制器模块实现的示例控制器300。控制器300包括环绕的环部分310和手柄部分320。控制器300利用本公开中描述的控制器模块来实现，并且包括以对应的跟踪模式定位的多个跟踪特征。在特定实施例中，跟踪特征可以包括例如基准标记或发光二极管(LED)。在本文描述的特定实施例中，跟踪特征是LED灯，尽管在其它实施例中可以使用其它灯、反射器、信号生成器或其它无源或有源标记。例如，控制器300可以包括在环部分310或手柄部分320上的对比特征，例如围绕环部分310的表面的、具有对比色的条带，和/或嵌入在环部分310中的多个IR LED 330。跟踪模式中的跟踪特征被配置为由中央模块的跟踪相机精确地跟踪，以确定用于在虚拟/增强环境中再现的控制器300的运动、取向和/或空间位置。在特定实施例中，控制器300包括设置在环部分310上的灯332的群集或图案。
在特定实施例中，控制器300包括至少一个预定特征334，用于中央模块以重新调整控制器300的姿势。控制器300的姿势可以通过基于帧之间的预定特征334所确定的空间移动(X－Y－Z定位移动)来被调整。例如，中央模块可以确定控制器300在帧k+1中的更新的空间位置(例如，在操作期间所捕获的帧)，并且将其与控制器300在帧k中的先前的空间位置(例如，在控制器300的初始化中所捕获的帧)进行比较，以重新调整控制器300的姿势。
图4示出了根据某些实施例的包括中央模块410和控制器模块430的跟踪系统400的示例图。中央模块410包括相机412、标识单元414、跟踪单元416和滤波器单元418，以针对环境中的控制器420执行跟踪/调整。控制器模块430包括多个LED 432和至少一个IMU 434。在特定实施例中，中央模块410的标识单元414可以发送指令426以启动控制器模块430。在特定实施例中，针对控制器模块430的初始化可以包括捕获控制器模块430的第一帧并且预定第一帧中的一个或多个特征以用于跟踪/标识控制器模块430。指令426可以指示控制器模块430为中央模块410提供原始IMU数据436以跟踪控制器模块430。经指令426的接收，控制器模块430将由IMU 434收集的原始IMU数据436发送至中央模块410的滤波器单元418，以便在操作期间生成/估计控制器模块430的姿势。此外，控制器模块430将原始IMU数据436发送至标识单元414，用于计算对应模块的预测，例如控制器模块430的对应性数据。在特定实施例中，中央模块410以从500Hz到1kHz的频率测量控制器模块430的姿势。
在控制器模块430初始化之后，当控制器模块430在相机的FOV范围内时，中心模块410的相机412可以捕获第二帧，用于重新对准控制器模块430的所生成的姿势。在特定实施例中，相机412可以捕获控制器模块430的第二帧，以用于通过默认设置交替地重新对准为IR图像或可见光图像。例如，相机412可以以比生成控制器模块430的姿势的频率更慢的频率(例如，30Hz)交替地捕获IR图像和可见光图像，并且利用首先捕获的或能够重新对准的任何图像，诸如捕获控制器模块430的LED 432的可跟踪图案的图像或捕获用于跟踪控制器模块430的预定特征的图像。
在特定实施例中，标识单元414可以确定环境中的光条件，以指示相机412拍摄特定类型的帧。例如，相机412可以基于光条件422的确定向标识单元414提供帧420。在一个实施例中，当环境在背景中没有明亮的光时，相机412可以捕获包括设置在控制器模块430上的LED 432的图案的IR图像。在另一个实施例中，当环境具有类似的光源来干扰控制器模块430的LED 432的图案时，相机412可以捕获控制器模块430的可见光图像。在特定实施例中，相机412使用第一曝光时间捕获IR图像，并且使用第二曝光时间捕获可见光图像。考虑到用户的移动和/或环境的光条件，第二曝光时间可以比第一曝光时间长。
在没有使用控制器模块430的LED 432的特定实施例中，中央模块410可以基于可见光图像跟踪控制器模块430。神经网络可以被使用在可见光图像中以寻找控制器模块430。中央模块410的标识单元414可以在由相机412所捕获的帧中标识在若干帧上不断观察到的特征，例如用于跟踪控制器模块430的预定特征和/或可靠特征。中央模块410可以利用这些特征来计算/调整控制器模块430的姿势。在特定实施例中，特征可以包括与控制器模块430相对应的图像的斑块，诸如控制器模块430的边缘。
在特定实施例中，标识单元414可以进一步将所标识的帧424发送至滤波器单元418以用于调整控制器模块430的所生成的姿势。当滤波器单元418接收到所标识的帧418(其可以是捕获灯的图案的IR图像或包括用于跟踪控制器模块430的斑块的可见光图像)时，滤波器单元418可以基于控制器模块430的灯的图案或在来自可见光图像的斑块中所标识的预定特征来确定控制器模块430在环境中的位置。在特定实施例中，斑块可以是在图像/帧中明显的并且容易标识的特征(例如，控制器的角或边缘)的小图像标志，而与由相机412拍摄图像的角度无关。
此外，滤波器单元418还可以利用这些所标识的帧424以执行广泛的服务和功能，诸如生成用户/设备的状态、本地或全局地定位用户/设备、和/或在环境中渲染虚拟标签/对象。在特定实施例中，中央模块410的滤波器单元418还可以在生成用户的状态的帮助下使用原始IMU数据436。在特定实施例中，滤波器单元418可以基于所标识的帧424使用在环境中用户相对于控制器模块430的状态信息，以经由控制器模块430在环境中投影虚拟对象或在地图中设置虚拟标签。
在特定实施例中，标识单元414还可以将所标识的帧424发送至跟踪单元416以用于跟踪控制器模块430。跟踪单元416可以基于不同的所标识的帧424中的预定特征来确定对应性数据428，并且基于所确定的对应性数据428来跟踪控制器模块430。
在特定实施例中，中央模块410捕获至少以下帧以跟踪/重新对准控制器模块430：(1)IR图像；(2)可见光图像；(3)IR图像；和(4)可见光图像。在特定实施例中，中央模块410的标识单元414可以标识所捕获的IR图像中的IR图案。当IR图像中的IR图案与先验图案(诸如在第一帧中所标识的控制器模块430上的LED位置的群集)匹配时，单个IR图像可以足够被使用以由滤波器单元418用于状态估计和/或其它计算。在基于特征的跟踪的另一个实施例中，中央模块410的标识单元414可以标识特征以在第一可见光图像中跟踪，并且标识单元414然后可以尝试在第二可见光帧中标识相同的特征，该特征与在第一可见光图像中所标识的特征相对应。当标识单元414在至少两个可见光帧上重复观察相同的特征时，这些帧中的这些观察(例如，所标识的特征)可以被滤波器单元418使用于状态估计和/或其它计算。此外，在特定实施例中，中央模块410还可以使用单个可见光帧以基于控制器模块430的三维模型(诸如控制器模块430的计算机辅助设计(CAD)模型)来更新状态估计。
在特定实施例中，跟踪系统400可以被实现在任何合适的计算设备中，诸如个人计算机、膝上型计算机、蜂窝电话、智能电话、平板计算机、增强/虚拟现实设备、头戴式设备、便携式智能设备、可穿戴智能设备或与跟踪系统400兼容的任何合适的设备。在本公开中，正由跟踪设备跟踪和定位的用户可以是指安装在可移动对象(诸如车辆)上的设备，或依附于人的设备。在本公开中，用户可以是个人(人类用户)、实体(例如，企业、商业或第三方应用)、或与跟踪系统400交互或通信的组(例如，个人或实体)。在特定实施例中，中央模块410可以在头戴式设备中被实现，并且控制器模块430可以在与头戴式设备分离的远程控制器中被实现。头戴式设备包括一个或多个处理器，其被配置为实现中央模块410的相机412、标识单元414、跟踪单元416和滤波器单元418。在一个实施例中，每个处理器被配置为分别实现相机412、标识单元414、跟踪单元416和滤波器单元418。远程控制器包括被配置为实现控制器模块430的LED 432和IMU 434的一个或多个处理器。在一个实施例中，每个处理器被配置为分别实现LED 432和IMU 434。
本公开考虑了连接跟踪系统400中的每个元件或将跟踪系统400与其它系统连接的任何合适的网络。作为示例而非作为限制，网络的一个或多个部分可以包括自组织网络、内联网、外联网、虚拟专用网络(VPN)、局域网(LAN)、无线LAN(WLAN)、广域网(WAN)、无线WAN(WWAN)、城域网(MAN)、因特网的一部分、公共交换电话网(PSTN)的一部分、蜂窝电话网络、或这些中的两个或多个的组合。网络可以包括一个或多个网络。
图5示出了根据某些实施例的、具有地图服务的跟踪系统500的示例图。跟踪系统500包括控制器模块510、中央模块520和云530。控制器模块510包括IMU单元512、光单元514和处理器516。控制器模块510从中央模块520接收一个或多个指令542以执行特定功能。例如，指令542包括但不限于启动控制器模块510的指令、关闭光单元514的指令、以及标记环境中的虚拟对象的指令。控制器模块510被配置为将原始IMU数据540发送至中央模块420以用于操作期间的姿势估计，使得控制器模块510的处理器516可以在地图中或在环境中准确地执行指令542。
中央模块520包括相机522、标识单元524、跟踪单元526和滤波器单元528。中央模块520可以被配置为基于各种方法(例如，由原始IMU数据540所确定的控制器模块510的估计姿势)来跟踪控制器模块510。此外，中央模块520可以被配置为在操作期间基于由相机522所捕获的控制器模块510的帧来调整控制器模块510的估计姿势。在特定实施例中，中央模块520的标识单元524可以基于环境的光条件来确定程序以捕获控制器模块510的帧。程序包括但不限于交替地捕获IR图像和可见光图像以及仅捕获可见光图像。IR图像被第一曝光时间捕获，并且可见光图像被第二曝光时间捕获。在特定实施例中，第二曝光时间可以比第一曝光时间长。标识单元524然后可以基于确定指示相机522拍摄控制器模块510的帧/图像，并且相机522将根据确定向标识单元524提供特定帧。在特定实施例中，标识单元524还可以指示控制器模块510以关闭特定光条件(例如附近的另一个LED源)的光单元514，以节省功率。
标识单元524经来自相机522的接收标识帧。特别地，当控制器模块510需要重新调整其姿势时，标识单元524可以接收首先被捕获的帧。例如，相机522以慢速率(例如，30Hz的频率)交替地捕获IR图像和可见光图像，并且然后当控制器模块510在相机522的FOV内时，将帧发送至标识单元524。因此，所捕获的帧可以是IR图像或可见光图像。在特定实施例中，标识单元524可以在所捕获的帧中标识由控制器模块510的光单元514形成的图案。由光单元514形成的图案可以指示控制器模块510相对于用户/中央模块520和/或环境的位置。例如，响应于控制器模块510的移动/旋转，光单元514的图案改变。在特定实施例中，标识单元524可以标识用于跟踪在所捕获帧中的控制器模块510的预定特征。例如，当握持控制器模块510时，控制器模块510的预定特征可以包括用户的手势，使得预定特征可以指示控制器模块510相对于用户/中央模块520的位置。然后，标识单元524可以将所标识的帧发送至滤波器单元528，用于调整控制器模块528的姿势。在特定实施例中，标识单元524还可以将所标识的帧发送至跟踪单元526用于跟踪控制器单元510。
滤波器单元528基于所接收的原始IMU数据540生成控制器模块510的姿势。在特定实施例中，滤波器单元528以比捕获控制器模块的帧的速率更快的速率生成控制器模块510的姿势。例如，滤波器单元528可以以500Hz的速率估计和更新控制器模块510的姿势。然后，滤波器单元528基于所标识的帧重新对准/重新调整控制器模块510的姿势。在特定实施例中，滤波器单元528可以基于在所标识的帧中的控制器模块510的光单元514的图案来调整控制器模块510的姿势。在特定实施例中，滤波器单元528可以基于在帧中所标识的预定特征来调整控制器模块510的姿势。
在特定实施例中，跟踪单元526可以基于在不同帧中所标识的预定特征来确定对应性数据。对应性数据可以包括预定特征的观察和测量，诸如在环境中控制器模块510的预定特征的位置。此外，跟踪单元526还可以执行在预定特征附近收集的立体计算，以提供用于中央模块520来跟踪控制器模块510的附加信息。此外，中央模块520的跟踪单元526可以从云530请求与对应性数据相对应的实况地图。在特定实施例中，实况地图可以包括地图数据544。中央模块520的跟踪单元526还可以请求远程重新定位服务544，用于将控制器模块510本地或全局地定位在实况地图中。
此外，滤波器单元528可以基于对应性数据和原始IMU数据540来估计控制器模块510的状态。在特定实施例中，控制器模块510的状态可以包括与控制器模块510相对的、基于由相机522所捕获的帧构建的环境(例如，本地构建的地图)的姿势。此外，滤波器单元528还可以将控制器模块510的状态信息发送至云530以用于全局定位或存储在云530中的地图的更新(例如，利用本地构建的环境)。
图6A示出了根据某些实施例的用于基于环境中的第一光条件来捕获IR图像的示例方法600。跟踪系统的控制器模块可以在可穿戴设备(例如，具有输入按钮的远程控制器、具有触摸板的智能盘等)中被实现。跟踪系统的中央模块可以被提供给任何计算系统或被显示在任何计算系统上(例如，最终用户的设备，诸如智能电话、虚拟现实系统、游戏系统等)，并且与可穿戴设备中实现的控制器模块配对。方法600可以在步骤610处开始从可穿戴设备接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据。在特定实施例中，可穿戴设备可以是控制器。在特定实施例中，可穿戴设备可以配备有一个或多个IMU和一个或多个IR LED。
在步骤620处，方法600可以在中央模块处基于从可穿戴设备发送的运动数据生成可穿戴设备的姿势。
在步骤630处，方法600可以在中央模块处标识可穿戴设备的第一光条件。在特定实施例中，第一光条件可以包括以下中的一项或多项：室内环境、具有弱光的环境、没有类似于可穿戴设备的IR LED的光源的环境、以及能够捕获可穿戴设备的IR LED的图案以用于跟踪的中央模块的相机。
在步骤640处，方法600可以通过相机使用第一曝光时间来捕获可穿戴设备的第一帧。在特定实施例中，第一帧可以是IR图像。在特定实施例中，可穿戴设备的姿势可以以比第一帧被捕获的频率更快的频率被生成。
在步骤650处，方法600可以在第一帧中标识设置在可穿戴设备上的灯的图案。在特定实施例中，灯的图案可以由可穿戴设备的IR LED组成。
图6B示出了根据某些实施例的用于通过基于在环境中的第一光条件交替地捕获IR图像和可见光图像来调整可穿戴设备的姿势的示例方法601。方法601可以在方法601中的步骤650之后的步骤660处开始，由相机使用第二曝光时间来捕获可穿戴设备的第二帧。在特定实施例中，第二曝光时间可以比第一曝光时间长。在特定实施例中，第二帧可以是可见光图像。例如，可见光图像可以是RGB图像。在特定实施例中，可穿戴设备的姿势可以以比第二帧被捕获的频率更快的频率被生成。
在步骤670处，方法601可以在第二帧中标识可穿戴设备的预定特征。在特定实施例中，预定特征可以在控制器模块的初始化/启动阶段期间被预先确定。在具体实施例中，预定特征可以被描绘在控制器模块中(例如，经由小QR码)。在特定实施例中，预定特征可以是用于跟踪从先前操作确定的可穿戴设备的可靠特征。例如，可靠特征可以是在先前帧中重复标识的用于跟踪可穿戴设备的特征。
在步骤680处，方法601可以基于以下中的至少一项来调整可穿戴设备在环境中的姿势：(1)在第一帧中的所标识的灯的图案或(2)在第二帧中的所标识的预定特征。在特定实施例中，方法可以基于所标识的灯的图案或所标识的预定特征(无论哪个首先被捕获/标识)来调整可穿戴设备的姿势。在特定实施例中，方法可以基于调整可穿戴设备的姿势的过程来训练或更新神经网络。经训练的神经网络可以进一步被使用在跟踪和/或图像改进之中。
在特定实施例中，方法601可以进一步由相机使用第二曝光时间来捕获可穿戴设备的第三帧，在第三帧中标识与可穿戴设备的预定特征相对应的一个或多个特征，确定在预定特征和一个或多个特征之间的对应性数据，并且基于对应性数据来跟踪环境中的可穿戴设备。
在特定实施例中，计算系统可以包括：相机，其被配置为捕获可穿戴设备的第一帧和第二帧；标识单元，其被配置为标识可穿戴设备的灯的图案和预定特征；以及滤波器单元，其被配置为调整可穿戴设备的姿势。在特定实施例中，中央模块可以位于头戴式设备内，并且控制器模块可以在与头戴式设备分离的控制器中被实现。在特定实施例中，头戴式设备可以包括一个或多个处理器，并且一个或多个处理器被配置为实现相机、标识单元和滤波器单元。
在特定实施例中，方法601可以进一步被配置为在环境具有第一光条件时使用第一曝光时间来捕获可穿戴设备的第一帧。在特定实施例中，方法601可以进一步被配置为在环境具有第二光条件时使用第二曝光时间来捕获可穿戴设备的第二帧。第二光条件可以包括以下中的一项或多项：具有明亮光的环境、具有干扰可穿戴设备的灯的图案的光源的环境、以及不能够捕获灯的图案的相机。
在适当的情况下，特定实施例可以重复图6A－6B的方法的一个或多个步骤。虽然本公开将图6A－6B的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想图6A－6B的方法的任何合适的步骤以任何合适的顺序发生。此外，虽然本公开描述并且示出了包括图6A－6B的方法的特定步骤的用于本地定位的示例方法，但是本公开设想了包括任何合适步骤的任何合适的用于本地定位的方法，在适当的情况下，其可以包括图6A－6B的方法的所有、一些步骤或不包括步骤。此外，尽管本公开描述并且示出了执行图6A－6B的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图6A－6B的方法的任何适当步骤的任何适当组件、设备或系统的任何适当组合。
图7示出了根据某些实施例的用于通过基于环境中的第二光条件捕获可见光图像来调整可穿戴设备的姿势的示例方法700。跟踪系统的控制器模块可以在可穿戴设备(例如，具有输入按钮的远程控制器、具有触摸板的智能盘等)中实现。跟踪系统的中央模块可以被提供给任何计算系统或被显示在任何计算系统上(例如，最终用户的设备，诸如智能电话、虚拟现实系统、游戏系统等)，并且与可穿戴设备中所实现的控制器模块配对。方法700可以在步骤710处开始从可穿戴设备接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据。在特定实施例中，可穿戴设备可以是控制器。在特定实施例中，可穿戴设备可以配备有一个或多个IMU和一个或多个IR LED。
在步骤720处，方法700可以在中央模块处基于从可穿戴设备发送的运动数据生成可穿戴设备的姿势。
在步骤730处，方法700可以在中央模块处标识可穿戴设备的第二光条件。在特定实施例中，第二光条件可以包括以下中的一项或多项：具有明亮光的环境、具有类似于可穿戴设备的IR LED的光源的环境、以及不能够捕获灯的图案的相机。
在步骤740处，方法700可以使用第二曝光时间由相机捕获可穿戴设备的第二帧。在特定实施例中，第二帧可以是可见光图像。例如，可见光图像可以是RGB图像。在特定实施例中，可穿戴设备的姿势可以以比第二帧被捕获的频率更快的频率被生成。
在步骤750处，方法700可以在第二帧中标识可穿戴设备的预定特征。在特定实施例中，预定特征可以在控制器模块的初始化/启动阶段期间被预定。在具体实施例中，预定特征可以被描绘在控制器模块中(例如，经由小QR码)。在特定实施例中，预定特征可以是用于跟踪从先前操作确定的可穿戴设备的可靠特征。例如，可靠特征可以是在先前帧中重复标识的用于跟踪可穿戴设备的特征。
在步骤760处，方法700可以基于第二帧中所标识的预定特征调整可穿戴设备在环境中的姿势。
在特定实施例中，方法700可以进一步由相机使用第二曝光时间来捕获可穿戴设备的第三帧，在第三帧中标识与可穿戴设备的预定特征相对应的一个或多个特征，确定在预定特征与一个或多个特征之间的对应性数据，并且基于该对应性数据来跟踪环境中的可穿戴设备。
在特定实施例中，计算系统可以包括：相机，其被配置为捕获可穿戴设备的第一帧和第二帧；标识单元，其被配置为标识可穿戴设备的灯的图案和预定特征；以及滤波器单元，其被配置为调整可穿戴设备的姿势。在特定实施例中，中央模块可以位于头戴式设备内，并且控制器模块可以在与头戴式设备分离的控制器中被实现。在特定实施例中，头戴式设备可以包括一个或多个处理器，并且该一个或多个处理器被配置为实现相机、标识单元和滤波器单元。
在特定实施例中，方法700可以进一步被配置为在环境具有第二光条件时使用第二曝光时间来捕获可穿戴设备的第二帧。第二光条件可以包括以下中的一项或多项：具有明亮光的环境、具有干扰可穿戴设备的灯的图案的光源的环境、以及不能够捕获灯的图案的相机。
在适当的情况下，特定实施例可以重复图7的方法的一个或多个步骤。虽然本公开将图7的方法的特定步骤描述和示出为以特定顺序发生，但是本公开预期图7的方法的任何合适的步骤以任何合适的顺序发生。此外，虽然本公开描述并示出了包括图7的方法的特定步骤的用于本地定位的示例方法，但是本公开设想了包括任何合适的步骤的用于本地定位的任何合适的方法，在适当的情况下，该任何合适的步骤可以包括图7的方法的所有步骤、一些步骤或不包括步骤。此外，尽管本公开描述并且示出了执行图7的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图7的方法的任何适当步骤的任何适当组件、设备或系统的任何适当组合。
图8示出了示例计算机系统800。在特定实施例中，一个或多个计算机系统800执行在此描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统800提供本文描述或示出的功能。在特定实施例中，在一个或多个计算机系统800上运行的软件执行本文描述或示出的一个或多个方法的一个或多个步骤，或者提供本文描述或示出的功能。具体实施例包括一个或多个计算机系统800的一个或多个部分。在适当的情况下，本文对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或多个计算机系统。
本公开考虑任何合适数目的计算机系统800。本公开考虑采用任何合适的物理形式的计算机系统800。作为示例而非作为限制，计算机系统800可以是嵌入式计算机系统、片上系统(SOC)、单板计算机系统(SBC)(诸如，例如，模块上计算机(COM)或模块上系统(SOM))、台式计算机系统、膝上型或笔记本计算机系统、交互式自助服务机、大型机、计算机系统网格、移动电话、个人数字助理(PDA)、服务器、平板计算机系统、增强/虚拟现实设备、或这些中的两个或多个的组合。在适当的情况下，计算机系统800可以包括一个或多个计算机系统800；是单一的或分布式的；跨距多个位置；跨距多个机器；跨距多个数据中心；或者驻留在云中，该云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统800可以在没有实质的空间或时间限制的情况下执行本文描述或示出的一个或多个方法的一个或多个步骤。作为示例而非作为限制，一个或多个计算机系统800可以实时或以批处理模式执行在此描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统800可以在不同时间或在不同位置执行在此描述或示出的一个或多个方法的一个或多个步骤。
在特定实施例中，计算机系统800包括处理器802、存储器804、存储装置806、输入/输出(I/O)接口808、通信接口810和总线812。尽管本公开描述并且示出了具有特定布置中的特定数目的特定组件的特定计算机系统，但是本公开设想了具有在任何合适布置中的任何合适数目的任何合适组件的任何合适的计算机系统。
在特定实施例中，处理器802包括用于执行诸如构成计算机程序的指令的硬件。作为示例而非作为限制，为了执行指令，处理器802可从内部寄存器、内部高速缓冲存储器、存储器804或存储装置806检索(或获取)指令；解码并且执行它们；并且然后将一个或多个结果写入内部寄存器、内部高速缓存、存储器804或存储装置806。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部高速缓存存储器。本发明预期处理器802在适当的情况下包括任何合适数目的任何合适内部高速缓冲存储器。作为示例而非作为限制，处理器802可包括一个或多个指令高速缓存存储器、一个或多个数据高速缓存存储器、以及一个或多个转换后备缓冲器(TLB)。指令高速缓冲存储器中的指令可以是存储器804或存储装置806中的指令的副本，并且指令高速缓冲存储器可以加速处理器802对那些指令的检索。数据高速缓冲存储器中的数据可以是存储器804或存储装置806中用于在处理器802处执行以对其进行操作的指令的数据的副本；在处理器802处执行的先前指令的结果，用于由在处理器802处执行的后续指令访问或用于写入至存储器804或存储装置806；或其它合适的数据。数据高速缓冲存储器可以加速处理器802的读或写操作。TLB可以加速针对处理器802的虚拟地址转译。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部寄存器。本发明预期处理器802在适当的情况下包括任何合适数目的任何合适内部寄存器。在适当的情况下，处理器802可以包括一个或多个算术逻辑单元(ALU)；是一个多核心处理器；或者包括一个或多个处理器802。尽管本发明描述并且说明特定处理器，但本发明涵盖任何合适的处理器。
在特定实施例中，存储器804包括用于存储针对处理器802执行的指令或针对处理器802操作的数据的主存储器。作为示例而非作为限制，计算机系统800可以将指令从存储装置806或另一个源(例如，另一个计算机系统800)加载到存储器804。处理器802然后可以将指令从存储器804加载到内部寄存器或内部高速缓冲存储器。为执行指令，处理器802可从内部寄存器或内部高速缓冲存储器检索指令并且将其解码。在执行指令期间或之后，处理器802可将一个或一个以上结果(其可以是中间或最终结果)写入至内部寄存器或内部高速缓冲存储器。然后，处理器802可以将这些结果中的一个或多个写入存储器804。在特定实施例中，处理器802仅执行一个或多个内部寄存器或内部高速缓冲存储器中或在存储器804(与存储装置806或其它地方相对)中的指令，并且仅对在一个或多个内部寄存器或内部高速缓冲存储器中或存储器804(与存储装置806或其它地方相对)中的数据进行操作。一个或多个存储器总线(其可以各自包括地址总线和数据总线)可以将处理器802耦合到存储器804。如下所述，总线812可以包括一个或多个存储器总线。在特定实施例中，一个或多个存储器管理单元(MMU)驻留在处理器802和存储器804之间，并且便于由处理器802请求对存储器804的访问。在特定实施例中，存储器804包括随机存取存储器(RAM)。在适当的情况下，RAM可以是易失性存储器。在适当的情况下，RAM可以是动态RAM(DRAM)或静态RAM(SRAM)。此外，在适当的情况下，RAM可以是单端口或多端口RAM。本发明涵盖任何合适的RAM。在适当的情况下，存储器804可以包括一个或多个存储器804。尽管本发明描述并且说明特定存储器，但本发明涵盖任何合适的存储器。
在特定实施例中，存储装置806包括用于数据或指令的大容量存储装置。作为示例而非作为限制，存储装置806可以包括硬盘驱动器(HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带、或通用串行总线(USB)驱动器、或这些中的两个或多个的组合。在适当的情况下，存储装置806可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储器806可以在计算机系统800的内部或外部。在特定实施例中，存储装置806是非易失性固态存储器。在特定实施例中，存储装置806包括只读存储器(ROM)。在适当的情况下，ROM可以是掩模编程ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可变ROM(EAROM)或闪存或这些中的两个或多个的组合。本公开考虑采用任何合适的物理形式的大容量存储器806。在适当的情况下，存储装置806可以包括在一个或多个便于处理器802和存储装置806之间通信的存储控制单元。在适当的情况下，存储装置806可以包括一个或多个存储装置806。尽管本公开描述并且示出了特定的存储装置，但是本公开设想了任何合适的存储装置。
在特定实施例中，I/O接口808包括提供用于在计算机系统800与一个或多个I/O设备之间通信的一个或多个接口的硬件、软件或硬件和软件两者。在适当的情况下，计算机系统800可以包括这些I/O设备中的一个或多个I/O设备。这些I/O设备中的一个或多个I/O设备可以实现人与计算机系统800之间的通信。作为示例而非作为限制，I/O设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态相机、指示笔、输入板、触摸屏、跟踪球、摄像机、另一个合适的I/O设备或这些中的两个或多个的组合。I/O设备可以包括一个或多个传感器。本公开考虑了任何合适的I/O设备和用于它们的任何合适的I/O接口808。在适当的情况下，I/O接口808可以包括使处理器802能够驱动这些I/O设备中的一个或多个I/O设备的一个或多个设备或软件驱动器。在适当的情况下，I/O接口808可以包括一个或多个I/O接口808。尽管本公开描述并且示出了特定的I/O接口，但是本公开设想了任何合适的I/O接口。
在特定实施例中，通信接口810包括提供用于计算机系统800与一个或多个其它计算机系统800或一个或多个网络之间的通信(诸如，例如，基于分组的通信)的一个或多个接口的硬件、软件或硬件和软件两者。作为示例而非作为限制，通信接口810可以包括用于与以太网或其它基于有线的网络通信的网络接口控制器(NIC)或网络适配器，或者用于与诸如WI－FI网络等无线网络进行通信的无线NIC(WNIC)或无线适配器。本公开考虑了用于其的任何合适的网络和任何合适的通信接口810。作为示例而非作为限制，计算机系统800可以与自组织网络、个人区域网络(PAN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、或因特网的一个或多个部分、或这些中的两个或多个的组合进行通信。这些网络中的一个或多个网络的一个或多个部分可以是有线或无线的。作为示例，计算机系统800可以与无线PAN(WPAN)(诸如，例如，蓝牙WPAN)、WI－FI网络、WI－MAX网络、蜂窝电话网络(诸如，例如，全球移动通信系统(GSM)网络)、或其他合适的无线网络、或这些网络中的两个或多个的组合进行通信。在适当的情况下，计算机系统800可以包括用于任何这些网络的任何合适的通信接口810。在适当的情况下，通信接口810可以包括一个或多个通信接口810。尽管本公开描述并且示出了特定的通信接口，但是本公开设想了任何合适的通信接口。
在特定实施例中，总线812包括将计算机系统800的组件彼此耦合的硬件、软件硬件和软件两者。作为示例而非作为限制，总线812可以包括加速图形端口(AGP)或其他图形总线、增强型工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无线带宽互连、低引脚计数(LPC)总线、存储器总线、微通道架构(MCA)总线、外围组件互连(PCI)总线、PCI－Express(PCIe)总线、串行高级技术附件(SATA)总线、视频电子标准协会本地(VLB)总线、或其他合适的总线、或这些总线中的两个或多个的组合。在适当的情况下，总线812可以包括一个或多个总线812。虽然本公开描述并且示出了特定总线，但是本公开设想了任何合适的总线或互连。
本文中，计算机可读非瞬态存储介质可以包括一个或多个基于半导体的或其他集成电路(IC)(诸如，例如，现场可编程门阵列(FPGA)或专用IC(ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(HHD)、光盘、光盘驱动器(ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(FDD)、磁带、固态驱动器(SSD)、RAM驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非瞬态存储介质、或这些中的两个或多个的任何合适的组合。在适当的情况下，计算机可读非瞬态存储介质可以是易失性的、非易失性的、或者易失性和非易失性的组合。
本文中，“或”是包含性的而非排他性的，除非另有明确指示或上下文另有指示。因此，本文中“A或B”是指“A、B或A和B两者”，除非另有明确指示或上下文另有指示。此外，“和”是联合的和各自的两者，除非另有明确指示或上下文另有指示。因此，本文中“A和B”是指“A和B，共同地或分别地”，除非另有明确说明或上下文另有说明。
本公开的范围包括本领域普通技术人员将理解的对本文描述或示出的示例性实施例的所有改变、替换、变化、更改和修改。本公开的范围不限于本文描述或示出的示例性实施例。此外，尽管本公开在本文中描述和示出了包括特定组件、元件、特征、功能、操作或步骤的各个实施例，但是这些实施例中的任何实施例可以包括本领域普通技术人员将理解的在本文中任何地方描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或排列。此外，在所附权利要求中对设备或系统或设备或系统的组件的引用被适配为、被布置为、能够、被配置为、被使能为、可操作为或可操作以执行特定功能的引用包括该设备、系统、组件，无论它或该特定功能是否被激活、开启或解锁，只要该设备、系统或组件如此被适配、被布置、能够、被配置、被使能、可操作为或可操作以。另外，虽然本公开将特定实施例描述或示出为提供特定优点，但是特定实施例可以不提供这些优点、提供这些优点中的一些优点或全部优点。
根据各个实施例，本文的特征的优点在于，与跟踪系统中的中央模块相关联的控制器的姿势可以在操作期间被有效地重新对准。中央模块可以基于IR群集跟踪或基于VIO的跟踪来重新对准控制器，使得中央模块可以实时地并且准确地跟踪控制器而不受环境的任何限制。本公开的特定实施例还能够在被设置在控制器上的LED失效时跟踪控制器。此外，当中央模块确定IR群集跟踪受损时，中央模块可以关闭控制器上的LED以用于节省功率。因此，本公开中公开的特定实施例可以针对控制器提供改进的、功率高效的跟踪方法。
虽然图中的过程可以示出由本发明的某些实施例执行的操作的特定顺序，但是应当理解，这样的顺序是示例性的(例如，备选实施例可以以不同的顺序执行操作、组合某些操作、重叠某些操作等)。
虽然已经根据若干实施例描述了本发明，但是本领域技术人员将认识到，本发明不限于所描述的实施例，而是可以在所附权利要求的范围内进行修改和改变。因此，说明书被认为是说明性的而不是限制性的。

Claims (15)

1.一种方法，包括由计算系统：
接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据；
基于所述运动数据生成所述可穿戴设备的姿势；
由相机使用第一曝光时间来捕获所述可穿戴设备的第一帧；
在所述第一帧中标识设置在所述可穿戴设备上的灯的图案；
由所述相机使用第二曝光时间来捕获所述可穿戴设备的第二帧；
在所述第二帧中标识所述可穿戴设备的预定特征；以及
基于以下中的至少一项来调整所述可穿戴设备在环境中的所述姿势：(1)在所述第一帧中的所标识的所述灯的图案，或(2)在所述第二帧中的所标识的所述预定特征。
2.根据权利要求1所述的方法，其中：
当所述环境具有第一光条件时，使用所述第一曝光时间捕获所述可穿戴设备的所述第一帧；以及
当所述环境具有第二光条件时，使用所述第二曝光时间捕获所述可穿戴设备的所述第二帧；并且优选地，其中所述第二光条件包括以下中的一项或多项：
具有明亮光的环境；
具有干扰所述可穿戴设备的所述灯的图案的光源的环境；以及
不能够捕获所述灯的图案的相机。
3.根据权利要求1或2所述的方法，其中：
所述可穿戴设备配备有一个或多个惯性测量单元(IMU)和一个或多个红外IR发光二极管(LED)；
所述第一帧是IR图像；以及
所述第二帧是可见光图像。
4.根据权利要求1、2或3所述的方法，其中所述第二曝光时间比所述第一曝光时间长。
5.根据权利要求1至4中任一项所述的方法，其中所述可穿戴设备的所述姿势以比所述第一帧和所述第二帧被捕获的频率更快的频率被生成。
6.根据前述权利要求中任一项所述的方法，进一步包括：
由所述相机使用所述第二曝光时间捕获所述可穿戴设备的第三帧；
在所述第三帧中标识与所述可穿戴设备的所述预定特征相对应的一个或多个特征；
确定在所述预定特征和所述一个或多个特征之间的对应性数据；以及
基于所述对应性数据来跟踪在所述环境中的所述可穿戴设备。
7.根据前述权利要求中任一项所述的方法，其中所述计算系统包括：
所述相机被配置为捕获所述可穿戴设备的所述第一帧和所述第二帧；
标识单元，所述标识单元被配置为标识所述可穿戴设备的所述灯的图案和所述预定特征；以及
滤波器单元，所述滤波器单元被配置为调整所述可穿戴设备的所述姿势。
8.根据前述权利要求中任一项所述的方法，
其中所述相机位于头戴式设备内；以及
其中所述可穿戴设备是与所述头戴式设备分离的控制器；并且优选地，其中所述头戴式设备包括一个或多个处理器，其中所述一个或多个处理器被配置为实现所述相机、所述标识单元和所述滤波器单元。
9.一种或多种计算机可读非瞬态存储介质，其体现有软件，所述软件在被执行时能够操作以：
接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据；
基于所述运动数据生成所述可穿戴设备的姿势；
由相机使用第一曝光时间捕获所述可穿戴设备的第一帧；
在所述第一帧中标识设置在所述可穿戴设备上的灯的图案；
由所述相机使用第二曝光时间捕获所述可穿戴设备的第二帧；
在所述第二帧中标识所述可穿戴设备的预定特征；以及
基于以下中的至少一项来调整所述可穿戴设备在环境中的所述姿势：(1)在所述第一帧中的所标识的所述灯的图案，或(2)在所述第二帧中的所标识的所述预定特征。
10.根据权利要求9所述的介质，其中所述软件在被执行时能够进一步操作以：
当所述环境具有第一光条件时，使用所述第一曝光时间捕获所述可穿戴设备的所述第一帧；以及
当所述环境具有第二光条件时，使用所述第二曝光时间捕获所述可穿戴设备的所述第二帧；并且优选地，其中所述第二光条件包括以下中的一者或多者：
具有明亮光的环境；
具有干扰所述可穿戴设备的所述灯的图案的光源的环境；以及
不能够捕获所述灯的图案的相机。
11.根据权利要求9或10所述的介质，其中：
所述可穿戴设备配备有一个或多个惯性测量单元(IMU)和一个或多个红外IR发光二极管(LED)；
所述第一帧是IR图像；以及
所述第二帧是可见光图像；和/或优选地其中所述第二曝光时间比所述第一曝光时间长；和/或优选地，其中所述可穿戴设备的所述姿势以比所述第一帧和所述第二帧被捕获的频率更快的频率被生成。
12.根据权利要求9、10或11所述的介质，其中所述软件在被执行时能够进一步操作以：
由所述相机使用所述第二曝光时间捕获所述可穿戴设备的第三帧；
在所述第三帧中标识与所述可穿戴设备的所述预定特征相对应的一个或多个特征；
确定在所述预定特征和所述一个或多个特征之间的对应性数据；以及
基于经调整的所述姿势和所述对应性数据来跟踪所述环境中的所述可穿戴设备。
13.根据权利要求9至12中任一项所述的介质，
其中所述相机位于头戴式设备内；以及
其中所述可穿戴设备是与所述头戴式设备分离的远程控制器。
14.一种系统，包括：一个或多个处理器；以及一种或多种计算机可读非瞬态存储介质，所述一种或多种计算机可读非瞬态存储介质耦合到所述处理器中的一个或多个处理器并且包括指令，所述指令当由所述处理器中的一个或多个处理器执行时能够操作以使所述系统以：
接收由可穿戴设备的一个或多个运动传感器所捕获的运动数据；
基于所述运动数据生成所述可穿戴设备的姿势；
由相机使用第一曝光时间捕获所述可穿戴设备的第一帧；
在所述第一帧中标识设置在所述可穿戴设备上的灯的图案；
由所述相机使用第二曝光时间捕获所述可穿戴设备的第二帧；
在所述第二帧中标识所述可穿戴设备的预定特征；以及
基于以下中的至少一项来调整所述可穿戴设备在环境中的所述姿势：(1)在所述第一帧中的所标识的所述灯的图案，或(2)在所述第二帧中的所标识的所述预定特征。
15.根据权利要求14所述的系统，其中所述指令进一步使所述系统以：
当所述环境具有第一光条件时，使用所述第一曝光时间捕获所述可穿戴设备的所述第一帧；以及
当所述环境具有第二光条件时，使用所述第二曝光时间捕获所述可穿戴设备的所述第二帧。
CN202180008021.6A 2020-01-03 2021-01-01 联合的红外及可见光视觉惯性对象跟踪 Pending CN115104134A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/734,172 2020-01-03
US16/734,172 US20210208673A1 (en) 2020-01-03 2020-01-03 Joint infrared and visible light visual-inertial object tracking
PCT/US2021/012001 WO2021138637A1 (en) 2020-01-03 2021-01-01 Joint infrared and visible light visual-inertial object tracking

Publications (1)

Publication Number Publication Date
CN115104134A true CN115104134A (zh) 2022-09-23

Family

ID=74347731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180008021.6A Pending CN115104134A (zh) 2020-01-03 2021-01-01 联合的红外及可见光视觉惯性对象跟踪

Country Status (6)

Country Link
US (1) US20210208673A1 (zh)
EP (1) EP4085373A1 (zh)
JP (1) JP2023509291A (zh)
KR (1) KR20220122675A (zh)
CN (1) CN115104134A (zh)
WO (1) WO2021138637A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN112437213A (zh) * 2020-10-28 2021-03-02 青岛小鸟看看科技有限公司 图像采集方法、手柄设备、头戴设备及头戴系统
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
US20220244540A1 (en) * 2021-02-03 2022-08-04 Htc Corporation Tracking system
US20240069651A1 (en) * 2022-08-30 2024-02-29 Htc Corporation Virtual reality tracker and tracker correction position method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150028B2 (en) * 2012-06-04 2018-12-11 Sony Interactive Entertainment Inc. Managing controller pairing in a multiplayer game
US10951310B2 (en) * 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US20160366398A1 (en) * 2015-09-11 2016-12-15 Mediatek Inc. Image Frame Synchronization For Dynamic Image Frame Rate In Dual-Camera Applications
US10819926B2 (en) * 2018-04-09 2020-10-27 Facebook Technologies, Llc Systems and methods for synchronizing image sensors
US10628711B2 (en) * 2018-04-24 2020-04-21 Microsoft Technology Licensing, Llc Determining pose of handheld object in environment
TWI784237B (zh) * 2020-02-11 2022-11-21 群光電子股份有限公司 監控裝置及影像擷取方法

Also Published As

Publication number Publication date
JP2023509291A (ja) 2023-03-08
WO2021138637A1 (en) 2021-07-08
KR20220122675A (ko) 2022-09-02
US20210208673A1 (en) 2021-07-08
EP4085373A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
CN115104134A (zh) 联合的红外及可见光视觉惯性对象跟踪
CN110308789B (zh) 用于与外围设备的混合现实交互的方法和系统
US11625841B2 (en) Localization and tracking method and platform, head-mounted display system, and computer-readable storage medium
US20180046874A1 (en) System and method for marker based tracking
US20200351551A1 (en) User interest-based enhancement of media quality
US11527011B2 (en) Localization and mapping utilizing visual odometry
WO2016099752A1 (en) Virtual wearables
US20220253131A1 (en) Systems and methods for object tracking using fused data
US10825197B2 (en) Three dimensional position estimation mechanism
US10698067B2 (en) System and method of camera-less optical motion capture
WO2020108041A1 (zh) 耳部关键点检测方法、装置及存储介质
US20230185386A1 (en) Body pose estimation using self-tracked controllers
CN113016008A (zh) 重力对准影像的机器学习推断
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
CN111164544A (zh) 运动感测
TW202326365A (zh) 手持裝置的追蹤
US20210117722A1 (en) Distributed sensor module for tracking
US10477104B1 (en) Image sensor selection in a multiple image sensor device
EP3480789A1 (en) Dynamic graceful degradation of augmented-reality effects
CN112767453A (zh) 人脸跟踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination