CN116368522A - 使用稀疏传感器采集的对象追踪 - Google Patents

使用稀疏传感器采集的对象追踪 Download PDF

Info

Publication number
CN116368522A
CN116368522A CN202180074740.8A CN202180074740A CN116368522A CN 116368522 A CN116368522 A CN 116368522A CN 202180074740 A CN202180074740 A CN 202180074740A CN 116368522 A CN116368522 A CN 116368522A
Authority
CN
China
Prior art keywords
pose
camera
image
time
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180074740.8A
Other languages
English (en)
Inventor
史蒂芬·约翰·洛夫格罗夫
马菱旎
李超
理查德·安德鲁·纽科姆比
安德鲁·塞缪尔·贝尔科维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of CN116368522A publication Critical patent/CN116368522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

在一个实施例中，一种方法包括：在第一时间，指示具有多个像素传感器的摄像头采集环境的第一图像，以确定对象的第一对象姿势，该环境包括该对象。该方法基于第一对象姿势，确定对象在第二时间的预测对象姿势。该方法确定摄像头在第二时间的预测摄像头姿态。该方法基于具有预测对象姿势的对象的3D模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令。该方法在第二时间指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像。该方法基于第二图像确定对象的第二对象姿势。

Description

使用稀疏传感器采集的对象追踪
技术领域
本公开总体上涉及对象追踪，并且具体地，涉及基于图像采集的对象追踪。
背景技术
传统上，对象追踪需要采集完整的图像来追踪图像中的可检测特征。使用采集的图像来追踪对象的传统方法由于需要大量的功率来处理从图像传感器的缓冲器传输到存储器且随后从存储器中读取的待处理的大量像素数据，因此在计算上是昂贵的。此外，需要采集完整图像的对象追踪由于会增加读出完整图像所需的时间，因此会引入时延。由于该过程会是功率密集型的，因此这可能会显著限制诸如移动装置或AR/VR(增强现实/虚拟现实)装置等功率受限装置使用图像采集来追踪对象的能力。
发明内容
根据本公开的第一方面，提供了一种方法，该方法包括：由一个或多个计算系统在第一时间指示具有多个像素传感器的摄像头来采集环境的第一图像，以确定对象的第一对象姿势，该环境包括该对象。该计算系统可以基于第一对象姿势，确定对象在第二时间的预测对象姿势。该计算系统可以确定摄像头在第二时间的预测摄像头姿态。然后，该计算系统可以基于具有预测对象姿势的对象的3D模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令。该计算系统可以在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像。然后，该计算系统可以基于第二图像确定对象的第二对象姿势。
根据本公开的第一方面，提供了一种方法，该方法包括由一个或多个计算系统：在第一时间指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的三维模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。
在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。
在一些实施例中，该方法还包括：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。
在一些实施例中，该方法还包括：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。
在一些实施例中，像素激活指令进一步基于围绕对象的3D模型的投影的缓冲区域来生成。
在一些实施例中，缓冲区域的大小与第一时间和第二时间之间的时间成比例。
在一些实施例中，缓冲区域的大小与摄像头的帧速率成比例。
在一些实施例中，该方法还包括：激活缓冲区域内的所有像素。
在一些实施例中，该方法还包括：激活缓冲区域内的像素的稀疏样本。
在一些实施例中，该方法还包括：增加对缓冲区域内的3D模型的投影内的像素的采样。
根据本公开的第二方面，提供了包含软件的一种或多种计算机可读非暂态存储介质，该软件在被执行时能够操作以：在第一时间，指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的3D模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。
在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。
在一些实施例中，软件在被执行时还能够操作以：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。
在一些实施例中，该软件在被执行时还能够操作以：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置来显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。
在一些实施例中，像素激活指令是进一步基于围绕对象的3D模型的投影的缓冲区域来生成的。
根据本发明的第三方面，提供了一种系统，该系统包括：一个或多个处理器；以及非暂态存储器，该非暂态存储器耦接到处理器并且包括可由处理器执行的指令，处理器在执行指令时能够操作以：在第一时间，指示具有多个像素传感器的摄像头使用该多个像素传感器来采集环境的第一图像，该环境包括对象；基于第一图像确定对象的第一对象姿势；基于第一对象姿势确定对象在第二时间的预测对象姿势；确定摄像头在第二时间的预测摄像头姿态；基于具有预测对象姿势的对象的3D模型在与预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；在第二时间，指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像；以及基于第二图像确定对象的第二对象姿势。
在一些实施例中，在第二时间，该多个像素传感器的子集被激活且该多个像素传感器的第二子集被停用，以采集第二图像。
在一些实施例中，处理器在执行指令时还能够操作以：基于第一图像识别对象的对象类型；访问与对象类型相关联的预测模型；以及使用预测模型来确定对象在第二时间的预测对象姿势。
在一些实施例中，处理器在执行指令时还能够操作以：基于第二对象姿势生成人工现实效果；以及使用由用户穿戴的头戴式装置来显示人工现实效果；其中，摄像头附接到由用户穿戴的头戴式装置。
在一些实施例中，像素激活指令是进一步基于围绕对象的3D模型的投影的缓冲区域来生成的。
本文所公开的实施例仅为示例，且本公开的范围不限于这些实施例。特定实施例可以包括本文公开的实施例的以下项中的所有、一些或不包括以下项：部件、元件、特征、功能、操作或步骤。特别地，在所附权利要求中公开了根据本发明的实施例，所附权利要求涉及方法、存储介质、系统和计算机程序产品，其中，在一个权利要求类别(例如，方法)中提到的任何特征也可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求中的回引的从属关系或引用是仅出于形式原因而选择的。然而，也可以要求保护由对任何前面的权利要求的有意回引(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可被要求保护，而不考虑在所附权利要求中选择的从属关系。可以要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任何可以在单独的权利要求中和/或在与本文描述或描绘的任何实施例或特征的任何组合中或在与所附权利要求的任何特征的任何组合中被要求保护。
附图说明
图1示出了环境。
图2示出了环境的第一图像采集。
图3示出了具有第一对象姿势的对象的3D模型。
图4示出了具有预测对象姿势的对象的3D模型。
图5示出了具有对象的3D模型和预测摄像头姿态的预测虚拟环境，该对象具有预测对象姿势。
图6示出了激活图(activation map)。
图7示出了激活图和环境的叠加。
图8A至图8D示出了缓冲区域内的示例替代像素激活。
图9示出了环境的第二图像采集。
图10示出了基于图像采集来追踪环境中的对象的示例方法。
图11示出了示例计算机系统。
具体实施方式
在特定实施例中，计算系统可以基于图像采集来追踪环境中的对象。使用所采集图像来追踪对象的传统方法，由于大量像素数据从图像传感器的缓冲器被传输到存储器并随后被处理，因此需要大量的功率。然而，出于对象追踪的目的，并不需要所有像素。预测模型可以预测对象将如何在环境中移动，然后采集对象的像素子集(例如，沿着对象的轮廓定位的像素和/或该轮廓内的像素样本)，其中对象被预测会移动。然后，所采集的像素信息可用于追踪和更新环境中对象的3D模型。作为示例而非通过限制的方式，计算系统可以追踪正在环境中移动的一个或多个人和/或对象。例如，一个人可正走向一张桌子，计算系统可预测到这个人将爬到桌子上。作为另一示例而非通过限制的方式，诸如球等对象可以向桌子滚动。计算系统可以预测到当球击中该桌子时，球会从桌腿弹开。此外，当追踪多个人和/或对象时，计算系统可以确定哪些人和/或对象彼此遮挡或将要彼此遮挡。也就是说，计算系统可以忽略预期不可见的人和/或对象的像素。尽管本公开描述了以特定方式基于图像采集来追踪环境中的对象，但是本公开考虑了以任何合适的方式基于图像采集来追踪环境中的对象。
图1示出了环境100。环境100可以包含一个或多个对象105，例如人105a和桌子105b。图2示出了该环境的第一图像采集。在特定实施例中，计算系统110可以在第一时间指示具有多个像素传感器的摄像头115(例如，摄像头、AR/VR头戴式视图器(headset)等)使用该多个像素传感器来采集摄像头视场角120内的环境100的第一图像，该环境包括一个或多个对象105。可以存在一个或多个具有多个像素传感器的摄像头来采集环境100的图像(包括多个像素)，其中，该多个像素可以是由该一个或多个摄像头中的任何摄像头采集的。可以设置传感器，(例如通过将这些传感器靠近计算系统110设置)来减少传输时延。摄像头115可以具有第一摄像头姿态CP1，该第一摄像头姿态测量摄像头115在第一时间t1的位置和取向。作为示例而非通过限制的方式，第一摄像头姿态CP1可以是使用摄像头115上的传感器、加速度计、陀螺仪、或其它位置传感器来确定的。图像采集可以是环境100中的该一个或多个对象105的全分辨率图像采集。在一些实施方式中，摄像头115可以采集该一个或多个对象105的特征。作为示例而非通过限制的方式，摄像头115可以采集人105a的特定特征或高梯度(gradient)特征，例如人的面部、眼睛或鼻子。这可能是有用的，因为采集特定特征或高梯度特征可以指示人105a的位置和取向，或者用作对潜在移动方向的指示。在特定实施例中，计算系统110可以基于第一图像来识别对象类型。作为示例而非通过限制的方式，计算系统110可以使用图像处理器来确定：对象105是动态对象(诸如，人或滚动的球)还是静态对象(诸如，桌子)。尽管本公开描述了计算系统110指示摄像头115以特定方式在第一时间采集第一图像，但是本公开考虑了以任何合适的方式在第一时间采集第一图像。
图3示出了具有第一对象姿势OP1 140的对象的3D模型。在特定实施例中，计算系统110可以基于第一图像采集来确定第一对象姿势OP1，从而测量了对象105(例如，人105a)在第一时间t1在环境100中的位置和取向。第一图像采集可以用于构建具有第一对象姿势OP1 140的对象的3D模型。作为示例而非通过限制的方式，计算系统110可以采集包含人105a和桌子105b的环境100的图像，并且在仅追踪人105a时，创建人105a的3D模型。具有第一对象姿势OP1 140的对象的3D模型可以是具有第一对象姿势OP1的人105a的金属网格。作为示例而非通过限制的方式，确定第一对象姿势OP1可以是使用诸如SLAM(同步定位与地图构建)等定位技术来完成的。尽管本公开描述了以特定方式测量第一对象姿势OP1，但是本公开考虑了以任何合适的方式测量第一对象姿势OP1。
图4示出了具有预测对象姿势OP2 145的对象的3D模型。在特定实施例中，计算系统110可以基于第一对象姿势OP1来确定对象105的预测对象姿势OP2(例如，在第二时间t2的对象姿势)。在一些实施例中，计算系统110可以在摄像头115采集下一帧时(例如，在摄像头115在第二时间t2采集第二图像采集时)，确定对象105可在哪里。例如，计算系统110可以基于第一图像采集来访问与对象105的对象类型相关联的预测模型，并使用该预测模型来确定具有预测对象姿势OP2 145的对象的3D模型。作为示例而非通过限制的方式，计算系统110可以(例如使用图像处理器)确定静态的桌子(例如桌子105b)将不会移动，而行走的人(例如人105a)或滚动的球将以某种方式移动或停止移动。作为另一示例，计算系统110可以基于先前帧的对比，或者通过分析人105a的行走步态或动量，来确定对象105(例如人105a)正在(相对于摄像头视场角120)从左向右行走。因此，计算系统110可以通过追踪(例如通过分析先前帧而确定的)对象姿势和对象动态来确定预测对象姿势OP2，这可以进一步减少解析预测对象姿势OP2所必需的像素。因此，然后计算系统110可以确定对象105将(相对于摄像头视场角120)向右移动。作为另一示例而非通过限制的方式，计算系统110可以确定朝向桌子滚动的球可能在接下来的几秒钟内继续滚动，并且该球在击中桌子时，将停止滚动。作为另一示例，计算系统110可以确定抛向空中的对象将由于重力而最终落向地面。尽管本公开描述了以特定方式确定对象105在第二时间t2的预测对象姿势，但是本公开考虑了以任何合适的方式确定预测对象姿势OP2。
图5示出了具有预测对象姿势OP2 145的对象的3D模型和预测摄像头姿态CP2的预测虚拟环境150。在特定实施例中，计算系统110可以确定摄像头115在第二时间t2的预测摄像头姿态CP2。这可以通过以下方式来完成：使用摄像头115上的传感器、加速度计、陀螺仪或其他位置传感器来确定在第二时间t2的预测摄像头姿态CP2(例如，虚拟摄像头115v的位置和取向)。作为示例而非通过限制的方式，计算系统110可以确定人的头部(例如，AR/VR头戴式视图器)上的摄像头将随着人的头部转动而转动同时追踪移动对象，并且计算系统110可以确定该摄像头的位置和取向。尽管本公开描述了以特定方式确定摄像头115在第二时间t2的预测摄像头姿态CP2，但是本公开考虑了以任何合适的方式确定摄像头115在第二时间t2的预测摄像头姿态CP2。
图6示出了激活图130。在特定实施例中，计算系统110可以基于具有预测对象姿势的对象125的3D模型在与预测摄像头姿态CP2相关联的虚拟图像平面上的投影，来生成像素激活指令。虚拟图像平面可以是激活图130，该激活图将具有与第一图像采集相同的像素数和分辨率。计算系统110可以生成用于激活图130的指令，以测量或采样与对象125的3D模型的投影(例如，具有预测对象姿势OP2 145的对象的3D模型的2D“阴影(shadow)”)相对应的像素。作为示例而非通过限制的方式，计算系统110可以基于人从紧挨着桌子移动到桌子的顶部的预测姿势，来生成像素激活指令，以测量或采样人的像素。尽管本公开描述了以特定方式生成像素激活指令，但是本公开考虑了以任何合适的方式生成像素激活指令。
图7示出了激活图130和环境100的叠加。在特定实施例中，计算系统110可以在第二时间(例如，第二时间t2)指示摄像头115根据像素激活指令使用多个像素传感器的子集，来采集环境的第二图像。即，摄像头115可以测量或采样与对象125的3D模型的投影相关联的像素，其中该投影是对象125的3D模型被投影到激活图130的虚拟平面上的投影。激活图130对应于环境100中的对象105(例如，人105a)的预测姿势。作为示例而非通过限制的方式，在计算系统110确定对象105(例如，人105a)将在第二时间t2位于桌子105b的顶部之后，计算系统110可以指示摄像头通过仅测量在激活图130中所识别的像素(例如，仅与对象125的3D模型的投影相对应的像素)来拍摄环境100的另一张照片。在特定实施例中，计算系统110可以在第二时间激活多个像素传感器的第一子集(例如，在激活图130中识别的、与对象125的3D模型的投影相对应的像素)而停用该多个像素传感器的第二子集(例如，与对象125的3D模型的投影不相对应的所有像素)，以采集第二图像。即，可以将只与被追踪的对象相关联的像素激活，而不将与被追踪的对象不相关联的像素激活。这可以降低采集图像所需的功率大小。作为示例而非通过限制的方式，与测量正踩在桌子105b上的人105a的像素相关联的像素传感器将被激活，而与可以测量天花板、墙壁或其它非追踪对象(例如，桌子105b)的像素相关联的像素传感器将不会被激活。尽管本公开描述了以特定方式使用像素传感器的子集来采集环境100的第二图像，但是本公开考虑了以任何合适的方式使用像素传感器的子集来采集环境100的第二图像。
在特定实施例中，像素激活指令可以是进一步基于围绕对象125的3D模型的投影的缓冲区域135来生成的。作为示例而非通过限制的方式，计算系统110可以生成缓冲区域135，该缓冲区域135环绕对象125的3D模型的投影、或作为对象125的3D模型的投影的轮廓。缓冲区域135的大小可以与第一时间和第二时间之间的时间(例如，t1和t2之间的时间)成比例。更长的时间可引起更大的缓冲区域135(例如，1秒的缓冲区域将大于100毫秒的缓冲区域)。此外，较低的时延可引起预测的较少的不确定性，并引起较小的缓冲区域135。然后，较小的缓冲区域135可以减少待处理的像素数据量，从而进一步减少时延。缓冲区域的大小可以与摄像头115的帧速率成比例。具有高帧速率的摄像头与具有低帧速率的摄像头相比可以具有更小的缓冲区域。
图8A至图8D示出了缓冲区域135内的示例替代像素激活。在特定实施例中并参考图8A，计算系统110可以激活缓冲区域135内的所有像素。在特定实施例中并参考图8B，计算系统110可以激活缓冲区域135内像素的稀疏样本。例如，在缓冲区域135内，可以在每10个、100个或1000个像素中对1个像素进行采样。在特定实施例中并参考图8C，在缓冲区域135的与对象125的3D模型的投影相对应的部分内，计算系统110可以增加待采样像素的数量。例如，对于对象的3D模型的投影，可以对像素进行更密集地采样，而对于缓冲区域135，可以对像素进行更稀疏地采样。在特定实施例中并参考图8D，在对象125的3D模型的投影的对应于高梯度特征165(例如，人脸部上的眼睛、鼻子、嘴巴等)的部分内，计算系统110可以增加待采样像素的数量。在特定实施例中并具体参考图8A至图8D，在激活的像素更少时，对于相同功率和带宽可以启用更高的帧速率，这可以使得对象追踪的时延更低。另外，缓冲区域135的大小可以由正被追踪的对象的预测动态来确定。例如，抛向空中的对象由于重力最终会以预测的运动落向地面，并且可具有较小的缓冲区域，而正追逐激光笔的猫由于猫的动态的可预测性较低而可具有较大的缓冲区域。
图9示出了环境100的第二图像采集。在特定实施例中，计算系统110可以基于在第二时间t2对环境100的第二图像采集，来确定对象105(例如，人105a)的第二对象姿势。作为示例而非通过限制的方式，计算系统110可以确定：第二对象姿势的对象105(例如，人105a)在桌子105b的顶部。可以重复该过程以继续追踪对象105，例如，基于先前追踪的对象姿势而预测到：在人105a踏上桌子105b之后，人105a将离开桌子105b。在特定实施例中，计算系统110可以基于对象105的第二对象姿势生成人工现实效果，并使用由用户穿戴的头戴式装置(例如，AR/VR头戴式视图器)来显示该人工现实效果。作为示例而非通过限制的方式，计算系统110可以创建虚拟路线，该虚拟路线在正被追踪的对象移动通过环境时给予该对象多个点(point)。因此，人105a可以通过AR/VR头戴式视图器观看到跟随人105a踏上桌子105b然后离开桌子105b的路线或路径。作为另一示例而非通过限制的方式，计算系统110可以生成虚拟对象(例如，虚拟宠物)，该虚拟对象可以在人105a移动通过环境100时跟随该人。优点是，由于像素数据量减少而减少的时延可以提高AR/VR体验的质量。例如，虚拟遮挡(virtual occlusion)可以与被追踪对象紧密对齐，以精确地渲染与被追踪对象相邻的特征、化身或角色。尽管本公开描述了以特定方式确定对象105的第二对象姿势，但是本公开考虑了以任何合适的方式确定对象105的第二对象姿势。
图10示出了用于基于图像采集来追踪环境中的对象的示例方法1000。该方法可以开始于步骤1010，其中，计算系统110在第一时间指示具有多个像素传感器的摄像头使用该多个像素传感器，来采集包括对象的环境的第一图像。在步骤1020处，计算系统110基于第一图像确定对象的第一对象姿势。在步骤1030处，计算系统110基于第一对象姿势确定对象在第二时间的预测对象姿势。在步骤1040处，计算系统110确定摄像头在第二时间的预测摄像头姿态。在步骤1050处，计算系统110基于具有预测对象姿势的对象的3D模型在与预测摄像头姿态相关联的虚拟图像平面上的投影来生成像素激活指令。在步骤1060处，计算系统110在第二时间指示摄像头根据像素激活指令使用该多个像素传感器的子集来采集环境的第二图像。在步骤1070处，计算系统110基于第二图像确定对象的第二对象姿势。在适当的情况下，特定实施例可以重复图10的方法的一个或多个步骤。尽管本公开将图10的方法的特定步骤描述和示出为以特定顺序发生，但是本公开考虑了图10的方法的任何合适步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于基于图像采集(该图像采集包括图10的方法的特定步骤)来追踪环境中的对象的示例方法，但是本公开考虑了基于包括任何合适步骤的图像采集来追踪环境中的对象的任何合适的方法，其中，在适当的情况下，所述任何合适步骤可以包括图10的方法的所有步骤、一些步骤或不包括这些步骤。此外，尽管本公开描述并示出了执行图10的方法的特定步骤的特定部件、装置或系统，但是本公开考虑了执行图10的方法的任何合适步骤的任何合适部件、装置或系统的任何合适组合。
图11示出了示例计算机系统1100。在特定实施例中，一个或多个计算机系统1100执行在本文中描述或示出的一种或多种方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统1100提供在本文中描述或示出的功能。在特定实施例中，在一个或多个计算机系统1100上运行的软件执行在本文中描述或示出的一种或多种方法的一个或多个步骤，或者提供在本文中描述或示出的功能。特定实施例包括一个或多个计算机系统1100的一个或多个部分。在本文中，在适当的情况下，对计算机系统的引述可以包括计算装置，反之亦然。此外，在适当的情况下，对计算机系统的引述可以包括一个或多个计算机系统。
本公开考虑了任何合适数量的计算机系统1100。本公开考虑了采用任何合适的物理形式的计算机系统1100。作为示例而非通过限制的方式，计算机系统1100可以为嵌入式计算机系统、片上系统(system-on-chip，SOC)、单板计算机系统(single-board computersystem，SBC)(例如计算机模块(computer-on-module，COM)或系统模块(system-on-module，SOM))、台式计算机系统、膝上型或笔记本式计算机系统、交互式自助服务机、主机、计算机系统的网格、移动电话、个人数字助理(personal digital assistant，PDA)、服务器、平板计算机系统、或这些系统中的两者或更多者的组合。在适当的情况下，计算机系统1100可以包括一个或多个计算机系统1100；可以为单一式或分布式；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，所述云在一个或多个网络中可以包括一个或多个云部件。在适当的情况下，一个或多个计算机系统1100可以在没有大量空间或时间限制的情况下执行本文所描述或示出的一种或多种方法的一个或多个步骤。作为示例而非通过限制的方式，一个或多个计算机系统1100可以实时或以成批的方式执行本文所描述或示出的一种或多种方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统1100可以在不同的时间或者在不同的位置执行本文所描述或示出的一种或多种方法的一个或多个步骤。
在特定实施例中，计算机系统1100包括处理器1102、存储器(memory)1104、存储装置(storage)1106、输入/输出(input/output，I/O)接口1108、通信接口1110和总线1112。虽然本公开描述和示出了具有特定布置的特定数量的特定部件的特定计算机系统，但是本公开考虑了具有任何合适布置的任何合适数量的任何合适部件的任何合适的计算机系统。
在特定实施例中，处理器1102包括用于执行指令的硬件，这些指令例如为构成计算机程序的那些指令。作为示例而非通过限制的方式，为了执行指令，处理器1102可以从内部寄存器、内部高速缓冲存储器、存储器1104或存储装置1106中检索(或提取)指令；将这些指令解码并且执行这些指令；并且然后将一个或多个结果写入内部寄存器、内部高速缓冲存储器、存储器1104或存储装置1106。在特定实施例中，处理器1102可以包括用于数据、指令或地址的一个或多个内部高速缓冲存储器。本公开考虑了处理器1102在适当的情况下包括任何合适数量的任何合适的内部高速缓冲存储器。作为示例而非通过限制的方式，处理器1102可以包括一个或多个指令高速缓冲存储器、一个或多个数据高速缓冲存储器、和一个或多个转译后备缓冲器(translation lookaside buffer，TLB)。在指令高速缓冲存储器内的指令可以是在存储器1104或存储装置1106内的指令的副本，并且指令高速缓冲存储器可以加速处理器1102对那些指令的检索。在数据高速缓冲存储器内的数据可以是在存储器1104或存储装置1106内的数据的副本，以用于对在处理器1102处执行的指令进行操作；在处理器1102上执行的先前指令的结果由在处理器1102上执行的后续指令访问或者写入存储器1104或存储装置1106内；或者其他合适的数据。数据高速缓冲存储器可以加速处理器1102的读取或写入操作。TLB可以加速处理器1102的虚拟地址转译。在特定实施例中，处理器1102可以包括用于数据、指令或地址的一个或多个内部寄存器。本公开考虑了在适当的情况下，处理器1102包括任何合适数量的任何合适的内部寄存器。在适当的情况下，处理器1102可以包括一个或多个算术逻辑单元(arithmetic logic unit，ALU)；为多核处理器；或者包括一个或多个处理器1102。虽然本公开描述和示出了特定的处理器，但是本公开考虑了任何合适的处理器。
在特定实施例中，存储器1104包括主存储器，该主存储器用于存储处理器1102要执行的指令或者在处理器1102上要运行的数据。作为示例而非通过限制的方式，计算机系统1100可以将指令从存储装置1106或另一源(例如，另一计算机系统1100)中装载到存储器1104中。然后，处理器1102可以将指令从存储器1104中装载到内部寄存器或内部高速缓冲存储器中。为了执行这些指令，处理器1102可以从内部寄存器或内部高速缓冲存储器中检索指令，并且将这些指令解码。在执行指令期间或之后，处理器1102可以将一个或多个结果(这些结果可为中间结果或最终结果)写入内部寄存器或内部高速缓冲存储器。然后，处理器1102可以将这些结果中的一个或多个结果写入存储器1104。在特定实施例中，处理器1102仅执行在一个或多个内部寄存器或内部高速缓冲存储器中或者在存储器1104(而不是储存装置1106或者在别处)中的指令，并且仅对在一个或多个内部寄存器或内部高速缓冲存储器中或者在存储器1104(而不是存储装置1106或者在别处)中的数据进行操作。一个或多个存储器总线(这些总线可以各自包括地址总线和数据总线)可以将处理器1102耦接到存储器1104。如下所述，总线1112可以包括一个或多个存储器总线。在特定实施例中，一个或多个存储器管理单元(memory management unit，MMU)驻留在处理器1102与存储器1104之间，并且有助于由处理器1102请求的对存储器1104的访问。在特定实施例中，存储器1104包括随机存取存储器(random access memory，RAM)。在适当的情况下，该RAM可以为易失性存储器。在适当的情况下，该RAM可以为动态RAM(dynamic RAM，DRAM)或静态RAM(staticRAM，SRAM)。而且，在适当的情况下，该RAM可以为单端口或多端口RAM。本公开考虑了任何合适的RAM。在适当的情况下，存储器1104可以包括一个或多个存储器1104。虽然本公开描述和示出了特定的存储器，但是本公开考虑了任何合适的存储器。
在特定实施例中，存储装置1106包括用于数据或指令的大容量存储装置。作为示例而非通过限制的方式，存储装置1106可以包括硬盘驱动器(hard disk drive，HDD)、软盘驱动器、闪速存储器、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器、或这些存储装置中的两者或更多者的组合。在适当的情况下，存储装置1106可以包括可移动或非移动的(或固定的)介质。在适当的情况下，存储装置1106可以位于计算机系统1100的内部或外部。在特定实施例中，存储装置1106是非易失性固态存储器。在特定实施例中，存储装置1106包括只读存储器(read-only memory，ROM)。在适当的情况下，该ROM可以为掩模编程ROM、可编程ROM(programmable ROM，PROM)、可擦除PROM(erasable PROM，EPROM)、电可擦除PROM(electrically erasable PROM，EEPROM)、电可改写ROM(electrically alterable ROM，EAROM)、或闪速存储器、或这些ROM中的两者或更多者的组合。本公开考虑了采用任何合适的物理形式的大容量存储装置1106。在适当的情况下，存储装置1106可以包括促进在处理器1102与存储装置1106之间通信的一个或多个存储控制单元。在适当的情况下，存储装置1106可以包括一个或多个存储装置1106。虽然本公开描述和示出了特定的存储装置，但是本公开考虑了任何合适的存储装置。
在特定实施例中，I/O接口1108包括硬件、软件、或硬件和软件两者，其提供用于计算机系统1100与一个或多个I/O装置之间的通信的一个或多个接口。在适当的情况下，计算机系统1100可以包括这些I/O装置中的一者或多者。这些I/O装置中的一者或多者可以能够实现个人与计算机系统1100之间的通信。作为示例而非通过限制的方式，I/O装置可以包括键盘、按键、传声器、显示器、鼠标、打印机、扫描仪、扬声器、静物摄像头、手写笔、平板计算机、触控屏、轨迹球、视频摄像头、另一合适的I/O装置、或这些I/O装置中的两者或更多者的组合。I/O装置可以包括一个或多个传感器。本公开考虑了任何合适的I/O装置和用于这些I/O装置的任何合适的I/O接口1108。在适当的情况下，I/O接口1108可以包括一个或多个装置或软件驱动器，其能够使得处理器1102驱动这些I/O装置中的一者或多者。在适当的情况下，I/O接口1108可以包括一个或多个I/O接口1108。虽然本公开描述和示出了特定的I/O接口，但是本公开考虑了任何合适的I/O接口。
在特定实施例中，通信接口1110包括硬件、软件、或硬件和软件两者，其提供用于计算机系统1100与一个或多个其他计算机系统1100或一个或多个网络之间的通信(例如基于分组的通信)的一个或多个接口。作为示例而非通过限制的方式，通信接口1110可以包括：用于与以太网或其他有线网络进行通信的网络接口控制器(network interfacecontroller，NIC)或网络适配器；或用于与无线网络(例如WI-FI网络)进行通信的无线NIC(wireless NIC，WNIC)或无线适配器。本公开考虑了任何合适的网络和用于该网络的任何合适的通信接口1110。作为示例而非通过限制的方式，计算机系统1100可以与如下网络进行通信：自组织网络、个人局域网(personal area network，PAN)、局域网(local areanetwork，LAN)、广域网(wide area network，WAN)、城域网(metropolitan area network，MAN)、或互联网的一个或多个部分、或这些网络中的两者或更多者的组合。这些网络中的一者或多者的一个或多个部分可以是有线的或无线的。作为示例，计算机系统1100可以与如下网络进行通信：无线PAN(wireless PAN，WPAN)(例如蓝牙WPAN)、WI-FI网络、WI-MAX网络、蜂窝电话网络(例如全球移动通信系统(Global System for Mobile Communications，GSM)网络)、或其他合适的无线网络、或这些网络中的两者或更多者的组合。在适当的情况下，计算机系统1100可以包括用于这些网络中的任何网络的任何合适的通信接口1110。在适当的情况下，通信接口1110可以包括一个或多个通信接口1110。虽然本公开描述和示出了特定的通信接口，但是本公开考虑了任何合适的通信接口。
在特定实施例中，总线1112包括硬件、软件、或硬件和软件两者，其使计算机系统1100的部件彼此耦接。作为示例而非通过限制的方式，总线1112可以包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强型工业标准架构(EnhancedIndustry Standard Architecture，EISA)总线、前端总线(front-side bus，FSB)、超传输(HYPERTRANSPORT，HT)互连、工业标准结构(Industry Standard Architecture，ISA)总线、无限带宽(INFINIBAND)互连、低脚位(low-pin-count，LPC)总线、存储器总线、微通道架构(Micro Channel Architecture，MCA)总线、外围部件互连(Peripheral ComponentInterconnect，PCI)总线、PCI高速(PCI-Express，PCIe)总线、串行高级技术附接(serialadvanced technology attachment，SATA)总线、视频电子标准协会本地(VideoElectronics Standards Association local，VLB)总线、或另一合适的总线、或这些总线中的两者或更多者的组合。在适当的情况下，总线1112可以包括一个或多个总线1112。虽然本公开描述和示出了特定的总线，但是本公开考虑任何合适的总线或互连。
在本文中，在适当的情况下，一个或多个计算机可读非暂态存储介质可以包括一个或多个基于半导体的电路或者其他集成电路(integrated circuit，IC)(例如现场可编程门阵列(field-programmable gate array，FPGA)或专用IC(application-specific IC，ASIC))、硬盘驱动器(HDD)、混合硬盘驱动器(hybrid hard drives，HHD)、光盘、光盘驱动器(optical disc drive，ODD)、磁光盘、磁光驱动器、软盘、软盘驱动器(floppy disk drive，FDD)、磁带、固态驱动器(solid-state drive，SSD)、RAM驱动器、安全数字卡或驱动器、另一合适的计算机可读非暂态存储介质、或者这些介质中的两者或更多者的任何合适的组合。在适当的情况下，计算机可读非暂态存储介质可以为易失性、非易失性、或者易失性和非易失性的组合。
在本文中，除非另有明确规定或者在上下文中另有规定，否则“或”是包容性的而不是排他性的。因此，在本文中，除非另有明确规定或者在上下文中另有规定，否则“A或B”意指“A、B、或A和B两者”。而且，除非另有明确规定或者在上下文中另有规定，否则“和”既是连带的又是个别的。因此，在本文中，除非另有明确规定或者在上下文中另有规定，否则“A和B”意指“A和B，连带的或个别的”。
本公开的范围包括本领域的普通技术人员会理解的、在本文中描述或示出的示例实施例的所有变化、替换、改变、更改和修改。本公开的范围不限于在本文中描述或示出的示例实施例。而且，虽然本公开将本文中相应的实施例描述和示出为包括特定的部件、元件、特征、功能、操作或步骤，但是这些实施例中的任何实施例可以包括本领域的普通技术人员会理解的、在本文中的任意处描述或示出的任何部件、元件、特征、功能、操作或步骤中的任何项的任何组合或排列。此外，所附权利要求中引用的适配于、布置为、能够、配置为、使得能够、能够操作或操作地执行特定功能的装置或系统或者装置或系统的部件包括如下装置、系统、部件：不管装置、系统、部件或者特定功能是否被激活、接通或解锁，只要该装置、系统或部件是如此地适配、布置、能够、配置、使得能够、能够操作或操作地即可。此外，尽管本公开将特定实施例描述或示出为提供了特定优势，但是特定实施例可以不提供、提供一些或提供所有这些优势。

Claims (15)

1.一种方法，包括：由一个或多个计算系统：
在第一时间，指示具有多个像素传感器的摄像头使用所述多个像素传感器来采集环境的第一图像，所述环境包括对象；
基于所述第一图像确定所述对象的第一对象姿势；
基于所述第一对象姿势确定所述对象在第二时间的预测对象姿势；
确定所述摄像头在所述第二时间的预测摄像头姿态；
基于具有所述预测对象姿势的所述对象的3D模型在与所述预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；
在所述第二时间，指示所述摄像头根据所述像素激活指令使用所述多个像素传感器的子集来采集所述环境的第二图像；以及
基于所述第二图像确定所述对象的第二对象姿势。
2.根据权利要求1所述的方法，其中，在所述第二时间，所述多个像素传感器的子集被激活且所述多个像素传感器的第二子集被停用，以采集所述第二图像。
3.根据权利要求1或权利要求2所述的方法，还包括：
基于所述第一图像识别所述对象的对象类型；
访问与所述对象类型相关联的预测模型；以及
使用所述预测模型来确定所述对象在所述第二时间的所述预测对象姿势。
4.根据任一项前述权利要求所述的方法，还包括：
基于所述第二对象姿势生成人工现实效果；以及
使用由用户穿戴的头戴式装置显示所述人工现实效果；
其中，所述摄像头附接到由所述用户穿戴的所述头戴式装置。
5.根据任一项前述权利要求所述的方法，其中，所述像素激活指令是进一步基于缓冲区域来生成的，所述缓冲区域围绕所述对象的3D模型的投影；或者优选地，其中，所述缓冲区域的大小与所述第一时间和所述第二时间之间的时间成比例；或者优选地，其中，所述缓冲区域的大小与所述摄像头的帧速率成比例。
6.根据权利要求5所述的方法，还包括：
激活所述缓冲区域内的所有像素。
7.根据权利要求5所述的方法，还包括：
激活所述缓冲区域内的像素的稀疏样本；并且优选地，所述方法还包括：
增加对所述缓冲区域内的所述3D模型的投影内的像素的采样。
8.一种或多种计算机可读非暂态存储介质，所述一种或多种计算机可读非暂态存储介质包含软件，所述软件在被执行时能够操作以：
在第一时间，指示具有多个像素传感器的摄像头使用所述多个像素传感器来采集环境的第一图像，所述环境包括对象；
基于所述第一图像确定所述对象的第一对象姿势；
基于所述第一对象姿势确定所述对象在第二时间的预测对象姿势；
确定所述摄像头在所述第二时间的预测摄像头姿态；
基于具有所述预测对象姿势的对象的3D模型在与所述预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；
在所述第二时间，指示所述摄像头根据所述像素激活指令使用所述多个像素传感器的子集来采集所述环境的第二图像；以及
基于所述第二图像确定所述对象的第二对象姿势。
9.根据权利要求8所述的介质，其中，在所述第二时间，所述多个像素传感器的子集被激活且所述多个像素传感器的第二子集被停用，以采集所述第二图像。
10.根据权利要求98或权利要求9所述的介质，其中，所述软件在被执行时还能够操作以：
基于所述第一图像识别所述对象的对象类型；
访问与所述对象类型相关联的预测模型；以及
使用所述预测模型来确定所述对象在所述第二时间的所述预测对象姿势。
11.根据权利要求8至10中任一项所述的介质，其中，所述软件在被执行时还能够操作以：
基于所述第二对象姿势生成人工现实效果；以及
使用由用户穿戴的头戴式装置来显示所述人工现实效果；
其中，所述摄像头附接到由所述用户穿戴的所述头戴式装置；和/或，优选地，其中，所述像素激活指令是进一步基于缓冲区域来生成的，所述缓冲区域围绕所述对象的3D模型的投影。
12.一种系统，包括：一个或多个处理器；以及非暂态存储器，所述非暂态存储器耦接到所述处理器并且包括能够由所述处理器执行的指令，所述处理器在执行所述指令时能够操作以：
在第一时间，指示具有多个像素传感器的摄像头使用所述多个像素传感器来采集环境的第一图像，所述环境包括对象；
基于所述第一图像确定所述对象的第一对象姿势；
基于所述第一对象姿势确定所述对象在第二时间的预测对象姿势；
确定所述摄像头在所述第二时间的预测摄像头姿态；
基于具有所述预测对象姿势的所述对象的3D模型在与所述预测摄像头姿态相关联的虚拟图像平面上的投影，来生成像素激活指令；
在所述第二时间，指示所述摄像头根据所述像素激活指令使用所述多个像素传感器的子集来采集所述环境的第二图像；以及
基于所述第二图像确定所述对象的第二对象姿势。
13.根据权利要求12所述的系统，其中，在所述第二时间，所述多个像素传感器的子集被激活且所述多个像素传感器的第二子集被停用，以采集所述第二图像。
14.根据权利要求129或权利要求13所述的系统，其中，所述处理器在执行所述指令时还能够操作以：
基于所述第一图像识别所述对象的对象类型；
访问与所述对象类型相关联的预测模型；以及
使用所述预测模型来确定所述对象在所述第二时间的所述预测对象姿势。
15.根据权利要求12至14中任一项所述的系统，其中，所述处理器在执行所述指令时还能够操作以：
基于所述第二对象姿势生成人工现实效果；以及
使用由用户穿戴的头戴式装置来显示所述人工现实效果；
其中，所述摄像头附接到由所述用户穿戴的所述头戴式装置；和/或，优选地，其中，所述像素激活指令是进一步基于缓冲区域来生成的，所述缓冲区域围绕所述对象的3D模型的投影。
CN202180074740.8A 2020-11-02 2021-10-13 使用稀疏传感器采集的对象追踪 Pending CN116368522A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/086,662 2020-11-02
US17/086,662 US11222468B1 (en) 2020-11-02 2020-11-02 Object tracking using sparse sensor captures
PCT/US2021/054851 WO2022093536A1 (en) 2020-11-02 2021-10-13 Object tracking using sparse sensor captures

Publications (1)

Publication Number Publication Date
CN116368522A true CN116368522A (zh) 2023-06-30

Family

ID=78806622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180074740.8A Pending CN116368522A (zh) 2020-11-02 2021-10-13 使用稀疏传感器采集的对象追踪

Country Status (6)

Country Link
US (3) US11222468B1 (zh)
EP (1) EP4238058A1 (zh)
JP (1) JP2023548765A (zh)
KR (1) KR20230101822A (zh)
CN (1) CN116368522A (zh)
WO (1) WO2022093536A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004209B2 (en) * 2017-10-26 2021-05-11 Qualcomm Incorporated Methods and systems for applying complex object detection in a video analytics system

Also Published As

Publication number Publication date
US20220139034A1 (en) 2022-05-05
US20230119703A1 (en) 2023-04-20
US11562534B2 (en) 2023-01-24
US11222468B1 (en) 2022-01-11
EP4238058A1 (en) 2023-09-06
US11804010B2 (en) 2023-10-31
KR20230101822A (ko) 2023-07-06
JP2023548765A (ja) 2023-11-21
WO2022093536A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US11402634B2 (en) Hand-locked rendering of virtual objects in artificial reality
US10796185B2 (en) Dynamic graceful degradation of augmented-reality effects
US10747302B2 (en) Artificial reality interaction plane
TWI489319B (zh) 以深度梯度爲基礎之追蹤
KR20230044395A (ko) 단안 비디오로부터의 사실적이고 애니메이션 가능한 전신 인간 아바타 학습
CN116261706A (zh) 用于使用融合数据进行对象跟踪的系统和方法
CN113302666A (zh) 识别人工现实系统中的平面
CN116686010A (zh) 时间注视点渲染
CN113711166B (zh) 语义增强的人工现实体验
CN116368522A (zh) 使用稀疏传感器采集的对象追踪
US20220319129A1 (en) 3D Reconstruction Of A Moving Object
KR20220113237A (ko) 전자 장치 및 그 제어 방법
US11580703B1 (en) Adaptive model updates for dynamic and static scenes
US11321838B2 (en) Distributed sensor module for eye-tracking
US20220122285A1 (en) Visual inertial odometry localization using sparse sensors
US20210232210A1 (en) Virtual path generation in a virtual environment that is based on a physical environment
US12039695B1 (en) Split machine-learning assisted graphics rendering pipeline
AU2021242795A1 (en) Touch-free interaction with a self-service station in a transit environment
EP3480789A1 (en) Dynamic graceful degradation of augmented-reality effects
KR20230162927A (ko) 인간의 시야 범위로부터의 자기중심적 포즈 추정
CN117999583A (zh) 数字服装生成

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination