CN105144196A - 用于计算相机或对象姿态的方法和设备 - Google Patents

用于计算相机或对象姿态的方法和设备 Download PDF

Info

Publication number
CN105144196A
CN105144196A CN201480010236.1A CN201480010236A CN105144196A CN 105144196 A CN105144196 A CN 105144196A CN 201480010236 A CN201480010236 A CN 201480010236A CN 105144196 A CN105144196 A CN 105144196A
Authority
CN
China
Prior art keywords
image
scene
camera
attitude
pictorial element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480010236.1A
Other languages
English (en)
Other versions
CN105144196B (zh
Inventor
J·D·J·肖顿
C·扎克
S·伊扎迪
A·W·费茨吉本
B·M·格洛克
A·克里米尼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105144196A publication Critical patent/CN105144196A/zh
Application granted granted Critical
Publication of CN105144196B publication Critical patent/CN105144196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

例如，描述了用于在已知环境中重新定位移动相机(诸如在智能电话上的)或者用于计算相对于固定相机移动的对象的姿态的相机或对象姿态计算。该姿态信息对于机器人、增强现实、导航和其他应用是有用的。在其中相机姿态被计算的各实施例中，经训练的机器学习系统将来自场景的图像的图像元素与该场景的3D世界坐标系中的点相关联。在其中相机固定而对象的姿态要被计算的示例中，经训练的机器学习系统将来自该对象的图像的图像元素与对象坐标系中的点相关联。在各示例中，图像元素可能是有噪声且不完整的，而姿态推断引擎计算该姿态的准确估计。

Description

用于计算相机或对象姿态的方法和设备
背景技术
对于许多应用(诸如机器人、车辆导航、计算机游戏应用、医疗应用和其他问题领域)，能够在相机在已知环境内移动时找到该相机的定向和位置是有价值的。相机的定向和位置被称为相机姿态并且可包括6个自由度(三个平移和三个旋转)。在相机固定而对象相对于相机移动的情况下，能够计算对象的姿态也是有用的。
先前的方法使用关键帧匹配，其中将完整测试图像对照样本训练图像(关键帧)来匹配。K个匹配关键帧被找到，且这些关键帧的姿态(关键姿态)被内插以生成输出相机姿态。关键帧匹配通常在姿态结果上非常粗略。
另一种先前的方法使用关键点匹配，其中稀疏兴趣点集合被在测试图像中检测并且使用关键点描述符来匹配到已知描述符数据库。给定公认匹配集合，运行稳健优化来寻找那些匹配中最大数目的匹配在几何上一致的相机姿态。关键点匹配在其中太少关键点被检测到的情形中遇到困难。
现有方法在精确度、稳健性和速度上受到限制。
以下描述的各实施例不限于解决已知的用于寻找相机或对象姿态的系统的缺点中的任一个或全部的实现。
发明内容
下面呈现了本发明的简要概述，以便向读者提供基本理解。本概述不是本公开的穷尽概览，并且不标识本发明的关键/重要元素或描述本说明书的范围。其唯一的目的是以简化形式呈现此处所公开的精选概念，作为稍后呈现的更详细的描述的序言。
例如，描述了用于在已知环境中重新定位移动相机(诸如在智能电话上的)或者用于计算相对于固定相机移动的对象的姿态的相机或对象姿态计算。该姿态信息对于机器人、增强现实、导航和其他应用是有用的。在其中相机姿态被计算的各实施例中，经训练的机器学习系统将来自场景的图像的图像元素与该场景的3D世界坐标系中的点相关联。在其中相机固定而对象的姿态要被计算的示例中，经训练的机器学习系统将来自该对象的图像的图像元素与对象坐标系中的点相关联。在各示例中，图像元素可能是有噪声且不完整的，而姿态推断引擎计算该姿态的准确估计。
通过结合附图参考以下详细描述，可易于领会并更好地理解许多附带特征。
附图说明
根据附图阅读以下具体实施方式，将更好地理解本发明，在附图中：
图1是用于在场景A中重新定位(诸如智能电话中的)移动相机的相机姿态跟踪器的示意图；
图2是握持具有相机和相机姿态跟踪器的移动设备的人的示意图，该移动设备与增强显示系统通信以使得猫的图像能够以逼真的方式被投影到该场景中；
图3是各自具有相机和相机姿态跟踪器的人和机器人的示意图；
图4是形成随机决策森林的至少一部分的三个随机决策树的示意图；
图5是训练随机决策森林以预测图像元素和场景坐标之间的对应关系；以及使用经训练的随机决策森林的方法的流程图；
图6是使用场景的图像来训练随机决策森林的方法的流程图，其中图像元素具有指示其对应场景坐标的标签；
图7是使用经训练的随机决策森林来获得场景坐标-图像元素对的方法的流程图；
图8是使用场景坐标-图像元素对来推断相机姿态的在相机姿态推断引擎处的方法的流程图；
图9是图1的相机姿态跟踪器的示意图，其中该场景的3D模型可用；
图10解说可在其中实现相机或对象姿态跟踪器的各实施例的示例性基于计算的设备。
在各个附图中使用相同的附图标记来指代相同的部件。
具体实施方式
下面结合附图提供的详细描述旨在作为本发明示例的描述，并不旨在表示可以构建或使用本发明示例的唯一形式。本描述阐述了本发明示例的功能，以及用于构建和操作本发明示例的步骤的序列。然而，可以通过不同的示例来实现相同或等效功能和序列。
虽然在本文中将本发明的示例描述并示出为使用随机决策森林来实现，但所描述的系统只是作为示例而非限制来提供的。本领域技术技术人员应当领会，本发明各示例可以使用各种不同类型的机器学习系统实现，所述机器学习系统包括但不限于支持向量机、高斯过程回归系统。
图1是用于在场景A中重新定位(诸如智能电话中的)移动相机的相机姿态跟踪器的示意图。在此示例中，人114正在握持移动相机112，该移动相机与通信设备(诸如智能电话)集成。人114使用移动相机112来捕捉场景A116(诸如起居室、办公室或其他环境)的至少一个图像118。该图像可以是深度图像、彩色图像(被称为RGB图像)、或可包括深度图像和彩色图像两者。在一些示例中，图像流由移动相机捕捉。
相机姿态跟踪器100与该智能电话集成或者在与该智能电话通信的另一实体处提供。相机姿态跟踪器100使用软件和/或硬件实现，如下面参考图10更详细地描述的。相机姿态跟踪器100包括多个经训练的场景坐标决策森林102、104、106，针对多个场景中的每个场景有一个决策森林。经训练的场景坐标决策森林可被存储在相机姿态跟踪器处或可位于与该相机姿态跟踪器通信的另一实体处。每个场景坐标决策森林是一种类型的机器学习系统，该机器学习系统以图像元素(来自其相关联的场景)作为输入并产生场景中该图像元素所描绘的点的场景坐标(在世界空间中)的估计。图像元素可以是图像中的像素、像素组、体素、体素组、团块、补丁或其他分量。其他类型的机器学习系统可代替场景坐标决策森林来使用。例如，支持向量机回归系统、高斯过程回归系统。
决策森林包括各自具有根节点、多个分叉节点以及多个叶节点的一个或多个决策树。在用于在每一个分叉节点处做出决定的过程中，图像中的图像元素可从根到叶节点地被推动通过决策森林中的各个树。根据图像元素的特性以及测试图像元素的特性来做出该决定，测试图像元素从图像元素位移达分叉节点处的参数所指定的空间偏移。在分叉节点处，图像元素沿着根据决定的结果来选择的分支向下前进至树的下一层。随机决策森林可使用如下文更详细地描述的递归或归类。在训练期间，学习参数值(也被称为特征)以供在分叉节点处使用，并且在叶节点处累积数据。例如，场景坐标的分布在叶节点处被累积。
在训练期间在叶节点处存储所有场景坐标可以是非常存储器密集的，因为通常使用大量训练数据来用于实际应用。场景坐标可被聚集，以使得场景坐标被以紧致方式存储。可使用各种不同聚集过程。下面更详细地描述存储场景坐标的分布的模式的示例。
在图1的示例中，存在多个经训练的场景坐标决策森林；针对多个场景中的每个场景有一个决策森林。]然而，具有针对多个场景操作的单个经训练的场景坐标决策森林也是可能的。这将在下面参考图9来解释。
场景坐标决策森林提供用于输入到相机姿态跟踪器100中的相机姿态推断引擎108中的图像元素-场景坐标对估计110。关于图像元素-场景坐标估计的确定性的信息也可以可用。相机姿态推断引擎108可使用能量优化方法来寻找良好拟合于场景坐标决策森林所预测的多个图像元素-场景坐标对的相机姿态。这在以下参考图8更详细地描述。在一些示例中，每个可用图像元素的场景坐标可被计算并在能量优化中使用。然而，为了在保持准确性的同时实现性能改进，图像元素的子样本可被用来计算所预测的场景坐标。
相机姿态推断引擎108使用许多图像元素-场景坐标对110来使用如上提及的能量优化方法来推断移动相机112的姿态。远多于三个对(所需的最小值)可被用于改善准确性。例如，该至少一个所捕捉图像118可能有噪声并且可能有丢失的图像元素，特别是在所捕捉图像118是深度图像的情况下。另一方面，获得图像中的每个图像元素的场景坐标预测是计算密集且耗时的，因为每个图像元素需要被推动遍历该森林，如参考图7所述。因此，在一些示例中，相机姿态推断引擎可使用迭代过程，该迭代过程带来以下益处：图像元素的子样本被用来计算场景坐标预测，同时将准确性纳入考虑。
相机姿态跟踪器所输出的相机姿态120可以是具有6个自由度的参数集的形式，其中三个自由度指示该相机的旋转，而三个自由度指示该相机的位置。例如，相机姿态跟踪器的输出是从相机空间到世界空间的变换的配准参数的集合。在一些示例中，这些配准参数是作为SE3矩阵形式的6自由度(6DOF)姿势估计被提供的，该SE3矩阵描述了该相机相对于现实世界坐标的旋转和平移。
相机姿态跟踪器110输出的相机姿态120可以连同所捕捉图像118一起被输入到下游系统122。下游系统可以是游戏系统124、增强现实系统126、机器人系统128、导航系统130或其他系统。参考图2描述了其中下游系统122是增强现实系统的示例。
所述示例显示了可以如何计算相机姿态。这些示例可按简单方式修改以使得在相机固定的情况下能够计算对象的姿态。在此情况下，使用对象的训练图像来训练机器学习系统，其中图像元素被标记有对象坐标。随后提供对象姿态跟踪器，其使用本文描述的被适配于其中相机固定而对象的姿势要被计算的情形的方法。
作为替换或补充，本文所述的相机姿态跟踪器或对象姿态跟踪器可至少部分地由一个或多个硬件逻辑组件来执行。例如，但非限制，可被使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)，图形处理单元(GPU)。
图2是握持移动设备202的人200的示意图，该移动设备具有相机212、相机姿态跟踪器214和投影仪210。例如，该移动设备可以是智能电话。为了清楚，没有示出用于使该移动设备能够作为智能电话工作的该移动设备的其他组件(诸如通信接口、显示屏、电源和其他组件)。握持移动设备202的人200能够捕捉该用户正在其中移动的场景或环境的图像。在图2的示例中，场景或环境是包含各种对象206和另一人204的起居室。
移动设备能够与云216中提供的一个或多个实体(诸如增强现实系统218、场景的3D模型220、以及可任选的3D模型生成系统222)通信。
例如，用户200操作移动设备202来捕捉场景的图像，相机姿态跟踪器214使用这些图像来计算该相机的姿态(位置和定向)。经过用户同意，相机姿态(可任选地与图像228一起)被发送224到云216中的实体。增强现实系统218可以访问场景的3D模型220(例如，起居室的3D模型)并可使用该3D模型和相机姿态来计算投影仪输入226。投影仪输入226被发送到移动设备202并可被投影仪210投影到场景中。例如，猫的图像208可被以逼真方式投影到场景中，其中该场景的3D模型和相机姿态被纳入考虑。该场景的3D模型可以是计算机辅助设计(CAD)模型、或可以是使用3D模型生成系统222根据场景的所捕捉的图像构建的场景中的各表面的模型。可使用的3D模型生成系统的示例在Richard等人的于2012年8月2日公开的美国专利申请US20120194516“Three-DimensionalEnvironmentReconstruction(三维环境重构)”中描述。也可使用其他类型的3D模型和3D模型生成系统。
现在参考图3描述其中下游系统122是导航系统的示例。图3具有带有各种对象310的办公室300的楼层的平面视图。握持移动设备304的人302正以箭头308的方向沿走廊306行走。移动设备304具有一个或多个相机314、相机姿态跟踪器316、以及地图显示318。移动设备304可以是智能电话或者参考图2描述并能够与云320中的导航系统322通信的其他移动通信设备，导航系统322接收来自该移动设备的相机姿态(其中该用户已同意公开此信息)并使用该信息，连同该办公室的楼层的地图324，来计算地图显示数据以帮助人302在该办公室楼层导航。地图显示数据被发送至移动设备并可以在地图显示318处显示。
现在参考图3描述其中下游系统122是机器人系统的示例。机器人车辆312沿走廊306移动并使用机器人车辆上的一个或多个相机326捕捉图像。机器人车辆处的相机姿态跟踪器328能够计算相机的姿态，其中该场景对该机器人车辆而言是已知的。
图4是包括三个决策树的示例决策森林的示意图：第一树400(表示为树1)；第二树402(表示为树2)；以及第三树404(表示为树3)。每个决策树包括根节点(例如，第一决策树700的根节点406)、多个被称为分叉节点(例如，第一决策树400的分叉节点408)的内部节点、以及多个叶节点(例如，第一决策树400的叶节点410)。
在操作中，每个树的每个根和分叉节点对输入数据执行二元测试(或有可能是n-ary(n元)测试)并基于其结果来将数据导向左侧或右侧的子节点。叶节点不执行任何动作；它们存储累积的场景坐标(以及可任选的其他信息)。例如，可存储表示所累积的场景坐标的概率分布。
图5是训练随机决策森林以预测图像元素和场景坐标之间的对应关系的方法的流程图。这在图5的高于被标记为“训练”的区域中的虚线上方的上半部分中解说。图5的虚线下方的下半部分显示了在使用经训练的随机决策森林来预测(或估计)来自场景的图像的图像元素和该场景的3D世界坐标系(场景坐标)中的点之间的对应关系时的测试时间处的方法步骤。
随机决策森林被训练502以使得图像元素能够生成其自身和场景坐标之间的对应关系的预测。在训练期间，使用至少一个场景(诸如场景A)的经标记的训练图像500。例如，经标记的训练图像包括：对于每个图像元素而言，场景的3D世界坐标系中该图像元素所描绘的点。为了获得经标记的训练图像，可使用各种不同方法来捕捉场景A的图像516并针对所捕捉的每个图像记录或计算相机的姿态。使用此数据，可计算指示图像元素所描绘的世界点的场景坐标。为了捕捉该图像并记录或计算相关联的相机姿态，一种方法是执行来自深度相机输入512的相机跟踪。例如，如在2012年8月2日公开的Newcombe、Richard等人的美国专利申请US20120196679“Real-timecameratrackingusingdepthmaps(使用深度地图的实时相机跟踪)”中所描述的。另一方法是执行从RGB相机输入514的密集重构和相机跟踪。使用CAD模型来生成合成训练数据也是可能的。训练图像本身(即，非标签图像)可以是真实的或合成的。
下面参考图6描述框502的训练过程的示例。训练的结果是针对场景A的经训练的随机决策森林504(在其中训练图像是场景A的训练图像的情况下)。
在测试时间，场景A的输入图像508被接收且多个图像元素被从该输入图像选择。所述图像元素可被随机选择或以另一方式选择(例如，通过选择以使得虚假或有噪声的图像元素被忽略)。每个所选图像元素可被应用506到经训练的决策森林以获得那些图像元素和该场景的3D世界坐标系中的点之间的所预测的对应关系510。
图6是使用场景的图像来训练随机决策森林的方法的流程图，其中图像元素具有指示其对应场景坐标的标签。场景的训练图像集被接收600，其中图像元素具有指示它们绘制的场景点的场景坐标的标签。要在决策森林中使用的树的数目被选择602，例如，在3和20棵树之间。
从该决策森林中选择604决策树(例如，第一决策树600)，并且选择606根节点606。然后选择608来自每一个训练图像的至少一个图像元素子集。例如，可过滤图像来移除有噪声或虚假的图像元素。
然后生成610测试参数的随机集合(也被称为弱学习者)以供在根节点处作为候选特征执行的二元测试使用。在一个示例中，二元测试采用以下形式ξ>f(x；θ)>τ，以使得f(x；θ)是被应用到图像元素x的函数，该函数具有参数θ，并且将该函数的输出与阈值ξ和τ进行比较。如果f(x；θ)的结果在ξ和τ之间的范围内，则该二元测试的结果为真。否则，该二元测试的结果为假。在其他示例中，可以只使用阈值ξ和τ中的一个，以使得如果f(x；θ)的结果大于(或可另选地，小于)阈值则该二元测试的结果为真。在此处描述的示例中，参数θ限定图像的特征。
候选函数f(x；θ)利用在测试时可用的图像信息。函数f(x；θ)的参数θ在训练期间随机生成。用于生成参数θ的过程可包括生成二维或三维位移形式的随机空间偏移值。随后通过观察一个或多个测试图像元素的深度(或在RGB图像和深度图像对的情况下的强度值)值来计算函数f(x；θ)的结果，其中所述测试图像元素从该图像中感兴趣的图像元素x位移达空间偏移。空间偏移通过缩放达1/感兴趣的图像元素的深度来可任选地变得深度不可变。当使用不带深度图像的RGB图像时，可通过观察一个或多个测试图像元素的红、绿、或蓝颜色通道的指定的一个颜色通道中的强度值来计算函数f(x；θ)的结果，其中所述测试图像元素从该图像中感兴趣的图像元素x位移达空间偏移。
在根节点或分叉节点处执行的二元测试的结果确定图像元素被传递到哪个子节点。例如，如果二元测试的结果为真，则该图像元素被传递到第一子节点，而如果结果为假，则该图像元素被传递到第二子节点。
所生成的测试参数的随机集合包括函数参数θ的多个随机值以及阈值ξ和τ。为了将随机性注入到决策树中，仅对所有可能的参数的随机采样的子集Θ来优化每个分叉节点的函数参数θ。这是将随机性注入树中的有效且简单的方式，并且增加泛化。
接着，可将测试参数的每个组合应用612到训练图像集中的每个图像元素。换言之，对于每个训练图像中的每个图像元素，与ξ和τ的可用值相组合，一个接一个地尝试θ的可用值(即，θi∈Θ)。对于每个组合，准则(亦称目标)被计算614。优化该准则的参数组合被选择614并被存储在当前节点处以供未来使用。
在一示例中，目标是被表达为下式的方差减小(reduction-in-variance)目标：
Q ( S n θ ) = V ( S n ) - Σ d ∈ { L , R } | s n d ( θ ) | | s n | V ( S n d ( θ ) )
其可被用词语表达为在分叉节点n处的训练示例的方差的减小，其中弱学习者参数θ等于抵达该分叉节点的所有训练示例的方差减去抵达该分叉节点的左子节点和右子节点的训练示例的方差和。这一方差可被计算为：
V ( S ) = 1 | S | Σ ( p , m ) ∈ S | | m - m ‾ | | 2 2
其可被用词语表达为：训练示例集S的方差等于场景坐标m和S中的场景坐标的平均值之间的差的平均值。
作为对方差减小目标的替换，可使用其他准则，诸如行列式的对数、或连续信息增益。
然后确定616所计算的准则的值是否小于(或大于)阈值。如果所计算的准则的值小于阈值，则这指示该树的进一步扩展不提供显著的益处。这引起了异步树，异步树在附加节点不是有益的时候自然停止生长。在此情况下，将当前节点设置618为叶节点。类似地，确定该树的当前深度(即，在根节点和当前节点之间有多少层节点)。如果此值大于预定义的最大值，则将当前节点设置618为叶节点。每一个叶节点都具有在如下所述的训练过程期间在该叶节点处累积的场景坐标预测。
与已经提及的那些停止准则相结合地使用另一停止准则也是可能的。例如，用于评估到达叶的示例图像元素的数量。如果存在太少的示例(与例如阈值相比)，则该过程可被安排成停止以避免过拟合。然而，不一定使用该停止准则。
如果所计算的准则的值大于或等于阈值且树深度小于最大值，则将当前节点设置620为分叉节点。在当前节点是分叉节点时，它具有子节点，并且该过程随后移至训练这些子节点。在当前节点处使用训练图像元素的子集来训练每个子节点。使用优化准则的参数来确定被发送至子节点的图像元素的子集。在二元测试中使用这些参数并且对当前节点处的所有图像元素执行622该二元测试。通过该二元测试的图像元素形成被发送至第一子节点的第一子集，而没有通过该二元测试的图像元素形成被发送至第二子节点的第二子集。
对于子节点中的每一个，对被定向至相应子节点的图像元素的子集递归地执行624图6的框610到622中所概述的过程。换言之，对于每一个子节点，生成610新的随机测试参数并将其应用612于图像元素的相应子集，选择614优化准则的参数，并确定616节点的类型(分叉节点还是叶节点)。如果它是叶节点，则当前递归分支停止。如果它是分叉节点，则执行622二元测试以确定图像元素的附加子集并且另一递归分支开始。因此，这个过程以递归方式遍历树，从而训练每个节点，直到在每个分支到达叶节点。当到达叶节点时，该过程等待626，直到所有分支中的节点已被训练。注意，在其他示例中，可使用可另选的递归技术来获得相同的功能。
一旦该树中的所有节点被训练以便在每一个分叉节点处确定优化准则的二元测试的参数，并且叶节点已被选择以终止每个分支，则可以在该树的各个叶节点处累积628场景坐标。这是训练阶段，并因此到达给定叶节点的特定图像元素具有从人工标注训练数据中知晓的指定场景坐标。场景坐标的表示可使用各种不同方法来存储630。例如，通过聚集场景坐标或存储表示场景坐标的分布的统计数据。
在一些实施例中，多模态分布被拟合到经累积的场景坐标。拟合多模型分布的示例包括使用预期最大化(诸如拟合高斯混合模型)；使用均值移位模式检测(meanshiftmodedetection)；使用任何适当群集过程，诸如k-均值群集(k-meansclustering)、凝聚群集或其他群集过程。随后存储群集或多模态分布的性质而不是存储个体场景坐标。在一些示例中，可存储个体场景坐标的少数样本。
还可存储针对每个群集或模式的权重。例如，均值移位模式检测算法被使用且抵达特定模式的场景坐标的数目可被用作该模式的权重。均值移位模式检测是一种高效地检测Parzen窗口密度估计器所定义的分布中的模式(峰值)的算法。在另一示例中，由Parzen窗口密度估计器所定义的密度可被用作权重。Parzen窗口密度估计器(也被称为内核密度估计器)是一种用于估计概率密度函数(在此情况下为所累积的场景坐标)的非参数过程。Parzen窗口密度估计器采用带宽参数，该参数可被认为是控制平滑程度。
在一示例中，抵达叶节点的训练图像元素的子样本被获取并被输入到均值移位模式检测过程。这将场景坐标群集为小的模式集。这些模式中的一个或多个模式可根据例如被指派到每种模式的示例的数目来存储。
一旦已存储所累积的场景坐标，就确定632决策森林中是否存在更多树。如果存在，则选择该决策森林中的下一个树，并且该过程重复。如果该森林中的所有树均已被训练，而没有其他树剩下，则该训练过程完成且该过程终止634。
因此，作为训练过程的结果，使用经验训练图像来训练一个或多个决策树。每一棵树都包括存储经优化的测试参数的多个分叉节点以及存储相关联的场景坐标或聚集的场景坐标的表示的叶节点。由于参数从在每个节点处使用的有限子集中随机生成，以及在每个树中使用的训练数据的可能子采样集，森林中的树彼此有区分(即，不同)。
在使用经训练的预测系统来标识一个或多个已知场景的深度或RGB图像的图像元素的场景坐标之前，可执行训练过程。决策森林和经优化的测试参数可被存储在存储设备上以供在稍后标识图像元素的场景坐标时使用。
图7解说了使用已如参考图6描述地训练的决策森林来预测先前未见图像(深度图像、RGB图像、或经校正的深度和RGB图像对)中的场景坐标的过程的流程图。首先，接收未见图像700。图像被称为“未见”的以将其与已经指定场景坐标的训练图像区分开来。
来自未见图像的图像元素被选择702。来自决策森林的经训练的决策树也被选择704。通过所选择的决策树推动所选图像元素706，以使得在一节点处对照经训练的参数进行测试，然后取决于该测试的结果而将其传递到适当的子，并且该过程重复直到该图像元素到达叶节点。一旦图像元素到达叶节点，就存储708与该叶节点相关联的针对该图像元素的所累积的场景坐标(来自训练阶段)。在其中叶节点存储场景坐标的一个或多个分布模式的示例中，那些模式中的一个或多个被针对此图像元素存储。
如果确定710该森林中存在更多决策树，则新决策树被选择704，推动706图像元素遍历该树并存储累积的场景坐标708。重复此过程，直到对于该森林中的所有决策树都执行了该过程。对于图像元素的森林的最终预测可以是从在每个树处发现的叶获得的场景坐标的聚集。在一个或多个场景坐标分布模式被存储在叶处的情况下，该森林的最终预测可以是来自在每个树处发现的叶的模式的并集。注意，用于推动图像元素通过决策森林中的多个树的过程还可以并行执行，而不是如图7所示按序列执行。
接着确定712其他未分析的图像元素是否要被评估，并且如果是，则选择另一图像元素并且重复该过程。相机姿态推断引擎可被安排成确定其他未分析的图像元素要被评估，如下面参考图8所述。
图8是使用场景坐标-图像元素对来推断相机姿态的在相机姿态推断引擎处的方法的流程图。如同上面提及的，相机姿态推断引擎可使用能量优化方法来寻找良好拟合于场景坐标决策森林所预测的多个图像元素-场景坐标对的相机姿态。在使用深度图像或深度和RGB两种图像的情况下，示例能量函数可以是：
E(H)＝Σi∈Iρ(minm∈Mi‖m-Hxi‖2)＝∑i∈Iei(H)
其中i∈I是图像元素索引；ρ是稳健误差函数；m∈Mi表示该森林中的树在图像元素pi处所预测的模式集合(在场景的世界空间中的3D位置)；且xi是与像素pi对应的相机空间中的3D坐标，其可通过反向投影深度图像元素来获得。能量函数可被认为是对给定相机假设H的异常值的数目进行计数。上述标记使用同构3D坐标。
在使用RGB图像而没有深度图像的情况下，能量函数可由下式修改：
E(H)＝Σi∈Iρ(minm∈Mi‖π(KH-1m-pi)‖2)＝∑i∈Iei(H)
其中ρ是稳健误差函数，π从3D到2D图像坐标投影，K是编码相机本征参数的矩阵，而pi是2D图像元素坐标。
注意，E、ρ和ei可以用不同的上标分离出来，诸如以上等式中的rgb/深度。
为了优化能量函数，可使用迭代过程来在可能相机姿态候选集合中搜索良好相机姿态候选。图像元素-场景坐标对的样本被取得并被用于评估相机姿态候选。可使用图像元素-场景坐标对的子集来细化或更新相机姿态候选。通过使用图像元素-场景坐标对的样本而不是来自图像的每个图像元素-场景坐标对，计算时间被减少而不损失准确性。
现在参考图8描述可在相机姿态推断引擎处使用的示例迭代过程。通过例如对于每个相机姿态候选选择802来自输入图像(其可以是深度图像、RGB图像或经校正的深度和RGB图像对)的三个图像元素来生成800初始相机姿态候选或假设集合。该选择可以是随机的或可将输入图像中的噪声或丢失值纳入考虑。在其中场景坐标更确定的情况下拾取对是可能的，其中确定性信息从该森林可用。在一些示例中，可强加图像元素之间的最小距离分离以改善准确性。每个图像元素被推动遍历经训练的场景坐标决策森林以获得三个场景坐标。该三个图像元素-场景坐标对被用来使用任何适当方法(诸如Kabsch算法，也被称为正交Procrustes对齐，其使用奇异值分解来计算相机姿态假设)计算804相机姿态。在一些示例中，初始相机姿态候选集合可包括820先前帧的一个或多个相机姿态，其中图像流可用。其还可包括从相机的路径的知识中预测的相机姿态。
对于每个相机姿态假设，计算806一些正常值(inlier)或异常值(outlier)。正常值和异常值是被分类为与相机姿态假设一致或不一致的图像元素-场景坐标对。为了计算正常值和异常值，图像元素批次B被从输入图像采样808并被应用到经训练的森林以获得场景坐标。该采样可以是随机的或可将输入图像中的噪声或丢失值纳入考虑。可根据图像姿态假设中的每一个将每个场景坐标-图像元素对分类810为正常值或异常值。例如，通过比较森林说该图像坐标对该图像元素是什么以及该相机姿态假设说该场景坐标对该图像元素是什么。
可任选地，基于与每个假设相关联的正常值(或异常值)的相对数目，或基于以与其他假设的异常值计数的排名排序，可丢弃812相机姿态假设中的一个或多个。在各示例中，该排名或选择假设可通过对每个相机姿态假设具有多少异常值进行计数来实现。根据上面的能量函数，具有更少异常值的相机姿态假设具有更高能量。
可任选地，剩余相机姿态假设可通过使用与每个相机姿态相关联的正常值来(使用上面提到的Kabsch算法)重新计算该相机姿态来细化814。为了效率，该过程可存储和更新奇异值分解所使用的均值和协方差矩阵。
该过程可通过对另一图像元素批次B采样等来重复816，直到剩下一个或指定数目的相机姿态为止，或者根据其他准则(诸如迭代数)。
相机姿态推断引擎能够以迭代速率产生精确相机姿态估计。这无需计算该场景的显式3D模型就可实现。该场景的3D模型可被认为隐式编码在经训练的随机决策森林中。因为该森林已经被训练以在任何有效图像元素处工作，所以有可能在测试时对图像元素采样。该采样避免了计算兴趣点的需要以及密集评估森林的开销。
图9是图1的相机姿态跟踪器的示意图，其中该场景的3D模型902可用。例如，该3D模型可以是CAD模型或可以是从场景的深度图像构建的场景的密集重构，如在于2012年8月2日公开的Newcombe、Richard等人的美国专利申请US20120194516“Three-dimensionalenvironmentreconstruction(三维环境重构)”中所描述的。姿态细化过程900可被执行以改善相机姿态120的准确性。姿态细化过程900可以是迭代最近点姿态细化，如在于2012年8月2日公开的Newcombe、Richard等人的美国专利申请US20120196679“Real-timecameratrackingusingdepthmaps(使用深度图的实时相机跟踪)”中所描述的。在另一示例中，姿态细化过程900可寻求将来自移动相机的深度观察与场景的3D模型的表面对齐以便寻找相机的经更新的位置和定向，这促进对齐。这在Sharp等人的于2013年1月24日提交的题为“Cameraposeestimationfor3Dreconstruction(用于3D重构的相机姿态估计)”的美国专利申请序列号13/749497中描述。
图9中示出的示例具有相机姿态跟踪器，其具有一个经训练的随机决策森林而不是如图1的多个经训练的随机决策森林。这旨在解说通过使用来自多个场景的训练数据来训练单一森林，该单一森林可封装该多个场景。训练数据包括图像元素的场景坐标，以及标识特定场景的图像元素的标签。每个子场景可被给予完整3D世界坐标空间的3D子区域且该森林随后可如上所述地被训练。相机姿态跟踪器输出可包括所估计的相机姿态以及场景以使得该相机姿态跟踪器还能够执行场景识别。这使得相机姿态跟踪器能够向下游系统发送标识该相机位于多个可能场景中的哪个场景中的数据。
图10示出示例性的基于计算的设备1004的各组件，该基于计算的设备1600可被实现成任何形式的计算设备和/或电子设备、并且其中可实现相机姿态跟踪器或对象姿态跟踪器的实施例。
基于计算的设备1004包括被安排成接收并处理来自诸如用户输入设备(例如，捕捉设备1008、游戏控制器1005、键盘1006、鼠标1007)的一个或多个设备的输入的一个或多个输入接口1002。此用户输入可被用于控制软件应用、相机姿态跟踪或对象姿态跟踪。例如，捕捉设备1008可以是被安排成捕捉场景的深度图的移动深度相机。该捕捉设备还可以是被安排成捕捉对象的深度图的固定深度相机。在另一示例中，捕捉设备1008包括深度相机和RGB相机两者。基于计算的设备1004可被安排成以交互式速率来提供相机或对象姿态跟踪。
基于计算的设备1004还包括被安排成向可与计算设备1010分开或集成在一起的显示设备1009输出显示信息的输出接口1004。该显示信息可以提供图形用户界面。在一示例中，如果显示设备1009是触敏显示设备，则它还可担当用户输入设备。输出接口1010还向除显示设备之外的设备(例如，本地连接的打印设备)输出数据。
在一些示例中，用户输入设备1005、1007、1008、1009可以检测语音输入、用户姿势或其他用户动作，并且可以提供自然用户界面(NUI)。该用户输入可用于控制游戏或其他应用。输出接口1010还可向除显示设备之外的设备(例如，本地连接的打印设备)输出数据。
输入接口1002、输出接口1010、显示设备1009以及可任选地用户输入设备1005、1007、1008、1009可包括使用户能够按自然的、免受诸如鼠标、键盘、遥控器等输入设备所施加的人工约束的方式与基于计算的设备交互的NUI技术。可以提供的NUI技术的示例包括但不限于依赖于语音和/或话音识别、触摸和/或指示笔识别(触敏显示器)、屏幕上和屏幕附近的姿势识别、空中姿势、头部和眼睛跟踪、语音和话音、视觉、触摸、姿势以及机器智能的那些技术。可被使用NUI技术的其他示例包括意图和目的理解系统，使用深度相机(如立体相机系统、红外相机系统、rgb相机系统以及这些的组合)的运动姿势检测系统，使用加速度计/陀螺仪的运动姿势检测，面部识别，3D显示，头部、眼睛和注视跟踪，沉浸式增强现实和虚拟现实系统，以及用于使用电场传感电极(EEG和相关方法)的感测大脑活动的技术。
可以使用基于计算的设备1004能够访问的任何计算机可读介质来提供计算机可执行指令。计算机可读介质可以包括例如诸如存储器1012等计算机存储介质和通信介质。诸如存储器1012等计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光存储、磁带盒、磁带、磁盘存储或其他磁存储设备，或者可用于存储信息以供计算设备访问的任何其他非传输介质。
相反，通信介质可以以诸如载波或其他传输机构等已调制数据信号来体现计算机可读指令、数据结构、程序模块或者其他数据。如本文所定义的，计算机存储介质不包括通信介质。因此，计算机存储介质不应被解释为本质上是传播信号。传播信号可存在于计算机存储介质中，但是传播信号本身不是计算机存储介质的示例。虽然在基于计算的设备1004中示出了计算机存储介质(存储器1012)，然而应当理解，该存储可以是分布式的或位于远处并经由网络或其他通信链路(例如，使用通信接口1013)来访问。
基于计算的设备1004还包括一个或多个处理器1000，该一个或多个处理器可以是微处理器、控制器、或用于处理计算可执行指令以控制设备的操作以便提供实时相机跟踪的任何其他合适类型的处理器。在一些示例中，例如在使用片上系统架构的示例中，处理器1000可以包括一个或多个固定功能块(亦称加速器)，这些块以硬件(而非软件或固件)来实现实时相机跟踪方法的一部分。
可以在基于计算的设备处提供包括操作系统1014或任何其他合适的平台软件的平台软件以使得能够在该设备上执行应用软件1016。可以在计算设备1004上执行的其他软件包括：相机/对象姿态跟踪器1018，其包括姿态推断引擎。还可提供经训练的支持向量机回归系统和/或经训练的高斯过程回归系统。提供数据存储1020来存储数据，诸如先前接收的图像、相机姿态估计、对象姿态估计、经训练的随机决策森林配准参数、用户可配置参数、其他参数、场景的3D模型、游戏状态信息、游戏元数据、地图数据和其他数据。
此处所使用的术语“计算机”或“基于计算的设备”是指带有处理能力以便它可以执行指令的任何设备。本领域技术人员可以理解，这样的处理能力被结合到许多不同设备，并且因此术语每个“计算机”和“基于计算的设备”包括个人电脑、服务器、移动电话(包括智能电话)、平板电脑、机顶盒、媒体播放器、游戏控制台、个人数字助理和许多其它设备。
本文描述的方法可由有形存储介质上的机器可读形式的软件来执行，例如计算机程序的形式，该计算机程序包括在该程序在计算机上运行时适用于执行本文描述的任何方法的所有步骤的计算机程序代码装置并且其中该计算机程序可被包括在计算机可读介质上。有形存储介质的示例包括计算机存储设备，计算机存储设备包括计算机可读介质，诸如盘(disk)、拇指型驱动器、存储器等而不包括所传播的信号。传播信号可存在于有形存储介质中，但是传播信号本身不是有形存储介质的示例。软件可适于在并行处理器或串行处理器上执行以使得各方法步骤可以按任何合适的次序或同时执行。
这承认，软件可以是有价值的，单独地可交换的商品。它旨在包含运行于或者控制“哑”或标准硬件以实现所需功能的软件。它还旨在包含例如用于设计硅芯片，或者用于配置通用可编程芯片的HDL(硬件描述语言)软件等“描述”或者定义硬件配置以实现期望功能的软件。
本领域技术人员会认识到，用于存储程序指令的存储设备可分布在网络上。例如，远程计算机可以存储被描述为软件的进程的示例。本地或终端计算机可以访问远程计算机并下载软件的一部分或全部以运行程序。可另选地，本地计算机可以根据需要下载软件的片段，或在本地终端上执行一些软件指令，并在远程计算机(或计算机网络)上执行另一些软件指令。本领域的技术人员还将认识到，通过利用本领域的技术人员已知的传统技术，软件指令的全部，或一部分可以通过诸如DSP、可编程逻辑阵列等等之类的专用电路来实现。
对精通本技术的人显而易见的是，此处给出的任何范围或设备值可以被扩展或改变，而不会丢失寻求的效果。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。
可以理解，上文所描述的优点可以涉及一个实施例或可以涉及多个实施例。各实施例不仅限于解决任何或全部所陈述的问题的那些实施例或具有任何或全部所陈述的优点那些实施例。进一步可以理解，对“一个”项目的引用是指那些项目中的一个或多个。
此处所描述的方法的步骤可以在适当的情况下以任何合适的顺序，或同时实现。另外，在不偏离此处所描述的主题的精神和范围的情况下，可以从任何一个方法中删除各单独的框。上文所描述的任何示例的各方面可以与所描述的其他示例中的任何示例的各方面相结合，以构成进一步的示例，而不会丢失寻求的效果。
此处使用了术语“包括”旨在包括已标识的方法的框或元件，但是这样的框或元件不包括排它性的列表，方法或设备可以包含额外的框或元件。
可以理解，上面的描述只是作为示例给出并且本领域的技术人员可以做出各种修改。以上说明、示例和数据提供了对各示例性实施例的结构和使用的全面描述。虽然上文以一定的详细度或参考一个或多个单独实施例描述了各实施例，但是，在不偏离本说明书的精神或范围的情况下，本领域的技术人员可以对所公开的实施例作出很多更改。

Claims (10)

1.一种计算实体的姿态的方法，包括：
在处理器处接收至少一个图像，其中所述图像是固定相机捕捉的实体的图像、或者场景中的移动相机捕捉的场景的图像；
向经训练的机器学习系统应用所述至少一个图像的图像元素以获得图像元素和实体坐标或场景坐标中的点之间的多个关联；以及
根据所述关联来计算所述实体的姿态。
2.如权利要求1所述的方法，其特征在于，所述实体是移动相机且所述相机的姿态被计算。
3.如权利要求1所述的方法，其特征在于，所述实体是对象且使用由固定相机捕捉的所述至少一个图像来计算所述对象的姿态。
4.如权利要求1所述的方法，其特征在于，包括将所述实体的姿态计算为具有6个自由度的参数，其中三个自由度指示所述实体的旋转，且三个自由度指示所述实体的位置。
5.如权利要求1所述的方法，其特征在于，所述机器学习系统已经被具有使用标记有场景坐标或对象坐标的图像元素的图像训练过。
6.如权利要求1所述的方法，其特征在于，所述机器学习系统包括多个经训练的随机森林且所述方法包括：向所述多个经训练的随机森林应用所述至少一个图像的图像元素，每个随机森林已经被使用来自多个场景中的一个不同场景的图像训练过，以及计算在所述至少一个图像被捕捉时所述移动相机位于所述场景中的哪个场景中。
7.如权利要求1所述的方法，其特征在于，所述机器学习系统已经被使用多个场景的具有图像元素的图像训练过，其中所述图像元素被标记有场景标识符并被标记有所述场景中所述图像元素所描绘的点的场景坐标。
8.如权利要求1所述的方法，其特征在于，包括仅向所述经训练的机器学习系统应用所述至少一个图像的图像元素的子样本。
9.如权利要求1所述的方法，其特征在于，包括通过在可能姿态候选集合中搜索并使用图像元素和点之间的关联的样本来评估姿态候选来计算所述姿态。
10.一种姿态跟踪器，包括：
处理器，所述处理器被安排成接收由固定相机捕捉的对象的至少一个图像或由移动相机捕捉的场景的至少一个图像；
所述处理器被安排成向经训练的机器学习系统应用所述至少一个图像的图像元素以获得图像元素和对象坐标或场景坐标中的点之间的多个关联；以及
姿态推断引擎，所述姿态推断引擎被安排成根据所述关联来计算所述对象或所述移动相机的位置和定向。
CN201480010236.1A 2013-02-22 2014-02-18 用于计算相机或对象姿态的方法和设备 Active CN105144196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/774,145 US9940553B2 (en) 2013-02-22 2013-02-22 Camera/object pose from predicted coordinates
US13/774,145 2013-02-22
PCT/US2014/016749 WO2014130404A1 (en) 2013-02-22 2014-02-18 Method and device for calculating a camera or object pose

Publications (2)

Publication Number Publication Date
CN105144196A true CN105144196A (zh) 2015-12-09
CN105144196B CN105144196B (zh) 2019-07-23

Family

ID=50239978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480010236.1A Active CN105144196B (zh) 2013-02-22 2014-02-18 用于计算相机或对象姿态的方法和设备

Country Status (5)

Country Link
US (2) US9940553B2 (zh)
EP (1) EP2959431B1 (zh)
CN (1) CN105144196B (zh)
ES (1) ES2698574T3 (zh)
WO (1) WO2014130404A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144193A (zh) * 2013-03-26 2015-12-09 诺基亚技术有限公司 用于估计成像设备的姿态的方法和设备
WO2017120767A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN108648821A (zh) * 2018-03-21 2018-10-12 北京理工大学 面向穿刺手术机器人的智能手术决策系统及其应用方法
CN109446973A (zh) * 2018-10-24 2019-03-08 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN109983507A (zh) * 2016-12-21 2019-07-05 英特尔公司 经由二维地图进行基于大规模cnn回归的定位
CN110073313A (zh) * 2016-12-12 2019-07-30 微软技术许可有限责任公司 使用母设备和至少一个伴随设备与环境交互
CN110555883A (zh) * 2018-04-27 2019-12-10 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN110622213A (zh) * 2018-02-09 2019-12-27 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
US10593065B2 (en) 2016-07-27 2020-03-17 Htc Corporation Method and device for camera pose estimation
CN110992391A (zh) * 2018-10-01 2020-04-10 精工爱普生株式会社 3d检测和跟踪管线推荐的方法和计算机可读介质
CN111931674A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 物品识别管理方法、装置、服务器及可读存储介质
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN113255420A (zh) * 2020-02-11 2021-08-13 辉达公司 使用未经标记的多视图数据训练的模型进行3d人体姿势估计
CN114613002A (zh) * 2022-02-22 2022-06-10 北京理工大学 基于光线投影原理的运动视角下动态物体检测方法及系统

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9956687B2 (en) 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9449392B2 (en) * 2013-06-05 2016-09-20 Samsung Electronics Co., Ltd. Estimator training method and pose estimating method using depth image
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
CN104850120B (zh) * 2015-03-19 2017-11-10 武汉科技大学 基于ihdr自主学习框架的轮式移动机器人导航方法
US20160358382A1 (en) * 2015-06-04 2016-12-08 Vangogh Imaging, Inc. Augmented Reality Using 3D Depth Sensor and 3D Projection
US9558424B2 (en) 2015-06-30 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. On-road stereo visual odometry without explicit pose determinations
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US20170054815A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Asynchronous Session via a User Device
US10404962B2 (en) 2015-09-24 2019-09-03 Intel Corporation Drift correction for camera tracking
CN105988583A (zh) * 2015-11-18 2016-10-05 乐视致新电子科技（天津）有限公司 手势控制方法及虚拟现实显示输出设备
WO2017197620A1 (en) 2016-05-19 2017-11-23 Intel Corporation Detection of humans in images using depth information
DE112016006921T5 (de) * 2016-06-02 2019-02-14 Intel Corporation Schätzung der menschlichen Ausrichtung in Bildern unter Verwendung von Tiefeninformationen
CN106127741B (zh) * 2016-06-17 2019-01-15 西安电子科技大学 基于改良自然场景统计模型的无参考图像质量评价方法
FR3054347B1 (fr) * 2016-07-19 2019-08-23 Safran Procede et dispositif d'aide a la navigation d'un vehicule
CN106407408B (zh) * 2016-09-22 2019-08-16 北京数字绿土科技有限公司 一种海量点云数据的空间索引构建方法及装置
CN106408578A (zh) * 2016-09-22 2017-02-15 北京数字绿土科技有限公司 一种单木分割方法及装置
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
JP2018067115A (ja) * 2016-10-19 2018-04-26 セイコーエプソン株式会社 プログラム、追跡方法、追跡装置
US10235771B2 (en) 2016-11-11 2019-03-19 Qualcomm Incorporated Methods and systems of performing object pose estimation
US10282861B2 (en) 2016-12-12 2019-05-07 Here Global B.V. Pose error estimation and localization using static features
US10409950B2 (en) * 2017-03-10 2019-09-10 General Electric Company Systems and methods for utilizing a 3D CAD point-cloud to automatically create a fluid model
US11538591B2 (en) 2017-03-10 2022-12-27 Altair Engineering, Inc. Training and refining fluid models using disparate and aggregated machine data
US10977397B2 (en) 2017-03-10 2021-04-13 Altair Engineering, Inc. Optimization of prototype and machine design within a 3D fluid modeling environment
FR3065098A1 (fr) * 2017-04-05 2018-10-12 Stmicroelectronics (Rousset) Sas Procede de detection en temps reel d'une scene par un appareil, par exemple un appareil de communication sans fil, et appareil correspondant
US10319151B2 (en) * 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
US10416681B2 (en) 2017-07-12 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Barcode: global binary patterns for fast visual inference
US10691747B2 (en) * 2017-11-16 2020-06-23 Google Llc Association of data items and objects
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
CN108416840B (zh) * 2018-03-14 2020-02-18 大连理工大学 一种基于单目相机的三维场景稠密重建方法
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
US20210118166A1 (en) * 2019-10-18 2021-04-22 Nvidia Corporation Pose determination using one or more neural networks
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
EP3909504A3 (en) * 2018-05-28 2022-03-09 Kaia Health Software GmbH Monitoring the performance of physical exercises
US20200020117A1 (en) * 2018-07-16 2020-01-16 Ford Global Technologies, Llc Pose estimation
CN109544629B (zh) * 2018-11-29 2021-03-23 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN109697734B (zh) * 2018-12-25 2021-03-09 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN109785388B (zh) * 2018-12-28 2023-04-18 东南大学 一种基于双目摄像头的短距离精确相对定位方法
US10957074B2 (en) 2019-01-29 2021-03-23 Microsoft Technology Licensing, Llc Calibrating cameras using human skeleton
US10776993B1 (en) * 2019-02-27 2020-09-15 Snap Inc. Continuous device pose representation in AR/VR displays
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
JP7262312B2 (ja) * 2019-06-04 2023-04-21 三菱電機株式会社 移動体識別装置、移動体識別方法及びプログラム
CN110400349B (zh) * 2019-07-03 2022-04-15 成都理工大学 基于随机森林的小场景下机器人导航跟踪恢复方法
US11288883B2 (en) * 2019-07-23 2022-03-29 Toyota Research Institute, Inc. Autonomous task performance based on visual embeddings
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN110930452B (zh) * 2019-10-23 2023-05-02 同济大学 一种基于自监督学习与模板匹配的物体位姿估计方法
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
CN112229323B (zh) * 2020-09-29 2022-07-05 华南农业大学 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
DE102021101439A1 (de) * 2021-01-22 2022-07-28 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur rotationsüberprüfung einer mikroskopkamera
JP2024515890A (ja) * 2021-04-30 2024-04-10 ファーム－エヌ・ジー・インコーポレイテッド 画像データを用いたリアルタイム位置特定
US11908072B2 (en) * 2022-03-31 2024-02-20 Tooliqa Inc. System and method for generating and interacting with a virtual model of a physical entity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930392A (en) * 1996-07-12 1999-07-27 Lucent Technologies Inc. Classification technique using random decision forests
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪

Family Cites Families (421)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5911309B2 (ja) 1978-03-03 1984-03-14 日本ビクター株式会社 カラ−テレビジヨン信号発生装置
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5644689A (en) 1992-01-13 1997-07-01 Hitachi, Ltd. Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5729471A (en) 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
JP3481631B2 (ja) 1995-06-07 2003-12-22 ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の３次元形状を決定する装置及び方法
US6057909A (en) 1995-06-22 2000-05-02 3Dv Systems Ltd. Optical ranging camera
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5852672A (en) 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5696591A (en) 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
US5801717A (en) 1996-04-25 1998-09-01 Microsoft Corporation Method and system in display device interface for managing surface memory
WO1997041925A1 (en) 1996-05-08 1997-11-13 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
EP0959444A4 (en) 1996-08-14 2005-12-07 Nurakhmed Nurislamovic Latypov METHOD FOR TRACKING AND REPRESENTING THE POSITION AND ORIENTATION OF A SUBJECT IN THE SPACE, METHOD FOR PRESENTING A VIRTUAL SPACE THEREON, AND SYSTEMS FOR CARRYING OUT SAID METHODS
US6009359A (en) 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
US5864640A (en) 1996-10-25 1999-01-26 Wavework, Inc. Method and apparatus for optically scanning three dimensional objects using color information in trackable patches
US7098435B2 (en) 1996-10-25 2006-08-29 Frederick E. Mueller Method and apparatus for scanning three-dimensional objects
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
GB9626825D0 (en) * 1996-12-24 1997-02-12 Crampton Stephen J Avatar kiosk
US6058205A (en) 1997-01-09 2000-05-02 International Business Machines Corporation System and method for partitioning the feature space of a classifier in a pattern classification system
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US5930379A (en) 1997-06-16 1999-07-27 Digital Equipment Corporation Method for detecting human body motion in frames of a video sequence
US5926568A (en) 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP1017973A1 (en) 1997-09-24 2000-07-12 3DV Systems Ltd. Acoustical imaging system
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
JP3114668B2 (ja) 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6094215A (en) 1998-01-06 2000-07-25 Intel Corporation Method of determining relative camera orientation position to create 3-D visual images
US6147764A (en) 1998-04-03 2000-11-14 Mitutoyo Corporation Of Kamiyokoba Optical interference profiler having shadow compensation
US6504569B1 (en) 1998-04-22 2003-01-07 Grass Valley (U.S.), Inc. 2-D extended image generation from 3-D data extracted from a video sequence
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
EP2312363B1 (en) 1998-05-25 2013-09-18 Panasonic Corporation Range finder device and camera
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6963338B1 (en) * 1998-07-31 2005-11-08 Cognex Corporation Method for refining geometric description models using images
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
JP3740865B2 (ja) 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点３次元データの合成方法および記録媒体
US6501515B1 (en) 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6229918B1 (en) 1998-10-20 2001-05-08 Microsoft Corporation System and method for automatically detecting clusters of data points within a data space
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
WO2000036372A1 (en) 1998-12-16 2000-06-22 3Dv Systems, Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
CA2370156C (en) 1999-04-30 2009-02-17 Christoph Wagner Method for optically detecting the shape of objects
US20040075738A1 (en) 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
ATE285079T1 (de) 1999-09-08 2005-01-15 3Dv Systems Ltd 3d- bilderzeugungssystem
US6373487B1 (en) 1999-09-17 2002-04-16 Hewlett-Packard Company Methods and apparatus for constructing a 3D model of a scene from calibrated images of the scene
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6741756B1 (en) * 1999-09-30 2004-05-25 Microsoft Corp. System and method for estimating the orientation of an object
US6671049B1 (en) * 1999-10-29 2003-12-30 Cognex Corporation Article of manufacture bearing a universal alignment target
US7006236B2 (en) 2002-05-22 2006-02-28 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US20030132950A1 (en) 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US7050177B2 (en) 2002-05-22 2006-05-23 Canesta, Inc. Method and apparatus for approximating depth of an object's placement onto a monitored region with applications to virtual interface devices
US6690618B2 (en) 2001-04-03 2004-02-10 Canesta, Inc. Method and apparatus for approximating a source position of a sound-causing event for determining an input used in operating an electronic device
US20050174473A1 (en) 1999-11-18 2005-08-11 Color Kinetics, Inc. Photography methods and systems
DE19960180B4 (de) 1999-12-14 2006-03-09 Rheinmetall W & M Gmbh Verfahren zur Herstellung eines Sprenggeschosses
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20020024517A1 (en) 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
EP1386276A2 (en) 2000-09-29 2004-02-04 Koninklijke Philips Electronics N.V. Method and system for extracting spine frontal geometrical data including vertebra pedicle locations
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6587783B2 (en) 2000-10-05 2003-07-01 Siemens Corporate Research, Inc. Method and system for computer assisted localization, site navigation, and data navigation
JP3725460B2 (ja) 2000-10-06 2005-12-14 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6643533B2 (en) 2000-11-28 2003-11-04 Ge Medical Systems Global Technology Company, Llc Method and apparatus for displaying images of tubular structures
DE10100572A1 (de) 2001-01-09 2002-07-11 Philips Corp Intellectual Pty Verfahren zur Darstellung des Blutflusses in einem Gefäßbaum
US6735387B1 (en) 2001-01-10 2004-05-11 Tim Schnell Motion detector camera
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US20020112024A1 (en) 2001-02-13 2002-08-15 Chang-Hwa Yang Scanner with direct data forwarding capacity
US7034818B2 (en) 2001-03-16 2006-04-25 Mitsubishi Electric Research Laboratories, Inc. System and method for converting range data to 3D models
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
EP1382297B1 (en) 2001-04-26 2012-01-04 Teijin Limited Three-dimensional joint structure measuring method
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
GB2378337B (en) 2001-06-11 2005-04-13 Canon Kk 3D Computer modelling apparatus
WO2003001722A2 (en) 2001-06-22 2003-01-03 Canesta, Inc. Method and system to display a virtual input device
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6781618B2 (en) 2001-08-06 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
US6940538B2 (en) 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7023432B2 (en) 2001-09-24 2006-04-04 Geomagic, Inc. Methods, apparatus and computer program products that reconstruct surfaces from data point sets
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP4115117B2 (ja) 2001-10-31 2008-07-09 キヤノン株式会社 情報処理装置および方法
WO2003054683A2 (en) 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
US6879709B2 (en) 2002-01-17 2005-04-12 International Business Machines Corporation System and method for automatically detecting neutral expressionless faces in digital images
US7039239B2 (en) 2002-02-07 2006-05-02 Eastman Kodak Company Method for image region classification using unsupervised and supervised learning
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7035431B2 (en) 2002-02-22 2006-04-25 Microsoft Corporation System and method for probabilistic exemplar-based pattern tracking
US20030169906A1 (en) 2002-02-26 2003-09-11 Gokturk Salih Burak Method and apparatus for recognizing objects
US7310431B2 (en) 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
US7068291B1 (en) 2002-04-11 2006-06-27 Bellsouth Intellectual Property Corp. Video display screen segmentation
DE50302813D1 (de) 2002-04-19 2006-05-18 Iee Sarl Sicherheitsvorrichtung für ein fahrzeug
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
WO2004057439A2 (en) 2002-05-31 2004-07-08 University Of Utah Research Foundation System and method for visual annotation and knowledge representation
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7016884B2 (en) 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US6974373B2 (en) 2002-08-02 2005-12-13 Geissler Technologies, Llc Apparatus and methods for the volumetric and dimensional measurement of livestock
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7162075B2 (en) 2003-03-10 2007-01-09 Cranial Technologies, Inc. Three-dimensional image capture system
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP1631937B1 (en) 2003-06-12 2018-03-28 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
CN100416336C (zh) 2003-06-12 2008-09-03 美国西门子医疗解决公司 校准真实和虚拟视图
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
CA2536371A1 (en) 2003-08-26 2005-03-10 Redshift Systems Corporation Infrared camera system
CN1220877C (zh) 2003-09-12 2005-09-28 东华大学 织物平整度等级客观评定方法
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
CN100477788C (zh) 2003-09-16 2009-04-08 富士通微电子株式会社 图像处理显示装置和图像处理显示方法
JP4612635B2 (ja) 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
KR100816607B1 (ko) * 2003-10-21 2008-03-24 닛본 덴끼 가부시끼가이샤 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
WO2005055008A2 (en) 2003-11-26 2005-06-16 Viatronix Incorporated Automated segmentation, visualization and analysis of medical images
US20050157207A1 (en) 2004-01-21 2005-07-21 Voss James S. Automatic selection of illumination source for hybrid digital cameras
JP2005242305A (ja) 2004-01-26 2005-09-08 Murata Mach Ltd 画像形成装置
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
GB2411532B (en) 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
US8144931B1 (en) * 2004-04-22 2012-03-27 Hartman Richard L Real time correlator system and method
US7831094B2 (en) 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7697748B2 (en) 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
JP3935499B2 (ja) 2004-07-26 2007-06-20 松下電器産業株式会社 画像処理方法、画像処理装置および画像処理プログラム
CN101036150B (zh) 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US7430339B2 (en) 2004-08-09 2008-09-30 Microsoft Corporation Border matting by dynamic programming
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
WO2006025137A1 (ja) 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. 画像処理装置、ゲーム装置および画像処理方法
EP1793588A4 (en) 2004-09-21 2011-04-27 Nikon Corp MOBILE INFORMATION DEVICE
WO2006034366A1 (en) 2004-09-21 2006-03-30 Siemens Medical Solutions Usa, Inc. Hierarchical medical image view determination
GB2418827B (en) 2004-09-28 2010-11-10 British Broadcasting Corp Method and system for providing a volumetric representation of a 3-Dimensional object
EP1645944B1 (en) 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
GB0424417D0 (en) 2004-11-03 2004-12-08 Univ Heriot Watt 3D surface and reflectance function recovery using scanned illumination
US7574028B2 (en) 2004-11-23 2009-08-11 Carestream Health, Inc. Method for recognizing projection views of radiographs
JP4449723B2 (ja) 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074289A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
BRPI0606477A2 (pt) 2005-01-07 2009-06-30 Gesturetek Inc sensor de inclinação baseado em fluxo ótico
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
WO2006084385A1 (en) 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US20070053563A1 (en) 2005-03-09 2007-03-08 Zhuowen Tu Probabilistic boosting tree framework for learning discriminative models
KR100688743B1 (ko) 2005-03-11 2007-03-02 삼성전기주식회사 멀티 레이어 커패시터 내장형의 인쇄회로기판의 제조방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
US7634123B2 (en) 2005-03-28 2009-12-15 Siemens Medical Solutions Usa, Inc. CT/MRI heart isolation using a graph cut algorithm
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
US7599840B2 (en) 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US7944454B2 (en) 2005-09-07 2011-05-17 Fuji Xerox Co., Ltd. System and method for user monitoring interface of 3-D video streams from multiple cameras
CN1738426A (zh) 2005-09-09 2006-02-22 南京大学 一种视频运动目标分割与跟踪方法
US7876938B2 (en) 2005-10-06 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for whole body landmark detection, segmentation and change quantification in digital images
WO2007050707A2 (en) 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US7728839B2 (en) 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
GB2431717A (en) 2005-10-31 2007-05-02 Sony Uk Ltd Scene analysis
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US8401264B2 (en) 2005-12-08 2013-03-19 University Of Washington Solid modeling based on volumetric scans
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
EP1974313A4 (en) 2005-12-30 2011-11-16 Yeda Res & Dev MEDICAL APPLICATION ANALYSIS INTEGRATED SEGMENTATION AND CLASSIFICATION APPROACH
US8577538B2 (en) 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
US20070188501A1 (en) 2006-01-30 2007-08-16 Yee Yangli H Graphical computer simulation system and method
JP4917615B2 (ja) 2006-02-27 2012-04-18 プライム センス リミティド スペックルの無相関を使用した距離マッピング（ｒａｎｇｅｍａｐｐｉｎｇ）
US8277315B2 (en) 2006-03-01 2012-10-02 Hybrid Learning Systems, Inc. Game simulation based on current events
US20070260492A1 (en) 2006-03-09 2007-11-08 Microsoft Corporation Master patient index
US7949186B2 (en) 2006-03-15 2011-05-24 Massachusetts Institute Of Technology Pyramid match kernel and related techniques
US20070229498A1 (en) 2006-03-29 2007-10-04 Wojciech Matusik Statistical modeling for synthesis of detailed facial geometry
EP2194509A1 (en) 2006-05-07 2010-06-09 Sony Computer Entertainment Inc. Method for providing affective characteristics to computer generated avatar during gameplay
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US7721207B2 (en) 2006-05-31 2010-05-18 Sony Ericsson Mobile Communications Ab Camera based control
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
DE102006048166A1 (de) 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
US9348463B2 (en) 2006-08-03 2016-05-24 New York University Retroreflection based multitouch sensor, method and program
WO2008014826A1 (en) 2006-08-03 2008-02-07 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
DE102006037063A1 (de) 2006-08-08 2008-02-21 Siemens Ag Verfahren zur Erzeugung eines medizinischen Abbildes sowie Datenverarbeitungseinheit und Computersoftware hierzu
US7855732B2 (en) 2006-09-05 2010-12-21 Pc Connection, Inc. Hand producer for background separated images
US8395658B2 (en) 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
US7912288B2 (en) 2006-09-21 2011-03-22 Microsoft Corporation Object detection and recognition system
US7840059B2 (en) 2006-09-21 2010-11-23 Microsoft Corporation Object recognition using textons and shape filters
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
JP4709723B2 (ja) 2006-10-27 2011-06-22 株式会社東芝 姿勢推定装置及びその方法
US8340398B2 (en) 2006-12-02 2012-12-25 Electronics And Telecommunications Research Institute Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same
US20080134102A1 (en) 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
WO2008070701A2 (en) 2006-12-06 2008-06-12 Honda Motor Co., Ltd. Fast human pose estimation using appearance and motion via multi-dimensional boosting regression
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7707162B2 (en) 2007-01-08 2010-04-27 International Business Machines Corporation Method and apparatus for classifying multimedia artifacts using ontology selection and semantic classification
US7627447B2 (en) 2007-01-23 2009-12-01 The Boeing Company Method and apparatus for localizing and mapping the position of a set of points on a digital model
GB0703974D0 (en) 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US7844106B2 (en) 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc Method and system for determining poses of objects from range images using adaptive sampling of pose spaces
US8009880B2 (en) 2007-05-11 2011-08-30 Microsoft Corporation Recovering parameters from a sub-optimal image
JP5380789B2 (ja) 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US20080310757A1 (en) 2007-06-15 2008-12-18 George Wolberg System and related methods for automatically aligning 2D images of a scene to a 3D model of the scene
US20080310677A1 (en) 2007-06-18 2008-12-18 Weismuller Thomas P Object detection system and method incorporating background clutter removal
US8103109B2 (en) 2007-06-19 2012-01-24 Microsoft Corporation Recognizing hand poses and/or object classes
US20090010507A1 (en) 2007-07-02 2009-01-08 Zheng Jason Geng System and method for generating a 3d model of anatomical structure using a plurality of 2d images
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8514218B2 (en) 2007-08-14 2013-08-20 Siemens Aktiengesellschaft Image-based path planning for automated virtual colonoscopy navigation
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
WO2009029671A1 (en) 2007-08-27 2009-03-05 University Of Chicago Systems and methods for image colorization
CN101842810B (zh) 2007-10-30 2012-09-26 惠普开发有限公司 具有协作姿态检测的交互式显示系统
JP4561812B2 (ja) 2007-11-08 2010-10-13 トヨタ自動車株式会社 ハイブリッド車両の制御装置
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US7925081B2 (en) 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
US9098766B2 (en) 2007-12-21 2015-08-04 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
GB2458305B (en) 2008-03-13 2012-06-27 British Broadcasting Corp Providing a volumetric representation of an object
CN101257641A (zh) 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US20090244097A1 (en) 2008-03-25 2009-10-01 Leonardo William Estevez System and Method for Providing Augmented Reality
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
WO2009131539A1 (en) 2008-04-22 2009-10-29 Agency For Science, Technology And Research A method and system for detecting and tracking hands in an image
US8077948B2 (en) 2008-05-06 2011-12-13 Carestream Health, Inc. Method for editing 3D image segmentation maps
US8442355B2 (en) 2008-05-23 2013-05-14 Samsung Electronics Co., Ltd. System and method for generating a multi-dimensional image
CN101377812B (zh) 2008-07-11 2010-05-12 北京航空航天大学 一种空间平面物体位姿识别方法
BRPI0917864A2 (pt) 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
JP5094663B2 (ja) 2008-09-24 2012-12-12 キヤノン株式会社 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
US9785858B2 (en) 2008-09-26 2017-10-10 Siemens Healthcare Gmbh Method and system for hierarchical parsing and semantic navigation of full body computed tomography data
US8848974B2 (en) 2008-09-29 2014-09-30 Restoration Robotics, Inc. Object-tracking systems and methods
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8610706B2 (en) 2008-10-04 2013-12-17 Microsoft Corporation Parallel surface reconstruction
US8855819B2 (en) 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
US9399167B2 (en) 2008-10-14 2016-07-26 Microsoft Technology Licensing, Llc Virtual space mapping of a variable activity region
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
KR101199492B1 (ko) 2008-12-22 2012-11-09 한국전자통신연구원 광역 이동을 고려한 실시간 카메라 트래킹 장치 및 방법
US8565476B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8565477B2 (en) 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US20100195867A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Visual target tracking using model fitting and exemplar
US8624962B2 (en) 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US20100201808A1 (en) 2009-02-09 2010-08-12 Microsoft Corporation Camera based motion sensing system
EP2399398B1 (en) 2009-02-17 2016-04-20 Koninklijke Philips N.V. Combining 3d image and graphical data
EP2223650A1 (en) 2009-02-25 2010-09-01 The Provost, Fellows and Scholars of the College of the Holy and Undivided Trinity of Queen Elizabeth near Dublin Method and apparatus for imaging tissue topography
US8437537B2 (en) 2009-03-27 2013-05-07 Mitsubishi Electric Research Laboratories, Inc. Method and system for estimating 3D pose of specular objects
JP5388932B2 (ja) 2009-04-30 2014-01-15 キヤノン株式会社 情報処理装置およびその制御方法
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US8638985B2 (en) * 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8660303B2 (en) 2009-05-01 2014-02-25 Microsoft Corporation Detection of body and props
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8611604B2 (en) 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
KR101640077B1 (ko) 2009-06-05 2016-07-15 삼성전자주식회사 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법
WO2010142929A1 (en) 2009-06-11 2010-12-16 Toshiba Research Europe Limited 3d image generation
CN101605211B (zh) 2009-07-23 2011-01-05 杭州镭星科技有限公司 将虚拟三维建筑与现实环境实拍视频无缝合成的方法
ES2399636T3 (es) * 2009-07-29 2013-04-02 Metaio Gmbh Método para determinar la postura de una cámara con respecto a por lo menos un objeto real
US8270733B2 (en) 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US9581739B2 (en) 2009-12-21 2017-02-28 3M Innovative Properties Company Transflective articles and light assemblies
US8311303B2 (en) 2010-01-12 2012-11-13 Siemens Corporation Method and system for semantics driven image registration
US20110188715A1 (en) 2010-02-01 2011-08-04 Microsoft Corporation Automatic Identification of Image Features
US9256982B2 (en) 2010-03-17 2016-02-09 Microsoft Technology Licensing, Llc Medical image rendering
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
US8605969B2 (en) * 2010-04-06 2013-12-10 Siemens Corporation Method and system for multiple object detection by sequential Monte Carlo and hierarchical detection network
RU2534892C2 (ru) 2010-04-08 2014-12-10 Самсунг Электроникс Ко., Лтд. Устройство и способ для захвата безмаркерных движений человека
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
EP2383696A1 (en) 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
CN101872491B (zh) 2010-05-21 2011-12-28 清华大学 基于光度立体的自由视角重光照方法和系统
US8625897B2 (en) 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
WO2011163454A1 (en) 2010-06-25 2011-12-29 Trimble Navigation Ltd. Method and apparatus for image-based positioning
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120062719A1 (en) 2010-09-09 2012-03-15 University Of Southern California Head-Mounted Photometric Facial Performance Capture
WO2012037157A2 (en) 2010-09-13 2012-03-22 Alt Software (Us) Llc System and method for displaying data having spatial coordinates
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
ES2395102B1 (es) 2010-10-01 2013-10-18 Telefónica, S.A. Metodo y sistema para segmentacion de primer plano de imagenes en tiempo real
US8149268B1 (en) 2010-11-05 2012-04-03 The United States Of America As Represented By The Secretary Of The Army System and method for determining three-dimensional information from two-dimensional images
US9349040B2 (en) 2010-11-19 2016-05-24 Microsoft Technology Licensing, Llc Bi-modal depth-image analysis
US11488322B2 (en) * 2010-12-08 2022-11-01 Cognex Corporation System and method for training a model in a plurality of non-perspective cameras and determining 3D pose of an object at runtime with the same
US8494285B2 (en) 2010-12-09 2013-07-23 The Hong Kong University Of Science And Technology Joint semantic segmentation of images and scan data
CN102129708A (zh) 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法
US8448056B2 (en) 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US8488888B2 (en) 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8571263B2 (en) 2011-03-17 2013-10-29 Microsoft Corporation Predicting joint positions
US9020187B2 (en) * 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
KR101799522B1 (ko) 2011-06-07 2017-11-21 삼성전자 주식회사 교환렌즈 형태를 채용한 3차원 영상 획득 장치
CN102236912A (zh) 2011-07-08 2011-11-09 清华大学 变光照条件下运动目标的三维重建方法及三维重建装置
US8467596B2 (en) * 2011-08-30 2013-06-18 Seiko Epson Corporation Method and apparatus for object pose estimation
US9033516B2 (en) 2011-09-27 2015-05-19 Qualcomm Incorporated Determining motion of projection device
EP2786307A1 (en) * 2011-11-29 2014-10-08 Layar B.V. Dynamically configuring an image processing function
US9137511B1 (en) 2011-12-15 2015-09-15 Rawles Llc 3D modeling with depth camera and surface normals
CN103324938A (zh) * 2012-03-21 2013-09-25 日电（中国）有限公司 训练姿态分类器及物体分类器、物体检测的方法及装置
US9132346B2 (en) * 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US9063443B2 (en) 2012-05-28 2015-06-23 Canon Kabushiki Kaisha Magnetic carrier and two-component developer
US9031317B2 (en) * 2012-09-18 2015-05-12 Seiko Epson Corporation Method and apparatus for improved training of object detecting system
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930392A (en) * 1996-07-12 1999-07-27 Lucent Technologies Inc. Classification technique using random decision forests
CN102622776A (zh) * 2011-01-31 2012-08-01 微软公司 三维环境重构
CN102622762A (zh) * 2011-01-31 2012-08-01 微软公司 使用深度图的实时相机跟踪

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LEO BREIMAN: "Random Forests", 《MACHINE LEARNING》 *
LEPETIT V ET AL: "Randomized Trees for Real-Time Keypoint Recognition", 《PROCEEDINGS/2005 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
VEAS E E ET AL: "Creating Meaningful Environment Models for Augmented Reality", 《VIRTUAL REALITY CONFERENCE》 *
WAGNER D ET AL: "Pose tracking from natural features on mobile phones", 《MIXED AND AUGMENTED REALITY》 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144193A (zh) * 2013-03-26 2015-12-09 诺基亚技术有限公司 用于估计成像设备的姿态的方法和设备
WO2017120767A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN107204044B (zh) * 2016-03-17 2023-05-05 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
US10593065B2 (en) 2016-07-27 2020-03-17 Htc Corporation Method and device for camera pose estimation
CN110073313A (zh) * 2016-12-12 2019-07-30 微软技术许可有限责任公司 使用母设备和至少一个伴随设备与环境交互
CN110073313B (zh) * 2016-12-12 2022-05-24 微软技术许可有限责任公司 使用母设备和至少一个伴随设备与环境交互
US11859973B2 (en) 2016-12-21 2024-01-02 Intel Corporation Large scale CNN regression based localization via two-dimensional map
CN109983507B (zh) * 2016-12-21 2023-12-05 英特尔公司 经由二维地图进行基于大规模cnn回归的定位
CN109983507A (zh) * 2016-12-21 2019-07-05 英特尔公司 经由二维地图进行基于大规模cnn回归的定位
CN110622213B (zh) * 2018-02-09 2022-11-15 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
CN110622213A (zh) * 2018-02-09 2019-12-27 百度时代网络技术（北京）有限公司 利用3d语义地图进行深度定位和分段的系统和方法
CN108648821A (zh) * 2018-03-21 2018-10-12 北京理工大学 面向穿刺手术机器人的智能手术决策系统及其应用方法
CN108648821B (zh) * 2018-03-21 2020-12-01 北京理工大学 面向穿刺手术机器人的智能手术决策系统及其应用方法
CN108549484A (zh) * 2018-03-29 2018-09-18 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN108549484B (zh) * 2018-03-29 2019-09-20 北京微播视界科技有限公司 基于人体动态姿态的人机交互方法和装置
CN110555883A (zh) * 2018-04-27 2019-12-10 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
CN110992391A (zh) * 2018-10-01 2020-04-10 精工爱普生株式会社 3d检测和跟踪管线推荐的方法和计算机可读介质
CN110992391B (zh) * 2018-10-01 2024-01-16 精工爱普生株式会社 3d检测和跟踪管线推荐的方法和计算机可读介质
CN109446973B (zh) * 2018-10-24 2021-01-22 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN109446973A (zh) * 2018-10-24 2019-03-08 中车株洲电力机车研究所有限公司 一种基于深度神经网络图像识别的车辆定位方法
CN113255420A (zh) * 2020-02-11 2021-08-13 辉达公司 使用未经标记的多视图数据训练的模型进行3d人体姿势估计
CN111931674A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 物品识别管理方法、装置、服务器及可读存储介质
CN111931674B (zh) * 2020-08-18 2024-04-02 创新奇智(成都)科技有限公司 物品识别管理方法、装置、服务器及可读存储介质
CN112598728A (zh) * 2020-12-23 2021-04-02 成都极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN112598728B (zh) * 2020-12-23 2024-02-13 极米科技股份有限公司 投影仪姿态估计、梯形校正方法、装置、投影仪及介质
CN112927353A (zh) * 2021-02-25 2021-06-08 电子科技大学 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端
CN114613002A (zh) * 2022-02-22 2022-06-10 北京理工大学 基于光线投影原理的运动视角下动态物体检测方法及系统

Also Published As

Publication number Publication date
EP2959431A1 (en) 2015-12-30
US11710309B2 (en) 2023-07-25
US9940553B2 (en) 2018-04-10
US20140241617A1 (en) 2014-08-28
ES2698574T3 (es) 2019-02-05
EP2959431B1 (en) 2018-08-22
US20180285697A1 (en) 2018-10-04
WO2014130404A1 (en) 2014-08-28
CN105144196B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
CN105144196A (zh) 用于计算相机或对象姿态的方法和设备
CN113039563B (zh) 学习生成用于训练神经网络的合成数据集
US9613298B2 (en) Tracking using sensor data
Yang et al. Fast depth prediction and obstacle avoidance on a monocular drone using probabilistic convolutional neural network
Choi et al. A general framework for tracking multiple people from a moving camera
Kim et al. Interactive and adaptive data-driven crowd simulation
Bera et al. Efficient trajectory extraction and parameter learning for data-driven crowd simulation.
Lyu et al. Robot path planning by leveraging the graph-encoded Floyd algorithm
CN105051755A (zh) 用于姿势识别的部位和状态检测
CN105229677A (zh) 用于机器学习的资源分配
CN103003846B (zh) 关节区域显示装置、关节区域检测装置、关节区域归属度计算装置、关节状区域归属度计算装置以及关节区域显示方法
CN105765609A (zh) 使用有向无环图的存储器促进
Bera et al. Online parameter learning for data-driven crowd simulation and content generation
Huang et al. Deductive reinforcement learning for visual autonomous urban driving navigation
CN109002837A (zh) 一种图像语义分类方法、介质、装置和计算设备
CN105917356A (zh) 对象的基于轮廓的分类
Neverova Deep learning for human motion analysis
Luo et al. Skp: Semantic 3d keypoint detection for category-level robotic manipulation
Alves et al. Developing a VR simulator for robotics navigation and human robot interactions employing digital twins
Mania et al. Imagination-enabled robot perception
Singh et al. Fast semantic-aware motion state detection for visual slam in dynamic environment
Bera et al. Modeling trajectory-level behaviors using time varying pedestrian movement dynamics
CN115170607A (zh) 出行轨迹生成方法、装置、电子设备及存储介质
Chen et al. Towards bio-inspired place recognition over multiple spatial scales
Malviya et al. Learning-based simulation and modeling of unorganized chaining behavior using data generated from 3D human motion tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant