CN108564600B - 运动物体姿态跟踪方法及装置 - Google Patents

运动物体姿态跟踪方法及装置 Download PDF

Info

Publication number
CN108564600B
CN108564600B CN201810352761.1A CN201810352761A CN108564600B CN 108564600 B CN108564600 B CN 108564600B CN 201810352761 A CN201810352761 A CN 201810352761A CN 108564600 B CN108564600 B CN 108564600B
Authority
CN
China
Prior art keywords
model
point cloud
particles
objective function
depth map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810352761.1A
Other languages
English (en)
Other versions
CN108564600A (zh
Inventor
王行
李骊
杨淼
盛赞
周晓军
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing HJIMI Technology Co Ltd
Original Assignee
Beijing HJIMI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing HJIMI Technology Co Ltd filed Critical Beijing HJIMI Technology Co Ltd
Priority to CN201810352761.1A priority Critical patent/CN108564600B/zh
Publication of CN108564600A publication Critical patent/CN108564600A/zh
Application granted granted Critical
Publication of CN108564600B publication Critical patent/CN108564600B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

一种运动物体姿态跟踪方法及装置，所述方法包括：在建立运动物体的通用简化模型后，获取所述通用简化模型的初始化模型数据；在根据实时测量的深度图选取目标深度图之后，根据所述目标深度图计算3D点云数据；根据所述3D点云数据与所述初始化模型数据之间的对应关系，构造与所述对应关系相应的目标函数；采用非线性优化算法将所述目标函数进行迭代优化，获取所述运动物体的姿态参数。本发明提供的运动物体姿态跟踪方法及装置具有计算量较少，结果较为准确的优点。

Description

运动物体姿态跟踪方法及装置
技术领域
本发明涉及模式识别技术领域，具体地涉及一种运动物体姿态跟 踪方法及装置。
背景技术
近年来AR交互应用逐渐进入到日常生活，运动物体的姿态跟踪 是三维感知部分的重要组成部分。深度图提供的三维位置信息对运动 物体的姿态识别提供很好的依据。常用的深度图运动物体姿态跟踪算 法主要通过实物的真实模型按照初始化的姿态渲染成深度图，再与真 实深度图数据构造目标函数，再通过相应的非线性优化算法对目标函 数进行优化。
具体地，现有的深度图目标姿态跟踪，首先根据已有的目标区域 对深度图进行分割，提取目标区域原始深度图数据；然后，按照经过 模式识别和特征提取获得的初始姿态进行模型的三维计算，并根据中 心投影原理将模型渲染成渲染深度图数据；根据原始深度图数据和渲 染深度图数据构造目标函数argmin∑ijmin(|Dij-dij|，T)，并采用粒子 群优化(Partical Swarm Optimization,简称PSO)等非线性优化算 法对目标函数进行优化，求取最优姿态参数。
现有技术完全依赖模型的准确度和GPU运算性能，难以获得较为 准确的模型，不同物体的模型获取难度很大；并且深度图渲染的运算 量很大，经常需要经过多达几百次的迭代过程；此外，目标函数是基 于像素的，比较简单，在模型不准时结果易错。
发明内容
本发明的目的在于提出一种运动物体姿态跟踪方法及装置，以通 过较少的运算量获取较为准确的运动物体姿态参数。
为达此目的，本发明采用以下技术方案：
本发明提供一种运动物体姿态跟踪方法，所述方法包括：在建立 运动物体的通用简化模型后，获取所述通用简化模型的初始化模型数 据；在根据实时测量的深度图选取目标深度图之后，根据所述目标深 度图计算3D点云数据；根据所述3D点云数据与所述初始化模型数据 之间的对应关系，构造与所述对应关系相应的目标函数；采用非线性 优化算法将所述目标函数进行迭代优化，获取所述运动物体的姿态参 数。
上述方案中，所述通用简化模型采用球体堆叠而成，或者，所述 通用简化模型采用圆柱体和球体穿插构成。
上述方案中，所述根据所述3D点云数据与所述初始化模型数据 之间的对应关系，构造与所述对应关系相应的目标函数，包括：对所 述3D点云数据进行采样后，计算采样后的所述3D点云数据到所述通 用简化模型的最小距离；计算所述通用简化模型的关键点的深度到深 度图的投影深度差；将所述通用简化模型的不同可活动部分的球体或 圆柱体进行碰撞检测，得到自碰撞互斥检测结果；通过前三帧模型参 数计算运动的速度及加速度；根据所述最小距离、所述投影深度差、 所述自碰撞互斥检测结果、所述速度及所述加速度构造以下目标函 数：E＝ω1EP-M+ω2EM-D+ω3Ecollision+ω4EΔv+ω5EΔa，其中，EP-M为点云与模型配准的能量函数，ω1表示其权重，为模型投影与深度图之间能量 函数，ω2表示其权重，Ecollision是模型碰撞互斥能量函数，ω3表示其 权重，EΔv为模型速度变化能量函数，ω4表示其权重，EΔa为模型加速 度变化能量函数，ω5表示其权重。
上述方案中，所述根据所述目标函数采用非线性优化算法进行迭 代优化，获取运动物体的姿态参数，包括：在生成两个粒子种群后， 为所述粒子种群中的粒子设置初速度；根据以下公式迭代更新所述粒 子种群中的粒子：其 中，k为迭代次数，w为惯性因子，c1和c2分别为自我搜索和全局搜 索的学习因子，r1和r2分别为自我搜索和全局搜索的随机学习率， pbestid为个体历史最优，gbestid为种群历史最优，xid为个体当前参 数值，Vid为该个体下一步步长；在每次更新所述粒子种群中的粒子后， 将所述粒子种群中的粒子与3D点云进行相关并计算目标函数；满足 第一条件时，停止迭代更新所述粒子种群中的粒子；所述第一条件为： 迭代次数达到设定的第一阈值，目标函数小于设定的第二阈值，且种 群参数方差小于设定的第三阈值。
上述方案中，所述根据以下公式迭代更新所述粒子种群中的粒 子，包括：前半部分粒子群分为两个种群分别优化；粒子更新时加入 高斯白噪声；替换或误差过大的粒子的参数或增加其步长权重；迭代 次数过半时将两个粒子种群合并后进行全局优化。
本发明提供一种运动物体姿态跟踪装置，所述装置包括：初始化 单元，用于在建立运动物体的通用简化模型后，获取所述通用简化模 型的初始化模型数据；计算单元，用于在根据实时测量的深度图选取 目标深度图之后，根据所述目标深度图计算3D点云数据；构造单元， 用于根据所述3D点云数据与所述初始化模型数据之间的对应关系， 构造与所述对应关系相应的目标函数；获取单元，用于采用非线性优 化算法将所述目标函数进行迭代优化，获取所述运动物体的姿态参 数。
上述方案中，所述通用简化模型采用球体堆叠而成，或者，所述 通用简化模型采用圆柱体和球体穿插构成。
上述方案中，所述构造单元包括：第一计算子单元，用于对所述 3D点云数据进行采样后，计算采样后的所述3D点云数据到所述通用 简化模型的最小距离；第二计算子单元，用于计算所述通用简化模型 的关键点的深度到深度图的投影深度差；碰撞检测子单元，用于将所 述通用简化模型的不同可活动部分的球体或圆柱体进行碰撞检测，得 到自碰撞互斥检测结果；第三计算子单元，用于通过前三帧模型参数 计算运动的速度及加速度；构造子单元，用于根据所述最小距离、所 述投影深度差、所述自碰撞互斥检测结果、所述速度及所述加速度构 造以下目标函数：E＝ω1EP-M+ω2EM-D+ω3Ecollision+ω4EΔv+ω5EΔa，其中，EP-M为点云与模型配准的能量函数，ω1表示其权重，为模型投影与深度 图之间能量函数，ω2表示其权重，Ecollision是模型碰撞互斥能量函数， ω3表示其权重，EΔv为模型速度变化能量函数，ω4表示其权重，EΔa为模型加速度变化能量函数，ω5表示其权重。
上述方案中，所述获取单元包括：初速度设置子单元，用于在生 成两个粒子种群后，为所述粒子种群中的粒子设置初速度，以及在满 足第一条件时，停止迭代更新所述粒子种群中的粒子；迭代子单元， 用于根据以下公式迭代更新所述粒子种群中的粒子：其中，k为迭代次数， w为惯性因子，c1和c2分别为自我搜索和全局搜索的学习因子，r1和 r2分别为自我搜索和全局搜索的随机学习率，pbestid为个体历史最 优，gbestid为种群历史最优，xid为个体当前参数值，Vid为该个体下 一步步长；第四计算子单元，用于在每次更新所述粒子种群中的粒子 后，将所述粒子种群中的粒子与3D点云进行相关并计算目标函数； 所述第一条件为：迭代次数达到设定的第一阈值，目标函数小于设定 的第二阈值，且种群参数方差小于设定的第三阈值。
上述方案中，所述迭代子单元还用于：将粒子种群划分为两个并 独立更新；粒子更新时加入高斯白噪声；替换或误差过大的粒子的参 数或增加其步长权重；迭代次数过半时将两个粒子种群合并后进行全 局优化。
采用本发明提供的运动物体姿态跟踪方法及装置，根据运动物体 的通用简化模型的初始化模型数据，和根据目标深度图提取3D点云 数据，获取目标函数，并采用非线性优化算法迭代优化，以通过较少 的运算量获取较为准确的运动物体姿态参数。
附图说明
图1是本发明实施例运动物体姿态跟踪方法的实现流程图；
图2是本发明实施例中的两种人体姿态模型的对比示意图；
图3是本发明实施例中的两种人手姿态模型的对比示意图；
图4是本发明实施例中的建立简化模型的流程示意图；
图5是本发明实施例中的构造目标函数的过程示意图；
图6是本发明实施例中的获取运动物体姿态参数的过程示意图。
具体实施方式
深度图目标跟踪是AR交互的基础，针对二维图像处理方式难以 实现目标物体的姿态跟踪，特别是非刚体运动物体的姿态本身存在相 互遮挡的问题。本发明主要通过简化物体模型与深度图及其点云的配 准，准确模拟出运动物体的三维姿态。
下面结合附图和实施例对本发明作进一步的详细说明。可以理解 的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的 限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发 明相关的部分而非全部结构。
如图1所示，本发明实施例提供的运动物体姿态跟踪方法包括：
步骤110，在建立运动物体的通用简化模型后，获取通用简化模 型的初始化模型数据。
步骤120，在根据实时测量的深度图选取目标深度图之后，根据 目标深度图计算3D点云数据。
步骤130，根据3D点云数据与初始化模型数据之间的对应关系， 构造与对应关系相应的目标函数。
步骤140，采用非线性优化算法将目标函数进行迭代优化，获取 运动物体的姿态参数。
本发明实施例中的运动物体的参数模型方案，利用很少的点、直 线、半径参数确定整个物体的模型，既能很好的模拟物体的表面，也 能大幅降低点到模型关系(Point ToModel，简称P-M)的计算量。 由于模型基元的稳定结构，本发明对多刚体构成的非刚体模型具有很 好的约束性和通用性，此外，简单的参数模型可以大幅度降低目标函 数的计算消耗，对姿态的实时跟踪提供了更好的条件。
本发明实施例中的技术方案将传统的深度图的目标姿态跟踪从 复杂网格模型的深度图渲染配准方式简化为以点、线、半径表示的简 单模型和深度图、点云的3D-2D的全方位配准方式。
本发明实施例的基于点云和参数模型配准的深度图目标姿态跟 踪方案，采用点云配准的迭代最邻近点(Iterative Closest Point, 简称ICP)算法作为基础，通过点到模型的投影与点云的配对，采用 非线性优化方式去迭代搜索最优模型参数，能够有效改善三维姿态的 准确性和严谨性。
另外，本发明实施例中的加速粒子种群优化方案，通过对目标函 数过大的粒子进行部分替换或加速实现整体加速收敛的目的，可以将 远处的无效粒子及时拉回并参与到最优值附近的搜索，可以增加搜索 效率并避免多余计算。
在步骤110中，首先建立运动物体的通用简化模型，运动物体的 标准模型可以采用简单的几何体重构，如图2和图3所示，本发明实 施例中的通用简化模型可以采用球体堆叠而成，也可以采用圆柱体和 球体穿插构成。如图2和图3所示，不同的球体的自由度(Degree Of Freedom，简称DOF)可以为1个或2个。
在步骤110中，如图4所示，采用以下技术方案：
步骤111，采用球、圆柱构成目标标准模型，该标准模型即为运 动物体标准简化模型。
步骤112，根据目标实际尺寸初始化标准模型的球心位置和半径， 即通过固定的姿势获取运动物体伸展时的水平尺寸及垂直尺寸，并根 据获取的实际尺寸对模型的球心坐标和球体半径进行调整。
步骤113，根据姿态识别获取的参数计算模型球心位置。该参数 为自由度参数，该参数结合初始模型坐标，根据欧拉角与旋转矩阵转 换关系可以计算模型球心坐标。
步骤114，根据前三帧模型参数预测模型球心位置，这样，就可 以计算运动的速度及加速度，并根据得到的速度和加速度预测待计算 帧的姿态初始参数。
在步骤120中，需要进行点云模型相关，具体地，根据目标物体 区域生成只有被跟踪目标的深度图，再通过以下公式(1)计算目标 的三维点云数据：
其中，d表示当前像素的深度值，scale为深度图尺度，这里取 值为1000，yzd表示当前像素行，xzd表示当前像素列，fx和fy分别 表示传感器在列方向和行方向上的焦距。
在步骤130中，如图5所示，采用以下技术方案：
步骤131，计算点云到模型最近距离，具体地，对3D点云数据 进行采样后，计算采样后的3D点云数据到通用简化模型的最小距离。 构建模型球心点集的k-d树(k-dimensional树的简称)，k-d树是 一种分割k维数据空间的数据结构。之后，针对采样后的3D点云的 每一个点搜索最近球心点，并计算点到该球面的三维距离，如遇圆柱 模型则计算到圆柱面的距离。
步骤132，计算模型关键点投影，具体地，计算通用简化模型的 关键点的深度到深度图的投影深度差时，将模型每一个球心投影到深 度图二维坐标系下，并计算其深度信息，如无深度信息则计算到深度 图的最近距离。
步骤133，活动区域碰撞检测，即将通用简化模型的不同可活动 部分的球体或圆柱体进行碰撞检测。该方案可以防止模型内部互斥。
步骤134，模型速度、加速度约束，即通过前三帧模型参数计算 运动的速度及加速度。
步骤135，构造目标函数。具体地，根据最小距离、投影深度差、 自碰撞互斥检测结果、速度以及加速度构造以下目标函数： E＝ω1EP-M+ω2EM-D+ω3Ecollsion+ω4EΔv+ω5EΔa公式(2)，
其中，EP-M为点云与模型配准的能量函数，ω1表示其权重，为模 型投影与深度图之间能量函数，ω2表示其权重，Ecollision是模型碰撞 互斥能量函数，ω3表示其权重，EΔv为模型速度变化能量函数，ω4表示其权重，EΔa为模型加速度变化能量函数，ω5表示其权重。
在步骤140中，如图6所示，采用以下技术方案：
步骤141，初始种群生成、速度初始化，该步骤包括在生成两个 粒子种群后，为粒子种群中的粒子设置初速度。具体地，在步骤141 中，根据初始DOF和预测DOF参数按照高斯分布随机生成两部分初始 种群，同时根据随机均匀分布生成初速度。
步骤142，根据以下公式迭代更新所述粒子种群中的粒子：
其中，k为迭代次数，w为惯性因子，c1和c2分别为自我搜索和 全局搜索的学习因子，r1和r2分别为自我搜索和全局搜索的随机学习 率，pbestid为个体历史最优，gbestid为种群历史最优，xid为个体当 前参数值，Vid为该个体下一步步长。
步骤143，在每次更新所述粒子种群中的粒子后，将所述粒子种 群中的粒子与3D点云进行相关并计算目标函数；
步骤144，满足第一条件时，停止迭代更新所述粒子种群中的粒 子；
所述第一条件为：迭代次数达到设定的第一阈值，目标函数小于 设定的第二阈值，且种群参数方差小于设定的第三阈值。
具体地，步骤142包括步骤1421和步骤1422，在步骤1421中， 将粒子种群划分为两个并独立更新；并在粒子更新时加入高斯白噪 声。具体地，粒子种群内所有粒子分别计算目标函数值，并保存各粒 子历史最优值，同时两个粒子种群独立存储各自的全局最优，粒子更 新过程加入高斯白噪声。
在步骤142中，替换或误差过大的粒子的参数或增加其步长权重
迭代次数过半时将两个粒子种群合并后进行全局优化。在该步骤 中，两个种群合并进行全局优化，并且如公式(4)所示，对目标函 数较大的粒子速度更新时加大全局最优搜索学习因子，如误差太大则 直接由最优粒子替换部分参数。
本发明实施例提供一种运动物体姿态跟踪装置，该装置包括：
初始化单元，用于在建立运动物体的通用简化模型后，获取通用 简化模型的初始化模型数据。
计算单元，用于在根据实时测量的深度图选取目标深度图之后， 根据目标深度图计算3D点云数据。
构造单元，用于根据3D点云数据与初始化模型数据之间的对应 关系，构造与对应关系相应的目标函数。
获取单元，用于采用非线性优化算法将目标函数进行迭代优化， 获取运动物体的姿态参数。
其中，通用简化模型采用球体堆叠而成，或者，通用简化模型采 用圆柱体和球体穿插构成。
本发明实施例中的技术方案将传统的深度图的目标姿态跟踪从 复杂网格模型的深度图渲染配准方式简化为以点、线、半径表示的简 单模型和深度图、点云的3D-2D的全方位配准方式。
本发明实施例的基于点云和参数模型配准的深度图目标姿态跟 踪方案，采用点云配准的迭ICP算法作为基础，通过点到模型的投影 与点云的配对，采用非线性优化方式去迭代搜索最优模型参数，能够 有效改善三维姿态的准确性和严谨性。
另外，本发明实施例中的加速粒子种群优化方案，通过对目标函 数过大的粒子进行部分替换或加速实现整体加速收敛的目的，可以将 远处的无效粒子及时拉回并参与到最优值附近的搜索，可以增加搜索 效率并避免多余计算。
在本发明实施例中，构造单元包括：
第一计算子单元，用于对3D点云数据进行采样后，计算采样后 的3D点云数据到通用简化模型的最小距离。
第二计算子单元，用于计算通用简化模型的关键点的深度到深度 图的投影深度差。
碰撞检测子单元，用于将通用简化模型的不同可活动部分的球体 或圆柱体进行碰撞检测，得到自碰撞互斥检测结果。
第三计算子单元，用于通过前三帧模型参数计算运动的速度及加 速度。
构造子单元，用于根据最小距离、投影深度差、自碰撞互斥检测 结果、速度及加速度构造以下目标函数：E＝ω1EP-M+ω2EM-D+ω3Ecollision+ ω4EΔv+ω5EΔa，其中，EP-M为点云与模型配准的能量函数，ω1表示其 权重，为模型投影与深度图之间能量函数，ω2表示其权重，Ecollision是模型碰撞互斥能量函数，ω3表示其权重，EΔv为模型速度变化能量 函数，ω4表示其权重，EΔa为模型加速度变化能量函数，ω5表示其权 重。
在本发明实施例中，获取单元包括：
初速度设置子单元，用于在生成两个粒子种群后，为粒子种群中 的粒子设置初速度，以及在满足第一条件时，停止迭代更新粒子种群 中的粒子。
迭代子单元，用于根据以下公式迭代更新粒子种群中的粒子：其中，k为迭代次数， w为惯性因子，c1和c2分别为自我搜索和全局搜索的学习因子，r1和 r2分别为自我搜索和全局搜索的随机学习率，pbestid为个体历史最 优，gbestid为种群历史最优，xid为个体当前参数值，Vid为该个体下 一步步长。
第四计算子单元，用于在每次更新粒子种群中的粒子后，将粒子 种群中的粒子与3D点云进行相关并计算目标函数；第一条件为：迭 代次数达到设定的第一阈值，目标函数小于设定的第二阈值，且种群 参数方差小于设定的第三阈值。
具体地，迭代子单元还用于：将粒子种群划分为两个并独立更新； 粒子更新时加入高斯白噪声；替换或误差过大的粒子的参数或增加其 步长权重；迭代次数过半时将两个粒子种群合并后进行全局优化。
采用本发明提供的运动物体姿态跟踪装置，根据运动物体的通用 简化模型的初始化模型数据，和根据目标深度图提取3D点云数据， 获取目标函数，并采用非线性优化算法迭代优化，以通过较少的运算 量获取较为准确的运动物体姿态参数。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明 的保护范围。

Claims (10)

1.一种运动物体姿态跟踪方法，其特征在于，所述方法包括：
在建立运动物体的通用简化模型后，获取所述通用简化模型的初始化模型数据；
在根据实时测量的深度图选取目标深度图之后，根据所述目标深度图计算3D点云数据；
根据所述3D点云数据与所述初始化模型数据之间的对应关系，构造与所述对应关系相应的目标函数；
采用非线性优化算法将所述目标函数进行迭代优化，获取所述运动物体的姿态参数；
所述根据所述3D点云数据与所述初始化模型数据之间的对应关系，构造与所述对应关系相应的目标函数，包括：
对所述3D点云数据进行采样后，计算采样后的所述3D点云数据到所述通用简化模型的最小距离；
计算所述通用简化模型的关键点的深度到深度图的投影深度差；
将所述通用简化模型的不同可活动部分的球体或圆柱体进行碰撞检测，得到自碰撞互斥检测结果；
通过前三帧模型参数计算运动的速度及加速度；
根据所述最小距离、所述投影深度差、所述自碰撞互斥检测结果、所述速度及所述加速度构造目标函数。
2.根据权利要求1所述的方法，其特征在于，所述通用简化模型采用球体堆叠而成，或者，所述通用简化模型采用圆柱体和球体穿插构成。
3.根据权利要求1所述的方法，其特征在于，所述目标函数如下：
E＝ω1EP-M+ω2EM-D+ω3Ecollision+ω4EΔv+ω5EΔa，其中，EP-M为点云与模型配准的能量函数，ω1表示其权重，EM-D为模型投影与深度图之间能量函数，ω2表示其权重，Ecollision是模型碰撞互斥能量函数，ω3表示其权重，EΔv为模型速度变化能量函数，ω4表示其权重，EΔa为模型加速度变化能量函数，ω5表示其权重。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述目标函数采用非线性优化算法进行迭代优化，获取运动物体的姿态参数，包括：
在生成两个粒子种群后，为所述粒子种群中的粒子设置初速度；
根据以下公式迭代更新所述粒子种群中的粒子：
其中，k为迭代次数，w为惯性因子，c1和c2分别为自我搜索和全局搜索的学习因子，r1和r2分别为自我搜索和全局搜索的随机学习率，pbestid为个体历史最优，gbestid为种群历史最优，xid为个体当前参数值，Vid为该个体下一步步长；
在每次更新所述粒子种群中的粒子后，将所述粒子种群中的粒子与3D点云进行相关并计算目标函数；
满足第一条件时，停止迭代更新所述粒子种群中的粒子；
所述第一条件为：迭代次数达到设定的第一阈值，目标函数小于设定的第二阈值，且种群参数方差小于设定的第三阈值。
5.根据权利要求4所述的方法，其特征在于，所述根据以下公式迭代更新所述粒子种群中的粒子，包括：
将粒子种群划分为两个并独立更新；
粒子更新时加入高斯白噪声；
替换或误差过大的粒子的参数或增加其步长权重；
迭代次数过半时将两个粒子种群合并后进行全局优化。
6.一种运动物体姿态跟踪装置，其特征在于，所述装置包括：
初始化单元，用于在建立运动物体的通用简化模型后，获取所述通用简化模型的初始化模型数据；
计算单元，用于在根据实时测量的深度图选取目标深度图之后，根据所述目标深度图计算3D点云数据；
构造单元，用于根据所述3D点云数据与所述初始化模型数据之间的对应关系，构造与所述对应关系相应的目标函数；
获取单元，用于采用非线性优化算法将所述目标函数进行迭代优化，获取所述运动物体的姿态参数；
所述构造单元包括：
第一计算子单元，用于对所述3D点云数据进行采样后，计算采样后的所述3D点云数据到所述通用简化模型的最小距离；
第二计算子单元，用于计算所述通用简化模型的关键点的深度到深度图的投影深度差；
碰撞检测子单元，用于将所述通用简化模型的不同可活动部分的球体或圆柱体进行碰撞检测，得到自碰撞互斥检测结果；
第三计算子单元，用于通过前三帧的模型参数计算运动的速度及加速度；
构造子单元，用于根据所述最小距离、所述投影深度差、所述自碰撞互斥检测结果、所述速度及所述加速度构造目标函数。
7.根据权利要求6所述的装置，其特征在于，所述通用简化模型采用球体堆叠而成，或者，所述通用简化模型采用圆柱体和球体穿插构成。
8.根据权利要求6所述的装置，其特征在于，所述目标函数如下：
E＝ω1EP-M+ω2EM-D+ω3Ecollision+ω4EΔv+ω5EΔa，其中，EP-M为点云与模型配准的能量函数，ω1表示其权重，EM-D为模型投影与深度图之间能量函数，ω2表示其权重，Ecollision是模型碰撞互斥能量函数，ω3表示其权重，EΔv为模型速度变化能量函数，ω4表示其权重，EΔa为模型加速度变化能量函数，ω5表示其权重。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述获取单元包括：
初速度设置子单元，用于在生成两个粒子种群后，为所述粒子种群中的粒子设置初速度，以及在满足第一条件时，停止迭代更新所述粒子种群中的粒子；
迭代子单元，用于根据以下公式迭代更新所述粒子种群中的粒子：
其中，k为迭代次数，w为惯性因子，c1和c2分别为自我搜索和全局搜索的学习因子，r1和r2分别为自我搜索和全局搜索的随机学习率，pbestid为个体历史最优，gbestid为种群历史最优，xid为个体当前参数值，Vid为该个体下一步步长；
第四计算子单元，用于在每次更新所述粒子种群中的粒子后，将所述粒子种群中的粒子与3D点云进行相关并计算目标函数；
所述第一条件为：迭代次数达到设定的第一阈值，目标函数小于设定的第二阈值，且种群参数方差小于设定的第三阈值。
10.根据权利要求9所述的装置，其特征在于，所述迭代子单元还用于：
将粒子种群划分为两个并独立更新；
粒子更新时加入高斯白噪声；
替换或误差过大的粒子的参数或增加其步长权重；
迭代次数过半时将两个粒子种群合并后进行全局优化。
CN201810352761.1A 2018-04-19 2018-04-19 运动物体姿态跟踪方法及装置 Expired - Fee Related CN108564600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810352761.1A CN108564600B (zh) 2018-04-19 2018-04-19 运动物体姿态跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810352761.1A CN108564600B (zh) 2018-04-19 2018-04-19 运动物体姿态跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN108564600A CN108564600A (zh) 2018-09-21
CN108564600B true CN108564600B (zh) 2019-12-24

Family

ID=63535842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810352761.1A Expired - Fee Related CN108564600B (zh) 2018-04-19 2018-04-19 运动物体姿态跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN108564600B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109409792B (zh) * 2018-09-25 2020-02-04 深圳蓝胖子机器人有限公司 一种基于点云的物体追踪检测方法及系统
CN110260861B (zh) * 2019-06-13 2021-07-27 北京华捷艾米科技有限公司 位姿确定方法及装置、里程计
CN110243390B (zh) * 2019-07-10 2021-07-27 北京华捷艾米科技有限公司 位姿的确定方法、装置及里程计
CN111539507B (zh) * 2020-03-20 2021-08-31 北京航空航天大学 一种基于粒子群优化算法的康复运动速度计算模型参数辨识方法
CN114116081B (zh) * 2020-08-10 2023-10-27 抖音视界有限公司 交互式动态流体效果处理方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299195B2 (en) * 2014-03-25 2016-03-29 Cisco Technology, Inc. Scanning and tracking dynamic objects with depth cameras
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
CN106384106A (zh) * 2016-10-24 2017-02-08 杭州非白三维科技有限公司 一种基于三维扫描的反欺诈人脸识别系统
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520401B (zh) * 2011-12-21 2013-05-08 南京大学 一种基于LiDAR数据的建筑物区域提取方法
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299195B2 (en) * 2014-03-25 2016-03-29 Cisco Technology, Inc. Scanning and tracking dynamic objects with depth cameras
CN105976353A (zh) * 2016-04-14 2016-09-28 南京理工大学 基于模型和点云全局匹配的空间非合作目标位姿估计方法
CN106384106A (zh) * 2016-10-24 2017-02-08 杭州非白三维科技有限公司 一种基于三维扫描的反欺诈人脸识别系统
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Also Published As

Publication number Publication date
CN108564600A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
US20240257462A1 (en) Method, apparatus, and storage medium for three-dimensional reconstruction of buildings based on missing point cloud data
CN110189399B (zh) 一种室内三维布局重建的方法及系统
CN111429574B (zh) 基于三维点云和视觉融合的移动机器人定位方法和系统
CN108564600A (zh) 运动物体姿态跟踪方法及装置
Isler et al. An information gain formulation for active volumetric 3D reconstruction
CN105856230B (zh) 一种可提高机器人位姿一致性的orb关键帧闭环检测slam方法
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN107945220B (zh) 一种基于双目视觉的重建方法
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN107392964B (zh) 基于室内特征点和结构线结合的室内slam方法
CN100559398C (zh) 自动的深度图像配准方法
Yang et al. Real-time monocular dense mapping on aerial robots using visual-inertial fusion
US9317741B2 (en) Three-dimensional object modeling fitting and tracking
CN106940704A (zh) 一种基于栅格地图的定位方法及装置
CN104036546A (zh) 一种基于自适应形变模型的任意视角人脸三维重构方法
CN108629294A (zh) 基于变形图的人体与人脸网格模板拟合方法
CN103729872A (zh) 一种基于分段重采样和表面三角化的点云增强方法
CN108256430A (zh) 障碍物信息获取方法、装置及机器人
CN114078159B (zh) 一种获取二维图像中特征点投影坐标的方法
CN104318552B (zh) 基于凸包投影图匹配的模型配准方法
CN111932628A (zh) 一种位姿确定方法及装置、电子设备、存储介质
CN105069829B (zh) 一种基于多目视频的人体动画生成方法
CN116309759B (zh) 一种基于快速三角特征直方图的点云粗配准方法
Hou et al. Octree-based approach for real-time 3d indoor mapping using rgb-d video data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191224