CN113255487A - 一种三维实时人体姿态识别方法 - Google Patents

一种三维实时人体姿态识别方法 Download PDF

Info

Publication number
CN113255487A
CN113255487A CN202110521607.4A CN202110521607A CN113255487A CN 113255487 A CN113255487 A CN 113255487A CN 202110521607 A CN202110521607 A CN 202110521607A CN 113255487 A CN113255487 A CN 113255487A
Authority
CN
China
Prior art keywords
dimensional
posture
human body
level
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110521607.4A
Other languages
English (en)
Inventor
苏乐
翟文鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202110521607.4A priority Critical patent/CN113255487A/zh
Publication of CN113255487A publication Critical patent/CN113255487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机的技术领域，特别是涉及一种三维实时人体姿态识别方法，其基于级联回归器的从深度图像中实时在线捕获三维人体运动的方法，解决传统的基于随机决策森林方法在面对人体运动过程中的肢体遮挡时，不能获得合理和准确的三维人体姿态估计结果的问题，同时解决提升三维人体姿态估计的准确性和高效性；包括：S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；S2，定义三维人体姿态的关节自由度为向量q；将级联回归器用于三维人体姿态回归，相比传统识别方法保证姿态合理性与更高的准确性；定义了新的三维人体回归目标。

Description

一种三维实时人体姿态识别方法
技术领域
本发明涉及计算机的技术领域，特别是涉及一种三维实时人体姿态识别方法。
背景技术
从图像和视频估计人体姿态是一项重要的任务，但仍然存在许多挑战。为了解决这个问题，国内外已经提出了基于机器学习或统计方法的不同方法。
许多人体姿态估计方法倾向于使用决策林作为回归指标。许多现有工作采用随机森林分类器进行像素级分类，然后采用聚类算法获得身体部位信息，但是这种方法无法在肢体遮挡时获得准确的人体姿态识别结果。或者使用霍夫森林对关节位置进行逐像素投票的方法，通过获得体表和像素之间的对应关系，提高遮挡情况下的人体姿态识别准确性，这项工作通过适应不同的身体尺寸显示了其鲁棒性，但是，它可能会遇到不匹配的问题，并且在很大程度上依赖于训练样本。此外，也有采用测地距离作为特征来避免姿势估计中的歧义，但其主要目的是估计上身姿势。而通过引入随机验证林来优化方法，从而使投票更加准确，但只测试匀速运动的方法。
现有的级联回归方法通常用于解决手部姿势估计问题，该方法也可以应用于人体姿势估计问题，但仍然缺乏运动学约束的考虑。
现有技术提出过一种开源系统，该系统无需任何预处理(例如背景扣除或环境映射)即可估计人体姿态，在这项工作中应用的运动学模型主要限于关节之间的距离，但没有考虑真实的运动学信息以及深度信息与骨骼之间的对应关系。此外，也有技术使用正向运动学方法作为网络中的特殊层，以便他们可以从运动参数中获得关节损失。也有现有技术提出了一种嵌入运动学骨架的广义高斯核相关性，用于关节姿态估计，但该方法基于高斯核模型，依赖人体模型。
发明内容
为解决上述技术问题，本发明提供一种基于级联回归器的从深度图像中实时在线捕获三维人体运动的方法，解决传统的基于随机决策森林方法在面对人体运动过程中的肢体遮挡时，不能获得合理和准确的三维人体姿态估计结果的问题，同时解决提升三维人体姿态估计的准确性和高效性的三维实时人体姿态识别方法。
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像 I(＝1，…，i)的像素点表示为x，深度图像I(＝1，…，i)的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且 q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I(＝1，…，i)提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE001
设三维人体运动姿态为
Figure DEST_PATH_IMAGE002
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)___(1)；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqh在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I(＝1，…，i)中提取三维人体姿态的特征。
本发明的一种三维实时人体姿态识别方法，所述S6中，
首先，回归人体根关节的三维全局坐标和朝向，然后回归躯干各关节的姿态，最后分别回归四肢关节的姿态；
其中，根关节为根关节，躯干关节包括上半身、左肩膀、右肩膀、颈部、头部、左大臂和右大臂，四肢关节包括左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
本发明的一种三维实时人体姿态识别方法，所述S7中，
Figure DEST_PATH_IMAGE003
其中，
Figure DEST_PATH_IMAGE004
是已知深度图像I中第i个训练样本第 h-1层级的三维姿态
Figure DEST_PATH_IMAGE005
由前向运动学计算得到的关节中心三维坐标集合；
其中，
Figure DEST_PATH_IMAGE006
是已知深度图像I中第i 个训练样本第h-1层级的三维姿态
Figure DEST_PATH_IMAGE007
的关节中心三维坐标相对三维姿态
Figure DEST_PATH_IMAGE008
的偏导数；
在第h层级中学习得到三维姿态回归器Rh后，首先计算获得当前层级的近似三维姿态变化负梯度方向
Figure DEST_PATH_IMAGE009
然后设优化方程计算当前层级三维人体姿态变化负梯度的最优“步长”
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
其中，“步长”βh为标量，使用线搜索方法进行求解；
由公式(1)、公式(2)和公式(3)可得：
Figure DEST_PATH_IMAGE012
本发明的一种三维实时人体姿态识别方法，所述S8中，
使用深度图像I中深度像素点深度值的差作为三维姿态特征，表示为：
f＝d(I(x+u1))-d(I(x+u2))---(4)；
其中，u1和u2是2个不同的像素偏移量；
基于人体运动学约束的三维姿态特征，表示为：
Figure DEST_PATH_IMAGE013
---(5)；
其中，qh为当前第h层级的三维姿态；
qc是基准姿态；
Ji(qc)和Jj(qc)分别是基准姿态下关节i和j的三维坐标；
Figure DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE015
分别是基准姿态下关节和的三维偏移量；
Figure DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
是基于人体运动学约束的三维世界变换，用于将基准姿态qc下的三维空间点
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
变换到当前第h层级的三维姿态qh下的三维空间点；
Figure DEST_PATH_IMAGE020
和
Figure DEST_PATH_IMAGE021
表示为：
Figure DEST_PATH_IMAGE022
Figure DEST_PATH_IMAGE023
其中，wR(qh，i)和wR(qh，j)分别是当前第h层级的三维姿态第i和J关节的世界旋转矩阵；
Figure DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
分别是三维偏移量
Figure DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE027
相对关节i和j的三维偏移矩阵；
基于运动学约束的三维姿态特征提取步骤如下：
(1)在基准姿态qc下，从当前h层级待回归肢体段的关节集合中随机选取2个关节i和j，在其对应的空间包围盒内随机采样获得2个三维偏移量
Figure DEST_PATH_IMAGE028
和
Figure DEST_PATH_IMAGE029
(2)计算当前h层级姿态下的2个三维偏移量
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE031
的三维世界坐标
Figure DEST_PATH_IMAGE032
和
Figure DEST_PATH_IMAGE033
(3)将2个三维偏移量的三维世界坐标
Figure DEST_PATH_IMAGE034
和
Figure DEST_PATH_IMAGE035
通过二维投影，获得2个二维深度像素点，计算深度像素点深度值的差作为三维姿态特征。
本发明的一种三维实时人体姿态识别方法，设四肢关节的三维姿态特征采样空间半径为drl，设根关节的三维姿态特征采样空间半径为drr，设躯干关节的三维姿态特征采样空间半径为 drt；
设drl为基准半径，drr与drt按照与drl的比例进行变化，表示为：
drr＝((Blr·Brr)/(Bll·Brl))·drl---(8)；
drt＝((Blt·Brt)/(Bll·Brl))·drl---(8)；
其中，Blr和Brr分别是根关节的肢体段长度和半径；
Blt和Brt分别是躯干关节的肢体段长度和半径；
Bll和Brl分别是四肢关节的肢体段长度和半径。
本发明的一种三维实时人体姿态识别方法，根据捕获的深度图像 I，标定个体化三维人体骨架的骨骼段长度
Figure BDA0003064228590000059
和稀疏三维标记点相对人体骨架父关节相对偏移参数
Figure DEST_PATH_IMAGE036
使用公开的运动捕获数据库中的不同尺寸的人体骨架集合，基于主成分分析技术建立三维人体骨架先验模型：
Figure DEST_PATH_IMAGE037
其中，s和H分别表示骨架均值向量和前h维主成分向量构成的矩阵，τ是骨架的低维向量；
各肢体段长度和半径标定方法步骤如下：
<1>将人体摆成“T”型，用深度相机连续捕获10帧深度图像，为提高肢体段识别精度，使用针对“T”姿态训练的随机决策森林提取每帧的稀疏三维标记点坐标，表示为
Figure DEST_PATH_IMAGE038
<2>基于随机一次性采样算法，针对每类像素点拟合一个圆柱体模型；根据第1帧捕获深度图像估算个体化人体参数s0；
<3>将从第1帧估算的个体化人体参数s0作为初始解，得到最终的个体化三维人体参数：
s||2 ---(10)；
其中，γ是权值，设为0.5。
本发明的有益效果为：
1、将级联回归器用于三维人体姿态回归，相比传统识别方法保证姿态合理性与更高的准确性；
2、定义了新的三维人体回归目标，即姿态变化负梯度，保证姿态回归过程与结果的骨骼长度不变；
3、提出了基于运动学链的三维姿态特征提取方法，增加提取到有效三维姿态特征概率。
附图说明
图1是本发明的基于级联回归器的三维人体姿态回归算法示例图；
图2是级联回归器是由随机决策森林渐进式串联的示例图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I 的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且
q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE039
设三维人体运动姿态为
Figure DEST_PATH_IMAGE040
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)，如图1；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
首先，回归人体根关节的三维全局坐标和朝向，然后回归躯干各关节的姿态，最后分别回归四肢关节的姿态；
其中，根关节为根关节，躯干关节包括上半身、左肩膀、右肩膀、颈部、头部、左大臂和右大臂，四肢关节包括左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqn在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh，如图2；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
实施例2
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I 的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且
q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE041
设三维人体运动姿态为
Figure DEST_PATH_IMAGE042
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqn在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
Figure DEST_PATH_IMAGE043
其中，
Figure DEST_PATH_IMAGE044
是已知深度图像I中第i个训练样本第 h-1层级的三维姿态
Figure DEST_PATH_IMAGE045
由前向运动学计算得到的关节中心三维坐标集合；
其中，
Figure DEST_PATH_IMAGE046
是已知深度图像I中第i 个训练样本第h-1层级的三维姿态
Figure DEST_PATH_IMAGE047
的关节中心三维坐标相对三维姿态
Figure DEST_PATH_IMAGE048
的偏导数；
在第h层级中学习得到三维姿态回归器Rh后，首先计算获得当前层级的近似三维姿态变化负梯度方向
Figure DEST_PATH_IMAGE049
然后设优化方程计算当前层级三维人体姿态变化负梯度的最优“步长”
Figure DEST_PATH_IMAGE050
Figure DEST_PATH_IMAGE051
其中，“步长”βh为标量，使用线搜索方法进行求解；
由公式(1)、公式(2)和公式(3)可得：
Figure DEST_PATH_IMAGE052
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
实施例3
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I 的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且 q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE053
设三维人体运动姿态为
Figure DEST_PATH_IMAGE054
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqh在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
使用深度图像I中深度像素点深度值的差作为三维姿态特征，表示为：
f＝d(I(x+u1))-d(I(x+u2))---(4)：
其中，u1和u2是2个不同的像素偏移量；
基于人体运动学约束的三维姿态特征，表示为：
Figure DEST_PATH_IMAGE055
---(5)；
其中，qh为当前第h层级的三维姿态；
qc是基准姿态；
Ji(qc)和Jj(qc)分别是基准姿态下关节i和j的三维坐标；
Figure DEST_PATH_IMAGE056
和
Figure DEST_PATH_IMAGE057
分别是基准姿态下关节和的三维偏移量；
Figure DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE059
是基于人体运动学约束的三维世界变换，用于将基准姿态qc下的三维空间点
Figure DEST_PATH_IMAGE060
和
Figure DEST_PATH_IMAGE061
变换到当前第h层级的三维姿态qh下的三维空间点；
Figure DEST_PATH_IMAGE062
和
Figure DEST_PATH_IMAGE063
表示为：
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE065
其中，wR(qh，i)和wR(qh，j)分别是当前第h层级的三维姿态第i和J关节的世界旋转矩阵；
Figure DEST_PATH_IMAGE066
和
Figure DEST_PATH_IMAGE067
分别是三维偏移量
Figure DEST_PATH_IMAGE068
和
Figure DEST_PATH_IMAGE069
相对关节i和j的三维偏移矩阵；
基于运动学约束的三维姿态特征提取步骤如下：
(1)在基准姿态qc下，从当前h层级待回归肢体段的关节集合中随机选取2个关节i和j，在其对应的空间包围盒内随机采样获得2个三维偏移量
Figure DEST_PATH_IMAGE070
和
Figure DEST_PATH_IMAGE071
(2)计算当前h层级姿态下的2个三维偏移量
Figure DEST_PATH_IMAGE072
和
Figure DEST_PATH_IMAGE073
的三维世界坐标
Figure DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE075
(3)将2个三维偏移量的三维世界坐标
Figure DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE077
通过二维投影，获得2个二维深度像素点，计算深度像素点深度值的差作为三维姿态特征。
实施例4
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I 的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且
q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE078
设三维人体运动姿态为
Figure DEST_PATH_IMAGE079
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqh在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
使用深度图像I中深度像素点深度值的差作为三维姿态特征，表示为：
f＝d(I(x+u1))-d(I(x+u2))---(4)；
其中，u1和u2是2个不同的像素偏移量；
基于人体运动学约束的三维姿态特征，表示为：
Figure DEST_PATH_IMAGE080
---(5)；
其中，qh为当前第h层级的三维姿态；
qc是基准姿态；
Ji(qc)和Jj(qc)分别是基准姿态下关节i和j的三维坐标；
Figure DEST_PATH_IMAGE081
和
Figure DEST_PATH_IMAGE082
分别是基准姿态下关节和的三维偏移量；
Figure DEST_PATH_IMAGE083
和
Figure DEST_PATH_IMAGE084
是基于人体运动学约束的三维世界变换，用于将基准姿态qc下的三维空间点
Figure DEST_PATH_IMAGE085
和
Figure DEST_PATH_IMAGE086
变换到当前第h层级的三维姿态qh下的三维空间点；
Figure DEST_PATH_IMAGE087
和
Figure DEST_PATH_IMAGE088
表示为：
Figure DEST_PATH_IMAGE089
Figure DEST_PATH_IMAGE090
其中，
Figure DEST_PATH_IMAGE091
和
Figure DEST_PATH_IMAGE092
分别是当前第h层级的三维姿态第i和j关节的世界旋转矩阵；
Figure DEST_PATH_IMAGE093
和
Figure DEST_PATH_IMAGE094
分别是三维偏移量
Figure DEST_PATH_IMAGE095
和
Figure DEST_PATH_IMAGE096
相对关节i和j的三维偏移矩阵；
基于运动学约束的三维姿态特征提取步骤如下：
(1)在基准姿态qc下，从当前h层级待回归肢体段的关节集合中随机选取2个关节i和j，在其对应的空间包围盒内随机采样获得2个三维偏移量
Figure DEST_PATH_IMAGE097
和
Figure DEST_PATH_IMAGE098
(2)计算当前h层级姿态下的2个三维偏移量
Figure DEST_PATH_IMAGE099
和
Figure DEST_PATH_IMAGE100
的三维世界坐标
Figure DEST_PATH_IMAGE101
和
Figure DEST_PATH_IMAGE102
(3)将2个三维偏移量的三维世界坐标
Figure DEST_PATH_IMAGE103
和
Figure DEST_PATH_IMAGE104
通过二维投影，获得2个二维深度像素点，计算深度像素点深度值的差作为三维姿态特征；
设四肢关节的三维姿态特征采样空间半径为drl，设根关节的三维姿态特征采样空间半径为drr，设躯干关节的三维姿态特征采样空间半径为drt；
设drl为基准半径，drr与drt按照与drl的比例进行变化，表示为：
drr＝((Blr·Brr)/(Bll·Brl))·drl---(8)；
drt＝((Blt·Brt)/(Bll·Brl))·drl---(8)；
其中，Blr和Brr分别是根关节的肢体段长度和半径；
Blt和Brt分别是躯干关节的肢体段长度和半径；
Bll和Brl分别是四肢关节的肢体段长度和半径；
根据捕获的深度图像I，标定个体化三维人体骨架的骨骼段长度
Figure BDA0003064228590000141
和稀疏三维标记点相对人体骨架父关节相对偏移参数
Figure BDA0003064228590000142
使用公开的运动捕获数据库中的不同尺寸的人体骨架集合，基于主成分分析技术建立三维人体骨架先验模型：
Figure DEST_PATH_IMAGE105
其中，s和H分别表示骨架均值向量和前h维主成分向量构成的矩阵，τ是骨架的低维向量；
各肢体段长度和半径标定方法步骤如下：
<1>将人体摆成“T”型，用深度相机连续捕获10帧深度图像，为提高肢体段识别精度，使用针对“T”姿态训练的随机决策森林提取每帧的稀疏三维标记点坐标，表示为
Figure DEST_PATH_IMAGE106
<2>基于随机一次性采样算法，针对每类像素点拟合一个圆柱体模型；根据第1帧捕获深度图像估算个体化人体参数s0；
<3>将从第1帧估算的个体化人体参数s0作为初始解，得到最终的个体化三维人体参数：
s||2 ---(10)；
其中，γ是权值，设为0.5。
实施例5
本发明的一种三维实时人体姿态识别方法，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I 的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且 q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure DEST_PATH_IMAGE107
设三维人体运动姿态为
Figure DEST_PATH_IMAGE108
设初始的三维人体姿态为 q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)；
本项专利也将随机决策森林用作回归模型，与已有技术的区别是以级联的方式构建它，以便获得多个回归模型，并确保更好地描述深度信息与深度信息之间的复杂关系，从而获取准确的人体姿态识别结果；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
首先，回归人体根关节的三维全局坐标和朝向，然后回归躯干各关节的姿态，最后分别回归四肢关节的姿态；
其中，根关节为根关节，躯干关节包括上半身、左肩膀、右肩膀、颈部、头部、左大臂和右大臂，四肢关节包括左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
人体骨架是一个高度链状的树形结构，四肢由躯干相连，人体在运动过程中，基本满足一下几条规律：
(1)人体的空间位置主要由根关节的空间位置影响，并且控制着人体的运动朝向；
(2)人体躯干与四肢的姿态变化范围具有较大差异，躯干相对四肢姿态变化范围更小，应对三维人体姿态进行分段回归，以降低整体姿态回归误差；
(3)人体躯干姿态变化对四肢姿态具有一定影响；
(4)人体四肢姿态变化是相互独立的，应各自对四肢姿态回归，以提高整体姿态回归准确性；
本项专利在回归过程中使用了运动学模型，以确保本项专利所描述的技术能够对不同人体姿势的复杂性进行建模，从而获取更有效的特征和更准确的姿态估计结果；
本项专利直接使用更高级别的运动学参数(姿势梯度)作为回归目标，同时基于运动链提取随机森林特征；此外，也有技术提出了一种嵌入运动学骨架的广义高斯核相关性，用于关节姿态估计，该方法基于高斯核模型；而本专利方法方法则完全不依赖人体模型；
设计依赖人体运动学约束的深度点云三维人体姿态特征，以三维人体姿态变化梯度为回归目标，使用运动捕获数据离线训练用于三维人体姿态回归估计的级联回归器模型；为了在有限的层级之内，尽可能提高姿态回归准确性，本项专利还将如左肩膀、右肩膀左大腿和右大腿这几个关节先后均出现在躯干和四肢的回归过程中，即在四肢回归过程中再次对这些关节的躯干回归结果做进一步的修正；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqh在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
Figure DEST_PATH_IMAGE109
其中，
Figure DEST_PATH_IMAGE110
是已知深度图像I中第i个训练样本第 h-1层级的三维姿态
Figure DEST_PATH_IMAGE111
由前向运动学计算得到的关节中心三维坐标集合；
其中，
Figure DEST_PATH_IMAGE112
是已知深度图像I中第i 个训练样本第h-1层级的三维姿态
Figure DEST_PATH_IMAGE113
的关节中心三维坐标相对三维姿态
Figure DEST_PATH_IMAGE114
的偏导数；
在第h层级中学习得到三维姿态回归器Rh后，首先计算获得当前层级的近似三维姿态变化负梯度方向
Figure DEST_PATH_IMAGE115
然后设优化方程计算当前层级三维人体姿态变化负梯度的最优“步长”
Figure DEST_PATH_IMAGE116
Figure DEST_PATH_IMAGE117
其中，“步长”βh为标量，使用线搜索方法进行求解；
由公式(1)、公式(2)和公式(3)可得：
Figure DEST_PATH_IMAGE118
本项专利通过比较三种不同的回归目标(关节中心三维坐标、关节旋转角(欧拉角)和三维姿态变化负梯度)的三维姿态回归准确性，证明了回归姿态变化负梯度是最优的；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
使用深度图像I中深度像素点深度值的差作为三维姿态特征，表示为：
f＝d(I(x+u1))-d(I(x+u2))---(4)；
其中，u1和u2是2个不同的像素偏移量；
基于人体运动学约束的三维姿态特征，表示为：
Figure DEST_PATH_IMAGE119
---(5)；
其中，qh为当前第h层级的三维姿态；
qc是基准姿态；
Ji(qc)和Jj(qc)分别是基准姿态下关节i和j的三维坐标(由前向运动学计算获得)；
Figure DEST_PATH_IMAGE120
和
Figure DEST_PATH_IMAGE121
分别是基准姿态下关节和的三维偏移量；
Figure DEST_PATH_IMAGE122
和
Figure DEST_PATH_IMAGE123
是基于人体运动学约束(前向运动学)的三维世界变换，用于将基准姿态qc下的三维空间点
Figure DEST_PATH_IMAGE124
和
Figure DEST_PATH_IMAGE125
变换到当前第h层级的三维姿态qh下的三维空间点；
Figure DEST_PATH_IMAGE126
和
Figure DEST_PATH_IMAGE127
表示为：
Figure DEST_PATH_IMAGE128
Figure DEST_PATH_IMAGE129
其中，wR(qh，i)和wR(qh，j)分别是当前第h层级的三维姿态第i和j关节的世界旋转矩阵(由前向运动学计算获得)；
Figure DEST_PATH_IMAGE130
和
Figure DEST_PATH_IMAGE131
分别是三维偏移量
Figure DEST_PATH_IMAGE132
和
Figure DEST_PATH_IMAGE133
相对关节i和j的三维偏移矩阵；
本项专利实验中，基准姿态qc下的三维偏移量
Figure 958920DEST_PATH_IMAGE099
和
Figure DEST_PATH_IMAGE134
是分别在关节i和j的三维空间球形包围盒内随机采样获得的，该球形包围盒半径与关节所在肢体段长度和半径有关(第 3.4小节)；关节i和j有50％概率是同一个关节(一元特征)，或2个不同的关节(二元特征)；
基于运动学约束的三维姿态特征提取步骤如下：
(1)在基准姿态qc下，从当前h层级待回归肢体段的关节集合中随机选取2个关节i和j，在其对应的空间包围盒内随机采样获得2个三维偏移量
Figure DEST_PATH_IMAGE135
和
Figure DEST_PATH_IMAGE136
(2)计算当前h层级姿态下的2个三维偏移量
Figure DEST_PATH_IMAGE137
和
Figure DEST_PATH_IMAGE138
的三维世界坐标
Figure DEST_PATH_IMAGE139
和
Figure DEST_PATH_IMAGE140
(3)将2个三维偏移量的三维世界坐标
Figure DEST_PATH_IMAGE141
和
Figure DEST_PATH_IMAGE142
通过二维投影，获得2个二维深度像素点，计算深度像素点深度值的差作为三维姿态特征；
设四肢关节的三维姿态特征采样空间半径为drl，设根关节的三维姿态特征采样空间半径为drl，设躯干关节的三维姿态特征采样空间半径为drt；
设drl为基准半径，drr与drt按照与drl的比例进行变化，表示为：
drr＝((Blr·Brr)/(Bll·Brl))·drl---(8)；
drt＝((Blt·Brt)/(Bll·Brl))·drl___(8)；
其中，Blr和Brr分别是根关节的肢体段长度和半径；
Blt和Brt分别是躯干关节的肢体段长度和半径；
Bll和Brl分别是四肢关节的肢体段长度和半径；
根据捕获的深度图像I，标定个体化三维人体骨架的骨骼段长度
Figure BDA0003064228590000198
和稀疏三维标记点相对人体骨架父关节相对偏移参数
Figure BDA0003064228590000199
使用公开的运动捕获数据库中的不同尺寸的人体骨架集合，基于主成分分析技术建立三维人体骨架先验模型：
Figure DEST_PATH_IMAGE143
其中，s和H分别表示骨架均值向量和前h维主成分向量构成的矩阵，τ是骨架的低维向量；
各肢体段长度和半径标定方法步骤如下：
<1>将人体摆成“T”型，用深度相机连续捕获10帧深度图像，为提高肢体段识别精度，使用针对“T”姿态训练的随机决策森林提取每帧的稀疏三维标记点坐标，表示为
Figure DEST_PATH_IMAGE144
<2>基于随机一次性采样算法，针对每类像素点拟合一个圆柱体模型；根据第1帧捕获深度图像估算个体化人体参数s0；
<3>将从第1帧估算的个体化人体参数s0作为初始解，得到最终的个体化三维人体参数：
s||2
---(10)；
其中，γ是权值，设为0.5。
实施中需要注意以下技术细节：
(1)姿态初始化：本项专利提出的用于三维人体姿态估计的级联回归器，回归目标是三维人体姿态变化的负梯度。因此，在训练和测试级联回归器时，需要事先设置一个初始的三维人体姿态。本项专利实验中，采用的是“A”姿态，用q0表示。对于每个训练样本 i，其初始三维姿态的root世界坐标是基于迭代聚类算法计算的深度点云中心点的三维坐标。
(2)级联回归器离线训练：输入数据包括训练样本集合
Figure DEST_PATH_IMAGE145
其中Ii和
Figure DEST_PATH_IMAGE146
分别是第i个训练样本的深度图像和对应的三维人体姿态真值，以及初始三维人体姿态 q0。本项专利中，所有训练和测试样本均使用相同的初始三维人体姿态。基于链式分段回归思想的级联回归器估计三维人体姿态的离线训练算法训练时依照
“根关节r→躯干关节集合t→四肢关节集合l”的顺序进行的。其中，变量Hr，Ht，Hl分别是根关节、躯干关节集合与四肢关节集合的级联回归器层级个数，向量
Figure DEST_PATH_IMAGE147
分别表示第h级第i个训练样本的根关节、躯干关节集合与四肢关节集合的三维姿态。
(3)级联回归器在线测试：输入数据包括测试样本的深度图像 I和初始三维人体姿态q0。测试时，依然按照“根关节 r→躯干关节集合t→四肢关节集合l”的顺序进行。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (6)

1.一种三维实时人体姿态识别方法，其特征在于，包括：
S1，使用深度相机获取深度图像I(＝1，…，i)；深度图像I的像素点表示为x，深度图像I的像素点对应的深度值和三维点分别表示为d(x)和p；
S2，定义三维人体姿态的关节自由度为向量q，并且q∈R36，三维人体姿态的关节具体包括根关节、上半身、左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、颈部、头部、左大腿、右大腿、左小腿、右小腿、左脚和右脚；
S3，从已知公开运动捕获数据库中挑选运动序列并根据建立好的三维人体姿态数据库，进而从深度图像I提取三维标记点和在线自动构建姿态；
S4，设h(＝1，…，H)级分层迭代的级联回归器为
Figure FDA0003064228580000011
设三维人体运动姿态为
Figure FDA0003064228580000012
设初始的三维人体姿态为q0，设每一级分层迭代的三维人体运动姿态公式为：
qh＝qh-1+Rh(I，qh-1)---(1)；
S5，输出经过所有级联回归器的三维人体运动姿态为qH；
S6，基于链式分段回归的方法离线训练三维人体姿态的级联回归器，并且级联回归器沿三维的人体骨架链依次训练人体的各骨骼段；
S7，设三维人体运动姿态变化负梯度的残差方程为δqh，并且基于δqh在每个层级h训练出最小化所述残差方程的随机决策森林回归器Rh；
S8，在训练每个层级h中的随机决策森林的决策树划分节点时，根据上一个层级h-1和当前层级h中的三维人体姿态回归结果，从捕获的深度图像I中提取三维人体姿态的特征。
2.如权利要求1所述的一种三维实时人体姿态识别方法，其特征在于，所述S6中，
首先，回归人体根关节的三维全局坐标和朝向，然后回归躯干各关节的姿态，最后分别回归四肢关节的姿态；
其中，根关节为根关节，躯干关节包括上半身、左肩膀、右肩膀、颈部、头部、左大臂和右大臂，四肢关节包括左肩膀、右肩膀、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿、右小腿、左脚和右脚。
3.如权利要求1所述的一种三维实时人体姿态识别方法，其特征在于，所述S7中，
Figure FDA0003064228580000021
其中，
Figure FDA0003064228580000022
是已知深度图像I中第i个训练样本第h-1层级的三维姿态
Figure FDA0003064228580000023
由前向运动学计算得到的关节中心三维坐标集合；
其中，
Figure FDA0003064228580000024
是已知深度图像I中第i个训练样本第h-1层级的三维姿态
Figure FDA0003064228580000025
的关节中心三维坐标相对三维姿态
Figure FDA0003064228580000026
的偏导数；
在第h层级中学习得到三维姿态回归器Rh后，首先计算获得当前层级的近似三维姿态变化负梯度方向
Figure FDA0003064228580000027
然后设优化方程计算当前层级三维人体姿态变化负梯度的最优“步长”
Figure FDA0003064228580000028
Figure FDA0003064228580000029
其中，“步长”βh为标量，使用线搜索方法进行求解；
由公式(1)、公式(2)和公式(3)可得：
Figure FDA00030642285800000210
4.如权利要求1所述的一种三维实时人体姿态识别方法，其特征在于，所述S8中，
使用深度图像I中深度像素点深度值的差作为三维姿态特征，表示为：
f＝d(I(x+u1))-d(I(x+u2))---(4)；
其中，u1和u2是2个不同的像素偏移量；
基于人体运动学约束的三维姿态特征，表示为：
Figure FDA0003064228580000031
其中，qh为当前第h层级的三维姿态；
qc是基准姿态；
Ji(qc)和Jj(qc)分别是基准姿态下关节i和j的三维坐标；
Figure FDA0003064228580000032
和
Figure FDA0003064228580000033
分别是基准姿态下关节和的三维偏移量；
Figure FDA0003064228580000034
和
Figure FDA0003064228580000035
是基于人体运动学约束的三维世界变换，用于将基准姿态qc下的三维空间点
Figure FDA0003064228580000036
和
Figure FDA0003064228580000037
变换到当前第h层级的三维姿态qh下的三维空间点；
Figure FDA0003064228580000038
和
Figure FDA0003064228580000039
表示为：
Figure FDA00030642285800000310
Figure FDA00030642285800000311
其中，wR(qh，i)和wR(qh，j)分别是当前第h层级的三维姿态第i和j关节的世界旋转矩阵；
Figure FDA00030642285800000312
和
Figure FDA00030642285800000313
分别是三维偏移量
Figure FDA00030642285800000314
和
Figure FDA00030642285800000315
相对关节i和j的三维偏移矩阵；
基于运动学约束的三维姿态特征提取步骤如下：
(1)在基准姿态qc下，从当前h层级待回归肢体段的关节集合中随机选取2个关节i和j，在其对应的空间包围盒内随机采样获得2个三维偏移量
Figure FDA00030642285800000316
和
Figure FDA00030642285800000317
(2)计算当前h层级姿态下的2个三维偏移量
Figure FDA00030642285800000318
和
Figure FDA00030642285800000319
的三维世界坐标
Figure FDA00030642285800000320
和
Figure FDA00030642285800000321
(3)将2个三维偏移量的三维世界坐标
Figure FDA00030642285800000322
和
Figure FDA00030642285800000323
通过二维投影，获得2个二维深度像素点，计算深度像素点深度值的差作为三维姿态特征。
5.如权利要求1-4中任意一项的一种三维实时人体姿态识别方法，其特征在于，设四肢关节的三维姿态特征采样空间半径为drl，设根关节的三维姿态特征采样空间半径为drr，设躯干关节的三维姿态特征采样空间半径为drt；
设drl为基准半径，drr与drt按照与drl的比例进行变化，表示为：
drr＝((Blr·Brr)/(Bll·Brl))·drl---(8)；
drt＝((Blt·Brt)/(Bll·Brl))·drl---(8)；
其中，Blr和Brr分别是根关节的肢体段长度和半径；
Blt和Brt分别是躯干关节的肢体段长度和半径；
Bll和Brl分别是四肢关节的肢体段长度和半径。
6.如权利要求5所述的一种三维实时人体姿态识别方法，其特征在于，根据捕获的深度图像I，标定个体化三维人体骨架的骨骼段长度
Figure FDA0003064228580000041
和稀疏三维标记点相对人体骨架父关节相对偏移参数
Figure FDA0003064228580000042
使用公开的运动捕获数据库中的不同尺寸的人体骨架集合，基于主成分分析技术建立三维人体骨架先验模型：
Figure FDA0003064228580000043
其中，s和H分别表示骨架均值向量和前h维主成分向量构成的矩阵，τ是骨架的低维向量；
各肢体段长度和半径标定方法步骤如下：
<1>将人体摆成“T”型，用深度相机连续捕获10帧深度图像，为提高肢体段识别精度，使用针对“T”姿态训练的随机决策森林提取每帧的稀疏三维标记点坐标，表示为
Figure FDA0003064228580000044
<2>基于随机一次性采样算法，针对每类像素点拟合一个圆柱体模型；根据第1帧捕获深度图像估算个体化人体参数s0；
<3>将从第1帧估算的个体化人体参数s0作为初始解，得到最终的个体化三维人体参数：
Figure FDA0003064228580000045
其中，γ是权值，设为0.5。
CN202110521607.4A 2021-05-13 2021-05-13 一种三维实时人体姿态识别方法 Pending CN113255487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110521607.4A CN113255487A (zh) 2021-05-13 2021-05-13 一种三维实时人体姿态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110521607.4A CN113255487A (zh) 2021-05-13 2021-05-13 一种三维实时人体姿态识别方法

Publications (1)

Publication Number Publication Date
CN113255487A true CN113255487A (zh) 2021-08-13

Family

ID=77181569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110521607.4A Pending CN113255487A (zh) 2021-05-13 2021-05-13 一种三维实时人体姿态识别方法

Country Status (1)

Country Link
CN (1) CN113255487A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821639A (zh) * 2022-04-11 2022-07-29 西安电子科技大学广州研究院 面向特殊场景下人体姿态估计和理解的方法及装置
CN114974506A (zh) * 2022-05-17 2022-08-30 重庆大学 人体姿态数据处理方法及系统
CN115376203A (zh) * 2022-07-20 2022-11-22 华为技术有限公司 一种数据处理方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600626A (zh) * 2016-11-01 2017-04-26 中国科学院计算技术研究所 三维人体运动捕获方法与系统
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106600626A (zh) * 2016-11-01 2017-04-26 中国科学院计算技术研究所 三维人体运动捕获方法与系统
CN106897670A (zh) * 2017-01-19 2017-06-27 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIHONG XIA: "Cascaded 3D Full-body Pose Regression from Single Depth Image at 100 FPS", 《ARXIV:1711.08126V2 [CS.GR]》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821639A (zh) * 2022-04-11 2022-07-29 西安电子科技大学广州研究院 面向特殊场景下人体姿态估计和理解的方法及装置
CN114974506A (zh) * 2022-05-17 2022-08-30 重庆大学 人体姿态数据处理方法及系统
CN114974506B (zh) * 2022-05-17 2024-05-03 重庆大学 人体姿态数据处理方法及系统
CN115376203A (zh) * 2022-07-20 2022-11-22 华为技术有限公司 一种数据处理方法及其装置

Similar Documents

Publication Publication Date Title
Atapour-Abarghouei et al. Real-time monocular depth estimation using synthetic data with domain adaptation via image style transfer
Stoll et al. Fast articulated motion tracking using a sums of gaussians body model
CN106991388B (zh) 关键点定位方法
CN113255487A (zh) 一种三维实时人体姿态识别方法
Prisacariu et al. Nonlinear shape manifolds as shape priors in level set segmentation and tracking
Elgammal et al. Tracking people on a torus
CN104063702B (zh) 一种基于遮挡修复和局部相似性匹配的三维步态识别方法
CN109829972B (zh) 一种面向连续帧点云的三维人体标准骨架提取方法
CN107705322A (zh) 运动目标识别跟踪方法和系统
CN108229416A (zh) 基于语义分割技术的机器人slam方法
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN101894278A (zh) 基于变结构多模型的人体运动跟踪方法
Uddin et al. Human Activity Recognition via 3-D joint angle features and Hidden Markov models
CN117671738B (zh) 基于人工智能的人体姿态识别系统
CN108154176B (zh) 一种针对单一深度图像的3d人体姿态估计算法
Wu et al. An unsupervised real-time framework of human pose tracking from range image sequences
Kanaujia et al. Part segmentation of visual hull for 3d human pose estimation
CN114973305A (zh) 一种针对拥挤人群的精确人体解析方法
Elghoul et al. Fast global SA (2, R) shape registration based on invertible invariant descriptor
CN113256789A (zh) 一种三维实时人体姿态重建方法
Ge et al. Non-rigid articulated point set registration for human pose estimation
Charco et al. Transfer Learning from Synthetic Data in the Camera Pose Estimation Problem.
Wu et al. Object Pose Estimation with Point Cloud Data for Robot Grasping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination