CN108154176A - 一种针对单一深度图像的3d人体姿态估计算法 - Google Patents

Abstract

本发明公开一种基于单一深度图像的3D人体姿态估计方法。首先提出改进型特征提取办法，综合利用部位尺寸信息和距离变换信息，来指导深度梯度特征提取，可极大增强所提特征的表达能力；为解决随机森林部位分类时存在的误分类问题，提出误分类处理机制—多级随机森林整合算法来去除部位误分点，获得更为准确的部位识别结果；通过改进PDA，利用位置权重阈值处理办法，使能够利用识别的部位尺寸信息，自适应的再次去除部位中的干扰点，从而获得更为准确的主方向向量；最后利用人体部件配置关系得到姿态估计结果。本发明改善了部位分类模型的准确率，并能有效去除识别部位中的误分类干扰点，提高识别部位的准确性，最终获得更为准确的3D人体姿态估计结果。

Description

一种针对单一深度图像的3D人体姿态估计算法

技术领域

本发明涉及计算机视觉领域，尤其是一种针对单一深度图像的3D人体姿态估计算法。

背景技术

基于图像的人体姿态估计是计算机视觉领域的一个重要研究热点，其中以此为基础的人体运动，行为分析等已被广泛应用于视频监控、行为分析和人机交互等领域。人体姿态估计是一个能通过估计算法，从视频或图像中自动定位各关节位置，并根据人体部位配置关系，估计出人体姿态的过程。但是在实际环境中，由于人体结构和运动姿态的复杂性问题，同时不同人体的体型，着装，肤色等也均有差异，这些都对准确预测姿态的质量造成挑战。而深度图像中像素记录的是距离信息，具有颜色无关性，基本可避免彩色图像在肤色、光照等方面遇到的问题。

到目前为止，基于此任务的人体姿态估计方法已有许多研究算法被提出，主要可分为两类：基于模型的方法和基于非模型的方法。对于前者，是利用人体先验知识构建人体模型，将模型和图像中的人体轮廓、梯度等特征对应，求解模型参数，此方法基本可覆盖人体部位所有可能的姿态，但同时也受复杂模型的限制，由于很难构建出具有强代表性的人体模型，不利于实际推广应用。基于无模型的人体姿态估计方法是以学习的方式来构建人体特征与人体姿态之间的复杂映射关系，此方法不需要构建复杂的人体模型，既可不受模型的约束，但此方法为适用于现实情况，需要建立庞大的数据库。

无模型人体姿态估计与有模型人体姿态估计相比，不需要利用特征信息建立人体数学模型，可大大降低计算复杂性，其中算法基本可分为建立姿态数据库，特征提取，训练分类模型和姿态估计四部分，其中最重要的是特征提取，分类器的训练和姿态估计三方面。特征提取阶段可利用人体部件尺度特征，深度梯度差分特征等方法；分类阶段可利用随机森林分类和回归模型；姿态估计阶段有Mean-shift估计关节位置和主方向分析算法(PDA)估计部位主方向向量等方法。但基于随机森林完成3D人体姿态估计算法中还存在一定的局限性。由于部位分类器准确率的限制，使得分类器存在误分类现象，特别是使用随机森林对像素进行分类任务中，识别的身体部位中存在许多误分类点，这些误分类点容易对后续的关节点定位造成一定的影响，从而降低姿态估计的准确度。若能进一步提高随机森林分类准确率，并尽可能的去除误分类点，降低误分点对后续算法的影响，并提高部位主方向向量的质量，则会大大改善姿态估计的性能。

发明内容

本发明的目的是提供一种3D人体姿态估计方法。我们首先通过特征提取阶段的改进算法，改善特征的表达性能，来提高部位分类准确率，为降低识别的部位中误分点对后续姿态估计算法的影响，本发明提出误分类处理机制和位置权重阈值处理办法，在随机森林初步部位分类结果后处理，可极大降低部位识别结果的误分点，改善了部位主方向向量结果--主轴，从而获得更准确的姿态估计结果。

本发明采用如下技术方案：

1.考虑到现有深度图像数据库，缺乏我们所需的基于像素部位的标签，不适用于本实验，为此我们通过合成深度图像数据库，来解决训练过程所需大量数据的问题，实验中将深度图像归一化为225*300。

2.深度图像像素记录的是距离信息，我们利用像素与其周围像素点之间的差即深度梯度差分特征作为我们的特征提取思想。首先利用背景减除法，将图像背景去除，只留下人体深度信息，随后进行特征提取。

在特征提取阶段，根据偏移量的选择至关重要的问题，我们提出自适应深度梯度差分特征方法，使能够综合利用到图像部位尺寸和距离信息因素。

第一步，均匀抽取归一化的深度图像的像素样本，每隔两个像素抽取一个像素样本，避免随机抽取像素样本出现的各类别样本比例不均的问题，保证特征提取的像素点遍布全身。

第二步，由于获取的深度图像像素值大小定义在0～255之间，背景值为0，人体信息在0～255之间，其中人体信息像素的最大值可用来判断图像与深度相机之间的距离远近。在本发明中，为增强所提特征的表达能力，将深度图像像素值大小，按比例归一化到0～1000之间，其中背景设为1000，人体信息在0～1000之间。

第三步，计算深度人体像素x位置的特征MGoD_θ＝(u，v)(x)，计算公式如下

MGoD_θ＝(u，v)(x)＝d_I(x+x_u)-d_I(x+x_v)

(1)

θ＝(u，v)为单位偏移向量对，x_u＝u*q和x_v＝v*q为偏移向量，q为偏移量，x+x_u和x+x_v为像素点x分别经向量x_u和x_v偏移后的像素点位置，d_I(x+x_u)和d_I(x+x_v)为像素点x分别经偏移向量x_u和x_v偏移后的像素点的深度值。每个像素含有8个偏移向量，因此可组合偏移向量共36对，实验中，取其中28对偏移向量进行深度梯度差分特征提取。

偏移量q综合利用了部位尺寸和距离信息，在本发明中，我们采用部位最小矩形方法，分别包含身体各个部位，计算其最小矩形斜边η₁(ζ₁)，以其作为偏移量q计算的部位尺寸信息，而距离信息则是利用了人体目标距离相机设备的距离信息。

部位偏移量q的计算公式如下

深度图像I包含m个身体部位，表示第ζ₁个身体部位对应的偏移量值，d_I(·)表示深度图像I的人体信息中某像素点的深度值，min(d_I(·))表示深度人体像素点的深度最小值，η₁(ζ₁)为第ζ₁个身体部位的最小矩形斜边。为了提高识别的准确性，我们将所有训练样本各部位的偏移量分别取平均，获得各个身体部位相对应的特征提取偏移量，以此将归一化图像的各身体部位对应的特征提取出来。

3.本发明采用将复杂的姿态估计问题转为简单的单一像素分类的思想，利用随机森林方法训练分类模型，其中随机森林中包含30个决策树，每棵决策树分类过程互不影响，最后分类结果由所有决策树投票决定。使用随机森林方法对人体深度像素进行部位分类的方法中，由于分类器的准确度限制，使得识别的部位中存在许多误分点，在以往的研究算法中提到使用部位融合的思想来降低误分点，为改善部位识别结果，我们结合了部位融合的思想，改善部位分类识别结果，其中训练图像和测试图像均归一化为225*300，具体流程如下。

训练阶段：在合成深度图像上，首先采用部位融合思想，将深度图像中部位尺寸较大的划分为较小的部位，随后利用自适应深度梯度差分方法提取特征，其中偏移量为将所有训练样本的各个部位分别取均值，从而获得的各个身体部位相对应的特征提取偏移量，随后利用随机森林训练部位分类模型。在此阶段，随机森林由30棵决策树组成，训练样本包含28个特征属性，从中随机选取7个属性作为分类属性集训练部位分类模型。

测试阶段：将所提取的测试图像特征，利用训练阶段获得的随机森林部位分类模型识别各个身体部位，由于训练阶段得到的部位分类模型，是将尺寸较大的部位划分为尺寸较小的部位后通过训练获得的，所以在测试阶段，我们将随机森林分类识别后的对应部位再融合成大部位，从而获得融合后的随机森林初步部位分类结果。此阶段特征提取与训练阶段不同之处在于，特征偏移量的确定为所有训练样本部位偏移量的均值。

4.由于随机森林测试识别的部位结果中的误分类点不只出现在相邻部位上，而是离散或聚集于正确分类周围，我们在部位融合算法基础上，对误分点产生原因分析，提出了误分类处理机制—多级随机森林整合算法，用来处理随机森林初步分类结果，来降低识别部位中的误分点。

多级随机森林整合算法是根据在特征提取方法中偏移量的选择，在训练阶段和测试阶段之间的不同而提出的。在训练阶段，特征提取的偏移量同时利用部位尺寸信息和距离变换信息，获得的各部位对应的偏移量值；而测试阶段，特征提取的偏移量为训练样本中所有身体部位偏移量的均值，所以此阶段提取的特征信息与训练阶段所提特征有所不同。

为此本发明提出以所有训练样本偏移量均值为基础，以等差方法前后选择多个偏移量，分别进行特征提取，随后利用随机森林分类模型获得部位分类结果。其中每个偏移量对应的特征提取及其部位分类，都是独立进行的。由于分类结果与偏移量的选择有关，特别是误分类点，但大部分的正确分类还是基本保持一致的，我们基于此，利用多次分类结果，将其两两整合，去除不同分类点，保留相同分类点。

在本发明中，我们进行了三次偏移量大小的选择，即能获得三种随机森林初步部位分类结果，随后在多级随机森林整合算法中，对初步分类结果进行两两整合，即进行了三次整合处理，从而获得更为准确的部位识别结果。

5.利用上述误分类处理机制—多级随机森林整合算法处理随机森林分类结果后，能有效降低识别部位中存在的错误分类点，但也还会在处理后的部位周围残留一些离散点。为此，本发明提出了改进的PDA算法，通过位置权重阈值处理法将这些离散点去除，并最终计算出各身体部位的主方向向量—部位主轴。

第一步，首先利用逻辑函数和马氏距离计算部位中每个像素点的位置权重。

逻辑函数计算公式如下

其中w(t_i)为第i个像素点的位置权重值，C是限定输出值(此时C＝1)，t_o＝1，α＝0.5，t_i为第i个像素点的马氏距离。在计算身体部位各像素点的位置权重w(t_i)时，像素点的权重值随像素点位置不同而变化。

马氏距离t_i计算公式如下

在本发明中，将误分类处理机制处理后的部位识别结果以点云形式表示，其中为部位点云的均值，为部位点云的协方差，y_i为第i个像素点的深度值，T代表向量的转置处理，n为部位点云中像素点的个数。

第二步，根据身体部位的尺度差异问题，本发明利用身体部位3D点云的尺寸大小比例信息来设定位置权重保留阈值，并将低于阈值大小的位置权重去除。由于识别的身体部位还存在许多离散点，为保证阈值选择的有效性，我们将识别的身体部位像素点排列组合为最小正方形，取其斜边η₂(ζ₂)为此身体部位的尺寸值，以此计算阈值大小，计算公式为

在经过部位融合处理后，此时人体中共包含L个身体部位，表示第ζ₂部位的权重保留阈值大小，β为初始设定阈值大小，β＝0.45，η₂(·)表示某一身体部位的尺寸值，其中像素点离部位均值位置越远，位置权重阈值越小。

第三步，利用身体部位像素点权重w的协方差S^*和均值u^*计算主方向向量V_d，其中均值u^*和协方差S^*的计算公式如下

其中t_i为第i个像素点的马氏距离，w(t_i ²)表示第i个像素点的位置权重值，y_i为第i个像素点的深度值，T代表向量转置处理，n为部位点云中像素点的个数。

主方向向量V_d计算公式为

V_d为身体部位的主方向向量，argmax(·)代表求取在约束条件(·)最大化时的E_k值，E_k是协方差矩阵S*的特征向量，k为矩阵S*的维度，其中S*为三维矩阵，T代表向量的转置处理，我们将主方向向量V_d求取转化为此身体部位3D点云最大特征向量的求取，从而计算出各身体部位主轴。

6.后处理：为实现利用部位主方向向量获得3D人体姿态估计结果的目的，本发明首先对所有训练深度图像中的人体不同部位主轴长度分别求平均，来设定测试图像的人体不同部位主轴长度，随后利用上述获得的部位主方向向量，并基于人体部件的配置关系，即利用头部和躯干主轴相交、手臂的上臂和小臂相交的人体先验知识，最终估计出单一深度图像3D人体姿态。

为探究本发明提出的误分类处理机制对姿态估计准确度的影响，我们对结合改进的PDA算法的随机森林初步分类结果获得的3D人体姿态估计，和使用了误分类处理机制并结合了改进的PDA算法的随机森林初步分类结果获得的3D人体姿态估计结果进行对比，探究误分类处理算法的性能。

有益效果

1.本发明根据深度图像的特点，采用针对性的特征提取方法。考虑到特征提取的质量好坏直接决定了训练得到的模型是否可靠，本发明在特征提取阶段，使用自适应深度梯度差分特征进行特征提取。此方法综合利用了部位尺寸信息和距离变换信息，以此获得各部位特征提取时所对应的偏移量信息，提高特征的表达能力，进而提高后续部位分类的准确性。从图8中可以看出，本发明的特征提取方法与原始深度梯度差分特征方法相比，在部位分类上均有所提高，可见本方法的可行性。

2.本发明针对随机森林模型容易出现误分类问题，提出误分类处理机制，--多级随机森林整合算法。此算法针对部位特征提取偏移量问题，采用多级偏移量的方式，分别进行随机森林分类，获得多种随机森林初步部位分类结果，随后将相应部位分类结果中的相同分类点两两整合，去除不同分类点，从而达到降低误分点的目的。本发明通过误分类处理机制去除部位误分点，能有效降低误分点对后续主轴确定和姿态估计的影响。

3.通过误分类处理机制算法后的部位识别结果中，还存留一些离散于正确部位外的干扰点，为此本发明通过改进PDA算法，计算像素点位置权重大小，利用像素点离部位均值位置越远，位置权重越小的特点，提出位置权重阈值处理办法。利用部位分类结果的尺寸大小设定各部位权重阈值，通过此方法可快速的去除聚集正确部位外的错误干扰点，大大提高了计算部位主方向向量的准确性。

附图说明

图1是本发明的整体流程图，(a)为训练部位分类器流程图，(b)为测试阶段完成姿态估计的算法流程图；

图2是合成数据库整体流程图；

图3是在不同图像分辨率下的部位分类准确率结果图；

图4为部位某一像素点上的偏移向量示意图。；

图5是误分类处理后部位识别结果图，(a)为使用随机森林初步部位识别结果，(b)为使用多级随机森林整合算法后的识别结果，(c)为使用改进的PDA算法后的识别结果；

图6是利用合成数据的3D人体姿态估计结果图，(a)为深度图像，(b)为姿态的groundtruth，(c)为使用随机森林直接识别的姿态估计结果，(d)为使用多级随机森林整合算法后获得的姿态估计结果；

图7是利用实际深度图像的3D人体姿态估计结果图，(a)为深度图像，(b)为使用随机森林直接识别的姿态估计结果，(c)为使用多级随机森林整合算法后获得的姿态估计结果；

图8是使用不同特征提取方法的随机森林部位分类准确率对比图。

表1是使用误分类处理前后的姿态肘部角度误差对比结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的技术框图如图1所示。我们首先将深度图像利用背景减除法移除背景，只保留深度人体信息。随后在训练阶段，在部位融合基础上将部位尺寸较大的分为尺寸较小的部位，并提取特征，随后通过随机森林训练部位分类模型，如图1(a)所示；在测试阶段如图1(b)所示，首先提取出测试阶段图像特征，随后通过部位分类模型识别图像各身体部位，通过部位融合思想，将识别的相应部位再融合成大部位，从而获得融合后的随机森林初步分类结果，使用误分类处理机制的多级随机森林整合算法去除识别部位结果中的误分类点，获得误分类去除后的部位识别结果，并通过改进的PDA算法，从而得到人体姿态结果，随后与结合改进的PDA算法的随机森林初步分类结果获得的人体姿态进行比较，探究误分类处理机制的性能。

具体实施步骤分别如下：

1.考虑到现有深度图像数据库，缺乏我们所需的基于像素部位的标签，不适用于本实验，为此我们通过合成深度图像数据库，来解决训练过程所需大量数据的问题。数据库的合成在maya环境中进行，合成过程如图2所示，使用合成数据库可避免人工逐个标注人体部位的大量精力，也可避免人为标注误差造成的分类不准确的问题。

第一步，通过poser构建人体模型，然后将人体模型与CMU运动捕获数据库中的骨架信息进行匹配绑定；

第二步，给模型贴上颜色贴图，完成模型标注；

第三步，在模型中导入转换后的CMU运动文件，使之能够被maya模型识别，从而达到扩充运动姿态的目的；

第四步，分别渲染出深度图像以及带部位颜色标签的标签图像。

为使算法具有更好的准确性，实验中进行以下操作。1)调整模型参数来构造不同体型的人体模型；2)细化模型人工标注部位等方法，以尽可能的减小不同人体各部位深度不同，或人为因素造成的部位交界误差的影响。

2.本发明首先针对不同图像分辨率对模型分类准确率的影响进行试验分析，图3为不同图像分辨率下的部位分类准确率变化曲线。可以发现部位分类准确率随分辨率的变大显示出先快速后缓慢提高的趋势，虽在分辨率为0.5倍后有所下降，但基本变化还是先快后慢的增长趋势。为此，本发明将图像归一化为225*300，来降低图像分辨率。

3.深度图像像素记录的是距离信息，我们利用像素与其周围像素点之间的差即深度梯度差分特征作为我们的特征提取思想。首先利用背景减除法，将图像背景去除，只留下人体深度信息，随后进行特征提取。

在特征提取阶段，偏移量的选择至关重要，根据以往的深度特征提取办法的偏移量的选择能够利用距离信息，根据人体目标距离相机设备的距离变化进行缩放偏移量，而利用的部位的尺寸信息与各部位抽取的样本有关，并不能最大化的代表部位尺寸信息，为此我们提出自适应深度梯度差分特征方法，使能够综合利用到图像部位尺寸和距离信息因素。

第一步，均匀抽取归一化的深度图像的像素样本，每隔2个像素抽取一个像素样本，避免随机抽取像素样本出现的各类别样本比例不均的问题，保证特征提取的像素点遍布全身。

第二步，由于获取的深度图像像素值大小定义在0～255之间，背景值为0，人体信息在0～255之间，其中人体信息像素的最大值可用来判断图像与深度相机之间的距离远近。在本发明中，为增强所提特征的有效性，将深度图像像素值大小，按比例归一化到0～1000之间，其中背景设为1000，人体信息在0～1000之间。

第三步，计算深度人体像素x位置的特征为MGoD_θ＝(u，v)(x)，计算公式如下

MGoD_θ＝(u，v)(x)＝d_I(x+x_u)-d_I(x+x_v)

(1)

θ＝(u，v)为单位偏移向量对，x_u＝u*q和x_v＝v*q为偏移向量，q为偏移量，x+x_u和x+x_v为像素点x分别经向量x_u和x_v偏移后的像素点位置，d_I(x+x_u)和d_I(x+x_v)为像素点x分别经偏移向量x_u和x_v偏移后的像素点的深度值。每个像素含有8个偏移向量，因此可组合偏移向量共36对，实验中，取其中28对偏移向量进行深度梯度差分特征提取。图4为右上臂某像素点上的偏移向量示意图。

偏移量q能够综合利用了部位尺寸和距离信息，在本发明中，我们采用部位最小矩形方法，分别包含身体各个部位，计算其最小矩形斜边η₁(ζ₁)，以其作为偏移量q计算的部位尺寸信息，而距离信息则是利用了人体目标距离相机设备的距离信息。

部位偏移量q的计算公式如下

深度图像I包含m个身体部位，表示第ζ₁个身体部位对应的偏移量值，d_I(·)表示深度图像I的人体信息中某像素点的深度值，min(d_I(·))表示深度人体像素点的深度最小值，η₁(ζ₁)为第ζ₁个身体部位的最小矩形斜边。为了提高识别的准确性，我们将所有训练样本各部位的偏移量分别取平均，获得各个身体部位相对应的特征提取偏移量，以此将归一化后的图像各身体部位对应的特征提取出来。

4.本发明采用将复杂的姿态估计问题转为简单的单一像素分类的思想，利用随机森林方法训练分类模型，其中随机森林中包含30个决策树，每棵决策树分类过程互不影响，最后分类结果由所有决策树投票决定。但是使用随机森林方法对人体像素进行部位分类的方法中，由于分类器的准确度限制，使得识别的部位中存在许多误分点，为改善部位识别结果，我们结合了部位融合的思想，改善部位分类识别结果，其中训练图像和测试图像均归一化为225*300，具体流程如下。

训练阶段：使用合成深度图像共215张，首先采用部位融合思想，将深度图像中部位尺寸较大的划分为较小的部位，随后利用自适应深度梯度差分方法提取特征，其中偏移量为将所有训练样本的各个部位分别取均值，从而获得的各个身体部位相对应的特征提取偏移量，随后利用随机森林训练部位分类模型。在此阶段，随机森林由30棵决策树组成，训练样本包含28个特征属性，从中随机选取7个属性作为分类属性集训练部位分类模型。

测试阶段：将所提取的测试图像特征，利用训练阶段获得的随机森林部位分类模型识别各个身体部位，由于训练阶段得到的部位分类模型，是将尺寸较大的部位划分为尺寸较小的部位后通过训练获得的，所以在测试阶段，我们将随机森林分类识别后的对应部位再融合成大部位，从而获得融合后的随机森林初步部位分类结果。此阶段特征提取与训练阶段不同之处在于，特征偏移量的确定为所有训练样本部位偏移量的均值。

5.由于误分类点不只出现在相邻部位，而是离散或聚集于正确分类周围，如图5(a)，其中画黑色圈部分为误分类聚集点。我们在部位融合基础上，对部位误分点出现原因分析，提出了误分类处理机制—多级随机森林整合算法，在随机森林初步分类结果上进行处理，降低识别部位中的误分点。

多级随机森林整合算法是根据特征提取方法偏移量的选择在训练阶段和测试阶段之间的不同而提出。在训练阶段，特征提取的偏移量同时利用部位尺寸信息和距离变换信息，获得的各部位对应的偏移量值；而测试阶段，特征提取的偏移量为训练样本中所有身体部位偏移量的均值，所以此阶段提取的特征信息与训练阶段所提特征有所不同。

为此我们提出以所有训练样本偏移量均值为基础，以等差方法前后选择多个偏移量，分别进行深度梯度特征提取，随后利用随机森林分类模型获得部位分类结果。其中每个偏移量对应的特征提取及其部位分类，都是独立进行的。由于分类结果与偏移量的选择有关，特别是误分类点，但大部分的正确分类还是基本保持一致的，我们基于此，利用多次分类结果，将其两两整合，去除不同分类点，保留相同分类点。

在本发明中，我们进行了三次偏移量大小的选择，即能获得三种随机森林初步部位分类结果，随后在多级随机森林整合算法中，对初步分类结果进行两两整合，即进行了三次整合算法，从而获得更为准确的部位识别结果。

图5为使用误分类处理机制结果图，(a)为随机森林初步部位分类结果，可见识别的部位中包含许多误分点，在经过多级随机森林整合算法后可去除部分误分类点，可见(b)，但也可看出还是存在一些离散点，这些干扰点可通过下一步改进的PDA算法中的位置权重阈值处理办法解决。

6.利用上述误分类处理机制—多级随机森林整合算法处理随机森林分类结果后，能有效降低识别部位中存在的错误分类点，但也还会在处理后的部位周围残留一些离散点。如图5(b)中划圈部分，为此，本发明提出了改进的PDA算法，通过位置权重阈值处理法将其去除，并最终计算出各身体部位的主方向向量—部位主轴。

第一步，在经过误分类处理算法处理后，获得的身体各部位识别结果，我们以部位点云{P¹，P²，…，P^L}的形式表示，L为部位融合后的身体部位数，在部位结果中虽已经去除了大量误分类点，但仍有少许离群点存在。

首先利用逻辑函数和马氏距离计算每个像素点的位置权重。

逻辑函数计算公式如下

其中w(t_i)为第i个像素点的位置权重值，C是限定输出值(此时C＝1)，t_o＝1，α＝0.5，t_i为第i个像素点的马氏距离。在计算身体部位各像素点的位置权重w(t_i)时，像素点的权重值随像素点位置不同而变化。

马氏距离t_i计算公式如下

其中为部位点云的均值，为部位点云的协方差，y_i为第i个像素点的深度值，T代表向量的转置处理，n为部位点云中像素点的个数。

第二步，根据身体部位的尺度差异问题，我们利用身体部位3D点云的尺寸大小比例信息来设定位置权重保留阈值，并将低于阈值大小的位置权重去除。由于识别的身体部位还存在许多离散点，为保证阈值选择的有效性，我们将识别的身体部位像素点排列组合为最小正方形，取其斜边η₂(ζ₂)为此身体部位的尺寸值，以此计算阈值大小，计算公式为

在经过部位融合处理后，此时人体中共包含L个身体部位，表示第ζ₂部位的权重保留阈值大小，β为初始设定阈值大小，β＝0.45，η₂(·)表示某一身体部位的尺寸值，其中像素点离部位均值位置越远，位置权重阈值越小。经过此步的位置权重阈值处理法，基本可将离散于正确识别部位外的干扰点去除，可见图5(c)。

第三步，利用身体部位像素点权重w的协方差S^*和均值u^*计算主方向向量V_d，主方向向量代表每个身体部位的主轴走向，本发明将主方向向量V_d的求取，转化为对此身体部位3D点云特征向量的求取，其中均值u^*和协方差S^*的计算公式如下

其中t_i为第i个像素点的马氏距离，w(t_i ²)表示第i个像素点的位置权重值，y_i为第i个像素点的深度值，T代表向量的转置处理，n为部位点云中像素点的个数。

主方向向量V_d计算公式为

V_d为身体部位的主方向向量，argmax(·)代表在约束条件(·)最大化的E_k值，E_k是协方差矩阵S*的特征向量，k为矩阵S*的维度，其中S*为三维矩阵，T代表向量的转置处理。

7.后处理：为实现利用部位主方向向量获得3D人体姿态估计结果的目的，本发明首先对所有训练深度图像中的人体不同部位主轴长度分别求平均，来设定测试图像的人体不同部位主轴长度，随后利用上述获得的部位主方向向量，并基于人体部件的配置关系，即利用头部和躯干主轴相交、手臂的上臂和小臂相交的人体先验知识，最终估计出单一深度图像3D人体姿态。如图6和7是分别对合成数据和实际深度图像进行姿态估计效果图。为验证提出的误分类处理机制算法的有效性，我们随机选取了36张除训练图像之外的合成深度图像进行相关算法的姿态评估，以上肢肘部角度误差为评定标准，结果可见表1，从表中可以看出，对于随机森林初步分类结果获得的姿态估计结果来说，使用多级随机森林整合算法后获得的姿态估计，左右肘角度误差分别降低1.9244°和5.0670°，实验表明使用误分类点处理算法能够有效降低肘部角度误差，故而说明本发明算法的可行性。

表1使用误分类处理前后的人体肘部角度误差对比结果。

Claims (1)

1.基于单一深度图像的3D人体姿态估计方法，其特征在于，包括以下步骤：

(1)、合成图像

合成身体部位带标签的深度图像数据库，实验中将图像归一化为225*300；

(2)、特征提取

2.1)均匀抽取每幅图像的的像素样本；

2.2)将深度图像像素值大小按比例归一化到0～1000之间，其中背景设为1000，人体信息在0～1000之间；

2.3)计算深度人体像素x位置的特征MGoD_θ＝(u，v)(x)，

MGoD_θ＝(u，v)(x)＝d_I(x+x_u)-d_I(x+x_v)

θ＝(u，v)为单位偏移向量对，x_u＝u*q和x_v＝v*q为偏移向量，q为偏移量，x+x_u和x+x_v为像素点x分别经向量x_u和x_v偏移后的像素点位置，d_I(x+x_u)和d_I(x+x_v)为像素点x分别经偏移向量x_u和x_v偏移后的像素点的深度值；其中偏移量q，本发明综合考虑了部位尺寸和距离信息因素，通过部位最小矩形方法，分别包含身体各个部位，计算其最小矩形斜边η₁(ζ₁)，作为偏移量q计算的部位尺寸信息，其中q计算公式如下

深度图像I包含m个身体部位，表示第ζ₁个身体部位对应的偏移量值，d_I(·)表示深度图像I的人体信息中某像素点的深度值，min(d_I(·))表示深度人体像素点的深度最小值，η₁(ζ₁)为第ζ₁个身体部位的最小矩形斜边；

(3)、分类识别

在部位融合基础上，将上述提取到的特征输入到随机森林中训练分类器进行分类识别；

训练阶段：训练部位分类模型，其中部位特征提取的偏移量采用所有训练样本各部位的均值；

测试阶段：利用部位分类模型分类识别身体部位，其中部位特征提取的偏移量采用所有训练样本偏移量的均值；

其中训练图像和测试图像均归一化为225*300；

(4)、误分类处理机制

上述分类识别时，偏移量的选择在训练阶段和测试阶段之间有所不同，使得在随机森林训练阶段和测试阶段提取的特征的表达信息出现偏差，并且使用随机森林分类模型获得的分类结果与特征提取时偏移量的选择有关，特别是误分类点，因而本发明提出误分类处理机制—多级随机森林整合算法，来降低识别部位中的误分点，具体如下；

第一步，以所有训练样本偏移量均值为基础，以等差方法前后选择多个偏移量，分别进行特征提取，随后利用随机森林分类模型分别获得多个部位分类结果；

其中每个偏移量对应部位分类识别是独立进行的；

第二步，将第一步获得的多种随机森林初步分类结果，对应相同部位的相同分类结果进行两两整合，去除不同分类点，保留相同分类点；

(5)、改进的PDA算法

利用上述误分类处理机制—多级随机森林整合算法处理随机森林分类结果后，能有效降低识别部位中存在的错误分类点，但也还会在处理后的部位周围残留一些离散点；为此，本发明提出了改进的PDA算法，通过位置权重阈值处理法将这些离散点去除，并最终计算出各身体部位的主方向向量—部位主轴；具体如下：

5.1)将(4)处理的部位点云，利用逻辑函数和马氏距离计算每个像素点的位置权重；

逻辑函数计算公式如下

其中w(t_i)为第i个像素点的位置权重值，C是限定输出值(此时C＝1)，t_o＝1，α＝0.5，t_i为第i个像素点的马氏距离；在计算身体部位各像素点的位置权重w(t_i)时，像素点的权重值随像素点位置不同而变化；

马氏距离计算公式如下

其中为部位点云的均值，为部位点云的协方差，y_i为第i个像素点的深度值，T代表向量的转置处理，n为部位点云中像素点的个数；

5.2)使用位置权重阈值处理办法，去除干扰点；

设定位置权重阈值将识别的身体部位像素点排列组合为最小正方形，取其斜边η₂(ζ₁)为为此身体部位的尺寸值，以此计算阈值大小；

在经过部位融合处理后，此时人体中共包含l个身体部位，表示第ζ₂部位的权重保留阈值大小，β为初始设定阈值大小，β＝0.45；

5.3)计算部位主方向向量

通过上步处理后的部位权重w的协方差S^*和均值u^*计算主方向向量V_d，主方向向量代表每个身体部位的主轴走向；

其中均值u^*和协方差S^*的计算公式如下

其中t_i为第i个像素点的马氏距离，w(t_i ²)表示第i个像素点的位置权重值，y_i为第i个像素点的深度值，T代表向量转置处理，n为部位点云中像素点的个数；

主方向向量V_d计算公式为

V_d为身体部位的主方向向量，argmax(·)代表求取在约束条件(·)最大化时的E_k值，E_k是协方差矩阵S*的特征向量，k为矩阵S*的维度，其中S*为三维矩阵，T代表向量的转置处理；

(6)、后处理

首先对所有训练深度图像中的人体不同部位主轴长度分别求平均，来设定测试图像的人体不同部位主轴长度，随后利用上述获得的部位主方向向量，并基于人体部件的配置关系，即利用头部和躯干主轴相交、手臂的上臂和小臂相交的人体先验知识，最终估计出单一深度图像3D人体姿态。