CN110188700B - 基于分组回归模型的人体三维关节点预测方法 - Google Patents

Abstract

本发明公开一种基于分组回归模型的人体三维关节点预测方法，包括以下步骤：采集人体2d关节点检测数据；将2d关节点坐标输入到相同结构的回归网络中并得到不同组的3d关节位置并将所得的关键三维位置合并为整体关节向量；通过BiLSTM构建关节点自约束网络和关节组自约束网络，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；通过损失函数计算3d预测关节与3d关节之间的欧氏距离。本发明结合人体四肢关节运动独立性的特点采用分组回归的结构，将四肢和躯干划分入不同关节组中，分别预测各组内关节点的3d位置，同时为使预测结果更贴近真实人体姿态，利用BiLSTM设计人体关节自约束网络用于调整预测结果，提升准确度。

Description

基于分组回归模型的人体三维关节点预测方法

技术领域

本发明属于人体姿态估计技术，具体涉及一种基于分组回归模型的人体三维关节点预测方法。

背景技术

3d人体姿态估计是计算机视觉领域的一个具有挑战性的课题，可应用于虚拟现实、动作识别和人机交互等领域。其难点在于：所采集的图像为二维信号，难以提取人体的深度信息。早期的方法利用轮廓、形状、SIFT、HOG等多种不变特征重建人体姿态，虽容易实现但具有算法复杂度高、效率较低等缺陷。近年来，深度学习的理论被应用到3d人体姿态估计中，取得了较好的成果。其中主要包括两种方法:

1.学习端到端的网络，其原理是：直接将2d图像作为输入，预测3d关节位置。如Li等人提出一种多任务的卷积网络结构，通过共享卷积层，并将卷积结果用于关节点的预测和检测任务，该方法受限于较为基础和简易的网络结构，预测结果与真实数据存在一定的误差；Pavlakos等人将2d关节检测的方法扩展到3d姿态预测中，以三维体素来表示3d关节位置，网络的输出结果为3维的关节高斯热图，但该方法需要存储和计算大量的参数，对机器的要求较高，训练时间较长。

并且，端到端的网络能够获取图片中的丰富信息，但3d真实数据的获取难度较大，现有的数据集都基于实验室环境内收集的，训练出的模型不适应于室外活动场景；合成的图片达不到真实图片的效果，基于合成图片训练出来的模型在真实图片中的预测性能较差。

2.基于2d关节点定位的3d姿态估计。首先从输入的图像中提取二维的人体姿态，然后将二维姿态提升到三维空间。如Moreno-Noguer将三维人体姿态估计问题转化为两个欧氏距离矩阵之间的回归问题，分别对2d和3d人体关节的两两距离进行编码，利用网络学习2d距离矩阵到3d距离矩阵的回归过程。Zhou等人设计能分步训练的统一模型，该模型能够在训练好的2d关节探测模型的基础上再次训练用于预测3d关节位置。Martinez等人通过结合现有的网络优化技术设计良好的回归网络，仅仅将二维姿态作为输入就可以得到精确的三维姿态。Fang等人利用双向循环网络结构设计了语法网络，学习人体关节之间的约束，调节回归网络的预测结果，但由于该方法中回归网络获得的3d关节精确度不高，导致该语法网络对预测结果的调节能力有限。

此类方案注重探究从2d到3d的映射关系，却忽略了人体自身关节的运动特性。由于人体的四肢运动具有独立性，例如，左手在作出一个固定的姿势时，右手仍然可以任意的摆动，不会受到左手的干扰。同时人体的四肢运动具有一定的协调性，例如在行走的过程中，人类习惯迈出左腿的同时将右手向前摆动。此外，人体关节运动还存在自身约束，如四肢的长度，手肘和膝盖部位关节的旋转角度等。

综上，现有的技术方案既不能符合实际人体四肢运动特性，其所得过程需要计算和存储大量数据，花销和时间成本均很大，同时最终效果不真实可靠。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供基于分组回归模型的人体三维关节点预测方法，本发明结合人体四肢关节运动独立性的特点采用分组回归的结构，将四肢和躯干划分入不同关节组中，分别预测各组内关节点的3d位置，同时为使预测结果更贴近真实人体姿态，利用BiLSTM设计人体关节自约束网络用于调整预测结果，提升准确度。

技术方案：本发明的一种基于分组回归模型的人体三维关节点预测方法，包括以下步骤：

(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据；

(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；

(3)关节约束网络，通过BiLSTM构建关节点自约束网络和关节组自约束网络，关节点自约束网络以单关节点作为输入，关节组自约束网络以单组关节作为输入，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；

(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。

上述步骤(3)中，两个自约束网络均是利用BiLSTM搭建的双向循环网络，这两个网络的输入和输出都是3d人体关节点，目的是为了利用循环网络学习人体关节的固有约束，从而自发的调整3d关节位置，但是两个自约束循环网路中单步输入的数据规模不一样。

进一步的，所述步骤(1)的具体内容为：通过stacked hourglass网络结构获取2d关节点检测数据，然后通过Human3.6M数据集进行微调。

Stacked hourglass网络结构的网络图为由粗到细再到粗的堆叠沙漏的结构，能够非常有效的提取图片中的特征，其输出是2d关节高斯热图，根据热图的峰值来确定2的关节位置。所述微调是调整stacked hourglass网路结构的中的相关参数，如权重和偏置等，本发明用过微调使得在human3.6中预测的2d关节更精准。

进一步的，所述步骤(2)的具体内容为：

(2.1)将相关性强的关节点分在同组，并对各组采用回归网络独立训练，即根据数据集提供的关节点的顺序，将关节点共分为5组，并且按照树状结构从父节点到子节点的顺序进行排列：

group_1(r.leg):1→2→3 (1)

group_2(l.reg):4→5→6 (2)

group_3(torso):7→8→9→10 (3)

group_4(l.arm):11→12→13 (4)

group_5(r.arm):14→15→16 (5)

(2.2)然后重复地将整体的2d关节输入到5个相同结构的回归网络中，分别得到不同组的3d关节位置；

(2.3)将五组关节点的三维位置合并成整体的关节向量，作为分组回归网络预测的结果Y_reg。分组回归的函数表达形式如下：

(g₁,g₂,g₃,g₄,g₅)＝R(y_2d) (6)

Y_reg＝M₁(g₁,g₂,g₃,g₄,g₅) (7)

y_2d表示为2d关节点的输入，g₁,g₂,g₃,g₄,g₅分别表示为不同组的3d关节点输出，R表示回归网络，M₁表示将各组关节点合并的过程。

进一步的，所述步骤(3)的具体内容为：

由于步骤(3)分组回归得到的五组关节数据维度不一致，在将其作为关节组自约束网络的输入之前对将group1、group2、group4、group5分别再次追加一个父节点；随后将五组关节数据融合成5×12的向量Y_group；

同时，两个BiLSTM的内部隐藏单元的个数均为128，并且两个BiLSTM的输出都通过一个输出层降低至48维得到3d关节位置，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节Y_res；

其公式如下所示：

Y_group＝M₂(g₁,g₂,g₃,g₄,g₅) (8)

Y_res＝w₁(f₁(Y_reg))+w₂(f₂(Y_group)) (9)

M₂表示分组数据的按分组进行合并的过程，f₁和f₂分别表示关节点自约束网络和关节组自约束网络，w₁和w₂则分别表示两个BiLSTM的输出层的权重。

进一步的，所述两个自约束网络输出的3d关节点进行累加的方法为：

进一步的，所述步骤(4)中通过损失函数计算欧氏距离的公式为：

Y_res和Y_group∈R^16×3分别表示关节点自约束网络和关节组自约束网络的输出结果；N表示为单批次训练数据的数量，设定为64，学习率初始设定为1e-3并随着训练进程而逐步减小。

为避免由于循环次数过多而出现过拟合现象和高误差率现象，将循环次数设定为160，取得更为精确的结果。

有益效果：本发明结合人体运动的相关特性，提出分组回归的理念，将待预测的3d关节进行分组，利用二维关节分别回归不同组的三维关节点位置，随后将预测结果进行融合得到全身关节，独立回归不同组的关节能够避免预测关节的内部混乱，提高鲁棒性，并且充足利用输入的2d关节数据，能够加深输入数据对于整体的三维关节点预测的影响力，有效缓解输入数据单一、特征较少的缺陷。此外，结合分组回归而设计的自约束网络能够学习人体关节的固有联系，调整关节位置，提升模型的性能。

附图说明

图1为本发明中2d姿态回归得到不同组的3d关节位置的示意图；

图2为本发明的整体流程示意图；

图3为实施例中Human3.6M数据集下的预测效果示意图；

图4为实施例中室外场景人物图像的三维姿态估计效果图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1和图2所示，本发明的一种基于分组回归模型的人体三维关节点预测方法，包括以下步骤：

(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据：通过stackedhourglass网络结构获取2d关节点检测数据，然后通过Human3.6M数据集进行微调；

(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；

(2.1)将相关性强的关节点分在同组，并对各组采用回归网络独立训练，即根据数据集提供的关节点的顺序，将关节点共分为5组，并且按照树状结构从父节点到子节点的顺序进行排列：

group_1(r.leg):1→2→3 (1)

group_2(l.reg):4→5→6 (2)

group_3(torso):7→8→9→10 (3)

group_4(l.arm):11→12→13 (4)

group_5(r.arm):14→15→16 (5)

(2.2)然后重复地将整体的2d关节输入到5个相同结构的回归网络中，分别得到不同组的3d关节位置；

(2.3)将五组关节点的三维位置合并成整体的关节向量，作为分组回归网络预测的结果Y_reg，分组回归的函数表达形式如下：

(g₁,g₂,g₃,g₄,g₅)＝R(y_2d) (6)

Y_reg＝M₁(g₁,g₂,g₃,g₄,g₅) (7)

y_2d表示为2d关节点的输入，g1,g2,g3,g4,g5分别表示为不同组的3d关节点输出，R表示回归网络，M₁表示将各组关节点合并的过程；

(3)关节约束网络，具体方法为：由于步骤(3)分组回归得到的五组关节数据维度不一致，在将其作为关节组自约束网络的输入之前对将group1、group2、group4、group5分别再次追加一个父节点；随后将五组关节数据融合成5×12的向量Y_group；同时，两个BiLSTM的内部隐藏单元的个数均为128，并且两个BiLSTM的输出都通过一个输出层降低至48维得到3d关节位置，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节Y_res；

其公式如下所示：

Y_group＝M₂(g₁,g₂,g₃,g₄,g₅) (8)

Y_res＝w₁(f₁(Y_reg))+w₂(f₂(Y_group)) (9)

M₂表示分组数据的按分组进行合并的过程，f₁和f₂分别表示关节点自约束网络和关节组自约束网络，w₁和w₂则分别表示两个BiLSTM的输出层的权重。

其中，两个自约束网络输出的3d关节点进行累加的方法为：

(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。

损失函数公式为：

Y_res和Y_group∈R^16×3分别表示关节点自约束网络和关节组自约束网络的输出结果；N表示为单批次训练数据的数量，设定为64，学习率初始设定为1e-3并随着训练进程而逐步减小。

上述发明采用分组回归结构进行预测3d关节位置，将关节分组，然后分别回归不同组的关节，最终将其融合成全身关节，同时提出自约束网络，利用分组回归网络的数据作为输入，自约束网络能够分别学习关节点之间的相互联系以及关节组之间的相互联系，还提出新的从2d到3d的网络结构。

实施例1：

本实施例首先利用2d关节探测器获得人体主要关节在图片中的位置，然后利用关节的二维的位置信息获得人体的三维姿态。具体流程如图1所示。本实施例中采用更精良的2d到3d的回归模型，该模型基于TensorFlow实现，在GTX1080的显卡内进行forward+backward pass(即一次前向+反向传播)需要45ms，而对模型的评估基于两个大型的人体姿态数据，分别是Human3.6M和MPII。

Human3.6M是目前人类三维姿态估计最大的公开数据集，该数据集由360万张图片组成，由专业演员表演15种日常活动，如散步、吃饭、坐着、打电话和参与讨论等，可提供2d和3d的人体关节真实数据。

MPII为基于成千上万个youtube视频短片而收集的2d人体姿态的标准数据集，包含大量的人物图像以及手工标记的人物关节点位置信息。

1.1标准协议实验

本实施例基于human3.6m数据集训练网络，预测结果如图3所示，其中左边是二维节理图，右边是预测结果。可以看出，基于二维关节信息，该模型能够准确定位三维空间中人体关节点的具体位置。为了评估模型的性能，本实施例在数据集中按照标准协议#1(协议#1:使用受试者1,5,6,7,8进行培训，受试者9,11进行评估)对模型进行了测试。在根节点对齐的情况下，计算预测的三维节点与三维节点地面真值之间的平均欧式距离，单位为mm)。表1的最后一行显示了本实施例的结果。

表1的倒数第二行是仅采用分组回归所生成的结果，相较于最终的结果存在一定的差距，表明自约束网络具有良好的调节预测结果的功能。此外，还可以看出单点回归(将单个关节视为一组，利用回归网络分别生成16个单一的3d关节点)孤立了关节点，断开了关节点之间的联系，不符合人体运动的特性，其实验结果如表1倒数第三行所示。

通过标准协议实验的实验结果可知，本发明能够在大多数动作科目中显著降低了关节点对之间的距离误差，这也验证本发明中分组回归理论的正确性。

表1

1.2噪声实验

如表2所示，本实施探究噪声点对于模型的影响。表2前两列是对正常网络模型进行评估。通过对验证集的2d数据添加相应程度的高斯噪声，计算预测出来的3d关节与真实数据的误差；可以看到，相较于原Martinez等人的网络，本发明的网络在噪声较大的情况下，获得的误差也较大。同时，自约束网络通过真实数据学习到合理的约束，当给予噪声较大的验证集数据作为输入时，则会破坏这种约束，使得误差增大，而现有技术中的网络由于其结构简单而受到的影响较小。

为进一步证明本发明网络具有更好的学习能力，在表2的后两列中，同时对2d真实的训练数据和验证数据加入不同程度的噪声，并重新训练网络。可以观察到在噪声较小的情况下，本发明的网络结构具有更小的误差，而在噪声较大的情况下，则与原网络的结果相差不大。由于分组回归基于四肢运动独立性的特点能够更深层次的解读2d关节与3d关节之间的联系，而现有技术中的网络存在较大的误差则破坏这种联系，使得分组回归不具有优势。

简言之，本发明利用2d数据作为回归网络的输入数据，分组回归具有良好的表现效果。

表2

表2中基线表示为现有技术模型，GT代表ground-truth(数据集中包含的真实的输入和输出数据)，TM代表含有噪声数据的再训练模型。

1.3室外场景实验

图4是基于MPII数据中室外场景人物图片的3d人体姿态估计的效果图，从图3可以看出，本发明对2d关节进行了充分利用，通过自约束网络使得模型对于室外环境中复杂多变的人体姿态同样具有精确的结果，最终能够精确地预测出人体的姿态结构，

综上所述，通过上述实施例可证明，本发明利用BiLSTM设计了关节自约束网络，并结合分组回归的结果而调整了输入方式，使得自约束网络结构能够更好地学习人体关节之间的联系。并且在拥有3d真实数据的Human3.6M数据集上进行了定量的评估,包括对应点的关节误差，以及探究噪声点对于该模型的影响，同时对MPII数据集，进行定性的展示效果，本发明显著地降低姿态估计误差。

Claims (6)

1.一种基于分组回归模型的人体三维关节点预测方法，其特征在于：包括以下步骤：

(1)数据处理，即通过2d关节探测器采集人体的2d关节点检测数据；

(2)分组回归网络，即以2d关节点的坐标作为输入，输入到相同结构的回归网络中并得到不同组的3d关节位置，然后将所得的关键三维位置合并为整体关节向量；

(3)关节约束网络，通过BiLSTM构建关节点自约束网络和关节组自约束网络，关节点自约束网络以单关节点作为输入，关节组自约束网络以单组关节作为输入，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节；

(4)网络训练，即通过损失函数计算步骤(3)所得3d预测关节与3d关节之间的欧氏距离，网络训练时，通过梯度下降的方式最小化该损失函数直到收敛。

2.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(1)的具体内容为：通过stacked hourglass网络结构获取2d关节点检测数据，然后通过Human3.6M数据集进行微调。

3.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(2)的具体内容为：

(2.1)将相关性强的关节点分在同组，并对各组采用回归网络独立训练，即根据数据集提供的关节点的顺序，将关节点共分为5组，并且按照树状结构从父节点到子节点的顺序进行排列：

group_1(r.leg):1→2→3 (1)

group_2(l.reg):4→5→6 (2)

group_3(torso):7→8→9→10 (3)

group_4(l.arm):11→12→13 (4)

group_5(r.arm):14→15→16 (5)

(2.2)然后重复地将整体的2d关节输入到5个相同结构的回归网络中，分别得到不同组的3d关节位置；

(2.3)将五组关节点的三维位置合并成整体的关节向量，作为分组回归网络预测的结果Y_reg，分组回归的函数表达形式如下：

(g₁,g₂,g₃,g₄,g₅)＝R(y_2d) (6)

Y_reg＝M₁(g₁,g₂,g₃,g₄,g₅) (7)

y_2d表示为2d关节点的输入，g₁,g₂,g₃,g₄,g₅分别表示为不同组的3d关节点输出，R表示回归网络，M₁表示将各组关节点合并的过程。

4.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(3)的具体内容为：

由于步骤(3)分组回归得到的五组关节数据维度不一致，在将其作为关节组自约束网络的输入之前对将group1、group2、group4、group5分别再次追加一个父节点；随后将五组关节数据融合成5×12的向量Y_group；

同时，两个BiLSTM的内部隐藏单元的个数均为128，并且两个BiLSTM的输出都通过一个输出层降低至48维得到3d关节位置，然后将两个自约束网络输出的3d关节点进行累加得到微调后的3d预测关节Y_res；

其公式如下所示：

Y_group＝M₂(g₁,g₂,g₃,g₄,g₅) (8)

Y_res＝w₁(f₁(Y_reg))+w₂(f₂(Y_group)) (9)

M₂表示分组数据的按分组进行合并的过程，f₁和f₂分别表示关节点自约束网络和关节组自约束网络，w₁和w₂则分别表示两个BiLSTM的输出层的权重。

5.根据权利要求4所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述两个自约束网络输出的3d关节点进行累加的方法为：

。

6.根据权利要求1所述的基于分组回归模型的人体三维关节点预测方法，其特征在于：所述步骤(4)中通过损失函数计算欧氏距离的公式为：

Y_res和Y_group∈R^16×3分别示关节点自约束网络和关节组自约束网络的输出结果；N表示为单批次训练数据的数量。

Images