CN114581953B - 一种基于关节点难例挖掘的人体姿态估计方法 - Google Patents

Abstract

本发明提供一种基于关节点难例挖掘的人体姿态估计方法，属于人体姿态估计领域。所述方法包括：获取人体姿态估计的公用数据集；对CMU‑Pose网络进行改进，将CMU‑Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU‑Pose网络；将待测图像输入训练好的改进后的CMU‑Pose网络得到人体姿态估计结果。采用本发明，能够提升对较难预测以及较灵活的关节点预测的准确度。

Description

一种基于关节点难例挖掘的人体姿态估计方法

技术领域

本发明涉及人体姿态估计领域，特别是指一种基于关节点难例挖掘的人体姿态估计方法。

背景技术

二维人体姿态估计方法大致分为两类：自上而下的多人二维人体姿态估计，自下而上的多人二维人体姿态估计。自上而下的方法指首先利用目标检测算法将图像中每个人检测出来。然后对每个检测框进行单人二维人体姿态估计。最终得到多人二维人体姿态估计结果。自上而下的方法精度较高，但是其效果很依赖于检测器的性能，而且其运行时间与图片中人的个数成正比。而自下而上的人体姿态的方法虽然精度相比于自上而下的方法较低，但是其网络运行时间随着图片中人数的增多基本保持不变。但是，该方法存在网络结构以及对较灵活关节点提取精度较差的问题。

发明内容

本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，能够提升对较难预测以及较灵活的关节点预测的准确度。所述技术方案如下：

本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，包括：

获取人体姿态估计的公用数据集；

对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于PAF的多人二维人体姿态估计网络；

利用公用数据集中的图像训练改进后的CMU-Pose网络；

将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。

进一步地，所述公用数据集为COCO数据集。

进一步地，改进后的CMU-Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2，3，4，5，6}；

所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；

所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；

每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。

进一步地，在ResNet网络中，输入图像在经过一系列卷积操作后得到输出U，对于输出U，引入通道上的注意力机制，其提取过程为：

其中，z_c为位于c通道上的特征，F_sq()表示提取过程，u_c为特征图U通道c的输入，H、W分别为输入的高与宽，u_c(i，j)为位于c通道上(i，j)处的像素值；

对于提取过程的输出z，激活过程为：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，s为激活过程F_ex()的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，δ为Relu函数，W₁和W₂都表示全连接层；

经激活过程后，得到：

其中，

为特征图U经通道注意力机制后得到的特征图，s_c为通过激活过程后通道c的权重，u_c为特征图U通道c的输入，F_scale()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。

进一步地，所述CMU-Pose网络引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失

进一步地，所述引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失

包括：

定义关节点j在Stage t对关节点热力图S产生的损失函数

为：

其中，

表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，

为对应位置的真值，Stage t表示优化层t；

定义各个关节点在Stage t对关节点热力图S产生的损失J为：

其中，

按照从大到小的顺序排列，并记录对应关节点的ID到J中；

定义Stage t产生的关节点损失

其大小为产生损失最大的前8个关节点损失之和：

本发明实施例提供的技术方案带来的有益效果至少包括：

本发明实施例中，获取人体姿态估计的公用数据集；对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU-Pose网络；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。这样，可以充分利用注意力机制与关节点难例挖掘算法的特点，并通过骨干网络替换，削弱底层特征提取不充分的影响，有效提高CMU-Pose网络的精确度，并且提升对较难预测以及较灵活的关节点预测的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于关节点难例挖掘的人体姿态估计方法的流程示意图；

图2为本发明实施例提供的CMU-Pose网络的结构示意图；

图3为本发明实施例提供的注意力机制工作原理示意图；

图4为本发明实施例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图；

图5为本发明实施----例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图；

图6为本发明实施例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，包括：

S101，获取人体姿态估计的公用数据集；

本实施例中，所述公用数据集为COCO数据集。

S102，对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于关节点及部分亲和区域(PAFs，Part Affinity Fields)的多人二维人体姿态估计网络；

本实施例中，考虑到多人二维人体姿态估计由于图像中存在多个人，因此算法需要确定关节点的归属关系，从而确定图像中每个人的姿态。考虑到使用自上而下的方法精度较高，但是其效果很依赖于检测器的性能，而且其运行时间与图片中人的个数成正比，而自下而上的人体姿态的方法虽然精度相比于自上而下的方法较低，但是其网络运行时间随着图片中人数的增多基本保持不变。因此考虑到实际应用场景与网络的效果，故本实施例中，采用自下而上的基于PAF的多人二维人体姿态估计方法。但是，该方法存在网络结构以及对较灵活关节点提取精度较差的问题，为此，需要对原网络进行改进。

如图2所示，传统的CMU-Pose网络包括：骨干网络(F)、基础层(stage 1)和优化层(stage t)，t＝{2,3,4,5,6}；其中，

骨干网络是采用VGG19的前十层卷积层构成，用于获取关节点热力图与PAF图的底层特征。因此骨干网络的结构直接影响到CMU-Pose网络的人体姿态估计结果，考虑到VGG19网络对特征提取的有限性，所以本申请中将骨干网络由VGG19网络替换为引入注意力机制的ResNet网络；其中，ResNet网络使用跳跃结构使得网络深度变深，提高所提取的底层特征的有效性。

基础层由五个卷积层构成，输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；

每个由七层卷积层构成，输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。

本实施例中，在CMU-Pose网络中，由引入注意力机制的ResNet网络产生底层特征，并经过基础层(stage 1)与五个优化层(stage t)产生人体关节点热力图与PAF图。

本实施例中，如图3所示，在ResNet网络中，输入图像在经过一系列卷积操作后得到输出，即特征图U，对于特征图U，引入通道上的注意力机制，其提取(Squeeze)过程为：

其中，H、W分别为输入的高与宽，zc为位于c通道上的特征，F_sq()表示提取过程，u_c为特征图U通道c的输入，u_c(i，j)为位于c通道上(i，j)处的像素值；

对于提取过程的输出z，激活(Excitation)过程为：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，s为激活过程F_ex()的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，其目的是将各通道的重要性用0-1的权重表示，δ为Relu函数，其保证了网络的非线性，为了降低网络计算复杂度，将单个全连接层用两个计算复杂度较低的全连接层W₁和W₂代替，全连接层W₁的权重为

全连接层W₂的权重为

其中R大小为8；

经激活过程后，得到：

其中，

为特征图U经通道注意力机制后得到的特征图，s_c为通过激活过程后通道c的权重，u_c为特征图U通道c的输入，F_scale()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。对应通道权重乘对应通道输入即可在通道层面引入注意力机制。

本实施例中，对于人体姿态估计，骨干网络对特征提取的能力直接决定CMU-Pose网络的性能，因此，在骨干网络中增加注意力机制，注意力机制通过在通道层面增大对结果有利的通道权重，并减少对结果不利的通道权重，实现对有用特征的提升并抑制用处不大的特征。

本实施例中，所述CMU-Pose网络还引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活的关节点的提取效果，具体的操作为：

本实施例中，针对CMU-Pose网络对手腕脚踝等比较灵活及较难估计的关节点的提取效果较差问题，保持基础层(stage1)与前三个优化层(stage t)t＝{2，3，4}的损失函数计算方式不变，引入关节点难例挖掘算法更改最后两个优化层(staget)t＝{5，6}对与关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失

使得CMU-Pose网络可以针对较难预测的关节点位置进行优化，从而提高CMU-Pose网路对手腕脚踝等较灵活以及较难估计的关节点的提取效果。

本实施例中，利用关节点难例挖掘算法计算损失

具体可以包括以下步骤：

定义关节点j在Stage t对关节点热力图S产生的损失函数

为：

其中，

表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，

为对应位置的真值，Stage t表示优化层t；

定义各个关节点在Stage t对关节点热力图S产生的损失J为：

其中，

按照从大到小的顺序排列得到损失J，并记录对应关节点的ID；

定义Stage t产生的关节点损失

其大小为产生损失最大的前8个关节点损失之和：

本实施例中，通过上述步骤即可实现基于关节点难例挖掘的优化方法，使得CMU-Pose网路对手腕脚踝等较灵活以及较难估计的关节点具有较好的提取效果。

S103，利用公用数据集中的图像训练改进后的CMU-Pose网络；

S104，将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。

本发明实施例所述的基于关节点难例挖掘的人体姿态估计方法，获取人体姿态估计的公用数据集；对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU-Pose网络；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。这样，可以充分利用注意力机制与关节点难例挖掘算法的特点，并通过骨干网络替换，削弱底层特征提取不充分的影响，有效提高CMU-Pose网络的精确度，并且提升对较难预测以及较灵活的关节点预测的准确度。

为了验证本实施例提供的基于关节点难例挖掘的人体姿态估计方法的有效性，本实施例采用关节点相似性(OKS)指标。

在实施过程中，首先获取人体姿态估计的公用数据集；将公用数据集中的待测图像输入到改进后的CMU-Pose网络进行训练，因为骨干网络对特征提取的能力决定着网络的好坏，所以使用特征提取能力强的ResNet网络作为骨干网络；在所述骨干网络引入注意力机制，其目的是在通道层面增大对结果有利的通道权重，并减少对结果不利的通道权重，实现对有用特征提升并抑制用处不大的特征；引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活的关节点的提取效果；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。

为了验证本发明所述方法的性能，本实施例中，定义引入注意力机制的骨干网络为SE-ResNet-CMU-Pose方法，定义再引入基于关节点难例挖掘的优化方法为SE-ResNet-OKHM-CMU-Pose方法。将待测图像分别输入到CMU-Pose网络，SE-ResNet-CMU-Pose网络以及SE-ResNet-OKHM-CMU-Pose网络中，并保证训练时使用的超参数与训练方法与CMU-Pose网络训练一致，结果如表1所示。

表1人体姿态估计网络性能比较

Method	AP	AP<sup>50</sup>	AP<sup>75</sup>	AP<sup>M</sup>	AP<sup>L</sup>
						CMU-Pose	58.4	81.5	62.6	54.4	65.1
SE-ResNet-CMU-Pose	58.6	80.7	63.0	57.9	60.6
						SE-ResNet-OKHM-CMU-Pose	60.0	81.7	65.2	59.3	62.4

如表1所示，为网络引入注意力机制(SE-ResNet-CMU-Pose)后，网络的整体性能(AP值)有所增加(提高了0.2％)。AP⁵⁰略有下降而AP₇₅有所增加，说明网络对于关节点出现漏检情况但是对于检测关节点位置的准确性有提高。AP^M精度有提高而AP^L精度下降说明网络对于图像中出现的中等大小人体提取效果较好而对于图中较大范围的人体效果有待加强。总体来说，为网络引入注意力机制后，网络对于关节点预测的精度提高了，但是对于较难预测关节点效果较差。在此基础上为网络引入基于关节点难例挖掘的优化方法后网络有效的改善了这个缺点，在整体性能上网路的AP值提高的1.6％，而且AP⁵⁰与AP⁷⁵均有所增加说明了网络在提取精度与对较关节点预测的性能均有所提高。并且改善了对较大人体关节点预测的性能。

图4、5、6中的(a)、(b)分别为CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对3张待测图像的对人体姿态估计图，其中，图4、5、6中(a)为CMU-Pose网络对人体姿态的估计图，图4、5、6中(b)为SE-ResNet-OKHM-CMU-Pose网络对人体姿态的估计图，较(a)图像，(b)图像提高了对较难估计与较灵活的关节点的预测。例如，第一行图片中从左到右第二个人右脚踝关节点，第二行图片中从左到右的第三个人的右手腕关节点，第三行图片中从左到右第一个人左脚踝关节点，验证了本实施例所述方法的有效性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于关节点难例挖掘的人体姿态估计方法，其特征在于，包括：

获取人体姿态估计的公用数据集；

对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于PAF的多人二维人体姿态估计网络；

利用公用数据集中的图像训练改进后的CMU-Pose网络；

将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果；

其中，所述CMU-Pose网络引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失

其中，所述引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失

包括：

定义关节点j在Stage t对关节点热力图S产生的损失函数

为：

其中，

表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，

为对应位置的真值，Stage t表示优化层t；

定义各个关节点在Stage t对关节点热力图S产生的损失J为：

其中，

按照从大到小的顺序排列得到损失J，并记录对应关节点的ID；

定义Stage t产生的关节点损失

其大小为产生损失最大的前8个关节点损失之和：

2.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，所述公用数据集为COCO数据集。

3.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，改进后的CMU-Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2，3，4，5，6}；

所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；

所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；

每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。

4.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，在ResNet网络中，输入图像在经过一系列卷积操作后得到特征图U，对于特征图U，引入通道上的注意力机制，其提取过程为：

其中，z_c为位于c通道上的特征，F_sq()表示提取过程，u_c为特征图U通道c的输入，H、W分别为输入的高与宽，u_c(i，j)为位于c通道上(i，j)处的像素值；

对于提取过程的输出z，激活过程为：

s＝F_ex(z，W)＝σ(g(z，W))＝σ(W₂δ(W₁z))

其中，s为激活过程F_ex( )的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，δ为Relu函数，W₁和W₂都表示全连接层；

经激活过程后，得到：

其中，

为特征图U经通道注意力机制后得到的特征图，sc为通过激活过程后通道c的权重，u_c为特征图U通道c的输入，Fscale( )是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。

Images