CN109345504A - 一种使用边界框约束的自底向上的多人姿态估计方法 - Google Patents

Abstract

本发明提出了一种使用边界框约束的自底向上的多人姿态估计方法，主要过程如下：首先重新改进了现有的多人姿态估计神经网络，使之准确度更高。其次设计了一种使用边界框的贪心算法，用于姿态解析。另外，还设计了一种非极大抑制重复姿态检测及去除算法，用于去除重复的结果。最后，使用了一种简单的基于贪心的缺失关节点补全算法，使得得到的结果更加精确。

Description

一种使用边界框约束的自底向上的多人姿态估计方法

技术领域

本发明提出了一种改进后的神经网络，可以得到更加精确的结果，其次针对多人姿态估计中现有方法由于遮挡、复杂姿态等因素而存在的问题，提出了一种使用边界框的后处理算法，保证结果的正确性。

背景技术

多人人体姿态估计是计算机视觉领域的一项非常有挑战的工作。多人姿势估计旨在找出图像中所有人的骨骼关键点。由于身体姿态的高度灵活性、自我以及外部的遮挡、不同的衣服、罕见的姿势等原因，户外多人的姿势估计是非常具有挑战性的。

由于深度卷积神经网络的出现，现有的多人姿态估计大致可分为两类：自底向上的方法和自顶向下的方法。自顶向下的方法首先通过人体检测器获取候选人，然后执行单人姿势估计。自底向上的方法直接预测关键点，然后将它们组成所有人的完整姿势。但是两种方法都有着各自的缺点：自顶向下的方法对人体检测器的准确度有着很高的要求，而且时间复杂度随着图片中的人数线性增长；自底向上的方法在严重遮挡的情况下无法得到理想的结果。

发明内容

本发明的目的是针对现有技术的不足，提供一种准确且高效的多人姿态估计方法。

本发明是通过以下技术方案实现的：使用边界框约束的自底向上的多人姿态估计方法，具体包括以下步骤：

(1)边界框检测：使用人体检测器，获得图片中的人的边界框B_i；

(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：

从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图S_j和13个方向场L_c作为输出，j＝1,2,…,14；c＝1,2,…，13，进行神经网络训练，网络结构如下表所示：

第三阶段至第六阶段的结构与第二阶段相同，第六阶段的置信图的第7层与方向场的第7层为网络最终的输出。

训练样本中，第j个关节置信图S_j中包含第j个关节的置信度信息和位置信息；置信图S_j中，位置p处的置信度为：

其中，表示位置p在置信图S_j中相对于第k个人的关节置信度，

x_j,k表示第k个人的关节j的位置坐标，σ为高斯函数的阈值；

网络的方向场，编码关节之间的连接关系，是对位置和方向信息进行编码的二维矢量场。在第c个连接的方向场L_c中，位置p的方向场为：

为位置p在方向场L_c中相对于第k个人的方向场，

n_c(p)是相关连接的数量，对于相关相连连接，v是连接c的单位向量。

(3)姿态解析：对网络输出的置信图S_j和方向场L_c，在步骤1中获得的每一个边界框B_i中，使用贪心算法，进行姿态解析，贪心算法具体步骤如下：

对于每个边界框B_i，首先对于关节点j，从置信图S_j中找到若干个局部最大值，其坐标作为关节点j的坐标x_j。

任意两个相邻关节点j₁,j₂组成的连接c，计算一个可信度s(j₁,j₂)，该可信度被定义为：

其中Q是在连接c上均匀采样的若干个点，d是两个点之间的方向向量，被定义为d＝x_j1-x_j2。L_c(q)表示位置q的网络输出的方向场；

接下来对于人体的每一个枝干上的连接c按照可信度降序遍历，对于c的两个关节点j₁,j₂中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果j₁不属于任何一个人的姿态，那么新建一个姿态，并把j₁,j₂加入这个姿态中；如果j₁已经属于某个人的姿态，那么把j₂也加入这个人的姿态。

经过以上操作，每个边界框中都会解析得到若干个人体姿态。

(4)姿态去重：注意到一个边界框中可能有多个人，对于第3步中得到的姿态解析的结果进行处理，去除多余的姿态，每个边界框仅保留一个人的姿态估计，具体过程如下：

首先，选择最可靠的姿态(置信度最大的)作为参考姿态Y，然后通过消除准则来消除接近Y的另一姿态Y′。在所有姿态集上重复此过程，直到一个边界框中最多只有一个姿态。

对于一个姿态Y，通过姿态所占的面积，姿态中关节点的置信度以及连接的置信度，来计算姿态的置信度，具体计算公式如下：

其中s₁(Y)是关节点的平均置信度，通过网络输出得到，s₂(Y)是姿态Y中所有连接的平均可信度，B′(Y)是姿态的最小边界框，B(Y)是初始边界框，S()计算边界框的面积，α,β,γ是一组阈值。

消除准则定义了消除重复姿态的方法，通过两个姿态之间的距离函数来判断两个姿态是否相同，Y,Y′之间的距离函数被定义为：

n_Y表示姿态Y中的节点数量；Y_j表示姿态Y中关节j的位置；

若d(Y,Y′)<D，则Y,Y′为同一姿态，否则为两个不同姿态；D为阈值。

(5)姿态补全：对于姿态Y中的每个缺失关节j，按照置信度从大到小遍历网络输出的置信图S_j中的局部最大值对应的点，直到找到没有出现在其他姿态中的点。然后我们将这一点加入姿态Y。

进一步地，所述步骤1中使用了YOLOv2作为人体检测器。

进一步地，所述步骤2中在特征提取阶段使用了ResNet作为特征提取器。

进一步地，所述步骤2中使用了卷积核大小为4×4，步长为2的反卷积层对特征图进行两倍上采样。

进一步地，训练网络使用了以下数据集中的样本：

MSCOCO：http://cocodataset.org/n#keypoints-eval。

AI Challenger：https://challenger.ai/competition/keypoint/subject。

本发明的有益效果在于：可以更好地处理拥挤的图像，能够避免不同姿势间的错误传播，且有效解决了姿态被截断的问题。本发明在多人姿态估计问题中，精度和运行时间方面都有更好的表现。

附图说明

图1：网络输出的可视化结果，左图是网络输出的右手腕关节的置信图，右图是网络输出的右下臂的方向场。

图2：姿态解析的结果，左右两图分别展示了在两个边界框中的解析结果。

图3：姿态去重的结果，对左图进行姿态去重，去除粗线表示的冗余姿态后可以得到右图。

图4：姿态补全的结果，图中缺失的左脚关节点被补全。

图5：本发明在AI Challenger(左图)和MSCOCO(右图)数据集上的结果。本发明的方法可以处理包含视点和外观变化，遮挡，拥挤以及非标准姿势的图像。

图6：从左到右依次为：使用单人姿势估计的自顶向下方法的估计结果、自底向上方法的估计结果、本发明的估计结果。

图7：从左到右依次为：使用单人姿势估计的自顶向下方法的估计结果、自底向上方法的估计结果、本发明的估计结果。

具体实施方式

使用边界框约束的自底向上的多人姿态估计方法，具体包括以下步骤：

(1)边界框检测：使用YOLOv2(J.Redmon and A.Farhadi,“Yolo9000:better,faster,stronger,”arXiv preprint arXiv:1612.08242,2016.)作为人体检测器，获得图片中的人的边界框B_i；

(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：

从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图S_j和13个方向场L_c作为输出，j＝1,2,…,14；c＝1,2,…,13，进行神经网络训练网络结构在Z.Cao,T.Simon,S.-E.Wei,and Y.Sheikh,“Realtime multi-person2d poseestimation using part affinity fields,”arXiv preprint arXiv:1611.08050,2016.的网络结构的基础上进行了修改，首先使用ResNet50替代VGG19作为特征提取器。其次，我们引入stride＝2的反卷积层，将输出上采样2倍，而不会产生显着的额外计算成本。第三，在每个阶段，置信图和方向场被顺序预测而不是同时预测，以进一步利用空间相互依赖性；具体结构如下：

第三阶段至第六阶段的结构与第二阶段相同，第六阶段的置信图的第7层与方向场的第7层为网络最终的输出。

训练样本中，第j个关节置信图S_j中包含第j个关节的置信度信息和位置信息；置信图S_j中，位置p处的置信度为：

其中，表示位置p在置信图S_j中相对于第k个人的关节置信度，

x_j,k表示第k个人的关节j的位置坐标，σ为高斯函数的阈值；

网络的方向场，编码关节之间的连接关系，是对位置和方向信息进行编码的二维矢量场。在第c个连接的方向场L_c中，位置p的方向场为：

为位置p在方向场L_c中相对于第k个人的方向场，

n_c(p)是相关连接的数量，对于相关相连连接，v是连接c的单位向量。

网络输出的可视化结果如图1所示，左图是网络输出的右手腕关节的置信图，右图是网络输出的右下臂的方向场。

(3)姿态解析：姿势解析旨在连接候选关节点并形成完整的姿态。对网络输出的置信图S_j和方向场L_c，在步骤1中获得的每一个边界框B_i中，使用贪心算法，进行姿态解析，贪心算法具体步骤如下：

对于每个边界框B_i，首先对于关节点j，从置信图S_j中找到若干个局部最大值，其坐标作为关节点j的坐标x_j。

任意两个相邻关节点j₁,j₂组成的连接c，计算一个可信度s(j₁,j₂)，该可信度被定义为：

其中Q是在连接c上均匀采样的若干个点，d是两个点之间的方向向量，被定义为d＝x_j1-x_j2。L_c(q)表示位置q的网络输出的方向场；

接下来对于人体的每一个枝干上的连接c按照可信度降序遍历，对于c的两个关节点j₁,j₂中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果j₁不属于任何一个人的姿态，那么新建一个姿态，并把j₁,j₂加入这个姿态中；如果j₁已经属于某个人的姿态，那么把j₂也加入这个人的姿态。

经过以上操作，每个边界框中都会解析得到若干个人体姿态。请注意，可能存在冗余姿势，因为①某个人的整体或一部分可能在多个边框中可见，②人体检测器可能产生冗余检测，从而导致冗余姿态。

图2展示了在两个边界框中进行姿态解析的结果，可以看到每个边界框中都会存在两个姿态，其中一个姿态是冗余的。

(4)姿态去重：注意到一个边界框中可能有多个人，对于第3步中得到的姿态解析的结果进行处理，去除多余的姿态，每个边界框仅保留一个人的姿态估计，具体过程如下：

首先，选择最可靠的姿态(置信度最大的)作为参考姿态Y，然后通过消除准则来消除接近Y的另一姿态Y′。在所有姿态集上重复此过程，直到一个边界框中最多只有一个姿态。

对于一个姿态Y，通过姿态所占的面积，姿态中关节点的置信度以及连接的置信度，来计算姿态的置信度，具体计算公式如下：

其中s₁(Y)是关节点的平均置信度，通过网络输出得到，s₂(Y)是姿态Y中所有连接的平均可信度，B′(Y)是姿态的最小边界框，B(Y)是初始边界框，S()计算边界框的面积，α,β,γ是一组阈值。

消除准则定义了消除重复姿态的方法，通过两个姿态之间的距离函数来判断两个姿态是否相同，Y,Y′之间的距离函数被定义为：

n_Y表示姿态Y中的节点数量；Y_j表示姿态Y中关节j的位置；

若d(Y,Y′)<D，则Y,Y′为同一姿态，否则为两个不同姿态；D为阈值。

图3展示了在一个边界框中进行姿态去重的结果，左图中粗线表示的姿态为冗余姿态，经过去除后得到了右图所示的结果

(5)姿态补全：姿态补全旨在将由截断或重度遮挡引起的缺失的关节点与相应的姿态关联。受单人姿势估计方法的启发，我们采用一个非常简单的规则：对于姿态Y中的每个缺失关节j，按照置信度从大到小遍历网络输出的置信图S_j中的局部最大值对应的点，直到找到没有出现在其他姿态中的点。然后我们将这一点加入姿态Y。

图4展示了姿态补全的结果，在该姿态中左脚关节是缺失的，在姿态补全之后得到了这个人的完整姿态。

经过以上流程，就可以得到最终的多人姿态估计结果，图5展示了我们在AIChallenger和MSCOCO数据集上的结果。我们的方法可以处理包含视点和外观变化，遮挡，拥挤以及非标准姿势的图像。图6和图7展示我们的方法和其他方法的姿态估计结果比较。表1和表2展示了我们的方法和其他方法在数据集AI Challenger和MSCOCO上准确率的对比。可以看出准确度都有着不同程度的提升。

表1 Challenger数据集的准确率对比

表2 MSCOCO数据集的准确率对比

Claims (5)

1.一种使用边界框约束的自底向上的多人姿态估计方法，其特征在于，包括以下步骤：

(1)边界框检测：使用人体检测器，获得图片中的人的边界框B_i；

(2)获取网络输出：将图片送入我们设计的神经网络，获得图片的置信图以及方向场信息，所述神经网络通过以下方法得到：

从数据集中获取训练样本，以图片作为输入，以每个图片对应的14个关节的置信图S_j和13个方向场L_c作为输出，j＝1,2,…,14；c＝1,2,…,13，进行神经网络训练，网络结构如下表所示：

第三阶段至第六阶段的结构与第二阶段相同，第六阶段的置信图的第7层与方向场的第7层为网络最终的输出。

训练样本中，第j个关节置信图S_j中包含第j个关节的置信度信息和位置信息；置信图S_j中，位置p处的置信度为：

其中，表示位置p在置信图S_j中相对于第k个人的关节置信度，

x_j,k表示第k个人的关节j的位置坐标，σ为高斯函数的阈值；

网络的方向场，编码关节之间的连接关系，是对位置和方向信息进行编码的二维矢量场。在第c个连接的方向场L_c中，位置p的方向场为：

为位置p在方向场L_c中相对于第k个人的方向场，

n_c(p)是相关连接的数量，对于相关相连连接，v是连接c的单位向量。

(3)姿态解析：对网络输出的置信图S_j和方向场L_c，在步骤1中获得的每一个边界框B_i中，使用贪心算法，进行姿态解析，贪心算法具体步骤如下：

对于每个边界框B_i，首先对于关节点j，从置信图S_j中找到若干个局部最大值，其坐标作为关节点j的坐标x_j。

任意两个相邻关节点j₁,j₂组成的连接c，计算一个可信度s(j₁,j₂)，该可信度被定义为：

其中Q是在连接c上均匀采样的若干个点，d是两个点之间的方向向量，被定义为d＝x_j1-x_j2。L_c(q)表示位置q的网络输出的方向场；

接下来对于人体的每一个枝干上的连接c按照可信度降序遍历，对于c的两个关节点j₁,j₂中，如果任意一个之前的遍历过程中已经遇到过，则跳过这个连接；如果j₁不属于任何一个人的姿态，那么新建一个姿态，并把j₁,j₂加入这个姿态中；如果j₁已经属于某个人的姿态，那么把j₂也加入这个人的姿态。

经过以上操作，每个边界框中都会解析得到若干个人体姿态。

(4)姿态去重：注意到一个边界框中可能有多个人，对于第3步中得到的姿态解析的结果进行处理，去除多余的姿态，每个边界框仅保留一个人的姿态估计，具体过程如下：

首先，选择最可靠的姿态(置信度最大的)作为参考姿态Y，然后通过消除准则来消除接近Y的另一姿态Y′。在所有姿态集上重复此过程，直到一个边界框中最多只有一个姿态。

对于一个姿态Y，通过姿态所占的面积，姿态中关节点的置信度以及连接的置信度，来计算姿态的置信度，具体计算公式如下：

其中s₁(Y)是关节点的平均置信度，通过网络输出得到，s₂(Y)是姿态Y中所有连接的平均可信度，B′(Y)是姿态的最小边界框，B(Y)是初始边界框，S()计算边界框的面积，α,β,γ是一组阈值。

消除准则定义了消除重复姿态的方法，通过两个姿态之间的距离函数来判断两个姿态是否相同，Y,Y′之间的距离函数被定义为：

n_Y表示姿态Y中的节点数量；Y_j表示姿态Y中关节j的位置；

若d(Y,Y′)<D，则Y,Y′为同一姿态，否则为两个不同姿态；D为阈值。

(5)姿态补全：对于姿态Y中的每个缺失关节j，按照置信度从大到小遍历网络输出的置信图S_j中的局部最大值对应的点，直到找到没有出现在其他姿态中的点。然后我们将这一点加入姿态Y。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中使用了YOLOv2作为人体检测器。

3.根据权利要求1所述的方法，其特征在于，所述步骤2中在特征提取阶段使用了ResNet作为特征提取器。

4.根据权利要求1所述的方法，其特征在于，所述步骤2中使用了卷积核大小为4×4，步长为2的反卷积层对特征图进行两倍上采样。

5.根据权利要求1所述的方法，其特征在于，训练网络使用了以下数据集中的样本：

MSCOCO：http://cocodataset.org/n#keypoints‐eval；

AI Challenger：https://challenger.ai/competition/keypoint/subject。