CN111507184A - 基于并联空洞卷积和身体结构约束的人体姿态检测方法 - Google Patents

Abstract

本发明公开了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明实现：下载人体姿态数据集，获取训练数据集；根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络。本发明采用并联空洞卷积网络防止因重复上下采样而造成信息损失，同时还对损失函数进行改进，考虑骨骼点之间的关联性，在复杂环境下能较好的提取特征，获得更好的人体姿态检测效果。

Description

基于并联空洞卷积和身体结构约束的人体姿态检测方法

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及到人体姿态检测，具体是一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明应用于复杂场景下精确定位人体各关节点来准确检测人体姿态。

背景技术

人体姿态检测是目前计算机视觉中最重要的任务之一，它主要利用深度学习将输入图片映射成具有几何约束以及相互联系的多个骨骼点。实现对人体姿态更好的理解是计算机视觉中其他更高级的任务的基本前提，比如动作捕获、人机交互、动作识别等。

这些年来，很多方法被提出来更好的实现人体姿态检测。早些时候，通过将局部检测器与构造约束相结合来实现，随着硬件和数据集的发展，卷积神经网络被应用于该领域，极大地提升了在人体姿态检测方面的性能。目前许多方法都是将图片送进网络，并且这些网络一般都包括高分辨率到低分辨率的网络子模块，最后再提高分辨率。比如，沙漏堆叠网络包括了若干个沙漏网络，每个沙漏网络通过重复的下采样降低分辨率，又重复的进行上采样增大分辨率。但是在上采样的过程中，会造成信息的损失，特别对于遮挡、背景和人体区分不大的情况下，会产生错误的骨骼点估计。

发明内容

本发明的目的在于针对已有技术的不足，提出一种能够适应复杂场景下的基于并联空洞卷积和身体结构约束的人体姿态检测方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)下载人体姿态数据集，获取训练数据集；

步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；

步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；

步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。

步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；

步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置。

步骤(7)连接骨骼点并输出，得到人体姿态。

进一步，所述的步骤(2)所述的获取训练图像的过程如下：

1.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框。

1.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像；

进一步，所述的步骤(3)所述的制作训练图像的骨骼点热图的过程如下：

2.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图。

2.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致。

进一步，所述的步骤(4)具体实现过程如下：

3.1构建带有身体结构约束损失模块：

3.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：

假设各个骨骼点对应的标号为(头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15)，则集合S为{(0，1)，(0，1，2)，(0，1，2，3),...,(0，1，2，3，4,5,6,7,8,9,10,11,12,13,14,15)}，即集合中的每一个元素都是在身体结构上有相互连接关系的。

3.1.2使用如下公式计算身体结构约束损失模块：

其中，K表示骨骼点个数，P_k ⁱ表示单个骨骼点预测值，

表示单个骨骼点真实值，

表示组合骨骼点预测值，

表示组合骨骼点真实值，T表示集合S的元素个数，α表示权重系数。

3.2构建并联空洞卷积网络

构建的并联空洞卷积网络包括多个分支，每个分支是具有不同步长卷积核的空洞卷积网络，假设特征输出为y，则y[i]表示第i个骨骼点的特征输出，卷积核k，维度d，则空洞卷积操作如下：

r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野。

进一步，所述的步骤(5)所述训练带有身体结构约束损失模块的并联空洞卷积网络的过程如下：

4.1将预训练好的深度卷积网络模型中的参数加载到并联空洞卷积网络，完成模型参数初始化。

4.2将步骤1.2得到的带有标注的训练图像输入到并联空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的并联空洞卷积网络。

4.3判断并联空洞卷积网络的全局损失值是否小于阈值，若是，执行步骤4.4；否则返回步骤4.3。

4.4结束训练，得到训练好的并联空洞卷积网络。

进一步，所述的步骤(6)所述确定骨骼点位置的过程如下：

5.1把需要进行人体姿态检测的图片输入训练好的并联空洞卷积网络，获取人体所有骨骼点对应的整体高斯热图；在训练过程中，每个骨骼点会产生多张对应的骨骼点的高斯热图；每张高斯热图(包括整体高斯热图和骨骼点的高斯热)上的每一个骨骼点都会有一个表示该骨骼点的置信度；在同一个骨骼点对应的所述有置信度中选取值最大的置信度，作为该骨骼点最终的预测坐标；

5.2设置置信度阈值，当选取的最大的置信度低于置信度阈值时，则认为该骨骼点没有出现。

本发明与现有技术相比具有以下优点：

第一：本发明采用了空洞卷积网络，有效避免了因重复上下采样而造成的信息损失，空洞卷积能够在保持分辨率不变的情况下同时增大感受野，学习到更多的细节特征。

第二：本发明采用了并联空洞卷积网络，相较于串联空洞卷积网络，能够将多尺度的特征进行融合，达到更好的效果。

第三：本发明采用了身体结构约束损失模块，将每个骨骼点之间的关联性考虑在内，获得更好的精度。

附图说明

图1是本发明的流程图

图2是空洞卷积原理图

图3是身体结构约束损失模块示意图

图4是并联空洞卷积网络的模型图

具体实施方式:

下面结合附图对本发明做详细描述。

实施例1

在复杂场景中，人体姿态会受各方面因素影响，包括光照反射，肢体扭曲，遮挡等使得检测性能不鲁棒。针对目前存在的问题，本发明提出了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法，流程图参照图1和图4，包括如下步骤：

步骤(1)下载人体姿态数据集，获取训练数据集

步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像。

2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框。

2.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像；

步骤(3)根据提供的骨骼点坐标，制作训练图像的骨骼点热图

3.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图。

3.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致。

步骤(4)构建带有身体结构约束损失模块的并联空洞卷积网络

4.1构建带有身体结构约束损失模块：

4.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：

假设各个骨骼点对应的标号为(头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15)，则集合S为{(0，1)，(0，1，2)，(0，1，2，3),...,(0，1，2，3，4,5,6,7,8,9,10,11,12,13,14,15)}，即集合中的每一个元素都是在身体结构上有相互连接关系的。

4.1.2使用如下公式计算身体结构约束损失模块：

其中，K表示骨骼点个数，P_k ⁱ表示单个骨骼点预测值，

表示单个骨骼点真实值，

表示组合骨骼点预测值，

表示组合骨骼点真实值，T表示集合S的元素个数，α表示权重系数。

4.2构建并联空洞卷积网络

构建的并联空洞卷积网络包括多个分支，每个分支是具有不同步长卷积核的空洞卷积网络，假设特征输出为y，则y[i]表示第i个骨骼点的特征输出，卷积核k，维度d，则空洞卷积操作如下：

r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野。

步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络

5.1将预训练好的深度卷积网络模型中的参数加载到并联空洞卷积网络，完成模型参数初始化。

5.2将步骤2.2得到的带有标注的训练图像输入到并联空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的并联空洞卷积网络。

5.3判断并联空洞卷积网络的全局损失值是否小于阈值，若是，执行步骤5.4；否则返回步骤5.3。

5.4结束训练，得到训练好的并联空洞卷积网络。

步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络模型对测试集进行骨骼点检测，确定骨骼点位置。

6.1把需要进行人体姿态检测的图片输入训练好的并联空洞卷积网络，获取人体所有骨骼点对应的整体高斯热图；在训练过程中，每个骨骼点会产生多张对应的骨骼点的高斯热图；每张高斯热图(包括整体高斯热图和骨骼点的高斯热)上的每一个骨骼点都会有一个表示该骨骼点的置信度；在同一个骨骼点对应的所述有置信度中选取值最大的置信度，作为该骨骼点最终的预测坐标；

6.2设置置信度阈值，当选取的最大的置信度低于置信度阈值时，则认为该骨骼点没有出现。

步骤(7)连接骨骼点并输出，得到人体姿态。

实施例2

本发明空洞卷积的原理如图2所示：

空洞卷积网络目前已经应用于语义分割领域，该方面实验说明空洞卷积特别对于捕捉长距离特征有比较好的效果，而人体姿态检测恰恰需要提取一些长距离特征，比如手臂(肩与手腕两个骨骼点)，空洞卷积，从字面上理解，是在标准的卷积层里注入空洞，从此来增加感受野。相比原来正常的卷积层，空洞卷积多了超参数称之为dilation rate(膨胀率)，指的是卷积核的间隔数量(eg.正常的卷积时dilatation rate＝1)

实施例3

基于并联空洞卷积和身体结构约束的人体姿态检测方法，其中并联空洞卷积网络结构如下：(结构图参照图3)

所谓并联空洞卷积神经网络指的是网络主体是由多个分支的空洞卷积网络构成，每个分支的空洞卷积网络是在特征图上运用不同步长的空洞卷积核生成的，因此可以学习到不同尺度的特征，进而提高准确率。但是随着空洞卷积核的增大，有效卷积核权重的数量就会变小，比如特征图为65*65，当空洞卷积rate接近于特征图大小时，这时的卷积操作就相当于简单的1*1卷积核的操作，因为只有中心的卷积核为有效权重，为了解决这个问题，我们在模型的最后一层特征图采用全局平局池化，将得到的图像级特征输入到一个1×1256个通道的卷积层(加入batch normalization)中，然后将特征进行双线性上采样(bilinearly upsample)到特定的空间维度。最后连接所有分支的最终特征，输入到另一个1×1卷积(所有的通道个数也为256，并加入batch normalization)，再进入最终的1×1卷积，得到结果。

Claims (6)

1.基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于包括如下步骤:

步骤(1)下载人体姿态数据集，获取训练数据集；

步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；

步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；

步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络；

步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；

步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置；

步骤(7)连接骨骼点并输出，得到人体姿态。

2.根据权利要求1所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(2)所述的获取训练图像的过程如下：

2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框；

2.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像。

3.根据权利要求1或2所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(3)所述的制作训练图像的骨骼点热图的过程如下：

3.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图；

3.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致。

4.根据权利要求1或3所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(4)具体实现过程如下：

4.1构建带有身体结构约束损失模块：

4.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：

假设各个骨骼点对应的标号为(头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15)，则集合S为{(0，1)，(0，1，2)，(0，1，2，3),...,(0，1，2，3，4,5,6,7,8,9,10,11,12,13,14,15)}，即集合中的每一个元素都是在身体结构上有相互连接关系的；

4.1.2使用如下公式计算身体结构约束损失模块：

其中，K表示骨骼点个数，

表示单个骨骼点预测值，

表示单个骨骼点真实值，

表示组合骨骼点预测值，

表示组合骨骼点真实值，T表示集合S的元素个数，α表示权重系数；

4.2构建并联空洞卷积网络

构建的并联空洞卷积网络包括多个分支，每个分支是具有不同步长卷积核的空洞卷积网络，假设特征输出为y，则y[i]表示第i个骨骼点的特征输出，卷积核k，维度d，则空洞卷积操作如下：

r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野。

5.根据权利要求4所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(5)所述训练带有身体结构约束损失模块的并联空洞卷积网络的过程如下：

5.1将预训练好的深度卷积网络模型中的参数加载到并联空洞卷积网络，完成模型参数初始化；

5.2将步骤2.2得到的带有标注的训练图像输入到并联空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的并联空洞卷积网络；

5.3判断并联空洞卷积网络的全局损失值是否小于阈值，若是，执行步骤5.4；否则返回步骤5.3；

5.4结束训练，得到训练好的并联空洞卷积网络。

6.根据权利要求5所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(6)所述确定骨骼点位置的过程如下：

6.1把需要进行人体姿态检测的图片输入训练好的并联空洞卷积网络，获取人体所有骨骼点对应的整体高斯热图；在训练过程中，每个骨骼点会产生多张对应的骨骼点的高斯热图；每张高斯热图(包括整体高斯热图和骨骼点的高斯热)上的每一个骨骼点都会有一个表示该骨骼点的置信度；在同一个骨骼点对应的所述有置信度中选取值最大的置信度，作为该骨骼点最终的预测坐标；

6.2设置置信度阈值，当选取的最大的置信度低于置信度阈值时，则认为该骨骼点没有出现。

Images