CN109190686A - 一种基于关节依赖的人体骨架提取方法 - Google Patents

Abstract

本发明公开了一种基于关节依赖的人体骨架提取方法，包括以下步骤：S1、对图片数据集进行预处理和扩增，并划分为训练集和测试集；S2、构建关节依赖的人体骨架提取网络；S3、将训练集输入关节依赖的人体骨架提取网络，得到关节依赖的人体骨架提取网络模型以及关节的预测类标；S4、根据关节的预测类标，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，得到最优关节依赖的人体骨架提取网络模型；S5、将测试集输入最优关节依赖的人体骨架提取网络模型，得到关节的测试类标；S6、根据关节的测试类标，提取出人体骨架；本发明解决了现有技术存在的优化困难、过程复杂、关节之间的关系建模效果差、准确性低以及实用性低的问题。

Description

一种基于关节依赖的人体骨架提取方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于关节依赖的人体骨架提取方法。

背景技术

目前，在图像理解、人机交互、虚拟现实等众多计算机视觉领域中，人体骨架提取是人体动作识别和行为分析的关键技术。近年来也是一个非常热门的研究方向，所谓人体骨架提取，简单来说，就是能够正确估计出给定图像上人体关键部位的位置、方向以及尺度信息，如头部、肩膀、左右手臂、大小腿等的姿态变化。在现实生活中具有重要的应用价值。

人体骨架提取是一项富有挑战性的任务，如何设计一个有效的人体骨架提取系统需要考虑人体姿态的差异、光照的影响、拍摄的角度变换、部分遮挡、局部形变等因素。

现有技术存在以下问题：

(1)对于人体骨架提取中关节之间的关系建模问题，传统的方法使用图模型来进行处理，但是由于图模型的优化比较困难，过程复杂，且没有考虑关节与关节之间的差异性，因此不能取得很好的效果；

(2)现有技术没有考虑不同类型的关节具有不同的难度，方法的实用性低；

(3)现有技术没有考虑到采用卷积神经网络的方法得益于表征学习能够自动学习到具有鉴别性的特征，因此方法的准确性低。

发明内容

针对现有技术中的上述不足，本发明提供的一种过程简单、准确性和实用性高的基于关节依赖的人体骨架提取方法，改善了建模的效果，解决了现有技术存在的优化困难、过程复杂、关节之间的关系建模效果差、准确性低以及实用性低的问题。

为了达到上述发明目的，本发明采用的技术方案为：

一种基于关节依赖的人体骨架提取方法，包括以下步骤：

S1：对图片数据集进行预处理和扩增，并划分为训练集和测试集；

S2：构建关节依赖的人体骨架提取网络；

S3：将训练集输入关节依赖的人体骨架提取网络，得到关节依赖的人体骨架提取网络模型以及关节的预测类标；

S4：根据关节的预测类标，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，得到最优关节依赖的人体骨架提取网络模型；

S5：将测试集输入最优关节依赖的人体骨架提取网络模型，得到关节的测试类标；

S6：根据关节的测试类标，提取出人体骨架。

进一步地，步骤S1中，进行预处理，包括如下步骤：

S1-1：生成变换矩阵；

S1-2：将图片数据集中原始图像上的像素点坐标乘以变换矩阵，得到变换后坐标位置；

S1-3：将坐标位置位于缩放图像范围中的像素点复制到变换矩阵中，并舍去范围外的像素点，实现图像的预处理。

进一步地，步骤S2中，关节依赖的人体骨架提取网络模型，包括前端的特征提取部分和后端的关节依赖建模部分；特征提取部分依次由卷积、残差模块、最大池化以及两个残差模块构成。

进一步地，关节依赖建模的方法，包括如下步骤：

A-1：使用单关节回归网络建立关节依赖关系模型；

A-2：根据关节依赖关系模型，使用单关节回归网络从头部关节依次回归所有类型关节；

A-3：根据所有类型关节，构建人体树模型，实现关节依赖建模。

进一步地，单关节回归网络依次由沙漏模块、残差模块和卷积构成。

进一步地，关节依赖关系模型的公式为：

人体骨架提取形式化描述公式为：

式中，为网络回归出来的关节点的类标E为低层特征提取网络；α为单回归网络参数；F为回归网络；β为回归网络的参数；

头部关节建模公式为：

式中，为输出的头部关节的特征；为头部关节的预测类标；H₁为单回归网络函数；E(X_i,α)为输入的图片X_i的特征；α为单回归网络参数；β₁为当前单回归网络参数集合；j₁为头部关节；J为关节集合；

其它关节之间依赖关系建模公式为：

式中，为下一个网络输出的关节的特征；为上一个关节的预测类标；为上一个网络输出的关节的特征；β_t为上一个网络单回归网络参数集合；S(j_t) 为在S中找出以关节j_t结尾的有序关节集合；j_t为上一个关节；J为关节集合。

进一步地，步骤S4中，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，包括如下步骤：

S4-1：计算关节的真实坐标的热力图；给定一个训练样本{X,Y}，图像为X, 对应的K个关节的坐标集合为Y＝{y₁,y₂,...,y_K}，第k个关节点的坐标为令关节点的位置服从二维高斯分布，并且定义所生成的热力图的大小为out×out，本发明中，out＝64，通过高斯公式产生第k个关节点的热力图；在网络预测出热力图后，找出每个热力图中最大值的点的位置，该位置就是相应关节点的坐标；

S4-2：根据关节的预测类标和真实的热力图，拟合真实的类标，回归人体的关节点。

进一步地，步骤S4-1中，关节的真实坐标的热力图的计算公式为：

式中，g(y_jk,i,j)为(i,j)空间位置的关节的真实坐标的热力图；为图像中关节k的真实坐标。

进一步地，步骤S4-2中，关节依赖的人体骨架提取网络模型的损失的计算公式为：

式中，L为关节依赖的人体骨架提取网络模型的损失函数；为关节k的预测类标；(X,Y)为训练样本；D为数据集；j_k为当前关节指示量；K为关节总数；J为关节集合。

本方案的有益效果为：

(1)本方案的深度学习具有的多层和非线性使得深度学习与浅层的机器学习算法相比具有更好地表达能力，在很大程度上避免了传统机器学习方法中复杂的特征工程，在具有大量训练数据的情况下可以很好地对目标进行拟合；

(2)考虑人体关节具有不同的自由度，设计出一种渐进式的回归模型，利用渐进式的学习方式将课程学习机制引入到卷积神经网络中，提高了准确性；首先回归出较为容易的关节，利用已回归的关节来对更难的关节进行回归，提高了实用性，从而实现关节的依赖关系建模，简化了建模过程，改善了效果。

附图说明

图1为基于关节依赖的人体骨架提取方法流程图；

图2为预处理方法流程图；

图3为关节依赖建模的方法流程图；

图4为进行优化的方法流程图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

本发明实施例中，一种基于关节依赖的人体骨架提取方法，如图1所示，包括以下步骤：

S1：对图片数据集进行预处理和扩增，并划分为训练集和测试集；

对图像进行裁剪、缩放、平移、旋转、水平翻转、颜色偏移等操作，此外由于本发明所研究的是单人骨架提取的算法，为了简化问题，本发明遵循单人姿态的惯例做法将一幅图片中所包含的其他人尽量去除；由于模型需要知道对图像中哪个人进行处理，为了避免图像中其他人干扰模型的训练，给模型带来噪声，需要把所要回归的人从图片中裁剪出来，同时还要把人的中心点放到图像的中心点；对于数据扩增采用水平翻转和图像颜色偏移；

进行预处理，如图2所示，包括如下步骤：

S1-1：生成变换矩阵；

S1-2：将图片数据集中原始图像上的像素点坐标乘以变换矩阵，得到变换后坐标位置；

S1-3：将坐标位置位于缩放图像范围中的像素点复制到变换矩阵中，并舍去范围外的像素点，实现图像的预处理。

S2：构建关节依赖的人体骨架提取网络；设置关节依赖的人体骨架提取网络的学习率为0.0045，batch size为4，每一个epoch迭代8000次，对于FLIC 数据集有100个epoch，对于LSP数据集有150个epoch，模型优化器采用 RMSProp。

S3：将训练集输入关节依赖的人体骨架提取网络，得到关节依赖的人体骨架提取网络模型以及关节的预测类标，网络训练每经过一个单关节网络生成一个相应关节的预测的热力图，大小为64x64x1来通过模型的不断迭代训练使得模型产生的预测结果来拟合真实的类标；

S4：根据关节的预测类标，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，得到最优关节依赖的人体骨架提取网络模型，进行优化，如图4所示，包括如下步骤：

S4-1：计算关节的真实坐标的热力图；

式中，g(y_jk,i,j)为(i,j)空间位置的关节的真实坐标的热力图；为图像中关节k的真实坐标；

S4-2：根据关节的预测类标和真实的热力图，采用Rmsprop优化器通过模型的不断迭代训练使得模型产生的预测结果来拟合真实的类标，回归人体的关节点，计算关节依赖的人体骨架提取网络模型的损失的计算公式为：

式中，L为关节依赖的人体骨架提取网络模型的损失函数；为关节k的预测类标；(X,Y)为训练样本；D为数据集；j_k为当前关节指示量；K为关节总数；J为关节集合；

S5：将测试集输入最优关节依赖的人体骨架提取网络模型，得到关节的测试类标；

S6：根据关节的测试类标，提取出人体骨架。

本实施例中，步骤S2中，关节依赖的人体骨架提取网络模型，包括前端的特征提取部分和后端的关节依赖建模部分；特征提取部分依次由7x7卷积(卷积核滑动的步长为2，零填充为3，使用ReLU激活函数)、残差模块、2x2的最大池化以及两个残差模块构成。

本实施例中，关节依赖建模的方法，如图3所示，包括如下步骤：

A-1：使用单关节回归网络建立关节依赖关系模型，公式为：

人体骨架提取形式化描述公式为：

式中，为网络回归出来的关节点的类标E为低层特征提取网络；α为单回归网络参数；F＝{H₁,...,H_|J|}为回归网络；β＝{β₁,...,β_|J|}为回归网络的参数；

头部关节建模公式为：

式中，为输出的头部关节的特征；为头部关节的预测类标；H₁为单回归网络函数；E(X_i,α)为输入的图片X_i的特征；α为单回归网络参数；β₁为当前单回归网络参数集合；j₁为头部关节；J为关节集合；

其它关节之间依赖关系建模公式为：

式中，为下一个网络输出的关节的特征；为上一个关节的预测类标；为上一个网络输出的关节的特征；β_t为上一个网络单回归网络参数集合；S(j_t) 为在S中找出以关节j_t结尾的有序关节集合；j_t为上一个关节；J为关节集合；

A-2：根据关节依赖关系模型，使用单关节回归网络从头部关节依次回归所有类型关节；

A-3：根据所有类型关节，构建人体树模型，实现关节依赖建模。

本实施例中，单关节回归网络依次由沙漏模块、残差模块和卷积构成。

本发明提供的一种过程简单、准确性和实用性高的基于关节依赖的人体骨架提取方法，改善了建模的效果，解决了现有技术存在的优化困难、过程复杂、关节之间的关系建模效果差、准确性低以及实用性低的问题。

Claims (9)

1.一种基于关节依赖的人体骨架提取方法，其特征在于，包括以下步骤：

S1：对图片数据集进行预处理和扩增，并划分为训练集和测试集；

S2：构建关节依赖的人体骨架提取网络；

S3：将训练集输入关节依赖的人体骨架提取网络，得到关节依赖的人体骨架提取网络模型以及关节的预测类标；

S4：根据关节的预测类标，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，得到最优关节依赖的人体骨架提取网络模型；

S5：将测试集输入最优关节依赖的人体骨架提取网络模型，得到关节的测试类标；

S6：根据关节的测试类标，提取出人体骨架。

2.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S1中，进行预处理，包括如下步骤：

S1-1：生成变换矩阵；

S1-2：将图片数据集中原始图像上的像素点坐标乘以变换矩阵，得到变换后坐标位置；

S1-3：将坐标位置位于缩放图像范围中的像素点复制到变换矩阵中，并舍去范围外的像素点，实现图像的预处理。

3.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S2中，关节依赖的人体骨架提取网络模型，包括前端的特征提取部分和后端的关节依赖建模部分；所述特征提取部分依次由卷积、残差模块、最大池化以及两个残差模块构成。

4.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述关节依赖建模的方法，包括如下步骤：

A-1：使用单关节回归网络建立关节依赖关系模型；

A-2：根据关节依赖关系模型，使用单关节回归网络从头部关节依次回归所有类型关节；

A-3：根据所有类型关节，构建人体树模型，实现关节依赖建模。

5.根据权利要求4所述的基于关节依赖的人体骨架提取方法，其特征在于，所述单关节回归网络依次由沙漏模块、残差模块和卷积构成。

6.根据权利要求4所述的基于关节依赖的人体骨架提取方法，其特征在于，所述关节依赖关系模型的公式为：

人体骨架提取形式化描述公式为：

式中，为网络回归出来的关节点的类标E为低层特征提取网络；α为单回归网络参数；F为回归网络；β为回归网络的参数；

头部关节建模公式为：

式中，为输出的头部关节的特征；为头部关节的预测类标；H₁为单回归网络函数；E(X_i,α)为输入的图片X_i的特征；α为单回归网络参数；β₁为当前单回归网络参数集合；j₁为头部关节；J为关节集合；

其它关节之间依赖关系建模公式为：

式中，为下一个网络输出的关节的特征；为上一个关节的预测类标；为上一个网络输出的关节的特征；β_t为上一个网络单回归网络参数集合；S(j_t)为在S中找出以关节j_t结尾的有序关节集合；j_t为上一个关节；J为关节集合。

7.根据权利要求1所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4中，使用反向传播算法对关节依赖的人体骨架提取网络模型进行优化，包括如下步骤：

S4-1：计算关节的真实坐标的热力图；

S4-2：根据关节的预测类标和真实的热力图，拟合真实的类标，回归人体的关节点。

8.根据权利要求7所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4-1中，关节的真实坐标的热力图的计算公式为：

式中，g(y_jk,i,j)为(i,j)空间位置的关节的真实坐标的热力图；为图像中关节k的真实坐标。

9.根据权利要求7所述的基于关节依赖的人体骨架提取方法，其特征在于，所述步骤S4-2中，关节依赖的人体骨架提取网络模型的损失的计算公式为：

式中，L为关节依赖的人体骨架提取网络模型的损失函数；为关节k的预测类标；(X,Y)为训练样本；D为数据集；j_k为当前关节指示量；K为关节总数；J为关节集合。