CN109255783B - 一种多人图像上的人体骨骼关键点的位置排布检测方法 - Google Patents

Abstract

本发明公开了一种多人图像上的人体骨骼关键点的位置排布检测方法，通过构建并训练全卷积深度神经网络，将人体骨骼关键点原始彩色图像经初步处理后转化为深度图再作为该全卷积深度神经网络的输入，经若干阶段的循环变换计算输出18骨骼关键点位置的18层人体骨骼单关键点置信图以及17个人体骨骼关键点链接段的17层人体骨骼单段关键点链接场图，在多阶段循环变换计算中，利用循环结束验证判断公式验证循环结束的节点，另外，还通过计算多阶段循环变换计算总损失L对多阶段循环变换计算进行训练控制，本发明有效地利用特征信息、结合全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

Description

一种多人图像上的人体骨骼关键点的位置排布检测方法

技术领域

本发明涉及计算机视觉研究技术领域，具体涉及一种多人图像上的人体骨骼关键点的位置排布检测方法。

背景技术

计算机视觉研究领域中其中一个重要的任务是人体骨骼关键点检测，具体来说是使得计算机能够感知人体各个骨骼关键点的位置，为进一步的动作识别、动作异常检测等多个实用场景提供基础。

人体骨骼关键点检测任务的目标是以一张图片作为输入，输出图中人体的各个骨骼关键点在图片中的横纵坐标。输入图片往往有两种，一种是三维的RGB彩色图片，另外一种是二维的深度图。RGB图片往往由于光线明暗、衣着复杂、背景杂乱等干扰因素而增加人体骨骼关键点检测的难度。而深度摄像机能够测量人与相机之间的距离，把距离转化成深度值(每个像素的深度值是该点所处的真实空间到深度摄像机之间的距离，并通过一定计算转化而成的值)，直接勾勒出人体的轮廓，具有抗光线明暗、衣着复杂、背景杂乱等干扰性，大大增强了神经网络输出的鲁棒性以及能够用简化神经网络的构建复杂度，也就能够减少计算复杂度从而加快神经网络的运行速度。因此使用深度图是一种人体骨骼关键点检测的重要数据类型。

然而，由于深度图缺乏对于人体细节的记录，深度图会存在一些深度噪声，并且人体自遮挡以及外部障碍物遮挡等困难依旧存在，因此要求稳定快速地进行基于深度图进行二维人体骨骼关键点检测依旧是一个十分具有挑战性的课题。此外，人体骨骼关键点检测任务往往需求模型既能够推断出不同骨骼关键点之间的相互联系(全局信息)，又能够根据图片特征块区区域的细节特征(局部信息)来判断该区域所对应的骨骼点，因此设计出有效的模型来结合两者信息也是更好地去解决以上问题的方法。

发明内容

本发明的目的在于提供一种多人图像上的人体骨骼关键点的位置排布检测方法，用以解决目前人体骨骼关键点检测中存在的利用RGB图片检测造成的干扰性大、利用深度图检测存在深度噪音以及计算模型不能很好地结合全局信息和局部信息的技术问题。

为实现上述目的，本发明提供了一种多人图像上的人体骨骼关键点的位置排布检测方法，所述检测方法包括：将人体骨骼关键点原始彩色图像输入至人体位置和纹理全卷积神经网络训练模型f；经人体位置和纹理全卷积神经网络训练模型f计算生成突显人体骨骼关键点原始彩色图像上每个人的位置和纹理的人体位置和纹理彩色特征图F；将人体位置和纹理彩色特征图F经RGB转灰度计算后生成人体位置和纹理灰度特征图F'；将人体位置和纹理灰度特征图F'分别输入至若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k变换计算生成表示各个骨骼关键点位置的每个阶段的人体骨骼关键点置信图s^k；人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

变换计算生成表示两个物理上链接的骨骼关键点之间的链接关系的每个阶段的人体骨骼关键点链接场图l^k；每个阶段变换计算生成的每个阶段人体骨骼关键点置信图s^k和每个阶段人体骨骼关键点链接场图l^k进行融合计算生成人体骨骼关键点融合特征图后再进行下个阶段的循环变换计算；及根据最终阶段变换计算生成的人体骨骼关键点置信图s^k和人体骨骼关键点链接场图l^k计算得到输入的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置排布信息；其中，k为多阶段循环变换计算中的第k个阶段。

进一步地，所述人体位置和纹理全卷积神经网络训练模型f的网络架构为CCPCCPCCCCPC，每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的网络架构为CCCCC，其中，C为卷积层，卷积层C为一个m×m的矩阵，3≤m≤5，P为池化层，池化层P为一个n×n的矩阵，2≤n≤4。

进一步地，所述人体位置和纹理彩色特征图F的宽度w'和高度h'分别为：w'＝w/n^a，h'＝h/n^a；其中，w为人体骨骼关键点原始彩色图像的宽度，h为人体骨骼关键点原始彩色图像的高度，n表示池化层的矩阵大小，2≤n≤4，a为人体位置和纹理全卷积神经网络训练模型f的网络架构中池化层的个数。

进一步地，所述每个阶段人体骨骼关键点置信图s^k具有表示18个骨骼关键点位置的18层人体骨骼单关键点置信图，每层人体骨骼单关键点置信图表示1个骨骼关键点位置。

进一步地，所述18个骨骼关键点分别为：鼻子、脖子、右肩膀、右肘关节、右腕关节、左肩膀、左肘关节、左腕关节、右臀部、右膝关节、右踝关节、左臀部、左膝关节、左踝关节、右眼、左眼、右耳和左耳。

进一步地，所述每个阶段人体骨骼关键点链接场图l^k具有表示17个人体骨骼关键点链接段的17层人体骨骼单段关键点链接场图，每层人体骨骼单段关键点链接场图表示1个人体骨骼关键点链接段的人体骨骼关键点链接对的链接关系，所述人体骨骼关键点链接段为二维向量，人体骨骼关键点链接对由起点人体骨骼关键点和终点人体骨骼关键点组成。

进一步地，所述17个人体骨骼关键点链接段的人体骨骼关键点链接对分别为：鼻子和脖子、脖子和右肩膀、脖子和左肩膀、脖子和右臀部、脖子和左臀部、右肩膀和右肘关节、右肘关节和右腕关节、左肩膀和左肘关节、左肘关节和左腕关节、右臀部和右膝关节、右膝关节和右踝关节、左臀部和左膝关节、左膝关节和左踝关节、右耳和右眼、左耳和左眼、右眼和鼻子、左眼和鼻子。

进一步地，所述多阶段循环变换计算的循环结束验证方法包括：随机选取若干人体骨骼关键点原始彩色图像形成验证数据集；验证数据集中具有每个人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息；利用每个阶段计算得到的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置坐标与验证数据集中人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置坐标计算两者之间的距离并累计求和；直到满足多阶段循环变换计算的循环结束验证判断公式时，多阶段循环变换计算的循环结束；其中，所述多阶段循环变换计算的循环结束验证判断公式为：

其中，M为验证数据集中人体骨骼关键点原始彩色图像中人的个数；

N为验证数据集中人体骨骼关键点原始彩色图像中每个人的人体骨骼关键点个数；(x_i,j，y_i,j)为多阶段循环变换计算的某个阶段计算预测得出的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；(x'_i,j，y'_i,j)为验证数据集中的人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息中的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；i表示第i个人；j表示第j个人体骨骼关键点。

进一步地，所述多阶段循环变换计算的训练控制方法包括：随机选取若干人体骨骼关键点原始彩色图像形成训练数据集；预设若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；计算人体骨骼关键点置信图基准值s^*，所述人体骨骼关键点置信图基准值s^*计算公式如下：

其中，

为第k个阶段第num个人体骨骼关键点的人体骨骼关键点置信图基准值，1≤num≤18，(i′,j′)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上的像素点坐标，1≤k₁≤18，1≤i'≤w'，1≤j'≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₁个人体骨骼关键点真实坐标，δ²＝1e²＝1×10²＝100；计算人体骨骼关键点链接场图基准值l*，所述人体骨骼关键点链接场图基准值l*计算公式如下：

其中，

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量，1≤num'≤17，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在x方向上的分向量，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在y方向上的分向量，(i″,j″)为第k个阶段第k2个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标；计算多阶段循环变换计算总损失L，多阶段循环变换计算总损失L的计算公式为：

其中，s^k(i′,j′,k₁)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上像素点的置信响应值，l^k(i″,j″,k₂)为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在x方向上的分向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在y方向上的分向量；直到L≦M×10时，其中，M为训练数据集中人体骨骼关键点原始彩色图像中人的个数，停止对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的训练，否则，继续对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行调整并训练。

进一步地，确定所述(i″,j″)是否在由所述第一和第二人体骨骼关键点A和B确定的骨骼段上的方法包括：当满足人体骨骼关键点链接场图基准值l^*计算条件判断公式时，确定所述(i″,j″)是否在由所述第一和第二人体骨骼关键点A和B确定的骨骼段上，人体骨骼关键点链接场图基准值l^*计算条件判断公式如下：

其中，(i″,j″)为第k个阶段第k2个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标，“·”表示向量点乘，

表示向量

的垂直向量。

本发明具有如下优点：

本发明通过构建并训练全卷积深度神经网络，将人体骨骼关键点原始彩色图像经初步处理后转化为深度图再作为该全卷积深度神经网络的输入，经若干阶段的循环变换计算输出18骨骼关键点位置的18层人体骨骼单关键点置信图以及17个人体骨骼关键点链接段的17层人体骨骼单段关键点链接场图，在多阶段循环变换计算中，利用循环结束验证判断公式验证循环结束的节点，另外，还通过计算多阶段循环变换计算总损失L对多阶段循环变换计算进行训练控制，本发明有效地利用特征信息、结合全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

附图说明

图1为本发明的一种多人图像上的人体骨骼关键点的位置排布检测方法的流程图。

图2为本发明的一种多人图像上的人体骨骼关键点的位置排布检测方法中人体位置和纹理彩色特征图F中人体骨骼关键点及人体骨骼关键点链接段分布示意图。

图3为本发明的一种多人图像上的人体骨骼关键点的位置排布检测方法中的多阶段循环变换计算的循环结束验证方法的流程图。

图4为本发明的一种多人图像上的人体骨骼关键点的位置排布检测方法中的多阶段循环变换计算的训练控制方法的流程图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

参考图1，本实施例公开的一种多人图像上的人体骨骼关键点的位置排布检测方法包括：将人体骨骼关键点原始彩色图像输入至人体位置和纹理全卷积神经网络训练模型f；经人体位置和纹理全卷积神经网络训练模型f计算生成突显人体骨骼关键点原始彩色图像上每个人的位置和纹理的人体位置和纹理彩色特征图F；将人体位置和纹理彩色特征图F经RGB转灰度计算后生成人体位置和纹理灰度特征图F'；将人体位置和纹理灰度特征图F'分别输入至七个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和七个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k变换计算生成表示各个骨骼关键点位置的每个阶段人体骨骼关键点置信图s^k；人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

变换计算生成表示两个物理上链接的骨骼关键点之间的链接关系的每个阶段人体骨骼关键点链接场图l^k；每个阶段变换计算生成的每个阶段人体骨骼关键点置信图s^k和每个阶段人体骨骼关键点链接场图l^k进行融合计算生成人体骨骼关键点融合特征图后再进行下个阶段的循环变换计算；及根据最终阶段(第七阶段)变换计算生成的人体骨骼关键点置信图s^k和人体骨骼关键点链接场图l^k计算得到输入的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置排布信息；其中，k为多阶段循环变换计算中的第k个阶段。

优选地，本实施例中，人体位置和纹理全卷积神经网络训练模型f的网络架构为CCPCCPCCCCPC，每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的网络架构为CCCCC，其中，C为卷积层，卷积层C为一个m×m的矩阵，3≤m≤5，P为池化层，池化层P为一个n×n的矩阵，2≤n≤4。

进一步地，本实施例中，所述人体位置和纹理彩色特征图F的宽度w'和高度h'分别为：

w'＝w/n^a，h'＝h/n^a；

其中，w为人体骨骼关键点原始彩色图像的宽度，h为人体骨骼关键点原始彩色图像的高度，n表示池化层的矩阵大小，2≤n≤4，a为人体位置和纹理全卷积神经网络训练模型f的网络架构中池化层的个数。

进一步地，本实施例中，每个阶段人体骨骼关键点置信图s^k具有表示18个骨骼关键点位置的18层人体骨骼单关键点置信图，每层人体骨骼单关键点置信图表示1个骨骼关键点位置，参考图2，18个骨骼关键点分别为：鼻子0、脖子1、右肩膀2、右肘关节3、右腕关节4、左肩膀5、左肘关节6、左腕关节7、右臀部8、右膝关节9、右踝关节10、左臀部11、左膝关节12、左踝关节13、右眼14、左眼15、右耳16和左耳17。

进一步地，本实施例中，每个阶段人体骨骼关键点链接场图l^k具有表示17个人体骨骼关键点链接段的17层人体骨骼单段关键点链接场图，每层人体骨骼单段关键点链接场图表示1个人体骨骼关键点链接段的人体骨骼关键点链接对的链接关系，所述人体骨骼关键点链接段为二维向量，人体骨骼关键点链接对由起点人体骨骼关键点和终点人体骨骼关键点组成。参考图2，17个人体骨骼关键点链接段的人体骨骼关键点链接对分别为：鼻子0和脖子1、脖子1和右肩膀2、脖子1和左肩膀5、脖子1和右臀部8、脖子1和左臀部11、右肩膀2和右肘关节3、右肘关节3和右腕关节4、左肩膀5和左肘关节6、左肘关节6和左腕关节7、右臀部8和右膝关节9、右膝关节9和右踝关节10、左臀部11和左膝关节12、左膝关节12和左踝关节13、右耳16和右眼14、左耳17和左眼15、右眼14和鼻子0、左眼15和鼻子0。

参考图3，所述多阶段循环变换计算的循环结束验证方法包括：随机选取若干人体骨骼关键点原始彩色图像形成验证数据集；验证数据集中具有每个人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息；利用每个阶段计算得到的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置坐标与验证数据集中人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置坐标计算两者之间的距离并累计求和；直到满足多阶段循环变换计算的循环结束验证判断公式时，多阶段循环变换计算的循环结束；其中，所述多阶段循环变换计算的循环结束验证判断公式为：

其中，M为验证数据集中人体骨骼关键点原始彩色图像中人的个数；N为验证数据集中人体骨骼关键点原始彩色图像中每个人的人体骨骼关键点个数；(x_i,j，y_i,j)为多阶段循环变换计算的某个阶段计算预测得出的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；(x'_i,j，y'_i,j)为验证数据集中的人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息中的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；i表示第i个人；j表示第j个人体骨骼关键点。

参考图4，所述多阶段循环变换计算的训练控制方法包括：随机选取若干人体骨骼关键点原始彩色图像形成训练数据集；预设若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；计算人体骨骼关键点置信图基准值s^*，所述人体骨骼关键点置信图基准值s^*计算公式如下：

其中，

为第k个阶段第num个人体骨骼关键点的人体骨骼关键点置信图基准值，1≤num≤18，(i′,j′)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上的像素点坐标，1≤k₁≤18，1≤i'≤w'，1≤j'≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₁个人体骨骼关键点真实坐标，δ²＝1e²＝1×10²＝100；计算人体骨骼关键点链接场图基准值l*，所述人体骨骼关键点链接场图基准值l*计算公式如下：

其中，

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量，1≤num'≤17，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在x方向上的分向量，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在y方向上的分向量，(i″,j″)为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标；计算多阶段循环变换计算总损失L，多阶段循环变换计算总损失L的计算公式为：

其中，s^k(i′,j′,k₁)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上像素点的置信响应值，l^k(i″,j″,k₂)为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在x方向上的分向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在y方向上的分向量；直到L≦M×10时，其中，M为训练数据集中人体骨骼关键点原始彩色图像中人的个数，停止对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的训练，否则，继续对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行调整并训练。

进一步地，确定所述(i″,j″)是否在由所述第一和第二人体骨骼关键点A和B确定的骨骼段上的方法包括：当满足人体骨骼关键点链接场图基准值l^*计算条件判断公式时，确定所述(i″,j″)是否在由所述第一和第二人体骨骼关键点A和B确定的骨骼段上，人体骨骼关键点链接场图基准值l^*计算条件判断公式如下：

其中，(i″,j″)为第k个阶段第k2个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标，“·”表示向量点乘，

表示向量

的垂直向量。

本实施例中的如上所描述的所述多阶段循环变换计算的训练控制方法中，计算多阶段循环变换计算总损失L时，是以多阶段循环变换计算的每个阶段的计算结果为基础进行计算的，即利用每个阶段的人体骨骼关键点置信图s^k和每个阶段的人体骨骼关键点链接场图l^k进行，这样，可以防止多阶段循环变换计算中由于数据量过大造成的系统卡死情况。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述检测方法包括：

将人体骨骼关键点原始彩色图像输入至人体位置和纹理全卷积神经网络训练模型f；

经人体位置和纹理全卷积神经网络训练模型f计算生成突显人体骨骼关键点原始彩色图像上每个人的位置和纹理的人体位置和纹理彩色特征图F；

将人体位置和纹理彩色特征图F经RGB转灰度计算后生成人体位置和纹理灰度特征图F'；

将人体位置和纹理灰度特征图F'分别输入至人体骨骼关键点置信全卷积神经网络训练模型ρ^k和人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；

人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k变换计算生成表示各个骨骼关键点位置的每个阶段的人体骨骼关键点置信图s^k；

人体位置和纹理灰度特征图F'经每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

变换计算生成表示两个物理上链接的骨骼关键点之间的链接关系的每个阶段的人体骨骼关键点链接场图l^k；

每个阶段变换计算生成的每个阶段人体骨骼关键点置信图s^k和每个阶段人体骨骼关键点链接场图l^k进行融合计算生成人体骨骼关键点融合特征图后再进行下个阶段的循环变换计算；及

根据最终阶段变换计算生成的人体骨骼关键点置信图s^k和人体骨骼关键点链接场图l^k计算得到输入的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置排布信息；

其中，k为多阶段循环变换计算中的第k个阶段。

2.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述人体位置和纹理全卷积神经网络训练模型f的网络架构为CCPCCPCCCCPC，每个阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和每个阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的网络架构为CCCCC，其中，C为卷积层，卷积层C为一个m×m的矩阵，3≤m≤5，P为池化层，池化层P为一个n×n的矩阵，2≤n≤4。

3.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述人体位置和纹理彩色特征图F的宽度w'和高度h'分别为：

w'＝w/n^a，h'＝h/n^a；

其中，w为人体骨骼关键点原始彩色图像的宽度，h为人体骨骼关键点原始彩色图像的高度，n表示池化层的矩阵大小，2≤n≤4，a为人体位置和纹理全卷积神经网络训练模型f的网络架构中池化层的个数。

4.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述每个阶段人体骨骼关键点置信图s^k具有表示18个骨骼关键点位置的18层人体骨骼单关键点置信图，每层人体骨骼单关键点置信图表示1个骨骼关键点位置。

5.根据权利要求4所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述18个骨骼关键点分别为：鼻子、脖子、右肩膀、右肘关节、右腕关节、左肩膀、左肘关节、左腕关节、右臀部、右膝关节、右踝关节、左臀部、左膝关节、左踝关节、右眼、左眼、右耳和左耳。

6.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述每个阶段人体骨骼关键点链接场图l^k具有表示17个人体骨骼关键点链接段的17层人体骨骼单段关键点链接场图，每层人体骨骼单段关键点链接场图表示1个人体骨骼关键点链接段的人体骨骼关键点链接对的链接关系，所述人体骨骼关键点链接段为二维向量，人体骨骼关键点链接对由起点人体骨骼关键点和终点人体骨骼关键点组成。

7.根据权利要求6所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述17个人体骨骼关键点链接段的人体骨骼关键点链接对分别为：鼻子和脖子、脖子和右肩膀、脖子和左肩膀、脖子和右臀部、脖子和左臀部、右肩膀和右肘关节、右肘关节和右腕关节、左肩膀和左肘关节、左肘关节和左腕关节、右臀部和右膝关节、右膝关节和右踝关节、左臀部和左膝关节、左膝关节和左踝关节、右耳和右眼、左耳和左眼、右眼和鼻子、左眼和鼻子。

8.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述多阶段循环变换计算的循环结束验证方法包括：

随机选取若干人体骨骼关键点原始彩色图像形成验证数据集；

验证数据集中具有每个人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息；

利用每个阶段计算得到的人体骨骼关键点原始彩色图像上的每个人的所有骨骼关键点的位置坐标与验证数据集中人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置坐标计算两者之间的距离并累计求和；

直到满足多阶段循环变换计算的循环结束验证判断公式时，多阶段循环变换计算的循环结束；

其中，所述多阶段循环变换计算的循环结束验证判断公式为：

其中，M为验证数据集中人体骨骼关键点原始彩色图像中人的个数；

N为验证数据集中人体骨骼关键点原始彩色图像中每个人的人体骨骼关键点个数；

(x_i,j，y_i,j)为多阶段循环变换计算的某个阶段计算预测得出的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；

(x'_i,j，y'_i,j)为验证数据集中的人体骨骼关键点原始彩色图像的每个人的所有骨骼关键点的位置排布信息中的第i个人的第j个人体骨骼关键点在人体骨骼关键点原始彩色图像中的位置坐标；

i表示第i个人；

j表示第j个人体骨骼关键点。

9.根据权利要求1所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，所述多阶段循环变换计算的训练控制方法包括：

随机选取若干人体骨骼关键点原始彩色图像形成训练数据集；

预设若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行多阶段循环变换计算；

计算人体骨骼关键点置信图基准值s^*，所述人体骨骼关键点置信图基准值s^*计算公式如下：

其中，

为第k个阶段第num个人体骨骼关键点的人体骨骼关键点置信图基准值，1≤num≤18，(i′,j′)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上的像素点坐标，1≤k₁≤18，1≤i'≤w'，1≤j'≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₁个人体骨骼关键点真实坐标，δ²＝1e²＝1×10²＝100；

计算人体骨骼关键点链接场图基准值l*，所述人体骨骼关键点链接场图基准值l*计算公式如下：

其中，

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量，1≤num'≤17，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在x方向上的分向量，

和

为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上骨骼段方向基准向量在y方向上的分向量，(i″,j″)为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标；

计算多阶段循环变换计算总损失L，多阶段循环变换计算总损失L的计算公式为：

其中，s^k(i′,j′,k₁)为第k个阶段第k₁个人体骨骼关键点的人体骨骼关键点置信图上像素点的置信响应值，l^k(i″,j″,k₂)为第k个阶段第num个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在x方向上的分向量，

为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的骨骼段方向向量在y方向上的分向量；直到L≦M×10时，其中，M为训练数据集中人体骨骼关键点原始彩色图像中人的个数，停止对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

的训练，否则，继续对若干阶段的人体骨骼关键点置信全卷积神经网络训练模型ρ^k和若干阶段的人体骨骼关键点链接场全卷积神经网络训练模型

进行调整并训练。

10.根据权利要求9所述的一种多人图像上的人体骨骼关键点的位置排布检测方法，其特征在于，确定所述(i″,j″)是否在由第一和第二人体骨骼关键点A和B确定的骨骼段上的方法包括：

当满足人体骨骼关键点链接场图基准值l^*计算条件判断公式时，确定所述(i″,j″)是否在由所述第一和第二人体骨骼关键点A和B确定的骨骼段上，人体骨骼关键点链接场图基准值l^*计算条件判断公式如下：

其中，(i″,j″)为第k个阶段第k₂个人体骨骼段的人体骨骼关键点链接场图上的像素点坐标，1≤k₂≤17，1≤i″≤w'，1≤j″≤h'，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第一人体骨骼关键点A的真实坐标，

为随机从训练数据集中选取的一个人体骨骼关键点原始彩色图像标定过的第k₂个人体骨骼段的第二人体骨骼关键点B的真实坐标，“·”表示向量点乘，

表示向量

的垂直向量。

Images