CN107767419A - 一种人体骨骼关键点检测方法及装置 - Google Patents

Abstract

本发明公开了一种人体骨骼关键点检测方法及装置，包括如下步骤：步骤一，获取单目深度图；步骤二，将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息，本发明通过有效地利用特征信息、结合前后期的特征信息和全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

Description

一种人体骨骼关键点检测方法及装置

技术领域

本发明涉及一种人体骨骼关键点检测方法及装置，特别是涉及一种利用前后期特征图信息、局部与全集信息的全卷积神经网络来检测二维深度图中人体骨骼关键点位置的人体骨骼关键点检测方法及装置。

背景技术

计算机视觉研究领域中其中一个重要的任务是人体骨骼关键点检测，具体来说是使得计算机能够感知人体各个骨骼关键点的位置，为进一步的动作识别、动作异常检测、智能监控、自动驾驶等多个实用场景提供基础。

人体骨骼关键点检测任务的目标是以一张图片作为输入，输出图中人体的各个骨骼关键点在图片中的横纵坐标。输入图片往往有两种，一种是三维的RGB彩色图片，另外一种是二维的深度图。RGB图片往往由于光线明暗、衣着复杂、背景杂乱等干扰因素而增加人体骨骼关键点检测的难度。而深度摄像机能够测量人与相机之间的距离，把距离转化成深度值(每个像素的深度值是该点所处的真实空间到深度摄像机之间的距离，并通过一定计算转化而成的值)，直接勾勒出人体的轮廓，具有抗光线明暗、衣着复杂、背景杂乱等干扰性，大大增强了神经网络输出的鲁棒性以及能够用简化神经网络的构建复杂度，也就能够减少计算复杂度从而加快神经网络的运行速度。因此使用深度图是一种人体骨骼关键点检测的重要数据类型。

然而，由于深度图缺乏对于人体细节的记录，深度图会存在一些深度噪声，并且人体自遮挡以及外部障碍物遮挡等困难依旧存在，因此要求稳定快速地进行基于深度图进行二维人体骨骼关键点检测依旧是一个十分具有挑战性的课题。此外，人体骨骼关键点检测任务往往需求模型既能够推断出不同骨骼关键点之间的相互联系(全局信息)，又能够根据图片特征块区区域的细节特征(局部信息)来判断该区域所对应的骨骼点，因此设计出有效的模型来结合两者信息也是更好地去解决以上问题的方法。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种人体骨骼关键点检测方法及装置，以通过有效地利用特征信息、结合前后期的特征信息和全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

为达上述及其它目的，本发明提出一种人体骨骼关键点检测方法，包括如下步骤：

步骤一，获取单目深度图；

步骤二，将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。

进一步地，于步骤一之前，还包括如下步骤：

构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数，获得所述经训练好的全卷积深度神经网络。

进一步地，所述构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数的步骤包括：

构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数；

收集若干单目深度图作为收集训练样本，并对所述单目深度图中的人进行人体骨骼关键点的标注，获得标注坐标；

生成所述标注坐标对应的目标特征图；

以所述单目深度图作为输入，以所述标注坐标生成的特征图为目标输出，使用梯度下降优化算法，利用所述训练样本进行端到端的模型训练，更新所述全卷积深度神经网络的参数，使得所述全卷积深度神经网络输出趋于目标输出。

进一步地，于所述构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数的步骤中，所构建的全卷积深度神经网络包括多个二维卷积层、多个修正线性单元层，除最后一层获得输出的卷积层，其余每一层卷积层后接一个修正线性单元，其间加入多个池化层、上采样层，所述上采样层后接一层将高级特征和低级特征并联的特征图并联层。

进一步地，所述全卷积深度神经网络中的任意一处特征通过特征增强模块来增强特征输出，所述特征增强模块的加入形式采用并联或者串联形式。

进一步地，于所述生成所述标注坐标对应的目标特征图的步骤中，以每个人体骨骼关键点的标注坐标为中心，依次生成二维高斯分布的概率置信图。

进一步地，于所述梯度下降优化算法采用基于一阶梯度的随机优化算法用于更新所述神经网络中的参数，其目标损失函数是网络的输出特征图与目标特征图之间的欧氏距离，并以欧氏距离作为损失值对所述神经网络中各个参数求偏导，最终以偏导值来更新所述神经网络的参数。

进一步地，所述目标损失函数为：

其中,K是骨骼点数目，b^k(z)是骨骼点k的神经网络的输出特征图，是骨骼点k的目标特征图，K为总共骨骼关键点的数量，z为输出特征图在二维空间上的范围中的坐标，Z为输出特征图在二维空间上的范围，所述目标损失函数以所述神经网络的输出特征图与目标特征图之间的欧氏距离作为模型训练误差信息，通过反向传播算法求卷积层中各个参数的偏导数；根据计算结果更新网络参数并重复迭代计算。

进一步地，于步骤二中，将获得的单目深度图输入到已经训练好的全卷积深度神经网络中，输出其中的人物各个骨骼点的概率置信图，根据概率置信图中的最大概率像素点的位置，得到人体骨骼点二维坐标。

为达到上述目的，本发明还提供一种人体骨骼关键点检测装置，包括：

深度图获取单元，用于获取单目深度图；

检测单元，用于将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。

与现有技术相比，本发明一种人体骨骼关键点检测方法及装置通过通过构建并训练全卷积深度神经网络，以单目深度图作为该全卷积深度神经网络的输入，输出K个人体骨骼关键点的概率置信图，并以概率置信图中概率最大值所对应的像素点的坐标作为该骨骼关键点的坐标，通过一定坐标转换计算得到最终骨骼关键点的坐标，实现了利用前后期特征图信息、局部与全集信息的全卷积神经网络来检测单目深度图中二维人体骨骼关键点位置的目的，本发明，有效地利用特征信息、结合前后期的特征信息和全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

附图说明

图1为本发明一种人体骨骼关键点检测方法的步骤流程图；

图2为本发明具体实施例中全卷积深度神经网络的框架图；

图3为本发明具体实施例中全卷积深度神经网络的详细网络设置图；

图4为本发明具体实施例中全卷积神经网络任意位置加入特征增强模块的示意图；

图5为本发明具体实施例支持的15个人体骨骼关键点示意图；

图6为本发明一种人体骨骼关键点检测装置的一个实施例的系统架构图；

图7为本发明一种人体骨骼关键点检测装置的另一个实施例的系统架构图；

图8为本发明具体实施例中全卷积深度神经网络构建训练单元的细部结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种人体骨骼关键点检测方法的步骤流程图。如图1所示，本发明一种人体骨骼关键点检测方法，包括如下步骤：

步骤S1，获取单目深度图。在本发明具体实施例中，所述单目深度图可得通过深度摄像机拍摄获得，该图片的每个值表示对应像素实际物体与深度摄像机摄像头之间的距离，该值为把该距离经过一定计算得到的值，由于单目深度图的获取位为现有技术，在此不予赘述。

步骤S2，将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。具体地，于步骤S2中，将获得的单目深度图输入到已经训练好的全卷积深度神经网络中，输出其中的人物各个骨骼点的概率置信图，最终根据置信图中的最大概率像素点的位置，得到骨骼点二维坐标。

可见，本发明之人体骨骼关键点以单目深度图作为全卷积深度神经网络的输入，输出K个人体骨骼关键点的概率置信图，其中K为人体骨骼关键点的数量，并以概率置信图中概率最大值所对应的像素点的坐标作为该骨骼关键点的坐标，通过一定坐标转换计算得到最终骨骼关键点的坐标。

优选地，于步骤S1之前，还包括如下步骤：

步骤S0，构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数。

具体地，步骤S0进一步包括：

步骤S00，构建全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数。所述神经网络的参数主要包含卷积层的卷积核权重和卷积核偏置。

如图2所示，所述全卷积神经网络包括多个二维卷积层和修正线性单元层(图中未示出)依次串联(除最后一层获得输出的卷积层)，其间加入多个池化层、上采样层和特征图并联层，具体地，可于其中加入三个最大值池化层以及两个最邻近上采样层，上采样层后接一层将高级特征和低级特征并联的特征图并联层。其中，各层具体用于：

二维卷积层用于对数据进行卷积操作，从而提取数据更高级的特征；

池化层用于整合特征信息到更小的特征图中，例如整合输入某一区域中最显著的特征，并以此特征作为输出，这样使得该层具有抗噪声的能力；

上采样层用于扩散全局信息到最邻近的坐标点中；

修正线性单元层只允许非负信号的通过，这样增加了网络的非线性，增强网络的拟合数据的能力；

特征图并联层用于将输入的两个特征图并联输出，即将高级特征和低级特征并联。

步骤S01，收集若干单目深度图作为收集训练样本，并对深度图中的人进行人体骨骼关键点的标注，获得标注坐标。在本发明具体实施例中，通过深度摄像机获取一系列深度图，并且对深度图中的人进行K个人体骨骼关键点的标注，获得标注坐标；即，于步骤S01中，使用深度摄像机拍摄包含各种人体姿势的深度图，对各个二维人体骨骼关键点进行标注(可通过人工标注或其他标注方式)，得到标注坐标，该标注坐标是以图片的长和宽为界限的横纵坐标，在本发明具体实施例中，在本发明中，K初步设置为15。如图5所示，这些骨骼点总计15个，包括：头部、颈部、躯干中心、左肩、左肘、左腕、左臀、右肩、右肘、右腕、左膝、左踝、右臀、右膝、右踝；

步骤S02，生成标注坐标对应的目标特征图，所述目标特征图是以标注坐标为中心所生成的二维概率置信图，即，以每个人体骨骼关键点的标注坐标为中心，依次生成二维高斯分布的概率置信图，一个标注坐标对应一张概率置信图，假如人体骨骼关键点数量为K，则生成K张概率置信图，该K张概率置信图在通道维并联，假设概率置信图长为H、宽为W，并联成大小为(K，H，W)的目标特征图；

步骤S03，采用梯度下降优化算法，端到端地利用训练样本更新卷积神经网络的参数，即以所述单目深度图作为输入，以所述标注坐标生成的特征图为目标输出，使用梯度下降优化算法，利用所述训练样本进行端到端的模型训练，更新所述全卷积深度神经网络的参数，使得所述全卷积深度神经网络输出趋于目标输出。在本发明中，梯度下降优化算法使用的是基于一阶梯度的随机优化算法(Adaptive moment estimation，Adam)，用于更新神经网络中的参数。目标损失函数是网络的输出特征图与目标特征图(概率置信图)之间的欧氏距离，并以欧氏距离作为损失值对神经网络中各个参数求偏导，最终以偏导值来更新网络参数。

本发明以深度图作为网络输入，输出K个人体骨骼关键点的概率置信图，其中K为人体骨骼关键点的数量，并以概率置信图中概率最大值所对应的像素点的坐标作为该骨骼关键点的坐标，通过一定坐标转换计算的到最终骨骼关键点的坐标。

图3为本发明一具体实施例中全卷积神经网络详细网络设置图。在本发明具体实施例中，全卷积神经网络包括10个二维卷积层，3个降采样池化层、2个上采样层、2个特征图并联层。具体地，各层具体用于：

二维卷积层：二维卷积层是对输入特征进行卷积运算从而得到多个卷积所得的特征输出。假如输入特征的大小为n_i×h_i×w_i，其中n_i、h_i、w_i为输入通道数、输入特征图的高和宽，二维卷积核的大小为n_o×n_i×h_k×w_k，其中n_o、n_i、h_k、w_k分别表示输出通道数、输入通道数、卷积核的高和宽。卷积后可以获得一个大小为n_o×h_o×w_o的输出特征图。其中位于输出特征图(s，x，y)位置处的值可以表示成，

其中u_k(x+i)(y+j)表示输入特征图中的第k个输入特征通道中(x+i，y+j)位置的像素值，ω_skij表示卷积核的权重，b_s表示卷积核的第s个输出通道的偏置。在进行卷积之前，在输入特征图边缘补零，使得输出特征图的长和宽与补零之前的输入特征图长和宽一样大。

池化层：本发明选用最大值池化层，该层操作为选定一定大小的区域作为作用区，在作用区中选取最大值作为输出值，通过一定的跨度不断选取新的作用区来进行选取最大值的操作。以n_i×h_i×w_i的特征图作为输入，最大值池化层所选用的作用区大小为2×2，并且在长和宽方向的跨度分别为(2，2)，输出特征图的大小为n_i×(h_i/2)×(w_i/2)。

修正线性单元层：该层只把输入特征图中每个值大于0的像素点以原值作为输出特征图对应像素点的值，而输入特征图中每个值小于0的像素点以零值作为输出特征图对应像素点的值。该单元增加了网络的非线性，更好的拟合不同种类的函数，增强模型拟合数据的能力。假设表示v本层的输出，u表示本层输入，则有

v＝max(0，u)

通过实验证明在深度卷积神经网络中，使用修线性单元层的非线性性质不但可以增强神经网络拟合能力和表达能力，也使得整个网络的收敛速度相比使用其他激活函数的快。

上采样层：该层采用了对图片进行放大或者缩小的方法，本发明采取对输入特征图采用最邻近插值的方法，并且使用上采样(例如对图片进行放大)的方式得到输出特征图。最邻近插值方法所得到的输出特征图中每个像素点a的值为输入特征图中一个与像素点a坐标距离最近的像素点b的值。

特征图并联层：该层的输入为两个特征图，并要求这两个特征图的长和宽一样大小，输出为两个输入在通道这一维度上的并联。输入特征图u₁的大小为(n₁，h，w)，输入特征图u₂的大小为(n₂，h，w)，通过这一层操作所得到的输出特征图大小为(n₁+n₂，h，w)。也就是不改变输入的值，输出为两个输入的并联。

具体地，本发明全卷积神经网络前馈过程为：假设原图输入大小为(H_ori，W_ori)，每次经过一次池化层，原输入特征长和宽变为原来的α(0<α<1)倍数，不同下标的α₁，α₂，α₃表示独立的数值。以深度图作为输入，经过一系列卷积层、修正线性单元层、池化层的计算，得到长与宽都为(α₁H_ori，α₁W_ori)的特征图，继续进行以上三种操作的组合两次，得到长与宽为(α₁α₂α₃H_ori，α₁α₂α₃W_ori)的特征图，继续进行多次卷积层、修正线性单元层的操作，并将此处的输出特征图上采样至(α₁α₂H_ori，α₁α₂W_ori)长宽，再经过特征图并联层获得前期的(α₁α₂H_ori，α₁α₂W_ori)长宽的特征图与此处上采样所得特征图的并联特征图。一次卷积后，再次上采样和并联得到前后期特征图结合的(α₁Hori，α₁W_ori)长宽的特征输出，最后经过两层卷积层得到K个通道的特征图(关键点分布概率置信图)作为输出。需说明的是，如果在训练阶段，该前馈输出与目标输出相对比，根据两者之间的差距衡量值来优化网络，使得两者之间的差距更小。如果在识别阶段，该前馈输出即结果特征图，即可根据该结果特征图得到人体骨骼关键点位置。

优选地，如图4所示，本发明全卷积神经网络中的任意一处特征可以通过特征增强模块来增强特征输出，特征增强模块的加入形式可以为任意形式，如并联或者串联。特征增强模块来增强特征输出的例子有：在最后一层前面加一层卷积长短期记忆模块，来引入时序信息增强模型输出；或者中间特定特征图上增加记忆辅助模块，用额外的记忆信息来增强特征输出。

优选地，步骤S03中采用的梯度下降优化算法采用的是基于一阶梯度的随机优化算法(Adaptive moment estimation，Adam)，以训练数据中标注坐标所生成的目标特征图作为学习目标，定义目标损失函数衡量网络输出特征图与目标特征图之间的差异，以这个差异作为误差信号并通过梯度下降更新网络参数，训练过程用的损失函数定义如下：

其中,K是骨骼点数目，b^k(z)是骨骼点k的神经网络的输出特征图，是骨骼点k的目标特征图(即概率置信图)，K为总共骨骼关键点的数量，z为输出特征图在二维空间上的范围中的坐标，Z为输出特征图在二维空间上的范围。公式(2)要求神经网络的输出特征图与目标特征图大小一致。该公式(2)以神经网络的输出特征图与目标特征图之间的欧氏距离作为模型训练误差信息，通过反向传播算法求卷积层中各个参数的偏导数；根据计算结果更新神经网络的参数，并重复迭代计算。

可见，本发明之人体骨骼关键点检测装置通过构建全卷积深度神经网络，使得输出保留二维的空间信息，并且在特征计算的过程中整合了前后期、全局与局部的特征信息，有效地提升人体骨骼点的检测效果。

图6为本发明一种人体骨骼关键点检测装置的系统架构图。如图6所示，本发明一种人体骨骼关键点检测装置，包括：

深度图获取单元601，用于获取单目深度图。在本发明具体实施例中，深度图获取单元601可得通过深度摄像机拍摄获取单目深度图，该图片的每个值表示对应像素实际物体与深度摄像机摄像头之间的距离，该值为把该距离经过一定计算得到的值。

检测单元602，用于将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。具体地，检测单元602将获得的单目深度图输入到已经训练好的全卷积深度神经网络中，输出其中的人物各个骨骼点的概率置信图，最终根据置信图中的最大概率像素点的位置，得到骨骼点二维坐标。

优选地，如图7所示，本发明之人体骨骼关键点检测装置，还包括：

全卷积深度神经网络构建训练单元603，用于构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数。

具体地，如图8所示，全卷积深度神经网络构建训练单元603进一步包括：

训练样本收集标注单元6031，用于收集若干单目深度图作为收集训练样本，并对深度图中的人进行人体骨骼关键点的标注，获得标注坐标。在本发明具体实施例中，通过深度摄像机获取一系列深度图，并且对深度图中的人进行K个人体骨骼关键点的标注，获得标注坐标；即，训练样本收集标注单元6031使用深度摄像机拍摄包含各种人体姿势的深度图，对各个二维人体骨骼关键点进行标注(可通过人工标注或其他标注方式)，得到标注坐标，该标注坐标是以图片的长和宽为界限的横纵坐标。

目标特征图生成单元6032，用于生成标注坐标对应的目标特征图，所述目标特征图是以标注坐标为中心所生成的二维概率置信图，即，目标特征图生成单元6032以每个人体骨骼关键点的标注坐标为中心，依次生成二维高斯分布的概率置信图，一个标注坐标对应一张概率置信图，假如人体骨骼关键点数量为K，则生成K张概率置信图，该K张概率置信图在通道维并联，假设概率置信图长为H、宽为W，并联成大小为(K，H，W)的目标特征图；

神经网络构建单元6033，用于构建全卷积深度神经网络,并随机初始化该全卷积深度神经网络中的参数，所述神经网络的参数主要包含卷积层的卷积核权重和卷积核偏置；

在本发明具体实施例中，所述全卷积深度神经网络包含多种类别的层。由多个二维卷积层和修正线性单元层依次串联(除最后一层获得输出的卷积层)，其间加入多个池化层、上采样层和特征图并联层，具体地，可于其中加入三个最大值池化层以及两个最邻近上采样层，上采样层后接一层将高级特征和低级特征并联的特征图并联层。

在本发明具体实施例中，人体骨骼关键点数量为K，初步设置为15。如图5所示，这些骨骼关键点总计15个，各个骨骼关键点依次为：头部、颈部、躯干中心、左肩、左肘、左腕、右肩、右肘、右腕、左臀、左膝、左踝、右臀、右膝、右踝。

参数更新单元6034，用于采用梯度下降优化算法，端到端地利用训练样本更新所述全卷积深度神经网络的参数。在本发明中，梯度下降优化算法使用的是基于一阶梯度的随机优化算法(Adaptive moment estimation，Adam)，用于更新神经网络中的参数。目标损失函数是网络的输出特征图与目标特征图(概率置信图)之间的欧氏距离，并以欧氏距离作为损失值对神经网络中各个参数求偏导，最终以偏导值来更新网络参数。

在本发明具体实施例中，梯度下降优化算法采用的是基于一阶梯度的随机优化算法(Adaptive moment estimation，Adam)，以训练数据中标注坐标所生成的目标特征图作为学习目标，定义目标损失函数衡量网络输出特征图与目标特征图之间的差异，以这个差异作为误差信号并通过梯度下降更新网络参数，训练过程用的损失函数定义如下：

其中,K是骨骼点数目，b^k(z)是骨骼点k的神经网络的输出特征图，是骨骼点k的目标特征图(即概率置信图)，K为总共骨骼关键点的数量，z为输出特征图在二维空间上的范围中的坐标，Z为输出特征图在二维空间上的范围。公式要求神经网络的输出特征图与目标特征图大小一致。该公式以神经网络的输出特征图与目标特征图之间的欧氏距离作为模型训练误差信息，通过反向传播算法求卷积层中各个参数的偏导数；根据计算结果更新神经网络的参数，直至网络收敛或者网络的损失值降到一定范围。

综上所述，本发明一种人体骨骼关键点检测方法及装置通过构建并训练全卷积深度神经网络，以单目深度图作为该全卷积深度神经网络的输入，输出K个人体骨骼关键点的概率置信图，并以概率置信图中概率最大值所对应的像素点的坐标作为该骨骼关键点的坐标，通过一定坐标转换计算得到最终骨骼关键点的坐标，实现了利用前后期特征图信息、局部与全集信息的全卷积神经网络来检测单目深度图中二维人体骨骼关键点位置的目的，本发明，有效地利用特征信息、结合前后期的特征信息和全局与局部信息，从而输出更加丰富的特征信息，提高骨骼关键点的定位效果。

与现有技术相比，本发明具有如下优点：

一、本发明使用了特征图缩小再放大，再并联前后期特征图的方法，有效地利用特征图信息来进行人体骨骼点检测，不同大小的特征图共同决定最终输出特征的信息，使得输出特征既拥有全局信息又拥有细致的局部信息，使得网络具有更强的鲁棒性。

二、本发明有效地利用前后期的特征信息，能够在神经网络结构尽可能简化的情况下保持高精度，因此该神经网络计算量少，具有实时运行的能力。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种人体骨骼关键点检测方法，包括如下步骤：

步骤一，获取单目深度图；

步骤二，将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。

2.如权利要求1所述的一种人体骨骼关键点检测方法，其特征在于，于步骤一之前，还包括如下步骤：

构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数，获得所述经训练好的全卷积深度神经网络。

3.如权利要求2所述的一种人体骨骼关键点检测方法，其特征在于，所述构建全卷积深度神经网络，并通过收集若干单目深度图作为训练样本，采用梯度下降优化算法对该全卷积深度神经网络进行训练，更新该全卷积深度神经网络的参数的步骤包括：

构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数；

收集若干单目深度图作为收集训练样本，并对所述单目深度图中的人进行人体骨骼关键点的标注，获得标注坐标；

生成所述标注坐标对应的目标特征图；

以所述单目深度图作为输入，以所述标注坐标生成的目标特征图为目标输出，使用梯度下降优化算法，利用所述训练样本进行端到端的模型训练，更新所述全卷积深度神经网络的参数，使得所述全卷积深度神经网络输出趋于目标输出。

4.如权利要求3所述的一种人体骨骼关键点检测方法，其特征在于：于所述构建所述全卷积深度神经网络，并随机初始化该全卷积深度神经网络中的参数的步骤中，所构建的全卷积深度神经网络包括多个二维卷积层、多个修正线性单元层，除最后一层获得输出的卷积层，其余每一层卷积层后接一个修正线性单元，其间加入多个池化层、上采样层，所述上采样层后接一层将高级特征和低级特征并联的特征图并联层。

5.如权利要求4所述的一种人体骨骼关键点检测方法，其特征在于：所述全卷积深度神经网络中的任意一处特征通过特征增强模块来增强特征输出，所述特征增强模块的加入形式采用并联或者串联形式。

6.如权利要求3所述的一种人体骨骼关键点检测方法，其特征在于：于所述生成所述标注坐标对应的目标特征图的步骤中，以每个人体骨骼关键点的标注坐标为中心，依次生成二维高斯分布的概率置信图。

7.如权利要求3所述的一种人体骨骼关键点检测方法，其特征在于：于所述梯度下降优化算法采用基于一阶梯度的随机优化算法用于更新所述神经网络中的参数，其目标损失函数是网络的输出特征图与目标特征图之间的欧氏距离，并以欧氏距离作为损失值对所述神经网络中各个参数求偏导，最终以偏导值来更新所述神经网络的参数。

8.如权利要求7所述的一种人体骨骼关键点检测方法，其特征在于，所述目标损失函数为：

<mrow> <mi>L</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>K</mi> </munderover> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>z</mi> <mo>&amp;Element;</mo> <mi>Z</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <msup> <mi>b</mi> <mi>k</mi> </msup> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>b</mi> <mo>*</mo> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>z</mi> <mo>)</mo> </mrow> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> </mrow>

其中,K为骨骼点数目，b^k(z)为骨骼点k的神经网络的输出特征图，为骨骼点k的目标特征图，K为总共骨骼关键点的数量，z为输出特征图在二维空间上的范围中的坐标，Z为输出特征图在二维空间上的范围，所述目标损失函数以所述神经网络的输出特征图与目标特征图之间的欧氏距离作为模型训练误差信息，通过反向传播算法求卷积层中各个参数的偏导数；根据计算结果更新网络参数并重复迭代计算。

9.如权利要求1所述的一种人体骨骼关键点检测方法，其特征在于，于步骤二中，将获得的单目深度图输入到已经训练好的全卷积深度神经网络中，输出其中的人物各个骨骼点的概率置信图，根据概率置信图中的最大概率像素点的位置，得到人体骨骼点二维坐标。

10.一种人体骨骼关键点检测装置，包括：

深度图获取单元，用于获取单目深度图；

检测单元，用于将所述单目深度图输入至一经训练好的全卷积深度神经网络中，以检测出其中的人体骨骼关键点位置，所述全卷积深度神经网络将网络前馈的低度抽象前期特征图和高度抽象后期特征图整合在一起，并采用上采样把小特征图放大到其他特征图，以在进行下一步卷积计算时输入既包含小特征图的全局信息又包含大特征图的特征信息。