CN109784149A - 一种人体骨骼关键点的检测方法及系统 - Google Patents

Abstract

本发明实施例提供一种人体骨骼关键点的检测方法及系统。其中，方法包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，根据输出结果，确定待测人体图像的人体骨骼关键点；其中，训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。本发明实施例提供的方法及系统，通过将待测人体图像输入至模型，并根据模型的输出结果确定人体骨骼关键点，模型采用非对称的多级重复网络结构，重编码，轻解码，能更多受益迁移学习的优势，利用降低通道数的方法，在不影响速度的情况下提升检测精度。

Description

一种人体骨骼关键点的检测方法及系统

技术领域

本发明实施例涉及人体骨骼关键点检测技术领域，尤其涉及一种人体骨骼关键点的检测方法及系统。

背景技术

人体骨骼关键点指人体的固定部位的位置，包括眼睛、鼻子、肩、腰等，人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，因此人体骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类、异常行为检测、自动驾驶等。

近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。基于深度学习的人体骨骼关键点检测方法主要分为两类：自上而下的检测方法和自下而上的检测方法。其中，自上而下的检测方法主要包含两个部分，人体检测和单人人体骨骼关键点检测，即首先通过目标检测算法将原始图像中的每一个人检测出来，然后再针对单个人做人体骨骼关键点检测，其中代表性算法有G-RMI、CFN、RMPE、Mask R-CNN和CPN等，目前在MSCOCO数据集上进行检测所达到的最高精度为72.6％；自下而上的检测方法也主要包含两个部分，关键点检测和关键点聚类，即首先将原始图像中所有的关键点都检测出来，然后通过相关策略将所有的关键点聚类成不同的个体，其中对关键点之间关系进行建模的代表性算法有PAF、Associative Embedding、PartSegmentation和Mid-Range offsets等，目前在MSCOCO数据集上进行检测所达到的最高精度为68.7％。相比之下，自上而下的检测方法有着更高的检测精度。

对于自上而下的检测方法中的单人人体骨骼关键点检测，由于关键点局部信息的区分性很弱、不同关键点的检测的难易程度是不一样以及人体骨骼关键点定位较依赖于算法，因此，会出现检测不准和重复检测等问题。

发明内容

针对现有技术中存在的技术问题，本发明实施例提供一种人体骨骼关键点的检测方法及系统。

第一方面，本发明实施例提供一种人体骨骼关键点的检测方法，包括：

将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；

根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；

其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

第二方面，本发明实施例提供一种人体骨骼关键点的检测系统，包括：

输出结果获取模块，用于将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；

人体骨骼关键点确定模块，用于根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；

其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的一种人体骨骼关键点的检测方法及系统，通过将待测人体图像输入至训练后的人体骨骼关键点检测模型，并获取输出结果，以根据输出结果，确定待测人体图像的人体骨骼关键点，相较于主流方法，模型采用非对称的网络结构，重编码，轻解码，能更多受益迁移学习的优势，并且，模型采用多级重复结构，利用降低通道数的方法，在不影响速度的情况下提升精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人体骨骼关键点的检测方法流程图；

图2为本发明实施例提供的一种人体骨骼关键点的检测系统的结构示意图；

图3为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种人体骨骼关键点的检测方法流程图，如图1所示，该方法包括：

步骤101，将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；

步骤102，根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；

其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

可以理解的是，待测人体图像为待检测出人体骨骼关键点的包含人体的图像，优选为单人图像，即包含一个人的图像。将该待测人体图像输入至训练后的人体骨骼关键点检测模型中，并获取该模型的输出结果，并根据输出结果，确定待测人体图像的人体骨骼关键点。其中，该模型为神经网络模型，包括多级神经网络，即多个神经网络，每个神经网络的网络结构均相同，且均为非对称结构。需要说明的是，此处的非对称结构为将通常意义上的神经网络的卷积层和池化层这个整体替换为空洞卷积所得到的网络结构，其中，空洞卷积相比较一般卷积，能够利用间隔位置获得更大的感受野。

将多级优选为两级，即本发明实施例中的训练后的人体骨骼关键点检测模型由两级神经网络所组成。两级神经网络均采用相同网络结构，但这种结构是一种非对称的结构，对比主流方法，利用空洞卷积替换掉了一般卷积层+池化层的结构，从而在增加感受野的条件下来提高空间分辨率，同时随着网络深度的增加并没有增加通道数，减少了运算量。

为了进一步解决在关键点问题中对于困难遮挡点的检测，本发明实施例用两级的重复结构去提升精度，而不是单纯地增加网络的深度，同时将通道数进一步地减少，使得两级的结构相比较单级结构，运算量没有增加，但精度大大地提升了。

采用的非对称结构，有着更大的编码部分，更少的解码部分，使得整体上是重编码，轻解码的结构，在实际应用中，通过对大量数据的训练，充分发挥更大的编码结构的优势，充分学习，在实际应用当用于其他的关键点问题，也能更多受益迁移学习的优势。

本发明实施例提供的方法，通过将待测人体图像输入至训练后的人体骨骼关键点检测模型，并获取输出结果，以根据输出结果，确定待测人体图像的人体骨骼关键点，相较于主流方法，模型采用非对称的网络结构，重编码，轻解码，能更多受益迁移学习的优势，并且，模型采用多级重复结构，利用降低通道数的方法，在不影响速度的情况下提升精度。

在上述各实施例的基础上，所述输出结果为所述待测人体图像的热力图集合和对应的回归图集合；

其中，所述热力图集合携带有所述待测人体图像的多个人体骨骼关键点的位置信息，所述回归图集合用于对多个所述位置信息进行修正。

在上述各实施例的基础上，所述根据所述输出结果，确定所述待测人体图像的人体骨骼关键点，包括：

获取所述热力图集合中每一热力图所包含的一个人体骨骼关键点的位置信息，组成第一人体骨骼关键点集合；

在所述回归图集合中，确定所述第一人体骨骼关键点集合中每一人体骨骼关键点对应的回归图，以对每一人体骨骼关键点的位置信息进行修正。

具体地，将待测人体图像输入至训练后的人体骨骼关键点检测模型后，该模型会输出多张热力图以及多张回归图，将这多张热力图组成热力图集合，将这多张回归图组成回归图集合。其中，每一张热力图对应有两张回归图，即，若热力图一共有n张，则回归图一共有2n张。对于一张热力图来说，其包含有待测人体图像的一个关键点的位置信息，例如位置坐标(x，y)，其对应的两张回归图包含有用于对该关键点的位置信息进行修正的修正信息，例如分别包含x轴修正增量a和y轴修正增量b。通过两张回归图对一张热力图中一个人体骨骼关键点的位置信息进行修正，即，通过x轴修正增量a将x修正为x+a，通过y轴修正增量b将y修正为y+b，即，修正后的人体骨骼关键点的位置坐标为(x+a，y+b)。

在上述各实施例的基础上，所述将待测人体图像输入至训练后的人体骨骼关键点检测模型，之前还包括：

通过数据扩充方法获取训练数据集；

通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型。

其中，一方面，深度学习所需的训练图片数量远远多于传统方法，数据扩充方法有效地增大了数据集，减小过拟合的影响；另一方面，大数据集可以有效提升算法的旋转不变性、尺度不变性、数据多样性等，从而提高检测精度。

在上述各实施例的基础上，所述通过数据扩充获取训练数据集，包括：

通过水平翻转、上下翻转、旋转预设角度、随机缩放、随机裁剪以及添加噪声中的一种或多种方法获取训练数据集。

在上述各实施例的基础上，所述通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型，包括：

通过所述训练数据集对人体骨骼关键点检测模型进行多轮训练，得到满足预设的条件的人体骨骼关键点检测模型，并作为训练后的人体骨骼关键点检测模型。

需要说明的是，满足预设的条件可以为训练的轮数达到预设的最大轮数，或人体骨骼关键点检测模型的误差低于预设的误差阈值，或人体骨骼关键点检测模型的误差已经收敛、不再下降等，本发明实施例对此不作具体限制。

对于每一轮训练，获取所述人体骨骼关键点检测模型所输出的热力图集合的第一损失函数值和所述人体骨骼关键点检测模型所输出的回归图集合的第二损失函数值之和，并作为本轮损失值。

损失函数，学习训练过程中用来估量模型的预测值与真实值的偏离程度。它是一个非负实值函数。训练过程中对模型进行优化的目标是最小化损失函数。损失函数的值越小，即损失值越小，模型的鲁棒性就越好。

分别为人体骨骼关键点检测模型输出的热力图集合设置第一损失函数，为人体骨骼关键点检测模型输出的回归图集合设置第二损失函数，其中，将第一损失函数优选为MSELoss函数，将第二损失函数优选为smothL1loss函数，对于每一轮训练，将MSELoss函数值和smothL1loss函数值之和定义为本轮损失值。

根据所述本轮损失值和梯度下降算法，更新所述人体骨骼关键点检测模型的参数。

根据本轮损失值和梯度下降方法，更新人体骨骼关键点检测模型的参数，目标是使得下轮损失值小于本轮损失值，从而使人体骨骼关键点检测模型的误差最小。

在上述各实施例的基础上，所述通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型，包括：

通过在线困难样本挖掘算法对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型。

具体地，在线困难样本挖掘(Online Hard Example Mining，简称OHEM)算法，具体是指将困难样本中的损失最小化，在训练过程中利用损失值，来选择部分损失更大的样本进一步前馈，使得困难样本得到充分学习。

为了更好地解决实际问题中难以检测的关键点(简称困难关键点)和容易检测的关键点(简称容易关键点)在同一张图中分布不均匀的问题，本发明实施例采用一种batch级别的OHEM，利用多张图片放在一起做OHEM，这样能够在batch级别中更好的学习困难样本，使得训练更为有效。

图2为本发明实施例提供的一种人体骨骼关键点的检测系统的结构示意图，如图2所示，该系统包括：

输出结果获取模块201，用于将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；人体骨骼关键点确定模块202，用于根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

本发明实施例提供的系统，具体执行上述各方法实施例流程，具体请详见上述各方法实施例的内容，此处不再赘述。本发明实施例提供的系统，通过将待测人体图像输入至训练后的人体骨骼关键点检测模型，并获取输出结果，以根据输出结果，确定待测人体图像的人体骨骼关键点，相较于主流方法，模型采用非对称的网络结构，重编码，轻解码，能更多受益迁移学习的优势，并且，模型采用多级重复结构，利用降低通道数的方法，在不影响速度的情况下提升精度。

图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；根据所述输出结果，确定所述待测人体图像的人体骨骼关键点。

此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；根据所述输出结果，确定所述待测人体图像的人体骨骼关键点。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人体骨骼关键点的检测方法，其特征在于，包括：

将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；

根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；

其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

2.根据权利要求1所述的方法，其特征在于，所述输出结果为所述待测人体图像的热力图集合和对应的回归图集合；

其中，所述热力图集合携带有所述待测人体图像的多个人体骨骼关键点的位置信息，所述回归图集合用于对多个所述位置信息进行修正。

3.根据权利要求2所述的方法，其特征在于，所述根据所述输出结果，确定所述待测人体图像的人体骨骼关键点，包括：

获取所述热力图集合中每一热力图所包含的一个人体骨骼关键点的位置信息，组成第一人体骨骼关键点集合；

在所述回归图集合中，确定所述第一人体骨骼关键点集合中每一人体骨骼关键点对应的回归图，以对每一人体骨骼关键点的位置信息进行修正。

4.根据权利要求1所述的方法，其特征在于，所述将待测人体图像输入至训练后的人体骨骼关键点检测模型，之前还包括：

通过数据扩充方法获取训练数据集；

通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型。

5.根据权利要求4所述的方法，其特征在于，所述通过数据扩充获取训练数据集，包括：

通过水平翻转、上下翻转、旋转预设角度、随机缩放、随机裁剪以及添加噪声中的一种或多种方法获取训练数据集。

6.根据权利要求4所述的方法，其特征在于，所述通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型，包括：

通过所述训练数据集对人体骨骼关键点检测模型进行多轮训练，得到满足预设的条件的人体骨骼关键点检测模型，并作为训练后的人体骨骼关键点检测模型；

对于每一轮训练，获取所述人体骨骼关键点检测模型所输出的热力图集合的第一损失函数值和所述人体骨骼关键点检测模型所输出的回归图集合的第二损失函数值之和，并作为本轮损失值；

根据所述本轮损失值和梯度下降算法，更新所述人体骨骼关键点检测模型的参数。

7.根据权利要求4所述的方法，其特征在于，所述通过所述训练数据集对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型，包括：

通过在线困难样本挖掘算法对所述人体骨骼关键点检测模型进行训练，得到训练后的人体骨骼关键点检测模型。

8.一种人体骨骼关键点的检测系统，其特征在于，包括：

输出结果获取模块，用于将待测人体图像输入至训练后的人体骨骼关键点检测模型，获取所述训练后的人体骨骼关键点检测模型的输出结果；

人体骨骼关键点确定模块，用于根据所述输出结果，确定所述待测人体图像的人体骨骼关键点；

其中，所述训练后的人体骨骼关键点检测模型由多级非对称神经网络所组成，所述多级非对称神经网络中的各级非对称神经网络的网络结构均相同，且均为使用空洞卷积替换卷积层和池化层的网络结构。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。