CN113158921A

CN113158921A - 一种人体骨架定位方法和装置

Info

Publication number: CN113158921A
Application number: CN202110455239.8A
Authority: CN
Inventors: 古迎冬; 李骊
Original assignee: Beijing HJIMI Technology Co Ltd
Current assignee: Beijing HJIMI Technology Co Ltd
Priority date: 2021-04-26
Filing date: 2021-04-26
Publication date: 2021-07-23

Abstract

一种人体骨架定位方法和装置，方法包括：获取人体关节点彩图；采用分类模块通过预设的全卷积网络对人体关节点彩图中的人体关节点的类型进行预测，得到目标人体关节点的预测类型；基于预测类型以及目标人体关节点的实际类型构建联合损失函数模型；判断联合损失函数模型的收敛度是否满足预设要求；当联合损失函数模型的收敛度不满足预设要求时，调节全卷积网络中的计算参数，直至联合损失函数模型的收敛度满足预设要求；采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类，为人体关节点热图中的不同的人体关节标注不同的类型，从而解决关节点误判的情况。

Description

一种人体骨架定位方法和装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种人体骨架定位方法和装置。

背景技术

人体关节点检测主要分为两种方法，一种是单人关节点检测，一种是多人关节点检测，此发明是针对单人关节点定位优化的，所以取单人关节点检测比较成熟的深度学习方案CPM(Convolutional Pose Machines)，该方案中，将人体各个关节点定位堪称像素分类任务。每一个关节点以其坐标为中心，以一定长度为半径产生服从高斯分布的专属区域，这样不同关节点生成的专属区域在图像上就可以代表不同的像素分类任务，本文以14个关节点为例(人体关节点数据集AI challenge指定人体14个关节点)，图1为人体关节点示意图，如图1所示，深度学习方案CPM对于每一个关节点，会对应的生成一张热图(heatmap)，图2为深度学习方案CPM对每一个关节生成一张热图的过程示意图，在图2中，当N＝1时，如图2中左侧N＝1对应的热图所示，热图上只有骨架点索引号index为1的对应的高亮区域的像素值为1.0，其余的区域为0，其中，所述N为骨架点的索引号，依次类推，当N＝14时，最后一张热图N＝14上，只有脖子处的关节点位置为高亮区域，该位置对应的像素值为1.0，其余区域对应的像素值为0，如果将这14张热图叠加到一起，就形成了图1所示的视图。

但是，申请人经研究发现，当基于深度学习方案CPM的人体关节点定位，大部分只关注到关节点本身的位置信息，并没有考虑到其语义属性，例如，发生遮挡时，容易关节点容易漏检和误检；比如人体双腿交叉或者接近的情况下，腿部节点经常会出现左右误判的情况。

发明内容

有鉴于此，本发明实施例提供一种人体骨架定位方法和装置，以解决现有技术中关节点误判的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种人体骨架定位方法，包括：

获取人体关节点彩图，所述人体关节点彩图中标记有所需分类的人体节点，且不同的人体节点所对应的区域采用不同的识别信息进行划分；

采用分类模块通过预设的全卷积网络对所述人体关节点彩图中的人体关节点的类型进行预测，得到目标人体关节点的预测类型；

基于所述预测类型以及所述目标人体关节点的实际类型构建联合损失函数模型；

判断所述联合损失函数模型的收敛度是否满足预设要求；

当所述联合损失函数模型的收敛度不满足预设要求时，调节所述全卷积网络中的计算参数，直至所述联合损失函数模型的收敛度满足预设要求；

采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类。

可选的，上述人体骨架定位方法中，所述目标人体关节点的预测类型的预测类型具体为目标人体关节点的预测像素值；

所述目标人体关节点的实际类型具体为所述目标人体关节点的实际像素值。

可选的，上述人体骨架定位方法中，所述联合损失函数模型为

其中，f_t为所述预测类型与所述实际类型的联合损失函数，所述P为所识别的关节点，所述p＝1表示所需识别的第一个关节点，所述z为关节点的像素集合，所述

表示关节点的实际像素值，所述

关节点的预测像素值，所述t表示分类模型的训练阶段。

可选的，上述人体骨架定位方法中，所述采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类之前，还包括：

将训练好的全卷积网络加载到用于进行单人关节点检测的深度学习模型中。

一种人体骨架定位装置，包括：

训练数据采集单元，用于获取人体关节点彩图，所述人体关节点彩图中标记有所需分类的人体节点，且不同的人体节点所对应的区域采用不同的识别信息进行划分；

关节点类型预测单元，用于采用分类模块通过预设的全卷积网络对所述人体关节点彩图中的人体关节点的类型进行预测，得到目标人体关节点的预测类型；

预测模型校正单元，用于基于所述预测类型以及所述目标人体关节点的实际类型构建联合损失函数模型；判断所述联合损失函数模型的收敛度是否满足预设要求；当所述联合损失函数模型的收敛度不满足预设要求时，调节所述全卷积网络中的计算参数，直至所述联合损失函数模型的收敛度满足预设要求；

分类单元，用于采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类。

可选的，上述人体骨架定位装置中，所述目标人体关节点的预测类型的预测类型具体为目标人体关节点的预测像素值；

可选的，上述人体骨架定位装置中，所述预测模型校正单元所用到的联合损失函数模型为

表示关节点的实际像素值，所述

表示关节点的预测像素值，所述t表示分类模型的训练阶段。

可选的，上述人体骨架定位装置中，所述分类单元在采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类之前，还用于：

基于上述技术方案，本发明实施例提供的上述方案，在训练好所述分类模型以后，可以采用所述分类模型对待识别的人体关节点热图的关节点进行分类，为人体关节点热图中的不同的人体关节标注不同的类型，从而解决关节点误判的情况。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为人体关节点示意图；

图2为深度学习方案CPM对每一个关节生成一张热图的过程示意图；

图3为本申请实施例公开的人体关节点彩图创建过程示意图；

图4为本申请实施例公开的人体骨架定位方法的流程示意图；

图5为本申请实施例公开的人体骨架定位装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为了更加特定地强调实施的独立性，本说明书涉及许多模块或单元。举例而言，模块或单元可由硬件电路实现，该硬件电路包括特制VLSI电路或门阵列，比如逻辑芯片、晶体管，或其它组件。模块或单元也可在可编程的硬设备中实现，比如场效可编程门阵列、可编程阵列逻辑、可编程逻辑设备等等。

模块或单元也可在藉由各种形式的处理器所执行的软件中实现。比如说，一可执行码模块可包括一个或多个实体的或逻辑的计算机指令区块，该区块可能形成为，比如说，对象、程序或函数。然而，鉴别模块或单元的可执行部分不需要物理上放置在一起，但可由存于不同位置的不同指令所组成，当逻辑上组合在一起时，形成模块或单元且达到该模块或单元所要求的目的。

实际上，可执行码模块或单元可以是一单一指令或多个指令，甚至可以分布在位于不同的程序中的数个不同的码区段，并且横跨数个存储设备。同样地，操作数据可被辨识及显示于此模块或单元中，并且可以以任何合适的形式实施且在任何合适的数据结构形式内组织。操作数据可以集合成单一数据集，或可分布在具有不同的存储设备的不同的位置，且至少部分地只以电子信号方式存在于一系统或网络。

本说明书所提及的“实施例”或类似用语表示与实施例有关的特性、结构或特征，包括在本发明的至少一实施例中。因此，本说明书所出现的用语“在一实施例中”、“在实施例中”以及类似用语可能但不必然都指向相同实施例。再者，本发明所述特性、结构或特征可以以任何方式结合在一个或多个实施例中。以下说明将提供许多特定的细节，比如编程序、软件模块、用户选择、网络交易、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等例子，以提供对本发明实施例的了解。然而相关领域的普通技术人员将看出本发明，即使没有利用其中一个或多个特定细节，或利用其它方法、组件、材料等亦可实施。另一方面，为避免混淆本发明，公知的结构、材料或操作并没有详细描述。

为了解决现有技术中人体关节点检测出现左右误判的情况，本申请提供了一种人体骨架定位方法，参见图4，方法包括：

步骤S101：获取人体关节点彩图，所述人体关节点彩图中标记有所需分类的人体节点，且不同的人体节点所对应的区域采用不同的识别信息进行划分；

在本方案中，将预先标定好的人体关节点彩图作为训练数据，对分类模型进行训练，在本步骤中，所获取到的人体关节点彩图的数量可以为多个，所述预先标定好的人体关节点彩图可以预先存储在数据集当中，当需要使用时直接调取即可，在获取到所述人体关节点彩图时，对所述人体关节点彩图进行予以分割，获取到目标人体的掩码，在本方案的实施例中，以14个不同的人体部位为例对方案进行说明，例如，图3为本申请实施例公开的人体关节点彩图创建过程示意图，图3中的下一行所示，对不同部位采用不同的颜色标记，基于预设规则对所述人体关节点彩图中的14个不同的人体部位进行标注，通过标注信息可以确定各个部位的类型。

步骤S102：采用分类模块通过预设的全卷积网络对所述人体关节点彩图中的人体关节点的类型进行预测，得到目标人体关节点的预测类型；

在本申请实施例公开的技术方案中，所述分类模块中配置有全卷积网络，在本方案中，可以采用所述全卷积网络对所述人体关节点彩图中的人体关节点的类型进行预测，得到所述人体关节点彩图中的各个人体关节点的预测类型；

步骤S103：基于所述预测类型以及所述目标人体关节点的实际类型构建联合损失函数模型；

在本方案中，获取到通过分类模块预测得到的各个人体关节点的预测类型后，基于预测类型和各个人体关节点对应的标准类型，建立联合损失函数模型；

步骤S104：判断所述联合损失函数模型的收敛度是否满足预设要求；

基于所述分类模型的分类结果，检测所述联合损失函数模型中联合损失函数的收敛度，只有当分类模型分类结果的可靠性越高时，所述联合损失函数越收敛，当所述联合损失函数的收敛度满足预设要求时，表明所述分类模型的分类结果的可靠性达到要求；

步骤S105：当所述联合损失函数模型的收敛度不满足预设要求时，调节所述全卷积网络中的计算参数，直至所述联合损失函数模型的收敛度满足预设要求；

在本方案中，通过对所述分类模型中的全卷积网络得计算参数不断调整，使得所述联合损失函数模型的收敛度达到预设要求，此时，表明所述分类模型的分类结果的可靠性满足预设要求；

步骤S106：采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类；

在本方案中，在本方案中，在训练好所述分类模型以后，可以采用所述分类模型对待识别的人体关节点热图的关节点进行分类，为人体关节点热图中的不同的人体关节标注不同的类型，从而解决关节点误判的情况。

在本申请实施例公开的技术方案中，所述目标人体关节点的预测类型的预测类型具体为目标人体关节点的预测像素值；

即，在本方案中，具体为预先计算作为训练数据的人体关节点彩图的各个关节点的实际像素值，并标注，将所述实际像素值作为标准结果，所述分类模型对所述训练数据的人体关节点彩图的各个关节点的像素值进行计算，得到的预测像素值作为预测结果，构建的联合损失函数具体为基于所述预测像素值和所述实际像素值构建的联合损失函数模型。其中，所构建的所述联合损失函数模型为

其中，f_t为所述预测类型与所述实际类型的联合损失函数，所述P为所识别的关节点，所述p＝1表示所需识别的第一个关节点，p＝2标识第二个关节点等等，所述z为关节点在所述任意关节点彩图上的像素集合，所述

表示关节点的实际像素值，所述

表示采用所述分类模型对人体关节彩图计算得到的关节点的预测像素值，所述t表示分类模型的训练阶段，在本方案中，所述分类模型可以具有多个训练阶段，例如可以包括6个训练阶段，通过对所述分类模型进行6个阶段的训练，以保证所述分类模型的计算结果的可靠性。

在本申请另一实施例公开的技术方案中，还可以将训练好的分类模型的全卷积网络加载到用于进行单人关节点检测的深度学习模型中，使得所述单人关节点检测的深度学习模型在单人关节点检测中，对各个关节点的类型进行区分，以防止出现关节点误判的情况。

本实施例中，对应于上述方法，本申请还公开了一种人体骨架定位装置，装置中的各个单元的具体工作内容，请参见上述方法实施例的内容，下面对本发明实施例提供的人体骨架定位装置进行描述，下文描述的人体骨架定位装置与上文描述的人体骨架定位方法可相互对应参照。

参见图5，本申请实施例公开的人体骨架定位装置，包括：

训练数据采集单元100，用于获取人体关节点彩图，所述人体关节点彩图中标记有所需分类的人体节点，且不同的人体节点所对应的区域采用不同的识别信息进行划分；

关节点类型预测单元200，用于采用分类模块通过预设的全卷积网络对所述人体关节点彩图中的人体关节点的类型进行预测，得到目标人体关节点的预测类型；

预测模型校正单元300，用于基于所述预测类型以及所述目标人体关节点的实际类型构建联合损失函数模型；判断所述联合损失函数模型的收敛度是否满足预设要求；当所述联合损失函数模型的收敛度不满足预设要求时，调节所述全卷积网络中的计算参数，直至所述联合损失函数模型的收敛度满足预设要求；

分类单元400，用于采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类。

与上述方法相对应，所述目标人体关节点的预测类型的预测类型具体为目标人体关节点的预测像素值；

与上述方法相对应，所述预测模型校正单元所用到的联合损失函数模型为

表示关节点的实际像素值，所述

关节点的预测像素值，所述t表示分类模型的训练阶段。

与上述方法相对应，所述分类单元在采用训练好的全卷积网络对待识别的人体关节点热图的关节点进行分类之前，还用于：

本发明在网络结构中增加身体部位分类的模块，在模型训练的过程中，因为特征提取层是关节点和部位分类模块共享的，所以在参数更新时，部位分类的损失函数引导的特征提取参数更新，会同样在参数前传的过程中影响到关节点模块的训练；举个例子：对于关节点中比较难检测到的手腕点，其容易受到环境的影响，关节点会超出手腕的真实部位，有了手腕部位分类的约束，模型会在识别到手腕的区域时，会将手腕的关节点约束到手腕上，这样手腕关节点就不会跑出到人体的胳膊以外去，从而增加了关节点的定位精度。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。