CN110688929B - 一种人体骨架关节点定位方法及装置 - Google Patents

Abstract

本发明提供了一种人体骨架关节点定位方法及装置，该方法将获得的包含人的彩色图像输入至预设网络模型得到多通道热图，对每一个通道的热图：求解热图上的置信度最大值点，设定置信度阈值和搜索窗口大小，求解搜索窗口内的高置信度点的质心坐标作为关节点坐标，最后根据所有通道的热图上求解得出的关节点坐标即可定位得到彩色图像中的人体骨架关节点。本发明通过找到热图中高置信度的质心点定位人体骨架关节点，相比用置信度最大值点定位骨架关节点，可以提高定位精度，提高检测到的人体骨架关节点的稳定性。

Description

一种人体骨架关节点定位方法及装置

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人体骨架关节点定位方法及装置。

背景技术

人体骨架关节点对于描述人体姿态，预测人体行为至关重要。因此人体骨架关节点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。近年来，随着深度学习技术的发展，人体骨骼关键点检测效果不断提升，已经开始广泛应用于计算机视觉的相关领域。在基于深度学习的彩色图像人体骨架关节点检测算法主要有两个方向，即自上而下(Top-Down)的检测方法和自下而上(Bottom-Up)的检测方法。而在这两个方向中对于关节点的定位都采用了回归热图的方式，即在热图中找到最大值点或局部极大值点作为关节点的位置。对神经网络进行训练时，关节点会被生成一个高斯热图，作为训练样本的标签，因此热图会满足高斯分布。而当神经网络对热图进行回归时，热图的最大值点往往不是热图分布的中心，因此对关节点的坐标回归会产生偏差。

发明内容

有鉴于此，本发明的目的在于提供一种人体骨架关节点定位方法及装置，以提高关节点定位精度，保证输出关节点的稳定性，具体的技术方案如下：

第一方面，本发明提供了一种人体骨架关节点定位方法，包括：

第一步：将包含人物的彩色图像输入至预设网络模型得到多通道热图，根据所述热图获知关键坐标点及其置信度值；

第二步：对每个通道的热图求解质心坐标，具体包括：根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；根据置信度最大值点设定高置信度阈值和搜索窗口大小；求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点；

第三步：根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标。

优选的，上述输入至所述预设网络模型的所述彩色图像是对拍摄获取到的包含人物的彩色图像经过图像预处理操作之后得到的彩色图像，所述图像预处理操作包括调整图像大小和归一化。

优选的，所述根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标具体为：将从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为人体骨架关节点坐标；所述边长比是根据所述彩色图像和所述热图的分辨率大小确定。

优选的，所述将包含人物的彩色图像输入至预设网络模型得到多通道热图之后还包括：将得到的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；相应的，所述根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标具体为：将从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

第二方面，本发明还提供了一种人体骨架关节点定位装置，该装置包括：

多通道热图生成模块，用于将包含人物的彩色图像输入至预设网络模型得到多通道热图，以及根据所述热图获知关键坐标点及其置信度值；

质心坐标求解模块，用于对每个通道的热图求解质心坐标；

人体骨架关节点定位模块，根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标；

所述质心坐标求解模块包括：

置信度最大值查找单元，用于根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；

阈值和搜索窗口设定单元，用于根据置信度最大值点设定高置信度阈值和搜索窗口大小；

质心坐标计算单元，用于根据质心公式求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点。

优选的，所述装置还包括图像预处理模块，用于对摄像头拍摄获取到的包含人物的彩色图像进行图像预处理操作之后输入至所述多通道热图生成模块，所述图像预处理操作包括调整图像大小和归一化。

优选的，所述人体骨架关节点定位模块，具体用于将所述质心坐标求解模块从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为所述彩色图像中的所述人物的人体骨架关节点坐标；所述边长比是根据所述彩色图像和所述热图的分辨率大小确定。

优选的，所述装置还包括分辨率调整模块，用于将所述多通道热图生成模块生成的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；相应的所述人体骨架关节点定位模块，具体用于将所述质心坐标求解模块从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

第三方面，本发明还提供了一种终端设备，所述终端设备包括摄像头、处理器以及存储器：

所述摄像头用于采集包含人物的彩色图像；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的人体骨架关节点定位方法。

本发明提供的人体骨架关节点定位方法及装置，通过求解高置信度点的质心位置代替置信度最大值位置。这样能够更准确的找到关节点位置，减少因噪声或其他因素带来的干扰，提高定位精度，另一方面也提高了关节点的稳定性，有利于视频流中对人体关节点的定位。

附图说明

图1是本申请实施例提供的一种人体骨架关节点定位方法的流程图；

图2是图1种步骤2的具体实现方法流程图；

图3是本申请实施例提供的一种人体骨架关节点定位装置的结构示意图。

图4是质心坐标求解模块的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于彩色图像人体骨架关节点检测任务是实现姿态估计、行为检测的前提。当前主流的技术是通过深度学习对各个关节点进行分类和定位。经典的网络结构有OpenPose，CPM，Mask-Rcnn等等。这些方法将输入的图像进行特征提取后，得到一个小分辨率的热图。然后将热图放大到与输入图像相同分辨率，在热图上找到置信度最大值点作为关节点，再将该点在热图的位置作为定位坐标输出。这种方法相当于直接在热图中找到置信度最高的点作为预测的关节点，但置信度最高的点往往会和真实关节点存在一定偏差，故最终预测得到的真实人体关节点坐标精度不高。为此，本申请提供了一种人体骨架关节点定位方法，相比现有技术能够提高关节点定位精度，保证输出关节点稳定性。

示例性方法

如图1所示，本申请实施例提供的一种人体骨架关节点定位方法，包括以下步骤：

步骤1：将包含人物的彩色图像输入至预设网络模型得到多通道热图，根据所述热图获知关键坐标点及其置信度值；

可以理解的是，本步骤的预设网络模型可以采用预先训练的OpenPose、CPM、Mask-Rcnn、Hrnet等网络模型,这些网络模型将输入的彩色图像进行人体关节点特征提取后，得到一个低分辨率的关节点热图，热图中包含有鼻子、颈、左肩、左肘、左腕、左髋、左膝盖、左脚踝、右肩、右肘、右腕、右髋、右膝盖、右脚踝等人体骨架关节点对应的关键坐标点。

不同的预设网络模型所适用的彩色图像大小也有所不同，比如CPM适用于输入为分辨率368x368的RGB图像；Hrnet适用于分辨率384x384的RGB图像，一般摄像头直接拍摄到的是较大尺寸的图像，为此，需对摄像头直接拍摄获取到的彩色图像进行图像预处理操作之后输入至所述预设网络模型，图像预处理操作包括调整图像大小和归一化，具体的：可以是先将拍摄获取的彩色图像填充为正方形图像，然后再缩小为预设网络模型能够处理的输入图像所对应的分辨率，例如，将摄像头采集获取的分辨率640x480的图像先改变尺寸为640x640，然后再将分辨率从640x640改变为256x256；再然后将图像数据的取值从[0，255]归一化为 [0，1]。

另外，对于网络模型而言，处理大分辨率的图像将严重影响网络模型的运行速度，因此本实施例中用于人体骨架关节点检测的网络模型首先会对输入的彩色图像进行下采样来缩小图像的分辨率，从而加速网络的运行速度，在经过网络模型进行特征提取后，输出的是较低分辨率的热图。进一步的，实际应用中彩色图像的分辨率也不能缩小到太小，太小会丢失许多细节信息影响图像精度，当然选用不同的网络模型，其实际应用中对分辨率的缩小即图像边长比也有所不同，例如，分辨率368x368的三通道彩色图像输入至CPM后，输出的是分辨率46x46的 14通道热图；分辨率384x384的三通道彩色图像输入至Hrnet后，输出的是分辨率48x48的14通道热图，即本申请实施例中预设网络模型缩小图像分辨率所采用的图像边长比是8。

例如，本步骤的一种具体实现方式是：将包含人物的大小是256×256的三通道彩色图像I(x,y)作为输入，通过网络模型Mask-Rcnn可以输出大小是32×32 的14通道的热图H(x,y)，根据热图H(x,y)可以获知彩色图像中人物的关键坐标点及其置信度值。

步骤2:对每个通道的热图求解质心坐标；

如图2所示，本步骤的实现包括：

步骤201：根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；

在每一个通道的热图上，查找到置信度值中的最大值，其所对应的关键坐标点即为热图上的置信度最大值点。

相应的，可通过如下公式表示：

x_max,y_max＝argmax(H(x,y))

h_max＝H(x_max,y_max)

其中，h_max表示热图H(x,y)的置信度最大值，x_max,y_max表示置信度最大值 h_max所对应的关键坐标点(即置信度最大值点)的坐标值。

例如，在H(x,y)的第一个通道的热图上求解到的置信度最大值点的坐标值及其置信度值为：x_max＝10，y_max＝15，h_max＝0.98。

步骤202：根据置信度最大值点设定高置信度阈值和搜索窗口大小；

本实施例中设定高置信度阈值th＝h_max-ε，其中ε为置信度门限值，意为与置信度最大值h_max之差小于门限值ε的都认为是高置信度值。

通过设置搜索半径r可以确定搜索窗口大小，公式表示如下：

搜索窗口(x_w,y_w,w_w,h_w)＝(x_max-r,y_max-r,2*r+1,2*r+1)，其中 x_w,y_w为搜索窗口的左上点坐标，w_w,h_w为搜索窗口的宽高，x_max,y_max为置信度最大值点的坐标值。

例如：x_max＝10，y_max＝15，h_max＝0.98，设置ε＝0.1，r＝2，则在H(x,y)的第一个通道的热图上设定的高置信度阈值th＝0.88，搜索窗口 (x_w,y_w,w_w,h_w)＝(8,13,5,5)。

步骤203：求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点。

首先，通过将搜索窗口(x_w,y_w,w_w,h_w)内的所有关键坐标点的置信度值与所述高置信度阈值th进行比较，将所有大于所述置信度阈值th的关键坐标点确定为告知新都点；

然后，利用以下质心公式求得搜索窗口内的高置信度点的质心坐标(x_c,y_c)：

其中h_i为(x_i,y_i)的置信度值，且h_i>th，(x_i,y_i)为搜索窗口(x_w,y_w,w_w,h_w)内的关键坐标点的坐标值，即x_w≤x_i≤x_w+w_w，y_w≤y_i≤y_w+h_w。

步骤3：根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标。

本实施例中，由于经过步骤1的预设网络模型输出的热图的大小，相比输入的原始的彩色图像的大小发生了改变，其分辨率缩小了一定倍数(如前所述该倍数也称之为边长比)，故为了保证精准定位，质心坐标所在图像需与原始的彩色图像的大小一致，才能精准定位出原始的彩色图像中的人体骨架关节点。

为此，其中一种优选实现方式是：

上述步骤3具体为：将从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为人体骨架关节点坐标。

例如：输入预设网络模型的彩色图像为256×256，输出的热图为32×32，此时边长比为8，热图中求解出的质心坐标(x_c,y_c)，则本步骤确定的原彩色图像中所述人物的人体骨架关节点坐标为(8x_c,8y_c)。

另一种优选实现方式是：

上述步骤1和步骤2之间还包括：将得到的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；

相应的，步骤3具体为：将从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

例如：步骤2之前将步骤1得到的热图H(x,y)进行双线性插值或最邻近插值，使其分辨率提高至与输入图片I(x,y)大小相同。则步骤2计算得出的质心坐标(x_c,y_c)即为最终求得的人体骨架关节点坐标。

目前大多数人体骨架关节点检测网络，都是通过在输出热图上寻找置信度最大值的方式，对关节点进行定位。最大值虽然是置信度最高的地方，但可能受噪声影响，置信度最高的点并不与热图分布的中心重合。由以上实施例可知，本发明提供了一种人体骨架关节点定位方法，通过求解高置信度点的质心位置，代替置信度最大值位置。这样能够更准确的找到关节点位置，减少因噪声或其他因素带来的干扰，提高定位精度。

示例性装置

参加图3，示出了本申请实施例种一种人体骨架关节点定位装置，在本实施例种，所述装置包括：

多通道热图生成模块300，用于将包含人物的彩色图像输入至预设网络模型得到多通道热图，以及根据所述热图获知关键坐标点及其置信度值；

质心坐标求解模块400，用于对每个通道的热图求解质心坐标；

人体骨架关节点定位模块500，根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标；

所述质心坐标求解模块400，如图4所示可以具体包括：

置信度最大值查找单元401，用于根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；

阈值和搜索窗口设定单元402，用于根据置信度最大值点设定高置信度阈值和搜索窗口大小；

优选的，设定高置信度阈值th＝h_max-ε，搜索窗口(x_w,y_w,w_w,h_w)＝ (x_max-r,y_max-r,2*r+1,2*r+1)；

其中ε为置信度门限值，h_max为置信度最大值，x_max,y_max为置信度最大值点的坐标值，r为搜索半径，x_w,y_w为搜索窗口的左上点坐标，w_w,h_w为搜索窗口的宽和高。

质心坐标计算单元403，用于根据质心公式求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点。

优选的，求解质心坐标(x_c,y_c)的质心公式如下：

其中h_i为(x_i,y_i)的置信度值，且h_i>th，(x_i,y_i)为搜索窗口(x_w,y_w,w_w,h_w)内的关键坐标点的坐标值，即x_w≤x_i≤x_w+w_w，y_w≤y_i≤y_w+h_w。

在本申请实施例的一种可选的实施方式中，所述装置还包括图像预处理模块，用于对摄像头拍摄获取到的包含人物的彩色图像进行图像预处理操作之后输入至所述多通道热图生成模块300，所述图像预处理操作包括调整图像大小和归一化。

在本申请实施例的一种可选的实施方式中，所述人体骨架关节点定位模块 500，具体用于将所述质心坐标求解模块400从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为所述彩色图像中的所述人物的人体骨架关节点坐标；所述边长比是根据所述彩色图像和所述热图的分辨率大小确定，例如：彩色图像分辨率为256×256，热图分辨率为32×32，此时边长比为8，即256与32相除得到。

在本申请实施例的另一种可选的实施方式中，所述装置还包括分辨率调整模块，用于将所述多通道热图生成模块生成的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；相应的所述人体骨架关节点定位模块，具体用于将所述质心坐标求解模块从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

另外，本申请实施例还提供了一种终端设备，所述终端设备包括摄像头、处理器以及存储器：

所述摄像头用于采集包含人物的彩色图像；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的人体骨架关节点定位方法。

此外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的人体骨架关节点定位方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。

Claims (10)

1.一种人体骨架关节点定位方法，其特征在于，所述方法包括：

将包含人物的彩色图像输入至预设网络模型得到多通道热图，根据所述热图获知关键坐标点及其置信度值；

对每个通道的热图求解质心坐标，具体包括：根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；根据置信度最大值点设定高置信度阈值和搜索窗口大小；求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点；

根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标。

2.根据权利要求1所述的方法，其特征在于：输入至所述预设网络模型的所述彩色图像是对拍摄获取到的包含人物的彩色图像经过图像预处理操作之后得到的彩色图像，所述图像预处理操作包括调整图像大小和归一化。

3.根据权利要求1所述的方法，其特征在于：所述根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标具体为：将从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为人体骨架关节点坐标；所述边长比是根据所述彩色图像和所述热图的分辨率大小确定。

4.根据权利要求1所述的方法，其特征在于：所述将包含人物的彩色图像输入至预设网络模型得到多通道热图之后还包括：将得到的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；

所述根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标具体为：将从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

5.根据权利要求1所述的方法，其特征在于：所述根据置信度最大值点设定高置信度阈值和搜索窗口大小、以及所述求解搜索窗口内的高置信度点的质心坐标具体为：

设定高置信度阈值th＝h_max-ε，搜索窗口(x_w,y_w,w_w,h_w)＝(x_max-r,y_max-r,2*r+1,2*r+1)；

其中ε为置信度门限值，h_max为置信度最大值，x_max,y_max为置信度最大值点的坐标值，r为搜索半径，x_w,y_w为搜索窗口的左上点坐标，w_w,h_w为搜索窗口的宽和高；

求解搜索窗口内的高置信度点的质心坐标(x_c,y_c)的质心公式如下：

其中h_i为(x_i,y_i)的置信度值，且h_i>th，(x_i,y_i)为搜索窗口(x_w,y_w,w_w,h_w)内的关键坐标点的坐标值，即x_w≤x_i≤x_w+w_w，y_w≤y_i≤y_w+h_w。

6.一种人体骨架关节点定位装置，其特征在于，包括：

多通道热图生成模块，用于将包含人物的彩色图像输入至预设网络模型得到多通道热图，以及根据所述热图获知关键坐标点及其置信度值；

质心坐标求解模块，用于对每个通道的热图求解质心坐标；

人体骨架关节点定位模块，根据从所有通道的热图中求解出的质心坐标确定所述彩色图像中的所述人物的人体骨架关节点坐标；

所述质心坐标求解模块包括：

置信度最大值查找单元，用于根据热图上的各关键坐标点及其对应的置信度值确定热图上的置信度最大值点；

阈值和搜索窗口设定单元，用于根据置信度最大值点设定高置信度阈值和搜索窗口大小；

质心坐标计算单元，用于根据质心公式求解搜索窗口内的高置信度点的质心坐标；所述搜索窗口内的高置信度点是指搜索窗口内的所有置信度值大于所述置信度阈值的关键坐标点。

7.根据权利要求6所述的装置，其特征在于：所述装置还包括图像预处理模块，用于对摄像头拍摄获取到的包含人物的彩色图像进行图像预处理操作之后输入至所述多通道热图生成模块，所述图像预处理操作包括调整图像大小和归一化。

8.根据权利要求6所述的装置，其特征在于：所述人体骨架关节点定位模块，具体用于将所述质心坐标求解模块从所有通道的热图中求解出的质心坐标分别与边长比相乘，并将所有相乘之后得到的坐标值作为所述彩色图像中的所述人物的人体骨架关节点坐标；所述边长比是根据所述彩色图像和所述热图的分辨率大小确定。

9.根据权利要求6所述的装置，其特征在于：所述装置还包括分辨率调整模块，用于将所述多通道热图生成模块生成的热图的分辨率恢复至与输入的所述彩色图像的分辨率一致；

所述人体骨架关节点定位模块，具体用于将所述质心坐标求解模块从所有通道的热图中求解出的质心坐标直接作为所述彩色图像中的所述人物的人体骨架关节点坐标。

10.一种终端设备，其特征在于，所述终端设备包括摄像头、处理器以及存储器：

所述摄像头用于采集包含人物的彩色图像；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的人体骨架关节点定位方法。

Images