CN109583341B - 对包含人像的图像的多人骨骼关键点检测方法及装置 - Google Patents

Abstract

本发明公开了一种对包含人像的图像的多人骨骼关键点检测方法及装置，该方法包括：对原始含人像的RGB图像进行显著性检测，得到图像中各位置的显著性值；根据显著性值对所述RGB图像进行裁剪；对所述裁剪后的图像进行骨骼关键点检测，得到各类关键点位置的分布热图；对所述分布热图根据显著性值进行加权，并根据加权后的分布热图计算出裁剪后图像的骨骼关键点检测结果；最后计算所述原始RGB图像中每个人的骨骼关键点的最终检测结果。本发明的方法和装置能得到高精度的人体骨骼关键点检测结果。

Description

对包含人像的图像的多人骨骼关键点检测方法及装置

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其是涉及对包含人像的图像进行多人骨骼关键点检测的方法及装置。

背景技术

对包含人像的图像(如RGB图像)进行人体骨骼关键点检测，是当前计算机视觉领域一个热点研究方向。所检测出的人体骨骼关键点结果可为行为识别、人机交互、电影特效制作等多个领域提供关键信息，具有重要的实用价值。

目前主流的人体骨骼关键点检测方法主要分为两种：单人骨骼关键点检测方法和多人骨骼关键点检测方法。

单人骨骼关键点检测方法，是指首先对包含人像的图像进行物体检测，得到图像中每个人的矩形边框位置，然后对每个边框内的信息进行独立关键点检测，最后进行整合，以获取图像中全部人的骨骼关键点信息。这种方法严重依赖于物体检测的精度，边框位置及大小的微小变化可能对结果精度有较大影响，并且物体检测阶段效率低，难以达到实时性的要求。

多人骨骼关键点检测方法，是指直接在图像中检测出所有可能的人体骨骼关键点，然后利用全局信息对图像中属于同一个人的骨骼关键点进行连接。这种方法可以在不依赖人体边框位置信息的情况下较有效地检测出全部人体骨骼关键点，具有较高的检测速度。

但是，目前常见的多人骨骼关键点检测方法通常是直接利用卷积神经网络对原始RGB图像缩放到固定大小后进行特征提取，对所提取特征进行组合后得到关键点位置分布热图，然后输出检测结果。这一流程没有考虑到图像中人体位置分布情况。当人体面积在图像中占据较小比例时，直接对原始图像缩放到固定大小后进行特征提取和特征组合将难以得到准确结果。

以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日前已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明的主要目的在于在现有多人骨骼关键点检测方法的基础上，提出一种对包含人像的图像的多人骨骼关键点检测方法及装置，得到高精度的人体骨骼关键点检测结果。

本发明为达上述目的提出以下技术方案：

一种对包含人像的图像的多人骨骼关键点检测方法，包括：对一含人像的原始RGB图像进行图像显著性检测，得到所述原始RGB图像中各位置的显著性值；根据显著性值对所述原始RGB图像进行裁剪，得到裁剪后的图像及裁剪后图像各位置的显著性值；对所述裁剪后的图像进行人体骨骼关键点检测，得到N个关键点位置分布热图；其中，N≥1；对所述分布热图根据所述裁剪后图像各位置的显著性值进行加权，根据加权后的分布热图计算出所述裁剪后图像的骨骼关键点检测结果；计算所述原始RGB图像的骨骼关键点的最终检测结果；最终检测结果包括所述原始RGB图像中的人数及检测到的每个人的骨骼关键点坐标集合。

所述装置包含有计算机程序，用于执行以实现如上方法。

与现有技术相比，本发明的有益效果在于：本发明添加图像显著性信息，以对图像主体部分进行裁剪，并修正关键点位置分布热图。由于本发明将图像显著性信息与现有基于卷积神经网络的多人骨骼关键点检测进行结合，提出的这种新的方法，增加了卷积神经网络所处理信息中主体信息的数量，提高了特征提取和特征组合的效果，有利于得到更高精度的多人骨骼关键点检测结果。

附图说明

图1是本发明实施例的流程示意图；

图2A是本发明实施例的一种原始RGB图像的显示示意图；

图2B是本发明实施例的一种所述原始图像对应显著性图像、对应裁剪框的显示示意图；

图2C是本发明实施例的一种所述原始图像多人骨骼关键点检测结果的显示示意图；

图2D是本发明实施例的一种所述裁剪后图像多人骨骼关键点检测结果的显示示意图。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步说明。

本发明的具体实施方式提出对包含人像的图像的多人骨骼关键点检测方法，用于在现有基于卷积神经网络的多人骨骼关键点检测方法的基础上增加图像显著性信息，以实现对原始图像的裁剪和关键点分布图的修正，提高检测准确率。

参考图1，该检测方法包括：对含人像的RGB图像(即初始图像，参考图2A；在变通实施例中也可以是其他格式的图像)进行显著性检测，根据显著性值所述初始图像进行裁剪，对裁剪后的图像进行关键点检测并修正关键点分布热图，计算所述初始图像中的骨骼关键点检测结果。其中：

对所述初始图像进行显著性检测包括：采用上下文感知方法进行显著性检测。首先，将所述RGB图像I₀(x,y)转化为Lab颜色空间中的图像I₁(x,y)；其次，将图像I₁(x,y)切分成N块，分别表示为p₁,p₂,…,p_N，分别计算N个小块两两之间的差异性(N取整数，N≥4)；然后对每个小块p_i，取前K个与其差异性最小的块，计算单尺度显著性值

(K取整数，N≥K≥1)；最后，计算多尺度下显著性平均值，得到所述显著性检测结果S(x,y)。

RGB颜色空间是最通用的显示系统，它使用R、G、B三个分量分别表示红、绿、蓝三种颜色在图像中的强度。Lab颜色空间与RGB颜色空间不同，它采用L、a、b三个分量分别表示图像中的像素亮度、红绿范围、黄蓝范围，更接近人的视觉感应。RGB颜色空间中的图像需要首先转换到XYZ空间

再将XYZ空间中的像素值转化为Lab颜色空间中的像素值

其中，

根据上述公式#(1)#(2)#(3)即可得到所述原始图像I₀(x,y)在Lab颜色空间中的图像I₁(x,y)。

对上述得到的图像I₁(x,y)首先在水平方向上和竖直方向上每M个像素进行切分(令L_min表示图像I₁(x,y)的短边长度，M取整数，L_min/2≥M≥2)，得到p₁,p₂,…,p_N共N个小块。分别计算每个小块两两之间在Lab空间中的欧几里得颜色距离d_color(p_i,p_j)和空间距离d_position(p_i,p_j)，得到每个小块两两之间的差异性

本实施例中选取前60个差异性最小的图像块对每个小块p_i内所有位置进行显著性度量，采用如下公式

根据上述公式#(4)#(5)可以得到对图像I₁(x,y)每M个像素进行切分后，I₁(x,y)中所有位置的单尺度显著性值S^M(x,y)。

为进一步提高显著区域与非显著区域的对比度，对图像I₁(x,y)在M取不同值的情况下，分别计算单尺度显著性值S^M(x,y)。然后计算不同尺度下显著性值的平均值，作为所述最终显著性检测结果S(x,y)。例如取M分别为10、20、30，则

根据显著性值对所述初始图像进行裁剪包括：参考图2B，从显著性检测结果S(x,y)中提取出显著性阈值w大于0.5的所有坐标集合J，J＝[(x₁,y₁)(x₂,y₂)…(x_n,y_n)]。分别确定其中横纵坐标的最大值和最小值，即

确定矩形裁剪框的左上角坐标为(x_min,y_min)，右下角坐标为(x_max,y_max)，在所述原始图像I₀(x,y)上进行裁剪，得到裁剪后的图像I₂(x,y)。并取得所述最终显著性检测结果S(x,y)在所述裁剪后图像I₂(x,y)中对应的裁剪后显著性检测结果S₂(x,y)。

对裁剪后的图像进行关键点检测并修正关键点分布热图包括：将所述裁剪后的图像I₂(x,y)输入现有卡内基梅隆大学开发的多人骨架关键点检测框架OpenPose中，输出检测出18类骨骼关键点分布热图H₁,H₂,H₃,…,H₁₈。H_i图像大小与所述裁剪后显著性检测结果图像S₂(x,y)大小相同，其中不同的坐标值(x,y)∈H_i表示该位置检测出骨骼关键点i的概率。将S₂(x,y)中显著性值与18类骨骼关键点分布热图H₁,H₂,H₃,…,H₁₈中的对应位置相乘，得到修正后的关键点分布热图H′₁，H′₂，H′₃，…，H′₁₈。

计算所述初始图像中的骨骼关键点检测结果包括：将所述修正后的关键点分布热图H′₁，H′₂，H′₃，…，H′₁₈再次输入OpenPose框架中，计算检测结果，如图2D所示。检测结果包括检测到的所述裁剪后的图像I₂(x，y)中含有的人数O以及O个人的骨骼关键点坐标集合J_H＝(J₁,J₂,…，J_O)，集合J_H中的元素J_i表示第i个人的骨骼关键点坐标集合，

k＝18，

表示第i个人的第j个骨骼关键点的坐标。将集合J_H中所有横坐标加上矩形裁剪框左上角横坐标x_min，所有纵坐标加上矩形裁剪框左上角纵坐标y_min，得到所述初始图像中的骨骼关键点检测结果J′_H。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种对包含人像的图像的多人骨骼关键点检测方法，其特征在于包括如下步骤：

S1、对一含人像的原始RGB图像进行图像显著性检测，得到所述原始RGB图像中各位置的显著性值；

S2、根据显著性值对所述原始RGB图像进行裁剪，得到裁剪后的图像及裁剪后图像各位置的显著性值；

S3、对所述裁剪后的图像进行人体骨骼关键点检测，得到N个关键点位置分布热图；其中，N≥1；

S4、对所述分布热图根据所述裁剪后图像各位置的显著性值进行加权，根据加权后的分布热图计算出所述裁剪后的图像的骨骼关键点检测结果；

S5、计算所述原始RGB图像的骨骼关键点的最终检测结果；最终检测结果包括所述原始RGB图像中的人数及检测到的每个人的骨骼关键点坐标集合；

步骤S3具体包括：将所述裁剪后的图像I₂(x，y)输入多人骨架关键点检测框架OpenPose中，输出检测出18类骨骼关键点分布热图H₁，H₂，H₃，…，H₁₈；H_i图像大小与所述裁剪后的图像的显著性检测结果图像S₂(x，y)大小相同，其中不同的坐标值(x，y)∈H_i表示该位置检测出骨骼关键点i的概率；

步骤S4具体包括：将S₂(x，y)中显著性值与18类骨骼关键点分布热图H₁，H₂，H₃，…，H₁₈中的对应位置相乘，得到修正后的关键点分布热图H′₁，H′₂，H′₃，…，H′₁₈。

2.如权利要求1所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，步骤S1中对初始图像进行显著性检测包括：采用上下文感知方法进行显著性检测，具体包括：

S21、将所述原始RGB图像I₀(x，y)转化为Lab颜色空间中的图像I₁(x，y)；

S22、将图像I₁(x，y)切分成N块，分别表示为p₁，p₂，…，p_N，分别计算N个小块两两之间的差异性，其中N取整数，N≥4；

S23、对每个小块p_i，取前K个与其差异性最小的块，计算单尺度显著性值

其中K取整数，N≥K≥1；

S24、计算多尺度下显著性平均值，得到显著性检测结果S(x，y)。

3.如权利要求2所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，S21中，将所述原始RGB图像I₀(x，y)转化为Lab颜色空间中的图像I₁(x，y)具体包括：

S211、将RGB颜色空间中的图像首先转换到XYZ空间

S212、再将XYZ空间中的像素值转化为Lab颜色空间中的像素值

其中，

根据上述公式#(1)、#(2)、#(3)即可得到所述原始RGB图像I₀(x，y)在Lab颜色空间中的图像I₁(x，y)。

4.如权利要求2所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，步骤S22具体包括：对所述图像I₁(x，y)首先在水平方向上和竖直方向上每M个像素进行切分，其中令L_min表示图像I₁(x，y)的短边长度，M取整数，L_min/2≥M≥2，得到p₁，p₂，…，p_N共N个小块，分别计算每个小块两两之间在Lab空间中的欧几里得颜色距离d_color(p_i，p_j)和空间距离d_position(p_i，p_j)，得到每个小块两两之间的差异性

步骤S23具体包括：选取前一定个数的差异性最小的图像块对每个小块p_i内所有位置进行显著性度量，采用如下公式

根据上述公式#(4)、#(5)可以得到对图像I₁(x，y)每M个像素进行切分后，I₁(x，y)中所有位置的单尺度显著性值S^M(x，y)。

5.如权利要求4所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，还包括：对图像I₁(x，y)在M取不同值的情况下，分别计算单尺度显著性值S^M(x，y)；然后计算不同尺度下显著性值的平均值，作为最终显著性检测结果S(x，y)；所述根据显著性值对原始RGB图像进行裁剪包括：从显著性检测结果S(x，y)中提取出显著性阈值w大于0.5的所有坐标集合J，J＝[(x₁，y₁)(x₂，y₂)…(x_n，y_n)]，分别确定其中横纵坐标的最大值和最小值，即

确定矩形裁剪框的左上角坐标为(x_min，y_min)，右下角坐标为(x_max，y_max)，在所述原始RGB图像I₀(x，y)上进行裁剪，得到裁剪后的图像I₂(x，y)。

6.如权利要求5所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，取得所述最终显著性检测结果S(x，y)在所述裁剪后的图像I₂(x，y)中对应的裁剪后显著性检测结果S₂(x，y)。

7.如权利要求1所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，步骤S5具体包括：将所述修正后的关键点分布热图H′₁，H′₂，H′₃，…，H′₁₈再次输入OpenPose框架中，计算检测结果；检测结果包括检测到的所述裁剪后的图像I₂(x，y)中含有的人数O以及O个人的骨骼关键点坐标集合J_H＝(J₁，J₂，…，J_O)，集合J_H中的元素J_i表示第i个人的骨骼关键点坐标集合，

表示第i个人的第j个骨骼关键点的坐标；将集合J_H中所有横坐标加上矩形裁剪框左上角横坐标x_min，所有纵坐标加上矩形裁剪框左上角纵坐标y_min，得到初始图像中的骨骼关键点检测结果J′_H。

8.一种对包含人像的图像的多人骨骼关键点检测装置，其特征在于，采用如权利要求1-7中所述的方法。

9.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序可以被计算机执行以实现如权利要求1-7所述的方法。

Images