CN110443148A

CN110443148A - 一种动作识别方法、系统和存储介质

Info

Publication number: CN110443148A
Application number: CN201910618539.6A
Authority: CN
Inventors: 谭攻坚
Original assignee: Guangzhou Code Communication Technology Co Ltd
Current assignee: Guangzhou Code Communication Technology Co Ltd
Priority date: 2019-07-10
Filing date: 2019-07-10
Publication date: 2019-11-12
Anticipated expiration: 2039-07-10
Also published as: CN110443148B

Abstract

本发明公开了一种动作识别方法、系统和存储介质，所述方法包括以下步骤：获取输入图像；将输入图像输入到神经网络进行特征提取，得到多张人体关键点的特征热力图以及多张人体关键点之间的连接关系的特征热力图；对得到的特征热力图进行平滑处理；判断平滑处理后的特征热力图的峰值是否大于第一预设阈值；根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架。本发明通过对特征热力图进行平滑处理和过滤，将抖动量降低，从而提高预测出来的人体关键点相对准确和稳定，并能够去除由于关键点抖动或者人体部分缺失在图像视野中引起的关键点错误和关键点连接错误的问题。本发明可以广泛应用于图像处理领域。

Description

一种动作识别方法、系统和存储介质

技术领域

本发明涉及图像处理领域，尤其是一种动作识别方法、系统和存储介质。

背景技术

随着图像识别技术的发展，图像识别技术被应用在不同的领域。其中，在电子设备领域，图像识别技术往往被用于识别用户的动作和手势。

而通过图像识别技术来识别用户的动作或者手势，往往需要通过神经网络。这些用于识别用户的动作或者手势的神经网络经过预先的训练，研发者通过大量的标定图片对神经网络进行训练。这些经过训练的神经网络可以从待检测的图片中识别出特定的特征。

但是在进行动作或者手势识别时，涉及到人体关键点的识别，神经网络预测出来的人体关键点抖动比较大，人体在图像中部分缺失时会导致关键点预测错误，进而使关键点之间的连线出现错误。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种动作识别方法、系统和存储介质，以减少关键点抖动，降低关键点之间的连线出现错误的可能性。

本发明实施例的第一方面提供了：

一种动作识别方法，包括以下步骤：

获取输入图像；

将输入图像输入到神经网络进行特征提取，得到多张人体关键点的特征热力图以及多张人体关键点之间的连接关系的特征热力图；

对得到的特征热力图进行平滑处理；

判断平滑处理后的特征热力图的峰值是否大于第一预设阈值；

根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架；

根据人体骨架得到动作分类。

进一步，还包括以下步骤：

检测手腕关键点的连接关系；

在确定检测到手腕关键点的连接关系后，根据手腕关键点的连接关系的延长线框选出手掌部分的图像；

将手掌部分的图像输入神经网络进行特征识别，得到手掌部分的连接关系；

根据手掌部分的连接关系得到手势类型。

进一步，所述将手掌部分的图像输入神经网络进行特征识别，得到手掌部分的连接关系，其具体包括：

将手掌部分的图像输入到神经网络，得到多张手掌部分关键点的特征热力图；

对手掌部分关键点的特征热力图行平滑处理；

判断平滑处理后的手掌部分关键点的特征热力图的峰值是否大于第二预设阈值；

根据峰值大于第二预设阈值的手掌部分关键点的特征热力图进行关系连接，得到手掌部分的连接关系。

进一步，所述根据手掌部分的连接关系得到手势类型，其具体为：

将手掌部分的连接关系输入到支持向量机进行分类，得到手势分类。

进一步，所述平滑处理具体为：通过高斯模糊进行平滑处理。

进一步，所述根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架，其具体包括：

将峰值大于第一预设阈值的特征热力图中小于第三预设阈值的部分过滤；

将经过过滤后的特征热力图进行二值化处理；

在二值化处理后的人体关键点的特征热力图的真值区中寻找峰值所在的位置；

在二值化处理后的人体关键点的连接关系的特征热力图的真值区中，根据多个人体关键点的特征热力图的峰值所在的位置寻找人体关键点，得到多个人体关键点之间的连线；

根据不同的人体关键点之间的连线，得到人体骨架。

进一步，在将峰值大于第一预设阈值的特征热力图中小于第三预设阈值的部分过滤之前，还包括以下步骤：

将峰值大于第一预设阈值的特征热力图放大至与输入图像相同的尺寸。

本发明实施例的第二方面提供了：

一种动作识别系统，包括：

获取单元，用于获取输入图像；

特征热力图生成单元，用于将输入图像输入到神经网络进行特征提取，得到多张人体关键点的特征热力图以及多张人体关键点之间的连接关系的特征热力图；

平滑处理单元，用于对得到的特征热力图进行平滑处理；

判断单元，用于判断平滑处理后的特征热力图的峰值是否大于第一预设阈值；

人体骨架生成单元，用于根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架；

动作分类单元，用于根据人体骨架得到动作分类。

本发明实施例的第三方面提供了：

一种动作识别系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的动作识别方法。

本发明实施例的第四方面提供了：

一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的动作识别方法。

本发明的有益效果是：本发明通过对特征热力图进行平滑处理，将抖动量降低，从而提高预测出来的人体关键点相对准确和稳定，然后本发明还仅根据峰值大于第一预设阈值的特征热力图，来进行人体骨架的构建，能够去除由于关键点抖动或者人体部分缺失在图像视野中引起的关键点错误和关键点连接错误的问题。

附图说明

图1为本发明一种具体实施例的动作识别方法的流程图；

图2为本发明一种具体实施例中根据输入图像输出特征热力图的示意图。

具体实施方式

下面结合说明书附图和具体的实施例对本发明进行进一步的说明。

卷积神经网络被广泛应用在图像识别之中，所述卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。本实施例将通过经过训练的卷积神经网络进行动作识别。其中，在卷积神经网络进行训练时，输入大量人体图像，在每个输入的人体图像中标注人体关键点及关键点之间的连线，并生成对应的标注数据。

本实施例主要应用在如游戏机体感模块等嵌入式设备中，所述体感模块通常包括至少一个摄像头，该摄像头用于采集图像。

参照图1，本实施例公开了一种动作识别方法，该方法由处理器执行，其包括步骤S101～S106：

S101、获取输入图像。

所述输入图像由体感模块的摄像头采集，当摄像头采集的输入图像中包括人体图像，本实施例才能进行动作识别。

S102、将输入图像输入到神经网络进行特征提取，得到多张人体关键点的特征热力图以及多张人体关键点之间的连接关系的特征热力图。

所述神经网络是经过大量数据训练的卷积神经网络，当然了，所述神经网络也可以采用其他可以执行图像识别的神经网络实现。所述特征热力图中的各点以颜色或者数字表示；其中，点的颜色或者数字代表该点是识别目标的可能性，例如，可以根据某个点为识别目标的可能性的高低，以深浅色表示，如黑色表示可能性极高，白色表示可能性极低。

参照图2，本实施例会将输入图像201输入到神经网络，并在神经网络的多个通道中，输出特征热力图。其中神经网络的输出通道包括两大类，第一类输出人体关键点的特征热力图，第二类输出人体关键点之间的连接关系的特征热力图。其中，人体关键点是指主要的关节或者器官的位置，例如手腕、头部、脚踝或者脖子等。

如图2所示，第一通道输出了头部关键点的特征热力图202a；其中，在第一通道输出的头部关键点的特征热力图202a中，出现的方块(即像素点)表示头部关键点可能出现的位置，其中，第一方块204a用阴影(深色)表示，第二方块204b用白色(浅色)表示，说明第一方块204a比第二方块204b更有可能是头部关键点。而第二通道输出了手腕关键点的特征热力图202b，第三通道输出了脚踝关键点的特征热力图202c，当然，还有其他通道可以输出更多的人体关键点的特征热力图。

同理，第四通道输出了腿部连接关系的特征热力图203a，该特征热力图实际上表示脚踝关键点和盆骨关键点之间连接关系。第五通道输出了手部连接关系的特征热力图203b，该特征热力图实际上表示了手腕关键点和肘关节关键点之间的连接关系，还有其他通道输出更多的人体关键点之间的连接关系的特征热力图。

如果设置更多的输出通道来输出更多的人体关键点特征热力图或者输出更多人体关键点之间的连接关系的特征热力图，可以使得识别更加准确，但是在提升识别效果的同时，也会增加运算量。

S103、对得到的特征热力图进行平滑处理。

在本步骤中，对特征热力图进行平滑处理，包括对人体关键点的特征热力图以及人体关键点之间的连接关系的特征热力图进行平滑处理，在本步骤中，可以采用高斯模糊对特征热力图进行平滑处理，以降低噪声对特征热力图的影响，减少数据样本和网络初始值可能引入的预测抖动量。

S104、判断平滑处理后的特征热力图的峰值是否大于第一预设阈值。

在本步骤中，为了方便描述，将本步骤中的预设阈值统称为第一预设阈值，然而对于不同的通道输出的特征热力图，可以设置数值不同的第一预设阈值。例如，第一通道的预设阈值设为2n，第二通道的预设阈值设为3n。当然，各通道在本步骤中的预设阈值也可以是相同的。

S105、根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架。

在本步骤中，相当于将峰值小于等于第一预设阈值的特征热力图过滤掉，从而将剩下的峰值大于第一预设阈值的特征热力图进行关系连接，能够避免因为人体部分被遮挡导致的错误连接。在连接过程中，会在人体关键点之间的连接关系的特征热力图中，寻找通过过滤的人体关键点的特征热力图上对应的人体关键点的位置，从而确定人体关键点之间的连接关系。那么意味着，如果部分人力关键点的特征热力图被过滤掉，即便显示这些被过滤的人体关键点之间的连接关系的特征热力图通过过滤，在最终生成的人体骨架里面也没有包含该人体关键点的连接关系。比方说，手腕关键点的特征热力图被过滤了，但是手腕关键点和肘关节关键点之间的连接关系的特征热力图没有被过滤，在最终生成的人体骨架中也是不会出现手腕和肘关节之间的连接关系的。反之亦然，例如，手腕关键点和肘关节关键点之间的连接关系的特征热力图被过滤掉了，即便手腕关键点和肘关节关键点的特征热力图均没有被过滤，在最终的人体骨架中也不会出现手腕和肘关节之间的连接关系。本实施例通过这样的方式来确保连接关系的准确性。

S106，根据人体骨架得到动作分类。

本步骤可以根据人体骨架对动作进行分类识别，从而得到当前的动作类型。

本实施例通过对特征热力图进行平滑处理，将抖动量降低，从而提高预测出来的人体关键点相对准确和稳定，然后本实施例还仅根据峰值大于第一预设阈值的特征热力图，来进行人体骨架的构建，能够去除由于关键点抖动或者人体部分缺失在图像视野中引起的关键点错误和关键点连接错误的问题。

作为优选的实施例，本实施例为了能够进一步识别用户的手势，还包括以下步骤：

检测手腕关键点的连接关系。

在确定检测到手腕关键点的连接关系后，根据手腕关键点的连接关系的延长线框选出手掌部分的图像。

将手掌部分的图像输入神经网络进行特征识别，得到手掌部分的连接关系。

根据手掌部分的连接关系得到手势类型。

具体地，检测手腕关键点的连接关系是指，检测是否存在手腕关键点与肘关节关键点之间的连接关系，如果存在，则可以通过该连接关系，裁剪或者框选出手掌部分的图像。本实施例可以根据肘关节关键点指向手腕关键点的方向在两者的连线上作延长线，从而根据两者连线的长度来确定框选或者裁剪的区域，两者连线的长度反应手掌的大小，因此根据两者连线的长度来确定裁剪区域的大小会更加合理。当然，在作延长线以后，也可以根据设定面积对图像进行裁剪或者框选。这里的裁剪或者框选的图像是指输入图像。接着，本实施例可以通过将框选出来的手掌部分的图像输入到神经网络来输出手掌部分的骨架。在本实施例中的神经网络，与步骤S102中所述的神经网络可以是相同的神经网络，也可以是不同的神经网络，其取决于对神经网络的训练样本。在本实施例中，获得手掌部分的连接关系后，可以对手掌部分的连接关系进行分类。

作为优选的实施例，所述将手掌部分的图像输入神经网络进行特征识别，得到手掌部分的连接关系，其具体包括：

对手掌部分关键点的特征热力图行平滑处理；

本实施例与识别人体骨架时的不同之处在于不用输出手掌部分关键点之间的连接关系的特征热力图。由于手掌部分的位置已经确定了，所以为了节省运算量，可以省略手掌部分关键点之间的连接关系的特征热力图。

同理，这里的平滑处理也可以采用高斯模糊实现。而第二预设阈值的设置方式也可以与第一预设阈值的设置方式相同，即将每个通道的预设阈值的大小设置得一样或者不同。

作为优选的实施例，为了能够更加准确地对手势进行分类，所述根据手掌部分的连接关系得到手势类型，其具体为：

所述支持向量机(即Support Vector Machine,SVM)是一类按监督学习方式对数据进行分类的广义线性分类器。其在经过训练后，能够有效地根据手掌部分的连接关系，得到手势分类。当然，在对步骤S106中的动作进行分类时，也可以通过支持向量机实现。

作为优选的实施例，所述平滑处理具体为：通过高斯模糊进行平滑处理。

高斯模糊，也叫高斯平滑，可以用它来减少图像噪声以及降低细节层次。这种模糊技术生成的图像，其视觉效果就像是经过一个半透明屏幕在观察图像。高斯模糊对于图像来说就是一个低通滤波器。其可以有效地降低图像噪声，将抖动量降低，从而提高预测出来的人体关键点相对准确和稳定。

作为优选的实施例，为了准确和快捷地得到人体骨架，所述根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架，其具体包括：

将经过过滤后的特征热力图进行二值化处理；

根据不同的人体关键点之间的连线，得到人体骨架。

本实施例先将特征热力图中小于第三设定阈值的点过滤掉，然后将图像进行二值化处理，最后在真值区域中寻找峰值，以减少寻找峰值的位置时的运算量。在进行二值化处理后，对于人体关键点的特征热力图和人体关键点之间连接关系的特征热力图处理方式有所不同。在本实施例中，会首先从人体关键点的特征热力图中识别出峰值，然后根据峰值的位置，确认该峰值所在位置是否在人体关键点之间的连接关系的特征热力图的真值区域中，如果一个人体关键点之间的连接关系的特征热力图的真值区域里面有多个人体关键点，则可以将这多个人体关键点进行连接，得到人体骨架的一部分连接关系。通过将人体估计的多个部分的连接关系拼在一起，就可以得到完整的人体骨架。如果一个人体关键点之间的连接关系的特征热力图的真值区域中只有一个人体关键点，那说明有部分的人体关键点已经丢失了，不应该使用该人体关键点的连接关系的特征热力图作为拼接人体骨架的依据。同理，如果有个别人体关键点的特征热力图的峰值所在的位置，没有在任何人体关键点之间的连接关系的特征热力图的真值区内，说明该人体关键点也可能是个错误识别，也应该将其舍弃。

在前面讨论的实施例中，为了轻量化神经网络，所输出的特征热力图会比输入图像小。因而如果需要将大小不同的图像进行位置关系映射，需要编写更加复杂的代码。

作为优选的实施例，为了更加方便地将人体骨架映射到输入图像上，在将峰值大于第一预设阈值的特征热力图中小于第三预设阈值的部分过滤之前，还包括以下步骤：

本实施例将特征热力图放大至与输入图像相同的尺寸，使得特征热力图中的每个点都在输入图像中有对应位置，本实施例实施方式简单，开发难度低。

本实施例公开了一种动作识别系统，其包括：

获取单元，用于获取输入图像；

平滑处理单元，用于对得到的特征热力图进行平滑处理；

动作分类单元，用于根据人体骨架得到动作分类。

本实施例公开了一种动作识别系统，其包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的动作识别方法。

本实施例公开了一种存储介质，其存储有程序，所述程序被处理器执行时实现所述的动作识别方法。

上述系统实施例与存储介质实施例可以实现与方法实施例相同的技术效果。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.一种动作识别方法，其特征在于：包括以下步骤：

获取输入图像；

对得到的特征热力图进行平滑处理；

根据人体骨架得到动作分类。

2.根据权利要求1所述的一种动作识别方法，其特征在于：还包括以下步骤：

检测手腕关键点的连接关系；

根据手掌部分的连接关系得到手势类型。

3.根据权利要求2所述的一种动作识别方法，其特征在于：所述将手掌部分的图像输入神经网络进行特征识别，得到手掌部分的连接关系，其具体包括：

对手掌部分关键点的特征热力图行平滑处理；

4.根据权利要求2所述的一种动作识别方法，其特征在于：所述根据手掌部分的连接关系得到手势类型，其具体为：

5.根据权利要求1所述的一种动作识别方法，其特征在于：所述平滑处理具体为：通过高斯模糊进行平滑处理。

6.根据权利要求1所述的一种动作识别方法，其特征在于：所述根据峰值大于第一预设阈值的特征热力图进行关系连接，得到人体骨架，其具体包括：

将经过过滤后的特征热力图进行二值化处理；

根据不同的人体关键点之间的连线，得到人体骨架。

7.根据权利要求6所述的一种动作识别方法，其特征在于：在将峰值大于第一预设阈值的特征热力图中小于第三预设阈值的部分过滤之前，还包括以下步骤：

8.一种动作识别系统，其特征在于：包括：

获取单元，用于获取输入图像；

平滑处理单元，用于对得到的特征热力图进行平滑处理；

动作分类单元，用于根据人体骨架得到动作分类。

9.一种动作识别系统，其特征在于：包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行如权利要求1-7任一项所述的动作识别方法。

10.一种存储介质，其存储有程序，其特征在于：所述程序被处理器执行时实现如权利要求1-7任一项所述的动作识别方法。