CN113496176A - 动作识别方法、装置以及电子设备 - Google Patents

Abstract

本申请实施例公开了一种动作识别方法、装置以及电子设备。所述方法包括：从待识别图像中获取第一连续帧骨架序列；将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

Description

动作识别方法、装置以及电子设备

技术领域

本申请属于人工智能领域，具体涉及一种动作识别的方法、装置、电子设备及存储介质。

背景技术

随着图像识别技术的发展，在相关的方式中可以通过图像内容识别的方式来获取其中目标对象的动作。例如，可以通过识别目标对象的骨架来识别对应的动作。但是，在相关的识别方式中，还存在动作识别准确性不够高的问题。

发明内容

鉴于上述问题，本申请提出了一种动作识别方法、装置、电子设备以及存储介质，以实现改善上述问题。

第一方面，本申请实施例提供了一种动作识别方法，所述方法包括：从待识别图像中获取第一连续帧骨架序列；将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

第二方面，本申请实施例提供了一种动作识别装置，所述装置包括：第一骨架序列获取单元，用于从待识别图像中获取第一连续帧骨架序列；第二骨架序列获取单元，用于将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；动作识别单元，用于将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

第三方面，本申请实施例提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供了一种动作识别的方法、装置、电子设备及存储介质。从待识别图像中获取第一连续帧骨架序列，再将第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入动作识别网络，获取与待识别图像对应的动作类型。通过上述方式，可以通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种动作识别方法的流程图；

图2示出了本申请另一实施例提出的一种动作识别方法的流程图；

图3示出了本申请再一实施例提出的一种动作识别方法的流程图；

图4示出了本申请又一实施例提出的一种动作识别方法的流程图；

图5示出了本申请一实施例提出的一种随机遮挡关节点示意图；

图6示出了本申请一实施例提出的一种骨架关节点连接图；

图7示出了本申请一实施例提出的一种动作识别方法的场景图；

图8示出了本申请又一实施例提出的一种动作识别方法的流程图；

图9示出了本申请实施例提出的一种动作识别装置的结构框图；

图10示出了本申请实施例提出的另一种动作识别装置的结构框图；

图11示出了本申请实施例提出的一种训练数据获取单元的结构框图；

图12示出了本申请实时中的用于执行根据本申请实施例的动作识别方法的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着科学技术的不断发展，人工智能逐渐从梦想变成现实，计算机视觉是人工智能的重要组成部分，而行为识别一直是计算机视觉领域的一个热点，近年来随着深度学习和计算机视觉的技术融合和发展，行为识别被广泛应用在视频分析、智能监控、人机交互、增强显示等领域。目前在人工智能领域，对动作进行识别的常用方法可分为两类：一类是基于传统机器学习的方法，它的核心是以人工构建的特征为主，并结合训练的分类器来实现动作识别；第二类是基于当前流行的深度学习的方法，其中，深度学习以目标为导向，以大量的训练数据为基础，不仅能训练分类器，还同时学习特征，具有很好的效果。

在发明人对动作识别方法的研究过程中发现由于骨架信息具有不同于自然图像的图结构，当前大多算法使用图卷积神经网络对骨架信息提取特征，以便更好地提取到骨架关节点之间地结构关联信息。但是，当前从RGB图像中获取人体骨架信息的算法往往不能获取到完整的骨架信息，把不完整的骨架信息输入神经网络结构中，会使动作识别的准确率下降。

因此，发明人提出了本申请中的通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度的方法、装置、电子设备及存储介质。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，本申请实施例提供的一种动作识别方法，所述方法包括：

步骤S110：从待识别图像中获取第一连续帧骨架序列。

在本申请实施例中，可以通过多种方式获得待识别图像，作为一种方式，可以通过拍照设备对目标物直接进行多次拍照得到目标物的多个待识别图像，其中，可以对拍照设备得到的图像进行筛选，选择满足指定条件的图像作为目标物的待识别图像。可选的，还可以通过蓝牙、wifi等无线通信网络接收从其他存储有目标物图像的终端设备中传输过来的图像作为目标物的待识别图像。

需要说明的是，第一连续帧骨架序列可以包括完整的骨架序列和不完整的骨架序列。示例性的，在连续N帧第一连续帧骨架序列中，可以包括M帧是不完整的骨架序列，N-M帧完整骨架序列，其中，不完整骨架序列可以由多个单帧不完整骨架构成，完整骨架序列可以由多个单帧完整骨架构成。所述不完整的骨架序列可能是由于光照过暗或过亮，或者目标物相对于摄像头被遮挡时，造成的得到不完整的骨架序列。例如，在拍照或者录制视频时，由于目标对象的侧面正对图像采集设备，进而使得图像采集设备仅能采集到的目标对象的一个侧面的图像，而无法获取到目标对象另一个侧面或者其他面的图像，造成获取到的目标对象对应的骨架序列不是完成的。

作为一种方式，可以使用openpose姿态估计算法从视频中获取待识别图像的第一连续帧骨架序列。

需要说明的是，在本申请实施例中，可以有多种方式来从待识别图像中获取第一连续帧骨架序列，其中所述待识别图像包括连续帧图像。

作为一种方式，可以将图像采集设备(例如，Kinect相机)所采集的到的所有多帧图像对应的骨架信息序列作为待识别图像对应的第一连续帧骨架序列。

作为另外一种方式，可以通过从多个备选的连续帧图像中选取部分帧图像，将所述从多个备选的连续帧图像中选取部分帧图像对应的骨架信息序列作为待识别图像对应的第一连续帧骨架序列。示例性的，在获取到图像采集设备采集到的N帧的连续帧图像作为备选图像后，可以从该备选图像中选取M帧图像，获取M帧图像对应的骨架信息序列作为待识别图像对应的第一连续帧骨架序列。其中，可选的，可以将备选图像中第一帧图像开始的M帧图像作为连续帧图像，也可以从备选图像中间位置开始的M帧图像作为连续帧图像。

需要说明的是，对于连续采集的多帧图像中，可能有相邻帧的图像内容并未有较大的变化，那么如果将该连续采集的多帧图像均进行后续的操作，那么可能会得到较为重复的信息，并且还会消耗处理资源。那么作为一种方式，在从多个备选的连续帧图像中选取部分帧图像作为连续帧图像的过程中，可以通过图像内容比对的方式，选取内容差异满足指定条件的多个帧的图像作为连续帧图像，以便于获取待识别图像的第一连续帧骨架序列的动作的同时，降低处理资源效果的效果。示例性的，若图像采集设备采集的备选图像包括连续采集的图像A、图像B、图像C、图像D以及图像E。并且，确定是从备选图像中第一帧图像开始进行连续帧图像的选取，那么首先会判断图像B与图像A之间的内容差别，若图像B与图像A之间的内容差别不满足指定条件，那么就舍弃图像B，进一步的会判断图像C与图像B之间的内容差别，图像D与图像C之间的内容差别以及图像E与图像D之间的内容差别。若图像C与图像B之间的内容差别，图像D与图像C之间的内容差别以及图像E与图像D之间的内容差别均满足指定条件，那么就会保留图像C、图像D以及图像E，进而所得到的连续帧动作图像包括图像A、图像C、图像D以及图像E。

步骤S120：将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充。

作为一种方式，目标神经网络用于对输入的连续帧骨架序列进行关节点补充，因此将第一连续帧骨架序列输入到预先训练好的目标神经网络，在目标神经网络中对于可能是不完整的骨架序列进行关节点补充，输出完整的第二连续帧骨架序列，或者输出与补充之前的骨架序列有明显区别的第二连续帧骨架序列。示例性的，可以将进行关节点补充前的单帧骨架序列与进行关节点补充后的单帧骨架序列进行对比，其中，可以判断进行关节点补充前的单帧骨架序列与进行关节点补充后的单帧骨架序列是否满足预设阈值，其中，需要说明的是，预设阈值可以表征骨架序列的完整度。如果进行关节点补充后的单帧骨架序列超过了预设阈值，而进行关节点补充前的单帧骨架序列未超过预设阈值，则说明进行关节点补充后的单帧骨架序列比进行关节点补充前的单帧骨架序列有明显区别，则表示在预先训练好的目标神经网络中，进行了对骨架序列进行关节点补充的动作。

可选的，在目标神经网络中对于不完整的骨架序列进行关节点补充的过程之前，可以先判断输入目标神经网络的第一连续帧骨架序列是否完整，对于完整的骨架序列可以进行标记，以便在目标神经网络中对于不完整的骨架序列进行关节点补充的过程中对标记的骨架序列不进行关节点补充操作。

作为另一种方式，可以选择在获取到带识别图像的第一连续帧骨架序列后，判断第一连续帧骨架序列是否完整，若第一连续帧骨架序列中有完整的连续帧骨架序列，则不将完整的骨架序列输入到训练好的目标神经网络中进行关节点补充操作；将第一连续帧骨架序列中不完整的骨架序列作为新的第一连续帧骨架序列，输入到预先训练好的目标神经网络中进行关节点补充，输出完整的骨架序列。

步骤S130：将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

需要说明的是，所述动作识别网络可以为长短期记忆动作识别网络，长短期记忆网络是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。

作为一种方式，长短期记忆动作识别网络是预先训练好的动作识别网络，可以直接将通过上述方式获得的完整的骨架序列输入到长短期记忆动作识别网络中，直接输出待识别图像的动作类型。

本申请实施例提供的一种动作识别的方法，从待识别图像中获取第一连续帧骨架序列，再将第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入长短期记忆动作识别网络，获取与待识别图像对应的动作类型。通过上述方式，可以通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

请参阅图2，本申请实施例提供的一种动作识别方法，所述方法包括：

步骤S210：提取所述连续帧图像中的每一帧图像的特征，得到所述连续帧图像对应的多个特征图。

需要说明的是，特征提取是计算机视觉和图像处理中的一个概念，它指是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。需要说明的是，图像特征有颜色特征、纹理特征、形状特征、空间关系特征。特征提取方法可以包括图卷积法、Fourier变换法、窗口Fourier变换法、小波变换法、最小二乘法以及边界方向直方图法等方法。

作为一种方式，可以通过对连续帧图像中的每一帧图像进行特征提取，通过特征提取得到每一帧图像对应的特征图，进而通过这种方式可以得到连续帧图像对应的多个特征图。示例性的，可以通过图卷积方法对每一帧图像进行特征提取，得到对应的骨架关节点的空间关系特征图，进而通过这种方式可以得到连续帧图像对应的多个骨架关节点的空间关系特征图。

步骤S220：根据所述连续帧图像对应的多个特征图得到所述待识别图像的第一连续帧骨架序列。

作为一种方式，可以根据通过上述方式得到的所述连续帧图像对应的多个特征图得到待识别图像的第一连续帧骨架序列，其中，一个特征图像对应一帧骨架序列。

步骤S230：将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充。

作为一种方式，将第一连续帧骨架序列输入预先训练的目标神经网络，在训练好的目标神经网络中，目标神经网络对骨架序列中有关节点缺失的关节点进行关节点补充，输出更加完整的骨架序列。

步骤S240：将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

本申请实施例提供的一种动作识别的方法，首先提取连续帧图像中的每一帧图像的特征，得到连续帧图像对应的多个特征图，然后根据连续帧图像对应的多个特征图得到待识别图像的第一连续帧骨架序列，将第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入长短期记忆动作识别网络，获取与待识别图像对应的动作类型。通过对每一帧图像进行特征提取得到多个特征图，再根据多个特征图得到连续帧骨架序列，由于预先进行了特征提取，增加了目标神经网络识别的精确性。

请参阅图3，本申请实施例提供的一种动作识别方法，所述方法包括：

步骤S310：获取样本连续帧骨架序列。

可以理解的是，在使用目标神经网络前，可以使用样本连续帧骨架序列对目标神经网络进行训练。

作为一种方式，可以预先收集多组动作识别图像作为样本动作识别图像，分别获取多组样本动作识别图像对应的样本连续帧骨架序列，将所述样本连续帧骨架序列对应的关节点坐标作为样本训练数据，另外还可以从收集的多组动作识别图像中选取指定数量的多组动作识别图像作为样本识别图像，将剩下的多组动作识别图像作为目标神经网络应用阶段的待识别图像数据。示例性的，预先收集到100组动作识别图像，可以根据需要，从中选择50组动作识别图像作为样本动作识别图像，获取这50组样本动作识别图像对应的50帧骨架序列，获取所述50帧骨架序列对应的关节点坐标，将这50帧骨架序列对应的关节点坐标作为样本训练数据，可选的，将剩下的50组动作识别图像作为目标神经网络应用阶段的待识别图像数据。其中，可选的，还可以对预先收集的多组动作识别图像进行筛选，选择满足指定条件的多组动作识别图像作为样本动作识别图像。

步骤S320：获取所述样本连续帧骨架序列对应的骨架关节点的坐标。

作为一种方式，根据是通过上述方法是获得的样本连续帧骨架序列，获取所述样本连续帧骨架序列对应的骨架关节点坐标。

步骤S330：对所述骨架关节点进行随机遮挡，得到训练数据。

作为一种方式，可以对通过openpose姿态估计算法获取到的连续帧骨架序列对应的骨架关节点进行随机遮挡，对没有进行遮挡的骨架关节点进行标记，将进行标记的骨架关节点以及没有进行标记的骨架关节点作为训练数据。

步骤S340：将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

作为一种方式，将进行标记的骨架关节点以及没有进行标记的骨架关节点作为训练数据输入到待训练的神经网络中，对所述神经网络进行训练得到目标神经网络。

步骤S350：从待识别图像中获取第一连续帧骨架序列。

作为一种方式，通过上述方式得到目标神经网络后，可以获取需要进行动作识别的图像对应的第一连续帧骨架序列，进而得到第一连续帧骨架序列对应的骨架关节点坐标。

步骤S360：将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充。

步骤S370：将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

本申请实施例提供的一种动作识别的方法，首先获取样本连续帧骨架序列，获取样本连续帧骨架序列对应的骨架关节点的坐标，对骨架关节点进行随机遮挡，得到训练数据，将训练数据输入到待训练的神经网络，对待训练的神经网络进行训练，以得到目标神经网络，再将待识别图像的第一连续帧骨架序列输入到训练后的目标神经网络进行关节点补充，进而将补充后的骨架序列输入到动作识别网络中，进行动作识别。通过深度学习的方法，以大量的训练数据为基础，训练目标神经网络，提高了动作识别的精度。

请参阅图4，本申请实施例提供的一种动作识别方法，所述方法包括：

步骤S410：获取样本连续帧骨架序列。

步骤S420：获取所述样本连续帧骨架序列对应的骨架关节点的坐标。

步骤S430：对所述骨架关节点进行随机遮挡，得到第一骨架关节点以及第二骨架关节点；所述第一骨架关节点为遮挡的骨架关节点，所述第二骨架关节点为未遮挡的骨架关节点。

作为一种方式，可以对连续帧骨架关节点进行随机人工遮挡，随机生成多组遮挡骨架关节点，将被遮挡的的骨架关节点记为第一骨架关节点，将未被遮挡的骨架关节点记为第二骨架关节点。

示例性的，如图5所示，图中行表示不同的帧，列表示不同的关节点。对于连续16帧的骨架关节点进行随机遮挡，可以生成1～5组第一骨架关节点，也可以生成5～7组第一骨架关节点，生成多少组第一骨架关节点可以根据需求决定。由于动作的连续性，对于同一处的骨架关节点可能会连续被遮挡多帧，在图5中，“1.0”表示人工生成的遮挡关节点的位置，其中被遮挡处的骨架关节点的坐标用(-1,-1)表示，对于获取到的连续帧骨架序列中原本缺失的骨架关节点的坐标也用(-1,-1)表示。

步骤S440：将所述第一骨架关节点和第二骨架关节点的坐标作为训练数据。

作为一种方式，获取训练数据的步骤包括：获取替换数据，所述替换数据为样本连续帧骨架序列对应的骨架关节点的坐标的坐标平均值；将所述第一骨架关节点的坐标替换为所述替换数据，得到替换坐标后的第一骨架关节点；将所述替换坐标后的第一骨架关节点的坐标以及所述第二骨架关节点的坐标作为训练数据。

可以理解的是，为了方便训练和预测，可以将获取到的样本连续帧骨架序列中被遮挡的骨架关节点的坐标，用该关节点在所获取到的样本连续帧骨架序列对应的骨架关节点的坐标的坐标平均值替换，将进行替换后的骨架关节点坐标作为第一骨架关节点坐标。示例性的，如图6所示，关节点5、关节点6以及关节点7是不完整的骨架关节点，关节点5、关节点6以及关节点7的坐标都为(-1,-1)，可以将关节点5、关节点6以及关节点7的坐标替换为对应关节点在所获取到的样本连续帧骨架序列对应的骨架关节点的坐标的坐标平均值表示后，连起来就是图6中虚线部分。

步骤S450：将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

作为一种方式，将所述训练数据输入到所述待训练的神经网络，基于目标损失函数对所述待训练的神经网络进行训练，以得到目标神经网络；其中，所述目标损失函数的输出值为第一参数和第二参数的乘积，其中，所述第一参数为所述第一骨架关节点的坐标，所述第二参数为在遮挡处有正确关节点坐标的骨架关节点的坐标与经过所述待训练的神经网络输出的骨架关节点的坐标的差值的平方。

需要说明的是，所述目标损失函数可以是交叉熵损失函数(Cross Etropy LossFunction)，该损失函数能够表征所述待训练的神经网络输出的骨架序列与实际骨架序列的误差，其中只对人工遮挡处的骨架关节点恢复结果计算损失。

在本实施例中，通过将训练数据输入到待训练的神经网络中，基于目标损失函数对待训练的神经网络进行训练。通过将目标损失函数反馈给待训练的神经网络，可以告知待训练的神经网络“如何生成完整或者有明显区别的骨架关节点”，即对待训练的神经网络进行训练，以得到目标神经网络。

步骤S460：从待识别图像中获取第一连续帧骨架序列。

步骤S470：将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充。

作为一种方式，如图7(a)所示，在拍照或者录制视频时，由于目标对象的侧面正对图像采集设备，进而使得图像采集设备仅能采集到的目标对象的一个侧面的图像，而无法获取到目标对象另一个侧面或者其他面的图像，造成获取到的目标对象对应的骨架序列不是完成的，获取到的骨架关节点信息如图7(b)所示，关节点5、关节点6以及关节点7是不完整的骨架关节点，用连续帧骨架序列对应的骨架关节点的坐标的坐标平均值。

进一步的，将所述不完整骨架序列输入到训练好的目标神经网络，得到如图7(c)所示的更加完整的骨架序列，关节点5、关节点6以及关节点7的坐标本补全出来。

步骤S480：将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

本申请实施例提供的一种动作识别的方法，利用样本连续帧骨架序列对应的骨架关节点坐标对待训练的神经网络进行训练，以得到目标神经网络，再从待识别图像中获取第一连续帧骨架序列，将第一连续帧骨架序列输入预先训练的目标神经网络进行关节点补充操作，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入长短期记忆动作识别网络，获取与待识别图像对应的动作类型。通过上述方式，可以通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

请参阅图8，本申请实施例提供的一种动作识别方法，所述方法包括：

步骤S510：获取样本连续帧骨架序列。

步骤S520：获取所述样本连续帧骨架序列对应的骨架关节点的坐标。

步骤S530：对所述骨架关节点进行随机遮挡，得到训练数据。

步骤S540：将所述训练数据输入到待训练的神经网络，对所述训练数据进行采样操作，得到新的特征对待训练的神经网络进行训练，以得到目标神经网络。

需要说明的是，常规的卷积神经网络无法直接处理这些不规则形式存在的数据，通常需要将其转化为普通的图像形式，这在一定程度上丢失了图结构数据内部蕴含的丰富的结构信息。图卷积网络(Graph Convolutional Network，GCN)：一种用于对图数据进行特征提取的深度学习网络，其中包含若干个卷积层，各个卷积层用于对上一卷积层输出的特征进行进一步特征提取。由于图数据中包含各个节点的特征信息以及节点之间的结构信息，因此利用图卷积网络对图数据进行特征提取时，能够同时学习到图数据的节点特征以及结构特征，为图结构数据的处理提供了一个崭新的思路，将深度学习中常用于图像的卷积神经网络应用到图数据上，直接在图结构数据上进行卷积操作，尽可能的保留图结构信息。

进一步地，为了更好的保留和提取骨架序列的不同关节点的联系、把握骨架关节点的结构特征，可以利用图卷积神经网络对输入的骨架序列在时域或者空域上进行采样操作。

作为一种方式，将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络的步骤包括：在时域上对训练数据进行下采样操作，得到第一骨架特征；在时域上对训练数据进行下采样操作，得到第二骨架特征；基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征，将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

可以理解的是，在时域上对训练数据进行下采样操作，指的是把时间宽度变小，目的是便于提取连续帧骨架序列的全局信息；在时域上对训练数据进行上采样操作，目的是为了恢复出每个时间点的骨架序列的位置信息。通过在时域上对训练数据进行上下采样操作，有利于待训练的神经网络获得连续帧骨架的在时间轴上的全局信息，进而有利于恢复出不同关节点的坐标值。

作为另一种方式，将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络的步骤包括：在空域上对训练数据进行上采样操作，得到第一骨架特征；在空域上对训练数据进行下采样操作，得到第二骨架特征；基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征；将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

可以理解的是，还可以通过在空间域上对训练数据进行上下采样操作，使得连续帧骨架序列对应的骨架关节点具有更多的空间特征。

步骤S550：从待识别图像中获取第一连续帧骨架序列。

步骤S560：将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充。

步骤S570：将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

本申请实施例提供的一种动作识别的方法，利用样本连续帧骨架序列对应的骨架关节点坐标对待训练的神经网络进行训练，以得到目标神经网络，再从待识别图像中获取第一连续帧骨架序列，将第一连续帧骨架序列输入预先训练的目标神经网络进行关节点补充操作，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入长短期记忆动作识别网络，获取与待识别图像对应的动作类型。通过上述方式，可以通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

请参阅图9，本申请实施例提供的一种动作识别装置600，所述装置600包括：

第一骨架序列获取单元610，用于从待识别图像中获取第一连续帧骨架序列；

第二骨架序列获取单元620，用于将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；

动作识别单元630，用于将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

请参阅图10，本申请实施例提供的一种动作识别装置700，所述装置700包括：

样本序列获取单元710，用于获取样本连续帧骨架序列。

关节点坐标获取单元720，用于获取所述样本连续帧骨架序列对应的骨架关节点的坐标。

训练数据获取单元730，用于对所述骨架关节点进行随机遮挡，得到训练数据。

目标神经网络获取单元740，用于将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

目标神经网络获取单元740还用于将所述训练数据输入到所述待训练的神经网络，基于目标损失函数对所述待训练的神经网络进行训练，以得到目标神经网络。

作为另一种方式，目标神经网络获取单元740还用于在时域上对训练数据进行下采样操作，得到第一骨架特征；在时域上对训练数据进行上采样操作，得到第二骨架特征；基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征；将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

可选的，目标神经网络获取单元740还用于在空域上对训练数据进行上采样操作，得到第一骨架特征；在空域上对训练数据进行下采样操作，得到第二骨架特征；基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征；将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

请参阅图11，本申请实施例提供的一种训练数据获取单元730，所述训练数据获取单元730包括：

关节点遮挡模块732，用于对所述骨架关节点进行随机遮挡，得到第一骨架关节点以及第二骨架关节点；所述第一骨架关节点为遮挡的骨架关节点，所述第二骨架关节点为未遮挡的骨架关节点。

替换数据获取模块734，用于获取替换数据，所述替换数据为样本连续帧骨架序列对应的骨架关节点的坐标的坐标平均值。

第一骨架关节点获取模块736，用于将所述第一骨架关节点的坐标替换为所述替换数据，得到替换坐标后的第一骨架关节点。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图12对本申请提供的一种电子设备进行说明。

本发明实施例提供了一种动作识别的电子设备，该动作识别电子设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的动作识别方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

图12是本发明实施例提供的一种动作识别的电子设备的硬件结构框图。如图12所示，该电子设备1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(ProcessingUnits，CPU)1110(处理器1110可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，处理器1110可以设置为与存储介质1120通信，在电子设备1100上执行存储介质1120中的一系列指令操作。电子设备1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如WindowsServerTM，MacOSXTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图12所示的结构仅为示意，其并不对上述动作识别的服务器的结构造成限定。例如，电子设备1100还可包括比图12中所示更多或者更少的组件，或者具有与图12所示不同的配置。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述动作识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccessMemory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

综上所述，本申请提供的一种动作识别方法、装置以及电子设备，从待识别图像中获取第一连续帧骨架序列，再将第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，最后将第二连续帧骨架序列输入长短期记忆动作识别网络，获取与待识别图像对应的动作类型。通过上述方式，可以通过目标神经网络恢复出骨架局部缺失的关节点信息，得到更加完整的骨架序列作为长短期记忆动作识别网络的输入，进而在通过该长短期记忆动作识别网络输出当前的动作类别，从而改善了基于骨架的动作识别算法中输入的骨架因为缺失关节点的问题造成识别率较低的问题，进而提高了动作识别的精度。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种动作识别方法，其特征在于，所述方法包括：

从待识别图像中获取第一连续帧骨架序列；

将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；

将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

2.根据权利要求1所述的方法，其特征在于，所述待识别图像包括连续帧图像，所述通过从待识别图像中获取第一连续帧骨架序列包括：

提取所述连续帧图像中的每一帧图像的特征，得到所述连续帧图像对应的多个特征图；

根据所述连续帧图像对应的多个特征图得到所述待识别图像的第一连续帧骨架序列。

3.根据权利要求1所述的方法，其特征在于，所述从待识别图像中获取第一连续帧骨架序列之前，还包括：

获取样本连续帧骨架序列；

获取所述样本连续帧骨架序列对应的骨架关节点的坐标；

对所述骨架关节点进行随机遮挡，得到训练数据；

将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

4.根据权利要求3所述的方法，其特征在于，所述对所述骨架关节点进行随机遮挡，得到训练数据包括：

对所述骨架关节点进行随机遮挡，得到第一骨架关节点以及第二骨架关节点；所述第一骨架关节点为遮挡的骨架关节点，所述第二骨架关节点为未遮挡的骨架关节点；

将所述第一骨架关节点和第二骨架关节点的坐标作为训练数据。

5.根据权利要求4所述的方法，其特征在于，所述将所述第一骨架关节点和第二骨架关节点的坐标作为训练数据包括：

获取替换数据，所述替换数据为样本连续帧骨架序列对应的骨架关节点的坐标的坐标平均值；

将所述第一骨架关节点的坐标替换为所述替换数据，得到替换坐标后的第一骨架关节点；

将所述替换坐标后的第一骨架关节点的坐标以及所述第二骨架关节点的坐标作为训练数据。

6.根据权利要求5所述的方法，其特征在于，所述将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络，包括：

将所述训练数据输入到所述待训练的神经网络，基于目标损失函数对所述待训练的神经网络进行训练，以得到目标神经网络；

其中，所述目标损失函数的输出值为第一参数和第二参数的乘积，其中，所述第一参数为所述第一骨架关节点的坐标，所述第二参数为在遮挡处有正确关节点坐标的骨架关节点的坐标与经过所述待训练的神经网络输出的骨架关节点的坐标的差值的平方。

7.根据权利要求3所述的方法，其特征在于，所述将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络包括：

在时域上对训练数据进行下采样操作，得到第一骨架特征；

在时域上对训练数据进行上采样操作，得到第二骨架特征；

基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征；

将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

8.根据权利要求3所述的方法，其特征在于，所述将所述训练数据输入到待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络包括：

在空域上对训练数据进行上采样操作，得到第一骨架特征；

在空域上对训练数据进行下采样操作，得到第二骨架特征；

基于所述第一骨架特征与所述第二骨架特征，得到的新的骨架特征；

将所述新的骨架特征输入所述待训练的神经网络，对所述待训练的神经网络进行训练，以得到目标神经网络。

9.一种动作识别装置，其特征在于，所述装置包括：

第一骨架序列获取单元，用于从待识别图像中获取第一连续帧骨架序列；

第二骨架序列获取单元，用于将所述第一连续帧骨架序列输入预先训练的目标神经网络，得到第二连续帧骨架序列，所述目标神经网络用于对输入的骨架序列进行关节点补充；

动作识别单元，用于将所述第二连续帧骨架序列输入动作识别网络，获取与所述待识别图像对应的动作类型。

10.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-8任一所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-8任一所述的方法。

Images