CN111435422A - 动作识别方法、控制方法及装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及一种动作识别方法、控制方法及装置、电子设备和存储介质。所述方法包括：提取图像中目标对象的特征；根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。本公开实施例利用提取到的特征同时进行多类动作的识别，可以将差别较小的动作进行精确的区分，提高动作识别的效率和准确率。本公开实施例可以同时对多类动作进行动作识别。

Description

动作识别方法、控制方法及装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种动作识别方法、控制方法及装置、电子设备和存储介质。

背景技术

通过识别图像中目标对象的动作，可以实现对设备进行自动控制等多种类型的应用。在传统的动作识别方法中，需要将图像中不同的动作单独进行识别。

发明内容

本公开提出了一种动作识别技术方案。

根据本公开的一方面，提供了一种动作识别方法，包括：

提取图像中目标对象的特征；

根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；

根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述目标对象的动作识别结果，包括：所述目标对象的至少两类动作的动作识别结果。

在一种可能的实现方式中，所述方法还包括：

将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征；

将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果；

将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述多动作识别模块包括多个动作识别子模块，每一动作识别子模块用于对预设的一类动作进行动作识别，将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果，包括：

将所述目标对象的特征输入目标识别子模块进行动作识别，经由所述目标识别子模块根据所述特征进行动作识别，得到所述目标识别子模块的动作识别结果，所述目标识别子模块为任一所述动作识别子模块。

在一种可能的实现方式中，所述神经网络的训练方法，包括：

将样本图像输入所述特征提取模块，提取所述样本图像中目标对象的特征；

将所述目标对象的特征输入所述多动作识别模块进行预设的多类动作的识别，得到各动作的预测结果；

根据目标动作的预测结果和所述样本图像中目标动作的实际标注信息，确定所述目标动作的预测结果的损失，所述目标动作为所述目标对象的任一动作；

根据各动作的预测结果的损失确定综合损失，根据所述综合损失调整所述特征提取模块和所述动作分类模块的网络参数。

在一种可能的实现方式中，将所述目标对象的特征输入所述多动作识别模块进行预设的多类动作的识别，得到各动作的预测结果，包括：

将所述目标对象的特征输入各动作识别子模块进行动作识别，分别得到与各动作识别子模块对应的动作的预测结果。

在一种可能的实现方式中，所述样本图像中包括预设的多类动作中的至少一类动作的标注信息。

在一种可能的实现方式中，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息。

在一种可能的实现方式中，所述标注信息包括正样本标注信息和/或负样本标注信息，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息，包括：

目标图像中包括的动作对应的标注信息为正样本标注信息，和/或

所述目标图像中未包括的动作对应的标注信息为负样本标注信息，所述目标图像为任一样本图像。

在一种可能的实现方式中，所述神经网络的训练方法，还包括：

在新增预设的动作类型的情况下，在样本图像的实际标注信息中添加新增动作的标注信息；

在所述多动作识别模块中添加与所述新增动作对应的动作识别子模块。

在一种可能的实现方式中，所述图像包括利用设置在车辆上的车载摄像头拍摄的车辆所在道路图像和/或车内图像，

所述目标对象包括以下对象中的至少一个：车辆所在道路上行人、其他车辆驾乘人员和/或车内驾乘人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

在一种可能的实现方式中，所述图像包括利用设置在监控地点的监控摄像头拍摄的监控图像，所述监控地点包括以下任一地点：商场、学校、大型场馆、路面、办公楼宇；

所述目标对象包括一下对象中的至少一个：顾客、学生、观众、行人、工作人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

根据本公开的一方面，提供了一种控制方法，所述方法包括：

获取图像；

采用上述任一项所述的方法确定所述图像中目标对象的动作识别结果；

执行与所述动作识别结果相应的控制操作。

在一种可能的实现方式中，所述执行与所述动作识别结果相应的控制操作，包括：

根据预先确定的动作识别结果与控制指令之间的映射关系，获取与动作识别结果相应的控制指令；

根据所述控制指令控制电子设备执行相应操作。

在一种可能的实现方式中，执行与所述动作识别结果相应的控制操作，包括：

根据预先确定的动作识别结果与提示信息之间的映射关系，确定与动作识别结果相应的提示信息；

发送所述提示信息。

根据本公开的一方面，提供了一种动作识别装置，所述装置包括：

特征提取模块，用于提取图像中目标对象的特征；

识别结果获取模块，用于根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；

动作识别结果确定模块，用于根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述目标对象的动作识别结果，包括：所述目标对象的至少两类动作的动作识别结果。

在一种可能的实现方式中，所述装置还包括：

第一提取模块，用于将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征；

第一识别模块，用于将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果；

第一结果确定模块，用于将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述多动作识别模块包括多个动作识别子模块，每一动作识别子模块用于对预设的一类动作进行动作识别，所述第一识别模块，包括：

第一识别子模块，用于将所述目标对象的特征输入目标识别子模块进行动作识别，经由所述目标识别子模块根据所述特征进行动作识别，得到所述目标识别子模块的动作识别结果，所述目标识别子模块为任一所述动作识别子模块。

在一种可能的实现方式中，所述装置还包括训练模块，所述训练模块用于所述神经网络的训练，所述训练模块包括：

第二提取模块，用于将样本图像输入所述特征提取模块，提取所述样本图像中目标对象的特征；

第二识别模块，用于将所述目标对象的特征输入所述多动作识别模块进行预设的多类动作的识别，得到各动作的预测结果；

第二结果确定模块，用于根据目标动作的预测结果和所述样本图像中目标动作的实际标注信息，确定所述目标动作的预测结果的损失，所述目标动作为所述目标对象的任一动作；

参数调整模块，用于根据各动作的预测结果的损失确定综合损失，根据所述综合损失调整所述特征提取模块和所述动作分类模块的网络参数。

在一种可能的实现方式中，所述第二识别模块，用于：

将所述目标对象的特征输入各动作识别子模块进行动作识别，分别得到与各动作识别子模块对应的动作的预测结果。

在一种可能的实现方式中，所述样本图像中包括预设的多类动作中的至少一类动作的标注。

在一种可能的实现方式中，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息。

在一种可能的实现方式中，所述标注信息包括正样本标注信息和/或负样本标注信息，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息，包括：

目标图像中包括的动作对应的标注信息为正样本标注信息，和/或

所述目标图像中未包括的动作对应的标注信息为负样本标注信息，所述目标图像为任一样本图像。

在一种可能的实现方式中，所述训练装置，还用于：

在新增预设的动作类型的情况下，在样本图像的实际标注信息中添加新增动作的标注信息；

在所述多动作识别模块中添加与所述新增动作对应的动作识别子模块。

在一种可能的实现方式中，所述图像包括利用设置在车辆上的车载摄像头拍摄的车辆所在道路图像和/或车内图像，

所述目标对象包括以下对象中的至少一个：车辆所在道路上行人、其他车辆驾乘人员和/或车内驾乘人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

在一种可能的实现方式中，所述图像包括利用设置在监控地点的监控摄像头拍摄的监控图像，所述监控地点包括以下任一地点：商场、学校、大型场馆、路面、办公楼宇；

所述目标对象包括一下对象中的至少一个：顾客、学生、观众、行人、工作人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

根据本公开的一方面，提供了一种控制装置，所述装置包括：

图像获取模块，用于获取图像；

动作识别模块，用于采用上述任一项所述的方法确定所述图像中目标对象的动作识别结果；

控制模块，用于执行与所述动作识别结果相应的控制操作。

在一种可能的实现方式中，所述控制模块，用于：

根据预先确定的动作识别结果与控制指令之间的映射关系，获取与动作识别结果相应的控制指令；

根据所述控制指令控制电子设备执行相应操作。

在一种可能的实现方式中，所述控制模块，还用于：

根据预先确定的动作识别结果与提示信息之间的映射关系，确定与动作识别结果相应的提示信息；

发送所述提示信息。

根据本公开的一方面，提供了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行上述任意一项所述的方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时上述任意一项所述的方法。

在本公开实施例中，可以提取图像中目标对象的特征，根据特征进行预设的多类动作的识别，得到各动作的识别结果。可以根据各动作的识别结果确定图像中目标对象的动作识别结果。利用提取到的特征同时进行多类动作的识别，甚至对差别较小的动作(也可称为“相似动作”)进行有效区分，提高动作识别的效率和准确率。本公开实施例可以同时对多类动作进行动作识别。从一定程度上来看，本公开实施例的效率的提升与同时需要识别的多任务的动作数量成一定的正向比例关系，需要识别的动作类别数量多一些，相对于单独识别各动作类别的方法比较而言，本公开实施例所能达到的效率更高一些，可以通过一次网络计算即可完成多类动作的识别，节省了计算资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的动作识别方法的流程图；

图2示出根据本公开实施例的动作识别方法的流程图；

图3示出根据本公开实施例的动作识别方法中动作识别结果的示意图；

图4示出根据本公开实施例的动作识别方法中神经网络训练过程的流程图；

图5示出根据本公开实施例的动作识别装置的框图；

图6示出根据本公开实施例的控制装置的框图；

图7是根据一示例性实施例示出的一种电子设备的框图；

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的动作识别方法的流程图，如图1所示，所示方法，包括：

步骤S11，提取图像中目标对象的特征。

在一种可能的实现方式中，图像可以包括单幅的图像，也可以包括视频流中的帧图像。图像可以包括RGB(Red，Green，Blue红绿蓝)、红外、近红外等各种类型的图像。在对图像进行动作识别前，可以对图像进行降噪、分辨率调整等各种预处理以提高动作识别的准确性。

在一种可能的实现方式中，目标对象可以包括人、动物、植物、机器人、机械设备、车辆等各种可以执行动作的对象。目标对象可以同时执行多类动作。例如，当目标对象为人时，可以同时执行站立和打电话这两类动作，也可以同时执行行走和打电话这两类动作。

在一种可能的实现方式中，可以对图像进行卷积处理提取图像中的特征，并根据提取到的特征识别出目标对象的动作。图像中目标对象不同动作之间的差别大小不同。例如，图像中，行人的站立和行走这两类动作的差别较大，打电话和吃东西这两类动作的差别较小。当图像中存在差别较小的多类动作，分别提取与单类动作对应的特征进行单类动作的识别时，动作间的差别无法在特征提取和/或动作识别时得到很好的表达，导致差别较小多个的动作可能出现错误的识别结果。例如，当识别行人打电话和吃东西这两类动作时，可以利用行人的手部特征、脸部特征、电话特征和食物特征进行动作识别。由于两类动作识别时所用到的手部特征和脸部特征非常接近，当分别利用在图像中提取的与各动作对应的特征进行这两类动作的识别时，容易产生误判。

本公开实施例可以根据在图像中提取到的特征识别出目标对象的不同动作。可以根据预设的多类动作在图像中提取多类动作可以共享进行动作识别的多维特征。特征可以包括多维特征，多维特征可以包括多个维度的特征。例如1024维的特征、2048维的特征等。本公开不限定特征中的维度数。

步骤S12，根据所述目标对象的特征进行预设的多类动作的识别，得到各动作的识别结果。

在一种可能的实现方式中，本公开实施例可以根据提取的目标对象的特征，同时进行目标对象的多类动作的识别。即提取的目标对象的特征，可以在进行多类动作的识别时共享，各类动作利用相同的特征进行动作识别。

在一种可能的实现方式中，可以为特征中各维度的特征设置权重，得到针对不同动作的权重值的组合。可以将权重值的组合与特征相乘后，用于不同动作的识别。

例如，特征包括1024维特征，对于预设的多类动作中的动作1，可以设置权重值的组合为(a1,a2,a3...a1024)，其中a1为第一维特征对于动作1的权重值，a2为第二维特征对于动作1的权重值，直至a1024为第1024维特征对于动作1的权重值。对于动作2，可以设置权重值的组合为(b1,b2,b3...b1024),其中，b1为第一维特征对于动作2的权重值，b2为第二维特征对于动作2的权重值，直至b1024为第1024维特征对于动作2的权重值。可以将1024维特征与权重值的组合(a1,a2,a3...a1024)相乘用于动作1的动作识别，将1024维特征与权重值的组合(b1,b2,b3...b1024)相乘用于动作2的动作识别。可以通过设置不同的权重值的组合，将特征同时用于多类动作的识别。

在一种可能的实现方式中，动作的识别结果可以包括识别为某类动作的概率。例如，预设的五类动作中，动作1的识别概率为90％、动作2的识别概率为80％、动作3的识别概率为10％、动作4的识别概率为40％、动作5的识别概率为5％。可以将识别概率大于概率阈值的动作，确定为动作的识别结果。例如，概率阈值为30％，则动作1、动作2和动作4为识别结果。

在一种可能的实现方式中，传统的针对单类动作进行动作识别，针对多类动作需要进行多次动作识别的方法，识别N类动作需要训练N个识别模型，进行N次的网络计算，运算时间、存储和计算资源都与动作的数量成线性关系。而在本公开实施例中，可以一次针对多类动作进行动作识别，针对多类动作可以训练一个识别模型，且可以进行一次动作识别识别出多类动作，识别模型进行一次网络计算，所消耗的运算时间、存储和计算资源与动作的数量无关，可以大大节省系统资源和时间。

步骤S13，根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述目标对象的动作识别结果，包括所述目标对象的至少两类动作的识别结果。

在一种可能的实现方式中，可以根据满足预设条件的动作的识别结果确定目标对象的动作识别结果。目标对象的动作识别结果可以包括一类动作的识别结果，也可以包括多类动作的识别结果。当动作的识别结果为概率时，可以将大于概率阈值的动作的识别结果，确定为目标对象的动作识别结果。例如，概率阈值为75％时，预设的五类动作中，动作1和动作2的识别结果大于概率阈值。则目标对象的动作识别结果为动作1+动作2。

在本实施例中，可以提取图像中目标对象的特征，根据特征进行预设的多类动作的识别，得到各动作的识别结果。可以根据各动作的识别结果确定图像中目标对象的动作识别结果。利用提取到的特征同时进行多类动作的识别，可以将差别较小的动作进行精确的区分，提高动作识别的效率和准确率。本公开实施例可以同时对多类动作进行动作识别。随着任务中动作数量的增加，本公开实施例的效率提升越来越明显。可以通过一次网络计算，所用的资源与动作数量无关。

在一种可能的实现方式中，所述提取图像中目标对象的特征，包括：

检测原始图像中的目标对象；

在所述原始图像中目标对象所在的区域中提取目标对象的特征。

在一种可能的实现方式中，目标对象在原始图像中可能占据较小的区域，提取目标对象的特征时，如果在原始图像中直接提取将导致运算资源的浪费。可以在原始图像中检测目标对象，并在目标对象所在的区域内提取特征，可以大大提高特征提取的运算效率。例如，可以利用路面上设置的监控设备，拍摄路面的监控图像，识别监控图像中行人的动作。可以在监控图像中检测行人，并提取行人所在区域的特征，用于识别行人的动作。

图2示出根据本公开实施例的动作识别方法的流程图，如图2所示，所述方法还包括：

步骤S21，将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征。

在一种可能的实现方式中，可以利用神经网络进行动作识别。神经网络可以包括输入层、中间层和输出层。输入层、中间层和输出层都可以包括若干神经元，各神经元之间可以用带可变权重的有向连接。神经网络通过对已知信息的反复学习训练，通过逐步调整改变神经元连接权重的方法，达到建立模拟输入输出之间关系模型的目的。训练好的神经网络可以利用模拟好的输入输出之间的关系模型，检测输入信息，并给出与输入信息对应的输出信息。例如，神经网络可以包括卷积层、池化层和全连接层等。可以利用神经网络提取图像中的特征，并根据提取到的特征确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，神经网络可以包括特征提取模块、多动作识别模块和动作确定模块。其中，特征提取模块可以包括多层卷积层组成的模块。特征提取模块可以对图像进行卷积处理，提取图像中的特征。

步骤S22，将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果。

在一种可能的实现方式中，多动作识别模块可以包括多层全连接层组成的模块。可以利用多动作识别模块对特征进行全连接处理，进行预设的多类动作的识别，得到各动作的识别结果。

在一种可能的实现方式中，所述多动作识别模块包括多类动作识别子模块，每一动作识别子模块用于对预设的一类动作进行动作识别，所述步骤S22，包括：

将所述目标对象的特征输入目标识别子模块进行动作识别，经由所述目标识别子模块根据所述特征进行动作识别，得到所述目标识别子模块的动作识别结果，所述目标识别子模块为任一所述动作识别子模块。

在一种可能的实现方式中，多动作识别模块可以包括多个动作识别子模块。各动作识别子模块可以包括多个全连接层。每一个动作识别子模块可以用于对预设的多类动作中的其中一类动作进行动作识别，得到动作的识别结果。

例如，预设的多类动作可以为五类动作。多动作识别模块可以包括五个动作识别子模块。各动作识别子模块可以分别对其中一个预设的动作进行动作识别。可以根据预设的多类动作，在多动作识别模块中设置与预设的多类动作分别对应的动作识别子模块，并在神经网路的训练过程中，对各动作识别子模块进行训练。

步骤S23，将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，动作确定模块可以对各动作的识别结果进行筛选处理，在各动作的识别结果中筛选出符合预设条件的动作识别结果，作为图像中目标对象的动作识别结果。例如，当各动作的识别结果为概率值时，可以设置概率阈值，从各动作的识别结果中筛选出概率值大于概率阈值的动作的识别结果，作为图像中目标对象的动作识别结果。

图3示出根据本公开实施例的动作识别方法中动作识别结果的示意图，在图3中，动作识别方法中，预设的动作可以包括“站立”、“行走”、“打电话”、“打伞”、“吃东西”和“看手机”等。图3中的左侧图识别出的行人的动作为“站立”+“打伞”，图3中的右侧图识别出的行人的动作为“站立”+“打电话”。左侧图和右侧图，行人的肢体动作差异较小，利用本公开实施例中的方法，可以得到准确的区分。

在本实施例中，可以利用神经网络中的特征提取模块、多动作识别模块和动作确定模块，在图像中提取特征后，利用特征进行多类动作的识别，得到图像中目标对象的动作识别结果。神经网络强大的处理能力，可以使得动作识别的效率更高、识别结果更加准确。

在一种可能的实现方式中，所述神经网络的训练方法，包括：

将样本图像输入所述特征提取模块，提取所述样本图像中目标对象的特征。

将所述目标对象的特征输入所述多动作识别模块进行预设的多类动作的识别，得到各动作的预测结果。

根据目标动作的预测结果和所述样本图像中目标动作的实际标注信息，确定所述目标动作的预测结果的损失，所述目标动作为所述目标对象的任一动作。

根据各动作的预测结果的损失确定综合损失，根据所述综合损失调整所述特征提取模块和所述动作分类模块的网络参数。

在一种可能的实现方式中，在一种可能的实现方式中，所述样本图像中包括预设的多类动作中的至少一类动作的标注信息。所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息。例如，预设的五类动作，可以利用标注信息0代表图像中不包括此动作，利用标注信息1代表图像中包括此动作。样本图像1中的目标对象所执行的动作为动作2和动作3，则样本图像1中各动作的实际标注信息中动作1、动作4和动作5的标注信息为0，动作2和动作3的标注信息为1。

在一种可能的实现方式中，可以将样本图像输入特征提取模块，提取所述样本图像中目标对象的特征。

在一种可能的实现方式中，可以将所述目标对象的特征输入各动作识别子模块进行动作识别，分别得到与各动作识别子模块对应的动作的预测结果。可以将特征输入各动作识别子模块进行动作识别，分别得到与各动作识别子模块对应的动作的预测结果。

在一种可能的实现方式中，可以根据目标动作的预测结果、样本图像中各动作的实际标注信息，利用确定的损失函数，得到目标动作的预测结果的损失。

在一种可能的实现方式中，可以根据各动作的预测结果使用内积运算，得到综合损失。

在一种可能的实现方式中，可以将各动作的预测结果相加得到综合损失。也可以将各动作的预测结果与预设的各动作的预测权重相乘后，得到各动作的预测结果乘积。可以将各动作的预测结果乘积相加后得到综合损失。

可以根据综合损失对神经网路进行反向传播，调整特征提取模块和动作分类模块的网络参数。其中，特征提取模块的参数可以包括卷积核参数、权重参数，动作分类模块的参数可以包括全连接参数等。当满足设定的迭代次数和收敛条件时，可以停止对神经网络的训练。各动作的预测结果的损失可以共同对神经网络的训练过程做出贡献，又能相互竞争，使得神经网络的特征表达更加精细，大大提高神经网络的精细表达能力。

图4示出根据本公开实施例的动作识别方法中神经网络训练过程的流程图，如图4所示，将图像输入神经网络中的特征提取模块，提取特征(图中的1024维特征向量)，将特征输入多动作识别模块中的三类动作识别子模块，分别计算得到A动作的预测结果的损失、B动作的预测结果的损失和C动作的预测结果的损失后，再根据三类动作的预测结果的损失，计算综合损失。最终根据综合损失对多动作识别模块和特征提取模块进行反向传播，完成神经网络的训练。

在本实施例中，可以将样本图像输入神经网络进行训练。可以根据各动作的预测结果的损失计算得到综合损失后，利用综合损失对神经网络进行训练。根据综合损失对神经网络进行训练，可以使得多个样本图像中各动作的损失，均能在神经网络的训练过程中得到充分的体现。不但能够增加样本图像数据集的数量，也能够提升神经网络的精细表达能力，使得训练好的神经网络能够更加准确的得到各动作的识别结果。

在一种可能的实现方式中，所述标注信息包括正样本标注信息和/或负样本标注信息，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息，包括：

目标图像中包括的动作对应的标注信息为正样本标注信息，和/或

所述目标图像中未包括的动作对应的标注信息为负样本标注信息，所述目标图像为任一样本图像。

在一种可能的实现方式中，样本图像中的标注信息可以包括正样本标注信息和负样本标注信息。当利用多个样本图像对神经网络进行训练时，当样本图像1中包括动作1时，样本图像1为动作1的正样本。当样本图像2中不包括动作1时，样本图像2为动作1的负样本。在利用样本图像1和样本图像2进行神经网络训练时，动作1的正样本和负样本进行了对抗训练。使得动作1的识别结果可以更加准确。

在一种可能的实现方式中，相较于传统的动作识别方法，当两个样本图像中的动作之间的差异较小时，通过本公开实施例中正样本和负样本进行对抗训练的方式，可以提高差异较小的两类动作的动作识别的准确率。

在本实施例中，标注信息包括正样本标注信息和/或负样本标注信息。通过正样本标注信息和/或负样本标注信息，可以使得不同的样本图像分别作为预设动作的正样本和负样本进行对抗训练，可以提高动作识别的精细表达能力和准确率。

在一种可能的实现方式中，所述神经网络的训练方法，还包括：

在新增预设的动作类型的情况下，在样本图像的实际标注信息中添加新增动作的标注信息；

在所述多动作识别模块中添加与所述新增动作对应的动作识别子模块。

在一种可能的实现方式中，当需要在图像中识别出新类型的动作时，可以在样本图像中增加新增动作的标注信息。例如，样本图像1的实际标注信息为(0，1，1，0，0)，样本图像2的实际标注信息为(0，1，1，1，0)，分别为动作1至动作5的标注信息。当新增动作6时，样本图像1中包括动作6，可以将样本图像1的实际标注信息更新为(0，1，1，0，0，1)。样本图像2中不包括动作6，可以将样本图像2的实际标注信息更新为(0，1，1，1，0，0)。

在一种可能的实现方式中，可以在神经网络的多动作识别模块中，添加与新增动作对应的动作识别子模块。可以根据更新后的样本图像对神经网络进行训练。可以利用训练好的神经网络识别出图像中包括新增动作的多类动作。

在本实施例中，在新增预设的动作的情况下，在样本图像的实际标注信息中添加新增动作的标注信息，利用更新后的样本图像训练得到的神经网络，可以识别出新增的动作。新增动作的实现过程简单。

在一种可能的实现方式中，所述图像包括利用设置在车辆上的车载摄像头拍摄的车辆所在道路图像和/或车内图像，

所述目标对象包括以下对象中的至少一个：车辆所在道路上行人、其他车辆驾乘人员和/或车内驾乘人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

在一种可能的实现方式中，可以在车辆上设置车载摄像头，可以设置一个车载摄像头同时拍摄车内图像和车辆所在道路图像，也可以分别设置两个摄像头，一个拍摄车内图像，一个拍摄车辆所在道路图像，本公开对此不做限定。车载摄像头可以为可见光摄像头、红外摄像头或双目摄像头等，可以根据需求和应用场景选用车载摄像头。

在一种可能的实现方式中，车载摄像头可以拍摄得到车辆所在道路图像，图像中的目标对象可以包括车辆所在道路图像中可以包括道路上的行人，也可以包括道路上其他车辆驾驶员或乘客。可以利用本公开实施例中的方法，确定道路上行人或其他车辆驾乘人员人脸的的动作识别结果。

例如，车载摄像头拍摄的车辆所在道路上的行人A和行人B。可以利用本公开实施例中的方法，确定行人A的动作识别结果为：打电话。行人B的动作识别结果为：跑动+打电话。

在本实施例中，通过在车辆上设置的车载摄像头拍摄车内图像和/或车辆所在道路图像，得到车辆所在道路上的行人、其他车辆驾乘人员和/或车内驾乘人员的动作识别结果。本实施提供的动作识别方法可以用于提高智能驾驶、辅助驾驶等的安全性。

在一种可能的实现方式中，所述图像包括利用设置在监控地点的监控摄像头拍摄的监控图像，所述监控地点包括以下任一地点：商场、学校、大型场馆、路面、办公楼宇；

所述目标对象包括一下对象中的至少一个：顾客、学生、观众、行人、工作人员；

所述多类动作包括以下动作类别中的至少二个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

在一种可能的实现方式中，可以在商场、学校、大型场馆、路面、办公楼宇等监控地点的设定位置设置监控摄像头。例如，可以在出入口、关键道路、重点地点。监控摄像头可以拍摄得到商场内部或外部、学校操场或教室内、大型场馆内部的监控图像。上述监控地点出入人员众多，监控图像中可以包括多个目标对象。可以利用本公开实施例中的方法，确定监控图像中的目标对象的动作识别结果。例如，可以在商场设置监控摄像头拍摄监控图像，得到商场内工作人员或购买者的动作识别结果为：手持物品(手持购物袋)+行走。可以在学校的教室内或操场设置监控摄像头拍摄监控图像，得到教师、学生或校外人员人脸的动作识别结果。

在本实施例中，通过在监控地点设置的监控摄像头拍摄监控图像，得到监控图像中目标对象的动作识别结果。本实施提供的动作识别方法可以用于提高监控地点的安全性。

在一种可能的实现方式中，所述方法包括：

获取图像。

采用上述任一项所述的动作识别方法确定所述图像中目标对象的动作识别结果。

执行与所述动作识别结果相应的控制操作。

在一种可能的实现方式中，可以通过拍摄装置拍摄所需要的图像，也可以通过各种类型的接收方式直接接收图像。可以根据本公开实施例中任一项所述的动作识别方法，在获取的图像中识别目标对象的动作。可以根据识别出的目标对象的动作对设备进行相应的控制操作。

在一种可能的实现方式中，执行与所述动作识别结果相应的控制操作，包括：

根据预先确定的动作识别结果与控制指令之间的第一映射关系，获取与动作识别结果相应的控制指令；

根据所述控制指令控制电子设备执行相应操作。

在一种可能的实现方式中，可以预先确定动作识别结果与控制指令之间的第一映射关系。可以将一类动作识别结果对应一个控制指令生成第一映射关系，也可以将多类动作识别结果对应一个控制指令生成第一映射关系。可以根据需求确定控制指令的具体表现形式。

在一种可能的实现方式中，可以在车辆上配置拍摄装置，拍摄车辆行驶环境的图像。可以利用本公开实施例中任一项所述的动作识别方法，识别车辆行驶环境的图像中行人的动作。当行人的动作为看手机、打电话等各种预设的动作时，可以认为行人的注意力分散，需要控制车辆进行减速。当车辆配置了用于自动驾驶控制的电子设备时，可以将识别出的行人的各种预设的动作，映射到相应的减速、刹车等控制指令，并将控制指令发送至用于自动驾驶控制的电子设备，以使车辆减速或刹车，达到安全驾驶的目的。

在一种可能的实现方式中，还可以在机器人、机械设备等设备上配置相应的电子设备。可以通过在机器人或机械设备上配置的拍摄装置拍摄操作者的图像，或向机器人或机械设备直接传送操作者的图像。可以利用本公开实施例中任一项所述的动作识别方法，识别出图像中操作者的动作。利用识别出的动作和第一映射关系，确定与操作者的动作对应的控制指令。可以将确定出的控制指令发送至机器人或机械设备上配置相应的电子设备，以控制机器人或机械设备按照所述控制指令进行动作。例如，可以控制机器人进行前进、后退、机械手臂旋转、拿起物品等动作，也可以控制机械设备进行物品加工步骤的执行等。本公开不限定机器人或机械设备的类型，也不限定控制指令的具体实现方式。

在本实施例中，可以利用识别出的动作，获取与动作识别结果相应的控制指令，根据所述控制指令控制电子设备执行相应操作。通过动作与控制指令之间的映射，可以实现利用图像对电子设备进行控制的目的。

在一种可能的实现方式中，执行与所述动作识别结果相应的控制操作，包括：

根据预先确定的动作识别结果与提示信息之间的第二映射关系，确定与动作识别结果相应的提示信息；

发送所述提示信息。

在一种可能的实现方式中，可以预先确定动作识别结果与提示信息之间的第二映射关系。可以将一类动作识别结果对应一个提示信息生成第二映射关系，也可以将多类动作识别结果对应一个提示信息生成第二映射关系。提示信息可以是声音提示信息、图像提示信息、文本提示信息的其中之一或任意组合。本公开不限定提示信息的具体表现形式。

在一种可能的实现方式中，在车辆驾驶的应用场景中，通过识别车辆所在环境中行人的动作，可以确定提示信息。例如，可以根据识别出的行人的打电话、看手机等预设的动作，向驾驶者发送“请注意前方行人”的提示信息，提示驾驶员注意。

在一种可能的实现方式中，在出租车等各种车辆运营场景中，可以根据识别出的行人的挥手等动作，判断出行人需要打车或需要帮助，向驾驶者发送“有行人呼叫出租车”的提示信息，提示驾驶员注意。

在一种可能的实现方式中，在考场、会场、车间等各种场景中，可以根据识别出的考生或工作人员的各种预设的动作，例如“低头看手机”、“抽烟”等各种动作，向管理者发送“有违规行为”的提示信息。

在本实施例中，可以根据动作与提示信息之间的第二映射关系，根据识别出的动作发送提示信息。在各种应用场景中可以为使用者带来更多的便利。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

图5示出根据本公开实施例的动作识别装置的框图，如图5所示，所述动作识别装置包括：

特征提取模块10，用于提取图像中目标对象的特征；

识别结果获取模块20，用于根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；

动作识别结果确定模块30，用于根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述目标对象的动作识别结果，包括：所述目标对象的至少两类动作的动作识别结果。

在一种可能的实现方式中，所述装置还包括：

第一提取模块，用于将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征；

第一识别模块，用于将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果；

第一结果确定模块，用于将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

在一种可能的实现方式中，所述多动作识别模块包括多个动作识别子模块，每一动作识别子模块用于对预设的一类动作进行动作识别，所述第一识别模块，包括：

第一识别子模块，用于将所述目标对象的特征输入目标识别子模块进行动作识别，经由所述目标识别子模块根据所述特征进行动作识别，得到所述目标识别子模块的动作识别结果，所述目标识别子模块为任一所述动作识别子模块。

在一种可能的实现方式中，所述装置还包括训练模块，所述训练模块用于所述神经网络的训练，所述训练模块包括：

第二提取模块，用于将样本图像输入所述特征提取模块，提取所述样本图像中目标对象的特征；

第二识别模块，用于将所述目标对象的特征输入所述多动作识别模块进行预设的多类动作的识别，得到各动作的预测结果；

第二结果确定模块，用于根据目标动作的预测结果和所述样本图像中目标动作的实际标注信息，确定所述目标动作的预测结果的损失，所述目标动作为所述目标对象的任一动作；

参数调整模块，用于根据各动作的预测结果的损失确定综合损失，根据所述综合损失调整所述特征提取模块和所述动作分类模块的网络参数。

在一种可能的实现方式中，所述第二识别模块，用于：

将所述目标对象的特征输入各动作识别子模块进行动作识别，分别得到与各动作识别子模块对应的动作的预测结果。

在一种可能的实现方式中，所述样本图像中包括预设的多类动作中的至少一类动作的标注。

在一种可能的实现方式中，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息。

在一种可能的实现方式中，所述标注信息包括正样本标注信息和/或负样本标注信息，所述样本图像的实际标注信息包括预设的多类动作中各动作的标注信息，包括：

目标图像中包括的动作对应的标注信息为正样本标注信息，和/或

所述目标图像中未包括的动作对应的标注信息为负样本标注信息，所述目标图像为任一样本图像。

在一种可能的实现方式中，所述训练装置，还用于：

在新增预设的动作类型的情况下，在样本图像的实际标注信息中添加新增动作的标注信息；

在所述多动作识别模块中添加与所述新增动作对应的动作识别子模块。

在一种可能的实现方式中，所述图像包括利用设置在车辆上的车载摄像头拍摄的车辆所在道路图像和/或车内图像，

所述目标对象包括以下对象中的至少一个：车辆所在道路上行人、其他车辆驾乘人员和/或车内驾乘人员；

所述动作识别结果，包括至少满足以下动作识别结果中的至少一个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

在一种可能的实现方式中，所述图像包括利用设置在监控地点的监控摄像头拍摄的监控图像，所述监控地点包括以下任一地点：商场、学校、大型场馆、路面、办公楼宇；

所述目标对象包括一下对象中的至少一个：顾客、学生、观众、行人、工作人员；

所述动作识别结果，包括至少满足以下动作识别结果中的至少一个：跑动、打电话、手持物品、看手机、吃东西、站立、行走。

图6示出根据本公开实施例的控制装置的框图，如图6所示，所述控制装置包括：

图像获取模块100，用于获取图像；

动作识别模块200，用于采用上述任一项所述的方法确定所述图像中目标对象的动作识别结果；

控制模块300，用于执行与所述动作识别结果相应的控制操作。

在一种可能的实现方式中，所述控制模块300，用于：

根据预先确定的动作识别结果与控制指令之间的映射关系，获取与动作识别结果相应的控制指令；

根据所述控制指令控制电子设备执行相应操作。

在一种可能的实现方式中，所述控制模块300，还用于：

根据预先确定的动作识别结果与提示信息之间的映射关系，确定与动作识别结果相应的提示信息；

发送所述提示信息。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。

本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。

电子设备可以被提供为终端、服务器或其它形态的设备。

图7是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。

参照图7，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。

图8是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。

电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种动作识别方法，其特征在于，所述方法包括：

提取图像中目标对象的特征；

根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；

根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。

2.根据权利要求1所述的方法，其特征在于，所述目标对象的动作识别结果，包括：所述目标对象的至少两类动作的动作识别结果。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征；

将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果；

将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

4.一种控制方法，其特征在于，所述方法包括：

获取图像；

采用如权利要求1至3中任一项所述的方法确定所述图像中目标对象的动作识别结果；

执行与所述动作识别结果相应的控制操作。

5.一种动作识别装置，其特征在于，所述装置包括：

特征提取模块，用于提取图像中目标对象的特征；

识别结果获取模块，用于根据所述目标对象的特征进行预设的多类动作的识别，得到各类动作的识别结果；

动作识别结果确定模块，用于根据各类动作的识别结果确定所述图像中目标对象的动作识别结果。

6.根据权利要求5所述的装置，其特征在于，所述目标对象的动作识别结果，包括：所述目标对象的至少两类动作的动作识别结果。

7.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：

第一提取模块，用于将图像输入神经网络中的特征提取模块，经由所述特征提取模块提取所述图像中目标对象的特征；

第一识别模块，用于将所述目标对象的特征输入所述神经网络中的多动作识别模块，经由所述多动作识别模块根据所述特征进行预设的多类动作的识别，得到各动作的识别结果；

第一结果确定模块，用于将所述各动作的识别结果输入神经网络中的动作确定模块，经由所述动作确定模块根据各动作的识别结果确定所述图像中目标对象的动作识别结果。

8.一种控制装置，其特征在于，所述装置包括：

图像获取模块，用于获取图像；

动作识别模块，用于采用如权利要求5至7中任一项所述的方法确定所述图像中目标对象的动作识别结果；

控制模块，用于执行与所述动作识别结果相应的控制操作。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。

Images