CN107832708A - 一种人体动作识别方法及装置 - Google Patents

Abstract

本申请公开了一种人体动作识别方法及装置，先获取待处理的视频文件，然后从该视频文件中提取人体关键点得到人体关键点原始序列；然后，利用预设帧间差分方法计算不同帧的图像的人体关键点序列的差分序列。最后，基于神经网络根据该差分序列获得视频文件中人体动作的分类结果。利用该方法能够实现从智能猫眼拍摄的视频中分析出门外人的动作，进而可以根据门外人的动作来判断该人是否存在危险，实现充分挖掘智能猫眼所拍摄的视频文件中的信息，以提高安防效果。

Description

一种人体动作识别方法及装置

技术领域

本发明属于计算机技术领域，尤其涉及一种人体动作识别方法及装置。

背景技术

随着人们对居家安防越来越重视，智能猫眼作为居家安防产品逐渐普及。智能猫眼具有液晶可视、自动录像拍照和/或录像、感应监控功能。用户可以通过液晶可视功能查看门外的情况，还可以对来访者进行自动拍照留档，以便用户外出归来后查看来访记录。

智能猫眼所拍摄的视频中包含很多信息，例如，门外的来访者的所有动作都能被智能猫眼拍摄下来。但是，目前对于智能猫眼所搜集的视频的处理很不充分，例如，仅从智能猫眼拍摄的视频中提取出人脸图像，然后，进行人脸识别。智能猫眼所拍摄的视频中包含的很多信息没有被挖掘利用，导致用户的安防效果差。

发明内容

有鉴于此，本发明的目的在于提供一种人体动作识别方法及装置，以解决目前的技术方案无法充分利用智能猫眼所拍摄的视频中的信息导致的安防效果差的技术问题。

第一方面，本申请提供了一种人体动作识别方法，包括：

获取待处理的视频文件；

从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列；

根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列；

基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

可选地，从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列，包括：

检测所述图像中的人体关键点；

从所述图像中获取属于同一个人的人体关键点；

获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

可选地，所述根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，包括：

从所述视频文件中按时间顺序提取预设数量帧图像；

获取所述预设数量帧图像中的人体关键点原始序列；

当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列，所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

可选地，所述基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果，包括：

将所述差分序列输入到预先训练好的人体动作分类模型的输入层神经元中，从所述人体动作分类模型的输出层获得所述视频文件中人体动作的分类结果。

可选地，所述方法还包括：

获取样本视频文件，所述样本视频文件中包含已知类型的人体动作；

从所述样本视频文件的图像中提取人体关键点，得到人体关键点原始序列；

根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列；

根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。

可选地，所述方法还包括：

当所述人体动作的分类结果属于预设危险分类时，将所述视频文件标注异常标签，并向客户端发送报警信息；

当所述人体动作的分类结果属于预设正常分类时，将所述视频文件标注正常标签。

第二方面，本申请还提供一种人体动作识别装置，包括：

第一获取模块，用于获取待处理的视频文件；

关键点提取模块，用于从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列；

计算模块，用于根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列；

动作识别模块，用于基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

可选地，所述关键点提取模块包括：

检测子模块，用于检测所述图像中的人体关键点；

划分子模块，用于从所述图像中获取属于同一个人的人体关键点；

第一获取子模块，用于获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

可选地，所述计算模块包括：

提取子模块，用于从所述视频文件中按时间顺序提取预设数量帧图像；

第二获取子模块，用于获取所述预设数量帧图像中的人体关键点原始序列；

计算子模块，用于当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列，所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

可选地，所述装置还包括：第二获取模块和训练模块；

所述第二获取模块，用于获取样本视频文件，所述样本视频文件中包含已知类型的人体动作；

所述关键点提取模块，还用于从所述样本视频文件的图像中提取人体关键点，得到人体关键点原始序列；

所述计算模块，还用于根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列；

所述训练模块，用于根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。

可选地，所述装置还包括：

发送模块，用于当所述人体动作的分类结果属于预设危险分类时，将所述视频文件标注异常标签，并向客户端发送报警信息；

标注模块，用于当所述人体动作的分类结果属于预设正常分类时，将所述视频文件标注正常标签。

本申请提供的人体动作识别方法，先获取待处理的视频文件，然后从该视频文件中提取人体关键点得到人体关键点原始序列；然后，利用预设帧间差分方法计算不同帧的图像的人体关键点序列的差分序列。根据该差分序列获得视频文件中人体动作的分类结果。利用该方法能够实现从智能猫眼拍摄的视频中分析出门外人的动作，进而可以根据门外人的动作来判断该人是否存在危险，实现充分挖掘智能猫眼所拍摄的视频文件中的信息，以提高安防效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一种人体动作识别方法的流程图；

图2是本申请实施例一种提取人体关键点过程的流程图；

图3是本申请实施例一种获取差分序列过程的流程图；

图4是本申请实施例另一种人体动作识别方法的流程图；

图5是本申请实施例又一种人体动作识别方法的流程图；

图6是本申请实施例一种人体动作识别装置的框图；

图7是本申请实施例一种关键点提取模块的框图；

图8是本申请实施例一种计算模块的框图；

图9是本申请实施例另一种人体动作识别装置的框图；

图10是本申请实施例另一种人体动作识别装置的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，示出了本申请实施例一种人体动作识别方法的流程图，该方法应用于服务器中，如图1所示，该方法包括以下步骤：

S110，获取待处理的视频文件。

本实施例中，待处理的视频文件可以是智能猫眼所拍摄的视频文件，进一步利用本实施例提供的方法识别出智能猫眼所拍摄的视频文件所包含的人体动作。

智能猫眼能够拍摄门外的实时视频，并将视频上传到服务器中。

用户可以在自己的移动终端上安装一个客户端，即，应用程序(application，APP)，每个APP账户绑定至少一个智能猫眼设备，该绑定关系存储在服务器中。用户可以在客户端上登录自己的APP账户，通过客户端远程查看智能猫眼所上传的视频，以实现远程查看家中来访者的情况。

S120，从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列。

视频文件是很多帧图像构成，从视频文件中选取预设数量(例如，20～100)帧图像作为分析对象，检测每一帧图像中的人体关键点，并获取各个关键点的坐标信息，得到每帧图像的人体关键点原始序列。

在本申请的一个实施例中，可以利用自下向上的检测算法，即先检测到人体的关键点，然后，再从这些关键点中找出属于同一个人的关键点。

例如，可以采用多阶段的卷积神经网络，在每个阶段，包括两个卷积支路；第一个卷积支路用来获得图像置信图，针对每个像素产生一个置信度，得到人体的每个关节产生一个置信图，即得到人体关键点；第二个卷积支路用来获得部分亲和域，部分亲和域是一个二维向量集合，这个二维向量集合中包含关键点的位置和方向信息。利用第一个卷积支路获得的置信图获取人体关键点信息，利用部分亲和域获得每个人体关键点的权重信息，获得权重最大的边连接方式，最终得到属于同一个人的关键点。

如图2所示，S120可以包括以下步骤：

S121，检测图像中的人体关键点。

检测出图像中的所有人的关键点，人体关键点通常是指人的头部、肩部、躯干、四肢等主要关节部位。人体关键点的数量可以包括15个关键点、18个关键点、21个关键点等。可以根据需求自行选择提取的人体关键点的数量。此步骤可以由上述多阶段神经网络中的第一个卷积支路实现。

S122，从图像中获取属于同一个人的人体关键点。

然后，再从检测出的关键点中找出属于同一个人的关键点，得到人体关键点。此步骤可以由上述多阶段神经网络中的第二个卷积支路实现。

S123，获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

找到属于同一个人的人体关键点之后，获取这些关键点的坐标信息，得到人体关键点原始序列，例如，每个人提取18个人体关键点，每个关键点都是一个3维向量(X坐标，Y坐标，置信度)，这样，一个人包含18个人体关键点，则一个人的人体关键点原始序列是一个18*3＝54维向量。

S130，根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列。

选取的预设数量帧图像按照预设帧间差分方法计算得到差分序列，该差分序列中包含了相应人体关键点的动作信息。因此，后续可以分析人体关键的差分序列获得人体动作信息。

请参见图3，示出了本申请实施例一种获取差分序列过程的流程图，如图3所示，S130可以包括：

S131，从视频文件中按时间顺序提取预设数量帧图像。

预设数量可以根据需求选取，例如，可以选20～100帧图像。

S132，获取预设数量帧图像中的人体关键点原始序列。

利用提取人体关键点的方法获得每一帧图像中人体关键点原始序列。

S133，当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列。

所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

例如，取3帧图像中的人体关键点原始序列，计算出差分序列。第2帧与第1帧的人体关键点原始序列做差分计算，得到差分结果；同时，第3帧与第2帧的人体关键点原始序列做差分计算，得到差分结果。得到的两个差分结果就是差分序列。

前已叙及，每个关键点都是一个3维向量，但是，在做帧间差分时可以不考虑置信度，那么最终得到的差分序列就是18*2*2＝72维向量，其中，18是一个人的人体关键点数量、2是向量维数(X坐标和Y坐标)，另一个2是3帧图像逐帧做差分计算的差分结果数量。

S140，基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

在本申请的一个实施例中，利用神经网络对得到的差分序列进行分类，最终输出分类结果，其中，动作分类类型包括：走、跑、站立等指定动作。

神经网络，能够将一组输入向量映射到输出向量。神经网络可以看成一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元(或称为处理单元)。

在利用神经网络进行人体动作识别时，输入的是上一步骤计算得到的差分序列，输出结果就是人体动作的分类结果。神经网络具有强大的表达能力，其能够得到从人体关键点到人体动作的映射关系，从而完成人体动作分类。

本实施例提供的人体动作识别方法，先获取智能猫眼所拍摄的视频文件，然后从该视频文件中提取人体关键点得到人体关键点原始序列；然后，利用预设帧间差分方法计算不同帧的图像的人体关键点序列的差分序列。由神经网络根据该差分序列获得视频文件中人体动作的分类结果。利用该方法能够实现从智能猫眼拍摄的视频中分析出门外人的动作，进而可以根据门外人的动作来判断该人是否存在危险，实现充分挖掘智能猫眼所拍摄的视频文件中的信息，以提高安防效果。

请参见图4，示出了本申请实施例另一种人体动作识别方法的流程图，本实施例提供的人体动作识别方法将重点介绍训练神经网络的过程。如图4所示，该方法在图1所示实施例的基础上还包括以下步骤：

S210，获取样本视频文件，所述样本视频文件中包含已知类型的人体动作。

样本视频文件是已知视频中包含的人体动作类型的视频文件。

S220，从样本视频文件的图像中提取人体关键点，得到人体关键点原始序列。

从图像中提取人体关键点的过程与上述实施例中的S120相同，此处不再赘述。

S230，根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列。

获得差分序列的过程与上述实施例中的S130相同，此处不再赘述。

S240，根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。

一个神经网络包含多层的节点，输入层，中间隐藏层和输出层。相邻层节点的连接都配有相应的权重。利用样本视频文件训练神经网络的过程就是神经网络学习过程，学习的目的是为这些连接分配正确的权重，通过输入向量，这些权重可以决定输出向量。

在学习过程中，训练集(样本视频文件集合)的输出类型已经标注。这意味着对于一些给定的输入，输出结果已知，根据输入和输出确定出输入与输出之间的函数关系(权重系数)。

神经网络中的所有的边权重(edge weight)都是随机分配的。对于所有训练数据集中的输入，神经网络都被激活，并且观察其输出。这些输出会和我们已知的、期望的输出进行比较，得到一个输出误差，该误差会传回上一层；如果该误差高于误差设定值，则调整相应的权重值；重复该流程(即，通过反向传播算法进行不断迭代)，直到输出误差低于误差设定值，得到合适的权重值。即，学习得到基于神经网络的人体动作识别模型。

在训练神经网络的过程中，为了防止过拟合，可以加入一定的正则化措施，从而使神经网络具有较好的泛化能力，即，训练得到的神经网络既能很好地拟合训练集，同时能够很好地拟合测试集，换言之，该神经网络不仅在训练集上具有较好的性能，同时在测试集上也具有较好的性能。

本实施例提供的人体动作识别方法，通过对样本视频文件学习得到人体动作识别模型，然后，利用学习得到的人体动作识别模型识别待检测的视频文件中的人体动作类型。

请参见图5，示出了本申请实施例又一种人体动作识别方法的流程图，该方法在图1所示实施例的基础上还包括以下步骤：

S310，当所述人体动作的分类结果属于预设危险分类时，将所述视频文件标注异常标签，并向客户端发送报警信息。

预设危险分类可以包括对用户家中安全可能造成一定危险的类型，例如，在门口长期逗留、徘徊张望等可疑行为。

如果识别出视频文件中包含属于上述的危险分类时，将该视频文件标注异常标签，同时，向客户端发送报警信息，以提醒用户门外有可疑行为的人。

S320，当所述人体动作的分类结果属于预设正常分类时，确定所述视频文件中的人没有危险因素，将所述视频文件标注正常标签。

预设正常分类可以包括正常走动、敲门等行为。如果识别出视频文件中包含正常分类的动作时，将该视频文件标注正常标签。后续用户查看视频时，可以只查看异常标签的视频，不看正常标签的视频，节省用户查看视频所消耗的时间。

本实施例提供的人体动作识别方法，在识别出人体动作类型后，进一步判断该动作类型是否异常，如果异常则将该视频文件标注异常标签，并向客户端发送报警信息，这样，用户能够及时查看异常情况；如果正常，将该视频文件标为正常标签。这样，用户可以只查看异常标签对应的视频，忽略正常标签对应的视频。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

相应于上述的人体动作识别方法实施例，本申请还提供了人体动作识别装置实施例。

请参见图6，示出了本申请实施例一种人体动作识别装置的框图，该装置应用于服务器中，如图6所示，该装置可以包括：第一获取模块110、关键点提取模块120、计算模块130和动作识别模块140。

第一获取模块110，用于获取待处理的视频文件。

本实施例中，待处理的视频文件可以是智能猫眼所拍摄的视频文件，进一步利用本实施例提供的方法识别出智能猫眼所拍摄的视频文件所包含的人体动作。

智能猫眼能够拍摄门外的实时视频，并将视频上传到服务器中。

关键点提取模块120，用于从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列。

视频文件是很多帧图像构成，从视频文件中选取预设数量(例如，20～100)帧图像作为分析对象，检测每一帧图像中的人体关键点，并获取各个关键点的坐标信息，得到每帧图像的人体关键点原始序列。

请参见图7，示出了本申请实施例一种关键点提取模块的框图，如图7所示，该关键点提取模块120可以包括：检测子模块121、划分子模块122和第一获取子模块123。

检测子模块121，用于检测所述图像中的人体关键点。

人体关键点通常是指人的头部、肩部、躯干、四肢等主要关节部位。人体关键点的数量可以包括15个关键点、18个关键点、21个关键点等。可以根据需求自行选择提取的人体关键点的数量。

划分子模块122，用于从所述图像中获取属于同一个人的人体关键点。

然后，再从检测出的关键点中找出属于同一个人的关键点，得到人体关键点。

第一获取子模块123，用于获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

找到属于同一个人的人体关键点之后，获取这些关键点的坐标信息，得到人体关键点原始序列，例如，每个人提取18个人体关键点，每个关键点都是一个3维向量(X坐标，Y坐标，置信度)，这样，一个人包含18个人体关键点，则一个人的人体关键点原始序列是一个18*3＝54维向量。

计算模块130，用于根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列。

请参见图8，示出了本申请实施例一种计算模块的框图，该计算模块130可以包括：提取子模块131、第二获取子模块132和计算子模块133；

提取子模块131，用于从所述视频文件中按时间顺序提取预设数量帧图像。预设数量可以根据需求选取，例如，可以选20～100帧图像。

第二获取子模块132，用于获取所述预设数量帧图像中的人体关键点原始序列。

利用提取人体关键点的方法获得每一帧图像中人体关键点原始序列。

计算子模块133，用于当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列。

所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

例如，取3帧图像中的人体关键点原始序列，计算出差分序列。第2帧与第1帧的人体关键点原始序列做差分计算，得到差分结果；同时，第3帧与第2帧的人体关键点原始序列做差分计算，得到差分结果。得到的两个差分结果就是差分序列。

前已叙及，每个关键点都是一个3维向量，但是，在做帧间差分时可以不考虑置信度，那么最终得到的差分序列就是18*2*2＝72维向量，其中，18是一个人的人体关键点数量、2是向量维数(X坐标和Y坐标)，另一个2是3帧图像逐帧做差分计算的差分结果数量。

动作识别模块140，用于基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

在本申请的一个实施例中，利用神经网络对得到的差分序列进行分类，最终输出分类结果，其中，动作分类类型包括：走、跑、站立等指定动作。

在利用神经网络进行人体动作识别时，输入的是上一步骤计算得到的差分序列，输出结果就是人体动作的分类结果。

本实施例提供的人体动作识别装置，先获取智能猫眼所拍摄的视频文件，然后从该视频文件中提取人体关键点得到人体关键点原始序列；然后，利用预设帧间差分方法计算不同帧的图像的人体关键点序列的差分序列。根据该差分序列获得视频文件中人体动作的分类结果。利用该装置能够实现从智能猫眼拍摄的视频中分析出门外人的动作，进而可以根据门外人的动作来判断该人是否存在危险，实现充分挖掘智能猫眼所拍摄的视频文件中的信息，以提高安防效果。

请参见图9，示出了本申请实施例另一种人体动作识别装置的框图，所述装置还包括：第二获取模块210和训练模块220；

所述第二获取模块210，用于获取样本视频文件，所述样本视频文件中包含已知类型的人体动作。

样本视频文件是已知视频中包含的人体动作类型的视频文件。

所述关键点提取模块120，还用于从样本视频文件的图像中提取人体关键点，得到人体关键点原始序列。

所述计算模块130，还用于根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列。

所述训练模块220，用于根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。

在学习过程中，训练集(样本视频文件集合)的输出类型是已标注。这意味着对于一些给定的输入，输出结果已知，根据输入和输出确定出输入与输出之间的函数关系(权重系数)。

神经网络中的所有的边权重(edge weight)都是随机分配的。对于所有训练数据集中的输入，神经网络都被激活，并且观察其输出。这些输出会和我们已知的、期望的输出进行比较，得到一个输出误差，该误差会传回上一层；如果该误差高于误差设定值，则调整相应的权重值。重复该流程，直到输出误差低于误差设定值，得到合适的权重值，即学习得到神经网络的人体动作识别模型。

本实施例提供的人体动作识别装置，通过对样本视频文件学习得到人体动作识别模型，然后，利用学习得到的人体动作识别模型识别待检测的视频文件中的人体动作类型。

请参见图10，示出了本申请实施例另一种人体动作识别装置的框图，该装置在图6所示实施例的基础上还包括：发送模块310和标注模块320；

发送模块310，用于当人体动作的分类结果属于预设危险分类时，将视频文件标注异常标签，并向客户端发送报警信息。

预设危险分类可以包括对用户家中安全可能造成一定危险的类型，例如，在门口长期逗留、徘徊张望等可疑行为。

如果识别出视频文件中包含属于上述的危险分类时，将该视频文件标注异常标签，同时，向客户端发送报警信息，以提醒用户门外有可疑行为的人。

标注模块320，用于当人体动作的分类结果属于预设正常分类时，将视频文件标注正常标签。

预设正常分类可以包括正常走动、敲门等行为。如果识别出视频文件中包含正常分类的动作时，将该视频文件标注正常标签。后续用户查看视频时，可以只查看异常标签的视频，不看正常标签的视频，节省用户查看视频所消耗的时间。

本实施例提供的人体动作识别装置，在识别出人体动作类型后，进一步判断该动作类型是否异常，如果异常则将该视频文件标注异常标签，并向客户端发送报警信息，这样，用户能够及时查看异常情况；如果正常，将该视频文件标为正常标签。这样，用户可以只查看异常标签对应的视频，忽略正常标签对应的视频。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人体动作识别方法，其特征在于，包括：

获取待处理的视频文件；

从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列；

根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，所述差分序列包含所述人体关键点对应的动作信息；

基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

2.根据权利要求1所述的方法，其特征在于，从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列，包括：

检测所述图像中的人体关键点；

从所述图像中获取属于同一个人的人体关键点；

获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

3.根据权利要求1所述的方法，其特征在于，所述根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列，包括：

从所述视频文件中按时间顺序提取预设数量帧图像；

获取所述预设数量帧图像中的人体关键点原始序列；

当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列，所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

4.根据权利要求1所述的方法，其特征在于，所述由神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果，包括：

将所述差分序列输入到预先训练好的人体动作分类模型的输入层神经元中，从所述人体动作分类模型的输出层获得所述视频文件中人体动作的分类结果。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取样本视频文件，所述样本视频文件中包含已知类型的人体动作；

从所述样本视频文件的图像中提取人体关键点，得到人体关键点原始序列；

根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列；

根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

当所述人体动作的分类结果属于预设危险分类时，将所述视频文件标注异常标签，并向客户端发送报警信息；

当所述人体动作的分类结果属于预设正常分类时，将所述视频文件标注正常标签。

7.一种人体动作识别装置，其特征在于，包括：

第一获取模块，用于获取待处理的视频文件；

关键点提取模块，用于从所述视频文件的图像中提取人体关键点，得到人体关键点原始序列；

计算模块，用于根据预设帧间差分方法计算不同帧的图像对应的人体关键点原始序列之间的差分序列；

动作识别模块，用于基于神经网络根据所述差分序列获得所述视频文件中人体动作的分类结果。

8.根据权利要求7所述的装置，其特征在于，所述关键点提取模块包括：

检测子模块，用于检测所述图像中的人体关键点；

划分子模块，用于从所述图像中获取属于同一个人的人体关键点；

第一获取子模块，用于获取属于同一个人的人体关键点对应的坐标信息，得到所述人体关键点原始序列。

9.根据权利要求7所述的装置，其特征在于，所述计算模块包括：

提取子模块，用于从所述视频文件中按时间顺序提取预设数量帧图像；

第二获取子模块，用于获取所述预设数量帧图像中的人体关键点原始序列；

计算子模块，用于当前帧图像与前一帧图像所对应的人体关键点原始序列做差分计算，直到所述预设数量帧图像全部计算完，得到差分序列，所述当前帧图像是所述预设数量帧图像中的任一帧图像，所述前一帧图像是与所述当前帧图像相邻的前一帧图像。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：第二获取模块和训练模块；

所述第二获取模块，用于获取样本视频文件，所述样本视频文件中包含已知类型的人体动作；

所述关键点提取模块，还用于从所述样本视频文件的图像中提取人体关键点，得到人体关键点原始序列；

所述计算模块，还用于根据预设帧间差分方法计算所述样本视频文件中不同帧图像对应的人体关键点原始序列之间的差分序列；

所述训练模块，用于根据所述样本视频文件对应的差分序列和所述样本视频包含的动作类型，训练得到人体动作分类模型。