CN110543830A - 动作检测方法、装置、存储介质 - Google Patents

Abstract

本申请涉及一种动作检测方法、装置、存储介质，所述方法包括：获取当前时刻之前的第一预设时长的视频作为当前视频；对当前视频进行检测，获取当前视频对应的当前动作类别；获取当前时刻的上一时刻对应的上一视频对应的上一动作类别，当前时刻与上一时刻间隔第二预设时长；判断当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；根据判定结果获取当前动作类别对应的动作的当前动作状态，当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；根据当前动作状态，获取当前动作类别对应的动作的起止时刻。本申请提供的方案实现了自动、实时在线检测并判定动作类别及起止时刻。

Description

动作检测方法、装置、存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种动作检测方法、装置、存储介质。

背景技术

随着时代的发展，在生活、生产、工作中，出于生活环境安全的考虑、人身安全保障的考虑、生产中生产制造人员行为的规范和优化的考虑，对行为动作的视频监控显得越来越重要。

现有技术的视频监控，需要监测人员依靠人眼进行观察，粗略遍历相关的历史视频或离线视频，不仅耗时耗力，效率低，容易出现漏检、误检的情况，而且大多数都是离线的历史视频，不能及时发现异常行为，也不能及时处理异常情况，对于重大危害行为，可能会造成无法弥补的损失；对于病危人员，可能由于无法及时发现异常，而延误治疗甚至危害生命；对于生产工作中，可能由于无法及时发现生产制造人员的违规操作而造成产品缺陷而带来无法挽回的损失等。

另外，在生产工作中，细化、精简、完善生产操作流程也是提高生产效率的重要环节，因此获取生产操作的各个动作的动作类别信息以及对应的操作时间信息是生产操作流程完善的前提条件，亟需解决。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种动作检测方法、装置、存储介质。

第一方面，本申请提供了一种动作检测方法，所述方法包括：

获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

对所述当前视频进行检测，获取当前视频对应的当前动作类别；

获取当前时刻的上一时刻对应的上一视频对应的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

优选地，所述方法还包括：

将所述当前时刻作为与所述当前时刻间隔第二预设时长的下一时刻的上一时刻，将与所述当前时刻间隔第二预设时长的下一时刻作为当前时刻，执行所述获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频。

优选地，所述对所述当前视频进行检测，获取当前视频对应的当前动作类别，包括：

将所述当前视频输入到已训练的动作识别模型进行检测，获得所述当前视频对应的当前动作类别。

优选地，所述将所述当前视频输入到已训练的动作识别模型进行检测，获得所述当前视频对应的当前动作类别，包括：

将所述当前视频输入到已训练的动作识别模型，分别获取所述当前视频多个可能对应的动作类别对应的置信度，所述置信度表征当前视频对应的当前动作类别为某个动作类别的概率；

比较多个所述置信度得到最高置信度；

将所述最高置信度对应的动作类别作为所述当前视频对应的当前动作类别。

优选地，在所述判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果之后，还包括：

若所述判定结果为所述当前动作类别与上一动作类别为不同的动作类别，则比较所述最高置信度与预设阈值；

若所述最高置信度小于所述预设阈值，则将上一动作类别作为当前动作类别；

若所述最高置信度大于等于所述预设阈值，则当前动作类别不变。

优选地，所述根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，包括：

若所述判定结果为所述当前动作类别与上一动作类别为不同的动作类别，则判定当前动作类别对应的动作为开始状态或同时为开始状态、进行状态、结束状态；

若所述判定结果为所述当前动作类别与上一动作类别相同，则判定当前动作类别对应的动作为进行状态或结束状态。

优选地，所述根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻，包括：

若当前动作类别对应的动作同时为开始状态、进行状态、结束状态，则将所述上一时刻作为当前动作类别对应的动作的开始时刻和上一动作类别对应的动作的结束时刻，将当前时刻作为当前动作类别对应的动作的结束时刻；

若当前动作类别对应的动作为开始状态，则将所述上一时刻作为当前动作类别对应的动作的开始时刻和上一动作类别对应的动作的结束时刻；

若当前动作类别对应的动作为进行状态，则将当前时刻作为当前动作类别对应的动作的进行时刻；

若当前动作类别对应的动作为结束状态，则将当前时刻作为当前动作类别对应的动作的结束时刻。

优选地，所述第一预设时长为所述已训练的动作识别模型中所有动作类别中连续时间最短的动作类别。

第二方面，本申请提供了一种动作检测装置，所述装置包括：

当前视频获取单元，用于获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

动作识别单元，用于对所述当前视频进行检测，获取当前视频对应的当前动作类别；

存储单元，用于获取当前时刻的上一时刻对应的上一视频的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

比较单元，用于判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

动作状态判定单元，用于根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

时间处理单元，用于根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

优选的，所述当前视频获取单元，还用于将所述当前时刻的下一时刻作为当前时刻，执行所述获取当前时刻之前的预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频。

第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行前面所述的方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请提供的动作检测方法能够自动、实时在线对视频进行检测，进而分析出动作类别和每个不同动作的起止时间，有利于及时发现并阻止具有危害性的动作行为或异常状况；及时发现并抢救有生命危险的病危人员；在生产制造中对流水线操作人员的操作动作是否规范进行监测，及时纠正，或者通过对每个动作起止时间的分析，对生产环节进行优化，使生产效率更高；不论是在生产还是生活、工作中，具有广泛的应用前景。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的一种动作检测方法的流程图；

图2为本申请提供的另一种动作检测方法的流程图；

图3为本申请提供的获取动作类别的流程图；

图4为本申请提供的另一种动作检测方法的流程图；

图5为本申请提供的一种动作检测装置的结构示意图；

图6为本申请提供的一种应用场景图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请提供的一种动作检测方法的流程图；参考图1，所述方法包括以下步骤：

S0100：获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

S0200：对所述当前视频进行检测，获取当前视频对应的当前动作类别；

S0300：获取当前时刻的上一时刻对应的上一视频对应的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

S0400：判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

S0500：根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

S0600：根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

图2为本申请提供的另一种动作检测方法的流程图；参考图1、图2，在图1所示的方法基础上，所述方法还包括以下步骤：

S0700：将与所述当前时刻间隔第二预设时长的下一时刻作为当前时刻，执行步骤S0100。

此时，所述当前时刻成为了所述当前时刻的下一时刻的上一时刻。

图3为本申请提供的获取动作类别的流程图；参考图1、图2、图3，步骤S0200包括以下步骤：

S0210：将所述当前视频输入到已训练的动作识别模型，分别获取所述当前视频多个可能对应的动作类别对应的置信度，所述置信度表征当前视频对应的当前动作类别为某个动作类别的概率；

S0220：比较多个所述置信度得到最高置信度；

S0230：将所述最高置信度对应的动作类别作为所述当前视频对应的当前动作类别。

图4为本申请提供的另一种动作检测方法的流程图；参考图2、图3、图4，在图2、图3的方法的基础上，

所述方法的步骤S0400还包括：

若所述判定结果为所述当前动作类别与上一动作类别为相同的动作类别，则执行步骤S0500；

若所述判定结果为所述当前动作类别与上一动作类别为不同的动作类别，则执行步骤S0800；

S0800：

比较所述最高置信度与预设阈值；

S0900：判断所述最高置信度是否小于所述预设阈值；

若所述最高置信度大于等于所述预设阈值，则执行步骤S0500；

此时，当前动作类别不变，仍然为步骤S0200获取的结果，与上一动作类别不同；

若所述最高置信度小于所述预设阈值，则执行步骤S1000；

S1000：

将上一动作类别作为当前动作类别，执行步骤S0400。

执行步骤S0800-S1000，是为了防止所述已训练的动作识别模型出现错误，导致所述当前动作类别为错误结果，使本连续的动作被错误的中断。

所述动作识别模型是一种深度网络学习模型，其训练包括从样本视频中进行数据采集、数据打标、模型训练、模型参数微调、测试、模型输出。

图5为本申请提供的一种动作检测装置的结构示意图；所述装置包括：

当前视频获取单元10，用于获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

动作识别单元20，用于对所述当前视频进行检测，获取当前视频对应的当前动作类别；

存储单元30，用于获取当前时刻的上一时刻对应的上一视频的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

比较单元40，用于判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

动作状态判定单元50，用于根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

时间处理单元60，用于根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

由上一时刻经历第二预设时长后，从视频流中获取一时长为第一预设时长的视频作为当前时刻对应的当前视频，所述当前时刻为所述当前视频的结束时刻；

将所述当前视频输入到已训练的动作识别模型进行检测，获得所述当前视频对应的当前动作类别；

根据同样的方法获取上一时刻对应的时长为第一预设时长的上一视频的上一动作类别，与当前时刻间隔第二预设时长的下一时刻对应的时长为第一预设时长的下一视频的下一动作类别；

根据所述当前动作类别与上一动作类别、下一动作类别是否相同，可以判定当前动作类别对应的动作的动作状态；然后进一步确定当前动作类别对应的动作的起止时刻。

图6为本申请提供的一种应用场景；参考图6，在一个视频流中，每经历第二预设时长I后，获取时长为第一预设时长P的视频段作为当前视频来检测，将视频段的结束时刻作为当前时刻。参考图6，t1为当前时刻，t0为当前时刻t1的上一时刻，t2为当前时刻t1的下一时刻，t0与t1、t1与t2的时间间隔均为第二预设时长I；

通过将获取的视频输入到已训练的动作识别模型进行检测，可以分别获取上一时刻t0对应的上一视频对应的上一动作类别、当前时刻t1对应的当前视频对应的当前动作类别、下一时刻t2对应的下一视频对应的下一动作类别；比较所述上一动作类别、当前动作类别、下一动作类别是否相同，可以确定当前动作类别对应的动作是开始状态还是进行状态还是结束状态。

若所述当前动作类别与上一动作类别和下一动作类别均不同，则可判定当前动作类别对应的动作同时为开始状态、进行状态、结束状态；

则上一时刻t0、当前时刻t1分别作为当前动作类别对应的动作的开始时刻、结束时刻，且上一时刻t0是上一动作类别对应的动作的结束时刻；

若所述当前动作类别与上一动作类别不同、与下一动作类别相同，则判定当前动作类别对应的动作为开始状态；

则将上一时刻t0作为当前动作类别对应的动作的开始时刻和上一动作类别对应的动作的结束时刻，将当前时刻t1作为所述当前动作类别对应的动作的进行时刻，下一时刻t2可能为当前动作类别对应的动作的进行时刻也可能是结束时刻，最终的结束时刻需要通过后面时刻的动作类别进一步判断。

若所述当前动作类别与上一动作类别相同、与下一动作类别不同，则判定当前动作类别对应的动作为结束状态；

则将当前时刻t1作为与当前动作类别相同的动作的结束时刻；

若所述当前动作类别与上一动作类别和下一动作类别均相同，则判定当前动作类别对应的动作为进行状态，当前动作类别对应的动作的最终的结束时刻需要通过后面时刻的动作类别进一步判断。

本申请的动作检测方法适用于多种不同的实际应用场景，例如在生活、生产、工作中，出于生活环境安全的考虑、人身安全保障的考虑，可以实时在线通过监测监控视频中的人的行为，及时捕捉并阻止异常行为，或及时发现并抢救有生命危险的病危人员，更好的保障人身财产安全，营造一个安全和谐的生活环境。

在生产制造中，规范化的流水线操作是降低产品不良率、提高生产效率的关键。通过本申请的动作检测方法，在生产制造中对流水线操作人员的操作动作是否规范进行监测，可以及时纠正不合格的操作行为，或者通过对每个动作起止时间的分析，对生产环节进行优化、精简、完善，使生产效率更高。不论是在生产还是生活、工作中，对行为、动作的视频实时在线监控具有广泛的应用前景。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种动作检测方法，其特征在于，所述方法包括：

获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

对所述当前视频进行检测，获取当前视频对应的当前动作类别；

获取当前时刻的上一时刻对应的上一视频对应的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将与所述当前时刻间隔第二预设时长的下一时刻作为当前时刻，执行所述获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频。

3.根据权利要求2所述的方法，其特征在于，所述对所述当前视频进行检测，获取当前视频对应的当前动作类别，包括：

将所述当前视频输入到已训练的动作识别模型进行检测，获得所述当前视频对应的当前动作类别。

4.根据权利要求3所述的方法，其特征在于，所述将所述当前视频输入到已训练的动作识别模型进行检测，获得所述当前视频对应的当前动作类别，包括：

将所述当前视频输入到已训练的动作识别模型，分别获取所述当前视频多个可能对应的动作类别对应的置信度，所述置信度表征当前视频对应的当前动作类别为某个动作类别的概率；

比较多个所述置信度得到最高置信度；

将所述最高置信度对应的动作类别作为所述当前视频对应的当前动作类别。

5.根据权利要求4所述的方法，其特征在于，在所述判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果之后，还包括：

若所述判定结果为所述当前动作类别与上一动作类别为不同的动作类别，则比较所述最高置信度与预设阈值；

若所述最高置信度小于所述预设阈值，则将上一动作类别作为当前动作类别，

若所述最高置信度大于等于所述预设阈值，则当前动作类别不变。

6.根据权利要求4或5所述的方法，其特征在于，所述根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，包括：

若所述判定结果为所述当前动作类别与上一动作类别为不同的动作类别，则判定当前动作类别对应的动作为开始状态或同时为开始状态、进行状态、结束状态；

若所述判定结果为所述当前动作类别与上一动作类别相同，则判定当前动作类别对应的动作为进行状态或结束状态。

7.根据权利要求6所述的方法，其特征在于，所述根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻，包括：

若当前动作类别对应的动作同时为开始状态、进行状态、结束状态，则将所述上一时刻作为当前动作类别对应的动作的开始时刻和上一动作类别对应的动作的结束时刻，将当前时刻作为当前动作类别对应的动作的结束时刻；

若当前动作类别对应的动作为开始状态，则将所述上一时刻作为当前动作类别对应的动作的开始时刻和上一动作类别对应的动作的结束时刻；

若当前动作类别对应的动作为进行状态，则将所述当前时刻作为当前动作类别对应的动作的进行时刻；

若当前动作类别对应的动作为结束状态，则将所述当前时刻作为当前动作类别对应的动作的结束时刻。

8.根据权利要求3-5、7任意一项所述的方法，其特征在于，所述第一预设时长为所述已训练的动作识别模型中所有动作类别中连续时间最短的动作类别。

9.一种动作检测装置，其特征在于，所述装置包括：

当前视频获取单元，用于获取当前时刻之前的第一预设时长的视频作为当前视频，所述当前视频为表征当前待进行动作识别的视频；

动作识别单元，用于对所述当前视频进行检测，获取当前视频对应的当前动作类别；

存储单元，用于获取当前时刻的上一时刻对应的上一视频的上一动作类别，所述当前时刻与所述上一时刻间隔第二预设时长，所述第二预设时长小于所述第一预设时长；

比较单元，用于判断所述当前动作类别与所述上一动作类别是否为相同的动作类别，得到判定结果；

动作状态判定单元，用于根据所述判定结果获取所述当前动作类别对应的动作的当前动作状态，所述当前动作状态用于表征当前动作类别对应的动作为开始状态、进行状态或结束状态；

时间处理单元，用于根据所述当前动作状态，获取当前动作类别对应的动作的起止时刻。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-5、7任意一项所述的方法的步骤。