CN111753724A - 一种异常行为识别方法及装置 - Google Patents

Abstract

本申请涉及动作识别技术领域，尤其涉及一种异常行为识别方法及装置，分别从待识别视频的各视频帧中检测获得各人体区域图像；分别针对各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，当至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别至少两个人体区域图像的人体动作类别，当至少两个人体区域图像的中心点之间的距离小于等于第二距离阈值时，将至少两个人体区域图像合并为新的人体区域图像，并识别新的人体区域图像的人体动作类别；根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为，这样，能够对人体动作类别进行自动识别，提高了异常行为识别的效率和准确度。

Description

一种异常行为识别方法及装置

技术领域

本申请涉及动作识别技术领域，尤其涉及一种异常行为识别方法及装置。

背景技术

目前，随着视频监控技术的发展，视频监控被广泛应用于治安管理场景，例如，在公共场所可以通过视频监控是否出现多人打架，现有技术中，通常是通过人工对视频监控进行打架判断识别，效率非常低，现有技术中针对此还未有相关的解决方案。

发明内容

本申请实施例提供一种异常行为识别方法及装置，以提高异常行为识别的效率。

本申请实施例提供的具体技术方案如下：

一种异常行为识别方法，包括：

分别从待识别视频的各视频帧中检测获得各人体区域图像；

分别针对所述各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当所述至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别所述至少两个人体区域图像的人体动作类别，以及当所述至少两个人体区域图像的中心点之间的距离小于等于所述第二距离阈值时，将所述至少两个人体区域图像合并为新的人体区域图像，并识别所述新的人体区域图像的人体动作类别；

根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为。

可选的，分别从待识别视频的各视频帧中检测获得各人体区域图像，具体包括：

分别对所述待识别视频的各视频帧进行人体检测；

从所述待识别视频中检测到包含人体的视频帧时，确定所述人体的人体区域图像在所述视频帧上的位置信息；

根据确定出的所述人体的人体区域图像在所述视频帧上的位置信息，对所述人体进行跟踪，确定所述人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

可选的，分别识别所述至少两个人体区域图像的人体动作类别之前，进一步包括：

分别对所述至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息，其中，所述人体关键点信息中至少包括属性信息，所述属性信息为外部遮挡、内部遮挡或可见；

并确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

可选的，所述人体关键点信息中还至少包括位置信息；

则分别识别所述至少两个人体区域图像的人体动作类别，具体包括：

基于已训练的单人动作识别模型，分别以所述至少两个人体区域图像为输入参数，或分别以所述至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对所述至少两个人体区域图像中的人体动作进行识别，分别获得所述至少两个人体区域图像对应的人体动作类别；

其中，所述单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，或所述单人动作识别模型为根据包含单人人体动作类别的图像样本集和所述图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

可选的，识别所述新的人体区域图像的人体动作类别，具体包括：

基于已训练的多人动作识别模型，以所述新的人体区域图像为输入参数，对所述新的人体区域图像中的多人人体动作进行识别，获得所述新的人体区域图像对应的人体动作类别，其中，所述多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

可选的，根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为，具体包括：

分别根据所述各视频帧对应识别出的人体动作类别，确定所述各视频帧是否存在异常行为；

若确定连续N个视频帧中存在异常行为，则确定所述待识别视频存在异常行为，其中，所述N大于等于预设阈值，并N为正整数。

可选的，所述人体动作类别为预设的打架动作类别，则所述异常行为为打架行为。

一种异常行为识别装置，包括：

第一检测模块，用于分别从待识别视频的各视频帧中检测获得各人体区域图像；

处理模块，用于分别针对所述各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当所述至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别所述至少两个人体区域图像的人体动作类别，以及当所述至少两个人体区域图像的中心点之间的距离小于等于所述第二距离阈值时，将所述至少两个人体区域图像合并为新的人体区域图像，并识别所述新的人体区域图像的人体动作类别；

第一确定模块，用于根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为。

可选的，第一检测模块具体用于：

分别对所述待识别视频的各视频帧进行人体检测；

从所述待识别视频中检测到包含人体的视频帧时，确定所述人体的人体区域图像在所述视频帧上的位置信息；

根据确定出的所述人体的人体区域图像在所述视频帧上的位置信息，对所述人体进行跟踪，确定所述人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

可选的，分别识别所述至少两个人体区域图像的人体动作类别之前，进一步包括：

第二检测模块，用于分别对所述至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息，其中，所述人体关键点信息中至少包括属性信息，所述属性信息为外部遮挡、内部遮挡或可见；

第二确定模块，用于并确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

可选的，所述人体关键点信息中还至少包括位置信息；

则分别识别所述至少两个人体区域图像的人体动作类别时，处理模块具体用于：

基于已训练的单人动作识别模型，分别以所述至少两个人体区域图像为输入参数，或分别以所述至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对所述至少两个人体区域图像中的人体动作进行识别，分别获得所述至少两个人体区域图像对应的人体动作类别；

其中，所述单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，或所述单人动作识别模型为根据包含单人人体动作类别的图像样本集和所述图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

可选的，识别所述新的人体区域图像的人体动作类别时，处理模块具体用于：

基于已训练的多人动作识别模型，以所述新的人体区域图像为输入参数，对所述新的人体区域图像中的多人人体动作进行识别，获得所述新的人体区域图像对应的人体动作类别，其中，所述多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

可选的，第一确定模块具体用于：

分别根据所述各视频帧对应识别出的人体动作类别，确定所述各视频帧是否存在异常行为；

若确定连续N个视频帧中存在异常行为，则确定所述待识别视频存在异常行为，其中，所述N大于等于预设阈值，并N为正整数。

可选的，所述人体动作类别为预设的打架动作类别，则所述异常行为为打架行为。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述异常行为识别方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述异常行为识别方法的步骤。

本申请实施例中，分别从待识别视频的各视频帧中检测获得各人体区域图像，分别针对各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别至少人体区域图像的人体动作类别，以及当至少两个人体区域图像的中心点之间的距离小于等于第二距离阈值时，将至少两个人体区域图像合并为新的人体区域图像，并识别新的人体区域图像的人体动作类别，根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为，这样，无需通过人工对待识别视频进行长时间监管，能够自动识别出视频中的异常动作，并且，通过设定第一距离阈值和第二距离阈值，当中心点之间的距离大于第二距离阈值时，则分别对至少两个人体区域图像进行识别，当中心点之间的距离小于第二距离阈值时，则将两个人体区域图像合并为新的人体区域图像，并进行识别，能够提高异常行为识别的准确度。

附图说明

图1为本申请实施例中一种异常行为识别方法的流程图；

图2为本申请实施例中人体检测的效果示意图；

图3为本申请实施例中人体关键点的示意图；

图4为本申请实施例中无接触时的效果示意图；

图5为本申请实施例中可能接触时的效果示意图；

图6为本申请实施例中接触时的效果示意图；

图7为本申请实施例中的外接矩形框示意图；

图8为本申请实施例中一种打架动作识别方法的流程图；

图9为本申请实施例中异常行为识别装置的结构示意图；

图10为本申请实施例中电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，随着视频监控技术的发展，视频监控被广泛应用于治安管理场景，例如，对于监狱、银行等一些特定的场所，需要避免暴力冲突等不稳定的事件发生，因此，在这些特定场所中，需要通过视频监控进行全天候的监管，并通过视频，实时监控是否出现多人打架，现有技术中，通常是通过人工对视频监控进行在线巡查，对视频监控中出现的异常行为进行识别，但是，由于需要人工对视频监控进行长时间监管，因此，这种方式效率非常低，现有技术中针对此还未有相关的解决方案。

本申请实施例中，本申请实施例中，分别从待识别视频的各视频帧中检测获得各人体区域图像，分别针对各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别至少人体区域图像的人体动作类别，以及当至少两个人体区域图像的中心点之间的距离小于等于第二距离阈值时，将至少两个人体区域图像合并为新的人体区域图像，并识别新的人体区域图像的人体动作类别，根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为，这样，无需人工对待识别视频进行长时间监管，也能够识别出待识别视频中的异常动作，能够提高异常行为识别的效率，并且，通过设定第一距离阈值和第二距离阈值，进行识别，能够提高异常行为识别的准确度。

基于上述实施例，参阅图1所示，为本申请实施例中一种异常行为识别方法的流程图，具体包括：

步骤100：分别从待识别视频的各视频帧中检测获得各人体区域图像。

本申请实施例中，执行步骤100时，具体包括：

S1：分别对待识别视频的各视频帧进行人体检测。

本申请实施例中，从待识别视频的第1个视频帧开始，分别对待识别视频的各视频帧依次进行人体检测，检测待识别视频的各视频帧中是否包含有人体。

具体地，在对待识别视频的各视频帧进行人体检测时，可以基于已训练的人体检测模型，以待识别视频的各视频帧为输入参数，分别对待识别视频的各视频帧进行人体检测。

其中，人体检测模型例如可以为Faster R-CNN、多分类单杆检测器(Single ShotMultiBox Detector，SSD)、只看一次(You Only Look Once，YOLO)等，本申请实施例中对此并不进行限制。

S2：从待识别视频中检测到包含人体的视频帧时，确定人体的人体区域图像在视频帧上的位置信息。

本申请实施例中，当待识别视频中检测到包含人体的视频帧时，则确定该视频帧包含人体，例如参阅图2所示，为本申请实施例中人体检测的效果示意图，可以通过矩形边界框标注出人体在该视频帧中的人体区域图像，进而确定该视频帧中人体的人体区域图像在视频帧上的位置信息。

例如，假设待识别视频共有1000个视频帧，从第1个视频帧开始，对每一个视频帧依次进行人体检测，在第123个视频帧中，检测到该视频帧中包含人体，则通过矩形边界框标注出人体在该视频帧中的人体区域图像，并确定人体的人体区域图像在该视频帧上的位置信息。

S3：根据确定出人体的人体区域图像在视频帧上的位置信息，对人体进行跟踪，确定人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

本申请实施例中，在获得人体的人体区域图像在视频帧上的位置信息之后，根据确定出的人体的人体区域图像在视频帧上的位置信息，对人体进行追踪，获得人体在追踪到各视频帧上的人体区域图像，并确定人体在追踪到各视频帧上对应的位置信息。

其中，人体追踪算法例如可以为卡尔曼滤波算法等，本申请实施例中对此并不进行限制。

步骤110：分别针对各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别至少两个人体区域图像的人体动作类别，以及当至少两个人体区域图像的中心点之间的距离小于等于第二距离阈值时，将至少两个人体区域图像合并为新的人体区域图像，并识别新的人体区域图像的人体动作类别。

本申请实施例中，为了提高人体动作识别的准确度，在分别识别至少两个人体区域图像的人体动作类别之前，还可以根据人体关键点信息的属性信息是否为可见，进而确定是否可以对该人体区域图像进行识别，具体包括：

S1：分别对至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息。

其中，人体关键点信息中至少包括属性信息，属性信息为外部遮挡、内部遮挡或可见。

本申请实施例中，分别对至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点信息及其属性信息。

其中，参阅图3所示，为本申请实施例中人体关键点的示意图，人体关键点例如可以为头、脖子、右肩膀、右手腕、左手肘、右手肘、左手腕、左肩膀、左脚踝、右脚踝、左膝盖、右膝盖、左臀、右臀。

外部遮挡表征人体关键点被外部其它物体遮挡。

内部遮挡表征人体关键点被该人体的其它人体关键点遮挡。

可见表征人体关键点无遮挡。

S2：确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

本申请实施例中，若确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值，则确定该人体区域图像质量合格，并继续执行对人体区域图像中的人体动作类别进行识别的步骤，若确定属性信息为外部遮挡的人体关键点的数量大于预设数量阈值，则认为人体被外部遮挡面积过大，该人体区域图像的图像质量不合格，不继续执行对人体区域图像中的人体动作类别进行识别的步骤，这样，通过对人体区域图像的图像质量进行测评，滤除质量不合格的人体区域图像，能够提高对人体区域图像中的人体动作类别进行识别的准确度。

本申请实施例中，执行步骤110时，具体包括：

S1：分别针对各视频帧，判断任意一个视频帧中是否存在至少两个人体区域图像。

S2：若确定任意一个视频帧中只存在一个人体区域图像，则停止识别人体动作。

本申请实施例中，当人体动作类别为打架动作类别，且任意一个视频帧中只存在一个人体区域图像时，则停止识别人体动作，也就是说，在任意一个视频帧中虽然检测到了人体，但是只检测到了一个人体，待识别视频的画面中仅存在一个人，那么此时不可能存在打架动作。

进一步地，当人体动作类别为倒地动作类别，且任意一个视频帧中只存在一个人体区域图像时，则还可以将人体区域图像输入至以训练的动作识别模型中，识别人体的倒地动作，由于倒地动作是由一个人实施的，因此，在这种情况下，还可以进一步识别人体动作。

S3：若确定任意一个视频帧中存在至少两个人体区域图像，则对至少两个人体区域图像进行人体动作识别。

本申请实施例中，由于存在至少两个人体区域图像，可能会出现异常行为，因此，需要对至少两个人体区域图像的中心点之间的距离进行计算，进而选择识别人体动作类别的方式，具体包括：

A1：计算至少两个人体区域图像的中心点之间的距离，并判断计算出的距离是否大于第一距离阈值。

A2：若计算出的距离大于第一距离阈值，则确定至少两个人体之间无接触行为，并停止识别人体动作。

本申请实施例中，为至少两个人体区域图像的中心点之间的距离设定第一距离阈值，若计算出的两个人体区域图像的中心点之间的距离大于第一距离阈值，则确定至少两个人体之间相距较远，且无接触行为，则此时停止识别人体动作。

例如，参阅图4所示，为本申请实施例中无接触时的效果示意图，人体A与人体B之间的距离为d，此时d小于第一距离阈值a，则人体A与人体B之间无接触。

A3：若计算出的距离小于等于第一距离阈值，则判断计算出的距离是否大于第二距离阈值。

本申请实施例中，若至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值，则此时进一步判断计算出的距离是否大于第二距离阈值，具体可以分为以下两种不同的情况。

第一种情况，计算出的距离大于第二距离阈值。

若确定计算出的距离大于第二距离阈值，则确定至少两个人体可能存在接触行为，分别识别至少两个人体区域图像的人体动作类别。

本申请实施例中，当至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值，则此时为至少两个人体区域图像的中心点之间的距离设定第二距离阈值，若确定计算出的距离大于第二距离阈值，则确定至少两个人体可能存在接触行为，并分别对至少两个人体区域图像的人体动作类别进行识别。

例如，参阅图5所示，为本申请实施例中可能接触时的效果示意图，人体A与人体B之间的距离为d，此时d小于第一距离阈值a，且大于第二距离阈值b，则人体A与人体B之间可能存在接触。

第二种情况，计算出的距离小于等于第二距离阈值。

若确定计算出的距离小于等于第二距离阈值，则将至少两个人体区域图像合并为新的人体区域图像，并识别新的人体区域图像的人体动作类别。

本申请实施例中，若确定计算出的距离小于等于第二距离阈值，则确定至少两个人体存在接触行为，将至少两个人体区域图像合并为新的人体区域图像，并分别对至少两个人体区域图像的人体动作类别进行识别。

其中，在将至少两个人体区域图像合并为新的人体区域图像时，可以根据至少两个人体区域图像的人体矩形框，作一个外接矩形框，进而实现合并为新的人体区域图像。

例如，参阅图6所示，为本申请实施例中接触时的效果示意图，人体A与人体B之间的距离为d，此时d小于第一距离阈值a，且小于第二距离阈值b，则人体A与人体B之间存在接触，将人体A的人体区域图像与人体B的人体其余图像合并为新的人体区域图像，参阅图7所示，为本申请实施例中的外接矩形框示意图。

步骤120：根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为。

本申请实施例中，当各视频帧识别出对应的人体动作类别之后，根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为，下面对本申请实施例中识别对应的人体动作类别的步骤进行详细阐述，具体分为以下两种不同情况。

第一种情况：分别识别至少两个人体区域图像的人体动作类别。

当至少两个人体区域图像的中心点之间的距离小于第一距离阈值且大于第二距离阈值时，则分别识别至少两个人体区域图像的人体动作，具体可以通过以下三种方式进行识别。

第一种方式：根据至少两个人体区域图像进行人体动作识别。

基于已训练的第一单人动作识别模型，分别以至少两个人体区域图像为输入参数，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别。

其中，单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的。

其中，人体动作类别为预设的打架动作类别，则异常行为为打架行为。

本申请实施例中，分别确定至少两个人体区域图像的中心点之间的距离，当至少两个人体区域图像的中心点之间的距离小于第一距离阈值且大于第二阈值时，则认为该至少两个人体可能存在接触行为，并分别将至少两个人体区域图像输入至已训练的第一单人动作识别模型中，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别。

例如，以人体动作类别为预设的打架动作类别为例，假设待识别视频的第4-10个视频帧中包含有两个人体，分别为人体A和人体B，则分别将人体A和人体B的各视频帧的人体区域图像输入至以训练的第一单人动作识别模型中，对人体A和人体B的打架动作类别进行识别，获得人体A的人体区域图像对应的打架动作类别为“挥拳”，获得人体B的人体区域图像对应的打架动作类别为“踢腿”。

其中，打架动作类别例如可以为挥拳、踢腿、踩人、正常姿态等。

第二种方式：根据至少两个人体区域图像对应的各人体关键点的位置信息进行人体动作识别。

基于已训练的第二单人动作识别模型，分别以至少两个人体区域图像对应的各人体关键点的位置信息为输入参数，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别。

其中，第二单人动作识别模型为根据图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

其中，人体关键点信息中还至少包括位置信息。

本申请实施例中，分别确定至少两个人体区域图像的中心点之间的距离，当至少两个人体区域图像的中心点之间的距离小于第一距离阈值且大于第二阈值时，则认为该至少两个人体之间可能存在接触行为，在这种方式中，还可以通过将至少两个人体区域图像对应的各人体关键点的位置信息为输入参数，通过各人体关键点的位置信息之间的关联关系，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别。

例如，以人体动作类别为预设的打架动作类别为例假设待识别视频的第5-9个视频帧中包含有两个人体，分别为人体A和人体B，则分别将人体A和人体B的各视频帧的人体区域图像对应的各人体关键点的位置信息输入至以训练的第二单人动作识别模型中，根据人体区域图像对应的各人体关键点的位置信息与打架动作类别之间的关联关系，对人体A和人体B的打架动作类别进行识别，获得人体A的人体区域图像对应的打架动作类别为“挥拳”，获得人体B的人体区域图像对应的打架动作类别为“踢腿”。

第三种方式：根据至少两个人体区域图像和对应的各人体关键点的位置信息进行人体动作识别。

基于已训练的第三单人动作识别模型，分别以至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别。

其中，单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，单人动作识别模型为根据包含单人人体动作类别的图像样本集和图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

本申请实施例中，还可以通过人体区域图像以及对应的人体关键点的位置信息为输入参数，对至少两个人体区域图像中的人体动作进行识别，分别获得至少两个人体区域图像对应的人体动作类别，这样，通过两个输入参数对人体区域图像中的人体动作进行识别，能够提高动作识别的准确度。

第二种情况：识别新的人体区域图像的人体动作类别。

基于已训练的多人动作识别模型，以新的人体区域图像为输入参数，对新的人体区域图像中的多人人体动作进行识别，获得新的人体区域图像对应的人体动作类别。

其中，多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

本申请实施例中，当至少两个人体区域图像的中心点之间的距离小于第二距离阈值时，则将至少两个人体区域图像合并为新的人体区域图像，并基于已训练的多人动作识别模型，以新的人体区域图像为输入参数，对新的人体区域图中的多人人体动作进行识别，获得新的人体区域图像对应的人体动作类别。

例如，以人体动作类别为预设的打架动作类别为例，假设待识别视频的第5-9个视频帧中包含有两个人体，分别为人体A和人体B，则分别将人体A和人体B的人体区域图像合并为新的人体区域图像，并将新的人体区域图像输入至已训练的多人动作识别模型中，对人体A和人体B的多人打架动作类别进行识别，获得新的人体区域图像对应的打架动作类别为“多人扭打”。

其中，打架动作类别例如可以为多人扭打、倒地、正常姿态等。

在确定出各视频帧对应识别出的人体动作类别之后，根据各视频帧对应识别出的人体动作类别，确定待识别视频是否存在异常行为，具体包括：

S1：分别根据各视频帧对应识别出的人体动作类别，确定各视频帧是否存在异常行为。

本申请实施例中，分别根据各视频帧对应识别出的人体动作类别，确定各视频帧是否存在异常行为。

例如，当人体动作类别为预设的打架动作类别，异常行为为打架行为时，假设待识别视频的第4个视频帧确定出的打架动作类别为多人扭打，则确定该视频帧中存在打架行为。

又例如，当人体动作类别为预设的倒地动作类别，异常行为为倒地行为时，假设待识别视频的第10个视频帧确定出的倒地动作类别为躺倒，则确定该视频帧中存在倒地行为。

S2：若确定连续N个视频帧中存在异常行为，则确定待识别视频存在异常行为。

其中，N大于等于预设阈值，并N为正整数。

本申请实施例中，对待识别视频的各个视频帧，确定各视频帧中是否存在异常行为，若确定连续的N个视频帧中均存在异常行为，则确定待识别视频存在异常行为。

其中，当至少两个人体区域图像的中心点之间的距离小于第一阈值且大于第二阈值时，只要待识别视频的至少两个人体中，只要有其中一个人体的人体区域图像的连续N个视频帧中存在异常行为，则确定待识别视频存在异常行为。

例如，假设N为10，待识别视频中共检测到有3个人体，分别为人体A、人体B、人体C，当人体A的对应的人体区域图像的连续11个视频帧中存在异常行为，人体B对应的人体区域图像的连续9个视频帧中存在异常行为，人体C对应的人体区域图像的连续3个视频帧中存在异常行为，由于人体A对应的人体区域图像的连续11个视频帧中存在异常行为，且视频帧数已超过预设阈值，则确定待识别视频存在异常行为。

进一步地，当确定待识别视频存在异常行为之后，根据预设的报警方式，作出相应报警行为。

本申请实施例中，无需人工对待识别视频的异常行为进行识别，通过设定不同的判断条件自动对各视频帧中的人体区域图像进行识别，能够提高对异常行为识别的效率，并且，通过单人动作识别模型和多人动作识别模型对人体区域图像进行识别，能够应用到多种场景中，并且，能够准确判断待识别视频中是否存在异常行为，识别准确率高，泛化性强。

基于上述实施例，以人体动作类别为预设的打架动作类别，异常行为为打架行为为例，对本申请实施例中的异常动作识别方法进行详细阐述，参阅图8所示，为本申请实施例中一种打架动作识别方法的流程图，具体包括：

步骤800：分别对待识别视频的各视频帧进行人体检测。

步骤801：从待识别视频中检测到包含人体的视频帧时，确定人体的人体区域图像在视频帧上的位置信息。

步骤802：根据确定出的人体的人体区域图像在视频帧上的位置信息，对人体进行跟踪，确定人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

步骤803：分别针对各视频帧，判断任意一个视频帧中是否存在至少两个人体区域图像，若是，则执行步骤804，若否，则执行步骤812。

步骤804：分别对至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息。

其中，人体关键点信息中至少包括属性信息，属性信息为外部遮挡、内部遮挡或可见。

步骤805：判断属性信息为外部遮挡的人体关键点的数量是否小于等于预设数量阈值，若是，则执行步骤806，若否，则执行步骤812。

步骤806：判断至少两个人体区域图像的中心点之间的距离是否小于等于第一距离阈值，若是，则执行步骤807，若否，则执行步骤812。

步骤807：判断至少两个人体区域图像的中心点之间的距离是否小于等于第二距离阈值，若是，则执行步骤808，若否，则执行步骤809。

步骤808：基于已训练的多人动作识别模型，以新的人体区域图像为输入参数，对新的人体区域图像中的多人打架动作进行识别，获得新的人体区域图像对应的打架动作类别。

其中，多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

步骤809：基于已训练的单人动作识别模型，分别以至少两个人体区域图像为输入参数，或分别以至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对至少两个人体区域图像中的打架动作进行识别，分别获得至少两个人体区域图像对应的打架动作类别。

其中，单人动作识别模型为根据包含单人打架动作类别的图像样本集进行迭代训练获得的，或单人动作识别模型为根据包含单人打架动作类别的图像样本集和图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

人体关键点信息中还至少包括位置信息。

步骤810：分别根据各视频帧对应识别出的打架动作类别，确定各视频帧是否存在打架行为。

步骤811：若确定连续N个视频帧中存在打架行为，则确定待识别视频存在打架行为。

其中，N大于等于预设阈值，并N为正整数。

步骤812：停止识别。

本申请实施例中，通过将待识别视频的各视频帧中的至少两个人体区域图像输入至已训练的单人动作识别模型中，或将新的人体区域图像输入至已训练的多人动作识别模型中，无需通过人工，也能够实现对打架行为的识别，提高了对打架行为的识别的效率，减少漏报和误报，并且通过单人动作模型和多人动作模型，能够识别多种打架动作。

基于同一发明构思，本申请实施例中提供了异常行为识别装置，该异常行为识别装置可以是硬件结构、软件模块、或硬件结构加软件模块。基于上述实施例，参阅图9所示，为本申请实施例中异常行为识别装置的结构示意图，具体包括：

第一检测模块900，用于分别从待识别视频的各视频帧中检测获得各人体区域图像；

处理模块910，用于分别针对所述各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当所述至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别所述至少两个人体区域图像的人体动作类别，以及当所述至少两个人体区域图像的中心点之间的距离小于等于所述第二距离阈值时，将所述至少两个人体区域图像合并为新的人体区域图像，并识别所述新的人体区域图像的人体动作类别；

第一确定模块920，用于根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为。

可选的，第一检测模块900具体用于：

分别对所述待识别视频的各视频帧进行人体检测；

从所述待识别视频中检测到包含人体的视频帧时，确定所述人体的人体区域图像在所述视频帧上的位置信息；

根据确定出的所述人体的人体区域图像在所述视频帧上的位置信息，对所述人体进行跟踪，确定所述人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

可选的，分别识别所述至少两个人体区域图像的人体动作类别之前，进一步包括：

第二检测模块930，用于分别对所述至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息，其中，所述人体关键点信息中至少包括属性信息，所述属性信息为外部遮挡、内部遮挡或可见；

第二确定模块940，用于并确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

可选的，所述人体关键点信息中还至少包括位置信息；

则分别识别所述至少两个人体区域图像的人体动作类别时，处理模块910具体用于：

基于已训练的单人动作识别模型，分别以所述至少两个人体区域图像为输入参数，或分别以所述至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对所述至少两个人体区域图像中的人体动作进行识别，分别获得所述至少两个人体区域图像对应的人体动作类别；

其中，所述单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，或所述单人动作识别模型为根据包含单人人体动作类别的图像样本集和所述图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

可选的，识别所述新的人体区域图像的人体动作类别时，处理模块910具体用于：

基于已训练的多人动作识别模型，以所述新的人体区域图像为输入参数，对所述新的人体区域图像中的多人人体动作进行识别，获得所述新的人体区域图像对应的人体动作类别，其中，所述多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

可选的，第一确定模块920具体用于：

分别根据所述各视频帧对应识别出的人体动作类别，确定所述各视频帧是否存在异常行为；

若确定连续N个视频帧中存在异常行为，则确定所述待识别视频存在异常行为，其中，所述N大于等于预设阈值，并N为正整数。

可选的，所述人体动作类别为预设的打架动作类别，则所述异常行为为打架行为。

基于上述实施例，参阅图10所示为本申请实施例中电子设备的结构示意图。

本申请实施例提供了一种电子设备，该电子设备可以包括处理器1010(CenterProcessing Unit，CPU)、存储器1020、输入设备1030和输出设备1040等，输入设备1030可以包括键盘、鼠标、触摸屏等，输出设备1040可以包括显示设备，如液晶显示器(LiquidCrystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器1020可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器1010提供存储器1020中存储的程序指令和数据。在本申请实施例中，存储器1020可以用于存储本申请实施例中任一种异常行为识别方法的程序。

处理器1010通过调用存储器1020存储的程序指令，处理器1010用于按照获得的程序指令执行本申请实施例中任一种异常行为识别方法。

基于上述实施例，本申请实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的异常行为识别方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (16)

1.一种异常行为识别方法，其特征在于，包括：

分别从待识别视频的各视频帧中检测获得各人体区域图像；

分别针对所述各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当所述至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别所述至少两个人体区域图像的人体动作类别，以及当所述至少两个人体区域图像的中心点之间的距离小于等于所述第二距离阈值时，将所述至少两个人体区域图像合并为新的人体区域图像，并识别所述新的人体区域图像的人体动作类别；

根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为。

2.如权利要求1所述的方法，其特征在于，分别从待识别视频的各视频帧中检测获得各人体区域图像，具体包括：

分别对所述待识别视频的各视频帧进行人体检测；

从所述待识别视频中检测到包含人体的视频帧时，确定所述人体的人体区域图像在所述视频帧上的位置信息；

根据确定出的所述人体的人体区域图像在所述视频帧上的位置信息，对所述人体进行跟踪，确定所述人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

3.如权利要求1所述的方法，其特征在于，分别识别所述至少两个人体区域图像的人体动作类别之前，进一步包括：

分别对所述至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息，其中，所述人体关键点信息中至少包括属性信息，所述属性信息为外部遮挡、内部遮挡或可见；

并确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

4.如权利要求1或3所述的方法，其特征在于，所述人体关键点信息中还至少包括位置信息；

则分别识别所述至少两个人体区域图像的人体动作类别，具体包括：

基于已训练的单人动作识别模型，分别以所述至少两个人体区域图像为输入参数，或分别以所述至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对所述至少两个人体区域图像中的人体动作进行识别，分别获得所述至少两个人体区域图像对应的人体动作类别；

其中，所述单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，或所述单人动作识别模型为根据包含单人人体动作类别的图像样本集和所述图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

5.如权利要求1所述的方法，其特征在于，识别所述新的人体区域图像的人体动作类别，具体包括：

基于已训练的多人动作识别模型，以所述新的人体区域图像为输入参数，对所述新的人体区域图像中的多人人体动作进行识别，获得所述新的人体区域图像对应的人体动作类别，其中，所述多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

6.如权利要求1所述的方法，其特征在于，根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为，具体包括：

分别根据所述各视频帧对应识别出的人体动作类别，确定所述各视频帧是否存在异常行为；

若确定连续N个视频帧中存在异常行为，则确定所述待识别视频存在异常行为，其中，所述N大于等于预设阈值，并N为正整数。

7.如权利要求1所述的方法，其特征在于，所述人体动作类别为预设的打架动作类别，则所述异常行为为打架行为。

8.一种异常行为识别装置，其特征在于，包括：

第一检测模块，用于分别从待识别视频的各视频帧中检测获得各人体区域图像；

处理模块，用于分别针对所述各视频帧，若确定任意一个视频帧中存在至少两个人体区域图像，则当所述至少两个人体区域图像的中心点之间的距离小于等于第一距离阈值并大于第二距离阈值时，分别识别所述至少两个人体区域图像的人体动作类别，以及当所述至少两个人体区域图像的中心点之间的距离小于等于所述第二距离阈值时，将所述至少两个人体区域图像合并为新的人体区域图像，并识别所述新的人体区域图像的人体动作类别；

第一确定模块，用于根据所述各视频帧对应识别出的人体动作类别，确定所述待识别视频是否存在异常行为。

9.如权利要求8所述的装置，其特征在于，第一检测模块具体用于：

分别对所述待识别视频的各视频帧进行人体检测；

从所述待识别视频中检测到包含人体的视频帧时，确定所述人体的人体区域图像在所述视频帧上的位置信息；

根据确定出的所述人体的人体区域图像在所述视频帧上的位置信息，对所述人体进行跟踪，确定所述人体在追踪到各视频帧上的位置信息和对应的人体区域图像。

10.如权利要求8所述的装置，其特征在于，分别识别所述至少两个人体区域图像的人体动作类别之前，进一步包括：

第二检测模块，用于分别对所述至少两个人体区域图像进行人体关键点检测，获得对应检测出的各人体关键点的人体关键点信息，其中，所述人体关键点信息中至少包括属性信息，所述属性信息为外部遮挡、内部遮挡或可见；

第二确定模块，用于并确定属性信息为外部遮挡的人体关键点的数量小于等于预设数量阈值。

11.如权利要求8或10所述的装置，其特征在于，所述人体关键点信息中还至少包括位置信息；

则分别识别所述至少两个人体区域图像的人体动作类别时，处理模块具体用于：

基于已训练的单人动作识别模型，分别以所述至少两个人体区域图像为输入参数，或分别以所述至少两个人体区域图像和对应的各人体关键点的位置信息为输入参数，对所述至少两个人体区域图像中的人体动作进行识别，分别获得所述至少两个人体区域图像对应的人体动作类别；

其中，所述单人动作识别模型为根据包含单人人体动作类别的图像样本集进行迭代训练获得的，或所述单人动作识别模型为根据包含单人人体动作类别的图像样本集和所述图像样本集中各图像样本包含的单人人体的关键点信息进行迭代训练获得的。

12.如权利要求8所述的装置，其特征在于，识别所述新的人体区域图像的人体动作类别时，处理模块具体用于：

基于已训练的多人动作识别模型，以所述新的人体区域图像为输入参数，对所述新的人体区域图像中的多人人体动作进行识别，获得所述新的人体区域图像对应的人体动作类别，其中，所述多人动作识别模型为根据包含多人动作类别的图像样本集进行迭代训练获得的。

13.如权利要求8所述的装置，其特征在于，第一确定模块具体用于：

分别根据所述各视频帧对应识别出的人体动作类别，确定所述各视频帧是否存在异常行为；

若确定连续N个视频帧中存在异常行为，则确定所述待识别视频存在异常行为，其中，所述N大于等于预设阈值，并N为正整数。

14.如权利要求8所述的装置，其特征在于，所述人体动作类别为预设的打架动作类别，则所述异常行为为打架行为。

15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。

Images