CN112733629A - 异常行为判断方法、装置、设备和存储介质 - Google Patents

Abstract

本发明公开了一种异常行为判断方法、装置、设备和存储介质。其中，异常行为判断方法包括：识别并提取每个待检测帧图像中所有目标对象的行为特征；在所述待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像；根据所述异常帧图像的总数量和所述待检测帧图像的总数量确定是否存在异常行为。本发明实施例通过根据多个待检测帧图像中的所有目标行为特征确定异常帧图像，通过异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为，解决了现有技术中在目标对象出现跑步等类似异常行为的情况下，容易出现对异常行为的误判的问题，提高了对异常行为进行判断的准确率。

Description

异常行为判断方法、装置、设备和存储介质

技术领域

本申请涉及安防技术，特别是涉及一种异常行为判断方法、装置、设备和存储介质。

背景技术

在智慧城市建设领域，监控突发事件并实时报警，对建设智慧城市十分重要。在实际生活中，人员打架行为是最常见的异常突发事件之一。传统的报警方式是：在打架行为发生后需要人员打电话报警，或者存在无人报警的情况，从而有严重的滞后性。而通过监控相机24小时不间断的监控，并通过智能算法对打架行为进行判断和报警，可以大大提高打架行为等突发异常事件的报警实时性和准确性。

在现有技术中，通过智能算法对打架进行判断的方式，包括如下：其一，根据目标对象的上肢高度和两个目标对象之间的距离判断是否为打架事件；其二，按照光流方法计算目标对象的运动速度和方向判断是否为打架事件；其三，检测人体的骨骼，并确定手臂方向和人员距离判断是否为打架事件。但上述方案中，在目标对象出现跑步等类似打架异常行为的情况下，容易出现对打异常架行为的误判。

发明内容

有鉴于此，有必要针对上述技术问题，提供一种异常行为判断方法、装置、设备和存储介质，提高了对异常行为进行判断的准确率。

第一方面，本发明实施例提供了一种异常行为判断方法，包括：

识别并提取每个待检测帧图像中所有目标对象的行为特征；

在所述待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像；

根据所述异常帧图像的总数量和所述待检测帧图像的总数量确定是否存在异常行为。

进一步的，在所述识别并提取每个待检测帧图像中所有目标对象的行为特征之前，还包括：

获取待检测视频；

对所述待检测视频中的每个待检测帧图像进行目标检测，得到每个所述待检测帧图像中的所有目标对象。

进一步的，所述在待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像，包括：

在所述待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对所述至少两个目标对象进行标记；

遍历每个所述待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像。

进一步的，所述目标对象的行为特征是否为异常特征的判断方式，包括：

将所述目标对象的行为特征和预设特征数据库中的所有行为特征进行比对，得到第一比对结果；

若所述第一比对结果大于预设相似度阈值，则确定所述目标对象的行为特征为异常特征。

进一步的，所述根据所述异常帧图像的总数量与所述待检测帧图像的总数量确定是否存在异常行为，包括：

确定所述异常帧图像的总数量与所述待检测帧图像的总数量之间的比值；

将所述比值与预设阈值进行比对，得到第二比对结果；

根据所述第二比对结果确定是否存在异常行为。

进一步的，所述待检测帧图像的总数量的确定方式，包括：

确定所述待检测帧图像所对应待检测视频的总时长；

根据所述待检测视频的总时长和帧速率确定待检测帧图像的总数量。

进一步的，所述待检测视频的确定方式，包括：

获取原始视频，并将所述原始视频作为待检测视频；

或者，获取原始视频，并截取所述原始视频中的部分片段，作为待检测视频。

第二方面，本发明实施例还提供了一种异常行为判断装置，包括：

识别提取模块，用于识别并提取每个待检测帧图像中所有目标对象的行为特征；

第一确定模块，用于在所述待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像；

第二确定模块，用于根据所述异常帧图像的总数量和所述待检测帧图像的总数量确定是否存在异常行为。

第三方面，本发明实施例还提供了一种异常行为判断设备，包括：存储器和处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例中任一所述的异常行为判断方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的异常行为判断方法。

本发明实施例通过识别并提取每个待检测帧图像中所有目标对象的行为特征；在所述待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像；根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。本发明实施例根据多个待检测帧图像中的所有目标行为特征确定异常帧图像，通过异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为，解决了现有技术中在目标对象出现跑步等类似打架异常行为的情况下，容易出现对打架异常行为的误判的问题，提高了对异常行为进行判断的准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一提供的一种异常行为判断方法的流程图；

图2是本发明实施例一提供的目标对象异常行为图；

图3是本发明实施例一提供的另一目标对象异常行为图；

图4是本发明实施例二提供的一种异常行为判断方法的流程图；

图5是本发明实施例三提供的一种异常行为判断方法的流程图；

图6是本发明实施例四提供的一种异常行为判断方法的流程图；

图7是本发明实施例五提供的一种异常行为判断装置的结构示意图；

图8是本发明实施例六提供的一种异常行为判断设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例一

图1是本发明实施例一提供的一种异常行为判断方法的流程图，本实施例可适用于判断视频中是否存在异常行为的情况，该方法可以由本发明实施例中的异常行为判断装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：

S110、识别并提取每个待检测帧图像中所有目标对象的行为特征。

其中，帧图像指单帧图像，帧是影像动画中最小单位的单幅影像画面。也就是说帧图像是指一幅静止的画面。待检测帧图像指从待检测视频中提取出来的未处理的帧图像。待检测视频指通过采集终端采集的未处理的视频。待检测帧图像可以是JPEG、TIFF、RAW等格式。采集终端可以是监控相机、摄像机，也可以是具有采集视频图像功能的终端。本实施例中仅对待检测帧图像格式和采集终端进行说明，而非限定。

具体的，将采集终端采集的待检测视频输到智能设备中去，智能设备可以是计算机，也可以是具备数据处理功能的终端等。待检测视频可以通过USB数据线、蓝牙、无线局域网等方式进行传输。本实施例中仅对智能设备和传输方式进行说明，而非限定。待检测视频可以是直接从采集终端采集的未处理的原始视频，也可以是从原始视频中截取的部分片段。

进一步的，按照预设频率从待检测视频中提取出单帧图像，得到待检测帧图像。需要说明的是，从待检测视频中提取出的待检测帧图像可以是连续的多帧图像，也可以是不连续的多个帧图像，对此并不进行限定。具体的，按照预设频率从待检测视频中提取出单帧图像方式可以是从视频第一帧开始，连续提取每一帧图像，将提取的连续帧图像作为待检测帧图像，也可以是从视频的中间帧开始，每1s提取一帧图像，将提取的不连续帧作为待检测帧图像。

在实施例中，目标对象指的是需要行为判断的对象。比如，目标对象可以为人或者器械工具。其中，待检测帧图像中目标对象的数量可以为一个，也可以为两个甚至多个，对此不作限定。具体的，目标对象的行为特征指的是目标对象在肢体上的一些行为动作。比如，图2是本发明实施例一提供的目标对象异常行为图，图像中有两个目标对象，目标A正在踢打目标B，目标B抬手阻挡并躲避。那么目标A的行为特征就是踢打动作，目标B的行为特征是抬手动作以及躲避动作。图3是本发明实施例一提供的另一目标对象异常行为图，图像中有两个目标对象，目标C在举着棍子追打目标D，目标D手持木棍逃跑躲避。那么目标C的行为特征就是举棍追打动作，目标D的行为特征是手持木棍逃跑动作。

进一步的，对每个待检测帧图像进行目标检测，获取每个待检测帧图像中所有目标对象以及目标对象的行为特征。可以采用YOLOV5(You Only Look Once V5)对待检测帧图像进行目标检测，YOLO是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。YOLO直接采用单个卷积神经网络来预测多个bounding boxes(包含某个对象的矩形框)和类别概率。YOLO模型可以包括图像划分层、特征提取层以及特征分类层；图像划分层可以将输入的图像划分成N*N个网格，其中，如果某个目标的中心落在这个网格中，则这个网格负责预测这个目标，每个网格要预测B个目标框，每个目标框处理要回归自身的位置之外，还要附带预测一个置信度，该置信度代表了所预测的目标框中含有目标的概率。特征提取层，用于提取输入的图像中的图像特征，可以包多个卷积层以及池化层；特征分类层，用于基于该输入的图像所划分的N*N个网格，对所提取的图像特征进行分类，预测得到目标的位置和/或类别置信度，可以包括全连接层。

在采用YOLOV5方法对待检测帧图像进行目标检测前，需要基于样本图像训练预设的YOLOV5模型。本实施例中的样本图像中含有样本人以及样本人所在的位置信息。将每一样本图像，输入图像划分层，将该样本图像划分成N*N个网格；将划分网格后的该样本图像输入特征提取层，提取该样本图像中的样本图像特征；将所提取的样本图像特征，输入特征分类层，基于该样本图像所划分的N*N个网格，获得该样本图像中的样本人所在区域的预测位置信息；将获得的样本人所在区域的预测位置信息与所对应的样本人所在区域的标定位置信息进行匹配；当匹配成功时，得到包含特征提取层特征分类层的预设的YOLOV5模型；当匹配不成功时，则分别调整特征提取层和特征分类层的参数；重新返回上述将每一样本图像，输入特征提取层，提取该样本图像中的样本图像特征的步骤；直至匹配成功，得到包含特征提取层和特征分类层的预设的YOLOV5模型。

将所获得的每一样本图像输入初始的YOLOV5模型，初始的YOLOV5模型的图像划分层，将样本图像均匀的划分为N*N个网格，每个网格预测B个目标框，其中，该目标框为:用于表征所预测目标的位置的框，本发明实施例中，上述目标为:样本图像中样本人。其中，N为正整数，上述B为正整数，均为预先设置的数值。可以理解的是，每个目标框可以对应5个值，分别为(X,Y,W,H)和置信度，其中，上述X为该目标框所对应预测的目标的左上角在样本图像中的横坐标，上述Y为该目标框所对应预测的目标的左上角在样本图像中的纵坐标，上述W为该目标框所对应预测的目标的宽，上述H该目标框所对应预测的目标的高，上述置信度可以表征该目标框所对应预测的包含有目标的概率，其中，置信度的公式为：

其中，Pr(Object)表示网格中是否存在目标，如果网格中存在目标，则Pr(Object)取1，如果网格中不存在目标，则Pr(Object)取0；

表示该目标框的位置信息与所对应的标定位置信息之间的交并比(Intersection-over-Union，IoU)值，即该目标框的位置信息与所对应的标定位置信息之间的交集。

进一步的，将待检测帧图像输入预设的YOLOV5模型，将输出一个7*7*30的张量(tensor)来表示图片中所有网格包含的对象(概率)以及该对象可能的2个位置(boundingbox)和置信度。YOLO采用非极大值抑制算法，从中提取出最有可能的那些对象和位置。

需要说明的是由于YOLO的网络中，卷积层最后接了两个全连接层，全连接层是要求固定大小的向量作为输入，所以输入YOLOV5模型的图像，是缩放到448*448的大小。在本实施例中，基础网络采用GhostNet加快处理速度。本实施例中仅以YOLOV5方法对目标检测方法进行举例说明，而非限定。

S120、在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像。

其中，异常特征指满足预设条件的行为特征，预设条件可以是行为特征与预设特征数据库中的所有行为特征相似度大于阈值。本实施例中的异常行为特征可以是有打架行为的行为特征。也就是说，本实施例中的预设特征数据库可以是预先训练的打架行为特征数据库。如上述图2和图3所示，图2和图3中的人都存在打架行为，因此，图中的行为特征均属于异常特征。

异常帧图像指包含有异常特征的帧图像。

具体的，将每一个目标对象的行为特征与预设特征数据库中的所有行为特征进行比对得到比对结果，当比对结果大于预设相似度阈值，则目标对象的行为特征为异常特征。待检测帧图像中存在多个目标对象，若待检测帧图像中至少两个目标对象的行为特征为异常特征，则该图像为异常帧图像。

示例性的，以异常特征为打架行为特征为例进行距离举例说明。在待检测帧图像中，第1帧图像中至少两个目标对象甲和乙在打架；第2帧待检测帧图像中同样出现至少两个目标对象甲和乙在打架；同理第3帧待检测帧图像中同样出现至少两个目标对象甲和丙在打架，第4帧待检测帧图像中同样出现至少两个目标对象乙和丙在打架，第5帧待检测帧图像中同样出现至少两个目标对象丁和戊在打架……；上述5帧待检测帧图像中都出现至少两个目标对象的行为特征为异常特征，因此判断上述5帧待检测帧图像为异常帧图像。

其中，预设特征数据库可以是利用SKNet(Selective Kernel Networks)分类训练的特征分类模型，对行为特征进行分类判断，确定输入行为特征是否为异常特征。在将目标对象的行为特征与预设特征数据库中的所有行为特征进行比对之前，先要基于SKNet模型训练预设特征数据库，本实施例中的样本数据集是含有打架行为的图像数据。

具体的，SKNet由多个SK单元组成。SK单元用不同卷积核提取特征，然后通过每个分支引导的不同信息构成的softmax进行融合。SK单元包括三个方面：Split，Fuse，Select。它的优点在于可以捕捉到不同尺寸的目标物体。

Split阶段使用不同的卷积核对样本图像数据进行卷积。

Fuse运算符组合并聚合来自多个路径的信息，以获得选择权重的全局和综合表示。

Select运算符根据选择权重聚合不同大小的内核的特征映射。

需要说明的是，本实施例中为了避免在目标对象出现跑步等类似打架异常行为的情况下，对打异常架行为产生误判，将跑步等类似打架异常行为的动作，训练进了预设数据库中。也就是说，本申请实施例在基于SKNet模型训练预设特征数据库时，所选用的样本数据集中含有跑步等类似打架异常行为的图像数据，可以对该类图像数据进行了标记，当目标对象的行为特征与预设特征数据库的对比结果显示为含有标记的结果，则目标对象的行为特征不是异常特征。

S130、根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。

其中，待检测帧图像的总数量的确定方式，包括：确定待检测帧图像所对应待检测视频的总时长；根据待检测视频的总时长和帧速率确定待检测帧图像的总数量。

其中，异常帧图像的总数量指含有异常行为特征的帧图像总数，待检测帧图像的总数量指从待检测视频中提取出的帧图像的总数。

具体的，统计步骤S120中含有异常特征的帧图像的总数记为异常帧图像的总数量，确定待检测帧图像所对应的待检测视频的总时长。当待检测帧图像为连续帧图像时，待检测视频的总时长与待检测视频的帧速率的乘积即为待检测帧图像的总数量。例如，待检测视频的总时长为60s，待检测视频的帧速率为每秒25帧，则待检测帧图像的总数量为1500。当待检测图像为不连续帧图像时，根据设定的提取不连续帧图像的方式，相对应确定待检测帧图像的总数量。例如，当提取待检测帧图像时，采用的是从视频的中间帧开始，每1s提取一帧图像，将提取的不连续帧作为待检测帧图像。则对应的，待检测视频的总时长为从所提取的第一帧图像开始到结束的总时长。若总时长为60s,每1s提取一帧，则待检测帧图像的总数量为60。

进一步的，求异常帧图像的总数量与待检测帧图像的总数量的比值，将所得到的比值与预设阈值进行比对，当比值大于预设阈值时，结果确定待检测视频中存在异常行为。

其中，Thresh表示预设阈值，

表示异常帧图像的总数量与待检测帧图像的总数量的比值，result表示比较结果，result为1表示待检测视频中是存在异常行为，result为0表示待检测视频中是不存在异常行为。

示例性的，以判断城市监控视频中是否存在打架异常行为为例进行说明。通过USB数据线传输，将城市监控器所拍摄的10min的原始视频传输到计算机设备中，帧速率为每秒15帧。截取其中的5min作为待检测视频。将待检测视频中的每一帧提取出来，作为待检测帧图像。对每一个待检测帧图像采用YOLOV5目标检测方法做行人目标检测，提取每个待检测帧图像中所有目标对象的行为特征。利用SKNet分类模型判断每个待检测帧图像中每一个目标对象的行为特征是否为异常特征，若待检测帧图像中其中一个目标对象的行为特征为异常特征，则将待检测帧图像作为异常帧图像。统计5min内所有帧图像中存在异常特征的帧数为3000，记为异常帧图像的总数量yc。根据待检测视频时长以及帧速率，计算出5min内待检测帧图像的总数量为4500，记作sum。将预设阈值Thresh的值设定为0.6。异常帧图像的总数量yc与待检测帧图像的总数量sum的比值为0.66，比值结果大于设定阈值0.6，则认为待检测视频中存在打架行为。上述示例仅对本发明实施例的技术方案进行举例说明，而非限定。

本发明实施例通过识别并提取每个待检测帧图像中所有目标对象的行为特征；在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像；根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。本发明实施例根据多个待检测帧图像中的所有目标行为特征确定异常帧图像，通过异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为，解决了现有技术中在目标对象出现跑步等类似异常行为的情况下，容易出现对异常行为的误判的问题，提高了对异常行为进行判断的准确率。

实施例二

图4是本发明实施例二提供的一种异常行为判断方法的流程图，本实施例可适用于判断视频中是否存在异常的情况，本实施例以上述实施例为基础进行了优化，未在本实施例中详尽描述的技术细节可参见上述任意实施例。在本实施例中，在识别并提取每个待检测帧图像中所有目标对象的行为特征之前，还包括：获取待检测视频；对待检测视频中的每个待检测帧图像进行目标检测，得到每个待检测帧图像中的所有目标对象。在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像，包括：在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对至少两个目标对象进行标记；遍历每个待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像。

如图4所示，本实施例的方法具体包括如下步骤：

S210、获取待检测视频。

其中，待检测视频指通过采集终端采集的未处理的原始视频。待检测视频可以是从计算机服务器中获取的，也可以是从采集终端本地获取。

具体的，可以通过数据传输的方式，从采集终端采获取采集到的原始视频，并将原始视频作为待检测视频，也可以截取原始视频中的部分片段，作为待检测视频。本实施例中仅对获取方式进行说明，而非限定。

S220、对待检测视频中的每个待检测帧图像进行目标检测，得到每个待检测帧图像中的所有目标对象。

其中，目标检测也叫目标提取，是一种基于目标几何和统计特征的图像分割，将目标的分割和识别合二为一的技术，指利用目标检测方法从图像中检测出预先设置的待检测目标，如人、汽车等，目标检测的过程中，可以确定出待检测目标在图像中的区域，以及待检测目标的种类。常见的目标检测方法包括:基于深度学习的目标检测方法、利用图像分割技术的目标检测方法以及利用特征匹配技术的目标检测方法等。本实施例中，可以采用YOLOV5目标检测方法，本实施例中仅对目标检测方法进行举例，而非限定。

S230、识别并提取每个待检测帧图像中所有目标对象的行为特征。

具体的，可以采用YOLOV5目标检测方法对待检测视频进行目标检测，识别出待检测帧图像中的所有目标对象及其行为特征。YOLOV5目标检测方法已在上述实施例中进行了说明，此处不再做详尽描述。

S240、在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对至少两个目标对象进行标记。

具体的，通过步骤S230提取了每个待检测帧图像中所有目标对象的行为特征，当待检测帧图像中存在两个及其以上的目标对象的行为特征为异常特征，则对待检测帧图像中两个及其以上的目标对象进行标记。本实施例中不对标记方式进行限定，可以是对目标对象进行数字编号，也可以是对目标对象进行特殊符号标记。

示例性的，以异常特征是打架行为特征为例进行举例说明。若待检测帧图像中只有一个目标对象甲，即使甲的行为特征为打架行为特征，也不对目标对象甲进行标记。若待检测帧图像中有三个目标对象甲、乙和丙，其中，甲和乙在打架，则对目标对象甲和乙进行标记。若待检测帧图像中三个目标对象甲、乙和丙都在打架，则对目标对象甲、乙和丙都进行标记。

S250、遍历每个待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像。

具体的，再一次对所有的待检测帧图像进行检测，当待检测帧图像中存在带有标记的目标对象时，将该待检测帧图像作为异常帧图像。

示例性的，通过步骤S240对待检测帧图像中所有异常特征的目标对象进行了标记，所标记的目标对象为甲、乙和丙。再一次对所有的待检测帧图像进行检测，若待检测帧图像中有两个目标对象乙和丁，由于丁并没有实施打架，而是被动挨打逃跑，则丁的行为特征并不是异常特征，但因为目标对象乙为带有标记的目标对象，因此将该待检测帧图像作为异常帧图像。

可选的，在根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为之前，可以通过异常帧图像中带有标记的目标对象所占的比例对异常帧图像进行筛选，当异常帧图像中带有标记的目标对象所占的比例大于阈值时，将带有标记的目标对象作为异常对象，将含有异常对象的异常帧图像作为最终的异常帧图像。

示例性的，在100帧异常帧图像里，其中90帧的异常帧图像中的目标对象为甲和乙，只有10帧的异常帧图像中的目标对象为丙和丁，则将目标对象甲和乙确定为异常对象，将90帧的包含异常对象甲和乙的异常帧图像作为最终的异常帧图像。

S260、根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。

可选的，当通过上述步骤S260确定待检测视频中存在异常行为后，可以通过自动报警设备向所属区域的报警服务器发送报警提示信息。

本发明实施例的技术方案，通过对待检测视频中多帧图像的所有目标进行行为特征判断，在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对至少两个目标对象进行标记；遍历每个待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像，可以有效识别出存在的一个人出手打架，另一个人未还手的情况，提高了对打架行为进行判断的准确率。

实施例三

图5是本发明实施例三提供的一种异常行为判断方法的流程图，本实施例可适用于判断视频中是否存在异常行为的情况，本实施例以上述实施例为基础进行了优化，未在本实施例中详尽描述的技术细节可参见上述任意实施例。在本实施例中，目标对象的行为特征是否为异常特征的判断方式，包括：将目标对象的行为特征和预设特征数据库中的所有行为特征进行比对，得到第一比对结果；若第一比对结果大于预设相似度阈值，则确定目标对象的行为特征为异常特征。根据异常帧图像的总数量与待检测帧图像的总数量确定是否存在异常行为，包括：确定异常帧图像的总数量与待检测帧图像的总数量之间的比值；将比值与预设阈值进行比对，得到第二比对结果；根据第二比对结果确定是否存在异常行为。

如图5所示，本实施例的方法具体包括如下步骤：

S310、识别并提取每个待检测帧图像中所有目标对象的行为特征。

S320、将目标对象的行为特征和预设特征数据库中的所有行为特征进行比对，得到第一比对结果。

其中，预设特征数据库指预先训练好的包含异常特征的数据库，本实施例中采用的是SKNet模型训练特征数据库。本实施例中仅预设特征数据库的训练方式进行说明，而非限定。第一比对结果指的是目标对象的行为特征和预设特征数据库中的所有行为特征的相似程度。

具体的，可以将目标对象的行为特征输入预设特征数据库中进行比对，输出比对结果，即两者的相似程度。

S330、若第一比对结果大于预设相似度阈值，则确定目标对象的行为特征为异常特征。

其中，相似度阈值是划分的标准，预设相似度阈值指根据需求，灵活设置的划分标准。异常特征指行为特征中符合异常条件的行为特征。本实施例中的异常条件可以是，行为特征和预设特征数据库中的所有行为特征比对结果大于预设相似度阈值的行为特征。

具体的，确定目标对象的行为特征为异常特征的方法可以是，将目标对象的行为特征和预设特征数据库中的所有行为特征的比对结果与预设相似度阈值进行比较，当比对结果大于预设相似度阈值，则确定目标对象的行为特征为异常行为特征。

S340、在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像。

S350、确定异常帧图像的总数量与待检测帧图像的总数量之间的比值。

其中，异常帧图像的总数量指含有异常行为特征的帧图像总数，待检测帧图像的总数量指从待检测视频中提取出的帧图像的总数。

具体的，统计步骤S340中的所有异常帧图像，结果即为异常帧图像的总数量。根据提取待检测帧图像的方式和待检测帧图像对应的待检测视频的总时长，确定待检测帧图像的总数量。例如，对待检测帧图像的提取方式为连续帧提取，待检测帧图像对应的待检测视频的总时长为10s，帧速率为每秒20帧，则将待检测视频的总时长乘以帧速率，所得结果200即为待检测帧图像的总数量。异常帧图像的总数量除以待检测帧图像的总数量得到两者的比值。

S360、将比值与预设阈值进行比对，得到第二比对结果。

其中，预设阈值是预先设定的判断临界值。临界值的设定可以根据实际需要灵活设定。第二比对结果指的是步骤S350中的比值与预设阈值的大小关系。

具体的，将异常帧图像的总数量除以待检测帧图像的总数量得到的比值与预设阈值进行比对，可以得到比值大于预设阈值或比值小于预设阈值两种结果。

S370、根据第二比对结果确定是否存在异常行为。

具体的，当第二比对结果为比值大于预设阈值时，确定存在异常行为。

本发明实施例的技术方案，通过根据待检测视频中异常帧图像的总数量在待检测帧图像的总数量中所占的比例确定是否存在异常行为，减小了根据单帧异常图像确定异常行为的误判情况，提高了对异常行为进行判断的准确率。

实施例四

图6是本发明实施例四提供的一种打架判断方法的流程图，本实施例为上述实施例中异常行为判断方法的一种实例应用，但不限于此。具体的，参考图6，该打架判断方法具体包括如下步骤：

S410、获取待检测帧图像。

具体的，从城市监控摄像头上获取待机检测视频，从待检测视频中提取出连续的多帧图像，作为待检测帧图像。

S420、行人目标检测。

具体的，对待检测帧图像采用YOLOV5目标检测方法做目标行人的检测，根据检测出的目标行人，提取目标行人的行为特征。针对待检测帧图像，采用YOLOV5检测方法对行人目标做检测，基础网络用GhostNet加快处理速度。

S430、异常帧图像判断。

具体的，利用SKNet分类模型进行待检测帧图像中目标行人行为特征是否异常特征分类，异常则该待检测帧图像为异常帧图像，记为true，不异常则记为false。

S440、统计n秒内所有异常帧图像的总数量。

具体的，基于每秒25帧(25fps)的待检测视频，统计n秒内所有待检测帧图像(25*n帧)中异常帧图像的总数量，记为Sum。

S450、异常帧图像的总数量是否大于阈值，若是，则执行S460；若否，则执行S470。

具体的，基于S440中的统计结果，再和预先设定好的阈值Thresh相比较，若Sum比上25*n大于Thresh，则执行S460，结束；若Sum比上25*n不大于Thresh，则执行S470，结束。

其中Sum表示步骤d中n秒内异常帧图像的总数量，n表示待检测视频持续时间总时长，25为fps，Thresh表示设定的阈值，result为1表示结果打架，result为0表示结果不存在打架。

S460、确定待检测视频中存在打架行为。

S470、确定待检测视频中不存在打架行为。

本发明实施例三提供的打架判断方法，在上述实施例的基础上进行应用举例。以判断城市监控摄像头采集的待检测视频中的是否存在打架行为为例介绍异常行为判断方法。该方法对于未知场景的兼容性更好。由于集成了目标检测和识别等方法，使得对视频处理更加可靠，让智慧城市监控系统对行人打架等突发事件实时监控更加准确。

实施例五

图7是本发明实施例五提供的一种异常行为判断装置的结构示意图。如图7所示，该异常行为判断装置具体包括：识别提取模块510、第一确定模块520和第二确定模块530。

其中，识别提取模块510，用于识别并提取每个待检测帧图像中所有目标对象的行为特征。

第一确定模块520，用于在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像。

第二确定模块530，用于根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。

本发明实施例五提供的一种异常行为判断装置，通过识别提取模块识别并提取每个待检测帧图像中所有目标对象的行为特征；通过第一确定模块在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像；通过第二确定模块根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。本发明实施例根据多个待检测帧图像中的所有目标行为特征确定异常帧图像，通过异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。解决了现有技术中在目标对象出现跑步等类似异常行为的情况下，容易出现对异常行为的误判的问题，提高了对异常行为进行判断的准确率。

进一步的，异常行为判断装置还包括视频获取模块，用于在识别并提取每个待检测帧图像中所有目标对象的行为特征之前获取待检测视频。

目标获取模块，用于在识别并提取每个待检测帧图像中所有目标对象的行为特征之前，对待检测视频中的每个待检测帧图像进行目标检测，得到每个待检测帧图像中的所有目标对象。

在上述实施例的基础上，第一确定模块520，包括：

标记单元，用于在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对至少两个目标对象进行标记；

确定单元，用于遍历每个待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像。进一步的，目标对象的行为特征是否为异常特征的判断方式，包括：

将目标对象的行为特征和预设特征数据库中的所有行为特征进行比对，得到第一比对结果；

若第一比对结果大于预设相似度阈值，则确定目标对象的行为特征为异常特征。

在上述实施例的基础上，第二确定模块530，包括：

比值确定单元，用于确定异常帧图像的总数量与待检测帧图像的总数量之间的比值；

比对结果确定单元，用于将比值与预设阈值进行比对，得到第二比对结果；

异常行为确定单元，用于根据第二比对结果确定是否存在异常行为。

进一步的，待检测帧图像的总数量的确定方式，包括：

确定待检测帧图像所对应待检测视频的总时长。

根据待检测视频的总时长和帧速率确定待检测帧图像的总数量。

进一步的，待检测视频的确定方式，包括：获取原始视频，并将原始视频作为待检测视频；或者，获取原始视频，并截取原始视频中的部分片段，作为待检测视频。

本实施例所提供的异常行为判断装置可执行本发明任意实施例所提供的异常行为判断方法，具备执行异常行为判断方法相应的功能模块和有益效果。

实施例六

图8是本发明实施例六提供的一种异常行为判断设备的结构示意图。如图8所示，该设备包括处理器610、存储器620、输入装置630输出装置640；设备中处理器610的数量可以是一个或多个，图8中以一个处理器610为例；设备中的处理器610、存储器620、输入装置和630输出装置640可以通过总线或其他方式连接，图8中以通过总线连接为例。

存储器620作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的异常行为判断方法对应的程序模块(例如，异常行为判断装置中的识别提取模块510、第一确定模块520和第二确定模块530)。处理器610通过运行存储在存储器620中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的异常行为判断方法。

存储器620可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器620可进一步包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。

实施例七

本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种异常行为判断方法，该方法包括：

识别并提取每个待检测帧图像中所有目标对象的行为特征；

在待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，将待检测帧图像作为异常帧图像；

根据异常帧图像的总数量和待检测帧图像的总数量确定是否存在异常行为。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的异常行为判断方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述异常行为判断装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种异常行为判断方法，其特征在于，包括：

识别并提取每个待检测帧图像中所有目标对象的行为特征；

在所述待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像；

根据所述异常帧图像的总数量和所述待检测帧图像的总数量确定是否存在异常行为。

2.根据权利要求1所述的方法，其特征在于，在所述识别并提取每个待检测帧图像中所有目标对象的行为特征之前，还包括：

获取待检测视频；

对所述待检测视频中的每个待检测帧图像进行目标检测，得到每个所述待检测帧图像中的所有目标对象。

3.根据权利要求1所述的方法，其特征在于，所述在待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像，包括：

在所述待检测帧图像中至少两个目标对象的行为特征为异常特征的情况下，对所述至少两个目标对象进行标记；

遍历每个所述待检测帧图像，将存在带有标记的目标对象的待检测帧图像作为异常帧图像。

4.根据权利要求1-3任一所述的方法，其特征在于，所述目标对象的行为特征是否为异常特征的判断方式，包括：

将所述目标对象的行为特征和预设特征数据库中的所有行为特征进行比对，得到第一比对结果；

若所述第一比对结果大于预设相似度阈值，则确定所述目标对象的行为特征为异常特征。

5.根据权利要求1所述的方法，其特征在于，所述根据所述异常帧图像的总数量与所述待检测帧图像的总数量确定是否存在异常行为，包括：

确定所述异常帧图像的总数量与所述待检测帧图像的总数量之间的比值；

将所述比值与预设阈值进行比对，得到第二比对结果；

根据所述第二比对结果确定是否存在异常行为。

6.根据权利要求5所述的方法，其特征在于，所述待检测帧图像的总数量的确定方式，包括：

确定所述待检测帧图像所对应待检测视频的总时长；

根据所述待检测视频的总时长和帧速率确定待检测帧图像的总数量。

7.根据权利要求2或6所述的方法，其特征在于，所述待检测视频的确定方式，包括：

获取原始视频，并将所述原始视频作为待检测视频；

或者，获取原始视频，并截取所述原始视频中的部分片段，作为待检测视频。

8.一种异常行为判断装置，其特征在于，包括：

识别提取模块，用于识别并提取每个待检测帧图像中所有目标对象的行为特征；

第一确定模块，用于在所述待检测帧图像中至少两个所述目标对象的行为特征为异常特征的情况下，将所述待检测帧图像作为异常帧图像；

第二确定模块，用于根据所述异常帧图像的总数量和所述待检测帧图像的总数量确定是否存在异常行为。

9.一种异常行为判断设备，包括：存储器和处理器；所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的异常行为判断方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的异常行为判断方法。

Images