CN114782883A - 基于群体智能的异常行为检测方法、装置和设备 - Google Patents

Abstract

本申请公开一种基于群体智能的异常行为检测方法，包括：获取群体活动视频；基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；若以上结果均为是，则输出视频检测结果为异常。采用上述方法，以解决现有技术对人群异常行为容易误检的问题。

Description

基于群体智能的异常行为检测方法、装置和设备

技术领域

本申请涉及计算机视觉技术领域。具体涉及一种基于群体智能的异常行为检测方法、一种基于群体智能的异常行为检测装置、电子设备和存储设备。

背景技术

在当今城市生活中，公共场所的人员密集度高，容易造成安全问题，对此，相关工作人员必须及时获取相关信息，并及时应对。

现有技术下，基于目标检测模型的检测算法一般只能对场景中目标进行单独识别，通过对人数滞留时长设定阈值进行判断。

现有技术下的异常行为相关物检测算法存在一些缺陷：对人与异常行为相关物间的关系判定能力有所欠缺，容易将异常行为相关物与环境中的其他物品混淆；例如，针对施工占道行为，施工占道因为视角遮挡等原因可能看不到铲子锄头等施工用具，相关的施工指示牌、工程车辆等容易与道路交通中的其他物品混淆，以上情况均容易造成误检或漏检。

综上所述，现有技术下对人群异常行为存在容易误报的问题。

发明内容

本申请提供一种基于群体智能的异常行为检测方法、装置、电子设备及存储设备，以解决现有技术对人群异常行为容易误检的问题。

本申请提供一种基于群体智能的异常行为检测方法，包括：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

作为一种实施方式，所述群体行为分析模型包括：

群体行为模拟模型，用于根据所述群体活动视频，获得群体活动的轨迹；所述群体活动的轨迹，包括对群体活动在下一时间段的轨迹的预估；

分类模型，用于根据所述群体行为模拟模型的参数组成的特征向量，对群体活动是否可能存在异常行为进行判断。

作为一种实施方式，所述群体行为模拟模型，采用如下方法训练获得：

获取群体活动视频；

根据所述群体活动视频数据，提取群体活动的结构化数据；

积累所述群体活动的结构化数据达到预定的时间阈值；

将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；

将经过训练的群体行为模拟模型作为当前的群体行为模拟模型。

作为一种实施方式，所述分类模型采用如下方式获得：

采集符合数量要求的群体活动视频，并对其中是否存在异常行为进行标注；

对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量；

将所述特征向量提供给初始分类模型，结合所述是否存在异常行为的标注，对所述初始分类模型进行训练；

对所述分类模型的训练达到预定标准后，将经过训练的分类模型用于所述群体行为分析模型。

作为一种实施方式，所述分类模型的输出包括以下两种类型中的至少一种：

群体活动中异常行为存在或者异常行为不存在的判断结果，以及对应的置信度；

群体活动中异常行为存在或者异常行为不存在的判断结果。

作为一种实施方式，所述根据所述群体活动视频，提取群体活动的结构化数据，包括：

预先建立所处区域的平面场景图；

对所述群体活动视频的视频帧进行目标识别，获得其中的活动个体；

根据所述群体群活动视频的各个视频帧，以及获得所述视频帧的摄像设备的位置，将各个所述活动个体的位置在所述平面场景图中标出，并形成结构化位置参数，存入仿真队列，形成仿真队列结构化数据；

根据积累了预定时间长度的仿真队列结构化数据，提取所述群体活动的结构化数据。

作为一种实施方式，所述基于图像识别模型，对所述群体活动视频中的图像进行图像识别，确定其中是否包含异常行为相关物的步骤中，判断其中可能包含异常行为相关物，则标识出所述可能的异常行为相关物；并且，所述基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为的步骤中，判断不存在异常行为，则将标识出的所述可能的异常行为相关物滤除。

作为一种实施方式，所述基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物，包括：

对所述群体活动视频的当前视频帧图像进行目标识别；

将识别出的目标物提供到预先训练好的异常行为相关物检测模型，进行异常行为相关物识别；

若识别出可能的异常行为相关物，并且可能性超过规定的阈值，则判断其中可能包含异常行为相关物。

作为一种实施方式，还包括：在屏幕上展示所述平面场景图；以及，将所述各个所述活动个体的位置在所述屏幕上的平面场景图中标出。

本申请还提供一种基于群体智能的异常行为检测装置，包括：

视频获取单元，用于获取群体活动视频；

异常行为确定单元，用于基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；

异常行为相关物确定单元，用于基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

检测结果输出单元，用于当异常行为确定单元和异常行为相关物确定单元的输出结果均为是时，输出视频检测结果为异常。

本申请还提供一种电子设备，包括：

处理器；以及

存储器，用于存储基于群体智能的异常行为检测方法的程序，该设备通电并通过所述处理器运行该基于群体智能的异常行为检测方法的程序后，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

本申请还提供一种存储设备，存储有基于群体智能的异常行为检测方法的程序，该程序被处理器运行，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

与现有技术相比，本发明提供的基于群体智能的异常行为检测方法，包括：获取群体活动视频；基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；若以上结果均为是，则输出视频检测结果为异常。本申请对群体活动视频中的图像进行图像识别，判断其中是否可能包含异常行为相关物，同时引入了基于群体智能行为分析模型，对图像中行人的群体活动的行为进行群体智能的分析，判断是否存在异常行为，将二者的结果结合起来输出视频检测结果，将两种识别分析方式相互结合，与只靠图像识别的现有技术相比，显著减少了误检，提高了检测结果准确率。

附图说明

图1是本申请第一实施例提供的一种基于群体智能的异常行为检测方法的流程图。

图1A是本申请第一实施例提供的一个场景示意图。

图2为本申请第一实施例提供的一种根据所述人群活动视频，提取群体活动的结构化数据的流程图。

图3为本申请第一实施例提供的一种为群体智能的异常行为检测输出结果的示意图。

图4为本申请第一实施例提供的一种对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物的流程图。

图5为本申请第一实施例提供的一种具体实施例的流程图。

图6为本申请第二实施例提供的一种基于群体智能的异常行为检测装置的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是，本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此，本申请不受下面公开的具体实施的限制。

为了更清楚地展示本申请，先介绍一下本申请实施例提供的图像处理方法的应用场景。

本申请提供的一些实施例应用于具有视频获取设备、服务器以及监测视频端构成的监测系统中，典型的，如道路交通监测系统或者社区监测系统。所述视频获取设备，一般是指安装在道路交通现场的摄像头。

如图1所示，该图为本申请提供的典型应用系统的示意图。视频获取设备与服务器1连接，将采集现场的群体活动视频实时发送到服务器1，服务器1中配置了基于群体智能的异常行为检测的系统，该系统首先通过视频获取单元101 获取群体活动视频，然后通过异常行为判断单元102，基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，采用异常行为相关物判断单元103 基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；最后，检测结果输出单元104根据异常行为判断单元102和异常行为相关物判断单元103的输出结果确定输出视频检测结果是否为异常；具体而言，当异常行为判断单元102的判断结果为存在异常行为，并且所述异常行为相关物判断单元103判断图像中存在异常行为相关物时，则输出视频检测结果为异常。在上述应用系统中，视频获取设备可以是分布在道路交通现场，或者其他人群聚集位置(如广场、商场)的若干数量的摄像头，也不排除是相关工作人员携带的可移动视频获取设备。

作为典型应用场景，上述系统应用于某个人群的公共聚集场合的异常情况判断，视频获取设备是固定设置在各种路灯、电线杆、道路交通杆等位置用于采集该公共场所视频的数量众多的摄像头，需要使用与该人群聚集场合相关的多个摄像头参与判断。本申请后续实施例以上述典型应用场景为例进行描述。

具体的异常行为和异常行为相关物，根据应用场景不同可以有很大差别；例如，异常行为可以包括施工占道等行为；异常行为相关物则是与异常行为相关的物品，例如，施工占道的异常行为相关物是铲子锄头等施工工具，以及工程车辆、施工指示牌等施工中使用的物品。应当明确，上述应用场景仅仅是本申请所述的图像处理方法的一个具体实施例，提供所述应用场景实施例的目的是便于理解本申请提供的采用群体智能算法识别人群异常行为的方法，而并非用于限定本申请的应用范围。

本申请第一实施例提供一种基于群体智能的异常行为检测方法。下面结合图1进行说明。

步骤S101，获取群体活动视频。

所述群体活动视频，可以指在特定场景下通过摄像头等视频采集设备采集 的人群活动的实景、实时视频。例如，通过在道路上设置的摄像头采集的人群活 动的视频。特定场景还可以包括广场、商场等公共场所。

本申请第一实施例的执行主体可以为服务器端，也不排除为客户端。如果本申请第一实施例的执行主体为服务器端，群体活动视频也可以从客户端获得。一般性的，本申请第一实施例应用于具有若干采集视频的摄像头以及服务器的系统中，采集视频的摄像头获得的群体活动视频均传输到服务器，供服务器使用。

应当说明，在一般场景下，群体活动视频是从安装在道路交通等现实监测场景的不同位置的多个摄像头设备获得的，这些设备获得的群体活动视频反映了不同角度观察到的一个群体——一般是人类群体，也不排除动物群体，例如监测象群、猴群——在某一个时间段的活动情况。对于每个摄像头获得的情况，应当根据具体的场景，以及每个摄像头的不同安装位置和拍摄角度，将所获取的活动视频反映的每个个体的活动反映在对应该场景的区域平面图上，以便将不同摄像头获得的群体活动视频置于在同一视角下，获得统一的处理；具体处理过程，在后续步骤中予以说明。

步骤S102，基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为。

本申请所述异常行为，是指群体活动呈现的有异于正常情况的行为，一般表现为群体状态的异常而非某个个别个体的异常，例如，可以包括行人运动方式产生改变(例如聚集围观或绕行通过)的行为。

所述群体行为分析模型，在本实施例中，指主要采用群体智能算法对群体行为进行分析的人工智能模型。

所谓群体智能算法(Swarm intelligence)，最初主要是指模拟昆虫、兽群、鸟群和鱼群的群体行为，这些群体按照一种合作的方式寻找食物，群体中的每个成员通过学习其自身的经验和其他成员的经验来不断地改变搜索的方向。群体智能优化算法的突出特点是利用种群的群体智慧进行协同搜索，从而在短时间内找到优选解。常见的群体智能优化算法包括蚁群算法、粒子群优化算法、菌群优化算法、蛙跳算法和人工蜂群算法等。在本申请中，将群体智能算法理解为汇聚群体智慧，协同求解超大规模复杂难题的一类机器智能方法。

对于本申请而言，群体智能算法主要实现对群体活动轨迹的仿真模拟；进一步的，在群体活动轨迹仿真的基础上，通过机器学习算法，对群体活动进行分类，识别出是否存在异常行为。具体到本申请场景而言，主要实现的是人群模拟；人群模拟是模拟大量实体或角色运动的过程，通常用于危机训练、建筑和城市规划、以及疏散模拟，也可用于电影或视频游戏中虚拟场景的创建。

对应于上述功能，所述群体智能行为分析模型包括：群体行为模拟模型，以及分类模型。

所述群体行为模拟模型，用于根据所述群体活动视频，获得群体活动的轨迹，也就是对群体活动的仿真模拟；所述群体活动的轨迹，包括对所述群体活动视频反映的群体中各个个体的历史轨迹的描述，更重要的，还包括群体活动在下一时间段的轨迹的预估。在本申请中，选择使用通用的群体智能算法模型实现该群体行为模拟模型。

所述分类模型，用于对群体活动是否可能存在异常行为进行判断；其判断所依据的输入数据可以采用多种方式，本实施例中，采用如下方式：根据所述群体行为模拟模型的参数组成的特征向量，对群体活动是否可能存在异常行为进行判断。采用群体行为模拟模型的参数组成的特征向量的原因在于，由于上述群体行为模拟模型能够对群体行为进行仿真，则其参数必然反映了群体行为的特征，因此，可以根据其参数组成的特征向量判断群体行为是否存在异常；也就是说，能够模拟仿真群体活动的轨迹的群体行为模拟模型，其中的特征参数就能够反映出群体行为是否正常；通过适当机器学习训练的机器模型，就可以使用群体行为模拟模型判断群体行为是否正常。

当然，上述分类模型也完全可以直接根据所述群体活动的轨迹，提取反映轨迹的参数作为输入，对群体活动是否可能存在异常行为进行判断。

作为一种实施方式，所述群体行为模拟模型，在通用的群体智能算法模型的基础上训练获得；例如，采用典型的蚁群系统算法模型，并通过如下方法训练获得群体行为模拟模型：

获取群体活动视频；根据所述群体活动视频数据，提取群体活动的结构化数据；积累所述群体活动的结构化数据达到预定的时间阈值；将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；将经过训练的群体行为模拟模型作为当前的群体行为模拟模型。

需要注意，所述群体行为模拟模型均为对应特定空间和特定时间的情况下 (简称为特定场景)训练获得的，可以对该特定场景下的各个个体已经发生的行为进行描述，以及对各个个体的未来时间段的行动进行估计；因而，所述群体行为模拟模型中的特征参数也反映了该特定场景的特征，可以在后续的分类模型中用于判断是否存在异常行为。

以采用蚁群系统算法模型为例，具体训练过程如下：

针对当前空间平面图，为平面上每个位置分配通行系数(默认可通行为0，障碍物为1，梯级等影响通行处为0-1间小数)，其中路口的通行系数可根据红绿灯状态进行变化；

将该模型中需要使用的信息启发因子、期望值启发因子、绕行系数等参数初始化为默认值；这些参数本身为可学习参数，需要在后续的训练过程中学习确定。

已知每个个体的起点与终点位置信息(从输入结构化数据中获取，例如步骤 S101中获得了1分钟的视频信息，从第一个视频帧可以获得某个个体的起点位置，从最后一个视频帧中可以获得该个体的终点位置)，通过初始化的模型对行为模式(路径、速度)进行估计，与视觉观测结果(根据对所获得的群体活动视频的观测获得并输入到模型中的结构化数据)进行比较，通过数值优化的方法迭代求解各可学习参数，直至对所述行为模式的估计误差小于预设阈值或迭代次数达到设定上限，则认为训练结束；

其中可学习参数包括上述信息启发因子、期望值启发因子、绕行系数等参数，及部分通行系数(如道路中可能发生事故的区域的通行系数可设置为可学习)。对应于某一个特定场景(所谓特定场景，指特定的空间和时间)训练的所述群体行为模拟模型可以对已经搜集获得的群体行为进行复现，也能够对下一时间段的群体行为进行预估；因此，这些参数可以特征参数，将这些参数组成特征向量，就可以在后续的分类模型中使用，以判断使用该组参数的所述群体行为模拟模型是否存在异常行为。

实际上，对一组确定的可学习参数，群体行为模拟模型的推理过程实际上仍是迭代求解优化的过程，所以在训练中实际上是进行了双重的数值优化迭代过程。

所述结构化数据即模型输入，可分为两类：一类是各目标的位置相关数据，实际上只需要包含各目标在各时刻的位置信息，在前期预处理中需要将每一时刻中属于各目标的结果分别区分出来；其余速度、起终点、滞留时间等信息均可在模型仿真阶段立即推算获取；另一类是各目标及交通要素的属性相关数据，包括车的车型，人的形别、身高、步态等，红绿灯的状态，临时交通标志牌的含义(如施工禁行等)；在构建模型时，人/车的属性可用于个性化地配置各自的初速度、加速度等参数，红绿灯及交通标志牌状态可用于自动更改某区域通行系数。

应当说明，上述群体行为模拟模型，针对的是根据具体场景下的某一个具体时间段获得的群体活动视频数据，对该场景下当下的群体活动进行模拟，包括未来的一定时间段的群体活动情况；因此，该群体行为模拟模型依据的训练数据必然是针对该场景下的需要模拟的具体时间段积累的数据，这样，群体的成员变化不会很大，群体行为的规律容易确定。在优选方式下，整个群体行为模拟模型是一边获取群体活动视频作为观测数据，一边进行模型训练，一边进行模型的应用，不断积累数据，训练模型，并不断应用当前模型。例如，对于同一个区域建立的群体行为模拟模型，10分钟以前的，和当前的，其中包含的特征参数可能就已经有所区别，因为其中的活动主体已经发生了很大变化；因此，该群体行为模型总是在不断的更新中，所谓更新，可以简单的认为实际就是不断获得各种特征参数的新的取值。

在上述步骤中，根据所述群体活动视频数据，提取群体活动的结构化数据这一步骤非常关键，以下予以详细说明。

图2为本申请实施例提供的一种根据所述人群活动视频，提取群体活动的结构化数据的流程图。

如图2所示，在步骤S201中，预先建立所处区域的平面场景图。

所述所处区域的平面场景图，即将需要监测的场景从现实场景的三维形式，转换为对应于该现实场景的平面形式，以便于对群体中各个个体位置进行表达，以及对运动特征进行表述。具体而言，可以参看图3左侧部分，典型的，该平面场景图包含了街道走向，以及视频获取设备的布置位置。

如图2所示，在步骤S202中，对所述群体活动视频的视频帧进行目标识别，获得其中的活动个体。

在该步骤中，对群体活动视频的视频帧中的目标进行识别，可以使用预先训练的检测模块进行目标识别，其目的是获得其中包含的活动个体，以便确定各个活动个体的位置和运动状况。

如图2所示，在步骤S203中，根据所述群体活动视频的各个视频帧，以及获得所述视频帧的摄像设备的位置，将各个所述活动个体的位置在所述平面场景图中标出，并形成结构化位置参数，存入仿真队列，形成仿真队列结构化数据。

该步骤的作用，是将视频中的活动个体安置到平面场景图中的合适位置上；具体的，根据所获得的群体活动视频中的各个视频帧，将视频帧中识别出的活动个体，结合获得视频帧的摄像设备所在位置的位置信息进行转换，获得其在所述平面场景图中的对应点，从而将各个所述活动个体的位置在所述平面场景图中标出；在标出位置点后，就可以获得相应的结构化位置参数，将对应于每个视频帧的结构化位置参数存入仿真队列，最终，各个视频帧对应的结构化位置参数按照时间序列排列，可以形成仿真队列结构化数据。所谓的结构化数据，指包含预先规定的格式的若干字段的标准数据，例如，在本步骤中，对于每个活动个体给出一组反映其在平面场景图中的坐标位置的位置数据，作为结构化位置参数。

如图2所示，在步骤S204中，根据积累了预定时间长度的仿真队列结构化数据，提取所述群体活动的结构化数据。

所述结构化数据，可以包括群体活动轨迹参数，群体活动位置参数，这些参数的具体数据均具有规定的数据格式，可以由二维表结构来逻辑表达和实现，并严格地遵循数据格式与长度规范，属于结构化数据。

在步骤S203的数据积累一定时间后，根据视频帧之间的时间序列关系，就可以进一步获得群体活动的轨迹信息，因此，可以进一步提取出群体活动的结构化数据，包括群体活动轨迹参数，群体活动位置参数；所述群体活动轨迹参数是反映活动个体的动态信息的参数，例如，根据不同时间点的视频帧中某个活动个体的位置变化，获得该活动个体的运动速度和运动方向等参数。

在根据所述群体活动视频数据，提取群体活动的结构化数据后，需要积累所述群体活动的结构化数据达到预定的时间阈值，即可进一步的，将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；经过训练的群体行为模拟模型就可以作为当前的群体行为群模拟模型。其中，所述初始群体行为模拟模型，可以采用典型的群体智能算法模型实现，例如蚁群系统算法模型。通过使用上述积累的群体活动的结构化数据的训练，就可以获得能够模拟该场景下当前群体的群体活动的轨迹的群体行为模拟模型，并根据不断搜集的群体活动视频，分析获得群体活动的轨迹，这其中即包括已经被先前的群体活动视频反映的群体活动的轨迹，也包括对群体活动在下一时间段的轨迹的预估。

在获得群体活动的轨迹之后，就可以进一步的对其中是否存在异常行为进行判断，具体判断方法，可以用机器学习算法构建的分类模型进行分类判断。

作为一种实施方式，所述分类模型可以采用如下方式获得：

采集若干群体活动视频，并对其中是否存在异常行为进行标注；对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量；将所述特征向量提供给初始分类模型，结合所述是否存在异常行为的标注，对所述初始分类模型进行训练；对所述分类模型的训练达到预定标准后，将经过训练的分类模型用于所述群体行为分析模型。

其中，对异常行为进行标注，一般可以使用人工标注。

所述的“对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量”，这一步骤的实现过程前面已经叙述，不再赘述。

所述初始分类模型，可以采用各种机器学习算法模型，在现有技术中，已经有很多可以实现的方式，不再赘述。使用前面标注过的群体活动视频的特征向量，对所述初始分类模型进行训练，通过正负样本的反复训练，就可以获得识别准确率达到标准的分类模型。

作为一种实施方式，所述分类模型的输出可以包括：群体活动是否可能存在异常行为的存在或者不存在的判断结果，以及相应的置信度。例如，“存在异常行为，置信度为0.9”；或者“不存在异常行为，存在异常行为的置信度为0”；当然，也可以只提供是否存在异常行为的判断，例如，“存在”表示存在异常行为，“不存在”表示不存在异常行为。

例如，如果异常行为是施工占道，则分类模型可以输出人群可能存在施工占道行为的判断结果为是，以及存在施工占道行为的置信度。

作为一种实施方式，所述分类模型的输出可以只包括：群体活动存在异常行为的置信度，或者群体活动不存在异常行为的置信度，而不包括是否可能存在异常行为存在或者不存在的判断结果；这种实施方式和同时输出是否可能存在异常行为的存在或者不存在的判断结果，以及相应的置信度的方式实质上是相同的。

例如，如果人群有一定可能存在施工占道行为，分类模型可以输出人群可能存在施工占道行为的置信度。

作为一种实施方式，所述使用群体行为分析模型，根据所述群体活动视频获得群体活动的行为分析，判断群体活动是否可能存在异常行为，其完整的过程也可以表述如下：

根据所述群体活动视频，获得达到预定的时间阈值时长的所述群体活动的结构化数据；

利用所述达到预定的时间阈值时长的所述群体活动的结构化数据训练群体行为模拟模型，得到经过训练的群体行为模拟模型，并获得该群体行为模拟模型的参数；

将所述经过训练的群体模拟模型的参数组成向量，输入已经训练的分类模型中，获得群体活动存在异常行为的置信度；

根据所述置信度，判断群体活动是否可能存在异常行为。

步骤S103，基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物。

所述异常行为相关物，指与异常行为关联的物体。例如，异常行为是施工占道，则异常行为相关物可以为各种施工器械，例如各种施工用具，施工车辆，施工标牌中的一种、两种或者多种。

异常行为相关物的识别，主要利用群体活动视频的视频帧进行图像识别，例如，对其中符合施工用具、施工车辆、施工标牌条件的物体进行识别，如果确定视频帧中包含异常行为相关物，则对其标识。

由于上述图像识别中识别的异常行为相关物有可能为误认，因此，可以结合群体行为分析模型的识别结果进行核实。例如，在“通过采用群体智能算法的群体行为分析模型，根据所述群体活动视频，获得群体活动的行为分析，判断群体活动是否可能存在异常行为”的步骤中，判断不存在异常行为；则，将标识出的所述可能的异常行为相关物滤除。

当使用预先训练好的群体智能人群行为分析模型，根据群体活动视频获得群体活动的行为分析，判断不存在异常行为时，对标识出的可能的异常行为相关物滤除，体现了群体智能人群行为分析模型对检测系统的过滤作用，可以减轻只靠目标检测算法时的误检情况的发生，提高了监测结果准确率。尤其是在不同视频帧中可能存在同样的异常行为相关物的标识，则经过滤除，可以有效减少误检。

例如，对群体活动视频中的图像进行图像识别，判断其中可能包含施工占道，输出群体智能人群行为分析模型的分析结果为不存在施工占道的异常行为，则将检测识别到的铲子锄头等施工用具视为误检，将标识出的可能的铲子锄头等施工用具进行滤除。

上述对所述基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物，其具体实现方式可见参见图4。

如图4所示，在步骤S401中，对所述群体活动视频的当前视频帧图像进行目标识别。

如图4所示，在步骤S402中，将识别出的目标物提供到预先训练好的异常行为相关物检测模型，进行异常行为相关物识别。所述异常行为相关物的具体类型，可以根据具体应用场景下执行本方法的目的确定；可以包括一种也可以包括多种。例如，如果针对的是施工占道行为，则异常行为相关物为施工器械，例如各种施工用具、施工车辆、施工标牌等物品中的一种、两种或者多种；如果针对的是交通事故识别，则异常行为相关物是碰撞在一起的静止的汽车。

如图4所示，在步骤S403中，若识别出可能的异常行为相关物，并且可能性超过规定的阈值，则判断其中可能包含异常行为相关物。

所述异常行为相关物检测模型，指用于检测异常行为相关物的目标检测模型。目标检测(Object Detection)是一项与计算机视觉和图像处理紧密相关的计算机技术分支，其目标是检测出数字图像和视频中的特定语义目标实体，比如人、建筑、汽车等，通常，为了便于人工观测，会在显示屏幕上以紧密包裹目标实体的矩形框为结果输出。目标检测在诸如图像检索和视频监测的许多计算机视觉领域都有应用。

作为一种实施方式，本申请第一实施例还可以包括：在屏幕上展示所述平面场景图；以及，将所述各个所述活动个体的位置在所述屏幕上的平面场景图中标出。还可以输出监测摄像头实况图，并在实况图上输出异常行为相关物检测模型捕获的异常行为相关物的检测框，和区域内人流轨迹示意图。如图3所示，为施工占道检测输出结果的一个示意图。

需要说明的是，为了节省耗时，步骤S102和步骤S103可以并行执行；为了减少线程，步骤S102和步骤S103也可以串行执行。

如图1所示，在步骤S104中，若步骤S102和步骤S103的结果均为是，则输出视频检测结果为异常。

在步骤S104中，只有使用群体行为分析模型判断群体活动可能存在异常行为，并且，对群体活动视频中的图像进行图像识别，判断其中可能包含异常行为相关物时，才输出视频检测结果为异常。此时，可以进一步采取其他措施，包括进行报警处理，进一步增加监测措施等。

与现有技术只通过图像识别判断其中可能包含异常行为相关物即报警的方式相比，本申请体现了群体智能对群体行为分析所获得的异常行为信息，可以对异常行为相关物的判断结进行把关，进一步，还可以过滤掉识别错误的异常行为相关物，减轻只靠目标检测算法时的误检情况的发生，提高检测结果准确率。

为了更清楚的说明本申请，下面结合施工占道检测场景介绍一个具体实施例。

如图5所示，在步骤S501中，获取群体活动视频；

如图5所示，在步骤S502中，读取群体活动视频的视频帧；

如图5所示，在步骤S503中，根据群体活动视频的视频帧，提取群体活动的结构化数据；

如图5所示，在步骤S504中，判断积累的所述群体活动的结构化数据是否达到预定的时间阈值，若是执行步骤S505；若否，返回S502；

如图5所示，在步骤S505中，识别图像内是否存在施工用具、施工车辆，施工标牌等异常行为相关物中至少一种，或者两种、多种；

如图5所示，在步骤S506中，构建群体行为分析模型，并使用群体行为分析模型，根据所述群体活动视频，判断群体活动是否存在施工占道行为；

如图5所示，在步骤S507中，当步骤S505和步骤S506中的结果均为是时，进行异常处理。所述异常处理包括报警，以及加强监测等。

以上是对本申请第一实施例的介绍。本申请第一实施例对群体活动视频中的图像进行图像识别，判断其中是否可能包含异常行为相关物(例如，施工用具、施工车辆、或者施工标牌)，同时引入了群体智能人群行为分析模型对图像中行人的群体活动的行为的分析，判断是否存在异常行为(例如，施工占道行为)，将二者的结果结合起来确定是否需要报警，体现了群体智能人群行为分析模型对图像识别的过滤作用，减轻只靠目标检测算法时的误检情况的发生，提高了检测结果准确率。

与本申请第一实施例提供的基于群体智能的异常行为检测方法相对应的，本申请第二实施例提供一种基于群体智能的异常行为检测装置。

如图6所示，所述基于群体智能的异常行为检测装置，包括：

视频获取单元601，用于获取群体活动视频；

异常行为确定单元602，用于基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；

异常行为相关物确定单元603，用于基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

检测结果输出单元604，用于当异常行为确定单元和异常行为相关物确定单元的输出结果均为是时，输出视频检测结果为异常。

作为一种实施方式，所述群体智能人群行为分析模型包括：

群体行为模拟模型，用于根据所述群体活动视频，获得群体活动的轨迹；所述群体活动的轨迹，包括对群体活动在下一时间段的轨迹的预估；

分类模型，用于根据所述群体行为模拟模型的参数组成的特征向量，对群体活动是否可能存在异常行为进行判断。

作为一种实施方式，所述装置包含：群体行为模拟模型训练单元，用于：

获取群体活动视频；

根据所述群体活动视频数据，提取群体活动的结构化数据；

积累所述群体活动的结构化数据达到预定的时间阈值；

将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；

将经过训练的群体行为模拟模型作为当前的群体行为模拟模型。

作为一种实施方式，所述装置包括分类模型获得单元，用于：

采集若干群体活动视频，并对其中是否存在异常行为进行标注；

对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量；

将所述特征向量提供给初始分类模型，结合所述是否存在异常行为的标注，对所述初始分类模型进行训练；

对所述分类模型的训练达到预定标准后，将经过训练的分类模型用于所述群体行为分析模型。

作为一种实施方式，所述分类模型的输出包括：群体活动是否可能存在异常行为或者不存在异常行为的判断，以及相应的置信度。

作为一种实施方式，所述群体智能人群模拟模型训练单元具体用于：

预先建立所处区域的平面场景图；

对所述人群活动视频的视频帧进行目标识别，获得其中的活动个体；

根据所述人群活动视频的各个视频帧，以及获得所述视频帧的摄像设备的位置，将各个所述活动个体的位置在所述平面场景图中标出，并形成结构化位置参数，存入仿真队列，形成仿真队列结构化数据；

根据积累了预定时间长度的仿真队列结构化数据，提取所述群体活动的结构化数据，包括群体活动轨迹参数，群体活动位置参数。

作为一种实施方式，所述异常行为相关物确定单元具体用于，判断其中可能包含异常行为相关物，则标识出所述可能的异常行为相关物；并且，所述异常行为确定单元中，判断不存在异常行为；则，将标识出的所述可能的异常行为相关物滤除。

作为一种实施方式，所述异常行为相关物确定单元具体用于：

对所述群体活动视频的当前视频帧图像进行目标识别；

将识别出的目标物提供到预先训练好的异常行为相关物检测模型，进行异常行为相关物识别；

若识别出可能的异常行为相关物，并且可能性超过规定的阈值，则判断其中可能包含异常行为相关物。

作为一种实施方式，所述装置还包括展示单元，用于在屏幕上展示所述平面场景图；以及，将所述各个所述活动个体的位置在所述屏幕上的平面场景图中标出。

需要说明的是，对于本申请第二实施例提供的装置的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

与本申请第一实施例提供的基于群体智能的异常行为检测方法相对应的，本申请第三实施例提供一种电子设备。

所述电子设备，包括：

处理器；以及

存储器，用于存储基于群体智能的异常行为检测方法的程序，该设备通电并通过所述处理器运行该基于群体智能的异常行为检测方法的程序后，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

作为一种实施方式，所述群体行为分析模型包括：

群体行为模拟模型，用于根据所述群体活动视频，获得群体活动的轨迹；所述群体活动的轨迹，包括对群体活动在下一时间段的轨迹的预估；

分类模型，用于根据所述群体行为模拟模型的参数组成的特征向量，对群体活动是否可能存在异常行为进行判断。

作为一种实施方式，所述群体智能人群模拟模型，采用如下方法训练获得：

获取群体活动视频；

根据所述群体活动视频数据，提取群体活动的结构化数据；

积累所述群体活动的结构化数据达到预定的时间阈值；

将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；

将经过训练的群体行为模拟模型作为当前的群体行为模拟模型。

作为一种实施方式，所述分类模型采用如下方式获得：

采集若干人群活动视频，并对其中是否存在异常行为进行标注；

对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量；

将所述特征向量提供给初始分类模型，结合所述是否存在异常行为的标注，对所述初始分类模型进行训练；

对所述分类模型的训练达到预定标准后，将经过训练的分类模型用于所述群体行为分析模型。

作为一种实施方式，所述分类模型的输出包括：群体活动是否可能存在异常行为或者不存在异常行为的判断，以及相应的置信度。

作为一种实施方式，所述根据所述人群活动视频，提取群体活动的结构化数据，包括：

预先建立所处区域的平面场景图；

对所述人群活动视频的视频帧进行目标识别，获得其中的活动个体；

根据所述人群活动视频的各个视频帧，以及获得所述视频帧的摄像设备的位置，将各个所述活动个体的位置在所述平面场景图中标出，并形成结构化位置参数，存入仿真队列，形成仿真队列结构化数据；

根据积累了预定时间长度的仿真队列结构化数据，提取所述群体活动的结构化数据，包括群体活动轨迹参数，群体活动位置参数。

作为一种实施方式，所述基于图像识别模型，对所述群体活动视频中的图像进行图像识别，确定其中是否包含异常行为相关物的步骤中，判断其中可能包含异常行为相关物，则标识出所述可能的异常行为相关物；并且，所述基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为的步骤中，判断不存在异常行为，则将标识出的所述可能的异常行为相关物滤除。

作为一种实施方式，所述基于图像识别模型，对所述群体活动视频中的图像进行图像识别，确定其中是否可能包含异常行为相关物，包括：

对所述群体活动视频的当前视频帧图像进行目标识别；

将识别出的目标物提供到预先训练好的异常行为相关物检测模型，进行异常行为相关物识别；

若识别出可能的异常行为相关物，并且可能性超过规定的阈值，则判断其中可能包含异常行为相关物。

作为一种实施方式，还包括：在屏幕上展示所述平面场景图；以及，将所述各个所述活动个体的位置在所述屏幕上的平面场景图中标出。

需要说明的是，对于本申请第三实施例提供的电子设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

本申请第四实施例提供一种存储设备，存储有基于群体智能的异常行为检测方法的程序，该程序被处理器运行，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

需要说明的是，对于本申请第四实施例提供的存储设备的详细描述可以参考对本申请第一实施例的相关描述，这里不再赘述。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (12)

1.一种基于群体智能的异常行为检测方法，其特征在于，包括：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

2.根据权利要求1所述的基于群体智能的异常行为检测方法，其特征在于，所述群体行为分析模型包括：

群体行为模拟模型，用于根据所述群体活动视频，获得群体活动的轨迹；所述群体活动的轨迹，包括对群体活动在下一时间段的轨迹的预估；

分类模型，用于根据所述群体行为模拟模型的参数组成的特征向量，对群体活动是否可能存在异常行为进行判断。

3.根据权利要求2所述的基于群体智能的异常行为检测方法，其特征在于，所述群体行为模拟模型，采用如下方法训练获得：

获取群体活动视频；

根据所述群体活动视频数据，提取群体活动的结构化数据；

积累所述群体活动的结构化数据达到预定的时间阈值；

将积累到预定时间阈值的所述群体活动的结构化数据作为训练数据，提供给初始群体行为模拟模型，对所述群体行为模拟模型进行训练；

将经过训练的群体行为模拟模型作为当前的群体行为模拟模型。

4.根据权利要求2所述的基于群体智能的异常行为检测方法，其特征在于，所述分类模型采用如下方式获得：

采集符合数量要求的群体活动视频，并对其中是否存在异常行为进行标注；

对应各个群体活动视频，获得对应的群体行为模拟模型，提取其中的参数，组成特征向量；

将所述特征向量提供给初始分类模型，结合所述是否存在异常行为的标注，对所述初始分类模型进行训练；

对所述分类模型的训练达到预定标准后，将经过训练的分类模型用于所述群体行为分析模型。

5.根据权利要求2所述的基于群体智能的异常行为检测方法，其特征在于，所述分类模型的输出包括以下两种类型中的至少一种：

群体活动中异常行为存在或者异常行为不存在的判断结果，以及对应的置信度；

群体活动中异常行为存在或者异常行为不存在的判断结果。

6.根据权利要求3所述的基于群体智能的异常行为检测方法，其特征在于，所述根据所述群体活动视频，提取群体活动的结构化数据，包括：

预先建立所处区域的平面场景图；

对所述群体活动视频的视频帧进行目标识别，获得其中的活动个体；

根据所述群体群活动视频的各个视频帧，以及获得所述视频帧的摄像设备的位置，将各个所述活动个体的位置在所述平面场景图中标出，并形成结构化位置参数，存入仿真队列，形成仿真队列结构化数据；

根据积累了预定时间长度的仿真队列结构化数据，提取所述群体活动的结构化数据。

7.根据权利要求1所述的基于群体智能的异常行为检测方法，其特征在于，所述基于图像识别模型，对所述群体活动视频中的图像进行图像识别，确定其中是否包含异常行为相关物的步骤中，判断其中可能包含异常行为相关物，则标识出所述可能的异常行为相关物；并且，所述基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为的步骤中，判断不存在异常行为，则将标识出的所述可能的异常行为相关物滤除。

8.根据权利要求1所述的基于群体智能的异常行为检测方法，其特征在于，所述基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物，包括：

对所述群体活动视频的当前视频帧图像进行目标识别；

将识别出的目标物提供到预先训练好的异常行为相关物检测模型，进行异常行为相关物识别；

若识别出可能的异常行为相关物，并且可能性超过规定的阈值，则判断其中可能包含异常行为相关物。

9.根据权利要求6所述的基于群体智能的异常行为检测方法，其特征在于，还包括：在屏幕上展示所述平面场景图；以及，将所述各个所述活动个体的位置在所述屏幕上的平面场景图中标出。

10.一种基于群体智能的异常行为检测装置，其特征在于，包括：

视频获取单元，用于获取群体活动视频；

异常行为确定单元，用于基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；

异常行为相关物确定单元，用于基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

检测结果输出单元，用于当异常行为确定单元和异常行为相关物确定单元的输出结果均为是时，输出视频检测结果为异常。

11.一种电子设备，包括：

处理器；以及

存储器，用于存储基于群体智能的异常行为检测方法的程序，该设备通电并通过所述处理器运行该基于群体智能的异常行为检测方法的程序后，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

12.一种存储设备，存储有基于群体智能的异常行为检测方法的程序，该程序被处理器运行，执行下述步骤：

获取群体活动视频；

基于群体智能算法的群体行为分析模型，对所述群体活动视频进行行为分析，确定所述群体活动视频中的群体活动是否可能存在异常行为；以及，

基于图像识别模型，对所述群体活动视频中的视频帧进行图像识别，确定其中是否可能包含异常行为相关物；

若以上结果均为是，则输出视频检测结果为异常。

Images