CN110245603A - 一种群体异常行为实时检测方法 - Google Patents

一种群体异常行为实时检测方法 Download PDF

Info

Publication number
CN110245603A
CN110245603A CN201910505120.XA CN201910505120A CN110245603A CN 110245603 A CN110245603 A CN 110245603A CN 201910505120 A CN201910505120 A CN 201910505120A CN 110245603 A CN110245603 A CN 110245603A
Authority
CN
China
Prior art keywords
dccnn
group
video
time
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910505120.XA
Other languages
English (en)
Inventor
卢丽
许源平
许志杰
曹衍龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN201910505120.XA priority Critical patent/CN110245603A/zh
Publication of CN110245603A publication Critical patent/CN110245603A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种群体异常行为实时检测方法，基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构；设置训练参数来优化第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构；根据第二DCCNN结构设计群体异常行为实时检测系统，以确定待检测视频流中是否存在群体异常行为。系统使用STFD提取并量化描述了子群体间的运动交互信息，进一步提高了DCCNN的识别准确率，同时解决了当前群体异常行为智能识别系统计算量大的问题。而且将多帧光流地图通道替换成单帧的运动通道，使得DCCNN的训练参数大大减少，加快了DCCNN的训练和识别计算速度。

Description

一种群体异常行为实时检测方法
技术领域
本申请涉及图像识别技术领域，具体涉及一种群体异常行为实时检测方法。
背景技术
我国各城市不断增长的人口数量和城市化的扩展时刻挑战着各个领域的承载和应变能力，特别是公共场所发生的突发事件(例如，恐袭、斗殴、集会和逃散等)已经对人民群众的生命和财产安全产生了严重威胁。近年来，视频监控设备的应用数量得到了迅速增长，它们不但确保了我国社会秩序的正常运转，也提高了公共安全部门响应和处理突发事件的能力。但是，当前安防监控设备存在两个主要问题：1)智能度不高，其主要用于突发事件的事后取证和应急预案的总结等方面的“静态”应用；2)要支持突发事件实时监测需要庞大的人力资源，同时视频监控人员的工作负担也会急剧加重，这样极易造成突发事件的漏检和误检。因此，本申请基于我国建设好的“天网工程”，研发了群体异常行为智能检测系统，该系统把传统的“人防”升级为“技防”，可以在突发事件的早期进行快速、智能判别(判别视频中目标人群的行为是否会演变为突发事件)。
传统的群体行为识别系统使用视频图像特征来训练机器学习分类器(例如，SVM，随机森林)，但是由于机器学习分类器需要人工提供特征，经常会导致训练特征集较小且存在较多训练数据噪声，因此在大数据情况下群体行为识别容易出现过拟合现象。Mehran等学者将提取的社会力描述算子输入支持向量机(SVM)中来区分正常或异常群体行为。但是，社会力描述算子没有提取场景信息导致群体行为识别的误差较大。因此，群体行为不仅需要分析群体的运动信息，还要综合场景信息来理解群体行为。
随着技术的发展，卷积神经网络(Convolutional Neural Networks，CNN)已经广泛应用于图像的自动分类应用中。例如，Karpathy等使用多分辨率的双通道卷积神经网络(Dual-Channel Convolutional Neural Networks,DCCNN)自动的对视频特征进行提取，进而实现对群体行为进行分类。其网络输入就是原始图像视频，这些图像视频被分作两组独立的数据流：低分辨率的数据流和原始分辨率的数据流。这两个数据流最后合并成两个全连接层进行后续的特征识别。Karpathy的工作一方面证明了CNN在智能视频分类中应用的可行性，另一方面又验证了当前CNN架构下基于CNN的特征自动提取和训练获得的识别率还是偏低的。因此，后续研发工作开始集中于利用DCCNN结构对其中一个通道的输入进行特征增强，也就是设计各种算法来自动计算特征以求增强DCCNN的特征训练效果。例如，Simonyan等使用场景结构(原始图像-空间维度)和群体的光流运动(光流特征-时间维度)作为DCCNN的两个输入流，解决了上述社会力描述算子丢弃了场景信息的问题。
但是，基于光流特征的DCCNN还存下以下两个问题：1)光流特征本身不能描述不同场景的共同特征，也就是单一光流特征是不足以区分不同行为的，还需要结合其他群体行为属性；2)需要输入连续多帧光流特征到卷积神经网络导致计算量很大。
发明内容
本申请为了解决上述技术问题，提出了如下技术方案：
第一方面，本申请实施例提供了一种群体异常行为实时检测方法，所述方法包括：基于STFD(Spatial Temporal feature Descriptor-STFD)时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构；设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构；根据所述第二DCCNN结构设计群体异常行为实时检测系统，以确定待检测视频流中是否存在群体异常行为。
采用上述实现方式，基于新的STFD时空体特征描述算子和原始图像帧构建了一种用于异常行为检测的DCCNN,进而研发了可以高效、准确地检测群体异常行为的系统。该系统使用STFD提取并量化描述了子群体间的运动交互信息，进一步提高了DCCNN的识别准确率，同时解决了当前群体异常行为智能识别系统计算量大的问题，从而使得系统可以支持海量摄像头的在线检测，大大提高了系统的实用性。而且将多帧光流地图通道替换成单帧的运动通道(STFD时空体特征描述算子实例)，使得DCCNN的训练参数大大减少，加快了DCCNN的训练和识别计算速度。
结合第一方面，在第一方面第一种可能的实现方式中，所述基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构包括：确定所述第一DCCNN的结构构架，所述第一DCCNN结构包括上下两个网络通道，每个网络通道包括1个数据层、5个卷积层Conv、3个池化层Pool、2个归一化层Norm和2个全连接层FC。
结合第一方面第一种可能的实现方式，在第一方面第二种可能的实现方式中，所述数据层在训练和验证阶段，在数据层中计算所有训练图片的均值，并将训练图像Itain减去meanItain均值得到MItrain；DCCNN上层通道的特征图是原始视频图像通过所述卷积层中的卷积核从局部到整体来提取的不同特征；卷积层卷积后的特征输入到池化层以降低特征的维度，并选取图像区域的最大值作为该区域的值；归一化层对网络性能的提升起着非常重要的作用，在网络中实现预处理操作，进而在前一层神经元输入到后续一层网络结构时，有效地防止了“梯度弥散”；归一化层输出的全部特征输入到全连接层，并将所有特征直接输入softmax分类器中以实现对不同的群体行为和场景进行分类。
结合第一方面，在第一方面第三种可能的实现方式中，所述设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构，包括：计算提取的STFD时空体特征描述算子的实例，并将其与视频原始图像一起作为训练数据集；组合视频场景的地点、主体和群体活动的类型信息来表达视频中群体行为的高层语义分类，并实现对训练数据集的标注；将标记的数据集输入设计的第一DCCNN结构中训练，然后设置训练参数来优化网络结构，获得具有高层语义特征的第二DCCNN结构，所述训练参数包括：学习率和动量。
结合第一方面第三种可能的实现方式，在第一方面第四种可能的实现方式中，所述群体异常行为实时检测系统包括：视频读取和参数配置模块、实时监控模块、异常报警显示模块和数据统计模块，所述视频读取和参数配置模块用于设置视频来源以获取和处理视频流数据，所述实时监控模块用于监控视频的实时显示和在线检测场景中群体的恐慌逃散、聚集和打斗这三种群体异常行为；所述异常报警显示模块用于显示异常帧的详细列表信息，然后在列表顶端按时间降序排列显示最新的异常行为信息，并在异常行为的视频帧上标记显著区域；所述数据统计模块用于根据预设条件筛选相应的视频数据，并将统计的结果显示在界面上。
结合第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述实时监控模块包括：特征提取单元和异常行为识别单元，所述特征提取单元用于从时间上跟踪群体的运动轨迹，从空间上提取与计算群体的相互作用力；所述异常行为识别单元用于包括所述第二DCCNN结构，以实现对群体异常行为的检测。
结合第一方面第五种可能的实现方式，在第一方面第六种可能的实现方式中，所述特征提取单元包括：目标检测子单元、目标跟踪子单元和STFD提取与编码子单元，所述目标检测子单元用于获取完整、准确的群体运动区域；所述目标跟踪子单元用于跟踪群体运动区域中的特征点，以获得群体运动的轨迹；所述STFD提取与编码子单元用于基于小群组的运动轨迹来提取与编码群体的运动特征，同时从时间和空间两方面来提取与计算群体运动特征的相关性，从而得到群体运动的交互信息。
结合第一方面第五种可能的实现方式，在第一方面第七种可能的实现方式中，所述异常行为识别单元包括：DCCNN训练子单元和DCCNN测试子单元，所述DCCNN训练子单元用于对DCCNN结构进行训练与优化，所述DCCNN测试子单元用于确定训练优化后的DCCNN结构的识别准确性。
结合第一方面第四种可能的实现方式，在第一方面第八种可能的实现方式中，根据异常行为的视频帧上标记显著区域的颜色深浅程度确定异常突发事件的严重性程度；当系统检测到群体异常行为时，系统立即报警并自动记录异常帧的信息，并将其存储到数据统计模块的数据库中，将发生的异常信息按时间降序排列显示到列表上，并通知监控人员对异常行为及时处理。
附图说明
图1为本申请实施例提供的一种群体异常行为实时检测方法的流程示意图；
图2为本申请实施例提供的一种DCCNN结构示意图；
图3为本申请实施例提供的一种群体异常行为识别的流程示意图；
图4为本申请实施例提供的一种群体异常行为实时检测系统示意图。
具体实施方式
下面结合附图与具体实施方式对本方案进行阐述。
图1为本申请实施例提供的一种群体异常行为实时检测方法，参见图1，本实施例提供的群体异常行为实时检测方法包括：
S101，基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构。
本申请首先确定所述第一DCCNN的结构构架，如图2所示，所述第一DCCNN结构共有上下两个网络通道，每个网络通道各有1个数据层、5个卷积层(Conv)、3个池化层(Pool)、2个归一化层(Norm)和2个全连接层(FC)。Conv(H,L,S)表示H个输入层，卷积核大小为L，卷积的步长为S，池化层表示为Pool(L,S)。上下两层CNN的结构为：
Conv(96,7,2)->ReLU->Pool(3,2)->Norm(5)->Conv(256,5,2)->ReLU->Pool(3,2)->Norm(5)->Conv(384,3,1)->ReLU->Conv(384,3,1)->ReLU->Conv(256,3,1)->ReLU->Pool(3,2)->FC(4096)->FC(8)。
在训练和验证阶段，在数据层中计算所有训练图片的均值，并将训练图像Itain减去meanItain均值得到MItrain。同样，在测试阶段，数据层将训练图像Dtain减去meanDtain均值得到MDtrain。MItrain和MDtrain的公式为：
MItrain＝Itrain-meanItrain
MDtrain＝Dtrain-meanDtrain
去均值操作会提高后续训练和测试的速度和精度。MItrain和MDtrain分别输入随后的上下两层通道的DCCNN模型。
上层通道CNN的特征图是原始视频图像通过卷积核从局部到整体来提取的不同特征。例如，颜色，纹理，轮廓等特征。前一层(l-1)的第i个特征图xi l-1通过卷积核kij l进行卷积，然后加上相应的偏置项bj l，接着通过一个RELU激活函数frelu得到了当前层第j个特征图xj l。卷积操作的公式为：
其中，Mj表示第l-1层输出的特征图。
卷积层卷积后的特征输入到采样层以降低特征的维度，并选取图像区域的最大值作为该区域的值，这样不但降低了数据的维度还有效地减小了后续网络层的参数，同时有效地避免了过拟合现象，提升了卷积神经网络的性能。
归一化层对网络性能的提升起着非常重要的作用，在网络中实现预处理操作，即在前一层神经元输入到后续一层网络结构时，有效地防止了“梯度弥散”(靠近输入层的隐藏层梯度小，参数更新慢)，同时加快了网络训练的速度。
归一化层输出的全部特征输入到全连接层，并将所有特征直接输入softmax分类器中对不同的群体行为和场景进行分类。其中N表示分类的总数；tn表示所属的类别的语义标签(n＝1,…,N)；on表示输出的概率值。整个DCCNN的损失值E表示为：
S102，设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构。
如图3所示，本申请群体异常行为智能识别的基本流程是将算法自动计算提取的STFD时空体特征描述算子实例(地图)和视频原始图像作为训练数据集，然后组合视频场景的地点(Where)、主体(Who)和群体活动的类型(How)信息来表达视频中群体行为的高层语义分类，并基于此对训练数据集进行标注。因此，本申请标注STFD实例和视频原始图像，并将标记的数据集输入设计的第一DCCNN结构中进行训练，然后设置训练参数(学习率和动量等)来优化网络结构，得到具有高层语义特征的第二DCCNN结构。
S103，根据所述第二DCCNN结构设计群体异常行为实时检测系统，以确定待检测视频流中是否存在群体异常行为。
如图4所示，本申请为了达到系统的在线检测要求，根据第二DCCNN结构设计群体异常行为实时检测系统主要包括四个功能模块：视频读取和参数配置模块、实时监控模块、异常报警及显示模块和数据统计模块。该系统综合分析了不同模块之间的关联，实现了模块内部之间相互独立，外部相互关联。其中，实时监控模块包括STFD特征自动提取与编码以及DCCNN。而实时监控模块和异常报警及显示模块是系统的功能核心。视频读取和参数配置是系统运行的前提和基础，数据统计是系统的辅助模块。
视频读取和参数配置模块是系统运行的前提和基础，此模块可以设置视频来源以获取和处理视频流数据。表1展示了视频的来源设置。当src＝1时，用户需要使用USB外部摄像头来录制视频。当src＝2时，用户需要给出AVI文件存放的绝对路径，并且这些绝对路径以.avi文件结尾。当src＝3时，系统默认读取指定的IP服务器上的视频数据。
表1设置视频的来源
所述实时监控模块用于监控视频的实时显示和在线检测场景中群体的恐慌逃散、聚集和打斗这三种群体异常行为。为了方便监控人员使用此系统，此模块集成了STFD自动特征提取与编码、异常行为识别和异常报警及显示模块的算法，提高了模块之间的数据传输速度。
所述实时监控模块包括：特征提取单元和异常行为识别单元，所述特征提取单元用于从时间上跟踪群体的运动轨迹，从空间上提取与计算群体的相互作用力；所述异常行为识别单元用于包括所述第二DCCNN结构，以实现对群体异常行为的检测。
所述特征提取单元包括：目标检测子单元、目标跟踪子单元和STFD提取与编码子单元，并且此模块从时间上跟踪群体的运动轨迹，从空间上提取与计算群体的相互作用力。因此，该模块综合考虑了群体运动在时间上的连动性和空间上的相关性。
所述目标检测子单元用于获取完整、准确的群体运动区域。改进的混合高斯背景模型首先将视频数据划分为背景和群体的运动区域，然后采用形态学操作来优化群体的运动区域，以排除细小的噪声和填补细小的孔洞。最后，此模块可以得到完整、准确的群体运动区域。
所述目标跟踪子单元用于跟踪群体运动区域中的特征点，以获得群体运动的轨迹。KLT算法跟踪群体运动区域中的特征点，从而形成群体运动的轨迹。当视频图像的特征点丢失时，KLT算法重新检测新的特征点来代替丢失的特征点，然后在图像上显示群体运动的轨迹。最后，系统以文本方式保存群体运动的轨迹。这些轨迹包含着行人的位置、速度和夹角等信息，以应用在STFD提取与编码模块中。
所述STFD提取与编码子单元用于基于小群组的运动轨迹来提取与编码群体的运动特征，同时从时间和空间两方面来提取与计算群体运动特征的相关性，从而得到群体运动的交互信息。
具体地，本系统在中、高人群密度下，基于小群组的运动轨迹来提取与编码群体的运动特征，同时从时间和空间两方面来提取与计算群体运动特征的相关性，从而得到群体运动的交互信息。这些群体运动特征被量化编码与融合成STFD时空体特征描述算子实例，然后这些STFD实例作为本申请构建的DCCNN的一个通道的输入进行训练和测试。
异常行为识别单元包括：DCCNN训练子单元和DCCNN测试子单元，所述DCCNN训练子单元用于对DCCNN结构进行训练与优化，所述DCCNN测试子单元用于确定训练优化后的DCCNN结构的识别准确性。
所述异常报警显示模块用于显示异常帧的详细列表信息，然后在列表顶端按时间降序排列显示最新的异常行为信息，并在异常行为的视频帧上标记显著区域。
示意性举例，此模块显示异常帧的详细列表信息(时间、场景的地点和异常行为的类型)，然后在列表顶端按时间降序排列显示最新的异常行为信息，并在异常行为的视频帧上标记红色的显著区域。这些红色区域的深浅程度可以帮助安保人员确定异常突发事件的严重性程度。当系统检测到群体异常行为时，系统立即报警并自动记录异常帧的信息，并将其存储到数据统计模块的数据库中，将发生的异常信息按时间降序排列显示到列表上，并通知监控人员对异常行为及时处理。因此，监控人员可以在线看到场景中群体的异常行为(人群聚集或者恐慌逃散等)。
所述数据统计模块用于根据预设条件筛选相应的视频数据，并将统计的结果显示在界面上。
一个示意性实施例，此数据统计模块存储有四种特征数据：正常群体行为的特征、异常群体行为的特征、训练好的Caffe模型和视频的原始图像。这些数据有两个作用：一方面误判的图像可以重新根据人为判断进行及时纠正，以升级DCCNN的结构和参数。另一方面监控人员可以在数据统计模块选择相应的事件类型和时间等查询条件，而系统根据这些查询的条件来筛选相应的视频数据，并将统计的结果显示在界面上。
本申请将多帧视频的光流地图通道替换成单帧的运动通道(STFD时空体特征描述算子实例)，场景通道保持不变。这样做能够很好地捕获交互与运动信息并且减少了大量的网络参数训练过程，加快了网络的运算速度。
由上述实施例可知，本实施例提供了一种群体异常行为实时检测方法，所述方法包括：基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构；设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构；根据所述第二DCCNN结构设计群体异常行为实时检测系统，以确定待检测视频流中是否存在群体异常行为。基于新的STFD时空体特征描述算子和原始图像帧构建了一种用于异常行为检测的DCCNN,进而研发了可以高效、准确地检测群体异常行为的系统。该系统使用STFD提取并量化描述了子群体间的运动交互信息，进一步提高了DCCNN的识别准确率，同时解决了当前群体异常行为智能识别系统计算量大的问题，从而使得系统可以支持海量摄像头的在线检测，大大提高了系统的实用性。而且将多帧光流地图通道替换成单帧的运动通道(STFD时空体特征描述算子实例)，使得DCCNN的训练参数大大减少，加快了DCCNN的训练和识别计算速度。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
当然，上述说明也并不仅限于上述举例，本申请未经描述的技术特征可以通过或采用现有技术实现，在此不再赘述；以上实施例及附图仅用于说明本申请的技术方案并非是对本申请的限制，如来替代，本申请仅结合并参照优选的实施方式进行了详细说明，本领域的普通技术人员应当理解，本技术领域的普通技术人员在本申请的实质范围内所做出的变化、改型、添加或替换都不脱离本申请的宗旨，也应属于本申请的权利要求保护范围。

Claims (9)

1.一种群体异常行为实时检测方法，其特征在于，所述方法包括：
基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构；
设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构；
根据所述第二DCCNN结构设计群体异常行为实时检测系统，以确定待检测视频流中是否存在群体异常行为。
2.根据权利要求1所述的群体异常行为实时检测方法，其特征在于，所述基于STFD时空体特征描述算子和原始图像帧构建进行群体异常行为检测的第一DCCNN结构包括：确定所述第一DCCNN的结构构架，所述第一DCCNN结构包括上下两个网络通道，每个网络通道包括1个数据层、5个卷积层Conv、3个池化层Pool、2个归一化层Norm和2个全连接层FC。
3.根据权利要求2所述的群体异常行为实时检测方法，其特征在于，所述数据层在训练和验证阶段，在数据层中计算所有训练图片的均值，并将训练图像Itain减去meanItain均值得到MItrain；DCCNN上层通道的特征图是原始视频图像通过所述卷积层中的卷积核从局部到整体来提取的不同特征；卷积层卷积后的特征输入到池化层以降低特征的维度，并选取图像区域的最大值作为该区域的值；归一化层对网络性能的提升起着非常重要的作用，在网络中实现预处理操作，进而在前一层神经元输入到后续一层网络结构时,有效地防止了“梯度弥散”；归一化层输出的全部特征输入到全连接层，并将所有特征直接输入softmax分类器中以实现对不同的群体行为和场景进行分类。
4.根据权利要求1所述的群体异常行为实时检测方法，其特征在于，所述设置训练参数来优化所述第一DCCNN结构，以获得具有高层语义特征的第二DCCNN结构，包括：
计算提取的STFD时空体特征描述算子的实例，并将其与视频原始图像一起作为训练数据集；
组合视频场景的地点、主体和群体活动的类型信息来表达视频中群体行为的高层语义分类，并实现对训练数据集的标注；
将标记的数据集输入到设计的第一DCCNN结构中进行训练，然后设置训练参数来优化网络结构，获得具有高层语义特征的第二DCCNN结构，所述训练参数包括：学习率和动量。
5.根据权利要求4所述的群体异常行为实时检测方法，其特征在于，所述群体异常行为实时检测系统包括：视频读取和参数配置模块、实时监控模块、异常报警显示模块和数据统计模块，所述视频读取和参数配置模块用于设置视频来源以获取和处理视频流数据，所述实时监控模块用于监控视频的实时显示和在线检测场景中群体的恐慌逃散、聚集和打斗这三种群体异常行为；所述异常报警显示模块用于显示异常帧的详细列表信息，然后在列表顶端按时间降序排列显示最新的异常行为信息，并在异常行为的视频上标记显著区域；所述数据统计模块用于根据预设条件筛选相应的视频数据，并将统计的结果显示在界面上。
6.根据权利要求5所述的群体异常行为实时检测方法，其特征在于，所述实时监控模块包括：特征提取单元和异常行为识别单元，所述特征提取单元用于从时间上跟踪群体的运动轨迹，从空间上提取与计算群体的相互作用力；所述异常行为识别单元用于包括所述第二DCCNN结构，以实现对群体异常行为的检测。
7.根据权利要求6所述的群体异常行为实时检测方法，其特征在于，所述特征提取单元包括：目标检测子单元、目标跟踪子单元和STFD提取与编码子单元，所述目标检测子单元用于获取完整、准确的群体运动区域；所述目标跟踪子单元用于跟踪群体运动区域中的特征点，以获得群体运动的轨迹；所述STFD提取与编码子单元用于基于小群组的运动轨迹来提取并编码群体的运动特征，同时从时间和空间两方面来提取与计算群体运动特征的相关性，从而得到群体运动的交互信息。
8.根据权利要求6所述的群体异常行为实时检测方法，其特征在于，所述异常行为识别单元包括：DCCNN训练子单元和DCCNN测试子单元，所述DCCNN训练子单元用于对DCCNN结构进行训练与优化，所述DCCNN测试子单元用于确定训练优化后的DCCNN结构的识别准确性。
9.根据权利要求5所述的群体异常行为实时检测方法，其特征在于，还包括：根据异常行为的视频帧上标记显著区域的颜色深浅程度确定异常突发事件的严重性程度；当系统检测到群体异常行为时，系统立即报警并自动记录异常帧的信息，并将其存储到数据统计模块的数据库中，将发生的异常信息按时间降序排列显示到列表上，并通知监控人员对异常行为及时进行处理。
CN201910505120.XA 2019-06-12 2019-06-12 一种群体异常行为实时检测方法 Pending CN110245603A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910505120.XA CN110245603A (zh) 2019-06-12 2019-06-12 一种群体异常行为实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910505120.XA CN110245603A (zh) 2019-06-12 2019-06-12 一种群体异常行为实时检测方法

Publications (1)

Publication Number Publication Date
CN110245603A true CN110245603A (zh) 2019-09-17

Family

ID=67886721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910505120.XA Pending CN110245603A (zh) 2019-06-12 2019-06-12 一种群体异常行为实时检测方法

Country Status (1)

Country Link
CN (1) CN110245603A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796081A (zh) * 2019-10-29 2020-02-14 深圳龙岗智能视听研究院 一种基于关系图分析的群体行为识别方法
CN111126274A (zh) * 2019-12-24 2020-05-08 深圳市检验检疫科学研究院 入境目标人群的检测方法、装置、设备及介质
CN111814602A (zh) * 2020-06-23 2020-10-23 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN111881863A (zh) * 2020-08-03 2020-11-03 成都西交智汇大数据科技有限公司 一种区域群体异常行为检测方法
WO2021147055A1 (en) * 2020-01-22 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN113743184A (zh) * 2021-06-08 2021-12-03 中国人民公安大学 基于要素挖掘和视频分析的异常行为人群检测方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN109409219A (zh) * 2018-09-19 2019-03-01 湖北工业大学 基于深度卷积网络的室内人员定位跟踪算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509880A (zh) * 2018-03-21 2018-09-07 南京邮电大学 一种视频人物行为语义识别方法
CN109409219A (zh) * 2018-09-19 2019-03-01 湖北工业大学 基于深度卷积网络的室内人员定位跟踪算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢丽: "基于安防视频的群体异常行为特征提取与识别技术研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796081A (zh) * 2019-10-29 2020-02-14 深圳龙岗智能视听研究院 一种基于关系图分析的群体行为识别方法
CN111126274A (zh) * 2019-12-24 2020-05-08 深圳市检验检疫科学研究院 入境目标人群的检测方法、装置、设备及介质
WO2021147055A1 (en) * 2020-01-22 2021-07-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for video anomaly detection using multi-scale image frame prediction network
CN111814602A (zh) * 2020-06-23 2020-10-23 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN111814602B (zh) * 2020-06-23 2022-06-17 成都信息工程大学 一种基于视觉的智能车环境动态目标检测的方法
CN111881863A (zh) * 2020-08-03 2020-11-03 成都西交智汇大数据科技有限公司 一种区域群体异常行为检测方法
CN113743184A (zh) * 2021-06-08 2021-12-03 中国人民公安大学 基于要素挖掘和视频分析的异常行为人群检测方法和装置
CN113743184B (zh) * 2021-06-08 2023-08-29 中国人民公安大学 基于要素挖掘和视频分析的异常行为人群检测方法和装置

Similar Documents

Publication Publication Date Title
CN110245603A (zh) 一种群体异常行为实时检测方法
Dong et al. Face detection in security monitoring based on artificial intelligence video retrieval technology
Cameron et al. Emergency situation awareness from twitter for crisis management
CN110738127A (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN109829429A (zh) 基于YOLOv3的监控场景下的安防敏感物品检测方法
Hu et al. Detection of workers without the helments in videos based on YOLO V3
CN106845373A (zh) 面向监控视频的行人属性预测方法
CN110516138A (zh) 一种基于多源自更新威胁情报库的食品安全事件预警系统
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
CN110263822A (zh) 一种基于多任务学习方式的图像情感分析方法
CN112464701A (zh) 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN113569766B (zh) 一种面向无人机巡逻的行人异常行为检测方法
Wei et al. A very deep two-stream network for crowd type recognition
CN101051344B (zh) 基于光流方向直方图和肤色流形变分的敏感视频识别方法
Tomar et al. Crowd analysis in video surveillance: A review
CN109117774A (zh) 一种基于稀疏编码的多视角视频异常检测方法
Onie et al. The use of closed-circuit television and video in suicide prevention: narrative review and future directions
Nauman et al. Identification of Anomalous Behavioral Patterns in Crowd Scenes.
CN117011774A (zh) 基于场景知识元的集群行为理解系统
CN111191498A (zh) 行为识别方法和相关产品
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN115829324A (zh) 一种人员安全风险静默监视方法
Dogra et al. Scene representation and anomalous activity detection using weighted region association graph
Alzahrani et al. Anomaly detection in crowds by fusion of novel feature descriptors
CN115083229A (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication