CN110287870A - 基于综合光流特征描述符及轨迹的人群异常行为检测方法 - Google Patents
基于综合光流特征描述符及轨迹的人群异常行为检测方法 Download PDFInfo
- Publication number
- CN110287870A CN110287870A CN201910551959.7A CN201910551959A CN110287870A CN 110287870 A CN110287870 A CN 110287870A CN 201910551959 A CN201910551959 A CN 201910551959A CN 110287870 A CN110287870 A CN 110287870A
- Authority
- CN
- China
- Prior art keywords
- crowd
- cnn
- feature
- sofd
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 64
- 238000000034 method Methods 0.000 claims abstract description 45
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 25
- 230000001133 acceleration Effects 0.000 claims abstract description 21
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 239000012530 fluid Substances 0.000 claims description 23
- 238000012549 training Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000012360 testing method Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000005303 weighing Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 230000002547 anomalous effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 230000024703 flight behavior Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 abstract 2
- 238000004088 simulation Methods 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 14
- 238000012512 characterization method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000739 chaotic effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000009394 selective breeding Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000018199 S phase Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
针对复杂背景及遮挡等原因所引起的人群异常行为检测性能低的问题，本发明提出一种基于综合光流特征描述符(简称SOFD)及轨迹的人群异常行为检测方法。本方法首先根据人群光流场变化计算人群运动速度、加速度、方向和能量，并利用上述特征设计新的时空特征描述符(即SOFD)；第二，利用KLT(Kanade‑Lucas‑Tomasi)追踪算法获得人群运动轨迹单帧图；最后基于所获取的特征，设计双流卷积神经网络(简称TS‑CNN)以检测人群异常行为。仿真实验结果表明，本方法在复杂人群环境中比现有主流算法显著提高人群异常行为检测的准确性及鲁棒性，为控制突发事件引发的人群骚动，引导人群合理避险提供依据。
Description
技术领域
本发明属于基于特定计算模型的计算机系统领域，具体涉及一种基于综合光流特征描述符及轨迹的人群异常行为检测方法。
背景技术
随着城市规模扩大和人口增加，人口密度大的公共区域发生交通事故、拥堵、踩踏等突发事件的概率也随之增加。为妥当处理突发事件，保障公共场所安全，智能监控技术的发展显得愈发重要。然而，现存用于捕捉和检测异常事件的监控系统受光照变化、复杂背景及遮挡等影响，导致异常行为识别准确率较低，且鲁棒性较差。因此，如何提高公共场所人群异常行为检测准确性及鲁棒性是智能监控领域的研究热点和难点之一。
近年来，为提高由于爆炸、恐怖袭击等突发事件引起的人群异常行为检测性能，众多基于视频序列的人群异常行为检测算法相继提出。相关算法大致可分为两类：一类是基于视觉特征提取方法，其利用视觉及图像处理相关技术提取人群特征而后进行异常检测。其中，Solera等人利用空间关心理论、格兰杰因果关系、动态时间规整和热图以激发群体相关性特征，而后使用支持向量机(support vector machine，SVM)进行人群异常行为检测。该方法可从宏观角度直观反应人群形态，然因其所获取运动信息单一且行为特征不完整，从而存在准确性较差、训练效率较低、数据处理能力有限等问题。为完善行为特征，提高检测准确性，Wu等人提出一种基于贝叶斯模型(Bayesian model，BM)的人群异常行为检测方法，通过引入潜在目标和发散中心两个概念来表征人群运动以完善行为特征完整性。然而，高密度人群中易受人群遮挡、光照变化等因素影响，从而导致异常行为检出率降低。
另一类是基于物理特征分析方法，其通过构建物理模型模拟人群行为以检测人群异常行为。其中，Zhang等人提出一种基于社会力模型(social force model，SFM)的社会属性感知模型，其利用社会障碍和拥塞属性描述社会行为间相互作用以精确表达人群行为，然而该模型参数较多，建模复杂，且实时性难以控制。针对此问题，Xiong等人基于势能模型(energy model，EM)将人口统计结果与人群熵相结合并设置人群分布指数阈值以检测人群聚集状态从而进行人群异常行为检测。该方法对训练数据具有较好鲁棒性，且计算量较低，但需特定视频剪辑以估计阈值，从而导致算法的复杂度较高，存在计算效率低的问题。为降低计算复杂度，Zhou等人基于量化群体流形拓扑结构以设计具有较低计算复杂度的群体性描述符进而检测人群异常行为。该集群性模型(collectiveness model，CM)对高密度人群表征能力较强，但随着群体中行人数量减少，行为一致性估计精度有所下降，从而导致模型对人群特征表征能力显著降低,降低了模型表征的准确度。针对此问题，基于局部邻间粒子行为一致性特征，Wang等人提出一种全局方向描述子以提取群体整体运动，而后将局部及全局描述子进行特征融合以建立方向-集群性模型(direction-collectiveness model，D-CM)从而增强模型对人群特征的表征能力。然而，因其对运动方向过度聚类导致在检测方向混乱的人群行为时性能显著下降。上述现有检测人群异常行为的方法普遍存在局限性，难以快速且平衡地表征人群异常行为的特征及趋势。
而申请号2017110315336的中国专利提供了一种基于多特征融合的群体行为分析方法，该方法一方面研究了群组级别的群体行为特性，提取出一系列表征局部运动信息的特征描述符，包括群集性、稳定性、一致性和冲突性。另一方面，该方法引入了一种新的多维光流直方图特征，以表征全局运动信息，并采用多层字典学习方法进行进一步优化。最后，通过融合局部和全局运动特征描述符，构成可全面描述群体行为的特征集合，可应用于群体行为分析与行为识别等方面。该方法只能对群体行为做出整体评价和简单分析，很难定量地了解群体复杂的异常表现(如表情，步伐等)，而且异常行为检出率偏低。
发明内容
为解决上述背景技术中的不足，本发明提出一种基于综合光流特征描述符(synthetic optical flow feature descriptor，SOFD)及轨迹单帧图的人群异常行为检测方法。
为实现上述目的，本发明提供的基于综合光流特征描述符及轨迹的人群异常行为检测方法的技术方案，包括如下步骤：
1.特征选择
通过提取运动目标的速度、加速度、方向、运动幅度及轨迹等特征以检测人群异常行为。
2.SOFD描述符提取
本步骤采用具有较高光流估计精度的HS方法来计算人群的光流。所谓HS方法可简述如下。
目标在空间中一般为连续运动，因而所获运动目标图像也是连续的，即灰度不变，由此可得光流方程如下：
Ixu+Iyv+It＝0 (1)
其中，I(x,y,t)表示t时刻图像亮度的变化，Ix,Iy,It分别为其偏导数；u,v为点(x,y)在x，y方向上所要求解的速度分量。
为求解u与v，HS算法在式(1)中需要考虑全局平滑约束条件。该约束条件用光流梯度模平方和表示，其值越小，表示光流的变化越小，即其光流场相对比较平滑。基于此，定义全局平滑约束项Es
其中，为点(x,y)在x，y方向上所要求解的速度变化分量；ux，uy，vx，vy分别为其对应x，y偏导数。
基于式(1)定义光流约束项Ec：
Ec＝∫∫(Ixu+Iyv+It)2dxdy (3)
基于光流场应满足光流约束项Ec和全局平滑约束项Es极小化原理，可得
其中，α为平滑权重系数。当外界噪声对图像影响较大时，光流变化较为剧烈，Es项较为重要，α应取较大值以平滑所得光流场；相反，当视频图像数据较准确时，光流变化较为平缓，Ec更加重要，此时α应取较小值以获得较为精确的光流估计。
由上式所得水平偏移量ΔX与垂直偏移量ΔY以计算运动目标的速度，加速度，方向角与能量值。
第n帧图像运动区域各像素的速度为
其中，ΔXi,j,ΔYi,j分别为像素pix(i,j)水平和垂直方向的偏移量。
目标加速度可由下式获得：
a＝(vi,j(n+1)-vi,j(n)) (6)
其中，vi,j(n)，vi,j(n+1)分别为像素pix(i,j)第n帧和第n+1帧的速度。
目标运动方向可表述为：
由于人群逃散行为具有方向集中或多方向均衡的特征，为较为精确地刻画异常行为方向，可将上式所得角度均匀量化为8个方向，以便后续特征提取及融合。
基于式(5)所得运动速度，可计算目标光流能量以描述目标运动幅度变化，即：
为消除人群运动速度、加速度、方向和能量各指标间的量纲影响，可通过对上述特征进行归一化处理。通过采用min-max标准化对上述四个指标进行归一化处理，通过对原始数据进行线性变化，从而将指标x映射为区间[0,1]中的x'，以便后续对所获特征加权融合。x'由下式获得：
其中，x为指标值，xmin为指标数据最小值，xmax为指标数据最大值。
归一化处理后特征加权融合成SOFD可体现群体运动差异性。此外，SOFD将个体之间差异性和视频全局运动信息相融合以保持局部及全局特征，进而提高人群异常行为的检出率。基于此，SOFD可表示如下：
其中，v，θ,α,E分别为速度、方向、加速度和能量；w1，w2，w3，w4为调节速度、方向、加速度和能量的权重系数；ffnum为帧数。
3.轨迹单帧图的提取
本发明在KLT特征点跟踪算法中采用Harris角点提取算法以获得稳定可靠的跟踪性能。区别于传统多目标追踪算法，本方法综合考虑群体间遮挡及个体目标尺寸较小等问题，对于遮挡较为严重的拥挤人群具有较好检测效果。人群运动轨迹有助于区分正常与异常行为。故本发明在单帧图中加入轨迹信息以提高人群异常行为检测性能。
4.双流CNN模型设计与训练
CNN由于使用层次训练和特征池化等操作自动学习输入图像复杂特征从而获得相较于手动生成特征更优分类及识别性能；相较于图像，视频具有时序特征，从而为相关识别任务引入更多信息。TS-CNN通过模拟视觉原理，基于视频空域信息，对时域信息进行理解，即同时考虑空、时域以获得较好检测效果；因而本发明选用双流CNN对所得数据进行特征提取与分类。
针对中高密度人群，个体目标尺寸较小且运动目标间存在相关性，对输入图片统一尺寸为256*256。为有效利用SOFD及轨迹单帧图信息，保留目标相关性，且适当降低计算量并控制过拟合及欠拟合，双流CNN第一层卷积核尺寸设置为7*7，步长为2；卷积核个数设置为64提取图像颜色、纹理、轨迹等特征及SOFD所表征人群动态信息；池化层皆采用最大池化，尺寸设置为2*2，以减少冗余信息并保留运动目标关键特征点信息。第二层卷积核尺寸设置为5*5，步长为2，个数为128保证特征提取时关键特征点信息不丢失。随后三个卷积层卷积核尺寸皆设置为3*3，步长为1，抽取更为抽象的高级特征。卷积层后设计三个全连接层以解决异常行为检测非线性问题。由于输出只有两类，即正常与异常，因此设置全连接层结点个数为4096，输出层结点个数为2。由于训练样本规模较小，因而在全连接层加入Dropout防止网络过拟合以增强网络泛化性能。
在激活函数设计方面，采用ReLU函数作为激活函数。此外，采用交叉熵作为损失函数以避免训练速度过慢问题，交叉熵损失函数如式(11)所示。
其中，N为样本总数，y(i)为样本i真实值，为样本i预测值。
卷积后融合，融合后不截断空间网络，继续时间与空间网络传输，全连接后再次融合以实现空间与时间信息的像素对应，该融合过程不会导致模型参数过于复杂，且不造成模型性能损失，同时可形成完整时空特征，因而可改善人群异常行为检测性能。
基于双流CNN的人群异常行为检测包含训练和测试两个阶段，本发明采用交叉验证法进行训练与测试，即使用一部分数据集作为训练样本时，将该数据集其余部分作为测试样本。在双流CNN训练过程中采用有监督训练，即将一部分SOFD与单帧轨迹图标记为正常或异常，将标记样本输入双流CNN并根据实际输出与期望输出差调整权重以完善双流CNN。最后，将未标记样本输入已训练双流CNN获得分类结果。
与现有技术相比本发明具备以下有益效果：
与现有算法相比，本发明在UMN数据集中均具有最高检测准确率与鲁棒性，相对于次最高值分别高出约0.98％和0.01，在PETS2009数据集中具有最高检测准确率，相对于次最高值高出约0.02％。由此可知，本发明具有较高人群异常行为检测准确性及鲁棒性，并且计算过程简单，人群异常行为的检出率较高。
附图说明
图1是本发明的实现流程图；
图2为方向角量化图；
图3为SOFD值变化曲线；
图4为双流CNN结构图；
图5为融合网络结构图；
图6为UMN数据集下的算法ROC曲线；
图7为PETS2009数据集下的算法ROC曲线。
具体实施方式
下面结合附图和具体的实施方式对本发明的步骤做进一步解释和说明。
实施例：基于综合光流特征描述符及轨迹的人群异常行为检测方法，包括以下步骤(请参阅图1)：
1.特征选择
通常情况下，人群行进方向及速度具有相似性。然而当异常事件发生时，人们在恐惧情绪驱使下会快速逃跑以避免潜在危险。人群异常行为通常具有运动速度快、加速度陡增、运动方向相近在某个方向或多个方向均衡、运动幅度大、步伐大、表情恐慌、轨迹混乱等特征。其中，速度、加速度、方向及运动幅度等特征计算较为简单，可利用光流表示，而步伐及表情等特征提取较为复杂。为降低本发明所提方法复杂度，提取运动目标的速度、加速度、方向、运动幅度及轨迹等典型特征以检测人群异常行为。
2.SOFD描述符的提取
本发明采用具有较高光流估计精度的HS方法计算人群光流。HS方法可简述如下。
目标在空间中一般为连续运动，因而所获运动目标图像也是连续的，即灰度不变，由此可得光流方程如下：
Ixu+Iyv+It＝0 (12)
其中，I(x,y,t)表示t时刻图像亮度变化，Ix,Iy,It分别为其偏导数；u,v为点(x,y)在x，y方向上所要求解的速度分量。
为求解u与v，HS算法在式(1)中考虑全局平滑约束条件。该约束条件由光流梯度模平方和表示，其值越小，表示光流的变化越小，即其光流场相对比较平滑。基于此，定义全局平滑约束项Es
其中，为点(x,y)在x，y方向上所要求解的速度变化分量；ux，uy，vx，vy分别为其对应x，y偏导数。
基于式(1)定义光流约束项Ec：
Ec＝∫∫(Ixu+Iyv+It)2dxdy (14)
利用光流场应满足光流约束项Ec和全局平滑约束项Es极小化原理，可得
其中，α为平滑权重系数。当外界噪声对图像影响较大时，光流变化较为剧烈，全局平滑约束项Es较为重要，α应取较大值以平滑所得光流场；相反，当视频图像数据较准确时，光流变化较为平缓，Ec更加重要，此时α应取较小值，以获得较为精确的光流估计。
由上式所得的水平偏移量ΔX与垂直偏移量ΔY用来计算运动目标的速度，加速度，方向角与能量值。
第n帧图像运动区域各像素的速度为
其中，ΔXi,j,ΔYi,j分别为像素pix(i,j)水平和垂直方向的偏移量。
目标加速度可由下式获得：
a＝(vi,j(n+1)-vi,j(n)) (17)
其中，vi,j(n)，vi,j(n+1)分别为像素pix(i,j)第n帧和第n+1帧的速度。
目标运动方向可表述为：
由于人群逃散行为具有方向集中或多方向均衡的特征，为较为精确地刻画异常行为方向，可将上式所得角度均匀量化为8个方向(请参阅图2)，以便后续的特征提取及融合。
基于式(5)所得运动速度，可计算目标光流能量以描述目标运动幅度变化，即：
为消除人群运动速度、加速度、方向和能量各指标间量纲的影响，可对上述特征进行归一化处理。本发明实施例所采用的是min-max标准化算法对上述四个指标进行归一化处理，通过对原始数据进行线性变化，将指标x映射为区间[0,1]中的x'，以便后续对所获特征加权融合。所述x'由下式获得：
其中，x为指标值，xmin为指标数据最小值，xmax为指标数据最大值。
经过归一化处理后特征加权融合成SOFD可体现群体运动差异性。此外，SOFD将个体之间差异性和视频全局运动信息相融合以保持局部及全局特征，进而提高人群异常行为检出率。基于以上所述，SOFD可表示如下：
其中，v，θ,α,E分别为速度、方向、加速度和能量；w1，w2，w3，w4为调节速度、方向、加速度和能量的权重系数；ffnum为帧数。
基于PEST2009数据集，可得上式中不同权重取值时SOFD值变化曲线(请参阅图3)。由图3易知，当权值取w1＝0.1，w2＝0.1，w3＝0.4，w4＝0.4时，SOFD值在第334帧后开始变化显著且峰值较高，表明人群开始快速向多个方向逃散，从而便于区分正常与异常行为，而选择其它权值时，SOFD值变化则相对平缓。为更好区分异常行为与正常行为，依据上述指标对人群行为的表征程度和多次实验，本发明实施例的权值取w1＝0.1，w2＝0.1，w3＝0.4，w4＝0.4较为合理。
3.轨迹单帧图的提取
本发明实施例在KLT特征点跟踪算法中采用Harris角点提取算法以获得稳定可靠的跟踪性能。区别于传统多目标追踪算法，本实施例综合考虑群体间遮挡及个体目标尺寸较小等问题，明显改善了对于遮挡较为严重的拥挤人群检测效果。
正常情况下，行人运动方向具有相似性且行人间具有安全距离，因而行人运动轨迹短时间内不会交叉。然而，异常事件发生时，行人在恐慌情绪或恐惧心理的影响下会以明显不同于正常行进的方向和速度逃散，因而行人运动轨迹混乱且易发生交叉。因而人群运动轨迹有助于区分正常与异常行为，本发明实施例正是在单帧图中加入轨迹信息以提高人群异常行为检测的性能可靠性。
4.双流CNN模型设计与训练
CNN由于使用层次训练和特征池化等操作自动学习输入图像复杂特征从而获得相较于手动生成特征更优分类及识别性能；相较于图像，视频具有时序特征，从而为相关识别任务引入更多信息。TS-CNN通过模拟视觉原理，基于视频空域信息，对时域信息进行理解，即同时考虑空、时域以获得较好检测效果；因而本发明实施例选用双流CNN对所得数据进行特征提取与分类，具体网络结构请参阅图4。
针对中高密度人群，个体目标尺寸较小且运动目标间存在相关性，本发明实施例对输入图片统一尺寸为256*256。为有效利用SOFD及轨迹单帧图信息，保留目标相关性，且适当降低计算量并控制过拟合及欠拟合，双流CNN第一层卷积核尺寸设置为7*7，步长为2；卷积核个数设置为64提取图像颜色、纹理、轨迹等特征及SOFD所表征人群动态信息；池化层均采用最大池化，尺寸设置为2*2，以减少冗余信息并保留运动目标关键特征点信息；第二层卷积核尺寸设置为5*5，步长为2，个数为128，保证特征提取时关键特征点信息不丢失。随后三个卷积层卷积核尺寸皆设置为3*3，步长为1，抽取更为抽象的高级特征；卷积层后设计三个全连接层以解决异常行为检测非线性问题。由于输出只有正常与异常两类，所以设置全连接层结点个数为4096，输出层结点个数为2。考虑到训练样本规模较小，因而在全连接层加入Dropout防止网络过拟合，以增强网络泛化性能。
在激活函数设计方面，采用ReLU函数作为激活函数。此外，采用交叉熵作为损失函数以避免训练速度过慢问题，交叉熵损失函数如式(11)所示。
其中，N为样本总数，y(i)为样本i真实值，为样本i预测值。
卷积后融合，融合后不截断空间网络，继续时间与空间网络传输，全连接后再次融合以实现空间与时间信息的像素对应，由此可得网络融合结构如图5(c)所示。该融合过程不会导致模型参数过于复杂，且保证不会造成模型性能损失，同时可形成完整的时空特征，可有效改善人群异常行为检测性能。
基于双流CNN的人群异常行为检测包含训练和测试两个阶段，本发明实施例是采用交叉验证法进行训练与测试，即使用一部分数据集作为训练样本时，将该数据集其余部分作为测试样本。在双流CNN训练过程中采用有监督训练，即将一部分SOFD与单帧轨迹图标记为正常或异常，将标记样本输入双流CNN并根据实际输出与期望输出差来调整权重以完善双流CNN。最后，将未标记样本输入已训练双流CNN获得分类结果。
综上，本发明实施例的所述方法的步骤可总结如下：
(1)提取运动目标的速度、加速度、方向、运动幅度及轨迹等特征以检测人群异常行为；
(2)采用具有较高光流估计精度的HS方法计算人群光流，并将提取到的特征加权融合成SOFD；
(3)在单帧图中加入轨迹信息以提高人群异常行为检测性能；
(4)双流CNN训练过程中将一部分SOFD与单帧轨迹图标记为正常或异常，将标记样本输入双流CNN并根据实际输出与期望输出差调整权重以完善双流CNN。最后，将未标记样本输入已训练双流CNN获得分类结果。
下面对本发明实施例的效果利用仿真实验进一步验证：
仿真条件：
1)实验硬件环境：处理器Intel Core(TM)i7-7700，主频4GHz，内存8GB；
2)软件仿真环境：Windows 10操作系统，光流、轨迹及双流CNN计算程序为Python3.6、OpenCV3.2和Tensorflow 1.4.0。
3)实验对象为本发明实施例的方法与现有五种主流算法的实施例。
实验过程及结果分析：
实验1：为验证TS-CNN网络结构优势，将其与单流CNN和截断式TS-CNN比较。UMN数据集中不同场景下算法准确率如表1所示，其中加粗字体标识最高准确率，下划线标识次最高值。由表1可知，单流CNN由于仅关注视频时间或空间信息，异常行为检测准确率偏低。截断式TS-CNN对空时信息截断式融合，因而检测准确率有所提高。但仅在softmax层或全连接层融合空时信息，对时域信息不敏感，所以检测准确率逊于所提基于非截断式TS-CNN，非截断式TS-CNN卷积后融合，且融合后不截断空间网络，持续时空网络传输，全连接层再次融合以实现空时信息像素对应形成完整的时空特征，充分利用目标时空信息，因而可显著提高异常行为检测性能。
表1 UMN数据集下单、双流CNN准确率对比
实验2：为验证本发明检测准确性，将本发明实施例与现存主流算法对比，如表2所示。由表2可知，UMN数据集下，CM、D-CM、SFM和EM算法因只关注人群运动全局特征而忽略局部特征导致准确率较低从而无法保证公共场所安全。此外，基于深度学习的BM算法检测准确率虽高，但因只关注人群运动的瞬时特征忽略持续特征，导致不同场景下检测准确率起伏较大即稳定性较差。而本发明同时考虑人群运动的瞬时性与持续性，充分利用人群所具有的运动特征，因而具有较高准确率及稳定性。
表2 UMN数据集下准确率对比
实验3：为验证本发明实施例所提算法的鲁棒性，将图像帧作为测试样本，并将正常帧和异常帧分别标记为正、负样本，而后计算TPR和FPR并依次增大阈值以形成ROC曲线(请参阅图6)。然后，计算ROC曲线所包含面积AUC以评价算法鲁棒性，结果如表3所示。由图6、表3可知，CM、D-CM、SFM和EM虽能正确检测人群异常行为，但需人工选择合适特征及阈值以区分正常与异常行为，因而性能受人工选择特征及阈值影响较大，进而鲁棒性较差。BM因只关注视频运动信息而忽略空间信息，因而当依次增大阈值时，人群异常行为检测准确率会存在较大差异，从而该鲁棒性较差。需要注意的是，本发明实施例所提方法对时间特征进行充分提取，并在TS-CNN结构中实现空间与时间信息的像素点对应融合，形成完整的时空特征，从而本发明实施例所提方法具有较高AUC，即表明该方法具有较好的鲁棒性。
表3 UMN数据集下AUC比较
实验4：不同角度下准确率请参阅图6。由表4可知，本发明实施例在角度1、2时准确率均高于其它五种方法，在角度3、4时由于光照过强、拍摄角度过低，且本发明实施例所采用光流法提取时间特征易受光照变化影响，因而准确率略低于D-CM方法。但是需要注意的是，本发明实施例由于综合利用目标空间及时间信息以提取个体瞬时及持续特征进而较大可能的区分正常与异常行为，因而平均检测准确率高于其他五种方法。
表4 PETS2009数据集下准确率对比
实验5：PETS2009数据集下不同算法ROC曲线请参阅图7，相应AUC值如表5所示。由图7、表5可知，本发明所提算法仅对方向进行简单均匀量化，因而AUC略低于对方向进行集群型描述的D-CM算法，但均高于其它四种算法。需要注意的是，本发明实施例同时考虑人群运动的瞬时性与持续性，并充分利用人群所具有的运动特征，在不同数据集下均具有较高准确率，因而略微牺牲算法光照变化条件下的鲁棒性是值得的。
表5 PETS2009数据集下AUC对比
通过上述仿真实验的结果充分表明，与CM，D-CM，SFM，BM及EM算法相比，本发明在UMN数据集中均具有最高检测准确率与鲁棒性，相对于次最高值分别高出约0.98％和0.01，在PETS2009数据集中具有最高检测准确率，相对于次最高值高出约0.02％。由此可知，本发明提供的方法具有较高人群异常行为检测准确性及鲁棒性。
综上所述，针对复杂场景下人群异常行为检测性能低的问题，本发明提出一种基于SOFD和轨迹单帧图的人群异常行为检测方法。该方法首先提取人群运动的瞬时特征加权融合成SOFD以表征人群运动局部及全局特征，同时在单帧图上加入持续特征即人群轨迹信息以更加完整表征人群行为特征，最后设计双流CNN以融合所获取时空特征从而改善人群异常行为检测性能。
Claims (1)
1.基于综合光流特征描述符及轨迹的人群异常行为检测，其特征是：包括如下步骤：
1)特征选择：
通常情况下，人群行进方向及速度具有相似性；然而当异常事件发生时，人们由于恐惧会快速逃跑以避免潜在危险，如发生火灾人们会迅速逃离，因此人群异常行为具有运动速度快、加速度突然增加、运动方向明显集中在某个方向或多个方向均衡、运动幅度大、步伐大、表情恐慌、轨迹混乱等特征：其中，速度、加速度、方向及运动幅度等特征计算较为简单，可利用光流表示，而步伐及表情等特征提取较为复杂；为降低复杂度，通过提取运动目标的速度、加速度、方向、运动幅度及轨迹等特征以检测人群异常行为；
2)根据人群光流场变化计算人群运动速度、加速度、方向和能量，并利用上述特征设计新的时空特征描述符，即SOFD：
(1)采用具有较高光流估计精度的HS方法计算人群光流；HS方法可简述如下：
目标在空间中一般为连续运动，因而所获运动目标图像也是连续的，即灰度不变，由此可得光流方程如下：
Ixu+Iyv+It＝0 (1)
其中，I(x,y,t)表示t时刻图像亮度变化，Ix,Iy,It分别为其偏导数；u,v为点(x,y)在x，y方向上所要求解的速度分量；
由上式所得的水平偏移量ΔX与垂直偏移量ΔY以计算运动目标的速度、加速度、方向角与能量值；
第n帧图像运动区域各像素的速度为
其中，ΔXi,j,ΔYi,j分别为像素pix(i,j)水平和垂直方向的偏移量；
目标加速度可由下式获得：
a＝(vi,j(n+1)-vi,j(n)) (3)
其中，vi,j(n)，vi,j(n+1)分别为像素pix(i,j)第n帧和第n+1帧的速度；
目标运动方向可表述为：
由于人群逃散行为具有方向集中或多方向均衡的特征，为较为精确地刻画异常行为方向，可将上式所得到的角度均匀量化为8个方向以便后续特征提取及融合；
基于式(2)所得运动速度，可计算目标光流能量以描述目标运动幅度变化，即：
(2)为消除人群运动速度、加速度、方向和能量各指标间的量纲影响，可通过对上述特征进行归一化处理；采用min-max标准化对上述四个指标进行归一化处理，通过对原始数据进行线性变化，从而将指标x映射为区间[0,1]中的x'，以便后续对所获特征加权融合；x'由下式获得：
其中，x为指标值，xmin为指标数据最小值，xmax为指标数据最大值；
(3)归一化处理后特征加权融合成SOFD可体现群体运动差异性；此外，SOFD将个体之间差异性和视频全局运动信息相融合以保持局部及全局特征，进而提高人群异常行为检出率；
基于以上所述，SOFD可表示如下：
其中，v，θ,α,E分别为速度、方向、加速度和能量；w1，w2，w3，w4为调节速度、方向、加速度和能量的权重系数；ffnum为帧数；
3)利用KLT(Kanade-Lucas-Tomasi)追踪算法获得人群运动轨迹单帧图
在KLT特征点跟踪算法中采用Harris角点提取算法以获得稳定可靠的跟踪性能；区别于传统多目标追踪算法，所提方法综合考虑群体间遮挡及个体目标尺寸较小等问题，对于遮挡较为严重的拥挤人群可以达到较好检测效果；人群运动轨迹有助于区分正常与异常行为，因此在单帧图中加入轨迹信息以提高人群异常行为检测性能；
4)设计并训练面向SOFD与轨迹单帧图的截断式双流CNN
(1)CNN由于使用层次训练和特征池化等操作自动学习输入图像复杂特征从而获得相较于手动生成特征更优分类及识别性能；相较于图像，视频具有时序特征，从而为相关识别任务引入更多信息；TS-CNN通过模拟视觉原理，基于视频空域信息，对时域信息进行理解，即同时考虑空、时域以获得较好检测效果；因而本发明选用双流CNN对所得数据进行特征提取与分类；
(2)针对中高密度人群，个体目标尺寸较小且运动目标间存在相关性，对输入图片统一尺寸为256*256；为有效利用SOFD及轨迹单帧图信息，保留目标相关性，且适当降低计算量并控制过拟合及欠拟合，双流CNN第一层卷积核尺寸设置为7*7，步长为2；卷积核个数设置为64提取图像颜色、纹理、轨迹等特征及SOFD所表征人群动态信息；池化层皆采用最大池化，尺寸设置为2*2，以减少冗余信息并保留运动目标关键特征点信息；第二层卷积核尺寸设置为5*5，步长为2，个数为128保证特征提取时关键特征点信息不丢失；随后三个卷积层卷积核尺寸皆设置为3*3，步长为1，抽取更为抽象的高级特征；
卷积层后设计三个全连接层以解决异常行为检测非线性问题；由于输出只有两类，即正常与异常，因此设置全连接层结点个数为4096，输出层结点个数为2；由于训练样本规模较小，因而在全连接层加入Dropout防止网络过拟合以增强网络泛化性；
(3)卷积后融合，融合后不截断空间网络，继续时间与空间网络传输，全连接后再次融合以实现空间与时间信息的像素对应，该融合过程不会导致模型参数过于复杂，且不造成模型性能损失，同时可形成完整时空特征，因而可改善人群异常行为检测性能；
(4)基于双流CNN的人群异常行为检测包含训练和测试两个阶段，采用交叉验证法进行训练与测试，即使用一部分数据集作为训练样本时，将该数据集其余部分作为测试样本；在双流CNN训练过程中采用有监督训练，即将一部分SOFD与单帧轨迹图标记为正常或异常，将标记样本输入双流CNN并根据实际输出与期望输出差来调整权重以完善双流CNN；最后，将未标记样本输入已训练双流CNN获得分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551959.7A CN110287870A (zh) | 2019-06-25 | 2019-06-25 | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910551959.7A CN110287870A (zh) | 2019-06-25 | 2019-06-25 | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110287870A true CN110287870A (zh) | 2019-09-27 |
Family
ID=68005427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910551959.7A Pending CN110287870A (zh) | 2019-06-25 | 2019-06-25 | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110287870A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751080A (zh) * | 2019-10-16 | 2020-02-04 | 浙江大华技术股份有限公司 | 异常人员的聚集预警方法、系统及相关装置 |
| CN111027448A (zh) * | 2019-12-04 | 2020-04-17 | 成都考拉悠然科技有限公司 | 一种基于时域推理图的视频行为类别识别方法 |
| CN111091065A (zh) * | 2019-11-24 | 2020-05-01 | 浙江诺诺网络科技有限公司 | 一种人群异常行为检测方法、装置、设备及可读存储介质 |
| CN111339908A (zh) * | 2020-02-24 | 2020-06-26 | 青岛科技大学 | 基于多模态信息融合与决策优化的组群行为识别方法 |
| CN111401220A (zh) * | 2020-03-12 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种用于智慧安防的人群聚合特征分析方法和系统 |
| CN111403021A (zh) * | 2020-03-11 | 2020-07-10 | 中国电子工程设计院有限公司 | 一种监测方法及装置 |
| CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
| CN112507896A (zh) * | 2020-12-14 | 2021-03-16 | 大连大学 | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 |
| CN112580592A (zh) * | 2020-12-29 | 2021-03-30 | 北京影谱科技股份有限公司 | 一种监控视频中人群异常行为检测方法、装置及计算设备 |
| CN112733734A (zh) * | 2021-01-13 | 2021-04-30 | 中南大学 | 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 |
| CN112767451A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于双流卷积神经网络的人群分布预测方法及其系统 |
| CN112906456A (zh) * | 2020-12-29 | 2021-06-04 | 周口师范学院 | 一种基于帧间特征的人群异常行为检测方法及系统 |
| CN113361548A (zh) * | 2021-07-05 | 2021-09-07 | 北京理工导航控制科技股份有限公司 | 一种用于高光图像的局部特征描述及匹配方法 |
| CN116631128A (zh) * | 2023-07-21 | 2023-08-22 | 资阳保安有限责任公司 | 一种具有加密功能的自动存取款机及存取款方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682303A (zh) * | 2012-03-13 | 2012-09-19 | 上海交通大学 | 基于lbp加权社会力模型的人群异常事件检测方法 |
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| CN107506734A (zh) * | 2017-08-28 | 2017-12-22 | 中国民航大学 | 一种群体突发异常事件检测与定位方法 |
| CN109063609A (zh) * | 2018-07-18 | 2018-12-21 | 电子科技大学 | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 |
-
2019
- 2019-06-25 CN CN201910551959.7A patent/CN110287870A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682303A (zh) * | 2012-03-13 | 2012-09-19 | 上海交通大学 | 基于lbp加权社会力模型的人群异常事件检测方法 |
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| CN107506734A (zh) * | 2017-08-28 | 2017-12-22 | 中国民航大学 | 一种群体突发异常事件检测与定位方法 |
| CN109063609A (zh) * | 2018-07-18 | 2018-12-21 | 电子科技大学 | 一种基于光流特征与全卷积语义分割特征结合的异常行为检测方法 |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751080A (zh) * | 2019-10-16 | 2020-02-04 | 浙江大华技术股份有限公司 | 异常人员的聚集预警方法、系统及相关装置 |
| CN111091065A (zh) * | 2019-11-24 | 2020-05-01 | 浙江诺诺网络科技有限公司 | 一种人群异常行为检测方法、装置、设备及可读存储介质 |
| CN111027448B (zh) * | 2019-12-04 | 2023-05-05 | 成都考拉悠然科技有限公司 | 一种基于时域推理图的视频行为类别识别方法 |
| CN111027448A (zh) * | 2019-12-04 | 2020-04-17 | 成都考拉悠然科技有限公司 | 一种基于时域推理图的视频行为类别识别方法 |
| CN111339908A (zh) * | 2020-02-24 | 2020-06-26 | 青岛科技大学 | 基于多模态信息融合与决策优化的组群行为识别方法 |
| CN111339908B (zh) * | 2020-02-24 | 2023-08-15 | 青岛科技大学 | 基于多模态信息融合与决策优化的组群行为识别方法 |
| CN111403021A (zh) * | 2020-03-11 | 2020-07-10 | 中国电子工程设计院有限公司 | 一种监测方法及装置 |
| CN111403021B (zh) * | 2020-03-11 | 2023-12-05 | 中国电子工程设计院有限公司 | 一种监测方法及装置 |
| CN111401220A (zh) * | 2020-03-12 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种用于智慧安防的人群聚合特征分析方法和系统 |
| CN112232124A (zh) * | 2020-09-11 | 2021-01-15 | 浙江大华技术股份有限公司 | 人群态势分析方法、视频处理装置及具有存储功能的装置 |
| CN112507896B (zh) * | 2020-12-14 | 2023-11-07 | 大连大学 | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 |
| CN112507896A (zh) * | 2020-12-14 | 2021-03-16 | 大连大学 | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 |
| CN112580592A (zh) * | 2020-12-29 | 2021-03-30 | 北京影谱科技股份有限公司 | 一种监控视频中人群异常行为检测方法、装置及计算设备 |
| CN112906456B (zh) * | 2020-12-29 | 2024-02-27 | 周口师范学院 | 一种基于帧间特征的人群异常行为检测方法及系统 |
| CN112906456A (zh) * | 2020-12-29 | 2021-06-04 | 周口师范学院 | 一种基于帧间特征的人群异常行为检测方法及系统 |
| CN112733734A (zh) * | 2021-01-13 | 2021-04-30 | 中南大学 | 一种基于黎曼流形特征和lstm网络相结合的交通异常事件检测方法 |
| CN112767451B (zh) * | 2021-02-01 | 2022-09-06 | 福州大学 | 一种基于双流卷积神经网络的人群分布预测方法及其系统 |
| CN112767451A (zh) * | 2021-02-01 | 2021-05-07 | 福州大学 | 一种基于双流卷积神经网络的人群分布预测方法及其系统 |
| CN113361548B (zh) * | 2021-07-05 | 2023-11-14 | 北京理工导航控制科技股份有限公司 | 一种用于高光图像的局部特征描述及匹配方法 |
| CN113361548A (zh) * | 2021-07-05 | 2021-09-07 | 北京理工导航控制科技股份有限公司 | 一种用于高光图像的局部特征描述及匹配方法 |
| CN116631128A (zh) * | 2023-07-21 | 2023-08-22 | 资阳保安有限责任公司 | 一种具有加密功能的自动存取款机及存取款方法 |
| CN116631128B (zh) * | 2023-07-21 | 2023-11-28 | 资阳保安有限责任公司 | 一种具有加密功能的自动存取款机及存取款方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287870A (zh) | 基于综合光流特征描述符及轨迹的人群异常行为检测方法 | |
| Andrade et al. | Hidden markov models for optical flow analysis in crowds | |
| Qin et al. | Applying the convolutional neural network deep learning technology to behavioural recognition in intelligent video | |
| CN105787458B (zh) | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 | |
| Ko et al. | Spatiotemporal bag-of-features for early wildfire smoke detection | |
| CN110781723B (zh) | 一种群体异常行为识别方法 | |
| CN102682303B (zh) | 基于lbp加权社会力模型的人群异常事件检测方法 | |
| CN105787472B (zh) | 一种基于时空拉普拉斯特征映射学习的异常行为检测方法 | |
| CN103279737B (zh) | 一种基于时空兴趣点的打架行为检测方法 | |
| CN108985192A (zh) | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 | |
| CN105718857A (zh) | 一种人体异常行为检测方法及系统 | |
| CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| Lin et al. | Learning to detect anomaly events in crowd scenes from synthetic data | |
| CN107506734A (zh) | 一种群体突发异常事件检测与定位方法 | |
| CN105678803A (zh) | 基于w4算法和帧间差分的视频监控目标检测方法 | |
| CN107491749A (zh) | 一种人群场景中全局和局部异常行为检测方法 | |
| Chen et al. | Anomaly detection in crowded scenes using motion energy model | |
| CN111145475A (zh) | 基于振动光纤和深度学习的入侵报警系统、方法及介质 | |
| CN106127814A (zh) | 一种智慧金睛识别人员聚集打斗报警方法和装置 | |
| WO2024051297A1 (zh) | 一种轻量化的火灾烟雾检测方法、终端设备及存储介质 | |
| CN110020618A (zh) | 一种可用于多拍摄角度的人群异常行为监测方法 | |
| CN109948424A (zh) | 一种基于加速度运动特征描述子的群体异常行为检测方法 | |
| CN106780547B (zh) | 基于运动能量模型针对监控视频速度异常目标的检测方法 | |
| Andrade et al. | Performance analysis of event detection models in crowded scenes | |
| Leyva et al. | Video anomaly detection based on wake motion descriptors and perspective grids |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240227 |