CN112380936A - 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法 - Google Patents

基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法 Download PDF

Info

Publication number
CN112380936A
CN112380936A CN202011210123.XA CN202011210123A CN112380936A CN 112380936 A CN112380936 A CN 112380936A CN 202011210123 A CN202011210123 A CN 202011210123A CN 112380936 A CN112380936 A CN 112380936A
Authority
CN
China
Prior art keywords
pedestrian
value
frame image
abnormal
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011210123.XA
Other languages
English (en)
Other versions
CN112380936B (zh
Inventor
纪庆革
林楚庭
林金城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN202011210123.XA priority Critical patent/CN112380936B/zh
Publication of CN112380936A publication Critical patent/CN112380936A/zh
Application granted granted Critical
Publication of CN112380936B publication Critical patent/CN112380936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于人群异常行为检测技术，为基于M‑CMSE场景识别与E‑SFM结合的人群异常行为检测方法，包括：用基于M‑CMSE方法得到场景特征，匹配得出当前场景标签；做前景分割处理得到仅有前景像素点的帧图像；把图像切割成若干个小块，统计每个小块中前景像素点个数，并标记出关键目标块；计算每个关键目标块的速度和方向得到运动特征；根据行人速度、方向，通过E‑SFM结合的分析方法，计算出行人的情绪值、社会力，输出帧图像中的异常区域；提取出异常区域中的局部特征，与场景特征、运动特征进行连接构成完整的特征向量I，分类得出异常的分类结果。本发明基于M‑CMSE进行场景识别，配合E‑SFM结合的异常检测方法，有效提高检测的准确率、稳定性和鲁棒性。

Description

基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法
技术领域
本发明涉及人群异常行为检测技术，具体为基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法。
背景技术
随着计算机技术和互联网设备的不断更新进步，人们已经可以获得大量的视频数据并对视频数据进行处理。如何在大规模的人群活动视频中，实时地检测出存在的行人异常行为是十分急迫而有意义的问题。对游行人群中异常行为的检测可以及时发现危险或矛盾可能产生的位置，从而有效地进行阻止和控制，保护在混乱环境中人民的生命安全，同时可以防止暴力升级，防止矛盾激化。
现有的人群异常行为检测方案中，如公开号为CN 102156880A、公开日为2011年8月17日、名称为“基于改进的社会力模型的异常集群行为检测方法”的专利申请，侧重研究社会力模型中粒子不稳定性的计算与基础优化。该方案存在的缺陷在于切换不同的场景，或者更换摄像头的位置，都可能会极大影响方案最后的检测结果。除此之外，该方案没有考虑到人群的情感因素，因为情感因素会直接影响到社会力模型中的期望速度值，因此该方案通过社会力模型表达的人群行为特征不够丰富和完整。
总的来说，现有技术存在以下缺点与不足：切换不同的场景对算法最终的异常检测结果会产生较大的影响；切换摄像头导致目标场景距离发生变化，同样会影响最终的异常检测结果；现有的社会力模型检测人群异常行为的方案没有考虑人群情感因素，提取的特征不够全面。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提供基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法，基于多尺度空间包络与颜色矩结合的全局特征提取方法进行场景识别，配合情感分析与社会力模型结合的异常检测方法，将有效提高人群异常行为检测的准确率、稳定性和鲁棒性。
本发明的目的通过下述技术方案实现：基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法，包括以下步骤：
S1、采集视频帧序列前几帧，用基于多尺度空间包络与颜色矩结合的全局特征提取方法，得到场景特征，并匹配运算得出当前场景标签；
S2、对输入的视频帧序列做前景分割处理，得到仅有前景像素点的帧图像；
S3、输入前景分割处理后的仅有前景像素点的帧图像，设置网格大小，把图像切割成若干个小块，统计每个小块中前景像素点个数，当第i小块的前景像素点超过阈值时标记该块为关键目标块bi，最终得到每一帧图像的运动目标块集；
S4、计算帧图像中每个关键目标块bi的速度vi和方向ui，得到运动特征；
S5、根据帧图像中行人的速度、方向，通过情感分析与社会力模型结合分析方法，计算出行人的情绪值，然后计算出行人的社会力，最后输出帧图像中的异常区域；
S6、根据帧图像中的异常区域，提取出异常区域中的局部特征，与场景特征、运动特征进行连接构成完整的特征向量I，输入到预先训练好的分类器中进行分类，得出异常的分类结果。
本发明相对于现有技术具有如下的优点及效果：
1、基于多尺度空间包络与颜色矩结合的全局特征提取方法(M-CMSE,Multiscale-Color Moments and Spatial Envelope)进行场景识别，快速的对场景进行分类，并配合情感分析与社会力模型结合(E-SFM,Emotion based Social Force Model)的异常检测方法，将有效提高人群异常行为检测的准确率、稳定性和鲁棒性。
2、通过结合颜色矩与空间包络的5个描述子，丰富了对场景浅层全局特征的表达，从而提高场景识别的准确率。
3、场景识别时通过多尺度方法，结合空间包络与颜色矩结合的全局特征提取方法，提高场景识别对摄像头位置变化的适应能力，从而提高算法的稳定性、鲁棒性。
4、对人群中异常行为进行检测时，通过结合OCEAN性格分类模型的情感分析机制，提出了情感分析与社会力模型结合E-SFM的分析方法，准确把握了人群异常行为发生前的情感波动变化，能更早更准的检测到异常区域。
附图说明
图1是本发明人群异常行为检测方法的流程图；
图2是基于M-CMSE场景识别算法流程图；
图3是基于情感分析与社会力模型结合E-SFM的人群异常区域分割算法流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
考虑到现实环境中存在许多不同的场景，如广场、集市、街道、学校、景区等，这些不同场景下的人群发生异常行为的模式和特点都存在很大差异，如广场发生恐怖袭击时，人群会自发的四散而逃；而街道在进行示威游行时发生恐怖袭击，人群则会朝街道一侧或两侧快速的移动；再比如学校发生类似恐怖袭击事件时，教职工则会指引学生往一个安全的区域快速集合。因此，本发明会先行采集监控视频序列的前几帧，利用改进的空间包络特征提取方法快速判断出当前属于哪个场景，针对不同的场景，后续的社会力模型分析过程会调整参数以适应当前环境。
具体来说，本实施例中人群异常行为检测方法包括以下步骤：
S1、采集视频帧序列前几帧，用基于多尺度空间包络与颜色矩结合的全局特征提取方法(M-CMSE)得到场景特征，并匹配运算得出当前场景标签。
本步骤中的M-CMSE方法，是在传统的空间包络中5个描述子的基础上做进一步优化。通常不同的场景图像，在RGB颜色空间上会有明显的差异，如市区街道，多以黑灰色柏油马路以及白色、浅色楼房构成，自然景区则多以绿色景观为主。因此，本发明再加上一个颜色特征描述子，该特征由颜色矩来表示。综合传统的5个描述子：自然度、开放度、粗糙度、膨胀度、险峻度，再加上RGB颜色矩，构成完整的6个全局特征描述子，最后使用谱特征和学习到的权值分量做内积，得到改进的空间包络特征。本步骤具体如下：
S11、首先定义空间包络特征的5个描述子，分别如下：
自然度：图像中是否含有高度垂直或者水平的线，是则大概率为人工场景，即判断为人工场景，否则属于自然场景；
开放度：空间包络是否封闭或者围绕，是则判断为森林、市中心等场景，否则判断是海岸、高速公路等场景；
粗糙度：图像中颗粒成分大小，这与场景的分形维度有关；
膨胀度：平行线是否收敛，是则判断为一条通向远处的长街道，否则判断为一张平面图；
险峻度：相对水平线的偏移值大，则判断为自然环境，否则判断为人为环境。
S12、在提取空间包络特征前，需要对输入的帧图像通过快速傅里叶变换转换到频谱域。这里的快速傅里叶变换DFT定义为：
Figure BDA0002758548830000031
上述公式中，帧图像的宽和高都为N；i(x,y)是帧图像中空间位置在(x,y)这一点上的灰度值，fx和fy是空间频率域的两个变量，h(x,y)是用于减少边界影响的循环汉宁窗口。
Figure BDA0002758548830000032
表示与图像中的局部特性相关的信息，A(fx,fy)表示的是非局部的关于图像整体结构相关的信息。最终得到的是该帧图像的频谱图I。
S13、从全局频谱特征v中估计图像场景的一个空间包络特征属性S；本实施例中所采用的估计公式如下：
Figure BDA0002758548830000041
上述公式中，
Figure BDA0002758548830000042
表示空间包络特征属性s的估计值，vT是全局频谱特征v的转置，NG表示样本总数；DST为判别谱模板函数：
Figure BDA0002758548830000043
这里的DST由一个参数列向量d＝{di}构成；得到该参数列向量d所需要的学习策略描述如下：
首先取600张不同场景的图像作为训练集，经过傅里叶变换转换至频谱域，得到特征向量{vt}t＝600，与之相对应的是空间包络特征属性值{st}t＝600；其中t表示训练集图像的帧序号且最大取值为训练集中不同场景的图像数量，即最大取值为600。这里的属性值估计方法如下：
Figure BDA0002758548830000044
其中，
Figure BDA0002758548830000045
为对应的t帧和DST判别谱模板函数中参数列向量d的特征向量v；d0为常量。
S14、对空间包络特征的5个描述子均采用步骤S12、S13的方式进行推导，最终获得相应的5个描述子的空间包络特征属性值Si,t，其中i＝1,2,3,4,5；t＝1,2,……,600。
S15、再定义第6个描述子，即RGB颜色矩，其包含三个分量，分别是均值μ、方差σ和斜度Ω。这是一种简单有效的场景颜色特征表示。
计算颜色矩需要RGB原图，本实施例给出颜色矩三个分量的数学定义：
均值为一阶矩：
Figure BDA0002758548830000046
方差为二阶矩：
Figure BDA0002758548830000047
斜度为三阶矩：
Figure BDA0002758548830000048
上述颜色矩三个分量的公式中，pi,j表示图像中第j个像素的第i个颜色分量，N2表示图像中的像素个数。
S16、根据颜色矩三个分量的数学定义，加权得到一帧图像的颜色矩特征C＝Wμμ+Wσσ+WsΩ，其中Wμ、Wσ和Ws是初始预设的权重系数；把颜色矩特征与上面给出的空间包络特征属性值Si，t进行连接，得到原始帧图像完整的全局特征向量L0。
S17、上面得到的全局特征向量L0是基于尺度等于N*N的原始帧图像的全局特征向量，本步骤对原始帧图像通过下采样获得N/4*N/4和N/2*N/2两种分辨率的采样图像，这两种分辨率的采样图像对应两种尺度，对这两种尺度的采样图像按照上述步骤S12-S16的方式分别得出相应的全局特征向量L1和全局特征向量L2，这样最终得到的是基于多尺度的全局特征向量集LMulti。
考虑到监控摄像头所处的位置不同，拍摄到的视频画面中，距离目标场景可能存在距离，因此有可能视频帧图像中有部分的背景属于无效信息，这里引入多尺度特征提取方法，在上面提到的针对N*N尺度原始图像的改进空间包络特征提取方法基础上，再构造N/4*N/4、N/2*N/2这两个尺度，这里N表示图像宽度和高度。本发明针对N*N、N/4*N/4、N/2*N/2这三个尺度分别提取全局特征，最终得到的是基于多尺度的全局特征向量集LMulti。多尺度全局特征向量提高了算法的准确率，鲁棒性；且相较于深度学习算法，特征数量少，计算量小，可实现快速识别。
S18、将基于多尺度的全局特征向量集与预训练得出的不同场景的特征向量作匹配，即可快速完成场景的分类，输出场景标签作为后续的情感分析与社会力模型检测异常的输入参数。这样可以在快速识别场景的基础上，提高了算法对摄像头位置变化的适应能力。这里提到的标签值与场景的对应关系以及场景类别为预先人工设定。
S2、利用高斯混合模型对输入的视频帧序列做前景分割处理，得到仅有前景像素点的帧图像。
本实施例使用3到5个高斯模型来表示帧图像中每个像素点的特征，通过输入新的一帧来更新高斯混合模型的方差、均值等参数。对背景建模后，输入下一帧图像，把每个像素点p(x，y)与高斯混合模型进行匹配，如果匹配成功则判定为背景像素点，否则判定为前景像素点，最终得到的一个包含每一帧图像的前景像素点集，进一步得到仅有前景像素点的帧图像。
S3、输入前景分割处理后的仅有前景像素点的帧图像，设置网格大小为5*5，把图像切割成若干个小块，统计每个小块中前景像素点个数，当第i小块的前景像素点超过阈值Y＝12时标记该块为关键目标块bi，最终可以得到每一帧图像的运动目标块集。
S4、利用Farneback光流法计算帧图像中每个关键目标块bi的速度vi和方向ui，得到运动特征。
这里的Farneback光流法，是把每个像素点的邻域用多项式展开来表示，从而对帧图像中每个关键目标块bi计算得出位移估计值di；除此之外，本实施例再引入多尺度位移估计的方法，即先从一个较粗的尺度开始，得到一个粗略但合理的位移估计，接着通过逐级细化尺度获得越来越精确的估计。为了解决每次需要重新计算每个尺度的多项式展开系数的问题，本实施例通过在尺度变换之间对关键目标块bi进行二次采样，通过二次采样将关键目标块在尺寸和质量上进行压缩，从而达到降低运算成本的目的。最后通过多帧的运算，便可获得每个关键目标块的速度vi和方向ui。
S5、根据帧图像中行人的速度、方向，通过情感分析与社会力模型结合(E-SFM，Emotion based Social Force Model)分析方法，计算出行人的情绪值，然后计算出行人的社会力，最后输出帧图像中的异常区域。
本步骤主要构成了本发明的异常区域检测阶段。在异常区域检测阶段，提出了情感分析与社会力模型结合(E-SFM)的方法。E-SFM方法通过对人群中行人的情绪分析和相互作用力分析，筛选出可能存在异常的区域。E-SFM方法首先假设当行人与行人之间的距离过大，彼此之间大的相互干扰是较小的，因此将监控画面划分成同样大小的方格，在方格内考虑行人与行人，行人与障碍物之间的交互关系，可以有效的减少计算量。
具体到本实施例中，将监控画面划分成同样大小的方格，考虑到一般成年人的肩宽在0.25-0.35米之间，因此本实施例取方格边长为2米，每一个方格内最多可容纳35-60人。然后去除掉不含有行人的方格，减少计算量。
同时，在暴力活动、游行示威等大规模人群运动中，情绪是诱发异常行为的重要因素，同时情绪也是判断有异常行为出现的重要指标。例如枪击、火灾的出现会极大的影响周围人的情绪变化。因此本发明采用的E-SFM方法中引入情绪值的计算分析来判断人群中是否发生异常。传统的社会力模型用于检测人群异常行为的技术方案中，没有考虑到人群或者行人的情感因素，本发明以行人速度的对数值作为情绪初值，再根据每个行人不同的传播因子，以及取决于OCEAN性格分类模型的易感因子，从而获取到该行人的情绪值，并结合行人之间的受力分析，得出可能存在异常的区域。与现有技术相比，本发明采用的E-SFM方法结合情感分析的社会力模型检测人群异常行为，由于考虑到群体的心理学因素，能表达出更丰富的人群行为特征，因此可以有效地提高异常行为检测的准确率。
具体到本实施例中，将所有的行人划分为两种状态：感染状态和未感染状态。当行人情绪值大于一定阈值(即预设阈值)时，该行人由未感染状态转变为感染状态，处于感染状态的行人才能够向周围人传递情绪。每一个行人情绪值包括情绪初值以及情绪累计值。对于情绪初值的计算，本发明认为当行人的运动速度越大时，行人处于更为活跃的状态，情绪值会更高。因此本发明以行人速度的对数值作为行人的情绪初值。这比其他模型中随机初始化行人的情绪值要更为合理。对于情绪累计值的计算，本发明以划分的方格为界限，方格中的人互为“邻居”，处于感染状态的行人会向其邻居传染情绪。每个人传播自己情绪的能力不同，本发明用传播因子α来表示；考虑到每个方格中的人数越多时，传播的速度和效果会更好，本发明通过方格中的人群数量来计算传播因子α。每个人受到周围情绪的影响也不相同，用易感因子τ来表示。易感因子τ的大小取决于很多因素，性格是其中一个重要指标，本发明依据OCEAN模型对性格进行区分，考虑其中的好奇、友好、消极三种性格因素，计算出行人的易感因子。最终每个人的情绪累计值由他所在方格内的邻居传递出的情绪值乘以易感因子再累加得到。本发明计算每个方格中行人情绪的平均值，将这个平均值作为方格的情绪值。当情绪值大于一定的预设阈值时，认为该方格中可能存在异常行为。后面将通过情绪值与社会力结合从而有效的提高异常行为检测的准确率。
行人的易感因子计算公式为：
τ＝w1*fo-w2*fa+w3*fb
其中w1+w2+w3＝1，且w1＞0，w2＞0，w3＞0。fo，fa，fb分别代表上述好奇、友好、消极三种性格的易感程度。由于友好、随和的性格不容易被其他人所影响，情绪受到的波动更小，所以fa前面的系数为负数。
Figure BDA0002758548830000071
其中ei表示行人i的情绪值，公式右边
Figure BDA0002758548830000072
表示行人i的初始情绪值，Ni表示行人i所在的方格，αj表示行人i的邻居行人j的传播因子，ej表示行人j的情绪值，τi表示行人i的易感因子。
Figure BDA0002758548830000073
其中EX表示方格X的情绪值，m表示方格X中行人数量，ei表示行人i的情绪值。
此外，还需进一步考虑行人之间的受力情况。本步骤进一步通过社会力模型计算行人之间的受力情况。Helbing等人提出了社会力模型来仿真人群运动过程，依据牛顿第二定律可得：
Figure BDA0002758548830000074
其中，
Figure BDA0002758548830000081
表示行人i的自驱力，其中
Figure BDA00027585488300000811
表示行人i当前的速度，mi表示行人i的质量，vi 0表示行人i的期望速率，
Figure BDA0002758548830000082
表示行人i的期望速度的方向,ξi表示行人i的松弛时间，即用于调整自身速度所需要的时间。
Figure BDA0002758548830000083
表示行人i受到来自行人j的排斥力，
Figure BDA0002758548830000084
表示行人i受到来自边界或者障碍物w的排斥力。
由于本发明将方格作为分析的基本单位，因此分析行人与行人之间的作用力，障碍物与行人之间的作用力都控制在同一个方格内计算，这符合在慌乱或异常发生的情境下，行人其实最易受到邻近的人干扰。将行人与行人之间的作用力、行人与障碍物之间的作用力合并为交互力Fint，也即社会力，计算如下：
Figure BDA0002758548830000085
其中
Figure BDA0002758548830000086
表示行人i受到来自行人j的排斥力，
Figure BDA0002758548830000087
表示行人i受到来自边界或者障碍物w的排斥力。
通过光流法可以得到行人移动过程中的速度等物理量，并利用情绪值更新行人的期望速度，计算出在改进的社会力模型下，行人的受力情况。关于期望速度的计算，本发明利用前面得到的场景信息进行处理：当场景为广场、校园时，行人可能较少，呈现局部聚集的现象，因此以视频中行人前一帧的速度作为行人当前帧的期望速度；当场景为马路时，游行示威等情形下人群密度较高，将前一帧行人所在方格中的平均速度作为行人当前帧的期望速度。在传统的社会力模型中，并没有考虑到情绪对行人期望速度的影响，因此本发明利用情绪值修正行人的期望速度，使得结果更为准确真实。
随着行人情绪的升高，行人的期望速度也会增大，用情绪值更新行人的期望速度为：
Figure BDA0002758548830000088
其中，字母T表示预设的行人速度阈值，vi 0表示行人i的期望速度，ei表示行人i的情绪值。
当行人期望速度小于一定阈值时，行人速度受到情绪值的影响不断增大；当超过一定阈值时，行人速度不再变化，设为固定值V。
所以行人与外界之间的相互作用力可以定义成如下形式：
Figure BDA0002758548830000089
其中
Figure BDA00027585488300000810
表示行人i当前的速度，mi表示行人i的质量。
当行人的情绪值越高时，行人的期望速度越大，行人所受的社会力也越大。方格中的异常可能发生在局部或个人身上，平均方格中的社会力会削弱异常的检测，因此这里以方格中行人的最大社会力作为该方格的社会力，当社会力超过一定阈值时，认为该方格中可能发生异常。
S6、根据步骤S5所获得的帧图像中的异常区域，使用SIFT提取出异常区域中的局部特征，与之前步骤所获取到的场景特征、运动特征进行连接构成完整的特征向量I，输入到预先训练好的SVM分类器中进行分类，得出异常的分类结果。
从上述步骤可知，本发明通过E-SFM方法分析定位得出的帧图像中的异常区域，通过SIFT提取出区域中的局部特征，与之前已知的场景特征、运动特征进行连接构成完整的特征向量I，输入到预先训练好的SVM分类器中进行分类，得出异常的分类结果。而在判断帧图像的异常区域时，将监控画面划分成同样大小的方格。而方格中的异常可能发生在局部或个人身上，平均方格中的社会力会削弱异常的检测，因此本实施例以方格中行人的最大社会力作为该方格的社会力，当社会力超过一定阈值时，认为该方格中可能发生异常。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.基于M-CMSE场景识别与E-SFM结合的人群异常行为检测方法，其特征在于，包括以下步骤：
S1、采集视频帧序列前几帧，用基于多尺度空间包络与颜色矩结合的全局特征提取方法，得到场景特征，并匹配运算得出当前场景标签；
S2、对输入的视频帧序列做前景分割处理，得到仅有前景像素点的帧图像；
S3、输入前景分割处理后的仅有前景像素点的帧图像，设置网格大小，把图像切割成若干个小块，统计每个小块中前景像素点个数，当第i小块的前景像素点超过阈值时标记该块为关键目标块bi，最终得到每一帧图像的运动目标块集；
S4、计算帧图像中每个关键目标块bi的速度vi和方向ui，得到运动特征；
S5、根据帧图像中行人的速度、方向，通过情感分析与社会力模型结合分析方法，计算出行人的情绪值，然后计算出行人的社会力，最后输出帧图像中的异常区域；
S6、根据帧图像中的异常区域，提取出异常区域中的局部特征，与场景特征、运动特征进行连接构成完整的特征向量I，输入到预先训练好的分类器中进行分类，得出异常的分类结果。
2.根据权利要求1所述的人群异常行为检测方法，其特征在于，步骤S1中基于多尺度空间包络与颜色矩结合的全局特征提取方法，通过在空间包络5个描述子的基础上加上颜色特征描述子，构成完整的6个全局特征描述子，最后使用谱特征和学习到的权值分量做内积，得到改进的空间包络特征。
3.根据权利要求1或2所述的人群异常行为检测方法，其特征在于，步骤S1包括：
S11、首先定义空间包络特征的5个描述子，分别为自然度、开放度、粗糙度、膨胀度和险峻度；
S12、在提取空间包络特征前，对输入的帧图像通过快速傅里叶变换转换到频谱域；
S13、从全局频谱特征v中估计图像场景的一个空间包络特征属性S；
S14、对空间包络特征的5个描述子均采用步骤S12、S13的方式进行推导，最终获得相应的5个描述子的空间包络特征属性值Si,t，其中i＝1,2,3,4,5；t表示训练集图像的帧序号且最大取值为训练集中不同场景的图像数量；
S15、再定义RGB颜色矩作为第6个描述子，其包含三个分量，分别是均值μ、方差σ和斜度Ω；
S16、根据颜色矩三个分量的数学定义，加权得到一帧图像的颜色矩特征C＝Wμμ+Wσσ+WsΩ，其中Wμ、Wσ和Ws是初始预设的权重系数；把颜色矩特征与空间包络特征属性值Si,t进行连接，得到原始帧图像完整的全局特征向量L0；
S17、对帧图像通过下采样获得两种分辨率的采样图像，这两种分辨率的采样图像对应两种尺度，对这两种尺度的采样图像按照上述步骤S12-S16的方式分别得出相应的全局特征向量L1和全局特征向量L2，最终得到基于多尺度的全局特征向量集LMulti；
S18、将基于多尺度的全局特征向量集与预训练得出的不同场景的特征向量作匹配，完成场景的分类，输出场景标签。
4.根据权利要求3所述的人群异常行为检测方法，其特征在于，颜色矩三个分量的数学定义分别为：
均值为一阶矩：
Figure FDA0002758548820000021
方差为二阶矩：
Figure FDA0002758548820000022
斜度为三阶矩：
Figure FDA0002758548820000023
其中，pi,j表示图像中第j个像素的第i个颜色分量，N2表示图像中的像素个数。
5.根据权利要求3所述的人群异常行为检测方法，其特征在于，步骤S17对原始帧图像通过下采样获得N/4*N/4和N/2*N/2两种分辨率的采样图像。
6.根据权利要求1所述的人群异常行为检测方法，其特征在于，步骤S4利用Farneback光流法计算帧图像中每个关键目标块bi的速度vi和方向ui：
把每个像素点的邻域用多项式展开来表示，从而对帧图像中每个关键目标块bi计算得出位移估计值di；再引入多尺度位移估计的方法，先从一个较粗的尺度开始，得到一个粗略但合理的位移估计，接着通过逐级细化尺度获得越来越精确的估计；在尺度变换之间对关键目标块进行二次采样，通过二次采样将关键目标块在尺寸和质量上进行压缩，最后通过多帧的运算，获得每个关键目标块的速度vi和方向ui。
7.根据权利要求1所述的人群异常行为检测方法，其特征在于，步骤S5中情感分析与社会力模型结合分析方法，首先将监控画面划分成同样大小的方格，在方格内考虑行人与行人，行人与障碍物之间的交互关系；然后引入情绪值的计算分析来判断人群中是否发生异常，以行人速度的对数值作为情绪初值，再根据每个行人不同的传播因子，以及取决于性格分类模型的易感因子，从而获取到该行人的情绪值，并结合行人之间的受力分析，得出可能存在异常的区域。
8.根据权利要求7所述的人群异常行为检测方法，其特征在于，步骤S5将所有的行人划分为两种状态：感染状态和未感染状态；当行人情绪值大于预设阈值时，该行人由未感染状态转变为感染状态，处于感染状态的行人才能够向周围人传递情绪，每一个行人情绪值包括情绪初值以及情绪累计值；对于情绪累计值的计算，以划分的方格为界限，方格中的人互为邻居，处于感染状态的行人向其邻居传染情绪；每个人传播自己情绪的能力用传播因子α来表示，通过方格中的人群数量来计算传播因子α；每个人受到周围情绪的影响用易感因子τ来表示，依据OCEAN性格分类模型对性格进行区分，考虑其中的好奇、友好、消极三种性格因素，计算出行人的易感因子；最终每个人的情绪累计值由他所在方格内的邻居传递出的情绪值乘以易感因子再累加得到；计算每个方格中行人情绪的平均值，将这个平均值作为方格的情绪值；当情绪值大于预设阈值时，判断该方格中可能存在异常行为；最后通过社会力模型计算行人之间的受力情况，分析行人与行人之间的作用力、障碍物与行人之间的作用力都控制在同一个方格内计算，将行人与行人之间的作用力、行人与障碍物之间的作用力合并为交互力，即社会力；以方格中行人的最大社会力作为该方格的社会力，当社会力超过一定阈值时，判断该方格中可能发生异常。
9.根据权利要求8所述的人群异常行为检测方法，其特征在于，行人的易感因子计算公式为：
τ＝w1*fo-w2*fa+w3*fb
其中w1+w2+w3＝1，且w1>0，w2＞0，w3>0，fo，fa，fb分别代表好奇、友好、消极三种性格的易感程度。
10.根据权利要求1所述的人群异常行为检测方法，其特征在于，步骤S6使用SIFT提取出异常区域中的局部特征。
CN202011210123.XA 2020-11-03 2020-11-03 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法 Active CN112380936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011210123.XA CN112380936B (zh) 2020-11-03 2020-11-03 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011210123.XA CN112380936B (zh) 2020-11-03 2020-11-03 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法

Publications (2)

Publication Number Publication Date
CN112380936A true CN112380936A (zh) 2021-02-19
CN112380936B CN112380936B (zh) 2023-03-10

Family

ID=74577904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011210123.XA Active CN112380936B (zh) 2020-11-03 2020-11-03 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法

Country Status (1)

Country Link
CN (1) CN112380936B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682303A (zh) * 2012-03-13 2012-09-19 上海交通大学 基于lbp加权社会力模型的人群异常事件检测方法
CN104077571A (zh) * 2014-07-01 2014-10-01 中山大学 一种采用单类序列化模型的人群异常行为检测方法
US20170228660A1 (en) * 2016-02-05 2017-08-10 Nec Europe Ltd. Scalable system and method for real-time predictions and anomaly detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682303A (zh) * 2012-03-13 2012-09-19 上海交通大学 基于lbp加权社会力模型的人群异常事件检测方法
CN104077571A (zh) * 2014-07-01 2014-10-01 中山大学 一种采用单类序列化模型的人群异常行为检测方法
US20170228660A1 (en) * 2016-02-05 2017-08-10 Nec Europe Ltd. Scalable system and method for real-time predictions and anomaly detection

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
宋晓楠: "基于特征的视频分割与内容总结", 《中国优秀硕士学位论文全文数据库》 *
李萌 等: "基于LBPCM和社会力模型的人群异常检测", 《技术交流》 *
王爽: "基于空间效应的个体行为决策模型研究与仿真", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
CN112380936B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN106960195B (zh) 一种基于深度学习的人群计数方法及装置
CN111563557B (zh) 一种电力电缆隧道内目标检测的方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN110135374A (zh) 采用图像块特征识别与回归分类的火灾烟雾检测方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN114333070A (zh) 一种基于深度学习的考生异常行为检测方法
CN111709300A (zh) 基于视频图像的人群计数方法
CN108256462A (zh) 一种商场监控视频中的人数统计方法
CN112364791A (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN113724286A (zh) 显著性目标的检测方法、检测设备及计算机可读存储介质
Wang et al. Video anomaly detection method based on future frame prediction and attention mechanism
TWI696958B (zh) 影像適應性特徵提取法及其應用
CN107679467B (zh) 一种基于hsv和sdalf的行人重识别算法实现方法
CN110728214B (zh) 一种基于尺度匹配的弱小人物目标检测方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN112380936B (zh) 基于m-cmse场景识别与e-sfm结合的人群异常行为检测方法
Chawla et al. Classification of computer generated images from photographic images using convolutional neural networks
CN112464864A (zh) 基于树形神经网络结构的人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant