CN106778595B - 基于高斯混合模型的人群中异常行为的检测方法 - Google Patents

基于高斯混合模型的人群中异常行为的检测方法 Download PDF

Info

Publication number
CN106778595B
CN106778595B CN201611136453.2A CN201611136453A CN106778595B CN 106778595 B CN106778595 B CN 106778595B CN 201611136453 A CN201611136453 A CN 201611136453A CN 106778595 B CN106778595 B CN 106778595B
Authority
CN
China
Prior art keywords
image
sub
gaussian mixture
block
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611136453.2A
Other languages
English (en)
Other versions
CN106778595A (zh
Inventor
于明
郭团团
刘依
于洋
师硕
阎刚
郭迎春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201611136453.2A priority Critical patent/CN106778595B/zh
Publication of CN106778595A publication Critical patent/CN106778595A/zh
Application granted granted Critical
Publication of CN106778595B publication Critical patent/CN106778595B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本发明基于高斯混合模型的人群中异常行为的检测方法，涉及应用电子设备进行识别图形的方法，首先在预处理阶段使用高斯混合模型对输入视频进行背景建模来提取ROI，并利用形态学方法消除背景的影响，然后将人群看作整体来提取ROI光流运动特征和SIFT运动特征，再对输入视频序列中的图像进行分块，按图像子块分配运动特征，对不同子块建立高斯混合模型，利用最大期望EM算法训练高斯混合模型，检测人群中异常行为的图像，克服了现有技术中在高密度场景下人群存在遮挡和光照变化给行人运动分析带来的干扰，同时监控视频下不同区域运动状态的不同也给人群异常行为检测模型的建立带来了干扰，容易造成误检的缺陷。

Description

基于高斯混合模型的人群中异常行为的检测方法
技术领域
本发明的技术方案涉及应用电子设备进行识别图形的方法，具体地说是基于高斯混合模型的人群中异常行为的检测方法。
背景技术
近年来，公众场所的安全保障问题日益得到广泛关注。在火车站、公园以及人流量比较大的场所，持刀伤人、人群冲突及恐怖袭击等问题时刻威胁着人民群众的生命安全。虽然多数的公众场合都安装有监控系统，能为调查取证提供重要线索，但还无法智能报警。由于监控视频数据量庞大，通过人工查看监控视频的方式效率低下，随着智能监控技术的发展，监控视频下的人群异常行为的检测技术将有助于解决上述问题。
现有的人群异常行为的检测方法，一是通过跟踪算法跟踪视频中的目标，获得目标在视频中的运动轨迹，分析运动轨迹从而来判断场景中是否存在异常事件。但是该方法只适用于人群密度低的场景，对于高密度人群场景，运动目标较多，且容易发生遮挡，很难获得精准的运动轨迹；二是通过光流法来提取视频中的运动速度大小，设置固定阈值，大于阈值的运动速度被判断为异常事件。由于现实场景容易受到背景和光照变化干扰，并且由于监控摄像头的视频角度问题，同一场景中距离摄像头远近不同但运动速度相同的人群在检测中获得的运动速度却不同，固定阈值无法准确地将人群异常事件监测出来。2008年，Antoni B.Chan等人提出了混合动态纹理特征MDT(Mixture of Dynamic Textures)，该特征结合了运动信息和纹理信息，进行视频分割，将不同的运动形态分割开；在2010年，VijayMahadevan和Weixin Li等人受GMM背景建模思想启发，将MDT特征运用到视频监控的人群异常行为检测上，从时间异常和空间异常两方面对监控视频进行分析从而检测人群异常事件，但该方法也只能适用于低密度人群的场景；在2014年，Weixin Li等人进一步改进完善了混合动态纹理特征，克服了异常种类在不同人群规模下定义模糊的问题，提出H-MDT((Hierarchical Mixture of Dynamic Texture)模型，以多尺度空间规模定义异常图，但该方法的缺点是计算耗时，实时性差；CN104636751提出的基于时间递归神经网络的人群异常检测和定位系统及方法，通过划分时空块构造多规模光流直方图和Gabor小波纹理特征，来训练时间递归神经网络模型判断人群异常，但该方法只能检测预先标注好的人群异常，检测的人群异常种类受限；CN102799863A公开了视频监控中的团体人群异常行为检测方法，利用MGHMM模型对人群轨迹建立模型，通过模型判断人群轨迹是否异常，由于该方法依赖于跟踪算法得到运动轨迹，高密度人群中存在遮挡，难以获得较为准确的轨迹，因此难适用于高密度场景。CN104156979A提出了一种基于高斯混合模型的视频中异常行为在线检测方法，先合成原图像的低分辨率图像，分别计算原图像和低分辨率图像的光流，再对图像分块计算高斯混合模型，最后计算待检测图像的高斯混合模型与标准高斯混合模型的差异得分，通过差异得分与固定阈值的比较来判断待检测图像中是否有异常，但该方法采用单一的光流特征，光流特征容易受光照变化和场景中背景因素的影响，因此难以适用于环境复杂的场景。
总之，现有技术的人群异常行为的检测方法能检测稀疏场景的人群异常行为，但仍然没有克服高密度场景下人群存在遮挡和光照变化带来的影响，同时监控视频下不同区域运动状态的不同也给人群异常行为检测模型的建立带来了干扰，容易造成误检。
发明内容
本发明所要解决的技术问题是：提供基于高斯混合模型的人群中异常行为的检测方法，首先在预处理阶段使用高斯混合模型对输入视频进行背景建模来提取ROI，并利用形态学方法消除背景的影响，然后将人群看作整体来提取ROI光流运动特征和SIFT运动特征，再对输入视频序列中的图像进行分块，按图像子块分配运动特征，对不同子块建立高斯混合模型，利用最大期望EM算法训练高斯混合模型，检测人群中异常行为的图像，克服了现有技术中在高密度场景下人群存在遮挡和光照变化给行人运动分析带来的干扰，同时监控视频下不同区域运动状态的不同也给人群异常行为检测模型的建立带来了干扰，容易造成误检的缺陷。
上述ROI是Region of Interest的缩写，即感兴趣区域；SIFT是Scale-invariantfeature transform的缩写，即尺度不变特征变换。
本发明解决该技术问题所采用的技术方案是：基于高斯混合模型的人群中异常行为的检测方法，具体步骤如下：
第一步，输入视频序列并进行预处理：
(1.1)利用高斯混合模型对输入视频进行背景建模：
将摄像头采集的含有人群的视频序列输入到计算机中，输入的视频帧为N帧，每帧图像共有L×H个像素点，将输入的所有视频帧转化为灰度图像Ii，其中i＝1,…,N；
对第i帧灰度图像Ii中每个像素点建立K个高斯混合模型，每个高斯混合模型共有四个参数：优先级s、权重w、均值m和方差v，首先将第i帧灰度图像Ii中的每个像素点的灰度值与对应的K个高斯混合模型逐个进行匹配，然后根据该像素点的匹配情况更新与其对应的高斯混合模型，匹配和更新的公式如下：
Figure GDA0002308691040000021
其中，Ii(x,y)表示第i帧灰度图像Ii位于坐标(x,y)处的灰度值，mk表示该坐标对应的第k个高斯混合模型的均值，1≤k≤K，vk表示第k个高斯混合模型的方差，α为学习效率，wk为第k个高斯混合模型的权重，sk为优先级，更新的过程是，当第i帧灰度图像Ii中某像素点(x,y)处的灰度值Ii(x,y)与其第k个高斯混合模型匹配，即满足公式(1a)，则判断该像素点为背景点，并将其灰度值设置为0，然后根据公式(1b)-(1e)更新第k个高斯混合模型的四个参数，反之当像素点(x,y)处的灰度值Ii(x,y)与其k个高斯混合模型均不匹配时，即不满足公式(1a)，则该像素点为前景点，并将其灰度值置为255，同时将该像素点的原始灰度值Ii(x,y)作为其对应的K个高斯混合模型中优先级最低的模型的均值mk；经过上述高斯混合模型的匹配与更新后，得到二值图像
Figure GDA0002308691040000031
二值图像
Figure GDA0002308691040000032
中的前景区域，即为初始的ROI，由此完成利用高斯混合模型对输入视频进行背景建模；
(1.2)形态学处理：
对上述(1.1)步得到的ROI进行中值滤波，再进行两次膨胀处理，填充ROI空洞，再将二值图像
Figure GDA0002308691040000033
和第i帧灰度图像Ii进行“与”操作，保留第i帧灰度图像Ii与二值图像
Figure GDA0002308691040000034
中前景区域位置相同的像素值，并将背景区域像素值设置为255，得到只含有运动物体的图像Ii′，由此完成形态学处理；
第二步，提取ROI光流运动特征和SIFT运动特征：
(2.1)提取ROI各像素点的光流运动特征：
利用金字塔LK光流法检测出上述(1.2)步得到的只含有运动物体的图像I′i和只含有运动物体的图像I′i+4中所有对应ROI内像素的位置坐标(x,y)和(x′,y′)，利用欧式距离公式计算两点之间的距离，得到各像素点的光流运动特征Fi，所用欧式距离公式(2)如下：
Fi(x,y)＝((x′-x)2+(y′-y)2)1/2 (2)，
其中Fi(x,y)为第i时刻只含有运动物体的图像I′i在4帧时间段内像素点的移动距离，即坐标点(x,y)处的像素点的光流运动特征Fi，由此得到ROI各像素点的光流运动特征；
(2.2)提取ROI中图像I′i的SIFT运动特征：
对上述(1.2)步得到的只含有运动物体的图像I′i和只含有运动物体的图像I′i+4提取SIFT运动特征，得到只含有运动物体的图像I′i和只含有运动物体的图像I′i+4的所有SIFT特征点描述，匹配上述I′i与I′i+4两幅图像的SIFT特征点，同时用RACSAN算法对匹配结果进行筛选，得到上述图像I′i与图像I′i+4匹配的特征点
Figure GDA0002308691040000035
与
Figure GDA0002308691040000036
由欧式距离公式(2)计算特征点
Figure GDA0002308691040000037
与
Figure GDA0002308691040000038
在4帧时间段内的移动距离，得到ROI中第i时刻只含有运动物体的图像I′i的SIFT运动特征Si；
第三步，按图像子块分配运动特征：
首先将上述(1.2)步得到的只含有运动物体的图像I′i分成M×M的不重叠的图像子块，然后将上述第二步得到的光流运动特征Fi和SIFT运动特征Si分别分配于对应的分块后的图像子块中，并将每一子块q中的光流运动特征Fi,q和SIFT运动特征Si,q串联成[Fi,qSi,q]，该q＝1,2,…,M×M，得到只含有运动物体的图像I′i中的每个图像子块的运动特征序列ti,q＝[ti,q,1,ti,q,2,…,ti,q,l]，其中i为所在帧序号，q为所在子块序号，l为第i帧第q个子块中包含光流运动特征点个数和SIFT运动特征点个数的总和，由此完成按图像子块分配运动特征；
第四步，利用最大期望EM算法训练高斯混合模型：
在上述三个步骤处理完所有输入视频图像后，将训练视频中每帧图像相应位置的子块的运动特征，包括光流运动特征Fi,q和SIFT运动特征Si,q，按照视频序列顺序串联后得到整个视频在每个子块的运动特征序列Tq＝[t1,q,t2,q,…,tN,q]，对每个子块建立R个高斯混合模型，使得每个子块对应R个高斯混合模型，用最大期望EM算法对高斯混合模型进行训练，至完成利用最大期望EM算法训练高斯混合模型；
第五步，检测人群中异常行为的图像：
将摄像头采集的待检测的含有人群的视频序列输入到计算机中，将输入的所有待检测的视频帧转化为灰度图像
Figure GDA0002308691040000041
其中i＝1,…,N，对待检测的第i帧灰度图像
Figure GDA0002308691040000042
由上述第一、二、三步的方法得到该图像
Figure GDA0002308691040000043
中第q个图像子块的运动特征序列ti,q，判断其中第j个特征ti,q,j是否符合上述第四步中对应利用最大期望EM算法训练的子块高斯混合模型，判断公式(4)如下：
Figure GDA0002308691040000044
公式(4)中，mq,r为第q个图像子块中第r个高斯模型的均值，vq,r为第q个图像子块中第r个高斯模型的方差，对于满足上述判断公式(4)的高斯模型的ti,q,j，则判断该特征属于正常运动特征，反之则判断为异常运动特征，统计每个图像子块中异常运动特征的个数，将图像子块中异常特征个数超过三个的图像子块判断为异常块，对该异常块进行标注，并判断该图像
Figure GDA0002308691040000045
为人群中异常行为的图像，由此检测出人群中异常行为的图像；
至此完成人群中异常行为的检测。
上述基于高斯混合模型的人群中异常行为的检测方法，所述输入的视频帧为N帧，其中，在UMN数据库中N为7739帧，在UCSD数据库的Ped1场景中N为14000帧，在UCSD数据库的Ped2场景中N为5040帧。
上述基于高斯混合模型的人群中异常行为的检测方法，所述每帧图像共有L×H个像素点，其中，在UMN数据库L×H为320×240像素，在UCSD数据库的Ped1场景中L×H为238×158像素，在UCSD数据库的Ped2场景中L×H为360×240像素。
上述基于高斯混合模型的人群中异常行为的检测方法，所述最大期望EM算法操作如下：输入第q个子块的运动特征序列Tq，先根据如下公式(3d)计算后验概率β，再按如下公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，
Figure GDA0002308691040000046
公式(3)中，如公式(3d)所示，B为第q个子块的运动特征序列Tq的长度，Tq,b为第q个子块的运动特征序列Tq中第b个特征，βb,r为后验概率；如公式(3e)所示，Nr(Tq,b,mq,r,vq,r)为第r个高斯模型的概率分布密度函数；如公式(3f)所示，循环输入第q个子块的运动特征序列Tq，更新模型参数，直到第q个子块的运动特征序列Tq的概率P(Tq|(mq,vq))不再变化时，将每个子块的每个高斯模型的均值和方差保存下来，作为异常判断的参数，
重复输入第q个子块的运动特征序列Tq，先根据公式(3d)计算后验概率β，再按公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，这先后两步操作，更新第r个高斯模型，利用公式(3f)对迭代进行终止判决，至Tq的概率P(Tq|(mq,vq))不再变化，迭代终止，完成对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r的计算期望。
上述基于高斯混合模型的人群中异常行为的检测方法，所述高斯混合模型背景建模、光流法、SIFT算法、EM(Expectation Maximization)算法都是公知的。
本发明的有益效果是：与现有技术相比，本发明的突出的实质性特点和显著进步如下：
(1)本发明方法在预处理阶段将含有人群的视频序列的前景区域即ROI检测出来，然后利用形态学方法填充ROI中的孔洞，使得ROI既消除背景的影响又完整的包含了运动目标，然后采用光流法计算ROI的人群光流和采用SIFT算法提取视频的SIFT运动特征，将人群看作一个整体来提取特征，再对输入视频序列中的图像进行分块，对不同子块建立高斯混合模型，根据ROI人群光流及ROI的SIFT特征对子块进行异常种类检测，省去了行人检测及多目标跟踪等复杂的过程，对于光照变化和人群遮挡的场景依然有很好的效果，克服了现有技术中在高密度场景下人群存在遮挡和光照变化给行人运动分析带来的干扰，同时监控视频下不同区域运动状态的不同也给人群异常行为检测模型的建立带来了干扰，容易造成误检的缺陷。
(2)本发明方法采用了对ROI分块的方法进行人群异常行为检测，由于监控视频下不同区域行人运动特征不同，通过正常场景的数据训练出不同分块的高斯混合模型，替代了人工的经验判断，对每个子块用其对应的高斯混合模型来检测异常，提高了人群异常行为检测准确率，同时这种方法也能很好的定位出异常行为人群在图像中的具体位置。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明方法的流程示意框图。
图2是本发明方法中利用高斯混合模型背景建模以及形态学处理后的ROI效果图，其中：
图2(a)为原始输入图像；
图2(b)为对输入视频序列并进行预处理得到的ROI效果图。
图3是本发明方法中对图像分块检测异常行为示意图。
具体实施方式
图1所示实施例表明，本发明方法的流程是：输入视频序列并进行预处理→提取ROI光流运动特征和SIFT运动特征→按图像子块分配运动特征→利用最大期望EM算法训练高斯混合模型→检测人群中异常行为的图像。
图2所示实例显示了利用高斯混合模型背景建模检测出场景中的运动物体，其中，
图2(a)为输入的三个不同场景中含有人群的三帧视频序列图像，其中左边是一幅人群四散的图，中间图的人群中有自行车出现，右边图的人群中有汽车和自行车出现。
图2(b)显示对图2(a)的输入的三个不同场景中含有人群的三帧视频序列图像进行预处理得到的ROI效果图，具体地说是经过利用高斯混合模型对图2(a)的输入的三个不同场景中含有人群的三帧视频序列图像进行背景建模，得到二值图像
Figure GDA0002308691040000061
二值图像
Figure GDA0002308691040000062
中的前景区域即为初始的ROI，对得到的ROI进行中值滤波，再进行两次膨胀处理，填充ROI空洞，再将二值图像
Figure GDA0002308691040000063
和第i帧灰度图像Ii进行“与”操作，保留第i帧灰度图像Ii与二值图像
Figure GDA0002308691040000064
中前景区域位置相同的像素值，并将背景区域像素值设置为255，得到只含有运动物体的图像I′i。
图3所示实施例显示了人群异常检测效果图，先利用光流法和SIFT算法提取特征后，再对图像进行分块，分别将检测到的速度大小归类到各自的分块图像中，利用对应的高斯混合模型来判断各个分块中的速度是否属于正常，将分块中异常点个数大于3的块用“×”号标注，直观地表示出检测到的异常行为位置，得到最终的人群异常行为检测效果图。
实施例1
本实施例的基于高斯混合模型的人群中异常行为的检测方法，具体步骤如下：
第一步，输入视频序列并进行预处理：
(1.1)利用高斯混合模型对输入视频进行背景建模：
将摄像头采集的含有人群的视频序列输入到计算机中，输入的视频帧为N帧，每帧图像共有L×H个像素点，将输入的所有视频帧转化为灰度图像Ii，其中i＝1,…,N；本实施例中，在UMN数据库中N为7739帧，在UCSD数据库的Ped1场景中N为14000帧，在UCSD数据库的Ped2场景中N为5040帧；本实施例中，在UMN数据库L×H为320×240像素，在UCSD数据库的Ped1场景中L×H为238×158像素，在UCSD数据库的Ped2场景中L×H为360×240像素。
对第i帧灰度图像Ii中每个像素点建立K个高斯混合模型，每个高斯混合模型共有四个参数：优先级s、权重w、均值m和方差v，首先将第i帧灰度图像Ii中的每个像素点的灰度值与对应的K个高斯混合模型逐个进行匹配，然后根据该像素点的匹配情况更新与其对应的高斯混合模型，匹配和更新的公式如下：
Figure GDA0002308691040000065
其中，Ii(x,y)表示第i帧灰度图像Ii位于坐标(x,y)处的灰度值，mk表示该坐标对应的第k个高斯混合模型的均值，1≤k≤K，vk表示第k个高斯混合模型的方差，α为学习效率，这里α取0.1，wk为第k个高斯混合模型的权重，sk为优先级，更新的过程是，当第i帧灰度图像Ii中某像素点(x,y)处的灰度值Ii(x,y)与其第k个高斯混合模型匹配，即满足公式(1a)，则判断该像素点为背景点，并将其灰度值设置为0，然后根据公式(1b)-(1e)更新第k个高斯混合模型的四个参数，反之当像素点(x,y)处的灰度值Ii(x,y)与其k个高斯混合模型均不匹配时，即不满足公式(1a)，则该像素点为前景点，并将其灰度值置为255，同时将该像素点的原始灰度值Ii(x,y)作为其对应的K个高斯混合模型中优先级最低的模型的均值mk；经过上述高斯混合模型的匹配与更新后，得到二值图像
Figure GDA0002308691040000071
二值图像
Figure GDA0002308691040000072
中的前景区域，即为初始的ROI，由此完成利用高斯混合模型对输入视频进行背景建模；
(1.2)形态学处理：
对上述(1.1)步得到的ROI进行中值滤波，再进行两次膨胀处理，填充ROI空洞，再将二值图像
Figure GDA0002308691040000073
和第i帧灰度图像Ii进行“与”操作，保留第i帧灰度图像Ii与二值图像
Figure GDA0002308691040000074
中前景区域位置相同的像素值，并将背景区域像素值设置为255，得到只含有运动物体的图像Ii′，由此完成形态学处理；
第二步，提取ROI光流运动特征和SIFT运动特征：
(2.1)提取ROI各像素点的光流运动特征：
利用金字塔LK光流法检测出上述(1.2)步得到的只含有运动物体的图像Ii′和只含有运动物体的图像I′i+4中所有对应ROI内像素的位置坐标(x,y)和(x′,y′)，利用欧式距离公式计算两点之间的距离，得到各像素点的光流运动特征Fi，所用欧式距离公式(2)如下：
Fi(x,y)＝((x′-x)2+(y′-y)2)1/2 (2)，
其中Fi(x,y)为第i时刻只含有运动物体的图像I′i在4帧时间段内像素点的移动距离，即坐标点(x,y)处的像素点的光流运动特征Fi，由此得到ROI各像素点的光流运动特征；
(2.2)提取ROI中图像I′i的SIFT运动特征：
由于光流运动特征易受光照变化影响，辅助SIFT提取运动特征能克服光照变化影响，对上述(1.2)步得到的只含有运动物体的图像I′i和只含有运动物体的图像I′i+4提取SIFT运动特征，得到只含有运动物体的图像I′i和只含有运动物体的图像I′i+4的所有SIFT特征点描述，匹配上述I′i与I′i+4两幅图像的SIFT特征点，同时用RACSAN算法对匹配结果进行筛选，得到上述图像I′i与图像I′i+4匹配的特征点
Figure GDA0002308691040000075
与
Figure GDA0002308691040000076
由欧式距离公式(2)计算特征点
Figure GDA0002308691040000077
与
Figure GDA0002308691040000078
在4帧时间段内的移动距离，得到ROI中第i时刻只含有运动物体的图像I′i的SIFT运动特征Si；
对上述(1.2)步得到的只含有运动物体的图像I′i，采用光流法和SIFT算法对只含有运动物体的图像I′i提取运动特征，由于该图像I′i中只含有运动物体，提取的运动特征没有背景的干扰，同时提高了效率；
第三步，按图像子块分配运动特征：
由于监控视频下不同区域行人运动特征不同，首先将上述(1.2)步得到的只含有运动物体的图像I′i分成M×M的不重叠的图像子块，然后将上述第二步得到的光流运动特征Fi和SIFT运动特征Si分别分配于对应的分块后的图像子块中，并将每一子块q中的光流运动特征Fi,q和SIFT运动特征Si,q串联成[Fi,q Si,q]，该q＝1,2,…,M×M，得到只含有运动物体的图像I′i中的每个图像子块的运动特征序列ti,q＝[ti,q,1,ti,q,2,…,ti,q,l]，其中i为所在帧序号，q为所在子块序号，l为第i帧第q个子块中包含光流运动特征点个数和SIFT运动特征点个数的总和，由此完成按图像子块分配运动特征；
第四步，利用最大期望EM算法训练高斯混合模型：
在上述三个步骤处理完所有输入视频图像后，将训练视频中每帧图像相应位置的子块的运动特征，包括光流运动特征Fi,q和SIFT运动特征Si,q，按照视频序列顺序串联后得到整个视频在每个子块的运动特征序列Tq＝[t1,q,t2,q,…,tN,q]，对每个子块建立R个高斯混合模型，使得每个子块对应R个高斯混合模型，本实施例中R＝3，用最大期望EM算法对高斯混合模型进行训练，至完成利用最大期望EM算法训练高斯混合模型；
所述最大期望EM算法操作如下：输入第q个子块的运动特征序列Tq，先根据如下公式(3d)计算后验概率β，再按如下公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，
Figure GDA0002308691040000081
公式(3)中，如公式(3d)所示，B为第q个子块的运动特征序列Tq的长度，Tq,b为第q个子块的运动特征序列Tq中第b个特征，βb,r为后验概率；如公式(3e)所示，Nr(Tq,b,mq,r,vq,r)为第r个高斯模型的概率分布密度函数；如公式(3f)所示，循环输入第q个子块的运动特征序列Tq，更新模型参数，直到第q个子块的运动特征序列Tq的概率P(Tq|(mq,vq))不再变化时，将每个子块的每个高斯模型的均值和方差保存下来，作为异常判断的参数，
重复输入第q个子块的运动特征序列Tq，先根据公式(3d)计算后验概率β，再按公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，这先后两步操作，更新第r个高斯模型，利用公式(3f)对迭代进行终止判决，至Tq的概率P(Tq|(mq,vq))不再变化，迭代终止，完成对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r的计算期望。
第五步，检测人群中异常行为的图像：
将摄像头采集的待检测的含有人群的视频序列输入到计算机中，将输入的所有待检测的视频帧转化为灰度图像
Figure GDA0002308691040000082
其中i＝1,…,N，由上述第一、二、三步的方法得到该图像
Figure GDA0002308691040000083
中第q个图像子块的运动特征序列ti,q，判断其中第j个特征ti,q,j是否符合上述第四步中对应利用最大期望EM算法训练的子块高斯混合模型，判断公式(4)如下：
Figure GDA0002308691040000091
公式(4)中，mq,r为第q个图像子块中第r个高斯模型的均值，vq,r为第q个图像子块中第r个高斯模型的方差，对于满足上述判断公式(4)的高斯模型的ti,q,j，则判断该特征属于正常运动特征，反之则判断为异常运动特征，统计每个图像子块中异常运动特征的个数，将图像子块中异常特征个数超过三个的图像子块判断为异常块，对该异常块进行标注，并判断该图像
Figure GDA0002308691040000092
为人群中异常行为的图像，由此检测出人群中异常行为的图像；
至此完成人群中异常行为的检测。
实施例2
本实施例是对本发明提出的基于高斯混合模型的人群中异常行为的检测方法在UMN和UCSD数据库上进行实验验证，对比方法有：稀疏重构结合大规模字典选择的人群异常检测Sparse+LSDS、局部敏感哈希滤波的人群异常检测Locality Sensitive HashingFilters、半参数扫描统计的人群异常检测Semiparametric Scan Statistic和稀疏重构的人群异常检测Sparse reconstruction。
A.在UMN数据库中进行实验，UMN数据库中异常种类为人群恐慌四散，分三个场景为scene1、scene2和scene3，实验结果以AUC值作为检测的评价指标，AUC值是指ROC曲线的右下方面积，ROC曲线的横坐标是FPR，纵坐标是TPR计算公式如下(5a)、(5b)所示：
Figure GDA0002308691040000093
其中FP表示异常帧被判断为正常帧的个数，TN表示异常帧被判断为异常帧的个数，TP表示正常帧被判断为正常帧的个数，FN表示正常帧被判断为异常帧的个数，AUC值越大说明分类效果越好，实验结果如表1所示，表中用“/”分割的三个AUC值从左到右分别对应于三个场景scene1、scene2和scene3：
表1 UMN数据库检测结果AUC值对比
Figure GDA0002308691040000094
由实验结果可知，本发明提出的基于高斯混合模型的人群中异常行为的检测方法在UMN数据库三个场景中的AUC值分别为0.9962、0.9831、0.995，均优于其他方法在这三个场景中的效果。
B.在UCSD数据库中两个场景中进行验证，UCSD数据库是由University ofCalifornia大学的两处校园场景Ped1场景和Ped2场景组成，该数据库的异常种类是人行道上出现的滑板、自行车和汽车等，实验结果以AUC值作为评价指标，实验结果如下表2所示：
表2 UCSD数据库检测结果AUC值对比
Figure GDA0002308691040000101
由实验结果可知，本发明提出的基于高斯混合模型的人群中异常行为的检测方法在UCSD数据库的Ped1、Ped2场景中AUC值分别为0.87、0.94，均优于其他方法。
上述实施例中，所述高斯混合模型背景建模、光流法、SIFT算法、EM(ExpectationMaximization)算法都是公知的。

Claims (4)

1.基于高斯混合模型的人群中异常行为的检测方法，其特征在于具体步骤如下：
第一步，输入视频序列并进行预处理：
(1.1)利用高斯混合模型对输入视频进行背景建模：
将摄像头采集的含有人群的视频序列输入到计算机中，输入的视频帧为N帧，每帧图像共有L×H个像素点，将输入的所有视频帧转化为灰度图像Ii，其中i＝1,…,N；
对第i帧灰度图像Ii中每个像素点建立K个高斯混合模型，每个高斯混合模型共有四个参数：优先级s、权重w、均值m和方差v，首先将第i帧灰度图像Ii中的每个像素点的灰度值与对应的K个高斯混合模型逐个进行匹配，然后根据该像素点的匹配情况更新与其对应的高斯混合模型，匹配和更新的公式如下：
Figure FDA0002308691030000011
其中，Ii(x,y)表示第i帧灰度图像Ii位于坐标(x,y)处的灰度值，mk表示该坐标对应的第k个高斯混合模型的均值，1≤k≤K，vk表示第k个高斯混合模型的方差，α为学习效率，wk为第k个高斯混合模型的权重，sk为优先级，更新的过程是，当第i帧灰度图像Ii中某像素点(x,y)处的灰度值Ii(x,y)与其第k个高斯混合模型匹配，即满足公式(1a)，则判断该像素点为背景点，并将其灰度值设置为0，然后根据公式(1b)-(1e)更新第k个高斯混合模型的四个参数，反之当像素点(x,y)处的灰度值Ii(x,y)与其k个高斯混合模型均不匹配时，即不满足公式(1a)，则该像素点为前景点，并将其灰度值置为255，同时将该像素点的原始灰度值Ii(x,y)作为其对应的K个高斯混合模型中优先级最低的模型的均值mk；经过上述高斯混合模型的匹配与更新后，得到二值图像
Figure FDA0002308691030000012
二值图像
Figure FDA0002308691030000013
中的前景区域，即为初始的ROI，由此完成利用高斯混合模型对输入视频进行背景建模；
(1.2)形态学处理：
对上述(1.1)步得到的ROI进行中值滤波，再进行两次膨胀处理，填充ROI空洞，再将二值图像
Figure FDA0002308691030000014
和第i帧灰度图像Ii进行“与”操作，保留第i帧灰度图像Ii与二值图像
Figure FDA0002308691030000015
中前景区域位置相同的像素值，并将背景区域像素值设置为255，得到只含有运动物体的图像Ii′，由此完成形态学处理；
第二步，提取ROI光流运动特征和SIFT运动特征：
(2.1)提取ROI各像素点的光流运动特征：
利用金字塔LK光流法检测出上述(1.2)步得到的只含有运动物体的图像Ii′和只含有运动物体的图像I′i+4中所有对应ROI内像素的位置坐标(x,y)和(x′,y′)，利用欧式距离公式计算两点之间的距离，得到各像素点的光流运动特征Fi，所用欧式距离公式(2)如下：
Fi(x,y)＝((x′-x)2+(y′-y)2)1/2 (2)，
其中Fi(x,y)为第i时刻只含有运动物体的图像I′i在4帧时间段内像素点的移动距离，即坐标点(x,y)处的像素点的光流运动特征Fi，由此得到ROI各像素点的光流运动特征；
(2.2)提取ROI中图像I′i的SIFT运动特征：
对上述(1.2)步得到的只含有运动物体的图像I′i和只含有运动物体的图像I′i+4提取SIFT运动特征，得到只含有运动物体的图像I′i和只含有运动物体的图像I′i+4的所有SIFT特征点描述，匹配上述I′i与I′i+4两幅图像的SIFT特征点，同时用RACSAN算法对匹配结果进行筛选，得到上述图像I′i与图像I′i+4匹配的特征点
Figure FDA0002308691030000021
与
Figure FDA0002308691030000022
由欧式距离公式(2)计算特征点
Figure FDA0002308691030000023
与
Figure FDA0002308691030000024
在4帧时间段内的移动距离，得到ROI中第i时刻只含有运动物体的图像I′i的SIFT运动特征Si；
第三步，按图像子块分配运动特征：
首先将上述(1.2)步得到的只含有运动物体的图像I′i分成M×M的不重叠的图像子块，然后将上述第二步得到的光流运动特征Fi和SIFT运动特征Si分别分配于对应的分块后的图像子块中，并将每一子块q中的光流运动特征Fi,q和SIFT运动特征Si,q串联成[Fi,q Si,q]，该q＝1,2,…,M×M，得到只含有运动物体的图像I′i中的每个图像子块的运动特征序列ti,q＝[ti,q,1,ti,q,2,…,ti,q,l]，其中i为所在帧序号，q为所在子块序号，l为第i帧第q个子块中包含光流运动特征点个数和SIFT运动特征点个数的总和，由此完成按图像子块分配运动特征；
第四步，利用最大期望EM算法训练高斯混合模型：
在上述三个步骤处理完所有输入视频图像后，将训练视频中每帧图像相应位置的子块的运动特征，包括光流运动特征Fi,q和SIFT运动特征Si,q，按照视频序列顺序串联后得到整个视频在每个子块的运动特征序列Tq＝[t1,q,t2,q,…,tN,q]，对每个子块建立R个高斯混合模型，使得每个子块对应R个高斯混合模型，用最大期望EM算法对高斯混合模型进行训练，至完成利用最大期望EM算法训练高斯混合模型；
第五步，检测人群中异常行为的图像：
将摄像头采集的待检测的含有人群的视频序列输入到计算机中，将输入的所有待检测的视频帧转化为灰度图像
Figure FDA0002308691030000025
其中i＝1,…,N，对待检测的第i帧灰度图像
Figure FDA0002308691030000026
由上述第一、二、三步的方法得到该图像
Figure FDA0002308691030000027
中第q个图像子块的运动特征序列ti,q，判断其中第j个特征ti,q,j是否符合上述第四步中对应利用最大期望EM算法训练的子块高斯混合模型，判断公式(4)如下：
Figure FDA0002308691030000028
公式(4)中，mq,r为第q个图像子块中第r个高斯模型的均值，vq,r为第q个图像子块中第r个高斯模型的方差，对于满足上述判断公式(4)的高斯模型的ti,q,j，则判断该特征属于正常运动特征，反之则判断为异常运动特征，统计每个图像子块中异常运动特征的个数，将图像子块中异常特征个数超过三个的图像子块判断为异常块，对该异常块进行标注，并判断该图像
Figure FDA0002308691030000029
为人群中异常行为的图像，由此检测出人群中异常行为的图像；
至此完成人群中异常行为的检测。
2.根据权利要求1所述基于高斯混合模型的人群中异常行为的检测方法，其特征在于：所述输入的视频帧为N帧，其中，在UMN数据库中N为7739帧，在UCSD数据库的Ped1场景中N为14000帧，在UCSD数据库的Ped2场景中N为5040帧。
3.根据权利要求1所述基于高斯混合模型的人群中异常行为的检测方法，其特征在于：所述每帧图像共有L×H个像素点，其中，在UMN数据库L×H为320×240像素，在UCSD数据库的Ped1场景中L×H为238×158像素，在UCSD数据库的Ped2场景中L×H为360×240像素。
4.根据权利要求1所述基于高斯混合模型的人群中异常行为的检测方法，其特征在于：所述最大期望EM算法操作如下：输入第q个子块的运动特征序列Tq，先根据如下公式(3d)计算后验概率β，再按如下公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，
Figure FDA0002308691030000031
公式(3)中，如公式(3d)所示，B为第q个子块的运动特征序列Tq的长度，Tq,b为第q个子块的运动特征序列Tq中第b个特征，βb,r为后验概率；如公式(3e)所示，Nr(Tq,b,mq,r,vq,r)为第r个高斯模型的概率分布密度函数；如公式(3f)所示，循环输入第q个子块的运动特征序列Tq，更新模型参数，直到第q个子块的运动特征序列Tq的概率P(Tq|(mq,vq))不再变化时，将每个子块的每个高斯模型的均值和方差保存下来，作为异常判断的参数，
重复输入第q个子块的运动特征序列Tq，先根据公式(3d)计算后验概率β，再按公式(3a)、(3b)和(3c)对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r计算期望，这先后两步操作，更新第r个高斯模型，利用公式(3f)对迭代进行终止判决，至Tq的概率P(Tq|(mq,vq))不再变化，迭代终止，完成对第q个子块中第r个高斯模型的三个参数：权重wq,r、均值mq,r和方差vq,r的计算期望。
CN201611136453.2A 2016-12-12 2016-12-12 基于高斯混合模型的人群中异常行为的检测方法 Expired - Fee Related CN106778595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611136453.2A CN106778595B (zh) 2016-12-12 2016-12-12 基于高斯混合模型的人群中异常行为的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611136453.2A CN106778595B (zh) 2016-12-12 2016-12-12 基于高斯混合模型的人群中异常行为的检测方法

Publications (2)

Publication Number Publication Date
CN106778595A CN106778595A (zh) 2017-05-31
CN106778595B true CN106778595B (zh) 2020-04-07

Family

ID=58875308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611136453.2A Expired - Fee Related CN106778595B (zh) 2016-12-12 2016-12-12 基于高斯混合模型的人群中异常行为的检测方法

Country Status (1)

Country Link
CN (1) CN106778595B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596045B (zh) * 2018-04-02 2021-08-20 四川大学 一种基于空中监控平台的群体异常行为检测方法
CN108647649B (zh) * 2018-05-14 2021-10-01 中国科学技术大学 一种视频中异常行为的检测方法
CN108846344B (zh) * 2018-06-05 2022-05-17 中南大学 一种融合深度学习的行人姿势多特征智能辨识方法
CN108985630A (zh) * 2018-07-17 2018-12-11 国网安徽省电力有限公司 一种工单的分析方法和装置
CN109034092A (zh) * 2018-08-09 2018-12-18 燕山大学 用于监控系统的异常事件检测方法
CN109359519B (zh) * 2018-09-04 2021-12-07 杭州电子科技大学 一种基于深度学习的视频异常行为检测方法
CN111126115A (zh) * 2018-11-01 2020-05-08 顺丰科技有限公司 暴力分拣行为识别方法和装置
CN109359622B (zh) * 2018-11-08 2021-07-09 西北工业大学 一种基于高斯混合模型的肌电动作识别在线更新算法
CN109918995B (zh) * 2019-01-16 2023-07-28 上海理工大学 一种基于深度学习的人群异常检测方法
CN109948424A (zh) * 2019-01-22 2019-06-28 四川大学 一种基于加速度运动特征描述子的群体异常行为检测方法
CN109949337A (zh) * 2019-04-11 2019-06-28 新疆大学 基于高斯混合背景模型的运动目标检测方法及装置
CN110781853B (zh) * 2019-11-01 2022-12-27 浙江大华技术股份有限公司 人群异常检测方法以及相关装置
CN111401225B (zh) * 2020-03-13 2022-08-30 河海大学常州校区 基于改进逻辑回归分类的人群异常行为检测方法
CN113596368A (zh) * 2021-07-23 2021-11-02 深圳市警威警用装备有限公司 基于执法记录仪的信息采集方法及执法记录仪
CN113609236B (zh) * 2021-08-05 2023-07-18 中国联合网络通信集团有限公司 数据处理方法、装置及设备
CN114742788A (zh) * 2022-04-01 2022-07-12 南通高精数科机械有限公司 一种基于机器视觉的铜排缺陷检测方法及系统
CN115082870A (zh) * 2022-07-18 2022-09-20 松立控股集团股份有限公司 一种停车场异常事件检测方法
CN115187588B (zh) * 2022-09-07 2022-12-09 合肥金星智控科技股份有限公司 异物检测方法、装置及存储介质、电子设备
CN116165353B (zh) * 2023-04-26 2023-07-25 江西拓荒者科技有限公司 一种工业污染物监测数据处理方法及系统
CN117333929B (zh) * 2023-12-01 2024-02-09 贵州省公路建设养护集团有限公司 基于深度学习实现道路施工下的异常人员识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046195A (zh) * 2015-06-09 2015-11-11 浙江理工大学 基于非对称广义高斯模型的人体行为识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813528B2 (en) * 2007-04-05 2010-10-12 Mitsubishi Electric Research Laboratories, Inc. Method for detecting objects left-behind in a scene

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046195A (zh) * 2015-06-09 2015-11-11 浙江理工大学 基于非对称广义高斯模型的人体行为识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Spatio-temporal context analysis within video volumes for anomalous-event detection and localization;Nannan Li等;《Neurocomputing》;20150501;第155卷;第309-319页 *
基于自投影和灰度检索的视频帧中异常行为检测;郭迎春 等;《数据采集与处理》;20120915;第27卷(第5期);第612-619页 *

Also Published As

Publication number Publication date
CN106778595A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN106778595B (zh) 基于高斯混合模型的人群中异常行为的检测方法
Luo et al. A revisit of sparse coding based anomaly detection in stacked rnn framework
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN109919031B (zh) 一种基于深度神经网络的人体行为识别方法
EP3614308B1 (en) Joint deep learning for land cover and land use classification
CN110555368B (zh) 基于三维卷积神经网络的跌倒行为识别方法
CN111259850A (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN108932479A (zh) 一种人体异常行为检测方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN110826389B (zh) 基于注意力3d频率卷积神经网络的步态识别方法
CN110415260B (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN111723773A (zh) 遗留物检测方法、装置、电子设备及可读存储介质
CN110717863A (zh) 一种基于生成对抗网络的单图像去雪方法
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
CN112434599A (zh) 一种基于噪声通道的随机遮挡恢复的行人重识别方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN113569756A (zh) 异常行为检测与定位方法、系统、终端设备及可读存储介质
CN106033548B (zh) 基于改进字典学习的拥挤人群异常检测方法
CN115410119A (zh) 一种基于训练样本自适应生成的剧烈运动检测方法及系统
CN104200202B (zh) 一种基于累加感知机的人体上半身检测方法
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Xia et al. Abnormal event detection method in surveillance video based on temporal CNN and sparse optical flow
CN107665325A (zh) 基于原子特征袋模型的视频异常事件检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200407

Termination date: 20211212