CN104156979A - 一种基于高斯混合模型的视频中异常行为在线检测方法 - Google Patents
一种基于高斯混合模型的视频中异常行为在线检测方法 Download PDFInfo
- Publication number
- CN104156979A CN104156979A CN201410361276.2A CN201410361276A CN104156979A CN 104156979 A CN104156979 A CN 104156979A CN 201410361276 A CN201410361276 A CN 201410361276A CN 104156979 A CN104156979 A CN 104156979A
- Authority
- CN
- China
- Prior art keywords
- gaussian mixture
- mrow
- image
- mixture model
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 232
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 93
- 238000004422 calculation algorithm Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000007476 Maximum Likelihood Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 2
- 238000000638 solvent extraction Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 13
- 238000005315 distribution function Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000012821 model calculation Methods 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于高斯混合模型的视频中异常行为在线检测方法,首先从视频中提取原图像序列,对原图像序列中的每张图像执行步骤一至步骤四:步骤一,合成原图像的低分辨率图像;步骤二,分别计算原图像和低分辨率图像中的光流;步骤三,分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成图像块;步骤四,为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型;步骤五,计算图像块序列的标准高斯混合模型;步骤六,将原图像序列的下一张图像作为待检测图像,按照步骤1至步骤4计算待检测图像中每个图像块的高斯混合模型;步骤七,判断待检测图像中每个图像块是否存在异常行为;步骤八,标记异常图像块并输出。
Description
技术领域
本发明涉及一种视频流中异常行为在线检测方法,特别是将高斯混合模型应用到对光流分布的建模中。
背景技术
近年来,大量的研究人员对场景中异常行为检测问题进行了研究,并提出了一些异常行为检测方法。这些方法大致可以分为两类:基于事件检测的方法和基于统计偏离的方法。基于事件检测的方法对场景中每一个具体的异常行为进行建模,与某个异常行为相匹配运动被检测为异常行为;而基于统计偏离的方法则对场景中正常的运动进行了建模,与所有正常运动都不一致的运动被定义为异常行为。
在基于事件检测的方法中,通常假设所有的异常事件或异常行为是已知的。基于上述假设,该类方法的主要思路如下:首先,从场景数据中选取包含场景中典型异常事件的训练数据。然后,根据相应的训练数据对每一中异常事件进行建模,创建一个由异常事件构成的字典。该字典被认为包含了场景中所有可能的异常事件。接着,在字典中查找是否存在与测试视频所包含的事件相匹配的异常事件。如果匹配成功,则该测试视频中包含匹配项对应的异常事件;否则,该测试视频不包含异常行为。然而,基于事件检测的方法存在两个重要的问题:
1.需要对每一个异常事件建模,创建异常字典,这往往需要消耗大量时间用来建立字典且准确度不高。
2.这种方法的移植性差,对场景的依赖性强。
针对这些问题,我们采用基于统计偏离的方法,该方法可以进一步分为两类,一类是基于跟踪的方法,另一类是避免跟踪的方法。本专利中,采用避免跟踪的方法,与基于跟踪的方法不同,本方法不用提前识别每个对象,检测的目标为图像块,这样可以避免对象识别与跟踪错误导致的检测失败,在可以提高检测速度的同时保证了准确度。
发明内容
发明目的:本发明所要解决的技术问题是针对现有的视频中异常检测技术的不足,提供一种基于高斯混合模型的视频中异常行为在线检测方法,可以从视频中快速准确的检测出异常。
为了解决上述技术问题,本发明公开了一种基于高斯混合模型的视频中异常行为在线检测方法,首先从视频中提取原图像序列,对原图像序列中的每张图像执行步骤一至步骤四:
步骤一,合成原图像的低分辨率图像,得到原图像和低分辨率图像两种不同分辨率下的图像;
步骤二,利用Lucas-Kanade算法分别计算原图像和低分辨率图像中的光流并对得到的光流进行噪声处理;
步骤三,分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成M×N个图像块,M,N取值范围自然数;
步骤四,为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型:首先对图像块中的光流聚类,得到K个聚类中心,然后设置该图像块对应的高斯混合模型所包含的高斯分量数目为K,利用最大似然估计算法计算高斯混合模型中的最大似然估计值;最后得到该图像块对应的高斯混合模型;
步骤五,分别对原图像序列和低分辨率图像序列中相同位置处的图像块合成标准高斯混合模型:首先聚类图像块序列对应的高斯混合模型序列,然后选择聚类结果中包含高斯混合模型最多的聚类中心作为该图像块序列的标准高斯混合模型;
步骤六,将原图像序列的下一张图像作为待检测图像,按照步骤一至步骤四计算待检测图像中每个图像块的高斯混合模型;
步骤七,判断待检测图像中每个图像块是否存在异常行为;
步骤八,标记异常图像块并输出。
本发明步骤一中,低分辨率图像I′中像素点(x,y)的灰度值由原图像I中以像素点(2x,2y)为中心的5×5邻域内的灰度值合成,首先将5×5邻域内每一行5个像素按照1:4:6:4:1的比例合成出该行中间像素的灰度值:
其中h取值{-2,-1,0,1,2},f(h)表示原图像I中以像素点(2x,2y)为中心的5×5邻域内第h行5个像素按照比例合成的灰度值;然后,同样按照1:4:6:4:1的比例,合成该列中间像素的灰度值:
其中,x,y表示像素点坐标,I′(x,y)表示像素点(x,y)处的灰度值。
本发明步骤二中,利用Lucas-Kanade算法计算图像中的光流,包括以下步骤:
定义I和J为图像序列(这里的图像序列指原图像序列和低分辨率图像序列)中相邻的两张灰度图像,其中,I在前,J在后。I(px,py)和J(px,py)分别表示像素点p=[px,py]T在灰度图像I和J中的灰度值,其中px和py表示像素点p在图像中的坐标。
给定图像I上面的像素点p=[px,py]T,光流计算的目标是得到图像J上对应的像素点q=p+v=[px+vx,py+vy]T,使得I(p)与J(q)最相似。向量v=[vx,vy]T即为图像I中像素点p的光流。定义目标函数:
其中,v表示由图像I中所有像素点对应的光流构成的矩阵,w和h表示图像的宽度和高度,参数x取值1~w,参数y取值1~h,通过最小化目标函数ε(ν),可以得到图像I上每个像素点的对应的光流v。
本发明步骤三中,将图像I划分成M×N个图像块,每个图像块包含个像素点,其中w表示图像的宽度,h表示图像高度,表示宽度除以每行划分的块数后上取整,表示高度除以每列划分的块数后上取整,其中M=100,N=100。
本发明步骤四中,计算图像块的高斯混合模型包括以下步骤:
利用Mean Shift聚类算法对图像块中的光流聚类,得到K个聚类中心以及每个类别中包含的光流数目;
使用高斯混合模型描述图像块中光流的分布,其中高斯混合模型表示为:
其中,K表示高斯混合模型中高斯分量的数目,值等于光流聚类中心的数量,参数k取值1~K,ωk表示高斯混合模型中第k个高斯分量的权重,初始化为第k个类别中包含光流数目的比例,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵;
利用最大似然估计算法,学习得到K个高斯混合模型的参数ωk,uk,Σk,最终得到。
本发明步骤五中,计算图像块序列的标准高斯混合模型包括以下步骤:
利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类,聚类算法包括以下步骤:
步骤51:随机选取一个高斯混合模型为起点,计算以起点为中心的邻域内高斯混合模型的中心,高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模型构成的集合中,到其他高斯混合模型的距离之和最小的高斯混合模型;
步骤52:以中心对应的高斯混合模型为起点,继续计算以起点为中心的邻域内高斯混合模型的中心;
步骤53:重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值,停止迭代,设定该阈值为0.56,可以使迭代次数和聚类效果达到最佳效果;
步骤54:对每个未选取过的高斯混合模型,重复步骤51~步骤53,直至所有的高斯混合模型都被选取过;
该聚类算法中,两个高斯混合模型的距离使用KL散度计算,KL散度计算公式为:
g1和g2为需要计算KL散度的两个高斯混合模型,vi表示第i个光流,DKL(g1,g2)为g1和g2之间的KL散度,n表示在高斯混合模型中抽取的样本点个数;
高斯混合模型g1表示为:
其中,K1表示高斯混合模型中高斯分量的数目,参数k取值1~K1,ωk表示高斯混合模型中第k个高斯分量的权重,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵。
计算第k高斯分量分配的样本数目为:
nk=ωkn,
其中,n表示在高斯混合模型g1中抽取的样本点总数目,nk表示第k高斯分量分配的样本数目。对每个高斯分量Νk(v|uk,Σk),计算其对应的高斯分布函数:
y=Fk(v),
其中,v表示光流,y表示分布函数的值。高斯分布函数的反函数表示为:
v=F-1 k(y),
首先计算在[0,1]区间上均匀分布的nk个随机数ξs=U[0,1],然后对nk个随机数ξs分别计算vs=F-1 k(ξs),解方程求得vs。
其中,U[0,1]表示[0,1]区间上均匀分布,ξs表示第s个随机数,vs表示由第s个随机数得到的光流。
按照相同的步骤可以为高斯混合模型g2抽取相同数目的样本点。
通过高斯混合模型的聚类,得到若干个聚类中心,每个聚类包含若干个高斯混合模型,将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
本发明步骤七中,判断待检测图像中每个图像块是否存在异常行为包括以下步骤:
计算待检测图像中该图像块对应的高斯混合模型与标准高斯混合模型之间的差异得分Score1:
F和分别表示两种分辨率下图像块的高斯混合模型,G与分别表示两种分辨率下相同位置处图像块序列的标准高斯混合模型,DKL表示KL散度,其中,α=0.8;
计算图像块与邻接图像块之间的差异得分Score2:
其中,和分别表示两种分辨率下与待检测图像中该图像块相邻的高斯混合模型集合,和表示对应集合中第j个高斯混合模型,Z表示与该图像块相邻的高斯混合模型个数,j取值1~Z;
该图像块中存在异常行为的得分Score为:
Score=βScore1+(1-β)Score2,
其中,β=0.5,当Score≥η,将该图像块标记为异常块,否则标记为正常,η为阈值。
有益效果:本发明是一种基于高斯混合模型的视频中异常行为在线检测方法,不仅充分考虑到多个肢体部分的运动在运动模式的建模过程中会相互干扰,导致最终的运动模式与真实的分布不一致造成的异常检测错误,而且利用图像金字塔异常检测算法提高了系统的准确性和鲁棒性。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2a~图2d为实施例1中针对视频中人的异常行为检测效果图。
图3a~图3d为实施例2中针对视频中物的异常行为检测效果图。
具体实施方式:
本发明所述的一种基于高斯混合模型的视频中异常行为在线检测方法的基本出发点是通过对视频中运动产生的光流建立高斯混合模型,然后加上图像金字塔检测算法,在不同分辨率下对图像块中的异常行为作出判断,完成视频中异常在线检测。
下面结合图1对本发明做更加详细的解释:
首先从视频中提取原图像序列,对原图像序列中的每张图像执行步骤一~步骤四:
步骤一,低分辨率图像I′中像素点(x,y)的灰度值由原图像I中以像素点(2x,2y)为中心的5×5邻域内的灰度值合成,首先将5×5邻域内每一行5个像素按照1:4:6:4:1的比例合成出该行中间像素的灰度值:
其中h取值{-2,-1,0,1,2},f(h)表示原图像I中以像素点(2x,2y)为中心的5×5邻域内第h行5个像素按照比例合成的灰度值;然后,同样按照1:4:6:4:1的比例,合成该列中间像素的灰度值:
其中,x,y表示像素点坐标,I′(x,y)表示像素点(x,y)处的灰度值。
步骤二,利用Lucas-Kanade算法计算图像中的光流,包括以下步骤:
定义I和J为图像序列(这里的图像序列指原图像序列和低分辨率图像序列)中相邻的两张灰度图像,其中,I在前,J在后。I(px,py)和J(px,py)分别表示像素点p=[px,py]T在灰度图像I和J中的灰度值,其中px和py表示像素点p在图像中的坐标。
给定图像I上面的像素点p=[px,py]T,光流计算的目标是得到图像J上对应的像素点q=p+v=[px+vx,py+vy]T,使得I(p)与J(q)最相似。向量v=[vx,vy]T即为图像I中像素点p的光流。定义目标函数:
其中,v表示由图像I中所有像素点对应的光流构成的矩阵,w和h表示图像的宽度和高度,参数x取值1~w,参数y取值1~h,通过最小化目标函数ε(v),可以得到图像I上每个像素点的对应的光流v。
步骤三,将图像I划分成M×N个图像块,每个图像块包含个像素点,其中w表示图像的宽度,h表示图像高度,表示宽度除以每行划分的块数后上取整,表示高度除以每列划分的块数后上取整,其中M=100,N=100。
步骤四,计算图像块的高斯混合模型包括以下步骤:
利用Mean Shift聚类算法对图像块中的光流聚类,得到K个聚类中心以及每个类别中包含的光流数目;
使用高斯混合模型描述图像块中光流的分布,其中高斯混合模型表示为:
其中,K表示高斯混合模型中高斯分量的数目,值等于光流聚类中心的数量,参数k取值1~K,ωk表示高斯混合模型中第k个高斯分量的权重,初始化为第k个类别中包含光流数目的比例,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵;
利用最大似然估计算法,学习得到K个高斯混合模型的参数ωk,uk,Σk,最终得到。
步骤五,计算图像块序列的标准高斯混合模型包括以下步骤:
利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类,聚类算法包括以下步骤:
步骤51:随机选取一个高斯混合模型为起点,计算以起点为中心的邻域内高斯混合模型的中心,高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模型构成的集合中,到其他高斯混合模型的距离之和最小的高斯混合模型;
步骤52:以中心对应的高斯混合模型为起点,继续计算以起点为中心的邻域内高斯混合模型的中心;
步骤53:重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值,停止迭代,设定该阈值为0.56,可以使迭代次数和聚类效果达到最佳效果;
步骤54:对每个未选取过的高斯混合模型,重复步骤51~步骤53,直至所有的高斯混合模型都被选取过;
该聚类算法中,两个高斯混合模型的距离使用KL散度计算,KL散度计算公式为:
g1和g2为需要计算KL散度的两个高斯混合模型,vi表示第i个光流,DKL(g1,g2)为g1和g2之间的KL散度,n表示在高斯混合模型中抽取的样本点个数;
高斯混合模型g1表示为:
其中,K1表示高斯混合模型中高斯分量的数目,参数k取值1~K1,ωk表示高斯混合模型中第k个高斯分量的权重,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵。
计算第k高斯分量分配的样本数目为:
nk=ωkn,
其中,n表示在高斯混合模型g1中抽取的样本点总数目,nk表示第k高斯分量分配的样本数目。对每个高斯分量Νk(v|uk,Σk),计算其对应的高斯分布函数:
y=Fk(v),
其中,v表示光流,y表示分布函数的值。高斯分布函数的反函数表示为:
v=F-1 k(y),
首先计算在[0,1]区间上均匀分布的nk个随机数ξs=U[0,1],然后对nk个随机数ξs分别计算vs=F-1 k(ξs),解方程求得vs。
其中,U[0,1]表示[0,1]区间上均匀分布,ξs表示第s个随机数,vs表示由第s个随机数得到的光流。
按照相同的步骤可以为高斯混合模型g2抽取相同数目的样本点。
通过高斯混合模型的聚类,得到若干个聚类中心,每个聚类包含若干个高斯混合模型,将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
步骤六,将原图像序列的下一张图像作为待检测图像,按照步骤一至步骤四计算待检测图像中每个图像块的高斯混合模型;
步骤七,判断待检测图像中每个图像块是否存在异常行为包括以下步骤:
计算待检测图像中该图像块对应的高斯混合模型与标准高斯混合模型之间的差异得分Score1:
F和分别表示两种分辨率下图像块的高斯混合模型,G与分别表示两种分辨率下相同位置处图像块序列的标准高斯混合模型,DKL表示KL散度,其中,α=0.8;
计算图像块与邻接图像块之间的差异得分Score2:
其中,和分别表示两种分辨率下与待检测图像中该图像块相邻的高斯混合模型集合,和表示对应集合中第j个高斯混合模型,Z表示与该图像块相邻的高斯混合模型个数,j取值1~Z;
该图像块中存在异常行为的得分Score为:
Score=βScore1+(1-β)Score2,
其中,β=0.5,当Score≥η,将该图像块标记为异常块,否则标记为正常,η为阈值。
步骤八,将存在异常的图像块标记后输出显示。
实施例1
本实施例针对视频中人的异常行为检测,包括以下部分:
1.图像序列提取与分类
本实施例在公共数据集UCSD上进行实验。该数据集包含两个从固定视角俯视拍摄的拥挤场景视频数据,共包含有98个视频。具体地,对公共数据集UCSD中每一个视频,按照每个视频中包含图像的数目,将前10%张图像作为初始的训练图像,后90%张图像作为待检测图像。本实施例可以更具体的分为两个部分:第一个部分对训练图像中的每张图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,最终计算得到每个图像块位置处标准高斯混合模型。第二个部分依次对待检测图像中每个图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,最后计算待检测图像中是否存在异常图像块。
2.合成低分辨率图像
按照图像金字塔原理,合成每个原图像I对应的低分辨率图像I′,其中I′中任意像素点(x,y)的灰度值由原图像I中以像素点(2x,2y)为中心的5×5邻域内的灰度值合成,首先将5×5邻域内每一行5个像素按照1:4:6:4:1的比例合成出该行中间像素的灰度值:
其中h取值{-2,-1,0,1,2},f(h)表示原图像I中以像素点(2x,2y)为中心的5×5邻域内第h行5个像素按照比例合成的灰度值;然后,同样按照1:4:6:4:1的比例,合成该列中间像素的灰度值:
其中,x,y表示像素点坐标,I′(x,y)表示像素点(x,y)处的灰度值。
3.光流特征计算
定义I和J为图像序列(这里的图像序列指原图像序列和低分辨率图像序列)中相邻的两张灰度图像,其中,I在前,J在后。I(px,py)和J(px,py)分别表示像素点p=[px,py]T在灰度图像I和J中的灰度值,其中px和py表示像素点p在图像中的坐标。
给定图像I上面的像素点p=[px,py]T,光流计算的目标是得到图像J上对应的像素点q=p+v=[px+vx,py+vy]T,使得I(p)与J(q)最相似。向量v=[vx,vy]T即为图像I中像素点p的光流。定义目标函数:
其中,v表示由图像I中所有像素点对应的光流构成的矩阵,w和h表示图像的宽度和高度,参数x取值1~w,参数y取值1~h,通过最小化目标函数ε(v),可以得到图像I上每个像素点的对应的光流v。
对得到的光流归一化处理后,按照光流的长度排序,舍弃光流中长度位于后10%的光流,通过过滤掉弱光流可以减少微弱光流对系统的干扰,增强检测的鲁棒性。
4.图像块划分
将图像I划分成M×N个图像块,每个图像块包含个像素点,其中w表示图像的宽度,h表示图像高度,表示宽度除以每行划分的块数后上取整,表示高度除以每列划分的块数后上取整,其中M=100,N=100。
5.高斯混合模型学习
首先利用Mean Shift聚类算法对图像块中的光流聚类,得到K个聚类中心以及每个类别中包含的光流数目;
使用高斯混合模型描述图像块中光流的分布,其中高斯混合模型表示为:
其中,K表示高斯混合模型中高斯分量的数目,值等于光流聚类中心的数量,参数k取值1~K,ωk表示高斯混合模型中第k个高斯分量的权重,初始化为第k个类别中包含光流数目的比例,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵;
利用最大似然估计算法,学习得到K个高斯混合模型的参数ωk,uk,Σk,最终得到。
6.标准高斯混合模型学习
利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类,聚类算法包括以下步骤:
步骤51:随机选取一个高斯混合模型为起点,计算以起点为中心的邻域内高斯混合模型的中心,高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模型构成的集合中,到其他高斯混合模型的距离之和最小的高斯混合模型;
步骤52:以中心对应的高斯混合模型为起点,继续计算以起点为中心的邻域内高斯混合模型的中心;
步骤53:重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值,停止迭代,设定该阈值为0.56,可以使迭代次数和聚类效果达到最佳效果;
步骤54:对每个未选取过的高斯混合模型,重复步骤51~步骤53,直至所有的高斯混合模型都被选取过;
该聚类算法中,两个高斯混合模型的距离使用KL散度计算,KL散度计算公式为:
g1和g2为需要计算KL散度的两个高斯混合模型,vi表示第i个光流,DKL(g1,g2)为g1和g2之间的KL散度,n表示在高斯混合模型中抽取的样本点个数,本实施例中将抽取样本的数目设置为图像块中包含像素点的数目;
高斯混合模型g1表示为:
其中,K1表示高斯混合模型中高斯分量的数目,参数k取值1~K1,ωk表示高斯混合模型中第k个高斯分量的权重,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵。
计算第k高斯分量分配的样本数目为:
nk=ωkn,
其中,n表示在高斯混合模型g1中抽取的样本点总数目,nk表示第k高斯分量分配的样本数目。对每个高斯分量Νk(v|uk,Σk),计算其对应的高斯分布函数:
y=Fk(v),
其中,v表示光流,y表示分布函数的值。高斯分布函数的反函数表示为:
v=F-1 k(y),
首先计算在[0,1]区间上均匀分布的nk个随机数ξs=U[0,1],然后对nk个随机数ξs分别计算vs=F-1 k(ξs),解方程求得vs。
其中,U[0,1]表示[0,1]区间上均匀分布,ξs表示第s个随机数,vs表示由第s个随机数得到的光流。
按照相同的步骤可以为高斯混合模型g2抽取相同数目的样本点。
通过高斯混合模型的聚类,得到若干个聚类中心,每个聚类包含若干个高斯混合模型,将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
7.输入待检测图像
对视频中前10%的图像完成训练后,每个图像块位置处对应一个标准高斯混合模型,视频中后90%的图像作为待检测的图像,依次对待检测图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,每个图像块可以得到对应的高斯混合模型。
8.计算待检测图像包含的图像块中是否存在异常
计算待检测图像中图像块对应的高斯混合模型与标准高斯混合模型之间的差异得分Score1:
F和分别表示两种分辨率下图像块的高斯混合模型,G与分别表示两种分辨率下相同位置处图像块序列的标准高斯混合模型,DKL表示KL散度,其中,α=0.8;
计算图像块与邻接图像块之间的差异得分Score2:
其中,和分别表示两种分辨率下与待检测图像中该图像块相邻的高斯混合模型集合,和表示对应集合中第j个高斯混合模型,Z表示与该图像块相邻的高斯混合模型个数,j取值1~Z;
该图像块中存在异常行为的得分Score为:
Score=βScore1+(1-β)Score2,
其中,β=0.5,当Score≥η,将该图像块标记为异常块,否则标记为正常,η为阈值。
9.将存在异常的图像块标记后输出显示。
在配置为:处理器Pentium(R)Dual‐Core CPU E6700,主频3.2GHz;内存8GB;硬盘500GB;操作系统Windows 7 Ultimate 64位;编程环境Matlab R2011a的计算机上,本发明提出的方法可检测的异常行为类别有3种,检测准确度90%。
实施例2
本实施例针对视频中物的异常行为检测,包括以下部分:
1.图像序列提取与分类
为了验证该方法对视频中物异常检测的效果,我们从现实场景中采集了一个视频集,该视频集包含包100个视频,其中每个视频中包含车辆信息。具体地,对视频集中每一个视频,按照每个视频中包含图像的数目,将前10%张图像作为初始的训练图像,后90%张图像作为待检测图像。本实施例可以更具体的分为两个部分:第一个部分对训练图像中的每张图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,最终计算得到每个图像块位置处标准高斯混合模型。第二个部分依次对待检测图像中每个图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,最后计算待检测图像中是否存在异常图像块。
2.合成低分辨率图像
按照图像金字塔原理,合成每个原图像I对应的低分辨率图像I′,其中I′中任意像素点(x,y)的灰度值由原图像I中以像素点(2x,2y)为中心的5×5邻域内的灰度值合成,首先将5×5邻域内每一行5个像素按照1:4:6:4:1的比例合成出该行中间像素的灰度值:
其中h取值{-2,-1,0,1,2},f(h)表示原图像I中以像素点(2x,2y)为中心的5×5邻域内第h行5个像素按照比例合成的灰度值;然后,同样按照1:4:6:4:1的比例,合成该列中间像素的灰度值:
其中,x,y表示像素点坐标,I′(x,y)表示像素点(x,y)处的灰度值。
3.光流特征计算
定义I和J为图像序列(这里的图像序列指原图像序列和低分辨率图像序列)中相邻的两张灰度图像,其中,I在前,J在后。I(px,py)和J(px,py)分别表示像素点p=[px,py]T在灰度图像I和J中的灰度值,其中px和py表示像素点p在图像中的坐标。
给定图像I上面的像素点p=[px,py]T,光流计算的目标是得到图像J上对应的像素点q=p+v=[px+vx,py+vy]T,使得I(p)与J(q)最相似。向量v=[vx,vy]T即为图像I中像素点p的光流。定义目标函数:
其中,v表示由图像I中所有像素点对应的光流构成的矩阵,w和h表示图像的宽度和高度,参数x取值1~w,参数y取值1~h,通过最小化目标函数ε(v),可以得到图像I上每个像素点的对应的光流v。
对得到的光流归一化处理后,按照光流的长度排序,舍弃光流中长度位于后10%的光流,通过过滤掉弱光流可以减少微弱光流对系统的干扰,增强检测的鲁棒性。
4.图像块划分
将图像I划分成M×N个图像块,每个图像块包含个像素点,其中w表示图像的宽度,h表示图像高度,表示宽度除以每行划分的块数后上取整,表示高度除以每列划分的块数后上取整,考虑到车辆的体积比较大,每台车可能包含在多个图像块中,通过增加图像块的大小使车辆异常检测更加准确,设置M=80,N=80。
5.高斯混合模型学习
首先利用Mean Shift聚类算法对图像块中的光流聚类,得到K个聚类中心以及每个类别中包含的光流数目;
使用高斯混合模型描述图像块中光流的分布,其中高斯混合模型表示为:
其中,K表示高斯混合模型中高斯分量的数目,值等于光流聚类中心的数量,参数k取值1~K,ωk表示高斯混合模型中第k个高斯分量的权重,初始化为第k个类别中包含光流数目的比例,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵;
利用最大似然估计算法,学习得到K个高斯混合模型的参数ωk,uk,Σk,最终得到。
6.标准高斯混合模型学习
利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类,聚类算法包括以下步骤:
步骤51:随机选取一个高斯混合模型为起点,计算以起点为中心的邻域内高斯混合模型的中心,高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模型构成的集合中,到其他高斯混合模型的距离之和最小的高斯混合模型;
步骤52:以中心对应的高斯混合模型为起点,继续计算以起点为中心的邻域内高斯混合模型的中心;
步骤53:重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值,停止迭代,设定该阈值为0.56,可以使迭代次数和聚类效果达到最佳效果;
步骤54:对每个未选取过的高斯混合模型,重复步骤51~步骤53,直至所有的高斯混合模型都被选取过;
该聚类算法中,两个高斯混合模型的距离使用KL散度计算,KL散度计算公式为:
g1和g2为需要计算KL散度的两个高斯混合模型,vi表示第i个光流,DKL(g1,g2)为g1和g2之间的KL散度,n表示在高斯混合模型中抽取的样本点个数,本实施例中将抽取样本的数目设置为图像块中包含像素点的数目;
高斯混合模型g1表示为:
其中,K1表示高斯混合模型中高斯分量的数目,参数k取值1~K1,ωk表示高斯混合模型中第k个高斯分量的权重,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵。
计算第k高斯分量分配的样本数目为:
nk=ωkn,
其中,n表示在高斯混合模型g1中抽取的样本点总数目,nk表示第k高斯分量分配的样本数目。对每个高斯分量Νk(v|uk,Σk),计算其对应的高斯分布函数:
y=Fk(v),
其中,v表示光流,y表示分布函数的值。高斯分布函数的反函数表示为:
v=F-1 k(y),
首先计算在[0,1]区间上均匀分布的nk个随机数ξs=U[0,1],然后对nk个随机数ξs分别计算vs=F-1 k(ξs),解方程求得vs。
其中,U[0,1]表示[0,1]区间上均匀分布,ξs表示第s个随机数,vs表示由第s个随机数得到的光流。
按照相同的步骤可以为高斯混合模型g2抽取相同数目的样本点。
通过高斯混合模型的聚类,得到若干个聚类中心,每个聚类包含若干个高斯混合模型,将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
7.输入待检测图像
对视频中前10%的图像完成训练后,每个图像块位置处对应一个标准高斯混合模型,视频中后90%的图像作为待检测的图像,依次对待检测图像分别进行低分辨率图像合成,光流特征计算,划分图像块以及高斯混合模型计算,每个图像块可以得到对应的高斯混合模型。
8.计算待检测图像包含的图像块中是否存在异常
计算待检测图像中图像块对应的高斯混合模型与标准高斯混合模型之间的差异得分Score1:
F和分别表示两种分辨率下图像块的高斯混合模型,G与分别表示两种分辨率下相同位置处图像块序列的标准高斯混合模型,DKL表示KL散度,其中,α=0.8;
计算图像块与邻接图像块之间的差异得分Score2:
其中,和分别表示两种分辨率下与待检测图像中该图像块相邻的高斯混合模型集合,和表示对应集合中第j个高斯混合模型,Z表示与该图像块相邻的高斯混合模型个数,j取值1~Z;
该图像块中存在异常行为的得分Score为:
Score=βScore1+(1-β)Score2,
其中,β=0.5,当Score≥η,将该图像块标记为异常块,否则标记为正常,η为阈值。
9.将存在异常的图像块标记后输出显示。
在配置为:处理器Pentium(R)Dual‐Core CPU E6700,主频3.2GHz;内存8GB;硬盘500GB;操作系统Windows 7 Ultimate 64位;编程环境Matlab R2011a的计算机上,本发明提出的方法可检测的异常行为类别有3种,检测准确度95%。
如图2a~图2d所示,为实施例1中针对视频中人的异常行为检测效果图,如图2a~图2d中的黑色矩形框标注视频中存在异常行为的人,在视频中该人突然改变运动方向。
如图3a~图3d所示,为实施例2中针对视频中物的异常行为检测效果图,图3a~图3d中的黑色矩形框标注视频中存在异常行为的车辆。
本发明提供了一种基于高斯混合模型的视频中异常行为在线检测方法的思路及方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (4)
1.一种基于高斯混合模型的视频中异常行为在线检测方法,其特征在于,包括以下步骤:
从视频中提取原图像序列,对原图像序列中的每张图像执行步骤一至步骤四:
步骤一,合成原图像的低分辨率图像,得到原图像和低分辨率图像两种不同分辨率下的图像;
步骤二,利用Lucas-Kanade算法分别计算原图像和低分辨率图像中的光流并对得到的光流进行噪声处理;
步骤三,分别按照原图像和低分辨率图像各自的划分方法将这两种图像划分成M×N个图像块,M,N取值范围自然数;
步骤四,为原图像和低分辨率图像中每个图像块计算对应的高斯混合模型:首先对图像块中的光流聚类,得到K个聚类中心,然后设置该图像块对应的高斯混合模型所包含的高斯分量数目为K,利用最大似然估计算法计算高斯混合模型中的最大似然估计值,得到该图像块对应的高斯混合模型;
步骤五,分别对原图像序列和低分辨率图像序列中相同位置处的图像块合成标准高斯混合模型:首先聚类图像块序列对应的高斯混合模型序列,然后选择聚类结果中包含高斯混合模型最多的聚类中心作为该图像块序列的标准高斯混合模型;
步骤六,将原图像序列的下一张图像作为待检测图像,按照步骤一至步骤四计算待检测图像中每个图像块的高斯混合模型;
步骤七,判断待检测图像中每个图像块是否存在异常行为;
步骤八,标记异常图像块并输出。
2.根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法,其特征在于,步骤四包括以下步骤:
利用Mean Shift聚类算法对图像块中的光流聚类,得到K个聚类中心以及每个类别中包含的光流数目;
使用高斯混合模型描述图像块中光流的分布,其中高斯混合模型表示为:
其中,K表示高斯混合模型中高斯分量的数目,值等于光流聚类中心的数量,参数k取值1~K,ωk表示高斯混合模型中第k个高斯分量的权重,初始化为第k个类别中包含光流数目的比例,v表示光流,Νk(v|uk,Σk)表示第k个高斯分量,uk和Σk表示第k个高斯分量的均值和协方差矩阵;
利用最大似然估计算法,学习得到K个高斯混合模型的参数ωk,uk,Σk,最终得到。
3.根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法,其特征在于,步骤五包括以下步骤:
利用改进的Mean Shift聚类算法对步骤四得到的高斯混合模型聚类,聚类算法包括以下步骤:
步骤51:随机选取一个高斯混合模型为起点,计算以起点为中心的邻域内高斯混合模型的中心,高斯混合模型邻域内的中心表示为在该高斯混合模型和其邻域内的高斯混合模型构成的集合中,到其他高斯混合模型的距离之和最小的高斯混合模型;
步骤52:以中心对应的高斯混合模型为起点,继续计算以起点为中心的邻域内高斯混合模型的中心;
步骤53:重复步骤51和步骤52,直至连续两个中心的距离小于设定阈值,停止迭代;
步骤54:对每个未选取过的高斯混合模型,重复步骤51~步骤53,直至所有的高斯混合模型都被选取过;
该聚类算法中,两个高斯混合模型的距离使用KL散度计算,KL散度计算公式为:
g1和g2为需要计算KL散度的两个高斯混合模型,vi表示第i个光流,DKL(g1,g2)为g1和g2之间的KL散度,n表示在高斯混合模型中抽取的样本点个数;
高斯混合模型g1和g2的抽样过程分为两步:首先按照各自高斯混合模型中高斯分量的权重为每个高斯分量分配样本点数目,然后再根据该高斯分量的高斯概率密度函数抽样样本点;
通过高斯混合模型的聚类,得到若干个聚类中心,每个聚类包含若干个高斯混合模型,将聚类结果中包含高斯混合模型最多的聚类中心作为图像块序列的标准高斯混合模型。
4.根据权利要求1所述的一种基于高斯混合模型的视频中异常行为在线检测方法,其特征在于,步骤七包括以下步骤:
计算待检测图像中该图像块对应的高斯混合模型与标准高斯混合模型之间的差异得分Score1:
F和分别表示两种分辨率下图像块的高斯混合模型,G与分别表示两种分辨率下相同位置处图像块序列的标准高斯混合模型,DKL表示KL散度,其中,α=0.8;
计算图像块与邻接图像块之间的差异得分Score2:
其中,和分别表示两种分辨率下与图像块相邻的高斯混合模型集合,和表示对应集合中第j个高斯混合模型,Z表示与该图像块相邻的高斯混合模型个数,j取值1~Z;
该图像块中存在异常行为的得分Score为:
Score=βScore1+(1-β)Score2,
其中,β=0.5,当Score≥η,将该图像块标记为异常块,否则标记为正常,η为阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410361276.2A CN104156979B (zh) | 2014-07-25 | 2014-07-25 | 一种基于高斯混合模型的视频中异常行为在线检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410361276.2A CN104156979B (zh) | 2014-07-25 | 2014-07-25 | 一种基于高斯混合模型的视频中异常行为在线检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156979A true CN104156979A (zh) | 2014-11-19 |
CN104156979B CN104156979B (zh) | 2016-09-14 |
Family
ID=51882468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410361276.2A Expired - Fee Related CN104156979B (zh) | 2014-07-25 | 2014-07-25 | 一种基于高斯混合模型的视频中异常行为在线检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156979B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107292879A (zh) * | 2017-07-17 | 2017-10-24 | 电子科技大学 | 一种基于图像分析的金属板材表面异常检测方法 |
CN107480695A (zh) * | 2015-02-06 | 2017-12-15 | 安徽大学 | 一种物体轮廓检测识别方法 |
CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
CN111709344A (zh) * | 2020-06-09 | 2020-09-25 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
US20210312238A1 (en) * | 2019-12-17 | 2021-10-07 | Robert Bosch Gmbh | System and method for detecting abnormal passenger behavior in autonomous vehicles |
CN113761048A (zh) * | 2021-11-10 | 2021-12-07 | 中大检测(湖南)股份有限公司 | 地质灾害异常数据可视化处理方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100568266C (zh) * | 2008-02-25 | 2009-12-09 | 北京理工大学 | 一种基于运动场局部统计特征分析的异常行为检测方法 |
US8290253B1 (en) * | 2009-10-30 | 2012-10-16 | Adobe Systems Incorporated | Method and apparatus for applying Gaussian Mixture Models to local image patches using an adaptive color lookup table |
CN102629384B (zh) * | 2012-02-28 | 2014-10-08 | 成都三泰电子实业股份有限公司 | 视频监控中异常行为的检测方法 |
-
2014
- 2014-07-25 CN CN201410361276.2A patent/CN104156979B/zh not_active Expired - Fee Related
Non-Patent Citations (3)
Title |
---|
NIDA RASHEED ET AL.: "Tracking and Abnormal behavior detection in video surveillance using optical flow and neural networks", 《2014 28TH INTERNATIONAL CONFERENCE ON ADVANCED INFORMATION NETWORKING AND APPLICATIONS WORKSHOPS》 * |
曹妍妍: "交通视频中车辆异常行为检测及应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
杜鉴豪: "基于区域光流特征的异常行为检测", 《浙江大学学报(工学版)》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107480695A (zh) * | 2015-02-06 | 2017-12-15 | 安徽大学 | 一种物体轮廓检测识别方法 |
CN107292879A (zh) * | 2017-07-17 | 2017-10-24 | 电子科技大学 | 一种基于图像分析的金属板材表面异常检测方法 |
CN107292879B (zh) * | 2017-07-17 | 2019-08-20 | 电子科技大学 | 一种基于图像分析的金属板材表面异常检测方法 |
CN108596045A (zh) * | 2018-04-02 | 2018-09-28 | 四川大学 | 一种基于空中监控平台的群体异常行为检测方法 |
US20210312238A1 (en) * | 2019-12-17 | 2021-10-07 | Robert Bosch Gmbh | System and method for detecting abnormal passenger behavior in autonomous vehicles |
US11783636B2 (en) * | 2019-12-17 | 2023-10-10 | Robert Bosch Gmbh | System and method for detecting abnormal passenger behavior in autonomous vehicles |
CN111709344A (zh) * | 2020-06-09 | 2020-09-25 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
CN111709344B (zh) * | 2020-06-09 | 2023-10-17 | 上海海事大学 | 一种基于高斯混合模型的epll图像去光照识别处理方法 |
CN113761048A (zh) * | 2021-11-10 | 2021-12-07 | 中大检测(湖南)股份有限公司 | 地质灾害异常数据可视化处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104156979B (zh) | 2016-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN104156979B (zh) | 一种基于高斯混合模型的视频中异常行为在线检测方法 | |
CN108108751B (zh) | 一种基于卷积多特征和深度随机森林的场景识别方法 | |
CN110826389B (zh) | 基于注意力3d频率卷积神经网络的步态识别方法 | |
CN107424161B (zh) | 一种由粗至精的室内场景图像布局估计方法 | |
CN104866868A (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN104200237A (zh) | 一种基于核化相关滤波高速自动多目标跟踪方法 | |
CN110991274B (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
CN109410248B (zh) | 一种基于r-K算法的浮选泡沫运动特征提取方法 | |
CN112257741B (zh) | 一种基于复数神经网络的生成性对抗虚假图片的检测方法 | |
CN107944459A (zh) | 一种rgb‑d物体识别方法 | |
CN103902989A (zh) | 基于非负矩阵分解的人体动作视频识别方法 | |
US20160343144A1 (en) | Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle | |
CN104318559A (zh) | 用于视频图像匹配的特征点快速检测方法 | |
CN104881640A (zh) | 一种获取向量的方法及装置 | |
CN103456030A (zh) | 基于散射描述子的目标跟踪方法 | |
CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
CN112329656A (zh) | 一种视频流中人体动作关键帧的特征提取方法 | |
CN112991394B (zh) | 基于三次样条插值和马尔科夫链的kcf目标跟踪方法 | |
CN112801020B (zh) | 基于背景灰度化的行人再识别方法及系统 | |
CN103577826A (zh) | 合成孔径声纳图像的目标特征提取方法和识别方法及提取装置和识别系统 | |
Jafrasteh et al. | Generative adversarial networks as a novel approach for tectonic fault and fracture extraction in high resolution satellite and airborne optical images | |
CN106846366A (zh) | 使用gpu硬件的tld视频运动目标跟踪方法 | |
CN104077554B (zh) | 基于线性动态系统的视角无关的人体行为识别方法 | |
WO2020196918A1 (ja) | 画像処理装置、及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160914 |