CN103810467A - 基于自相似数编码的异常区域检测方法 - Google Patents

基于自相似数编码的异常区域检测方法 Download PDF

Info

Publication number
CN103810467A
CN103810467A CN201310529261.8A CN201310529261A CN103810467A CN 103810467 A CN103810467 A CN 103810467A CN 201310529261 A CN201310529261 A CN 201310529261A CN 103810467 A CN103810467 A CN 103810467A
Authority
CN
China
Prior art keywords
video
similarity number
self
similar
number encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310529261.8A
Other languages
English (en)
Inventor
谌先敢
唐文峰
高智勇
刘海华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN201310529261.8A priority Critical patent/CN103810467A/zh
Publication of CN103810467A publication Critical patent/CN103810467A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自相似数编码的异常区域检测方法，属于计算机视觉和视频监控领域。本发明首先提取视频区域中运动和纹理特征，然后以不同的测度进行加权结合的方式来计算视频内区域之间的距离，该距离低于某一阈值被认为相似，高于该阈值被认为不相似。在此基础上计算自相似数编码，自相似数编码中的某一元素，表示上述距离低于某阈值的相似区域的数目，即视频中有多少区域与本区域相似。本发明避免了背景建模和从大量训练数据进行学习的过程，减少了计算量，适合复杂的场景。

Description

基于自相似数编码的异常区域检测方法
技术领域
本发明属于计算机视觉和视频监控领域，具体涉及一种可以检测出视频序列中的异常区域的方法。 
背景技术
在视频监控领域，检测视频序列中的异常区域是一个非常关键的问题。异常事件的定义为明显不同于正常的事件，将异常表示为与正常事件的数据在特征空间有很大的距离，或者在一个正常的模型下有较低的概率。有些研究将异常定义为那些在事件时间、位置和轨迹展现出差异的事件。 
大部分方法都需要通过使用标准正常数据集来建立正常模型。众所周知即使数量庞大的训练集，也不能充分包含自然发生的一切情况。如果算法本身具备自我推断异常区域的功能，就可以减轻对数据集的依赖性。其次，许多方法大多通过被测试点与正常模型的偏离程度确定异常点，而这种评判方式不适用于无训练集的情况。 
发明内容
针对背景技术的不足，本文提出一种简单快速的无监督方法来检测出视频序列中的异常区域。该方法无需训练样本，可以直接从视频序列准确检测出异常区域。 
本发明的自相似数编码的异常区域检测方法描述如下思想：视频中的异常区域与正常区域存在明显的区别，正常区域在视频空间中应该存在大量与其相似的区域，而异常区域没有或者只有少数区域与之相似。对于视频内某一区域来说，自相似数是指在该视频内与之相似的区域的数目。在由自相似数组成的自相似数编码中，每个元素代表原视频序列中与自相似数元素对应的局部区域相似的区域的数目。 
在评判视频内区域之间是否相似的时候，首先提取视频区域中运动和纹理特征，然后以不同的测度进行加权结合的方式来计算视频内区域特征之间的距离，该距离低于某一阈值被认为相似，高于该阈值被认为不相似。在此基础上计算自相似数编码，自相似数编码中的某一元素，表示上述距离低于某阈值的相似区域的数目，即视频中有多少区域与本区域相似。 
自相似数编码中数值为0的位置对应的视频内的局部区域被认为与其他区域都不相似，属于异常区域，而其他区域至少有1个以上的相似区域，为正常区域。实验数据集和某一真实监控视频上的实验结果表明，本发明的方法能较好的检测出视频中的异常区域。 
本发明在无需训练样本的情况下，能够直接从视频序列准确检测出异常区域。具体而言，本发明具有以下特点： 
（1）本发明提出了自相似数编码方法来描述视频序列内部相似区域的数目，用来进行异常区域的检测。
（2）本发明采用视频区域中对象的运动和纹理特征，并以不同的测度进行加权结合来计算视频内区域之间的相似性。 
（3）本发明以视频区域内自相似数编码的数值为0的区域为异常区域，其他为正常区域。 
附图说明
图1 基于自相似数编码的异常区域检测方法的流程； 
图2 时空网格单元的划分方式；
图3 自相似数编码的计算方法；
图4  局部二值模式（LBP）算子的示例；
图5  Ped1的检测结果；
图6  Ped2的检测结果。
具体实施方式
本发明直接对摄像机采集到的视频序列进行处理，实现了一种基于自相似数编码的异常区域检测方法。自相似，即自我相似，原是指物体与自己的某一部分相似，是分形的重要特质。本发明所述的自相似，是指本视频内部的区域之间相似。 
以下结合附图对本发明做进一步的说明。 
如图1、2、3、4、5、6所示，本发明的处理过程如下： 
一种基于自相似数编码的异常区域检测方法，包括以下步骤：
视频序列底层特征的提取：
第一步：输入一段视频，将视频序列划分为非重叠的时空网格单元，同时构建与时空网格单元对应的自相似数编码并初始化。在拥挤的人群场景中人与人之间的遮挡频繁发生，很难提取每个独立的运动目标，而时空网格单元表示视频序列的局部特征，可以保留每个行人可见部分的信息。自然环境下行人之间的动作不可能完全一致，时空网格单元具有的局部特性可以捕捉到他们具有相同的局部区域，为后续的匹配搜索提供更多有用信息，减少因遮挡或者动作之间发生形变导致算法性能的降低。具体的划分方式如图2所示，其中t-1、t、t+1是视频序列中时间上连续的三帧图像。
第二步：计算每个时空网格单元的运动和纹理特征。 
运动特征的提取采取的是基于亮度梯度的稠密光流(Horn-Schunck)，所用的计算公式如下： 
Figure 2013105292618100002DEST_PATH_IMAGE002
（1）
其中 
Figure 2013105292618100002DEST_PATH_IMAGE004
 分别表示沿着
Figure 2013105292618100002DEST_PATH_IMAGE006
,
Figure DEST_PATH_IMAGE008
和时间
Figure DEST_PATH_IMAGE010
轴求取图像的灰度梯度。
Figure DEST_PATH_IMAGE012
是归一化因子。
Figure DEST_PATH_IMAGE014
分别表示
Figure DEST_PATH_IMAGE006A
,
Figure DEST_PATH_IMAGE008A
方向的光流，
Figure DEST_PATH_IMAGE016
是与
Figure DEST_PATH_IMAGE018
卷积得到近似的拉普拉斯变化。上标表示下一次迭代。经过公式（1）分别得到沿
Figure DEST_PATH_IMAGE006AA
,
Figure DEST_PATH_IMAGE008AA
轴方向的运动矢量，然后经过公式（2），我们可以得到图像中每个像素点最终的运动信息。
Figure DEST_PATH_IMAGE022
  （2） 
纹理特征的提取采用的是具有灰度不变性的局部二值模式（LBP），基本实现过程为：首先，比较中心点灰度值与其八个领域内灰度值的大小关系，比较时可以按照顺时针或者逆时针方向；接着，用0和1标注比较的结果，然后，采用与比较时相同的方向将0和1排列成一个八位的二进制码；最后，将二进制码翻译成十进制数作为该中心点的特征值。用数学公式可以表示为：
  
Figure DEST_PATH_IMAGE024
（3）
其中
Figure DEST_PATH_IMAGE026
是单位阶跃函数，
Figure DEST_PATH_IMAGE028
是权系数，
Figure DEST_PATH_IMAGE030
是坐标为
Figure DEST_PATH_IMAGE032
处的LBP特征值。上述LBP计算公式对应的模板为
Figure DEST_PATH_IMAGE034
。其中模板是一个矩阵，它表示每次参与运算的像素个数以及分布信息，如：
Figure DEST_PATH_IMAGE034A
矩阵对应分布成正方形的九个像素点，矩阵中心对应被检测像素值，其它元素对应被检测像素点的周围像素点，如图4第一列右边为一个
Figure DEST_PATH_IMAGE034AA
模板，中心点70的灰度值为被检测像素。其它值为围绕中心点成正方形分布的周围像素点的灰度值。LBP是很好的局部特征描述子，通过改变模板的尺寸可以满足不同尺度不同频率纹理的需要。UCSD异常检测数据集中视频的分辨率低、场景中目标尺寸小，经过反复测试，模板为
Figure DEST_PATH_IMAGE034AAA
，可以较好的捕捉到视频序列中目标的纹理特征。
自相似数编码的计算： 
第三步：以占不同权重的运动和纹理特征的相似度为基础，分别计算时空网格单元两两之间的距离。运动特征相似性度量采用的是欧氏距离，纹理特征采用的是皮尔森相关系数。
Figure DEST_PATH_IMAGE036
 （4） 
公式(4)中表示任意两个时空网格单元的特征向量，
Figure DEST_PATH_IMAGE040
表示
Figure DEST_PATH_IMAGE038A
特征向量的均值，
Figure DEST_PATH_IMAGE042
分别表示时空网格单元之间运动的相似度和纹理的相似度。
Figure DEST_PATH_IMAGE044
表示融合后的相似度。
Figure DEST_PATH_IMAGE046
表示
Figure DEST_PATH_IMAGE038AA
的皮尔森相关系数；
Figure DEST_PATH_IMAGE048
表示
Figure DEST_PATH_IMAGE038AAA
的欧氏距离。
Figure DEST_PATH_IMAGE050
表示权重系数，决定运动特征在算法中占有的比重。
第四步：该距离小于某阈值被认为是相似的，若相似，则将自相似数编码中该位置和对应的相似位置都加1，若不相似，则保持不变，得到一个自相似数编码，该编码中每个元素对应视频序列相应的局部区域。 
操作特性曲线（ROC）被用来衡量算法检测结果的准确性，曲线的纵轴为真阳性率（TPR），横轴为假阳性率（FPR），公式如下： 
Figure DEST_PATH_IMAGE052
           （5）
其中，真阳性率公式的分子是算法检测结果中真阳性的数目，表示算法检测异常的准确性，分母为金标准中人工标定的阳性数目，类似，假阳性率公式的分子是算法检测结果中假阳性的数目，表示算法错误检测异常区域的程度，分母为金标准中人工标定的阴性的数目。
计算相似性的时候需要用到的阈值用C表示，该值可以决定算法检测结果的TPR与FPR。为了得到最佳阈值，首先固定公式（4）中权重系数
Figure DEST_PATH_IMAGE054
，调节阈值C绘制ROC曲线。在UCSD异常检测数据集（包含两个子集Ped1和Ped2）下的结果如图5和图6。 
异常区域的判断： 
第五步：自相似数编码中数值为0的元素所对应的视频区域被认为与其他区域都不相似，属于异常区域，其他区域为正常区域。

Claims (6)

1.一种基于自相似数编码的异常区域检测方法，其特征在于，包括以下步骤：第一步：将视频序列划分为非重叠的时空网格单元，构建与时空网格单元对应的自相似数编码并初始化；
第二步：计算每个时空网格单元的运动和纹理特征；
第三步：以占不同权重的运动和纹理特征的相似度为基础，分别计算时空网格单元两两之间的距离；
第四步：该距离小于某阈值被认为是相似的，若相似，则将自相似数编码中该位置和对应的相似位置都加1，若不相似，则保持不变，得到一个与视频序列对应的自相似数编码；
第五步：自相似数编码中数值为0的元素所对应的视频区域被认为与其他区域都不相似，属于异常区域，编码中其他元素对应的区域为正常区域。
2.根据权利要求1所述的方法，其特征在于：在评判视频内区域之间是否相似的时候，首先提取视频区域中运动和纹理特征，然后以不同的测度进行加权结合的方式来计算视频内区域之间的距离，该距离低于某一阈值被认为相似，高于该阈值被认为不相似。
3.根据权利要求1或2所述的方法，其特征在于：得到视频的自相似数编码之后，自相似数编码中数值为0的位置对应的视频内的局部区域被认为与其它区域都不相似，属于异常区域，而其它区域为正常区域。
4.根据权利要求1所述的方法，其特征在于：所述第二步中运动特征的提取采取基于亮度梯度的稠密光流方法。
5.根据权利要求1所述的方法，其特征在于：所述第二步中纹理特征的提取采用具有灰度不变性的局部二值模式。
6.根据权利要求1所述的方法，其特征在于：所述第三步中运动特征相似性度量采用的是欧氏距离判定，纹理特征采用的是皮尔森相关系数判定。
CN201310529261.8A 2013-11-01 2013-11-01 基于自相似数编码的异常区域检测方法 Pending CN103810467A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310529261.8A CN103810467A (zh) 2013-11-01 2013-11-01 基于自相似数编码的异常区域检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310529261.8A CN103810467A (zh) 2013-11-01 2013-11-01 基于自相似数编码的异常区域检测方法

Publications (1)

Publication Number Publication Date
CN103810467A true CN103810467A (zh) 2014-05-21

Family

ID=50707213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310529261.8A Pending CN103810467A (zh) 2013-11-01 2013-11-01 基于自相似数编码的异常区域检测方法

Country Status (1)

Country Link
CN (1) CN103810467A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615054A (zh) * 2018-04-18 2018-10-02 清华大学 排水管网节点间相似性衡量的综合指标构建方法
CN117809140A (zh) * 2024-03-01 2024-04-02 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359401A (zh) * 2007-07-09 2009-02-04 霍尼韦尔国际公司 用运动纹理分析执行活动识别和探测活动异常模式的方法
CN102348099A (zh) * 2010-03-30 2012-02-08 合肥科大立安安全技术股份有限公司 嵌入式视频烟雾探测器及烟雾识别方法
CN102883179A (zh) * 2011-07-12 2013-01-16 中国科学院计算技术研究所 一种视频质量客观评价方法
CN103020138A (zh) * 2012-11-22 2013-04-03 江苏乐买到网络科技有限公司 一种视频检索的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359401A (zh) * 2007-07-09 2009-02-04 霍尼韦尔国际公司 用运动纹理分析执行活动识别和探测活动异常模式的方法
CN102348099A (zh) * 2010-03-30 2012-02-08 合肥科大立安安全技术股份有限公司 嵌入式视频烟雾探测器及烟雾识别方法
CN102883179A (zh) * 2011-07-12 2013-01-16 中国科学院计算技术研究所 一种视频质量客观评价方法
CN103020138A (zh) * 2012-11-22 2013-04-03 江苏乐买到网络科技有限公司 一种视频检索的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姬贯新: "视频干扰检测算法", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615054A (zh) * 2018-04-18 2018-10-02 清华大学 排水管网节点间相似性衡量的综合指标构建方法
CN108615054B (zh) * 2018-04-18 2020-06-05 清华大学 排水管网节点间相似性衡量的综合指标构建方法
CN117809140A (zh) * 2024-03-01 2024-04-02 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法
CN117809140B (zh) * 2024-03-01 2024-05-28 榆林拓峰达岸网络科技有限公司 基于图像识别的图像预处理系统及其方法

Similar Documents

Publication Publication Date Title
Chino et al. Bowfire: detection of fire in still images by integrating pixel color and texture analysis
Jung et al. Boundary enhancement semantic segmentation for building extraction from remote sensed image
CN110070074B (zh) 一种构建行人检测模型的方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN106778712B (zh) 一种多目标检测与跟踪方法
CN109544592B (zh) 针对相机移动的运动目标检测算法
CN103735269B (zh) 一种基于视频多目标跟踪的高度测量方法
CN104200495A (zh) 一种视频监控中的多目标跟踪方法
CN102867195B (zh) 一种遥感图像多类目标检测和识别方法
CN104809463A (zh) 一种基于密集尺度不变特征转换字典学习的高精度火灾火焰检测方法
CN110598613B (zh) 一种高速公路团雾监测方法
CN108171119B (zh) 基于残差网络的sar图像变化检测方法
CN107657244A (zh) 一种基于多摄像机的人体跌倒行为检测系统及其检测方法
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN112541424A (zh) 复杂环境下行人跌倒的实时检测方法
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN110796360A (zh) 一种固定型交通检测源多尺度数据融合方法
Du et al. Convolutional neural network-based data anomaly detection considering class imbalance with limited data
CN111833353A (zh) 一种基于图像分割的高光谱目标检测方法
Wang et al. Counting people with support vector regression
CN116843725B (zh) 一种基于深度学习光流法的河流表面流速测量方法及系统
Sowmyayani et al. Fall detection in elderly care system based on group of pictures
CN103810467A (zh) 基于自相似数编码的异常区域检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140521