CN103699874A - 基于surf流和lle稀疏表示的人群异常行为识别方法 - Google Patents
基于surf流和lle稀疏表示的人群异常行为识别方法 Download PDFInfo
- Publication number
- CN103699874A CN103699874A CN201310515878.4A CN201310515878A CN103699874A CN 103699874 A CN103699874 A CN 103699874A CN 201310515878 A CN201310515878 A CN 201310515878A CN 103699874 A CN103699874 A CN 103699874A
- Authority
- CN
- China
- Prior art keywords
- surf
- crowd
- video sequence
- unique point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明属于计算机视觉领域,具体是一种基于SURF流和局部线性嵌入(LLE)稀疏表示的人群异常行为识别方法。
背景技术
近些年来,人群行为识别作为计算机视觉的重要课题之一,已经在智能视频监控中应用和普及于公共安全、金融安全、运输、和其他领域中。基于视频的人群异常行为检测技术成为此领域中比较活跃的一个分支,近年来得到国内外众多学者的关注与研究。
人群行为检测主要考虑人群行为特征的描述和异常行为的分类判定。其中人群行为的检测主要考虑视频序列中人群行为的运动特性,如光流直方图、局部时空立方体建模、社会动力模型,而异常行为的分类判定则常常通过在训练数据上拟合一个概率模型,将概率接近某一类别的测试样本判别为该类行为,如隐马尔可夫模型、隐条件随机场等。
基于稀疏性的分类模型假设相同类别的样本位于相同位置的子空间,用一个超完备字典中的少量原子可以线性表示任意测试样本。传统的稀疏表示模型仅仅考虑了测试样本的整体结构,而忽略了测试样本的局部流行结构从而造成了稀疏分解不稳定问题,即相似的测试样本可能会得到完全不相似的稀疏表示系数。而这种稀疏分解的不稳定性大大影响了分类正确率。
发明内容
为了解决现有技术中存在的上述技术问题,本发明提供
本发明的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法,主要解决公共场所复杂场景中人群特征提取不够准确和行为特征维数高,数据量大以及特征局部流行结构不稳定的问题。通过SURF流获取测试视频人群运动特征,降维归类为人群特征集与常见的几种异常行为特征集一起输入到局部线性嵌入稀疏模型中,求解稀疏表示系数,计算最小残差来确定测试视频所属行为的类别。
附图说明
图1是本发明的整个模型识别异常行为的流程图;
图2(a)-图2(d)是4种训练和测试视频范例图;
图3是SURF描述子方向确定的结果图;
图4(a)-图4(d)是4种测试视频序列检测结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,本发明的基于SURF流和局部线性嵌入(LLE)稀疏表示的人群异常行为识别方法包括以下具体步骤:
此方程通过双平面上的序列置信度传递方法(BP-S)求解。
其中,对测试视频序列每帧图像特征点提取SURF描述子,特征点的选取包括如下步骤:
(1)采用Hessian矩阵检测每帧图像的兴趣点:
通过判别式的正负值来判断像素点是否为兴趣点。
(2)构建尺度空间和精确定位特征点
通过改变滤波器的大小来形成不同的尺度空间,同时处理尺度空间的多层图像,使用相应层的滤波器检测该层像素点的特征值,并与该层上下层的像素点进行比较,选择最大特征值的像素点作为特征点。
(3)计算特征点SURF描述子:
在特征点选取一个与尺度相应的邻域,求出主方向,surf选择圆形邻域,并且使用活动扇形的方法求出特征点主方向,如图3所示。
(1)相邻两帧的特征点p 按照SURF描述子s1(p),s2(p)的相似程度进行匹配
(2)考虑实际情况,流速u2(p)+v2(p)应加以限制,不能过大
(3)考虑运动的连续性,必须优先匹配特征点的邻近区域N
此方程通过双平面上的序列置信度传递方法(BP-S)求解。
实施例:
测试视频序列的识别过程如图1所示,采用Sony HVR-V1C摄像机在校园中拍摄的一组视频,视频中的每一帧图像大小为360*240视频中包含正常,打架,恐慌,踩踏这四种群体行为。选取每种行为各200帧作为样本视频序列,其中各选取100帧作为测试视频序列。
输入测试视频和训练视频序列,首先对视频序列的每帧图像进行Hessian矩阵兴趣点检测:
构建尺度空间和定位特征点:通过改变盒子滤波器的大小来形成不同尺度的图像金字塔,对于新的一阶,;滤波器的尺寸成倍增加,同时每一阶的兴趣点采样也成倍增加。使用相应层的滤波器检测该层像素点的特征值,并与该层上下层的像素点进行比较,选择最大特征值的像素点作为特征点。
计算surf特征点描述子:以主方向为轴在特征点处选择一个大小为20s的窗口,将其分为4x4的方形子区域,分别计算每个子区域5x5大小的空间采样点的Haar小波响应,其中为水平方向上的Haar小波响应,为垂直方向上的Haar小波响应,在特征点中心首先对和进行高斯加权()处理。然后统计每一个方形子区域块的,,,的累积和,这样每一个子区域就有一个4维的强度描述结构,形成一个64维SURF描述子。
建立SURF流场,获取特征点运动矢量信息:我们需要通过匹配相邻两帧的同一像素点,相邻两帧的特征点p 按照SURF描述子,的相似程度进行匹配,考虑实际情况,流速+应加以限制,不能过大。考虑运动的连续性,必须优先匹配像素点的邻近区域N:
此方程通过双平面上的序列置信度传递方法(BP-S)求解。
把分辨率为360*240的视频序列分为尺寸为20*20的小块,并把块的特征点运动矢量方向被量化为5个方向,这样视频序列每一帧行为特征维数为18*12*2,整个视频序列特征集就构成了该种行为的特征描述集合。同理,对训练视频序列也采取如上操作,获得训练视频行为特征集。
通过局部线性嵌入稀疏表示式,我们将测试视频序列特征集y和测试视频序列特征集D输入到如下表示式中:
然后对于A中的每个稀疏表示系数,可以表示为:
我们采用feature-sign搜索算法求解。结果见图4。
获得的稀疏表示系数后,通过求解下式的最小残差得到测试视频y的类别:
Claims (4)
1.一种基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法,包括以下具体步骤:
此方程通过双平面上的序列置信度传递方法(BP-S)求解;
2.如权利要求1所述的基于SURF流和局部线性嵌入稀疏表示的人群异常行为识别方法,其特征在于:步骤(1)中对测试视频序列每帧图像特征点提取SURF描述子,特征点的选取包括如下步骤:
采用Hessian矩阵检测每帧图像的兴趣点:
通过判别式的正负值来判断像素点是否为兴趣点;
构建尺度空间和精确定位特征点:
通过改变滤波器的大小来形成不同的尺度空间,同时处理尺度空间的多层图像,使用相应层的滤波器检测该层像素点的特征值,并与该层上下层的像素点进行比较,选择最大特征值的像素点作为特征点;
计算特征点SURF描述子:
在特征点选取一个与尺度相应的邻域,求出主方向,surf选择圆形邻域,并且使用活动扇形的方法求出特征点主方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310515878.4A CN103699874B (zh) | 2013-10-28 | 2013-10-28 | 基于surf流和lle稀疏表示的人群异常行为识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310515878.4A CN103699874B (zh) | 2013-10-28 | 2013-10-28 | 基于surf流和lle稀疏表示的人群异常行为识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103699874A true CN103699874A (zh) | 2014-04-02 |
CN103699874B CN103699874B (zh) | 2017-04-12 |
Family
ID=50361397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310515878.4A Active CN103699874B (zh) | 2013-10-28 | 2013-10-28 | 基于surf流和lle稀疏表示的人群异常行为识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103699874B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104778471A (zh) * | 2015-04-17 | 2015-07-15 | 华中科技大学 | 一种基于gpu的多尺度空间特征提取方法 |
CN103902989B (zh) * | 2014-04-21 | 2017-03-01 | 西安电子科技大学 | 基于非负矩阵分解的人体动作视频识别方法 |
CN106934208A (zh) * | 2017-01-05 | 2017-07-07 | 中国电建集团华东勘测设计研究院有限公司 | 一种大坝异常监测数据自动识别方法 |
CN107273899A (zh) * | 2016-04-07 | 2017-10-20 | 富士通株式会社 | 对象分类方法和对象分类设备 |
CN107463898A (zh) * | 2017-08-01 | 2017-12-12 | 闽江学院 | 基于视觉传感网络的舞台表演行为异常监控方法 |
CN107784293A (zh) * | 2017-11-13 | 2018-03-09 | 中国矿业大学(北京) | 一种基于全局特征和稀疏表示分类的人体行为识别方法 |
CN108038451A (zh) * | 2017-12-15 | 2018-05-15 | 浪潮金融信息技术有限公司 | 异常行为检测方法及装置 |
CN109389127A (zh) * | 2017-08-14 | 2019-02-26 | 华北理工大学 | 结构化多视图Hessian正则化稀疏特征选择方法 |
CN111062246A (zh) * | 2019-11-06 | 2020-04-24 | 盐城吉大智能终端产业研究院有限公司 | 基于视频图像的密集人群异常行为的检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006044298B3 (de) * | 2006-09-20 | 2008-01-31 | Siemens Ag | Verfahren zur Überwachung von Personenansammlungen |
CN102799863B (zh) * | 2012-07-02 | 2014-12-17 | 中国计量学院 | 视频监控中的团体人群异常行为检测方法 |
CN102930248A (zh) * | 2012-10-22 | 2013-02-13 | 中国计量学院 | 基于机器学习的人群异常行为检测方法 |
CN103020647A (zh) * | 2013-01-08 | 2013-04-03 | 西安电子科技大学 | 基于级联的sift特征和稀疏编码的图像分类方法 |
-
2013
- 2013-10-28 CN CN201310515878.4A patent/CN103699874B/zh active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103902989B (zh) * | 2014-04-21 | 2017-03-01 | 西安电子科技大学 | 基于非负矩阵分解的人体动作视频识别方法 |
CN104778471A (zh) * | 2015-04-17 | 2015-07-15 | 华中科技大学 | 一种基于gpu的多尺度空间特征提取方法 |
CN107273899A (zh) * | 2016-04-07 | 2017-10-20 | 富士通株式会社 | 对象分类方法和对象分类设备 |
CN107273899B (zh) * | 2016-04-07 | 2020-08-14 | 富士通株式会社 | 对象分类方法和对象分类设备 |
CN106934208A (zh) * | 2017-01-05 | 2017-07-07 | 中国电建集团华东勘测设计研究院有限公司 | 一种大坝异常监测数据自动识别方法 |
CN106934208B (zh) * | 2017-01-05 | 2019-07-23 | 国家能源局大坝安全监察中心 | 一种大坝异常监测数据自动识别方法 |
CN107463898A (zh) * | 2017-08-01 | 2017-12-12 | 闽江学院 | 基于视觉传感网络的舞台表演行为异常监控方法 |
CN109389127A (zh) * | 2017-08-14 | 2019-02-26 | 华北理工大学 | 结构化多视图Hessian正则化稀疏特征选择方法 |
CN107784293A (zh) * | 2017-11-13 | 2018-03-09 | 中国矿业大学(北京) | 一种基于全局特征和稀疏表示分类的人体行为识别方法 |
CN108038451A (zh) * | 2017-12-15 | 2018-05-15 | 浪潮金融信息技术有限公司 | 异常行为检测方法及装置 |
CN111062246A (zh) * | 2019-11-06 | 2020-04-24 | 盐城吉大智能终端产业研究院有限公司 | 基于视频图像的密集人群异常行为的检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103699874B (zh) | 2017-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103699874A (zh) | 基于surf流和lle稀疏表示的人群异常行为识别方法 | |
CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
CN109034210A (zh) | 基于超特征融合与多尺度金字塔网络的目标检测方法 | |
CN108549846B (zh) | 一种结合运动特征和头肩结构的行人检测与统计方法 | |
CN103258193B (zh) | 一种基于kod能量特征的群体异常行为识别方法 | |
CN104616316B (zh) | 基于阈值矩阵和特征融合视觉单词的人物行为识别方法 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
CN103854016B (zh) | 基于方向性共同发生特征的人体行为分类识别方法及系统 | |
CN107862275A (zh) | 人体行为识别模型及其构建方法和人体行为识别方法 | |
CN103942575A (zh) | 基于场景和马尔科夫逻辑网的智能行为分析系统及方法 | |
CN105488519B (zh) | 一种基于视频尺度信息的视频分类方法 | |
CN104299003A (zh) | 一种基于相似规则高斯核函数分类器的步态识别方法 | |
Huang et al. | Deepfake mnist+: a deepfake facial animation dataset | |
CN104951793A (zh) | 一种基于stdf特征的人体行为识别算法 | |
CN104484890A (zh) | 基于复合稀疏模型的视频目标跟踪方法 | |
CN102289685B (zh) | 一种基于正则回归的秩-1张量投影的行为识别方法 | |
CN103577804B (zh) | 基于sift流和隐条件随机场的人群异常行为识别方法 | |
CN111723773A (zh) | 遗留物检测方法、装置、电子设备及可读存储介质 | |
WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
CN114049572A (zh) | 识别小目标的检测方法 | |
CN108280421A (zh) | 基于多特征深度运动图的人体行为识别方法 | |
CN104200218B (zh) | 一种基于时序信息的跨视角动作识别方法及系统 | |
CN108090513A (zh) | 基于粒子群算法和典型关联分析法的多生物特征融合算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |