CN105184245B - 一种多特征融合的人群密度估计方法 - Google Patents

一种多特征融合的人群密度估计方法 Download PDF

Info

Publication number
CN105184245B
CN105184245B CN201510543464.1A CN201510543464A CN105184245B CN 105184245 B CN105184245 B CN 105184245B CN 201510543464 A CN201510543464 A CN 201510543464A CN 105184245 B CN105184245 B CN 105184245B
Authority
CN
China
Prior art keywords
feature
pixel
crowd density
density estimation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510543464.1A
Other languages
English (en)
Other versions
CN105184245A (zh
Inventor
赖剑煌
陈春迎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Original Assignee
Sun Yat Sen University
SYSU CMU Shunde International Joint Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University, SYSU CMU Shunde International Joint Research Institute filed Critical Sun Yat Sen University
Priority to CN201510543464.1A priority Critical patent/CN105184245B/zh
Publication of CN105184245A publication Critical patent/CN105184245A/zh
Application granted granted Critical
Publication of CN105184245B publication Critical patent/CN105184245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多特征融合的人群密度估计方法,包括:提取基于KLT跟踪的轨迹段数目特征;对现存的人群密度估计算法的特征,包括GLCM纹理分析特征、像素统计特征,再和轨迹段数目特征在不同场景下进行实验对比,找到对人群密度估计最适合的特征组合:GLCM纹理特征+像素统计特征+轨迹段数目特征。提取出训练集视频帧的轨迹段数目特征、像素统计特征和纹理特征,送入线性回归模型中训练,得到的模型,计算出测试视频帧中行人的数目。本发明将基于KLT跟踪的轨迹段数目作为人群密度估计的特征,并将其应用到线性回归模型,和现有的基于个体目标的人群密度估计算法相比,复杂度低,准确率高。

Description

一种多特征融合的人群密度估计方法
技术领域
本发明涉及视频分析中人群密度估计方法,更具体的,涉及一种多特征融合的人群密度估计方法,该方法提取了基于KLT跟踪的轨迹段数目作为人群密度估计的新特征,并将提取的新特征与其它特征相融合,对人群密度进行估计。
背景技术
在很多公共场合,由于人群密度过高而产生灾难。为减少公共安全事件的发生,开发一套实时监控各种公共场合的人群密度的智能系统是非常重要和急迫的。
2001年,Lin发表文章提出新的人群密度估计算法,该算法首先利用Haar小波变换和头部特征的结合提取目标,进而将检测的物体特征放入支持向量机SVM分类器进行分类判断是否为人类头部,最后通过计算检测出来的头部数目来做人群数目统计,该算法在人群密度小的场景下准确率比较高。2003年,Zhao和Nevatia在CVPR上发表一篇文章,首次介绍基于3D模型匹配的人群密度估计算法,该算法在无遮挡的情况下还是可行的,但是其复杂度高、耗时且在遮挡情况下无法匹配等一系列问题注定了其在当时无法广泛应用开来。2005年,Leibe同样在CVPR上发表文章提出基于全局特征和局部特征结合的人群密度估计,该算法很好地解决了Lin和Zhao等人算法的缺陷,成功在人群遮挡的情况下很好地检测出行人,但是由于其算法耗时大,复杂度高,无法实时监控而缺乏应用性。随后,Rabaud和Belongie2006年在CVPR上发表一篇文章,该文章利用KLT跟踪算法和聚类算法结合的方法对人群密度进行估计,但是却被固定人群所限制。
在实际应用中,对每个个体进行识别分割的方法其实是非常不可取的,不仅容易错检漏检,而且对个体精确分割常常导致整个算法复杂度高而失去应用性。Chen在2007年提出团块的概念,通过模糊检测的方法降低检测的难度,再在块中具体做人头检测,由论文中图所示,改算法利用人头数目来计算人群密度。
虽然团块的应用大大减少了算法的复杂程度和提高检测准确度,但是在人群密集或者遮挡的场景下还是会表现其不足。Kilambi在2008年提出了利用最小化函数来估计人群密度,但是该算法只能估计人群密度的等级而无法精确计算。
现存的研究往往都是在全局中应用单一回归模型,把特征向量映射成行人数量来进行人群密度估计。由于摄像头与被拍摄场景有视觉差原因,图像中距离较远的物体面积比较小,而距离较近的物体面积比较大,所以存在透视效应。这种方法重点在于前景像素,边缘特征,与KLT跟踪轨迹段数目特征的提取,摄像头远近比例过度依赖透视归一化处理,处理不得当即会带来严重的影响。
发明内容
本发明的目的是为了克服现有技术的不足,提出一种克服了单一依靠透视归一化带来的局限性的多特征融合的人群密度估计方法。
本发明的目的通过以下的技术方案实现:
一种多特征融合的人群密度估计方法,包括以下步骤:
(1)对每一帧进行透视归一化处理,并将每一帧分块。
(2)计算出基于KLT跟踪的轨迹段数目特征。所用KLT追踪,是用仿射运动建立个体目标运动模型,即J(AX+d)=I(X),其中A是变形矩阵,d是偏移向量,且A=I+D,I是单位矩阵,D为零矩阵,即A=I,J(X+d)=I(X);是像素点的坐标,I(X)是像素点X的像素值,若干个像素点的像素值组成一幅图像;J(X)是I(X)通过AX+d变换后像素点X的像素值,再最小化式子ε=∫∫W[J(AX+d)-I(X)]2ω(X)dX,得到提取轨迹段所用模型Zd=e,W是特征窗口,ω(X)是加权函数,最简单的情况是ω(X)=1,令其等于高斯函数;其中:
采用模型Zd=e计算出了每一个特征窗口中心点的位移d,得到了一系列的轨迹段,计算出轨迹段的数目,作为人群密度估计的特征,其中丢弃少于等于5帧的轨迹段。
(3)采用高斯混合GMM算法进行运动前景检测,采用Canny算法提取边缘,计算出视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征。
(4)人群特征的比较选择;对现存的人群密度估计算法的特征,前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征,和步骤(1)中提出的轨迹段数目特征,在不同场景下进行实验对比,找到对人群密度估计最适合的特征组合:GLCM纹理特征+像素统计特征+轨迹段数目特征。
(5)将轨迹段数目特征、像素统计特征和纹理特征融合,放在不同的回归模型中训练,找到最适合的回归模型。通过实验证明线性回归模型能取得最好的效果。
本发明是提取出一种新的个体目标特征,并将其与现有的像素统计特征,纹理特征相融合,并在此基础上提出将视频帧分块提取特征,再将特征合成一个字典后进行统一回归,从而更好地进行人群密度估计,克服了单一依靠透视归一化带来的局限性。该方法比现有方法准确率提高了15%。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明提出的基于KLT跟踪的轨迹段数目特征,相对于其他特征维度较低,所以算法复杂度低。
2、本发明相对于复杂度也较低的GLCM纹理特征,在平均平方误差下降了7.6%,平均偏离误差下降了9.4%。
3、本发明将轨迹段数目特征、像素统计特征和GLCM纹理特征融合,克服了单特征情况下的缺陷,也比目前常用的像素统计和GLCM纹理两个特征融合的效果好很多,平均偏离误差下降了15.45%。
4、本发明将提出的将视频帧分块的算法,比未分块的算法准确率提升了9.2%。
附图说明
图1为本发明的操作流程图。
图2为UCSD数据集示意图。
图3为mall数据集示意图。
图4为本发明提出的基于KLT跟踪的轨迹段数目与行人数量关系图。
图5为一个目标行人的轨迹段示意图。
图6为基于分块的人群密度估计算法的流程图。
图7为多特征融合示意图。
图8基于分块特征的实验对比图。
图9为人群密度估计效果图。
具体实施方式
下面结合实例和附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
图1给出了本发明的操作过程,如图1所示,一种多特征融合的人群密度估计,包括以下步骤:
(1)收集UCSD行人数据集,这个数据集是加州大学圣地亚哥分校UCSD计算机视觉实验室在校园内布的固定数字摄像头,录制了一个小时的视频帧。视频背景是在校园走道,视频中最小人数为11人,最多人数有46人。原视频分辨率为740*480,帧率为30fps,经过降低采样该数据集是分辨率为238*158、帧率为10fps的视频。本实施例采用视频中前2000帧图像,前2000帧只有行人,并且已经人工标定了视频中实际人数,如图2为UCSD数据集示意图。本实施例用第601-1400帧共800帧图像作为训练集,而剩下的作为测试数据集。
(2)收集mall数据集,mall数据集是通过公共监控视频在某大型超市内部,经过两个月的时间拍摄的视频,视频分辨率为320*240,帧率小于2fps,最小人数是13人,而最大人数达到了53人。如图3为mall数据集示意图。用前800帧作为训练集,而剩下作为测试集。
(3)设置三个实验衡量指标,平均绝对误差mae,平均平方误差mse平均偏离误差mde。
(4)对图像进行透视归一化处理,即利用线性插值处理的思想对图像进行透视归一化校正;该算法流程为:
(4a)、在图像中划出一个四边形区域abcd,该区域为行人数目统计区域。
(4b)、先对区域内第一个行人和最后一个行人进行标记,算出ab,cd的长度参照行人高度h1和h2
(4c)、在线上像素点的权重设置为1,而在线上像素点的权重设置为
(4d)、其他在abcd区域内的像素点权重按照1和之间之间的值做线性插值。
(5)用KLT跟踪法,对视频中的个体目标进行跟踪。对UCSD数据集和mall数据集训练样本的视频帧进行窗口划分,其步骤如下:
(5a)、图像I划分为n*s块,这些区域不能相互重叠,再将每一块划分成m*r个窗口,这些窗口也不相互重叠,记为Wk(k=1,2…m*r)。
(5b)、对每个窗口Wk,按照下式计算出它的梯度矩阵Z:
其中
(5c)、提取特征窗口:设在步骤(5b)中计算的梯度矩阵Z的两个特征值分别为λ1、λ2,并且满足λ1<λ2,那么λ1,λ2就是对图像的这个窗口的纹理特征的表示,有这样三种情况,第一种情况:当λ1和λ2都很小,则说明了图像的窗口的灰度分布比较恒定;第二种情况:当λ1很小但λ2很大,则说明了图像的窗口的纹理模式不定向。第三种情况:当λ1和λ2都很大,则说明了图像窗口中的纹理模式适用于角点以及其它被可靠跟踪。
(5d)、特征窗口的选取:筛选的目标是选择被称为好的特征值,即这些特征窗口应该具有这样的纹理模式:能够被可靠的跟踪,这里给定一个阈值λ,若满足如下的式子:min(λ1,λ2)>λ,则保留这个特征窗口,否则丢弃这个特征窗口。
使用上述步骤(5d)提取的用于KLT追踪的特征窗口,再利用模型Zd=e,可以求出 每相邻帧的偏移量。其中,Z是梯度矩阵(见步骤5(b)), d是偏移向量。KLT追踪至没有符合要求的特征值、特征点之间的像素小于4像素或者由于闭 塞等原因而停止。所以形成了一系列的轨迹段,如图6所示例子。本发明在选取特征时去掉 上述过程中追踪少于5帧的轨迹段。将提取出的轨迹段数目特征送入回归模型中训练,再用 测试集的对其进行测试,得到表1的结果。
表1 轨迹段数目特征实验结果
(6)人群密度估计方法特征的选取:利用高斯混合模型提取出前景,计算出前景像素统计特征,并选择合适的像素统计特征,在UCSD和mall两个数据集上将训练集的特征送入回归模型中训练,再用测试集的视频对其进行测试,得到如表1所示的结果。计算出前景像素的GLCM纹理特征和LBP纹理特征,以同样的方法进行实验,实验结果如表2所示。实现结果表明,GLCM纹理特征只是简单提取齐次性、能量和熵,效果并不是很突出,LBP特征却在mae、mse、mde均比像素统计特征要好,但是由于其复杂度过高(特征维度达到59维),而且纹理特征在光照变换的时候影响较大,故本发明不采用LBP特征。最终本发明选取GLCM纹理特征,前景面积和前景边缘相结合的像素统计特征。再将轨迹段数目特征与GLCM纹理特征,前景面积和前景边缘特征相融合,作为人群密度估计的特征。实验结果如表4所示。
表2 像素统计特征实验结果
表3 纹理特征实验结果
表4 多特征融合的实验结果
(7)把视频帧进行分块提取特征,将特征合成一个字典后再统一回归,从而更好地进行人群密度估计,克服了单一依靠透视归一化带来的局限性。基于分块的人群密度估计算法的流程图如图6所示。本发明将图像分成3*3块区域对区域内分别提取的像素统计特征,纹理特征和基于KLT跟踪轨迹段数目特征,然后按照块顺利合成一个特征集如图7所示。图8是基于分块特征的人群密度估计算法在UCSD、mall两个数据集上的测试结果,并且与单一用全局特征的模型的实验对比。实验结果如图8所示,可以看出,基于分块的算法使得平均准确率提升了9.2%。
(8)把上述步骤(7)中合成的字典放到线性回归模型中进行训练。并在得到的模型中做预测,计算出每一帧的行人数目。实验结果如图9所示,其中图9(a)实际人数为27,估计27,准确率100%;图9(b)实际人数44,估计43,准确率97%;图9(c)为mall数据集中第801-2000帧预测与实际人数的曲线图,带三角形的曲线为Ground,未带三角形的曲线为估计值。从定性的角度来看,预测值和实际值的区别很小,证明了本文算法的有效性。
以上所述实施例为本发明较佳的实施方式,但本发明的实施方式并不受所述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (3)

1.一种多特征融合的人群密度估计方法,其特征在于,包括以下步骤:
(1)视频采集;
(2)特征的提取;采用KLT跟踪法对采集的视频中的个体目标进行跟踪,计算出基于KLT跟踪的轨迹段数目特征;对采集的视频进行运动信息前景的检测,提取边缘信息,计算出视频帧的前景分割区域特征、GLCM纹理分析特征、LBP纹理特征、像素统计特征,其中所述的KLT跟踪法,是用仿射运动建立个体目标运动模型,即J(AX+d)=I(X),其中A是变形矩阵,d是偏移向量,且A=I+D,I是单位矩阵,D为零矩阵,即A=I,J(X+d)=I(X);将X视为二维空间的像素点的坐标,I(X)是像素点X的像素值,若干个像素点的像素值组成一幅图像;J(●X)是I(X)通过AX+d变换后像素点X的像素值,再最小化式子ε=∫∫W[J(AX+d)-I(X)]2ω(X)dX,得到提取轨迹段所用模型Zd=e,W是特征窗口,ω(X)是加权函数,其中:
e为原图像I(X)和变换后图像J(X)在窗口W范围内像素值的加权误差,g(X)为均图像的梯度向量,gx为均图像对x的偏导数,gy为均图像对y的偏导数,Z为均图像的梯度矩阵,
采用模型Zd=e计算出了每一个特征窗口中心点的位移d,得到了一系列的轨迹段,计算出轨迹段的数目,所述像素点坐标;
(3)将轨迹段数目特征、像素统计特征和GLCM纹理分析特征融合,应用到线性回归模型中进行训练得到训练模型;
(4)根据训练模型,检测出待测视频帧中行人的数目。
2.根据权利要求1所述的多特征融合的人群密度估计方法,其特征在于,所述步骤(3)中,采用高斯混合GMM算法进行运动前景检测,采用Canny算法提取边缘。
3.根据权利要求1所述的多特征融合的人群密度估计方法,其特征在于,在步骤(1)采集视频后,还对视频进行归一化处理,对归一化处理后的视频帧进行分块,再提取出每个块的轨迹段数目特征、像素统计特征和GLCM纹理分析特征,再将其组合在一个大字典里,放入线性回归模型中训练。
CN201510543464.1A 2015-08-28 2015-08-28 一种多特征融合的人群密度估计方法 Active CN105184245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510543464.1A CN105184245B (zh) 2015-08-28 2015-08-28 一种多特征融合的人群密度估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510543464.1A CN105184245B (zh) 2015-08-28 2015-08-28 一种多特征融合的人群密度估计方法

Publications (2)

Publication Number Publication Date
CN105184245A CN105184245A (zh) 2015-12-23
CN105184245B true CN105184245B (zh) 2018-12-21

Family

ID=54906314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510543464.1A Active CN105184245B (zh) 2015-08-28 2015-08-28 一种多特征融合的人群密度估计方法

Country Status (1)

Country Link
CN (1) CN105184245B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133607B (zh) * 2017-05-27 2019-10-11 上海应用技术大学 基于视频监控的人群统计方法及系统
CN117219003B (zh) * 2023-11-09 2024-03-12 深圳市东陆科技有限公司 Led显示模组的内容显示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663409A (zh) * 2012-02-28 2012-09-12 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN103824074A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于背景减除和纹理特征的人群密度估计方法及系统
CN103839085A (zh) * 2014-03-14 2014-06-04 中国科学院自动化研究所 一种列车车厢异常人群密度的检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI391876B (zh) * 2009-02-16 2013-04-01 Inst Information Industry 利用多重模組混合圖形切割之前景偵測方法、系統以及電腦程式產品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663409A (zh) * 2012-02-28 2012-09-12 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN103218816A (zh) * 2013-04-18 2013-07-24 中山大学 一种基于视频分析的人群密度估计方法与人流量统计方法
CN103824074A (zh) * 2014-01-26 2014-05-28 中山大学 一种基于背景减除和纹理特征的人群密度估计方法及系统
CN103839085A (zh) * 2014-03-14 2014-06-04 中国科学院自动化研究所 一种列车车厢异常人群密度的检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于完全局部二值模式的人群密度估计";李雪峰 等;《计算机工程与设计》;20120331;第33卷(第3期);第1027-1031页 *

Also Published As

Publication number Publication date
CN105184245A (zh) 2015-12-23

Similar Documents

Publication Publication Date Title
Sidla et al. Pedestrian detection and tracking for counting applications in crowded situations
Subburaman et al. Counting people in the crowd using a generic head detector
Ma et al. Crossing the line: Crowd counting by integer programming with local features
CN103164858B (zh) 基于超像素和图模型的粘连人群分割与跟踪方法
KR101953626B1 (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
CN103426182A (zh) 基于视觉注意机制的电子稳像方法
Shen et al. A fast algorithm for rain detection and removal from videos
Toropov et al. Traffic flow from a low frame rate city camera
Fazli et al. Particle filter based object tracking with sift and color feature
Celik et al. Towards a robust solution to people counting
Hu et al. A novel approach for crowd video monitoring of subway platforms
CN110415260A (zh) 基于字典与bp神经网络的烟雾图像分割与识别方法
CN105184245B (zh) 一种多特征融合的人群密度估计方法
CN103337082B (zh) 基于统计形状先验的视频分割方法
Revathi et al. Certain approach of object tracking using optical flow techniques
Zitouni et al. Robust background modeling and foreground detection using dynamic textures
Kurilkin et al. A comparison of methods to detect people flow using video processing
Ma et al. Depth assisted occlusion handling in video object tracking
Wang et al. Efficient visual tracking by probabilistic fusion of multiple cues
Yang et al. Vehicle detection and tracking with low-angle cameras
Marie et al. Dynamic background subtraction using moments
Tsai et al. Multiple human objects tracking in crowded scenes
Agrafiotis et al. HDR Imaging for Enchancing People Detection and Tracking in Indoor Environments.
Candemir et al. Feature fusion using ranking for object tracking in aerial imagery
Lin et al. Integrating bottom-up and top-down processes for accurate pedestrian counting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant