CN104504394A - 一种基于多特征融合的密集人数估计方法和系统 - Google Patents

Abstract

本发明提出了一种基于多特征融合的密集人数估计方法与系统。首先，将图像分成N个相等的子块；然后，用基于CSLBP直方图纹理模型和混合高斯背景建模的方法，对图像进行分层次背景建模，提取各子块经透视校正后的前景面积，并结合改进的Sobel边缘检测算子检测出各子块边缘密度，还结合CSLBP变换和灰度共生矩阵提取描述图像纹理特征的四个不同方向的重要纹理特征向量；再通过主成分分析对提取到的人群前景分割特征向量和纹理特征向量进行降维处理；将降维后的特征向量输入到神经网络模型的输入层，由其输出层得到各子块的人数估计；最后，相加得到总人数。其具有较高的准确性和较好的鲁棒性，在对地铁站台监控视频的人数统计实验中取得了较好效果。

Description

一种基于多特征融合的密集人数估计方法和系统

技术领域

本发明属于视频分析处理领域，尤其涉及一种密集人数估计方法和系统。

背景技术

随着世界人口的不断增加和社会经济的快速发展，群体性事件与日俱增，从而人群安全问题已经成为人们关注的热点问题。视频监控技术的高速发展是对群体性事件控制的重要技术保障，而人群的人数统计是对群体性事件进行有效管理的重要依据。

传统的视觉监视应用是基于闭路电视系统(Closed CircuitTelevision,CCTV)的模拟系统。该系统的视频监控完全是以人工监视为主，而且人工的方法需要巨大的监视工作量，随着监视时间的增长，监视人员的注意力会下降，很容易遗漏场景中发生的问题。而事后对存储数据的查找、分析，即使发现问题也为时已晚。随着我国综合国力的不断增强，大规模群体性活动变得日益频繁，比如体育赛事、明星演唱会、宗教仪式等。人群的安全是一个十分重要的问题，关系到社会治安的稳定，所以有关部门对群体性事件高度重视。而群体性事件的发生将会带来巨大的损失，而我们国家的人口众多，极易发生群体性事件，所以对人群的人数统计设计显得尤其重要。而人群的人数估计可以对某一监控场景给出人群的密度等级，这有助于管理者调度人力去预防群体性事件的发生，因而人群的人数统计是群体监控的一项主要参考指标。

目前，针对人数统计问题的研究主要分为两类。一类是基于行人检测的方法，通过提取人体或头部局部区域的轮廓、纹理、色彩等特征来检测行人个体，并据此计算场景人数。此类方法能够定位出场景中行人的具体位置，对于一些画面清晰，人数较少的简单场景有一定的效果。然而，现实监控场景中更多的是一些画面模糊，人数多且互相遮挡严重的复杂场景，此类方法对这样的实际监控场景并不适用。另一类是基于全局特征统计人数的方法，通过提取场景中的前景区域特征，如面积、边缘长度、纹理特征等，再利用回归算法来统计场景中的人数。这类方法虽不能准确定位每个行人的具体位置，但能更好地统计出复杂场景中的人数。Conde C通过提取灰度差分矩阵(GLDM)特征对广场大厅类的监控场景实现了人数统计，然而该方法中需要提取的特征值较多，计算步骤过于复杂。Moctezuma D和Martin D采用了灰度共生矩阵(GLCM)特征进行人数统计，并通过主成分分析(PCA)简化了最终的特征指标，在不影响精确度的情况下，降低了计算量，但该方法未能很好地考虑透视效应的因素，即图像中人所占的像素数随着与摄像头距离的增大而减小，对于复杂场景的实际检测效果一般。Albiol A和Hajer F通过提取场景中运动区域的角点信息统计人数，可以在无需提取场景前景的情况下统计场景中的人数，然而该算法仅能检测出运动状态的行人，无法检测出静止状态的行人。

发明内容

为了解决现有技术中问题，本发明提出了一种磁集成与电流纹波抵消的三端口变换器，能够减少了磁环的数量和驱动耦合变压器的个数，同时，减小了电磁干扰影响，使得三端口流经的电流纹波很小。

本发明通过如下技术方案实现：

一种基于多特征融合的密集人数估计方法包括以下步骤：

步骤1：输入视频图像，将图像分成N个相等的子图像块，赋予不同的权重；并利用图像中行人目标的身高大小与其所在位置作为基准，计算图像透视校正后的归一化投影系数；

步骤2：用基于中心对称局部二值模式CSLBP直方图纹理描述和混合高斯背景建模的方法，对输入图像进行分层次背景建模，提取各图像块的前景分割特征，并结合改进的Sobel边缘检测算子检测出各图像块边缘密度；此外还结合中心对称局部二元模式和灰度共生矩阵提取描述图像纹理特征的四个不同方向的重要纹理特征向量；

步骤3：通过主成分分析对所述步骤2提取到的前景分割特征向量和纹理特征向量进行降维处理，所述前景分割特征包括前景像素密度和前景边缘密度；

步骤4：将降维后的特征向量输入到神经网络模型的输入层，由其输出层得到各图像块的估计人数值；

步骤5：将N个子图像块的人数相加得出整个图像的人数。

进一步地，所述步骤2中采用K个加权的CSLBP直方图度量视频当前帧与背景帧的相似度，提取出粗劣的前景区域；在已确定的粗劣前景区域上，将当前前景区域中的每一个像素值与所建立的混合高斯模型进行匹配，确定出精确的前景目标区域，并利用投影系数修正前景面积。

进一步地，所述步骤2中考虑图像空间域上灰度变化的问题，对灰度图像先进行中心对称局部二值模式(CSLBP)变换，确保图像空间局部邻域内的灰度性和计算效率不变。再压缩图像的灰度等级，利用灰度共生矩阵提取出完整有效的纹理特征向量。

另一方面，本发明提供了一种的基于多特征融合的密集人数估计系统，所述系统包括计算机和摄像头，所述摄像头采集视频图像传送到所述计算机进行处理，所述计算机执行本发明的基于多特征融合的密集人数估计方法。

本发明的有益效果是：本发明提供的基于多特征融合的密集人数估计方法和系统具有较高的准确性和较好的鲁棒性，在对地铁站台的监控视频的人数统计实验中取得了较好的效果。

附图说明

图1是本发明的基于多特征融合的密集人数估计方法流程图；

图2是划分成四等分的视频帧的示意图；

图3是LBP/CSLBP算子示意图；

图4是经典的Sobel算子模板示意图；

图5是改进的Sobel算子模板示意图。

具体实施方式

下面结合附图说明及具体实施方式对本发明进一步说明。

如附图1所示的是本发明的基于多特征融合的客流人数估计方法流程图。首先，为了消去摄像机透视对图像特征的影响，将图像分成4个相等的子图像块；赋予不同的权重，并利用图像中行人目标的身高大小与其所在位置作为基准，计算图像透视校正后的归一化投影系数；然后，用基于中心对称局部二值模式直方图纹理描述和混合高斯背景建模的方法，对输入图像进行分层次背景建模，提取各图像块的前景面积，并结合改进的Sobel边缘检测算子检测出各图像块边缘密度，此外还结合中心对称局部二元模式和灰度共生矩阵提取描述图像纹理特征的四个不同方向的重要特征向量；再通过主成分分析对提取到的人群前景分割特征向量和纹理特征向量进行降维处理；接着将降维后的特征向量输入到神经网络模型的输入层，由其输出层得到各图像块的估计人数值；最后，相加所有子图像块人数得出图像人数。该方法具有较高的准确性和较好的鲁棒性，在对地铁站台的监控视频的人数统计实验中取得了较好的效果。

透视效应就是同一个人距离摄像头越远，他在图像平面上所占据的像素数越少，即数量相同的人群在距离摄像头不同的时候所代表的人群人数会出现差异。因此，只有透视校正后的前景特征才能更为准确地反映场景中的实际人数。划分区域的优点：通过划分感兴趣区域可以在一定程度上减少透视效应对人数估计结果的影响；而且通过划分区域，可以在一定程度上去掉一些背景区域，从而能够有效的提高运算速度和准确度。对兴趣区域进行划分主要有以下要求：

(1)在选择兴趣区域时，应当尽量保持行人的整体性，避免将其割裂。保持行人的整体性可以提高人数估计的精确性。

(2)区域的选择要满足容斥性。对于图像中的行人估计，要计算整个场景中行人的人数，场景中的人群人数是各个子区域内的人数和。

因此，考虑到本发明的实验场景为地铁站候车站台，本发明将图像区域分成相等的四等分，如附图2所示。并为每一个区域赋予不同的权重w_r，r＝1,2,3,4。

与此同时，本发明通过对同一场景中同一行人处于不同位置时的大小和横坐标值进行采样，并对行人大小和横坐标值进行非线性拟合。结果表明，行人的宽和高于其所处位置的横坐标值呈现以下函数关系，如下式所示：

w＝A₁x²+B₁sin(x)+C₁    (1)

h＝A₂x²+B₂sin(x)+C₂    (2)

其中w,h分别表示行人目标位于横坐标为x时的宽度和高度。A_i,B_i,C_i，i＝1,2，分别为待拟合系数。

由式(1)和式(2)可知，已知场景中某个行人目标的大小和对应的横坐标值后，可推导出该目标位移至场景中其他任意位置时的大小，具体见式(3)和式(4)。

$w_2=\frac{A_1{x_2}^2+B_1\sin \left(x_2\right)+C_1}{A_1{x_1}^2+B_1\sin \left(x_1\right)+C_1}{w}_1---\left(3\right)$

$h_2=\frac{A_2{x_2}^2+B_2\sin \left(x_2\right)+C_1}{A_2{x_1}^2+B_2\sin \left(x_1\right)+C_1}{h}_1---\left(4\right)$

其中w₁,h₁,w₂,h₂分别表示为行人目标位于横坐标分别为x₁,x₂时的宽度和高度，w₁,h₁,x₁,x₂为已知量，w₂,h₂为待求量。

为了校正透视效应，需要对前景特征进行修正。根据式(1)和式(2)，可将每行的前景特征修正为其投影至场景底边时的前景特征。因此将图像

透视校正的投影系数可表示为

${\mathrm{\γ}}_{i,j}=\frac{A_1{j}^2+B_1\sin \left(j\right)+C_1}{A_1{i}^2+B_1\sin \left(i\right)+C_1}\·\frac{A_2{j}^2+B_2\sin \left(j\right)+C_2}{A_2{i}^2+B_2\sin \left(i\right)+C_2},i,j=\mathrm{1,2},...,H---\left(5\right)$

其中和分别表示将处于第i行的单个前景特征投影至第j行时对应区域的宽度和高度。

再结合区域划分的内容，将不同区域的不同权重因素考虑在内，可得图像透视校正的归一化投影系数为

$\begin{array}{ccc}{\widetilde{\mathrm{\γ}}}_i={\mathrm{\γ}}_{i,H}\·w_r& r=\mathrm{1,2,3,4},& i=\mathrm{1,2},...,H\end{array}----\left(6\right)$

其中w_r表示不同划分区域的权重，H表示图像的高度，γ_i,H表示第i行的单个前景特征投影至场景底边时的投影系数。

本发明结合中心对称局部二值模式(CSLBP)的直方图纹理描述和混合高斯(GMM)背景建模，采用一种分层次的快速的自适应视频运动目标检测方法。首先用CSLBP直方图纹理特性快速提取出运动区域的矩形块，然后在运动的矩形块上使用高斯背景模型，对运动目标进行精确提取。

局部二元模式(LBP)是一种有效的纹理描述算子，具有灰度不变性和计算效率不变等特点，适合对图像进行分析，并且有较高的识别力。对于图像中任意一点(x,y)(附图3中标记为n_c)，将其邻域内的点(附图3中标记为n₀～n₇，是以n_c为圆心、半径为R的圆上的8个相互等距的点)，与n_c进行比较来计算LBP值，具体计算方法为：

${\mathrm{LBP}}_{P,N,T}(x,y)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}s(n_i-n_c)2^i---\left(7\right)$

其中函数s(x)定义如下：

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\≥T\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

式中，N为n_c的邻域个数，在附图3中为8，R为邻域半径(单位：像素)，T(T≥0)为自设阈值。

由于使用LBP直方图对区域进行描述时，产生的直方图的维数很高，计算复杂度高。为了得到更加紧凑的描述子，本发明采用中心对称局部二值模式算子(CSLBP)。与LBP相比，CSLBP的特征维数更低，且抗噪能力更强。CSLBP仅比较关于中心n_c对称的邻域点(如n₀和n₄，n₁和n₅等)。其具体计算方法为：

${\mathrm{CSLBP}}_{P,N,T}(x,y)=\underset{i=0}{\overset{(N/2)-1}{\mathrm{\Σ}}}s(n_i-n_{i+(N/2)})2^i---\left(9\right)$

其中函数s(x)与式(8)相同。

设背景帧和当前图像的CSLBP算子直方图分布表示为H₁、H₂，采用距离测量方法获得两个直方图的相似度，它们之间的直方图相似度表示为：

$d(H_1,H_2)=\underset{i=0}{\overset{\mathrm{bins}}{\mathrm{\η}}}\min (H_1\left(i\right),H_2\left(i\right))---\left(10\right)$

其中，bins表示直方图的带宽。

为了使CSLBP算子更加鲁棒以及背景模型能够自适应更新，本发明采用K个加权的CSLBP直方图统计来对已有的背景矩形块建模。对于时间轴上的每一个矩形块{I₁,I₂,...,I_t}用K个加权的CSLBP直方图统计作为这个矩形块序列的CSLBP纹理描述。在t时刻，像素块I_t(x,y)的直方图统计用H_t表示，k、t、ω和CSLBP_k(t)用来分别表示第k个CSLBP直方图统计在t时刻的权值和LBP算子，则在像素块I_t(x,y)的CSLBP算子可表示为：

$H_t=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{k,t}{\mathrm{CSLBP}}_k\left(t\right)---\left(11\right)$

设在时刻t，一帧图像中每个像素点的像素值I_t(x,y)可以由K(K通常为3～7)个高斯分布来描述。则当前帧像素点观测值的概率为

$P\left(I_t(x,y)\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}(x,y)\·N(I_t(x,y),{\mathrm{\μ}}_{i,t}(x,y),{\mathrm{\σ}}_{i,t}(x,y))---\left(12\right)$

其中，i∈[1,2,…,K]。ω_i,t(x,y)是t时刻像素点(x,y)的第i个模型的权值，μ_i,t(x,y)为模型均值，σ_i,t(x,y)为模型方差。

考虑到计算速度本系统在两个模型中的K值都取3，并且把每张图像序列都平均划分为16×16的大小相同像素块，划分完的连续三张图片对CSLBP模型初始化，并分布分配较小的权值；同时用同样的图像序列初始化3个高斯模型；图像每个点的像素颜色值作为高斯背景模型的均值，并取较大的方差和较小的权值。

利用前面所述的直方图相似度度量方式对K个相应块的直方图H_t进行相似性度量。当其与K个直方图均达不到匹配要求或者完全不匹配，也即d(H₁,H₂)＞Ta时，则认为该矩形块是前景区域，否则为背景区域。

在已确定的粗劣前景区域上，将当前帧区域中的每一个像素值与所建立的高斯模型进行匹配，以确定出精确的目标区域。本发明将当前像素值I_t(x,y)与K个高斯模型的均值比较，若其差在第i个高斯模型的2.5倍标准差之内，则认为像素点与该高斯模型匹配。即

|I_t(x,y)-μ_i,t(x,y)|＜2.5σ_i,t(x,y)    (13)

若上不等式成立，则该点属于背景点；否则属于前景点。

随着时间的变化背景像素会发生缓慢的变化，因此需要实时更新CSLBP模型和高斯模型的参数。首先根据模型匹配方式，检测当前背景模型的直方图是否与已有模型匹配。当新的直方图与当前所有直方图均不匹配时，认为该矩形块是前景区域，则认为出现了一个新的分布，将这个新的CSLBP模型替换掉K个CSLBP模型中权值最低的模型，并赋予其一个较小的权值，利用修正参数α_b对其进行修正如下：

ω_k,t＝(1-α_b)ω_k,t-1+α_bM_k,t    (14)

其中当第K个模型被匹配时M_k,t＝1；否则M_k,t＝0，并且最匹配的第k(k＝1,2,...,K)模型将被更新，如式(17)。

权重修正后需要对其进行归一化处理：

${\mathrm{\ω}}_{k,i}={\mathrm{\ω}}_{i,t}/\underset{i=0}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}---\left(15\right)$

LBP_k(t)＝(1-ρ_b)CSLBP_k(t-1)+ρ_bCSLBP_k(t)    (16)

ρ_b是模型的更新率，ρ_b∈[0,1]

对高斯背景模型的更新：和CSLBP模型的权重更新方法一样，不过设高斯模型中的修正参数和模型更新率分别为α_d，ρ_d。高斯模型的平均值和方差更新如下：

当新的像素值I_t(x,y)与已有的模型都不匹配时，则认为其服从一个新的分布，只需用这个新的模型替代已有模型中权值最低的模型，并赋予其一个较大的方差，均值μ_i,t(x,y)等于I_t(x,y)。当新的像素值I_t与第i个模型匹配时，则修正其均值和方差如下：

μ_i,t(x,y)＝(1-ρ_d)μ_i,t-1(x,y)+ρ_dI_t(x,y)    (17)

σ_i,t(x,y)＝max(σ_min,(1-ρ_d)σ_i,t-1(x,y)+ρ_d|I_t(x,y)-μ_i,t(x,y)|)    (18)

其中σ_min为本系统对标准差设置的一个下限，防止其收敛于零。

因为各个模型权值的大小代表了这个模型可能为背景的概率大小，所以背景学习到一定程度，将K个混合直方图模型和混个高斯模型按照权值高低次序排列，前B个分布作为背景模型，则这前B个模型的权值须满足一下条件：

$B=\arg \min (\underset{\underset{b}{k=1}}{\overset{b}{\mathrm{\Σ}}}{\mathrm{\ω}}_k>\mathrm{Tb})---\left(19\right)$

其中Tb是一个LBP模型中的阈值。可见当Tb比较小的时候，背景将由权值比较大的模型决定；当Tb比大的，允许更多的模型一起决定背景。在混合高斯模型中设置阈值为Tb。

在所构建的背景模型基础上，通过背景减除，即可获得初步的前景图。然后再通过HSV空间去除前景图的阴影，再进行中值滤波，形态学运算等一系列图像处理的操作，得到轮廓更为完整的人群前景图。紧接着统计各区域透视校正后的前景面积如下式所示：

$S_r=\underset{i=1}{\overset{H}{\mathrm{\Σ}}}{\widetilde{\mathrm{\γ}}}_{j=1}\underset{j=1}{\overset{W}{\mathrm{\Σ}}}\mathrm{\φ}(i,j),r=\mathrm{1,2,3,4}---\left(20\right)$

其中H,W分别表示图像的高度和宽度，表示图像透视校正的归一化投影系数，φ(i,j)表示前景判断函数，当坐标点(i,j)为前景点，且属于第r个区域时，其值为1，否则为0。

再统计前景团块像素数占各局部区域透视校正后图像面积的比例，得到前景像素密度x_r

$x_r=\left(\underset{i=1}{\overset{H}{\mathrm{\Σ}}}\underset{j=1}{\overset{W}{\mathrm{\Σ}}}\mathrm{\φ}(i,j)\right)/S_r,r=\mathrm{1,2,3,4}---\left(21\right)$

经典的Sobel算子就是利用差分方法求取某像素点的梯度，对于像素灰度变化比较明显的地方，使用该算子得到的梯度就比较大，从而检测出图像的边沿，运算模板如附图4所示。具体来说，二维图像的灰度值函数f(x,y)，其梯度▽f可表示为：

$\begin{array}{c}\▿f\sqrt{{\left(\frac{\∂f}{\∂x}\right)}^2+{\left(\frac{\∂f}{\∂y}\right)}^2}\\ =|f(x,y)-f(x,y+1)|+|f(x,y)-f(x+1,y)|\end{array}---\left(22\right)$

经典的Sobel算法由于计算量小、速度快，广泛应用于诸多领域。但是经典Sobel算子也存在不足，其边缘具有很强的方向性，只对垂直与水平方向敏感，其他方向不敏感，这就使得有些边缘检测不到。对后续的图像处理有很大的影响。

本发明在此基础上进行了改进。改进后的算法改善了传统Sobel检测算子的性能，具有良好的检测精度。

本发明采用各向同性Sobel算子，其与经典Sobel算子相比，位置加权系数更为准确，在检测不同方向的边缘时梯度的幅度一致，其也包括水平方向和垂直方向检测的模板，如附图5(a)、(b)所示。在此基础上，本发明又提出了2个3×3的模板，分别为检测45°梯度方向的模板和135°梯度方向的模板，如附图5(c)、(d)。这样可以得到4个方向的梯度，不容易丢失边缘。边缘的计算如下：

$S(x,y)=\sqrt{M^2+N^2+P^2+Q^2}---\left(23\right)$

$\begin{array}{c}M=f(x+1,y-1)+\sqrt{2}f(x+1,y)+f(x+1,y+1)\\ -f(x-1,y-1)-\sqrt{2}f(x-1,y)-f(x-1,y+1)\end{array}---\left(24\right)$

$\begin{array}{c}N=f(x-1,y+1)+\sqrt{2}f(x,y+1)+f(x+1,y+1)\\ -f(x-1,y-1)-\sqrt{2}f(x,y-1)-f(x+1,y-1)\end{array}---\left(25\right)$ $\begin{array}{c}P=f(x,y+1)+\sqrt{2}f(x+1,y+1)+f(x+1,y)\\ -f(x-1,y)-\sqrt{2}f(x-1,y-1)-f(x,y-1)\end{array}---\left(26\right)$

$\begin{array}{c}Q=f(x-1,y)+\sqrt{2}f(x-1,y+1)+f(x,y+1)\\ -f(x,y-1)-\sqrt{2}f(x+1,y-1)-f(x+1,y)\end{array}---\left(27\right)$

在提取出完整的前景图像之后，接着用改进的sobel边缘检测算子检测出前景人群的边缘，紧接着统计各区域的前景边缘像素数占各局部区域透视校正后图像面积的比例，得到前景边缘密度z_r

其中H,W分别表示图像的高度和宽度，S_r表示图像透视校正后的前景面积，表示边缘判断函数，当坐标点(i,j)为边缘点，且属于第r个区域时，其值为1，否则为0。

对一帧图像进行灰度变换后，然后利用中心对称局部二元模式(CSLBP)对图像的灰度尺度的单调变换，提取出灰度图像中局部相邻区域的纹理信息。再根据灰度共生矩阵进行图像纹理模式分析。

灰度共生矩阵是提取纹理特征的常用方法，描述了在θ方向上，相隔一定的像素距离d，灰度级分别为i和j的像素对出现的频率P(i,j)，即为矩阵的元素。其中i,j＝0,1,2,...,N-1，N为图像的灰度级数。对于纹理变化缓慢的图像，其灰度共生矩阵对角线上的数值较大；而纹理变化较快的图像，其灰度共生矩阵对角线上的数值较小，对角线两侧的数值较大。

因为一对(d,θ)对应一个矩阵，因此需要将(d,θ)控制在一定范围内。通常，θ只取4个值，θ＝0⁰；θ＝45⁰；θ＝90⁰；θ＝135⁰值和一个d值。经过反复试验，对人群图像选用以下几种特征量：

(1)能量(Energy)：反映了图像纹理粗细程度和灰度分布均匀程度：

$\mathrm{ASM}=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{\left\{P(i,j|d,\mathrm{\θ})\right\}}^2---\left(29\right)$

(2)熵(Entropy)：表示图像中纹理的非均匀程度：

$\mathrm{Ent}=-\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}P(i,j|d,\mathrm{\θ})\log P(i,j|d,\mathrm{\θ})---\left(30\right)$

(3)对比度(Contrast)：反映了图像的清晰程度：

$\mathrm{Con}=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(i-j)}^{2}P(i,j|d,\mathrm{\θ})---\left(31\right)$

(4)逆差距(Homogeneity)：表示图像文理局部变化的大小：

$\mathrm{Hom}=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}\frac{P(i,j|d,\mathrm{\θ})}{1+{|i-j|}^2}---\left(32\right)$

在实际应用中，一幅灰度图像的灰度级一般为256级，而灰度共生矩阵的计算量是由图像的大小和灰度等级来确定的，所以在计算灰度共生矩阵时，可以先将原图像的灰度级压缩到不影响纹理特征的16个灰度级，减少共生矩阵的尺寸，简化计算。

主成分分析(PCA)方法可以有效找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。本发明将8个前景分割特征向量(包含4个前景像素密度特征向量和4个前景边缘特征向量)和16个纹理特征向量串联起来，然后采用PCA技术对该特征集进行降维处理，找出特征数据中最“主要”的元素和结构，去除噪音和冗余，供回归模型使用。

本发明采用BP(Back Propagation Network)神经网络，它是一种误差反向传播的多层前馈型神经网络，具有1个隐层(采用Sigmoid转换函数)的BP网络可实现对任意函数的任意逼近。一般认为,增加隐层数易使网络复杂化,增加网络的训练时间，更易陷于局部最小，而改变隐层节点数则有助于减小误差，其训练效果要比增加隐层数更容易实现。因此,根据地铁站候车站台人数的实际情况，建立由一个输入层、一个隐含层、一个输出层构成的三层BP网络模型。多层隐层节点的BP反馈算法，使优化问题的可调参数增加，从而解决复杂非线性问题。

(1)初始化权值和阈值,即把所有权值和阈值都设置成最小的随机数；

(2)提供训练样本集,包括输入向量和输出向量；

对测试集的图像中分别计算出各图像块的前景像素密度，以及前景边缘密度和灰度图像的纹理特征，提取出24个特征向量，并用主成分分析方法进行降维处理，将所得到的特征向量归一化处理后，作为神经网络模型的输入向量，以及对应的每帧图像的实际人数值作为输出向量。

(3)计算隐含层和输出层的输出：

隐含层的输出为： $h_j=f\left({\mathrm{\β}}_j\right)=f(\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{V}_{\mathrm{ij}}{x}_i-\mathrm{\φ})---\left(33\right)$

输出层的输出为： $y_k=f\left({\mathrm{\α}}_k\right)=f(\underset{i=0}{\overset{L}{\mathrm{\Σ}}}{W}_{\mathrm{jk}}{h}_i-{\mathrm{\θ}}_k)---\left(34\right)$ 其中，输入单元i到隐单元j的权重是V_ij，而隐单元j到输出单元k的权重是W_jk；激活函数f(β_j)采用logsig函数，f(α_k)采用purelin函数；

(4)计算误差平方和：

$E=\frac{1}{N}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}{E_p}^2=\frac{1}{2N}\underset{p=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{(y_k-h_j)}^2---\left(35\right)$

如果误差平方和满足精度，则训练结束，以当前的有关参数作为网络参数，否则根据误差调整权值和阈值，如步骤(5)；

(5)调整网络各层的权值和阈值：

$\mathrm{\Δw}(t+1)=-\mathrm{\η}\frac{\∂E_p}{\∂w}=\mathrm{\α\Δw}\left(t\right)---\left(36\right)$

式中w代表某个权值或阈值，t为迭代次数，η为学习速率，本发明设定为0.01,α称为惯量因子或动量因子；

(6)权值和阈值调整后，转为步骤(3)继续进行，直至误差满足给定的精度要求，且本发明的误差精度定为0.0001。

对测试集的图像中分别计算出各图像块的前景像素密度，以及前景边缘密度和灰度图像的纹理特征，得到特征向量f_i。将每个f_i作为输入，代入BP神经网络模型中，得到各图像块对应的人数估计结果N_i。一帧中的人数结果N即为各图像块的人数之和：

$N=\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{N}_i---\left(37\right)$

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于多特征融合的密集人数估计方法，其特征在于，所述方法包括以下步骤：

步骤1：输入视频图像，将图像分成N个相等的子图像块，赋予不同的权重，并利用图像中行人目标的身高大小与其所在位置作为基准，计算图像透视校正后的归一化投影系数；

步骤2：用基于中心对称局部二值模式CSLBP直方图纹理描述和混合高斯背景建模的方法和所述归一化投影系数，对输入图像进行分层次背景建模，提取各图像块经透视校正后的前景面积，并计算出各图像块的前景像素密度，再结合改进的Sobel边缘检测算子检测计算出各图像块的前景边缘密度；此外还结合中心对称局部二元模式和灰度共生矩阵提取描述图像纹理特征的四个不同方向的重要纹理特征向量；

步骤3：通过主成分分析对所述步骤2提取到的前景分割特征向量和纹理特征向量进行降维处理，所述前景分割特征包括前景像素密度和前景边缘密度；

步骤4：将降维后的特征向量输入到神经网络模型的输入层，由其输出层得到各图像块的估计人数值；

步骤5：将N个子图像块的人数相加得出整个图像的人数。

2.根据权利要求1所述的密集人数估计方法，其特征在于：所述步骤2中用基于中心对称局部二值模式CSLBP直方图纹理描述和混合高斯背景建模的方法和所述归一化投影系数，对输入图像进行分层次背景建模，提取各图像块的前景面积具体为：利用K个加权的CSLBP直方图度量视频当前帧与背景帧的相似度，提取出粗劣的前景区域；在已确定的粗劣前景区域上，将当前前景区域中的每一个像素值与所建立的混合高斯模型进行匹配，确定出精确的前景目标区域，并利用投影系数修正前景面积。

3.根据权利要求1所述的密集人数估计方法，其特征在于：所述步骤2中结合中心对称局部二元模式和灰度共生矩阵提取描述图像纹理特征的四个不同方向的重要纹理特征向量具体为：考虑图像空间域上灰度变化的问题，对灰度图像先进行CSLBP变换，确保图像空间局部邻域内的灰度性和计算效率不变；再压缩图像的灰度等级，利用灰度共生矩阵提取出完整有效的纹理特征向量。

4.一种的基于多特征融合的密集人数估计系统，其特征在于：所述系统包括计算机和摄像头，所述摄像头采集视频图像传送到所述计算机进行处理，所述计算机执行如权利要求1-4任一项所述的密集人数估计方法。