CN104063879B - 一种基于通量和遮挡系数的行人流估计方法 - Google Patents

Abstract

本发明提供一种基于通量和遮挡系数的行人流估计方法，包括步骤：针对感兴趣区域，划定一块固定区域；根据前后两帧之间的运动提取光流，构建出运动矢量场；对图像中的行人进行运动估计，行人的运动被转换成速度矢量；对已划定的固定区域的通量进行计算；利用canny算子对图像进行边缘检测；对划定区域上的边缘点信息进行处理，从而得到遮挡系数；建立回归模型，结合将通量和遮挡系数，并对时间段进行积分处理得到行人流估计。本发明引入流体力学的概念，利用通量对行人流进行模拟；通过边缘信息对遮挡程度进行计算，从而提高了估计的鲁棒性将通量和遮挡系数与提出的回归模型相结合，有效地估计行人流。

Description

一种基于通量和遮挡系数的行人流估计方法

技术领域

本发明属于计算机视频处理技术领域，具体为一种基于通量和遮挡系数的行人流估计方法。

背景技术

随着社会的不断发展，人类的活动程度也在不断的扩大，呈现出人群数量多，密集程度大的趋势，传统的监控系统难以满足日益增长的分析需求。目前，计算机视觉技术在行人分析中发挥着越来越重要的作用。行人流的估计是行人分析中的一项重要任务。

经对现有技术文献检索发现，基于行人检测跟踪和回归模型是两种重要的行人流估计方法。但是行人检测跟踪方法在简单稀疏场景效果较好，或者对摄像头架设位置有严格要求(参见：Zhao T,Nevatia R.Tracking multiple humans in crowded environment[C]//Computer Vision and Pattern Recognition,2004.CVPR2004.Proceedings ofthe2004IEEE Computer Society Conference on.IEEE,2004,2:II-406-II-413Vol.2.)，使其面临如下两个问题：1)易受摄像头位置影响2)在遮挡严重的情形下，容易产生较大误差。基于回归模型的方法(Chan A B,Liang Z S J,Vasconcelos N.Privacy preservingcrowd monitoring:Counting people without people models or tracking[C]//Computer Vision and Pattern Recognition,2008.CVPR2008.IEEE Conferenceon.IEEE,2008:1-7.)虽然准确率较高，实时性也较好，但对于遮挡情况仍无法很好解决。

发明内容

本发明的目的在于克服上述现有技术的不足之处，提出了一种基于通量和遮挡系数的行人流估计方法。

本发明是通过以下技术方案实现的：本发明基于这样两个假设：1)把人流看做一种流体，通过对通量的计算来对行人流进行估计；2)引入的遮挡系数可以补偿由遮挡而引起的估计误差。首先利用光流法构建运动矢量场，这一矢量场包含了行人流的信息。同时，划定一块固定区域并对其进行行人流估计。在一段时间内，对行人流量进行计算。其次，利用canny算子对图像进行边缘检测，边缘点的分布信息反映了遮挡程度的大小，在此基础上计算遮挡系数，使其在行人流的估计中发挥了更好的鲁棒性。

所述方法包括以下步骤：

第一步：针对感兴趣区域，划定一块固定区域，用于对该区域内的行人流估计。

第二步：在视频序列中，根据前后两帧之间的运动提取光流，构建出运动矢量场。具体是对图像中的行人进行运动估计，他们的运动被转换成速度矢量，包含了运动方向以及运动速度两个方面。

第三步：在获得的运动矢量场中，对已划定的固定区域的通量进行计算，其中包括：1)行人流进入划定区域的通量Φ^-；2)行人流走出划定区域的通量Φ⁺。

具体步骤为：

1.对划定区域边界上的像素点的光流v进行计算，假定光流与边界点法线方向夹角为β，则为该点对通量的贡献值。

2.对v进行方向判定。当β＞90°时，该点行人流可以判断为进入区域，因此流进分量上当β＜90°时，该点行人流可以判断为走出区域，因此流出分量上

对边界上的点重复以上两个步骤，可以得出最终的通量以及

第四步：利用canny算子对图像进行边缘检测，该步骤为了更多地标识出图像中行人的实际边缘。

第五步：利用第四步中获得的边缘图像，对划定区域上的边缘点信息进行处理，从而得到遮挡系数。

具体步骤为：

1.对边界线上的每个像素点按顺时针方向进行编号。

2.记录边界上的边缘点，并对相邻的边缘点进行距离计算，距离为对应点的编号差。

3.对计算得到的所有距离值(距离值的数量为s)进行直方图统计，假定按照距离为1～k,k+1～2*k，……(n-1)*k～n*k(根据场景，可以选择不同的k，k为正整数，n表示描述子h的维数，并用h[i]表示特征第i维的值)的分组情况进行统计，形成描述子h。

4.对h进行归一化，得到新特征h′；使用高斯核对新特征进一步处理得到h″，具体为，

h′[i]＝h[i]/s

h″[i]＝h'[i]×exp(-i²/2σ²)

其中，h′[i]和h″[i]分别表示特征第i维的值，exp(k)表示自然指数e的k次方，σ表示高斯函数的宽度参数，s为距离值的数量。

5.根据距离值数量s的大小，与阈值T进行比较，阈值T的选取根据场景以及划定区域的边缘所含像素相关，再对特征进行权重处理，并对每一维特征值进行求和得到初步遮挡系数α，具体为，

6.将初步遮挡系数α加1得到最终的遮挡系数γ，具体是，

γ＝1+α

第六步：建立回归模型，将通量Φ^-和Φ⁺，遮挡系数γ代入公式，并对时间段进行积分处理得到行人流估计，具体是，

其中：P表示最终得到的行人流估计，Φ⁺(t)表示t时刻行人流走出划定区域的通量，Φ^-(t)表示t时刻行人流进入划定区域的通量，γ(t)表示t时刻的遮挡系数，a为常量，t₁为开始时刻，t₂结束时刻。

与现有技术相比，本发明具有以下有益效果：1)引入流体力学的概念，利用通量对行人流进行模拟；2)通过边缘信息对遮挡程度进行计算，从而提高了估计的鲁棒性；3)将通量和遮挡系数与提出的回归模型相结合，有效地估计行人流。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一优选实施例的总流程框图。

图2为本发明一优选实施例中场景示意图，其中邮编所画线为固定区域。

图3为本发明一优选实施例通量的计算示意图。

图4(a)、图4(b)分别是遮挡较小和遮挡较大时候的情况示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例

本实施采用的图像帧来自数据库PETS2009中的行人监控视频。

本实施例涉及的基于通量和遮挡系数的行人流估计方法，如图1所示，包括如下具体步骤：

第一步：如图2所示，针对感兴趣区域，划定一块固定区域，用于对该区域内的行人流估计。

第二步：在视频序列中，根据前后两帧之间的运动提取光流，构建出运动矢量场。行人的运动被转换成速度矢量，包含了运动方向以及运动速度两个方面。

第三步：在获得的运动矢量场中，对已划定的固定区域的通量进行计算，其中包括：1)行人流进入划定区域的通量Φ^-；2)行人流走出划定区域的通量Φ⁺。

具体步骤为：

1.对划定区域边界上的像素点的光流v进行计算，假定光流与边界点法线方向夹角为β，则为该点对通量的贡献值。

2.对v进行方向判定。当β＞90°时，该点行人流可以判断为进入区域，因此流进分量上当β＜90°时，该点行人流可以判断为走出区域，因此流出分量上

对边界上的点重复以上两个步骤，可以得出最终的通量以及

第四步：利用canny算子对图像进行边缘检测，本实施例中选择canny的上限为250，下限为100，。

第五步：利用第四步中获得的边缘图像，对划定区域上的边缘点信息进行处理，从而得到遮挡系数。

具体步骤为：

1.对边界线上的每个像素点按顺时针方向进行编号。

2.记录边界上的边缘点，并对相邻的边缘点进行距离计算，距离为对应点的编号差。

3.对计算得到的所有距离值(距离值得数量为s)进行直方图统计，本实施例按照距离为1～5,6～10，……46～50进行分组统计，一共10维，形成描述子h。

4.对h进行归一化，得到新特征h′；使用高斯核对新特征进一步处理得到h″，具体为，

h′[i]＝h[i]/s

h″[i]＝h'[i]×exp(-i²/2σ²)

其中，i取1,2,3，…10，在本实施例中，选择

5.根据距离值数量s的大小，与阈值T进行比较，本实施例中T＝20。再对特征进行权重处理，并对每一维特征值进行求和得到初步遮挡系数α，具体为，

6.将初步遮挡系数α加1得到最终的遮挡系数γ，具体是，

γ＝1+α

第六步：建立回归模型，将通量Φ^-和Φ⁺，遮挡系数γ代入公式，并对时间段进行积分处理得到行人流估计，取t₁为序列开始时刻，t₂为序列结束时刻，具体是，

过实验证明，本实施例较之以前方法能很好的进行行人流估计。在图2中，划定了固定区域对该区域上的行人流进行估计，图3中说明了通量计算的方式。在图4(a)的无遮挡情况以及图4(b)的遮挡严重情况，在本实施例中都能够得到准确的估计，结合通量和遮挡系数，具有较强的鲁棒性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (2)

1.一种基于通量和遮挡系数的行人流估计方法，其特征在于，包括以下步骤：

第一步：针对感兴趣区域，划定一块固定区域，用于对该区域内的行人流估计；

第二步：在视频序列中，根据前后两帧之间的运动提取光流，构建出运动矢量场；对图像中的行人进行运动估计，行人的运动被转换成速度矢量，包含了运动方向以及运动速度两个方面；

第三步：在获得的运动矢量场中，对已划定的固定区域的通量进行计算，其中包括：1)行人流进入划定区域的通量Φ^-；2)行人流走出划定区域的通量Φ⁺；

第四步：利用canny算子对图像进行边缘检测，更多地标识出图像中行人的实际边缘；

第五步：利用第四步中获得的边缘图像，对划定区域上的边缘点信息进行处理，从而得到遮挡系数γ＝1+α，其中α为初步遮挡系数；

第六步：建立回归模型，将通量Φ^-和Φ⁺，遮挡系数γ代入公式，并对时间段进行积分处理得到行人流估计，具体是：

$\begin{array}{c}P=f(\mathrm{\Φ},\mathrm{\γ},t_1,t_2)\\ ={\∫}_{t=t_1}^{t_2}a\·\mathrm{\γ}\left(t\right)\mathrm{\Φ}dt\\ =a{\∫}_{t=t_1}^{t_2}\mathrm{\γ}\left(t\right)\left({\mathrm{\Φ}}^{+}\right(t)+{\mathrm{\Φ}}^{-}(t\left)\right)dt\end{array}$

其中：Φ⁺(t)表示t时刻行人流走出划定区域的通量，Φ^-(t)表示t时刻行人流进入划定区域的通量，Φ(t)为Φ⁺(t)与Φ^-(t)的和，γ(t)表示t时刻的遮挡系数，a为常量，t₁为开始时刻，t₂结束时刻；

第三步中，具体实现步骤为：

(1)对划定区域边界上的像素点的光流v进行计算，假定光流与边界点法线方向夹角为β，则为该点对通量的贡献值；

(2)对v进行方向判定：当β＞90°时，该点行人流判断为进入区域，因此流进分量上当β＜90°时，该点行人流判断为走出区域，因此流出分量上

(3)对边界上的点重复以上两个步骤(1)、(2)，得出最终的通量以及

第五步中具体实现步骤为：

(1)对边界线上的每个像素点按顺时针方向进行编号；

(2)记录边界上的边缘点，并对相邻的边缘点进行距离计算，距离为对应点的编号差；

(3)对计算得到的所有距离值进行直方图统计，距离值的数量为s，假定按照距离为1～k,k+1～2*k，……(n-1)*k～n*k的分组情况进行统计，形成描述子h，根据场景选择不同的k，k为正整数，n表示描述子h的维数，并用h[i]表示特征第i维的值；

(4)对h进行归一化，得到新特征h′；使用高斯核对新特征进一步处理得到h″；

(5)根据距离值数量s的大小，与阈值T进行比较，再对特征进行权重处理，并对每一维特征值进行求和得到初步遮挡系数；

(6)将初步遮挡系数α加1得到最终的遮挡系数γ，具体是，

γ＝1+α；

所述根据距离值数量s的大小，与阈值T进行比较，阈值T的选取根据场景以及划定区域的边缘所含像素相关，再对特征进行权重处理，并对每一维特征值进行求和得到初步遮挡系数α，具体是：

$\mathrm{\&alpha;}=\left\{\begin{array}{cc}\&Sigma;h^{\&prime;\&prime;}\&lsqb;i\&rsqb;& s>T\\ \frac{s}{T}\&Sigma;h^{\&prime;\&prime;}\&lsqb;i\&rsqb;& s<T\end{array}\right..$

2.根据权利要求1所述的一种基于通量和遮挡系数的行人流估计方法，其特征在于：所述对h进行归一化，得到新特征h′；使用高斯核对新特征进一步处理得到h″，具体为，

h′[i]＝h[i]/s

h″[i]＝h′[i]×exp(-i²/2σ²)

其中，h′[i]和h″[i]分别表示特征第i维的值，exp(k)表示自然指数e的k次方，σ表示高斯函数的宽度参数，s为距离值的数量。