CN106339687A - 基于视频的行人过街信号自适应计算方法 - Google Patents

Abstract

本发明公开了一种基于视频的行人过街信号自适应计算方法,克服目前行人过街绿灯时间固定不变，造成机动车延误增加，同时给行人安全带来隐患的问题，基于视频的行人过街信号自适应计算方法的步骤：1)安装硬件设备；2)背景初始化；3)背景更新：背景差分；阈值计算；背景图像更新；4)阴影剔除：亮度差估计；色度差估计；局部位置估计；5)特征选择与提取：统计前景像素点数量；特征选择阈值的确定；特征选择；特征提取；6)行人等待区域的行人数量检测：构建特征样本库；样本库自交叉验证；行人数量检测模型建立；视频序列检测行人数量；7)行人过街时间检测；8)行人过街时间计算：构建自学习样本库；过街时间模型建立；过街时间计算。

Description

基于视频的行人过街信号自适应计算方法

技术领域

本发明涉及一种用于城市交通管理的控制方法，更确切地说，本发明涉及一种基于视频的行人过街信号自适应计算方法。

背景技术

目前国内行人过街信号设置主要是通过无信号路段行人过街的忍受等待时间，通过定周期方式进行行人过街信号控制。国外主要应用感应式控制，感应式控制采用检测机动车之间的空档设置行人过街时间。现存这些方法均以减少机动车延误为前提，行人数量过多或者过少时，导致行人过街绿灯时间不足或者浪费，给行人安全带来隐患。手动按键式过街信号控制根据行人按键确定到达数量进行行人过街时间设置，但是没有考虑到同一路段在一天不同时间点行人出行目的存在较大差异，通过对吉林大学南岭校区东门行人过街用时实际调查发现，早晚高峰时间段行人过街时间相对平峰时段过街时间较短，过街时间相差5-10秒。因此，合理进行行人过街时间的设置可以减少机动车延误，提高行人过街安全性。

发明内容

本发明所要解决的技术问题是克服了现有技术存在行人过街绿灯时间固定不变，造成机动车延误增加，同时给行人安全带来隐患的问题，提供了一种基于视频的行人过街信号自适应计算方法。

为解决上述技术问题，本发明是采用如下技术方案实现的：所述的基于视频的行人过街信号自适应计算方法的步骤如下：

1)安装硬件设备；

2)背景初始化；

3)背景更新；

4)阴影剔除；

5)特征选择与提取；

6)行人等待区域的行人数量检测；

7)行人过街时间检测；

8)行人过街时间计算。

技术方案中所述的安装硬件设备是指：所述的基于视频的行人过街信号自适应计算方法中所采用的设备包括视频服务器，摄像机、交换机与1台信号机；

所述的摄像机包括一号摄像机与二号摄像机；所述的交换机包括一号交换机与二号交换机；在道路上方的A位置处安装一号摄像机，一号摄像机对正行人等待区域M，一号摄像机距路面高为5至6米，一号摄像机与路侧的电源采用电源线连接，一号摄像机采用电缆与路侧的一号交换机连接，一号交换机采用电缆与视频服务器连接；在道路上方的B位置处安装二号摄像机，二号摄像机对正行人过街行走区域N，二号摄像机应距路面高5至6米，二号摄像机与路侧的电源采用电源线连接，二号摄像机采用电缆与路侧的二号交换机连接，二号交换机采用电缆与视频服务器连接；将信号机放置在路侧，信号机采用电缆与视频服务器连接，视频服务器安装在路侧并采用电源线与路侧的电源连接。

技术方案中所述的背景初始化的步骤如下：

1)构建时间序列图

根据一号摄像机拍摄的画面，传输到视频服务器，对传输进入的视频序列进行图像截取，选择连续T帧的图像，T取100～300，截取得到的图像是彩色RGB图像；利用公式(1)加权平均值法：

F(i，j)＝0.30×Y(i，j，r)+0.59×Y(i，j，g)+0.11×Y(i，j，b) (1)

对彩色RGB图像进行灰度处理，得到灰度图像；

式中：F(i，j)为灰度图像中(i，j)点的灰度值；Y(i，j，r)为输入图像(i，j)点的r通道的值；Y(i，j，g)为输入图像(i，j)点的g通道的值；Y(i，j，b)为输入图像(i，j)点的b通道的值；

对视频序列中每一个像素点的灰度值构建时间序列{x_i|i＝1，...，T}，图中横坐标为视频序列的序号，纵坐标为灰度图像上某一个像素点的灰度值；

2)行人等待区域确定

划定有效检测区域，一号摄像机传输的拍摄画面存在非行人等待区域场景，需要确定输入视频序列的行人等待区域M，行人等待区域M的大小根据人行道位置和行人等待位置确定，为在路侧位置的一个矩形区域；

3)构建平滑子序列

根据每一个像素点灰度值的时间序列图构建平滑子序列，平滑子序列是连续视频序列的像素点灰度值发生微小变化；

平滑子序列需要满足条件：

ω_min＜m-n (2)

$\&ForAll;s,t\&Element;(n,m),\left|x_s-x_t\right|<{\mathrm{\&delta;}}_{\max }---\left(3\right)$

式中：n为平滑子序列的起始序号，n∈(1，T)；m为时间序列图的结束序号,m∈(1，T)；ω_min平滑子序列的最小长度；δ_max为平滑子序列的最大允许变化量；

首先设定平滑子序列的起始序号n和结束序号m，若子序列内的灰度值在最大允许变化量内，将下一个时间序列的灰度值加入子序列，子序列的长度增加1；若子序列内的灰度值大于最大允许变化量，且子序列的长度大于最小长度，将子序列内所有灰度值记为一个平滑子序列，将时间序列的下一个灰度值设定为平滑子序列的开始序号；若子序列内的灰度值大于最大允许变化量，且子序列的长度小于最小长度，子序列的结束序号m加1，重复上述步骤，再次判断子序列内的灰度值是否大于最大允许变化量，直到m取T，最终得到像素点的k个平滑子序列构成平滑子序列集：

L＝(L₁，...，L_k) (4)

每个平滑子序列为L_b＝(l₁，...，l_d),d为平滑子序列的长度；

4)初始背景值确定

选取平滑子序列集(L₁，...，L_k)的每个序列的中值，构造分类序列记作：

(s₁，...，s_k) (5)

将分类序列(s₁，...，s_k)按照从小到大的顺序排列构成排序分类序列(s₁′，...，s_k′)，以(s₁′，...，s_k′)每个数据样本为中心，以δ_max为半径，统计落在半径范围内的分类序列数据样本的数量，称为点集“密度”；

若分类序列(s₁，...，s_k)元素个数小于2或点集“密度”小于2，选取平滑子序列(l₁，...，l_d)的中值作为背景图像对应像素点的初始灰度值；

若分类序列(s₁，...，s_k)元素个数大于2，选择点集“密度”最大的分类数据样本作为背景图像对应像素点的初始灰度值。

技术方案中所述的背景更新的步骤如下：

1)背景差分

背景差分利用t时刻前景图像与t-1时刻背景图像的差分来检测出运动区域，利用公式：

进行背景差分，得到前景二值图像R；

式中:R(i，j)取1表示当前时刻前景图像在(i，j)像素点为前景像素点，取0表示在(i，j)像素点为背景像素点；C(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；Th_opti为最佳阈值；

2)阈值计算

背景差分的最佳阈值Th_opti根据大津算法进行计算；

阈值Th取0到255，根据如下公式:

σ＝ω₀×ω₁×(g₀-g₁)² (7)

计算得到σ₀，σ₁...，σ₂₅₅,选择最大的σ值，其对应的阈值Th作为最佳阈值,即Th_opti＝Th，

式中:ω₀为前景像素点占图像像素点总数的比例；g₀为前景像素点平均灰度值；ω₁为背景像素点数量占图像像素点总数的比例；g₁为背景像素点平均灰度值；根据公式：

${\mathrm{\&omega;}}_0=\frac{N_0}{H\&times;W}---\left(8\right)$

${\mathrm{\&omega;}}_1=\frac{N_1}{H\&times;W}---\left(9\right)$

计算ω₀和ω₁；

式中：N₀表示前景像素点的灰度值大于阈值Th的数量；N₁表示前景像素点的灰度值小于阈值Th的数量；H为视频序列图像的高；W为视频序列图像的宽；H×W为视频序列图像中像素点的数量；

3)背景图像更新

图像像素灰度值在阈值范围内进行卡尔曼滤波算法,利用公式：

g(i，j)＝α·(1-R(i，j))+β·R(i，j) (10)

B(i，j，t)＝(R(i，j，t)-B(i，j，t-1))×g(i，j)+B(i，j，t-1) (11)

进行t时刻背景图像B的更新；

式中：α为运动因子，这里取经验值为0.055；β为背景因子，这里取经验值为0.1；R(i，j)取1或0，分别代表(i，j)像素点为前景像素点或背景像素点；g(i，j)为背景更新的一个过程变量；F(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；B(i，j，t)为背景更新后t时刻背景图像在(i，j)像素点的灰度值。

技术方案中所述的阴影剔除的步骤如下：

1)亮度差估计

根据阴影的光谱特性，某像素点是阴影像素点时在r，g，b颜色通道的亮度值不同于非阴影像素点时的亮度值，利用公式：

$\left\{\begin{array}{c}{T}_2\left(r\right)>B(i,j,r)-Y(i,j,r)>T_1\left(r\right)\\ T_2\left(g\right)>B(i,j,g)-Y(i,j,g)>T_1\left(g\right)\\ T_2\left(b\right)>B(i,j,b)-Y(i,j,b)>T_1\left(b\right)\end{array}\right.---\left(12\right)$

初步判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点；

式中：B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；T₁(r)，T₂(r)为疑似阴影像素点在r通道的阈值；T₁(g)，T₂(g)为疑似阴影像素点在g通道的阈值；T₁(b)，T₂(b)为疑似阴影像素点在b通道的阈值；

亮度值分布在±2.5σ区域内判断为疑似阴影像素点，利用公式：

T₁(c)＝-1.96·σ(c) (13)

T₂(c)＝+1.96·σ(c) (14)

计算亮度差估计的阈值T₁(c)，T₂(c)；

式中：T₁(c)为c通道疑似阴影像素点的下阈值；T₂(c)为c通道疑似阴影像素点的上阈值；c表示颜色通道，取r通道或g通道或b通道；σ(c)为前景像素点在c通道亮度值的标准差。利用公式：

$\mathrm{\&sigma;}\left(c\right)=\sqrt{\frac{1}{n}\mathrm{\&Sigma;}{\left(B\right(i,j,c)-\mathrm{\&mu;}(c\left)\right)}^2}---\left(15\right)$

计算前景像素点在c通道的标准差σ(c)；

式中:c为颜色通道，取r通道或g通道或b通道；n为前景像素点的数量，即前景二值图像中满足R(i，j)＝1条件的像素点数量；μ(c)为前景像素点在c通道亮度值的平均值；

2)色度差估计

根据亮度差估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点包括部分前景像素点，利用公式：

$T_3<\left(\frac{Y(i,j,r)}{Y(i,j,g)}\right)/\left(\frac{B(i,j,r)}{B(i,j,g)}\right)<T_4---\left(16\right)$

$1<\left(\frac{Y(i,j,b)}{Y(i,j,r)}\right)/\left(\frac{B(i,j,b)}{B(i,j,r)}\right)<T_5---\left(17\right)$

判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点；

式中:T₃，T₄，T₅为r，g，b颜色通道亮度值之比的阈值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；

色度差估计满足高斯分布，在±2.5σ区域内认为是疑似阴影像素点，利用公式：

T₃＝μ_r，g+1.96·σ_r，g (18)

T₄＝μ_r，g+1.96·σ_r，g (19)

T₅＝μ_b，r+1.64·σ_b，r (20)

计算色度差估计的阈值T₃，T₄，T₅；

式中：σ_r，g为r颜色通道与g颜色通道之比的标准差；σ_b，r为b颜色通道与r颜色通道之比的标准差；μ_r，g为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值，利用公式：

${\mathrm{\&sigma;}}_{r,g}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\right(\frac{Y(i,j,r)}{Y(i,j,g)})/(\frac{B(i,j,r)}{B(i,j,g)})-{\mathrm{\&mu;}}_{r,g})}^2}---\left(21\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_r，g；

式中:n₁为疑似阴影像素点的数量；μ_r，g为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；利用公式：

${\mathrm{\&sigma;}}_{b,r}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\right(\frac{Y(i,j,b)}{Y(i,j,r)})/(\frac{B(i,j,b)}{B(i,j,r)})-{\mathrm{\&mu;}}_{b,r})}^2}---\left(22\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_b，r；

式中:n₁为疑似阴影像素点的数量；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；R(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；

3)局部位置估计

根据亮度差和色度差的估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点可能包括部分前景像素点，利用公式：

$\left\{\begin{array}{c}D(i,j,0)=R(i,j)\\ D(i,j,1)=R(i,j-1)\\ D(i,j,2)=R(i+1,j)\\ D(i,j,3)=R(i,j+1)\\ D(i,j,4)=R(i-1,j)\end{array}\right.---\left(23\right)$

进行疑似阴影像素点的局部位置估计，得到最终的前景像素点即检测目标的像素点；

式中：D(i，j，0)定义为种子点，即作为局部位置估计的中心点；

D(i，j，1)为种子点上侧像素点；

D(i，j，2)为种子点右侧像素点；

D(i，j，3)为种子点下侧像素点；

D(i，j，4)为种子点左侧像素点；

R(i，j)，R(i，j-1)，R(i+1，j)，R(i，j+1)，R(i-1，j)分别为前景二值图像在像素点(i，j),(i，j-1),(i+1，j),(i，j+1),(i-1，j)的值；

以D(i，j，0)为种子点，当D(i，j，0)＝0，按图像逐行扫描搜索下一个种子点；当D(i，j，0)＝1，对种子点进行四邻域法扫描，即依次判断种子点上下左右侧D(i，j，1)，D(i，j，2)，D(i，j，3)，D(i，j，4)的值，若均为1，则该种子点为连通区域，确定疑似阴影像素点为前景像素点，否则为阴影像素点，R(i，j)＝0，继续进行四邻域法扫描，判断所有疑似阴影像素点的局部位置关系，获得最终前景像素点构成的前景二值图像R；

通过亮度差估计、色度差估计、局部位置关系估计依次判断疑似阴影像素点，对最终判断得到的阴影像素点进行剔除，以此获得良好的前景像素点构成的前景二值图像。

技术方案中所述的特征选择与提取的步骤如下：

1)统计前景像素点数量

根据阴影剔除后得到的前景二值图像，对前景二值图像R(i，j)中前景像素点即R(i，j)＝1的像素点(i，j)的数量进行统计，记为n_f；

2)特征选择阈值的确定

统计得到前景像素点数量，利用公式：

$\mathrm{\&rho;}=\frac{n_f}{H\&times;W}---\left(24\right)$

计算前景像素点密度ρ。

式中：n_f为前景像素点数量；H为视频序列图像的高，单位：像素点；W为视频序列图像的宽，单位：像素点；H×W为图像像素点总数；

通过100帧视频序列图像分别使用两种不同的特征进行行人等待区域的行人数量检测，选择检测正确率最高的特征表示在图中，横坐标表示视频序列序号，纵坐标表示前景像素点密度ρ；图中圆圈代表灰度共生矩阵特征，星号代表前景像素点数量特征。前景目标的像素点数量占图像像素点总数比例的阈值ρ_opti取10％；

3)特征选择

计算前景像素点密度ρ,如果像素点密度ρ＜ρ_opti,提取前景二值图像R的像素点数量特征，如果像素点密度ρ＞ρ_opti,提取视频序列灰度图像F的灰度共生矩阵特征；

4)特征提取。

技术方案中所述的特征提取的步骤如下：

(1)前景像素点数量特征

按照图像分块顺序统计每一块中前景像素点的数量特征(n_f1，n_f2，...，n_f32)，利用公式：

X＝(n_f1，n_f2，...，n_f32)/n_fmax (25)

对前景像素点的数量特征进行归一化即除以特征中的最大值，得到特征向量X；

式中：n_fi为第i块图像块的前景像素点的数量；n_fmax为32块图像块中前景像素点的数量的最大值；

(2)灰度共生矩阵特征提取

视频序列灰度图像F每个像素点的取值范围为0～255，它的灰度级为256级；利用公式：

P(i，j)＝[F(i，j)/32]+1 (26)

将256级的视频序列灰度图像灰度共生矩阵将256级灰度缩减为8个灰度级的图像,即每个像素点的取值范围为1～8；

式中：F(i，j)为灰度图像中(i，j)点的灰度值；″[]″为向下取整运算。

利用8个灰度级图像P计算每一块的灰度共生矩阵G,灰度共生矩阵G为8×8初始值为0的矩阵；两个相邻的像素点称为一个像素对,将8个灰度级的图像P中像素对的第一个值i作为灰度共生矩阵的行，第二个值j作为灰度共生矩阵的列，则灰度共生矩阵G(i，j)加1，当再次出现同样的像素对，逐个扫描图像每一块中的像素对，计算出灰度共生矩阵G；利用公式：

$Q=\frac{G}{G(i_{\max },j_{\max })}---\left(27\right)$

进行灰度共生矩阵G的进行归一化，得到矩阵Q；

式中：G为灰度共生矩阵；i_max为灰度共生矩阵G中最大值的行；j_max为灰度共生矩阵G中最大值的列；

根据灰度共生矩阵归一化后的矩阵Q,利用公式：

Con＝∑_i，j|i-j|²Q(i，j) (28)

Asm＝∑_i，jQ(i，j)² (29)

$H={\mathrm{\&Sigma;}}_{i,j}\frac{Q(i,j)}{1+{\left|i-j\right|}^2}---\left(30\right)$

$Cor=\frac{{\mathrm{\&Sigma;}}_{i,j}i\&CenterDot;j\&CenterDot;Q(i,j)-{\mathrm{\&mu;}}_x\&CenterDot;{\mathrm{\&mu;}}_y}{{\mathrm{\&sigma;}}_x\&CenterDot;{\mathrm{\&sigma;}}_y}---\left(31\right)$

计算灰度共生矩阵的二次统计量；

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行,i取1，2，...，8；j为矩阵的列,j取1，2，...，8；根据公式：

μ_x＝∑_ii·∑_jQ(i，j) (32)

μ_y＝∑_jj·∑_iQ(i，j) (33)

σ_x ²＝∑_i(i-μ_x)²·∑_jQ(i，j) (34)

σ_y ²＝∑_j(j-μ_y)²·∑_iQ(i，j) (35)

计算灰度共生矩阵的二次统计量中的参数μ_x，μ_y，σ_x，σ_y；

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行,i取1，2，...，8；j为矩阵的列,j取1，2，...，8；

按照图像分块顺序分别计算32个图像块的灰度共生矩阵的二次统计量：

(Con₁，Asm₁，H₁，Cor₁，Con₂，Asm₂，H₂，Cor₂，...，Con₃₂，Asm₃₂，H₃₂，Cor₃₂)

进行归一化即除以二次统计量中的最大值，得到图像灰度共生矩阵特征的特征向量X。

技术方案中所述的行人等待区域的行人数量检测的步骤如下：

1)构建特征样本库

行人样本的数量需涵盖一号摄像机拍摄场景下多种行人状态的情况,采集行人等待区域中不同行人数量的图像，得到l帧视频序列图像进行前景像素点密度ρ计算，进行特征选择与提取，将提取到的前景像素点数量特征值和灰度共生矩阵特征值进行归一化后得到特征向量X，作为各自支持向量回归模型的样本向量，而对应的采样图像中行人数量作为样本标签Y；构造出的前景像素点数量特征的训练集其中:l₁为样本数量；灰度共生矩阵特征的训练集其中l₂为样本数量；

2)样本库自交叉验证

通过不同训练集S₁，S₂中样本向量和样本标签的对应关系，使得样本库内部进行自交叉验证；

根据步骤3)行人数量检测模型建立的行人数量检测模型算法，对前景像素点数量特征的训练集S₁、灰度共生矩阵特征的训练集S₂分别进行训练,对于训练集S₁和S₂均将算法中的参数C值和γ值依次取2^-8～2⁸，利用公式(38)、公式(39)计算参数α_i，的值，将参数代入公式(40)中，对训练集S₁，S₂分别进行检测，通过下式:

$Q=\frac{tc}{l}---\left(36\right)$

计算不同C值和γ值下行人数量检测的准确率；

式中，l为训练集样本数量，前景像素点数量特征训练集样本数量l＝l₁,灰度共生矩阵特征的训练集样本数量l＝l₂；tc为训练样本样本标签与模型检测到的行人数量相同，即：y_i＝f(x_i)。

训练集S₁，S₂行人数量检测模型算法中的C值和γ值均依次取2^-8～2⁸，当C值和γ值使得行人数量检测的准确率为最大值时，两个训练集像素点数量特征训练集和灰度共生矩阵特征训练集分别得到最优的目标参数C值和γ值；

3)行人数量检测模型建立

对于给定的样本训练集S₁＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_i∈R}，给定松弛变量ε＞0，使得|y_i-f(x_i)|≤ε，

使用径向基核函数将输入数据映射到高维特征空间。

$K(s,t)=e^{\mathrm{\&gamma;}\left|\right|s-t|{|}^2}---\left(37\right)$

式中:s，t为输入变量且二者均为向量；γ为径向基核函数的参数；

引入径向基核函数在高维特征空间中进行计算，计算后返回到原空间，就得到原输入空间的非线性分类,可以降低分类时计算量；

根据给定的样本训练集S，代入下式求解α_i，的解；

式中:α_i，α_j，为参数，K(s，t)为径向基核函数，x_i为第i个样本的样本向量，x_j为第j个样本的样本向量，y_i为第i个样本的样本标签，ε为松弛变量,C为惩罚因子。

根据公式(38)求解得到α_i，的解，利用下式：

计算b的两个值；

式中:y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子；

4)视频序列检测行人数量

将需要检测的样本进行背景更新，阴影剔除，特征选择与提取，当选择前景像素点数量特征时，将样本向量x代入前景像素点数量特征的行人数量检测模型，当选择灰度共生矩阵特征时，将样本向量x代入灰度共生矩阵特征的行人数量检测模型,公式如下：

$f\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_j,x)+b,x_i\&Element;R^n,b\&Element;R---\left(40\right)$

用来检测样本的行人数量；

式中:α_i，为参数；K(s，t)为径向基核函数；x_j为第j个样本的样本向量；x为待检测样本的样本向量。

技术方案中所述的行人过街时间检测的步骤如下：

1)背景初始化

2)背景更新

3)阴影剔除

4)特征选择与提取

将每个行人用小矩形框封闭，形成目标矩形，在目标矩形范围内提取行人特征；

(1)行人的位置特征包括目标的质心位置(p_x，p_y)和速度(v_x，v_y)；速度利用行人在连续图像的位移(ΔS_x，ΔS_y)除以采样时间间隔Δt获取：

$v_x=\frac{{\mathrm{\&Delta;S}}_x}{\mathrm{\&Delta;}t},v_y=\frac{{\mathrm{\&Delta;S}}_y}{\mathrm{\&Delta;}t}---\left(41\right)$

式中:ΔS_x为目标矩形在连续图像的水平位移，单位：像素点；ΔS_y为目标矩形在连续图像的竖直位移，单位：像素点；Δt为采样时间间隔，单位：秒；

(2)行人的目标矩形主要有宽度W、高度L、面积A、目标矩形的宽高比、形状复杂度C；

宽高比R定义为：

$R=\frac{W}{L}---\left(42\right)$

式中:R为目标矩形的宽高比；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点；

形状复杂度C定义为：

$C=\frac{4\mathrm{\&pi;}\&times;A}{P^2}---\left(43\right)$

式中:C为目标矩形的形状复杂度；A为目标矩形的面积，单位：像素点²；P为目标矩形的周长，单位：像素点；

通过特征提取可获得检测目标运动模板:

Temp＝[p_x，p_y，v_x，v_y，W，L，A，R，C] (44)

式中:(p_x，p_y)为目标矩形的质心位置，单位：像素点；(v_x，v_y)为目标矩形的速度，单位：像素点/秒；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点；A为目标矩形的面积，单位：像素点²；R为目标矩形的宽高比；C为目标矩形的形状复杂度；

5)行人模板匹配

在相邻帧之间对这些模板进行匹配，获得行人在摄像机视野范围内运动轨迹，采用卡尔曼滤波进行目标跟踪；系统的状态方程和观测方程分别为

x_t＝A·x_t-1+B·u_t+w_t (45)

z_t＝H·x_t+v_t (46)

式中：x_t为t时刻n维状态向量；z_t为t时刻n维测量向量；A为状态转移矩阵；H为测量矩阵；w_t,v_t是两个随机变量，分别为正态分布的状态和测量噪声向量；

6)过街时间获取

利用卡尔曼滤波预测运动目标下一帧中的位置，可以确定预测矩形，采用卡尔曼滤波得到预测点位置作为预测矩形的质心,将跟踪模板中形状的长和宽分别加上预测误差的最大值，得到预测矩形的长和宽，预测矩形即为跟踪算法的搜索范围，在预测矩形中寻找检测矩形，根据检测矩形和预测矩形相交判断匹配状况，确定行人运动轨迹。有新的行人进入检测场景，随之产生一个新的跟踪；行人离开监控场景，跟踪终止，根据视频图帧帧差得到行人过街时间，记录当前时段；

7)构建行人过街时间库

行人过街时间库是针对等待过街行人数量、行人过街时间和系统时间的关系集。

技术方案中所述的行人过街时间计算的步骤如下：

1)构建自学习样本库

根据系统时间选择以及行人等待区域检测到的行人数量，行人等待区域行人数量、行人过街时间和系统时间的关系集，将过街行人数量作为样本向量X，行人过街时间作为样本标签Y；各个不同系统时间下构成行人过街时间训练集

S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，k＝1，2，...，7；

2)过街时间模型建立

根据构建自学习样本库步骤中行人过街时间训练集：

S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，，给定松弛变量ε＞0，满足条件|y_i-f_k(x_i)|≤ε，

根据给定的样本训练集S，代入下式:

求解α_i，的解；

式中：α_i，α_j，为参数；K(s，t)为径向基核函数；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；y_i为第i个样本的样本标签；ε为松弛变量；C为惩罚因子；

根据公式(38)求解得到α_i，的解，利用下式:

计算b的两个值；

式中，y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子；

3)过街时间计算

根据当前系统时间，选择行人过街时间计算模型，行人等待区域的行人数量检测步骤中检测到的行人等待区域的行人数量作为样本向量x，代入到下式：

$f_k\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_j,x)+b,x_i\&Element;R^n,b\&Element;R---\left(49\right)$

计算当前系统时间和行人数量下所需过街时间；

式中，α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_j为第j个样本的样本向量；x为样本向量；

4)通过过街时间模型计算得到行人过街所需时间为控制行人过街提供依据，实现城市行人过街交通自适应管理控制。

与现有技术相比本发明的有益效果是：

1.本发明所述的基于视频的行人过街信号自适应计算方法通过行人数量检测进行过街信号自适应计算，既可应用于城市交通管理也可以应用于设计部门或科研院所，实现城市交通控制管理研究开发的需要，具有重要的社会意义和巨大的工程应用经济价值。

2.本发明所述的基于视频的行人过街信号自适应计算方法根据图像序列，可获取行人等待区域行人的数量以及实时行人过街时间，实现行人过街时间样本库更新过程。根据系统时间、过街行人数量进行行人过街时间计算。

3.为测试本发明所述的基于视频的行人过街信号自适应计算方法的性能，在长春市吉林大学南岭校区东门的过街行人等待区域进行录像，其中包括行人高峰时段，行人平峰时段。利用本发明所述的基于视频的行人过街信号自适应计算方法对交通录像进行分析，实验结果表明本发明具有较高的准确性，行人过街时间计算可满足实际需要。

附图说明

下面结合附图对本发明作进一步的说明：

图1是本发明所述的基于视频的行人过街信号自适应计算方法的流程框图；

图2是本发明所述的基于视频的行人过街信号自适应计算方法的背景初始化步骤中有效检测区域划定图，图中M表示行人等待区域,N表示行人过街行走区域；

图3是本发明所述的基于视频的行人过街信号自适应计算方法中的背景初始化步骤的流程框图；

图4是本发明所述的基于视频的行人过街信号自适应计算方法的背景初始化中像素点灰度值的时间序列图，图中横坐标为视频序列的序号，纵坐标为灰度图像上某一像素点的灰度值；

图5是本发明所述的基于视频的行人过街信号自适应计算方法中的背景初始化步骤中构建平滑子序列的流程框图；

图6是本发明所述的基于视频的行人过街信号自适应计算方法中的背景更新步骤的流程框图；

图7是本发明所述的基于视频的行人过街信号自适应计算方法的阴影剔除步骤的流程框图；

图8是本发明所述的基于视频的行人过街信号自适应计算方法中的阴影剔除步骤中局部位置关系图；

图9是本发明所述的基于视频的行人过街信号自适应计算方法中特征选择与提取步骤的流程框图；

图10是本发明所述的基于视频的行人过街信号自适应计算方法中特征选择与提取步骤中特征选择阈值的确定图，图中横坐标为视频序列序号，纵坐标为前景目标像素点占图像比例，直线为特征选择最佳阈值；

图11是本发明所述的基于视频的行人过街信号自适应计算方法中的特征选择与提取步骤中图像分块图；

图12是本发明所述的基于视频的行人过街信号自适应计算方法中的特征选择与提取步骤中灰度共生矩阵特征提取的示例图；

图13是本发明所述的基于视频的行人过街信号自适应计算方法中的行人过街等待区域的行人数量检测步骤的流程框图；

图14是本发明所述的基于视频的行人过街信号自适应计算方法中的行人过街时间检测步骤的流程框图；

图15是本发明所述的基于视频的行人过街信号自适应计算方法中的行人过街时间计算步骤的流程框图；

图16是本发明所述的基于视频的行人过街信号自适应计算方法中的行人等待区域检测到的行人数量与实际数量对比图。

具体实施方式

下面结合附图对本发明作详细的描述：

参阅图1，城市的行人过街自适应控制系统是由硬件和软件两部分组成，即有视频采集与传输设备的硬件部分和过街等候区域行人数量检测程序、行人过街时间检测程序以及行人过街时间计算程序的软件部分组成。基于视频的行人过街信号自适应控制是在硬件设备基础上利用计算机软件程序计算行人过街时间自适应计算，为行人过街信号配时提供依据，完整的说其包括如下步骤：安装硬件设备、背景初始化、背景更新、阴影剔除、特征选择与提取、行人等待区域的行人数量检测、行人过街时间检测与行人过街时间计算。通过行人过街的自适应算法实时计算行人过街时间，通过配时控制过街行人交通。

现按时间顺序详细描述如下：

1.安装硬件设备

参阅图2，本发明所述的基于视频的行人过街信号自适应计算方法中所采用的设备包括视频服务器(单片机)，摄像机(一号摄像机、二号摄像机)、交换机(一号交换机、二号交换机)、1台信号机与电源线、电缆。

在道路上方的A位置处安装一号摄像机，采用电源线将一号摄像机连接至路侧的电源，采用电缆一端接一号摄像机，电缆的另一端接放置路侧的一号交换机，再采用电缆的一端接一号交换机，另一端接视频服务器。

在道路上方的B位置处安装二号摄像机，采用电源线将二号摄像机与路侧的电源连接，同样采用电缆一端接二号摄像机，另一端接放置路侧的二号交换机，再采用电缆的一端接二号交换机，电缆的另一端接视频服务器。

将信号机放置在路侧，用电缆一端接信号机，电缆的另一端接视频服务器。将视频服务器置于路侧(尽量不影响行人过街和非机动车运行)，采用电源线连接至路侧的电源。一号摄像机应完全拍摄图中行人等待区域M获取视频序列并利用电缆传入视频服务器，所以应距路面5至6米高。二号摄像机要完全拍摄到图中行人过街行走区域，所以应距路面5至6米高，夜晚时需要照明补足光线。开动硬件设备，使安装有自编计算机程序的整个视频采集与传输设备处于工作状态。用一号摄像机采集行人等待区域M的视频序列，将视频序列信号经一号交换机传输到视频服务器，用二号摄像机采集行人过街行走区域N的视频序列，并将视频序列信号经二号交换机传输到视频服务器。

2.背景初始化

参阅图3，对摄像机拍摄到检测区域的视频序列进行初始值的设置即背景初始化，其步骤如下：

1)构建时间序列图

根据一号摄像机拍摄的画面，传输到视频服务器，对传输进入的视频序列进行图像截取，选择连续T帧(T一般取100～300)的图像。截取得到的图像是彩色RGB图像。利用公式(1)加权平均值法：

F(i，j)＝0.30×Y(i，j，r)+0.59×Y(i，j，g)+0.11×Y(i，j，b) (1)

对彩色RGB图像进行灰度处理，得到灰度图像；

式中：F(i，j)为灰度图像中(i，j)点的灰度值；Y(i，j，r)为输入图像(i，j)点的r通道(红色通道)的值；Y(i，j，g)为输入图像(i，j)点的g通道(绿色通道)的值；Y(i，j，b)为输入图像(i，j)点的b通道(蓝色通道)的值。

参阅图4，对视频序列中每一个像素点的灰度值构建时间序列{x_i|i＝1，…，T}。图中横坐标为视频序列的序号，纵坐标为灰度图像上某一个像素点的灰度值。

2)行人等待区域确定

参阅图2，划定有效检测区域。一号摄像机传输的拍摄画面存在非行人等待区域场景，需要确定输入视频序列的行人等待区域M。图中行人等待区域M的大小根据人行道位置和行人等待位置确定，通常为在路侧位置的一个矩形区域。

3)构建平滑子序列

参阅图5，根据每一个像素点灰度值的时间序列图构建平滑子序列。平滑子序列是连续视频序列的像素点灰度值发生微小变化。

平滑子序列需要满足条件：

ω_min＜m-n- (2)

$\&ForAll;s,t\&Element;(n,m),\left|x_s-x_t\right|<{\mathrm{\&delta;}}_{\max }---\left(3\right)$

式中：n为平滑子序列的起始序号，n∈(1，T)；m为时间序列图的结束序号,m∈(1，T)；ω_min为平滑子序列的最小长度；δ_max为平滑子序列的最大允许变化量。

首先设定平滑子序列的起始序号n和结束序号m，若子序列内的灰度值在最大允许变化量内，将下一个时间序列的灰度值加入子序列，子序列的长度增加1；若子序列内的灰度值大于最大允许变化量，且子序列的长度大于最小长度，将子序列内所有灰度值记为一个平滑子序列，将时间序列的下一个灰度值设定为平滑子序列的开始序号。若子序列内的灰度值大于最大允许变化量，且子序列的长度小于最小长度，子序列的结束序号m加1，重复上述步骤，再次判断子序列内的灰度值是否大于最大允许变化量，直到m取T。最终得到像素点的k个平滑子序列构成平滑子序列集：

L＝(L₁，...，L_k) (4)

每个平滑子序列为L_b＝(l₁，...，l_d),d为平滑子序列的长度。

4)初始背景值确定

选取平滑子序列集(L₁，...，L_k)的每个序列的中值，构造分类序列记作：

(s₁，...，s_k) (5)

将分类序列(s₁，...，s_k)按照从小到大的顺序排列构成排序分类序列(s₁′，...，s_k′)，以(s₁′，...，s_k′)每个数据样本为中心，以δ_max为半径，统计落在半径范围内的分类序列数据样本的数量(包括自己)，称为点集“密度”。

若分类序列(s₁，...，s_k)元素个数小于2或点集“密度”小于2，选取平滑子序列(l₁，...，l_d)的中值作为背景图像对应像素点的初始灰度值。

若分类序列(s₁，...，s_k)元素个数大于2，选择点集“密度”最大的分类数据样本作为背景图像对应像素点的初始灰度值(出现多个“密度”最大情况则取中值作为初始灰度值)。

3.背景更新

参阅图6，背景图像的灰度值要根据外界环境的变化而进行实时性改变，即背景的更新。本发明根据行人的状态、光线变化有选择地选择改进卡尔曼算法的背景更新，背景更新的步骤如下：

1)背景差分

背景差分利用t时刻前景图像与t-1时刻背景图像的差分来检测出运动区域，利用公式：

进行背景差分，得到前景二值图像R。

式中:R(i，j)取1表示当前时刻前景图像在(i，j)像素点为前景像素点，取0表示在(i，j)像素点为背景像素点；C(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；Th_opti为最佳阈值。

2)阈值计算

背景差分的最佳阈值Th_opti根据大津算法进行计算。

阈值Th取0到255，根据如下公式:

σ＝ω₀×ω₁×(g₀-g₁)² (7)

计算得到σ₀，σ₁，...，σ₂₅₅,选择最大的σ值，其对应的阈值Th作为最佳阈值,即Th_opti＝Th。

式中:ω₀为前景像素点占图像像素点总数的比例；g₀为前景像素点平均灰度值；ω₁为背景像素点数量占图像像素点总数的比例；g₁为背景像素点平均灰度值。根据公式：

${\mathrm{\&omega;}}_0=\frac{N_0}{H\&times;W}---\left(8\right)$

${\mathrm{\&omega;}}_1=\frac{N_1}{H\&times;W}---\left(9\right)$

计算ω₀和ω₁。

式中，N₀表示前景像素点的灰度值大于阈值Th的数量；N₁表示前景像素点的灰度值小于阈值Th的数量；H为视频序列图像的高；W为视频序列图像的宽；H×W为视频序列图像中像素点的数量。

3)背景图像更新

图像像素灰度值在阈值范围内进行卡尔曼滤波算法,利用公式：

g(i，j)＝α·(1-R(i,j))+β·R(i，j) (10)

B(i，j，t)＝(R(i，j，t)-B(i，j，t)-B(i，j，t)-B(i，j，t-1))×g(i，j)+B(i，j，t-1) (11)

进行t时刻背景图像B的更新。

式中：α为运动因子，这里取经验值为0.055；β为背景因子，这里取经验值为0.1；R(i，j)取1或0(分别代表(i，j)像素点为前景像素点或背景像素点)；g(i，j)为背景更新的一个过程变量；f(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；B(i，j，t)为背景更新后t时刻背景图像在(i，j)像素点的灰度值。

4.阴影剔除

参阅图7，阴影剔除的作用是分析背景差分后得到的全部前景像素点，去掉由行人自身造成的阴影像素点，减少阴影像素点对检测结果的影响。阴影剔除步骤如下：

1)亮度差估计

根据阴影的光谱特性，某像素点是阴影像素点时在r，g，b颜色通道的亮度值不同于非阴影像素点时的亮度值，利用公式：

$\left\{\begin{array}{c}{T}_2\left(r\right)>B(i,j,r)-Y(i,j,r)>T_1\left(r\right)\\ T_2\left(g\right)>B(i,j,g)-Y(i,j,g)>T_1\left(g\right)\\ T_2\left(b\right)>B(i,j,b)-Y(i,j,b)>T_1\left(b\right)\end{array}\right.---\left(12\right)$

初步判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点。

式中：B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；T₁(r)，T₂(r)为疑似阴影像素点在r通道的阈值；T₁(g)，T₂(g)为疑似阴影像素点在g通道的阈值；T₁(b)，T₂(b)为疑似阴影像素点在b通道的阈值。

亮度值分布在±2.5σ区域内(即95％置信区间内)判断为疑似阴影像素点，利用公式：

T₁(c)＝-1.96·σ(c) (13)

T₂(c)＝+1.96·σ(c) (14)

计算亮度差估计的阈值T₁(c)，T₂(c)。

式中：T₁(c)为c通道疑似阴影像素点的下阈值；T₂(c)为c通道疑似阴影像素点的上阈值；c为颜色通道，取r通道或g通道或b通道；σ(c)为前景像素点在c通道亮度值的标准差。利用公式：

$\mathrm{\&sigma;}\left(c\right)=\sqrt{\frac{1}{n}\mathrm{\&Sigma;}{\left(B\right(i,j,c)-\mathrm{\&mu;}(c\left)\right)}^2}---\left(15\right)$

计算前景像素点在c通道的标准差σ(c)。

式中:c为颜色通道，取r通道或g通道或b通道；n为前景像素点的数量，即前景二值图像中满足R(i，j)＝1条件的像素点数量；μ(c)为前景像素点在c通道亮度值的平均值。

2)色度差估计

根据亮度差估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点可能包括部分前景像素点，利用公式：

$T_3<\left(\frac{Y(i,j,r)}{Y(i,j,g)}\right)/\left(\frac{B(i,j,r)}{B(i,j,g)}\right)<T_4---\left(16\right)$

$1<\left(\frac{Y(i,j,b)}{Y(i,j,r)}\right)/\left(\frac{B(i,j,b)}{B(i,j,r)}\right)<T_5---\left(17\right)$

判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点。

式中:T₃，T₄，T₅为r，g，b颜色通道亮度值之比的阈值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值。

色度差估计满足高斯分布，在±2.5σ区域内(即95％置信区间内)认为是疑似阴影像素点，利用公式：

T₃＝μ_r，g-1.96·σ_r，g (18)

T₄＝μ_r，g+1.96·σ_r，g (19)

T₅＝μ_b，r+1.64·σ_b，r (20)

计算色度差估计的阈值T₃，T₄，T₅。

式中：σ_r，g为r颜色通道与g颜色通道之比的标准差；σ_b，r为b颜色通道与r颜色通道之比的标准差；μ_r，g为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值。利用公式：

${\mathrm{\&sigma;}}_{r,g}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\right(\frac{Y(i,j,r)}{Y(i,j,g)})/(\frac{B(i,j,r)}{B(i,j,g)})-{\mathrm{\&mu;}}_{r,g})}^2}---\left(21\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_r，g。

式中:n₁为疑似阴影像素点的数量；σ_r，g为r颜色通道与g颜色通道之比的标准差；σ_b，r为b颜色通道与r颜色通道之比的标准差；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值。利用公式：

${\mathrm{\&sigma;}}_{b,r}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\right(\frac{Y(i,j,b)}{Y(i,j,r)})/(\frac{B(i,j,b)}{B(i,j,r)})-{\mathrm{\&mu;}}_{b,r})}^2}---\left(22\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_b，r。

式中:n₁为疑似阴影像素点的数量；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；R(i，j，r)为视频序列图像中(i，j)在r通道的亮度值。

3)局部位置估计

参阅图8，根据亮度差和色度差的估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点可能包括部分前景像素点，利用公式：

$\left\{\begin{array}{c}D(i,j,0)=R(i,j)\\ D(i,j,1)=R(i,j-1)\\ D(i,j,2)=R(i+1,j)\\ D(i,j,3)=R(i,j+1)\\ D(i,j,4)=R(i-1,j)\end{array}\right.---\left(23\right)$

进行疑似阴影像素点的局部位置估计，得到最终的前景像素点即检测目标的像素点。

式中：D(i，j，0)定义为种子点，即作为局部位置估计的中心点；

D(i，j，1)为种子点上侧像素点；

D(i，j，2)为种子点右侧像素点；

D(i，j，3)为种子点下侧像素点；

D(i，j，4)为种子点左侧像素点；

R(i，j)，R(i，j-1)，R(i+1，j)，R(i，j+1)，R(i-1，j)分别为前景二值图像在像素点(i，j),(i，j-1),(i+1，j),(i，j+1),(i-1，j)的值。

以D(i，j，0)为种子点，当D(i，j，0)＝0，按图像逐行扫描搜索下一个种子点；当D(i，j，0)＝1，对种子点进行四邻域法扫描，即依次判断种子点上下左右侧D(i，j，1)，D(i，j，2)，D(i，j，3)，D(i，j，4)的值，若均为1，则该种子点为连通区域，确定疑似阴影像素点为前景像素点，否则为阴影像素点，R(i，j)＝0。继续进行四邻域法扫描，判断所有疑似阴影像素点的局部位置关系，获得最终前景像素点构成的前景二值图像R。

通过亮度差估计、色度差估计、局部位置关系估计依次判断疑似阴影像素点，对最终判断得到的阴影像素点进行剔除，以此获得良好的前景像素点构成的前景二值图像。

5.特征选择与提取

参阅图9，在不同时段过街行人等待区域的行人密度大不相同，本发明根据提取出来的前景二值图像中前景像素点数量占图像像素点总数的比例即称为前景像素点密度，进行不同的特征选择。

1)统计前景像素点数量

根据阴影剔除后得到的前景二值图像，对前景二值图像R(i，j)中前景像素点即R(i，j)＝1的像素点(i，j)的数量进行统计，记为n_f。

2)特征选择阈值的确定

统计得到前景像素点数量，利用公式：

$\mathrm{\&rho;}=\frac{n_f}{H\&times;W}---\left(24\right)$

计算前景像素点密度ρ。

式中：n_f为前景像素点数量；H为视频序列图像的高，单位：像素点；W为视频序列图像的宽，单位：像素点；H×W为图像像素点总数。

参阅图10，我们通过100帧视频序列图像分别使用两种不同的特征进行行人等待区域的行人数量检测，选择检测正确率最高的特征表示在图中。横坐标表示视频序列序号，纵坐标表示前景像素点密度ρ。图中圆圈代表灰度共生矩阵特征，星号代表前景像素点数量特征。前景目标的像素点数量占图像像素点总数比例的阈值ρ_opti取10％。

3)特征选择

计算前景像素点密度ρ,如果像素点密度ρ＜ρ_opti,提取前景二值图像R的像素点数量特征，如果像素点密度ρ＞ρ_opti,提取视频序列灰度图像F的灰度共生矩阵特征。

4)特征提取

参阅图11,对视频序列图像进行分块，采用4×8的图像分块方式。

(1)前景像素点数量特征

按照图像分块顺序统计每一块中前景像素点的数量特征(n_f1，n_f2，...，n_f32)，利用公式：

X＝(n_f1，n_f2，...，n_f32)/n_fmax (25)

对前景像素点的数量特征进行归一化(即除以特征中的最大值)，得到特征向量X。

式中：n_fi为第i块图像块的前景像素点的数量；n_fmax为32块图像块中前景像素点的数量的最大值。

(2)灰度共生矩阵特征提取

参阅图12，视频序列灰度图像F每个像素点的取值范围为0～255，它的灰度级为256级。利用公式：

P(i，j)＝[F(i，j)/32]+1 (26)

将256级的视频序列灰度图像灰度共生矩阵将256级灰度缩减为8个灰度级的图像,即每个像素点的取值范围为1～8。

式中：F(i，j)为灰度图像中(i，j)点的灰度值；″[]″为向下取整运算。

利用8个灰度级图像P计算每一块的灰度共生矩阵G。灰度共生矩阵G为8×8初始值为0的矩阵。如图中所示，两个相邻的像素点称为一个像素对。将8个灰度级的图像P中像素对的第一个值i作为灰度共生矩阵的行，第二个值j作为灰度共生矩阵的列，则灰度共生矩阵G(i，j)加1，当再次出现同样的像素对，逐个扫描图像每一块中的像素对，计算出灰度共生矩阵G。利用公式：

$Q=\frac{G}{G(i_{\max },j_{\max })}---\left(27\right)$

进行灰度共生矩阵G的进行归一化，得到矩阵Q。

式中：G为灰度共生矩阵；i_max为灰度共生矩阵G中最大值的行；j_max为灰度共生矩阵G中最大值的列。

根据灰度共生矩阵归一化后的矩阵Q,利用公式：

Con＝∑_i，j|i-j|²Q(i，j) (28)

Asm＝∑_i，jQ(i，j)² (29)

$H={\mathrm{\&Sigma;}}_{i,j}\frac{Q(i,j)}{1+{\left|i-j\right|}^2}---\left(30\right)$

$Cor=\frac{{\mathrm{\&Sigma;}}_{i,j}i\&CenterDot;j\&CenterDot;Q(i,j)-{\mathrm{\&mu;}}_x\&CenterDot;{\mathrm{\&mu;}}_y}{{\mathrm{\&sigma;}}_x\&CenterDot;{\mathrm{\&sigma;}}_y}---\left(31\right)$

计算灰度共生矩阵的二次统计量。

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行,i取1，2，...，8；j为矩阵的列,j取1，2，...，8。根据公式：

μ_x＝∑_ii·∑_jQ(i，j) (32)

μ_y＝∑_jj·∑_iQ(i，j) (33)

σ_x ²＝∑_i(i-μ_x)²·∑_jQ(i，j) (34)

σ_y ²＝∑_j(j-μ_y)²·∑_iQ(i，j) (35)

计算灰度共生矩阵的二次统计量中的参数μ_x，μ_y，σ_x，σ_y。

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行,i取1，2，...，8；j为矩阵的列,j取1，2，...，8。

按照图像分块顺序分别计算32个图像块的灰度共生矩阵的二次统计量：

(Con₁，Asm₁，H₁，Cor₁，Con₂，Asm₂，H₂，Cor₂，...，Con₃₂，Asm₃₂，H₃₂，Cor₃₂)

进行归一化(即除以二次统计量中的最大值)，得到图像灰度共生矩阵特征的特征向量X。

6.行人等待区域的行人数量检测

参阅图13，过街行人等待区域的行人数量检测的过程是通过前期人工采集图像进行离线学习训练前景像素点数量特征和灰度共生矩阵特征的支持向量回归模型。检测时输入的视频序列图像根据其前景像素点密度进行特征选择与提取，根据选择的特征，将特征向量作为对应特征向量回归模型的输入，计算行人过街等待区域的行人数量。其步骤如下：

1)构建特征样本库

行人样本的数量需涵盖一号摄像机拍摄场景下多种行人状态的情况。采集行人等待区域中不同行人数量的图像，得到l帧视频序列图像进行前景像素点密度ρ计算，进行特征选择与提取，将提取到的前景像素点数量特征值和灰度共生矩阵特征值进行归一化后得到特征向量X，作为各自支持向量回归模型的样本向量，而对应的采样图像中行人数量作为样本标签Y。构造出的前景像素点数量特征的训练集其中:l₁为样本数量；灰度共生矩阵特征的训练集其中l₂为样本数量。

2)样本库自交叉验证

通过不同训练集S₁，S₂中样本向量和样本标签的对应关系，使得样本库内部进行自交叉验证。

根据步骤3)行人数量检测模型建立的行人数量检测模型算法，对前景像素点数量特征训练集S₁、灰度共生矩阵特征的训练集S₂分别进行训练。对于训练集S₁和S₂均将算法中的参数C值和γ值依次取2^-8～2⁸，利用公式(38)、公式(39)计算参数α_i，的值，将参数代入公式(40)中，对训练集S₁，S₂分别进行检测，通过下式:

$Q=\frac{tc}{l}---\left(36\right)$

计算不同C值和γ值下行人数量检测的准确率。

式中，l为训练集样本数量，前景像素点数量特征训练集样本数量l＝l₁,灰度共生矩阵特征的训练集样本数量l＝l₂；tc为训练样本样本标签与模型检测到的行人数量相同，即：y_i＝f(x_i)。

训练集S₁，S₂行人数量检测模型算法中的C值和γ值均依次取2^-8～2⁸，当C值和γ值使得行人数量检测的准确率为最大值时，两个训练集像素点数量特征训练集和灰度共生矩阵特征训练集分别得到最优的目标参数C值和γ值。

3)行人数量检测模型建立

对于给定的样本训练集S₁＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，给定松弛变量ε＞0，使得|y_i-f(x_i)|≤ε，

使用径向基核函数将输入数据映射到高维特征空间。

$K(s,t)=e^{\mathrm{\&gamma;}\left|\right|s-t|{|}^2}---\left(37\right)$

式中，s，t为输入变量且二者均为向量；γ为径向基核函数的参数。

引入径向基核函数在高维特征空间中进行计算，计算后返回到原空间，就得到原输入空间的非线性分类。可以降低分类时计算量。

根据给定的样本训练集S，代入下式求解α_i，的解。

式中:α_i，α_j，为参数，K(s，t)为径向基核函数，x_i为第i个样本的样本向量，x_j为第j个样本的样本向量，y_i为第i个样本的样本标签，ε为松弛变量,C为惩罚因子。

根据公式(38)求解得到α_i，的解，利用下式：

计算b的两个值。

式中:y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子。

4)视频序列检测行人数量

将需要检测的样本进行背景更新，阴影剔除，特征选择与提取，当选择前景像素点数量特征时，将样本向量x代入前景像素点数量特征的行人数量检测模型，当选择灰度共生矩阵特征时，将样本向量x代入灰度共生矩阵特征的行人数量检测模型,公式如下：

$f\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_j,x)+b,x_i\&Element;R^n,b\&Element;R---\left(40\right)$

用来检测样本的行人数量。

式中:α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_j为第j个样本的样本向量；x为待检测样本的样本向量。

7.行人过街时间检测

参阅图14，对二号摄像机所拍摄行人过街行走区域N的视频序列进行图像处理，根据行人跟踪算法检测行人过街时间；

1)背景初始化

2)背景更新

3)阴影剔除

4)特征选择与提取

将每个行人用小矩形框封闭，形成目标矩形，在目标矩形范围内提取行人特征。

(1)行人的位置特征包括目标的质心位置(p_x，p_y)和速度(v_x，v_y)；速度利用行人在连续图像的位移(ΔS_x，ΔS_y)除以采样时间间隔Δt获取：

$v_x=\frac{{\mathrm{\&Delta;S}}_x}{\mathrm{\&Delta;}t},v_y=\frac{{\mathrm{\&Delta;S}}_y}{\mathrm{\&Delta;}t}---\left(41\right)$

式中:ΔS_x为目标矩形在连续图像的水平位移，单位：像素点；ΔS_y为目标矩形在连续图像的竖直位移，单位：像素点；Δt为采样时间间隔，单位：秒。

(2)行人的目标矩形主要有宽度W、高度L、面积A、目标矩形的宽高比、形状复杂度C。

宽高比R定义为：

$R=\frac{W}{L}---\left(42\right)$

式中:R为目标矩形的宽高比；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点。

形状复杂度C定义为：

$C=\frac{4\mathrm{\&pi;}\&times;A}{P^2}---\left(43\right)$

式中:C为目标矩形的形状复杂度；A为目标矩形的面积，单位：像素点²；P为目标矩形的周长，单位：像素点。

通过特征提取可获得检测目标运动模板:

Temp＝[p_x，p_y，v_x，v_y，W，L，A，R，C] (44)

式中:(p_x，p_y)为目标矩形的质心位置，单位：像素点；(v_x，v_y)为目标矩形的速度，单位：像素点/秒；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点；A为目标矩形的面积，单位：像素点²；R为目标矩形的宽高比；C为目标矩形的形状复杂度。

5)行人模板匹配

在相邻帧之间对这些模板进行匹配，获得行人在摄像机视野范围内运动轨迹。采用卡尔曼滤波进行目标跟踪；系统的状态方程和观测方程分别为

x_t＝A·x_t-1+B·u_t+w_t (45)

z_t＝H·x_t+v_t (46)

式中：x_t为t时刻n维状态向量；z_t为t时刻n维测量向量。A为状态转移矩阵；H为测量矩阵。w_t,v_t是两个随机变量，分别为正态分布的状态和测量噪声向量。

6)过街时间获取

利用卡尔曼滤波预测运动目标下一帧中的位置，可以确定预测矩形，采用卡尔曼滤波得到预测点位置作为预测矩形的质心,将跟踪模板中形状的长和宽分别加上预测误差的最大值，得到预测矩形的长和宽，预测矩形即为跟踪算法的搜索范围，在预测矩形中寻找检测矩形，根据检测矩形和预测矩形相交判断匹配状况，确定行人运动轨迹。有新的行人进入检测场景，随之产生一个新的跟踪；行人离开监控场景，跟踪终止，根据视频图帧帧差得到行人过街时间，记录当前时段。

7)构建行人过街时间库

行人过街时间库是针对等待过街行人数量、行人过街时间和系统时间的关系集，参见表1所示。

8.行人过街时间计算

在考虑到不同时间段行人过街时间有差异，进行行人过街时间计算模型时，建立不同时段的行人过街时间模型，分为七个不同时段，如表1所示。

1)构建自学习样本库

根据系统时间选择以及行人等待区域检测到的行人数量，行人等待区域行人数量、行人过街时间和系统时间的关系集，将过街行人数量作为样本向量X，行人过街时间作为样本标签Y。各个不同系统时间下构成行人过街时间训练集

S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，k＝1，2，...，7。

2)过街时间模型建立

根据步骤1)样本库中训练集S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，给定松弛变量ε＞0，满足条件|y_i-f_k(x_i)|≤ε，

根据给定的样本训练集S，代入下式:

求解α_i，的解。

式中：α_i，α_j，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；y_i为第i个样本的样本标签；ε为松弛变量；C为惩罚因子。

根据公式(38)求解得到α_i，的解，利用下式:

计算b的两个值。

式中，y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子。

3)过街时间计算

根据当前系统时间，选择行人过街时间计算模型，步骤6中检测到的行人等待区域的行人数量作为样本向量x，代入到下式：

$f_k\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_j,x)+b,x_i\&Element;R^n,b\&Element;R---\left(49\right)$

计算当前系统时间和行人数量下所需过街时间。

式中，α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_j为第j个样本的样本向量；x为样本向量。

通过过街时间模型计算得到行人过街所需时间为控制行人过街提供依据，可以实现城市行人过街交通自适应管理控制。

实施例：

本实施例选用吉林大学南岭校区东门行人过街道视频，选取长春城市道路的一段交通录像，结合图1描述的方法过程，利用本发明所述的方法包括安装硬件设备、背景初始化、背景更新、阴影剔除、特征选择与提取、行人等待区域的行人数量检测、行人过街时间检测、行人过街时间计算。在实验中对行人等待区域的行人数量检测准确率进行对比如图16所示。对行人等待区域的检测率达到90％,可以为行人过街时间计算提供可靠的依据。

1.安装硬件设备

参阅图2，在长春市吉林大学南岭校区东门，在图中A位置架设一号摄像机，摄像机架设高为5m，拍摄角度为向下15度，拍摄由东向西行走的行人等待区域；在图中B位置架设二号摄像机，摄像机架设高为5m，拍摄角度为向下10度。一号、二号摄像机同时工作，在不同时段进行拍摄，分别获取10h视频文件，将视频文件进行等间隔帧进行截取，得到60305张视频序列。

2.背景初始化

参阅图3，对摄像机拍摄到的行人等待区域的视频序列进行初始值的设置，按照图中步骤对图像序列的每一像素点的值进行背景初始化，选取500帧的图像序列作为训练序列通过背景初始化方法获取各像素点初始背景值。

1)构建时间序列图

参阅图4，根据一号摄像机拍摄截取后的视频序列，选择连续的100帧视频序列，截取得到的图像是RGB格式图像，图像大小为640像素x 320像素，利用公式(1)对RGB图像的每一像素点进行计算，得到灰度图像。

2)行人等待区域确定

一号摄像机拍摄画面存在非行人等待区域场景，最终确定的输入视频序列中行人等待区域M是长为5m，宽为3m的矩形

3)构建平滑子序列

参阅图5，根据步骤1)选择的连续100帧视频序列，对每一个像素点的100个像素点灰度值进行统计，表2为某一像素点灰度值的时间序列值，图4为该像素点灰度值的时间序列图，横坐标为视频序列的序号，纵坐标为灰度图像上某一个像素点的灰度值。确定该像素点满足公式(2)、公式(3)的连续视频序列，其中参数ω_min＝6，δ_max＝11。最终确定了该像素点的平滑子序列集并记录各平滑子序列的中值，如表3所示。依次对640x320个像素点构建平滑子序列集。

4)初始背景值确定

根据步骤3)构建的每一像素点的平滑子序列集，对每一像素点的初始背景值进行确定。表3为示例像素点的平滑子序列集的记录数据，以δ_max＝11为半径，统计每个平滑子序列的“密度”，如表4所示，表中“密度”最大的平滑子序列作为初始背景值，则该示例像素点的初始背景值为176。依次根据对640x320个像素点的初始背景值进行确定。

3.背景更新

参阅图6，根据行人的状态、光线变化有选择地选择改进卡尔曼算法的背景更新,步骤如下：

1)背景差分

背景差分利用公式(6)将t时刻视频序列图像与t-1时刻背景图像差分来得到前景二值图像R，其中第一帧视频序列图像与初始背景图像差分得到第一帧前景二值图像。

2)阈值计算

根据大津算法计算步骤1)中的最佳阈值，即公式(6)中的Th_opti。

阈值Th＝0，1，...，255，利用公式(7)、(8)、(9)计算得到σ₀，σ₁，...，σ₂₅₅,选择最大值σ_max，对应的阈值Th为最佳阈值，即Th_opti＝Th，在实例中计算第一帧背景差分的最佳阈值Th_opti＝9。

3)背景图像更新

前景二值图像R(i，j)＝1的像素点，根据前一帧背景图像，利用公式(10)、(11)对当前时刻背景图像B(i，j)进行更新，其中公式(10)中运动因子α＝0.055，背景因子β＝0.1。

4.阴影剔除

参阅图7，背景更新中得到了前景二值图像R，其中R(i，j)＝1的像素点(i，j)为前景像素点。

1)亮度差估计

根据公式(12)从前景像素点中进行亮度差估计确定疑似阴影像素点(i，j)，前景二值图像中的疑似阴影像素点R(i，j)＝0。使用背景图像B，根据公式(13)、

(14)、(15)计算R，G，B通道光照度阈值T₁(r)，T₂(r)，T₁(g)，T₂(g)，T₁(b)，T₂(b)均为5。

2)色度差估计

根据公式(16)、(17)进行色度差估计，确定疑似阴影像素点(i，j)，前景二值图像中的疑似阴影像素点R(i，j)＝0。根据公式(18)、(19)、(20)取95％置信区间获得色度差估计的阈值T₃，T₄，T₅,其中的参数σ_r，g，σ_b，r根据公式(21)、(22)计算得到。

3)局部位置估计

参阅图8，根据公式(23)的局部位置关系，依次利用四邻域法扫描判断疑似阴影区域，前景二值图像中的疑似阴影像素点R(i，j)＝0。

通过亮度差估计、色度差估计、局部位置关系估计依次判断疑似阴影像素点(i，j)，对判断得到的疑似阴影像素点令R(i，j)＝0，剔除后获得良好的前景二值图像。

5.特征选择与提取

参阅图10，从行人样本集中手动选择行人存在遮挡和行人不存在遮挡的图像各100幅，分别统计前景占图像的比例T＝n/N。如图中所示，圆圈表示行人存在遮挡，星形表示行人不存在遮挡，根据两种情况的差异，可以得到阈值T_front＝10％。

参阅图11，对前景图像进行分块，采用4×8的图像分块将图像分为32块。

当前景占图像比例T＜T_front时，采用4×8的图像分块将图像分为32块，根据公式(7)对前景二值图像进行像素点数量统计，将像素点数量作为图像的特征向量；

当前景占图像比例T＞T_front时，构建灰度共生矩阵，采用4×8的图像分块将图像分为32块，计算灰度共生矩阵二次特征统计量。即公式(13)、(14)、(15)、(16)。将灰度共生矩阵特征二次统计量作为图像的特征向量。

6.行人等待区域的行人数量检测

参阅图13，样本库图像的特征向量作为训练向量，样本库的图像中行人等待区域的行人数量作为训练标签值。通过支持向量的支持向量回归模型的自主学习机制对样本特征量训练分类。建立行人等待区域的行人数量检测支持向量回归模型，首先进行模型的参数寻优，得到参数c值取16，g值取0.0625时分类正确率最高。行人等待区域的行人数量检测，根据图像前景密度，提取得到特征向量，输入到检测的支持向量回归模型进行行人等待区域的行人数量检测，由实验结果表明，本实例检测行人等待区域的行人数量，效果见图16。过街行人数量检测评价指标：

$MAE=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n|N_p\left(i\right)-N_r\left(i\right)|---\left(50\right)$

$MAPE=\frac{1}{n}{\mathrm{\&Sigma;}}_{i=1}^n\left|\frac{N_p\left(i\right)-N_r\left(i\right)}{N_r\left(i\right)}\right|\&times;100\%---\left(51\right)$

式中，n为预测图像的总数；N_p(i)为预测第i帧的行人数量；N_r(i)为第i帧的真实行人数量。

7.行人过街时间检测

参阅图14，对拍摄得到行人过街图像序列进行处理，进行背景初始化、背景更新、阴影剔除，获得行人过街行走区域前景图像。

根据式(17)、(18)、(19)、(20)计算获得目标运动模板，接着进行模板匹配。系统的状态转移矩阵为观测矩阵为

模板匹配获取行人穿过道路中人行道的时间，记录实时系统时间，根据过街行人数量，选取过街人群中过街时间为90％置信度的值作为检测得到行人过街时间。

8.行人过街时间计算

参阅图15，根据录取的不同时段行人过街图像序列，利用行人跟踪算法检测行人过街时间，构建行人过街等待区域行人数量、行人过街时间和系统时间关系表，通过行人等待区域检测的行人数量，系统时间对行人过街时间进行计算。

1)使用行人跟踪算法得到不同时段过街行人数的样本数据集，对应行人过街时间作为标签集，进行行人过街时间模型的训练学习；

2)根据行人跟踪算法检测得到的行人过街时间采取分时训练机制，将不同时段的样本库训练学习得到各标号的支持向量回归模型，建立不同时段的行人过街时间计算模型，表1所示实验获得行人过街时间，同时，行人跟踪算法模型获取新的过街时间，持续更新行人过街时间样本库；

3)在进行行人过街时间计算时，随系统时间自动选择对应标号的行人过街时间支持向量回归模型。输入检测的过街行人等待区域行人数量，支持向量回归模型计算得到的行人过街时间，可以进行行人过街信号的控制。

4)行人过街控制

通过过街时间模型计算得到行人过街所需时间为控制行人过街提供依据，实现城市行人过街交通自适应管理控制。

表1行人过街时间库

表2示例像素点灰度值的时间序列值

序号	1	2	3	4	5	6	7	8	9	10
											像素值	163	166	166	167	167	169	170	176	169	156
序号	11	12	13	14	15	16	17	18	19	20
											像素值	82	79	88	78	180	183	172	176	177	82
序号	21	22	23	24	25	26	27	28	29	30
											像素值	77	80	80	77	110	181	178	184	175	173
序号	31	32	33	34	35	36	37	38	39	40
											像素值	174	179	179	178	170	111	171	174	172	176
序号	41	42	43	44	45	46	47	48	49	50
											像素值	176	174	175	175	172	174	174	174	173	173
序号	51	52	53	54	55	56	57	58	59	60
											像素值	175	174	174	175	174	175	173	176	176	177
序号	61	62	63	64	65	66	67	68	69	70
											像素值	180	181	180	181	181	181	183	183	181	182
序号	71	72	73	74	75	76	77	78	79	80
											像素值	182	181	181	180	178	180	180	179	180	179
序号	81	82	83	84	85	86	87	88	89	90
											像素值	179	180	180	180	179	179	177	177	177	177
序号	91	92	93	94	95	96	97	98	99	100
											像素值	178	178	178	177	177	178	178	181	180	182

表3示例像素点的平滑子序列集

平滑子序列	1	2	3	4
					中值	167	175	176	179

表4示例像素点平滑子序列“密度”

平滑子序列	1	2	3	4
					密度	3	4	4	3

Claims (10)

1.一种基于视频的行人过街信号自适应计算方法，其特征在于，所述的基于视频的行人过街信号自适应计算方法的步骤如下：

1)安装硬件设备；

2)背景初始化；

3)背景更新；

4)阴影剔除；

5)特征选择与提取；

6)行人等待区域的行人数量检测；

7)行人过街时间检测；

8)行人过街时间计算。

2.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的安装硬件设备是指：

所述的基于视频的行人过街信号自适应计算方法中所采用的设备包括视频服务器，摄像机、交换机与1台信号机；

所述的摄像机包括一号摄像机与二号摄像机；

所述的交换机包括一号交换机与二号交换机；

在道路上方的A位置处安装一号摄像机，一号摄像机对正行人等待区域M，一号摄像机距路面高为5至6米，一号摄像机与路侧的电源采用电源线连接，一号摄像机采用电缆与路侧的一号交换机连接，一号交换机采用电缆与视频服务器连接；

在道路上方的B位置处安装二号摄像机，二号摄像机对正行人过街行走区域N，二号摄像机应距路面高5至6米，二号摄像机与路侧的电源采用电源线连接，二号摄像机采用电缆与路侧的二号交换机连接，二号交换机采用电缆与视频服务器连接；

将信号机放置在路侧，信号机采用电缆与视频服务器连接，视频服务器安装在路侧并采用电源线与路侧的电源连接。

3.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的背景初始化的步骤如下：

1)构建时间序列图

根据一号摄像机拍摄的画面，传输到视频服务器，对传输进入的视频序列进行图像截取，选择连续T帧的图像，T取100～300，截取得到的图像是彩色RGB图像；利用公式(1)加权平均值法：

F(i，j)＝0.30×Y(i，j，r)+0.59×Y(i，j，g)+0.11×Y(i，j，b) (1)

对彩色RGB图像进行灰度处理，得到灰度图像；

式中：F(i，j)为灰度图像中(i，j)点的灰度值；Y(i，j，r)为输入图像(i，j)点的r通道的值；Y(i，j，g)为输入图像(i，j)点的g通道的值；Y(i，j，b)为输入图像(i，j)点的b通道的值；

对视频序列中每一个像素点的灰度值构建时间序列{x_i|i＝1，...，T}，图中横坐标为视频序列的序号，纵坐标为灰度图像上某一个像素点的灰度值；

2)行人等待区域确定

划定有效检测区域，一号摄像机传输的拍摄画面存在非行人等待区域场景，需要确定输入视频序列的行人等待区域M，行人等待区域M的大小根据人行道位置和行人等待位置确定，为在路侧位置的一个矩形区域；

3)构建平滑子序列

根据每一个像素点灰度值的时间序列图构建平滑子序列，平滑子序列是连续视频序列的像素点灰度值发生微小变化；

平滑子序列需要满足条件：

ω_min＜m-n (2)

$\&ForAll;s,t\&Element;(n,m),|x_s-x_t|<{\mathrm{\&delta;}}_{max}---\left(3\right)$

式中：n为平滑子序列的起始序号，n∈(1，T)；m为时间序列图的结束序号，m∈(1，T)；ω_min平滑子序列的最小长度；δ_max为平滑子序列的最大允许变化量；

首先设定平滑子序列的起始序号n和结束序号m，若子序列内的灰度值在最大允许变化量内，将下一个时间序列的灰度值加入子序列，子序列的长度增加1；若子序列内的灰度值大于最大允许变化量，且子序列的长度大于最小长度，将子序列内所有灰度值记为一个平滑子序列，将时间序列的下一个灰度值设定为平滑子序列的开始序号；若子序列内的灰度值大于最大允许变化量，且子序列的长度小于最小长度，子序列的结束序号m加1，重复上述步骤，再次判断子序列内的灰度值是否大于最大允许变化量，直到m取T，最终得到像素点的k个平滑子序列构成平滑子序列集：

L＝(L₁，...，L_k) (4)

每个平滑子序列为L_b＝(l₁，...，l_d)，d为平滑子序列的长度；

4)初始背景值确定

选取平滑子序列集(L₁，...，L_k)的每个序列的中值，构造分类序列记作：

(s₁，...，s_k) (5)

将分类序列(s₁，...，s_k)按照从小到大的顺序排列构成排序分类序列(s₁′，...，s_k′)，以(s₁′，...，s_k′)每个数据样本为中心，以δ_max为半径，统计落在半径范围内的分类序列数据样本的数量，称为点集“密度”；

若分类序列(s₁，...，s_k)元素个数小于2或点集“密度”小于2，选取平滑子序列(l₁，...，l_d)的中值作为背景图像对应像素点的初始灰度值；

若分类序列(s₁，...，s_k)元素个数大于2，选择点集“密度”最大的分类数据样本作为背景图像对应像素点的初始灰度值。

4.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的背景更新的步骤如下：

1)背景差分

背景差分利用t时刻前景图像与t-1时刻背景图像的差分来检测出运动区域，利用公式：

进行背景差分，得到前景二值图像R；

式中：R(i，j)取1表示当前时刻前景图像在(i，j)像素点为前景像素点，取0表示在(i，j)像素点为背景像素点；C(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；Th_opti为最佳阈值；

2)阈值计算

背景差分的最佳阈值Th_opti根据大津算法进行计算；

阈值Th取0到255，根据如下公式：

σ＝ω₀×ω₁×(g₀-g₁)² (7)

计算得到σ₀，σ₁，...，σ₂₅₅，选择最大的σ值，其对应的阈值Th作为最佳阈值，即Th_opti＝Th，

式中：ω₀为前景像素点占图像像素点总数的比例；g₀为前景像素点平均灰度值；ω₁为背景像素点数量占图像像素点总数的比例；g₁为背景像素点平均灰度值；根据公式：

${\mathrm{\&omega;}}_0=\frac{N_0}{H\&times;W}---\left(8\right)$

${\mathrm{\&omega;}}_1=\frac{N_1}{H\&times;W}---\left(9\right)$

计算ω₀和ω₁；

式中：N₀表示前景像素点的灰度值大于阈值Th的数量；N₁表示前景像素点的灰度值小于阈值Th的数量；H为视频序列图像的高；W为视频序列图像的宽；H×W为视频序列图像中像素点的数量；

3)背景图像更新

图像像素灰度值在阈值范围内进行卡尔曼滤波算法，利用公式：

g(i，j)＝α·(1-R(i，j))+β·R(i，j) (10)

B(i，j，t)＝(R(i，j，t)-B(i，j，t-1))×g(i，j)+B(i，j，t-1) (11)

进行t时刻背景图像B的更新；

式中：α为运动因子，这里取经验值为0.055；β为背景因子，这里取经验值为0.1；R(i，j)取1或0，分别代表(i，j)像素点为前景像素点或背景像素点；g(i，j)为背景更新的一个过程变量；F(i，j，t)为t时刻视频序列图像在(i，j)像素点的灰度值；B(i，j，t-1)为t-1时刻背景图像在(i，j)像素点的灰度值；B(i，j，t)为背景更新后t时刻背景图像在(i，j)像素点的灰度值。

5.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的阴影剔除的步骤如下：

1)亮度差估计

根据阴影的光谱特性，某像素点是阴影像素点时在r，g，b颜色通道的亮度值不同于非阴影像素点时的亮度值，利用公式：

$\left\{\begin{array}{c}{T}_2\left(r\right)>B\left(i,j,r\right)-Y\left(i,j,r\right)>T_1\left(r\right)\\ T_2\left(g\right)>B\left(i,j,g\right)-Y\left(i,j,g\right)>T_1\left(g\right)\\ T_2\left(b\right)>B\left(i,j,b\right)-Y\left(i,j,b\right)>T_1\left(b\right)\end{array}\right.---\left(12\right)$

初步判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点；

式中：B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；T₁(r)，T₂(r)为疑似阴影像素点在r通道的阈值；T₁(g)，T₂(g)为疑似阴影像素点在g通道的阈值；T₁(b)，T₂(b)为疑似阴影像素点在b通道的阈值；

亮度值分布在±2.5σ区域内判断为疑似阴影像素点，利用公式：

T₁(c)＝-1.96·σ(c) (13)

T₂(c)＝+1.96·σ(c) (14)

计算亮度差估计的阈值T₁(c)，T₂(c)；

式中：T₁(c)为c通道疑似阴影像素点的下阈值；T₂(c)为c通道疑似阴影像素点的上阈值；c表示颜色通道，取r通道或g通道或b通道；σ(c)为前景像素点在c通道亮度值的标准差，利用公式：

$\mathrm{\&sigma;}\left(c\right)=\sqrt{\frac{1}{n}\mathrm{\&Sigma;}{\left(B\left(i,j,c\right)-\mathrm{\&mu;}\left(c\right)\right)}^2}---\left(15\right)$

计算前景像素点在c通道的标准差σ(c)；

式中：c为颜色通道，取r通道或g通道或b通道；n为前景像素点的数量，即前景二值图像中满足R(i，j)＝1条件的像素点数量；μ(c)为前景像素点在c通道亮度值的平均值；

2)色度差估计

根据亮度差估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点包括部分前景像素点，利用公式：

$T_3<\left(\frac{Y\left(i,j,r\right)}{Y\left(i,j,g\right)}\right)/\left(\frac{B\left(i,j,r\right)}{B\left(i,j,g\right)}\right)<T_4---\left(16\right)$

$1<\left(\frac{Y\left(i,j,b\right)}{Y\left(i,j,r\right)}\right)/\left(\frac{B\left(i,j,b\right)}{B\left(i,j,r\right)}\right)<T_5---\left(17\right)$

判断满足条件的(i，j)像素点作为疑似阴影像素点，不满足条件的作为前景像素点；

式中：T₃，T₄，T₅为r，g，b颜色通道亮度值之比的阈值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；

色度差估计满足高斯分布，在±2.5σ区域内认为是疑似阴影像素点，利用公式：

T₃＝μ_r，g-1.96·σ_r，g (18)

T₄＝μ_r，g+1.96·σ_r，g (19)

T₅＝μ_b，r+1.64·σ_b，r (20)

计算色度差估计的阈值T₃，T₄，T₅；

式中：σ_r，q为r颜色通道与g颜色通道之比的标准差；σ_b，r为b颜色通道与r颜色通道之比的标准差；μ_r，g为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值，利用公式：

${\mathrm{\&sigma;}}_{r,g}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\left(\frac{Y\left(i,j,r\right)}{Y\left(i,j,g\right)}\right)/\left(\frac{B\left(i,j,r\right)}{B\left(i,j,g\right)}\right)-{\mathrm{\&mu;}}_{r,g}\right)}^2}---\left(21\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_r，g；

式中：n₁为疑似阴影像素点的数量；μ_r，g为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；Y(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；利用公式：

${\mathrm{\&sigma;}}_{b,r}=\sqrt{\frac{1}{n_1}\mathrm{\&Sigma;}{\left(\left(\frac{Y\left(i,j,b\right)}{Y\left(i,j,r\right)}\right)/\left(\frac{B\left(i,j,b\right)}{B\left(i,j,r\right)}\right)-{\mathrm{\&mu;}}_{b,r}\right)}^2}---\left(22\right)$

计算前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的标准差σ_b，r；

式中：n₁为疑似阴影像素点的数量；μ_b，r为前景像素点在b颜色通道亮度值与r颜色通道亮度值之比的平均值；B(i，j，r)为背景图像中(i，j)像素点在r通道的亮度值；R(i，j，r)为视频序列图像中(i，j)在r通道的亮度值；

3)局部位置估计

根据亮度差和色度差的估计，前景二值图像被分割成了前景像素点和疑似阴影像素点，疑似阴影像素点可能包括部分前景像素点，利用公式：

$\left\{\begin{array}{c}D\left(i,j,0\right)=R\left(i,j\right)\\ D\left(i,j,1\right)=R\left(i,j-1\right)\\ D\left(i,j,2\right)=R\left(i+1,j\right)\\ D\left(i,j,3\right)=R\left(i,j+1\right)\\ D\left(i,j,4\right)=R\left(i-1,j\right)\end{array}\right.---\left(23\right)$

进行疑似阴影像素点的局部位置估计，得到最终的前景像素点即检测目标的像素点；

式中：D(i，j，0)定义为种子点，即作为局部位置估计的中心点；

D(i，j，1)为种子点上侧像素点；

D(i，j，2)为种子点右侧像素点；

D(i，j，3)为种子点下侧像素点；

D(i，j，4)为种子点左侧像素点；

R(i，j)，R(i，j-1)，R(i+1，j)，R(i，j+1)，R(i-1，j)分别为前景二值图像在像素点(i，j)，(i，j-1)，(i+1，j)，(i，j+1)，(i-1，j)的值；

以D(i，j，0)为种子点，当D(i，j，0)＝0，按图像逐行扫描搜索下一个种子点；当D(i，j，0)＝1，对种子点进行四邻域法扫描，即依次判断种子点上下左右侧D(i，j，1)，D(i，j，2)，D(i，j，3)，D(i，j，4)的值，若均为1，则该种子点为连通区域，确定疑似阴影像素点为前景像素点，否则为阴影像素点，R(i，j)＝0，继续进行四邻域法扫描，判断所有疑似阴影像素点的局部位置关系，获得最终前景像素点构成的前景二值图像R；

通过亮度差估计、色度差估计、局部位置关系估计依次判断疑似阴影像素点，对最终判断得到的阴影像素点进行剔除，以此获得良好的前景像素点构成的前景二值图像。

6.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的特征选择与提取的步骤如下：

1)统计前景像素点数量

根据阴影剔除后得到的前景二值图像，对前景二值图像R(i，j)中前景像素点即R(i，j)＝1的像素点(i，j)的数量进行统计，记为n_f；

2)特征选择阈值的确定

统计得到前景像素点数量，利用公式：

$\mathrm{\&rho;}=\frac{n_f}{H\&times;W}---\left(24\right)$

计算前景像素点密度ρ；

式中：n_f为前景像素点数量；H为视频序列图像的高，单位：像素点；W为视频序列图像的宽，单位：像素点；H×W为图像像素点总数；

通过100帧视频序列图像分别使用两种不同的特征进行行人等待区域的行人数量检测，选择检测正确率最高的特征表示在图中，横坐标表示视频序列序号，纵坐标表示前景像素点密度ρ；图中圆圈代表灰度共生矩阵特征，星号代表前景像素点数量特征，前景目标的像素点数量占图像像素点总数比例的阈值ρ_opti取10％；

3)特征选择

计算前景像素点密度ρ，如果像素点密度ρ＜ρ_opti，提取前景二值图像R的像素点数量特征，如果像素点密度ρ＞ρ_opti，提取视频序列灰度图像F的灰度共生矩阵特征；

4)特征提取。

7.按照权利要求6所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的特征提取的步骤如下：

(1)前景像素点数量特征

按照图像分块顺序统计每一块中前景像素点的数量特征(n_f1，n_f2，...，n_f32)，利用公式：

X＝(n_f1，n_f2，...，n_f32)/n_fmax (25)

对前景像素点的数量特征进行归一化即除以特征中的最大值，得到特征向量X；

式中：n_fi为第i块图像块的前景像素点的数量；n_fmax为32块图像块中前景像素点的数量的最大值；

(2)灰度共生矩阵特征提取

视频序列灰度图像F每个像素点的取值范围为0～255，它的灰度级为256级；利用公式：

P(i，j)＝[F(i，j)/32]+1 (26)

将256级的视频序列灰度图像灰度共生矩阵将256级灰度缩减为8个灰度级的图像，即每个像素点的取值范围为1～8；

式中：F(i，j)为灰度图像中(i，j)点的灰度值；″[]″为向下取整运算；

利用8个灰度级图像P计算每一块的灰度共生矩阵G，灰度共生矩阵G为8×8初始值为0的矩阵；两个相邻的像素点称为一个像素对，将8个灰度级的图像P中像素对的第一个值i作为灰度共生矩阵的行，第二个值j作为灰度共生矩阵的列，则灰度共生矩阵G(i，j)加1，当再次出现同样的像素对，逐个扫描图像每一块中的像素对，计算出灰度共生矩阵G；利用公式：

$Q=\frac{G}{G\left(i_{\max },j_{\max }\right)}---\left(27\right)$

进行灰度共生矩阵G的进行归一化，得到矩阵Q；

式中：G为灰度共生矩阵；i_max为灰度共生矩阵G中最大值的行；j_max为灰度共生矩阵G中最大值的列；

根据灰度共生矩阵归一化后的矩阵Q，利用公式：

Con＝∑_i，j|i-j|²Q(i，j) (28)

Asm＝∑_i，jQ(i，j)² (29)

$H={\mathrm{\&Sigma;}}_{i,j}\frac{Q\left(i,j\right)}{1+|i-j{|}^2}---\left(30\right)$

$Cor=\frac{{\mathrm{\&Sigma;}}_{i,j}i\&CenterDot;j\&CenterDot;Q\left(i,j\right)-{\mathrm{\&mu;}}_x\&CenterDot;{\mathrm{\&mu;}}_y}{{\mathrm{\&sigma;}}_x\&CenterDot;{\mathrm{\&sigma;}}_y}---\left(31\right)$

计算灰度共生矩阵的二次统计量；

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行，i取1，2，...，8；j为矩阵的列，j取1，2，...，8；根据公式：

μ_x＝∑_ii·∑_jQ(i，j) (32)

μ_y＝∑_jj·∑_iQ(i，j) (33)

σ_x ²＝∑_i(i-μ_x)²·∑_iQ(i，j) (34)

σ_y ²＝∑_j(j-μ_y)²·∑_iQ(i，j) (35)

计算灰度共生矩阵的二次统计量中的参数μ_x，μ_y，σ_x，σ_y；

式中：Q(i，j)为灰度共生矩阵归一化后的矩阵在i行j列的值；i为矩阵的行，i取1，2，...，8；j为矩阵的列，j取1，2，...，8；

按照图像分块顺序分别计算32个图像块的灰度共生矩阵的二次统计量：

(Con₁，Asm₁，H₁，Cor₁，Con₂，Asm₂，H₂，Cor₂，...，Con₃₂，Asm₃₂，H₃₂，Cor₃₂)

进行归一化即除以二次统计量中的最大值，得到图像灰度共生矩阵特征的特征向量X。

8.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的行人等待区域的行人数量检测的步骤如下：

1)构建特征样本库

行人样本的数量需涵盖一号摄像机拍摄场景下多种行人状态的情况，采集行人等待区域中不同行人数量的图像，得到l帧视频序列图像进行前景像素点密度ρ计算，进行特征选择与提取，将提取到的前景像素点数量特征值和灰度共生矩阵特征值进行归一化后得到特征向量X，作为各自支持向量回归模型的样本向量，而对应的采样图像中行人数量作为样本标签Y；构造出的前景像素点数量特征的训练集其中：l₁为样本数量；灰度共生矩阵特征的训练集其中l₂为样本数量；

2)样本库自交叉验证

通过不同训练集S₁，S₂中样本向量和样本标签的对应关系，使得样本库内部进行自交叉验证；

根据步骤3)行人数量检测模型建立的行人数量检测模型算法，对前景像素点数量特征的训练集S₁、灰度共生矩阵特征的训练集S₂分别进行训练，对于训练集S₁和S₂均将算法中的参数C值和γ值依次取2^-8～2⁸，利用公式(38)、公式(39)计算参数α_i，b的值，将参数代入公式(40)中，对训练集S₁，S₂分别进行检测，通过下式：

$Q=\frac{tc}{l}---\left(36\right)$

计算不同C值和γ值下行人数量检测的准确率；

式中，l为训练集样本数量，前景像素点数量特征训练集样本数量l＝l₁，灰度共生矩阵特征的训练集样本数量l＝l₂；tc为训练样本样本标签与模型检测到的行人数量相同，即：y_i＝f(x_i)；

训练集S₁，S₂行人数量检测模型算法中的C值和γ值均依次取2^-8～2⁸，当C值和γ值使得行人数量检测的准确率为最大值时，两个训练集像素点数量特征训练集和灰度共生矩阵特征训练集分别得到最优的目标参数C值和γ值；

3)行人数量检测模型建立

对于给定的样本训练集S₁＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，给定松弛变量ε＞0，使得|y_i-f(x_i)|≤ε，i＝1，2，...，l；

使用径向基核函数将输入数据映射到高维特征空间；

$K\left(s,t\right)=e^{\mathrm{\&gamma;}\left|\right|s-t|{|}^2}---\left(37\right)$

式中：s，t为输入变量且二者均为向量；γ为径向基核函数的参数；

引入径向基核函数在高维特征空间中进行计算，计算后返回到原空间，就得到原输入空间的非线性分类，可以降低分类时计算量；

根据给定的样本训练集S，代入下式求解α_i，的解；

式中：α_i，α_j，为参数，K(s，t)为径向基核函数，x_i为第i个样本的样本向量，x_j为第j个样本的样本向量，y_i为第i个样本的样本标签，ε为松弛变量，C为惩罚因子；

根据公式(38)求解得到α_i，的解，利用下式：

计算b的两个值；

式中：y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子；

4)视频序列检测行人数量

将需要检测的样本进行背景更新，阴影剔除，特征选择与提取，当选择前景像素点数量特征时，将样本向量x代入前景像素点数量特征的行人数量检测模型，当选择灰度共生矩阵特征时，将样本向量x代入灰度共生矩阵特征的行人数量检测模型，公式如下：

$f\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l\left({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*}\right)K\left(x_j,x\right)+b,x_i\&Element;R^n,b\&Element;R---\left(40\right)$

用来检测样本的行人数量；

式中：α_i，为参数；K(s，t)为径向基核函数；x_j为第j个样本的样本向量；x为待检测样本的样本向量。

9.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的行人过街时间检测的步骤如下：

1)背景初始化；

2)背景更新；

3)阴影剔除；

4)特征选择与提取；

将每个行人用小矩形框封闭，形成目标矩形，在目标矩形范围内提取行人特征；

(1)行人的位置特征包括目标的质心位置(p_x，p_y)和速度(v_x，v_y)；速度利用行人在连续图像的位移(ΔS_x，ΔS_y)除以采样时间间隔Δt获取：

$v_x=\frac{{\mathrm{\&Delta;S}}_x}{\mathrm{\&Delta;}t},v_y=\frac{{\mathrm{\&Delta;S}}_y}{\mathrm{\&Delta;}t}---\left(41\right)$

式中：ΔS_x为目标矩形在连续图像的水平位移，单位：像素点；ΔS_y为目标矩形在连续图像的竖直位移，单位：像素点；Δt为采样时间间隔，单位：秒；

(2)行人的目标矩形主要有宽度W、高度L、面积A、目标矩形的宽高比、形状复杂度C；

宽高比R定义为：

$R=\frac{W}{L}---\left(42\right)$

式中：R为目标矩形的宽高比；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点；

形状复杂度C定义为：

$C=\frac{4\mathrm{\&pi;}\&times;A}{P^2}---\left(43\right)$

式中：C为目标矩形的形状复杂度；A为目标矩形的面积，单位：像素点²；P为目标矩形的周长，单位：像素点；

通过特征提取可获得检测目标运动模板：

Temp＝[p_x，py，v_x，v_y，W，L，A，R，C] (44)

式中：(p_x，p_y)为目标矩形的质心位置，单位：像素点；(v_x，v_y)为目标矩形的速度，单位：像素点/秒；W为目标矩形的宽，单位：像素点；L为目标矩形的高，单位：像素点；A为目标矩形的面积，单位：像素点²；R为目标矩形的宽高比；C为目标矩形的形状复杂度；

5)行人模板匹配

在相邻帧之间对这些模板进行匹配，获得行人在摄像机视野范围内运动轨迹，采用卡尔曼滤波进行目标跟踪；系统的状态方程和观测方程分别为

x_t＝A·x_t-1+B·u_t+w_t (45)

Z_t＝H·x_t+v_t (46)

式中：x_t为t时刻n维状态向量；z_t为t时刻n维测量向量；A为状态转移矩阵；H为测量矩阵；w_t，v_t是两个随机变量，分别为正态分布的状态和测量噪声向量；

6)过街时间获取

利用卡尔曼滤波预测运动目标下一帧中的位置，可以确定预测矩形，采用卡尔曼滤波得到预测点位置作为预测矩形的质心，将跟踪模板中形状的长和宽分别加上预测误差的最大值，得到预测矩形的长和宽，预测矩形即为跟踪算法的搜索范围，在预测矩形中寻找检测矩形，根据检测矩形和预测矩形相交判断匹配状况，确定行人运动轨迹，有新的行人进入检测场景，随之产生一个新的跟踪；行人离开监控场景，跟踪终止，根据视频图帧帧差得到行人过街时间，记录当前时段；

7)构建行人过街时间库

行人过街时间库是针对等待过街行人数量、行人过街时间和系统时间的关系集。

10.按照权利要求1所述的基于视频的行人过街信号自适应计算方法，其特征在于，所述的行人过街时间计算的步骤如下：

1)构建自学习样本库

根据系统时间选择以及行人等待区域检测到的行人数量，行人等待区域行人数量、行人过街时间和系统时间的关系集，将过街行人数量作为样本向量X，行人过街时间作为样本标签Y；各个不同系统时间下构成行人过街时间训练集S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_i∈R}，k＝1，2，...，7；

2)过街时间模型建立

根据构建自学习样本库步骤中行人过街时间训练集：

S_k＝{(x₁，y₁)，(x₂，y₂)，...，(x_l，y_l)|x_i∈Rⁿ，y_j∈R}，给定松弛变量ε＞0，满足条件|y_i-f_k(x_i)|≤ε，i＝1，2，...，l；

根据给定的样本训练集S，代入下式：

求解α_i，的解；

式中：α_i，α_j，为参数；K(s，t)为径向基核函数；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；y_i为第i个样本的样本标签；ε为松弛变量；C为惩罚因子；

根据公式(38)求解得到α_i，的解，利用下式：

计算b的两个值；

式中，y_j是第j个样本的样本标签；ε为松弛变量；α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_i为第i个样本的样本向量；x_j为第j个样本的样本向量；C为惩罚因子；

3)过街时间计算

根据当前系统时间，选择行人过街时间计算模型，行人等待区域的行人数量检测步骤中检测到的行人等待区域的行人数量作为样本向量x，代入到下式：

$f_k\left(x\right)={\mathrm{\&Sigma;}}_{i=1}^l({\mathrm{\&alpha;}}_i-{\mathrm{\&alpha;}}_i^{*})K(x_j,x)+b,x_i\&Element;R^n,b\&Element;R---\left(49\right)$

计算当前系统时间和行人数量下所需过街时间；

式中，α_i，为参数；K(s，t)为径向基核函数，参见公式(37)；x_j为第j个样本的样本向量；x为样本向量；

4)通过过街时间模型计算得到行人过街所需时间为控制行人过街提供依据，实现城市行人过街交通自适应管理控制。