CN1897015A - 基于机器视觉的车辆检测和跟踪方法及系统 - Google Patents

Abstract

本发明涉及基于机器视觉的车辆检测和跟踪方法及系统，该方法包括图像采集、图像预处理、图像背景提取和更新、识别目标和跟踪目标等步骤，在其目标识别过程中，对得出的背景边缘和前景边缘的差图进行全局域值分割，得到初步边缘目标区域，对增强后的背景图像和前景图像差图进行类间方差域值分割，得到初步目标区域，在融合的基础上形成目标区域，对目标区域进行膨胀运算和腐蚀运算后，提取有效目标区域的目标特征，进行目标识别，在目标识别后即对目标实时锁定和跟踪，形成目标轨迹，由此保证了对道路车辆等目标的有效、可靠的检测和跟踪。该系统主要采用摄像机和计算机系统，实现了本方法，可用于道路交通管理或其它类似场合。

Description

基于机器视觉的车辆检测和跟踪方法及系统

技术领域

本发明涉及一种基于机器视觉技术的车辆检测和跟踪方法，还涉及一种基于机器视觉的车辆检测和跟踪系统

背景技术

当前，我国正处于经济高速发展时期，城市交通速度发展迅速，机动车数量不断增加。为了解决地面交通迅速发展所引起的各种问题，智能交通系统(ITS-IntelligentTransportation System)是解决上述矛盾的有效途径，是处于当今世界上交通运输科技的前沿，是为了从根本上解决日益膨胀的地面交通的诸多困难而出现的一个新的技术领域，它是以信息技术为代表的高新技术在道路交通运输中的集成应用，是先进的信息技术、数据传输技术、控制技术及计算机处理技术等技术结合应用的综合管理系统，使人、车、路与环境和谐结合，受到世界各国高度重视，发展极为迅速。

机器视觉作为智能交通系统中的一项重要技术，受到越来越多的重视。机器视觉即是用各种成像系统代替视觉感官作为视觉信息输入手段，由计算机来代替大脑完成处理与解释。机器视觉不仅能使机器感知环境中的几何信息，包括位置、大小、形状、运动等，还能对它们进行描述、解释和理解。机器视觉为交通系统提供了直观方便的分析手段，交通环境中的大量信息，如车辆、交通标志和路面标识等都来源于视觉。用机器视觉来处理和理解这些信息是一种必然的选择。

车辆视频检测是近年来机器视觉领域中备受关注的前沿方向，它从运动图像序列中检测、识别、跟踪车辆，获取所需交通统计量，属于图像分析和理解的范畴。从技术角度而言，运动分析的研究内容相当丰富，主要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动物体的快速分割、光线变化、多辆车辆粘连、车辆互遮挡的处理等也给车辆视频检测带来了一定的挑战。

基于视频的智能交通系统可以检测很多交通参数，包括车辆的有无、车流量、车型，车长、车速、道路饱和度等进一步可以检测汽车违章及车牌。汽车流量检测是交通监控系统的典型应用，获得汽车流量的信息后，可以有效的管理和调动车辆，最合理的利用的现有的道路交通网络。对交通道路的管理、公路规划设计有着十分重要的意义。

经过对现有的技术文献的检索发现现有视频车辆检测技术，如运动检测的帧间差分算法、单纯的基于区域的检测算法等，没有考虑到实际应用时道路环境的复杂性和多变性，采用的方法局限性很大，不能有效地进行多目标的识别和跟踪，在实际工程系统中往往不能正常使用。

发明内容

本发明的目的在于提供一种基于机器视觉技术的多信息融合的多目标检测和跟踪方法，克服现有技术中的不足，提高了在实际的复杂环境下运动目标的检测、识别和跟踪能力。

本发明的方法的技术方案是：

一种基于机器视觉的车辆检测和跟踪方法，包括下列步骤：

(1)图像采集，并对采集的模拟视频图像进行数字化转换；

(2)图像预处理；

(3)图像背景提取和更新；

(4)目标识别；

(5)目标跟踪，

在所述目标识别过程中，对目标区域进行膨胀运算和腐蚀运算，提取有效目标区域的目标特征，将其同预存在参考特征数据库中的参考特征相比较，一致的即定义为目标。

所述目标识别中，还包括下列步骤得出：

(1)分别对背景图像和前景图像用sobel算子进行边缘检测，对得出的背景边缘和前景边缘的差图进行全局域值分割，形成初步边缘目标区域；

(2)分别对背景图像和前景图像进行增强，对两者的差图进行类间方差域值分割，形成初步目标区域；

(3)将所述初步边缘目标区域和初步目标区域进行融合，得出所述的目标区域；

(4)在对目标区域进行膨胀运算和腐蚀运算后，使用种子填充算法找到连通区域，对连通区域进行判断，大于有效目标区域上限或小于有效目标区域下限的连通区域为无效区域，在上下限之间的为有效目标区域。

所述目标特征和参考特征包括下列任意一个、多个或全部特征：颜色、形状、纹理、矩以及基于小波分解和Fisher变换的目标特征，所述基于小波分解和Fisher变换的目标特征的提取过程为首先对目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，将得到的值作为目标的特征。

所述目标识别的算法针对不同条件采用了两种方法，一是设计一种可用于图像一般时目标识别的基于支持向量的多类分类器，用相异非零正实数表示不同样本模式，通过非线性映射把样本映射到特征空间，在特征空间中确定一变量系数及偏置待定的线性映射表示样本与模式实数间对应关系，映射输出为零所确定的面作为参考基准，在保证映射输出与样本模式实数尽量接近约束下，增大不同模式样本相对参考基准面的距离差，该目标对应优化函数与支持向量机((SVM)用于回归估计((SVR)求解的目标函数形式一致，故可类似SVR求法得到映射各待定参数从而进行识别，学习样本与参考平面之间的距离用下式表示

$\left\{\begin{array}{c}{W}^T\mathrm{\ψ}\left(x_{\mathrm{ij}}\right)=b{\≤P}_1+\mathrm{\ϵ}+{\mathrm{\ξ}}_{\mathrm{ij}}^{*},{\mathrm{\ζ}}_{\mathrm{ij}}^{*}\≥0\\ W^T\mathrm{\ψ}\left(x_{\mathrm{ij}}\right)+b\≥P_1-\mathrm{\ϵ}-{\mathrm{\ζ}}_{\mathrm{ij}}^{*},{\mathrm{\ζ}}_{\mathrm{ij}}^{*\·}\≥0\end{array}\right.\mathrm{\ϵ}>0$

任意目标的样本x的类别判定步骤如下：

$\mathrm{if}|f\left(x\right)-p_1|=\underset{1\≤k\≤m}{m\mathrm{in}}\left|\begin{array}{c}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\⟨\mathrm{\ψ}\left(x_{\mathrm{ij}}\right),\mathrm{\ψ}\left(x\right)\⟩-\\ \frac{1}{2}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\⟨\mathrm{\ψ}\left(x_{\mathrm{ij}}\right),\mathrm{\ψ}\left(x_{{\mathrm{ss}}^{*}}\right)\⟩-p^k\end{array}\right|$

then x属于第i类样本

另一种是在图像非常清晰的情况下采用一种基于小波分解和Fisher变换的目标识别方法，该方法首先对识别目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，在Fisher变换域内依据最小绝对距离(或相对距离)识别目标，该方法的当前待识别目标与各类外型目标特征的类间距离矩阵如下：

$D_{0M}=\left[\begin{array}{ccccc}0& S_{\mathrm{b\γ}2}& S_{\mathrm{b\γ}3}& S_{\mathrm{b\γ}4}& S_{\mathrm{b\γ}5}\\ S_{\mathrm{b\γ}1}& 0& S_{\mathrm{b\γ}3}& S_{\mathrm{b\γ}4}& S_{\mathrm{b\γ}5}\\ S_{\mathrm{b\γ}1}& S_{\mathrm{b\γ}2}& 0& S_{\mathrm{b\γ}4}& S_{\mathrm{b\γ}5}\\ S_{\mathrm{b\γ}1}& S_{\mathrm{b\γ}2}& S_{\mathrm{b\γ}3}& 0& S_{\mathrm{b\γ}5}\\ S_{\mathrm{b\γ}1}& S_{\mathrm{b\γ}2}& S_{\mathrm{b\γ}3}& S_{\mathrm{b\γ}4}& 0\end{array}\right]$

Fisher变换作用下：

$D_M=\underset{i=1}{\overset{5}{\mathrm{\Σ}}}W(i,:)\mathrm{diag}\left(D_{\mathrm{QM}}(i,:)\right)\mathrm{diag}\left(W(i,:)\right)$

判断目标的过程如下：

D_dd_MN/d_ij，(i≠j，ij∈[1，5])

$\hat{D}\left[\begin{array}{ccccc}{\min d}_{d,1}& {\min d}_{d,2}& {\min d}_{d,3}& {\min d}_{d,4}& {\min d}_{d,5}\end{array}\right],i\∈\left[\mathrm{1,5}\right]$

当识别出目标后，就对目标进行锁定，根据图像的实时变化，进行实时锁定跟踪，并且是对图像中出现的所有目标同时实时跟踪，对目标运动的点进行描述，形成运动轨迹的矢量图。

所述目标跟踪采用Kalman(卡尔曼)滤波器模型作为跟踪目标的运动模型，采用离散时间的卡尔曼滤波算法进行运算，对于粘连的目标，如果在画面内始终是连在一起，没有分开的阶段，那么在跟踪阶段就将其作为一辆车辆跟踪，并通过形状因子判断其为多目标的目标区，通过所设置的合并/分离计数估计目标区的目标数，如果在画面内有分开的时候，则通过跟踪，最终获取车辆的信息。

所述背景提取和更新采用下列方式：

背景提取：

对于没有运动物体、且受噪声影响很少的子块：

求差分帧d_k(x，y)子块均值，如果连续5帧的均值小于给定阈值，则提取该子块为背景，阈值为10～20；

不满足上述条件的子块，按照下式计算4阶统计量，其中m0是根据每个子块计算得来的均值，m2是根据每个子块计算的方差，m3是图像的3阶中心矩，m4是4阶中心矩，E_kij是子块的能量，α为由经验得出加权系数，当Con_sij≤G(G为阈值)时，则该子块属于背景，否则属于目标，

$m_4=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\Σ\Σ}}_{(x,y)\∈\mathrm{Dkij}}{(d_k(x,y)-m_0)}^4$

${\mathrm{HOS}}_4=m_4-{3m}_3^2+m_2^2$

$E_{\mathrm{kij}}=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\Σ\Σ}}_{(x,y)\∈\mathrm{Dkij}}{d}_k{(x,y)}^2$

Con_kij＝αHOS₄(D_kij)+E_kij

通过若干相邻帧图像的提取，将所有属于背景的子块组合而成一个完整的静态背景；

背景更新算法：

提取背景后，采用如下式的方式更新背景：

if(B_k(x，y)＝＝F_k(x，y)

B_k+1(x，y)＝B_k(x，y)

else if((B_k(x，y)＜F_k(x，y))

B_k+1(x，y)＝B_k(x，y)-a

else

B_k+1(x，y)＝B_k(x，y)+a

其中B_k(x，y)表示第k帧背景，F_k(x，y)表示第k帧图像，B_k+1(x，y)表示第k+1帧背景，a取值范围在0.1到2之间。

所述预处理包括对图像进行噪声平滑，采用邻域平均的方法进行噪音判断和去除，当一些点和它的领域内的点的灰度的平均值差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值。

本发明的系统的技术方案是：

一种基于机器视觉的车辆检测和跟踪系统，其特征在于包括：

视频输入设备，其采集车辆和道路信息，生成视频模拟图像；

模数转换单元，其将所述视频模拟图像进行数字化转化；

计算机系统，其设有目标特征数据库，对所述数字化的视频图像进行预处理，提取和更新背景，进行目标识别和目标跟踪；

所述视频图像的预处理为采用邻域平均的方法进行噪音判断和去除，当一些点和它的领域内的点的灰度的平均值差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值；

所述背景提取采用下列方式：

对于没有运动物体、且受噪声影响很少的子块：

求差分帧d_k(x，y)子块均值，如果连续5帧的均值小于给定阈值，则提取该子块为背景，阈值为10～20；

对不满足上述条件的子块，按照下式计算4阶统计量，其中m0是根据每个子块计算得来的均值，m2是根据每个子块计算的方差，m3是图像的3阶中心矩，m4是4阶中心矩，E_kij是子块的能量，α为由经验得出加权系数，当Con_sij≤G(G为阈值)时，则该子块属于背景，否则属于目标，

$m_4=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\Σ\Σ}}_{(x,y)\∈D\mathrm{kij}}{(d_k(x,y)-m_0)}^4$

${\mathrm{HOS}}_4=m_4-{3m}_3^2+m_2^2$

$E_{\mathrm{kij}}=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\Σ\Σ}}_{(x,y)\∈\mathrm{Dkij}}{d}_k{(x,y)}^2$

Con_kij＝αHOS₄(D_kij)+E_kij

通过若干相邻帧图像的提取，将所有属于背景的子块组合而成一个完整的静态背景；

所述背景更新采用下列方式：

在提取背景后的图像识别处理过程进行背景更换，其算法为：

if(B_k(x，y)＝＝F_k(x，y)

B_k+1(x，y)＝B_k(x，y)

else if((B_k(x，y)＜F_k(x，y))

B_k+1(x，y)＝B_k(x，y)-a

else

B_k+1(x，y)＝B_k(x，y)+a

其中B_k(x，y)表示第k帧背景，F_k(x，y)表示第k帧图像，B_k+1(x，y)表示第k+1帧背景，a取值范围在0.1到2之间；

所述图像识别为：

分别对背景图像和前景图像用sobel算子进行边缘检测，对得出的背景边缘和前景边缘的差图进行全局域值分割，形成初步边缘目标区域；

分别对背景图像和前景图像进行增强，对两者的差图进行类间方差域值分割，形成初步目标区域；

将初步边缘目标区域和初步目标区域进行融合，得出所述的目标区域；

在对目标区域进行膨胀运算和腐蚀运算后，使用种子填充算法找到连通区域，对连通区域进行判断，大于有效目标区域上限或小于有效目标区域下限的连通区域为无效区域，在上下限之间的为有效目标区域；

对目标区域进行膨胀运算和腐蚀运算，并得出有效的目标区域，提取目标区域的目标特征，将其同预存在参考特征数据库中的参考特征相比较，一致的即定义为目标；

所述目标特征和参考特征包括下列任意一个、多个或全部特征：颜色、形状、纹理、矩以及基于小波分解和Fisher变换的目标特征，所述基于小波分解和Fisher变换的目标特征的提取过程为首先对识别目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，将得到的值作为目标的特征；

所述目标跟踪所述目标跟踪采用Kalman(卡尔曼)滤波器模型作为跟踪目标的运动模型，采用离散时间的卡尔曼滤波算法进行运算，当识别出目标后，就对目标进行锁定，根据图像的实时变化，进行实时锁定跟踪，并且是对图像中出现的所有目标同时实时跟踪，对目标运动的点进行描述，形成运动轨迹的矢量图。

所述视频输入设备包括全景检测摄像机和目标捕捉摄像机，分别用于摄取全景图像和近景捕捉图像，连接视频矩阵切换器，所述视频矩阵切换器还分别连接实时图像采集卡、通讯接口传输控制模块和系统报警与处理平台，通过所述通讯接口传输控制模块连接计算机总线，接受计算机主机的指令，进行通讯切换，接受所述全景检测摄像机的全景图像并发送给所述实时图像采集卡，接受计算机主机的目标捕捉控制指令，向所述目标捕捉摄像机发送拍摄指令，并接受所述目标捕捉摄像机发回的近景捕捉图像，发送给所述实时图像采集卡，接受计算机主机发出的报警控制指令，向系统报警与处理平台发送报警信号以及相关全景检测图像和目标捕捉图像，由系统报警与处理平台将其生成的警报信息和相关图像送至与其连接的交通控制显控器显示，所述计算机主机还通过计算机总线连接图像处理数据分析单元和随机图像存储器，所述数据分析单元与所述计算机主机通信，根据计算机主机控制器的指令进行数据分析，所述随机图像存储器同计算机主机控制器通信，用于数据的随机存储。

由于本发明上述一系列适宜的算法和算法组合，能够有效并且可靠地就是目标识别，并可以对多目标进行实时跟踪，极大地提供了系统对车辆和道路的监测能力。

附图说明

图1是本发明的方法流程图；

图2是本发明涉及目标识别的流程图；

图3是本发明的系统结构示意图。

具体实施方式

参见图1和图2，以下对本发明方法作进一步说明，其主要部分的具体内容如下：

预处理：

由于智能交通系统必然要受到各种外界自然条件的干扰，这些干扰包括雨、雪、雾、光等的变化。对于雨、雪这种情况，认为它们是一种图像噪声，同系统硬件带来的光电特性所引起的噪声、元器件本身引起的表面颗粒噪声以及摄像头抖动带来的噪声一样，可能引起部分像素发生剧烈变化而造成误判。为了避免这类情况的发生，实际应用中可先对图像进行预处理，将图像进行噪声平滑，降低颗粒噪声及摄像机抖动的影响。

大部分噪声，如由敏感元件、传输通道、整流器等引起的噪声，多半是随机性的，即白噪声。它们对某一像素点的影响，我们可以看作是孤立的。因此，和邻近各点相比，该点灰度值将有显著的不同。基于这一分析，可以用邻域平均的方法，来判断每一点是否含有噪声，并用适当的方法去除噪声。邻域平均是简单的空域处理方法，基本思想是用该点邻近的几个像素灰度的平均值来代替该点像素的灰度。邻域平均方法可用下式表示：

式中：f(x，y)表示一幅M×N个像素的图像，g(x，y)是平滑后得到的一幅图像，M是集合内坐标点的总数，S是(x，y)点邻域中点的坐标的集合，可取四邻域、八邻域，T就是规定的非负阈值，这个表达式的物理概念是：当一些点和它的领域内的点的灰度的平均值差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值。

背景提取算法：

设视频序列由{f_k(x，y)}组成，s＝1，2，…，N.k为视频序列的帧数，每帧图像大小为X×Y。将各帧图像分成M×N子块。M和N的选取准则为最大平均车辆长宽的1/4，如下式所示。

$f_k(x,y)=\left\{F_{\mathrm{kij}}\right|0<=i<\frac{X}{M},0<=j<\frac{Y}{N}\}---\left(1\right)$

求差分帧d_k(x，y)＝f_k+1(x，y)-f_k(x，y)，同样，将d_k(x，y)按照空间划分成M×N子块。如下式所示。

$d_k(x,y)=\left\{D_{\mathrm{kij}}\right|0<=i<\frac{X}{M},0<=j<\frac{Y}{N}\}$

本方法采取了基于低阶统计量与高阶统计量相结合的背景提取算法，以实现快速、准确地提取背景。

首先，求差分帧d_k(x，y)子块均值，如果连续5帧的均值小于给定阈值，则提取该子块为背景。为了准确获取背景，在该方法中阈值为10～20，本方法为只有没有运动物体，且受噪声影响很少的子块才可能满足条件。

$m_4=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{(d_k(x,y)-m_0)}^4$

${\mathrm{HOS}}_4=m_4-{3m}_3^2+m_2^2$

$E_{\mathrm{kij}}=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{d}_k{(x,y)}^2$

Con_kij＝αHOS₄(D_kij)+E_kij

对不满足条件的子块，按照上式计算4阶统计量，其中m0是根据每个子块计算得来的均值，m2是根据每个子块计算的方差，m3是图像的3阶中心矩，m4是4阶中心矩，E_kij是子块的能量。α为加权系数，可根据不同的情况采取不同的加权系数，可由经验得出。如果Con_sij≤G(G为阈值)时，则该子块属于背景，否则属于目标。通过若干相邻帧图像的提取，将所有属于背景的子块组合而成一个完整的静态背景。

采用本算法提取的背景非常干净，耗时很短，计算简单。在各种天气和光线下均可使用。

背景更新算法：

获取背景后，采用如下式的方式更新背景。其中B_k(x，y)表示第k帧背景，F_k(x，y)表示第k帧图像，B_k+1(x，y)表示第k+1帧背景。

if(B_k(x，y)＝＝F_k(x，y)

B_k+1(x，y)＝B_k(x，y)

else if((B_k(x，y)＜F_k(x，y))

B_k+1(x，y)＝B_k(x，y)-a

else

B_k+1(x，y)＝B_k(x，y)+a

a取值范围在0.1到2之间，根据环境而定。

该背景更新算法简单有效。其理论依据是，场景中的任一像素点，无论车流量大小，是目标物体(车辆)的概率总是小于是背景的概率。取一个小步长的更新尺度，当检测点是目标物体时，背景图上该像素值将比实际值深或浅一个灰度值a，通过a的大小可以调节背景更新的速率，但不会影响车辆检测结果，下一帧如果没有车辆，又将恢复到正确的背景。当背景发生变化时，变化步长小，在多帧的积累下，将得到正确的背景。

车辆检测算法：

提取到背景后，车辆检测算法如图2所示。

首先，对背景和前景图像进行用sobel算子进行边缘检测，然后通过阈值二值化差图，得到边缘检测区域，同时对捕获的每一帧图像，与背景相减，得到两者的灰度差图。然后对二者的目标区域进行融合，通过阈值二值化差图，通过膨胀与腐蚀运算提取到连通区域，最后检测到车辆运动的区域，采用这种方法分割的效果比较理想，但由于光线反射等原因，目标物体在纵向上存在断层，在横向上不连续等现象，因此本方法采用了图像膨胀、腐蚀算法。并分别进行水平方向与垂直方向的膨胀与腐蚀。然后，使用种子填充算法找到物体连通区域。对运动区域，提取区域的特征，包括区域纹理，区域图像的各阶矩，和车辆特征库中的特征进行比较，识别运动区域内是否是车辆，如果是车辆，则进一步进行车辆的分类。

图像分割：

图像分割是将数字图像分割成互不相交(不重叠)的过程。图像分割可以采用三种不同的原理来实现(1)基于区域的方法，把各像素划分到各个物体或区域中；(2)基于边界的方法，只需确定存在于区域间的边界；(3)基于边缘的方法，则先确定边缘像素并把它们连接在一起以构成所需的边界。

阈值处理是一种区域分割技术，它对物体与背景有较强对比的图像特别有用。它计算简单，而且能用封闭连通的边界定义不重叠的区域。使用阈值进行图像分割时，所有灰度值大于或等于阈值的像素属于物体，否则属于背景。

阈值的选取有不同的方式。如果背景的灰度值在整个图像中是一个恒定值，则可以采用全局固定阈值进行图像分割。但在许多情况下，背景的灰度值并不是常数，物体与背景的对比度在图像中也有变化。这时，如果采用固定阈值，不能在全局的范围内取得满意的效果，需要根据图像的灰度变化选取自适应的阈值。

最佳阈值的选择有多种标准，通常使用的方法是根据直方图来确定灰度阈值。如果直方图是双峰的分布情况，寻找到直方图两峰之间的谷，即可得到灰度阈值，但是这种方法对于直方图是多峰的情况效果并不好。有的文献采用了二次处理技术来实现自适应阈值分割[37]。即先将图像分块，分别自适应求每一块的阈值，再进行图像分割。局部阈值分割法虽然能改善分割效果，但存在几个缺点：

(1)每幅子图像的尺寸不能太小，否则统计出的结果无意义。

(2)每幅图像的分割是任意的，如果有一幅子图像正好落在目标区域或背景区域，而根据统计结果对其进行分割，也许会产生更差的结果。

(3)局部阈值法对每一幅子图像都要进行统计，速度慢，难以适应实时性的要求。

全局阈值分割方法在图像处理中应用比较多，它在整幅图像内采用固定的阈值分割图像。经典的阈值选取以灰度直方图为处理对象。根据阈值选择方法的不同，可以分为模态方法、迭代式阈值选择、类间方差阈值分割法、二维最大熵分割法、模糊阈值分割法、共生矩阵分割法、区域生长法等方法。这些方法都是以图像的直方图为研究对象来确定分割的阈值。

迭代式阈值选择算法是对上一种方法的改进，它首先选择一个近似阈值T，将图像分割成两部分背景和目标，计算背景区域和目标区域的均值μ1和μ2，选择新的分割阈值T＝(μ1+μ2)/2，重复上述步骤直到μ1和μ2不再变化为止。

图像背景灰度分布不具有固定值，且随着光线场景的变化，特别是与背景灰度值相近的车辆驶过时，将给图像分割带来一定的困难。

本方法采用类间方差阈值对背景与图像的差图进行分割。对边缘图像则采用全局阈值的方法进行分割

类间方差阈值算法描述：

设T为分割阈值，μ为图像均值，则图像可分为两个区，目标区(0区)与背景区(B区)。P(i)为第i级灰度的概率。

对应以T为阈值的类间方差为：

有 ${\mathrm{\&mu;}}_O=\underset{i=0}{\overset{T}{\mathrm{\&Sigma;}}}\mathrm{iP}\left(i\right)/\underset{i=0}{\overset{T}{\mathrm{\&Sigma;}}}P\left(i\right),{\mathrm{\&mu;}}_B=\underset{i=T+1}{\overset{255}{\mathrm{\&Sigma;}}}\mathrm{iP}\left(i\right)/\underset{i=T+1}{\overset{255}{\mathrm{\&Sigma;}}}P\left(i\right),\mathrm{\&mu;}=\underset{i=0}{\overset{255}{\mathrm{\&Sigma;}}}P\left(i\right)$ 对应以T为阈值的类间方差为 ${\mathrm{\&sigma;}}^2=\underset{i=0}{\overset{T}{\mathrm{\&Sigma;}}}p\left(i\right){(\mathrm{\&mu;}-{\mathrm{\&mu;}}_O)}^2+\underset{i=T+1}{\overset{255}{\mathrm{\&Sigma;}}}p\left(i\right){(\mathrm{\&mu;}-{\mathrm{\&mu;}}_B)}^2.$

腐蚀与膨胀：

数学形态学是分析几何形状和结构的数学方法，是建立在集合代数基础上，用集合论方法定量描述几何结构的科学。。

数学形态学是由一组形态学的代数运算子组成。用这些运算子及其组合来进行图像形状和结构的分析及处理，包括图像分割、特征提取、边界检测、图像滤波、图像增强和恢复等方面的工作。

膨胀运算在数学形态学中的作用是把图像周围的背景点合并到物体中，如果两个物体距离比较近，则可能将两个物体合并在一起。由于光线的反射、车辆车窗灰度及车身灰度与路面太接近等原因，不可避免分割的差图存在横向及竖向的断层，竖向的断层尤其严重，所以本方法采用竖向膨胀算子和横向膨胀算子对图像进行膨胀。

腐蚀运算的作用是消除物体边界点，取3×3的模板，将使物体的边界沿周边减少一个像素。如果两个物体间有细小的连接，通过腐蚀运算可以将两个物体分开。通过竖向膨胀运算，物体的边缘扩大，所以必须再采用一次腐蚀运算，以使物体消除增加的边界点。针对车辆视频检测中容易出现的车辆粘连问题，通过腐蚀在一定程度上可以将有细小连接的车辆分开。

目标定位：

由得到车辆的区域，但是因为存在车辆互相遮挡、车辆行驶靠近以致粘连的情况，很难通过上述的处理步骤得到理想的车辆区域(即单部车辆的区域)，所以最后需要对检测区域提取特征，通过以下约束条件判断检测结果是否正确。

首先，根据应用情况可以对区域作一些逻辑上的判断。限定区域的大小，本方法将小于8×8及大于160×160的区域视为无效区域。过大的区域可能是由于光线的变化影响了整幅画面，所以将其视为无效的区域。过小的区域可能是由于噪声或行人、自行车的影响，也是无效区域。

最后，再通过形状因子进一步判断。形状因子定义为4πA/L²(A为区域面积，L为区域的周长)。由轮廓跟踪可得到目标的周长，可以计算到形状因子的大小。通过实验，本方法将形状因子小于0.42的情况视为多车辆区域的情况。

特征提取与识别

对运动区域，提取区域的特征，包括区域纹理，区域图像的各阶矩，和车辆特征库中的特征进行比较，识别运动区域内是否是车辆，如果是车辆，则进一步进行车辆的分类。

图像的区域纹理，区域图像的各阶矩和图像的形状因子的提取采用经典的算法进行，这里不再详细阐述，此外还有一个重要的基于小波分解和Fisher变换的目标特征计算如下式 $J_{\mathrm{\&epsiv;}}\left(W_{\mathrm{pq}}\right)=\frac{W_{\mathrm{pq}}^T{S}_{b\&CenterDot;\mathrm{pq}}{W}_{\mathrm{pq}}}{W_{\mathrm{pq}}^T{S}_{M\&CenterDot;\mathrm{pq}}{W}_{\mathrm{pq}}}$

该特征的提取过程为首先对识别车辆进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，将得到的值作为目标的特征。

车辆特征库可以根据试验分析和得出，申请人通过多年研究试验采集提取了涵盖各种条件情况下的车辆特征，建立了相应的数据库，通过该库及其相关的算法对车辆的识别进行具有极高的准确性。同时通过准确车辆识别算法可以精确的识别出车辆并进行定位，排除阴影的各种干扰。

在本发明中的车辆识别算法针对不同条件采用了两种方法，一是设计了一种可用于图像一般时车辆识别的基于支持向量的多类分类器，用相异非零正实数表示不同样本模式，通过非线性映射把样本映射到特征空间，在特征空间中确定一变量系数及偏置待定的线性映射表示样本与模式实数间对应关系，映射输出为零所确定的面作为参考基准。在保证映射输出与样本模式实数尽量接近约束下，增大不同模式样本相对参考基准面的距离差，该目标对应优化函数与支持向量机((SVM)用于回归估计((SVR)求解的目标函数形式一致，故可类似SVR求法得到映射各待定参数从而进行识别。学习样本与参考平面之间的距离用下式表示：

$\left\{\begin{array}{c}{W}^T\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right)=b{\&le;P}_1+\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_{\mathrm{ij}}^{*},{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*}\&GreaterEqual;0\\ W^T\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right)+b\&GreaterEqual;P_1-\mathrm{\&epsiv;}-{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*},{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*}\&GreaterEqual;0\end{array}\right.\mathrm{\&epsiv;}>0$

任意车辆的样本x的类别判定步骤如下：

$\mathrm{if}|f\left(x\right)-p_1|=\underset{1\&le;k\&le;m}{m\mathrm{in}}\left|\begin{array}{c}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\&lang;\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right),\mathrm{\&psi;}\left(x\right)\&rang;-\\ \frac{1}{2}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\&lang;\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right),\mathrm{\&psi;}\left(x_{{\mathrm{ss}}^{*}}\right)\&rang;-p^k\end{array}\right|$

then x属于第i类样本

另一种是在图像非常清晰的情况下采用一种基于小波分解和Fisher变换的车辆识别方法。该方法首先对识别车辆进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换。在Fisher变换域内依据最小绝对距离(或相对距离)识别车辆。该方法的当前待识别目标与各类外型车辆特征的类间距离矩阵如下

$D_{0M}=\left[\begin{array}{ccccc}0& S_{\mathrm{b\&gamma;}2}& S_{\mathrm{b\&gamma;}3}& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& 0& S_{\mathrm{b\&gamma;}3}& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& S_{\mathrm{b\&gamma;}2}& 0& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& S_{\mathrm{b\&gamma;}2}& S_{\mathrm{b\&gamma;}3}& 0& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& S_{\mathrm{b\&gamma;}2}& S_{\mathrm{b\&gamma;}3}& S_{\mathrm{b\&gamma;}4}& 0\end{array}\right]$

Fisher变换作用下

$D_M=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}W(i,:)\mathrm{diag}\left(D_{\mathrm{QM}}(i,:)\right)\mathrm{diag}\left(W(i,:)\right)$

判断车辆的过程如下：

D_dd_MN/d_ij，(i≠j，ij∈[1，5])

$\hat{D}\left[\begin{array}{ccccc}{\min d}_{d,1}& {\min d}_{d,2}& {\min d}_{d,3}& {\min d}_{d,4}& {\min d}_{d,5}\end{array}\right],i\&Element;\left[\mathrm{1,5}\right]$

本方法的车辆检测部分具有如下的优点：

(1)不易受环境照度变化以及车辆自身阴影的干扰，检测精度高。

(2)基于高阶统计量的背景提取算法具有准确、快速的优点，背景更新算法简单直观，当环境发生变化时，能及时有效地更新背景。。

(3)车辆检测算法可以准确地提取到车辆轮廓。

(4)通过准确车辆识别算法可以精确的识别出车辆并进行定位，排除阴影的各种干扰。

车辆跟踪算法：

连续跟踪视频图像上的车辆动态信息是车辆视频检测系统的一个重要环节，跟踪的结果是图像系列理解的重要线索。

跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题，常用的数学工具有卡尔曼滤波(Kalman Filtering)及动态贝叶斯网络(Dynamic Bayesian Network)等。

运动目标跟踪的目的是确定各运动目标的运动轨迹，其关键是在检测所得的静态前景目标和受跟踪的动态运动目标之间建立对应关系。这种对应关系的建立可以通过目标特征匹配来实现。一般被选择用于匹配的特征包括那些与物理运动关系密切的特征，如位置、大小等，以及目标的形状和颜色等。匹配时可以根据各特征的重要性设定不同的权重系数。

由于运动目标是随时间变化的，所以关于它的特征描述也是动态的。从时间上说，运动目标总是比与它匹配的前景目标落后一帧，所以在匹配前要先根据运动目标的运动历史记录预测它在下一帧中的特征。最常用的被预测特征是位置信息，预测时所用的运动模型则有α-β滤波、α-β-γ滤波，以及更为复杂的Kalman(卡尔曼)滤波等。

运动跟踪的基础是图像系列上的特征匹配或光流估算，和一个描述实时运动进程的动态模型。特征匹配或光流估算作为跟踪算法的观察结果，它们或者被假设存在，或者通过其它的方式从图像帧中估算出来。

运动跟踪是在一个“匹配——修正——预测”过程中实现的：

在时刻T所检测到的图像特征要和系统已有的特征建立对应关系(即匹配过程)，然后修正这些特征参数，最后预测它们可能在下一时刻的位置。在匹配过程中，要用统计决策理论；在修正和预测中，需要用到参数估计理论；为了预测，还必须描述特征的运动模型。

本算法采用了Kalman滤波器模型作为跟踪目标的运动模型。一旦为运动目标找到了相对应的前景目标，则需要对其特征和运动历史记录进行适当的更新。

运动目标的跟踪是计算机视觉中一个活跃的研究领域。交通场景中车辆的跟踪是一个难题。

是单纯通过数字图像处理，检测区域的正确率不能得到保证。当两车辆离得过近，且它们中间存在阴影时，车辆检测将把多个目标检测成一个目标。而对于目标遮挡问题，视觉上被遮挡的车辆已经部分或全部地被另一辆车辆遮挡，它们已经连在一起，很难用图像处理手段分开。所以本方法认为，如果粘连的车辆在画面内始终是连在一起，没有分开的阶段，那么本方法在跟踪阶段就将其作为一辆车辆跟踪。通过形状因子判断它是多车辆的目标区，通过所设置的合并/分离计数估计目标区的车辆数。如果粘连的车辆在画面内有分开的时候，那么通过跟踪，最终将能够获取车辆的信息。

本方法Kalman滤波器与位置和速度的估计：

卡尔曼滤波和维纳滤波一样，都是线性最小方差估计的一种具体算法。根据被估计量与测量值为随机序列或随机过程，又有离散时间卡尔曼滤波与连续时间卡尔曼—布西滤波两种基本类型。为了适应数字计算机与图像信号处理的需要，这里主要讨论离散时间的卡尔曼滤波算法。对于要处理的系统，采用如下离散时间随机状态模型：

x(k+1)＝Φ_x(k)+Γξ(k)

y(k)＝Θx(k)+η(k)

其中，x(k)为n×1维随机状态向量；y(k)为p×1维测量向量；ξ(k)为m×1维动态噪声向量；η(k)为p×1维测量噪声向量；Φ为n×n状态转移矩阵；Θ为p×n测量矩阵。Φ和Θ可以是时变的或时不变的；Γ为n×m维动态噪声一步转移矩阵。并且对于一般的应用，假定系统初态、动态噪声和测量噪声都是服从正态分布的随机序列。

用时刻k时的测量值y(k)来估计时刻k₁时的状态值x(k₁)，表示为

其意义为：

$\hat{x}\left(k_1\right|k)=\hat{x}\left(k_1\right|y\left(k\right),y(k-1),...y\left(k_0\right))$

按照k和k1的关系，状态估计可以分为三类，①当k1＞k时，称为预测；②当k1＝k时，称为滤波；③当k1＜k时，称为平滑。针对需要处理的车辆跟踪，给出一步最优预测的卡尔曼递推方程。有统计特性如下：

E{ξ(k)}＝0，E{η(k)}＝0

E{ξ(k)ξ(j)^T}＝Qδ_kj，E{η(k)η(j)^T}＝Rδ_kj

cov[ξ(k)，η(j)]＝0

$E\left\{x\left(k_0\right)\right\}={\stackrel{\&OverBar;}{x}}_{k_0}$ $\mathrm{Var}\left\{x\left(k_0\right)\right\}=E\left\{\right[x\left(k_0\right)-{\stackrel{\&OverBar;}{x}}_{k_0}\left]{[x\left(k_0\right)-{\stackrel{\&OverBar;}{x}}_{k_0}]}^T\right\}=P_0$

cov[ξ(k)，x(k₀)]＝0，cov[η(k)，x(k₀)]＝0

由于x(k0)、ξ(k)和η(k)都是高斯的，而x(k)和y(k)可以表示为它们的线性组合，因此也是高斯的。于是得到k时刻状态x(k)的最优线性滤波

为 $\hat{x}(k+1|k)=\mathrm{\&Phi;}\hat{x}\left(k\right|k-1)+K\left(k\right|k-1)[y\left(k\right)-\mathrm{\&Theta;}\hat{x}\left(k\right|k-1)]$ 增益矩阵K(k|k-1)＝ΦP(k|k-1)Θ^T[ΘP(k|k-1)Θ^T+R]^-1一步预测误差阵P(k+1|k)＝[Φ-K(k|k-1)Θ]P(k|k-1)Φ^T+ΓQΓ^T

本方法采用以上公式构成的一步最优预测递推方程组。选择动态噪声为白噪声的卡尔曼滤波算法来进行车辆的实时跟踪。本方法采用二维运动跟踪，在各个图像平面点轨迹的多项式基础上，能够跟踪多个帧上的一系列的标记和区域。为了减小计算量，本算法先跟踪检测区域中心，同时，令σ_xy＝0，将两个坐标分开考虑。记点p＝(x，y)^T为p＝p′+η。其中p′为点的真实位置；p为实际检测到的点的位置，η为二维高斯噪声，其均值为零，均方差矩阵如下式所示。

当σ_xy＝0时，x，y两个方向上的噪声互不相关。

${\mathrm{\&Lambda;}}_M=\left[\begin{array}{cc}{\mathrm{\&sigma;}}_x^2& {\mathrm{\&sigma;}}_{\mathrm{xy}}\\ {\mathrm{\&sigma;}}_{\mathrm{xy}}& {\mathrm{\&sigma;}}_y^2\end{array}\right]$

为了处理上的方便，将车辆运动看成恒速运动，则将加速度a(k)视为0。

我们感兴趣的问题是对运动目标的位置和速度的估计问题，定义状态向量为 $X\left(k\right)=\left[\begin{array}{c}x\left(k\right)\\ v\left(k\right)\end{array}\right]$

则有观测方程X(k)＝ΦX(k-1)+Γw(k-1)，Y(k)＝ΘX(k)+η_k $\mathrm{\&Phi;}=\left[\begin{array}{cc}1& T\\ 0& 1\end{array}\right],\mathrm{\&Gamma;}=\left[\begin{array}{c}{T}^2/2\\ T\end{array}\right],\mathrm{\&Theta;}=\left[\begin{array}{c}1\\ 0\end{array}\right]$ 其中T为采样周期车辆检测区域中心跟踪的问题化为基于观测求状态X(k)最优估值。

Y坐标方向的状态方程及观测方程与X坐标方向的状态方程、观测方程相同。

首先根据经验值初始化运动目标的速度，根据车道的先验知识，可以由运动目标所在的位置知道它运动的方向，预测其下一帧可能出现的位置。从下一帧检测的运动目标区域中，找到与预测值具有最小误差的区域中心，然后修正运动目标的速度。

通过每一帧的两个坐标系(x，y方向)的速度、位置的预测、修正，完成运动物体的跟踪。

可以依照现有技术或其它技术，在本发明的基础上进行交通状况分析，提取交通参数，并同通信方式向交通指挥中心或其它用户发送图像、交通参数和分析资料。通常交通参数分为交通数据(例如车辆数、速度、平均速度等)和交通事故(例如拥挤、车辆碰撞等)。根据对交通状况的检测，还可以进行交通违规记录，并在发现违规时自动拍摄近景捕捉图像，以作为交通管理和处罚的证据。

本发明的系统参见图3，其中各功能主要可以通过软件实现，所述软件编制可以参照上述关于方法的介绍和其它现有技术。

为描述上的便利，本说明书在以车辆为检测目标的部分描述中，直接使用了“车辆”、“运动区域”等表述被检测的目标和目标区域，从技术角度，可以将这些用语视为等同的。

Claims (10)

1.一种基于机器视觉的车辆检测和跟踪方法，包括下列步骤：

(1)图像采集，并对采集的模拟视频图像进行数字化转换；

(2)图像预处理；

(3)图像背景提取和更新；

(4)目标识别；

(5)目标跟踪，

其特征在于：

在所述目标识别过程中，对目标区域进行膨胀运算和腐蚀运算，提取有效目标区域的目标特征，将其同预存在参考特征数据库中的参考特征相比较，一致的即定义为目标。

2.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述目标识别中，还包括下列步骤得出：

(1)分别对背景图像和前景图像用sobel算子进行边缘检测，对得出的背景边缘和前景边缘的差图进行全局域值分割，形成初步边缘目标区域；

(2)分别对背景图像和前景图像进行增强，对两者的差图进行类间方差域值分割，形成初步目标区域；

(3)将所述初步边缘目标区域和初步目标区域进行融合，得出所述的目标区域；

(4)在对目标区域进行膨胀运算和腐蚀运算后，使用种子填充算法找到连通区域，对连通区域进行判断，大于有效目标区域上限或小于有效目标区域下限的连通区域为无效区域，在上下限之间的为有效目标区域。

3.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述目标特征和参考特征包括下列任意一个、多个或全部特征：颜色、形状、纹理、矩以及基于小波分解和Fisher变换的目标特征，所述基于小波分解和Fisher变换的目标特征的提取过程为首先对目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，将得到的值作为目标的特征。

4.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述目标识别的算法针对不同条件采用了两种方法，一是设计一种可用于图像一般时目标识别的基于支持向量的多类分类器，用相异非零正实数表示不同样本模式，通过非线性映射把样本映射到特征空间，在特征空间中确定一变量系数及偏置待定的线性映射表示样本与模式实数间对应关系，映射输出为零所确定的面作为参考基准，在保证映射输出与样本模式实数尽量接近约束下，增大不同模式样本相对参考基准面的距离差，该目标对应优化函数与支持向量机((SVM)用于回归估计((SVR)求解的目标函数形式一致，故可类似SVR求法得到映射各待定参数从而进行识别，学习样本与参考平面之间的距离用下式表示

$\left\{\begin{array}{c}{W}^T\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right)=b\&le;P_1+\mathrm{\&epsiv;}+{\mathrm{\&xi;}}_{\mathrm{ij}}^{*},{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*}\&GreaterEqual;0\\ W^T\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right)+b\&GreaterEqual;P_1-\mathrm{\&epsiv;}-{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*},{\mathrm{\&zeta;}}_{\mathrm{ij}}^{*}\&GreaterEqual;0\end{array}\right.\mathrm{\&epsiv;}>0$

任意目标的样本x的类别判定步骤如下：

$\mathrm{if}|f\left(x\right)-p_1|=\underset{1\&le;k\&le;m}{\min }\left|\begin{array}{c}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\&lang;\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right),\mathrm{\&psi;}\left(x\right)\&rang;-\\ \frac{1}{2}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}({\hat{a}}_{\mathrm{ij}}-{\hat{a}}_{\mathrm{ij}}^{*})\&lang;\mathrm{\&psi;}\left(x_{\mathrm{ij}}\right),\mathrm{\&psi;}\left(x_{{\mathrm{ss}}^{*}}\right)\&rang;-p^k\end{array}\right|$

then  x属于第i类样本

另一种是在图像非常清晰的情况下采用一种基于小波分解和Fisher变换的目标识别方法，该方法首先对识别目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，在Fisher变换域内依据最小绝对距离(或相对距离)识别目标，该方法的当前待识别目标与各类外型目标特征的类间距离矩阵如下：

$D_{0M}=\left[\begin{array}{ccccc}0& S_{\mathrm{b\&gamma;}2}& S_{\mathrm{b\&gamma;}3}& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& 0& S_{\mathrm{b\&gamma;}3}& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& S_{\mathrm{b\&gamma;}2}& 0& S_{\mathrm{b\&gamma;}4}& S_{\mathrm{b\&gamma;}5}\\ S_{\mathrm{b\&gamma;}1}& S_{\mathrm{b\&gamma;}2}& S_{\mathrm{b\&gamma;}3}& 0& S_{\mathrm{b\&gamma;}5}\\ S_{b1}& S_{b2}& S_{b3}& S_{b4}& 0\end{array}\right]$

Fisher变换作用下：

$D_M=\underset{i=1}{\overset{5}{\mathrm{\&Sigma;}}}W(i,:)\mathrm{diag}\left(D_{\mathrm{QM}}(i,:)\right)\mathrm{diag}\left(W(i,:)\right)$

判断目标的过程如下：

D_dd_MN/d_ij，(i≠j，ij∈[1，5])

$\hat{D}\left[\begin{array}{ccccc}{\min d}_{d,1}& {\min d}_{d,2}& {\min d}_{d,3}& {\min d}_{d,4}& {\min d}_{d,5}\end{array}\right],i\&Element;\left[\mathrm{1,5}\right]$

5.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于当识别出目标后，就对目标进行锁定，根据图像的实时变化，进行实时锁定跟踪，并且是对图像中出现的所有目标同时实时跟踪，对目标运动的点进行描述，形成运动轨迹的矢量图。

6.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述目标跟踪采用Kalman(卡尔曼)滤波器模型作为跟踪目标的运动模型，采用离散时间的卡尔曼滤波算法进行运算，对于粘连的目标，如果在画面内始终是连在一起，没有分开的阶段，那么在跟踪阶段就将其作为一辆车辆跟踪，并通过形状因子判断其为多目标的目标区，通过所设置的合并/分离计数估计目标区的目标数，如果在画面内有分开的时候，则通过跟踪，最终获取车辆的信息。

7.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述背景提取和更新采用下列方式：

背景提取：

对于没有运动物体、且受噪声影响很少的子块：

求差分帧d_k(x，y)子块均值，如果连续5帧的均值小于给定阈值，则提取该子块为背景，阈值为10～20；

不满足上述条件的子块，按照下式计算4阶统计量，其中m0是根据每个子块计算得来的均值，m2是根据每个子块计算的方差，m3是图像的3阶中心矩，m4是4阶中心矩，E_kij是子块的能量，α为由经验得出加权系数，当Con_sij≤G(G为阈值)时，则该子块属于背景，否则属于目标，

$m_4=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{(d_k(x,y)-m_0)}^4$

${\mathrm{HOS}}_4=m_4-3m_3^2+m_2^2$

$E_{\mathrm{kij}}=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{d}_k{(x,y)}^2$

Con_kij＝αHOS₄(D_kij)+E_kij

通过若干相邻帧图像的提取，将所有属于背景的子块组合而成一个完整的静态背景；

背景更新算法：

提取背景后，采用如下式的方式更新背景：

if(B_k(x，y)＝F_k(x，y)

B_k+1(x，y)＝B_k(x，y)

else if((B_k(x，y)＜F_k(x，y))

B_k+1(x，y)＝B_k(x，y)-a

else

B_k+1(x，y)＝B_k(x，y)+a

其中B_k(x，y)表示第k帧背景，F_k(x，y)表示第k帧图像，B_k+1(x，y)表示第k+1帧背景，a取值范围在0.1到2之间。

8.如权利要求1所述的基于机器视觉的车辆检测和跟踪方法，其特征在于所述预处理包括对图像进行噪声平滑，采用邻域平均的方法进行噪音判断和去除，当一些点和它的领域内的点的灰度的平均值差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值。

9.一种基于机器视觉的车辆检测和跟踪系统，其特征在于包括：

视频输入设备，其采集车辆和道路信息，生成视频模拟图像；

模数转换单元，其将所述视频模拟图像进行数字化转化；

计算机系统，其设有目标特征数据库，对所述数字化的视频图像进行预处理，提取和更新背景，进行目标识别和目标跟踪；

所述视频图像的预处理为采用邻域平均的方法进行噪音判断和去除，当一些点和它的领域内的点的灰度的平均值差不超过规定的阈值T时，就仍然保留其原灰度值不变，如果大于阈值T时就用它们的平均值来代替该点的灰度值；

所述背景提取采用下列方式：

对于没有运动物体、且受噪声影响很少的子块：

求差分帧d_k(x，y)子块均值，如果连续5帧的均值小于给定阈值，则提取该子块为背景，阈值为10～20；

对不满足上述条件的子块，按照下式计算4阶统计量，其中m0是根据每个子块计算得来的均值，m2是根据每个子块计算的方差，m3是图像的3阶中心矩，m4是4阶中心矩，E_kij是子块的能量，α为由经验得出加权系数，当Con_sij≤G(G为阈值)时，则该子块属于背景，否则属于目标，

$m_4=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{(d_k(x,y)-m_0)}^4$

${\mathrm{HOS}}_4=m_4-3m_3^2+m_2^2$

$E_{\mathrm{kij}}=\frac{\mathrm{MN}}{\mathrm{XY}}{\mathrm{\&Sigma;\&Sigma;}}_{(x,y)\&Element;\mathrm{Dkij}}{d}_k{(x,y)}^2$

Con_kij＝αHSO₄(D_kij)+E_kij

通过若干相邻帧图像的提取，将所有属于背景的子块组合而成一个完整的静态背景；

所述背景更新采用下列方式：

在提取背景后的图像识别处理过程进行背景更换，其算法为：

if(B_k(x，y)＝＝F_k(x，y)

B_k+1(x，y)＝B_k(x，y)

else if((B_k(x，y)＜F_k(x，y))

B_k+1(x，y)＝B_k(x，y)-a

else

B_k+1(x，y)＝B_k(x，y)+a

其中B_k(x，y)表示第k帧背景，F_k(x，y)表示第k帧图像，B_k+1(x，y)表示第k+1帧背景，a取值范围在0.1到2之间；

所述图像识别为：

分别对背景图像和前景图像用sobel算子进行边缘检测，对得出的背景边缘和前景边缘的差图进行全局域值分割，形成初步边缘目标区域；

分别对背景图像和前景图像进行增强，对两者的差图进行类间方差域值分割，形成初步目标区域；

将初步边缘目标区域和初步目标区域进行融合，得出所述的目标区域；

在对目标区域进行膨胀运算和腐蚀运算后，使用种子填充算法找到连通区域，对连通区域进行判断，大于有效目标区域上限或小于有效目标区域下限的连通区域为无效区域，在上下限之间的为有效目标区域；

对目标区域进行膨胀运算和腐蚀运算，并得出有效的目标区域，提取目标区域的目标特征，将其同预存在参考特征数据库中的参考特征相比较，一致的即定义为目标；

所述目标特征和参考特征包括下列任意一个、多个或全部特征：颜色、形状、纹理、矩以及基于小波分解和Fisher变换的目标特征，所述基于小波分解和Fisher变换的目标特征的提取过程为首先对识别目标进行多尺度小波分解，把不同尺度的分解结果组织为分解向量，再对分解向量作Fisher变换，将得到的值作为目标的特征；

所述目标跟踪所述目标跟踪采用Kalman(卡尔曼)滤波器模型作为跟踪目标的运动模型，采用离散时间的卡尔曼滤波算法进行运算，当识别出目标后，就对目标进行锁定，根据图像的实时变化，进行实时锁定跟踪，并且是对图像中出现的所有目标同时实时跟踪，对目标运动的点进行描述，形成运动轨迹的矢量图。

10.一种基于机器视觉的车辆检测和跟踪系统，其特征在于：

所述视频输入设备包括全景检测摄像机和目标捕捉摄像机，分别用于摄取全景图像和近景捕捉图像，连接视频矩阵切换器，所述视频矩阵切换器还分别连接实时图像采集卡、通讯接口传输控制模块和系统报警与处理平台，通过所述通讯接口传输控制模块连接计算机总线，接受计算机主机的指令，进行通讯切换，接受所述全景检测摄像机的全景图像并发送给所述实时图像采集卡，接受计算机主机的目标捕捉控制指令，向所述目标捕捉摄像机发送拍摄指令，并接受所述目标捕捉摄像机发回的近景捕捉图像，发送给所述实时图像采集卡，接受计算机主机发出的报警控制指令，向系统报警与处理平台发送报警信号以及相关全景检测图像和目标捕捉图像，由系统报警与处理平台将其生成的警报信息和相关图像送至与其连接的交通控制显控器显示，所述计算机主机还通过计算机总线连接图像处理数据分析单元和随机图像存储器，所述数据分析单元与所述计算机主机通信，根据计算机主机控制器的指令进行数据分析，所述随机图像存储器同计算机主机控制器通信，用于数据的随机存储。

Images