CN101308607A - 基于视频的混合交通环境下移动目标多特征融合跟踪方法 - Google Patents

Abstract

基于视频的混合交通环境下移动目标多特征融合跟踪方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体为：将摄像头拍摄到的视频由USB接口读入到计算机，然后将视频分解为帧图像序列；采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；基于随机融合方法进行颜色特征和边缘特征信息的融合；输出跟踪后的帧图像；将帧图像合成为视频流输出，将视频输出于监视器或通过网络接口远程传输。

Description

基于视频的混合交通环境下移动目标多特征融合跟踪方法

技术领域

本发明涉及视频监控技术和图像处理理论，涉及一种基于视频的混合交通环境下移动目标多特征融合跟踪方法。

背景技术

在我国，混合交通是一种客观现象，自行车、机动车、行人组成的混合交通，这种混合交通引发的交通拥堵、交通事故增加、城市环境不断恶化、运输效益下降等一系列问题，严重地影响了道路交通秩序降低了道路通行能力，增加了道路交通管理难度。

随着智能化视频监控技术的发展，及其在自动异常检测、身份识别以及视频内容理解和描述等方面所取得的成果，视频监控系统在军事、公共安全、工业和交通等领域得到了广泛应用。尤其是在智能交通系统中，视频监控已成为交通流检测、异常事故分析以及交通控制的基础手段。

车辆是混合交通系统最常见的移动目标，也是监控的主要对象，因此，车辆跟踪技术是智能交通系统中车辆监控的关键技术之一，其水平的高低直接影响到高速公路和城市道路监控系统的整体运行安全和管理水平。运动车辆的跟踪信息不仅能为车辆的正确检测以及准确识别提供帮助，还能通过对运动轨迹的分析，估计车辆状态并给予语义描述，进而为交通安全及决策提供一定的技术支持。

目前，寻求基于视频的高鲁棒性和实时性车辆跟踪算法已成为这个领域的研究热点。基于视频的车辆跟踪方法主要采用的方法是贝叶斯滤波。最常用的有卡尔曼滤波、扩展卡尔曼滤波等。这些方法的不足之处是无法处理非高斯噪声或非线性模型、多模态等情况。而在交通环境复杂多变的智能交通系统中，如光照，气候的变化、运动目标的种类和状态的多样性等，往往会产生较大的跟踪误差，出现跟踪目标丢失，遮挡等问题。为了解决以上问题，粒子滤波成为当前运动目标跟踪方法中的新研究方向。因为其适用于任何能用状态空间模型表示的非线性系统以及非高斯系统，精度可以逼进最优估计。本发明基于粒子滤波跟踪算法，设计和研究了一个开放式的解决框架，使得目标跟踪更为可靠有效。

在跟踪过程中，当单一特征信息不可靠时，跟踪效果就会大大降低，例如当目标和背景的颜色相近或是色彩颜色混杂时，采用颜色信息进行跟踪就会出错。本发明针对这个问题，采用多特征融合机制以提高跟踪的鲁棒性。考虑到粒子滤波算法具有多测量信息融合的优势，基于它融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，达到纠错的效果。同时为了提高算法的实时性，采用随机融合策略融合多特征信息，对于每个粒子只随机选择计算一种特征观测模型，以减少计算量。该发明的跟踪精度高，能有效消除遮挡的影响，并能满足实行系统的要求。

申请人多年来主要从事信息融合理论与方法、图像及视频信息处理与传输、复杂系统分析等方面的科学研究工作，开展了“基于粗糙集理论的图像增强方法”、“基于小波边缘检测的图像去噪方法”、“视频监控系统中的图像预处理技术”等研究，提出了多种图像智能处理的新方法，有些已在实际中得到应用。2005年参加的“计算智能与图像信息处理研究及其应用系统”获中国电子学会电子信息科学技术三等奖；出版专著1部，2006《信息系统集成与融合技术及其应用》由国防工业出版社出版，通过多年的研究和实践，申请人熟悉和掌握数字图像智能处理和监视监控领域的研究难点和重点。

发明内容

技术问题：本发明的目的是提出了一种基于视频的混合交通环境下移动目标多特征融合跟踪方法。该方法克服了以往车辆跟踪算法难以解决的非线性问题和遮挡问题，提高了跟踪的实时性和鲁棒性。

技术方案：根据视频信息特点以及应用特点，本发明提出了一种基于粒子滤波，采用多特征随机融合的自适应跟踪算法。

基于视频的混合交通环境下移动目标多特征融合跟踪方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充。

本发明所基于的粒子滤波方法是通过状态转移产生多个可能的车辆区域的质心构成粒子群(样本集)，在状态空间下比较粒子群与目标粒子的相似度，根据相似度大小赋予粒子不同的权值，计算粒子群的权值均值用于估算车辆的下一可能位置，即获得状态最小方差下的车辆区域的质心估计。

移动目标多特征融合跟踪方法的具体步骤如下：

步骤一：视频预处理：将摄像头拍摄到的视频由USB接口读入到计算机，然后将视频分解为帧图像序列；

步骤二：采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；

步骤三：采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；

步骤四：将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；

步骤五：基于随机融合方法进行颜色特征和边缘特征信息的融合；

步骤六：输出跟踪后的帧图像；

步骤七：将帧图像合成为视频流输出，

步骤八：将视频输出于监视器或通过网络接口远程传输。

采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，是通过颜色特征模型来建立空间观测模型，步骤如下：

步骤一：将RGB彩色帧图像转换到HSV空间；

步骤二：将HSV三个颜色分量分别量化为三个量化级，这三个量化级的乘积是彩色特征空间的特征矢量总数；

步骤三：对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产生两模板的彩色直方图；

步骤四：用Bhattacharyya相似性系数计算两模板间的彩色直方图的相似度。

采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，是通过边缘特征模型来建立空间观测模型，步骤如下：

步骤一：采用Sobel边缘检测模板分别对灰度化后的图像进行行、列卷积，得到梯度的幅度图和边缘方向角图；

步骤二：除去伪边缘，得到修正的梯度幅值图；

步骤三：将梯度方向角进行量化得到每个像素对应的角度量化级，累计相应量化级的梯度幅值，最终得到边缘特征的直方图；

步骤四：通过边缘直方图的欧几里德(Euclidean)距离计算目标模板和待测粒子模板的相似度。

随机融合方法的具体步骤是：

步骤一：每个粒子随机产生一个0到1之间的随机数；

步骤二：由测量空间的不确定度来确定选择概率；

步骤三：根据随机融合机制融合粒子权值，如果随机数大于选择概率，则只计算颜色直方图，从而确定其彩色测量权值，边缘测量权值为0；如果随机数小于选择概率，则只计算边缘直方图，并确定其测量权值，彩色测量权值为0；随机融合计算公式如下：

${\mathrm{\ω}}^i=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_c^i}{\mathrm{\ω}}_c^i+\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_e^i}{\mathrm{\ω}}_e^i$

式中，ωⁱ表示第i个粒子融合后的权值，N表示粒子总数，ω_c ⁱ表示第i个粒子的彩色测量权值，ω_e ⁱ表示第i个粒子的边缘测量权值。

有益效果：所发明的多特征融合跟踪方法可以提高对移动车辆的跟踪精度，并能有效消除遮挡对跟踪的影响，以及复杂背景对跟踪的影响。同时，所设计的算法的计算复杂度低，能较好满足实行系统的要求。

附图说明

下面结合附图，详细说明本发明的实施例，其中：

图1是本发明的工作流程图；

图2是本发明的方法流程图；

图3是本发明的颜色特征观测模型建立的流程图；

图4是本发明的边缘特征观测模型建立的流程图；

图5是本发明的多特征随机融合流程图；

图6是本发明的粒子重采样流程图。

具体实施方式

对于已获取的视频帧序列，首先提取初始帧中的感兴趣(ROI)区域，即移动目标，例如，车辆所在区域作为目标模板，在后续帧中通过状态转移得到可能的车辆区域作为候选模板，即粒子采样。计算候选模板和目标模板的颜色和边缘特征相似度，随机融合多特征权值，最后输出车辆的跟踪结果。

具体的算法可以分为三个部分：

1.空间观测模型的建立

1)颜色特征模型

将RGB彩色帧图像转换到HSV空间，三个颜色分量分别量化为N_H，N_S，N_V级，把彩色特征空间分为N＝N_H×N_S×N_V个特征矢量。对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产生条数为N的彩色直方图p(y)和q，计算两模板间的相似度，最后由公式(3)转化为彩色测量权值。

目标模板和某帧中第u个待测粒子模板的匹配度用Bhattacharyya相似性系数来度量，(Bhattacharyya相似性系数由Bhattacharyya A于1943提出，它是一种基于概率分布的类别可分性判据，用于测量两种离散概率分布的相似度。)定义为：

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}(p\left(y\right),q)=\underset{u=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{p_u^j\left(y\right)q_u^j}---\left(1\right)$

两直方图的Bhattaryya距离为： $d_c\left(y\right)=\sqrt{1-\mathrm{\ρ}\left(y\right)}---\left(2\right)$

颜色信息的测量概率为： $p_c\left(z_k\right|x_k^i)=\exp \{-{\mathrm{\λ}}_c{d}_c^2\}---\left(3\right)$

颜色观测模型的建立流程见图3。

2)边缘特征模型

彩色帧图像首先要转换成灰度图像，采用Sobel边缘检测模板分别对图像进行行、列卷积，得到梯度的幅度图G和边缘方向角图θ，计算公式如下：

$G(i,j)=\sqrt{G_h{(i,j)}^2+G_v{(i,j)}^2}---\left(4\right)$

$\mathrm{\θ}(i,j)=\left\{\begin{array}{cc}\arctan \left(\frac{G_v(i,j)}{G_h(i,j)}\right)& G_h(i,j)\≠0\\ \mathrm{\π}/2& G_h(i,j)=0\end{array}\right.---\left(5\right)$

G_h(i，j)和G_v(i，j)分别为水平和垂直方向上的梯度值。

(Sobel模板是Sobel，I于1968在斯坦福提出，它是边缘检测方法中常用的一阶微分算子，分别为检测水平边沿的Sobel模板[-1 -2 -1；0 0 0；1 2 1]和检测垂直边沿的Sobel模板[-1 0 1；-2 0 2；-1 0 1])。

为了减小噪声的干扰，设定阈值T，除去伪边缘，由式(6)得到修正的梯度幅值图。将梯度方向角量化为M级，则每个像素对应一个角度量化级，累计相应量化级的梯度幅值，最终得到边缘特征的直方图H。

$H=\underset{i,j}{\mathrm{\Σ}}\mathrm{Mag}(i,j)\mathrm{\δ}(\mathrm{\θ}(i,j)-K)---\left(7\right)$

目标模板和待测粒子模板的相似度可以通过边缘直方图的欧几里德(Euclidean)距离来衡量，假设目标模板的边缘方向矢量为e＝(e₁，…，e_K)；待测粒子模板的边缘方向矢量为 $e^{*}\left(x\right)=(e_1^{*},...,e_K^{*}),$ 则欧几里德(Euclidean)距离计算公式为

$d_e=\sqrt{{\mathrm{\Σ}}_{n=1}^K{\{e^{*}\left(n\right)-e\left(n\right)\}}^2}---\left(8\right)$

边缘信息的测量概率为 $p_e\left(z_k\right|x_k^i)=\exp \{-{\mathrm{\λ}}_e{d}_e^2\}---\left(9\right)$

边缘观测模型的建立流程见图4。

2、随机融合机制

若采用一般的多特征融合机制，则每个粒子都要计算两种特征的测量概率，这样大幅度地增加了计算量，不能满足系统的实时性要求。本专利采用随机融合机制，使得系统在不降低跟踪精度的基础上，能有效减少计算时间。随机选择融合公式如下：

在算法实现上，每个粒子随机产生随机数r～U[0，1]，如果r_k+1＞α，只计算颜色直方图，从而确定其彩色测量权值ω_c，边缘测量权值为ω_e＝0；如果r≤α，则只计算边缘直方图，确定其测量权值ω_e，彩色测量权值为ω_c＝0。随机融合公式如下

${\mathrm{\ω}}^i=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_c^i}{\mathrm{\ω}}_c^i+\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_e^i}{\mathrm{\ω}}_e^i---\left(11\right)$

选择概率α由测量空间的不确定度来衡量。在跟踪过程中，不同的特征空间对目标的影响度不同。本发明通过测量时空的不确定性来衡量每种特征空间对目标的影响度。

假设每种特征都用一个似然度模型来表示，则定义一个似然度矢量

$I_k\left(x_k^i\right)={\left[p^j\left(z_k\right|x_k^i)\right]}_{j=1...N_f}---\left(12\right)$

其中N_f是特征的数目。对于第k帧中每个特征j的测量似然度，可计算得到一个协方差矩阵C_t ^j。如果状态只有二维x＝(u，v)，归一化矩阵为

$C_t^j=\frac{1}{{\mathrm{\Σ}}_{i=1}^N{l}_t^j}\left[\begin{array}{cc}{\mathrm{\Σ}}_{i=1}^N{l}_t^j{(u_t^j-E[u_t\left]\right)}^2& {\mathrm{\Σ}}_{i=1}^N{l}_t^j(u_t^i-E[u_t\left]\right)(v_t^i-E[v_t\left]\right)\\ {\mathrm{\Σ}}_{i=1}^N{l}_t^j(u_t^i-E[u_t\left]\right)(v_t^i-E[v_t\left]\right)& {\mathrm{\Σ}}_{i=1}^N{l}_t^i{(v_t^i-E[v_t\left]\right)}^2\end{array}\right]---\left(13\right)$

特征不确定度由C_t ^j的特征值来估计，即 $U^j=\det \left(C_t^j\right)---\left(14\right)$

每个特征的测度与不确定系数成反比，p(z_t|x_t ⁱ)即随机融合机制中的概率α

$p\left(z_t\right|x_t^i)\∝{\mathrm{\Σ}}_j\frac{l_t^j\left(x_t^i\right)}{U^j}/{\mathrm{\Σ}}_j\frac{1}{U_j}---\left(15\right)$

多特征随机融合流程见图5。

3、粒子重采样和模板更新策略

1)粒子重采样

粒子退化是粒子滤波算法的常见问题。在几次迭代之后，大部分粒子的权值逐渐变得很小。为了保持粒子的多样性，本发明采用了粒子重采样策略，在严重退化现象发生时，对粒子进行重采样，以去除权值较小的粒子，保留权值大的粒子。该策略的时间复杂度低，假设粒子的数量为N，粒子的累加概率密度为C_i，粒子采样值为X_i，其粒子重采样的流程见图6。该重采样方法的时间复杂度为O(N)，并且能使Monte Carlo方差达到最小。

2)模板更新

当目标发生质变时，要对目标模板进行适时更新，才能保持移动目标跟踪的准确性。假设第t帧的估计结果为E，计算它与当前目标模板的相似度，如果小于预先设定的阈值，则两种特征模板都用以下公式进行更新。

q_t＝γq_t-1+(1-γ)p(E)        (16)

如图1所示，摄像头拍摄的视频输入到计算机后，首先将视频分解为帧图像，然后逐帧进行处理，本发明采用粒子滤波方法分别提取帧图像感兴趣(ROI)区域的多特征信息，与目标模板作比较，得到特征的相似度。接着随机融合多特征信息，输出跟踪后的帧图像，最后将帧图像合成为视频流输出，视频可直接输出于监视器，或通过网络接口远程传输。

图2是本发明的方法流程图。算法执行的流程如下，首先提取第一帧图像的感兴趣(ROI)区域作为目标模板，初始化目标模板参数，即计算目标模板的颜色和边缘特征相似度，再在其附近产生N个可能的车辆区域，作为初始粒子。采集下一帧图像，通过状态转移产生N个候选模板，分别计算每个候选模板与目标模板的颜色特征相似度和边缘特征相似度，转换为相对应的权值。随机融合多特征权值，计算出最佳的跟踪结果。根据跟踪结果与目标模板之间的差值，判断是否要更新模板，最后进行粒子重采样以保持粒子的多样性。逐帧输入后续帧，重复执行多特征融合粒子滤波算法对交通移动目标(例如，车辆)进行鲁棒跟踪。

Claims (4)

1.一种基于视频的混合交通环境下移动目标多特征融合跟踪方法，其特征在于该方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体步骤如下：

步骤一：视频预处理：将摄像头拍摄到的视频由USB接口读入到计算机，然后将视频分解为帧图像序列；

步骤二：采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；

步骤三：采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；

步骤四：将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；

步骤五：基于随机融合方法进行颜色特征和边缘特征信息的融合；

步骤六：输出跟踪后的帧图像；

步骤七：将帧图像合成为视频流输出，

步骤八：将视频输出于监视器或通过网络接口远程传输。

2.根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法，其特征在于，采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，是通过颜色特征模型来建立空间观测模型，步骤如下：

步骤一：将红R、绿G、蓝B彩色帧图像转换到色度H、饱和度S、纯度V空间；

步骤二：将HSV三个颜色分量分别量化为三个量化级，这三个量化级的乘积是彩色特征空间的特征矢量总数；

步骤三：对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产生两模板的彩色直方图；

步骤四：用Bhattacharyya相似性系数计算两模板间的彩色直方图的相似度。

3.根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法，其特征在于，采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，是通过边缘特征模型来建立空间观测模型，步骤如下：

步骤一：采用Sobel边缘检测模板分别对灰度化后的图像进行行、列卷积，得到梯度的幅度图和边缘方向角图；

步骤二：除去伪边缘，得到修正的梯度幅值图；

步骤三：将梯度方向角进行量化得到每个像素对应的角度量化级，累计相应量化级的梯度幅值，最终得到边缘特征的直方图；

步骤四：通过边缘直方图的欧几里德Euclidean距离计算目标模板和待测粒子模板的相似度。

4.根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法，其特征在于，随机融合方法的具体步骤是：

步骤一：每个粒子随机产生一个0到1之间的随机数；

步骤二：由测量空间的不确定度来确定选择概率；

步骤三：根据随机融合机制融合粒子权值，如果随机数大于选择概率，则只计算颜色直方图，从而确定其彩色测量权值，边缘测量权值为0；如果随机数小于选择概率，则只计算边缘直方图，并确定其测量权值，彩色测量权值为0；随机融合计算公式如下：

${\mathrm{\ω}}^i=\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_c^i}{\mathrm{\ω}}_c^i+\frac{1}{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_e^i}{\mathrm{\ω}}_e^i$

式中，ωⁱ表示第i个粒子融合后的权值，N表示粒子总数，ω_c ⁱ表示第i个粒子的彩色测量权值，ω_e ⁱ表示第i个粒子的边缘测量权值。

Images