CN104050681A - 一种基于视频图像的道路消失点检测方法 - Google Patents

Abstract

一种基于视频图像的道路消失点检测方法，涉及一种道路消失点的检测方法，属于道路检测领域。本发明解决了现有的检测方法错误率较高，传统的投票算法比较复杂，大部分的时间是消耗在投票算法上的，以及利用Gabor小波的多尺度和多方向特性进行纹理特征提取时存在计算量较大的问题。本发明的技术要点为：输入一帧图像数据，将其转换为灰度图像并进行快速傅里叶变换；基于Gabor滤波器的纹理响应幅度的计算；计算图像纹理主方向；计算粒子的票数；调整粒子分布范围；建立消失点动态和观测模型；粒子滤波及消失点输出。本发明可应用于智能行走机器人或无人驾驶汽车自主导航等计算机视觉系统中。

Description

一种基于视频图像的道路消失点检测方法

技术领域

本发明涉及一种道路消失点检测方法，尤其涉及一种基于视频图像的道路消失点检测方法，属于道路检测领域。

背景技术

道路可以分为结构化道路和非结构化道路，结构化道路具有较为清晰的道路标线及轮廓边缘，道路颜色与周围环境有较大的差别。相比较而言，非结构化道路往往没有铺设水泥或沥青，缺乏明显的道路标识线及边界，同时道路颜色往往与周围背景没有明显的差别，如泥泞道路、雪地或荒漠等，使得非结构道路的可靠检测成为一个难点，近年来，国内外研究者们提出了多种消失点检测算法，然而，受到周围环境如建筑物，树木及电线杆等强边缘的干扰，导致投票累加空间可能存在多个局部峰值，而仅凭全局最大值定论消失点位置极易导致检测错误，因此传统的检测方法错误率较高，同时利用Gabor小波的多尺度和多方向特性进行纹理特征提取时，存在计算量较大等问题，因此，有必要提出一种更为有效的道路消失点检测方法。

发明内容

本发明的目的是提出一种基于视频图像的道路消失点检测方法，以解决针对现有的检测方法错误率较高，传统的投票算法比较复杂，大部分的时间是消耗在投票算法上的，以及利用Gabor小波的多尺度和多方向特性进行纹理特征提取时存在计算量较大的问题。

本发明为解决上述技术问题所采用的技术方案是：

本发明所述的一种基于视频图像的道路消失点检测方法，是按照以下步骤实现的：步骤一、输入一帧图像数据I(x,y)，将其转换为灰度图像并进行快速傅里叶变换F{I(x,y)}，其中x和y分别为图像像素的X轴和Y轴坐标；

步骤二、基于Gabor滤波器的纹理响应幅度的计算；

步骤三、计算图像纹理主方向，具体过程为：

步骤三一、对纹理响应幅度进行降序排列，得到E₁、E₂、E₃、E₄,对应的Gabor滤波器角度分别为φ₁、φ₂、φ₃和φ₄；其中所用的Gabor滤波器尺度为s、方向为φ_i；

步骤三二、定义每个像素p(x,y)的自信度：conf(p)＝(E₁-E₄)/E₁，若自信度conf(p)大于预先定义的常数δ_c且最大纹理响应幅度E₁大于阈值δ_amp，则按照以下公式求取像素的纹理主方向

(a)若φ₁＝135°且φ₂＝0°,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1-E_2\left(p\right)\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1\end{array}\right.---\left(4\right)$

(b)其它情况,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1+E_2\left(p\right)\cos {\mathrm{\φ}}_2\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1+E_2\left(p\right)\sin {\mathrm{\φ}}_2\end{array}\right.---\left(5\right)$

$\widehat{\mathrm{\θ}}\left(p\right)={\tan }^{-1}(V_y\left(p\right)/V_x\left(p\right))---\left(6\right)$

公式(4)和公式(5)中的V_x(p)和V_y(p)表示纹理响应幅度在图像X轴和Y轴上的投影；

步骤四、计算粒子的票数；

步骤五、调整粒子分布范围；

步骤六、建立消失点动态和观测模型；

步骤七、粒子滤波及消失点输出，具体过程为:

步骤七一、在初始帧，粒子{x₀ ^l}_l＝1...N均匀分布于整个图像中，然后通过步骤4的投票算法获取参考位置x₀，其中l表示粒子的索引；

步骤七二、状态转移：根据(15)式和先验分布p(x_k)建立样本集{x_k ^(l)}_l＝1...N；

步骤七三、样本的权值计算：根据以下公式计算样本{x^(l) _k}_l＝1...N的权值 $w_k^{\left(l\right)}=\exp [-\frac{1}{2{{\mathrm{\δ}}_{r,k-1}}^2}{|{\stackrel{\‾}{z}}_k-x_k^{\left(l\right)}|}^2]w_{k-1}^{\left(l\right)}---\left(17\right)$

并归一化 ${\tilde{w}}_k^{\left(l\right)}=w_k^{\left(l\right)}/\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{w}_k^{\left(l\right)};$

步骤七四、重采样：根据样本的权从样本集{x_k ^(l)}_l＝1...N中重新抽取N个样本此过程也称为粒子滤波；

步骤七五、令k＝k+1，返回步骤七二；

步骤八、输入下一帧图像，重复步骤一至步骤七。

本发明的有益效果是：

1、本发明结合置信度定义及单尺度4方向Gabor滤波器提取图像纹理信息，通过一个自定义的置信度及全局阈值来筛选投票像素，有效降低纹理提取过程的计算量，同时保证纹理方向具有足够的分辨率；

2、本发明提出的软投票算法克服了传统硬投票使得位于图像顶部的像素票数占优的问题；

3、本发明提出的粒子分布调控技术能够根据消失点得票情况与位移实时地调整粒子的分布范围，从而有效地跟踪消失点；

4、本发明提出的粒子投票算法在提高检测道路消失点准确度的同时，有效降低了投票算法的计算复杂度，本发明涉及的消失点检测算法实时性高，本发明用matlab语言编写的程序，单帧图像平均耗时0.027秒。

附图说明

图1为本发明方法流程图。

图2为消失点定位的基本步骤，(a)为原始图像，(b)为像素的纹理主方向([0,π]弧度映射为[0,255]亮度值)，(c)为粒子累加空间，(d)为粒子的分布情况与消失点定位。

图3为粒子投票算法示意图，其中(X,Y)为图像坐标系，h和w分别为图像X轴和Y方向的像素数，为投票像素p(x,y)和粒子v(i,j)的连线矢量，γ为连线矢量与Y轴正方向的夹角，d(p)为投票像素与粒子之间的距离，D(p)为投票像素p(x,y)沿连线矢量方向到图像边缘的距离。

图4为粒子调整过程的示意图，其中第一行至第六行分别为6种不同道路场景下的粒子分布情况，且每种道路场景之间相差20帧。

图5和图6是本发明和其他三种方法的比较结果:(a)为采用本发明所得的结果；(b-d)分别为采用C.Rasmussen,“Grouping dominant orientations for ill-structured road following,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,pp.470–477,2004；H.Kong,J.Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.Image Process.,vol.19,no.8,pp.2211-2220,2010；和P.Moghadam,J.A.Starzyk,and W.S.Wijesoma,“Fastvanishing-point detection in unstructured environments,”IEEE Trans.Image Process.Vol.21,no.1,pp.425–430,2012所得的结果。图中圆点代表用消失点检测算法得到的结果，方点代表人工标注的消失点位置。

图7为本文算法与其它三种算法的误差直方图统计，图中横坐标表示采用算法检测得到的消失点P(x_p,y_p)与人工标注的消失点P₀(x₀,y₀)之间的归一化欧几里德距离误差(NormDist)，纵坐标表示对应的图像数量。

具体实施方式

具体实施方式一：本实施方式所述的一种基于视频图像的道路消失点检测方法，包括以下步骤：

步骤一、输入一帧图像数据I(x,y)，将其转换为灰度图像并进行快速傅里叶变换F{I(x,y)}，其中x和y分别为图像像素的X轴和Y轴坐标；

步骤二、基于Gabor滤波器的纹理响应幅度的计算；

步骤三、计算图像纹理主方向，具体过程为：

步骤三一、对纹理响应幅度进行降序排列，得到E₁、E₂、E₃、E₄,对应的Gabor滤波器角度分别为φ₁、φ₂、φ₃和φ₄；其中所用的Gabor滤波器尺度为s、方向为φ_i；

步骤三二、定义每个像素p(x,y)的自信度：conf(p)＝(E₁-E₄)/E₁，若自信度conf(p)大于预先定义的常数δ_c且最大纹理响应幅度E₁大于阈值δ_amp，则按照以下公式求取像素的纹理主方向

(a)若φ₁＝135°且φ₂＝0°,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1-E_2\left(p\right)\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1\end{array}\right.---\left(4\right)$

(b)其它情况,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1+E_2\left(p\right)\cos {\mathrm{\φ}}_2\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1+E_2\left(p\right)\sin {\mathrm{\φ}}_2\end{array}\right.---\left(5\right)$

$\widehat{\mathrm{\θ}}\left(p\right)={\tan }^{-1}(V_y\left(p\right)/V_x\left(p\right))---\left(6\right)$

公式(4)和公式(5)中的V_x(p)和V_y(p)表示纹理响应幅度在图像X轴和Y轴上的投影；

步骤四、计算粒子的票数；

步骤五、调整粒子分布范围；

步骤六、建立消失点动态和观测模型；

步骤七、粒子滤波及消失点输出，具体过程为:

步骤七一、在初始帧，粒子{x₀ ^l}_l＝1...N均匀分布于整个图像中，然后通过步骤4的投票算法获取参考位置x₀，其中l表示粒子的索引；

步骤七二、状态转移：根据(15)式和先验分布p(x_k)建立样本集{x_k ^(l)}_l＝1...N；

步骤七三、样本的权值计算：根据以下公式计算样本{x^(l) _k}_l＝1...N的权值 $w_k^{\left(l\right)}=\exp [-\frac{1}{2{{\mathrm{\δ}}_{r,k-1}}^2}{|{\stackrel{\‾}{z}}_k-x_k^{\left(l\right)}|}^2]w_{k-1}^{\left(l\right)}---\left(17\right)$

并归一化 ${\tilde{w}}_k^{\left(l\right)}=w_k^{\left(l\right)}/\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{w}_k^{\left(l\right)};$

步骤七四、重采样：根据样本的权从样本集{x_k ^(l)}_l＝1...N中重新抽取N个样本此过程也称为粒子滤波；

步骤七五、令k＝k+1，返回步骤七二；

步骤八、输入下一帧图像，重复步骤一至步骤七。结合图1理解本实施方式。

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤二所述的计算过程如下：

步骤二一、构建0°、45°、90°、135°四个方向的Gabor滤波器矩形模板，对矩形模板进行快速离散傅里叶变换，得到尺度为s、方向为φ_i的Gabor滤波器时域形式如下：

$g_{{s,\mathrm{\φ}}_i}(x,y)=\frac{\mathrm{\ω}}{\sqrt{2\mathrm{\π}}c}{e}^{-{\mathrm{\ω}}^2({4a}^2+b^2)/{8c}^2}(e^{\mathrm{iaw}}-e^{{-c}^2/2})---\left(1\right)$

其中，a＝xcosφ_i+ysinφ_i，b＝-xsinφ_i+ycosφ_i，ω＝2π/λ，φ_i＝1,...,4∈[0°,45°,90°,135°]，常数c和空域频率λ的大小与图像的尺寸有关；只采用四个方向的Gabor滤波器提取交通视频图像中的纹理信息可以较大幅度地降低计算的复杂度。

步骤二二、图像四个方向的纹理信息通过公式(2)得到

$I_{{s,\mathrm{\φ}}_i}(x,y)=F^{-1}\left\{F\right\{I(x,y)\}\·F\{g_{s,{\mathrm{\φ}}_i}(x,y)\left\}\right\}---\left(2\right)$

步骤二三、利用实部(Re)和虚部(Im)计算纹理的响应幅度

$E_{{s,\mathrm{\φ}}_i}=\sqrt{{\mathrm{Re}}^2\left\{I_{s,{\mathrm{\φ}}_i}(x,y)\right\}+{\mathrm{Im}}^2\left\{I_{s,{\mathrm{\φ}}_i}(x,y)\right\}}---\left(3\right).$ 其它步骤与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤四所述的计算粒子的票数过程为：

步骤四一、计算像素p(x,y)和粒子v(i,j)之间的欧几里德距离d并进行归一化，在此基础上，构建距离函数过程如下：

$d=\sqrt{{(x-i)}^2+{(y-j)}^2}---\left(7\right)$

$D\left(p\right)=\left\{\begin{array}{cc}L\left(p\right)& L\left(p\right)\sin \left(\mathrm{\γ}\right)\≤x\\ x/\sin \left(\mathrm{\γ}\right)& L\left(p\right)\sin \left(\mathrm{\γ}\right)>x\end{array}\right.---\left(9\right)$

$\hat{d}\left(p\right)=d\left(p\right)/D\left(p\right)---\left(10\right)$

$y_{\hat{d}}=\exp (-\hat{d}\left(p\right)/2{\mathrm{\σ}}^2)---\left(11\right)$

公式(7)中的(i,j)为粒子v(i,j)的X轴和Y轴坐标；公式(8)中的L(p)为中间变量，w为图像Y轴方向的像素数，γ为投票像素p和粒子v(i,j)的连线矢量与Y轴正方向的夹角；位于公式(9)中的D(p)为投票像素p(x,y)沿连线矢量方向到图像边缘的距离；公式(10)中的为归一化后的欧几里德距离；公式(11)中的σ为通过实验预先设定的常数；采用上述软投票算法的目的在于克服传统硬投票使得位于图像上部的像素存在票数占优的问题。

步骤四二、将所有粒子的累加空间初始化为0，当获得像素的纹理主方向后，若像素p(x,y)的连线矢量和像素p(x,y)的纹理主方向所形成的夹角α小于阈值δ_α，则像素p(x,y)对位于其上部的粒子进行投票，票数Votes(i,j)为和的乘积，乘以sin(α)的原因是道路消失点主要是在车辆的前方，最后票数最多的像素(称为原始消失点)所对应的坐标即为z_k，具体算法如下所示：

$\mathrm{Votes}(i,j)=\left\{\begin{array}{cc}{y}_{\hat{d}}\sin \left(\widehat{\mathrm{\θ}}\left(p\right)\right)& \mathrm{\α}\≤{\mathrm{\δ}}_{\mathrm{\α}}\\ 0& \mathrm{\α}>{\mathrm{\δ}}_{\mathrm{\α}}\end{array}\right.---\left(12\right).$ 其它步骤与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：步骤五所述的调整粒子分布范围过程为：

步骤五一、计算步骤4得到的原始消失点的峰度：

$\mathrm{KL}\left(\frac{g}{q}\right)=\frac{1}{\sqrt{{\left|\right|{\mathrm{\δ}}_{q,k-1}\left|\right|}_1}}\·\underset{x\∈{\left\{{\tilde{x}}_{k-1}^{\left(i\right)}\right\}}_{i=1...N}}{\mathrm{\Σ}}g\left(x\right)\ln \left(\frac{g\left(x\right)}{q\left(x\right)}\right)---\left(13\right)$

其中δ_q,k-1为k-1时刻系统噪声的方差，其值通过公式(14)确定；x指粒子集{x^(l) _k}_l＝1...N中的某一个粒子，g(x)为粒子v(i,j)的票数，为N个粒子票数的平均值，粒子的个数N为常数，对于票数完全相同的两组样本，粒子的分布范围越宽，KL(g/q)值越小，反之则亦然；

步骤五二、根据峰度值和m帧图像位移的平均值调整系统噪声和测量噪声的方差：

${\mathrm{\δ}}_{q,k}={\mathrm{\δ}}_{r,k}=\max (\min (\left(a_1\right|{\stackrel{\‾}{z}}_{k-1}-{\stackrel{\‾}{z}}_{k-2}|+a_2{b_1}^n{I}_{2\×1}){\mathrm{\δ}}_0,{\mathrm{\δ}}_{\max }),{\mathrm{\δ}}_{\min })---\left(14\right)$

其中a₁，a₂，b₁,δ₀,δ_min,δ_max为常数，I_2×1为单位阵，n为图像值小于阈值△_KL的连续帧数，为m帧图像消失点位移的平均值。可见，当峰值较小或消失点的位移较大时，粒子的分布范围将逐渐扩大。其它步骤与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：步骤六所述的建立消失点动态和观测模型过程为：

步骤六一、消失点的一阶马尔科夫模型为：

x_k＝x_k-1+q_k-1   (15)

其中，x_k＝[x,y]^T为k时刻消失点的坐标，q_k-1为系统噪声，且假设满足正太分布N(0,δ_q,k-1)；从公式(15)可见，消失点k时刻的位置只与前一时刻的位置有关。

步骤六二、消失点的位置观测方程为：

$z_k=-\underset{l=k-m+1}{\overset{k-1}{\mathrm{\Σ}}}{z}_l+m(x_k+r_{k-1})---\left(16\right)$

其中r_k-1为测量系统的噪声,同样假设r_k-1满足N(0,δ_r,k-1)分布。实际应用中，z_k由本发明步骤四的投票算法获得。其它步骤与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：步骤七四所述的重采样的具体过程为：

步骤七四一、计算样本集的累加权值其中c_k ⁽⁰⁾＝0，l表示累加操作的次数，且对所有的l满足c_k ^(l)≥c_k ^(l-1)；

步骤七四二、产生[0,1]上均匀分布的随机数u；

步骤七四三、在样本集{x_k ^(l)}_l＝1...N中搜索使c_k ^(l)≥u的最小l,并令

其中，表示重新抽取后的第l个样本，x_k ^(l)为样本集{x_k ^(l)}_l＝1...N中第l个样本；

步骤七四四、最后得k时刻的消失点估计：

$x_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{x}}_{k-1}^{\left(i\right)}---\left(18\right)$

将N个粒子的均值而非票数最多的粒子所对应的位置作为消失点的输出。有利于降低噪声的影响。其它步骤与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：步骤一中在将输入图像数据I(x,y)转换为灰度图像并进行快速傅里叶变换F{I(x,y)}之前，用高斯金字塔向下对输入视频图像序列进行采样，其中x和y分别为图像像素的X轴和Y轴的坐标。其它步骤与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：步骤四进一步包括去除k-1时刻步骤七重采样算法所产出的重复粒子，具体为：首先将样本值向下取整，然后从取整后的样本中查找所有取值完全相同的两个或多个样本，并将重复的样本去除，最后得到的样本完全互不相同。其它步骤与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：步骤二一中对于分辨率为61×81的图像，c和λ分别取π/2和其它步骤与具体实施方式一至八之一相同。

本发明的效果验证：

本发明和其他三种方法的比较结果如图5和图6:(a)为采用本发明所得的结果；(b-d)分别为采用C.Rasmussen,“Grouping dominant orientations for ill-structured road following,”in Proc.IEEE Conf.Comput.Vis.Pattern Recog.,pp.470–477,2004；H.Kong,J.Y.Audibert,and J.Ponce,“General road detection from a single image,”IEEE Trans.Image Process.,vol.19,no.8,pp.2211-2220,2010；和P.Moghadam,J.A.Starzyk,and W.S.Wijesoma,“Fastvanishing-point detection in unstructured environments,”IEEE Trans.Image Process.Vol.21,no.1,pp.425–430,2012所得的结果。图中圆点代表用消失点检测算法得到的结果，方点代表人工标注的消失点位置。

图7为本文算法与其它三种算法的误差直方图统计，图中横坐标表示采用算法检测得到的消失点P(x_p,y_p)与人工标注的消失点P₀(x₀,y₀)之间的归一化欧几里德距离误差(NormDist)，计算公式为： $\mathrm{NormDist}=\frac{\left|\right|P(x_p,y_p)-P_0(x_0,y_0)\left|\right|}{\mathrm{Diag\; Image}},$ 式中“Diag Image”为图像对角线方向的像素数；纵坐标表示对应的图像数量。

表1列举了本发明与其它三种算法分别采用matlab实现后每一帧图像的平均运行速度。

表1

方法	Rasmussen	Kong et al.	Moghadam	本发明
					运行时间(s)	7.14	3.67	7.39	0.027

Claims (9)

1.一种基于视频图像的道路消失点检测方法，所述方法包括以下步骤：

步骤一、输入一帧图像数据I(x,y)，将其转换为灰度图像并进行快速傅里叶变换F{I(x,y)}，其中x和y分别为图像像素的X轴和Y轴坐标；

步骤二、基于Gabor滤波器的纹理响应幅度的计算；

步骤三、计算图像纹理主方向，具体过程为：

步骤三一、对纹理响应幅度进行降序排列，得到E₁、E₂、E₃、E₄,对应的Gabor滤波器角度分别为φ₁、φ₂、φ₃和φ₄；其中所用的Gabor滤波器尺度为s、方向为φ_i；

步骤三二、定义每个像素p(x,y)的自信度：conf(p)＝(E₁-E₄)/E₁，若自信度conf(p)大于预先定义的常数δ_c且最大纹理响应幅度E₁大于阈值δ_amp，则按照以下公式求取像素的纹理主方向

(a)若φ₁＝135°且φ₂＝0°,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1-E_2\left(p\right)\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1\end{array}\right.---\left(4\right)$

(b)其它情况,

$\left\{\begin{array}{c}{V}_x\left(p\right)=E_1\left(p\right)\cos {\mathrm{\φ}}_1+E_2\left(p\right)\cos {\mathrm{\φ}}_2\\ V_y\left(p\right)=E_1\left(p\right)\sin {\mathrm{\φ}}_1+E_2\left(p\right)\sin {\mathrm{\φ}}_2\end{array}\right.---\left(5\right)$

$\widehat{\mathrm{\θ}}\left(p\right)={\tan }^{-1}(V_y\left(p\right)/V_x\left(p\right))---\left(6\right)$

公式(4)和公式(5)中的V_x(p)和V_y(p)表示纹理响应幅度在图像X轴和Y轴上的投影；

步骤四、计算粒子的票数；

步骤五、调整粒子分布范围；

步骤六、建立消失点动态和观测模型；

步骤七、粒子滤波及消失点输出，具体过程为:

步骤七一、在初始帧，粒子{x₀ ^l}_l＝1...N均匀分布于整个图像中，然后通过步骤4的投票算法获取参考位置x₀，其中l表示粒子的索引；

步骤七二、状态转移：根据(15)式和先验分布p(x_k)建立样本集{x_k ^(l)}_l＝1...N；

步骤七三、样本的权值计算：根据以下公式计算样本{x^(l) _k}_l＝1...N的权值 $w_k^{\left(l\right)}=\exp [-\frac{1}{2{{\mathrm{\δ}}_{r,k-1}}^2}{|{\stackrel{\‾}{z}}_k-x_k^{\left(l\right)}|}^2]w_{k-1}^{\left(l\right)}---\left(17\right)$

并归一化 ${\tilde{w}}_k^{\left(l\right)}=w_k^{\left(l\right)}/\underset{l=1}{\overset{N}{\mathrm{\Σ}}}{w}_k^{\left(l\right)};$

步骤七四、重采样：根据样本的权从样本集{x_k ^(l)}_l＝1...N中重新抽取N个样本此过程也称为粒子滤波；

步骤七五、令k＝k+1，返回步骤七二；

步骤八、输入下一帧图像，重复步骤一至步骤七。

2.根据权利要求1所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤二所述的计算过程如下：

步骤二一、构建0°、45°、90°、135°四个方向的Gabor滤波器矩形模板，对矩形模板进行快速离散傅里叶变换，得到尺度为s、方向为φ_i的Gabor滤波器时域形式如下：

$g_{{s,\mathrm{\φ}}_i}(x,y)=\frac{\mathrm{\ω}}{\sqrt{2\mathrm{\π}}c}{e}^{-{\mathrm{\ω}}^2({4a}^2+b^2)/{8c}^2}(e^{\mathrm{iaw}}-e^{{-c}^2/2})---\left(1\right)$

其中，a＝xcosφ_i+ysinφ_i，b＝-xsinφ_i+ycosφ_i，ω＝2π/λ，φ_i＝1,...,4∈[0°,45°,90°,135°]，常数c和空域频率λ的大小与图像的尺寸有关；

步骤二二、图像四个方向的纹理信息通过公式(2)得到

$I_{{s,\mathrm{\φ}}_i}(x,y)=F^{-1}\left\{F\right\{I(x,y)\}\·F\{g_{s,{\mathrm{\φ}}_i}(x,y)\left\}\right\}---\left(2\right)$

步骤二三、利用实部(Re)和虚部(Im)计算纹理的响应幅度

$E_{{s,\mathrm{\φ}}_i}=\sqrt{{\mathrm{Re}}^2\left\{I_{s,{\mathrm{\φ}}_i}(x,y)\right\}+{\mathrm{Im}}^2\left\{I_{s,{\mathrm{\φ}}_i}(x,y)\right\}}---\left(3\right).$

3.根据权利要求2所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤四所述的计算粒子的票数过程为：

步骤四一、计算像素p(x,y)和粒子v(i,j)之间的欧几里德距离d并进行归一化，在此基础上，构建距离函数过程如下：

$d=\sqrt{{(x-i)}^2+{(y-j)}^2}---\left(7\right)$

$D\left(p\right)=\left\{\begin{array}{cc}L\left(p\right)& L\left(p\right)\sin \left(\mathrm{\γ}\right)\≤x\\ x/\sin \left(\mathrm{\γ}\right)& L\left(p\right)\sin \left(\mathrm{\γ}\right)>x\end{array}\right.---\left(9\right)$

$\hat{d}\left(p\right)=d\left(p\right)/D\left(p\right)---\left(10\right)$

$y_{\hat{d}}=\exp (-\hat{d}\left(p\right)/2{\mathrm{\σ}}^2)---\left(11\right)$

公式(7)中的(i,j)为粒子v(i,j)的X轴和Y轴坐标；公式(8)中的L(p)为中间变量，w为图像Y轴方向的像素数，γ为投票像素p和粒子v(i,j)的连线矢量与Y轴正方向的夹角；位于公式(9)中的D(p)为投票像素p(x,y)沿连线矢量方向到图像边缘的距离；公式(10)中的为归一化后的欧几里德距离；公式(11)中的σ为通过实验预先设定的常数；

步骤四二、将所有粒子的累加空间初始化为0，当获得像素的纹理主方向后，若像素p(x,y)的连线矢量和像素p(x,y)的纹理主方向所形成的夹角α小于阈值δ_α，则像素p(x,y)对位于其上部的粒子进行投票，票数Votes(i,j)为和的乘积，乘以sin(α)的原因是道路消失点主要是在车辆的前方，最后票数最多的像素所对应的坐标即为z_k，具体算法如下所示：

$\mathrm{Votes}(i,j)=\left\{\begin{array}{cc}{y}_{\hat{d}}\sin \left(\widehat{\mathrm{\θ}}\left(p\right)\right)& \mathrm{\α}\≤{\mathrm{\δ}}_{\mathrm{\α}}\\ 0& \mathrm{\α}>{\mathrm{\δ}}_{\mathrm{\α}}\end{array}\right.---\left(12\right).$

4.根据权利要求3所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤五所述的调整粒子分布范围过程为：

步骤五一、计算步骤4得到的原始消失点的峰度：

$\mathrm{KL}\left(\frac{g}{q}\right)=\frac{1}{\sqrt{{\left|\right|{\mathrm{\δ}}_{q,k-1}\left|\right|}_1}}\·\underset{x\∈{\left\{{\tilde{x}}_{k-1}^{\left(i\right)}\right\}}_{i=1...N}}{\mathrm{\Σ}}g\left(x\right)\ln \left(\frac{g\left(x\right)}{q\left(x\right)}\right)---\left(13\right)$

其中δ_q,k-1为k-1时刻系统噪声的方差，其值通过公式(14)确定；x指粒子集{x^(l) _k}_l＝1...N中的某一个粒子，g(x)为粒子v(i,j)的票数，为N个粒子票数的平均值，粒子的个数N为常数，对于票数完全相同的两组样本，粒子的分布范围越宽，KL(g/q)值越小，反之则亦然；

步骤五二、根据峰度值和m帧图像位移的平均值调整系统噪声和测量噪声的方差：

${\mathrm{\δ}}_{q,k}={\mathrm{\δ}}_{r,k}=\max (\min (\left(a_1\right|{\stackrel{\‾}{z}}_{k-1}-{\stackrel{\‾}{z}}_{k-2}|+a_2{b_1}^n{I}_{2\×1}){\mathrm{\δ}}_0,{\mathrm{\δ}}_{\max }),{\mathrm{\δ}}_{\min })---\left(14\right)$

其中a₁，a₂，b₁,δ₀,δ_min,δ_max为常数，I_2×1为单位阵，n为图像值小于阈值△_KL的连续帧数，为m帧图像消失点位移的平均值。

5.根据权利要求4所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤六所述的建立消失点动态和观测模型过程为：

步骤六一、消失点的一阶马尔科夫模型为：

x_k＝x_k-1+q_k-1   (15)

其中，x_k＝[x,y]^T为k时刻消失点的坐标，q_k-1为系统噪声，且假设满足正太分布N(0,δ_q,k-1)；

步骤六二、消失点的位置观测方程为：

$z_k=-\underset{l=k-m+1}{\overset{k-1}{\mathrm{\Σ}}}{z}_l+m(x_k+r_{k-1})---\left(16\right)$

其中r_k-1为测量系统的噪声,同样假设r_k-1满足N(0,δ_r,k-1)分布。

6.根据权利要求5所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤七四所述的重采样的具体过程为：

步骤七四一、计算样本集的累加权值其中c_k ⁽⁰⁾＝0，l表示累加操作的次数，且对所有的l满足c_k ^(l)≥c_k ^(l-1)；

步骤七四二、产生[0,1]上均匀分布的随机数u；

步骤七四三、在样本集{x_k ^(l)}_l＝1...N中搜索使c_k ^(l)≥u的最小l,并令

其中，表示重新抽取后的第l个样本，x_k ^(l)为样本集{x_k ^(l)}_l＝1...N中第l个样本；

步骤七四四、最后得k时刻的消失点估计：

$x_k=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{x}}_{k-1}^{\left(i\right)}---\left(18\right)$

将N个粒子的均值而非票数最多的粒子所对应的位置作为消失点的输出。

7.根据权利要求6所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤一中在将输入图像数据I(x,y)转换为灰度图像并进行快速傅里叶变换F{I(x,y)}之前，用高斯金字塔向下对输入视频图像序列进行采样，其中x和y分别为图像像素的X轴和Y轴的坐标。

8.根据权利要求7所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤四进一步包括去除k-1时刻步骤七重采样算法所产出的重复粒子，具体为：首先将样本值向下取整，然后从取整后的样本中查找所有取值完全相同的两个或多个样本，并将重复的样本去除，最后得到的样本完全互不相同。

9.根据权利要求8所述的一种基于视频图像的道路消失点检测方法，其特征在于步骤二一中对于分辨率为61×81的图像，c和λ分别取π/2和