CN102398598B - 使用前视和后视摄像机的车道融合系统 - Google Patents

Abstract

本发明涉及使用前视和后视摄像机的车道融合系统，具体地，根据本发明的教导，公开了一种用于计算车道曲率和相对于车道边界的主车辆位置和方位的方法和系统，其使用来自前视和后视摄像机的图像数据和车辆动态传感器作为输入。主车辆包括位于前面和后面处的摄像机，其目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括车辆动态传感器，其包括车速和横摆率。开发了一种方法，其计算车道曲率和相对于车道参考路线的主车辆位置，其中车道参考路线是由从前和后摄像机图像的融合所提取的车道边界得到的。本发明中提供的数学模型包括卡尔曼过滤追踪例程和粒子过滤器追踪例程。

Description

使用前视和后视摄像机的车道融合系统

技术领域

本发明总的来说涉及一种用于车辆的车道位置方法和系统，更具体地，涉及一种用于主车辆的车道位置方法和系统，其使用来自前视和后视摄像机的图像数据、来自车辆动态传感器的数据的融合来计算车道参数，包括车道曲率和相对于车道参考路线的主车辆位置以及方位。

背景技术

许多现代车辆包括用于各种目的的车载摄像机。一个普遍应用是前视摄像机，其可以提供图像以用在防撞系统、车道偏离警告系统、侧向控制系统、或者这些或其它系统的组合中。然而，可能出现阻止从前视摄像机获得良好的图像的情况。这些情况包括在近距离处的阻挡大部分摄像机视野的领先车辆、以及使摄像机图像模糊的低能见度天气情况，例如雨和雾。在这些情况下，当不能从前视摄像机获取可用的图像时，依赖于摄像机的图像作为输入的系统不能运行。

同时，许多较新的车辆还装备有后视摄像机，其通常仅用作备用辅助设备，例如为驾驶员提供视频图像以便看见车后(情况)。虽然这些后视摄像机一般具有比用于其它图像数据采集目的更充足的分辨率和视野，但是直到现在它们还没有被用来为车道位置和侧向控制应用补充来自前视摄像机的图像。

这就有机会使用来自后视摄像机的可用的图像数据，并将其与来自前视摄像机和其它传感器的图像数据结合，来提供更加稳健的侧向传感系统。得到的双摄像机系统不仅在正常情况下充分利用更多的输入数据，而且当情况不利于前视成像时提供可用的图像数据源以允许系统的运行。

发明内容

根据本发明的教导，公开了一种用于计算车道曲率和相对于车道边界的主车辆位置和方位的方法和系统，其使用来自前视和后视摄像机的图像数据、和车辆动态传感器作为输入。主车辆包括位于前面和后面处的摄像机，其目的之一是可以用于检测车道边界例如路边和车道线。主车辆还包括车辆动态传感器，其包括车速和横摆率。开发了这样的方法，其计算车道曲率和相对于车道参考路线的主车辆位置，其中车道参考路线是由从前和后摄像机图像的融合所提取的车道边界得到的。本发明中提供的数学模型包括卡尔曼过滤追踪例程和粒子过滤器追踪例程。

从下边的描述和随附权利要求并结合附图，本发明的额外特征是显而易见的。

本发明还提供以下方案：

1.一种用于确定车道中车辆位置的方法，所述方法包括：

提供来自车辆车载的前视摄像机模块的数据；

提供来自车辆车载的后视摄像机模块的数据；

提供来自车辆车载的车辆动态传感器的数据；和

将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合成组合的车道几何信息集以确定车道中车辆的位置。

2.根据方案1的方法，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。

3.根据方案1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前面的成熟的车道感测系统的前面的车道几何信息，而提供来自后视摄像机模块的数据包括提供来自后面的成熟的车道传感系统的后面的车道几何信息。

4.根据方案3的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和前视摄像机模块和后视摄像机模块的未对准角度。

5.根据方案1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前摄像机的前图像数据，提供来自后视摄像机模块的数据包括提供来自后摄像机的后图像数据。

6.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括寻找前向图像数据和后向图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

7.根据方案6的方法，其中，寻找前向图像数据和后向图像数据中的高密度像素包括使用高斯金字塔例程，其中在不同的空间尺度处的二进制图像彼此相减。

8.根据方案6的方法，其中，将所述高密度像素投影在车辆坐标框架中包括使用迭代程序以移除径向和切向变形，和旋转和平移变换程序，以在车辆坐标框架中生成多个高密度像素。

9.根据方案6的方法，其中，从高密度像素中检测路缘和车道线包括使用相似图和深度优先搜索例程，其将相邻的高密度像素聚类成线。

10.根据方案9的方法，其中，从高密度像素中检测路缘和车道线还包括使用最小二乘例程使线与线段或弧相适配。

11.根据方案6的方法，其中，将所述路缘和车道线连接成车道包括使用应用于路缘和车道线的最小二乘例程寻找车道的曲率中心。

12.根据方案11的方法，其中，追踪车道几何信息包括使用直方图例程计算到左车道边界和右车道边界的位移，并且使用曲率中心计算车道曲率和相对于车道切线的车辆方位。

13.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器。

14.根据方案5的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用粒子滤波器。

15.一种用于确定车道中车辆位置的方法，所述方法包括：

提供来自车辆车载的前视摄像机的图像数据；

提供来自车辆车载的后视摄像机的图像数据；和

将来自前视摄像机和后视摄像机的图像数据融合成组合的车道几何信息集以确定车道中车辆的位置。

16.根据方案15的方法，其中，将来自前视摄像机和后视摄像机的数据融合包括寻找图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

17.根据方案15的方法，，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。

18.一种用于确定车道中车辆位置的系统，所述系统包括：

第一摄像机，用于捕获来自车辆的前视的图像；

第二摄像机，用于捕获来自车辆的后视的图像；和

处理器，其配置为接收来自第一摄像机和第二摄像机的图像，并使用来自第一摄像机和第二摄像机的图像的融合来计算车道几何信息。

19.根据方案18的系统，其中，处理器寻找；来自第一摄像机和第二摄像机中的图像中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从所述高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

20.根据方案18的系统，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、以及到左车道边界和右车道边界的位移。

附图说明

图1是使用前和后摄像机及其它输入源的车辆侧向控制系统的框图；

图2是主车辆的侧向控制的双轮车模型的示图；

图3是显示了侧向控制模型的多种关键参数的主车辆的示图；

图4是示出如何实施车辆侧向控制模型的控制框图；

图5是使用双摄像机车道融合方法的车辆侧向控制的系统框图；

图6是使用来自双摄像机的输入的车道融合系统的第一实施例的框图；

图7是使用来自双摄像机的输入的车道融合系统的第二实施例的框图；

图8是示出对于已经检测到若干短线和一条长弧的场景的车道线表达的示例的示图；

图9是示出了如何计算主车辆相对于车道边界的位移的直方图；

图10是用在图7的车道追踪模块中的卡尔曼滤波器追踪方法的流程图；以及

图11是用在图7的车道追踪模块中的粒子滤波器追踪方法的流程图。

具体实施方式

下面关于使用前视和后视摄像机的车道融合系统的本发明实施方式的讨论实质上仅仅是示例性的，其决不是为了限制本发明或其应用或使用。

许多现代车辆包括前视摄像机，和在应用例如车道偏离警告和侧向控制辅助中使用来自前视摄像机的图像数据的系统。然而，来自前视摄像机的图像可能被领先车辆妨碍，或者被阳光、雾、雨、或雪遮蔽，其降低了依赖于图像的应用的可靠性。假定增加可用的后视摄像机，所述后视摄像机经常主要用作备用辅助设备，则使用后视摄像机图像数据作为前视摄像机图像数据的补充是很有意义的。与GPS和数字地图数据、车辆动态传感器、和基于雷达的或能够检测道路上主车辆前边的车辆的其它系统一起，前视和后视摄像机图像能够使用在高级应用中以提高安全和车辆控制。

在一种方法中，数据源直接用在车辆侧向控制应用中。图1是通过使用前视和后视摄像机和其它数据源用于车辆的侧向控制的系统10的框图。如下面将要讨论的，系统10使用来自前视摄像机12和后视摄像机14的图像数据。领先车辆位置系统16，其可以是长距离雷达(LRR)或其它类型的系统，追踪领先车辆的位置，以便估计道路的路线。来自基于GPS的导航系统或数字地图18的道路曲率信息为系统10提供了另一个数据源。来自前视摄像机12、后视摄像机14、领先车辆位置系统16和数字地图18的输入都由车辆侧向控制模块20使用，该控制模块20的运行将在下面详细讨论。

图2是用于车辆侧向控制的双轮车(bicycle)模型30的示图，其通过在车辆的中心线处将每个车轴的两个轮子并成一个轮得到。图3是控制模型40的示图，控制模型40向双轮车模型30增加更多细节。在图2和图3中相同的部件和尺度共用相同的参考标记，这将一起讨论。下面的表提供了图2和3中所示出的部件和尺度的索引，包括其参考标记和描述。

主车辆50是双轮车模型30和控制模型40的对象，其在车辆侧向控制模块20中使用。主车辆50在双轮车模型30中由前轮胎52、轮轮胎54和重心点56表示。主车辆50被假定装备有横摆率传感器(未示出)和对于获知其纵向和侧向速度必要的其它传感器。

假定车道参考路线60是具有曲率κ的环状车道路线的中心线，其由数字地图18估算得出。对于在双轮车模型30内所考虑的增进的侧向控制系统，主车辆50与车道参考路线60的侧向位移分别通过前视摄像机12和后视摄像机14测量为前侧向位移Δy_F和尾部侧向位移Δy_T。所述位移测量值通过在重心点56前的纵向距离d_F和重心点56后的距离d_T处的摄像机获得。距离d_F和d_T是时间变量，并且依赖于由摄像机12和14检测到的车道标记的质量、领先和跟随车辆的遮断和照明条件。

主车辆50上的领先车辆位置系统16可以检测领先目标车辆80，并提供其纵向距离X_O，侧向距离Y_O，和航向角θ_O。只有主车辆50前紧邻的并且在距离阈值(例如50m)内的车辆被认为是领先目标车辆80。双轮车模型30中的其它车辆参数分别是前桥和后桥与重心点56的距离l_F和l_T。三个主车辆状态变量还被示出为：车辆侧向速度v_yH，车辆纵向速度v_xH，和车辆横摆率ω_H。前轮转向角δ_F是由侧向控制系统20控制的自动转向系统的输入。

车辆路线100描述了主车辆50当前跟随的路线，行驶线路102表示通过主车辆50的中心线的直线。距离α_O是在前向距离X_O处行驶线路102与车辆路线100之间的侧向偏移。距离ε_O是在前向距离X_O处车辆路线100与车道参考路线60之间的侧向偏移。距离α_F是在前向距离d_F处行驶线路102与车辆路线100之间的侧向偏移。距离ε_F是在前向距离d_F处车辆路线100与车道参考路线60之间的侧向偏移。距离α_T是在后向距离d_T处行驶线路102与车辆路线100之间的侧向偏移。距离ε_T是在后向距离d_T处车辆路线100与车道参考路线60之间的侧向偏移。

在前向距离d_F处相对于车道参考路线切线的车辆方位，由角度θ_F表示，而在后向距离d_T处相对于车道参考路线切线的车辆方位，由角度θ_T表示。

除了双轮车模型30和控制模型40中示出的元素和尺度外，还必须定义下面的符号：m＝主车辆50的总质量；I_ω＝主车辆50绕重心点56的总惯性；l＝前桥与后桥之间的距离，(l＝l_F+l_T)；和c_F，c_T＝分别是前轮胎52和后轮胎4的转弯刚度。

侧向车辆动态的线性化的双轮车状态空间模型可以写为：

$\left[\begin{array}{c}{\stackrel{\·}{v}}_{\mathrm{yH}}\\ {\stackrel{\·}{\mathrm{\ω}}}_H\end{array}\right]=\left[\begin{array}{cc}-\frac{c_F+c_T}{{\mathrm{mv}}_{\mathrm{xH}}}& \frac{c_T{l}_T-c_F{l}_F}{{\mathrm{mv}}_{\mathrm{xH}}}-v_{\mathrm{xH}}\\ \frac{-l_F{c}_F+l_T{c}_T}{I_{\mathrm{\ω}}{v}_{\mathrm{xH}}}& -\frac{l_F^2{c}_F+l_T^2{c}_T}{I_{\mathrm{\ω}}{v}_{\mathrm{xH}}}\end{array}\right]\left[\begin{array}{c}{v}_{\mathrm{yH}}\\ {\mathrm{\ω}}_H\end{array}\right]+\left[\begin{array}{c}\frac{c_F}{m}\\ \frac{l_F{c}_F}{I_{\mathrm{\ω}}}\end{array}\right]{\mathrm{\δ}}_F---\left(1\right)$

捕获由于主车辆50的运动造成的前视摄像机测量值的变化和道路几何图形的改变的状态空间方程式是：

$\mathrm{\Δ}{\stackrel{\·}{y}}_F=v_{\mathrm{xH}}{\mathrm{\θ}}_F-v_{\mathrm{yH}}-{\mathrm{\ω}}_H{d}_F---\left(2\right)$

${\stackrel{\·}{\mathrm{\θ}}}_F=v_{\mathrm{xH}}\mathrm{\κ}-{\mathrm{\ω}}_H---\left(3\right)$

类似地，捕获由于主车辆50的运动造成的后视摄像机测量值的变化和道路几何图形的改变的状态空间方程式是：

$\mathrm{\Δ}{\stackrel{\·}{y}}_T=v_{\mathrm{xH}}{\mathrm{\θ}}_T-v_{\mathrm{yH}}+{\mathrm{\ω}}_H{d}_T---\left(4\right)$

${\stackrel{\·}{\mathrm{\θ}}}_T=v_{\mathrm{xH}}\mathrm{\κ}-{\mathrm{\ω}}_H---\left(5\right)$

假定领先目标车辆80跟随车道参考路线60的中心线，因此捕获由于主车辆50的运动造成的雷达测量值的变化和道路几何图形的改变的状态空间方程式是：

${\stackrel{\·}{Y}}_O=v_{\mathrm{xH}}{\mathrm{\θ}}_O-v_{\mathrm{yH}}-{\mathrm{\ω}}_H{X}_O---\left(6\right)$

${\stackrel{\·}{\mathrm{\θ}}}_O=v_{\mathrm{xH}}\mathrm{\κ}-{\mathrm{\ω}}_H---\left(7\right)$

方程式(1)-(7)中描述的车辆侧向动态、前摄像机动态、后摄像机动态、和领先目标车辆动态可以结合成以下形式的单个动态系统：

$\left[\begin{array}{c}{\stackrel{\·}{v}}_{\mathrm{yH}}\\ {\stackrel{\·}{\mathrm{\ω}}}_H\\ \mathrm{\Δ}{\stackrel{\·}{y}}_F\\ {\stackrel{\·}{\mathrm{\θ}}}_F\\ \mathrm{\Δ}{\stackrel{\·}{y}}_T\\ {\stackrel{\·}{\mathrm{\θ}}}_T\\ {\stackrel{\·}{Y}}_O\\ {\stackrel{\·}{\mathrm{\θ}}}_O\end{array}\right]\left[\begin{array}{cccccccc}-\frac{c_F+c_T}{{\mathrm{mv}}_{\mathrm{xH}}}& \frac{c_T{l}_T-c_F{l}_F}{{\mathrm{mv}}_{\mathrm{xH}}}-v_{\mathrm{xH}}& 0& 0& 0& 0& 0& 0\\ \frac{-l_F{c}_F+l_T{c}_T}{I_{\mathrm{\ω}}{v}_{\mathrm{xH}}}& -\frac{l_F^2{c}_F+l_T^2{c}_T}{I_{\mathrm{\ω}}{v}_{\mathrm{xH}}}& 0& 0& 0& 0& 0& 0\\ -1& -d_F& 0& v_{\mathrm{xH}}& 0& 0& 0& 0\\ 0& -1& 0& 0& 0& 0& 0& 0\\ -1& d_T& 0& 0& 0& v_{\mathrm{xH}}& 0& 0\\ 0& -1& 0& 0& 0& 0& 0& 0\\ -1& -X_O& 0& 0& 0& 0& 0& v_{\mathrm{xH}}\\ 0& -1& 0& 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{c}{v}_{\mathrm{yH}}\\ {\mathrm{\ω}}_H\\ \mathrm{\Δ}{y}_F\\ {\mathrm{\θ}}_F\\ \mathrm{\Δ}{y}_T\\ {\mathrm{\θ}}_T\\ Y_O\\ {\mathrm{\θ}}_O\end{array}\right]$

$+\left[\begin{array}{c}\frac{c_F}{m}\\ \frac{l_F{c}_F}{I_{\mathrm{\ω}}}\\ 0\\ 0\\ 0\\ 0\\ 0\\ 0\end{array}\right]{\mathrm{\δ}}_F+\begin{array}{c}\left[\begin{array}{c}0\\ 0\\ 0\\ v_{\mathrm{xH}}\mathrm{\κ}\\ 0\\ v_{\mathrm{xH}}\mathrm{\κ}\\ 0\\ v_{\mathrm{xH}}\mathrm{\κ}\end{array}\right]\end{array}$

或者简写为：

$\stackrel{\·}{x}=f\left(x\right)+g\left({\mathrm{\δ}}_F\right)---\left(8\right)$

使 $y={\left[\begin{array}{ccccccc}{\stackrel{\·}{\mathrm{\ω}}}_H& \mathrm{\Δ}{\stackrel{\·}{y}}_F& {\stackrel{\·}{\mathrm{\θ}}}_F& \mathrm{\Δ}{\stackrel{\·}{y}}_T& {\stackrel{\·}{\mathrm{\θ}}}_T& {\stackrel{\·}{Y}}_O& {\stackrel{\·}{\mathrm{\θ}}}_O\end{array}\right]}^T$ 表示通过横摆率传感器、前视摄像机12、后视摄像机14、和领先车辆位置系统16所观测到的动态系统的输出。该观测方程式可以写作y＝o(x)。

参考图3的车道参考路线60和车辆路线100，侧向控制模块20的目标是通过调整在距离d_F、d_T和X_O处车道参考路线60(即，Δy_F，Δy_T和Y_O)与车辆路线100(即，α_F，α_T和α_O)之间的侧向差来追踪道路，其中距离d_F，d_T和X_O是分别通过前视摄像机12、后视摄像机14和领先车辆位置系统16测量的。也就是，控制目标是最小化：

J＝w_Fε_F-w_Tε_T+w_Oε_O(9)

其中ε_F＝Δy_F-α_F，ε_T＝Δy_T-α_T和ε_O＝Y_O-α_O是标准化为正加权，使得w_F+w_T+w_O＝1。

那么方程式(9)可以写作：

J＝h(x)(10)

反馈线性化是在控制非线性系统中使用的普遍方法。该方法包括通过改变变量和合适的控制输入提出将非线性系统变形为等效的线性系统。对于双轮车模型30来说该技术的应用不是线性化因为双轮车模型30已经是线性的。但是该技术可以应用于使得双轮车模型30独立于主车辆的纵向速度v_xH。

通过使方程式(10)相对于时间微分2次来线性化方程式(8)和(10)所表示的系统所需的控制率如下：

${\mathrm{\δ}}_F=\frac{1}{L_g{L}_f^{2}h\left(x\right)}(-L_f^{2}h\left(x\right)+u)---\left(11\right)$

其中表示函数f的i阶李导数(Liederivative)。李导数评价一个矢量场随着另一个矢量场的流动的改变，如在数学领域所公知。

使用这个控制律得到形式为的二阶方程式。让z₁＝J。所得到的简化动态系统可以表示为：

${\stackrel{\·}{z}}_1=z_2---\left(12\right)$

${\stackrel{\·}{z}}_2=u$

使用下面的状态反馈控制律：

u＝-k₁z₁-k₂z₂(13)

所述二阶系统方程式(12)可以写作其中 $A=\left[\begin{array}{cc}0& 1\\ k_1& k_2\end{array}\right].$

因此，通过适当的选择k₁和k₂，可以设计出具有在左半开复平面中的特征矢量A的稳定的车道追踪系统。

如图1所示，数字地图18为侧向控制模块20提供输入，包括估算的车道曲率κ，其可以用作前馈控制策略的一部分。通过让 ${\left[\begin{array}{cccc}{\stackrel{\·}{v}}_{\mathrm{yH}}& {\stackrel{\·}{\mathrm{\ω}}}_H& \mathrm{\Δ}{\stackrel{\·}{y}}_F& {\stackrel{\·}{\mathrm{\θ}}}_F\end{array}\right]}^T=0,$ 追踪车道曲率κ的转向输入δ_fwd可以从方程式(1)-(3)计算为：

${\mathrm{\δ}}_{\mathrm{fwd}}=\mathrm{\κ}(l-\frac{(l_F{c}_F-l_T{c}_T)v_{\mathrm{xH}}^{2}m}{c_T{c}_{F}l})---\left(14\right)$

当进入和离开曲线时，该方程式(14)的前馈分量可以加入到方程式(11)和(13)中的上述所导出控制律中以改善主车辆50的瞬态性能。

图4是表示如何实现上面描述的车辆侧向控制策略的控制框图140。该控制方法内的步骤概述如下：

1)在方框142中，数字地图18提供线路152上的车道曲率κ的估算。

2)在方框144中，车辆动态传感器提供线路154上的车辆前向速度v_xH和横摆率ω_H测量值。

3)在方框146中，前视摄像机12提供线路156上的车道方位θ_F、侧向位移Δy_F、和纵向距离的测量值，其中纵向距离的测量值取为d_F。

4)在方框148中，后视摄像机14提供线路158上的车道方位θ_T、侧向位移Δy_T、和纵向距离的测量值，其中纵向距离的测量值取为d_T。

5)在方框150中，领先车辆位置系统16提供线路160上的领先目标车辆位置，即纵向偏移X_O，侧向偏移Y_O，和行驶方向θ_O。

6)线路152-160上的输入提供给方框170，其中前馈项δ_fwd如在方程式(14)中所计算。

7)在方框172中，反馈线性化项δ_F如在方程式(11)中所计算。

8)在求和连接点174，将前馈项δ_fwd和反馈线性化项δ_F加在一起，并送入方框176中的主车辆50中的转向致动器(电动转向，或其它类型系统)。

9)在方框178中，观测器模块以线路152-160上的数据和车辆的响应作为输入使用卡尔曼滤波器、使用方程式(8)和y＝o(x)来估算车辆的状态变量。

10)在方框180中，变量改变模块使用方程式(10)和(12)计算z₁和z₂。

11)在方框182中，使用方程式(12)计算反馈项u用于线性化的动态系统。

提供一些示例进一步解释上面所述的控制方法的运行。在最佳的情况下，可以使用来自三个外部传感器的测量值；也就是，来自后视摄像机14的后向车道边界信息、来自前视摄像机12的前向车道边界信息、和来自领先车辆位置系统16的领先车辆信息。在这样的情况下，方程式(9)内的加权参数被定义为与由相应的传感器返回的测量值的质量(即，信号噪声比，或者估算值的方差)成比例。例如，让前视摄像机12、后视摄像机14和领先车辆位置系统16的测量值方差分别是σ_F、σ_T和σ_O。那么相应的加权计算为：

$w_F={\mathrm{Ce}}^{-\frac{{\mathrm{\σ}}_F^2}{W}},w_T={\mathrm{Ce}}^{-\frac{{\mathrm{\σ}}_T^2}{W}},w_O={\mathrm{Ce}}^{-\frac{{\mathrm{\σ}}_O^2}{W}}---\left(15\right)$

其中C是标准化参数，使得W_F+W_T+W_O＝1，并且W是设计者选择的带宽参数。

在领先目标车辆80遮蔽前视摄像机12的视野使得较少或没有前视车道边界信息是可用的情况下，方程式(9)的加权参数将通过降低W_F的值(可能到0)和增加W_T和W_O的值进行调整。类似地，在没有合适的领先目标车辆80的情况下，W_O的值将设为0，W_F和W_T的值将增加。最后，在低角度太阳或者恶劣天气遮蔽来自前视摄像机12的图像使得没有前向车道边界信息是可用的情况下，方程(9)的加权参数将通过设置W_F的值为0、并且增加W_T和W_O的值进行调整。

使用上面描述的控制方法，可以实现稳健的车辆侧向控制系统。通过直接使用前和后摄像机图像作为输入，与其它道路曲率的指示器一起，侧向控制系统可以提供比不使用许多输入源的侧向控制系统更可靠和更稳定的性能。

车辆侧向控制的另一方法可以通过首先在数据融合模块内组合来自前视摄像机12和后视摄像机14的数据、然后使用来自侧向控制模块内融合模块的所得的车道曲率和位移信息来实现。

图5是用于使用双摄像机车道融合方法的车辆侧向控制的系统200的框图。与图1中所示的系统10相似，系统200使用来自前视摄像机12、后视摄像机14、领先车辆位置系统16、和数字地图18的数据。然而，与直接在侧向控制模块20中使用输入的系统10不同，系统200首先组合数据融合模块210内的输入。数据融合模块210的输出，包括道路曲率和相对于车道边界的车辆位移和方位，然后被提供给车辆侧向控制模块220。数据融合模块210的输出还被应用在侧向控制系统以外的应用中，例如车道偏离警告系统。

执行车道数据融合的两种方法将在下面讨论。在该讨论中，来自图2和3的多个变量和尺度将被参考。

具有车道偏离警告的传统车道信息系统通常包括前视摄像机12，其可以测量相对于前部处车道切线的车辆方位θ_F、在前保险杠处的前侧向位移Δy_F，以及车道曲率κ，其中距离d_F被定义为从重心点56到主车辆50的前保险杠的距离。除了提供备用辅助的功能外，后视摄像机14能提供额外的车道感测测量值；相对于后部处车道切线的车辆方位θ_T，在后保险杠处的后侧向位移Δy_T，其中距离d_T定义为从重心点56到主车辆50的后保险杠的距离。该两个额外的摄像机测量值，θ_T和Δy_T，在设计用于车道感测的稳健融合系统中是有价值的。在恶劣的天气和光线情况下它们特别有价值，例如前部低角度太阳，部分地雪覆盖的车道标记，由于雾引起的降低的可视度，等等，其中来自前视摄像机12的图像数量将减少。

图6是使用来自双摄像机的输入的车道融合系统240的第一实施例的框图。在系统240中，成熟的(full-fledged)前车道传感器系统242和完全成熟的后车道传感器系统244每个都包括摄像机和处理器，并且可以检测和追踪主车辆50的每一相应端处的车道边界。前车道传感器系统242和后车道传感器系统244向车道融合模块246提供其测量值，车道融合模块246计算增强的车道边界和方位信息。前车道传感器系统242以固定的采样率(例如10Hz)向融合模块246发送测量值θ_F、Δy_F和κ。后车道传感器系统244以同样的固定采样率发送测量值θ_F和Δy_T。前车道传感器系统242、后车道传感器系统244、和融合模块246通过可使用控制区域网络(CAN)或其它协议的串行网络248互连。

融合模块246获取来自前车道传感器系统242和后车道传感器系统244、车辆动态传感器250的输入，并输出增强的车道信息：相对于车道切线的车辆方位(θ)，前保险杠中心到车道边界的位移(Δy)，和车道曲率(κ)。如之前所提到的，车道信息可以由各种下游应用使用。

来自车辆动态传感器250的测量值包括车辆速度(v_H)和横摆率(ω_H)。那么下面的卡尔曼滤波器设计为融合来自前车道传感器系统242和后车道传感器系统244的信息。

使状态变量为其中κ，θ和Δy如上面所定义；和分别是前车道传感器系统242和后车道传感器系统244的方位角未对准值。

状态动态方程式写作：

κ′＝κ+v_κ

θ′＝θ-ω_HΔT+κv_HΔT+v_θ

Δy′＝Δy+v_HΔTθ+v_Δy(16)

或者简写为：

s′＝Fs+u+Gv(17)

其中v＝(v_κ，v_θ，v_Δy)^T表示零平均值高斯白噪声矢量，其对状态动态模型的不确定性进行建模； $F=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ v_H\mathrm{\ΔT}& 1& 0& 0& 0\\ 0& v_H\mathrm{\ΔT}& 1& 0& 0\\ 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 1\end{array}\right],$ u＝[0-ω_HΔT000]^T，和 $G=\left[\begin{array}{ccccc}1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0\\ 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0\end{array}\right].$

测量值模型可以写作：

$\mathrm{\Δ}{y}_F=\mathrm{\Δy}+w_{\mathrm{\Δ}{y}_F}---\left(18\right)$

κ_F=κ+w_κ

$\mathrm{\Δ}{y}_T=\mathrm{\Δy}+w_{{\mathrm{\Δy}}_T}$

或者简写作：

o＝Hs+w(19)

其中 $H=\left[\begin{array}{ccccc}0& 1& 0& 1& 0\\ 0& 0& 1& 0& 0\\ 1& 0& 0& 0& 0\\ 0& 1& 0& 0& 1\\ 0& 0& 1& 0& 0\end{array}\right],$ $o={\left[\begin{array}{ccccc}{\mathrm{\θ}}_F& {\mathrm{\Δy}}_F& {\mathrm{\κ}}_F& {\mathrm{\θ}}_T& {\mathrm{\Δy}}_T\end{array}\right]}^T,$ 和 $w={\left[\begin{array}{ccccc}{w}_{{\mathrm{\θ}}_F}& w_{\mathrm{\Δ}{y}_F}& w_{\mathrm{\κ}}& w_{{\mathrm{\θ}}_T}& w_{\mathrm{\Δ}{y}_T}\end{array}\right]}^T$ 是零平均值高斯白噪声矢量，其对来自前车道传感器系统242和后车道传感器系统244的测量值的质量进行建模。

概括地说，下面的卡尔曼过滤过程联合地估算未对准角度和车道参数：

1)随机地选择小数量以初始化未对准参数和融合未对准参数与来自前车道传感器242的第一测量值生成选择用于s(0)的协方差阵P(0)。

2)当新的测量值在时刻t到达时，前述状态矢量写作s(t-1)；在时刻t时的预测状态可以写作以及协方差阵其中Q是噪声矢量v的协方差阵。

3)让在时刻t处的测量值为0；因此更新的状态矢量在时刻t为：

$e=o-h\left(\tilde{s}\left(t\right)\right)$

$S=H\tilde{P}\left(t\right)H^T+R$

$K=\tilde{P}\left(t\right)H^T{S}^{-1}$

$\hat{s}\left(t\right)=\tilde{s}\left(t\right)+\mathrm{Ke}$

$P\left(t\right)=(I-K{H}_t)\tilde{P}\left(t\right)$

其中R是协方差阵。

4)输出作为融合输出。

5)转到步骤2。

使用上述程序，系统240的融合模块246计算主车辆50的组合的车道参数的集，同时确定前车道传感器系统242和后车道传感器系统244的未对准参数。

图7是使用来自双摄像机的输入的车道融合系统300的第二实施例的框图。系统300在前边和后边不包括成熟的车道传感器系统。相反，系统300包括前视摄像机302和后视摄像机304。摄像机302和304只捕获图像并将其发送到融合模块320，融合模块320将图像组合在一起、检测并追踪车道标记。

分别来自前视摄像机302和后视摄像机304的图像，提供给方框306以寻找局部高密度区域。方框306的关键思想是在不同的空间尺度中寻找稳定的局部高密度区域。该算法从建立高斯金字塔开始。在每个金字塔尺度中，图像被放大的粗级图像减掉，其进一步变模糊。然后局部最大寻找操作在不同的坐标中应用于不同的图像，并且高度小于阈值h的所有最大值都被抑制。因此在方框306中推导出可能的车道标记的二进制图像。

在方框308中，检测的路缘和线的像素投影到基于摄像机校准参数的车辆坐标系的的平面上。在方框310处，首先基于相似测量(距离)对来自方框308的投影像素的点云聚类。接近的像素聚类为单个成分。随后这些成分基于其几何形状分类。选择形状与路缘和线相匹配的成分，然后应用线拟合和弧拟合方法来适配线候选者。形状与线或弧不匹配的成分被放弃。

在方框312中，在车辆坐标系中适配的线然后联接为车道边界。在方框314中，追踪并输出车道信息。这包括：监测来自车辆动态传感器的拟合的线和数据；追踪车道边界；和估算车道信息，包括车道曲率(κ)、相对于车道切线的车辆方位(θ)，和前保险杠中心到车道边界的位移(Δy)。方框308-314中使用的详细算法将在下面给出。

方框308的投影算法需要下面的摄像机内部参数：

·焦距：像素内的焦距，[f_u，f_v]；

·光心：[c_u，c_v]；

·偏斜系数：定义x像素轴线与y像素轴线之间的角度的偏斜系数储存在标量α_c中；

·变形：图像变形系数(径向和切向变形)储存在矢量k_c＝(k₁，k₂，k₃，k₄，p₁，p₂)中，其中(k₁，k₂，k₃，k₄)是径向变形系数，(p₁，p₂)是切向系数。

以及摄像机外在参数：

·平移矢量T；

·旋转矩阵R；

通过摄像机校准程序估算摄像机外在参数，这些参数中很多是本领域公知的，这里不需要讨论。

用于消除变形的迭代程序概述如下。输入包括像素组S＝{(u_i，v_i)|i＝1，...，N}和上面定义的摄像机内在参数。输出为经整理的像素组S′＝{(u′_i，v′_i)|i＝1，...，N}。程序如下：

1)对于每一个像素s_i＝(u_i，v_i)，i＝1，...，N；

2)重复执行下面的步骤20次：

a.让 $u=\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]$ 和r＝||x||。

b.计算径向校正：

k_rad＝1+k₁r+k₂r²+k₃r³+k₄r⁴。

c.计算切向校正：

$\mathrm{\Δu}=\left[\begin{array}{c}2p_1{u}_i{v}_i+p_2(r^2+2u_i^2)\\ p_1(r^2+2v_i^2)+2p_2{u}_i{v}_i\end{array}\right].$

d.校正像素 $u=(u+\mathrm{\Δu})/k_{\mathrm{rad}}.$

3)输出u作为最终校正的像素(u′_i，v′_i)。

在上述整理后或者变形消除程序后，可以应用下面的变换。输入包括上面描述的一组整理的像素S′＝{(u′_i，v′_i)|i＝1，...，N}和摄像机外在参数。输出是投影在车辆框架上的检测到的车道标记点：X＝{(x_i，y_i)|i＝1，...N}。变换程序如下：

1)对于每一个像素S_i＝(u_i，v_i)，i＝1，...，N；

a.让 $u=\left[\begin{array}{c}{u^{\′}}_i\\ {v^{\′}}_i\end{array}\right]$ 并且 $K_K=\left[\begin{array}{ccc}{f}_u& {\mathrm{\α}}_c{f}_u& c_u\\ 0& f_v& c_v\\ 0& 0& 1\end{array}\right].$

b.计算P＝K_k[RT]。

c.让H＝[p₁p₂p₄]，其中p_j，j＝1，...，4是列向量，j＝1，...，4。

d.计算z＝H^-1u。

2)输出z作为车辆框架内的平面的投影像素(x_i，y_i)。

在方框308中应用上述整理和变换程序，以提供车辆坐标框架内的一组高亮像素，也就是，为候选路缘或车道线点的点。随后，在方框310中，像素或点聚类在一起成为路缘和车道线。假定车道标记像素组 $X=\left\{z_i\right|z_i=\left[\begin{array}{c}{x}_i\\ y_i\end{array}\right],i=1,...,N\},$ 这些像素首先聚类成线，然后这些线适配为线段或弧段。

首先，为了将邻近的像素聚类成线，构造相似图(similaritygraph)G＝(V，E)，其中顶点集定义为地面上的像素，即V＝{z_i|i＝1，...N}，并且边缘集E定义为像素对的集，如果平面上的每个像素对的距离小于阈值(T_sep)，或者每一个像素对处于图像平面内的彼此的8近邻，即E＝{(z_i，z_j)|||z_i-z_j||＜T_sep∨Neighor(s_i，s_j)}，其中s_i和s_j是图像平面内相应位置；而邻域(si，sj)在s_i和s_j在彼此的8近邻时为真。在该聚类方法中，8近邻是指第二像素是在像素的大致矩形栅格中第一像素的8个最近邻(紧挨左、右、上、下、左上、右上、坐下、或右下)中的一个。

接下来，应用深度优先搜索(DFS)策略将图分为连接的成分：{X₁，...，X_c}。然后将所聚类的车道线中每个与线或弧适配。

让z_i＝(x_i，y_i)，i＝1，...，N_c为检测到的线的像素。该线可以由线参数方程式(Ax+By＝d，使得A²+B²＝1)拟合。参数A、B和d可以通过最小二乘方估算，例如极小化：

${\left|\right|\mathrm{D\β}\left|\right|}^2,D=\left(\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_{N_c}& y_{N_c}& 1\end{array}\right),\mathrm{\β}=\left(\begin{array}{c}A\\ B\\ d\end{array}\right)---\left(20\right)$

其可以通过寻找具有最小特征值λ_m的X的特征矢量来求解：

Dβ＝λ_mβ(21)

拟合残差定义为e＝λ_m。

线的宽度W和长度L分别计算为：

$W=\underset{i}{\max }\left(z_i^{T}n\right)-\underset{i}{\min }\left(z_i^{T}n\right),L=\underset{i}{\max }\left(z_i^{T}t\right)-\underset{i}{\min }\left(z_i^{T}t\right)---\left(22\right)$

其中n和t是线段的法向和切向矢量(单位长度)，即 $n=\left[\begin{array}{cc}\frac{A}{r}& \frac{B}{r}\end{array}\right]$ 和其中然后通过将n旋转90度导出t。

线的两个端点是：

e_s＝z_m-(n^Tz_m-d′)n(23)

e_e＝z_M-(n^Tz_M-d′)n

其中索引 $m=\underset{i=1,...,N_c}{\arg \min }\left(z_i^{T}t\right)$ 和 $M=\underset{i=1,...,N_c}{\arg \max }\left(z_i^{T}t\right).$

线的方位(角度)是φ＝atan2(A，B)。

如果线拟合残差大于阈值，则使用圆参数方程式(x²+y²+a₁x+a₂y+a₃＝0)再次拟合线。参数a₁、a₂和a₃通过最小二乘可估算，例如相对于α极小化：

${\left|\right|\mathrm{C\α}-b\left|\right|}^2,C=\left[\begin{array}{ccc}{x}_1& y_1& 1\\ x_2& y_2& 1\\ \·& \·& \·\\ \·& \·& \·\\ \·& \·& \·\\ x_{N_c}& y_{N_c}& 1\end{array}\right],$ $b=\left[\begin{array}{c}-(x_1^2+y_1^2)\\ -(x_2^2+y_2^2)\\ \·\\ \·\\ \·\\ -(x_{N_c}^2+y_{N_c}^2)\end{array}\right],$ $\mathrm{\α}=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\end{array}\right]---\left(24\right)$

上述最小二乘方的解是α＝(C^TC)^-1C^Tb。所拟合圆的半径和中心可以分别写作：

$R=(a_1^2+a_2^2)/4-a_3$

$x_c=-\frac{a_1}{2}---\left(25\right)$

$y_c=-\frac{a_2}{2}$

所拟合弧的两个端点可以计算为：

e_s＝[x_c+Rcosφ_my_c+Rsinφ_m]^T(26)

e_e＝[x_c+Rcosφ_My_c+Rsinφ_M]^T

并且端点处线的方位(角度)是φ_s＝φ_m和φ_e＝φ_M，其中索引 $m=\underset{i=1,...,N_c}{\arg \min }\left(a\tan (y_i-y_c,x_i-x_c)\right)$ 和 $M=\underset{i=1,...,N_c}{\arg \max }\left(a\tan (y_i-y_c,x_i-x_c)\right).$

线的宽度W和长度L分别如下计算：

W＝max(||z_i-c||)-min(||z_i-c||)(27)

和

L＝||e_s-e_e||(28)

其中c＝[x_cy_c]^T表示圆的中心。

概括地说，方框310的输出是一列车道线，其与具有下面的参数的线段匹配：法向矢量(n)，到原点的距离(d’)，宽度(W)，长度(L)，方位(φ)，和起点(e_s)；或与具有下面的参数的弧段匹配：圆心(c)，半径(R)，宽度(W)，长度(L)，和两个端点位置(e_s和e_e)。

图8是示出对于检测到如下情形时的车道线表达的例子的图400：由端点402和法向矢量502表示的线段#1，线段#2(404，504)，线段#3(414，514)，和具有半径420、圆心(c)422、第一端点460、和第二端点412的弧段。在方框312中使用下面的步骤将线与左右车道边界连接。

首先，纵横比(L/W)小于阈值的任何线被移除。仅保留细长的线用于进一步的处理。然后长弧段或长线段被分解为短段，并且每一段由起端点(e)和切向矢量(t)表示。例如，在图400中，线段#1的起端点和切矢量表示为(402，602)；长弧分解为4个端点：(406，606)，(408，608)，(410，610)，和(412，612)。

为了在方框314处估算整体车道几何信息(即，车道曲率κ，相对于车道切线的车辆方位θ，和到车道边界的位移Δy)，需要估算中心c的位置。

给定一组(车道)线段{(e_k，t_k)|k＝1，...，K}。对于每一段，(e_k，t_k)，其法线(图400中的虚线)通过c，即让t_k＝(t_xk，t_yk)。因此，寻找c等价于最小化下面的最小二乘：

$\left|\right|\mathrm{Ec}-\mathrm{\γ}\left|\right|,E=\left[\begin{array}{cc}{t}_{x1}& t_{y1}\\ t_{x2}& t_{y2}\\ \·& \·\\ \·& \·\\ \·& \·\\ t_{\mathrm{xK}}& t_{\mathrm{yK}}\end{array}\right],$ $\mathrm{\γ}\left[\begin{array}{c}{t}_1^T{e}_1\\ t_2^T{e}_2\\ \·\\ \·\\ \·\\ t_K^T{e}_K\end{array}\right]---\left(29\right)$

上述最小二乘方的解是c＝(E^TE)^-1E^Tγ。车道的曲率可以写作：

相对于车道切线的车辆方位(角)可以计算为：

θ＝atan2(c_x，c_y)(31)

其中c_x被示出为图400中的尺度426，c_y被示出为尺度428。

图9是示出如何可计算到车道边界的位移的示例的直方图700；让{z_j|j＝1，...，M}表示检测到的车道线的像素。直方图700构造为描绘所有像素(即，d_j＝||z_j-c||，j＝1，...，M)到中心c的距离。直方图700具有原点702。

到左车道边界的位移y_L是直方图700中的原点702到左局部峰的距离704，而到右车道边界的位移y_R是从原点702到右局部峰的距离706。

方程式(29)-(31)使用来自摄像机302和304的单个帧的数据来估算车道。可以扩展该方法以包括追踪和来自车辆动态传感器的数据。提出两种这样的方法。对于这两种方法，状态变量定义为s＝(κ，θ，Δy)，其中变量分别定义为车道曲率(κ)、相对于车道切线的车辆方位(θ)、和到车道边界的位移(Δy)。让车辆速度(v_H)和横摆率(ω_H)表示来自车辆动态传感器的测量值。

对于第一种方法，使用卡尔曼追踪程序来估算车道参数。图10是卡尔曼追踪方法的流程图800。步骤如下：

1)在方框802中，使用来自系统300(方程式(29)-(31))的第一测量值初始化状态向量s(0)，并选择用于s(0)的协方差阵P(0)。

2)在决策菱形框804中等待新数据到达；当新测量值在时刻t到达时，在方框806中将前述状态向量写作s(t-1)；然后在方框808处在时刻t处的预测状态s(t)可写作：

κ′＝κ

θ′＝θ-ω_HΔT+κv_HΔT

Δy′＝Δy+v_HΔTθ

其中ΔT是时间增量，以及投影状态向量s′(t)＝[κ′θ′Δy′]。

3)同样在方框808处，圆心计算为：

$c^{\′}=\left[\begin{array}{cc}\frac{1}{{\mathrm{\κ}}^{\′}}\sin {\mathrm{\θ}}^{\′}& \frac{1}{{\mathrm{\κ}}^{\′}}\cos {\mathrm{\θ}}^{\′}\end{array}\right].$

4)在方框810处，提供检测到的来自摄像机302和304的线(e_k，t_k)；然后在方框812处，使用下面的准则执行选通(gating)操作来识别所检测到的线的异常(outlier)：

$\frac{\left|{(e_k-c^{\&prime;})}^T{t}_k\right|}{\left|\right|e_k-c^{\&prime;}\left|\right|}<T$

其中T是阈值，如果上述标准不为真则线被处理为异常。

5)在方框814处，计算当前车道几何信息；对于在方框812的选通后余留的全部线，使用方程式(29)极小化最小二乘式以寻找更新的中心的解；然后分别通过方程式(30)-(31)来计算κ_m和θ_m，并通过构建直方图来计算位移Δy_m。

6)在方框816中，执行测量值校正；将κ_m、θ_m和Δy_m处理为状态变量的直接测量值；下面的测量值方程式可以写作：

${\mathrm{\&theta;}}_m=\mathrm{\&theta;}+w_{{\mathrm{\&theta;}}_m}$

$\mathrm{\&Delta;}{y}_m=\mathrm{\&Delta;y}+w_{\mathrm{\&Delta;}{y}_m}$

${\mathrm{\&kappa;}}_m=\mathrm{\&kappa;}+w_{{\mathrm{\&kappa;}}_m}$

其中 ${\left(\begin{array}{ccc}{w}_{{\mathrm{\&theta;}}_m}& w_{{\mathrm{\&Delta;y}}_m}& w_{{\mathrm{\&kappa;}}_m}\end{array}\right)}^T$ 是零平均值白高斯噪声矢量，其协方差阵是方程式(29)的最小二乘式极小化的残差；然后应用卡尔曼滤波器以获取最终的输出s(t)和相应的协方差阵P(t)。

7)在方框818处，输出更新的车道几何信息，并返回决策菱形框804。

上面描述的和流程图800中的卡尔曼追踪程序表示用于计算车道曲率和车辆方位信息的第一种方法，其使用来自前视摄像机302和后视摄像机304的图像和来自车辆动态传感器的数据。第二种方法使用粒子滤波器。图11是示出粒子滤波器方法的流程图900，其使用下面的步骤来计算车道参数：

1)在方框902中，使用一组粒子(几何信息的随机样本)来初始化状态向量s(0)，该一组粒子为：{(s_i(0)，w_i)|i＝1，...，M}，并且权重为其中i＝1，...，M。

2)在决策菱形框904中等待新数据到达；当新测量数据在时刻t到达时，对于每一粒子，使用卡尔曼追踪器的步骤2)到5)计算κ_m、θ_m和Δy_m，也就是说：

a.在方框906中，将前述状态向量写作s(t-1)。

b.在方框908中，计算预测状态s(t)；还计算圆心c′。

c.在方框910中，从两个摄像机提供检测到的线；在方框912中，执行选通操作来识别异常的线。

d.在方框914中，使用方程式(29)-(31)和直方图计算当前车道几何信息。

3)然后第i个粒子的值变成s′_i(t)＝(κ_m，θ_m，Δy_m)；让Δ_i表示第i个粒子的残差；在方框916中，计算粒子的新权重为其中σ是预定的常数。

4)在方框918中，计算粒子集的加权平均：

$\hat{s}\left(t\right)={\mathrm{\&Sigma;}}_{i=1}^M{s}_i\left(t\right)w_i/{\mathrm{\&Sigma;}}_{i=1}^M{w}_i$

和输出

5)在方框920中，对更新粒子集{(s′_i(t)，w′_i)|i＝1，...，M}应用重要重采样，标准的统计程序。这在方框922处产生一组所更新车道几何信息的随机样本。

6)返回步骤2，决策菱形904。

如上面所描述和在流程图800和900中示出的，或者卡尔曼滤波器方法，或者粒子滤波器方法，可以用于使用来自前视摄像机302和后视摄像机304的图像、车辆动态传感器作为输入来用于计算车道几何信息——车道曲率κ、相对于车道切线的车辆方位、和到车道边界的位移Δy。

这里公开的方法和系统，通过使用来在后视摄像机的可用的图像数据，并将其与来自前视摄像机和其它传感器的图像数据相结合，为车道感测或侧向控制提供更加稳健的能力。该双摄像机系统不仅在正常情况下充分应用更多的输入数据，而且在前视成像不利的情况下时提供可用的图像数据源以允许系统运行。在不产生新的硬件相关的成本的情况下，车辆制造商和消费者能从这些系统中受益，其利用许多车辆中存在的后视成像能力以赋予改善的系统性能和可靠性。

前面的讨论仅仅公开和描述了本发明的示例实施方式。在不脱离由随附权利要求限定的本发明的精神和范围的情况下，本领域的技术人员将很容易从该讨论和从附图及权利要求中意识到可在其中做出各种变换、修改和改变。

Claims (19)

1.一种用于确定车道内车辆位置的方法，所述方法包括：

提供来自车辆车载的前视摄像机模块的数据；

提供来自车辆车载的后视摄像机模块的数据；

提供来自车辆车载的车辆动态传感器的数据；和

将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合成组合的车道几何信息集以确定车道中车辆的位置，其中所述融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和前视摄像机模块和后视摄像机模块的未对准角度，其中卡尔曼滤波器例程包括作为状态矢量变量的车道曲率、相对于车道切线的车辆方位、前保险杠中心到车道边界的位移、和前视摄像机模块的方位未对准角度和后视摄像机模块的方位未对准角度，并同时求解全部所述状态矢量变量。

2.根据权利要求1的方法，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。

3.根据权利要求1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前面的成熟的车道感测系统的前面的车道几何信息，而提供来自后视摄像机模块的数据包括提供来自后面的成熟的车道传感系统的后面的车道几何信息。

4.根据权利要求1的方法，其中，提供来自前视摄像机模块的数据包括提供来自前摄像机的前图像数据，提供来自后视摄像机模块的数据包括提供来自后摄像机的后图像数据。

5.根据权利要求4的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括寻找前向图像数据和后向图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

6.根据权利要求5的方法，其中，寻找前向图像数据和后向图像数据中的高密度像素包括使用高斯金字塔例程，其中在不同的空间尺度处的二进制图像彼此相减。

7.根据权利要求5的方法，其中，将所述高密度像素投影在车辆坐标框架中包括使用迭代程序以移除径向和切向变形，和旋转和平移变换程序，以在车辆坐标框架中生成多个高密度像素。

8.根据权利要求5的方法，其中，从高密度像素中检测路缘和车道线包括使用相似图和深度优先搜索例程，其将相邻的高密度像素聚类成线。

9.根据权利要求8的方法，其中，从高密度像素中检测路缘和车道线还包括使用最小二乘例程使线与线段或弧相适配。

10.根据权利要求5的方法，其中，将所述路缘和车道线连接成车道包括使用应用于路缘和车道线的最小二乘例程寻找车道的曲率中心。

11.根据权利要求10的方法，其中，追踪车道几何信息包括使用直方图例程计算到左车道边界和右车道边界的位移，并且使用曲率中心计算车道曲率和相对于车道切线的车辆方位。

12.根据权利要求4的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用卡尔曼滤波器。

13.根据权利要求4的方法，其中，将来自前视摄像机模块、后视摄像机模块和车辆动态传感器的数据融合包括使用粒子滤波器。

14.一种用于确定车道中车辆位置的方法，所述方法包括：

提供来自车辆车载的前视摄像机的图像数据；

提供来自车辆车载的后视摄像机的图像数据；和

将来自前视摄像机和后视摄像机的图像数据融合成组合的车道几何信息集以确定车道中车辆的位置，其中所述融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和前视摄像机和后视摄像机的未对准角度，其中卡尔曼滤波器例程包括作为状态矢量变量的车道曲率、相对于车道切线的车辆方位、前保险杠中心到车道边界的位移、和前视摄像机的方位未对准角度和后视摄像机的方位未对准角度，并同时求解全部所述状态矢量变量。

15.根据权利要求14的方法，其中，将来自前视摄像机和后视摄像机的数据融合包括寻找图像数据中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

16.根据权利要求14的方法，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、和到左车道边界和右车道边界的位移。

17.一种用于确定车道中车辆位置的系统，所述系统包括：

第一摄像机，用于捕获来自车辆的前视的图像；

第二摄像机，用于捕获来自车辆的后视的图像；和

处理器，其配置为接收来自第一摄像机和第二摄像机的图像，并使用来自第一摄像机和第二摄像机的图像的融合来计算车道几何信息，其中所述融合包括使用卡尔曼滤波器例程来联合地估算车道几何信息和第一摄像机和第二摄像机的未对准角度，其中卡尔曼滤波器例程包括作为状态矢量变量的车道曲率、相对于车道切线的车辆方位、前保险杠中心到车道边界的位移、和第一摄像机的方位未对准角度和第二摄像机的方位未对准角度，并同时求解全部所述状态矢量变量。

18.根据权利要求17的系统，其中，处理器寻找来自第一摄像机和第二摄像机中的图像中的高密度像素、将所述高密度像素投影在车辆坐标框架中、从所述高密度像素中检测路缘和车道线、将所述路缘和车道线连接成车道以及追踪车道几何信息。

19.根据权利要求17的系统，其中，车道几何信息包括车道曲率、相对于车道切线的车辆方位、以及到左车道边界和右车道边界的位移。