CN113537100B - 一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、fpga芯片 - Google Patents

Abstract

本发明公开了一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、FPGA芯片；属于计算机视觉以及车辆自动驾驶这一技术领域，其技术要点在于：Step1，对一段连续时间t₁~t_N时刻内的第1~N张图像的每个图像的车道线进行检测拟合；Step2，计算前后两张图像的[RT]矩阵：Step3，将一段连续时间内的车道线统一到一个坐标系内；Step4，进行数据拟合。采用本发明的一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、FPGA芯片，能够有效的提升驾驶的安全性。

Description

一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、FPGA 芯片

技术领域

本发明涉及机器视觉、辅助驾驶这一技术领域，更具体地说，尤其涉及一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、FPGA芯片。

背景技术

车道线是道路中最为常见的路面标识，是车辆行驶路径的主要参考。车道线检测功能对辅助驾驶和自动驾驶功能，都是必不可少的功能。通常的车道线检测方法，是在传感器(主要为视觉传感器)采集的图像信息中，对路面上车道线的特征进行识别，拟合出车道线的方向，作为驾驶系统的决策输入。

而采用图像信息中提取车道线特征的方法，常常会发生“由于遮挡或者视角原因而导致特征不完整”的问题。而当特征不完整时，车道线最终拟合的方向精度会有很大的精度影响，甚至会导致拟合失败。

因此，研究一种提升车道线最终拟合的方向的方法，对于提升辅助驾驶和自动驾驶功能是一个亟待解决的技术问题。

发明内容

本发明的目的在于提供一种车辆辅助驾驶系统、车道线时空拟合的系统和方法、FPGA芯片，其解决了现有技术中的不足之处。

一种车道线时空拟合的方法，包括以下步骤：

Step1，对一段连续时间t₁～t_N时刻内的第1～N张图像(即tx时刻对应的是第X张图像)的每个图像的车道线进行检测拟合；

Step2，逐个计算任意前后两张图像，即第F-1张图像，第F张图像之间的[RT]_F-1，F矩阵：

Step3，将一段连续时间内的车道线统一到一个坐标系内：

Step3-1，从t₁～t_N-1时刻的每张图像，即分别从第1～N张图像中选取车道线的采样点；

Step3-2，将第1～N张图像中选取的采样点的坐标均统一到第N张图像的坐标系内；

Step4，进行数据拟合。

进一步，Step3，还包括：Step3-3，计算Step3-1中的N张图像选取的采样点的权重；

其中，任意时刻下tx中采样点权重L采用下式求解：

γ表示参数，取为0.1；

u表示调节权重的参数；

Z为tx时刻下的坐标系下的Z值。

进一步，Step1，具体包括：对于任意一个图像而言，采用以下步骤进行检测拟合：

Step1-1，提取图像中的纹理边缘信息作为车道线的底层特征；

Step1-2，将每一条车道线均采用三次曲线来进行拟合，方程表达形式为：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D；

其中，本系统中的坐标系定义为：Z向为车辆前进的方向在水平面的投影，Y向为竖向向上的方向，X向为与Z方向、Y方向垂直的方向；以车辆接触的路面定义为Y＝0，以双目相机的中心线为X＝0，以车辆的最前端为Z＝0；

其中，A，B，C，D均是拟合出来的参数。

进一步，Step2，基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算任意第F-1图像与第F张图像之间的[RT]矩阵；

其中，w_y表示绕水平面的转动的角速度；

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度。

进一步，Step2，基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：

从第F-1张图像中提取v个关键点，其坐标：

从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

或者：

进一步，Step2，逐个计算任意前后两张图像，即第F-1张图像，第F张图像之间的[RT]_F-1，_F矩阵，具体包括以下步骤：

Step2-1，初步确定[RT]_{F-1,F，初步}，即利用陀螺仪、轮速信息获取模块201、传感器姿态预测模块202计算[RT]_{F-1，F，初步}

基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算任意第F-1图像与第F张图像之间的[RT]_{F-1，F，初步}

其中，w_y表示绕水平面的转动的角速度；

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度。

Step2-2，基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：

从第F-1张图像中提取v个关键点，其坐标：

则上述v个关键点在第F张图像中的坐标初步确定为：

以上述v个关键点在第F张图像中的坐标初步确定点为圆心，半径为10～30cm(该参数能够根据实际需要调整)，从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

进一步，Step3-1，分别从第1～N张图像中选取车道线的采样点，且提取采样点在各图像自身坐标系下的坐标点，采样点选取时是将每一张图像中拍摄到的车道线进行选取，且间隔1cm～100cm选取一个采样点；

具体包括：

首先，从第1张图像中采样车道线的特征点P_1,1,P_2,1,……P_m1，1的三维坐标，构建坐标集合矩阵为：

[St₁]＝[(P_1,1，1)^T(P_2,1，1)^T……(P_m1，1，1)^T]

即，

则有：

每个特征点的三维坐标的形式均为：P_i，1＝(X_i，1，0，Z_i，1)，其中，Z_i,1通过Step1中得到的第一张图像中的车道线的拟合方程计算而得；

然后，从第2张图像中采样车道线的特征点P_1,2,P_2,2，……P_m2，1的三维坐标，其坐标集合矩阵为：

[St₂]＝[(P_1，2，1)^T，(P_2，2，1)^T……(P_m2，2，1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，2＝(X_i，2，0，Z_i，2)，其中，Z_i，2通过Step1中得到的第2张图像中的车道线的拟合方程计算而得；

……

然后，从第N-1张图像中采样车道线的特征点P_1，N-1，P_2，N-1,……P_mN-1,N-1的三维坐标，其坐标集合矩阵为：

[St_N-1]＝[(P_1，N-1，1)^T，(P_2，N-1，1)^T，……(P_mN-1，N-1，1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，N-1＝(X_i，N-1，0,Z_i，N-1)，其中，Z_i，N-1通过Step1中得到的第N-1张图像中的车道线的拟合方程计算而得；

最后，从第N张图像中采样车道线的特征点P_1，N，P_2，N，……P_mN，，N的三维坐标；

每个特征点的三维坐标的形式均为：P_i，N＝(x_i，N，0，z_i，N)，其中，x_i,N通过Step1中得到的第N张图像中的车道线的拟合方程计算而得。

进一步，Step3-2，将第1～N张图像中选取的采样点的坐标统一到第N张图像的坐标系内：

首先，t_N-1时刻对齐到t_N时刻，即第N-1张图像选取的采样点的坐标统一到第N张图像的坐标系内：

[St_N-1,N]＝[RT]_N-1,N×[St_N-1]；[St_N-1,N]表示坐标集合矩阵[St_N-1]转换到第t_N时刻的坐标系下的坐标集合矩阵；[RT]_N-1,N表示从t_N-1到t_N的[RT]矩阵(即第N-1张图像到第N张图像的[RT]矩阵)。

……

然后，第t_F时刻对齐到t_N时刻：

[St_F,N]＝[RT]_F，F+1×[RT]_F+1，F+2……[RT]_N-2，N-1×[RT]_N-1,N×[St_F]；

……

最后，第t₁时刻对齐到t_N时刻：

[St_1,N]＝[RT]_1,2×[RT]_2,3……[RT]_N-2,N-1×[RT]_N-1,N×[St₁]。

进一步，Step4，数据拟合：

基于Step3-2得到的第1～N张图像的采样点统一到第N张图像的坐标系的坐标集合，采用三次曲线进行拟合，能够得到车道线方程。

进一步，Step4，数据拟合：

基于Step3-2得到的第1～N张图像的采样点统一到第N张图像的坐标系的坐标集合，以及Step3-3得到的各个采样点的权重，采用三次曲线进行加权拟合，能够得到车道线方程。

一种车道线时空拟合的系统，包括：车道图像存储系统、车道线特征提取子系统、传感器视角变换关系求解子系统、时序特征坐标系对齐子系统、车道线拟合子系统；

车道线特征提取子系统与车道图像存储系统相互连通；

车道线特征提取子系统、传感器视角变换关系求解子系统的输出端分别与时序特征坐标系对齐子系统的输入端连接，时序特征坐标系对齐子系统的输出端与车道线拟合子系统的输入端连接；

其中，车道线特征提取子系统用于：提取图像中的纹理边缘信息作为车道线的底层特征，进而检测出每一条车道线信息的方程；用于执行步骤Step1；

其中，传感器视角变换关系求解子系统包括：陀螺仪、轮速信息获取模块以及传感器姿态预测模块，和/或相机位姿求解模块；用于执行步骤Step2；

其中，时序特征坐标系对齐子系统包括：时序特征坐标系变换模块；用于执行步骤Step3；

其中，车道线拟合子系统，用于执行步骤Step4；

进一步，时序特征坐标系对齐子系统还包括：时序特征拼接模块，时序特征拼接模块用于执行步骤Step3-3。

一种FPGA芯片，其存储有所述的执行车道线时空拟合的方法的程序。

一种辅助驾驶系统，包括前述的车道线时空拟合系统、显示屏；车道线时空拟合系统利用车道线拟合子系统得到的车道拟合方程，在显示屏上显示预测的车道线。

本发明的有益效果在于：

第一，本申请的第一个发明构思在于：

车道线特征提取子系统100中通过图像-->空间转换为顶视图上拟合方程使用了逆透视变换(IPM)的技术，将图像空间检测到的车道线通过投影变换，转换到顶视图视角，最终以真实空间的方程表示：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D

其创造性的思路体现在两点，一个是要将车道线的信息拟合出来，二是采用三次曲线进行拟合。

该思路的目的是要与时序特征坐标系对齐子系统300对应。对于车道线而言，道路上除了实线以外，还有诸多虚线。发明人发现：对于虚线而言，如果不提取虚线之间的空白处的特征，最终拟合出来的效果相当差(虚线之间有90cm、60cm、40cm三种规格)。

但是，虚线之间的空白处没有车道线，无法直接从图像提取关键点，这就是一个极大的问题。

在经过若干尝试后，发明人团队成员提出了：先将车道线的信息拟合出来，这样就可以计算虚线空白处的车道线的坐标，进而，时序特征坐标系对齐子系统300在工作时，就能够提供更多的特征点坐标加入进来。

第二，本申请的第二个发明构思在于：实施例二提出前后图像的RT矩阵的计算方式。

第三，本申请的第三个发明构思在于，实施例三提出了提升计算实施例二的RT矩阵速度的方式。

第四，本申请的第四个发明构思在于：对齐车道线参数的方式，不是简单的相同权重采样，而是与视觉的特点结合，进行不同权重的采样，保证对齐的精确性。特别的，如何设计权重L的方式是发明人方案创新的核心与难点。

第五，本申请的底层发明构思在于：本申请的车道线拟合方法是为了提供一种辅助驾驶系统，即通过前述的车道线来预测未来的车道线方向，从而方便驾驶人员驾驶。

附图说明

下面结合附图中的实施例对本发明作进一步的详细说明，但并不构成对本发明的任何限制。

图1是实施例一的一种车道线时空拟合的系统的架构图。

图2是实施例一的陀螺仪、轮速信息获取模块201，传感器姿态预测模块202、时序特征坐标系变换模块301的架构图。

图3是本申请的XYZ坐标系示意图。

图4是实施例二的一种车道线时空拟合的系统的架构图。

图5是实施例二的传感器视角变换关系求解子系统、时序特征坐标系对齐子系统的子模块设计示意图。

图6是实施例三的传感器视角变换关系求解子系统、时序特征坐标系对齐子系统的子模块设计示意图。

图7是实施例四的传感器视角变换关系求解子系统、时序特征坐标系对齐子系统的子模块设计示意图。

图8是权重L的示意图。

附图标记说明如下：

道线特征提取子系统100、传感器视角变换关系求解子系统200、时序特征坐标系对齐子系统300、车道线拟合子系统400；

陀螺仪、轮速信息获取模块201；

传感器姿态预测模块202；

相机位姿求解模块203；

时序特征坐标系变换模块301；

对于时序特征拼接模块302。

具体实施方式

实施例一：如图1～2所示，一种车道线时空拟合的系统，包括：车道图像存储系统、车道线特征提取子系统100、传感器视角变换关系求解子系统200、时序特征坐标系对齐子系统300、车道线拟合子系统400；

车道线特征提取子系统100与车道图像存储系统相互连通；

车道线特征提取子系统100、传感器视角变换关系求解子系统200的输出端分别与时序特征坐标系对齐子系统300的输入端连接，时序特征坐标系对齐子系统300的输出端与车道线拟合子系统400的输入端连接。

下面就这四个子系统的功能进行说明。

第一，<车道线特征提取子系统100>

车道线特征提取子系统100的工作过程如下：

X101，提取图像中的纹理边缘信息作为车道线的底层特征；

X102，通过聚类和拟合的方式，检测出每一条车道线信息的方程；

X103，通过图像-->空间转换为顶视图上拟合方程，即完成单一时刻的视角范围内的车道线检测功能。

需要说明的是：步骤X103中，通过图像-->空间转换为顶视图上拟合方程使用了逆透视变换(IPM)的技术，将图像空间检测到的车道线通过投影变换，转换到顶视图视角，最终以真实空间的方程表示：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D

本系统中的坐标系定义如图3所示，以车辆接触的路面定义为Y＝0；Z向为车辆前进的方向在水平面的投影，Y向为竖向向上的方向，X向为与Z方向、Y方向垂直的方向(X方向也是水平面的投影)。

其中，A，B，C，D都是拟合出来的参数。

第二，<传感器视角变换关系求解子系统200>

所述的传感器视角为相机的视角，该子系统是为了获取观测位置(即相机)的方位(即获取观测位置在时序上的空间变化表达式)。

相机在运动过程中，不断的观测，实际上是不断的位姿变化的过程。具体而言，传感器视角变换关系求解子系统通过相邻的两个时刻，相机坐标系之间发生了旋转和平移的关系，可通过对观测的图像信息和其他传感器信息进行求解。

观察位置的变化可以用旋转和平移矩阵表示为，用齐次矩阵表示

上述r_ij，t_i是相关参数。

具体而言，传感器视角变换关系求解子系统200包括：陀螺仪、轮速信息获取模块201，传感器姿态预测模块202。

对于陀螺仪、轮速信息获取模块201而言，其用于获取陀螺仪(惯导单元)传递而来的3个方向的加速度a_x,a_y,a_z(即x方向、y方向、z方向的加速度)和3个角速度值ω_x,ω_y(即水平面内的转动),ω_z、获取车辆实时速度V(其可以从车身本身获得)；

对于传感器姿态预测模块202而言，其接受陀螺仪、轮速信息获取模块201传递而来的信息，用于求解计算[RT]矩阵。

本系统中把运动状态简化为顶视图上的2维运动，所以[RT]的计算仅使用速度V和角速度ω_Y(即水平面的转动)即可计算。

具体过程如下：

在ΔT的时间内，在顶视图上的旋转角度的变化为ω_y*ΔT，另外2个自由度没有旋转。

位移的变化为

如果ω_y为0，那么就是一个直线运动，位移的变化为[0，0，v×ΔT]。在高度的维度上没有位移。

[RT]矩阵可求得：

也即，任意一个第F-1张图像到第F张图像：

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度。

第三，<时序特征坐标系对齐子系统300>

时序特征坐标系对齐子系统300，是将一段连续时间内的车道线统一到一个坐标系内。

具体而言，时序特征坐标系对齐子系统300包括，时序特征坐标系变换模块301。

对于时序特征坐标系变换模块301，其功能在于：将t₁～t_N每个时刻的采样点的坐标对齐到当前第t_N时刻的坐标系下，具体的方法是：

首先，从t₁～t_N-1时刻的每张图像中采样车道线的特征点，构建坐标矩阵集合：

上式中，P_Mn-1，N-1表示第N-1张图像中采样车道线的特征点数量，P_mF，F表示第F张图像中采样车道线的特征点数量，P_m1，1表示第1张图像中采样车道线的特征点数量。

上式中p_i＝(X_i,0,Z_i)，即表示任意一个特征点的三维坐标；

其中，采样时，每隔5cm或者10cm或者其他任意一个距离选择一个特征点；

例如：z＝0,5,10，15,20……,Z值依靠车道线特征提取子系统100得到的每张图像中的拟合方程，可以计算x值。

由于车道线在地面上，而地面是我们定义的坐标系高度零点，所以采样点的y_i＝0。

时序特征坐标系变换模块301的工作是：

首先，t_N-1时刻对齐到t_N时刻,即第N-1张图像选取的采样点的坐标统一到第N张图像的坐标系内：

[St_N-1,N]＝[RT]_N-1,N×[St_N-1]；[St_N-1,N]表示坐标集合矩阵[St_N-1]转换到第t_N时刻的坐标系下的坐标集合矩阵；[RT]_N-1,N表示从t_N-1到t_N的[RT]矩阵(即第N-1张图像到第N张图像的[RT]矩阵)。

……

然后，第t_F时刻对齐到t_N时刻：

[St_F,N]＝[RT]_F,F+1×[RT]_F+1,F+2……[RT]_N-2,N-1×[RT]_N-1,N×[St_F]；[St_F,N]表示坐标集合矩阵[St_F]转换到第t_N时刻的坐标系下的坐标集合矩阵；[RT]_F,F+1表示从t_F到t_F+1的[RT]矩阵(即第F张图像到第F+1张图像的[RT]矩阵)

……

最后，第t₁时刻对齐到t_N时刻：

[St_1,N]＝[RT]_1,2×[RT]_2,3……[RT]_N-2,N-1×[RT]_N-1,N×[St₁]；[St_1,N]表示坐标集合矩阵[St₁]转换到第t_N时刻的坐标系下的坐标集合矩阵。

基于[St_1,N],……[St_F,N],……[St_N-1,N],能够直接读取第1张图像,……第F张图像,……第N-1张图像选取的采样点在第N张图像的坐标系下的坐标。

基于时序特征坐标系变换模块301，可以得到在N张图像中的车道线采样点在当前t_N时刻下的坐标系的点集。

<车道线拟合子系统400>

时序特征坐标系变换模块301得到的N张图像中的车道线采样点在当前t_N时刻下的坐标系的点集进行拟合，拟合时仍然采用三次曲线进行拟合：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D。

一种车道线时空拟合的方法，包括以下步骤：

Step1，对一段连续时间内的N个图像的每个图像的车道线进行检测拟合：

对于任意一个图像而言，采用以下步骤进行检测拟合：

Step1-1，提取图像中的纹理边缘信息作为车道线的底层特征；

Step1-2，将每一条车道线均采用三次曲线来进行拟合，方程表达形式为：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D

Step2，基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算车辆下一个时刻的位置和姿态。

具体为：

F-1张图像中相机视角下的任意一个特征点的坐标点为P₁＝(X₁,Y₁,Z₁)，第F张图像中相机视角下与第F-1张图像中匹配的特征点的坐标点为P₂＝(X₂,Y₂,Z₂)，则有：

其中，[RT]_F-1，F矩阵为：

其中，ΔT表示第F-1张图像与第F张图像之间的时间差。

Step3，将一段连续时间内的车道线统一到一个坐标系内：

Step3-1，从第1～N张图像中提取采样点坐标：

首先，从第1张图像中采样车道线的特征点P_1,1,P_2,1,……P_m1，1的三维坐标，构建坐标集合矩阵为：

[St₁]＝[(P_1,1,1)^T(P_2,1,1)^T……(P_m1,1,1)^T]

即，

则有：

每个特征点的三维坐标的形式均为：P_i，1＝(X_i，1，0，Z_i，1)，其中，Z_i，1通过Step1中得到的第一张图像中的车道线的拟合方程计算而得；

然后，从第2张图像中采样车道线的特征点P_1，2，P_2，2，……P_m2，1的三维坐标，其坐标集合矩阵为：

[St₂]＝[(P_1,2,1)^T,(P_2,2,1)^T……(P_m2，2，1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，2＝(X_i，2,0,Z_i，2)，其中，Z_i,2通过Step1中得到的第2张图像中的车道线的拟合方程计算而得；

……

然后，从第N-1张图像中采样车道线的特征点P_1,N-1,P_2,N-1,……P_mN-1,N-1的三维坐标，其坐标集合矩阵为：

[St_N-1]＝[(P_1,N-1,1)^T,(P_2,N-1,1)^T,……(P_mN-1,N-1,1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，N-1＝(X_i，N-1,0,Z_i，N-1)，其中，Z_i,N-1通过Step1中得到的第N-1张图像中的车道线的拟合方程计算而得；

最后，从第N张图像中采样车道线的特征点P_1,N,P_2,N,……P_mN,，N的三维坐标；

每个特征点的三维坐标的形式均为：P_i，N＝(x_i，N,0,z_i，N)，其中，x_i,N通过Step1中得到的第N张图像中的车道线的拟合方程计算而得。

Step3-2，将第1～N张图像中选取的采样点的坐标统一到第N张图像的坐标系内：

首先，t_N-1时刻对齐到t_N时刻,即第N-1张图像选取的采样点的坐标统一到第N张图像的坐标系内：

[St_N-1,N]＝[RT]_N-1,N×[St_N-1]；[St_N-1,N]表示坐标集合矩阵[St_N-1]转换到第t_N时刻的坐标系下的坐标集合矩阵；[RT]_N-1,N表示从t_N-1到t_N的[RT]矩阵(即第N-1张图像到第N张图像的[RT]矩阵)。

……

然后，第t_F时刻对齐到t_N时刻：

[St_F,N]＝[RT]_F，F+1×[RT]_F+1，F+2……[RT]_N-2，N-1×[RT]_N-1,N×[St_F]；

……

最后，第t₁时刻对齐到t_N时刻：

[St_1,N]＝[RT]_1,2×[RT]_2,3……[RT]_N-2,N-1×[RT]_N-1,N×[St₁]。

Step4，进行数据拟合。

基于Setp3得到的第1～N张图像的采样点统一到第N张图像的坐标系的坐标集合，采用三次曲线进行拟合，能够得到车道线方程，每条车道线的形式仍然为：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D。

实施例二，实施例一建立了车道线时空拟合的基本方式，但是其效果在某些情况下表现不佳：

第一，第1～N张图像囊括的路程距离不能太长，实施例一的方式在10m左右；

第二，拟合精度在距离太长时，精度不够。

发明人团队对实施例一的方法进行了逐次分析，发现造成上述问题的核心在于：[RT]_F-1，f实施例一的方式，只有在△t足够小时，精度才能满足，这是其理论本身的瑕疵所在。

对此，提出了实施例二的方案。

与实施例一相比，区别体现在两方面：

(一)如图4-5所示，车道线时空拟合的系统方面，传感器视角变换关系求解子系统200采用相机位姿求解模块203，不再采用：陀螺仪、轮速信息获取模块201、传感器姿态预测模块202。

同时，车道线特征提取子系统100、传感器视角变换关系求解子系统200均与车道图像存储系统相互连通。

具体而言，一种车道线时空拟合系统，包括：车道图像存储系统、车道线特征提取子系统100、传感器视角变换关系求解子系统200、时序特征坐标系对齐子系统300、车道线拟合子系统400；

车道线特征提取子系统100、传感器视角变换关系求解子系统200的输出端分别与时序特征坐标系对齐子系统300的输入端连接，时序特征坐标系对齐子系统300的输出端与车道线拟合子系统400的输入端连接。

对于相机位姿求解模块203而言，其用于通过对比两个时刻的图像信息的关键点，求解出位姿变换。图像相比较惯导单元传感器，包含更丰富的信息；因此，发明人想到通过对比两个时刻的图像信息的关键点，求解出位姿变换。

对于传感器姿态预测模块203而言，其通过解析相邻前后2帧图像的特征性信息(如角点)，通过优化方法能够求解出相邻前后2帧间相机的位姿变化：

设F-1张图像中提取v个关键点的坐标：

第F张图像与第F-1张图像中匹配的关键点的坐标点分别为:

即，第F-1张图像任意第t个关键点Q_t与第F-1张图像任意第t个关键点Q_t'对应，v≥4(v取4,5,6,7,8,9,10,11,12,13……)

将上述第F-1张图像的v个关键点与第F张图像的v个关键点，代入下式：

由此可知：

设：

矩阵：

矩阵：

则，[RT]_F-1,F＝[Q'][Q]^-1

(二)在拟合方法上，与实施例二的区别仅在于，Step2的不同。

Step2，基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：

从第F-1张图像中提取v个关键点，其坐标：

从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

或者：

实施例三，实施例二的运算精度相比较实施例一而言，有了较大的提高。但是，其存在一个问题，其运行步骤Step2而言速度太慢，导致实施例二的运行速度跟不上实际要求。

在相机位姿求解模块203中，需要对相邻前后2帧图像的特征信息进行匹配。特征以角点为例，在没有201获取的外部信息输入的情况下，假设t_F-1时刻角点A在图像的坐标位置为P(x,y,z)，而t_F时刻对应的图像出现的位置为P’(x’,y’,z’)。搜索P-->P’是没有任何范围约束的，即P’可能出现在图像的任意位置，甚至已经不在t时刻图像观测的范围内。

这就导致，实施例二的方法在运行时特别慢(寻找P’费时)。

实施例三的改变体现在Step2上；

如图6所示，一种车道线时空拟合系统，包括：车道图像存储系统、车道线特征提取子系统100、传感器视角变换关系求解子系统200、时序特征坐标系对齐子系统300、车道线拟合子系统400；

车道线特征提取子系统100、传感器视角变换关系求解子系统200的输出端分别与时序特征坐标系对齐子系统300的输入端连接，时序特征坐标系对齐子系统300的输出端与车道线拟合子系统400的输入端连接。

传感器视角变换关系求解子系统200，包括：陀螺仪、轮速信息获取模块201，传感器姿态预测模块202、相机位姿求解模块203。

实施例三的拟合方式，相比较与实施例二而言，也是Step2进行了改变：

Step2-1，初步确定[RT]_{F-1,F，初步}，即利用陀螺仪、轮速信息获取模块201、传感器姿态预测模块202计算[RT]_{F-1,F，初步}

基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算任意第F-1图像与第F张图像之间的[RT]_{F-1,F，初步}

其中，w_y表示绕水平面的转动的角速度；

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度。

Step2-2，基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：

从第F-1张图像中提取v个关键点，其坐标：

则上述v个关键点在第F张图像中的坐标初步确定为：

以上述v个关键点在第F张图像中的坐标初步确定点为圆心，半径为10cm，从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

或者：

实施例三在运行时，有了匹配点的初步范围，其在寻找时效率大增，运行时间大幅节约。

实施例四，无论是实施例一、实施例二、实施例三，其技术方案仍然存在一个问题：精度不足的问题。

对此，提出了下列方案：

将实施例一、二、三中的：时序特征坐标系对齐子系统300进行了修改。

如图7所示，时序特征坐标系对齐子系统300包括，时序特征坐标系变换模块301，时序特征拼接模块302。

对于时序特征坐标系变换模块301而言，其功能并没有改变。

增加的“时序特征拼接模块302”，其功能在于：

对单帧的检测车道线信息，转到同一个坐标系下。应当是：离摄像头越近，可信度越高，权重越高；距离当前时刻越近，可信度越高。并且，图像的时间可信度高于图像中距离可信度(其实质是：t_F-1图像的权重区间小于t_F图像的权重区间)。

这是实施例四的核心构思。

具体而言，权重L采用下式求解：

γ表示参数，其大小在[0,1]，一般取0.1。

u表示调节权重的参数，可取1.0

如图8所示，γ＝0.1，u＝1.0，t₁＝1s，t_N＝5s。对比了t_x＝1.1s，t_x＝3s，t_x＝5s下的不同Z值下的权重L。

特别注意的是，Z为tx时刻下的坐标系下的Z值，而非在统一坐标系下的结果。

将时序特征坐标系变换模块301得到的从t₁～t_N-1时刻的每张图像中采样车道线的特征点，构建坐标矩阵集合，计算每个特征点的权重。

上述在拟合方法上，增加Step3,计算各个采样点的权重。

<车道线拟合子系统400>

根据“时序特征坐标系变换模块301得到的N张图像中的车道线采样点在当前t_N时刻下的坐标系的点集”，“时序特征拼接模块302得到的N张图像的采样点的权重”进行拟合，拟合时仍然采用三次曲线进行拟合：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D。

加权拟合的数学实现上，可以通过Matlab程序实现，或者采用：张永吉.曲线拟合中的加权处理[J].计算机与应用化学,1994,011(003):238-240来实现。

站位到实施例四的方案上看，实施例一、实施例二、实施例三实质上是L＝0的一种特别形式。

实施例五，基于实施例一、实施例二、实施例三、实施例四的方法，提出了一种辅助驾驶系统。

一种辅助驾驶系统，包括前述的车道线时空拟合系统，显示屏；车道线时空拟合系统利用车道线拟合子系统400得到的车道拟合方程，在显示屏上显示预测的车道线。

各个方法的对比

以上所举实施例为本发明的较佳实施方式，仅用来方便说明本发明，并非对本发明作任何形式上的限制，任何所属技术领域中具有通常知识者，若在不脱离本发明所提技术特征的范围内，利用本发明所揭示技术内容所作出局部更动或修饰的等效实施例，并且未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims (9)

1.一种车道线时空拟合的方法，其特征在于，包括以下步骤：

Step1，对一段连续时间t₁～t_N时刻内的第1～N张图像的每个图像的车道线进行检测拟合；

Step2，逐个计算任意前后两张图像，即第F-1张图像，第F张图像之间的[RT]_F-1，F矩阵：

基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算任意第F-1图像与第F张图像之间的[RT]_F-1，F矩阵；其中，w_y表示绕水平面的转动的角速度；

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度；

或者，

基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：从第F-1张图像中提取v个关键点，其坐标：

从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

或者，

逐个计算任意前后两张图像，即第F-1张图像，第F张图像之间的[RT]_F-1，F矩阵，具体包括以下步骤：

Step2-1，初步确定[RT]_{F-1,F，初步}，即利用陀螺仪、轮速信息获取模块、传感器姿态预测模块计算[RT]_{F-1,F，初步}

基于惯导单元和车辆时速预测相机姿态变化，即通过车辆的运动速度v和车辆的角速度w_y信息，计算任意第F-1图像与第F张图像之间的[RT]_{F-1,F，初步}

其中，w_y表示绕水平面的转动的角速度；

其中，ΔT＝t_F-t_F-1，v为t_F-1时刻的车速，w_y为t_F-1时刻的角速度；

Step2-2，基于前后任意两张图像，即第F-1图像与第F张图像的特征点来计算[RT]_F-1，F矩阵：

从第F-1张图像中提取v个关键点，其坐标：

则上述v个关键点在第F张图像中的坐标初步确定为：

以上述v个关键点在第F张图像中的坐标初步确定点为圆心，半径为10～30cm，从第F张图像与第F-1张图像中找到匹配的关键点，其坐标点分别为:

则满足以下矩阵：

其中，

Step3，将一段连续时间内的车道线统一到一个坐标系内：

Step3-1，从t₁～t_N-1时刻的每张图像，即分别从第1～N张图像中选取车道线的采样点；

Step3-2，将第1～N张图像中选取的采样点的坐标均统一到第N张图像的坐标系内；

Step4，进行数据拟合。

2.根据权利要求1所述的一种车道线时空拟合的方法，其特征在于，Step3，还包括：Step3-3，计算Step3-1中的N张图像选取的采样点的权重；

其中，任意时刻下tx中采样点权重L采用下式求解：

γ表示参数，取为0.1；

u表示调节权重的参数；

Z为tx时刻下的坐标系下的Z值。

3.根据权利要求1所述的一种车道线时空拟合的方法，其特征在于，Step1，具体包括：对于任意一个图像而言，采用以下步骤进行检测拟合：

Step1-1，提取图像中的纹理边缘信息作为车道线的底层特征；

Step1-2，将每一条车道线均采用三次曲线来进行拟合，方程表达形式为：

X＝f(Z)＝A*Z³+B*Z²+C*Z+D；

其中，本系统中的坐标系定义为：Z向为车辆前进的方向在水平面的投影，Y向为竖向向上的方向，X向为与Z方向、Y方向垂直的方向；以车辆接触的路面定义为Y＝0，以双目相机的中心线为X＝0，以车辆的最前端为Z＝0；

其中，A，B，C，D均是拟合出来的参数。

4.据权利要求1至3任意一项所述的一种车道线时空拟合的方法，其特征在于，Step3-1，分别从第1～N张图像中选取车道线的采样点，且提取采样点在各图像自身坐标系下的坐标点，采样点选取时是将每一张图像中拍摄到的车道线进行选取，且间隔1cm～100cm选取一个采样点；

具体包括：

首先，从第1张图像中采样车道线的特征点P_1,1,P_2,1,……P_m1，1的三维坐标，构建坐标集合矩阵为：

[St₁]＝[(P_1,1,1)^T(P_2,1,1)^T……(P_m1,1,1)^T]

即，

则有：

每个特征点的三维坐标的形式均为：P_i，1＝(X_i，1,0,Z_i，1)，其中，Z_i,1通过Step1中得到的第一张图像中的车道线的拟合方程计算而得；

然后，从第2张图像中采样车道线的特征点P_1,2,P_2,2,……P_m2，1的三维坐标，其坐标集合矩阵为：

[St₂]＝[(P_1,2,1)^T,(P_2,2,1)^T……(P_m2，2，1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，2＝(X_i，2,0,Z_i，2)，其中，Z_i,2通过Step1中得到的第2张图像中的车道线的拟合方程计算而得；

……

然后，从第N-1张图像中采样车道线的特征点P_1,N-1,P_2,N-1,……P_{m N-1,N-1}的三维坐标，其坐标集合矩阵为：

[St_N-1]＝[(P_1,N-1,1)^T,(P_2,N-1,1)^T,……(P_{m N-1,N-1},1)^T]

即：

则有：

每个特征点的三维坐标的形式均为：P_i，N-1＝(X_i，N-1,0,Z_i，N-1)，其中，Z_i,N-1通过Step1中得到的第N-1张图像中的车道线的拟合方程计算而得；

最后，从第N张图像中采样车道线的特征点P_1,N,P_2,N,……P_{m N,，N}的三维坐标；

每个特征点的三维坐标的形式均为：P_i，N＝(x_i，N,0,z_i，N)，其中，x_i,N通过Step1中得到的第N张图像中的车道线的拟合方程计算而得。

5.据权利要求4所述的一种车道线时空拟合的方法，其特征在于，Step3-2，将第1～N张图像中选取的采样点的坐标统一到第N张图像的坐标系内：

首先，t_N-1时刻对齐到t_N时刻,即第N-1张图像选取的采样点的坐标统一到第N张图像的坐标系内：

[St_N-1,N]＝[RT]_N-1,N×[St_N-1]；[St_N-1,N]表示坐标集合矩阵[St_N-1]转换到第t_N时刻的坐标系下的坐标集合矩阵；[RT]_N-1,N表示从t_N-1到t_N的[RT]矩阵；

……

然后，第t_F时刻对齐到t_N时刻：

[St_F,N]＝[RT]_F,F+1×[RT]_F+1,F+2……[RT]_N-2,N-1×[RT]_N-1,N×[St_F]；

……

最后，第t₁时刻对齐到t_N时刻：

[St_1,N]＝[RT]_1,2×[RT]_2,3……[RT]_N-2,N-1×[RT]_N-1,N×[St₁]。

6.根据权利要求5所述的一种车道线时空拟合的方法，其特征在于，Step4，数据拟合，具体包括：

基于Step3-2得到的第1～N张图像的采样点统一到第N张图像的坐标系的坐标集合，采用三次曲线进行等权重拟合，能够得到车道线方程；

或者，

Step4，数据拟合，具体包括：

基于Step3-2得到的第1～N张图像的采样点统一到第N张图像的坐标系的坐标集合，以及Step3-3得到的各个采样点的权重，采用三次曲线进行加权拟合，能够得到车道线方程。

7.一种车道线时空拟合的系统，其用于执行如权利要求1至6任意一项所述的车道线时空拟合的方法，其特征在于，包括：车道图像存储系统、车道线特征提取子系统、传感器视角变换关系求解子系统、时序特征坐标系对齐子系统、车道线拟合子系统；

车道线特征提取子系统与车道图像存储系统相互连通；

车道线特征提取子系统、传感器视角变换关系求解子系统的输出端分别与时序特征坐标系对齐子系统的输入端连接，时序特征坐标系对齐子系统的输出端与车道线拟合子系统的输入端连接；

其中，车道线特征提取子系统用于：提取图像中的纹理边缘信息作为车道线的底层特征，进而检测出每一条车道线信息的方程；用于执行步骤Step1；

其中，传感器视角变换关系求解子系统包括：陀螺仪、轮速信息获取模块以及传感器姿态预测模块，和/或相机位姿求解模块；用于执行步骤Step2；

其中，时序特征坐标系对齐子系统包括：时序特征坐标系变换模块；用于执行步骤Step3；

其中，车道线拟合子系统，用于执行步骤Step4。

8.一种FPGA芯片，其特征在于，存储有所述的执行如权利要求1至6任意一项所述的车道线时空拟合的方法的程序。

9.一种辅助驾驶系统，其特征在于，包括：如权利要求7所述车道线时空拟合系统、显示屏；

其中，车道线时空拟合系统利用车道线拟合子系统得到的车道拟合方程，在显示屏上显示预测的车道线。

Images