CN110705444A - 车道跟踪系统及方法 - Google Patents

Abstract

本发明涉及自动驾驶图像处理技术领域，公开了一种车道跟踪系统及方法，用于根据摄像头采集的车道线数据进行车道跟踪，输出从车身周围到前方若干米的车道数据，以便于准确判断汽车当前与车道的横向距离情况。本发明根据车辆的从上一时刻t0到当前时刻t1的运动情况(车辆位移和车辆水平的偏航角)，对车道线上的点集进行位置变换，然后将变换后的车道线和当前时刻检测的车道线进行组合，这样组合的车道线包括t0到t1时刻的车道和t1时刻前方检测的车道，如此，当车辆向前行进一段距离后，即可持续输出从车辆周围到前方的车道线。本发明适用于车道线跟踪。

Description

车道跟踪系统及方法

技术领域

本发明涉及自动驾驶图像处理技术领域，特别涉及车道跟踪系统及方法。

背景技术

随着自动驾驶技术的快速发展，车道偏移预警功能也不断的得到使用体现，目前常用的自动驾驶车道偏离预警的车道跟踪系统，主要还是采用图像识别车道线的方式进行判断，但是由于摄像头安装在车身上，距离地面有一定高度，所以摄像头所采集的车道图像在投影到车体坐标系下时，车道线实际离车辆纵向距离还有一定距离，导致无法准确判断汽车当前与车道的横向距离情况。

发明内容

本发明要解决的技术问题是：提供一种车道跟踪系统及方法，用于根据摄像头采集的车道线数据进行车道跟踪，输出从车身周围到前方若干米的车道数据，以便于准确判断汽车当前与车道的横向距离情况。

为解决上述问题，本发明采用的技术方案如下：

车道跟踪系统，包括图像采集单元、车辆运动数据采集单元以及融合分析计算单元；

图像采集单元用于定期采集车辆前方图像数据，并将图像数据传输到分析计算单元进行计算；

车辆运动数据采集单元用于采集车辆运动数据，并实时将采集到的数据送人分析计算单元进融合计算；

融合分析计算单元用于完成以下功能：

1)、根据图像采集单元采集的图像信息识别车道信息，并将车道信息拟合采样成车道的序列点；

2)、根据图像采集单元的摄像头的内参数据以及图像采集单元在车辆上安装的外参数据，实现点集由图像坐标系转换到车体坐标系；

2)、根据图像采集单元的摄像头的内参数据以及图像采集单元在车辆上安装的外参数据，实现点集由图像坐标系转换到车体坐标系；

3)、将当前时刻得到的车体坐标系下的点集与历史点集进行融合，从而得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合；其中，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元的采集间隔时间以及车辆运动数据，对车体坐标系下的点集进行位置更新。

进一步的，图像采集单元一般安装在车辆后视镜位置。

进一步的，所述运动数据可包括车辆的速度和方向盘偏离数据；若位置更新前的点集中一点的坐标为P(x,y)，则对车体坐标系下的点集进行位置更新后的点集坐标P_new(x_new,y_new)为：

x_new＝x*cos(yaw)-y*sin(yaw)-disX

y_new＝x*sin(yaw)+y*cos(yaw)-disY

其中，yaw为车辆的偏航角，车辆的偏航角由方向盘偏离数据得到；disX和disY分别为在间隔时间t后车辆水平位移和车辆纵向位移，disX＝vx*t,disY＝vy*t，t为图像采集单元的采集间隔时间，vx和vy分别为车辆出现偏离后由车辆的速度分解出来的水平速度和纵向速度。

进一步的，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合的步骤可包括：

计算当前得到的车体坐标系下的点集中距离车辆纵向距离最近的值，记为minY，将minY与历史点集中的点进行比较，删除历史点集中距离车辆纵向距离大于minY的点，然后将两个点集合进行合并。

进一步的，当车体坐标系下的点集中的点距离车辆纵向距离小于0时，说明这些点在车后面了，这些点就没有了实际价值，为了减轻存储压力，在融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，可删除历史点集中距离车辆纵向距离小于0的点。

车道跟踪方法，包括如下步骤：

步骤1：融合分析计算单元计算图像采集的内外参矩阵，包括：

根据图像采集模块的摄像头的内部参数，得到内参矩阵K；根据图像采集单元的摄像头在车辆上的安装位置，得到外参矩阵L；

步骤2：图像采集单元定期采集一帧图像送入融合分析计算单元，同时车辆运动数据采集单元采集车辆当前的速度和方向盘转向数据送入融合分析计算单元；

步骤3：融合分析计算单元根据图像采集单元送入的图像，识别图像中的车道数据，并拟合采样成车道的序列点；

步骤4：融合分析计算单元根据步骤3计算得到的点集，结合步骤1得到的内参矩阵K和外参矩阵，实现点集由图像坐标系转换到车体坐标系，得到图像车道线在车体坐标系下的点集；

步骤5：将当前时刻得到的车体坐标系下的点集与历史点集进行融合，从而得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合；其中，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元的采集间隔时间以及车辆运动数据，对车体坐标系下的点集进行位置更新。

进一步的，图像采集单元一般安装在车辆后视镜位置。

进一步的，所述运动数据可包括车辆的速度和方向盘偏离数据；若位置更新前的点集中一点的坐标为P(x,y)，则对车体坐标系下的点集进行位置更新后的点集坐标P_new(x_new,y_new)为：

x_new＝x*cos(yaw)-y*sin(yaw)-disX

y_new＝x*sin(yaw)+y*cos(yaw)-disY

其中，yaw为车辆的偏航角，车辆的偏航角由方向盘偏离数据得到；disX和disY分别为在间隔时间t后车辆水平位移和车辆纵向位移，disX＝vx*t,disY＝vy*t，t为图像采集单元的采集间隔时间，vx和vy分别为车辆出现偏离后由车辆的速度分解出来的水平速度和纵向速度。

进一步的，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合的步骤可包括：

计算当前得到的车体坐标系下的点集中距离车辆纵向距离最近的值，记为minY，将minY与历史点集中的点进行比较，删除历史点集中距离车辆纵向距离大于minY的点，然后将两个点集合进行合并。

进一步的，当车体坐标系下的点集中的点距离车辆纵向距离小于0时，说明这些点在车后面了，这些点就没有了实际价值，为了减轻存储压力，在融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，可删除历史点集中距离车辆纵向距离小于0的点。

本发明的有益效果：本发明通过图像识别技术与车辆行进数据相结合，经过融合分析后跟踪车导线的数据信息，随着车辆的行进，不断积累行进距离段的车道线数据信息，从而更为准确的计算出车辆坐标系下车辆周围车道尤其是靠近车辆的车道信息。

附图说明

图1为车辆摄像头采集车道线示意图。

图2为用于感知决策的车道线信息示意图。

图3为本发明的算法流程图。

图4a为图像坐标系下的车道线示意图。

图4b为车辆坐标系下的车道线示意图。

图5为车道线一点随着车辆运动t0时刻变换到t1时刻示意图。

图6a为上一时刻t0检测的车道线示意图。

图6b为上一时刻t0变换到当前时刻t1的车道线示意图

图6c为当前时刻t1检测的车道线示意图

图6d为上一时刻t0变换之后与当前时刻t1检测合并的车道线示意图。

图中编号：S为摄像头采集区域，L1-L4分别为各条车道线，A1为摄像头可见车道线，A2为摄像头不可见车道线，D1-D4分别为车辆与各条车道线的横向距离，Lt0为时刻t0检测的车道线，Lt1为当前时刻检测的车道线，时刻t0变换到时刻t1的车道线，Lt01为时刻t0变换并与时刻t1合并的车道线。

具体实施方式

由于摄像头无法采集车身周围车道线，如图1所示，而自动驾驶需要车身周围车道数据进行感知决策，就需要根据摄像头采集的车道线数据进行车道跟踪，如图2所示，输出从车身周围到前方若干米的车道数据。本发明根据车辆的从上一时刻t0到当前时刻t1的运动情况(车辆位移和车辆水平的偏航角)，对车道线上的点集进行位置变换，然后将变换后的车道线和当前时刻检测的车道线进行组合，这样组合的车道线包括t0到t1时刻的车道和t1时刻前方检测的车道，如此，当车辆向前行进一段距离后，即可持续输出从车辆周围到前方的车道线。本发明在构建方案时，可将系统考虑成以下几个部分：

一、图像采集单元，图像采集单元安装在车辆后视镜位置，水平向前采集前方图像数据，并将一帧一帧的图像数据传输到分析计算单元进行计算。

二、车辆运动数据采集单元，连接车辆CAN获取车辆运动数据，采集的运动数据包括车辆的速度和方向盘偏离数据等，并实时将采集到的数据送人分析计算单元进融合计算。

三、融合分析计算单元，连接图像采集单元和车辆运动数据采集单元，实时获取上述单元采集的数据，完成以下功能：

A、根据摄像头内参数据实现图像的畸变校正；

B、根据图像信息识别车道信息，并拟合车道线，采样车道线数据形成点集合。

C、根据摄像头在车辆上安装的外参数据，实现图像的外参修正和车道线点集合的车体坐标系转换。

D、根据车辆方向盘转向数据计算出车辆行进偏移角度，结合车辆速度数据，实现对车体坐标系下的车道线的跟踪。

结合以上思路，本发明具体提供了一种车道跟踪系统，其特征在于，包括图像采集单元、车辆运动数据采集单元以及融合分析计算单元；

图像采集单元用于定期采集车辆前方图像数据，并将图像数据传输到分析计算单元进行计算；

车辆运动数据采集单元用于采集车辆运动数据，并实时将采集到的数据送人分析计算单元进融合计算；所述运动数据包括车辆的速度和方向盘偏离数据；

融合分析计算单元用于完成以下功能：

1)、根据图像采集单元采集的图像信息识别车道信息，并将车道信息拟合采样成车道的序列点；

2)、根据图像采集单元的摄像头的内参数据以及图像采集单元在车辆上安装的外参数据，实现点集由图像坐标系转换到车体坐标系；其中，图像采集单元安装在车辆后视镜位置；

3)、将当前时刻得到的车体坐标系下的点集与历史点集进行融合，从而得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合；其中，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元的采集间隔时间以及车辆运动数据，对车体坐标系下的点集进行位置更新。

若位置更新前的点集坐标为P(x,y)，则对车体坐标系下的点集进行位置更新后的点集坐标P_new(x_new,y_new)为：

x_new＝x*cos(yaw)-y*sin(yaw)-disX

y_new＝x*sin(yaw)+y*cos(yaw)-disY

其中，yaw为车辆的偏航角，车辆的偏航角由方向盘偏离数据得到；disX和disY分别为在间隔时间t后车辆水平位移和车辆纵向位移，disX＝vx*t,disY＝vy*t，t为图像采集单元的采集间隔时间，vx和vy分别为车辆出现偏离后由车辆的速度分解出来的水平速度和纵向速度。

当车体坐标系下的点集中的点距离车辆纵向距离小于0时，说明这些点在车后面了，没有实际价值，为了减轻存储压力，了在融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，删除历史点集中距离车辆纵向距离小于0的点。

基于以上系统，本发明还具体提供了一种车道跟踪方法，如图3所示，包括如下步骤：

步骤1：融合分析计算单元计算图像采集的内外参矩阵，包括：

1-1、通过张氏标定法，根据图像采集模块的摄像头的内部参数，得到内参矩阵K，并存储到融合分析计算单元；

1-2、根据图像采集单元的摄像头在车辆上的安装位置，得到外参矩阵L，并存储到融合分析计算单元。

步骤2：图像采集单元定期采集(间隔时间t)一帧图像送入融合分析计算单元，同时车辆运动数据采集单元采集车辆当前的速度和方向盘转向数据送入融合分析计算单元。

步骤3：融合分析计算单元根据图像采集单元送入的图像，识别图像中的车道数据，并拟合采样成车道的序列点，如车道I的点集{p1,p2,p3…pn},每个点Pi由在图像中的横纵坐标(x,y)表示。

步骤4：融合分析计算单元根据步骤3计算得到的点集，结合步骤1得到的内参矩阵K和外参矩阵，实现点集由图像坐标系转换到车体坐标系，得到图像车道线在车体坐标系下的点集。如图4a和图4b所示，转换后每个点的坐标表示为该点离车辆摄像头的横向x和纵向y距离，单位为米，横向x左侧为负值，右侧为正值。

实际实施的过程中，在第一帧图像时，本发明将直接存储步骤4转换后的车道点集，用于车道跟踪。当下一帧图像到达时，先执行步骤3和步骤4，得到当前时刻得到的车体坐标系下的点集，然后继续执行步骤5。

步骤5：将如图6c所示当前时刻得到的车体坐标系下的点集与如图6b所示历史点集进行融合，从而如图6d所示得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合。其中，融合的步骤可包括：计算当前得到的车体坐标系下的点集中距离车辆纵向距离最近的值，记为minY，将minY与历史点集中的点进行比较，删除历史点集中距离车辆纵向距离大于minY的点，然后将两个点集合进行合并，即可持续输出从车辆周围到前方的车道线。

在车道跟踪过程中，随着时间的推移，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元采集间隔以及车辆运动数据，对车体坐标系下的点集进行位置更新。结合图5、图6a及图6b所示，本方法的位置更新的计算过程如下：

5-1、融合分析计算单元根据车辆在t0时刻分解出来的纵向方向(y方向)和水平方向(x方向)的速度vy和vx，以及图像采集单元的采集间隔的采集间隔t，计算车的位移disX＝vx*t,disY＝vy*t。

5-2、融合分析计算单元根据步骤2得到的车辆方向盘转向数据计算车辆的运动偏移角度seta，进而得到车辆的偏航角yaw，yaw＝seta。

5-3、位置更新前(即t0时刻)的点集中一点P(x,y)，根据欧拉角的偏航角变换计算点P在新的车辆坐标系(即t1时刻的车辆坐标系)下的坐标位置P_new(x_new,y_new)，则有：

x_new＝x*cos(yaw)-y*sin(yaw)-disX；

y_new＝x*sin(yaw)+y*cos(yaw)-disY。

步骤6：随着图像采样的增加，形成的新的集合中靠近车辆的车道线点集在不断增加，当车体坐标系下的点集中的点距离车辆纵向距离小于0时，说明这些点在车后面了，这些点就没有了实际价值，为了减轻存储压力，在融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，可删除历史点集中距离车辆纵向距离小于0的点。

Claims (10)

1.车道跟踪系统，其特征在于，包括图像采集单元、车辆运动数据采集单元以及融合分析计算单元；

图像采集单元用于定期采集车辆前方图像数据，并将图像数据传输到分析计算单元进行计算；

车辆运动数据采集单元用于采集车辆运动数据，并实时将采集到的数据送人分析计算单元进融合计算；

融合分析计算单元用于完成以下功能：

1)、根据图像采集单元采集的图像信息识别车道信息，并将车道信息拟合采样成车道的序列点；

2)、根据图像采集单元的摄像头的内参数据以及图像采集单元在车辆上安装的外参数据，实现点集由图像坐标系转换到车体坐标系；

3)、将当前时刻得到的车体坐标系下的点集与历史点集进行融合，从而得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合；其中，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元的采集间隔时间以及车辆运动数据，对车体坐标系下的点集进行位置更新。

2.如权利要求1所述的车道跟踪系统，其特征在于，图像采集单元安装在车辆后视镜位置。

3.如权利要求1所述的车道跟踪系统，其特征在于，所述运动数据包括车辆的速度和方向盘偏离数据；若位置更新前的点集中一点的坐标为P(x,y)，则对车体坐标系下的点集进行位置更新后的点集坐标P_new(x_new,y_new)为：

x_new＝x*cos(yaw)-y*sin(yaw)-disX

y_new＝x*sin(yaw)+y*cos(yaw)-disY

其中，yaw为车辆的偏航角，车辆的偏航角由方向盘偏离数据得到；disX和disY分别为在间隔时间t后车辆水平位移和车辆纵向位移，disX＝vx*t,disY＝vy*t，t为图像采集单元的采集间隔时间，vx和vy分别为车辆出现偏离后由车辆的速度分解出来的水平速度和纵向速度。

4.如权利要求1所述的车道跟踪系统，其特征在于，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合的步骤包括：

计算当前得到的车体坐标系下的点集中距离车辆纵向距离最近的值，记为minY，将minY与历史点集中的点进行比较，删除历史点集中距离车辆纵向距离大于minY的点，然后将两个点集合进行合并。

5.如权利要求1所述的车道跟踪系统，其特征在于，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，还将删除历史点集中距离车辆纵向距离小于0的点。

6.车道跟踪方法，其特征在于，包括如下步骤：

步骤1：融合分析计算单元计算图像采集的内外参矩阵，包括：

根据图像采集模块的摄像头的内部参数，得到内参矩阵K；根据图像采集单元的摄像头在车辆上的安装位置，得到外参矩阵L；

步骤2：图像采集单元定期采集一帧图像送入融合分析计算单元，同时车辆运动数据采集单元采集车辆当前的速度和方向盘转向数据送入融合分析计算单元；

步骤3：融合分析计算单元根据图像采集单元送入的图像，识别图像中的车道数据，并拟合采样成车道的序列点；

步骤4：融合分析计算单元根据步骤3计算得到的点集，结合步骤1得到的内参矩阵K和外参矩阵，实现点集由图像坐标系转换到车体坐标系，得到图像车道线在车体坐标系下的点集；

步骤5：将当前时刻得到的车体坐标系下的点集与历史点集进行融合，从而得到一个新的历史点集并保存，该新的历史点集用于与下一时刻得到的车体坐标系下的点集进行融合；其中，保存的历史点集会每隔一个图像采集单元的采集间隔，根据图像采集单元的采集间隔时间以及车辆运动数据，对车体坐标系下的点集进行位置更新。

7.如权利要求6所述的车道跟踪方法，其特征在于，图像采集单元安装在车辆后视镜位置。

8.如权利要求6所述的车道跟踪方法，其特征在于，所述运动数据包括车辆的速度和方向盘偏离数据；若位置更新前的点集中一点的坐标为P(x,y)，则对车体坐标系下的点集进行位置更新后的点集坐标P_new(x_new,y_new)为：

x_new＝x*cos(yaw)-y*sin(yaw)-disX

y_new＝x*sin(yaw)+y*cos(yaw)-disY

其中，yaw为车辆的偏航角，车辆的偏航角由方向盘偏离数据得到；disX和disY分别为在间隔时间t后车辆水平位移和车辆纵向位移，disX＝vx*t,disY＝vy*t，t为图像采集单元的采集间隔时间，vx和vy分别为车辆出现偏离后由车辆的速度分解出来的水平速度和纵向速度。

9.如权利要求6所述的车道跟踪方法，其特征在于，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合的步骤包括：

计算当前得到的车体坐标系下的点集中距离车辆纵向距离最近的值，记为minY，将minY与历史点集中的点进行比较，删除历史点集中距离车辆纵向距离大于minY的点，然后将两个点集合进行合并。

10.如权利要求6所述的车道跟踪方法，其特征在于，融合分析计算单元将当前得到的车体坐标系下的点集与历史点集进行融合时，还将删除历史点集中距离车辆纵向距离小于0的点。

Images