CN116176580A - 一种图像和激光雷达相融合的自动跟车方法及系统 - Google Patents

Abstract

本发明提供了一种图像和激光雷达相融合的自动跟车方法及系统，获取本车前方的视频图像，对视频图像进行处理，检测出车道线和车辆，并确定出本车在车道中的相对位置信息；获取激光雷达探测的本车前方障碍物情况；根据本车前方障碍物情况，判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，融合视频图像，判断本车距离两边车道线的距离是否大于设定值，如果是，则向该方向转向，直到距离该车道线距离小于设定值，方向回正；并控制车速，保持本车和前方车辆的距离在安全范围内。本发明可以减少城市道路拥堵造成的各种交通事故。

Description

一种图像和激光雷达相融合的自动跟车方法及系统

技术领域

本发明属于车辆控制技术领域，具体涉及一种图像和激光雷达相融合的自动跟车方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着经济的发展，汽车的保有量迅速增长，这使城市交通拥堵日益严重，也给驾驶员带来巨大的精神压力。目前市场上也出现了通过单一传感器获取前车和周围环境进行辅助的跟车。从某种意义上并未减轻驾驶者的疲劳，另外自动跟车的可靠性和安全性也得不到很好的保证。

发明内容

本发明为了解决上述问题，提出了一种图像和激光雷达相融合的自动跟车方法及系统，本发明可以实现道路环境的自动跟车，将图像和激光雷达技术相融合，使得车辆的检测、跟踪更准确，以及各种天气状况下的安全问题得到更好保证。减少城市道路拥堵造成的各种交通事故。

根据一些实施例，本发明采用如下技术方案：

一种图像和激光雷达相融合的自动跟车方法，包括以下步骤：

获取本车前方的视频图像，对视频图像进行处理，检测出车道线和车辆，并确定出本车在车道中的相对位置信息；

获取激光雷达探测的本车前方障碍物情况；

根据本车前方障碍物情况，判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，融合视频图像，判断本车距离两边车道线的距离是否大于设定值，如果是，则向该方向转向，直到距离该车道线距离小于设定值，方向回正；并控制车速，保持本车和前方车辆的距离在安全范围内。

作为可选择的实施方式，对视频图像进行处理的具体过程包括通过图像增强算法进行增强，突出车道线边缘信息，采用自适应的二值化算法将图像二值化。

作为可选择的实施方式，检测出车道线的具体过程包括根据车道线在图像中的特征信息提取出车道线内边缘，采用直线拟合技术检测出车道线，根据相机标定结果，将车道线图像坐标转换为世界坐标中的相对位置，从而确定出车体在车道中的相对位置信息。

作为可选择的实施方式，检测出车辆的具体过程包括，对图像进行二值化，将车底阴影区域提取出来，根据车辆阴影和车辆轮廓具有的特征信息，确认检测的区域中是否有车辆存在，如果存在，计算出车辆相对与本车的方位信息。

作为可选择的实施方式，前方障碍物情况的包括障碍物的距离、方位以及速度信息。

一种图像和激光雷达相融合的自动跟车系统，包括：

图像采集子系统，用于获取车辆前方的视频图像，对视频图像进行处理，检测出车道线，并确定出车体在车道中的相对位置信息；

激光雷达采集子系统，用于获取激光雷达探测的车辆前方障碍物情况；

决策控制器，用于根据车辆前方障碍物情况，判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，融合视频图像，确定跟车控制策略；

横向控制子系统，用于执行跟车控制策略，判断本车距离两边车道线的距离是否大于设定值，如果是，则向该方向转向，直到距离该车道线距离小于设定值，方向回正；

纵向控制子系统，用于执行跟车控制策略，控制车速，保持本车和前车的距离在安全范围内。

作为可选择的实施方式，所述决策控制器被配置为根据激光雷达采集子系统探测的数据进行预处理，以判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，和图像采集子系统的视频信息融合并根据本车速度信息进行自动跟车策略进行自动跟车。

作为可选择的实施方式，所述纵向控制子系统被配置为接收控制车辆目标速度的控制命令，驱动线控制动单元和电子油门单元，并根据目前检测到的实际车速信号进行制动和油门的动态P I D闭环控制，从而实现车辆的速度控制。

作为可选择的实施方式，所述横向控制子系统被配置为接收目标角度及角速度命令，并通过线控转向单元实施转向目的。

作为可选择的实施方式，各子系统之间的信息传输通过CAN通信网络。

与现有技术相比，本发明的有益效果为：

本发明可以实现道路环境的自动跟车，将图像和激光雷达技术相融合，使得车辆的检测、跟踪更准确，以及各种天气状况下的安全问题得到更好保证。能够减少城市道路拥堵造成的各种交通事故，及减轻驾驶者的精神压力。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明自动跟车系统示意图；

图2是本发明纵向控制系统示意图；

图3是本发明纵向控制系统控制策略示意图；

图4是本发明电子油门单元输出特性图；

图5是本发明横向控制子系统示意图；

图6是本发明图像采集子系统处理示意图；

图7是本发明自动跟车车速控制策略流程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

一种基于图像和激光雷达相融合的自动跟车系统，包括激光雷达采集子系统、图像采集子系统、决策控制器、纵向控制子系统、横向控制子系统、CAN通信网络、人机交互子系统和电源供给子系统。

图像采集子系统包括相机和与之连接的图像信号处理器。

激光雷达采集子系统包括相互连接的激光雷达、激光雷达信号处理器。

纵向控制子系统包括纵向控制器、线控制动单元、电子油门单元，其中纵向控制器和线控制动单元、电子油门单元连接。

横向控制子系统包括横向控制器、线控转向单元，所述横向控制器连接线控转向单元。

其中，图像信号处理器、激光雷达信号处理器和决策控制器通信，所述决策控制器和横向控制子系统、纵向控制子系统通信。

CAN通信网络包括横向控制子系统的CAN单元、纵向控制系统的CAN单元和车载CAN单元。

人机交互子系统包括设置于车内的按钮和故障显示单元。

图像采集子系统主要负责车道线检测和前方车辆检测功能。相机采集的视频图像分别进入车道线检测和车辆检测两个分系统中。在车道线检测系统中，图像首先通过图像增强算法进行增强，突出车道线边缘信息，然后采用自适应的二值化算法将图像二值化，然后根据车道线在图像中的特征信息提取出车道线内边缘，采用直线拟合技术检测出车道线。根据相机标定结果，将车道线图像坐标转换为世界坐标中的相对位置，从而确定出车体在车道中的相对位置信息，并将该信息数据发送到CAN通信网络。

对于车辆检测，采用基于车底阴影的车辆检测方法。算法首先进行二值化，将车底阴影区域提取出来，然后根据车辆阴影和车辆轮廓具有的特征信息，确认检测的区域中是否有车辆存在。如果存在，计算出车辆相对与本车的方位信息(世界坐标中)，并将该信息数据发送到CAN通信网络。

激光雷达采集子系统的激光雷达安装于汽车前保中央位置，离地高度控制在50-80cm，同时保证激光雷达天线辐射面平行与汽车前保险平面。

当然，在其他实施例中，上述参数可以进行调整。不同类型的车辆，设置位置也不一样，进行适应性调整。

激光雷达采集子系统有效实现前方中远距离二合一探测，中距离宽视角用来发现邻近车道侧向切入的车辆、识别交叉在大车间的车辆和行人；长距离提供精确的距离、速度数据以及识别多目标。实施过程为：当激光雷达采集子系统被激活后，激光雷达便会不断向汽车前方车道及相邻车道发射高频电磁波对前方进行探测，判定前方是否有障碍物；当探测到汽车前方有障碍物时，系统会同时获得这些障碍物的距离、方位以及速度信息，该信息会通过CAN通信网络送给决策控制器。

决策控制器根据激光雷达采集子系统探测的数据进行预处理，以判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息(如距离、相对速度、方位)；再和相机传感器视频信息融合并根据本车速度信息进行自动跟车策略(具体见图7，后文具体介绍)进行自动跟车。系统的故障信息通过人机交互子系统显示出来，以方便驾驶者切换到正常驾驶。

如图3所示，纵向控制子系统的纵向控制器通过CAN通信网络接收控制车辆目标速度的控制命令，再经过纵向控制器的控制策略和算法的实施，如图4所示，驱动线控制动单元和电子油门单元，并根据目前检测到的实际车速信号进行制动和油门的动态PID闭环控制，从而实现车辆的速度控制。在速度控制环节，系统实施故障动态检测，对出现的故障以CAN的方式向外发送故障信息。

如图5所示，横向控制子系统的横向控制器通过CAN通信网络，接收目标角度及角速度命令，并通过线控转向单元实施转向目的。并实时将方向盘的角度信息通过CAN通信网络发送出来。

电源供给子系统用于为各子系统提供10V-24V电源。

如图6所示，图像采集子系统通过相机实施采集视频信息，并对相机采集的视频的图像进行处理，最终将前方车辆距离、本车离车道线距离发送到CAN通信网络。激光雷达传感器也实时采集前方车辆信息，并将本车道的前方车辆的距离、方位、相对速度信息发送到CAN通信网络。决策控制器实时接收图像采集子系统和激光雷达采集子系统发往CAN通信网络的数据，并将两者的数据进行融合，除去干扰数据，并最终确定前方车辆的距离、方位、相对速度信息以及本车离车道线的距离。

决策控制器制定自主跟车策略，时刻计算与前方车辆的安全距离和相对速度，并通过CAN通信网络将本车要调整的目标速度命令发给纵向控制子系统，并将转角和角速度命令发给横向控制子系统。

纵向控制子系统的纵向控制器接收到目标速度命令后，控制线控制动单元和电子油门单元，并结合车载CAN通信网络上的车速反馈信息，进行车速的闭环控制。

同样，横向控制子系统的横向控制器接收到目标角度和角速度信息后，控制线控转向单元驱动转向系统以目标的角速度到达目标的角度。本系统根据与前车的安全距离和相对速度，控制本车的自动调整跟车速度，再根据本车离车道线的距离，控制本车只在本车道线内的自动跟车。

本系统的电源供给子系统上电，系统通过人机交互系统确定系统是否进入到自动跟车模式。当人机交互子系统的按钮被按下，系统将接收到并进入自动跟车模式。此时图像采集子系统以及激光雷达采集子系统开始工作，并实时将处理后的数据发送到CAN通信网络，决策控制器也实时接收来自CAN通信网络的数据，将两组数据融合处理。

作为一种典型示例，本实施例还提供一种自动跟车策略，具体包括：计算出本车的下个目标速度，及是否需要转向，如要转向，确定转向的下个目标角度和角速度；再将目标速度通过CAN通信网络发送给纵向控制子系统，实施车辆的速度控制；将角度和角速度通过CAN通信网络发送给横向控制子系统，实施车辆的转向控制。

在本实施例中，速度的控制将遵循以下规则：

1)当本车与前车的距离S1<安全距离S,减小目标车速；

2)当本车与前车的距离S1>安全距离S,增大目标车速，最高速度不高于100km/h；

3)当本车与前车的距离S1＝安全距离S,保持目标车速。

当然，上述档位设置，以及阈值的值都是可以进行调整的。并不仅限定于本实施例给出的示例范围。

转向的控制将遵循以下规则：

车辆距离两边车道线的距离d＝(D-L)/2，其中：D:车道线宽度，L：本车宽度。

当离左车道线距离d>(D-L)时，方向向左转，并根据本车的速度发送相应的转角和角速度信息给横向控制子系统；

当离右车道线距离d>(D-L)时，方向向右转，并根据本车的速度发送相应的转角和角速度信息给横向控制子系统；

当离左车道线距离0<d<(D-L)时，方向回正，并根据本车的速度发送转角和角速度信息给横向控制子系统；

当离右车道线距离0<d<(D-L)时，方向回正，并根据本车的速度发送转角和角速度信息给横向控制子系统。

同样的，上述阈值的值都是可以进行调整的。并不仅限定于本实施例给出的示例范围。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，本领域技术人员不需要付出创造性劳动所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像和激光雷达相融合的自动跟车方法，其特征是，包括以下步骤：

获取本车前方的视频图像，对视频图像进行处理，检测出车道线和车辆，并确定出本车在车道中的相对位置信息；

获取激光雷达探测的本车前方障碍物情况；

根据本车前方障碍物情况，判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，融合视频图像，判断本车距离两边车道线的距离是否大于设定值，如果是，则向该方向转向，直到距离该车道线距离小于设定值，方向回正；并控制车速，保持本车和前方车辆的距离在安全范围内。

2.如权利要求1所述的一种图像和激光雷达相融合的自动跟车方法，其特征是，对视频图像进行处理的具体过程包括通过图像增强算法进行增强，突出车道线边缘信息，采用自适应的二值化算法将图像二值化。

3.如权利要求1所述的一种图像和激光雷达相融合的自动跟车方法，其特征是，检测出车道线的具体过程包括根据车道线在图像中的特征信息提取出车道线内边缘，采用直线拟合技术检测出车道线，根据相机标定结果，将车道线图像坐标转换为世界坐标中的相对位置，从而确定出车体在车道中的相对位置信息。

4.如权利要求1所述的一种图像和激光雷达相融合的自动跟车方法，其特征是，检测出车辆的具体过程包括，对图像进行二值化，将车底阴影区域提取出来，根据车辆阴影和车辆轮廓具有的特征信息，确认检测的区域中是否有车辆存在，如果存在，计算出车辆相对与本车的方位信息。

5.如权利要求1所述的一种图像和激光雷达相融合的自动跟车方法，其特征是，前方障碍物情况的包括障碍物的距离、方位以及速度信息。

6.一种图像和激光雷达相融合的自动跟车系统，其特征是，包括：

图像采集子系统，用于获取车辆前方的视频图像，对视频图像进行处理，检测出车道线，并确定出车体在车道中的相对位置信息；

激光雷达采集子系统，用于获取激光雷达探测的车辆前方障碍物情况；

决策控制器，用于根据车辆前方障碍物情况，判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，融合视频图像，确定跟车控制策略；

横向控制子系统，用于执行跟车控制策略，判断本车距离两边车道线的距离是否大于设定值，如果是，则向该方向转向，直到距离该车道线距离小于设定值，方向回正；

纵向控制子系统，用于执行跟车控制策略，控制车速，保持本车和前车的距离在安全范围内。

7.如权利要求6所述的一种图像和激光雷达相融合的自动跟车系统，其特征是，所述决策控制器被配置为根据激光雷达采集子系统探测的数据进行预处理，以判定障碍物是否在本车道内，剔除不在本车道内的前方障碍物信息，获取在本车道内最近的障碍物信息，和图像采集子系统的视频信息融合并根据本车速度信息进行自动跟车策略进行自动跟车。

8.如权利要求6所述的一种图像和激光雷达相融合的自动跟车系统，其特征是，所述纵向控制子系统被配置为接收控制车辆目标速度的控制命令，驱动线控制动单元和电子油门单元，并根据目前检测到的实际车速信号进行制动和油门的动态PID闭环控制，从而实现车辆的速度控制。

9.如权利要求6所述的一种图像和激光雷达相融合的自动跟车系统，其特征是，所述横向控制子系统被配置为接收目标角度及角速度命令，并通过线控转向单元实施转向目的。

10.如权利要求6所述的一种图像和激光雷达相融合的自动跟车系统，其特征是，各子系统之间的信息传输通过CAN通信网络。

Images