CN104574376B - 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 - Google Patents

Abstract

本发明公开了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，包括以下步骤：对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据并进行预处理；判断当前车辆前方是否有障碍物，如果有障碍物采用联合鲁棒校验方法，得到当前障碍物相对于本车的距离信息并根据障碍物距离信息预警。本发明极大地提高障碍物识别效率和鲁棒性。解决了拥挤交通环境中，摄像机所获得障碍物轮廓不完整的问题，同时，能够获得更为准确可靠的障碍物参数信息。

Description

拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法

技术领域

本发明属于智能车辆技术领域，涉及汽车安全行驶，具体涉及拥挤交通中基于双目视觉和激光雷达的联合校验防撞方法。

背景技术

随着汽车技术的发展，交通安全问题越发突出。而车辆碰撞为交通事故的主要表现形式。

智能交通系统通过改进“人-车-环境”耦合系统的智能化水平，可以有效提高在途行驶车辆的安全性。作为智能交通系统的重要组成部分，智能车辆防撞技术是其实现智能化的关键。

基于机器视觉和激光雷达的避障方法是智能车辆常用的避障技术，其技术要点在于首先通过机器视觉方法获得周围环境中的障碍信息，然后使用激光雷达技术获取所探测障碍物的景深信息，综合得到障碍物的实时信息。该方法结构简单，易于实现，对于车辆在未知环境中行驶时的障碍识别具有重要的意义。

然而，当交通系统比较拥挤时，由于车辆间距离较近，摄像机无法获取环境中相邻车辆的整体轮廓信息，系统会表现出鲁棒性不高，“虚警”、“漏检”现象严重等问题，并可能导致交通事故。因此，在拥挤环境中，如何准确地检测出前方车辆的相对位置和类型，并指导车辆防撞是一个亟待解决的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法，解决现有技术在拥挤交通环境下鲁棒性不高的问题。

为了实现本发明的上述目的，本发明提供了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，具体包括以下步骤：

S1，对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；

S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理；

S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4；

S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息；

S5，根据步骤S4所确定的障碍物距离信息，进行预警，提醒驾驶员前方障碍信息。

相比现有技术，本发明具有如下有益效果：

1、本发明采用双层障碍物检测方法，包括：首先使用耗时较短的“障碍物存在性联合快速校验方法”判断车辆前方是否存在障碍物。当确定障碍物存在后，调用“障碍物参数联合鲁棒校验方法”确定障碍物的具体参数。本发明可以极大的提高障碍物识别效率和鲁棒性，系统检测单次循环不超过38ms，检测成功率达到93％以上。

2、本发明采用双目视觉系统和激光雷达作为环境感知设备，同时对车辆前方行驶环境进行探测。通过对左、右摄像机所捕获图像的拼接处理，解决了拥挤交通环境中，摄像机所获得障碍物轮廓不完整的问题。同时，采用距离信息融合的方法，将双目视觉三维环境重构，获得的障碍物的距离信息和激光雷达获得的障碍物距离信息相融合，获得更为准确可靠的障碍物参数信息。

附图说明

图1为本发明的双目视觉系统和激光雷达系统硬件框图；

图2为本发明的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法的流程图；

图3为本发明的航位推算坐标变换示意图；

图4为本发明的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法的逻辑框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明拥挤交通中基于双目视觉和激光雷达的车辆防撞方法利用的系统如图1所示，防撞系统包括双目视觉系统、激光雷达采集系统、电源和电子控制计算单元。其中，双目视觉系统包括左摄像头、左摄像头数据采集卡、右摄像头和右摄像头数据采集卡，摄像头数据采集卡将图像信号采集后通过以太网传输到电子控制计算单元中；激光雷达系统用来对车辆前方障碍物进行扫描，并将数据通过以太网传输到电子控制计算单元中；电子控制计算单元用来处理双目视觉系统和激光雷达系统的数据；电源系统为双目视觉系统、激光雷达采集系统和电子控制计算单元提供电能。

本发明还提供了一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，如图2和图4所示，其包括以下步骤：

S1，采用联合标定方法对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系。

在本实施方式中，采用联合标定方法建立摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系，具体方法为：

S11，对左摄像机、右摄像机分别进行标定，获得摄像机的标定参数，所述标定参数包括：左摄像机内参矩阵M_L，右摄像机内参矩阵M_R，左摄像机旋转矩阵R_L，右摄像机旋转矩阵R_R，左摄像机平移向量t_L和右摄像机平移向量t_R。

S12，对激光雷达进行标定，获得激光雷达标定参数，包括换算矩阵R_ML和平移矩阵t_ML。

在本实施方式中，具体参数的定义和标定取值方法可按照现有技术中的定义和取值方法。

S13，给定车辆坐标系中的一点S，该点在左摄像机坐标系、右摄像机坐标系和激光雷达坐标系中的非齐次坐标分别为X_cL，X_cR，X_ML，该点在车辆坐标系中的坐标为X_w，得到：X_cL＝R_LX_w+t_L，X_cR＝R_RX_w+t_R，X_ML＝R_MLX_w+t_ML。

S14，将步骤S13中X_cL、X_ML和X_cR中X_w消去，得到X_cL＝R_LR_R ^-1(X_cR-t_R)+t_L，X_cR＝R_RR_ML ^-1(X_ML-t_ML)+t_R，由此求出左摄像机、右摄像机和激光雷达之间的变换关系，分别为：

从激光雷达到左摄像机坐标系的变换关系为：R_ML＝R_LR_ML ^-1，t_ML＝t_L-R_LR_ML ^-1t_ML；

从激光雷达到右摄像机坐标系的变换关系为：R_MR＝R_RR_ML ^-1，t_MR＝t_R-R_RR_ML ^-1t_ML。

S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理。

在本实施方式中，对得到的异类异步数据预处理方法具体包括以下步骤：

S21，采用数据挖掘领域的快速OPTICS聚类算法对激光雷达得到的点云数据进行聚类筛选，获得点云聚类，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点。具体快速OPTICS聚类算法可参照现有的方法。

S22，对左摄像机、右摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理。

直方图处理的公式如下：

式中，N为样本图像I中Harr-like特征的数量，A_m为矩形区域，R为旋转因子，ζ_m为特征值，当像素灰度为黑色时ζ_m为0，否则为白色时ζ_m为1。

S23，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：

其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了领域中心点x和领近点ξ的几何临近度，k_d为归一化参数。

S24，采用如图3所示的基于航位推算的坐标变换方法，解决由于车辆运动和传感器频率差异而导致的数据配准问题，实现异步数据的同步化；以摄像机图像时刻为基准，由激光雷达坐标变换全局坐标到图像坐标系的全局坐标转换方程为：

式中：(x_1b,y_1b)和(x_1a,y_1a)分别为两个时刻摄像机和激光雷达探测到的全局坐标，为当前时刻车辆前进方向与全局坐标系x轴的夹角，为前1时刻车辆前进方向与全局坐标系x轴的夹角；两个时刻之间的车辆位置差(x_a-x_b,y_a-y_b)，可通过航位推算得到；即通过上式可获得图像坐标系下的障碍物全局坐标，解决了两种不同传感器的时间同步问题。

S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4。

在本实施方式中，采用快速联合校验方法判断车辆前方障碍物存在性，具体包括以下步骤：

S31，使用快速聚类方法将激光雷达得到的一帧点云数据分割为多个点族，这些点族包含了障碍物和非障碍物分类，聚类的判断规则如下：

式中：

r_k为某次雷达扫描获得的第k个激光点数据，r_k,k+1＝|r_k-r_k+1|为相邻两个激光雷达的距离；φ为激光雷达角分辨率，C₀为调节激光雷达的纵向误差；当相邻两个激光雷达数据点距离小于某个阈值的时候，视为它们在同一个聚类空间中。

S32，将车辆前方行驶范围内的点族视为障碍物可疑点。

S33，对左摄像机、右摄像机所获取的图像分别进行障碍物特征分析，首先将两幅单帧图像从RGB颜色空间，转换到对光照敏感度小的HIS颜色空间中，具体为；

其中，

R、G、B为像素点的三色度值。

S34，使用特征搜索法计算路面区域的色调Ha和饱和度Sa，计算方法为：

其中

其中，

式中，S表示临域W内的像素个数；M和N分别为临域W的长和宽，f(u,v)、g(u,v)分别表示此像素的色调和饱和度。

S35，图像中障碍物判定，图像中像素点(i,j)为障碍物的计算公式为：

F(i,j)＝|h(i,j)-H_a|

G(i,j)＝|s(i,j)-S_a|

当F(i,j)大于设定的阈值H_T时，并且G(i,j)大于设定的阈值S_T时，像素对应为障碍物存在可疑点；

S36，将激光雷达获得的可疑点和左、右摄像机获得的可疑点通过坐标变换变换到车辆坐标系中来；若有两个以上传感器所确定的可疑点在车辆坐标系中重合，则确认当前车辆前方存在障碍物。

S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息。在本实施方式中，车辆前方障碍参数鲁棒联合校验方法具体步骤如下：

S41，分别构建左、右摄像机所捕获图像的尺度空间函数，定义尺度函数分别为L_L(x,y),L_R(x,y),将高斯函数作为卷积核，其中高斯函数为：

δ为尺度空间因子，x和y为像素点坐标；

使用高斯函数对图像进行卷积，卷积公式为：

其中为卷积计算符。

S42，确定各关键点的尺度，剔除低对比度的关键点，利用关键点领域像素的梯度为每个关键点指定方向参数；关键点的尺度梯度m(x,y)和方向θ(x,y)分别为：

θ(x,y)＝tan^-1([L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]，其中L_L和L_R可分别替换公式中的L获得左右摄像机的尺度梯度和方向。

S43，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定准则，得到满足准则的匹配点对；

欧式距离的计算公式为：

其中，Dis_ij为计算所得的欧式距离，(x_ik,y_ik)为左摄像机中第k个特征点的横坐标与纵坐标，(x_jk,y_jk)为右摄像机中第k个特征点的横坐标与纵坐标。

S44，以匹配点对为基础，对两幅图像进行拼接处理，得到扩展后的具有障碍物全部轮廓的全景图像；将右摄像机图像平移(x₀,y₀)后产生，即：

f₂(x,y)＝f₁(x-x₀,y-y₀)，其中f₁为原图像，f₂为平移后的图像，

S45，将激光雷达坐标系中的可疑障碍物位置向拼接后的图像投影，可疑障碍物在图像中的投影区域，即为感兴趣区域(ROI区域)；

S46，提取图像ROI区域中的HAAR特征，采用RAB级联分类方法对图像中的ROI区域进行障碍物分类，获得障碍物的类型信息。RAB的计算公式为：

式中，H(x)为强分类器，h_t(x)为弱分类器，h_t(x)∈R为判断结果的可信度，a_t为弱分类器h_t(x)的权重，T为弱分类器数量，sign(·)定义如下：

式中，s_th为信任阈值，表示分类器输出结果为真，表示分类器输出结果为假。

S47，对左摄像机、右摄像机获得的两幅图像使用OpenCV提供的现有技术进行三维图像重建，获得障碍物的距离信息S_c。

S48，将摄像机三维重构方法获得障碍距离信息和激光雷达获得的障碍物距离S_L进行综合判定，取两者的平均值作为当前障碍物相对于本车的距离信息S,计算方法为：S＝(S_c+S_L)/2。

S5，根据步骤S4所确定的障碍物距离信息，进行预警，提醒驾驶员前方障碍信息。在本实施方式中，具体包括如下步骤：

S51，预警决策模块判断当前障碍物相对于本车的距离S是否小于设定的阈值T_S，具体T_S为正值，可根据具体的应用场景进行设定。

S52，当S≤T_s时触发预警系统，预警系统包括光、声和振动三种方式之一或任意组合；

其中，声音信息为提醒驾驶员车辆前方障碍物的位置和类型；

光亮信息采用LED灯实现，用于引起驾驶员的注意；

震动信息由振动电机加载在方向盘上实现，通过振动保持驾驶员的注意力集中，防止疲劳驾驶

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，具体包括以下步骤：

S1，对双目视觉系统和激光雷达系统进行参数联合标定，得到摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系；

S2，利用左侧摄像机和右侧摄像机采集车辆前方环境信息，同时使用激光雷达对前方区域进行多线扫描，得到两种不同类型传感器的异类异步数据，并对所获得的数据进行预处理；

S3，对步骤S2所获得的数据进行分析，判断当前车辆前方障碍物的存在性，如果没有障碍物则返回步骤S2，否则执行步骤S4；

在本步骤中采用快速联合校验方法判断车辆前方障碍物存在性，具体包括以下步骤：

S31，使用快速聚类方法将激光雷达得到的一帧点云数据分割为多个点族，这些点族包含了障碍物和非障碍物分类，聚类的判断规则如下：

式中：

r_min＝{r_k,r_k+1},r_k,k+1＝|r_k-r_k+1|为相邻两个激光雷达的距离；φ为激光雷达角分辨率，C₀为调节激光雷达的纵向误差；当相邻两个激光雷达数据点距离小于某个阈值的时候，视为它们在同一个聚类空间中；

S32，将车辆前方行驶范围内的点族视为障碍物可疑点；

S33，对左、右摄像机所获取的图像分别进行障碍物特征分析，首先将两幅单帧图像从RGB颜色空间，转换到对光照敏感度小的HIS颜色空间中；

S34，使用特征搜索法计算路面区域的色调Ha和饱和度Sa，计算方法为：

其中

其中，

式中，S表示临域W内的像素个数；M和N分别为临域W的长和宽，f(u,v)、g(u,v)分别表示此像素的色调和饱和度；

S35，图像中障碍物判定，图像中像素点(i,j)为障碍物的计算公式为：

F(i,j)＝|h(i,j)-H_a|

G(i,j)＝|s(i,j)-S_a|

当F(i,j)大于设定的阈值H_T时，并且G(i,j)大于设定的阈值S_T时，像素对应为障碍物存在可疑点；

S36，将激光雷达获得的可疑点和左、右摄像机获得的可疑点通过坐标变换变换到车辆坐标系中来；若有两个以上传感器所确定的可疑点在车辆坐标系中重合，则确认当前车辆前方存在障碍物；

S4，采用联合鲁棒校验方法计算，得到当前障碍物相对于本车的距离信息，所述联合鲁棒校验方法具体步骤如下：

S41，分别构建左、右摄像机所捕获图像的尺度空间函数，定义尺度函数分别为L_L(x,y),L_R(x,y),将高斯函数作为卷积核，其中高斯函数为：

δ为尺度空间因子，x和y为像素点坐标；

使用高斯函数对图像进行卷积，卷积公式为：

其中为卷积计算符；

S42，确定各关键点的尺度，剔除低对比度的关键点，利用关键点临域像素的梯度为每个关键点指定方向参数；关键点的尺度梯度m(x,y)和方向θ(x,y)分别为：

θ(x,y)＝tan^-1([L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]，

S43，采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定准则，得到满足准则的匹配点对；

S44，以匹配点对为基础，对两幅图像进行拼接处理，得到扩展后的具有障碍物全部轮廓的全景图像；将右摄像机图像平移(x₀,y₀)后，即：f₂(x,y)＝f₁(x-x₀,y-y₀)，其中f₁为原图像，f₂为平移后的图像，对右摄像机平移后图像和左摄像机图像进行拼接处理产生全景图像，所述x₀,y₀依次为将原右摄像机图像平移得到全景图像时的平移横坐标距离和平移纵坐标距离；

S45，将激光雷达坐标系中的可疑障碍物位置向拼接后的图像投影，可疑障碍物在图像中的投影区域，即为感兴趣ROI区域；

S46，提取图像ROI区域中的HAAR特征，采用RAB级联分类方法对图像中的ROI区域进行障碍物分类，获得障碍物的类型信息；

S47，对左、右摄像机获得的两幅图像进行三维重建，获得障碍物的距离信息S_c；

S48，将摄像机三维重构方法获得障碍距离信息S_c和激光雷达获得的障碍物距离S_L进行综合判定，取两者的平均值作为当前障碍物相对于本车的距离信息S,计算方法为：S＝(S_c+S_L)/2；

S5，根据步骤S4所确定的障碍物距离信息，进行预警，提醒驾驶员前方障碍信息。

2.如权利要求1所述的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，所述步骤S1中联合标定，建立摄像机坐标系、雷达坐标系与车辆坐标系三者之间的对应与转换关系，具体方法为：

S11，对左、右摄像机分别进行标定，获得摄像机的标定参数，所述标定参数包括：左摄像机内参矩阵M_L，右摄像机内参矩阵M_R，左摄像机旋转矩阵R_L，右摄像机旋转矩阵R_R，左摄像机平移向量t_L和右摄像机平移向量t_R；

S12，对激光雷达进行标定，获得激光雷达标定参数，包括换算矩阵R_ML和平移矩阵t_ML；

S13，给定车辆坐标系中的一点S，该点在左摄像机坐标系、右摄像机坐标系和激光雷达坐标系中的非齐次坐标分别为X_cL，X_cR，X_ML，该点在车辆坐标系中的坐标为X_w，得到：X_cL＝R_LX_w+t_L，X_cR＝R_RX_w+t_R，X_ML＝R_MLX_w+t_ML

S14，将步骤S13中X_cL、X_ML和X_cR中X_w消去，得到X_cL＝R_LR_R ^-1(X_cR-t_R)+t_L，X_cR＝R_RR_ML ^-1(X_ML-t_ML)+t_R，由此求出左摄像机、右摄像机和激光雷达之间的变换关系，分别为：

从激光雷达到左摄像机坐标系的变换关系为：R_ML＝R_LR_ML ^-1，t_ML＝t_L-R_LR_ML ^-1t_ML；

从激光雷达到右摄像机坐标系的变换关系为：R_MR＝R_RR_ML ^-1，t_MR＝t_R-R_RR_ML ^-1t_ML。

3.如权利要求1所述的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，所述步骤S2中对得到的异类异步数据预处理方法具体包括以下步骤：

S21，采用快速OPTICS聚类算法对激光雷达得到的点云数据进行聚类筛选，获得点云聚类，对算法生成的有序对象列表进行分析，去除其中不属于聚类群的孤立点和奇异点；

S22，对左、右摄像机获得的当前图像进行色彩空间转换处理，由三通道RGB彩色空间转换到单通道灰度空间，并进行直方图均衡化处理；

S23，使用双边滤波在保证图像中障碍物边缘清晰的前提下去除图像中的噪声，滤波计算表达式为：

其中，f为原输入图像，h为去噪后的输出图像，c(ξ,x)为度量了临域中心点x和领近点ξ的几何临近度，k_d为归一化参数；S24，采用基于航位推算的坐标变换方法，解决由于车辆运动和传感器频率差异而导致的数据配准问题，实现异步数据的同步化；以摄像机图像时刻为基准，由激光雷达坐标变换全局坐标到图像坐标系的全局坐标转换方程为：

式中：(x_1b,y_1b)和(x_1a,y_1a)分别为两个时刻摄像机和激光雷达探测到的全局坐标，为当前时刻车辆前进方向与全局坐标系x轴的夹角，为前1时刻车辆前进方向与全局坐标系x轴的夹角；两个时刻之间的车辆位置差(x_a-x_b,y_a-y_b)，获得图像坐标系下的障碍物全局坐标。

4.如权利要求1所述的拥挤交通中基于双目视觉和激光雷达的车辆防撞方法，其特征在于，所述步骤S5具体包括如下步骤：

S51，预警决策模块判断当前障碍物相对于本车的距离S是否小于设定的阈值T_S；

S52，当S≤T_s时触发预警系统，预警系统包括光、声和振动三种方式之一或任意组合；

其中，声音信息为提醒驾驶员车辆前方障碍物的位置和类型；

光亮信息采用LED灯实现，用于引起驾驶员的注意；

震动信息由振动电机加载在方向盘上实现，通过振动保持驾驶员的注意力集中，防止疲劳驾驶。