CN109532826A - 一种基于车道线视觉识别技术优化的雷达防碰撞预警方法 - Google Patents

Abstract

本发明公开了一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，包括如下步骤：步骤一：雷达摄像头的联合标定；步骤二：雷达探测目标到摄像头坐标系的映射；步骤三：雷达利用摄像头获取的环境信息辅助计算目标位置，提高预警准确性。本发明对雷达数据和摄像头数据进行融合，为雷达防碰撞系统提供道路环境信息，可以更加精准的判断雷达目标是否在真实的危险范围内，显著提高雷达在弯曲道路或宽窄变化道路上的预警准确率。

Description

一种基于车道线视觉识别技术优化的雷达防碰撞预警方法

技术领域

本发明涉及车辆智能安全系统技术领域，尤其是一种基于车道线视觉识别技术优化的雷达防碰撞预警方法。

背景技术

随着时代的变迁和科技的发展，汽车越来越融入到了人们的生活中，然而由汽车所带来的交通安全问题也愈发严重，不容忽视。针对这个问题，车辆防碰撞预警系统的开发成为了当今的研究热点之一。目前，基于视觉技术的图像传感器、毫米波雷达、激光雷达等感知单元已经被广泛用于车辆防碰撞系统之中。

毫米波雷达能够提供很好的距离、速度、方位测量功能，在恶劣的天气条件下，性能表现出众。利用摄像头识别功能，可以从多方面大大提高行车安全性，目前的主流视觉车辆安全预警产品已经可以实现车辆识别、车道线识别、交通标志牌识别等功能。但是，任何一种单一的感知单元在使用中都存在各自的先天缺陷。由于毫米波雷达利用障碍物对电磁波的反射，可以探测到车辆前方探测区域内所有障碍物，包括树木、护栏、桥墩等等物体。对于道路环境的感知是缺乏的，因此对于弯道行驶的车辆无法确定探测的障碍物是行驶路径上的物体还是道边的物体。由于这个原因，基于毫米波雷达的防碰撞系统在某些特定场景会有误报产生。针对这个问题，目前的研究机构提出了不同的解决方案。

基于毫米波雷达的车辆预警系统可分为四个步骤：数据获取、数据处理、目标维护、风险分析。其中数据获取部分为前期基础工作，旨在取得毫米波雷达采集到的原始数据并整理成供后期处理使用的数据结构。数据处理部分的目的在于从每帧雷达采集到的目标中提取出目标描述序列，把同一个目标关联起来。目标维护部分则是维护检测到的稳定存在的目标序列。风险分析部分对获得的目标序列参数进行计算，将雷达测出的距离与警报距离、安全距离进行比较，小于警报距离时就进行警报提示，而小于安全距离时，在驾驶员没有及时采取减速制动操作的情况下，系统会触发制动执行机构提前减速，在危急情况下，可以紧急制动，确保车辆安全行驶，见图1。由于对道路环境参数的感知的缺乏，对于弯道行驶的车辆毫米波雷达无法确定探测的障碍物是行驶路径上的物体，常常出现对路边护栏、邻道车辆的误报，进而导致制动系统的误动作。

对于这个问题的解决不同的研究机构使用了不同的方案进行解决。主要包括：①吉林大学的硕士论文《高速汽车弯道前方碰撞预警算法的研究》中提到驾驶员最优预瞄加速度模型，利用驾驶员的行为特性和汽车的运动特性，“预测”车辆前方道路环境信息的方法，此方法可能会受到车辆驾驶的影响，在某些情况下出现不确定性，在技术的应用转化上还有待提高；②北京理工大学文献《一种基于雷达和机器视觉信息融合的车辆识别方法》，提到使用雷达进行识别区域的与分析，再利用图像识别技术判断目标是否为车辆以进行预警，此方法中图像识别算法设计复杂，存在漏检和误检风险，同时对于车辆之外的障碍物没有很好的识别，在使用中存在局限。

毫米波雷达利用电磁波的反射探测障碍物，可以探测到车辆前方探测区域内所有障碍物，包括树木、护栏、桥墩等等物体。在探测范围内不存在漏报，但是缺乏对道路环境的感知，因此对于弯道行驶的车辆会有误报产生。影响客户体验，甚至影响司机驾驶。

发明内容

针对上述存在的问题，本发明的目的是提供一种基于车道线视觉识别技术优化的雷达防碰撞预警方法。

本发明的技术方案是：一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，包括如下步骤：

步骤一：雷达摄像头的联合标定

雷达安装于车辆前保险杠，摄像头安装于前挡风玻璃内侧，对雷达和摄像头的安装位置角度分别进行独立校准；

步骤二：雷达探测目标到摄像头坐标系的映射

假设每一个像素在Xp和Yp方向上的物理尺寸为dx和dy，可推到出如下公式：

把公式转化为矩阵为：

根据成像投影关系(相机坐标系与像平面坐标系关系)，在相机模型中我们可得到以下公式：

转化为矩阵表示为：

摄像头坐标与相机坐标关系之间存在旋转和平移，介入旋转平移矩阵得到转换公式为：

其中R为旋转矩阵与摄像头和雷达XYZ周的旋转角有关，t为平移矩阵与两个坐标系ZYX周的水平距离有关。这样我们就得到从雷达坐标到图像坐标的关系如下：

其中

所以表达式为

图中雷达为坐标系定位世界坐标系，设雷达坐标系与摄像头坐标系的旋转平移关系为，Z轴差高H，Y轴差Ly，Z轴差Lz，摄像头与雷达法向量夹角为θ，可得Rt旋转平移矩阵。

安装完摄像头通过MATLAB标定法，可测得摄像头光轴偏移量Cx，Cy，摄像头焦距f，可求得摄像头内参数。

根据矩阵行列式解得此图雷达投影坐标系中任意一点到图像坐标系中的转换关系函数可表达为

换算得到的Xp、Yp即为雷达探测目标在摄像头坐标系中的位置，将这一坐标与感兴趣区域进行匹配，即可确认此目标是否在真实危险范围内。对于在真实危险范围内的目标，利用雷达获得的更加精准的相对位置和相对速度信息进行碰撞风险分析，进而可以实现可靠的碰撞预警和精准的辅助制动操作；

步骤三：雷达利用摄像头获取的环境信息辅助计算目标位置，提高预警准确性；

摄像头对车辆前向道路环境信息进行获取，通过曲线拟合算法，分析道路车道线曲率、车辆中线到左右车道线的距离，这些数据用以修正在现实行驶路线上雷达探测感兴趣区域，避免弯道路线上的误报。

进一步的，所述雷达采用毫米波雷达。

进一步的，所述步骤一的调整要求为毫米波雷达水平角和俯仰角调整需确保雷达平面横平竖直的要求，横摆角调整需确保雷达平面的法向量与车辆纵向对称平面平行。摄像头标定需要确保横摆角和水平角调零，俯仰角度由车辆前挡玻璃决定。

与现有技术相比，本发明的有益效果是：

(1)本发明对雷达数据和摄像头数据进行融合，为雷达防碰撞系统提供道路环境信息，可以更加精准的判断雷达目标是否在真实的危险范围内，显著提高雷达在弯曲道路上的预警准确率。

(2)本发明使用的融合方式不同于目前普遍使用的方法，不需对视频数据中的障碍物类型去判断，减少对系统计算性能的压力，降低系统硬件成本。同时也不再对障碍物限定在车辆和行人这两种目标，利用毫米波雷达在目标探测上的优势，可显著避免漏报。

附图说明

图1为现有技术的雷达预警及辅助制动系统的控制流程图。

图2为本发明的系统控制流程图。

图3为本发明的雷达和摄像头调整要求示意图。

图4本发明标定后的雷达和摄像头建立的坐标关系图。

图5为图像坐标系与像平面坐标系的关系图

具体实施方式

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

下面结合附图和实施例对本发明作进一步的说明。

如图所示，一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，包括如下步骤：

步骤一：雷达摄像头的联合标定

毫米波雷达安装于车辆前保险杠，提供障碍物，目标的相对位置、相对速度信息；摄像头安装于前挡风玻璃内侧，提供道路环境信息；对雷达和摄像头的安装位置角度分别进行独立校准；

毫米波雷达水平角和俯仰角调整需确保雷达平面横平竖直的要求，横摆角调整需确保雷达平面的法向量与车辆纵向对称平面平行。摄像头标定需要确保横摆角和水平角调零，俯仰角度由车辆前挡玻璃决定。

步骤二：雷达探测目标到摄像头坐标系的映射

假设每一个像素在Xp和Yp方向上的物理尺寸为dx和dy，可推到出如下公式：

把公式转化为矩阵为：

根据成像投影关系(相机坐标系与像平面坐标系关系)，在相机模型中我们可得到以下公式：

转化为矩阵表示为：

摄像头坐标与相机坐标关系之间存在旋转和平移，介入旋转平移矩阵得到转换公式为：

其中R为旋转矩阵与摄像头和雷达XYZ周的旋转角有关，t为平移矩阵与两个坐标系ZYX周的水平距离有关。这样我们就得到从雷达坐标到图像坐标的关系如下：

其中

所以表达式为

图中雷达为坐标系定位世界坐标系，设雷达坐标系与摄像头坐标系的旋转平移关系为，Z轴差高H，Y轴差Ly，Z轴差Lz，摄像头与雷达法向量夹角为θ，可得Rt旋转平移矩阵。

安装完摄像头通过MATLAB标定法，可测得摄像头光轴偏移量Cx，Cy，摄像头焦距f，可求得摄像头内参数。

根据矩阵行列式解得此图雷达投影坐标系中任意一点到图像坐标系中的转换关系函数可表达为

换算得到的Xp、Yp即为雷达探测目标在摄像头坐标系中的位置，将这一坐标与感兴趣区域进行匹配，即可确认此目标是否在真实危险范围内。对于在真实危险范围内的目标，利用雷达获得的更加精准的相对位置和相对速度信息进行碰撞风险分析，进而可以实现可靠的碰撞预警和精准的辅助制动操作；

步骤三：雷达利用摄像头获取的环境信息辅助计算目标位置，提高预警准确性。

摄像头对车辆前向道路环境信息进行获取，通过曲线拟合算法，分析道路车道线曲率、车辆中线到左右车道线的距离，这些数据用以修正在现实行驶路线上雷达探测感兴趣区域，避免弯道路线上的误报。

目前的雷达摄像头融合方案基本是提供摄像头进行粗略识别，实现车辆和行人的分类(目前基于视觉的识别主要限定在这两类目标)，进而在毫米波雷达的探测数据中去判断识别是否是有效障碍物，这种方法可以避免对路边其他静止物体的误报，但是预警范围减少，仅含盖了车辆和行人。同时由于摄像头对光线的敏感，在某些场景是失效的，会对目标分类造成影响(尤其是行人)，但是对于车道线这种简单目标识别的影响会降低很多。因此本发明在资源占用和整体效果上会优于目前其他替代方案。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (3)

1.一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，其特征在于，包括如下步骤：

步骤一：雷达摄像头的联合标定

雷达安装于车辆前保险杠，摄像头安装于前挡风玻璃内侧，对雷达和摄像头的安装位置角度分别进行独立校准；

步骤二：雷达探测目标到摄像头坐标系的映射

假设每一个像素在Xp和Yp方向上的物理尺寸为dx和dy，推到出如下式(1)：

把式(1)转化为矩阵得到是(2)：

根据成像投影关系，即相机坐标系与像平面坐标系关系，在相机模型中得到式(3)：

将式(3)转化为矩阵表示为：

摄像头坐标与相机坐标关系之间存在旋转和平移，介入旋转平移矩阵得到转换公式为：

其中R为旋转矩阵，t为平移矩阵；得到从雷达坐标到图像坐标的关系如下：

其中

表达式为

其中，Z轴差高H，Y轴差Ly，Z轴差Lz，摄像头与雷达法向量夹角为θ，可得Rt旋转平移矩阵；

通过MATLAB标定法，测得摄像头光轴偏移量Cx，Cy，摄像头焦距f，求得摄像头内参数；

根据矩阵行列式解得此图雷达投影坐标系中任意一点到图像坐标系中的转换关系函数可表达为

步骤三：雷达利用摄像头获取的环境信息辅助计算目标位置

摄像头对车辆前向道路环境信息进行获取，通过曲线拟合算法，分析道路车道线曲率、车辆中线到左右车道线的距离；

所述式(8)中的Xp、Yp为雷达探测目标在摄像头坐标系中的位置，将这一坐标与感兴趣区域进行匹配，即可确认此目标是否在真实危险范围内；对于在真实危险范围内的目标，利用雷达获得的更加精准的相对位置和相对速度信息进行碰撞风险分析，进而可以实现可靠的碰撞预警和精准的辅助制动操作。

2.根据权利要求1所述的一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，其特征在于，所述雷达采用毫米波雷达。

3.根据权利要求1所述的一种基于车道线视觉识别技术优化的雷达防碰撞预警方法，其特征在于，所述步骤一的调整要求为毫米波雷达水平角和俯仰角调整需确保雷达平面横平竖直的要求，横摆角调整需确保雷达平面的法向量与车辆纵向对称平面平行；摄像头标定需要确保横摆角和水平角调零，俯仰角度由车辆前挡玻璃决定。