CN107966700A

CN107966700A - 一种用于无人驾驶汽车的前方障碍物检测系统及方法

Info

Publication number: CN107966700A
Application number: CN201711158653.2A
Authority: CN
Inventors: 陈晓冬; 常昕; 蔡怀宇; 汪毅; 陈延真
Original assignee: Tianjin University
Current assignee: Tianjin University
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2018-04-27

Abstract

本发明公开了一种用于无人驾驶汽车的前方障碍物检测系统及方法，系统包括毫米波雷达、视觉相机和信息处理系统。毫米波雷达通过CAN总线与工控机相连接，视觉相机通过1394接口与工控机相连接。信息处理系统功能包括：对毫米波雷达和视觉相机进行空间坐标标定和时间同步；采集并解算毫米波雷达数据，使用基于卡尔曼滤波的数据处理算法对障碍物信息进行分析，排除虚假目标确定有效目标；采集视觉相机信息，并使用图像处理算法对障碍物进行探测；将毫米波雷达识别的障碍物信息与视觉相机识别的障碍物信息进行比对，取两种传感器均探测到的障碍物为基准，建立精确的栅格地图。该方法准确性高，成本较低，可有效的提高无人驾驶汽车环境感知系统的实用性。

Description

一种用于无人驾驶汽车的前方障碍物检测系统及方法

技术领域

本发明涉及车用障碍物检测方法，具体涉及一种用于无人驾驶汽车的毫米波雷达与视觉相机数据融合的前方障碍物检测方法。

背景技术

无人驾驶汽车是一种智能汽车，主要依靠车内的信息处理系统对车辆的运动进行控制。车内的信息处理系统主要包括环境感知系统、路径规划系统以及决策控制系统。其中，环境感知系统主要负责感知车辆周围的环境，并生成车辆周围的环境地图，为路径规划系统提供有效的规划依据，从而控制车辆运动。为了保证车辆安全，环境感知系统需要有较高的准确性，准确描述车辆周围的环境，并正确生成环境地图，从而保证路径规划和决策控制系统的准确性。在环境感知系统中，无人驾驶汽车主要依靠各类传感器对周围障碍物进行检测，常用的传感器主要包括激光雷达、毫米波雷达、超声波雷达、视觉相机等。

目前基于单一传感器的障碍物检测包括基于毫米波雷达的障碍物检测，基于视觉相机的障碍物检测等。基于毫米波雷达的障碍物检测方法具有距离精度高、探测范围广、可以在恶劣天气条件下使用等特点。基于视觉相机的障碍物检测方法具有探测信息广、探测直观等特点。当前技术中，基于单一传感器的障碍物检测方法有：申请号为“201210260776.8”，申请公布号为“CN102756730A”的专利“一种基于毫米波检测的汽车防撞装置、系统和方法”；申请号为“201210143389.6”，申请公布号为“CN102682455A”的专利“一种基于单目视觉的前方车辆检测方法”等。

但是单一传感器在使用过程中存在误检和漏检的情况，为保证环境感知系统的准确性，通常使用多个传感器对周围障碍物进行检测，并进行信息融合，得到融合的环境信息。申请号为“201210309515.0”申请公布号为“CN102837658A”的专利“一种智能车辆中多激光雷达数据融合系统和方法”公开了一种多激光雷达数据融合的系统，该系统使用多个激光雷达对周围环境进行检测，探测准确性高，但是结构复杂，成本较高，实用性较差。

发明内容

本发明的目的是为了克服现有技术中的不足，提供一种用于无人驾驶汽车的前方障碍物检测系统及方法，重点是探测无人驾驶汽车前方的障碍物，保证环境感知系统的准确性，同时降低成本，提高实用性。通过信息处理系统对毫米波雷达和视觉相机采集的数据进行分析处理，检测前方障碍物。

本发明的目的是通过以下技术方案实现的：

一种用于无人驾驶汽车的前方障碍物检测系统，包括毫米波雷达、视觉相机和信息处理系统，所述信息处理系统采用搭载Windows系统的工控机，障碍物显示方式为栅格地图；所述毫米波雷达安装于车辆正前方车辆牌照处，朝向车辆正前方，通过CAN(ControlArea Network)总线与工控机相连接；所述视觉相机安装于前挡风玻璃内车辆后视镜右侧，通过1394接口与工控机相连接；所述信息处理系统针对毫米波雷达和视觉相机进行空间坐标匹配和时间同步，并进行数据处理，生成栅格地图；所述栅格地图表示为二维数组的矩阵形式。

一种用于无人驾驶汽车的前方障碍物检测方法，包括以下步骤：

(1)对毫米波雷达和视觉相机进行联合标定，将两者统一到同一个车载坐标系中；

(2)对毫米波雷达和视觉相机进行视觉同步；

(3)接收并解算毫米波雷达数据；

(4)基于卡尔曼滤波处理毫米波雷达数据；

(5)采集并处理视觉相机数据；

(6)融合传感器坐标并建立栅格地图。

进一步的，步骤(1)具体包括以下步骤：

a)将车载坐标系中点的(x_w,y_w,z_w)变换到相机坐标系中点的(x_c,y_c,z_c)，变换公式如下：

式中R为旋转矩阵，t为平移矩阵，R和t的值由相机内外参数决定，可通过棋盘标定法测得；

b)相机坐标系中点的(x_c,y_c,z_c)变换到图像物理坐标系中点的(x,y,z)，变换公式如下：

式中f为相机焦距，单位是mm；

c)将图像物理坐标(x,y,z)转换到图像像素坐标(u,v)，变换公式如下：

式中，d_x，d_y分别为图像物理坐标系下每个象素在横纵方向轴上的物理尺寸；u₀、v₀分别为图像像素坐标系中相机光轴和图像平面交点的横纵坐标，坐标单位为pixel。

进一步的，步骤(4)具体为：将上一周期毫米波雷达探测到的障碍物信息通过车辆速度和前进方向进行迭代，得到本周期障碍物的存在范围，并将迭代得到的信息与本周期实际探测得到的信息进行比对，排除虚假目标得到有效目标。

与现有技术相比，本发明的技术方案所带来的有益效果是：

1、采用毫米波雷达与视觉相机数据融合的探测方式，综合毫米波雷达和视觉相机的优点，提高探测结果的可靠性。

2、将毫米波雷达数据和视觉相机数据共同处理，从不同角度定位同一感兴趣目标，减小误判的可能性。

3、通过栅格地图的形式显示障碍物信息，更加直观，提高后续处理的速度。

附图说明

图1是本发明的原理图。

图2是本发明具体实施过程中的检测流程图。

图3是本发明具体实施过程中的标定过程流程图。

具体实施方式

下面结合附图对本发明作进一步的描述。

如图1所示，本发明障碍物检测系统，包括毫米波雷达、视觉相机和信息处理系统，毫米波雷达通过控制器局域网络(Controller Area Network，简称CAN)与信息处理系统(装有Windows系统的工控机)相连接，用于检测前方障碍物的信息包括距离、速度信息。毫米波雷达的发射频率为77GHz，可以有效的对前方的障碍物进行检测。视觉相机安装在前挡风玻璃内车辆后视镜右侧，通过1394接口与工控机相连接，使用张正友标定法对相机进行标定后，用于检测障碍物的信息包括尺寸、距离信息。信息处理系统采用搭载Windows系统的工控机，障碍物显示方式为栅格地图；

如图2所示，通过检测系统进行具体障碍物的检测方法如下：

1.毫米波雷达和视觉相机的联合标定。在无人驾驶汽车上，毫米波雷达、视觉相机并非处于同一个坐标系里，要对毫米波雷达和视觉相机的信息融合，首先必须要让两者统一到同一个坐标系里，即车载坐标系。在统一到世界坐标系之前，我们必须保证：视觉相机的光轴与地面平行；毫米波雷达反射面垂直于地平面，安装位置的高度，高度单位为mm。

具体标定方法如图3所示：

1.1车载坐标系中点的(x_w,y_w,z_w)变换到相机坐标系中点的(x_c,y_c,z_c)，变换公式如下：

式中R为旋转矩阵，t为平移矩阵，R和t的具体值由相机内外参数决定，可通过棋盘标定法测得。

1.2相机坐标系中点的(x_c,y_c,z_c)变换到图像物理坐标系中点的(x,y,z)，变换公式如下：

式中f为相机焦距，单位是mm。

1.3将图像物理坐标(x,y,z)转换到图像像素坐标(u,v)，变换公式如下：

式中，d_x，d_y分别为图像物理坐标系下每个象素在横纵方向轴上的物理尺寸；u₀、v₀分别为图像像素坐标系中相机光轴和图像平面交点的横纵坐标，坐标单位为pixel。通过(1.1、1.2、1.3)建立了图像像素和车载坐标系之间的联系。

在实际标定过程中，可在车辆正前方长为5m，宽为5m的矩形区域内，以0.5m为间隔摆放圆形小木桩，小木桩的底面直径为0.1m，高度为0.5m。使用毫米波雷达和视觉相机同时探测小木桩，在视觉相机的图像处理过程中，选取小木桩的底部作为小木桩的实际位置。由于旋转平移矩阵包括12个未知数，所以将毫米波雷达和视觉相机探测到的小木桩的坐标进行坐标变换后，需要求解超定方程，解算出旋转矩阵R和平移矩阵t，建立毫米波雷达和视觉相机坐标系之间的联系。

2.毫米波雷达和视觉相机的视觉同步。由于毫米波雷达刷新频率和视觉相机刷新频率不同，需要保证两种传感器的时间同步性，毫米波雷达的刷新周期为50ms，相机的刷新周期为10ms，所以处理周期定为50ms。

3.接收并解算毫米波雷达数据。毫米波雷达通过控制器局域网络(ControllerArea Network，简称CAN)与信息处理系统(装有Windows系统的工控机)相连接，需要通过CAN总线的协议接收毫米波雷达的数据，得到毫米波雷达的原始数据。得到原始数据后需要按照毫米波雷达自带的协议对数据进行解算，得到各个探测到的障碍物的位置和速度信息。

4.基于卡尔曼滤波处理毫米波雷达数据。由于车辆所处环境极为复杂，毫米波雷达输出的原始数据存在很大的干扰，并不能直接用于相机的融合。通过基于卡尔曼滤波的信息处理方法对毫米波雷达的目标进行筛选，排除虚假目标得到有效目标。具体方法为将上一周期毫米波雷达探测到的障碍物信息通过车辆速度和前进方向进行迭代，得到本周期障碍物的存在范围，并将迭代得到的信息与本周期实际探测得到的信息进行比对，排除虚假目标得到有效目标。

5.采集视觉相机数据。视觉相机安装在前挡风玻璃内车辆后视镜右侧，通过IEEE1394标准接口与信息处理系统(装有Windows系统的工控机)相连接，通过数据传输协议接收视觉相机数据，得到视频信息。

6.视觉相机数据处理。在采集到的视觉相机的信息中选取出感兴趣区域并进行数字图像处理，提取出感兴趣区域中的目标信息包括目标位置和目标大小，并进行逆透视变换，将目标信息变换到车载坐标系下。

7.传感器坐标融合并建立栅格地图。对比毫米波雷达监测到的障碍物信息和视觉相机检测到的障碍物信息，取两种传感器均探测到的障碍物为基准，选取出真实的障碍物信息，标在栅格地图内。栅格地图表示为矩阵形式，即二维数组。坐标原点为车辆前保险杠中心毫米波雷达安装位置，车辆前进方向为y轴，水平垂直车辆前进方向为x轴，建立笛卡尔坐标系。栅格大小为0.5*0.5米，由毫米波雷达精度决定。存在障碍物的栅格表示为1，不存在障碍物的栅格表示为0。栅格地图大小为横向10米，纵向30米。为了方便使用者观察，栅格地图通过OpenCV显示在信息处理系统(工控机)的显示器上，刷新时间为50ms。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims

1.一种用于无人驾驶汽车的前方障碍物检测系统，其特征在于，包括毫米波雷达、视觉相机和信息处理系统，所述信息处理系统采用搭载Windows系统的工控机，障碍物显示方式为栅格地图；所述毫米波雷达安装于车辆正前方车辆牌照处，朝向车辆正前方，通过CAN(Control Area Network)总线与工控机相连接；所述视觉相机安装于前挡风玻璃内车辆后视镜右侧，通过1394接口与工控机相连接；所述信息处理系统针对毫米波雷达和视觉相机进行空间坐标匹配和时间同步，并进行数据处理，生成栅格地图；所述栅格地图表示为二维数组的矩阵形式。

2.一种用于无人驾驶汽车的前方障碍物检测方法，其采用权利要求1所述的用于无人驾驶汽车的前方障碍物检测系统，其特征在于，包括以下步骤：