CN109886215B

CN109886215B - 基于机器视觉的低速园区无人车巡航及紧急制动系统

Info

Publication number: CN109886215B
Application number: CN201910141424.2A
Authority: CN
Inventors: 徐江; 张�杰; 赵健成; 顾昕程; 程威翔; 梁昊; 吴龙飞; 张旭; 英之旋; 卢起; 王一品; 姚锋
Original assignee: Changshu Institute of Technology
Current assignee: Changshu Institute of Technology
Priority date: 2019-02-26
Filing date: 2019-02-26
Publication date: 2021-10-19
Anticipated expiration: 2039-02-26
Also published as: CN109886215A

Abstract

本发明公开了一种基于机器视觉的低速园区无人车巡航方法。步骤1)建立道路语义分割模型，语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构，对ICNet的backbone做出调整，缩小卷积核的size；加载模型，输入待预测图像image，运行模型预测输入；步骤2)基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离：本发明既解决了以激光雷达为主要传感器的自动驾驶方案的成本高昂问题，也解决了传统计算机视觉的车道线感知受环境复杂度影响的问题。本发明借由于本地化ICNet的模型的性能提高，使得Yolov3和ICNet模型同时运行依然能够达到20fps+。

Description

基于机器视觉的低速园区无人车巡航及紧急制动系统

技术领域

本发明属于深度学习语义分割领域，更具体的涉及一种基于深度学习语义分割的低速园区无人车巡航及紧急制动系统。

背景技术

语义分割，对图片的每个像素都做分类。较为重要的语义分割数据集有：VOC2012&nbsp；以及 MSCOCO&nbsp；现有的传统机器学习方法有：像素级的决策树分类，参考TextonForest&nbsp；以及 Random Forest based classifiers&nbsp。再有就是深度学习方法。更确切地说，是卷积神经网络。深度学习最初流行的分割方法是，打补丁式的分类方法 (patch classification )。逐像素地抽取周围像素对中心像素进行分类。由于当时的卷积网络末端都使用全连接层 ( full connected layers ) ，所以只能使用这种逐像素的分割方法。2014年，来自伯克利的 Fully Convolutional Networks(FCN)&nbsp卷积网络，去掉了末端的全链接层。随后的语义分割模型基本上都采用了这种结构。除了全链接层，语义分割另一个重要的问题是池化层。池化层能进一步提取抽象特征增加感受域，但是丢弃了像素的位置信息。但是语义分割需要类别标签和原图像对齐，因此需要从新引入像素的位置信息。有两种不同的架构可以解决此像素定位问题。第一种是编码-译码架构。编码过程通过池化层逐渐减少位置信息、抽取抽象特征；译码过程逐渐恢复位置信息。一般译码与编码间有直接的连接。该类架构中U-net&nbsp是最流行的。第二种架构是膨胀卷积 (dilated convolutions ) ，抛弃了池化层，使用的卷积核如图1。

条件随机场的后处理经常用来提高分割的精确度，后处理利用图像的光感强度（可理解为亮度），将周围强度相近的像素分为同一类，能提高 1-2个百分点。

PID横向控制，PID控制器（比例-积分-微分控制器）由比例单元P、积分单元I和微分单元D组成。PID控制的基础是比例控制；积分控制可消除稳态误差，但可能增加超调；微分控制可加快大惯性系统响应速度以及减弱超调趋势。PID控制在工业领域应用广泛，参数少，简单易用，消耗运算很少，成本极低。图2中，δ∈[δmin，δmax]为满足车辆动态姿态限制的方向盘转角，Vr∈[δmin，δmax]为前向速度。而对这些状态量的控制可以是一个典型的PID反馈控制系统。其中e(t)代表当前的跟踪误差，而这个跟踪的变量误差可以是轨迹的纵向/横向误差，角度/曲率误差或者是若干车辆姿态状态变量的综合误差。其中P控制器代表对当前误差的反馈，其增益由KP控制；I和D控制器分别代表积分项和微分项，其增益分别有KI和KD来控制。控制车辆尽可能遵循上游动作规划（Motion Planning）所输出的时空轨迹。可以使用两个基于PID反馈控制的控制器来分别控制方向盘转角δ以及前进速度Vs。

现有技术的不足和缺点：

A: 陈家凡. 基于机器视觉的车道线识别与预警[D].浙江理工大学，2018.

论文所选用的实验场景方面基本偏向于城市和高速两大主要场景，在这两个场景的基础上，对车道线识别与预警算法做了相应的改进，使其主要针对该场景。因为一套算法是无法都适合不同场景和不同天气条件。

B: 董莹莹. 基于机器视觉的车辆和车道线检测研究[D].湖南大学，2018.

通过计算机视觉的相关只是，设计实现了结构化道路中的车道线检测系统并验证其可靠性，最后，融合检测算法实现可行驶区域的简单预测。

A、B的技术方案中虽然对车道线检测的噪声做出一定的处理，但是传统计算机视觉的方案仍不能解决阴影、天气、光强等造成的影响。

本发明旨在借助深度学习的语义分割技术实现对任意场景下的道路进行语义分割检测，进而识别出可行驶区域。

发明内容

、发明目的。

为了排除环境因素对道路识别的影响，本发明提出了一种基于机器视觉的低速园区无人车巡航及紧急制动系统。

、本发明所采用的技术方案。

本发明公开了一种基于机器视觉的低速园区无人车巡航方法，步骤如下：

1）建立道路语义分割模型

语义分割模型在ICNet的基础上通过制作道路本地数据集、训练道路本地数据、微调参数和网络结构，对ICNet的backbone做出调整，缩小卷积核的size；加载模型，输入待预测图像image，运行模型预测输入；

2）基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离：

①道路右边界识别：以ICNet的道路语义分割识别结果作为输入图像，具体为：Canny检测得到道路轮廓图像；Hough直线检测得到道路的轮廓的许多短小的直线组成直线集；过滤直线集中斜率符合要求的直线组成新的图像；

②曲线拟合及曲率计算：基于像素直方图算法识别图像中哪些像素属于道路右边界，并使用马氏距离去除异常值；利用道路右边界像素拟合二阶多项式

，以图像中心为车辆位置计算车辆偏移道路中心距离；

3）计算PID车辆横向控制公式参数

PID横向控制公式：

：当前帧的车辆偏移道路中心距离，

：上一帧的偏移距离；

：上上一帧的偏移距离，y:当前帧的方向盘转角；y_:上一帧的方向盘转角，P、i、d：为系数。

本发明公开了一种基于机器视觉的低速园区无人车紧急制动方法，步骤如下：

1）建立目标检测模型

加载目标检测模型，输入待预测图像image，运行模型预测图像中物体位置；

2）计算雷达点云映射到图像，雷达点云的前视图投影所需的参数，计算点云街道图像的投影矩阵需要三个参数，分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵；见公式：

P为3*4的投影矩阵，Tr为3*4的变换矩阵，表示雷达点云到坐标系的平移变化，X为点云数据；

使用投影公式计算点云的前视图投影；

3）计算图像中检测到的2D目标的距离数据

在每个被检测到物体框所包含的点云；中计算合适的距离作为该物体的距离，具体方法为：

①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化；

②在直方图中选取最长的深度数据作为该物体的距离；

4）计算行驶区域在图像中的感兴趣区域

因为紧急制动无需考虑行驶路径外的障碍物，所以感兴趣区域过滤出位于行驶区域内的物件；具体做法如下：

计算物体在图像中的实际位置：yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y)，实际物体在图像中的位置应以目标框的下边中心位置为准；

设置感兴趣区域，符合下式的物体被用来判断是否需要启动AEB

；

5）根据感兴趣区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。

更进一步，步骤5）具体判定依据：

若目标的距离小于设定值：急刹

若目标的距离在设定该范围内：

计算距离区间内的物体的速度，若最快速度大于预设值：急刹，否则：缓刹。

本发明公开了一种基于机器视觉的低速园区无人车巡航及紧急制动系统，包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块；

通过行驶区域感知模块对道路行驶区域建立语义分割模型；PID规划模块用于车辆横向控制，以达到控制车辆按照指定的路径行驶，车辆当前位置和参考线的距离，控制车辆的速度在设定的值；障碍物检测模块进行障碍物紧急制动；激光点云映射至图像模块，将实际物体与图像的位置进行映射；

更进一步，行驶区域感知模块，语义分割模型在ICNet的基础上通过制作本地数据集、训练本地数据、微调参数和网络结构，使训练出的模型在本地环境的识别效果更加准确，只需对道路进行语义分割，对ICNet的backbone做出调整，缩小卷积核的大小，以获得更高的运行速度，降低模型的显存占用；

语义分割得出的结果先进行二值化处理得到过滤出道路的二值化图像，接着使用Canny检测出道路的轮廓，Hough检测识别出组合成轮廓的直线，通过计算直线的斜率过滤出属于车辆右边的道路轮廓；

对道路右轮廓的二值化图像进行多项和拟合操作，寻找出能拟合道路边界的曲线，从而计算出当前车辆偏移道路中心的距离。

更进一步，PID规划模块，将PID用于车辆横向控制，以达到控制车辆按照指定的路径行驶，车辆当前位置和参考线的距离，控制车辆的速度在设定的值，当前速度和设定速度的差值，求出误差以后，再根据误差求比例，积分和微分三项，其中Kp，Ki和Kd是三项的系数，它们决定着这三项对最后输出的影响的比重，将PID三项求和作为最后的输出信号。

更进一步，障碍物检测模块，采用Yolov3模型检测目标物体。

更进一步，激光点云映射至图像模块，包括内参标定步骤、外参标定步骤，具体为：

内参标定步骤：

步骤1. 检测每张图片中的棋盘图案的角点；

步骤2. 通过使用线性最小二乘法估算相机投影矩阵P；

步骤3. 根据P矩阵就解内参矩阵K和外参矩阵R，t;

步骤4. 通过非线性优化，提高K，R，t矩阵的精度；

外参标定：

计算点云到图像的投影矩阵需要三个参数，分别是相机内参矩阵和参考相机0到相机xx图像平面的旋转矩阵以及点云到相机的[R T]外参矩阵。

更进一步，障碍物3D检测与追踪模块，使用标识量保证计算计算映射在物体检测模块矩形框内的点云深度信息，并赋给物体检测模块；再通过光流法追踪：光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息；通过klt光流法追踪算法识别物体的ID，若当前帧的某物体符合物体检测模块历史序列中一个物体的特征则拷贝ID，若物体检测模块历史序列中某ID对应的物体多次未追踪到则丢弃该物体数据。

更进一步，ROI与AEB模块，物体在图像中的矩形框的下边中心为实际空间的位置，以该点为标准判断物体是否在感兴趣区域即ROI内；判断每一个感兴趣区域内物体的速度，据此判断是否需要刹车，属于急刹还是缓刹。

、本发明所产生的技术效果。

本发明基于视觉传感器实现自动驾驶，既解决了以激光雷达为主要传感器的自动驾驶方案的成本高昂问题，也解决了传统计算机视觉的车道线感知（可行驶区域感知）受环境复杂度影响的问题。本发明借助Yolov3模型检测目标物体（车、人等，由于本地化ICNet的模型的性能提高，使得Yolov3和ICNet模型同时运行依然能够达到20fps+。

附图说明

图1为现有卷积核示意图。

图2为本系统流程图。

图3为行驶区域感知流程图。

图4为PID规划模块流程图。

图5为障碍物检测模块流程图。

图6为激光点云映射至图像模块流程图。

图7为障碍物3D检测与追踪模块流程图。

图8为ROI与AEB模块流程图。

图9为语义分割识别结果示意图。

图10为道路右边界过滤结果示意图。

图11为曲线拟合结果示意图。

图12为车辆偏移距离计算示意图。

图13为物体检测结果示意图。

图14为激光点云前视图映射结果示意图。

具体实施方式

实施例

如图3行驶区域感知流程图，语义分割模型在ICNet的基础上通过制作本地数据集、训练本地数据、微调参数和网络结构，使训练出的模型在本地环境的识别效果更加准确。并且，因为本系统只需对道路进行语义分割，所以对ICNet的backbone做出调整，缩小卷积核的size，以获得更高的运行速度，降低模型的显存占用。

语义分割得出的结果先进行二值化处理得到过滤出道路的二值化图像，接着使用Canny检测出道路的轮廓，Hough检测识别出组合成轮廓的直线，通过计算直线的斜率过滤出属于车辆右边的道路轮廓。

如图4所示， PID规划PID控制属于反馈控制，本专利将PID用于车辆横向控制，以达到控制车辆按照指定的路径行驶，那么就是车辆当前位置和参考线的距离，控制车辆的速度在设定的值，那么就是当前速度和设定速度的差值，求出误差以后，再根据误差求比例，积分和微分三项，其中Kp,Ki和Kd是三项的系数，它们决定着这三项对最后输出的影响的比重。将PID三项求和作为最后的输出信号。

如图5所示，障碍物检测流程图，借助Yolov3模型检测目标物体（车、人等）。得益于本地化ICNet的模型的性能提高，使得Yolov3和ICNet模型同时运行依然能够达到20fps+。

如图6所示，激光点云映射至图像流程图。内参标定步骤：

1. 检测每张图片中的棋盘图案的角点；

2. 通过使用线性最小二乘法估算相机投影矩阵P；

3. 根据P矩阵就解内参矩阵K和外参矩阵R，t;

4. 通过非线性优化，提高K，R，t矩阵的精度。

外参标定：

计算点云到图像的投影矩阵需要三个参数，分别是P_rect(相机内参矩阵)和R_rect(参考相机0到相机xx图像平面的旋转矩阵)以及Tr_velo_to_cam(点云到相机的[R T]外参矩阵)。

如图7所示，障碍物3D检测与追踪，使用标识量保证计算Objects-distance模块对ImageObj和PointsImage两个话题的订阅正长。计算映射在Objects矩形框内的点云深度信息，并赋给Objects。

光流法追踪：光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。

通过klt追踪算法识别Objects的ID，若当前帧的某Object符合Objects历史序列中一个Object的特征则拷贝ID，若Objects历史序列中某ID对应的Object多次未追踪到则丢弃该Object。

如图8所示障碍物的热区过滤与刹车流程图，ROI与AEB Objects在图像中的矩形框的下边中心为实际空间的位置，以该点为标准判断objects是否在热区（ROI）内，若是，则压入Objects_new中。判断每一个Objects_new中的objects的速度，据此判断是否需要刹车，属于急刹还是缓刹。

实施例2

一、车辆巡航功能

1）建立道路语义分割模型

在ICNet的模型基础上修改模型的输出。

加载模型，输入待预测图像image（见图1），运行模型预测输入。

2）基于道路语义分割模型的识别结果计算车辆偏移道路中心的距离

①道路右边界识别：以ICNet的道路语义分割识别结果pred（见图9）作为输入图像pred，依次：Canny检测得到输入图像的轮廓图像（道路轮廓）；Hough直线检测得到轮廓录像的直线集（道路的轮廓由许多短小的直线组成）；过滤直线集中斜率符合要求的直线组成新的图像road_filter_img(见图10)；

②曲线拟合及曲率计算：基于像素直方图算法识别图像中哪些像素（hotpixels）属于道路右边界（见图11），并使用马氏距离去除异常值；利用hotpixels拟合二阶多项式

，以图像中心为车辆位置计算车辆偏移道路中心距离offset（车辆位置估计）（见图12）。

3）计算PID车辆横向控制公式参数

①PID横向控制公式：

：当前帧的车辆偏移距离offset，

：上一帧的偏移距离；

：上上一帧的偏移距离。

y:当前帧的方向盘转角；y_:上一帧的方向盘转角。

P、i、d：系数。

二、车辆紧急制动功能

1）建立目标检测模型

加载模型，输入待预测图像image，运行模型预测图像中物体位置（见图13）。

2）计算雷达点云映射到图像（雷达点云的前视图投影）所需的参数

计算点云街道图像的投影矩阵需要三个参数，分别是相机内参矩阵、参考相机到相机图像平面的旋转矩阵和点云到相机的外参矩阵。见公式：

P为3*4的投影矩阵，Tr为3*4的变换矩阵，表示雷达点云到坐标系的平移变化，X为点云数据。

使用投影公式计算点云的前视图投影（见图14）。

3）计算图像中检测到的2D目标的距离数据

在每个被检测到物体框所包含的点云中计算合适的距离作为该物体的距离，具体方法为：

①将物体框所包含的点云的深度数据收集形成新的矩阵并直方化

②在直方图中选取最长的深度数据作为该物体的距离。

4）计算行驶区域在图像中的ROI区域

因为AEB（紧急制动）无需考虑行驶路径外的障碍物，所以ROI区域过滤出位于行驶区域内的物件。具体做法如下：

①计算物体在图像中的实际位置：yolo的检测结果为目标框的宽w、高h以及左上点的坐标(x,y)，实际物体在图像中的位置应以目标框的下边中心位置为准。

②设置ROI区，符合下式的物体被用来判断是否需要启动AEB

5）根据ROI区域中的目标的距离变化率判断是否需要启动紧急制动以及是启动缓刹还是启动急刹。

具体判定依据：

①若nearest_obj的距离小于2m：急刹;

②若nearest_obj的距离大于2m小于5m：

计算距离区间内的物体的速度，若最快速度大于40km/h：急刹，否则：缓刹，注：根据车辆的制动距离、巡航速度计算而得。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.一种基于机器视觉的低速园区无人车巡航方法，其特征在于步骤如下：

1）建立道路语义分割模型

，以图像中心为车辆位置计算车辆偏移道路中心距离；

3）计算PID车辆横向控制公式参数

PID横向控制公式：

：当前帧的车辆偏移道路中心距离，

：上一帧的偏移距离；

2.一种使用如权利要求1所述的低速园区无人车巡航方法的巡航及紧急制动系统，其特征在于：包括行驶区域感知模块、PID规划模块、障碍物检测模块、激光点云映射至图像模块、障碍物3D检测与追踪模块、ROI与AEB模块；

激光点云映射至图像模块，包括内参标定步骤、外参标定步骤，具体为：

内参标定步骤：

步骤1. 检测每张图片中的棋盘图案的角点；

步骤2. 通过使用线性最小二乘法估算相机投影矩阵P；

步骤3. 根据P矩阵求解内参矩阵K和外参矩阵R，T；

步骤4. 通过非线性优化，提高K，R，T矩阵的精度；

外参标定：

根据相机内参矩阵和包括参考相机到相机图像平面的旋转矩阵的点云到相机的[R T]外参矩阵，计算点云到图像的投影矩阵；

ROI与AEB模块，因为紧急制动无需考虑行驶路径外的障碍物，所以感兴趣区域过滤出位于行驶区域内的物件才对AEB模块有意义，物体目标检测框的下边中心为着地点的位置，以该点为标准判断物体是否在感兴趣区域即ROI内；计算感兴趣区域内每一个物体的距离和速度，据此判断刹车情况，具体判定依据是：

若目标的距离小于设定值min_distance:急刹；

若目标的距离大于min_distance且在distance_roi范围内：计算距离区间内的物体速度，若最快速度大于预设值：急刹，否则：缓刹。

3.根据权利要求2所述的巡航及紧急制动系统，其特征在于：

行驶区域感知模块，语义分割模型在ICNet的基础上通过制作本地数据集、训练本地数据、微调参数和网络结构，使训练出的模型在本地环境的识别效果更加准确，只需对道路进行语义分割，对ICNet的backbone做出调整，缩小卷积核的大小，以获得更高的运行速度，降低模型的显存占用；

4.根据权利要求2所述的巡航及紧急制动系统，其特征在于：PID规划模块，

将PID用于车辆横向控制，以达到控制车辆按照指定的路径行驶，车辆当前位置和参考线的距离；控制车辆的速度在设定的值，当前速度和设定速度的差值，求出误差以后，再根据误差求比例，积分和微分三项，其中Kp，Ki和Kd是三项的系数，它们决定着这三项对最后输出的影响的比重，将PID三项求和作为最后的输出信号。

5.根据权利要求2所述的巡航及紧急制动系统，其特征在于：障碍物检测模块，采用Yolov3模型检测目标物体。

6.根据权利要求2所述的巡航及紧急制动系统，其特征在于：障碍物3D检测与追踪模块，使用标识量保证计算映射在物体检测模块矩形框内的点云深度信息，并赋给物体检测模块；再通过光流法追踪：光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息；通过klt光流法追踪算法识别物体的ID，若当前帧的某物体符合物体检测模块历史序列中一个物体的特征则拷贝ID，若物体检测模块历史序列中某ID对应的物体多次未追踪到则丢弃该物体数据。