CN106650708A - 一种自动驾驶障碍物视觉检测方法与系统 - Google Patents

Abstract

本发明公开了一种自动驾驶障碍物视觉检测方法与系统，通过车载双目摄像机与红外摄像机实时获得彩色及红外图像信息；利用图形处理器GPU获得车辆前进方向上的视差图；利用自适应阈值将视差图中的障碍物进行分割并同时利用亮度分布将红外图像中的障碍物进行分割；利用彩色直方图判断视差图与红外图像检测出的障碍物区域是否重合，并根据障碍物与车辆的距离、几何尺寸判断其威胁程度，并在障碍物将要与车辆发生碰撞时利用车辆控制器对车辆发出紧急制动指令。本发明将深度信息与红外信息进行融合，相比于传统方法，对障碍物的漏检率大大降低；采用自适应阈值将障碍物从背景中分割，提高了障碍物检测的精度，在自动驾驶领域具备很高的实用性。

Description

一种自动驾驶障碍物视觉检测方法与系统

技术领域

本发明涉及一种自动驾驶障碍物视觉检测方法与系统，属于无人驾驶汽车环境感知技术领域。

背景技术

障碍物检测技术是智能汽车自动驾驶系统中的诸多关键技术之一，其可靠性、快速性和准确性是衡量智能汽车自动驾驶系统中的重要指标。基于视觉的障碍物检测系统通常工作于被动工作方式，具有仿生学、结构简单、成本低廉、经济性好、应用范围广等特点。

相比于基于超声波、激光雷达等主动传感器的避障系统，视觉避障系统响应速度更快，精度更高，可以提供如颜色、纹理、几何形状等更加丰富的信息，与人类观察感知环境的原理一致，因此得到了越来越多的关注。

双目视觉与单目视觉相比，可以获得与摄像头垂直的距离信息，能更加有效的判断出障碍物与车辆的相对位置，也有助于将障碍物从复杂背景中快速、准确的进行分割；目前双目视觉已经广泛应用在机器人导航、自动驾驶等多个领域。但与单目视觉一样，双目视觉受光照影响较大，在光照条件不好的情况下其使用效果将大大降低。

红外成像系统可以在烟雾、微光、黑暗等特殊环境下对目标物体进行成像，已被广泛运用于安防、监控等诸多领域。但红外图像无法获得目标物体的纹理、颜色以及深度信息，且成像对比度低，检测距离有限，因此无法单独对车辆行驶过程中的障碍物进行识别。

申请号为CN201510040849.6的《一种双双目红外与可见光融合立体成像系统》通过“双双目”红外与可见光图像融合技术的设计，弥补了单一波段立体成像系统的不足，解决了因系统间配合而降低所获取图像精度的问题。但该系统结构复杂，对设备要求高，且没有配套的软件算法对障碍物进行分割，难以在自动驾驶中得到运用。

申请号为CN201310373949.1的《基于双目立体视觉的驾驶辅助障碍物检测方法》，主要提出了一种不需人为干涉的障碍物检测方法，它使用两个经过标定的CCD摄像机，同步采集车辆在静止或行驶过程中正前方路面的环境图像数据，并自主通过同一时刻采集的两幅图像进行基于三维重构的一系列图像处理和相应的计算后，精确获取车辆前方场景中障碍物的位置、尺寸、与本车的距离等信息，使智能车辆可以实时的进行车辆前方场景中障碍物的检测，从而实现障碍物告警。该方法虽然在白天有较好的效果，但在夜间容易因光照强度弱造成漏识别，无法全天候使用。且该方法需要计算出视场中全部像素点的三维坐标，对处理器运算性能和存储器的容量都有很高的要求，不适用于小型嵌入式机载设备。

申请号为CN201210365530.7的《一种双目远红外智能辅助安全驾驶系统》，通过安装在车辆前端两个特殊可实时进行动态姿态调整的远红外传感器和内嵌入车内驾驶仪表板内的无线网络移动综合信息交互平台，对行车前方纵深坐标不同动态或静态目标的纵向距离、速度、加速度和危险性进行智能判断和动态跟踪，同时提醒驾车人减速或采取制动措施。该方法未考虑到道路或地面对障碍物深度值获取的影响，极容易导致误判。

综上所述，虽然国内外在利用双目视觉或红外图像进行自动驾驶领域有较多的研究，但大多方法无法全天候、快速、准确地对障碍物进行识别，故大多难以应用到实际自动驾驶领域。

发明内容

本发明所要解决的技术问题是：提供一种自动驾驶障碍物视觉检测方法与系统，通过将深度信息与红外信息进行融合，能全天候识别车辆前方的障碍物、行人或其他车辆，对驾驶人发出警告，并在障碍物将要与车辆发生碰撞时对车辆发出紧急制动指令。

本发明为解决上述技术问题采用以下技术方案：

一种自动驾驶障碍物视觉检测方法，包括如下步骤：

步骤1，利用双目摄像机实时获取车辆前进方向上的图像，并利用立体匹配算法计算出车辆前进方向上的视差图；同时，利用红外摄像机实时获取车辆前进方向上的红外图像；

步骤2，通过视差图将包含障碍物的区域利用自适应阈值分割方法进行分割；

步骤3，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；

步骤4，在进行步骤3的同时，对红外图像的亮度进行阈值分割，将小于预设阈值的亮度置0，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物；

步骤5，若视差图和红外图像中均无障碍物，则判定为无障碍物并返回步骤1；

步骤6，若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；

步骤7，若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；

步骤8，若视差图和红外图像中均存在障碍物，则分别按照步骤6、7分别得到障碍物区域，利用色调直方图判断二者是否重合；

步骤9，若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计算其与车辆的距离；并提醒驾驶人障碍物的距离，当障碍物的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。

作为本发明的一种优选方案，步骤1所述利用双目摄像机实时获取车辆前进方向上的图像的具体做法为：将双目摄像机对称安装在车辆头部左右两侧，且双目摄像机的朝向与车辆前进方向平行，通过预先标定得到的双目摄像机内外参数矩阵将实时获取到的左右两幅图像矫正为无畸变且行对准的两幅图像。

作为本发明的一种优选方案，步骤1所述利用红外摄像机实时获取车辆前进方向上的红外图像的具体做法为：将红外摄像机安装在双目摄像机的正中位置，并向上扬起，与车辆前进方向的夹角为10°。

作为本发明的一种优选方案，所述步骤2的具体做法为：将视差图的最左边和最右边各裁剪掉原图像的1/5，得到裁剪后的视差图，将裁剪后的视差图最下边裁掉自身的1/5，得到新的视差图，设定分割阈值t，将视差值大于等于t的归类为属于障碍物的视差值，将视差值小于t的归类为属于背景的视差值，阈值t的求解方式为：设定N₀,N₁,…,N₂₅₅分别为新的视差图中视差值等于0,1,…,255的像素点的数目，阈值t通过最大化G的值可以得到，其中，G的计算公式为：

G＝[Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)]+a×[Std(N₁₀,N_t)-Std(N_t+1,N₂₃₆)]

其中，Mean(N_p,N_q)为N_p,N_p+1,…,N_q的均值，Std(N_p,N_q)为N_p,N_p+1,…,N_q的标准差，a为比例系数；若计算出的阈值t>200，则重新计算t，通过最大化G′的值得到，其中，G′的计算公式为：G′＝Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)。

作为本发明的一种优选方案，所述距离信息的计算方法为：设定D₀,D₁,…,D₂₅₅分别为障碍物区域中视差值等于0,1,…,255的像素点的数目，若存在至少一个则障碍物区域与车辆距离D为：其中，f_c为摄像机的焦距，T为双目摄像机的基线距离，d_max为大于的D_k对应的视差值中的最大视差值；若所有的D₀,D₁,…,D₂₅₅均小于则障碍物区域与车辆距离D为：其中，d_m为障碍物区域内所有视差值的平均值。

作为本发明的一种优选方案，步骤8所述利用色调直方图判断二者是否重合的方法为：首先将双目摄像机中左摄像机获取的图像从RGB空间转换为HSV空间并提取其色调通道图像，然后将视差图和红外图像得到的障碍物区域平移至左摄像机参考系下，设定H₁(0),H₁(1),…,H₁(255)分别为视差图分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，H₂(0),H₂(1),…,H₂(255)分别为红外图像分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，若二者的巴氏距离d_B(H₁,H₂)小于设定阈值，则判定二者重合，d_B(H₁,H₂)的计算公式为：

一种自动驾驶障碍物视觉检测系统，包括搭载在车辆上的双目摄像机、红外摄像机、图像处理模块和车辆控制器，所述图像处理模块包括CPU模块和GPU模块；所述双目摄像机用于实时获取车辆前进方向上的图像同步传入图像处理模块，红外摄像机用于实时获取车辆前进方向上的红外图像同步传入图像处理模块；GPU模块根据双目摄像机同步采集到的图像并行计算视差图，CPU模块用于分割障碍物区域，并计算障碍物距车辆的距离信息；车辆控制器用于检测车辆的运行信息，并在障碍物距车辆的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明通过将双目视觉得到的视差图和红外图像进行有效融合，相比于单一使用双目视觉或红外图像的障碍物检测系统，检测精度更高、适用范围更广。

2、本发明提出了一种新的自适应阈值分割方法，该方法能快速准确地将道路上的障碍物从道路背景中进行分割，具有较高的实用价值。

3、本发明利用色调直方图判断双目和红外检测出障碍物的重合程度，对两个测量系统进行了有效融合，解决了两个测量系统测量重复的问题，为自动驾驶提供了简洁、准确的障碍物信息。

附图说明

图1是本发明自动驾驶障碍物视觉检测方法的算法流程图。

图2是本发明自动驾驶障碍物视觉检测系统的硬件结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图2所示，本发明一种自动驾驶障碍物视觉检测系统的硬件结构图，系统包括左摄像机1、右摄像机2、红外摄像机3、图像处理模块4和车辆控制器5，其中，图像处理模块包括CPU模块和GPU模块，红外摄像机安装位置在左右摄像机正中位置并向上扬起10°；车辆控制器与车辆的刹车系统相连接，在紧急状态下对车辆进行紧急制动。

左右摄像机和红外摄像机分别负责将左右图像和红外图像同步传入嵌入式图像处理计算机；GPU模块负责根据左右相机同步采集到的图像并行计算视差图，CPU模块负责分割障碍物区域，计算障碍物距离；车辆控制器负责检测车辆运行的速度、加速度、姿态等信息，在障碍物的距离小于一定阈值且驾驶人未做出反应时，对车辆发出紧急制动指令。

本实例中左右摄像机采用完全相同的高清可见光数字摄像机，分辨率640*480或800*600等，可用帧率20到30fps，基线距离120cm，基线距离与焦距均可调；本实例中的红外摄像机采用阵列式LED红外发射器作为信号源以扩大红外摄像机的可视角度；左右摄像机和红外摄像机均通过USB或其它高速接口直接与嵌入式图像处理计算机相连接。

如图1所示，本发明一种自动驾驶障碍物视觉检测方法的流程如下：首先将双目摄像机安装在车头的左右两边，朝向与车辆前进方向平行，通过事先标定得到的摄像机内外参数矩阵将左右图像矫正为无畸变且行对准的两幅图像；同时利用红外摄像机实时获取前进方向上的红外信息。

同步读入红外、左右摄像机的图像，利用GPU计算视差图，每一个像素点的视差值迭代计算由一个GPU单元单独完成。

通过视差图将包含障碍物的区域利用自适应阈值进行分割，分割方为：将视差图分为属于障碍物的区域和属于地面的区域，首先将视差图左、右、下部各去掉一定范围的面积，设定分割阈值t，将视差值大于等于t的归类为属于障碍物的视差值，将深度值小于t的归类为属于背景的深度值，t的求解方法为：

假设N₀,N₁,…,N₂₅₅分别是视差值等于0,1,…,255的像素点的数目，阈值t通过最大化G的值可以得到；其中，G的计算公式为：

G＝[Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)]+a×[Std(N₁₀,N_t)-Std(N_t+1,N₂₃₆)]

其中，Mean(N_p,N_q)为N_p,N_p+1,…,N_q的均值，Std(N_p,N_q)为N_p,N_p+1,…,N_q的标准差，a为前后两个[]的比例系数。如果计算出的阈值t>200，则需要重新计算t的值，t通过最大化G′得到，其中，G′的计算公式为：

G′＝Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)

提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；于此同时对红外图像进行阈值分割，将小于一定阈值(本例中取的阈值为56)的亮度置0，提取分割后图像中的所有轮廓并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物。

若视差图和红外图像中均无障碍物，则判定为无障碍物并读入下一帧图像；若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，将障碍物区域对应到视差图上相应区域，根据视差图上相应区域的视差值计算出其与车辆的距离信息。

计算障碍物区域与车辆距离的方法为：假设D₀,D₁,…,D₂₅₅为障碍物区域内视差值等于0,1,…,255的像素点的数目，若存在至少一个则障碍物区域与车辆距离为：其中f_c为摄像机的焦距，T为左右摄像机的基线距离，d_max为大于的D_k对应的视差值中的最大视差值；若所有的D₀,D₁,…,D₂₅₅均小于则障碍物区域与车辆距离为其中d_m为障碍物区域内所有视差值的平均值。

若视差图和红外图像中均存在障碍物，则利用色调直方图判断二者是否重合，判断方法为：首先将左摄像机采集到的图像从RGB空间转换为HSV空间并提取其色调通道图像；之后将视差图与红外图像计算出的障碍物区域进行平移，使之以左摄像机为基准；假设H₁(0),H₁(1),…,H₁(255)为视差图分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，H₂(0),H₂(1),…,H₂(255)为红外图像分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，若二者的巴氏距离d_B(H₁,H₂)小于一定阈值(本例中阈值取为0.7)，则判定二者重合，d_B(H₁,H₂)的计算公式为：

若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计其与车辆的距离；计算障碍物区域与车辆距离的方法同上。

使用语音、屏幕显示等方式提醒驾驶人障碍物的位置和距离；当障碍物的距离小于一定阈值(本例中阈值取为2m)且驾驶人未做出反应时，对车辆发出紧急制动指令。

本发明将双目视觉得到的视差图和红外图像进行有效融合，相比于单一使用双目视觉或红外图像的障碍物检测系统，检测精度更高、适用范围更广。其中提出了一种新的自适应阈值分割方法，该方法能快速准确地将道路上的障碍物从道路背景中进行分割，具有较高的实用价值。本发明还利用色调直方图判断双目相机和红外相机检测出障碍物的重合程度，对两个测量系统进行了有效融合，有效的解决了两个测量系统测量重复的问题，为自动驾驶提供了简洁、准确的障碍物信息。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (7)

1.一种自动驾驶障碍物视觉检测方法，其特征在于，包括如下步骤：

步骤1，利用双目摄像机实时获取车辆前进方向上的图像，并利用立体匹配算法计算出车辆前进方向上的视差图；同时，利用红外摄像机实时获取车辆前进方向上的红外图像；

步骤2，通过视差图将包含障碍物的区域利用自适应阈值分割方法进行分割；

步骤3，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断视差图中是否出现障碍物；

步骤4，在进行步骤3的同时，对红外图像的亮度进行阈值分割，将小于预设阈值的亮度置0，提取分割后图像中的所有轮廓，并用矩形对最大轮廓进行拟合，根据矩形的面积大小判断红外图像中是否出现障碍物；

步骤5，若视差图和红外图像中均无障碍物，则判定为无障碍物并返回步骤1；

步骤6，若视差图中有障碍物而红外图像中无障碍物，则将视差图中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；

步骤7，若视差图中无障碍物而红外图像中有障碍物，则将红外图像中分割出的矩形区域作为障碍物区域，并计算出其与车辆的距离信息；

步骤8，若视差图和红外图像中均存在障碍物，则分别按照步骤6、7分别得到障碍物区域，利用色调直方图判断二者是否重合；

步骤9，若判断为重合，则将两区域合并计算其与车辆的距离；若判断为不重合，则将两区域分开计算其与车辆的距离；并提醒驾驶人障碍物的距离，当障碍物的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。

2.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，步骤1所述利用双目摄像机实时获取车辆前进方向上的图像的具体做法为：将双目摄像机对称安装在车辆头部左右两侧，且双目摄像机的朝向与车辆前进方向平行，通过预先标定得到的双目摄像机内外参数矩阵将实时获取到的左右两幅图像矫正为无畸变且行对准的两幅图像。

3.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，步骤1所述利用红外摄像机实时获取车辆前进方向上的红外图像的具体做法为：将红外摄像机安装在双目摄像机的正中位置，并向上扬起，与车辆前进方向的夹角为10°。

4.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，所述步骤2的具体做法为：将视差图的最左边和最右边各裁剪掉原图像的1/5，得到裁剪后的视差图，将裁剪后的视差图最下边裁掉自身的1/5，得到新的视差图，设定分割阈值t，将视差值大于等于t的归类为属于障碍物的视差值，将视差值小于t的归类为属于背景的视差值，阈值t的求解方式为：设定N₀,N₁,…,N₂₅₅分别为新的视差图中视差值等于0,1,…,255的像素点的数目，阈值t通过最大化G的值可以得到，其中，G的计算公式为：

G＝[Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)]+a×[Std(N₁₀,N_t)-Std(N_t+1,N₂₃₆)]

其中，Mean(N_p,N_q)为N_p,N_p+1,…,N_q的均值，Std(N_p,N_q)为N_p,N_p+1,…,N_q的标准差，a为比例系数；若计算出的阈值t>200，则重新计算t，通过最大化G′的值得到，其中，G′的计算公式为：G′＝Mean(N₁₀,N_t)-Mean(N_t+1,N₂₃₆)。

5.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，所述距离信息的计算方法为：设定D₀,D₁,…,D₂₅₅分别为障碍物区域中视差值等于0,1,…,255的像素点的数目，若存在至少一个则障碍物区域与车辆距离D为：其中，f_c为摄像机的焦距，T为双目摄像机的基线距离，d_max为大于的D_k对应的视差值中的最大视差值；若所有的D₀,D₁,…,D₂₅₅均小于则障碍物区域与车辆距离D为：其中，d_m为障碍物区域内所有视差值的平均值。

6.根据权利要求1所述自动驾驶障碍物视觉检测方法，其特征在于，步骤8所述利用色调直方图判断二者是否重合的方法为：首先将双目摄像机中左摄像机获取的图像从RGB空间转换为HSV空间并提取其色调通道图像，然后将视差图和红外图像得到的障碍物区域平移至左摄像机参考系下，设定H₁(0),H₁(1),…,H₁(255)分别为视差图分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，H₂(0),H₂(1),…,H₂(255)分别为红外图像分割出的障碍物区域内色调值等于0,1,…,255的像素点的数目，若二者的巴氏距离d_B(H₁,H₂)小于设定阈值，则判定二者重合，d_B(H₁,H₂)的计算公式为：

$d_B(H_1,H_2)=\sqrt{1-\underset{i=0}{\overset{255}{\Σ}}\frac{\sqrt{H_1\left(i\right)\·H_2\left(i\right)}}{\underset{j=0}{\overset{i}{\Σ}}{H}_1\left(j\right)\·\underset{j=0}{\overset{i}{\Σ}}{H}_2\left(j\right)}}.$

7.一种自动驾驶障碍物视觉检测系统，其特征在于，包括搭载在车辆上的双目摄像机、红外摄像机、图像处理模块和车辆控制器，所述图像处理模块包括CPU模块和GPU模块；所述双目摄像机用于实时获取车辆前进方向上的图像同步传入图像处理模块，红外摄像机用于实时获取车辆前进方向上的红外图像同步传入图像处理模块；GPU模块根据双目摄像机同步采集到的图像并行计算视差图，CPU模块用于分割障碍物区域，并计算障碍物距车辆的距离信息；车辆控制器用于检测车辆的运行信息，并在障碍物距车辆的距离小于预设参考值且驾驶人未做出反应时，对车辆发出紧急制动指令。