CN109993060B - 深度摄像头的车辆全向障碍物检测方法 - Google Patents

Abstract

本发明公开了一种深度摄像头的车辆全向障碍物检测方法，该方法通过在车辆周围布设深度摄像头，开启深度视频流并读取深度帧，对深度数据进行去噪处理，利用空间区域生长算法对深度图像进行分割，然后对障碍物区域进行聚类分割，继而确定障碍物最近点，生成障碍物检测区域，计算障碍物距离，当障碍物接近时生成接近警告，并对检测结果进行可视化。本发明方法对车辆行进过程中的障碍物进行全向检测，有效提高了车辆盲区范围内的障碍物检测能力，并可以向驾驶员提供实时的全向避障信息，大大提高了车辆的行驶安全性。

Description

深度摄像头的车辆全向障碍物检测方法

技术领域

本发明属于计算机视觉技术领域，涉及一种使用深度摄像头对车辆行驶环境中的障碍物进行检测的方法，该方法可配置于车辆四周，对车辆行进过程中的障碍物进行全向检测，并可以向驾驶员提供实时的全向避障信息，提高了车辆盲区范围内的障碍物检测能力和车辆的行驶安全性。

背景技术

汽车是人类代步和出行的重要交通工具之一。随着汽车产业高速发展，汽车的数量和人均拥有量同时也在急剧增加。根据相关交通事故调查报告显示，导致车辆交通事故的主要原因有三个方面：超速、超载及违章驾驶，其中造成这三种交通事故的主要原因表现为汽车之间的碰撞，包括车-车碰撞和车-人碰撞两种。现代汽车安全技术大致可分为被动安全和主动安全二大类，被动安全不能防止交通事故的发生，但是它能够最大限度减少事故发生后的损失。相反智能汽车的主动安全技术则是能够避免或者减少车辆发生交通事故，从而保证车辆安全行驶。智能汽车的主动安全技术因其防患于未然，越来越受到各大汽车制造商和消费者的重视。

智能汽车的目的是以实现车辆的主动安全技术为前提，通过各个先进驾驶辅助系统控制车辆的执行机构动作。目前，美国研制的智能汽车TerraMax配备有6部相机、4个激光雷达、2个毫米波雷达，以及12个超声波传感器用于获取车辆周围环境信息。意大利的智能汽车ARGO由3部相机环境感知传感器组成，其功能是获取车辆周围的障碍物与车道线信息。法国的INRIA一共有7个模块组成，分别是决策与控制、电机驱动、传感器接口、无线通信、供电、跟踪和数据传送，模块间通过车辆CAN总线连接通讯。国内的同济大学开发的“春辉”四轮驱动电动汽车，智能汽车环境感知系统有GPS天线、路上相机系统、前方毫米波雷达、右侧激光雷达和前方激光雷达等环境感知传感器组成。吉林大学和清华大学都研发出了各自的智能汽车，使用多种相机、前方毫米波雷达、右侧激光雷达、后方激光雷达等多种复杂的传感器感知环境中的障碍物。

目前智能汽车环境感知系统方案主要是通过车顶上的360度扫描式激光雷达生产3D街景地图技术，以激光雷达传感器技术为核心实现智能汽车环境感知功能。然而，激光雷达传感器的费用非常高，且激光雷达在某些特殊环境下，比如在雾霭、暴雨和暴雪等恶劣天气下，其性能和稳定性会受到一定的影响。

超声波雷达传感器也是目前技术较为成熟的传感器之一，广泛装配在各种车型上，主要用于汽车倒车雷达作用，以及实现车位探测和车辆定位。然而超声波雷达传感器输出障碍物信息只有点对点的距离信息值且有限探测感知范围距离大多数在2米左右，因此完全不具备全向的障碍物检测能力。

相机传感器是新兴环境感知传感器代表之一，它广泛被装配在各大豪华车型上，同时相机传感器也被广泛应用到各种智能车辆中的环境感知系统。相机与其他环境感知传感器相比，相机传感器在对于障碍物边缘、范围和姿态等检测效果更好，尤其是相机传感器对于障碍物的识别能力很强。但是制约于相机传感器的发展另外一个因素是其对光照非常敏感，比如在晚上情况下，相机传感器的分辨能力就比较弱，并且相机传感器同时受场景的变化影响也很大，比如在交通拥挤的情况下，相机传感器就存在较多误报的情况。这些技术的局限性，都是制约相机传感器发展的因素。

发明内容

针对上述传感器在车辆环境障碍物感知方面的不足，本发明的目的在于，提供一种使用深度摄像头感知并检测车辆周围环境障碍物的方法，该方法通过在车身周围安装深度摄像头，可以对车辆全向环境进行检测和预警。

为了实现上述任务，本发明采用以下技术方案：

一种深度摄像头的车辆全向障碍物检测方法，包括以下步骤：

步骤1，在车辆的周围分布安装多个深度摄像头，并使所有深度摄像头的环境检测范围达到全向覆盖；

步骤2，通过深度摄像头获取深度视频数据，并利用自适应中值滤波的方法对深度视频数据进行去噪处理；

步骤3，利用空间区域生长算法对深度图像进行分割

对每一个深度摄像头获取的深度视频数据中的每一帧深度图像进行处理，以提取出每一帧深度图像中的障碍物区域，包括：

步骤3.1，定义相似性阈值T_s；

步骤3.2，从深度图像的(0,0,0)坐标点开始沿三维坐标轴依次遍历图像点，当遇到第一个深度点P₀时，为P₀设定所在区域为S1，区域S1面积为1，并检查以此深度点P₀为圆心，半径T_s范围内是否有深度点P₁存在，如果存在，则将点P₁划归到点P₀所在区域S1，并将该区域S1的面积加1；

然后以点P₁为圆心，检查半径T_s范围内是否有深度点P₂(P₂≠P₀)存在，若存在则将点P₂划归到P₁此时所在的区域S1中，并将区域S1的面积加1，以此类推；若P₁为圆心，半径T_s范围内不存在其他深度点，则区域S1面积自增完成；

步骤3.3，继续沿三维坐标轴进行三维深度点的遍历，将下一个遍历到的三维深度点P'划归到一个新的区域S2中，区域面积为1，而深度点P'为该新区域S2的开始点；

步骤3.4，继续遍历三维深度点P'之后的其他图像点，若图像点为三维深度点，则按照步骤3.2、3.3相同的方法进行处理，直至深度图像中所有的三维深度点均被遍历完成；若图像点不是三维深度点，则继续遍历下一个图像点；

步骤4，对障碍物区域进行聚类分割

对步骤3得到的障碍物区域建立无向图，无向图的每一个节点为一个障碍物区域，边上的权值大小为区域的空间几何距离；通过在这样一个无向图上建立一个最小割来完成区域的分割，使碎片化的障碍物区域整合为统一的障碍物区域；

步骤5，确定障碍物的最近点

通过定义车辆的中心点，并计算中心点与三维深度点的距离，将距离最近的点作为障碍物的最近点；

步骤6，生成障碍物检测区域

定义车辆包络矩形R，以及此矩形的外接圆C，矩形和圆球的中心点均为车辆的中心点；则圆C与矩形R之间的区域为障碍物检测区域；当障碍物的最近点到车辆中心点的距离小于圆C的半径时，认为障碍物进入检测范围；

步骤7，障碍物距离计算

当检测到障碍物的最近点进入障碍物检测区域后，通过计算最近点与对应区域矩形平面方程的距离，得到障碍物与车辆的距离L_z；

步骤8，生成障碍物接近警告

定义安全距离阈值D_z，当L_z＜D_z时，可以认为障碍物距离车辆较近，此时发出警告。

进一步地，所述的方法还包括：

步骤9，全向障碍物的可视化

使用OpenGL可视化技术以俯视方式展现整个障碍物场景，通过渲染每一个深度点，构建障碍物点云，达到实时俯视全景障碍物的目的；在可视化图中，实时显示出检测范围圆C与碰撞临界矩形R，当障碍物进入检测范围圆C时，提醒驾驶员周围有障碍物，当有障碍物进入碰撞临界矩形R时，发出报警。

进一步地，所述的步骤4具体包括：

对于带权值的图G＝(V,E)，其中V表示顶点，即步骤3中提取出的障碍物区域，E表示边，即障碍物区域之间的连接；设G图可以分为不相交的两部分A和B(V＝A∪B),那么可以定义图G的一个分割如下：

上式中，C_w(A,B)表示区域A和B的权值和，w(i,j)表示顶点i和j的权值；该权值为障碍物区域i与障碍物区域j的空间距离；通过归一化地计算权值达到归一化分割的目的，计算方法为式(3)所示：

上式中，

与

分别表示A与B到无向图中所有节点的权值之和；因此求区域A和B的最佳分割可以通过求NC_w(A,B)的最小值实现。

进一步地，所述的求NC_w(A,B)的最小值的求解过程为：

设顶点数为n，设x＝(x₁,x₂,…,x_n)，x_i＝-1表示区域B包含顶点i，x_i＝1表示区域A包含顶点i；设W为n×n的对称矩阵，其元素w_ij为式(2)中的w(i,j)，设对角矩阵为D，其元素D(i,j)＝d_i，其中

设

则NC_w(A,B)可以推导出：

上式中，1表示[N,1]维度的全一矩阵；设b＝k/(1-k)，y＝[(1+x)-b(1-x)]/2，则求NC_w(A,B)的最小值可以通过求解式(5)的特征值和特征向量得到：

(D-W)y＝λDy (5)

上式中，y表示特征向量，λ是特征值，那么需要的分割位置是第二小特征值所对应的特征向量。

进一步地，步骤6所述的认为障碍物进入检测范围，具体表示为：

圆C与矩形R之间的区域为障碍物检测区域，分别定义为1,2,3,4区域；设1区域对应的矩形平面方程为

3区域对应的矩形平面方程为

2区域对应的矩形平面方程为

4区域对应的矩形平面方程为

其中L和W分别表示预定义的包络矩形R的长和宽；设障碍物最近点为P_c(x_c,y_c,z_c)，车辆中心点坐标为P_vc(x₀,y₀,z₀)，圆C半径为r_c，则进入1区域当且仅当满足：

进入2区域当且仅当满足：

进入3区域当且仅当满足：

进入4区域当且仅当满足：

本发明与现有技术相比，具有以下技术特点：

1.车辆环境感知方法主要使用激光雷达、毫米波雷达、超声波和摄像头等传感器进行车辆的环境感知。然而使用这样的方法具有成本高，深度信息少，只有点对点距离获取，易受环境亮度的影响等缺点。

本发明使用深度摄像头进行车辆环境检测，成本仅仅是激光雷达的1/50,且检测密度可以远远高于激光雷达；与毫米波雷达相比，深度摄像头可以获得更为丰富的距离信息，有助于实现全向的环境感知。与超声波传感器相比，深度摄像头同样可以获得更为丰富的距离信息，且完全没有超声波易被干扰吸收的问题存在。与目前新兴的相机传感器相比，使用深度摄像头克服了相机易受光线、光照环境影响的问题，真正实现全天候对车辆环境感知。

2.本发明方法对车辆行进过程中的障碍物进行全向检测，有效提高了车辆盲区范围内的障碍物检测能力，并可以向驾驶员提供实时的全向避障信息，大大提高了车辆的行驶安全性。

附图说明

图1是使用深度摄像头检测车辆全向环境示意图；

图2是深度摄像头部署方式示意图；

图3是自适应中值滤波前后对比图，其中(a)为滤波前，(b)为滤波后；

图4是空间生长算法提取出的深度图像中的障碍物区域示意图；

图5是对障碍物区域进行聚类分割的示意图；

图6是障碍物区域最近点示意图；

图7是障碍物检测范围俯视图；

图8是车辆全向障碍物感知可视化图，其中(a)为车辆全向深度图像提取示意图，(b)为车辆全向障碍物感知示意图；

图9是本方案的总体结构流程图；

图10是深度图像自适应中值滤波示意图；

图11是深度图像空间生长结果示意图；

图12是实施例中进行聚类分割结果图；

图13是实施例中部分障碍物最近点示意图；

图14是实施例中障碍物区域俯视效果图；

图15是本方案的白天障碍物区域全向检测结果图；

图16是本方案的夜间障碍物区域全向检测结果图。

具体实施方式

车辆在行驶过程中，车辆周围环境障碍物的感知直接影响车辆行驶的安全，因此对车辆周围的全向障碍物进行感知非常重要。本发明提出了一种基于深度摄像头的车辆全向障碍物检测方法，使用深度摄像头克服了相机易受光线、光照环境影响的问题，真正实现全天候对车辆环境进行感知。本发明的的流程图如图9所示，详细步骤如下：

步骤1，在车辆的周围分布安装多个深度摄像头，使所有深度摄像头的环境检测范围达到全向覆盖。

本实施例中使用微软公司的Kinect深度摄像头进行车辆的环境感知。Kinect有三个镜头，如图1所示，中间的镜头是RGB彩色摄影机，用来采集彩色图像。左右两边镜头则分别为红外线发射器和红外线CMOS摄影机所构成的3D结构光深度感应器，用来采集深度数据(场景中物体到摄像头的距离)。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。Kinect还搭配了追焦技术，底座马达会随着对焦物体移动跟着转动。Kinect也内建阵列式麦克风，由四个麦克风同时收音，比对后消除杂音，并通过其采集声音进行语音识别和声源定位。

图2给出的示例中，在车身周围布设了10个Kinect深度摄像头，相邻的摄像头的拍摄范围部分重叠，从而使得深度摄像头的检测范围达到全向覆盖，实现全天候情况下车辆全向的障碍物检测。

步骤2，深度视频数据采集与去噪

通过深度摄像头获取深度视频数据，并利用自适应中值滤波的方法对深度视频数据进行去噪处理。

本实施例中，首先初始化通用库程序OpenNI，OpenNI是用于Kinect设备的跨平台通用程序库，负责驱动Kinect设备的底层硬件。首先对Kinect设备进行初始化，以便完成后续对Kinect的操作。这个步骤具体包括：

(1)OpenNI库初始化

识别器Kinect的初始化使用OpenNI库命令OpenNI::initialize()完成。

(2)打开深度摄像头设备

在完成了初始化后，可以打开Kinect的深度摄像头。使用Device对象的命令devDevice.open(ANY_DEVICE)打开深度摄像头。

完成初始化以后，使用视频流对象VideoStream的命令：

vsDepth.create(devDevice,SENSOR_DEPTH)创建深度摄像头设备。

完成初始化以后，使用视频流对象VideoStream的命令：

vsDepth.create(devDevice,SENSOR_DEPTH)创建深度摄像头设备。

由于Kinect设备是一种综合功能的设备，所以需要开启Kinect的深度摄像头设备以进行下一步的操作。在设置了深度视频帧的模式以后，可以开启深度摄像头并读取深度视频帧，并将深度视频帧读取到深度数据内存中。

Kinect基于TOF原理，由于其内部的器件、场景的环境条件等因素，生成的深度图像的会受到各类噪声的影响，对障碍物检测造成影响。主要噪声来源有Kinect本身、场景环境条件、物体表面特性。

(1)Kinect传感器本身

由于Kinect使用的红外光源的相干性会导致周期性的抖动，这造成了测量深度在实际深度位置附近振荡。同时普通相机常见的噪声，也会出现在Kinect中，如在光子计数过程中，会产生泊松噪声，除此之外还会受到暗噪声和读出噪声的影响。

(2)场景环境条件

场景环境条件主要指的是场景内光照条件的影响，虽然Kinect对环境光进行了去除噪声的处理，但是在环境光太大时还是会有一定的影响，尤其是正对光源时，因此使用时应该注意避免将Kinect放置在强光环境下。

(3)物体表面特性

不同的物体表面的反射率不同，当反射率较低时，返回的入射光的光量会减少，因此会出现深度较大的情况，比如黑色物体的表面会吸收大量的光，造成深度测量的不准确。同时对于TOF相机，我们假设每个像素的光是来自单个位置的反射，但在实际情况中，可能会出现其他位置的反射光经过多次反射到达同一个像素，这样会产生误差。在一个立体的边缘，前景和背景的边缘处，返回的光是前景和背景的混合，在区分前景和背景过程中也会产生噪声。

因为车辆环境障碍物检测要求高实时性，本方案中使用处理速度较快的自适应中值滤波方法去除噪声，该过程在车载计算机中实现。

中值滤波常用于消除脉冲噪声，如椒盐噪声，而且中值滤波在去除噪声的同时能够很好的保护信号的边缘，使之不模糊，同时中值滤波算法简单，运算速度快，在图像预处理中有着广泛的应用。中值滤波是对图像中每个像素点及其邻域范围内的像素取中值的过程，通过取中值能够去除孤立的噪声像素点。中值滤波的公式可表示为式(1)：

g(x,y)＝median{f(i,j)|(i,j)} (1)

其中f(i,j)表示中值滤波函数，(i,j)表示像素点坐标。中值滤波在很好的消除了图像中噪声点的同时，很好的保存了深度图像的边缘，但是深度图像中还存在着无效的空洞区域。

如果我们调大中值滤波的窗口来进行滤波将会减少图像的细节，自适应的中值滤波能够根据噪声的大小来自动调整中值滤波的窗口大小以及是否进行滤波，能够在保护图像细节的同时去除大的噪声点，填充深度图像中的空洞。

自适应中值滤波首先对每个像素是否是噪声进行检测，通过给定一个初始大小的窗口，计算邻域内像素值大小的中值，并判断该值是否在该邻域内像素值最大值和最小值之间，如果满足条件则该点不是噪声点，因此不对其进行中值滤波，否则扩大邻域的范围重复该过程，对于一直判断为噪声点的像素，直到邻域大小达到设定的阈值才停止扩大邻域。

图3为深度图像自适应中值滤波前后对比图，设置初始的邻域大小为3x3，每次扩大邻域的步长为2，当邻域大小为15x15时停止扩大邻域。从图中可以看出，自适应中值滤波在滤除深度图像中噪声的同时，保留了深度图像细节信息，并对图像中的比较大的空洞区域进行了很好的修复，因此本方案选择使用自适应的中值滤波对得到的深度图像进行处理。

本实施例中，10个深度摄像头采集的深度图像经处理后的结果如图10所示，图中箭头指向的图片为自适应中值滤波处理过的深度图像。

步骤3，利用空间区域生长算法对深度图像进行分割

通常区域生长算法用于二维图像，用于将二维图像进行区域分割。区域生长是指将在像素强度、纹理颜色、角点特征、SIFT特征等属性上具有相似性质的像素集合起来构成小区域，然后再将这些小区域依照相似性合并成更大区域的过程；区域生长实际上是一个迭代运算的过程。

然而，深度图像是一种三维空间图像，因此本发明提出一种针对于深度图像的空间区域生长算法，利用该算法对每一个深度摄像头获取的深度视频数据中的每一帧深度图像进行处理，以提取出每一帧深度图像中的障碍物区域。本发明提出的该算法步骤如下：

步骤3.1，定义相似性阈值T_s，一般情况下，T_s取值范围为0～10。

步骤3.2，从深度图像的(0,0,0)坐标点开始沿三维坐标轴依次遍历图像点，当遇到第一个深度点P₀时，为P₀设定所在区域为S1，区域S1面积为1，并检查以此深度点P₀为圆心，半径T_s范围内是否有深度点P₁存在，如果存在，则将点P₁(所在区域)划归到点P₀所在区域S1，并将该区域S1的面积加1；

然后以点P₁为圆心，检查半径T_s范围内是否有深度点P₂(P₂≠P₀)存在，若存在则将点P₂划归到P₁此时所在的区域S1中，并将区域S1的面积加1，以此类推；若P₁为圆心，半径T_s范围内不存在其他深度点，则区域S1面积自增完成；

设P₀坐标为(x₀,y₀,z₀)，记P₀所在区域面积S1＝1；设P₁坐标为(x₁,y₁,z₁)，因为点P₁与点P₀为同一个区域，则区域面积增加1，则有：S1＝2。同样地，由于P₂在P₁的T_s范围内，因此S1的面积再加1。

步骤3.3，继续沿三维坐标轴进行三维深度点的遍历，将下一个遍历到的三维深度点P'划归到一个新的区域S2中，表示发现了一个新的障碍物区域，区域面积为1，表示这个新发现的障碍物区域的初始面积为1，而深度点P'为该新区域S2的开始点；

步骤3.4，继续遍历三维深度点P'之后的其他图像点，若图像点为三维深度点，则按照步骤3.2、3.3相同的方法进行处理，直至深度图像中所有的三维深度点均被遍历完成；若图像点不是三维深度点，则继续遍历下一个图像点。

图4为某一帧深度图像的部分区域使用空间生长算法提取出的障碍物区域，在这里共有6个障碍物区域被提取出来。

本实施例中设置了10个深度摄像头，则10个深度图像经过空间区域生长处理后的结果如图11所示。

步骤4，对障碍物区域进行聚类分割

在上一步中，本方案提出使用空间区域生长方法对三维深度数据进行了分割。通过对三维深度数据进行分割，可以得到空间中的不同区域，即不同障碍物。然而，空间区域生长方法受相似性阈值T_s影响，过小的阈值使将得障碍物碎片化，如图4中障碍物1，3，4，5过小导致碎片化，不利于障碍物的整体提取。当使用上一个步骤中的空间区域分割方法提取出一帧中的障碍物区域后，本方案采用归一化的分割和合并这一帧中的障碍物区域。

在本步骤中，通过对步骤3得到的障碍物区域建立无向图，无向图的每一个节点为一个障碍物区域，边上的权值大小为区域的空间几何距离。通过在这样一个无向图上建立一个最小割(图中所有的割中，边权值和最小的割为最小割)来完成提取区域的分割，使碎片化的障碍物区域整合为统一的障碍物区域。

对于图4，本方案中对这6个障碍物区域建立无向图，每一个障碍物区域为一个节点，障碍物之间边上的权值为两个障碍物之间的几何距离，最终使图4中分割出的障碍物1与障碍物2合并为一个障碍物，障碍物3，4，5与障碍物6合并为一个障碍物，大大减轻了障碍物的碎片化问题。结果如图5所示，圈中为合并后的障碍物。具体的聚类分割过程如下：

对于带权值的图G＝(V,E)，其中V表示顶点，在本方案中表示步骤3中提取出的障碍物区域，E表示边，本方案中表示障碍物区域之间的连接；设G图可以分为不相交的两部分A和B(V＝A∪B),那么可以定义图G的一个分割如下：

上式中，C_w(A,B)表示区域A和B的权值和，w(i,j)表示顶点i和j的权值，即障碍物区域i与障碍物区域j的权值，该权值为障碍物区域i与障碍物区域j的空间距离；通过归一化地计算权值达到归一化分割的目的，计算方法为式(3)所示：

上式中，

与

分别表示A与B到无向图中所有节点的权值之和；因此求区域A和B的最佳分割(最小割)可以通过求NC_w(A,B)的最小值实现。

对于求NC_w(A,B)的最小值，可以通过求解矩阵的特征值与特征向量来求解：

设顶点数为n，设x＝(x₁,x₂,…,x_n)，x_i＝-1表示区域B包含顶点i，x_i＝1表示区域A包含顶点i；设W为n×n的对称矩阵，其元素w_ij为式(2)中的w(i,j)，设对角矩阵为D，其元素D(i,j)＝d_i，其中

设

则NC_w(A,B)可以推导出：

上式中，1表示[N,1]维度的全一矩阵；设b＝k/(1-k)，y＝[(1+x)-b(1-x)]/2，则求NC_w(A,B)的最小值可以通过求解式(5)的特征值和特征向量得到：

(D-W)y＝λDy (5)

上式中，y表示特征向量，λ是特征值，那么需要的分割位置是第二小特征值所对应的特征向量。

在图4中为步骤3使用空间区域生长方法提取出的障碍物区域示意图，那么可以建立带权值的图G＝(V,E)，其中顶点V为障碍物1、2、3、4、5、6。假设需要将图G即所有障碍物分为A和B两部分，那么经过上述运算后，可以得到特征向量y₁＝(1,1,0,0,0,0)和y₂＝(0,0,1,1,1,1)，因此障碍物1和2被合并为A部分，障碍物3、4、5、6被合并为B部分；聚类分割后的障碍物区域如图5所示，从图中可以看到碎片化的障碍物区域被合并为整体。

如图12所示，图12中方框表示合并的碎片化的小障碍物区域。

步骤5，确定障碍物的最近点

在步骤3中，通过空间区域生长方法在遍历过程中同时得到了每个三维深度点的三维坐标，在步骤4中也得到了障碍物的整体区域范围。通过定义车辆的中心点，并计算中心点与三维深度点的距离，将距离最近的点作为障碍物的最近点。设车辆中心点坐标为P_vc(x₀,y₀,z₀)，障碍物区域内部某三维深度点坐标为P_i(x_n,y_n,z_n)(其中i为障碍物的序号)，那么此点到车辆中心点的距离可以计算为：

d_in＝(x₀-x_n)²+(y₀-y_n)²+(z₀-z_n)²

统计每一个障碍物区域中距离d_in最小值的三维深度点，作为这个障碍物的最近距离点，如图6所示。

图13中显示了部分障碍物的最近点，在图中用数字标号表示。

步骤6，生成障碍物检测区域

本发明要求能够快速实时地检测障碍物，因此提出一种新式障碍物接近车辆的距离判定方法。定义车辆包络矩形R，以及此矩形的外接圆C，矩形和圆球的中心点均为车辆的中心点。当障碍物的最近距离点到车辆中心点的距离小于圆C的半径时，认为障碍物进入检测范围，如图7所示。

在图7中，车辆中心点为坐标原点。圆C与矩形R之间的区域为障碍物检测范围，分别定义为1,2,3,4区域。设1区域对应的矩形平面方程为

3区域对应的矩形平面方程为

2区域对应的矩形平面方程为

4区域对应的矩形平面方程为

其中L和W分别表示预定义的包络矩形R的长和宽。设障碍物最近点为P_c(x_c,y_c,z_c)，车辆中心点坐标为P_vc(x₀,y₀,z₀)，圆C半径为r_c，则进入1区域当且仅当满足：

进入2区域当且仅当满足：

进入3区域当且仅当满足：

进入4区域当且仅当满足：

若车辆长度为4米，宽度为2米，包络矩形R应与车身保持一定的间距，则设矩形R的大小为5米*3米，那么外接圆C的方程为x²+y²＝8.5。

则1区域对应的矩形平面方程为Z₁＝2.5，3区域对应的矩形平面方程为Z₃＝-2.5，2区域对应的矩形平面方程为X₂＝1.5，4区域对应的矩形平面方程为X₄＝-1.5。假设车辆中心点P_vc(x₀,y₀,z₀)为(0.0,0.0,0.0)，

假设图13中1号深度摄像头生成的障碍物图中的1号障碍物的最近点P_c(x_c,y_c,z_c)坐标为(0.2,1.1,2.6)，则此最近点符合(6)式，因此此区域进入图7中的1号区域。

假设图13中4号深度摄像头生成的障碍物图中的1号障碍物的最近点P_c(x_c,y_c,z_c)坐标为(2.6,1.2,1.3)，则此最近点符合(7)式，因此此区域进入图7中的2号区域。

假设图13中6号深度摄像头生成的障碍物图中的1号障碍物的最近点P_c(x_c,y_c,z_c)坐标为(0.8,0.6,-2.7)，则此最近点符合(8)式，因此此区域进入图7中的3号区域。

假设图13中9号深度摄像头生成的障碍物图中的2号障碍物的最近点P_c(x_c,y_c,z_c)坐标为(-2.7,-0.5,-0.3)，则此最近点符合(9)式，因此此区域进入图7中的4号区域。

步骤7，障碍物距离计算

当检测到障碍物的最近点进入障碍物检测区域1,2,3,4后，通过计算最近点与对应区域矩形平面方程的距离，得到障碍物与车辆的距离：

当障碍物最近点进入区域1时，设障碍物与车辆的距离为L_z，那么L_z可以计算为：

L_z＝|z_c-Z₁|

当进入区域2时，L_z可以计算为：

L_z＝|x_c-X₂|

当进入区域3时，L_z可以计算为：

L_z＝|z_c-Z₃|

当进入区域4时，L_z可以计算为：

L_z＝|x_c-X₄|

对于进入1号区域的障碍物，其障碍物距离可以计算为L_z＝|z_c-Z₁|＝|2.6-2.5|＝0.1；

对于进入2号区域的障碍物，其障碍物距离可以计算为L_z＝|x_c-X₂|＝|2.6-1.5|＝1.1；

对于进入3号区域的障碍物，其障碍物距离可以计算为L_z＝|z_c-Z₃|＝|-2.7-(-2.5)|＝0.2；

对于进入4号区域的障碍物，其障碍物距离可以计算为L_z＝|x_c-X₄|＝|-2.7-(-1.5)|＝1.2。

由此1号障碍物区域中的障碍物距离车辆较近。

步骤8，生成障碍物接近警告

在上一个步骤中，已经计算得到了障碍物最近点与车辆的距离。定义安全距离阈值D_z，当L_z＜D_z时，可以认为障碍物距离车辆较近，此时发出警告。

根据步骤6、7中给出的具体示例，定义安全距离阈值D_z＝0.5。则1号区域内的障碍物距离L_z＝0.1＜0.5，因此可以认为此障碍物距离车辆较近，此时发出警告。3号区域内的障碍物距离L_z＝0.2＜0.5，此时同样发出警告。

步骤9，全向障碍物的可视化

本方案提出使用深度摄像头获得全向的障碍物信息，为了方便驾驶员获得当前的全向环境信息，本方案使用三维可视化技术向驾驶员提供全向信息，效果如图14所示。

使用OpenGL可视化技术以俯视方式展现整个障碍物场景，通过渲染每一个深度点，构建障碍物点云，达到实时俯视全景障碍物的目的。在可视化图中，也实时显示出检测范围圆C与碰撞临界矩形R，方便驾驶员实时掌握车辆当前位置环境。当障碍物进入检测范围圆C时，提醒驾驶员周围有障碍物，当有障碍物进入碰撞临界矩形R时，发出报警。

如图8所示为本方案的全向障碍物可视化效果图。(a)图中内层图片为车辆10个深度摄像头采集到的环境彩色图像。红色线表示的图片为深度摄像头提取的对应环境的深度图像。(b)图为使用OpenGL对深度图像建模后的俯视效果图，从图中可以看到车辆周围的障碍物均被检测到并且用不同颜色表示了出来。

发明人使用本方法对车辆全向障碍物进行了检测，以验证方法的有效性，具体步骤如下：

步骤1，部署实验场景

将Kinect深度摄像头分别安装到车身的各个位置，位置如图10中1-10编号的位置。

步骤2，通过车载计算机进行图像处理并检测障碍物

图像处理包括对深度图像进行去噪处理，使用空间区域生长算法对深度图像进行分割，并对障碍物区域进行聚类分割，障碍物最近点计算，生成障碍物检测区域，障碍物距离计算，全向障碍物可视化。

我们分别对白天和夜间的场景进行了全向障碍物检测，白天的障碍物检测结果如图15所示，从实验结果可以看出，本方案完全实现了全向的障碍物检测。

本方案相比其他方法的突出优势是不受环境光线的影响。我们使用本方案对全黑环境中的障碍物进行了检测。检测结果如图16所示，从实验结果可以看出，本方案同样可以实现夜间的全向障碍物检测，且检测效果完全不受环境光线影响。

以上通过使用深度摄像头对白天和夜间车辆的全向障碍物进行检测，并生成可视化的障碍物俯视图，为驾驶员提供了丰富的环境信息，极大地提高了车辆驾驶的安全性。

Claims (5)

1.一种深度摄像头的车辆全向障碍物检测方法，其特征在于，包括以下步骤：

步骤1，在车辆的周围分布安装多个深度摄像头，并使所有深度摄像头的环境检测范围达到全向覆盖；

步骤2，通过深度摄像头获取深度视频数据，并利用自适应中值滤波的方法对深度视频数据进行去噪处理；

步骤3，利用空间区域生长算法对深度图像进行分割

对每一个深度摄像头获取的深度视频数据中的每一帧深度图像进行处理，以提取出每一帧深度图像中的障碍物区域，包括：

步骤3.1，定义相似性阈值T_s；

步骤3.2，从深度图像的(0,0,0)坐标点开始沿三维坐标轴依次遍历图像点，当遇到第一个深度点P₀时，为P₀设定所在区域为S1，区域S1面积为1，并检查以此深度点P₀为圆心，半径T_s范围内是否有深度点P₁存在，如果存在，则将点P₁划归到点P₀所在区域S1，并将该区域S1的面积加1；

然后以点P₁为圆心，检查半径T_s范围内是否有深度点P₂(P₂≠P₀)存在，若存在则将点P₂划归到P₁此时所在的区域S1中，并将区域S1的面积加1，以此类推；若P₁为圆心，半径T_s范围内不存在其他深度点，则区域S1面积自增完成；

步骤3.3，继续沿三维坐标轴进行三维深度点的遍历，将下一个遍历到的三维深度点P'划归到一个新的区域S2中，区域面积为1，而深度点P'为该新区域S2的开始点；

步骤3.4，继续遍历三维深度点P'之后的其他图像点，若图像点为三维深度点，则按照步骤3.2、3.3相同的方法进行处理，直至深度图像中所有的三维深度点均被遍历完成；若图像点不是三维深度点，则继续遍历下一个图像点；

步骤4，对障碍物区域进行聚类分割

对步骤3得到的障碍物区域建立无向图，无向图的每一个节点为一个障碍物区域，边上的权值大小为区域的空间几何距离；通过在这样一个无向图上建立一个最小割来完成区域的分割，使碎片化的障碍物区域整合为统一的障碍物区域；

步骤5，确定障碍物的最近点

通过定义车辆的中心点，并计算中心点与三维深度点的距离，将距离最近的点作为障碍物的最近点；

步骤6，生成障碍物检测区域

定义车辆包络矩形R，以及此矩形的外接圆C，矩形和圆球的中心点均为车辆的中心点；则圆C与矩形R之间的区域为障碍物检测区域；当障碍物的最近点到车辆中心点的距离小于圆C的半径时，认为障碍物进入检测范围；

步骤7，障碍物距离计算

当检测到障碍物的最近点进入障碍物检测区域后，通过计算最近点与对应区域矩形平面方程的距离，得到障碍物与车辆的距离L_z；

步骤8，生成障碍物接近警告

定义安全距离阈值D_z，当L_z＜D_z时，可以认为障碍物距离车辆较近，此时发出警告。

2.如权利要求1所述的深度摄像头的车辆全向障碍物检测方法，其特征在于，所述的方法还包括：

步骤9，全向障碍物的可视化

使用OpenGL可视化技术以俯视方式展现整个障碍物场景，通过渲染每一个深度点，构建障碍物点云，达到实时俯视全景障碍物的目的；在可视化图中，实时显示出检测范围圆C与碰撞临界矩形R，当障碍物进入检测范围圆C时，提醒驾驶员周围有障碍物，当有障碍物进入碰撞临界矩形R时，发出报警。

3.如权利要求1所述的深度摄像头的车辆全向障碍物检测方法，其特征在于，所述的步骤4具体包括：

对于带权值的图G＝(V,E)，其中V表示顶点，即步骤3中提取出的障碍物区域，E表示边，即障碍物区域之间的连接；设G图可以分为不相交的两部分A和B(V＝A∪B),那么可以定义图G的一个分割如下：

上式中，C_w(A,B)表示区域A和B的权值和，w(i,j)表示顶点i和j的权值；该权值为障碍物区域i与障碍物区域j的空间距离；通过归一化地计算权值达到归一化分割的目的，计算方法为式(3)所示：

上式中，

与

分别表示A与B到无向图中所有节点的权值之和；因此求区域A和B的最佳分割可以通过求NC_w(A,B)的最小值实现。

4.如权利要求3所述的深度摄像头的车辆全向障碍物检测方法，其特征在于，所述的求NC_w(A,B)的最小值的求解过程为：

设顶点数为n，设x＝(x₁,x₂,…,x_n)，x_i＝-1表示区域B包含顶点i，x_i＝1表示区域A包含顶点i；设W为n×n的对称矩阵，其元素w_ij为式(2)中的w(i,j)，设对角矩阵为D，其元素D(i,j)＝d_i，其中

设

则NC_w(A,B)可以推导出：

上式中，1表示[N,1]维度的全一矩阵；设b＝k/(1-k)，y＝[(1+x)-b(1-x)]/2，则求NC_w(A,B)的最小值可以通过求解式(5)的特征值和特征向量得到：

(D-W)y＝λDy (5)

上式中，y表示特征向量，λ是特征值，那么需要的分割位置是第二小特征值所对应的特征向量。

5.如权利要求1所述的深度摄像头的车辆全向障碍物检测方法，其特征在于，步骤6所述的认为障碍物进入检测范围，具体表示为：

圆C与矩形R之间的区域为障碍物检测区域，分别定义为1,2,3,4区域；设1区域对应的矩形平面方程为

3区域对应的矩形平面方程为

2区域对应的矩形平面方程为

4区域对应的矩形平面方程为

其中L和W分别表示预定义的包络矩形R的长和宽；设障碍物最近点为P_c(x_c,y_c,z_c)，车辆中心点坐标为P_vc(x₀,y₀,z₀)，圆C半径为r_c，则进入1区域当且仅当满足：

进入2区域当且仅当满足：

进入3区域当且仅当满足：

进入4区域当且仅当满足：

Images