CN103266552A - 一种基于深度图像的路面检测系统 - Google Patents

Abstract

本发明公开了一种基于深度图像的路面检测系统，包括计算机、分析处理模块、kinect传感器、逆变器和承载车；所述kinect传感器、计算机、逆变器、安装在承载车上，逆变器为计算机和传感器提供电源；所述kinect传感器用于采集路面深度图像数据，并传递给计算机；所述计算机调用分析处理模块，对得到的路面深度图像数据进行分析处理，获取不平度、破损信息，并显示保存不平度、破损信息。通过路面深度图像获取路面不平度、破损等信息。本发明操作简单，使用维护方便，不仅可以节省时间与资金，还可以为人们提供形象化的路面信息。

Description

一种基于深度图像的路面检测系统

技术领域

本发明涉及一种基于深度图像的路面检测系统，属于路面信息检测技术领域。

背景技术

路面质量对行车舒适性、安全性、经济性以及公路使用周期有重要的影响。路面的管理养护离不开路面信息的检测。路面信息检测包括不平度检测、破损检测等。

目前，路面不平度检测装置主要有响应类和断面类两类。响应类路面平整度检测设备仪器结构一般较简单，价格低廉，但无法直接获取路面纵断面曲线形状，其检测值不具有时间稳定性，且需经常进行标定。断面类路面平整度检测设备可直接获取路面纵断面曲线形状，但断面类路面平整度检测设备仪器结构复杂，价格昂贵，而且多是离散的检测，即取沿纵向的几个断面值来衡量整条路的平整度值高低，反映的只是以一个近似值。此外，目前的不平度检测装置大多只能测量不平度；或者把多个测量系统集成到一起，以同时测量其他公路路面信息如破损、车辙等。但是各系统之间的信息不共享，存在资源浪费、效率低下的问题。

破损检测系统多基于CCD摄像机所获取的图像，对外界的光照条件如光照强度，光源方位和遮挡情况等的依赖程度极大，路面图像会存在大量光照不均和阴影，增加了破损检测难度。同时，道路标线等因素会对检测产生一定影响。此外，摄像机在将三维场景通过成像系统转变为二维图像的过程中深度信息即距离值被丢失。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于深度图像的路面检测系统，通过路面深度图像获取路面不平度、破损等信息。本系统操作简单，使用维护方便，不仅可以节省时间与资金，还可以为人们提供形象化的路面信息。

技术方案：一种基于深度图像的路面检测系统，包括计算机、分析处理模块、kinect传感器、逆变器和承载车。kinect传感器、计算机、逆变器、安装在承载车上，逆变器为计算机和传感器提供电源。

所述kinect传感器与计算机USB连接，kinect传感器进行路面深度图像采集，并将获取的路面深度图像数据，按一定速率传送给计算机；计算机调用分析处理模块，对得到的路面深度图像数据进行分析处理，获取不平度、破损信息，并显示保存。

所述分析处理模块对路面深度图像数据进行预处理，采用改进的双边滤波法及多图像平均的方法进行滤波，减少因噪声带来的影响；获取路面纵断面曲线形状及功率谱密度等不平度信息；通过图像分割、分类识别等获取路面破损类型及损坏程度等信息；通过三维重建，模拟路面的三维轮廓；将原始数据及分析结果加以显示和保存。

采用改进的双边滤波法及多图像平均的方法进行滤波的详细内容如下：

根据kinect噪声的特点，该检测系统采用一种改进的双边滤波器对路面深度图像进行滤波，在抑制噪声的同时较好的保护图像细节。

设获取的路面深度图像g(x,y)，经双边滤波后的图像为

W(x,y)为滤器的权系数，则滤波器的滤波过程可表示为：

$\hat{g}=\frac{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)g(k,l)}{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)}---\left(1\right)$

其中，Ω_x,_y表示中心点(x,y)的(2N+1)×(2N+1)大小的邻域，(k,l)为邻域像素坐标，N为滤波器模板半径；双边滤波器的权系数可表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)=\exp (-\frac{d^2(x,y),(k,l))}{2{{\mathrm{\σ}}_d}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_r}^2})$

（2）

其中，W_d为空间邻近度因子，W_r亮度相似度因子，σ_d为空间域高斯函数的标准差，σ_r为亮度域高斯函数的标准差，d((x,y),(k,l))为中心点(x,y)和邻域点(k,l)的距离；W的大小同时由邻域像素点到中心像素点的距离和亮度相近程度决定；若(x,y)为一边缘像素点，则亮度与g(x,y)相差很大的像素点的滤波器模板系数将变得很小，对滤波后目标点的亮度值贡献就小，从而使双边滤波器变为一沿边缘方向的截断高斯滤波器。

根据kinect的噪声特点，将边缘噪声标准差σ_b和深度噪声标准差σ_z作为双边滤波器的空间域高斯函数的标准差和亮度域高斯函数的标准差；结合图像深度信息作为滤波权系数的双边滤波方法，双边滤波器的权系数随噪声强度的变化而自适应的调节大小，从而满足不同噪声水平下图像降噪声的要求。

考虑到噪声对图像边缘的影响，对式（2）中的亮度相似度因子W_r进行改进，将获取的彩色图像应用于滤波器；设获取的彩色图像为h(x,y)，则将滤波器的权系数表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)W_c(x,y;k,l)$

$=\exp (-\frac{d^2((x,y),(k,l))}{{{2\mathrm{\σ}}_b}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_z}^2})\exp (-\frac{{(h(k,l)-h(x,y))}^2}{{{2\mathrm{\σ}}_c}^2})---\left(3\right)$

式中W_c和σ_c分别为对应的彩色图像亮度相似度因子和亮度域高斯函数的标准差。对于受噪声影响的边缘区域，滤波器权重同时决定于对应的彩色图像中邻域像素相似程度，相似度高的像素点，滤波器模板系数增大，对滤波后目标点的亮度值贡献变大，从而有效地改进图像边缘，抑制边缘处噪声。

实验中发现，对同一场景获取的不同帧深度图像间噪声分布会有所不同。考虑到不是实时处理，算法处理时间对解决问题影响不大。本文在改进的双边滤波的基础上进一步采用多图像平均法进行滤波，进一步抑制噪声，改善图像质量。多图像平均法是对获取的同一场景中的多幅图像相加取平均来消除噪声。设为双边滤波后的路面深度图像，对M幅图像平均后得到

$\stackrel{\_}{\hat{g}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\widehat{g_i}(x,y)---\left(4\right)$

有益效果：与现有技术相比，本发明提供的基于深度图像的路面检测系统，具有如下优点，

1.通过深度图像实现路面不平度、破损等多项路面信息的检测，提高了不同系统间的信息共享。

2.获取路面的三维数据，模拟出路面的三维轮廓，检测更加形象化，实现路面的连续测量。

3.避免通过CCD图像进行路面破损检测过程中光照不均、阴影因素的影响；

4.结构简单，操作方便，节省时间与资金。

附图说明

图1为本发明实施例的结构示意图；

图2为本发明实施例的工作原理图；

图3为坑槽型路面的深度图像的滤波三维效果图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于深度图像的路面检测系统包括计算机1、分析处理模块2、kinect传感器3、逆变器4和承载车5。kinect传感器3、计算机1、逆变器4、安装于承载车5上，其中kinect传感器3设在承载车5的外部，kinect传感器3与计算机通过数据线连接，逆变器为计算机、kinect传感器3提供电源。

如图2所示，kinect传感器3采集路面深度图像，按一定速率传送给计算机1。计算机1接收到深度图像后，通过调用分析处理模块2对深度图像进行预处理，采用改进的双边滤波法及多图像平均的方法进行滤波，减少因噪声带来的影响；获取路面纵断面曲线形状及功率谱密度等不平度信息；通过图像分割、分类识别等获取路面破损类型及损坏程度等信息；通过三维重建，模拟路面的三维轮廓；将原始数据及分析结果加以显示和保存。

采用改进的双边滤波法及多图像平均的方法进行滤波的详细内容如下：

根据kinect噪声的特点，该检测系统采用一种改进的双边滤波器对深度图像进行双边滤波，在抑制噪声的同时较好的保护图像细节。

设获取的路面深度图像g(x,y)，双边滤波后的图像为

W(x,y)为滤器的权系数，则滤波器的滤波过程可表示为：

$\hat{g}=\frac{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)g(k,l)}{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)}---\left(1\right)$

其中，Ω_x,_y表示中心点(x,y)的(2N+1)×(2N+1)大小的邻域，(k,l)为邻域像素坐标，N为滤波器模板半径。双边滤波器的权系数可表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)=\exp (-\frac{d^2(x,y),(k,l))}{2{{\mathrm{\σ}}_d}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_r}^2})---\left(2\right)$

其中，W_d为空间邻近度因子，W_r亮度相似度因子，σ_d为空间域高斯函数的标准差，σ_r为亮度域高斯函数的标准差，d((x,y),(k,l))为中心点(x,y)和邻域点(k,l)的距离。W的大小同时由邻域像素点到中心像素点的距离和亮度相近程度决定。若(x,y)为一边缘像素点，则亮度与g(x,y)相差很大的像素点的滤波器模板系数将变得很小，对滤波后目标点的亮度值贡献就小，从而使双边滤波器变为一沿边缘方向的截断高斯滤波器。

在双边滤波器应用过程中，Johannes Kopf提出一种改进的双边滤波算法，将亮度相似度因子扩展到不同图像。本文在此基础上，结合kinect深度图像的特点，对双边滤波器进一步改进。

实验中发现，双边滤波器的参数σ_d和σ_r对滤波效果的好坏至关重要，一定程度上决定了滤波器的性能。根据kinect的噪声特点，将边缘噪声标准差σ_b和深度噪声标准差σ_z作为双边滤波器的空间域高斯函数的标准差和亮度域高斯函数的标准差。这样结合图像深度信息作为滤波权系数的双边滤波方法，双边滤波器的权系数随噪声强度的变化而自适应的调节大小，从而满足不同噪声水平下图像降噪声的要求。

考虑到噪声对图像边缘的影响，对式（2）中的亮度相似度因子W_r进行改进，将获取的彩色图像应用于滤波器。设获取的彩色图像为h(x,y)，则将滤波器的权系数表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)W_c(x,y;k,l)$

$=\exp (-\frac{d^2((x,y),(k,l))}{{{2\mathrm{\σ}}_b}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_z}^2})\exp (-\frac{{(h(k,l)-h(x,y))}^2}{{{2\mathrm{\σ}}_c}^2})---\left(3\right)$

式中W_c和σ_c分别为对应的彩色图像亮度相似度因子和亮度域高斯函数的标准差。对于受噪声影响的边缘区域，滤波器权重同时决定于对应的彩色图像中邻域像素相似程度，相似度高的像素点，滤波器模板系数增大，对滤波后目标点的亮度值贡献变大，从而有效地改进图像边缘，抑制边缘处噪声。

实验中发现，对同一场景获取的不同帧深度图像间噪声分布会有所不同。考虑到不是实时处理，算法处理时间对解决问题影响不大。本文在改进的双边滤波的基础上进一步采用多图像平均法进行滤波，进一步抑制噪声，改善图像质量。多图像平均法是对获取的同一场景中的多幅图像相加取平均来消除噪声。设

为双边滤波后的路面深度图像，对M幅图像平均后得到

$\stackrel{\_}{\hat{g}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\widehat{g_i}(x,y)---\left(4\right)$

2.3图像去噪结果

该系统采用VC++作为开发环境，并使用微软研究院为Windows开发者提供的Kinect for Windows SDK作为开发工具，对该算法进行验证分析。实验对坑槽型路面深度图像进行去噪处理，然后转化为点云并通过三维重建来显示去噪效果。图3(a)为带有噪声的点云数据三维重建后的效果；图3(b)为去噪后的点云数据三维重建后的效果。

通过对比可以发现，原始图像由于噪声的影响，表面粗糙，并存在较多凹陷和毛刺，边缘存在齿状。滤波后图像表面较为平整，边缘得到改善，更接近路面实际形状。可以看出，本文滤波方法可以有效的抑制噪声，还在很大程度上保持图像的边缘信息。

Claims (6)

1.一种基于深度图像的路面检测系统，其特征在于：包括计算机、分析处理模块、kinect传感器、逆变器和承载车；所述kinect传感器、计算机、逆变器、安装在承载车上，逆变器为计算机和传感器提供电源；所述kinect传感器用于采集路面深度图像数据，并传递给计算机；所述计算机调用分析处理模块，对得到的路面深度图像数据进行分析处理，获取不平度、破损信息，并显示保存不平度、破损信息。

2.如权利要求1所述的基于深度图像的路面检测系统，其特征在于：所述kinect传感器设在承载车的外侧。

3.如权利要求1所述的基于深度图像的路面检测系统，其特征在于：所述kinect传感器与计算机通过USB数据线连接。

4.如权利要求1所述的基于深度图像的路面检测系统，其特征在于：所述分析处理模块并对路面深度图像数据进行分析与处理，得到路面三维数据，形成点云阵列，模拟出路面的三维轮廓，获取不平度、破损信息。

5.如权利要求1所述的基于深度图像的路面检测系统，其特征在于：所述分析处理模块对路面深度图像数据进行预处理，采用改进的双边滤波法及多图像平均的方法进行滤波；获取路面纵断面曲线形状及功率谱密度；通过图像分割、分类识别等获取路面破损类型及损坏程度信息；通过三维重建，模拟路面的三维轮廓；将原始数据及分析结果加以显示和保存。

6.如权利要求5所述的基于深度图像的路面检测系统，其特征在于：所述分析处理模块采用改进的双边滤波法及多图像平均的方法进行滤波的详细内容如下：

设获取的路面深度图像g(x,y)，双边滤波后的图像为g?(x,y)，W(x,y)为滤波器的权系数，则滤波器的滤波过程可表示为：

$\hat{g}=\frac{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)g(k,l)}{\underset{(k,l)\∈{\mathrm{\Ω}}_{x,y}}{\mathrm{\Σ}}W(x,y;k,l)}---\left(1\right)$

其中，Ω_x,y表示中心点(x,y)的(2N+1)×(2N+1)大小的邻域，(k,l)为邻域像素坐标，N为滤波器模板半径；双边滤波器的权系数可表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)=\exp (-\frac{d^2(x,y),(k,l))}{2{{\mathrm{\σ}}_d}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_r}^2})$

（2）

其中，W_d为空间邻近度因子，W_r亮度相似度因子，σ_d为空间域高斯函数的标准差，σ_r为亮度域高斯函数的标准差，d((x,y),(k,l))为中心点(x,y)和邻域点(k,l)的距离；W的大小同时由邻域像素点到中心像素点的距离和亮度相近程度决定；若(x,y)为一边缘像素点，则亮度与g(x,y)相差很大的像素点的滤波器模板系数将变得很小，对滤波后目标点的亮度值贡献就小，从而使双边滤波器变为一沿边缘方向的截断高斯滤波器；

根据kinect的噪声特点，将边缘噪声标准差σ_b和深度噪声标准差σ_z作为双边滤波器的空间域高斯函数的标准差和亮度域高斯函数的标准差；结合图像深度信息作为滤波权系数的双边滤波方法，双边滤波器的权系数随噪声强度的变化而自适应的调节大小，从而满足不同噪声水平下图像降噪声的要求；

考虑到噪声对图像边缘的影响，对式（2）中的亮度相似度因子W_r进行改进，将获取的彩色图像应用于滤波器；设获取的彩色图像为h(x,y)，则将滤波器的权系数表示为：

$W(x,y;k,l)=W_d(x,y;k,l)W_r(x,y;k,l)W_c(x,y;k,l)$

$=\exp (-\frac{d^2((x,y),(k,l))}{{{2\mathrm{\σ}}_b}^2})\exp (-\frac{{(g(k,l)-g(x,y))}^2}{{{2\mathrm{\σ}}_z}^2})\exp (-\frac{{(h(k,l)-h(x,y))}^2}{{{2\mathrm{\σ}}_c}^2})---\left(3\right)$

式中W_c和σ_c分别为对应的彩色图像亮度相似度因子和亮度域高斯函数的标准差；对于受噪声影响的边缘区域，滤波器权重同时决定于对应的彩色图像中邻域像素相似程度，相似度高的像素点，滤波器模板系数增大，对滤波后目标点的亮度值贡献变大，从而有效地改进图像边缘，抑制边缘处噪声；

多图像平均法是对获取的同一场景中的多幅图像相加取平均来消除噪声；设

为双边滤波后的路面深度图像，对M幅图像平均后得到

$\stackrel{\_}{\hat{g}}(x,y)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\widehat{g_i}(x,y)---\left(4\right).$

Images