CN106023226A - 一种基于三维虚拟路面的裂缝自动检测方法 - Google Patents

Abstract

本发明公开了一种基于三维虚拟路面的裂缝自动检测方法，其包括以下步骤：(1)对1mm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通过4个角度的立体投影产生4幅投影图像Ω1‑Ω4；(2)分别对所述步骤(1)中产生的4幅投影图像Ω1‑Ω4依次进行降维处理、包括强度验证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ωs1‑Ωs4及反光区裂缝图像Ωr1‑Ωr4；(3)有效的融合阴影区裂缝图像Ωs1‑Ωs4及反光区裂缝图像Ωr1‑Ωr4的裂缝信息并进行深度验证和滑动去噪处理，获得裂缝图像，测试表明，基于255张图像(4096×2048)的测试显示：算法具有较高的准确率(平均80.34％)和召回率(平均83.89％)，以80.47％的F值优于ADA3D算法。

Description

一种基于三维虚拟路面的裂缝自动检测方法

技术领域

本发明涉及一种路面裂缝检测方法，特别是涉及一种基于三维虚拟路面的裂缝自动检测方法，属于三维图像采集技术领域。

背景技术

裂缝是路面各类破损中最常见、最易发生和最早期产生的病害之一，它伴随着道路的整个使用期，并随着路龄的增长而加重.路面裂缝不但影响路容美观和行车舒适性，而且容易扩展，造成路面的结构性破坏，缩短路面使用寿命。因此应及时检测路面裂缝破损状况，制定和实施养护措施，否则雨水及杂物会沿裂缝进入面层结构及路基，导致路面承载能力下降，加速路面局部或成片损坏，降低行车安全性及道路通行能力。

最初，人们采用人工检测方法获取路面裂缝信息，不仅劳动强度高、效率低下，且影响交通、难以保障检测人员安全.上世纪80年代，美国、加拿大等发达国家纷纷开展路面裂缝自动检测系统的研发工作，以满足急剧增长的路面养护管理需求。之后30年间，许多基于超声波技术、探地雷达和摄像测量等技术的路面检测系统先后面世，其中，摄像测量法能全面地采集路面裂缝、坑槽、松散、车辙、平整度等信息，已逐渐成为路面破损检测的主流技术。

现今绝大部分路面裂缝检测系统仍只能采集路面二维信息(主要是路面灰度图像)，直到近5年来，路面三维信息采集系统才开始崭露头角并显示出广阔的前景，如路面综合检测车DHDV(Digital Highway Data Vehicle)[3]和路面三维扫描系统，在路面信息采集方面实现了由灰度图像向三维数据的变革，弥补了传统二维图像质量易受车道标线、阴影及油污等影响的缺陷，显著地提高了路面数据质量。

综观路面裂缝识别算法研究，单目前仍以二维图像处理方法检测裂缝，并未考虑路面三维空间特征，为进一步挖掘有利于裂缝检测的路面三维信息，有必要在路面三维数据的基础上对考虑三维特征的路面裂缝检测展开研究。推动路面裂缝识别朝着三维检测方向发展并快速、准确、完整地识别裂缝。

发明内容

本发明针对现有的技术问题，提供一种基于三维虚拟路面的裂缝自动检测方法，三维虚拟路面进行4个角度的观察与分析，设计具有并行框架的裂缝识别算法捕捉这4个角度的投影图像裂缝信息，然后进行融合与去噪处理、获得裂缝识别结果，拟解决现有技术存在的问题。

为实现上述目的，本发明提供如下技术方案：一种基于三维虚拟路面的裂缝自动检测方法，其特征在于，其包括以下步骤：

(1)对1mm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通过4个角度的立体投影产生4幅投影图像Ω1-Ω4；

(2)分别对所述步骤(1)中产生的4幅投影图像Ω1-Ω4依次进行降维处理、包括强度验证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4；

(3)有效的融合阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4的裂缝信息并进行深度验证和滑动去噪处理，获得裂缝图像。

进一步，作为优选，在所述步骤(1)中，产生4幅投影图像Ω1-Ω4时，是采用光照从左到右、光照从右到左、光照从前到后、光照从后→前四个角度对路面进行光照来获得4幅投影图。

进一步，作为优选，所述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括：对于根据Ω1检测阴影区裂缝Ωs1；

(i)图像预处理：首先进行中值滤波去噪，接着以起点像素＝(0，0)将光照强度图像Ω1划分为8像素×8像素的子块，降维图像Ω10的每个像素则对应于一个8像素×8像素的子块，且其像素值为这8×8个像素的像素值的均值，Ω11的获得过程类似，只是8像素×8像素子块划分的起点像素为(4，4)，后续操作基于Ω10和Ω11进行裂缝检测、连接、融合与去噪处理；

(ii)裂缝种子识别：检测降维图像Ω10和Ω11中各个像素是否具有强度值较低和方向性较强两项特征，符合这些特征的像素称为裂缝种子，其余的则为非裂缝像素；

(iii)裂缝连接：先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂缝种子连接起来，增强裂缝的整体性和连续性；

(IV)裂缝种子融合与去噪处理：将来自于降维图像Ω10和Ω11的2幅裂缝初步识别结果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Ωs1；

采用(i)-(IV)的方法对获得的Ωs2-Ωs4及Ωr1-Ωr4进行裂缝识别处理。

进一步，作为优选，对裂缝种子识别的具体方法为：

(I)强度验证I：中心像素(i，j)为需要强度验证的像素，在半径为r＝4的邻域内，强度应满足：

${\stackrel{\‾}{I}}_a=\frac{1}{(2\×r+1)\×(2\×r+1)}\underset{x=j-r}{\overset{x=j+r}{\mathrm{\Σ}}}\underset{y=i-r}{\overset{y=i+r}{\mathrm{\Σ}}}I(x,y)---\left(1\right);$

${\stackrel{\‾}{I}}_a-I(i,j)>K_1---\left(2\right);$

式中，为强度验证模板(边长2r+1的正方形)中所有像素的平均强度值；I(.)代表像素强度值；K1为阈值参数；x和y分别为像素的纵坐标和横坐标。

(II)强度验证II：强度验证II与强度验证I相仿，只是中心像素在其半径为r＝4的邻域内，其强度应满足：

$I(i,j)-{\stackrel{\‾}{I}}_a>K_1---\left(3\right);$

(III)对称性检测I：针对光照强度图像Ω1和Ω2，检测每个像素在0°、45°、90°和135°方向上的强度变化情况，判断其是否存在显著的差异；

a)分别计算中心像(i，j)素两侧r＝4个像素的强度均值m_w1和m_w2，w＝1，2，3，4，分别表示0°、45°、90°和135°这4个方向；

$m_{w1}=\frac{1}{r}\underset{n=-r}{\overset{n=-I}{\mathrm{\Σ}}}I\left(n\right)---\left(4\right)$

$m_{w2}=\frac{1}{r}\underset{n=1}{\overset{n=r}{\mathrm{\Σ}}}I\left(n\right)---\left(5\right)$

式中，I(n)为对称性检测模版的中心像素两侧第n个像素的深度值，n∈[-r，-1]或n∈[1，r]；

b)计算各方向深度变化δw，μw表示方向w的2×r+1个像素中的最低强度值；

δ_w＝min{m_w1-μ_w，m_w2-μ_w} (6)

c)获得最大和最小的强度变化值δmax和δmin：

δ_max＝max{δ_w} (7)

δ_min＝min{δ_w} (8)

d)裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足：

δ_max≥t₁ (9)

δ_max-δ_min≥s₁ (10)

式中，t₁，s₁为阈值参数。

(IV)对称性检测II：

与对称性检测I类似，针对Ω3和Ω4进行对称性检测，其区别在于步骤b)和d)；

a)分别计算中心像素(i，j)两侧r＝4个像素的强度均值m’_w1和m’_w2；

b)计算各方向强度变化δ_w，μ’_w表示方向w的2×r+1个像素中的最低强度值；

δ’_w＝min{|m’_w1-I(i，j)|，|m’_w2-I(i，j)|} (11)

c)获得最大和最小的强度变化值δ’max和δ’min；

d)裂缝像素在不同方向上的强度变化应存在显著的差异，需满足：

δ’_max≥t₂ (12)

δ’_max-δ’_min≥s₂ (13)

式中，t₂，s₂为阈值参数。

与现有技术相比，本发明的有益效果是：

本发明基于1mm/像素的路面深度图像建立了三维虚拟路面并利用多角度立体投影获得4幅光照强度图像，然后对它们进行图像降维、裂缝种子识别与连接(形成8个并列的子流程)，最后通过裂缝图像融合、深度验证与滑动去噪获得裂缝识别结果，测试表明，基于255张图像(4096×2048)的测试显示：算法具有较高的准确率(平均80.34％)和召回率(平均83.89％)，以80.47％的F值优于ADA3D算法；此外，并行框架有利于程序并行化，能有效提高运算速度，本发明吗从不同角度投影产生光照强度图像可提供更丰富的视觉信息，在此基础上识别裂缝，考虑了路面本身的三维特征，跳出了传统二维图像处理的范畴，有利于推动路面裂缝三维识别方法的研发，改善裂缝识别准确率、完整性和稳定性，进而为路面养护管理、路面性能评价与预测、路面结构和材料设计奠定坚实的基础。

附图说明

图1是本发明的方法的流程结构示意图；

图2是本发明的生成光照强度的示意图；

图3是本发明的阴影区裂缝检测的示意图；

图4是本发明的对称性检测的示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种基于三维虚拟路面的裂缝自动检测方法，其特征在于，其包括以下步骤：

(1)对1mm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通过4个角度的立体投影产生4幅投影图像Ω1-Ω4，产生4幅投影图像Ω1-Ω4时，是采用光照从左到右、光照从右到左、光照从前到后、光照从后→前四个角度对路面进行光照来获得4幅投影图；

(2)分别对所述步骤(1)中产生的4幅投影图像Ω1-Ω4依次进行降维处理、包括强度验证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4；

(3)有效的融合阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4的裂缝信息并进行深度验证和滑动去噪处理，获得裂缝图像。

在本实施例中，所述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括：对于根据Ω1检测阴影区裂缝Ωs1；

(i)图像预处理：首先进行中值滤波去噪，接着以起点像素＝(0，0)将光照强度图像Ω1划分为8像素×8像素的子块，降维图像Ω10的每个像素则对应于一个8像素×8像素的子块，且其像素值为这8×8个像素的像素值的均值，Ω11的获得过程类似，只是8像素×8像素子块划分的起点像素为(4，4)，后续操作基于Ω10和Ω11进行裂缝检测、连接、融合与去噪处理；

(ii)裂缝种子识别：检测降维图像Ω10和Ω11中各个像素是否具有强度值较低和方向性较强两项特征，符合这些特征的像素称为裂缝种子，其余的则为非裂缝像素；

(iii)裂缝连接：先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂缝种子连接起来，增强裂缝的整体性和连续性；

(IV)裂缝种子融合与去噪处理：将来自于降维图像Ω10和Ω11的2幅裂缝初步识别结果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Ωs1；

采用(i)-(IV)的方法对获得的Ωs2-Ωs4及Ωr1-Ωr4进行裂缝识别处理。

对裂缝种子识别的具体方法为：

(I)强度验证I：中心像素(i，j)为需要强度验证的像素，在半径为r＝4的邻域内，强度应满足：

${\stackrel{\‾}{I}}_a=\frac{1}{(2\×r+1)\×(2\×r+1)}\underset{x=j-r}{\overset{x=j+r}{\mathrm{\Σ}}}\underset{y=i-r}{\overset{y=i+r}{\mathrm{\Σ}}}I(x,y)---\left(1\right);$

${\stackrel{\‾}{I}}_a-I(i,j)>K_1---\left(2\right);$

式中，为强度验证模板(边长2r+1的正方形)中所有像素的平均强度值；I(.)代表像素强度值；K1为阈值参数；x和y分别为像素的纵坐标和横坐标。

(II)强度验证II：强度验证II与强度验证I相仿，只是中心像素在其半径为r＝4的邻域内，其强度应满足：

$I(i,j)-{\stackrel{\‾}{I}}_a>K_1---\left(3\right);$

(III)对称性检测I：针对光照强度图像Ω1和Ω2，检测每个像素在0°、45°、90°和135°方向上的强度变化情况，判断其是否存在显著的差异；

a)分别计算中心像(i，j)素两侧r＝4个像素的强度均值m_w1和m_w2，w＝1，2，3，4，分别表示0°、45°、90°和135°这4个方向；

$m_{w1}=\frac{1}{r}\underset{n=-r}{\overset{n=-I}{\mathrm{\Σ}}}I\left(n\right)---\left(4\right)$

$m_{w2}=\frac{1}{r}\underset{n=1}{\overset{n=r}{\mathrm{\Σ}}}I\left(n\right)---\left(5\right)$

式中，I(n)为对称性检测模版的中心像素两侧第n个像素的深度值，n∈[-r，-1]或n∈[1，r]；

b)计算各方向深度变化δw，μw表示方向w的2×r+1个像素中的最低强度值；

δ_w＝min{m_w1-μ_w，m_w2-μ_w} (6)

c)获得最大和最小的强度变化值δmax和δmin：

δ_max＝max{δ_w} (7)

δ_min＝min{δ_w} (8)

d)裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足：

δ_max≥t₁ (9)

δ_max-δ_min≥s₁ (10)

式中，t₁，s₁为阈值参数。

(IV)对称性检测II：

与对称性检测I类似，针对Ω3和Ω4进行对称性检测，其区别在于步骤b)和d)；

a)分别计算中心像素(i，j)两侧r-4个像素的强度均值m’_w1和m’_w2；

b)计算各方向强度变化δ_w，μ’_w表示方向w的2×r+1个像素中的最低强度值；

δ’_w＝min{|m’_w1-I(i，j)|，|m’_w2-I(i，j)|} (11)

c)获得最大和最小的强度变化值δ’max和δ’min；

d)裂缝像素在不同方向上的强度变化应存在显著的差异，需满足：

δ’_max≥t₂ (12)

δ’_max-δ’_min≥s₂ (13)

式中，t₂，s₂为阈值参数。

本发明基于1mm/像素的路面深度图像建立了三维虚拟路面并利用多角度立体投影获得4幅光照强度图像，然后对它们进行图像降维、裂缝种子识别与连接(形成8个并列的子流程)，最后通过裂缝图像融合、深度验证与滑动去噪获得裂缝识别结果，测试表明，基于255张图像(4096×2048)的测试显示：算法具有较高的准确率(平均80.34％)和召回率(平均83.89％)，以80.47％的F值优于ADA3D算法；此外，并行框架有利于程序并行化，能有效提高运算速度，本发明吗从不同角度投影产生光照强度图像可提供更丰富的视觉信息，在此基础上识别裂缝，考虑了路面本身的三维特征，跳出了传统二维图像处理的范畴，有利于推动路面裂缝三维识别方法的研发，改善裂缝识别准确率、完整性和稳定性，进而为路面养护管理、路面性能评价与预测、路面结构和材料设计奠定坚实的基础。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于三维虚拟路面的裂缝自动检测方法，其特征在于，其包括以下步骤：

(1)对1mm/像素的路面深度图像进行消隐处理和光照模型处理建立三维虚拟路面，通过4个角度的立体投影产生4幅投影图像Ω1-Ω4；

(2)分别对所述步骤(1)中产生的4幅投影图像Ω1-Ω4依次进行降维处理、包括强度验证及对称性检测的裂缝识别以及裂缝连接，获得阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4；

(3)有效的融合阴影区裂缝图像Ωs1-Ωs4及反光区裂缝图像Ωr1-Ωr4的裂缝信息并进行深度验证和滑动去噪处理，获得裂缝图像。

2.根据权利要求1所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于：在所述步骤(1)中，产生4幅投影图像Ω1-Ω4时，是采用光照从左到右、光照从右到左、光照从前到后、光照从后→前四个角度对路面进行光照来获得4幅投影图。

3.根据权利要求1所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于：所述步骤(2)中，对投影图像进行裂缝识别处理的步骤包括：对于根据Ω1检测阴影区裂缝Ωs1；

(i)图像预处理：首先进行中值滤波去噪，接着以起点像素＝(0，0)将光照强度图像Ω1划分为8像素×8像素的子块，降维图像Ω10的每个像素则对应于一个8像素×8像素的子块，且其像素值为这8×8个像素的像素值的均值，Ω11的获得过程类似，只是8像素×8像素子块划分的起点像素为(4，4)，后续操作基于Ω10和Ω11进行裂缝检测、连接、融合与去噪处理；

(ii)裂缝种子识别：检测降维图像Ω10和Ω11中各个像素是否具有强度值较低和方向性较强两项特征，符合这些特征的像素称为裂缝种子，其余的则为非裂缝像素；

(iii)裂缝连接：先基于最优路径连接强度相似的裂缝种子，然后将方向相似的裂缝种子连接起来，增强裂缝的整体性和连续性；

(IV)裂缝种子融合与去噪处理：将来自于降维图像Ω10和Ω11的2幅裂缝初步识别结果融合在一起，取裂缝像素的并集，然后进行滑动窗口去噪处理，获得裂缝图像Ωs1；

采用(i)-(IV)的方法对获得的Ωs2-Ωs4及Ωr1-Ωr4进行裂缝识别处理。

4.根据权利要求3所述的一种基于三维虚拟路面的裂缝自动检测方法，其特征在于：对裂缝种子识别的具体方法为：

(I)强度验证I：中心像素(i，j)为需要强度验证的像素，在半径为r＝4的邻域内，强度应满足：

${\stackrel{\‾}{I}}_a=\frac{1}{(2\×r+1)\×(2\×r+1)}\underset{x=j-r}{\overset{x=j+r}{\Σ}}\underset{y=i-r}{\overset{y=i+r}{\Σ}}I(x,y)---\left(1\right);$

${\stackrel{\‾}{I}}_a-I(i,j)>K_1---\left(2\right);$

式中，为强度验证模板(边长2r+1的正方形)中所有像素的平均强度值；I(·)代表像素强度值；K1为阈值参数；x和y分别为像素的纵坐标和横坐标。

(II)强度验证II：强度验证II与强度验证I相仿，只是中心像素在其半径为r＝4的邻域内，其强度应满足：

$I(i,j)-{\stackrel{\‾}{I}}_a>K_1---\left(3\right);$

(III)对称性检测I：针对光照强度图像Ω1和Ω2，检测每个像素在0°、45°、90°和135°方向上的强度变化情况，判断其是否存在显著的差异；

a)分别计算中心像(i，j)素两侧r＝4个像素的强度均值m_w1和m_w2，w＝1，2，3，4，分别表示0°、45°、90°和135°这4个方向；

$m_{w1}=\frac{1}{r}\underset{n=-r}{\overset{n=-1}{\mathrm{\Σ}}}I\left(n\right)---\left(4\right)$

$m_{w2}=\frac{1}{r}\underset{n=1}{\overset{n=r}{\mathrm{\Σ}}}I\left(n\right)---\left(5\right)$

式中，I(n)为对称性检测模版的中心像素两侧第n个像素的深度值，n∈[-r，-1]或n∈[1，r]；

b)计算各方向深度变化δw，μw表示方向w的2×r+1个像素中的最低强度值；

δ_w＝min{m_w1-μ_w，m_w2-μ_w} (6)

c)获得最大和最小的强度变化值δmax和δmin：

δ_max＝max{δ_w} (7)

δ_min＝min{δ_w} (8)

d)裂缝像素在不同方向上的强度变化应存在显著的差异，因此需满足：

δ_max≥t₁ (9)

δ_max-δ_min≥s₁ (10)

式中，t₁，s₁为阈值参数。

(IV)对称性检测II：

与对称性检测I类似，针对Ω3和Ω4进行对称性检测，其区别在于步骤b)和d)；

a)分别计算中心像素(i，j)两侧r＝4个像素的强度均值m’_w1和m’_w2；

b)计算各方向强度变化δ_w，μ’_w表示方向w的2×r+1个像素中的最低强度值；

δ’_w＝min{|m’_w1-I(i，j)|，|m’_w2-I(i，j)|} (11)

c)获得最大和最小的强度变化值δ’max和δ’min；

d)裂缝像素在不同方向上的强度变化应存在显著的差异，需满足：

δ’_max≥t₂ (12)

δ’_max-δ’_min≥s₂ (13)

式中，t₂，s₂为阈值参数。