CN103455985B - 基于Hessian结构分析的道路裂缝增强方法 - Google Patents

Abstract

本发明提供一种基于Hessian结构分析的道路裂缝增强方法，包括对路面图像进行预处理，得到待进行道路裂缝增强的原始图像；分析Hessian结构特征，包括得到原始图像上每一像素点的Hessian结构；对原始图像的不同结构目标进行特征分析，包括求出原始图像上每一像素点对应的Hessian结构的特征值和特征向量；裂缝增强，包括对原始图像增强裂缝目标的亮度，减弱背景目标和伪裂缝目标的亮度，得到增强图像；对增强图像进行形态学分析处理，消除裂缝边缘的毛刺和孤立的噪声点，输出最终的增强图像。

Description

基于Hessian结构分析的道路裂缝增强方法

技术领域

本方法属于图像处理与模式识别技术领域，特别是涉及到一种新的基于Hessian结构分析的多尺度道路裂缝增强方法，可以显著增强道路图像上裂缝区域附近的对比度。

背景技术

道路在使用过程中，难免会出现一些大大小小的裂缝，这些裂缝不仅降低了道路的使用寿命，而且对交通安全构成威胁，因此路面维修是一项刻不容缓的工作。路面裂缝检测是路面维修过程中的首要条件，按照传统的依赖人工进行检测，不仅耗时，也耗人力和财力。随着自动化、智能化、高速化技术的发展，如何快速准确地检测和识别道路裂缝图像中的裂缝已成为数字图像处理领域中的一个热门问题。

目前，对裂缝图像进行增强的方法可分为两大类：基于空域的算法和基于频域的算法。前者主要是对灰度级进行操作处理，后者主要是基于图像变换域对变换系数进行修正。迄今为止，国内外对裂缝增强都有一些研究，但是大多数都是采用单一尺度在一系列方向上应用非线性有限微分算子的方法；Orkisz提出沿裂缝方向进行中值滤波的方法，但这方法只进行了单一尺度的操作，无法适应较大的尺度变化。唐国维等人采用区域生长技术对道路图像进行分割处理，虽有一定效果但其运算量太大，不能很好的运用到实际系统中。

发明内容

为显著增强道路图像裂缝区域附近的对比度，便于后续人工裂缝判读或算法自动裂缝检测与识别，本发明公开了一种基于Hessian结构分析的多尺度道路裂缝增强方法。

本发明的技术方案为一种基于Hessian结构分析的道路裂缝增强方法，包括以下步骤，

步骤1，对路面图像进行预处理，得到待进行道路裂缝增强的原始图像；

步骤2，分析Hessian结构特征，包括基于以下公式对二维高斯核函数在不同尺度σ下求其二阶偏导数后与原始图像做卷积，得到原始图像上每一像素点在不同尺度σ下的Hessian结构，

$H\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{{\∂x}^2}& \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{\∂x\∂y}\\ \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{\∂x\∂y}& \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{{\∂y}^2}\end{array}\right]*f(x,y)$

其中，f(x,y)为二维的原始图像，G(x,y;σ)为二维高斯核函数，x为原始图像的水平分量，y为原始图像的垂直分量；

步骤3，对原始图像的不同结构目标进行特征分析，包括求出原始图像上每一像素点(x,y)在不同尺度σ下对应的Hessian结构的特征值λ₁、λ₂和特征向量u₁、u₂，其中|λ₁|≤|λ₂|；

步骤4，裂缝增强，包括对原始图像上每个像素点(x,y)都进行以下计算，得到增强图像，

$R_A=\left|\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_2}\right|$

$S=\left|\right|H\left(\mathrm{\σ}\right)\left|\right|=\sqrt{{{\mathrm{\λ}}_1}^2+{{\mathrm{\λ}}_2}^2}$

当像素点(x,y)属于亮结构时

$V_0\left(\mathrm{\σ}\right)=\left\{\begin{array}{cc}0& {\mathrm{\λ}}_2>0\\ \exp (-\frac{{R_A}^2}{2{\mathrm{\α}}^2})(1-\exp (-\frac{S^2}{2{\mathrm{\β}}^2}))& \end{array}\right.$

当像素点(x,y)属于暗结构时

$V_0\left(\mathrm{\σ}\right)=\left\{\begin{array}{cc}0& {\mathrm{\λ}}_2\≤0\\ \exp (-\frac{{R_A}^2}{2{\mathrm{\α}}^2})(1-\exp (-\frac{S{\left(\mathrm{\σ}\right)}^2}{2{\mathrm{\β}}^2}))& \end{array}\right.$

$V\left(\mathrm{\σ}\right)=\underset{{\mathrm{\σ}}_{\min }\≤\mathrm{\σ}\≤{\mathrm{\σ}}_{\max }}{\max }{V}_0\left(\mathrm{\σ}\right)$

其中，R_A表示线状物体形状参数，S表示线状物体形状强度，||H(σ)||表示Hessian结构H(σ)的范数，V₀(σ)为对应尺度σ的图像灰度输出值，α、β是用来控制线滤波器的敏感度的参数，V(σ)表示增强图像的最终输出灰度值，σ_max和σ_min分别表示在进行裂缝增强时运用的最大、最小尺度；

步骤5，对步骤4所得增强图像进行形态学分析处理，消除裂缝边缘的毛刺和孤立的噪声点，输出最终的增强图像。

而且，α=0.5，β=||H(σ)||/2。

而且，根据原始图像上每一像素点(x,y)对应的Hessian结构H的特征值λ₁、λ₂和特征向量u₁、u₂，当目标为裂缝时，λ₁的绝对值趋近于0，λ₂的绝对值是一个远大于0的值；当目标为伪裂缝时，λ₁和λ₂的绝对值都是一个远大于0的值；当目标为背景时，λ₁和λ₂的绝对值趋近于0。

而且，步骤4的计算结果为对原始图像增强裂缝目标的亮度、减弱背景目标和伪裂缝目标的亮度。

本发明通过分析道路图像中裂缝结构的特点和Hessian结构的特征值，并采用不同量化测度，实现道路裂缝图像的自动增强，为道路养护决策提供支持。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的道路裂缝形状。

图3为本发明实施例的高斯函数的二阶导函数。

图4为本发明实施例的高斯函数二阶导数的三维图。

图5为本发明实施例的高斯函数的二阶导与裂缝镶嵌图。

图6为本发明实施例的裂缝增强效果图。

具体实施方式

以下结合附图和本发明的实施例，对本发明技术方案进行详细分析说明。具体实施时步骤流程如图1所示，可采用计算机软件技术实现自动运行，实施例的实现过程可以概述为以下几个步骤：

步骤一：首先对路面图像进行预处理。由于路面图像在获取的过程中，受拍摄条件、地面油污、CCD噪声、人为等因素影响，会对获取的路面图像产生噪声干扰。因此实施例首先对原始图像进行去噪处理，它可以提高图像的信噪比，能有效地增强目标特征，抑制部分背景噪声，增强裂缝和路面的对比。常规的算法进行去噪处理，可能会对裂缝边缘产生模糊效果，本发明实施例基于双边滤波进行去噪处理，它不仅能去除噪声，也能很好的保持裂缝图像边缘，取得很好的去噪效果。双边滤波器由两个函数构成：一个函数是由几何空间距离决定滤波器系数，另一个由像素差值决定滤波器系数，具体实现为现有技术。因此双边滤波器具有很好的去噪保边效果。当然，此处除双边滤波外，也可以选用其他的滤波方法，如中值滤波等。以预处理后的路面图像为原始图像进行后续步骤的处理。

步骤二：分析Hessian结构特征。

由于Hessian方法是一种高阶微分提取图像结构特征的方法。裂缝在局部范围内可以看成一段很短的直线，因此裂缝增强在某种意义上来说就是先检测出具有直线结构的裂缝，然后再对其进行增强。

通常检测直线可以用求一阶导数的方法，如果一阶导数为常数，则该目标结构即为一直线。如果再对其求一阶导数，即求原始图像的二阶导数，所得的值为零。而二维Hessian结构可表示为 $H=\left[\begin{array}{cc}{I}_{\mathrm{xx}}& I_{\mathrm{xy}}\\ I_{\mathrm{yx}}& I_{\mathrm{yy}}\end{array}\right],$ 其分量是对函数I求二阶导数，其中：x为图像的水平分量，y为图像的垂直分量，I_xx为函数I对其水平分量求二阶导数，I_yy为函数I对其垂直分量求二阶导数，I_xy和I_yx均为函数I对其水平分量和垂直分量求二阶混合偏导数。

如图2所示，从道路横截面来看，道路裂缝具有的形状与高斯函数的二阶导函数的形状（如图3所示）近似。此外高斯函数可以对图像进行去噪。由于裂缝是具有一定长度的狭长型结构，所以可以选用适合的高斯函数的二阶导数来逼近它。如图4所示，是高斯函数的二阶导数的三维图，如果找到一个这样的立体图像能够很好地嵌入到道路裂缝中（如图5所示），那么裂缝的宽度与深度就可以知道了。

由于高斯函数的二阶导数能很好地逼近道路裂缝，并且对图像求二阶导数可以便于检测裂缝，所以可以将两者结合，对高斯核函数在不同尺度σ下求其二阶偏导数，所得的结果再与图像做卷积，得到图像上每一像素点在不同尺度σ下的Hessian结构，用公式 $H\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{{\∂x}^2}& \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{\∂x\∂y}\\ \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{\∂x\∂y}& \frac{{\∂}^{2}G(x,y;\mathrm{\σ})}{{\∂y}^2}\end{array}\right]*f(x,y)$ 表示，其中：f(x,y)为二维原始图像，G(x,y;σ)为二维高斯核函数。

步骤三：对路面原始图像的不同结构目标进行特征分析。

在路面图像中裂缝在局部范围内可看成线状结构目标，伪裂缝呈现出小点或小斑状结构目标，背景为无结构目标。裂缝目标的特征值与非裂缝目标(伪裂缝和背景)的特征值有明显差别。因此本发明利用像素点Hessian结构的特征值来判断该像素点是否为裂缝目标。

根据步骤二可以进一步运用数学上求二阶实对称矩阵特征值和特征向量的方法求出任一像素点(x,y)对应的Hessian结构的特征值λ₁、λ₂(|λ₁|≤|λ₂|)和特征向量u₁、u₂。因为图像上不同结构目标，对应的Hessian结构特征值具有不同的特点：当目标为线状结构（裂缝）时，λ₁（理想状态是0）的绝对值趋近于0，λ₂的绝对值是一个远大于0的值；当目标为斑状结构（伪裂缝）时，λ₁和λ₂的绝对值都是一个远大于0的值；当目标无结构（背景）时，λ₁和λ₂的绝对值趋近于0。

步骤四：裂缝增强。根据步骤三分析的Hessian结构特征值特点，可以区分出裂缝和非裂缝结构。接下来需要做的是，增强裂缝目标的亮度，减弱背景目标和伪裂缝目标的亮度。本发明为达到上述目的，对原始图像每个像素点(x,y)都采用(1)～(4)的等式进行计算分析：

$R_A=\left|\frac{{\mathrm{\λ}}_1}{{\mathrm{\λ}}_2}\right|---\left(1\right)$

式中，R_A表示线状物体形状参数。

根据(1)式的值来增强线状结构（裂缝）和抑制斑状结构（伪裂缝）。当目标为线状结构时，R_A基本上趋近于0；当目标为斑状结构时，R_A比较大。

$S=\left|\right|H\left(\mathrm{\σ}\right)\left|\right|=\sqrt{{{\mathrm{\λ}}_1}^2+{{\mathrm{\λ}}_2}^2}---\left(2\right)$

式中，参数S表示线状物体形状强度，||H(σ)||表示Hessian结构H(σ)的范数。

根据(2)式的值来增强线状结构和抑制无结构（背景）的目标。当目标为线状结构时，S值大；当目标无结构时，S值小。

$V_0\left(\mathrm{\σ}\right)=\left\{\begin{array}{cc}0& {\mathrm{\λ}}_2>0\\ \exp (-\frac{{R_A}^2}{2{\mathrm{\α}}^2})(1-\exp (-\frac{S^2}{2{\mathrm{\β}}^2}))& \end{array}--\right.\left(3\right)$

式中，参数V₀(σ)为对应尺度σ的图像灰度输出值，α、β是用来控制线滤波器的敏感度，本发明实施例中α的固定值是0.5；β取决于整幅图像灰度值的变化范围，可选取为Hessian结构矩阵范数||H(σ)||的一半，也可根据实际情况自行设定。根据(3)式可达到突出裂缝目标，抑制背景目标和伪裂缝目标的效果。考虑到缝隙可能有两种形式，一种是比路平面暗些的裂缝，即暗结构，一种是由于填满了沙子，在影像表现为比路平面亮的裂缝，即亮结构。具体实施时，可以通过灰度的剧烈变化自动判断，将平均亮度大于路平面的亮度且亮度距离很大的线状区域判断为亮结构，将平均亮度小于路平面的亮度且亮度距离很大的线状区域判断为暗结构。具体实施时，本领域技术人员可以自行设定亮度距离阈值，通过软件判断是否大于阈值来找出平均亮度与路平面亮度距离很大的线状区域。(3)式是针对亮结构进行增强处理，而对暗结构进行增强处理时它的增强条件反转，即阈值判断条件变成λ₂≤0。

$V\left(\mathrm{\σ}\right)=\underset{{\mathrm{\σ}}_{\min }\≤\mathrm{\σ}\≤{\mathrm{\σ}}_{\max }}{\max }{V}_0\left(\mathrm{\σ}\right)---\left(4\right)$

式中，参数V(σ)表示最终输出灰度值，σ_max和σ_min分别表示在进行裂缝增强时运用的最大最小尺度，当σ值和裂缝宽度最吻合时，滤波器的响应将是最大的。(4)式计算出的结果将为最终增强值，增强效果如图6所示原始二值化道路图与增强影像图的对比。

$C=\frac{l-l^{\′}}{l^{\′}}---\left(5\right)$

式中，C表示对比度，l和l'分别表示裂缝在半径为[0，r]和[r+1，R](其中R>r，R和r表示缓冲像素个数，R和r的大小可根据裂缝宽度设定)的缓冲区内的灰度均值。为进一步确认路面图像亮度是否增强，本发明实施例运用(5)式分别计算原始图像的对比度C₁和增强图像的对比度C₂，最后根据C₂/C₁获得图像对比度的增强率，可发现处理后的图像裂缝亮度明显增强。

如下表所示：

Image No	Contrast Before	Contrast After	Enhancement Ratio
				1	0.0467	1.3522	28.9826
2	0.0653	1.4920	22.8515
				3	0.0618	1.2460	20.1779
4	0.0127	0.6810	53.5931
				5	0.3871	0.7917	2.0451
6	0.0258	0.6006	23.2718
				7	0.0191	0.2946	15.4038
8	0.0216	0.3099	14.3510
				9	0.2535	0.2701	1.0658
10	0.3766	0.9291	2.4673
				Average	0.1270	0.7968	18.4210

其中：Image No表示图像编号，Contrast Before表示原始图像根据公式计算出的对比度，Contrast After表示增强后图像根据公式计算出的对比度，Enhancement Ratio表示处理前后对比度增强率，Average表示每一列平均值。

步骤五：对增强后的图像进行形态学分析处理。由于增强后的图像有孤立的噪声点，而且裂缝边缘有毛刺，裂缝里有空洞，考虑到裂缝内部的空洞一般很小，而且毛刺一般也很细小，因此本发明实施例利用图像形态学中的闭运算来消除毛刺和这些孤立的噪声点，具体实现为现有技术，本发明不予赘述。消除裂缝边缘的毛刺和孤立的噪声点后，可输出最终的增强图像，供相关部门使用。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于Hessian结构分析的道路裂缝增强方法，其特征在于：包括以下步骤，

步骤1，对路面图像进行预处理，得到待进行道路裂缝增强的原始图像；

步骤2，分析Hessian结构特征，包括基于以下公式对二维高斯核函数在不同尺度σ下求其二阶偏导数后与原始图像做卷积，得到原始图像上每一像素点在不同尺度σ下的Hessian结构H(σ)，

$H\left(\mathrm{\σ}\right)=\left[\begin{array}{cc}\frac{{\∂}^{2}G\left(x,y;\mathrm{\σ}\right)}{\∂x^2}& \frac{{\∂}^{2}G\left(x,y;\mathrm{\σ}\right)}{\∂x\∂y}\\ \frac{{\∂}^{2}G\left(x,y;\mathrm{\σ}\right)}{\∂x\∂y}& \frac{{\∂}^{2}G\left(x,y;\mathrm{\σ}\right)}{\∂y^2}\end{array}\right]*f\left(x,y\right)$

其中，f(x,y)为二维的原始图像，G(x,y；σ)为二维高斯核函数，x为原始图像的水平分量，y为原始图像的垂直分量；

步骤3，对原始图像的不同结构目标进行特征分析，包括求出原始图像上每一像素点(x,y)在不同尺度σ下对应的Hessian结构H(σ)的特征值λ₁、λ₂和特征向量u₁、u₂，其中|λ₁|≤|λ₂|；

步骤4，裂缝增强，包括对原始图像上每个像素点(x,y)都进行以下计算，得到增强图像，

$S=\left|\right|H\left(\mathrm{\σ}\right)\left|\right|=\sqrt{{{\mathrm{\λ}}_1}^2+{{\mathrm{\λ}}_2}^2}$

当像素点(x,y)属于亮结构时

$V_0\left(\mathrm{\σ}\right)=\left\{\begin{array}{cc}0& {\mathrm{\λ}}_2>0\\ \exp (-\frac{{R_A}^2}{2{\mathrm{\α}}^2})(1-\exp (-\frac{S^2}{2{\mathrm{\β}}^2}\left)\right)& \end{array}\right.$

当像素点(x,y)属于暗结构时

$V_0\left(\mathrm{\σ}\right)=\left\{\begin{array}{cc}0& {\mathrm{\λ}}_2\≤0\\ \exp (-\frac{{R_A}^2}{2{\mathrm{\α}}^2})(1-\exp (-\frac{S{\left(\mathrm{\σ}\right)}^2}{2{\mathrm{\β}}^2}\left)\right)& \end{array}\right.$

$V\left(\mathrm{\σ}\right)=\underset{{\mathrm{\σ}}_{min}\≤\mathrm{\σ}\≤{\mathrm{\σ}}_{max}}{max}{V}_0\left(\mathrm{\σ}\right)$

其中，R_A表示线状物体形状参数，S表示线状物体形状强度，||H(σ)||表示Hessian结构的范数，V₀(σ)为对应尺度σ的图像灰度输出值，α、β是用来控制线滤波器的敏感度的参数，α＝0.5，β取Hessian结构的范数||H(σ)||的一半；V(σ)表示增强图像的最终输出灰度值，σ_max和σ_min分别表示在进行裂缝增强时运用的最大、最小尺度；

步骤5，对步骤4所得增强图像进行形态学分析处理，消除裂缝边缘的毛刺和孤立的噪声点，输出最终的增强图像。

2.根据权利要求1所述基于Hessian结构分析的道路裂缝增强方法，其特征在于：根据原始图像上每一像素点(x,y)对应的Hessian结构H的特征值λ₁、λ₂和特征向量u₁、u₂，当目标为裂缝时，λ₁的绝对值趋近于0，λ₂的绝对值是一个远大于0的值；当目标为伪裂缝时，λ₁和λ₂的绝对值都是一个远大于0的值；当目标为背景时，λ₁和λ₂的绝对值趋近于0。

3.根据权利要求2所述基于Hessian结构分析的道路裂缝增强方法，其特征在于：步骤4的计算结果为对原始图像增强裂缝目标的亮度、减弱背景目标和伪裂缝目标的亮度。