CN110298816A - 一种基于图像重生成的桥梁裂缝检测方法 - Google Patents

Abstract

本发明具体涉及一种基于图像重生成的桥梁裂缝检测方法，包括步骤：图像运算：通过使用不同像素值的等大纯色图像与原始桥梁裂缝图像进行图像相减运算来确定最终所要采用的背景图像；图像增强：采用基于伽马变换的变换公式进行图像增强；图像重生成：根据桥梁裂缝图像的直方图进行图像重生成，将像素值分界线设为定值，根据固定的阈值去除图像原本的背景，保留裂缝，将重新生成的裂缝图像背景色置为单一色，得到背景为单一色的桥梁裂缝图像；裂缝提取和定位。本发明的桥梁裂缝检测方法可以对各种类型的桥梁裂缝图像的裂缝检测和定位，适用性强，检测到的裂缝能反映实际的裂缝情况，几乎无噪声干扰，且实现了裂缝的精准定位与提取。

Description

一种基于图像重生成的桥梁裂缝检测方法

技术领域

本发明属于计算机视觉、数字图像处理与机器学习领域，具体涉及一种基于图像重生成的桥梁裂缝检测方法。

背景技术

桥梁的安全耐用事关我国的国计民生，因此必须定期对桥梁进行监测。特别是近年来，我国多地桥梁坍塌事故频繁，不仅对国家造成了巨大的经济损失，而且对社会产生了极大的负面影响。所以，桥梁的监测越来越受到重视，其中桥梁裂缝的监测对于确保桥梁的使用安全尤为重要，因此对桥梁裂缝检测方法的研究具有非常重要的意义。

随着计算机视觉以及数字图像处理的发展，国内外学者将数字图像处理技术应用于桥梁裂缝的检测中，并且取得了相应的研究成果。桥梁裂缝检测方法大都涉及到了对各种阈值的处理，虽然基于阈值分割的裂缝识别方法容易实现且方便应用，但是这类方法并没有考虑影像表面环境的变化以及光照、噪声、纹理等因素对于裂缝识别的影响，因此，取得的效果极其不稳定且很难确定一个最优的阈值处理不同的裂缝图片。

随着广大专家学者的研究，各种有效的裂缝检测算法不断涌现，对于裂缝的检测取得了突破性的进展。但是，由于桥梁裂缝的形式是多种多样的，桥梁底面的状况复杂多变，且存在各种噪声的干扰，传统的图像处理方法很难确定阈值和参数，无法准确的将裂缝提取和检测出来。

发明内容

为了解决现有技术中存在的无法准确提取和检测裂缝的问题，本发明提供了一种基于图像重生成的桥梁裂缝检测方法，针对复杂多变的桥梁裂缝图像，该方法检测到的桥梁裂缝符合裂缝的真实区域，几乎无噪声干扰，且实现了裂缝的精准定位与提取。本发明要解决的技术问题通过以下技术方案实现：

一种基于图像重生成的桥梁裂缝检测方法，包括以下步骤：

步骤一：图像运算：通过使用不同像素值的等大纯色图像与原始桥梁裂缝图像进行图像相减运算来确定最终所要采用的背景图像；

步骤二：图像增强：采用基于伽马变换的变换公式进行图像增强；

步骤三：图像重生成：根据桥梁裂缝图像的直方图进行图像重生成，将像素值分界线设为定值，根据固定的阈值去除图像原本的背景，保留裂缝，并将重新生成的裂缝图像背景色置为单一色，最终得到背景为单一色的桥梁裂缝图像；

步骤四：裂缝提取和定位。

进一步地，上述伽马变换的图像增强的基本形式：s＝cr^γ，其中c和γ为正常数，伽马变换的变换公式对原图像上每一个像素值做乘积运算，即令常数c＝1，通过不同的γ值，增强低灰度或高灰度部分细节。

进一步地，上述步骤四中裂缝的提取具体方法为：

通过计算机视觉库OpenCV中的轮廓寻找函数findContours()在图像重生成的桥梁裂缝图像上寻找所有裂缝的轮廓，并结合绘制轮廓函数drawContours()将找到的所有裂缝轮廓绘制出，在寻找轮廓前进行模糊去噪，并结合使用迭代器去除噪声轮廓，在绘制轮廓时通过计算轮廓的质心坐标进行漫水填充，得到裂缝的最终提取结果。

进一步地，上述步骤四中裂缝的定位具体方法为：

调用轮廓寻找函数findContours()寻找重生成的桥梁裂缝图像中所有裂缝的轮廓，并在相应的原始桥梁裂缝图像上绘制矩形框标记裂缝位置，并且输出矩形框的左上角和右下角的坐标点，完成裂缝的定位。

与现有技术相比，本发明的有益效果：

1.本发明的桥梁裂缝检测方法采用的数字图像处理过程包括图像运算、图像增强、图像重生成；其中，图像运算过程中利用图像减法运算可以减少光照不均的影响，消除部分背景噪声，增大裂缝和背景的像素差值，从而达到凸显裂缝的效果；图像增强过程使用基于伽马变换的变换公式的图像增强对裂缝图像进行增强处理后，桥梁裂缝图像的背景干扰已经达到近似完全抑制，进一步加大了背景和裂缝的像素差别；最后利用图像的直方图将图像的背景去除掉，保留裂缝，重新生成背景为纯色的裂缝图像。

2.本发明的图像重生成方法的每个处理过程都是在逐渐消除桥梁裂缝图像的背景干扰，增大裂缝和背景的像素差别，以便最终利用图像的直方图分布实现去除背景，重新生成纯色背景的桥梁裂缝图像，完成桥梁裂缝的精准检测和定位。

3.本发明的桥梁裂缝检测方法可以对各种类型的桥梁裂缝图像的裂缝检测和定位，适用性强，检测到的裂缝是完整的，能反映实际的裂缝情况，几乎无噪声干扰，且实现了裂缝的精准定位与提取。

附图说明

图1是本实施例桥梁裂缝检测方法的示意图。

图2是本实施例进行图像相减运算后的示意图。

图3是本实施例所采用的拉普拉斯算子图。

图4是本实施例的桥梁裂缝图像增强结果图。

图5是本实施例的裂缝图像的直方图。

图6是本实施例的重生成的裂缝图。

图7是本实施例的裂缝提取图。

图8是本实施例的裂缝定位图。

图9是本实施例各种类型桥梁裂缝检测图。

图10是本实施例不同方法下的裂缝检测对比效果图。

图11是本实施例不同方法下的裂缝定位对比效果图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

基于图像重生成的桥梁裂缝检测方法包括：基于图像像素灰度值的图像运算、基于伽马变换的图像增强、基于图像直方图的图像重生成和裂缝提取和定位，本实施例通过实验逐步构建图像重生成方法的顺序，本实施例的桥梁裂缝检测方法的过程示意图如图1所示。

原始桥梁裂缝图像的背景复杂多变，为了尽可能地减少背景对裂缝检测的干扰并增强背景与裂缝的像素差别，本实施例采用图像相减的运算。背景相减法可以去掉背景得到裂缝，但因为桥梁裂缝图像的背景是复杂多变的，难以确定统一的背景，故本实施例通过使用不同像素值的等大纯色图像与原始桥梁裂缝图像进行图像相减运算来确定最终所要采用的背景图像。

经过多次试验后发现，如图2所示，第一列图为原图，第二列图为与白色图像相减的图，第三列图为与浅灰色图像相减的图，第四列为与深灰色图像相减的图，第五列图为与黑色图片相减的图。与桥梁裂缝图像进行图像相减运算的等大纯色图像的像素值最大(白色)或最小(黑色)时，相减后得到的裂缝图像中的裂缝更加明显突出，背景与裂缝的像素差别加大，而且对图像的噪声有一定的消除作用；而与像素值介于黑色和白色之间的等大纯色图像相减后的裂缝图像效果不稳定，加大了噪声干扰，覆盖了裂缝，不利于裂缝的观测。

进一步实验对比观察后，原始桥梁裂缝图像与白色图像相减后的结果相比与黑色图像相减后的结果更稳定，可以看到与黑色图像相减后有些部分出现了噪声，因此最终决定将原始桥梁裂缝图像与一张等大的白色图像进行图像相减运算。

根据图像增强处理过程所在的空间不同，数字图像处理的图像增强算法分为基于空域的算法和基于频域的算法两大类。空域法是对图像中的像素点进行操作，用公式描述如式(1)所示，其中f(x,y)是原图像，h(x,y)为空间转换函数，g(x,y)表示进行处理后的图像，即这种方法是直接对图像的灰度级做运算，而基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。本实施例通过将空域法的四种图像增强算法用于图像相减后的桥梁裂缝图像，即基于直方图均衡化的图像增强、基于拉普拉斯算子的图像增强、基于对数变换的图像增强以及基于伽马变换的图像增强，进行了多次实验研究对比，最终发现基于伽马变换的图像增强能够进一步增大背景和裂缝像素值的差别，便于最终根据图像的直方图分布去除背景保留裂缝，重新生成背景为黑色裂缝图像。

g(x,y)＝f(x,y)*h(x,y) (1)

直方图均衡化是使得原始图像的直方图均匀分布，图像像素灰度值的动态范围得到增加，从而达到增强图像整体对比度的效果。变换形式如式(2)所示，其中r表示待处理图像的灰度，通常假设r的取值区间为[0，L-1]，且r＝0表示黑色，r＝L-1表示白色。T(r)在区间0≤r≤L-1上为单调递增函数，而且当0≤r≤L-1时，0≤T(r)≤L-1。

s＝T(r),0≤r≤L-1 (2)

基于拉普拉斯算子的图像增强关键在于拉普拉斯算子的选取，拉普拉斯算子是一个边缘检测点算子，它与边缘方向无关，即实际上是一种二阶微分算子。拉普拉斯算子突出强调的是图像中灰度的突变，而对于灰度级缓慢变化的区域则并不会强调。一个连续的二元函数f(x,y)的拉普拉斯运算定义如式(3)所示：

为了方便对图像进行处理，可将拉普拉斯算子简化为如式(4)所示：

▽²f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y) (4)

在实际的图像处理过程中，拉普拉斯算子是通过3×3滤波模板实现的。本实施例所采用的拉普拉斯算子是中心为5的8邻域拉普拉斯算子，如图3所示，使用该算子与图像相减后的裂缝图像进行卷积运算从而完成图像增强。

基于对数变换的图像增强的变换方法如式(5)所示，其中c是一个常数。对数变换将原始图像中范围较窄的低灰度值映射为较宽范围的灰度值，相反地，对原始图像中高灰度值映射为范围更窄的灰度值。从而达到显示出低灰度部分更多的细节，减少高灰度部分细节的效果，这样就实现了扩展和增强图像的低灰度部分以及压缩图像的高灰度部分。而且，对数变换的增强效果还取决于不同的底数值，底数越大，对低灰度部分的扩展越强，对高灰度部分的压缩也就越强。

s＝c·log(1+r)(r≥0) (5)

基于伽马变换的图像增强的基本形式如式(6)所示，其中c和为正常数。伽马变换对图像的修正作用其实就是通过增强低灰度或高灰度的细节实现的，其值以1为分界，值越小，对图像低灰度部分的扩展作用就越强，值越大，对图像高灰度部分的扩展作用就越强，通过不同的值，就可以达到增强低灰度或高灰度部分细节的作用。所以伽马变换主要用于图像的校正，即将灰度过高或者灰度过低的图片进行修正，增强对比度。而伽马变换的变换公式就是对原图像上每一个像素值做乘积运算，即令常数c＝1。本实施例就是将桥梁裂缝图像的每一个像素值做了三次乘积运算后的结果作为图像增强后的裂缝图像对应的像素值。

s＝cr^γ (6)

通过多次实验对比后发现采用基于伽马变换的图像增强相比其他三种算法效果更好，如图4所示，经过图像相减运算后的裂缝图像通过直方图均衡化后不仅没有使得裂缝与背景的像素值区别加大，反而对裂缝造成了噪声污染，不利于本实施例方法的下一步进行；而拉普拉斯算子的增强效果极其不稳定，一部分裂缝图像经过拉普拉斯算子增强后背景噪声增大，一部分是裂缝图像则是完全失真，增强后的图像已观测不到背景和裂缝；虽然对数变换的增强较前面两种增强方法相对稳定，但是背景噪声也有增大，没有达到想要的效果，即背景和噪声的像素值差别不明显，难以根据此时的裂缝图像进行下一步图像重生成处理；基于伽马变换的变换公式的图像增强不仅使得背景噪声进一步被抑制，而且此时裂缝图像中的背景和裂缝的像素值差别已经很大了，便于进一步根据裂缝图像的直方图分布完成裂缝图像的图像重生成。因此，图像增强过程统一采用基于伽马变换的变换公式的增强。

经过前面两步处理后得到的桥梁裂缝图像，如图4所示，经过人眼观测，裂缝与背景的像素值差别已经很大，噪声干扰降到很低，此时每一张裂缝图像的直方图分布大部分都如图5所示，其中x轴表示像素值，y轴表示每个像素值在图像中出现的次数，通过观察之后，很明显的可以看到从某个像素值开始像素值出现的次数趋于稳定，而这个数值就是图像重生成时需要的的像素值分界线，而且此时经过前面的图像处理后每张裂缝图像的直方图相近，即像素值分界线相同，本实施例经过多次实验发现颜色值的分界线为50。本实施例所采用的图像重生成方法就是根据此时裂缝图像的直方图，将像素值的分界线设为定值，根据这个固定的阈值去除图像原本的背景，保留裂缝，并将重新生成的裂缝图像背景色置为黑色，最终得到背景为黑色的桥梁裂缝图像，如图6所示，可以看到经过图像重生成的桥梁裂缝图像中保留的裂缝非常逼近桥梁裂缝的真实区域和面积，原本复杂多变的背景现在为黑色统一背景，且图像中的噪声干扰降到了很低，这样就便于进一步裂缝的提取和定位。

为了最终完成对裂缝在原始桥梁裂缝图像中的精准定位，本实施例首先通过计算机视觉库OpenCV中的轮廓寻找函数findContours()在图像重生成的桥梁裂缝图像上寻找所有裂缝的轮廓，并结合绘制轮廓函数drawContours()将找到的所有裂缝轮廓绘制出。因为经过图像重新生成的桥梁裂缝图像仍有些许小噪声，故在寻找轮廓前设置了一个3×3的内核进行模糊去噪，并结合使用迭代器去除噪声轮廓；最终为了保证裂缝的连续性和完整性，在绘制轮廓时通过计算轮廓的质心坐标进行了漫水填充。裂缝的最终提取结果如图7所示，可以看到提取的裂缝符合桥梁裂缝的真实区域和面积，且裂缝是连续完整的，不存在断裂，无毛刺，无噪声干扰，便于最终进行裂缝的精准定位。

对于裂缝的定位是调用轮廓寻找函数findContours()寻找重生成的桥梁裂缝图像中所有裂缝的轮廓，并在相应的原始桥梁裂缝图像上绘制矩形框标记裂缝位置，并且输出矩形框的左上角和右下角的坐标点，从而完成裂缝的定位，如图8所示，矩形区域即为桥梁裂缝的位置，初步通过人眼观测，本实施例的基于图像重生成的桥梁裂缝检测方法对各种类型的裂缝都定位准确，且在图像中存在多条裂缝的情况下，也能完成多条裂缝检测。另外，表1给出了桥梁裂缝所在矩形区域的左上角和右下角的坐标点，本实施例就是利用这两个坐标点确定桥梁裂缝位置。对图8中裂缝的定位图从左到右进行编号，编号为1-5，每个图像中矩形的坐标点位置如表1所示。

表1桥梁裂缝定位的位置坐标

本实施例算法的程序是基于计算机视觉开源库OpenCV，使用C/C++、Python语言开发，程序的运行环境是Windows7旗舰版，CPU3.30GHz，RAM8G，数据集是大小为416×416的原始桥梁裂缝图像。

为了验证本实施例提出的桥梁裂缝检测方法的鲁棒性和准确性，对采集到的各种类型的桥梁裂缝图像采用本实施例提出的方法进行了处理，包括横向桥梁裂缝图像、纵向桥梁裂缝图像、龟裂的桥梁裂缝图像、坑槽类型的桥梁裂缝图像、网状桥梁裂缝图像和无桥梁裂缝的桥梁图像，最终的实验结果如图9所示，可以看到本实施例提出的方法可以很好完成的对各种类型的桥梁裂缝图像的裂缝检测和定位，适用性强。

为了更进一步凸显出本实施例提出的桥梁裂缝检测方法的优越性，将本实施例提出的方法与自适应阈值Canny检测算法、迭代阈值分割算法、裂缝森林算法进行了对比，实验对比运行结果如图10所示，可以看到自适应阈值Canny检测算法的裂缝检测结果是断裂不完整的，而且还存在一些噪声干扰。基于迭代阈值分割算法的裂缝检测结果中包含有大量的噪声，并且噪声严重覆盖了桥梁裂缝，影响了后续对裂缝的观测。基于裂缝森林算法的实验结果比前两种算法裂缝检测效果好，但是提取出来的裂缝与实际裂缝区域不太吻合，毛刺多，而且部分检测结果有些许噪声的干扰。相比之下，本实施例方法检测到的裂缝是完整的，能反映实际的裂缝情况，且几乎无噪声干扰。

更重要的是，根据图8以及表1可以看到本实施例提出桥梁裂缝检测方法能够准确地反映出裂缝的位置，而且实现了多条裂缝检测。将本实施例提出的桥梁裂缝检测方法与目标检测网络YOLOv3进行了对比，如图11所示，可以看到目标检测网络YOLOv3检测效果存在裂缝丢失或是裂缝定位较裂缝实际位置偏差很大，而本实施例提出的裂缝检测方法比YOLOv3目标检测网络定位更准确，除此之外，在相同的CPU运行环境下，YOLOv3目标检测网络的运行时间是本实施例提出的方法的近50倍。

对于目标检测算法常见的评价标准有准确率、混淆矩阵、精确率、召回率、平均正确率、mean Average Precision、交除并、ROC+AUC以及非极大值抑制。经过上面实验结果的对比分析后，为了更进一步对本实施例提出的桥梁裂缝的检测和定位方法的评价和分析，本实施例选择采用精确率和召回率用于对裂缝的提取和检测效果进行量化地评价与分析，可通过定义裂缝精确度指数Pre和裂缝召回率指数Rec两个评估指标，这里的裂缝精确度指数Pre指的是被准确检测提取出来的裂缝像素数量(TP)占被检测提取出来的裂缝像素数量(TP+FP)的比例，裂缝召回率指数Rec指的是被准确提取出来的裂缝像素数量(TP)占应该被检测提取出来裂缝像素数量(TP+FN)的比例，裂缝精确率指数Pre和裂缝召回率指数Rec具体的计算公式如式(7)和式(8)所示：

其中，TP表示被准确检测提取出来的裂缝像素的数量，FP表示被误检测为裂缝像素的数量，FN表示本应该属于裂缝区域的像素但是没有被检测出来的像素的数量。本实施例对图11中的桥梁裂缝图像所对应的自适应阈值Canny检测算法、迭代阈值分割算法、裂缝森林算法以及本实施例所提出的桥梁裂缝检测方法进行量化分析如

表2所示，可以发现迭代阈值分割算法虽然运行时间最短，但是它的裂缝精确度指数和裂缝召回率指数最低，自适应阈值Canny检测算法的运行时间虽然和本实施例算法相近，但是裂缝精确度指数和裂缝召回率指数较本实施例算法太低；裂缝森林算法虽然裂缝精确度指数和裂缝召回率指数都在90％以上，但是运行时间是本实施例算法的近30倍，而本实施例算法的裂缝精确度指数和裂缝召回率指数高达98％以上，而且运行时间短。

为了对本实施例提出的桥梁裂缝定位方法进行更深入的评价与分析，本实施例引入了桥梁裂缝定位准确度指数S，用于对裂缝定位的效果进行量化和分析。其中，S表明了裂缝真实的外接矩形和使用裂缝定位算法定位出来的外接矩形的偏差度；若两个外接矩形所定位的裂缝位置完全重合，则S为0；反之则S越大，说明裂缝定位算法定位出来的裂缝位置越不准确。桥梁裂缝定位准确度指数S的具体公式如式(9)所示，其中(x,y)和(x',y')为用裂缝定位算法定位出来的裂缝外接矩形的左上角点坐标和右下角点坐标，(r,c)和(r',c')为在原桥梁裂缝图像上手动标记出来的桥梁裂缝实际外接矩形的左上角点坐标和右下角点坐标。裂缝检测算法在定位准确度S一定的条件下，定位出来的裂缝位置在准确度范围内的准确率如表3所示。

表3桥梁裂缝定位准确度的量化分析

通过上面的量化实验可知，若设定定位算法定位出来的裂缝外接矩形与真实裂缝外接矩形的准确度S的容忍越大，则算法的定位合格率递增。但是，观察整个量化实验的数据可知，基于本实施例提出的桥梁裂缝检测定位算法最终裂缝定位的合格率最高，并且算法运行时间短。基于本实施例实现的桥梁裂缝检测方法之所以会取得比较好的裂缝检测效果，在于本实施例提出的方法每一步处理过程都是在去除噪声的干扰，增大裂缝与背景的像素值差别，最后完成去除背景，重新生成背景为黑色的裂缝图像，且90％以上的噪声得到了消除，所以本实施例所提出的桥梁裂缝检测方法法具有很大的实用性和优越性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于图像重生成的桥梁裂缝检测方法，其特征在于，包括以下步骤：

步骤一：图像运算：通过使用不同像素值的等大纯色图像与原始桥梁裂缝图像进行图像相减运算来确定最终所要采用的背景图像；

步骤二：图像增强：采用基于伽马变换的变换公式进行图像增强；

步骤三：图像重生成：根据桥梁裂缝图像的直方图进行图像重生成，将像素值分界线设为定值，根据固定的阈值去除图像原本的背景，保留裂缝，并将重新生成的裂缝图像背景色置为单一色，最终得到背景为单一色的桥梁裂缝图像；

步骤四：裂缝提取和定位。

2.根据权利要求1所述的桥梁裂缝检测方法，其特征在于，所述伽马变换的图像增强的基本形式：s＝cr^γ，其中c和γ为正常数，伽马变换的变换公式对原图像上每一个像素值做乘积运算，即令常数c＝1，通过不同的γ值，增强低灰度或高灰度部分细节。

3.根据权利要求1所述的桥梁裂缝检测方法，其特征在于，所述步骤四中裂缝的提取具体方法为：

通过计算机视觉库OpenCV中的轮廓寻找函数findContours()在图像重生成的桥梁裂缝图像上寻找所有裂缝的轮廓，并结合绘制轮廓函数drawContours()将找到的所有裂缝轮廓绘制出，在寻找轮廓前进行模糊去噪，并结合使用迭代器去除噪声轮廓，在绘制轮廓时通过计算轮廓的质心坐标进行漫水填充，得到裂缝的最终提取结果。

4.根据权利要求1所述的桥梁裂缝检测方法，其特征在于，所述步骤四中裂缝的定位具体方法为：

调用轮廓寻找函数findContours()寻找重生成的桥梁裂缝图像中所有裂缝的轮廓，并在相应的原始桥梁裂缝图像上绘制矩形框标记裂缝位置，并且输出矩形框的左上角和右下角的坐标点，完成裂缝的定位。