CN110084302B - 一种基于遥感图像的裂缝检测方法 - Google Patents

Abstract

本发明公开了一种基于遥感图像的裂缝检测方法；该方法首先对高分辨率无人机航拍图像进行灰度处理，然后对灰度图像使用黑帽算法进行特征突出，接着将黑帽运算结果阈值化并对二值化图像先膨胀再腐蚀操作，最后通过对二值化图像的连通域提取后进行机器学习训练，从而完成裂缝检测；本发明适用于在复杂背景下无人机遥感图像的裂缝检测操作，通过大量实验证明，本发明能够快速的检测无人机航拍遥感图像裂缝信息，计算简单，能够适用于较复杂的场景。

Description

一种基于遥感图像的裂缝检测方法

【技术领域】

本发明属于图像检测领域，具体涉及一种基于遥感图像的裂缝检测方法。

【背景技术】

近年来，随着遥感技术的发展与应用，遥感技术在国家和社会的地位越来越重要，并对人们的生活和工业的生产产生重要的影响。无人机(Unmanned Aerial Vehicl,UAV)遥感作为对卫星遥感和有人驾驶飞机遥感的补充，引起国内外研究员的高度重视。无人机遥感是当前遥感检测中最为经济的一种新技术，它具有投资少、实时性强、受天气干扰小、操作简便等众多优点。无人机在检测中不受地形的限制，不要求专用起降场地，适合在建筑物密集的城市地区、地形复杂的山地、多云地区以及地震和洪水等各种场景应用。它所获得的遥感影像分辨率较高，可获得多角度影像，这点可以弥补普通航空影像获取城市建筑物时遇到的高层建筑遮挡问题和传统遥感难以拍摄到高分辨率立体影响的问题。大比例尺和高性能的遥感影像获取就成为一件比较轻松的工作，一定程度上扩大了遥感的应用范围和用户群体，因此无人机遥感技术潜力巨大，具有广阔的应用前景。

无人机用于各种地质检测中所提取的图像受到环境天气各方面的影像，故图像的背景较为复杂，想要检测到目标物体需要对图像进行进一步处理。其中无人机石油巡线中的裂缝检测为当前研究重点。

目前主要的裂缝检测方法分为两大类：人工观察法和数字图像识别法。人工观察法虽然能够较精确的检测和识别到裂缝信息，但是该方法需要大量的人力、物力和财力。在地域复杂的荒山野岭和情况危险的环境中人根本无法接近且在科技进步的今天也很少用该方法。数字图像识别法主要是基于所获取图像的灰度、纹理、颜色、形状等特征来区分图像信息的区域差异性，通过边缘Canny检测、小波变换和高斯滤波等方法来提取裂缝区域，进而完成检测。由于这些算法利用了图像的结构特性，仅适用于背景相对较为简单，复杂度低的裂缝检测中，对于石油管道图像中的裂缝检测效果并不理想。

【发明内容】

本发明的目的在于克服上述现有技术的缺点，提供一种基于遥感图像的裂缝检测方法；本发明能够快速的检测无人机航拍遥感图像裂缝信息，计算简单，能够适用于较复杂的场景。

为达到上述目的，本发明采用以下技术方案予以实现：

一种基于遥感图像的裂缝检测方法，包括以下步骤：

步骤1，将高分辨率的无人机航拍图像转换为灰度图像；

步骤2，通过圆形卷积核对灰度图像进行黑帽运算，得到黑帽运算结果的图像；

步骤3，将黑帽运算结果的图像进行自适应阈值分割，图像成为二值化图像；

步骤4，二值化图像进行膨胀后再腐蚀，得到膨胀、腐蚀后的二值化图像；

步骤5，通过Hough直线检测和面积排序获取膨胀、腐蚀后的二值化图像的连通域信息，得到裂缝分割图像；

步骤6，针对裂缝分割图像，通过CrackNet网络进行数据分类，提取后得到目标裂缝。

本发明的进一步改进在于：

优选的，步骤2中，黑帽运算的公式为：

DST＝close(Gray,element)-Gray (2)

其中，close(Gray,element)＝erode(dilate(src,element))为闭运算操作，element为选取的圆形结构核，DST为黑帽运算后得到的图像，Gray为灰度图像。

优选的，步骤3中，自适应阈值分割的过程包括以下步骤：

(1)通过公式(3)计算软阈值T；

T＝max(DST(:))*k (3)

式中，DST(:)为灰度图像的全部像素值，k为每幅灰度图像像素最大值，

范围为38％～43％；

(2)通过公式(4)对灰度图像二值化操作；

其中，DST(x,y)为灰度图像的像素值；BW为得到的二值化图像。

优选的，步骤4中，二值化图像膨胀后再腐蚀过程的公式为：

其中，X为膨胀结果，Y为腐蚀结果，B(x)，B(y)代表结构元素，BW为二值化图像，为膨胀后再腐蚀的工作空间；B为结构元素。

优选的，步骤5中，获取连通域信息，得到裂缝分割图像的过程为对二值化图像进行八连通域处理，计算公式为：

N8(p)＝N4∪(c+1,d+1),(c+1,d-1),(c-1,d+1),(c-1,d-1) (7)

其中，p为像素值，N8表示八连通域，N4为四连通域，其计算公式如下式(8)所示：

N4＝(c,d-1),(c,d+1),(c-1,d),(c+1,d) (8)

式中，c，d分别为直角坐标系中对应的横坐标和纵坐标。

优选的，步骤6中，CrackNet网络模型基于CNN网络模型；CrackNet网络模型的数据分类包括以下步骤：图像依次经过输入层、卷积层C1、池化层S2、卷积层C3、下采样层S4、卷积层C5、上采样层和softmax-loss分类层处理，分类后，裂缝类别概率大于0.5的为裂缝。

优选的，卷积层C1中，卷积核的大小设置为3*3，步长为1，初始化滤波类型为高斯；池化层S2中，池化的步长为2。

优选的，卷积层C3中卷积核的大小为3*3，步长为1；下采样层S4包括11个特征图。

优选的，卷积层C5中卷积核的大小为1*1，步长为1；通过对卷积层C5的特征图进行双线性差值处理，得到上采样层。

优选的，softmax-loss分类层处理过程为：输出上卷积层中每一个像素属于裂缝的概率值，取概率最大的作为该像素的类别。

与现有技术相比，本发明具有以下有益效果：

本发明公开了一种基于遥感图像的裂缝检测方法；该方法将高分辨率无人机遥感图像进行灰度处理，减少数据通道，加快后续处理。选取大小合适的结构元素对灰度图像进行黑帽运算，这一步将凸显了比原始图像结构原轮廓周围更暗的区域，减少了需检测范围。接着利用软阈值分割的方法将黑帽图像二值化，并对二值化图像进行先膨胀再腐蚀操作，这一步将去掉大量的周边信息，留下疑似裂缝信息的区域。最后检测连通域并按照面积大小排序，用最小外接矩形将连通域分割出来，得到疑似裂缝的目标图像，以备在CNN框架下训练分类。这一步解决了在复杂背景下裂缝信息难以提取的问题，并且获得了疑似裂缝的大量样本，经过人工标注和卷积神经网络训练后能够较准确的得到目标裂缝。本发明适用于在复杂背景下无人机遥感图像的裂缝检测操作，通过大量实验证明，本发明能够快速的检测无人机航拍遥感图像裂缝信息，计算简单，能够适用于较复杂的场景。

进一步的，步骤2中对灰度图像做黑帽运算，选取半径为7的圆形元素结构。相比传统的边缘检测算法能更好的突显裂缝信息，提升后续处理的效果。

进一步的，步骤3中对黑帽运算图像进行阈值分割。在计算阈值时，采用图像统计特性进行自适应确认，可以使得到的阈值适用于各种图像，符合不同灰度特性，具有更高的适应性。

进一步的，步骤4中对得到的阈值化二值化图像进行先膨胀后腐蚀操作。在膨胀腐蚀中使用半径为5的圆形元素结构，能够使二值化图像的边缘更平滑，骨干信息更清晰，基本凸显了裂缝信息。

进一步的，步骤5中连通域信息提取。选取八连通域来获得图像的裂缝信息，将能够构成此连通域的用最小外接矩形分割出来，进行下一步操作。

进一步的，步骤6中对得到大量疑似裂缝信息进行训练分类。利用CNN和自定义CrackNet网络将样本分类训练，得到正的样本，能够更加准确的得到裂缝信息。

进一步的，卷积层C1中，使用3*3的小卷积核，可以得到更加抽象的特征，提取的特征表达性能更佳；池化的步长设置为2，能够加快运算速度。

【附图说明】

图1是本发明的一种基于遥感图像裂缝检测算法的流程图；

图2是无人机航拍遥感图像；

图3是遥感灰度图像；

图4是黑帽运算结果图；

图5是膨胀腐蚀运算示意图；

其中，(a)图为膨胀的运算示意图；(b)图为腐蚀的运算示意图；

(c)图为二值化图像中膨胀的示例图；(d)为二值化图像中腐蚀的示例图；

图6是二值化图像；

图7是膨胀腐蚀后的图像；

图8是检测连通域标记部分疑似裂缝的图像；

图9为本发明将得到的疑似裂缝图像进行机器学习训练得到的目标图像；

其中，(a)目标裂缝图像1；(b)目标裂缝图像2。

【具体实施方式】

下面结合附图和具体过程对本发明做进一步详细描述，本发明公开了一种基于遥感图像的裂缝检测方法，参见图1，为本发明的流程图，该方法具体包括以下步骤：

步骤1，灰度处理

为了提高本发明的运算效率和方便发明中的形态学操作，故将高分辨率无人机航拍图像进行灰度转换，降低数据量，无人机航拍图像为遥感图像。对于分辨率为7360*4912*3的无人机航拍图像(图2)采用著名的心理学公式将其为灰度图像(图3)。

在计算机视觉和计算机图形中，下述方程所描述的彩色图像转灰度图像被广泛使用：

Gray＝0.2989R+0.5870G+0.1140B (1)

其中，Gray为得到的灰度图像，R、G、B为原始彩色图像红、绿、蓝三个通道的各自分量。由于无人机采集到的石油管线图像分辨率大，直接对彩色图像处理时数据太多影响处理速度，故将彩色图像转换为灰度图像，方便后续的运算和形态学操作。

步骤二：黑帽运算

选取半径大小为7*7的圆形卷积核，对灰度图像进行黑帽运算，将会分离出在该结构内比邻近点暗一些的像素块，遍历整幅图像，得到最终的黑帽运算结果图像(图4)。该操作等同于将‘闭运算’的结果图与原始图像之差，表达式为：

DST＝close(Gray,element)-Gray (2)

其中，close(Gray,element)＝erode(dilate(src,element))，为‘闭运算’操作，element为选取的圆形结构核，DST为黑帽运算后得到的图像，Gray为灰度图像。

图像进行闭运算步骤如下：

闭运算为将图像先进行膨胀后再腐蚀的运算过程，如图5所示(a)、(b)分别表示了膨胀、腐蚀的运算示意图。其中X是被处理的对象，B是结构元素，如图5(a)所示对于任意一个在阴影部分的点a，Ba击中X，所以X被B膨胀的结果就是那个阴影部分。阴影部分包括X的所有范围，类似于X膨胀了一圈，因此称为膨胀。而图5(b)可以看出对于任意一个在阴影部分的点a，Ba包含于X，所以X被B腐蚀的结果就是那个阴影部分。阴影部分在X的范围之内，且比X小，类似X被剥掉了一层，因此称为腐蚀。图5(c)、(d)中为在二值化图像中膨胀、腐蚀实例图，可以看到B对X膨胀腐蚀的结果。

步骤3：阈值分割

常规的阈值分割算法对背景和目标相近的图像分割效果差，故提出一种基于图像特性的软阈值分割方法。

将黑帽运算得到的图像进行自适应阈值分割，使其变为有效的二值化图像。通过对数千张不同复杂度、不同背景的图像进行实验，通过实验结果进行分析可得阈值的选取，在每幅灰度图像像素最大值k的38％～43％左右分割效果较好。本文取40％得到阈值T为：

T＝max(DST(:))*k (3)

其中，DST(：)为灰度图像的全部像素值。

得到软阈值后，对图像二值化操作为：

其中DST(x,y)为灰度图像的像素值，k为每幅灰度图像像素最大值，范围为38％～43％；BW为得到的二值化图像(图6)。可以看出图6保留了大部分裂缝信息，去掉了大量冗余信息，使待处理的裂缝区域更为突出。

步骤4：二值化图像进行膨胀后再腐蚀

膨胀与腐蚀是形态学操作中基本的也是最经典的算法，采用结构元素与二值化图像交、并等集合运算。在形态学中，结构元素是最重要最基本的概念。结构元素在形态变换中的作用相当于信号处理中的“滤波窗口”。用B(x)、B(y)均代表结构元素，对工作空间BW中的每一点x，膨胀和腐蚀的定义为：

其中B(x)、B(y)均代表结构元素，BW为二值化图像，也称为工作空间，X为膨胀的结果，Y为腐蚀的结果；B为步骤2中的结构元素。

对二值化图像进行膨胀腐蚀操作能够填充物体内细小空洞、连接邻近物体、平滑边界的同时并不明显改变其面积。选取卷积核为半径大小为5*5的圆形结构，5*5的结构元对应上面的步骤2中的结构元素B，结果图如图7所示。

步骤5：连通域提取，获得疑似目标裂缝

因为裂缝信息是具有长度、宽度和方向性的图像，故在所得的二值化图像中利用Hough直线检测和面积排序的方法获取二值化图像中的连通域信息。Hough变换是图像处理中从图像识别几何形状的方法。

Hough变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转换为统计峰值问题。一条直线在直角坐标系下可以用d＝kc+b表示，霍夫变换将用c，d作为已知量，k，b作为变量坐标。所以直角坐标系下的直线d＝kc+b在参数空间表示为点(k,b)，而一个点(c₁,d₁)在直角坐标系下表示为一条直线d₁＝kc₁+b，其中(k,b)是该直线上的任意点。为了计算方便，我们将参数空间的坐标表示为极坐标下的γ和θ。

根据裂缝各向异特征，对二值化图像进行八连通域处理，所谓八连通区域，是指对应位置的上、下、左、右、左上、右上、左下、右下，是紧邻的位置和斜向相邻的位置。计算公式为：

N8(p)＝N4∪(c+1,d+1),(c+1,d-1),(c-1,d+1),(c-1,d-1) (7)

其中N8表示八连通域，N4＝(c,d-1),(c,d+1),(c-1,d),(c+1,d)为四连通域，p为像素值。

根据连通域定义将属于同一个区域的像素点统一标记(图8)，并计算区域面积大小。按照面积大小和直线特性将其倒叙排列，并将获得每个连通域用最小外接矩形分割出来，得到疑似裂缝分割图像。

步骤六：设计机器学习模型训练数据，得到目标裂缝

自从深度学习提出之后，图像分割与检测也进入了深度学习的时代，使得图像检测的精度有了很大提升。在此基础上利用CNN框架和自定义CrackNet网络进行数据分类提取，CrackNet网络基于CNN框架。经过此步骤后，得到比较准确的训练结果，从中得到需要检索的目标裂缝。

CrackNet网络模型包括如下：

第一层：输入层(Input)。把经过统一处理(如大小统一)的二维图像放进输入层。

第二层：卷积层C1。对输入层的数据进行卷积处理，其结果组成卷积层C1。卷积核的大小设置为3*3，步长为1，初始化滤波类型为‘高斯’。使用3*3的小卷积核，可以得到更加抽象的特征，提取的特征表达性能更佳。卷积操作后特征图尺寸计算公式如下：

式中，insize表示输入尺寸，outsize表示特征图尺寸，padding表示边缘扩充的像素值，filtersize表示卷积核的大小，stride表示卷积步长。C1中步长与边缘填充的取值使得卷积之后的图像尺寸保持不变，依靠下采样层逐渐增大感受野区域。批处理(BN)层可以加快收敛速度，在一定程度上抑制过拟合。

第三层：Plolling层(S2)，也叫池化层，

对卷积层C1进行池化处理，形成池化层C2，该层为减少运算量和数据维度所设置。经过前两层，图像的尺寸降为原来的1/4，为加快速度，将池化的步长stride设置为2。池化层S2的总计算公式如下：

其中，down()表示下采样函数，β称为下采样的乘子偏差，b称为对应的附加偏差；其中x为输出，l为第几层，j为该层的第几个输入特征。

第四层：卷积层C3，

将池化层S2进行卷积处理，卷积核的大小为3*3，步长为1，边缘扩充一个像素，由11个特征图构成，紧接着是批处理(BN)层和ReLu激活层，激活层选常用的Relu函数，因为其收敛更快，并且能保持同样的效果，其参数negative_slope设置为0，通过上述步骤得到卷积层C3。

第五层：下采样层S4

将特征图中的每个单元与卷积层C3中相对应特征图的2*2邻域相连接，由11个特征图构成。经过前四层，图像的尺寸降为原来的1/16，形成下采样层S4；下采样层S4，由16个5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接相同。

第六层：卷积层C5

对下采样层S4进行卷积处理，形成卷积层C5；其中卷积核的大小为1*1，步长为1，不进行边缘扩充，由2个特征图构成。在普通的卷积神经网络中，该层起到与全连接层一样的作用，用来区分裂缝或者背景；C5卷积层，有120个特征图(或者说神经元)。每个单元与S4层的全部16个单元的5*5邻域(与S4层特征图一样大)相连。(120组滤波器，每组16个滤波器，分别与S4层16个特征图进行卷积，每组得到C5层的一个神经元/特征图)。

第七层：上采样层

对卷积层C5进行上采样处理，具体为将C5的特征图进行双线性插值，上采样16倍。

第八层：softmax-loss分类层

对卷积层C5进行softmax-loss分类处理，具体为输出上卷积层中每一个像素属于裂缝的概率值，并进行分类，裂缝类别概率大于0.5则被判定为裂缝；在图8的基础上，被判定为裂缝后的目标放大图如图9中的(a)图和(b)图所示，可以看出能够清晰而准确的检测出裂缝。

对经过形态学操作后的无人机航拍图像进行训练得到裂缝分割模型和目标裂缝信息，确定遥感图像裂缝信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于遥感图像的裂缝检测方法，其特征在于，包括以下步骤：

步骤1，将高分辨率的无人机航拍图像转换为灰度图像；

步骤2，通过圆形卷积核对灰度图像进行黑帽运算，得到黑帽运算结果的图像；

步骤3，将黑帽运算结果的图像进行自适应阈值分割，图像成为二值化图像；

步骤3中，自适应阈值分割的过程包括以下步骤：

(1)通过公式(3)计算软阈值T；

T＝max(DST(:))*k (3)

式中，DST(:)为灰度图像的全部像素值，k为每幅灰度图像像素最大值，范围为38％～43％；

(2)通过公式(4)对灰度图像二值化操作；

其中，DST(x,y)为灰度图像的像素值；BW为得到的二值化图像；

步骤4，二值化图像进行膨胀后再腐蚀，得到膨胀、腐蚀后的二值化图像；

步骤5，通过Hough直线检测和面积排序获取膨胀、腐蚀后的二值化图像的连通域信息，得到裂缝分割图像；

步骤6，针对裂缝分割图像，通过CrackNet网络进行数据分类，提取后得到目标裂缝。

2.根据权利要求1所述的一种基于遥感图像的裂缝检测方法，其特征在于，步骤2中，黑帽运算的公式为：

DST＝close(Gray,element)-Gray (2)

其中，close(Gray,element)＝erode(dilate(src,element))为闭运算操作，element为选取的圆形结构核，DST为黑帽运算后得到的图像，Gray为灰度图像。

3.根据权利要求1所述的一种基于遥感图像的裂缝检测方法，其特征在于，步骤4中，二值化图像膨胀后再腐蚀过程的公式为：

其中，X为膨胀结果，Y为腐蚀结果，B(x)，B(y)代表结构元素，BW为二值化图像，为膨胀后再腐蚀的工作空间；B为结构元素。

4.根据权利要求1所述的一种基于遥感图像的裂缝检测方法，其特征在于，步骤5中，获取连通域信息，得到裂缝分割图像的过程为对二值化图像进行八连通域处理，计算公式为：

N8(p)＝N4∪(c+1,d+1),(c+1,d-1),(c-1,d+1),(c-1,d-1) (7)

其中，p为像素值，N8表示八连通域，N4为四连通域，其计算公式如下式(8)所示：

N4＝(c,d-1),(c,d+1),(c-1,d),(c+1,d) (8)

式中，c，d分别为直角坐标系中对应的横坐标和纵坐标。

5.根据权利要求1-4任意一项所述的基于遥感图像的裂缝检测方法，其特征在于，步骤6中，CrackNet网络模型基于CNN网络模型；CrackNet网络模型的数据分类包括以下步骤：图像依次经过输入层、卷积层C1、池化层S2、卷积层C3、下采样层S4、卷积层C5、上采样层和softmax-loss分类层处理；数据分类后，将裂缝类别概率大于0.5的为裂缝。

6.根据权利要求5所述的一种基于遥感图像的裂缝检测方法，其特征在于，卷积层C1中，卷积核的大小设置为3*3，步长为1，初始化滤波类型为高斯；池化层S2中，池化的步长为2。

7.根据权利要求5所述的一种基于遥感图像的裂缝检测方法，其特征在于，卷积层C3中卷积核的大小为3*3，步长为1；下采样层S4包括11个特征图。

8.根据权利要求5所述的一种基于遥感图像的裂缝检测方法，其特征在于，卷积层C5中卷积核的大小为1*1，步长为1；通过对卷积层C5的特征图进行双线性差值处理，得到上采样层。

9.根据权利要求1所述的一种基于遥感图像的裂缝检测方法，其特征在于，softmax-loss分类层处理过程为：输出上卷积层中每一个像素属于裂缝的概率值，取概率最大的作为该像素的类别。

Images