CN110689538B - 隧道衬砌裂缝图像检测方法 - Google Patents

Abstract

本发明属于基于深度学习的目标检测领域，具体技术方案为：隧道衬砌裂缝图像检测方法，具体步骤如下：将高分辨率隧道衬砌裂缝图像作为输入数据，在原始图像上做滑动窗口，依次记录滑窗的编号N_i,j得到26*24矩阵大小，滑窗经Faster R‑CNN网络检测得到裂缝置信度最高的候选框区域；对候选框中裂缝进行判断真伪，将存在裂缝的每个滑窗(N_i,j)分为9个区域，对该滑窗图像中的裂缝取中心点，用于确定属于哪个区域；将确定是真伪裂缝的滑窗图像转化成0‑1矩阵的图像信息，转化为二值图像，利用连通区域删除小面积算法，阈值设置为4，深度去除伪裂缝，确定精确的裂缝候选框，有更好的鲁棒性，降低了错检率和漏检率。

Description

隧道衬砌裂缝图像检测方法

技术领域

本发明属于基于深度学习的目标检测领域，具体涉及一种应用于隧道衬砌裂缝图像的检测方法。

背景技术

计算机视觉领域中深度学习已经得到了很好的发展与应用，并且在目标检测与定位研究领域上取得了很大的成就。近年来，随着对深度学习目标检测领域的研究，在隧道衬砌裂缝的检测上得到了很好的应用，也达到了不错的效果，为隧道的检修带来了方便。

构建候选框来提取目标是目标检测任务中最重要的一步，生成候选框的数量和定位框的准确性对整个目标检测框架在识别速度和精确度上都有很大影响。因此，针对隧道衬砌裂缝图像分辨率和裂缝的特征设计出一种更准确识别出裂缝的方法，将减小了模型的误检率和错检率。

Ross Girshick等人在2013年发表“Rich feature hierarchies for accurateobject detection and semantic segmentation”中应用Selective Search方法生成建议框，此方法将建议框统一拉伸到相同大小才输入网络，导致建议框中特征变形，破坏了目标中原有的特征信息。之后Kaiming He等人在2015年发表“Towards Real-Time ObjectDetection with Region Proposal Networks”文中利用RPN网络生成建议窗口，此方法对于超高分辨率裂缝衬砌图像识别精度较低，计算量大，对图像中小目标不敏感。本发明是基于Faster R-CNN网络框架上做的改进，以适应于隧道衬砌裂缝图像并提高精度。

发明内容

本发明解决了在超高分辨率隧道衬砌裂缝图像中微小裂缝检测不足和一些伪裂缝干扰的技术问题，本发明提出了一种对候选框的选择方法，此方法可以消除伪裂缝的干扰，并且加强了对微小裂缝的判断。

为实现上述目的，本发明所采用的技术方案为：隧道衬砌裂缝图像检测方法，具体步骤如下：

步骤一、将高分辨率隧道衬砌裂缝图像(7448*3000)作为输入数据，在进入网络之前做预处理，在原始图像上做大小为500*500的滑动窗口，向右平移步长为x像素，向下平移步长为y像素，依次记录滑窗的编号N_i，j得到26*24矩阵大小，滑窗经Faster R-CNN网络检测得到裂缝置信度最高的候选框区域；

其中，i＝1，2，……，26；j＝1，2，……，24；

步骤二、对候选框中裂缝进行判断真伪，将存在裂缝的每个滑窗(N_i，j)分为9个区域，对该滑窗图像中的裂缝取中心点(x₀，y₀)，用于确定属于哪个区域，具体各个位置的判别方法如下：

1)、对裂缝中心点处于滑窗区域左上角位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

2)、对裂缝中心点处于滑窗区域上中位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η&&η₂＞η&&η₃＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

3)、对裂缝中心点处于滑窗区域右上角位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

4)、对裂缝中心点处于滑窗区域右侧位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

5)、对裂缝中心点处于滑窗区域右下角位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

6)、对裂缝中心点处于滑窗区域下中位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η&&η₂＞η&&η₃＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

7)、对裂缝中心点处于滑窗区域左下角位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

8)、对裂缝中心点处于滑窗区域左侧位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

9)、裂缝中心点处于滑窗区域中间位置的真伪无需判断；

判别真伪裂缝重叠面积的阙值η具体表达如下：

其中，S₁为以(x₀，y₀)为中心的预判定N_i，j图像裂缝面积，S₂为与N_i，j图形裂缝面积进行计算重叠的N_i′，j，图像裂缝面积，i′，j′为N_i′，j，图像的位置信息，i′取值为i±1，j′取值为j±1；重叠面积阈值选取η＝0.5；

步骤三、将步骤二中确定是真裂缝的滑窗图像标记为1，确定是伪裂缝和无裂缝的图像标记为0，生成一个0-1矩阵的图像信息，转化为二值图像，利用连通区域删除小面积算法，阈值设置为4，深度去除伪裂缝，确定精确的裂缝候选框。

本发明的候选框二次判断与直接利用Faster R-CNN网络选择出的候选框相比，不会因为对图像的缩放造成裂缝信息的丢失，有效的保留了裂缝的特征轮廓，二次判断候选框消除了伪裂缝的干扰，对微小裂缝检测充分，有更好的鲁棒性，降低了错检率和漏检率。

附图说明

图1为本发明初次识别出的Faster R-CNN网络候选区域。

图2为滑窗对应的图像N_i,j分出9个区域图。

图3为图像N_i,j中9个区域对应于待检图像中的位置。

图4为Faster R-CNN网络框架中生成候选框的方法。

图5为真伪裂缝重叠面积的计算过程。

图6为连通域算法去除伪裂缝的前后对比图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了更好地展示本发明的技术内容和具体检测方法，以下结合附图1-6来详细说明，并对原始选择候选建议框的方法进行描述。

在用Faster R-CNN网络检测时，首先使用VGG16的基础13层CNN网络对输入图像提取特征得到特征映射(feature map)，然后采用了RPN网络进行候选框的构建，在特征映射上做3种尺度(128*128、256*256、512*512)和3种长宽比(1:1、1:2、2:1)共9种大小的滑动窗口(如图4所示，简称锚)，并最终经过非极大值抑制法(Non-Maximum Suppression，NMS)得到最终的候选建议框。

以上的方法对超高分辨率衬砌裂缝图像(7448*3000大小)来说，在进入网络之前将图片按比例缩放为1000*600大小，裂缝发生形变，严重丢失特征信息，并且裂缝的大小也会随着缩放比例而明显变小，导致生成9种的滑动窗口过大，对裂缝的检测不充分，造成一定的漏检和误检。实验使用的图像过大，对网络的学习有很大的负担。

针对图像在进入网络之前缩放而造成特征信息丢失的现象，再结合裂缝局部与整体特征相似的特点，将对图像进网络之前进行预处理来减小裂缝过分变形造成的误差。新方法中依然使用VGG16网络进行学习，使用Faster R-CNN网络框架进行检测，再对初次识别出的候选框中判断真伪，具体实现方法步骤如下：

步骤一、将高分辨率隧道衬砌裂缝图像(7448*3000)作为输入数据，在进入网络之前做预处理，在原始图像上做大小为500*500的滑动窗口，向右平移步长为x像素，向下平移步长为y像素(实验时x＝100，y＝300)，依次记录滑窗的编号(N_i，j)得到26*24矩阵大小，滑窗经FasterR-CNN网络检测得到裂缝置信度最高的候选框区域；

步骤二、对候选框中裂缝进行判断真伪，将存在裂缝的每个滑窗(N_i，j)分为9个区域，对该滑窗图像中的裂缝取中心点(x₀，y₀)，用于确定属于哪个区域，具体各个位置的判别方法如下：

如果裂缝中心点处于1区域(左上角区域)，计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像上以(x0，y0)为中心的裂缝是个真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于2区域(上中区域)，计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η&&η₂＞η&&η₃＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于3区域(右上角区域)，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于4区域(右侧区域)，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，且η₁＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于5区域(右下角区域)，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于6区域(下中区域)，计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η&&η₂＞η&&η₃＞_η，可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于7区域(左下角区域)，计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η&&η₂＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于8区域(左侧区域)，计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，则可判定N_i，j图像是真裂缝，反之则判断其为伪裂缝；

如果裂缝中心点处于9区域(中间区域)，这个区域无需判断，大部分都在这个区域，与其他图像无冲突，判断该N_i，j图像中的以(x0，y0)为中心的裂缝是个真裂缝。

判别真伪裂缝重叠面积的阈值η：

其中S₁为以(x₀，y₀)为中心的预判定N_i，j图像裂缝面积，S₂为与N_i，j图形裂缝面积进行计算重叠的N_i′，j，图像裂缝面积，i′，j′为N_i′，j，图像的位置信息，i′取值为i±1，j′取值为j±1；重叠面积阈值选取η＝0.5。

步骤三、将步骤2中确定是真裂缝的滑窗图像标记为1，确定是伪裂缝和无裂缝的图像标记为0，生成一个0-1矩阵的图像信息，转化为二值图像，利用连通区域删除小面积算法，阈值设置为4，深度去除伪裂缝，得到更准确的裂缝候选框。

实验一是对改进的Faster R-CNN网络框架和原始的框架检测裂缝对比分析，表1呈现出模型的漏检率和错检率的比较结果。

表1改进前后的结果对比

由实验可知，经改进的模型进行实验，对裂缝的错检和漏检都有明显的降低。从实验后的真实效果，本发明不止检测出衬砌裂缝图像中明显易辨的裂缝，而且微小裂缝也能得到充分的检测。

实验二将步骤三用不同阈值进行对比分析，采用连通区域的算法来删除小面积对象，达到对伪裂缝消除的目的。

表2不同连通域裂缝识别的结果对比

表2为在去除小面积区域时选用不同的阈值对裂缝识别模型漏检率的对比情况。由实验可知，随着删除连通域面积的增大，裂缝检测的漏检率也随着增高，当连通域阈值选择4时，漏检率为最低的1.02％。实验表明随着阈值的增大，会对图像中裂缝的部分信息造成丢失，从而出现更多的漏检。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (1)

1.隧道衬砌裂缝图像检测方法，其特征在于，具体步骤如下：

步骤一、将分辨率7448*3000隧道衬砌裂缝图像作为输入数据，在进入网络之前做预处理，在原始图像上做大小为500*500的滑动窗口，向右平移步长为x像素，向下平移步长为y像素，依次记录滑窗的编号N_i，j得到26*24矩阵大小，滑窗经Faster R-CNN网络检测得到裂缝置信度最高的候选框区域；

其中，i＝1，2，……，26；j＝1，2，……，24；

步骤二、对候选框中裂缝进行判断真伪，将存在裂缝的每个滑窗(N_i，j)分为9个区域，对该滑窗图像中的裂缝取中心点(x₀，y₀)，用于确定属于哪个区域，具体各个位置的判别方法如下：

1)、对裂缝中心点处于滑窗区域左上角位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η且η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

2)、对裂缝中心点处于滑窗区域上中位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η且η₂＞η且η₃＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

3)、对裂缝中心点处于滑窗区域右上角位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i-1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η且η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

4)、对裂缝中心点处于滑窗区域右侧位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

5)、对裂缝中心点处于滑窗区域右下角位置的真伪判断：计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η且η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

6)、对裂缝中心点处于滑窗区域下中位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i，j+1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₃，η₁＞η且η₂＞η且η₃＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

7)、对裂缝中心点处于滑窗区域左下角位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，计算N_i+1，j图像中检测到的裂缝与N_i，j图像裂缝重叠为η₂，η₁＞η且η₂＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

8)、对裂缝中心点处于滑窗区域左侧位置的真伪判断：计算N_i，j-1图像中检测到的裂缝与N_i，j图像裂缝重叠为η₁，η₁＞η，则可判定N_i，j图像上以(x₀，y₀)为中心的裂缝是个真裂缝，反之则判断为伪裂缝；

9)、裂缝中心点处于滑窗区域中间位置的真伪无需判断；

判别真伪裂缝重叠面积的阙值η具体表达如下：

其中，S₁为以(x₀，y₀)为中心的预判定N_i，j图像裂缝面积，S₂为与N_i，j图形裂缝面积进行计算重叠的N_i′，j′图像裂缝面积，i′，j′为N_i′，j′图像的位置信息，i′取值为i±1，j′取值为j±1；重叠面积阈值选取η＝0.5；

步骤三、将步骤二中确定是真裂缝的滑窗图像标记为1，确定是伪裂缝和无裂缝的图像标记为0，生成一个0-1矩阵的图像信息，转化为二值图像，利用连通区域删除小面积算法，阈值设置为4，深度去除伪裂缝，确定精确的裂缝候选框。

Images