CN110348342B - 一种基于全卷积网络的管道病害图像分割方法 - Google Patents

Abstract

一种基于全卷积网络的管道病害图像分割方法，该方法具体包括以下步骤：第一步：收集拍摄管道病害图片；第二步：对所有拍摄到的管道病害图片画出病害区域的最小外接矩形框，确定每一个最小外接矩形框中的病害类型；第三步：确定出病害区域的像素位置；第四步：以所述的管道病害图片作为输入，以所述病害类型作为分类标签，以所述的最小外接矩形框作为位置标签，以所述病害区域的像素位置作为分割结果Mask的标签，训练检测网络结构；使用全卷积神经网络，不仅能够检测出病害区域的最小外接矩形框，还能够将病害区域分割出来；使用全卷积神经网络，准确地将病害区域完全框住并完全分割，提高检测准确度；不依赖病害区域相对于正常区域的明显程度。

Description

一种基于全卷积网络的管道病害图像分割方法

技术领域

本发明涉及计算机数字图像处理和基于全卷积神经网络的深度学习算法领域，尤其涉及一种基于全卷积网络的管道病害图像分割法。

背景技术

目前采用管道潜望镜或管道爬行机器人获取管道内窥检测视频，再令技术人员对视频进行观测，从而发现管道运营过程中出现的病害，是常用的排水管道维护手段。这种方式安全性高，普适性强，更进一步地利用数字图像处理技术可以将视频帧中存在病害的图像帧自动筛选出来，然而在人工检测方法中会存在以下问题：

(1)要求技术人员需要一定的工作经验和技术积累，才能比较准确的判定管道病害及其出现的位置；

(2)另外在人工检测过程中，即使是有经验的技术人员，一旦出现疲劳或其他客观因素，例如周边环境干扰等也会出现误判的情况；

(3)如果管道内窥图像拍摄不清晰，病害部位和正常部位的颜色、纹理相近时，也会给人工检测带来困难。

而且管道病害类型繁多，各类病害发生的性状迥异，工作人员难以判定病害的严重程度，无论是对人员工作效率还是判定质量都造成了一定影响。

现有技术中，已经可以实现自动地从管道内窥检测视频中提取存在某一类病害的图像帧供专业人员分析，但是提取出来的结果仅仅是这张图片上存在某一种病害，至于这种病害出现在哪则需要人工观察，但是破裂部位与管壁纹理较为相似，难以区分。

尤其在数字图像处理应用技术中，可以采用传统的阈值分割算法或区域生长算法对图像中的某一特定区域进行检测分割，传统的方法依赖于病害区域的外观特征与纹理特征，例如树根病害，入侵的树根颜色(木制色)与水泥管道(灰色)不同，因此可以凭借颜色进行区分；破裂病害，裂痕处的颜色可能比其他部位的颜色更黑，亦可区分，如果使用传统方法，需要对某种病害特点非常熟悉，且病害区域和正常的管道区域要有明显的颜色，或纹理区别；应用局限性较大。

但是大多数管道内窥图像纹理要复杂得多，因此这种对纹理特征强依赖的传统分割方法并不常用，而且检测准确率较低。目前，采用目标识别卷积神经网络提取管道病害位置是一种新兴的方法，在2018年，由JackCP在一篇名为《Automated detection of sewerpipe defects in closed-circuit television images using deep learningtechniques》的文章中提出。该方案基于Fast-RCNN网络，针对管道病害中的树根、裂痕、渗漏、积泥四种病害类型进行检测。

该网络模型如图15所示，图中，多层卷积网络负责提取二维图像的特征，区域候选网络负责从多层卷积网络的二维特征图输出中选取几个疑似病害的区域，ROI池化层全称为RegionofInterest即感兴趣区域，池化是将病害区域进行降采样，用于提高运算速度，全连接网络是将二维特征图转换为一维的向量，然后将这个向量分别送入SoftMax分类器和矩形框位置回归器中，最终得到这一个病害区域中是什么病害，并且得到这一个病害区域的最小外接矩形框的位置。

该方案的具体实施步骤如下：

步骤①：对所有拍摄到的管道病害图片，画出病害区域的最小外接矩形框，并且确定每一个最小外接矩形框中病害的类型；

步骤②：用这些管道病害图片作为输入，类别作为分类标签，画出的矩形框作为位置回归标签训练如图15所示的Fast-RCNN网络；

步骤③：使用训练好的网络检测新拍摄到的管道病害图片。

该方案可以将病害区域自动框出，但是仅使用最小外接矩形框选处了病害部位，没有做到像传统方法那样分割处病害位置；而且外接矩形框没有把病害位置完全框住，检测准确程度较低。

发明内容

本发明使用全卷积神经网络技术，针对已经分类好的病害图像进行智能分割，自动地将病害区域在图像中的二维投影提取出来。

一种基于全卷积网络的管道病害图像分割方法，该方法具体包括以下步骤：

第一步：收集拍摄管道病害图片；

第二步：对所有拍摄到的管道病害图片画出病害区域的最小外接矩形框，确定每一个最小外接矩形框中的病害类型；

第三步：确定出病害区域的像素位置；

第四步：以所述的管道病害图片作为输入，以所述病害类型作为分类标签，以所述的最小外接矩形框作为位置标签，以所述病害区域的像素位置作为分割结果Mask的标签，训练检测网络结构；

第五步：使用训练好的检测网络结构检测新拍摄到的管道病害图片，得到管道病害区域被明显分割的效果图。

所述检测网络包括上层网络结构和下层网络结构，所述上层网络结构为上层YOLOV3网络结构，所述下层网络结构为全卷积网络结构。

所述上层YOLO V3网络结构还包括第一DBL结构、第二DBL结构和第三DBL结构，所述全卷积网络结构包括反卷积层、特殊卷积层、张量连接层和结果输出层，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层和第六反卷积层，所述特殊卷积层包括第一特殊卷积层、第二特殊卷积层和第三特殊卷积层，所述张量连接层包括第一张量连接层、第二张量连接层和第三张量连接层，所述结果输出层包括小尺度Mask输出、中尺度Mask输出和大尺度Mask输出，所述第一DBL结构对小尺度图片信息进行转换处理后输入到第一反卷积层，第一反卷积层对从第一DBL结构获得的信息进行反卷积处理后向第一张量连接层和第一特殊卷积层输出，所述第一特殊卷积层对从第一反卷积层获得的信息进行特殊卷积处理后得出小尺度Mask输出，所述第二DBL结构对中尺度图片信息进行转换处理后向第二反卷积层输入信息，所述第二反卷积层对从第二DBL结构获得的信息进行反卷积处理后向第一张量连接层和第二张量连接层输出，所述第一张量连接层对从第一反卷积层和第二反卷积层获得的信息进行张量连接后向第三反卷积层输出，所述第三反卷积层对从第二张量连接层获得的信息进行反卷积后向第二特殊卷积层和第三张量连接层输出信息，所述第二特殊卷积层处理从第三反卷积层获得的信息进行特殊卷积处理后得出中尺度Mask输出，所述第三DBL结构对大尺度图片信息进行转换处理后向第二张量连接层输出信息，所述第二张量连接层把从第三DBL结构和第二反卷积层获得信息进行张量连接后向第四反卷积层输出信息，所述第四反卷积层把从第二张量连接层获得的信息进行反卷积处理后向第三张量连接层输出信息，所述第三张量连接层把从第四反卷积层和第三反卷积层获得的信息进行张量连接处理后向第五反卷积层输出信息，所述第五反卷积层对从第三张量连接层获得的信息进行反卷积处理后向第三特殊卷积层输出，所述第三特殊卷积层把从第五反卷积层获得的信息进行特殊卷积处理后处理信息后得到大尺度Mask输出

所述的病害类型包括：洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形和入侵。

本发明所取得的有益效果是：

1、使用全卷积神经网络，不仅能够检测出病害区域的最小外接矩形框，还能够将病害区域分割出来；

2、使用全卷积神经网络，准确地将病害区域完全框住并完全分割，提高检测准确度；

3、不依赖病害区域相对于正常区域的明显程度，提高应用范围。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在不同的视图中，相同的附图标记指定对应的部分。

图1为本发明的全卷积网络结构框图；

图2为本发明的上层YOLO V3网络结构框图；

图3为本发明中反卷积算法示意图；

图4为本发明将洼水区域的二维投影区域分割出来的处理效果图；

图5为本发明将树根区域的二维投影区域分割出来的处理效果图；

图6为本发明将积泥区域的二维投影区域分割出来的处理效果图；

图7为本发明将杂物区域的二维投影区域分割出来的处理效果图；

图8为本发明将结垢区域的二维投影区域分割出来的处理效果图；

图9为本发明将封堵物体区域的二维投影区域分割出来的处理效果图；

图10为本发明将脱节显示出来的环状区域的二维投影区域分割出来的处理效果图；

图11为本发明将破裂处的裂痕区域的二维投影区域分割出来的处理效果图；

图12为本发明将错口显示出来的扇形区域的二维投影区域分割出来的处理效果图；

图13为本发明将管道变形剩余的管道横截面积的二维投影区域分割出来的处理效果图；

图14为本发明将入侵物体的二维投影区域分割出来的处理效果图；

图15为现有技术Fast-RCNN的网络模型图；

图16为现有技术中的YOLO V3网络结构框图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例一：

如图1至图2所示，一种基于全卷积网络的管道病害图像分割方法，该方法具体包括以下步骤：

第一步：收集拍摄管道病害图片；

第二步：对所有拍摄到的管道病害图片画出病害区域的最小外接矩形框，确定每一个最小外接矩形框中的病害类型；

第三步：确定出病害区域的像素位置；

第四步：以所述的管道病害图片作为输入，以所述病害类型作为分类标签，以所述的最小外接矩形框作为位置标签，以所述病害区域的像素位置作为分割结果Mask的标签，训练检测网络结构；

第五步：使用训练好的检测网络结构检测新拍摄到的管道病害图片，得到管道病害区域被明显分割的效果图。

所述检测网络包括上层网络结构和下层网络结构，所述上层网络结构为上层YOLOV3网络结构，所述下层网络结构为全卷积网络结构。

所述上层YOLO V3网络结构还包括第一DBL结构、第二DBL结构和第三DBL结构，所述全卷积网络结构包括反卷积层、特殊卷积层、张量连接层和结果输出层，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层和第六反卷积层，所述特殊卷积层包括第一特殊卷积层、第二特殊卷积层和第三特殊卷积层，所述张量连接层包括第一张量连接层、第二张量连接层和第三张量连接层，所述结果输出层包括小尺度Mask输出、中尺度Mask输出和大尺度Mask输出，所述第一DBL结构对小尺度图片信息进行转换处理后输入到第一反卷积层，第一反卷积层对从第一DBL结构获得的信息进行反卷积处理后向第一张量连接层和第一特殊卷积层输出，所述第一特殊卷积层对从第一反卷积层获得的信息进行特殊卷积处理后得出小尺度Mask输出，所述第二DBL结构对中尺度图片信息进行转换处理后向第二反卷积层输入信息，所述第二反卷积层对从第二DBL结构获得的信息进行反卷积处理后向第一张量连接层和第二张量连接层输出，所述第一张量连接层对从第一反卷积层和第二反卷积层获得的信息进行张量连接后向第三反卷积层输出，所述第三反卷积层对从第二张量连接层获得的信息进行反卷积后向第二特殊卷积层和第三张量连接层输出信息，所述第二特殊卷积层处理从第三反卷积层获得的信息进行特殊卷积处理后得出中尺度Mask输出，所述第三DBL结构对大尺度图片信息进行转换处理后向第二张量连接层输出信息，所述第二张量连接层把从第三DBL结构和第二反卷积层获得信息进行张量连接后向第四反卷积层输出信息，所述第四反卷积层把从第二张量连接层获得的信息进行反卷积处理后向第三张量连接层输出信息，所述第三张量连接层把从第四反卷积层和第三反卷积层获得的信息进行张量连接处理后向第五反卷积层输出信息，所述第五反卷积层对从第三张量连接层获得的信息进行反卷积处理后向第三特殊卷积层输出，所述第三特殊卷积层把从第五反卷积层获得的信息进行特殊卷积处理后处理信息后得到大尺度Mask输出。在本实施例中，DBL结构指的是在YOLO V3网络结构与卷积结构之间进行数据传输用到的常规的转换单元，其形式或代码均为本领域的常见形式，例如代码如下：

经过转换后，YOLO V3网络结构输出的数据就可以在下层的全卷积网路结构中进行顺利地处理。

并且本例中的病害类型包括：洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形和入侵。

实施例二：

本实施例继续讲述本发明的一种基于全卷积网络的管道病害图像分割方法，其整体包括实施例一的全部结构和步骤，在此基础上，其还具体包括：采用全卷积中的反卷积算法并基于You Look Only Once网络结构，并在其基础上增加全卷积网络结构实现管道病害区域的分割；

该方法具体包括以下步骤：

第一步：收集拍摄管道病害图片；

第二步：对所有拍摄到的管道病害图片画出病害区域的最小外接矩形框，确定每一个最小外接矩形框中的病害类型；

第三步：确定出病害区域的像素位置；

第四步：以所述的管道病害图片作为输入，以所述病害类型作为分类标签，以所述的最小外接矩形框作为位置标签，以所述病害区域的像素位置作为分割结果Mask的标签，训练检测网络结构；

第五步：使用训练好的检测网络结构检测新拍摄到的管道病害图片，得到管道病害区域被明显分割的效果图。

所述的全卷积网络结构的步骤分别为：A1、将分辨率为M×N×3的原图经三个DBL结构后得到输出分辨率分别为M/32×N/32×1024、M/16×N/16×512、M/8×N/8×256的处理图，将他们分别以并行的形式接入全卷积网络结构。A2、针对小尺度，通过卷积核为9×9，步长S为8的反卷积操作得到M/16×N/16×512输出；然后经过一层卷积核为1×1，步长为1的特殊卷积操作，得到M/4×N/4×C；该特殊卷积操作将上述输出进行通道数转换，得到的通道数与地下管道常见的病害类型数一样，本发明将地下管道常见病害分为了C(11)类。A3、针对中尺度采用张量连接的方式，例如中尺度的M/16×N/16×512经过4倍反卷积操作得到尺度为M/4×N/4×256的输出，然后与小尺度8倍扩大的M/4×N/4×512的输出进行特征融合，得到M/2×N/2×768的输出，再经过上述特殊卷积层得到尺寸为M/2×N/2×C的输出。A4、针对大尺度同理可以得到M×N×C的输出，可以看到大尺度输出结果的尺寸与原图尺寸一样，因此可以输出病害区域的分割结果Mask，病害类型C＝{n|n为病害类别数，包括：洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形、入侵。

所述的全卷积网络结构包括反卷积层、特殊卷积层和张量连接层。

如图3所示，所述反卷积层设置有三步步骤，分别为：

A.步长扩充：在原来的输入图片像素点之间增加n个0元素，其中n同时还需要在右侧和下侧分别填充[扩大倍数-1]列或行；

B.卷积运算：灰色的卷积核从左上角开始滑动，运算规则与普通卷积相同；

C.反卷积输出:最终得到扩大后图片，代表了经过反卷积后的输出图片。

具体实施方法如下：

如图1至图2所示，采用全卷积中的反卷积算法，基于You Look Only Once[简称YOLO V3]网络结构，并在其基础上增加全卷积网络结构实现管道病害区域的分割。

以输入图片的分辨率为3×3为例，如图3中最左侧的黑色网格，可以看到反卷积操作包括步长扩充、卷积运算和反卷积输出三步；针对步长扩充，需要在原来的输入图片像素点之间增加[扩大倍数-1]个0元素，同时还需要在右侧和下侧分别填充[扩大倍数-1]列或行；灰色的卷积核从左上角开始滑动，运算规则与普通卷积相同，最终得到最右侧黑色网格，代表了经过反卷积后的输出图片。

如图1和图2所示，以原图分辨率为416×416×3为例[×3表示原图有红、绿、蓝三个通道]，经图1中三个DBL结构后得到的输出分辨率分别为13×13×1024、26×26×512、52×52×256，将它们分别以并行的形式接入图2所示的全卷积网络结构。

针对小尺度，通过卷积核为9×9，步长S为8的反卷积操作得到104×104×512输出；然后经过一层卷积核为1×1，步长为1的特殊卷积操作[该特殊卷积操作将上述输出进行通道数转换，得到的通道数与地下管道常见的病害类型数一样，本发明将地下管道常见病害分为了11类，如式(1)所示]，得到104×104×17；

C＝[洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形、入侵](1)

针对中尺度采用张量连接的方式，例如中尺度的26×26×512经过4倍反卷积操作得到尺度为104×104×256的输出，然后与小尺度8倍扩大的104×104×512的输出进行特征融合，得到208×208×768的输出，再经过上述特殊卷积层得到尺寸为208×208×17的输出，针对大尺度同理可以得到416×416×11的输出。可以看到大尺度输出结果的尺寸与原图尺寸一样，因此可以输出病害区域的分割结果Mask。

本发明经过实际测试，可以获得如图4至图14的效果。

从以上实施例中可以看出本发明还具有以下的优点：

①.在原有的YOLO网络模型中添加了全卷积网络结构(参见图15-16)；可以更精确的分析出病毒所在区域。

②.同时实现了管道图片病害区域的最小外接框框选功能和病害区域分割功能；

③.能够对11种管道常见病害区域的分割，具有广泛的应用价值。

另外，可以将YOLO网络替换为其他的网络结构，并连接上图1所示的全卷积网络结构亦可实现，具体实现效果不再叙述。

实施例三：

在本例中，继续结合所述的图1-16以及前述的实施例进一步形成新的实施例以对本发明的发明构思做进一步的说明以使得本领域的技术人员更清晰的理解本发明的实现。

要继续指出的是，本发明使用全卷积神经网络技术，针对已经分类好的病害图像进行智能分割，自动地将病害区域在图像中的二维投影提取出来。涉及到的技术领域主要包括：计算机数字图像处理和基于全卷积神经网络的深度学习算法。更具体的，其结合了全卷积中的反卷积算法，以及基于You Look Only Once(简称YOLO)网络结构实现管道病害区域的分割，

参见图11，本实施例中的反卷积以输入图片的分辨率为3×3为例，图中为黑色网格，可以看到反卷积操作包括步长扩充、卷积运算和反卷积输出三步；针对步长扩充，需要在原来的输入图片像素点之间增加(扩大倍数-1)个0元素，同时还需要在右侧和下侧分别填充(扩大倍数-1)列或行；灰色的卷积核从左上角开始滑动，运算规则与普通卷积相同，最终得到最右侧黑色网格，代表了经过反卷积后的输出图片。

以原图分辨率为M×N×3为例(×3表示原图有红、绿、蓝三个通道)，经图12中三个红色DBL结构后得到的输出分辨率分别为M/32×N/32×1024、M/16×N/16×512、M/8×N/8×256，将它们分别以并行的形式接入图13所示的全卷积网络结构。

针对小尺度，通过卷积核为9×9，步长S为8的反卷积操作得到M/16×N/16×512输出；然后经过一层卷积核为1×1，步长为1的特殊卷积操作(该特殊卷积操作将上述输出进行通道数转换，得到的通道数与地下管道常见的病害种类数一样，本发明将地下管道常见病害分为了C(11)类，如式1所示)，得到M/4×N/4×C；

C＝{n|n为病害类别数，包括：洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形、入侵}(1)

针对中尺度采用张量连接的方式，例如中尺度的M/16×N/16×512经过4倍反卷积操作得到尺度为M/4×N/4×256的输出，然后与小尺度8倍扩大的M/4×N/4×512的输出进行特征融合，得到M/2×N/2×768的输出，再经过上述特殊卷积层得到尺寸为M/2×N/2×C的输出，针对大尺度同理可以得到M×N×C的输出。可以看到大尺度输出结果的尺寸与原图尺寸一样，因此可以输出病害区域的分割结果Mask。

本发明中的具体的实施方案如下：

步骤①.对所有拍摄到的管道病害图片，人工画出病害区域的最小外接矩形框，人工确定每一个最小外接矩形框中病害的类型，利用labelme工具，人工确定病害区域的像素位置；

步骤②.用这些管道病害图片作为输入，类别作为分类标签，人工画出的矩形框作为位置标签,像素位置作为分割结果Mask的标签，训练如图12和13的组合而成的网络结构；

步骤③.使用训练好的网络检测新拍摄到的管道病害图片。本发明经过实际测试，可以获得如图4至图14的效果

综上所述，在本发明中将YOLO网络替换为其他的网络结构，并连接上图3所示的全卷积网络结构亦可实现，但不保证检测准确率与本发明相近，本发明针对11种病害类型的平均检测正确率为95.609％。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统和设备是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种部件。而且，关于某些配置描述的特征可以以各种其他配置组合，如可以以类似的方式组合配置的不同方面和元素。此外，随着技术发展其中的元素可以更新，即许多元素是示例，并不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路，过程，算法，结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (1)

1.一种基于全卷积网络的管道病害图像分割方法，采用全卷积中的反卷积算法并基于You Look Only Once网络结构，增加全卷积网络结构实现管道病害区域的分割，其特征在于：该方法具体包括以下步骤：

第一步：收集拍摄管道病害图片；

第二步：对所有拍摄到的管道病害图片画出病害区域的最小外接矩形框，确定每一个最小外接矩形框中的病害类型；

第三步：确定出病害区域的像素位置；

第四步：以所述的管道病害图片作为输入，以所述病害类型作为分类标签，以所述的最小外接矩形框作为位置标签，以所述病害区域的像素位置作为分割结果Mask的标签，训练检测网络结构；

第五步：使用训练好的检测网络结构检测新拍摄到的管道病害图片，得到管道病害区域被明显分割的效果图；

所述检测网络包括上层网络结构和下层网络结构，所述上层网络结构为上层YOLO V3网络结构，所述下层网络结构为全卷积网络结构；

所述上层YOLO V3网络结构还包括第一DBL结构、第二DBL结构和第三DBL结构，所述全卷积网络结构包括反卷积层、特殊卷积层、张量连接层和结果输出层，所述反卷积层包括第一反卷积层、第二反卷积层、第三反卷积层、第四反卷积层、第五反卷积层和第六反卷积层，所述特殊卷积层包括第一特殊卷积层、第二特殊卷积层和第三特殊卷积层，所述张量连接层包括第一张量连接层、第二张量连接层和第三张量连接层，所述结果输出层包括小尺度Mask输出、中尺度Mask输出和大尺度Mask输出，所述第一DBL结构对小尺度图片信息进行转换处理后输入到第一反卷积层，第一反卷积层对从第一DBL结构获得的信息进行反卷积处理后向第一张量连接层和第一特殊卷积层输出，所述第一特殊卷积层对从第一反卷积层获得的信息进行特殊卷积处理后得出小尺度Mask输出，所述第二DBL结构对中尺度图片信息进行转换处理后向第二反卷积层输入信息，所述第二反卷积层对从第二DBL结构获得的信息进行反卷积处理后向第一张量连接层和第二张量连接层输出，所述第一张量连接层对从第一反卷积层和第二反卷积层获得的信息进行张量连接后向第三反卷积层输出，所述第三反卷积层对从第二张量连接层获得的信息进行反卷积后向第二特殊卷积层和第三张量连接层输出信息，所述第二特殊卷积层处理从第三反卷积层获得的信息进行特殊卷积处理后得出中尺度Mask输出，所述第三DBL结构对大尺度图片信息进行转换处理后向第二张量连接层输出信息，所述第二张量连接层把从第三DBL结构和第二反卷积层获得信息进行张量连接后向第四反卷积层输出信息，所述第四反卷积层把从第二张量连接层获得的信息进行反卷积处理后向第三张量连接层输出信息，所述第三张量连接层把从第四反卷积层和第三反卷积层获得的信息进行张量连接处理后向第五反卷积层输出信息，所述第五反卷积层对从第三张量连接层获得的信息进行反卷积处理后向第三特殊卷积层输出，所述第三特殊卷积层把从第五反卷积层获得的信息进行特殊卷积处理后处理信息后得到大尺度Mask输出；

其中，第五步的具体方法包括如下步骤：

A1、将分辨率为M×N×3的原图经三个DBL结构后得到输出分辨率分别为M/32×N/32×1024、M/16×N/16×512、M/8×N/8×256的处理图，将处理图分别以并行的形式接入全卷积网络结构；

A2、针对小尺度，通过卷积核为9×9，步长S为8的反卷积操作得到M/16×N/16×512输出，再经过一层卷积核为1×1，步长为1的特殊卷积操作，得到M/4×N/4×C；

A3、针对中尺度采用张量连接的方式，中尺度的M/16×N/16×512经过4倍反卷积操作得到尺度为M/4×N/4×256的输出，然后与小尺度8倍扩大的M/4×N/4×512的输出进行特征融合，得到M/2×N/2×768的输出，再经过上述特殊卷积层得到尺寸为M/2×N/2×C的输出；

A4、针对大尺度进行处理，得到M×N×C的输出，输出病害区域的分割结果Mask，病害类型C={n|n为病害类别数，包括：洼水、树根、积泥、杂物、结垢、封堵、脱节、破裂、错口、变形、入侵}。