CN110728654B - 一种基于深度残差神经网络的管道自动检测和分类方法 - Google Patents

Abstract

本发明公开了一种基于深度残差神经网络的管道自动检测和分类方法，通过生成式对抗网络扩充图像形成图像集，以图像集为基础，通过迁移学习迁移前M层模型，构建含有N个残差模块的深度残差神经网络，本发明通过生成式对抗网络解决小样本问题带来的过拟合现象，采用迁移学习技术构建一个残差深度神经网络，实现对管道缺陷的检测和分类，既节约了人工成本，又增加了检测精度，同时自动判定缺陷的种类和等级，为后期的管道维修提供充分的信息，提高了管道维修的效率。

Description

一种基于深度残差神经网络的管道自动检测和分类方法

技术领域

本发明属于地下管道的缺陷检测领域，具体来说涉及一种基于深度残差神经网络的管道自动检测和分类方法。

背景技术

城市地下管道是一个城市的血脉，而随着使用年限的增长，以及内外环境等因素的影响，地下管道出现老化、衰退问题，管壁极易出现裂纹、变形、腐蚀等故障，严重影响管线的结构稳定性，因此需要定期对管道进行检测与维修。传统的检测存在成本高、效率低、耗时长等缺点，近年来，许多学者采用数字图像处理的方法进行管道缺陷的自动检测与分类，取得了一定的效果，但该方法主要基于人工经验对缺陷进行特征提取，其特征提取过程是人工设计的，具有很大的局限性。卷积神经网络在特征表示上具有极大的优越性，其提取的特征随着网络深度的增加越来越抽象，越来越能表现图像的主题语义，不确定性越少，识别能力越强。因此本发明采用深度卷积神经网络实现管道缺陷类型的自动检测与分类。

专利CN201711221526、CN201711291183、CN201811552620等均采用了深度卷积神经网络进行管道异常类型检测，深度卷积神经网络随着网络层数的加深，其学习到的特征越来越能体现图像的语义，不确定性越来越小，因此在图像分类识别上体现出优越的性能，但深度学习需要大量的样本，而管道缺陷图像样本来源单一，难以满足大样本需求，可采用数据增强技术扩充样本数量，但上述专利中均仅仅采用了简单的图像基本操作，样本扩充有限。且上述专利能够检测的缺陷类型难以较真实地反映实际管道缺陷情况，CN201711221526仅能判断是否存在缺陷，没有判断缺陷类型的功能，CN201711291183仅有7类缺陷类型，不能反映每一种缺陷的严重程度，CN201811552620 未提及缺陷类型，仅对缺陷的级别做了简单的定义为“严重”和“轻度”。

发明内容

本发明的目的在于提供一种基于深度残差神经网络的管道自动检测和分类方法，以解决现有技术中缺陷样本图像少，且无法自动准确检测缺陷的种类和缺陷的严重程度。

为实现上述目的，本发明提供技术方案如下：

一种基于深度残差神经网络的管道自动检测和分类方法，所述方法包括以下步骤：

步骤1：采集若干幅缺陷管道和正常管道的真实图像，并对其进行扩充后形成图像集；

步骤2：确定图像集中任一图像的缺陷类型，并根据缺陷类型设置对应的标签值，将图像集中的所有图像和对应的标签值按照一定比例划分成训练集、验证集、测试集；

步骤3：随机选择图像集中的一幅图像作为预训练模型的输入，通过对卷积层特征可视化方法迁移前M层模型；

步骤4：构建深度残差神经网络模型，包括前M层模型、连接在前M层模型之后的若干个串联的残差模块、一全连接层和最后的softmax激活函数，任一个残差模块包括3层卷积层；

步骤5：将训练集和验证集中的图像作为输入，对应的标签值作为目标输出对深度残差神经网络模型的参数进行优化，并结合测试集得到含有N个残差模块的深度残差神经网络；

步骤6：将实时采集的图像预处理后作为步骤5所得网络的输入，得到当前图像关于任一缺陷类型的概率P,P＝{P₁,P₂,...,P₆₅}。

优选地，所述步骤1包括以下步骤：

步骤1.1：对任一真实图像通过数据增强方法生成若干幅变换图像，所述数据增强方法包括裁剪、旋转、翻转、色彩变换中的一种或多种，将所有变换图像与所有真实图像进行标准化处理后，形成准图像集；

步骤1.2：以准图像集为基础，通过生成式对抗网络生成若干幅生成图像，放入准图像集形成图像集。

优选地，所述步骤1.2中，通过生成式对抗网络生成若干幅生成图像包括以下步骤：

步骤1.2.1：以卷积神经网络模型为基础构造判别网络和生成网络；其中生成网络的输入为随机噪声，输出为一幅图像，判别网络的输入为一幅图像，输出为0～1的值；

步骤1.2.2：以准图像集的图像作为训练样本，对生成式对抗网络进行训练，优化生成网络和判别网络的参数后得到生成式对抗网络；

步骤1.2.3：输入若干个随机噪声，得到若干幅生成图像，进行标准化处理。

优选地，所述步骤1.2.1中，判别网络的卷积神经网络模型包括前六层的卷积层、第七层的全连接层和最后一层的sigmoid输出层，任一卷积层的卷积核的大小为5*5，通道数依次为32、64、128、256、 512、1024；生成网络的卷积神经网络模型包括第一层的全连接层、第二至七层的反卷积层，任一反卷积核的大小为5*5。

优选地，所述步骤2中，缺陷类型包括缺陷种类和缺陷严重程度，所述缺陷种类包括正常管道和异常管道，异常管道包括结构型缺陷异常和功能性缺陷异常，结构型缺陷异常包括破裂、变形、腐蚀，错口，起伏，脱节，接口材料脱落，支管暗接，异物穿入，渗漏；功能性缺陷异常包括沉积，结垢，障碍物，残墙坝根，树根，浮渣，共16种；所述缺陷严重程度包括轻微缺陷、中等缺陷、严重缺陷和重大缺陷共 4个等级。

优选地，所述步骤2中，标签值为独热编码形式 Y＝[Y₁,Y₂,Y₃,...,Y₆₅],Y_i∈{0,1},i＝{1,2,...,65}，任一缺陷类型对应一个标签值。

优选地，所述步骤3包括以下步骤：

步骤3.1：以Resnet-34为预训练模型，从图像集中随机选择一幅图像作为预训练模型的输入，经预训练模型计算得到各卷积层的输出特征图，初始化i＝1；

步骤3.2:初始化x＝1；

步骤3.3：选择第i层卷积层中第x个输出特征图的最强激活神经元；

步骤3.4：对步骤3.2所得最强激活神经元进行反卷积运算，得到在像素级空间的重构图像；

步骤3.5：检查重构图像是否存在与输入的图像一致的特征，若是，则i＝i+1，并返回步骤3.2，否则执行步骤3.6；

步骤3.6：判断x是否等于第i层卷积层中输出特征图的总个数，若是，则迁移前M＝i-1层模型，包括前M层模型的结构及其参数，否则x＝x+1，并返回步骤3.3。

优选地，所述步骤4中，残差模块中任一卷积层的填充数为1，卷积核的大小为3*3、通道数为128、步长为1；任一卷积层的激活函数为Relu函数，记为g()；连接在第l层卷积层之后残差模块，其第1层卷积层l+1的输出值为z^[l+1]＝w^[l+1]a^[l]+b^[l+1]，激活值为 a^[l+1]＝g(z^[l+1])；第2层卷积层l+2的输出值为z^[l+2]＝w^[l+2]a^[l+1]+b^[l+2]；激活值为a^[l+2]＝g(z^[l+2]+a^[l])；第3层卷积层l+3的输出值为 z^[l+3]＝w^[l+3]a^[l+2]+b^[l+3]；激活值为a^[l+3]＝g(z^[l+3]+a^[l+1])；其中，a^[l]为第l层的激活值，a^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的激活值z^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的输出值，b^[l+i]表示连接在第l层卷积层之后的残差模块中第i 层卷积层的偏置项，w^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的连接参数。

优选地，所述步骤5包括以下步骤：

步骤5.1：初始化N＝1；设置残差模块的准确率差值门限ε₂；

步骤5.2：以训练集和验证集中的图像作为输入，以对应的标签值作为目标输出对深度残差神经网络模型进行训练，优化模型参数得到含有N个残差模块的深度残差神经网络模型；

步骤5.3：将测试集中的图像作为步骤5.2所得网络模型的输入，对步骤5.2所得网络模型进行测试；记录测试正确率P_N；

步骤5.4：判断N＝1,若是，则令N＝N+1，并返回步骤5.2；否则判断P_N-P_N-1＜ε₂，若是，停止训练并记N＝N-1，得到含有N个残差模块的深度残差神经网络，否则令N＝N+1,并返回步骤5.2。

优选地，所述步骤5.2包括以下步骤：

步骤5.2.1：设置训练参数，包括学习率、每批次读入图像的数量、准确率差值门限ε₁；

步骤5.2.2：初始化M层模型之后的网络层参数，包括初始化M 层模型之后的所有连接权值和所有偏置项，初始化训练迭代次数 epoch＝0、训练步数step＝0；

步骤5.2.3：读入一批图像，计算输出与对应的标签值之间的损失值，以最小化损失值为目的、通过损失误差反向传播方法更新各层参数，step加1；判断step是否等于一次训练总步数，若是，则执行步骤5.2.4，否则重复步骤5.2.3；

步骤5.2.4：将验证集图像输入步骤5.2.3所训练的网络，并计算并保存正确率P_epoch；

步骤5.2.5：判断epoch<10，若是，则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3，否则执行步骤5.2.6；

步骤5.2.6：判断P_epoch-P_epoch-10＜ε₁，若是，则保存训练epoch次之后的深度残差神经网络模型，否则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3。

本发明的方案构思为：(1)通过数据增强方法对有限的图像进行扩充，丰富了生成式对抗网络的样本，并结合生成式对抗网络生成与真实图像逼近的图像，有效解决小样本带来的过拟合问题；(2)对基于大样本的图像集的Resnet-34作为预训练模型进行迁移学习，以简化和加速本发明的训练；(3)采用中间层特征重构可视化的方法确定迁移预训练模型的层数；通过迁移学习技术从现有预训练模型中迁移低层网络结构和参数，以减少训练参数的数量；(4)构建深度残差神经网络，为了充分解决梯度消失、网络退化的问题，构建以3个卷积层为基本单元的残差模块，残差网络中每一层神经元的激活值均设置有与其后两层之间的跳跃连接，以softmax分类器计算得到当前输入图像所属缺陷(包括缺陷种类和缺陷严重程度)的概率。最终所构建的深度残差神经网络(其中包括M层模型、N个残差模块、全连接层和softmax函数)，能够自动检测和识别65种管道缺陷类型。

与现有技术相比，本发明的有益效果为：

通过生成式对抗网络解决小样本问题带来的过拟合现象，采用迁移学习技术构建一个深度残差神经网络，实现对管道缺陷的检测和分类，既节约了人工成本，又增加了检测精度，同时自动判定缺陷的种类和等级，为后期的管道维修提供充分的信息，提高了管道维修的效率。

附图说明

图1为本发明的生成式对抗网原理示意图。

图2为本发明中确定迁移模型M的流程图。

图3为本发明残差模块的结构示意图。

图4为本发明步骤5的流程图。

图5为本发明中结构性缺陷的等级划分图。

图6为本发明中功能性缺陷的等级划分图。

具体实施方式

下面将结合本发明附图，对本发明具体实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于深度残差神经网络的管道自动检测和分类方法，所述方法包括以下步骤：

步骤1：采集若干幅缺陷管道和正常管道的真实图像，并对其进行扩充后形成图像集。

所述步骤1包括以下步骤：

步骤1.1：对任一真实图像通过数据增强方法生成若干幅变换图像，所述数据增强方法包括裁剪、旋转、翻转、色彩变换中的一种或多种，将所有变换图像与所有真实图像进行标准化处理后，形成准图像集。本发明步骤1.1中，标准化处理包括将准图像集中的所有图像统一缩放成224*224*3的大小，任一图像的长度为224，宽度为224，是一幅彩色图像。

步骤1.2：以准图像集为基础，通过生成式对抗网络生成若干幅生成图像，放入准图像集形成图像集。本发明步骤1.2中，由于生成式对抗网络是非监督式模型，其训练需要大量的样本，通过对真实图像进行数据增强以扩大样本的数量，使生成式对抗网络中生成网络生成的图像更逼近于真实图像。

本发明中图像集包括经标准化处理后的所有变换图像和所有真实图像、以及通过生成式对抗网络生成的所有生成图像，所有生成图像要进行标准化处理后才能放入准图像集。

所述步骤1.2中，通过生成式对抗网络生成若干幅生成图像包括以下步骤：

步骤1.2.1：以卷积神经网络模型为基础构造判别网络和生成网络；其中生成网络的输入为随机噪声，输出为一幅图像，判别网络的输入为一幅图像，输出为0～1的值；

步骤1.2.2：以准图像集的图像作为训练样本，对生成式对抗网络进行训练，优化生成网络和判别网络的参数后得到生成式对抗网络；

步骤1.2.3：输入若干个随机噪声，得到若干幅生成图像，进行标准化处理。

本发明中，为使图像集中的所有图像规格一致，所以需要对步骤 1.2.3中的生成图像进行标准化处理，标准化处理包括将所有生成图像缩放至224*224*3。

所述步骤1.2.1中，判别网络的卷积神经网络模型包括前六层的卷积层、第七层的全连接层和最后一层的sigmoid输出层，任一卷积层的卷积核的大小为5*5，通道数(channel)依次为32、64、128、 256、512、1024；生成网络的卷积神经网络模型包括第一层的全连接层、第二至七层的反卷积层，任一反卷积层的填充数为2，任一反卷积核的大小为5*5，步长为2。

所述生成网络的生成过程为：首先输入100维的随机噪声，通过第一层的全连接层变成16384维向量，再重塑为4*4*1024维的向量，然后使用转置卷积进行上采样，具体为：通过第二层的反卷积层生成 8*8*512维向量，通过第三层的反卷积层生成16*16*256维的向量，通过第四层的反卷积层生成32*32*128维的向量，通过第五层得到 64*64*64维的向量，通过第六层的反卷积层得到128*128*32维向量，通过最后一层的反卷积层生成256*256*3的图像。

所述步骤1.2.2包括以下步骤：

步骤1.2.2.1：固定生成网络,优化判别网络的参数；

步骤1.2.2.2：固定判别网络，优化生成网络的参数；

步骤1.2.2.3：重复上述步骤1.2.2.1和1.2.2.2，反复交替训练得到最后生成网络和判别网络的参数。

本发明中步骤1.2.1的具体过程如下：将m个随机噪声z⁽ⁱ⁾通过生成网络生成m幅生成图像G(z⁽ⁱ⁾)，从图像集中选取m幅真实图像x ⁽ⁱ⁾；更新判别网络的参数使得输入生成图像G(z⁽ⁱ⁾)后，判别网络的输出值D(G(z⁽ⁱ⁾))越接近于0，输入真实图像后的输出值D(x⁽ⁱ⁾)越接近于1；本发明中采用梯度上升法调节判别网络的参数θ_d，即：

本发明中步骤1.2.2的具体过程如下：固定步骤1.2.1中的判别网络，即确定步骤1.2.1中的判别网络的参数θ_d不动，对生成网络输入m个随机噪声z⁽ⁱ⁾，调节生成网络的参数θ_g使得输出的图像越来越真，即通过生成网络生成的图像作为判别网络的输入，其输出的值越来越大。本发明中采用梯度下降法调节生成网络的参数，即：

本发明步骤1.2.2中，对判别网络和生成网络的训练为本领域常规技术手段，本领域技术人员可以根据实际情况自行设置。

本发明中，考虑到采集的管道缺陷图像来源单一，实际采集的样本有限，而深度学习网络的训练需要大量的样本，有限的小样本集容易导致网络训练时产生过拟合现象，因此对采集到的真实图像通过数据增强技术并在生成式对抗网络的基础上生成逼近于真实图像的生成图像，并与真实图像混合构成大的样本集。

步骤2：确定图像集中任一图像的缺陷类型，并根据缺陷类型设置对应的标签值，将图像集中的所有图像和对应的标签值按照一定比例划分成训练集、验证集、测试集。

所述步骤2中，所述步骤2中，缺陷类型包括缺陷种类和缺陷严重程度，所述缺陷种类包括正常管道和异常管道，异常管道包括结构型缺陷异常和功能性缺陷异常，结构型缺陷异常包括破裂、变形、腐蚀，错口，起伏，脱节，接口材料脱落，支管暗接，异物穿入，渗漏；功能性缺陷异常包括沉积，结垢，障碍物，残墙坝根，树根，浮渣，共16种；所述缺陷严重程度包括轻微缺陷、中等缺陷、严重缺陷和重大缺陷共4个等级。

本发明步骤2中的16种缺陷种类和缺陷严重程度由异常管道参照行业标准《城镇排水管道检测与评估技术规程》(编号为 CJJ181-2012)明确规定。其中，等级1表示轻微缺陷，等级2表示中等缺陷，等级3表示严重缺陷，等级4表示重大缺陷。

所述步骤2中，标签值为独热编码形式 Y＝[Y₁,Y₂,Y₃,...,Y₆₅],Y_i∈{0,1},i＝{1,2,...,65}，任一缺陷类型对应一个标签值。

所述步骤2中，缺陷类型有破裂-轻微缺陷、错口-严重缺陷、沉积-重大缺陷，沉积-中等缺陷、正常管道等65种，任一幅图像对应一个缺陷类型，确定图像所属的缺陷类型为本领域常规技术手段，本领域技术人员可根据实际情况确定缺陷类型。

所述步骤2中，独热编码是采用N位状态寄存器来对N个状态进行编码，每个状态都由独立的寄存器位，并且在任意时候只有一个状态的值为1。本发明中由于有65种缺陷类型，所以一个标签值就有 65个状态，记为Y＝[Y₁,Y₂,Y₃,...,Y₆₅]，若图像集中任一图像属于第α种缺陷，则该图像对应的标签值中仅第α个状态为1，其它值均为0，记为Y＝[Y₁＝0,Y₂＝0,...,Y_α＝1,Y_α+1＝0,...,Y₆₅＝0],α∈{1,2,...,65}，如假设破裂- 轻微缺陷属于第2种缺陷类型，则该标签值为[0,1,0,0,0,...,0]；本发明中，按照缺陷种类的不同，其缺陷的严重程度也不同，如脱节包括轻微缺陷、中等缺陷、严重缺陷和重大缺陷4个等级，而支管暗接只有轻微缺陷、中等缺陷、严重缺陷3个等级，此时支管暗接-重大缺陷的标签值中任一状态为0，即[0,0,0,0,0,...,0]，因此本发明会存在部分缺陷类型的标签值一致的情况。

本发明步骤2中，将图像集中的所有图像和对应的标签值按照一定比例划分成训练集、验证集和测试集，其比例按照图像集中的图像的数量来确定，若图像数量较多，则将图像集中80％的图像和对应的标签值划分成训练集，10％的图像和对应的标签值划分成验证集；10％的图像和对应的标签值划分成测试集；若图像中的图像较少，也可以按照6：2:2进行划分；本发明中的比例为8:1:1。对图像集中所有图像和对应的标签值的划分为本领域常规技术手段，本领域技术人员可以根据实际情况自行调整训练集、验证集和测试集中的图像和对应的标签值的比例。

步骤3：随机选择图像集中的一幅图像作为预训练模型的输入，通过对卷积层特征可视化方法迁移前M层模型；

所述步骤3包括以下步骤：

步骤3.1：以Resnet-34为预训练模型，从图像集中随机选择一幅图像作为预训练模型的输入，经预训练模型计算得到各卷积层的输出特征图，初始化i＝1；

步骤3.2：初始化x＝1；

步骤3.3：选择第i层卷积层中第x个输出特征图的最强激活神经元；

步骤3.4：对步骤3.2所得最强激活神经元进行反卷积运算，得到在像素级空间的重构图像；

步骤3.5：检查重构图像是否存在与输入的图像一致的特征，若是，则i＝i+1，并返回步骤3.2，否则执行步骤3.6；

步骤3.6：判断x是否等于第i层卷积层中输出特征图的总个数，若是，则迁移前M＝i-1层模型，包括前M层模型的结构及其参数，否则x＝x+1，并返回步骤3.3。

本发明步骤3.1中Resnet-34模型作为经典的残差网络模型，为本领域常规技术手段，可通过pytorch或者其他应用程序接口加载预训练模型Resnet-34，本领域技术人员可根据实际情况自行选择应用程序接口进行加载。本发明中，通过pytorch加载预训练模型的方法为：

import torchvision.models as models；

resnet34＝models.resnet34(pretrained＝True)；

本发明步骤3.1中，图像集中的图像进入Resnet-34后首先经过输入部分将224*224*3的图像转变成56*56*3的特征图，然后进入中间卷积部分，经卷积运算并通过最大池化层池化后分别形成各卷积层的输出特征图，该输出特征图实际上是一个矩阵，矩阵的长度和宽度由每一层的输入和卷积核的大小、步长等参数来决定；任一卷积层的输出特征图的个数由卷积核的个数决定，若一卷积层上有10个不同的卷积核，则经该层卷积运算后输出特征图就有10个。

本发明步骤3.2中，输出特征图的最强激活神经元即为矩阵中数值最大的神经元。

本发明步骤3.3中，任一最强激活神经元的反卷积核的大小与预训练模型中卷积层进行卷积运算时卷积核的大小一致，如对56*56*3 的特征图通过卷积核filter₁卷积运算得到特征图，那么通过转置卷积进行上采样时使用的反卷积核也为filter₁；同时，由于为了使得重构图像的尺寸大小与原始输入图像尺寸一致，在做反卷积运算时都会先对最强激活神经元进行补零填充形成矩阵。

本发明步骤3首先通过计算得到各卷积层的若干个输出特征图，对i层中第x输出特征图选择最强激活神经元进行反卷积运算得到像素级空间的重构图像，得到的重构图像为部分特征，判断该部分特征是否与输入图像的其中某个特征一致，如输入图像的某一部分含有管道的裂口部分，而重构图像显示了输入图像中的裂口部分，则说明重构图像存在与输入的图像一致的特征，此时，说明该特征图有特征体现了，那么其他特征图也会有特征体现，所以此时无需判断该层的其他输出特征图的最强激活神经元的重构图像是否存在与输入图像一致的部分，但是由于本发明步骤3.4是通过人工判断，所以若无法判断当前的输入特征图中最强激活神经元的重构图像是否有特征显示，则可通过判断下一个重构图像是否有特征显示，若一直无法判断，则可以表明该层的输出特征图没有特征显示，则不适合作为模型进行迁移。

本发明步骤3.4中，因为浅层神经元在选择最强激活神经元后的重构图像可以看到明显的特征，而深层的神经元即使采用了最强激活神经元的重构图像也无法体现目标图像中的特征，所以一般来说步骤 3.4在视觉上很容易判断。

步骤4：构建深度残差神经网络模型，包括前M层模型、连接在前M层模型之后的若干个串联的残差模块、一全连接层和最后的 softmax激活函数，任一个残差模块包括3层卷积层。

所述步骤4中，残差模块中任一卷积层的填充数为1，卷积核的大小为3*3、通道数为128、步长为1；任一卷积层的激活函数为Relu 函数，记为g()；连接在第l层卷积层之后残差模块，其第1层卷积层l+1的输出值为z^[l+1]＝w^[l+1]a^[l]+b^[l+1]，激活值为a^[l+1]＝g(z^{[l +1]})；第2层卷积层l+2的输出值为z^[l+2]＝w^[l+2]a^[l+1]+b^[l+2]；激活值为 a^[l+2]＝g(z^[l+2]+a^[l])；第3层卷积层l+3的输出值为z^[l+3]＝w^[l+3]a^[l+2]+b^[l+3]；激活值为a^[l+3]＝g(z^[l+3]+a^[l+1])；其中，a^[l]为第l层的激活值，a^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的激活值，z^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的输出值，b^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的偏置项， w^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的连接参数。

本发明步骤4中，通过设置任一残差模块的任一卷积层的 padding＝1，卷积核的大小为3*3、通道数为128、步长为1，保证每一层卷积层的输入、输出保持大小一致，在残差相加时不会导致维度不一致。

本发明中，任一残差模块中任一卷积层的输出都含有残差信号，能够确保任一层的梯度都能有效地往更深层网络传输。

步骤5：将训练集和验证集中的图像作为输入，对应的标签值作为目标输出对深度残差神经网络模型的参数进行优化，并结合测试集得到含有N个残差模块的深度残差神经网络。

所述步骤5包括以下步骤：

步骤5.1：初始化N＝1；设置残差模块的准确率差值门限ε₂；

步骤5.2：以训练集和验证集中的图像作为输入，以对应的标签值作为目标输出对深度残差神经网络模型进行训练，优化模型参数得到含有N个残差模块的深度残差神经网络模型；

步骤5.3：将测试集中的图像作为步骤5.2所得网络模型的输入，对步骤5.2所得网络模型进行测试,记录测试正确率P_N；

步骤5.4：判断N＝1,若是，则令N＝N+1，并返回步骤5.2；否则判断P_N-P_N-1＜ε₂，若是，停止训练并记N＝N-1，保存含有N个残差模块的深度残差神经网络，否则令N＝N+1,并返回步骤5.2。

本发明步骤5首先初始化N的值，即初始化残差模块的数量，此时得到含有N个残差模块的深度残差神经网络训练模型，然后通过训练集和验证集对该训练模型进行训练，优化模型参数后，得到损失值最小的深度残差神经网络模型；通过测试集来确定经优化后的含有N 个残差模块的深度残差神经网络模型的正确率P_N，然后通过判断 P_N-P_N-1＜ε₂来确定N的值，若P_N-P_N-1＜ε₂，则表明增加残差模块不能提高正确率，此时停止训练并记N＝N-1,保存含有N个残差模块的深度残差神经网络。

本发明中，所述步骤5.3的步骤包括以下步骤：

步骤5.3.1：令j₁＝1，same₁＝0；

步骤5.3.2：选择测试集中的第j₁幅图像作为输入，经过步骤5.2 所得网络计算得到关于65种缺陷类型的概率，转换成独热编码形式并判断其与第j₁幅图像对应的标签值是否一致，若是，则same₁＝ same₁++，并判断j₁是否等于测试集中的图像总数，若是，则P_N＝same₁/ j₁；否则，j₁＝j₁+1,并返回步骤5.3.2。

本发明步骤5.3中，将测试集的任一图像作为输入后，经过每一卷积层的Relu函数线性加权和激活后进入下一层，最后输入到具有 65个神经元的全连接层，得到65*1维的向量，然后通过softmax函数将其转换为关于65种缺陷类型的概率P＝{P₁,P₂,P₃,...,P₆₅}，转换为独热编码形式即将最大概率值转化成为1，其他概率值转换为0，如通过softmax函数得到P＝{P₁＝0.05,P₂＝0.73,P₃＝0.05,...,P₆₅＝0.01},则转换为独热编码形式后得到结果为Y＝[Y₁＝0,Y₂＝1,Y₃＝0,...,Y₆₅＝0]；判断结果与输入图像所对应的标签值是否一致，若一致，则正确。

所述步骤5.2包括以下步骤：

步骤5.2.1：设置训练参数，包括学习率、每批次读入图像的数量、准确率差值门限ε₁；

步骤5.2.2：初始化M层模型之后的网络层参数，包括初始化M 层模型之后的所有连接权值和所有偏置项，初始化训练迭代次数 epoch＝0、训练步数step＝0；

步骤5.2.3：读入一批图像，计算输出与对应的标签值之间的损失值，以最小化损失值为目的、通过损失误差反向传播方法更新各层参数，step加1；判断step是否等于一次训练总步数，若是，则执行步骤5.2.4，否则重复步骤5.2.3；

步骤5.2.4：将验证集图像输入步骤5.2.3所训练的网络，并计算并保存正确率P_epoch；

步骤5.2.5：判断epoch<10，若是，则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3，否则执行步骤5.2.6；

步骤5.2.6：判断P_epoch-P_epoch-10＜ε₁，若是，则保存训练epoch次后的深度残差神经网络模型，否则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3。

本发明步骤5.2.2中，可初始化M层模型之后的所有网络层的连接权值为随机值，所有偏置项为0.1；一次训练总步数，即使用训练集中的全部样本训练一次总共需要的步数(step_num)为训练样本总数量(samples_num)除以每一批次的样本数量(batch_size)，记为 step_num＝samples_num/batch_size。

本发明步骤5.2.3中，由于任一图像所对应的缺陷类型有且只有一个，所以理想状态下任一输入图像通过softmax函数转化得到的关于65种缺陷类型的概率P是包括1个概率值1和64个概率值0的数列；而实际输出的关于65种缺陷类型的概率P却不包括概率值1，而是包括65个不小于0且小于1的小数；期望值与实际输出存在偏差就会产生损失值，损失值的计算根据损失函数的不同而不同，本发明中采用交叉熵损失函数：

其中y_i表示第i种缺陷类型的理想概率值，y'_i表示第i种缺陷类型的实际输出的概率值；例如第i幅图像的目标输出(即标签值)Y＝[1,0,0,...]，而网络实际输出的概率P＝{0.6,0.1,0.1,0.1,0,0,...}，则该图像的损失值loss＝-(1×log0.6+0×log0.1+0×log0.1+...)＝-log0.6。本发明步骤5.2.3 中，每训练一步(step)读入batch_size幅图像，则每一步训练的损失值为batch_size个loss的平均值，损失函数包括交叉熵损失函数、指数损失函数、铰链损失函数等，本领域技术人员根据实际情况自行选择。

本发明步骤5.2.3是通过误差反向传播方法优化参数使得实际输出越来越接近目标输出从而使损失值最小化，误差反向传播方法有多种，包括小批量随机梯度下降算法，adam算法等等，此为本领域常规技术手段，本领域技术人员可根据实际情况自行设置。

所述步骤5.2.4的步骤包括以下步骤：

步骤5.2.4.1：令j₂＝1，same₂＝0；

步骤5.2.4.2：选择验证中的第j₂幅图像作为输入，经过计算得到关于65种标签的概率，转换成独热编码形式并判断其与第j₂幅图像对应的标签是否一致，若是，则same₂＝same₂++，并判断j₂是否等于验证集中的图像总数，若是，则P_N＝same₂/j₂；否则，j₂＝j₂+1,并返回步骤5.2.4.2。

本发明步骤5.2.5及步骤5.2.6中，将训练集样本打乱顺序为每一次训练时输入的图像的顺序与前几次训练时输入的图像的顺序不同。

步骤6：将实时采集的图像预处理后作为步骤5所得网络的输入，得到当前图像关于任一缺陷类型的概率P＝{P₁,P₂,...,P₆₅}。

本发明中，步骤5所得网络读取采集的图像作为输入，通过softmax函数将其转换为概率，即可得到当前图像所属的65种缺陷类型的概率，从而确定管道的缺陷类别和严重程度。

本发明中，实时采集的图像由管道机器人在管道内行进过程中通过所安置的摄像头实时采集前方的任一帧管道环境图像；对实时采集的图像预处理包括将图像转变成224*224*3的大小，本发明中，对实时采集的图像的预处理包括但不限于缩放图像大小。

Claims (8)

1.一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述方法包括以下步骤：

步骤1：采集若干幅缺陷管道和正常管道的真实图像，并对其进行扩充后形成图像集；

步骤2：确定图像集中任一图像的缺陷类型，并根据缺陷类型设置对应的标签值，将图像集中的所有图像和对应的标签值按照一定比例划分成训练集、验证集、测试集；

步骤3：随机选择图像集中的一幅图像作为预训练模型的输入，通过对卷积层特征可视化方法迁移前M层模型；

步骤4：构建深度残差神经网络模型，包括前M层模型、连接在前M层模型之后的若干个串联的残差模块、一全连接层和最后的softmax激活函数，任一个残差模块包括3层卷积层；

步骤5：将训练集和验证集中的图像作为输入，对应的标签值作为目标输出对深度残差神经网络模型的参数进行优化，并结合测试集得到含有N个残差模块的深度残差神经网络；

步骤6：将实时采集的图像预处理后作为步骤5所得网络的输入，得到当前图像关于任一缺陷类型的概率P，P＝{P₁，P₂，...，P₆₅}；

所述步骤3包括以下步骤：

步骤3.1：以Resnet-34为预训练模型，从图像集中随机选择一幅图像作为预训练模型的输入，经预训练模型计算得到各卷积层的输出特征图，初始化i＝1；

步骤3.2：初始化x＝1；

步骤3.3：选择第i层卷积层中第x个输出特征图的最强激活神经元；

步骤3.4：对步骤3.3所得最强激活神经元进行反卷积运算，得到在像素级空间的重构图像；

步骤3.5：检查重构图像是否存在与输入的图像一致的特征，若是，则i＝i+1，并返回步骤3.2，否则执行步骤3.6；

步骤3.6：判断x是否等于第i层卷积层中输出特征图的总个数，若是，则迁移前M＝i-1层模型，包括前M层模型的结构及其参数，否则x＝x+1，并返回步骤3.3；

所述步骤5包括以下步骤：

步骤5.1：初始化N＝1；设置残差模块的准确率差值门限ε₂；

步骤5.2：以训练集和验证集中的图像作为输入，以对应的标签值作为目标输出对深度残差神经网络模型进行训练，优化模型参数得到含有N个残差模块的深度残差神经网络模型；

步骤5.3：将测试集中的图像作为步骤5.2所得网络模型的输入，对步骤5.2所得网络模型进行测试；记录测试正确率P_N；

步骤5.4：判断N＝1，若是，则令N＝N+1，并返回步骤5.2；否则判断P_N-P_N-1＜ε₂，若是，停止训练并记N＝N-1，保存含有N个残差模块的深度残差神经网络，否则令N＝N+1，并返回步骤5.2。

2.如权利要求1所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤1包括以下步骤：

步骤1.1：对任一真实图像通过数据增强方法生成若干幅变换图像，所述数据增强方法包括裁剪、旋转、翻转、色彩变换中的一种或多种，将所有变换图像与所有真实图像进行标准化处理后，形成准图像集；

步骤1.2：以准图像集为基础，通过生成式对抗网络生成若干幅生成图像，放入准图像集形成图像集。

3.如权利要求2所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤1.2中，通过生成式对抗网络生成若干幅生成图像包括以下步骤：

步骤1.2.1：以卷积神经网络模型为基础构造判别网络和生成网络；其中生成网络的输入为随机噪声，输出为一幅图像，判别网络的输入为一幅图像，输出为0～1的值；

步骤1.2.2：以准图像集的图像作为训练样本，对生成式对抗网络进行训练，优化生成网络和判别网络的参数后得到生成式对抗网络；

步骤1.2.3：输入若干个随机噪声，得到若干幅生成图像，进行标准化处理。

4.如权利要求3所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤1.2.1中，判别网络的卷积神经网络模型包括前六层的卷积层、第七层的全连接层和最后一层的sigmoid输出层，任一卷积层的卷积核的大小为5*5，通道数依次为32、64、128、256、512、1024；生成网络的卷积神经网络模型包括第一层的全连接层、第二至七层的反卷积层，任一反卷积核的大小为5*5。

5.如权利要求1所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤2中，缺陷类型包括缺陷种类和缺陷严重程度，所述缺陷种类包括正常管道和异常管道，异常管道包括结构型缺陷异常和功能性缺陷异常，结构型缺陷异常包括破裂、变形、腐蚀，错口，起伏，脱节，接口材料脱落，支管暗接，异物穿入，渗漏；功能性缺陷异常包括沉积，结垢，障碍物，残墙坝根，树根，浮渣，共16种；所述缺陷严重程度包括轻微缺陷、中等缺陷、严重缺陷和重大缺陷共4个等级。

6.如权利要求5所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤2中，标签值为独热编码形式Y＝[Y₁，Y₂，Y₃，...，Y₆₅]，Y_i∈{0，1}，i＝{1，2，...，65}，任一缺陷类型对应一个标签值。

7.如权利要求6所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤4中，残差模块中任一卷积层的填充数为1，卷积核的大小为3*3、通道数为128、步长为1；任一卷积层的激活函数为Relu函数，记为g()；连接在第l层卷积层之后残差模块，其第1层卷积层l+1的输出值为z^[l+1]＝w^[l+1]a^[l]+b^[l+1]，激活值为a^[l+1]＝g(z^[l+1])；第2层卷积层l+2的输出值为z^[l+2]＝w^[l+2]a^[l+1]+b^[l+2]；激活值为a^[l+2]＝g(z^[l+2]+a^[l])；第3层卷积层l+3的输出值为z^[l+3]＝w^[l+3]a^[l+2]+b^[l+3]；激活值为a^[l+3]＝g(z^[l+3]+a^[l+1])；其中，a^[l]为第l层的激活值，a^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的激活值z^{[l +i]}表示连接在第l层卷积层之后的残差模块中第i层卷积层的输出值，b^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的偏置项，w^[l+i]表示连接在第l层卷积层之后的残差模块中第i层卷积层的连接参数。

8.如权利要求1所述的一种基于深度残差神经网络的管道自动检测和分类方法，其特征在于，所述步骤5.2包括以下步骤：

步骤5.2.1：设置训练参数，包括学习率、每批次读入图像的数量、准确率差值门限ε₁；

步骤5.2.2：初始化M层模型之后的网络层参数，包括初始化M层模型之后的所有连接权值和所有偏置项，初始化训练迭代次数epoch＝0、训练步数step＝0；

步骤5.2.3：读入一批图像，计算输出与对应的标签值之间的损失值，以最小化损失值为目的、通过损失误差反向传播方法更新各层参数，step加1；判断step是否等于一次训练总步数，若是，则执行步骤5.2.4，否则重复步骤5.2.3；

步骤5.2.4：将验证集图像输入步骤5.2.3所训练的网络，并计算并保存正确率P_epoch；

步骤5.2.5：判断epoch＜10，若是，则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3，否则执行步骤5.2.6；

步骤5.2.6：判断P_epoch-P_epoch-10＜ε₁，若是，则保存训练epoch次之后的深度残差神经网络模型，否则epoch＝epoch+1，并将训练集样本打乱顺序，返回步骤5.2.3。

Images