CN114266964A - 一种深度图像引导的电缆管道缺陷检测与定位方法 - Google Patents

一种深度图像引导的电缆管道缺陷检测与定位方法 Download PDF

Info

Publication number
CN114266964A
CN114266964A CN202111506897.1A CN202111506897A CN114266964A CN 114266964 A CN114266964 A CN 114266964A CN 202111506897 A CN202111506897 A CN 202111506897A CN 114266964 A CN114266964 A CN 114266964A
Authority
CN
China
Prior art keywords
features
depth image
feature
modal
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111506897.1A
Other languages
English (en)
Inventor
陈诚
丁亚杰
高辉
胥峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Yancheng Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202111506897.1A priority Critical patent/CN114266964A/zh
Publication of CN114266964A publication Critical patent/CN114266964A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明提供了一种深度图像引导的电缆管道缺陷检测与定位方法，包括：(1)：将可见光与深度图像送入两条相互独立的编码器网络进行对应模态特征提取；(2)：将特定模态的语义特征送入自适应特征融合模块中进行多模态特征的增强与融合；(3)：将两路独立的特定模态特征送入与编码器子网相对应的解码器子网中进行解码并输出对应模态的地下电缆管道缺陷分割结果；(4)：将集成可见光与深度图像信息的融合特征与解码后的特定模态特征在多模态特征聚合模块中结合，最终解码输出自适应融合后缺陷分割结果；(5)：利用双目视觉技术，实现缺陷精确定位。本发明提供一种深度图像引导的电缆管道缺陷检测与定位方法，能够输出高精度的缺陷分割结果。

Description

一种深度图像引导的电缆管道缺陷检测与定位方法
技术领域
本发明属于计算机视觉技术领域，特别涉及一种深度图像引导的电缆管道缺陷检测与定位方法。
背景技术
地下电缆管道关系到地下电网的安全运行，由于工作环境和传输材料的复杂性，其在使用过程中管道内壁可能会出现障碍物、破裂、沉积物、结垢等各种缺陷情况，传统的管道缺陷人工检测方法存在耗时长、人力消耗大、容易错检漏检误检的情况，因此需要更加智能地方法实现电缆管道缺陷检测与定位。
在专利CN202110792859.0中公开了“基于图像处理及深度学习的管道缺陷智能检测方法及应用”，其提出一种将图像处理技术与深度学习网络结合起来的智能检测方法，可对管道存在的裂缝、腐蚀、脱皮等缺陷进行检测和识别。但该方法需要大量人工标注的数据集对网络进行训练，且对于石油管道的应用效果最优，而对于地下电缆管道的部分缺陷难以检测和定位。针对上述问题，本发明提出了一种深度图像引导的电缆管道缺陷检测与定位方法，通过自适应的将可见光与深度特征充分融合，实现电缆管道缺陷精确检测和定位。
发明内容
为了解决上述问题，本发明提供一种深度图像引导的电缆管道缺陷检测与定位方法，能够在编码器部分提取并充分融合互补的多模态特征信息，并在解码器部分充分结合来自多模态编码器与解码器的特异性特征，最终输出高精度的地下电缆管道缺陷的分割结果。
本发明具体为一种深度图像引导的电缆管道缺陷检测与定位方法，所述电缆管道缺陷检测与定位方法包括以下步骤：
步骤(1)：首先将可见光与深度图像送入两条相互独立的编码器网络进行对应模态特征的提取；
步骤(2)：接着将提取到的特定模态的语义特征送入自适应特征融合模块中进行多模态特征的增强与融合；
步骤(3)：然后将两路独立的特定模态特征送入与编码器子网相对应的解码器子网中进行解码并输出对应模态的地下电缆管道缺陷的分割结果；
步骤(4)：再将集成可见光与深度图像信息的融合特征与解码后的特定模态特征在多模态特征聚合模块中进一步结合，并最终解码输出自适应融合后的可见光与深度图像协同的地下电缆管道缺陷的分割结果，实现对缺点的检测；
步骤(5)：最后利用双目视觉技术，实现对缺陷的精确定位。
与现有技术相比，本发明的有益效果是：
(1)本发明提出一种深度图像引导的电缆管道缺陷检测与定位方法，通过充分结合来自可见光与深度图像的特点，能自适应的输出融合两种模态特征的地下电缆管道缺陷的分割结果。
(2)本发明提出一种集成多模态特征的自适应特征融合模块，通过在编码器部分对提取后的可见光与深度图像特征进行增强与融合，充分利用多模态特征的互补性，通过多种像素级上的卷积、相乘以及加法操作，能自适应地充分融合多模态的特征信息。
(3)本发明提出一种结合多模态特征的特征聚合模块，通过将解码后的可见光和深度图像特征与自适应多模态特征融合模块的输出特征集成后解码，即能在保证多模态特征互补性的前提下对特征进行融合，又充分利用了多模态特征的特异性，从而输出充分结合多模态信息特征的电缆管道缺陷分割结果。
附图说明
图1为本发明一种深度图像引导的电缆管道缺陷检测与定位方法的工作流程图；
图2为本发明一种深度图像引导的电缆管道缺陷检测与定位方法的总体架构图；
图3为自适应特征融合模块结构图；
图4为特征聚合模块结构图；
具体实施方式
下面结合附图对本发明一种深度图像引导的电缆管道缺陷检测与定位方法的具体实施方式做详细阐述。
如图1所示，本发明的电缆管道缺陷检测与定位方法包括以下步骤：
步骤(1)：首先利用两条相互独立的编码器网络对可见光与深度图像分别进行对应模态特征的提取；
步骤(2)：接着在自适应特征融合模块中将提取到的特定模态的语义特征进行多模态特征的增强与融合；
步骤(3)：然后根据与编码器子网相对应的解码器子网对两路独立的所述特定模态特征进行解码并输出对应模态的语义分割结果；
步骤(4)：再在多模态特征聚合模块中将集成可见光与深度图像信息的融合特征与解码后的特定模态特征进一步结合，解码输出自适应输出融合两种模态特征的电缆管道缺陷分割图像，实现对地下所述电缆管道缺陷的检测；
步骤(5)：最后结合双目视觉技术对缺陷进行测距，实现对所述电缆管道缺陷的精确定位。
如图2所示，1、首先将可见光与深度图像(红外图像)送入主干网络进行特征提取：
为使可见光与深度图像符合主干网络的尺寸大小，需对图像进行预处理，并输入主干网络进行特征提取。本发明的两条主干网络均采用预训练完毕的Res2Net-50网络(residual neural2network，即残差网络2，50表示卷积层+全连接层的总层数)。Res2Net-50网络包含五个卷积模块，因此两条子网中均能生成不同的高、中、低型特征：
Figure BDA0003403476520000031
Figure BDA0003403476520000032
其中FR为由可见光图像提取到的特征的集合，FT为由深度图像提取到的特征的集合，
Figure BDA0003403476520000033
及
Figure BDA0003403476520000034
为在第m个卷积层中提取到的对应模态信息的语义特征。输入编码器子网的图片的尺寸为W×H的图片，除第一层卷积层特征图大小为
Figure BDA0003403476520000035
通道数为64外，其余层对应的特征图大小为
Figure BDA0003403476520000036
对应的通道数为Cm＝2m+6，其中m＝2,3,4,5。
2、将上述特征分别输入本发明提出的一种集成来自可见光与深度图像特征的自适应特征融合模块以结合可见光与深度图像间的互补特性。在第一层卷积网络提取到相应的可见光与深度图像特征f1 R与f1 T，将其输入到第一层自适应特征融合模块中，输出自适应特征融合结果f1 x，并作为下一层自适应特征融合模块的一个输入，继续与第二层卷积网络提取的多模态特征相融合，直到输出第五层特征融合结果
Figure BDA0003403476520000037
3、以结合第m层的可见光图像特征
Figure BDA0003403476520000038
与深度图像特征
Figure BDA0003403476520000039
为例：
31)特征图首先通过一个1×1的卷积核以减半通道数来降低处理时间，在保证两种特征图互补关系的前提下得到归一化的特征图。两特征图分别经过一个Sigmoid激活函数并反馈回一个3×3的卷积核，得到
Figure BDA0003403476520000041
Figure BDA0003403476520000042
其中，
Figure BDA0003403476520000043
与
Figure BDA0003403476520000044
是归一化并经过3×3卷积核反馈后可见光与深度图像的特征图，σ(·)函数为一个Sigmoid激活函数，
Figure BDA0003403476520000045
和
Figure BDA0003403476520000046
分别为经过3×3卷积核后的可见光与深度图像特征。由此，两特征图可藉由可见光图像与深度图像之间的互补性，相互间自适应地进行特征增强。
32)将上述输出特征
Figure BDA0003403476520000047
与
Figure BDA0003403476520000048
与此模块的初始输入特征采取残差网络的剩余连接方法进行结合，以充分利用初始特征，并输出两路特征图
Figure BDA0003403476520000049
其中
Figure BDA00034034765200000410
与
Figure BDA00034034765200000411
分别为处理后的可见光与深度图像特征图，+与
Figure BDA00034034765200000412
为在像素单位上的加法以及乘法运算。
33)接着将自适应增强后的两路特征进行充分融合，如图3所示，本发明对
Figure BDA00034034765200000413
与
Figure BDA00034034765200000414
特征图同时采用像素级的乘法与最大化处理，并最终将处理结果进行串联。将
Figure BDA00034034765200000415
与
Figure BDA00034034765200000416
特征图输入一个3×3的卷积核后进行批量标准化操作，通过一个ReLU激活函数后获得较为光滑的特征图
Figure BDA00034034765200000417
与
Figure BDA00034034765200000418
对两路特征图同步进行像素级的乘法与最大化操作，得到
Figure BDA00034034765200000419
其中，
Figure BDA00034034765200000420
与gmax为像素级乘法与最大化操作后的结果，
Figure BDA00034034765200000421
为像素级的乘法，max(·)为最大化操作。将上述结果进行串联得到
Figure BDA00034034765200000422
通过3×3的卷积核并进行批量标准化操作，通过一个ReLU激活函数后生成特征gc′，使串联的特征图
Figure BDA00034034765200000423
与gmax能自适应地进行加权。
34)为了能将高层语义特征与低层语义特征充分结合，本模块将上一模块的输出
Figure BDA00034034765200000424
与特征gc′进行像素级的串联，输入一个3×3的卷积核，进行批量标准化操作与ReLU函数后得到第m个自适应特征融合模块的输出
Figure BDA00034034765200000425
35)需要特别注意的是，当m＝1时，不需要采用一个1×1的卷积核来缩减通道数，也不存在上一个模块，因此只需要将对应的特征gc′送入3×3的卷积核并进行上述操作即可。
4、将特定模态的低层语义特征
Figure BDA0003403476520000051
与
Figure BDA0003403476520000052
输入结构与对应层级编码器呼应的解码器。解码特定模态的解码器除了结构与编码器相对应外，还在对应的编码器与解码器的子网层之间进行跳跃连接以组合层次特征。当编码器子网接受到低层特征
Figure BDA0003403476520000053
与
Figure BDA0003403476520000054
后，将其馈送入接收模块中以捕获全局上下文信息，解码出相应的特征
Figure BDA0003403476520000055
与
Figure BDA0003403476520000056
将解码出的结果与来自上层编码器的特征
Figure BDA0003403476520000057
与
Figure BDA0003403476520000058
进行像素级上的串联，送入下一个接收模块中进行相同处理，直至生成特征
Figure BDA0003403476520000059
与
Figure BDA00034034765200000510
将两路多模态特征
Figure BDA00034034765200000511
与
Figure BDA00034034765200000512
分别通过一个1×1的卷积核即可生成对应模态的语义分割结果。
5、针对来自融合可见光与深度图像特征的自适应的低层语义分割特征
Figure BDA00034034765200000513
本发明设计了一个结合多模态特征的特征聚合模块对其进行处理，使融合特征能在保留可见光与深度图像互补性特征：
51)如图4所示，此模块位于特征接收模块与级联操作之间，低层语义分割特征
Figure BDA00034034765200000514
首先经过特征接收模块并输出解码后特征
Figure BDA00034034765200000515
馈送入特征聚合模块中，并与来自特定模态特征解码器的输出
Figure BDA00034034765200000516
与
Figure BDA00034034765200000517
分别进行像素级上的乘法，得到
Figure BDA00034034765200000518
其中
Figure BDA00034034765200000519
与
Figure BDA00034034765200000520
为处理后的结果，
Figure BDA00034034765200000521
为像素级的乘法。
52)接着将
Figure BDA00034034765200000522
与
Figure BDA00034034765200000523
在像素级上进行串联，得到特征
Figure BDA00034034765200000524
并将结果输入3×3的卷积核后进行归一化与ReLU函数处理，得到特征Gc′。最后将Gc′与
Figure BDA00034034765200000525
进行像素级的加法后得到此模块的输出，并将此结果与编码器上一层的输出
Figure BDA00034034765200000526
进行像素级上的串联后送入下一层继续进行循环操作。
53)需要特别注意的是，当此模块的输出循环处理至与高层语义特征f1 x相结合时，由于不再有来自特定模态的特征，因此只需要将解码后的特征
Figure BDA00034034765200000527
送入一个1×1的卷积核后，即可获得可见光与深度图像协同处理的地下电缆管道缺陷语义分割结果。
6、利用双目视觉技术实现对检测出的缺陷进行定位。
7、本发明提供了一种深度图像引导的电缆管道缺陷检测与定位方法，包括两条用于提取对应模态特征的子网和一条用于集成多模态信息的级联特征聚合子网。三条子网同样采用编码器—解码器结构，两条提取对应模态特征的子网可以将各自模态的特征进行独立输出。集成多模态信息的级联特征聚合子网包含自适应特征融合模块与特征聚合模块，自适应特征融合模块将多模态信息特征进行融合，充分利用多模态特征的互补性并能自适应地调整结果。特征聚合模块将融合后的特征与解码后的多模态特征集成后解码，充分利用了多模态特征的特异性，并输出充分结合多模态信息特征的地下电缆管道缺陷分割结果，结合双目视觉技术，实现对地下电缆管道缺陷的精确检测和定位。
最后应该说明的是，结合上述实施例仅说明本发明的技术方案而非对其限制。所属领域的普通技术人员应当理解到，本领域技术人员可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均在申请待批的权利要求保护范围之中。

Claims (3)

1.一种深度图像引导的电缆管道缺陷检测与定位方法，其特征在于，所述电缆管道缺陷检测与定位方法包括以下步骤：
步骤(1)：首先利用两条相互独立的编码器网络对可见光与深度图像分别进行对应模态特征的提取；
步骤(2)：接着在自适应特征融合模块中将提取到的特定模态的语义特征进行多模态特征的增强与融合；
步骤(3)：然后根据与编码器子网相对应的解码器子网对两路独立的所述特定模态特征进行解码并输出对应模态的语义分割结果；
步骤(4)：再在多模态特征聚合模块中将集成可见光与深度图像信息的融合特征与解码后的特定模态特征进一步结合，解码输出自适应输出融合两种模态特征的电缆管道缺陷分割图像，实现对地下所述电缆管道缺陷的检测；
步骤(5)：最后结合双目视觉技术对缺陷进行测距，实现对所述电缆管道缺陷的精确定位。
2.根据权利要求1所述的一种深度图像引导的电缆管道缺陷检测与定位方法，其特征在于，步骤(2)中在所述自适应特征融合模块中将提取到的所述特定模态的语义特征进行多模态特征的增强与融合的具体步骤为：
(1)将第一层卷积网络提取到相应的所述可见光与所述深度图像特征f1 R与f1 T输入第一层所述自适应特征融合模块，并输出自适应特征融合结果f1 x，作为下一层所述自适应特征融合模块的一个输入，继续与第二层卷积网络提取的多模态特征相融合，直到输出第五层特征融合结果
Figure FDA0003403476510000011
(2)结合第2层的可见光图像特征
Figure FDA0003403476510000012
与深度图像特征
Figure FDA0003403476510000013
(3)特征图首先通过一个1×1的卷积核以减半通道数来降低处理时间，在保证两种特征图互补关系的前提下得到归一化的结果；
(4)两特征图分别经过一个Sigmoid激活函数并反馈回一个3×3的卷积核，得到
Figure FDA0003403476510000014
Figure FDA0003403476510000015
其中，
Figure FDA0003403476510000016
与
Figure FDA0003403476510000017
是归一化并经过3×3卷积核反馈后可见光与深度图像的特征图，σ(·)函数为一个Sigmoid激活函数，
Figure FDA0003403476510000021
和
Figure FDA0003403476510000022
分别为经过3×3卷积核后的可见光与深度图像特征；
(5)将输出特征
Figure FDA0003403476510000023
与
Figure FDA0003403476510000024
与自适应特征融合模块的初始输入特征采取残差网络的剩余连接方法进行结合，以充分利用初始特征，并输出两路特征图：
Figure FDA0003403476510000025
其中
Figure FDA0003403476510000026
与
Figure FDA0003403476510000027
分别为处理后的可见光与深度图像特征图，+与
Figure FDA0003403476510000028
为在像素单位上的加法以及乘法运算；
(6)接着将
Figure FDA0003403476510000029
与
Figure FDA00034034765100000210
特征图输入一个3×3的卷积核后进行批量标准化操作，通过一个ReLU激活函数后获得较为光滑的特征图
Figure FDA00034034765100000211
与
Figure FDA00034034765100000212
对两路特征图同步进行像素级的乘法与最大化操作，得到
Figure FDA00034034765100000213
其中，
Figure FDA00034034765100000214
与gmax为像素级乘法与最大化操作后的结果，
Figure FDA00034034765100000215
为像素级的乘法，max(·)为最大化操作；
(7)将
Figure FDA00034034765100000216
与gmax进行串联得到
Figure FDA00034034765100000217
通过3×3的卷积核并进行批量标准化操作，通过一个ReLU激活函数后生成特征gc′，再将上一模块的输出f1 x与特征gc′进行像素级的串联，输入一个3×3的卷积核，进行批量标准化操作与ReLU函数后得到第2个自适应特征融合模块的输出
Figure FDA00034034765100000218
(8)更低层的所述语义特征只需重复上述步骤即可，而对顶层特征f1 R与f1 T进行处理时不需要采用1×1的卷积核来缩减通道数，也不存在上一个模块，因此只需要将对应的特征gc′送入3×3的卷积核并进行(7)中操作即可。
3.根据权利要求1所述的一种深度图像引导的电缆管道缺陷检测与定位方法，其特征在于，步骤(4)中在所述多模态特征聚合模块中进一步结合所述自适应多模态融合特征与解码后的特定模态特征，并解码输出深度图像与可见光图像协同的自适应融合的所述电缆管道缺陷分割图像的具体步骤为：
(1)将低层语义分割特征
Figure FDA0003403476510000031
解码后的特征图
Figure FDA0003403476510000032
馈送入所述特征聚合模块中，并与来自特定模态特征解码器的输出
Figure FDA0003403476510000033
与
Figure FDA0003403476510000034
分别进行像素级上的乘法，得到
Figure FDA0003403476510000035
其中
Figure FDA0003403476510000036
与
Figure FDA0003403476510000037
为处理后的结果，
Figure FDA0003403476510000038
为像素级的乘法；
(2)将特征
Figure FDA0003403476510000039
与
Figure FDA00034034765100000310
在像素级上进行串联，得到特征
Figure FDA00034034765100000311
并将结果输入3×3的卷积核后进行归一化与ReLU函数处理，得到特征G′c；
(3)最后将G′c与
Figure FDA00034034765100000312
进行像素级的加法后得到所述多模态特征聚合模块的输出，并将此结果与编码器上一层的输出
Figure FDA00034034765100000313
进行像素级上的串联后送入下一层继续进行循环操作；
(4)当所述多模态特征聚合模块的输出循环处理至与高层语义特征f1 x相结合时，由于不再有来自所述特定模态的特征，因此只需要将解码后的特征
Figure FDA00034034765100000314
送入一个1×1的卷积核后，即可获得所述可见光与所述深度图像协同的电缆管道缺陷分割结果，实现对所述地下电缆管道缺陷的检测。
CN202111506897.1A 2021-12-10 2021-12-10 一种深度图像引导的电缆管道缺陷检测与定位方法 Pending CN114266964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111506897.1A CN114266964A (zh) 2021-12-10 2021-12-10 一种深度图像引导的电缆管道缺陷检测与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111506897.1A CN114266964A (zh) 2021-12-10 2021-12-10 一种深度图像引导的电缆管道缺陷检测与定位方法

Publications (1)

Publication Number Publication Date
CN114266964A true CN114266964A (zh) 2022-04-01

Family

ID=80826824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111506897.1A Pending CN114266964A (zh) 2021-12-10 2021-12-10 一种深度图像引导的电缆管道缺陷检测与定位方法

Country Status (1)

Country Link
CN (1) CN114266964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111311518B (zh) 基于多尺度混合注意力残差网络的图像去噪方法及装置
CN108960261B (zh) 一种基于注意力机制的显著物体检测方法
CN109509156B (zh) 一种基于生成对抗模型的图像去雾处理方法
CN113076947A (zh) 一种交叉引导融合的rgb-t图像显著性检测系统
CN112651423A (zh) 一种智能视觉系统
CN114266964A (zh) 一种深度图像引导的电缆管道缺陷检测与定位方法
CN114693929A (zh) 一种rgb-d双模态特征融合的语义分割方法
CN115546076A (zh) 一种基于卷积网络的遥感图像薄云去除方法
CN115331024A (zh) 一种基于深度监督和逐步学习的肠道息肉检测方法
CN116645598A (zh) 一种基于通道注意力特征融合的遥感图像语义分割方法
CN113901928A (zh) 一种基于动态超分辨率的目标检测方法、输电线路部件检测方法及系统
CN116167927A (zh) 一种基于混合双通道注意力机制的图像去雾方法及系统
CN116912485A (zh) 一种基于热感图像和可见光图像特征融合的场景语义分割方法
CN115482463A (zh) 一种生成对抗网络矿区土地覆盖识别方法及系统
Su et al. Physical model and image translation fused network for single-image dehazing
Kanwal et al. CVit-Net: A conformer driven RGB-D salient object detector with operation-wise attention learning
Gao et al. Air infrared small target local dehazing based on multiple-factor fusion cascade network
Zhang et al. Research on rainy day traffic sign recognition algorithm based on PMRNet
CN113538413B (zh) 图像检测方法及装置、电子设备和存储介质
CN112489001B (zh) 基于改进的深度学习的隧道渗水检测方法
CN115100491B (zh) 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN115375677B (zh) 基于多路径和多尺度特征融合的酒瓶缺陷检测方法及系统
CN116188307A (zh) 适用于全天的图像低照度增强和语义分割联合方法和系统
Liu et al. Road Segmentation with Image-LiDAR Data Fusion
CN117036853A (zh) 基于联合训练的图像增强和目标检测准确率提升方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination