CN110060248A - 基于深度学习的声呐图像水下管道检测方法 - Google Patents

基于深度学习的声呐图像水下管道检测方法 Download PDF

Info

Publication number
CN110060248A
CN110060248A CN201910321418.5A CN201910321418A CN110060248A CN 110060248 A CN110060248 A CN 110060248A CN 201910321418 A CN201910321418 A CN 201910321418A CN 110060248 A CN110060248 A CN 110060248A
Authority
CN
China
Prior art keywords
image
pipeline
bounding box
training
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910321418.5A
Other languages
English (en)
Other versions
CN110060248B (zh
Inventor
贾云鹏
叶秀芬
刘文智
肖树国
郭书祥
李海波
梅新奎
刘育松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Engineering University
Original Assignee
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Engineering University filed Critical Harbin Engineering University
Priority to CN201910321418.5A priority Critical patent/CN110060248B/zh
Publication of CN110060248A publication Critical patent/CN110060248A/zh
Application granted granted Critical
Publication of CN110060248B publication Critical patent/CN110060248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Image Processing (AREA)

Abstract

本发明属于深度学习与声呐图像处理领域，具体涉及一种基于深度学习的声呐图像水下管道检测方法。本发明包括如下步骤：构建侧扫声呐图像样本数据集；对数据集中的图像进行预处理；构建用于判别水下管道的铺设方式和检测管道位置的深度卷积神经网络，并训练网络的权重得到训练好的网络；对预处理后的侧扫声呐图中水下管道铺设方式进行判断和给出位置的包围盒集合；根据包围盒集合的中心点得到水下管道的中心位置线，根据包围盒集合覆盖区域分割出目标。本专利方法与现有的方法相比，能够更准确对水下管道的铺设方式进行判定，更精准地检测出水下管道的位置及其中心位置线，泛化能力强，而且在并行加速单元的硬件支持下，检测速度快、效率高。

Description

基于深度学习的声呐图像水下管道检测方法
技术领域
本发明属于深度学习与声呐图像处理领域，具体涉及基于深度学习的声呐图像水下管道检测方法。
背景技术
水下管道是江、河、湖、海中油气田开发系统中的重要组成部分。管道长期工作在复杂多变的水下环境极容易使得管道的表面出现破损导致油气泄露，所以需要定期地针对水下管道进行勘探工作。因为声波在水体介质中具有强于光波和电磁波的传播能力，所以针对水下远距离目标的勘探与检测。侧扫声呐是应用在水下远距离探测目标的常用仪器之一。但侧扫声呐成像相比于一般光学成像存在分辨率低、相对细节少、噪声大、目标和背景对比度低的不利因素，所以针对侧扫声呐图像的目标检测是一项具有挑战性的任务。不同铺设方式的水下管道在图像上的特征并不相同、管道长期工作使管道的上表面长满例如杂草等水生植物、管道反射的声波很弱、语义特点难以区分、目标与背景的对比度进一步降低，使得特征提取十分困难，给管道目标检测又加大了不小的难度。
目前，常用基于侧扫声呐图像水下管道检测方法有Hough变换法和BP网络检测法等。然而Hough变换法需要预先在图像中提取管线的特征，而且仅仅对特定的一些特征能够实现有效的检测。因为卷积神经网络(CNN)的局部感受野和权值共享使得它具有缩放、平移、扭曲和旋转不变性的特点，所以它在图像识别中得到很好的应用。近些年计算机硬件技术和并行加速模块性能的提升使得计算机具有搭建更深层次的能够更多、更准确地提取有效特征的CNN的能力。从2012年至今，基于深度卷积神经网络(DCNN)在历届的ILSVRC图像目标识别和检测大赛中均取得第一名的好成绩。如今基于DCNN的深度学习在基于图像的分类、目标检测和分割等有关领域的学术界中得到广泛的关注。
基于DCNN的目标检测技术从最初的RCNN到YOLO，在分类的准确率、目标检测的精度到检测的速度上都有质的提升。早期的DCNN目标检测主要由主干网络、候选区域网络、包围盒递归网络和分类网络四部分组成。为了提升检测效率，YOLO模型取消了候选区域网络，在特征提取的主干网络的后面直接接入包围盒的确定和类别判断的检测网络，也就是说YOLO网络是一个全卷积的DCNN网络，可以同时输出具有目标位置的包围盒集合和每个包围盒内区域的目标类别。然而就目前而言，DCNN技术还主要停留在一般光学图像的标准数据集下进行研究，而针对声呐图像的研究很少。
发明内容
本发明的目的在于提供一种基于深度学习的声呐图像水下管道检测方法。
基于深度学习的声呐图像水下管道检测方法，包括以下步骤：
步骤1：构建含有水下管道的正样本和不含有水下管道的负样本的侧扫声呐图像数据集，并将数据集分成训练集和测试集两组；
步骤2：对数据集中的侧扫声呐图像进行预处理；
步骤3：构建深度卷积神经网络模型，并用训练集利用含有动量的随机梯度下降方法训练网络中的权重，当达到规定迭代次数后，停止训练，得到最终的模型；
步骤4：从测试集中读取一帧经过步骤2预处理后的图像输入到训练后的网络中，判别是否存在管道目标，若图像中包含管道，判断管道的铺设方式并确定表示水下管道在原侧扫声呐图像中位置信息的包围盒集合；
步骤5：若图像中包含管道，则检测出水下管道在原侧扫声呐图像中的中心线，根据包围盒集合覆盖区域分割出目标。
所述步骤1包括：
步骤1.1：将负样本中的图像即不含管道的图像标记为第1类，将含有管道且铺设在水底之上的水下管道的图像标记为第2类，将含有管道且埋设在水底下沟槽内的水下管道的图像标记为第3类；
步骤1.2：对于正样本的图像，在侧扫声呐图像中标记管道的中心位置线，得到标签图像；
步骤1.3：将第1类、第2类和第3类的样本数量比保持在1:2:2，并分成训练集和测试集两组；
步骤1.4：对训练集的图像进行仿射变换和灰度抖动操作，包括进行缩放、平移和横向错切仿射变换。
所述步骤2包括：
步骤2.1：通过计算水柱区的最大的像素宽度对训练集和测试集中的图像的水柱区进行裁剪；
步骤2.2：对裁剪后的图像进行灰度归一化，使其像素的灰度值分布在0～1之间，并将图像的尺寸归一化到288×288×1。
所述步骤3包括：
步骤3.1：构建用于判别水下管道铺设方式和检测管道位置的深度卷积神经网络；
步骤3.2：设置训练代数T、一次训练图像的批数N以及初始的学习率ε0＝0.001；
步骤3.3：本次迭代从训练集中随机抽取，且与之前迭代不同的N个经过步骤2预处理后的图像输入到步骤3.1构建好的深度卷积神经网络中，分别输出尺寸为N×3的特征图尺寸为N×1×9×3的特征图和尺寸为N×9×1×3的特征图
步骤3.4：利用步骤3.3中对应的标签图像c、对应的标签图像w和对应的标签图像h，构建总体损失函数L；
步骤3.5：设动量参数α＝0.95，本训练代数的学习率ε，得到本次迭代更新后的权重
步骤3.6：训练一次后，返回步骤3.3继续上述步骤，直到所有的训练集图像均被输入到网络中表示完成一代，则对下一代的学习率进行更新，并设置动态学习率，第t个训练代数的学习率为完成所有的训练代数，则停止训练，并保存权重。
步骤3.3所述的特征图是用来判定步骤1.1中3个类别概率，所述的特征图表示沿着图像的横轴方向平均分成9个单元格的预测管道在一横行上位置的N个1行9列3个通道的横向特征图，所述的特征图表示沿着图像的纵轴方向平均分成9个单元格的预测管道在一竖列上位置的N个9行1列3个通道的纵向特征图，3个通道分别代表位置置信度、横向偏移和纵向偏移。
步骤3.4所述的总体损失函数L的表达式为：
其中，表示分类损失函数，表示目标在一横行上位置置信度损失函数，表示目标在一竖列上位置置信度损失函数，表示目标在一横行上位置坐标偏移损失函数，表示目标在一竖列上位置坐标偏移损失函数，网络的输出与真实值的交叉熵定义为：
其中，是第n个图像的第i类的输出概率，表示特征图中第n个图像在第i个单元格内的置信度，表示特征图中第n个图像在第i个单元格内的横向偏移输出，表示特征图中第n个图像在第i个单元格内的纵向偏移输出，对应的标签值，对应的标签值，对应的标签值，表示特征图中第n个图像在第i个单元格内的置信度，表示特征图中第n个图像在第i个单元格内的横向偏移输出，表示特征图中第n个图像在第i个单元格内的纵向偏移输出，分别对应的标签值。
步骤3.5所述的本次迭代更新后的权重表示为下式：
其中，θ是更新前的权重、ν是更新前的速度、是中间过程的权重、是更新后的速度、g是梯度、xn是第n个输入图像、是多值函数的输出，cn,wn,hn分别对应的标签值。
所述步骤4包括：
步骤4.1：训练后的网络分别输出这张图像的所属类别的概率的3维向量在一横行上位置的1×9×3特征图和在一竖列上位置9×1×3纵向特征图
步骤4.2：判别是否存在管道目标；
步骤4.3：若横向特征图中的置信度通道中数值大于0.5的个数多于纵向特征图中置信度通道的大于0.5的个数，则用中横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有 否则用中的横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有 这里的整数i表示单元格索引；
步骤4.4：根据预处理后图像和原图像对应像素的位置关系，求管道目标在原图像中位置的包围盒集合
步骤4.2所述的判别是否存在管道目标是根据向量中最大值所对应的类别来确定是否有水下管道目标以及管道铺设的方式，若存在水下管道，判断水下管道的铺设方式并确定表示管道在步骤2预处理后图像中位置信息的包围盒集合B＝{a,b,W,H}，若没有管道则流程结束，其中a表示包围盒的中心横坐标的集合，b表示包围盒的中心纵坐标的集合，W,H表示包围盒的尺寸，对于B中的每个包围盒W＝H＝36。
所述步骤5包括：
步骤5.1：利用包围盒集合中的中心点集检测出水下管道在原侧扫声呐图像中的中心线；
步骤5.2：对每个包围盒中的中心点的位置进行重新排列，已知的元素个数为若在步骤中置信度通道中数值大于0.5的个数多于中置信度通道中数值的大于0.5的个数，则包围盒的中心横坐标集合不变，中心线与图像横轴的倾斜程度k1、在纵轴上的截距l1，有否则包围盒的中心纵坐标集合不变，中心线与图像纵轴的倾斜程度k2、在纵轴上的截距l2，有
步骤5.3：根据包围盒集合在原图像中的覆盖区域的信息，能够准确地分割出管道的区域。
本发明的有益效果在于：
1.能够对水下管道的铺设方式进行准确地判断，能为后续针对不同铺设方式使用具有针对性的检修方法做准备；
2.能够同时实现水下管道的铺设方式和管道位置检测，检测速度快，效率高；
3.相比于现有的Hough变换法和BP网络检测法，具有更高的分类准确度和目标位置确定的精度；
4.针对目前常用的两种铺设方式的水下管道都能够实现自动识别和检测，泛化能力强。
附图说明
图1是本发明方法的流程示意图。
图2是本发明设计的深度神经网络的结构图。
图3(a)是实施例1的原图。
图3(b)是实施例2的原图。
图4(a)是实施例1裁剪水柱区后的图像。
图4(b)是实施例2裁剪水柱区后的图像。
图5(a)是实施例1检测管道目标图。
图5(b)是实施例2检测管道目标图。
图6(a)是实施例1重新排列后的结果。
图6(b)是实施例2重新排列后的结果。
图7(a)是实施例1分割管道目标图像。
图7(b)是实施例2分割管道目标图像。
具体实施方式
下面结合附图对本发明做进一步的描述。
本发明设计出基于深度学习的声呐图像水下管道检测方法。主要解决目前无法自动判别水下管道铺设方式和无法检测水下管道的具体位置的问题。针对侧扫声呐图像的特点，设计出新的深度卷积神经网络。针对水下管道在图像中的形态，设计出新的检测方法。本发明能准确地判断是否存在管道及管道铺设方式，并能在图像中定位出管道的具体位置，相比于darknet19和darknet53的主干网络，本发明的主干网络在分类的准确率和检测效率上都比前两者要高，而且相比于BP网络检测法，本发明能够更准确地检测和分割出管道区域，在NVIDIA GTX1080下检测速度也快于BP网络检测法，而且操作简单，自适应性强。
表1对实施例1和2的原图的管道检测用时(单位：s)
实施例1 实施例2
BP网络检测法 9.21 8.10
darknet19方法 0.044 0.053
Darknet53方法 0.134 0.188
本发明方法 0.093 0.121
表2识别水下管道及其铺设方式分类精度
负样本 水底之上的管道 埋在沟槽内管道
BP网络检测法 76.8％ 80.3％ 94.4％
darknet19方法 84.2％ 31.2％ 40.3％
Darknet53方法 85.1％ 82.2％ 87.6％
本发明方法 100％ 99.8％ 99.9％
表3对实施例1和2的原图的管道检测的交并比IOU
实施例1 实施例2
BP网络检测法 36.3％ 34.2％
darknet19方法 0％ 0％
Darknet53方法 52.1％ 70.3％
本发明方法 71.1％ 78.9％
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合图1、2和表1-3对本发明做进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，基于深度学习的声呐图像水下管道检测方法，包括以下几个步骤：
(1)构建含有水下管道的正样本和不含有水下管道的负样本的侧扫声呐图像数据集，并将数据集分成训练集和测试集两组；
(1.1)将负样本中的图像即不含管道的图像标记为第1类，考虑到常用水下管道的两种铺设方式，将含有管道且铺设在水底之上的水下管道的图像标记为第2类，例如表1中实施例1的原图；将含有管道且埋设在水底下沟槽内的水下管道的图像标记为第3类，例如表1中实施例2的原图；
表1中两个实施例中的原图用文字标识了水柱区和管道的位置。
(1.2)对于正样本的图像，在侧扫声呐图像中标记管道的中心位置线，得到标签图像；
(1.3)为了保证网络分类的泛化能力，需要平衡样本，将第1类、第2类和第3类的样本数量比保持在1:2:2，并分成训练集和测试集两组；
(1.4)为了扩增数据集，需要对训练集的图像进行仿射变换和灰度抖动等操作，因为同一ping扫描线上的接收信号均在侧扫声呐图像中的同一行上，所以只进行缩放、平移和横向错切仿射变换。
(2)对数据集中的侧扫声呐图像进行预处理；
(2.1)因为侧扫声呐图像中间列的位置附近存在水柱区会对管道目标的检测造成干扰，所以通过计算水柱区的最大的像素宽度对训练集和测试集中的图像的水柱区进行裁剪，如表1中实施例1和实施例2的裁剪水柱区后的图像；
(2.2)对裁剪后的图像进行灰度归一化，使其像素的灰度值分布在0～1之间，并将图像的尺寸归一化到288×288×1，其中两个288分别表示图像的高度和宽度，因为声呐数据本质上是水底反射声波的强度信息，可以用灰度图像表示即认为是单通道数据，通道数是1；
(3)构建深度卷积神经网络模型，并用训练集利用含有动量的随机梯度下降算法训练网络中的权重，当达到一定迭代次数后，停止训练，得到最终的模型；
(3.1)构建用于判别水下管道铺设方式和检测管道位置的深度卷积神经网络，网络的结构图如图2所示；
图2中含有菱形填充的矩形框表示输入Input。无填充的矩形框表示用于特征提取的主干网络中的卷积层Conv，框内的数字从左至右分别表示卷积核尺寸/步长和卷积核数量。含加号的圆圈表示两个映射的加和。斜线填充的矩形框是检测网络部分的层。
本发明的主干网络用多个3×3卷积层进行特征提取和多个每两个卷积层增加一个跳远连接的残差块。残差块内是由一个1×1卷积层加上一个3×3卷积层组成，1×1的卷积在保持很好的非线性表达同时能够减少模型的参数。
本发明的主干网络与darknet19相比具有多个残差块能够对不同层的特征进行重新利用，提升了网络的性能；它相比于darknet53在第一残差块的前面多用了一层3×3卷积层，可以针对侧扫声呐图像进行更细致的降噪和底层边缘提取，而且考虑到侧扫声呐图像实际只有单通道的灰度信息，对主干网络相比于darknet53中的每层使用的卷积核的数量进行瘦身，更进一步减少了模型的参数。
本发明的检测网络由判别管道铺设方式的部分和管道位置提取部分组成。
判别管道铺设方式的部分依次是1个1×1的卷积层加上一个9×9的平均池化层串联构成，输出值为类别概率Classification Output。
管道位置提取部分依次是1个1×1的卷积层加上两个并联排列的平均池化层，一个是9×1平均池化层，另一个是1×9的平均池化层，输出值为1×9×3的横向特征图HorizontalMap Output和9×1×3纵向特征图Vertical Map Output；
深度卷积神经网络的输出值都是经过sigmoid函数运算后得到的，所以值域均为(0,1)；
(3.2)设置训练代数(epoch)T＝200、一次训练图像的批数(batchsize)N＝32以及初始的学习率ε0＝0.001；
(3.3)本次迭代(iteration)从训练集中随机抽取(与之前迭代不同的)N个经过(2)预处理后的图像输入到(3.1)构建好的深度卷积神经网络中，分别输出尺寸为N×3的特征图尺寸为N×1×9×3的特征图和尺寸为N×9×1×3的特征图
其中是用来判定(1.1)中3个类别概率，表示沿着图像的横轴方向平均分成9个单元格的预测管道在一横行上位置的N个1行9列3个通道的横向特征图，表示沿着图像的纵轴方向平均分成9个单元格的预测管道在一竖列上位置的N个9行1列3个通道的纵向特征图，3个通道分别代表位置置信度、横向偏移和纵向偏移；
(3.4)利用(3.3)中对应的标签图像c、对应的标签图像w和对应的标签图像h构建总体损失函数L，L的函数表达式为：
其中，表示分类损失函数，表示目标在一横行上位置置信度损失函数，表示目标在一竖列上位置置信度损失函数，表示目标在一横行上位置坐标偏移损失函数，表示目标在一竖列上位置坐标偏移损失函数，网络的输出相对于真实值的交叉熵定义为：
其中，是第n个图像的第i类的输出概率，分别表示特征图中第n个图像在第i个单元格内的置信度、横向偏移和纵向偏移输出，分别对应的标签值，分别表示特征图中第n个图像在第i个单元格内的置信度、横向偏移和纵向偏移输出，分别对应的标签值；
(3.5)设动量参数α＝0.95，本epoch的学习率ε，则本次迭代(iteration)更新后的权重
其中，θ是更新前的权重、ν是更新前的速度(每个epoch初始值均为0)、是中间过程的权重、是更新后的速度、g是梯度、xn是第n个输入图像、是多值函数的输出，cn,wn,hn分别对应的标签值；
(3.6)训练一次(iteration)后，返回(3.3)继续上述步骤，直到所有的训练集图像均被输入到网络中表示完成一代(epoch)，则对下一代的学习率进行更新，为了提高训练效率，设置动态学习率，第t个epoch的学习率为完成所有的epoch，则停止训练，并保存权重。
(4)从测试集中读取一帧经过(2)预处理后的图像输入到训练后的网络中，判别是否存在管道目标，如果图像中包含管道，判断管道的铺设方式并确定表示水下管道在原侧扫声呐图像中位置信息的包围盒集合；
(4.1)训练后的网络分别输出这张图像的所属类别的概率的3维向量在一横行上位置的1×9×3特征图和在一竖列上位置9×1×3纵向特征图
(4.2)判别是否存在管道目标，根据向量中最大值所对应的类别来确定是否有水下管道目标以及管道铺设的方式，如果存在水下管道，判断水下管道的铺设方式并确定表示管道在(2)预处理后图像中位置信息的包围盒集合B＝{a,b,W,H}，如果没有管道则流程结束；
其中a,b分别表示包围盒的中心横坐标和中心纵坐标的集合，W,H表示包围盒的尺寸，为了完整地覆盖目标区域，对于B中的每个包围盒W＝H＝36。
(4.3)如果横向特征图中的置信度通道中数值大于0.5的个数多于纵向特征图中置信度通道的大于0.5的个数，则用中横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有否则用中的横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有这里的整数i表示单元格索引；
(4.4)根据预处理后图像和原图像对应像素的位置关系，求管道目标在原图像中位置的包围盒集合如表1中实施例1和实施例2中的检测管道目标的图像，分别用实线框和虚线框框出(1.1)中第2类的管道目标和第3类的管道目标。
(5)如果图像中包含管道，则检测出水下管道在原侧扫声呐图像中的中心线，根据包围盒集合覆盖区域分割出目标。
(5.1)利用包围盒集合中的中心点集检测出水下管道在原侧扫声呐图像中的中心线；
(5.2)对每个包围盒中的中心点的位置进行重新排列，已知的元素个数为如果在(4)中置信度通道中数值大于0.5的个数多于中置信度通道中数值的大于0.5的个数，则包围盒的中心横坐标集合不变，中心线相对于图像横轴的倾斜程度k1、在纵轴上的截距l1，有否则包围盒的中心纵坐标集合不变，中心线相对于图像纵轴的倾斜程度k2、在纵轴上的截距l2，有如表1中实施例1和实施例2中的管道目标重新排列后的结果图像，能够沿着管道的走向对包围盒的中心点位置进行重排列；
(5.3)根据包围盒集合在原图像中的覆盖区域的信息，如表1中实施例1和实施例2中的分割管道目标结果，能够准确地分割出管道的区域。
根据表1所示，针对表1中的实施例1和实施例2检测时，本发明方法和BP网络检测法[2]相比，在NVIDIA GTX1080的并行加速单元优化深度卷积神经网络运算速度情况下，本发明方法只通过深度卷积神经网络的前向运算就能够一步实现类别的判断和目标的分割，用时相比BP网络检测法明显减少，本发明的主干网络相比darknet53的用来提取特征和管道检测的用时少，计算效率较高。根据表2所示，针对200张不同类别的侧扫声呐图像，本发明的分类精度高达99.7％，明显优于论文“Submarine Pipeline Identification in SideScan SonarImage”和用darknet19和darknet53作为主干网络的检测精度检测方法，尽管darknet19主干网络的检测速度上优越于本发明的方法，但是它针对正样本的类别识别精度却很低，而且均没有检测到表1中实施例1和实施例2中的管道目标，无法满足基本要求。目标检测的交并比IOU是检测目标的区域和真实的区域的交的面积比上这两者并的面积的比值，根据表3中针对表1中的实施例1和实施例2的检测得出的结果表明本发明方法的IOU也明显高于BP网络检测法、darknet19和darknet53的方法的IOU的数值，具有更优秀的位置检测能力。

Claims (10)

1.基于深度学习的声呐图像水下管道检测方法，其特征在于，该方法包括以下步骤：
步骤1：构建含有水下管道的正样本和不含有水下管道的负样本的侧扫声呐图像数据集，并将数据集分成训练集和测试集两组；
步骤2：对数据集中的侧扫声呐图像进行预处理；
步骤3：构建深度卷积神经网络模型，并用训练集利用含有动量的随机梯度下降方法训练网络中的权重，当达到规定迭代次数后，停止训练，得到最终的模型；
步骤4：从测试集中读取一帧经过步骤2预处理后的图像输入到训练后的网络中，判别是否存在管道目标，若图像中包含管道，判断管道的铺设方式并确定表示水下管道在原侧扫声呐图像中位置信息的包围盒集合；
步骤5：若图像中包含管道，则检测出水下管道在原侧扫声呐图像中的中心线，根据包围盒集合覆盖区域分割出目标。
2.根据权利要求1所述的基于深度学习的声呐图像水下管道检测方法，其特征在于，所述步骤1包括：
步骤1.1：将负样本中的图像即不含管道的图像标记为第1类，将含有管道且铺设在水底之上的水下管道的图像标记为第2类，将含有管道且埋设在水底下沟槽内的水下管道的图像标记为第3类；
步骤1.2：对于正样本的图像，在侧扫声呐图像中标记管道的中心位置线，得到标签图像；
步骤1.3：将第1类、第2类和第3类的样本数量比保持在1:2:2，并分成训练集和测试集两组；
步骤1.4：对训练集的图像进行仿射变换和灰度抖动操作，包括进行缩放、平移和横向错切仿射变换。
3.根据权利要求1所述的基于深度学习的声呐图像水下管道检测方法，其特征在于，所述步骤2包括：
步骤2.1：通过计算水柱区的最大的像素宽度对训练集和测试集中的图像的水柱区进行裁剪；
步骤2.2：对裁剪后的图像进行灰度归一化，使其像素的灰度值分布在0～1之间，并将图像的尺寸归一化到288×288×1。
4.根据权利要求1所述的基于深度学习的声呐图像水下管道检测方法，其特征在于，所述步骤3包括：
步骤3.1：构建用于判别水下管道铺设方式和检测管道位置的深度卷积神经网络；
步骤3.2：设置训练代数T、一次训练图像的批数N以及初始的学习率ε0＝0.001；
步骤3.3：本次迭代从训练集中随机抽取，且与之前迭代不同的N个经过步骤2预处理后的图像输入到步骤3.1构建好的深度卷积神经网络中，分别输出尺寸为N×3的特征图尺寸为N×1×9×3的特征图和尺寸为N×9×1×3的特征图
步骤3.4：利用步骤3.3中对应的标签图像c、对应的标签图像w和对应的标签图像h，构建总体损失函数L；
步骤3.5：设动量参数α＝0.95，本训练代数的学习率ε，得到本次迭代更新后的权重
步骤3.6：训练一次后，返回步骤3.3继续上述步骤，直到所有的训练集图像均被输入到网络中表示完成一代，则对下一代的学习率进行更新，并设置动态学习率，第t个训练代数的学习率为完成所有的训练代数，则停止训练，并保存权重。
5.根据权利要求4所述的基于深度学习的声呐图像水下管道检测方法，其特征在于：步骤3.3所述的特征图是用来判定步骤1.1中3个类别概率，所述的特征图表示沿着图像的横轴方向平均分成9个单元格的预测管道在一横行上位置的N个1行9列3个通道的横向特征图，所述的特征图表示沿着图像的纵轴方向平均分成9个单元格的预测管道在一竖列上位置的N个9行1列3个通道的纵向特征图，3个通道分别代表位置置信度、横向偏移和纵向偏移。
6.根据权利要求4所述的基于深度学习的声呐图像水下管道检测方法，其特征在于：步骤3.4所述的总体损失函数L的表达式为：
其中，表示分类损失函数，表示目标在一横行上位置置信度损失函数，表示目标在一竖列上位置置信度损失函数，表示目标在一横行上位置坐标偏移损失函数，表示目标在一竖列上位置坐标偏移损失函数，网络的输出与真实值的交叉熵定义为：
其中，是第n个图像的第i类的输出概率，表示特征图中第n个图像在第i个单元格内的置信度，表示特征图中第n个图像在第i个单元格内的横向偏移输出，表示特征图中第n个图像在第i个单元格内的纵向偏移输出，对应的标签值，对应的标签值，对应的标签值，表示特征图中第n个图像在第i个单元格内的置信度，表示特征图中第n个图像在第i个单元格内的横向偏移输出，表示特征图中第n个图像在第i个单元格内的纵向偏移输出，分别对应的标签值。
7.根据权利要求4所述的基于深度学习的声呐图像水下管道检测方法，其特征在于：步骤3.5所述的本次迭代更新后的权重表示为下式：
其中，θ是更新前的权重、ν是更新前的速度、是中间过程的权重、是更新后的速度、g是梯度、xn是第n个输入图像、是多值函数的输出，cn,wn,hn分别对应的标签值。
8.根据权利要求1所述的基于深度学习的声呐图像水下管道检测方法，其特征在于，所述步骤4包括：
步骤4.1：训练后的网络分别输出这张图像的所属类别的概率的3维向量在一横行上位置的1×9×3特征图和在一竖列上位置9×1×3纵向特征图
步骤4.2：判别是否存在管道目标；
步骤4.3：若横向特征图中的置信度通道中数值大于0.5的个数多于纵向特征图中置信度通道的大于0.5的个数，则用中横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有 否则用中的横向偏移通道和纵向偏移通道计算包围盒的中心坐标集合有 这里的整数i表示单元格索引；
步骤4.4：根据预处理后图像和原图像对应像素的位置关系，求管道目标在原图像中位置的包围盒集合
9.根据权利要求8所述的基于深度学习的声呐图像水下管道检测方法，其特征在于：步骤4.2所述的判别是否存在管道目标是根据向量中最大值所对应的类别来确定是否有水下管道目标以及管道铺设的方式，若存在水下管道，判断水下管道的铺设方式并确定表示管道在步骤2预处理后图像中位置信息的包围盒集合B＝{a,b,W,H}，若没有管道则流程结束，其中a表示包围盒的中心横坐标的集合，b表示包围盒的中心纵坐标的集合，W,H表示包围盒的尺寸，对于B中的每个包围盒W＝H＝36。
10.根据权利要求1所述的基于深度学习的声呐图像水下管道检测方法，其特征在于，所述步骤5包括：
步骤5.1：利用包围盒集合中的中心点集检测出水下管道在原侧扫声呐图像中的中心线；
步骤5.2：对每个包围盒中的中心点的位置进行重新排列，已知的元素个数为若在步骤4中置信度通道中数值大于0.5的个数多于中置信度通道中数值的大于0.5的个数，则包围盒的中心横坐标集合不变，中心线与图像横轴的倾斜程度k1、在纵轴上的截距l1，有否则包围盒的中心纵坐标集合不变，中心线与图像纵轴的倾斜程度k2、在纵轴上的截距l2，有
步骤5.3：根据包围盒集合在原图像中的覆盖区域的信息，能够准确地分割出管道的区域。
CN201910321418.5A 2019-04-22 2019-04-22 基于深度学习的声呐图像水下管道检测方法 Active CN110060248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910321418.5A CN110060248B (zh) 2019-04-22 2019-04-22 基于深度学习的声呐图像水下管道检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910321418.5A CN110060248B (zh) 2019-04-22 2019-04-22 基于深度学习的声呐图像水下管道检测方法

Publications (2)

Publication Number Publication Date
CN110060248A true CN110060248A (zh) 2019-07-26
CN110060248B CN110060248B (zh) 2022-11-11

Family

ID=67319915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910321418.5A Active CN110060248B (zh) 2019-04-22 2019-04-22 基于深度学习的声呐图像水下管道检测方法

Country Status (1)

Country Link
CN (1) CN110060248B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490242A (zh) * 2019-08-12 2019-11-22 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110989016A (zh) * 2019-12-26 2020-04-10 山东师范大学 一种基于移动终端的非视野区域管线勘测系统及方法
CN111445496A (zh) * 2020-02-26 2020-07-24 沈阳大学 一种水下图像识别跟踪系统及方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法
CN112581482A (zh) * 2020-08-13 2021-03-30 江苏东印智慧工程技术研究院有限公司 一种基于respath-unet水下声呐图像数据分割方法
CN113743602A (zh) * 2020-05-27 2021-12-03 合肥君正科技有限公司 一种提高模型后处理速度的方法
CN113989643A (zh) * 2021-10-26 2022-01-28 萱闱(北京)生物科技有限公司 管道状态检测方法、装置、介质及计算设备
US20220215526A1 (en) * 2021-01-04 2022-07-07 Darkvision Technologies Inc. Machine learning model for identifying surfaces in a tubular
CN115755068A (zh) * 2022-11-09 2023-03-07 广东智能无人系统研究院 一种海底管线状态在线智能诊断系统
CN118549529A (zh) * 2024-07-24 2024-08-27 青岛澎湃海洋探索技术有限公司 市政管道典型缺陷实时自主识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220226A (ja) * 1995-02-16 1996-08-30 Tech Res & Dev Inst Of Japan Def Agency 目標信号検出方式
CN107909082A (zh) * 2017-10-30 2018-04-13 东南大学 基于深度学习技术的声呐图像目标识别方法
CN109325527A (zh) * 2018-09-05 2019-02-12 哈尔滨工程大学 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08220226A (ja) * 1995-02-16 1996-08-30 Tech Res & Dev Inst Of Japan Def Agency 目標信号検出方式
CN107909082A (zh) * 2017-10-30 2018-04-13 东南大学 基于深度学习技术的声呐图像目标识别方法
CN109325527A (zh) * 2018-09-05 2019-02-12 哈尔滨工程大学 一种基于迁移学习与深度学习的侧扫声呐图像目标自动分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卢艺帆等: "基于卷积神经网络的光学遥感图像目标检测", 《中国科技论文》 *
郭戈等: "基于声呐图像的水下目标检测、识别与跟踪研究综述", 《控制与决策》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490242A (zh) * 2019-08-12 2019-11-22 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110490242B (zh) * 2019-08-12 2024-03-29 腾讯医疗健康(深圳)有限公司 图像分类网络的训练方法、眼底图像分类方法及相关设备
CN110989016B (zh) * 2019-12-26 2022-06-24 山东师范大学 一种基于移动终端的非视野区域管线勘测系统及方法
CN110989016A (zh) * 2019-12-26 2020-04-10 山东师范大学 一种基于移动终端的非视野区域管线勘测系统及方法
CN111445496A (zh) * 2020-02-26 2020-07-24 沈阳大学 一种水下图像识别跟踪系统及方法
CN111445496B (zh) * 2020-02-26 2023-06-30 沈阳大学 一种水下图像识别跟踪系统及方法
CN111476756A (zh) * 2020-03-09 2020-07-31 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111476756B (zh) * 2020-03-09 2024-05-14 重庆大学 一种基于改进YOLOv3网络模型识别铸件DR图像疏松缺陷的方法
CN111582345A (zh) * 2020-04-29 2020-08-25 中国科学院重庆绿色智能技术研究院 一种小样本下复杂环境的目标识别方法
CN113743602A (zh) * 2020-05-27 2021-12-03 合肥君正科技有限公司 一种提高模型后处理速度的方法
CN113743602B (zh) * 2020-05-27 2024-05-03 合肥君正科技有限公司 一种提高模型后处理速度的方法
CN112581482A (zh) * 2020-08-13 2021-03-30 江苏东印智慧工程技术研究院有限公司 一种基于respath-unet水下声呐图像数据分割方法
US20220215526A1 (en) * 2021-01-04 2022-07-07 Darkvision Technologies Inc. Machine learning model for identifying surfaces in a tubular
US11983860B2 (en) * 2021-01-04 2024-05-14 Darkvision Technologies Inc. Machine learning model for identifying surfaces in a tubular
CN113989643A (zh) * 2021-10-26 2022-01-28 萱闱(北京)生物科技有限公司 管道状态检测方法、装置、介质及计算设备
CN113989643B (zh) * 2021-10-26 2023-09-01 萱闱(北京)生物科技有限公司 管道状态检测方法、装置、介质及计算设备
CN115755068A (zh) * 2022-11-09 2023-03-07 广东智能无人系统研究院 一种海底管线状态在线智能诊断系统
CN118549529A (zh) * 2024-07-24 2024-08-27 青岛澎湃海洋探索技术有限公司 市政管道典型缺陷实时自主识别方法

Also Published As

Publication number Publication date
CN110060248B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN110060248B (zh) 基于深度学习的声呐图像水下管道检测方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN111091105B (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN109086824B (zh) 一种基于卷积神经网络的海底底质声呐图像分类方法
US20230108634A1 (en) Ground penetrating radar and deep learning-based underground pipeline detection method and system
CN103033817B (zh) 大型auv避碰用障碍物自主识别系统
CN109932708B (zh) 一种基于干涉条纹和深度学习的水面水下分类目标的方法
CN111753677B (zh) 基于特征金字塔结构的多角度遥感船舶图像目标检测方法
CN110879961B (zh) 利用车道模型的车道检测方法和装置
CN112068085B (zh) 一种基于深度学习的雷达海杂波原始数据快速预处理方法
CN116665148A (zh) 基于合成孔径雷达数据的海上船舶检测方法
CN110334656A (zh) 基于信源概率加权的多源遥感图像水体提取方法及装置
CN111445515A (zh) 基于特征融合网络的地下圆柱体目标半径估算方法及系统
CN117953314B (zh) 一种多维特征优选海洋底质分类方法及系统
CN116468995A (zh) 一种联合slic超像素和图注意力网络的声呐图像分类方法
CN115240058A (zh) 一种联合图像精准分割和目标阴影信息的侧扫声呐目标检测方法
CN113516657B (zh) 一种基于自适应权重的全极化sar影像海面溢油检测方法
Tang et al. Using seabed acoustic imagery to characterize and classify seabed sediment types in the pockmark area of the North Yellow Sea, China
CN108229402A (zh) 基于声波的事件检测系统及检测方法
Yang et al. Automatic segmentation of gas plumes from multibeam water column images using a U-shape network
CN117351345A (zh) 一种基于立体视觉的海上目标识别与定位方法
CN107170004A (zh) 一种无人车单目视觉定位中对匹配矩阵的图像匹配方法
CN115877374A (zh) 一种地下目标识别定位与成像方法
CN111951242B (zh) 基于多波束测深声纳的气体泄露检测方法
CN115019096A (zh) 一种基于动态神经网络的武装人员装备检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant