CN112085728A - 一种海底管道及泄漏点检测方法 - Google Patents
一种海底管道及泄漏点检测方法 Download PDFInfo
- Publication number
- CN112085728A CN112085728A CN202010979697.7A CN202010979697A CN112085728A CN 112085728 A CN112085728 A CN 112085728A CN 202010979697 A CN202010979697 A CN 202010979697A CN 112085728 A CN112085728 A CN 112085728A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- image
- training
- pipeline
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000003709 image segmentation Methods 0.000 claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 15
- 238000002474 experimental method Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000004519 manufacturing process Methods 0.000 claims abstract description 7
- 238000005286 illumination Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 71
- 238000012549 training Methods 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000006872 improvement Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F17—STORING OR DISTRIBUTING GASES OR LIQUIDS
- F17D—PIPE-LINE SYSTEMS; PIPE-LINES
- F17D5/00—Protection or supervision of installations
- F17D5/02—Preventing, monitoring, or locating loss
- F17D5/06—Preventing, monitoring, or locating loss using electric or acoustic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M3/00—Investigating fluid-tightness of structures
- G01M3/02—Investigating fluid-tightness of structures by using fluid or vacuum
- G01M3/04—Investigating fluid-tightness of structures by using fluid or vacuum by detecting the presence of fluid at the leakage point
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种海底管道及泄漏点检测方法，包括如下步骤：步骤一：使用水下摄像机拍摄获取水下图像，然后对水下图像进行增强处理，使用高斯滤波法对图像去噪，使用直方图均衡化使图像更加清晰，使用低照度图像增强算法增强图像亮度；步骤二：建立水下环境海底管道光学图像检测数据集，使用YOLOv3算法对水下管道图像和视频进行检测实验；步骤三：制作水下环境海底管道光学图像分割数据集，对水下管道及泄漏目标进行图像分割，融合改进最新实例分割算法MASK R‑CNN算法和YOLACT算法，以实现最优的图像分割效果。本发明融合改进了MASK R‑CNN和YOLACT算法对海底管道及泄漏点进行图像分割。本发明可以满足海底管道泄漏点实时检测的需要，检测准确率较高。
Description
技术领域
本发明涉及一种检测方法，尤其涉及一种海底管道及泄漏点检测方法，属于目标检测与图像分割领域。
背景技术
目标识别的目的是寻找给定图像中是否存在提出的类别(如水下海底管道图像中是否存在管道以及泄漏点)，在存在的情况下输出确定该类别的具体位置，并且使用包围框框起来。目标识别目前面对的难题仍然是如何提升算法的准确性和识别速度，并且能够适应不断变化的环境。尤其是在水下环境中，复杂的水下环境会让识别算法更难适应，因此，我们需要对目标识别算法进行不断的研究，使其对水下环境的适应性更强，并且寻找能移植到水下机器人上的算法，提高其实用性。
海底管道及泄漏点的识别检测在维护管道正常运作方面至关重要，目前成熟的解决方案有两种：第一种是通过电磁波等物理信号的形式对管道泄漏进行检测，用一定方式在管道壁附加磁性，依据整个管道磁场是否发生变化来判断管道的泄漏问题。第二种是通过光学图像的方式对管道泄漏进行检测，光学图像较电磁波等物理信号包含较多信息，在管道泄漏检测方面表现更为直观，通过对图像的处理获得泄漏信息较多，因此对于水下光学图像检测的研究日益增多。水下环境较为复杂，光学图像成像会遇到成像不清晰等问题，另外，由于水下环境受到光线和海流因素的干扰，因此，针对海底管道泄漏点检测现阶段还没有比较成熟的方法。
发明内容
本发明的目的是为了提供一种能够克服水下复杂环境干扰的海底管道及泄漏点检测方法。
本发明的目的是这样实现的：
一种海底管道及泄漏点检测方法，包括如下步骤：
步骤一：使用水下摄像机拍摄获取水下图像，然后对水下图像进行增强处理，使用高斯滤波法对图像去噪，使用直方图均衡化使图像更加清晰，使用低照度图像增强算法增强图像亮度；
步骤二：建立水下环境海底管道光学图像检测数据集，使用YOLOv3算法对水下管道图像和视频进行检测实验；
步骤三：制作水下环境海底管道光学图像分割数据集，对水下管道及泄漏目标进行图像分割，融合改进最新实例分割算法MASK R-CNN算法和YOLACT算法，以实现最优的图像分割效果。
本发明还包括这样一些特征：
所述步骤一具体为：
首先，采集图像中的像素点，将其作为数组运算，让每个像素点乘以不同的权重再与周围的像素点相加，之后取平均；
其次，进行亮度增强，通过三通道图像中的绿色通道取反后与其他通道的像素值相乘得出新的图像层，之后将原图像与新的图像层做一次滤色混合，计算过程如式：
f(a,b)＝1-(1-a)×(1-b) (1)
其中a为新图层的像素值，b为原图的像素值；
最后，直方图均衡化，将像素中灰度值的分别计数，之后算出每个灰度值对应的概率，从而完成新的灰度值的映射，其映射函数为式：
其中m为统计出的像素点总数，mj为像素灰度值等于j的像素总数；Sk为得到的新的灰度级。
所述步骤二具体为：
制作海底管道光学图像检测数据集，管道数据集为水下机器人在海底实际采集的图像，包含带有泄漏点的管道，共有2000张720×576的三通道图像，将其按9∶1比例分成训练集和测试集；获取图像后，使用labellmg工具对数据集进行打签，对2000张训练集和验证集图片使用该工具进行手动标框，形成xml文件，然后转换为txt文件，将图片与txt文件对应放到文件夹中；
使用YOLOv3进行水下管道泄漏点训练与检测，在本次训练实验中，检测目标为管道和泄漏点共2类，所以在YOLOv3训练创建的cfg文件中将classes改为2，将filters改为(classes+5)x3即21；设置输出置信度的阈值为0.6，即预测出结果置信度大于0.6时，输出该预测结果为输出管道和泄漏点，如果小于0.6即认为此时没有泄漏；采用非极大值抑制算法来解决预测结果框重复较多的问题，在预测结果框面积交并比大于0.6的框中选取置信度最高的那一个，去掉其他预测结果框；采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1，从而使训练更易于收敛；在makefile文件中将GPU加速，OpenCV置为1，将训练文件路径进行修改，输入训练指令之后开始训练；
经过1000轮训练后，YOLOv3得到后缀名为.weights的权重文件；使用对应的权重文件对海底管道图片进行检测，使用YOLOv3网络检测出的图片不同类别在同一张图片中显示；待图片检测实验完成，修改检测程序，使用训练好的权重对水下管道视频进行检测。
所述步骤三具体为：
首先，针对分割网络特征提取层进行改进：MASK R-CNN原特征提取网络中高层到低层的传播路径较长，使得特征融合效果不够理想，从而降低了分割的准确性：在原FPN网络进行改进，改进网络在原FPN结构的基础上增加了新的H2到H5特征图，H2特征图为直接复制P2层的特征图，之后通过步长为2的3×3卷积使特征图尺寸降为原来的二分之一，再与P3层的特征图横向连接，此处连接的操作为逐像素相加；连接之后再通过一个卷积核尺寸为3×3的卷积层生成下一层特征图H3，之后几层的形成方式与之相同，其中特征图的通道数均为256，与原FPN保持一致；卷积之后都通过ReLU函数进行非线性激活，这些新特征图通过池化层后进入RPN网络进行之后的处理；
然后，针对分割与输出层进行改进，对MASK R-CNN中损失函数的分支Lmask做了部分改进，在Mask R-CNN中Lmask为平均二值交叉熵损失函数，该函数在分割任务中的不足是依赖于区域信息，从而忽视了边界的预测，使在最后的分割结果上对边界分割准确度不高；由于是将Mask R-CNN应用到水下海底管道分割任务上，对边界的分割结果比较敏感，所以提出在L中加入边界加权损失函数；在训练过程中，边界加权损失函数利用距离损失对分割的形状、位置和连续性进行正则化，使其更加接近管道及泄漏点边界，其公式如下：
其中t*为经过二值化后预测的分割结果，t为分割真值经过二值化后的结果，M为分割结果的边界，R为整个分割区域，Mdis为对分割真值分割边框的距离变换，可以当作一张距离图；这种损失函数在Lmask增加了边框损失的权重，使图像边缘的分割效果更好，从而使海底管道图像分割更加准确；
最后，在非极大值抑制方法上使用YOLACT中的Fast NMS方法；将改进后的算法应用到图像分割前，要先制作分割数据集，使用labelme工具对2000张720×576的三通道图打标签，将其按9：1比例分成训练集和测试集，然后形成json文件，在分割训练网络中，分割目标为管道、泄漏点、背景类一共三类，修改分割网络中的代码，在class部分设置为3，与检测实验部分一样，设置输出置信度的阈值为0.6，采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1；将GPU加速置为1，修改训练文件路径，在代码文件夹中打开命令窗口，输入训练代码指令，使网络开始训练，经过1000轮训练后，得到最终的权重文件，将海底管道图像分别送入训练好的分割网络中。
与现有技术相比，本发明的有益效果是：
本发明对海底管道及泄漏点图像进行了增强处理，改善了图像的整体素质，将目标检测方法YOLOv3应用到了海底管道泄漏点的检测中，实验结果表明，YOLOv3的准确率及检测时间都满足水下环境的要求。本发明融合改进了MASK R-CNN和YOLACT算法对海底管道及泄漏点进行图像分割。本发明可以满足海底管道泄漏点实时检测的需要，检测准确率较高。
附图说明
图1为海底管道泄漏点检测流程图；
图2为改进海底管道分割网络结构图；
图3a-b为海底管道及泄漏点图像分割图；
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述。
本发明所使用的软件及硬件配置条件如下，硬件配置为64位Windows 10操作系统，英特尔i5-9400F六核六线程CPU,16G双通道内存，NVIDIA GTX 2060(6G显存)，软件环境为OpenCV 3.4.0+Pycharm2019，+CUDA10.0+Pytorch0.4.0+tensorflow1.12.0。
如图1所示，本发明给出了检测海底管道泄漏的具体流程，对海底管道图像进行增强处理，并建立水下海底管道的数据集，使用YOLOv3对泄漏管道进行检测，如果有泄漏点，对水下管道及泄漏点进行图像分割，如果没有泄漏点，重新更新水下管道的数据集。
步骤一：使用水下摄像机拍摄获取水下图像，然后对水下图像进行增强处理，使用高斯滤波法对图像去噪，使用直方图均衡化使图像更加清晰，使用低照度图像增强算法增强图像亮度；
首先，采集图像中的像素点，将其作为数组运算，让每个像素点乘以不同的权重再与周围的像素点相加，之后取平均值。该算法的输出较为平滑，能够有效去除高斯噪声。
其次，进行亮度增强，通过三通道图像中的绿色通道取反后与其他通道的像素值相乘得出新的图像层，之后将原图像与新的图像层做一次滤色混合，计算过程如式：
f(a,b)＝1-(1-a)×(1-b) (1)
其中a为新图层的像素值，b为原图的像素值。
最后，直方图均衡化，将像素中灰度值的分别计数，之后算出每个灰度值对应的概率，从而完成新的灰度值的映射，其映射函数为式：
其中m为统计出的像素点总数，mj为像素灰度值等于j的像素总数。Sk为得到的新的灰度级。
步骤二：建立水下环境海底管道光学图像检测数据集，使用YOLOv3算法对水下管道图像和视频进行检测实验；
制作海底管道光学图像检测数据集，本发明管道数据集为水下机器人在海底实际采集的图像，包含带有泄漏点的管道。共有2000张720×576的三通道图像，将其按9∶1比例分成训练集和测试集。获取图像后，使用labellmg工具对数据集进行打签，对2000张训练集和验证集图片使用该工具进行手动标框，形成xml文件，然后转换为txt文件，将图片与txt文件对应放到文件夹中。
使用YOLOv3进行水下管道泄漏点训练与检测，在本次训练实验中，检测目标为管道和泄漏点共2类，所以在YOLOv3训练创建的cfg文件中将classes改为2，将filters改为(classes+5)x3即21。设置输出置信度的阈值为0.6，即预测出结果置信度大于0.6时，输出该预测结果为输出管道和泄漏点，如果小于0.6即认为此时没有泄漏。采用非极大值抑制算法来解决预测结果框重复较多的问题，在预测结果框面积交并比大于0.6的框中选取置信度最高的那一个，去掉其他预测结果框。采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1，从而使训练更易于收敛。在makefile文件中将GPU加速，OpenCV置为1，将训练文件路径进行修改，输入训练指令之后开始训练。
经过1000轮训练后，YOLOv3得到后缀名为.weights的权重文件。使用对应的权重文件对海底管道图片进行检测，使用YOLOv3网络检测出的图片不同类别在同一张图片中显示。待图片检测实验完成，修改检测程序，使用训练好的权重对水下管道视频进行检测。
步骤三：制作水下环境海底管道光学图像分割数据集，对水下管道及泄漏目标进行图像分割，融合改进最新实例分割算法MASK R-CNN算法和YOLACT算法，以实现最优的图像分割效果；
由于分别使用实例分割算法MASK R-CNN算法和YOLACT算法进行图像分割时，出现了分割不完整，管道分割有缺点等问题。本发明融合改进了这两种算法，以实现更好的分割效果。
首先，针对分割网络特征提取层进行改进。MASK R-CNN原特征提取网络中高层到低层的传播路径较长，使得特征融合效果不够理想，从而降低了分割的准确性。本发明在原FPN网络进行改进，改进网络在原FPN结构的基础上增加了新的H2到H5特征图，H2特征图为直接复制P2层的特征图，之后通过步长为2的3×3卷积使特征图尺寸降为原来的二分之一，再与P3层的特征图横向连接，此处连接的操作为逐像素相加。连接之后再通过一个卷积核尺寸为3×3的卷积层生成下一层特征图H3，之后几层的形成方式与之相同，其中特征图的通道数均为256，与原FPN保持一致。卷积之后都通过ReLU函数进行非线性激活，这些新特征图通过池化层后进入RPN网络进行之后的处理。改进特征提取网络减短了信息流动的路线，使得高低层特征图之间的信息融合更加有效，从而增加高层到低层之间的语义性，更利于边缘形状特征的提取，使得分类和识别效果更好。
然后，针对分割与输出层进行改进，本发明对MASK R-CNN中损失函数的分支Lmask做了部分改进，在Mask R-CNN中Lmask为平均二值交叉熵损失函数，该函数在分割任务中的不足是依赖于区域信息，从而忽视了边界的预测，使在最后的分割结果上对边界分割准确度不高。由于本发明是将Mask R-CNN应用到水下海底管道分割任务上，对边界的分割结果比较敏感，所以提出在L中加入BWL(边界加权损失函数)。在训练过程中，边界加权损失函数利用距离损失对分割的形状、位置和连续性进行正则化，使其更加接近管道及泄漏点边界，其公式如下：
其中t*为经过二值化后预测的分割结果，t为分割真值经过二值化后的结果，M为分割结果的边界，R为整个分割区域，Mdis为对分割真值分割边框的距离变换，可以当作一张距离图。这种损失函数在Lmask增加了边框损失的权重，使图像边缘的分割效果更好，从而使海底管道图像分割更加准确。
最后，在非极大值抑制方法上不采用传统的非极大值抑制方法，使用YOLACT中的Fast NMS方法，提升其运算的快速性，并且保证结果在预期范围之内。综上所述改进方法的总结构图如图2所示。
将改进后的算法应用到图像分割前，要先制作分割数据集。使用labelme工具对2000张720×576的三通道图打标签，将其按9：1比例分成训练集和测试集，然后形成json文件。在分割训练网络中，分割目标为管道、泄漏点、背景类一共三类，修改分割网络中的代码，在class部分设置为3，与检测实验部分一样，设置输出置信度的阈值为0.6，采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1。将GPU加速置为1，修改训练文件路径，在代码文件夹中打开命令窗口，输入训练代码指令，使网络开始训练。经过1000轮训练后，得到最终的权重文件，将海底管道图像分别送入训练好的分割网络中，使用改进海底管道分割网络的有泄漏点管道分割结果如图3所示。实验表明改进算法可以较准确地分割出管道及其泄漏点，且在分割精度与分割速度上相较前两种算法都有所提升。
Claims (4)
1.一种海底管道及泄漏点检测方法，其特征是，包括如下步骤：
步骤一：使用水下摄像机拍摄获取水下图像，然后对水下图像进行增强处理，使用高斯滤波法对图像去噪，使用直方图均衡化使图像更加清晰，使用低照度图像增强算法增强图像亮度；
步骤二：建立水下环境海底管道光学图像检测数据集，使用YOLOv3算法对水下管道图像和视频进行检测实验；
步骤三：制作水下环境海底管道光学图像分割数据集，对水下管道及泄漏目标进行图像分割，融合改进最新实例分割算法MASK R-CNN算法和YOLACT算法，以实现最优的图像分割效果。
2.根据权利要求1所述的海底管道及泄漏点检测方法，其特征是，所述步骤一具体为：
首先，采集图像中的像素点，将其作为数组运算，让每个像素点乘以不同的权重再与周围的像素点相加，之后取平均；
其次，进行亮度增强，通过三通道图像中的绿色通道取反后与其他通道的像素值相乘得出新的图像层，之后将原图像与新的图像层做一次滤色混合，计算过程如式：
f(a,b)＝1-(1-a)×(1-b) (1)
其中a为新图层的像素值，b为原图的像素值；
最后，直方图均衡化，将像素中灰度值的分别计数，之后算出每个灰度值对应的概率，从而完成新的灰度值的映射，其映射函数为式：
其中m为统计出的像素点总数，mj为像素灰度值等于j的像素总数；Sk为得到的新的灰度级。
3.根据权利要求1所述的海底管道及泄漏点检测方法，其特征是，所述步骤二具体为：
制作海底管道光学图像检测数据集，管道数据集为水下机器人在海底实际采集的图像，包含带有泄漏点的管道，共有2000张720×576的三通道图像，将其按9∶1比例分成训练集和测试集；获取图像后，使用labellmg工具对数据集进行打签，对2000张训练集和验证集图片使用该工具进行手动标框，形成xml文件，然后转换为txt文件，将图片与txt文件对应放到文件夹中；
使用YOLOv3进行水下管道泄漏点训练与检测，在本次训练实验中，检测目标为管道和泄漏点共2类，所以在YOLOv3训练创建的cfg文件中将classes改为2，将filters改为(classes+5)x3即21；设置输出置信度的阈值为0.6，即预测出结果置信度大于0.6时，输出该预测结果为输出管道和泄漏点，如果小于0.6即认为此时没有泄漏；采用非极大值抑制算法来解决预测结果框重复较多的问题，在预测结果框面积交并比大于0.6的框中选取置信度最高的那一个，去掉其他预测结果框；采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1，从而使训练更易于收敛；在makefile文件中将GPU加速，OpenCV置为1，将训练文件路径进行修改，输入训练指令之后开始训练；
经过1000轮训练后，YOLOv3得到后缀名为.weights的权重文件；使用对应的权重文件对海底管道图片进行检测，使用YOLOv3网络检测出的图片不同类别在同一张图片中显示；待图片检测实验完成，修改检测程序，使用训练好的权重对水下管道视频进行检测。
4.根据权利要求1所述的海底管道及泄漏点检测方法，其特征是，所述步骤三具体为：
首先，针对分割网络特征提取层进行改进：MASK R-CNN原特征提取网络中高层到低层的传播路径较长，使得特征融合效果不够理想，从而降低了分割的准确性：在原FPN网络进行改进，改进网络在原FPN结构的基础上增加了新的H2到H5特征图，H2特征图为直接复制P2层的特征图，之后通过步长为2的3×3卷积使特征图尺寸降为原来的二分之一，再与P3层的特征图横向连接，此处连接的操作为逐像素相加；连接之后再通过一个卷积核尺寸为3×3的卷积层生成下一层特征图H3，之后几层的形成方式与之相同，其中特征图的通道数均为256，与原FPN保持一致；卷积之后都通过ReLU函数进行非线性激活，这些新特征图通过池化层后进入RPN网络进行之后的处理；
然后，针对分割与输出层进行改进，对MASK R-CNN中损失函数的分支Lmask做了部分改进，在Mask R-CNN中Lmask为平均二值交叉熵损失函数，该函数在分割任务中的不足是依赖于区域信息，从而忽视了边界的预测，使在最后的分割结果上对边界分割准确度不高；由于是将Mask R-CNN应用到水下海底管道分割任务上，对边界的分割结果比较敏感，所以提出在L中加入边界加权损失函数；在训练过程中，边界加权损失函数利用距离损失对分割的形状、位置和连续性进行正则化，使其更加接近管道及泄漏点边界，其公式如下：
其中t*为经过二值化后预测的分割结果，t为分割真值经过二值化后的结果，M为分割结果的边界，R为整个分割区域，Mdis为对分割真值分割边框的距离变换，可以当作一张距离图；这种损失函数在Lmask增加了边框损失的权重，使图像边缘的分割效果更好，从而使海底管道图像分割更加准确；
最后，在非极大值抑制方法上使用YOLACT中的Fast NMS方法；将改进后的算法应用到图像分割前，要先制作分割数据集，使用labelme工具对2000张720×576的三通道图打标签，将其按9：1比例分成训练集和测试集，然后形成json文件，在分割训练网络中，分割目标为管道、泄漏点、背景类一共三类，修改分割网络中的代码，在class部分设置为3，与检测实验部分一样，设置输出置信度的阈值为0.6，采用学习率衰减的方式进行训练，每当训练200轮后将学习率设为之前学习率的0.1；将GPU加速置为1，修改训练文件路径，在代码文件夹中打开命令窗口，输入训练代码指令，使网络开始训练，经过1000轮训练后，得到最终的权重文件，将海底管道图像分别送入训练好的分割网络中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010979697.7A CN112085728B (zh) | 2020-09-17 | 2020-09-17 | 一种海底管道及泄漏点检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010979697.7A CN112085728B (zh) | 2020-09-17 | 2020-09-17 | 一种海底管道及泄漏点检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112085728A true CN112085728A (zh) | 2020-12-15 |
| CN112085728B CN112085728B (zh) | 2022-06-21 |
Family
ID=73736841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010979697.7A Active CN112085728B (zh) | 2020-09-17 | 2020-09-17 | 一种海底管道及泄漏点检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112085728B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669274A (zh) * | 2020-12-23 | 2021-04-16 | 山东大学 | 一种用于表面异常区域像素级分割的多任务检测方法 |
| CN113191341A (zh) * | 2021-07-01 | 2021-07-30 | 天津海翼科技有限公司 | 浮体平台检测的潜水器规划方法、系统、设备和潜水器 |
| CN114354082A (zh) * | 2022-03-18 | 2022-04-15 | 山东科技大学 | 一种基于仿鲟鱼吻须的海底管道智能循迹系统和循迹方法 |
| CN116129365A (zh) * | 2023-04-18 | 2023-05-16 | 天津美腾科技股份有限公司 | 输送设备上颗粒物料的检测方法和系统 |
| CN116433668A (zh) * | 2023-06-14 | 2023-07-14 | 东营孚瑞特能源设备有限公司 | 一种智能液压油管漏油检测方法 |
| CN116434081A (zh) * | 2023-04-25 | 2023-07-14 | 广东工业大学 | 一种基于5g+云边端水下机器人控制管理方法及系统 |
| CN117557499A (zh) * | 2023-10-20 | 2024-02-13 | 中水珠江规划勘测设计有限公司 | 一种海底管线泄漏的识别方法、装置、电子设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107329483A (zh) * | 2017-09-06 | 2017-11-07 | 天津理工大学 | 一种基于视觉技术的管道检测机器人系统及工作方法 |
| CN108050396A (zh) * | 2016-12-28 | 2018-05-18 | 吉林省百瑞生科技发展有限公司 | 一种流体管道泄漏源监测定位系统及方法 |
| US20180341859A1 (en) * | 2017-05-24 | 2018-11-29 | Southwest Research Institute | Detection of Hazardous Leaks from Pipelines Using Optical Imaging and Neural Network |
| WO2019051961A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳大学 | 一种管道检测方法、装置以及存储介质 |
| CN111339858A (zh) * | 2020-02-17 | 2020-06-26 | 电子科技大学 | 一种基于神经网络的油气管道标志物识别方法 |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| CN111461291A (zh) * | 2020-03-13 | 2020-07-28 | 西安科技大学 | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111652144A (zh) * | 2020-06-03 | 2020-09-11 | 广东小天才科技有限公司 | 基于目标区域融合的题目分割方法、装置、设备和介质 |
-
2020
- 2020-09-17 CN CN202010979697.7A patent/CN112085728B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108050396A (zh) * | 2016-12-28 | 2018-05-18 | 吉林省百瑞生科技发展有限公司 | 一种流体管道泄漏源监测定位系统及方法 |
| US20180341859A1 (en) * | 2017-05-24 | 2018-11-29 | Southwest Research Institute | Detection of Hazardous Leaks from Pipelines Using Optical Imaging and Neural Network |
| CN107329483A (zh) * | 2017-09-06 | 2017-11-07 | 天津理工大学 | 一种基于视觉技术的管道检测机器人系统及工作方法 |
| WO2019051961A1 (zh) * | 2017-09-18 | 2019-03-21 | 深圳大学 | 一种管道检测方法、装置以及存储介质 |
| CN111339858A (zh) * | 2020-02-17 | 2020-06-26 | 电子科技大学 | 一种基于神经网络的油气管道标志物识别方法 |
| CN111401148A (zh) * | 2020-02-27 | 2020-07-10 | 江苏大学 | 一种基于改进的多级YOLOv3的道路多目标检测方法 |
| CN111461291A (zh) * | 2020-03-13 | 2020-07-28 | 西安科技大学 | 基于YOLOv3剪枝网络和深度学习去雾模型的长输管线巡检方法 |
| CN111597920A (zh) * | 2020-04-27 | 2020-08-28 | 东南大学 | 一种自然场景下的全卷积单阶段的人体实例分割方法 |
| CN111652144A (zh) * | 2020-06-03 | 2020-09-11 | 广东小天才科技有限公司 | 基于目标区域融合的题目分割方法、装置、设备和介质 |
Non-Patent Citations (5)
| Title |
|---|
| HAO CHEN 等: "BlendMask: Top-Down Meets Bottom-Up for Instance Segmentation", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 * |
| XINHUA ZHAO 等: "Research on the Image Enhancement Technology of Underwater Image of Supercavitation Vehicle", 《2019 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION (ICMA)》 * |
| 刘炜 等: "检测与定位管道泄漏的图像处理方法研究", 《控制工程》 * |
| 孙文雅 等: "基于BP神经网络管道裂缝图像分割", 《计算机测量与控制》 * |
| 袁汉钦 等: "一种基于掩膜组合的多类弹载图像目标分割算法", 《舰船电子工程》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669274A (zh) * | 2020-12-23 | 2021-04-16 | 山东大学 | 一种用于表面异常区域像素级分割的多任务检测方法 |
| CN113191341A (zh) * | 2021-07-01 | 2021-07-30 | 天津海翼科技有限公司 | 浮体平台检测的潜水器规划方法、系统、设备和潜水器 |
| CN114354082A (zh) * | 2022-03-18 | 2022-04-15 | 山东科技大学 | 一种基于仿鲟鱼吻须的海底管道智能循迹系统和循迹方法 |
| CN114354082B (zh) * | 2022-03-18 | 2022-05-31 | 山东科技大学 | 一种基于仿鲟鱼吻须的海底管道智能循迹系统和循迹方法 |
| CN116129365A (zh) * | 2023-04-18 | 2023-05-16 | 天津美腾科技股份有限公司 | 输送设备上颗粒物料的检测方法和系统 |
| CN116129365B (zh) * | 2023-04-18 | 2023-08-15 | 天津美腾科技股份有限公司 | 输送设备上颗粒物料的检测方法和系统 |
| CN116434081A (zh) * | 2023-04-25 | 2023-07-14 | 广东工业大学 | 一种基于5g+云边端水下机器人控制管理方法及系统 |
| CN116433668A (zh) * | 2023-06-14 | 2023-07-14 | 东营孚瑞特能源设备有限公司 | 一种智能液压油管漏油检测方法 |
| CN116433668B (zh) * | 2023-06-14 | 2023-09-12 | 东营孚瑞特能源设备有限公司 | 一种智能液压油管漏油检测方法 |
| CN117557499A (zh) * | 2023-10-20 | 2024-02-13 | 中水珠江规划勘测设计有限公司 | 一种海底管线泄漏的识别方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112085728B (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112085728B (zh) | 一种海底管道及泄漏点检测方法 | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| EP3158532B1 (en) | Local adaptive histogram equalization | |
| CN107452015B (zh) | 一种具有重检测机制的目标跟踪系统 | |
| CN109460764B (zh) | 一种结合亮度特征与改进帧间差分法的卫星视频船舶监测方法 | |
| CN113159043B (zh) | 基于语义信息的特征点匹配方法及系统 | |
| CN109559273B (zh) | 一种面向车底图像的快速拼接方法 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| US8526500B2 (en) | System and method for global inter-frame motion detection in video sequences | |
| CN106657948A (zh) | 低照度Bayer图像的增强方法及增强装置 | |
| CN101739667B (zh) | 基于非下采样轮廓波变换的遥感图像道路增强方法 | |
| CN111241943B (zh) | 基于背景目标与三元组损失的场景识别与回环检测方法 | |
| CN114037087B (zh) | 模型训练方法及装置、深度预测方法及装置、设备和介质 | |
| CN115830064B (zh) | 一种基于红外脉冲信号的弱小目标跟踪方法及装置 | |
| CN115358962B (zh) | 一种端到端视觉里程计方法及装置 | |
| CN111062384A (zh) | 一种基于深度学习的车窗精确定位方法 | |
| CN115393655A (zh) | 基于YOLOv5s网络模型的工业运载车的检测方法 | |
| CN115359094A (zh) | 一种基于深度学习的运动目标检测方法 | |
| CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
| CN114764820A (zh) | 一种基于对比度的红外弱小目标检测、跟踪方法和系统 | |
| CN114332682A (zh) | 一种海上全景去雾目标识别方法 | |
| CN112686200A (zh) | 一种基于多方案并联关注机制的行人重识别方法及系统 | |
| CN112949389A (zh) | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |