CN110853041A - 一种基于深度学习与声呐成像的水下桥墩构件分割方法 - Google Patents
一种基于深度学习与声呐成像的水下桥墩构件分割方法 Download PDFInfo
- Publication number
- CN110853041A CN110853041A CN201911100071.8A CN201911100071A CN110853041A CN 110853041 A CN110853041 A CN 110853041A CN 201911100071 A CN201911100071 A CN 201911100071A CN 110853041 A CN110853041 A CN 110853041A
- Authority
- CN
- China
- Prior art keywords
- underwater
- deep learning
- pier
- sonar
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003384 imaging method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000011218 segmentation Effects 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims description 10
- 201000010099 disease Diseases 0.000 claims description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 230000009189 diving Effects 0.000 abstract description 2
- 239000003086 colorant Substances 0.000 abstract 1
- 238000012216 screening Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009991 scouring Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
Abstract
本发明提供一种基于深度学习与声呐成像的水下桥墩构件分割方法，利用水下侧声声呐设备获取准备水下桥墩扫描图片；运用图像增强方法，增加数据集的数量；对数据集进行标注，将桥墩、桩基和河床分别用不同颜色进行多边形标记，并记录下多边形顶点坐标；将数据集划分为训练与验证集：建立深度学习语义分割网络中的Mask RCNN模型，进行训练，得到训练模型；水面上控制侧声声呐设备沿着水下桥墩部分进行扫描，获取扫描图片，利用训练好的Mask RCNN模型进行水下桥墩进行构件自动化分割。采用本发明效率高，成本低，相对于传统的人工潜水法以及声呐人工筛选法更具有明显的自动化和高效准确的优势。
Description
技术领域
本发明属于土木工程与人工智能交互技术领域，具体涉及一种基于深度学习与声呐成像的水下桥墩构件分割方法。
背景技术
桥墩是桥墩的主要承力构件，桥梁结构的载荷绝大部分通过桥墩传递到基础上。任一个桥墩丧失承载力，都会导致桥墩的整体失稳和破坏，因此，桥墩的安全性必须予以高度的重视。桥墩水下部分长期收到冲刷、腐蚀等恶劣环境的作用，导致水下可能产生缺损、裂缝、露筋等缺陷甚至损伤，会严重影响到桥梁的使用寿命甚至承载力。目前水下桥墩部分的检测方法还是以人工潜水法和声呐设备扫描法，人工检测法方法耗时、费力、造价较大，自动化程度低，声呐设备扫描法产生大量图片，并且病害成像结果和河床冲刷结果很相似，难以直接区分，人工识别效率低，容易误判漏判，因此，迫切需要一种水下桥墩病害的自动化识别方法。
深度学习是机器学习方式的一种，其是针对视觉领域，图片分类、目标检测、语义分割等已经有较多的应用。声呐设备以声学成像的方式将水下桥墩情况呈现，可以克服光学成像受光照、水浑浊程度影响的缺点，本发明提出的基于深度学习Mask RCNN网络与声呐成像的水下桥墩构件分割方法通过结合深度学习和声呐成像的优点，将声呐成像图片进行深度学习训练，利用语义分割模型，可以先分割出桥墩、桩基以及河床的位置和边界，再在桥墩和桩基的区域类搜索病害，并识别出病害的位置，大大降低了河床冲刷对识别结果的影响，可以较为准确的分割出构件位置，从而为病害识别做进一步的准备。
发明内容
发明目的：本发明提供一种效率高、成本低、自动化程度高且能实时识别基于深度学习与声呐成像的水下桥墩构件分割方法。
技术方案：本发明所述的一种基于深度学习与声呐成像的水下桥墩构件分割方法，包括以下步骤：
(1)利用侧声声呐设备获取水下桥墩图片，形成数据集，并设置每张图片的大小；
(2)利用数据增强的方法对数据集进行扩充，并对每张图片进行标注；
(3)将数据集按照一定比例划分为训练测试集、验证集和测试集；
(4)建立深度学习Mask RCNN模型，对步骤(1)中的水下桥墩声呐成像数据集进行训练，提取图像的特征，获取病害的位置坐标信息，保存训练好的Mask RCNN模型与参数；
(5)用声呐设备对水下桥墩进行扫描，利用图像均值滤波和高斯滤波方法，去除图像的椒盐噪声；
(6)利用步骤(4)中得到的具有分割水下桥墩构件声呐成像图片的卷积神经网络模型，去自动分割步骤(5)中得到的图片，并标记出桥墩、桩基以及河床的边界位置和信息。
其中，步骤(1)所述的每张图片大小为1200x1200 pixel。
其中，步骤(2)所述的数据增强方法采用随机旋转和随机裁剪法。
其中，步骤(3)所述数据集按照8:1:1的比例划分为训练测试集、验证集和测试集。
其中，步骤(4)所述的特征提取层采用ResNet101预训练网络，损失函数采用FocalLoss。
有益效果：与现有技术相比，本发明的有益效果：效率高，成本低，自动化程度高，实时识别，相较于人工肉眼辨别声呐图像中的水下构件更加准确，且能够提供准确的构件边界信息，是进一步定量分析的重要保证。
附图说明
图1为本发明的流程图；
图2为本发明中使用的Mask RCNN网络结构示意图；
图3为侧身声呐扫描成像桥柱、桥墩图；
图4为侧身声呐扫描成像桥墩、河床图；
图5为采用本发明分割以后的结果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。如图1所示，一种基于深度学习与声呐成像的水下桥墩构件分割方法，包括以下步骤：
1、利用侧声声呐设备获取水下桥墩图片，声呐原始图片如图3、图4所示，形成数据集，将每张图片设置为1200x1200 pixel大小。
2、利用数据增强的方法对数据集进行扩充，并对每张图片进行标注，这里的数据增强方法采用随机旋转、随机裁剪，旋转角度为90度和180度，标注采用多边形框标注，使用LabelImg软件标注。
3、将数据集按照8:1:1的比例划分为训练测试集、验证集和测试集。
4、建立深度学习MaskRCNN模型，如图2所示，对步骤1中的水下桥墩声呐成像数据集进行训练，这里面选用深度残差网络模型ResNet101作为特征提取层，损失函数采用Focal Loss，卷积核的大小设置为3x3，第一个残差瓶颈层参数设置为：卷积核为(1,1)，步长为3，输出特征图个数256，重复3次；第二个残差瓶颈层参数设置为：卷积核为(1,1)，步长为3，输出特征图个数为512，重复4次；第一个残差瓶颈层参数设置为：卷积核为(1,1)，步长为3，输出特征图个数为1024，重复23次；第一个残差瓶颈层参数设置为：卷积核为(1,1)，步长为3，输出特征图个数为2048，重复3次；学习率设置为0.001，迭代次数为1000次，采用Adam优化函数，保存训练好的Mask RCNN模型与参数。
5、在现场利用声呐设备对水下桥墩进行扫描，利用图像均值滤波和高斯滤波方法，高斯卷积核大小选为(5,5)，去除图像的椒盐噪声。
6、利用S4中得到的具有分割水下桥墩构件声呐成像图片的卷积神经网络模型，去自动分割S5中得到的图片，并标记出桥墩、桩基以及河床的边界位置和信息，如图5所示。
训练所需的实验室条件：GTX 1060显卡，Windows系统，Python编程语言，Tensorflow深度学习框架。
数据集：主要包含水下桥墩声呐成像图片数据集。
上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于深度学习与声呐成像的水下桥墩构件分割方法，其特征在于，包括以下步骤：
(1)利用侧声声呐设备获取水下桥墩图片，形成数据集，并设置每张图片的大小；
(2)利用数据增强的方法对数据集进行扩充，并对每张图片进行标注；
(3)将数据集按照一定比例划分为训练测试集、验证集和测试集；
(4)建立深度学习Mask RCNN模型，对步骤(1)中的水下桥墩声呐成像数据集进行训练，提取图像的特征，获取病害的位置坐标信息，保存训练好的Mask RCNN模型与参数；
(5)用声呐设备对水下桥墩进行扫描，利用图像均值滤波和高斯滤波方法，去除图像的椒盐噪声；
(6)利用步骤(4)中得到的具有分割水下桥墩构件声呐成像图片的卷积神经网络模型，去自动分割步骤(5)中得到的图片，并标记出桥墩、桩基以及河床的边界位置和信息。
2.根据权利要求1所述的一种基于深度学习与声呐成像的水下桥墩构件分割方法，其特征在于，步骤(1)所述的每张图片大小为1200x1200 pixel。
3.根据权利要求1所述的一种基于深度学习与声呐成像的水下桥墩构件分割方法，其特征在于，步骤(2)所述的数据增强方法采用随机旋转和随机裁剪法。
4.根据权利要求1所述的一种基于深度学习与声呐成像的水下桥墩构件分割方法，其特征在于，步骤(3)所述训练测试集、验证集和测试集的比例为8:1:1。
5.根据权利要求1所述的一种基于深度学习与声呐成像的水下桥墩构件分割方法，其特征在于，步骤(4)所述的特征提取层采用ResNet101预训练网络，损失函数采用FocalLoss。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911100071.8A CN110853041A (zh) | 2019-11-12 | 2019-11-12 | 一种基于深度学习与声呐成像的水下桥墩构件分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911100071.8A CN110853041A (zh) | 2019-11-12 | 2019-11-12 | 一种基于深度学习与声呐成像的水下桥墩构件分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110853041A true CN110853041A (zh) | 2020-02-28 |
Family
ID=69601594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911100071.8A Pending CN110853041A (zh) | 2019-11-12 | 2019-11-12 | 一种基于深度学习与声呐成像的水下桥墩构件分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110853041A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462218A (zh) * | 2020-03-16 | 2020-07-28 | 西安理工大学 | 一种基于深度学习技术的城市内涝积水面积监测方法 |
| CN111951289A (zh) * | 2020-08-13 | 2020-11-17 | 江苏东印智慧工程技术研究院有限公司 | 一种基于BA-Unet的水下声呐图像数据分割方法 |
| CN112033385A (zh) * | 2020-11-03 | 2020-12-04 | 湖南联智科技股份有限公司 | 一种基于海量点云数据的桥墩位姿测量方法 |
| CN113450343A (zh) * | 2021-07-19 | 2021-09-28 | 福州大学 | 基于声呐成像平面桩墩裂缝病害深度学习与智能检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304831A (zh) * | 2018-03-15 | 2018-07-20 | 广东工业大学 | 一种监测工人安全帽佩戴的方法及装置 |
| CN108346154A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 |
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
-
2019
- 2019-11-12 CN CN201911100071.8A patent/CN110853041A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108346154A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 基于Mask-RCNN神经网络的肺结节分割装置的建立方法 |
| CN108304831A (zh) * | 2018-03-15 | 2018-07-20 | 广东工业大学 | 一种监测工人安全帽佩戴的方法及装置 |
| CN109284669A (zh) * | 2018-08-01 | 2019-01-29 | 辽宁工业大学 | 基于Mask RCNN的行人检测方法 |
| CN109859190A (zh) * | 2019-01-31 | 2019-06-07 | 北京工业大学 | 一种基于深度学习的目标区域检测方法 |
| CN110047073A (zh) * | 2019-05-05 | 2019-07-23 | 北京大学 | 一种x射线焊缝图像缺陷定级方法及系统 |
| CN110310281A (zh) * | 2019-07-10 | 2019-10-08 | 重庆邮电大学 | 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| KAIMING HE等: "Deep Residual Learning for Image Recognition", 《HTTPS://ARXIV.ORG/PDF/1512.03385.PDF》 * |
| KAIMING HE等: "Mask R-CNN", 《HTTPS://ARXIV.ORG/ABS/1703.06870V1》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462218A (zh) * | 2020-03-16 | 2020-07-28 | 西安理工大学 | 一种基于深度学习技术的城市内涝积水面积监测方法 |
| CN111951289A (zh) * | 2020-08-13 | 2020-11-17 | 江苏东印智慧工程技术研究院有限公司 | 一种基于BA-Unet的水下声呐图像数据分割方法 |
| CN111951289B (zh) * | 2020-08-13 | 2023-10-31 | 江苏东印智慧工程技术研究院有限公司 | 一种基于BA-Unet的水下声呐图像数据分割方法 |
| CN112033385A (zh) * | 2020-11-03 | 2020-12-04 | 湖南联智科技股份有限公司 | 一种基于海量点云数据的桥墩位姿测量方法 |
| CN112033385B (zh) * | 2020-11-03 | 2021-02-02 | 湖南联智科技股份有限公司 | 一种基于海量点云数据的桥墩位姿测量方法 |
| CN113450343A (zh) * | 2021-07-19 | 2021-09-28 | 福州大学 | 基于声呐成像平面桩墩裂缝病害深度学习与智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110853041A (zh) | 一种基于深度学习与声呐成像的水下桥墩构件分割方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| Wang et al. | Automatic detection of wind turbine blade surface cracks based on UAV-taken images | |
| CN109460753B (zh) | 一种检测水上漂浮物的方法 | |
| CN111127399A (zh) | 一种基于深度学习与声呐成像的水下桥墩病害识别方法 | |
| Chen et al. | A self organizing map optimization based image recognition and processing model for bridge crack inspection | |
| CN105976352B (zh) | 一种基于灰度图像形态学的焊缝表面缺陷特征提取方法 | |
| CN112598672A (zh) | 一种基于深度学习的路面病害图像分割方法和系统 | |
| CN108961246B (zh) | 一种基于人工智能的扫描电镜图像孔隙识别方法 | |
| Wang et al. | Research on crack detection algorithm of the concrete bridge based on image processing | |
| CN108460764A (zh) | 基于自动上下文和数据增强的超声图像智能分割方法 | |
| CN109635634B (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
| CN101782526B (zh) | 一种钢材韧窝图像的自动复原、测量分类方法及装置 | |
| CN110930357A (zh) | 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统 | |
| CN114119554A (zh) | 一种基于卷积神经网络的表面微缺陷检测方法及装置 | |
| CN109978847B (zh) | 基于迁移学习与拉索机器人的拉索外套病害自动识别方法 | |
| CN111626249B (zh) | 题目图像中几何图形的识别方法、装置和计算机存储介质 | |
| Kumar et al. | A deep learning based automated structural defect detection system for sewer pipelines | |
| CN114299060A (zh) | 一种适用于复杂水下环境的深度学习大坝裂缝检测方法 | |
| CN109544513A (zh) | 一种钢管端面缺陷提取识别的方法 | |
| CN116484259A (zh) | 一种城市管网缺陷位置定位分析方法和系统 | |
| CN115439763A (zh) | 一种基于YOLOv5模型的水工程表面裂缝检测方法 | |
| CN114782875A (zh) | 一种基于鱼道构建的鱼类细粒度信息获取方法 | |
| CN115273009A (zh) | 基于深度学习的道路裂纹检测方法及系统 | |
| CN113469988A (zh) | 一种缺陷识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200228 |
|
| RJ01 | Rejection of invention patent application after publication |