CN111161156A - 一种基于深度学习的水下桥墩病害图像分辨率增强方法 - Google Patents
一种基于深度学习的水下桥墩病害图像分辨率增强方法 Download PDFInfo
- Publication number
- CN111161156A CN111161156A CN201911188477.6A CN201911188477A CN111161156A CN 111161156 A CN111161156 A CN 111161156A CN 201911188477 A CN201911188477 A CN 201911188477A CN 111161156 A CN111161156 A CN 111161156A
- Authority
- CN
- China
- Prior art keywords
- resolution
- picture
- underwater
- wdsr
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 23
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 235000002566 Capsicum Nutrition 0.000 claims description 3
- 239000006002 Pepper Substances 0.000 claims description 3
- 235000016761 Piper aduncum Nutrition 0.000 claims description 3
- 235000017804 Piper guineense Nutrition 0.000 claims description 3
- 235000008184 Piper nigrum Nutrition 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 244000203593 Piper nigrum Species 0.000 claims 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 241000722363 Piper Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于深度学习的水下桥墩病害图像分辨率增强方法，包括如下步骤：准备好低分辨率水下桥墩照片以及高分辨率水下桥墩照片，包括有病害与无病害图片；运用图像数据增强方法，扩充数据集的数量；将数据集划分为训练集与验证集，建立深度学习中的WDSR网络模型，将高分辨率的照片作为标签，进行训练，得到训练模型；输入低分辨率的水下病害照片，经过训练好的WDSR模型自动处理，即可得到较高分辨率的水下病害照片。本发明效率高，成本低，相对于传统的图像分辨率增强算法更具有明显的自动化优势。
Description
技术领域
本发明涉及土木工程与人工智能交互技术领域，具体涉及一种基于深度学习的水下桥墩病害图像分辨率增强方法。
背景技术
桥梁服役安全是关系国计民生的重大需求。作为整个桥梁的“顶梁柱”，水下桥墩的使用条件和环境较上部结构更为恶劣，也更为隐蔽不易被发现，直接关系到结构整体安全命脉。由于水下环境复杂，传统以经验为主的劳力型人工潜水检测方法已不适用，水下机器人为水下结构检测提供了新途径。但是在实际应用过程中出现了诸多的弊端，即：较差水质、大流速、强扰动水环境整体机器人晃动大导致图片分辨率低，难以准确识别准确病害情况。由此可见，一种高效的低分辨率图片恢复方法是水下病害精确识别的重要保证。
深度学习是机器学习方式的一种，其是针对图片，可实现图像半监督分辨率恢复，克服了传统图像处理方法人工筛选特征的缺点。传统的图像低分辨率重建方法有稀疏表达法(Sparse Representation)、SRCNN(Super-Resolution Convolutional NeuralNetwork)等方法，稀疏表达法将图像块对(低分辨率与高分辨率图像组成图像对)进行压缩表示，低分辨率图像块的稀疏表示和高分辨率超完备字典一起作用可以重建出高分辨率图像块，但是稀疏表达法涉及到凸优化问题，对于大量图像的情况下，比较耗时。SRCNN先使用双三次插值(bicubic)将其放大到目标大小，再通过三层卷积网络做非线性映射，从低分辨率和高分辨率图像集合中自动学习两者之间的对应特征，形成高级特征，从而实现分辨率的转换，虽然实现了半监督学习，但是效果较差，训练过程耗时较长。综上，该两类方法无法从准确率、耗时上达到实际工程的需求。WDSR(WideActivation Super Resolution)一方面是去除了很多冗余的卷积层，这样计算更快，另一方面是改造了Residual Block，采用跳跃连接，将前层输出与深层输出相加连接，可以有效解决反向传播的梯度弥散并有效利用浅层特征信息，从而达到较小的耗时以及较高的精度，能够克服水下复杂环境导致的分辨率低问题，有利于病害的精准检测。
发明内容
发明目的：本发明提供一种基于深度学习的水下桥墩病害图像分辨率增强方法，效率高，成本低，相对于传统的图像分辨率增强算法更具有明显的自动化优势。
技术方案：本发明所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法，包括以下步骤：
(1)收集低分辨率水下桥墩图片与高分辨率水下桥墩图片，形成数据集，将低能见度水下桥墩图片作为输入，将高能见度水下桥墩图片作为标签，并设置每张图片的大小；
(2)将步骤(1)中得到的数据集划分为训练集、验证集、测试集；
(3)建立深度学习WDSR网络模型，网络包括WDSR-A和WDSR-B两个部分，对步骤(2)中的数据集进行训练，并保存训练好的WDSR模型与参数；
(4)通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声，并给每张图片设置到600x600大小。
(5)利用步骤(3)中得到的具有自动增强图片分辨率能力的WDSR模型，去自动处理步骤(4)中得到的图片，将低分辨率的图片处理成高分辨率的图片。
进一步地，步骤(1)所述的每张图片大小设置为600x600。
进一步地，步骤(1)所述的图片包括病害图片和无病害图片。
进一步地，步骤(2)所述的训练集、验证集、测试集的比例为8：1：1。
进一步地，步骤(3)所述的WDSR-A采用残差模块、卷积模块和Pixel Shuffle模块，其卷积层外接WeightNormalization层。
有益效果：与现有技术相比，本发明的有益效果：效率高，成本低，自动化程度高，能够克服采集设备抖动、采集设备分辨率低、采集设备聚焦导致的图片分辨率低对病害识别的影响，相对于传统的分辨率重建方法如Bicubic具有更优的恢复效果。
附图说明
图1为本发明的流程图；
图2为本发明中使用的WDSR网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。如图1所示，一种基于深度学习与声呐成像的水下桥墩构件分割方法，包括以下步骤：
1、采用自带摄像头的升降机械臂，采集水下桥墩图片。其中，摄像头为可变焦的CMOS摄像头，防水外壳的防水等级为IP68，采集的图像分辨率为768×576像素。升降装置的升降量程为0-9m。将采集的图片作为高分辨率图片，将高分辨率图片以二次插值(Bicubic)下采样到原来的0.5倍和0.25倍作为低分辨率图片。将收集到的低分辨率水下桥墩图片与高分辨率水下桥墩图片，形成数据集，包括病害图片与无病害图片，将低能见度水下桥墩图片作为输入，将高能见度水下桥墩图片作为标签，并将每张图片设置为600x600大小。
2、将S1步中得到的数据集划分为训练集、验证集、测试集，比例为8：1：1。
3、建立深度学习WDSR(WideActivation Super Resolution)网络模型，如图2所示，网络包括WDSR-A和WDSR-B两个部分，对步骤2中的数据集进行训练，并保存训练好的WDSR模型与参数。
其中WDSR-A部分采用残差模块(Residual Block)、卷积模块(Conv)以及PixelShuffle模块，其卷积层都外接了Weight Normalization层，学习率设置为1e-3，迭代次数为100，批次大小(Batch Size)为16，此外采用Linear Low-Rank Convolution代替常规Convolution，即将一个宽的卷积层用两个Low-Rank卷积层(分别是核为1x1和核为3x3的卷积)来表示。激活函数后面接第一个1x1卷积层用来减少通道数，再接3x3的卷积层用于Spatial-Wise特征提取。
4、获取水下桥墩病害图片，通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声，并给每张图片设置到600x600大小。
5、利用S3中得到的具有自动增强图片分辨率能力的卷积神经网络模型，去自动处理S4中得到的图片，将低分辨率的图片处理成高分辨率的图片。
训练所需的实验室条件：GTX 1060显卡，Windows系统，Python编程语言，Tensorflow深度学习框架。
数据集：主要包含水下桥墩(包括病害和无病害)的低分辨率照片和高分辨率图片。
上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种基于深度学习的水下桥墩病害图像分辨率增强方法，其特征在于：包括如下步骤：
(1)收集低分辨率水下桥墩图片与高分辨率水下桥墩图片，形成数据集，将低能见度水下桥墩图片作为输入，将高能见度水下桥墩图片作为标签，并设置每张图片的大小；
(2)将步骤(1)中得到的数据集划分为训练集、验证集、测试集；
(3)建立深度学习WDSR网络模型，网络包括WDSR-A和WDSR-B两个部分，对步骤(2)中的数据集进行训练，并保存训练好的WDSR模型与参数；
(4)通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声，并给每张图片设置到600x600大小；
(5)利用步骤(3)中得到的具有自动增强图片分辨率能力的WDSR模型，去自动处理步骤(4)中得到的图片，将低分辨率的图片处理成高分辨率的图片。
2.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法，其特征在于，步骤(1)所述的每张图片大小设置为600x600。
3.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法，其特征在于，步骤(1)所述的图片包括病害图片和无病害图片。
4.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法，其特征在于，步骤(2)所述的训练集、验证集、测试集的比例为8：1：1。
5.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法，其特征在于，步骤(3)所述的WDSR-A采用残差模块、卷积模块和Pixel Shuffle模块，其卷积层外接WeightNormalization层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911188477.6A CN111161156A (zh) | 2019-11-28 | 2019-11-28 | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911188477.6A CN111161156A (zh) | 2019-11-28 | 2019-11-28 | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111161156A true CN111161156A (zh) | 2020-05-15 |
Family
ID=70556201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911188477.6A Pending CN111161156A (zh) | 2019-11-28 | 2019-11-28 | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111161156A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111633111A (zh) * | 2020-05-21 | 2020-09-08 | 西安邮电大学 | 一种基于深度学习的渐进成形方法 |
| CN112052904A (zh) * | 2020-09-09 | 2020-12-08 | 陕西理工大学 | 一种基于迁移学习和卷积神经网络病虫害的识别方法 |
| CN112114300A (zh) * | 2020-09-14 | 2020-12-22 | 哈尔滨工程大学 | 一种基于图像稀疏表示的水下弱目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142136A (zh) * | 2011-03-05 | 2011-08-03 | 河海大学常州校区 | 基于神经网络的声纳图像的超分辨率重建方法 |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
-
2019
- 2019-11-28 CN CN201911188477.6A patent/CN111161156A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102142136A (zh) * | 2011-03-05 | 2011-08-03 | 河海大学常州校区 | 基于神经网络的声纳图像的超分辨率重建方法 |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN110430419A (zh) * | 2019-07-12 | 2019-11-08 | 北京大学 | 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法 |
Non-Patent Citations (2)
| Title |
|---|
| BEE LIM等: "Enhanced deep residual networks for single image super-resolution", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) WORKSHOPS》 * |
| JIAHUI YU等: "Wide Activation for Efficient and Accurate Image Super-Resolution", 《HTTPS://ARXIV.ORG/ABS/1808.08718V1》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111633111A (zh) * | 2020-05-21 | 2020-09-08 | 西安邮电大学 | 一种基于深度学习的渐进成形方法 |
| CN112052904A (zh) * | 2020-09-09 | 2020-12-08 | 陕西理工大学 | 一种基于迁移学习和卷积神经网络病虫害的识别方法 |
| CN112114300A (zh) * | 2020-09-14 | 2020-12-22 | 哈尔滨工程大学 | 一种基于图像稀疏表示的水下弱目标检测方法 |
| CN112114300B (zh) * | 2020-09-14 | 2022-06-21 | 哈尔滨工程大学 | 一种基于图像稀疏表示的水下弱目标检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Multi-scale residual network for image super-resolution | |
| Wang et al. | Ultra-dense GAN for satellite imagery super-resolution | |
| Meng et al. | Single-image dehazing based on two-stream convolutional neural network | |
| CN111161156A (zh) | 一种基于深度学习的水下桥墩病害图像分辨率增强方法 | |
| US20220366682A1 (en) | Computer-implemented arrangements for processing image having article of interest | |
| CN112990077B (zh) | 基于联合学习与光流估计的面部动作单元识别方法及装置 | |
| CN109635726B (zh) | 一种基于对称式深度网络结合多尺度池化的滑坡识别方法 | |
| CN114973032A (zh) | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 | |
| CN113034361B (zh) | 一种基于改进esrgan的遥感影像超分重建方法 | |
| Lee et al. | Diagnosis of crack damage on structures based on image processing techniques and R-CNN using unmanned aerial vehicle (UAV) | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| CN112949636A (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
| CN115375999A (zh) | 应用于危化品车检测的目标检测模型、方法及装置 | |
| Yanshan et al. | OGSRN: Optical-guided super-resolution network for SAR image | |
| Guo et al. | A novel transformer-based network with attention mechanism for automatic pavement crack detection | |
| CN113269672B (zh) | 一种超分辨率的细胞图像构建方法和系统 | |
| CN114581762A (zh) | 一种基于多尺度条形池化和金字塔池化的道路提取方法 | |
| CN116912675A (zh) | 一种基于特征迁移的水下目标检测方法及系统 | |
| Gao et al. | Maritime infrared image super-resolution using cascaded residual network and novel evaluation metric | |
| Shin et al. | LoGSRN: Deep super resolution network for digital elevation model | |
| Imran et al. | Image-Based Automatic Energy Meter Reading Using Deep Learning | |
| Samudrala et al. | Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet | |
| Park et al. | Image super-resolution using dilated window transformer | |
| CN111160255B (zh) | 一种基于三维卷积网络的捕鱼行为识别方法及系统 | |
| Sajedi et al. | Twin models for high-resolution visual inspections |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |