CN111161156A - 一种基于深度学习的水下桥墩病害图像分辨率增强方法 - Google Patents

一种基于深度学习的水下桥墩病害图像分辨率增强方法 Download PDF

Info

Publication number
CN111161156A
CN111161156A CN201911188477.6A CN201911188477A CN111161156A CN 111161156 A CN111161156 A CN 111161156A CN 201911188477 A CN201911188477 A CN 201911188477A CN 111161156 A CN111161156 A CN 111161156A
Authority
CN
China
Prior art keywords
resolution
picture
underwater
wdsr
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911188477.6A
Other languages
English (en)
Inventor
侯士通
吴刚
董斌
蒋剑彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co Ltd
Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd
Southeast University
Original Assignee
Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co Ltd
Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co Ltd, Jiangsu Dongyin Intelligent Engineering Technology Research Institute Co ltd, Southeast University filed Critical Dongqu Intelligent Transportation Infrastructure Technology Jiangsu Co Ltd
Priority to CN201911188477.6A priority Critical patent/CN111161156A/zh
Publication of CN111161156A publication Critical patent/CN111161156A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的水下桥墩病害图像分辨率增强方法,包括如下步骤:准备好低分辨率水下桥墩照片以及高分辨率水下桥墩照片,包括有病害与无病害图片;运用图像数据增强方法,扩充数据集的数量;将数据集划分为训练集与验证集,建立深度学习中的WDSR网络模型,将高分辨率的照片作为标签,进行训练,得到训练模型;输入低分辨率的水下病害照片,经过训练好的WDSR模型自动处理,即可得到较高分辨率的水下病害照片。本发明效率高,成本低,相对于传统的图像分辨率增强算法更具有明显的自动化优势。

Description

一种基于深度学习的水下桥墩病害图像分辨率增强方法
技术领域
本发明涉及土木工程与人工智能交互技术领域,具体涉及一种基于深度学习的水下桥墩病害图像分辨率增强方法。
背景技术
桥梁服役安全是关系国计民生的重大需求。作为整个桥梁的“顶梁柱”,水下桥墩的使用条件和环境较上部结构更为恶劣,也更为隐蔽不易被发现,直接关系到结构整体安全命脉。由于水下环境复杂,传统以经验为主的劳力型人工潜水检测方法已不适用,水下机器人为水下结构检测提供了新途径。但是在实际应用过程中出现了诸多的弊端,即:较差水质、大流速、强扰动水环境整体机器人晃动大导致图片分辨率低,难以准确识别准确病害情况。由此可见,一种高效的低分辨率图片恢复方法是水下病害精确识别的重要保证。
深度学习是机器学习方式的一种,其是针对图片,可实现图像半监督分辨率恢复,克服了传统图像处理方法人工筛选特征的缺点。传统的图像低分辨率重建方法有稀疏表达法(Sparse Representation)、SRCNN(Super-Resolution Convolutional NeuralNetwork)等方法,稀疏表达法将图像块对(低分辨率与高分辨率图像组成图像对)进行压缩表示,低分辨率图像块的稀疏表示和高分辨率超完备字典一起作用可以重建出高分辨率图像块,但是稀疏表达法涉及到凸优化问题,对于大量图像的情况下,比较耗时。SRCNN先使用双三次插值(bicubic)将其放大到目标大小,再通过三层卷积网络做非线性映射,从低分辨率和高分辨率图像集合中自动学习两者之间的对应特征,形成高级特征,从而实现分辨率的转换,虽然实现了半监督学习,但是效果较差,训练过程耗时较长。综上,该两类方法无法从准确率、耗时上达到实际工程的需求。WDSR(WideActivation Super Resolution)一方面是去除了很多冗余的卷积层,这样计算更快,另一方面是改造了Residual Block,采用跳跃连接,将前层输出与深层输出相加连接,可以有效解决反向传播的梯度弥散并有效利用浅层特征信息,从而达到较小的耗时以及较高的精度,能够克服水下复杂环境导致的分辨率低问题,有利于病害的精准检测。
发明内容
发明目的:本发明提供一种基于深度学习的水下桥墩病害图像分辨率增强方法,效率高,成本低,相对于传统的图像分辨率增强算法更具有明显的自动化优势。
技术方案:本发明所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法,包括以下步骤:
(1)收集低分辨率水下桥墩图片与高分辨率水下桥墩图片,形成数据集,将低能见度水下桥墩图片作为输入,将高能见度水下桥墩图片作为标签,并设置每张图片的大小;
(2)将步骤(1)中得到的数据集划分为训练集、验证集、测试集;
(3)建立深度学习WDSR网络模型,网络包括WDSR-A和WDSR-B两个部分,对步骤(2)中的数据集进行训练,并保存训练好的WDSR模型与参数;
(4)通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声,并给每张图片设置到600x600大小。
(5)利用步骤(3)中得到的具有自动增强图片分辨率能力的WDSR模型,去自动处理步骤(4)中得到的图片,将低分辨率的图片处理成高分辨率的图片。
进一步地,步骤(1)所述的每张图片大小设置为600x600。
进一步地,步骤(1)所述的图片包括病害图片和无病害图片。
进一步地,步骤(2)所述的训练集、验证集、测试集的比例为8:1:1。
进一步地,步骤(3)所述的WDSR-A采用残差模块、卷积模块和Pixel Shuffle模块,其卷积层外接WeightNormalization层。
有益效果:与现有技术相比,本发明的有益效果:效率高,成本低,自动化程度高,能够克服采集设备抖动、采集设备分辨率低、采集设备聚焦导致的图片分辨率低对病害识别的影响,相对于传统的分辨率重建方法如Bicubic具有更优的恢复效果。
附图说明
图1为本发明的流程图;
图2为本发明中使用的WDSR网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。如图1所示,一种基于深度学习与声呐成像的水下桥墩构件分割方法,包括以下步骤:
1、采用自带摄像头的升降机械臂,采集水下桥墩图片。其中,摄像头为可变焦的CMOS摄像头,防水外壳的防水等级为IP68,采集的图像分辨率为768×576像素。升降装置的升降量程为0-9m。将采集的图片作为高分辨率图片,将高分辨率图片以二次插值(Bicubic)下采样到原来的0.5倍和0.25倍作为低分辨率图片。将收集到的低分辨率水下桥墩图片与高分辨率水下桥墩图片,形成数据集,包括病害图片与无病害图片,将低能见度水下桥墩图片作为输入,将高能见度水下桥墩图片作为标签,并将每张图片设置为600x600大小。
2、将S1步中得到的数据集划分为训练集、验证集、测试集,比例为8:1:1。
3、建立深度学习WDSR(WideActivation Super Resolution)网络模型,如图2所示,网络包括WDSR-A和WDSR-B两个部分,对步骤2中的数据集进行训练,并保存训练好的WDSR模型与参数。
其中WDSR-A部分采用残差模块(Residual Block)、卷积模块(Conv)以及PixelShuffle模块,其卷积层都外接了Weight Normalization层,学习率设置为1e-3,迭代次数为100,批次大小(Batch Size)为16,此外采用Linear Low-Rank Convolution代替常规Convolution,即将一个宽的卷积层用两个Low-Rank卷积层(分别是核为1x1和核为3x3的卷积)来表示。激活函数后面接第一个1x1卷积层用来减少通道数,再接3x3的卷积层用于Spatial-Wise特征提取。
4、获取水下桥墩病害图片,通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声,并给每张图片设置到600x600大小。
5、利用S3中得到的具有自动增强图片分辨率能力的卷积神经网络模型,去自动处理S4中得到的图片,将低分辨率的图片处理成高分辨率的图片。
训练所需的实验室条件:GTX 1060显卡,Windows系统,Python编程语言,Tensorflow深度学习框架。
数据集:主要包含水下桥墩(包括病害和无病害)的低分辨率照片和高分辨率图片。
上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于深度学习的水下桥墩病害图像分辨率增强方法,其特征在于:包括如下步骤:
(1)收集低分辨率水下桥墩图片与高分辨率水下桥墩图片,形成数据集,将低能见度水下桥墩图片作为输入,将高能见度水下桥墩图片作为标签,并设置每张图片的大小;
(2)将步骤(1)中得到的数据集划分为训练集、验证集、测试集;
(3)建立深度学习WDSR网络模型,网络包括WDSR-A和WDSR-B两个部分,对步骤(2)中的数据集进行训练,并保存训练好的WDSR模型与参数;
(4)通过图像均值滤波和图像高斯滤波去除图像中的椒盐噪声,并给每张图片设置到600x600大小;
(5)利用步骤(3)中得到的具有自动增强图片分辨率能力的WDSR模型,去自动处理步骤(4)中得到的图片,将低分辨率的图片处理成高分辨率的图片。
2.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法,其特征在于,步骤(1)所述的每张图片大小设置为600x600。
3.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法,其特征在于,步骤(1)所述的图片包括病害图片和无病害图片。
4.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法,其特征在于,步骤(2)所述的训练集、验证集、测试集的比例为8:1:1。
5.根据权利要求1所述的一种基于深度学习的水下桥墩病害图像分辨率增强方法,其特征在于,步骤(3)所述的WDSR-A采用残差模块、卷积模块和Pixel Shuffle模块,其卷积层外接WeightNormalization层。
CN201911188477.6A 2019-11-28 2019-11-28 一种基于深度学习的水下桥墩病害图像分辨率增强方法 Pending CN111161156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911188477.6A CN111161156A (zh) 2019-11-28 2019-11-28 一种基于深度学习的水下桥墩病害图像分辨率增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911188477.6A CN111161156A (zh) 2019-11-28 2019-11-28 一种基于深度学习的水下桥墩病害图像分辨率增强方法

Publications (1)

Publication Number Publication Date
CN111161156A true CN111161156A (zh) 2020-05-15

Family

ID=70556201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911188477.6A Pending CN111161156A (zh) 2019-11-28 2019-11-28 一种基于深度学习的水下桥墩病害图像分辨率增强方法

Country Status (1)

Country Link
CN (1) CN111161156A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111633111A (zh) * 2020-05-21 2020-09-08 西安邮电大学 一种基于深度学习的渐进成形方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112114300A (zh) * 2020-09-14 2020-12-22 哈尔滨工程大学 一种基于图像稀疏表示的水下弱目标检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
US20180336662A1 (en) * 2017-05-17 2018-11-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
CN110430419A (zh) * 2019-07-12 2019-11-08 北京大学 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102142136A (zh) * 2011-03-05 2011-08-03 河海大学常州校区 基于神经网络的声纳图像的超分辨率重建方法
US20180336662A1 (en) * 2017-05-17 2018-11-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
CN110430419A (zh) * 2019-07-12 2019-11-08 北京大学 一种基于超分辨抗混叠的多视点裸眼三维图像合成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BEE LIM等: "Enhanced deep residual networks for single image super-resolution", 《THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR) WORKSHOPS》 *
JIAHUI YU等: "Wide Activation for Efficient and Accurate Image Super-Resolution", 《HTTPS://ARXIV.ORG/ABS/1808.08718V1》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111633111A (zh) * 2020-05-21 2020-09-08 西安邮电大学 一种基于深度学习的渐进成形方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112114300A (zh) * 2020-09-14 2020-12-22 哈尔滨工程大学 一种基于图像稀疏表示的水下弱目标检测方法
CN112114300B (zh) * 2020-09-14 2022-06-21 哈尔滨工程大学 一种基于图像稀疏表示的水下弱目标检测方法

Similar Documents

Publication Publication Date Title
Li et al. Multi-scale residual network for image super-resolution
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
Meng et al. Single-image dehazing based on two-stream convolutional neural network
US20220366682A1 (en) Computer-implemented arrangements for processing image having article of interest
CN111161156A (zh) 一种基于深度学习的水下桥墩病害图像分辨率增强方法
CN112990077B (zh) 基于联合学习与光流估计的面部动作单元识别方法及装置
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN113034361B (zh) 一种基于改进esrgan的遥感影像超分重建方法
Lee et al. Diagnosis of crack damage on structures based on image processing techniques and R-CNN using unmanned aerial vehicle (UAV)
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN112949636A (zh) 一种车牌超分辨率识别方法、系统及计算机可读介质
CN115375999A (zh) 应用于危化品车检测的目标检测模型、方法及装置
Yanshan et al. OGSRN: Optical-guided super-resolution network for SAR image
Guo et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection
CN113269672B (zh) 一种超分辨率的细胞图像构建方法和系统
CN114581762A (zh) 一种基于多尺度条形池化和金字塔池化的道路提取方法
Wang et al. Multi-scale fast fourier transform based attention network for remote-sensing image super-resolution
CN116912675A (zh) 一种基于特征迁移的水下目标检测方法及系统
Gao et al. Maritime infrared image super-resolution using cascaded residual network and novel evaluation metric
Shin et al. LoGSRN: Deep super resolution network for digital elevation model
Imran et al. Image-Based Automatic Energy Meter Reading Using Deep Learning
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
Park et al. Image super-resolution using dilated window transformer
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200515