CN116823610A - 一种基于深度学习的水下图像超分辨率生成方法和系统 - Google Patents
一种基于深度学习的水下图像超分辨率生成方法和系统 Download PDFInfo
- Publication number
- CN116823610A CN116823610A CN202310772088.8A CN202310772088A CN116823610A CN 116823610 A CN116823610 A CN 116823610A CN 202310772088 A CN202310772088 A CN 202310772088A CN 116823610 A CN116823610 A CN 116823610A
- Authority
- CN
- China
- Prior art keywords
- resolution
- network
- image
- deep learning
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000013136 deep learning model Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000005070 sampling Methods 0.000 claims abstract description 36
- 230000006870 function Effects 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000002474 experimental method Methods 0.000 abstract description 2
- 230000016776 visual perception Effects 0.000 abstract description 2
- 230000004913 activation Effects 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的水下图像超分辨率生成方法和系统，构建深度学习模型，包括多尺度特征提取、长距离及短距离依赖关系学习、多尺度上采样；训练模型以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像生成的深度学习模型；利用训练好的深度学习模型进行水下图像超分辨率实验。本发明使用了更加轻量化的网络结构，不仅能够加快模型的训练速度，还可以大幅度减少训练参数，并能够尽可能地学习输入图像细节信息，同时引入长距离及短距离依赖关系学习让模型对全局及局部特征都有良好地建模能力；多尺度上采样网络，在不增加网络规模的前提下很好地挖掘多尺度的特征信息，从而提高了生成图像地视觉感知效果。
Description
技术领域
本发明涉及一种基于深度学习的水下图像超分辨率方法和系统，具体是指将受到水下环境因素以及拍摄设备影响的低分辨率水下图片，通过设计端到端的神经网络，并用大量数据对该网络进行训练，学习低分辨率图像到高分辨率图像的映射关系，从而实现根据任意的水下低分辨率图像生成相应的高分辨率图像的功能。
背景技术
光学成像仪器广泛应用于水下工程系统，在水下目标定位、检测和识别中发挥着重要作用。然而，由于极端的成像条件以及水下平台的电源和计算资源短缺，水下观测比地面观测更具挑战性。基于光学物理，非均匀光衰减和光散射共同导致局部畸变和全局模糊效应，当被用于显示和进一步的视觉任务时，原始水下图像表现出一定的局限性。因此，对于大多数水下视觉任务来说，提高水下图像质量是非常需要的。
超分辨率是一种提高感知图像质量的典型方法，已被用于许多水下视觉任务。在概念上，图像超分辨率是指从其对应的低分辨率图像恢复高分辨率图像。传统的基于插值的方法可以通过邻域一致性重建未知像素，然而由于其特征表示能力不足，在比例因子较大时，重建结果较差。
近年来，基于深度学习的图像超分辨率方法取得了显著进展，与传统模型相比，在性能上取得了显著的飞跃。然而，现有的基于深度学习的图像超分辨率方法由较深的网络和大量参数构成，这需要大量的训练数据同时也降低了模型效率。此外，尽管基于深度学习的超分辨率方法具有优异的性能，但水下图像超分辨率研究仍有很大的发展空间。
首先，水下图像受到全局模糊和局部失真的影响。像素与像素之间的依赖性变得复杂，因为任何水下图像像素不仅与其邻近区域一致，而且由于光散射效应而与远程像素有关。这种短距离和长距离的依赖关系不能通过现有的网络来表示。第二，由于地面上有足够的计算资源，大多数开创性的深度学习网络通过更深的网络结构获得更好的结果。而水下平台的计算资源和能源有限，水下任务的网络也需要保证轻量化，超分辨的性能和效率之间的权衡很大程度上决定了方法的可行性。第三，由于水下环境复杂，目前公开的水下图像数据集较小，很难训练非常深的网络。
发明内容
发明目的：为了克服现有技术中存在的问题与不足，提供一种基于深度学习的水下图像超分辨率方法和系统，能够提升图像空间超分辨重构效果。
技术方案：一种基于深度学习的水下图像超分辨率方法，包括如下步骤：
S1：构建深度学习模型，其包括如下步骤：
A11：多尺度特征提取(MFEM)
小尺度特征可以突出纹理细节，而大尺度特征可以呈现区域特征。在多尺度特征提取网络中输入水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取。
A12：长距离及短距离依赖关系学习(S&LDLM)
将步骤A11得到的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对全局特征进行建模。最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像。
A13：多尺度上采样(MUP)
将步骤A12中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样网络的输入，通过不同大小的卷积核生成更多的细节信息，最后根据已提取到的信息，通过上采样的方式将图像放大到目标分辨率大小，从而实现目标高分辨率图像的生成。
S2：训练深度学习模型：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型。
其中将低分辨率图像经过上述多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络后得到的高分辨率图像表示为G:{X}→S的映射关系。将目标高分辨率图像与通过该模型生成的高分辨率图像带入损失函数进行计算，从而求得损失函数最优条件下模型最优的权值和偏置。
S3：利用训练好的深度学习模型进行水下图像超分辨率测试。
进一步地，所述步骤S2中训练集的预处理过程为：将具有高分辨率的水下图像采用广泛使用的风格转化技术来生成各自的失真图像，然后通过高斯模糊和双三次下采样生成对应的低分辨率图像，作为整个网络的训练集。
进一步地，所述步骤S2中深度学习模型的训练过程如下：
A1：将低分辨率图像X输入到多尺度特征提取网络，在该网络中按颜色通道低分辨率图像X被分割为三份，三份分别经过卷积大小不同的卷积层，并渐进式融合恢复到初始的维度数，得到多尺度的特征图。
A2：将多尺度的特征图输入到长距离及短距离依赖关系学习网络，在该网络中双分支并行，分别经过残差网络和Transformer网络，级联输出后经过一个卷积层实现降维输出，恢复到与输入相同的维度。
A3：将A2生成的图像输入到多尺度上采样网络，在经过进一步的不同尺度卷积网络后通过上采样放大到与目标分辨率大小一致的输出图像。
A4：训练整个深度学习模型，计算对应网络的损失函数，同时更新整个网络的参数，直到损失函数趋于稳定，得到最终的水下图像超分辨率模型。
进一步地，所述步骤S3中训练好的深度学习模型的损失函数如下：
L＝L1(G)＝ΕX,S[||S-G(X)||1] (1)
其中，||·||1是1-范数，X和S分别是水下低分辨率图像和高分辨率图像，G代表一种映射关系，可理解为一种函数，即输入X通过G这种运算得到输出结果，即目标高分辨率图像，使这种结果无限接近真实高分辨率图像；G:{X}→S是低分辨率图像到高分辨率图像的映射关系。
一种基于深度学习的水下图像超分辨率系统，包括：深度学习模型构建单元和深度学习模型训练单元；所述深度学习模型构建单元构建的深度学习模型包括多尺度特征提取网络，长距离及短距离依赖关系学习网络，以及多尺度上采样网络；
多尺度特征提取网络：在多尺度特征提取网络中输入水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取。
长距离及短距离依赖关系学习网络：将多尺度特征提取网络得到的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对特征的全局特征进行建模。最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像。
多尺度上采样网络：将长距离及短距离依赖关系学习网络中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样网络的输入，通过不同大小的卷积核生成更多的细节信息，最后根据已提取到的信息，通过上采样的方式将图像放大到目标分辨率大小，从而实现目标高分辨率图像的生成。
深度学习模型训练单元：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型。
其中将低分辨率图像经过上述多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络后得到的高分辨率图像表示为G:{X}→S的映射关系。将目标高分辨率图像与通过该深度学习模型生成的高分辨率图像带入损失函数进行计算，从而求得损失函数最优条件下模型最优的权值和偏置。
利用训练好的深度学习模型进行水下图像超分辨率测试。
所述系统的实现过程和方法相同，不再赘述。
一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的基于深度学习的水下图像超分辨率方法。
一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的基于深度学习的水下图像超分辨率方法的计算机程序。
有益效果：本发明与现有技术相比，多尺度特征提取网络使用了更加轻量化的结构，不仅能够加速模型训练速度，同时减少了训练参数，还能够尽可能地学习细节信息；长距离及短距离依赖关系学习网络可以更好地对全局关系进行建模且对于局部特征也有一定地学习能力；多尺度上采样网络，可以在不增加网络规模地前提下更多地挖掘不同尺度间地信息，从而提高生成高分辨率图像的视觉效果。
附图说明
图1是本发明基于深度学习的水下图像超分辨率方法的原理总框图；
图2是本发明基于卷积网络的多尺度特征提取网络；
图3是本发明基于卷积网络及Transformer框架的长距离及短距离依赖关系学习网络；
图4是本发明基于卷积网络的多尺度上采样网络；
图5是本发明生成图像与其余方法生成图像对比示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
基于深度学习的水下图像超分辨率方法，如图1所示，其包括如下步骤：
步骤1，训练集预处理
首先对具有高分辨率的水下图像进行预处理得到水下低分辨率图像作为训练数据集，预处理包括风格转化技术来生成失真图像，然后通过高斯模糊和双三次下采样操作，将分辨率为640×480的高分辨率图像处理为(640/r)×(480/r)的低分辨率图像，其中r为比例因子，可以为2，4，8；此外比例因子r也可取3，此时需要将高分辨率图像进行一定的裁剪，使得其分辨率为639×480，则处理后的低分辨率图像分辨率为(639/r)×(480/r)
步骤2，构建深度学习模型、其包括如下步骤：
步骤201，多尺度特征提取：
输入训练数据集中水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取；
步骤202，长距离及短距离依赖关系学习：
将步骤,201中的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对特征的全局特征进行建模。最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像。
步骤203，多尺度上采样：
将步骤,202中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样的输入，通过不同大小的卷积核生成更多的细节信息，最后通过上采样根据以后信息生成目标高分辨率图像。
步骤3，训练深度学习模型：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型。本实例中比例因子r可以设置为2，3，4或8，将输入低分辨率图像H×W放大r倍，输出大小为rH×rW的高分辨率图像。
具体的训练过程如步骤A1～A4：
A1：将原始低分辨率图像X输入到多尺度特征提取网络，在该网络中按颜色通道被分割为三份，分别经过卷积大小不同的卷积层，并渐进式融合恢复到初始的维度数，得到多尺度的特征图。
A2：将多尺度的特征图输入到长距离及短距离依赖关系学习网络，在该网络中双分支并行，分别经过残差网络和Transformer网络，级联输出后经过一个卷积层实现降维输出，恢复到与输入相同的维度。
A3：将A2生成的图像输入到多尺度上采样模块，在经过进一步的不同尺度卷积网络后通过上采样放大到与目标分辨率大小一致的输出图像。
A4：训练整个深度学习模型，计算对应网络的损失函数，同时更新整个网络的参数，直到损失函数趋于稳定，得到最终的水下图像超分辨率模型。
本实施例中训练好的深度学习模型的损失函数如下：
L＝L1(G)＝ΕX,S[||S-G(X)||1] (1)
其中，是1-范数，X和S分别是水下低分辨率图像和高分辨率图像，G:{X}→S是指低分辨率图像到高分辨率图像的映射关系。
本实施例中先将水下低分辨率图像利用一个3×3×64的卷积层提取浅层特征，水下低分辨率图像经过浅层特征提取后的输出结果用f0表示，然后将浅层特征f0输入到如图2所示由串并行卷积计算构成的多尺度特征提取网络(MFEM)中。为了加速网络计算过程，信道分割模块被设计为生成4个通道路径，每个频带路径包括16个特征信道。第一和第二通道(和/>)连接具有3、2和1的膨胀系数的卷积；第三通道/>包括膨胀系数为2和1的卷积。最后一个通道/>通过膨胀系数为1的卷积。上述多尺度特征提取过程可以表示为：
其中Hcp(·)表示通道分割操作，在本实例中每个通道维度为16。
其中Conv7(·)、Conv5(·)、Conv3(·)分别表示膨胀系数为3、2、1的卷积操作，Concat(·)表示通道级联操作。
在如图3所示的长距离及短距离依赖关系学习网络(S&LDLM)中利用CNN结构学习短距离依赖关系的相关性(图3顶部分支)，而通过Transformer模块学习长距离依赖关系(图3底部分支)。一方面，由于局部注意力机制，该网络利用卷积层可以很好的提取局部上下文信息，另一方面，它具有Transformer中移位窗口的优点，可以对长距离依赖建模。卷积结构由2个3×3的卷积和2个激活函数构成，而Transformer分支则由一个普通Transformer块构成。双分支通过级联操作融合到一起，并通过一个3×3的反卷积将维数降至与输入维数相同。上述过程可以表示为：
CNN:
其中Relu(·)是激活函数。
Transformer:
其中HMSA(·)和HMLP(·)分别代表多头自注意力和多层感知模块，Hnorm(·)表示归一化操作。
其中Conv1(·)表示卷积核大小为1的卷积操作。
将上述输出结果(其中k为0，1)送入软注意力模块(FFM)中，以进一步融合浅层特征和深层特征，软注意力模块(FFM)的输出结果用fFFM表示。
如图4所示的多尺度上采样网络(MUP)中，与单卷积操作相比，多尺度操作可以为低分辨率图像超分辨率提供更多的信息。其具体结构包括两个并行的卷积层。在第一次卷积后进行通道分割，为图像插值建立了四条路径，其具体表示为：
f1 1,f2 1＝Hcp(Conv5(fFFM)) (10)
f1 2,f2 2＝Hcp(Conv3(fFFM)) (11)
f3＝Concat(Relu(Conv(Concat(f1 1,f1 2))),Relu(Conv(Concat(f2 1,f2 2))), Relu(Conv(Concat(f2 1,f1 2))),Relu(Conv(Concat(f1 1,f2 2)))) (12)
O＝Conv3(HUP(f3)) (13)
其中HUP(·)是上采样操作，O为模型生成的高分辨率图像结果，也即损失函数中G(X)的值。
步骤4，利用训练好的深度学习模型进行水下图像超分辨率测试。
基于深度学习的水下图像超分辨率系统，包括：深度学习模型构建单元和深度学习模型训练单元；所述深度学习模型构建单元构建的深度学习模型包括多尺度特征提取网络，长距离及短距离依赖关系学习网络，以及多尺度上采样网络；
多尺度特征提取网络：在多尺度特征提取网络中输入水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取。
长距离及短距离依赖关系学习网络：将多尺度特征提取网络得到的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对全局特征进行建模。最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像。
多尺度上采样网络：将长距离及短距离依赖关系学习网络中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样网络的输入，通过不同大小的卷积核生成更多的细节信息，最后根据已提取到的信息，通过上采样的方式将图像放大到目标分辨率大小，从而实现目标高分辨率图像的生成。
深度学习模型训练单元：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型。
其中将低分辨率图像经过上述多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络后得到的高分辨率图像表示为G:{X}→S的映射关系。将目标高分辨率图像与通过该模型生成的高分辨率图像带入损失函数进行计算，从而求得损失函数最优条件下模型最优的权值和偏置。
利用训练好的深度学习模型进行水下图像超分辨率测试。
本实施例中将发明方法与现有的方法进行试验对比，实验的对比结果如表1所示：
表1：在比例因子r为2、3、4下比较标准数据集UFO-120上的PSNR和SSIM值
从表1可以看出本发明方法相比现有技术中提到的方法在标准数据集UFO-120上其平均峰值信噪比(PSNR)和结构相似性(SSIM)的值更高，表现更好。(数值越大效果越好)。
为了更加直观的体现本发明所提出方法的有效性，在比例因子为2、3、4时在数据集UFO-120上与现有方法进行比较的结果如图5所示。可以看出，本发明所提出的方法与其他的四个方法相比，生成的图像与目标高分辨率图像较为接近且恢复出较好的细节，其视觉感知效果较好。所以本实施例证明了本发明方法的有效性，并且具备更好的性能。
显然，本领域的技术人员应该明白，上述的本发明实施例的基于深度学习的水下图像超分辨率方法各步骤或基于深度学习的水下图像超分辨率系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
Claims (8)
1.一种基于深度学习的水下图像超分辨率方法，其特征在于，包括如下步骤：
S1：构建深度学习模型，其包括如下步骤：
A11：多尺度特征提取
在多尺度特征提取网络中输入水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取；
A12：长距离及短距离依赖关系学习
将步骤A11得到的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对全局特征进行建模；最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像；
A13：多尺度上采样
将步骤A12中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样网络的输入，通过不同大小的卷积核生成更多的细节信息，最后根据已提取到的信息，通过上采样的方式将图像放大到目标分辨率大小，从而实现目标高分辨率图像的生成。
S2：训练深度学习模型：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型；
S3：利用训练好的深度学习模型进行水下图像超分辨率测试。
2.根据权利要求1所述的基于深度学习的水下图像超分辨率方法，其特征在于，所述步骤S2中，将低分辨率图像经过多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络后得到的高分辨率图像表示为G:{X}→S的映射关系；将目标高分辨率图像与通过深度学习模型生成的高分辨率图像带入损失函数进行计算，从而求得损失函数最优条件下模型最优的权值和偏置。
3.根据权利要求1所述的基于深度学习的水下图像超分辨率方法，其特征在于，所述步骤S2中训练集的预处理过程为：将具有高分辨率的水下图像采用广泛使用的风格转化技术来生成各自的失真图像，然后通过高斯模糊和双三次下采样生成对应的低分辨率图像，作模型的训练集。
4.根据权利要求1所述的基于深度学习的水下图像超分辨率方法，其特征在于，所述步骤S2中深度学习模型的训练过程如下：
A1：将低分辨率图像X输入到多尺度特征提取网络，在该网络中按颜色通道低分辨率图像X被分割为三份，三份分别经过卷积大小不同的卷积层，并渐进式融合恢复到初始的维度数，得到多尺度的特征图；
A2：将多尺度的特征图输入到长距离及短距离依赖关系学习网络，在该网络中双分支并行，分别经过残差网络和Transformer网络，级联输出后经过一个卷积层实现降维输出，恢复到与输入相同的维度；
A3：将A2生成的图像输入到多尺度上采样网络，在经过进一步的不同尺度卷积网络后通过上采样放大到与目标分辨率大小一致的输出图像；
A4：训练整个深度学习模型，计算对应网络的损失函数，同时更新整个网络的参数，直到损失函数趋于稳定，得到最终的水下图像超分辨率模型。
5.根据权利要求1所述的基于深度学习的水下图像超分辨率方法，其特征在于，所述步骤S3中训练好的深度学习模型的损失函数如下：
L＝L1(G)＝ΕX,S[||S-G(X)||1] (1)
其中，||·||1是1-范数，X和S分别是水下低分辨率图像和高分辨率图像，G:{X}→S是低分辨率图像到高分辨率图像的映射关系。
6.一种基于深度学习的水下图像超分辨率系统，其特征在于，包括：深度学习模型构建单元和深度学习模型训练单元；所述深度学习模型构建单元构建的深度学习模型包括多尺度特征提取网络，长距离及短距离依赖关系学习网络，以及多尺度上采样网络；利用训练好的深度学习模型进行水下图像超分辨率测试；
多尺度特征提取网络：在多尺度特征提取网络中输入水下低分辨率图像，利用通道分割方法，对图像三通道进行分别的处理和特征提取，并通过渐进式的通道叠加将提取的特征逐步融合，从而实现多尺度的特征提取。
长距离及短距离依赖关系学习网络：将多尺度特征提取网络得到的特征作为长距离及短距离依赖关系学习网络的输入，采用双分支并行的方法，通过卷积网络学习特征的局部关系，利用Transformer对特征的全局特征进行建模。最后将双分支的输出进行级联输出，得到长距离及短距离依赖关系学习后的图像。
多尺度上采样网络：将长距离及短距离依赖关系学习网络中经过长距离及短距离依赖关系学习后的图像作为多尺度上采样网络的输入，通过不同大小的卷积核生成更多的细节信息，最后根据已提取到的信息，通过上采样的方式将图像放大到目标分辨率大小，从而实现目标高分辨率图像的生成。
深度学习模型训练单元：
将预处理好的水下训练集数据中低分辨率水下图像X作为深度学习模型的输入，对应的高分辨率水下图像S作为目标，训练模型中的多尺度特征提取网络、长距离及短距离依赖关系学习网络和多尺度上采样网络以获得最优的权值和偏置，得到能够实现水下低分辨率图像到高分辨率图像的深度学习模型。
7.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-5中任一项所述的基于深度学习的水下图像超分辨率方法。
8.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-5中任一项所述的基于深度学习的水下图像超分辨率方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772088.8A CN116823610A (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的水下图像超分辨率生成方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310772088.8A CN116823610A (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的水下图像超分辨率生成方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823610A true CN116823610A (zh) | 2023-09-29 |
Family
ID=88140454
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310772088.8A Pending CN116823610A (zh) | 2023-06-28 | 2023-06-28 | 一种基于深度学习的水下图像超分辨率生成方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823610A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853502A (zh) * | 2023-12-15 | 2024-04-09 | 北京透彻未来科技有限公司 | 基于多尺度混合分析的病理图像分割模型及方法 |
-
2023
- 2023-06-28 CN CN202310772088.8A patent/CN116823610A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117853502A (zh) * | 2023-12-15 | 2024-04-09 | 北京透彻未来科技有限公司 | 基于多尺度混合分析的病理图像分割模型及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN112950471A (zh) | 视频超分处理方法、装置、超分辨率重建模型、介质 | |
| CN112184577A (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN113592715B (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
| CN115205147A (zh) | 一种基于Transformer的多尺度优化低照度图像增强方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN111353938A (zh) | 一种基于网络反馈的图像超分辨率学习方法 | |
| CN116823610A (zh) | 一种基于深度学习的水下图像超分辨率生成方法和系统 | |
| CN116645598A (zh) | 一种基于通道注意力特征融合的遥感图像语义分割方法 | |
| CN116486074A (zh) | 一种基于局部和全局上下文信息编码的医学图像分割方法 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| Zhang et al. | Enhanced visual perception for underwater images based on multistage generative adversarial network | |
| CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
| Wang et al. | Adaptive feature fusion network based on boosted attention mechanism for single image dehazing | |
| CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
| CN116485654A (zh) | 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法 | |
| Li et al. | An improved method for underwater image super-resolution and enhancement | |
| CN116228576A (zh) | 基于注意力机制与特征增强的图像去雾方法 | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN113962332B (zh) | 基于自优化融合反馈的显著目标识别方法 | |
| CN115909088A (zh) | 基于超分辨特征聚合的光学遥感图像目标检测方法 | |
| CN115471718A (zh) | 基于多尺度学习的轻量级显著性目标检测模型的构建和检测方法 | |
| CN112508082A (zh) | 一种非监督学习的遥感影像空谱融合方法及系统 | |
| CN118172246A (zh) | 一种基于深度学习的水下图像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |