CN111754438B - 基于多分支门控融合的水下图像复原模型及其复原方法 - Google Patents
基于多分支门控融合的水下图像复原模型及其复原方法 Download PDFInfo
- Publication number
- CN111754438B CN111754438B CN202010590175.8A CN202010590175A CN111754438B CN 111754438 B CN111754438 B CN 111754438B CN 202010590175 A CN202010590175 A CN 202010590175A CN 111754438 B CN111754438 B CN 111754438B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- underwater
- layer
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 136
- 238000012545 processing Methods 0.000 claims description 41
- 230000006798 recombination Effects 0.000 claims description 25
- 238000005215 recombination Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 238000007526 fusion splicing Methods 0.000 claims 1
- 230000004075 alteration Effects 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 19
- 238000011084 recovery Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 241000242759 Actiniaria Species 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000017105 transposition Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000242758 Actinia Species 0.000 description 1
- 241001083548 Anemone Species 0.000 description 1
- 241000592718 Ibla Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多分支门控融合的水下图像复原模型及其复原方法，包括依次连接的多分支特征提取模块、门控融合模块和重建模块；多分支特征提取模块，用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息；门控融合模块，用于对待复原的水下原始图像的不同尺度、不同层级的图像特征信息进行融合，得到水下低分辨率特征图像；重建模块，用于对水下低分辨率特征图像进行图像重建，得到高分辨率特征图像即水下复原图像。多分支特征提取模块由分别用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息的多个不同的分支模块组成，且其多个不同的分支模块输出的特征图尺寸均相同，有效提高对比度，消除色差。
Description
技术领域
本发明属于水下图像复原技术领域，涉及一种基于多分支门控融合的水下图像复原模型及其复原方法。
背景技术
我国拥有辽阔的海洋面积，如何有效开发和利用海洋资源，对于缓解我国能源危机和解决可持续发展问题显得尤为迫切。由于复杂的水下条件对图像采集的严重影响，使得水下图像往往存在低对比度、颜色失真、图像模糊等问题，严重影响了后续处理及进一步使用。因此，有必要研究有效的解决方案以改善水下图像的可见度、对比度和色彩特性，以获得更好的视觉效果。
水下图像恢复的传统方法可分为两类：图像增强和图像复原。水下图像增强主要针对现有的图像问题，这类方法较为简单且容易实现，但是由于没有考虑水下图像降质的物理参数，其增强效果不一定完全符合图像的真实场景，且该方法未考虑水下图像的因素，因此不适用于具有不同物理特性的水下图像。水下图像复原时，要考虑到水下的光学特性和环境特性并创建模型，利用该模型的物理参数进行反向推导，恢复出未退化的图像。图像复原需要建立物理模型，且模型复杂、耗时长，在某些复杂场景的复原效果不佳。
近几年，由于深度学习的快速发展，研究学者继而尝试利用神经网络的学习方式处理水下图像。例如Li等人的WaterGAN，利用对抗神经网络生成种类繁多的数据集，以便后续矫正网络处理，但计算成本过高，详见“Li,J.,Skinner,K.A.,Eustice,R.M.Watergan:unsupervised generative network to enable real-time color correction ofmonocular underwater images[J].IEEE Robot.Autom.Lett.,2018,387–394”。Hu等人提出利用卷积神经网络分别估计传输图和背景光，最后利用得到的数据恢复出清晰的水下图像，但该网络是理想化的简化版水下成像模型，考虑成像因素不多，恢复的图像亮度不均匀，不能消除模糊，详见“Hu,Y.,Wang,K.,Zhao,X.Underwater image restoration basedon convolutional neural network.Proc.Asian Conf.Machine Learning,2018,pp.296–311”。
由以上可知，传统方法不足以满足各种水下图像的复原工作，而基于深度学习的方式虽然可以应对各种复杂的水下图像，但在特征提取上依旧存在短板，从而导致后续复原工作存在细节丢失，颜色失真等问题，水下图像复原效果不佳，复原得到的水下图像依然存在缺陷。随着海洋资源探测地日益深入，海洋工程装备中的水下机器人的研究越来越受到人们的关注。水下机器人的机器视觉是获取水下信息的关键部分，如何有效地复原水下机器人成像设备所采集的视频图像，提高视频图像的清晰度和对比度使得视觉效果尽可能还原到自然场景，将图像信息完整的呈现出来，便于研究人员进行海底勘探以及开采(冶金矿采、油气资源开发)工作，是目前亟待解决的问题。
发明内容
本发明实施例提供一种基于多分支门控融合的水下图像复原模型及其复原方法，以解决现有基于深度学习的水下图像复原方法复原效果不佳、复原的水下图像存在模糊缺陷的问题。
本发明实施例所采用的技术方案是，基于多分支门控融合的水下图像复原模型，包括依次连接的多分支特征提取模块、门控融合模块和重建模块；
所述多分支特征提取模块，用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息；
所述门控融合模块，用于对待复原的水下原始图像的不同尺度、不同层级的图像特征信息进行融合，得到水下低分辨率特征图像；
所述重建模块，用于对水下低分辨率特征图像进行图像重建，得到高分辨率特征图像即水下复原图像。
本发明实施例所采用的另一技术方案是，基于多分支门控融合的水下图像复原模型的复原方法，按照以下步骤进行：
步骤S1、将待复原的水下原始图像分别输入到多分支特征提取模块中；
步骤S2、多分支特征提取模块对待复原的水下原始图像进行特征提取，得到待复原的水下原始图像的不同尺度的特征图；
步骤S3、将待复原的水下原始图像的不同尺度的特征图输入至门控融合模块，经门控融合模块进行门控融合处理输出水下低分辨特征图像R′；
步骤S4、利用重建模块的多个重建层对水下低分辨率特征图像R′进行图像重建，得到水下复原图像R。
本发明实施例的有益效果是，提出了一种多分支门控融合的水下图像复原模型及其复原方法，引入多分支特征提取结构，使用多种类型的卷积来提取图像不同尺度的图像特征信息，能够得到更多水下图像的特征信息，保证了提取特征的完整性，避免了特征提取不充分问题且增强了复原模型的学习能力。同时采用门控融合模块能有效融合不同尺度的特征信息，为特征融合提供合理的融合方式。此外，引入图像超分辨技术中的像素重组(Pixel Shuffle)的方式实现图像上采样，避免传统的线性插值和转置卷积方式造成的分辨率下降，局部细节信息丢失，且在训练时增加感知损失能够恢复图像的细节纹理特征，有效恢复原始水下图像的细节和能见度使图像清晰化，改善水下图像的视觉效果，提高了对比度，消除了色差，解决了现有水下图像复原方法的复原效果不佳、复原的水下图像存在模糊缺陷的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的基于多分支门控融合的水下图像复原模型的结构示意图。
图2是本发明实施例的基于多分支门控融合的水下图像复原模型中的门控融合模块的结构示意图。
图3是本发明实施例的基于多分支门控融合的水下图像复原方法的流程图。
图4是本发明实施例的基于多分支门控融合的水下图像复原方法与其他算法对鳐鱼图像的复原效果对比图。
图5是本发明实施例的基于多分支门控融合的水下图像复原方法与其他算法对红色海葵图像的复原效果对比图。
图6是本发明实施例的基于多分支门控融合的水下图像复原方法与其他算法对黄色海葵图像的复原效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经发明人研究发现，现有的基于深度学习的水下图像复原方法的复原效果不佳，复原的水下图像主要存在以下缺陷：(1)复原图像中存在色偏，整体视觉效果不能接近自然场景下物体的真实颜色；(2)由于多数深度学习模型采用MSE损失或者L1损失，这些损失函数会平滑图像纹理，导致复原图像的纹理细节处理效果不佳，显得不自然。针对该缺陷，本发明实施例提出一种用于水下图像复原的多分支特征提取模型，其结构如图1所示，包括依次连接的多分支特征提取模块、门控融合模块和重建模块，其中，多分支特征提取模块，用于提取待复原的水下原始图像的不同尺度、不同层级(低层级和高层级)的图像特征信息。门控融合模块，用于对待复原的水下原始图像的不同尺度、不同层级的图像特征信息进行融合，得到水下低分辨率特征图像；重建模块，用于对水下低分辨率特征图像进行图像重建，得到高分辨率特征图像即水下复原图像，本发明实施例中的图像重建就是将低分辨率特征图像逐步放大，最后恢复到与原始输入图像一样的分辨率，其与上采样的作用相同，门控融合模块选择性地融合不同尺度、不同层级的特征信息，更好地利用有用特征信息，得出低分辨空间的复原图像，重建模块将低分辨率的复原图像上采样恢复到原始尺寸。
多分支特征提取模块由多个不同的分支模块组成，其多个不同的分支模块分别用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息，且其每个分支模块的输出端均与门控融合模块的输入端连接。本发明实施例中多分支特征提取模块由多尺度提取模块、单一尺度特征提取模块和空洞卷积残差提取模块这三个不同的分支模块组成，且多尺度提取模块、单一尺度特征提取模块和空洞卷积残差提取模块的输出端均与门控融合模块的输入端连接，即多分支特征提取模块在低分辨的特征空间下从三个方面对水下原始图像进行特征提取，保证水下图像特征的完整性。多尺度提取模块，用于在不同的感知野下提取待复原的水下原始图像中不同大小的物体的低层级特征信息如轮廓、颜色信息等，得到多尺度的特征图；单一尺度特征提取模块，用于提取包含待复原的水下原始图像的全部特征信息的单一尺度的特征图；空洞卷积残差提取模块，用于利用空洞卷积提取待复原的水下原始图像的局部特征信息以及高层级特征信息。
低层级的特征信息是简单具象的，其是利用浅层神经网络即能够学习到的图像特征信息，例如颜色、边缘、纹理等。高层级图像特征信息是利用深度神经网络能够学习到的复杂抽象的图像特征信息，是神经网络对图像内容信息抽象的表达或者对图像的理解认知，例如图像中的人脸等。在一个卷积神经网络中靠近输入的前几层网络能够提取目标到低层级特征信息，随着卷积层数增加，网络深度加深，更深层网络能学习到更为复杂的高层级特征。本发明实施例采用单一尺度特征提取模块主要对输入的图像整体信息做一个采集；而多尺度特征提取模块用于提取水下图像中不同大小的物体信息，保证在不同的感知野下对其中的物体信息进行采集提取，以保证局部信息的完整；空洞卷积残差模块通过12个空洞卷积残差层，加深网络深度，保证既能够提取到更丰富的特征信息又能得到水下图像的高层级信息。
本发明实施例中，单一尺度特征提取模块由依次连接的五层卷积层构成，第一层卷积层的卷积核大小为3×3，步长为1；剩余四层卷积层的卷积和大小为3×3，步长为2。单一尺度特征提取模块的第一层卷积层采用大小为3×3、步长为1的卷积核将输入的水下原始图像的总体特征信息采集到一张与输入图像大小相同的特征图中，然后后续依次采用四层卷积核大小为3×3、步长为2的卷积层依次进行下采样运算，对水下原始图像的特征信息进行不断提取，最后输出汇聚水下原始图像全局的单一尺度的特征图。1×1的卷积核通常用于改变特征图维度(通道数)和减少参数计算量，3×3卷积核是最小的能够捕获像素八邻域信息的尺寸，较大的卷积核可通过多个3×3的卷积核叠加来获得相同的感知野，而且使用多个3×3的卷积核可以捕获并更多的空间上下文信息，网络非线性程度高，更能表示复杂函数。而且使用多个3×3的卷积核需要的总参数计算量也比单个大尺寸卷积核要小。例如一个5×5卷积拥有的感知野可用两个3×3卷积代替，两个3×3卷积带来的参数计算量为2×3×3×C，一个5×5卷积的计算量5×5×C，C为卷积核的输出通道数。第一层卷积步长设置为1是将输入图像的特征提取到和输入图像尺寸一致的特征图中，后面四层卷积步长设置为2是对上一卷积层输出的特征图做下采样，目的是减少参数计算量和增大感知野(做下采样使得特征图减小，下一层卷积核处理时虽依旧是3×3的感知野，却能得到更大的特征感知范围，能够学习到的特征更多)。本发明实施例的这五层卷积的步长和卷积核大小主要是用于对输入图像进行下采样以便将整体特征提取到低分辨率空间。单一尺度特征提取通过下采样的形式将输入图像的特征采样到一个小尺寸的特征图中，得到的是输入图像整体特征的概述，需要其他特征提取模块提取到的特征进行补充。
多尺度提取模块由依次连接的多个多尺度特征提取单元构成，其中，每个多尺度特征提取单元包含两层结构相同的卷积结构，两层结构相同的卷积结构均采用大小为1×1、3×3和5×5的卷积核；输入的特征图通过多尺度特征提取单元的第一层卷积结构时，分别经过大小为3×3和5×5的卷积核对输入的特征图进行卷积处理，然后将两部分卷积处理的输出按照特征图的第一维度连接在一起后再经大小为1×1的卷积核进行卷积处理，大小为1×1的卷积核卷积处理的输出作为第一层的卷积结构输出结果传递到第二层卷积结构；第二层卷积结构的操作和第一层卷积结构的操作相同，最后使用跳跃连接将当前多尺度特征提取单元的输入与当前特征提取单元的第二层卷积结构的输出结果相加进行信息融合后传递到下一多尺度特征提取单元。
每张输入的水下图像内容不同，里面的物体信息也不相同，可能包含相对较小或者较大的物体。在卷积处理时较小的物体能提取到的特征信息很少，又因感知野的大小可能会提取到周围的其他无关信息，随着不断做卷积处理，最后较小物体信息可能会丢失，因此需要引入不同尺度的卷积核，通过不同尺度的感知野对图像进行全面的信息提取，保证较小物体的信息也能在最后输出的特征图上。每个多尺度特征提取单元由三层卷积层构成，输入图像首先分别经卷积核大小为3×3和5×5的卷积层进行卷积处理，然后将两者的输出连接在一起后通过卷积核大小为1×1的卷积层进行二次卷积处理以减少参数量，并将卷积核大小为1×1的卷积层的输出作为输入传递至下一多尺度特征提取单元，其输出结果采用残差形式与当前多尺度提取单元的输入连接融合，即采用跳跃连接将当前多尺度提取单元的输出直接与其输入加在一起，将不同多尺度提取单元的输出特征信息集合，增加特征信息的多样性，最后输出得到多尺度特征图。
空洞卷积残差提取模块由12个空洞卷积残差层组成，所述空洞卷积残差层由两个深度可分离卷积层和两个空洞卷积层构成，并以深度可分离卷积层-空洞卷积层-深度可分离卷积层-空洞卷积层的形式依次连接，深度可分离卷积在空洞卷积之前对输出作预处理，处理结果再经由空洞卷积处理，同时通过跳跃连接将当前空洞卷积残差层的输入与当前空洞卷积残差层的最后一个空洞卷积层的输出直接相加传递至下一个空洞卷积残差层。空洞卷积残差层利用空洞卷积所拥有的比标准卷积更大的感知野，提取更广泛的局部信息，空洞卷积残差层的结构能使得网络更深，其中的跳跃连接将上一残差层的结果与当前层的提取结果共同输入到下一层残差，实现层级间的特征信息能够相互交流，补充特征信息，减少网络变深在不断卷积的操作下带来的特征信息损失，使得提取得到的图像信息更加丰富，且残差结构能使深度网络不退化，使用12个空洞卷积残差层使得网络加深能够提取到高级抽象的特征信息。
在每层空洞卷积之前采用深度可分离卷积作为预处理，可增加卷积层之间的相互联系使后续的空洞卷积处理具有平滑性，同时深度可分离卷积利用其结构特点分离输入图像的特征通道，然后用空洞卷积对每个通道的特征图进行处理，减少计算量，使得网络处理速度更快。空洞卷积在构造上相当于在标准的卷积中注入“空洞”(填充0)虽保证大的感知野，由于空洞卷积的计算方式类似于棋盘格式，卷积后输出的特征图之间无相关性，得到的局部信息不一致。所谓平滑性就是为了消除空洞卷积造成的特征信息不连续问题，特征图无相关性的问题。深度可分离卷积在定义上包含两个部分，一是逐通道卷积分离输入的特征通道；二是用逐点卷积将分离后的通道进行卷积运算在深度上重新加权组合，不同的特征通道融合在一起，增加通道间的信息相关性，最后生成新的特征图。利用深度可分离卷积这一特点，在空洞卷积前使用深度可分离卷积对输入图像预处理，保证输出到空洞卷积的特征图具有相关性，经由空洞卷积处理后输出特征图之间的相关性依旧存在。空洞卷积残差模块的作用就是保证了特征提取能在较深的网络中能够继续学习，最后得到图像高层级特征信息。
门控融合模块包括Concate连接层、卷积层和特征信息增强层，Concate连接层，用于对多分支特征提取模块提取得到的待复原的水下原始图像的不同尺度、不同层级的特征图进行一维融合拼接，得到总的特征信息图T；卷积层，用于对总的特征信息图T进行卷积操作，使其尺寸与待复原的水下原始图像的不同尺度的特征图尺寸一致；特征信息增强层，用于按照对应像素值，将总的特征信息图T分别与不同分支的特征图按对应位置元素相乘并将乘积相加作为信息增强后的图像当前位置元素，得到水下低分辨率特征图像。门控融合模块利用的是卷积层对三分支提取的特征信息进行Concate连接，并运用卷积处理保证融合的特征图尺度一致，并把融合后的特征图分别与不同分支的特征图按对应位置元素相乘，相当于输入的特征图中的元素作为权重与融合后的特征图中对应位置元素相乘，利用多个输入特征图中对特征的表达不同，特征重要性也不同，对融合后的特征图中的特征进行“权重运算”，将有用的特征信息增强，无用信息弱化。最后得到源图像中有用图像信息集合。
重建模块由四个重建层级联组成，每层重建层以放大2倍的效果，依次将低分辨率特征图恢复到待复原的水下原始图像的分辨率尺寸。每个重建层由依次连接的像素重组模块和卷积核大小为3×3的卷积层组成，像素重组模块，用于以放大2倍的效果对输入的特征图像进行重组；卷积核大小为3×3或1×1的卷积层，用于平衡输入的特征图即像素重组模块输出的特征图的通道数，以便后续的上采样能正常进行，使最后能够输出RGB三通道的复原图像。像素重组需要多个低分辨率的特征图重组得到高分辨特征图，为了确保这一操作能正常运行，该操作在定义上要求必须是r2个特征图，r为放大倍数，每做一次像素重组特征图数量会减少，为保障最后能输出RGB三通道的复原图像，所以需要平衡每个步骤输出的特征图数量保证下一个操作能正常进行。因为重建层是将低分辨率图像放大到高分辨率，卷积的作用是平衡通道数使得最后网络复原输出RGB三通道的正常图像，则卷积步长设置为1，不改变特征图的尺寸只改变卷积后输出特征图的通道数，卷积核的大小可设置为3×3或者1×1。低分辨特征图像R′经过多个重建层处理最终获取水下复原图像R。
基于深度学习的网络模型设计依据应用背景，例如图像分类和图像分割关注的是图像内容的分析理解，在模型设计上更倾向关注的目标的识别，将目标信息从整体分离加以识别分类。图像复原旨关注原始低质量图像到高质量复原图像之间的非线性映射关系，需要提取全局每一特征信息，将已退化的特征信息增强，噪音等干扰信息弱化。水下成像过程中由于水体对红光的吸收，水下图像总体呈现蓝绿色，并且水体对光传播造成衰减和散射及水体中含有的各种微粒悬浮物，使得水下成像会出现边缘细节模糊，对比度低等问题。本发明实施例的多分支特征提取结构分别采用不同类型的卷积，不同尺度的卷积核，充分利用各类型卷积的特点有效快速地提取图像中物体的轮廓，颜色等信息。单一尺寸特征提取得到全局信息，多尺度和空洞卷积残差为补充，实现图像高低层级信息都能全部提取。门控融合不同传统型简单的拼接融合和信息相加融合，通过“权重运算”操作增强关键的特征信息，抑制无用信息，同时也在去除图像噪声。特征重建亦是摒弃转置卷积，利用多个低分辨率图像中每一位置像素点去构造高分辨率对应位置像素点。
图像的特征处理在计算机视觉任务中具有重要意义，因为深度学习的模型训练就是在学习如何更好的表达图像的特征信息，这也使得特征的提取尤为关键。本发明实施例提出的多分支特征提取结构能分别提取图像不同尺度的信息尽可能地保证特征的完整性。卷积处理提取的特征信息包含着有用信息和无用信息，如何运用有效信息成为图像复原关键。本发明实施例利用这一思想采用门控融合的方式，将提取的图像特征图合成比原输入特征更具表达能力的特征信息。每个分支提取得到的特征图包含的信息不完全一致，对所提取的特征图中对其中的每一个特征重要性表达也是不一样，门控融合将特征进行一个类似“加权运算”的操作，利用输入特征图中对特征的表达方式对融合得到的全部特征信息进一步处理，增强有用特征信息。重建模块不同于通常所用的线性插值和转置卷积，避免插值造成的细节损失和转置卷积导致的不平衡重叠，采用图像超分辨的像素重组降低分辨率图像按照特定位置进行组合，重建效率更高。
本发明实施例提出基于多分支门控融合的水下图像复原模型的复原方法，如图1所示，按照以下步骤进行：
步骤S1、将待复原的水下原始图像分别输入到多分支特征提取模块的每个分支即单一尺度特征提取模块、多尺度特征提取模块、空洞残差层特征提取模块中；
步骤S2、多分支特征提取模块的每个分支对待复原的水下原始图像进行特征提取，得到相应特征图，即图1中的M1、M2和M3；
其中，单个多尺度特征提取单元的输出计算公式为：
S1＝H3×3(X)；
P1＝H5×5(X)；
S′＝H1×1(C[S1,P1])；
S2＝H3×3(S′)；
P2＝H5×5(S′)；
S″＝H1×1(C[S2,P2])；
Y＝S″+X；
其中，X为当前多尺度特征提取单元的输入；H表示多尺度特征提取中的卷积操作，其下标表示卷积核的尺度；S1表示当前多尺度特征提取单元的第一层卷积结构中3×3卷积核的卷积处理结果，P1为当前多尺度特征提取单元的第一层卷积结构中5×5卷积核的卷积处理结果，C[S1,P1]为当前多尺度特征提取单元的第一层卷积结构的3×3卷积核和5×5卷积核的输出特征图的连接结果；S′为当前多尺度特征提取单元的第一层卷积结构的1×1卷积核的卷积处理结果即当前多尺度特征提取单元的第一层卷积结构的输出；S2表示当前多尺度特征提取单元的第二层卷积结构的3×3卷积核对其第一层卷积结构输出特征信息的卷积处理结果，P2表示当前多尺度特征提取单元的第二层卷积结构的5×5卷积核对其第一层卷积结构输出特征信息的卷积处理结果；C[S2,P2]为当前多尺度特征提取单元的第二层卷积结构的3×3卷积核和5×5卷积核的输出特征图的连接结果；S″表示当前多尺度特征提取单元的第二层卷积结构的1×1卷积核的卷积处理结果即当前多尺度特征提取单元的第二层卷积结构的输出；Y为当前多尺度特征提取单元的输出也即下一多尺度特征提取单元的输入。经多个多尺度特征提取单元组成的多尺度特征提取模块，最终从待复原的水下原始图像也即源图像F中提取出不同尺度的特征图M2。
步骤S3、将多分支特征提取模块提取得到的特征图即特征图M1、M2和M3输入至门控融合模块，经门控融合模块输出水下低分辨特征图像R′，具体实现过程如下：
进行拼接融合处理，得到具有特征图M1、M2和M3(多分支特征提取模块提取得到的特征图)所包含的特征信息的特征图T，再将多分支特征提取模块提取得到的特征图的特征信息与特征图T进行运算得到水下低分辨特征图像R′，具体实现过程如下：
如图2所示，门控融合模块首先对多分支特征提取模块提取得到的特征图M1，M2，M3按照第一维度进行拼接融合，得到具有多分支特征提取模块提取得到的特征图M1、M2和M3所包含的所有特征信息的总的特征信息图T，然后采用大小为3×3和1×1的卷积核对拼接的特征信息进行卷积处理，以降维和减少参数量，使得总的特征信息图T的尺寸和特征图M1、M2、M3一致，计算公式如下：
T＝Ggate(M1,M2,M3)；
其中，G表示门控融合，具体是通过Concate连接和卷积处理将特征信息融合得到总的特征信息图T。
最后再将卷积处理后的总的特征信息图T与多分支特征提取模块提取得到的特征图M1、M2、M3按照下述公式计算得到水下低分辨特征图像R′：
R′＝M1*T+M2*T+M3*T；
特征图从数学角度可看作向量矩阵，其中的元素可看作对特征的表达，其中每个像素元素即为向量矩阵中的元素，上述公式即是将总的特征信息图T与多分支特征提取模块提取得到的特征图M1、M2、M3分别按照矩阵对应位置元素相乘，即对总的特征信息图T对应的特征向量矩阵中每一元素分别乘以给定“权重”，目的在于利用输入的特征图M1、M2、M3中对特征的表达方式，对融合后的总的特征信息图T中的特征用权重评估其重要性。
输入的特征图M1、M2、M3的格式为(N,C,H,W)，N为样本数，C为通道数，H和W表示特征图M1、M2、M3的高和宽。特征图M1、M2、M3以第一维度连接在一起，即三个特征图是按通道数拼接的，得到的特征图T为(N,3C,H,W)。首先使用3×3卷积核对特征图进行降维将其通道数恢复到C，再用1×1卷积对这个特征图进行参数量处理，这就使得总的特征图T的尺寸和三个特征分支提取到的特征图尺寸一致。
步骤S4、利用重建模块的多个重建层对水下低分辨率特征图像R′进行像素重组，得到水下复原图像R，图像重建的计算公式为：
R＝H3×3[PS(R′)]；
PS(R′)x,y,c＝R′[x/r],[y/r],C·r·mod(y,r)+C·r·mod(x,r)；
其中，PS(R′)表示对低分辨特征图像R′进行像素重组操作，x为高分辨空间输出像素的横坐标，y为高分辨空间输出像素的纵坐标，r为采用像素重组操作对低分辨特征图像R′的放大倍数，C表示用于像素重组的特征图的通道数即特征图的数量，该像素重组操作即是将r2张高为H、宽为W的低分辨率特征图像R′重新组成一张高为rH、宽为rW的高分辨率图像R；mod(y,r)和mod(x,r)表示激活方式，根据不同的子像素位置即r2张低分辨率特征图像R′的像素位置，在像素重组过程中将其上表示相同位置的像素区域激活，然后提取出来用于组成高分辨率图像R中的一个区域；运用卷积以步长为1/r，权重间距为1/r，在低分辨率图卷积操作以得到高分辨率的图像，而像素重组是借鉴这一原理使用更高效的方式去实现上述步骤，[x/r]和[y/r]表示像素重组即通过建立坐标系对不同的特征图中的像素位置进行激活提取，将这些提取到的像素用以重组。具体是提取r2张低分辨率特征图像R′中的相同位置坐标下的像素并排列成一个r×r的区域，对应于高分辨率图像中的一个r×r大小的像素点，从而将r2张低分辨率特征图像R′组成高分辨率图像R，本质上就是将r2张低分辨率特征图像按照特定位置，重新组成得到一张高分辨率图像。
为了更好的训练本发明实施例的水下图像复原模型，采用的损失函数是以均方损失(MSE)和感知损失相结合的方式，对复原后的水下图像的细节内容进行一次提炼，深度学习中损失函数用于衡量模型预测的好坏，在本发明实施例指的是用于计算复原后的图像与真实图像之间的差值。在设计损失函数时会使用优化函数将损失函数的结果反馈到整体网络模型，优化模型中的参数设置，直至能损失值降至最低，能让水下图像复原的视觉质量更好，损失函数计算公式如下：
其中，Lfinal表示本发明实施例的水下图像复原模型的损失，α表示MSE损失LM的权重，β表示感知损失LP的权重，本发明实施例中设置α＝0.25，β＝0.75；
表示特征提取操作，是采用预训练的VGG16模型对采用本发明的水下图像复原模型得到的复原图像yi和真实图像
进行特征提取后的输出，N表示训练样本数量。
表示采用VGG16模型对真实图像
进行特征提取后的输出，
表示采用VGG16模型对复原图像yi进行特征提取后的输出。VGG模型是深度学习中的经典深度卷积神经网络模型，它由牛津大学计算机视觉实验室和谷歌共同开发。曾参加2014年ILSVRC(ImageNet Large Scale Visual RecognitionChallenge)比赛取得了优异成绩。VGG模型结构参数详见原始论文“Very DeepConvolutional Networks for Large-Scale Image Recognition”。目前VGG模型已成功在原基础上构建出16-19层结构，其中以16层结构的VGG16最为经典，依然经常被研究人员用于特征提取，VGG16用于图像特征提取时只需将最后的全连接层去掉即可，以特征图的形式输出提取到的特征信息。本发明实施例利用VGG16构建感知损失分别对复原图像yi和真实图像
进行特征提取，VGG16中的卷积层用于提取图像的特征信息，池化层用于保留主要特征，降低下一层的参数量，最后VGG16模型输出对yi和
提取的特征图，计算两特征图的差值，即度量复原图像和真实图像之间差距程度。
为了验证本发明实施例的水下图像复原方法的有效性，选择不同场景图像作为测试数据集，并与Song的算法(Song,Wei,Wang,Yan,Huang,Dongmei,et al.A rapid scenedepth estimation model based on underwater light attenuation prior forunderwater image restoration.Lecture Notes in Computer Science,v11164 LNCS,pp.678-688,2018)；Huang的算法(Huang,Dongmei,Wang,Yan,Song,Wei,et.al.Shallow-Water Image Enhancement Using Relative Global Histogram Stretching Based onAdaptive Parameter Acquisition.Lecture Notes in Computer Science,v 10704LNCS,pp.453-465,2018)；Peng的算法(Yan-Tsung Peng,Pamela C.Cosman,Underwater ImageRestoration Based on Image Blurriness and Light Absorption.IEEE Transactionson Image Processing,Vol.26,pp.1579-1594,2017)和本发明的实验结果通过主客观两个方面对比分析验证。
如图4所示，为本发明实施例提供的水下图像复原方法与其他算法对鳐鱼图像进行复原处理后的实验效果图，其中，图4-1为水下鳐鱼图像对应的真实图，图4-2为水下鳐鱼图像；图4-3为Song的复原结果图；图4-4为Peng的复原结果图；图4-5为Huang的复原结果图；图4-6为本发明实施例方法的复原结果图。从图4中可以看出Song的算法和本发明方法可在一定程度上复原图像，IBLA和RGHS算法出现了增强绿色色偏问题，没有复原，能见度差。Song的算法消除原始图像的绿色色偏，但复原图像局部光强度过大，使得图像不自然，视觉效果较差。但本发明实施例的复原方法所得复原图像能见度清晰，色彩校正较好，提高了水下图像的可见性和局部细节效果。因此本发明方法有效恢复原始水下图像的细节和能见度，提高了对比度，颜色没有偏差。
如图5所示，为本发明实施例提供的水下图像复原方法与其他算法对红色海葵图像进行复原处理后的实验效果图。其中，图5-1为水下红色海葵图像对应的真实图，图5-2为水下红色海葵图像；图5-3为Song的复原结果图；图5-4为Peng的复原结果图；图5-5为Huang的复原结果图；图5-6为本发明实施例方法的复原结果图。由图5可知，Song的算法增加了对比度，但局部色偏没有去除，并且增强颜色深度，造成局部图像色彩变暗形成黑影。Peng的算法没有去除色偏，并增强色偏，降低对比度，整体视觉效果较差。Huang的算法虽没去除色偏，但在一定程度上恢复了海葵的细节特征。而本发明实施例的方法能见度清晰，细节效果好，无偏色问题。因此本发明方法有效恢复原始水下图像的细节和能见度，提高了对比度，颜色没有偏差。
如图6所示，为本发明实施例提供的水下图像复原方法与其他算法对黄色海葵图像进行复原处理后的实验效果图。其中，图6-1为水下黄色海葵图像对应的真实图，图6-2为水下黄色海葵图像；图6-3为Song的复原结果图；图6-4为Peng的复原结果图；图6-5为Huang的复原结果图；图6-6为本发明实施例方法的复原结果图。从图6上分析，Song的算法、Peng的算法和Huang的算法均在能见度和色彩一定程度上复原了图像，但三种算法都造成了图像的局部光亮过强，并出现色偏问题；而本发明实施例的方法能见度高，海葵色彩自然，更清晰。因此本发明实施例的方法有效恢复了原始水下图像的细节和能见度，提高了对比度，颜色无偏差。
本实施例为避免定性分析带来的偏差，使用峰值信噪比(PSNR)、结构相似性(SSIM)和UIQM三个客观指标进行定量评价，从图像色彩、清晰度和水下图像彩色质量对不同方法的实验结果进行对比，如表1所示：
表1不同方法对水下原始图像的复原结果对比数据
从表1的数据可知，本发明实施例(our)的PSNR、SSIM和UIQM均大于Song、Peng和Huang的方法。PSNR和SSIM得分越高，表明性能越好，并且表示结果与真实图像更相似。UIQM是一种无参考的水下图像的综合评价指标，该指标关注图像的对比度、色度和饱和度，并以此作为衡量水下图像质量依据，符合人体感官视觉效果。UIQM值越大，说明图像的综合质量越高。表1明确指出了在不同指标下真实的水下图像测试数据的平均得分。因此本发明实施例的方法对于复原图像的峰值信噪比、结构相似性和UIQM都有较大的提升，且优于其它复原方法。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (7)
1.基于多分支门控融合的水下图像复原模型，其特征在于，包括依次连接的多分支特征提取模块、门控融合模块和重建模块；
所述多分支特征提取模块，用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息；
所述门控融合模块，用于对待复原的水下原始图像的不同尺度、不同层级的图像特征信息进行融合，得到水下低分辨率特征图像；
所述重建模块，用于对水下低分辨率特征图像进行图像重建，得到高分辨率特征图像即水下复原图像；
所述多分支特征提取模块由多个不同的分支模块组成，其多个不同的分支模块分别用于提取待复原的水下原始图像的不同尺度、不同层级的图像特征信息，且其多个不同的分支模块输出的特征图尺寸均相同；
所述多分支特征提取模块的每个分支模块的输出端均与门控融合模块的输入端连接；
所述多分支特征提取模块由多尺度提取模块、单一尺度特征提取模块和空洞卷积残差提取模块这三个不同的分支模块组成；
所述多尺度提取模块，用于在不同的感知野下提取待复原的水下原始图像中不同大小的物体的颜色、边缘、纹理信息，得到多尺度的特征图；
所述单一尺度特征提取模块，用于提取包含待复原的水下原始图像的全部特征信息，得到单一尺度的特征图；
所述空洞卷积残差提取模块，用于利用空洞卷积提取待复原的水下原始图像的局部特征信息；
所述多尺度提取模块由依次连接的多个多尺度特征提取单元构成，其中，每个多尺度特征提取单元包含两层结构相同的卷积结构，两层结构相同的卷积结构均采用卷积核大小为1×1、3×3和5×5的卷积层；输入的特征图通过多尺度特征提取单元的第一层卷积结构时，分别经过卷积核大小为3×3和5×5的卷积层对输入的特征图进行卷积处理，然后将两部分卷积处理的输出按照特征图的第一维度连接在一起后再经卷积核大小为1×1的卷积层进行卷积处理，卷积核大小为1×1的卷积层卷积处理的输出作为第一层卷积结构的输出结果传递到第二层卷积结构；第二层卷积结构和第一层卷积结构的操作相同，最后使用跳跃连接将当前多尺度特征提取单元的输入与当前特征提取单元的第二层卷积结构的输出结果相加进行信息融合后传递到下一多尺度特征提取单元；
所述单一尺度特征提取模块由依次连接的五层卷积层构成，其第一层卷积层的卷积核大小为3×3，步长为1；剩余四层卷积层的卷积和大小为3×3，步长为2；
所述空洞卷积残差提取模块由12个空洞卷积残差层组成，所述空洞卷积残差层由两个深度可分离卷积层和两个空洞卷积层构成，并以深度可分离卷积层-空洞卷积层-深度可分离卷积层-空洞卷积层的形式依次连接，同时通过跳跃连接将当前空洞卷积残差层的输入与当前空洞卷积残差层的最后一个空洞卷积层的输出直接相加传递至下一个空洞卷积残差层。
2.根据权利要求1所述的基于多分支门控融合的水下图像复原模型，其特征在于，所述门控融合模块包括Concate连接层、卷积层和特征信息增强层；
所述Concate连接层，用于对多分支特征提取模块提取得到的待复原的水下原始图像的不同尺度、不同层级的特征图进行一维融合拼接，得到总的特征信息图T；
所述卷积层，用于对总的特征信息图T进行卷积操作，使其尺寸与待复原的水下原始图像的不同尺度的特征图尺寸一致；
所述特征信息增强层，用于按照对应像素值，将总的特征信息图T分别与不同分支的特征图按对应位置元素相乘并将乘积相加作为信息增强后的图像当前位置元素，得到水下低分辨率特征图像。
3.根据权利要求1任一项所述的基于多分支门控融合的水下图像复原模型，其特征在于，所述重建模块由四个重建层级联组成，每层重建层以放大2倍的效果，依次将低分辨率特征图恢复到待复原的水下原始图像的分辨率尺寸；
每个重建层由依次连接的像素重组模块和卷积核大小为3×3或1×1的卷积层组成，所述像素重组模块，用于以放大2倍的效果对输入的特征图像进行重组；
所述卷积核大小为3×3或1×1的卷积层，其卷积步长为1，用于平衡输入的特征图即像素重组模块输出的特征图的通道数，以便后续的上采样能正常进行，使最后能够输出RGB三通道的复原图像。
4.如权利要求1所述的基于多分支门控融合的水下图像复原模型的复原方法，其特征在于，按照以下步骤进行：
步骤S1、将待复原的水下原始图像分别输入到多分支特征提取模块中；
步骤S2、多分支特征提取模块对待复原的水下原始图像进行特征提取，得到待复原的水下原始图像的不同尺度的特征图；
步骤S3、将待复原的水下原始图像的不同尺度的特征图输入至门控融合模块，经门控融合模块进行门控融合处理输出水下低分辨特征图像R′；
步骤S4、利用重建模块的多个重建层对水下低分辨率特征图像R′进行图像重建，得到水下复原图像R。
5.根据权利要求4所述的基于多分支门控融合的水下图像复原模型的复原方法，其特征在于，所述步骤S2中单个多尺度特征提取单元的输出计算公式为：
S1＝H3×3(X)；
P1＝H5×5(X)；
S′＝H1×1(C[S1,P1])；
S2＝H3×3(S′)；
P2＝H5×5(S′)；
S″＝H1×1(C[S2,P2])；
Y＝S″+X；
其中，X为当前多尺度特征提取单元的输入；H表示多尺度特征提取中的卷积操作，其下标表示卷积核的尺度；S1表示当前多尺度特征提取单元的第一层卷积结构中3×3卷积核的卷积处理结果，P1为当前多尺度特征提取单元的第一层卷积结构中5×5卷积核的卷积处理结果，C[S1,P1]为当前多尺度特征提取单元的第一层卷积结构的3×3卷积核和5×5卷积核的输出特征图的连接结果；S′为当前多尺度特征提取单元的第一层卷积结构的1×1卷积核的卷积处理结果即当前多尺度特征提取单元的第一层卷积结构的输出；S2表示当前多尺度特征提取单元的第二层卷积结构的3×3卷积核对其第一层卷积结构输出特征信息的卷积处理结果，P2表示当前多尺度特征提取单元的第二层卷积结构的5×5卷积核对其第一层卷积结构输出特征信息的卷积处理结果；C[S2,P2]为当前多尺度特征提取单元的第二层卷积结构的3×3卷积核和5×5卷积核的输出特征图的连接结果；S″表示当前多尺度特征提取单元的第二层卷积结构的1×1卷积核的卷积处理结果即当前多尺度特征提取单元的第二层卷积结构的输出；Y为当前多尺度特征提取单元的输出也即下一多尺度特征提取单元的输入。
6.根据权利要求4所述的基于多分支门控融合的水下图像复原模型的复原方法，其特征在于，所述步骤S3的具体实现过程如下：
首先，采用Concate连接进行拼接融合处理，得到具有待复原的水下原始图像的不同尺度的特征图所包含的全部特征信息的总的特征信息图T；
其次，采用大小为3×3和1×1的卷积核对总的特征信息图T进行卷积处理，使其尺寸与待复原的水下原始图像的特征图M1、M2、M3的尺寸相同；
最后，再将卷积处理后的总的特征信息图T与特征图M1、M2、M3按照下述公式计算得到水下低分辨特征图像R′：
R′＝M1*T+M2*T+M3*T；
其中，特征图M1为单一尺度特征提取模块提取得到的待复原的水下原始图像的特征图，特征图M2为多尺度提取模块提取得到的待复原的水下原始图像的特征图，特征图M3为空洞卷积残差提取模块提取得到的待复原的水下原始图像的特征图。
7.根据权利要求4～6任一项所述的基于多分支门控融合的水下图像复原模型的复原方法，其特征在于，所述步骤S4图像重建的计算公式为：
R＝H3×3[PS(R′)]；
PS(R′)x,y,c＝R′[x/r],[y/r],C·r·mod(y,r)+C·r·mod(x,r)；
其中，PS(R′)表示对低分辨特征图像R′进行像素重组操作，x为高分辨空间输出像素的横坐标，y为高分辨空间输出像素的纵坐标，r为采用像素重组操作对低分辨特征图像R′的放大倍数，C表示用于像素重组的特征图的通道数即特征图的数量，该像素重组操作即是将r2张高为H、宽为W的低分辨率特征图像R′重新组成一张高为rH、宽为rW的高分辨率图像R；mod(y,r)和mod(x,r)表示激活方式，根据不同的子像素位置即r2张低分辨率特征图像R′的像素位置，在像素重组过程中将其上表示相同位置的像素区域激活，然后提取出来用于组成高分辨率图像R中的一个区域；[x/r]和[y/r]表示像素重组即通过建立坐标系对不同的特征图中的像素位置进行激活提取，将这些提取到的像素用以重组。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590175.8A CN111754438B (zh) | 2020-06-24 | 2020-06-24 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010590175.8A CN111754438B (zh) | 2020-06-24 | 2020-06-24 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754438A CN111754438A (zh) | 2020-10-09 |
| CN111754438B true CN111754438B (zh) | 2021-04-27 |
Family
ID=72677210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010590175.8A Active CN111754438B (zh) | 2020-06-24 | 2020-06-24 | 基于多分支门控融合的水下图像复原模型及其复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754438B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419184B (zh) * | 2020-11-19 | 2022-11-04 | 重庆邮电大学 | 一种综合局部信息和全局信息的空间注意力图像去噪方法 |
| CN112508099A (zh) * | 2020-12-07 | 2021-03-16 | 国网河南省电力公司电力科学研究院 | 一种实时目标检测的方法和装置 |
| CN112801906B (zh) * | 2021-02-03 | 2023-02-21 | 福州大学 | 基于循环神经网络的循环迭代图像去噪方法 |
| CN113239809B (zh) * | 2021-05-14 | 2023-09-15 | 西北工业大学 | 基于多尺度稀疏sru分类模型的水声目标识别方法 |
| CN114119383B (zh) * | 2021-09-10 | 2024-04-26 | 大连海事大学 | 一种基于多特征融合的水下图像复原方法 |
| CN113888426A (zh) * | 2021-09-28 | 2022-01-04 | 国网安徽省电力有限公司电力科学研究院 | 一种基于深度可分离残差网络的电力监控视频去模糊方法 |
| CN114004847B (zh) * | 2021-11-01 | 2023-06-16 | 中国科学技术大学 | 一种基于图可逆神经网络的医学图像分割方法 |
| CN114219725A (zh) * | 2021-11-25 | 2022-03-22 | 中国科学院深圳先进技术研究院 | 一种图像处理方法、终端设备及计算机可读存储介质 |
| CN114550137B (zh) * | 2022-02-22 | 2024-04-09 | 智道网联科技(北京)有限公司 | 识别交通标志牌的方法、装置和电子设备 |
| CN116782041B (zh) * | 2023-05-29 | 2024-01-30 | 武汉工程大学 | 一种基于液晶微透镜阵列的图像质量提高方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537733A (zh) * | 2018-04-11 | 2018-09-14 | 南京邮电大学 | 基于多路径深度卷积神经网络的超分辨率重建方法 |
| CN109584170A (zh) * | 2018-10-29 | 2019-04-05 | 西安电子科技大学 | 基于卷积神经网络的水下图像复原方法 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
| WO2020049567A1 (en) * | 2018-09-06 | 2020-03-12 | Carmel Haifa University Economic Corporation Ltd. | Model-free physics-based reconstruction of images acquired in scattering media |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL300998A (en) * | 2016-04-07 | 2023-04-01 | Carmel Haifa Univ Economic Corporation Ltd | Deduplication and image recovery |
| CN109064408A (zh) * | 2018-09-27 | 2018-12-21 | 北京飞搜科技有限公司 | 一种多尺度图像超分辨率重建的方法及装置 |
-
2020
- 2020-06-24 CN CN202010590175.8A patent/CN111754438B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537733A (zh) * | 2018-04-11 | 2018-09-14 | 南京邮电大学 | 基于多路径深度卷积神经网络的超分辨率重建方法 |
| WO2020049567A1 (en) * | 2018-09-06 | 2020-03-12 | Carmel Haifa University Economic Corporation Ltd. | Model-free physics-based reconstruction of images acquired in scattering media |
| CN109584170A (zh) * | 2018-10-29 | 2019-04-05 | 西安电子科技大学 | 基于卷积神经网络的水下图像复原方法 |
| CN110689483A (zh) * | 2019-09-24 | 2020-01-14 | 重庆邮电大学 | 基于深度残差网络的图像超分辨率重建方法及存储介质 |
| CN110838092A (zh) * | 2019-10-28 | 2020-02-25 | 天津大学 | 一种基于卷积神经网络的水下图像复原方法 |
Non-Patent Citations (3)
| Title |
|---|
| A Novel Multi-Scale Adaptive Convolutional Network for Single Image Super-Resolution;Peng L.等;《IEEE Access》;20190328;第45191-45200页 * |
| 基于多尺度递归网络的图像超分辨率重建;吴磊 等;《光学学报》;20190630;第39卷(第6期);第0610001-1--0610001-8页 * |
| 基于深度学习的水下图像超分辨率重建方法;陈龙彪 等;《计算机应用》;20190930;第39卷(第9期);第2738-2743页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754438A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754438B (zh) | 基于多分支门控融合的水下图像复原模型及其复原方法 | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN111275637B (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN111242238B (zh) | 一种rgb-d图像显著性目标获取的方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| CN112861690B (zh) | 多方法融合的遥感影像变化检测方法及系统 | |
| CN114463209B (zh) | 一种基于深度多特征协同学习的图像修复方法 | |
| CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN113222819B (zh) | 一种基于深度卷积神经网络的遥感图像超分辨重建方法 | |
| CN111833261A (zh) | 一种基于注意力的生成对抗网络的图像超分辨率复原方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN116188325A (zh) | 一种基于深度学习和图像颜色空间特性的图像去噪方法 | |
| Zhang et al. | Hierarchical attention aggregation with multi-resolution feature learning for GAN-based underwater image enhancement | |
| Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
| CN115700731A (zh) | 一种基于双通道卷积神经网络的水下图像增强方法 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN115035010A (zh) | 一种由卷积网络引导模型映射的水下图像增强方法 | |
| CN117391920A (zh) | 基于rgb通道差分平面的大容量隐写方法及系统 | |
| CN117408924A (zh) | 一种基于多重语义特征融合网络的低光照图像增强方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |