CN113781333A - 一种基于引导滤波的gan网络对水下图像进行处理的方法 - Google Patents
一种基于引导滤波的gan网络对水下图像进行处理的方法 Download PDFInfo
- Publication number
- CN113781333A CN113781333A CN202110987634.0A CN202110987634A CN113781333A CN 113781333 A CN113781333 A CN 113781333A CN 202110987634 A CN202110987634 A CN 202110987634A CN 113781333 A CN113781333 A CN 113781333A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- underwater
- frequency
- underwater image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001914 filtration Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 title claims abstract description 15
- 230000006870 function Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 238000012360 testing method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于引导滤波的GAN网络对水下图像进行处理的方法，包括：获取原始的水下失真图像；将原始的水下失真图像利用引导滤波进行分解，分解成低频水下图像Ilf和高频水下图像Ihf；将生成的低频水下图像Ilf和高频水下图像Ihf同时输入到GAN网络中，生成增强后的低频水下图像
以及增强后的高频水下图像
将增强后的低频水下图像
和增强后的高频水下图像
通过像素级相加得到第一阶段的增强水下图像Imid，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout，对生成的最后的水下图像Iout进行监督学习，将经过监督学习的水下图像Iout和真实的水下图像输入到判别器网络中进行打分。
Description
技术领域
本发明涉及水下图像增强和复原技术领域，尤其是涉及一种基于引导滤波的GAN网络对水下图像进行处理的方法。
背景技术
水下图像作为水下信息的重要载体，研究水下方向往往需要高质量的水下图像。但是水下图像往往容易产生颜色失真、对比度低、清晰度差和细节模糊等问题，这给水下机器人、水下目标检测等海洋应用带来了巨大的挑战。近些年来，水下图像的增强和复原在计算机视觉和图像处理领域得到了广泛的关注。一般地，主要有三类方法，第一类是基于空间域的方法，第二类是基于变换域图像方法，第三类就是基于深度学习的方法。
基于空间域的方法是通过对像素点的重新分布去提高图像的质量。此类方法中提升对比度的常用方法有直方图均衡化(HE)，对比度受限自适应直方图均衡化(CLAHE)，伽马矫正(GUM)等，对颜色进行校正的方法有灰色世界(GW)，白平衡(WB)等。由于水下复杂的环境，这些传统的方法效果有限。为了进一步提高水下图像质量，多尺度融合算法被提出，可以不考虑水下图像的退化过程，首先对原图像进行颜色校正和对比度增强，然后和原图像作为输入，通过四种权重将两幅图像融合，得到清晰度好，对比度高的图像。还有基于颜色空间的算法，例如基于Retinex方法将RGB颜色空间转换为Lab颜色空间中，从而对水下图像进行颜色校正；一种新的颜色校正方法利用lαβ颜色空间对水下图像进行颜色校正；此外还有使用基于扩展
多尺度Retinex的方法复原水下图像。这类方法虽然可以提高水下图像的质量，但是没有考虑水下图像的退化过程。
基于变换域的方法是将空间域的图像变换为频域图像做增强，其中频域图像是将图像分解成高低频图像，低频图像是对整幅图像的强度的综合度量，高频图像是对图像的边缘信息和轮廓的度量。频域图像可以用物理方法调整图像像素，常用的有傅里叶变换和小波变换，基于变换域的方法虽然能够提高对比度和可见性，但是容易放大噪声。
深度学习方法广泛进入人们的视野，在水下图像方面取得了不错的效果。深度学习方法可利用大量的训练数据，得到一个好的模型，考虑水下图像的退化过程，进行颜色校正，提高对比度，清晰度和增强细节等。常见的深度学习方法有卷积神经网络(Convolutional Neural Networks)和对抗生成网络(Generative AdversarialNetwork)。
发明内容
本发明所要解决的技术问题是提供
本发明所采用的技术方案是，一种基于引导滤波的GAN网络对水下图像进行处理的方法，该方法包括下列步骤：
(1)、获取原始的水下失真图像；
(2)、将原始的水下失真图像利用引导滤波进行分解，分解成低频水下图像Ilf和高频水下图像Ihf；利用引导滤波进行分解原始的水下失真图像的表达式为：q＝g(p,I,ε,r)，其中g为引导滤波函数，q为引导滤波后的图像，p为输入图像，输入图像为原始的水下失真图像，I为引导图像，采用的引导图像与输入图像一致，ε为正则化系数，是一个大于0的常数，r为滤波器的窗口大小；生成的低频水下图像Ilf的表达式为：Ilf＝g(Ir,Ir,ε,r)，其中Ir为输入的原始水下失真图像水下失真图像；生成的高频水下图像Ihf的表达式为：Ihf＝Ir-Ilf；
(3)、进行第一阶段的网络训练：将生成的低频水下图像Ilf和高频水下图像Ihf同时输入到GAN网络中，GAN网络包括高低频模块，所述高低频模块包括低频增强网络和高频增强网络，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
其中L(·)是指对低频水下图像Ilf做低频部分的卷积；同时，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
其中H(·)是指对高频水下图像Ihf做高频部分的卷积；
(4)、将增强后的低频水下图像
和增强后的高频水下图像
通过像素级相加得到第一阶段的增强水下图像Imid，
α为系数，取值为0到1之间；
(5)、进行第二阶段的网络训练：GAN网络还包括与高低频模块连接的细化模块，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout；
(6)、对生成的最后的水下图像Iout进行监督学习，将经过监督学习的水下图像Iout和真实的水下图像输入到判别器网络中进行打分。
本发明的有益效果是：本申请方法将引导滤波应用于水下图像的生成对抗网络，无需人为设定阈值，操作简单方便，并且采用两分支两阶段的策略，以此来生成更高质量的水下图像，而且在主观评价和客观评价都取得了良好的效果。
作为优选，步骤(3)中，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
的具体过程包括下列步骤：
(3-1)、将生成的低频水下图像Ilf首先输入到第一卷积中进行运算，提取出第一特征，将第一特征输入到第二卷积中进行运算，提取出第二特征，所述第一卷积和第二卷积的大小均为3×3，步长均为2；
(3-2)、将第二特征输入到第一Dense Block网络结构中进行运算，提取出第三特征；将输出的第三特征输入到第二Dense Block网络结构中进行运算，提取出第四特征；
所述第一Dense Block网络结构和第二Dense Block网络结构均包括第一卷积模块组、与第一卷积模块组连接的第一连接块、与第一连接块连接的第二卷积模块组、与第二卷积模块组连接的第二连接块以及与第二连接块连接的第六卷积，所述第一卷积模块组包括第七卷积、第八卷积以及第九卷积，所述第二卷积模块组包括第十卷积以及第十一卷积；所述第七卷积的大小为1×1，步长为1，所述第八卷积的大小为3×3，步长为1，所述第九卷积的大小为5×5，步长为1，所述第十卷积的大小为3×3，步长为1，所述第十一卷积的大小为5×5，步长为1；
第二特征作为第一Dense Block网络结构的输入特征输入到第一Dense Block网络结构中进行运算具体过程为：往第七卷积、第八卷积以及第九卷积这三个卷积中同时输入输入特征进行运算，第一连接块将第七卷积输出的特征、第八卷积输出的特征以及第九卷积输出的特征连接在一起形成一个第一总体特征，第一总体特征再同时输入到第十卷积和第十一卷积中，第二连接块将第十卷积输出的特征、第十一卷积输出的特征以及第七卷积输出的特征连接在一起形成一个第二总体特征，最后再将第二总体特征输出到第六卷积中进行运算；第三特征作为第二Dense Block网络结构的输入特征，其输入到第二DenseBlock网络结构中进行运算的过程与第三特征输入到第二Dense Block网络结构中进行运算的过程是相同的；
(3-3)、将第四特征输入到第三卷积中进行运算，提取出第五特征，将第五特征输入到第四卷积中进行运算，提取出第六特征，将第六特征输入到第五卷积中进行运算，生成低频增强水下图像
所述第三卷积和第四卷积的大小均为3×3，步长均为2，所述第五卷积的大小为1×1，步长为1。
作为优选，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
的具体过程为：将高频水下图像Ihf依次经过三个大小均为3×3，步长均为1的第十二卷积进行计算输出增强后的高频水下图像
作为优选，在步骤(5)中，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout的具体过程为：将第一阶段的增强水下图像Imid依次经过六个大小均为3×3，步长均为1的第十三卷积，然后再经过一个大小为1×1，步长为1的第十四卷积进行运算输出，最后采用tanh激活函数来生成最后的水下图像Iout。
作为优选，在步骤(6)中，对生成的最后的水下图像Iout进行监督学习的具体过程包括下列步骤：
(6-1)、建立增强的低频水下图像
和真实图像的低频水下图像
之间的损失关系，同时建立增强的高频水下图像
与真实图像的高频水下图像损失函数
之间的损失关系，分别定义为：
其中，MSE表示低频损失，MSA表示高频损失，M、N是水下图像的像素值；
(6-2)、采用最小二乘损失函数对生成的最后的水下图像Iout进行监督，表达式为：
其中Iout表示生成的最后的水下图像，D(·)表示判别器对水下图像进行判断，取值为0到1之间，越接近于0说图像不真实，越接近于1说明图像越真实，N为像素值；
(6-3)、建立生成的最后的水下图像Iout与真实水下图像Igt之间的颜色损失函数，定义为：
其中B(·)表示对水下图像进行高斯模糊操作；
(6-4)、计算出生成的最后的水下图像Iout与真实水下图像Igt之间的梯度损失函数，具体为:
(6-5)、定义生成水下图像Iout和真实水下图像Igt之间的内容损失函数为:
其中
表示从ImageNet上预先训练的VGG-19网络
提取第j层的特征，Cj，Hj，Wj分别代表第j层的特征图的通道数，高度，宽度；
(6-6)、定义结构相似性损失函数为：
(6-7)、最终得到总损失函数为：
附图说明
图1为本发明一种基于引导滤波的GAN网络对水下图像进行处理的方法的示意图；
图2为本发明中第一Dense Block网络结构和第二Dense Block网络结构的结构示意图；
图3为本发明中经过增强后的低频水下图像的前后对比示意图，其中(a)(c)为低频水下图像，(b)(d)为增强后的低频水下图像；
图4为本发明中经过增强后的高频水下图像前后对比示意图，其中(a)为高频水下图像，(b)为增强后的高频水下图像，(c)为放大的高频水下图像，(d)为放大后的增强高频水下图像；
图5为本发明中经过细化模块的图像前后对比示意图，其中(a)(c)为第一阶段的增强水下图像，(b)(d)为细化后的水下图像；
图6为本发明中在U45数据集上使用不同的增强方法处理后得到的图，从上到下分别为原图、RB、UDCP、UIBLA、RED、CycleGAN、WSCT、FGAN、UGAN、OURS；
图7为本发明中Canny边缘检测结果示意图，第一行是原图的检测结果示意图，第二行是我们方法的检测结果示意图；
图8为本发明中显著性检验结果示意图，第一行是原图的检测结果示意图，第二行是我们方法的检测结果示意图；
如图所示：1、高低频模块；2、细化模块；3、判别器网络；4、第一卷积；5、第二卷积；6、第一Dense Block网络结构；7、第二Dense Block网络结构；8、第一连接块；9、第二连接块；10、第六卷积；11、第七卷积；12、第八卷积；13、第九卷积；14、第十卷积；15、第十一卷积；16、第三卷积；17、第四卷积；18、第五卷积；19、第十二卷积；20、第十三卷积；21、第十四卷积。
具体实施方式
以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
本发明涉及一种基于引导滤波的GAN网络对水下图像进行处理的方法，如图1所示，该方法包括下列步骤：
(1)、获取原始的水下失真图像；
(2)、将原始的水下失真图像利用引导滤波进行分解，分解成低频水下图像Ilf和高频水下图像Ihf；利用引导滤波进行分解原始的水下失真图像的表达式为：q＝g(p,I,ε,r)，其中g为引导滤波函数，q为引导滤波后的图像，p为输入图像，输入图像为原始的水下失真图像，I为引导图像，采用的引导图像与输入图像一致，ε为正则化系数，是一个大于0的常数，r为滤波器的窗口大小；生成的低频水下图像Ilf的表达式为：Ilf＝g(Ir,Ir,ε,r)，其中Ir为输入的原始水下失真图像水下失真图像，ε取0.04，r取5；生成的高频水下图像Ihf的表达式为：Ihf＝Ir-Ilf；
(3)、进行第一阶段的网络训练：将生成的低频水下图像Ilf和高频水下图像Ihf同时输入到GAN网络中，GAN网络包括高低频模块，所述高低频模块包括低频增强网络和高频增强网络，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
其中L(·)是指对低频水下图像Ilf做低频部分的卷积；同时，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
其中H(·)是指对高频水下图像Ihf做高频部分的卷积；低频增强网络结构如表1所示：
表1低频增强网络结构
高频增强网络结构如表2所示：
表2高频增强网络结构
(4)、将增强后的低频水下图像
和增强后的高频水下图像
通过像素级相加得到第一阶段的增强水下图像Imid，
α为系数，取值为0到1之间；
(5)、进行第二阶段的网络训练：GAN网络还包括与高低频模块连接的细化模块，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图
像Iout；细化模块的网络结构如表3所示：
表3细化模块的网络结构
(6)、对生成的最后的水下图像Iout进行监督学习，将经过监督学习的水下图像Iout和真实的水下图像输入到判别器网络中进行打分，判别器网络使用的是70×70的PatchGANs网络，在第一层和最后一层不采用BN，在其他层均采用BN，可以达到好的效果。在前四层都采用了LReLU激活函数，最后一层只用卷积操作，PatchGANs网络来自于文献“P.Isola,J.-Y.Zhu,T.Zhou,and A.-A.Efros,“Image-to-image translation withconditional adversarial networks,”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,Hawaii,USA,Jul.2017”，具体的判别器的网络结构如表4所示：
表4判别器的网络结构
判别器网络的损失函数表示为：
在步骤(3)中，如图1所示，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
的具体过程包括下列步骤：
(3-1)、将生成的低频水下图像Ilf首先输入到第一卷积中进行运算，提取出第一特征，将第一特征输入到第二卷积中进行运算，提取出第二特征，所述第一卷积和第二卷积的大小均为3×3，步长均为2；
(3-2)、将第二特征输入到第一Dense Block网络结构中进行运算，提取出第三特征；
将输出的第三特征输入到第二Dense Block网络结构中进行运算，提取出第四特征；
如图2所示，所述第一Dense Block网络结构和第二Dense Block网络结构均包括第一卷积模块组、与第一卷积模块组连接的第一连接块、与第一连接块连接的第二卷积模块组、与第二卷积模块组连接的第二连接块以及与第二连接块连接的第六卷积，所述第一卷积模块组包括第七卷积、第八卷积以及第九卷积，所述第二卷积模块组包括第十卷积以及第十一卷积；所述第七卷积的大小为1×1，步长为1，所述第八卷积的大小为3×3，步长为1，所述第九卷积的大小为5×5，步长为1，所述第十卷积的大小为3×3，步长为1，所述第十一卷积的大小为5×5，步长为1；
第二特征作为第一Dense Block网络结构的输入特征输入到第一Dense Block网络结构中进行运算具体过程为：往第七卷积、第八卷积以及第九卷积这三个卷积中同时输入输入特征进行运算，第一连接块将第七卷积输出的特征、第八卷积输出的特征以及第九卷积输出的特征连接在一起形成一个第一总体特征，第一总体特征再同时输入到第十卷积和第十一卷积中，第二连接块将第十卷积输出的特征、第十一卷积输出的特征以及第七卷积输出的特征连接在一起形成一个第二总体特征，最后再将第二总体特征输出到第六卷积中进行运算；第三特征作为第二Dense Block网络结构的输入特征，其输入到第二DenseBlock网络结构中进行运算的过程与第三特征输入到第二Dense Block网络结构中进行运算的过程是相同的；
(3-3)、将第四特征输入到第三卷积中进行运算，提取出第五特征，将第五特征输入到第四卷积中进行运算，提取出第六特征，将第六特征输入到第五卷积中进行运算，生成低频增强水下图像
所述第三卷积和第四卷积的大小均为3×3，步长均为2，所述第五卷积的大小为1×1，步长为1。
在步骤(3)中，如图1所示，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
的具体过程为：将高频水下图像Ihf依次经过三个大小均为3×3，步长均为1的第十二卷积进行计算输出增强后的高频水下图像
在步骤(5)中，如图1所示，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout的具体过程为：将第一阶段的增强水下图像Imid依次经过六个大小均为3×3，步长均为1的第十三卷积，然后再经过一个大小为1×1，步长为1的第十四卷积进行运算输出，最后采用tanh激活函数来生成最后的水下图像Iout。
在步骤(6)中，对生成的最后的水下图像Iout进行监督学习的具体过程包括下列步骤：
(6-1)、建立增强的低频水下图像
和真实图像的低频水下图像
之间的损失关系，同时建立增强的高频水下图像
与真实图像的高频水下图像损失函数
之间的损失关系，分别定义为：
其中，MSE表示低频损失，MSA表示高频损失，N是水下图像的像素值；
(6-2)、采用最小二乘损失函数对生成的最后的水下图像Iout进行监督，表达式为：
其中Iout表示生成的最后的水下图像，D(·)表示判别器对水下图像进行判断，取值为0到1之间，越接近于0说图像不真实，越接近于1说明图像越真实，N为像素值；
(6-3)、建立生成的最后的水下图像Iout与真实水下图像Igt之间的颜色损失函数，定义为：
其中B(·)表示对水下图像进行高斯模糊操作；
(6-4)、计算出生成的最后的水下图像Iout与真实水下图像Igt之间的梯度损失函数，具体为:
(6-5)、定义生成水下图像Iout和真实水下图像Igt之间的内容损失函数为:
其中
表示从ImageNet网络上预先训练的VGG-19网络
提取第j层的特征，Cj，Hj，Wj分别代表第j层的特征图的通道数，高度，宽度；ImageNet网络来源于文献“J.Deng,W.Dong,R.Socher,L.-J.Li,K.Li,and L.Fei-Fei,“ImageNet:Alarge-scale hierarchical image database,”in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,Jun.2009”；
(6-6)、定义结构相似性损失函数为：
(6-7)、最终得到总损失函数为：
本发明采用Tensorflow的深度学习框架来实现，采用ADAM优化器对网络参数进行优化。在实验中，学习率设置为0.0002，batch size设置为4，epoch设置为10，用于训练的水下图像分辨率为256×256×3，像素值被压缩到[-1，1]的范围内。
为了与其他水下图像增强方法进行对比，还采用了主观评价、客观评价以及应用测试，如图6、图7以及图8所示。
在主观评价中，采用文献“Li Hanyu,Li Jingjing.Wang Wei.A fusionadversarial underwater image enhancement network with a public test dtaset[EB/OL].arXiv,2019,https://arxiv.org/pdf/1906.06819.pdf”中的U45数据集进行测试。
对比了八种水下图像算法，分别是RB、UDCP、UIBLA、RED、CycleGAN、WSCT、FGAN、UGAN，这八种方法分别来自文献“X.Fu,P.Zhuang,Y.Huang,Y.Liao,X.-P.Zhang,andX.Ding,“A retinex-based enhancing approach for single underwater image,”in2014 IEEE International Conference on Image Processing(ICIP).IEEE,2014,pp.4572–4576.”，“P.L.Drews,E.R.Nascimento,S.S.Botelho,and M.F.M.Campos,“Underwater depth estimation and image restoration based on single images,”IEEE computer graphics and applications,vol.36,no.2,pp.24–35,2016.”，“Y.-T.Peng and P.C.Cosman,“Underwater image restoration based on image blurrinessand light absorption,”IEEE transactions on image processing,vol.26,no.4,pp.1579–1594,2017.”，“Galdran,Adrian,et al."Automatic red-channel underwaterimage restoration."Journal of Visual Communication and Image Representation26(2015):132-145.”，“Zhu Junyan,Park T,Isola P,et al.Unpaired image-to-imagetranslation using cycle-consistent adversarial networks[C]//IEEEInternational Conference on Computer Vision,2017:2242-2251.”，“C.Li,J.Guo,andC.Guo,“Emerging from water:Underwater image color correction based on weaklysupervised color transfer,”IEEE Signal Processing Letters,vol.25,no.3,pp.323–327,2018”，“Li Hanyu,Li Jingjing.Wang Wei.A fusion adversarial underwaterimage enhancement network with a public test dtaset[EB/OL].arXiv,2019,https://arxiv.org/pdf/1906.06819.pdf.”，“Fabbri C,Islam M,Sattar J.Enhancingunderwater imagery using generative adversarial networks[C]//IEEEInternational Conference on Robotics and Automation,2018:7159-7165.”，将这些方法以及原图和我们的方法的效果对比，如图6所示。
本发明中还进行了客观评价，将测试结果做成了表格的形式，具体结果见表5：
表5不同增强方法对U45数据集的客观评价得分
最后，本发明还进行了一些应用测试，比如Canny边缘检测和显著性检验，结果如图7和图8所示。
Claims (5)
1.一种基于引导滤波的GAN网络对水下图像进行处理的方法，其特征在于：该方法包括下列步骤：
(1)、获取原始的水下失真图像；
(2)、将原始的水下失真图像利用引导滤波进行分解，分解成低频水下图像Ilf和高频水下图像Ihf；利用引导滤波进行分解原始的水下失真图像的表达式为：q＝g(p,I,ε,r)，其中g为引导滤波函数，q为引导滤波后的图像，p为输入图像，输入图像为原始的水下失真图像，I为引导图像，采用的引导图像与输入图像一致，ε为正则化系数，是一个大于0的常数，r为滤波器的窗口大小；生成的低频水下图像Ilf的表达式为：Ilf＝g(Ir,Ir,ε,r)，其中Ir为输入的原始水下失真图像水下失真图像；生成的高频水下图像Ihf的表达式为：Ihf＝Ir-Ilf；
(3)、进行第一阶段的网络训练：将生成的低频水下图像Ilf和高频水下图像Ihf同时输入到GAN网络中，GAN网络包括高低频模块，所述高低频模块包括低频增强网络和高频增强网络，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
其中L(·)是指对低频水下图像Ilf做低频部分的卷积；同时，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
其中H(·)是指对高频水下图像Ihf做高频部分的卷积；
(4)、将增强后的低频水下图像
和增强后的高频水下图像
通过像素级相加得到第一阶段的增强水下图像Imid，
α为系数，取值为0到1之间；
(5)、进行第二阶段的网络训练：GAN网络还包括与高低频模块连接的细化模块，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout；
(6)、对生产的最后的水下图像Iout进行监督学习，将经过监督学习的水下图像Iout和真实的水下图像输入到判别器网络中进行打分。
2.根据权利要求1所述的一种基于引导滤波的GAN网络对水下图像进行处理的方法，其特征在于：步骤(3)中，低频水下图像Ilf通过所述的低频增强网络做卷积生成增强后的低频水下图像
的具体过程包括下列步骤：
(3-1)、将生成的低频水下图像Ilf首先输入到第一卷积中进行运算，提取出第一特征，将第一特征输入到第二卷积中进行运算，提取出第二特征，所述第一卷积和第二卷积的大小均为3×3，步长均为2；
(3-2)、将第二特征输入到第一Dense Block网络结构中进行运算，提取出第三特征；将输出的第三特征输入到第二Dense Block网络结构中进行运算，提取出第四特征；
所述第一Dense Block网络结构和第二Dense Block网络结构均包括第一卷积模块组、与第一卷积模块组连接的第一连接块、与第一连接块连接的第二卷积模块组、与第二卷积模块组连接的第二连接块以及与第二连接块连接的第六卷积，所述第一卷积模块组包括第七卷积、第八卷积以及第九卷积，所述第二卷积模块组包括第十卷积以及第十一卷积；所述第七卷积的大小为1×1，步长为1，所述第八卷积的大小为3×3，步长为1，所述第九卷积的大小为5×5，步长为1，所述第十卷积的大小为3×3，步长为1，所述第十一卷积的大小为5×5，步长为1；
第二特征作为第一Dense Block网络结构的输入特征输入到第一Dense Block网络结构中进行运算具体过程为：往第七卷积、第八卷积以及第九卷积这三个卷积中同时输入输入特征进行运算，第一连接块将第七卷积输出的特征、第八卷积输出的特征以及第九卷积输出的特征连接在一起形成一个第一总体特征，第一总体特征再同时输入到第十卷积和第十一卷积中，第二连接块将第十卷积输出的特征、第十一卷积输出的特征以及第七卷积输出的特征连接在一起形成一个第二总体特征，最后再将第二总体特征输出到第六卷积中进行运算；第三特征作为第二Dense Block网络结构的输入特征，其输入到第二Dense Block网络结构中进行运算的过程与第三特征输入到第二Dense Block网络结构中进行运算的过程是相同的；
(3-3)、将第四特征输入到第三卷积中进行运算，提取出第五特征，将第五特征输入到第四卷积中进行运算，提取出第六特征，将第六特征输入到第五卷积中进行运算，生成低频增强水下图像
所述第三卷积和第四卷积的大小均为3×3，步长均为2，所述第五卷积的大小为1×1，步长为1。
3.根据权利要求1所述的一种基于引导滤波的GAN网络对水下图像进行处理的方法，其特征在于：步骤(3)中，高频水下图像Ihf通过所述的高频增强网络做卷积生成增强后的高频水下图像
的具体过程为：将高频水下图像Ihf依次经过三个大小均为3×3，步长均为1的第十二卷积进行计算输出增强后的高频水下图像
4.根据权利要求1所述的一种基于引导滤波的GAN网络对水下图像进行处理的方法，其特征在于：在步骤(5)中，将第一阶段的增强水下图像Imid输入细化模块中，对水下图像Imid进行增强,生成了最后的水下图像Iout的具体过程为：将第一阶段的增强水下图像Imid依次经过六个大小均为3×3，步长均为1的第十三卷积，然后再经过一个大小为1×1，步长为1的第十四卷积进行运算输出，最后采用tanh激活函数来生成最后的水下图像Iout。
5.根据权利要求1所述的一种基于引导滤波的GAN网络对水下图像进行处理的方法，其特征在于：在步骤(6)中，对生成的最后的水下图像Iout进行监督学习的具体过程包括下列步骤：
(6-1)、建立增强的低频水下图像
和真实图像的低频水下图像
之间的损失关系，同时建立增强的高频水下图像
与真实图像的高频水下图像损失函数
之间的损失关系，分别定义为：
其中，MSE表示低频损失，MSA表示高频损失，M、N是水下图像的像素值；
(6-2)、采用最小二乘损失函数对生成的最后的水下图像Iout进行监督，表达式为：
其中Iout表示生成的最后的水下图像，D(·)表示判别器对水下图像进行判断，取值为0到1之间，越接近于0说图像不真实，越接近于1说明图像越真实，N为像素值；
(6-3)、建立生成的最后的水下图像Iout与真实水下图像Igt之间的颜色损失函数，定义为：
其中B(·)表示对水下图像进行高斯模糊操作；
(6-4)、计算出生成的最后的水下图像Iout与真实水下图像Igt之间的梯度损失函数，具体为:
(6-5)、定义生成水下图像Iout和真实水下图像Igt之间的内容损失函数为:
其中
表示从ImageNet上预先训练的VGG-19网络
提取第j层的特征，Cj，Hj，Wj分别代表第j层的特征图的通道数，高度，宽度；
(6-6)、定义结构相似性损失函数为：
(6-7)、最终得到总损失函数为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987634.0A CN113781333A (zh) | 2021-08-26 | 2021-08-26 | 一种基于引导滤波的gan网络对水下图像进行处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110987634.0A CN113781333A (zh) | 2021-08-26 | 2021-08-26 | 一种基于引导滤波的gan网络对水下图像进行处理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113781333A true CN113781333A (zh) | 2021-12-10 |
Family
ID=78839496
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110987634.0A Pending CN113781333A (zh) | 2021-08-26 | 2021-08-26 | 一种基于引导滤波的gan网络对水下图像进行处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113781333A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529713A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像增强方法 |
-
2021
- 2021-08-26 CN CN202110987634.0A patent/CN113781333A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529713A (zh) * | 2022-01-14 | 2022-05-24 | 电子科技大学 | 一种基于深度学习的水下图像增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yeh et al. | Multi-scale deep residual learning-based single image haze removal via image decomposition | |
| CN108986050B (zh) | 一种基于多分支卷积神经网络的图像和视频增强方法 | |
| Tang et al. | Single image dehazing via lightweight multi-scale networks | |
| CN111275643A (zh) | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 | |
| CN104796582B (zh) | 基于随机喷射retinex的视频图像去噪与增强方法及装置 | |
| CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
| CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
| Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
| CN112507617A (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
| CN107292316B (zh) | 一种基于稀疏表示的提升图像清晰度的方法 | |
| CN111080591A (zh) | 基于编码解码结构结合残差模块的医学图像分割方法 | |
| CN104616259B (zh) | 一种噪声强度自适应的非局部均值图像去噪方法 | |
| CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
| CN113962905B (zh) | 基于多阶段特征互补网络的单幅图像去雨方法 | |
| CN109003247B (zh) | 彩色图像混合噪声的去除方法 | |
| CN115511708A (zh) | 基于不确定性感知特征传输的深度图超分辨率方法及系统 | |
| CN107292855A (zh) | 一种结合自适应非局部样本和低秩的图像去噪方法 | |
| CN113781333A (zh) | 一种基于引导滤波的gan网络对水下图像进行处理的方法 | |
| Hu et al. | Infrared thermal image denoising with symmetric multi-scale sampling network | |
| CN111275620B (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
| AU2021105153A4 (en) | An unsupervised learning of point cloud denoising | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN116029916A (zh) | 基于结合稠密小波的双分支网络的低照度图像增强方法 | |
| Chen et al. | GADO-Net: an improved AOD-Net single image dehazing algorithm | |
| CN110930398B (zh) | 一种基于Log-Gabor相似度的全参考视频质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |