CN112767279A - 一种基于离散小波集成生成对抗网络的水下图像增强方法 - Google Patents
一种基于离散小波集成生成对抗网络的水下图像增强方法 Download PDFInfo
- Publication number
- CN112767279A CN112767279A CN202110134075.9A CN202110134075A CN112767279A CN 112767279 A CN112767279 A CN 112767279A CN 202110134075 A CN202110134075 A CN 202110134075A CN 112767279 A CN112767279 A CN 112767279A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- convolution
- layer
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000010354 integration Effects 0.000 title claims abstract description 14
- 238000013528 artificial neural network Methods 0.000 claims abstract description 46
- 238000010606 normalization Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 40
- 230000004913 activation Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000306 component Substances 0.000 description 28
- 238000003384 imaging method Methods 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于离散小波集成生成对抗网络的水下图像增强方法。包括:将待训练的数据进行配对处理、数据增强、归一化处理,然后缩放到固定尺寸,将标签图像,即真实的水下图像增强结果,下采样生成不同尺寸图像;设计多层次图像增强生成网络,使用所设计的网络训练可对水下图像进行增强的图像增强模型;设计多层次图像鉴别神经网络,使用所设计的网络训练可预测输入图像为真实图像概率的图像鉴别模型;设计生成网络和鉴别神经网络目标损失函数;使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡;将水下图像输入训练好的图像增强生成模型,输出增强后的图像。本发明解决了水下图像颜色失真、模糊的问题,能显著提升水下图像质量。
Description
技术领域
本发明涉及图像处理以及计算机视觉领域,特别涉及一种基于离散小波集成生成对抗网络的水下图像增强方法。
背景技术
蕴含大量资源的海洋环境是人类可持续发展的核心组成之一,然而海洋复杂成像环境导致光视觉系统获取到的水下图像通常伴随着多种类型的退化,这给视觉依赖的水下作业,如海底资源勘探、海洋考古、水下目标检测等带来很大的影响。水下图像衰退的主要原因是光在水下传播时的能量衰减和散射现象。光线在水下传播时会伴随着能量衰减,不同光谱区域的光衰减程度不同,红光衰减最严重,绿光次之,蓝光最少。所以水下图像通常呈现伴随着颜色偏差,偏蓝绿色。光在水中的散射分为前向散射和后向散射。前向散射是指水中物体反射的光传输到相机时产生小角度偏差的散射现象,会导致图像细节模糊。后向散射是指光线在照射到水中物体时遇到水中的杂质发生散射从而直接被摄像机接收,会导致图像对比度降低。
目前,一些专门针对水下成像环境设计的成像设备已经能够克服部分水下成像问题,采集到较为清晰的图像。但在实际应用中对水下图像质量的要求远不止于此,仅依靠采集设备依然难以满足这些需求,而且先进的水下成像设备费用极高,将其广泛应用于各类水下任务较为困难。相比于昂贵的水下成像设备,图像处理技术具有成本低和易操作等优点。
现有的水下图像增强方法主要分为两类:一是对水下图像的退化过程进行数学建模,通过估计模型参数,反演退化过程以获得清晰的水下图像,此类方法需要根据水体的光学参数、摄像机参数以及摄像机与目标物体的距离等信息建立模型,这些信息需要通过人工测量或其他方法估测出数值,通常获取的信息较不准确,因此增强后的图像容易出现细节模糊和色彩偏差等问题。同时这些方法虽然在某些固定场景能取得较好的效果,但水下场景复杂多变,水下图像退化类型多样,这些方法很难匹配所有的退化类型,泛化能力较差,场景发生较大变化时,需要重新建立模型。
二是使用基于深度学习的方法,此类方法是一种数据驱动的方法,具有强大的学习特征表示能力,复杂度低于非深度学习方法,被广泛应用在图像处理领域,因此近年来有许多基于深度学习的水下图像增强算法被提出。然而现有的基于深度学习的水下图像增强方法虽然可以有效改善水下图像质量,但是由于水下环境过于复杂,现有的基于深度学习的方法在水下图像的局部和细节增强方面尚有不足之处,恢复出的图像会出现色彩偏差和细节模糊等问题。
综上所述,水下图像成像时环境复杂,成像图像质量较低,现有的方法对水下图像增强的结果容易产生细节模糊和颜色偏差现象。我们提出一种基于离散小波集成生成对抗网络的增强方法,将图像分为高频信息和低频信息并分开进行处理,利用离散小波在信号重建方面的优势能够有效减少信息的损失,并通过生成模型和鉴别模型对抗训练生成更符合人类主观视觉效果的水下图像增强结果,显著提高水下图像质量。
发明内容
本发明的目的在于提供一种基于离散小波集成生成对抗网络的水下图像增强方法,该方法有利于提高水下图像质量。
为实现上述目的,本发明的技术方案是:一种基于离散小波集成生成对抗网络的水下图像增强方法,包括如下步骤:
步骤S1、将待训练的数据进行数据预处理:首先将水下图像与对应的标签图像进行配对处理,接着进行数据增强、归一化处理,然后将归一化图像缩放到固定尺寸,将标签图像,即真实的水下图像增强结果,下采样生成不同尺寸图像;
步骤S2、设计多层次图像增强生成网络,使用所设计的网络训练对水下图像进行增强的图像增强模型;
步骤S3、设计多层次图像鉴别神经网络,使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型;
步骤S4、设计生成网络和鉴别神经网络目标损失函数;
步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡;
步骤S6、将水下图像输入训练好的图像增强生成模型,输出增强后的图像。
在本发明一实施例中,所述步骤S1具体实现步骤如下:
步骤S11、将水下图像与对应的标签图像进行配对处理;
步骤S12、将所有待训练配对图像进行统一的随机翻转操作,对数据进行增强;
其中,(i,j)表示像素的位置;
步骤S14、将所有归一化图像缩放到固定尺寸H×W;
步骤S15、将标签图像下采样生成不同尺寸图像,给定图像G(H,W),表示尺寸为H×W的标签图像G,下采样生成图像G′k,k=2,3,其中下采样使用最邻近插值算法,且G′1=G;对于任意标签图像G,得到不同尺寸的标签图像集合{G′1,G′2,G′3}。
在本发明一实施例中,所述步骤S2具体实现步骤如下:
步骤S21、设计一种多层次神经网络结构用于提取图像有效特征,特征提取网络输入为水下图像,网络包括多个卷积块和小波池化层;卷积块由卷积层、归一化层以及激活层组成,特征提取网络共有三个层次,每个层次包括多个卷积块和一个小波池化层,每个层次的卷积块个数可以不同;卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数;小波池化层使用离散Haar小波对特征进行分解,使用四个分解核LLT,LHT,HLT,HHT,其中低频滤波器和高频滤波器分别为小波池化层将输入特征分解为低频分量和高频分量,llk,lhk,hlk,hhk,k=1,2,3,其中llk为低频分量,lhk,hlk,hhk均为高频分量;低频分量传递到网络的下一层次中,每个高频分量经过一个特征细化处理模块后直接传入图像重建网络;特征细化处理模块由多个残差注意力模块组成,每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成;最终特征提取网络的输出为ll3特征以及三个层次的高频分量lhk,hlk,hhk,k=1,2,3;
步骤S22、设计一种多层次神经网络结构用于图像重建,图像重建网络输入为步骤S21提取的ll3特征以及三个层次的高频分量lhk,hlk,hhk,h=1,2,3;图像重建网络包括多个卷积块、重建块和小波反池化层;卷积块由卷积层、归一化层以及激活层组成,重建块由卷积层和激活层组成;图像重建网络共有三个层次,分别对应特征提取网络的三个层次,每个层次包括卷积块、小波反池化层和重建块,每个层次中卷积块的个数可以不同;卷积块中的卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数;重建块中的卷积层使用卷积核为3x3、步长为1的卷积,激活层使用Tanh函数;第一个层次的输入是ll3特征,经过卷积块后得到低频分量ll4特征,作为小波反池化层的低频分量;小波反池化层使用离散Haar小波对ll4特征和高频分量lhk,hlk,hhk,k=3进行组合,小波反池化层的输出一方面作为重建块的输入,一方面作为第二层的输入特征;第二层经过卷积块后得到低频分量ll5特征,小波反池化层对ll5特征高频分量lhk,hlk,hhk,k=2进行组合;与上一层类似,小波反池化层的输出一方面作为重建块的输入,一方面作为第三层的输入特征;第三层经过卷积块后得到低频分量ll6特征,小波反池化层对ll6特征高频分量lhk,hlk,hhk,k=1进行组合,然后经过卷积块和重建块,生成H×W的水下图像增强图像;此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像;最终输出三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,分别与G′k,k=1,2,3尺寸相同。
在本发明一实施例中,所述步骤S3具体实现如下:
设计一种多层次神经网络结构用于图像鉴别,图像鉴别网络输入为生成网络生成的三个尺寸的增强图像I′k,k=1,2,3或标签图像G′k,k=1,2,3,网络每次输入需为同一类型图像,即同为增强图像或同为标签图像;图像鉴别网络包括多个卷积块、拼接层和池化层;卷积块由卷积层和激活层组成,卷积层使用卷积核为3x3、步长为1的卷积,激活层使用LeakyReLu函数,池化层使用卷积核为4x4、步长为2的卷积;图像鉴别网络输入I′1或G′1,分别代表水下图像和标签图像,首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d2,再使用一个卷积块将图像I′2或G′2提取出对应尺寸特征f2,将两个特征使用特征拼接层进行融合,融合方式为 其中表示拼接操作;融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d3,再使用一个卷积块将图像I′3或G′3提取出对应尺寸特征f3,将两个特征使用特征拼接层进行融合,融合方式与上一层一致;融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量,最后经过一个1个通道的卷积层以预测为真实图像的概率。
在本发明一实施例中,所述步骤S4具体实现步骤如下:
步骤S41、设计生成网络目标损失函数,生成网络总目标损失函数如下:
生成网络输出三个尺寸的增强图像,L1损失只计算最大尺寸生成图像和参考标签图像之间的损失;I′1是生成网络增强结果中最大尺寸图像,G′1是参考标签图像中最大尺寸图像,||.||1是取绝对值操作;
其中,z表示水下图像,Pz(z)表示水下图像概率分布,G表示生成网络,D表示鉴别网络,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别网络对生成网络的输出的鉴别结果,常数c是鉴别网络用来判定生成图像和标签图像差距的数值,此处取值为c=1,生成网络共输出三个尺寸的增强图像,都需送入鉴别网络计算损失;
步骤S42、设计鉴别神经网络目标损失函数,鉴别网络目标损失函数如下:
其中,x表示参考标签图像,Pdata(x)表示参考标签图像概率分布,z表示水下图像,Pz(z)表示水下图像概率分布,G表示生成网络,D表示鉴别网络,D(x)表示鉴别神经网络对标签图像的鉴别结果,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别神经网络对生成网络的输出的鉴别结果,常数a,b分别表示标签图像和生成图像的标记,此处取值为a=1,b=0,生成网络共输出三个尺寸的增强图像,都需送入鉴别神经网络计算损失,对应参考标签图像的三个尺寸图像,也需全部送入鉴别神经网络中计算损失。
在本发明一实施例中,所述步骤S5具体实现步骤如下:
步骤S51、将配对的水下图像和标签图像随机划分为多个批次,每个批次包含N对图像;
步骤S52、将水下图像输入到生成网络中,得到三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,其中H×W为步骤S1中规定尺寸;
步骤S53、将生成的增强图像与标签图像输入到鉴别神经网络得到判别结果;
步骤S54、根据生成网络的总目标损失函数,使用反向传播方法计算生成网络中各参数的梯度,并利用随机梯度下降方法更新生成网络的参数;
步骤S55、根据鉴别神经网络的目标损失函数,使用反向传播方法计算鉴别神经网络中各参数的梯度,并利用随机梯度下降方法更新鉴别神经网络的参数;
步骤S56、以批次为单位重复进行步骤S51至步骤S54生成网络和鉴别神经网络训练步骤,直至生成网络的目标损失函数数值和鉴别神经网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成网络和鉴别神经网络的训练过程。
相较于现有技术,本发明具有以下有益效果:
本发明适用于多种复杂环境下的水下图像增强,能够有效的恢复图像失真颜色,去除图像模糊,提升图像对比度与亮度。增强的图像符合人类主观视觉感知。现有的水系图像增强方法增强后的图像常会出现细节模糊现象,本发明提出了一种基于离散小波的水下图像增强网络,能够有效减少图像传递过程中的信息损失,保留图像细节信息,避免细节模糊,同时可以适用于多数的复杂场景。
附图说明
图1是本发明方法的实现流程图。
图2是本发明实施例中网络模型结构图。
图3是本发明实施例中特征细化模块结构图。
图4是本发明实施例特征细化模块中残差注意力模块结构图。
具体实施方式
下面结合附图,对本发明的技术方案进行具体说明。
本发明一种基于离散小波集成生成对抗网络的水下图像增强方法,包括如下步骤:
步骤S1、将待训练的数据进行数据预处理:首先将水下图像与对应的标签图像进行配对处理,接着进行数据增强、归一化处理,然后将归一化图像缩放到固定尺寸,将标签图像,即真实的水下图像增强结果,下采样生成不同尺寸图像;
步骤S2、设计多层次图像增强生成网络,使用所设计的网络训练对水下图像进行增强的图像增强模型;
步骤S3、设计多层次图像鉴别神经网络,使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型;
步骤S4、设计生成网络和鉴别神经网络目标损失函数;
步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡;
步骤S6、将水下图像输入训练好的图像增强生成模型,输出增强后的图像。
以下为本发明的具体实现过程。
如图1所示,一种基于离散小波集成生成对抗网络的水下图像增强方法,包括以下步骤:
步骤S1、将待训练的数据进行数据预处理,首先将数据进行配对处理,接着对其做数据增强、归一化处理,然后将归一化图像缩放到固定尺寸,将标签图像,即真实的水下图像增强结果,下采样生成不同尺寸图像;
步骤S2、设计多层次图像增强生成网络,使用所设计的网络训练可对水下图像进行增强的图像增强模型;
步骤S3、设计多层次图像鉴别神经网络,使用所设计的网络训练可预测输入图像为真实图像概率的图像鉴别模型;
步骤S4、设计生成网络和鉴别网络目标损失函数;
步骤S5、使用配对的图像交替训练生成网络和鉴别网络收敛到纳什平衡;
步骤S6、将水下图像输入训练好的图像增强生成模型,输出增强后的图像。
进一步地,步骤S1包括以下步骤:
步骤S11:将水下图像与对应的标签图像进行配对处理。
步骤S12:将所有待训练配对图像进行统一的随机翻转操作,对数据进行增强。
其中,(i,j)表示像素的位置。
步骤S14、将所有归一化图像缩放到固定尺寸H×W。
步骤S15、将标签图像下采样生成不同尺寸图像,给定图像G(H,W),表示尺寸为H×W的标签图像G,下采样生成图像G′k,k=2,3,其中下采样使用最邻近插值算法。且G′1=G。对于任意标签图像G,得到不同尺寸的标签图像集合{G′1,G′2,G′3}。
进一步地,步骤S2包括以下步骤:
步骤S21、设计一种多层次神经网络结构用于提取图像有效特征,特征提取网络输入为水下图像,网络包括多个卷积块和小波池化层。卷积块由卷积层、归一化层以及激活层组成,特征提取网络共有三个层次,每个层次包含多个卷积块和一个小波池化层,每个层次的卷积块个数可以不同。卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数。小波池化层使用离散Haar小波对特征进行分解,使用四个分解核LLT,LHT,HLT,HHT,其中高频滤波器分别为小波池化层将输入特征分解为低频分量和高频分量,llk,lhk,hlk,hhk,k=1,2,3,其中llk为低频分量,lhk,hlk,hhk均为高频分量。低频分量传递到网络的下一层次中,每个高频分量经过一个特征细化处理模块后直接传入图像重建网络。特征细化处理模块由多个残差注意力模块组成,每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成。最终特征提取网络的输出为ll3特征以及三个层次的高频分量lhk,hlk,hhk,k=1,2,3。
步骤S22、设计一种多层次神经网络结构用于图像重建,图像重建网络输入为步骤S21提取的ll3特征以及三个层次的高频分量lhk,hlk,hhk,k=1,2,3。图像重建网络包含多个卷积块、重建块和小波反池化层。卷积块由卷积层、归一化层以及激活层组成,重建块由卷积层和激活层组成。图像重建网络共有三个层次,分别对应特征提取网络的三个层次,每个层次包含卷积块、小波反池化层和重建块,每个层次中卷积块的个数可以不同。卷积块中的卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数。重建块中的卷积层使用卷积核为3x3、步长为1的卷积,激活层使用Tanh函数。第一个层次的输入是ll3特征,经过几个卷积块后得到低频分量ll4特征,作为小波反池化层的低频分量。小波反池化层使用离散Haar小波对ll4特征和高频分量lhk,hlk,hhk,k=3进行组合,使用的反池化核参数与步骤S21中相同,小波反池化层的输出一方面作为重建块的输入,一方面作为第二层的输入特征。第二层经过卷积块后得到低频分量ll5特征,小波反池化层对ll5特征高频分量lhk,hlk,hhk,k=2进行组合。与上一层类似,小波反池化层的输出一方面作为重建块的输入,一方面作为第三层的输入特征。第三层经过卷积块后得到低频分量ll6特征,小波反池化层对ll6特征高频分量lhk,hlk,hhk,k=1进行组合,然后经过几个卷积块和一个重建块,生成H×W的水下图像增强图像。此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像。最终输出三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,分别与G′k,k=1,2,3尺寸相同,其中H×W为步骤S1中规定尺寸。
进一步地,步骤S3实现如下:
设计一种多层次神经网络结构用于图像鉴别,图像鉴别网络输入为生成网络生成的三个尺寸的增强图像I′k,k=1,2,3或标签图像G′k,k=1,2,3,网络每次输入需为同一类型图像,即同为增强图像或同为标签图像,图像尺寸为步骤S1中与步骤S2中规定尺寸。图像鉴别网络包含多个卷积块、拼接层和池化层。卷积块由卷积层和激活层组成,卷积层使用卷积核为3x3、步长为1的卷积,激活层使用LeakyReLu函数,池化层使用卷积核为4x4、步长为2的卷积。网络首先输入I′1或G′1,分别代表水下图像和标签图像,首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d2,再使用一个卷积块将图像I′2或G′2提取出对应尺寸特征f2,将两个特征使用特征拼接层进行融合,融合方式为其中表示拼接操作。融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d3,再使用一个卷积块将图像I′3或G′3提取出对应尺寸特征f3,将两个特征使用特征拼接层进行融合,融合方式与上一层一致。融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量,最后经过一个1个通道的卷积层以预测为真实图像的概率。
进一步地,步骤S4包括以下步骤:
步骤S41、设计生成网络目标损失函数,生成网络总目标损失函数如下:
生成网络输出三个尺寸的增强图像,L1损失只计算最大尺寸生成图像和参考标签图像之间的损失。I′1是生成网络增强结果中最大尺寸图像,G′1是参考标签图像中最大尺寸图像,||.||1是取绝对值操作;
其中z表示水下图像,Pz(z)表示水下图像概率分布,G表示生成网络,D表示鉴别网络,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别网络对生成网络的输出的鉴别结果,常数c是鉴别网络用来判定生成图像和标签图像差距的数值,此处取值为c=1,生成网络共输出三个尺寸的增强图像,都需送入鉴别网络计算损失。
步骤S42、设计鉴别网络目标损失函数,鉴别网络目标损失函数如下:
其中x表示参考标签图像,Pdata(x)表示参考标签图像概率分布,z表示水下图像,Pz(z)
表示水下图像概率分布,G表示生成网络,D表示鉴别网络,D(x)表示鉴别网络对标签图像的鉴别结果,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别网络对生成网络的输出的鉴别结果,常数a,b分别表示标签图像和生成图像的标记,此处取值为a=1,b=0,生成网络共输出三个尺寸的增强图像,都需送入鉴别网络计算损失,对应参考标签图像的三个尺寸图像,也需全部送入鉴别网络中计算损失。
进一步地,步骤S5包括以下步骤:
步骤S51、将配对的水下图像和标签图像随机划分为多个批次,每个批次包含N对图像;
步骤S52、将水下图像输入到步骤S2所述生成网络中,得到三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,其中H×W为步骤S1中规定尺寸。
步骤S53、将生成的增强图像与标签图像输入到S3所述鉴别网络得到判别结果。
步骤S54、根据生成网络的总目标损失函数,使用反向传播方法计算生成网络中各参数的梯度,并利用随机梯度下降方法更新生成网络的参数;
步骤S55、根据鉴别网络的目标损失函数,使用反向传播方法计算鉴别网络中各参数的梯度,并利用随机梯度下降方法更新鉴别网络的参数;
步骤S56、以批次为单位重复进行上述步骤S51至步骤S54生成网络和鉴别网络训练步骤,直至生成网络的目标损失函数数值和鉴别网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成网络和鉴别网络的训练过程。
以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
Claims (6)
1.一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,包括如下步骤:
步骤S1、将待训练的数据进行数据预处理:首先将水下图像与对应的标签图像进行配对处理,接着进行数据增强、归一化处理,然后将归一化图像缩放到固定尺寸,将标签图像,即真实的水下图像增强结果,下采样生成不同尺寸图像;
步骤S2、设计多层次图像增强生成网络,使用所设计的网络训练对水下图像进行增强的图像增强模型;
步骤S3、设计多层次图像鉴别神经网络,使用所设计的网络训练预测输入图像为真实图像概率的图像鉴别模型;
步骤S4、设计生成网络和鉴别神经网络目标损失函数;
步骤S5、使用配对的图像交替训练生成网络和鉴别神经网络收敛到纳什平衡;
步骤S6、将水下图像输入训练好的图像增强生成模型,输出增强后的图像。
2.根据权利要求1所述的一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,所述步骤S1具体实现步骤如下:
步骤S11、将水下图像与对应的标签图像进行配对处理;
步骤S12、将所有待训练配对图像进行统一的随机翻转操作,对数据进行增强;
其中,(i,j)表示像素的位置;
步骤S14、将所有归一化图像缩放到固定尺寸H×W;
3.根据权利要求2所述的一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,所述步骤S2具体实现步骤如下:
步骤S21、设计一种多层次神经网络结构用于提取图像有效特征,特征提取网络输入为水下图像,网络包括多个卷积块和小波池化层;卷积块由卷积层、归一化层以及激活层组成,特征提取网络共有三个层次,每个层次包括多个卷积块和一个小波池化层,每个层次的卷积块个数可以不同;卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数;小波池化层使用离散Haar小波对特征进行分解,使用四个分解核LLT,LHT,HLT,HHT,其中低频滤波器和高频滤波器分别为小波池化层将输入特征分解为低频分量和高频分量,llk,lhk,hlk,hhk,k=1,2,3,其中llk为低频分量,lhk,hlk,hhk均为高频分量;低频分量传递到网络的下一层次中,每个高频分量经过一个特征细化处理模块后直接传入图像重建网络;特征细化处理模块由多个残差注意力模块组成,每个残差注意力模块由两层卷积核为3x3、步长为1的卷积以及一个通道注意力模块组成;最终特征提取网络的输出为ll3特征以及三个层次的高频分量lhk,hlk,hhk,k=1,2,3;
步骤S22、设计一种多层次神经网络结构用于图像重建,图像重建网络输入为步骤S21提取的ll3特征以及三个层次的高频分量lhk,hlk,hhk,k=1,2,3;图像重建网络包括多个卷积块、重建块和小波反池化层;卷积块由卷积层、归一化层以及激活层组成,重建块由卷积层和激活层组成;图像重建网络共有三个层次,分别对应特征提取网络的三个层次,每个层次包括卷积块、小波反池化层和重建块,每个层次中卷积块的个数可以不同;卷积块中的卷积层使用卷积核为3x3、步长为1的卷积,归一化层使用批量归一化,激活层使用ReLu函数;重建块中的卷积层使用卷积核为3x3、步长为1的卷积,激活层使用Tanh函数;第一个层次的输入是ll3特征,经过卷积块后得到低频分量ll4特征,作为小波反池化层的低频分量;小波反池化层使用离散Haar小波对ll4特征和高频分量lhk,hlk,hhk,k=3进行组合,小波反池化层的输出一方面作为重建块的输入,一方面作为第二层的输入特征;第二层经过卷积块后得到低频分量ll5特征,小波反池化层对ll5特征高频分量lhk,hlk,hhk,k=2进行组合;与上一层类似,小波反池化层的输出一方面作为重建块的输入,一方面作为第三层的输入特征;第三层经过卷积块后得到低频分量ll6特征,小波反池化层对ll6特征高频分量lhk,hlk,hhk,k=1进行组合,然后经过卷积块和重建块,生成H×W的水下图像增强图像;此外前两个层次组合后的特征经过一个重建块生成一张当前尺寸的水下图像增强图像;最终输出三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,分别与G′k,k=1,2,3尺寸相同。
4.根据权利要求3所述的一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,所述步骤S3具体实现如下:
设计一种多层次神经网络结构用于图像鉴别,图像鉴别网络输入为生成网络生成的三个尺寸的增强图像I′k,k=1,2,3或标签图像G′k,k=1,2,3,网络每次输入需为同一类型图像,即同为增强图像或同为标签图像;图像鉴别网络包括多个卷积块、拼接层和池化层;卷积块由卷积层和激活层组成,卷积层使用卷积核为3x3、步长为1的卷积,激活层使用LeakyReLu函数,池化层使用卷积核为4x4、步长为2的卷积;图像鉴别网络输入I′1或G′1,分别代表水下图像和标签图像,首先经过一个池化层与两个卷积块得到尺寸为1/2H×1/2W的特征向量d2,再使用一个卷积块将图像I′2或G′2提取出对应尺寸特征f2,将两个特征使用特征拼接层进行融合,融合方式为 其中表示拼接操作;融合后的特征经过一个池化层与两个卷积块得到尺寸为1/4H×1/4W的特征向量d3,再使用一个卷积块将图像I′3或G′3提取出对应尺寸特征f3,将两个特征使用特征拼接层进行融合,融合方式与上一层一致;融合后的特征向量经过一个池化层与两个卷积块得到尺寸为1/8H×1/8W的特征向量,最后经过一个1个通道的卷积层以预测为真实图像的概率。
5.根据权利要求4所述的一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,所述步骤S4具体实现步骤如下:
步骤S41、设计生成网络目标损失函数,生成网络总目标损失函数如下:
生成网络输出三个尺寸的增强图像,L1损失只计算最大尺寸生成图像和参考标签图像之间的损失;I′1是生成网络增强结果中最大尺寸图像,G′1是参考标签图像中最大尺寸图像,||.||1是取绝对值操作;
其中,z表示水下图像,Pz(z)表示水下图像概率分布,G表示生成网络,D表示鉴别网络,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别网络对生成网络的输出的鉴别结果,常数c是鉴别网络用来判定生成图像和标签图像差距的数值,此处取值为c=1,生成网络共输出三个尺寸的增强图像,都需送入鉴别网络计算损失;
步骤S42、设计鉴别神经网络目标损失函数,鉴别网络目标损失函数如下:
其中,x表示参考标签图像,Pdata(x)表示参考标签图像概率分布,z表示水下图像,Pz(z)表示水下图像概率分布,G表示生成网络,D表示鉴别网络,D(x)表示鉴别神经网络对标签图像的鉴别结果,G(z)表示生成网络对水下图像的增强结果,D(G(z))表示鉴别神经网络对生成网络的输出的鉴别结果,常数a,b分别表示标签图像和生成图像的标记,此处取值为a=1,b=0,生成网络共输出三个尺寸的增强图像,都需送入鉴别神经网络计算损失,对应参考标签图像的三个尺寸图像,也需全部送入鉴别神经网络中计算损失。
6.根据权利要求5所述的一种基于离散小波集成生成对抗网络的水下图像增强方法,其特征在于,所述步骤S5具体实现步骤如下:
步骤S51、将配对的水下图像和标签图像随机划分为多个批次,每个批次包含N对图像;
步骤S52、将水下图像输入到生成网络中,得到三个尺寸的增强图像I′k,k=1,2,3,尺寸大小依次为H×W,1/2H×1/2W,1/4H×1/4W,其中H×W为步骤S1中规定尺寸;
步骤S53、将生成的增强图像与标签图像输入到鉴别神经网络得到判别结果;
步骤S54、根据生成网络的总目标损失函数,使用反向传播方法计算生成网络中各参数的梯度,并利用随机梯度下降方法更新生成网络的参数;
步骤S55、根据鉴别神经网络的目标损失函数,使用反向传播方法计算鉴别神经网络中各参数的梯度,并利用随机梯度下降方法更新鉴别神经网络的参数;
步骤S56、以批次为单位重复进行步骤S51至步骤S54生成网络和鉴别神经网络训练步骤,直至生成网络的目标损失函数数值和鉴别神经网络的目标损失函数数值收敛到纳什平衡,保存网络参数,完成生成网络和鉴别神经网络的训练过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134075.9A CN112767279B (zh) | 2021-02-01 | 2021-02-01 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110134075.9A CN112767279B (zh) | 2021-02-01 | 2021-02-01 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112767279A true CN112767279A (zh) | 2021-05-07 |
CN112767279B CN112767279B (zh) | 2022-06-14 |
Family
ID=75704416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110134075.9A Active CN112767279B (zh) | 2021-02-01 | 2021-02-01 | 一种基于离散小波集成生成对抗网络的水下图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112767279B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113222953A (zh) * | 2021-05-21 | 2021-08-06 | 西安电子科技大学 | 基于深度伽马变换的自然图像增强方法 |
CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
CN113284061A (zh) * | 2021-05-17 | 2021-08-20 | 大连海事大学 | 一种基于梯度网络的水下图像增强方法 |
CN114092793A (zh) * | 2021-11-12 | 2022-02-25 | 杭州电子科技大学 | 适用于复杂水下环境的端到端生物目标检测方法 |
CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114881879A (zh) * | 2022-05-17 | 2022-08-09 | 燕山大学 | 一种基于亮度补偿残差网络的水下图像增强方法 |
CN117152445A (zh) * | 2023-10-31 | 2023-12-01 | 暨南大学 | 基于多连接编码小波池化的实时图像语义分割方法及系统 |
CN114881879B (zh) * | 2022-05-17 | 2024-09-24 | 燕山大学 | 一种基于亮度补偿残差网络的水下图像增强方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
US20190295223A1 (en) * | 2018-03-22 | 2019-09-26 | Adobe Inc. | Aesthetics-guided image enhancement |
CN111242865A (zh) * | 2020-01-10 | 2020-06-05 | 南京航空航天大学 | 基于生成式对抗网络的眼底图像增强方法 |
CN111275640A (zh) * | 2020-01-17 | 2020-06-12 | 天津大学 | 一种融合二维离散小波变换和生成对抗网络的图像增强方法 |
US20200286208A1 (en) * | 2019-03-08 | 2020-09-10 | International Business Machines Corporation | Neural network based enhancement of intensity images |
CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
-
2021
- 2021-02-01 CN CN202110134075.9A patent/CN112767279B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190295223A1 (en) * | 2018-03-22 | 2019-09-26 | Adobe Inc. | Aesthetics-guided image enhancement |
CN109685072A (zh) * | 2018-12-22 | 2019-04-26 | 北京工业大学 | 一种基于生成对抗网络的复合降质图像高质量重建方法 |
US20200286208A1 (en) * | 2019-03-08 | 2020-09-10 | International Business Machines Corporation | Neural network based enhancement of intensity images |
CN111242865A (zh) * | 2020-01-10 | 2020-06-05 | 南京航空航天大学 | 基于生成式对抗网络的眼底图像增强方法 |
CN111275640A (zh) * | 2020-01-17 | 2020-06-12 | 天津大学 | 一种融合二维离散小波变换和生成对抗网络的图像增强方法 |
CN111798400A (zh) * | 2020-07-20 | 2020-10-20 | 福州大学 | 基于生成对抗网络的无参考低光照图像增强方法及系统 |
CN112288658A (zh) * | 2020-11-23 | 2021-01-29 | 杭州师范大学 | 一种基于多残差联合学习的水下图像增强方法 |
Non-Patent Citations (2)
Title |
---|
QILI DENG ET AL.: "HardGAN: A Haze-Aware Representation Distillation GAN for Single Image Dehazing", 《COMPUTER VISION–ECCV 2020》 * |
沈亮: "复杂天气条件下水天场景图像增强技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113284061A (zh) * | 2021-05-17 | 2021-08-20 | 大连海事大学 | 一种基于梯度网络的水下图像增强方法 |
CN113284061B (zh) * | 2021-05-17 | 2024-04-05 | 大连海事大学 | 一种基于梯度网络的水下图像增强方法 |
CN113222953B (zh) * | 2021-05-21 | 2023-10-20 | 西安电子科技大学 | 基于深度伽马变换的自然图像增强方法 |
CN113222953A (zh) * | 2021-05-21 | 2021-08-06 | 西安电子科技大学 | 基于深度伽马变换的自然图像增强方法 |
CN113240606A (zh) * | 2021-05-24 | 2021-08-10 | 博奥生物集团有限公司 | 中医望诊图像颜色校正方法及系统 |
CN114092793A (zh) * | 2021-11-12 | 2022-02-25 | 杭州电子科技大学 | 适用于复杂水下环境的端到端生物目标检测方法 |
CN114092793B (zh) * | 2021-11-12 | 2024-05-17 | 杭州电子科技大学 | 适用于复杂水下环境的端到端生物目标检测方法 |
CN114612330B (zh) * | 2022-03-15 | 2024-02-02 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114612330A (zh) * | 2022-03-15 | 2022-06-10 | 中国人民解放军国防科技大学 | 一种多相机的图像增强方法 |
CN114881879A (zh) * | 2022-05-17 | 2022-08-09 | 燕山大学 | 一种基于亮度补偿残差网络的水下图像增强方法 |
CN114881879B (zh) * | 2022-05-17 | 2024-09-24 | 燕山大学 | 一种基于亮度补偿残差网络的水下图像增强方法 |
CN117152445A (zh) * | 2023-10-31 | 2023-12-01 | 暨南大学 | 基于多连接编码小波池化的实时图像语义分割方法及系统 |
CN117152445B (zh) * | 2023-10-31 | 2024-01-12 | 暨南大学 | 基于多连接编码小波池化的实时图像语义分割方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112767279B (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112767279B (zh) | 一种基于离散小波集成生成对抗网络的水下图像增强方法 | |
CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
CN112767251B (zh) | 基于多尺度细节特征融合神经网络的图像超分辨率方法 | |
CN108932536B (zh) | 基于深度神经网络的人脸姿态重建方法 | |
CN106548159A (zh) | 基于全卷积神经网络的网纹人脸图像识别方法与装置 | |
CN111861894A (zh) | 基于生成式对抗网络的图像去运动模糊方法 | |
CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
Liu et al. | Learning hadamard-product-propagation for image dehazing and beyond | |
CN116703752A (zh) | 融合近红外的Transformer结构的图像去雾方法及装置 | |
Lu et al. | Underwater image enhancement method based on denoising diffusion probabilistic model | |
CN114004766A (zh) | 一种水下图像增强方法、系统和设备 | |
CN112164010A (zh) | 一种多尺度融合卷积神经网络图像去雾方法 | |
CN112614070A (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
CN115170944A (zh) | 一种基于cnn的nr水下增强图像质量评价方法 | |
Zhuang et al. | A dense stereo matching method based on optimized direction-information images for the real underwater measurement environment | |
Pan et al. | ChebyLighter: Optimal Curve Estimation for Low-light Image Enhancement | |
CN113628143A (zh) | 一种基于多尺度卷积的加权融合图像去雾方法及装置 | |
CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
CN107301625A (zh) | 基于亮度融合网络的图像去雾算法 | |
Huang et al. | Attention-based for multiscale fusion underwater image enhancement | |
CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |