CN116167941B - 一种基于rgb通道恢复的水下图像增强方法 - Google Patents
一种基于rgb通道恢复的水下图像增强方法 Download PDFInfo
- Publication number
- CN116167941B CN116167941B CN202310183552.XA CN202310183552A CN116167941B CN 116167941 B CN116167941 B CN 116167941B CN 202310183552 A CN202310183552 A CN 202310183552A CN 116167941 B CN116167941 B CN 116167941B
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- channel
- loss
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000011084 recovery Methods 0.000 title abstract description 6
- 238000006731 degradation reaction Methods 0.000 claims abstract description 77
- 230000015556 catabolic process Effects 0.000 claims abstract description 76
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 208000032538 Depersonalisation Diseases 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 238000004590 computer program Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RGB通道恢复的水下图像增强方法，包括：获取由水下退化图像和水下清晰图像构成的图像集；采用生成对抗网络构建水下图像增强模型，并设计一个多项损失函数；基于获取的图像集和设计的多项损失函数，训练水下图像增强模型；将待增强的水下退化图像输入训练好的水下图像增强模型，得到待增强的水下退化图像所对应的清晰图像。本发明能够对水下退化图像不同衰减程度的通道针对性地进行处理，有效、鲁棒地增强水下图像。
Description
技术领域
本发明涉及计算机视觉中的图像增强技术领域，特别涉及一种基于RGB通道恢复的水下图像增强方法。
背景技术
水下图像对于海洋工程和水下机器人有着极其重要的意义，在海洋资源勘探、水下场景分析、海洋考古等领域都有广泛的应用。
然而，由于光的选择性吸收，水下图像呈现出不同程度的色偏。此外，水中悬浮物质等引起的光散射导致水下图像模糊、对比度差。这些退化的水下图像缺乏有效信息，严重影响了水下视觉任务的性能。
早期的研究针对水下图像退化的原因和像素值，提出了两类传统的水下图像增强方法。基于物理模型的方法对水下图像的退化过程进行物理建模，并利用先验估计模型的参数，然后对水下成像模型进行反演，恢复清晰的图像。然而，水下环境是复杂和多变的，仅通过理想化的假设很难完全解释不同的水下环境。无模型的方法不需要对水下成像过程进行建模，它直接调整图像的像素值，以提高视觉效果。但是，这些算法的鲁棒性较差，且容易出现欠增强或过度增强。近年来，深度学习技术已经应用在许多视觉任务上并取得了令人满意的效果，研究人员在水下图像增强任务上也开展了相关研究。基于深度学习的方法大多人工合成有参考图像的训练数据，并利用这些成对数据进行监督学习。
但是，合成图像与真实场景之间存在域漂移，用合成数据训练的模型不能应用于真实场景。因此，一些方法开展了无监督水下图像增强的研究，不幸的是，它们的表现仍然不能令人满意。
此外，现有的方法只是简单地将整个图像输入到模型中进行增强，没有考虑到水下退化图像RGB通道衰减程度的差异，这可能导致模型的增强性能不足。
发明内容
本发明提供了一种基于RGB通道恢复的水下图像增强方法，以解决现有的水下图像增强方法的增强性能不足的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一方面，本发明提供了一种基于RGB通道恢复的水下图像增强方法，包括：
获取由水下退化图像和水下清晰图像构成的图像集；其中，所述水下清晰图像指的是水下拍摄的没有色偏和降质的图像，所述水下退化图像指的是水下拍摄的图像由于各种退化原因而产生图像退化的各种退化类型的图像；
采用生成对抗网络构建水下图像增强模型，并设计一个多项损失函数；其中，所述水下图像增强模型包括图像生成器、图像判别器和通道判别器，所述通道判别器用于对增强图像的RGB通道进行判别，以校正增强图像的颜色；所述多项损失函数可以保留增强图像的内容和边缘纹理，以提高增强图像质量；
基于获取的图像集和设计的多项损失函数，训练所述水下图像增强模型；
将待增强的水下退化图像输入训练好的水下图像增强模型，利用训练好的水下图像增强模型得到待增强的水下退化图像所对应的清晰图像。
进一步地，所述图像生成器包括清晰图像生成器和退化图像生成器；
所述清晰图像生成器和所述退化图像生成器的结构相同，均包括多专家编码器、特征融合模块和特征融合引导的解码器；其中，
所述多专家编码器包括R通道专家编码器、G通道专家编码器和B通道专家编码器；其中，所述R通道专家编码器、所述G通道专家编码器和所述B通道专家编码器的结构相同，均包括两个下采样模块和两个共享权重模块；所述下采样模块由卷积核为4×4，步长为2，填充为1的卷积层、实例归一化层以及LeakyReLU层组成；所述共享权重模块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层以及LeakyReLU层组成；
所述特征融合模块在通道维度上按照RGB的顺序连接输入的三个特征，并利用卷积核为1×1的卷积层降低通道维度，与所述解码器对应输入层通道对齐；
所述特征融合引导的解码器包括残差连接模块，两个上采样模块和两个跳跃连接；其中，残差连接模块由六个残差块组成，每个残差块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层及实例归一化层组成；上采样模块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层、PixelShuffle层、实例归一化层以及一个ReLU层组成，第二个上采样模块后连接卷积核为7×7，步长为1，填充为3的卷积层和Tanh层；
所述跳跃连接利用所述特征融合模块将所述多专家编码器同级的特征按照RGB的顺序进行融合，并输入到所述特征融合引导的解码器的对应层。
进一步地，所述图像判别器包括清晰图像判别器和退化图像判别器；
所述清晰图像判别器和所述退化图像判别器的结构相同；均包括下采样模块和分类层，其中，所述图像判别器中的每个下采样模块由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层组成；分类层的前一层由卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层组成；最后一层分类层使用卷积核为4×4，步长为1的卷积层。
进一步地，所述通道判别器包括清晰通道判别器和退化通道判别器；
所述清晰通道判别器和所述退化通道判别器的结构相同，均包括结构相同的R通道判别器、G通道判别器和B通道判别器；通道判别器采用解耦训练策略，与生成器共享编码器部分，分类部分由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层，卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层及卷积核为4×4，步长为1的卷积层组成。
进一步地，所述多项损失函数表示为：
L＝Lunsup+Limg
其中，L表示所述多项损失函数，Lunsup表示无监督训练相关损失函数，Limg表示图像质量提升相关损失函数。
进一步地，所述无监督训练相关损失函数Lunsup表示为：
其中，表示图像对抗损失，λ1表示图像对抗损失的权重，/>表示通道对抗损失，λ2表示通道对抗损失的权重，Lcyc表示循环一致性损失，λ3表示循环一致性损失的权重，Lide表示身份识别损失，λ4表示身份识别损失的权重；
图像对抗损失表示为：
其中，表示清晰图像对抗损失，/>表示退化图像对抗损失；E表示期望值，Pdata(y)和Pdata(x)分别表示清晰图像的分布和水下退化图像的分布，y～Pdata(y)表示y服从清晰图像的分布，x～Pdata(x)表示x服从水下退化图像的分布；Dy(y)和Dy(G(x))分别表示清晰图像判别器判断输入清晰图像y和增强图像G(x)为真实清晰图像的概率，Dx(x)和Dx(F(y))分别表示退化图像判别器判断输入退化图像x和生成的退化图像F(y)为真实水下退化图像的概率；
通道对抗损失表示为：
其中，表示清晰通道对抗损失，/>表示退化通道对抗损失；/>和/>分别表示清晰通道判别器判断输入清晰图像y和增强图像G(x)的c通道为真实清晰图像c通道的概率，/>和/>分别表示退化通道判别器判断输入退化图像x和生成的退化图像F(y)的c通道为真实水下退化图像的c通道的概率；c∈{R,G,B}表示c通道分别为图像的R/G/B通道；
循环一致性损失Lcyc表示为：
其中，G(x)和F(y)分别表示生成的增强图像和生成的退化图像，F(G(x))和G(F(y))分别表示重构的水下退化图像和重构的清晰图像；
身份识别损失Lide表示为：
其中，G(y)表示将清晰图像y输入清晰图像生成器G输出的结果，F(x)表示将水下退化图像x输入退化图像生成器F输出的结果。
进一步地，所述图像质量提升相关损失函数Limg表示为：
Limg＝η1Lcont+η2Ledge+η3Ltv
其中，Lcont表示内容感知损失，η1表示内容感知损失的权重，Ledge表示边缘损失，η2表示边缘损失的权重，Ltv表示总变分损失，η3表示总变分损失的权重；
内容感知损失Lcont表示为：
其中，Φ表示预训练的VGG16第4块的输出；Φ(x)和Φ(G(x))分别表示对水下退化图像x和生成的增强图像G(x)提取的内容信息，Φ(y)和Φ(F(y))分别表示对清晰图像y和生成的退化图像F(y)提取的内容信息；
边缘损失Ledge表示为：
其中，表示Sobel边缘提取算子；/>和/>分别表示对水下退化图像x和重构的退化图像F(G(x))提取的边缘信息，/>和/>分别表示对清晰图像y和重构的清晰图像G(F(y))提取的边缘信息；
总变分损失Ltv表示为：
Ltv＝Ltv(G(x))+Ltv(F(y))
其中，Ltv(G(x))表示对G(x)算总变分损失，Ltv(F(y))表示对F(y)算总变分损失；Ltv(I)表示对输入的图像I算总变分损失，i和j分别表示输入图像的横向和纵向像素坐标，Ii,j+1表示像素Ii,j纵向的下一个像素，Ii+1,j表示像素Ii,j横向的下一个像素。
进一步地，所述水下图像增强模型的训练过程包括水下图像增强阶段和清晰图像退化阶段；其中，
在所述水下图像增强阶段，对于水下退化图像，将其输入清晰图像生成器，得到增强图像；清晰图像判别器判断真实清晰图像和生成的增强图像的真伪，清晰通道判别器分别判断真实清晰图像和生成的增强图像的R/G/B通道的真伪；将生成的增强图像输入退化图像生成器，得到重构退化图像；
在所述清晰图像退化阶段，对于清晰图像，将其输入退化图像生成器，得到退化图像；退化图像判别器判断真实水下退化图像和生成的退化图像的真伪，退化通道判别器分别判断真实水下退化图像和生成的退化图像的R/G/B通道的真伪；将生成的退化图像输入清晰图像生成器，得到重构清晰图像。
再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案考虑到了水下退化图像RGB通道衰减程度的差异，能够更有效的恢复各种水下退化类型。其带来的有益效果至少包括：
1、相比于现有的基于深度学习的方法，本发明方法能够针对不同退化的通道分别进行处理，以有效地、稳健地增强各种水下退化图像；
2、本发明方法利用通道判别器对增强图像的每个通道进行判别，进一步校正了增强图像的颜色；
3、本发明采用无监督方法，训练过程使用的水下退化图像不需要与之一一对应的清晰参考图像，缓解了模型对成对数据的需要；
4、本发明设计了一个多项损失函数，通过保留增强图像的内容和边缘纹理来有效地提高图像质量，解决了现有无监督水下图像增强方法增强结果质量差的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于RGB通道恢复的水下图像增强方法的执行流程示意图；
图2是本发明实施例提供的基于RGB通道恢复的水下图像增强方法的框架示意图；
图3是本发明实施例提供的图像生成器结构示意图；
图4a是本发明实施例提供的下采样模块的结构示意图；
图4b是本发明实施例提供的共享权重模块的结构示意图；
图4c是本发明实施例提供的特征融合模块的结构示意图；
图5a是本发明实施例提供的上采样模块的结构示意图；
图5b是本发明实施例提供的残差块的结构示意图；
图6是本发明实施例提供的图像判别器结构示意图；
图7是本发明实施例提供的通道判别器结构示意图；
图8是本发明实施例提供的本发明方法增强各类退化图像的结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
为解决现有的水下图像增强方法的增强性能不足的技术问题，针对水下退化图像各通道间衰减程度不同的特点，本实施例提供了一种框架如图2所示的基于RGB通道恢复的水下图像增强方法，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法的执行流程如图1所示，包括以下步骤：
S1，获取由水下退化图像和水下清晰图像构成的图像集；
其中，所述水下清晰图像指的是水下拍摄的没有色偏和降质的图像，所述水下退化图像指的是水下拍摄的图像由于各种退化原因而产生图像退化的各种退化类型的图像；具体地，在本实施例中，所述图像集的构建过程包括：
A1，随机选取水下退化图像x和清晰图像y构成图像集{X,Y}，x∈X，y∈Y；
具体地，本实施例从EUVP数据集中随机选取水下退化图像和清晰图像，然后由人工筛选去掉有明显退化的清晰图像，构成图像集{X,Y}，其中，(x,y)∈{X,Y}，x和y分别表示水下退化图像和清晰图像，X和Y分别表示水下退化图像集和清晰图像集；
A2，对获取的图像集进行数据增强处理；其中，本实施例采用的数据增强方法包括：随机裁剪至256×256，随机水平翻转。
S2，采用生成对抗网络构建水下图像增强模型，并设计一个多项损失函数；
其中，所述水下图像增强模型包括图像生成器、图像判别器和通道判别器，所述通道判别器用于对增强图像的RGB通道进行判别，以校正增强图像的颜色；所述多项损失函数可以保留增强图像的内容和边缘纹理，以提高增强图像质量；
具体地，在本实施例中，所述水下图像增强模型的构建过程包括：
B1，构建图像生成器(G,F)；
其中，图像生成器包括清晰图像生成器G和退化图像生成器F；
清晰图像生成器G和退化图像生成器F结构相同，如图3所示，二者均由多专家编码器、特征融合模块和特征融合引导的解码器组成。
多专家编码器包括R通道专家编码器、G通道专家编码器和B通道专家编码器；其中，三个专家编码器结构相同，包括两个下采样模块和两个共享权重模块；下采样模块如图4a所示，由卷积核为4×4，步长为2，填充为1的卷积层、实例归一化层和LeakyReLU层组成；共享权重模块如图4b所示，由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层和LeakyReLU层组成。
特征融合模块如图4c所示，其在通道维度上按照RGB的顺序连接输入的3个特征，并利用卷积核为1×1的卷积层降低通道维度，和特征融合引导的解码器对应输入层通道对齐；
特征融合引导的解码器由残差连接模块，两个上采样模块和两个跳跃连接组成；其中，残差连接模块由6个残差块组成；如图5b所示，每个残差块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层组成；如图5a所示，上采样模块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层、PixelShuffle层、实例归一化层、一个ReLU层组成，第2个上采样模块后连接卷积核为7×7，步长为1，填充为3的卷积层和Tanh层。跳跃连接利用特征融合模块将多专家编码器同级的特征按照RGB的顺序进行融合，并输入到特征融合引导的解码器对应层。
B2，构建图像判别器(Dy,Dx)；
其中，图像判别器包括清晰图像判别器Dy和退化图像判别器Dx；
清晰图像判别器Dy和退化图像判别器Dx结构相同；均包括下采样模块和分类层，其中，如图6所示，每个下采样模块由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层组成；分类层的前一层由卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层组成；最后一层分类层使用卷积核为4×4，步长为1的卷积层；
具体地，在本实施例中，所述图像判别器包含三个尺度：局部尺度(10×10感受野)、中等尺度(70×70感受野)和全局尺度(286×286感受野)；对输入为256×256的图像进行2次下采样，得到特征f0，并将特征f0输入到分类器C0中进行鉴别；然后对f0下采样得到特征f1，并连接到两个分支：一个连接到分类器C1，另一个进一步通过2次下采样得到f2，最后，将f2输入分类器C2进行鉴别。
B3，构建通道判别器c∈{R,G,B}；
其中，所述通道判别器包括清晰通道判别器和退化通道判别器/>
清晰通道判别器和退化通道判别器/>结构相同；如图7所示，对于清晰通道判别器/>包括：R通道判别器/>G通道判别器/>和B通道判别器/>三者结构相同；通道判别器采用解耦训练策略，与生成器共享编码器部分，分类部分由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层，卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层以及卷积核为4×4，步长为1的卷积层组成。
B4，根据构建的生成器(G,F)、图像判别器(Dy,Dx)、通道判别器构建所述水下图像增强模型。
进一步地，所述多项损失函数针对现有无监督方法生成图像质量差的问题而设计，包括无监督训练相关损失函数和图像质量提升相关损失函数；表示为：
L＝Lunsup+Limg
其中，L表示所述多项损失函数，Lunsup表示无监督训练相关损失函数，Limg表示图像质量提升相关损失函数。
进一步地，所述无监督训练相关损失函数Lunsup包括图像对抗损失、通道对抗损失、循环一致性损失和身份识别损失，可表示为：
其中，表示图像对抗损失，λ1表示图像对抗损失的权重，/>表示通道对抗损失，λ2表示通道对抗损失的权重，Lcyc表示循环一致性损失，λ3表示循环一致性损失的权重，Lide表示身份识别损失，λ4表示身份识别损失的权重；具体地，在本实施例中，各权重的取值分别为：λ1＝λ2＝1，λ3＝λ4＝10；
进一步地，本实施例采用最小二乘对抗损失来进行更稳定的训练和更高的生成质量，对此图像对抗损失可表示为：
其中，表示清晰图像对抗损失，/>表示退化图像对抗损失；E表示期望值，Pdata(y)和Pdata(x)分别表示清晰图像的分布和水下退化图像的分布，y～Pdata(y)表示y服从清晰图像的分布，x～Pdata(x)表示x服从水下退化图像的分布；Dy(y)和Dy(G(x))分别表示清晰图像判别器判断输入清晰图像y和增强图像G(x)为真实清晰图像的概率，Dx(x)和Dx(F(y))分别表示退化图像判别器判断输入退化图像x和生成的退化图像F(y)为真实水下退化图像的概率；
进一步地，通道对抗损失旨在让通道判别器和图像生成器对抗训练，确保通道判别器能够准确判断出生成图像R/G/B通道的真实性，图像生成器生成的图像R/G/B通道和清晰图像分布相似；对此，通道对抗损失可表示为：
其中，表示清晰通道对抗损失，/>表示退化通道对抗损失；/>和/>分别表示清晰通道判别器判断输入清晰图像y和增强图像G(x)的c通道为真实清晰图像c通道的概率，/>和/>分别表示退化通道判别器判断输入退化图像x和生成的退化图像F(y)的c通道为真实水下退化图像的c通道的概率；c∈{R,G,B}表示c通道分别为图像的R/G/B通道，∑c∈{R,G,B}(.)表示分别对输入图像的R/G/B通道计算损失后求和；
进一步地，仅使用对抗损失无法保证网络将输入映射到所期望的输出，因此，应用循环一致性损失来减少可能的映射函数空间；对于前向循环，确保能够将输入的水下退化图像x重构回原始图像，即x→G(x)→F(G(x))≈x；对此，循环一致性损失Lcyc表示为：
其中，G(x)和F(y)分别表示生成的增强图像和生成的退化图像，F(G(x))和G(F(y))分别表示重构的水下退化图像和重构的清晰图像；
进一步地，身份识别损失的作用是确保输入和输出图像的颜色组成的一致性。对于输入图像y，G应该确保输出图像保持y，即y→G(y)≈y；对此，身份识别损失Lide可表示为：
其中，G(y)表示将清晰图像y输入清晰图像生成器G输出的结果，F(x)表示将水下退化图像x输入退化图像生成器F输出的结果；
进一步地，所述图像质量提升相关损失函数Limg包括内容感知损失、边缘损失和总变分损失，可表示为：
Limg＝η1Lcont+η2Ledge+η3Ltv
其中，Lcont表示内容感知损失，η1表示内容感知损失的权重，Ledge表示边缘损失，η2表示边缘损失的权重，Ltv表示总变分损失，η3表示总变分损失的权重；具体地，在本实施例中，各权重分别为：η1＝10，η2＝0.01，η3＝1e-3；
进一步地，输入图像x和增强图像G(x)应该具有相同的内容信息；本实施例利用一个预训练的高级语义感知模型VGG16作为特征提取器，这是一种在分类任务中常用的模型，具有强大的特征表示能力；将图像直接输入到语义感知模型中，提取特征，然后将第4块的输出表示为内容信息；对此，内容感知损失Lcont可表示为：
其中，Φ表示在ImageNet上预训练的VGG16第4块的输出；Φ(x)和Φ(G(x))分别表示对水下退化图像x和生成的增强图像G(x)提取的内容信息，Φ(y)和Φ(F(y))分别表示对退化图像y和生成的清晰图像F(y)提取的内容信息；
进一步地，为了提高图像的细节，本实施例引入了边缘损失来约束原始图像x和重建图像F(G(x))，以保持相同的边缘，保证模型更关注增强图像的边缘信息；对此，边缘损失Ledge可表示为：
其中，表示Sobel边缘提取算子；/>和/>分别表示对水下退化图像x和重构的退化图像F(G(x))提取的边缘信息，/>和/>分别表示对清晰图像y和重构的清晰图像G(F(y))提取的边缘信息；
进一步地，总变分损失Ltv作为一个正则化项，可以平滑图像以减少噪声，对此，总变分损失Ltv可表示为：
Ltv＝Ltv(G(x))+Ltv(F(y))
其中，Ltv(G(x))表示对G(x)算总变分损失，Ltv(F(y))表示对F(y)算总变分损失；Ltv(I)表示对输入的图像I算总变分损失，i和j分别表示输入图像的横向和纵向像素坐标，Ii,j+1表示像素Ii,j纵向的下一个像素，Ii+1,j表示像素Ii,j横向的下一个像素；∑i,j(.)表示对图像I中所有像素值进行计算并求和；
S3，基于获取的图像集和设计的多项损失函数训练所述水下图像增强模型；
具体地，在本实施例中，如图2所示，水下图像增强模型的训练过程包括水下图像增强阶段和清晰图像退化阶段；其中，
在水下图像增强阶段，对于水下退化图像x，将其输入清晰图像生成器G，得到增强的图像G(x)；清晰图像判别器Dy判断y和G(x)的真伪，清晰图像通道判别器分别判断y和G(x)的R/G/B通道的真伪；将增强的图像G(x)输入退化图像生成器F，得到重构退化图像F(G(x))；
在清晰图像退化阶段，对于清晰图像y，将其输入退化图像生成器F，得到退化的图像F(y)；退化图像判别器Dx判断x和合成退化图像F(y)的真伪，退化图像通道判别器分别判断x和F(y)的R/G/B通道的真伪；将退化的图像F(y)输入清晰图像生成器G，得到重构清晰图像G(F(y))。
S4，将待增强的水下退化图像输入训练好的水下图像增强模型，利用训练好的水下图像增强模型得到待增强的水下退化图像所对应的清晰图像。
具体地，在测试阶段，本实施例将待增强图像输入至训练好的清晰图像生成器G中，即可输出清晰的水下图像；本实施例的基于RGB通道恢复的水下图像增强方法可增强各种退化类型的水下图像，如图8所示，对各类色偏、浑浊、低光照的退化图像都可以进行有效增强，取得了令人满意的视觉效果。
综上，本实施例针对水下退化图像各通道间衰减程度不同的特点，提供了一种基于RGB通道恢复的水下图像增强方法，相比于现有的基于深度学习的方法，本方法能够针对不同退化的通道分别进行处理，以有效地、稳健地增强各种水下退化图像；且本方法利用通道判别器对增强图像的每个通道进行判别，进一步校正了增强图像的颜色；此外，本方法采用无监督方法，训练过程使用的水下退化图像不需要与之一一对应的清晰参考图像，缓解了模型对成对数据的需要；进一步地，本方法设计了一个多项损失函数，通过保留增强图像的内容和边缘纹理来有效地提高图像质量，解决了现有无监督方法增强结果质量差的问题。
第二实施例
本实施例提供一种电子设备，其包括处理器和存储器；其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行，以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)和一个或一个以上的存储器，其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行上述方法。
第三实施例
本实施例提供一种计算机可读存储介质，该存储介质中存储有至少一条指令，所述指令由处理器加载并执行，以实现上述第一实施例的方法。其中，该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (7)
1.一种基于RGB通道恢复的水下图像增强方法，其特征在于，包括：
获取由水下退化图像和水下清晰图像构成的图像集；其中，所述水下清晰图像指的是水下拍摄的没有色偏和降质的图像，所述水下退化图像指的是水下拍摄的图像由于各种退化原因而产生图像退化的各种退化类型的图像；
采用生成对抗网络构建水下图像增强模型，并设计一个多项损失函数；其中，所述水下图像增强模型包括图像生成器、图像判别器和通道判别器，所述通道判别器用于对增强图像的RGB通道进行判别，以校正增强图像的颜色；所述多项损失函数可以保留增强图像的内容和边缘纹理，以提高增强图像质量；
基于获取的图像集和设计的多项损失函数，训练所述水下图像增强模型；
将待增强的水下退化图像输入训练好的水下图像增强模型，利用训练好的水下图像增强模型得到待增强的水下退化图像所对应的清晰图像；
所述图像生成器包括清晰图像生成器和退化图像生成器；
所述清晰图像生成器和所述退化图像生成器的结构相同，均包括多专家编码器、特征融合模块和特征融合引导的解码器；其中，
所述多专家编码器包括R通道专家编码器、G通道专家编码器和B通道专家编码器；其中，所述R通道专家编码器、所述G通道专家编码器和所述B通道专家编码器的结构相同，均包括两个下采样模块和两个共享权重模块；所述下采样模块由卷积核为4×4，步长为2，填充为1的卷积层、实例归一化层以及LeakyReLU层组成；所述共享权重模块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层以及LeakyReLU层组成；
所述特征融合模块在通道维度上按照RGB的顺序连接输入的三个特征，并利用卷积核为1×1的卷积层降低通道维度，与所述解码器对应输入层通道对齐；
所述特征融合引导的解码器包括残差连接模块，两个上采样模块和两个跳跃连接；其中，残差连接模块由六个残差块组成，每个残差块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层及实例归一化层组成；上采样模块由卷积核为3×3，步长为1，填充为1的卷积层、实例归一化层、ReLU层、卷积核为3×3，步长为1，填充为1的卷积层、PixelShuffle层、实例归一化层以及一个ReLU层组成，第二个上采样模块后连接卷积核为7×7，步长为1，填充为3的卷积层和Tanh层；
所述跳跃连接利用所述特征融合模块将所述多专家编码器同级的特征按照RGB的顺序进行融合，并输入到所述特征融合引导的解码器的对应层。
2.如权利要求1所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述图像判别器包括清晰图像判别器和退化图像判别器；
所述清晰图像判别器和所述退化图像判别器的结构相同；均包括下采样模块和分类层，其中，所述图像判别器中的每个下采样模块由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层组成；分类层的前一层由卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层组成；最后一层分类层使用卷积核为4×4，步长为1的卷积层。
3.如权利要求2所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述通道判别器包括清晰通道判别器和退化通道判别器；
所述清晰通道判别器和所述退化通道判别器的结构相同，均包括结构相同的R通道判别器、G通道判别器和B通道判别器；通道判别器采用解耦训练策略，与生成器共享编码器部分，分类部分由卷积核为4×4，步长为2，填充为1的卷积层、谱归一化层和LeakyReLU层，卷积核为4×4，步长为1，填充为1的卷积层、谱归一化层和LeakyReLU层及卷积核为4×4，步长为1的卷积层组成。
4.如权利要求1所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述多项损失函数表示为：
L＝Lunsup+Limg
其中，L表示所述多项损失函数，Lunsup表示无监督训练相关损失函数，Limg表示图像质量提升相关损失函数。
5.如权利要求4所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述无监督训练相关损失函数Lunsup表示为：
其中，表示图像对抗损失，λ1表示图像对抗损失的权重，/>表示通道对抗损失，λ2表示通道对抗损失的权重，Lcyc表示循环一致性损失，λ3表示循环一致性损失的权重，Lide表示身份识别损失，λ4表示身份识别损失的权重；
图像对抗损失表示为：
其中，表示清晰图像对抗损失，/>表示退化图像对抗损失；E表示期望值，Pdata(y)和Pdata(x)分别表示清晰图像的分布和水下退化图像的分布，y～Pdata(y)表示y服从清晰图像的分布，x～Pdata(x)表示x服从水下退化图像的分布；Dy(y)和Dy(G(x))分别表示清晰图像判别器判断输入清晰图像y和增强图像G(x)为真实清晰图像的概率，Dx(x)和Dx(F(y))分别表示退化图像判别器判断输入退化图像x和生成的退化图像F(y)为真实水下退化图像的概率；
通道对抗损失表示为：
其中，表示清晰通道对抗损失，/>表示退化通道对抗损失；/>和分别表示清晰通道判别器判断输入清晰图像y和增强图像G(x)的c通道为真实清晰图像c通道的概率，/>和/>分别表示退化通道判别器判断输入退化图像x和生成的退化图像F(y)的c通道为真实水下退化图像的c通道的概率；c∈{L,G,B}表示c通道分别为图像的R、G和B通道；
循环一致性损失Lcyc表示为：
其中，G(x)和F(y)分别表示生成的增强图像和生成的退化图像，F(G(x))和G(F(y))分别表示重构的水下退化图像和重构的清晰图像；
身份识别损失Lide表示为：
其中，G(y)表示将清晰图像y输入清晰图像生成器G输出的结果，F(x)表示将水下退化图像x输入退化图像生成器F输出的结果。
6.如权利要求5所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述图像质量提升相关损失函数Limg表示为：
Limg＝η1Lcont+η2Ledge+η3Ltv
其中，Lcont表示内容感知损失，η1表示内容感知损失的权重，Ledge表示边缘损失，η2表示边缘损失的权重，Ltv表示总变分损失，η3表示总变分损失的权重；
内容感知损失Lcont表示为：
其中，Φ表示预训练的VGG16第4块的输出；Φ(x)和Φ(G(x))分别表示对水下退化图像x和生成的增强图像G(x)提取的内容信息，Φ(y)和Φ(y(y))分别表示对清晰图像y和生成的退化图像F(y)提取的内容信息；
边缘损失Ledge表示为：
其中，表示Sobel边缘提取算子；/>和/>分别表示对水下退化图像x和重构的退化图像F(G(x))提取的边缘信息，/>和/>分别表示对清晰图像y和重构的清晰图像G(F(y))提取的边缘信息；
总变分损失Ltv表示为：
Ltv＝Ltv(G(x))+Ltv(G(y))
其中，Ltv(G(x))表示对G(x)算总变分损失，Ltv(F(y))表示对F(y)算总变分损失；Ltv(I)表示对输入的图像I算总变分损失，i和j分别表示输入图像的横向和纵向像素坐标，Ii,j+1表示像素Ii,j纵向的下一个像素，Ii+1,j表示像素Ii,j横向的下一个像素。
7.如权利要求3所述的基于RGB通道恢复的水下图像增强方法，其特征在于，所述水下图像增强模型的训练过程包括水下图像增强阶段和清晰图像退化阶段；其中，
在所述水下图像增强阶段，对于水下退化图像，将其输入清晰图像生成器，得到增强图像；清晰图像判别器判断真实清晰图像和生成的增强图像的真伪，清晰通道判别器分别判断真实清晰图像和生成的增强图像的R、G和B通道的真伪；将生成的增强图像输入退化图像生成器，得到重构退化图像；
在所述清晰图像退化阶段，对于清晰图像，将其输入退化图像生成器，得到退化图像；退化图像判别器判断真实水下退化图像和生成的退化图像的真伪，退化通道判别器分别判断真实水下退化图像和生成的退化图像的R、G和B通道的真伪；将生成的退化图像输入清晰图像生成器，得到重构清晰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183552.XA CN116167941B (zh) | 2023-02-17 | 2023-02-17 | 一种基于rgb通道恢复的水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310183552.XA CN116167941B (zh) | 2023-02-17 | 2023-02-17 | 一种基于rgb通道恢复的水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116167941A CN116167941A (zh) | 2023-05-26 |
| CN116167941B true CN116167941B (zh) | 2023-11-21 |
Family
ID=86421791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310183552.XA Active CN116167941B (zh) | 2023-02-17 | 2023-02-17 | 一种基于rgb通道恢复的水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116167941B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260584A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 基于gan网络的水下退化图像增强的方法 |
| CN112102186A (zh) * | 2020-09-07 | 2020-12-18 | 河海大学 | 一种水下视频图像实时增强方法 |
| CN112837232A (zh) * | 2021-01-13 | 2021-05-25 | 山东省科学院海洋仪器仪表研究所 | 一种水下图像增强及细节恢复的方法 |
| CN113744166A (zh) * | 2021-08-18 | 2021-12-03 | 中国科学院计算技术研究所 | 一种用于浑浊水下鱼类图像增强的方法 |
-
2023
- 2023-02-17 CN CN202310183552.XA patent/CN116167941B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260584A (zh) * | 2020-01-17 | 2020-06-09 | 北京工业大学 | 基于gan网络的水下退化图像增强的方法 |
| CN112102186A (zh) * | 2020-09-07 | 2020-12-18 | 河海大学 | 一种水下视频图像实时增强方法 |
| CN112837232A (zh) * | 2021-01-13 | 2021-05-25 | 山东省科学院海洋仪器仪表研究所 | 一种水下图像增强及细节恢复的方法 |
| CN113744166A (zh) * | 2021-08-18 | 2021-12-03 | 中国科学院计算技术研究所 | 一种用于浑浊水下鱼类图像增强的方法 |
Non-Patent Citations (1)
| Title |
|---|
| Underwater image imbalance attenuation compensation based on attention and self-attention mechanism;Danxu Wang等;IEEE;正文第1-6页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116167941A (zh) | 2023-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255831B (zh) | 基于多任务学习的单视图人脸三维重建及纹理生成的方法 | |
| Wan et al. | CoRRN: Cooperative reflection removal network | |
| CN112767468B (zh) | 基于协同分割与数据增强的自监督三维重建方法及系统 | |
| CN109416727B (zh) | 一种人脸图像中眼镜去除方法及装置 | |
| CN111915530B (zh) | 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法 | |
| CN110648334A (zh) | 一种基于注意力机制的多特征循环卷积显著性目标检测方法 | |
| CN111652966A (zh) | 一种基于无人机多视角的三维重建方法及装置 | |
| CN111488865A (zh) | 图像优化方法、装置、计算机存储介质以及电子设备 | |
| CN112541877B (zh) | 基于条件生成对抗网络的去模糊方法、系统、设备及介质 | |
| CN112052877B (zh) | 一种基于级联增强网络的图片细粒度分类方法 | |
| Cong et al. | Discrete haze level dehazing network | |
| CN113658040A (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
| Rivadeneira et al. | Thermal image super-resolution challenge-pbvs 2021 | |
| CN116563693A (zh) | 基于轻量级注意力机制的水下图像色彩复原方法 | |
| CN116645569A (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN115861094A (zh) | 一种融合注意力机制的轻量级gan水下图像增强模型 | |
| CN116681960A (zh) | 一种基于K8s的中尺度涡旋智能识别方法及系统 | |
| CN117635418B (zh) | 生成对抗网络的训练方法、双向图像风格转换方法和装置 | |
| CN114708173A (zh) | 图像融合方法、计算机程序产品、存储介质及电子设备 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
| CN116167941B (zh) | 一种基于rgb通道恢复的水下图像增强方法 | |
| Kumar et al. | Underwater image enhancement using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |