CN111476739A - 水下图像增强方法、系统及存储介质 - Google Patents
水下图像增强方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111476739A CN111476739A CN202010306405.3A CN202010306405A CN111476739A CN 111476739 A CN111476739 A CN 111476739A CN 202010306405 A CN202010306405 A CN 202010306405A CN 111476739 A CN111476739 A CN 111476739A
- Authority
- CN
- China
- Prior art keywords
- image information
- image
- network
- convolution
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000008447 perception Effects 0.000 claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 42
- 238000000605 extraction Methods 0.000 claims description 35
- 230000004913 activation Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 18
- 230000004456 color vision Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 13
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 239000004568 cement Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种水下图像增强方法、系统及存储介质，解决了水下图像清晰度无法达到要求，其包括对原始图像信息白平衡处理与锐化处理；生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；预测图像信息和所预设的标准图像信息作为输入，以区分预测图像信息与标准图像信息的真伪作为优化目标，利用所获得的映射关系进行原始图像信息的重建。本发明能够提供满足清晰度要求的水下图像。
Description
技术领域
本发明涉及图像增强的技术领域，尤其是涉及一种水下图像增强方法、系统及存储介质。
背景技术
近年来，水下环境监测、海洋资源开发和海洋军事等领域蓬勃发展。然而，原始的水下图像由于颜色失真、模糊、对比度不足等问题无法满足视觉任务需要。因此，水下成像技术在国内外得到了广泛的关注和研究，并被应用到各种人类水下活动。例如，水下自主航线器、水下物体抓取、深海勘探和海床测绘等水下活动均非常依赖于高清晰度、高质量的水下图像。
由于水下环境复杂，拍摄得到的水下图像通常会出现低对比度、颜色失真和雾化效应等视觉失真。从空气中进入水下的光会被水吸收，并且发生散射；而散射的发生一般是由于水中的悬浮粒子造成，光进入水中后会被悬浮粒子反射到不同的方向。水的介质会根据不同颜色光的波长进行吸收，从而降低光的能量。光进入水中以后，由于红光的波长较长，容易被水吸收。通常在水下2米拍摄的水下图像可以明显地观察到红光的衰减；而蓝光和绿光的波长较短，不易被水吸收；因此，在深水位置拍摄到的水下图像通常是呈蓝绿色调。相反，在浅水位置拍摄到的水下图像一般会出现雾化效应，水中的杂质会加深这种现象，一般距离相机10米之外拍摄的物体很难分辨。为了克服这些失真，需要对水下图像进行增强，进而提高其视觉质量。
水下图像的增强主要有三种方法，分别是：物理模型方法、非物理模型方法和深度学习方法。目前采用较多的为通过深度学习技术来增强恢复水下图像。设计端到端的网络可以有效避免建立复杂的水下图像退化模型。
申请公布号为CN109118445A公开的一种基于多分支生成对抗网络的水下图像，将水下退化原始图像、同一场景下的融合处理后的水下清晰图像、同一场景下的水下清晰生成图像作为训练样本集合，输入到属性分支网络和判别分支网络得到属性图和判别图。通过属性图和判别图各自的代价函数梯度下降更新GAN网络权值。直到本次网络训练结束，得到对退化水下图像增强的模型。
上述方案中采用CycleGAN的生成对抗网络，并使用非配对训练集进行训练，实现两种图像风格的转换；但只考虑到了输入图像和生成图像的循环一致性损失，因此这种方法生成的图像清晰度仍然达不到所需的要求，所以具有一定的改进空间。
发明内容
针对现有技术存在的不足，本发明目的一是提供一种水下图像增强方法，能够获得视觉质量更高且纹理细节更清晰的水下图像。
本发明的上述发明目的一是通过以下技术方案得以实现的：
一种水下图像增强方法，包括以下步骤：
获取原始图像信息；
对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；
构建生成网络，所述生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；
构建判别网络，以所述预测图像信息和所预设的标准图像信息作为输入，以区分所述预测图像信息与标准图像信息的真伪作为优化目标，联合训练所述生成网络和所述判别网络，获得原始图像信息到标准图像信息之间的映射关系；
利用所获得的映射关系进行原始图像信息的重建。
通过采用上述技术方案，对原始图像信息进行白平衡处理和锐化处理，白平衡处理可以一定程度上改善原始图像信息的颜色，锐化处理可以使原始图像信息的边缘纹理更加清晰；然后将原始图像信息和白平衡后的白平衡图像信息输入到感知子网络中以提取全局特征图像信息，将锐化后的锐化图像信息单独输入到细化子网络中以提取细节特征图像信息；再将纹理细节特征图像信息与全局特征图像信息相互叠合形成预测图像信息；通过设置具有感知子网络和细化子网络的生成网络，能够生成视觉质量更高的水下图像；通过生成网络与判别网络的联合训练形成原始图像信息到标准图像信息之间的映射关系，进而实现对原始图像信息的重建，获得视觉质量更高且纹理细节更清晰的水下图像。
本发明在一较佳示例中可以进一步配置为：所述细化子网络包括依次连接的多个卷积层，且每个卷积层后连接有Leaky ReLU激活函数。
通过采用上述技术方案，细化子网络的设计能够使得生成的图像在纹理细节部分更加清晰。
本发明在一较佳示例中可以进一步配置为：所述感知子网络包括卷积模块以及反卷积模块；所述卷积模块接收原始图像信息与白平衡图像信息进行特征提取以形成特征提取图像信息；所述反卷积模块进行上采样以形成全局特征图像信息。
本发明在一较佳示例中可以进一步配置为：所述感知子网络还包括连接于卷积模块以及反卷积模块之间的残差模块；将卷积模块所形成的特征提取图像信息输入至残差模块进行特征增强，将增强后的特征提取图像信息反馈至反卷积模块进行上采样。
本发明在一较佳示例中可以进一步配置为：所述卷积模块包括依次连接的三个卷积块，每个卷积块包括依次连接的卷积层、BN层以及ReLU激活函数；将三个卷积块分别定义为卷积核为7*7且步长为1的第一卷积块、卷积核为3*3且步长为2的第二卷积块以及卷积核为3*3且步长为2的第三卷积块，第一卷积块、第二卷积块以及第三卷积块逐层进行下采样以形成不同分辨率的特征图像，且第三卷积块输出特征提取图像信息；
所述残差模块包括第四卷积块、第五卷积块以及第一激活函数；其中，第一激活函数采用 ReLU激活函数；第四卷积块包括依次连接的卷积层、BN层、ReLU激活函数；第五卷积块包括依次连接的卷积层、以及BN层；将特征提取图像信息依次经过第四卷积块以及第五卷积块以提出特征并形成二次特征图像提取信息；再将特征提取图像信息与二次特征图像提取信息进行叠加融合并反馈至第一激活函数并输出特征增强图像信息；将特征增强图像信息反馈至反卷积模块进行上采样；
所述反卷积模块包括依次连接的第一反卷积块、第二反卷积块以及第六卷积块；所述第一反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；所述第二反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；所述第六卷积块包括依次连接的卷积层、以及Tanh激活函数，且卷积核为3*3且步长为1；所述第六卷积块输出全局特征图像信息。
通过采用上述技术方案，感知子网络的设计能够尽可能保证输入图像内容不变的同时矫正水下图像的颜色；通过卷积模块以将原始图像信息与白平衡图像信息所对应的特征进行融合提取，再通过反卷积模块将融合后的图像转化为能够与细化子网络所输入的纹理细节特征图像信息进行相互融合的全局特征图像信息，保证两者图像信息融合的稳定性；残差模块能够对经过卷积模块特征提取的过程进一步的加强，即先经过卷积模块的特征提取，在通过残差模块的特征增强，从而是的反馈至反卷积模块中的特征提取图像信息是经过特征增强后的特征增强图像信息，进一步保证图像的清晰度。
本发明在一较佳示例中可以进一步配置为：关于通过生成网络形成预测图像信息所对应的总损失函数为对抗损失、颜色感知损失、结构相似损失、细节损失以及内容损失的线性组合。
本发明在一较佳示例中可以进一步配置为：生成网络的对抗损失采用最小二乘损失，具体表示为：
其中，z表示预测图像信息所对应的图像；D(z)表示判别网络对z进行判别所输出的判别情况；i表述图像的像素点；N表述图像的像素点的个数；
根据白平衡图像信息以及预测图像信息以计算颜色感知损失，具体表示为：
其中，xwb表示白平衡图像信息所对应的图像；z表示预测图像信息所对应的图像；G(·)表示高斯模糊操作；i表示图像的像素点；N表述图像的像素点的个数；
根据原始图像信息以及预测图像信息以计算结构相似损失，具体表示为：
zb表示属于预测图像信息的灰度图像zgray的5×5图像块，
xb则表示属于原始图像信息的灰度图像xgray的5×5图像块，
{R,G,B+表示图像的三个通道；p表示图像块的中心像素；μzb和σzb分别表示图像块zb的均值和标准差；μxb和σxb表示图像块xb的均值和标准差；σzbxb表示图像块zb和图像块xb之间的协方差；C1＝(K1+L)2， C2＝(K2+L)2；K1＝0.01，K2＝0.03，L＝255；
根据锐化图像信息以及预测图像信息以计算细节损失，具体表示为：
其中，
表示梯度操作；xsp表示锐化图像信息所对应的图像；z表示预测图像信息所对应的图像；i表示图像的像素点；N表述图像的像素点的个数；
根据预测图像信息以及标准图像信息以计算内容损失，具体表示为：
其中，y表示标准图像信息所对应的图像，z表示预测图像信息所对应的图像；Cj、Hj、Wj分别表示图像的数量、高度、宽度；
表示第j层提取的图像；
总损失函数，具体表示为：
其中，ω1＝10；ω2＝0.15；ω3＝10；ω4＝2.5；ω5＝10。
本发明在一较佳示例中可以进一步配置为：判别网络的对抗损失采用最小二乘损失，具体表示为：
其中，y表示标准图像信息所对应的图像；z表示预测图像信息所对应的图像；D(y)表示判别网络对y进行判别所输出的判别情况；D(z)表示判别网络对z进行判别所输出的判别情况； i表述图像的像素点；N表述图像的像素点的个数。
通过采用上述技术方案，针对生成网络的损失函数考虑了多个纬度，包括对抗损失、颜色感知损失、结构相似损失、细节损失、内容损失，使得在生成图像的质量与训练更加的稳定。
本发明目的二是提供一种水下图像增强系统，能够获得视觉质量更高且纹理细节更清晰的水下图像。
本发明的上述发明目的二是通过以下技术方案得以实现的：
一种水下图像增强系统，包括，
图像获取模块：用于获取原始图像信息；
图像处理模块：用于对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；
网络构建和训练模块：用于构建生成网络以及构建判别网络；
所述生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；
所述判别网络以所述预测图像信息和所预设的标准图像信息作为输入，以区分所述预测图像信息与标准图像信息的真伪作为优化目标，联合训练所述生成网络和所述判别网络，获得原始图像信息到标准图像信息之间的映射关系；
图像重建模块：用于利用所获得的映射关系进行原始图像信息的重建。
本发明目的三是提供一种计算机可读存储介质，能够存储相应的程序，便于获得视觉质量更高且纹理细节更清晰的水下图像。
本发明的上述发明目的三是通过以下技术方案得以实现的：
一种计算机可读存储介质，包括能够被处理器加载执行时实现如上述的水下图像增强方法的程序。
综上所述，本发明包括以下有益技术效果：能够获得视觉质量更高且纹理细节更清晰的水下图像。
附图说明
图1是水下图像增强方法的流程示意框图。
图2是水下图像增强方法的架构图。
图3为部分U45数据集，第一行为绿色场景，第二行为蓝色场景，第三行为雾化效应场景。
图4为不同方法对U45数据集增强结果，从上到下分别是：RAW、RB、UDCP、 UIBLA、RED、CycleGAN、WSCT、UGAN、FGAN和本申请的方法。
图5为局部放大图，第一行：UGAN，第二行：FGAN，第三行：本申请的方法。
图6为Canny边缘检测结果，顶部是输入图像，底部是边缘检测结果，从左到右：RAWS,UGAN,FGAN,本申请的方法。
图7为YOLO-V3检测结果，顶部是RAWS的检测结果，底部是本申请方法增强后的检测结果。
图8为SIFT特征匹配结果，顶部是RAWS检测结果，底部是本申请方法增强后的检测结果。
图9为显著图，顶部是RAWS的显著图，底部是本申请方法增强后的显著图。
图10为水下图像增强系统的结构示意图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。
本发明实施例提供一种水下图像增强方法，包括：获取原始图像信息；对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；构建生成网络，生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；构建判别网络，以预测图像信息和所预设的标准图像信息作为输入，以区分预测图像信息与标准图像信息的真伪作为优化目标，联合训练生成网络和判别网络，获得原始图像信息到标准图像信息之间的映射关系；利用所获得的映射关系进行原始图像信息的重建。
本发明实施例中，对原始图像信息进行白平衡处理和锐化处理，白平衡处理可以一定程度上改善原始图像信息的颜色，锐化处理可以使原始图像信息的边缘纹理更加清晰；然后将原始图像信息和白平衡后的白平衡图像信息输入到感知子网络中以提取全局特征图像信息，将锐化后的锐化图像信息单独输入到细化子网络中以提取细节特征图像信息；再将纹理细节特征图像信息与全局特征图像信息相互叠合形成预测图像信息；通过设置具有感知子网络和细化子网络的生成网络，能够生成视觉质量更高的水下图像；通过生成网络与判别网络的联合训练形成原始图像信息到标准图像信息之间的映射关系，进而实现对原始图像信息的重建，获得视觉质量更高且纹理细节更清晰的水下图像。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本发明实施例作进一步详细描述。
本发明实施例提供一种水下图像增强方法，方法的主要流程描述如下。
如图1与2所示：
步骤1000：获取原始图像信息。
其中，获取原始图像信息可以通过具有拍摄功能的设备完成拍摄后进行获取得到，也可以是存储在存储介质当中的水下图像进行调取从而获取得到。原始图像信息指代水下图像，且该水下图像的清晰度相对较低，即拍摄得到的水下图像存在失真的情况。
步骤2000：对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息。
其中，白平衡是一个很抽象的概念，最通俗的理解就是让白色所成的像依然为白色，如果白是白，那其他景物的影像就会接近人眼的色彩视觉习惯。调整白平衡的过程叫做白平衡调整。白平衡处理的算法有很多，例如，灰度世界法，完美反射法、动态阈值法；关于灰度世界法，该方法以灰度世界假设为前提，认为对于一幅有大量色彩的场景，R、G、B分量的平均值趋于同一个灰度。算法大致可以分为以下三步：计算三个通道的平均灰度；计算三个通道的增益系数；原始值乘上增益系数。
锐化处理是补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰，分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差，因此也被称为边缘增强。
锐化操作的本质是增加图像细节边缘的对比度，这有助于我们的眼睛看清楚图像细节，从而使图像显得棱角分明、画面清晰，这是所有质量好的印刷摄影作品的必需条件。而用扫描仪直接复制的图像如果没有经过修整，看起来会有些单调而模糊不清，所以我们往往需要在图像做完处理后对它作锐化处理。
锐化处理可以采用Photoshop中的模糊掩盖锐化处理(unsharpmasking，USM)，它提供了完善的图像细节强调的控制方法。它提供了三种控制参数：1.半径(Radius)、2.数量(Amout)、3.阈值(Threshold)。
关于半径(Radius)；用来决定作边沿强调的像素点的宽度，如果半径值为1，则从亮到暗的整个宽度是两个像素，如果半径值为2，则边沿两边各有两个像素点，那么从亮到暗的整个宽度是4个象素。半径越大，细节的差别也清晰，但同时会产生光晕。合理的半径应该设置为图像扫描分辨率除以200。例如对于200spi在扫描图就使用1：0，对于300spi图像就使用1：5的设置，这样可以在每一个边缘的附近产生1/50到1/100英寸的光晕，它大得足以提供理想的锐化效果。
关于数量(Amout)；该参数可以理解为锐化的强度或振幅，对于一般的印前处理，设置为200％是一个良好的开始，然后根据需要再作适当调节。数量值过大图像会变得虚假。
关于阈值(Threshold)；决定多大反差的相邻像素边界可以被锐化处理，而低于此反差值就不作锐化。阈值的设置是避免因锐化处理而导致的斑点和麻点等问题的关键参数，正确设置后就可以使图像既保持平滑的自然色调(例如背景中纯蓝色的天空)的完美，又可以对变化细节的反差作出强调。在一般的印前处理中我们推荐的值为3到4，超过10是不可取的，它们会降低锐化处理效果并使图像显得很难看。
步骤3000：构建生成网络，生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息。
其中，关于细化子网络，能够使得生成的图像在纹理细节部分更加清晰。细化子网
络具体包括依次连接的多个卷积层，且每个卷积层后连接有Leaky ReLU激活函数。卷积层
优选设置有三层，具体参数如下：
| 单元 | 卷积核大小 | 卷积步幅 | 卷积核个数 | 输出 |
| 卷积层1 | 7×7 | 1 | 32 | 256×256×32 |
| 卷积层2 | 5×5 | 1 | 32 | 256×256×32 |
| 卷积层3 | 3×3 | 1 | 3 | 256×256×3 |
关于感知子网络，能够尽可能保证输入图像内容不变的同时矫正水下图像的颜色。感知子网络具体包括卷积模块、反卷积模块以及连接于卷积模块以及反卷积模块之间的残差模块；其中，卷积模块接收原始图像信息与白平衡图像信息进行特征提取以形成特征提取图像信息；将卷积模块所形成的特征提取图像信息输入至残差模块进行特征增强，将增强后的特征提取图像信息反馈至反卷积模块进行上采样；反卷积模块进行上采样以形成全局特征图像信息。
其中，卷积模块包括依次连接的三个卷积块，每个卷积块包括依次连接的卷积层、BN层以及ReLU激活函数；将三个卷积块分别定义为卷积核为7*7且步长为1的第一卷积块、卷积核为3*3且步长为2的第二卷积块以及卷积核为3*3且步长为2的第三卷积块，第一卷积块、第二卷积块以及第三卷积块逐层进行下采样以形成不同分辨率的特征图像，且第三卷积块输出特征提取图像信息；
其中，残差模块优选有九个，每个残差模块均包括第四卷积块、第五卷积块以及第一激活函数；其中，第一激活函数采用ReLU激活函数；第四卷积块包括依次连接的卷积层、BN层、ReLU激活函数；第五卷积块包括依次连接的卷积层、以及BN层。
首个残差模块接收卷积模块所形成的特征提取图像信息，之后依次连接的残差模块则依次进行特征提取，最后一个残差模块输入输出特征增强图像信息，并将特征增强图像信息反馈至反卷积模块进行上采样。
即将特征提取图像信息依次经过首个残差模块所对应的第四卷积块以及第五卷积块以提出特征并形成二次特征图像提取信息；再将特征提取图像信息与二次特征图像提取信息进行叠加融合并反馈至第一激活函数并输出至下一个残差模块直至最后一个残差模块；最后一个残差模块所对应的第一激活函数输入特征增强图像信息；并将特征增强图像信息反馈至反卷积模块进行上采样。
反卷积模块包括依次连接的第一反卷积块、第二反卷积块以及第六卷积块；第一反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；第二反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；第六卷积块包括依次连接的卷积层、以及Tanh激活函数，且卷积核为3*3且步长为1；第六卷积块输出全局特征图像信息。
具体参数如下：
其中，将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息，是通过像素级的叠加实现。图像像素级运算包括点运算、代数运算和逻辑运算。点运算包括线性点运算和非线性点运算；代数运算包括加法、减法、乘法；逻辑运算包括求反、异或、与运输；本实施例中优选采用代数运算中的加法运算。
通过卷积模块以将原始图像信息与白平衡图像信息所对应的特征进行融合提取，再通过反卷积模块将融合后的图像转化为能够与细化子网络所输入的纹理细节特征图像信息进行相互融合的全局特征图像信息，保证两者图像信息融合的稳定性；残差模块能够对经过卷积模块特征提取的过程进一步的加强，即先经过卷积模块的特征提取，在通过残差模块的特征增强，从而是的反馈至反卷积模块中的特征提取图像信息是经过特征增强后的特征增强图像信息，进一步保证图像的清晰度。
关于通过生成网络形成预测图像信息所对应的总损失函数为对抗损失、颜色感知损失、结构相似损失、细节损失以及内容损失的线性组合。
生成网络的对抗损失采用最小二乘损失，具体表示为：
其中，z表示预测图像信息所对应的图像；D(z)表示判别网络对z进行判别所输出的判别情况；i表述图像的像素点；N表述图像的像素点的个数；
根据白平衡图像信息以及预测图像信息以计算颜色感知损失，具体表示为：
其中，xwb表示白平衡图像信息所对应的图像；z表示预测图像信息所对应的图像；G(·)表示高斯模糊操作；i表示图像的像素点；N表述图像的像素点的个数；
根据原始图像信息以及预测图像信息以计算结构相似损失，具体表示为：
zb表示属于预测图像信息的灰度图像zgray的5×5图像块，
xb则表示属于原始图像信息的灰度图像xgray的5×5图像块，
{R,G,B}表示图像的三个通道；p表示图像块的中心像素；μzb和σzb分别表示图像块zb的均值和标准差；μxb和σxb表示图像块xb的均值和标准差；σzbxb表示图像块zb和图像块xb之间的协方差；C1＝(K1+L)2， C2＝(K2+L)2；K1＝0.01，K2＝0.03，L＝255；
根据锐化图像信息以及预测图像信息以计算细节损失，具体表示为：
其中，
表示梯度操作；xsp表示锐化图像信息所对应的图像；z表示预测图像信息所对应的图像；i表示图像的像素点；N表述图像的像素点的个数；
根据预测图像信息以及标准图像信息以计算内容损失，具体表示为：
其中，y表示标准图像信息所对应的图像，z表示预测图像信息所对应的图像；Cj、Hj、Wj分别表示图像的数量、高度、宽度；
表示第j层提取的图像，本实施例中，
优选采用VGG-19或VGG-16中第j层提取的图像。
总损失函数，具体表示为：
其中，ω1＝10；ω2＝0.15；ω3＝10；ω4＝2.5；ω5＝10。
步骤4000：构建判别网络，以预测图像信息和所预设的标准图像信息作为输入，以区分预测图像信息与标准图像信息的真伪作为优化目标，联合训练生成网络和判别网络，获得原始图像信息到标准图像信息之间的映射关系。
其中，判别网络采用PatchGANs结构。该种判别网络会判断一幅图像中大小为N×N的图像块的真假。因此，参数比全图像判别网络的参数更少，计算速度更快。本实施例中，判别网络输出的是一个32×32×1的特征矩阵。
判别网络的对抗损失采用最小二乘损失，具体表示为：
其中，y表示标准图像信息所对应的图像；z表示预测图像信息所对应的图像；D(y)表示判别网络对y进行判别所输出的判别情况；D(z)表示判别网络对z进行判别所输出的判别情况； i表述图像的像素点；N表述图像的像素点的个数。
步骤5000：利用所获得的映射关系进行原始图像信息的重建。
其中，通过生成网络与判别网络的联合训练形成原始图像信息到标准图像信息之间的映射关系，进而实现对原始图像信息的重建，获得视觉质量更高且纹理细节更清晰的水下图像。
关于训练数据集，使用来自“C.Fabbri,M.J.Islam,and J.Sattar,“Enhancingunderwater imagery using generative adversarial networks,”in Proc.IEEEInt.Conf.Robot. Autom.,2018,pp.7159-7165”中UGAN的数据集作为训练集。该数据集中分别有6128副退化的水下图像对应的清晰的水下图像。UGAN对来自“O.Russakovsky,J.Deng,H.Su,et al., “ImageNet large scale visual recognition challenge,”Int.J.Comput.Vision,vol.115,no.3,pp. 211-252,2015.”中Imagenet的水下图像进行人工的分为两类，分别为失真的水下图像和未失真的水下图像，并将其用于训练本实施例中的生成网络以及判别网络。
使用Tensorflow深度学习框架实现本实施例方案的代码。选择用ADAM优化器优化网络。在实验中，将学习率设置为0.0002，批大小设置为1，epoch设置为20。训练使用的图像分辨率均为256×256×3，并且将其像素值压缩到[-1 1]的范围内。使用配置为Intel(R)Xeon(R)CPU E5-2620 v4，32G RAM和GTX 1080Ti GPU的电脑花费了所预设的时间优化网络参数；所预设的时间优选为6-7小时。
关于与其他水下图像增强方法相比，通常采用主观评价、客观评价、应用测试来进行判别优劣；如图3-9所示，由于灰度问题，部分图示不是很直观。
其中，主观评价过程中，选择来自“H.Li,J.Li,and W.Wang,“A FusionAdversarial Underwater Image Enhancement Network with a Public Test Dataset,”arXiv preprint arXiv:1906.06819,2019.”中FGAN所建立的U45数据集作为测试集。FGAN从“A.Galdran, D.Pardo,and A.Picn,“Automatic Red-Channel underwater imagerestoration,”J.Vis.Commu. and Image Repre.,vol.26,pp.132-145,2015.”、“C.Ancuti,C.O.Ancuti,T.Haber,and P. Bekaert,“Enhancing underwater images andvideos by fusion,”in Proc.IEEE Conf.Comput. Vis.Pattern Recogn.,2012,pp.81-88.”、“X.Fu,P.Zhang,Y.Huang,et al.,“A retinex-based enhancing approach forsingle underwater image,”in Proc.IEEE Int.Conf.Image Process.,2014, pp.4572-4576.”、“C.Fabbri,M.J.Islam,and J.Sattar,“Enhancing underwater imagery usinggenerative adversarial networks,”in Proc.IEEE Int.Conf.Robot.Autom.,2018,pp.7159-7165.”、“C.Li,C.Guo,W.Ren,et al.,“An Underwater Image EnhancementBenchmark Dataset and Beyond,”arXiv preprint arXiv:1901.05495,2019.”、“R.Liu,X.Fan,M.Zhu,et al.,“Real- world Underwater Enhancement:Challenges,Benchmarks,and Solutions,”arXiv preprint arXiv:1901.05320,2019.”、来自“O.Russakovsky,J.Deng,H.Su,et al.,“ImageNet large scale visual recognition challenge,”Int.J.Comput.Vision,vol.115,no.3,pp.211-252,2015.”的 Imagenet、来自“J.Xiao,J.Hays,K.A.Ehinger,A.Oliva,and A.Torralba,“Sun database: Large-scale scenerecognition from abbey to zoo,”in Proc.IEEE Comput.Soc.Conf.Comput. VisionPattern Recognit.,2010,pp.3485-3492”的SUN和靠近中国黄海獐子岛的海床中收集了240副真实的水下图像。然后细致地挑选出了45副水下图像组成U45数据集，如图3所示，U45数据集中包含了绿色、蓝色和雾效应三种场景的水下图像，每个场景都由15副水下图像组成。
将本申请的方法与来自“X.Fu,P.Zhang,Y.Huang,et al.,“A retinex-basedenhancing approach for single underwater image,”in Proc.IEEE Int.Conf.ImageProcess.,2014,pp.4572- 4576.”的Retinex-Based(RB)、来自“P.Drews-Jr,E.Nascimento,S.Botelho,et al., “Underwater depth estimation and imagerestoration based on single images,”IEEE Comput. Graph.Appl.,vol.36,no.2,pp.24-35,2016.”的UDCP、来自“Y.Peng and P.Cosman, “Underwater image restorationbased on image blurriness and light absorption,”IEEE Trans. Image Process.,vol.26,no.4,pp.1579-1594,2017.”的UIBLA、来自“A.Galdran,D.Pardo, and A.Picn,“Automatic Red-Channel underwater image restoration,”J.Vis.Commu.and ImageRepre.,vol.26,pp.132-145,2015.”的RED、来自“Y.Zhu,T.Par,P.Isola,et al.,“Unpaired image-to-image translation using cycle-coinsistent adversarialnetworks,”in Proc. IEEE Int.Conf.Comput.Vis.,2017,pp.2242-2251.”的CycleGAN、来自“C.Li,J.Guo,and C. Guo,“Emerging from water:Underwater image colorcorrection based on weakly supervised color transfer,”IEEE SignalProcess.Lett.,vol.25,no.3,pp.323-327,2018.”的Weakly Supervised Color Transfer(WSCT)、来自“C.Fabbri,M.J.Islam,and J.Sattar,“Enhancing underwater imageryusing generative adversarial networks,”in Proc.IEEE Int.Conf.Robot. Autom.,2018,pp.7159-7165.”的UGAN和来自“H.Li,J.Li,and W.Wang,“A Fusion AdversarialUnderwater Image Enhancement Network with a Public Test Dataset,”arXivpreprint arXiv:1906.06819,2019.”的FGAN等8种方法做比较，不同方法对U45数据集增强结果如图4所示。
RB成功的校正了绿色场景和蓝色场景的颜色，但是对于雾效应的场景表现得并不好，并且图像的整体亮度偏暗。与RB相反，UDCP对于绿色场景和蓝色场景的颜色校正效果不佳，对于雾化场景的有比较好的去雾效果。UIBLA不仅没有校正绿色场景和蓝色场景的颜色，还产生了更坏的效果，比如鱼这张图像变成了绿色(图中仅仅为示意)。RED总体上看对于三种场景都有一定的颜色校正效果，但是总体上效果并不能令人满意。CycleGAN对雾化场景的水下图像具有良好的去雾效果，但是对于绿色场景和蓝色场景上的颜色校正上表现得差强人意。WSCT是基于CycleGAN的框架，但是对于蓝色场景和绿色场景的水下图像增强效果是在视觉上却不如CycleGAN。UGAN、FGAN和我们的方法对三种场景的水下图像均表现出了非常好的性能，仅从视觉上很难区分三种方法的好坏。但是，相较于UGAN和 FGAN，我们的方法可以更好的保存纹理细节为了进一步证明本申请的方法可以使网络生成的图像具有更清晰的纹理细节，故选择UGAN、 FGAN与本申请的方法进行比较。因为UGAN和FGAN在对三种场景表现出的性能与本申请的方法十分相近，CycleGAN和WSCT则在颜色校正上出现了不同程度的误差。如图5所示，我们对三种方法增强后的图像进行了局部放大处理。从图中可以发现，本申请的方法增强后的海胆、佛像的卷发、海龟和珊瑚礁在纹理细节方面均好于UGAN和FGAN。图6显示了使用来自“J.Canny,“A computational approach to edgedetection,”IEEE Trans.Pattern Anal.Mach.Intell.,no.6,pp.679-698,1986.”的Canny边缘检测算子对退化的水下图像、 UGAN、FGAN和本申请的方法提取边缘特征的效果图。从图中可以发现，本申请的方法比 UGAN、FGAN更能够保留图像的边缘纹理信息。
其中，客观评价过程中，由于受限于观察条件与观察者的经验，主观评价并不能绝对的反应一张图像的好坏。因此选择来自“M.Yang and A.Sowmya,“An underwater colorimage quality evaluation metric,”IEEE Trans.Image Process.,vol.24,no.12,pp.6062-6071, 2015.”的水下彩色图像质量评价(UCIQE)和来自“K.Panetta,C.Gao,andS.Agaian, “Human-visual-system-inspired underwater image quality measures,”IEEE J.Ocean.Eng.,vol. 41,no.3,pp.541-551,2015.”的水下图像质量测度(UIQM)，这两种都是专门为水下图像设计的评价指标。UCIQE基于CIELab颜色空间的色度、对比度和饱和度。UIQM则是图像彩色测度(UICM)、锐度测度(UISM)和对比度测度(UIConM)的线性组合。
如下表所示，表中给出了不同方法对U45数据集的质量评价分数。表中包含不同方法对绿色场景、蓝色场景、雾效应场景和U45的平均质量评价分数。UCIQE和UIQM都是越高越好，并且分数第一和第二分别用加粗和下划线标注。从表中可以看出UGAN在 UCIQE上表现较好，而本申请的方法则在UIQM上表现突出。关于TABLEI不同方法在 U45数据集上的质量评价分数具体如下：
其中，应用测试过程中，为了进一步证明本申请的方法可以有效提高水下图像的质量，使用来自“J.Redmon and A.Farhadi,“Yolov3:An incremental improvement,”arXivpreprint arXiv:1804.02767,2018.”的YOLO-V3、来自“D.G.Lowe,“Distinctive imagefeatures from scale-invariant keypoints,”Int.J.Comput.Vis.,vol.60,no.2,pp.91-110,2004”的SIFT和来自“H.Peng,B.Li,H.Ling,et al.,“Salient object detection viastructured matrix decomposition,” IEEE Trans.Pattern Anal.Mach.Intell.,vol.39,no.4,pp.818-832,2017.”的显著图以对退化的水下图像和增强后的图像进行测试。YOLO-V3的测试结果如图7所示，从图中可以发现， YOLO-V3无法检测到退化水下图像的人物，甚至把海龟错误地识别成了鸟。而使用本申请增强后的水下图像，可以成功得被YOLO-V3识别出图像中的人物。SIFT特征匹配结果如图 8所示，由于本申请的方法可以正确地校正颜色并有效得保留纹理细节，因此增强后的图像可以被检测出更多的关键点和更准确的匹配结果。图9显示了退化的水下图像和增强后的图像的显著图。从图中可以轻松地发现，增强后图像具有更好的显著性性能。
本发明实施例提供一种计算机可读存储介质，包括能够被处理器加载执行时实现如图1。流程中所述的各个步骤。
所述计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于同一发明构思，本发明实施例提供一种水下图像增强系统，包括，
图像获取模块：用于获取原始图像信息；
图像处理模块：用于对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；
网络构建和训练模块：用于构建生成网络以及构建判别网络；
生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；判别网络以预测图像信息和所预设的标准图像信息作为输入，以区分预测图像信息与标准图像信息的真伪作为优化目标，联合训练生成网络和判别网络，获得原始图像信息到标准图像信息之间的映射关系；
图像重建模块：用于利用所获得的映射关系进行原始图像信息的重建。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，不应理解为对本发明的限制。本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种水下图像增强方法，其特征是，包括以下步骤：
获取原始图像信息；
对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；
构建生成网络，所述生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；
构建判别网络，以所述预测图像信息和所预设的标准图像信息作为输入，以区分所述预测图像信息与标准图像信息的真伪作为优化目标，联合训练所述生成网络和所述判别网络，获得原始图像信息到标准图像信息之间的映射关系；
利用所获得的映射关系进行原始图像信息的重建。
2.根据权利要求1所述的水下图像增强方法，其特征是：所述细化子网络包括依次连接的多个卷积层，且每个卷积层后连接有Leaky ReLU激活函数。
3.根据权利要求1所述的水下图像增强方法，其特征是：所述感知子网络包括卷积模块以及反卷积模块；所述卷积模块接收原始图像信息与白平衡图像信息进行特征提取以形成特征提取图像信息；所述反卷积模块进行上采样以形成全局特征图像信息。
4.根据权利要求3所述的水下图像增强方法，其特征是：所述感知子网络还包括连接于卷积模块以及反卷积模块之间的残差模块；将卷积模块所形成的特征提取图像信息输入至残差模块进行特征增强，将增强后的特征提取图像信息反馈至反卷积模块进行上采样。
5.根据权利要求4所述的水下图像增强方法，其特征是：所述卷积模块包括依次连接的三个卷积块，每个卷积块包括依次连接的卷积层、BN层以及ReLU激活函数；将三个卷积块分别定义为卷积核为7*7且步长为1的第一卷积块、卷积核为3*3且步长为2的第二卷积块以及卷积核为3*3且步长为2的第三卷积块，第一卷积块、第二卷积块以及第三卷积块逐层进行下采样以形成不同分辨率的特征图像，且第三卷积块输出特征提取图像信息；
所述残差模块包括第四卷积块、第五卷积块以及第一激活函数；其中，第一激活函数采用ReLU激活函数；第四卷积块包括依次连接的卷积层、BN层、ReLU激活函数；第五卷积块包括依次连接的卷积层、以及BN层；将特征提取图像信息依次经过第四卷积块以及第五卷积块以提出特征并形成二次特征图像提取信息；再将特征提取图像信息与二次特征图像提取信息进行叠加融合并反馈至第一激活函数并输出特征增强图像信息；将特征增强图像信息反馈至反卷积模块进行上采样；
所述反卷积模块包括依次连接的第一反卷积块、第二反卷积块以及第六卷积块；所述第一反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；所述第二反卷积块包括依次连接的卷积层、BN层、ReLU激活函数，且卷积核为3*3且步长为2；
所述第六卷积块包括依次连接的卷积层、以及Tanh激活函数，且卷积核为3*3且步长为1；所述第六卷积块输出全局特征图像信息。
6.根据权利要求3所述的水下图像增强方法，其特征是：
关于通过生成网络形成预测图像信息所对应的总损失函数为对抗损失、颜色感知损失、结构相似损失、细节损失以及内容损失的线性组合。
7.根据权利要求6所述的水下图像增强方法，其特征是：
生成网络的对抗损失采用最小二乘损失，具体表示为：
其中，z表示预测图像信息所对应的图像；D(z)表示判别网络对z进行判别所输出的判别情况；i表述图像的像素点；N表述图像的像素点的个数；
根据白平衡图像信息以及预测图像信息以计算颜色感知损失，具体表示为：
其中，xwb表示白平衡图像信息所对应的图像；z表示预测图像信息所对应的图像；G(·)表示高斯模糊操作；i表示图像的像素点；N表述图像的像素点的个数；
根据原始图像信息以及预测图像信息以计算结构相似损失，具体表示为：
zb表示属于预测图像信息的灰度图像zgray的5×5图像块，
xb则表示属于原始图像信息的灰度图像xgray的5×5图像块，
{R,G,B}表示图像的三个通道；p表示图像块的中心像素；μzb和σzb分别表示图像块zb的均值和标准差；μxb和σxb表示图像块xb的均值和标准差；σzbxb表示图像块zb和图像块xb之间的协方差；C1＝(K1+L)2，C2＝(K2+L)2；K1＝0.01，K2＝0.03，L＝255；
根据锐化图像信息以及预测图像信息以计算细节损失，具体表示为：
其中，
表示梯度操作；xsp表示锐化图像信息所对应的图像；z表示预测图像信息所对应的图像；i表示图像的像素点；N表述图像的像素点的个数；
根据预测图像信息以及标准图像信息以计算内容损失，具体表示为：
其中，y表示标准图像信息所对应的图像，z表示预测图像信息所对应的图像；Cj、Hj、Wj分别表示图像的数量、高度、宽度；
表示第j层提取的图像；
总损失函数，具体表示为：
其中，ω1＝10；ω2＝0.15；ω3＝10；ω4＝2.5；ω5＝10。
8.根据权利要求6所述的水下图像增强方法，其特征是：判别网络的对抗损失采用最小二乘损失，具体表示为：
其中，y表示标准图像信息所对应的图像；z表示预测图像信息所对应的图像；D(y)表示判别网络对y进行判别所输出的判别情况；D(z)表示判别网络对z进行判别所输出的判别情况；i表述图像的像素点；N表述图像的像素点的个数。
9.一种水下图像增强系统，其特征在于，包括，
图像获取模块：用于获取原始图像信息；
图像处理模块：用于对原始图像信息进行白平衡处理后形成白平衡图像信息，对白平衡图像信息进行锐化处理后形成锐化图像信息；
网络构建和训练模块：用于构建生成网络以及构建判别网络；
所述生成网络包括细化子网络以及感知子网络；将锐化图像信息作为细化子网络的输入以提取纹理细节特征图像信息，将原始图像信息与白平衡图像信息作为感知子网络的输入以提取全局特征图像信息；将纹理细节特征图像信息与全局特征图像信息相互叠加以形成预测图像信息；
所述判别网络以所述预测图像信息和所预设的标准图像信息作为输入，以区分所述预测图像信息与标准图像信息的真伪作为优化目标，联合训练所述生成网络和所述判别网络，获得原始图像信息到标准图像信息之间的映射关系；
图像重建模块：用于利用所获得的映射关系进行原始图像信息的重建。
10.一种计算机可读存储介质，其特征是，存储有能够被处理器加载执行时实现如权利要求1至8中任一项所述的水下图像增强方法的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306405.3A CN111476739B (zh) | 2020-04-17 | 2020-04-17 | 水下图像增强方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010306405.3A CN111476739B (zh) | 2020-04-17 | 2020-04-17 | 水下图像增强方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111476739A true CN111476739A (zh) | 2020-07-31 |
| CN111476739B CN111476739B (zh) | 2023-04-18 |
Family
ID=71755388
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010306405.3A Active CN111476739B (zh) | 2020-04-17 | 2020-04-17 | 水下图像增强方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111476739B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882555A (zh) * | 2020-08-07 | 2020-11-03 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
| CN112767275A (zh) * | 2021-01-25 | 2021-05-07 | 中国人民解放军火箭军工程大学 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020106114A1 (en) * | 2000-12-01 | 2002-08-08 | Jie Yan | System and method for face recognition using synthesized training images |
| EP1262879A1 (en) * | 2001-06-01 | 2002-12-04 | Microsoft Corporation | Automatic extraction of transfer mappings from bilingual corpora |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN108427958A (zh) * | 2018-02-02 | 2018-08-21 | 哈尔滨工程大学 | 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法 |
| CN109086824A (zh) * | 2018-08-01 | 2018-12-25 | 哈尔滨工程大学 | 一种基于卷积神经网络的海底底质声呐图像分类方法 |
| CN109993710A (zh) * | 2019-03-20 | 2019-07-09 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
-
2020
- 2020-04-17 CN CN202010306405.3A patent/CN111476739B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020106114A1 (en) * | 2000-12-01 | 2002-08-08 | Jie Yan | System and method for face recognition using synthesized training images |
| EP1262879A1 (en) * | 2001-06-01 | 2002-12-04 | Microsoft Corporation | Automatic extraction of transfer mappings from bilingual corpora |
| CN106683067A (zh) * | 2017-01-20 | 2017-05-17 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| CN108427958A (zh) * | 2018-02-02 | 2018-08-21 | 哈尔滨工程大学 | 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法 |
| CN109086824A (zh) * | 2018-08-01 | 2018-12-25 | 哈尔滨工程大学 | 一种基于卷积神经网络的海底底质声呐图像分类方法 |
| CN109993710A (zh) * | 2019-03-20 | 2019-07-09 | 西北工业大学 | 一种基于生成对抗网络的水下图像去噪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111882555A (zh) * | 2020-08-07 | 2020-11-03 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
| CN111882555B (zh) * | 2020-08-07 | 2024-03-12 | 中国农业大学 | 基于深度学习的网衣检测方法、装置、设备及存储介质 |
| CN112767275A (zh) * | 2021-01-25 | 2021-05-07 | 中国人民解放军火箭军工程大学 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
| CN112767275B (zh) * | 2021-01-25 | 2021-10-22 | 中国人民解放军火箭军工程大学 | 一种基于人工稀疏标注信息引导的单张图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111476739B (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Perceptual underwater image enhancement with deep learning and physical priors | |
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| Ancuti et al. | Color balance and fusion for underwater image enhancement | |
| Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
| Bui et al. | Single image dehazing using color ellipsoid prior | |
| Li et al. | A fusion adversarial underwater image enhancement network with a public test dataset | |
| Ancuti et al. | Enhancing underwater images and videos by fusion | |
| CN111968054B (zh) | 基于潜在低秩表示和图像融合的水下图像颜色增强方法 | |
| Zhou et al. | Underwater vision enhancement technologies: A comprehensive review, challenges, and recent trends | |
| CN108431751A (zh) | 背景去除 | |
| CN111476739B (zh) | 水下图像增强方法、系统及存储介质 | |
| Wu et al. | FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion | |
| Zhou et al. | Domain adaptive adversarial learning based on physics model feedback for underwater image enhancement | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Huang et al. | Color correction and restoration based on multi-scale recursive network for underwater optical image | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| Li et al. | Single underwater image enhancement using integrated variational model | |
| Bekerman et al. | Unveiling optical properties in underwater images | |
| Wang et al. | Underwater color disparities: Cues for enhancing underwater images toward natural color consistencies | |
| CN115700731A (zh) | 一种基于双通道卷积神经网络的水下图像增强方法 | |
| CN115034997A (zh) | 图像处理方法及装置 | |
| Wei et al. | Sidgan: Single image dehazing without paired supervision | |
| Yin et al. | Multiscale fusion algorithm for underwater image enhancement based on color preservation | |
| Li et al. | Adaptive weighted multiscale retinex for underwater image enhancement | |
| Li et al. | Underwater image filtering: methods, datasets and evaluation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |