CN114881879A - 一种基于亮度补偿残差网络的水下图像增强方法 - Google Patents

一种基于亮度补偿残差网络的水下图像增强方法 Download PDF

Info

Publication number
CN114881879A
CN114881879A CN202210541384.2A CN202210541384A CN114881879A CN 114881879 A CN114881879 A CN 114881879A CN 202210541384 A CN202210541384 A CN 202210541384A CN 114881879 A CN114881879 A CN 114881879A
Authority
CN
China
Prior art keywords
network
channel
loss
picture
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210541384.2A
Other languages
English (en)
Inventor
张文明
王斌
李雅倩
肖存军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202210541384.2A priority Critical patent/CN114881879A/zh
Publication of CN114881879A publication Critical patent/CN114881879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于亮度补偿残差网络的水下图像增强方法，包括获取数据集；数据预处理：将图片裁剪为相同尺寸的大小，将RGB类型的图片转换为HSV类型，提取V通道并单独保存；模型训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络1和输出结果；将V类型的训练集放入V通道亮度补偿子网络进行训练，得到增强网络2和输出结果；将两个的输出结果送入增强重构子网络得到最终的输出结果；模型测试：将测试集分别放入训练好的增强网络1和增强网络2，将输出结果一起送入增强重构子网络即可得到增强后的水下图片，本发明能够解决水下图像颜色失真、模糊、低对比度问题，通过亮度补偿进一步提高图像的细节信息。

Description

一种基于亮度补偿残差网络的水下图像增强方法
技术领域
本发明涉及一种基于亮度补偿残差网络的水下图像增强方法，属于水下图像增强技术领域。
背景技术
近年来高质量的水下图像对于勘测海洋资源、保护海洋生物、防卫海洋安全等方面有着重要的意义。但是由于水下成像的复杂性，导致拍摄所得的图像存在严重的质量问题，不利于信息的获取与深入研究。因此，需要对水下图像进行增强与修复，以进一步提取更多有用信息。
水下图像呈现模糊、低对比度、颜色失真等问题是由于光在水下传播的特殊性。由于不同波长的光在水下传播时的衰减不同，导致水下图像出现颜色失真的问题。其次，水中悬浮粒子对光的散射作用，导致水下图像出现模糊、对比度低的问题。
水下图像处理技术，主要分为基于非物理模型的图像增强方法，基于物理模型的图像恢复方法和基于深度学习的图像增强方法。非物理模型方法主要是直接通过调整图像的像素值来改善效果，但是由于不考虑水下成像的光学特性，容易产生色差和伪影。基于物理模型的图像恢复方法是建立水下图像退化的数学模型，根据模型估计参数，然后反推得到清晰的水下图像，但是模型通常是基于一种先验性假设，具有一定的局限性。基于深度学习的水下图像增强方法分为卷积神经网络和对抗生成网络，通过构建相应的网络模型，通过大量成对数据的训练，可将低质量的水下图像转换为高质量的图像，但是仍存在部分细节丢失、过饱和等问题。
发明内容
本发明所要解决的技术问题是针对现有技术的现状，提供一种基于亮度补偿残差网络的水下图像增强方法，能够解决水下图像颜色失真、模糊、低对比度等问题，同时通过亮度补偿进一步提高图像的细节信息。
为解决上述技术问题，本发明所采用的技术方案是：
包括如下步骤：
S1、获取网络训练所需数据集：通过选取水下图片和相应的增强图片作为训练集和测试集；
S2、数据预处理：对图片的尺寸和类型进行相应处理；
S3、RGB多尺度残差子网络训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络模型1和输出结果y1；
S4、V通道亮度补偿子网络训练：将V通道的训练集放入V通道亮度补偿子网络进行训练，得到增强网络模型2和输出结果y2；
S5、增强重构环节：将输出结果y1和y2放入增强重构子网络进行计算，得到最终的增强结果y；
S6、模型测试：将待测的数据集放入训练好的增强网络1、增强网络2，通过增强重构子网络计算后即可得到增强后的图片。
本发明技术方案的进一步改进在于：所述S1中从公开数据集UIEBD、EUVP、UFO-120中随机选取6400张水下图片和相应的增强图片作为训练集；随机选取1600张水下图片包含或不包含相应的增强图片作为测试集。
本发明技术方案的进一步改进在于：所述S2的具体步骤包括：
将训练集和测试集裁剪为256×256的大小；原有的训练集和测试集是RGB类型的，将RGB类型转为HSV类型，提取亮度通道V并单独保存。
本发明技术方案的进一步改进在于：所述S3的具体步骤包括：
RGB多尺度残差子网络包括2个卷积层、3个多尺度残差块和1个激活函数，输入为RGB类型的水下图片x1，标签为相应的RGB类型的增强图片b1，输出为RGB类型的增强图片y1；损失采用的是感知损失Lcon和内容损失L2的线性组合；
第一个卷积层将输入图片x1的3通道转成64通道，经过RELU激活函数送入连续的3个多尺度残差块进行特征提取，最后经过第二个卷积层将通道数转为3，得到生成的增强图片y1；
多尺度残差块包含4个通道：第一个通道不做处理，第二个通道采用两个3×3的卷积，第三个通道采用2个3×3的空洞卷积，在增大感受野的同时，不引入额外的计算量，第四个通道采用res2net模块，将原先的3×3卷积替换成3个3×3卷积，增大了感受野；第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入，第二个通道的输出和第三个通道的输出通过拼接的方式，再经过1×1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出；
内容损失L21是计算增强图片y1与标签b1的像素间损失；
Figure BDA0003648479780000031
其中yi是RGB多尺度残差子网络训练的增强结果，bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon1计算增强图片y1与标签b1的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；
Figure BDA0003648479780000032
其中yi是RGB多尺度残差子网络训练的增强结果，bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
总损失Lt1是内容损失L21和感知损失Lcon1的线性组合；
Lt1＝L2+Lcon1。
本发明技术方案的进一步改进在于：所述S4的具体步骤包括：
V通道亮度补偿网络包括卷积层、池化层、多尺度残差块、上采样和激活函数，输入为V通道水下图片x2，标签为相应的V通道增强图片b2，输出为V通道增强图片y2；损失采用的是感知损失Lcon、内容损失L2以及多尺度结构相似损失Lms_ssim的线性组合；
第一个卷积层将输入图片x2的单通道转成64通道，经过RELU激活函数得到特征f1，f1经过自适应池化将图片的尺寸从256×256变成128×128，然后通过1×1卷积，通道数由64变为128，送入第一个多尺度残差块得到特征f2，f2经过自适应池化将图片的尺寸从128×128变成64×64，然后通过1×1卷积，通道数由128变为256，送入第二个多尺度残差块得到特征f3，f3经过自适应池化将图片的尺寸从64×64变成32×32，然后通过1×1卷积，通道数由256变为512，送入第三个多尺度残差块得到特征f4，f2、f3、f4经过1×1卷积，通道数变为64，f4经过上采样后与f3进行残差连接，得到后的特征再经过上采样后与f2进行残差连接，得到后的特征再经过上采样与f1进行残差连接，最终通过3×3的卷积得到增强的V通道图片y2；
内容损失L22是计算增强图片y2与标签b2的像素间损失；
Figure BDA0003648479780000041
其中yi是V通道亮度补偿子网络训练的增强结果，bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon2计算的是增强图片y2与标签b2的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；由于增强图片y2与标签b2都是单通道的，VGG19模型的输入是3通道的，计算损失时需要将其扩展为3通道；
Figure BDA0003648479780000051
其中yi是V通道亮度补偿子网络训练的增强结果，bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
多尺度结构相似损失Lms_ssim基于多层的SSIM损失，考虑了分辨率、亮度、对比度、结构指标；
Figure BDA0003648479780000052
其中M表示不同的尺度，μp，μg分别表示y2和b2的均值，σp，σg表示y2和b2的之间的标准差，σpg表示y2和b2之间的协方差，βm，γm表示两项之间的相对重要性，c1，c2是常数项防止除数为0；
总损失Lt2是内容损失L21、感知损失Lcon1和多尺度结构相似损失Lms_ssim的线性组合：
Lt2＝L2+Lcon1+Lms_ssim。
本发明技术方案的进一步改进在于：所述S5具体包括：
增强重构子网络是将RGB多尺度残差子网络的输出y1转为HSV类型，将其中的V通道值与V通道亮度补偿子网络的输出y2进行线组合，得到最终增强图片的V通道值，与y1的HS通道融合成新的HSV类型，再转为RGB类型，结合两个网络的优势，得到最终增强图片y。
由于采用了上述技术方案，本发明取得的技术进步是：
本发明提出了一种基于亮度补偿残差网络的水下图像增强方法，在基于多尺度残差块的RGB增强子网络中提出了一种新型的多尺度残差块，第三通道采用空洞卷积的好处是在减少计算量的同时扩大了感受野，第四通道将普通的3*3卷积替换成了res2net模块，在减少计算量的同时扩大了感受野；通过残差连接，使得浅层的细节信息与高层的语义信息相融，使得生成的图片颜色得到了修正，细节得到了增强；基于亮度补偿的V通道增强子网络，采用CAPAFE上采样的方式，基于输入特征进行特征重组，在特征重组时具有更大的感受野，计算量小；多尺度特征融合，将浅层的细节信息与高层的语义信息相互融合，细节得到进一步补充；增强重构子网络将两者的优势相结合，使得最终生成的图片效果更好。
附图说明
图1是本发明实施例的流程图；
图2是本发明实施例的网络结构示意图；
图3是本发明实施例多尺度残差块的结构示意图；
图4是本发明实施例res2net模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例一种基于亮度补偿残差网络的水下图像增强方法的流程图。
参见图1，实施例的水下图像增强方法，具体步骤如下：
步骤S1：获取网络训练所需数据集，通过选取水下图片和相应的增强图片作为训练集和测试集；
从公开数据集UIEBD、EUVP、UFO-120随机选取6400张水下图片和相应的增强图片作为训练集，训练集用以训练网络模型；随机选取1600张水下图片和相应的增强图片作为测试集，测试集也可以不包括相应的增强的图片，测试集用于评估模型的性能和泛化能力；
步骤S2：数据预处理，对图片的尺寸和类型进行相应处理；
将训练集和测试集裁剪为256×256的大小，便于计算，同时减少了内存的占用；
原有的训练集和测试集是RGB类型的，需要将RGB类型转为HSV类型，提取亮度通道V并单独保存；
步骤S3：RGB多尺度残差子网络训练；将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络模型1和输出结果y1；
所述多尺度残差子网络如图2所示：
RGB多尺度残差子网络是由2个卷积层、3个多尺度残差块、1个激活函数组成的，输入为RGB类型的水下图片x1，标签为相应的RGB类型的增强图片b1,输出为RGB类型的增强图片y1；损失采用的是感知损失Lcon1和内容损失L21的线性组合；
第一个卷积层卷积核大小是3×3，步长为1，padding为1，作用是将输入图片x1的3通道转成64通道，经过RELU激活函数送入连续的3个多尺度残差块进行特征提取，最后经过第二个卷积层，卷积核大小是3×3，步长是1，padding为1，作用是将多尺度残差块的输出通道数由64转为3，得到生成的增强图片y1；
所述多尺度残差块如图3所示：
多尺度残块的输入参数为feat，feat用于设定多尺度残差块内部输入输出通道数，多尺度残差块包含4个通道：第一个通道不做处理，第二个通道采用两个3×3的卷积，步长都为1，padding为1，但是两个卷积层的输入输出通道数不同，第一个卷积层的输入输出通道数是feat，第二个卷积层的输入输出通道数是feat×2；第三个通道采用2个3×3的空洞卷积，空洞率为2，步长都为1，padding为1，但是两个卷积层的输入输出通道数不同，第一个卷积层的输入输出通道数是feat，第二个卷积层的输入输出通道数是feat×2，在增大感受野的同时，不引入额外的参数；第四个通道采用res2net模块，将原先的3×3卷积替换成3个3×3卷积，增大了感受野；第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入，第二个通道的输出和第三个通道的输出通过拼接的方式，再经过1×1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出，1×1卷积层的作用是将拼接后的特征的通道数由feat×4变成feat。在RGB多尺度残差子网络中所用的多尺度残差块的feat设为64；
所述res2net模块如图4所示：
res2net模块结构：输入特征经过1×1卷积后，将特征分为4部分。第一部分不经过处理；第二部分经过3×3卷积输出；第三部分与第二部分的输出相加后经过3×3卷积输出；第四部分与第三部分的输出相加后经过3×3卷积后输出；四部分的输出拼接后经过1×1输出；
内容损失L21是计算增强图片y1与标签b1的像素间损失；
Figure BDA0003648479780000081
其中yi是RGB多尺度残差子网络训练的增强结果,bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon1计算增强图片y1与标签b1的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；
Figure BDA0003648479780000082
其中yi是RGB多尺度残差子网络训练的增强结果,bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
总损失Lt1是内容损失L21和感知损失Lcon1的线性组合：
Lt1＝L2+Lcon1。
步骤S4：V通道亮度补偿子网络训练；将V通道的训练集放入V通道亮度补偿子网络进行训练，得到增强网络模型2和输出结果y2；
V通道亮度补偿网络由卷积层、池化层、多尺度残差块、上采样、激活函数组成的，输入为V通道水下图片x2，标签为相应的V通道增强图片b2，输出为V通道增强图片y2；损失采用的是感知损失Lcon、内容损失L2以及多尺度结构相似损失Lms_ssim的线性组合；
第一个卷积层卷积核大小是3×3，步长为1，padding为1，作用是将输入图片x2的1通道转成64通道，经过RELU激活函数得到特征f1，f1经过自适应池化将图片的尺寸从256×256变成128×128，然后通过1×1卷积，通道数由64变为128，送入第一个多尺度残差块得到特征f2，第一个多尺度残差块的feat设为128，f2经过自适应池化将图片的尺寸从128×128变成64×64，然后通过1×1卷积，通道数由128变为256，送入第二个多尺度残差块得到特征f3，第二个多尺度残差块的feat设为256，f3经过自适应池化将图片的尺寸从64×64变成32×32，然后通过1×1卷积，通道数由256变为512，送入第三个多尺度残差块得到特征f4，第三个多尺度残差块的feat设为512。f2、f3、f4经过1×1卷积，通道数变为64，f4经过上采样后与f3进行残差连接，得到后的特征再经过上采样后与f2进行残差连接，得到后的特征再经过上采样与f1进行残差连接，最终通过3×3的卷积得到增强的V通道图片y2；
内容损失L22是计算增强图片y2与标签b2的像素间损失；
Figure BDA0003648479780000091
其中yi是V通道亮度补偿子网络训练的增强结果,bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon2计算的是增强图片y2与标签b2的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型。由于增强图片y2与标签b2都是单通道的，VGG19模型的输入是3通道的，计算损失时需要将其扩展为3通道；
Figure BDA0003648479780000101
其中yi是V通道亮度补偿子网络训练的增强结果,bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
多尺度结构相似损失Lms_ssim基于多层的SSIM损失，考虑了分辨率、亮度、对比度、结构指标。
Figure BDA0003648479780000102
其中M表示不同的尺度，μp，μg分别表示y2和b2的均值，σp，σg表示y2和b2的之间的标准差，σpg表示y2和b2之间的协方差，βm，γm表示两项之间的相对重要性，c1，c2是常数项防止除数为0；
总损失Lt2是内容损失L21、感知损失Lcon1和多尺度结构相似损失Lms_ssim的线性组合：
Lt2＝L2+Lcon1+Lms_ssim
步骤S5：增强重构环节；将输出结果y1和y2放入增强重构子网络进行计算，得到最终的增强结果y；
增强重构子网络是将RGB多尺度残差子网络的输出y1转为HSV类型，将其中的V通道值与V通道亮度补偿子网络的输出y2进行线组合，得到最终增强图片的V通道值，与y1的HS通道融合成新的HSV类型，再转为RGB类型，结合两个网络的优势，得到最终增强图片y；
步骤S6：模型测试，将待测的数据集放入训练好的增强网络1、增强网络2，通过增强重构子网络计算后即可得到增强后的图片；
本实施例的基于亮度补偿残差网络的水下图像增强方法在基于多尺度残差块的RGB增强子网络中提出了一种新型的多尺度残差块，第三通道采用空洞卷积的好处是在减少计算量的同时扩大了感受野，第四通道采用res2net模块，在减少计算量的同时扩大了感受野；通过残差连接，使得浅层的细节信息与高层的语义信息相融，使得生成的图片颜色得到了修正，细节得到了增强；基于亮度补偿的V通道增强子网络，采用CAPAFE上采样的方式，基于输入特征进行特征重组，在特征重组时具有更大的感受野，计算量小；多尺度特征融合，将浅层的细节信息与高层的语义信息相互融合，细节得到进一步补充。增强重构子网络将两者的优势相结合，使得最终生成的图片效果更好。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：包括如下步骤：
S1、获取网络训练所需数据集：通过选取水下图片和相应的增强图片作为训练集和测试集；
S2、数据预处理：对图片的尺寸和类型进行相应处理；
S3、RGB多尺度残差子网络训练：将RGB类型的训练集放入RGB多尺度残差子网络进行训练，得到增强网络模型1和输出结果y1；
S4、V通道亮度补偿子网络训练：将V通道的训练集放入V通道亮度补偿子网络进行训练，得到增强网络模型2和输出结果y2；
S5、增强重构环节：将输出结果y1和y2放入增强重构子网络进行计算，得到最终的增强结果y；
S6、模型测试：将待测的数据集放入训练好的增强网络1、增强网络2，通过增强重构子网络计算后即可得到增强后的图片。
2.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S1中从公开数据集UIEBD、EUVP、UFO-120中随机选取6400张水下图片和相应的增强图片作为训练集；随机选取1600张水下图片包含或不包含相应的增强图片作为测试集。
3.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S2的具体步骤包括：
将训练集和测试集裁剪为256×256的大小；原有的训练集和测试集是RGB类型的，将RGB类型转为HSV类型，提取亮度通道V并单独保存。
4.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S3的具体步骤包括：
RGB多尺度残差子网络包括2个卷积层、3个多尺度残差块和1个激活函数，输入为RGB类型的水下图片x1，标签为相应的RGB类型的增强图片b1，输出为RGB类型的增强图片y1；损失采用的是感知损失Lcon和内容损失L2的线性组合；
第一个卷积层将输入图片x1的3通道转成64通道，经过RELU激活函数送入连续的3个多尺度残差块进行特征提取，最后经过第二个卷积层将通道数转为3，得到生成的增强图片y1；
多尺度残差块包含4个通道：第一个通道不做处理，第二个通道采用两个3×3的卷积，第三个通道采用2个3×3的空洞卷积，在增大感受野的同时，不引入额外的计算量，第四个通道采用res2net模块，将原先的3×3卷积替换成3个3×3卷积，增大了感受野；第二个通道的第一个卷积层的输出和第三个通道的第一个卷积层的输出通过拼接作为第二个通道的第二个卷积层的输入和第三通道的第二个卷积层的输入，第二个通道的输出和第三个通道的输出通过拼接的方式，再经过1×1卷积与第一通道和第四通道的输出相加作为整个多尺度残差块的输出；
内容损失L21是计算增强图片y1与标签b1的像素间损失；
Figure FDA0003648479770000021
其中yi是RGB多尺度残差子网络训练的增强结果，bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon1计算增强图片y1与标签b1的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；
Figure FDA0003648479770000022
其中yi是RGB多尺度残差子网络训练的增强结果，bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
总损失Lt1是内容损失L21和感知损失Lcon1的线性组合；
Lt1＝L2+Lcon1。
5.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S4的具体步骤包括：
V通道亮度补偿网络包括卷积层、池化层、多尺度残差块、上采样和激活函数，输入为V通道水下图片x2，标签为相应的V通道增强图片b2，输出为V通道增强图片y2；损失采用的是感知损失Lcon、内容损失L2以及多尺度结构相似损失Lms_ssim的线性组合；
第一个卷积层将输入图片x2的单通道转成64通道，经过RELU激活函数得到特征f1，f1经过自适应池化将图片的尺寸从256×256变成128×128，然后通过1×1卷积，通道数由64变为128，送入第一个多尺度残差块得到特征f2，f2经过自适应池化将图片的尺寸从128×128变成64×64，然后通过1×1卷积，通道数由128变为256，送入第二个多尺度残差块得到特征f3，f3经过自适应池化将图片的尺寸从64×64变成32×32，然后通过1×1卷积，通道数由256变为512，送入第三个多尺度残差块得到特征f4，f2、f3、f4经过1×1卷积，通道数变为64，f4经过上采样后与f3进行残差连接，得到后的特征再经过上采样后与f2进行残差连接，得到后的特征再经过上采样与f1进行残差连接，最终通过3×3的卷积得到增强的V通道图片y2；
内容损失L22是计算增强图片y2与标签b2的像素间损失；
Figure FDA0003648479770000031
其中yi是V通道亮度补偿子网络训练的增强结果，bi是输入图片对应的增强图片，n是训练的图片数量；
感知损失Lcon2计算的是增强图片y2与标签b2的高级感知特征之间的损失，采用的ImageNet上预训练的VGG19模型；由于增强图片y2与标签b2都是单通道的，VGG19模型的输入是3通道的，计算损失时需要将其扩展为3通道；
Figure FDA0003648479770000041
其中yi是V通道亮度补偿子网络训练的增强结果，bi是输入图片对应的增强图片，φ是预训练的VGG19网络，j表示该网络的第j层，CjHjWj是第j层特征图的形状，n是训练的图片数量；
多尺度结构相似损失Lms_ssim基于多层的SSIM损失，考虑了分辨率、亮度、对比度、结构指标；
Figure FDA0003648479770000042
其中M表示不同的尺度，μp，μg分别表示y2和b2的均值，σp，σg表示y2和b2的之间的标准差，σpg表示y2和b2之间的协方差，βm，γm表示两项之间的相对重要性，c1，c2是常数项防止除数为0；
总损失Lt2是内容损失L21、感知损失Lcon1和多尺度结构相似损失Lms_ssim的线性组合：
Lt2＝L2+Lcon1+Lms_ssim。
6.根据权利要求1所述的一种基于亮度补偿残差网络的水下图像增强方法，其特征在于：所述S5具体包括：
增强重构子网络是将RGB多尺度残差子网络的输出y1转为HSV类型，将其中的V通道值与V通道亮度补偿子网络的输出y2进行线组合，得到最终增强图片的V通道值，与y1的HS通道融合成新的HSV类型，再转为RGB类型，结合两个网络的优势，得到最终增强图片y。
CN202210541384.2A 2022-05-17 2022-05-17 一种基于亮度补偿残差网络的水下图像增强方法 Pending CN114881879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210541384.2A CN114881879A (zh) 2022-05-17 2022-05-17 一种基于亮度补偿残差网络的水下图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210541384.2A CN114881879A (zh) 2022-05-17 2022-05-17 一种基于亮度补偿残差网络的水下图像增强方法

Publications (1)

Publication Number Publication Date
CN114881879A true CN114881879A (zh) 2022-08-09

Family

ID=82676325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210541384.2A Pending CN114881879A (zh) 2022-05-17 2022-05-17 一种基于亮度补偿残差网络的水下图像增强方法

Country Status (1)

Country Link
CN (1) CN114881879A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363009A (zh) * 2023-03-31 2023-06-30 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN118135389A (zh) * 2024-05-06 2024-06-04 浙江大学 一种基于有效感受野调控的水下声学目标识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363009A (zh) * 2023-03-31 2023-06-30 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN116363009B (zh) * 2023-03-31 2024-03-12 哈尔滨工业大学 基于有监督学习的快速轻量化低照度图像增强方法及系统
CN118135389A (zh) * 2024-05-06 2024-06-04 浙江大学 一种基于有效感受野调控的水下声学目标识别方法

Similar Documents

Publication Publication Date Title
CN110599409B (zh) 基于多尺度卷积组与并行的卷积神经网络图像去噪方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN111754438B (zh) 基于多分支门控融合的水下图像复原模型及其复原方法
CN111080541B (zh) 基于比特分层和注意力融合机制的彩色图像去噪方法
CN111275637A (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN111179196B (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
CN116309232B (zh) 一种结合物理先验与深度学习的水下图像增强方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN115641391A (zh) 一种基于密集残差和双流注意力的红外图像彩色化方法
CN115170915A (zh) 一种基于端到端注意力网络的红外与可见光图像融合方法
CN115393227A (zh) 基于深度学习的微光全彩视频图像自适应增强方法及系统
CN114820388A (zh) 一种基于编解码器结构的图像去雾方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
Han et al. UIEGAN: Adversarial learning-based photorealistic image enhancement for intelligent underwater environment perception
CN114565539A (zh) 一种基于线上知识蒸馏的图像去雾方法
CN114202472A (zh) 一种高精度水下成像方法和装置
CN107301625A (zh) 基于亮度融合网络的图像去雾算法
Guan et al. DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model
Wang et al. Underwater image quality optimization: Researches, challenges, and future trends
Ji et al. A deep retinex network for underwater low-light image enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination