CN117115021A - 一种基于先验知识的动态水下图像增强方法及装置 - Google Patents

一种基于先验知识的动态水下图像增强方法及装置 Download PDF

Info

Publication number
CN117115021A
CN117115021A CN202311018718.9A CN202311018718A CN117115021A CN 117115021 A CN117115021 A CN 117115021A CN 202311018718 A CN202311018718 A CN 202311018718A CN 117115021 A CN117115021 A CN 117115021A
Authority
CN
China
Prior art keywords
network
dynamic
scale
transmission rate
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311018718.9A
Other languages
English (en)
Inventor
穆攀
许函宁
刘哲源
白琮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202311018718.9A priority Critical patent/CN117115021A/zh
Publication of CN117115021A publication Critical patent/CN117115021A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于先验知识的动态水下图像增强方法及装置，基于构建的图像增强网络模型对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块。通过基于大气光的动态网络模块和传输率引导的动态网络模块来获得先验信息，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像。本发明能够根据输入图像动态的调节网络的参数，使得该方法能够应用于真实的水下场景中，能够为各种水类型自适应地选择适当的参数，具有更好的泛化能力与鲁棒性。

Description

一种基于先验知识的动态水下图像增强方法及装置
技术领域
本申请属于水下场景人工智能应用领域，尤其涉及一种基于先验知识的动态水下图像增强方法及装置。
背景技术
水下图像处理具有广泛的应用前景，比如海底机器人、海洋勘探、海底电缆检测等。但由于不同波长的光线在水下传播的速率不同，而绿光和蓝光的波长最，所以水下照片通常总是偏蓝、偏绿或偏黄，这使得海洋动植物等目标物体的原始颜色被掩盖。另外，由于光线的散射与折射，导致水下图像具有低饱和度、模糊等问题。
目前的水下图像增强方法大致可以分为两类：传统的水下图像增强方法和基于深度学习的水下图像增强方法。其中，传统的水下图像增强方法中包括基于先验的和无模型的方法。基于先验的方法利用丰富的先验信息并估计水下图像成像模型的参数来生成增强的图像。虽然这些方法充分利用了先验信息，但在复杂的场景下实用性不强，往往会导致图像的过度增强，因此不能应用于真实的水下场景。无模型的方法通常依靠原始水下图像的像素值之间的空间关系来改善图像的亮度、对比度和饱和度，如灰色世界和白平衡方法。然而，这些方法往往忽略了图像的细节和深度信息，导致出现伪影和存在过度增强的情况。
深度学习为水下图像增强任务引入了新的策略。这些方法可以实现复杂的非系统化的端到端建模，或者将物理先验与神经网络结合起来，以解决现有的问题。这些方法具有很好的特征表示能力，得益于他们利用的大量数据进行训练。然而，主要的挑战是获取大规模水下数据集的高成本和难度，这迫使大多数方法使用小规模的数据集。
总的来说，水下图像增强中存在的挑战总结如下：1.由于水对光线的散射和吸收，水下图像经常出现颜色失真和低对比度的问题。此外，水质和透光距离也会影响图像的清晰度，使水下图像变得模糊不清。2.高质量配对训练样本的稀缺性制约了深度学习模型的性能。3.模型的泛化是水下图像增强任务的一个关键任务，它很重要，但却被人们忽略了。
发明内容
本申请的目的是提供一种基于先验知识的动态水下图像增强方法及装置，以解决现有技术所存在的上述技术问题，能够适应多种场景的水下图像，能够在复杂的场景中进行应用，具有良好的鲁棒性。
为了实现上述目的，本申请技术方案如下：
一种基于先验知识的动态水下图像增强方法，基于构建的图像增强网络模型对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块，所述基于先验知识的动态水下图像增强方法，包括：
将待增强水下图像输入基于大气光的动态网络模块，在基于大气光的动态网络模块中经过动态卷积和全局平均池化，提取得到大气光先验信息；
将待增强水下图像输入传输率引导的动态网络模块，在传输率引导的动态网络模块中经过动态卷积和全局平均池化，提取得到传输率先验信息；
将待增强水下图像和对应的传输率图输入基于先验的多尺度网络模块，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像；
其中，所述第一多尺度U型网络和和第二多尺度U型网络通过对大气光先验信息进行处理来得到卷积核参数，所述传输率引导的特征提取网络通过对传输率先验信息进行处理来得到卷积核参数。
进一步的，所述基于大气光的动态网络模块和传输率引导的动态网络模块，均包括第一单元和第二单元，每个单元包括两个动态卷积和一个全局平均池化。
进一步的，所述第一多尺度U型网络和第二多尺度U型网络结构相同，包括特征提取块、卷积网络、特征提取块和卷积网络，所述第一多尺度U型网络和第二多尺度U型网络各层通过快速连接相连；所述特征提取块包括超卷积、多尺度特征提取块和超卷积，所述卷积网络包括三个超卷积；所述传输率引导的特征提取网络，包括超卷积、连接层、多尺度特征提取块和超卷积。
进一步的，所述超卷积包括一个残差块和一个全连接层，所述残差块采用公式表示如下：
f′c＝Conv(ReLU(Conv(fc)+fc
其中，fc为输入特征，f′c为输出特征；
所述第一多尺度U型网络和第二多尺度U型网络的超卷积中，大气光先验信息通过全连接层得到残差块中卷积核的参数；
所述传输率引导的特征提取网络的超卷积中，传输率先验信息通过全连接层得到残差块中卷积核的参数。
进一步的，所述连接层，采用公式表示如下：
f″＝f′·fm+f′
其中，f′表示连接层的输入特征，f″表示连接层的输出特征，fm表示待增强水下图像对应的传输率图。
进一步的，所述多尺度特征提取块，包括三个不同尺度的卷积分支和一个通道注意力模块，所述多尺度特征提取块执行如下操作：
多尺度特征提取块的输入特征f经过通道注意力模块，采用公式表示如下：
f1＝Conv(ReLU(Conv(GAP(f))))；
f2＝Conv(ReLU(Conv(GMP(f))))；
fCA＝f1+f2
其中，fCA为通道注意力模块的输出特征，GAP为全局平均池化，GMP为全局最大池化；
多尺度特征提取块的输入特征经过三个不同尺度的卷积分支，三个不同尺度的卷积分支的输出特征分别与fCA相乘，再相加得到多尺度特征提取块的输出特征。
进一步的，所述基于先验知识的动态水下图像增强方法，还包括：训练所述图像增强网络模型；
训练所述图像增强网络模型时，包括：
固定基于大气光的动态网络模块和传输率引导的动态网络模块的网络参数，训练基于先验的多尺度网络模块；
固定基于先验的多尺度网络模块和传输率引导的动态网络模块的网络参数，训练基于大气光的动态网络模块；
固定基于先验的多尺度网络模块和基于大气光的动态网络模块的网络参数，训练传输率引导的动态网络模块。
进一步的，训练所述图像增强网络模型时，所采用的联合损失函数如下：
L(J，Igt)＝L1+λ1LSSIM+λ2Lper
其中，λ1和λ2为权重参数，LSSIM为平均平方误差损失，Lper为感知损失，L1为重建损失，J为图像增强网络模型的输出图像，Igt为参考图像。
本申请还提出了一种基于先验知识的动态水下图像增强装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述方法的步骤。
本申请提出的一种基于先验知识的动态水下图像增强方法及装置，能够根据输入图像动态的调节网络的参数，使得该方法能够应用于真实的水下场景中。充分利用了水下成像的先验知识，将先验知识与深度学习模型结合，增强了深度学习模型的特征提取能力与提高了深度学习模型的鲁棒性。能够使用小规模的数据集进行训练，并达到良好的泛化性能，这克服了水下图像数据集数量不足带来的挑战。能够应用于多种水下作业场景，比如水下机器人、海底电缆修复、海洋勘测等。
附图说明
图1为本申请基于先验知识的动态水下图像增强方法流程图。
图2为本申请图像增强网络模型示意图。
图3为本申请实施例动态网络模块示意图。
图4为本申请实施例基于先验的多尺度网络模块示意图。
图5为本申请实施例多尺度特征提取块示意图。
图6为本申请实施例传输率引导的特征提取网络示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提出了一种基于先验知识的动态水下图像增强方法，基于构建的图像增强网络模型对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块。本实施例，一种基于先验知识的动态水下图像增强方法，包括：
步骤S1、将待增强水下图像输入基于大气光的动态网络模块，在基于大气光的动态网络模块中经过动态卷积和全局平均池化，提取得到大气光先验信息。
本实施例构建图像增强网络模型如图2所示，用于对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块(ADS)、基于先验的多尺度网络模块(PMS)和传输率引导的动态网络模块(TDS)。
基于大气光的动态网络模块使用动态卷积和全局平均池化从水下图像中自适应地提取大气光先验信息，对大气光先验信息进行处理为基于先验的多尺度网络模块中的多尺度U型网络中的卷积核提供参数。这也使得整个图像增强网络模型能够根据输入图像的退化程度来调整参数适应输入图像的退化程度，提高网络的泛化能力。
在一个具体的实施例中，基于大气光的动态网络模块如图3所示，主要包含两种模块，动态卷积模块(记为DC)和全局平均池化(记为GAP)。其组成方式包括第一单元和第二单元，每个单元包括两个动态卷积和一个全局平均池化。基于大气光的动态网络模块，采用公式表示如下：
其中，表示所述基于大气光的动态网络模块的输入特征，这里为待增强水下图像；fADS表示输出特征，即大气光先验信息。
步骤S2、将待增强水下图像输入传输率引导的动态网络模块，在传输率引导的动态网络模块中经过动态卷积和全局平均池化，提取得到传输率先验信息。
本实施例，传输率引导的动态网络模块使用动态卷积和全局平均池化从水下图像中自适应地提取传输率先验信息，对传输率先验信息进行处理为基于先验的多尺度网络模块中的传输率引导的特征提取网络中的卷积核提供参数。传输率引导的动态网络模块促使网络更多地关注质量下降最严重的区域，使网络能够自适应地根据水质情况选择适当的参数。
具体的，如图3所示，传输率引导的动态网络模块与所述基于大气光的动态网络模块所包含的模块与结构相同，其计算公式如下：
其中，fTDS为输出特征，即传输率先验信息；为传输率引导的动态网络模块的输入图像，即待增强水下图像。
步骤S3、将待增强水下图像和对应的传输率图输入基于先验的多尺度网络模块，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像。
本实施例基于先验的多尺度网络模块，如图4所示，包括第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络。待增强水下图像依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像。第一多尺度U型网络和和第二多尺度U型网络通过对大气光先验信息进行处理来得到卷积核参数，所述传输率引导的特征提取网络通过对传输率先验信息进行处理来得到卷积核参数。
在一个具体的实施例中，第一多尺度U型网络和第二多尺度U型网络结构相同，包括特征提取块、卷积网络、特征提取块和卷积网络。所述第一多尺度U型网络和第二多尺度U型网络各层通过快速连接相连，快速连接指的是在解码器阶段的每一层输入特征为编码器阶段的相应层的输出特征和解码器阶段前面层的输出特征进行相加。快速连接能够将底层的位置信息与深层的语义信息相融合，使得网络能够在具有更大的感受野的同时，也关注到边缘特征的细节信息。
其中，特征提取块包括超卷积(HRB)、多尺度特征提取块(MFE)和超卷积(HRB)。卷积网络包括三个超卷积(HRB)。
其中，超卷积HRB包括一个残差块和一个全连接层，残差块计算公式如下：
f′c＝Conv(ReLU(Conv(fc)+fc
其中，fc为输入特征，f′c为输出特征，这里的Conv参数由fADS经过全连接层FC后决定，即将fADS经过一个全连接层FC得到卷积核的参数。
例如，大气光先验信息fADS，特征大小为batch_size×128×1×1(batch_size为批大小)然后重复(repeat操作)特征，变成n_block×n_each_block个大小为batch_size×128×1×3×3的特征组向量(其中n_block为卷积块的块数，n_each_block为卷积块中含有卷积核的数量)，然后对该特征组向量经过EqualLinear操作(即图4中的FC)。该特征组向量为n_block×n_each_block×batch_size×1×64×1×1的矩阵，该矩阵经过FC变换变为batch_size个out_channel×in_channel×kernel_size×kernel_size作为卷积核的参数，其中out_channel表示卷积的输出维度，in_channel表示卷积的输入维度，kernel_size表示卷积核大小。
其中，多尺度特征提取块(MFE)如图5所示，包含三个不同尺度的卷积分支(即1×1，3×3和5×5)和一个通道注意力模块。通道注意力模块用于生成对应不同尺度卷积的权重。
其中通道注意力模块的计算方式如下：
f1＝Conv(ReLU(Conv(GAP(f))))；
f2＝Conv(ReLU(Conv(GMP(f))))；
fCA＝f1+f2
其中，fCA为通道注意力模块的输出特征，GAP为全局平均池化，GMP为全局最大池化，Conv代表卷积，此处的卷积核大小为1×1。ReLU为激活函数。
另外，多尺度特征提取块的输入特征经过三个不同尺度的卷积分支，每一个卷积分支包含Conv、ReLU和Conv，卷积分支中Conv卷积的卷积核大小不同，分别为1×1，3×3和5×5。最后，三个不同尺度的卷积分支的输出特征分别与fCA相乘，再相加得到多尺度特征提取块的输出特征。
在一个具体的实施例中，传输率引导的特征提取网络如图6所示，包括：超卷积HRB、连接层TC、多尺度特征提取块MFE和超卷积HRB。
传输率引导的特征提取网络的计算公式如下：
f′＝HRB(f)；
f″＝f′·fm+f′；
f″′＝HRB(MFE(f″)；
其中，f′表示连接层的输入特征，即第一个超卷积HRB的输出特征；f″表示连接层的输出特征，fm为待增强水下图像对应的传输率图，f″′为传输率引导的特征提取网络最终输出的特征。
区别于多尺度U型网络，传输率引导的特征提取网络中两个超卷积的卷积核的参数由传输率先验信息fTDS决定，即超卷积HRB的Conv参数由fTDS经过超卷积HRB中的全连接层得到。
需要说明的是，待增强水下图像的传输率图fm，使用水下暗通道先验(underwaterdark channel prior，UDCP)算法，能够根据输入图像直接计算得到传输率图，这里不再赘述。
本实施例技术方案，能够根据输入图像的水型特征自适应的生成网络参数，使得所述结构能够应用于真实的水下场景，并且增强具有不同水型特征的水下图像。所述不同水型特征是指不同类型的大气光和不同类型的传输率。
在一个具体的实施例中，为了训练所述图像增强网络模型，构建联合损失函数，以指导模型产生色彩伪影、模糊度最小的增强结果，并使细节与参考图像最接近。
联合损失函数为：
L(J，Igt)＝L1+λ1LSSIM+λ2Lper
其中，λ1和λ2为权重参数，LSSIM为平均平方误差损失，Lper为感知损失，L1为重建损失。J为图像增强网络模型的输出图像，即图2中的fPMS，Igt为参考图像，或称为真实图像。
其中，感知损失Lper：
Lper(J，Igt)＝LMSE(VGG3，8，15(J)，VGG3，8，15(Igt))
其中，LMSE表示平均平方误差(MSE)，VGG3，8，15表示采用预训练的VGG16网络在第3、第8和第15层中提取的特征。
重建损失L1：
其中n＝H×W是整体像素数，采用重建损失L1来消除背景颜色中不必要的干扰。
平均平方误差损失LSSIM：
其中μJ、是图像块所有像素的平均值，σJ、/>是图像像素值的方差，C1和C2为常数。本申请应用SSIM损失，以更加关注结构细节，下标J为图像增强网络模型的输出图像，Igt为参考图像。
本申请所述基于先验的多尺度网络模块受益于基于大气光的动态网络模块和传输率引导的动态网络模块，能够根据输入图像的水型特征自适应的生成网络参数，使得所述结构能够应用于真实的水下场景，并且增强具有不同水型特征的水下图像。所述不同水型特征是指不同类型的大气光和不同类型的传输率。
为利用图像增强网络模型进行水下图像增强，并提高该模型的泛化性能和鲁棒性，本申请设计了分层训练方式和超参数优化方案，对基于大气光的动态网络模块和传输率引导的动态网络模块进行超参数优化。
在一个具体的实施例中，对图像增强网络模型进行训练，包括：
固定基于大气光的动态网络模块和传输率引导的动态网络模块的网络参数，训练基于先验的多尺度网络模块；
固定基于先验的多尺度网络模块和传输率引导的动态网络模块的网络参数，训练基于大气光的动态网络模块；
固定基于先验的多尺度网络模块和基于大气光的动态网络模块的网络参数，训练传输率引导的动态网络模块。
本实施例采用分层训练的方式，将训练样本分为多个批次，采用一个批次先训练基于先验的多尺度网络模块，然后采用另一个批次训练基于大气光的动态网络模块，再采用另一个批次训练传输率引导的动态网络模块，循环训练直到达到训练的终止条件。
其中，对基于先验的多尺度网络模块进行训练，表示为：
其中，表示基于先验的多尺度网络模块，ω为基于先验的多尺度网络模块的参数。/>表示基于大气光的动态网络模块，θ为其参数，Ac为估计出的大气光。/>表示传输率引导的动态网络模块，φ为其参数，Tc为估计出的传输率图。Ic(x)为该网络的输入图像，为增强后的图像。
计算所有损失：
其中，L表示联合损失函数，Igt表示参考图像，表示网络生成出的图像，Ic(x)表示输入图像。
然后更新基于先验的多尺度网络模块的参数ω：
其中，为联合损失的梯度，ρ0为更新的步长。
训练基于大气光的动态网络模块，表示为：
其中，为增强后的图像，/>为经过改变的大气光，/>表示使用ADS结构来生成主网络的参数，θ为ADS分支的参数。/>表示使用TDS结构来生成主网络的参数，φ为TDS分支的参数，Tc表示原始传输率图，ω为主网络的参数，/>表示主网络。然后计算联合损失/>
其中，L为总损失函数，为网络的输出，Igt为参考图像，/>为更改大气光图像后的输出图像，Ic(x)为原始输入图像。由于本方法通过更改大气光生成了一组内容相同，水类型特征不同的水下图像，并且这组图像的参考图像是相同的，所以需要计算损失和。
然后更新基于大气光的动态网络模块的参数θ：
其中，为联合损失的梯度，ρ1为更新的步长。
训练传输率引导的动态网络模块，表示为：
其中，为增强后的图像，/>为经过改变的大气光。然后计算联合损失
其中为更改传输率图后的输入图像。然后更新传输率引导的动态网络模块的参数φ：
其中，为联合损失的梯度，ρ2为更新的步长。
具体的，在基于大气光的动态网络模块中，首先根据水下图像成像模型，通过随机改变大气光，来调整输入图像的颜色，并以此作为输入，来对所述基于大气光的动态网络模块进行训练，并更新超参数。这使得所述动态结构能够学习到更多关于颜色的信息，从而自适应的对不同的色差进行调整，使通过所述模型增强后的图像具有丰富且生动的颜色。
具体的，所述成像模型为：
Ic(x)＝Jc(x)e-βd(x)+(1-e-βd(x))Ac，c∈{r，g，b}
其中，x表示每个像素的空间位置，Ic是观察到的图像，Jc是恢复后的无霾图像，Ac表示全局的大气光，d(x)是像素x处的场景深度，β是取决于水质的通道级衰减系数。
Tc(x)＝e-βd(x)是传输率图，代表场景中辐条亮度的百分比。表示从x的点反射后，到达摄像机的场景辐照度的百分比。在水下场景中从x的反射后到达摄像机的百分比，这也反映了水的类型。
具体的，所述调整输入图像的颜色具体计算公式如下：
其中，为调整大气光颜色后的图像，/>为调整后的大气光，/>表示改变大气光，/>表示随机改变大气光，其中/>为在(0.3，0.6)范围内随机产生的系数。
具体的，在传输率引导的动态网络模块中，首先估计输入图像的传输率图，再将传输率图乘以随机生成的参数矩阵。并根据水下图像的成像模型，调整输入图像的传输率，并以此作为输入，来训练所述传输率引导的动态网络模块，并更新相应的超参数。从而使通过所述模型增强动态结构促使网络更多地关注质量下降最严重的区域，并且能够增强更多不同水质中拍摄的图像。
具体的，所述调整输入图像的传输率具体计算公式如下：
其中，为调整传输率后的图像，/>为调整后的传输率，/>表示改变传输率，表示随机调整传输率，其中/>为在(0.6,1.1)范围内随机产生的系数。
在另一个实施例中，本申请还提供了一种基于先验知识的动态水下图像增强装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述基于先验知识的动态水下图像增强方法的步骤。
关于基于先验知识的动态水下图像增强装置的具体限定可以参见上文中对于基于先验知识的动态水下图像增强方法的限定，在此不再赘述。上述基于先验知识的动态水下图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。
其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于先验知识的动态水下图像增强方法，基于构建的图像增强网络模型对水下图像进行图像增强，其特征在于，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块，所述基于先验知识的动态水下图像增强方法，包括：
将待增强水下图像输入基于大气光的动态网络模块，在基于大气光的动态网络模块中经过动态卷积和全局平均池化，提取得到大气光先验信息；
将待增强水下图像输入传输率引导的动态网络模块，在传输率引导的动态网络模块中经过动态卷积和全局平均池化，提取得到传输率先验信息；
将待增强水下图像和对应的传输率图输入基于先验的多尺度网络模块，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像；
其中，所述第一多尺度U型网络和和第二多尺度U型网络通过对大气光先验信息进行处理来得到卷积核参数，所述传输率引导的特征提取网络通过对传输率先验信息进行处理来得到卷积核参数。
2.根据权利要求1所述的基于先验知识的动态水下图像增强方法，其特征在于，所述基于大气光的动态网络模块和传输率引导的动态网络模块，均包括第一单元和第二单元，每个单元包括两个动态卷积和一个全局平均池化。
3.根据权利要求1所述的基于先验知识的动态水下图像增强方法，其特征在于，所述第一多尺度U型网络和第二多尺度U型网络结构相同，包括特征提取块、卷积网络、特征提取块和卷积网络，所述第一多尺度U型网络和第二多尺度U型网络各层通过快速连接相连；所述特征提取块包括超卷积、多尺度特征提取块和超卷积，所述卷积网络包括三个超卷积；所述传输率引导的特征提取网络，包括超卷积、连接层、多尺度特征提取块和超卷积。
4.根据权利要求3所述的基于先验知识的动态水下图像增强方法，其特征在于，所述超卷积包括一个残差块和一个全连接层，所述残差块采用公式表示如下：
f′c＝Conv(ReLU(Conv(fc)+fc
其中，fc为输入特征，fc′为输出特征；
所述第一多尺度U型网络和第二多尺度U型网络的超卷积中，大气光先验信息通过全连接层得到残差块中卷积核的参数；
所述传输率引导的特征提取网络的超卷积中，传输率先验信息通过全连接层得到残差块中卷积核的参数。
5.根据权利要求3所述的基于先验知识的动态水下图像增强方法，其特征在于，所述连接层，采用公式表示如下：
f″＝f′·fm+f′
其中，f′表示连接层的输入特征，f″表示连接层的输出特征，fm表示待增强水下图像对应的传输率图。
6.根据权利要求3所述的基于先验知识的动态水下图像增强方法，其特征在于，所述多尺度特征提取块，包括三个不同尺度的卷积分支和一个通道注意力模块，所述多尺度特征提取块执行如下操作：
多尺度特征提取块的输入特征f经过通道注意力模块，采用公式表示如下：
f1＝Conv(ReLU(conv(GAP(f)))；
f2＝Conv(ReLU(Conv(GMP(f))))；
fCA＝f1+f2
其中，fCA为通道注意力模块的输出特征，GAP为全局平均池化，GMP为全局最大池化；
多尺度特征提取块的输入特征经过三个不同尺度的卷积分支，三个不同尺度的卷积分支的输出特征分别与fCA相乘，再相加得到多尺度特征提取块的输出特征。
7.根据权利要求1所述的基于先验知识的动态水下图像增强方法，其特征在于，所述基于先验知识的动态水下图像增强方法，还包括：训练所述图像增强网络模型；
训练所述图像增强网络模型时，包括：
固定基于大气光的动态网络模块和传输率引导的动态网络模块的网络参数，训练基于先验的多尺度网络模块；
固定基于先验的多尺度网络模块和传输率引导的动态网络模块的网络参数，训练基于大气光的动态网络模块；
固定基于先验的多尺度网络模块和基于大气光的动态网络模块的网络参数，训练传输率引导的动态网络模块。
8.根据权利要求7所述的基于先验知识的动态水下图像增强方法，其特征在于，训练所述图像增强网络模型时，所采用的联合损失函数如下：
L(L，Igt)＝L1+λ1+LSSIM+λ2Lper
其中，λ1和λ2为权重参数，LSSIM为平均平方误差损失，Lper为感知损失，L1为重建损失，J为图像增强网络模型的输出图像，Igt为参考图像。
9.一种基于先验知识的动态水下图像增强装置，包括处理器以及存储有若干计算机指令的存储器，其特征在于，所述计算机指令被处理器执行时实现权利要求1至权利要求8中任意一项所述方法的步骤。
CN202311018718.9A 2023-08-10 2023-08-10 一种基于先验知识的动态水下图像增强方法及装置 Pending CN117115021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311018718.9A CN117115021A (zh) 2023-08-10 2023-08-10 一种基于先验知识的动态水下图像增强方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311018718.9A CN117115021A (zh) 2023-08-10 2023-08-10 一种基于先验知识的动态水下图像增强方法及装置

Publications (1)

Publication Number Publication Date
CN117115021A true CN117115021A (zh) 2023-11-24

Family

ID=88810351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311018718.9A Pending CN117115021A (zh) 2023-08-10 2023-08-10 一种基于先验知识的动态水下图像增强方法及装置

Country Status (1)

Country Link
CN (1) CN117115021A (zh)

Similar Documents

Publication Publication Date Title
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN112288658B (zh) 一种基于多残差联合学习的水下图像增强方法
CN109493303B (zh) 一种基于生成对抗网络的图像去雾方法
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
Wang et al. Joint iterative color correction and dehazing for underwater image enhancement
CN112164005B (zh) 图像颜色校正方法、装置、设备及存储介质
WO2020010638A1 (zh) 一种图像坏点检测方法及装置
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN116309232B (zh) 一种结合物理先验与深度学习的水下图像增强方法
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
CN117011194B (zh) 一种基于多尺度双通道注意力网络的低光图像增强方法
CN111563854B (zh) 用于水下图像增强处理的粒子群优化方法
CN115588237A (zh) 一种基于单目rgb图像的三维手部姿态估计方法
CN112102186A (zh) 一种水下视频图像实时增强方法
CN116596822A (zh) 基于自适应权重与目标感知的像素级实时多光谱图像融合方法
CN117115033A (zh) 基于强光抑制的电力作业现场弱光图像增强方法
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN112907470A (zh) 基于Lab色域变换、分类及白平衡的水下图像恢复方法
CN112734673B (zh) 一种基于多表达式融合的低照度图像增强方法及系统
CN117115021A (zh) 一种基于先验知识的动态水下图像增强方法及装置
Wang et al. Compensation Atmospheric Scattering Model and Two-Branch Network for Single Image Dehazing
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination