CN115205166A - 基于环境光与传输图并行估计网络的水下图像恢复方法 - Google Patents

基于环境光与传输图并行估计网络的水下图像恢复方法 Download PDF

Info

Publication number
CN115205166A
CN115205166A CN202211126415.4A CN202211126415A CN115205166A CN 115205166 A CN115205166 A CN 115205166A CN 202211126415 A CN202211126415 A CN 202211126415A CN 115205166 A CN115205166 A CN 115205166A
Authority
CN
China
Prior art keywords
ambient light
estimation network
transmission
convolution
underwater image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211126415.4A
Other languages
English (en)
Inventor
陈苏婷
王天语
张晓敏
王航将
缪则林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202211126415.4A priority Critical patent/CN115205166A/zh
Publication of CN115205166A publication Critical patent/CN115205166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于环境光与传输图并行估计网络的水下图像恢复方法,涉及水下图像复原技术领域,在水下物理成像模型的基础上,并行神经网络由传输图估计网络(T‑net)和环境光估计网络(A‑net)两个部分组成,传输图估计网络(T‑net)采用多尺度密集残差的结构来估计传输图,环境光估计网络(A‑net)采用特征金字塔网络来估计环境光,传输图估计网络(T‑net)中加入了自注意力机制以关注全局信息对局部细节的影响,还用于补偿信息损失,特别是边缘信息,而多尺度估计有助于合并来自不同尺度的局部图像细节,在环境光估计网络(A‑net)中加入扩张卷积以增大感受野,更容易地关注到全局地信息。

Description

基于环境光与传输图并行估计网络的水下图像恢复方法
技术领域
本发明涉及水下图像复原技术领域,特别是涉及一种基于环境光与传输图并行估计网络的水下图像恢复方法。
背景技术
海洋与人类的生活息息相关,其覆盖了地球表面70.8%的区域,是地球资源的重要组成部分,但是人类对海洋的探索仅为5%,对海洋的开发不足1%,在当今人工智能飞速发展的时代,如何将相关人工智能技术与海洋探测任务结合起来是一个极具研究和应用价值且需要不断探索的方向,作为水下信息的重要载体和呈现形式,水下图像对于水下环境探测与感知具有不可替代的重要作用,然而,受水下特殊的物理化学环境的影响,水下图像往往存在对比度低、细节模糊、颜色失真、清晰度差、非均匀光照以及可视距离有限等质量退化现象,退化的水下图像严重影响了解译工作,这无疑给水下考古、水下生物研究、水下目标检测、海底探测以及水下无人潜航器导航等应用带来巨大的挑战。
因此,开发有效的解决方案来提高水下图像的可见度、对比度和色彩属性是非常有必要的,水下图像处理的目的是提高能见度以及校正颜色偏差,一般来说,水下图像处理技术可以分为水下图像增强和水下图像恢复两类。
水下图像恢复方法旨在利用光学成像模型恢复清晰的图像,恢复过程中最重要的任务是估计两个关键的模型参数,即传输图和环境光,它们通常通过基于先验的方法或基于学习的方法进行估计,基于先验的方法依赖于某些先验信息,如暗通道先验(DCP)、红色通道先验(RCP)以及霾线先验(HLP);基于学习的方法旨在通过以数据驱动的方式探索水下图像与相应参数之间的关系,从而获得更稳健和准确的估计,如CNN和GAN。
水下图像恢复方法中基于先验的方法在很大程度上依赖于某些先验信息的可靠性,通常有其各自的局限性,并且可能不能适应某些条件,因此,所采用的先验场景和目标场景之间的不匹配可能会导致显著的估计误差,从而恢复失真的结果。
基于学习的方法有一个有效的神经网络来学习这种关系是非常重要的,然而现有的网络无法足够准确地估计参数,所得到的恢复图像经常受到各种伪影的影响。
发明内容
为了解决以上技术问题,本发明提供一种基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:包括以下步骤
S1、输入水下图像;
S2、通过传输图估计网络对水下图像的蓝色通道传输图进行估计,同时通过环境光估计网络对环境光进行估计,输出环境光,即一个像素向量,有三个颜色通道,即[
Figure 100002_DEST_PATH_IMAGE002
];
S3、通过水下图像的蓝色通道传输图分别计算红色通道传输图和绿色通道传输图;
S4、将红色通道和绿色通道的传输图的参数代入到水下光学成像模型中,恢复清晰的图像。
本发明进一步限定的技术方案是:
进一步的,传输图估计网络设置为多尺度残差结构,其对水下图像的蓝色通道传输图进行估计的方法包括先后进行的特征提取阶段和特征融合阶段;
特征提取阶段包括以下步骤
S2.1.1、设置三个卷积核大小不同的并行网络;
S2.1.2、三个并行网络首先经过两个卷积层进行初步特征提取;
S2.1.3、然后再经过八个密集残差模块做进一步特征提取;
S2.1.4、接着又经过两个1×1的卷积层进行特征组合;
S2.1.5、最后三个并行网络的输出一同进入特征融合阶段;
特征融合阶段包括以下步骤
S2.1.6、通过Concate层对特征提取阶段中三个并行网络的输出进行特征融合;
S2.1.7、再经过两个卷积层进行卷积操作后,输出蓝色通道传输图,前一卷积层后设置有ReLu层,后一卷积层后设置有Sigmoid层;
环境光估计网络对环境光进行估计的方法包括以下步骤
S2.2.1、对水下图像进行降采样到49×49×3;
S2.2.2、通过7×7扩张卷积核进行扩张卷积操作,扩张率设置为1,得到43×43×32大小的特征图;
S2.2.3、通过5×5扩张卷积核进行扩张卷积操作,扩张率设置为1,得到39×39×32大小的特征图;
S2.2.4、通过3×3最大池化层进行最大池化操作,得到13×13×16大小的特征图;
S2.2.5、通过5×5卷积核进行卷积操作,得到9×9×16大小的特征图;
S2.2.6、通过3×3最大池化层进行最大池化操作,得到3×3×16大小的特征图;
S2.2.7、通过3×3卷积核进行卷积操作,输出环境光,即[
Figure 100002_DEST_PATH_IMAGE002A
];
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S2.1.3中,密集残差模块由三组卷积层组成,每个卷积层后面依次是Batch Norm层和ReLu层,卷积层之间均进行密集连接;每个卷积层都生成64个特征图,将所有特征进行拼接后,通过1×1卷积核进行组合,密集残差模块的结尾再加上上一个全局残差作为输出。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S2中,特征提取阶段还包括自注意力模块,自注意力模块的输入设置为低核网络相应的密集残差模块的输出,经过两组3×3的卷积层加Sigmoid层后,与输入进行连接,得到特征图,最后用特征图调整高核网络对应的密集残差模块的输出,以作为最终的输出。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S3中,水下图像的红色通道传输图和绿色通道传输图的计算方程如式(4)所示,
Figure 100002_DEST_PATH_IMAGE004
(4)
其中,
Figure 100002_DEST_PATH_IMAGE006
表示绿色通道传输图,
Figure 100002_DEST_PATH_IMAGE008
表示红色通道传输图,
Figure 100002_DEST_PATH_IMAGE010
表示蓝色通道传输图,
Figure 100002_DEST_PATH_IMAGE012
分别表示水下红色通道、绿色通道以及蓝色通道的衰减系数,水中不同颜色通道之间的衰减系数的比值可以表示为式(3),
Figure 100002_DEST_PATH_IMAGE014
(3)
其中,
Figure 100002_DEST_PATH_IMAGE016
分别表示红色通道、绿色通道以及蓝色通道的波长,分别为620nm、540nm以及450nm,
Figure 100002_DEST_PATH_IMAGE002AA
分别表示环境光的红色通道、绿色通道以及蓝色通道。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S4中,水下光学成像模型如式(1)所示,
Figure 100002_DEST_PATH_IMAGE018
(1)
其中,x表示水下图像中的一个像素,c表示颜色通道,
Figure 100002_DEST_PATH_IMAGE020
表示相机捕获的图像,
Figure 100002_DEST_PATH_IMAGE022
表示场景亮度,
Figure 100002_DEST_PATH_IMAGE024
表示全局环境光,
Figure 100002_DEST_PATH_IMAGE026
表示传输图,
Figure 100002_DEST_PATH_IMAGE028
即表示恢复后的图像;
Figure 100002_DEST_PATH_IMAGE026A
可以进一步表示为式(2),
Figure 100002_DEST_PATH_IMAGE030
(2)
其中,
Figure 100002_DEST_PATH_IMAGE032
表示物体到相机的距离,
Figure 100002_DEST_PATH_IMAGE034
表示衰减系数。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S2中,环境光估计网络对环境光进行估计的方法中,随着特征图大小的减小,卷积核的大小逐渐减小。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S2中,环境光估计网络对环境光进行估计的方法中,每一卷积层之后均设置有一个ReLu层。
前所述的基于环境光与传输图并行估计网络的水下图像恢复方法,步骤S2.1.1中,三个并行网络的卷积核大小从上至下分别为7×7、5×5以及3×3。
本发明的有益效果是:
(1)本发明中,利用深度CNN模型来提高恢复图像的对比度和颜色转换,整个网络由两个并行分支组成,包括传输图估计网络(T-net)和环境光估计网络(A-net),可以同时估计传输图和环境光;
(2)本发明中,传输图估计网络(T-net) 使用自注意力机制以及多尺度估计来保持精细的空间结构和边缘特征,这两种特殊的结构有助于产生具有更好的边缘特征的传输图,并防止恢复图像中的伪影,且能够补偿信息损失,特别是边缘信息,并有助于合并来自不同尺度的局部图像细节;由于在估计环境光时,并不在意局部细节,故在环境光估计网络(A-net)中引入扩张卷积结构,以增大感受野。
附图说明
图1为本发明的整体流程图;
图2为本发明传输图估计网络(T-net)的结构示意图;
图3为本发明环境光估计网络(A-net) 的结构示意图;
图4为图3中A部分的结构示意图;
图5为图3中B部分的结构示意图。
具体实施方式
本实施例提供的一种基于环境光与传输图并行估计网络的水下图像恢复方法,其整体流程如图1所示,水下光学成像模型可以描述为:
Figure DEST_PATH_IMAGE018A
(1)
其中,x表示水下图像中的一个像素,c表示颜色通道,
Figure DEST_PATH_IMAGE020A
表示相机捕获的图像,
Figure DEST_PATH_IMAGE022A
表示场景亮度,
Figure DEST_PATH_IMAGE024A
表示全局环境光,
Figure DEST_PATH_IMAGE026AA
表示传输图,
Figure DEST_PATH_IMAGE028A
即为我们所需要的恢复后的图像,故水下图像恢复问题就转化为了求解传输图
Figure DEST_PATH_IMAGE026AAA
和环境光
Figure DEST_PATH_IMAGE024AA
Figure DEST_PATH_IMAGE026AAAA
可以进一步表示为:
Figure DEST_PATH_IMAGE030A
(2)
其中,
Figure DEST_PATH_IMAGE032A
表示物体到相机的距离,
Figure DEST_PATH_IMAGE034A
表示衰减系数。
水中不同颜色通道之间的衰减系数的比值可以表示为:
Figure DEST_PATH_IMAGE014A
(3)
其中,
Figure DEST_PATH_IMAGE016A
分别表示红色通道、绿色通道以及蓝色通道的波长,分别为620nm、540nm以及450nm,
Figure DEST_PATH_IMAGE002AAA
分别表示环境光的红色通道、绿色通道以及蓝色通道,
Figure DEST_PATH_IMAGE012A
分别表示水下红色通道、绿色通道以及蓝色通道的衰减系数。
综上,绿色通道和红色通道的传输图
Figure DEST_PATH_IMAGE006A
Figure DEST_PATH_IMAGE008A
由蓝色通道的传输图
Figure DEST_PATH_IMAGE010A
确定:
Figure DEST_PATH_IMAGE004A
(4)
于是水下图像恢复问题就进一步降解为求解单通道传输图和环境光。
现有的基于CNN的传输图估计方法普遍假设三个颜色通道的传输图是相同的,但这种假设并不适用于水下图像,一般来说,蓝光在水中的传输性能最好,其传输分布更广且更均匀,所以本发明提出的方法仅估计蓝色通道传输图,然后利用它们之间的确定性关系来计算其他两个传输图。
这种两阶段估计策略简化了网络结构,降低了训练的复杂性,我们的方法是分别使用两个CNN子网来估计蓝色通道的传输图
Figure DEST_PATH_IMAGE010AA
和环境光
Figure DEST_PATH_IMAGE024AAA
,然后利用它们来恢复清晰的图像,体系结构如图1所示,具体来说,传输图估计网络(T-net)用于估计水下图像的蓝色通道传输图,环境光估计网络(A-net)用于估计环境光,然后使用方程(4)分别计算红色通道和绿色通道的传输图,最后将得到的参数代入水下光学成像模型,恢复清晰的图像。
大多数传统的环境光估计方法都是选择具有无限深度的像素来估计环境光,然而,这种选择的准确性往往受到相机角度的限制,以及一些异常像素的威胁,为了解决这些问题,提高估计的鲁棒性,我们提出了一种新的环境光估计方法,学习水下图像与其对应的环境光之间的映射。
考虑到对环境光的估计比对透射光的估计要容易得多,我们设计了一个轻量级的CNN模型来预测环境光,即为环境光估计网络(A-net),环境光估计网络(A-net)的结构示意图如图2所示,对应的输出是环境光,即一个像素向量,有三个颜色通道,即[
Figure DEST_PATH_IMAGE002AAAA
],由于环境光值与全局照明特征高度相关,而不是局部图像的细节,因此应当从全局的角度进行估计。
环境光估计网络(A-net)主要由四个操作组成,即下采样、扩张卷积、最大池化以及卷积,为了避免从水下图像中提取全局照明特征时受到局部细节的干扰,首先对原始图像进行降采样到49×49,以删除最多的细节,但也保留了主要的全球信息;同时利用输入的下采样水下图像,可以大大降低环境光估计网络(A-net)的参数,并可以更容易地学习全局图像信息;同时,由于我们不关注局部的细节,故引入扩张卷积以增大感受野,所有扩张率均设置为1;使用一个降采样和两个扩张卷积层来提取特征并降低特征映射的维数,并使用两个最大池化层来克服局部敏感性,进一步降低特征映射的分辨率;最后一层,是一个卷积层,用于非线性回归。
随着特征图大小的减小,卷积核的大小也逐渐减小,如此设置可以获得更大的感受野,并可以学习到与环境光估计相关的更好的全局信息,此外,我们还在每个卷积层之后增加一个ReLu层,以避免在训练阶段出现收敛缓慢和局部极小值的问题。
本发明设计了一个传输图估计网络(T-net)来估计蓝色通道传输图,其结构如图3至图5所示,传输图估计网络(T-net)是一种多尺度残差结构,残差块结构能够使得网络的层数得到加深,网络的效果也能随之变好。
传输图估计网络(T-net)大量使用密集残差模块(RRDB)作为基本结构,其主要由三组卷积层组成,每个卷积层后面是Batch Norm层和ReLu层,卷积层之间都采用了密集连接的操作,即每层的输入和输出都被连接到后面的所有层,密集链接能够保持图像特征信息从高层到底层传递;每个卷积层都生成64个特征图,接着将所有特征进行拼接后,通过1×1卷积核进行组合,密集残差模块(RRDB)的结尾再加上上一个全局残差作为输出。
传输图估计网络(T-net)分为两个阶段,第一个阶段是特征提取阶段,第二个阶段是特征融合阶段,特征提取阶段采用三个不同卷积核大小地并行网络构成,这种多尺度结构的好处是不仅能够提高特征的多样性,同时也减少了参数量;这三个并行网络首先都经过两个卷积层进行初步特征提取,然后是八个密集残差模块(RRDB)进一步特征提取,这三个并行网络的卷积核大小从上至下分别为7×7、5×5以及3×3,接着又经过两个1×1的卷积层组合特征,最后三个并行网络的输出一同进入到特征融合阶段的特征融合网络,特征融合网络用于合并具有不同卷积核大小的分支之间的全局特征。
为了增强特征提取阶段三个并行网络之间的连结性,本发明引入自注意力机制来增加低频细节对高层信息的辅助训练作用,自注意力模块(Self-Attention)输入为低核网络相应的密集残差模块(RRDB)的输出,经过两组3×3的卷积层加Sigmoid层后,与输入进行连接,得到特征图,最后用特征图调整高核网络对应的密集残差模块(RRDB)的输出,作为最终的输出。
除上述实施例外,本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案,均落在本发明要求的保护范围。

Claims (9)

1.一种基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:包括以下步骤
S1、输入水下图像;
S2、通过传输图估计网络对水下图像的蓝色通道传输图进行估计,同时通过环境光估计网络对环境光进行估计,输出环境光,即一个像素向量,有三个颜色通道,即[
Figure DEST_PATH_IMAGE002
];
S3、通过水下图像的蓝色通道传输图分别计算红色通道传输图和绿色通道传输图;
S4、将红色通道和绿色通道的传输图的参数代入到水下光学成像模型中,恢复清晰的图像。
2.根据权利要求1所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2中,传输图估计网络设置为多尺度残差结构,其对水下图像的蓝色通道传输图进行估计的方法包括先后进行的特征提取阶段和特征融合阶段;
特征提取阶段包括以下步骤
S2.1.1、设置三个卷积核大小不同的并行网络;
S2.1.2、三个并行网络首先经过两个卷积层进行初步特征提取;
S2.1.3、然后再经过八个密集残差模块做进一步特征提取;
S2.1.4、接着又经过两个1×1的卷积层进行特征组合;
S2.1.5、最后三个并行网络的输出一同进入特征融合阶段;
特征融合阶段包括以下步骤
S2.1.6、通过Concate层对特征提取阶段中三个并行网络的输出进行特征融合;
S2.1.7、再经过两个卷积层进行卷积操作后,输出蓝色通道传输图,前一卷积层后设置有ReLu层,后一卷积层后设置有Sigmoid层;
环境光估计网络对环境光进行估计的方法包括以下步骤
S2.2.1、对水下图像进行降采样到49×49×3;
S2.2.2、通过7×7扩张卷积核进行扩张卷积操作,扩张率设置为1,得到43×43×32大小的特征图;
S2.2.3、通过5×5扩张卷积核进行扩张卷积操作,扩张率设置为1,得到39×39×32大小的特征图;
S2.2.4、通过3×3最大池化层进行最大池化操作,得到13×13×16大小的特征图;
S2.2.5、通过5×5卷积核进行卷积操作,得到9×9×16大小的特征图;
S2.2.6、通过3×3最大池化层进行最大池化操作,得到3×3×16大小的特征图;
S2.2.7、通过3×3卷积核进行卷积操作,输出环境光,即[
Figure DEST_PATH_IMAGE002A
]。
3.根据权利要求2所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2.1.3中,密集残差模块由三组卷积层组成,每个卷积层后面依次是Batch Norm层和ReLu层,卷积层之间均进行密集连接;每个卷积层都生成64个特征图,将所有特征进行拼接后,通过1×1卷积核进行组合,密集残差模块的结尾再加上上一个全局残差作为输出。
4.根据权利要求2所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2中,特征提取阶段还包括自注意力模块,自注意力模块的输入设置为低核网络相应的密集残差模块的输出,经过两组3×3的卷积层加Sigmoid层后,与输入进行连接,得到特征图,最后用特征图调整高核网络对应的密集残差模块的输出,以作为最终的输出。
5.根据权利要求1所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S3中,水下图像的红色通道传输图和绿色通道传输图的计算方程如式(4)所示,
Figure DEST_PATH_IMAGE004
(4)
其中,
Figure DEST_PATH_IMAGE006
表示绿色通道传输图,
Figure DEST_PATH_IMAGE008
表示红色通道传输图,
Figure DEST_PATH_IMAGE010
表示蓝色通道传输图,
Figure DEST_PATH_IMAGE012
分别表示水下红色通道、绿色通道以及蓝色通道的衰减系数,水中不同颜色通道之间的衰减系数的比值可以表示为式(3),
Figure DEST_PATH_IMAGE014
(3)
其中,
Figure DEST_PATH_IMAGE016
分别表示红色通道、绿色通道以及蓝色通道的波长,分别为620nm、540nm以及450nm,
Figure DEST_PATH_IMAGE002AA
分别表示环境光的红色通道、绿色通道以及蓝色通道。
6.根据权利要求1所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S4中,水下光学成像模型如式(1)所示,
Figure DEST_PATH_IMAGE018
(1)
其中,x表示水下图像中的一个像素,c表示颜色通道,
Figure DEST_PATH_IMAGE020
表示相机捕获的图像,
Figure DEST_PATH_IMAGE022
表示场景亮度,
Figure DEST_PATH_IMAGE024
表示全局环境光,
Figure DEST_PATH_IMAGE026
表示传输图,
Figure DEST_PATH_IMAGE028
即表示恢复后的图像;
Figure DEST_PATH_IMAGE026A
可以进一步表示为式(2),
Figure DEST_PATH_IMAGE030
(2)
其中,
Figure DEST_PATH_IMAGE032
表示物体到相机的距离,
Figure DEST_PATH_IMAGE034
表示衰减系数。
7.根据权利要求2所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2中,环境光估计网络对环境光进行估计的方法中,随着特征图大小的减小,卷积核的大小逐渐减小。
8.根据权利要求2所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2中,环境光估计网络对环境光进行估计的方法中,每一卷积层之后均设置有一个ReLu层。
9.根据权利要求2所述的基于环境光与传输图并行估计网络的水下图像恢复方法,其特征在于:所述步骤S2.1.1中,三个并行网络的卷积核大小从上至下分别为7×7、5×5以及3×3。
CN202211126415.4A 2022-09-16 2022-09-16 基于环境光与传输图并行估计网络的水下图像恢复方法 Pending CN115205166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211126415.4A CN115205166A (zh) 2022-09-16 2022-09-16 基于环境光与传输图并行估计网络的水下图像恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211126415.4A CN115205166A (zh) 2022-09-16 2022-09-16 基于环境光与传输图并行估计网络的水下图像恢复方法

Publications (1)

Publication Number Publication Date
CN115205166A true CN115205166A (zh) 2022-10-18

Family

ID=83572826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211126415.4A Pending CN115205166A (zh) 2022-09-16 2022-09-16 基于环境光与传输图并行估计网络的水下图像恢复方法

Country Status (1)

Country Link
CN (1) CN115205166A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991663A (zh) * 2017-04-05 2017-07-28 淮海工学院 一种基于暗通道理论的水下彩色图像增强方法
CN111161161A (zh) * 2019-12-04 2020-05-15 天津大学 一种颜色保持的特征融合去雾方法
CN114066747A (zh) * 2021-10-19 2022-02-18 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法
CN114596233A (zh) * 2022-03-18 2022-06-07 天津大学 基于注意引导和多尺度特征融合的低照度图像增强方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991663A (zh) * 2017-04-05 2017-07-28 淮海工学院 一种基于暗通道理论的水下彩色图像增强方法
CN111161161A (zh) * 2019-12-04 2020-05-15 天津大学 一种颜色保持的特征融合去雾方法
CN114066747A (zh) * 2021-10-19 2022-02-18 重庆理工大学 一种基于光照和反射互补性的低照度图像增强方法
CN114596233A (zh) * 2022-03-18 2022-06-07 天津大学 基于注意引导和多尺度特征融合的低照度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGGANG DAI等: "Single underwater image restoration by decomposing curves of attenuating color", 《ELSEVIER》 *
SHUNMIN AN等: "Unsupervised single-image dehazing using the multiple-scattering model", 《APPLIED OPTICS》 *

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
CN111738948B (zh) 一种基于双U-net的水下图像增强方法
CN116309232B (zh) 一种结合物理先验与深度学习的水下图像增强方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN113298810A (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN113313732A (zh) 一种基于自监督学习的前视场景深度估计方法
CN114742719A (zh) 一种基于多特征融合的端到端图像去雾方法
CN115187638B (zh) 一种基于光流遮罩的无监督单目深度估计方法
CN115034982A (zh) 一种基于多尺度注意机制融合的水下图像增强方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
CN115272438A (zh) 一种面向三维场景重建的高精度单目深度估计系统及方法
CN114565539A (zh) 一种基于线上知识蒸馏的图像去雾方法
CN117391920A (zh) 基于rgb通道差分平面的大容量隐写方法及系统
Zhang et al. MFFE: multi-scale feature fusion enhanced net for image dehazing
CN112085674A (zh) 基于神经网络的航拍图像去模糊算法
CN116523790A (zh) 一种sar图像去噪优化方法、系统和存储介质
CN114926359B (zh) 联合双颜色空间恢复和多级解码结构的水下图像增强方法
CN113139990B (zh) 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN115205166A (zh) 基于环境光与传输图并行估计网络的水下图像恢复方法
Jamieson et al. DeepSeeColor: Realtime Adaptive Color Correction for Autonomous Underwater Vehicles via Deep Learning Methods
CN114881879A (zh) 一种基于亮度补偿残差网络的水下图像增强方法
CN115482280A (zh) 一种基于自适应直方图均衡化的视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221018

RJ01 Rejection of invention patent application after publication