CN115272115A - 基于物理和深度学习双重引导的水下图像增强网络及方法 - Google Patents
基于物理和深度学习双重引导的水下图像增强网络及方法 Download PDFInfo
- Publication number
- CN115272115A CN115272115A CN202210879108.7A CN202210879108A CN115272115A CN 115272115 A CN115272115 A CN 115272115A CN 202210879108 A CN202210879108 A CN 202210879108A CN 115272115 A CN115272115 A CN 115272115A
- Authority
- CN
- China
- Prior art keywords
- underwater
- network
- image
- underwater image
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 230000009977 dual effect Effects 0.000 title claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims abstract description 69
- 238000006731 degradation reaction Methods 0.000 claims abstract description 22
- 238000009795 derivation Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000000750 progressive effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims abstract description 5
- 230000015556 catabolic process Effects 0.000 claims description 20
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013136 deep learning model Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000002310 reflectometry Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 3
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000007670 refining Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000000149 argon plasma sintering Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000196171 Hydrodictyon reticulatum Species 0.000 description 1
- 101100014407 Pisum sativum GDCSP gene Proteins 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于物理和深度学习双重引导的水下图像增强网络及方法，物理引导是通过设计能体现深度信息的传输图导出方法来获取水下物理传输先验，并将其与传输引导块和非一致性损失函数进行有机结合，引导网络对水下图像退化过程所造成的失真进行补偿，深度学习引导是通过构建多阶段多颜色空间联合的渐进式网络，将水下图像增强任务分解为更小、更容易的子任务，来逐步恢复出干净的水下图像；第一阶段用于提取HSV和LAB颜色空间的编解码特征来丰富多阶段网络的特征；第二阶段用于在RGB颜色空间上整合和细化不同颜色空间的特征，对水下的色偏程度进行更有效检测；第三阶段用于保留水下图像的位置结构信息，网络能够在视觉质量和量化指标上均展现了显著的优越性。
Description
技术领域
本发明属于计算机视觉研究技术领域，更具体地说，特别涉及一种基于物理和深度学习双重引导的水下图像增强网络及方法。
背景技术
水下图像是海洋信息的重要载体，然而，由于水下环境浑浊、光照条件复杂，水下图像不可避免地出现颜色失真、对比度降低、光照度不均匀、噪声多等质量退化问题,不利于后续对海洋资源进行深入的研究和探索。因此，如何获取高质量的水下成像图像，为其他利用水下图像的领域提供更适合于人类或机器进行分析处理的准确图像表达形式，已引起图像处理和水下视觉领域的广泛关注。
传统的基于物理的水下图像复原算法，如RDCP、UDCP、GDCP以及UnderwaterHL，虽然能够在一定程度上学习输入和输出变量之间的可解释性关系，努力促进人们对物理世界的理解。但是，现有的物理模型大多都只是简单地使用雾霾成像模型近似估计，忽略了水下图像成像的特殊性，如人工光源和环境光对水下图像成像过程的影响等。此外，物理模型直接从数据中提取知识的能力有限，并且可能会受到先验信息的过度约束而难以应对更具挑战性的水下图像复原任务。近年来，深度学习因其具有强大的特征提取能力和非线性特征表达能力而被广泛应用。以UcycleGAN、Water-Net、UWCNN为代表，深度学习模型在水下图像增强领域也取得了令人鼓舞的结果。但是，目前的深度学习模型大多都是从其他领域照搬过来，没有考虑水下场景任务的适应性，难以处理广泛场景下的水下图像增强任务。此外，深度学习模型训练的有效性会受到成对训练集大小的限制，无法较好囊括水下图像的特征概率分布，其泛化能力有限。
发明内容
为了解决上述技术问题，本发明提供了一种基于物理和深度学习双重引导的水下图像增强网络及方法，本发明的模型建立于一个端到端可训练的多阶段多颜色空间联合的渐进式恢复方法，通过将水下图像增强任务分解为更小、更容易的子任务，来逐步恢复出干净的水下图像。本发明的模型主要由以下三个部分组成：1)本发明提出了传输导出模块，在该模块中，通过设计更合理的水下物理传输导出公式，来获取更准确的水下物理先验，为后续引导深度学习模型提取更有用的物理信息奠定良好基础；2)本发明设计了多阶段多颜色空间联合的渐进式网络，并将水下图像增强任务分解为三阶段子任务。其中，前两个阶段为多颜色空间增强模块，最后一个阶段为位置信息补偿模块。在多颜色空间增强模块中，第一阶段用于提取HSV和LAB颜色空间的编解码特征来丰富多阶段网络的特征；第二阶段用于在RGB颜色空间上整合和细化不同颜色空间的特征，对水下普遍存在的色偏程度进行有效的检测。而第三阶段的位置信息补偿模块则用于保留水下图像的位置结构信息。3)本发明设计了物理非一致性损失函数，Physical-Inconsistency Loss，用于引导深度学习模型重点关注退化程度较高区域，更有效地对水下图像退化过程所造成的失真进行补偿。4)本发明增加了VGG Loss和Charbonnier Loss。其中，VGG Loss用于优化网络所得结果的细节表现，得到更好的视觉效果，Charbonnier Loss用于更好地处理异常值，使增强后的水下图下更具真实感。
经过本发明大量的实验结果表明，本发明的模型可以有效移除水下图像的颜色伪影和光散射现象，增强水下图像对比度，更自然地恢复出高质量的水下图像。不论是在视觉质量方面还是在量化指标方面，本发明的方法对比大多SOTA水下图像增强算法都有更好的表现，有效的解决了上述存在的技术问题。
本发明是一种基于物理和深度学习双重引导的水下图像增强网络及方法的目的与功效，由以下具体技术手段所达成：
一种基于物理和深度学习双重引导的水下图像增强网络，它是三阶段渐进式增强结构，包含有传输导出模块、多颜色空间增强模块和位置信息补偿模块，原始水下图像作为网络的输入，会先经过多颜色空间增强模块，该模块主要由网络的前两阶段构成，负责完成多颜色空间特征的提取和细化，帮助网络检测和移除水下图像广泛存在的色偏现象；位置信息补偿模块作为网络的最后一个阶段，主要负责对前两阶段提取到的多颜色空间特征进行位置信息补偿，保留图像所需的精细纹理；传输导出模块服务于位置信息补偿模块，它通过对水下成像模型参数进行合理的估计，从而导出水下传输先验估计，用于加权退化程度较高的区域，使网络在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
所述多颜色空间增强模块所包含的颜色空间有HSV、LAB和RGB，通过在HSV和LAB颜色空间中提取到的特征信息用于辅助RGB颜色空间特征的提取和细化，提取相同图像在不同颜色空间的不同视觉表示，有效提高网络色偏检测和色偏移除的能力。
所述位置信息补偿模块通过在原始图像分辨率运行一系列的卷积操作来保留位置信息，能够有效补偿水下图像位置信息，而不需要采用任何的上下采样操作。
所述传输导出模块引导网络关注水下图像退化程度较高的区域，辅助位置信息补偿模块在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
一种基于物理和深度学习双重引导的水下图像增强网络的水下图像恢复方法，所述方法步骤为：一、原始水下图像进入多颜色空间增强模块中，首先进行RGB颜色空间到HSV和LAB颜色空间的转换，然后通过编码器-解码器子网络来提取经卷积层和通道注意力模块细化后的多尺度特征，并将这些特征通过一种跨阶段特征融合机制整合到第二阶段的编码器中。与此同时，这些特征会在参考图的监控下重新缩放到一个合理的值，有效避免了梯度消失问题。在得到HSV和LAB两个颜色空间的不同视觉表示后，通过concatenate操作来整合这两个颜色空间所提取到的特征，并使用通道注意力机制来加权不同颜色空间的重要性。最后，将这些特征整合到第二阶段的RGB颜色空间中，辅助第二阶段子网络完成水下图像增强任务。二、在得到多颜色空间增强模块所提取到的相同图像在不同颜色空间的不同视觉表示后，这些特征会流入到位置信息补偿模块，通过在原始水下图像分辨率下运行大量卷积操作来补偿前两阶段所丢失的位置信息。三、在位置信息补偿模块后期，引入传输导出模块。在传输导出模块中，根据水下成像模型合理估计模型参数，导出更准确的传输引导图。通过反转传输引导图来标识水下图像退化区域更为严重的部分，引导网络对这些区域进行重点关注。四、在Charbonnier Loss、VGG Loss和精心设计的Physical-InconsistencyLoss的指导下，完成模型端对端的训练。五、在完成上述操作后，基于物理和深度学习双重引导的水下图像增强网络最终能够获取无色偏现象、位置结构清晰的水下增强图像
所述步骤三中，所基于的物理成像模型如下所示：
其中，x是水下场景的某个像素点，Iλ(x)是成像设备所获取的水下图像，ρλ(x)表示场景点x的反射率，
表示均匀大气光强度，
表示人工光源强度，在
中，
表示场景辐射从水下场景中的x点经过d(x)距离传播反射并到达相机的剩余能量比，而t(λ)D(x)表示均匀大气光从水面穿过到达水下场景x点的剩余能量比，t(λ)也就是常说的传输率，这个参数与传输距离密切相关。
然后，通过计算水下图像局部块中的某一颜色通道的最低强度来获取水下图像无雾的特性，从而导出初始水下物理传输公式，即：
其中，Iλ(y)表示原始水下图像，Bλ(x)表示水下环境光，Ω(x)表示水下图像的局部区域，λ表示RGB三通道。
由于水对光的吸收作用，波长较长的红光在水中所包含的信息量很少甚至几乎没有，因此，基于最小值判断雾化程度的方法在水下场景中经常失效。为了解决这一问题，将上式的最小值问题转换为最大值问题，得到如下公式：
为了使传输率的计算兼顾RGB三个通道，采取了与RDCP相同的策略进行处理，通过使用反转的R通道表征R通道的退化程度，并对上式进行细化，得到如下公式：
由上式可以看出，传输率t(λ)d(x)计算的准确与否与环境光Bλ(x)息息相关。考虑到人工光源对水下环境光的影响，基于Retinex理论，提出了基于低通滤波估计环境光的方法。由Retinex理论可知，反射率ρλ(x)因与物体性质密切相关，变化会比较陡峭，具有高频特性，其余各项具有平滑变化的特点，属于低频分量。因此，对水下图像进行低通滤波后，反射分量等高频信息被滤除，保留的低频部分可用于环境光的估计。令场景点表面入射光
那么，对图像进行低通滤波后，对于远光点来说，
对于近光点来说，入射光的总光量可由人工光源近似，即
因此，通过下式可以得到环境光估计，即：
此外，为了使传输率的估算更加准确，除了在环境光的估算中要考虑人工光源的影响，还需在传输率的整体估算中考虑人工光源的影响，否则，在后续的图像复原阶段会出现过度补偿的现象。在人工光源的估算过程中，充分把握饱和度这一描述人工光源强度的线索，通过计算饱和度的缺失量来表征所施加的白光量，从而得出人工光源的强度。饱和度
的计算公式如下：
由于饱和度的缺失量可用于表征所施加的白光量，因此，很容易将饱和度插入到先验知识中，对传输率的计算进行扩展，得到步骤一中所述的水下物理传输导出公式，如下所示：
所述步骤四中，引导多阶段多颜色空间联合的渐进式网络学习输入与输出间相应物理关系的Physical-Inconsistency Loss的定义如下：
这里，第一项是平滑度项，第二项是权重为ω的数据项，其中，t表示物理模型导出的传输图，
表示深度学习模型预测的传输图。
Charbonnier Loss的定义如下：
其中，Js表示网络恢复的水下图像，Y表示参考图像，ε为常数，通常设为10-3VGGLoss的定义如下：
其中，φj(·)表示第j层卷积层
网络总的损失函数定义如下：
式中，Y代表参考图片，t代表网络预测的传输图，
代表经过步骤一中所述的水下物理传输导出公式导出的物理深度先验。为了平衡各损失的贡献，根据经验，将λ1、λ2的值分别设为0.05和0.005。
本发明至少包括以下有益效果：
本发明提供了一种端到端的可训练的基于物理和深度学习双重引导的网络，该网络能够有效移除水下图像的颜色伪影和光散射现象，增强水下图像对比度。在水下图像增强任务中，由于水下场景图像的色偏现象相比于地面场景图像来说更为广泛，因此，有必要在不同颜色空间进行色偏检测。第一级编码器-解码器网络负责提取HSV和LAB颜色空间的编解码特征，并将其作为辅助信息，帮助二级编码器-解码器网络在RGB颜色空间进行特征提取和细化。为了使恢复的水下图像尽最大可能保持位置信息，在第三阶段进行无任何上下采样的卷积操作，并通过所导出的传输先验来规范这一阶段的特征。此外，通过多阶段多颜色空间特征提取和VGG Loss以及传输引导块与物理非一致性损失的有机组合，使本发明提供的方法更具竞争力。在不同评价基准上进行的大量对比实验表明，本发明提供的方法在Test-R90和Test-S1000中，比当前的SOTA方法更具优越性。在其他的无参考图像的测试集中，本发明的方法的增强结果也获得了更优的可视质量。
附图说明
图1为本发明的网络模型图；
图2为本发明的物理传输引导效果图；
图3为本发明的方法消融效果对比图；
图4为本发明的有参考水下图像增强效果对比图；
图5为本发明的无参考水下图像增强效果对比图。
具体实施方式
下面通过实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
实施例：
本发明提供一种基于物理和深度学习双重引导的水下图像增强网络(DGPDL)，如附图1所示，它是三阶段渐进式增强结构，包含有传输导出模块、多颜色空间增强模块和位置信息补偿模块，原始水下图像作为网络的输入，会先经过多颜色空间增强模块，该模块主要由网络的前两阶段构成，负责完成多颜色空间特征的提取和细化，帮助网络检测和移除水下图像广泛存在的色偏现象；位置信息补偿模块作为网络的最后一个阶段，主要负责对前两阶段提取到的多颜色空间特征进行位置信息补偿，保留图像所需的精细纹理；传输导出模块服务于位置信息补偿模块，它通过对水下成像模型参数进行合理的估计，从而导出水下传输先验估计，用于加权退化程度较高的区域，使网络在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
进一步的，多颜色空间增强模块所包含的颜色空间有HSV、LAB和RGB，通过在HSV和LAB颜色空间中提取到的特征信息用于辅助RGB颜色空间特征的提取和细化，提取相同图像在不同颜色空间的不同视觉表示，有效提高网络色偏检测和色偏移除的能力。
进一步的，位置信息补偿模块通过在原始图像分辨率运行一系列的卷积操作来保留位置信息，能够有效补偿水下图像位置信息，而不需要采用任何的上下采样操作。
进一步的，传输导出模块引导网络关注水下图像退化程度较高的区域，辅助位置信息补偿模块在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
一种基于物理和深度学习双重引导的水下图像增强网络的水下图像恢复方法，所述方法步骤为：一、原始水下图像进入多颜色空间增强模块中，首先进行RGB颜色空间到HSV和LAB颜色空间的转换，然后通过编码器-解码器子网络来提取经卷积层和通道注意力模块细化后的多尺度特征，并将这些特征通过一种跨阶段特征融合机制整合到第二阶段的编码器中。与此同时，这些特征会在参考图的监控下重新缩放到一个合理的值，有效避免了梯度消失问题。在得到HSV和LAB两个颜色空间的不同视觉表示后，通过concatenate操作来整合这两个颜色空间所提取到的特征，并使用通道注意力机制来加权不同颜色空间的重要性。最后，将这些特征整合到第二阶段的RGB颜色空间中，辅助第二阶段子网络完成水下图像增强任务。二、在得到多颜色空间增强模块所提取到的相同图像在不同颜色空间的不同视觉表示后，这些特征会流入到位置信息补偿模块，通过在原始水下图像分辨率下运行大量卷积操作来补偿前两阶段所丢失的位置信息。三、在位置信息补偿模块后期，引入传输导出模块。在传输导出模块中，根据水下成像模型合理估计模型参数，导出更准确的传输引导图。通过反转传输引导图来标识水下图像退化区域更为严重的部分，引导网络对这些区域进行重点关注。四、在Charbonnier Loss、VGG Loss和精心设计的Physical-InconsistencyLoss的指导下，完成模型端对端的训练。五、在完成上述操作后，基于物理和深度学习双重引导的水下图像增强网络最终能够获取无色偏现象、位置结构清晰的水下增强图像。
所述步骤三中，所基于的物理成像模型如下所示：
其中，x是水下场景的某个像素点，Iλ(x)是成像设备所获取的水下图像，ρλ(x)表示场景点x的反射率，
表示均匀大气光强度，
表示人工光源强度，在
中，
表示场景辐射从水下场景中的x点经过d(x)距离传播反射并到达相机的剩余能量比，而t(λ)D(x)表示均匀大气光从水面穿过到达水下场景x点的剩余能量比，t(λ)也就是常说的传输率，这个参数与传输距离密切相关。
然后，通过计算水下图像局部块中的某一颜色通道的最低强度来获取水下图像无雾的特性，从而导出初始水下物理传输公式，即：
其中，Iλ(y)表示原始水下图像，Bλ(x)表示水下环境光，Ω(x)表示水下图像的局部区域，λ表示RGB三通道。
由于水对光的吸收作用，波长较长的红光在水中所包含的信息量很少甚至几乎没有，因此，基于最小值判断雾化程度的方法在水下场景中经常失效。为了解决这一问题，将上式的最小值问题转换为最大值问题，得到如下公式：
为了使传输率的计算兼顾RGB三个通道，采取了与RDCP相同的策略进行处理，通过使用反转的R通道表征R通道的退化程度，并对上式进行细化，得到如下公式：
由上式可以看出，传输率t(λ)d(x)计算的准确与否与环境光Bλ(x)息息相关。考虑到人工光源对水下环境光的影响，基于Retinex理论，提出了基于低通滤波估计环境光的方法。由Retinex理论可知，反射率ρλ(x)因与物体性质密切相关，变化会比较陡峭，具有高频特性，其余各项具有平滑变化的特点，属于低频分量。因此，对水下图像进行低通滤波后，反射分量等高频信息被滤除，保留的低频部分可用于环境光的估计。令场景点表面入射光
那么，对图像进行低通滤波后，对于远光点来说，
对于近光点来说，入射光的总光量可由人工光源近似，即
因此，通过下式可以得到环境光估计，即：
此外，为了使传输率的估算更加准确，除了在环境光的估算中要考虑人工光源的影响，还需在传输率的整体估算中考虑人工光源的影响，否则，在后续的图像复原阶段会出现过度补偿的现象。在人工光源的估算过程中，充分把握饱和度这一描述人工光源强度的线索，通过计算饱和度的缺失量来表征所施加的白光量，从而得出人工光源的强度。饱和度
的计算公式如下：
由于饱和度的缺失量可用于表征所施加的白光量，因此，很容易将饱和度插入到先验知识中，对传输率的计算进行扩展，得到步骤一中所述的水下物理传输导出公式，如下所示：
所述步骤四中，引导多阶段多颜色空间联合的渐进式网络学习输入与输出间相应物理关系的Physical-Inconsistency Loss的定义如下：
这里，第一项是平滑度项，第二项是权重为ω的数据项，其中，t表示物理模型导出的传输图，
表示深度学习模型预测的传输图。
Charbonnier Loss的定义如下：
其中，Js表示网络恢复的水下图像，Y表示参考图像，ε为常数，通常设为10-3VGGLoss的定义如下：
其中，φj(·)表示第j层卷积层
网络总的损失函数定义如下：
式中，Y代表参考图片，t代表网络预测的传输图，
代表经过步骤一中所述的水下物理传输导出公式导出的物理深度先验。为了平衡各损失的贡献，根据经验，将λ1、λ2的值分别设为0.05和0.005。本发明的水下图像增强效果对比图如附图4-5所示，本发明提出的方法取得了更好的效果。
本发明未详述之处，均为本领域技术人员的公知技术。
本发明的实施例是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显而易见的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (7)
1.基于物理和深度学习双重引导的水下图像增强网络，其特征在于：它是三阶段渐进式增强结构，包含有传输导出模块、多颜色空间增强模块和位置信息补偿模块，原始水下图像作为网络的输入，会先经过多颜色空间增强模块，该模块主要由网络的前两阶段构成，负责完成多颜色空间特征的提取和细化，帮助网络检测和移除水下图像广泛存在的色偏现象；位置信息补偿模块作为网络的最后一个阶段，主要负责对前两阶段提取到的多颜色空间特征进行位置信息补偿，保留图像所需的精细纹理；传输导出模块服务于位置信息补偿模块，它通过对水下成像模型参数进行合理的估计，从而导出水下传输先验估计，用于加权退化程度较高的区域，使网络在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
2.根据权利要求1所述的基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述多颜色空间增强模块所包含的颜色空间有HSV、LAB和RGB，通过在HSV和LAB颜色空间中提取到的特征信息用于辅助RGB颜色空间特征的提取和细化，提取相同图像在不同颜色空间的不同视觉表示，有效提高网络色偏检测和色偏移除的能力。
3.根据权利要求1所述的基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述位置信息补偿模块通过在原始图像分辨率运行一系列的卷积操作来保留位置信息，能够有效补偿水下图像位置信息，而不需要采用任何的上下采样操作。
4.根据权利要求1所述基于物理和深度学习双重引导的水下图像增强网络，其特征在于：所述传输导出模块引导网络关注水下图像退化程度较高的区域，辅助位置信息补偿模块在保持水下图像的位置结构信息的同时，对退化程度较高的区域进行更有效的响应。
5.根据权利要求1-4任一项所述的基于物理和深度学习双重引导的水下图像增强网络的处理方法，其特征在于：所述方法步骤为：一、原始水下图像进入多颜色空间增强模块中，首先进行RGB颜色空间到HSV和LAB颜色空间的转换，然后通过编码器-解码器子网络来提取经卷积层和通道注意力模块细化后的多尺度特征，并将这些特征通过一种跨阶段特征融合机制整合到第二阶段的编码器中；与此同时，这些特征会在参考图的监控下重新缩放到一个合理的值，有效避免了梯度消失问题；在得到HSV和LAB两个颜色空间的不同视觉表示后，通过concatenate操作来整合这两个颜色空间所提取到的特征，并使用通道注意力机制来加权不同颜色空间的重要性；最后，将这些特征整合到第二阶段的RGB颜色空间中，辅助第二阶段子网络完成水下图像增强任务；二、在得到多颜色空间增强模块所提取到的相同图像在不同颜色空间的不同视觉表示后，这些特征会流入到位置信息补偿模块，通过在原始水下图像分辨率下运行大量卷积操作来补偿前两阶段所丢失的位置信息；三、在位置信息补偿模块后期，引入传输导出模块；在传输导出模块中，根据水下成像模型合理估计模型参数，导出更准确的传输引导图，通过反转传输引导图来标识水下图像退化区域更为严重的部分，引导网络对这些区域进行重点关注；四、在Charbonnier Loss、VGG Loss和Physical-Inconsistency Loss的指导下，完成模型端对端的训练；五、在完成上述操作后，基于物理和深度学习双重引导的水下图像增强网络最终能够获取无色偏现象、位置结构清晰的水下增强图像。
6.根据权利要求5所述的基于物理和深度学习双重引导的水下图像增强网络的处理方法，其特征在于：所述步骤三中，所基于的物理成像模型如下所示：
其中，x是水下场景的某个像素点，Iλ(x)是成像设备所获取的水下图像，ρλ(x)表示场景点x的反射率，
表示均匀大气光强度，
表示人工光源强度，在
中，
t(λ)d(x)表示场景辐射从水下场景中的x点经过d(x)距离传播反射并到达相机的剩余能量比，而t(λ)D(x)表示均匀大气光从水面穿过到达水下场景x点的剩余能量比，t(λ)是传输率，这个参数与传输距离密切相关；
然后，通过计算水下图像局部块中的某一颜色通道的最低强度来获取水下图像无雾的特性，从而导出初始水下物理传输公式，即：
其中，Iλ(y)表示原始水下图像，Bλ(x)表示水下环境光，Ω(x)表示水下图像的局部区域，λ表示RGB三通道；
将上式的最小值问题转换为最大值问题，得到如下公式：
为了使传输率的计算兼顾RGB三个通道，采取了与RDCP相同的策略进行处理，通过使用反转的R通道表征R通道的退化程度，并对上式进行细化，得到如下公式：
对水下图像进行低通滤波后，反射分量等高频信息被滤除，保留的低频部分可用于环境光的估计，令场景点表面入射光
那么，对图像进行低通滤波后，对于远光点来说，
对于近光点来说，入射光的总光量可由人工光源近似，即
因此，通过下式可以得到环境光估计，即：
为了使传输率的估算更加准确，除了在环境光的估算中要考虑人工光源的影响，还需在传输率的整体估算中考虑人工光源的影响，在人工光源的估算过程中，充分把握饱和度这一描述人工光源强度的线索，通过计算饱和度的缺失量来表征所施加的白光量，从而得出人工光源的强度，饱和度
的计算公式如下：
由于饱和度的缺失量可用于表征所施加的白光量，因此，将饱和度插入到先验知识中，对传输率的计算进行扩展，得到步骤一中所述的水下物理传输导出公式，如下所示：
7.根据权利要求5所述的基于物理和深度学习双重引导的水下图像增强网络的处理方法，其特征在于：所述步骤四中，引导多阶段多颜色空间联合的渐进式网络学习输入与输出间相应物理关系的Physical-Inconsistency Loss的定义如下：
这里，第一项是平滑度项，第二项是权重为ω的数据项，其中，t表示物理模型导出的传输图，
表示深度学习模型预测的传输图；
Charbonnier Loss的定义如下：
其中，Js表示网络恢复的水下图像，Y表示参考图像，ε为常数，通常设为10-3
VGG Loss的定义如下：
其中，φj(·)表示第j层卷积层；
网络总的损失函数定义如下：
式中，Y代表参考图片，t代表网络预测的传输图，
代表经过步骤一中所述的水下物理传输导出公式导出的物理深度先验，为了平衡各损失的贡献，将λ1、λ2的值分别设为0.05和0.005。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210879108.7A CN115272115A (zh) | 2022-07-25 | 2022-07-25 | 基于物理和深度学习双重引导的水下图像增强网络及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210879108.7A CN115272115A (zh) | 2022-07-25 | 2022-07-25 | 基于物理和深度学习双重引导的水下图像增强网络及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115272115A true CN115272115A (zh) | 2022-11-01 |
Family
ID=83768139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210879108.7A Pending CN115272115A (zh) | 2022-07-25 | 2022-07-25 | 基于物理和深度学习双重引导的水下图像增强网络及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115272115A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309232A (zh) * | 2023-05-15 | 2023-06-23 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
| CN116863320A (zh) * | 2023-06-06 | 2023-10-10 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
| CN116993636A (zh) * | 2023-07-10 | 2023-11-03 | 中国地质大学（武汉） | 一种地下低照度深部地层空区图像增强方法和装置 |
-
2022
- 2022-07-25 CN CN202210879108.7A patent/CN115272115A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116309232A (zh) * | 2023-05-15 | 2023-06-23 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
| CN116309232B (zh) * | 2023-05-15 | 2023-08-18 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
| CN116863320A (zh) * | 2023-06-06 | 2023-10-10 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
| CN116863320B (zh) * | 2023-06-06 | 2024-03-29 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
| CN116993636A (zh) * | 2023-07-10 | 2023-11-03 | 中国地质大学（武汉） | 一种地下低照度深部地层空区图像增强方法和装置 |
| CN116993636B (zh) * | 2023-07-10 | 2024-02-13 | 中国地质大学（武汉） | 一种地下低照度深部地层空区图像增强方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115272115A (zh) | 基于物理和深度学习双重引导的水下图像增强网络及方法 | |
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| Çelebi et al. | Visual enhancement of underwater images using empirical mode decomposition | |
| CN109118446B (zh) | 一种水下图像复原及去噪方法 | |
| CN105046653B (zh) | 一种视频雨滴去除方法及系统 | |
| Zhou et al. | Underwater image restoration via depth map and illumination estimation based on a single image | |
| CN111179202B (zh) | 一种基于生成对抗网络的单幅图像去雾增强方法和系统 | |
| CN111145290B (zh) | 一种图像彩色化方法、系统和计算机可读存储介质 | |
| Fang et al. | Variational single image dehazing for enhanced visualization | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Zhou et al. | Multicolor light attenuation modeling for underwater image restoration | |
| CN113379707A (zh) | 一种基于动态滤波解耦卷积网络的rgb-d显著性检测方法 | |
| CN113610732A (zh) | 基于交互对抗学习的全聚焦图像生成方法 | |
| Yang et al. | Underwater image enhancement with latent consistency learning‐based color transfer | |
| Ke et al. | Single underwater image restoration based on descattering and color correction | |
| Thomas et al. | Dehazing underwater images using encoder decoder based generic model-agnostic convolutional neural network | |
| Jiang et al. | Perception-Driven Deep Underwater Image Enhancement without Paired Supervision | |
| Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
| CN117351340A (zh) | 基于双颜色空间的水下图像增强算法 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| CN115456910A (zh) | 一种用于严重颜色畸变水下图像的颜色恢复方法 | |
| Wang et al. | Gray projection for single image dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |