CN117952879A - 综合退化、估计和恢复的水下图像增强方法、装置、设备 - Google Patents
综合退化、估计和恢复的水下图像增强方法、装置、设备 Download PDFInfo
- Publication number
- CN117952879A CN117952879A CN202410345844.3A CN202410345844A CN117952879A CN 117952879 A CN117952879 A CN 117952879A CN 202410345844 A CN202410345844 A CN 202410345844A CN 117952879 A CN117952879 A CN 117952879A
- Authority
- CN
- China
- Prior art keywords
- image
- underwater
- model
- virtual
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 230000015556 catabolic process Effects 0.000 title claims abstract description 43
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 43
- 238000011084 recovery Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 70
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 55
- 230000006870 function Effects 0.000 claims description 44
- 238000001914 filtration Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 108091006146 Channels Proteins 0.000 description 132
- 230000002787 reinforcement Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种综合退化、估计和恢复的水下图像增强方法、装置、设备，利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到。依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型。利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出真实水下图像对应的水下深度图。基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型进行训练。将真实水下图像以及水下深度图输入至训练好的图像增强模型，以输出增强图像，提升了水下图像的图像质量。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及综合退化、估计和恢复的水下图像增强方法、装置、设备。
背景技术
由于水下复杂的成像环境导致光视觉系统获取到的水下图像通常遭受视觉退化问题，如色彩偏差，对比度低和细节模糊，造成水下图像的图像质量不高。
对于水下作业，特别是水下机器人作业等场景，水下图像增强具有广阔的应用前景。目前许多水下图像增强算法被提出来解决这些问题。然而，受水下条件的限制，获取水下图像的深度图往往是一个挑战，这一限制严重影响了基于数据驱动的方法和基于物理模型的方法的性能，导致水下图像的增强效果一般。
可见，如何提升水下图像的图像质量，是本领域技术人员需要解决的问题。
发明内容
本发明实施例的目的是提供一种综合退化、估计和恢复的水下图像增强方法、装置、设备，可以提升水下图像的图像质量。
为解决上述技术问题，本发明实施例提供一种综合退化、估计和恢复的水下图像增强方法，包括：
利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，所述水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到；
依据所述虚拟水下图像以及所述深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型；
利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出所述真实水下图像对应的水下深度图；
将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像；其中，所述图像增强模型基于所述虚拟水下图像及其匹配的虚拟水下深度图以及所述陆上图像对初始图像增强模型训练得到。
一方面，针对于所述水下成像模型的训练过程，所述方法包括：
将所述历史陆上图像按照RGB三通道拆分为单通道图像；其中，水下成像模型包含多个生成器，每个生成器对应一个通道；
利用生成器对其匹配的单通道图像以及历史深度图进行解析，以确定出单通道虚拟水下图像；
将所述RGB三通道各自对应的单通道虚拟水下图像合并作为历史虚拟水下图像；
利用鉴别器对所述历史虚拟水下图像以及历史真实水下图像进行比较，以构建损失函数；
依据所述损失函数对所述水下成像模型的模型参数进行迭代调整，以得到训练好的水下成像模型。
一方面，针对于所述虚拟水下图像所匹配的深度图的确定过程，所述方法包括：
利用训练好的图像深度生成模型对所述虚拟水下图像进行分析，以输出所述虚拟水下图像对应的虚拟水下深度图。
一方面，所述初始图像增强模型基于对水下图像处理算法进行通道补偿、对比度拉伸和高通滤波融合后构建得到。
一方面，针对于所述图像增强模型的训练过程，所述方法包括：
按照与水下场景匹配的通道补偿规则，对所述虚拟水下图像进行RGB三通道的通道补偿，以得到补偿后的第一虚拟水下图像；其中，所述通道补偿规则为依据RGB三通道下各通道图像的平均值的大小关系设置的各通道图像的颜色补偿方式；
利用水下图像处理算法对所述第一虚拟水下图像及其对应的虚拟水下深度图进行增强处理，以得到恢复图像；
对所述恢复图像的强度值进行对比度拉伸处理，以得到拉伸图像；
对所述拉伸图像进行高通滤波融合，以得到历史增强图像；
基于所述历史增强图像、所述陆上图像以及基线图像，对所述初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型；其中，所述基线图像为所述初始图像增强模型按照默认模型参数对所述第一虚拟水下图像和所述虚拟水下深度图进行分析所得到的图像。
一方面，基于所述历史增强图像、所述陆上图像以及基线图像，对所述初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型包括：
调用第一损失函数计算公式，对所述历史增强图像以及所述陆上图像进行处理，以得到损失分数；其中，所述第一损失函数计算公式如下：
；
其中，sc表示损失分数，X表示所述陆上图像的宽度，Y表示所述陆上图像的高度，表示每个像素的位置坐标，/>表示在坐标/>处所述陆上图像的值，/>表示在坐标/>处所述历史增强图像的值，下标c表示颜色通道，/>表示向量作差之后各分量的平方和的开根号；
调用第二损失函数计算公式，对所述基线图像以及所述陆上图像进行处理，以得到基线分数；其中，所述第二损失函数计算公式如下：
；
其中，sc 0表示基线分数，表示在坐标/>处所述基线图像的值；
基于每个像素对应的损失分数以及基线分数，构建奖励函数；
利用所述奖励函数对所述初始图像增强模型的模型参数进行迭代调整，以得到训练好的图像增强模型。
一方面，将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像包括：
按照与水下场景匹配的通道补偿方式，对所述真实水下图像进行RGB三通道的通道补偿，以得到补偿后的水下图像；
利用调整模型参数后的水下图像处理算法对补偿后的水下图像及其对应的水下深度图进行增强处理，以得到目标恢复图像；
对所述目标恢复图像的强度值进行对比度拉伸处理，以得到目标拉伸图像；
对所述目标拉伸图像进行高通滤波融合，以得到所述增强图像。
本发明实施例还提供了一种综合退化、估计和恢复的水下图像增强装置，包括第一分析单元、训练单元、第二分析单元和输出单元；
所述第一分析单元，用于利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，所述水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到；
所述训练单元，用于依据所述虚拟水下图像以及所述深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型；
所述第二分析单元，用于利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出所述真实水下图像对应的水下深度图；
所述输出单元，用于将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像；其中，所述图像增强模型基于所述虚拟水下图像及其匹配的虚拟水下深度图以及所述陆上图像对初始图像增强模型训练得到。
一方面，针对于所述水下成像模型的训练过程，所述装置包括拆分单元、解析单元、合并单元、比较单元和调整单元；
所述拆分单元，用于将所述历史陆上图像按照RGB三通道拆分为单通道图像；其中，水下成像模型包含多个生成器，每个生成器对应一个通道；
所述解析单元，用于利用生成器对其匹配的单通道图像以及历史深度图进行解析，以确定出单通道虚拟水下图像；
所述合并单元，用于将所述RGB三通道各自对应的单通道虚拟水下图像合并作为历史虚拟水下图像；
所述比较单元，用于利用鉴别器对所述历史虚拟水下图像以及历史真实水下图像进行比较，以构建损失函数；
所述调整单元，用于依据所述损失函数对所述水下成像模型的模型参数进行迭代调整，以得到训练好的水下成像模型。
一方面，针对于所述虚拟水下图像所匹配的深度图的确定过程，所述装置包括确定单元；
所述确定单元，用于利用训练好的图像深度生成模型对所述虚拟水下图像进行分析，以确定出所述虚拟水下图像对应的虚拟水下深度图。
一方面，所述初始图像增强模型基于对水下图像处理算法进行通道补偿、对比度拉伸和高通滤波融合后构建得到。
一方面，针对于所述图像增强模型的训练过程，所述装置包括第一补偿单元、第一增强单元、第一对比度拉伸处理单元、第一高通滤波融合单元和模型参数调整单元；
所述第一补偿单元，用于按照与水下场景匹配的通道补偿规则，对所述虚拟水下图像进行RGB三通道的通道补偿，以得到补偿后的第一虚拟水下图像；其中，所述通道补偿规则为依据RGB三通道下各通道图像的平均值的大小关系设置的各通道图像的颜色补偿方式；
所述第一增强单元，用于利用水下图像处理算法对所述第一虚拟水下图像及其对应的虚拟水下深度图进行增强处理，以得到恢复图像；
所述第一对比度拉伸处理单元，用于对所述恢复图像的强度值进行对比度拉伸处理，以得到拉伸图像；
所述第一高通滤波融合单元，用于对所述拉伸图像进行高通滤波融合，以得到历史增强图像；
所述模型参数调整单元，用于基于所述历史增强图像、所述陆上图像以及基线图像，对所述初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型；其中，所述基线图像为所述初始图像增强模型按照默认模型参数对所述第一虚拟水下图像和所述虚拟水下深度图进行分析所得到的图像。
一方面，所述模型参数调整单元用于调用第一损失函数计算公式，对所述历史增强图像以及所述陆上图像进行处理，以得到损失分数；其中，所述第一损失函数计算公式如下：
；
其中，sc表示损失分数，X表示所述陆上图像的宽度，Y表示所述陆上图像的高度，表示每个像素的位置坐标，/>表示在坐标/>处所述陆上图像的值，/>表示在坐标/>处所述历史增强图像的值，下标c表示颜色通道，/>表示向量作差之后各分量的平方和的开根号；
调用第二损失函数计算公式，对所述基线图像以及所述陆上图像进行处理，以得到基线分数；其中，所述第二损失函数计算公式如下：
；
其中，sc 0表示基线分数，表示在坐标/>处所述基线图像的值；
基于每个像素对应的损失分数以及基线分数，构建奖励函数；
利用所述奖励函数对所述初始图像增强模型的模型参数进行迭代调整，以得到训练好的图像增强模型。
一方面，所述输出单元包括第二补偿单元、第二增强单元、第二对比度拉伸处理单元、第二高通滤波融合单元；
所述第二补偿单元，用于按照与水下场景匹配的通道补偿方式，对所述真实水下图像进行RGB三通道的通道补偿，以得到补偿后的水下图像；
所述第二增强单元，用于利用调整模型参数后的水下图像处理算法对补偿后的水下图像及其对应的水下深度图进行增强处理，以得到目标恢复图像；
所述第二对比度拉伸处理单元，用于对所述目标恢复图像的强度值进行对比度拉伸处理，以得到目标拉伸图像；
所述第二高通滤波融合单元，用于对所述目标拉伸图像进行高通滤波融合，以得到所述增强图像。
本发明实施例还提供了一种综合退化、估计和恢复的水下图像增强设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如上述综合退化、估计和恢复的水下图像增强方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述综合退化、估计和恢复的水下图像增强方法的步骤。
由上述技术方案可以看出，利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到。为了使得基于深度估计方法构建的初始图像深度生成模型能够适用于水下场景，从而生成水下图像的深度图，可以依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型。利用训练好的图像深度生成模型对获取的真实水下图像进行分析，可以确定出真实水下图像对应的水下深度图。为了提升水下图像的质量，可以基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型进行训练，以优化模型参数，从而得到训练好的图像增强模型。将真实水下图像以及水下深度图输入至训练好的图像增强模型，便可以输出增强图像。在该技术方案中，通过各种水下场景的历史真实水下图像对抗虚拟水下图像，来对水下成像模型进行对抗训练，使得训练好的水下成像模型可以生成具有物理变化的虚拟水下图像。为了能获取到水下图像对应的深度图，采用虚拟水下图像以及深度图对初始图像深度生成模型进行训练，从而使得训练好的图像深度生成模型可以生成真实水下图像所对应的水下深度图。通过优化图像增强模型的模型参数，使得图像增强模型可以实现对水下图像的自动增强。相比于真实水下图像，增强图像有效的解决了水下图像遭受的视觉退化问题，实现了水下图像的增强，提升了水下图像的图像质量。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强方法的流程图；
图2为本发明实施例提供的一种水下成像模型的训练过程的方法的流程图；
图3为本发明实施例提供的一种水下成像模型的结构示意图；
图4为本发明实施例提供的一种图像增强模型的训练方法的流程图；
图5为本发明实施例提供的一种基于强化学习配置智能Sea-thru的示意图；
图6为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强装置的结构示意图；
图7为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的说明书及上述附图中的术语“包括”和“具有”，以及与“包括”和“具有”相关的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
接下来，详细介绍本发明实施例所提供的一种综合退化、估计和恢复的水下图像增强方法。图1为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强方法的流程图，该方法包括：
S101：利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像。
水下成像模型可以用于生成虚拟水下图像的模型。其中，水下成像模型可以基于历史陆上图像、历史深度图以及历史真实水下图像训练得到。
在本发明实施例中，对于包含相同目标物的图像，在水下场景采集的图像称作水下图像，在非水下场景采集的图像称作陆上图像。相比于水下图像，陆上图像不存在视觉退化问题。
为了便于区分，可以将真实获取的水下图像称作真实水下图像，将模型生成的水下图像称作虚拟水下图像。
为了便于描述，可以采用I c 表示陆上图像，采用U c 表示真实水下图像，采用V c 表示虚拟水下图像，采用D表示深度图。
在实际应用中，可以将物理上全面的水下图像成像模型（Akkaynak-Treibitz）纳入到生成对抗网络中，从而得到水下成像模型。通过真实水下图像与虚拟水下图像对抗式学习来调整水下成像模型的模型参数。
生成对抗网络通过各种水下场景对抗虚拟水下图像进行对抗训练，使得训练得到的水下成像模型可以合成具有物理变化的虚拟水下图像。也即通过对抗训练得到的水下成像模型可以更全面地合成满足物理规律的虚拟水下图像。
水下成像模型的训练阶段和应用阶段的输入图像并不相同，可以将训练阶段输入的陆上图像称作历史陆上图像，将训练阶段输入的深度图称作历史深度图，将训练阶段所使用的真实水下图像称作历史真实水下图像。
在完成水下成像模型的训练好，在获取到陆上图像和深度图后，可以将陆上图像和深度图输入到训练好的水下成像模型，该水下成像模型可以输出虚拟水下图像。
S102：依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型。
在本发明实施例中，可以采用深度估计模型（AdaBins）作为初始图像深度生成模型。
考虑到目前的深度估计模型并不适用于水下场景，因此可以利用虚拟水下图像以及深度图对初始图像深度生成模型进行训练，从而使得训练好的图像深度生成模型能够适用于水下场景，可以生成水下图像的深度图。
S103：利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出真实水下图像对应的水下深度图。
在获取到真实水下图像后，可以将真实水下图像输入至训练好的图像深度生成模型，该图像深度生成模型会输出深度图。
在实际应用中，为了便于区分，可以将真实水下图像输入图像深度生成模型，所输出的深度图称作水下深度图；将虚拟水下图像输入图像深度生成模型，所输出的深度图称作虚拟水下深度图。
为了便于描述，可以采用表示水下深度图，采用/>表示虚拟水下深度图。
S104：将真实水下图像以及水下深度图输入至训练好的图像增强模型，以输出增强图像。
在本发明实施例中，可以采用图像处理技术对水下图像处理算法（Sea-thru）进行丰富来构建图像增强模型。
对水下图像处理算法的丰富可以包括增加对图像的通道补偿、对比度拉伸和高通滤波融合处理。
为了使得构建的图像增强模型能够实现对水下图像的自动增强，需要对图像增强模型进行训练。为了便于区分，可以将训练前的图像增强模型称作初始图像增强模型。
在实际应用中，可以基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型进行训练，从而得到训练好的图像增强模型。
其中，虚拟水下图像及其匹配的虚拟水下深度图可以作为初始图像增强模型的输入，该初始图像增强模型会输出历史增强图像。将该历史增强图像与陆上图像进行比较，来实现对初始图像增强模型的模型参数的调整。通过多次的迭代训练，从而得到训练好的图像增强模型。
对于虚拟水下图像所匹配的虚拟水下深度图的获取，可以利用训练好的图像深度生成模型对虚拟水下图像进行分析，以输出虚拟水下图像对应的虚拟水下深度图。
在得到训练好的图像增强模型后，可以将真实水下图像以及水下深度图输入至训练好的图像增强模型，该图像增强模型会输出增强图像。为了便于描述可以采用J c 表示增强图像。
由上述技术方案可以看出，利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到。为了使得基于深度估计方法构建的初始图像深度生成模型能够适用于水下场景，从而生成水下图像的深度图，可以依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型。利用训练好的图像深度生成模型对获取的真实水下图像进行分析，可以确定出真实水下图像对应的水下深度图。为了提升水下图像的质量，可以基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型进行训练，以优化模型参数，从而得到训练好的图像增强模型。将真实水下图像以及水下深度图输入至训练好的图像增强模型，便可以输出增强图像。在该技术方案中，通过各种水下场景的历史真实水下图像对抗虚拟水下图像，来对水下成像模型进行对抗训练，使得训练好的水下成像模型可以生成具有物理变化的虚拟水下图像。为了能获取到水下图像对应的深度图，采用虚拟水下图像以及深度图对初始图像深度生成模型进行训练，从而使得训练好的图像深度生成模型可以生成真实水下图像所对应的水下深度图。通过优化图像增强模型的模型参数，使得图像增强模型可以实现对水下图像的自动增强。相比于真实水下图像，增强图像有效的解决了水下图像遭受的视觉退化问题，实现了水下图像的增强，提升了水下图像的图像质量。
在本发明实施例中，水下成像模型可以基于水下图像成像模型（Akkaynak-Treibitz）通过对抗训练得到。
对于Akkaynak-Treibitz，在每个颜色通道c∈{r, g, b}中，水下图像U c 由两个分量组成，即直接信号D c 和后向散射信号B c 。
直接信号Dc可以由如下公式（1）表示：
（1）；
其中，表示与d相关的衰减系数，d为相机与场景中物体之间的距离。
对任意范围d的依赖关系使用2项指数的形式表示，如下公式（2）所示：
（2）；
其中，k c 、l c 、m c 、n c 均为拟合得到衰减系数的参数，k c 的取值范围为，l c 的取值范围为/>，m c 的取值范围为/>，n c 的取值范围为/>。
后向散射信号B c 可以由如下公式（3）表示：
（3）；
其中，、/>、/>、/>均为拟合得到后向散射信号的参数。
根据公式（1）至公式（3）可以得到虚拟水下图像的计算公式，如下公式（4）所示：
（4）。
在水下成像模型的对抗式训练过程中，可以将历史陆上图像和历史深度图作为生成器的输入，生成器可以输出历史虚拟水下图像。鉴别器可以将历史虚拟水下图像与历史真实水下图像进行比较，来构建损失函数，从而实现对水下成像模型的模型参数的优化，从而训练生成能够合成满足物理规律的虚拟水下图像的水下成像模型。其中，水下成像模型的模型参数为公式（4）中提及的k c 、l c 、m c 、n c 、、/>、/>和/>。
图2为本发明实施例提供的一种水下成像模型的训练过程的方法的流程图，该方法包括：
S201：将历史陆上图像按照RGB三通道拆分为单通道图像。
水下成像模型可以包括生成器和鉴别器。其中，生成器可以有多个，每个生成器对应一个通道。
对于陆上图像I c ，其在R通道上的单通道图像可以采用I r 表示，其在G通道上的单通道图像可以采用I g 表示，其在B通道上的单通道图像可以采用I b 表示。
S202：利用生成器对其匹配的单通道图像以及历史深度图进行解析，以确定出单通道虚拟水下图像。
对于虚拟水下图像V c ，其在R通道上的单通道虚拟水下图像可以采用V r 表示，其在G通道上的单通道虚拟水下图像可以采用V g 表示，其在B通道上的单通道虚拟水下图像可以采用V b 表示。
图3为本发明实施例提供的一种水下成像模型的结构示意图，水下生成模型包括生成器和鉴别器。生成器以陆上图像和深度图作为输入，合成的虚拟水下图像作为输出。水下图像成像模型会分别计算图像的R、G、B三个通道。因此，使用三个独立的生成器G r 、G g 和G b 来构建生成网络。三个生成器分别估计三个通道。生成器G r 、G g 和G b 的网络结构可以均采用Resnet18网络，用于陆上图像退化的生成对抗网络的生成过程，如图3左侧所示。图3中采用五角星表示深度图。
生成器G r 、G g 和G b 分别以陆上图像I c 的I r 、I g 、I b 三个通道作为输入。以R通道I r 为例，生成器G r 输出模型参数k r 、l r 、m r 、n r 、、/>、/>和/>的值。根据公式（2）可知，衰减系数由参数k r 、l r 、m r 、n r 和深度图包含的d计算得到。图3左侧中与G r 相邻的吸收模型可以依据公式（2）对参数k r 、l r 、m r 、n r 和深度图包含的d进行计算，得到衰减系数，按照公式（1）将该衰减系数与陆上图像I r 进行运算，可以得到直接信号D r 。根据公式（3）可知，后向散射信号B r 由参数/>、/>、/>和/>和深度图包含的d计算得到。图3左侧中与G r 相邻的散射模型可以依据公式（3）对参数/>、/>、/>和/>和深度图包含的d进行计算，得到后向散射信号B r ，将该后向散射信号B r 与直接信号D r 相加，可以得到R通道下的虚拟水下图像V r 。由公式（4）可知，虚拟水下图像V c 的R通道对应的虚拟水下图像V r 由I r 、/>、B r 、d合成。同理，按照与R通道相同的处理流程，可以得到G通道对应的虚拟水下图像V g ，以及B通道对应的虚拟水下图像V b 。
S203：将RGB三通道各自对应的单通道虚拟水下图像合并作为历史虚拟水下图像。
在得到RGB三通道各自对应单通道虚拟水下图像后，将V r 、V g 、V b 合并可以得到虚拟水下图像V c 。
S204：利用鉴别器对历史虚拟水下图像以及历史真实水下图像进行比较，以构建损失函数。
鉴别器以真实水下图像U c 和虚拟水下图像V c 为输入，鉴别其是否为真实水下图像的输出。在实际应用中，可以使用四个独立的鉴别器D r ，D g ，D b 和D rgb 来构建鉴别网络。这四种鉴别器具有相同的网络结构，用于陆上图像退化的生成对抗网络的鉴别过程如图3右侧所示。
以鉴别器D r 为例，它将水下图像U c 的R通道U r 和虚拟水下图像V c 的R通道V r 作为输入，并给出判断其是否为真实水下图像U c 的R通道的真实水下图像U r 的输出。同理，可以得到D g 和D b 的输出。与生成器不同，鉴别网络有一个额外的鉴别器D rgb 。它将真实水下图像U c 和虚拟水下图像V c 作为输入，并给出鉴别虚拟水下图像V c 是否为真实水下图像U c 的输出。
S205：依据损失函数对水下成像模型的模型参数进行迭代调整，以得到训练好的水下成像模型。
对生成网络和鉴别网络交替进行生成对抗网络的训练。通过对抗性训练，他们的生成能力和鉴别能力分别逐渐提高。在实际应用中，可以使用最优传输距离（WassersteinGAN，WGAN）梯度惩罚（Gradient Penalty，GP）损失来实现稳定收敛。
从四个鉴别器的输出中计算了四个WGAN-GP损失。总损失是四个WGAN-GP损失的总和。当识别网络不能正确区分虚拟水下图像V c 和真实水下图像U c 时，对抗训练终止。在这种情况下，生成网络和鉴别网络一起实现最优表示，并且不能通过进一步的对抗性训练来改进。
生成网络以陆上图像和深度图作为输入，合成虚拟水下图像作为输出。按此操作可以得到虚拟rgb-d数据集，它是一个三元组的集合，对于每个三元组（I c ，V c ，D），I c 表示陆上图像，V c 表示虚拟水下图像，D表示深度图。每个三元组中的I c ，V c ，D是同一个场景。
在本发明实施例中，通过使用陆上图像和深度图以及真实水下图像训练生成对抗网络。生成对抗网络通过真实水下图像与虚拟水下图像对抗式学习模型参数，使得训练好的水下成像模型可以合成具有物理变化的虚拟水下图像。与简化的水下成像模型相比，将Akkaynak-Treibitz水下成像模型纳入到生成对抗网络中，可以更全面地合成满足物理规律的虚拟水下图像。
图4为本发明实施例提供的一种图像增强模型的训练方法的流程图，该方法包括：
S401：按照与水下场景匹配的通道补偿规则，对虚拟水下图像进行RGB三通道的通道补偿，以得到补偿后的第一虚拟水下图像。
其中，通道补偿规则可以为依据RGB三通道下各通道图像的平均值的大小关系所设置的各通道图像的颜色补偿方式。RGB三通道包括红色通道（R通道）、绿色通道（G通道）和蓝色通道（B通道）。
由于红光在水下场景中波长最长，衰减最严重，因此水下图像中红色通道的强度一般较低。因此可以优先处理保存相对较好的蓝色通道和绿色通道。
在浑浊的水下条件下，由于高浓度的浮游生物对有机物的吸收，绿色通道通常比蓝色通道保存得更好。在这种情况下，绿色通道的平均值一般大于蓝色通道的平均值。为了便于描述，可以采用表示绿色通道的平均值，采用/>表示蓝色通道的平均值。在/>的情况下，可以用绿色通道的水下图像U g 补偿蓝色通道的水下图像U b 。
此外，在深水场景中，蓝色通道通常比绿色通道保存得更好，因为波长较长的光在水中往往会经历更显著的衰减。这导致绿色通道比蓝色通道经历更多的衰减。在这种情况下，绿色通道的平均值一般小于或等于蓝色通道的平均值，即。因此，用蓝色通道的水下图像U b 补偿绿色通道的水下图像U g 。
在这两个情况下，对蓝色通道和绿色通道都进行补偿，补偿后的蓝色通道和补偿后的绿色通道如下：
；
其中，U b 表示蓝色通道的水下图像，表示通道补偿后的蓝色通道对应的水下图像，/>表示蓝色通道的平均值，U g 表示绿色通道的水下图像，/>表示通道补偿后的绿色通道对应的水下图像，/>表示绿色通道的平均值。
上述公式表示，在的情况下，用绿色通道的水下图像U g 补偿蓝色通道的水下图像U b 。绿色通道仍保持自身的水下图像即可，绿色通道的水下图像无需进行通道补偿。
在的情况下，用蓝色通道的水下图像U b 补偿绿色通道的水下图像U g 。蓝色通道仍保持自身的水下图像即可，蓝色通道的水下图像无需进行通道补偿。
在对蓝色通道和绿色通道进行补偿之后，利用补偿后的绿色通道进一步补偿红色通道的水下图像U r 。图像中的绿色通道通常包含与红色通道互补的颜色信息，通过结合来自绿色通道的信息，可以在保留图像固有视觉外观的同时实现更广泛的颜色恢复。因此，对红色通道进行补偿，得到补偿后的红色通道如下：
；
其中，U r 表示红色通道的水下图像，表示通道补偿后的红色通道对应的水下图像，/>表示红色通道的平均值。
将通道补偿后的、/>和/>合并，可以得到通道补偿后的第一虚拟水下图像。
S402：利用水下图像处理算法对第一虚拟水下图像及其对应的虚拟水下深度图进行增强处理，以得到恢复图像。
图像增强模型有许多模型参数，为了获得参数值，可以采用Sea-thru方法进行估计。具体来说，Sea-thru是对后向散射信号和衰减系数的数学估计。
Sea-thru估计后向散射信号B c ：它将深度图划分为从最小值到最大值的10个均匀间隔的簇，在每个深度簇中，它在真实水下图像U c 中搜索底部1%内的rgb三元组，并用Ω表示它们。然后在整个图像上，B c (Ω)≈U c (Ω)是后向散射信号的估计值。根据公式（3），采用非线性最小二乘拟合估计参数、/>、/>、/>。
Sea-thru估计衰减系数，/>与局部光源图/>有关，因此衰减系数的估计如下公式（5）：
（5）；
其中，表示局部光源图。
利用局部空间平均色方法的一种变体，得到了局部光源图。/>
通过更新下式迭代估计局部空间平均颜色：
（6）；
（7）；
其中，表示每个像素的位置坐标，/>表示在坐标/>处的深度值，表示随机坐标，/>表示在坐标/>处的深度值，/>表示以/>为中心、与/>的4连通像素，/>表示在坐标/>处局部空间平均颜色图的值，表示在坐标/>处的值，w是在邻域图构建过程中评估两个像素是否属于同一邻域的范围阈值，p是描述计算平均值的局部支持区域的因子，p控制光源贴图的位置，/>表示向量作差之后各分量的平方和的开根号。较大的w值反映了对深度差异的较高容忍度，从而在生成的邻域图中产生较大的邻域。较大的p值表示对较小的邻域计算局部空间平均颜色。
局部照度图的估计如下公式（8）所示：
（8）；
其中，表示局部照亮图，a c 表示局部空间平均颜色图，f表示基于几何的因子，对所有通道进行等量缩放。较大的f值反映了图像的低亮度。
利用深度d并改进从公式（7）和公式（8）得到的的估计，使之服从给定的深度d。公式（5）被重写为/>由最小值计算：
（9）；
其中，定义为公式（2）的形式，并使用非线性最小二乘拟合来估计参数k c 、l c 、m c 、n c 。
结合公式（3），可以将公式（4）变形后的得到如下公式（10）：
（10）；
其中，l是影响图像强度的因子，l的取值反映了图像的高对比度和亮度，表示利用Sea-thru生成的增强图像。
Sea-thru有效地估计了后向散射信号和衰减系数。
在得到第一虚拟水下图像后，可以利用Sea-thru估计第一虚拟水下图像的后向散射信号和衰减系数，并去除它们的影响，从而得到恢复图像。为了便于描述，可以采用表示恢复图像。
S403：对恢复图像的强度值进行对比度拉伸处理，以得到拉伸图像。
采用对比度拉伸处理，可以扩大恢复图像的灰度动态范围，提高图像的对比度。
在实际应用中，可以调用强度缩放公式，对恢复图像的强度值进行处理，以得到重新缩放后的图像；其中，强度缩放公式如下：
；
其中，表示重新缩放后的图像，η表示调节拉伸强度的收缩量，可以设为2，表示重新缩放后的图像的最小强度值，/>表示重新缩放后的图像的最大强度值。
使用简单而有效的线性变换可以得到拉伸后的图像，可以将拉伸后的图像简称为拉伸图像：
；
其中，表示拉伸图像。
S404：对拉伸图像进行高通滤波融合，以得到历史增强图像。
拉伸后的图像仍然存在细节模糊的问题。为了解决这一限制，采用高通滤波融合来丰富细节。
高通滤波融合过程包括对拉伸图像进行高斯滤波提取低频分量，得到平滑图像。从拉伸图像中减去低频分量，得到包含边缘信息的高频分量。将高频分量与保持边缘增强高通掩模强度值的常数相加，以得到边缘增强高通掩模。最后，将拉伸后的图像与边缘增强高通掩模进行融合，得到最终的增强图像。
在实际应用中，可以按照如下公式，对拉伸图像进行高通滤波处理：
；
其中，U m 表示边缘增强高通掩模，表示平滑图像，/>表示保持边缘增强高通掩模强度值的常数，可以设为0.5。
在得到边缘增强高通掩模，可以按照如下公式，对将拉伸后的图像与边缘增强高通掩模进行融合，从而得到最终的增强图像：
；
其中，J c 表示增强图像。
需要说明的是，图4为图像增强模型的训练过程的流程介绍，为了和应用阶段图像增强模型输出的增强图像进行区分，可以将训练过程S404得到的增强图像称作历史增强图像。
S405：基于历史增强图像、陆上图像以及基线图像，对初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型。
其中，基线图像为初始图像增强模型按照默认模型参数对第一虚拟水下图像和虚拟水下深度图进行分析所得到的图像。
在实际应用中，可以调用第一损失函数计算公式，对历史增强图像以及陆上图像进行处理，以得到损失分数；其中，第一损失函数计算公式如下：
；
其中，sc表示损失分数，X表示陆上图像的宽度，Y表示陆上图像的高度，表示每个像素的位置坐标，/>表示在坐标/>处陆上图像的值，/>表示在坐标处历史增强图像的值；
调用第二损失函数计算公式，对基线图像以及陆上图像进行处理，以得到基线分数；其中，第二损失函数计算公式如下：
；
其中，sc 0表示基线分数，表示在坐标/>处基线图像的值；
基于每个像素对应的损失分数以及基线分数，构建奖励函数；利用奖励函数对初始图像增强模型的模型参数进行迭代调整，以得到训练好的图像增强模型。
在估算出后向散射信号和衰减系数后，Sea-thru需要使用相机流水线操作平台进行修整，这在自动增强的条件下很难实现。此外，观察到它需要一些参数，如公式（6）中的w，（7）中的p，（8）中的f，（10）中的l。其中，w、p、f直接用于估计衰减系数，l用于控制增强图像J c 的强度。
w、p、f、l这些参数直接影响Sea-thru的增强性能，可以将这些参数均设置为默认值。然而，默认模型参数并不能保证最佳的水下图像增强。为了解决这些问题，可以对这些参数进行动态调整。在实际应用中，可以使用强化学习来配置智能Sea-thru的参数。图5为本发明实施例提供的一种基于强化学习配置智能Sea-thru的示意图。
状态、动作和奖励是强化学习的三个关键组成部分。为了通过强化学习配置水下图像增强，将三个组件指定如下：
状态：使用一幅水下图像的特征作为状态。大多数图像处理任务高度依赖于图像特征。图像特征可以用深度网络提取的颜色特征、纹理特征和高维特征来表示。参见图5，使用不带最终全连接层的Resnet34网络作为特征提取器，提取每张图像的512维特征作为状态s。
动作：使用智能Sea-thru的一组参数值作为动作。参数集包括p、w、f和l，动作（a p 、a w 、a f 、a l ）从上界和下界之间的范围内采样得到。此外，为这些参数设置默认值，作为计算奖励的基准操作。/>
奖励：使用图像质量改善作为奖励r。
奖励的详细描述可以参见图5，给定虚拟水下图像V c ，提取虚拟水下图像V c 的特征作为状态s，强化学习网络以状态s为输入，输出四组值（µ p ，σ p ）、（µ w ，σ w ）、（µ f ，σ f ）、（µ l ，σ l ），其中µ为平均值，σ为标准差值。这四组值用于构造四个正态分布N（µ p ，σ p 2）、N（µ w ，σ w 2）、N（µ f ，σ f 2）、N（µ l ，σ l 2）。动作（a p 、a w 、a f 、a l ）从正态分布中采样。
智能Sea-thru将虚拟水下图像V c ，生成的虚拟水下深度图和动作（a p 、a w 、a f 、a l ）作为输入，并将增强图像J c 作为输出。
此外，图像质量以平均绝对误差（Mean Absolute Error，MAE）的像素损失为特征。将陆上图像I c 与增强图像J c 逐像素的像素损失定义为损失分数sc。在本发明实施例中，可以利用第一损失函数计算公式计算出损失分数。
利用第二损失函数计算公式计算出基线分数。
奖励r的计算基于图像质量的改进，是陆上图像和增强图像所对应的损失函数、与陆上图像和基线图像所对应的基线分数之间的差值。更具体地说，奖励r被定义为从基准分数sc 0到损失分数sc的改进，r=sc-sc 0。
遵循近端策略优化（Proximal Policy Optimization，PPO）作为强化学习模型。学习后的actor网络实现了智能Sea-thru的最优参数配置。将基于强化学习的智能Sea-thru配置最优参数的策略称为基于强化学习（Reinforcement Learning，RL）的智能Sea-thru，并将其用于水下图像增强。
基于RL的智能Sea-thru用于水下图像增强的流程方法如下：将真实水下图像和生成的该真实水下图像的深度图作为输入，将增强后的图像作为输出。与训练过程不同的是，标准差σ设为0，动作（a p 、a w 、a f 、a l ）设为（µ p 、µ w 、µ f 、µ l ），由训练有素的强化学习网络给出。根据动作配置智能Sea-thru，给出增强图像。
在本发明实施例中，初始图像增强模型可以基于对水下图像处理算法进行通道补偿、对比度拉伸和高通滤波融合后构建得到。同理，训练好的图像增强模型中在对水下图像进行分析生成增强图像时，也会涉及到对水下图像进行通道补偿、对比度拉伸和高通滤波融合的处理流程。
在实际应用中，在得到训练好的图像增强模型后，可以将真实水下图像以及水下深度图输入至训练好的图像增强模型，此时图像增强模型首先按照与水下场景匹配的通道补偿方式，对真实水下图像进行RGB三通道的通道补偿，以得到补偿后的水下图像；利用调整模型参数后的水下图像处理算法对补偿后的水下图像及其对应的水下深度图进行增强处理，以得到目标恢复图像；对目标恢复图像的强度值进行对比度拉伸处理，以得到目标拉伸图像；对目标拉伸图像进行高通滤波融合，以得到增强图像。
在本发明实施例中，通过优化智能Sea-thru模型来得到图像增强模型。智能Sea-thru模型通过图像处理技术丰富了原有的Sea-thru，实现了水下图像的自动增强。此外，智能Sea-thru使用强化学习来优化参数配置，呈现最佳的水下图像增强。因此，经过强化学习的智能Sea-thru可以增强水下图像。
图6为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强装置的结构示意图，包括第一分析单元61、训练单元62、第二分析单元63和输出单元64；
第一分析单元61，用于利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到；
训练单元62，用于依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型；
第二分析单元63，用于利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出真实水下图像对应的水下深度图；
输出单元64，用于将真实水下图像以及水下深度图输入至训练好的图像增强模型，以输出增强图像；其中，图像增强模型基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型训练得到。
在一些实施例中，针对于水下成像模型的训练过程，装置包括拆分单元、解析单元、合并单元、比较单元和调整单元；
拆分单元，用于将历史陆上图像按照RGB三通道拆分为单通道图像；其中，水下成像模型包含多个生成器，每个生成器对应一个通道；
解析单元，用于利用生成器对其匹配的单通道图像以及历史深度图进行解析，以确定出单通道虚拟水下图像；
合并单元，用于将RGB三通道各自对应的单通道虚拟水下图像合并作为历史虚拟水下图像；
比较单元，用于利用鉴别器对历史虚拟水下图像以及历史真实水下图像进行比较，以构建损失函数；
调整单元，用于依据损失函数对水下成像模型的模型参数进行迭代调整，以得到训练好的水下成像模型。
在一些实施例中，针对于虚拟水下图像所匹配的深度图的确定过程，装置包括确定单元；
确定单元，用于利用训练好的图像深度生成模型对虚拟水下图像进行分析，以确定出虚拟水下图像对应的虚拟水下深度图。
在一些实施例中，初始图像增强模型基于对水下图像处理算法进行通道补偿、对比度拉伸和高通滤波融合后构建得到。
在一些实施例中，针对于图像增强模型的训练过程，装置包括第一补偿单元、第一增强单元、第一对比度拉伸处理单元、第一高通滤波融合单元和模型参数调整单元；
第一补偿单元，用于按照与水下场景匹配的通道补偿规则，对虚拟水下图像进行RGB三通道的通道补偿，以得到补偿后的第一虚拟水下图像；其中，通道补偿规则为依据RGB三通道下各通道图像的平均值的大小关系设置的各通道图像的颜色补偿方式；
第一增强单元，用于利用水下图像处理算法对第一虚拟水下图像及其对应的虚拟水下深度图进行增强处理，以得到恢复图像；
第一对比度拉伸处理单元，用于对恢复图像的强度值进行对比度拉伸处理，以得到拉伸图像；
第一高通滤波融合单元，用于对拉伸图像进行高通滤波融合，以得到历史增强图像；
模型参数调整单元，用于基于历史增强图像、陆上图像以及基线图像，对初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型；其中，基线图像为初始图像增强模型按照默认模型参数对第一虚拟水下图像和虚拟水下深度图进行分析所得到的图像。
在一些实施例中，模型参数调整单元用于调用第一损失函数计算公式，对历史增强图像以及陆上图像进行处理，以得到损失分数；其中，第一损失函数计算公式如下：
；
其中，sc表示损失分数，X表示陆上图像的宽度，Y表示陆上图像的高度，表示每个像素的位置坐标，/>表示在坐标/>处陆上图像的值，/>表示在坐标处历史增强图像的值；
调用第二损失函数计算公式，对基线图像以及陆上图像进行处理，以得到基线分数；其中，第二损失函数计算公式如下：
；
其中，sc 0表示基线分数，表示在坐标/>处基线图像的值；
基于每个像素对应的损失分数以及基线分数，构建奖励函数；
利用奖励函数对初始图像增强模型的模型参数进行迭代调整，以得到训练好的图像增强模型。
在一些实施例中，输出单元包括第二补偿单元、第二增强单元、第二对比度拉伸处理单元、第二高通滤波融合单元；
第二补偿单元，用于按照与水下场景匹配的通道补偿方式，对真实水下图像进行RGB三通道的通道补偿，以得到补偿后的水下图像；
第二增强单元，用于利用调整模型参数后的水下图像处理算法对补偿后的水下图像及其对应的水下深度图进行增强处理，以得到目标恢复图像；
第二对比度拉伸处理单元，用于对目标恢复图像的强度值进行对比度拉伸处理，以得到目标拉伸图像；
第二高通滤波融合单元，用于对目标拉伸图像进行高通滤波融合，以得到增强图像。
图6所对应实施例中特征的说明可以参见图1所对应实施例的相关说明，这里不再一一赘述。
由上述技术方案可以看出，利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到。为了使得基于深度估计方法构建的初始图像深度生成模型能够适用于水下场景，从而生成水下图像的深度图，可以依据虚拟水下图像以及深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型。利用训练好的图像深度生成模型对获取的真实水下图像进行分析，可以确定出真实水下图像对应的水下深度图。为了提升水下图像的质量，可以基于虚拟水下图像及其匹配的虚拟水下深度图以及陆上图像对初始图像增强模型进行训练，以优化模型参数，从而得到训练好的图像增强模型。将真实水下图像以及水下深度图输入至训练好的图像增强模型，便可以输出增强图像。在该技术方案中，通过各种水下场景的历史真实水下图像对抗虚拟水下图像，来对水下成像模型进行对抗训练，使得训练好的水下成像模型可以生成具有物理变化的虚拟水下图像。为了能获取到水下图像对应的深度图，采用虚拟水下图像以及深度图对初始图像深度生成模型进行训练，从而使得训练好的图像深度生成模型可以生成真实水下图像所对应的水下深度图。通过优化图像增强模型的模型参数，使得图像增强模型可以实现对水下图像的自动增强。相比于真实水下图像，增强图像有效的解决了水下图像遭受的视觉退化问题，实现了水下图像的增强，提升了水下图像的图像质量。
图7为本发明实施例提供的一种综合退化、估计和恢复的水下图像增强设备的结构图，如图7所示，综合退化、估计和恢复的水下图像增强设备包括：存储器70，用于存储计算机程序；
处理器71，用于执行计算机程序时实现如上述实施例综合退化、估计和恢复的水下图像增强方法的步骤。
本实施例提供的综合退化、估计和恢复的水下图像增强设备可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器71可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器71可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable LogicArray，PLA） 中的至少一种硬件形式来实现。处理器71也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器71可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器71还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器70可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器70还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器70至少用于存储以下计算机程序701，其中，该计算机程序被处理器71加载并执行之后，能够实现前述任一实施例公开的综合退化、估计和恢复的水下图像增强方法的相关步骤。另外，存储器70所存储的资源还可以包括操作系统702和数据703等，存储方式可以是短暂存储或者永久存储。其中，操作系统702可以包括Windows、Unix、Linux等。数据703可以包括但不限于历史陆上图像、历史深度图、历史真实水下图像、陆上图像和深度图等。
在一些实施例中，综合退化、估计和恢复的水下图像增强设备还可包括有显示屏72、输入输出接口73、通信接口74、电源75以及通信总线76。
本领域技术人员可以理解，图7中示出的结构并不构成对综合退化、估计和恢复的水下图像增强设备的限定，可以包括比图示更多或更少的组件。
可以理解的是，如果上述实施例中的综合退化、估计和恢复的水下图像增强方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对目前技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（RandomAccess Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述综合退化、估计和恢复的水下图像增强方法的步骤。
以上对本发明实施例所提供的一种综合退化、估计和恢复的水下图像增强方法、装置、设备和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种综合退化、估计和恢复的水下图像增强方法、装置、设备和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明的保护范围内。
Claims (10)
1.一种综合退化、估计和恢复的水下图像增强方法，其特征在于，包括：
利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，所述水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到；
依据所述虚拟水下图像以及所述深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型；
利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出所述真实水下图像对应的水下深度图；
将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像；其中，所述图像增强模型基于所述虚拟水下图像及其匹配的虚拟水下深度图以及所述陆上图像对初始图像增强模型训练得到。
2.根据权利要求1所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，针对于所述水下成像模型的训练过程，所述方法包括：
将所述历史陆上图像按照RGB三通道拆分为单通道图像；其中，水下成像模型包含多个生成器，每个生成器对应一个通道；
利用生成器对其匹配的单通道图像以及历史深度图进行解析，以确定出单通道虚拟水下图像；
将所述RGB三通道各自对应的单通道虚拟水下图像合并作为历史虚拟水下图像；
利用鉴别器对所述历史虚拟水下图像以及历史真实水下图像进行比较，以构建损失函数；
依据所述损失函数对所述水下成像模型的模型参数进行迭代调整，以得到训练好的水下成像模型。
3.根据权利要求1所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，针对于所述虚拟水下图像所匹配的深度图的确定过程，所述方法包括：
利用训练好的图像深度生成模型对所述虚拟水下图像进行分析，以输出所述虚拟水下图像对应的虚拟水下深度图。
4.根据权利要求1所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，所述初始图像增强模型基于对水下图像处理算法进行通道补偿、对比度拉伸和高通滤波融合后构建得到。
5.根据权利要求4所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，针对于所述图像增强模型的训练过程，所述方法包括：
按照与水下场景匹配的通道补偿规则，对所述虚拟水下图像进行RGB三通道的通道补偿，以得到补偿后的第一虚拟水下图像；其中，所述通道补偿规则为依据RGB三通道下各通道图像的平均值的大小关系设置的各通道图像的颜色补偿方式；
利用水下图像处理算法对所述第一虚拟水下图像及其对应的虚拟水下深度图进行增强处理，以得到恢复图像；
对所述恢复图像的强度值进行对比度拉伸处理，以得到拉伸图像；
对所述拉伸图像进行高通滤波融合，以得到历史增强图像；
基于所述历史增强图像、所述陆上图像以及基线图像，对所述初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型；其中，所述基线图像为所述初始图像增强模型按照默认模型参数对所述第一虚拟水下图像和所述虚拟水下深度图进行分析所得到的图像。
6.根据权利要求5所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，基于所述历史增强图像、所述陆上图像以及基线图像，对所述初始图像增强模型的模型参数进行调整，以得到训练好的图像增强模型包括：
调用第一损失函数计算公式，对所述历史增强图像以及所述陆上图像进行处理，以得到损失分数；其中，所述第一损失函数计算公式如下：
；
其中，sc表示损失分数，X表示所述陆上图像的宽度，Y表示所述陆上图像的高度，表示每个像素的位置坐标，/>表示在坐标/>处所述陆上图像的值，/>表示在坐标/>处所述历史增强图像的值，下标c表示颜色通道，/>表示向量作差之后各分量的平方和的开根号；
调用第二损失函数计算公式，对所述基线图像以及所述陆上图像进行处理，以得到基线分数；其中，所述第二损失函数计算公式如下：
；
其中，sc 0表示基线分数，表示在坐标/>处所述基线图像的值；
基于每个像素对应的损失分数以及基线分数，构建奖励函数；
利用所述奖励函数对所述初始图像增强模型的模型参数进行迭代调整，以得到训练好的图像增强模型。
7.根据权利要求5所述的综合退化、估计和恢复的水下图像增强方法，其特征在于，将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像包括：
按照与水下场景匹配的通道补偿方式，对所述真实水下图像进行RGB三通道的通道补偿，以得到补偿后的水下图像；
利用调整模型参数后的水下图像处理算法对补偿后的水下图像及其对应的水下深度图进行增强处理，以得到目标恢复图像；
对所述目标恢复图像的强度值进行对比度拉伸处理，以得到目标拉伸图像；
对所述目标拉伸图像进行高通滤波融合，以得到所述增强图像。
8.一种综合退化、估计和恢复的水下图像增强装置，其特征在于，包括第一分析单元、训练单元、第二分析单元和输出单元；
所述第一分析单元，用于利用水下成像模型对获取的陆上图像和深度图进行分析，以输出虚拟水下图像；其中，所述水下成像模型基于历史陆上图像、历史深度图以及历史真实水下图像训练得到；
所述训练单元，用于依据所述虚拟水下图像以及所述深度图对初始图像深度生成模型进行训练，以得到训练好的图像深度生成模型；
所述第二分析单元，用于利用训练好的图像深度生成模型对获取的真实水下图像进行分析，以确定出所述真实水下图像对应的水下深度图；
所述输出单元，用于将所述真实水下图像以及所述水下深度图输入至训练好的图像增强模型，以输出增强图像；其中，所述图像增强模型基于所述虚拟水下图像及其匹配的虚拟水下深度图以及所述陆上图像对初始图像增强模型训练得到。
9.一种综合退化、估计和恢复的水下图像增强设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任意一项所述综合退化、估计和恢复的水下图像增强方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述综合退化、估计和恢复的水下图像增强方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410345844.3A CN117952879B (zh) | 2024-03-26 | 2024-03-26 | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410345844.3A CN117952879B (zh) | 2024-03-26 | 2024-03-26 | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117952879A true CN117952879A (zh) | 2024-04-30 |
| CN117952879B CN117952879B (zh) | 2024-05-28 |
Family
ID=90801737
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410345844.3A Active CN117952879B (zh) | 2024-03-26 | 2024-03-26 | 综合退化、估计和恢复的水下图像增强方法、装置、设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117952879B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191962A (zh) * | 2021-03-30 | 2021-07-30 | 大连智慧渔业科技有限公司 | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 |
| CN116309232A (zh) * | 2023-05-15 | 2023-06-23 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
| CN116777760A (zh) * | 2023-03-15 | 2023-09-19 | 大连海事大学 | 一种基于自适应暗像素和颜色校正的水下图像复原方法 |
| CN116863320A (zh) * | 2023-06-06 | 2023-10-10 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
| CN117590867A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 基于深度强化学习的水下自主航行器接驳控制方法和系统 |
-
2024
- 2024-03-26 CN CN202410345844.3A patent/CN117952879B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113191962A (zh) * | 2021-03-30 | 2021-07-30 | 大连智慧渔业科技有限公司 | 基于环境背景光的水下图像颜色恢复方法、装置及存储介质 |
| CN116777760A (zh) * | 2023-03-15 | 2023-09-19 | 大连海事大学 | 一种基于自适应暗像素和颜色校正的水下图像复原方法 |
| CN116309232A (zh) * | 2023-05-15 | 2023-06-23 | 中国海洋大学 | 一种结合物理先验与深度学习的水下图像增强方法 |
| CN116863320A (zh) * | 2023-06-06 | 2023-10-10 | 山东大学 | 基于物理模型的水下图像增强方法及系统 |
| CN117590867A (zh) * | 2024-01-18 | 2024-02-23 | 吉林大学 | 基于深度强化学习的水下自主航行器接驳控制方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 罗偲 等: ""基于对抗注意力机制的水下遮挡目标检测算法"", 《计算机工程》, 9 March 2024 (2024-03-09), pages 1 - 16 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117952879B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Golts et al. | Unsupervised single image dehazing using dark channel prior loss | |
| Zhang et al. | Underwater image enhancement via minimal color loss and locally adaptive contrast enhancement | |
| Wang et al. | An experimental-based review of image enhancement and image restoration methods for underwater imaging | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
| CN112614077B (zh) | 一种基于生成对抗网络的非监督低照度图像增强方法 | |
| US10922860B2 (en) | Line drawing generation | |
| KR101176649B1 (ko) | 동적 프로그래밍에 의한 경계선 매팅 | |
| CN109544662B (zh) | 一种基于SRUnet的动漫风格线稿上色方法及系统 | |
| De-Maeztu et al. | Near real-time stereo matching using geodesic diffusion | |
| CN111179189B (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| Hou et al. | Underwater image dehazing and denoising via curvature variation regularization | |
| Xiao et al. | Single image dehazing based on learning of haze layers | |
| CN114723643B (zh) | 一种基于强化学习和美学评估的低光图像增强方法 | |
| Xu et al. | Deep retinex decomposition network for underwater image enhancement | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| Lei et al. | A novel intelligent underwater image enhancement method via color correction and contrast stretching | |
| CN113450282B (zh) | 美化图像的方法和系统 | |
| Lei et al. | Low-light image enhancement using the cell vibration model | |
| CN114581979A (zh) | 图像处理方法和装置 | |
| CN117952879B (zh) | 综合退化、估计和恢复的水下图像增强方法、装置、设备 | |
| CN116342377A (zh) | 一种降质场景下伪装目标图像自适应生成方法与系统 | |
| Jin et al. | Color Correction and Local Contrast Enhancement for Underwater Image Enhancement | |
| Parihar et al. | UndarkGAN: Low-light Image Enhancement with Cycle-consistent Adversarial Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |