CN117974509B - 基于目标检测感知特征融合的两阶段水下图像增强方法 - Google Patents
基于目标检测感知特征融合的两阶段水下图像增强方法 Download PDFInfo
- Publication number
- CN117974509B CN117974509B CN202410390972.XA CN202410390972A CN117974509B CN 117974509 B CN117974509 B CN 117974509B CN 202410390972 A CN202410390972 A CN 202410390972A CN 117974509 B CN117974509 B CN 117974509B
- Authority
- CN
- China
- Prior art keywords
- image
- enhancement
- stage
- module
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004927 fusion Effects 0.000 title claims abstract description 29
- 230000008447 perception Effects 0.000 title claims abstract description 16
- 238000013508 migration Methods 0.000 claims abstract description 75
- 230000005012 migration Effects 0.000 claims abstract description 75
- 238000013135 deep learning Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 18
- 230000015556 catabolic process Effects 0.000 claims abstract description 10
- 238000006731 degradation reaction Methods 0.000 claims abstract description 10
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000007812 deficiency Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 7
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000000926 separation method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 238000011158 quantitative evaluation Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开基于目标检测感知特征融合的两阶段水下图像增强方法，属于图像增强技术领域，用于水下图像增强，包括：获得待处理的图像数据集，构建两阶段深度学习增强网络在训练与学习过程中所需的训练样本，搭建两阶段深度学习增强网络训练两阶段深度学习增强网络；将一幅视觉质量退化的水下图像作为两阶段深度学习增强网络的输入，经过两阶段的增强处理后，输出增强图像。本发明基于颜色迁移参数预测策略和统计学先验知识的频域分离增强策略结合神经网络策略，在不同水体环境下的增强视觉效果更好，同时在跨水域目标检测任务中，融合目标检测潜在感知特征后的增强图像有效缓解了域偏移导致的检测性能衰退问题。
Description
技术领域
本发明公开基于目标检测感知特征融合的两阶段水下图像增强方法，属于图像增强技术领域。
背景技术
随着海洋技术装备的持续发展，越来越多先进的工具被用来探索和开发海洋资源。深海潜水器和自主水下无人机等高端设备的发展，极大地扩展了人类对海洋的观测能力和作业范围。这些技术的进步不仅能够到达过去无法到达的深海区域，还能够更加精确地采集数据和图像，为科研和资源开发提供支持。然而，海洋环境的固有复杂性——特别是水下环境的低光照、高浊度以及水体对光的吸收和散射——仍然给高质量水下图像获取带来了挑战。
因此，水下图像增强技术的重要性愈加凸显。随着人工智能技术的融入，水下图像增强已经成为智能化海洋观测的重要组成部分，研究人员期望通过水下图像增强技术处理回传的图像数据，提高信息提取的准确性和效率。近年来，随着深度学习的发展，水下图像增强技术由原有的传统图像增强算法过渡到以深度学习策略为主的图像增强算法，以卷积神经网络、对抗生成网络、Transformer为代表的深度学习技术在图像增强领域得到了广泛应用且取得优秀的视觉增强效果。水下图像增强技术的既是为了获得视觉效果更优秀的图像，也希望能够帮助水下场景的科研工作提高准确率和效率，然而在某些场景下水下图像增强技术增强后的图像在进行后续检测任务时没有获得预期的积极效果，这也背离了水下图像增强技术的初衷。
一方面，由于现有大多水下图像评价指标设计的出发点是人眼视觉感知习惯，导致增强后的图像虽然满足人眼偏好，但没有满足机器视觉偏好，在校正退化图像颜色或结构的同时丢失了下游检测任务的关键特征。另一方面，与陆空环境中的数据集相比，例如去雨去雾任务和暗光增强任务数据集同时包含无噪声真值图像和检测任务标注，水下缺少既包含增强参考真值图像，又包含水下目标检测真值标注的数据集，这导致在有限的水下增强数据集训练的网络算法，面对形形色色的目标检测数据集时呈现风格迥异的增强结果，这种不稳定、不统一的增强对下游任务性能产生不利影响。
发明内容
本发明的目的在于提供基于目标检测感知特征融合的两阶段水下图像增强方法，以解决现有技术中，水下图像质量低的问题。
基于目标检测感知特征融合的两阶段水下图像增强方法，包括：
S1获得待处理的图像数据集，构建两阶段深度学习增强网络在训练与学习过程中所需的训练样本，一个训练样本包含水下增强数据集退化图像，与/>对应的参考增强图像，/>的颜色迁移参数参考真值，水下目标检测数据集图像/>；
S2搭建两阶段深度学习增强网络，两阶段深度学习增强网络包括颜色迁移参数预测模块、内置的颜色迁移模块、频域增强模块、检测特征融合模块；
在一阶段网路中，利用颜色迁移损失对颜色迁移参数预测模块进行约束优化，利用高频特征损失、低频特征损失和像素值对比损失约束一阶段增强网络的输出；
在二阶段网络中，利用感知特征对比损失约束网络融合目标检测感知特征，利用像素值对比损失约束二阶段网络的总体输出；
S3训练两阶段深度学习增强网络；
S4将一幅视觉质量退化的水下图像作为两阶段深度学习增强网络的输入，经过两阶段的增强处理后，输出增强图像。
S1包括，将从RGB颜色空间转换到Lab颜色空间，分别计算源图像和目标图像的每个颜色通道的平均值/>和标准差/>：
；/>；
式中，𝑁是图像中通道的像素总数，是第𝑖个像素在颜色通道上的值；
、/>、/>、/>和/>共同组成一个用于训练两阶段深度学习增强网络的样本。
S2包括，S2.2根据深度回归网络VGG-Net的结构，搭建用于获取颜色迁移参数的颜色迁移参数预测模块，预测输出用于颜色迁移的六个基础参数，基础参数包括目标迁移图像的L*、a*、b*三个通道的均值和标准差/>；颜色迁移参数预测模块包括深度编码模块和深度回归模块，深度编码模块采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达；深度回归模块采用解码器结构，深度回归模块的输出为颜色迁移所需要的六个均值和标准差参数。
S2包括，S2.3设计内置的颜色迁移模块，获得颜色迁移后的颜色迁移图像：
；
式中，为增强图像的通道c矩阵，/>表示输入退化图像的通道c矩阵，/>表示输入退化图像的通道c矩阵元素均值，/>表示输入退化图像的通道c矩阵元素标准差；
内置的颜色迁移模块以退化图像、颜色迁移参数预测模块输出均值/>和标准差为输入，输出颜色迁移后视觉质量得到初步增强的颜色迁移图像/>。
S2包括，S2.4.搭建用于增强图像纹理和校正图像颜色的频域增强模块，以颜色迁移模块输出的颜色迁移图像为输入，将颜色迁移图像转化到频域，对高频信息使用自注意力机制引导的边缘补偿进行增强处理，对低频信息使用多颜色空间直方图拉伸进行增强处理，再将增强后的高频信息和低频信息进行融合优化；
频域增强模块包括注意力机制引导的边缘补偿模块、基于统计学的多颜色空间关联校正模块和频域特征融合优化模块，注意力机制引导的边缘补偿模块采用像素注意力和通道注意力机制结合的方式提高增强网络对边缘细节的敏感性，基于统计学的多颜色空间关联校正模块使用卷积层动态学习直方图拉伸参数，在RGB、Lab、HIS、HSV颜色空间进行直方图拉伸，校正颜色迁移后对颜色增强的不足，频域特征融合优化模块采用解码器结构，使用堆叠的卷积层-激活层-池化层得到一阶段增强图像。
S2包括，S2.5.搭建用于融合目标检测感知特征的检测特征融合模块，以和其一阶段增强图像/>为输入，/>经过二阶段特征融合网络增强得到二阶段增强图像/>，将/>和/>送入预训练的目标检测器提取并对比潜在检测感知特征，约束二阶段特征融合增强网络。
S3包括，S3.1将作为一阶段深度学习增强网络的输入；
S3.2将颜色迁移参数预测模块的六个参数输出，计算与/>、/>与/>之间的颜色迁移损失，颜色迁移损失为/>：
；
S3.3输入经过一阶段增强网络模型后生成与输入对应的增强水下图像记为/>，计算/>和/>之间的像素对比损失/>：
；
式中，w和h表示的宽和高。
S3包括，S3.4在频域增强模块中，计算注意力机制引导的边缘补偿模块的高频特征损失和基于统计学的多颜色空间关联校正模块的低频特征损失/>：
；
；
式中，和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示增强图像和真值参考图像的均值，/>和/>分别表示增强图像和真值参考图像的标准差，/>表示增强图像和真值参考图像的协方差，/>、/>和/>为微小常量。
S3包括，S3.5通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
其中，=0.3，/>=0.1；
S3.6将和/>，作为二阶段增强网络的输入；
S3.7将二阶段增强的图像记作，计算/>和/>之间的像素对比损失/>：
。
S3包括，S3.8预训练的目标检测器从和/>中提取潜在感知特征/>和/>，计算/>和/>的空间距离作为感知特征对比损失/>：
；
式中，和/>分别是/>和/>中的像素点信息，/>为微小常数；
S3.9通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
式中，。
相对比现有技术，本发明具有以下有益效果：有效缓解了大多数一般图像增强技术增强过程中中对目标检测特征的破坏，使增强后的图像应用于后续目标检测任务上的性能表现更好，给出了一种水下图像增强任务和水下目标检测任务的级联使用的方法；基于颜色迁移参数预测策略和统计学先验知识的频域分离增强策略结合神经网络策略，在不同水体环境下的增强视觉效果更好，同时在跨水域目标检测任务中，融合目标检测潜在感知特征后的增强图像有效缓解了域偏移导致的检测性能衰退问题。
附图说明
图1是本发明一种实施例的两阶段水下图像增强方法的流程示意图；
图2是本发明一种实施例的两阶段水下图像增强方法的详细流程示意图；
图3是本发明一种实施例的两阶段水下图像增强系统的框架示意图；
图4是本发明一种实施例的两阶段水下图像增强深度网络的训练数据准备流程示意图；
图5是本发明一种实施例的两阶段水下图像增强深度网络的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于目标检测感知特征融合的两阶段水下图像增强方法，包括：
S1获得待处理的图像数据集，构建两阶段深度学习增强网络在训练与学习过程中所需的训练样本，一个训练样本包含水下增强数据集退化图像，与/>对应的参考增强图像，/>的颜色迁移参数参考真值，水下目标检测数据集图像/>；
S2搭建两阶段深度学习增强网络，两阶段深度学习增强网络包括颜色迁移参数预测模块、内置的颜色迁移模块、频域增强模块、检测特征融合模块；
在一阶段网路中，利用颜色迁移损失对颜色迁移参数预测模块进行约束优化，利用高频特征损失、低频特征损失和像素值对比损失约束一阶段增强网络的输出；
在二阶段网络中，利用感知特征对比损失约束网络融合目标检测感知特征，利用像素值对比损失约束二阶段网络的总体输出；
S3训练两阶段深度学习增强网络；
S4将一幅视觉质量退化的水下图像作为两阶段深度学习增强网络的输入，经过两阶段的增强处理后，输出增强图像。
S1包括，将从RGB颜色空间转换到Lab颜色空间，分别计算源图像和目标图像的每个颜色通道的平均值/>和标准差/>：
；/>；
式中，𝑁是图像中通道的像素总数，是第𝑖个像素在颜色通道上的值；
、/>、/>、/>和/>共同组成一个用于训练两阶段深度学习增强网络的样本。
S2包括，S2.2根据深度回归网络VGG-Net的结构，搭建用于获取颜色迁移参数的颜色迁移参数预测模块，预测输出用于颜色迁移的六个基础参数，基础参数包括目标迁移图像的L*、a*、b*三个通道的均值和标准差/>；颜色迁移参数预测模块包括深度编码模块和深度回归模块，深度编码模块采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达；深度回归模块采用解码器结构，深度回归模块的输出为颜色迁移所需要的六个均值和标准差参数。
S2包括，S2.3设计内置的颜色迁移模块，获得颜色迁移后的颜色迁移图像：
；
式中，为增强图像的通道c矩阵，/>表示输入退化图像的通道c矩阵，/>表示输入退化图像的通道c矩阵元素均值，/>表示输入退化图像的通道c矩阵元素标准差；
内置的颜色迁移模块以退化图像、颜色迁移参数预测模块输出均值/>和标准差为输入，输出颜色迁移后视觉质量得到初步增强的颜色迁移图像/>。
S2包括，S2.4.搭建用于增强图像纹理和校正图像颜色的频域增强模块，以颜色迁移模块输出的颜色迁移图像为输入，将颜色迁移图像转化到频域，对高频信息使用自注意力机制引导的边缘补偿进行增强处理，对低频信息使用多颜色空间直方图拉伸进行增强处理，再将增强后的高频信息和低频信息进行融合优化；
频域增强模块包括注意力机制引导的边缘补偿模块、基于统计学的多颜色空间关联校正模块和频域特征融合优化模块，注意力机制引导的边缘补偿模块采用像素注意力和通道注意力机制结合的方式提高增强网络对边缘细节的敏感性，基于统计学的多颜色空间关联校正模块使用卷积层动态学习直方图拉伸参数，在RGB、Lab、HIS、HSV颜色空间进行直方图拉伸，校正颜色迁移后对颜色增强的不足，频域特征融合优化模块采用解码器结构，使用堆叠的卷积层-激活层-池化层得到一阶段增强图像。
S2包括，S2.5.搭建用于融合目标检测感知特征的检测特征融合模块，以和其一阶段增强图像/>为输入，/>经过二阶段特征融合网络增强得到二阶段增强图像/>，将/>和/>送入预训练的目标检测器提取并对比潜在检测感知特征，约束二阶段特征融合增强网络。
S3包括，S3.1将作为一阶段深度学习增强网络的输入；
S3.2将颜色迁移参数预测模块的六个参数输出，计算与/>、/>与/>之间的颜色迁移损失，颜色迁移损失为/>：
；
S3.3输入经过一阶段增强网络模型后生成与输入对应的增强水下图像记为/>，计算/>和/>之间的像素对比损失/>：
；
式中，w和h表示的宽和高。
S3包括，S3.4在频域增强模块中，计算注意力机制引导的边缘补偿模块的高频特征损失和基于统计学的多颜色空间关联校正模块的低频特征损失/>：
；
；
式中，和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示增强图像和真值参考图像的均值，/>和/>分别表示增强图像和真值参考图像的标准差，/>表示增强图像和真值参考图像的协方差，/>、/>和/>为微小常量。
S3包括，S3.5通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
其中，=0.3，/>=0.1；
S3.6将和/>，作为二阶段增强网络的输入；
S3.7将二阶段增强的图像记作，计算/>和/>之间的像素对比损失/>：
。
S3包括，S3.8预训练的目标检测器从和/>中提取潜在感知特征/>和/>，计算/>和/>的空间距离作为感知特征对比损失/>：
；
式中，和/>分别是/>和/>中的像素点信息，/>为微小常数；
S3.9通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
式中，。
本发明实施例中，两阶段水下图像增强方法的流程示意图如图1，首先获得一幅需要检测的水下退化图像，作为输入图像，然后利用训练好的两阶段水下图像增强网络，先后进行一阶段和二阶段的图像增强，获得与输入退化水下图像相对应的水下清晰图像。两阶段水下图像增强方法详细流程如图2所示，首先获得数据增强扩展数据集，执行训练数据准备、增强模型训练和模型部署。两阶段水下图像增强系统的框架如图3所示，包括水下图像获取模块、可选择的图像预处理模块、一阶段颜色迁移模块、一阶段频域增强模块和二阶段检测特征增强模块。两阶段水下图像增强网络的训练数据准备流程如图4，将图像增强数据集分为水下退化图像和水下清晰图像，分别输入三个通道中，并将图像增强数据集拓展为图像增强扩展数据集；目标检测数据集中含有待检测目标的水下图像作为二阶段训练的数据图像。两阶段水下图像增强深度网络的结构示意图如图5所示，将水下退化图像依次导入颜色迁移参数预测模块、频域增强模块，得到一阶段增强图像，然后将一阶段增强图像和水下退化图像导入检测特征融合模块进行感知特征融合，最终得到有利于目标检测任务的水下清晰增强图像。
本申请的深度回归网络结构使用例如VGG-Net等回归预测网络结构，编码-解码结构使用例如U-Net等深度编码-解码结构，水下退化-增强图像的水下图像数据集使用例如UIEB数据集、DUO数据集，卷积层-激活层-池化层使用例如Conv-ReLu-MaxPool，本段举例都是本领域的现有技术，因此未解释详细内容。
本发明的具体实施中，表1列出了使用绿色域训练增强网络在其余域检测定量评价的结果，表2列出了使用蓝绿色域训练增强网络在其余域检测定量评价的结果。
表1 使用绿色域训练增强网络在其余域检测定量评价的结果
。
表2 使用蓝绿色域训练增强网络在其余域检测定量评价的结果
。
表1和表2中展示了所提出的一种基于目标检测感知特征融合的两阶段水下图像增强方法在跨水域场景中的目标检测任务的性能表现，其中XX域表示跨水域原始图像的检测结果，En-XX域表示经过该方法增强后图像的检测结果，选取的评价指标均为公共数据集VOC和COCO中的评价方法，mAP表示全部类别的平均精确度，AP表示单类别的平均精确度，AR表示平均召回率，AP直观的反映了测试数据集中检测的准确率，AR直观的反映了测试数据集中检测的漏检率。
以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (1)
1.基于目标检测感知特征融合的两阶段水下图像增强方法，其特征在于，包括：
S1获得待处理的图像数据集，构建两阶段深度学习增强网络在训练与学习过程中所需的训练样本，一个训练样本包含水下增强数据集退化图像，与/>对应的参考增强图像/>，/>的颜色迁移参数参考真值，水下目标检测数据集图像/>；
S2搭建两阶段深度学习增强网络，两阶段深度学习增强网络包括颜色迁移参数预测模块、内置的颜色迁移模块、频域增强模块、检测特征融合模块；
在一阶段网络中，利用颜色迁移损失对颜色迁移参数预测模块进行约束优化，利用高频特征损失、低频特征损失和像素值对比损失约束一阶段增强网络的输出；
在二阶段网络中，利用感知特征对比损失约束网络融合目标检测感知特征，利用像素值对比损失约束二阶段网络的总体输出；
S3训练两阶段深度学习增强网络；
S4将一幅视觉质量退化的水下图像作为两阶段深度学习增强网络的输入，经过两阶段的增强处理后，输出增强图像；S1包括，将从RGB颜色空间转换到Lab颜色空间，分别计算源图像和目标图像的每个颜色通道的平均值/>和标准差/>：
；/>；
式中，𝑁是图像中通道的像素总数，是第𝑖个像素在颜色通道上的值；
、/>、/>、/>和/>共同组成一个用于训练两阶段深度学习增强网络的样本；
S2包括，S2.2根据深度回归网络VGG-Net的结构，搭建用于获取颜色迁移参数的颜色迁移参数预测模块，预测输出用于颜色迁移的六个基础参数，基础参数包括目标迁移图像的L*、a*、b*三个通道的均值和标准差/>；颜色迁移参数预测模块包括深度编码模块和深度回归模块，深度编码模块采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达；深度回归模块采用解码器结构，深度回归模块的输出为颜色迁移所需要的六个均值和标准差参数；
S2包括，S2.3设计内置的颜色迁移模块，获得颜色迁移后的颜色迁移图像：
；
式中，为增强图像的通道c矩阵，/>表示输入退化图像的通道c矩阵，/>表示输入退化图像的通道c矩阵元素均值，/>表示输入退化图像的通道c矩阵元素标准差；
内置的颜色迁移模块以退化图像、颜色迁移参数预测模块输出均值/>和标准差/>为输入，输出颜色迁移后视觉质量得到初步增强的颜色迁移图像/>；
S2包括，S2.4.搭建用于增强图像纹理和校正图像颜色的频域增强模块，以颜色迁移模块输出的颜色迁移图像为输入，将颜色迁移图像转化到频域，对高频信息使用自注意力机制引导的边缘补偿进行增强处理，对低频信息使用多颜色空间直方图拉伸进行增强处理，再将增强后的高频信息和低频信息进行融合优化；
频域增强模块包括注意力机制引导的边缘补偿模块、基于统计学的多颜色空间关联校正模块和频域特征融合优化模块，注意力机制引导的边缘补偿模块采用像素注意力和通道注意力机制结合的方式提高增强网络对边缘细节的敏感性，基于统计学的多颜色空间关联校正模块使用卷积层动态学习直方图拉伸参数，在RGB、Lab、HIS、HSV颜色空间进行直方图拉伸，校正颜色迁移后对颜色增强的不足，频域特征融合优化模块采用解码器结构，使用堆叠的卷积层-激活层-池化层得到一阶段增强图像；
S2包括，S2.5.搭建用于融合目标检测感知特征的检测特征融合模块，以和其一阶段增强图像/>为输入，/>经过二阶段特征融合网络增强得到二阶段增强图像/>，将/>和/>送入预训练的目标检测器提取并对比潜在检测感知特征，约束二阶段特征融合增强网络；
S3.1将作为一阶段深度学习增强网络的输入；
S3.2将颜色迁移参数预测模块的六个参数输出，计算与/>、/>与/>之间的颜色迁移损失，颜色迁移损失为/>：
；
S3.3输入经过一阶段增强网络模型后生成与输入对应的增强水下图像记为/>，计算/>和/>之间的像素对比损失/>：
；
式中，w和h表示的宽和高；
S3包括，S3.4在频域增强模块中，计算注意力机制引导的边缘补偿模块的高频特征损失和基于统计学的多颜色空间关联校正模块的低频特征损失/>：
；
；
式中，和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示高频特征中的像素级信息值和真值参考图像高频特征的像素级信息值，/>和/>分别表示增强图像和真值参考图像的均值，/>和/>分别表示增强图像和真值参考图像的标准差，/>表示增强图像和真值参考图像的协方差，/>、/>和/>为微小常量；
S3包括，S3.5通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
其中，=0.3，/>=0.1；
S3.6将和/>，作为二阶段增强网络的输入；
S3.7将二阶段增强的图像记作，计算/>和/>之间的像素对比损失/>：
；
S3包括，S3.8预训练的目标检测器从和/>中提取潜在感知特征/>和/>，计算/>和/>的空间距离作为感知特征对比损失/>：
；
式中，和/>分别是/>和/>中的像素点信息，/>为微小常数；
S3.9通过最小化损失项之和，迭代更新优化一阶段增强网络的模型参数：
；
式中，。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410390972.XA CN117974509B (zh) | 2024-04-02 | 2024-04-02 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410390972.XA CN117974509B (zh) | 2024-04-02 | 2024-04-02 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117974509A CN117974509A (zh) | 2024-05-03 |
| CN117974509B true CN117974509B (zh) | 2024-06-18 |
Family
ID=90865062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410390972.XA Active CN117974509B (zh) | 2024-04-02 | 2024-04-02 | 基于目标检测感知特征融合的两阶段水下图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974509B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219722A (zh) * | 2021-11-12 | 2022-03-22 | 广州大学 | 一种利用时频域层级处理的低光照图像增强方法 |
| CN116363011A (zh) * | 2023-04-06 | 2023-06-30 | 福州大学 | 一种基于频域分频的多分支低照度图像增强方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114170088A (zh) * | 2021-12-15 | 2022-03-11 | 中山大学 | 一种基于图结构数据的关系型强化学习系统及方法 |
| CN116309163A (zh) * | 2023-03-21 | 2023-06-23 | 浙江大学 | 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 |
| CN116664454B (zh) * | 2023-08-01 | 2023-11-03 | 中国海洋大学 | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 |
-
2024
- 2024-04-02 CN CN202410390972.XA patent/CN117974509B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114219722A (zh) * | 2021-11-12 | 2022-03-22 | 广州大学 | 一种利用时频域层级处理的低光照图像增强方法 |
| CN116363011A (zh) * | 2023-04-06 | 2023-06-30 | 福州大学 | 一种基于频域分频的多分支低照度图像增强方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117974509A (zh) | 2024-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jiang et al. | Underwater image enhancement with lightweight cascaded network | |
| CN108960261B (zh) | 一种基于注意力机制的显著物体检测方法 | |
| CN112818903A (zh) | 一种基于元学习和协同注意力的小样本遥感图像目标检测方法 | |
| CN112184577A (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN112395442B (zh) | 移动互联网上的低俗图片自动识别与内容过滤方法 | |
| CN113052200A (zh) | 一种基于yolov3网络的声呐图像目标检测方法 | |
| CN113313644A (zh) | 一种基于残差双注意力网络的水下图像增强方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN116664454B (zh) | 一种基于多尺度颜色迁移参数预测的水下图像增强方法 | |
| CN112116537A (zh) | 图像反射光消除方法及图像反射光消除网络构建方法 | |
| CN113962281A (zh) | 基于Siamese-RFB的无人机目标跟踪方法 | |
| CN116863320B (zh) | 基于物理模型的水下图像增强方法及系统 | |
| CN116612283A (zh) | 一种基于大卷积核骨干网络的图像语义分割方法 | |
| CN115588237A (zh) | 一种基于单目rgb图像的三维手部姿态估计方法 | |
| CN109508639A (zh) | 基于多尺度带孔卷积神经网络的道路场景语义分割方法 | |
| CN116843559A (zh) | 一种基于图像处理与深度学习的水下图像增强方法 | |
| CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
| CN112767277B (zh) | 一种基于参考图像的深度特征排序去模糊方法 | |
| CN117974509B (zh) | 基于目标检测感知特征融合的两阶段水下图像增强方法 | |
| Di et al. | FDNet: An end-to-end fusion decomposition network for infrared and visible images | |
| CN116310375A (zh) | 基于视觉注意力机制的盲图像质量评估方法 | |
| CN113920455B (zh) | 一种基于深度神经网络的夜间视频着色方法 | |
| CN112164078B (zh) | 基于编码器-解码器的rgb-d多尺度语义分割方法 | |
| CN115035377A (zh) | 基于双流编码和交互解码的显著性检测网络系统 | |
| CN113537325A (zh) | 一种用于图像分类的基于提取高低层特征逻辑的深度学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |