CN116797490B - 一种轻量级浑浊水体图像增强方法 - Google Patents
一种轻量级浑浊水体图像增强方法 Download PDFInfo
- Publication number
- CN116797490B CN116797490B CN202310849535.5A CN202310849535A CN116797490B CN 116797490 B CN116797490 B CN 116797490B CN 202310849535 A CN202310849535 A CN 202310849535A CN 116797490 B CN116797490 B CN 116797490B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- feature map
- light
- lightweight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 230000004913 activation Effects 0.000 claims abstract description 12
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000003702 image correction Methods 0.000 claims abstract description 11
- 239000010410 layer Substances 0.000 claims description 48
- 238000013507 mapping Methods 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 238000002474 experimental method Methods 0.000 abstract description 7
- 238000002679 ablation Methods 0.000 abstract description 5
- 238000012937 correction Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 34
- 238000012549 training Methods 0.000 description 9
- TZCXTZWJZNENPQ-UHFFFAOYSA-L barium sulfate Chemical group [Ba+2].[O-]S([O-])(=O)=O TZCXTZWJZNENPQ-UHFFFAOYSA-L 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 235000014653 Carica parviflora Nutrition 0.000 description 3
- 241000243321 Cnidaria Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 241000258957 Asteroidea Species 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理领域，具体公开一种轻量级浑浊水体图像增强方法，包括以下步骤：S1.将原图像I输入至轻型反射量预测网络，获取反射分量BC；S2.将轻型反射量预测网络输出的特征图与原图像I拼合，得到带有反射光信息的特征图输入到轻型直射量指数化网络，经过轻型直射量指数化网络，获取直射分量的系数参量P预测值；S3.结合水下图像修正模型，获取清晰的水下图像。其优点在于，本发明在保持较好图像质量的同时，模型具有较高的执行效率。最后通过消融实验，验证了网络中引入的Mish激活函数与注意力机制模块的有效性，对图像颜色偏差的修正、图像细节的恢复等方面有较好的效果。
Description
技术领域
本发明属于图像处理领域，具体公开了一种轻量级浑浊水体图像增强方法。
背景技术
传统的水下图像增强基于空域与频域，通过分离、矫正、归一化等方式，降低水下图像的噪声，达到提高图像质量的目的。例如，直方图均衡化(Histogram Equalization,HE)算法通过增加图像的全局对比度，使图像亮度在直方图有更好的分布。董等人通过引入了直方图动态削峰技术和边缘信息融合技术，优化了传统HE算法在增强过程中出现的局部细节丢失、信息熵下降等问题。此外，借助空间滤波器的水下图像增强算法，通过不同规格的滤波器对不同环境下的水下图像进行像素级的运算，以达到增强图像的目的。通过研究人员的改进，传统的水下图像增强方法在图像增强效果、增强速率等方面有了显著提升，但这些方法普遍存在适用环境单一、鲁棒性差等问题。
发明内容
基于上述问题，本文提出的算法高效的提取水下图像的纹理特征、有效的恢复了水下图像色彩，本文算法对水下图像的清晰度提升、细节恢复、色彩修正等表现出了较好的效果。其技术方案为，
一种轻量级浑浊水体图像增强方法，包括以下步骤：
S1.将原图像I输入至轻型反射量预测网络，获取反射分量BC；
S2.将轻型反射量预测网络输出的特征图与原图像I拼合，得到带有反射光信息的特征图输入到轻型直射量指数化网络，经过轻型直射量指数化网络，获取直射分量的系数参量P预测值；
S3.结合水下图像修正模型，获取清晰的水下图像。
优选的，轻型反射量预测网络包括三个卷积层和一个池化层；每个卷积层中均设有非线性映射单元，非线性映射单元以Mish函数为激活函数，激活函数σ(s)如下：
其中，s为特征图中各点位的灰度值，为关于s的归一化指数映射函数。
优选的，步骤S1中取反射分量BC获取步骤为：
S11.将原图像I(H,W,3)依次输入两个卷积核为3*3的卷积层中，并在每个卷积层进行一次Mish函数运算；
S12.经过两个卷积层后输出的特征图A后进入一个3通道的池化层，由池化层进入包括三个1*1卷积核的卷积层中，并在上述卷积层中进行Mish函数运算，输出(1,1,3)的特征图，标记为反射分量BC。
优选的，步骤S2中轻型直射量指数化网络包括一个轻量级卷积神经网络和1个注意力机制模型；轻量级卷积神经网络包括两个卷积层；注意力机制模型中使用Tanh函数作为非线性映射函数。
优选的，步骤S2中，
S21.反射分量BC进行张量扩张，将扩张生成的3通道特征图与原图像I拼合，形成6通道的特征图作为轻量级卷积神经网络的输入，经过第一个卷积核为1*1的卷积层后输出特征图为F，经过第二个卷积核为3*3的卷积层和Mish函数运算后输出特征图为E；
S22.将特征图F和特征图E进行通道拼合，作为注意力机制模型的输入；
S23.注意力机制模型通过单层非线性映射结构获取到放大色彩信息特征差异的6通道特征图，称为特征图J，使用Tanh函数作为非线性映射函数，特征图J经过一个由3个卷积核大小为1*1，步长为1的卷积层处理后，输出注意力权重矩阵；
S24.将注意力权重矩阵与特征图F相乘，获取直射分量的系数参量P的预测值，
其中为C通道的直射光线D衰减系数，d为成像距离。
优选的，水下图像修正模型为:
其中，x是水下图像的坐标，IC(x)为水下相机获取到的水下图像。
优选的，原图像I需要依次轻型反射量预测网络与轻型直射量指数化网络处理，该过程将轻型反射量预测网络与轻型直射量指数化网络视为一个整体网络，计算整体网络损失函数LOSS，
其中，(x*,y*,z*)分别是水下图像矩阵的像素坐标，(X,Y,Z)是坐标的最大值，R是数据集中未退化的参考水下图像，O是水下图像修正模型输出的增强后的水下图像，O(x*,y*,z*)和R(x*,y*,z*)分别表示参考图像与增强图像在对应像素点的像素值。
与现有技术相比，本申请的有益效果为：
1.本文在预测光路的直射分量时，不是通过分解网络估算图像的光线直射参量，而是在假定的成像距离内，根据水下图像修正模型中提出的原理，预测光线直射分量的指数参量。当距离大于3m时，直射光线与反射光线的衰减系数差值几乎为0，因此衰减系数差值对成像效果影响较小。
2.本文在轻型直射量指数化网络引入了注意力机制，使网络在训练的时候偏重于纹理特征的提取，以提高通过模型增强的图像质量。
3.本文还在网络中使用Mish函数作为网络的激活函数，通过使用Mish函数使网络各层之间具有较好地传递信息的能力，以达到提升模型收敛速度与提高模型精度。
4.本文提出的算法高效的提取水下图像的纹理特征、有效的恢复了水下图像色彩，对比并证明了提出的模型在不同浊度的水体下，均具有较好的性能。
附图说明
图1为本申请流程图。
图2为轻型反射量预测网络结构示意图。
图3为轻型直射量指数化网络结构示意图。
图4中(a)为室内直射光条件实验图像示意图；(b)为白光条件下实验图像示意图。
图5为水下图像成像示意图。
图6为不同模型的室内直射光条件下的对比图。
图7为不同模型的白光条件下的对比图。
图8为算法速率对数坐标图。
图9为消融实验对比示意图。
具体实施方式
以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。
图1、图2、图3和图5所示，一种轻量级浑浊水体图像增强方法，包括以下步骤：
S1.将原图像I输入至轻型反射量预测网络，获取反射分量BC；
轻型反射量预测网络包括三个卷积层和一个池化层；前两个卷积层中，每层由3个3*3大小的卷积核，步长为1，填充数为1和Mish激活函数组成，池化层为全局平均池化层，每个卷积层中均设有非线性映射单元，非线性映射单元以Mish函数为激活函数，激活函数σ(s)如下：
其中，s为特征图中各点位的灰度值，为关于s的归一化指数映射函数。
反射分量BC获取步骤为：
S11.将原图像I(H,W,3)依次输入两个卷积核为3*3的卷积层中，并在每个卷积层进行一次Mish函数运算；
S12.经过两个卷积层后输出的特征图A后进入一个3通道的池化层，由池化层进入包括三个卷积核为1*1的卷积层中，并在该卷积层中进行Mish函数运算，输出(1,1,3)的特征图，标记为反射分量BC。
S2.将轻型反射量预测网络输出的特征图与原图像I拼合，得到带有反射光信息的特征图输入到轻型直射量指数化网络，经过轻型直射量指数化网络，获取直射分量的系数参量P预测值；
轻型直射量指数化网络包括一个轻量级卷积神经网络和1个注意力机制模型；轻量级卷积神经网络包括两个卷积层；注意力机制模型中使用Tanh函数作为非线性映射函数。
S21.反射分量BC进行张量扩张，将扩张生成的3通道特征图与原图像I拼合，形成6通道的特征图作为轻量级卷积神经网络的输入，经过第一个卷积核为1*1、步长为1的卷积层后输出特征图为F，经过第二个卷积核为3*3，步长为1，填充数为1的卷积层和Mish函数运算后输出特征图为E；
S22.将特征图F和特征图E进行通道拼合，作为注意力机制模型的输入；
S23.注意力机制模型通过单层非线性映射结构获取到放大色彩信息特征差异的6通道特征图，称为特征图J，使用Tanh函数作为非线性映射函数，特征图J经过一个由3个卷积核大小为1*1，步长为1的卷积层处理后，输出注意力权重矩阵；
S24.将注意力权重矩阵与特征图F相乘，获取直射分量的系数参量P的预测值，
其中为C通道的直射光线D衰减系数，d为成像距离。
S3.结合水下图像修正模型，计算损失函数loss，获取清晰的水下图像。
水下图像修正模型为:
其中，x是水下图像的坐标，IC(x)为水下相机获取到的水下图像。本文根据水下成像模型，通过轻型反射量预测网络与轻型直射量指数化网络，分别预测反射分量BC和直射分量的指数参量修正图像中存在的偏差，最后拼合不同通道修正后的图像作为输出，从而达到水下图像的增强效果。
原图像I需要依次轻型反射量预测网络与轻型直射量指数化网络处理，该过程将轻型反射量预测网络与轻型直射量指数化网络视为一个整体网络，计算整体网络损失函数LOSS，
其中，(x*,y*,z*)分别是水下图像矩阵的像素坐标，(X,Y,Z)是坐标的最大值，R是数据集中未退化的参考水下图像，O是水下图像修正模型输出的增强后的水下图像，O(x*,y*,z*)和R(x*,y*,z*)分别表示参考图像与增强图像在对应像素点的像素值。
实验数据及环境配置
本文以Li等提出的UIEBD数据集、Durate等提出的TURBID数据集为基准，按照图像数量1:4的比例随机获取验证集与训练集，其中，训练集包含776张图像，验证集包含194张图像。训练前，将训练集与验证集中全部图像规格调整为256×256大小。模型训练的硬件配置为Intel Xeon E5-2680v4的CPU与NVIDIAGeForce RTX 3060的GPU，操作系统为Ubuntu20.04.2LTS，实现模型使用的编程语言及版本为Python 3.6，使用的深度学习框架及版本为Pytorch 1.6.0。模型训练时，设置学习率(Learning Rate)参数为0.001，训练样本数据批大小(Batch Size)设置为1，循环迭代次数(Epochs)设置为300，通过训练降低损失函数值。
本文以在不同透光性水体条件下的水下图像集为测试集，验证模型在不同浑浊水体条件下与不同光源条件下的有效性。实验中使用的浑浊水体为不同浓度的BaSO4悬浊液，使用的光源为室内直射光与白光两种。其中室内直射光条件为在室内条件下，不额外提供其它特殊光源，仅以依靠室内电子光与物体反射光为光源的实验环境；白光条件为仅以额定功率为12W的白炽灯，作为光源的实验环境。BaSO4悬浊液中BaSO4浓度为10/mg L、20/mgL、30/mg L、40/mg L、50/mg L、60/mg L、70/mg L、80/mg L、90/mg L、100/mg L共计10种浑浊水体环境，获取图像如图4所示。实验共收集参考图像36张，浑浊水体条件下图像360张。
实验结果比较：
SM-UWE-TMO模型(Song W,Wang Y,Huang D,et al.Enhancement of underwaterimages with statistical model of background light and optimization oftransmission map[J])。
FUVN模型(Chen X,Zhang P,et al.Underwater image enhancement based ondeep learning and image formation model[EB/OL])。
LANet模型(Liu S,Fan H,Lin S,et al.Adaptive learning attention networkfor underwater image enhancement[J])。
首先，分别对室内直射光条件下与白光条件下增强后图像的色彩、亮度以及清晰度方面进行主观定性分析。其中图6为室内直射光条件下的对比图，图7为白光条件下的对比图。
从如图6所示的测试集图像对比效果可以看出，SM-UWE-TMO在图像亮度恢复方面表现出色，然而，该算法存在一个问题，即图像因过度增强而出现局部白化的现象，例如在Image 2中的海螺中心位置以及在Image 5中的黄色海星位置；FUVN提出的基于深度学习的快速水下图像增强算法在恢复图像纹理方面表现良好，但是，对于一些图像，如Image 3中珊瑚位置以及Image 5中海藻等位置，可以明显观察到图像颜色方面存在失真问题；总体而言，LANet模型和本文中提出的模型在优化效果方面表现较好，但对于LANet模型增强后的图像，例如Image 4和Image 2中，拍摄物的背景比较模糊，存在清晰度较低的问题。
在白光条件下，水下光照强度相对于室内直射光条件下要低很多，导致获取到的待增强图像的清晰度下降较为严重。通过白光条件下如图7所示的实验对比发现：SM-UWE-TMO增强后的水下图像存在着严重的图像颜色失真和清晰度降低的问题，如Image 8中珊瑚位置；FUVN能够有效地增强图像的色彩恢复效果，但在图像清晰度方面仍未得到显著提升，如Image 7与Image 10所示图像；LANet模型增强后的图像相较于SM-UWE-TMO与FUVN表现出了更佳的效果，但在白光条件下也显现了一定的问题，例如Image 8中珊瑚位置颜色偏蓝Image 7与Image 10图像中整体亮度偏低；本文方法在白光条件下可以有效地提高水下图像的清晰度、颜色还原度以及亮度，表现出了出色的效果，增强后的图像也能呈现出相对自然的效果。
本文对比了提出的方法与前文所述方法，在图像质量和运行效率两个方面进行了比较，以评估它们在增强图像质量和效率方面的表现。在进行图像质量的客观分析时，以增强图像的峰值信噪比(PSNR)、结构相似性指数(SSIM)、均方根误差(RMSE)作为图像的质量评价指标；在客观评估算法执行效率时，以帧率(FPS)作为评价指标。
表1展示了在室内直射光条件下，对于测试集中不同透光率的图像，使用各种算法进行增强后获得的平均评价指标值。优化后的语句表述为：从表1中可以明显看出，相较于SMUWE-TMO和FUVN，本文提出的方法和LANet模型在室内直射光条件下表现出了更出色的效果。此外，本文提出的方法在各项指标上也相对于LANet模型有所提升。由于测试集中包含透光率较低的浑浊水下图像，因此经过各算法处理后的图像，在结构相似性指数均值方面表现相对较低。
表1室内直射光条件下图像质量评价对比表
表2展示的是在白光条件下，对测试集中不同透光率的图像进行不同算法增强后，所有评价指标的平均值。通过表2数据显示，深度学习基于的三种方法改善图像的峰值信噪比较为出色，其中LANet模型呈现最佳表现；在均方根误差一项中，本文提出的算法相较于其它算法表现最佳；结构相似性指数一项中，LANet模型与本文提出的算法效果表现相对较好，但相较于LANet模型，本文提出的算法仍高出2％。本文提出的算法改善后的图像峰值信噪比均值与其仅相差不到0.03％，这表明本算法对图像的提升效果与LANet模型相近。
表2白光条件下图像质量评价对比表
本文比对了各算法的执行效率，并提供了对数坐标图和帧率对比表。图8展示了处理100张图像各算法所用时间的对数坐标图，表3则按照帧率指标对各算法的执行效率进行了对比。由于算法的运行速度几乎不受光照条件的影响，所以执行效率测试中的帧率数据是针对增强白光条件和室内直射光条件下图像所获得的均值。根据图8与表3中的数据对比可以得知，本文提出的算法表现出最高的执行效率
表3算法执行效率对比表
消融实验
为了验证网络各组件在水下图像增强任务中的有效性，本文针对激活函数和注意力机制模块的有效性进行了主观定性和客观定量的消融性分析。
图9为室内直射光条件与白光条件下，经过不同模型图像增强效果。其中，Model 1与本文提出模型相比，不使用Mish激活函数，而采用ReLU函数做非线性映射。Model 2是“无注意力机制模型”，与本文提出的算法相比，在轻型直射量指数化网络中删除了注意力机制层，Image 11为白光条件下图像，Image 12为室内直射光条件下图像。根据图9所示，在两中实验条件下，与本文提出的算法增强后的图像相比，Model 1增强后的图像存在着清晰度下降和局部颜色偏差的问题，而Model 2增强后的图像则存在着整体偏红的现象。
表5消融实验对比表
表5为消融实验的客观定量统计表，表中数据为室内直射光条件下与白光条件下取得的均值数据。根据表5中Ours与Model 1、Ours与Model 2两组实验数据的对比，可以明确Mish激活函数与注意力模块的使用对轻量级神经网络增强图像质量具有显著的提升效果，客观证明了方法的有效性。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (3)
1.一种轻量级浑浊水体图像增强方法，其特征在于，包括以下步骤：
S1.将原图像I输入至轻型反射量预测网络，轻型反射量预测网络包括三个卷积层和一个池化层；每个卷积层中均设有非线性映射单元，获取反射分量BC；反射分量BC获取步骤为：
S11.将原图像I(H,W,3)依次输入两个卷积核为3*3的卷积层中，并在每个卷积层进行一次Mish函数运算；
S12.经过两个卷积层后输出的特征图A后进入一个3通道的池化层，由池化层进入包括三个1*1卷积核的卷积层中，并在上述卷积层中进行Mish函数运算，输出(1,1,3)的特征图，标记为反射分量BC；
S2.将轻型反射量预测网络输出的特征图与原图像I拼合，得到带有反射光信息的特征图输入到轻型直射量指数化网络，经过轻型直射量指数化网络，获取直射分量的系数参量P预测值；
轻型直射量指数化网络包括一个轻量级卷积神经网络和1个注意力机制模型；轻量级卷积神经网络包括两个卷积层；注意力机制模型中使用Tanh函数作为非线性映射函数；
S21.反射分量BC进行张量扩张，将扩张生成的3通道特征图与原图像I拼合，形成6通道的特征图作为轻量级卷积神经网络的输入，经过第一个卷积核为1*1的卷积层后输出特征图为F，经过第二个卷积核为3*3的卷积层和Mish函数运算后输出特征图为E；
S22.将特征图F和特征图E进行通道拼合，作为注意力机制模型的输入；
S23.注意力机制模型通过单层非线性映射结构获取到放大色彩信息特征差异的6通道特征图，称为特征图J，使用Tanh函数作为非线性映射函数，特征图J经过一个由3个卷积核大小为1*1，步长为1的卷积层处理后，输出注意力权重矩阵；
S24.将注意力权重矩阵与特征图F相乘，获取直射分量的系数参量P的预测值，
其中为C通道的直射光线D衰减系数，d为成像距离；
S3.结合水下图像修正模型，获取清晰的水下图像；
水下图像修正模型为:
其中，x是水下图像的坐标，IC(x)为水下相机获取到的水下图像。
2.根据权利要求1所述的一种轻量级浑浊水体图像增强方法，其特征在于，轻型反射量预测网络的非线性映射单元以Mish函数为激活函数，激活函数σ(s)如下：
其中，s为特征图中各点位的灰度值，为关于s的归一化指数映射函数。
3.根据权利要求1所述的一种轻量级浑浊水体图像增强方法，其特征在于，原图像I需要依次轻型反射量预测网络与轻型直射量指数化网络处理，该过程将轻型反射量预测网络与轻型直射量指数化网络视为一个整体网络，计算整体网络损失函数LOSS，
其中，(x*,y*,z*)分别是水下图像矩阵的像素坐标，(X,Y,Z)是坐标的最大值，R是数据集中未退化的参考水下图像，O是水下图像修正模型输出的增强后的水下图像，O(x*,y*,z*)和R(x*,y*,z*)分别表示参考图像与增强图像在对应像素点的像素值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849535.5A CN116797490B (zh) | 2023-07-12 | 2023-07-12 | 一种轻量级浑浊水体图像增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310849535.5A CN116797490B (zh) | 2023-07-12 | 2023-07-12 | 一种轻量级浑浊水体图像增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797490A CN116797490A (zh) | 2023-09-22 |
| CN116797490B true CN116797490B (zh) | 2024-02-09 |
Family
ID=88036407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310849535.5A Active CN116797490B (zh) | 2023-07-12 | 2023-07-12 | 一种轻量级浑浊水体图像增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797490B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105241431A (zh) * | 2015-11-02 | 2016-01-13 | 北京航大泰科信息技术有限公司 | 基于gnss反射信号探测海洋参数的一体工控装置 |
| CN205262951U (zh) * | 2015-12-22 | 2016-05-25 | 钦州学院 | 一种水色识别装置 |
| US9532013B1 (en) * | 2014-06-03 | 2016-12-27 | Rockwell Collins, Inc. | Sensor-based image(s) integrity determination system, device, and method |
| CN109358326A (zh) * | 2018-09-11 | 2019-02-19 | 金华航大北斗应用技术有限公司 | 基于gnss-rsar地基的数据采集成像装置 |
| CN110135243A (zh) * | 2019-04-02 | 2019-08-16 | 上海交通大学 | 一种基于两级注意力机制的行人检测方法及系统 |
| CN112465727A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
| CN112991239A (zh) * | 2021-03-17 | 2021-06-18 | 广东工业大学 | 一种基于深度学习的图像反向恢复方法 |
| CN113193554A (zh) * | 2021-05-06 | 2021-07-30 | 上海交通大学 | 一种基于数据驱动的新能源船舶节能减排方法及系统 |
| CN114638749A (zh) * | 2022-02-14 | 2022-06-17 | 深圳大学 | 低光照图像增强模型、方法、电子设备及存储介质 |
| CN115035010A (zh) * | 2022-06-07 | 2022-09-09 | 杭州电子科技大学 | 一种由卷积网络引导模型映射的水下图像增强方法 |
| CN115170944A (zh) * | 2022-08-23 | 2022-10-11 | 宁波大学科学技术学院 | 一种基于cnn的nr水下增强图像质量评价方法 |
| CN115205146A (zh) * | 2022-07-14 | 2022-10-18 | 桂林电子科技大学 | 一种弱光照条件下的深度Retinex图像增强方法 |
| CN115565089A (zh) * | 2022-10-25 | 2023-01-03 | 西安建筑科技大学 | 一种基于露天矿区暗光环境下的图像恢复与目标检测融合方法 |
-
2023
- 2023-07-12 CN CN202310849535.5A patent/CN116797490B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9532013B1 (en) * | 2014-06-03 | 2016-12-27 | Rockwell Collins, Inc. | Sensor-based image(s) integrity determination system, device, and method |
| CN105241431A (zh) * | 2015-11-02 | 2016-01-13 | 北京航大泰科信息技术有限公司 | 基于gnss反射信号探测海洋参数的一体工控装置 |
| CN205262951U (zh) * | 2015-12-22 | 2016-05-25 | 钦州学院 | 一种水色识别装置 |
| CN109358326A (zh) * | 2018-09-11 | 2019-02-19 | 金华航大北斗应用技术有限公司 | 基于gnss-rsar地基的数据采集成像装置 |
| CN110135243A (zh) * | 2019-04-02 | 2019-08-16 | 上海交通大学 | 一种基于两级注意力机制的行人检测方法及系统 |
| CN112465727A (zh) * | 2020-12-07 | 2021-03-09 | 北京邮电大学 | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 |
| CN112991239A (zh) * | 2021-03-17 | 2021-06-18 | 广东工业大学 | 一种基于深度学习的图像反向恢复方法 |
| CN113193554A (zh) * | 2021-05-06 | 2021-07-30 | 上海交通大学 | 一种基于数据驱动的新能源船舶节能减排方法及系统 |
| CN114638749A (zh) * | 2022-02-14 | 2022-06-17 | 深圳大学 | 低光照图像增强模型、方法、电子设备及存储介质 |
| CN115035010A (zh) * | 2022-06-07 | 2022-09-09 | 杭州电子科技大学 | 一种由卷积网络引导模型映射的水下图像增强方法 |
| CN115205146A (zh) * | 2022-07-14 | 2022-10-18 | 桂林电子科技大学 | 一种弱光照条件下的深度Retinex图像增强方法 |
| CN115170944A (zh) * | 2022-08-23 | 2022-10-11 | 宁波大学科学技术学院 | 一种基于cnn的nr水下增强图像质量评价方法 |
| CN115565089A (zh) * | 2022-10-25 | 2023-01-03 | 西安建筑科技大学 | 一种基于露天矿区暗光环境下的图像恢复与目标检测融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797490A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110232661B (zh) | 基于Retinex和卷积神经网络的低光照彩色图像增强方法 | |
| CN108876735A (zh) | 一种基于深度残差网络的真实图像盲去噪方法 | |
| CN111105371B (zh) | 一种低对比度红外图像的增强方法 | |
| CN113793275A (zh) | 一种Swin Unet低照度图像增强方法 | |
| CN110163807B (zh) | 一种基于期望亮通道的低照度图像增强方法 | |
| CN104318529A (zh) | 处理在恶劣环境中所拍摄低照度图像的方法 | |
| CN113658057A (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN111210395A (zh) | 基于灰度值映射的Retinex水下图像增强方法 | |
| CN111861939A (zh) | 一种基于无监督学习的单张图像去雾方法 | |
| CN113284070A (zh) | 基于传递注意力机制的非均匀雾图去雾算法 | |
| CN115937032A (zh) | 一种水下暗图像复原方法及系统 | |
| CN111598814A (zh) | 基于极端散射通道的单图像去雾方法 | |
| CN115187688A (zh) | 基于大气光偏振正交盲分离的雾图重构方法及电子设备 | |
| CN112614063B (zh) | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 | |
| CN116797490B (zh) | 一种轻量级浑浊水体图像增强方法 | |
| KR102277005B1 (ko) | 비지도 학습을 이용한 저조도 영상 처리 방법 및 장치 | |
| CN116862809A (zh) | 一种低曝光条件下的图像增强方法 | |
| CN114549343A (zh) | 基于双支残差特征融合去雾方法 | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN115797205A (zh) | 基于Retinex分数阶变分网络的无监督单张图像增强方法及系统 | |
| CN115147311A (zh) | 基于HSV与AM-RetinexNet图像增强方法 | |
| CN111028200B (zh) | 基于无参考图像质量评价和msr的图像优化方法 | |
| CN113643202A (zh) | 一种基于噪声注意力图指导的微光图像增强方法 | |
| CN112435174A (zh) | 基于双重注意机制的水下图像处理方法 | |
| CN113112429B (zh) | 一种用于复杂光照条件下有雾图像的通用增强框架 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |