CN112435174B - 基于双重注意机制的水下图像处理方法 - Google Patents
基于双重注意机制的水下图像处理方法 Download PDFInfo
- Publication number
- CN112435174B CN112435174B CN202011140666.9A CN202011140666A CN112435174B CN 112435174 B CN112435174 B CN 112435174B CN 202011140666 A CN202011140666 A CN 202011140666A CN 112435174 B CN112435174 B CN 112435174B
- Authority
- CN
- China
- Prior art keywords
- noise
- underwater image
- training
- network
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012937 correction Methods 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000001629 suppression Effects 0.000 abstract description 2
- 238000011282 treatment Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 101100247599 Hordeum vulgare RCAB gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种于双重注意机制的水下图像处理方法，利用双重注意机制（非局部注意机制和通道注意机制）对水下图像进行处理。在浅层网络，采用非局部抑制噪声和提取浅层颜色特征；在深层网络，利用通道注意来增强水下图像的细节特征和校正颜色；只需一套端到端的网络模型参数即可对水下图象进行去噪、增强和校正颜色等处理，不仅效率高，而且效果好。
Description
技术领域
本发明涉及一种水下图像处理方法，尤其是一种基于双重注意机制的水下图像处理方法。
背景技术
由于水下复杂的成像环境及光在水中传播等影响，导致水下成像系统捕获的水下图像常出现模糊、噪声和偏色等质量问题。随着人工智能技术的不断发展，深度学习在图像处理领域内发挥着至关重要的作用，卷积神经网路也逐渐成为了图像处理问题的主流方式，已有学者将一些基于卷积神经网络和生成对抗网络的方法用于水下图像处理。然而，现有大多数方法是解决水下图像的模糊、偏色等问题，很少考虑噪声影响，不能彻底保证水下图象的质量。此外，亦有方法是先去除噪声，再进行颜色校正、增强等处理，效率较低。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种基于双重注意机制的水下图像处理方法。
本发明的技术解决方案是：一种基于双重注意机制的水下图像处理方法，按照如下步骤进行：
01部分，使用数据集中的配对水下图像，在进入网络之前进行预处理操作：
步骤 C011：将数据集中多对自然图像作为训练集，其中待处理水下图像集记为Pre_UnderImages，真实的水下图像集记为Real_UnderImages；
步骤 C012：将Pre_UnderImages和Real_UnderImages数据集中的图像切块，块的大小为48*48像素，Pre_UnderImage数据集切块后的图像块分别加入高斯噪声，并将所得到的噪声图像块集合记为Noise_ Patches， Real_UnderImages数据集切块后的图像块集合记为Real_ Patches；
02部分，训练网络，得到水下图像处理的网络模型：
步骤C021：将噪声图像块Noise_ Patches输入网络；
步骤C022：开始训练
对应的线性关系模型，约定变量epoch为网络循环训练的次数，初始为0；
步骤C0221：噪声图像块Noise_ Patches进入第一部分，即浅层特征去噪，记为Shallow_denoise，其中包括一个带有64个3*3大小的滤波器的卷积层conv1和一个非局部去噪层NL_DN，噪声块Noise_ Patches经过conv1后得到的浅层特征空间集合记作S，在经过NL_DN时，采用了三个1*1的卷积和softmax函数，分别学习到三个参数
，再经过一个1*1核卷积，得到降噪特征空间集，记作D；
步骤C0222：进入第二部分，即深层特征增强，记为Deep_enhance，包含分别记为RCAB1，RCAB2，RCAB3，RCAB4的4个残差注意块和三个分别记为conv2，conv3，conv4的卷积层，每一个卷积层带有64个3*3大小的滤波器以及一个长跳跃连接、两个短跳连接；每一个残差注意块是由一个带有两个Conv层和一个Relu激活函数及短跳连接的残差块和通道注意机制组成，通道注意机制包括一层平均池化层Pooling、两个Conv层和一个Relu激活函数以及sigmoid函数;
步骤C0223：进入第三部分，即特征重构，记为Recon，由一个带有3个3*3大小的滤波器的反卷积层Deconv组成；得到清晰的水下图像集，记为Output_Images；
步骤C023：通过L1 Loss计算方法求取Output_Images和Real_UnderImages数据集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到300次后，网络停止训练，保存训练模型model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；
03部分，将待处理的水下图像输入训练模型model.pt文件中，得到清晰图像。
本发明利用双重注意机制（非局部注意机制和通道注意机制）对水下图像进行处理。在浅层网络，采用非局部抑制噪声和提取浅层颜色特征；在深层网络，利用通道注意来增强水下图像的细节特征和校正颜色；只需一套端到端的网络模型参数即可对水下图象进行去噪、增强和校正颜色等处理，不仅效率高，而且效果好。
附图说明
图1 是本发明实施例水下图像增强网络架构图。
图2 是本发明实施例非局部注意机制的非局部去噪层（NL_DN）示意图。
图3 是本发明实施例通道注意机制的残差注意块（RCAB）示意图。
图4是本发明实施例与现有技术处理水下图象的效果对比图。
具体实施方式
本发明的一种基于双重注意机制的水下图像处理方法如图1所示，按照如下步骤进行：
01部分，使用EUVP数据集，即5550对配对的水下图像，在进入网络之前进行预处理操作，具体步骤如下：
步骤 C011：划分数据集，将EUVP数据集中的5022对自然图像作为训练集，528对自然图像作为验证集；其中输入的待处理水下图像集记为Pre_UnderImages；真实的水下图像集记为Real_UnderImages；
步骤 C012：将Pre_UnderImages和Real_UnderImages数据集中的5520对图像切块，块的大小为48*48像素，Pre_UnderImage数据集切块后的图像块分别加入值为10的高斯噪声，并将所得到的噪声图像块集合记为Noise_ Patches， Real_UnderImages数据集切块后的图像块集合记为Real_ Patches；
02部分，训练网络，得到水下图像处理的网络模型：
步骤C021：将噪声图像块Noise_ Patches输入网络；
步骤C022：开始训练
对应的线性关系模型，约定变量epoch为网络循环训练的次数，初始为0；
步骤C0221：噪声图像块Noise_ Patches进入第一部分，即浅层特征去噪，记为Shallow_denoise，其中包括一个带有64个3*3大小的滤波器的卷积层conv1和一个如图2所示的非局部去噪层NL_DN，噪声块Noise_ Patches经过conv1后得到的浅层特征空间集合记作S，在经过NL_DN时，采用了三个1*1的卷积和softmax函数，分别学习到三个参数
，再经过一个1*1核卷积，得到降噪特征空间集，记作D；
步骤C0222：进入第二部分，即深层特征增强，记为Deep_enhance，包含分别记为RCAB1，RCAB2，RCAB3，RCAB4的4个如图3所示的残差注意块和三个分别记为conv2，conv3，conv4的卷积层，每一个卷积层带有64个3*3大小的滤波器以及一个长跳跃连接、两个短跳连接；每一个残差注意块是由一个带有两个Conv层和一个Relu激活函数及短跳连接的残差块和通道注意机制组成，通道注意机制包括一层平均池化层Pooling、两个Conv层和一个Relu激活函数以及sigmoid函数;
步骤C0223：进入第三部分，即特征重构，记为Recon，由一个带有3个3*3大小的滤波器的反卷积层Deconv组成；得到清晰的水下图像集，记为Output_Images；
步骤C023：通过L1 Loss计算方法求取Output_Images和Real_UnderImages数据集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到300次后，网络停止训练，保存训练模型model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；
03部分，输入训练模型model.pt文件中，得到清晰图像，具体步骤如下：
步骤C031：将020部分中得到的水下图像处理模型model.pt文件导入到测试代码中；
步骤C032：将EUVP数据集中选用的528张测试图像输入到训练好的网络模型中，得到去噪和增强后的水下图像。
将本发明实施例模拟添加噪声强度为5、10、15的高斯噪声情况下建立模型并对EUVP数据集中选用的528张测试图像进行处理结果—峰值信噪比（PSNR），与使用相同的EUVP数据集且在模拟添加噪声强度为5、10、15的高斯噪声情况下，分别训练了cycleGan，funieGAN两种网络并以同样的528张测试图像进行测试的结果进行比较，见表1。
表1
将本发明及cycleGan，funieGAN加入噪声强度为10的高斯噪声的水下图像处理算法对比效果如图4所示。
从表1、图4中可以看出，本发明实施例与现有技术相比，处理水下图象的峰值信噪比（PSNR）较高，图像更加清晰且颜色与真实图像更为接近。
Claims (1)
1.一种基于双重注意机制的水下图像处理方法，其特征在于按照如下步骤进行：
01部分，使用数据集中的配对水下图像，在进入网络之前进行预处理操作：
步骤 C011：将数据集中多对自然图像作为训练集，其中待处理水下图像集记为Pre_UnderImages，真实的水下图像集记为Real_UnderImages；
步骤 C012：将Pre_UnderImages和Real_UnderImages数据集中的图像切块，块的大小为48*48像素，Pre_UnderImage数据集切块后的图像块分别加入高斯噪声，并将所得到的噪声图像块集合记为Noise_ Patches， Real_UnderImages数据集切块后的图像块集合记为Real_ Patches；
02部分，训练网络，得到水下图像处理的网络模型：
步骤C021：将噪声图像块Noise_ Patches输入网络；
步骤C022：开始训练
对应的线性关系模型，约定变量epoch为网络循环训练的次数，初始为0；
步骤C0221：噪声图像块Noise_ Patches进入第一部分，即浅层特征去噪，记为Shallow_denoise，其中包括一个带有64个3*3大小的滤波器的卷积层conv1和一个非局部去噪层NL_DN，噪声块Noise_ Patches经过conv1后得到的浅层特征空间集合记作S，在经过NL_DN时，采用了三个1*1的卷积和softmax函数，分别学习到三个参数
，再经过一个1*1核卷积，得到降噪特征空间集，记作D；
步骤C0222：进入第二部分，即深层特征增强，记为Deep_enhance，包含分别记为RCAB1，RCAB2，RCAB3，RCAB4的4个残差注意块和三个分别记为conv2，conv3，conv4的卷积层，每一个卷积层带有64个3*3大小的滤波器以及一个长跳跃连接、两个短跳连接；每一个残差注意块是由一个带有两个Conv层和一个Relu激活函数及短跳连接的残差块和通道注意机制组成，通道注意机制包括一层平均池化层Pooling、两个Conv层和一个Relu激活函数以及sigmoid函数;
步骤C0223：进入第三部分，即特征重构，记为Recon，由一个带有3个3*3大小的滤波器的反卷积层Deconv组成；得到清晰的水下图像集，记为Output_Images；
步骤C023：通过L1 Loss计算方法求取Output_Images和Real_UnderImages数据集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到300次后，网络停止训练，保存训练模型model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；
03部分，将待处理的水下图像输入训练模型model.pt文件中，得到清晰图像。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010841540 | 2020-08-20 | ||
| CN2020108415408 | 2020-08-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112435174A CN112435174A (zh) | 2021-03-02 |
| CN112435174B true CN112435174B (zh) | 2023-07-11 |
Family
ID=74695897
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011140666.9A Active CN112435174B (zh) | 2020-08-20 | 2020-10-22 | 基于双重注意机制的水下图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112435174B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379715A (zh) * | 2021-06-24 | 2021-09-10 | 南京信息工程大学 | 一种水下图像增强和数据集真值图像获得方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298413A (zh) * | 2019-07-08 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像特征提取方法、装置、存储介质及电子设备 |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN111311506A (zh) * | 2020-01-21 | 2020-06-19 | 辽宁师范大学 | 基于双残差网络的低剂量ct牙齿图像去噪方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10685429B2 (en) * | 2017-02-22 | 2020-06-16 | Siemens Healthcare Gmbh | Denoising medical images by learning sparse image representations with a deep unfolding approach |
-
2020
- 2020-10-22 CN CN202011140666.9A patent/CN112435174B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298413A (zh) * | 2019-07-08 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 图像特征提取方法、装置、存储介质及电子设备 |
| CN111046967A (zh) * | 2019-12-18 | 2020-04-21 | 江苏科技大学 | 一种基于卷积神经网络和注意力机制的水下图像分类方法 |
| CN111047515A (zh) * | 2019-12-29 | 2020-04-21 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN111311506A (zh) * | 2020-01-21 | 2020-06-19 | 辽宁师范大学 | 基于双残差网络的低剂量ct牙齿图像去噪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多输入融合对抗网络的水下图像增强;林森;刘世本;唐延东;;红外与激光工程(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112435174A (zh) | 2021-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114140353B (zh) | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 | |
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN109003240B (zh) | 一种基于多尺度并行cnn的图像去噪方法 | |
| Yim et al. | Enhancing the performance of convolutional neural networks on quality degraded datasets | |
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及系统 | |
| CN112257766B (zh) | 一种基于频域滤波处理的自然场景下阴影识别检测方法 | |
| CN108830809B (zh) | 一种基于膨胀卷积图像去噪方法 | |
| CN113052814B (zh) | 基于Retinex和注意力机制的暗光图像增强方法 | |
| CN111260591A (zh) | 一种基于注意力机制的图像自适应去噪方法 | |
| CN114972107A (zh) | 基于多尺度堆叠式注意力网络的低照度图像增强方法 | |
| CN111210395A (zh) | 基于灰度值映射的Retinex水下图像增强方法 | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN112435174B (zh) | 基于双重注意机制的水下图像处理方法 | |
| CN114742911A (zh) | 图像压缩感知重建方法、系统、设备及介质 | |
| CN109993701B (zh) | 一种基于金字塔结构的深度图超分辨率重建的方法 | |
| CN110728643A (zh) | 一种基于卷积神经网络的低照度带噪声图像优化方法 | |
| Li et al. | Low-light hyperspectral image enhancement | |
| Wu et al. | Multiple-operation image anti-forensics with WGAN-GP framework | |
| CN112200752B (zh) | 一种基于er网络多帧图像去模糊系统及其方法 | |
| CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
| Patil et al. | Bilateral filter for image denoising | |
| CN117422653A (zh) | 一种基于权重共享和迭代数据优化的低光照图像增强方法 | |
| CN115272131B (zh) | 基于自适应多光谱编码的图像去摩尔纹系统及方法 | |
| Piriyatharawet et al. | Image denoising with deep convolutional and multi-directional LSTM networks under Poisson noise environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240117 Address after: No. 067, D-3 Chuntianyuan, Ganjingzi District, Dalian City, Liaoning Province, 116000 Patentee after: Dalian Zhongying Education Technology Co.,Ltd. Address before: No. 116500, Shahekou Road, Dalian City, Liaoning Province Patentee before: LIAONING NORMAL University |
|
| TR01 | Transfer of patent right |