CN115115544A - 一种基于注意力机制gan的辐照环境图像降噪方法 - Google Patents
一种基于注意力机制gan的辐照环境图像降噪方法 Download PDFInfo
- Publication number
- CN115115544A CN115115544A CN202210727590.2A CN202210727590A CN115115544A CN 115115544 A CN115115544 A CN 115115544A CN 202210727590 A CN202210727590 A CN 202210727590A CN 115115544 A CN115115544 A CN 115115544A
- Authority
- CN
- China
- Prior art keywords
- branch
- feature extraction
- image
- generator
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000009467 reduction Effects 0.000 title claims abstract description 12
- 230000007246 mechanism Effects 0.000 title claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 36
- 230000004913 activation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 238000001914 filtration Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005025 nuclear technology Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
基于注意力机制GAN的辐照环境图像降噪方法，属于图像处理领域，具体涉及一种基于注意力机制GAN的辐照环境图像降噪方法，首先，根据辐照环境中图像噪声的特性，构建一个由编码部分和解码部分组成的生成器，编码部分具有特征提取的功能，解码部分具有像素重建的功能，在编码部分的第二特征提取分支中添加注意力模块，并且在编码部分和解码部分的对应阶段添加跳跃链接，并且在解码部分使用亚像素卷积，实现噪声的细化分割。随后，构建一个由卷积层为主干的鉴别网络，利用GAN思想，对生成器和鉴别器进行零和博弈，获得最优生成器，并利用残差思想，完成辐照环境图像的降噪。
Description
本发明涉及计算机视觉领域及辐照环境图像处理领域，尤其涉及一种基于注意力机制GAN的辐照环境图像降噪方法。
背景技术
目前，随着核技术的发展和我国工业化进程，核与辐射技术广泛应用于航空航天、电力、工业农业等领域，创造巨大的经济效益，在反应堆维修维护、钴源装置日常监管、辐射事故应急处置过程中，图像采集系统作为工作人员了解现场情况的窗口，对操作人员的准确判断有着至关重要的作用。目前国内大部分单位采用的都是传统的图像采集系统，传统的图像采集系统在辐照环境下由于受到放射源所发射的高能粒子的影响，在图像上会呈现出明显的噪声，这类噪声对于现场情况的鉴别有着不可忽略的影响。
图像去噪是利用图像序列的上下文信息去除噪声，从而恢复出清晰图像的一种技术，目的是消除因不可避免因素噪声的图像噪声以提高识别的准确度和效率，去噪方法由噪声特性决定，经典去噪方法有中值滤波，均值滤波，高斯滤波等。中值滤波在抑制噪声的同时一定程度上保护了图像的边缘信息，实现简单，实时性强，但其无法区分噪声原始像素的噪声像素信息，滤波中对非噪声像素进行改变，破坏了图像的整体细节信息；均值滤波能够通过平滑的过程去除噪声，但该过程无法对噪声完全去除，只能通过均值去减弱噪声，高斯滤波对于符合高斯分布的噪声去除效果较好，但会导致像素移位。此类方法泛化能力好但综合效果一般。由于图像去噪的实际需求，随后又发展了小波去噪，双边滤波等方法。小波去噪算法对于无先验信息的图像去噪也能达到较好的效果，但其算法相对复杂，运算速度较慢；双边滤波在考虑双边滤波的同时考虑了图像的空间位置信息，能够很好的保留边缘，但对于彩色图像中的高频噪声处理效果不佳。由于辐照环境下图像噪声的分布不规律，能量不均衡，上述去噪方法都不能达到较好的效果。
近年来，随着计算机视觉以及人工智能的进一步发展，并且伴随着计算机性能的逐年增强，深度学习开始逐步应用于工业领域。
发明内容
针对传统图像去噪算法对于辐照环境图像去噪效果不佳的问题，本发明提出一种基于注意力机制GAN的辐照环境图像降噪方法。所提方法引入注意力机制和亚像素卷积，能够完成对辐照环境图像的有效降噪。
为实现上述目的，本发明的技术方案是：一种基于注意力机制GAN的辐照环境图像降噪方法，包括如下步骤：
步骤1：构建一个包含编码部分和解码部分的生成器用以特征提取和像素重建。
步骤2：利用残差思想，通过重建出的噪声和辐照环境图像的差异，输出清晰图像。
步骤3：构建一个鉴别器用以判别图像的来源。
步骤4：利用GAN的思想，对生成器和鉴别器进行零和博弈，获得最优的生成器。
步骤5：输入含有辐照噪声的图像至生成器中，输出清晰图像。
生成器中编码部分的主干由3个特征提取分支构成，称为第一特征提取分支、第二特征提取分支、第三特征提取分支，各分支包括三个卷积层、批归一化层、激活层的堆叠，各分支之间由下采样率为2的平均池化层连接，并且在第二特征提取分支中添加了注意力模块。
生成器中解码部分的主干由三个像素重建构成，称为第一像素重建分支、第二特征像素重建分支、第三像素重建分支，各分支包括三个卷积层、批归一化层、激活层的堆叠，各分支之间由上采样率为2的亚像素卷积连接。
在第一特征提取分支和第二像素重建分支添加跳跃连接，在第二特征提取分支和第二像素重建分支添加跳跃连接，在第三特征提取分支和第三像素重建分支添加跳跃连接。
鉴别器的主干由6个特征提取分支和1个全连接层构成，各分支包括一个卷积层、批归一化层、激活层的堆叠，各分支之间由1个步长为2的卷积连接，实现下采样的功能，第6特征提取分支后接全连接层，全连接层的输入形状为1×1024，输出形状为1。
生成器及鉴别器中的激活函数均使用PRelu激活函数,PRelu定义为:
其中xi为输入，ai是一个固定的系数，与Relu相比，PRelu一定程度上抑制了网络模型在xi≤0时的梯度消失。
在生成器的训练当中，引入Focal loss作为损失函数进行训练Focal loss定义为：
LFL＝-(1-pt)γlog(pt)
在鉴别器的训练当中，引入BCEloss作为损失函数进行训练，BCEloss定义为：
在对抗训练中，引入负的PSNR作为损失，使PSNR和SSIM达到极大值，PSNR定义如下:
MSE的定义为
其中m和n分别为图像的长和宽，I,K分别为对应的两张图象，i,j表示图像中的位置。
附图说明
为了更清楚地说明本发明实例或现有技术中技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些措施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为该方法流程图。
图2为生成器结构图。
图3为注意力模块图。
图4为鉴别器结构图。
图5为对抗过程。
图6为部分去噪算法效果对比图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。在Windows 10操作系统下选用Pycharm作为编程工具，以Python作为编程语言，附图仅用于示例性说明，不能理解为对本专利的限制；
如图1所示,本发明的一种基于注意力机制GAN的辐照环境图像降噪方法,具体包括如下步骤:
步骤1：构建一个包含编码部分和解码部分的生成器用以特征提取和像素重建。
使用Pytorch进行生成器的构建，第一层卷积层的输入为512×512×3大小的图像张量，在编码部分的第一特征提取分支中，三个卷积层的核尺寸均为3×3，padding＝‘SAME’,该参数表示特征映射的分辨率保持不变，即输入与输出的分辨率保持一致，不做降采样，后接批归一化层和激活层，第一特征提取分支的末端连接下采样率为2的平均池化，第二特征提取分支和第三特征提取分支的主体构成相同，不同的是，第二特征提取分支能够获取中分辨率特征图，其是对第一特征提取分支获得的语义息的细化，并且与第三特征提取分支共享了部分权重，能够对上下文信息进行融合，包含了适中的空间信息和语义信息，因此在第二特征提取分支的第一个卷积层后添加注意力模块，使模型能够有选择性的关注特征张量的通道特征和空间特征。512×512×3的图像在经历编码部分的两次下采样后，第三特征提取分支的输出为128×128×48，将第三特征提取分支和解码部分的第一像素重建分支进行连接，第一像素重建分支中三个卷积层的核尺寸均为3×3，padding＝‘SAME’,该参数表示特征映射的分辨率保持不变，即输入与输出的分辨率保持一致，不做降采样，第一像素重建分支的末端与上采样率为2的亚像素卷积相连接，第二像素重建分支、第三像素重建分支的主体结构与第一像素重建分支的结构完全一致，其中各特征提取分支与对应的像素重建分支通过跳跃连接进行不同语义信息的特征融合，其中批归一化层能够防止梯度爆炸等问题，生成器中直接使用Pytorch提供的BatchNormalization函数，激活层均使用PRelu激活函数，能够显著增强生成器的非线性能力，PRelu定义如下：
其中xi为输入，ai是一个固定的系数，与Relu相比，PRelu一定程度上抑制了网络模型在xi≤0时的梯度消失。
生成器具体结构如图2所示，注意力模块包括空间注意力模块和通道注意力模块，如图3所示。
步骤2：将干净图像作为负样本，将干净图像和辐射噪声图像的差作为正样本，输入步骤构1建的生成器当中，由于噪声在图像中相对于背景的占比成分较小，因此，使用Focal loss作为损失函数使生成器逐渐学习噪声的特征，Focal loss定义如下：
LFL＝-(1-pt)γlog(pt)
此时，将辐照噪声图像放入生成器，即可输出噪声图像，利用残差思想，便可以得到没有噪声的干净图像。
步骤3：使用Pytorch进行鉴别器的构建，鉴别器的功能是为了鉴别输入的图像来源是生成器经过残差之后输出的干净图像还是真正的干净图像，鉴别网络的工作过程直接决定了网络对于辐照环境图像降噪效果的好坏，如果鉴别器能够准确辨别出输入图像的来源，那么我们根据生成对抗的原理可知该模型能够有较好的降噪效果。
鉴别器的主干由6个特征提取分支和1个全连接层构成，各分支包括一个卷积层、批归一化层、激活层的堆叠，各分支之间由1个步长为2的卷积连接，实现下采样的功能，第6特征提取分支后接全连接层，全连接层的输入形状为1×1024，输出形状为1，鉴别器的具体结构如图3所示。
在鉴别器的训练当中，引入BCEloss作为损失函数进行训练，BCEloss定义为：
步骤4：利用GAN的思想，对生成器和鉴别器进行零和博弈，获得最优的生成器。鉴别器输出的值越接近1越好，生成器和鉴别器互相博弈，不断地进行迭代，最终使得鉴别器输出最优值，此时网络完成训练。
博弈的过程是一个求解最优值得过程，博弈的总体的目标函数可以表示为：
在对抗训练中，同时引入负的PSNR加以权重作为损失的一部分，使PSNR达到极大值，PSNR定义如下:
MSE的定义为
其中m和n分别为图像的长和宽，I,K分别为对应的两张图象，i,j表示图像中的位置。
同时，为了更新零和博弈的参数，使得博弈过程更快逼近最优值，使得损失函数能够最小化，我们的整个网络使用PMSProp优化器，该优化器效果比传统的优化器效果更好，该优化器算法的一般策略如式：
其中E|g2|t表示前t次的梯度平方的均值。Wt表示t时刻即第t次迭代模型的参数，gt表示t次迭代代价函数关于W的梯度大小，α表示动力(通常设置为0.9)，η0表示全局初始学习率。ε是一个取值很小的数，其目的是为了避免分母为0。
利用上述博弈的损失函数以及优化器，对步骤1中的生成器以及步骤3中的鉴别器进行优化，保留纳什平衡下的最优生成器。
步骤5：将含有辐照噪声的图像输入至步骤4经过零和博弈后的生成器当中，生成器输出清晰图像。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于注意力机制GAN的辐照环境图像降噪方法，其特征在于，包括如下步骤：
步骤1：构建一个包含编码部分和解码部分的生成器用以特征提取和像素重建。
步骤2：利用残差思想，通过对比重建出的噪声和辐照环境图像的差异，输出清晰图像。
步骤3：构建一个鉴别器用以判别图像的来源。
步骤4：利用GAN的想象，对生成器和鉴别器进行零和博弈，获得最优的生成器。
步骤5：输入含有辐照噪声的图像至生成器中，输出清晰图像。
2.如权力要求1所述的基于注意力机制GAN的辐照环境图像降噪方法，其特征在于，生成器中编码部分的主干由3个特征提取分支构成，称为第一特征提取分支、第二特征提取分支、第三特征提取分支，各分支包括三个卷积层、批归一化层、激活层的堆叠，各分支之间由下采样率为2的平均池化层连接，并且在第二特征提取分支中添加了注意力模块。
3.如权力要求1所述的基于注意力机制GAN的辐照环境图像降噪方法，其特征在于，生成器中解码部分的主干由三个像素重建构成，称为第一像素重建分支、第二特征像素重建分支、第三像素重建分支，各分支包括三个卷积层、批归一化层、激活层的堆叠，各分支之间由上采样率为2的亚像素卷积连接。
4.如权力要求2所述的编码部分和权利要求3所述的解码部分，在第一特征提取分支和第二像素重建分支添加跳跃连接，在第二特征提取分支和第二像素重建分支添加跳跃连接，在第三特征提取分支和第三像素重建分支添加跳跃连接。
5.如权力要求1所述的基于注意力机制GAN的辐照环境图像降噪方法，其特征在于，鉴别器的主干由6个特征提取分支和1个全连接层构成，各分支包括一个卷积层、批归一化层、激活层的堆叠，各分支之间由1个步长为2的卷积连接，实现下采样的功能，第6特征提取分支后接全连接层，全连接层的输入形状为1×1024，输出形状为1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210727590.2A CN115115544A (zh) | 2022-06-22 | 2022-06-22 | 一种基于注意力机制gan的辐照环境图像降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210727590.2A CN115115544A (zh) | 2022-06-22 | 2022-06-22 | 一种基于注意力机制gan的辐照环境图像降噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115115544A true CN115115544A (zh) | 2022-09-27 |
Family
ID=83328985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210727590.2A Pending CN115115544A (zh) | 2022-06-22 | 2022-06-22 | 一种基于注意力机制gan的辐照环境图像降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115115544A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112614061A (zh) * | 2020-12-08 | 2021-04-06 | 北京邮电大学 | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 |
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
-
2022
- 2022-06-22 CN CN202210727590.2A patent/CN115115544A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、系统和计算机存储介质 |
| WO2022083026A1 (zh) * | 2020-10-21 | 2022-04-28 | 华中科技大学 | 一种超声图像去噪模型建立方法及超声图像去噪方法 |
| CN112614061A (zh) * | 2020-12-08 | 2021-04-06 | 北京邮电大学 | 基于双路编解码器的低照度图像亮度增强及超分辨率方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Hifacegan: Face renovation via collaborative suppression and replenishment | |
| CN109241972B (zh) | 基于深度学习的图像语义分割方法 | |
| Liu et al. | Performance validation of YOLO variants for object detection | |
| CN114581560B (zh) | 基于注意力机制的多尺度神经网络红外图像彩色化方法 | |
| Albelwi et al. | Automated optimal architecture of deep convolutional neural networks for image recognition | |
| CN113420759B (zh) | 一种基于深度学习的抗遮挡与多尺度死鱼识别系统与方法 | |
| CN115731138A (zh) | 一种基于Transformer与卷积神经网络的图像修复方法 | |
| CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
| CN110321777A (zh) | 一种基于栈式卷积稀疏去噪自编码器的人脸识别方法 | |
| CN113592715A (zh) | 一种面向小样本图像集的超分辨率图像重构方法 | |
| Pan et al. | Structure–color preserving network for hyperspectral image super-resolution | |
| CN116309107A (zh) | 基于Transformer和生成式对抗网络的水下图像增强方法 | |
| CN117196963A (zh) | 一种基于降噪自编码器的点云去噪方法 | |
| CN113762265A (zh) | 肺炎的分类分割方法及系统 | |
| CN115170943A (zh) | 一种基于迁移学习的改进视觉Transformer海底底质声呐图像分类方法 | |
| CN112149802A (zh) | 一种语义结构一致的图像内容转换方法 | |
| CN115953784A (zh) | 基于残差和特征分块注意力的激光打码字符分割方法 | |
| Zhang et al. | A context-aware road extraction method for remote sensing imagery based on transformer network | |
| CN116523985B (zh) | 一种结构和纹理特征引导的双编码器图像修复方法 | |
| CN117557467A (zh) | 一种基于CNN-Transformer的光子计数图像高效联合去噪超分方法和系统 | |
| CN115115544A (zh) | 一种基于注意力机制gan的辐照环境图像降噪方法 | |
| CN116703750A (zh) | 基于边缘注意力和多阶微分损失的图像去雾方法及系统 | |
| CN115100107B (zh) | 一种皮肤镜图像分割方法及系统 | |
| CN116152263A (zh) | 一种基于cm-mlp网络的医学图像分割方法 | |
| Cao et al. | Deep feature interactive aggregation network for single image deraining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |