CN114581330A - 一种基于多尺度混合注意力的太赫兹图像去噪方法 - Google Patents
一种基于多尺度混合注意力的太赫兹图像去噪方法 Download PDFInfo
- Publication number
- CN114581330A CN114581330A CN202210245104.3A CN202210245104A CN114581330A CN 114581330 A CN114581330 A CN 114581330A CN 202210245104 A CN202210245104 A CN 202210245104A CN 114581330 A CN114581330 A CN 114581330A
- Authority
- CN
- China
- Prior art keywords
- image
- feature map
- denoising
- attention
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 238000007499 fusion processing Methods 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 61
- 238000012549 training Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013178 mathematical model Methods 0.000 claims description 3
- 230000002787 reinforcement Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 18
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- -1 clothes Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009659 non-destructive testing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002887 superconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于多尺度混合注意力的太赫兹图像去噪方法，包括：获取含噪的太赫兹图像；构建与太赫兹图像分辨率相同的噪声水平图；将太赫兹图像作为噪声图像，与构建的噪声水平图输入到训练好的去噪模型中，输出最终的去噪图像；去噪模型包括依次连接的输入特征图融合处理单元、特征提取单元和监督去噪单元，其中：输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图，特征提取单元学习深层和浅层的多尺度特征信息，监督去噪单元进行自适应监督图像去噪与增强图像细节，得到阶段恢复的去噪图像和噪声预测图；对噪声预测图进行均衡处理得到的去噪图像。本发明解决了传统太赫兹成像系统成像质量差、高频细节少、噪声严重等问题。
Description
技术领域
本发明涉及太赫兹成像领域,具体涉及一种基于多尺度混合注意力的太赫兹图像去噪方法。
背景技术
太赫兹(THz)成像技术是利用频率范围为0.1～10THz(THz＝1012HZ)射线照射目标物，通过目标物的回波信号进行探测处理，实现成像。太赫兹成像技术已被证明是测量拥有远红外特性介质的一种强有力的光谱测量技术,可以穿透衣服、陶瓷等绝缘材料，测量半导体、超导体、液体和气体，对金属材料具有强反射性，同时相比于传统的X射线扫描，太赫兹射线不会对生物组织造成伤害，因此在安检、生物医学、品质检测、艺术品鉴定等方向具有广泛的应用前景。
但另一方面,太赫兹成像系统的低分辨率一直是其应用于无损检测或其他领域的巨大障碍，提高太赫兹图像质量成为当前国内外新的研究热点。通过图像处理方法对太赫兹波成像图像的去噪和增强成为克服太赫兹波成像发展障碍最经济和实用的方法。传统的去噪方法如滤波器、小波变换等空间和变换域去噪算法很难满足太赫兹去噪图像的高质量和实时性要求。相对于传统图像去噪方法，基于深度学习的图像去噪方法具有强大的学习能力，不仅可以拟合复杂噪声分布，还节省了计算时间，因此使用深度学习在太赫兹图像去噪领域有很好的应用前景。
发明内容
本发明提供了一种基于多尺度混合注意力的太赫兹图像去噪方法，用以解决传统太赫兹成像系统成像质量差、高频细节少、噪声严重的问题。
为了实现上述任务，本发明采用以下技术方案：
一种基于多尺度混合注意力的太赫兹图像去噪方法，包括：
获取含噪的太赫兹图像；
构建与所述太赫兹图像分辨率相同的噪声水平图；
将所述太赫兹图像作为噪声图像，与构建的噪声水平图输入到训练好的去噪模型中，输出最终的去噪图像；
所述去噪模型包括依次连接的输入特征图融合处理单元、特征提取单元和监督去噪单元，其中：
输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图，同时进行通道调整，得到第一特征图；特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信息，得到第二特征图；监督去噪单元用于根据所述第二特征图以及噪声图像进行自适应监督图像去噪与增强图像细节，得到阶段恢复的去噪图像和噪声预测图；对噪声预测图进行均衡处理得到所述的去噪图像。
进一步地，所述输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图，同时进行通道调整，得到第一特征图，包括：
将噪声图像、与噪声图像分辨率相同的噪声水平图输入到特征融合处理单元；其中，所述噪声水平图是由设定的噪声水平拉伸成的噪声水平映射；
将噪声图像与噪声水平图进行拼接融合得到输入特征图，之后通过一个卷积层对输入特征图提升维度信息，得到第一特征图。
进一步地，所述特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信息，得到第二特征图，包括：
第一步，对第一特征图进行两次编码，得到编码特征图Ij(j＝1,2)；
第二步，利用级联密集块FLC Block0对第一特征图I0进行特征学习，得到特征学习后的强化图
利用级联密集块FLC Block1、FLC Block2分别对编码特征图Ij(j＝1,2)进行特征学习，得到特征学习后的强化图
对级联密集块FLC Block2输出的强化图
进行解码重构，得到解码特征图
第三步，将解码重构的特征图
与级联密集块FLC Block1输出的强化图
一起经过解码注意力模块输出凸显局部特征的注意力增强特征图IA；
注意力增强特征图IA经过一个卷积块处理后，输出特征图IB；
特征图IB再经过另一个解码单元进行解码，解码后的特征图与经过级联密集块FLC Block0输出的强化图
通过另一个解码注意力模块后，再经过卷积块处理后输出
即为特征提取单元最终输出的第二特征图。
进一步地，所述对第一特征图进行两次编码，得到编码特征图，包括：
待编码的第一特征图I0并联经过4个步长为2、扩张率分别为1、2、4、8的空洞卷积以及1个池化块操作构成的5层金字塔结构；其中，所述的池化块操作包括平均池化和一个卷积层；金字塔的每一层再分别通过带泄露修正线性单元激活后相融合，得到多尺度融合特征图，最后经过一个卷积层恢复通道特征，得到编码特征图Ij。
进一步地，所述第二步中的级联密集块FLC Block0、FLC Block1、 FLC Block2中残差密集块的数量依次递减；
在每一个残差密集块中，输入的特征图依次通过3个基本块RDB并经过缩放系数β的缩放后与输入的特征图叠加输出；其中基本块的输入M1首先经过一个卷积层和一个非线性激活层输出M2，M2与M1按通道数叠加后经过一个卷积层和一个非线性激活层后输出M3，再将M3、M2与M1按通道数叠加经过一个卷积层和一个非线性激活层LeakyReLU后输出M4，按相同操作得到M5；M5、M4、 M3、M2与M1按通道数叠加后经过卷积恢复与M1相同的通道数，并经过缩放系数β的缩放后与M1叠加输出，完成一个基础块的处理；随后，处理后的特征图被传入后续的其他基础块进行相同的处理。
进一步地，将解码重构的特征图
与级联密集块FLC Block1输出的强化图
一起经过解码注意力模块输出凸显局部特征的注意力增强特征图IA，包括：
和
分别经过卷积层和批量归一化后融合，融合后的特征图依次经过线性整流层、卷积层、批量归一化和Sigmod层得到注意力权值分布，最后将注意力权值分布与
作乘并与
叠加后输出注意力增强特征图IA。
进一步地，特征提取单元输出的第二特征图
与噪声图像Si为监督注意力模块的输入，的第二特征图
经过卷积层降维得到残差图像IS，将IS加入到噪声图像Si，得到阶段恢复的去噪图像即第三特征图
作为去噪模型的输出用于预估损失；第三特征图
经过一个卷积层与Sigmod激活后得到注意力权重，将注意力权重的分布与第二特征图
经过一个卷积层处理后的结果作乘引导特征路径，得到注意力分布的特征图，最后将注意力分布的特征图与第二特征图
叠加输出注意增强特征图ISAM；
最后，注意力增强特征图ISAM经过一个卷积块处理后得到噪声预测图MP， MP作为第四特征图与第三特征图
一起由监督去噪单元输出。
进一步地，所述卷积块的结构为依次连接的卷积层、LeakyReLU层以及另一个卷积层。
进一步地，所述去噪模型的训练采用残差学习的训练方式。在深度神经网络训练过程中，采用ADAM函数对监督损失函数进行优化，损失函数包含两个部分，噪声损失和恢复损失。
进一步地，对噪声预测图进行均衡处理得到所述的去噪图像，包括：
利用去噪模型在训练过程中监督损失函数的权值λ以及太赫兹图像Wv对输出的噪声预测图Hv进行均衡处理，输出最终的去噪图像Pv，其数学模型表示如下：
其中，Uv表示监督去噪单元输出的阶段恢复的去噪图像。
一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述基于多尺度混合注意力的太赫兹图像去噪方法的步骤。
一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述基于多尺度混合注意力的太赫兹图像去噪方法的步骤。
与现有技术相比，本发明具有以下技术特点：
本发明提供一个去噪效果良好的太赫兹图像去噪方法，去除噪声的同时能很好地保留图像细节特征，改善视觉效果。通过加入金字塔采样方法融合多尺度特征信息，采用特征提取单元学习高频特征信息，避免图像去噪时纹理丢失。另外，通过使用自注意力模块监督阶段生成的清晰参考图像，提高去噪网络的拟合度能力，在去除噪声的同时能很好地保留图像细节特征，具有较强的去噪能力，重建出高质量的清晰图像。本发明非常有利于太赫兹成像及深度学习技术的应用研究，对军事、安防、医疗等领域的太赫兹图像处理具有重要的应用价值。
附图说明
图1为本发明中去噪模型在构建、训练过程的流程示意图；
图2为太赫兹图像去噪网络示意图，其中201表示噪声图和噪声水平图的拼接，202是3×3的卷积，203表示编码单元，204表示级联密集块(FLC Block)， 205表示解码单元，206表示解码注意力模块，207、208表示卷积块，209为监督注意力模块(SAM)，210、211分别表示输出噪声图和监督产生的阶段性去噪图像。
图3为卷积块示意图，其中，301、302分别表示卷积核为3×3、1×1的卷积；
图4为编码单元203的示意图，其中，401、402、403、404为空洞卷积，卷积核尺寸为3×3，405、406为1×1的卷积层；
图5为级联密集块(FLC Block)204示意图，其中507为RRDB密集块；
图6为RRDB密集块507示意图，其中601表示残差密集块；
图7为残差密集块601示意图；
图8为解码注意力模块206示意图，其中801、802、804表示卷积和批量归一化处理、803是ReLU激活操作，805表示Sigmod操作；
图9为解码单元205示意图，其中901、902、903、904为空洞、转置卷积，卷积核尺寸为3×3，905为1×1的卷积，906为转置卷积，尺寸为；
图10为监督注意力模块209示意图。
具体实施方式
下面结合附图和实施例对本发明的内容进行详细的描述，但本发明的实际应用形式并不仅限于下述的实施例。
参见图1，本发明提供了一种基于多尺度混合注意力的太赫兹图像去噪方法，包括：
获取含噪的太赫兹图像，其中太赫兹图像通过太赫兹成像系统采集；构建与所述太赫兹图像分辨率相同的噪声水平图；构建卷积神经网络去噪模型，将太赫兹图像作为噪声图像与噪声水平图输入到训练好的去噪模型中，输出最终的去噪图像；下面对卷积神经网络去噪模型的构建和训练过程作进一步详细说明。
1.制作太赫兹图像数据集。
选择150张包括街道、建筑、树木等复杂场景的高质量清晰灰度图像记为 HRk，k＝1,2,...,150，对HRk添加高斯(噪声水平σ＝15)、泊松混合噪声得到噪声图像LRk；将数据对
中的每对图像随机进行翻转、旋转、剪切、移位等操作得到10000对分辨率为100×100的扩增训练集
记为Set，其中CRi为灰度图像HRk扩增后的灰度图像，Si为噪声图像LRk扩增后的噪声图像；利用太赫兹成像系统采集20张含噪图像Wv，v＝1,2,...,20，作为验证模型去噪效果的测试集。
2.构建太赫兹图像的卷积神经网络去噪模型。
所述卷积神经网络去噪模型如图2所示，包括依次连接的输入特征图融合处理单元、特征提取单元和监督去噪单元，最后输出得到噪声残差图以及阶段恢复的去噪图。
第一部分，输入特征图融合处理单元
首先将噪声图像作本单元的输入，在输入端加入一个分辨率与噪声图相同的噪声水平图，用于控制降噪和细节保留之间的权衡，噪声水平图与噪声图像融合后进行通道调整，利用卷积层升维输出第一特征图，具体处理过程如下：
选取Set中的噪声图像Si(通道数为1)输入到输入特征图融合处理单元，在输入端加入一个由与Si分辨率相同的噪声水平图M用于控制降噪和细节保留之间的权衡；M是噪声水平σ拉伸成的噪声水平映射，通道数为1。将Si与M拼接：
IC＝Concat(Si,M)
通过上式得到输入特征图IC；其中，Concat(·)为融合操作，IC为输入的通道数为2、分辨率为100×100的张量信息；使用卷积核尺寸为3×3的卷积层202 对IC提升维度信息，得到第一特征图I0：
I0＝Conv3×3(IC)
上式中I0是尺寸为[128,64,100,100]的浅层张量信息，128为每训练批次将训练集图片喂入网络的数量的大小，64为通道数，Conv3×3(·)为卷积操作。
第二部分，使用特征提取单元对图像信息深层提取，学习边缘纹理等高频细节特征。具体操作如下：
第一步，如图2中编码单元203所示，对包含浅层特征的第一特征图I0进行 2次编码单元203，得到编码特征图Ij(j＝1,2)。
编码单元203如图4所示，待编码的第一特征图I0并联经过4个步长为2、扩张率分别为1、2、4、8的空洞卷积以及1个池化块操作构成的5层金字塔结构；其中，所述的池化块操作包括平均池化Average pooling和一个卷积核尺寸为 1×1的卷积层Conv5；金字塔的每一层再分别通过负斜率为0.2的带泄露修正线性单元LeakyReLU激活后相融合，得到多尺度融合特征图，最后经过一个卷积核尺寸为1×1的卷积层Conv6恢复通道特征，得到编码特征图Ij；编码输出的图像尺寸减半，通道数加倍，具有更丰富的高频纹理信息。
第二步，利用三个级联密集块204对第一特征图I0和编码后的编码特征图Ij特征学习，其中级联密集块为图2中的FLC Block0、FLC Block1、FLC Block2；第一特征图I0进入FLCBlock0进行特征学习，而编码特征图Ij(j＝1,2)分别进入 FLC Block1、FLC Block2进行编码学习。
由数量不同的残差密集块级联构成，如图5所示，FLC Block0、FLC Block1、FLCBlock2中残差密集块RRDB的数量分别为5、4、3个，β为0.2，是残差缩放因子，用于防止训练的不稳定性。如图6所示，在每一个残差密集块中，输入的特征图依次通过3个基本块RDB并经过缩放系数β的缩放后与输入特征图叠加输出；其中基本块的结构参见图7，其中基本块的输入M1首先经过一个卷积层Conv和一个非线性激活层LeakyReLU输出M2，M2与M1按通道数叠加后经过一个卷积层和一个非线性激活层LeakyReLU后输出M3，再将M3、M2与M1按通道数叠加经过一个卷积层和一个非线性激活层LeakyReLU后输出M4，按相同操作得到M5，M5、M4、M3、M2与M1按通道数叠加后经过3×3的卷积恢复与M1相同的通道数，并经过缩放系数β的缩放后与M1叠加输出，完成一个基础块的处理；随后，处理后的特征图被传入后续的其他基础块进行相同的处理；最后级联密集块FLC Block0输出特征学习后的强化图
而级联密集块 FLC Block1、FLC Block2分别输出特征学习后的强化图
进一步地，如图2中解码单元205所示，对级联密集块FLC Block2输出的强化图
进行解码重构。解码结构与编码结构类似，但并联卷积为反卷积操作，且池化操作换为双线性插值上采样用于实现特征图尺寸恢复。解码的实现如图9 所示，
并联经过4个步长为2、扩张率分别为1、2、4、8的空洞反卷积和1 个上采样块操作构成的5层金字塔结构，其中，所述的上采样块操作包括双线性插值上采样Billiber upsample和一个卷积核尺寸为1×1的卷积层Conv；金字塔结构的每一层再分别通过LeakyReLU激活后相融合，得到多尺度融合特征图，最后经过一个卷积核尺寸为1×1的反卷积层906恢复通道特征，得到解码特征图
第三步，如图2中解码注意力模块206所示，将解码重构的特征图
与级联密集块FLC Block1输出的强化图
一起经过解码注意力模块206输出凸显局部特征的注意力增强特征图IA；解码注意力模块206的具体实现如图8所示，
和
分别经过卷积层和批量归一化(Conv1+BN、Conv2+BN)后融合，融合后的特征图依次经过线性整流层ReLU、卷积层Conv3、批量归一化BN和Sigmod 层得到注意力权值分布，最后将注意力权值分布与
作乘并与
叠加后输出注意力增强特征图IA。
如图2中卷积块207(Conv Block1)所示，注意力增强特征图IA经过卷积块 207中的卷积核尺寸为3×3的卷积层301、LeakyReLU和1×1的卷积层302，得到特征图IB，具体结构如图3所示。
特征图IB再经过另一个解码单元205进行解码(参见上述第二步)，解码后的特征图与经过级联密集块FLC Block0输出的强化图
通过另一个解码注意力模块206后，再经过卷积块208处理后输出
即为特征提取单元最终输出的第二特征图。卷积块208的结构同卷积块207，如图3所示，不再赘述。
第三部分，监督去噪单元
监督去噪单元用于根据所述第二特征图
以及噪声图像进行自适应监督图像去噪与增强图像细节，得到阶段恢复的去噪图像
和噪声预测图MP，具体处理过程如下：
如图2中监督注意力模块209所示，特征提取单元输出的第二特征图
与噪声图像Si作为监督注意力模块的输入，用于对渐近图像恢复有用的监督信息，抑制当前阶段信息较少的特征，实现去噪输出。
监督注意力模块209的具体结构如图10所示，尺寸为[128,64,64,64]的第二特征图
经过卷积层Conv1降维得到通道数为1的残差图像IS，将IS加入到噪声图像Si即得到阶段恢复的去噪图像即第三特征图
(通道数为1)作为去噪模型的输出用于预估损失；进一步地，第三特征图
经过一个卷积层Conv3与 Sigmod激活后得到注意力权重，将注意力权重的分布与第二特征图
经过一个卷积层Conv2处理后的结果作乘引导特征路径，得到注意力分布的特征图，最后将注意力分布的特征图与第二特征图
叠加输出注意增强特征图ISAM。
最后，注意力增强特征图ISAM经过另外一个卷积块Conv Block3(与卷积块207、208结构相同，如图3所示)得到尺寸为[128,1,100,100]的噪声预测图MP， MP作为第四特征图与第三特征图
一起由监督去噪单元输出。
3.去噪模型的训练。
去噪模型的训练采用残差学习的训练方式。在深度神经网络训练过程中，采用ADAM函数对监督损失函数Ltotal进行优化，损失函数包含两个部分，噪声损失LN和恢复损失LG，具体表示为：
NG＝Si-CRi
Ltotal＝LN(MP,NG)+λLG(CRi S,CRi)
上式中，λ表示监督损失函数的权值，本实施例中取值为1.8；K为训练集中噪声图像对的数量，其中CRi为扩增训练集中的灰度图像。训练过程中，迭代次数100次，初始学习率设置为0.002，迭代次数到达60时衰减10倍，迭代次数到达70时调整学习率为0。训练完成后，得到训练好的网络模型参数
4.训练好的去噪模型进行图像去噪。
在实际应用时，对于太赫兹成像系统采集到的含噪太赫兹图像Wv，选取对应的噪声水平σpre构建与Wv分辨率相同的噪声水平图输入到训练好的去噪模型中，经过去噪模型最终输出噪声预测图Hv和阶段恢复的去噪图像Uv，利用监督损失函数的权值以及太赫兹图像Wv对输出的噪声预测图Hv进行均衡处理，输出最终的去噪图像Pv，其数学模型表示如下：
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，包括：
获取含噪的太赫兹图像；
构建与所述太赫兹图像分辨率相同的噪声水平图；
将所述太赫兹图像作为噪声图像，与构建的噪声水平图输入到训练好的去噪模型中，输出最终的去噪图像；
所述去噪模型包括依次连接的输入特征图融合处理单元、特征提取单元和监督去噪单元，其中：
输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图，同时进行通道调整，得到第一特征图；特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信息，得到第二特征图；监督去噪单元用于根据所述第二特征图以及噪声图像进行自适应监督图像去噪与增强图像细节，得到阶段恢复的去噪图像和噪声预测图；对噪声预测图进行均衡处理得到所述的去噪图像。
2.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，所述输入特征图融合处理单元用于融合输入的噪声图像和噪声水平图，同时进行通道调整，得到第一特征图，包括：
将噪声图像、与噪声图像分辨率相同的噪声水平图输入到特征融合处理单元；其中，所述噪声水平图是由设定的噪声水平拉伸成的噪声水平映射；
将噪声图像与噪声水平图进行拼接融合得到输入特征图，之后通过一个卷积层对输入特征图提升维度信息，得到第一特征图。
3.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，所述特征提取单元用于针对第一特征图学习深层和浅层的多尺度特征信息，得到第二特征图，包括：
第一步，对第一特征图进行两次编码，得到编码特征图Ij(j＝1,2)；
第二步，利用级联密集块FLC Block0对第一特征图I0进行特征学习，得到特征学习后的强化图
利用级联密集块FLC Block1、FLC Block2分别对编码特征图Ij(j＝1,2)进行特征学习，得到特征学习后的强化图
对级联密集块FLC Block2输出的强化图
进行解码重构，得到解码特征图
第三步，将解码重构的特征图
与级联密集块FLC Block1输出的强化图
一起经过解码注意力模块输出凸显局部特征的注意力增强特征图IA；
注意力增强特征图IA经过一个卷积块处理后，输出特征图IB；
特征图IB再经过另一个解码单元进行解码，解码后的特征图与经过级联密集块FLCBlock0输出的强化图
通过另一个解码注意力模块后，再经过卷积块处理后输出
即为特征提取单元最终输出的第二特征图。
4.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，所述对第一特征图进行两次编码，得到编码特征图，包括：
待编码的第一特征图I0并联经过4个步长为2、扩张率分别为1、2、4、8的空洞卷积以及1个池化块操作构成的5层金字塔结构；其中，所述的池化块操作包括平均池化和一个卷积层；金字塔的每一层再分别通过带泄露修正线性单元激活后相融合，得到多尺度融合特征图，最后经过一个卷积层恢复通道特征，得到编码特征图Ij。
5.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，所述第二步中的级联密集块FLC Block0、FLC Block1、FLC Block2中残差密集块的数量依次递减；
在每一个残差密集块中，输入的特征图依次通过3个基本块RDB并经过缩放系数β的缩放后与输入的特征图叠加输出；其中基本块的输入M1首先经过一个卷积层和一个非线性激活层输出M2，M2与M1按通道数叠加后经过一个卷积层和一个非线性激活层后输出M3，再将M3、M2与M1按通道数叠加经过一个卷积层和一个非线性激活层LeakyReLU后输出M4，按相同操作得到M5；M5、M4、M3、M2与M1按通道数叠加后经过卷积恢复与M1相同的通道数，并经过缩放系数β的缩放后与M1叠加输出，完成一个基础块的处理；随后，处理后的特征图被传入后续的其他基础块进行相同的处理。
6.根据权利要求3所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，将解码重构的特征图
与级联密集块FLC Block1输出的强化图
一起经过解码注意力模块输出凸显局部特征的注意力增强特征图IA，包括：
7.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，特征提取单元输出的第二特征图
与噪声图像Si为监督注意力模块的输入，的第二特征图
经过卷积层降维得到残差图像IS，将IS加入到噪声图像Si，得到阶段恢复的去噪图像即第三特征图
作为去噪模型的输出用于预估损失；第三特征图
经过一个卷积层与Sigmod激活后得到注意力权重，将注意力权重的分布与第二特征图
经过一个卷积层处理后的结果作乘引导特征路径，得到注意力分布的特征图，最后将注意力分布的特征图与第二特征图
叠加输出注意增强特征图ISAM；
最后，注意力增强特征图ISAM经过一个卷积块处理后得到噪声预测图MP，MP作为第四特征图与第三特征图
一起由监督去噪单元输出。
8.根据权利要求1所述的基于多尺度混合注意力的太赫兹图像去噪方法，其特征在于，对噪声预测图进行均衡处理得到所述的去噪图像，包括：
利用去噪模型在训练过程中监督损失函数的权值λ以及太赫兹图像Wv对输出的噪声预测图Hv进行均衡处理，输出最终的去噪图像Pv，其数学模型表示如下：
其中，Uv表示监督去噪单元输出的阶段恢复的去噪图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现根据权利要求1至8中任一权利要求所述基于多尺度混合注意力的太赫兹图像去噪方法的步骤。
10.一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现根据权利要求1至8中任一权利要求所述基于多尺度混合注意力的太赫兹图像去噪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210245104.3A CN114581330A (zh) | 2022-03-14 | 2022-03-14 | 一种基于多尺度混合注意力的太赫兹图像去噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210245104.3A CN114581330A (zh) | 2022-03-14 | 2022-03-14 | 一种基于多尺度混合注意力的太赫兹图像去噪方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114581330A true CN114581330A (zh) | 2022-06-03 |
Family
ID=81775257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210245104.3A Pending CN114581330A (zh) | 2022-03-14 | 2022-03-14 | 一种基于多尺度混合注意力的太赫兹图像去噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581330A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116071265A (zh) * | 2023-02-21 | 2023-05-05 | 哈尔滨工业大学 | 基于空间自适应自监督学习的图像去噪方法 |
| CN116977651A (zh) * | 2023-08-28 | 2023-10-31 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117474797A (zh) * | 2023-12-28 | 2024-01-30 | 南京信息工程大学 | 一种多尺度互补学习的图像去噪方法及装置 |
-
2022
- 2022-03-14 CN CN202210245104.3A patent/CN114581330A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116051408A (zh) * | 2023-01-06 | 2023-05-02 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116051408B (zh) * | 2023-01-06 | 2023-10-27 | 郑州轻工业大学 | 一种基于残差自编码的图像深度去噪方法 |
| CN116071265A (zh) * | 2023-02-21 | 2023-05-05 | 哈尔滨工业大学 | 基于空间自适应自监督学习的图像去噪方法 |
| CN116071265B (zh) * | 2023-02-21 | 2023-08-08 | 哈尔滨工业大学 | 基于空间自适应自监督学习的图像去噪方法 |
| CN117095158A (zh) * | 2023-08-23 | 2023-11-21 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN117095158B (zh) * | 2023-08-23 | 2024-04-26 | 广东工业大学 | 一种基于多尺度分解卷积的太赫兹图像危险品检测方法 |
| CN116977651A (zh) * | 2023-08-28 | 2023-10-31 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN116977651B (zh) * | 2023-08-28 | 2024-02-23 | 河北师范大学 | 一种基于双分支和多尺度特征提取的图像去噪方法 |
| CN117474797A (zh) * | 2023-12-28 | 2024-01-30 | 南京信息工程大学 | 一种多尺度互补学习的图像去噪方法及装置 |
| CN117474797B (zh) * | 2023-12-28 | 2024-03-19 | 南京信息工程大学 | 一种多尺度互补学习的图像去噪方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114581330A (zh) | 一种基于多尺度混合注意力的太赫兹图像去噪方法 | |
| CN107341765B (zh) | 一种基于卡通纹理分解的图像超分辨率重建方法 | |
| CN111681252A (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
| CN111062880A (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| Zhang et al. | Image super-resolution reconstruction based on sparse representation and deep learning | |
| Li et al. | Multi-channel and multi-model-based autoencoding prior for grayscale image restoration | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| CN110223231A (zh) | 一种含噪图像的快速超分辨重建算法 | |
| CN115984117B (zh) | 基于通道注意力的变分自编码图像超分辨率方法及系统 | |
| CN112819716B (zh) | 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法 | |
| CN113837974A (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
| CN115631107A (zh) | 边缘引导的单幅图像噪声去除 | |
| CN114140442A (zh) | 一种基于频域和图像域退化感知的深度学习稀疏角度ct重建方法 | |
| CN102222327A (zh) | 基于Treelet变换和最小均方误差估计的图像去噪方法 | |
| Jiang et al. | A new nonlocal means based framework for mixed noise removal | |
| Wali et al. | Recent progress in digital image restoration techniques: a review | |
| CN117726540A (zh) | 一种增强门控Transformer的图像去噪方法 | |
| CN106683049A (zh) | 一种基于显著图和稀疏表示的图像超分辨率重构方法 | |
| CN113240581A (zh) | 一种针对未知模糊核的真实世界图像超分辨率方法 | |
| CN116012266B (zh) | 图像去噪方法、系统、设备及存储介质 | |
| CN111243047B (zh) | 基于自适应非线性网络的图像压缩感知方法及相关产品 | |
| CN113628114A (zh) | 一种双通道稀疏编码的图像超分辨率重建方法 | |
| Xu et al. | An unsupervised fusion network for boosting denoising performance | |
| Kumaraswamy et al. | Satellite image fusion using fuzzy logic | |
| CN117474797B (zh) | 一种多尺度互补学习的图像去噪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |