CN116993607B - 一种基于残差注意力机制的医学图像智能去噪方法及装置 - Google Patents
一种基于残差注意力机制的医学图像智能去噪方法及装置 Download PDFInfo
- Publication number
- CN116993607B CN116993607B CN202310916782.2A CN202310916782A CN116993607B CN 116993607 B CN116993607 B CN 116993607B CN 202310916782 A CN202310916782 A CN 202310916782A CN 116993607 B CN116993607 B CN 116993607B
- Authority
- CN
- China
- Prior art keywords
- residual
- attention
- feature map
- feature
- extraction information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000007246 mechanism Effects 0.000 title claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 295
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 238000010586 diagram Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种基于残差注意力机制的医学图像智能去噪方法及装置,所述方法包括:将待去噪图像输入特征提取单元,得到第一特征提取信息;将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。本申请中,对医学图像进行初步特征提取再利用残差注意力机制进行深度特征提取,最后通过长跳跃连接的方式与医学图像特征进行融合,从而完成对医学图像的去噪。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种基于残差注意力机制的医学图像智能去噪方法及装置。
背景技术
医学图像中的噪声会对图像质量和后续诊断造成一定的不利影响,各类噪声直接导致医学图像质量下降,影响观察和诊断。噪声会干扰边缘、纹理等结构的提取,降低分割和量化的效果。
去除各种噪声可以有效提升医学图像的整体视觉质量,使图像更清晰:在一些低剂量医学检查中,去噪可以使病变更清晰可检;医学图像去噪还可以提高图像本身质量,也为后续处理与分析提供更好的输入数据。
但是现有的医学图像处理一般集中于医学图像的三维重建等领域,对如何进行医学图像去噪研究较少。
发明内容
本申请解决的问题是当前医学图像处理中缺乏医学去噪的方式。
为解决上述问题,本申请第一方面提供了一种基于残差注意力机制的医学图像智能去噪方法,包括:
将待去噪图像输入特征提取单元,得到第一特征提取信息;
将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
本申请第二方面提供了一种基于残差注意力机制的医学图像智能去噪装置,其包括:
特征提取子装置,其用于将待去噪图像输入特征提取单元,得到第一特征提取信息;
注意力提取子装置,其用于将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
残差计算子装置,其用于将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
去噪计算子装置,其用于将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
本申请第三方面提供了一种电子设备,其包括:存储器和处理器;
所述存储器,其用于存储程序;
所述处理器,耦合至所述存储器,用于执行所述程序,以用于:
将待去噪图像输入特征提取单元,得到第一特征提取信息;
将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
本申请第四方面提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行实现上述所述的基于残差注意力机制的医学图像智能去噪方法。
本申请中,对医学图像进行初步特征提取再利用残差注意力机制进行深度特征提取,最后通过长跳跃连接的方式与医学图像特征进行融合,从而完成对医学图像的去噪。
本申请中,通过长跳跃连接的方式直接融合初始特征,从而将特征提取的目的由医学图像中的人体特征转变为医学图像中的噪声特征,从而降低特征提取的难度,达到更好的提取效果。
本申请中,采用残差注意力的模块进行特征的提取,可以有效防止深度学习的退化问题和梯度消失问题,同时注意力机制可以有效减少冗余信息的干扰。
本申请中,使用多尺度残差模块进行特征提取,可以有效融合不同卷积核和不同感受野的特征,避免特征的丢失。
附图说明
图1为根据本申请实施例的医学图像智能去噪方法的流程图;
图2为根据本申请实施例的医学图像智能去噪方法的模型架构图;
图3为根据本申请实施例的医学图像智能去噪方法模型训练的流程图;
图4为根据本申请实施例的医学图像智能去噪方法残差注意力提取单元的架构图;
图5为根据本申请实施例的医学图像智能去噪方法多尺度残差模块的架构图;
图6为根据本申请实施例的医学图像智能去噪装置的结构框图;
图7为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂,下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是,除非另有说明,本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
针对上述问题,本申请提供一种新的基于残差注意力机制的医学图像智能去噪方案,能够通过残差注意力机制进行医学图像的去噪学习,解决当前医学图像处理中缺乏医学去噪的方式的问题。
为了便于理解,在此对下述可能使用的术语进行解释:
端到端学习:(End-To-End Learning),也称端到端训练,是指在学习过程中不进行分模块或分阶段训练,直接优化任务的总体目标。
本申请实施例提供了一种基于残差注意力机制的医学图像智能去噪方法,该方法的具体方案由图1-图5所示,该方法可以由基于残差注意力机制的医学图像智能去噪装置来执行,该基于残差注意力机制的医学图像智能去噪装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示,其为根据本申请一个实施例的基于残差注意力机制的医学图像智能去噪方法的流程图;其中,所述基于残差注意力机制的医学图像智能去噪方法,包括:
S200,将待去噪图像输入特征提取单元,得到第一特征提取信息;
本申请中,所述待去噪图像为医学图像;所述医学图像可以为:X线片、电子计算机断层扫描(Computed Tomography,CT)图像、磁共振(Magnetic Resonance Imaging,MRI)图像,或者上述多个图像的合成图像等。
在一种实施方式中,所述医学图像为CT图像。从而通过去噪的方式大大增加CT图像的显示效果。
S300,将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
本申请中,将第一特征提取信息输入多个依次设置的残差注意力提取单元,即是将第一特征信息输入第一个残差注意力提取单元,将第一个残差注意力提取单元的输出输入第二个残差注意力提取单元,依次执行,直至最后一个残差注意力提取单元输出残差注意力提取信息。
如图2中所示,其中的RAM(Residual Attention Model)模块即为所述残差注意力提取单元。其中的Long Skip Connection为长跳跃连接。
在一中实施方式中,所述残差注意力提取单元的数量为4个,从而对特征提取的层次进行限定,避免特征提取过程中的过拟合。
S400,将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
S500,将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
本步骤中,将待去噪图像直接与第二特征提取信息进行残差相加后得到去噪的医学图像,通过长跳跃连接的方式直接融合初始特征,从而达到更好的残差效果。
本申请中,对医学图像进行初步特征提取再利用残差注意力机制进行深度特征提取,最后通过长跳跃连接的方式与医学图像特征进行融合,从而完成对医学图像的去噪。
需要说明的是,现有的残差连接方式一般为特征提取层内的连接,并不存在直接与输入特征进行残差连接的方式。
本申请中,通过长跳跃连接的方式直接融合初始特征,从而将特征提取的目的由医学图像中的人体特征转变为医学图像中的噪声特征,从而降低特征提取的难度,达到更好的提取效果。
结合图3所示,在一种实施方式中,所述S200,将待去噪图像输入特征提取单元,得到第一特征提取信息之前,还包括:
S101,获取第一样本图像,所述第一样本图像具有标注的去噪图像;
本申请中,所述第一样本图像为医学图像;且所述第一样本图像与待去噪图像的尺寸相同。
本申请中,第一样本图像与待去噪图像的尺寸相同;若第一样本图像与待去噪图像的尺寸不同,则通过截图或补0的方式(或其他改变尺寸的方式)将其转变为相同。
S102,将所述第一样本图像输入特征提取单元,得到所述第一样本图像的第一特征提取信息;
S103,将所述第一特征提取信息输入多个依次设置的残差注意力提取单元,得到所述第一样本图像的残差注意力提取信息;
S104,将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到所述第一样本图像的第二特征提取信息;
本申请中,所述第一样本图像与所述待去噪图像类似,均具有第一特征提取信息、残差注意力提取信息、第二特征提取信息。
S105,将所述第一样本图像的与所述第二特征提取信息进行残差计算后得到预测的去噪图像;
S106,基于预测的所述去噪图像和标注的所述去噪图像计算深度卷积模型的整体损失;
在一种实施方式中,所述整体损失的计算公式为:
Loss=α×Lossce+β×Lossd
其中,Lossce为加权交叉熵损失函数,α为该损失函数的权重,Lossd为DICE损失函数,β为该损失函数的权重,i为第一样本图像的序号,M为第一样本图像正样本个数,N为第一样本图像负样本个数,ωtrue为正样本权重,ωfalse为负样本权重,pi为预测的去噪图像的值,yi为标注的去噪图像的值。
本申请中,标注的去噪图像具有赋值信息,所述赋值信息可以为1或0,通过1指示正类,通过0指示负类。上述公式加权交叉熵损失函数中if yi=0即表示该第一样本图像的赋值信息为0,该第一样本图像为负样本;上述公式加权交叉熵损失函数中if yi=1即表示该第一样本图像的赋值信息为1,该第一样本图像为正样本。
本申请中,i为第一样本图像的序号;其中,第一样本图像的正样本与负样本分别进行编号,i在不同的求和运算符中分别表示第i个正样本与第i个负样本。
需要说明的是,本申请中,pi,yi均表示对应去噪图像的数据矩阵;基于该矩阵计算后的损失函数也为矩阵形式。
本申请中,基于矩阵形式的整体损失进行反向传播,对深度卷积模型进行迭代。通过矩阵形式的整体损失,可以反映每个像素值的实际损失,从而达到更好的对应性和迭代效果。
在一种实施方式中,对矩阵形式的整体损失进行数值计算(求出矩阵的值)后,基于矩阵的数值进行反向传播,对深度卷积模型进行迭代。
本申请中,上述整体损失的计算公式具有以下约束:
ωtrue+ωfalse=1
α+β=1
S107,基于所述整体损失对所述特征提取单元、所述残差注意力提取单元进行迭代,直至所述整体损失收敛为止。
本申请中,基于所述整体损失对所述特征提取单元、所述残差注意力提取单元进行迭代,实际执行过程中,是对包含特征提取单元、残差注意力提取单元的深度卷积模型进行迭代,所述特征提取单元、所述残差注意力提取单元为深度模型的一部分,随深度卷积模型的迭代而迭代。
本申请中,所述第一样本图像标注的去噪图像,为深度卷积模型训练时的监督信号。
本申请中,通过相互结合的特征提取单元和残差注意力提取单元,实现医学图像去噪的端到端的训练和推理,与分阶段、分模块的训练和推理相比较,降低了训练和推理的复杂度,同时降低了训练和推理的时间。
本申请中,所述第一样本图像可以包括多种类型的医学图像,从而通过大范围覆盖的第一样本图像,提高深度卷积模型的训练效果。
本申请中,若待去噪图像为CT图像,则所述第一样本图像为CT图像,从而通过特定种类的第一样本图像得到对应的深度卷积模型,提高特定种类的深度卷积模型的训练的准确度。
结合图4所示,在一种实施方式中,所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;
所述将第一特征提取信息输入残差注意力提取单元,得到残差注意力提取信息,包括:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;
将所述第一特征图输入第一卷积模块,得到第二特征图;
将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;
将所述第三特征图输入第二卷积模块,得到第四特征图;
对所述第四特征图进行Softmax操作,得到注意力系数;
将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;
将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;
最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
本申请中,由图4中可以看出,输入特征后,经过一个MSRM模块得到特征图A,特征图A经过第一卷积模块后,得到特征图B。特征图A与特征图B进行第一次残差计算得到特征图C。
注意力提取部分如下所示:特征图C经过第二卷积模块后得到特征图D,特征图D经过Softmax操作得到注意力系数E,注意力系数E与特征图C进行点乘操作得到注意力特征图F。将特征图A与注意力特征图F进行第二次残差计算,得到最终的特征图Output。
其中,图4中的MSRM模块为多尺度残差模块,特征图A为第一特征图,特征图B为第二特征图,特征图C为第三特征图,特征图D为第四特征图。
在一种实施方式中,所述第一卷积模块和所述第二卷积模块结构相同,包括依次设置的卷积层、BN层、Relu层和Maxpooling层。
本申请中,所述第一卷积模块与所述第二卷积模块的结构相同,从而通过相同的卷积操作,提高特征提取过程中的同源性。
本申请中,通过残差计算,增加网络梯度,从而在深层网络中找到更佳的局部最优点;
本申请中,通过残差计算,降低模型的复杂度,从而减少深层网络过拟合的可能性。
需要说明的是,本申请中,在残差相加/残差计算的过程中,若进行残差计算的两方尺寸相同,则直接进行值相加即可;若进行残差计算的两方尺寸不同,则通过1x1投影卷积,将两方通道数变成相同,然后进行值相加。
本申请中,通过1x1投影卷积,而不使用补0操作,从而降低多层卷积过程中的计算量,提高模型训练的速度。
本申请中,注意力机制部分的具体计算过程如下:
feature_D=Conve3(MaxPooling(feature_C))
其中,feature_C为特征图C,feature_D为特征图D,Conve3表示3x3卷积操作、批归一化与非线性激活函数,MaxPooling为最大池化操作。
本申请中,对所述第四特征图进行Softmax操作,从而将注意力系数限制在(0,1),即将特征图映射到(0,1)区间,通过概率的方式表示最有可能为目标的区域,具体计算如下:
feature_F=coe×feature_C
其中,coe为注意力系数E,coei为根据特征图D求得的第i个元素的注意力系数,fi为特征图D中的第i个元素,N为特征图D的元素个数,feature_F为注意力特征图F。
本申请中,残差与注意力机制特征图需要进行融合操作,在融合过程中需要保持特征图的维度相同,因此,通过1x1卷积改变特征图F的通道数,通道数与特征图A保持一致,通过最大池化改变特征图A的宽与高,宽与高大小与特征图F相同。残差与注意力机制的融合计算如下:
output=Conv1(feature_F)+MaxPooling(feature_A)
其中,Conve1表示1x1卷积操作、批归一化与非线性激活函数。
需要说明的是,本申请中,对于多尺度残差模块,若其为第一个残差注意力单元的多尺度残差模块,则输入的为第一特征提取信息,若其为非第一个残差注意力单元的多尺度残差模块,则输入的为前一个残差注意力单元的输出信息。
类似地,残差注意力提取单元的输出特征图中,若其为最后一个残差注意力单元的输出特征图,则其为所述残差注意力提取信息;若其为非最后一个残差注意力单元的输出特征图,则其为后一个残差注意力单元的输入信息。
本申请中,在实际预测中与实际训练过程中,所述残差注意力提取单元的处理对象不同,但处理方式相同(预测和训练过程中的参数不同)。
结合图5所示,在一种实施方式中,所述多尺度残差模块包括:第一卷积支路、第二卷积支路和第三卷积模块;
所述将第一特征提取信息输入多尺度残差模块,得到第一特征提取信息的第一特征图,包括:
将所述第一特征提取信息输入第一卷积支路,得到第一提取特征图;
将所述第一特征提取信息输入第二卷积支路,得到第二提取特征图;
对所述第一提取特征图和所述第二提取特征图进行Concat操作,得到第三提取特征图;
将第三提取特征图输入第三卷积模块,得到第四提取特征图;
将第四提取特征图与第一特征提取信息进行残差计算,得到第五提取特征图;
将第五提取特征图输入第三卷积模块,得到输出的第一特征图。
本申请中,通过设置第一卷积支路和第二卷积支路,从而从多个尺度的特征卷积进行特征提取,从而获取多个尺度的提取特征,提高模型训练和模型预测的准确性。
本申请中,通过将输入的第一特征提取信息与提取得到的第五提取特征图进行残差计算,从而最大程度保留第一特征提取信息的细节特征。
在一种实施方式中,所述第一卷积支路包括依次设置的第四卷积模块和第三卷积模块,所述第二卷积支路包括依次设置的第三卷积模块和第四卷积模块;所述第三卷积模块与第四卷积模块的卷积核不同。
本申请中,所述第三卷积模块与第四卷积模块仅卷积核不同,从而通过相似的卷积操作,提高特征提取过程中的同源性。
在一种实施方式中,所述第三卷积模块和所述第四卷积模块结构相同,包括依次设置的卷积层、BN层和Relu层。不同之处在于,所述第三卷积模块的卷积层为3x3卷积层,所述第四卷积模块的卷积层为1x1卷积层。
本申请中,通过设置结构相似的第一卷积支路和第二卷积支路,从而利用支路之间的结构相似性,降低结构造成的特征提取的干扰,提高特征提取的准确性。
需要说明的是,本申请中,在并非第一个残差注意力提取单元的情况下,输入的第一特征提取信息也可以是前一个残差注意力提取单元的输出特征图;本申请中,将其统一代称为第一特征提取信息。
本申请中,如图5所示,将Input特征图多个尺度的特征卷积进行特征提取,本申请中主要是是用1x1卷积核和3x3卷积核进行特征提取。其中,1x1卷积部分使用1x1卷积+BN+Relu和3x3卷积+BN+Relu进行特征提取(特征图H),3x3卷积部分使用3x3卷积+BN+Relu和1x1卷积+BN+Relu进行特征提取(特征图I)。将两部分的特征图(特征图H、I)进行Concat操作(特征图J),随后进行3x3卷积+BN+Relu得到特征图K,特征图K与Input特征图进行残差计算得到特征特L,以防止细节特征的损失。最后通过3x3卷积+BN+Relu得到特征图Output。
其中,图5中的特征图H为第一提取特征图,特征图I为第二提取特征图,特征图J为第三提取特征图,特征图K为第四提取特征图,特征图L为第五提取特征图。
本申请中,CONCAT操作的合并为将原始特征直接拼接。通过该合并方式,可以保留不同感受尺度的卷积层提取到的特性。
本申请中,合并后输入第三卷积模块进行输出,是保证多条并行支路的合并输出与第一特征提取信息的特征维度相同,保证两部分特征能够正常相加。
需要说明的是,本申请中,第一、第二、第三、第四、第五提取特征图均表示特征提取后的特征图;与前述所述的第一、第二、第三特征图所表示的含义类似,将其写作“提取特征图”,仅是用于与“特征图”进行文字上的区分,并非其表示的具体含义不同。
需要说明的是,本申请中的“模块”仅是用于表示一定数据层的聚合,并没有特定的范围或类型限制,因此模块之间可以并列、串联,也可以具有包含关系或被包含关系。
本申请中,采用残差注意力的模块进行特征的提取,可以有效防止深度学习的退化问题和梯度消失问题,同时注意力机制可以有效减少冗余信息的干扰。
本申请中,使用多尺度残差模块进行特征提取,可以有效融合不同卷积核和不同感受野的特征,避免特征的丢失。
本申请实施例提供了一种基于残差注意力机制的医学图像智能去噪装置,用于执行本申请上述内容所述的基于残差注意力机制的医学图像智能去噪方法,以下对所述基于残差注意力机制的医学图像智能去噪装置进行详细描述。
如图6所示,所述基于残差注意力机制的医学图像智能去噪装置,包括:
特征提取子装置101,其用于将待去噪图像输入特征提取单元,得到第一特征提取信息;
注意力提取子装置102,其用于将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
残差计算子装置103,其用于将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
去噪计算子装置104,其用于将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
在一种实施方式中,所述基于残差注意力机制的医学图像智能去噪装置还包括模型训练子装置,其用于:
获取第一样本图像,所述第一样本图像具有标注的去噪图像;将所述第一样本图像输入特征提取单元,得到所述第一样本图像的第一特征提取信息;将所述第一特征提取信息输入多个依次设置的残差注意力提取单元,得到所述第一样本图像的残差注意力提取信息;将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到所述第一样本图像的第二特征提取信息;将所述第一样本图像的与所述第二特征提取信息进行残差计算后得到预测的去噪图像;基于预测的所述去噪图像和标注的所述去噪图像计算深度卷积模型的整体损失;基于所述整体损失对所述特征提取单元、所述残差注意力提取单元进行迭代,直至所述整体损失收敛为止。
在一种实施方式中,所述整体损失的计算公式为:
Loss=α×Lossce+β×Lossd
其中,Lossce为加权交叉熵损失函数,α为该损失函数的权重,Lossd为DICE损失函数,β为该损失函数的权重,i为第一样本图像的序号,M为第一样本图像正样本个数,N为第一样本图像负样本个数,ωtrue为正样本权重,ωfalse为负样本权重,pi为预测的去噪图像的值,yi为标注的去噪图像的值。
在一种实施方式中,所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;所述模型训练子装置还用于:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;将所述第一特征图输入第一卷积模块,得到第二特征图;将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;将所述第三特征图输入第二卷积模块,得到第四特征图;对所述第四特征图进行Softmax操作,得到注意力系数;将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
在一种实施方式中,所述多尺度残差模块包括:第一卷积支路、第二卷积支路和第三卷积模块;所述模型训练子装置还用于:
将所述第一特征提取信息输入第一卷积支路,得到第一提取特征图;将所述第一特征提取信息输入第二卷积支路,得到第二提取特征图;对所述第一提取特征图和所述第二提取特征图进行Concat操作,得到第三提取特征图;将第三提取特征图输入第三卷积模块,得到第四提取特征图;将第四提取特征图与第一特征提取信息进行残差计算,得到第五提取特征图;将第五提取特征图输入第三卷积模块,得到输出的第一特征图。
在一种实施方式中,所述第一卷积支路包括依次设置的第四卷积模块和第三卷积模块,所述第二卷积支路包括依次设置的第三卷积模块和第四卷积模块;所述第三卷积模块与第四卷积模块的卷积核不同。
在一种实施方式中,所述第一卷积模块和所述第二卷积模块结构相同,包括依次设置的卷积层、BN层、Relu层和Maxpooling层。
本申请的上述实施例提供的基于残差注意力机制的医学图像智能去噪装置与本申请实施例提供的基于残差注意力机制的医学图像智能去噪方法具有对应关系,因此该装置中的具体内容与医学图像智能去噪方法具有对应关系,具体内容可以参照医学图像智能去噪方法中的记录,本申请中对此不再赘述。
本申请的上述实施例提供的基于残差注意力机制的医学图像智能去噪装置与本申请实施例提供的基于残差注意力机制的医学图像智能去噪方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于残差注意力机制的医学图像智能去噪装置的内部功能和结构,如图7所示,实际中,该基于残差注意力机制的医学图像智能去噪装置可实现为电子设备,包括:存储器301及处理器303。
存储器301,可被配置为存储程序。
另外,存储器301,还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
处理器303,耦合至存储器301,用于执行存储器301中的程序,以用于:
将待去噪图像输入特征提取单元,得到第一特征提取信息;
将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像。
在一种实施方式中,处理器303还用于:
获取第一样本图像,所述第一样本图像具有标注的去噪图像;将所述第一样本图像输入特征提取单元,得到所述第一样本图像的第一特征提取信息;将所述第一特征提取信息输入多个依次设置的残差注意力提取单元,得到所述第一样本图像的残差注意力提取信息;将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到所述第一样本图像的第二特征提取信息;将所述第一样本图像的与所述第二特征提取信息进行残差计算后得到预测的去噪图像;基于预测的所述去噪图像和标注的所述去噪图像计算深度卷积模型的整体损失;基于所述整体损失对所述特征提取单元、所述残差注意力提取单元进行迭代,直至所述整体损失收敛为止。
在一种实施方式中,所述整体损失的计算公式为:
Loss=α×Lossce+β×Lossd
其中,Lossce为加权交叉熵损失函数,α为该损失函数的权重,Lossd为DICE损失函数,β为该损失函数的权重,i为第一样本图像的序号,M为第一样本图像正样本个数,N为第一样本图像负样本个数,ωtrue为正样本权重,ωfalse为负样本权重,pi为预测的去噪图像的值,yi为标注的去噪图像的值。
在一种实施方式中,所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;处理器303还用于:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;将所述第一特征图输入第一卷积模块,得到第二特征图;将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;将所述第三特征图输入第二卷积模块,得到第四特征图;对所述第四特征图进行Softmax操作,得到注意力系数;将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
在一种实施方式中,所述多尺度残差模块包括:第一卷积支路、第二卷积支路和第三卷积模块;处理器303还用于:
将所述第一特征提取信息输入第一卷积支路,得到第一提取特征图;将所述第一特征提取信息输入第二卷积支路,得到第二提取特征图;对所述第一提取特征图和所述第二提取特征图进行Concat操作,得到第三提取特征图;将第三提取特征图输入第三卷积模块,得到第四提取特征图;将第四提取特征图与第一特征提取信息进行残差计算,得到第五提取特征图;将第五提取特征图输入第三卷积模块,得到输出的第一特征图。
在一种实施方式中,所述第一卷积支路包括依次设置的第四卷积模块和第三卷积模块,所述第二卷积支路包括依次设置的第三卷积模块和第四卷积模块;所述第三卷积模块与第四卷积模块的卷积核不同。
在一种实施方式中,所述第一卷积模块和所述第二卷积模块结构相同,包括依次设置的卷积层、BN层、Relu层和Maxpooling层。
本申请中,处理器还具体用于执行上述基于残差注意力机制的医学图像智能去噪方法的所有流程及步骤,具体内容可参照医学图像智能去噪方法中的记录,本申请中对此不再赘述。
本申请中,图7中仅示意性给出部分组件,并不意味着电子设备只包括图7所示组件。
本实施例提供的电子设备,与本申请实施例提供的基于残差注意力机制的医学图像智能去噪方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于残差注意力机制的医学图像智能去噪方法对应的计算机可读存储介质,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会执行前述任意实施方式所提供的基于残差注意力机制的医学图像智能去噪方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(Transitory Media),如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于残差注意力机制的医学图像智能去噪方法出于相同的发明构思,具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是,在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的结构和技术,以便不模糊对本说明书的理解。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (9)
1.一种基于残差注意力机制的医学图像智能去噪方法,其特征在于,包括:
将待去噪图像输入特征提取单元,得到第一特征提取信息;
将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像;
所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;
所述将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息,包括:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;
将所述第一特征图输入第一卷积模块,得到第二特征图;
将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;
将所述第三特征图输入第二卷积模块,得到第四特征图;
对所述第四特征图进行Softmax操作,得到注意力系数;
将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;
将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;
最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
2.根据权利要求1所述的医学图像智能去噪方法,其特征在于,所述将待去噪图像输入特征提取单元,得到第一特征提取信息之前,还包括:
获取第一样本图像,所述第一样本图像具有标注的去噪图像;
将所述第一样本图像输入特征提取单元,得到所述第一样本图像的第一特征提取信息;
将所述第一特征提取信息输入多个依次设置的残差注意力提取单元,得到所述第一样本图像的残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到所述第一样本图像的第二特征提取信息;
将所述第一样本图像与所述第二特征提取信息进行残差计算后得到预测的去噪图像;
基于预测的所述去噪图像和标注的所述去噪图像计算深度卷积模型的整体损失;
基于所述整体损失对所述特征提取单元、所述残差注意力提取单元进行迭代,直至所述整体损失收敛为止。
3.根据权利要求2所述的医学图像智能去噪方法,其特征在于,所述整体损失的计算公式为:
Loss=α×Lossce+β×Lossd
其中,Lossce为加权交叉熵损失函数,α为该损失函数的权重,Lossd为DICE损失函数,β为该损失函数的权重,i为第一样本图像的序号,M为第一样本图像正样本个数,N为第一样本图像负样本个数,ωtrue为正样本权重,ωf#$%e为负样本权重,pi为预测的去噪图像的值,yi为标注的去噪图像的值。
4.根据权利要求1-3中任一项所述的医学图像智能去噪方法,其特征在于,所述多尺度残差模块包括:第一卷积支路、第二卷积支路和第三卷积模块;
所述将第一特征提取信息输入多尺度残差模块,得到第一特征提取信息的第一特征图,包括:
将所述第一特征提取信息输入第一卷积支路,得到第一提取特征图;
将所述第一特征提取信息输入第二卷积支路,得到第二提取特征图;
对所述第一提取特征图和所述第二提取特征图进行Concat操作,得到第三提取特征图;
将第三提取特征图输入第三卷积模块,得到第四提取特征图;
将第四提取特征图与第一特征提取信息进行残差计算,得到第五提取特征图;
将第五提取特征图输入第三卷积模块,得到输出的第一特征图。
5.根据权利要求4所述的医学图像智能去噪方法,其特征在于,所述第一卷积支路包括依次设置的第四卷积模块和第三卷积模块,所述第二卷积支路包括依次设置的第三卷积模块和第四卷积模块;所述第三卷积模块与第四卷积模块的卷积核不同。
6.根据权利要求1-3中任一项所述的医学图像智能去噪方法,其特征在于,所述第一卷积模块和所述第二卷积模块结构相同,包括依次设置的卷积层、BN层、Relu层和Maxpooling层。
7.一种基于残差注意力机制的医学图像智能去噪装置,其特征在于,包括:
特征提取子装置,其用于将待去噪图像输入特征提取单元,得到第一特征提取信息;
注意力提取子装置,其用于将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
残差计算子装置,其用于将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
去噪计算子装置,其用于将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像;
所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;
所述注意力提取子装置还用于:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;将所述第一特征图输入第一卷积模块,得到第二特征图;将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;将所述第三特征图输入第二卷积模块,得到第四特征图;对所述第四特征图进行Softmax操作,得到注意力系数;将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
8.一种电子设备,其特征在于,包括:存储器和处理器;
所述存储器,其用于存储程序;
所述处理器,耦合至所述存储器,用于执行所述程序,以用于:
将待去噪图像输入特征提取单元,得到第一特征提取信息;
将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息;
将所述第一特征提取信息和所述残差注意力提取信息进行残差计算后,得到第二特征提取信息;
将所述待去噪图像与所述第二特征提取信息进行残差计算后得到去噪后的医学图像;
所述残差注意力提取单元的结构相同,且每个所述残差注意力提取单元包括:多尺度残差模块、第一卷积模块和第二卷积模块;
所述将第一特征提取信息输入多个依次设置的残差注意力提取单元,得到残差注意力提取信息,包括:
将第一特征提取信息输入第一个残差注意力单元的多尺度残差模块,得到第一特征提取信息的第一特征图;
将所述第一特征图输入第一卷积模块,得到第二特征图;
将所述第一特征图与所述第二特征图进行残差计算,得到第三特征图;
将所述第三特征图输入第二卷积模块,得到第四特征图;
对所述第四特征图进行Softmax操作,得到注意力系数;
将所述注意力系数与所述第三特征图进行点乘操作,得到注意力特征图;
将所述第一特征图与所述注意力特征图进行残差计算,得到该残差注意力提取单元对应的输出特征图;
最后一个所述残差注意力提取单元的所述输出特征图为所述残差注意力提取信息。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行实现权利要求1-6任一项所述的基于残差注意力机制的医学图像智能去噪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916782.2A CN116993607B (zh) | 2023-07-25 | 2023-07-25 | 一种基于残差注意力机制的医学图像智能去噪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310916782.2A CN116993607B (zh) | 2023-07-25 | 2023-07-25 | 一种基于残差注意力机制的医学图像智能去噪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116993607A CN116993607A (zh) | 2023-11-03 |
CN116993607B true CN116993607B (zh) | 2024-03-22 |
Family
ID=88533198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310916782.2A Active CN116993607B (zh) | 2023-07-25 | 2023-07-25 | 一种基于残差注意力机制的医学图像智能去噪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116993607B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634146A (zh) * | 2020-12-02 | 2021-04-09 | 浙江工业大学之江学院 | 基于多种注意力机制的多通道cnn医学ct图像去噪方法 |
CN114429428A (zh) * | 2022-01-06 | 2022-05-03 | 天津大学 | 基于注意力机制的偏振图像去噪方法 |
CN115439358A (zh) * | 2022-08-31 | 2022-12-06 | 武汉工程大学 | 一种图像去模糊方法、电子设备及存储介质 |
CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699382B2 (en) * | 2018-03-29 | 2020-06-30 | Disney Enterprises, Inc. | Denoising Monte Carlo renderings using neural networks with asymmetric loss |
-
2023
- 2023-07-25 CN CN202310916782.2A patent/CN116993607B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112634146A (zh) * | 2020-12-02 | 2021-04-09 | 浙江工业大学之江学院 | 基于多种注意力机制的多通道cnn医学ct图像去噪方法 |
WO2023092813A1 (zh) * | 2021-11-25 | 2023-06-01 | 苏州大学 | 一种基于通道注意力的Swin-Transformer图像去噪方法及系统 |
CN114429428A (zh) * | 2022-01-06 | 2022-05-03 | 天津大学 | 基于注意力机制的偏振图像去噪方法 |
CN115439358A (zh) * | 2022-08-31 | 2022-12-06 | 武汉工程大学 | 一种图像去模糊方法、电子设备及存储介质 |
CN116029946A (zh) * | 2023-03-29 | 2023-04-28 | 中南大学 | 基于异构残差注意神经网络模型的图像去噪方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于局部期望最大化注意力的图像降噪;李泽田;雷志春;;液晶与显示;20200415(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116993607A (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111681252B (zh) | 一种基于多路径注意力融合的医学图像自动分割方法 | |
CN110807788B (zh) | 医学图像处理方法、装置、电子设备及计算机存储介质 | |
CN111369581B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111951280B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN114581662B (zh) | 一种脑肿瘤图像的分割方法、系统、装置及存储介质 | |
Zotin et al. | Techniques for medical images processing using shearlet transform and color coding | |
Gao et al. | Bone age assessment based on deep convolution neural network incorporated with segmentation | |
CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN113838067B (zh) | 肺结节的分割方法和装置、计算设备、可存储介质 | |
CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
Cheng et al. | I-secret: Importance-guided fundus image enhancement via semi-supervised contrastive constraining | |
CN111681204B (zh) | 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 | |
CN113256592A (zh) | 图像特征提取模型的训练方法、系统及装置 | |
Liang et al. | Multi-scale self-attention generative adversarial network for pathology image restoration | |
CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
CN116993607B (zh) | 一种基于残差注意力机制的医学图像智能去噪方法及装置 | |
CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
CN113221731B (zh) | 一种多尺度遥感图像目标检测方法及系统 | |
CN116128895A (zh) | 医学图像分割方法、装置和计算机可读存储介质 | |
CN115994892A (zh) | 一种基于ghostnet的轻量级医学图像分割方法及系统 | |
CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
CN113724184A (zh) | 脑出血预后预测方法、装置、电子设备及存储介质 | |
CN110570417A (zh) | 肺结节分类方法、装置及图像处理设备 | |
CN117352120B (zh) | 基于gpt的膝关节病变诊断智能自生成方法、装置及设备 | |
CN116824265B (zh) | 一种基于glm的脊柱智能诊断评估方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |