CN116468619B - 一种基于多特征反馈融合的医学影像去噪方法 - Google Patents
一种基于多特征反馈融合的医学影像去噪方法 Download PDFInfo
- Publication number
- CN116468619B CN116468619B CN202310184267.XA CN202310184267A CN116468619B CN 116468619 B CN116468619 B CN 116468619B CN 202310184267 A CN202310184267 A CN 202310184267A CN 116468619 B CN116468619 B CN 116468619B
- Authority
- CN
- China
- Prior art keywords
- map
- feature map
- feature
- input
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 189
- 238000000034 method Methods 0.000 title claims abstract description 16
- 210000004351 coronary vessel Anatomy 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims description 120
- 238000011176 pooling Methods 0.000 claims description 96
- 238000013507 mapping Methods 0.000 claims description 43
- 238000005070 sampling Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000011362 coarse particle Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
一种基于多特征反馈融合的医学影像去噪方法,运用了采用了解码‑编码的网络框架,通过多特征反馈融合网络对图像进行特征提取。特征反馈融合网络由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。通过并联多个不同扩张率的扩张卷积层在提取浅层特征的同时既增大特征图的感受野,又保证信息不丢失。多特征反馈融合模块(MFFM)可以将进一步提取的深层特征以注意力机制的形式反馈给浅层特征,从而实现深层特征和浅层特征的深度融合。将融合后的特征图池化放大至相同尺寸可以保证输入特征图的shape不变。化特征向量,降低噪声因子的干扰。恢复特征图融合了关键像素特征,强化了特殊而又复杂的模糊边缘,降低了噪声对冠状动脉CTA的影响。
Description
技术领域
本发明涉及医学影像去噪技术领域,具体涉及一种基于多特征反馈融合的医学影像去噪方法。
背景技术
清晰干净的冠状动脉CTA影像是医生临床诊断中一个重要判断依据,但对于CTA影像的噪声处理仍具挑战性。运动伪影造成的噪声、噪声形成的粗颗粒伪影和脂肪堆积造成的脂肪伪影在血管壁形成局部低密度阴影等问题都导致冠状动脉血管成像不清晰。虽然传统的噪声处理方法在图像去噪方面都取得了相当好的性能,它们也存在一些缺点:需要手动设置参数,过于依赖人工;特定模型处理,不具普适性等。而一些基于机器学习的办法对于边缘信息较弱的医学噪声影像处理效果不佳,难以过滤特殊而又复杂的模糊边缘,缺少细节的处理。
发明内容
本发明为了克服以上技术的不足,提供了一种降低噪声对冠状动脉CTA影像的基于多特征反馈融合的医学影像去噪方法。
本发明克服其技术问题所采用的技术方案是:
一种基于多特征反馈融合的医学影像去噪方法,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度;
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1;
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M,
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1;
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M,
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1;
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M,
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1;
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G;
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′;
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像DQ1-1-R′,
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W。
进一步的,步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
进一步的,步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成;
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W;
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br;
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′;
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′;
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′;
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′;
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3;
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1。
优选的,步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。
优选的,步骤j)中γ=2,b=1。
本发明的有益效果是:运用了采用了解码-编码的网络框架,通过多特征反馈融合网络对图像进行特征提取。特征反馈融合网络由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。通过并联多个不同扩张率的扩张卷积层在提取浅层特征的同时既增大特征图的感受野,又保证信息不丢失。多特征反馈融合模块(MFFM)可以将进一步提取的深层特征以注意力机制的形式反馈给浅层特征,从而实现深层特征和浅层特征的深度融合。将融合后的特征图池化放大至相同尺寸可以保证输入特征图的shape不变。利用三次下采样对特征图进行解码,保留图像的详细底层结构,同时去除噪声,再将解码得到的特征图放入通道注意力模块,对特征数据进行权重相加,强化特征向量,降低噪声因子的干扰。后经上采样和跳跃连接结构生成恢复特征图,恢复特征图融合了关键像素特征,强化了特殊而又复杂的模糊边缘,降低了噪声对冠状动脉CTA的影响。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于多特征反馈融合的医学影像去噪方法,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度。
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1。
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M,
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1。
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M,
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1。
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M,
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1。
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G。
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′。
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像DQ1-1-R′,
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W。首先通过归一化,统计图像大小,将图像大小尺寸缩放为相同尺寸以便后续处理。其次提出了一种多特征反馈融合网络的特征提取编码-解码器。编码层由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。为防止扩张卷积核不连续导致提取特征不全面,通过并联多个不同扩张率的扩张卷积层,在不丢失过多分辨率的情况下,以不同扩张率的空洞卷积扩大感受野,在浅层特征图上获取多个不同尺度特征图的位置和细节信息。再通过MFFM模块将深层特征以注意力机制的形式将更强的语义信息反馈给浅层特征,从而实现深层特征和浅层特征的深度融合,增强深浅层信息的联系。图像经过多特征反馈融合网络和3×3卷积模块提取显着特征,保留图像的详细底层结构,特征提取后通过通道注意力模块对提取的特征进行优化,随着过程的深入,噪声从中被去除,最后通过解码层从提取的特征进行反卷积操作恢复连续的图像细节依次重建达到去噪的效果。
实施例1:
步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
实施例2:
步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成。
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W。
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br。
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′。
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′。
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′。
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′。
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3。
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1。
具体的步骤d)包括如下步骤:
d-1)将特征图DQ2-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D2-1∈RC×H×W、特征图D2-2∈RC×H×W、特征图D2-3∈RC×H×W。
d-2)将特征图D2-1∈RC×H×W、特征图D2-2∈RC×H×W、特征图D2-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D2-1-br、特征图D2-2-br、特征图D2-3-br。
d-3)将特征图D2-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-1-br输入到第一分支的平均池化层后,得到特征图D2-1-br-a,特征图D2-1-br输入到第一分支的最大池化层后,得到特征图D2-1-br-m,将特征图D2-1-br-a与特征图D2-1-br-m相加得到特征图D2-1-br-am,将特征图D2-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-1-br-am输入到第二分支的全局平均池化层后,得到特征图D2-1-br-am-ga,特征图D2-1-br-am输入到第二分支的全局最大池化层后,得到特征图D2-1-br-am-gm,将特征图D2-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-1-br-am-ga-1,将特征图D2-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-1-br-am-gm-1,将D2-1-br-am-ga-1和D2-1-br-am-gm-1相加得到特征图D2-1-br-am-gam,将特征图D2-1-br-am-gam与特征图D2-1进行特征融合,得到特征图D2-1′。
d-4)将特征图D2-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-2-br输入到第一分支的平均池化层后,得到特征图D2-2-br-a,特征图D2-2-br输入到第一分支的最大池化层后,得到特征图D2-2-br-m,将特征图D2-2-br-a与特征图D2-2-br-m相加得到特征图D2-2-br-am,将特征图D2-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-2-br-am输入到第二分支的全局平均池化层后,得到特征图D2-2-br-am-ga,特征图D2-2-br-am输入到第二分支的全局最大池化层后,得到特征图D2-2-br-am-gm,将特征图D2-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-2-br-am-ga-1,将特征图D2-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-2-br-am-gm-1,将D2-2-br-am-ga-1和D2-2-br-am-gm-1相加得到特征图D2-2-br-am-gam,将特征图D2-2-br-am-gam与特征图D2-2进行特征融合,得到特征图D2-2′。
d-5)将特征图D2-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-3-br输入到第一分支的平均池化层后,得到特征图D2-3-br-a,特征图D2-3-br输入到第一分支的最大池化层后,得到特征图D2-3-br-m,将特征图D2-3-br-a与特征图D2-3-br-m相加得到特征图D2-3-br-am,将特征图D2-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-3-br-am输入到第二分支的全局平均池化层后,得到特征图D2-3-br-am-ga,特征图D2-3-br-am输入到第二分支的全局最大池化层后,得到特征图D2-3-br-am-gm,将特征图D2-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-3-br-am-ga-1,将特征图D2-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-3-br-am-gm-1,将D2-3-br-am-ga-1和D2-3-br-am-gm-1相加得到特征图D2-3-br-am-gam,将特征图D2-3-br-am-gam与特征图D2-3进行特征融合,得到特征图D2-3′。
d-6)将特征图D2-1′、征图D2-2′、征图D2-3′分别依次输入到BN层及Relu函数层后得到特征图D2-1-br′、特征图D2-2-br′、特征图D2-3-br′。
d-7)将特征图D2-1-br′、特征图D2-2-br′、特征图D2-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P2-1、特征图P2-2、特征图P2-3。
d-8)将特征图P2-1、特征图P2-2、特征图P2-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ2-1。
具体的步骤f)包括如下步骤:
f-1)将特征图DQ3-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D3-1∈RC×H×W、特征图D3-2∈RC×H×W、特征图D3-3∈RC×H×W。
f-2)将特征图D3-1∈RC×H×W、特征图D3-2∈RC×H×W、特征图D3-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D3-1-br、特征图D3-2-br、特征图D3-3-br。
f-3)将特征图D3-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-1-br输入到第一分支的平均池化层后,得到特征图D3-1-br-a,特征图D3-1-br输入到第一分支的最大池化层后,得到特征图D3-1-br-m,将特征图D3-1-br-a与特征图D3-1-br-m相加得到特征图D3-1-br-am,将特征图D3-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-1-br-am输入到第二分支的全局平均池化层后,得到特征图D3-1-br-am-ga,特征图D3-1-br-am输入到第二分支的全局最大池化层后,得到特征图D3-1-br-am-gm,将特征图D3-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-1-br-am-ga-1,将特征图D3-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-1-br-am-gm-1,将D3-1-br-am-ga-1和D3-1-br-am-gm-1相加得到特征图D3-1-br-am-gam,将特征图D3-1-br-am-gam与特征图D3-1进行特征融合,得到特征图D3-1′。
f-4)将特征图D3-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-2-br输入到第一分支的平均池化层后,得到特征图D3-2-br-a,特征图D3-2-br输入到第一分支的最大池化层后,得到特征图D3-2-br-m,将特征图D3-2-br-a与特征图D3-2-br-m相加得到特征图D3-2-br-am,将特征图D3-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-2-br-am输入到第二分支的全局平均池化层后,得到特征图D3-2-br-am-ga,特征图D3-2-br-am输入到第二分支的全局最大池化层后,得到特征图D3-2-br-am-gm,将特征图D3-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-2-br-am-ga-1,将特征图D3-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-2-br-am-gm-1,将D3-2-br-am-ga-1和D3-2-br-am-gm-1相加得到特征图D3-2-br-am-gam,将特征图D3-2-br-am-gam与特征图D3-2进行特征融合,得到特征图D3-2′。
f-5)将特征图D3-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-3-br输入到第一分支的平均池化层后,得到特征图D3-3-br-a,特征图D3-3-br输入到第一分支的最大池化层后,得到特征图D3-3-br-m,将特征图D3-3-br-a与特征图D3-3-br-m相加得到特征图D3-3-br-am,将特征图D3-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-3-br-am输入到第二分支的全局平均池化层后,得到特征图D3-3-br-am-ga,特征图D3-3-br-am输入到第二分支的全局最大池化层后,得到特征图D3-3-br-am-gm,将特征图D3-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-3-br-am-ga-1,将特征图D3-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-3-br-am-gm-1,将D3-3-br-am-ga-1和D3-3-br-am-gm-1相加得到特征图D3-3-br-am-gam,将特征图D3-3-br-am-gam与特征图D3-3进行特征融合,得到特征图D3-3′。
f-6)将特征图D3-1′、征图D3-2′、征图D3-3′分别依次输入到BN层及Relu函数层后得到特征图D3-1-br′、特征图D3-2-br′、特征图D3-3-br′。
f-7)将特征图D3-1-br′、特征图D3-2-br′、特征图D3-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P3-1、特征图P3-2、特征图P3-3。
f-8)将特征图P3-1、特征图P3-2、特征图P3-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ3-1。
具体的步骤h)包括如下步骤:
h-1)将特征图DQ4-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D4-1∈RC×H×W、特征图D4-2∈RC×H×W、特征图D4-3∈RC×H×W。
h-2)将特征图D4-1∈RC×H×W、特征图D4-2∈RC×H×W、特征图D4-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D4-1-br、特征图D4-2-br、特征图D4-3-br。
h-3)将特征图D4-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-1-br输入到第一分支的平均池化层后,得到特征图D4-1-br-a,特征图D4-1-br输入到第一分支的最大池化层后,得到特征图D4-1-br-m,将特征图D4-1-br-a与特征图D4-1-br-m相加得到特征图D4-1-br-am,将特征图D4-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-1-br-am输入到第二分支的全局平均池化层后,得到特征图D4-1-br-am-ga,特征图D4-1-br-am输入到第二分支的全局最大池化层后,得到特征图D4-1-br-am-gm,将特征图D4-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-1-br-am-ga-1,将特征图D4-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-1-br-am-gm-1,将D4-1-br-am-ga-1和D4-1-br-am-gm-1相加得到特征图D4-1-br-am-gam,将特征图D4-1-br-am-gam与特征图D4-1进行特征融合,得到特征图D4-1′。
h-4)将特征图D4-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-2-br输入到第一分支的平均池化层后,得到特征图D4-2-br-a,特征图D4-2-br输入到第一分支的最大池化层后,得到特征图D4-2-br-m,将特征图D4-2-br-a与特征图D4-2-br-m相加得到特征图D4-2-br-am,将特征图D4-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-2-br-am输入到第二分支的全局平均池化层后,得到特征图D4-2-br-am-ga,特征图D4-2-br-am输入到第二分支的全局最大池化层后,得到特征图D4-2-br-am-gm,将特征图D4-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-2-br-am-ga-1,将特征图D4-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-2-br-am-gm-1,将D4-2-br-am-ga-1和D4-2-br-am-gm-1相加得到特征图D4-2-br-am-gam,将特征图D4-2-br-am-gam与特征图D4-2进行特征融合,得到特征图D4-2′。
h-5)将特征图D4-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-3-br输入到第一分支的平均池化层后,得到特征图D4-3-br-a,特征图D4-3-br输入到第一分支的最大池化层后,得到特征图D4-3-br-m,将特征图D4-3-br-a与特征图D4-3-br-m相加得到特征图D4-3-br-am,将特征图D4-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-3-br-am输入到第二分支的全局平均池化层后,得到特征图D4-3-br-am-ga,特征图D4-3-br-am输入到第二分支的全局最大池化层后,得到特征图D4-3-br-am-gm,将特征图D4-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-3-br-am-ga-1,将特征图D4-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-3-br-am-gm-1,将D4-3-br-am-ga-1和D4-3-br-am-gm-1相加得到特征图D4-3-br-am-gam,将特征图D4-3-br-am-gam与特征图D4-3进行特征融合,得到特征图D4-3′。
h-6)将特征图D4-1′、征图D4-2′、征图D4-3′分别依次输入到BN层及Relu函数层后得到特征图D4-1-br′、特征图D4-2-br′、特征图D4-3-br′。
h-7)将特征图D4-1-br′、特征图D4-2-br′、特征图D4-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P4-1、特征图P4-2、特征图P4-3。
h-8)将特征图P4-1、特征图P4-2、特征图P4-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ4-1。
实施例3:
步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。步骤j)中γ=2,b=1。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于多特征反馈融合的医学影像去噪方法,其特征在于,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC ×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度;
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1;
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M,
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1;
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M,
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1;
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M,
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1;
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G;
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′;
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W;
步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成;
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W;
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br;
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′;
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′;
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′;
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′;
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3;
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1。
2.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于,步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
3.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于:步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。
4.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于:步骤j)中γ=2,b=1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310184267.XA CN116468619B (zh) | 2023-03-01 | 2023-03-01 | 一种基于多特征反馈融合的医学影像去噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310184267.XA CN116468619B (zh) | 2023-03-01 | 2023-03-01 | 一种基于多特征反馈融合的医学影像去噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116468619A CN116468619A (zh) | 2023-07-21 |
CN116468619B true CN116468619B (zh) | 2024-02-06 |
Family
ID=87183106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310184267.XA Active CN116468619B (zh) | 2023-03-01 | 2023-03-01 | 一种基于多特征反馈融合的医学影像去噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116468619B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3579180A1 (en) * | 2018-06-07 | 2019-12-11 | Beijing Kuangshi Technology Co., Ltd. | Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement |
CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112784779A (zh) * | 2021-01-28 | 2021-05-11 | 武汉大学 | 一种基于特征金字塔多级特征融合的遥感影像场景分类方法 |
CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
CN113962873A (zh) * | 2020-07-21 | 2022-01-21 | 武汉Tcl集团工业研究院有限公司 | 一种图像去噪方法、存储介质及终端设备 |
CN115082798A (zh) * | 2022-07-07 | 2022-09-20 | 中国科学院合肥物质科学研究院 | 一种基于动态感受野的输电线路销钉缺陷检测方法 |
CN115100039A (zh) * | 2022-06-27 | 2022-09-23 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
CN115511722A (zh) * | 2022-05-20 | 2022-12-23 | 中国科学院长春光学精密机械与物理研究所 | 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法 |
-
2023
- 2023-03-01 CN CN202310184267.XA patent/CN116468619B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3579180A1 (en) * | 2018-06-07 | 2019-12-11 | Beijing Kuangshi Technology Co., Ltd. | Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement |
CN111080541A (zh) * | 2019-12-06 | 2020-04-28 | 广东启迪图卫科技股份有限公司 | 基于比特分层和注意力融合机制的彩色图像去噪方法 |
CN111145170A (zh) * | 2019-12-31 | 2020-05-12 | 电子科技大学 | 一种基于深度学习的医学影像分割方法 |
CN113962873A (zh) * | 2020-07-21 | 2022-01-21 | 武汉Tcl集团工业研究院有限公司 | 一种图像去噪方法、存储介质及终端设备 |
CN112233038A (zh) * | 2020-10-23 | 2021-01-15 | 广东启迪图卫科技股份有限公司 | 基于多尺度融合及边缘增强的真实图像去噪方法 |
CN112784779A (zh) * | 2021-01-28 | 2021-05-11 | 武汉大学 | 一种基于特征金字塔多级特征融合的遥感影像场景分类方法 |
CN113052835A (zh) * | 2021-04-20 | 2021-06-29 | 江苏迅捷装具科技有限公司 | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 |
CN113808032A (zh) * | 2021-08-04 | 2021-12-17 | 北京交通大学 | 多阶段渐进式的图像去噪算法 |
CN115511722A (zh) * | 2022-05-20 | 2022-12-23 | 中国科学院长春光学精密机械与物理研究所 | 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法 |
CN115100039A (zh) * | 2022-06-27 | 2022-09-23 | 中南大学 | 一种基于深度学习的轻量级图像超分辨率重建方法 |
CN115082798A (zh) * | 2022-07-07 | 2022-09-20 | 中国科学院合肥物质科学研究院 | 一种基于动态感受野的输电线路销钉缺陷检测方法 |
Non-Patent Citations (2)
Title |
---|
多模态特征融合的遥感图像语义分割网络;孙汉淇;《计算机工程与应用》;全文 * |
结合高低频分解和多尺度两级融合策略的单一深度图去噪方法;赵利军等;《北京交通大学学报》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116468619A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ma et al. | Achieving super-resolution remote sensing images via the wavelet transform combined with the recursive res-net | |
CN112200750A (zh) | 一种超声图像去噪模型建立方法及超声图像去噪方法 | |
Islam et al. | Mixed Gaussian-impulse noise reduction from images using convolutional neural network | |
CN105184744B (zh) | 基于标准化稀疏度量图像块先验的模糊核估计方法 | |
CN110992262A (zh) | 一种基于生成对抗网络的遥感图像超分辨重建方法 | |
Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
CN106952228A (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
CN104063856B (zh) | 一种快速超分辨率图像重建方法和装置 | |
CN106709877A (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
CN112991199B (zh) | 一种基于残差密集网络的图像高低频分解噪声去除方法 | |
CN115953303B (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
CN112733929A (zh) | 一种改进Yolo水下图像小目标和遮挡目标的检测方法 | |
CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
CN110349112A (zh) | 一种基于自适应奇异值阈值的两阶段图像去噪方法 | |
CN114331886A (zh) | 一种基于深度特征的图像去模糊方法 | |
CN114998160A (zh) | 一种并行多尺度特征融合的卷积神经网络去噪方法 | |
CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
CN118134762A (zh) | 基于LSTM和Transformer混合结构的场景文本图像超分辨重建方法 | |
CN114612399A (zh) | 一种用于手机外观标记的图片识别系统及方法 | |
CN114445299A (zh) | 一种基于注意力分配机制的双残差去噪方法 | |
CN116468619B (zh) | 一种基于多特征反馈融合的医学影像去噪方法 | |
CN117409259A (zh) | 一种基于ResNet改进的图像分类系统及方法 | |
Sharma et al. | Deep learning based frameworks for image super-resolution and noise-resilient super-resolution | |
CN116563111A (zh) | 基于深度递归残差通道注意力的图像放大方法 | |
CN116611995A (zh) | 一种基于深度展开网络的手写文本图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |