CN116468619A - 一种基于多特征反馈融合的医学影像去噪方法 - Google Patents

一种基于多特征反馈融合的医学影像去噪方法 Download PDF

Info

Publication number
CN116468619A
CN116468619A CN202310184267.XA CN202310184267A CN116468619A CN 116468619 A CN116468619 A CN 116468619A CN 202310184267 A CN202310184267 A CN 202310184267A CN 116468619 A CN116468619 A CN 116468619A
Authority
CN
China
Prior art keywords
map
feature map
feature
convolution
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310184267.XA
Other languages
English (en)
Other versions
CN116468619B (zh
Inventor
王英龙
尹允杰
舒明雷
周书旺
高天雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Shandong Institute of Artificial Intelligence
Original Assignee
Qilu University of Technology
Shandong Computer Science Center National Super Computing Center in Jinan
Shandong Institute of Artificial Intelligence
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qilu University of Technology, Shandong Computer Science Center National Super Computing Center in Jinan, Shandong Institute of Artificial Intelligence filed Critical Qilu University of Technology
Priority to CN202310184267.XA priority Critical patent/CN116468619B/zh
Publication of CN116468619A publication Critical patent/CN116468619A/zh
Application granted granted Critical
Publication of CN116468619B publication Critical patent/CN116468619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

一种基于多特征反馈融合的医学影像去噪方法,运用了采用了解码‑编码的网络框架,通过多特征反馈融合网络对图像进行特征提取。特征反馈融合网络由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。通过并联多个不同扩张率的扩张卷积层在提取浅层特征的同时既增大特征图的感受野,又保证信息不丢失。多特征反馈融合模块(MFFM)可以将进一步提取的深层特征以注意力机制的形式反馈给浅层特征,从而实现深层特征和浅层特征的深度融合。将融合后的特征图池化放大至相同尺寸可以保证输入特征图的shape不变。化特征向量,降低噪声因子的干扰。恢复特征图融合了关键像素特征,强化了特殊而又复杂的模糊边缘,降低了噪声对冠状动脉CTA的影响。

Description

一种基于多特征反馈融合的医学影像去噪方法
技术领域
本发明涉及医学影像去噪技术领域,具体涉及一种基于多特征反馈融合的医学影像去噪方法。
背景技术
清晰干净的冠状动脉CTA影像是医生临床诊断中一个重要判断依据,但对于CTA影像的噪声处理仍具挑战性。运动伪影造成的噪声、噪声形成的粗颗粒伪影和脂肪堆积造成的脂肪伪影在血管壁形成局部低密度阴影等问题都导致冠状动脉血管成像不清晰。虽然传统的噪声处理方法在图像去噪方面都取得了相当好的性能,它们也存在一些缺点:需要手动设置参数,过于依赖人工;特定模型处理,不具普适性等。而一些基于机器学习的办法对于边缘信息较弱的医学噪声影像处理效果不佳,难以过滤特殊而又复杂的模糊边缘,缺少细节的处理。
发明内容
本发明为了克服以上技术的不足,提供了一种降低噪声对冠状动脉CTA影像的基于多特征反馈融合的医学影像去噪方法。
本发明克服其技术问题所采用的技术方案是:
一种基于多特征反馈融合的医学影像去噪方法,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度;
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′;
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像DQ1-1-R′,
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W
进一步的,步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
进一步的,步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成;
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′;
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′;
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′;
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′;
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1
优选的,步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。
优选的,步骤j)中γ=2,b=1。
本发明的有益效果是:运用了采用了解码-编码的网络框架,通过多特征反馈融合网络对图像进行特征提取。特征反馈融合网络由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。通过并联多个不同扩张率的扩张卷积层在提取浅层特征的同时既增大特征图的感受野,又保证信息不丢失。多特征反馈融合模块(MFFM)可以将进一步提取的深层特征以注意力机制的形式反馈给浅层特征,从而实现深层特征和浅层特征的深度融合。将融合后的特征图池化放大至相同尺寸可以保证输入特征图的shape不变。利用三次下采样对特征图进行解码,保留图像的详细底层结构,同时去除噪声,再将解码得到的特征图放入通道注意力模块,对特征数据进行权重相加,强化特征向量,降低噪声因子的干扰。后经上采样和跳跃连接结构生成恢复特征图,恢复特征图融合了关键像素特征,强化了特殊而又复杂的模糊边缘,降低了噪声对冠状动脉CTA的影响。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图1对本发明做进一步说明。
一种基于多特征反馈融合的医学影像去噪方法,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度。
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′。
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像DQ1-1-R′,
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W。首先通过归一化,统计图像大小,将图像大小尺寸缩放为相同尺寸以便后续处理。其次提出了一种多特征反馈融合网络的特征提取编码-解码器。编码层由多特征反馈融合模块(MFFM)和并联扩张卷积模块组成。为防止扩张卷积核不连续导致提取特征不全面,通过并联多个不同扩张率的扩张卷积层,在不丢失过多分辨率的情况下,以不同扩张率的空洞卷积扩大感受野,在浅层特征图上获取多个不同尺度特征图的位置和细节信息。再通过MFFM模块将深层特征以注意力机制的形式将更强的语义信息反馈给浅层特征,从而实现深层特征和浅层特征的深度融合,增强深浅层信息的联系。图像经过多特征反馈融合网络和3×3卷积模块提取显着特征,保留图像的详细底层结构,特征提取后通过通道注意力模块对提取的特征进行优化,随着过程的深入,噪声从中被去除,最后通过解码层从提取的特征进行反卷积操作恢复连续的图像细节依次重建达到去噪的效果。
实施例1:
步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
实施例2:
步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成。
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′。
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′。
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′。
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′。
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1
具体的步骤d)包括如下步骤:
d-1)将特征图DQ2-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D2-1∈RC×H×W、特征图D2-2∈RC×H×W、特征图D2-3∈RC×H×W
d-2)将特征图D2-1∈RC×H×W、特征图D2-2∈RC×H×W、特征图D2-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D2-1-br、特征图D2-2-br、特征图D2-3-br
d-3)将特征图D2-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-1-br输入到第一分支的平均池化层后,得到特征图D2-1-br-a,特征图D2-1-br输入到第一分支的最大池化层后,得到特征图D2-1-br-m,将特征图D2-1-br-a与特征图D2-1-br-m相加得到特征图D2-1-br-am,将特征图D2-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-1-br-am输入到第二分支的全局平均池化层后,得到特征图D2-1-br-am-ga,特征图D2-1-br-am输入到第二分支的全局最大池化层后,得到特征图D2-1-br-am-gm,将特征图D2-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-1-br-am-ga-1,将特征图D2-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-1-br-am-gm-1,将D2-1-br-am-ga-1和D2-1-br-am-gm-1相加得到特征图D2-1-br-am-gam,将特征图D2-1-br-am-gam与特征图D2-1进行特征融合,得到特征图D2-1′。
d-4)将特征图D2-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-2-br输入到第一分支的平均池化层后,得到特征图D2-2-br-a,特征图D2-2-br输入到第一分支的最大池化层后,得到特征图D2-2-br-m,将特征图D2-2-br-a与特征图D2-2-br-m相加得到特征图D2-2-br-am,将特征图D2-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-2-br-am输入到第二分支的全局平均池化层后,得到特征图D2-2-br-am-ga,特征图D2-2-br-am输入到第二分支的全局最大池化层后,得到特征图D2-2-br-am-gm,将特征图D2-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-2-br-am-ga-1,将特征图D2-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-2-br-am-gm-1,将D2-2-br-am-ga-1和D2-2-br-am-gm-1相加得到特征图D2-2-br-am-gam,将特征图D2-2-br-am-gam与特征图D2-2进行特征融合,得到特征图D2-2′。
d-5)将特征图D2-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D2-3-br输入到第一分支的平均池化层后,得到特征图D2-3-br-a,特征图D2-3-br输入到第一分支的最大池化层后,得到特征图D2-3-br-m,将特征图D2-3-br-a与特征图D2-3-br-m相加得到特征图D2-3-br-am,将特征图D2-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D2-3-br-am输入到第二分支的全局平均池化层后,得到特征图D2-3-br-am-ga,特征图D2-3-br-am输入到第二分支的全局最大池化层后,得到特征图D2-3-br-am-gm,将特征图D2-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-3-br-am-ga-1,将特征图D2-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D2-3-br-am-gm-1,将D2-3-br-am-ga-1和D2-3-br-am-gm-1相加得到特征图D2-3-br-am-gam,将特征图D2-3-br-am-gam与特征图D2-3进行特征融合,得到特征图D2-3′。
d-6)将特征图D2-1′、征图D2-2′、征图D2-3′分别依次输入到BN层及Relu函数层后得到特征图D2-1-br′、特征图D2-2-br′、特征图D2-3-br′。
d-7)将特征图D2-1-br′、特征图D2-2-br′、特征图D2-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P2-1、特征图P2-2、特征图P2-3
d-8)将特征图P2-1、特征图P2-2、特征图P2-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ2-1
具体的步骤f)包括如下步骤:
f-1)将特征图DQ3-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D3-1∈RC×H×W、特征图D3-2∈RC×H×W、特征图D3-3∈RC×H×W
f-2)将特征图D3-1∈RC×H×W、特征图D3-2∈RC×H×W、特征图D3-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D3-1-br、特征图D3-2-br、特征图D3-3-br
f-3)将特征图D3-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-1-br输入到第一分支的平均池化层后,得到特征图D3-1-br-a,特征图D3-1-br输入到第一分支的最大池化层后,得到特征图D3-1-br-m,将特征图D3-1-br-a与特征图D3-1-br-m相加得到特征图D3-1-br-am,将特征图D3-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-1-br-am输入到第二分支的全局平均池化层后,得到特征图D3-1-br-am-ga,特征图D3-1-br-am输入到第二分支的全局最大池化层后,得到特征图D3-1-br-am-gm,将特征图D3-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-1-br-am-ga-1,将特征图D3-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-1-br-am-gm-1,将D3-1-br-am-ga-1和D3-1-br-am-gm-1相加得到特征图D3-1-br-am-gam,将特征图D3-1-br-am-gam与特征图D3-1进行特征融合,得到特征图D3-1′。
f-4)将特征图D3-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-2-br输入到第一分支的平均池化层后,得到特征图D3-2-br-a,特征图D3-2-br输入到第一分支的最大池化层后,得到特征图D3-2-br-m,将特征图D3-2-br-a与特征图D3-2-br-m相加得到特征图D3-2-br-am,将特征图D3-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-2-br-am输入到第二分支的全局平均池化层后,得到特征图D3-2-br-am-ga,特征图D3-2-br-am输入到第二分支的全局最大池化层后,得到特征图D3-2-br-am-gm,将特征图D3-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-2-br-am-ga-1,将特征图D3-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-2-br-am-gm-1,将D3-2-br-am-ga-1和D3-2-br-am-gm-1相加得到特征图D3-2-br-am-gam,将特征图D3-2-br-am-gam与特征图D3-2进行特征融合,得到特征图D3-2′。
f-5)将特征图D3-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D3-3-br输入到第一分支的平均池化层后,得到特征图D3-3-br-a,特征图D3-3-br输入到第一分支的最大池化层后,得到特征图D3-3-br-m,将特征图D3-3-br-a与特征图D3-3-br-m相加得到特征图D3-3-br-am,将特征图D3-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D3-3-br-am输入到第二分支的全局平均池化层后,得到特征图D3-3-br-am-ga,特征图D3-3-br-am输入到第二分支的全局最大池化层后,得到特征图D3-3-br-am-gm,将特征图D3-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-3-br-am-ga-1,将特征图D3-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D3-3-br-am-gm-1,将D3-3-br-am-ga-1和D3-3-br-am-gm-1相加得到特征图D3-3-br-am-gam,将特征图D3-3-br-am-gam与特征图D3-3进行特征融合,得到特征图D3-3′。
f-6)将特征图D3-1′、征图D3-2′、征图D3-3′分别依次输入到BN层及Relu函数层后得到特征图D3-1-br′、特征图D3-2-br′、特征图D3-3-br′。
f-7)将特征图D3-1-br′、特征图D3-2-br′、特征图D3-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P3-1、特征图P3-2、特征图P3-3
f-8)将特征图P3-1、特征图P3-2、特征图P3-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ3-1
具体的步骤h)包括如下步骤:
h-1)将特征图DQ4-R-M分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D4-1∈RC×H×W、特征图D4-2∈RC×H×W、特征图D4-3∈RC×H×W
h-2)将特征图D4-1∈RC×H×W、特征图D4-2∈RC×H×W、特征图D4-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D4-1-br、特征图D4-2-br、特征图D4-3-br
h-3)将特征图D4-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-1-br输入到第一分支的平均池化层后,得到特征图D4-1-br-a,特征图D4-1-br输入到第一分支的最大池化层后,得到特征图D4-1-br-m,将特征图D4-1-br-a与特征图D4-1-br-m相加得到特征图D4-1-br-am,将特征图D4-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-1-br-am输入到第二分支的全局平均池化层后,得到特征图D4-1-br-am-ga,特征图D4-1-br-am输入到第二分支的全局最大池化层后,得到特征图D4-1-br-am-gm,将特征图D4-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-1-br-am-ga-1,将特征图D4-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-1-br-am-gm-1,将D4-1-br-am-ga-1和D4-1-br-am-gm-1相加得到特征图D4-1-br-am-gam,将特征图D4-1-br-am-gam与特征图D4-1进行特征融合,得到特征图D4-1′。
h-4)将特征图D4-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-2-br输入到第一分支的平均池化层后,得到特征图D4-2-br-a,特征图D4-2-br输入到第一分支的最大池化层后,得到特征图D4-2-br-m,将特征图D4-2-br-a与特征图D4-2-br-m相加得到特征图D4-2-br-am,将特征图D4-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-2-br-am输入到第二分支的全局平均池化层后,得到特征图D4-2-br-am-ga,特征图D4-2-br-am输入到第二分支的全局最大池化层后,得到特征图D4-2-br-am-gm,将特征图D4-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-2-br-am-ga-1,将特征图D4-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-2-br-am-gm-1,将D4-2-br-am-ga-1和D4-2-br-am-gm-1相加得到特征图D4-2-br-am-gam,将特征图D4-2-br-am-gam与特征图D4-2进行特征融合,得到特征图D4-2′。
h-5)将特征图D4-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D4-3-br输入到第一分支的平均池化层后,得到特征图D4-3-br-a,特征图D4-3-br输入到第一分支的最大池化层后,得到特征图D4-3-br-m,将特征图D4-3-br-a与特征图D4-3-br-m相加得到特征图D4-3-br-am,将特征图D4-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D4-3-br-am输入到第二分支的全局平均池化层后,得到特征图D4-3-br-am-ga,特征图D4-3-br-am输入到第二分支的全局最大池化层后,得到特征图D4-3-br-am-gm,将特征图D4-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-3-br-am-ga-1,将特征图D4-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D4-3-br-am-gm-1,将D4-3-br-am-ga-1和D4-3-br-am-gm-1相加得到特征图D4-3-br-am-gam,将特征图D4-3-br-am-gam与特征图D4-3进行特征融合,得到特征图D4-3′。
h-6)将特征图D4-1′、征图D4-2′、征图D4-3′分别依次输入到BN层及Relu函数层后得到特征图D4-1-br′、特征图D4-2-br′、特征图D4-3-br′。
h-7)将特征图D4-1-br′、特征图D4-2-br′、特征图D4-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P4-1、特征图P4-2、特征图P4-3
h-8)将特征图P4-1、特征图P4-2、特征图P4-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ4-1
实施例3:
步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。步骤j)中γ=2,b=1。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于多特征反馈融合的医学影像去噪方法,其特征在于,包括:
a)采集冠状动脉CTA影像,将采集的冠状动脉CTA影像进行预处理,得到影像D,D∈RC ×H×W,其中R为实数空间,C为影像的通道数,H为影像的高度,W为影像的宽度;
b)建立多特征反馈融合网络,将影像D输入到多特征反馈融合网络中,输出得到特征图DQ1-1
c)将特征图DQ1-1经过卷积操作后得到特征图DQ1-1-R,将特征图DQ1-1-R进行下采样处理后得到特征图DQ2-R-M
d)将特征图DQ2-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ2-1
e)将特征图DQ2-1经过卷积操作后得到特征图DQ2-1-R,将特征图DQ2-1-R进行下采样处理后得到特征图DQ3-R-M
f)将特征图DQ3-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ3-1
g)将特征图DQ3-1经过卷积操作后得到特征图DQ3-1-R,将特征图DQ3-1-R进行下采样处理后得到特征图DQ4-R-M
h)将特征图DQ4-R-M替代步骤b)中的影像D后输入到多特征反馈融合网络中,输出得到特征图DQ4-1
i)将特征图DQ4-1经过卷积操作后得到特征图DQ4-1-R,将特征图DQ4-1-R输入到全局平均池化层中,将其转为1×1×C的向量DQ4-1-R-G
j)通过公式计算得到一维卷积核的大小k,式中γ和b均为参数,将向量DQ4-1-R-G输入到大小为k的卷积核中进行卷积后再输入到Sigmoid函数层中,得到特征图DQ4-1-R-G-sig,将特征图DQ4-1-R-G-sig与特征图DQ4-1-R逐通道相乘,得到加权后的特征图DQ4-1-R′;
k)将特征图DQ4-1-R′进行上采样处理后依次输入到二维卷积层、Dropout层、最大池化层后得到特征图DQ4-1-R″,将特征图DQ4-1-R″输入到反卷积层中,得到图像DQ3-1-R′,将图像DQ3-1-R′输入到反卷积层中,得到图像DQ2-1-R′,将图像DQ2-1-R′输入到反卷积层中,得到图像DQ1-1-R′,
l)将图像DQ1-1-R′进行上采样处理,得到恢复的影像D,D∈RC×H×W
2.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于,步骤a)中对冠状动脉CTA影像进行预处理的步骤为:将采集的冠状动脉CTA影像进行归一化操作,统计归一化后的CTA影像的大小,将归一化后的CTA影像大小尺寸缩放到512×512后输出得到影像D。
3.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于,步骤b)包括如下步骤:
b-1)建立由并联扩张卷积模块AM及特征反馈融合模块MFFM构成的多特征反馈融合网络,所述并联扩张卷积模块AM由扩张率为1×1的第一空洞卷积模块、扩张率为2×2第二空洞卷积模块、扩张率为3×3第三空洞卷积模块,第一空洞卷积模块的卷积核大小为3×3,感受野为3×3,第二空洞卷积模块的卷积核大小为3×3,感受野为5×5,第三空洞卷积模块的卷积核大小为3×3,感受野为7×7,所述特征反馈融合模块MFFM由大小为1×1的卷积核、第一分支、第二分支构成,所述第一分支由平均池化层、最大池化层构成,所述第二分支由全局平均池化层、全局最大池化层构成;
b-2)将影像D分别输入到多特征反馈融合网络的并联扩张卷积模块AM的第一空洞卷积模块、第二空洞卷积模块及第三空洞卷积模块中,分别得到特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W
b-3)将特征图D1-1∈RC×H×W、特征图D1-2∈RC×H×W、特征图D1-3∈RC×H×W分别依次输入到BN层及Relu函数层后分别得到特征图D1-1-br、特征图D1-2-br、特征图D1-3-br
b-4)将特征图D1-1-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-1-br输入到第一分支的平均池化层后,得到特征图D1-1-br-a,特征图D1-1-br输入到第一分支的最大池化层后,得到特征图D1-1-br-m,将特征图D1-1-br-a与特征图D1-1-br-m相加得到特征图D1-1-br-am,将特征图D1-1-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-1-br-am输入到第二分支的全局平均池化层后,得到特征图D1-1-br-am-ga,特征图D1-1-br-am输入到第二分支的全局最大池化层后,得到特征图D1-1-br-am-gm,将特征图D1-1-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-ga-1,将特征图D1-1-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-1-br-am-gm-1,将D1-1-br-am-ga-1和D1-1-br-am-gm-1相加得到特征图D1-1-br-am-gam,将特征图D1-1-br-am-gam与特征图D1-1进行特征融合,得到特征图D1-1′;
b-5)将特征图D1-2-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-2-br输入到第一分支的平均池化层后,得到特征图D1-2-br-a,特征图D1-2-br输入到第一分支的最大池化层后,得到特征图D1-2-br-m,将特征图D1-2-br-a与特征图D1-2-br-m相加得到特征图D1-2-br-am,将特征图D1-2-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-2-br-am输入到第二分支的全局平均池化层后,得到特征图D1-2-br-am-ga,特征图D1-2-br-am输入到第二分支的全局最大池化层后,得到特征图D1-2-br-am-gm,将特征图D1-2-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-ga-1,将特征图D1-2-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-2-br-am-gm-1,将D1-2-br-am-ga-1和D1-2-br-am-gm-1相加得到特征图D1-2-br-am-gam,将特征图D1-2-br-am-gam与特征图D1-2进行特征融合,得到特征图D1-2′;
b-6)将特征图D1-3-br输入到多特征反馈融合网络的特征反馈融合模块MFFM的第一分支中,特征图D1-3-br输入到第一分支的平均池化层后,得到特征图D1-3-br-a,特征图D1-3-br输入到第一分支的最大池化层后,得到特征图D1-3-br-m,将特征图D1-3-br-a与特征图D1-3-br-m相加得到特征图D1-3-br-am,将特征图D1-3-br-am输入到多特征反馈融合网络的特征反馈融合模块MFFM的第二分支中,特征图D1-3-br-am输入到第二分支的全局平均池化层后,得到特征图D1-3-br-am-ga,特征图D1-3-br-am输入到第二分支的全局最大池化层后,得到特征图D1-3-br-am-gm,将特征图D1-3-br-am-ga输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-ga-1,将特征图D1-3-br-am-gm输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图D1-3-br-am-gm-1,将D1-3-br-am-ga-1和D1-3-br-am-gm-1相加得到特征图D1-3-br-am-gam,将特征图D1-3-br-am-gam与特征图D1-3进行特征融合,得到特征图D1-3′;
b-7)将特征图D1-1′、征图D1-2′、征图D1-3′分别依次输入到BN层及Relu函数层后得到特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′;
b-8)将特征图D1-1-br′、特征图D1-2-br′、特征图D1-3-br′分别输入到特征反馈融合模块MFFM的大小为1×1的卷积核中进行卷积,得到特征图P1-1、特征图P1-2、特征图P1-3
b-9)将特征图P1-1、特征图P1-2、特征图P1-3分别通过反池化操作放大至相同尺寸后再进行线性相加,得到特征图DQ1-1
4.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于:步骤c)中卷积操作的卷积核大小为3×3,步骤e)中卷积操作的卷积核大小为3×3,步骤g)中卷积操作的卷积核大小为3×3,步骤i)中卷积操作的卷积核大小为3×3。
5.根据权利要求1所述的基于多特征反馈融合的医学影像去噪方法,其特征在于:步骤j)中γ=2,b=1。
CN202310184267.XA 2023-03-01 2023-03-01 一种基于多特征反馈融合的医学影像去噪方法 Active CN116468619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310184267.XA CN116468619B (zh) 2023-03-01 2023-03-01 一种基于多特征反馈融合的医学影像去噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310184267.XA CN116468619B (zh) 2023-03-01 2023-03-01 一种基于多特征反馈融合的医学影像去噪方法

Publications (2)

Publication Number Publication Date
CN116468619A true CN116468619A (zh) 2023-07-21
CN116468619B CN116468619B (zh) 2024-02-06

Family

ID=87183106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310184267.XA Active CN116468619B (zh) 2023-03-01 2023-03-01 一种基于多特征反馈融合的医学影像去噪方法

Country Status (1)

Country Link
CN (1) CN116468619B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579180A1 (en) * 2018-06-07 2019-12-11 Beijing Kuangshi Technology Co., Ltd. Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement
CN111080541A (zh) * 2019-12-06 2020-04-28 广东启迪图卫科技股份有限公司 基于比特分层和注意力融合机制的彩色图像去噪方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112784779A (zh) * 2021-01-28 2021-05-11 武汉大学 一种基于特征金字塔多级特征融合的遥感影像场景分类方法
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN113808032A (zh) * 2021-08-04 2021-12-17 北京交通大学 多阶段渐进式的图像去噪算法
CN113962873A (zh) * 2020-07-21 2022-01-21 武汉Tcl集团工业研究院有限公司 一种图像去噪方法、存储介质及终端设备
CN115082798A (zh) * 2022-07-07 2022-09-20 中国科学院合肥物质科学研究院 一种基于动态感受野的输电线路销钉缺陷检测方法
CN115100039A (zh) * 2022-06-27 2022-09-23 中南大学 一种基于深度学习的轻量级图像超分辨率重建方法
CN115511722A (zh) * 2022-05-20 2022-12-23 中国科学院长春光学精密机械与物理研究所 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579180A1 (en) * 2018-06-07 2019-12-11 Beijing Kuangshi Technology Co., Ltd. Image processing method and apparatus, electronic device and non-transitory computer-readable recording medium for selective image enhancement
CN111080541A (zh) * 2019-12-06 2020-04-28 广东启迪图卫科技股份有限公司 基于比特分层和注意力融合机制的彩色图像去噪方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN113962873A (zh) * 2020-07-21 2022-01-21 武汉Tcl集团工业研究院有限公司 一种图像去噪方法、存储介质及终端设备
CN112233038A (zh) * 2020-10-23 2021-01-15 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN112784779A (zh) * 2021-01-28 2021-05-11 武汉大学 一种基于特征金字塔多级特征融合的遥感影像场景分类方法
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN113808032A (zh) * 2021-08-04 2021-12-17 北京交通大学 多阶段渐进式的图像去噪算法
CN115511722A (zh) * 2022-05-20 2022-12-23 中国科学院长春光学精密机械与物理研究所 基于深浅特征融合网络及联合损失函数的遥感图像去噪方法
CN115100039A (zh) * 2022-06-27 2022-09-23 中南大学 一种基于深度学习的轻量级图像超分辨率重建方法
CN115082798A (zh) * 2022-07-07 2022-09-20 中国科学院合肥物质科学研究院 一种基于动态感受野的输电线路销钉缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙汉淇: "多模态特征融合的遥感图像语义分割网络", 《计算机工程与应用》 *
赵利军等: "结合高低频分解和多尺度两级融合策略的单一深度图去噪方法", 《北京交通大学学报》 *

Also Published As

Publication number Publication date
CN116468619B (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
CN110992262B (zh) 一种基于生成对抗网络的遥感图像超分辨重建方法
CN108492269B (zh) 基于梯度正则卷积神经网络的低剂量ct图像去噪方法
CN112258415B (zh) 一种基于生成对抗网络的胸部x光片超分辨率和去噪方法
CN112819736B (zh) 一种基于多曝光的工件字符图像局部细节增强融合方法
CN112837244B (zh) 一种基于渐进式生成对抗网络的低剂量ct图像降噪及去伪影方法
CN107133933B (zh) 基于卷积神经网络的乳腺x线图像增强方法
Guo et al. Multiscale semilocal interpolation with antialiasing
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN112991199B (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN112819716B (zh) 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法
WO2022222199A1 (zh) 三维超声图像盲去噪模型的建立方法及其应用
CN110634103A (zh) 基于生成对抗网络的图像去马赛克方法
CN114693561A (zh) 一种基于卷积神经网络的核磁共振图像处理方法与系统
CN110895815A (zh) 一种基于深度学习的胸部x线气胸分割方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN114445299A (zh) 一种基于注意力分配机制的双残差去噪方法
CN107133915A (zh) 一种基于学习的图像超分辨率重构方法
CN116468619B (zh) 一种基于多特征反馈融合的医学影像去噪方法
CN112801899A (zh) 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置
CN116468083A (zh) 一种基于Transformer的生成对抗网络方法
CN113313655A (zh) 一种基于显著性映射和梯度倒频谱技术的盲图像去模糊方法
CN113920015A (zh) 一种基于生成对抗网络的红外图像边缘保留超分辨重建方法
Jin et al. Deep low light image enhancement via multi-scale recursive feature enhancement and curve adjustment
CN102156967A (zh) 基于多尺度的局部的图像内插方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant