CN117095074B - 一种基于深度学习的医学图像的双重去噪方法及装置 - Google Patents

一种基于深度学习的医学图像的双重去噪方法及装置 Download PDF

Info

Publication number
CN117095074B
CN117095074B CN202311074447.9A CN202311074447A CN117095074B CN 117095074 B CN117095074 B CN 117095074B CN 202311074447 A CN202311074447 A CN 202311074447A CN 117095074 B CN117095074 B CN 117095074B
Authority
CN
China
Prior art keywords
denoising
signal
layer
emi
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311074447.9A
Other languages
English (en)
Other versions
CN117095074A (zh
Inventor
张孝通
胡洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202311074447.9A priority Critical patent/CN117095074B/zh
Publication of CN117095074A publication Critical patent/CN117095074A/zh
Application granted granted Critical
Publication of CN117095074B publication Critical patent/CN117095074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于深度学习的医学图像的双重去噪方法及装置，本发明提出了一种创新的双重去噪方法，该方法在第一步去噪时，使用残差网络来进行EMI的预测和消除，可以减少EMI的预测和消除所花费的时间，且残差网络拟合性能更高，还能够减少第一步去噪后所剩余的残余噪声；同时，通过在第二步去噪时，构建出含有第一步去噪所剩余的残余噪声的图像，来作为训练数据进行模型的训练，基于此，可利用二次去噪模型对第一步去噪结果进行进一步的去噪处理，从而进一步的提高去噪效果，由此，这种双重去噪的策略有效地减少了噪声的残留，提高了图像质量，适用于在医学图像去噪领域的大规模应用与发展。

Description

一种基于深度学习的医学图像的双重去噪方法及装置
技术领域
本发明属于图像去噪技术领域，具体涉及一种基于深度学习的医学图像的双重去噪方法及装置。
背景技术
近年来，由于临床诊断需求的增加和成本效益的考虑，超低场(ULF)MRI扫描仪的发展日益增长，其提供了一种低成本、便携的医学成像方法，这些扫描仪解决了小型诊所和低收入地区医院面临的无法安装昂贵高场MRI系统的资源问题，且超低场MRI技术的发展还能够为新的现场诊断(POC)和长期患者监测医疗服务提供硬件支撑。
然而，在低磁场下，通过MRI扫描仪获得的图像往往信噪比较低，且容易受到电磁干扰(EMI)等因素的影响(如电力线谐波噪声)，从而导致图像质量较低；因此，EMI移除在超低场MRI扫描仪的信号采集中起着重要的作用；其中，传统的封闭射频屏蔽方法会增加成本，并降低扫描仪的便携性，所以，该方法不适用于MRI扫描仪的去噪；基于此，许多用于消除噪声干扰的算法则被提出；同时，除了这些基于数学的线性去噪算法外，还可应用深度学习方法来实现超低场MRI扫描仪所采集信号的去噪。
到目前为止，大多数应用在ULF MRI扫描仪上的深度学习EMI移除算法，主要是利用CNN网络学习EMI传感线圈检测到的EMI信号和MRI接收线圈检测到的EMI信号之间的映射关系；然后将训练好的模型应用于本次扫描中，从而完成本次扫描到的MRI信号的去噪处理，而当需要进行下一次扫描时，则需要重新获取数据来训练网络，因此，网络的训练时间将会影响成像时间；但是，由于CNN网络的拟合能力较差，且拟合所需周期数较大，所以，其存在去噪效果不佳以及去噪效率不高的问题；同时，由于训练数据的一维性质，当数据采集过程中的环境受到高噪声干扰时，由于传统CNN网络拟合性能较差，就会导致去噪图像中仍存在大量残余噪声；所以，就进一步的降低了去噪效果；基于此，如何提供一种能够提高去噪效率和去噪效果的医学图像的双重去噪方法，已成为一个亟待解决的问题。
发明内容
本发明的目的是提供一种基于深度学习的医学图像的双重去噪方法及装置，用以解决现有技术中所存在的去噪效果差以及效率不高的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种基于深度学习的医学图像的双重去噪方法，包括：
获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号；
获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的；
将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号；
基于所述去噪MRI信号，生成初始去噪核磁共振图像；
获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的；
所述残余噪声是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，将第三EMI信号输入至所述噪声映射模型，得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的；
利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像。
基于上述公开的内容，本发明提出了一种基于深度学习的双重去噪方法，该方法由两步组成；具体的，在第一步中，使用残差网络代替CNN网络进行EMI的预测和消除，其中，残差网络由于自身采用残差连接，可解决训练过程中的梯度消失和梯度爆炸问题，如此，可在提高网络收敛速度的同时，获得更好的拟合能力；而在第二步中，本发明构建了含有第一步处理后所剩余的残余噪声的核磁共振图像，并作为训练数据来训练神经网络，基于此，即可得到能够用于去除第一步中残余噪声的二次去噪模型。
其中，数据集的构建过程为：通过获取MRI扫描仪在干扰环境中所检测到的EMI信号(即真实噪声信号)，获取在采集各个真实噪声信号时，MRI扫描仪前方的EMI感应线圈所检测到的第三EMI信号，以及获取MRI扫描仪在无干扰环境中生成的无噪核磁共振图像(无噪核磁共振图像与真实噪声信号是一一对应的)；而后，将各个第三EMI信号输入至前述第一步中的残差网络中，即可预测出MRI扫描仪所接收到的第二目标噪声信号；接着，将预测出的第二目标噪声信号，与该第三EMI信号对应的真实噪声信号进行比较，即可得到二者的差异，而二者的差异，则是第一步中无法消除的残余噪声；最后，将残余噪声添加至该真实噪声信号对应的无噪核磁共振图像中，即可得到含有残余噪声的核磁共振图像。
如此，通过前述构建的含有第一步中所剩余的残余噪声的核磁共振图像，来进行神经网络的训练，即可得到二次去噪模型；而后，将第一步去噪所得到的初始去噪核磁共振图输入至该二次去噪模型中，则可去除初始去噪核磁共振图像中的残余噪声，得到图像质量更佳的去噪核磁共振图像。
通过前述设计，本发明提出了一种创新的双重去噪方法，该方法在第一步去噪时，使用残差网络来进行EMI的预测和消除，可以减少EMI的预测和消除所花费的时间，且残差网络拟合性能更高，还能够减少第一步去噪后所剩余的残余噪声；同时，通过在第二步去噪时，构建出含有第一步去噪所剩余的残余噪声的图像，来作为训练数据进行模型的训练，基于此，可利用二次去噪模型对第一步去噪结果进行进一步的去噪处理，从而进一步的提高去噪效果，由此，这种双重去噪的策略有效地减少了噪声的残留，提高了图像质量，适用于在医学图像去噪领域的大规模应用与发展。
在一个可能的设计中，述二次去噪模型包括三个生成器和一个判别器，其中，三个生成器中的第一生成器和第二生成器用于对输入的加噪核磁共振图像进行特征提取，以分别得到第一特征信息和第二特征信息，三个生成器中的第三生成器用于对第一特征信息和第二特征信息进行特征拼接，得到第三特征信息，并基于所述第三特征信息，生成输入的加噪核磁共振图像对应的去噪图像；
所述判别器用于在训练时，将所述第一生成器的输出结果进行二分类，并根据二分类结果更新所述第一生成器的网络参数。
在一个可能的设计中，三个生成器均包括按照图像处理方向依次设置的多个第一残差块、一个第一卷积层和一个第一输出层，其中，多个第一残差块均包括有第一2D卷积层、第一批量归一化层、第一线性整流层、第二2D卷积层以及第二线性整流层，且所述第三生成器中的首个第一残差块之前还设置有特征拼接层；
所述判别器包括按照图像处理方向依次设置的四个判别器块以及一个全连接层，其中，四个判别器块均包括有第三2D卷积层、泄漏整流线性单元层和dropout正则化层，且四个判别器块中后三个判别器块内的dropout正则化层后还设置有第二批量归一化层。
在一个可能的设计中，所述第一生成器的损失函数为：
上述公式(1)中，表示所述第一生成器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，G1(xz)表示所述第一生成器以xz为输入的输出，D()表示判别器，/>表示输入的加噪核磁共振图像的分布，/>表示训练后的VGG模型中第j层所使用的损失函数，y表示将x输入至训练后的VGG模型中的第j层所得到的特征图，/>表示将G1(xz)输入至训练后的VGG模型中的第j层所得到的特征图，CjHjWj表示训练后的VGG模型中第j层特征图的形状，λ表示梯度惩罚系数，||||2表示二范数，j＝2,7,12,21,30；
所述第二生成器和所述第三生成器的损失函数相同，其中，第二生成器的损失函数为：
上述公式(2)中，表示所述第一生成器的损失函数，MSE()表示均方误差。
在一个可能的设计中，所述判别器的损失函数为：
上述公式(3)中，LD表示判别器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，表示输入的加噪核磁共振图像对应无噪核磁共振图像的分布，/>表示输入的加噪核磁共振图像的分布，D()表示判别器，/>表示梯度，G1(xz)表示所述第一生成器以xz为输入的输出，λ表示梯度惩罚系数，||||2表示二范数，且/>表示x和xz的第一线性组合，/>表示/>的分布，且/>表示为：
上述公式(4)中，ε表示x和xz的第二线性组合，且U表示均匀分布。
在一个可能的设计中，所述噪声映射模型包括按照信号处理方向依次设置的四个第二残差块和一个第二输出层，其中，每个第二残差块包括卷积结构层、第三批量归一化层和第二修正线性层，所述第二输出层包括第二卷积层，且所述第二输出层所使用的激活函数为双曲正切函数。
在一个可能的设计中，所述卷积结构层包括九个第三卷积层，且九个第三卷积层所使用的卷积核的尺寸依次为11×11、11×11、9×9、9×9、5×5、5×5、1×1、1×1和1×1。
第二方面，提供了一种基于深度学习的医学图像的双重去噪装置，包括：
获取单元，用于获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号；
初始去噪单元，用于获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的；
初始去噪单元，用于将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号；
初始去噪单元，还用于基于所述去噪MRI信号，生成初始去噪核磁共振图像；
二次去噪单元，用于获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的；
所述残余噪声是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，将第三EMI信号输入至所述噪声映射模型，得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的；
二次去噪单元，还用于利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像。
第三方面，提供了另一种基于深度学习的医学图像的双重去噪装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述基于深度学习的医学图像的双重去噪方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述基于深度学习的医学图像的双重去噪方法。
第五方面，提供了一种包含指令的计算机程序产品，当指令在计算机上运行时，使计算机执行如第一方面或第一方面中任意一种可能设计的所述基于深度学习的医学图像的双重去噪方法。
有益效果：
(1)本发明提出了一种创新的双重去噪方法，该方法在第一步去噪时，使用残差网络来进行EMI的预测和消除，可以减少EMI的预测和消除所花费的时间，且残差网络拟合性能更高，还能够减少第一步去噪后所剩余的残余噪声；同时，通过在第二步去噪时，构建出含有第一步去噪所剩余的残余噪声的图像，来作为训练数据进行模型的训练，基于此，可利用二次去噪模型对第一步去噪结果进行进一步的去噪处理，从而进一步的提高去噪效果，由此，这种双重去噪的策略有效地减少了噪声的残留，提高了图像质量，适用于在医学图像去噪领域的大规模应用与发展。
(2)本发明所提供的二次去噪模型，针对图像去噪会产生模糊效应和细节丢失的问题，对网络结构和损失函数进行了优化设计，克服了低磁场条件下图像去噪的缺陷，能够在低磁场条件下有效地去除噪声，并在保留细节的同时，提高了图像的清晰度。
(3)本发明提供了二次去噪模型训练数据集的构建方法；通过将第一步去噪结果中的残余噪声与在无EMI干扰环境下采集的图像进行配对，这种配对数据集的构建方式有效地提高了网络模型的训练效果和泛化能力。
附图说明
图1为本发明实施例提供的基于深度学习的医学图像的双重去噪方法的步骤流程示意图；
图2为本发明实施例提供的EMI感应线圈的布置结构示意图；
图3为本发明实施例提供的噪声映射模型的结构示意图；
图4为本发明实施例提供的二次去噪模型的结构示意图；
图5为本发明实施例提供的三个生成器的共有结构示意图；
图6为本发明实施例提供的判别器的结构示意图；
图7为本发明实施例所提供的进行了第一次去噪后的核磁共振图像；
图8为本发明实施例所提供的二次去噪结果图；
图9为本发明实施例所提供的二次去噪细节图；
图10为本发明实施例提供的基于深度学习的医学图像的双重去噪装置的结构示意图；
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
参见图1～6所示，本实施例所提供的基于深度学习的医学图像的双重去噪方法，通过在第一步去噪时，使用残差网络来进行EMI的预测和消除，如此，可以减少EMI的预测和消除所花费的时间，同时，残差网络拟合性能更高，还能够减少第一步去噪后所剩余的残余噪声；而在第二步去噪时，通过构建含有第一步处理后所剩余的残余噪声的图像，来训练出二次去噪模型，基于此，可利用该模型对第一步所的结果进行进一步的去噪处理；由此，则可有效去除初始去噪时所剩余的残余噪声，从而进一步的提高去噪效果；在本实施例中，举例本方法可以但不限于在医学图像去噪端侧运行，可选的，医学图像去噪端可以但不限于为个人电脑；可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S6所示。
S1.获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号；在具体应用时，举例EMI感应线圈的数量可以但不限于为2个，即MRI扫描仪前方设置有2个EMI感应线圈，用于检测MRI扫描仪周围受到的电磁干扰，同时，参见图2所示，举例两个EMI感应线圈沿MRI扫描仪的层面选择梯度方向(即图2中的z轴方向)正交放置在所述于MRI扫描仪前；如此，采用前述放置结构，一方面，可将EMI感应线圈所检测到的EMI信号，与MRI扫描仪所接收到的噪声信号(即其本身所接收到的EMI信号，也就是下述的目标噪声信号)进行更好的关联，从而便于后续残差网络进行二者映射关系的学习；另一方面，相比于传统使用4-10个线圈来进行EMI信号的感应，本发明只需2个感应线圈，可大幅降低去噪成本。
另外，举例在进行实际使用时，将MRI扫描仪设置为射频开启状态，并在此状态下，获取到其前方EMI感应线圈所检测到的第一EMI信号，及其自身所生成的MRI信号；而后，则可基于前述两信号，来完成核磁共振图像的初始去噪处理；当然，该MRI扫描仪则是指超低场MRI扫描仪。
在采集到实际使用MRI扫描仪时，其本身工作产生的MRI信号，以及其前方EMI感应线圈所检测到的第一EMI信号后，则可获取预先训练好的噪声映射模块，来基于EMI感应线圈所检测到的第一EMI信号，预测出MRI扫描仪在此第一EMI信号干扰下，所接收到的目标噪声信号(即MRI扫描仪本身接收到的EMI信号)，以便基于预测出的目标噪声信号，来进行核磁共振图像的初始去噪；其中，噪声映射模型的具体获取过程，可以但不限于如下述步骤S2所示。
S2.获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的；在本实施例中，噪声映射模型实质就是以EMI感应线圈所检测到的EMI信号为输入，MRI扫描仪所接收到的EMI信号为输出，来训练得到的；通俗来讲，就是使用残差网络来学习EMI感应线圈与MRI扫描仪二者所检测到的EMI信号之间的映射关系，以便后续基于EMI感应线圈所检测到的EMI信号，来预测出MRI扫描仪在进行核磁共振成像时，其信号内部夹杂的EMI信号，从而基于预测出的EMI信号，来进行MRI信号的去噪，进而完成整个初始去噪过程。
可选的，本实施例可采用训练后的残差网络，来作为前述噪声映射模型；且在具体应用时，本实施例对前述残差网络的网络结构进行了改进，如下述所示：
在具体应用时，举例改进后的残差网络(即噪声映射模型)可以但不限于包括按照信号处理方向(即图3中从左至右箭头所指示的方向)依次设置的四个第二残差块和一个第二输出层，其中，每个第二残差块均包括卷积结构层、第三批量归一化层和第二修正线性层(图3中每个跳跃箭头所连接的两个方块则表示一个第二残差块)，所述第二输出层包括第二卷积层，且所述第二输出层所使用的激活函数为双曲正切函数；在本实施例中，四个第二残差块主要用于对输入的第二EMI信号进行特征提取，并基于提取的特征信息，来进行特征学习，最后，则通过第二输出层来输出输入信号对应的输出信号(即EMI感应线圈所检测到的EMI信号与MRI扫描信号所检测到的EMI信号之间的映射关系)。
更进一步的，在本实施例中，举例所述卷积结构层包括九个第三卷积层，其中，九个第三卷积层所使用卷积核的尺寸依次为11×11、11×11、9×9、9×9、5×5、5×5、1×1、1×1和1×1；由此通过前述设计，在残差网络中使用了与传统残差网络不同的卷积核，基于此，能够更好的满足模型学习任务(即EMI感应线圈所检测到的EMI信号和MRI扫描仪所接收到的EMI信号之间的映射关系)，从而提高预测MRI信号中夹杂的EMI信号的准确性。
在完成前述改进后的残差网络的具体架构的阐述后，下述公开前述改进后的残差网络的其中一种训练方式，可以但不限于如下述第一步、第二步和第三步所示。
第一步：获取训练数据集，其中，所述训练数据集包括多个第二EMI信号以及各个第二EMI信号对应的真实目标噪声信号，且任一第二EMI信号对应的真实目标噪声信号是指所述MRI扫描仪所接收到的由该任一第二EMI信号干扰所产生的电磁干扰信号；在本实施例中，举例可以但不限于采用具有空采EMI噪声功能的3D梯度回波(GRE)序列来采集训练数据，以便获得更准确的数据集，从而为模型的训练提供更可靠的数据基础。
更进一步的，举例可在一个TR(repetition time)时间内收集MRI扫描仪处于RF(射频)打开和RF关闭时的数据，其中，在射频关闭时所采集到的EMI感应线圈的各个第二EMI信号，以及MRI扫描仪所接收到的对应的EMI信号(即真实目标噪声信号)则作为前述训练数据，而在射频开启状态时，所采集到的数据，则作为测试数据。
在本实施例中，由于是在一个TR时间来采集MRI扫描仪处于RF开启和关闭时，其前方EMI感应线圈所检测到的第二EMI信号，及其自身受各第二EMI信号干扰所接收到的EMI信号(即真实目标噪声信号)；如此，即可用于处于射频关闭状态时的第二EMI信号，来训练GAN模型，从而在模型训练完成后，测试射频开启时，第二EMI信号所对应的目标噪声信号(即以射频开启时的第二EMI信号为输入，来得到MRI扫描仪因其干扰而接收到的EMI信号)。
可选的，训练过程如下述第二步和第三步所示。
第二步：将各个真实目标噪声信号作为标签数据；在本实施例中，相当于EMI感应线圈每检测到一个第二EMI信号，MRI扫描仪都会接收到因该第二EMI信号所产生的电磁干扰信号(即其自身接收到的EMI信号，也是就前述的真实目标噪声信号)，如此，即可以该真实噪声目标信号为真实值，来进行模型的训练；其中，具体训练过程如下述第三步所示。
第三步：以所述训练数据集中各个第二EMI信号及对应的标签数据为输入，各个第二EMI信号对应的第一目标噪声信号为输出，训练前述残差网络，以在训练完成后，得到所述噪声映射模型；在本实施例中，举例训练和测试都使用了FE(frequency encoding)线为input(输入)和label(标签)，以获取更好的训练效果。
同时，结合前述改进后的残差网络的具体架构，来阐述前述训练过程：即改进后的残差网络通过四个第二残差块，来不断的进行特征提取(其中，第一个第二残差块将信号从单通道卷积到128通道，剩下的第二残差块逐步将信号恢复为单通道)，并最后通过第二输出层中的第二卷积层及激活函数，来进行网络的输出，得到输入的第二EMI信号对应的第一目标噪声信号，而该第一目标噪声信号，则是指模型预测的在MRI扫描仪端所接收到的EMI信号，且该信号则是MRI信号中的电磁干扰噪声；基于此，经过不断训练，即可学习到EMI感应线圈所检测的EMI信号，与MRI扫描仪所接收到的EMI信号之间的映射关系。
可选的，举例改进后的残差网络的损失函数为：
L′＝MSE(x′,xz′) (5)
上述公式(5)中，L′表示噪声映射模型(即改进后的残差网络)的损失函数，xz′表示输入的第二EMI信号，x′输入的第二EMI信号对应的真实目标噪声信号，MSE()表示均方误差。
由此通过前述阐述，使用残差网络来作为噪声映射模型实现初始去噪，一方面，由于残差网络自身采用残差连接，因此，其能够有效解决训练过程中的梯度消失和爆炸问题，可到更好的拟合效果；另一方面，本实施例将网络结构进行了轻量化的设计，如此，可在获取更好拟合效果的同时，提高网络收敛速度；另外，本实施例还使用不同的卷积核，来进行特征提取，基于此，可更好的适应学习任务，从而提高学习的准确性。
在完成改进后的残差网络的训练，得到噪声映射模型后；即可利用该模型，来预测出MRI扫描仪，在前述第一EMI信号的干扰下，所接收到的EMI信号(即第一EMI信号对应的第一目标噪声信号)；最后，即可基于原MRI信号和预测出的第一目标噪声信号，来进行信号的初始去噪，从而得到初始去噪核磁共振图像；其中，去噪过程如下述步骤S3和步骤S4所示。
S3.将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号；在本实施例中，相当于是使用噪声映射模型，来预测得到受第一EMI信号影响，MRI扫描仪所产生的MRI信号中的电磁干扰信号；即模型输出的第一目标噪声信号，则是指MRI信号中的电磁干扰信号；而后，使用MRI信号减去第一EMI信号对应的第一目标噪声信号(当然是在K空间中进行相减，也就是傅里叶空间中进行相减)，即可得到去噪MRI信号。
在得到去噪MRI信号后，对其进行图像重建，即可得到初始去噪核磁共振图像，其中，图像重建过程如下述步骤S4所示。
S4.基于所述去噪MRI信号，生成初始去噪核磁共振图像；在本实施例中，举例对所述去噪MRI信号进行逆傅里叶变换，即可得到初始去噪核磁共振图像；其中，逆傅里叶变换算法为图像重建的常用方法，其原理不再赘述。
由此通过步骤S1～S4，即可完成MRI信号的初始去噪，得到初始去噪核磁共振图像，而后，本实施例为了提高去噪效果，还设置有二次去噪过程；其中，二次去噪也是使用深度学习来实现，且本实施例构建了含有第一步去噪处理后所剩余的噪声的核磁共振图像，来进行模型的训练，其中，二次去噪模型及其训练过程如下述步骤S5所示。
S5.获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的。
在本实施例中，前述任一加噪核磁共振图像对应的所述残余噪声，是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，且将第三EMI信号输入至所述噪声映射模型，则可得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的。
基于前述公开的内容，下述具体阐述前述任一加噪核磁共振图像的具体构建过程：
首先，使用MRI扫描仪在干扰环境和无干扰环境下(可以但不限于为在电磁屏蔽房内进行)，对同一物体进行扫描，且获取在获取MRI扫描仪在干扰环境中所检测到的EMI信号(即真实噪声信号)，获取在采集该真实噪声信号时，MRI扫描仪前方的EMI感应线圈所检测到的第三EMI信号(当然还是在MRI扫描仪射频关闭状态时进行采集的)；以及获取MRI扫描仪在无干扰环境中生成的无噪核磁共振图像。
接着，将前述第三EMI信号输入至第一步中的噪声映射模型中，以预测出MRI扫描仪所接收到的第二目标噪声信号；而后，将预测出的第二目标噪声信号，与该第三EMI信号对应的真实噪声信号进行比较，即可得到二者的差异，而二者的差异，则是第一步中无法消除的残余噪声；具体的，则是使用该第三EMI信号对应的真实噪声信号减去该第二目标噪声信号，从而得到残余噪声。
最后，将该残余噪声添加至该真实噪声信号对应的无噪核磁共振图像中，即可得到含有残余噪声的核磁共振图像。
如此，采用前述方法，即可构建出若干含有残余噪声的核磁共振图像；而后，利用前述构建出的图像以及各个构建出的图像对应的无噪核磁共振图像为标签数据，即可组成二次去噪训练数据集；最后，以二次去噪训练数据集中各个图像及对应的标签为输入，各个图像对应的去噪图像为输出，训练神经网络模型，即可得到二次去噪模型。
可选的，在本实施例中，举例二次去噪模型可以但不限于为TWGAN(Triplegenerator Wasserstein GAN)网络，且本实施例对该网络进行了改进，其网络结构如下所示：
在具体应用时，举例所述二次去噪模型可以但不限于包括三个生成器和一个判别器，其中，三个生成器中的第一生成器和第二生成器用于对输入的加噪核磁共振图像进行特征提取，以分别得到第一特征信息和第二特征信息，三个生成器中的第三生成器用于对第一特征信息和第二特征信息进行特征拼接，得到第三特征信息，并基于所述第三特征信息，生成输入的加噪核磁共振图像对应的去噪图像；而所述判别器用于在训练时，将所述第一生成器的输出结果进行二分类，并根据二分类结果更新所述第一生成器的网络参数。
参见图4所示，图4中的“The images with remnant noise”来源于第一步中EMI预测和消除，“clean images”表示二次去噪过程中的标签数据(即无噪核磁共振图像，)灰色矩形代表生成器的输出，G1、G2和G3表示生成器，D则表示判别器，实线箭头表示特征图的数据流，而虚线指向表示根据相应损失函数进行网络权重的更新权重，椭圆形框表示不同的损失函数，实线箭头指向损失函数的前端表示用于计算该损失的对象。
更进一步的，图4中的LG1表示所述第一生成器的损失函数，LD表示判别器的损失函数，λLmse+Lper表示第二生成器的损失函数，其中，Lmse表示均方误差，Lper表示感知损失；在本实施例中，感知损失是利用训练后的VGG模型计算，在下述介绍损失函数时进行详细阐述。
在具体实施时，下述公开前述三个生成器，以及判别器的具体结构：
参见图5所示，举例三个生成器均包括按照图像处理方向依次设置的多个第一残差块(用图5中的Residualblock的表示，且数量可以为4)、一个第一卷积层和一个第一输出层，其中，多个第一残差块均包括有第一2D卷积层、第一批量归一化层(用图5中的BN表示)、第一线性整流层(用图5中的Relu表示)、第二2D卷积层以及第二线性整流层，且所述第三生成器中的首个第一残差块之前还设置有特征拼接层；基于此，相当于第三生成器相比于第一和第二生成器，多设置了特征拼接层，以便将第一和第二生成器的输出进行concat操作；同时，图5中的conv2d+Tanh则是指第一卷积层+第一输出层；更进一步的，前述第一卷积层和三个第一残差块中的两2D卷积层的结构相同，且均与前述卷积结构层的结构相同，于此不再赘述。
同理，参见图6所示，所述判别器包括按照图像处理方向依次设置的四个判别器块(用图6中的Discrimnator block表示)以及一个全连接层(图6中的FC)，其中，四个判别器块均包括有第三2D卷积层、泄漏整流线性单元层(图6中的Leakyrelu)和dropout正则化层，且四个判别器块中后三个判别器块内的dropout正则化层后还设置有第二批量归一化层(用图6中的BN表示)；如此，基于前述四个判别器块及FC层，来进行训练的约束。
在具体应用时，举例判别器块中的第三2D卷积层的卷积内核大小都设置为3，步幅为2；“Leakyrelu”的负斜率为0.2，“Dropout”的神经元丢弃概率为0.25。
在阐述前述二次去噪模型的网络结构后，本实施例公开其对应的损失函数。
其中，举例第一生成器的损失函数为：
上述公式(1)中，表示所述第一生成器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，G1(xz)表示所述第一生成器以xz为输入的输出，D()表示判别器，/>表示输入的加噪核磁共振图像的分布，/>表示训练后的VGG模型中第j层所使用的损失函数，y表示将x输入至训练后的VGG模型中的第j层所得到的特征图，/>表示将G1(xz)输入至训练后的VGG模型中的第j层所得到的特征图，CjHjWj表示训练后的VGG模型中第j层特征图的形状，λ表示梯度惩罚系数，||||2表示二范数，j＝2,7,12,21,30；在本实施例中，通过引入VGG模型来计算第一生成器的损失函数中的感知损失，可低磁场条件下有效地去除噪声，并提高图像的清晰度和细节保留。
在本实施例中，举例三个生成器的损失函数中，第二生成器和第三生成器的损失函数相同，下述以第二生成器的损失函数为例，来具体阐述，如下述所示。
上述公式(2)中，Lmse表示均方误差，Lper表示感知损失，表示所述第一生成器的损失函数，MSE()表示均方误差。
同理，判别器的损失函数则如下述所示：
上述公式(3)中，LD表示判别器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，表示输入的加噪核磁共振图像对应无噪核磁共振图像的分布，/>表示输入的加噪核磁共振图像的分布，D()表示判别器，/>表示梯度，G1(xz)表示所述第一生成器以xz为输入的输出，λ表示梯度惩罚系数，||||2表示二范数，且/>表示x和xz的第一线性组合，/>表示/>的分布，且/>表示为：
上述公式(4)中，ε表示x和xz的第二线性组合，且U表示均匀分布。
通过对前述二次去噪模型的网络结构及损失函数的详细阐述，本发明针对图像去噪会产生模糊效应和细节丢失的问题，通过对网络结构和损失函数进行了优化设计，来克服了低磁场条件下图像去噪的缺陷，如此，能够在低磁场条件下有效地去除噪声，并在保留细节的同时，提高图像的清晰度。
基于前述阐述，本发明通过构建含有第一步处理后所剩余的残余噪声的图像，来训练改进后的TWGAN网络，即可使训练后的网络能够识别出经过初始去噪后的图像中的残余噪声，并可进行残余噪声的去除；如此，在实际应用时，即可利用该二次去噪模型，来进行初始去噪核磁共振图像的二次去噪处理，其中，二次去噪过程如下述步骤S6所示。
S6.利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像；在本实施例中，将初始去噪核磁共振图像输入至该二次去噪模型中，即可完成二次去噪，得到去噪核磁共振图像。
由此通过前述步骤S1～S6所详细描述的基于深度学习的医学图像的双重去噪方法，本发明通过在第一步去噪时，使用残差网络来进行EMI的预测和消除，如此，可以减少EMI的预测和消除所花费的时间，同时，残差网络拟合性能更高，还能够减少第一步去噪后所剩余的残余噪声；而在第二步去噪时，通过构建含有第一步处理后所剩余的残余噪声的图像，来训练出二次去噪模型，基于此，可利用该模型对第一步所的结果进行进一步的去噪处理；由此，则可有效去除初始去噪时所剩余的残余噪声，从而进一步的提高去噪效果。
在一个可能的设计中，本实施例第二方面提供使用实施例第一方面所提供方法，来进行核磁共振图像的去噪实例，以说明本实施例所提供的方法，具备双重去噪的有效性。
本实施例首先对使用ULF-MRI扫描仪采集的水膜进行了初始去噪，也就是利用前述双重去噪方中的第一步，来进行去噪；其中，在第一步中，选择Adam作为优化器，噪声映射模型的训练的超参数设置如下：学习率α＝3.0×e-4和两个指数衰减因子β1＝0.5和β2＝0.999，训练和测试的批量大小分别设置为8和1；且经过第一步去噪后，其结果示意图参见图7所示，图7显示了第一步去噪处理前后的重建图，上方为原始数据的重建图，下方为进行第一步去噪后的重建图，可以看出，仍然残留部分噪声。
然后使用我们提出的数据集构建方式对二次去噪模型进行训练，选择Adam作为优化器，网络训练的超参数设置如下：学习率α＝1.0×e-3和两个指数衰减因子β1＝0.5和β2＝0.999，训练和测试的批量大小分别设置为2和2；图8展示了二次去噪的结果，可以看到，二次去噪将EMI消除算法残余噪声消除了，且保留了图像细节，效果良好。
同时，为了说明第二步的泛用能力，本实施例在来自于一台0.055T ULF无屏蔽MRI扫描仪(具有EMI消除功能)的开源数据集上进行了前述双重去噪处理；其中，图9为二次去噪结果，图9A一次去噪效果示意图，图9B为二次去噪效果示意图，图9C和D则分别为A和B的放大示意图；更进一步的，为了说明二次去噪对细节的保留能力，我们将A和B的中心区域聚焦为视场(FOV)，放大图像如图9C和图9D所示，可以看出，经过训练的TWGAN不仅可以有效去除两种类型MR图像中的噪声，而且可以很好地保留细节，对于临床应用具有重要价值。
如图10所示，本实施例第三方面提供了一种实现实施例第一方面中所述的基于深度学习的医学图像的双重去噪方法的硬件装置，包括：
获取单元，用于获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号。
初始去噪单元，用于获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的。
初始去噪单元，用于将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号。
初始去噪单元，还用于基于所述去噪MRI信号，生成初始去噪核磁共振图像。
二次去噪单元，用于获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的。
所述残余噪声是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，将第三EMI信号输入至所述噪声映射模型，得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的。
二次去噪单元，还用于利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像。
本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
如图11所示，本实施例第三方面提供了另一种基于深度学习的医学图像的双重去噪装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的基于深度学习的医学图像的双重去噪方法。
具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC)微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WIFI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第五方面提供了一种存储包含有实施例第一方面所述的基于深度学习的医学图像的双重去噪方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如实施例第一方面所述的基于深度学习的医学图像的双重去噪方法。
其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。
本实施例第六方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的基于深度学习的医学图像的双重去噪方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的医学图像的双重去噪方法，其特征在于，包括：
获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号；
获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的；
将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号；
基于所述去噪MRI信号，生成初始去噪核磁共振图像；
获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的；
所述残余噪声是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，将第三EMI信号输入至所述噪声映射模型，得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的；
利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像；
所述二次去噪模型包括三个生成器和一个判别器，其中，三个生成器中的第一生成器和第二生成器用于对输入的加噪核磁共振图像进行特征提取，以分别得到第一特征信息和第二特征信息，三个生成器中的第三生成器用于对第一特征信息和第二特征信息进行特征拼接，得到第三特征信息，并基于所述第三特征信息，生成输入的加噪核磁共振图像对应的去噪图像；
所述判别器用于在训练时，将所述第一生成器的输出结果进行二分类，并根据二分类结果更新所述第一生成器的网络参数；
三个生成器均包括按照图像处理方向依次设置的多个第一残差块、一个第一卷积层和一个第一输出层，其中，多个第一残差块均包括有第一2D卷积层、第一批量归一化层、第一线性整流层、第二2D卷积层以及第二线性整流层，且所述第三生成器中的首个第一残差块之前还设置有特征拼接层；
所述判别器包括按照图像处理方向依次设置的四个判别器块以及一个全连接层，其中，四个判别器块均包括有第三2D卷积层、泄漏整流线性单元层和dropout正则化层，且四个判别器块中后三个判别器块内的dropout正则化层后还设置有第二批量归一化层；
所述第一生成器的损失函数为：
上述公式(1)中，表示所述第一生成器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，G1(xz)表示所述第一生成器以xz为输入的输出，D()表示判别器，/>表示输入的加噪核磁共振图像的分布，/>表示训练后的VGG模型中第j层所使用的损失函数，y表示将x输入至训练后的VGG模型中的第j层所得到的特征图，/>表示将G1(xz)输入至训练后的VGG模型中的第j层所得到的特征图，CjHjWj表示训练后的VGG模型中第j层特征图的形状，λ表示梯度惩罚系数，|| ||2表示二范数，j＝2,7,12,21,30；
所述第二生成器和所述第三生成器的损失函数相同，其中，第二生成器的损失函数为：
上述公式(2)中，表示所述第一生成器的损失函数，MSE()表示均方误差；
所述判别器的损失函数为：
上述公式(3)中，LD表示判别器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，表示输入的加噪核磁共振图像对应无噪核磁共振图像的分布，/>表示输入的加噪核磁共振图像的分布，D()表示判别器，表示梯度，G1(xz)表示所述第一生成器以xz为输入的输出，λ表示梯度惩罚系数，|| ||2表示二范数，且/>表示x和xz的第一线性组合，/>表示/>的分布，且/>表示为：
上述公式(4)中，ε表示x和xz的第二线性组合，且U表示均匀分布。
2.根据权利要求1所述的方法，其特征在于，所述噪声映射模型包括按照信号处理方向依次设置的四个第二残差块和一个第二输出层，其中，每个第二残差块包括卷积结构层、第三批量归一化层和第二修正线性层，所述第二输出层包括第二卷积层，且所述第二输出层所使用的激活函数为双曲正切函数。
3.根据权利要求2所述的方法，其特征在于，所述卷积结构层包括九个第三卷积层，且九个第三卷积层所使用的卷积核的尺寸依次为11×11、11×11、9×9、9×9、5×5、5×5、1×1、1×1和1×1。
4.一种基于深度学习的医学图像的双重去噪装置，其特征在于，包括：
获取单元，用于获取MRI信号以及第一EMI信号，其中，所述第一EMI信号是位于MRI扫描仪前方的EMI感应线圈所检测到的噪声信号；
初始去噪单元，用于获取噪声映射模型，其中，所述噪声映射模型为训练后的残差网络，所述噪声映射模型用于确定出所述EMI感应线圈所检测到的第二EMI信号，与所述MRI扫描仪所接收到的第一目标噪声信号之间的映射关系，且所述第一目标噪声信号是受所述第二EMI信号干扰所产生的；
初始去噪单元，用于将所述第一EMI信号输入至噪声映射模型，得到第一EMI信号对应的第一目标噪声信号，并利用所述MRI信号和第一EMI信号对应的第一目标噪声信号，得到去噪MRI信号；
初始去噪单元，还用于基于所述去噪MRI信号，生成初始去噪核磁共振图像；
二次去噪单元，用于获取二次去噪模型，其中，所述二次去噪模型是以若干加噪核磁共振图像为输入，每个加噪核磁共振图像对应的去噪图像为输出而训练得到的，任一加噪核磁共振图像关联有MRI扫描仪在无干扰环境中生成的一无噪核磁共振图像，所述任一加噪核磁共振图像是通过在对应的无噪核磁共振图像中添加残余噪声所生成的；
所述残余噪声是通过计算第二目标噪声信号与MRI扫描仪在干扰环境下所检测到的真实噪声信号之间的差异所得到的，将第三EMI信号输入至所述噪声映射模型，得到所述第二目标噪声信号，其中，所述第三EMI信号是在MRI扫描仪检测所述真实噪声信号时，由所述EMI感应线圈所检测到的噪声信号，且所述MRI扫描仪在干扰环境下所检测到的真实噪声信号是受所述第三EMI信号干扰而产生的；
二次去噪单元，还用于利用所述二次去噪模型对所述初始去噪核磁共振图像进行二次去噪处理，以在二次去噪处理后，得到去噪核磁共振图像；
所述二次去噪模型包括三个生成器和一个判别器，其中，三个生成器中的第一生成器和第二生成器用于对输入的加噪核磁共振图像进行特征提取，以分别得到第一特征信息和第二特征信息，三个生成器中的第三生成器用于对第一特征信息和第二特征信息进行特征拼接，得到第三特征信息，并基于所述第三特征信息，生成输入的加噪核磁共振图像对应的去噪图像；
所述判别器用于在训练时，将所述第一生成器的输出结果进行二分类，并根据二分类结果更新所述第一生成器的网络参数；
三个生成器均包括按照图像处理方向依次设置的多个第一残差块、一个第一卷积层和一个第一输出层，其中，多个第一残差块均包括有第一2D卷积层、第一批量归一化层、第一线性整流层、第二2D卷积层以及第二线性整流层，且所述第三生成器中的首个第一残差块之前还设置有特征拼接层；
所述判别器包括按照图像处理方向依次设置的四个判别器块以及一个全连接层，其中，四个判别器块均包括有第三2D卷积层、泄漏整流线性单元层和dropout正则化层，且四个判别器块中后三个判别器块内的dropout正则化层后还设置有第二批量归一化层；
所述第一生成器的损失函数为：
上述公式(1)中，表示所述第一生成器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，G1(xz)表示所述第一生成器以xz为输入的输出，D()表示判别器，/>表示输入的加噪核磁共振图像的分布，/>表示训练后的VGG模型中第j层所使用的损失函数，y表示将x输入至训练后的VGG模型中的第j层所得到的特征图，/>表示将G1(xz)输入至训练后的VGG模型中的第j层所得到的特征图，CjHjWj表示训练后的VGG模型中第j层特征图的形状，λ表示梯度惩罚系数，||||2表示二范数，j＝2,7,12,21,30；
所述第二生成器和所述第三生成器的损失函数相同，其中，第二生成器的损失函数为：
上述公式(2)中，表示所述第一生成器的损失函数，MSE()表示均方误差；
所述判别器的损失函数为：
上述公式(3)中，LD表示判别器的损失函数，xz表示输入的加噪核磁共振图像，x表示输入的加噪核磁共振图像对应的无噪核磁共振图像，表示输入的加噪核磁共振图像对应无噪核磁共振图像的分布，/>表示输入的加噪核磁共振图像的分布，D()表示判别器，表示梯度，G1(xz)表示所述第一生成器以xz为输入的输出，λ表示梯度惩罚系数，||||2表示二范数，且/>表示x和xz的第一线性组合，/>表示/>的分布，且/>表示为：
上述公式(4)中，ε表示x和xz的第二线性组合，且U表示均匀分布。
5.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～3任意一项所述的基于深度学习的医学图像的双重去噪方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～3任意一项所述的基于深度学习的医学图像的双重去噪方法。
CN202311074447.9A 2023-08-23 2023-08-23 一种基于深度学习的医学图像的双重去噪方法及装置 Active CN117095074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311074447.9A CN117095074B (zh) 2023-08-23 2023-08-23 一种基于深度学习的医学图像的双重去噪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311074447.9A CN117095074B (zh) 2023-08-23 2023-08-23 一种基于深度学习的医学图像的双重去噪方法及装置

Publications (2)

Publication Number Publication Date
CN117095074A CN117095074A (zh) 2023-11-21
CN117095074B true CN117095074B (zh) 2024-04-09

Family

ID=88771490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311074447.9A Active CN117095074B (zh) 2023-08-23 2023-08-23 一种基于深度学习的医学图像的双重去噪方法及装置

Country Status (1)

Country Link
CN (1) CN117095074B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
CN112509074A (zh) * 2020-11-09 2021-03-16 成都易检医疗科技有限公司 伪影消除方法、系统、终端及存储介质
CN114219719A (zh) * 2021-10-27 2022-03-22 浙江工业大学 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
WO2022076654A1 (en) * 2020-10-07 2022-04-14 Hyperfine, Inc. Deep learning methods for noise suppression in medical imaging
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN114677300A (zh) * 2022-03-25 2022-06-28 西安交通大学 一种基于双阶段学习框架的高光谱图像深度降噪的方法及系统
CN115456890A (zh) * 2022-08-23 2022-12-09 浙江工业大学 基于多尺度双域判别器的生成对抗医学ct图像去噪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109658344A (zh) * 2018-11-12 2019-04-19 哈尔滨工业大学（深圳） 基于深度学习的图像去噪方法、装置、设备和存储介质
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法
CN110097512A (zh) * 2019-04-16 2019-08-06 四川大学 基于Wasserstein生成对抗网络的三维MRI图像去噪模型的构建方法及应用
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
WO2022076654A1 (en) * 2020-10-07 2022-04-14 Hyperfine, Inc. Deep learning methods for noise suppression in medical imaging
WO2022083026A1 (zh) * 2020-10-21 2022-04-28 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN112509074A (zh) * 2020-11-09 2021-03-16 成都易检医疗科技有限公司 伪影消除方法、系统、终端及存储介质
CN114219719A (zh) * 2021-10-27 2022-03-22 浙江工业大学 基于双重注意力和多尺度特征的cnn医学ct图像去噪方法
CN114677300A (zh) * 2022-03-25 2022-06-28 西安交通大学 一种基于双阶段学习框架的高光谱图像深度降噪的方法及系统
CN115456890A (zh) * 2022-08-23 2022-12-09 浙江工业大学 基于多尺度双域判别器的生成对抗医学ct图像去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LR-cGAN: Latent representation based conditional generative adversarial network for multi-modality MRI synthesis;Zhan, B；Li, D；Wang, Y;BIOMEDICAL SIGNAL PROCESSING AND CONTROL;20211231;第66卷;第1-9页 *
结合残差编解码网络和边缘增强的遥感图像去噪;吴从中;陈曦;詹曙;遥感学报;20201231(第01期);第30-39页 *
结合深度残差学习和感知损失的图像去噪;吴从中;陈曦;季栋;詹曙;中国图象图形学报;20181016(第10期);第55-63页 *

Also Published As

Publication number Publication date
CN117095074A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
US20210225027A1 (en) Image region localization method, image region localization apparatus, and medical image processing device
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
Cammoun et al. Mapping the human connectome at multiple scales with diffusion spectrum MRI
US11341616B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
Pal et al. A review and experimental evaluation of deep learning methods for MRI reconstruction
US20230281809A1 (en) Connected machine-learning models with joint training for lesion detection
CN103247035A (zh) 基于数字x光机的医学图像处理装置、方法及系统
CN111640107B (zh) 一种致痫灶位置检测方法及装置
Usman et al. Gaussian smoothing and modified histogram normalization methods to improve neural-biomarker interpretations for dyslexia classification mechanism
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
Dwyer et al. DeepGRAI (deep gray rating via artificial intelligence): fast, feasible, and clinically relevant thalamic atrophy measurement on clinical quality T2-FLAIR MRI in multiple sclerosis
CN115661282A (zh) 伪影识别方法、装置及计算机可读存储介质
Li et al. An impulse noise removal model algorithm based on logarithmic image prior for medical image
CN115100310A (zh) 一种磁共振磁敏感伪影的自动提示方法及系统
Song et al. Brain tissue segmentation via non-local fuzzy c-means clustering combined with Markov random field
Georgiev et al. Automatic segmentation of lumbar spine MRI using ensemble of 2D algorithms
CN117095074B (zh) 一种基于深度学习的医学图像的双重去噪方法及装置
Liu et al. Fine-grained MRI reconstruction using attentive selection generative adversarial networks
CN111968108A (zh) 基于智能扫描协议的ct智能成像方法、装置及系统
CN105654527A (zh) 一种基于结构化字典学习的磁共振成像重建方法和装置
CN115953420A (zh) 深度学习网络模型以及医疗图像分割方法、装置和系统
US20230022257A1 (en) Determination of white-matter neurodegenerative disease biomarkers
CN117094906A (zh) 基于n2v和emi移除算法的电磁成像检测双重去噪方法及装置
CN114332463A (zh) 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质
CN117095073A (zh) 一种基于深度学习的医学图像的去噪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant