CN113436290A - 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统 - Google Patents

用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统 Download PDF

Info

Publication number
CN113436290A
CN113436290A CN202110244314.6A CN202110244314A CN113436290A CN 113436290 A CN113436290 A CN 113436290A CN 202110244314 A CN202110244314 A CN 202110244314A CN 113436290 A CN113436290 A CN 113436290A
Authority
CN
China
Prior art keywords
image
noise
streak
residual
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110244314.6A
Other languages
English (en)
Inventor
王新增
丹尼尔·文斯·利特威勒
S·曼达瓦
罗伯特·马克·莱贝尔
格雷姆·科林·麦金农
埃尔辛·拜拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN113436290A publication Critical patent/CN113436290A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明题为“用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统”。提供了用于使用受过训练的深度神经网络独立地从医学图像中去除条纹伪影和噪声的方法和系统。在一个实施方案中，可通过以下方式选择性地且独立地从医学图像中去除条纹伪影和噪声：接收包括条纹伪影和噪声的医学图像，使用受过训练的深度神经网络将医学图像映射到条纹残余和噪声残余，在第一程度上从医学图像中减去条纹残余，并且在第二程度上从医学图像中减去噪声残余，以产生去噪医学图像，以及经由显示设备显示去噪医学图像。

Description

用于使用深度神经网络从图像中选择性地去除条纹伪影和噪 声的方法和系统
技术领域
本文所公开的主题的实施方案涉及磁共振成像(MRI)和计算机断层摄影(CT)成像，并且更具体地，涉及用于使用深度神经网络从MRI和CT图像中去除条纹伪影和噪声的系统和方法。
背景技术
医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如，医疗成像系统可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其他特征的图像。医学成像系统可以包括磁共振成像(MRI)系统、计算机断层摄影(CT)系统、x射线系统、超声系统和各种其他成像模态。
与MRI系统和CT系统相关联的一个缺点是获取患者解剖区域的测量数据并由测量数据重建解剖区域的医学图像的耗时性质。缓慢的图像获取和重建速度可能导致患者不适，因为患者可能需要在获取完整测量数据时在成像系统内保留令人不悦的较长持续时间。此外，缓慢的图像获取和重建可能与一些成像应用不兼容，诸如在实时成像中，其中图像获取和重建延迟可能导致较差的时间分辨率。
涉及提高图像获取和重建速度的一种方法采用对测量数据的不完整获取/采样(例如，MRI中的欠采样k空间采样，或对CT中的x射线投影数据的不完整获取)。尽管对测量数据的不完整获取可提高图像获取速度，但由不完整测量数据重建的图像可能包括成像伪影，诸如条纹伪影，并且还可能表现出降低的信噪比(SNR)。除了提高获取速度之外，如果测量数据的一部分由于存在运动而被拒绝或重新加权，则可以由不完整的测量数据重建一些医学图像。
减少或去除由不完整测量数据重建的医学图像中的成像伪影的一种方法利用复杂的重建技术来产生无伪影图像。此类方法的一个示例是压缩感知(CS)。然而，CS重建是计算密集的，并且对重建参数的优化是耗时的。因此，CS可以减少由不完整测量数据重建的医学图像中的成像伪影，代价是重建过程更长且更复杂。在许多情况下，CS引入的图像重建时间的增加可能使通过对测量数据进行不完整采样所获得的时间无效。因此，通常希望探索用于更快速地从使用不完整测量数据重建的医学图像中去除成像伪影的新方法。
发明内容
本文的发明人已经识别了用于使用深度神经网络以比常规方法更快速且计算有效的方式从医学图像选择性且独立地去除条纹伪影和噪声的系统和方法。在一个实施方案中，可通过包括以下步骤的方法从医学图像中去除条纹伪影和噪声：接收包括条纹伪影和噪声的医学图像，使用受过训练的深度神经网络将医学图像映射到条纹残余和噪声残余，在第一程度上从医学图像中减去条纹残余，并且在第二程度上从医学图像中减去噪声残余，以产生去噪医学图像，以及经由显示设备显示去噪医学图像。通过将医学图像映射到条纹残余和噪声残余，而不是将医学图像直接映射到去噪医学图像，可以彼此独立地选择条纹去除的程度和噪声去除的程度，从而提供对去噪医学图像的外观的更大灵活性和控制。
在单独或与附图联系时，本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过阅读以下详细描述并且参考附图，可以更好地理解本公开的各个方面，其中：
图1示出了MRI系统的示例性实施方案的框图；
图2示出了可用于从医学图像中选择性地去除条纹伪影和噪声的图像处理设备；
图3示出了采用受过训练的深度神经网络来推断条纹噪声图像的条纹残余和噪声残余的系统的示例；
图4是示出使用受过训练的深度神经网络从医学图像中选择性地去除条纹伪影和噪声的示例性方法的流程图；
图5是示出用于生成训练数据三元组的示例性方法的流程图，该训练数据三元组可用于训练深度神经网络以推断医学图像的条纹残余和噪声残余；
图6是示出使用训练数据三元组训练深度神经网络以推断医学图像的条纹残余和噪声残余的示例性方法的流程图；
图7示出了用于由CT测量数据生成条纹残余的示例性过程；
图8示出了用于由MRI测量数据生成条纹残余的示例性过程；
图9示出了在不增强对比度的情况下所生成的第一条纹残余和在增强对比度的情况下所生成的第二条纹残余之间的比较；
图10示出了第一去噪医学图像与第二去噪医学图像之间的比较，该第一去噪医学图像使用对在不增强对比度的情况下所生成的训练数据训练的深度神经网络进行去噪，而该第二去噪医学图像使用在增强对比度的情况下所生成的训练数据训练的深度神经网络进行去噪；并且
图11示出了包括条纹伪影和噪声的医学图像，以及根据本公开的示例性实施方案产生的去噪医学图像。
附图示出了用于使用深度神经网络选择性地从MRI和CT图像中去除条纹伪影和噪声的所述系统和方法的具体方面。连同以下描述，附图示出并且解释了本文描述的结构、方法和原理。在附图中，为了清楚起见，部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。
具体实施方式
以下描述涉及用于自动且选择性地从图像中去除条纹伪影和噪声的系统和方法。某些磁共振成像(MRI)序列和计算机断层摄影(CT)成像协议可能易于产生噪声和条纹伪影，这限制了图像分辨率并降低了诊断质量。条纹伪影的一个来源是k空间中的欠采样，这可能是由用于实现较短扫描时间或减轻运动引起的模糊的影响的非笛卡尔采样模式(例如，径向采样模式、螺旋采样模式等)引起的。在另一个示例中，如果由于存在运动而拒绝或重新加权测量数据的一部分，则k空间也可能欠采样。在一个示例中，在具有增强重建的周期性旋转重叠平行线(PROPELLER)成像中，如果在所获取的k空间叶片中存在大量运动引起的模糊，则可以拒绝该叶片以减少运动伪影，从而导致欠采样k空间。在另一个示例中，对于低剂量CT成像，获取稀疏视图或有限角度以减少成像受检者的辐射暴露，但是由稀疏或有限角度重建的CT图像可能因噪声和条纹伪影而劣化。快速扫描和/或欠采样k空间还可能导致信噪比(SNR)降低和图像质量低。用于减轻由欠采样测量数据(例如，k空间或正弦图数据)产生的图像中的条纹伪影和噪声的常规方法采用复杂的重建技术来由不完整的测量数据产生无伪影图像。一个示例是压缩感知(CS)。然而，CS重建是计算密集型的，并且重建参数的优化具有挑战性。
此外，常规方法不提供单独/独立地控制条纹伪影去除的程度和噪声去除的程度的能力，从而使用户很少能对去噪医学图像的外观进行控制。在一个示例中，常规方法可以包括使用噪声医学图像对(例如，包括条纹伪影和噪声两者的医学图像)和对应的原始医学图像(例如，没有条纹伪影和噪声的相同医学图像)训练深度神经网络。因此，根据常规方法训练的深度神经网络可以学习从噪声图像空间到原始/去噪图像空间的映射。根据常规图像去噪训练方案(诸如上述方案)产生的深度神经网络未使用户能够独立地控制不同类型的伪影的去除程度，它们也不允许图像伪影的可变去除。因此，根据常规方法产生的去噪医学图像为用户提供了很少能力或没有能力来定制/调整去噪医学图像中存在的一种或多种类型的噪声的去除程度。在一个示例中，在深度神经网络将成像解剖区域的部分错误地识别为噪声/伪影并因此去除/改变所述部分的情况下，用户可能无法调整所述部分的去除/改变的程度。
本公开提供了至少部分地解决上述问题中的一个或多个问题的系统和方法。在一个实施方案中，由图1的MRI系统10获取的患者的解剖区域的MRI图像可被传输到图2所示的图像处理设备202。MRI图像可包括条纹伪影和噪声。在一些实施方案中，MRI系统10可使用径向k空间欠采样模式获取MRI图像，其中k空间是欠采样的以便减少图像获取的持续时间。在一些实施方案中，MRI系统10可包括图像处理设备202，或者图像处理设备202可位于MRI系统的外部并且可以能够通信地耦接到MRI系统10。图像处理设备202可包括非暂态存储器206，该非暂态存储器包括受过训练的深度神经网络，诸如图3所示的深度神经网络324。深度神经网络324可被配置为将所接收的条纹噪声医学图像(诸如条纹噪声图像304)分别映射到条纹残余和噪声残余(诸如条纹残余306和噪声残余308)。在一些实施方案中，深度神经网络324还可被配置为接收一个或多个获取参数作为深度神经网络324的输入层处的输入，诸如用于获取条纹噪声医学图像304的k空间采样模式，从而为深度神经网络324提供关于条纹噪声医学图像304的附加背景信息。
图像处理设备202还可包括存储在非暂态存储器206中的指令，该指令在被执行时使得处理器204实施图4所示的方法400的操作中的一个或多个操作，以分别基于第一权重和第二权重从MRI图像中选择性地去除由深度神经网络输出的条纹残余和/或噪声残余。此外，图像处理设备202可包括用于基于经由用户输入设备接收的用户输入进一步调整条纹残余的去除程度和噪声残余的去除程度的指令。图11示出了条纹噪声医学图像1102和去噪医学图像1104之间的比较，其中去噪医学图像1104通过将条纹噪声医学图像1102映射到条纹残余和噪声残余，以及根据方法400的操作中的一个或多个操作，从条纹噪声图像中选择性地减去条纹残余和噪声残余以产生去噪医学图像1104来产生。
本公开还提供了用于训练深度神经网络以将条纹噪声图像映射到条纹残余和噪声残余的系统和方法，其中如此训练的深度神经网络可用于本文所述的用于去除条纹伪影和噪声的方法中的一种或多种方法中。可通过执行图5所示的方法500的操作中的一个或多个操作来生成用于训练深度神经网络的训练数据三元组。在一个示例中，成像处理设备202可执行方法500的操作中的一个或多个操作以生成多个训练数据三元组，其中多个训练数据三元组可与训练方法诸如方法600结合使用，以教导深度神经网络从图像空间到条纹残余空间和噪声空间的映射。在一个实施方案中，受过训练的深度神经网络可包括多个参数，使得受过训练的深度神经网络能够从成像数据中识别和提取条纹残余和噪声残余。该参数可通过执行一个或多个受监督的训练例程诸如训练方法600(如图6所示)来学习。训练方法600包括：馈送深度神经网络训练数据三元组作为输入数据，该深度神经网络训练数据三元组包括条纹噪声图像和对应的真实条纹残余和真实噪声残余；基于输入数据预测条纹残余和噪声残余；以及将预测条纹残余和预测噪声残余与真实条纹残余和真实噪声残余进行比较。然后可基于比较来调整/更新深度神经网络的参数，以使深度神经网络预测更接近真实输出。
图7示出了可由CT测量数据(正弦图数据)产生条纹残余的示例性过程，而图8示出了可由MRI测量数据(k空间数据)产生条纹残余的示例性过程。此外，图9示出了由对比度增强的图像和非对比度增强的医学图像产生的条纹残余之间的比较，从而示出了对比度增强对条纹残余生成的影响。同样，图10示出了第一去噪医学图像1002和第二去噪医学图像1004之间的比较，该第一去噪医学图像由在未增强对比度的情况下生成的训练数据三元组上训练的深度神经网络产生，而该第二去噪医学图像由在增强对比度的情况下生成的训练数据三元组上训练的深度神经网络产生。
如本文所用，术语“去噪医学图像”可以指没有条纹伪影和噪声的图像，或者指相对于初始获取和重建的图像，具有显著减小的条纹伪影和噪声强度的图像。在一些情况下，术语“部分去噪图像”可用于表示与对应的未处理图像相比包括相对较低强度或量的条纹伪影和噪声的图像。如本文所用，术语“条纹噪声图像”将被理解为是指包含条纹伪影和噪声两者的图像。
首先转向图1，示出了MRI系统10。MRI系统10包括静磁场磁体单元12、梯度线圈单元13、局部RF线圈单元14、RF体或体积线圈单元15、传输/接收(T/R)开关20、RF驱动器单元22、梯度线圈驱动器单元23、数据获取单元24、控制器单元25、患者检查台或床26、图像处理系统31、用户输入设备32和显示设备33。RF线圈用于传输RF激励信号(“传输线圈”)，并接收由成像受检者发射的MR信号(“接收线圈”)。在一些实施方案中，该RF线圈单元14是表面线圈，其是通常被放置在受检者16的感兴趣的解剖结构附近的局部线圈。此处，RF体线圈单元15是传输RF信号的传输线圈，并且局部RF线圈单元14接收MR信号。因此，传输体线圈(例如，RF体线圈单元15)和表面接收线圈(例如，RF线圈单元14)是独立但电磁耦接的部件。MRI系统10将电磁脉冲信号传输到放置在成像空间18中的受检者16，其中形成静态磁场以执行扫描来从受检者16获得磁共振信号。可基于由此通过扫描获得的磁共振信号来重建受检者16的一个或多个MR图像。
静磁场磁体单元12包括例如安装在环形真空容器内的环形超导磁体。磁体限定了围绕受检者16的圆柱形空间，并且生成恒定的主静磁场B0。
MRI系统10还包括梯度线圈单元13，该梯度线圈单元在成像空间18中形成梯度磁场，以便为由RF线圈阵列接收的磁共振信号提供三维位置信息。梯度线圈单元13包括三个梯度线圈系统，每个梯度线圈系统生成沿彼此垂直的三个空间轴线中的一者的梯度磁场，并且根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每一方向上生成梯度场。更具体地，梯度线圈单元13在受检者16的切片选择方向(或扫描方向)上施加梯度场，以选择切片；并且RF体线圈单元15或局部RF线圈阵列可以将RF脉冲传输到受检者16的所选择的切片。梯度线圈单元13还在受检者16的相位编码方向上施加梯度场，以对来自由RF脉冲激发的切片的磁共振信号进行相位编码。梯度线圈单元13还在受检者16的频率编码方向上施加梯度场，以对来自由RF脉冲激发的切片的磁共振信号进行频率编码。
RF线圈单元14被设置为例如包围受检者16的待成像区域。在一些示例中，RF线圈单元14可为接收线圈。在其中由静磁场磁体单元12形成静磁场B0的静磁场空间或成像空间18中，RF线圈单元15基于来自控制器单元25的控制信号将作为电磁波的RF脉冲传输到受检者16，并且从而生成高频磁场B1。这激发了受检者16的待成像的切片中的质子自旋。RF线圈单元14接收当在受检者16的待成像的切片中由此激发的质子自旋返回到与初始磁化对准时生成的电磁波作为磁共振信号。在一些实施方案中，RF线圈单元14可传输RF脉冲并接收MR信号。在其他实施方案中，RF线圈单元14可仅用于接收MR信号，而不用于传输RF脉冲。
RF体线圈单元15被设置为例如包围成像空间18，并且在成像空间18内产生与由静磁场磁体单元12产生的主磁场B0正交的RF磁场脉冲以激发核。RF线圈单元14可以从MRI系统10断开并替换为另一个RF线圈单元，相比之下，RF体线圈单元15固定地附接和连接到MRI系统10。此外，尽管局部线圈诸如RF线圈单元14可以仅从受检者16的局部区域传输或接收信号，但是RF体线圈单元15通常具有更大的覆盖区。例如，RF体线圈单元15可用于向受检者16的全身传输或接收信号。使用仅接收的局部线圈和传输体线圈提供均匀的RF激发和良好的图像均匀性，代价是沉积在受检者中的RF功率较高。对于传输-接收局部线圈，局部线圈向感兴趣区域提供RF激发并接收MR信号，从而减少沉积在受检者中的RF功率。应当理解，RF线圈单元14和/或RF体线圈单元15的特定用途取决于成像应用。
当以接收模式操作时，T/R开关20可以选择性地将RF体线圈单元15电连接到数据获取单元24，并且当以传输模式操作时，T/R开关20可以选择性地将RF体线圈单元15电连接到RF驱动器单元22。类似地，当RF线圈单元14以接收模式操作时，T/R开关20可以选择性地将RF线圈单元14电连接到数据获取单元24，并且当以传输模式操作时，T/R开关20可以选择性地将RF线圈单元14电连接到RF驱动器单元22。当RF线圈单元14和RF体线圈单元15都用于单次扫描时，例如，如果RF线圈单元14被配置为接收MR信号并且RF体线圈单元15被配置为传输RF信号，则T/R开关20可以将来自RF驱动器单元22的控制信号引导到RF体线圈单元15，同时将接收的MR信号从RF线圈单元14引导到数据获取单元24。RF体线圈单元15的线圈可以被配置为以仅传输模式或传输-接收模式操作。局部RF线圈单元14的线圈可以被配置为以传输-接收模式或仅接收模式操作。
RF驱动器单元22包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器(未示出)，它们用于驱动RF线圈(例如，RF线圈单元15)并在成像空间18中形成高频磁场。RF驱动器单元22基于来自控制器单元25的控制信号并且使用栅极调制器，将从RF振荡器接收的RF信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的RF信号由RF功率放大器放大，然后输出到RF线圈单元15。
梯度线圈驱动器单元23基于来自控制器单元25的控制信号驱动梯度线圈单元13，从而在成像空间18中生成梯度磁场。梯度线圈驱动器单元23包括与梯度线圈单元13中包括的三个梯度线圈系统对应的三个驱动器电路系统(未示出)。
数据获取单元24包括前置放大器(未示出)、相位检测器(未示出)和用于获取由RF线圈单元14接收的磁共振信号的模拟/数字转换器(未示出)。在数据获取单元24中，相位检测器相位将来自RF驱动器单元22的RF振荡器的输出用作参考信号来检测从RF线圈单元14接收并由前置放大器放大的磁共振信号，并将相位检测的模拟磁共振信号输出到模拟/数字转换器，以转换成数字信号。由此获得的数字信号被输出到图像处理系统31。
MRI系统10包括用于在其上放置受检者16的检查床26。通过基于来自控制器单元25的控制信号移动检查床26，可以使受检者16在成像空间18的内部和外部移动。
控制器单元25包括计算机和其上记录有要由计算机执行的程序的记录介质。程序当由计算机执行时使系统的各个部分执行与预定扫描对应的操作。记录介质可以包括例如ROM、软盘、硬盘、光盘、磁光盘、CD-ROM或非暂态存储器卡。控制器单元25连接到用户输入设备32并且处理输入到用户输入设备32的操作信号，并且还通过向它们输出控制信号来控制检查床26、RF驱动器单元22、梯度线圈驱动器单元23和数据获取单元24。控制器单元25还基于从用户输入设备32处接收的操作信号来控制图像处理系统31和显示设备33以获得期望的图像。
用户输入设备32包括用户输入设备，诸如触摸屏、键盘和鼠标。MRI系统操作者使用用户输入设备32，例如，以输入此类数据作为成像协议，接受或拒绝扫描区域预览，并且在一些实施方案中设置待执行成像序列的区域。将成像协议数据、扫描区域预览接受或拒绝以及成像序列执行区域输出至控制器单元25。
图像处理系统31包括处理器和非暂态存储器，机器可执行指令可存储在该非暂态存储器上，其中机器可执行指令可以使处理器能够执行本文所公开的方法中的一种或多种方法的步骤中的一个或多个步骤。图像处理系统31可连接到控制器单元25，并且可基于从控制器单元25或用户输入设备32处接收的控制信号来执行数据处理。图像处理系统31还连接到数据获取单元24，并且通过对从数据获取单元24输出的磁共振信号应用各种图像处理操作来生成光谱数据。
MRI系统10可根据一个或多个成像协议获取诊断图像。在一些实施方案中，成像协议可指示用于获取k空间数据的一个或多个k空间采样模式和/或一个或多个k空间采样密度，其中k空间数据可根据本领域已知的一种或多种图像重建方法重建以形成医学图像。在一个实施方案中，MRI系统10可包括存储在非暂态存储器中的指令，该指令在被执行时使MRI系统10根据一个或多个预先确定的k空间采样模式来获取k空间数据。在一些实施方案中，MRI系统10可被配置为通过执行PROPELLER成像协议来获取测量数据/k空间数据，其中可获取以k空间原点为中心的k空间的一个或多个叶片。在一些实施方案中，MRI系统10可被配置为使用星堆叠成像协议来获取MRI测量数据。此外，在一些实施方案中，MRI系统10可被配置为使用减小的k空间采样密度(也称为欠采样模式)来获取测量数据，其中k空间的至少一部分以减小的密度进行采样，从而减少获取时间。
显示设备33可以基于从控制器单元25处接收的控制信号在显示设备33的显示屏幕上显示图像。显示设备33显示(例如)去噪医学图像。显示设备33可以包括图形用户界面(GUI)，其中用户可以经由用户输入设备32与一个或多个数据字段进行交互/输入/改变该一个或多个数据字段。在一个实施方案中，显示设备33可以显示GUI，该GUI包括输入字段/滑动条，该输入字段/滑动条被配置为使用户能够调整从获取的MRI图像中去除条纹残余的第一程度和去除噪声残余的第二程度。显示设备33可显示由图像处理系统31生成的受检者16的二维(2D)图像、三维(3D)图像和/或四维图像(在时间上的3D图像)。
在扫描期间，RF线圈阵列交接电缆(图1中未示出)可以用于在RF线圈(例如，RF线圈单元14和RF体线圈单元15)和处理系统的其他方面(例如，数据获取单元24、控制器单元25等)之间传输信号，例如以控制RF线圈和/或从RF线圈接收信息。
现在参见图2，其示出了根据示例性实施方案的图像处理系统200。在一些实施方案中，将图像处理系统200结合到MRI系统10中。在一些实施方案中，图像处理系统200的至少一部分设置在经由有线连接和/或无线连接能够通信地耦接到MRI系统10的设备(例如，边缘设备、服务器等)处。在一些实施方案中，图像处理系统200的至少一部分设置在远离MRI系统10定位的设备(例如，工作站)处，该设备被配置为能够从MRI系统10或者从被配置为存储由MRI系统10获取的图像的存储设备接收图像。图像处理系统200可以包括图像处理设备202、用户输入设备230和显示设备220。在一些实施方案中，图像处理系统200可从CT成像系统接收CT图像，其中图像处理系统200可经由有线或无线连接能够通信地耦接到一个或多个CT成像系统。在一些实施方案中，图像处理设备202可以能够通信地耦接到MRI成像系统和CT成像系统两者，并且可被配置为接收和处理MRI图像和CT图像两者。在一些实施方案中，图像处理设备202可以能够通信地耦接到图片存档和通信系统(PACS)，并且可以从PACS接收图像和/或向PACS发送图像。
图像处理设备202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以任选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问的联网计算设备执行。
非暂态存储器206可存储深度神经网络模块208、训练模块212和图像数据214。深度神经网络模块208可包括一个或多个深度神经网络，该一个或多个深度神经网络包括多个权重和偏置、激活函数、池化函数以及用于实现该一个或多个深度神经网络以识别和提取感兴趣的医学图像内的特征并将所提取的特征映射到分别对应于所感兴趣的医学图像内的条纹伪影和噪声的条纹残余和噪声残余的指令。在一些实施方案中，深度神经网络模块208可包括一个或多个受过训练的深度神经网络，诸如深度神经网络324，并且可根据方法400的一个或多个操作来实现受过训练的深度神经网络，以基于图像中的所识别的特征来选择性地去除条纹伪影和噪声。
深度神经网络模块208可包括受过训练和/或未受过训练的深度神经网络。在一些实施方案中，深度神经网络模块208不设置在图像处理设备202处，而是设置在经由有线或无线连接与图像处理设备202能够通信地耦接的远程设备处。深度神经网络模块208可包括与受过训练和/或未受过训练的网络有关的各种深度神经网络元数据。在一些实施方案中，深度神经网络元数据可包括用于训练深度神经网络的训练数据的指示、用于训练深度神经网络的训练方法，以及受过训练的深度神经网络的准确性/验证得分。在一些实施方案中，深度神经网络模块208可包括用于受过训练的深度神经网络的元数据，该元数据指示可应用受过训练的深度神经网络的解剖结构的类型和/或成像模态的类型。
非暂态存储器206还包括训练模块212，该训练模块包括用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络的机器可执行指令。在一些实施方案中，训练模块212可包括用于以下的指令：通过执行方法500的一个或多个操作来生成训练数据三元组，以及根据方法600的一个或多个操作利用所述训练数据三元组来训练深度神经网络以识别医学图像内的条纹伪影和噪声，并且将该条纹伪影和噪声分别映射到条纹残余和噪声残余。在一个实施方案中，训练模块212可包括梯度下降算法、损失函数以及用于生成和/或选择训练数据以用于训练深度神经网络的机器可执行规则。训练模块212还可包括指令，该指令在由处理器204执行时使图像处理设备102通过执行下面将参考图6更详细讨论的方法600的操作中的一个或多个操作来训练深度神经网络。在一些实施方案中，训练模块212不设置在图像处理设备202处，而是远程设置，并且与图像处理设备202能够通信地耦接。
非暂态存储器206还可包括图像数据模块214，该图像数据模块包括由一个或多个成像设备诸如MRI系统10获取的图像/成像数据。存储在图像数据214中的图像可包括来自各种成像模态或来自各种医学成像设备构造/模型的医学图像，并且可包括一个或多个患者的解剖区域的各种视图的图像。在一些实施方案中，存储在图像数据模块214中的医学图像可包括识别获取医学图像的成像模态和/或成像设备(例如，成像设备的模型和制造商)的信息。在一些实施方案中，存储在图像数据模块214中的图像可以包括指示用于获取所述图像的一个或多个获取参数的元数据。在一个示例中，图像的元数据可存储在图像的DICOM标头中。在一些实施方案中，元数据可包括用于获取图像的k空间采样模式和k空间采样密度。在一些实施方案中，元数据可指示在CT成像协议中获取的多个投影，并且还可指示投影中的每个投影的获取角度。在一些实施方案中，图像数据模块214可包括由x射线设备获取的x射线图像、由MRI系统捕获的MR图像、由CT成像系统捕获的CT图像、由PET系统捕获的PET图像和/或一种或多种附加类型的医学图像。
在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的能够远程访问的联网存储设备。
图像处理系统200还可包括用户输入设备230。用户输入设备230可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统200内的数据交互并操纵该数据的其他设备中的一者或多者。在一些实施方案中，用户输入设备230使得用户能够调节条纹残余去除的程度和噪声残余去除的程度。在一些实施方案中，用户可输入或选择指示条纹残余去除程度的第一值，用户可进一步输入或选择指示噪声残余去除程度的第二值，并且图像处理设备202可以响应于接收到用户输入并且基于所述用户输入独立地调节条纹残余去除的程度和噪声残余去除的程度，以产生部分去噪医学图像。
显示设备220可以包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备220可包括计算机监视器。显示设备220可以被配置为从图像处理设备202接收数据，并且基于所接收的数据显示去噪、部分去噪或非去噪的医学图像。显示设备220可与处理器204、非暂态存储器206和/或用户输入设备230组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，其可使用户能够查看图像，和/或与存储在非暂态存储器206中的各种数据交互。
应当理解，图2所示的图像处理系统200是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
转到图3，示出了使用深度神经网络将条纹噪声图像映射到去噪医学图像的系统300的框图。系统300可由图像处理设备(诸如图像处理设备202)或其他适当配置的计算系统来实现。系统300示出了经由深度神经网络324映射到示例性条纹残余306和示例性噪声残余308的示例性条纹噪声图像304。然后(分别经由W1和W2)对条纹残余306和噪声残余308进行加权并从条纹噪声图像304中减去，以产生去噪图像312。如本文所用，术语“条纹噪声”可指包括条纹伪影和噪声两者的图像。
条纹噪声图像304可包括多个像素/体素强度值，并且可以是2D或3D图像。条纹噪声图像304可包括MRI图像或CT图像。在一些实施方案中，条纹噪声图像304可包括经由k空间的欠采样(诸如经由径向采样模式)获取的MRI图像。在一些实施方案中，条纹噪声图像304可包括经由欠采样正弦图数据获取的CT图像。
获取参数302可包括一条或多条有关条纹噪声图像304的背景数据。在一些实施方案中，获取参数302包括用于获取条纹噪声图像304的k空间采样模式。在一些实施方案中，获取参数302包括用于获取条纹噪声图像304的k空间采样密度。在一些实施方案中，获取参数302可包括用于构建条纹噪声图像304的x射线投影的数量和取向的指示。
深度神经网络324可包括编码部分(例如，编码器314)和解码部分(解码器318)，其中编码器314被配置为从输入图像诸如条纹噪声图像304中识别和提取特征，并且其中解码器318被配置为将由编码器314输出的所提取的特征映射到对应的条纹残余(例如，条纹残余306)和对应的噪声残余(例如，噪声残余308)。在一些实施方案中，单独的深度神经网络可用于产生条纹残余和噪声残余。
深度神经网络324可被配置为经由输入层从条纹噪声图像304接收数据，并且可任选地接收获取参数302。在一些实施方案中，输入层可包括第一多个节点/神经元，该第一多个节点/神经元被配置为从条纹噪声图像304接收像素/体素强度数据。任选地，输入层可包括被配置为接收获取参数302的第二多个节点/神经元。在一些实施方案中，获取参数302可与条纹噪声图像304级联或嵌入条纹噪声图像中，并且条纹噪声图像304和获取参数302两者均可由第一多个节点/神经元接收。由输入层接收的数据可被传递到编码器314。
编码器314可包括第一多个层/特征标测图，该第一多个层/特征标测图被配置为识别和提取嵌入在条纹噪声图像304内的特征。每个特征标测图接收来自文件或先前特征标测图的输入，并且将所接收的输入变换/映射到输出以产生下一个特征标测图。在一些实施方案中，所述变换可以包括使用学习的滤波器、池化、激活函数(包括修正线性单元)等的卷积。每个特征标测图都可包括多个神经元，其中在一些实施方案中，每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入，并且可基于所接收的输入来计算单个输出，其中输出可传播到下一层/特征标测图中的神经元的子集。在一些实施方案中，特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收的输入具有独特的对应的学习权重，其中该学习权重是在训练阶段期间学习的。深度神经网络324的权重(和偏差)可以是在训练期间学习的，如将在下面参考图5和图6详细讨论的。来自编码器314的输出可包括多个识别和提取的特征，该输出被传递给解码器318。
解码器318可包括类似于编码器314的第二多个层/特征标测图。每个特征标测图可接收来自先前特征标测图(或来自编码器314)的输入，并且可将所接收的输入变换/映射到输出以产生下一个特征标测图。在一些实施方案中，所述变换可以包括使用学习的解卷积滤波器、激活函数(包括修正线性单元)等的向上卷积。每个特征标测图都可包括多个神经元，其中在一些实施方案中，每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入，并且可基于所接收的输入来计算单个输出，其中输出可传播到下一层/特征标测图中的神经元的子集。在一些实施方案中，特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收的输入具有独特的对应的学习权重，其中该学习权重是在训练阶段期间学习的。解码器318还可包括一个或多个完全连接的层，其中前一层的每个节点连接到当前层的每个节点。
深度神经网络324还可包括输出层，该输出层被配置为输出条纹残余(诸如条纹残余306)和噪声残余(诸如噪声残余308)两者。在一些实施方案中，输出层包括被配置为基于从解码器318接收的输入产生条纹残余306的第一多个神经元，以及被配置为基于从解码器318接收的输入产生噪声残余308的第二多个神经元。输出层的每个神经元可对应于条纹残余306或噪声残余308的像素/体素。条纹残余306和噪声残余308的量纲可与条纹噪声图像304的量纲匹配。例如，输出层的神经元的输出可指示条纹噪声图像304的对应区域中的条纹伪影强度(或噪声强度)。换句话讲，条纹残余306可包括存在于条纹噪声图像304中的条纹伪影的空间分布和强度的映射，而噪声残余308可包括存在于条纹噪声图像304中的噪声的空间分布和强度的映射。
应当理解，深度神经网络324的架构和配置是用于说明而非限制。在本文中可使用任何合适的神经网络(包括U-Net、ResNet、递归神经网络、广义回归神经网络(GRNN)等)来推断条纹残余和噪声残余MR和/或CT图像。上面描述了本公开的一个或多个具体实施方案以便提供透彻的理解。然而，这些所描述的实施方案仅仅是用于使用深度神经网络单独推断图像中的条纹残余和噪声的系统和方法的示例。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。
条纹残余306和噪声残余308可被加权，如W1和W2所指示，如图3所示。在一个实施方案中，条纹残余306的每个像素/体素值可以乘以W1(第一程度)以产生第一加权条纹残余，并且类似地，噪声残余308的每个像素/体素值可以乘以W2(第二程度)以产生加权噪声残余。然后可从条纹噪声图像304中减去加权条纹残余和加权噪声残余，以分别在第一程度和第二程度上去除条纹噪声图像304中存在的条纹伪影和噪声，从而产生去噪图像312(如圆圈封闭∑所指示)。由于条纹残余306包括存在于条纹噪声图像304中的条纹伪影的映射，并且由于噪声残余308包括存在于条纹噪声图像304中的噪声，因此系统300能够基本上或在给定程度上去除条纹伪影和噪声(例如，去除0％到100％)。此外，系统300可独立地选择条纹伪影去除和噪声去除的程度(例如，可通过将W1设置为0.5将条纹伪影去除设置为50％，并且可通过将W2设置为0.95将噪声去除设置为95％)。
转到图4，示出了使用受过训练的深度神经网络从条纹噪声图像中去除条纹伪影和噪声的示例性方法400的流程图。方法400可由上文讨论的系统中的一个或多个系统来执行。在一个实施方案中，实现系统300的图像处理设备202可执行方法400的一个或多个操作。
在操作402处，图像处理设备接收条纹噪声图像，诸如条纹噪声图像420。在一些实施方案中，条纹噪声图像可包括患者解剖区域的2D或3D图像，包括一个或多个通道中的2D像素强度值阵列或一个或多个通道中的3D体素强度值阵列。在一些实施方案中，条纹噪声图像包括由MRI系统(诸如MRI系统10)获取的患者解剖区域的MR图像。在一些实施方案中，条纹噪声图像包括由CT成像系统获取的患者解剖区域的计算机断层摄影(CT)图像。在一些实施方案中，所接收的条纹噪声图像可包括一条或多条元数据，其中可存储一个或多个获取参数。在一些实施方案中，元数据可被包括在所接收的条纹噪声图像的DICOM标头中。所述图像元数据可包括在获取图像期间使用的k空间采样模式和/或k空间采样密度、正弦图采样模式和/或正弦图采样密度、用于由测量数据重建图像的重建算法的指示等中的一者或多者。
在操作404处，图像处理设备选择受过训练的深度神经网络。在一些实施方案中，图像处理设备可基于与受过训练的深度神经网络有关的一条或多条元数据，并且进一步基于与所接收的医学图像一起包括的一条或多条元数据，从多个受过训练的深度神经网络中选择受过训练的深度神经网络。在一些实施方案中，图像处理设备可以将包括在所接收的条纹噪声图像中的第一条元数据与有关深度神经网络的多条元数据进行比较，并且可响应于所述第一条元数据匹配与受过训练的深度神经网络有关的多条元数据中的一条或多条元数据，选择所述受过训练的深度神经网络。在一些实施方案中，所述第一条元数据可包括用于获取条纹噪声图像的成像协议的指示，其中所述成像协议可指示成像设备用来获取条纹噪声图像的一个或多个获取参数。
在一些实施方案中，操作404包括：图像处理设备访问非暂态存储器的位置，其中存储多个受过训练的深度神经网络的索引；以及将与条纹噪声图像相关联的一条或多条元数据与多个深度神经网络的一个或多个索引参数进行比较。在一些实施方案中，图像处理设备可基于用于训练深度神经网络的训练数据的类型来选择深度神经网络。在一些实施方案中，可训练深度神经网络以识别使用一个或多个预先确定的获取参数(例如，k空间采样密度、k空间采样模式、正弦图采样密度、正弦图采样模式、回波序列等)获取的图像中的条纹残余和噪声残余，并且深度神经网络可基于预先确定的获取参数进行索引。在此类实施方案中，操作404可包括图像处理设备将用于获取待去噪的条纹噪声图像的存储在与所述图像相关联的元数据中一个或多个图像获取参数与指示用于训练深度神经网络的图像的获取参数的受过训练的深度神经网络所相关的元数据进行比较。
在操作406处，图像处理设备使用受过训练的深度神经网络将条纹噪声图像映射到条纹残余(例如，条纹残余422)和噪声残余(例如，噪声残余424)。任选地，操作406可包括图像处理设备接收与条纹噪声图像的获取有关的一个或多个获取参数，将条纹噪声图像和一个或多个获取参数输入到受过训练的深度神经网络的输入层中，以及使用受过训练的深度神经网络将医学图像和一个或多个获取参数映射到条纹残余和噪声残余，如上面参考图3更详细地描述的。
在操作408处，图像处理设备在第一程度上从条纹噪声图像中去除条纹残余，并在第二程度上从条纹噪声图像中去除噪声残余，以产生去噪图像。在一些实施方案中，第一程度包括介于0和1之间包括端值在内的第一值(以及两者间的任何分位数)，并且其中第二程度包括介于0和1之间的包括端值在内第二值(以及两者间的任何分位数)。换句话讲，条纹残余的强度和噪声残余的强度可在0％至100％的范围内的不同程度上独立地去除。在一些实施方案中，用户可预先选择优选的第一程度和优选的第二程度，并且所述第一程度和所述第二程度可存储在与用户偏好相关联的非暂态存储器的位置中，在此类实施方案中，在操作408处，图像处理设备可以访问非暂态存储器中的该位置并检索预先确定的第一程度和第二程度。在一些实施方案中，如果用户尚未预先选择优选的第一程度和优选的第二程度，则图像处理设备可以在操作408处访问默认的第一程度和默认的第二程度。在一些实施方案中，图像处理设备可以包括用于基于输入的条纹噪声图像和与其相关联的一条或多条元数据智能地选择第一程度和第二程度的指令。
在一些实施方案中，条纹残余包括2D或3D强度值阵列，其表示由受过训练的深度神经网络识别的条纹伪影的强度，并且操作408包括将2D或3D条纹强度值阵列乘以第一权重因子(在本文中也称为W1)，以产生包括多个加权条纹强度值的加权条纹残余。可通过从条纹噪声图像的强度值中进行加权条纹残余的加权条纹强度值的逐像素/逐体素减除来从条纹噪声图像中减去加权条纹残余，例如，通过从条纹噪声图像的第二像素的强度值中减去加权条纹残余的第一像素的加权条纹强度值，其中第一像素和第二像素表示成像空间的相同区域。
同样，在一些实施方案中，噪声残余包括2D或3D强度值阵列，其表示由受过训练的深度神经网络识别的噪声强度，并且操作408包括将2D或3D噪声强度值阵列乘以第二权重因子(在本文中也称为W2)，以产生包括多个加权噪声强度值的加权噪声残余。可通过从条纹噪声图像的强度值中进行加权噪声残余的加权噪声强度值的逐像素/逐体素减除来从条纹噪声图像中减去加权噪声残余，例如，通过从条纹噪声图像的第二像素的强度值中减去加权噪声残余的第一像素的加权噪声强度值，其中第一像素和第二像素表示成像空间的相同区域。
在一些实施方案中，操作408包括图像处理设备从非暂态存储器中的预先确定的位置检索W1和W2。在一些实施方案中，非暂态存储器中的预先确定的位置包括由用户配置的用户偏好文件，其中用户偏好文件可包括用户选择的W1和W2。在一些实施方案中，W1和W2可分别设置为1.0和1.0，表示条纹伪影和噪声均100％去除。在一些实施方案中，W1和W2可独立地设置为除1.0之外的值。暂时转到图11，示出了示例性条纹噪声图像1102和示例性去噪医学图像之间的比较。如在图11中可见，条纹噪声图像1102包括多个条纹伪影(延伸超过解剖结构的部分的较高强度的细长区域)。
在操作410处，图像处理设备显示去噪医学图像。去噪医学图像426的示例在图4中的操作412的左侧示出。在一些实施方案中，操作410包括显示条纹残余的去除程度的指示和噪声去除的去除程度的指示。在一些实施方案中，操作410包括显示去除条纹残余的第一程度W1，以及显示去除噪声残余的第二程度W2，连同被配置为接收用于调整第一程度W1和/或调整第二程度W2的用户输入的GUI。
在操作412处，方法400任选地包括图像处理设备基于经由用户输入设备接收的用户输入来调整第一程度和第二程度，以产生第三程度和第四程度。在一些实施方案中，用户可以使用用户输入设备将第三程度和第四程度输入到图像处理设备中，并且在操作412处，图像处理设备可以用第三程度替换第一程度，并且可以用第四程度替换第二程度。在一些实施方案中，在操作412处，图像处理设备可以接收第一缩放系数和第二缩放系数，并且可以通过将第一程度乘以第一缩放系数来调整第一程度以产生第三程度，并且同样，图像处理设备可以通过将第二程度乘以第二缩放系数来调整第二程度以产生第四程度。应当理解，操作412涵盖其中用户调节第一程度但不调节第二程度以及用户调节第二程度但不调节第一程度的实施方案。
在操作414处，方法400任选地包括图像处理设备在第三程度上从条纹噪声图像中去除条纹残余，并且在第四程度上从条纹噪声图像中去除噪声残余，以产生第二去噪医学图像。在一些实施方案中，用户可经由用户输入设备选择或输入第三程度和第四程度，并且作为响应，图像处理设备可通过将在操作406处确定的条纹残余乘以第三程度来产生第二加权条纹残余，并且可通过将在操作406处确定的噪声残余乘以第四程度来产生第二加权噪声残余。图像处理设备可以从条纹噪声图像中减去第二加权条纹残余和第二加权噪声残余，以产生第二去噪医学图像。在一些实施方案中，如果用户选择小于1.0的第三程度或第四程度，则第二去噪医学图像可包括条纹伪影的强度的一部分和/或噪声的强度的一部分，并且因此可包括部分去噪图像。
在操作416处，方法400任选地包括图像处理设备显示第二去噪医学图像。第二去噪医学图像428的示例在图4中的操作416的左侧示出。在操作416之后，方法400可结束。
通过针对条纹残余和噪声残余产生单独的输出，可独立地控制条纹残余去除和噪声残余去除的程度，从而相对于噪声实现条纹伪影的不同程度的去除，从而为用户提供对所显示图像的外观的更大控制。进一步，与常规方法诸如CS相比，方法400可通过将通常可在图像获取之后发生的计算负担的一部分分布到在图像获取之前进行的训练阶段来提高图像获取之后的图像去噪的速度。深度神经网络的训练可占据比实施方式相对更大的时间和计算资源部分，因此，通过预训练深度神经网络以从图像数据中识别和提取条纹残余和噪声残余，在图像获取之前，条纹伪影和噪声的去除可比通过诸如CS的方法(其在图像获取之后从头发生)可实现的更快地发生。
使用受过训练的深度神经网络将条纹噪声图像映射到条纹残余和噪声残余的技术效果是，条纹残余和噪声残余可用于单独且可变地去除条纹伪影和噪声，从而为用户提供对所获取图像的显示外观的更大控制。进一步，通过使用先前训练的深度神经网络将条纹噪声图像映射到条纹残余和噪声残余，可通过将计算负担“预加载”到图像获取之前发生的训练阶段来提高图像去噪的速度。另外，通过结合与条纹噪声图像的获取有关的获取参数，可为受过训练的深度神经网络提供和存在于条纹噪声图像中的条纹伪影和噪声有关的背景信息，使得能够更准确地识别和更选择性地去除条纹伪影和噪声两者。
转到图5，示出了用于生成训练数据三元组的示例性方法500的流程图，该训练数据三元组用于训练深度神经网络以从条纹噪声图像中识别和提取条纹伪影和噪声。在一些实施方案中，训练数据三元组包括三个不同元素；真实条纹残余、真实噪声残余和包括同时叠加有真实条纹残余和真实噪声残余两者的图像的条纹噪声图像。通过方法500生成的训练数据三元组可根据监督训练例程诸如图6所示的方法600来使用，以训练深度神经网络来识别和提取图像中存在的条纹伪影和噪声。方法500可由上文讨论的系统中的一个或多个系统来执行。在一个实施方案中，执行存储在训练模块212中的指令的图像处理设备202可执行方法500的一个或多个操作。
在操作502处，图像处理设备选择没有条纹伪影和噪声的高分辨率自然图像。自然图像可包括比医学图像更多种类的图像，并且可包括比基于数学模型生成的图像更大的信息量。进一步，机器学习领域中的已知限制是训练数据的缺乏，并且通过利用相对普遍的自然图像，而不是更受约束领域的图像(例如，医学图像)，可生成更大的训练数据集。在一些实施方案中，在操作502处，图像处理设备可访问存储在非暂态存储器中的高分辨率自然图像的储存库，并且可从其中选择图像。在一些实施方案中，图像处理设备可使用随机数生成器随机选择高分辨率自然图像。
在操作504处，图像处理设备增强高分辨率自然图像的对比度以产生对比度增强的图像。在一些实施方案中，增强在操作504处选择的高分辨率自然图像的对比度包括选择比用于显示高分辨率自然图像的当前窗口宽度(WW)窄的WW，生成查找表(LUT)，该LUT包括高分辨率自然图像的像素/体素强度值到对比度增强图像的像素/体素强度值的映射。图像处理设备可使用LUT来映射/变换高分辨率自然图像的像素/体素强度值，以产生对比度增强图像。换句话讲，在一些实施方案中，在操作504处，图像处理设备增大较低强度阈值(低于该强度阈值，像素/体素将被显示为黑色)，并且减小较高强度阈值(高于该强度阈值，像素/体素将被显示为白色)。
简要参考图9，对比度增强对条纹伪影残余生成的影响通过将使用非对比度增强图像902生成的第一伪影残余906与使用对比度增强图像904生成的伪影残余908进行比较来例示。可以看出，第一伪影残余906包括振铃伪影和条纹伪影的混合，而第二伪影残余908主要包括条纹伪影。因此，根据方法500的一个或多个操作由对比度增强图像生成的伪影残余主要包括条纹伪影，使得使用伪影残余诸如第二伪影残余908训练的深度神经网络能够学会选择性地识别和提取条纹残余。换句话讲，通过为深度神经网络提供条纹伪影的示例，由对比度增强的图像生成真实条纹残余使得深度神经网络能够选择性地识别和提取条纹伪影，基本上没有其他类型的伪影/噪声(例如，振铃伪影、白噪声、模糊、彩色噪声等)。
暂时转到图10，示出了去噪图像1002和去噪图像1004之间的比较。第一去噪图像1002是使用由非对比度增强图像生成的训练数据训练的深度神经网络进行去噪的，而第二去噪图像1004是使用由对比度增强图像生成的训练数据训练的深度神经网络进行去噪的。可以看出，第一去噪图像1002包括大量的条纹伪影，而第二去噪医学图像1004包括比第一去噪图像1002显著更少的条纹伪影。
转向图5，在操作504之后，方法500可前进至操作506。在操作506处，图像处理设备可对对比度增强图像进行傅里叶变换以产生完全采样的k空间(其示例由图8中的完全采样的k空间802示出)，并且/或者可对对比度增强图像进行拉东变换以产生完全采样的正弦图(其示例由图7中的完全采样的正弦图702示出)。更具体地讲，在其中方法500用于生成训练数据以用于训练深度神经网络来从MRI图像中去除条纹伪影和噪声的实施方案中，操作506可包括对对比度增强图像执行2D或3D傅里叶变换(FT)以分别产生完全采样的2D或3D k空间，其中在2D对比度增强图像上采用2D FT，并且其中在3D对比度增强图像上采用3D FT。在其中方法500用于生成训练数据以用于训练深度神经网络来从CT图像中去除条纹伪影和噪声的实施方案中，操作506可包括执行对对比度增强图像的多个拉东变换(RT)以产生完全采样的2D或3D正弦图。
在操作508处，图像处理设备对完全采样的k空间进行降采样以产生降采样的k空间(其示例由图8中的降采样的k空间804示出)，并且/或者图像处理设备对完全采样的正弦图进行降采样以产生降采样的正弦图(其示例由图7中的降采样的正弦图704示出)。在一些实施方案中，图像处理设备可自动选择降采样模式和/或降采样比率，以模拟预先确定的MRI或CT成像协议中的期望降采样模式。在一些实施方案中，可选择k空间降采样模式(例如，PROPELLER、星堆叠等)，可基于k空间采样模式生成k空间掩模(其中k空间掩模包括1和0的阵列，分别对应于完全采样的k空间的未掩模区域和掩模区域)，并且k空间掩模可以应用于完全采样的k空间以产生降采样的k空间。类似地，在一些实施方案中，可选择正弦图降采样模式以模拟在预先确定的CT成像协议中采用的稀疏正弦图采样模式，可基于正弦图采样模式生成正弦图掩模(其中正弦图掩模包括1和0的阵列，分别对应于完全采样的正弦图的未掩模区域和掩模区域)，并且可以将正弦图掩模应用于完全采样的正弦图以产生降采样的正弦图。在一些实施方案中，对使用特定欠采样模式生成的训练数据进行训练的深度神经网络可在与深度神经网络相关联的元数据中包括所述欠采样模式的指示。虽然本文给出了采样模式的若干示例，但应当理解，本公开涵盖基本上任何采样模式。
在操作510处，图像处理设备可以获取降采样k空间的逆FT(IFT)和/或对降采样的正弦图执行滤波反投影，以产生条纹图像(其示例由条纹图像708和条纹图像808示出)。在欠采样k空间包括2D k空间的实施方案中，操作510包括在欠采样k空间上执行2D IFT以产生2D条纹图像。在欠采样k空间包括3D k空间的实施方案中，操作510包括在欠采样k空间上执行3D IFT以产生3D条纹图像。
在操作512处，图像处理设备从条纹图像中减去高分辨率自然图像以产生真实条纹残余。暂时转到图7，示出了从条纹图像708中减去高分辨率自然图像706以产生真实条纹残余710的示例。如在图7中可见，在从条纹图像708的每个对应像素/体素的强度值中减去来自高分辨率自然图像706的每个像素/体素的强度值之后，剩余的强度值表示通过对完全采样的正弦图702进行降采样而在高分辨率自然图像706中引起的条纹伪影。
类似地，在图8中，在从条纹图像808的每个对应像素/体素的强度值中减去来自高分辨率自然图像806的每个像素/体素的强度值之后，可以产生真实条纹残余810。其中真实条纹残余810包括剩余的强度值(即，残余强度值)，该剩余的强度值表示通过对完全采样的k空间802进行降采样而在高分辨率自然图像806中引起的条纹伪影。图8还示出了由MR数据生成通道组合的真实条纹残余816的方法，其中真实条纹残余816模拟可以在使用多通道表面线圈获取的MR图像中产生的条纹伪影。在MR成像中，多通道表面线圈通常用于高SNR、大FOV和/或并行成像。然而，与较大体线圈不同，多通道表面线圈可以进一步增加由此获取的MR图像中的信号、噪声和/或伪影的不均匀性。取决于通道组合方法，经由多通道表面线圈获取的MR图像还可以包括不均匀的噪声功率分布。通道组合高分辨率自然图像812可通过将通道组合算法仿真应用于高分辨率自然图像806来生成，并且类似地，通道组合条纹图像814可通过将通道组合算法仿真应用于条纹图像808来生成。可通过从通道组合条纹图像814中的对应像素/体素强度值中减去通道组合的高分辨率自然图像812的像素/体素强度值来生成通道组合的真实条纹残余816。将通道组合的真实条纹残余816和真实条纹残余810进行比较，因为线圈灵敏度分布和通道组合，所以条纹伪影的分布是不同的。
在操作514处，图像处理设备生成真实噪声残余。在一些实施方案中，在操作514处，图像处理设备通过根据强度值的预先确定高斯分布针对像素/体素阵列中在大小/维度上与高分辨率自然图像相等的每个像素/体素随机选择强度值来在图像空间中生成白噪声。在一些实施方案中，在操作514处，图像处理设备通过获取白噪声图像的FT来模拟彩色噪声以产生白噪声k空间，并且根据预先确定的模式选择性地衰减白噪声k空间的强度(例如，通过将白噪声k空间乘以加权矩阵)，以产生彩色噪声k空间，其中噪声强度作为k空间中的位置的函数不是恒定的。然后可通过获取彩色噪声k空间的IFT将彩色噪声k空间转换为图像空间中的真实噪声残余。在一些实施方案中，操作514包括图像处理设备通过在空白图像中生成具有平坦空间频率分布的噪声来生成真实噪声残余，其中空白图像的第一大小等于高分辨率自然图像的第二大小。在一些实施方案中，图像处理设备可以通过在空白图像中生成具有非平坦空间频率分布的噪声来生成真实噪声残余，其中空白图像的第一大小与高分辨率自然图像的第二大小匹配。
在操作516处，图像处理设备针对真实噪声残余中的每个像素/体素和条纹图像中的每个对应像素/体素执行逐像素/逐体素强度相加，以产生条纹噪声图像。换句话讲，在操作516处生成的条纹噪声图像包括来自在操作502处选择的高分辨率自然图像的每个像素/体素、在操作512处生成的真实条纹残余的每个像素/体素以及在操作514处生成的真实噪声残余的每个像素/体素的强度值的线性组合。
在操作518处，图像处理设备将条纹噪声图像、对应的真实条纹残余和对应的真实噪声残余存储为训练数据三元组。在一些实施方案中，训练数据三元组可与一条或多条元数据一起存储，该一条或多条元数据指示用于生成真实条纹残余的采样模式、用于产生真实噪声残余的噪声生成类型以及用于在操作504处生成对比度增强图像的对比度增强程度的指示中的一者或多者。在操作518之后，方法500可结束。
转到图6，示出了用于训练深度神经网络(诸如图3所示的深度神经网络324)以由输入的条纹噪声图像推断条纹残余和噪声残余的示例性方法600的流程图。方法600可由上文讨论的系统中的一个或多个系统来执行。在一些实施方案中，方法600可由图1所示的系统10或图2所示的图像处理设备202来实现。在一些实施方案中，方法600可由存储在图像处理设备202的非暂态存储器206中的训练模块212来实现。
在操作602处，将来自多个训练数据三元组的训练数据三元组馈送到深度神经网络，其中训练数据三元组包括条纹噪声图像，以及对应于条纹噪声图像的真实条纹残余和真实噪声残余。图像处理设备可根据与训练数据三元组相关联的一条或多条元数据智能地选择训练数据三元组。在一个实施方案中，方法600可用于训练深度神经网络以识别使用特定k空间或正弦图采样模式获取的图像中的条纹残余，并且操作602可包括图像处理设备选择使用所述特定采样模式生成的训练数据三元组。
在一些实施方案中，训练数据三元组和多个训练数据三组组可存储在图像处理设备中，诸如存储在图像处理设备202的图像数据模块214中。在其他实施方案中，可经由图像处理设备和外部存储设备之间的通信耦接(诸如经由与远程服务器的互联网连接)来获取训练数据三元组。
在操作604处，将训练数据三元组的条纹噪声图像映射到预测条纹残余和预测噪声残余。在一些实施方案中，操作604可包括将条纹噪声图像的像素/体素强度数据输入到深度神经网络的输入层中，通过使图像数据传播通过深度神经网络的一个或多个编码层来识别存在于条纹噪声图像中的特征，其中所述编码层可包括一个或多个卷积滤波器；以及通过使所识别的特征传播通过深度神经网络的一个或多个解码层来预测条纹残余和噪声残余，如上文参考图3所更详细地讨论的。
在操作606处，图像处理设备基于在操作604处确定的预测条纹残余与真实条纹残余之间的差值来计算深度神经网络的第一损失。换句话讲，操作606包括图像处理设备使用真实条纹残余和损失函数来确定预测条纹残余的误差。在一些实施方案中，操作606可以包括图像处理设备确定预测条纹残余的多个像素/体素与真实条纹残余的多个像素/体素之间的强度差，以及将多个强度差输入到预先确定的损失函数(例如，均方误差函数或机器学习领域中已知的其他损失函数)中。在一些实施方案中，第一损失可包括Sorensen-Dice得分、均方误差、绝对距离误差中的一者或多者，或前述一者或多者的加权组合。在一些实施方案中，操作606可包括根据以下方程使用真实条纹残余确定预测条纹残余的DICE得分：
Figure BDA0002962823540000261
其中S是真实条纹残余，并且T是预测条纹残余。在一些实施方案中，预测条纹残余和真实条纹残余两者包括3D强度值阵列。
在操作608处，图像处理设备可以基于在操作604处确定的预测噪声残余与真实噪声残余之间的差值来计算深度神经网络的第二损失。换句话讲，操作608包括图像处理设备使用真实噪声残余和损失函数来确定预测噪声残余的误差。在一些实施方案中，操作608可以包括图像处理设备确定预测噪声残余的多个像素/体素与真实噪声残余的多个像素/体素之间的强度差，以及将多个强度差输入到预先确定的损失函数(例如，MSE函数或机器学习领域中已知的其他损失函数)中。在一些实施方案中，第二损失可包括DICE得分、均方误差、绝对距离误差中的一者或多者，或前述一者或多者的加权组合。在一些实施方案中，操作608可以包括根据上面参考操作606给出的等式，使用真实噪声残余确定预测噪声残余的DICE得分，其中S是真实噪声残余，T是预测噪声残余。在一些实施方案中，预测噪声残余和真实噪声残余两者都包括3D强度值阵列。
在操作610处，基于在操作606处和在操作608处计算出的第一损失和第二损失来调整深度神经网络的权重和偏差。在一些实施方案中，第一损失和第二损失可交替地且单独地通过深度神经网络的层反向传播，并且深度神经网络的参数可根据基于反向传播的第一损失和第二损失的梯度下降算法来更新。在一些实施方案中，可以聚合第一损失和第二损失以产生累积损失，并且操作610可以包括图像处理设备基于累积损失更新深度神经网络的参数。在一些实施方案中，可以由图像处理设备通过将第一损失和第二损失分别乘以第一权重和第二权重以产生第一加权损失和第二加权损失，并且将第一加权损失和第二加权损失求和以产生累积损失来确定累积损失。损失可通过深度神经网络的层反向传播，以更新层的权重(和偏差)。在一些实施方案中，根据梯度下降算法可发生损失的反向传播，其中针对深度神经网络的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。然后，通过根据以下等式将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预定步长大小相加来更新深度神经网络的每个权重(和偏差)：
Figure BDA0002962823540000271
其中Pi+1是更新的参数值，Pi是先前的参数值，Step是步长大小，并且
Figure BDA0002962823540000272
是损失相对于先前参数的偏导数。
在操作608之后，方法600可结束。应当注意，方法600可重复，直到深度神经网络的权重和偏差收敛，获得阈值差值度量(对于训练数据或在单独验证数据集上)，或者对于方法600的每次迭代，深度神经网络的权重和/或偏差的变化率都在阈值以下。以这种方式，方法600使得深度神经网络能够被训练以推断存在于条纹噪声图像中的条纹残余和噪声残余。
当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性，而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“联接到”等，一个对象(例如，材料、元件、结构、构件等)可以连接到或联接到另一个对象，而无论该一个对象是否直接连接或联接到另一个对象，或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外，应当理解，对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。
除了任何先前指示的修改之外，本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置，并且所附权利要求书旨在覆盖此类修改和布置。因此，尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述，但对于本领域的普通技术人员将显而易见的是，在不脱离本文阐述的原理和概念的情况下，可以进行许多修改，包括但不限于形式、功能、操作方式和使用。同样，如本文所使用的，在所有方面，示例和实施方案仅意图是说明性的，并且不应以任何方式解释为限制性的。

Claims (20)

1.一种方法，包括：
接收包括条纹伪影和噪声的医学图像；
使用受过训练的深度神经网络将所述医学图像映射到条纹残余和噪声残余；
在第一程度上从所述医学图像中减去所述条纹残余，并且在第二程度上从所述医学图像中减去所述噪声残余，以产生去噪医学图像；以及
经由显示设备显示所述去噪医学图像。
2.根据权利要求1所述的方法，其中所述医学图像是由磁共振成像(MRI)系统获取的患者的解剖区域的磁共振(MR)图像。
3.根据权利要求1所述的方法，其中所述医学图像是由CT系统获取的患者的解剖区域的计算机断层摄影(CT)图像。
4.根据权利要求1所述的方法，其中所述去噪医学图像是第一去噪医学图像，并且其中所述方法还包括：
经由用户输入设备接收用户输入，其中所述用户输入包括第三程度和第四程度；
在所述第三程度上从所述医学图像减去所述条纹残余，并且在所述第四程度上从所述医学图像减去所述噪声残余，以产生第二去噪医学图像；以及
经由所述显示设备显示所述第二去噪医学图像。
5.根据权利要求1所述的方法，其中所述第一程度包括介于0和1之间包括端值在内的第一值，并且其中所述第二程度包括介于0和1之间包括端值在内的第二值。
6.根据权利要求5所述的方法，其中在所述第一程度上从所述医学图像减去所述条纹残余并且在所述第二程度上从所述医学图像减去所述噪声残余包括：
将所述条纹残余乘以所述第一值以产生加权条纹残余；
将所述噪声残余乘以所述第二值以产生加权噪声残余；以及
从所述医学图像中减去所述加权条纹残余和所述加权噪声残余，以产生所述去噪医学图像。
7.根据权利要求1所述的方法，其中使用所述受过训练的深度神经网络将所述医学图像映射到所述条纹残余和所述噪声残余包括：
接收与所述医学图像的获取有关的一个或多个获取参数；
将所述医学图像和所述一个或多个获取参数输入到所述受过训练的深度神经网络的输入层中；以及
使用所述受过训练的深度神经网络将所述医学图像和所述一个或多个获取参数映射到所述条纹残余和所述噪声残余。
8.一种用于训练深度神经网络的方法，包括：
生成训练数据三元组，其中所述训练数据三元组包括：
包括条纹伪影和噪声的图像；
真实条纹残余；和
真实噪声残余；
使用深度神经网络将所述图像映射到预测条纹残余和预测噪声残余；
基于所述预测条纹残余和所述真实条纹残余之间的差值计算所述深度神经网络的第一损失；
基于所述预测噪声残余和所述真实噪声残余之间的差值计算所述深度神经网络的第二损失；以及
基于所述第一损失和所述第二损失来更新所述深度神经网络的参数。
9.根据权利要求8所述的方法，其中生成所述训练数据三元组包括：
选择高分辨率自然图像；
增强所述高分辨率自然图像的对比度以产生对比度增强的图像；
对所述对比度增强的图像进行傅立叶变换(FT)以产生完全采样的k空间；
对所述完全采样的k空间进行降采样以产生降采样的k空间；
获取所述降采样的k空间的逆FT以产生条纹图像；
从所述条纹图像中减去所述高分辨率自然图像以产生所述真实条纹残余；
生成所述真实噪声残余；
将所述真实噪声残余添加到所述条纹图像以产生包括条纹伪影和噪声的所述图像；
将所述图像、所述真实条纹残余和所述真实噪声残余存储为所述训练数据三元组。
10.根据权利要求9所述的方法，其中生成所述真实噪声残余包括：
在空白图像中生成具有平坦空间频率分布的噪声，其中所述空白图像的第一大小等于所述高分辨率自然图像的第二大小。
11.根据权利要求9所述的方法，其中生成所述真实噪声残余包括：
在空白图像中生成具有非平坦空间频率分布的噪声，其中所述空白图像的第一大小与所述高分辨率自然图像的第二大小匹配。
12.根据权利要求9所述的方法，其中对所述完全采样的k空间进行降采样以产生降采样的k空间包括：
选择采样模式；
基于所述采样模式生成k空间掩模；
将所述k空间掩模应用于所述完全采样的k空间以产生所述降采样的k空间。
13.根据权利要求12所述的方法，其中所述采样模式包括所述完全采样的k空间的径向欠采样。
14.根据权利要求8所述的方法，其中生成所述训练数据三元组包括：
选择高分辨率自然图像；
增强所述高分辨率自然图像的对比度以产生对比度增强的图像；
对所述对比度增强的图像进行拉东变换(RT)以产生正弦图；
对所述正弦图进行降采样以产生降采样的正弦图；
对所述降采样的正弦图执行滤波反投影(FBP)以产生条纹图像；
从所述条纹图像中减去所述高分辨率自然图像以产生所述真实条纹残余；
生成所述真实噪声残余；
将所述真实噪声残余添加到所述条纹图像以产生包括条纹伪影和噪声的所述图像；
将所述图像、所述真实条纹残余和所述真实噪声残余存储为所述训练数据三元组。
15.根据权利要求14所述的方法，其中对所述正弦图进行降采样以产生所述降采样的正弦图包括：
选择采样模式；
基于所述采样模式生成正弦图掩模；
将所述正弦图掩模应用于所述正弦图以产生所述降采样的正弦图。
16.一种系统，包括：
存储器，所述存储器存储受过训练的深度神经网络和指令；和
处理器，其中所述处理器能够通信地耦接到所述存储器并且在执行所述指令时被配置为：
接收医学图像，其中所述医学图像包括条纹伪影和噪声；
使用所述受过训练的深度神经网络将所述医学图像映射到条纹残余和噪声残余；
在第一程度上从所述医学图像中去除所述条纹残余，并且在第二程度上从所述医学图像中去除所述噪声残余，以产生去噪医学图像；以及
经由显示设备显示所述去噪医学图像。
17.根据权利要求16所述的系统，其中所述系统还包括所述显示设备，并且其中所述存储器还包括用户偏好，并且其中所述处理器在执行所述指令时被配置为从所述用户偏好中检索所述第一程度和所述第二程度。
18.根据权利要求16所述的系统，其中所述系统是磁共振成像(MRI)系统，并且其中所述医学图像是由所述MRI系统经由k空间的径向或螺旋采样获取的磁共振(MR)图像。
19.根据权利要求16所述的系统，其中所述处理器在执行所述指令时被配置为使用所述受过训练的深度神经网络通过以下方式将所述医学图像映射到所述条纹残余和所述噪声残余：
将所述医学图像的医学图像数据输入到所述受过训练的深度神经网络的输入层中；
将用于获取所述医学图像的k空间采样模式输入到所述受过训练的深度神经网络的所述输入层中；以及
将所述医学图像数据和所述k空间采样模式两者映射到所述条纹残余和所述噪声残余。
20.根据权利要求16所述的系统，其中所述系统还包括能够通信地耦接到所述处理器的用户输入设备，其中所述去噪医学图像是第一去噪医学图像，并且其中所述处理器在执行所述指令时还被配置为：
经由所述用户输入设备接收用户输入，其中所述用户输入包括第三程度和第四程度；
在所述第三程度上从所述医学图像中去除所述条纹残余，并且在所述第四程度上从所述医学图像中去除所述噪声残余，以产生部分去噪医学图像；以及
经由所述显示设备显示所述部分去噪医学图像。
CN202110244314.6A 2020-03-23 2021-03-05 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统 Pending CN113436290A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/827,422 2020-03-23
US16/827,422 US11341616B2 (en) 2020-03-23 2020-03-23 Methods and system for selective removal of streak artifacts and noise from images using deep neural networks

Publications (1)

Publication Number Publication Date
CN113436290A true CN113436290A (zh) 2021-09-24

Family

ID=77748267

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110244314.6A Pending CN113436290A (zh) 2020-03-23 2021-03-05 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统

Country Status (2)

Country Link
US (1) US11341616B2 (zh)
CN (1) CN113436290A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388305A (zh) * 2023-10-12 2024-01-12 成都鸣石峻致科技有限公司 一种高纵向分辨率的岩样测量系统及测量方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767122B (zh) * 2018-05-25 2022-06-11 宏達國際電子股份有限公司 模型建構方法、系統及非揮發性電腦可讀取記錄媒體
US20220130084A1 (en) * 2019-08-16 2022-04-28 GE Precision Healthcare LLC Systems and methods for medical image processing using deep neural network
US11341616B2 (en) * 2020-03-23 2022-05-24 Ge Precision Healthcare Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
US11408954B2 (en) * 2020-03-24 2022-08-09 GE Precision Healthcare LLC Systems and methods of reducing noise and artifacts in magnetic resonance imaging
US12026853B2 (en) * 2020-08-03 2024-07-02 The Board Of Trustees Of The Leland Stanford Junior University Deep learning based denoising and artifact reduction in cardiac CT cine imaging
TR202019736A2 (tr) * 2020-12-04 2022-06-21 Aselsan Elektronik Sanayi Ve Ticaret As Tespi̇t uygulamalari i̇çi̇n gürültü önleme metodu
EP4095539A1 (en) * 2021-05-28 2022-11-30 Siemens Healthcare GmbH Task-specific training of a neural network algorithm for magnetic resonance imaging reconstruction and object detection
US11808832B2 (en) * 2021-06-10 2023-11-07 GE Precision Healthcare LLC System and method for deep learning-based generation of true contrast images utilizing synthetic magnetic resonance imaging data
KR102695351B1 (ko) * 2022-02-11 2024-08-13 연세대학교 산학협력단 희박 뷰 ct의 아티팩트를 제거하는 방법
WO2023224425A1 (en) * 2022-05-20 2023-11-23 Samsung Electronics Co., Ltd. Method and system for image artifact modification based on user interaction
EP4318015A1 (en) * 2022-08-01 2024-02-07 Koninklijke Philips N.V. Mri denoising using specified noise profiles
CN115345803A (zh) * 2022-10-19 2022-11-15 合肥视微科技有限公司 基于残差网络的ct断层图中环形伪影校正方法
CN116385280B (zh) * 2023-01-09 2024-01-23 爱芯元智半导体(上海)有限公司 一种图像降噪系统、方法及降噪神经网络训练方法
CN116385307B (zh) * 2023-04-11 2024-05-03 衡阳市欣嘉传媒有限公司 画面信息滤波效果鉴定系统
CN116843788B (zh) * 2023-08-31 2023-11-28 清华大学 一种有限角层析成像方法及装置
CN118552751A (zh) * 2024-06-03 2024-08-27 南京佘钦生物科技有限公司 应用分时检测的监控优化系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290770A1 (en) * 2006-12-27 2009-11-26 The Johns Hopkins University Mri methods using diffusion tensor imaging techniques and mri systems embodying same
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05280958A (ja) * 1992-03-30 1993-10-29 Fuji Photo Film Co Ltd 欠陥検査装置
US5604610A (en) * 1994-11-03 1997-02-18 Eastman Kodak Company Transforming color signal values for use by a particular device
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US6266388B1 (en) * 1999-09-07 2001-07-24 General Electric Company Methods and apparatus for two-pass cone beam image reconstruction
US6507633B1 (en) * 2001-02-15 2003-01-14 The Regents Of The University Of Michigan Method for statistically reconstructing a polyenergetic X-ray computed tomography image and image reconstructor apparatus utilizing the method
US7444010B2 (en) * 2003-12-09 2008-10-28 General Electric Company Method and apparatus for the reduction of artifacts in computed tomography images
JP4454550B2 (ja) * 2005-07-29 2010-04-21 シャープ株式会社 画像処理装置及び不具合画像修正方法
WO2007046024A1 (en) * 2005-10-20 2007-04-26 Philips Intellectual Property & Standards Gmbh Automatic adaptive soft tissue thresholding for two-pass ct cone-beam artifact reduction
ATE509329T1 (de) * 2005-11-10 2011-05-15 Microsoft Corp Entdeckung biologischer merkmale unter verwendung zusammengesetzter bilder
JP5053604B2 (ja) * 2006-09-21 2012-10-17 株式会社東芝 医用画像処理装置
JP5244533B2 (ja) * 2008-10-15 2013-07-24 オリンパス株式会社 撮像装置
JP5610474B2 (ja) * 2010-08-26 2014-10-22 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理装置およびプログラム並びに画像診断装置
US8897527B2 (en) * 2011-06-07 2014-11-25 Varian Medical Systems, Inc. Motion-blurred imaging enhancement method and system
KR102153345B1 (ko) * 2013-05-30 2020-09-09 삼성전자주식회사 방사선 촬영 장치 및 방사선 촬영 장치의 제어 방법
US9619889B2 (en) * 2014-10-21 2017-04-11 General Electric Company Methods and systems for normalizing contrast across multiple acquisitions
JP7169094B2 (ja) * 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
US10977843B2 (en) * 2017-06-28 2021-04-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for determining parameters for medical image processing
WO2019173452A1 (en) * 2018-03-07 2019-09-12 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
EP3628230A1 (en) * 2018-09-27 2020-04-01 Koninklijke Philips N.V. X-ray imaging system with foreign object reduction
US11100684B2 (en) * 2019-07-11 2021-08-24 Canon Medical Systems Corporation Apparatus and method for artifact detection and correction using deep learning
US11257191B2 (en) * 2019-08-16 2022-02-22 GE Precision Healthcare LLC Systems and methods for deblurring medical images using deep neural network
CN111091603B (zh) * 2019-11-04 2023-04-07 深圳先进技术研究院 一种超声成像方法、装置、可读存储介质及终端设备
KR102342954B1 (ko) * 2019-12-03 2021-12-24 서울대학교산학협력단 인공지능 기반의 단층촬영 영상 인공음영 제거 방법 및 장치
CN111028179B (zh) * 2019-12-20 2023-04-28 浙江大华技术股份有限公司 一种条纹校正方法、装置、电子设备及存储介质
US11341616B2 (en) * 2020-03-23 2022-05-24 Ge Precision Healthcare Methods and system for selective removal of streak artifacts and noise from images using deep neural networks

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090290770A1 (en) * 2006-12-27 2009-11-26 The Johns Hopkins University Mri methods using diffusion tensor imaging techniques and mri systems embodying same
CN109978778A (zh) * 2019-03-06 2019-07-05 浙江工业大学 基于残差学习的卷积神经网络医学ct图像去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BJORN STEMKENS ET AL: "Deep residual learning of radial under sampling artefacts for real-time MR image guidance during radiotherapy", 《PROCEEDINGS OF THE 27TH INTERNATIONAL SOCIETY OF MAGNETIC RESONANCE IN MEDICINE ANNUAL MEETING & EXHIBITION》, 11 May 2019 (2019-05-11), pages 1 - 3 *
KAISER ZHANG ET AL: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 26, no. 7, 31 July 2017 (2017-07-31), pages 1 *
杜倩倩;强彦;李硕;杨晓棠;: "基于空洞U-Net神经网络的PET图像重建算法", 太原理工大学学报, no. 02, 15 March 2020 (2020-03-15), pages 190 - 197 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117388305A (zh) * 2023-10-12 2024-01-12 成都鸣石峻致科技有限公司 一种高纵向分辨率的岩样测量系统及测量方法

Also Published As

Publication number Publication date
US20210295474A1 (en) 2021-09-23
US20220237748A1 (en) 2022-07-28
US11341616B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
CN113436290A (zh) 用于使用深度神经网络从图像中选择性地去除条纹伪影和噪声的方法和系统
US11783451B2 (en) Systems and methods for reducing colored noise in medical images using deep neural network
US10859657B2 (en) MRI reconstruction using deep learning, generative adversarial network and acquisition signal model
CN107610193B (zh) 使用深度生成式机器学习模型的图像校正
CN111081354B (zh) 用于通过深度学习网络对医疗图像进行去噪的系统和方法
US11422217B2 (en) Progressive generative adversarial network in medical image reconstruction
US11257191B2 (en) Systems and methods for deblurring medical images using deep neural network
US12032048B2 (en) Machine learning for simultaneously optimizing an under-sampling pattern and a corresponding reconstruction model in compressive sensing
CN111989039A (zh) 使用深度学习改进磁共振成像的系统和方法
EP3695382A1 (en) Image generation using machine learning
US20220130084A1 (en) Systems and methods for medical image processing using deep neural network
US11748921B2 (en) Learnable extrapolation for deep learning-based medical image reconstruction
US12067652B2 (en) Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations
Yang et al. Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives
Cui et al. Motion artifact reduction for magnetic resonance imaging with deep learning and k-space analysis
Belov et al. Towards ultrafast MRI via extreme k-space undersampling and superresolution
CN112825271B (zh) 使用深度神经网络和测量数据的递归抽取来重建医疗图像的系统和方法
US20230380714A1 (en) Method and system for low-field mri denoising with a deep complex-valued convolutional neural network
US12125175B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
Kumar et al. Fractional Sailfish Optimizer with Deep Convolution Neural Network for Compressive Sensing Based Magnetic Resonance Image Reconstruction
US12013451B2 (en) Noise adaptive data consistency in deep learning image reconstruction via norm ball projection
US20240362835A1 (en) Quasi-newton mri deep learning reconstruction
US20240221117A1 (en) Systems and methods for image processing
Miller Methods for Reducing 3D Non-Cartesian Reconstruction Time
WO2023186609A1 (en) Deep learning based denoising of mr images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination