CN111492406B - 训练机器学习算法的方法、图像处理系统和图像重建方法 - Google Patents

训练机器学习算法的方法、图像处理系统和图像重建方法 Download PDF

Info

Publication number
CN111492406B
CN111492406B CN201880065450.5A CN201880065450A CN111492406B CN 111492406 B CN111492406 B CN 111492406B CN 201880065450 A CN201880065450 A CN 201880065450A CN 111492406 B CN111492406 B CN 111492406B
Authority
CN
China
Prior art keywords
algorithm
image
reconstruction
algorithms
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065450.5A
Other languages
English (en)
Other versions
CN111492406A (zh
Inventor
琼-巴普蒂斯特·蒂博
萨梅什·斯利瓦斯塔瓦
谢江
查尔斯·A·布曼
叶东
肯·萨奥尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
University of Notre Dame
Purdue Research Foundation
Original Assignee
General Electric Co
University of Notre Dame
Purdue Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co, University of Notre Dame , Purdue Research Foundation filed Critical General Electric Co
Publication of CN111492406A publication Critical patent/CN111492406A/zh
Application granted granted Critical
Publication of CN111492406B publication Critical patent/CN111492406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/419—Imaging computed tomograph
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/421—Filtered back projection [FBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/424—Iterative

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明的方法涉及用于图像生成的机器学习算法的训练和这种经训练的算法用于图像生成的用途。训练机器学习算法可涉及使用由单组断层摄影投影或图像数据(诸如简单重建和计算密集型重建)产生的多个图像，其中一个图像是显示最终结果所需特征的目标图像。经训练的机器学习算法可用于从使用计算密集型较少的算法生成的输入图像生成对应于计算密集型算法的最终图像。

Description

训练机器学习算法的方法、图像处理系统和图像重建方法
背景技术
本文公开的主题涉及断层摄影重建，并且具体地涉及使用深度学习技术将数据(诸如投影或其他扫描类型数据)重建为诊断上或临床上有用的图像，包括横截面图像和/或体积表示。
非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。这种非侵入性成像技术依赖于各种物理原理(诸如X射线的穿过目标体积的差分透射、体积内的声波反射、体积内的不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以获取数据和构建图像或以其他方式表示患者/对象的观察到的内部特征。
重建算法都经受各种折衷，诸如在计算效率、患者剂量、扫描速度、图像质量和伪影之间的折衷。例如，常规重建技术通常使用重建算法，该重建算法可以被表征为直接重建(其执行显式反转步骤)或基于优化的重建(其迭代地优化成本函数)。直接重建方法是相对快的，但是缺乏抑制噪声和某些伪影的有效方法。基于优化的重建方法提供了改进的降噪，并且可以在不易分析上反转的正向模型中结合物理效应。此类方法在总体图像质量和伪影减少方面可显著优于直接重建方法，但在计算上相对昂贵。
以举例的方式，基于优化的重建的一种类型是基于模型的图像重建(MBIR)，其为相对于常规背投影技术(例如，常规直接重建方法)降低噪声水平和改善图像细节分辨率的迭代方法。MBIR将一组数据的单次遍历转换替换为对图像估计的计算，该计算受迭代地应用的算法优化的约束。完整的MBIR优于常规的背投影，但也优于其他简化的统计图像估计方法(例如，ASiR，AIDR，SAFIRE和其他统计迭代技术)，只要其以尽可能准确的方式对扫描系统，采集物理学，数据统计和要重建的对象进行建模，以产生最佳的可用图像重建结果。
然而，相对于更简单的技术，用MBIR提出的优化问题的解决对反转过程施加了巨大的计算成本。迭代方法在每个周期中反复地优化图像估计的现有估计，以某种形式计算由前向投影运算符所建模的前向投影和后投影，这在计算上以及在所需的硬件方面可能是昂贵的。
发明内容
在一个实施方案中，提供了一种用于训练机器学习算法的方法。根据该方法，访问使用断层摄影系统采集的投影数据或图像数据。生成多个图像对。每个图像对包括使用第一算法生成的第一图像和使用第二算法生成的第二图像。对于每个相应的图像对，将第一算法和第二算法应用于相同的投影数据或图像数据。机器学习算法使用多个图像对进行训练以模拟第二算法的特征。
在另一个实施方案中，提供一种图像处理系统。根据该实施方案，图像处理系统包括：存储器，该存储器存储一个或多个处理器可执行例程；和处理部件，所述处理部件被配置为与存储器通信并且执行所述一个或多个处理器可执行例程。一个或多个处理器可执行例程在被执行时使得处理器：通过将第一算法应用于一组断层摄影扫描数据来生成第一图像或从存储介质访问第一图像；以及提供第一图像作为机器学习算法的输入，所述机器学习算法被训练成生成对应于将第二算法应用于所述一组断层摄影扫描数据的输出图像。
在另一个实施方案中，提供了用于图像重建的方法。根据该方法，第一图像通过将第一算法应用于一组断层摄影扫描数据或从存储介质访问第一图像来生成。提供第一图像作为机器学习算法的输入，所述机器学习算法被训练成生成对应于将第二算法应用于所述一组断层摄影扫描数据的输出图像。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1示出了根据本公开的方面的呈人工神经网络形式的机器学习具体实施的实例；
图2是描绘了根据本公开的各方面的计算机断层摄影(CT)成像系统的部件的框图；
图3示出了根据本公开的各方面的重建图像的网络架构；
图4示出了根据本公开的各方面的训练图像对；
图5示出了根据本公开的方面的目标图像，输入图像和输出图像的第一示例；
图6示出了根据本公开的方面的目标图像，输入图像和输出图像的第二示例；并且
图7示出了根据本公开的方面的目标图像，输入图像和输出图像的第三示例。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
虽然在医学成像的背景中提供以下讨论的各方面，但是应当理解，本技术不限于这样的医学背景。实际上，在此类医学背景中提供示例和解释仅是为了通过提供现实具体实施和应用的实例来便于进行解释。然而，本方法也可以用于其他背景中，诸如用于在制成件或制成品的非破坏性检查(即，质量控制或质量审核应用)和/或包裹、箱盒、行李等的非侵入性检查(即，安检或筛检应用)中使用的工业计算机断层摄影(CT)的断层摄影图像重建。一般来讲，本方法可以是在任何成像或筛检背景或图像处理领域中有用的，其中一组或一类获取数据经历重建过程以生成图像或体积。
此外，虽然以下讨论集中于标准图像或图像体积，但是应当理解，同一方法也可以应用于对应于扫描的不同方面的各组图像或图像体积。例如，光谱CT产生一组图像，包括在不同的能量下的单色图像以及基础材料分解图像。或者，又如，动态CT或PET在不同的时间点上产生一组图像。本发明可以应用于这些组或类型的时间偏移的图像。
此外，尽管本文主要地提供CT和C臂示例，但是应当理解，本方法可以用于其中采用断层摄影重建过程的其他成像模态背景中。例如，当前描述的方法也可以用于由其他类型的断层摄影扫描仪(包括但不限于正电子发射断层摄影(PET)扫描仪、单光子发射计算机断层摄影(SPECT)扫描仪和/或磁共振成像(MRI)扫描仪)获取的数据。
以举例的方式，若干成像模态，诸如X射线CT(例如，多层面CT)和X射线C臂系统(例如，锥束CT)，测量被扫描的对象或患者的投影，其中取决于技术，投影对应于Radon变换数据、扇束变换数据、锥束变换数据或非均匀傅里叶变换。在其他背景下，扫描数据可以是响应于磁场和RF脉冲而生成的发射型数据(例如，PET或SPECT数据)或磁共振数据(例如，MRI数据)。断层摄影重建算法和相关校正和校准算法(例如，部分体积校正、噪声抑制、束硬化伪影校正、X射线源/检测器光谱校准、低信号校正、散射校正、运动校正、截断校正、MR白像素校正、MR场不均匀性伪影校正等)结合这些成像模态用来从原始测量值生成有用横截面图像或体积图像。
常规重建技术通常使用重建算法，该重建算法可以被表征为直接重建(其执行显式反转步骤)或基于优化的重建(其迭代地优化成本函数)。直接重建方法是相对快的，但是缺乏抑制噪声和某些伪影的有效方法。基于优化的重建方法提供了改进的降噪，并且可以在不易分析上反转的正向模型中结合物理效应，但是这种方法是相对计算上昂贵的。
以举例的方式，基于模型的图像重建(MBIR)技术是基于优化的方法，与常规背投影技术(即，直接重建)相比，提供了降低噪声水平和改善图像细节分辨率。MBIR根据优化公式将一组数据y的单次遍历转换替换为图像估计x的迭代计算：
(1)中F是模拟扫描仪在系统参数化下通过矢量θ进行的图像x的转换的正向投影运算符，并且S是鼓励图像特征诸如作为概率图像模型的一部分的局部平滑度的惩罚函数。任意的系统几何形状可在F中建模，并且可在y和x的正向投影之间的误差的标准中包括变化的数据可靠性。
如可以理解的，解决MBIR所造成的优化问题给反转过程带来了巨大的计算成本。具体地讲，迭代方法在每个周期中反复地优化x的现有估计，以某种形式计算由运算符F建模的正向和反向投影，这为这种重建过程提供了大量的计算费用。
MBIR在本文中被提供为计算密集型过程的示例，该过程可以是以更直接和计算方式实用的方式用于仿真的合适的目标重建算法。可模拟其效应的计算密集型算法的其他实例包括但不限于应用算法以实现一个或多个或金属伪影减少，施加低信号伪影减小或束硬化伪影减小，散射校正，图像纹理优化，稀疏重建，以及通常证明在计算上具有挑战性的其他技术。因此，尽管讨论MBIR以有利于在真实世界示例的上下文中进行解释，但应当理解，本发明的方法可应用于任何合适的计算密集型目标算法。具体地讲，应当理解，本文所讨论的有利于解释的某些实例涉及图像重建(例如，从投影或其他采集数据重建图像或体积)。然而，本发明的方法应更广泛地理解为不仅包括重建图像的生成，而且还包括通常可被理解为应用计算密集型算法(诸如伪影校正算法)的任何图像生成，上文提供了这些算法的示例。即，本发明的方法一般可被理解为不仅包括来自采集数据的图像重建，所述采集数据具有比所执行的更复杂的目标算法的外观，而且还包括生成具有使用计算密集型算法(例如，伪影或噪声减小算法)生成的外观的图像，尽管此类算法尚未实现。
考虑到这一点，本发明的方法涉及使用机器学习来提供具有所需图像质量特征的重建，所述特征通常使用计算密集型算法获得，该算法具有显著降低的计算需求或开销。如本文所用，机器学习应理解为对应于一组算法，这些算法根据数据驱动预测的目的从样本数据集构建非线性统计模型。
以举例方式，本文描述的机器学习方法的一些实施方案利用神经网络作为用于生成断层摄影图像(诸如CT、PET、SPECT、C臂、相衬和MR图像)的重建过程的一部分。如本文所讨论的神经网络可以涵盖深度神经网络、完全地连接的网络、卷积神经网络(CNN)、感知器、自动编码器、回归网络、或其他学习网络架构。这些技术在本文中被称为机器学习或深度学习技术，但是可也特别地参考深度神经网络的使用来使用该术语，深度神经网络是具有多个层的神经网络。
如本文所讨论，深度学习技术(其也可以被称为深度机器学习、分级学习或深度结构化学习)是机器学习技术的分支，其采用数据的数学表示和人工神经网络来进行学习。以举例的方式，机器学习方法可以被表征为通过需要计算机硬件的密集型计算它们使用一个或多个算法来提取一类感兴趣的数据的高级抽象或对其进行建模。深度学习可以使用一个或多个处理层来完成，其中每个层通常对应于不同的级别的抽象概念，并且因此可能采用或利用初始数据的不同的方面或前一层的输出(即，层的分级结构或级联结构)作为给定层的过程或算法的目标。在图像处理或重建背景中，这可以被表征作为对应于数据中的不同的特征级别或分辨率的不同的层。
一般来讲，从一个表示空间到下一级表示空间的处理可以被认为是重建过程的一个“阶段”。重建的每个阶段可以通过单独的神经网络或通过一个较大神经网络的不同部分来执行。例如，如本文所讨论，单个深度学习网络可以覆盖重建过程中的所有阶段(例如，从初始输入(诸如正弦图)到输出图像(诸如重建图像))。另选地，一个或多个单独不同深度学习网络可以各自覆盖整个重建过程的仅一个阶段(或阶段子集)。
如本文所讨论，作为解决特定问题的深度学习过程的初始训练的一部分，可以采用具有深度学习过程的已知初始值(例如，输入图像、投影数据、发射数据、磁共振数据、分析或直接重建图像等)和最终输出(例如，迭代重建的断层摄影重建，残余或差异图像等)的已知或期望值的训练数据集。单个阶段的训练可以具有对应于一个表示空间的已知输入值和对应于下一级表示空间的已知输出值。以这种方式，深度学习算法可以(以监督或指导的方式或以无监督或无指导的方式)处理已知或训练数据集，直到看出初始数据与一个或多个期望输出之间的数学关系和/或看出和表征每个层的输入和输出之间的数学关系。类似地，可以采用单独验证数据集，其中初始和期望目标值是已知的，但是仅将初始值提供到受过训练的深度学习算法，然后将输出与深度学习算法的输出进行比较以检验先前训练和/或防止过度训练。
如本文所述，本发明的机器学习方法包括训练卷积神经网络以从直接(即，分析的或简化的)重建图像生成差异(即，残余)图像或迭代重建图像(例如，MBIR图像，和伪影校正的图像，或通常期望的图像)中的一者或两者，所述重建图像通常不是计算密集型地生成。即，机器学习方法用于通过分析重构的图像(诸如过滤后的背投影)来预测残余的或迭代的重建图像，而无需参考原始的正弦图(即投影)数据，并且所耗用的时间通常小于生成迭代重建所需的时间。与在断层投影环境中的其他训练方案不同，本发明的方法使用由单组断层摄影投影数据产生的多个图像来训练深度网络，其中一个图像是显示最终结果所需特征的目标图像。例如，可使用经滤波的后投影图像(即，输入图像)和从单组断层摄影投影数据(即，相同投影数据)重建的MBIR图像(即，目标图像)来完成训练。这样，训练机器学习算法以从用不同算法重建的图像(例如，滤波后投影或其他分析或直接重建算法)生成具有目标算法(例如，迭代重建算法)特征的图像。
这样，一旦完成适当的训练(如本文更详细地讨论)，在简单重建的输出上使用经训练的机器学习算法来模拟目标重建算法的特征，如MBIR，可提供多种有益效果。此类有益效果包括但不限于：以毫秒为单位生成MBIR质量重建，而不是分钟；相对于常规MBIR，产生更一致和悦人的图像纹理；和/或避免具有MBIR所特有的特征的伪影，诸如由于取样挑战或患者运动造成的图像降级。此外，本发明的机器学习方法可扩展到需要高级处理(诸如金属伪影减少，稀疏视图重建等)的除MBIR之外的其他算法或目标图像结果。
在更详细地讨论本发明方法之前，提供了可用于实现如本文所讨论的机器学习图像重建的人工神经网络的高级概述，以及可用于生成根据本发明方法重建的数据的成像系统的高级概述，以提供有用的上下文并引入相关术语。
考虑到这一点，图1示意性地描绘了人工神经网络50的示例，该人工神经网络可以被训练用于如本文所讨论的基于机器学习的图像重建。在该示例中，网络50是多层的，并且示为具有训练输入52和包括输入层54、隐藏层58A、58B等的多个层，以及输出层60和训练目标64。在该示例中，每个层由多个“神经元”或节点56组成。神经元56的数量可以在层之间是恒定的，或如图所示，可以在层与层之间改变。每个层的神经元56生成相应输出，该相应输出用作下一分层的神经元56的输入。在某些具体实施中，计算具有加入的偏差的输入的加权和以根据激活函数“激励”或“激活”层的每个相应神经元，诸如整流线性单元(ReLU)、S形函数、双曲正切函数，或以其他方式指定或编程。最后一层的输出构成网络输出60(例如，转换或残余图像)，其与目标图像64一起用于计算一些损失或误差函数62，损失或误差函数将被反向传播以指导网络训练。
损失函数或误差函数62测量网络输出60与训练目标64之间的差异。在某些具体实施中，损失函数可以是体素级别值或部分线积分值的均方误差(MSE)并且/或者可以解释涉及其他图像特征的差异，诸如图像梯度或其他图像统计值。另选地，损失函数62可以由与所讨论的特定任务相关联的其他度量(诸如softmax函数)来定义。
为了便于解释使用机器学习技术的本发明的断层摄影重建方法，本公开主要在CT或C臂系统的背景中讨论这些方法。然而，应当理解，以下讨论也可以适用于其他图像模态和系统，包括但不限于PET、SPECT、多光谱CT、相衬成像和MRI，以及非医学背景或其中采用断层摄影重建来重建图像的任何背景。
考虑到这一点，图2中描绘了成像系统110(即，扫描仪)的示例。在所描绘的示例中，成像系统110是CT成像系统，其被设计为围绕患者(或其他感兴趣的受检者或对象)以各种视图采集扫描数据(例如，X射线衰减数据)并适合于使用断层摄影重建技术执行图像重建。在图2所示的实施方案中，成像系统110包括邻近准直器114定位的X射线辐射源112。X射线源112可以是X射线管、分布式X射线源(诸如固态或热离子X射线源)或适合于采集医疗或其他图像的任何其他X射线辐射源。相反地，在PET或SPECT实施方案中，可以提供环形辐射检测器，并且使用放射性示踪剂作为辐射源。在MRI的情况下，测量值是傅里叶空间中的样本，并且可以作为神经网络的输入直接地应用，或可以首先在正弦图空间中转换为线积分。
在所描绘的示例中，准直器114对X射线束116进行成形或限制，该X射线束进入患者/对象118所定位的区域。在所描绘的示例中，X射线116被准直为穿过成像体积的锥形束，即锥束。X射线辐射120的一部分通过患者/对象118(或其他感兴趣的受检者)或穿过其周围并撞击检测器阵列(通常以附图标记122表示)。该阵列的检测器元件产生表示入射X射线120的强度的电信号。采集并处理这些信号以重建患者/对象118体内的特征的图像。
源112由系统控制器124控制，该系统控制器提供用于CT检查序列的功率和控制信号两者，包括采集二维定位器或用于识别患者/对象体内的感兴趣的解剖结构的侦察图像以用于后续扫描方案。在所描绘的实施方案中，系统控制器124经由X射线控制器126控制源112，该X射线控制器可以是系统控制器124的部件。在此类实施方案中，X射线控制器126可以被配置为向X射线源112提供功率和定时信号。
此外，检测器122耦接到系统控制器124，该系统控制器控制检测器122中生成的信号的采集。在所描绘的实施方案中，系统控制器124使用数据采集系统128采集由检测器生成的信号。数据采集系统128接收由检测器122的读出电子器件收集的数据。数据采集系统128可以从检测器122接收经采样的模拟信号，并且将数据转换为数字信号，以便由下面讨论的处理器130进行后续处理。另选地，在其他实施方案中，数字-模拟转换可以由设置在检测器122自身上的电路执行。系统控制器124还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如用于动态范围的初始调整、数字图像数据交错等。
在图2所示的实施方案中，系统控制器124耦接到旋转子系统132和线性定位子系统134。旋转子系统132使X射线源112、准直器114和检测器122能够围绕患者/对象118旋转一圈或多圈，诸如围绕患者主要在x、y平面中旋转。应当指出的是，旋转子系统132可以包括机架或C臂，相应的X射线发射和检测部件设置在该机架或C臂上。因此，在此类实施方案中，系统控制器124可以用于操作机架或C臂。
线性定位子系统134可以使患者/对象118或更具体地支撑患者的工作台能够在CT系统110的孔内移位，诸如相对于机架的旋转在z方向上移位。因此，工作台可以在机架内线性移动(以连续或逐步的方式)以生成患者118的特定区域的图像。在所描绘的实施方案中，系统控制器124经由马达控制器136控制旋转子系统132和/或线性定位子系统134的移动。
一般来讲，系统控制器124命令成像系统110的操作(诸如经由源112、检测器122和上述定位系统的操作)以执行检查方案并处理所采集的数据。例如，系统控制器124经由上述系统和控制器可以使支撑源112和检测器122的机架围绕感兴趣的受检者旋转，使得可以以相对于受检者的一个或多个视图获得X射线衰减数据。在本背景中，系统控制器124还可以包括信号处理电路、用于存储由计算机执行的程序和例程的相关联的存储器电路(诸如用于执行本文所述的断层摄影重建技术的例程)，以及配置参数、图像数据等。
在所描绘的实施方案中，由系统控制器124获取和处理的图像信号被提供给处理部件130，以用于根据当前公开的算法重建图像。处理部件130可以是一个或多个通用或专用微处理器。由数据采集系统128采集的数据可以直接地传输到处理部件130，或在存储在存储器138中之后传输。适合于存储数据的任何类型的存储器都可以由此类示例性系统110利用。例如，存储器138可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器138可以位于采集系统站点处和/或可以包括用于存储用于断层摄影图像重建的数据、处理参数和/或例程的远程存储设备，如下所述。
处理部件130可以被配置为经由操作员工作站140从操作员接收命令和扫描参数，操作员工作站140通常被配备有键盘和/或其他输入设备。操作员可以经由操作员工作站140控制系统110。因此，操作员可以使用操作员工作站140观察重建图像和/或以其他方式操作系统110。例如，耦接到操作员工作站140的显示器142可以用于观察重建图像并控制成像。另外，图像也可以由打印机144打印，该打印机144可以耦接到操作员工作站140。
此外，处理部件130和操作员工作站140可以耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路。可在系统中进一步链接一个或多个操作员工作站140，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。
还应注意，操作员工作站140还可以耦接到图片存档和通信系统(PACS)146。PACS146继而可以耦接到远程客户端148、放射科信息系统(RIS)、医院信息系统(HIS)、或内部网络或外部网络，使得不同位置的其他人可以访问原始或经处理的图像数据。
虽然前述讨论已经分别处理了成像系统110的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理部件130、存储器138和操作员工作站140可以被共同地提供为通用或专用计算机或工作站，其被配置为根据本公开的方面进行操作。在这样的实施方案中，通用或专用计算机可以相对于系统110的数据采集部件被提供作为单独部件，或可以在具有这样的部件的公共平台中提供。同样地，系统控制器124可以提供作为此类计算机或工作站的一部分，或提供作为专用于图像采集的单独系统的一部分。
图2的系统可以用于采集关于患者的感兴趣的区域的各种视图的X射线投影数据(或其他模态的其他扫描数据)，以使用扫描数据重建成像区域的图像。由诸如成像系统110的系统采集的投影(或其他)数据可以如本文所讨论的那样被重建以执行断层摄影重建。特别地，本方法利用机器学习技术来对图像进行断层摄影重建。
考虑到前述内容，本发明的方法采用机器或深度学习技术将使用不是计算密集型的例程生成的对象的断层摄影图像变换成与使用计算密集型的目标重建算法在相同扫描日期获得的图像等同的图像。
深度学习网络50专门由从对象的同一组断层摄影扫描数据重建的图像对(或更高数量的图像)来训练。在一个实例中，使用由相同扫描数据生成的过滤后投影(FBP)和MBIR重建来训练卷积神经网络(CNN)。训练神经网络50生成将使用分析或直接重建方法重建的第一图像(例如，FBP)映射至对应于基于迭代的重建(例如，MBIR图像)的第二图像的函数。然后可将经训练的神经网络50施加到使用分析重建方法生成的任何图像，以产生迭代重建等效图像。然而，迭代重建等效图像的生成速度可快于真实迭代重建的图像，该图像可由相同的断层摄影扫描数据直接重建，和/或具有更好的总体特征，诸如纹理，伪影等，因为输出由初始的被分析重建的图像调节。如可以理解的，本发明的方法可在FBP和MBIR之外被广义化为处理的输出的任何期望的目标行为，其具有相对于被馈送至受训练的网络50的第一图像的有益效果。
如本文所述，可与本发明方法相关的训练机器学习或深度神经网络的某些方面包括残余学习，卷积神经网络和批归一化。这些概念有助于深入学习网络的有效训练，并且目前讨论这些概念以提供本发明方法的背景。
关于残余学习，该方面涉及神经网络的深度(即，层数)与网络在深度学习方面的性能之间的关系，其中更深的深度通常与更大的性能相关联。然而，由于各种原因，训练非常深度的神经网络可能具有挑战性。如本文所讨论的残余学习是一种可能更适用于神经网络训练的方法，其中由网络50学习残余函数而不是学习未引用的目标函数。
以举例的方式，假设获得了嘈杂的观察y＝x+v结果。常规的深度学习方法可尝试寻找潜在目标图像F(y)＝x的非线性映射。但是，在残余学习上下文中，会找到残差映射R(y)＝v,x≈y-R(y)。然后可优化以下代价函数以估计给定训练数据集的深度神经网络中的权重参数。
(2)利用残余学习方法，可绕过图像的低频部分，并且网络仅学习高频特征，从而减小学习问题的维度。与使用复杂网络架构(诸如身份快捷方式)重建原始图像的常规残余学习方法不同，使用本发明的机器学习方法，可使用直接优化通过应用经训练的神经网络来预测残余图像。
就卷积神经网络(CNN)而言，在一个具体实施中，上述映射函数R可由多个卷积和神经元激活层58组成。在每个层58中，激活函数f通过卷积求得：
(3)g＝f(Wy+b)
其中W是卷积矩阵并且b是神经激活中的偏差。在常规方法中，激活函数模型是S形(例如f(a)-(1+e-A)-1)，其在优化非常深度的神经网络中可能易受消失梯度问题的影响。考虑到这一点，在某些具体实施中，使用整流线性单元(ReLU)，其中：
(4)f(a)＝max(0,a)。
由于使用ReLU在神经元激活中保留正输入，因此可避免神经网络的许多层中的消失梯度。
在批量标准化方面，由于高效的训练，通常使用微型批量随机梯度下降来优化深度学习的代价函数。然而，内部协变量移位问题(例如，每个神经激活的内部输入的分布变化)可减缓此类方法中优化的收敛速度。根据某些具体实施，采用批处理归一化来解决内部协变量偏移问题并允许更快速的训练。
具体地讲，在卷积和神经元激活层之间添加附加层。附加层结合了神经元激活层的内部输入的平均值和方差的归一化步骤。根据该方法，需要估计每个层的两个附加参数(对应于平均值和方差)，但微型批量随机梯度下降的收敛速度显著加快。
考虑到前述内容，本发明的方法并入了残差学习、卷积神经网络和/或批归一化中的一者或多者，以实施深度学习网络或其他合适的机器学习方法，该方法被配置为接收或处理与分析或直接重建(例如，FBP重建)相对应的输入图像以及输出对与使用迭代重建算法(例如，MBIR重建)重建相同基本扫描数据生成的图像相对应的图像，和/或对应于分析或直接重建以及此类迭代重建之间的残差或差异的图像。
以举例的方式，并转到图3，示出了用于实施该方法的网络架构180。网络架构将直接直接或分析重构的图像182接收作为输入。在所示的示例中，示出了三个不同的网络单元或方面。在第一单元(由参考数字184表示)中，提供了64个3×3卷积核的滤波器，其后是整流线性单元(ReLU)。在第二单元(由参考数字186表示)中，提供了具有批归一化和ReLU的64个3×3×64核的滤波器。将第二单元186重复多次(诸如十五次)以创建深度神经网络。最后，在第13个单元(以引用号190表示)处，用3x3x64核的1个滤波器去卷积重构最终图像，这里是残余图像200。如上所述，此类残余图像200可对应于由扫描数据的分析重建(例如，FBP)创建的输入图像182和将由相同扫描数据的迭代重建(例如，MBIR)产生的图像之间的差异。可以指出的是，残余图像200是从输入图像182直接预测或估计的，而不是来自扫描数据本身的重建。
如可以理解的，使用具有多个层的卷积神经网络，是可扩展至机器学习算法的其他合适设计的例子，该卷积神经网络使用残余学习并包括卷积层，整流线性单元和批归一化。
考虑到前述内容，提供了以下实例以有利于解释训练和使用本发明的方法。在一个实例中，对深度神经网络进行训练，以了解由同一组断层摄影心脏数据产生的FBP型与MBIR型重建之间的关系。图4示出了具有FBP图像220和MBIR图像222的训练数据集的示例。在该实例中，从相同投影数据重建两个体积(FBP类型：自适应统计迭代重建(ASIR)-V 70％和MBIR类型：VEO)。每个体积由256片512x512图像组成，其中一个图像被示出。可以指出的是，并且可在所示的实例中观察到，当在低剂量下采集断层摄影数据时，FBP易于受到噪声纹理的影响，尤其是在软组织内，而MBIR在改善空间分辨率的同时大大降低相对于FBP的噪声。在该示例中，在具有条纹20和随机排列的图像对中提取40×40像素补丁以创建训练数据库。然后使用训练数据来训练如本文所讨论的神经网络。
可使用经训练的深度网络来去除噪声并改善由其他组断层摄影心脏扫描数据生成的FBP型图像。以举例的方式，图5-图7示出了使用FBP图像220的深度学习处理模拟目标MBIR图像222的外观和感受的图像结果，其中使用残余图像(诸如通过从FBP图像220中减去残余图像或噪声图像)来处理FBP图像220，以生成对应于从原始投影数据重建的MBIR图像的去噪图像230。然后可显示输出图像以供临床医生查看。
为便于参考，将目标(即，地面实貌)MBIR重建图像222连同未处理的FBP图像220一起显示。对于图5-图7所示的所有三个实例，深度学习结果显示图像质量的改善，产生如MBIR的图像质量，其中软组织中的噪声减小并且围绕特征边界的空间分辨率增强。定量地，与标准FBP相比，达到峰值信号与噪声比(PSNR)的约1dB增加和结构相似性(SSIM)的10％增加。在原型实施中，在基于GPU的具体实施中以大约10ms/切片生成这些结果。相比之下，在先进的实用计算平台上重建目标MBIR图像本身需要几分钟。
如可以理解的，FBP型和MBIR型图像在本文中仅作为合适的实例来讨论，但从同一组断层摄影扫描数据生成的图像的任何组合可得益于本发明的方法。例如，一般来讲，本发明的方法可适用于以下情况，其中第一图像是从一般简单或直接重建生成的，并且第二(或目标)图像包括与第一图像中所看到的不同的所需特征(例如，缺乏噪声，期望的纹理等)，并且通常通过相同的基本数据的不同重构或另外的处理步骤来实现。以举例的方式，如本文所用，FBP型图像可指简单的FBP，或自适应统计迭代重建(ASiR)或ASiR-V重建。类似地，目标图像可以是表现出MBIR/Veo在FBP之上提供的传统降噪和分辨率改善的图像。类似地，目标图像可以是ASiR-V或具有良好纹理特征的一些其他图像。
如可以理解的，除了作为上文实例提供的那些之外，本发明的概念可被广义地涵盖其他基本图像上下文和目标图像上下文。例如，本发明的方法可包括生成表现出伪影校正的目标图像，诸如其中第一图像是具有金属伪影的FBP图像，并且目标图像是应用专用金属伪影(MAR)算法的相同图像。类似地，本发明的方法可包括对运动伪影的校正，诸如其中第一图像是具有运动伪影的FBP图像，并且目标图像是应用运动校正算法的相同图像。同样，本发明的方法可用于解决截短的数据集问题或伪影，诸如通过采用第一图像，该第一图像是从截短的数据集生成的FBP，其中目标图像是应用扩展视野算法的相同重构。相似地，第一图像可以是一组有限角度投影的FBP，并且目标图像可对应于同一数据集的稀疏视图重建。因此，从这些实例中可以理解，本发明的方法适用于以下情况：第一图像或输入图像是通过简单或直接重建扫描数据集而生成的，并且目标图像对应于将使用相同扫描数据获得的更多的计算密集型重建或校正，但这可使用经训练的神经网络以基本上较少的时间和/或较少的计算成本来实现。然后可显示以此方式生成的图像以供查看。如本文所示，经训练的图像对可包括使用简单重建和计算密集型重建生成以及由相同扫描数据生成的图像。
还应当理解，本发明的方法可被扩展以允许对指定图像区域进行差分处理或对待。例如，可识别不同类型的组织或成分(例如，骨，对照物，软组织等)并使用不同的神经网络进行处理，或者一些区域可经受经训练的神经网络的进一步处理，而其他区域不接收此类处理。例如，在一个具体实施中，可将被识别或分段为骨区域的图像区域用经训练以对应于骨专用目标算法的骨专用神经网络进行处理，诸如其中高分辨率为目标的目标算法。在这种方法中，可采用具有骨内核目标图像的FBP。类似地，可利用被训练为对应于软组织专用目标算法的软组织专用神经网络(诸如其中用于纹理的低噪声或一些目标噪声功率谱(NPS)为目标的图像区域，诸如被识别或分段为软组织的图像区域)来处理图像区域。在此类方法中，可使用具有软或标准内核目标图像的FBP。
在该扩展的一个具体实施中，对于给定的目标模型(例如，组织类型)，存在相应的深度学习网络(例如，CNN)，并且对于另一个目标模型，将存在不同的深度学习网络。在此类方法中，算法可确定给定区域或图像补丁(二维(2D)补丁或三维(3D补丁)对应的组织类型(或者另选地，可将单独生成的分段信息提供给训练和处理)。可将各种组织类型模型和处理合并到单个大型深度学习网络中，以处理图像并生成针对不同区域类型或器官的不同目标结果。
本发明的技术效果包括使用由单组断层摄影投影数据(诸如简单重建和计算密集型重建)产生的多个图像来训练机器学习算法或神经网络，其中一个图像是显示最终结果所需特征的目标图像。这与先前的方法形成对比，其中使用来自至少两个不同断层摄影采集的图像对，而不是单一采集。技术效果还包括使用经训练的神经网络从使用直接或分析重建生成的输入图像生成对应于计算密集型重建的最终图像。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种用于训练机器学习算法的方法，包括：
访问使用断层摄影系统采集的投影数据或图像数据；
生成多个图像对，其中每个图像对包括使用第一算法生成的第一重建图像和使用第二算法生成的第二重建图像，其中对于每个相应的图像对，将所述第一算法和所述第二算法应用于相同的投影数据或图像数据，且其中所述第一算法不同于所述第二算法；以及使用所述多个图像对训练所述机器学习算法以模拟所述第二算法的特征。
2.根据权利要求1所述的方法，其中所述第二算法包括比所述第一算法计算更密集的目标算法。
3.根据权利要求1所述的方法，还包括：
使用经训练的机器学习算法来处理使用所述第一算法生成的图像以生成输出图像，所述输出图像具有类似于使用所述第二算法生成的图像的优质质量特征。
4.根据权利要求1所述的方法，其中所述投影数据或图像数据包括计算机断层摄影(CT)投影数据，所述第一算法为第一CT重建算法，并且所述第二算法为第二CT重建算法。
5.根据权利要求1所述的方法，其中所述第一算法包括分析重建算法，并且所述第二算法包括统计重建算法。
6.根据权利要求1所述的方法，其中所述第一算法包括图像重建算法或图像生成算法，并且所述第二算法包括校正算法。
7.根据权利要求6所述的方法，其中所述校正算法包括以下项中的一者或多者：伪影校正或减少算法、降噪算法、金属伪影减少算法、束硬化伪影减少算法、部分体积校正算法、低信号校正算法、运动校正算法、截断校正算法、白色像素校正算法、散射校正算法、图像纹理优化算法、稀疏重建校正算法或光谱校准算法。
8.根据权利要求1所述的方法，其中所述机器学习算法包括神经网络，所述神经网络被配置为采用以下项中的一者或多者：残余学习、卷积层、整流线性单元或批归一化。
9.根据权利要求1所述的方法，还包括：
将每个第一重建图像和第二重建图像分解成二维(2D)补丁集或三维(3D)补丁集，其中基于所述补丁的特征从每对补丁训练所述机器学习算法以模拟所述第二算法。
10.一种图像处理系统，包括：
存储器，所述存储器存储一个或多个处理器可执行例程；和
处理部件，所述处理部件被配置为与所述存储器通信并执行所述一个或多个处理器可执行例程，其中所述一个或多个处理器可执行例程在被执行时使得所述处理部件：
通过对一组断层摄影扫描数据应用第一算法生成第一重建图像或从存储介质访问所述第一重建图像；
以及提供所述第一重建图像作为机器学习算法的输入，所述机器学习算法被训练成生成对应于将第二算法应用于所述一组断层摄影扫描数据的输出图像，其中所述第一算法不同于所述第二算法。
11.根据权利要求10所述的图像处理系统，其中所述第二算法包括比所述第一算法计算更密集的目标算法。
12.根据权利要求10所述的图像处理系统，其中所述一组断层摄影扫描数据包括投影数据或重建的图像数据。
13.根据权利要求10所述的图像处理系统，其中所述第一算法包括图像重建算法或图像生成算法，并且所述第二算法包括校正算法。
14.根据权利要求13所述的图像处理系统，其中所述校正算法包括以下各项中的一者或多者：伪影校正或减少算法，降噪算法，金属伪影减少算法，束硬化伪影减少算法，部分体积校正算法，低信号校正算法，运动校正算法，截断校正算法，白色像素校正算法，散射校正算法，图像纹理优化算法，稀疏重建校正算法或光谱校准算法。
15.根据权利要求10所述的图像处理系统，其中训练所述机器学习算法以通过计算残余图像来生成所述输出图像，所述残余图像包括使用所述第一算法和所述第二算法从所述一组断层摄影扫描数据生成的图像之间将观察到的差异，以及用所述残余图像修改所述第一重建图像以生成所述输出图像。
16.根据权利要求10所述的图像处理系统，其中所述第一算法包括分析重建算法，并且所述第二算法包括统计重建算法。
17.一种图像重建方法，包括：
通过将第一算法应用于一组断层摄影扫描数据来生成第一重建图像或从存储介质访问所述第一重建图像；
以及提供所述第一重建图像作为机器学习算法的输入，所述机器学习算法被训练成生成对应于将第二算法应用于所述一组断层摄影扫描数据的输出图像，其中所述第一算法不同于所述第二算法。
18.根据权利要求17所述的图像重建方法，其中所述第二算法包括比所述第一算法计算更密集的目标算法。
19.根据权利要求17所述的图像重建方法，其中训练所述机器学习算法以通过计算残余图像来生成所述输出图像，所述残余图像包括使用所述第一算法和所述第二算法从所述一组断层摄影扫描数据生成的图像之间将观察到的差异，以及用所述残余图像修改所述第一重建图像以生成所述输出图像。
20.根据权利要求17所述的图像重建方法，其中所述第一算法包括分析重建算法，并且所述第二算法包括统计重建算法。
CN201880065450.5A 2017-10-11 2018-10-09 训练机器学习算法的方法、图像处理系统和图像重建方法 Active CN111492406B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/730,543 US11126914B2 (en) 2017-10-11 2017-10-11 Image generation using machine learning
US15/730,543 2017-10-11
PCT/US2018/054936 WO2019074879A1 (en) 2017-10-11 2018-10-09 GENERATING IMAGES USING MACHINE LEARNING

Publications (2)

Publication Number Publication Date
CN111492406A CN111492406A (zh) 2020-08-04
CN111492406B true CN111492406B (zh) 2023-12-22

Family

ID=64172572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065450.5A Active CN111492406B (zh) 2017-10-11 2018-10-09 训练机器学习算法的方法、图像处理系统和图像重建方法

Country Status (5)

Country Link
US (1) US11126914B2 (zh)
EP (1) EP3695382A1 (zh)
JP (1) JP7150837B2 (zh)
CN (1) CN111492406B (zh)
WO (1) WO2019074879A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111373448B (zh) * 2017-09-22 2023-12-08 尼维医疗公司 使用机器学习正则化器的图像重建
CN111448590B (zh) * 2017-09-28 2023-08-15 皇家飞利浦有限公司 基于深度学习的散射校正
DE102017219307B4 (de) * 2017-10-27 2019-07-11 Siemens Healthcare Gmbh Verfahren und System zur Kompensation von Bewegungsartefakten mittels maschinellen Lernens
US10698063B2 (en) * 2017-11-01 2020-06-30 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US10789738B2 (en) * 2017-11-03 2020-09-29 The University Of Chicago Method and apparatus to reduce artifacts in a computed-tomography (CT) image by iterative reconstruction (IR) using a cost function with a de-emphasis operator
US11120551B2 (en) * 2017-11-27 2021-09-14 Rensselaer Polytechnic Institute Training a CNN with pseudo ground truth for CT artifact reduction
WO2019128660A1 (zh) * 2017-12-29 2019-07-04 清华大学 训练神经网络的方法和设备、图像处理方法和设备以及存储介质
US11062489B2 (en) * 2018-02-13 2021-07-13 Wisconsin Alumni Research Foundation System and method for multi-architecture computed tomography pipeline
WO2019173452A1 (en) * 2018-03-07 2019-09-12 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
US10733788B2 (en) * 2018-03-15 2020-08-04 Siemens Healthcare Gmbh Deep reinforcement learning for recursive segmentation
EP3542721A1 (de) * 2018-03-23 2019-09-25 Siemens Healthcare GmbH Verfahren zur bearbeitung von parametern eines maschinenlernverfahrens sowie rekonstruktionsverfahren
JP6658795B2 (ja) * 2018-05-11 2020-03-04 セイコーエプソン株式会社 機械学習装置、撮影時期推定装置、機械学習プログラムおよび写真データの生産方法
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
US10937206B2 (en) * 2019-01-18 2021-03-02 Canon Medical Systems Corporation Deep-learning-based scatter estimation and correction for X-ray projection data and computer tomography (CT)
US10997690B2 (en) * 2019-01-18 2021-05-04 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
EP3725229A1 (en) * 2019-04-18 2020-10-21 DENTSPLY SIRONA Inc. Method of metal artefact reduction in x-ray dental volume tomography
WO2020219915A1 (en) * 2019-04-24 2020-10-29 University Of Virginia Patent Foundation Denoising magnetic resonance images using unsupervised deep convolutional neural networks
CN110063742B (zh) * 2019-04-30 2024-01-02 上海联影医疗科技股份有限公司 散射校正方法、装置、计算机设备和存储介质
KR102170176B1 (ko) * 2019-05-17 2020-10-26 충남대학교병원 가상 패치 생성 모델의 학습 방법, 및 이를 이용한 전산화단층촬영 영상 잡음 보정 장치 및 방법
US20220222846A1 (en) * 2019-05-20 2022-07-14 Sony Group Corporation Information processing apparatus, information processing method, and program
CN112133410A (zh) * 2019-06-25 2020-12-25 西门子医疗有限公司 使用机器学习的mri图像重建
BR112022003391A2 (pt) * 2019-08-23 2022-05-17 Subtle Medical Inc Sistemas e métodos para a tomografia precisa e rápida de emissão de positron utilizando o aprendizado pro-fundo
US11250545B2 (en) * 2019-09-09 2022-02-15 Siemens Medical Solutions Usa, Inc. Deep learning-based denoising in quantitative single photon emission computed tomography
WO2021120069A1 (zh) * 2019-12-18 2021-06-24 深圳先进技术研究院 基于解剖结构差异先验的低剂量图像重建方法和系统
US20210290191A1 (en) * 2020-03-18 2021-09-23 The Regents Of The University Of California Method and system for denoising ct images using a neural network
CN111627083B (zh) * 2020-05-26 2023-11-21 上海联影医疗科技股份有限公司 骨硬化伪影校正方法、装置、计算机设备和可读存储介质
CN112270127B (zh) * 2020-10-28 2023-10-20 西北工业大学深圳研究院 用于空间目标姿态测量网络的训练数据生成方法、计算机设备及存储介质
US11816832B2 (en) * 2020-11-18 2023-11-14 Canon Medical Systems Corporation Devices, systems, and methods for medical imaging
CN112381741B (zh) * 2020-11-24 2021-07-16 佛山读图科技有限公司 基于spect数据采样与噪声特性的断层图像重建方法
CN113034642B (zh) * 2021-03-30 2022-05-27 推想医疗科技股份有限公司 图像重建方法及装置、图像重建模型的训练方法及装置
EP4080459A1 (en) * 2021-04-23 2022-10-26 Koninklijke Philips N.V. Machine learning-based improvement in iterative image reconstruction
CN115423736A (zh) 2021-05-31 2022-12-02 通用电气精准医疗有限责任公司 成像系统及方法
US20230118546A1 (en) * 2021-10-19 2023-04-20 PaxeraHealth Corp High-definition labeling system for medical imaging AI algorithms
US20230165557A1 (en) * 2021-11-29 2023-06-01 GE Precision Healthcare LLC System and method for autonomous identification of heterogeneous phantom regions
US20230177747A1 (en) * 2021-12-06 2023-06-08 GE Precision Healthcare LLC Machine learning generation of low-noise and high structural conspicuity images

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007048797A1 (en) * 2005-10-25 2007-05-03 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
CN102982373A (zh) * 2012-12-31 2013-03-20 山东大学 一种混合svm回归算法的oin神经网络训练方法
CN102982485A (zh) * 2011-04-20 2013-03-20 通用电气公司 基于生物测定身份信息授权车辆的电池充电的方法和系统
CN103890781A (zh) * 2011-08-25 2014-06-25 康奈尔大学 用于机器视觉的视网膜编码器
CN105574828A (zh) * 2015-12-22 2016-05-11 沈阳东软医疗系统有限公司 图像散射校正方法、装置及设备
CN106037710A (zh) * 2014-11-24 2016-10-26 西门子公司 在医学成像中合成数据驱动的血液动力学测定
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107145893A (zh) * 2017-03-13 2017-09-08 中国矿业大学 一种基于卷积深度网络的图像识别算法及系统
CN107209945A (zh) * 2014-12-10 2017-09-26 皇家飞利浦有限公司 使用机器学习的用于医学成像的转化的系统和方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060210131A1 (en) * 2005-03-15 2006-09-21 Wheeler Frederick W Jr Tomographic computer aided diagnosis (CAD) with multiple reconstructions
US20130051516A1 (en) * 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
US8885903B2 (en) * 2011-11-16 2014-11-11 General Electric Company Method and apparatus for statistical iterative reconstruction
US20140003686A1 (en) * 2012-06-28 2014-01-02 Technologie Avanzate T.A. Srl Multimodality Image Segmentation of Volumetric Data Sets
US9332953B2 (en) * 2012-08-31 2016-05-10 The University Of Chicago Supervised machine learning technique for reduction of radiation dose in computed tomography imaging
RU2526752C1 (ru) * 2013-03-18 2014-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматического планирования двухмерных видов в объемных медицинских изображениях
WO2015014867A1 (en) * 2013-07-31 2015-02-05 Koninklijke Philips N.V. Iterative ct image reconstruction of a roi with objects outside the scan fov
US10610182B2 (en) * 2014-01-15 2020-04-07 Alara Systems, Inc Converting low-dose to higher dose 3D tomosynthesis images through machine-learning processes
US9524450B2 (en) * 2015-03-04 2016-12-20 Accenture Global Services Limited Digital image processing using convolutional neural networks
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
US9916669B2 (en) * 2015-08-24 2018-03-13 Analogic Corporation Projection data correction and computed tomography value computation
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
US20180018757A1 (en) * 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
DE102016215109A1 (de) * 2016-08-12 2018-02-15 Siemens Healthcare Gmbh Verfahren und Datenverarbeitungseinheit zum Optimieren eines Bildrekonstruktionsalgorithmus
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007048797A1 (en) * 2005-10-25 2007-05-03 Bracco Imaging S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
CN102982485A (zh) * 2011-04-20 2013-03-20 通用电气公司 基于生物测定身份信息授权车辆的电池充电的方法和系统
CN103890781A (zh) * 2011-08-25 2014-06-25 康奈尔大学 用于机器视觉的视网膜编码器
CN102982373A (zh) * 2012-12-31 2013-03-20 山东大学 一种混合svm回归算法的oin神经网络训练方法
CN106037710A (zh) * 2014-11-24 2016-10-26 西门子公司 在医学成像中合成数据驱动的血液动力学测定
CN107209945A (zh) * 2014-12-10 2017-09-26 皇家飞利浦有限公司 使用机器学习的用于医学成像的转化的系统和方法
CN105574828A (zh) * 2015-12-22 2016-05-11 沈阳东软医疗系统有限公司 图像散射校正方法、装置及设备
CN107145893A (zh) * 2017-03-13 2017-09-08 中国矿业大学 一种基于卷积深度网络的图像识别算法及系统
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GE WANG.A Perspective on Deep Imaging.《IEEE Access》.2016,全文. *
Subhamoy Manda.Visual Quality Enhancement in Optoacoustic Tomography Using Active Contour Segmentation Priors.《IEEE Transactions on Medical Imaging》.2016,全文. *
赵勇.基于通用距离测量的机器学习方法用于图像分类和聚类.《电子测量技术》.2017,全文. *

Also Published As

Publication number Publication date
JP7150837B2 (ja) 2022-10-11
CN111492406A (zh) 2020-08-04
US20190108441A1 (en) 2019-04-11
EP3695382A1 (en) 2020-08-19
WO2019074879A1 (en) 2019-04-18
JP2021502836A (ja) 2021-02-04
US11126914B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
CN111492406B (zh) 训练机器学习算法的方法、图像处理系统和图像重建方法
CN110462689B (zh) 基于深度学习的断层摄影重建
CN110807737B (zh) 迭代图像重建框架
US11039805B2 (en) Deep learning based estimation of data for use in tomographic reconstruction
EP3716214A1 (en) Medical image processing apparatus and method for acquiring training images
JP2020168352A (ja) 医用装置及びプログラム
US10628973B2 (en) Hierarchical tomographic reconstruction
JP2021013736A (ja) Ｘ線診断システム、画像処理装置及びプログラム
US10970885B2 (en) Iterative image reconstruction
Zhang et al. PET image reconstruction using a cascading back-projection neural network
Gao et al. Self-Absorption Correction in X-Ray Fluorescence-Computed Tomography With Deep Convolutional Neural Network
Xu Modeling and development of iterative reconstruction algorithms in emerging X-ray imaging technologies
US20220327750A1 (en) Medical image processing method, medical image processing apparatus, and computer readable non-volatile storage medium storing medical image processing program
Cong et al. Image Reconstruction from Sparse Low-Dose CT Data via Score Matching
Moilanen Denoising computed tomography images with 3D-convolution based neural networks
Yang Precise and Automated Tomographic Reconstruction with a Limited Number of Projections
Gao Multigrid reconstruction of micro-CT data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant