CN111739614A - 医学图像增强 - Google Patents

医学图像增强 Download PDF

Info

Publication number
CN111739614A
CN111739614A CN202010219091.3A CN202010219091A CN111739614A CN 111739614 A CN111739614 A CN 111739614A CN 202010219091 A CN202010219091 A CN 202010219091A CN 111739614 A CN111739614 A CN 111739614A
Authority
CN
China
Prior art keywords
medical image
view
initial
image
augmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010219091.3A
Other languages
English (en)
Inventor
S.雷奥恩加摩恩拉特
A.皮尤
L.M.伊图
T.曼西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN111739614A publication Critical patent/CN111739614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

提供了用于增强医学图像的系统和方法。接收具有初始视场的初始医学图像。使用经训练的机器学习模型生成具有扩展视场的扩充医学图像。所述扩展视场包括初始视场和扩充区域。输出所述扩充医学图像。

Description

医学图像增强
技术领域
本发明一般地涉及医学图像增强，并且更具体地涉及用于生成具有扩展视场的扩充医学图像的基于人工智能的系统和方法。
背景技术
通常，针对聚焦于患者的特定身体部分的特定医疗过程获取医学图像。所获取的这种医学图像具有描绘观察区域（诸如患者的特定身体部分）的初始视场。初始视场表示医学图像的观察区域的外周界内的区域。但是，这种医学图像的初始视场通常在范围上受到限制。
用于扩充图像的常规方案通常聚焦于图像完备化（即，图像修复），其中重构图像的初始视场内的一个或多个缺失部分。这种用于图像完备化的常规方案限于针对初始视场内的缺失部分生成成像数据，在初始视场中，缺失部分在所有侧均被先验成像数据包围。
发明内容
根据一个或多个实施例，提供了用于生成具有扩展视场的扩充医学成像的系统和方法，该扩展视场包括初始医学图像的初始视场和所述初始视场之外的扩充区域。提供这种扩展视场在许多使用情况中是有益的。例如，扩展视场将为临床医生提供有关初始医学图像中描绘的解剖结构的附加情境。在另一个示例中，扩展视场将改善医学成像分析算法（诸如例如，界标检测器和图像配准算法）的性能，所述医学成像分析算法被设计用于具有较大视场的图像。没有已知的常规方法用于提供描绘初始视场之外的扩充区域的扩展视场。
根据一个或多个实施例，提供了用于增强医学图像的系统和方法。接收具有初始视场的初始医学图像。使用经训练的机器学习模型生成具有扩展视场的扩充医学图像。扩展视场包括初始视场和扩充区域。输出扩充医学图像。
扩充医学图像的扩充区域可以包括直接包围初始医学图像的初始视场的区域。扩充医学图像可以是与初始医学图像的模态不同的模态。在一个实施例中，基于先前的初始医学图像和先前的扩充医学图像来生成所述扩充医学图像。
经训练的机器学习模型可以是经训练的生成式对抗网络。经训练的生成式对抗网络可以基于U-Net、情境编码器和变分自动编码器中的至少一个。在一个实施例中，可以使用另一经训练的机器学习模型来精炼所述扩充医学图像。
在一个实施例中，初始视场可以是X射线图像的高质量区域，并且扩展视场包括所述高质量区域和扩充区域。在另一个实施例中，初始医学图像包括解剖模型。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。
附图说明
图1示出了患者的示例性医学图像；
图2示出了根据一个或多个实施例的用于增强医学图像的说明性高级工作流；
图3示出了根据一个或多个实施例的用于实现图2中所示的工作流的方法；
图4示出了根据一个或多个实施例的用于使用来自先前时间点的信息来增强医学图像的高级工作流；
图5示出了根据一个或多个实施例的用于训练生成式对抗网络（GAN）以生成扩充医学图像的功能框图；
图6示出了根据一个或多个实施例的用于训练CycleGAN以生成扩充医学图像的功能框图；
图7示出了根据一个或多个实施例的用于训练Pix2Pix-GAN的网络架构；
图8示出了通过应用Pix2Pix-GAN而产生的图像与基础事实图像的比较，所述Pix2Pix-GAN利用根据本发明的实施例应用的情境编码器来实现；
图9示出了通过应用Pix2Pix-GAN而产生的图像与基础事实图像的比较，所述Pix2Pix-GAN利用根据本发明的实施例应用的U-Net架构来实现；和
图10示出了计算机的高级框图。
具体实施方式
本发明一般地涉及用于医学图像增强的系统和方法。本文描述了本发明的实施例以给出对这种系统和方法的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常在识别和操纵对象方面来描述对象的数字表示。这种操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，应理解，可以在计算机系统内使用存储在计算机系统内的数据来执行本发明的实施例。
此外，应当理解，尽管可以关于医学图像的增强来讨论本文中讨论的实施例，但是本发明不限于此。本发明的实施例可以应用于增强任何类型的图像。
图1示出了患者（或任何其他受试者）的初始DynaCT医学图像100。可以获取初始医学图像100以促进患者的临床检查，诸如例如血管造影术。初始获取的初始医学图像100具有初始视场102，该初始视场102被定义为初始医学图像100的观察区域的外周界104内的区域。可以针对一些医学成像分析任务限制初始医学图像100的初始视场102。
本发明的实施例采用一个或多个神经网络来生成具有扩展视场的扩充医学图像，该扩展视场包括初始视场102和扩充区域108。扩充区域108是初始视场102的外周界104和扩展视场的外周界106之间的区域，并且不包括外周界104内的任何区域（例如，被初始医学图像100的成像数据包围的任何区域）。通过生成扩充医学图像，从而生成针对扩充区域108的成像数据以扩充初始医学图像100。有利地，具有包括初始视场102和扩充区域108的扩展视场的扩充医学成像将例如为临床医生提供关于在初始医学图像100的初始视场102内所描绘的解剖结构的附加情境，并改善医学成像分析算法（例如，界标检测器和图像配准算法）的性能。扩充医学图像的生成是复杂的任务，因为扩充区域108仅在例如一侧具有初始医学图像100的成像数据，并且并非在所有侧都被成像数据包围。随着扩充医学图像在扩充区域108中必须生成的像素与外周界104之间的距离变得更大，扩充医学图像的生成变得更加困难。
现在将同时讨论图2和图3。图2示出了根据一个或多个实施例的用于增强医学图像的说明性高级工作流200。图3示出了用于实现图2的工作流200的方法300。方法300可以由诸如例如图9的计算机902之类的任何合适的计算设备来执行。
在图3的步骤302，接收具有初始视场的初始医学图像。在图2的工作流200中示出了具有初始视场208的示例性初始医学图像202。初始视场208被定义为初始医学图像202的观察区域的外周界210内的区域。初始医学图像202可以是任何合适模态（诸如例如DynaCT、计算机断层摄影（CT）、x射线、磁共振成像（MRI）、超声（US）、单光子发射计算机断层摄影（SPECT）、正电子发射断层摄影（PET）或任何其他合适的模态或模态的组合）的二维（2D）或三维（3D）图像。初始医学图像202可以直接从图像获取设备（例如，图9的图像获取设备914）接收，或者可以通过从计算机系统的存储器或存储设备中加载初始医学图像202来接收，或者通过在计算机系统处经由来自另一计算机系统的网络传输接收初始医学图像202。
在图3的步骤304处，使用经训练的机器学习模型从初始医学图像生成具有扩展视场的扩充医学图像。在图2的工作流200中示出了示例性的扩充医学图像204，扩充医学图像204具有包括初始视场208和扩充区域212的扩展视场。扩充区域212是处于初始视场208的外周界210和扩展视场的外周界214之间的区域，并且不包括外周界210内的任何区域（例如，被初始医学图像202的成像数据所包围的任何区域）。扩充区域212可以具有任何尺寸或形状。在一个实施例中，扩充区域212是直接包围外周界210的区域，如工作流200中说明性示出的。通过生成扩充医学图像204，从而生成针对扩充区域212的成像数据以扩充初始医学图像202。在一些实施例中，可以通过生成扩充区域212以及重新生成初始视场208来生成全新的扩充医学图像204，而在其他实施例中，通过仅生成扩充区域212同时复制来自初始医学图像202的初始视场208的成像数据来生成扩充医学图像204。
在一个实施例中，使用经训练的机器学习模型来生成扩充医学图像204，使得扩充医学图像204是与初始医学图像202的模态不同的模态。因此，经训练的机器学习模型生成扩充医学图像204以同时在扩充区域212中扩充初始医学图像202，同时还执行初始医学图像202从一个模态到另一模态（例如，DynaCT到CT）的样式转换。
经训练的机器学习模型可以是任何合适的机器学习模型，诸如例如神经网络。在一个实施例中，经训练的机器学习模型是生成式对抗网络（GAN），如下面关于图5更详细描述的。可以使用U-Net、情境编码器和/或变分自动编码器（VAE）来实现GAN。
在先前的训练阶段中使用成对的训练图像来训练所述经训练的机器学习模型。可以通过如下方式来生成训练图像：裁剪初始训练图像，使得每个初始训练图像及其对应的经裁剪的训练图像形成一对训练图像。可以根据各种形状和尺寸来裁剪初始训练图像。初始训练图像可以是患者特定的训练图像或合成生成的训练图像。
在图3的步骤306，可选地，使用另一经训练的机器学习模型对扩充医学图像204进行精炼以生成精炼的医学图像206。精炼的医学图像206可以通过以下方式来生成：对扩充医学图像204进行降噪，对扩充医学图像204应用超级分辨率成像技术，或本领域已知的任何其他形式的精炼或增强。
另一经训练的机器学习模型可以是任何合适的机器学习模型，诸如例如神经网络。在先前的训练阶段中，使用成对的训练图像来训练另一经训练的机器学习模型。可以通过模糊初始训练图像使得每个初始训练图像及其对应的模糊训练图像形成一对训练图像来生成训练图像。训练图像可以是患者特定的训练图像或合成训练图像。在一个实施例中，相同组的初始训练图像用于训练另一机器学习模型以及用于训练机器学习网络（在步骤304应用）。
在图3的步骤308，输出精炼的医学图像206。可以通过如下方式来输出精炼的医学图像206：在计算机系统的显示设备上显示精炼的医学图像206，将精炼的医学图像206存储在计算机系统的存储器或存储设备中，或者将精炼的医学图像206传送到远程计算机系统，例如，用于进一步处理。
根据一个实施例，方法300可被应用于生成超逼真的准直图像。X射线成像对准直非常敏感。当指向患者的X射线束未完美对准时，所生成的图像具有两个区域：由较高密度的X射线束导致的高质量区域，以及由较低密度的X射线束导致的低质量区域。可通过将X射线图像的高质量区域视为初始医学图像202（在步骤302处接收）的初始视场208来应用方法300以解决准直问题。方法300在步骤304处继续基于x射线图像的低质量区域来生成具有扩展视场的扩充医学图像204，扩展视场包括x射线区域的高质量区域和扩充区域212。例如，X射线图像的低质量区域可以用作机器学习模型的附加输入，或者可以在后过程步骤中使用，以进一步精炼机器学习模型的输出。因此，方法300可以充当准直校准步骤，从而产生高质量的超逼真准直图像。
根据一个实施例，方法300可被应用于增强从医学图像中提取的信息和知识，诸如例如解剖模型。给定描绘例如动脉树的一部分的医学图像，可以根据所述医学图像重构动脉树的解剖模型（在一维、二维或三维上）。通过将解剖模型视为初始视场208，可以将方法300应用于增强解剖模型。因此，在步骤304，生成具有扩展视场的扩充解剖模型，扩展视场包括初始视场208和扩充区域212。在该实施例中，可以不执行精炼步骤306。所生成的数据可以具有与解剖模型不同的维度。例如，解剖模型可以是3D的，而生成的数据可以具有零维（例如，抵抗性、顺应性等）。可以在以初始训练图像的大量现有数据集开始的先前的训练阶段期间训练在步骤304应用的机器学习网络。为了生成训练数据，生成每个初始训练图像的裁剪版本。根据经裁剪的训练图像（具有期望维度）生成重构的解剖模型。使用初始训练图像针对经裁剪的训练图像的扩充区域（具有相同或不同维度）生成重构解剖模型。因此，方法300可被应用于生成增强医学图像和增强解剖模型。
根据一个实施例，在对解剖结构的运动感兴趣的情况下，医学成像技术（诸如例如超声心动描记术和血管造影术）被应用于在一时间段内获取感兴趣对象的多个初始医学图像。图2的工作流200和图3的方法300可以被修改为基于一个或多个先前的初始医学图像和先前的扩充医学图像生成扩充医学图像和精炼的医学图像，所述一个或多个先前的初始医学图像和先前的扩充医学图像对应于先前的时间点，如图4中所示。
图4示出了根据一个或多个实施例的用于使用一个或多个先前的初始医学图像和先前的扩充医学图像来增强医学图像的高级工作流400。在工作流400中，接收具有初始视场的初始医学图像402。使用经训练的机器学习模型（例如，神经网络），并基于对应于一个或多个先前时间点的先前的初始医学图像和先前的扩充医学图像408，从初始医学图像402生成具有扩展视场的扩充医学图像404。然后使用另一机器学习模型（例如，神经网络），基于先前的初始医学图像和先前的扩充医学图像408，对扩充图像404进行精炼，以生成精炼的医学图像406。
在一个实施例中，用于在工作流400中生成扩充医学图像404和/或精炼的医学视图图像406的所述一个或多个经训练的机器学习网络均可以包括利用长短期记忆（LSTM）网络实现的神经网络（例如，GAN），长短期记忆（LSTM）网络提供通过打开或关闭输入门、输出门和/或遗忘门来控制的长期记忆。有利地，LSTM网络使得先前的初始医学图像和先前的扩充医学图像408能够被存储，并随后用于生成更准确的图像（即，扩充医学图像404和精炼的医学图像406）。应当理解，本发明不限于LSTM网络；可以采用任何类型的递归神经网络（RNN）架构，诸如例如门控递归单元（GRU）。
图5示出了根据一个或多个实施例的用于生成扩充医学图像的GAN 500。在一个实施例中，GAN 500是在图3的步骤304和/或306处应用的经训练的机器学习模型。GAN表示用于经由对抗过程创建生成式模型的框架。GAN 500包括深度网络形式的两个模块：用于生成目标模态的合成图像516的生成器502和用于区分真实图像518和合成图像516的鉴别器504。生成器502根据初始模态（例如，DynaCT）的输入图像508来生成目标模态（例如，CT）的合成图像。鉴别器504输入由生成器502生成的合成图像516和真实图像518，并且将一个图像分类为真实的，并且将另一个图像分类为伪造的（合成的）。同时训练生成器502和鉴别器504，使得在鉴别器504在伪造图像检测方面改进的同时，生成器502在产生能够欺骗鉴别器504的逼真外观图像方面得到改进。因此，生成器502和鉴别器504以对抗损失被训练，以强制生成器502学习最有意义的特征。鉴别器504仅在训练阶段期间被使用，而不在在线或推断阶段（例如用于生成扩充医学图像）期间被使用。
如图5中所示，生成器502包括样式编码器510和内容编码器512。样式编码器510接收目标域中的参考图像506，并将参考图像506编码为表示参考图像506的低级特征的样式代码。内容编码器512接收初始域中的真实图像508，并将真实图像508编码为表示真实图像508的低级特征的内容代码。解码器514基于来自内容编码器512的内容代码以及基于来自样式编码器510的样式编码的权重来生成合成图像516。应该理解，可以使用任何合适的网络来实现生成器502。
在一个实施例中，生成器502被实现为U-Net。U-Net是包括收缩路径和扩展路径的卷积神经网络。收缩路径在增加特征信息的同时减少输入图像的空间信息。扩展路径通过一系列向上卷积和级联将空间和特征信息与来自收缩路径的高分辨率特征组合。由于其跳过连接，因此U-Net适用于图像完备化任务。
在另一个实施例中，生成器502被实现为情境编码器。情境编码器是一种卷积神经网络，被训练为基于任意图像区域的边缘生成该任意图像区域的内容。在给定图像的情况下，该网络使用编码器然后使用多个逐通道的完全连接层将其向下采样到特定尺寸。最终，解码器产生图像的缺失区域。由于各层被完全连接，因此生成图像的缺失区域的映射高度基于其边缘。
在另一个实施例中，生成器502被实现为VAE。VAE包括编码器和解码器。编码器将输入图像编码为一组统计分布的参数（例如，平均值和方差）。解码器从统计分布中随机采样点，以重构输入图像。
在一个实施例中，框图500中所示的GAN可以是CycleGAN以强制循环一致性，使得被变换到第二模态然后被变换回第一模态的处于第一模态的输入图像应当返回原始输入图像。图6示出了根据一个或多个实施例的用于训练CycleGAN以生成扩充医学图像的功能框图600。
功能框图600包括用于从输入的DynaCT（DCT）图像（或任何其他初始模态的输入图像）生成合成的扩充CT图像（或任何其他目标模态的图像）的生成器GDCT2CT和用于从输入的CT图像（或任何其他初始模态的输入图像）生成合成的扩充DCT图像（或任何其他目标模态的图像）的生成器GCT2DCT。使用DCT输入图像602和CT输入图像604来训练生成器GDCT2CT和GCT2DCT。图像602和604是真实图像。
利用针对对抗损失的鉴别器DCT和DDCT训练生成器GDCT2CT和GCT2DCT。鉴别器DCT旨在区分由生成器GDCT2CT生成的合成CT图像和真实CT图像（例如，合成CT图像608和真实输入CT图像604），并且将一个图像分类为真实，以及将另一图像分类为伪造。鉴别器DDCT旨在区分由生成器GCT2DCT生成的合成DCT图像和真实DCT图像（例如，合成DCT图像614和真实输入DCT图像602），并且将一个图像分类为真实，以及将另一图像分类为伪造。鉴别器DCT和DDCT将引导生成器GDCT2CT和GCT2DCT生成与处于其对应模态的真实图像无法区分的合成图像。生成器GDCT2CT和GCT2DCT及其鉴别符DCT和DDCT分别被表达为等式（1）和（2）的目标。
等式（1）：
Figure 850855DEST_PATH_IMAGE001
等式（2）：
Figure 315335DEST_PATH_IMAGE002
引入了循环一致性，使得目标域中的合成图像可以返回到生成它的源域中的精确图像。循环一致性损失
Figure 249793DEST_PATH_IMAGE003
将真实CT图像与合成CT图像（通过将真实CT图像变换为合成DCT图像，以及将合成DCT图像变换为合成CT图像而生成）（例如，真实CT图像604和合成CT图像616）进行比较。类似地，循环一致性损失
Figure 508736DEST_PATH_IMAGE004
将真实DCT图像与合成DCT图像（通过将真实DCT图像变换成合成CT图像，以及将合成CT图像变换成合成DCT图像而生成）（例如，真实DCT图像602和合成DCT图像610）进行比较。生成器GDCT2CT和GCT2DCT的循环一致性损失由以下损失函数定义。
等式（3）：
Figure 404011DEST_PATH_IMAGE005
由于类似CT的DCT图像应该是DCT图像的增强版本，因此采用身份损失来规范训练过程。换句话说，如果生成器看到目标域中的真实图像，则它不应对其进行任何更改。生成器GDCT2CT和GCT2DCT的身份损失由以下损失函数定义。
等式（4）：
Figure 141022DEST_PATH_IMAGE006
生成器GDCT2CT和GCT2DCT也利用根据以下监督损失的监督进行训练。
等式（5）：
Figure 929987DEST_PATH_IMAGE007
以下在等式（6）中定义了综合目标函数，作为等式(1)-(5)的综合，用于训练生成器GDCT2CT和GCT2DCT，其中参数λ表示每个损失的权重。
等式（6）：
Figure 359831DEST_PATH_IMAGE008
使用两种不同的GAN配置，通过实验验证本发明的实施例。
在第一个实验中，将利用情境编码器实现的Pix2Pix-GAN应用于生成扩充医学图像。图7示出了根据一个或多个实施例的用于训练Pix2Pix-GAN 700的网络架构。Pix2Pix-GAN 700包括生成器702以及鉴别器704和706。生成器702是完全卷积情境编码器，并且鉴别器704和708是卷积网络，该卷积网络输出指示所述图像（由生成器702生成）是真实的还是伪造（合成）的概率。生成器702接收具有缺失区域的训练图像708作为输入，并输出具有扩充区域714的合成图像712。为了提高结果的质量，采用两个鉴别器704和706来识别伪造图像。鉴别器704是全局鉴别器，其将整个合成图像712视为输入以确保在全局水平上图像712看起来逼真，而鉴别器706仅将扩充区域714视为输入以改善局部一致性。图8示出了通过应用使用Pix2Pix-GAN的本发明的实施例而产生的图像与基础事实图像的比较800，所述Pix2Pix-GAN利用情境编码器来实现（即Pix2Pix-GAN 700）。列802示出输入图像，列804示出基础事实图像，并且列806示出使用Pix2Pix-GAN 700生成的图像。
在第二个实验中，将利用U-Net实现的Pix2Pix-GAN应用于生成扩充医学图像。具体来说，在此配置中，使用U-Net架构实现Pix2Pix-GAN的生成器。鉴别器将输入图像分割成斑块，这些斑块被分别分类。换句话说，鉴别器仅在斑块级别对该结构进行惩罚，从而试图确定图像中的NxN斑块中的每一个是真实的还是伪造的（合成的）。网络的最后层平均所有响应以提供输出。图9示出了通过应用使用Pix2Pix-GAN的本发明的实施例而产生的图像与基础事实图像的比较900，所述Pix2Pix-GAN利用U-Net来实现。列902示出输入图像，列904示出基础事实图像，并且列906示出使用利用U-Net实现的Pix2Pix-GAN生成的图像。
可以使用数字电路或使用一个或多个计算机来实现本文所述的系统、装置和方法，所述计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
可以使用以客户端-服务器关系操作的计算机来实现本文描述的系统、装置和方法。通常，在这样的系统中，客户端计算机被定位成远离服务器计算机，并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序定义和控制。
本文描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以经由例如驻留在客户端计算机上并在其上运行的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上，并经由网络访问数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传送到服务器。服务器可以执行所请求的服务，并将数据提供给（一个或多个）客户端计算机。服务器还可以传送适于使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传送适于使客户端计算机执行本文描述的方法和工作流的一个或多个步骤或功能（包括图2-4的一个或多个步骤或功能）的请求。本文描述的方法和工作流的某些步骤或功能（包括图2-4的一个或多个步骤或功能）可以由服务器或由基于网络的云计算系统中的另一处理器执行。本文所述的方法和工作流的某些步骤或功能（包括图2-4的一个或多个步骤）可以由基于网络的云计算系统中的客户端计算机执行。本文所述的方法和工作流的步骤或功能（包括图2-4的一个或多个步骤）可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合来执行。
本文描述的系统、装置和方法可以使用有形地体现在信息载体中（例如在非暂时性机器可读存储设备中）以供可编程处理器执行的计算机程序产品来实现；并且包括图2-4的一个或多个步骤或功能的本文所描述的方法和工作流步骤可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，该计算机程序指令可以在计算机中被直接或间接使用以执行特定活动或带来特定结果。计算机程序可以以任何形式的编程语言（包括编译或解释语言）来编写，并且它可以以任何形式被部署，包括作为独立程序或作为模块、组件、子例程或适合于在计算环境中使用的其它单元。
图10中描绘了可用于实现本文所述的系统、装置和方法的示例计算机902的高级框图。计算机1002包括可操作地耦合至数据存储设备1012和存储器1010的处理器1004。处理器1004通过执行定义计算机的整体操作的计算机程序指令来控制计算机1002的整体操作。计算机程序指令可以被存储在数据存储设备1012或其他计算机可读介质中，并且在期望执行计算机程序指令时被加载到存储器1010中。因此，图2-4的方法和工作流步骤或功能可以由存储在存储器1010和/或数据存储设备1012中的计算机程序指令来定义，并由执行所述计算机程序指令的处理器1004控制。例如，计算机程序指令可以被实现为由本领域技术人员编程为执行图2-4的方法和工作流步骤或功能的计算机可执行代码。因此，通过执行计算机程序指令，处理器1004执行图2-4的方法和工作流步骤或功能。计算机1004还可以包括一个或多个网络接口1006，用于经由网络与其他设备进行通信。计算机1002还可以包括一个或多个输入/输出设备1008（例如，显示器、键盘、鼠标、扬声器、按钮等），输入/输出设备1008实现与计算机1002的用户交互。
处理器1004可以包括通用微处理器和专用微处理器二者，并且可以是计算机1002的唯一处理器或多个处理器之一。处理器1004例如可以包括一个或多个中央处理单元（CPU）。处理器1004、数据存储设备1012和/或存储器1010可以包括以下各项，由以下各项补充或被并入以下各项中：一个或多个专用集成电路（ASIC）和/或一个或多个现场可编程门阵列（FPGA）。
数据存储设备1012和存储器1010均包括有形的非暂时性计算机可读存储介质。数据存储设备1012和存储器1010均可包括高速随机存取存储器，诸如动态随机存取存储器（DRAM）、静态随机存取存储器（SRAM）、双倍数据速率同步动态随机存取存储器（DDR RAM）、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备（诸如内部硬盘和可移动盘）、磁光盘存储设备、光盘存储设备、闪存设备、半导体存储器设备、诸如可擦除可编程只读存储器（EPROM）、电可擦除可编程只读存储器（EEPROM）、压缩盘只读存储器（CD-ROM）、数字万用盘只读存储器（DVD- ROM）盘或其他非易失性固态存储设备。
输入/输出设备1008可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备1008可以包括诸如阴极射线管（CRT）或液晶显示（LCD）监视器之类的用于向用户显示信息的显示设备、键盘以及诸如鼠标或轨迹球之类的指示设备，用户可通过指示设备向计算机1002提供输入。
图像获取设备1014可以连接到计算机1002，以将图像数据（例如，医学图像）输入到计算机1002。可以将图像获取设备1014和计算机1002实现为一个设备。图像获取设备1014和计算机1002也可以通过网络无线通信。在可能的实施例中，计算机1002可以相对于图像获取设备1014被远程定位。
可以使用一个或多个计算机（例如计算机1002）来实现本文讨论的任何或所有系统和装置。
本领域技术人员将认识到，实际计算机或计算机系统的实现可以具有其他结构并且也可以包含其他组件，并且出于说明目的，图9是这种计算机的一些组件的高级表示。
前面的详细描述在每个方面应被理解为是说明性和示例性的，而非限制性的，并且本文中公开的本发明的范围不是由详细描述确定的，而是由根据专利法所允许的最大范围解释的权利要求确定的。应当理解，本文示出和描述的实施例仅说明本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。在不脱离本发明的范围和精神的情况下，本领域技术人员可以实现各种其他特征组合。

Claims (20)

1.一种用于增强医学图像的方法，包括：
接收具有初始视场的初始医学图像；
使用经训练的机器学习模型生成具有扩展视场的扩充医学图像，所述扩展视场包括初始视场和扩充区域；以及
输出所述扩充医学图像。
2.根据权利要求1所述的方法，其中，使用经训练的机器学习模型生成具有扩展视场的扩充医学图像包括：
生成所述扩充医学图像，使得所述扩充医学图像是与所述初始医学图像的模态不同的模态。
3.根据权利要求1所述的方法，其中，所述扩充区域包括直接包围所述初始医学图像的所述初始视场的区域。
4.根据权利要求1所述的方法，还包括：
使用另一经训练的机器学习模型来精炼所述扩充医学图像。
5.根据权利要求1所述的方法，其中，使用经训练的机器学习模型生成具有扩展视场的扩充医学图像包括：
基于先前的初始医学图像和先前的扩充医学图像来生成所述扩充医学图像。
6.根据权利要求1所述的方法，其中，所述初始视场包括x射线图像的高质量区域，并且所述扩展视场包括所述初始视场和所述扩充区域。
7.根据权利要求1所述的方法，其中，所述初始医学图像包括解剖模型。
8.根据权利要求1所述的方法，其中，所述经训练的机器学习模型是经训练的生成式对抗网络。
9.根据权利要求8所述的方法，其中，所述经训练的生成式对抗网络基于U-Net、情境编码器和变分自动编码器中的至少一个。
10.一种用于增强医学图像的装置，包括：
用于接收具有初始视场的初始医学图像的构件；
用于使用经训练的机器学习模型生成具有扩展视场的扩充医学图像的构件，所述扩展视场包括初始视场和扩充区域；以及
用于输出所述扩充医学图像的构件。
11.根据权利要求10所述的装置，其中，用于使用经训练的机器学习模型生成具有扩展视场的扩充医学图像的构件包括：
用于生成所述扩充医学图像以使得所述扩充医学图像是与所述初始医学图像的模态不同的模态的构件。
12.根据权利要求10所述的装置，其中，所述扩充区域包括直接包围所述初始医学图像的所述初始视场的区域。
13.根据权利要求10所述的装置，还包括：
用于使用另一经训练的机器学习模型来精炼所述扩充医学图像的构件。
14.根据权利要求10所述的装置，其中，用于使用经训练的机器学习模型生成具有扩展视场的扩充医学图像的构件包括：
用于基于先前的初始医学图像和先前的扩充医学图像来生成所述扩充医学图像的构件。
15.一种非暂时性计算机可读介质，存储用于增强医学图像的计算机程序指令，所述计算机程序指令在由处理器执行时使所述处理器执行包括以下各项的操作：
接收具有初始视场的初始医学图像；
使用经训练的机器学习模型生成具有扩展视场的扩充医学图像，所述扩展视场包括初始视场和扩充区域；以及
输出所述扩充医学图像。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，使用经训练的机器学习模型生成具有扩展视场的扩充医学图像包括：
生成所述扩充医学图像，使得所述扩充医学图像是与所述初始医学图像的模态不同的模态。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述初始视场包括x射线图像的高质量区域，并且所述扩展视场包括所述初始视场和所述扩充区域。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述初始医学图像包括解剖模型。
19.根据权利要求15所述的非暂时性计算机可读介质，其中，所述经训练的机器学习模型是经训练的生成式对抗网络。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述经训练的生成式对抗网络基于U-Net、情境编码器和变分自动编码器中的至少一个。
CN202010219091.3A 2019-03-25 2020-03-25 医学图像增强 Pending CN111739614A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19464005.8A EP3716201A1 (en) 2019-03-25 2019-03-25 Medical image enhancement
EP19464005.8 2019-03-25

Publications (1)

Publication Number Publication Date
CN111739614A true CN111739614A (zh) 2020-10-02

Family

ID=66092270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219091.3A Pending CN111739614A (zh) 2019-03-25 2020-03-25 医学图像增强

Country Status (3)

Country Link
US (1) US11854158B2 (zh)
EP (1) EP3716201A1 (zh)
CN (1) CN111739614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191966A (zh) * 2021-04-15 2021-07-30 青海师范大学 一种运算轻量化图像修复方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629931B1 (en) * 2017-05-30 2021-09-15 Brainlab AG Heatmap and atlas
JP2022077991A (ja) * 2020-11-12 2022-05-24 ザ ユニバーシティ コート オブ ザ ユニバーシティ オブ エジンバラ 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、モデルトレーニング装置、およびトレーニング方法
CN113486944A (zh) * 2021-07-01 2021-10-08 深圳市英威诺科技有限公司 人脸融合方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247676A1 (en) * 2007-04-06 2008-10-09 Kabushiki Kaisha Toshiba Image management system, report creation terminal, medical image management server, and image management method
US20110058719A1 (en) * 2009-09-08 2011-03-10 Trzasko Joshua D Method for compressed sensing image reconstruction using a priori knowledge of spatial support
US20120010496A1 (en) * 2010-07-09 2012-01-12 Naoyuki Furudate medical image diagnosis apparatus and a controlling method
CN102508671A (zh) * 2011-11-22 2012-06-20 云南电力试验研究院（集团）有限公司电力研究院 一种x射线数字图片结合图谱数据的集成软件系统
US20160210749A1 (en) * 2015-01-21 2016-07-21 Siemens Aktiengesellschaft Method and system for cross-domain synthesis of medical images using contextual deep network
CN106328095A (zh) * 2016-08-31 2017-01-11 南京巨鲨显示科技有限公司 一种灰阶扩展自适应增强方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US20180158209A1 (en) * 2016-12-02 2018-06-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180225822A1 (en) * 2017-02-08 2018-08-09 Siemens Healthcare Gmbh Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses
WO2018156633A1 (en) * 2017-02-21 2018-08-30 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018171880A1 (en) * 2017-03-22 2018-09-27 Brainlab Ag Augmented reality patient positioning using an atlas
US20190057521A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh Topogram Prediction from Surface Data in Medical Imaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630797B2 (en) * 2018-01-30 2020-04-21 Akamai Technologies, Inc. Systems and methods for content delivery acceleration of virtual reality and augmented reality web pages
JP7250653B2 (ja) * 2018-10-10 2023-04-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080247676A1 (en) * 2007-04-06 2008-10-09 Kabushiki Kaisha Toshiba Image management system, report creation terminal, medical image management server, and image management method
US20110058719A1 (en) * 2009-09-08 2011-03-10 Trzasko Joshua D Method for compressed sensing image reconstruction using a priori knowledge of spatial support
US20120010496A1 (en) * 2010-07-09 2012-01-12 Naoyuki Furudate medical image diagnosis apparatus and a controlling method
CN102508671A (zh) * 2011-11-22 2012-06-20 云南电力试验研究院（集团）有限公司电力研究院 一种x射线数字图片结合图谱数据的集成软件系统
US20160210749A1 (en) * 2015-01-21 2016-07-21 Siemens Aktiengesellschaft Method and system for cross-domain synthesis of medical images using contextual deep network
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN106328095A (zh) * 2016-08-31 2017-01-11 南京巨鲨显示科技有限公司 一种灰阶扩展自适应增强方法
US20180158209A1 (en) * 2016-12-02 2018-06-07 Gabriel Fine Automatically determining orientation and position of medically invasive devices via image processing
US20180218502A1 (en) * 2017-01-27 2018-08-02 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US20180225822A1 (en) * 2017-02-08 2018-08-09 Siemens Healthcare Gmbh Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses
WO2018156633A1 (en) * 2017-02-21 2018-08-30 Novarad Corporation Augmented reality viewing and tagging for medical procedures
WO2018171880A1 (en) * 2017-03-22 2018-09-27 Brainlab Ag Augmented reality patient positioning using an atlas
US20190057521A1 (en) * 2017-08-15 2019-02-21 Siemens Healthcare Gmbh Topogram Prediction from Surface Data in Medical Imaging

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOHANNES KOPF等: "Quality prediction for image completion", 《ACM TRANSACTIONS ON GRAPHICS》, pages 1 - 8 *
KRISHNA PAUDEL等: "Stitching of X-Ray Images", 《THESIS UPPSALA UNIVERSITET》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191966A (zh) * 2021-04-15 2021-07-30 青海师范大学 一种运算轻量化图像修复方法
CN113191966B (zh) * 2021-04-15 2021-11-09 青海师范大学 一种运算轻量化图像修复方法

Also Published As

Publication number Publication date
US20200311869A1 (en) 2020-10-01
US11854158B2 (en) 2023-12-26
EP3716201A1 (en) 2020-09-30

Similar Documents

Publication Publication Date Title
US10970829B2 (en) Synthesizing and segmenting cross-domain medical images
US11132792B2 (en) Cross domain medical image segmentation
US11610346B2 (en) Image reconstruction using machine learning regularizers
EP3444776B1 (en) Topogram prediction from surface data in medical imaging
US11024027B2 (en) Manipulable object synthesis in 3D medical images with structured image decomposition
US11854158B2 (en) Medical image enhancement
EP3754610A1 (en) Class-aware adversarial pulmonary nodule synthesis
CN111724904A (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
CN108701370A (zh) 基于机器学习的基于内容的医学成像渲染
US11080895B2 (en) Generating simulated body parts for images
CN113272869A (zh) 医学成像中从定位片进行三维形状重构
CN117813055A (zh) 用于从快速spect扫描和ct图像合成spect图像的多模态和多尺度特征聚合
Elss et al. Deep-learning-based CT motion artifact recognition in coronary arteries
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
Ferreira et al. GAN-based generation of realistic 3D volumetric data: A systematic review and taxonomy
CN113658284A (zh) 用于训练结节检测系统的来自ct图像的x射线图像合成
EP3648057B1 (en) Determining malignancy of pulmonary nodules using deep learning
JP2022546303A (ja) 管状フィーチャのセグメント化
Amor Bone segmentation and extrapolation in Cone-Beam Computed Tomography
US20230360366A1 (en) Visual Explanation of Classification
US11908047B2 (en) Generating synthetic x-ray images and object annotations from CT scans for augmenting x-ray abnormality assessment systems
US20220378395A1 (en) Image-processing method and apparatus for object detection or identification
Peng et al. Low-Dose Sinogram Restoration in SPECT Imaging Based on Conditional Generative Adversarial Network and LSTM.
CN116363318A (zh) 基于结直肠单目内窥镜视频的一种腔体三维重建方法
CN117132492A (zh) 基于多视图深度卷积网络的ct图像噪声抑制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination