CN112313668A - 使用深度学习进行磁共振成像标准化的系统和方法 - Google Patents

使用深度学习进行磁共振成像标准化的系统和方法 Download PDF

Info

Publication number
CN112313668A
CN112313668A CN201980030732.6A CN201980030732A CN112313668A CN 112313668 A CN112313668 A CN 112313668A CN 201980030732 A CN201980030732 A CN 201980030732A CN 112313668 A CN112313668 A CN 112313668A
Authority
CN
China
Prior art keywords
image
training
data set
computer
implemented method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980030732.6A
Other languages
English (en)
Inventor
宫恩浩
张涛
格雷戈里·扎哈尔丘克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Subtle Medical Technology Co ltd
Original Assignee
Shentou Medical Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shentou Medical Co filed Critical Shentou Medical Co
Publication of CN112313668A publication Critical patent/CN112313668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于在多个供应商之间变换磁共振(MR)成像的计算机实现的方法。该方法包括：获得训练数据集，其中训练数据集包括成对数据集和未成对数据集，并且其中训练数据集包括使用两个或更多个MR成像设备获取的图像数据；使用训练数据集训练深度网络模型；获得输入的MR图像；以及使用深度网络模型将输入的MR图像变换为目标图像样式。

Description

使用深度学习进行磁共振成像标准化的系统和方法
相关申请的交叉引用
本申请要求2018年6月15日提交的美国临时申请号62/685,774的优先权，该申请的全部内容以其整体并入本文。
背景技术
放射科医生的一项常见任务是对在不同磁共振(MR)硬件系统上获得的序列成像研究进行比较。由于每个制造商的图像由于不同的设计考虑而显示出不同的对比度或失真，因此该任务可能具有挑战性。如果涉及多个供应商扫描仪，则临床成像试验可能更具挑战性。因此，期望将MR图像从一个供应商(vendor)的外观变换为另一供应商的外观或标准化的MR样式。
发明内容
本公开提供了能够将磁共振(MR)图像从一个供应商的外观变换为另一供应商的外观或标准化的MR图像形式或样式的方法和系统。例如，所提供的方法和系统可以在变换供应商特定的对比度“样式(style)”的同时保留解剖信息。本公开的方法和系统可以产生通用或统一的MRI样式，其通过改善受试者间的可再现性和诊断的准确性，使得能够进行定量的比较、一致性、标准化并且允许MRI更加定量和标准化而使患者受益。
在本发明的一个方面，可以提供一种用于在多个供应商之间变换磁共振(MR)成像的计算机实现的方法，所述方法包括：获得训练数据集，其中训练数据集包括成对数据集和未成对数据集，并且其中训练数据集包括使用两个或更多个MR成像设备获取的图像数据；使用训练数据集训练深度网络模型；获取输入的MR图像；以及使用深度网络模型将输入的MR图像变换为目标图像样式。
本发明的附加方面可以针对一种非暂时性计算机可读存储介质，其包括指令，当所述指令由一个或多个处理器执行时，使一个或多个处理器执行以下操作，包括：获取训练数据集，其中训练数据集包括成对数据集和未成对数据集，并且其中训练数据集包括使用两个或更多个MR成像设备获取的图像数据；使用训练数据集训练深度网络模型；获取输入的MR图像；以及使用深度网络模型将输入的MR图像变换为目标图像样式。
根据以下具体实施方式，本公开内容的其他方面和优点对于本领域技术人员将变得容易理解，其中仅示出和描述了本公开内容的说明性实施方式。将会认识到，本公开内容能够具有其他和不同的实施方式，并且其若干细节能够在各种容易理解的方面进行修改，所有这些都不脱离本公开内容。因此，附图和具体实施方式应被视为本质上是说明性的，而非限制性的。
援引并入
本说明书中提到的所有出版物、专利和专利申请均通过引用并入本文，其程度如同特别地且单独地指出每一个单独的出版物、专利或专利申请均通过引用而并入。
附图说明
本发明的新颖特征在所附权利要求书中具体阐述。通过参考以下对其中利用到本发明原理的说明性实施方式加以阐述的详细描述以及附图(在本文也称为“图”)，将会获得对本发明特征和优点的更好理解，在这些附图中：
图1示意性地示出了用于基于深度学习来提供标准化MR图像的系统。
图2显示了跨供应商变换的示例。
图3显示了使用本公开的方法和系统产生的结果。
图4和图5显示了跨供应商变换结果的残留误差的比较。
图6示出了用于将一个或多个样式的MR图像数据变换为目标样式的图像数据的方法的示例。
图7显示了根据本公开的一些实施方式的MR成像标准化系统的示例的框图。
具体实施方式
尽管本文已经示出并描述了本发明的各种实施方式，但对于本领域技术人员容易理解的是，这些实施方式仅以示例的方式提供。本领域技术人员在不脱离本发明的情况下可以想到多种变化、改变和替代。应当理解，可以采用本文所述的本发明实施方式的各种替代方案。
本文中认识到需要将磁共振(MR)图像从一个供应商的外观变换为另一供应商的外观或标准化的MR样式。本公开的方法和系统可以能够将从不同的MR扫描仪获取的MR图像变换成合成的或标准化的形式。合成的或标准化的形式可以是具有预定特征的目标形式，例如对比度、分辨率、图像大小、颜色、偏度、畸变、取向等。备选地或附加地，目标形式可以与由所选扫描仪(由所选供应商提供)获取的图像的形式或样式一致。在一些情况下，不同的MR扫描仪或MR成像设备可能是同一和/或不同供应商提供的不同类型。在一些情况下，不同的MR扫描仪或MR成像设备可能具有不同的设置或硬件设计/配置，以使相应的MR图像可能在对比度、分辨率(例如，厚度大小、像素大小等)和图像失真中的至少一项上不同。
如本文所使用的，术语“样式”、“图像样式”和“形式”可以指代在整个说明书中可以互换使用的图像的外观。
本文公开的方法和系统可以提供用于对比度加权MRI的跨供应商变换的改进的准确性。提供的方法和系统可以使用经过多供应商数据集训练的深度学习方法。提供的技术可以显著改善比较在不同扫描仪上获取的顺序扫描的临床工作流程。该方法可以进一步改善在纵向收集的图像之间对生物标志物、配准(co-registration)和分割的量化。它是推动MR成像成为标准化和定量成像模态的重要组成部分。
本文公开的方法可以通过对来自同一受试者的两个配准的成对数据集进行训练，并使用循环产生对抗网络(Cycle-GAN)进行未成对训练以进一步增强来提供算法，从而实现准确的跨供应商变换。所提供的方法和系统可能能够将对比度加权的MRI图像标准化为相同的对比度标准，从而使纵向和横截面分析和比较更加容易。这样的应用对于临床放射科医生监测和分期疾病的进展至关重要。同样，在具有标准化图像对比度的情况下，该技术还可以用于改善任务，例如量化生物标记、配准和分割。
高质量的医学图像数据集可能很少见。来自同一受试者的成对和配准的跨供应商图像甚至更难收集。所提供的方法可以利用未成对的训练方法，从而允许深度学习方法训练并应用于临床数据库中已经可用的现有较大数据集。
另外，本文公开的方法可以进一步允许MRI成为具有更好的量化和可重复性的更加标准化和定量的成像形式。它也是指导参数映射技术(例如，MRF)并直接从常规MRI序列实现标准化成像的补充技术。当需要跨不同类型、设置或配置的成像设备进行图像标准化时，可以将本公开的方法或系统应用于其他模态，例如正电子发射断层扫描(PET)、X射线、计算机断层扫描(CT)和超声。
图1示意性地示出了使用深度学习来提供标准化的MR图像的系统100。系统100能够训练用于跨供应商变换和标准化的网络模型。系统100可以通过对来自同一受试者的两个配准的成对数据集进行训练并通过使用Cycle-GAN进行非成对训练以进一步增强来训练网络模型，从而产生精确的跨供应商变换。所提供的方法和系统能够将对比度加权的MRI图像标准化为相同的对比度标准，从而使纵向和横截面分析和比较更加容易。网络模型可用于将由一个或多个MR扫描仪或MR成像设备获取的MR图像数据变换为目标样式。原始MR图像数据和目标图像可以在以下至少之一上不同：对比度、分辨率和图像失真。在一些情况下，MR图像可以由不同的MR扫描仪或MR成像设备101、103获取，所述MR成像设备或MR成像设备101、103可以是由相同和/或不同的供应商提供的不同类型。在一些情况下，不同的MR扫描仪或MR成像设备101、103可以具有不同的设置、硬件设计或配置，使得对应的MR图像可以在对比度、分辨率和图像失真中的至少一项上不同。
深度学习方法
在图像变换期间，可以将深度学习算法应用于原始图像以估计将任何形式或样式的原始图像ma变换为目标图像
Figure BDA0002764402770000058
的函数f。目标图像可以符合合成形式或标准形式。如上所述，标准化形式(即，目标形式)可以具有预定特征，例如对比度、分辨率(例如，厚度大小、像素大小等)、图像大小、颜色、偏度、变形、取向或其他特征。替代地或附加地，目标形式可以与由所选扫描仪(由所选供应商提供)获取的MR图像的形式或样式一致。定义
Figure BDA0002764402770000051
为目标图像，然后可以将从任何形式或样式ma的图像到目标图像
Figure BDA0002764402770000052
的变换的公式为：
Figure BDA0002764402770000053
其中f表示从任何样式到标准样式的图像变换。在一些情况下，可以通过在多个训练数据集上的训练过程来优化地面真实图像m和估计图像
Figure BDA0002764402770000059
之间的度量g来获得此函数f：
Figure BDA0002764402770000054
Figure BDA0002764402770000055
可以有一个或多个成本度量，其可以与优化的权重相结合。g可以是任何合适的度量，例如12范数
Figure BDA0002764402770000056
11范数
Figure BDA0002764402770000057
结构差异、结构相似度损失、感知损失或其他度量。在一些情况下，k可以是身份变换，然后在图像域中计算度量。k可以是任何其他变换，例如傅立叶变换，因此可以在相应的频域中计算度量。在一些情况下，可以在深度学习模型的训练过程中将g度量用作标准。在一些情况下，g度量还可以是单独或与f一起同时训练的网络模型，以区分图像状态并评估图像质量。
类似地，网络模型可以估计将由第一供应商提供的一个扫描仪获取的MR图像变换为具有与第二供应商一致的样式的图像的功能。将m1定义为来自由第一扫描仪101执行的获取的图像111，将m2定义为具有来自由第二扫描仪103执行的获取的形式或样式的图像113，则可以将m1变换为m2的公式为：
m2＝f1→2(m1)，
同样，将m2变换为m1的公式为：
m1＝f2→1(m2)，
其中f1→2和f2→1分别代表对应的图像变换。
所提供的方法和系统可以训练用于变换MR图像数据的神经网络模型。在一些情况下，神经网络可以使用U-net神经网络结构，该结构已广泛用于医疗任务，例如分割和图像增强。U-net神经网络结构可以在此网络中用于图像到图像的回归任务。
人工神经网络可以采用任何类型的神经网络模型，例如前馈神经网络、径向基函数网络、递归神经网络、卷积神经网络、深度残差学习网络等。在一些实施方式中，机器学习算法可以包括深度学习算法，例如卷积神经网络(CNN)。机器学习算法的实例可以包括支持向量机(SVM)、朴素贝叶斯分类、随机森林、诸如神经网络的深度学习模型或其他监督学习算法或非监督学习算法。在一些情况下，该方法可以是有监督的深度机器学习方法，非监督的深度机器学习方法或两者的组合。
诸如CNN的深度学习网络可包含多层。例如，CNN模型可以至少包括输入层、多个隐藏层和输出层。CNN模型可以包括任何总数的层和任何数目的隐藏层。神经网络的最简单架构始于输入层，然后是一系列中间层或隐藏层，最后是输出层。隐藏层或中间层可以充当可学习的特征提取器，而本实例中的输出层提供了符合目标样式或形式的MR图像。
神经网络的每一层可以包括多个神经元(或节点)。神经元接收直接来自输入数据(例如，在一个或多个不同类型的扫描仪上获取的图像数据)或其他神经元的输出的输入，并执行特定的操作，例如求和。在一些情况下，从输入到神经元的连接与权重(或加权因子)关联。在一些情况下，神经元可以总和所有输入对及其相关权重的乘积。在一些情况下，加权和有偏差。在一些情况下，可以使用阈值或激活函数来控制神经元的输出。激活函数可以是线性的或非线性的。激活函数可以是，例如，整流线性单元(ReLU)激活函数或其他函数，例如饱和双曲正切、恒等式、二进制步长、逻辑函数、反正切、softsign、参数整流线性单元、指数线性单元、softPlus、弯曲同一性、软指数、正弦曲线、正弦、高斯、sigmoid函数或其任何组合。
可以在成对的数据集和未成对的数据集上训练深度学习网络模型，这有利地提供了数据收集的灵活性。训练数据集可以包括成对的数据集，该成对的数据集包括目标样式的参考图像和原始图像，以及未成对的数据集，其可以包括由多个不同类型的扫描仪或成像设备获取的图像数据。
在一些情况下，可以在监督的训练中使用成对的数据集。在一些实施方式中，深度学习模型的训练过程可以采用残差学习方法。在一些情况下，残差学习框架可以用于评估训练后的模型。在一些情况下，具有跳过连接的残差学习框架可以从原始图像(例如，在给定扫描仪(由给定供应商提供)上获取的MR图像)生成估计的地面真实图像，并进行细化以确保其与测量值一致(数据一致性)。在一些情况下，模型学习的是原始图像数据和地面真实/目标图像数据之间的差异的残差，该残差稀疏并且复杂度较低以使用该网络结构进行逼近。该方法可以使用旁路连接来启用残差学习。在一些情况下，可以使用残差网络，直接模型输出可以是原始图像和目标图像之间的估计残差/误差。换言之，深度学习框架要学习的函数是残差函数，该残差函数在一些情况下可能易于优化。通过将原始图像添加到残差，可恢复目标图像。这种残差的训练方法可以减少训练的复杂性，并在输出水平小的情况下实现更好的性能。
在一些情况下，可以基于用户输入和实时估计的输出图像，以自适应调整的参数来训练深度学习模型。替代地或附加地，深度学习网络可以是不涉及残差学习的“普通”CNN。在一些情况下，在训练过程中，深度学习模型可以自适应地调整模型参数，以从输入图像的初始集合中逼近目标样式的参考图像，并输出目标样式的图像。
在基于MR图像数据的监督训练中，成本函数可能需要能够识别3D体素或2D图像之间的差异。可以对成对的数据集进行预处理以减少成对数据中相应像素/体素的位移或偏移，以使成本函数或损失函数(例如，L1损失(即，平均绝对误差)、L2损失(即，平均平方误差))、结构相似性损失或感知损失都可以应用。例如，为了计算监督学习的相似性或差异估计，可以将图像/体积配准算法应用于生成空间匹配的图像/体积。在一些情况下，配准算法可以包括粗略刚性算法以实现对对齐的初始估计，然后是细粒度刚性/非刚性配准算法。在一些情况下，监督的损失可能是像素级的L1和/或L2损失。替代地或附加地，监督的损失可以是体素损失、子图像损失等。
在一些情况下，可以使用未成对的数据集进一步增强基于成对数据集训练的网络模型。在一些情况下，可以顺序执行监督学习和非监督学习。在一些情况下，非监督算法可能会在训练过程中引入不稳定性。为了避免这种不稳定性，使用带有成对数据集的监督训练来训练模型，然后使用非监督学习来对模型进一步增强是有益的。例如，可以使用诸如像素方式的L1和/或L2损失的监督损失来首先训练模型以估计不同对比度样式之间的变换。由于监督的损失和可用的成对数据集数量的限制，所得模型的性能可能不够好。可以通过非监督学习或非监督学习与监督学习的组合来对模型进一步改进。例如，可以使用优化损失(例如，监督损失的混合损失(例如，L1损失、L2损失、Lp损失、结构相似性、感知损失等)和非监督损失(例如，GAN(生成对抗网络)损失、最小平方GAN、WGAN损失(Wasserstein GAN)等)。
训练过程中可能会有多次迭代。在多次迭代的每次迭代中，可以选择不同的监督损失、非监督损失或监督损失与非监督损失的组合。下面列出了可能在优化变换网络f2→1和f1→2和配准φ将体积/图像m1对准体积/图像m2的示例性训练过程中可能涉及的损失函数的示例：
Figure BDA0002764402770000081
Figure BDA0002764402770000091
Lossfinal＝Losssupervised+Lossunsupervised
Figure BDA0002764402770000092
Lossunspervised＝wcycleLosscycle-GAN+LossGAN
Losscycle-GAN＝Lp(f2→1(f1→2(m1))，m1)+Lp(f1→2(f2→1(m2))，m2)
Figure BDA0002764402770000093
Figure BDA0002764402770000094
Figure BDA0002764402770000095
训练过程可能涉及可以顺序或同时应用的监督和非监督的学习技术。未成对的数据集可用于非监督训练，这使得该方法能够进一步训练并应用于大多数或所有现有的大规模MRI数据集。在一些情况下，系统100和/或方法可以采用循环生成对抗网络(Cycle-GAN)，其进一步使得能够在成对的数据集和未成对的数据集上改进性能并进行更灵活的训练。Cycle-GAN可以用于对抗训练中，其中使用判别网络来增强主网络。主要网络可以是生成性(细分、综合)或区分性(分类)。通过对抗训练，可以在内容和样式损失的情况下学习深度学习神经网络模型。内容损失可以用于确保图像变换上的解剖信息的一致性。可以使用监督的体素级损失或像素级损失(例如，L1损失、L2损失、结构相似性、感知损失或本文其他地方所述的其他损失)来量化内容损失。样式损失可用于确保输出结果保持设计的对比度视觉质量，其可以使用来自所选网络的特征统计信息(例如，网络所选层中激活的直方图)来估计。在一些情况下，鉴别器的对抗损失可以是一种样式损失，以通过学习预测输出结果是否具有所需的图像视觉质量来估计图像的样式。机器学习网络可以进一步配置为U-net。U-net是一种自动编码器，其中网络的一半编码器的输出与网络的一半解码器中的镜像副本连接在一起。U-net可以通过对操作员进行上采样来代替池操作，从而提高输出的分辨率。
在一些情况下，深度学习模型的训练过程可以采用基于补丁的方法。在一些情况下，可以将成对的数据集划分为补丁。例如，一对训练图像，例如一对原始图像和目标图像，可以分别在空间上划分为一组较小的补丁。高质量图像和较低质量图像可以分为一组补丁。图像补丁的大小可能取决于应用，例如图像中包含的可识别特征的可能大小。替代地，图像补丁的大小可以是预定的或基于经验数据。
训练的深度学习模型可以用于将包括任何样式(例如，在第一扫描仪上获取)或不同样式(例如，在不同类型的扫描仪上获取)的MR图像数据的输入数据变换为具有目标样式的目标数据。在一些情况下，输入数据可以是包括多个轴向切片的3D体积。在示例中，输入和输出切片可以是具有相同或不同大小、分辨率、对比度或其他特征的复数值图像。借助于所提供的系统，可以实现自动的MR图像标准化。
示例数据集
在示例中，收集了数据集，并包括来自不同3T扫描仪(通用电气(GE)MR750、飞利浦(Philips)Ingenia、西门子(Siemens)Skyra)上7个受试者的配准的多供应商MRI数据集。存在使用通用电气MR750和飞利浦Ingenia在相似设置下收集的3个受试者的配准数据集，而使用通用电气MR750和西门子Skyra在相似设置下收集的另外4个受试者的配准数据集。此外，存在25个来自不同受试者的未配准样本，其可用于使用Cycle-GAN进行非成对训练，以确保进行可靠的训练并避免过度拟合。
在该示例中，检查了标准化普通对比度加权序列的性能：1)Axial-2D-T1w，2)Axial-2D-T2w，3)Axial-2D-GRE和4)Axial-3D-T1-FLAIR。对于每个数据集，2D图像大约有28～32个切片，而高分辨率3D图像大约有200～300个平面。
评价
对T1w、T2w、GRE和FLAIR系列的对比度标准化结果进行评估。在示例中，评估度量可以包括但不限于峰值信噪比(PSNR)、归一化均方根误差(RMSE)和结构相似性指数(SSIM)。将不同扫描仪上的实际获取的图像与跨供应商变换的结果进行比较。
结果
图2示出了跨供应商变换200的示例。如示例中所示，通过所提供的方法或系统生成了精确的跨供应商变换(T1w，供应商#2至供应商#1，如示例中所示)。变换后减小了两个图像之间的供应商间差异，同时保留了诊断质量以及来自所获取的T1w图像的原始解剖信息。
使用在如上所述的处理中训练的网络模型可以实现快速而准确的推断。如图3所示，通过使用建议的跨供应商标准化，相似性度量300(T1w、T2w和GRE的平均统计数据)显着提高(p<0.0001)：PSNR增益超过5.0dB，RMSE降低了约30％，SSIM改进超过0.15。
图4和图5进一步比较了跨供应商变换的详细残留误差(T2w，GRE，供应商#3到供应商#1)和结果和误差的放大可视化。
从比较中可以看出，通过对来自同一受试者的两个配准的成对数据集进行训练，并通过使用Cycle-GAN进行未成对训练进一步增强，从而所提供的算法可实现准确的跨供应商变换。所提供的系统和方法可能能够将对比度加权的MRI图像标准化为相同的对比度标准，这使得更容易进行纵向和横截面分析和比较。这样的应用对于临床放射科医生监测和分期疾病的进展至关重要。同样，在具有标准化图像对比度的情况下，该技术还可以用于改善任务，例如量化生物标记、配准和分割。
本公开的系统和方法可以提供可以在任何现有的MR成像系统上实现的MR成像标准化系统，而无需改变硬件基础设施。MR成像标准化系统可以以软件、硬件、固件、嵌入式硬件、独立硬件、专用硬件或它们的任何组合来实现。MR成像标准化系统可以是与MR成像系统分开的独立系统。替代地或附加地，MR成像标准化系统可以与现有的MR成像系统集成在一起，例如MR成像系统的控制器的组件。
可以通过一种或多种算法来实现本公开的方法和系统。可以在中央处理单元执行时通过软件来实现算法。例如，一些实施方式使用图1和图5中所示的算法或以上相关描述中提供的其他算法。
图6示出了用于将一种或多种样式的MR图像数据变换为目标样式的图像数据的方法600的示例。可以从一个或多个MR成像设备/扫描仪获得MR图像(操作610)，以训练深度学习模型。一个或多个扫描仪可以具有不同的类型、不同的硬件设计、不同的配置，或由不同的供应商提供。MR图像可以用于形成训练数据集(操作620)。训练数据集可以包括成对的数据集和未成对的数据集。成对的数据集可以包括由不同的扫描仪获取的或具有不同样式的配准的MR图像数据。成对的数据集可以包括目标样式的参考图像和原始图像。目标样式的参考图像可以是由所选扫描仪(由所选供应商提供)获取的MR图像。目标样式的参考图像可能与标准格式一致。参考图像可以是通过将原始图像数据变换成标准样式而从原始图像数据生成的合成图像。如本文其他地方所述，目标样式可以指定一个或多个选自对比度、分辨率、图像失真、偏度、颜色、大小或其他项目的特征。
训练步骤630可以包括与本文的公开内容一致的深度学习算法。深度学习算法可以是例如卷积神经网络。在一些情况下，深度学习算法可以是深度残留学习网络。在一些情况下，深度学习算法可能会使用循环生成对抗网络(Cycle-GAN)对未成对的数据集进行训练。
然后，可以将网络模型用于将任何样式的MR图像变换为目标样式。MR图像可以由可以是相同或不同类型的一个或多个扫描仪获取(操作640)。在可选步骤中，可以确定变换模式(操作650)。变换模式可以定义目标样式/形式和/或目标样式/形式的一个或多个特征(例如，对比度、分辨率、图像失真、偏度、颜色、大小)。可以自动或手动确定变换模式。在一些情况下，可以预先确定或预先选择目标样式，然后将其自动加载到系统中。替代地或附加地，可以允许用户选择目标样式或指定目标样式的一个或多个特征。例如，用户可以经由用户界面输入目标样式。可以经由GUI上的任何适当格式，例如从下拉菜单中进行选择(例如，标准样式、供应商列表等)，在搜索字段中直接输入(例如，供应商的输入名称)或经由其他合适的方式(例如语音命令等)来提供目标样式。在确定目标样式之后，可以选择相应的网络模型，并对输入的MR图像执行相应的变换(操作660)。在一些情况下，可以从与系统通信的数据库中检索网络模型。
虽然图6显示了根据一些实施方式的方法，本领域普通技术人员将认识到，对于各种实施方式有许多改编。例如，可以以任何顺序执行操作。某些操作可以被排除，某些操作可以在一个步骤中同时执行，某些操作可以重复，而某些操作可以包括其他操作的子步骤。
图7显示了根据本公开的实施方式的MR成像标准化系统700的示例的框图。MR成像标准化系统700可以包括用于训练深度学习网络模型和推断的系统710。系统710可以与图1中描述的系统相同。系统710可以包括多个组件，包括但不限于训练模块702、图像变换模块704、变换模式选择模块706和用户界面模块708。
训练模块702可以被配置为收集和管理训练数据集。训练模块702可以包括深度学习算法，例如卷积神经网络(CNN)。训练模块可以被配置为实现如上所述的机器学习方法。训练模块可以离线或远离现场训练模型。替代地或附加地，训练模块可以使用实时数据作为反馈来完善模型。一个或多个训练网络模型可以存储在数据库720中。
图像变换模块704可以被配置为使用由训练模块训练的网络模型将图像变换为目标样式。图像变换模块可以从相同或不同类型的一个或多个扫描仪获取一个或多个k空间图像或MR图像数据作为输入，并输出具有目标样式的MR图像数据。在一些实施方式中，图像变换模块可以与数据库720通信，使得在确定目标样式或变换模式时，可以从数据库720中检索对应的网络模型。
变换模式选择模块706可以可操作地耦合到图像变换模块和/或用户界面模块708。变换模式选择模块706可以被配置为确定变换模式。变换模式可以定义目标样式/形式和/或目标样式/形式的一个或多个特征。可以自动或手动确定变换模式。在一些情况下，变换模式选择模块706可以将预先确定或预先选择的目标样式自动加载到系统。在一些情况下，变换模式选择模块706可以分析输入的图像数据并自动确定变换模式或目标样式。可以基于预定规则来确定目标样式或变换模式。例如，可以基于输出图像的最佳质量来确定目标样式。例如，当输入图像数据包括从两种不同类型的扫描仪收集的数据时，目标样式可以被确定为与具有更高分辨率或更好对比度的样式相同。
在一些情况下，变换模式选择模块706可以允许用户选择目标样式或目标样式的一个或多个特征。例如，可以允许用户选择目标样式或指定目标样式的一个或多个特征。响应于确定目标样式，变换模式选择模块706可以通知图像变换模块704以获得对应的网络模型。在一些情况下，变换模式选择模块706可以接收指示期望的标准形式或目标形式(例如，标准样式、给定供应商的样式、图像分辨率、视野、颜色、对比度等)的用户输入。变换模式选择模块706可以可操作地耦合到用户界面模块708，用于接收用户输入并输出所选的变换模式或目标样式。
用户界面模块708可以呈现图形用户界面(GUI)740，该图形用户界面允许用户选择变换模式、目标样式或目标样式的一个或多个特征，查看与图像变换设置有关的信息等。GUI可以显示允许用户查看或访问与图像标准化有关的信息的图形元素。图形用户界面可以具有各种交互元素，例如按钮、文本框等，其可以允许用户通过直接键入、单击或拖动这样的交互元素来提供输入命令或内容。例如，用户可以经由用户界面输入目标样式。可以经由GUI上的任何适当格式，例如从下拉菜单中进行选择(例如，标准样式、变换模式、供应商列表等)，在搜索字段中直接输入(例如，输入名称)或经由其他合适的方式(例如语音命令等)来提供目标样式。
在一些情况下，可以在显示器735上提供图形用户界面(GUI)或用户界面。显示器可以是或可以不是触摸屏。显示器可以是发光二极管(LED)屏幕、有机发光二极管(OLED)屏幕、液晶显示器(LCD)屏幕、等离子屏幕或任何其他类型的屏幕。显示器可以被配置为显示通过应用(例如，经由在本地计算机系统或云上执行的应用编程接口(API))呈现的用户界面(UI)或图形用户界面(GUI)。
成像标准化系统700可以以软件、硬件、固件、嵌入式硬件、独立硬件、专用硬件或它们的任何组合来实现。成像标准化系统、模块、组件、算法和技术可以包括在一个或多个计算机程序中的实现，该程序可以在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用的或通用的，耦合以接收来自存储系统、至少一个输入设备和至少一个输出设备的数据和指令，以及向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。这些计算机程序(也称为程序、软件、软件应用或代码)可以包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或以汇编/机器语言方式实现。如本文所用，术语“机器可读介质”和“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器或可编程逻辑设备(PLD))，其用于向可编程处理器提供机器指令和/或数据。成像标准化系统可以是独立于MR成像系统的独立系统。替代地或附加地，成像标准化系统可以与MR成像系统集成在一起，例如MR成像系统的控制器的组件。
成像标准化系统700可以包括用于实现系统710和数据库系统720的计算机系统。该计算机系统可包括膝上型计算机、台式计算机、中央服务器、分布式计算系统等。处理器可以是硬件处理器，例如中央处理单元(CPU)、图形处理单元(GPU)、通用处理单元(可以是单核或多核处理器)、用于并行处理的多个处理器，以细粒度空间架构的形式，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或一个或多个高级RISC机器(ARM)处理器。处理器可以是任何合适的集成电路，例如计算平台或微处理器、逻辑设备等。尽管参考处理器描述了本公开内容，但是其他类型的集成电路和逻辑设备也可适用。处理器或机器可能不受数据操作能力的限制。处理器或机器可以执行512位、256位、128位、64位、32位或16位数据操作。
成像标准化系统700可以包括一个或多个数据库。一个或多个数据库720可以利用任何合适的数据库技术。例如，结构化查询语言(SQL)或“NoSQL”数据库可用于存储MR图像数据、原始图像数据、合成参考图像数据、训练数据集、训练的模型、目标样式、样式或形式的特征等。一些数据库可以使用各种标准数据结构来实现，例如阵列、哈希、(链接的)列表、结构、结构化文本文件(例如，XML)、表格、JSON、NOSQL等。这样的数据结构可以存储在存储器和/或(结构化)文件中。在另一个替代方案中，可以使用面向对象的数据库。对象数据库可包含许多对象集合，这些对象集合通过通用属性分组和/或链接在一起；它们可能通过某些公共属性与其他对象集合相关。面向对象的数据库的执行类似于关系数据库，不同的是对象不仅是数据片段，而且还可能具有封装在给定对象中的其他类型的功能。如果本公开内容的数据库被实现为数据结构，则本公开内容的数据库的使用可以被集成到另一个组件中，例如本发明的组件。而且，数据库可以实现为数据结构、对象和关系结构的混合。数据库可以通过标准数据处理技术进行整合和/或分布。数据库的部分，例如表格，可以被导出和/或导入，从而分散和/或集成。
网络730可以在MRI系统中的各种组件之间建立连接以及成像标准化系统到外部系统(例如，数据库、服务器、MRI系统等)的连接。网络730可以包括使用无线和/或有线通信系统的局域网和/或广域网的任何组合。例如，网络730可以包括互联网以及移动电话网络。在一个实施方式中，网络730使用标准通信技术和/或协议。因此，网络730可以包括使用诸如以太网、802.11、微波接入全球互通(WiMAX)、2G/3G/4G移动通信协议、异步传输模式(ATM)、无限宽带、PCI Express高级交换等技术的链路。网络730上使用的其他网络协议可包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络交换的数据可使用包括二进制形式的图像数据(例如，便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等)的技术和/或格式来表示。此外，所有或部分链路可使用常规的加密技术进行加密，例如安全套接字层(SSL)、传输层安全性(TLS)、互联网协议安全性(IPsec)等。在另一个实施方式中，网络上的实体可使用定制的和/或专用的数据通信技术来代替或补充上述技术。
每当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“至少”、“大于”或“大于或等于”应用于该系列数值中的每个数值。例如，大于或等于1、2或3相当于大于或等于1、大于或等于2或者大于或等于3。
每当术语“不超过”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值之前时，术语“不超过”、“小于”或“小于或等于”应用于该系列数值中的每个数值。例如，小于或等于3、2或1相当于小于或等于3、小于或等于2或者小于或等于1。
如本文所用，A和/或B包含A或B中的一个或多个，及其组合，例如A和B。应当理解，尽管术语“第一”、“第二”、“第三”等在本文中用于描述各种元件、组件、区域和/或部分，但是这些元件、组件、区域和/或部分不应受这些术语的限制。这些术语仅用于区分一个元素、组件、区域或部分与另一元素、组件、区域或部分。因此，在不脱离本发明的教导的情况下，本文中讨论的第一元件、组件、区域或部分可以被称为第二元件、组件、区域或部分。
本文使用的术语仅出于描述特定实施方式的目的，而非意在限制本发明。如本文所用，除非上下文另外明确指出，单数形式“一个”、“一种”和“该”包括复数个指代物。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”或“包括”和/或“包括”指定所陈述的特征、区域、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、区域、整体、步骤、操作、元件、组件和/或其组合的存在或添加。
在整个说明书中，对“一些实施方式”或“一个实施方式”的引用表示结合该实施方式描述的特定特征、结构或特性包括在至少一个实施方式中。因此，在整个说明书中各处出现的短语“在一些实施方式中”或“在一个实施方式中”不一定都指的是同一个实施方式。此外，在一个或多个实施方式中，可以以任何合适的方式来组合特定特征、结构或特性。
虽然本文已经示出并描述了本发明的优选实施方式，但是对于本领域技术人员显而易见的是，这些实施方式仅以示例的方式提供。这并不意味着本发明受到本说明书中提供的具体示例的限制。虽然已经参考前述说明书描述了本发明，但是本文中对实施方式的描述和阐述并不旨在解释为限制性意义。本领域技术人员在不脱离本发明的情况下现将想到多种变化、改变和替代。此外，应当理解，本发明的所有方面并不限于本文根据各种条件和变量所提出的具体描述、配置或相对比例。应当理解，本文所述的本发明实施方式的各种替代方案可用于实施本发明。因此，预计本发明还应涵盖任何这样的替代方案、修改、更改或等同物。以下权利要求旨在限定本发明的范围，并由此涵盖这些权利要求范围内的方法和结构及其等同物。

Claims (20)

1.一种用于在多个供应商之间变换磁共振(MR)成像的计算机实现的方法，包括：
(a)获得训练数据集，其中所述训练数据集包括成对数据集和未成对数据集，并且其中所述训练数据集包括使用两个或更多个MR成像设备获取的图像数据；
(b)使用所述训练数据集训练一深度网络模型；
(c)获得一输入的MR图像；以及
(d)使用所述深度网络模型将所述输入的MR图像变换为目标图像样式。
2.根据权利要求1所述的计算机实现的方法，其中所述两个或更多个MR成像设备由两个或更多个不同的供应商提供。
3.根据权利要求1所述的计算机实现的方法，其中使用所述两个或更多个MR成像设备获取的对应图像数据在对比度、分辨率和图像失真中的至少一项中不同。
4.根据权利要求1所述的计算机实现的方法，其中所述目标图像样式是基于一组预定规则来预定或选择的。
5.根据权利要求4所述的计算机实施的方法，其中所述目标图像样式包括一个或多个特征，所述一个或多个特征包括对比度、分辨率或图像失真。
6.根据权利要求1所述的计算机实现的方法，其中所述目标图像样式与一MR成像设备的图像样式一致，该MR成像设备不同于用于获取所述输入的MR图像的所述MR成像设备。
7.根据权利要求1所述的计算机实现的方法，其中所述成对数据集包括使用第一MR成像设备获取的参考图像数据和使用不同于所述第一MR成像设备的第二MR成像设备获取的原始图像数据。
8.根据权利要求1所述的计算机实现的方法，其中训练所述深度网络模型包括使用监督训练方法，并且使用非监督训练方法进一步增强所述深度网络模型。
9.根据权利要求1所述的计算机实现的方法，其中所述非监督训练方法包括使用循环生成对抗网络。
10.根据权利要求1所述的计算机实现的方法，其中所述深度学习模型包括U-net神经网络结构。
11.根据权利要求1所述的计算机实现的方法，其中所述目标图像样式是经由图形用户界面接收的。
12.一种非暂时性计算机可读存储介质，其包括指令，当所述指令由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作，所述操作包括：
(a)获得训练数据集，其中所述训练数据集包括成对数据集和未成对数据集，并且其中所述训练数据集包括使用两个或更多个MR成像设备获取的图像数据；
(b)使用所述训练数据集训练一深度网络模型；
(c)获得一输入的MR图像；以及
(d)使用所述深度网络模型将所述输入的MR图像变换为目标图像样式。
13.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述两个或更多个MR成像设备由两个或更多个不同的供应商提供。
14.根据权利要求12所述的非暂时性计算机可读存储介质，其中使用所述两个或更多个MR成像设备获取的对应图像数据在对比度、分辨率和图像失真中的至少一项中不同。
15.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述目标图像样式是基于一组预定规则来预定或选择的。
16.根据权利要求15所述的非暂时性计算机可读存储介质，其中所述目标图像样式包括一个或多个特征，所述一个或多个特征包括对比度、分辨率或图像失真。
17.根据权利要求12所述的非暂时性计算机可读存储介质，其中，所述目标图像样式与一MR成像设备的图像样式一致，该MR成像设备不同于用于获取所述输入的MR图像的所述MR成像设备。
18.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述成对数据集包括使用第一MR成像设备获取的参考图像数据和使用不同于所述第一MR成像设备的第二MR成像设备获取的原始图像数据。
19.根据权利要求12所述的非暂时性计算机可读存储介质，其中训练所述深度网络模型包括使用监督训练方法，并且使用非监督训练方法进一步增强所述深度网络模型。
20.根据权利要求12所述的非暂时性计算机可读存储介质，其中所述目标图像样式是经由图形用户界面接收的。
CN201980030732.6A 2018-06-15 2019-06-14 使用深度学习进行磁共振成像标准化的系统和方法 Pending CN112313668A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862685774P 2018-06-15 2018-06-15
US62/685,774 2018-06-15
PCT/US2019/037235 WO2019241659A1 (en) 2018-06-15 2019-06-14 Systems and methods for magnetic resonance imaging standardization using deep learning

Publications (1)

Publication Number Publication Date
CN112313668A true CN112313668A (zh) 2021-02-02

Family

ID=68843209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980030732.6A Pending CN112313668A (zh) 2018-06-15 2019-06-14 使用深度学习进行磁共振成像标准化的系统和方法

Country Status (4)

Country Link
US (2) US11550011B2 (zh)
EP (1) EP3807814A4 (zh)
CN (1) CN112313668A (zh)
WO (1) WO2019241659A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744850A (zh) * 2021-09-06 2021-12-03 上海康达卡勒幅医疗科技有限公司 非配对多中心磁共振数据和谐化方法、存储介质及应用
CN117689966A (zh) * 2024-02-04 2024-03-12 中国科学院深圳先进技术研究院 一种基于量子贝叶斯神经网络的磁共振图像分类方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241659A1 (en) 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
EP3939003B1 (en) 2019-03-12 2024-04-03 Bayer HealthCare, LLC Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof
ES2955349T3 (es) 2019-09-18 2023-11-30 Bayer Ag Predicción de imágenes MRI mediante un modelo de predicción entrenado por aprendizaje supervisado
CA3154650A1 (en) 2019-09-18 2021-03-25 Bayer Aktiengesellschaft Generation of mri images of the liver
JP7535575B2 (ja) 2019-09-18 2024-08-16 バイエル、アクチエンゲゼルシャフト 組織特性を予測、予想、および／または査定するためのシステム、方法、およびコンピュータプログラム製品
US20230120273A1 (en) 2019-10-11 2023-04-20 Bayer Aktiengesellschaft Acceleration of mri examinations
DE102019220456A1 (de) * 2019-12-20 2021-06-24 Siemens Healthcare Gmbh Medizinische Bilddaten für longitudinale Studien
US11080834B2 (en) * 2019-12-26 2021-08-03 Ping An Technology (Shenzhen) Co., Ltd. Image processing method and electronic device
US11348243B2 (en) * 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks
US12027254B2 (en) * 2020-02-21 2024-07-02 Siemens Healthineers Ag Multi-contrast MRI image reconstruction using machine learning
CN112465007B (zh) * 2020-11-24 2023-10-13 深圳市优必选科技股份有限公司 目标识别模型的训练方法、目标识别方法及终端设备
AU2021430556A1 (en) 2021-03-02 2023-08-31 Bayer Aktiengesellschaft Machine learning in the field of contrast-enhanced radiology
CA3215244A1 (en) 2021-03-09 2022-09-15 Bayer Aktiengesellschaft Machine learning in the field of contrast-enhanced radiology
CN113689348B (zh) * 2021-08-18 2023-12-26 中国科学院自动化研究所 多任务图像复原方法、系统、电子设备及存储介质
CN113706558A (zh) * 2021-09-06 2021-11-26 联想(北京)有限公司 图像分割方法、装置及计算机设备
CN114359360B (zh) * 2022-03-17 2022-06-10 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN115170401A (zh) * 2022-04-27 2022-10-11 腾讯医疗健康(深圳)有限公司 图像补全方法、装置、设备及存储介质
CN117408330B (zh) * 2023-12-14 2024-03-15 合肥高维数据技术有限公司 面向非独立同分布数据的联邦知识蒸馏方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732249A (zh) * 2015-03-25 2015-06-24 武汉大学 基于流行学习和混沌粒子群的深度学习图像分类方法
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN106555788A (zh) * 2016-11-11 2017-04-05 河北工业大学 基于模糊处理的深度学习在液压装备故障诊断中的应用
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN107610193A (zh) * 2016-06-23 2018-01-19 西门子保健有限责任公司 使用深度生成式机器学习模型的图像校正
CN108062572A (zh) * 2017-12-28 2018-05-22 华中科技大学 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10734116B2 (en) * 2011-10-04 2020-08-04 Quantant Technology, Inc. Remote cloud based medical image sharing and rendering semi-automated or fully automated network and/or web-based, 3D and/or 4D imaging of anatomy for training, rehearsing and/or conducting medical procedures, using multiple standard X-ray and/or other imaging projections, without a need for special hardware and/or systems and/or pre-processing/analysis of a captured image data
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
WO2015171056A1 (en) 2014-05-04 2015-11-12 Spectronic Ab Method for generating synthetic electron density information for dose calculations based on mri
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US20180144244A1 (en) * 2016-11-23 2018-05-24 Vital Images, Inc. Distributed clinical workflow training of deep learning neural networks
US11003988B2 (en) * 2016-11-23 2021-05-11 General Electric Company Hardware system design improvement using deep learning algorithms
US10127659B2 (en) 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10753997B2 (en) 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10803555B2 (en) * 2017-08-31 2020-10-13 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
US10482600B2 (en) * 2018-01-16 2019-11-19 Siemens Healthcare Gmbh Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging
WO2019241659A1 (en) 2018-06-15 2019-12-19 Subtle Medical, Inc. Systems and methods for magnetic resonance imaging standardization using deep learning
CN109325985B (zh) * 2018-09-18 2020-07-21 上海联影智能医疗科技有限公司 磁共振图像重建方法、装置和计算机可读存储介质
CA3124755A1 (en) * 2018-12-26 2020-07-02 Analytics For Life Inc. Methods and systems to configure and use neural networks in characterizing physiological systems
US20200394459A1 (en) * 2019-06-17 2020-12-17 Nvidia Corporation Cell image synthesis using one or more neural networks
US11097128B2 (en) * 2019-07-16 2021-08-24 Elekta Ab (Publ) Radiotherapy treatment plans using differentiable dose functions
US11348243B2 (en) * 2020-01-24 2022-05-31 GE Precision Healthcare LLC Systems and methods for medical image style transfer using deep neural networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160203599A1 (en) * 2013-08-13 2016-07-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN104732249A (zh) * 2015-03-25 2015-06-24 武汉大学 基于流行学习和混沌粒子群的深度学习图像分类方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN107610193A (zh) * 2016-06-23 2018-01-19 西门子保健有限责任公司 使用深度生成式机器学习模型的图像校正
CN106555788A (zh) * 2016-11-11 2017-04-05 河北工业大学 基于模糊处理的深度学习在液压装备故障诊断中的应用
CN107122798A (zh) * 2017-04-17 2017-09-01 深圳市淘米科技有限公司 基于深度卷积网络的引体向上计数检测方法及装置
CN108062572A (zh) * 2017-12-28 2018-05-22 华中科技大学 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ENHAO GONG ET AL.: "Creating Standardized MR Images with Deep Learning to Improve Cross-Vendor Comparability", HTTPS://CDS.ISMRM.ORG/PROTECTED/18MPROCEEDINGS/PDFFILES/0357.HTML, pages 1 - 4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744850A (zh) * 2021-09-06 2021-12-03 上海康达卡勒幅医疗科技有限公司 非配对多中心磁共振数据和谐化方法、存储介质及应用
CN117689966A (zh) * 2024-02-04 2024-03-12 中国科学院深圳先进技术研究院 一种基于量子贝叶斯神经网络的磁共振图像分类方法
CN117689966B (zh) * 2024-02-04 2024-05-24 中国科学院深圳先进技术研究院 一种基于量子贝叶斯神经网络的磁共振图像分类方法

Also Published As

Publication number Publication date
US20210063518A1 (en) 2021-03-04
US20230162043A1 (en) 2023-05-25
EP3807814A4 (en) 2022-03-16
US11550011B2 (en) 2023-01-10
EP3807814A1 (en) 2021-04-21
WO2019241659A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN112313668A (zh) 使用深度学习进行磁共振成像标准化的系统和方法
US11715179B2 (en) Systems and methods for improving magnetic resonance imaging using deep learning
US20210012486A1 (en) Image synthesis with generative adversarial network
Gros et al. SoftSeg: Advantages of soft versus binary training for image segmentation
Giraud et al. An optimized patchmatch for multi-scale and multi-feature label fusion
KR20220069106A (ko) 이미지 향상을 위해 자기-주의 심층 학습을 사용하는 시스템들 및 방법들
US20220343496A1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
Maruyama et al. Comparison of medical image classification accuracy among three machine learning methods
Ismail et al. A fast stochastic framework for automatic MR brain images segmentation
Ghosh et al. Chaotic firefly algorithm-based fuzzy C-means algorithm for segmentation of brain tissues in magnetic resonance images
WO2021041125A1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
WO2023081095A1 (en) Systems and methods for multi-contrast multi-scale vision transformers
Kumar et al. Structural similarity based anatomical and functional brain imaging fusion
CN116157826A (zh) 深度无监督的图像质量增强
Mandle et al. Brain tumor segmentation and classification in MRI using clustering and kernel-based SVM
Sauwen et al. The successive projection algorithm as an initialization method for brain tumor segmentation using non-negative matrix factorization
US20240031514A1 (en) Medical spectroscopy and imaging analysis
US20230005158A1 (en) Medical image segmentation and atlas image selection
Zhao et al. AI-powered radiomics algorithm based on slice pooling for the glioma grading
Hu et al. Brain deformable registration using global and local label-driven deep regression learning in the first year of life
Lyu et al. Multi-modality MRI fusion with patch complementary pre-training for internet of medical things-based smart healthcare
Raj et al. SpFusionNet: deep learning-driven brain image fusion with spatial frequency analysis
Gupta et al. Quality assessment of brain MRI scans using a dense neural network model and image metrics
Syamala et al. Brain MRI image bias correction using generative adversarial network
EP4266074A1 (en) Segmentation of medical images reconstructed from a set of magnetic resonance images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042333

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20230718

Address after: Room 0122, Room 2013, Building 10, Xingguang Mingzuo Jiayuan, No. 131, Xiangxiu Road, Dongshan Street, Yuhua Block, China (Hunan) Pilot Free Trade Zone, Changsha, Hunan Province

Applicant after: Changsha Subtle Medical Technology Co.,Ltd.

Address before: California, USA

Applicant before: Shentou medical Co.

TA01 Transfer of patent application right