CN116097302A - 用于病灶检测的利用联合训练的连接式机器学习模型 - Google Patents

用于病灶检测的利用联合训练的连接式机器学习模型 Download PDF

Info

Publication number
CN116097302A
CN116097302A CN202180053816.9A CN202180053816A CN116097302A CN 116097302 A CN116097302 A CN 116097302A CN 202180053816 A CN202180053816 A CN 202180053816A CN 116097302 A CN116097302 A CN 116097302A
Authority
CN
China
Prior art keywords
lesion
neural network
convolutional neural
type
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180053816.9A
Other languages
English (en)
Inventor
宋庄
N·G·T·本特松
R·A·D·卡拉诺
D·B·克莱顿
A·S·J·钱皮恩·德克雷斯皮尼
L·盖塔诺
A·P·克里什南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Genentech Inc
Original Assignee
F Hoffmann La Roche AG
Genentech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG, Genentech Inc filed Critical F Hoffmann La Roche AG
Publication of CN116097302A publication Critical patent/CN116097302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本文公开的实施例总体上涉及用于病灶检测的利用联合训练的连接式机器学习模型。特别地，本公开的方面涉及：访问三维磁共振成像(MRI)图像，其中所述三维MRI图像描绘受试者的脑部的区域，其中所述脑部的所述区域包括至少第一类型的病灶和第二类型的病灶；将所述三维MRI图像输入到包括第一卷积神经网络和第二卷积神经网络的机器学习模型中；使用将所述三维MRI图像作为输入的所述第一卷积神经网络来生成针对所述第一类型的病灶的第一分割掩模；使用将所述三维MRI图像作为输入的所述第二卷积神经网络来生成针对所述第二类型的病灶的第二分割掩模；以及输出所述第一分割掩模和所述第二分割掩模。

Description

用于病灶检测的利用联合训练的连接式机器学习模型
相关申请的交叉引用
本申请要求美国临时专利申请号的权益和优先权：63/073,686(于2020年9月2日提交)，该文献出于所有目的通过引用其整体被并入本文。
背景技术
多发性硬化症(MS)是一种影响中枢神经系统的疾病。由于该疾病，MS患者的脑部中会形成病灶。绝大多数时候，MS最初表现为复发缓解型MS，其特征是空间和时间上的分离。例如，受试者可能经历影响不同身体区域和/或不同功能系统的多个症状发作。作为另一示例，受试者可能在中枢神经系统的不同部分中经历病灶。作为又一示例，受试者可能在不对应于该系统的脑部区域中经历症状并具有病灶。随着时间的推移，MS受试者的病灶大小和计数经常增加，反映出疾病的恶化。复发缓解型MS通常最终会进展为继发进展型MS，在此期间观察到症状和脑部健康的逐渐恶化，而不是离散的症状复发和恢复发作。类似地，原发进展型MS的特征是逐渐的症状恶化和脑部退化，尽管该诊断只适用于先前未经历过复发-缓解形式的受试者。
磁共振成像(MRI)可以提供新(造影增强)病灶、旧病灶和脑萎缩(经由脑部大小变化)的可视化。这些度量是用于支持MS诊断、促进MS预后、选择MS治疗和评估MS治疗的基础。MRI图像是使用MRI序列生成的，MRI序列是导致特定图像外观的射频脉冲和梯度的特定设定。三种主要的MRI序列类型包括T1序列、T2序列和流体衰减反转恢复(FLAIR)序列。
T1 MRI可以被相对快速地收集并提供结构信息。黑洞(其是指示轴突破坏和神经元死亡的斑块)在T1扫描中显示为黑暗。T2 MRI通常用于显示总体疾病负担。新旧病灶在T2扫描中显示为高信号区。FLAIR MRI与T2 MRI相似，不同在于脑室和脑脊液在FLAIR MRI中变暗(而它们在T2 MRI中是明亮的)。因此，出现在脑室附近(例如，脑胼胝体中)的病灶在FLAIR MRI中更明显。
在一些情况下，将造影剂(例如，钆)施用于受试者(例如，静脉内)，然后收集一次或多次MRI扫描以提高活动性病灶的可见性。如果血脑屏障完好无损，则造影剂不会进入到中枢神经系统中。如果血脑屏障被破坏，则造影剂可能穿越到中枢神经系统中并将定位在炎症区域中。造影剂在T1 MRI中将显示为高信号。
传统上，放射科医生会对MRI扫描进行手动注释。然而，考虑到除序列类型上的差异之外还针对不同的深度和视角收集扫描，有许多扫描要进行注释。此外，注释中存在因放射科医生而异的高度可变性。因此，确定一种可以处理MRI图像的自动化技术以便提高效率和一致性将是有利的。
发明内容
在一些实施例中，提供了一种计算机实现方法。访问三-维磁共振成像(MRI)图像。三-维MRI图像描绘受试者的脑部的区域，该区域包括至少第一类型的病灶(例如，T1非增强型病灶)和第二类型的病灶(T1Gd-增强型病灶)。将三维MRI图像输入到包括第一卷积神经网络和第二卷积神经网络的机器学习模型中。利用第一卷积神经网络的一个或多个层与第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接，将第一卷积神经网络连接到第二卷积网络。使用将三维MRI图像作为输入的第一卷积神经网络，生成针对第一类型的病灶的第一分割掩模。第一分割掩模包括围绕第一类型的病灶的描绘的第一估计的分割边界。使用将三维MRI图像作为输入的第二卷积神经网络，生成针对第二类型的病灶的第二分割掩模。第二分割掩模包括围绕第二类型的病灶的描绘的第二估计的分割边界。并行生成第一分割掩模和第二分割掩模，并且在第一分割掩模和第二分割掩模生成时跨该一个或多个交叉网络连接共享提取特征集。输出第一分割掩模和第二分割掩模。
在一些实施例中，利用从第一卷积神经网络的编码块到第二卷积神经网络的编码块的一个或多个交叉网络连接，将第一卷积神经网络连接到第二卷积神经网络。
在一些实施例中，利用从第一卷积神经网络的解码块到第二卷积神经网络的解码块的一个或多个交叉网络连接，将第一卷积神经网络连接到第二卷积神经网络。
在一些实施例中，交叉网络连接中的每一个包括特征变换块和压缩块。
在一些实施例中，计算机实现的方法可以涉及通过组合来自第一分割掩模和第二分割掩模的信息来生成最终图像掩模。最终图像掩模包括围绕代表第一类型的病灶和第二类型的病灶的组合的新病灶集的描绘的估计的分割边界。输出最终图像掩模。
在一些实施例中，使用包括Tversky损失和加权二元交叉熵损失的组合的损失函数来训练第一卷积神经网络和第二卷积神经网络。
在一些实施例中，第一卷积神经网络包括使用训练数据集识别的多个模型参数，该训练数据集包括多个医学图像，该多个医学图像具有与围绕不同类型的病灶的描绘的分割边界相关联的注释，该不同类型的病灶包括第一类型的病灶和第二类型的病灶。基于最小化损失函数，使用训练数据集来识别该多个模型参数。
在一些实施例中，第二卷积神经网络包括使用训练数据集识别的多个模型参数。第二卷积神经网络与第一卷积神经网络一起被联合训练，使得基于最小化损失函数，使用训练数据集来协同地识别第二卷积神经网络的该多个模型参数。
在一些实施例中，损失函数进一步包括针对以下的惩罚项：第一类型的病灶与第二类型的病灶之间的任何重叠以及来自第一卷积神经网络和第二卷积神经网络的假阳性的贡献。
在一些实施例中，第一卷积神经网络和第二卷积神经网络为U-Net。
在一些实施例中，第一卷积神经网络包括三层编码块和解码块。
在一些实施例中，第二卷积神经网络包括三层编码块和解码块。
在一些实施例中，三维MRI图像包括沿通道维度堆叠的多个连续切片。切片包括：使用第一类型的MRI序列(例如，T1造影后)生成的第一三维MRI切片、使用第二类型的MRI序列(例如，T1造影前)生成的第二三维MRI切片以及使用第三类型的MRI序列(例如，流体衰减反转恢复)生成的第三三维MRI切片。
在一些实施例中，将第一三维MRI切片和第二三维切片进行归一化以捕获造影增强。归一化包括使用第二三维切片的平均和标准偏差对第一三维MRI切片容积和第二三维切片容积两者进行z评分。
在一些实施例中，计算机实现的方法可以包括：使用第一分割掩模来确定第一类型的病灶的数量的计数，并且使用第二分割掩模来确定第二类型的病灶的数量的计数。
在一些实施例中，计算机实现的方法可以包括：使用第一分割掩模来确定第一类型的病灶的数量的计数，使用第二分割掩模来确定第二类型的病灶的数量的计数，和/或使用最终图像掩模来确定新病灶集内的病灶的数量的计数。
在一些实施例中，计算机实现的方法可以包括：使用第一分割掩模、第二分割掩模和/或最终图像掩模来确定一个或多个病灶大小或者病灶负荷。
在一些实施例中，计算机实现的方法可以包括：访问对应于先前MRI的数据；使用第一分割掩模、第二分割掩模和/或最终图像掩模以及该数据来确定一个或多个病灶的量、大小或累积大小的变化；以及生成表示该变化的输出。
在一些实施例中，计算机实现的方法可以包括：基于第一分割掩模、第二分割掩模和/或最终图像掩模来建议改变治疗策略。
在一些实施例中，计算机实现的方法可以包括：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模来提供对应于多发性硬化症受试者的可能或经确认的诊断的输出。
在一些实施例中，计算机实现的方法可以包括：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模来诊断患有多发性硬化症的受试者。
在一些实施例中，计算机实现的方法可以包括：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模来评估和/或预测治疗应答。
在一些实施例中，提供了一种计算机实现方法。访问三-维MRI图像。三维MRI图像描绘受试者的脑部的区域，该区域包括至少第一类型的病灶和第二类型的病灶。将三维MRI图像输入到包括连接到第二卷积神经网络的第一卷积神经网络的机器学习模型中。使用将三维MRI图像作为输入的第一卷积神经网络，生成针对第一类型的病灶的第一分割掩模。使用将三维MRI图像上的第一分割掩模作为输入的第二卷积神经网络，生成针对第二类型的病灶的第二分割掩模。通过组合来自第一分割掩模和第二分割掩模的信息来生成最终图像掩模。最终图像掩模包括围绕第一类型的病灶的描绘的第一估计的分割边界和/或围绕第二类型的病灶的描绘的第二估计的分割边界。输出最终图像掩模。
本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。该系统可进一步包括包含指令的非暂时性计算机可读存储介质，该指令当在一个或多个数据处理器上被执行时，使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。
在一些实施例中，提供了一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品。该计算机程序产品可以包括指令，该指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。
附图说明
图1示出了根据各种实施例的示例性计算环境，该计算环境用于使用具有多个连接的网络的模型来分割图像内的不同类型病灶的描绘。
图2示出了根据各种实施例的示例性模型，该模型包括用于分割非增强型病灶的描绘的第一经修改的U-Net以及用于分割Gd增强型病灶的描绘的第二经修改的U-Net。
图3示出了根据各种实施例的示例性过程环境，该过程环境用于使用具有多个连接的网络的模型来分割图像内的不同类型病灶的描绘。
图4示出了针对数据集的总T1非增强型病灶容积和总T1钆(Gd)增强型病灶容积的示例性直方图。
图5示出了与针对三名受试者的脑部的部分的磁共振成像(MRI)图像的地面真值进行比较的来自模型的示例性预测的病灶分割。
图6A示出了针对两个治疗组在三个时间点中的每一个处的T1 Gd增强型病灶计数的示例性结果。
图6B示出了来自使用经验方法的地面真值掩模和使用相同经验方法的模型预测的掩模的T1非增强型病灶计数的示例性结果。
具体实施方式
I.概述
本公开描述了用于医学图像的自动化病灶分割的技术。更具体地说，本公开的实施例提供了以下技术：该技术用于使用经联合训练的深度学习网络(深度学习网络之间具有连接)来分割医学图像(例如，造影前和造影后T1w图像)内的不同类型病灶(例如，非增强型病灶和钆(Gd)增强T1病灶)的描绘。
在MS中，已经开发了各种深度学习模型来分割T2高信号病灶的描绘，并且最近已经开发了单独的深度学习模型来分割T1 Gd增强型病灶的描绘。然而，使用两个独立的深度学习模型并不能充分捕获T1非增强型病灶类型和Gd增强型病灶类型的描绘的不相交/不重叠性质(尤其是对于具有低造影增强的病灶)，这会导致假阳性(FP)病灶的数量增加。由于病灶患病率和大小存在很大的不平衡，使用一种深度学习模型来分割多类别环境中的两种病灶的描绘是具有挑战性的，因为深度学习模型学会的是仅分割具有高患病率的病灶类型的描绘。此外，对于分割这两种类型的T1病灶的描绘所需的特征的重叠可能较少，因为它们在它们的形状特征上具有相当大的差异，并且在MS中可能不会表现为彼此相邻。
为了解决这些限制和问题，本实施例的用于自动化对象分割的技术利用经联合训练的多个(例如，两个或更多个)深度学习网络来分割不同类型病灶(诸如非增强型和Gd增强型T1病灶)的描绘。例如，数据处理系统访问三维MRI图像。三维MRI图像描绘受试者的脑部的区域，并且该脑部的该区域包括至少第一类型的病灶(例如，非增强型病灶)和第二类型的病灶(例如，Gd增强型病灶)。将三维MRI图像输入到包括多个连接的网络(诸如连接到第二卷积神经网络的第一卷积神经网络)的机器学习模型中。可以利用第一卷积神经网络的一个或多个层与第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接，将第一卷积神经网络连接到第二卷积神经网络。第一卷积神经网络被配置成使用三维MRI图像作为输入生成针对第一类型的病灶的第一分割掩模。第一分割掩模包括围绕第一类型的病灶的描绘的第一估计的分割边界。第二卷积神经网络被配置成使用三维MRI图像作为输入生成针对第二类型的病灶的第二分割掩模。第二分割掩模包括围绕第二类型的病灶的描绘的第二估计的分割边界。并行生成第一分割掩模和第二分割掩模，并且在第一分割掩模和第二分割掩模生成时跨交叉网络连接共享提取特征集。第一分割掩模和第二分割掩模可以被输出并在下游进行进一步分析(例如，用于使用第一分割掩模和第二分割掩模来确定每种类型的病灶的数量)。
II.用于分割医学图像的技术
图像分割是一种将图像分离成在不同的特征(如形状、大小、颜色等)中表现出相似性的部分的过程。对病灶描绘的分割允许身体的某个区域(例如，脑部)内的病灶的大小和位置的可视化，并且也可以为对处理的分析提供基础。长期以来，病灶分割的黄金标准是人工分割，其费时费力，因而不适合大型研究。已经进行了大量研究以尝试使病灶分割的过程完全或部分自动化。例如，图像分割技术(诸如阈值化、区域生长、模糊聚类、使用分水岭算法等)已被用于将异常组织(例如，病灶)的描绘与正常组织(诸如脑部的白质(WM)、灰质(GM)和脑脊液(CSF))的描绘分离。尽管如此，由于病灶描绘的形状、位置和大小的多样性，分割的过程仍然具有挑战性。
本文所述的是一种结合了以下模型的端到端方法：该模型使用多个三维卷积神经网络(CNN)来分割病灶的描绘并基于病灶分割(例如，T1 Gd增强型病灶分割)来提取治疗应答。开发的模型计算量小(例如，可在普通桌面计算设备上运行并按需返回预测，诸如，例如在几分钟内)，并且被设计用于适应三维扫描的复杂性、各种病灶类型之间的极度不平衡以及输入图像的异质性(例如，可变的密度和对象大小)。如本文所用，“扫描”是通过受试者身体的单个平面上的信号的图形表示。模型在病灶分割方面的性能与依赖于手动干预(例如，手动选择种子或手动识别边界框)的传统算法(诸如阈值法、基于边缘的分割法或基于区域的分割法)相当，并证明了与地面真相人工读数高度相关。
通过病灶分割获得的预测或病灶信息继而可以单独使用或结合其他因素使用，以确定病灶的数量(例如，T1非增强型病灶和/或T1 Gd增强型病灶的数量)，和/或确定一个或多个病灶大小或病灶负担(有时称为病灶负荷)。该方法也可用于评估治疗的临床功效和/或受试者的预后。该方法还可用于使用预测和数据来确定一个或多个病灶的量、大小或累积大小的变化，并生成表示该变化的输出。模型的输出可以进一步用于基于预测来建议改变治疗策略。该方法还可用于提供对受试者的诊断，例如，至少部分地基于预测来提供对应于多发性硬化症患者的可能或经确认的诊断的输出，或者至少部分地基于预测来诊断受试者患有多发性硬化症。
II.A.示例计算环境
图1示出了根据各种实施例的示例性计算环境100(即，数据处理系统)，该计算环境用于使用具有多个连接的网络的模型来分割图像内的不同类型病灶的描绘。如图1所示，在本示例中，由计算环境100执行的分割包括若干阶段：图像获取阶段105、模型训练阶段110、分割阶段115和分析阶段120。
图像获取阶段105包括用于获得受试者的各个部分的输入图像135(例如，MRI图像)的一个或多个成像系统130(例如，MRI成像系统)。成像系统130被配置成使用放射成像技术(诸如MRI等)来获得输入图像135。成像系统130能够基于与成像系统130中的每一种相关联的特征(例如，亮度、对比度和空间分辨率)来确定受试者内的各种结构和功能之间的差异，并且生成一系列二维图像。一旦扫描仪的计算机收集到一系列二维图像，这些二维图像就可通过计算机分析以数字方式“堆叠”在一起以重建受试者或受试者的一部分的三维图像。二维图像和/或重建的三维输入图像135允许更容易地识别和定位基本结构(例如，器官)以及可能的病灶或异常。每个二维图像和/或重建的三维输入图像135可以对应于会话时间和受试者并且描绘受试者的内部区域。每个二维图像和/或重建的三维输入图像135可以进一步具有标准化大小、分辨率和/或放大倍率。
模型训练阶段110构建并训练供其他阶段使用的一个或多个模型140a至140n(“n”表示模型的总数)(其在本文中可以单独地称为模型140或统称为模型140)。模型140可以是机器学习(“ML”)模型，其包括多个网络，诸如卷积神经网络(“CNN”)(例如起始神经网络、剩余神经网络(“Resnet”)、U-Net、V-Net)、单发多盒检测器(“SSD”)网络或递归神经网络(“RNN”)(例如长短期记忆(“LSTM”)模型或门控递归单元(“GRU”)模型)或它们的任何组合。模型140还可以是在根据图像的对象检测和/或分割中训练的任何其他合适的ML模型，诸如三维CNN(“3DCNN”)、动态时间规整(“DTW”)技术、隐马尔可夫模型(“HMM”)等，或者一种或多种此类技术的组合，例如CNN-HMM或MCNN(多尺度卷积神经网络)。计算环境100可以采用相同类型的模型或不同类型的模型来分割不同类型病灶的描绘。在某些情况下，模型140是用组合的非对称损失函数(例如，用于训练每个网络的Tversky损失和加权二元交叉熵(wBCE)损失的组合)来构造的。对于模型140内的网络的联合训练，除网络的损失之外，还可以针对病灶类型之间的任何重叠以及来自网络的假阳性的贡献添加惩罚项。
为了在该示例中训练模型140，生成训练图像145，方式为：获取数字图像、将图像分成用于训练的训练图像子集145a(例如，90％)和用于验证的训练图像子集145b(例如，10％)、预处理训练图像子集145a和训练图像子集145b、扩充训练图像子集145a，并且在一些情况下用标记150对训练图像子集145a进行注释。训练图像子集145a从一种或多种成像方式(例如，MRI T1、T2、质子密度(PD)和FLAIR)被获取。在一些情况下，训练图像子集145a从与一种或多种成像方式相关联的数据存储结构(诸如数据库、图像系统(例如，一个或多个成像系统130)等)被获取。每个图像描绘一个或多个病灶。
该分割可以随机地进行(例如，90％/10％或70％/30％)，或者该分割可以根据更复杂的验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)来进行，以最小化采样偏差和过拟合。预处理可以包括偏置场校正，其用于校正MRI图像数据中存在的低频强度非均一性(称为偏置或增益场)。在一些情况下，预处理可以包括使用刚性配准来识别到MNI模板图像(例如，MNI空间)的MRI基线图像变换。在一些情况下，预处理可以包括对基线和颅骨剥离的随访访视进行刚性配准。在一些情况下，预处理可进一步包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度)上。在一些情况下，图像用预定义像素的最小尺寸(宽度或高度)(例如，2500像素)或用预定义像素的最大尺寸(宽度或高度)(例如，3000像素)来调整大小，并且保持原始纵横比。
扩充可用于通过在数据集中创建图像的修改版本来人工地扩展训练图像子集145a的大小。可以通过在数据集中创建属于与原始图像相同类别的图像变换版本来执行图像数据扩充。变换包括来自图像操纵领域的一系列操作，诸如移位、翻转、缩放等。在一些情况下，这些操作包括随机擦除、移位、加亮、旋转、高斯模糊和/或弹性变换，以确保模型140能够在可从训练图像子集145a获得的那些环境之外的环境下执行。
注释可以由一个或多个人(注释者，诸如放射科医生或病理学家)手动执行，确认在训练图像子集145a的每个图像中存在一个或多个病灶的描绘，并且将标记150提供给该一个或多个病灶，例如，使用注释软件围绕由人确认包括该一个或多个病灶的描绘的区域绘制边界框(地面真值)或分割边界。在某些情况下，边界框或分割边界可以仅针对成为病灶的概率大于50％的实例绘制。对于由多个注释者注释的图像，可使用来自所有注释者的边界框或分割边界。在一些情况下，注释数据可以进一步指示病灶的类型。例如，对于各种类型的病灶，注释数据可以指示类型，诸如T2高信号病灶或T1低信号病灶。
在一些情况下，训练图像子集145可以被传输到注释器设备以被包括在训练数据集(即，训练图像子集145a)内。可以(例如，由放射科医生)使用(例如)鼠标、触控板、触笔和/或键盘为注释器设备提供输入，该输入指示(例如)：图像是否描绘目的对象(例如，病灶、器官等)；图像内描绘的病灶的数量和类型；以及图像内的每个描绘的病灶的周界(边界框或分割边界)。注释器设备可以被配置成使用所提供的输入来为每个图像生成标记150。例如，标记150可以包括：图像内描绘的病灶的数量和/或类型；针对每个描绘的病灶的类型分类；每个特定类型的描绘的病灶的数量；以及图像内的一个或多个识别的病灶的周界和/或掩模。在一些情况下，标记150可以进一步包括叠加到医学图像上的一个或多个识别的病灶的周界和/或掩模。
在一些情况下，模型140被训练并用于处理脑部的三维(3D)图像块(patch)的数字图像。训练数据包括：第一训练MRI图像子集，每个图像描绘一个或多个病灶的至少一部分；以及第二训练MRI图像子集，每个图像都没有任何病灶的描绘。训练数据可以包括使用不同MRI序列类型生成的图像。例如，训练数据集可以包括使用T1序列、T2序列和FLAIR序列生成的三维MRI图像。训练数据可以包括用于描绘病灶的MRI图像和未描绘病灶的MRI图像的标记。可以从接收自数据库或供应商系统的数据接收、识别或导出标记。标记数据可以包括(例如)：(对于单个图像)关于图像是否描绘病灶的至少一部分的指示、图像中至少部分地描绘的病灶的量、图像内描绘病灶的至少一部分的位置(例如，特定体素)、图像内的特定位置处或图像内至少部分地描绘的病灶(例如，增强型病灶或非增强型病灶)的类型等。
用于训练模型140的训练数据可以包括：在将造影剂(诸如钆(Gd))施用于受试者之后收集的MRI图像；描绘一个或多个造影-增强型病灶(称为Gd增强型病灶)的至少一部分的MRI图像；在尚未将造影剂施用于受试者的情况下收集的MRI图像；在将造影剂施用于受试者之前收集的MRI图像；和/或未描绘任何造影-增强型病灶的MRI图像。例如，可以仅利用在最近尚未将造影剂施用于受试者的情况下收集的图像、仅利用在最近将造影剂施用于受试者之后收集的图像、或利用该两种类型的图像中的一些图像来训练模型140。应当理解，在一些情况下，在血脑屏障完好无损的情况下和/或当给定扫描未描绘造影剂移动到的脑部区域时，在施用造影剂之后收集的图像可能不会描绘任何增强型病灶。
在某些情况下，使用加权二元交叉熵(wBCE)损失或Tversky损失来训练模型140。Tversky损失可以减少预测中的假阳性，并且wBCE可以有助于识别较小的病灶。此外，可以使用Tversky损失和wBCE损失的组合来计算损失。可以针对Tversky损失使用以下等式(1)：
Figure BDA0004102398050000111
在上面的等式(1)中，pic是体素i属于病灶类别(例如，T1非增强、Gd增强)的模型预测的概率，并且
Figure BDA0004102398050000112
是体素不属于病灶类别的概率。类似地，gic和
Figure BDA0004102398050000113
指示体素是否属于地面真值注释中的病灶类别。β权衡来自假阳性(FP)的贡献，并且(1-β)权衡来自假阴性(FN)的贡献。可以针对wBCE使用以下等式(2)：
wBCE＝-(α*glog(p)+(1-g)log(1-p))   等式(2)
在上面的等式(2)中，g和p分别表示地面真值和模型预测的病灶掩模。可以添加wBCE损失以提高针对检测小病灶的敏感性。然而，wBCE可导致增加的FP。考虑到这一点，在Tversky损失项中，FP的权重可以大于FN。使用等式(3)来计算损失：
l＝TL+wBCE   等式(3)
对于联合训练，除针对该多个网络的损失之外，还可以使用如下所示的等式(4)来针对两种病灶类型的重叠以及来自网络的假阳性的贡献添加项：
ljoin＝α1lu+α2le+α3(pu*pe)+α4pu*(1-gu)+α5pe*(1-ge)   等式(4)
在上面的等式(4)中，lu和le对应于用于分割T1非增强型病灶和Gd增强型病灶的顶部模型和底部模型的损失，pu和gu对应于用于非增强型病灶的模型预测的掩模和地面真值(GT)掩模，并且pe和ge对应于用于Gd增强型病灶的模型预测的掩模和GT掩模。le的权重可以大于lu，以解释Gd增强型病灶的较低患病率。
模型140的训练过程包括为模型140选择超参数并且执行将来自图像子集145a的图像输入到模型140中的迭代操作，以找到使模型140的损失或误差函数最小化的一组模型参数(例如，权重和/或偏差)。超参数是可以被调整或优化以控制模型140的行为的设置。大多数模型明确地定义控制模型的不同方面(诸如存储器或执行成本)的超参数。然而，可以定义附加的超参数来使模型适应具体场景。例如，超参数可包括模型的隐藏单元的数量、模型的学习速率、模型的卷积核宽度或卷积核数量。训练的每次迭代可以涉及为模型140找到模型参数集(配置有定义的超参数集)，使得使用该模型参数集的损失或误差函数的值小于在先前迭代中使用不同的模型参数集的损失或误差函数的值。损失或误差函数可以被构造为测量使用模型140推断的输出与使用标记150注释到图像的地面真值分割边界之间的差异。
一旦识别出模型参数集，则模型140已经过训练，并且可以使用训练图像子集145b(测试或验证数据集)来验证该模型。验证过程包括以下迭代操作：使用验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)将来自训练图像子集145b的图像输入到模型140中，以调整超参数并最终找到最优超参数集。一旦获得最优超参数集，则将来自训练图像子集145b的保留图像测试集输入到模型140中以获得输出(在该示例中，围绕一个或多个病灶的描绘的分割边界)，并且使用相关技术(诸如Bland-Altman法和Spearman秩相关系数)并计算性能度量(诸如误差、准确度、精确度、召回率、接收器操作特征曲线(ROC)等)来相对于地面真值分割边界评估输出。
应当理解，其他训练/验证机制也是可以预期的，并且可以在计算环境100内实现。例如，可以对模型进行训练并且可以在来自训练图像子集145a的图像上调整超参数，并且来自训练图像子集145b的图像可以仅用于测试和评价模型的性能。此外，尽管本文所述的训练机制专注于训练新模型140，但这些训练机制也可用于微调从其他数据集训练的现有模型140。例如，在一些情况下，模型140可能已经使用其他对象或生物结构的图像或者来自其他受试者或研究(例如，人类试验或鼠类实验)的切片的图像进行了预训练。在那些情况下，模型140可用于转移学习，并且可以使用输入图像135来重新训练/验证该模型。
模型训练阶段110输出经训练的模型，包括一个或多个经训练的分割模型165，该一个或多个经训练的分割模型包括多个网络(例如，连接到第二U-Net的第一U-Net)。一个或多个医学输入图像135通过分割阶段115内的分割控制器170来获得。在各种情况下，医学输入图像135为三维MRI图像。三维MRI图像中的每一个描绘受试者的脑部的同一区域。该脑部的该区域包括至少第一类型的病灶(例如，T1非增强型病灶)和第二类型的病灶(例如，T1Gd增强型病灶)。每个三维MRI图像包括完整MRI图像的三维图像块。三维图像块可以是完整三维MRI图像的体素子集。在一些情况下，可以使用第一类型的MRI序列来生成第一三维MRI图像，该第一类型的MRI序列不同于用于生成第二三维MRI图像的第二类型的MRI序列。在某些情况下，使用不同的MRI序列获得的三维MRI图像可以被堆叠并同时用作分割模型165的输入。例如，使用不同的MRI序列(诸如FLAIR、T1造影前和T1造影后)生成的多个(例如，三个)连续切片可以沿通道维度被堆叠，并同时用作分割模型165的输入。
在一些情况下，三维MRI图像在被输入到分割模型165中之前被预处理。例如，FLAIR MRI图像可以进行强度重新缩放和z评分。此外，为了捕获T1造影后图像中的病灶的强度相对于T1造影前图像的增加，可以对容积进行联合归一化(例如，重新缩放以保持容积之间的强度关系)。可以使用造影前扫描中的脑部的平均和标准偏差来对两个容积进行z评分。如果序列内的相对造影对于给定输出任务是足够的，则T1造影后图像和T1造影前图像可以替代性地独立地通过z评分进行归一化(类似于FLAIR MRI图像)。
分割控制器170包括用于以下的过程：使用包括多个连接的网络的经训练的分割模型165来处理每个三维MRI图像。经训练的分割模型165可以被采用于扫描仪或作为云环境中的软件而被采用。在一些情况下，该多个连接的网络包括利用第一卷积神经网络的一个或多个层与第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接而连接到第二卷积神经网络的第一卷积神经网络。交叉网络连接可以促进第一类型的病灶(例如，非增强型病灶)的病灶特征影响对用于分割第二类型的病灶(例如，Gd增强型病灶)的特征的选择。在示例中，用于分割不同类型病灶的特征只是松散地耦合(主要针对大型或边缘增强型病灶)，因此交叉网络连接可以仅被添加在该多个连接的网络的收缩路径上，而不被添加在该多个连接的网络的扩展路径上。还可以添加特征变换(例如，3x3x3)和压缩(例如，1x1x1)块来调整第一类型的病灶的病灶特征，以使其相关来分割第二类型的病灶。压缩块可以包括卷积层、批量归一化层和激活层的集合。可以将压缩块的输出与针对第二卷积神经网络的处于第一卷积神经网络中的类似的级别的编码块的输出连结。然后可以将连结的特征作为输入提供给处于第二卷积神经网络的下一级的编码块来分割第二类型的病灶。
在一些实施例中，该多个连接的网络并行处理每个图像。如果并行处理每个图像，则该多个连接的网络同时或基本同时处理每个图像，并且在生成第一分割掩模和第二分割掩模期间跨该一个或多个交叉网络连接来共享提取特征集。使用交叉网络连接将用于分割第一类型的病灶(例如，T1非增强型病灶)的第一卷积神经网络连接到用于分割第二类型的病灶(例如，T1 Gd增强型病灶)的第二卷积神经网络(而不是相反或使用共享层)的这种设计配置是有利的。第二类型的病灶的患病率可能较低，因此在其他可能的配置中没有第二类型的病灶的情况下，可用信息可能很少。处理包括：使用将三维MRI图像作为输入的第一卷积神经网络，生成针对第一类型的病灶的第一分割掩模。第一分割掩模包括围绕第一类型的病灶的描绘的第一估计的分割边界。处理进一步包括：使用将三维MRI图像作为输入的第二卷积神经网络，生成针对第二类型的病灶的第二分割掩模。第二分割掩模包括围绕第二类型的病灶的描绘的第二估计的分割边界。分割控制器170可以通过组合来自第一分割掩模和第二分割掩模的信息来生成最终图像掩模175。最终图像掩模175包括围绕代表第一类型的病灶和第二类型的病灶的组合的新病灶集的描绘的估计的分割边界。分割控制器170进一步包括用于输出第一分割掩模、第二分割掩模和/或最终图像掩模175的过程。
在其他实施例中，该多个连接的网络以级联类型布置(例如，顺序地或基本上顺序地)处理每个图像，并且与来自先前网络的后续网络共享提取特征集。处理包括：(i)使用使用将三维MRI图像作为输入的第一卷积神经网络，生成针对第一类型的病灶的第一分割掩模，(ii)使用将三维MRI图像上的第一分割掩模作为输入的第二卷积神经网络，生成针对第二类型的病灶的第二分割掩模，以及(iii)通过组合来自第一分割掩模和第二分割掩模的信息来生成最终图像掩模175。最终图像掩模175包括围绕第一类型的病灶的描绘的第一估计的分割边界和/或围绕第二类型的病灶的第二估计的分割边界。分割控制器170进一步包括用于输出最终图像掩模175的过程。
第一分割掩模、第二分割掩模和/或最终图像掩模175可以被传输到分析阶段120内的分析控制器180。分析控制器180包括用于以下操作的过程：获得或接收第一分割掩模、第二分割掩模和/或最终图像掩模175，以及基于第一分割掩模、第二分割掩模和/或最终图像掩模175来确定分析结果185。分析控制器180可以进一步包括用于以下操作的过程：使用第一分割掩模来确定第一类型的病灶的数量，使用第二分割掩模来确定第二类型的病灶的数量，和/或使用最终图像掩模175来确定新病灶集内的病灶的数量。分析控制器180可以进一步包括用于以下操作的过程：使用第一分割掩模、第二分割掩模和/或最终图像掩模175来确定一个或多个病灶大小或者病灶负荷。分析控制器180可以进一步包括用于以下操作的过程：访问对应于先前MRI的数据，使用第一分割掩模、第二分割掩模和/或最终图像掩模175以及该数据来确定一个或多个病灶的量、大小或累积大小的变化，以及生成表示该变化的输出。分析控制器180可以进一步包括用于以下操作的过程：基于第一分割掩模、第二分割掩模和/或最终图像掩模175来建议改变治疗策略。分析控制器180可以进一步包括用于以下操作的过程：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模175来提供对应于多发性硬化症受试者的可能或经确认的诊断的输出。分析控制器180可以进一步包括用于以下操作的过程：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模175来诊断患有多发性硬化症的受试者。分析控制器180可以进一步包括用于以下操作的过程：至少部分地基于第一分割掩模、第二分割掩模和/或最终图像掩模175来评估和/或预测治疗应答。
应当理解，本文公开的机器学习模型可以被训练并用于检测各种类型的病灶的描绘。例如，可以检测非增强T2病灶，可以检测增强T1病灶等。在一些情况下，本文公开的机器学习模型可以被训练并用于检测黑洞。
在一些实施例中，可以使用血管跟踪来减少假阳性预测。血管可能导致针对Gd增强型病灶的相当大比例的假阳性。区域生长可用于具有处于T1造影后图像中的脑部内的体素的前三分之一百分位数(>＝第97)中的强度的体素。可以保留最大血管树，并且可以增强脑部的边界。可以移除与血管树重叠超过预定阈值(例如，30％)的病灶，以减少假阳性的数量。
虽然未明确示出，但是应当理解，计算环境100可以还包括与开发者相关联的开发者装置。从开发者设备到计算环境100的部件的通信可指示将用于模型的输入图像的类型、将使用的模型的数量和类型、每个模型的超参数(例如，学习速率和隐藏层的数量)、格式化数据请求的方式、将使用的训练数据(例如，以及获得对训练数据的访问的方式)和将使用的验证技术和/或将配置控制器处理的方式。
II.B.包括多个连接的网络的示例性模型
在图2所示的示例性实施例中，机器学习模型内的多个网络可以共同用于检测三维MRI图像中描绘的不同类型的病灶。图2示出了示例性模型200，其包括用于分割非增强型病灶的第一经修改的U-Net 205以及用于分割Gd增强型病灶的第二经修改的U-Net 210。经修改的U-Net 205、210相对浅，具有三级。经修改的U-Net 205、210各自包括收缩路径215(编码器)和扩展路径220(解码器)，其赋予网络U形架构。收缩路径215的每个编码块225由卷积(3x3x3内核)层、批量归一化层和修正线性单元(ReLU)激活层的两个集合组成。经修改的U-Net 205、210在训练期间使用丢弃层(dropout layer)来避免过度拟合和残差连接，以便于反向传播期间梯度的传播。随着每个尺度的特征图的数量逐渐增加，每个网络在收缩路径215中提取特征。使用具有各向异性内核230(1x3x3)的跨步卷积(stridedconvolution)对特征图进行下采样，以解决沿切片维度的有限覆盖。对应地，在收缩路径215中，使用插值层(interpolation layer)235对特征图进行上采样(1x2x2)。将来自收缩路径215的具有细粒度细节的跳过特征与经上采样的语义特征连结，并且使用与在收缩路径215中使用的残差卷积块类似的残差卷积块240来对组合的特征进行细化。使顶级处的解码块特征与来自中间级的经上采样的细化特征连结并通过最终的卷积层和激活层，以生成病灶分割概率。
经修改的U-Net 205、210通过从用于分割非增强型病灶的第一经修改的U-Net205的编码块到用于分割Gd增强型病灶的第二经修改的U-Net210的编码块的交叉网络连接245而链接。交叉网络连接245可以附加地将第一经修改的U-Net 205的解码块连接到第二经修改的U-Net 210的解码块。这些交叉网络连接245允许非增强型病灶特征影响Gd增强型病灶特征。提取的特征可以跨交叉网络连接245被共享，使得可以与用于Gd增强型病灶的描绘的第二分割掩模并行地生成用于非增强型病灶的描绘的第一分割掩模。使用交叉网络连接245将用于分割非增强型病灶的第一经修改的U-Net 205连接到用于分割Gd增强型病灶的第二经修改的U-Net 210(而不是相反或使用共享层)的这种设计配置是有利的。这是由于Gd增强型病灶的较低患病率，意味着在其他可能配置中没有Gd增强型病灶的情况下可能没有可用信息。此外，可以通过最小化损失函数来联合训练经修改的U-Net 205、210。针对病灶类型之间的任何重叠以及来自经修改的U-Net 205、210的假阳性的贡献，可以将惩罚项包括在损失函数中，导致针对较小和弱增强型病灶的减少的假阳性。
在示例中，用于分割不同类型病灶的特征只是松散耦合(主要针对大型或边缘增强型病灶)，因此交叉网络连接245仅被添加在收缩路径215上而不被添加扩展路径220上。还添加了特征变换(3x3x3)和压缩(1x1x1)块250来调整非增强型病灶特征，以使其相关来分割Gd增强型病灶。块250中的每一个包括卷积层、批量归一化层和激活层的集合。将压缩块250的输出与针对第二经修改的U-Net 210的处于与第一经修改的U-Net205中的225类似的级别的编码块的输出连结。然后将连结的特征作为输入提供给处于经修改的U-Net 210的下一级的编码块，以分割Gd增强型病灶。
II.C.示例性过程
图3示出了根据各种实施例的示例性过程环境，该过程环境用于使用具有多个连接的网络的模型来分割图像内的不同类型病灶的描绘。在框302处，访问描绘受试者的脑部的三维MRI图像。受试者的脑部包括至少第一类型的病灶(例如，T1非增强型病灶)和第二类型的病灶(例如，T1 Gd增强型病灶)。三维MRI图像可以由来自成像系统(例如，成像系统130)的分割控制器(例如，分割控制器170)访问。
在框304处，将三维MRI图像输入到机器学习模型中，该机器学习模型包括第一卷积神经网络(例如，第一经修改的U-Net 205)并且包括第二卷积神经网络(例如，第二经修改的U-Net 210)。利用第一卷积神经网络的一个或多个层与第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接，将第一卷积神经网络连接到第二卷积神经网络。交叉网络连接可以是从第一卷积神经网络的编码块到第二卷积神经网络的编码块。此外，交叉网络连接可以是从第一卷积神经网络的解码块到第二卷积神经网络的解码块。交叉网络连接中的每一个可以包括特征变换块和压缩块。
在框306处，使用将三维MRI图像作为输入的第一卷积神经网络来生成针对第一类型的病灶的第一分割掩模。第一分割掩模包括围绕第一类型的病灶的描绘的估计的分割边界。
在框308处，使用将三维MRI图像作为输入的第二卷积神经网络来生成针对第二类型的病灶的第二分割掩模。第二分割掩模包括围绕第二类型的病灶的描绘的第二估计的分割边界。并行生成第一分割掩模和第二分割掩模，并且在第一分割掩模和第二分割掩模生成时跨该一个或多个交叉网络连接共享提取特征集。
在框310处，输出第一分割掩模和第二分割掩模。可以使用第一分割掩模来确定第一类型的病灶的数量和/或可以使用第二分割掩模来确定第二类型的病灶的数量。可以使用第一分割掩模和/或第二分割掩模来确定一个或多个病灶大小或者病灶负荷。可以访问对应于先前MRI的数据，可以使用第一分割掩模和/或第二分割掩模以及该数据来确定一个或多个病灶的量、大小或累积大小的变化，并且可以生成表示该变化的输出。可以基于第一分割掩模和/或第二分割掩模来建议针对治疗策略的改变。附加地或替代性地，可以至少部分地基于第一分割掩模和/或第二分割掩模来提供对应于多发性硬化症受试者的可能或经确认的诊断的输出。可以至少部分地基于第一分割掩模和/或第二分割掩模来诊断患有多发性硬化症的受试者。在一些情况下，可以至少部分地基于第一分割掩模和/或第二分割掩模来评估和/或预测治疗应答。
III.实例
通过参考以下实例可以更好地理解在各种实施方案中实现的系统和方法。
III.A实例1.–病灶分割
利用深度学习来检测多发性硬化症临床试验中对T1 Gd增强型病灶负担的治疗应答。
III.A.i.背景技术
奥瑞组单抗(OCR)是一种人源化抗CD20+单克隆抗体，已获准用于治疗复发型和原发进展型MS。OCR抑制新的炎症区域的发展，如通过T1Gd增强型病灶的数量的减少所示。基于深度学习(DL)的病灶分割具有使这些手动读数自动化的潜力；从而实现更快和更可重现的量化。
III.A.ii.材料和方法
病灶分割模型是使用以下来开发的：复发缓解型多发性硬化症(RRMS)患者的两个相同的III期、多中心、随机化、双盲、双模拟和平行组试验的MRI数据集。(Opera 1:NCT01247324,n＝898；Opera 2:NCT01412333,n＝905)。数据是在来自不同制造商的1.5T(约0.8％)和3T(约0.2％)扫描仪上获取的。在基线、24周、48周和96周时执行标准化的常规脑部MRI，包括T1w(造影前后)、T2w、FLAIR和PD图像，其分辨率为约1x1x3mm3。在Gd注射前后(0.1mmol/kg，注射后延迟10分钟)获取轴向3mm T1加权切片(3D扰相梯度回波，重复时间＝28ms至30ms，回波时间＝5ms至11ms，翻转角度＝27至30)。在2D快速自旋回波、重复时间＝4000ms至6190ms、回波时间＝74ms至91ms并且回波链长度＝7至11的情况下获取轴向3mmT2加权切片。对MRI数据的预处理包括：偏置场校正、基线图像到MNI模板的刚性配准、对基线和颅骨剥离的随访访视的刚性配准。
作为试验的一部分收集的手动专家注释被用作用于训练分割模型的地面真值(GT)掩模。使用半自动化方法对T2高信号病灶进行分割，其中初始自动化分割由专家神经放射科医生手动校正以生成最终的T2病灶掩模。对T1低信号/非增强型病灶的初始分割包括T2病灶掩模内具有低于白质中的大多数体素的T1w强度的区域，并且未显示出对造影后扫描的Gd增强。然后由专家读者手动校正该初始掩模，以创建最终的T1非增强型病灶掩模。Gd增强型病灶是手动分割的。这里的造影增强被定义为造影后扫描上的强度增加至少20％，并且3个体素的最小大小阈值用于非增强型病灶和增强型病灶两者。新T1非增强型病灶是基于参考和随访时间点处的病灶分割的差异来识别的，并且随后由专家读者进行审查，以校正由于分割可变性和可能的错误配准造成的虚假差异。
III.A.iii.网络架构
在本文中相对于图2来示出和描述模型的网络结构。一般而言，模型包括用于分割非增强型病灶的第一经修改的U-Net以及用于分割Gd增强型病灶的第二经修改的U-Net。利用从第一经修改的U-Net的编码块到第二经修改的U-Net的编码块的多个交叉网络连接，将第一经修改的U-Net连接到第二经修改的U-Net。每个交叉网络连接包括特征变换块和压缩块。
III.A.iv.网络训练和后续推断
来自Opera I试验的图像用于联合训练网络，并且70％至30％的数据分割用于训练和验证。这些网络在来自Opera II试验的图像上进行测试。
对FLAIR图像进行强度重新缩放和z评分。为了捕获T1w造影后图像中的病灶的强度相对于造影前图像的增加，这些容积被联合归一化(即，被重新缩放以保持容积之间的强度关系)，并且使用造影前扫描中的脑部的平均和标准偏差对两个容积进行z评分。利用来自FLAIR图像、T1w造影前后图像的三个连续切片来训练这些模型，该三个连续切片沿通道维度堆叠以用作单个配置中的两个网络的输入。对于联合配置，用于分割T1 Gd增强型病灶的第二网络接收仅T1w造影前后图像，并且FLAIR相关信息主要沿交叉网络连接来传递。对于256x 256x 60的给定输入形状，使用滑动窗口法创建了三个切片的58个堆栈。只有包含任何病灶(非增强或Gd增强)的堆栈被保留在训练和验证集中。使用Adam优化器(初始学习率为1e-4，β1＝0.9，β2＝0.999)针对50个周期(epoch)并以批量大小6对网络参数进行优化。
由于非对称损失函数的较好性能以及从用于分割MS中的病灶的组合损失函数实现的潜在优点，创建Tversky损失(参见等式(1))和加权二元交叉熵(wBCE)损失(参见等式(2))的组合来训练各个网络。在实验中使用等式(3)对超参数α和β进行微调。对于联合训练，除针对两个网络的损失之外，还使用等式(4)针对两种病灶类型的任何重叠以及来自两个网络的假阳性的贡献添加惩罚项。
对于推断，以与训练期间相同的方式来处理多模态输入；将3D容积分成三个切片的堆栈，并针对所有堆栈获得模型预测。对于每一个切片，由于同一切片是如顶部切片、底部切片和中间切片的三个相邻堆栈的一部分，获得三个预测。预测的概率的阈值为0.5，并且使用多数表决将三个预测进行组合。这有助于减少假阳性，并且以不同的方式处理邻近末端的切片。使用TensorFlow中的Keras在Python中实现模型。
由于针对Gd增强型病灶的假阳性的相当大比例来自血管，因此执行了血管跟踪以减少假阳性。在具有处于T1造影后图像中的脑部内的体素的前三分之一百分位数(>＝第97)中的强度的体素上使用区域生长。保留最大血管树以及沿脑部边界的增强。移除与血管树重叠超过30％的任何病灶。
III.A.v.评价
针对其每个体素级处的分割性能以及病灶级处的检测性能对模型进行评价。平均Dice系数(DC)、阳性预测值(PPV)、敏感性、绝对容积差(AVD)以及预测的容积和GT容积的Pearson相关系数用作用于评价分割性能的度量。DC是用于测量预测的二元掩模和地面真值二元掩模的重叠的度量，并且通过等式(5)被定义为：
Figure BDA0004102398050000221
TP是对应于模型预测和地面真值掩模的重叠的真阳性，FP是假阳性，并且FN是假阴性。DC值的范围为从零到一，其中零表示没有重叠，并且一表示完全重叠。除总体平均DC之外，还评估了针对具有低总病灶负荷、中总病灶负荷和高总病灶负荷的容积的平均DC。
PPV或精确度是体素方面的TP与TP和FP之和的比率，并且是由模型正确预测的体素的比例的度量，如等式(6)中所示。
Figure BDA0004102398050000222
敏感性或召回率是TP与TP和FN之和的比率，并且是由模型正确分割的地面真值体素的百分比，如等式(7)中所示：
Figure BDA0004102398050000223
AVD是预测的容积和地面真值容积相对于地面真值容积的绝对差的分数。其给出由模型相对于地面真值容积的过度分割或分割不足的度量，如等式(8)中所示：
Figure BDA0004102398050000224
各个病灶被识别为地面真值掩模和预测的掩模中的连接的部件(具有18连接性内核)。对于被认为是真实病灶的检测到的病灶，其具有三个体素的最小大小并且与地面真值重叠至少10％。为了评价病灶检测性能，病灶PPV(LPPV)、病灶真阳性率(LTPR)、病灶假阳性率(LFPR)以及由模型预测的病灶数量与地面真值掩模中的病灶数量的Pearson相关系数被用作评价度量。对于除LFPR(其是对由模型预测的病灶当中的FP病灶的百分比的衡量)之外的所有检测度量都需要高值。
III.A.vi.重现成像终点
为了进行用以重现成像终点的实验，仅对Opera 2图像执行对模型预测的掩模与手动神经放射科医生读数的比较(因为来自Opera 1的图像用于训练模型)。使用R(R版本4.0.1，R Foundation for Statistical Computing)执行统计分析。
为了检查经训练的模型是否可以重现已知的T1 Gd增强终点，在24周、48周和96周，与对照(干扰素β)组相比对治疗(奥瑞组单抗)中的Gd增强型病灶的平均数量以及病灶的平均数量的减少百分比进行估计。与确定T1 Gd增强终点时的已知分析方法类似，对作为自变量的以下项执行负二项回归：治疗组的Gd增强型病灶的数量、基线T1 Gd增强型病灶(存在或不存在)、基线扩展残疾状态量表评分(<4.0与≥4.0)以及地理区域(美国与世界其他地区)。
基于形态学操作开发了一种自动化启发式方法，用于估计来自GT系列病灶掩模的新T1非增强型病灶的数量，以接近地近似于来自神经放射科医生读数的原始分析中报告的值。然后将该方法应用于模型预测的掩模，并估计跨所有随访时间点的新T1非增强型病灶的平均数量以及与对照组相比时的奥瑞组单抗组中的减少百分比。如已知的分析方法中那样，对作为自变量的以下项执行负二项回归：治疗组的新T1非增强型病灶的数量、基线T1低信号病灶计数、基线EDSS(<4.0与≥4.0)以及地理区域(美国与世界其他地区)。
图4示出了针对Opera 2数据集的以ml为单位的总T1非增强型病灶容积和以ml为单位的总T1 Gd增强型病灶容积。仅一部分受试者具有Gd增强型病灶，并且T1 Gd增强型病灶通常小于T1非增强型病灶。根据来自神经放射科医生读数的GT掩模，在基线处约40％的患者中存在T1 Gd增强型病灶，并且跨所有时间点(基线、24周、48周和96周)约容积的16％至18％中存在该增强型病灶。病灶负荷严重偏向较小大小。T1非增强型病灶负荷的范围为从0.012ml到68.86ml，其中位值为1.56ml，并且T1 Gd增强型病灶负荷的范围为从0.012ml到7.47ml，其中位值为0.213ml。容积的71％具有0.5ml的最大Gd增强型病灶负荷，并且容积的72％具有4ml的最大T1非增强型病灶负荷。
表1中汇总了针对测试集上的两种病灶类型的经分开训练和经联合训练的模型的分割性能。如通过平均dice系数(DC)以及GT与模型预测的总病灶负荷之间的Pearson相关性可以看到的，两个网络在GT中的手动注释与模型预测的掩模之间具有良好的一致性。从广义上讲，经单独训练的模型比经联合训练的模型具有稍好的敏感性(对于T1非增强型病灶为0.74对0.7，并且对于Gd增强型病灶为0.78对0.69)；经联合训练的模型改善了DC(0.72对0.73，0.72对0.75)、阳性预测值(PPV；0.74对0.8，0.71对0.87)和绝对容积差(AVD；0.29对0.26，0.69对0.31)。对于Gd增强型病灶分割，最终平均DC为0.78，其中约23％的病灶的大小为≤10个体素。(与以下文献相比：[1]I.Coronado,R.E.Gabr和a.P.A.Narayana.,“Deeplearning segmentation of gadoliniumenhancing lesions in multiple sclerosis,”Multiple Sclerosis Journal,2020年5月号，以及[2]G.Brugnara,F.Isensee,U.Neuberger,D.Bonekamp,J.Petersen,R.Diem,B.Wildemann,S.Heiland,W.Wick,M.Bendszus,K.Maier-Hein和P.Kickingereder,“Automated volumetric assessmentwith artificial neural networks might enable a more accurate assessment ofdisease burden in patients with multiple sclerosis,”European Radiology,第30卷,第4号,第2356-64页,2020，其中对于Gd增强型病灶分割它们分别实现了0.77和0.91的DC。在[2]中，小于14mm3/体素的所有病灶都被排除在外，这可能解释了这里的高DC。)
表1：分割性能(对于AVD，标准偏差的计算不包括前1％的异常值)。针对具有GT注释中的病灶的容积子集报告Gd增强型病灶性能。
Figure BDA0004102398050000241
Figure BDA0004102398050000251
表2中汇总了针对测试集的模型检测性能。两种模型在检测性能方面表现出类似的趋势，其中经单独训练的模型具有稍好的病灶真阳性率(LTPR；0.83对0.79，0.96对0.91)，并且经联合训练的模型具有较好的LPPV(0.89对0.92，0.76对0.93)和病灶假阳性率(LFPR；0.17对0.13，0.25对0.06)。如通过高Pearson相关系数可以看到的，来自GT的病灶计数与针对各种模型的模型预测的掩模之间存在良好的一致性。联合训练极大地帮助减少过度分割以及对于Gd增强型病灶分割的FP。这在使用血管跟踪减少FP(其减少了根据手动GT注释不包含任何Gd增强型病灶的容积中的错误预测)后得到进一步改善。
表2：针对Gd增强型病灶的检测性能。针对具有GT注释中的病灶的容积子集报告Gd增强型病灶性能。
Figure BDA0004102398050000252
图5示出了与针对三名受试者的脑部的部分的MRI图像的GT进行比较的来自模型的预测的病灶分割。GT与预测的T1非增强型病灶和Gd增强型病灶的重叠表明模型准确地预测了MRI图像中的病灶大小和位置。
此外，研究了针对Gd增强型病灶的各种病灶大小桶(bucket)的检测性能(表3)。结果包括以下项的计算值：GT病灶计数、TP值、敏感性、FP值(括号中的数字对应于不包含GT注释中的任何Gd增强型病灶的数据集中的FP病灶的数量)、假发现率(FDR)和dice值。假发现率(FDR)(也称为FPR)对于小于0.03ml(或10个体素)的病灶而言很高，并且随着病灶大小的增加而显著降低。随着病灶大小的增加，DC也表现出类似的趋势。基于该分析，0.03ml的检测阈值对于在高FDR与低敏感性之间达到平衡将是优选的。然而，这也将消除23％的病灶。(除最小病灶大小桶之外，性能与[3]Z.Karimaghaloo,H.Rivaz,D.L.Arnold,D.L.Collins和T.Arbel,“Temporal Hierarchical Adaptive Texture CRF for Automatic Detectionof Gadolinium-Enhancing Multiple Sclerosis Lesions in Brain MRI,”IEEETransactions on Medical Imaging,第34卷,第6号,第1227-1241页,2015的表III中所报告的相当。本实例未使用纵向信息，并且与[3]相比具有较大的训练集(8x)。其也与[1]的表2相当，尽管病灶大小桶不同)。
表3：针对不同病灶大小的Gd增强型病灶检测性能。提供了具有和没有(括号内)GT注释中的Gd增强型病灶的容积中的总FP病灶计数。
Figure BDA0004102398050000261
表4中给出了T1非增强型病灶分割模型针对各种病灶大小的检测性能，并且表5中给出了用于Gd增强型病灶分割的经单独训练的模型和经联合训练的模型两者的检测性能。
表4：针对不同病灶大小的T1非增强型病灶检测性能
Figure BDA0004102398050000262
Figure BDA0004102398050000271
表5：针对不同病灶大小的T1 Gd增强型病灶检测性能。提供了具有和没有(括号内)GT注释中的Gd增强型病灶的数据集中的总FP病灶计数。
Figure BDA0004102398050000272
III.B实例2.–跨治疗的病灶变化
利用深度学习来检测多发性硬化症临床试验中对T1 Gd增强型病灶负担的治疗应答。
III.B.i.讨论
在临床研究期间经常评价病灶以预测给定疗法是否有效治疗多发性硬化症以便减缓疾病的进展。特别地，研究终点经常检查病灶计数和/或病灶大小(例如，累积病灶大小)在研究周期期间发生变化的程度。可以将在研究周期期间施用特定治疗时观察到的变化与在研究周期期间不施用治疗或施用基线治疗时观察到的对应变化进行比较。
该实例的数据比较了当在与干扰素-β进行比较的情况下施用奥瑞组单抗时T1非增强型病灶计数的变化。经联合训练的模型用于处理在造影剂施用后收集的T1非增强图像和T1 Gd增强图像。使用Opera 1数据集对每个模型进行训练，并使用Opera 2数据集对每个模型进行测试。对于每名受试者和每个成像会话，经评价的模型预测是T1 Gd增强型病灶的数量。在从治疗施用开始的24周、48周和96周执行MRI。对于每个治疗组，计算随访时间点处的病灶数量除以该时间点处的MRI扫描次数。
如图6A所示，临床数据表明T1 Gd增强型病灶计数在三个时间点中的每一个处在两个治疗组之间显著不同。对于GT掩模，在24周、48周和96周时的随访时间点减少分别为93％、96％和96％。在使用模型预测的情况下，在各个随访时间点处，24周、48周和96周时的减少分别为79％、84％和90％。
图6B示出了来自使用经验法的GT掩模和使用相同经验法的模型预测的掩模的T1非增强型病灶计数的结果。在对GT掩模使用经验法的情况下，从对照组中的4.78到奥瑞组单抗组中的3.73减少了22％。与使用经验法的GT掩模中的那些病灶相比，该模型倾向于预测较少的病灶。基于模型预测，新T1非增强型病灶的数量在对照组中为3.36，并且在治疗组中为2.51。此外，新T1非增强型病灶的数量在具有附加的基线成像和临床协变量的负二项回归中跨各组显著不同。来自GT掩模的治疗组和对照组之间的新T1非增强型病灶的平均数量减少约22％。当使用模型预测时，减少百分比为约25％，这与来自GT掩模的减少相当。然而，最初的人工分析减少了约60％的百分比，因此用于识别新T1非增强型病灶的经验法需要改善。
IV.其他注意事项
本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
随后的描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。
V.示例性实施例
如下文所用，对一系列实例的任何引用都应理解为对这些实例中的每一个实例的引用(例如，“实例1至4”应理解为“实例1、2、3或4”)。
实例1是一种计算机实现的方法，其包括：访问三维磁共振成像(MRI)图像，其中所述三维MRI图像描绘受试者的脑部的区域，其中所述脑部的所述区域包括至少第一类型的病灶和第二类型的病灶；将所述三维MRI图像输入到包括第一卷积神经网络和第二卷积神经网络的机器学习模型中，其中利用所述第一卷积神经网络的一个或多个层与所述第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络；使用将所述三维MRI图像作为输入的所述第一卷积神经网络，生成针对所述第一类型的病灶的第一分割掩模，其中所述第一分割掩模包括围绕所述第一类型的病灶的描绘的第一估计的分割边界；使用将所述三维MRI图像作为输入的所述第二卷积神经网络，生成针对所述第二类型的病灶的第二分割掩模，其中所述第二分割掩模包括围绕所述第二类型的病灶的描绘的第二估计的分割边界，并且其中并行生成所述第一分割掩模和所述第二分割掩模，并且在所述第一分割掩模和所述第二分割掩模生成时跨所述一个或多个交叉网络连接共享提取特征集；以及输出所述第一分割掩模和所述第二分割掩模。
实例2是根据实例1所述的计算机实现的方法，其中利用从所述第一卷积神经网络的编码块到所述第二卷积神经网络的编码块的所述一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络。
实例3是根据实例1或2所述的计算机实现的方法，其中利用从所述第一卷积神经网络的解码块到所述第二卷积神经网络的解码块的所述一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络
实例4是根据实例1至3所述的计算机实现的方法，其中所述交叉网络连接中的每一个包括特征变换块和压缩块。
实例5是根据实例1至4中任一项所述的计算机实现的方法，其进一步包括：通过组合来自所述第一分割掩模和所述第二分割掩模的信息来生成最终图像掩模，其中所述最终图像掩模包括围绕代表所述第一类型的病灶和所述第二类型的病灶的组合的新病灶集的描绘的估计的分割边界；以及输出所述最终图像掩模。
实例6是根据实例1至5中任一项所述的计算机实现的方法，其中所述第一类型的病灶为T1非增强型病灶，并且所述第二类型的病灶为T1 Gd增强型病灶。
实例7是根据实例1至6中任一项所述的计算机实现的方法，其中使用包括Tversky损失和加权二元交叉熵损失的组合的损失函数来训练所述第一卷积神经网络和所述第二卷积神经网络。
实例8是根据实例1至7所述的计算机实现的方法，其中所述第一卷积神经网络包括使用训练数据集识别的多个模型参数，所述训练数据集包括：多个医学图像，所述多个医学图像具有与围绕不同类型的病灶的分割边界相关联的注释，所述不同类型的病灶包括所述第一类型的病灶和所述第二类型的病灶；并且其中基于最小化所述损失函数，使用所述训练数据集来识别所述多个模型参数。
实例9是根据实例1至8所述的计算机实现的方法，其中所述第二卷积神经网络包括使用所述训练数据集识别的多个模型参数；并且其中所述第二卷积神经网络与所述第一卷积神经网络一起被联合训练，使得基于最小化所述损失函数，使用所述训练数据集来协同地识别所述第二卷积神经网络的所述多个模型参数。
实例10是根据实例1至9所述的计算机实现的方法，其中损失函数进一步包括针对以下的惩罚项：所述第一类型的病灶与所述第二类型的病灶之间的任何重叠以及来自所述第一卷积神经网络和所述第二卷积神经网络的假阳性的贡献。
实例11是根据实例1至10中任一项所述的计算机实现的方法，其中所述第一卷积神经网络和所述第二卷积神经网络为U-Net。
实例12是根据实例1至11所述的计算机实现的方法，其中所述第一卷积神经网络包括三层编码块和解码块。
实例13是根据实例1至12所述的计算机实现的方法，其中所述第二卷积神经网络包括三层编码块和解码块。
实例14是根据实例1至13中任一项所述的计算机实现的方法，其中所述三维MRI图像包括沿通道维度堆叠的多个连续切片，其中所述连续切片包括：使用第一类型的MRI序列生成的第一三维MRI切片、使用第二类型的MRI序列生成的第二三维MRI切片以及使用第三类型的MRI序列生成的第三三维MRI切片。
实例15是根据实例1至14所述的计算机实现的方法，其中所述第一类型的MRI序列为T1造影后，所述第二类型的MRI序列为T1造影前，并且所述第三类型的MRI序列为流体衰减反转恢复。
实例16是根据实例1至15所述的计算机实现的方法，其中将所述第一三维MRI切片和所述第二三维MRI切片进行归一化以捕获造影增强，其中所述归一化包括使用所述第二三维MRI切片的平均和标准偏差对第一三维MRI切片容积和第二三维切片容积两者进行z评分。
实例17是根据实例1至16中任一项所述的计算机实现的方法，其进一步包括：使用所述第一分割掩模来确定所述第一类型的病灶的数量的计数，并且使用所述第二分割掩模来确定所述第二类型的病灶的数量的计数。
实例18是根据实例1至17所述的计算机实现的方法，其进一步包括：使用所述第一分割掩模来确定所述第一类型的病灶的数量的计数，使用所述第二分割掩模来确定所述第二类型的病灶的数量的计数，和/或使用所述最终图像掩模来确定所述新病灶集内的病灶的数量的计数。
实例19是根据实例1至18中任一项所述的计算机实现的方法，其进一步包括：使用所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来确定一个或多个病灶大小或者病灶负荷。
实例20是根据实例1至19中任一项所述的计算机实现的方法，其进一步包括：访问对应于先前MRI的数据；使用所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模以及所述数据来确定一个或多个病灶的量、大小或累积大小的变化；以及生成表示所述变化的输出。
实例21是根据实例1至20中任一项所述的计算机实现的方法，其进一步包括：基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来建议改变治疗策略。
实例22是根据实例1至21中任一项所述的方法，其进一步包括：至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来提供对应于多发性硬化症受试者的可能或经确认的诊断的输出。
实例23是根据实例1至22中任一项所述的方法，其进一步包括：至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来诊断患有多发性硬化症的所述受试者。
实例24是根据实例1至23中任一项所述的方法，其进一步包括：至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来评估和/或预测治疗应答。
实例25是一种计算机实现的方法，其包括：访问三维磁共振成像(MRI)图像，其中所述三维MRI图像描绘受试者的脑部的区域，其中所述脑部的所述区域包括至少第一类型的病灶和第二类型的病灶；将所述三维MRI图像输入到包括连接到第二卷积神经网络的第一卷积神经网络的机器学习模型中；使用将所述三维MRI图像作为输入的所述第一卷积神经网络，生成针对所述第一类型的病灶的第一分割掩模；使用将所述三维MRI图像上的所述第一分割掩模作为输入的所述第二卷积神经网络，生成针对所述第二类型的病灶的第二分割掩模；通过组合来自所述第一分割掩模和所述第二分割掩模的信息来生成最终图像掩模，其中所述最终图像掩模包括围绕所述第一类型的病灶的描绘的第一估计的分割边界和/或围绕所述第二类型的病灶的描绘的第二估计的分割边界；以及输出所述最终图像掩模。
实例26是一种系统，其包括：一个或多个数据处理器；以及非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。
实例27是一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，所述计算机程序产品包括指令，所述指令被配置成使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。

Claims (27)

1.一种计算机实现的方法，其包括：
访问三维磁共振成像(MRI)图像，其中所述三维MRI图像描绘受试者的脑部的区域，其中所述脑部的所述区域包括至少第一类型的病灶和第二类型的病灶；
将所述三维MRI图像输入到包括第一卷积神经网络和第二卷积神经网络的机器学习模型中，其中利用所述第一卷积神经网络的一个或多个层与所述第二卷积神经网络的一个或多个层之间的一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络；
使用将所述三维MRI图像作为输入的所述第一卷积神经网络，生成针对所述第一类型的病灶的第一分割掩模，其中所述第一分割掩模包括围绕所述第一类型的病灶的描绘的第一估计的分割边界；
使用将所述三维MRI图像作为输入的所述第二卷积神经网络，生成针对所述第二类型的病灶的第二分割掩模，其中所述第二分割掩模包括围绕所述第二类型的病灶的描绘的第二估计的分割边界，并且其中并行生成所述第一分割掩模和所述第二分割掩模，并且在生成所述第一分割掩模和所述第二分割掩模时跨所述一个或多个交叉网络连接共享提取特征集；以及
输出所述第一分割掩模和所述第二分割掩模。
2.根据权利要求1所述的计算机实现的方法，其中利用从所述第一卷积神经网络的编码块到所述第二卷积神经网络的编码块的所述一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络。
3.根据权利要求1或2所述的计算机实现的方法，其中利用从所述第一卷积神经网络的解码块到所述第二卷积神经网络的解码块的所述一个或多个交叉网络连接，将所述第一卷积神经网络连接到所述第二卷积神经网络。
4.根据权利要求1、2或3所述的计算机实现的方法，其中所述交叉网络连接中的每一个包括特征变换块和压缩块。
5.根据权利要求1至4中任一项所述的计算机实现的方法，其进一步包括：
通过组合来自所述第一分割掩模和所述第二分割掩模的信息来生成最终图像掩模，其中所述最终图像掩模包括围绕新病灶集的描绘的估计的分割边界，所述新病灶集代表所述第一类型的病灶和所述第二类型的病灶的组合；以及
输出所述最终图像掩模。
6.根据权利要求1至5中任一项所述的计算机实现的方法，其中所述第一类型的病灶为T1非增强型病灶，并且所述第二类型的病灶为T1 Gd增强型病灶。
7.根据权利要求1至6中任一项所述的计算机实现的方法，其中使用包括Tversky损失和加权二元交叉熵损失的组合的损失函数来训练所述第一卷积神经网络和所述第二卷积神经网络。
8.根据权利要求7所述的计算机实现的方法，其中所述第一卷积神经网络包括使用训练数据集识别的多个模型参数，所述训练数据集包括：多个医学图像，所述多个医学图像具有与围绕不同类型的病灶的分割边界相关联的注释，所述不同类型的病灶包括所述第一类型的病灶和所述第二类型的病灶；并且其中基于最小化所述损失函数，使用所述训练数据集来识别所述多个模型参数。
9.根据权利要求8所述的计算机实现的方法，其中所述第二卷积神经网络包括使用所述训练数据集识别的多个模型参数；并且其中所述第二卷积神经网络与所述第一卷积神经网络一起被联合训练，使得基于最小化所述损失函数，使用所述训练数据集来协同地识别所述第二卷积神经网络的所述多个模型参数。
10.根据权利要求9所述的计算机实现的方法，其中所述损失函数进一步包括针对以下的惩罚项：所述第一类型的病灶与所述第二类型的病灶之间的任何重叠以及来自所述第一卷积神经网络和所述第二卷积神经网络的假阳性的贡献。
11.根据权利要求1至10中任一项所述的计算机实现的方法，其中所述第一卷积神经网络和所述第二卷积神经网络为U-Net。
12.根据权利要求11所述的计算机实现的方法，其中所述第一卷积神经网络包括三层编码块和解码块。
13.根据权利要求11或12所述的计算机实现的方法，其中所述第二卷积神经网络包括三层编码块和解码块。
14.根据权利要求1至13中任一项所述的计算机实现的方法，其中所述三维MRI图像包括沿通道维度堆叠的多个连续切片，其中所述连续切片包括：使用第一类型的MRI序列生成的第一三维MRI切片、使用第二类型的MRI序列生成的第二三维MRI切片以及使用第三类型的MRI序列生成的第三三维MRI切片。
15.根据权利要求14所述的计算机实现的方法，其中所述第一类型的MRI序列为T1造影后，所述第二类型的MRI序列为T1造影前，并且所述第三类型的MRI序列为流体衰减反转恢复。
16.根据权利要求14或15所述的计算机实现的方法，其中将所述第一三维MRI切片和所述第二三维MRI切片进行归一化以捕获造影增强，其中所述归一化包括使用所述第二三维MRI切片的平均和标准偏差对第一三维MRI切片容积和第二三维切片容积两者进行z评分。
17.根据权利要求1至16中任一项所述的计算机实现的方法，其进一步包括：
使用所述第一分割掩模来确定所述第一类型的病灶的数量的计数，并且使用所述第二分割掩模来确定所述第二类型的病灶的数量的计数。
18.根据权利要求5所述的计算机实现的方法，其进一步包括：
使用所述第一分割掩模来确定所述第一类型的病灶的数量的计数，使用所述第二分割掩模来确定所述第二类型的病灶的数量的计数，和/或使用所述最终图像掩模来确定所述新病灶集内的病灶的数量的计数。
19.根据权利要求1至18中任一项所述的计算机实现的方法，其进一步包括：
使用所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来确定一个或多个病灶大小或者病灶负荷。
20.根据权利要求1至19中任一项所述的计算机实现的方法，其进一步包括：
访问对应于先前MRI的数据；
使用所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模以及所述数据来确定一个或多个病灶的量、大小或累积大小的变化；以及
生成表示所述变化的输出。
21.根据权利要求1至20中任一项所述的计算机实现的方法，其进一步包括：
基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来建议改变治疗策略。
22.根据权利要求1至21中任一项所述的方法，其进一步包括：
至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来提供对应于多发性硬化症的受试者的可能或经确认的诊断的输出。
23.根据权利要求1至22中任一项所述的方法，其进一步包括：
至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来诊断患有多发性硬化症的所述受试者。
24.根据权利要求1至23中任一项所述的方法，其进一步包括：
至少部分地基于所述第一分割掩模、所述第二分割掩模和/或所述最终图像掩模来评估和/或预测治疗应答。
25.一种计算机实现的方法，其包括：
访问三维磁共振成像(MRI)图像，其中所述三维MRI图像描绘受试者的脑部的区域，其中所述脑部的所述区域包括至少第一类型的病灶和第二类型的病灶；
将所述三维MRI图像输入到包括连接到第二卷积神经网络的第一卷积神经网络的机器学习模型中；
使用将所述三维MRI图像作为输入的所述第一卷积神经网络，生成针对所述第一类型的病灶的第一分割掩模；
使用将所述三维MRI图像上的所述第一分割掩模作为输入的所述第二卷积神经网络，生成针对所述第二类型的病灶的第二分割掩模；
通过组合来自所述第一分割掩模和所述第二分割掩模的信息来生成最终图像掩模，其中所述最终图像掩模包括围绕所述第一类型的病灶的描绘的第一估计的分割边界和/或围绕所述第二类型的病灶的描绘的第二估计的分割边界；以及
输出所述最终图像掩模。
26.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。
27.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，所述计算机程序产品包括指令，所述指令被配置成使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。
CN202180053816.9A 2020-09-02 2021-08-31 用于病灶检测的利用联合训练的连接式机器学习模型 Pending CN116097302A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063073686P 2020-09-02 2020-09-02
US63/073,686 2020-09-02
PCT/US2021/048486 WO2022051290A1 (en) 2020-09-02 2021-08-31 Connected machine-learning models with joint training for lesion detection

Publications (1)

Publication Number Publication Date
CN116097302A true CN116097302A (zh) 2023-05-09

Family

ID=78000790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180053816.9A Pending CN116097302A (zh) 2020-09-02 2021-08-31 用于病灶检测的利用联合训练的连接式机器学习模型

Country Status (6)

Country Link
US (1) US20230281809A1 (zh)
EP (1) EP4208848A1 (zh)
JP (1) JP2023540910A (zh)
KR (1) KR20230059799A (zh)
CN (1) CN116097302A (zh)
WO (1) WO2022051290A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11688517B2 (en) * 2020-10-30 2023-06-27 Guerbet Multiple operating point false positive removal for lesion identification
US11436724B2 (en) 2020-10-30 2022-09-06 International Business Machines Corporation Lesion detection artificial intelligence pipeline computing system
US11749401B2 (en) 2020-10-30 2023-09-05 Guerbet Seed relabeling for seed-based segmentation of a medical image
US11688063B2 (en) 2020-10-30 2023-06-27 Guerbet Ensemble machine learning model architecture for lesion detection
CN114926396B (zh) * 2022-04-13 2023-06-20 四川大学华西医院 一种精神障碍类磁共振图像初步筛查模型构建方法
US20230367850A1 (en) * 2022-05-10 2023-11-16 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for mri data processing
WO2024014728A1 (en) * 2022-07-11 2024-01-18 Samsung Electronics Co., Ltd. Method and system for optimizing neural networks (nn) for on-device deployment in an electronic device
GB2621332B (en) * 2022-08-08 2024-09-11 Twinn Health Ltd A method and an artificial intelligence system for assessing an MRI image
WO2024137096A1 (en) * 2022-12-20 2024-06-27 GE Precision Healthcare LLC Automated organ segmentation output quality assessment
CN116012385B (zh) * 2023-03-28 2023-06-09 同心智医科技(北京)有限公司 Mr灌注图像的脑缺血分割方法、装置及存储介质
CN117173489B (zh) * 2023-09-27 2024-08-02 宁波大学 多中心mri图像分类方法
CN117973496B (zh) * 2024-02-19 2024-07-05 苏州慧维智能医疗科技有限公司 局部病变医疗图像生成模型的训练方法、系统及应用

Also Published As

Publication number Publication date
WO2022051290A1 (en) 2022-03-10
US20230281809A1 (en) 2023-09-07
JP2023540910A (ja) 2023-09-27
EP4208848A1 (en) 2023-07-12
KR20230059799A (ko) 2023-05-03

Similar Documents

Publication Publication Date Title
CN116097302A (zh) 用于病灶检测的利用联合训练的连接式机器学习模型
Pinaya et al. Unsupervised brain imaging 3D anomaly detection and segmentation with transformers
US20240221162A1 (en) Three dimensional object segmentation of medical images localized with object detection
US11403750B2 (en) Localization and classification of abnormalities in medical images
Carass et al. Longitudinal multiple sclerosis lesion segmentation: resource and challenge
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
Singh et al. Breast tumor segmentation in ultrasound images using contextual-information-aware deep adversarial learning framework
Balakrishnan et al. Automatic segmentation of white matter hyperintensities from brain magnetic resonance images in the era of deep learning and big data–a systematic review
KR20190137913A (ko) 딥 컨볼루션 신경망을 사용하는 의료 이미징을 위한 선량 감소
US20230410301A1 (en) Machine learning techniques for tumor identification, classification, and grading
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Parekh et al. Multiparametric deep learning tissue signatures for a radiological biomarker of breast cancer: Preliminary results
Hsiao et al. A deep learning-based precision and automatic kidney segmentation system using efficient feature pyramid networks in computed tomography images
US20230162353A1 (en) Multistream fusion encoder for prostate lesion segmentation and classification
CN110945564A (zh) 基于混合上下文cnn模型的医学图像分割
Tummala et al. Liver tumor segmentation from computed tomography images using multiscale residual dilated encoder‐decoder network
Lustermans et al. Optimized automated cardiac MR scar quantification with GAN‐based data augmentation
CN114926487A (zh) 多模态影像脑胶质瘤靶区分割方法、系统及设备
Lim et al. Motion artifact correction in fetal MRI based on a Generative Adversarial network method
Jalab et al. Fractional Renyi entropy image enhancement for deep segmentation of kidney MRI
Ayalew et al. Deep learning based liver cancer segmentation from computed tomography images
Arulappan et al. Liver tumor segmentation using a new asymmetrical dilated convolutional semantic segmentation network in CT images
Madesta et al. Deep learning‐based conditional inpainting for restoration of artifact‐affected 4D CT images
Amritha et al. Liver tumor segmentation and classification using deep learning
US20230206438A1 (en) Multi arm machine learning models with attention for lesion segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination