CN113362272A - 具有不确定性估计的医学图像分割 - Google Patents

具有不确定性估计的医学图像分割 Download PDF

Info

Publication number
CN113362272A
CN113362272A CN202110188638.2A CN202110188638A CN113362272A CN 113362272 A CN113362272 A CN 113362272A CN 202110188638 A CN202110188638 A CN 202110188638A CN 113362272 A CN113362272 A CN 113362272A
Authority
CN
China
Prior art keywords
segmentation
candidate
mask
masks
final
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188638.2A
Other languages
English (en)
Inventor
A·J·雅各布
M·A·古尔逊
P·夏尔马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare GmbH
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN113362272A publication Critical patent/CN113362272A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

提供了用于生成解剖结构的分割掩模连同分割掩模的不确定性度量的系统和方法。根据一个或多个实施例,使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模。基于所述多个候选分割掩模来确定解剖结构的最终分割掩模。基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量。输出最终分割掩模和/或不确定性度量。

Description

具有不确定性估计的医学图像分割
技术领域
本发明总体上涉及具有不确定性估计的医学图像分割,并且更特别地,涉及用于自动执行临床工作流程的具有不确定性估计的医学图像分割。
背景技术
医学成像分析越来越多地应用在临床工作流程中。例如,医学成像分析可以被应用于诊断患有疾病或其他医学状况的患者。通常,在应用使用分割的解剖结构的其他医学成像分析任务之前,通过首先从医学图像中分割解剖结构来执行这样的医学成像分析。常规上,从医学图像中分割解剖结构由用户手动执行、基于用户标识的初始点使用计算机执行,或者使用计算机执行并由用户修改或验证。这样的常规的分割技术需要用户输入,并且因此不适合集成到自动执行的临床工作流程中。
发明内容
用于从患者的医学图像中分割解剖结构的深度学习技术不提供与分割结果相关联的不确定性度量。在不知道与分割结果相关联的不确定性的情况下,难以将这样的深度学习分割技术集成到自动执行的临床工作流程中。有利地,根据一个或多个实施例,提供了用于生成解剖结构的分割掩模连同分割掩模的不确定性度量的系统和方法。
根据一个或多个实施例,使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模。基于所述多个候选分割掩模来确定解剖结构的最终分割掩模。基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量。输出最终分割掩模和/或不确定性度量。
在一个实施例中,通过从先验分布中采样多个样本来生成多个候选分割掩模,并且对于所述多个样本中的每个相应样本,基于相应样本来生成候选分割掩模。先验分布是输入医学图像中解剖结构的分割变化的概率分布。在一个实施例中,所述一个或多个经训练的机器学习网络包括多个不同的经训练的机器学习网络,并且通过针对所述多个不同的经训练的机器学习网络中的每个相应的经训练的机器学习网络,使用相应的经训练的机器学习网络从输入医学图像生成解剖结构的候选分割掩模,来生成所述多个候选分割掩模。
在一个实施例中,最终分割掩模被确定为多个候选分割掩模的均值,并且不确定性度量被确定为所述多个候选分割掩模的方差。在一个实施例中,通过确定与可以表示最终分割掩模的边界的每个像素相关联的概率,并对与可以表示最终分割掩模的边界的每个像素相关联的概率进行平均,来确定不确定性度量。
在一个实施例中,可以基于不确定性度量来针对最终分割掩模请求用户输入。在一个实施例中,可以基于不确定性度量在输入医学图像中检测异常。在一个实施例中,将与可以表示分割掩模边界的每个像素相关联的概率与阈值进行比较,基于所述比较将颜色分派给可以表示分割掩模边界的每个像素,并且将可以表示分割掩模边界的每个像素的颜色覆盖在输入医学图像上。
通过参考以下详细描述和附图,本发明的这些和其他优点对于本领域普通技术人员来说应当是清楚的。
附图说明
图1示出了根据一个或多个实施例的用于执行具有不确定性估计的医学图像分割的工作流程;
图2示出了根据一个或多个实施例的用于具有不确定性估计的医学图像分割的方法;
图3示出了根据一个或多个实施例的用于训练先验网络和分割网络的工作流程;
图4示出了图示基于根据一个或多个实施例确定的不确定性度量的异常检测的图像;和
图5示出了计算机的高级框图。
具体实施方式
本文描述的实施例总体上涉及用于具有不确定性估计的医学图像分割的方法和系统。本文描述的实施例被描述为给出对这样的方法和系统的视觉理解。数字图像通常由一个或多个对象(或形状)的数字表示组成。对象的数字表示在本文通常是在标识和操控对象方面来描述的。这样的操控是在计算机系统的存储器或其他电路/硬件中完成的虚拟操控。因此,要理解,本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。
本文描述的实施例提供了从医学图像中分割解剖结构,连同与分割相关联的不确定性度量。图1示出了根据一个或多个实施例的用于执行具有不确定性估计的医学图像分割的工作流程100。在工作流程100中,分割网络108基于1)从先验分布102中采样的样本104和2)解剖结构的图像106,生成解剖结构的多个候选分割掩模110。先验分布102是图像106中解剖结构的分割变化的概率分布。最终分割掩模114被确定为多个候选分割掩模110的均值。最终分割掩模114覆盖在图像106之上,以提供分割的解剖结构的输出图像112。与最终分割掩模114相关联的不确定性度量也被确定为多个候选分割掩模110的方差。不确定性度量可以被确定为与可以可能地表示最终分割掩模114的边界的像素相关联的概率。不确定性度量可以由一种或多种颜色表示(例如,通过将概率与一个或多个阈值进行比较)并覆盖在图像106上,以提供与分割的解剖结构相关联的不确定性度量的输出图像116。应当理解,本文对图像像素的引用也可以指代图像的体素。
有利地,与最终分割掩模114相关联的不确定性度量允许最终分割掩模114被并入到(例如用于疾病诊断的)临床工作流程中,以自动执行临床工作流程。例如,最终分割掩模114可以用于在没有用户输入的情况下自动执行临床工作流程,其中不确定性度量指示低水平的不确定性(例如,基于一个或多个阈值),而用户输入(例如,最终分割掩模114的验证或修改)可以在不确定性度量指示高水平不确定性的情况下被请求。
图2示出了根据一个或多个实施例的用于具有不确定性估计的医学图像分割的方法200。将继续参考图1的工作流程100来描述方法200。方法200可以由一个或多个合适的计算设备来执行,诸如图5的计算机502。
在步骤202处,接收患者解剖结构的输入医学图像。在一个实施例中,输入医学图像是图1的图像106。输入医学图像中描绘的解剖结构可以包括一个或多个器官、骨骼、血管或任何其他感兴趣的解剖对象。输入医学图像可以具有任何合适的模态,诸如,例如x光、磁共振成像(MRI)、超声波(US)、计算机断层扫描(CT)、单光子发射计算机断层扫描(SPECT)、正电子发射断层扫描(PET)或任何其他合适的模态或模态组合。输入医学图像可以具有任何合适的维度,例如,例如二维(2D)或三维(3D)。输入医学图像可以直接从用于采集输入医学图像的图像采集设备(诸如例如,图5的图像采集设备514)接收。可替代地,可以通过加载先前存储在计算机系统(例如,图片存档和通信系统PACS)的存储器或存储装置上的医学图像,或者通过从远程计算机系统经由网络传输接收输入医学图像数据,来接收输入医学图像。
在步骤204处,使用一个或多个经训练的基于机器学习的分割网络,从输入医学图像生成解剖结构的多个候选分割掩模。在一个实施例中,如图1的工作流程100中所示,所述多个候选分割掩模是使用分割网络108从图像106生成的多个候选分割掩模110。解剖结构的多个候选分割掩模是“候选”,因为候选分割掩模是解剖结构的可能分割掩模。所述多个候选分割掩模可以包括多于一个的任何数量的候选分割掩模。在一个示例中,所述多个候选分割掩模包括10个至20个候选分割掩模,然而,候选分割掩模的数量可以被调整为包括更少的候选分割掩模(为了更快的处理时间)或更多的候选分割掩模(为了更大的准确性和可靠性)。在一个实施例中,所述一个或多个经训练的基于机器学习的分割网络是基于深度学习的网络,诸如例如,具有可变自动编码器(VAE)的图像到图像网络。然而,应当理解,所述一个或多个经训练的基于机器学习的分割网络可以包括任何合适的机器学习网络。
在一个实施例中,基于从先验分布中采样的多个样本,使用一个或多个经训练的基于机器学习的分割网络来生成解剖结构的多个候选分割掩模。例如,如图1的工作流程100中所示,基于从先验分布102中采样的样本104,使用分割网络108生成多个候选分割掩模110。先验分布是输入医学图像中解剖结构的分割变化的概率分布(例如,高斯分布)。先验分布是使用单独的基于机器学习的先验网络(例如,U-Net)来生成的,所述先验网络输入所述输入医学图像并输出先验分布。为了生成多个候选分割掩模,从先验分布中采样多个样本。所述一个或多个经训练的基于机器学习的分割网络接收输入医学图像和所述多个样本作为输入,并为所述多个样本中的每个样本输出候选分割掩模。下面参考图3描述所述一个或多个基于机器学习的分割网络和基于机器学习的先验网络的训练。
在一个实施例中,所述一个或多个经训练的基于机器学习的分割网络包括多个不同的机器学习网络,每个机器学习网络被训练成从输入医学图像中分割解剖结构。所述多个经训练的机器学习网络中的每一个接收输入医学图像作为输入,并输出候选分割掩模,从而生成多个候选分割掩模。
图3示出了根据一个或多个实施例的用于训练先验网络302和分割网络306的工作流程300。在一个实施例中,先验网络302是在图2的方法200中用于生成先验分布的基于机器学习的先验网络,并且分割网络306是在图2的方法200中的一个或多个基于机器学习的分割网络。使用后验网络304作为“教师”网络,先验网络302连同分割网络306一起被学习。后验网络304类似于先验网络302,然而后验网络304接收一个或多个训练图像和基准真值(ground truth)分割掩模312作为输入并输出后验分布314。先验网络302仅接收一个或多个训练图像308作为输入,并生成先验分布310作为输出。先验网络302被训练成使用损失函数320生成与后验分布314为相同分布的先验分布310。损失函数320可以是用于最小化概率分布之间差异的任何合适的损失函数,诸如例如,KL(库尔巴克-莱布勒)散度。分割网络306与后验网络304同时被训练,并且先验网络302学习模拟后验网络304,但是仅使用训练图像(因为在推断阶段期间基准真值不可用)。分割网络306接收一个或多个训练图像316作为输入,并通过采样后验分布314输出预测分割掩模318。分割网络306被训练成使用损失函数324生成预测分割掩模318,该预测分割掩模318与基准真值分割掩模322相同。损失函数324可以是用于最小化分割掩模之间差异的任何合适的损失函数。在推断阶段期间,先验网络代替后验网络。
在步骤206处,基于多个候选分割掩模来确定解剖结构的最终分割掩模。在一个实施例中,解剖结构的最终分割掩模被计算为多个候选分割掩模的均值。在其他实施例中,解剖结构的最终分割掩模被计算为多个候选分割掩模的中值或模型(或任何其他合适的度量)。例如,如图1的工作流程100中所示,最终分割掩模114被计算为多个分割掩模110的均值。
通过对分割网络的最终输出阈值化来获得每个候选分割掩模。在阈值化之前,候选分割掩模可以被解释为每个标签的像素方式激活。激活的均值是跨所有候选分割掩模以像素方式确定的,并且每个像素被分派了该像素中具有最高平均激活的标签。在一些实施例中,激活的中值或众数(或任何其他合适的度量)可以替代地跨所有候选分割掩模以像素方式确定。
最终分割掩模可以表示为大小为C×n×n的矩阵,其中C是可能标签的数量。因此,在一个示例中,对于具有标签“背景”和“心脏”(或任何其他解剖结构)的256×256大小的图像,矩阵的大小将是2×256×256。对于每个像素,存在两个激活值:一个用于背景,并且一个用于心脏。向像素分派具有较高值的标签。对于N个候选分割掩模,确定大小为N×2×256×256的矩阵。因此,在存在例如20个候选分割掩模的情况下,对于每个像素存在20个针对标签心脏的值。从所述20个值中计算均值(或中值或众数或任何其他合适的度量),从而导致对于最终分割掩模的标签心脏的最终激活。任何其他标签都可以遵循类似的处理。
在步骤208处,基于多个候选分割掩模来确定与解剖结构的最终分割掩模相关联的不确定性度量。在一个实施例中,与最终分割掩模相关联的不确定性度量被计算为多个候选分割掩模的方差。例如,如图1的工作流程100中所示,与最终分割掩模114相关联的不确定性度量被计算为多个候选分割掩模110的方差。
在一个实施例中,类似于上面关于步骤206描述的均值的计算,跨所有候选分割掩模以像素方式计算激活的方差,以得到候选分割掩模的每个标签的一个方差图。在上面关于步骤206描述的示例中,在存在20个候选分割掩模的情况下,可以针对每个像素跨标签心脏的20个值计算方差,从而得到针对每个标签的大小为2×256×256的方差图。
在一个实施例中,不确定性度量被确定为与可以可能地表示最终分割掩模的边界的每个像素相关联的概率。在另一个实施例中,不确定性度量被确定为与最终分割掩模相关联的不确定性的量化。例如,与最终分割掩模相关联的不确定性可以通过对与可以可能地表示最终分割掩模的边界的每个像素相关联的概率进行平均来量化。应当理解,不确定性度量可以是以任何其他合适的格式。
在步骤210处,输出最终分割掩模和/或与最终分割掩模相关联的不确定性度量。例如,最终分割掩模和/或与最终分割掩模相关联的不确定性度量可以通过以下操作来输出:在计算机系统(例如,图5的计算机502)的显示设备上显示最终分割掩模和/或与最终分割掩模相关联的不确定性度量,将最终分割掩模和/或与最终分割掩模相关联的不确定性度量存储在计算机系统的存储器或存储装置上,或者将最终分割掩模和/或与最终分割掩模相关联的不确定性度量传输到远程计算机系统。最终分割掩模和/或与最终分割掩模相关联的不确定性度量可以以任何合适的格式输出。在一个实施例中,通过显示覆盖在输入医学图像之上的最终分割掩模来输出最终分割掩模(如图1中的输出图像112所描绘的),并且通过显示与覆盖在输入医学图像之上的最终分割掩模相关联的不确定性度量来输出与最终分割掩模相关联的不确定性度量(如图1中的输出图像116所描绘的)。
在一个实施例中,通过以下操作将与最终分割掩模相关联的不确定性度量覆盖在输入医学图像之上:将与可以可能地表示最终分割掩模的边界的每个像素相关联的概率与一个或多个阈值进行比较,基于与像素相关联的概率是否满足一个或多个阈值来将颜色分派给像素,并将像素的所分派颜色覆盖在输入医学图像上。例如,与满足阈值的概率相关联的像素可以被认为具有低不确定性,并且可以被分派绿色,而与不满足阈值的概率相关联的像素可以被认为具有高不确定性,并且可以被分派红色,从而得到不确定性图,该不确定性图提供关于最终分割掩模的准确性的不确定性的视觉估计。
在一个实施例中,通过以下操作将与最终分割掩模相关联的不确定性度量覆盖在输入医学图像之上:对可以可能地表示最终分割掩模的边界的像素区域(例如,3像素×3像素区域)的概率进行平均,将所述区域的平均概率与一个或多个阈值进行比较,基于平均概率是否满足所述一个或多个阈值来将颜色分派给像素(例如,该区域中的所有像素或该区域的中心像素),并将分派给像素的颜色覆盖在输入医学图像上以提供不确定性图。
在一个实施例中,最终分割掩模的具有高水平不确定性(例如,基于一个或多个阈值)的区域可以呈现给用户以请求用户输入(例如,以验证或修改最终分割掩模的边界)或以其他方式将用户的注意力引导到这样的区域。在一个实施例中,某些区域中的最终分割掩模的边界可以被修改的程度基于与这样的区域中的最终分割掩模相关联的不确定性水平。
在一个实施例中,与最终分割掩模相关联的不确定性度量被用于确定与临床工作流程中的下游医学成像分析任务相关联的不确定性度量。例如,可以使用最终分割掩模来确定心脏的射血分数,并且可以基于与最终分割掩模相关联的不确定性度量来确定与射血分数相关联的变化范围(或置信区间)。
在一个实施例中,与最终分割掩模相关联的不确定性度量可以用于检测输入医学图像中的解剖异常或所述一个或多个经训练的机器学习网络的算法故障。例如,图4示出了图示基于不确定性度量的解剖异常检测的图像。图4示出了患者心脏的原始输入医学图像402、覆盖在输入医学图像402上的最终分割掩模408的输出图像404以及不确定性度量的输出图像406。输入医学图像402描绘了心包掩模向肋骨的泄漏。根据图2的方法200,使用一个或多个经训练的机器学习网络来生成输出图像404和输出图像406。基于区域410中的高水平不确定性,在区域410中检测到心包掩模的泄漏,如输出图像406中所描绘的。
在一个实施例中,与最终分割掩模相关联的不确定性度量可以用于标识所述一个或多个经训练的机器学习网络没有在其上进行训练的数据。例如,输入医学图像的高水平不确定性可以指示所述一个或多个经训练的机器学习网络没有在输入医学图像中描绘的场景上训练。因此,不确定性度量提供了一种方法来标识和选择性地扩充训练数据,以获得真实生活案例的完整表示。
在一个实施例中,与最终分割掩模相关联的不确定性度量可以用于解剖结构的鲁棒分割或重建。给定不确定性度量,先验形状模型可以被变形以匹配具有低水平不确定性(高水平置信度)的最终分割掩模的区域,同时在具有高水平不确定性(低水平置信度)的最终分割掩模的区域中保持其形状。
在一个实施例中,不确定性度量图被用于自动创建多个建议的分割掩模,所述掩模可以被呈现给用户以便选择最终分割掩模。以此方式,避免了用户对最终分割掩模的修改。
在一个实施例中,与最终分割掩模相关联的不确定性度量可以用于拒绝某些输入医学图像,从而提供具有零误差的全自动临床工作流程。例如,与输入医学图像中解剖结构的最终分割掩模相关联的不确定性度量可以与阈值进行比较,并且在与最终分割掩模相关联的不确定性水平不满足阈值的情况下,可以拒绝输入医学图像。
本文描述的系统、装置和方法(包括机器学习模型)可以使用数字电路或者使用一个或多个计算机来实现,所述计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。典型地,计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或耦合到一个或多个大容量存储设备,诸如一个或多个磁盘、内部硬盘和可移动盘、磁光盘、光盘等。
本文描述的系统、装置和方法(包括机器学习模型)可以使用在客户端-服务器关系中操作的计算机来实现。典型地,在这样的系统中,客户端计算机远离服务器计算机定位,并经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
本文描述的系统、装置和方法(包括机器学习模型)可以在基于网络的云计算系统中实现。在这样的基于网络的云计算系统中,连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机通信。例如,客户端计算机可以经由在客户端计算机上驻留并操作的网络浏览器应用与服务器通信。客户端计算机可以将数据存储在服务器上,并经由网络访问数据。客户端计算机可以经由网络向服务器传输针对数据的请求或针对在线服务的请求。服务器可以执行所请求的服务并向(多个)客户端计算机提供数据。服务器还可以传输适于使客户端计算机执行指定功能的数据,所述指定功能例如执行计算,在屏幕上显示指定数据等。例如,服务器可以传输适于使客户端计算机执行本文描述的方法和工作流程的一个或多个步骤或功能(包括图1-3的一个或多个步骤或功能)的请求。本文描述的方法和工作流程的某些步骤或功能(包括图1-3的一个或多个步骤或功能)可以由基于网络的云计算系统中的服务器或另一个处理器来执行。本文描述的方法和工作流程的某些步骤或功能(包括图1-3的一个或多个步骤)可以由基于网络的云计算系统中的客户端计算机来执行。本文描述的方法和工作流程的步骤或功能(包括图1-3的一个或多个步骤)可以在基于网络的云计算系统中由服务器和/或客户端计算机以任何组合来执行。
本文描述的系统、装置和方法(包括机器学习模型)可以使用有形地体现在信息载体中(例如体现在非暂时性机器可读存储设备中)的计算机程序产品来实现,以供由可编程处理器执行;并且本文描述的方法和工作流程步骤(包括图1-3的一个或多个步骤或功能)可以使用可由这样的处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令,其可以直接或间接在计算机中使用,以执行某个活动或产生某个结果。计算机程序可以用包括编译或解释语言的任何形式的编程语言编写,并且它可以以任何形式部署,包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其他单元。
图5中描绘了可以用于实现本文描述的系统、装置和方法的示例计算机502的高级框图。计算机502包括操作性地耦合到数据存储设备512和存储器510的处理器504。处理器504通过执行定义这样的操作的计算机程序指令来控制计算机502的总体操作。计算机程序指令可以存储在数据存储设备512或其他计算机可读介质中,并且当期望执行计算机程序指令时加载到存储器510中。因此,图1-3的方法和工作流程步骤或功能可以由存储在存储器510和/或数据存储设备512中的计算机程序指令来定义,并且由执行计算机程序指令的处理器504来控制。例如,计算机程序指令可以被实现为由本领域技术人员编程以执行图1-3的方法和工作流程步骤或功能的计算机可执行代码。因此,通过执行计算机程序指令,处理器504执行图1-3的方法和工作流程步骤或功能。计算机502还可以包括用于经由网络与其他设备通信的一个或多个网络接口506。计算机502还可以包括使得用户能够与计算机502交互的一个或多个输入/输出设备508(例如,显示器、键盘、鼠标、扬声器、按钮等)。
处理器504可以包括通用和专用微处理器这两者,并且可以是计算机502的唯一处理器或多个处理器之一。例如,处理器504可以包括一个或多个中央处理单元(CPU)。处理器504、数据存储设备512和/或存储器510可以包括一个或多个专用集成电路(ASIC)和/或一个或多个现场可编程门阵列(FPGA)、由其补充或并入其中。
数据存储设备512和存储器510每个都包括有形的非暂时性计算机可读存储介质。数据存储设备512和存储器510可以每个都包括高速随机存取存储器,诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、双倍数据速率同步动态随机存取存储器(DDRRAM)或其他随机存取固态存储器设备,并且可以包括非易失性存储器,诸如一个或多个磁盘存储设备,诸如内部硬盘和可移动盘、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备,诸如可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、致密盘只读存储器(CD-ROM)、数字多功能盘只读存储器(DVD-ROM)盘或其他非易失性固态存储设备。
输入/输出设备508可以包括外围设备,诸如打印机、扫描仪、显示屏等。例如,输入/输出设备508可以包括:用于向用户显示信息的显示设备,诸如阴极射线管(CRT)或液晶显示器(LCD)监视器;键盘;以及用户可以通过其向计算机502提供输入的定点设备,诸如鼠标或轨迹球。
图像采集设备514可以连接到计算机502以向计算机502输入图像数据(例如,医学图像)。将图像采集设备514和计算机502实现为一个设备是可能的。图像采集设备514和计算机502通过网络无线通信也是可能的。在可能的实施例中,计算机502可以相对于图像采集设备514远程定位。
本文讨论的任何或所有系统和装置可以使用诸如计算机502的一个或多个计算机来实现。
本领域技术人员应当认识到,实际计算机或计算机系统的实现可以具有其他结构,并且也可以包含其他组件,并且为了说明的目的,图5是这样的计算机的一些组件的高级表示。
前面的详细描述要在每个方面都理解为是说明性和示例性的,而不是限制性的,并且本文公开的本发明的范围不是根据详细描述确定的,而是由根据专利法准许的全部范围解释的权利要求确定的。要理解,本文示出和描述的实施例仅仅是本发明原理的说明,并且在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种修改。在不脱离本发明的范围和精神的情况下,本领域技术人员可以实现各种其他特征组合。

Claims (20)

1.一种方法,包括:
使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模;
基于所述多个候选分割掩模来确定解剖结构的最终分割掩模;以及
基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量。
2.根据权利要求1所述的方法,其中使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模包括:
从先验分布中采样多个样本,所述先验分布是输入医学图像中解剖结构的分割变化的概率分布;和
对于所述多个样本中的每个相应样本,基于相应样本生成候选分割掩模。
3.根据权利要求1所述的方法,其中所述一个或多个经训练的机器学习网络包括多个不同的经训练的机器学习网络,并且使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模包括:
对于所述多个不同的经训练的机器学习网络中的每个相应的经训练的机器学习网络,使用相应的经训练的机器学习网络从输入医学图像生成解剖结构的候选分割掩模。
4.根据权利要求1所述的方法,其中基于所述多个候选分割掩模来确定所述解剖结构的最终分割掩模包括:
将最终分割掩模确定为所述多个候选分割掩模的均值。
5.根据权利要求1所述的方法,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
将不确定性度量确定为所述多个候选分割掩模的方差。
6.根据权利要求1所述的方法,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
确定与可以表示最终分割掩模的边界的每个像素相关联的概率。
7.根据权利要求6所述的方法,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
对与可以表示最终分割掩模的边界的每个像素相关联的概率进行平均。
8.根据权利要求6所述的方法,进一步包括:
将与可以表示分割掩模的边界的每个像素相关联的概率与阈值进行比较;
基于所述比较,将颜色分派给可以表示分割掩模的边界的每个像素;以及
为可以表示输入医学图像上的分割掩模的边界的每个像素覆盖所述颜色。
9.根据权利要求1所述的方法,进一步包括:
基于不确定性度量,针对最终分割掩模请求用户输入。
10.根据权利要求1所述的方法,进一步包括:
基于不确定性度量检测输入医学图像中的异常。
11.根据权利要求1所述的方法,进一步包括:
基于不确定性度量,标识用于进一步训练所述一个或多个经训练的机器学习网络的训练数据。
12.一种装置,包括:
用于使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模的部件;
用于基于所述多个候选分割掩模来确定解剖结构的最终分割掩模的部件;以及
用于基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量的部件。
13.根据权利要求12所述的装置,其中用于使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模的部件包括:
用于从先验分布中采样多个样本的部件,所述先验分布是输入医学图像中解剖结构的分割变化的概率分布;和
用于为所述多个样本中的每个相应样本基于所述相应样本生成候选分割掩模的部件。
14.根据权利要求12所述的装置,其中所述一个或多个经训练的机器学习网络包括多个不同的经训练的机器学习网络,并且用于使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模的部件包括:
用于为所述多个不同的经训练的机器学习网络中的每个相应的经训练的机器学习网络,使用所述相应的经训练的机器学习网络来从输入医学图像生成解剖结构的候选分割掩模的部件。
15.一种存储计算机程序指令的非暂时性计算机可读介质,所述计算机程序指令在由处理器执行时,使处理器执行包括以下各项的操作:
使用一个或多个经训练的机器学习网络从输入医学图像生成解剖结构的多个候选分割掩模;
基于所述多个候选分割掩模来确定解剖结构的最终分割掩模;以及
基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量。
16.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述多个候选分割掩模来确定解剖结构的最终分割掩模包括:
将最终分割掩模确定为所述多个候选分割掩模的均值。
17.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
将不确定性度量确定为所述多个候选分割掩模的方差。
18.根据权利要求15所述的非暂时性计算机可读介质,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
确定与可以表示最终分割掩模的边界的每个像素相关联的概率。
19.根据权利要求18所述的非暂时性计算机可读介质,其中基于所述多个候选分割掩模来确定与最终分割掩模相关联的不确定性度量包括:
对与可以表示最终分割掩模的边界的每个像素相关联的概率进行平均。
20.根据权利要求15所述的非暂时性计算机可读介质,所述操作进一步包括:
基于不确定性度量,针对最终分割掩模请求用户输入。
CN202110188638.2A 2020-02-20 2021-02-19 具有不确定性估计的医学图像分割 Pending CN113362272A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/796156 2020-02-20
US16/796,156 US11508061B2 (en) 2020-02-20 2020-02-20 Medical image segmentation with uncertainty estimation

Publications (1)

Publication Number Publication Date
CN113362272A true CN113362272A (zh) 2021-09-07

Family

ID=77366315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188638.2A Pending CN113362272A (zh) 2020-02-20 2021-02-19 具有不确定性估计的医学图像分割

Country Status (2)

Country Link
US (1) US11508061B2 (zh)
CN (1) CN113362272A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131333A (zh) * 2022-07-20 2022-09-30 珠海横琴圣澳云智科技有限公司 基于实例不确定性的图像检测及分割的方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210334975A1 (en) * 2020-04-23 2021-10-28 Nvidia Corporation Image segmentation using one or more neural networks
US11693919B2 (en) * 2020-06-22 2023-07-04 Shanghai United Imaging Intelligence Co., Ltd. Anatomy-aware motion estimation
US20230128792A1 (en) * 2021-10-23 2023-04-27 Adobe Inc. Detecting digital objects and generating object masks on device
EP4184435A1 (en) * 2021-11-23 2023-05-24 Koninklijke Philips N.V. Method and systems for boundary detection
WO2023208973A1 (en) * 2022-04-29 2023-11-02 Merck Patent Gmbh A semi-automatic segmentation system for particle measurements from microscopy images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0315412D0 (en) * 2003-07-02 2003-08-06 Queen Mary & Westfield College Optical flow estimation method
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
FR2942669B1 (fr) * 2009-02-27 2011-04-01 Commissariat Energie Atomique Methodes de segmentation d'images et de detection de structures particulieres.
US8358823B2 (en) * 2011-03-30 2013-01-22 Mitsubishi Electric Research Laboratories, Inc. Method for tracking tumors in bi-plane images
KR101879207B1 (ko) * 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
GB201705911D0 (en) * 2017-04-12 2017-05-24 Kheiron Medical Tech Ltd Abstracts
US11132797B2 (en) * 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
US10915792B2 (en) * 2018-09-06 2021-02-09 Nec Corporation Domain adaptation for instance detection and segmentation
US11011257B2 (en) * 2018-11-21 2021-05-18 Enlitic, Inc. Multi-label heat map display system
US10839517B2 (en) * 2019-02-21 2020-11-17 Sony Corporation Multiple neural networks-based object segmentation in a sequence of color image frames
WO2020223434A1 (en) * 2019-04-30 2020-11-05 The Trustees Of Columbia University In The City Of New York Classifying neurological disease status using deep learning
KR102102255B1 (ko) * 2019-05-14 2020-04-20 주식회사 뷰노 의료 영상에서 병변의 시각화를 보조하는 방법 및 이를 이용한 장치
KR20220158218A (ko) * 2019-07-10 2022-11-30 루오웨이 지앙 피부 분석을 위한 이미지들을 프로세싱하고 피부 분석을 시각화하기 위한 시스템들 및 방법들
US11151417B2 (en) * 2020-01-31 2021-10-19 Element Ai Inc. Method of and system for generating training images for instance segmentation machine learning algorithm

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SIMON A. A. KOHL: ""A Probabilistic U-Net for Segmentation of Ambiguous Images"", ARXIV, pages 1 - 11 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115131333A (zh) * 2022-07-20 2022-09-30 珠海横琴圣澳云智科技有限公司 基于实例不确定性的图像检测及分割的方法和装置

Also Published As

Publication number Publication date
US20210264589A1 (en) 2021-08-26
US11508061B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
US11055847B2 (en) Adversarial and dual inverse deep learning networks for medical image analysis
US11508061B2 (en) Medical image segmentation with uncertainty estimation
US11288813B2 (en) Systems and methods for anatomic structure segmentation in image analysis
US11514571B2 (en) Hierarchical analysis of medical images for identifying and assessing lymph nodes
US10210613B2 (en) Multiple landmark detection in medical images based on hierarchical feature learning and end-to-end training
CN111210401B (zh) 根据医学图像的主动脉自动检测和量化
KR101835873B1 (ko) 의료 이미지들의 분할 불확실성의 계산 및 시각화를 위한 시스템들 및 방법들
US20160328841A1 (en) Region Clustering Forest for Analyzing Medical Imaging Data
US20220101034A1 (en) Method and system for segmenting interventional device in image
WO2010097534A1 (fr) Méthodes de segmentation d'images et de détection de structures particulières
EP4064187A1 (en) Automatic hemorrhage expansion detection from head ct images
CN111563496A (zh) 用于图像采集的自动视图规划的连续学习
EP3907698A1 (en) X-ray image synthesis from ct images for training nodule detection systems
CN111145140B (zh) 使用深度学习确定肺结节的恶性程度
US10937205B2 (en) Detection of infarcts using trained network
US20210279884A1 (en) Method of computing a boundary
US20230368913A1 (en) Uncertainty Estimation in Medical Imaging
US20230162479A1 (en) Systems and methods for training a convolutional neural network that is robust to missing input information
US20220249014A1 (en) Intuitive display for rotator cuff tear diagnostics
US20220270256A1 (en) Compensation of organ deformation for medical image registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination