CN105009171A - 用于学习增强的基于图谱的自动分割的方法和装置 - Google Patents

用于学习增强的基于图谱的自动分割的方法和装置 Download PDF

Info

Publication number
CN105009171A
CN105009171A CN201480011383.0A CN201480011383A CN105009171A CN 105009171 A CN105009171 A CN 105009171A CN 201480011383 A CN201480011383 A CN 201480011383A CN 105009171 A CN105009171 A CN 105009171A
Authority
CN
China
Prior art keywords
image
experimenter
data
point
atlas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480011383.0A
Other languages
English (en)
Other versions
CN105009171B (zh
Inventor
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Ltd
Original Assignee
Impac Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Impac Medical Systems Inc filed Critical Impac Medical Systems Inc
Publication of CN105009171A publication Critical patent/CN105009171A/zh
Application granted granted Critical
Publication of CN105009171B publication Critical patent/CN105009171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20128—Atlas-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本文公开了一种用于使用自动结构分类器来提高基于图谱的自动分割(ABAS)的准确度的技术，该分类器使用机器学习算法来训练。还公开了一种用于使用应用到机器学习算法的图谱数据来训练自动结构分类器的技术。

Description

用于学习增强的基于图谱的自动分割的方法和装置
介绍
本领域中存在对提高图像的基于图谱的自动分割(ABAS)的效率和准确度的需要。例如，关于医学图像，结构轮廓勾画或分割对放射治疗计划来说极为重要。虽然由人类专家进行手动轮廓勾画仍然是临床上用于高质量分割的常用标准，然而手动轮廓勾画是乏味、费时的，并且受损于评价者自身和评价者们之间大的变化性。
由于图像噪声和其他伪像，以及对于大多数软组织结构的有限图像对比度，图像(例如计算机断层扫描(CT)图像)的自动分割已被证明是一个非常具有挑战性的问题。在最近几年，ABAS技术已显示出作为解决方案的希望。然而，发明人认为，现有ABAS技术的准确度仍可加以改进，以使ABAS在实践中更有用并被更广泛地接受。
ABAS的基本原理是使用一幅或多幅已分割的图像(例如，来自先前治疗的患者)来执行受试者图像的分割。这些已分割的图像连同其注解(例如，结构标记图或结构表面)被称为图谱。通过图像匹配(也称为图像配准)将新的受试者图像对准图谱图像后，使用所计算的图像变换，谱图上限定的结构标记可以被映射到患者图像，这随后为该患者图像生成结构标记。整个过程可以完全自动化，因为存在许多自动图像配准方法。基于这个原理，可以预期ABAS的准确度在很大程度上取决于所采用的图像配准方法。然而，不管使用哪种图像配准算法，ABAS的准确度还取决于所选图谱相比起患者图像有多相似。此外，虽然当执行ABAS时多图谱的使用有助于减轻这种影响，发明人认为ABAS可以如本文所述进一步提高。
例如，即使采用多图谱ABAS，分割准确度仍严重依赖于各图谱图像和受试者图像之间的图像配准。此外，应当理解的是，ABAS(无论是多图谱ABAS或单图谱ABAS)在根本上不同于基于模型的分割，例如已公布PCT专利申请WO 2011/110960所描述的的基于模型的分割。对于基于模型的分割，训练数据例如图谱图像被互相配准以产生感兴趣结构的模型。此模型目的在于表征结构的形状变化，在随后的分割过程中使用此模型而不是图谱图像。因此，对于基于模型的分割，图谱图像未被配准至受试者图像。而是，仅仅是产生的形状模型被配准至受试者图像。与此相反，对于ABAS，各图谱图像被配准到受试者图像，分割过程随后运行以基于各图谱图像至受试者图像的配准将结构标记从各图谱图像映射至受试者图像。
独立于图像配准，分割也可被演化为分类问题，其目的是构建可以将正确的类别(结构)标记分配给给定图像的各个点的图像分类器。图像点分类本身也是一个困难的问题，特别是如果希望一个分类器能够确定完整3D图像中任意体素(voxel)的正确标记。因此，发明人公开了在混合方法中结合ABAS和图像分类两者力量的各种实施例。
为此目的，发明人公开了一种自动分割方法，包括：(1)使用图谱图像在受试者图像中的多个点上执行ABAS，以生成代表受试者图像中的结构的第一数据，(2)将受试者图像中的多个点应用到学习增强分类器，以生成代表受试者图像中的结构的第二数据，和(3)结合第一数据和第二数据，以生成代表受试者图像中的结构的第三数据，其中该方法步骤由处理器执行。在优选实施例中，可以使用多个图谱图像，这使得该ABAS是多图谱ABAS。
发明人还公开了一种自动分割装置，包括处理器，其中该处理器被配置成(1)使用图谱图像在受试者图像中的多个点上执行ABAS，以生成代表受试者图像中的结构的第一数据，(2)将所述受试者图像中的多个点应用到学习增强分类器，以生成代表受试者图像中的结构的第二数据，和(3)结合第一数据和第二数据，以生成代表受试者图像中的结构的第三数据。同样的，如上所述，在优选实施例中可以使用多个图谱图像，这使得该ABAS是多图谱ABAS。
更进一步，发明人公开了一种用于自动分割的计算机程序产品，包括：驻留于非暂时性计算机可读存储介质上的多个指令，并且可由处理器执行，以(1)使用图谱图像在受试者图像中的多个点上执行ABAS，以生成代表受试者图像中的结构的第一数据；(2)将受试者图像中的多个点应用到学习增强分类器，以生成代表受试者图像中的结构的第二数据；和(3)结合第一数据和第二数据，以生成代表受试者图像中的结构的第三数据。再次的，在优选实施例中，该ABAS可以是多图谱ABAS。
根据另一个方面，发明人公开了一种训练方法，包括：(1)对于多组图谱数据中的每一个，从该图谱数据收集多个训练样本，每一个图谱数据组包括(i)图谱图像，该图谱图像包括多个数据点，和(ii)用于多个图谱图像数据点的多个结构标记，以及(2)将收集的训练样本应用到机器学习算法，以生成自动结构分类器，该结构分类器被配置成对受试者图像的多个点中的每一个确定结构标记，并且其中该方法步骤由处理器执行。
通过阅读以下描述和附图中的教导，本发明的这些和其他特征和优点对于那些本领域普通技术人员将是明显的。
附图说明
图1示出本发明的一个示例性实施例，该实施例使用机器学习算法训练自动结构分类器。
图2示出一个示例性处理流程，该处理流程由处理器执行以使用机器学习算法训练自动结构分类器。
图3示出样本图像区域的例子，从其中收集样本用来训练分类器。
图4示出本发明的一个示例性实施例，该实施例使用ABAS和经训练自动结构分类器的组合来自动分割受试者图像。
图5示出一个示例性处理流程，该处理流程根据一个示例性实施例由处理器执行以使用ABAS和经训练自动结构分类器的组合来自动分割受试者图像。
图6示出一个示例性处理流程，该处理流程根据图5的实施例由处理器执行，在该实施例中使用多个图谱。
图7(a)-(c)示出通过多图谱ABAS生成的图像的例子。
图8示出使用有学习增强的多图谱ABAS和没有学习增强的多图谱ABAS的胸腔分割结果的表。
图9示出一个示例性处理流程，该处理流程根据另一个示例性实施例由处理器执行以使用ABAS和经训练自动结构分类器的组合来自动分割受试者图像。
图10示出一个示例性处理流程，该处理流程根据又一个示例性实施例由处理器执行以使用ABAS和经训练自动结构分类器的组合来自动分割受试者图像。
具体实施方式
现在将描述各种实施例，这些实施例涉及使用机器学习算法训练自动结构分类器，这些实施例还涉及使用一幅或多幅图谱图像和该自动结构分类器在受试者图像上执行学习增强ABAS。
应当理解使用本文所述的技术处理的图像可以采用许多形式中的任何形式。在各种示例性实施例中，图像可以是医学图像，例如CT图像。然而，应当理解的是，可以使用不同类型的图像。举例来说，诸如磁共振(MR)图像和超声图像的图像类型也可以使用本文所述的技术来处理。
I.使用机器学习来训练自动结构分类器：
图1示出了训练自动结构分类器以检测图像内一个或多个感兴趣结构的示例性实施例。如图1所示，处理器100可以被配置为实现处理逻辑104，由此一个或多个图谱图像106被应用于机器学习算法以训练自动结构分类器。该一个或多个图谱图像106优选包括识别该一个或多个图谱图像106中的感兴趣结构的结构分类数据。该处理逻辑104运行以产生经训练的结构分类器108，其中该分类器108被配置为处理图像的数据点以对那些点是否属于感兴趣的结构进行自动分类。分类器108可以采用许多形式中的任何形式，例如一组机器可执行规则。此外，如果医生需要，经训练分类器108可以被配置成平行处理图像中的多个点，虽然这不必如此。
应当理解，由图1所显示的图谱图像可以是二维(2D)图像或三维(3D)图像。对于2D图像，图像数据点可以被称为像素。对于3D图像，图像数据点可以被称为体素。为了简单起见，本文所述的例子将是应用于3D图像，在其中为了简便图像点被描述为体素。然而，应当理解的是，本文所述的技术可以同样应用于2D图像用于训练分类器和自动分割图像。此外，为了简单起见，本文所述的例子将被描述为其中在图像内仅对一个结构进行分类。但是，还应当理解的是，本文所述的用于训练分类器和用于自动分割图像的技术也可以被应用于在受试者图像中分类多个结构。
处理器100可以是具有足够计算能力以实现本文所述机器学习特征的任何处理器。应当理解的是，处理器100可以包括多个处理器，经由网络任选分布。用于实现处理逻辑104的编程指令可以驻留在非暂时性计算机可读存储介质(例如，存储器102)上用于由处理器100访问和执行。应当理解的是，存储器102可以包括多个存储设备，任选地为多个分布式存储设备和/或不同类型的存储设备。
图2示出了用于处理逻辑104的示例性处理流程。图2的例子应用机器学习算法到来自多个图谱图像106的数据(以及它们相关的分类数据)，以产生经训练的结构分类器，该经训练的结构分类器可以处理受试者图像以在其上对感兴趣结构执行自动分割。对图谱图像106的分类数据可以估计感兴趣的结构在各图谱图像106中位于何处。此分类数据可以采用许多形式中的任何形式。例如，分类数据可以是标记，这些标记与各图谱图像106的体素相关联，从而识别那些图谱图像体素是否被分类为感兴趣的结构。
被选择用于分类器训练的图谱图像106优选是在它们相应的分类数据的准确度方面具有高度可信度的图谱图像。通常情况下，预期手动轮廓勾画的图谱图像106将被选择用于应用以训练分类器。
在步骤200处，处理器从图谱图像106收集多个样本体素，以用于训练分类器。虽然应当理解处理流程104可以被配置成在各图谱图像106的所有体素上运行，发明人认为可以采用较少量的图谱图像体素以提高计算效率同时仍然保持准确度。
这些训练样本可以被选择为图谱图像体素的子集，其在感兴趣结构的限定接近度内(由各图谱图像106的分类数据所限定)。
图3示出了如何可以为单一结构收集训练样本的例子。图3的例子中显示了3D图谱图像的2D切片上的感兴趣结构(腮腺)。轮廓304显示了该结构的边界(轮廓304内部的每个体素属于腮腺，并且，轮廓304外部的每个体素属于“背景”)。轮廓302和306勾画出一个距由轮廓304限定的结构的边界一定距离(例如，在该例子中为8mm)内的区域。这个距离可以是用于处理流程104的参数，该参数可以由用户设定。较小的距离允许训练集中在接近结构边界——ABAS分割误差最可能发生的区域——的体素上。但优选的是，距离仍足够大，以满足ABAS分割结果的可能的误差范围。一旦距离阈值被设定，步骤200可以运行以从轮廓304与306之间的体素组中收集用于结构分类器的阳性训练样本(即，已知属于感兴趣结构的体素)。轮廓302和304之间的任何体素可以用作阴性训练样本(即，已知不属于感兴趣结构的体素)。应当理解的是，虽然图3显示2D切片，但是这些原理可同样应用于3D空间中。
即使某人限制该训练样本收集至轮廓302和306之间结构的小邻域，对于单个图像，该邻域区域可以很容易地具有数万体素。由于在图像空间内彼此接近的体素被预期高度相关，因此在训练中没有必要使用轮廓302和306之间的所有体素。使用较少的体素减轻处理流程104的计算负荷。因此，在示例性实施例中，步骤200可以通过从训练样本候选组内的所有阳性体素抽取一定量的随机样本，以及，也从训练样本候选组内的阴性体素抽取一定量的随机样本，来运行以收集训练样本。该随机抽样不必是均匀的。例如，优选抽取较多更靠近结构边界(轮廓304)的样本，并优选抽取较少更远离结构边界的样本。同样的，大多数机器学习算法优选阳性和阴性样本的数量是平衡的。因此，在使用这样的机器学习算法的实例中，步骤200可被配置成为各结构从各图谱中抽取相同量的阳性和阴性样本。假设步骤200从各图谱抽取K个阳性样本和K个阴性样本，并假设采用N个图谱；在这种情况下，用于学习算法的训练样本总数将是2KN。如果所讨论的分类器意味着是一个多结构分类器，则步骤200可以被配置成为各结构类收集KN个样本，并且随后从它们的背景粗略地收集KN个样本。
在步骤202处，处理器计算所收集的训练样本的多个属性。这些属性可以由机器学习算法使用作为其分类任务的一部分。该经训练的分类器将基于在该体素位置收集到的测量数据，作出关于图像体素类别标记的决策。将认为仅基于该体素的图像强度值的体素分类将遭受不适当的不准确度，这是因为在图像(例如CT图像)中不同的结构经常具有非常相似的强度值。为了建立更好的体素分类器，步骤202计算训练样本的各体素位置处的多个测量结果，以获得局部图像外观和相关背景信息的更加完整的表征。这些测量结果形成各图像体素的数据向量，其可以被称为体素的属性或特征。
多种图像特征可以在各图像体素位置处被计算。预期，用于训练分类器的属性越多，经训练的分类器将执行得越准确；而折衷在于，使用大量属性预期会导致计算时间的增加。可以在步骤202处计算的用于训练体素的属性的例子可以包括：
·图像强度值I——原始图像强度值，或一些预处理例如去噪或强度归一化后的强度。
·图像位置——体素的(x，y，z)坐标。如果首先相对于共同参考坐标系进行归一化，该坐标可以是有用的。为了实现这一点，人们可以通过应用线性图像配准首先配准每一幅有关图像(图谱图像或新受试者图像)至一个共同模板(其中任一个图谱可以被选择为模板)，并且，在应用线性映射后，随后记录体素坐标。
·图像梯度和梯度幅度其中Gσ表示具有内核尺寸为σ的高斯平滑滤波器。通常情况下，有利的是在多个尺度计算该图像梯度特征，即，应用多个σ值。
·图像Hessian矩阵的特征值其在不同尺度被再次计算。
·图像纹理测度，例如能量、熵、对比度、均匀性、以及局部共生矩阵(co-occurance matrix)的对射变换(correlation)，定义于M.Tuceryan和A.K.Jain的“Texture Analysis”，收录于The Handbook of Pattern Recognition and ComputerVision(第二版)，由C.H,Chen,L.F,Pau,P.S,P.Wang(编)，207-248页，World Scientific Publishing Co.,(1998)。
·大小不等的局部图像块。例如，人们可以直接提取体素的局部5x5x5邻域的强度值或归一化值以获得125个特征值。
·计算机视觉文献中提出的许多特征也可以使用，例如Haar特征(参见Viola和Jones,“Rapid object detection using aboosted cascade of simple features”，Computer Vision andPattern Recognition，(2001))，HOG(参见Dalai,N.,Triggs,B.,Schmid,C:Human detection using oriented histograms offlow and appearance.Computer Vision-ECCV,428-441(2006))，SIFT(参见Lowe,D.G.:Object recognition from localscale-invariant features.Proceedings of the InternationalConference on Computer Vision.2.1150-1157页(1999))，局部二元模式(参见Ojala,T.,M,Harwood,D.:Acomparative study of texture measures with classificationbased on feature distributions.Pattern Recognit.29(1),51-59(1996)和Ojala,T.,M.,T.:Multiresolution gray-scale and rotation invariant textureclassification with local binary patterns.IEEE Trans.PatternAnal.Mach,Intell.24(7),971-987(2002))，等等。这些特征大多是为2D图像分析提出的。因此，如果步骤202被应用于3D图像，这些属性应扩展至3D或者在包含所考虑的体素的各2D图像切片中计算。
应当理解的是，步骤202不需要计算所有这些属性，并且其他属性也可以使用或替代性地使用。此外，应当理解的是，如果图谱图像数据已经包括要由机器学习算法使用的图谱图像体素的属性，步骤202可以从处理流程104中省略。
在步骤204处，所收集的训练样本和所计算的属性被应用于机器学习算法，以产生经训练的结构分类器108，其如下面指出，可以采用预测器函数的形式，以自动分类受试者图像的给定输入体素。该机器学习算法可以是监督学习算法。监督学习是机器学习的一个分支，其在给予一组训练数据时寻求推断预测模型。该训练数据的各单独样本是一个对，该对由数据向量(例如所计算的属性和原始体素数据)和期望的输出值组成。监督学习算法分析该训练数据，并产生一个预测器函数。输出为离散时，该预测器函数可以被称为分类器(例如，作为本文所讨论的示例性实施例的结构标记列表)。预测器函数优选地被配置成为任何有效输入对象预测正确输出值，其由此需要监督学习算法以一种“合理方式”从训练数据到未见过的情况(unseensituations)进行归纳。
可在步骤204处采用的优选机器学习算法是随机森林(RF)机器学习算法(参见Breiman,Leo,“Random Forests”，MachineLearning，45(1):5-32，2001，其全部内容通过引用并入本文)，发明人发现该算法对于医学图像的结构分类非常健壮和准确。
RF算法运行以产生经训练分类器108，该分类器108是决策树的集合。每个决策树是以树状结构组织的一组决策规则。树的每个节点应用决策规则，该决策规则通常被称为测试函数或分离函数(splitfunction)。每个测试函数采用属性或特征值作为输入，并产生二元(是/否)输出。基于该是/否应答，输入数据被发送到当前节点的左子节点或右子节点。子节点将运行基于新特征值的另一个测试。这被重复，直到到达所谓的“叶节点”为止。“叶节点”是没有“子”节点的树节点。每个叶节点具有与之相关联的类别/结构标记，但有时其也可以是一个表示属于特定类别/结构可能性的概率值。该规则可以被表示为具有二元输出的测试函数，例如：
其中vi表示第i个特征值，并且ai,bi是两个阈值。因此，由被使用RF算法训练的经训练分类器108，该分类器108可以采用决策树系综(ensemble)的形式，其中每个树是一组以树状或流程图状结构组织的决策规则，其中每个内部(非叶)节点表示一个属性上的测试(即，一条决策规则)，每个分支代表测试的一个结果，并且每个叶(或末端)节点拥有一个类别标记。
在步骤204期间，如果需要的话可以平行建立树，因为每个树独立于其他树而被训练。训练样本被RF算法用来“学习”该树，即，以决定在每个内部树节点处要使用哪条决策规则。对于RF算法，每个树是使用训练数据的随机子集而被建立的，这使得不同的树是高度不相关的。对于一个树，一旦训练样本被收集并且它们的属性被计算，该树通过每次增加一个节点而被递归地建立。在每个节点处，RF算法的目的是找到最有效地分离到达当前节点的训练数据的最佳决策规则。在二元分类的情况下，“最佳分离”意味着该节点的每一个分支应包含来自相同类别的尽可能多的样本。因此，具有RF算法的训练或学习流程的目的是确定哪个特征用于当前节点和应用什么阈值以最佳分离训练数据。利用RF算法，在每个节点处仅考虑所有特征的小的、随机的子集，并且该“最佳”特征选自这个随机子集，而不是使用所有特征。该随机化再次地旨在使树尽可能独立。每个新增加的节点将传入(训练)数据分离成两个分支(两个子集)，并且每个子集将在随后的子节点处再次被测试。因此，每个(非叶)节点可以具有两个子节点。树继续生长，直到到达各子节点的训练数据全部属于相同类别为止。该子节点随后成为树的叶节点，并且，到达该子节点的训练数据的类别标记成为那个叶节点的标记。
有许多公开可用的RF算法实现方式，例如，Weka机器学习软件包是网上可用的，并且它包括RF算法软件包。这些软件包也包括已知的接口，通过该接口，训练样本可被应用于机器学习算法。另外，由这样的软件包产生的经训练分类器108可以采取例如文本文件的形式，该文本文件表达决策树为机器可执行规则。
RF算法可以因此自然地处理多个类别，即，一个分类器分类数个结构(加上背景)。RF分类器的输出可以是输入数据属于哪个类别的概率估值，其也优于一些其他学习算法将产生的硬判定(harddecision)。此外，RF算法是迅速的，在分类器训练和分类器应用两者中均是如此，并且它可以处理非常大维度的输入数据。
然而，应当理解的是，其他机器学习算法也可以在步骤204处采用，如果医生需要的话。可在步骤204处采用的机器学习算法的例子包括那些描述于Witten,I.H.,Frank,E.,Hall,M.A.:Data Mining:Practical machine learning tools and techniques.第三版,MorganKaufmann Publishers(2011)的机器学习算法，该文献的全部内容通过引用并入本文，例如支持向量机(SVM)或AdaBoost机器学习算法。
应当理解的是，关于在受试者图像上执行的自动分割操作，图2的处理流程可以“离线”执行。也就是说，分类器训练仅需要在所需要的图谱图像106被收集后执行一次。所得的经训练分类器108随后可以被存储并在与受试者图像自动分割有关的以后使用期间被应用。
II.学习增强ABAS：
图4示出了使用经训练分类器108执行学习增强ABAS的示例性实施例。如图4所示，处理器400可被配置成实现处理逻辑404，借此，使用一个或多个图谱图像406来自动分割新受试者图像408，以识别受试者图像408中的一个或多个感兴趣的结构。处理逻辑404运行以生成对受试者图像408的分割结果410，其中这个分割结果包括对应于下述估计的分类数据，该估计是指一个或多个感兴趣的结构位于受试者图像408中何处的估计。该分类数据可以采取许多形式中的任何形式。例如，分类数据可以是与该受试者图像的点相关联的标记，从而识别这些受试者图像点是否被分类为感兴趣的结构。应当理解的是，由图4所示的图像可以是二维(2D)图像或三维(3D)图像。
处理器400可以是具有足够计算能力的任何处理器以实现本文所述的自动分割特征。应当理解的是，处理器400可以包括多个处理器，经由网络任选地分布。用于实现处理逻辑404的编程指令可以驻留在非暂时性计算机可读存储介质(例如，存储器402)上，用于由处理器400访问和执行。应当理解的是，存储器402可以包括多个存储设备，任选地为多分布式存储设备和/或不同类型的存储设备。
此外，应当理解，图谱406可以是，但并非必须是，用于训练分类器的相同的图谱106。此外，处理器400和存储器402可以是用于训练分类器的相同的处理器100和存储器102；但是这同样并非必须如此。
图5示出了用于处理逻辑404的示例性处理流程。图5的例子是，结合了ABAS和由经训练分类器自动分割两者结果的混合方法，以对受试者图像408生成一个整体的自动分割结果。
在步骤500处，处理器使用一个或多个图谱图像406在受试者图像408上执行ABAS。可以在步骤500处采用任何用于ABAS的已知技术；例如，可以使用由Han,X.,Hoogeman,M.S.,Levendag,P.C.,Hibbard,L.S.,Teguh,D.N.,Voet,P.,Cowen,A.C.,Wolf,T.K.:Atlas-based auto-segmentation of head and neck CT images,收录于：Metaxas D.et al.(编)MICCAI 2008，LNCS 5242，434-441(2008)描述的ABAS技术，其全部公开内容通过引用并入本文。步骤500导致结构标记估值502的生成。这些标记估值可以是与受试者图像408的点相关联的标记，以识别那些受试者图像点是否被分类为属于一个或多个感兴趣的结构。
在步骤504处，处理器使用ABAS结构标记估值502以识别受试者图像408中的哪个点要使用经训练分类器108进行进一步分析。为了提高计算效率和降低经训练分类器108所需要的复杂度，优选仅应用受试者图像408的体素的一个子集到经训练分类器108。许多技术中的任何技术可以被用来选择受试者图像体素的这个子集。例如，可以限定标准用于评估对受试者图像体素的ABAS标记是否是不明确的，以及随后结构标记不明确的体素可以被包括在该子集内。
作为这种不明确性标准的一个例子，在表示结构标记估值502的准确度评估的数据可用的情况下，该评估的准确度数据可以用来判断哪个受试者图像体素要在步骤502处被选择(例如，选择这样的受试者图像体素，对于该体素的ABAS结构标记被评估为具有X％或以下的准确度，该X％例如50％)。这样的体素可以表征为不明确的，并且认为经训练分类器可用于帮助解决一些这种不明确性。
作为这样的不明确性标准的另一个例子，在多个图谱被用于ABAS的情况下(其中，每个图谱与受试者图像408配准以创建一个标记图，以及其中这些标记图被融合以创建结构标记估值502)，子集选择可以被配置成通过识别如下所述的受试者图像体素来选择不明确受试者图像体素，对于前述被识别的受试者图象体素，在用于生成结构标记估值502的各标记图中关于分类存在分歧。
作为这样的不明确性标准的又一个例子，该子集可以通过限定结构边界周围的接近度从结构标记估值502来选择，并随后选择子集为位于该接近度内的受试者图像体素。假设大多数不明确性(或者至少大多数实质性的不明确性)预期位于接近结构边界，这样的技术可以有助于将经训练的分类器集中在最感兴趣的体素上。
这些和其他技术可以用来选择要应用到经训练分类器108的受试者图像体素的子集。
此外，如果需要的话，在步骤504处，处理器可以计算要由经训练分类器108使用的任何属性。因此，步骤504可以运行以计算在步骤202处为训练技术计算的属性。因此，在步骤504识别的点可以包括对该点计算的属性。
在步骤506处，处理器将在步骤504识别的点(包括所计算的属性)应用到经训练结构分类器108。经训练分类器已如上所讨论的那样被训练，以基于输入体素的多个属性来确定给定输入体素的结构标记。因此，步骤506的运行将导致所选受试者图像体素子集的分类数据508的创建，其中该分类数据识别所选子集的各受试者图像体素是否属于感兴趣的结构。再次的，该分类数据508可以采用受试者图像体素子集的结构标记图的形式。
由于经训练分类器108不是完美的，优选对每个体素的结构分类的最终决策应基于ABAS分类502和经训练分类器分类508两者。因此，在步骤510处，处理器结合来自ABAS和来自经训练分类器108的分类数据502和508，以生成最终分类数据512(其中，该分类数据代表最终分割结果，以识别对受试者图像体素的结构分类标记)。有许多方法可以在步骤510处执行该结合。例如，可以采用分类数据502和508之间的多数表决(尽管当仅有一个图谱被用于ABAS结构标记时，将需要实现打破平局(tiebreaking)机制)。作为另一个例子，如果经训练分类器108产生一个硬判定，人们可以采用其结果508作为另一个标记图，并在标记图502和508之间执行标记融合。例如，如果ABAS和经训练分类器108为其结构标记提供一个概率估值(例如当使用RF分类器时)，一种选择是计算最终结构概率(P)为两个概率估值的加权平均值——一个来自ABAS标记数据(PL)，并且一个来自经训练分类器标记数据(PC)：
P＝wLPL+wCPC，和wL+wC＝1.(1)
两个权重(wL和wC)可以相等或者可以被手动或自动调整。最佳权重也可以基于训练程序例如交叉验证而被自动确定。一旦对每个体素计算了结构概率，通过为P设置阈值0.5可以找到分类数据512的最终结构标记。作为又一个例子，由Warfield,S.K.,Zou,K.H.,Wells,W.M.:Simultaneous truth and performance level estimation(STAPLE):Analgorithm for the validation of image segmentation.IEEETransactions on Medical Imaging 23(7),903-921(2004)描述的STAPLE方法可被用于执行步骤510处的结合操作，其全部公开内容通过引用并入本文。
由于任意两个患者之间可以存在较大解剖变化，使用单个图谱的ABAS通常难以得到满意的分割结果，特别是如果一个图谱被用于所有新患者。提高ABAS分割准确度的一个常见方法是使用多个图谱(参见Rohlfing,T.,Brandt,R.,Menzel,R.,Maurer,C.R.Jr.:Evaluationof atlas selection strategies for atlas-based image segmentation withapplication to confocal microscopy images of bee brains.Neurolmage21(4),1428-1442(2004)；Rohlfing T.,Brandt,R.,Menzel,R.,Russakoff,D.B.,Maurer,C.R.Jr.:Quo Vadis,Atlas-basedsegmentation？收录于：Suri,J.,Wilson.D.,Laxminarayan,S.(编)The Handbook of Medical Image Analysis.Kluwer(2005)；Heckemann,R.A.,Hajnal,J.V.,Aljabar,P.,Rueckert,D.,Hammers,A.:Automatic anatomical brain MRI segmentation combining labelpropagation and decision fusion.Neurolmage 33(1),115-126(2006)；Klein,S.,van der Heide,U.A.,Lips,I.M.,van Vulpen,M.,Staring,M.,Pluim,J.P.W.:Automatic segmentation of the prostate in 3D MRimages by atlas matching using localized mutual information.Med.Phys.35(4),1407-1417(2008)；Han,X.,Hoogeman,M.S.,Levendag,P.C.,Hibbard,L.S.,Teguh,D.N.,Voet,P.,Cowen.A.C.,Wolf,T.K.:Atlas-based auto-segmentation of head and neck CT images.收录于：Metaxas D.ei al.(编)MICCAI 2008,LNCS 5242,434-441(2008)，它们的全部公开内容通过引用并入本文。)
图6示出了显示使用多个图谱406以执行ABAS的示例性实施例，并且其中ABAS分割结果与来自经训练分类器108的分割结果相结合以生成最终分割结果510。用这种多图谱ABAS策略，每个可用的图谱406首先被单独应用(即，步骤600处的图像配准和步骤602处的结构标记映射)以获得每个图谱406的给定图像的独立分类数据。来自不同图谱的这些多个分割结果(标记图)随后在步骤604处被结合以得到对感兴趣结构的一致的ABAS分割。步骤604可以被称为标记融合(类似于步骤510)。正如步骤510，许多标记融合技术中的任何一种可以被用来将单个图谱标记图结合入合成的ABAS标记图502。最简单的标记融合方法可以是多数表决。用多数表决标记融合技术，在新图像的每个体素处，每个图谱标记图实质上投出一票，该票关于该体素属于什么结构或非结构(“背景”)。体素的最终标记随后可以被确定为具有最多票数的一个标记。对于当标记值要么是1(对于处于结构内部)要么是0(对于处于背景中)时的二元情况，多数表决也可以通过取各体素处所有标记的平均值而被计算，并且随后将该体素指定为结构或背景，这取决于平均值是高于0.5还是低于0.5。由于平均值在0和1之间，因此它们可被认为是结构标记的概率估值。多数表决或简单平均在消除单个图谱分割结果中的随机误差中是有效的。其它更复杂的标记融合方法可以在步骤604使用，例如上述STAPLE方法。这些方法旨在基于各单个图谱的特性或准确度的一些智能评估，分配最佳的、不相等的权重到不同的图谱。再次的，这些标记融合方法中的任一种可以被用在步骤604处。
图7(a)-(c)示出了多图谱ABAS分割结果的例子。图7(a)将来自不同图谱标记图的估计结构边界(其中该结构是右腮腺)显示为轮廓700。图7(b)将这些不同的图谱标记图何处不一致一般性地显示为区域702。图7(c)显示了各个图谱标记图可以如何通过标记融合技术被结合以生成一幅结构概率图。
一旦多个图谱标记图被组合以生成ABAS分类数据502，图6的处理流程可以继续进行，如前面连同图5所描述的那样。
已经进行若干实验，这些实验表明本文所述的基于学习的增强可以大大提高多图谱ABAS的分割准确度，在一项研究中，ABAS和学习增强ABAS被应用于从肺癌患者图像中自动分割胸腔。
在该实验中，采集了来自15个不同患者的15幅CT图像。每幅图像中的胸腔由人类专家手动分割。运行留一法(Leave-one-out)交叉验证以测试图6实施例的性能，其中对于每个患者，其余14个数据集被用作图谱以运行多图谱ABAS以及训练针对胸腔的RF体素分类器。对每个患者得到了两个自动分割结果——一个来自于运行多图谱ABAS自身以及将多数表决作为标记融合方法，并且，第二个使用连同图6描述的学习增强标记融合。对于学习增强标记融合，最终结构概率使用上面的公式(1)进行计算，对两项使用了相等权重。各自动分割结果的准确度相比起对各患者的给定手动分割进行了评价，并这是通过Dice重叠系数进行了测量，该系数是自动和手动分割结果之间重叠区域的体积与两个分割结果的平均体积的比例。这些实验的结果总结在图8中。正如从图8的表中数据可以看出的，学习增强标记融合大大提高了多图谱ABAS的胸腔分割准确度。
虽然图5和图6描述了用于执行学习增强ABAS的示例性实施例，但是应当理解的是，可以使用替代性实施例。例如，如上面所指出的，医生可以选择使用经训练分类器来分类受试者图像408的所有体素，如图9所示。因此，在图9的实施例中，步骤504被省略，并且在步骤900处经训练分类器108在受试者图像408的所有体素上运行。在这样的实施例中，受试者图像体素的任何必要属性可能需要被计算以供分类器108使用。在步骤510处，分类数据502和902如上所述被结合以生成最终分割结果904。
作为另一个例子，在多图谱ABAS实施例中，经训练分类器108可以被配置成在步骤602处生成的各单个图谱标记图的子集上独立运行，如图10所示。在图10中，步骤1000在步骤602处生成的各图谱标记图上执行。因此，如果不确定性标准被用于选择该子集，步骤1000将产生来自各图谱标记图的不明确体素，这些不明确体素在步骤1002处被独立地应用到经训练分类器108以产生针对各图谱的不同的经训练分类器标记图1004。在步骤1006处，处理器可以结合步骤602处生成的不同ABAS标记图和不同的经训练分类器标记图1004，以产生最终分割结果1008。步骤1006处的结合操作可以使用上面针对步骤510或604描述的融合技术中的任何一种。
尽管上面已经关于其优选实施例描述了本发明，然而可以对其做出仍落入本发明范围之内的各种修改。对本发明的此类修改通过阅读本文教导将是可认识的。因此，本发明的全部范围应通过所附权利要求及其合法等同物唯一限定。

Claims (43)

1.一种自动分割方法，包括：
使用图谱图像在受试者图像中的多个点上执行基于图谱的自动分割ABAS，以生成代表所述受试者图像中的结构的第一数据；
将所述受试者图像中的多个点应用到学习增强分类器，以生成代表所述受试者图像中的所述结构的第二数据；
结合所述第一数据和所述第二数据，以生成代表所述受试者图像中的所述结构的第三数据；以及
其中所述方法步骤由处理器执行。
2.根据权利要求1所述的方法，还包括：
所述处理器选择所述受试者图像中的所述点的子集；以及
其中所述应用步骤包括：所述处理器将被应用到所述学习增强分类器的所述受试者图像的所述点限制到所选择的子集。
3.根据权利要求2所述的方法，其中所述选择步骤包括：所述处理器基于有关所述第一数据的至少一个不确定性标准来选择所述子集。
4.根据权利要求3所述的方法，其中所述图谱图像包括多个所述图谱图像，每个图谱图像包括多个点，每个图谱图像点与表示相关联的图谱图像点是否被分类为所述结构的标记相关联；
其中所述执行步骤包括：
所述处理器将所述受试者图像与多个所述图谱图像配准，以将所述受试者图像的点映射至所述图谱图像的点，从而将所述配准的受试者图像点与这些标记相关联，所述标记与已被映射到所述配准的受试者图像点的所述图谱图像点相关联；以及
通过基于与多个受试者图像点相关联的标记来对多个所述受试者图像点关于那些受试者图像点是否属于所述结构进行分类，由此所述处理器生成所述第一数据；以及
其中，所述选择步骤包括：
所述处理器将所述子集选择为与低于阈值的经评估结构分类准确度数据相关联的受试者图像点。
5.根据权利要求3所述的方法，其中所述选择步骤包括：所述处理器基于多个所述受试者图像点到所述第一数据中的所述结构的边界的接近度来选择所述子集。
6.根据权利要求1所述的方法，其中所述图谱图像包括多个所述图谱图像；
其中，所述第一数据包括多组所述第一数据，每个第一数据组对应于所述图谱图像中不同的一个，并且代表所述受试者图像中的所述结构；
其中所述应用步骤包括：所述处理器将每个所述第一数据组的所述受试者图像中的多个点应用到学习增强分类器，以将所述第二数据生成为多个第二数据组，每个第二数据组代表所述受试者图像中的所述结构；以及
其中所述结合步骤包括：所述处理器结合所述第一数据组和所述第二数据组，以生成所述第三数据。
7.根据权利要求1所述的方法，其中所述学习增强分类器是使用应用到图谱数据的有监督的机器学习算法来训练的分类器，所述图谱数据包括：(1)代表多个图谱图像的多个点的属性数据和(2)与所述图谱图像点相关联的多个标记，所述每个标记表示所述标记的相关联的图谱图像点是否属于所述结构。
8.根据权利要求7所述的方法，还包括：
在执行将所述受试者图像点应用到所述分类器的步骤之前，所述处理器通过将所述图谱数据应用到所述有监督的机器学习算法来训练所述分类器。
9.根据权利要求8所述的方法，其中所述有监督的机器学习算法包括随机森林RF机器学习算法。
10.根据权利要求8所述的方法，其中所述训练步骤包括：所述处理器通过以下步骤来限定所述图谱数据，所述步骤包括：(1)选择所述图谱图像的所述点的子集，和(2)将所述图谱数据限制至(i)代表图谱图像点的所选择的子集的属性数据和(ii)与所述图谱图像点的所选择的子集相关联的所述标记。
11.根据权利要求10所述的方法，其中所述选择步骤包括：所述处理器基于所述标记限定所述子集，使得所述子集包括所述结构的边界的限定接近度之内的多个图谱图像点。
12.根据权利要求1所述的方法，其中所述学习增强分类器是使用随机森林RF机器学习算法来训练的分类器，所述学习增强分类器包括被配置成处理所述被应用的受试者图像点的多个决策树，每个决策树被组织为多个分支和多个节点以实现多个决策规则，所述节点包括多个内部节点和多个末端节点，每个内部节点被配置成测试被应用的受试者图像点的属性，每个分支对应于所述测试的结果，并且其中每个末端节点拥有用于与被应用的受试者图像点相关联的结构标记。
13.根据权利要求1所述的方法，其中所述图谱图像包括多个所述图谱图像。
14.根据权利要求1所述的方法，其中所述图谱图像包括多个所述图谱图像，每个图谱图像包括多个点，每个图谱图像点与表示相关联的图谱图像点是否被分类为所述结构的标记相关联；以及
其中所述执行步骤包括：
所述处理器将所述受试者图像与多个所述图谱图像配准，以将所述受试者图像的点映射至所述图谱图像的点，从而将所述配准的受试者图像点与这样的标记相关联，所述这样的标记与已被映射到所述配准的受试者图像点的所述图谱图像点相关联；以及
通过按照标记融合技术来结合与所述配准的受试者图像点相关联的所述标记，所述处理器生成所述第一数据。
15.根据权利要求14所述的方法，其中所述生成的第一数据包括与多个所述受试者图像点相关联的多个第一数据标记，每个第一数据标记表示它的相关联的受试者图像点是否属于所述结构，其中所述生成的第二数据包括与多个所述受试者图像点相关联的多个第二数据标记，每个第二数据标记表示它的相关联的受试者图像点是否属于所述结构，并且其中所述结合步骤包括：
对于至少这样的所述受试者图像点，所述处理器按照标记融合技术将它们的相关联的第一数据标记和第二数据标记结合，所述这样的受试者图像点是指受试者图像点的相关联的第一数据标记和第二数据标记关于所述相关联的受试者图像点是否属于所述结构不一致的受试者图像点。
16.根据权利要求1所述的方法，还包括：
所述处理器计算要被应用到所述学习增强分类器的所述受试者图像中的所述多个点的多个属性；以及
其中所述应用步骤包括：所述处理器将所述受试者图像中的多个点和对那些点所计算的属性应用到所述学习增强分类器，以生成所述第二数据。
17.根据权利要求16所述的方法，其中所述属性包括由如下成员所组成的组中的至少两个成员：(1)图像强度，(2)图像位置，(3)图像梯度和梯度幅度，(4)受试者图像的Hessian矩阵的多个特征值，(5)图像的纹理测度，(6)局部图像块，(7)Haar特征，(8)HOG，(9)SIFT，和(10)局部二元模式。
18.根据权利要求1所述的方法，其中所述受试者图像包括计算机断层扫描(CT)图像。
19.一种自动分割装置，包括：
处理器，被配置成(1)使用图谱图像在受试者图像中的多个点上执行基于图谱的自动分割ABAS，以生成代表所述受试者图像中的结构的第一数据，(2)将所述受试者图像中的多个点应用到学习增强分类器，以生成代表所述受试者图像中的所述结构的第二数据，和(3)结合所述第一数据和所述第二数据，以生成代表所述受试者图像中的所述结构的第三数据。
20.根据权利要求19所述的装置，其中所述处理器还被配置成(1)选择所述受试者图像中的所述点的子集，和(2)将被应用到所述学习增强分类器的所述受试者图像的所述点限制到所选择的子集。
21.根据权利要求20所述的装置，其中所述处理器还被配置成基于有关所述第一数据的至少一个不确定性标准来选择所述子集。
22.根据权利要求21所述的装置，其中所述图谱图像包括多个所述图谱图像，每个图谱图像包括多个点，每个图谱图像点与表示相关联的图谱图像点是否被分类为所述结构的标记相关联，其中所述处理器还被配置成(1)通过以下步骤执行所述基于图谱的自动分割：(i)将所述受试者图像与多个所述图谱图像配准，以将所述受试者图像的点映射至所述图谱图像的点，从而将所述配准的受试者图像点与这样的标记相关联，所述这样的标记与已被映射到所述配准的受试者图像点的所述图谱图像点相关联，和(ii)通过基于与多个受试者图像点相关联的标记来对多个所述受试者图像点关于那些受试者图像点是否属于所述结构进行分类，来生成所述第一数据，以及(2)将所述子集选择为与低于阈值的经评估的结构分类准确度数据相关联的受试者图像点。
23.根据权利要求21所述的装置，其中所述处理器还被配置成基于多个所述受试者图像点到所述第一数据中的所述结构的边界的接近度来选择所述子集。
24.根据权利要求19所述的装置，其中所述图谱图像包括多个所述图谱图像；
其中所述第一数据包括多组所述第一数据，每个第一数据组对应于所述图谱图像中不同的一个，并且代表所述受试者图像中的所述结构；
其中所述处理器还被配置成通过以下步骤执行应用操作：将每个所述第一数据组的所述受试者图像中的多个点应用到学习增强分类器，以将所述第二数据生成为多个第二数据组，每个第二数据组代表所述受试者图像中的所述结构；以及
其中所述处理器还被配置成通过以下步骤执行所述结合操作：结合所述第一数据组和所述第二数据组以生成所述第三数据。
25.根据权利要求19所述的装置，其中所述学习增强分类器是使用应用到图谱数据的有监督的机器学习算法来训练的分类器，所述图谱数据包括：(1)代表多个图谱图像的多个点的属性数据和(2)与所述图谱图像点相关联的多个标记，所述每个标记表示所述标记的相关联的图谱图像点是否属于所述结构。
26.根据权利要求25所述的装置，其中所述处理器还被配置成，在所述应用操作执行之前，通过将所述图谱数据应用到所述有监督的机器学习算法来训练所述分类器。
27.根据权利要求26所述的装置，其中所述有监督的机器学习算法包括随机森林RF机器学习算法。
28.根据权利要求26所述的装置，其中所述处理器还被配置成通过以下步骤对训练操作限定所述图谱数据：(1)选择所述图谱图像的所述点的子集，和(2)将所述图谱数据限制至(i)代表图谱图像点的所选择的子集的属性数据和(ii)与所述图谱图像点的所选择的子集相关联的所述标记。
29.根据权利要求28所述的装置，其中所述处理器还被配置成基于所述标记限定所述子集，使得所述子集包括所述结构的边界的限定接近度之内的多个图谱图像点。
30.根据权利要求19所述的装置，其中所述学习增强分类器是使用随机森林RF机器学习算法来训练的分类器，所述学习增强分类器包括被配置成处理所述被应用的受试者图像点的多个决策树，每个决策树被组织为多个分支和多个节点以实现多个决策规则，所述节点包括多个内部节点和多个末端节点，每个内部节点被配置成测试被应用的受试者图像点的属性，每个分支对应于所述测试的结果，并且其中每个末端节点拥有用于与被应用的受试者图像点相关联的结构标记。
31.根据权利要求19所述的装置，其中所述图谱图像包括多个所述图谱图像。
32.根据权利要求19所述的装置，其中所述图谱图像包括多个所述图谱图像，每个图谱图像包括多个点，每个图谱图像点与表示相关联的图谱图像点是否被分类为所述结构的标记相关联，其中所述处理器还被配置成通过以下步骤执行所述基于图谱的自动分割：(1)将所述受试者图像与多个所述图谱图像配准，以将所述受试者图像的点映射至所述图谱图像的点，从而将所述配准的受试者图像点与这样的标记相关联，所述这样的标记与已被映射到所述配准的受试者图像点的所述图谱图像点相关联，和(2)通过按照标记融合技术来结合与所述配准的受试者图像点相关联的所述标记来生成所述第一数据。
33.根据权利要求32所述的装置，其中所述生成的第一数据包括与多个所述受试者图像点相关联的多个第一数据标记，每个第一数据标记表示它的相关联的受试者图像点是否属于所述结构，其中所述生成的第二数据包括与多个所述受试者图像点相关联的多个第二数据标记，每个第二数据标记表示它的相关联的受试者图像点是否属于所述结构，并且其中所述处理器还被配置成通过以下步骤执行所述结合操作：对于至少这样的所述受试者图像点，按照标记融合技术将它们的相关联的第一数据标记和第二数据标记结合，所述这样的受试者图像点是指受试者图像点的相关联的第一数据标记和第二数据标记关于所述相关联的受试者图像点是否属于所述结构不一致的受试者图像点。
34.根据权利要求19所述的装置，其中所述处理器还被配置成(1)计算要被应用到所述学习增强分类器的所述受试者图像中的所述多个点的多个属性，和(2)将所述受试者图像中的多个点和对那些点的所计算的属性应用到所述学习增强分类器，以生成所述第二数据。
35.根据权利要求34所述的装置，其中所述属性包括由如下成员所组成的组中的至少两个成员：(1)图像强度，(2)图像位置，(3)图像梯度和梯度幅度，(4)受试者图像的Hessian矩阵的多个特征值，(5)图像的纹理测度，(6)局部图像块，(7)Haar特征，(8)HOG，(9)SIFT，和(10)局部二元模式。
36.根据权利要求19所述的装置，其中所述受试者图像包括计算机断层扫描CT图像。
37.一种用于自动分割的计算机程序产品，包括：
多个指令，驻留于非暂时性计算机可读存储介质上，并且能够由处理器执行，以(1)使用图谱图像在受试者图像中的多个点上执行基于图谱的自动分割ABAS，以生成代表所述受试者图像中的结构的第一数据；(2)将所述受试者图像中的多个点应用到学习增强分类器，以生成代表所述受试者图像中的所述结构的第二数据；和(3)结合所述第一数据和所述第二数据，以生成代表所述受试者图像中的所述结构的第三数据。
38.一种训练方法，包括：
对于多组图谱数据中的每个，从所述图谱数据收集多个训练样本，每个图谱数据组包括(1)图谱图像，所述图谱图像包括多个数据点，和(2)用于多个所述图谱图像数据点的多个结构标记；以及
将所述收集的训练样本应用到机器学习算法，以生成自动的结构分类器，所述结构分类器被配置成对受试者图像的多个点中的每个来确定结构标记；以及
其中所述方法步骤由处理器执行。
39.根据权利要求38所述的方法，其中所述收集步骤包括：所述处理器(1)基于所述结构标记，识别所述结构的边界的限定接近度之内的多个图谱图像数据点，和(2)选择至少多个所识别的图谱图像数据点和它们的结构标记，作为所述训练样本。
40.根据权利要求38所述的方法，还包括：
所述处理器计算所收集的训练样本的多个属性；以及
其中所述应用步骤还包括：将所述所收集的训练样本和所计算的属性应用到所述机器学习算法，以生成所述自动的结构分类器。
41.根据权利要求40所述的方法，其中所述属性包括由如下成员所组成的组中的至少两个成员：(1)图像强度，(2)图像位置，(3)图像梯度和梯度幅度，(4)受试者图像的Hessian矩阵的多个特征值，(5)图像的纹理测度，(6)局部图像块，(7)Haar特征，(8)HOG，(9)SIFT，和(10)局部二元模式。
42.根据权利要求38所述的方法，其中所述机器学习算法包括随机森林RF机器学习算法。
43.根据权利要求38所述的方法，其中所述自动的结构分类器包括被配置成处理多个所述受试者图像点的多个决策树，每个决策树被组织为多个分支和多个节点以实现多个决策规则，所述节点包括多个内部节点和多个末端节点，每个内部节点被配置成测试受试者图像点的属性，每个分支对应于所述测试的结果，并且其中每个末端节点拥有用于与受试者图像点相关联的结构标记。
CN201480011383.0A 2013-03-01 2014-02-12 用于学习增强的基于图谱的自动分割的方法和装置 Active CN105009171B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/782,154 US9122950B2 (en) 2013-03-01 2013-03-01 Method and apparatus for learning-enhanced atlas-based auto-segmentation
US13/782,154 2013-03-01
PCT/US2014/015952 WO2014133756A2 (en) 2013-03-01 2014-02-12 Method and apparatus for learning-enhanced altas-based auto-segmentation

Publications (2)

Publication Number Publication Date
CN105009171A true CN105009171A (zh) 2015-10-28
CN105009171B CN105009171B (zh) 2018-04-27

Family

ID=50239943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480011383.0A Active CN105009171B (zh) 2013-03-01 2014-02-12 用于学习增强的基于图谱的自动分割的方法和装置

Country Status (9)

Country Link
US (2) US9122950B2 (zh)
EP (2) EP3832595B1 (zh)
JP (2) JP6487341B2 (zh)
CN (1) CN105009171B (zh)
AU (1) AU2014221357B2 (zh)
BR (1) BR112015020981A2 (zh)
CA (1) CA2903158C (zh)
RU (1) RU2015141710A (zh)
WO (1) WO2014133756A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957094A (zh) * 2016-06-15 2016-09-21 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统
CN107423551A (zh) * 2016-05-24 2017-12-01 西门子医疗有限公司 用于执行医学检查的成像方法
CN108351986A (zh) * 2015-10-30 2018-07-31 株式会社摩如富 学习系统、学习装置、学习方法、学习程序、训练数据生成装置、训练数据生成方法、训练数据生成程序、终端装置以及阈值变更装置
CN108564590A (zh) * 2018-04-20 2018-09-21 上海理工大学 一种基于心脏磁共振电影短轴图像的右心室多图谱分割方法
CN109074659A (zh) * 2016-05-04 2018-12-21 皇家飞利浦有限公司 医学图谱配准
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN110235175A (zh) * 2016-12-21 2019-09-13 医科达有限公司 在线学习增强的基于图谱的自动分割
CN111553375A (zh) * 2019-02-08 2020-08-18 Sap欧洲公司 使用变换以验证计算机视觉质量
CN111615362A (zh) * 2018-01-18 2020-09-01 皇家飞利浦有限公司 用于投影图像的图像分解的系统和方法
CN112116609A (zh) * 2019-06-21 2020-12-22 斯特拉克斯私人有限公司 基于图像中的结构或材料分割的机器学习分类方法与系统
US20200410677A1 (en) * 2018-03-16 2020-12-31 Fujifilm Corporation Machine learning device and method

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2565870A1 (en) * 2004-05-06 2005-12-15 The Regents Of The University Of California Method and system for aligning and classifying images
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
WO2013040693A1 (en) * 2011-09-23 2013-03-28 Hamid Reza Tizhoosh Computer system and method for atlas-based consensual and consistent contouring of medical images
US9691156B2 (en) * 2012-02-01 2017-06-27 Koninklijke Philips N.V. Object image labeling apparatus, method and program
US9165360B1 (en) * 2012-09-27 2015-10-20 Zepmed, Llc Methods, systems, and devices for automated analysis of medical scans
US9971959B2 (en) 2013-03-15 2018-05-15 Nvidia Corporation Performing object detection operations via a graphics processing unit
JP6063315B2 (ja) * 2013-03-26 2017-01-18 富士フイルム株式会社 真贋判定システム，特徴点登録装置およびその動作制御方法，ならびに照合判定装置およびその動作制御方法
US9836879B2 (en) * 2013-04-16 2017-12-05 Autodesk, Inc. Mesh skinning technique
US9122959B2 (en) * 2013-05-03 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for automated delineation of structure shape for image guided treatment planning
US9483831B2 (en) 2014-02-28 2016-11-01 International Business Machines Corporation Segmentation using hybrid discriminative generative label fusion of multiple atlases
US10169681B2 (en) * 2014-12-15 2019-01-01 Koninklijke Philips N.V. Quality control of image registration
WO2016134125A1 (en) * 2015-02-18 2016-08-25 Vanderbilt University Image segmentation via multi-atlas fusion with context learning
US9767380B2 (en) * 2015-04-13 2017-09-19 Varian Medical Systems International Ag. Image comparison tool tolerant to deformable image matching
US9589211B2 (en) * 2015-05-08 2017-03-07 Siemens Healthcare Gmbh Learning-based aorta segmentation using an adaptive detach and merge algorithm
WO2016182551A1 (en) * 2015-05-11 2016-11-17 Siemens Healthcare Gmbh Method and system for landmark detection in medical images using deep neural networks
GB2539246B (en) * 2015-06-11 2019-08-21 Mirada Medical Ltd Method and apparatus for selecting a subset of atlases from a set of candidate atlases
CN105447876B (zh) * 2015-12-10 2017-02-15 北京中科紫鑫科技有限责任公司 一种dna测序的图像的磁珠提取方法及装置
US10107769B2 (en) 2016-01-11 2018-10-23 Carl Zeiss X-Ray Microscopy Inc. Multimodality mineralogy segmentation system and method
US10169871B2 (en) * 2016-01-21 2019-01-01 Elekta, Inc. Systems and methods for segmentation of intra-patient medical images
WO2017219024A1 (en) * 2016-06-17 2017-12-21 Children's National Medical Center Medical anatomy quantification: computer-aided diagnosis tool
US10878336B2 (en) * 2016-06-24 2020-12-29 Intel Corporation Technologies for detection of minority events
CN109952070B (zh) 2016-10-05 2022-02-01 纽文思公司 手术导航系统及相关方法
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
US11164308B2 (en) * 2017-02-27 2021-11-02 The Regents Of The University Of California System and method for improved medical images
US10862885B2 (en) * 2017-03-20 2020-12-08 Forescout Technologies, Inc. Device identification
US11625597B2 (en) 2017-11-15 2023-04-11 Canon Medical Systems Corporation Matching network for medical image analysis
GB2569541B (en) * 2017-12-19 2020-08-19 Mirada Medical Ltd Method and apparatus for medical imaging
GB2583555B (en) * 2017-12-19 2021-08-18 Mirada Medical Ltd Method and apparatus for medical imaging
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US11227390B2 (en) 2018-09-26 2022-01-18 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image processing
EP3644275A1 (en) * 2018-10-22 2020-04-29 Koninklijke Philips N.V. Predicting correctness of algorithmic segmentation
US10878173B2 (en) * 2018-11-29 2020-12-29 Adobe Inc. Object recognition and tagging based on fusion deep learning models
US10930386B2 (en) 2018-12-11 2021-02-23 International Business Machines Corporation Automated normality scoring of echocardiograms
US10956682B2 (en) 2019-02-05 2021-03-23 International Business Machines Corporation Image object disambiguation resolution using learner model based conversation templates
US10915795B2 (en) 2019-02-05 2021-02-09 International Business Machines Corporation Image object recognition through multimodal conversation templates
WO2020194662A1 (ja) * 2019-03-28 2020-10-01 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法
CN110163285B (zh) * 2019-05-23 2021-03-02 阳光保险集团股份有限公司 票证识别训练样本合成方法和计算机存储介质
US11475130B2 (en) * 2019-05-29 2022-10-18 Anomalee Inc. Detection of test-time evasion attacks
US11514297B2 (en) * 2019-05-29 2022-11-29 Anomalee Inc. Post-training detection and identification of human-imperceptible backdoor-poisoning attacks
US11830192B2 (en) * 2019-07-31 2023-11-28 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for region detection in tissue sections using image registration
JP7316611B2 (ja) * 2020-01-30 2023-07-28 富士通株式会社 推定処理プログラム、推定処理方法、及び情報処理装置
CN114638964A (zh) * 2022-03-07 2022-06-17 厦门大学 基于深度学习的跨域三维点云分割方法、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101317196A (zh) * 2005-12-01 2008-12-03 皇家飞利浦电子股份有限公司 用于分割图像中与参考结构相关的结构的方法、系统和计算机程序
CN102165454A (zh) * 2008-09-29 2011-08-24 皇家飞利浦电子股份有限公司 用于提高计算机辅助诊断对图像处理不确定性的鲁棒性的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7957574B2 (en) * 2006-11-22 2011-06-07 General Electric Company Methods and apparatus for generating a risk metric for soft plaque in vessels
CA2792736C (en) 2010-03-11 2018-07-03 Koninklijke Philips Electronics N.V. Probabilistic refinement of model-based segmentation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101317196A (zh) * 2005-12-01 2008-12-03 皇家飞利浦电子股份有限公司 用于分割图像中与参考结构相关的结构的方法、系统和计算机程序
CN102165454A (zh) * 2008-09-29 2011-08-24 皇家飞利浦电子股份有限公司 用于提高计算机辅助诊断对图像处理不确定性的鲁棒性的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANTONIO CRIMINISI ET AL.: "Regression Forests for Efficient Anatomy Detection and Localization in CT Studies", 《MEDICAL COMPUTER VISION: RECOGNITION TECHNIQUES AND APPLICATIONS IN MEDICAL IMAGING》 *
D. LOUIS COLLIES ET AL.: "ANIMAL+INSECT: Improved Cortical Structure Segmentation", 《INFORMATION PROCESSING IN MEDICAL IMAGING, PROCEEDINGS》 *
FEDDE VAN DER LIJN ET AL.: "Hippocampus segmentation in MR images using atlas registration, voxel classification, and graph cuts", 《NEUROIMAGE》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170262B2 (en) 2015-10-30 2021-11-09 Morpho, Inc. Training system, training device, method for training, training data creation device, training data creation method, terminal device, and threshold value changing device
CN108351986B (zh) * 2015-10-30 2022-03-29 株式会社摩如富 学习系统及装置和方法、训练数据生成装置及生成方法
CN108351986A (zh) * 2015-10-30 2018-07-31 株式会社摩如富 学习系统、学习装置、学习方法、学习程序、训练数据生成装置、训练数据生成方法、训练数据生成程序、终端装置以及阈值变更装置
CN109074659A (zh) * 2016-05-04 2018-12-21 皇家飞利浦有限公司 医学图谱配准
CN109074659B (zh) * 2016-05-04 2023-04-04 皇家飞利浦有限公司 医学图谱配准
CN107423551A (zh) * 2016-05-24 2017-12-01 西门子医疗有限公司 用于执行医学检查的成像方法
CN105957094A (zh) * 2016-06-15 2016-09-21 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统
CN105957094B (zh) * 2016-06-15 2018-09-25 深圳维影医疗科技有限公司 一种基于轮廓检测的胸片肺野快速自动分割方法及其系统
CN113129308B (zh) * 2016-12-21 2022-11-11 医科达有限公司 图像分割方法、装置和非暂态计算机可读存储介质
CN110235175A (zh) * 2016-12-21 2019-09-13 医科达有限公司 在线学习增强的基于图谱的自动分割
CN110235175B (zh) * 2016-12-21 2020-11-10 医科达有限公司 在线学习增强的基于图谱的自动分割
CN113129308A (zh) * 2016-12-21 2021-07-16 医科达有限公司 图像分割方法、装置和非暂态计算机可读存储介质
CN111615362A (zh) * 2018-01-18 2020-09-01 皇家飞利浦有限公司 用于投影图像的图像分解的系统和方法
US20200410677A1 (en) * 2018-03-16 2020-12-31 Fujifilm Corporation Machine learning device and method
US11823375B2 (en) * 2018-03-16 2023-11-21 Fujifilm Corporation Machine learning device and method
CN108564590A (zh) * 2018-04-20 2018-09-21 上海理工大学 一种基于心脏磁共振电影短轴图像的右心室多图谱分割方法
CN109242865B (zh) * 2018-09-26 2020-09-25 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN109242865A (zh) * 2018-09-26 2019-01-18 上海联影智能医疗科技有限公司 基于多图谱的医学图像自动分区系统、方法、装置及存储介质
CN111553375A (zh) * 2019-02-08 2020-08-18 Sap欧洲公司 使用变换以验证计算机视觉质量
CN111553375B (zh) * 2019-02-08 2024-04-05 Sap欧洲公司 使用变换以验证计算机视觉质量
CN112116609A (zh) * 2019-06-21 2020-12-22 斯特拉克斯私人有限公司 基于图像中的结构或材料分割的机器学习分类方法与系统

Also Published As

Publication number Publication date
EP3832595B1 (en) 2022-07-13
US20140247977A1 (en) 2014-09-04
AU2014221357B2 (en) 2019-04-04
US20150356367A1 (en) 2015-12-10
AU2014221357A1 (en) 2015-09-03
WO2014133756A3 (en) 2014-11-06
US9460360B2 (en) 2016-10-04
JP6672371B2 (ja) 2020-03-25
CA2903158C (en) 2020-05-12
EP2962281B1 (en) 2021-07-14
EP3832595A1 (en) 2021-06-09
JP2016513328A (ja) 2016-05-12
JP6487341B2 (ja) 2019-03-20
RU2015141710A (ru) 2017-05-10
EP2962281A2 (en) 2016-01-06
WO2014133756A2 (en) 2014-09-04
CN105009171B (zh) 2018-04-27
CA2903158A1 (en) 2014-09-04
US9122950B2 (en) 2015-09-01
BR112015020981A2 (pt) 2017-07-18
JP2018156668A (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
CN105009171B (zh) 用于学习增强的基于图谱的自动分割的方法和装置
Oktay et al. Stratified decision forests for accurate anatomical landmark localization in cardiac images
Arbeláez et al. Semantic segmentation using regions and parts
CN104956397B (zh) 基于自动空间上下文的3d图像中的多对象分段
CN105474262B (zh) 用于图像引导治疗计划的结构形状的自动描绘的方法和装置
RU2530220C1 (ru) Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
Blomley et al. Classification of airborne laser scanning data using geometric multi-scale features and different neighbourhood types
Benson et al. Deep hourglass for brain tumor segmentation
Mahapatra Graph cut based automatic prostate segmentation using learned semantic information
Casanova et al. Texture analysis using fractal descriptors estimated by the mutual interference of color channels
CN107292346B (zh) 一种基于局部子空间学习的mr图像海马体分割算法
Seok et al. Automated classification system for bone age X-ray images
CN104281856A (zh) 用于脑部医学图像分类的图像预处理方法和系统
Alansary et al. Automatic brain localization in fetal MRI using superpixel graphs
Wachinger et al. Contour-driven regression for label inference in atlas-based segmentation
Niepceron et al. Brain tumor detection using selective search and pulse-coupled neural network feature extraction
Benkarim et al. Label consistent multiclass discriminative dictionary learning for MRI segmentation
Vijayadeep et al. A hybrid feature extraction based optimized random forest learning model for brain stroke prediction
Lee et al. Learning-based multi-atlas segmentation of the lungs and lobes in proton MR images
Gong et al. Finding distinctive shape features for automatic hematoma classification in head CT images from traumatic brain injuries
Suseendran et al. Lung cancer image segmentation using rough set theory
Pei et al. Mixed metric random forest for dense correspondence of cone-beam computed tomography images
Kanavati et al. Supervoxel classification forests for estimating pairwise image correspondences
Kapoor et al. A multi-objective optimization-based clustering framework for the brain tumor segmentation followed by Optimized ABC for feature selection using MRI scans
Safa et al. Brain mr segmentation through fuzzy expectation maximization and histogram Based K-Means

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171018

Address after: American Georgia

Applicant after: ELEKTA LIMITED

Address before: American California

Applicant before: IMPAC MEDICAL SYSTEMS, INC.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant