CN109906470B - 使用神经网络方法的图像分割 - Google Patents

使用神经网络方法的图像分割 Download PDF

Info

Publication number
CN109906470B
CN109906470B CN201780064971.4A CN201780064971A CN109906470B CN 109906470 B CN109906470 B CN 109906470B CN 201780064971 A CN201780064971 A CN 201780064971A CN 109906470 B CN109906470 B CN 109906470B
Authority
CN
China
Prior art keywords
image
images
dimensional
stack
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780064971.4A
Other languages
English (en)
Other versions
CN109906470A (zh
Inventor
徐峤峰
韩骁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elekta Ltd
Original Assignee
Elekta Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elekta Ltd filed Critical Elekta Ltd
Publication of CN109906470A publication Critical patent/CN109906470A/zh
Application granted granted Critical
Publication of CN109906470B publication Critical patent/CN109906470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00—Radiation therapy
    • A61N5/10—X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Abstract

本公开涉及用于分割三维图像的系统、方法、设备和非暂态计算机可读存储介质。在一个实现方式中，提供了一种用于分割三维图像的计算机实现的方法。该方法可以包括：接收由成像设备获取的三维图像；以及从三维图像中选择相邻二维图像的多个堆叠。该方法还可以包括：由处理器使用神经网络模型来分割相邻二维图像的每个堆叠。该方法还可以包括：由处理器通过聚合来自多个堆叠的分割结果来确定三维图像的标记图。

Description

使用神经网络方法的图像分割
技术领域
本公开总体上涉及图像分割。更具体地，本公开涉及用于基于神经网络的自动图像分割的系统和方法。
背景技术
在放射疗法或放射外科手术中，治疗计划通常基于患者的医学图像来执行并且需要勾画医学图像中的靶区和正常关键器官的轮廓。因此，医学图像中的解剖结构的分割是放射疗法治疗计划的先决条件和重要步骤。准确且自动的基于计算机的对解剖结构的分割或轮廓绘制可以便于最佳治疗计划的设计和/或调整。然而，由于不同患者的靶区和关键器官的形状、尺寸、位置等的形变和可变性，医学图像的准确且自动的分割目前仍然是具有挑战性的任务。
图1示出了来自典型前列腺癌患者的示例性三维(3D)计算机断层扫描(CT)图像。图(A)示出了患者的骨盆区域的3D视图，其包括患者的膀胱、前列腺和直肠。图像(B)、图像(C)和图像(D)是来自该骨盆区域的3D CT图像的轴向视图、矢状视图和冠状视图。如图像(B)、图像(C)和图像(D)所示，患者的前列腺边界的大部分是不可见的。也就是说，不能容易地将前列腺与其他解剖结构区分开或确定前列腺的轮廓。相比之下，图像(E)、图像(F)和图像(G)示出了在相同的3D CT图像上的期望前列腺轮廓。如图1中所示，仅基于图像中呈现的纹理和对比度的传统的图像分割方法在用于分割该示例性3D CT图像时可能会失败。因此，提出了各种方法来提高医学图像的自动分割的准确性。
例如，已经使用基于图集的自动分割(ABAS)方法来解决放射疗法治疗计划中的解剖结构的轮廓绘制的问题。ABAS方法基于参考图像、即图集中的预先定义的解剖配置来映射新图像中的轮廓。ABAS方法的准确性在很大程度上取决于图集配准方法的性能。如上所述，一些器官的形状和尺寸可能因不同患者而异，并且可能针对同一患者在不同阶段大尺度地发生形变，这会降低配准准确性并且影响由ABAS方法执行的自动分割。
机器学习技术的最新发展改进了图像分割，例如更准确地分割图像中的低对比度部分或较低质量的图像。例如，各种机器学习算法可以“训练”机器、计算机或计算机程序以预测(例如通过估计似然性)医学图像的每个像素或体素所表示的解剖结构。这种预测或估计通常使用医学图像的一个或更多个特征作为输入。因此，分割的性能很大程度上取决于可用特征的类型。例如，随机森林(RF)方法已经用于图像分割目的并且取得了一些成功。可以基于从训练样本组中提取不同特征来建立RF模型。然而，RF方法中采用的特征需要手动设计，并且特定于对一种类型的器官进行轮廓绘制。为不同的分割应用设计最佳特征组合是繁琐并且耗时的。
因此，需要新的自动分割方法以改善在放射疗法或相关领域中的对于医学图像的分割性能。
发明内容
本公开的某些实施方式涉及一种用于分割三维图像的计算机实现的方法。该方法可以包括：接收由成像设备获取的三维图像；以及从三维图像中选择相邻二维图像的多个堆叠。该方法还可以包括：由处理器使用神经网络模型来分割相邻二维图像的每个堆叠。该方法还可以包括：由处理器通过聚合来自多个堆叠的分割结果来确定三维图像的标记图。
本公开的某些实施方式涉及一种用于分割三维图像的设备。该设备可以包括接收由成像设备获取的三维图像的输入接口。该设备还可以包括被配置成存储三维图像的至少一个存储设备。该设备还可以包括图像处理器，该图像处理器被配置成从三维图像中选择相邻二维图像的多个堆叠。该图像处理器还可以被配置成使用神经网络模型分割相邻二维图像的每个堆叠。该图像处理器还可以被配置成通过聚合来自多个堆叠的分割结果来确定三维图像的标记图。
本公开的某些实施方式涉及一种存储计算机可执行指令的非暂态计算机可读介质。计算机可执行指令在由至少一个处理器执行时可以使至少一个处理器执行用于分割三维图像的方法。该方法可以包括：接收由成像设备获取的三维图像；以及从三维图像中选择相邻二维图像的多个堆叠。该方法还可以包括：使用神经网络模型分割相邻二维图像的每个堆叠。该方法还可以包括：通过聚合来自多个堆叠的分割结果来确定三维图像的标记图。
本公开的其他目的和优点部分地将在以下详细描述中阐述，并且部分地根据描述将是明显的，或者可以通过本公开的实践来学习。借助于所附权利要求中特别指出的元件和组合，将实现和获得本公开的目的和优点。
应当理解，上面的一般性描述和以下的详细描述仅是示例性和说明性的，并不对所要求保护的本发明进行限制。
附图说明
构成本说明书的一部分的附图示出了若干实施方式，并且这些附图与描述一起用于解释所公开的原理。
图1示出了来自典型前列腺癌患者的示例性三维CT图像。
图2示出了根据本公开的一些实施方式的示例性图像引导放射治疗设备。
图3示出了根据本公开的一些实施方式的用于图像分割的示例性卷积神经网络(CNN)模型。
图4示出了根据本公开的一些实施方式的用于分割3D图像的示例性图像分割系统。
图5示出了根据本公开的一些实施方式的用于分割3D图像的示例性图像处理设备。
图6是示出根据本公开的一些实施方式的用于训练CNN模型的示例性训练过程的流程图。
图7A是示出根据本公开的一些实施方式的、使用通过图6的过程获得的一个经训练的CNN模型的示例性图像分割过程的流程图。
图7B是示出根据本公开的一些实施方式的、使用通过图6的过程获得的至少一个经训练的CNN模型的另外的示例性图像分割过程的流程图。
图8A示出了根据本公开的一些实施方式的3D医学图像的第一示例性图像分割过程。
图8B示出了根据本公开的一些实施方式的3D医学图像的第二示例性图像分割过程。
具体实施方式
与本公开一致的系统、方法、设备和过程旨在使用基于机器学习算法的图像分割方法对3D图像进行分割。有利地，示例性实施方式使得能够使用从3D图像获得的相邻2D图像的堆叠的依赖结构信息来提高分割3D图像的准确性和鲁棒性。
如本文所使用的，要分割或用作训练数据的“3D医学图像”或“3D图像”可以指代通过任何类型的成像模态获取的3D图像数据集，成像模态例如为CT、磁共振成像(MRI)、功能性MRI(例如fMRI、DCE-MRI和扩散MRI)、锥形束计算机断层扫描(CBCT)、螺旋CT、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学层析成像、荧光成像、超声成像和放射治疗门户成像等。另外地，如本文所使用的，“机器学习算法”是指可以基于现有信息或知识来学习模型或模式并且使用新信息或知识的输入来预测或估计输出的任何算法。
监督式学习是在给定训练数据组的情况下推断预测模型的机器学习的分支。训练数据的每个单独样本是包含数据集(例如图像)和期望的输出值或数据集的对。监督式学习算法分析训练数据并且产生预测函数。预测函数一旦通过训练被得到，则能够合理地预测或估计针对有效输入的正确输出值或数据集。可以基于各种机器学习模型、算法和/或过程来构建预测函数。
卷积神经网络(CNN)是一种可以通过监督式学习进行训练的机器学习算法。CNN模型的架构包括将输入转换为输出的不同层的堆叠。不同层的示例可以包括一个或更多个卷积层、非线性算子层(例如整流线性单元(ReLu)函数、S形函数或双曲正切函数)、池化或子采样层、全连接层和/或最终损失层。每层可以连接一个上游层和一个下游层。输入可以被认为是输入层，并且输出可以被认为是最终输出层。
为了提高CNN模型的性能和学习能力，可以选择性地增加不同层的数目。从输入层至输出层的中间不同层的数目可以变得非常大，从而增加CNN模型的架构的复杂性。具有大量的中间层的CNN模型被称为深度CNN模型。例如，一些深度CNN模型可以包括超过20层至30层，并且其他深度CNN模型甚至可以包括超过几百层。深度CNN模型的示例包括AlexNet、VGGNet、GoogLeNet、ResNet等。
本公开利用CNN模型、特别是深度CNN模型的强大的学习能力来分割3D图像的解剖结构。与所公开的实施方式一致，使用经训练的CNN模型执行3D图像的分割，以对具有解剖结构的输入3D图像的每个体素进行标记。有利地，本公开的实施方式中的用于图像分割的CNN模型使得能够自动分割解剖结构，而无需手动特征提取。
如本文所使用的，所公开的分割方法所使用的CNN模型可以指代基于卷积神经网络的架构构建、调整或修改的任何神经网络模型。例如，本公开的实施方式中的用于分割的CNN模型可以选择性地包括输入层与输出层之间的中间层，例如一个或更多个去卷积层、上采样层或上池化层、像素级预测层以及/或者复制和剪切算子层。
所公开的图像分割方法、系统、设备和过程通常包括两个阶段：训练阶段，其使用包括针对每个体素标记有不同解剖结构的3D图像的训练数据集来“训练”或“学习”CNN模型；以及分割阶段，其使用经训练的CNN模型来预测输入3D图像的每个体素的解剖结构以及/或者将输入3D图像的每个体素标记至解剖结构。
如本文所使用的，“训练”CNN模型指的是确定该CNN模型中的至少一个层的一个或更多个参数。例如，CNN模型的卷积层可以包括至少一个滤波器或内核(kernel)。可以通过例如基于反向传播的训练过程来确定至少一个滤波器的例如内核权重、尺寸、形状和结构的一个或更多个参数。
与所公开的实施方式一致，为了训练CNN模型，训练过程使用至少一组训练图像。每组训练图像可以包括3D图像和其相应的3D真实标记图(ground truth label map)，该3D真实标记图将解剖结构与3D图像的每个体素相关联。作为非限制性示例，3D图像可以被划分为相邻2D图像的顺序堆叠，并且3D真实标记图由分别与相邻2D图像的顺序堆叠对应的顺序2D真实标记图组成。如本文所使用的，训练图像是已分割的图像，并且真实标记图为训练图像的代表性图像切片的每个像素提供已知的解剖结构标记。换句话说，真实标记图的像素与已知的解剖结构相关联。如果相邻2D图像的堆叠包括奇数个图像，则真实标记图提供堆叠的中间图像的结构标记。可替选地，如果相邻2D图像的堆叠包括偶数个图像，则真实标记图提供堆叠的两个中间图像之一的结构标记。
与所公开的实施方式一致，相邻2D图像的堆叠是沿选择的解剖平面、例如轴向平面、矢状平面或冠状平面的相邻2D图像切片。因此，相邻2D图像中的解剖结构沿与解剖平面正交的轴在空间上是依赖的、相关的或连续的。有利地，所公开的图像分割方法使用相邻2D图像之间的这种依赖结构信息来提高3D医学图像的分割结果的鲁棒性和准确性。
与所公开的实施方式一致，沿着不同解剖平面的相邻2D图像的堆叠被用于训练不同的CNN模型。作为非限制性示例，三组不同的训练图像分别被用于训练三个CNN模型，每组训练图像包括沿着解剖平面、例如轴向平面、矢状平面或冠状平面的相邻2D图像的堆叠组。每个经训练的CNN模型可以用于使用从3D图像获得的沿着相应解剖平面的相邻2D图像的堆叠来分割3D图像。可替选地，对沿三个不同解剖平面的相邻2D图像的堆叠进行组合以用于训练一个CNN模型。经训练的CNN模型可以用于使用从3D图像获得的沿着三个解剖平面中的任何平面的相邻2D图像的堆叠来分割3D图像。
与所公开的实施方式一致，至少一个经训练的CNN模型被用于分割3D图像。作为非限制性示例，3D图像可以被划分为多个相邻2D图像或以多个相邻2D图像的形式提供。例如，可以从要分割的3D图像中获得沿着解剖平面的相邻2D图像的堆叠序列。相邻2D图像的堆叠序列可以是顺序的并且具有一个或更多个交叠图像，使得堆叠的中间图像基本上一起构成整个3D图像。序列中的每个堆叠被输入到经训练的CNN模型以确定堆叠中的中间图像的2D输出标记图。基于2D相邻图像的堆叠的中间图像的2D标记图，可以确定3D标记图。作为非限制性示例，可以通过根据沿着与相邻2D图像的堆叠的解剖平面正交的轴的中间图像的序列将中间图像的2D标记图进行聚合，来获得3D标记图。
如上所述，可以从3D图像中获得沿着不同解剖平面、例如轴向平面、矢状平面或冠状平面的相邻2D图像的堆叠序列。在这种情况下，可以分别基于三个解剖平面的相邻2D图像的三个堆叠序列来确定三个3D标记图。作为非限制性示例，可以分别通过三个不同的经训练的CNN模型使用三个不同解剖平面的相邻2D图像的三个堆叠序列来确定三个3D标记图。作为另外的非限制性示例，可以通过一个经训练的CNN模型分别使用三个不同解剖平面的相邻2D图像的三个堆叠序列来确定三个3D标记图。可以融合三个所确定的3D标记图以确定3D图像的最终3D标记图。
与所公开的实施方式一致，所确定的3D标记图将解剖结构与3D图像的每个体素相关联。作为非限制性示例，3D标记图预测3D图像的每个体素表示的解剖结构。
所公开的图像分割系统、方法、设备和过程可以应用于对从任何类型的成像模态获得的3D图像进行分割，该成像模态包括但不限于X射线、CT、CBCT、螺旋CT、MRI、功能MRI(例如fMRI、DCE-MRI和扩散MRI)、PET、SPECT、光学断层扫描、荧光成像、超声成像和放射治疗门户成像等。此外，所公开的图像分割系统、方法、设备和过程可以用于分割2D图像和3D图像两者。
与一些实施方式一致，所公开的图像分割系统可以是如参照图2所述的放射治疗设备的一部分。图2示出了根据本公开的一些实施方式的示例性图像引导放射治疗设备150。设备150包括床(couch)210、对应于图像获取设备140的图像获取部以及对应于放射治疗设备130的放射传递部。
床210可以用于在治疗过程期间支承患者(未示出)，并且还可以被称为患者支承系统。床210可以沿着水平的平移轴(标记为“I”)移动，使得安置于床210上的患者可以被移入和/或移出设备150。在一些实施方式中，床210可以围绕横向于平移轴的中心垂直旋转轴旋转。床210可以被机动化以根据治疗计划在各个方向上移动并且沿着各种轴旋转以适当地放置患者。
图像获取设备140可以包括用于在治疗过程之前、治疗过程期间和/或治疗过程之后获取患者的2D或3D MRI图像的MRI机器。图像获取设备140可以包括用于生成用于磁共振成像的主磁场的磁体146。通过磁体146的操作生成的磁场线可以基本上平行于中心平移轴I而延伸。磁体146可以包括具有平行于平移轴I延伸的轴的一个或更多个线圈。在一些实施方式中，磁体146中的一个或更多个线圈可以被间隔开，使得磁体146的中心窗口147没有线圈。在其他实施方式中，磁体146中的线圈可以足够薄或者具有降低的密度，使得它们对放射治疗设备130生成的波长的辐射是基本上透明的。图像获取设备140还可以包括一个或更多个有源屏蔽线圈，该有源屏蔽线圈可以在磁体146外部生成大致相等的幅值和相反极性的磁场以抵消磁体146外部的磁场。放射治疗设备130的辐射源134可以放置在磁场至少被抵消至第一阶的区域中。
图像获取设备140还可以包括两个梯度线圈148和149，梯度线圈148和149可以生成叠加在主磁场上的梯度磁场。线圈148和149可以在所产生的磁场中生成梯度，该梯度允许质子的空间编码使得它们的位置可以被确定。梯度线圈148和149可以绕与磁体146共同的中心轴放置，并且可以沿着该中心轴彼此移位。该移位可以在线圈148和149之间产生间隙或窗口。在其中磁体146还包括线圈之间的中心窗口147的实施方式中，两个窗口可以彼此对准。
预期图像获取设备140可以是除MRI以外的成像设备，例如X射线设备、CT设备、CBCT设备、螺旋CT设备、PET设备、SPECT设备、光学断层扫描设备、荧光成像设备、超声成像设备和放射治疗门户成像设备等。
放射治疗设备130可以包括例如X射线源或线性加速器的辐射源134以及多叶准直器(MLC)132。放射治疗设备130可以安装在底盘138上。底盘138在被插入治疗区域且由一个或更多个底盘电机供电的情况下可以围绕床210持续旋转。如果需要，也可以在底盘138上安装辐射检测器，该辐射检测器优选地与辐射源134相对，并且底盘138的旋转轴位于辐射源134与检测器之间。放射治疗设备130的控制电路系统可以集成在设备150内或远离设备150。
在放射疗法治疗过程期间，患者可以被放置在床210上，床210可以被插入由磁线圈146、148、149和底盘138限定的治疗区域。控制台110可以控制辐射源134、MLC 132和(一个或多个)底盘电机以通过线圈148和149之间的窗口将辐射传递至患者。
用于3D图像分割的CNN模型
图3示出了根据本公开的一些实施方式的用于图像分割的示例性CNN模型。如图3所示，用于图像分割的CNN模型可以接收相邻2D图像的堆叠作为输入，并且输出堆叠中间的图像之一的预测的2D标记图。如上所述，如果相邻2D图像的堆叠包括奇数个图像，则2D标记图提供堆叠的中间图像的结构标记。可替选地，如果相邻2D图像的堆叠包括偶数个图像，则2D标记图提供堆叠的两个中间图像之一的结构标记。
如图3所示，CNN模型10通常可以包括两个部分：第一特征提取部20和第二像素级标记部30。特征提取部20可以提取输入的相邻2D图像的堆叠22的一个或更多个特征。特征提取部使用卷积神经网络24来接收输入的相邻2D图像的堆叠22并且输出表示输入堆叠的特征的至少一个特征向量或矩阵。像素级标记部30使用特征提取部20的输出来预测输入的相邻2D图像的堆叠22的中间图像26的2D标记图32。像素级标记部30可以使用任何合适的方法来执行，例如基于块的方法和全映射方法，如下面进一步详细描述的。
有利地，使用包含依赖结构信息的相邻2D图像的堆叠进行训练并且将该相邻2D图像的堆叠作为CNN模型10的输入提高了CNN模型10对输出2D标记图32的预测的准确性。这进一步提高了由针对3D图像的每个图像切片预测的2D标记图构建的预测的3D图像的3D标记图的准确性。
如本文所使用的，依赖结构信息可以指代沿着与2D图像的解剖平面正交的轴的相邻2D图像的堆叠中示出的解剖结构之间的空间依赖关系。作为非限制性示例，由堆叠的第一图像中的第一组像素表示的解剖结构的形状和类型也可以由与第一图像相邻的第二图像中的第二组像素表示。这是因为沿着与解剖平面正交的轴的第一图像和第二图像的空间相邻允许这些图像中示出的解剖结构的某种依赖性或连续性。因此，一个图像中的解剖结构的形状、尺寸和/或类型可以提供沿着相同平面的另外的相邻图像中的解剖结构的形状、尺寸和/或类型的信息。
作为另外的非限制性示例，在相邻2D图像的堆叠包括三个顺序图像、例如依次堆叠的第一图像切片、第二图像切片和第三图像切片的情况下，可以在堆叠的第一图像切片中的第一组像素和堆叠的第三图像切片中的第三组像素两者中示出解剖结构，但是不在位于第一图像切片和第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的相应的第二组像素(例如，具有与第一组像素和/或第三组像素的空间位置相似的空间位置的像素)中示出解剖结构。在这种情况下，第二图像切片中的相应像素可能被错误地标记。三个相邻2D图像切片的堆叠中的解剖结构的这种不连续性可以用作用于训练CNN模型10的依赖结构信息。
作为另外的非限制性示例，在三个相邻2D图像、例如依次堆叠的第一图像切片、第二图像切片和第三图像切片的堆叠中，堆叠的第一图像切片中的第一组像素和第三图像切片中的第三组像素两者可以指示背景，而在第一图像切片和第三图像切片之间并且与第一图像切片和第三图像切片相邻的第二图像切片的相应的第二组像素可以指示解剖结构。第二图像切片中的相应像素可能受到生成假阳性信号的噪声的影响。三个相邻2D图像切片的堆叠中的背景的这种不连续性也可以用作用于训练CNN模型10的依赖结构信息。
可以基于例如以下的各种因素选择性地使用不同类型的依赖结构信息：堆叠中的相邻图像的数目、要分割的解剖结构的类型、形状、尺寸、位置和/或数目以及/或者用于获取图像的成像模态。如上所述，对从3D图像中获得的相邻2D图像的堆叠的这种依赖结构信息的使用提高了分割3D图像或生成3D标记图的准确性。
以下详细描述在本公开的实施方式中使用的CNN模型10的各种部件和特征。
用于特征提取的卷积神经网络
在一些实施方式中，CNN模型10的卷积神经网络24包括输入层，例如相邻2D图像的堆叠22。因为相邻2D图像的堆叠被用作输入，所以输入层具有体积，其空间维度由2D图像的宽度和高度确定，并且其深度由堆叠中的图像数目确定。如本文所述，可以期望地调整CNN模型10的输入层的深度以与输入的相邻2D图像的堆叠22中的图像的数目匹配。
在一些实施方式中，CNN模型10的卷积神经网络24包括一个或更多个卷积层28。每个卷积层28可以具有多个参数，例如由上输入层确定的宽度(“W”)和高度(“H”)(例如卷积层28的输入的尺寸)以及层中的滤波器或内核(“N”)的数目及其尺寸。滤波器的数目可以被称为卷积层的深度。因此，可以在如图3所示的3D体积方面描述每个卷积层28。每个卷积层28的输入横跨其宽度和高度与一个滤波器卷积，并且产生对应于该滤波器的2D激活图(activation map)或特征图。对每个卷积层的所有滤波器执行卷积，并且所得到的激活图或特征图沿着深度维度被堆叠，从而生成3D输出。在前卷积层的输出可以用作下一个卷积层的输入。
在一些实施方式中，CNN模型10的卷积神经网络24包括一个或更多个池化层(未示出)。可以在CNN模型10中的两个连续卷积层28之间添加池化层。池化层单独地对输入(例如来自先前卷积层的激活图或特征图)的每个深度切片进行操作，并且通过执行非线性下采样的形式来减小其空间维度。如图3所示，池化层的功能是逐渐减小所提取的激活图或特征图的空间维度以减小网络中的参数和计算的量，并且因此也控制过度拟合。可以基于例如以下的各种因素来确定池化层的数目和放置：卷积网络架构的设计、输入的尺寸、卷积层28的尺寸和/或CNN模型10的应用。
可以使用各种非线性函数来实现池化层。例如，可以使用最大池化。最大池化可以将输入的图像切片划分为具有预定跨度的一组交叠或非交叠子区域。对于每个子区域，最大池化输出最大值。这会沿着其宽度和其高度对输入的每个切片进行下采样，而深度维度保持不变。其他合适的函数可以用于实现池化层，例如平均池化或甚至L2规范池化。
在各种实施方式中，CNN模型10可以选择性地包括其卷积神经网络24中的一个或更多个另外的层。作为非限制性示例，可以在卷积层之后选择性地添加ReLu层(未示出)以生成中间激活图或特征图。ReLu层可以增加预测函数和CNN模型10的整体的非线性性质，而不会影响卷积层28的相应维度。另外地，ReLu层可以减少或避免反向传播训练过程期间的饱和。
作为另外的非限制性示例，可以在卷积层和/或池化层之后添加一个或更多个全连接层29。全连接层与先前层的所有激活图或特征图具有完全连接。例如，全连接层可以将最后的卷积层或最后的池化层的输出当作向量形式的输入，并且执行高级确定以及输出沿深度维度布置的特征向量。输出向量可以称为输出层。该向量可以包含CNN模型10的输入的图像堆叠22中的解剖结构的信息。
作为进一步的非限制性示例，损失层(未示出)可以包括在CNN模型10中。损失层可以是卷积神经网络24或CNN模型10中的最后的层。在CNN模型10的训练期间，损失层可以确定网络训练如何阻碍(penalize)预测的2D标记图和2D真实标记图之间的偏差。损失层可以通过各种合适的损失函数来实现。例如，Softmax函数可以用作CNN模型10的最终损失层。
像素级标记方法
如上所述，在CNN模型10的第二部分中，使用由卷积神经网络24提取的一个或更多个特征作为输入来执行像素级标记，以生成预测的2D标记图32。2D标记图可以提供相邻2D图像的堆叠的中间图像的结构标记。
在一些实施方式中，基于块的方法用于预测输入的相邻2D图像的堆叠22的中间图像26的2D标记图32。相邻2D图像的堆叠中的每个图像可以类似地被划分成交叠或不交叠的矩形块，每个矩形块具有中心像素。这会生成相邻2D图像块的堆叠。2D图像块的堆叠可以用作训练数据和CNN模型10的输入两者。块可以被设计成使得块的中心像素一起基本上构成整个2D图像。CNN模型10可以对每个块的堆叠的中间块的中心像素进行分类，以例如预测由中心像素表示的解剖结构。例如，CNN模型10可以预测堆叠中的中间块的中心像素的特征向量，从而使得能够对中心像素的解剖结构进行分类。重复执行这种分类，直到所有相邻2D图像块的堆叠的中间块的所有中心像素被分类或被标记，从而实现相邻2D图像的堆叠的中间图像的分割。
在上述基于块的方法中，在构成整个中间图像26的所有中心像素被分类的情况下，执行输入的相邻2D图像的堆叠22的中间图像26的像素级标记。
在其他实施方式中，使用全映射方法预测输入的相邻2D图像的堆叠22的中间图像26的2D标记图32。在这种情况下，基于输入的相邻2D图像的堆叠22生成中间图像26的2D标记图32作为CNN模型10的输出。CNN模型10中的卷积神经网络24用于提取激活图或特征图作为输出，该输出由包括一个或更多个操作层的像素级标记结构接收以预测2D标记图。在这种情况下，卷积神经网络24的最终层可以是输出激活图或特征图的卷积层。
作为非限制性示例，可以将像素级预测层(未示出)添加至CNN模型10以执行像素级标记。像素级预测层将卷积神经网络24的粗输出特征图(例如特征向量)转换为输入的相邻2D图像的堆叠22的中间图像26的密集的(例如提供每个像素的更多信息)预测的像素级2D标记图32。可以使用各种函数来实现像素级预测层，例如后向上采样或上池化(例如双线性插值或非线性插值)以及后向卷积(去卷积)。
作为另外的非限制性示例，将去卷积网络34添加至CNN模型10以执行像素级标记。如图3所示。去卷积网络34可以是CNN模型10的卷积神经网络24的镜像版本。与逐渐减小所提取的激活图或特征图的空间维度的卷积神经网络24相反，去卷积网络34通过使用对去卷积层36和/或上池化层(未示出)的选择来放大中间激活图或特征图。可以使用上池化层(例如上采样层)将特征图中的像素放回至它们先前的池位置或原始池位置，从而生成放大的但稀疏的激活图或特征图。去卷积层可以用于将输入激活图或特征图的单个像素与多个输出像素相关联，从而放大和增加激活图或特征图的密度。因此，去卷积网络34可以与卷积神经网络24一起训练并且使用以预测2D标记图。
如本领域的技术人员将了解的，可以在本公开的实施方式中调整、修改和/或使用用于执行像素级标记的其它合适方法。
与本公开的实施方式一致，基于上述CNN模型的图像分割方法、系统、设备和/或过程包括两个阶段：训练阶段，其使用包括针对每个体素标记有不同解剖结构的3D图像的训练数据集来“训练”或“学习”CNN模型；以及分割阶段，其使用经训练的CNN模型来预测输入的3D图像的每个体素的解剖结构以及/或者将输入的3D医学图像的每个体素标记至解剖结构。下面详细描述基于上述CNN模型的图像分割方法、系统、设备和/或过程。
基于CNN模型的图像分割系统
图4示出了根据本公开的一些实施方式的用于基于至少一个CNN模型来分割3D图像的示例性图像分割系统100。如图4所示，图像分割系统100可以包括用于执行训练阶段和分割阶段这两个阶段的部件。为了执行训练阶段，图像分割系统100可以包括训练图像数据库101和CNN模型训练单元102。为了执行分割阶段，图像分割系统100可以包括基于CNN模型的图像分割单元103和医学图像数据库104。在一些实施方式中，图像分割系统100可包括图4中所示的部件中的更多或更少的部件。例如，在预先训练并且提供了用于图像分割的CNN模型的情况下，图像分割系统100可以仅包括分割单元103和医学图像数据库104。图像分割系统100可以可选地包括网络105。在一些实施方式中，网络105可以由有线数据通信系统或设备代替。
在一些实施方式中，图像分割系统100的各种部件可以彼此远离或位于不同的空间中，并且可以通过如图4所示的网络105连接。在一些替选的实施方式中，图像分割系统100的某些部件可以位于相同场所或位于一个设备内。例如，训练图像数据库101可以位于具有CNN模型训练单元102的场所，或者可以是CNN模型训练单元102的一部分。作为另外的示例，CNN模型训练单元102和分割单元103可以在相同计算机或处理设备内。
如图4所示，CNN模型训练单元102可以与训练图像数据库101通信以接收一组或更多组训练图像。存储在训练图像数据库101中的训练图像组可以从医学图像数据库、例如包含预先在放射疗法治疗过程期间获取的医学图像的医学图像数据库获得。每组训练图像可以包括3D图像及其相应的3D真实标记图，该3D真实标记图将解剖结构与3D图像的每个体素相关联。可以将3D图像选择性地划分成相邻2D图像的一个或更多个顺序堆叠。3D真实标记图可以被划分成分别对应于相邻2D图像的顺序堆叠的顺序2D真实标记图，并且2D真实标记图的像素与已知的解剖结构相关联。可以基于例如以下的各种因素确定每个堆叠中的相邻2D图像的数目：3D图像的尺寸、CNN模型的特定框架、沿着与2D图像正交的轴的相邻2D图像中的解剖结构之间的关系以及/或者分割的应用。
在一些实施方式中，相邻2D图像的堆叠包括例如3、5、7或任何合适的奇数的奇数个图像。在这种情况下，真实标记图为堆叠的中间图像的每个像素提供已知的解剖结构标记。在其他实施方式中，相邻2D图像的堆叠包括例如2、4、6或任何合适的偶数的偶数个图像。在这种情况下，真实标记图为堆叠的两个中间图像之一的每个像素提供已知的解剖结构标记。
与所公开的实施方式一致，可以使用各种成像模态来获取训练图像，该成像模态包括MRI、功能性MRI(例如fMRI、DCE-MRI和扩散MRI)、CT、CBCT、螺旋CT、PET、SPECT、X射线、光学断层扫描、荧光成像、超声成像和放射治疗门户成像等。在一些实施方式中，可以从肿瘤学信息系统收集训练数据。例如，训练图像可以由图像获取设备140获取。
CNN模型训练单元102可以使用从训练图像数据库101接收的训练图像来训练CNN模型以用于对新3D图像执行图像分割。CNN模型训练单元102可以包括处理器和非暂态计算机可读介质(结合图5详细讨论)。处理器可以通过执行存储在计算机可读介质中的训练过程的指令来进行训练。CNN模型训练单元102可以附加地包括输入和输出接口(结合图5详细讨论)以与训练图像数据库101、网络105和/或用户接口(未示出)进行通信。用户接口可以用于选择训练图像的组、调整训练过程的一个或更多个参数(例如每个堆叠中的相邻图像切片的数目)、选择或修改CNN模型的框架以及/或者手动地或半自动地分割用于训练的图像。下面参照图6进一步详细描述训练过程的示例。
与一些实施方式一致，可以用通过执行(例如，如图6中所公开的)训练过程的软件专门编程的(例如，如图5中所公开的)硬件来实现CNN模型训练单元102。
分割单元103可以从CNN模型训练单元102接收至少一个经训练的CNN模型。分割单元103可以包括处理器和非暂态计算机可读介质(结合图5详细讨论)。处理器可以通过执行存储在介质中的图像分割过程的指令来进行3D图像的分割。分割单元103可以附加地包括输入和输出接口(结合图5详细讨论)以与医学图像数据库104、网络105和/或用户接口(未示出)进行通信。用户接口可以用于选择要分割的3D图像、启动分割过程、显示分割的3D图像或3D标记图以及/或者基于分割的图像或3D标记图执行进一步的分析。下面参照图7A至图8B进一步详细描述图像分割过程的示例。
与一些实施方式一致，可以用通过执行(例如，如图7A和图7B中所公开的)图像分割过程的软件专门编程的(例如，如图5中所公开的)硬件来实现分割单元103。
分割单元103可以与医学图像数据库104通信以接收一个或更多个3D图像。存储在医学图像数据库104中的3D图像可以从包含例如放射疗法治疗过程的2D图像和/或3D图像的医学图像数据库获得。如本文所述，可以从由例如图像获取设备140的医学成像设备获取的2D投影图像来重建3D图像。这些3D图像通常尚未被分割。
分割单元103可以使用从CNN模型训练单元102接收的至少一个经训练的CNN模型来预测3D图像的每个体素所表示的解剖结构。在完成图像分割时，分割单元103可以输出3D标记图，将3D图像的每个体素与解剖结构相关联。3D标记图可以显示在用户接口中，以及/或者存储在医学图像数据库104中，以进一步用于治疗计划。在一些实施方式中，分割的图像可以自动存储在训练图像数据库101中并且成为训练图像。
与所公开的实施方式一致，可以使用各种成像模态来获取要分割的3D图像，该成像模态包括MRI、功能性MRI(例如、fMRI、DCE-MRI和扩散MRI)、CT、CBCT、螺旋CT、PET、SPECT、X射线、光学断层扫描、荧光成像、超声成像和放射治疗门户成像等。在一些实施方式中，医学图像数据库104可以是分割单元103的集成部分，或者与分割单元103位于相同场所，例如在放射疗法治疗室中。
网络105可以提供图像分割系统100中的上述部件中的任何部件之间的连接。例如，网络105可以是局域网(LAN)、无线网络、云计算环境(例如，软件即服务、平台即服务、基础设施即服务)、客户端-服务器、广域网络(WAN)等。
基于CNN模型的图像处理设备
图5示出了根据本公开的一些实施方式的示例性图像处理设备200。图像处理设备200可以是CNN模型训练单元102的实施方式或分割单元103的实施方式，或者是两者的组合。如本领域技术人员将理解的，在一些实施方式中，图像处理设备200可以是专用计算机或通用计算机。例如，图像处理设备200可以是为医院定制用于执行图像获取和图像处理任务的计算机。
如图5所示，图像处理设备200可以包括图像处理器221、存储器222、医学图像数据库225、图像数据存储设备226、输入/输出接口227、网络接口228和图像显示器229。
图像处理器221可以是一个或更多个通用处理设备，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。图像处理器221也可以是一个或更多个专用的处理设备，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。
图像处理器221可以通信地耦接至存储器222并且被配置成执行存储在存储器222上的计算机可执行指令。存储器222可以是非暂态计算机可读介质，例如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、其他类型随机存取存储器(RAM)、闪存盘或其他形式的闪存、高速缓冲存储器、寄存器、静态存储器、光盘只读存储器(CD-ROM)、数字通用光盘(DVD)或其他光学存储装置、盒式磁带或其他磁存储设备、或可用于存储能够被计算机设备访问的信息或指令的任何其他非暂态介质等。
在一些实施方式中，存储器222可以存储例如一个或更多个图像处理程序223的计算机可执行指令以及例如医学图像数据224的在执行计算机程序时使用或生成的数据。图像处理器221可以执行图像处理程序223以实现CNN模型训练单元102和/或分割单元103的功能。图像处理器221还可以发送和/或从存储器222接收医学图像数据224。例如，图像处理器221可以接收存储在存储器222中的训练图像数据或医学图像数据。图像处理器221还可以生成中间数据，例如CNN模型的更新参数和/或中间2D和/或3D分割图像或标记图，并且将它们发送至存储器222。
图像处理设备200可以可选地包括医学图像数据库225，该医学图像数据库225包括训练图像数据库101和医学图像数据库104中的一者或两者。本领域技术人员将理解，医学图像数据库225可以包括以中心方式或分布式方式定位的多个设备。图像处理器221可以与医学图像数据库225通信以将图像读取至存储器222中，或者将来自存储器222的分割图像存储至医学图像数据库225。
图像数据存储设备226可以是可用于存储与由图像处理器221执行的图像处理任务相关联的数据的附加存储装置。在一些实施方式中，图像数据存储设备226可以包括非暂态机器可读存储介质或计算机可读存储介质。虽然实施方式中的机器可读存储介质或计算机可读存储介质可以是单个介质，但是术语“机器可读存储介质”或“计算机可读存储介质”应当被理解为包括存储一组或更多组计算机可执行指令或数据的单个介质或多个介质(例如集中式数据库或分布式数据库和/或相关的高速缓存和服务器)。术语“机器可读存储介质”或“计算机可读存储介质”还应当被理解为包括能够存储或编码供机器或计算机执行的指令集并且使机器或计算机执行本公开的方法中的任一个或更多个的任何介质。因此，术语“机器可读存储介质”或“计算机可读存储介质”应当被视为包括但不限于固态存储器、光学介质和磁介质。
输入/输出接口227可以被配置成使得数据能够被图像处理设备200接收和/或发送。输入/输出接口227可以包括使得图像处理设备200能够与用户或其他机器和设备通信的一个或更多个数字和/或模拟通信设备。例如，输入/输出接口227可以包括用于供用户向图像处理设备200提供输入的键盘和鼠标。
网络接口228可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器、例如光纤、USB 3.0、雷电等、无线网络适配器、例如WiFi适配器、电信(3G、4G/LTE等)适配器等。图像处理设备200可以通过网络接口228连接至网络105。图像显示器229可以是适合于显示医学图像的任何显示设备。例如，图像显示器229可以是LCD、CRT或LED显示器。
示例性CNN模型训练过程
下面参照图6详细描述由本公开的图像分割方法、系统和设备执行的示例性训练过程。
图6是示出根据本公开的一些实施方式的用于训练CNN模型的示例性训练过程400的流程图。在一些实施方式中，训练过程400可以由CNN模型训练单元102执行。
训练过程400可以在CNN模型训练单元102接收训练图像组时开始(步骤410)。如上所述，训练图像组可以包括3D训练图像及其相应的3D真实标记图。例如，3D训练图像可以示出患者的骨盆区域、头部区域、心脏区域、肝脏区域或另外的解剖区域。在一些实施方式中，训练图像可以与要分割的图像具有相同或相似的感兴趣区域。
如图6所示，为了设置用于训练CNN模型的迭代的起点，在步骤412中，例如，用于跟踪迭代次数的指数被设置为零。在步骤414中，CNN模型训练单元102可以例如随机地从(一个或多个)3D训练图像和相应的2D真实标记图中选择相邻2D图像的一个或更多个堆叠，并且将所选择的图像和图共同地用作一批训练数据以训练CNN模型。例如，可以从3D训练图像中获得沿着解剖平面的相邻2D图像的顺序堆叠的序列。顺序堆叠可以具有一个或更多个交叠图像，使得堆叠序列的中间图像可以基本上构成整个3D训练图像。另外地，CNN模型训练单元102可以接收所选择的相邻2D图像的堆叠中每一个的中间图像的相应2D真实标记图。例如，如上所述，3D真实标记图可以被划分为分别对应于相邻2D图像的顺序堆叠的顺序2D真实标记图的序列。2D标记图为所选择的相邻2D图像的堆叠的中间图像的每个像素提供已知的解剖结构标记。因此，2D标记图的每个像素与包含在所选择的相邻2D图像的堆叠中的已知解剖结构之一或背景相关联。如上所述，相邻2D图像的堆叠包含沿着与解剖平面正交的轴的它们之间的依赖结构信息。
在一些实施方式中，在步骤414中选择的相邻2D图像的一个或更多个堆叠可以沿着从例如轴向平面、矢状平面或冠状平面的三个解剖平面中所选择的平面。在这种情况下，过程400可以输出针对该所选择的平面的经训练的CNN模型，例如用于分割沿着该所选择的平面进行切片的3D图像。在一些实施方式中，可以重复过程400以输出被训练用于分别沿着三个解剖平面分割3D图像切片的三个不同CNN模型。
在其他实施方式中，在步骤414中选择的相邻2D图像的一个或更多个堆叠可以沿着两个或更多个所选择的解剖平面。可以执行过程400以输出一个经训练的CNN模型，该CNN模型可以用于分割沿着两个或更多个所选择的解剖平面中的任何一个解剖平面的图像。在其他实施方式中，在步骤414中选择的相邻2D图像的一个或更多个堆叠可以沿着三个解剖平面中的任何解剖平面，例如，针对每个解剖平面选择相邻2D图像的至少一个堆叠。可以执行过程400以获得一个经训练的CNN模型，该CNN模型可以用于分割沿着三个解剖平面中的任何解剖平面的图像。在这种情况下，使用沿着所有三个解剖平面的相邻2D图像的组合堆叠来训练输出CNN模型。
可以迭代地执行步骤414至步骤422多于一次以训练CNN模型，直到CNN模型输出满意的估计2D和/或3D标记图。可以通过各种停止标准来确定迭代次数。在一些实施方式中，可以使用最大迭代次数。在每次迭代时，可以随机选择新一批的训练数据并且将其用于训练CNN模型，直到达到最大迭代次数。另外地或可替选地，可以在训练CNN模型之前预先确定期望准确性。重复执行批选择以及CNN模型参数的更新，直到输出的2D和/或3D标记图的准确性满足期望准确性。
为了设置用于训练CNN模型的迭代的起点，如图6所示，在步骤412中，例如，用于跟踪迭代次数的指数被设置为零。在步骤414中，如上所述，例如随机地选择一批训练数据。在步骤416中，CNN模型训练单元102可以将所选的一批训练数据输入至CNN模型以进行训练。在步骤418中，CNN模型训练单元102可以使用具有其当前参数、例如滤波器的权重的CNN模型来获得与输入的相邻2D图像的堆叠对应的估计的2D标记图。
在步骤420中，CNN模型训练单元102可以将估计的2D标记图与在步骤412中选择的2D真实标记图进行比较，并且计算相应的误差图。在步骤422中，CNN模型训练单元102可以基于所获得的误差图确定或更新CNN模型的一个或更多个层的参数。例如，可以使用反向传播方法、基于2D真实标记图和输出的估计2D标记图之间的差异来确定或更新CNN模型的一个或更多个层的参数。例如，反向传播方法可以通过针对CNN模型中的所有参数使损失函数最小化来优化参数。
在步骤424中，CNN模型训练单元102可以将用于跟踪迭代次数的指数增加1。在步骤426中，CNN模型训练单元102可以确定是否满足停止迭代的标准。如上所述，在一些实施方式中，CNN模型训练单元102可以确定指数是否等于或大于预定的最大指数数目。另外地或可替选地，CNN模型训练单元102可以例如通过确定损失函数是否小于阈值来确定估计的2D标记图的准确性是否满足或超过期望准确性。如果CNN模型训练单元102确定尚未满足停止迭代的标准(步骤426：否)，则训练过程400可以返回至步骤414以再次选择新一批的训练数据来训练CNN模型。如果CNN模型训练单元102确定已经满足停止迭代的标准(步骤426：是)，则训练过程400可以进行至步骤428，步骤428可以保存具有更新的参数的CNN模型以及/或者输出经训练的CNN模型。
在一些实施方式中，使用一个以上的训练图像数据集(例如，一个以上的3D训练图像和相应的3D真实标记图)来训练CNN模型。在这种情况下，当在步骤414中选择一批训练数据时，首先可以随机选择一个或更多个3D训练图像数据集，然后从每个所选择的3D图像数据集中随机选择相邻2D图像的一个或更多个堆叠和相应的2D真实标记图。然后，步骤414至步骤426可以与如上所述的那样类似地进行。
示例性的基于CNN模型的图像分割过程
下面参照图7A至图8B详细描述由本公开的图像分割方法、系统和设备执行的示例性图像分割过程。
图7A是示出根据本公开的一些实施方式的使用通过图6的过程获得的经训练的CNN模型的示例性图像分割过程500A的流程图。图像分割过程500A可以由分割单元103执行。如图7A所示，图像分割过程500A可以在分割单元103接收到要分割的3D图像时(步骤512)开始。3D图像可以是3D医学图像，例如示出了患者的骨盆区域、头部区域、心脏区域、肝脏区域或另外的解剖区域的3D医学图像。在步骤514中，分割单元103可以接收经训练的CNN模型。
在步骤516中，分割单元103可以从由3D图像生成的相邻2D图像的堆叠序列中选择相邻2D图像的堆叠。如上所述，相邻2D图像的堆叠序列可以是顺序的并且具有一个或更多个交叠图像，使得堆叠的中间图像一起基本上构成整个3D图像。在步骤518中，将序列中的堆叠输入至经训练的CNN模型。在步骤520中，分割单元103可以确定堆叠中的中间图像的2D输出标记图。在步骤522中，分割单元103可以确定是否已经将相邻2D图像的所有堆叠输入至经训练的CNN模型。如果分割单元103确定并非从3D图像生成的相邻2D图像的所有堆叠均被使用(步骤522：否)，则图像分割过程500A可以返回至步骤516。如果分割单元103确定从3D图像生成的相邻2D图像的所有堆叠均被使用(步骤522：是)，则图像分割过程500A可以进行至步骤524。
在步骤524中，可以基于2D相邻图像的堆叠的中间图像的2D标记图来确定3D标记图。例如，可以通过沿着与2D图像的堆叠的解剖平面正交的轴根据中间图像的序列对中间图像的2D标记图进行聚合来获得3D标记图。可选地，图像分割过程500A可以包括步骤526。在步骤526中，分割单元103输出分割的3D图像。例如，分割单元103可以显示分割的3D图像或3D标记图以供进一步分析或观察。
图7B是示出根据本公开的一些实施方式的使用通过图6的过程获得的一个或更多个训练的CNN模型的另外的示例性图像分割过程500B的流程图。图像分割过程500B可以由分割单元103执行。图像分割过程500B可以包括与图像分割过程500A中的步骤类似的步骤。图像分割过程500B可以在分割单元103接收要分割的3D图像时(步骤528)开始。3D图像可以是3D医学图像，例如示出了患者的骨盆区域、头部区域、心脏区域、肝脏区域或另外的解剖区域的3D医学图像。
在步骤530中，分割单元103可以选择在步骤528中接收的3D图像的平面以获得相邻2D图像的堆叠。例如，如果3D图像是3D医学图像，则步骤530可以在例如轴向平面、矢状平面和冠状平面的三个解剖平面中选择一个平面。在步骤532中，分割单元103可以沿着所选的解剖平面从3D图像生成相邻2D图像的堆叠序列。
在步骤534中，分割单元103可以接收一个或更多个经训练的CNN模型。在一些实施方式中，接收到的经训练的CNN模型可以是已经利用沿着与在步骤530中选择的解剖平面相同的解剖平面的相邻2D图像的堆叠被训练的。在这种情况下，在步骤530中所选择的平面被改变的情况下，可以接收对应于解剖平面的另外的经训练的CNN模型并且将其用于执行图像分割。在其他实施方式中，经训练的CNN模型可以是已经利用沿着3D图像的所有三个解剖平面的相邻2D图像的堆叠被训练的。在这种情况下，相同的经训练的CNN模型可以用于对沿着任何所选择的解剖平面的相邻2D图像的堆叠或从三个解剖平面所组合的相邻2D图像的任何堆叠执行图像分割。
步骤536至步骤542类似于图像分割过程500A的步骤516至步骤522。在步骤536中，分割单元103可以从在步骤532中生成的相邻2D图像的堆叠序列中选择相邻2D图像的堆叠。在步骤538中，将序列中的堆叠输入至经训练的CNN模型。在步骤540中，分割单元103可以确定堆叠中的中间图像的2D输出标记图。在步骤542中，分割单元103可以确定是否已经将相邻2D图像的所有堆叠输入至经训练的CNN模型。如果分割单元103确定并非沿着所选择的解剖平面从3D图像生成的相邻2D图像的所有堆叠均被使用(步骤542：否)，则图像分割过程500B可以返回至步骤536。如果分割单元103确定沿着所选择的解剖平面从3D图像生成的相邻2D图像的所有堆叠均被使用(步骤542：是)，则图像分割过程500B可以进行至步骤544。
在步骤544中，可以基于2D相邻图像的堆叠的中间图像的2D标记图来确定3D标记图。例如，可以通过沿着与2D图像的堆叠的解剖平面正交的轴根据中间图像的序列对中间图像的2D标记图进行聚合来获得3D标记图。另外地，图像分割过程500B可以包括步骤546。在步骤546中，分割单元103确定沿着所有三个平面(例如轴向平面、矢状平面和冠状平面)的相邻2D图像的所有的三个堆叠序列是否均已被用于分割3D图像。如果分割单元103确定并非对应于所有三个平面的2D图像的所有三个堆叠序列均已被使用(步骤546：否)，则图像分割过程500B可以返回至步骤530以选择另一个解剖平面。如果分割单元103确定对应于所有三个平面的2D图像的所有三个堆叠序列均已被使用(步骤546：是)，则图像分割过程500B可以进行至步骤548。
在步骤548中，分割单元103确定最终的3D标记图。可以通过融合针对三个解剖平面确定的三个3D标记图来确定最终的3D标记图。在一些实施方式中，可以通过多数投票来确定融合的3D标记图的体素的值。例如，如果三个3D标记图中的两个将3D图像的体素标记为解剖结构，则融合的3D标记图的相应体素被确定为与相同的解剖结构相关联。在其他实施方式中，基于对三个3D标记图中的相应体素估计的最大似然或概率来确定融合的3D标记图的体素。例如，如果第一3D标记图确定体素表示膀胱的概率为0.5，第二3D标记图确定体素表示前列腺的概率为0.4，以及第三3D标记图确定体素表示直肠的概率为0.2，则体素在融合的3D标记图中被标记为表示膀胱。如本文所述，可以使用任何合适的方法来融合在图像分割过程500B中确定的三个3D标记图。
如上所述，可以使用沿着三个解剖平面的相邻2D图像的堆叠来训练CNN模型。在这种情况下，在图像分割过程500B执行步骤530以选择第二解剖平面并且执行步骤532以沿着所选择的解剖平面生成相邻2D图像的堆叠序列的情况下，图像分割过程500B可以跳过步骤534并且进行至步骤536。在图8A和图8B中进一步示出了用于分割3D医学图像的图像分割过程500B。
如图8A所示，分割单元103可以接收CNN模型，该CNN模型已经使用沿着一个以上解剖平面(例如轴向平面、矢状平面和冠状平面)的相邻2D图像的堆叠被训练。沿着三个解剖平面从要分割的3D医学图像生成的相邻2D图像的三个堆叠序列可以独立地输入至经训练的CNN模型以获得2D标记图。可替选地，可以将沿三个解剖平面的相邻2D图像的三个堆叠序列进行组合，例如逐个堆叠，并且输入至相同的经训练的CNN模型。如上所述，可以对沿着每个解剖平面的相邻2D图像的堆叠序列的中间图像的2D标记图进行聚合，例如沿着与解剖平面正交的轴进行堆叠，以获得3D标记图。因此，如图8A所示，可以基于对应于三个不同解剖平面的相邻图像的三个堆叠序列来获得3D图像的三个3D标记图。如上所述，可以融合三个3D标记图以生成3D医学图像的最终3D标记图。
可替选地，如图8B所示，分割单元103可以接收三个CNN模型，每个CNN模型分别使用沿着三个解剖平面(例如轴向平面、冠状平面或矢状平面)之一的相邻2D图像的堆叠进行训练。在这种情况下，分割单元103可以选择每个解剖平面并且沿着每个解剖平面从3D医学图像生成相邻2D图像的堆叠序列。沿着三个解剖平面之一所生成的相邻2D图像的堆叠序列中的每一个可以独立地输入至用相应解剖平面的2D图像的堆叠训练的单独CNN模型，以获得2D标记图。例如，如图8B所示，CNN模型1、CNN模型2和CNN模型3这三个CNN模型分别用于处理分别沿轴向平面、冠状平面和矢状平面获得的相邻2D图像的堆叠。类似地，可以将沿着每个解剖平面的相邻2D图像的堆叠的中间图像的2D标记图进行聚合，例如沿着与解剖平面正交的轴进行堆叠，以获得3D标记图。因此，可以基于三个不同解剖平面的相邻图像的三个堆叠序列来获得三个3D标记图。如上所述，可以融合三个3D标记图以生成3D医学图像的最终3D标记图。
如本文所述，在一些实施方式中，分割单元103可以接收两个或三个CNN模型，每个CNN模型使用沿着三个解剖平面之一的相邻2D图像的堆叠来训练。在这种情况下，可以基于沿着所选择的两个或三个不同解剖平面从3D医学图像获得的相邻2D图像的两个或三个堆叠序列来获得两个或三个3D标记图。类似地，可以融合两个或三个3D标记图以生成3D医学图像的最终3D标记图。
本文描述了各种操作或功能，这些操作或功能可以被实现或定义为软件代码或指令。这样的内容可以是可以直接可执行的(“对象”或“可执行”形式)、源代码或差异代码(“增量”或“补丁”代码)。可以经由存储有代码或指令的制品或者经由操作通信接口以经由通信接口发送数据的方法来提供本文描述的实施方式的软件实现方式。机器或计算机可读存储介质可以使机器执行所描述的功能或操作，并且包括以可由机器(例如计算设备、电子系统等)访问的形式存储信息的任何机构，例如可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。通信接口包括与硬连线的、无线的、光学的等的任何介质对接以与另外的设备进行通信的任何机构，例如存储器总线接口、处理器总线接口、因特网连接、磁盘控制器等。可以通过提供配置参数和/或发送信号来配置通信接口，以准备通信接口来提供描述软件内容的数据信号。可以经由发送至通信接口的一个或更多个命令或信号来访问通信接口。
本发明还涉及用于执行本文操作的系统。该系统可以针对需要的目的来专门构造，或者该系统可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡或者适用于存储电子指令的任何类型的介质，每个均耦接至计算机系统总线。
除非另有说明，否则本文所示出和所描述的本发明实施方式中的操作的运行或执行顺序不是必需的。也就是说，除非另有说明，否则操作可以以任何顺序执行，并且与本文公开的操作相比，本发明的实施方式可以包括另外的操作或更少的操作。例如，预期到，在另外的操作之前、与另外的操作同时或在另外的操作之后运行或执行特定操作在本发明的方面的范围内。
可以利用计算机可执行指令实现本发明的实施方式。计算机可执行指令可以组织成一个或更多个计算机可执行部件或模块。可以用任何数目的这种部件或模块以及这种部件或模块的任何组织来实现本发明的各方面。例如，本发明的各方面不限于在附图中示出和本文描述的特定部件或模块或者特定的计算机可执行指令。本发明的其他实施方式可以包括具有比本文所示出和所描述的功能更多或更少功能的不同计算机可执行指令或部件。
虽然本文描述了所公开原理的示例和特征，但是在不脱离所公开的实施方式的精神和范围的情况下，修改、调整和其他实现方式是可能的。此外，词语“包括(comprising)”、“具有(having)”、“含有(containing)”和“包含(including)”以及其他类似形式旨在是在含义上等同的并且被解释为开放式的，使得在这些词语中的任一词语之后的一个或多个项并不意指一个或多个项的穷举列表，或者也不意在仅限于所列的一个或多个项。而且，除非上下文另有明确规定，否则单数形式“一(a)”，“一个(an)”和“该(the)”旨在包括复数引用。
虽然已经详细描述了本发明的各方面，但是将明显的是，在不脱离所附权利要求限定的本发明的各方面的范围的情况下，修改和变化是可能的。由于在不脱离本发明的各方面的范围的情况下可以对上述结构、产品和方法进行各种改变，所以意图是，包含在以上描述中并且在附图中示出的所有内容应当被解释为说明性的而非限制意义的。

Claims (15)

1.一种用于分割三维图像的计算机实现的方法，所述方法包括：
接收由成像设备获取的所述三维图像；
由处理器确定所述三维图像的至少两个平面的标记图；以及
由所述处理器对所确定的所述三维图像的至少两个平面的标记图中的每一个进行融合，以确定所述三维图像的融合的标记图；
其中，确定所述三维图像的平面的标记图包括：
从所述三维图像的平面中选择相邻二维图像的多个堆叠；
由所述处理器使用卷积神经网络模型(10)来分割来自所述平面的相邻二维图像的每个堆叠，其中，分割每个堆叠包括确定每个堆叠中的至少一个二维中间图像的标记图；以及
由所述处理器通过聚合来自所述多个堆叠的分割结果来确定所述三维图像的平面的标记图。
2.根据权利要求1所述的方法，还包括：使用至少一个三维训练图像来训练所述卷积神经网络模型。
3.根据权利要求2所述的方法，其中，训练所述卷积神经网络模型包括：确定在所述卷积神经网络模型中使用的至少一个卷积滤波器的参数。
4.根据权利要求1所述的方法，其中，每个堆叠包括奇数个二维图像，并且其中，所述至少一个二维中间图像是在所述堆叠中间的二维图像。
5.根据权利要求1所述的方法，其中，每个堆叠包括偶数个二维图像，并且其中，所述至少一个二维中间图像是在所述堆叠中间的两个二维图像中之一。
6.根据权利要求1所述的方法，其中，所述相邻二维图像在相同平面中，并且携载在与所述平面正交的轴上的依赖结构信息。
7.根据权利要求1所述的方法，其中，所述三维图像是指示患者的解剖结构的医学图像，其中，所述标记图将解剖结构与所述三维图像的每个体素相关联。
8.一种用于分割三维图像的设备(200)，所述设备包括：
输入接口，其接收由成像设备获取的所述三维图像；
至少一个存储设备，其被配置成存储所述三维图像；以及
图像处理器，其被配置成：
确定所述三维图像的至少两个平面的标记图；以及
对所确定的所述三维图像的至少两个平面的标记图中的每一个进行融合，以确定所述三维图像的融合的标记图；
其中，确定所述三维图像的平面的标记图包括：
从所述三维图像的平面中选择相邻二维图像的多个堆叠；
使用卷积神经网络模型(10)分割来自所述平面的相邻二维图像的每个堆叠，其中，分割每个堆叠包括确定每个堆叠中的至少一个二维中间图像的标记图；以及
通过聚合来自所述多个堆叠的分割结果来确定所述三维图像的平面的标记图。
9.根据权利要求8所述的设备，其中，所述图像处理器还被配置成使用至少一个三维训练图像训练所述卷积神经网络模型。
10.根据权利要求9所述的设备，其中，所述图像处理器还被配置成确定在所述卷积神经网络模型中使用的至少一个卷积滤波器的参数。
11.根据权利要求8所述的设备，其中，每个堆叠包括奇数个二维图像，并且其中，所述至少一个二维中间图像是在所述堆叠中间的二维图像。
12.根据权利要求8所述的设备，其中，每个堆叠包括偶数个二维图像，并且其中，所述至少一个二维中间图像是在所述堆叠中间的两个二维图像中之一。
13.根据权利要求8所述的设备，其中，所述相邻二维图像在相同平面中，并且携载在与所述平面正交的轴上的依赖结构信息。
14.根据权利要求8所述的设备，其中，所述三维图像是指示患者的解剖结构的医学图像，其中，所述标记图将解剖结构与所述三维图像的每个体素相关联。
15.一种包含指令的计算机可读介质，所述指令在由至少一个处理器执行的情况下使得所述至少一个处理器执行根据权利要求1至7中任一项所述的用于分割三维图像的方法。
CN201780064971.4A 2016-08-26 2017-08-23 使用神经网络方法的图像分割 Active CN109906470B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/248,490 US9947102B2 (en) 2016-08-26 2016-08-26 Image segmentation using neural network method
US15/248,490 2016-08-26
PCT/US2017/048245 WO2018039368A1 (en) 2016-08-26 2017-08-23 Image segmentation using neural network method

Publications (2)

Publication Number Publication Date
CN109906470A CN109906470A (zh) 2019-06-18
CN109906470B true CN109906470B (zh) 2023-06-20

Family

ID=59791164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780064971.4A Active CN109906470B (zh) 2016-08-26 2017-08-23 使用神经网络方法的图像分割

Country Status (7)

Country Link
US (1) US9947102B2 (zh)
EP (1) EP3504681B1 (zh)
JP (1) JP6884853B2 (zh)
CN (1) CN109906470B (zh)
AU (1) AU2017315674B2 (zh)
RU (1) RU2720440C1 (zh)
WO (1) WO2018039368A1 (zh)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853449B1 (en) * 2016-01-05 2020-12-01 Deepradiology, Inc. Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
WO2018155973A2 (ko) * 2017-02-24 2018-08-30 주식회사 브이알애드 가상현실 기반 방사선학 실습 장치 및 방법
CN117709426A (zh) * 2017-02-24 2024-03-15 渊慧科技有限公司 训练机器学习模型的方法、系统和计算机存储介质
US10373313B2 (en) * 2017-03-02 2019-08-06 Siemens Healthcare Gmbh Spatially consistent multi-scale anatomical landmark detection in incomplete 3D-CT data
JP6915349B2 (ja) * 2017-04-04 2021-08-04 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR102475826B1 (ko) * 2017-04-21 2022-12-09 삼성메디슨 주식회사 영상 분할 방법 및 그 전자 장치
CN108304936B (zh) * 2017-07-12 2021-11-16 腾讯科技（深圳）有限公司 机器学习模型训练方法和装置、表情图像分类方法和装置
JP6659641B2 (ja) * 2017-09-13 2020-03-04 ファナック株式会社 ３次元モデル作成装置
US10692602B1 (en) * 2017-09-18 2020-06-23 Deeptradiology, Inc. Structuring free text medical reports with forced taxonomies
US10496884B1 (en) 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
US10499857B1 (en) 2017-09-19 2019-12-10 Deepradiology Inc. Medical protocol change in real-time imaging
WO2019138001A1 (en) 2018-01-10 2019-07-18 Institut de Recherche sur les Cancers de l'Appareil Digestif - IRCAD Automatic segmentation process of a 3d medical image by one or several neural networks through structured convolution according to the anatomic geometry of the 3d medical image
KR20200119250A (ko) 2018-01-10 2020-10-19 앵스티튜 드 흐쉑쉐 쉬르 레 캉세흐 드 라파헤이 디제스티프 - 이흐카드 3d 의료용 이미지의 기하학적 구조에 따른 구조화된 콘볼루션을 통한, 여러 신경망에 의한 3d 의료용 이미지의 자동 세그멘트화 프로세스
US10393842B1 (en) * 2018-02-20 2019-08-27 The Board Of Trustees Of The Leland Stanford Junior University Highly-scalable image reconstruction using deep convolutional neural networks with bandpass filtering
JP7022195B2 (ja) * 2018-02-28 2022-02-17 富士フイルム株式会社 機械学習装置、方法およびプログラム並びに記録媒体
CN108830854A (zh) * 2018-03-22 2018-11-16 广州多维魔镜高新科技有限公司 一种图像分割方法及存储介质
JP6996413B2 (ja) * 2018-04-27 2022-01-17 トヨタ自動車株式会社 解析装置および解析プログラム
CN108734222B (zh) * 2018-05-24 2021-06-15 西南大学 基于校对网络的卷积神经网络图像分类方法
CN112313668A (zh) * 2018-06-15 2021-02-02 深透医疗公司 使用深度学习进行磁共振成像标准化的系统和方法
CN108932720A (zh) * 2018-07-24 2018-12-04 深圳先进技术研究院 一种磁共振图像的颅内斑块和颈动脉斑块智能分割方法
US11486950B2 (en) * 2018-08-01 2022-11-01 General Electric Company Systems and methods for automated graphical prescription with deep neural networks
JP2020025730A (ja) * 2018-08-10 2020-02-20 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN110874170A (zh) * 2018-08-31 2020-03-10 杭州海康威视数字技术股份有限公司 一种图像区域修正方法、图像分割方法及装置
CN111091524A (zh) * 2018-10-08 2020-05-01 天津工业大学 基于深度卷积神经网络的前列腺经直肠超声图像分割方法
CN109473168A (zh) * 2018-10-09 2019-03-15 五邑大学 一种医学影像机器人及其控制、医学影像识别方法
CN111062952B (zh) * 2018-10-16 2022-09-30 腾讯科技（深圳）有限公司 肺部图像分割设备、方法及存储介质
CN109188700B (zh) * 2018-10-30 2021-05-11 京东方科技集团股份有限公司 光学显示系统及ar/vr显示装置
US11301748B2 (en) 2018-11-13 2022-04-12 International Business Machines Corporation Automatic feature extraction from aerial images for test pattern sampling and pattern coverage inspection for lithography
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
US10937206B2 (en) 2019-01-18 2021-03-02 Canon Medical Systems Corporation Deep-learning-based scatter estimation and correction for X-ray projection data and computer tomography (CT)
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same
US10325179B1 (en) * 2019-01-23 2019-06-18 StradVision, Inc. Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same
EP3921776A4 (en) * 2019-02-08 2022-11-23 Singapore Health Services Pte. Ltd. METHOD AND SYSTEM FOR CLASSIFYING AND VISUALIZING 3D IMAGES
CN109740697B (zh) * 2019-03-05 2023-04-14 重庆大学 基于深度学习的尿沉渣显微图像有形成分识别方法
JP6815431B2 (ja) * 2019-03-26 2021-01-20 株式会社ダイヘン 塗装面検査装置、及びプログラム
JP7269778B2 (ja) * 2019-04-04 2023-05-09 富士フイルムヘルスケア株式会社 超音波撮像装置、および、画像処理装置
EP3726460B1 (en) * 2019-04-06 2023-08-23 Kardiolytics Inc. Autonomous segmentation of contrast filled coronary artery vessels on computed tomography images
US10790056B1 (en) 2019-04-16 2020-09-29 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
US11062183B2 (en) * 2019-05-21 2021-07-13 Wipro Limited System and method for automated 3D training content generation
CN110443268B (zh) * 2019-05-30 2022-02-08 杭州电子科技大学 一种基于深度学习的肝部ct图像良性恶性分类方法
CN110197712B (zh) * 2019-06-05 2023-09-15 桂林电子科技大学 一种医学图像储存系统及储存方法
US11508079B2 (en) * 2019-06-28 2022-11-22 Intel Corporation Parallelism in disparity map generation
WO2021002356A1 (ja) * 2019-07-02 2021-01-07 コニカミノルタ株式会社 放射線画像判定装置、検査システム及びプログラム
US11308623B2 (en) 2019-07-09 2022-04-19 The Johns Hopkins University System and method for multi-scale coarse-to-fine segmentation of images to detect pancreatic ductal adenocarcinoma
CN110243827B (zh) * 2019-07-18 2020-11-20 华中科技大学 一种适用于光透明样本的快速三维成像方法
CN110427954A (zh) * 2019-07-26 2019-11-08 中国科学院自动化研究所 基于肿瘤影像的多区域的影像组学特征提取方法
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
JP2021047711A (ja) * 2019-09-19 2021-03-25 キオクシア株式会社 演算装置、演算方法、及び学習方法
US20210383565A1 (en) * 2019-09-20 2021-12-09 Brainlab Ag Training a machine learning algorithm using digitally reconstructed radiographs
JP7453767B2 (ja) * 2019-09-25 2024-03-21 キヤノン株式会社 情報処理装置、情報処理方法
KR102624027B1 (ko) * 2019-10-17 2024-01-11 삼성전자주식회사 영상 처리 장치 및 방법
US11836921B2 (en) * 2019-10-28 2023-12-05 Ai4Medimaging—Medical Solutions, S.A. Artificial-intelligence-based global cardiac motion classification
US11475278B2 (en) * 2019-10-28 2022-10-18 Ai4Medimaging—Medical Solutions, S.A. Artificial intelligence based cardiac motion classification
KR102394757B1 (ko) * 2019-12-10 2022-05-06 (주)헬스허브 복수의 축 상에서 오브젝트를 탐색하여 결합하는 결합 인공지능 세그먼테이션 방법 및 그 장치
CN111192320B (zh) * 2019-12-30 2023-07-25 上海联影医疗科技股份有限公司 一种位置信息确定方法、装置、设备和存储介质
CN111091575B (zh) * 2019-12-31 2022-10-18 电子科技大学 一种基于强化学习方法的医学图像分割方法
CN111275714B (zh) * 2020-01-13 2022-02-01 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111462086B (zh) * 2020-03-31 2024-04-26 推想医疗科技股份有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
TWI783219B (zh) * 2020-04-01 2022-11-11 緯創資通股份有限公司 醫學影像辨識方法及醫學影像辨識裝置
CN111652066B (zh) * 2020-04-30 2022-07-26 北京航空航天大学 基于多自注意力机制深度学习的医疗行为识别方法
CN113807360A (zh) * 2020-06-12 2021-12-17 华为技术有限公司 图像处理方法、装置及存储介质
US20220084193A1 (en) * 2020-09-15 2022-03-17 University Of Pittsburgh-Of The Commonwealth System Of Higher Education System and method for quantifying the extent of disease from 2-d images
CN112200224B (zh) * 2020-09-23 2023-12-01 温州大学 医学图像特征处理方法和装置
CN112802036A (zh) * 2021-03-16 2021-05-14 上海联影医疗科技股份有限公司 一种三维医学图像靶区分割的方法、系统和装置
WO2022198554A1 (zh) * 2021-03-25 2022-09-29 中国科学院近代物理研究所 三维图像引导运动器官定位方法、系统及存储介质
CN113822845A (zh) * 2021-05-31 2021-12-21 腾讯科技（深圳）有限公司 医学图像中组织结构的层级分割方法、装置、设备及介质
IT202100016502A1 (it) * 2021-06-23 2022-12-23 Xspline S P A Metodo di segmentazione automatica del seno coronario
EP4364667A1 (en) * 2021-06-29 2024-05-08 FUJIFILM Corporation Training method, image processing method, training device, image processing device, training program, and image processing program
US11538578B1 (en) 2021-09-23 2022-12-27 International Medical Solutions, Inc. Methods and systems for the efficient acquisition, conversion, and display of pathology images
US20230165557A1 (en) * 2021-11-29 2023-06-01 GE Precision Healthcare LLC System and method for autonomous identification of heterogeneous phantom regions
CN117583281B (zh) * 2023-11-29 2024-04-19 广州赛志系统科技有限公司 板件机器人分拣码垛优化方法、控制系统及分拣生产线

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103654824A (zh) * 2012-09-06 2014-03-26 西门子公司 成面的检查区域的确定方法
CN104616344A (zh) * 2013-11-05 2015-05-13 镇江华扬信息科技有限公司 纹理映射体绘制的3d java 实现的方法
CN105615906A (zh) * 2014-11-20 2016-06-01 西门子股份公司 用于确定合成图像的方法、计算机程序、机器可读的数据载体和成像设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0114157D0 (en) * 2001-06-11 2001-08-01 Canon Kk 3D Computer modelling apparatus
US6901277B2 (en) 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
WO2008069762A1 (en) * 2006-12-06 2008-06-12 Agency For Science, Technology And Research Method for identifying a pathological region of a scan, such as an ischemic stroke region of an mri scan
US9799098B2 (en) 2007-04-24 2017-10-24 Massachusetts Institute Of Technology Method and apparatus for image processing
WO2010052629A1 (en) * 2008-11-05 2010-05-14 Koninklijke Philips Electronics N.V. Automated sequential planning of mr scans
US20100177190A1 (en) * 2008-12-16 2010-07-15 Ann-Shyn Chiang Microscopy system with revolvable stage
US8391603B2 (en) * 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
US8390648B2 (en) 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods
US20110157218A1 (en) 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
US9319640B2 (en) 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
CN103069455B (zh) * 2010-07-30 2017-05-24 皇家飞利浦电子股份有限公司 用于医学图像的鲁棒分割的器官特异的增强滤波器
US8977629B2 (en) 2011-05-24 2015-03-10 Ebay Inc. Image-based popularity prediction
CN102411795B (zh) * 2011-08-16 2014-12-10 中国人民解放军第三军医大学第一附属医院 一种关于冠状动脉的多模图像的联合显示方法
US20130107006A1 (en) * 2011-10-28 2013-05-02 New York University Constructing a 3-dimensional image from a 2-dimensional image and compressing a 3-dimensional image to a 2-dimensional image
US9230320B2 (en) * 2012-03-30 2016-01-05 University Of Louisville Research Foundation, Inc. Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules
US8712137B2 (en) * 2012-05-29 2014-04-29 General Electric Company Methods and system for displaying segmented images
JP6537981B2 (ja) * 2013-02-28 2019-07-03 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数の三次元ビューからの大きな対象のセグメンテーション
US9542626B2 (en) 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9202144B2 (en) 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
US10417554B2 (en) 2014-05-22 2019-09-17 Lee J. Scheffler Methods and systems for neural and cognitive processing
US9378435B1 (en) * 2014-06-10 2016-06-28 David Prulhiere Image segmentation in optical character recognition using neural networks
US9977955B2 (en) 2014-06-19 2018-05-22 Rakuten Kobo, Inc. Method and system for identifying books on a bookshelf
US9558268B2 (en) 2014-08-20 2017-01-31 Mitsubishi Electric Research Laboratories, Inc. Method for semantically labeling an image of a scene using recursive context propagation
US9536167B2 (en) 2014-12-10 2017-01-03 Ricoh Co., Ltd. Realogram scene analysis of images: multiples for scene analysis
US10219737B2 (en) 2014-12-11 2019-03-05 Skin Depth Inc. Topical product dispensing tool
KR102307356B1 (ko) 2014-12-11 2021-09-30 삼성전자주식회사 컴퓨터 보조 진단 장치 및 방법
US9710716B2 (en) 2014-12-16 2017-07-18 Sighthound, Inc. Computer vision pipeline and methods for detection of specified moving objects
US9368110B1 (en) 2015-07-07 2016-06-14 Mitsubishi Electric Research Laboratories, Inc. Method for distinguishing components of an acoustic signal
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103654824A (zh) * 2012-09-06 2014-03-26 西门子公司 成面的检查区域的确定方法
CN104616344A (zh) * 2013-11-05 2015-05-13 镇江华扬信息科技有限公司 纹理映射体绘制的3d java 实现的方法
CN105615906A (zh) * 2014-11-20 2016-06-01 西门子股份公司 用于确定合成图像的方法、计算机程序、机器可读的数据载体和成像设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Johannes Stegmaier等.Fast Segmentation of Stained Nuclei in Terabyte-Scale, Time Resolved 3D Microscopy Image Stacks.《PLOS ONE》.2014,第9卷(第2期),第1-11页. *
S. Kobashi等.Volume-quantization-based neural network approach to 3D MR angiography image segmentation.《Image and Vision Computing》.2001,第19卷(第4期),第185–193页. *

Also Published As

Publication number Publication date
RU2720440C1 (ru) 2020-04-29
JP6884853B2 (ja) 2021-06-09
EP3504681A1 (en) 2019-07-03
CN109906470A (zh) 2019-06-18
US20180061058A1 (en) 2018-03-01
US9947102B2 (en) 2018-04-17
AU2017315674A1 (en) 2019-04-18
EP3504681B1 (en) 2021-01-27
JP2019526863A (ja) 2019-09-19
AU2017315674B2 (en) 2019-12-12
WO2018039368A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109906470B (zh) 使用神经网络方法的图像分割
CN109923582B (zh) 使用卷积神经网络进行图像分割的系统和方法
US11954761B2 (en) Neural network for generating synthetic medical images
US10751548B2 (en) Automated image segmentation using DCNN such as for radiation therapy
CN111727458B (zh) 使用深度学习的基于图谱集的分割
US10867385B2 (en) Systems and methods for segmentation of intra-patient medical images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant