CN115136189A - 基于图像处理的肿瘤的自动化检测 - Google Patents

Abstract

本文公开的方法和系统通常涉及处理图像以估计肿瘤的至少一部分在图像中是否被表示。一种计算机实现方法包括：访问特定受试者的生物结构的至少一部分的图像，使用分割算法处理所述图像以提取在所述图像中描绘的多个图像对象，确定与所述多个图像对象中的一个图像对象相关联的一个或多个结构特性，使用经过训练的机器学习模型处理所述一个或多个结构特性以生成对应于对所述图像对象是否对应于与所述生物结构相关联的病灶或肿瘤的估计的估计数据，以及输出针对所述特定受试者的所述估计数据。

Description

基于图像处理的肿瘤的自动化检测

相关申请的交叉引用

本申请要求于2020年3月13日提交的美国临时专利申请62/989,261的权益和优先权，该美国临时专利申请出于所有目的通过引用将其整体被并入本文。

技术领域

本文公开的方法和系统通常涉及用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的方法和系统。

背景技术

医学成像技术的最新发展使得图像输出具有大大改善的图像质量。与更高质量相关联的图像允许执业医师更准确地识别与受试者相关联的症状并诊断各种疾病的类型。此外，图像处理系统已经开始使用机器学习技术来更好地理解这些图像。例如，传统的方法可以包括使用经过训练的机器学习模型来基于与图像相关联的特征确定组织类型。

尽管使用经过训练的机器学习模型可以帮助分割图像以识别对应于组织和/或肿瘤的图像对象，但训练这些机器学习模型变得具有挑战性。这是因为训练机器学习模型通常涉及耗时的手动标记单独图像过程。进一步，图像的手动标记可能需要大量专家来确保准确性。当训练图像内的特定特征集可能混淆标记过程时，训练机器学习模型也可能很困难。例如，描绘大的未知肿块的训练图像可能会掩盖训练图像内可能与疾病诊断相关的其他特征。由于增加执行分析所需的时间或增加机器学习分类的错误率，这随后可能会阻碍机器学习模型的训练过程。

发明内容

在一些实施例中，计算机实现方法包括访问特定受试者的生物结构的至少一部分的图像。在一些情况下，图像是描绘生物结构的一部分的三维图像。计算机实现方法还可以包括使用分割算法处理图像以提取在图像中描绘的多个图像对象。计算机实现方法还可以包括确定与多个图像对象中的一个图像对象相关联的一个或多个结构特性。计算机实现方法还可以包括使用经过训练的机器学习模型处理一个或多个结构特性，以生成对应于对图像对象是否对应于与生物结构相关联的病灶或肿瘤的估计的估计数据。经过训练的机器学习模型可以使用由训练图像集构建的三维模型进行训练。计算机实现方法还可以包括输出针对特定受试者的估计数据。

在一些情况下，生物结构的至少一部分包括肺的至少一部分。图像可描绘围绕生物结构的至少一部分的骨骼结构。图像可描绘生物结构的至少一部分的横向平面。图像可包括或可能已从使用计算机断层扫描仪捕获的图像数据导出，计算机断层扫描仪可以是微型计算机断层扫描仪。一个或多个结构特性可包括图像对象的形状、位置、表面积和/或最长直径。

在一些情况下，使用分割算法处理图像包括确定与另一图像对象相关联的一个或多个结构特性。使用分割算法处理图像还可包括使用经过训练的机器学习模型处理其他图像对象的一个或多个结构特性，以生成对应于对其他图像对象是否对应于生物结构的类型的估计的估计数据。在一些情况下，经过训练的机器学习模型处理一个或多个结构特性以识别图像中示出的肿瘤负荷水平。使用分割算法处理图像还可包括输出与其他图像对象相关联的估计数据。生物结构的类型可包括血管、肺、心脏和/或肝脏。

在一些情况下，分割算法是分水岭变换算法。经过训练的机器学习模型可以是经过训练的支持向量机(SVM)。

在一些情况下，计算机实现方法包括使用经过训练的图像预处理机器学习模型预处理图像以生成过滤器。过滤器可应用于从图像分离一个或多个图像区域，从而生成过滤图像。分离的图像区域可以指示生物结构。在一些情况下，经过训练的图像预处理机器学习模型包括U-Net或V-Net模型。计算机实现方法还可包括使用分割算法处理过滤图像的分离的图像区域以提取在图像中描绘的多个图像对象。经过训练的图像预处理机器学习模型可以是经过训练的卷积神经网络机器学习模型。

在一些情况下，计算机实现方法包括使用图像过滤器处理图像以生成过滤图像，该过滤图像排除围绕生物结构的至少一部分的一个或多个骨骼结构。过滤图像可用于代替图像以将图像对象与多个图像对象分开。

在一些情况下，计算机实现方法包括使用共配准处理图像以将图像与参考图像对准。对准图像可用于代替图像以从多个图像对象提取图像对象。

在一些情况下，计算机实现方法包括将图像变换为二进制图像。计算机实现方法还可包括通过使用填充运算转换二进制图像中的一个或多个像素。计算机实现方法还可包括执行侵蚀运算和膨胀运算以减少来自二进制图像的图像噪声。

在一些情况下，使用分割算法处理图像包括将负距离变换函数应用于图像以识别多个图像对象的两个或更多个重叠图像对象之间的边界。

在一些实施例中，提供了一种系统，该系统包括一个或多个数据处理器和非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质包含指令，该指令在所述一个或多个数据处理器上执行时，促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品有形地体现在非暂时性机器可读存储介质中，并且包含指令，该指令配置为促使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。

本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。

已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。

附图说明

结合附图描述本公开：

图1示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的示例计算环境。

图2示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的图像处理系统的示例性示意图。

图3示出了根据一些实施例的示例性U-Net。

图4A示出了根据一些实施例的残差块。

图4B示出了根据一些实施例的金字塔形层。

图5示出了根据一些实施例的用于图像预处理的-V-Net架构的示例示意图。

图6示出了指示经过训练的图像预处理机器学习模型的性能的示例图表集。

图7A至图7B示出了根据一些实施例的从输入图像识别生物结构的图像过滤器子系统的示例性示意图。

图8示出了根据一些实施例的将过滤图像变换为二进制图像的二进制转换器子系统的示例示意图。

图9A至图9B示出了根据一些实施例的将二进制图像配准到单一空间坐标系的图像配准子系统的示例示意图。

图10示出了根据一些实施例的从配准图像提取图像对象集的图像分割子系统的示例示意图。

图11示出了根据一些实施例的识别与图像对象相关联的结构特性集的特性提取器子系统的示例示意图。

图12示出了对应于由图像分割子系统检测到的图像对象的质心位置分布的示例箱形图集。

图13示出了对应于由图像分割子系统检测到的图像对象的取向分布的示例箱形图集。

图14示出了对应于由图像分割子系统检测到的图像对象的主轴长度分布的示例箱形图集。

图15示出了对应于由图像分割子系统检测到的图像对象的大小分布的示例箱形图集。

图16示出了对应于由图像分割子系统检测到的图像对象的形状分布的示例箱形图集。

图17示出了对应于由图像分割子系统检测到的图像对象的体素强度分布的示例箱形图集。

图18示出了根据一些实施例的用于估计图像对象是否对应于肿瘤的支持向量机的示例性示意图。

图19示出了识别从图像检测到的肺体积与总肿瘤体积之间的关系的图表的示例。

图20示出了识别血管体积和肿瘤体积之间的关系的示例图集。

图20A至图20C示出了根据一些实施例的用于标记对应于三维图像数据的训练图像对象的用户界面的示例屏幕截图。

图21示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的过程。

图22示出了根据一些实施例的用于处理图像以提取图像对象集的过程。

在附图中，相似的部件和/或特征可以具有相同的附图标记。进一步，可以通过在参考标号后面加上破折号和区分相似部位的第二标记来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。

具体实施方式

I.概述

本公开的技术可以涉及处理图像以估计肿瘤的至少一部分是否在图像中被表示。特别地，即使在三维图像中存在多个肿瘤，这些技术也可识别此类图像中的单个肿瘤。可以通过图像处理系统访问描绘生物结构的图像(例如，三维微型计算机断层扫描(微型CT)图像)。图像处理系统可以通过一系列图像变换运算处理图像，包括过滤运算、二值化运算、图像配准运算和分割运算。结果，图像处理系统可以在图像中定义可用于区分图像区域的边界。基于所识别的边界，可以从图像识别图像对象集。分类系统可以处理提取的图像对象中的每一个图像对象以确定结构特性集。可以使用经过训练的机器学习模型(例如，支持向量机)处理该结构特性集。基于经过训练的机器学习模型的输出，分类系统可针对提取的图像对象中的每一个图像对象识别指示图像对象是否对应于肿瘤、病灶或正常组织的信息。在一些情况下，分类系统处理结构特性集以识别对应于在图像中描绘的生物结构的肿瘤负荷水平。

可以基于包括训练图像集的训练数据训练经过训练的机器学习模型。该集中的每一个训练图像可以包括多个训练图像对象。多个训练图像对象中的每一个训练图像对象可以与识别对应于训练图像对象的生物结构的标记相关联。为了生成与训练图像对象对应的标记，训练系统可以将三维训练图像渲染成描绘生物结构切片的二维CT图像集，使得对应于三维训练图像的图像对象可以被标记。图像也可被渲染为交互式三维图像数据，该交互式三维图像数据可以包括对应于生物结构的相应部分的三维图像对象集。可以为该三维图像对象集中的每一个对象分配标记，包括(例如)肿瘤、心脏、肝脏、肺、纵隔和/或血管。训练数据(包括训练图像和标记)可用于生成可用于训练机器学习模型的结构特性集。

分类系统可从训练系统接收经过训练的机器学习模型。分类系统可以接收未标记的图像，图像处理系统可以从该未标记的图像提取图像对象集。对于每一个未标记的图像对象，分类系统可以识别其结构特性。分类系统可以使用经过训练的机器学习模型来识别特定图像对象的结构特性是否对应于与特定生物结构(例如，肿瘤、肺、血管)相关联的结构特性。基于识别，分类系统可以估计特定图像是否对应于肿瘤、病灶或正常组织。除了分类之外，经过训练的机器学习模型还可从图像识别肿瘤负荷水平。例如，经过训练的机器学习模型可预测特定受试者的给定图像包括肿瘤，并进一步预测给定图像中的中等肿瘤负荷。经过训练的机器学习模型可包括判别分析模型、内核分类模型、k-最近邻模型、线性分类模型、朴素贝叶斯分类器、支持向量机、梯度提升集成分类算法和/或一个或多个分类树。

因此，本公开的实施例提供了优于分析图像以检测在组织中是否存在肿瘤的传统系统的技术优势。尽管传统系统可以简单地识别在图像中是否存在任何肿瘤，但不能基于在图像中描绘的区域识别单个肿瘤的类型。此外，传统系统的肿瘤识别需要定义图像强度、形态和与其他解剖特征的关系的规则，然后需要以编程方式实现，这通常难以实现。通过过滤、配准和分割运算预处理图像的技术可以进一步改善经过训练后的分类器系统的训练(例如无监督训练)和性能，使得可以识别和分类单个肿瘤。此外，从训练数据构建的三维数据的自动生成显著改善了训练图像可以被处理和标记以训练机器学习模型的速率。

II.基于图像处理的肿瘤自动化检测技术

II.A.示例计算环境

图1示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的示例计算环境100。计算环境100可以包括组织分类系统105，继而可以包括图像处理子系统110、分类子系统112和训练子系统115。图像处理子系统110可以通过不同图像处理运算(例如，自动对准、图像分割和/或特征提取)的类型处理图像，从对应于个体受试者的图像提取图像对象。分类子系统112可以处理提取的图像对象中的每一个图像对象以生成结构特性集，继而可以使用经过训练的机器学习模型(例如，支持向量机)处理该分类子系统。基于来自经过训练的机器学习模型的输出，分类子系统112可生成对应于每一个图像对象的信息，该信息指示图像对象是否对应于肿瘤、病灶或正常组织。

图像处理子系统110可访问显示一个或多个生物结构的图像(例如，三维微型CT图像)。生物结构可以指在图像中被表示的一种或多种组织的类型。例如，生物结构可以包括单个器官诸如肺、心脏或肝脏、各种组织(例如，骨、血管、神经、肿瘤)的类型和/或指示生物结构(例如，病灶)的至少部分器官发生变化的任何结构。图像处理子系统110可以使用一系列图像变换处理图像以提取多个图像对象并从多个图像对象中的每一个图像对象导出结构特性。

训练子系统115可训练机器学习模型并将其传输到分类子系统112。训练子系统115可以使用训练数据(例如，对应于标记的训练图像对象的结构特性)来学习机器学习模型的参数值。可以使用各种机器学习技术来训练机器学习模型。机器学习技术可以包括决策树学习、关联规则学习、人工神经网络、深度学习、归纳逻辑编程、支持向量机、聚集、贝叶斯网络、强化学习、表示学习、相似性和度量学习、稀疏字典学习、遗传算法和/或基于规则的机器学习。机器学习技术可包括集成技术，该机器学习技术学习集成间权重以应用于从各种基础技术(诸如前文提及的两个或更多个技术)产生的结果。可以基于(例如)与基础技术相关联的准确性、速度和/或资源使用来识别集合间权重。

训练数据可包括对应于训练图像的图像对象的结构特性集和对应于图像对象中的每一个的标记。训练子系统115可接收对应于训练图像中的每一个图像对象的标记。与训练数据相关联的标记可能已经被接收或者可以从提供者系统120接收的数据被导出，每一个标记可能与(例如)医生、实验室技术员、护士、医院、CT扫描技术员等相关联。可以基于来自与提供者系统120相关联的医疗提供者装置的通信来生成训练数据。来自医疗提供者装置的通信可包括对应于特定受试者的医疗记录。医疗记录可包括(例如)专业人员的诊断或表征，指示肿瘤的至少一部分是否在CT图像中被表示。

训练子系统115还可以基于三维训练图像收集标记。训练子系统115可执行分割运算(例如，分水岭分割，k均值)以定义在三维训练图像中的边界，然后渲染二维切片图像。基于分割运算，训练子系统115可定义在图像中的三维图像集对象中的每一个图像对象，其中每一个图像对象对应于生物结构的相应部分。可以针对该三维图像对象集中的每一个对象分配一个标记。例如，每一个图像对象可被标记为(例如)肿瘤、心脏、肝脏、肺、纵隔和/或血管。

训练子系统115可以附加地或替代地呈现从三维训练图像渲染的二维切片图像，以便促进基于三维训练图像的标记的收集。二维切片图像对应于在训练图像中描绘的生物结构的连续和/或相邻切片。二维训练图像中的每一个图像可以包括基于从分割运算生成的边界识别的区域。使用二维图像的可视化，可以促进区域的标记。

可以处理标记的图像对象以生成其相应的结构特性。此数据可用于训练机器学习模型。具体地，可以基于从标记的训练图像对象识别形态特征来生成对应于每一个标记的训练图像对象的结构特性集。例如，该结构特性集可以包括对应于每一个标记的训练图像对象的直径、表面积、形状、中心凸体积。针对每一个标记的训练图像对象，该结构特性集可存储在包括二维阵列的数据结构中。可以输入存储图像对象的结构特性集的数据结构来训练机器学习模型，该机器学习模型可以被训练以基于确定的结构特性来估计图像对象是否对应于肿瘤。

用户装置130可用于为该三维图像对象集分配标记。例如，用户装置130可包括用户界面。用户界面可用于标记三维图像对象集中的每一个图像。训练子系统115可以利用(例如，本地呈现或传输配置数据)用户装置130的用户界面来用对应的三维图像对象集来表示训练图像。这样，三维图像可被加载到用户界面(例如，图10A至图10C的用户界面1000)中，使得用户界面可以允许访问对应于加载的三维图像中的每一个图像的图像对象集的一个图像对象。以此方式，使用用户装置130的用户可以为每一个图像对象分配组织标记(例如，肿瘤、肝脏、心脏)，从而生成用于训练机器学习模型的训练数据。

分类子系统112可从训练子系统115接收经过训练的机器学习模型。分类子系统112可以接收输入图像，图像处理子系统110可以从分类子系统提取未标记的图像对象集。可以使用经过训练的图像预处理机器学习模型预处理输入图像，以识别包括器官和肿瘤的感兴趣区域(ROI)。可以使用二值化、配准和分割(例如)处理ROI，以提取未标记的图像对象集。针对每一个未标记的图像对象，分类子系统112可以识别或以其他方式访问其结构特性。结构特性可以指与可以使用本领域普通技术人员已知的任何技术测量的图像对象相关联的形态特征。例如，结构特性可以包括与图像对象相关联的直径、表面积、形状、中心凸体积、等效直径、取向、坚固性和/或体积。分类子系统112可以使用经过训练的机器学习模型来识别特定图像对象的结构特性是否对应于与特定生物结构(例如，肿瘤、肺、血管)相关联的预先识别的结构特性。基于识别，分类子系统112可以估计特定图像是否对应于肿瘤或病灶。

由经过训练的机器学习模型处理的图像的至少一部分可以包括或可能已经从使用成像系统120收集和接收的数据被导出。成像系统120可包括CT系统，其可以包括断层成像仪和/或微型CT组件(或微型断层合成组件)。断层成像仪可以提供用于确定感兴趣区域/体积、提取头部表面作为参考以及辅助局部微型断层摄影/局部微型断层合成的全局信息。微型CT(或微型断层合成)组件可以集成在断层成像仪内或与其分开，以获取感兴趣区域/体积的高分辨率数据。基于确定的感兴趣区域/体积，CT系统可以捕获图像并将捕获的图像传输到组织分类系统105。

II.B.图像处理系统的示例示意图

图2示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分是否在图像中被表示的图像处理系统的示例性示意图200。输入图像205可以通过图像处理子系统210访问。输入图像205可以是从使用CT系统(包括微型CT系统)捕获的数据导出的三维图像。输入图像205中的每一个图像可以描绘对应于生物结构的三维表示。输入图像205中的每一个图像可以在特定时间点处被捕获。例如，输入图像205的一个输入图像可以在没有检测到病灶或肿瘤的时间点处被捕获。输入图像205的另一输入图像可在图像中可见病灶或肿瘤的另一时间点处被捕获。输入图像205可以或可以不使用呼吸门控操作被捕获。例如，成像系统(例如，图1的成像系统130)可使用呼吸门控操作来识别受试者呼吸周期的特定阶段(例如，吸气、呼气)。成像系统然后可以在对应于预先识别的阶段的特定阶段期间捕获输入图像205中的每一个图像。在一些情况下，输入图像205是描绘ROI的图像，在输入图像中从原始输入图像裁剪描绘包括心脏、肺和肿瘤的生物结构的图像区域。

可以将过滤器应用于输入图像205中的每一个图像以产生过滤图像。可以将第一过滤器应用于输入图像205中的每一个图像以从图像分离感兴趣的生物结构。在一些情况下，第一过滤器包括专门用于隔离特定生物结构(例如，肺)的图像掩膜(例如，肺掩膜)。附加地或替代地，第一过滤器可包括可用于分离多个感兴趣的生物结构(例如，肺、心脏、肝脏、纵隔、肿瘤、血管)的另一种类型的图像掩膜(例如，胸腔掩膜)。第二过滤器可以附加地用于输入图像中的每一个以识别出现在输入图像中的特定骨骼结构。对应于特定骨骼结构的图像部分可从输入图像205中的每一个图像去除。识别的骨骼结构可替代地用作围绕生物结构的边界，在骨骼结构处边界可以使用边界来调整对应于感兴趣的生物结构的区域的大小。

在一些情况下，将经过训练的图像预处理机器学习模型应用于输入图像以生成过滤器215。例如，经过训练的V-Net可用于处理输入图像以识别感兴趣的生物结构(例如，心脏)。在另一个示例中，经过训练的U-Net可用于处理输入图像以识别感兴趣的生物结构。经过训练的图像预处理模型可因此用于生成一个或多个过滤器(例如，肺掩膜)，以从输入图像的其他区域(例如，胸腔、血管)分离生物结构(例如，肺)。

二进制转换器220可以将过滤图像变换为二进制图像。二进制转换器220可以将过滤图像中的至少一部分的每一个像素转换为0或1像素值。例如，过滤图像可以是灰度图像，可以通过二进制转换器220将其转换为二进制图像。二进制转换器220可以基于填充运算附加地转换对应于在二进制图像中的像素子集(例如，被1像素包围的0像素)的二进制值。二进制转换器220可以因此去除在过滤图像中的背景信号和图像对象。实际上，通过将过滤图像变换为二进制图像，可以锐化围绕每一个图像对象的边界，并且可以因此生成针对后续图像处理运算进行优化的输出。例如，图像配准运算可以更好地对准图像作为变换的结果。这是因为具有锐化边界的二进制图像可与参考图像正确对准。在另一个实例中，二进制图像的生成可允许图像分割算法产生更准确的图像对象集，由于图像对象基于它们的锐化边界被更清晰地定义。可以应用于侵蚀膨胀运算来进一步降低二进制图像的图像噪声。在一些情况下，二进制转换器220在执行配准运算之后将过滤图像变换成二进制图像。

图像配准子系统225可使用图像配准运算来处理二进制图像以产生配准图像。图像配准运算(例如，旋转、缩放、平移、剪切)可以包括将二进制图像与参考图像相关联，以便将二进制图像对准到单个空间坐标系内。因为配准图像在单个空间坐标系中对准，所以后续运算(例如，图像分割算法)可能会为该集使用相似的位置参数(例如，x、y和z坐标)。进一步，使用配准图像训练机器学习模型可能会提高部署期间的准确性。否则，由x、y和z坐标表达的每一个图像对象的位置可能从一个图像到另一个图像对应不同，除非所有图像都在同一坐标系内配准。图像配准子系统225可以使用参考过滤器配准二进制图像以从经过滤的图像导出变换参数。例如，可将参考图像的骨掩膜过滤器用作参考过滤器，该参考过滤器可应用于对应于该过滤图像集的骨掩膜过滤器。结果，可以识别第一变换参数集(例如，tform)。针对二进制图像中的每一个，图像配准子系统225可应用第一变换参数集，使得二进制图像可朝向对应于骨掩膜过滤器的位置坐标扭曲。过滤图像也可使用第一变换参数集扭曲，使得可以使用它们来生成附加的变换参数集。

图像配准子系统225可以使用参考图像附加地将第二配准运算应用于扭曲图像(例如，基于第一变换参数集的扭曲图像)。图像配准子系统225可将扭曲的过滤图像中的每一个与参考图像的对应区域对准。对准完成后，可以识别第二变换参数集(例如，tform_grayscale)。基于参考过滤器生成的扭曲图像可使用第二变换参数集再次扭曲以产生配准图像。使用参考图像的第二配准运算可允许将配准图像进一步校准到单个坐标系，使得机器学习模型的训练以及其他图像处理运算可以变得更有效。

图像分割子系统230可使用分割算法处理配准图像以提取对应于每一个配准图像的图像对象。分割算法可以实现识别配准图像中的每一个的形态特征，并通过使用形态特征定义图像对象的边界。图像分割子系统230可使用识别的边界来从配准图像提取每一个图像对象。可以使用多种技术以从配准图像提取图像对象，包括分水岭分割算法、图分区算法和基于模型的分割算法。

对于提取的图像对象中的每一个图像对象，特征提取器235可以识别其结构特性。特征提取器235可以从图像对象中的每一个识别其他特性的类型，该图像对象包括但不限于图像对象的质心的位置坐标、与形成图像对象的体素相关联的特征值、以及与图像对象相关联的欧拉角。

II.C.将图像过滤器应用于输入图像的示例示意图

如本文所述，可以将过滤器应用于输入图像中的每一个图像以产生过滤图像。可以将第一过滤器应用于输入图像中的每一个图像以从图像分离感兴趣的生物结构。经过训练的U-Net(例如)可用于生成第一过滤器，使得可以识别和分离特定器官(诸如肺)。在一些情况下，第一过滤器包括专门用于隔离特定生物结构(例如，肺)的图像掩膜(例如，肺掩膜)。附加地或替代地，第一过滤器可包括可用于分离多个感兴趣的生物结构(例如，肺、心脏、肝脏、纵隔、肿瘤、血管)的另一种类型的图像掩膜(例如，胸腔掩膜)。第二过滤器可以附加地用于输入图像中的每一个以识别出现在输入图像中的特定骨骼结构。可以从输入图像中的每一个去除对应于特定骨架结构的图像部分。识别的骨骼结构可替代地用作围绕生物结构的边界，在骨骼结构处边界可以使用边界来调整对应于感兴趣的生物结构的区域的大小。

II.C.1使用图像预处理机器学习模型生成图像过滤器

在一些实施例中，经过训练的图像预处理机器学习模型用于处理每一个输入图像以生成一个或多个过滤器，其中过滤器可用于识别在输入图像中描绘的器官、组织、肿瘤和血管。经过训练的机器学习模型可以附加地或替代地用于一个或多个器官(诸如脾脏、肝脏、肺和肾脏)的器官特异性识别。基于识别，生成的过滤器可应用于输入图像中的每一个，使得后续的图像处理可集中在对应于过滤器识别的ROI的图像区域上。

II.C.1.a用于训练图像预处理机器学习模型的示例训练数据集

可以使用包括多个训练图像的训练数据集来训练图像预处理机器学习模型。训练图像对应于图像，其中识别对应于生物结构的ROI。在一些情况下，训练图像的ROI识别如下：(i)技术人员标记对应于生物结构(例如肺)的多个二维区域；(ii)将二维区域传播到连续的三维ROI；(iii)从训练图像分割三维ROI；(iv)从三维ROI计算组织体积。一个示例训练数据集可包括具有肺部ROI的3520次CT扫描，其中可以丢弃训练图像的子集，其中ROI没有被准确识别(例如，丢失的ROI、损坏的文件、生物结构的不准确识别)。II.C.1.b使用U-Net生成图像过滤器

三维训练图像可用于训练机器学习模型(例如U-Net)，继而可生成用于识别感兴趣的生物结构的过滤器。如图3所示，U-Net 300可以包括收缩路径305和扩展路径310，这使其具有u形架构。收缩路径305是包括卷积的重复应用(例如，3x3卷积(未填充的卷积))的CNN网络，每个卷积后跟修正线性单元(ReLU)和用于下采样的最大池化操作(例如步长为2的2x2最大池化)。在每个下采样步骤或池化操作中，特征通道的数量可以加倍。在收缩期间，图像数据的空间信息减少，而特征信息增加。扩展路径310是组合来自收缩路径305的特征和空间信息(来自收缩路径305的特征图的上采样)的CNN网络。特征图的上采样后跟一系列将通道的数量减半的上卷积(上采样运算子)、与来自收缩路径305的相应裁剪的特征图的串接、每一个后跟修正线性单元(ReLU)的卷积(例如，两个3x3卷积)的重复应用、以及最终卷积(例如，一个1x1卷积)，以生成二维肿瘤掩膜。为了定位，来自收缩路径305的高分辨率特征与来自扩展路径310的上采样的输出相组合。U-Net 300使用每一个卷积的有效部分而没有任何全连接层，即，分割图只含有在输入图像中完整上下文可用的像素并且使用跳跃连接，该跳跃连接将在收缩块中学习的上下文特征和在扩展块中学习的定位特征相链接。

在传统的U-Net架构中，卷积块由用于执行卷积的卷积层(例如，通常为两层或三层)组成。然而，根据各种实施例，卷积块和卷积层被替换为残差块315，在金字塔形层320中在一个或更多个膨胀水平执行可分离卷积(单个卷积层可以被两个或更多金字塔形层320替换)。(例如，堆叠的过滤图像)。图4A示出了图3中示出的残差块315中的一个的层结构。如图所示，残差块400可以包括多个金字塔形层405。在包括残差块400的网络(例如，ResNet)中，每一个金字塔形层405馈入下一层(A，B，C..)并直接馈入大约2至3层之外的层(D，E...)。在网络中使用残差块400有助于克服因增加金字塔形层数而出现的退化问题(如果层数不断增加，准确性将首先增加，但会在某一点开始饱和并最终退化)。残差块400使用跳跃连接或残差连接跳过这些附加金字塔形层中的一些层，这最终将更大的梯度传播到初始金字塔形层。跳过在初始训练阶段使用更少的金字塔形层有效地简化了网络。这通过减少消失梯度的影响来加速学习，因为传播通过的层数更少(即，多速残差学习)。然后网络在学习特征空间时逐渐恢复跳过的层。

图4B根据各种实施例示出了图4A的单个金字塔形层405。如图4B所示，金字塔形层405可使用多个不同尺度下的膨胀的(深黑色)可分离卷积(“膨胀块”)，在该示例中为四个级别。金字塔形层405包括多个不同尺度下的相同图像，以便提高检测对象(例如，肿瘤)的准确度。膨胀的(深黑色)卷积是指带有“展开”感受野的过滤器，其会增加感受野相对于内核大小的大小。在一些实施例中，一个或多个膨胀水平是四个膨胀水平。在其他实施例中，可使用更大或更小的膨胀级，例如，六级膨胀。卷积层输出415是膨胀块420(被标记为膨胀1、2、4和8)的输出。图4B所示的示例假设有四个膨胀块，并且每个膨胀块输出两个通道(具有相同颜色)，因此输出的通道总数为八个。每个膨胀块输出的通道数可能会因所讨论的残差块而有所不同。图4B示例示出了图3中的左上或右上残差块315。在一些实施例中，由残差块405的金字塔形层410中的每个膨胀块415输出的每个通道的数量等于残差块405上的k个过滤器的数量除以四。

经验证据表明，残差块可提高准确性且更容易优化。可分离卷积，深度卷积后跟逐点卷积，也显示出收敛速度的巨大增益和模型大小的显著减小。膨胀的卷积不损失分辨率扩展了感受野，因此允许聚合多尺度上下文信息下采样。卷积块的重新设计允许在图像中提取非常局部和稀有的信息。

II.C.1.c使用V-Net生成图像过滤器

模型(例如，三维卷积神经网络诸如用于三维分割的V-Net)可包括下采样和上采样子网络，具有跳跃连接以将较高分辨率的信息传播到最终分割。在一些情况下，下采样子网络可以是一系列通过下采样卷积连接的多个密集特征堆栈，每个跳跃连接可以是对应的密集特征堆栈输出的单个卷积，并且上采样网络包括对最终分割分辨率的双线性上采样。

经过训练的图像预处理机器学习模型可用于使用卷积神经网络(CNN)系统从输入图像(例如微型CT图像)提取特征，该系统包括多个不同的子模型以识别图像中的ROI。如图5所示，可以使用经过训练的V-Net 500来细化输入图像。经过训练的V-Net 500可执行一系列运算，为几种CNN架构元素的类型形成单个卷积层：(1)卷积；(2)非线性转化(例如，ReLU)；(3)池化或子抽样；以及(4)分类(全连接层)。在一些情况下，经过训练的V-Net 500的卷积运算通过使用输入数据的小方块学习图像特征，在二维或三维扫描中的至少一者内或二维或三维扫描之间保持像素或体素之间的空间关系。例如，输入图像可看作像素和体素值的矩阵，其中，矩阵的每一个像素和体素区域都可被分配值。此外，输入图像可包括具有从0到1的像素或体素值的黑白图像。输入图像可替代地或附加地包括具有从0到255的三个分配的RGB像素或体素值的彩色图像。

在访问输入图像之后，经过训练的V-Net 500可以对输入图像执行卷积以提取对应于在图像中描绘的解剖区域的特征。经过训练的V-Net 500的左侧可以包括用于下采样的压缩路径510，且右侧可以包括用于对信号进行解压缩直到达到其原始大小的上采样的解压缩路径515。解压路径510可分为以不同分辨率运行的不同阶段。每一个阶段可以包括一个或多个卷积层。可使用适当的填充来应用每个层内的卷积。每一个阶段可被配置为使得它经由残差连接来学习残差函数：每一个阶段的输入(i)在卷积层中被使用并通过非线性被处理，并且(ii)被添加到该阶段的最后一个卷积层的输出中，以便能够学习残差函数。在每一个阶段中被执行的卷积使用具有预定大小(诸如5×5×5体素)的体积内核。随着数据沿压缩路径510通过不同阶段，其分辨率可能会降低。每一个阶段沿压缩路径510可以适当的步幅(例如，步幅2)应用预定大小的内核(诸如2×2×2体素宽内核)的情况下通过卷积来执行的。因为第二运算通过仅考虑非重叠体积块来提取特征，所以得到的特征图的大小可以减半(子采样)。该策略可与池化层的目的相似。用卷积运算替换池化运算可使网络内存占用更小，因为反向传播不需要将池化层的输出映射回其输入的切换。压缩路径510中的每一阶段可以计算比来自前一层的特征数量大多倍的特征数量。

解压缩路径515可提取特征并扩展较低分辨率特征图的空间支持，以便收集和组合必要的信息以输出对应于图像的ROI的两个通道体积分割。在解压缩路径515中的每一个阶段之后，可以采用去卷积运算以增加输入的大小，然后是一个或多个卷积层，其涉及上一层中所采用的一半数量的内核，诸如5×5×5内核。类似于压缩路径510，可在解压缩路径515的卷积阶段学习残差函数。另外，从压缩路径510的早期阶段提取的特征可被转发到解压缩路径515，如水平连接520所示。由最后一个卷积层计算的两个特征图具有适当的内核大小，诸如1×1×1内核大小，并且产生与输入体积相同大小的输出(两个体积具有与原始输入数据相同的分辨率)，其可通过soft-max层被处理，该层输出每一个体素属于前景和背景最大体素的概率。基于softmax层输出的概率，经过训练的图像预处理机器学习模型可指示特定体素是否对应于ROI的图像区域的概率。因此，由经过训练的V-Net 500针对输入图像中的所有体素生成的输出可以指示对应于ROI的多个图像区域，其可以包括组织、血管、肿瘤和纵隔。

在识别出ROI之后，ROI可用于生成过滤器，以将生物结构与输入图像分离。使用经过训练的图像预处理机器学习模型可以提高图像分类的准确性，因为只有图像的相关部分被分类。

II.C.1.d示例结果

图6示出了指示经过训练的图像预处理机器学习模型的性能的示例图600集。在线性回归图602中，针对相应的图像，每一个绘图点表示通过跟踪图像手动识别的组织体积量(x轴)和由经过训练的V-Net检测到的组织体积量(y轴)。在图602中，确定系数(R2)为0.96，这表明V-Net跨包括不同组织体积量的图像中检测组织体积的准确性。

在线性回归图604中，针对相应的图像，每一个绘图点表示通过跟踪图像手动识别的组织体积的量(x轴)和通过基于规则的分析检测到的图像的组织体积的量(y轴)。针对此示例，基于规则的分析是使用Barck、Kai H等人讨论的技术实现的。“通过微型CT和自动化分析对肺癌基因工程小鼠模型中的肿瘤负荷进行量化。”转化肿瘤学第8卷，2(2015年)：126-35。在图604中，确定系数(R2)为0.72。使用手动追踪的组织体积作为参考点，经过训练的V-Net检测到的组织体积比基于规则的分析检测到的组织体积更准确。这种准确性可指示V-Net在生成过滤器以将组织(例如，肺)与相应图像分离的性能有所提高。

II.C.2应用图像过滤器

图7A至图7B示出了根据一些实施例的从输入图像识别生物结构的图像过滤器子系统的示例性示意图700。图像处理系统(例如，图3的图像处理系统310)的图像过滤器715可访问描绘受试者(例如，器官、血管、肿瘤)的生物结构的输入图像705集。针对输入图像705集中的每一个图像，图像过滤器715可以应用图像掩膜并生成过滤图像集。生成的过滤图像中的每一个都描绘了与输入图像的背景部分区分开来的感兴趣的生物结构(例如，肺)。

在图7A中，第一图像过滤器720可以生成对应于输入图像705集的第一图像掩膜集。在第一图像掩膜集中的每一个图像掩膜中，第一图像过滤器720可指定一个或多个可在图像中识别的生物结构，而与指定的生物结构不对应的图像区域(例如，背景部分)可被掩盖或去除。第一图像过滤器720可以将第一图像掩膜集中的每一个生成的图像掩膜应用于输入图像705中的每一个。通过在输入图像705集上应用第一图像掩膜集，第一图像过滤器720可以生成第一过滤图像730集。针对该过滤图像集中的每一个过滤图像，过滤图像的至少一部分(例如，肺、胸腔)可与过滤图像的其他部分(例如，胸腔、空气)区分开来。关于使用图像掩膜运算来识别本文所公开的生物结构的更多细节在Barck KH,et al.“Quantification of Tumor Burden in a Genetically Engineered Mouse Model ofLung Cancer by Micro-CT and Automated Analysis.”Transl Oncol.2015；8:126–135和Wyatt SK,et al.“Fully-automated,high-throughput micro-computed tomographyanalysis of body composition enables therapeutic efficacy monitoring inpreclinical models.”Int J Obes(Lond).June 2015中阐述，其均通过引用整体并入本文用于所有目的。

在图7B中，第二图像过滤器725也可以处理输入图像705集中的每一个，以生成第二图像掩膜集。通过使用第二图像掩膜，第二图像过滤器725可生成第二过滤图像740集。针对第二过滤图像740集中的每一个，过滤图像的不同部分可被识别用于去除。例如，第二过滤图像740集中的过滤图像可指示对应于可去除的特定骨骼结构的图像区域，而过滤图像的其他部分保留(例如，肺)。第一图像过滤器720还可使用第二图像掩膜集来绘制定义感兴趣的生物结构(例如，肺)的边界并生成第一过滤图像735集，使得可以去除边界之外的图像区域。第二过滤图像集可被传输到二进制转换器子系统735。

II.E.图像处理系统的二进制转换器的示例示意图

图8示出了根据一些实施例的将过滤图像变换为二进制图像的二进制转换器子系统的示例示意图800。二进制转换器子系统810(例如，图8的二进制转换器子系统835)可访问从图像过滤器(例如，图8的图像过滤器815)输出的过滤图像830集。二进制转换器子系统810可基于像素的对应辐射密度值对过滤图像830中的每一个过滤图像的每一个像素进行二值化。例如，与高于确定阈值的HU相关联的像素可配置为1像素值，并且与低于阈值的HU相关联的另一像素可配置为0像素值。二进制转换器子系统810可使用二值化运算，其中可以确定阈值范围以便最小化黑白像素的方差。例如，二进制转换器子系统810可将阈值范围设置在-200HU和400HU之间，在该阈值范围内与阈值范围之外的HU相关联的任何像素都可被转换为0像素值。结果，可以输出二进制图像835集，其中每一个二进制图像的像素值被配置为1或0。

二进制转换器子系统810可以附加地对二进制图像835集中的每一个执行填充运算以去除图像区域内的空洞。例如，二进制图像可包括一组具有0值的像素(例如，空洞)，这些像素被更大的一组具有1值的像素(例如，围绕空洞的区域)包围。二进制转换器系统可对该一组0值像素执行填充运算以输出新的二进制图像，其中两组像素合并为新的一组具有1值的像素(例如，没有空洞的区域)。

可以通过侵蚀运算815和/或膨胀运算820附加地处理二进制图像835集中的每一个图像。通过执行侵蚀运算815和膨胀运算820，可以从二进制图像835集中的每一个二进制图像中去除不能准确分类的小图像对象。从分类去除较小的图像对象可改善后续分割运算的性能。侵蚀运算815可以访问该二进制图像集中的二进制图像并且在二进制图像内的第一像素处初始化图像处理内核(例如，5x5内核)。当图像处理内核穿过二进制图像中的每一个像素时，如果内核覆盖的至少一个相邻像素具有0值，则可以将具有1值(例如，白色)的像素转换为0(例如，黑色)。实际上，侵蚀运算815侵蚀出现在二进制图像中的图像对象的边界。此外，侵蚀运算815可以去除在二进制图像中描绘的任何盐噪声，特别是不属于图像对象的一部分的任何稀疏出现的白色像素。

膨胀运算820可以访问由侵蚀运算815处理的二进制图像。类似于侵蚀运算815，图像处理内核被设置在二进制图像的第一像素上。当图像处理内核穿过经处理的二进制图像的每一个像素时，如果内核覆盖的至少一个相邻像素具有1值，则可以将具有0值(例如，黑色)的像素转换为1(例如，白色)。实际上，膨胀运算820可以逐渐扩大对应于经处理的二进制图像中描绘的生物结构的边界。此外，类似于空洞填充运算，膨胀运算820可以去除二进制图像中描绘的任何胡椒噪声，特别是图像对象内的任何稀疏出现的黑色像素。

执行侵蚀运算815，然后执行膨胀运算820，可以从二进制图像835集中的每一个图像去除盐噪声。这种运算的顺序可称为开运算。相反，执行膨胀运算820，然后执行侵蚀运算，可从二进制图像835集中的每一个图像去除胡椒噪声。膨胀后跟侵蚀的顺序可称为闭运算。通过以不同的顺序执行侵蚀运算815和/或膨胀运算820，二进制转换器子系统810可去除在二进制图像835集中的每一个中的任何尖锐和突然的扰动。可将该二进制图像集提供给图像配准子系统。

II.F.图像处理系统的图像配准子系统示例示意图

图9A至图9B示出了根据一些实施例的将二进制图像配准到单个空间坐标系内的图像配准子系统的示例示意图900。具体地，图像配准子系统910可以使用一系列图像配准运算来处理这些图像集。图像配准运算可指优化过程，其中“运动”图像被扭曲，使得在“运动”图像中的所有体素相对于“固定”或参考图像中的体素之间的成对距离最小化。可以执行图像配准运算，使得经处理的图像在参考图像(例如，骨骼结构、肺)的相应区域上对准。每一个图像配准运算都可产生输出图像集，这些图像可以更好地缩放、对准和旋转以适应单个坐标系。后续的图像配准运算可以校准并因此改善该输出图像集的对准。通过使用配准图像用于训练机器学习模型，图像配准运算可提高经过训练的机器学习模型的准确性和性能。

在图9A中，图像配准子系统910可以访问过滤图像905集(例如，图6的第一和第二过滤图像集)和二进制图像915集(例如，图8的二进制图像835)。在第一配准运算920期间，图像配准子系统910可以最初从该过滤图像905集选择参考图像。参考图像可以指包括位置参数的过滤图像，使得可以基于位置参数来对准二进制图像915集。从参考图像，可以生成对应于参考图像的描绘骨骼结构的图像区域的参考过滤器(例如，参考骨掩膜)。可以配准对应于参考过滤器的过滤图像905集的过滤器(例如，骨掩膜过滤器)，使得可以对准第一子集的过滤图像，如第一对准图像925集中所示。通过配准过滤器，可以确定第一变换参数集(例如，tform)。第一变换参数集可指示对应于向相对于参考图像的过滤图像905集中的每一个过滤图像应用的仿射或线性变换(例如，旋转、缩放、平移、剪切)的估计的数值集。

图像配准子系统910可以使用图像扭曲运算930将第一变换参数集应用于过滤图像905集和二进制图像915集中的每一个。针对二进制图像915集中的每一个，图像扭曲运算930可以使用第一变换参数集来扭曲二进制图像以调整其位置和取向。过滤图像905集中的每一个过滤图像也可使用第一变换参数来扭曲，使得扭曲的过滤图像可以用于生成变换参数用于后续的配准运算。图像配准子系统910可以将扭曲的该过滤图像905集以及该二进制图像915集输出为扭曲图像935集。

在图9B中，图像配准子系统910可以访问扭曲图像935集中的每一个图像并对其执行第二配准运算940。在第二配准运算940期间，图像配准子系统910可以使用由图9A的第一配准运算920使用的相同参考图像。参考图像可包括参考过滤灰度图像。参考图像可用于配准过滤图像905集中的每一个过滤图像(例如，过滤灰度图像)，使得过滤图像905集中的过滤图像可朝向参考图像对准，如第二对准图像950集中所示。通过配准该过滤图像905集中的过滤图像，可确定第二变换参数集(例如，tform_grayscale)。第二变换参数集可指示对应于向相对于参考图像的扭曲图像935集中的每一个过滤图像应用的仿射或线性变换(例如，旋转、缩放、平移、剪切)的估计的数值集。

图像配准子系统910可以使用图像扭曲运算930将第二变换参数集应用于扭曲图像935集中的每一个。针对该扭曲图像935集中的每一个，图像扭曲运算930可以使用第二变换参数集再次扭曲该扭曲图像以调整其位置和取向。图像配准子系统910可以将扭曲的过滤图像905集和二进制图像915集输出为配准图像955集。在一些情况下，仅执行第一配准运算920以生成配准图像955集。例如，该扭曲图像935集是可以随后由图像分割子系统1005处理的配准图像955集。

II.G.图像处理系统的图像分割子系统的示例示意图

图10示出了根据一些实施例的从配准图像提取图像对象集的图像分割子系统的示例示意图1000。图像分割子系统1005可以访问配准图像1010集。配准图像1010集可以包括应用一个或多个配准运算(例如，图9A的第一配准运算920、图9B的第二运算940)的一个或多个二进制图像(例如，图8的二进制图像835集)。对于该配准图像1010集中的每一个，图像分割子系统1005可以执行分水岭分割以提取图像对象集。为了执行分水岭分割，图像分割系统1005可以侵蚀配准图像1010集中的每一个配准图像，并在配准图像中的新图像对象分开和消失时识别它们。图像分割系统1005然后可以为新图像对象中的每一个创建种子点，在新图像对象处，种子点中的每一个种子点可以有条件地膨胀(添加层)直到配准图像被填充。可以重复这些运算，使得可以从配准图像提取图像对象集。

附加地或替代地，图像分割子系统1005可以反转配准图像1010集中的每一个配准图像的像素以将配准图像变换为其补充图像。例如，可以将对应于配准图像的一部分的黑色像素转换为白色像素，并且可以将对应于配准图像的另一部分的白色像素转换为黑色像素。随着分水岭分割的继续，图像分割子系统1005可以通过使用负距离变换运算来处理对应于配准图像1010集的每一个补充图像。针对对应于每一个补充图像的每一个像素，可以执行负距离变换运算以识别从像素到最近的非零值像素的距离值，计算识别的距离值的负值，并基于计算出的负值变换像素。作为变换对应于补充图像的像素的结果，图像分割子系统1005可以生成变换图像集并通过分割算法(例如，分水岭算法)处理该变换图像集。分割算法可以生成分割图像1015集，其中可以在分割图像1015中的每一个描绘线集。针对分割图像1015集中的每一个分割图像，图像分割子系统1005可以通过使用该线集作为对应于在该分割图像中表示的每一个图像对象的边界来提取图像对象集。

II.H.图像处理系统的特征提取器子系统的示例示意图

II.H.1识别图像对象的结构特性

图11示出了根据一些实施例的识别与图像对象相关联的结构特性集的特征提取器子系统的示例示意图1100。可访问分割图像1105集(例如，分割图像1015集)。针对分割图像1105集中的每一个分割图像，可以基于在分割图像中描绘的线集识别图像对象集。特征提取器1110可以访问图像对象集并且确定对应于图像对象集中的每一个图像对象的结构特性集。结构特性集中的每一个结构特性包括对应于特定结构特性类别(例如，直径、表面积、形状、中心凸体积、体素强度)的值。针对每一个图像对象，特征提取器1110可以将对应于图像对象的结构特性集存储在数据结构1115(例如，阵列)中，其中可以分配标识符以识别图像对象。可以将存储图像对象的结构特性集的数据结构1115传输到训练机器学习模型，该机器学习模型可以基于确定的结构特性估计图像对象是否对应于肿瘤。

可以由特征提取器1110确定各种类型的结构特性集，特征提取器可以被经过训练的机器学习模型处理和考虑。经过训练的机器学习模型可包括各种类型的机器学习模型，诸如判别分析模型、内核分类模型、k最近邻模型、线性分类模型、朴素贝叶斯分类器、支持向量机、梯度提升集成分类算法和/或一个或多个分类树。例如，结构特性集可以包括但不限于对应于以下结构特性类别的结构特性：

·“Boundingbox”-包含区域的最小长方体，以[ulf_x ulf_y ulf_z width_zwidth_y width_z]形式的1×6向量形式返回。ulf_x、ulf_y和ulf_z指定长方体的左上前角。width_z、width_y和width_z沿每一个维度指定长方体的宽度；

·“Centroid”-质心或区域。以[centroid_x centroid_y and centroid_z]形式的1×3向量形式返回。第一元素centroid_x是质心的水平坐标(或x坐标)。第二元素centroid_y是垂直坐标(或y坐标)。第三元素centroid_z是平面坐标(或z坐标)；

·“ConvexHull”-可包含区域的最小凸多边形，以p×3矩阵形式返回。矩阵的每一行包含多边形的一个顶点的x、y和z坐标；

·“ConvexImage”-凸包的图像，以体积二进制图像(逻辑)形式返回，其中包内的所有体素都已填充(设置为“on”)。图像是区域边界框的大小；

·“ConvexVolume”-在“ConvexImage”中的体素数，以标量形式返回。

·“EigenValues”-表示区域的体素的特征值，以3×1向量形式返回。例如，regionprops3运算可以使用特征值来计算主轴长度；

·“EigenVectors”-表示区域的特征向量或体素，以3×3向量形式返回。例如，regionprops3运算可以使用特征向量来计算具有与区域相同的归一化第二中心矩的椭球的取向；

·“EquivDiameter”-与区域相同体积的球体的直径，以标量形式返回。计算为(6*体积/pi)^(1/3)；

·“Extent”-在区域中的体素与在总边界框中的体素的比值，以标量形式返回。计算为体积的值除以边界框的体积。[体积/(边界框宽度*边界框高度*边界框深度)]；

·“Image”-区域的边界框，以与区域边界框大小相同的体积二进制图像(逻辑)形式返回。“on”体素对应区域，以及所有其他体素都“off”；

·“Orientation”(x、y和z值)-欧拉角，以1×3向量形式返回。角度基于右手定则。例如，regionprops3运算可以通过查看沿分别代表横滚、俯仰和偏航的x、y和z轴的原点来解释角度。正角表示在逆时针方向的旋转。旋转运算不是可交换的，因此可以以正确的顺序应用它们以具有预期的效果；

·“PrincipalAxisLength”(x、y和z值)-具有与区域相同的归一化第二中心矩的椭球的主轴的长度(以体素为单位)，以1×3向量形式返回。例如，regionprops3运算可以将值从高到低排序；

·“Solidity”-同样位于该区域的在凸包中的体素比例，以标量形式返回。计算为体积/凸体积；

·“SubarrayIdx”-用于提取对象边界框内元素的索引，以单元阵列形式返回，使得L(idx{:})提取对象边界框内L的元素；

·“SurfaceArea”-区域边界周围的距离，以标量形式返回；

·“Volume”-在区域中“on”体素的实际数量的计数，以标量形式返回。体积表示在体积二进制图像BW内在区域中体素数量的度量或测量；

·“VoxelIdxList”-在区域中体素的线性索引，以p元素向量形式返回；和

·“VoxelList”-在区域中体素的位置，以p×3矩阵形式返回。矩阵中的每一行都具有[x y z]形式，并指定在区域中一个体素的坐标。

II.H.2图像对象的示例结构特性

图12至图17示出了识别由图像分割子系统检测到的图像对象的结构特性的示例箱形图集。图12至图17的箱形图示出了对应于特征阵列(例如，由图11的特征提取器1110生成的特征阵列)的数据。特征阵列表示用于训练机器学习模型的训练图像，以从图像自动检测肿瘤的至少一部分。例如，这些图示出了使用标记应用程序手动标记的训练图像的对象的对象特征(例如，图20A至图20C)。随着肿瘤和非肿瘤箱形图之间的差异在图12至图17中增加，机器学习模型(例如，SVM)在经过训练后将越来越有可能区分肿瘤和非肿瘤对象。对于在图12至图17中的每一个箱形图，水平线表示代表每一个类(例如，肿瘤、非肿瘤)的中值(例如，对象体积)，并且“框”的边缘表示属于25％和75％分位数内的值。垂直的虚线(须状线)指示对应于每一个类的值的总范围。

图12示出了对应于由图像分割子系统检测到的图像对象的质心位置分布的示例箱形图1200集。箱形图1202、1204和1206中的每一个示出了分类为肿瘤区域的第一图像对象集的质心位置的第一分布和分类为非肿瘤区域的第二图像对象集的质心位置的第二分布。此外，箱形图1202示出了沿x轴图像对象的质心位置的分布，箱形图1204示出了沿y轴图像对象的质心位置的分布，并且箱形图1206示出了沿z轴图像对象的质心位置的分布。如箱形图1202、1204和1206所示，在分类为肿瘤区域的图像对象和分类为非肿瘤区域的图像对象之间具有相似的质心位置分布，这可能指示质心位置特征不太可能相对于其他特征，预测从图像检测肿瘤区域。

图13示出了对应于由图像分割子系统检测到的图像对象的取向分布的示例箱形图1300集。箱形图1302、1304和1306中的每一个示出了分类为肿瘤区域的第一图像对象集的取向的第一分布和分类为非肿瘤区域的第二图像对象集的取向的第二分布。取向的大小以欧拉角单位表达。此外，箱形图1302示出了沿x轴图像对象的取向分布，箱形图1304示出了沿y轴图像对象的取向分布，而箱形图1306示出了沿z轴图像对象的取向分布。如箱形图1302、1304和1306所示，在分类为肿瘤区域的图像对象和分类为非肿瘤区域的图像对象之间具有相似的取向分布，这可能指示对象取向特征不太可能相对于其他特征，预测从图像检测肿瘤区域。例如，箱形图1302示出了沿x轴对象的取向(在图13中的图1302)对于肿瘤和非肿瘤类看起来相似。因此，箱形图1032指示相对于其他特征(例如，对象体积)，对象取向可能不像组织类那样可预测(尽管它仍然具有信息性)。

图14示出了对应于由图像分割子系统检测到的图像对象的主轴长度分布的示例箱形图1400集。箱形图1402、1404和1406中的每一个示出了分类为肿瘤区域的第一图像对象集的主轴长度的第一分布和分类为非肿瘤区域的第二图像对象集的主轴长度的第二分布。此外，箱形图1402示出了沿x轴图像对象的主轴长度的分布，箱形图1404示出了沿y轴图像对象的主轴长度的分布，以及箱形图1406示出了沿z轴图像对象的主轴长度的分布。如箱形图1402、1404和1406所示，对应于分类为肿瘤区域的图像对象的主轴长度平均大于对应于分类为非肿瘤区域的图像对象的主轴长度。这种观察可以指示，相对于其他特征(例如，图12中所示的质心位置)，主轴长度更有可能预测从图像检测肿瘤区域。

图15示出了对应于由图像分割子系统检测到的图像对象的大小分布的示例箱形图1500集。箱形图1502、1504、1506和1508中的每一个示出了针对分类为肿瘤区域的第一图像对象集的大小的第一分布和针对分类为非肿瘤区域的第二图像对象集的大小的第二分布。此外，箱形图1502示出了以体素单位表达的图像对象的组织体积的分布，箱形图1504示出了以对应图像对象的边界周围的距离表达的图像对象的表面积的分布，箱形图1506示出了以包含对应图像对象的最小凸多边形的体积表达的图像对象的凸体积的分布，以及箱形图1508示出了以球直径表达的图像对象的等效直径的分布，针对相应图像对象测量的相同数量的体素。如箱形图1502、1504、1506和1508所示，对应于分类为肿瘤区域的图像对象的大小特性(例如，体积、表面积、等效直径)平均大于对应于分类为非肿瘤区域的图像对象的大小特性。这种观察可以指示，相对于其他特性，大小特性特征更有可能预测从图像检测肿瘤区域。例如，图15中的箱形图1502示出了标记为“肿瘤”的对象具有比非肿瘤对象高约10倍的平均体积。箱形图1502因此指示对象体积可能是有意义的特征并且高度预测对象属于哪个类，关于使用经过训练的机器学习模型来预测针对不属于训练集的新图像的对象类。

图16示出了对应于由图像分割子系统检测到的图像对象的形状分布的示例箱形图1600集。箱形图1602、1604和1606中的每一个示出了分类为肿瘤区域的第一图像对象集的形状的第一分布和分类为非肿瘤区域的第二图像对象集的形状的第二分布。此外，箱形图1602示出了图像对象的部分各向异性指数的分布。虽然对应于部分各向异性指数的中值对于在肿瘤和非肿瘤区域中的图像对象相似，但在分类为非肿瘤区域的图像对象中分布的四分位距更大。箱形图1604示出了以组织体积除以边界框体积表达的图像对象的范围的分布。在分类为肿瘤区域的图像对象中，跨组织类的范围更大。箱形图1606示出了以组织体积除以凸包体积表达的图像对象的坚固性分布。在分类为非肿瘤区域的图像对象中，坚固性分布更大。如箱形图1602、1604和1606所示，在分类为肿瘤区域的图像对象的形状(例如，范围、坚固性)与分类为非肿瘤区域的图像对象的形状之间具有明显差异。这种观察可以指示，相对于其他特征，对象形状特征更有可能预测从图像检测肿瘤区域。

图17示出了对应于由图像分割子系统检测到的图像对象的体素强度分布的示例箱形图1700集。箱形图1702和1704中的每一个示出了分类为肿瘤区域的第一图像对象集的体素强度的第一分布和分类为非肿瘤区域的第二图像对象集的体素强度的第二分布。此外，箱形图1702示出了以亨氏单位表达的图像对象的平均体素强度的分布，并且箱形图1704示出了以亨氏单位表达的图像对象的最大体素强度的分布。如箱形图1702和1704所示，对应于分类为肿瘤区域的图像对象的体素强度大于对应于分类为非肿瘤区域的图像对象体素强度，这可能指示体素强度特征更可能相对于其他特征(例如，图12中所示的质心位置)从图像检测肿瘤区域。

II.I.带有经过训练的支持向量机的分类子系统的示例示意图

图18示出了根据一些实施例的用于估计图像对象是否对应于肿瘤的支持向量机的示例性示意图1800。训练子系统1805可将支持向量机1810训练成经过训练的支持向量机1815。为了训练支持向量机1810，训练子系统1805可以使用训练数据1820，其可以包括对应于每一个训练图像对象的结构特性集。结构特性集中的每一个可分别分配有标记1825a-n集的对应标记。例如，对应于训练数据1820的第一训练图像对象的第一结构特性集可以对应于标记1825a，并且对应于训练数据1820的第二训练图像对象的第二结构特性集可以对应于标记1825b。标记1825a-n集中的每一个标记可以指示其对应的结构特性集是否指示肿瘤。因此，这些结构特性集可用于在训练图像中逐个肿瘤地表征训练图像。实际上，经过训练的机器学习模型可用于基于各自的结构特性(例如，组织体积)检测单个肿瘤区域。在一些情况下，这些单个的肿瘤区域被聚合以识别针对整个训练图像的测量值，诸如肿瘤负荷水平。

II.I.1训练支持向量机的示例训练数据

如本文所述，训练数据1820可对应于结构特性，该结构特性对应于训练图像的中的每一个训练图像对象的结构特性。训练数据1820可表示对应于受试者的扫描图像的多个训练图像。训练图像中的每一个都可标记为没有肿瘤、低肿瘤负荷、中等肿瘤负荷或高肿瘤负荷。例如，训练数据1820包括71张扫描图像，其中包括21张指示无肿瘤的图像、20张指示低肿瘤负荷的图像、15张指示中等肿瘤负荷的图像和15张指示高肿瘤负荷的图像。在此示例中，可基于以下标准为每一个训练图像标记肿瘤负荷水平：

表1–肿瘤负荷标记的示例标准

从71张扫描图像中，有12张图像被识别为用于测试的留出集。此外，训练数据1820可包括1941个训练图像对象，其中364个训练图像对象被识别为用于测试的留出集。

II.I.2特征选择

可以使用与每一个训练图像对象相关联的结构特性集的子集来训练支持向量机1810(或其他机器学习模型诸如梯度提升算法)。这种特征选择技术减少了用于训练机器学习模型的输入变量的数量，以实现计算资源的有效使用，并通过减少噪声潜在地改善经过训练的机器学习模型的性能。

例如，结构特性的子集可通过处理训练数据1820的结构特性集并且针对结构特性类别(例如，取向、质心位置)生成对应于肿瘤区域的结构特性值的第一分布和对应于非肿瘤区域的结构特性值的第二分布来选择。可以识别两个分布之间的统计差异。例如，统计差异对应于在第一分布和第二分布之间的中值或平均值的差异。可以分析两个分布的统计差异以确定是否可以添加相应类别的结构特性值作为结构特性子集的元素。如果是，与相应类别相关联的图像对象的结构特性可添加作为图像对象的结构特性子集的元素。在一些情况下，结构特性的子集包括对应于结构特性类别(诸如图像对象的体积、表面积、等效直径和体素强度)的值。

附加地或替代地，可以通过处理训练数据1820的结构特性集来选择结构特性的子集，以针对每一个结构特性类别生成相关度量(例如，皮尔逊相关系数)。相关度量可以与预定义阈值(例如，0.7)进行比较。响应于确定相关度量超过预定义阈值，可以添加与相应结构特性类别相关联的图像对象的结构特性值作为子集的元素。在一些情况下，可以通过生成沙普利加和解释图来选择结构特性的子集，该图识别每一个结构特性类别对达到肿瘤分类的贡献。

II.I.3支持向量机

对于训练数据1820中的每一个结构特性集，训练子系统1805可以使用来自该结构特性集(例如，形状、体积)的值来将该集绘制在表示支持向量机1810的多维图上。结果，可以在对应于支持向量机1810的多维图中识别对应于结构特性集的训练图像对象(具有相关联的标记)。训练子系统1805然后可以通过生成最优超平面来训练支持向量机1810，该最优超平面将分配有肿瘤标记的结构特性集和分配有非肿瘤标记的结构特性集分开。在一些情况下，当优化支持向量机的一个或多个超参数时，使用K折交叉验证技术。例如，当优化一个或多个超参数时，可使用贝叶斯超参数优化技术。超参数的示例可包括以下内容：

表2–超参数示例

然后可使用留有数据集(例如，来自71张总扫描图像的21张图像)测试具有最佳超平面的经过训练的支持向量机。作为生成最优超平面的结果，训练子系统1805可以确定支持向量机1810已经被充分训练用于分类。然后分类子系统1830可以使用经过训练的具有最优超平面的支持向量机1815。

分类子系统1830可以通过使用经过训练的支持向量机1815来处理存储在数据结构1835中的信息并且估计在数据结构1835中指示的图像对象是否对应于肿瘤。对于数据结构1835，分类子系统1830可以访问对应于图像对象的结构特性集，并在具有用于经过训练的支持向量机1815的最优超平面的多维图中绘制对应于结构特性的值。在一些情况下，生成特征向量以在多维图中绘制相应的结构特性集。一旦绘制了该结构特性集，经过训练的支持向量机1815可以基于相对于经过训练的支持向量机1815的最优超平面的数据结构1835的图位置来生成指示图像是否对应于肿瘤的估计数据。分类子系统1830可以收集对应于在数据结构1835中指示的图像对象的估计数据，并且生成包括指示图像对象中的每一个是否对应于肿瘤、病灶或正常组织的信息的输出1840。在一些情况下，输出1840将图像对象识别为肿瘤或非肿瘤区域。附加地或替代地，输出1840可将图像对象识别为肿瘤、血管或另一对象类型。

分类系统1830可生成另一输出(未示出)，该输出识别对应于在输入图像中描绘的生物结构的肿瘤负荷水平。可以通过聚合分类为具有肿瘤的图像对象并生成表示聚合的图像对象(例如，肿瘤体积)的结构特性值来确定肿瘤负荷水平。然后可以将生成的结构特性值与代表从图像(例如，肺体积)分割和识别的所有图像对象的参考结构特性值进行比较。这种比较可以识别相对于图像的所有图像对象聚合的图像对象的比例和/或比值。在一些情况下，肿瘤负荷水平识别低肿瘤负荷(例如，<肺总体积的20％)、中等肿瘤负荷(例如，肺总体积的20-40％)或高肿瘤负荷(例如，>肺总体积的40％)。附加地或替代地，分类系统1830可以识别表示图像的肿瘤负荷水平的数值，诸如肺体积的百分比。其他输出可用于诊断患者的癌症水平，识别对应于图像的受试者的治疗类型，和/或确定受试者的诊断或预后因素。

II.I.4示例结果

图19示出了识别从图像检测到的肺体积与总肿瘤体积之间的关系的图1900的示例。如图1900所示，针对相应的图像，每一个绘图点表示测量的肿瘤体积量(x轴)和由经过训练的3D U-Net检测到的肺体积量(y轴)。y截距示出为0.24mL，斜率为0.92，以及R2为0.79。每一个图像被分类为无肿瘤负荷、低肿瘤负荷(<肺体积的20％)、中等肿瘤负荷(肺体积的20-40％)或高肿瘤负荷(>肺体积的40％)。图1900示出了由经过训练的3D U-Net检测到的肺体积量与肿瘤负荷的增加大致成比例地增加。这种增加可指示肺的体积显著扩大以适应肿瘤生长。图1900还证明了经过训练的机器学习模型可用于一致地捕捉不同生理/疾病条件下总肺体积的变化。因此，机器学习模型的一致和准确性能可以可靠地用于跟踪癌症和其他非肿瘤疾病进展(例如)。

II.J.用于标记训练数据的用户界面示例示意图

图20A至图20C示出了根据一些实施例的用于标记对应于三维图像数据的训练图像对象的用户界面的示例屏幕截图2000。如本文所述，训练子系统(例如，图1的训练子系统115)可以识别与在训练数据的训练图像中表示的每一个区域相关联的边界。该区域可以对应于训练图像的三维图像对象。该集中的每一个三维图像对象可通过用户界面2000被标记并且用作训练机器学习模型的训练数据。

在用户界面2000中，对应于三维训练图像的三维图像对象集中的每一个对象可由不同的颜色来表示。从三维训练图像渲染的二维部分(例如，切片)可与三维训练图像同时呈现。附加地或替代地，用户界面2000可用于滚动从三维训练图像渲染的多个二维部分的整个堆。例如，三维训练图像可以显示在用户界面2000的第一部分上，并且二维部分可同时显示在用户界面2000的第二部分上。二维部分可以指示对应于三维训练图像的一个或多个图像对象的区域。例如，对应于图像对象的区域可在二维部分的一部分上被指定(例如，经由突出显示和/或边界覆盖)。图20A示出了用户界面2000的第一屏幕截图，其描绘了对应于具有低肿瘤负荷的受试者的三维训练图像。图20B示出了用户界面2000的第二屏幕截图，其描绘了对应于具有中等到高肿瘤负荷的受试者的三维训练图像。图20C示出了用户界面2000的第三屏幕截图，其描绘了对应于具有非常高肿瘤负荷的受试者的三维训练图像。

II.K.基于图像处理的肿瘤自动化检测示例过程

图21示出了根据一些实施例的用于处理图像以估计肿瘤的至少一部分在图像中是否被表示的过程2100。过程2100开始于块2105处，在该块处访问示出生物结构的至少一部分的图像。生物结构可以指在图像中被表示的一种或多种组织的类型。例如，生物结构可以包括单个器官诸如肺、心脏或肝脏、各种类型的组织(例如，骨、血管、肿瘤)和/或指示生物结构(例如，病灶)的至少一部分发生变化的任何结构。

所访问的图像可以包括或可能已经从使用成像系统收集和接收的数据被导出。成像系统可包括CT系统，其可以包括断层成像仪和/或微型CT组件(或微型断层合成组件)。

在块2110处，使用分割算法处理图像以从在图像中描绘的图像对象集提取图像对象。图像对象集中的每一个可以描绘生物结构的特定类型(例如，组织、肿瘤、血管)。可以对图像进行预处理(例如，负距离变换运算)以识别图像内的边界并使用边界以从图像提取图像对象集。可以使用各种分割算法以从配准图像提取图像对象，包括分水岭分割算法、图分区算法和基于模型的分割算法。

在块2115处，确定与每一个图像对象相关联的结构特性。结构特性可以指与可以使用本领域普通技术人员已知的任何技术测量的图像对象相关联的形态特征。例如，结构特性可以包括与图像对象相关联的直径、表面积、形状、中心凸体积、等效直径、取向、坚固性和/或体积。结构特性可存储在数据结构中，其中可以分配标识符以识别图像对象。

在块2120处，使用经过训练的机器学习模型处理结构特性以生成对应于图像对象是否对应于病灶或肿瘤的估计的分类度量。经过训练的机器学习模型可以识别图像对象的结构特性是否对应于与特定生物结构(例如，肿瘤、肺、血管)相关联的预先识别的结构特性。基于识别，可以生成分类度量以估计特定图像是否对应于肿瘤或病灶。

在块2125处，输出分类度量。例如，分类度量可以在本地呈现或被传输到另一装置。分类度量可以与图像的标识符一起被输出。分类度量可与对应于与分类度量相关联的置信水平的概率度量一起输出。

图22示出了根据一些实施例的用于处理图像以提取图像对象集的过程2200。过程2200开始于块2205处，在该块处访问示出生物结构的至少一部分的图像。生物结构可以指在图像中被表示的一种或多种组织的类型。例如，生物结构可以包括单个器官诸如肺、心脏或肝脏、各种类型的组织(例如，骨、血管、肿瘤)和/或指示生物结构(例如，病灶)的至少一部分发生变化的任何结构。

所访问的图像可以包括或可能已经从使用成像系统收集和接收的数据被导出。成像系统可包括CT系统，其可以包括断层成像仪和/或微型CT组件(或微型断层合成组件)。

在块2210处，将过滤器应用于图像以从图像的背景分离感兴趣的生物结构。例如，第一过滤器可以是肺掩膜，该肺掩膜可用于从图像分离生物结构(例如，肺)。背景可包括在图像中描绘的区域，该图像排除感兴趣的生物结构(例如，骨)。为了应用过滤器，背景的至少一部分可被用作围绕生物结构的边界，在生物结构处可使用边界来调整对应于感兴趣的生物结构的区域的大小。在一些情况下，使用经过训练的图像预处理机器学习模型来处理访问的图像以识别或分离ROI，其中ROI可以包括在访问图像中描绘的器官、组织、肿瘤和血管。

在块2215处，过滤图像被变换成二进制图像。过滤图像的至少一部分中的每一个像素可转换为0或1像素值。例如，过滤图像可为灰度图像，可将其转换为二进制图像。对应于像素子集(例如，由1像素包围的0像素)的二进制值可基于填充运算转换。可应用于侵蚀膨胀和/或空洞填充运算来进一步减少二进制图像的图像噪声。

在块2220处，执行配准运算以将二进制图像与参考图像对准。可基于对应于参考图像的参考过滤器配准过滤图像，使得生成变换参数集。然后可通过将变换参数集应用于二进制图像执行图像扭曲运算，使得调整其位置和取向。基于基于将过滤图像与参考图像对准而生成的不同的变换参数集，可以对扭曲的二进制图像执行后续配准运算。

在块2225处，使用分割算法以从配准图像提取图像对象集。为了提取图像对象集，配准图像可被侵蚀以识别图像对象集，在这些图像对象集处可为每一个图像对象创建种子点并有条件地膨胀直到配准图像可被填充。

经过变换的配准图像可由分割算法处理以生成识别线集的分割图像，该线集可用作在配准图像中描绘的图像对象集的边界。基于边界，可从分割图像提取图像对象集。

在块2230处，输出该图像对象集。例如，图像对象集可以在本地呈现或被传输到另一装置。图像对象集可与图像的标识符一起被输出。该图像对象集还可以由经过训练的机器学习模型处理，以生成对应于图像对象是否对应于病灶或肿瘤的估计的分类度量。

III.其他注意事项

本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。

已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。

随后的描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

在以下描述中给出具体细节以提供对实施方案的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。

Claims (24)

1.一种计算机实现方法，其包括：

访问特定受试者的生物结构的至少一部分的图像；

使用分割算法处理所述图像以提取在所述图像中描绘的多个图像对象；

确定与所述多个图像对象中的一个图像对象相关联的一个或多个结构特性；

使用经过训练的机器学习模型处理所述一个或多个结构特性，以生成对应于对所述图像对象是否对应于与所述生物结构相关联的病灶或肿瘤的估计的估计数据，所述经过训练的机器学习模型使用由训练图像集构建的三维模型进行训练；以及

输出针对所述特定受试者的所述估计数据。

2.根据权利要求1所述的计算机实现方法，其中所述生物结构的所述至少一部分包括肺的至少一部分。

3.根据权利要求1或2所述的计算机实现方法，其中所述图像描绘围绕所述生物结构的所述至少一部分的骨骼结构。

4.根据权利要求1至3中任一项所述的计算机实现方法，其中所述图像描绘所述生物结构的所述至少一部分的横向平面。

5.根据权利要求1至4中任一项所述的计算机实现方法，其中所述图像包括使用计算机断层扫描仪捕获的图像数据或已经从使用计算机断层扫描仪捕获的图像数据导出。

6.根据权利要求5所述的计算机实现方法，其中所述计算机断层扫描仪是微型计算机断层扫描仪。

7.根据权利要求1至6中任一项所述的计算机实现方法，其中所述一个或多个结构特性识别所述图像对象的形状、位置、表面积和/或最长直径。

8.根据权利要求1至7中任一项所述的计算机实现方法，其中使用所述分割算法处理所述图像进一步包括：

确定与另一图像对象相关联的一个或多个结构特性；

使用所述经过训练的机器学习模型处理所述另一图像对象的所述一个或多个结构特性，以生成对应于对所述另一图像对象是否对应于所述生物结构的类型的估计的估计数据；以及

输出与所述另一图像对象相关联的所述估计数据。

9.根据权利要求8所述的计算机实现方法，其中所述生物结构的所述类型包括血管、肺、心脏和/或肝脏。

10.根据权利要求1至9中任一项所述的计算机实现方法，其中所述分割算法是分水岭变换算法。

11.根据权利要求1至10中任一项所述的计算机实现方法，其中所述经过训练的机器学习模型是经过训练的支持向量机(SVM)。

12.根据权利要求1至11中任一项所述的计算机实现方法，其进一步包括：

使用经过训练的图像预处理机器学习模型预处理所述图像，以生成用于识别对应于所述生物结构的一个或多个图像区域的过滤器；

将所述过滤器应用到所述图像以分离所述一个或多个图像区域；以及

使用所述分割算法处理分离的图像区域以提取在所述图像中描绘的所述多个图像对象。

13.根据权利要求12所述的计算机实现方法，其中所述经过训练的图像预处理机器学习模型是经过训练的卷积神经网络机器学习模型。

14.根据权利要求1至13中任一项所述的计算机实现方法，其进一步包括使用图像过滤器处理所述图像以生成过滤图像，所述过滤图像排除围绕所述生物结构的所述至少一部分的一个或多个骨骼结构，其中所述过滤图像用于代替所述图像以将所述图像对象与所述多个图像对象分开。

15.根据权利要求1至14中任一项所述的计算机实现方法，其进一步包括使用共配准处理所述图像以将所述图像与参考图像对准，其中对准图像用于代替所述图像以从所述多个图像对象提取所述图像对象。

16.根据权利要求1至15中任一项所述的计算机实现方法，其进一步包括：

将所述图像变换为二进制图像；

通过使用填充运算转换所述二进制图像中的一个或多个像素；以及

执行侵蚀和膨胀运算以减少来自所述二进制图像的图像噪声。

17.根据权利要求1至16中任一项所述的计算机实现方法，其中使用分割算法处理所述图像进一步包括将负距离变换函数应用于所述图像以识别所述多个图像对象的两个或更多个重叠图像对象之间的边界。

18.根据权利要求1至17中任一项所述的计算机实现方法，其进一步包括执行针对所述多个图像对象中的剩余图像对象中的每一个的确定、处理和输出步骤，从而生成针对所述多个图像对象的估计数据。

19.根据权利要求18所述的计算机实现方法，其进一步包括基于所述多个图像对象的所述估计数据，确定与所述生物结构的所述至少一部分相关联的肿瘤负荷水平。

20.根据权利要求19所述的计算机实现方法，其中所述肿瘤负荷水平对应于以下之间的比值：从分类为具有所述肿瘤的所述多个图像对象中的一个或多个图像对象导出的第一结构特性值和从所有所述多个图像对象导出的第二结构特性值。

21.根据权利要求18所述的计算机实现方法，其中：

所述一个或多个结构特性对应于所述图像对象的结构特性集；以及

使用所述经过训练的机器学习模型处理所述一个或多个结构特性进一步包括从所述结构特性集选择结构特性子集，其中所述结构特性子集通过以下项选择：

针对与所述结构特性集中的特定结构特性相关联的结构特性类别，生成对应于识别为具有所述肿瘤的第一图像对象集的结构特性值的第一分布，以及对应于识别为不具有所述肿瘤的第二图像对象集的结构特性值的第二分布，其中所述多个图像对象包括所述第一图像对象集和所述第二图像对象集；

识别在所述第一分布和所述第二分布之间的统计差异；

基于所述统计差异，确定要添加所述结构特性类别作为所述结构特性的所述子集的类别；以及

响应于确定要添加所述结构特性类别作为所述结构特性的所述子集的所述类别，添加所述特定结构特性作为所述结构特性子集的元素。

22.根据权利要求21所述的计算机实现方法，其中所述结构特性子集识别所述图像对象的体积、表面积、等效直径和体素强度。

23.一种系统，其包括：

一个或多个数据处理器；以及

非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质包含指令，所述指令在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。

24.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，所述计算机程序产品包括指令，所述指令被配置成使一个或多个数据处理器执行本文所公开的一种或多种方法的一部分或全部。

Images