CN117542527B - 肺结节跟踪与变化趋势预测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种肺结节跟踪与变化趋势预测方法、装置、设备及存储介质，所述方法包括：获取待分析对象的两个CT图像，并从所述CT图像中分割出肺部区域图像；对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据；所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性；对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节；基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据。通过对两个CT图像进行检测、配准跟踪以及对比分析，生成肺结节的变化趋势数据，提高对肺结节变化趋势数据的预测准确性。

Description

肺结节跟踪与变化趋势预测方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种肺结节跟踪与变化趋势预测的肺结节跟踪与变化趋势预测方法、系统、装置、设备及存储介质。

背景技术

传统的肺结节筛查与趋势预测方法主要依赖于医生的专业知识和经验，通常是通过观察和分析CT图像来识别和评估肺结节。然而，由于每个医生的专业水平和经验不同，对同一份CT图像的解读和判断也可能存在差异。可以看出，相关技术中对于CT图像中肺结节的定位以及变化趋势的预测存在准确度较低的问题。

发明内容

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种肺结节跟踪与变化趋势预测方法，所述肺结节跟踪与变化趋势预测方法包括：

获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像；

对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据；所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性；

对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节；

基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据。

在一些实施例中，所述肺结节属性包括所述肺结节的掩码图像；所述对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节，包括：

通过最大化所述两个肺部区域图像之间的归一化互信息代价函数，确定所述两个肺部区域图像之间的配准参数；

基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比，将满足预设要求的肺结节确定为所述待分析肺结节；

其中，所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。

在一些实施例中，所述肺结节属性包括所述肺结节的检测框和掩码图像；所述对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据，包括：

将所述肺部区域图像输入至训练后的肺结节检测模型，得到对应的肺结节检测特征图；所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；

基于所述肺结节特征图中每一所述特征点对应的检测特征数据，确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径；所述肺结节的检测框由所述肺结节中心点和肺结节直径确定；

基于所述肺结节中心点和预设截取范围，在所述肺部区域图像中截取所述肺结节所在的图像块，并将所述肺结节所在的图像块输入至训练后的肺结节分割模型，得到所述肺结节的掩码图像。

在一些实施例中，所述基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据，包括：

针对每一所述肺部区域图像，基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数；

针对每一所述评估维度，基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化趋势数据；

其中，所述评估维度包括以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺。

在一些实施例中，所述基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化趋势数据，包括：

基于每一所述CT图像对应的检测时间，确定变化时间；

将所述变化时间、所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，输入至变化率预测模型，得到所述待分析肺结节在所述评估维度下的变化率；

其中，所述待分析肺结节在所述评估维度下的预测肺结节参数的计算公式如下：

；

其中，为从最新的CT图像对应的检测时间开始，时间t之后，所述待分析肺结节 在所述评估维度下的预测肺结节参数，V为最新的CT图像中所述待分析肺结节在所述评估 维度下的肺结节参数，k为变化率。

在一些实施例中，所述评估维度还包括：良恶性、结节性质和浸润性；所述基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数，包括：

将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型，得到所述待分析肺结节的良恶性分类结果；所述待分析肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定；

将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型，得到所述待分析肺结节的结节性质分类结果；

在所述良恶性分类结果表征所述待分析肺结节属于恶性的情况下，将所述待分析肺结节所在的图像块输入至训练后的病理分类模型，得到所述待分析肺结节的浸润性分类结果。

在一些实施例中，所述从所述CT图像中分割出肺部区域图像，包括：

基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值，对所述CT图像进行阈值分割，得到分割后的图像；

基于形态学运算对分割后的图像进行调整，得到所述肺部区域的掩码图像；

基于所述肺部区域的掩码图像，生成所述肺部区域的检测框；

利用预设的扩张参数，对所述肺部区域的检测框进行扩张处理，得到扩张后的肺部区域的检测框；

利用扩张后的肺部区域的检测框对所述CT图像进行分割，得到所述肺部区域图像。

在一些实施例中，所述肺结节跟踪与变化趋势预测方法还包括以下至少之一：

在所述CT图像对应的像素空间大小与预设像素空间大小不同的情况下，对所述肺部区域图像进行重采样，重采样后的肺部区域图像的像素空间大小为所述预设像素空间大小；

基于预设的截断范围，对所述肺部区域图像进行截断处理，截断处理后的肺部区域图像中每一像素点的值位于所述截断范围内；

对所述肺部区域图像进行归一化处理。

在一些实施例中，所述肺结节跟踪与变化趋势预测方法还包括：

基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割，得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像；

分别利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像，重建所述肺叶的三维重建模型、所述气管的三维重建模型和所述肺部动静脉的三维重建模型。

在一些实施例中，管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合，公式如下：

；

其中，所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型，为 Dice损失，为交叉熵损失，为中心线损失，为输出的管状器官 的掩码图像，为标注的管状器官的掩码图像，为管状器官的中心线掩码图像。

第二方面，本申请提供肺结节跟踪与变化趋势预测系统，所述肺结节跟踪与变化趋势预测系统包括：

获取模块，用于获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像；

检测模块，用于对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据；所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性；

配准模块，用于对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节；

生成模块，用于基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据。

第三方面，本申请提供一种肺结节跟踪与变化趋势预测装置，其包含本申请第二方面所述的肺结节跟踪与变化趋势预测系统。

第四方面，本申请提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。

第五方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。

本申请中，通过获取两个计算机断层扫描CT图像并分割出肺部区域图像，可以更准确地检测并定位肺结节；同时，通过检测肺结节的肺结节属性，可以为医生提供更全面的参考数据，有助于更准确地判断病情；另外，通过对同一待分析对象的两个CT图像进行对比分析，以观察肺结节的变化趋势；上述通过对两个CT图像进行检测、配准跟踪、以及对比分析，生成肺结节的变化趋势数据，提高对肺结节变化趋势数据的预测准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请提供的一种肺结节跟踪与变化趋势预测方法的实现流程示意图；

图2为本申请提供的一种对两个肺部区域图像中的肺结节的配准方法的实现流程示意图；

图3为本申请提供的一种对两个肺部区域图像中肺结节的检测方法的实现流程示意图；

图4为本申请提供的一种待分析肺结节的变化趋势数据的预测方法的实现流程示意图；

图5为本申请提供的一种肺部区域图像的分割方法的实现流程示意图；

图6为本申请提供的一种三维重建模型方法的实现流程示意图；

图7为本申请提供的一种肺结节变化趋势预测方法及三维重建方法的流程示意图；

图8为本申请提供的一种肺结节跟踪与变化趋势预测系统的组成结构示意图；

图9为本申请提供的一种计算机设备的硬件实体示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。

本申请实施例提供一种肺结节跟踪与变化趋势预测方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备（例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备）等具备数据处理能力的设备。

图1为本申请实施例提供的一种肺结节跟踪与变化趋势预测方法的实现流程示意图，如图1所示，该方法包括如下步骤S101至步骤S104：

步骤S101、获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像。

在一些实施例中，上述待分析对象的两个CT图像为，在不同时间点对该待分析对象进行CT扫描得到的CT图像。

其中，CT图像是计算机的重建图像，是经数字转换的重建模拟图像，由一定数目从黑到白不同灰度的像素按固有矩阵排列而成，一般情况下，CT图像可以为三维图像。这些像素的灰度反映的是相应体素的X线吸收系数。如同X线图像，CT图像亦是用灰度反映器官和组织对X线的吸收程度。其中黑影表示低吸收区，即低密度区，如含气的肺组织；灰影表示中等吸收区，即中等密度区，如软组织的肌肉或脏器；白影表示高吸收区，即高密度区，如含钙量高的骨组织。

在一些实施例中，可以通过阈值分割技术从CT图像中分割出肺部区域图像。其中，通过选择一个合适的阈值，将CT图像中每一个像素点的像素值与该阈值进行比较，从而将像素分为两个或多个类别。在CT图像中，肺部与周围组织在像素强度上通常有明显的差异。因此，可以选择一个阈值，使得肺部区域的像素值高于该阈值，而其他区域的像素值低于该阈值。这样，就可以将肺部区域图像从原始的CT图像中分割出来。

在另一些实施例中，可以通过区域增长技术从CT图像中分割出肺部区域图像。该区域增长技术是一种基于区域的方法，它从一个或多个种子点开始，将与种子点相似或相邻的像素合并到同一个区域中。在CT图像中，可以通过选择一个或多个种子点（例如，肺部的某个明显特征点），然后使用区域增长方法将与种子点相似或相邻的像素合并到肺部区域中，进而将肺部区域图像从原始的CT图像中分割出来。

可以理解的是，与该CT图像的图像格式相同，该肺部区域图像也是三维图像。

步骤S102、对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据；所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性。

在一些实施例中，上述肺结节属性包括肺结节的掩码图像，肺结节中心点和肺结节直径；在一些实施例中，上述肺结节属性还包括以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺等信息。

其中，掩码图像是一种特殊的图像表示方法，肺结节区域的掩码图像会被标记为特定的值（例如黑色或1），而其他区域则被标记为另一种值（例如白色或0）；通过肺结节区域的掩码图像，可以直观地看到肺结节在图像中的位置和形状。肺结节中心点是肺结节的核心位置；肺结节直径是肺结节的尺寸指标。

在一些实施例中，可以通过以下方法对两个肺部区域图像进行肺结节检测，得到上述肺结节数据：对两个肺部区域图像进行预处理，包括去除噪声、增强对比度、去背景等操作；利用机器学习或深度学习算法，如肺结节检测模型、肺结节分割等，将图像中的肺结节与其他区域进行分割，得到肺结节的掩码图像；对于分割出的肺结节的掩码图像，提取其特征，如大小、形状、密度等。

步骤S103、对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节。

在本申请实施例中，在肺结节检测中配准的目的是确保两个肺部区域图像中的肺结节在相同的空间坐标系统中，这样就可以准确地比较和分析它们的位置、大小、形状等属性。也就是说，针对同时存在于两个肺部区域图像的待分析肺结节，步骤S102实现了该待分析肺结节的定位，步骤S103实现了对该待分析肺结节的跟踪。

在一些实施例中，可以通过特征匹配的方法对两个肺部区域图像中的肺结节进行配准，包括：是通过提取出两个肺部区域图像中的肺结节的特征，如边缘、纹理、形状等，利用这些特征进行匹配，找到相同或相似的特征点；根据匹配的特征点，应用一个变换模型（如仿射变换、透视变换等），将一个肺部区域图像中的肺结节对齐到另一个肺部区域图像中；通过优化算法，如梯度下降法、迭代最近点法等，不断调整变换参数，使两个肺部区域图像中的肺结节达到最佳的对齐效果，进而实现了对该待分析肺结节的跟踪。

在另一些实施例中，还可以通过构建归一化互信息代价函数，通过优化该归一化互信息代价函数确定所述两个肺部区域图像之间的配准参数。

在本申请实施例中，经过配准后，可以对实现对同时存在于两个肺部区域图像的肺结节的跟踪，进而得到同时处于两个肺部区域图像中的待分析肺结节。这些肺结节的位置、大小、形状等属性已经对齐，可以方便步骤S104进行后续的分析和比较。

步骤S104、基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据。

在本申请实施例中，通过对两个肺部区域图像中的待分析肺结节的肺结节属性进行比较。肺结节属性可以包括大小、体积、密度、实性占比、空泡征、分叶、毛刺等。通过比较这些肺结节属性，可以初步判断待分析肺结节在两个图像之间的变化情况。

在一些实施例中，这两个肺部区域图像是在不同的时间点获取的，可以进一步利用时间序列分析的方法。通过分析这些肺结节属性在时间上的变化，可以生成待分析肺结节的变化趋势数据图。示例性地，对于某些肺结节属性，如大小、体积等，可以使用数学模型进行拟合其变化趋势数据曲线。这样，可以更准确地评估待分析肺结节的变化情况。

本申请实施例中，通过获取两个计算机断层扫描CT图像并分割出肺部区域图像，可以更准确地检测并定位肺结节；同时，通过检测肺结节的肺结节属性，可以提供更全面的参考数据，有助于更准确地确定肺结节的结节状态；另外，通过对同一待分析对象的两个CT图像进行对比分析，以观察肺结节的变化趋势；上述方案，通过对两个CT图像进行检测、配准跟踪、以及对比分析，生成肺结节的变化趋势数据，提高对肺结节变化趋势数据的预测准确性。

图2是本申请实施例提供的一种对两个肺部区域图像中的肺结节的配准方法的实现流程示意图，该方法可以由计算机设备的处理器执行。基于图1，所述肺结节属性包括所述肺结节的掩码图像；图1中的S103可以更新为S201至S202，将结合图2示出的步骤进行说明。

步骤S201、通过最大化所述两个肺部区域图像之间的归一化互信息代价函数，确定所述两个肺部区域图像之间的配准参数。

其中，所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。

在一些实施例中，上述归一化互信息代价函数如公式（1）所示：

公式（1）；

其中为两个肺部区域图像之间的联合熵，其中分别为两个 肺部区域图像的信息熵。配准优化代价函数是归一化互信息（Normalized Mutual Information，NMI）。这个公式的基本思想是衡量两个图像之间的互信息，并归一化以消除 它们大小的影响。旨在找到两个图像之间的最佳对齐，使得它们之间的相似性最大化。

步骤S202、基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比，将满足预设要求的肺结节确定为所述待分析肺结节。

其中，交并比（Intersection over Union，IoU）用于评估图像分割或目标检测任务性能的度量方法。在本申请实施例中，该肺结节的掩码图像的交并比用于评估两个肺部区域图像之间的肺结节掩码图像的重叠程度。

在一些实施例中，通过配准后的两个肺部区域图像和各个肺结节对应的掩码图像，计算两个肺部区域图像之间每两个肺结节的掩码图像的交并比；之后，通过设定一个交并比的阈值，只有当两个肺结节的掩码图像的交并比大于这个阈值时，才将其确定为待分析肺结节。基于上述步骤得到的待分析肺结节是在两个肺部区域图像中都存在的、且具有足够重叠的肺结节，如此可以实现对同时存在的肺结节的跟踪。

本申请实施例中，通过优化归一化互信息代价函数、以及计算交并比，能够跟踪同时存在于两个CT图像中的肺结节，进而从检测到的肺结节中准确地确定出待分析肺结节，为后续的医学分析提供可靠依据。

图3是本申请实施例提供的一种对两个肺部区域图像中肺结节的检测方法的实现流程示意图，该方法可以由计算机设备的处理器执行。基于图1，所述肺结节属性包括所述肺结节的检测框和掩码图像；图1中的S102可以更新为S301至S303，将结合图3示出的步骤进行说明。

步骤S301、将所述肺部区域图像输入至训练后的肺结节检测模型，得到对应的肺结节检测特征图。

在一些实施例中，在肺结节检测模型可以输出该肺部区域图像对应的肺结节检测特征图，其中，该肺结节检测特征图包括多个特征点，和每一特征点对应的检测特征数据；由于该肺结节检测模型可以对肺部区域图像进行下采样，因此，肺结节检测特征图中每一个特征点，在肺部区域图像的相应位置处对应一个图像块，该图像块的尺寸与下采样的倍数相关。示例性地，在下采样倍数为4的情况下，一个图像块可以对应原始肺部区域图像中64个像素点。该特征点对应的特征检测数据包括该特征点的位置、该特征点属于肺结节的概率，肺结节的直径以及该特征点距离肺结节中心的偏移。

在一些实施例中，上述肺结节检测模型的训练过程可以包括：

步骤S3011、获取肺结节检测模型对应的样本数据集。

其中，所述样本数据集包括肺部区域的样本图像和对应的肺结节标注。

在一些实施例中，可以从数据库中获取大量历史CT图像，并对CT图像进行脱敏，保证了数据的安全性与隐私性；对CT图像添加肺结节标注，并对CT图像进行数据预处理（具体实施过程可以参照后续实施例），得到该肺部区域的样本图像和对应的肺结节标注。示例性地，上述CT图像理解为多层的二维图像，相应地，上述添加肺结节标注的过程，实际上是在每一层二维图像中对属于肺结节的像素点添加标注的过程。为了体现与CT图像中其他对象的区别，示例性地，该肺结节标注可以设置为“0”。

步骤S3012、基于预设比例对肺结节检测模型对应的样本数据集划分为训练集和测试集。

其中，可以上述训练集与测试集之间预设比例可以设置为4:1。

步骤S3013、利用训练集对初始的肺结节检测模型进行训练，得到待测试的肺结节检测模型。

步骤S3014、利用测试集对待测试的肺结节检测模型进行测试，在满足预设要求的情况下，将所述待测试的肺结节检测模型作为训练后的肺结节检测模型。

在一些实施例中，上述肺结节检测模型的输入数据的格式为[128，128，128]，输出数据的格式为[32，32，32，5]（该肺结节检测模型对输入数据下采样4倍）。其中，该输入数据表示肺部区域的样本图像中尺寸为128×128×128的图像块，该输出数据表示为该图像块对应的尺寸为32×32×32×5的特征图像，前三个维度为特征点的坐标，特征图像（输出数据）中的一个特征点对应原图像64个像素点，该输出数据的第四个维度的五个值分别为[p，z，y，x，d]，p表示该特征点是肺结节的概率，z，y，x表示该特征点在空间三个方向相对肺结节中心的偏移，d表示肺结节的直径。

在肺结节检测模型的训练过程中，其损失函数选取的是focal损失。该损失函数在肺结节检测模型中对于正负样本不均的情况有很好的效果，可以表示为公式（2）；

公式（2）；

其中y∈(-1，1)表示正负样本的标注，表示模型预测y=1的概率，α为平衡因子， γ为调制系数。

步骤S302、基于所述肺结节特征图中每一所述特征点对应的检测特征数据，确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径；所述肺结节的检测框由所述肺结节中心点和肺结节直径确定。

在一些实施例中，可以以每一特征点属于肺结节的概率作为权重，利用每一特征点的位置和特征点距离肺结节中心的偏移，拟合肺部区域图像中存在的肺结节的肺结节中心点；还可以利用该每一特征点属于肺结节的概率作为权重，每一特征点对应的肺结节直径，拟合肺部区域图像中存在的肺结节的肺结节直径。

在一些实施例中，在得到该肺结节的肺结节中心点和肺结节直径之后，可以生成该肺结节的检测框。

步骤S303、基于所述肺结节中心点和预设截取范围，在所述肺部区域图像中截取所述肺结节所在的图像块，并将所述肺结节所在的图像块输入至训练后的肺结节分割模型，得到所述肺结节的掩码图像。

在一些实施例中，该预设截取范围可以设置N个像素点，以该肺结节中心点对应的坐标（X，Y，Z）为（40，50，60）为例，上述在所述肺部区域图像中截取所述肺结节所在的图像块，实际上是截取X位于40-N至40+N之间、Y位于50-N至50+N之间、Z位于60-N至60+N之间的正方形图像块。

可以理解的是，上述肺结节分割模型的训练过程与上述肺结节检测模型的训练过程类似，使用的是相同的样本数据集，但是，肺结节分割模型的输入数据为肺结节中心点所在的正方形图像块，而肺结节检测模型的输入数据为肺部区域图像。该肺结节分割模型的输出数据为[64，64，64，2]，其中，输出数据的前三个维度的值为与肺结节中心点所在的正方形图像块对应的坐标，输出数据的第四个维度的两个值分别为[1-p，p]，p表示该坐标的像素点是肺结节的概率。

在肺结节分割模型的训练过程中，其损失函数选取的是Dice 损失和交叉熵损失。该损失函数可以表示为公式（3）；

公式（3）；

其中，为Dice损失，为交叉熵损失，为输出的肺结节的掩码 图像，为标注的肺结节的掩码图像。

本申请实施例中，能够准确检测出肺部区域图像中的肺结节，并确定其中心点和直径，同时能够精确截取肺结节所在的图像块，并得到肺结节的掩码图像，为后续的肺结节分析提供了准确的数据基础。此外，该方法采用了训练后的肺结节检测模型和肺结节分割模型，提高了检测的准确性和效率。

图4是本申请实施例提供的一种待分析肺结节的变化趋势数据的预测方法的实现流程示意图，该方法可以由计算机设备的处理器执行。基于图1，图1中的S104可以更新为S401至S402，将结合图4示出的步骤进行说明。

步骤S401、针对每一所述肺部区域图像，基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数。

步骤S402、针对每一所述评估维度，基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化趋势数据。

其中，所述评估维度包括以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺。

针对大小维度，可以基于所述待分析肺结节对应的掩码图像，计算该待分析肺结节的最小外接矩形，将所述最小外接矩形的长边作为所述待分析肺结节的大小（直径）。

针对体积维度，可以基于所述待分析肺结节对应的掩码图像，统计所述待分析肺结节对应的像素个数，将像素个数与单个像素的体积的乘积作为所述待分析肺结节的体积。其中，单个像素的体积为三个方向spacing的乘积，spacing为图像中每个像素在物理空间中的实际大小，通常以毫米为单位表示。

针对密度维度，通过所述待分析肺结节对应的掩码图像，统计该掩码图像中各个像素的HU值，将HU值的平均值作为所述待分析肺结节的密度。

针对实性占比维度，对于结节性质为混合磨玻璃结节的待分析肺结节，对其进行二次分割，分割出实性成分和磨玻璃成分，计算出实性成分的直径（d1），将实性成分的直径（d1）与待分析肺结节的直径（d）的比值（d1/d）作为实性占比。

针对空泡征维度，对所述待分析肺结节对应的掩码图像进行阈值分割，阈值同样为-400，若存在小于-400的连通域则存在空泡征。

针对分叶维度，在上述对所述待分析肺结节对应的掩码图像进行阈值分割的基础上，统计所述待分析肺结节的连通域，若存在2个以上连通域则所述待分析肺结节存在分叶。

针对毛刺维度，通过计算所述待分析肺结节对应的掩码图像的边界曲率变化，在边界曲率变化超过预设变化阈值的情况下，则所述待分析肺结节存在毛刺。

在一些实施例中，上述生成所述待分析肺结节在所述评估维度下的变化趋势数据，实际上可以生成所述待分析肺结节在所述评估维度下的变化率，基于该变化率、最新的CT图像中待分析肺结节在所述评估维度下的肺结节参数和预测时间点，可以得到该待分析肺结节在所述评估维度下的预测时间点时的肺结节参数。

示例性地，以评估维度为体积维度为例，已知最新的CT图像对应的检测时间是t1，预测时间点是t2，可以得到变化时间为t=t2-t1，结合该变化时间t、t1处待分析肺结节的体积为V和变化率k，即可以得到t2处待分析肺结节的体积Vt，如公式（4）。

公式（4）；

其中，为从t1开始，到t2时刻肺结节的体积，为t1时刻的体积，k为相对生长 率。

可以理解的是，基于与上述体积预测相同的算法，本申请实施例还可以对大小、密度、实性占比等维度进行预测，在此不再详细说明。

其中，上述待分析肺结节在所述评估维度下的变化率可以基于所述评估维度对应的变化率预测模型得到。该变化率预测模型的输入为所述待分析肺结节的中心所在的图像块，输出为该待分析肺结节的变化率k。

这里的待分析肺结节的中心所在的图像块，可以是两个CT图像中任意CT图像中待分析肺结节的中心所在的图像块。一般来说，为了提高预测的准确度，可以采用两个CT图像中最新的CT图像中待分析肺结节的中心所在的图像块。

以下是以评估维度为体积维度为例，对变化率预测模型的训练过程进行说明，基于与体积预测相同的训练过程，本申请实施例还可以对大小、密度、实性占比等维度的变化率预测模型进行训练，在此不再详细说明。

在一些实施例中，可以采用基于深度学习的回归模型预测肺结节的相对生长率， 特征提取网络采用的ResNet网络结构，输入为以待分析肺结节为中心截取的[64, 64, 64] 的图像，输出为预测的待分析肺结节相对生长率。

训练损失函数为均方差损失，如公式（5）：

公式（5）；

其中训练时k可以从相邻的两次CT图像中计算出，具体如下：

通过前面所述肺结节跟踪与变化趋势预测方法跟踪匹配两次检查中同一肺结节， 即待分析肺结节，根据上述方法分别计算两次检查中待分析肺结节的体积V和，根据公式 （6）解得：

公式（6）；

通过上述公式（6），可以对训练过程中每一个训练样本（即一个待分析肺结节的中心所在的图像块）添加标注（变化率k），利用大量添加标注的训练样本（即，添加变化率k标记的待分析肺结节的中心所在的图像块）对变化率预测模型进行训练，以得到训练后的变化率预测模型。

基于上述方法训练得到的变化率预测模型，可以基于CT图像对应的所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化率。

本申请实施例中，能够全面、准确地评估每一枚待分析肺结节在多种评估维度上的参数及其变化趋势数据，包括大小、体积、密度、实性占比、空泡征、分叶、毛刺等。这些评估维度可以全面反映肺结节的特征和性质。此外，该方法还可以对同一肺结节在不同时间点的CT图像进行分析，从而评估其随时间的变化趋势数据，有助于确定肺结节的良恶性等肺结节状态。

在一些实施例中，所述评估维度还包括：良恶性、结节性质和浸润性；所述基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数，包括：

将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型，得到所述待分析肺结节的良恶性分类结果；

将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型，得到所述待分析肺结节的结节性质分类结果；

在所述良恶性分类结果表征所述待分析肺结节属于恶性的情况下，将所述待分析肺结节所在的图像块输入至训练后的病理分类模型，得到所述待分析肺结节的浸润性分类结果。

其中，待分析肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定；示例性地，可以基于该待分析肺结节对应的掩码图像构建外接矩形块，在对该外接矩形块进行膨胀处理，得到满足预设尺寸要求的待分析肺结节所在的图像块。在另一些实施例中，还可以直接以该待分析肺结节的肺结节中心点作为图像块的中心点，生成满足预设尺寸要求的待分析肺结节所在的图像块。

在一些实施例中，上述良恶性分类模型、结节性质分类模型和病理分类模型的训练过程相似，均是使用的标注后的肺结节的掩码图像作为训练数据进行模型训练，不同的是，良恶性分类模型使用的训练数据的标注为良性、恶性两类，分别用{0，1}标注，其中0代表良性，1代表恶性；病理分类模型使用的训练数据的标注为原位癌、微浸润、浸润三类，分别用{0，1，2}标注；结节性质分类模型使用的训练数据的标注为实性结节、钙化结节、胸膜结节、纯磨玻璃结节以及混合磨玻璃结节五类，分别用{0，1，2，3，4，5}标注。

在一些实施例中，上述结节性质分类模型输入为截取待分析肺结节所在的图像块，示例性地，可以设置为尺寸为[64，64，64]的图像块，输出数据表示为[p1，p2，p3，p4，p5]，分别代表是实性结节、纯磨玻璃结节、钙化结节、胸膜结节、混合磨玻璃结节五个类别中每个类别的概率，预测结果取其中概率最大的类别。在肺结节性质分类模型的训练过程中，其损失函数选取的是公式（7）提供的交叉熵损失，公式如下：

在一些实施例中，上述病理分类模型输入为截取待分析肺结节所在的图像块，示例性地，可以设置为尺寸为[64，64，64]的图像块，输出数据表示为[p1，p2，p3]，分别代表是原位癌、微浸润与浸润共三个类别中每个类别的概率，预测结果取其中概率最大的类别。在病理分类模型的训练过程中，其损失函数选取的是公式（7）提供的交叉熵损失。

在一些实施例中，上述良恶性分类模型输入为截取待分析肺结节所在的图像块，示例性地，可以设置为尺寸为[64，64，64]的图像块，输出数据表示为[p1，p2]，分别代表是良性概率和恶性概率，预测结果取其中概率最大的类别。

本申请实施例中，通过结合多个评估维度和利用训练后的分类模型，能够更全面、准确地评估待分析肺结节的良恶性、结节性质以及浸润性。

图5是本申请实施例提供的一种肺部区域图像的分割方法的实现流程示意图，该方法可以由计算机设备的处理器执行。基于图1，图1中的S101中的从所述CT图像中分割出肺部区域图像，可以更新为S501至S505，将结合图5示出的步骤进行说明。

步骤S501、基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值，对所述CT图像进行阈值分割，得到分割后的图像。

在一些实施例中，上述阈值范围用于将CT图像分为两个部分：肺部区域和非肺部区域。示例性地，可以将像素值处于该阈值范围内的像素点确定为肺部区域，将不处于该阈值范围内的像素点确定为非肺部区域。将肺部区域设置为1，将非肺部区域设置为0，就可以得到该分割后的图像。

步骤S502、基于形态学运算对分割后的图像进行调整，得到所述肺部区域的掩码图像。

在一些实施例中，上述形态学运算可以包括膨胀和腐蚀等形态学操作，可以去除肺部区域中噪声、连接断裂的区域。经过形态学运算后，得到肺部区域的掩码图像。

步骤S503、基于所述肺部区域的掩码图像，生成所述肺部区域的检测框。

在一些实施例中，可以以肺部区域的掩码图像作为基础，生成一个包围整个肺部区域的检测框，该检测框用于后续步骤中精确定位肺部区域的位置和边界。

步骤S504、利用预设的扩张参数，对所述肺部区域的检测框进行扩张处理，得到扩张后的肺部区域的检测框。

其中，上述扩张处理用于扩大肺部区域的检测框的范围，使其包含更多的背景信息。示例性地，该扩张参数可以包括三个维度上扩张的像素数量，经过扩张处理后，得到一个扩张后的肺部区域的检测框。

步骤S505、利用扩张后的肺部区域的检测框对所述CT图像进行分割，得到所述肺部区域图像。

在一些实施例中，基于该扩张后的肺部区域的检测框对所述CT图像进行分割后，得到的所述肺部区域图像，不仅包括了完整的肺部区域图像，也适当的包括了少量的背景区域。这样，可以为后续对肺部区域图像的分析，提供更加完整的肺部影像信息。

本申请实施例中，通过阈值分割、形态学运算、掩码图像生成、检测框扩张处理以及分割处理等一系列步骤，能够准确地提取出CT图像中的肺部区域，并生成相应的肺部区域图像。这些步骤可以有效地去除背景噪声和其他干扰因素，提高肺部区域提取的准确性和效率。同时，该方法还可以根据不同的CT图像进行自适应调整，适应不同情况下的肺部区域提取需求。

在一些实施例中，所述肺结节跟踪与变化趋势预测方法还可以包括以下至少之一：

在所述CT图像对应的像素空间大小与预设像素空间大小不同的情况下，对所述肺部区域图像进行重采样，重采样后的肺部区域图像的像素空间大小为所述预设像素空间大小；

基于预设的截断范围，对所述肺部区域图像进行截断处理，截断处理后的肺部区域图像中每一像素点的值位于所述截断范围内；

对所述肺部区域图像进行归一化处理。

在一些实施例中，上述重采样的步骤是确保处理后的肺部区域图像具有一致的像素空间大小，即调整肺部区域图像的像素空间大小，使其与预设的像素空间大小相匹配。在处理CT图像时，不同的扫描设备或设置可能会导致图像的像素空间大小不同。例如，一个设备的像素可能占据更多的物理空间，而另一个设备的像素可能占据较少的物理空间。这种差异可能会影响图像的分辨率和细节。为了解决这个问题，当CT图像的像素空间大小与预设的像素空间大小不同时，需要对肺部区域图像进行重采样。重采样的过程会根据原始图像的像素空间大小和目标像素空间大小之间的关系，重新计算每个像素的位置和值。通过重采样，可以将肺部区域图像的像素空间大小调整为预设的像素空间大小。这样，无论原始图像的像素空间大小如何，经过重采样后，肺部区域图像将具有一致的、与预设相匹配的像素空间大小。

在一些实施例中，上述截断处理的步骤是减少外部信息对肺结节的分割干扰。在处理CT图像时，不同的组织在图像中具有不同的像素值，这些像素值也称为HU值（Hounsfield Unit）。为了准确分割肺结节并减少其他组织的干扰，需要对肺部区域图像的像素值进行截断处理。基于预设的截断范围，可以对肺部区域图像中的每个像素点进行截断。截断后的图像中，每个像素点的值都会被限制在预设的截断范围内。示例性地，可以设置截断的范围为[-1200,600]，此时，小于-1200的像素值均被设置为-1200，大于600的像素值均被设置为600。

在一些实施例中，上述归一化处理的步骤用于将肺部区域图像的数据范围调整到统一的标准，提高数据的可比性和分析的准确性。示例性地，可以采用公式（8）进行归一化处理。

公式（8）；

其中，为肺部区域图像中的每一个像素点的HU值，为该肺部区域图像中所 有像素点的HU最小值，为该肺部区域图像中所有像素点的HU最大值，为经过归一化 处理后的结果。

本申请实施例中，通过重采样、截断处理和归一化处理，能够进一步优化肺部区域图像的数据质量，使其更符合后续分析的要求。重采样可以消除像素空间大小不同带来的误差，提高图像的精度；截断处理可以去除肺部区域图像中超出预设范围的数据，减少噪声和异常值的影响；归一化处理则可以将肺部区域图像的数据范围调整到统一的标准，提高数据的可比性和分析的准确性。这些步骤可以有效地提高肺部区域图像的数据质量，为后续步骤提供更准确、更可靠的数据支持。

图6是本申请实施例提供的一种三维重建模型方法的实现流程示意图，该方法可以由计算机设备的处理器执行。基于图1，所述肺结节跟踪与变化趋势预测方法还可以包括S601至S602，将结合图6示出的步骤进行说明。

步骤S601、基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割，得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像。

步骤S602、分别利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像，重建所述肺叶的三维重建模型、所述气管的三维重建模型和所述肺部动静脉的三维重建模型。

本申请实施例中，通过训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对肺部区域图像进行分割，并分别利用得到的掩码图像重建相应的三维重建模型，能够更精确地获取肺叶、气管和肺部动静脉的形态结构和空间位置信息，进而可以直观的展示肺叶、气管和肺部动静脉的三维形态，实现了肺部数据的可视化效果。

其中，管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合，如公式（9）所示：

公式（9）；

其中，所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型，为 Dice损失，为交叉熵损失，为中心线损失，为输出的管状器官的 掩码图像，为标注的管状器官的掩码图像，为管状器官的中心线掩码图像。上述中心 线掩码图像是在训练过程之前，通过相关技术中的消去法，从管状器官的掩码图像中获取 的。可以理解的是，上述气管、肺部动静脉均为管状器官。

本申请实施例中，通过使用Dice损失、交叉熵损失和中心线损失的线性组合作为管状器官分割模型的损失函数，能够更全面地评估模型的性能。Dice损失能够衡量模型预测的管状器官掩码图像与标注的管状器官掩码图像之间的相似度，交叉熵损失能够衡量模型预测的管状器官掩码图像中每个像素点的概率分布与真实分布之间的差异，中心线损失能够衡量模型预测的管状器官掩码图像与中心线掩码图像之间的差异。

下面说明本申请实施例提供的肺结节跟踪与变化趋势预测方法在实际场景中的应用。

传统的肺结节筛查与趋势预测方法通常依赖于医生的主观判断和经验，这种方式存在结果不一致、工作效率低下以及无法提前预测肺结节发展趋势的问题。因此，需要一种基于CT图像的人工智能算法，以提高筛查和趋势预测的准确性和效率。

本申请提出了一种基于全CT图像的人工智能算法，该算法无需病理等检查结果，仅通过分析CT图像，实现自动阅片、结节性质分类、良恶性判断、病理分型、三维重建、分析当前肺结节的变化以及预测肺结节发展趋势。

其中，基于CT影像的人工智能算法的肺结节筛查与跟踪方法是建立在深度学习和图像处理技术的基础之上，旨在实现高度自动化的肺结节分析。本申请中算法主要分为三类：目标检测、图像分割与图像分类，其中目标检测（肺结节检测模型）用于肺结节检测定位；图像分割（通过肺结节分割模型、肺叶分割模型、气管分割模型、肺部动静脉分割模型）用于肺结节分割以及三维重建中肺叶分割、气管分割、肺部动静脉；图像分类（通过良恶性分类模型、结节性质分类模型以及病理分类模型）用于肺结节良恶性判断、结节性质分析以及浸润性分析，共8个模型。

在一些实施例中，本申请提供的技术方案包括以下主要步骤：

步骤一、获取标注后的肺部区域图像。

其中，可以基于以下方法对原始CT图像进行标注以及数据预处理，得到标注后的肺部区域图像。

（1）数据采集：

可以对接医院的PACS系统，自动脱敏，保证了数据的安全性与隐私性。目标本申请实施例中采集的数据共有1426个对象的CT图像，包括2081个肺结节。

（2）数据标注：

首先，基于自研的标注平台，由三甲医院专家对医院中的胸部CT图像标注肺结节、肺叶、气管及肺部动静脉，也就是说，对CT图像中的肺结节、肺叶、气管和肺部动静脉进行标注，分别用{0，1，2，3}标注，得到分割标注。该分割标注用于在CT图像中对相应的检测对象进行分割。

然后，基于病理检查结果，标注以下三种：①肺结节的良恶性；分为良性、恶性两类，分别用{0，1}标注，其中0代表良性，1代表恶性；②如果肺结节是恶性，进一步浸润性，分为原位癌、微浸润、浸润三类，分别用{0，1，2}标注；③结节性质；主要分为实性结节、钙化结节、胸膜结节、纯磨玻璃结节以及混合磨玻璃结节五类，分别用{0，1，2，3，4，5}标注。

需要说明的是，上述标注实际上是对CT图像中的每一个点（三维空间的一个像素点）的标记，因此，必然携带了位置信息。

（3）数据预处理：

a. 数据读取。完整的序列作为模型输入，并将输入维度从三维提高到四维。图像原始维度为(z，y，x) 提高到(1，z，y，x) 提前满足网络对数据的要求，加快网络训练速度。这里的“1”维度为通道维度，仅是数据格式上的设置；相当于传统rgb图像中的通道维度，只不过传统rgb图像的通道维度设置为“3”。也就是说，通道维度上的数值，表示三维空间中的一个点处有多少个值。

b. 图像裁切。用阈值分割与形态学运算方法分割出肺部组织，得到肺部区域的mask，并根据分割出的肺部区域mask到肺部区域的Bounding Box，并将该Bounding Box在z，y，x轴上分别向外扩张5，5，5个像素。按照扩张后的Bounding Box裁剪原图，得到所需的裁剪后的图像。

其中，阈值分割用于基于图像的灰度值或强度值来区分不同的组织或结构。对于肺部CT图像，可以选择一个或多个阈值，将肺部组织与周围的背景或其他组织区分开。通常，肺部组织的CT值（或HU值）位于特定的范围内；通过将图像中每个像素的值与选定的阈值进行比较，可以将像素划分为“肺部”或“非肺部”。

形态学运算如腐蚀和膨胀，可以用于进一步处理阈值分割后的图像。例如，通过腐蚀操作可以去除小的噪声点，而膨胀操作则可以填补肺部内的小空洞或连接邻近的肺部区域。结合这两种操作，可以得到一个更平滑、更准确的肺部区域mask。

在结合阈值分割和形态学处理后，可以得到一个二进制的mask图像，其中肺部区域被标记为1（白色），而背景和其他区域被标记为0（黑色）。通过mask图像中的标记值，可以确定肺部区域在三维空间中的边界，即得到肺部区域的Bounding Box。（可以通过找到mask中所有值为1的像素的最小和最大x、y、z坐标来实现）。

为了保证裁剪后的图像包含完整的肺部区域，并且有一些额外的背景信息，可以在每个维度上（x、y、z轴）向外扩展Bounding Box。示例性地，将该Bounding Box在z，y，x轴上分别向外扩张5，5，5个像素。

最后，用扩展后的Bounding Box裁剪原始CT图像，得到裁剪后的图像。

c. 重采样。由于医院不同的设置，CT图像spacing不同。为了分割准确性，采用重采样的方法，将不同的 spacing 归一化为相同的spacing。本算法中，spacing 为[1，1，1]。

Spacing：图像中每个像素在物理空间中的实际大小，通常以毫米为单位表示。由于不同的医院或扫描设备可能使用不同的设置，因此CT图像的spacing可能会有所不同。CT图像的spacing不同，意味着相同数量的像素或像素在不同的图像中可能代表不同的物理空间大小。例如，一个图像的spacing为[2，2，2]意味着每个像素在x、y和z方向上分别代表2mm的实际空间。而另一个图像的spacing为[1，1，2]则表示在x和y方向上每个像素代表1mm，而在z方向上代表2mm。

重采样：为了确保不同来源的CT图像在处理时具有一致性，通常需要对图像进行重采样。重采样的目的是将图像的spacing归一化到一个统一的值。示例性地，可以统一到[1，1，1]，然后根据原始图像的spacing和目标spacing之间的关系，对图像进行重新采样。

d. HU值范围截断。由于不同组织的HU值存在显著差异，为了减少外部信息对肺结节的分割干扰，需要根据窗宽、窗位对肺部CT数据的HU值范围截断。本算法中，截断的范围采用[-1200，600]。

HU值：或称亨氏单位，是用于表示CT图像中组织密度的度量单位。不同的组织在CT扫描中会有不同的HU值范围，这些值反映了X射线穿过组织时的衰减程度。

窗宽(WW:windowwidth):CT图像所显示的CT值范围。

窗位(WL:windowlevel):窗宽范围内均值或中心值。

上述基于截断的范围[-1200，600]进行截断的过程为，对于HU值小于-1200的，设置为-1200；对于HU值大于600的，设置为600。

e. 数据归一化。对HU值截断后的图像进行归一化处理，具体公式如公式：（8）；

在上述实施例中，采集的CT数据经过数据标注和数据预处理这两个步骤，可以得到标注后的肺部区域图像。

步骤二、利用标注后的肺部区域图像进行模型训练，得到肺结节检测模型与肺结节分割模型。

在一些实施例中，上述标注后的肺部区域图像构成了后续用于模型训练的样本数据集，按照4：1的比例将该样本数据集划分为训练集和测试集，利用训练集对各个模型进行训练过程，并利用测试集对得到的模型进行测试，以得到训练后的模型。

可以理解的是，由于不同功能的模型的功能不同，输出的数据存在差异，因此，本申请为不同模型设置不同类型的特征提取网络，以便于提取相应信息的数据特征。示例性地，本申请涉及的目标检测模型、图像分割模型和图像分类模型使用的是不同的特征提取网络，目标检测模型使用的特征提取网络是Faster RCNN，图像分割模型使用3D-Unet，图像分类模型使用ResNet。

在一些实施例中，上述肺结节检测模型和肺结节分割模型，其用到的标注均为上述肺结节对应的分割标注，即肺部区域图像中每一个像素点是否为肺结节中的点。

针对该肺结节检测模型，其输入数据的格式为[128，128，128]，输出数据的格式为[32，32，32，5]（该肺结节检测模型对原数据下采样4倍），其中，该输出数据的前三个维度为特征点的坐标，特征图像（输出数据）上一个点对应原图像64个点，该输出数据的第四个维度的五个值分别为[p，z，y，x，d]，p表示该特征点是肺结节的概率，z，y，x表示该特征点在空间三个方向相对肺结节中心的偏移，d表示肺结节的直径。

在肺结节检测模型的训练过程中，其损失函数选取的是focal损失。该损失函数在检测模型中对于正负样本不均的情况有很好的效果，可以表示为公式（2）；

其中，可以基于公式（2）提供的损失函数，利用标注后的肺部区域图像对FasterRCNN检测网络进行训练，得到肺结节检测模型。

针对肺结节分割模型，其输入数据为截取肺结节周围[64，64，64]的图像块，输出数据为[64，64，64，2]，前三个维度表示与原图对应的像素点，最后一个维度为[1-p，p]，其中p是该像素点是肺结节的概率。

在肺结节分割模型的训练过程中，其损失函数选取的是Dice损失和交叉熵(CE)损失的线性组合，可以表示为公式（3）；

其中，可以基于公式（3）提供的损失函数，利用标注后的肺部区域图像对3D-Unet分割网络进行训练，肺结节分割模型。

其中，肺结节检测模型可以获取肺结节的位置；肺结节分割模型可以获取肺结节的大小、体积、密度、实性占比、空泡征、分叶、毛刺等信息。

步骤三、基于ResNet网络提取肺结节的图像特征，并基于该肺结节的图像特征进行模型训练，得到良恶性分类模型。

针对良恶性分类模型，其输入数据为截取肺结节周围[64，64，64]的图像块，输出数据表示为[p1，p2]，分别代表是良性概率和恶性概率，预测结果取其中概率最大的类别。

在良恶性分类模型的训练过程中，其损失函数选取的是交叉熵损失，可以表示为公式（7）；

其中，该良恶性分类模型可以用于对肺结节良恶性进行判断，确定该肺结节为良性还是恶性。

步骤四、基于肺结节的图像模型进行模型训练，得到肺结节性质分类模型和病理分类模型。

针对肺结节性质分类模型，其输入数据为截取肺结节周围[64，64，64]的图像块，输出数据表示为[p1，p2，p3，p4，p5]，分别代表是实性结节、纯磨玻璃结节、钙化结节、胸膜结节、混合磨玻璃结节五个类别中每个类别的概率，预测结果取其中概率最大的类别。在肺结节性质分类模型的训练过程中，其损失函数选取的是公式（7）提供的交叉熵损失。

针对病理分类模型，其输入数据为截取肺结节周围[64，64，64]的图像块，输出数据表示为[p1，p2，p3]，分别代表是原位癌、微浸润与浸润共三个类别中每个类别的概率，预测结果取其中概率最大的类别。在病理分类模型的训练过程中，其损失函数选取的是公式（7）提供的交叉熵损失。

步骤五、利用训练后的肺结节检测模型对待分析对象的至少两次CT图像进行肺结节检测，得到两次CT图像的肺结节数据，并对两次CT图像的肺结节数据进行配准，得到存在匹配关系的肺结节；利用肺结节分割模型对两次CT图像中存在匹配关系的肺结节进行分割处理，基于分割结果确定两次CT图像的中该肺结节的肺结节信息（对应上述实施例中的肺结节属性），通过比对两次CT图像的中该肺结节的肺结节信息，预测该肺结节的变化趋势数据。

其中，上述肺结节信息包括但不限于是以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺等信息。相应地，上述肺结节的变化趋势数据可以包括以下至少之一：肺结节的倍增时间、生长速度等变化趋势数据。

在本申请实施例中，实际上是利用时间序列数据或多次扫描的图像来预测肺结节的发展趋势。通过比较不同时间点的图像，进而识别肺结节的生长速度和变化。

在一些实施例中，上述对两次CT图像的肺结节数据进行配准包括：先分别获取同一对象两次不同时间的胸部CT图像的肺部区域mask。将原图像mask区域以外的像素全部置零，得到两个只包含肺部区域的肺部区域图像，对两个肺部区域图像进行配准。配准的优化代价函数为归一化互信息，如公式（1）。

计算配准后的两个图像中的肺结节mask的IOU，根据IOU的结果匹配两次检查中的同一肺结节。

分析两次检查中同一肺结节的位置、大小、体积、密度、实性占比、空泡征、分叶、毛刺等特征的变化趋势数据，进而预测肺结节的未来变化趋势数据。

步骤六、基于训练好的器官分割模型，对最新一次的CT图像进行分割处理，得到肺部器官的三维重建模型。

其中，该肺部器官可以包括以下至少之一：气管、动静脉、肺叶等。示例性地，可以得到气管的三维重建模型、动静脉的三维重建模型和肺叶的三维重建模型，基于上述模型，可以更加直观的展示肺部器官的三维形态。

在一些实施例中，上述气管分割模型使用的标注数据与上述肺结节分割模型类似，即肺部区域图像中每一个像素点是否为气管中的点；类似的，动静脉分割模型使用的标注数据为肺部区域图像中每一个像素点是否为动静脉中的点；肺叶分割模型使用的标注数据为肺部区域图像中每一个像素点是否为肺叶中的点。

其中，肺叶分割模型采用的损失函数同肺结节分割模型采用Dice损失和交叉熵损失一样。

其中，气管分割模型与动静脉分割模型采用的损失函数为用Dice 损失和交叉熵损失与中心线损失的线性组合，如公式（9）。

气管与肺动静脉分割输入图像大小为从肺部区域随机裁剪的大小为[160，128，128]的图像块，输出为[160，128，128，4]，前三个维度表示与原图对应的坐标，最后一个维度的4个值分别表示该点是背景的概率，动脉的概率，静脉的概率，气管的概率，预测时取概率最大的类别。

肺叶分割输入同上，输出为[160，128，128，6]，分别表示该点是每个类别的概率，分别为[背景，左肺上叶，左肺下叶，右肺上叶，右肺中叶，右肺下叶]。

请参阅图7，其示出了一种肺结节变化趋势预测方法及三维重建方法的流程示意图。

步骤S701、输入前后两次检查的CT图像。

其中，需要获取第一次检查CT图像711和第二次检查CT图像712。

步骤S702、对两次检查CT图像分别计算肺结节信息。

其中，上述步骤S702包括：S7021、输入原始CT图像；S7022、分割并截取肺部区域；S7023、预测肺结节的包围框并截取肺结节区域；S7024、分割肺结节的掩码图像；S7025、计算并统计肺结节信息。

其中，针对每一个CT图像，可以先基于阈值分割与形态学运算方法对该CT图像进行处理，分割并截取出肺部区域；之后，将该肺部区域输入至肺结节检测模型，得到肺结节的检测框，利用该肺结节的检测框截取肺结节区域；之后，将该肺结节区域输入至肺结节分割模型，得到肺结节的mask；基于该肺结节的mask计算并统计各个肺结节的肺结节信息。肺结节信息包括但不限于是以下至少之一：密度类型、良恶性、浸润性、长短径、大小、体积、密度、实性占比、空泡征、分叶、毛刺等肺结节信息。

步骤S703、配准两次CT图像，统计同一肺结节的变化趋势数据。

其中，先对CT图像（包括第一次检查CT图像711和第二次检查CT图像712）进行分割并截取出肺部区域，之后，对得到的两个肺部区域进行图像配准，进而确定两次检查中匹配的肺结节。通过比对两次CT图像的中该肺结节的肺结节信息，统计同一肺结节的变化趋势并预测该肺结节的未来变化趋势数据。未来变化趋势数据包括但不限于以下至少之一：密度类型变化、良恶性分类变化、浸润性变化、长短经变化、密度变化、体积变化、实性占比变化、空泡征变化、毛刺变化等肺结节的变化趋势数据。

其中，上述步骤S703包括：S7031、统计同一肺结节的变化趋势并预测肺结节的未来变化趋势数据。

步骤S704、三维重建。

其中，上述步骤S704包括：S7041、肺叶、肺段、动静脉与气管分割；S7042、三维重建肺结节、肺叶、肺段、动静脉与气管。

其中，在基于上述同一肺结节的变化趋势数据，可以基于第二次检查CT图像712，对气管、动静脉、肺叶、肺段分别进行分割建模，得到气管的三维重建模型、动静脉的三维重建模型和肺叶的三维重建模型，进而可以提供更加全面的可视化数据。

本申请实施例提供的方法具备以下技术效果：

（1）市场上基于CT图像与人工智能结合的产品，大部分也只提供肺结节的筛查，重点放在提高医生阅片效率。但是肺结节变化分析以及肺结节的未来发展趋势预测并未覆盖。对于医生来讲仍然需要人工判断；本申请中针对上述问题，基于CT图像以及人工智能算法，自动分析结节性质，主要包括实性结节、纯磨玻璃结节、钙化结节、胸膜结节、混合磨玻璃结节等。

（2）肺结节的良恶性判断主要还是通过CT图像报告与病理报告结合NLP抽取，构建大数据机器学习模型；本申请实施例可以直接基于一张胸部CT图像，生成一个可以表征肺结节为良恶性的概率值。

（3）肺结节的趋势分析主要通过提取多次CT检查的报告记录，对比肺结节大小、性质以及是否多发等。本申请中的肺结节趋势分析算法不仅可以基于CT图像分析肺节点大小、位置、体积、密度、实性占比、空泡征、分叶、毛刺信息变化，还可以基于历史数据预测未来肺结节可能的变化。

上述实施例提供的肺结节跟踪与变化趋势预测方法结合了高分辨率CT（计算机断层扫描）图像和先进的人工智能算法，以实现肺结节的自动化筛查。与传统的手动检查相比，该方法不仅可以帮助医生自动阅片，提高工作效率，还可以自动分析肺结节的分类分型、良恶性、浸润性以及预测肺结节的趋势等如下关键特点：A、筛查自动化：系统能够自动标识CT图像中的肺结节，并提供医生参考，大大提高了筛查的效率。B、浸润性分析智能化：算法能够对肺结节进行分类分型，包括大小、形状、边缘特征等，并评估肺结节的良性或恶性程度。C、趋势分析：通过跟踪肺结节的生长趋势，系统还能够预测肺结节的发展，并提供重要的临床信息。

基于前述的实施例，本申请实施例提供一种肺结节跟踪与变化趋势预测系统，该装置包括所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器（Central Processing Unit，CPU）、微处理器（Microprocessor Unit，MPU）、数字信号处理器（Digital Signal Processor，DSP）或现场可编程门阵列（Field Programmable GateArray，FPGA）等。

图8为本申请实施例提供的一种肺结节跟踪与变化趋势预测系统的组成结构示意图，如图8所示，肺结节跟踪与变化趋势预测系统800包括：获取模块810、检测模块820、配准模块830和生成模块840，其中：

获取模块810，用于获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像；

检测模块820，用于对两个肺部区域图像进行肺结节检测，得到每一所述肺部区域图像的肺结节数据；所述肺结节数据包括所述肺部区域图像中各个肺结节的肺结节属性；

配准模块830，用于对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节；

生成模块840，用于基于所述待分析肺结节在每一所述肺部区域图像中对应的肺结节属性，生成所述待分析肺结节的变化趋势数据。

在一些实施例中，所述肺结节属性包括所述肺结节的掩码图像；所述配准模块830，还用于：

通过最大化所述两个肺部区域图像之间的归一化互信息代价函数，确定所述两个肺部区域图像之间的配准参数；

基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的肺结节的掩码图像的交并比，将满足预设要求的肺结节确定为所述待分析肺结节；

其中，所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的。

在一些实施例中，所述肺结节属性包括所述肺结节的检测框和掩码图像；所述检测模块820，还用于：

将所述肺部区域图像输入至训练后的肺结节检测模型，得到对应的肺结节检测特征图；所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；

基于所述肺结节特征图中每一所述特征点对应的检测特征数据，确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径；所述肺结节的检测框由所述肺结节中心点和肺结节直径确定；

基于所述肺结节中心点和预设截取范围，在所述肺部区域图像中截取所述肺结节所在的图像块，并将所述肺结节所在的图像块输入至训练后的肺结节分割模型，得到所述肺结节的掩码图像。

在一些实施例中，所述生成模块840，还用于：

针对每一所述肺部区域图像，基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数；

针对每一所述评估维度，基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化趋势数据；

其中，所述评估维度包括以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺。

在一些实施例中，所述生成模块840，还用于：

基于每一所述CT图像对应的检测时间，确定变化时间；

将所述变化时间、所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，输入至变化率预测模型，得到所述待分析肺结节在所述评估维度下的变化率；

其中，所述待分析肺结节在所述评估维度下的预测肺结节参数的计算公式如下：

；

其中，为从最新的CT图像对应的检测时间开始，时间t之后，所述待分析肺结节 在所述评估维度下的预测肺结节参数，V为最新的CT图像中所述待分析肺结节在所述评估 维度下的肺结节参数，k为变化率。

在一些实施例中，所述评估维度还包括：良恶性、结节性质和浸润性；所述生成模块840，还用于：

将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型，得到所述待分析肺结节的良恶性分类结果；所述待分析肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定；

将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型，得到所述待分析肺结节的结节性质分类结果；

在所述良恶性分类结果表征所述待分析肺结节属于恶性的情况下，将所述待分析肺结节所在的图像块输入至训练后的病理分类模型，得到所述待分析肺结节的浸润性分类结果。

在一些实施例中，所述获取模块810，还用于：

基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值，对所述CT图像进行阈值分割，得到分割后的图像；

基于形态学运算对分割后的图像进行调整，得到所述肺部区域的掩码图像；

基于所述肺部区域的掩码图像，生成所述肺部区域的检测框；

利用预设的扩张参数，对所述肺部区域的检测框进行扩张处理，得到扩张后的肺部区域的检测框；

利用扩张后的肺部区域的检测框对所述CT图像进行分割，得到所述肺部区域图像。

在一些实施例中，所述获取模块810，还用于在所述CT图像对应的像素空间大小与预设像素空间大小不同的情况下，对所述肺部区域图像进行重采样，重采样后的肺部区域图像的像素空间大小为所述预设像素空间大小。

在一些实施例中，所述获取模块810，还用于基于预设的截断范围，对所述肺部区域图像进行截断处理，截断处理后的肺部区域图像中每一像素点的值位于所述截断范围内。

在一些实施例中，所述获取模块810，还用于对所述肺部区域图像进行归一化处理。

在一些实施例中，所述肺结节跟踪与变化趋势预测系统还包括重建模块，所述重建模块，用于：

基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割，得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像；

分别利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像，重建所述肺叶的三维重建模型、所述气管的三维重建模型和所述肺部动静脉的三维重建模型。

在一些实施例中，管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合，公式如下：

；

其中，所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型，为 Dice损失，为交叉熵损失，为中心线损失，为输出的管状器官 的掩码图像，为标注的管状器官的掩码图像，为管状器官的中心线掩码图像。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的肺结节跟踪与变化趋势预测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述肺结节跟踪与变化趋势预测方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。

本申请实施例提供一种肺结节跟踪与变化趋势预测装置，包括上述实施例中的肺结节跟踪与变化趋势预测系统。

本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。

本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包（Software Development Kit，SDK）等等。

这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

图9为本申请实施例提供的一种计算机设备的硬件实体示意图，如图9所示，该计算机设备900的硬件实体包括：处理器901和存储器902，其中，存储器902存储有可在处理器901上运行的计算机程序，处理器901执行程序时实现上述任一实施例的方法中的步骤。

存储器902存储有可在处理器上运行的计算机程序，存储器902配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器901以及计算机设备900中各模块待处理或已经处理的数据（例如，图像数据、音频数据、语音通信数据和视频通信数据），可以通过闪存（FLASH）或随机访问存储器（Random Access Memory，RAM）实现。

处理器901执行程序时实现上述任一项的肺结节跟踪与变化趋势预测方法的步骤。处理器901通常控制计算机设备900的总体操作。

本申请实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的肺结节跟踪与变化趋势预测方法的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

上述处理器可以为目标用途集成电路（Application Specific IntegratedCircuit，ASIC）、数字信号处理器（Digital Signal Processor，DSP）、数字信号处理装置（Digital Signal Processing Device，DSPD）、可编程逻辑装置（Programmable LogicDevice，PLD）、现场可编程门阵列（Field Programmable Gate Array，FPGA）、中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

上述计算机存储介质/存储器可以是只读存储器（Read Only Memory，ROM）、可编程只读存储器（Programmable Read-Only Memory，PROM）、可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，EPROM）、电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性随机存取存储器（Ferromagnetic Random Access Memory，FRAM）、快闪存储器（Flash Memory）、磁表面存储器、光盘、或只读光盘（Compact Disc Read-Only Memory，CD-ROM）等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ReadOnly Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本申请各个实施例所述肺结节跟踪与变化趋势预测方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (9)

1.一种肺结节跟踪与变化趋势预测方法，其特征在于，所述肺结节跟踪与变化趋势预测方法包括：

获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像；

将肺部区域图像输入至训练后的肺结节检测模型，得到对应的肺结节检测特征图；所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；

所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；

基于所述肺结节特征图中每一所述特征点对应的检测特征数据，确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径；所述肺结节的检测框由所述肺结节中心点和肺结节直径确定；

基于所述肺结节中心点和预设截取范围，在所述肺部区域图像中截取所述肺结节所在的图像块，并将所述肺结节所在的图像块输入至训练后的肺结节分割模型，得到所述肺结节的掩码图像；

通过最大化所述两个肺部区域图像之间的归一化互信息代价函数，确定所述两个肺部区域图像之间的配准参数；

基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的所述肺结节的掩码图像的交并比，将满足预设要求的肺结节确定为所述待分析肺结节；

其中，所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的；

基于每一所述CT图像对应的检测时间，确定变化时间；

将所述变化时间、所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，输入至变化率预测模型，得到所述待分析肺结节在评估维度下的变化率；

其中，所述待分析肺结节在所述评估维度下的预测肺结节参数的计算公式如下：。

2.根据权利要求1所述的肺结节跟踪与变化趋势预测方法，其特征在于，包括：

针对每一所述肺部区域图像，基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数；

针对每一所述评估维度，基于每一所述CT图像对应的检测时间和所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，生成所述待分析肺结节在所述评估维度下的变化趋势数据；

其中，所述评估维度包括以下至少之一：大小、体积、密度、实性占比、空泡征、分叶、毛刺。

3.根据权利要求2所述的肺结节跟踪与变化趋势预测方法，其特征在于，所述评估维度还包括：良恶性、结节性质和浸润性；所述基于所述待分析肺结节对应的掩码图像，确定所述待分析肺结节在至少一个评估维度上的肺结节参数，包括：

将所述待分析肺结节所在的图像块输入至训练后的良恶性分类模型，得到所述待分析肺结节的良恶性分类结果；所述待分析肺结节所在的图像块由所述待分析肺结节对应的掩码图像确定；

将所述待分析肺结节所在的图像块输入至训练后的结节性质分类模型，得到所述待分析肺结节的结节性质分类结果；

在所述良恶性分类结果表征所述待分析肺结节属于恶性的情况下，将所述待分析肺结节所在的图像块输入至训练后的病理分类模型，得到所述待分析肺结节的浸润性分类结果。

4.根据权利要求1至3任一项所述的肺结节跟踪与变化趋势预测方法，其特征在于，从所述CT图像中分割出肺部区域图像，包括：

基于肺部区域对应的阈值范围和所述CT图像中每一像素点的值，对所述CT图像进行阈值分割，得到分割后的图像；

基于形态学运算对分割后的图像进行调整，得到所述肺部区域的掩码图像；

基于所述肺部区域的掩码图像，生成所述肺部区域的检测框；

利用预设的扩张参数，对所述肺部区域的检测框进行扩张处理，得到扩张后的肺部区域的检测框；

利用扩张后的肺部区域的检测框对所述CT图像进行分割，得到所述肺部区域图像。

5.根据权利要求1至3任一项所述的肺结节跟踪与变化趋势预测方法，其特征在于，所述肺结节跟踪与变化趋势预测方法还包括：

基于训练好的肺叶分割模型、气管分割模型和肺部动静脉分割模型对所述肺部区域图像进行分割，得到肺叶的掩码图像、气管的掩码图像和肺部动静脉的掩码图像；

分别利用所述肺叶的掩码图像、所述气管的掩码图像和所述肺部动静脉的掩码图像，重建所述肺叶的三维重建模型、所述气管的三维重建模型和所述肺部动静脉的三维重建模型；

其中，管状器官分割模型的损失函数为Dice损失、交叉熵损失和中心线损失的线性组合，公式如下：

；

其中，所述管状器官分割模型包括气管分割模型和肺部动静脉分割模型，为Dice损失，/>为交叉熵损失，/>为中心线损失，/>为输出的管状器官的掩码图像，/>为标注的管状器官的掩码图像，/>为管状器官的中心线掩码图像。

6.一种肺结节跟踪与变化趋势预测系统，其特征在于，所述肺结节跟踪与变化趋势预测系统包括：

获取模块，用于获取待分析对象的两个计算机断层扫描CT图像，并从所述CT图像中分割出肺部区域图像；

检测模块，用于将肺部区域图像输入至训练后的肺结节检测模型，得到对应的肺结节检测特征图；所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；所述肺结节属性包括所述肺结节的检测框和掩码图像；所述肺结节检测特征图包括与分别与所述肺部区域图像上多个子区域对应的多个特征点，和每一所述特征点对应的检测特征数据；所述检测特征数据包括所述特征点为肺结节的概率、所述特征点相对于肺结节中心点的偏移信息以及肺结节直径；还用于基于所述肺结节特征图中每一所述特征点对应的检测特征数据，确定所述肺部区域图像中存在的肺结节的肺结节中心点和肺结节直径；所述肺结节的检测框由所述肺结节中心点和肺结节直径确定；基于所述肺结节中心点和预设截取范围，在所述肺部区域图像中截取所述肺结节所在的图像块，并将所述肺结节所在的图像块输入至训练后的肺结节分割模型，得到所述肺结节的掩码图像；

配准模块，用于对所述两个肺部区域图像中的肺结节进行配准，得到同时处于所述两个肺部区域图像中的待分析肺结节；还用于通过最大化所述两个肺部区域图像之间的归一化互信息代价函数，确定所述两个肺部区域图像之间的配准参数；基于所述两个肺部区域图像之间的配准参数、计算所述两个肺部区域图像之间的所述肺结节的掩码图像的交并比，将满足预设要求的肺结节确定为所述待分析肺结节；其中，所述归一化互信息代价函数基于所述两个肺部区域图像之间的联合熵、每一所述肺部区域图像的信息熵构建得到的；

生成模块，用于基于每一所述CT图像对应的检测时间，确定变化时间；将所述变化时间、所述待分析肺结节在每一所述肺部区域图像中的肺结节参数，输入至变化率预测模型，得到所述待分析肺结节在评估维度下的变化率；其中，所述待分析肺结节在所述评估维度下的预测肺结节参数的计算公式如下：。

7.一种肺结节跟踪与变化趋势预测装置，其特征在于，包括权利要求6所述的肺结节跟踪与变化趋势预测系统。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述肺结节跟踪与变化趋势预测方法中的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述肺结节跟踪与变化趋势预测方法中的步骤。