CN108629803A - 一种结节倍增时间的确定方法及装置 - Google Patents

Abstract

本发明公开了一种结节倍增时间的确定方法及装置，该方法包括获取第一结节影像和第二结节影像，将第一结节影像和第二结节影像中的目标结节进行匹配，并确定第一结节影像和第二结节影像中匹配的目标结节的长短径的长度，根据结节的长短径的长度确定第一结节影像和第二结节影像中匹配的目标结节的体积，根据第一结节影像和第二结节影像中匹配的目标结节的体积确定第一结节影像和第二结节影像中匹配的目标结节的倍增时间。通过检测两次拍摄的结节影像中目标结节的长短径，确定出各自的体积，比较目标结节两次的体积变化，可以确定出倍增时间，从而可以提高倍增时间的效率和准确度。

Description

一种结节倍增时间的确定方法及装置

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种结节倍增时间的确定方法及装置。

背景技术

目前，结节己引起广泛关注，例如肺结节、甲状腺结节等等，医生一般通过医学影像手段观察患者结节的情况。由于随着时间的增长，患者的结节可能发生变化，例如，增大、减小，或者，长出新的结节等等。目前从医学影像中找出结节增大的时间估算方法主要是通过医生观察前后两次拍摄医学影像来人工判断结节增大的时间，但是这种情况会导致估算的结节增大时间准确性不高，同时也会耗费大量的时间，并且存在较大的主观性。

发明内容

本发明实施例提供一种结节倍增时间的确定方法及装置，用以提高结节倍增时间估算的效率以及准确度。

本发明实施例提供的一种结节倍增时间的确定方法，包括：

获取第一结节影像和第二结节影像；

将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度；

根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积；

根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

通过检测两次拍摄的结节影像中目标结节的长短径，确定出各自的体积，比较目标结节两次的体积变化，可以确定出倍增时间，从而可以提高倍增时间的效率和准确度。

可选的，所述将所述第一结节影像和第二结节影像中的目标结节进行匹配，包括：

确定所述第一结节影像和所述第二结节影像中各定位锚点在所述第一结节影像和所述第二结节影像中的第一坐标；

根据所述第一结节影像和所述第二结节影像的分割图像以及所述第一结节影像和所述第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标；

根据所述第一结节影像的目标结节的第二坐标，确定在所述第二结节影像中与所述第一结节影像的目标结节匹配的目标结节。

通过空间变换矩阵可以转换第一结节影像中目标结节的在第二结节影像中的坐标，从而可以确定出在第二结节影像中与第一结节影像中目标结节匹配的目标结节，从而提供结节匹配的效率。

可选的，所述确定目标结节的长短径的长度，包括：

获取所述目标结节的三维坐标；

根据所述目标结节的三维坐标从结节影像中确定包含所述目标结节的感兴趣区域(Region of Interest，简称ROI)；

根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域，所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的；

通过对所述结节区域进行测量确定所述目标结节的长短径的长度。

通过结节分割模型对包含目标结节的ROI进行分割，并对分割得到的结节区域进行测量，可以得到目标结节的长短径，提高了长短径确定的效率。

可选的，所述根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积符合公式(1)；

所述公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

可选的，所述根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间符合公式(2)；

所述公式(2)为：

其中，VDTv为目标结节的倍增时间，△t为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

相应的，本发明实施例还提供了一种结节倍增时间的确定装置，包括：

获取单元，用获取第一结节影像和第二结节影像；

处理单元，用于将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度；

第一确定单元，用于根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积；

第二确定单元，用于根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

可选的，所述处理单元具体用于：

确定所述第一结节影像和所述第二结节影像中各定位锚点在所述第一结节影像和所述第二结节影像中的第一坐标；

根据所述第一结节影像和所述第二结节影像的分割图像以及所述第一结节影像和所述第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标；

根据所述第一结节影像的目标结节的第二坐标，确定在所述第二结节影像中与所述第一结节影像的目标结节匹配的目标结节。

可选的，所述处理单元具体用于：

获取所述目标结节的三维坐标；

根据所述目标结节的三维坐标从结节影像中确定包含所述目标结节的ROI；

根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域，所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的；

通过对所述结节区域进行测量确定所述目标结节的长短径的长度。

可选的，所述第一确定单元具体用于：

根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积符合公式(1)；

所述公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

可选的，所述第二确定单元具体用于：

根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间符合公式(2)；

所述公式(2)为：

其中，VDTv为目标结节的倍增时间，△t为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

相应的，本发明实施例提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述结节倍增时间的确定方法。

相应的，本发明实施例提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述结节倍增时间的确定方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种结节倍增时间的确定方法的流程示意图；

图3为本发明实施例提供的一种肺部CT影像的示意图；

图4为本发明实施例提供的一种计算空间变换矩阵的方法的流程示意图；

图5为本发明实施例提供的一种二分图的结构示意图；

图6为本发明实施例提供的一种定位锚点检测模型的训练方法的流程示意图；

图7为本发明实施例提供的一种检测定位锚点的方法的流程示意图；

图8为本发明实施例提供的一种定位锚点检测模型的训练方法的流程示意图；

图9为本发明实施例提供的一种检测定位锚点的方法的流程示意图；

图10为本发明实施例提供的一种椭球拟合方法的流程示意图；

图11为本发明实施例提供的一种结节分割模型的训练方法的流程示意图；

图12为本发明实施例提供的一种检测结节区域的方法的流程示意图；

图13为本发明实施例提供的一种结节倍增时间的确定装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的影像结节检测的方法所适用的系统架构。参考图1所示，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。

其中，通信接口120用于医生适用的终端设备进行通信，收发该终端设备传输的信息，实现通信。

处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2示例性的示出了本发明实施例提供的一种结节倍增时间的确定流程，该流程可以由结节倍增时间的确定装置执行。

如图2所示，该流程具体包括：

步骤201，获取第一结节影像和第二结节影像。

该第一结节影像和第二结节影像为同一患者在不同时间拍摄的结节影像，其中，第二结节影像拍摄的时间可以晚于第一结节影像的拍摄的时间。结节影像为三维图像，候选结节的三维坐标可以为候选结节内的点的三维坐标(比如结节中心点的三维坐标)，也可以是候选结节表面的点的三维坐标。候选结节包括但不限于肺结节、甲状腺结节、乳腺结节。结节影像可以是计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(Magnetic Resonance Imaging，简称MRI)影像等等，为了更清楚的描述结节影像，图3示例性示出了一名患者的肺部CT影像。由于结节匹配的目的是确认患者结节的变化情况，故获取得的结节影像为同一个对象在不同时间拍摄的结节影像，在进行结节匹配时，至少获取两个结节影像，比如第一结节影像可以为患者A在2017年6月1日拍摄的肺部CT影像、第二结节影像可以为患者A在2017年7月10日拍摄的肺部CT影像。

步骤202，将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度。

在进行目标结节匹配时，具体可以为先确定第一结节影像和第二结节影像中各定位锚点在第一结节影像和第二结节影像中的第一坐标。

结节影像中目标结节的第一坐标可以通过人工进行标定，也可以采用卷积神经网络对已标定结节的第一坐标的结节影像进行训练确定结节检测模型，然后针对任意结节影像，通过结节检测模型检测结节影像中目标结节的第一坐标。

定位锚点为第一结节影像和第二结节影像中均存在且在第一结节影像和第二结节影像中的位置相对固定的点，定位锚点可以根据实际情况预先设定，比如在对肺结节进行匹配时，可以将定位锚点设定为气管分叉处中心点或脊椎骨中心点或胸骨中心点或左右肺的肺尖点或上述各点的组合。第一结节影像和第二结节影像中各定位锚点的第一坐标可以通过人工进行标定，也可以根据定位锚点检测模型确定的，其中，定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

然后根据第一结节影像和第二结节影像的分割图像以及第一结节影像和第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵。

结节影像的分割图像为从结节影像中标记出主要器官的影像，比如肺部CT影像的分割图像为从肺部CT影像中标记出肺部的影像，具体在标记时，可以使用不同的颜色将肺部从肺部CT影像中标记出来。下面具体介绍确定空间变换矩阵的过程，如图4所示，包括以下步骤：

步骤401，将第一结节影像和第二结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵。

将第一结节影像中各定位锚点的第一坐标与第二结节影像中各定位锚点的第一坐标进行粗对齐，具体过程为：设定第一结节影像中各定位锚点的第一坐标集合为{P1，P2，...，P5}，其中，Pi表示第i个定位锚点的第一坐标，Pi为三维向量，1≤i≤5。第二结节影像中各定位锚点的第一坐标集合为{Q1，Q2，...，Q5}，其中，Qj表示第j个定位锚点的第一坐标，Qj为三维向量，1≤i≤5。预先设立一个空间变换矩阵T1，通过该空间变换矩阵将定位锚点集合{P1，P2，...，P5}变换到另一个定位锚点集合{P1’，P2’，...，P5’}。然后将定位锚点集合{P1’，P2’，...，P5’}与定位锚点集合{Q1，Q2，...，Q5}的L2范数设定为目标函数F，反复调整空间变换矩阵T1的取值，以使目标函数F取最小值。当目标函数F取最小值时对应的空间变换矩阵T1即为初步变换矩阵。

步骤402，根据初步变换矩阵对各结节影像的分割图像进行细对齐确定空间变换矩阵。

在确定第一结节影像和第二结节影像之间的初步变换矩阵后，根据初步变换矩阵对第一结节影像和第二结节影像的分割图像进行细对齐，具体过程为：以初步变换矩阵为基础，进行一定范围的搜索确定空间变换矩阵T2，搜索范围可以为对初步变换矩阵进行设定像素(比如20像素)以内的空间平移或对初步变换矩阵进行设定度数(比如20度)以内的空间旋转或对初步变换矩阵进行设定倍数(比如0.8～1.2倍)以内的空间缩放或上述几种搜索范围的任意组合。然后通过空间变换矩阵T2将第一结节影像的分割图像A变换为第一结节影像的分割图像A1，然后计算第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间的交并比(IOU)，具体如公式(3)所示：

其中，|A1∩B|为第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间交集的像素数量，|A1∪B|为第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间并集的像素数量，IOU越大说明匹配的越准确。

然后反复搜索并调整空间变换矩阵T2的取值，直到确定使IOU取最大值的空间变换矩阵T2，使IOU取最大值的空间变换矩阵T2即为最终确定的空间变换矩阵。

在得到空间变化矩阵之后，可以根据空间变换矩阵将第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标。最后根据第一结节影像的目标结节的第二坐标，确定在第二结节影像中与第一结节影像的目标结节匹配的目标结节。

下面以具体的例子进行说明，设定第一结节影像中包括结节A1、结节B1、结节C1，第二结节影像中包括结节A2、结节B2、结节C2、结节D2，通过计算得到结节A1与结节A2之间的距离为1，结节A1与结节B2之间的距离为2，结节A1与结节C2之间的距离为3，结节A1与结节D2之间的距离为7，结节B1与结节B2之间的距离为2，结节B1与结节C2之间的距离为3，结节B1与结节D2之间的距离为6，结节C1与结节C2之间的距离为1，结节C1与结节D2之间的距离为4。由上述计算结果可知，结节A1与结节A2之间的距离相较于结节A1与其他结节的距离来说是最近的，则可以将结节A1与结节A2确定为匹配的结节。由于结节A1已经与结节A2匹配，匹配的结节不再参与其他匹配，故只需要将结节B1跟结节B2、结节C2、结节D2进行匹配，由上述计算结果可知，结节B1与结节B2之间的距离是最近的，故将结节B1与结节B2确定为匹配的结节。基于同样的方法可以确定出结节C1与结节C2为匹配的结节。设定筛选阈值为5，由上述匹配结果中，结节之间的距离均没有大于筛选阈值，故上述匹配结果中不存在失配结节。

在一种可能的实施方式中，设定进行结节匹配的结节影像为第一结节影像和第二结节影像，将第一结节影像和第二结节影像在空间上对齐后，将两个结节影像中的结节作为二分图的两侧节点，二分图的边的费用值可以为结节与结节的距离，也可以为结节与结节之间距离的平方。依次计算第一结节影像中的各结节与第二结节影像中各结节之间的距离，然后对二分图使用KM算法，求解最小费用的二分图匹配，获得一组匹配结果。可选地，预先设置筛选阈值，将结节之间距离超过筛选阈值的匹配结果去除，被去除的匹配结果中的结节为失配结节。

下面以具体的例子进行说明，设定第一结节影像中包括结节A1、结节B1，位于二分图的第一侧，第二结节影像中包括结节A2、结节B2，位于二分图的第二侧，如图5所示。通过计算得到结节A1与结节A2之间的距离为1，结节A1与结节B2之间的距离为2，结节B1与结节A2之间的距离为3，结节B1与结节B2之间的距离为2。将结节A1与结节A2之间的距离与结节B1与结节B2之间的距离相加得到二分图费用为3，将结节A1与结节B2之间的距离与结节B1与结节A2之间的距离相加得到二分图费用为5，由此可见，最小费用的二分图对应的匹配结果为：结节A1与结节A2匹配，结节B1与结节B2匹配。

下面具体介绍一下通过卷积神经网络训练确定定位锚点检测模型过程。

在一种可能的实施方式中，定位锚点检测模型是通过3D卷积神经网络训练获取的，如图6所示，包括以下步骤：

步骤601，获取结节影像作为训练样本。

具体地，可以将获取的多个结节影像直接作为训练样本，也可以对获取的多个结节影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。

步骤602，人工标记训练样本中定位锚点的坐标。

具体地，可以通过医生等专业人员对训练样本进行标记。需要说明的是，人工标记训练样本中定位锚点与训练样本的增强操作不分先后，可以先人工标记训练样本中的定位锚点的坐标，然后再将标记定位锚点的坐标的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。

步骤603，将训练样本输入3D卷积神经网络进行训练，确定定位锚点检测模型。

该3D卷积神经网络的结构包括输入层、3D卷积特征提取块、全连接模块、输出层。训练样本输入上述3D卷积神经网络后，输出定位锚点的坐标。进一步地，将输出的定位锚点的坐标与训练样本中预先标记的定位锚点的坐标以L1范数作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定定位锚点检测模型。

进一步地，采用上述训练确定的定位锚点检测模型确定结节影像中定位锚点的第一坐标的过程如图7所示，包括以下步骤：

步骤701，将结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5。

步骤702，将特征图像转换为特征向量并通过全连接模块将特征向量映射为结节影像中定位锚点的第一坐标，定位锚点的第一坐标为三维坐标。

可选地，定位锚点检测模型包括一个输入层、L个3D卷积特征提取块、q个全连接模块、一个输出层，其中L大于等于2小于等于5，L的具体取值根据实际情况确定，q大于0。进一步地，3D卷积特征提取块包括3D卷积模块和max pooling层，其中，3D卷积模块包括3D卷积层、批量化(BN)层、激励函数层，3D卷积特征提取块中各层的大小可以根据实际情况确定。采用3D卷积神经网络检测各结节影像中各定位锚点的第一坐标，相较于人工标定定位锚点的方法，其效率和准确性更高。

在另一种可能的实施方式中，定位锚点检测模型是通过3D卷积神经网络和2D卷积神经网络训练获取的，如图8所示，包括以下步骤：

步骤801，获取结节影像作为第一类训练样本。

步骤802，人工标记第一类训练样本中第一类定位锚点的坐标。

步骤803，以第一类定位锚点的坐标为基础，从第一类训练样本中截取二维结节影像作为第二类训练样本。

步骤804，人工标记第二类训练样本中第二类定位锚点的坐标。

步骤805，将第一类训练样本输入3D卷积神经网络进行训练，将第二类训练样本输入2D卷积神经网络进行训练，确定定位锚点检测模型。

该3D卷积神经网络的结构包括输入层、3D卷积特征提取块、全连接模块、输出层。该2D卷积神经网络的结构包括输入层、2D卷积特征提取块、全连接模块、输出层。在训练时，将输出的定位锚点的坐标与训练样本中预先标记的定位锚点的坐标以L1范数作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定定位锚点检测模型。

进一步地，采用上述训练确定的定位锚点检测模型确定结节影像中定位锚点的第一坐标的过程如图9所示，包括以下步骤：

步骤901，将结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5。

步骤902，将第一特征图像转换为第一特征向量并通过第一全连接模块将第一特征向量映射为结节影像中第一类定位锚点的第一坐标，第一类定位锚点的第一坐标为三维坐标。

步骤903，根据第一类定位锚点的第一坐标从结节影像中截取二维结节影像。

步骤904，将二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5。

步骤905，将第二特征图像转换为第二特征向量并通过第二全连接模块将第二特征向量映射为二维结节影像中定位锚点的坐标。

步骤906，根据二维结节影像中定位锚点的坐标以及第一类定位锚点的坐标确定第二类定位锚点的第一坐标，第二类定位锚点的第一坐标为三维坐标。

可选地，定位锚点检测模型包括第一定位锚点检测模型和第二定位锚点检测模型，其中第一定位锚点检测模型包括一个输入层、M个3D卷积特征提取块、a个第一全连接模块、一个输出层，其中M大于等于2小于等于5，M的具体取值根据实际情况确定，a大于0。进一步地，3D卷积特征提取块包括3D卷积模块和max pooling层，其中，3D卷积模块包括3D卷积层、批量化(BN)层、激励函数层，3D卷积特征提取块中各层的大小可以根据实际情况确定。第二定位锚点检测模型包括一个输入层、N个2D卷积特征提取块、b个第二全连接模块、一个输出层，其中N大于等于2小于等于5，N的具体取值根据实际情况确定，b大于0。进一步地，2D卷积特征提取块包括2D卷积模块和max pooling层，其中，2D卷积模块包括2D卷积层、批量化(BN)层、激励函数层，2D卷积特征提取块中各层的大小可以根据实际情况确定。

下面以具体的例子对上述过程进行说明，设定结节影像为肺部CT影像，第一类定位锚点为气管分叉处中心，第二类定位锚点为脊椎骨中心点和胸骨中心点。将肺部CT影像输入第一定位锚点检测模型后，确定气管分叉处中心的坐标为(1，2，3)。然后截取第三坐标z＝3所在的肺部CT影像平面作为二维结节影像，然后将二维结节影像输入第二定位锚点检测模型后，确定二维的脊椎骨中心点的坐标(4，5)和胸骨中心点的坐标(4，3)，之后再结合第三坐标z＝3可确定第二类定位锚点中脊椎骨中心点的坐标为(4，5，3)，胸骨中心点的坐标为(4，3，3)。可选的，在对肺部结节进行匹配时，可将左右肺肺尖也作为定位锚点，左右肺肺尖可通过寻找左右肺最接近头部位置的点来确定。

由于2D卷积神经网络确定二维坐标相较于3D卷积神经网络确定三维坐标来说，所使用的时间更短，故在定位锚点的数量较多时，采用3D卷积神经网络先检测出部分定位锚点的第一坐标，然后以检测出的定位锚点的第一坐标为基础对结节影像进行降维，确定二维结节影像，然后采用2D卷积神经网络检测二维结节影像中定位锚点的坐标，最后结合检测出的定位锚点的第一坐标和二维结节影像中定位锚点的坐标确定其余定位锚点的第一坐标，从而有效提高了检测定位锚点的第一坐标的效率。

在通过上述步骤得到匹配的目标结节之后，可以通过确定出目标结节的长短径的长度，具体可以为：首先获取目标结节的三维坐标。然后根据目标结节的三维坐标从结节影像中确定包含目标结节的ROI。具体地，以结节的三维坐标为中心，向周围扩展预设距离，确定包含结节的像素立方体，预设距离为结节的半径的预设倍数，比如结节半径的1.25倍。然后截取此像素立方体，并插值缩放到一定的大小。之后再对像素立方体中每一个像素附加一个空间信息通道，输出ROI，空间信息通道为像素与结节的三维坐标之间的距离。

再根据ROI以及结节分割模型从结节影像中分割出结节区域，结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的。在一种可能的实施方式中，可以直接将结节影像输入结节分割模型，通过结节分割模型输出结节区域。在另一种可能的实施方式中，可以将结节影像中的ROI输入结节分割模型，通过结节分割模型输出结节区域。具体地，ROI的大小可以根据实际情况进行设定，由于根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI，故缩小了检测结节的区域，相较于将整张结节影像输入结节分割模型确定结节区域的方法，将ROI输入结节分割模型确定结节区域能有效提高结节区域的检测精度和检测效率。

最后通过对结节区域进行测量确定目标结节的长短径的长度。

本发明实施例中，采用卷积神经网络对已标记结节区域的结节影像进行训练确定结节分割模型，通过结节分割模型能自动从结节影像中确定结节区域，然后进一步确定结节长短径长度，相较于人工标记出结节影像中的结节区域再进行测量的方法，本发明实施例的方法效率更高。其次，根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI，然后通过结节分割模型从ROI中确定结节区域，相较于直接将结节影像输入结节分割模型确定结节区域的方法，本发明实施例检测结节区域的精度更高，进一步也提高检测结节长短径长度的精度。

在一种可能的实施方式中，采用协方差矩阵分解对结节区域进行测量确定结节的长短径长度。具体过程为：将结节区域的像素集合展开为N×3的矩阵，对此计算协方差矩阵。然后对协方差矩阵进行奇异值分解(Singular value decomposition，简称SVD)，得到一特征向量、一个变换矩阵和一个逆变换矩阵。通过分解得到的变换矩阵，对结节区域的像素集合进行变换，得到新空间坐标系中的各轴。将各轴通过逆变换矩阵转换会原空间，得到原空间坐标系中各轴，原空间坐标系中最长轴的长度即为结节的长径长度，最短轴的长度即为结节的短径长度。

在一种可能的实施方式中，采用椭球拟合对结节区域进行测量确定结节的长短径长度。具体过程如图10所示，包括以下步骤：

步骤1001，获取结节区域边界上的N个点的坐标，N大于等于10。

步骤1002，根据N个点的坐标以及椭球方程拟合结节区域对应的椭球及椭球方程。

椭球方程如式(1)所示：

Ax²+By²+Cz²+Dxy+Eyz+Fxz+Gx+Hy+Iz+J＝0………(1)

其中，A、B、C、D、E、F、G、H、I、J为需要求解的10个参数，通过将获取结节区域边界上的10个点的坐标代入公式(1)，即可求得结节区域对应的椭球及椭球方程。

步骤1003，根据结节区域对应的椭球方程确定结节区域对应的椭球的长轴长度和短轴长度。

椭球的长轴为椭球中最长的轴，椭球的短轴为椭球中最短的轴。

步骤1004，将结节区域对应的椭球的长轴长度确定为结节的长径长度。

步骤1005，将结节区域对应的椭球的短轴长度确定为结节的短径长度。

由于结节的形状近似椭球，故将结节拟合为椭球，然后通过测量椭球的长轴和短轴来确定结节长短径长度，从而一方面简化了测量结节的长短径长度的过程，另一方面提高了测量结节的长短径长度的精度。

下面具体介绍一下通过卷积神经网络训练确定结节分割模型过程，如图11所示包括以下步骤：

步骤1101，获取结节影像作为训练样本。

具体地，可以将获取的多幅结节影像直接作为训练样本，也可以对获取的多幅结节影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。

步骤1102，人工标记训练样本中结节区域。

可以通过医生等专业人员对训练样本进行标记。具体地，可以由多名医生对结节区域进行标注，并通过多人投票合成的方式确定最终的结节区域，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中结节区域与训练样本的增强操作不分先后，可以先人工标记训练样本中的结节区域，然后再将标记结节区域的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。

步骤1103，将训练样本输入3D卷积神经网络进行训练，确定结节分割模型。

在一种可能的实施方式中，可以直接将已标记结节区域的结节影像作为训练样本输入3D卷积神经网络进行训练，确定结节分割模型。

在另一种可能的实施方式中，可以对已标记结节区域的结节影像进行处理后作为训练样本输入3D卷积神经网络进行训练，确定结节分割模型，具体过程为：针对任意一个已标记结节区域的结节影像，人工标记该结节影像中结节的三维坐标，然后以结节的三维坐标为中心，向周围扩展预设距离，确定包含结节的像素立方体，预设距离为结节的半径的预设倍数。对像素立方体中每一个像素附加一个空间信息通道，确定ROI，空间信息通道为像素与结节的三维坐标之间的距离。之后再将已标记结节区域的ROI作为训练样本输入3D卷积神经网络进行训练，确定结节分割模型。

该卷积神经网络的结构包括输入层、3D卷积特征提取块、下采样块、上采样块以及输出层，将训练样本输入上述卷积神经网络之后，输出训练样本的概率分布图，将输出的概率分布图与预先标记的训练样本的掩码图进行损失函数计算，然后采用反向传播算法以及sgd优化算法反复迭代，确定结节分割模型。

进一步地，采用上述训练确定的结节分割模型确定结节影像中的结节区域的过程如图12所示，包括以下步骤：

步骤1201，将所ROI依次通过M个3D卷积特征提取块提取ROI的特征图像，M大于0。

步骤1202，将ROI的特征图像经下采样块转化为三维感知视野图像。

步骤1203，通过上采样块对三维感知视野图像进行反卷积，确定ROI的三维概率分布图。

可选地，结节分割模型包括一个输入层、M个3D卷积特征提取块、x个下采样块、y个上采样块及一个输出层，M、x、y均大于0，M、x、y具体取值根据实际情况确定。进一步地，3D卷积特征提取块包括3D卷积层、批量化(BN)层、激励函数层，各层的大小可以根据实际情况确定，比如3D卷积特征提取块包括一个3*3*3的卷积层，一个BN层和一个relu激励函数层。下采样块包括3D max pooling下采样层以及3D卷积特征提取块，上采样块包括反卷积上采样层、连接层以及3D卷积特征提取块，其中全连接层连接下采样块的输出结果。

步骤1204，根据ROI的三维概率分布图确定结节区域。

可选地，根据预设阈值对ROI的三维概率分布图进行分割，将ROI的三维概率分布图分割为概率大于预设阈值的像素块和概率小于预设阈值的像素块，然后将RIO的概率分布图中大于预设阈值的像素块确定为结节区域。可选地，当RIO的概率分布图中概率大于预设阈值的像素块为多个时，将体积最大的像素块确定为结节区域。采用上述卷积神经网络对已标记结节区域的多幅结节影像进行训练后，确定结节分割模型，故通过结节分割模型能自动从结节影像中确定结节区域，而不需要人工在结节影像中标定结节区域，然后估计结节长短径长度，从而提高了检测结节的长短径长度的效率。

步骤203，根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积。

在具体确定目标结节的体积是可以通过下述公式(1)来确定的。

该公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

通过上述公式(1)可以确定出第一结节影像和第二结节影像中各自的目标结节的体积。

步骤204，根据所述第一结节影像和所述第二结节影像中匹配的目标结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

在得第一结节影像和第二结节影像中匹配的结节的体积后，可以通过公式(2)来确定第一结节影像和第二结节影像中匹配的目标结节的倍增时间。

该公式(2)为：

其中，VDTv为目标结节的倍增时间，△t为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

上述实施例可以表明，通过获取第一结节影像和第二结节影像，将第一结节影像和第二结节影像中的目标结节进行匹配，并确定第一结节影像和第二结节影像中匹配的目标结节的长短径的长度，根据结节的长短径的长度确定第一结节影像和第二结节影像中匹配的目标结节的体积，根据第一结节影像和第二结节影像中匹配的目标结节的体积确定第一结节影像和第二结节影像中匹配的目标结节的倍增时间。通过检测两次拍摄的结节影像中目标结节的长短径，确定出各自的体积，比较目标结节两次的体积变化，可以确定出倍增时间，从而可以提高倍增时间的效率和准确度。

基于相同的技术构思，图13示例性的示出了本发明实施例提供的一种结节倍增时间的确定装置，该装置可以执行结节倍增时间的确定流程。

如图13所示，该装置包括：

获取单元1301，用获取第一结节影像和第二结节影像；

处理单元1302，用于将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度；

第一确定单元1303，用于根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积；

第二确定单元1304，用于根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

可选的，所述处理单元1302具体用于：

确定所述第一结节影像和所述第二结节影像中各定位锚点在所述第一结节影像和所述第二结节影像中的第一坐标；

根据所述第一结节影像和所述第二结节影像的分割图像以及所述第一结节影像和所述第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标；

根据所述第一结节影像的目标结节的第二坐标，确定在所述第二结节影像中与所述第一结节影像的目标结节匹配的目标结节。

可选的，所述处理单元1302具体用于：

获取所述目标结节的三维坐标；

根据所述目标结节的三维坐标从结节影像中确定包含所述目标结节的ROI；

根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域，所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的；

通过对所述结节区域进行测量确定所述目标结节的长短径的长度。

可选的，所述第一确定单元1303具体用于：

根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积符合公式(1)；

所述公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

可选的，所述第二确定单元1304具体用于：

根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间符合公式(2)；

所述公式(2)为：

其中，VDTv为目标结节的倍增时间，Δt为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

基于相同的技术构思，本发明实施例提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述结节倍增时间的确定方法。

基于相同的技术构思，本发明实施例提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述结节倍增时间的确定方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种结节倍增时间的确定方法，其特征在于，包括：

获取第一结节影像和第二结节影像；

将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度；

根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积；

根据所述第一结节影像和所述第二结节影像中匹配的目标结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

2.如权利要求1所述的方法，其特征在于，所述将所述第一结节影像和第二结节影像中的目标结节进行匹配，包括：

确定所述第一结节影像和所述第二结节影像中各定位锚点在所述第一结节影像和所述第二结节影像中的第一坐标；

根据所述第一结节影像和所述第二结节影像的分割图像以及所述第一结节影像和所述第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标；

根据所述第一结节影像的目标结节的第二坐标，确定在所述第二结节影像中与所述第一结节影像的目标结节匹配的目标结节。

3.如权利要求1所述的方法，其特征在于，所述确定目标结节的长短径的长度，包括：

获取所述目标结节的三维坐标；

根据所述目标结节的三维坐标从结节影像中确定包含所述目标结节的感兴趣区域ROI；

根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域，所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的；

通过对所述结节区域进行测量确定所述目标结节的长短径的长度。

4.如权利要求1所述的方法，其特征在于，所述根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积符合公式(1)；

所述公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

5.如权利要求1所述的方法，其特征在于，所述根据所述第一结节影像和所述第二结节影像中匹配的目标结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间符合公式(2)；

所述公式(2)为：

其中，VDTv为目标结节的倍增时间，△t为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

6.一种结节倍增时间的确定装置，其特征在于，包括：

获取单元，用获取第一结节影像和第二结节影像；

处理单元，用于将所述第一结节影像和第二结节影像中的目标结节进行匹配，并确定所述第一结节影像和所述第二结节影像中匹配的目标结节的长短径的长度；

第一确定单元，用于根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积；

第二确定单元，用于根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间。

7.如权利要求6所述的装置，其特征在于，所述处理单元具体用于：

确定所述第一结节影像和所述第二结节影像中各定位锚点在所述第一结节影像和所述第二结节影像中的第一坐标；

根据所述第一结节影像和所述第二结节影像的分割图像以及所述第一结节影像和所述第二结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述第一结节影像中目标结节的第一坐标转换为标定坐标系的第二坐标；

根据所述第一结节影像的目标结节的第二坐标，确定在所述第二结节影像中与所述第一结节影像的目标结节匹配的目标结节。

8.如权利要求6所述的装置，其特征在于，所述处理单元具体用于：

获取所述目标结节的三维坐标；

根据所述目标结节的三维坐标从结节影像中确定包含所述目标结节的感兴趣区域ROI；

根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域，所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的；

通过对所述结节区域进行测量确定所述目标结节的长短径的长度。

9.如权利要求6所述的装置，其特征在于，所述第一确定单元具体用于：

根据所述结节的长短径的长度确定所述第一结节影像和所述第二结节影像中匹配的目标结节的体积符合公式(1)；

所述公式(1)为：

其中，V为目标结节的体积，L为长径的长度，l为短径的长度。

10.如权利要求6所述的装置，其特征在于，所述第二确定单元具体用于：

根据所述第一结节影像和所述第二结节影像中匹配的结节的体积确定所述第一结节影像和所述第二结节影像中匹配的目标结节的倍增时间符合公式(2)；

所述公式(2)为：

其中，VDTv为目标结节的倍增时间，△t为第一结节影像和第二结节影像拍摄的间隔时间，V1为第一结节影像中目标结节的体积，V2为第二结节影像中目标结节的体积。

11.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至5任一项所述的方法。

12.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至5任一项所述的方法。