CN108717707A - 一种结节匹配方法及装置 - Google Patents

Abstract

本发明实施例提供一种结节匹配方法及装置，涉及机器学习技术领域，该方法包括：获取同一对象的各结节影像，确定结节影像中各结节和各定位锚点在结节影像中的第一坐标，根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标确定空间变换矩阵。之后再根据空间变换矩阵将各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标，最后根据各结节的第二坐标，确定各结节在其他结节影像中的匹配结节。根据结节影像的分割图像以及结节影像中各定位锚点的第一坐标确定空间变换矩阵，通过空间变换矩阵将各结节影像中的结节的坐标统一，然后对同一坐标系下的各结节影像中的结节进行匹配，确定结节的变化情况，提高了结节匹配的效率和精度。

Description

一种结节匹配方法及装置

本申请要求在2018年4月10日提交中华人民共和国知识产权局、申请号为201810315721.X、发明名称为“一种结节匹配方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种结节匹配方法及装置。

背景技术

目前，结节己引起广泛关注，例如肺结节、甲状腺结节等等，医生一般通过医学影像手段观察患者结节的情况。由于随着时间的增长，患者的结节可能发生变化，例如，增大、减小，或者，长出新的结节等等。为了确定患者结节的活动情况，需要对比不同时期拍摄的医学图像，例如，对后拍摄的第一医学图像与之前拍摄的第二医学图像上的结节进行匹配，确定出第一医学图像与第二医学图像中哪两个结节是在不同时期的同一结节，进而确定出第一医学图像中，哪些结节是新增的结节，哪些结节消失了，以及，与第二医学图像所匹配的结节的变化情况，进一步确定出患者的病情发展情况，以便制定合理的治疗方案。现有技术中，主要通过医生根据患者的两个医学图像对结节进行匹配，但是该方法需要耗费大量的时间，效率较低，并且存在较大的主观性。

发明内容

本发明实施例提供一种结节匹配方法及装置，用于解决现有通过医生进行结节配准的方法效率低的问题。

本发明实施例提供了一种结节匹配方法，该方法包括：获取同一对象的各结节影像，针对每个结节影像，确定所述结节影像中各结节和各定位锚点在所述结节影像中的第一坐标。然后根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标，确定空间变换矩阵。之后再根据所述空间变换矩阵将所述各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标，最后针对第一结节影像中的第一结节，根据所述各结节影像中各结节的第二坐标，确定所述第一结节在第二结节影像中的匹配结节，所述第一结节影像为所述各结节影像中的任一个，所述第一结节为所述第一结节影像中的任一结节，所述第二结节影像为所述各结节影像中除所述第一结节影像外的任一个。通过空间变换矩阵将各结节影像中各结节的第一坐标转换为标定坐标系的第二坐标，实现各结节影像中各结节的坐标统一，然后对同一坐标系下的各结节影像中的结节进行匹配，确定结节的变化情况，相较于人工比较的方法，其效率和精度更高。由于结节影像中，定位锚点的位置相对固定，通过先确定各结节影像中定位锚点的第一坐标，然后根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标确定空间变换矩阵，提高了确定空间变换矩阵的效率，同时提高了结节匹配的准确性。

可选地，所述根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标，确定空间变换矩阵，包括：将各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；根据所述初步变换矩阵对各结节影像的分割图像进行细对齐确定空间变换矩阵。由于先将各定位锚点的第一坐标进行粗对齐确定初步变换矩阵，然后以初步变换矩阵为基础，对各结节影像的分割图像进行细对齐确定空间变换矩阵，相较于只采用结节影像中的点对齐确定空间变换矩阵的方法，其准确性更高。相较于只采用结节影像中的图像对齐确定空间矩阵的方法，其效率更高。

可选地，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，所述定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。通过采用卷积神经网络训练结节影像确定定位锚点检测模型，然后使用定位锚点检测模型自动检测出各结节影像中各定位锚点的第一坐标，相较于人工标定定位锚点的方法，其效率和准确性更高。

可选地，所述根据定位锚点检测模型确定各结节影像中各定位锚点的第一坐标，包括：针对每个结节影像，将所述结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5；将所述特征图像转换为特征向量并通过全连接模块将所述特征向量映射为所述结节影像中定位锚点的第一坐标，所述定位锚点的第一坐标为三维坐标。采用3D卷积神经网络检测各结节影像中各定位锚点的第一坐标，相较于人工标定定位锚点的方法，其效率和准确性更高。

可选地，所述定位锚点包括第一类定位锚点和第二类定位锚点；

所述根据定位锚点检测模型确定各结节影像中各定位锚点的第一坐标，包括：针对每个结节影像，将所述结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5；将所述第一特征图像转换为第一特征向量并通过第一全连接模块将所述第一特征向量映射为所述结节影像中所述第一类定位锚点的第一坐标，所述第一类定位锚点的第一坐标为三维坐标；根据所述第一类定位锚点的第一坐标从所述结节影像中截取二维结节影像；将所述二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5；将所述第二特征图像转换为第二特征向量并通过第二全连接模块将所述第二特征向量映射为所述二维结节影像中定位锚点的坐标；根据所述二维结节影像中定位锚点的坐标以及所述第一类定位锚点的坐标确定所述第二类定位锚点的第一坐标，所述第二类定位锚点的第一坐标为三维坐标。由于2D卷积神经网络确定二维坐标相较于3D卷积神经网络确定三维坐标来说，所使用的时间更短，故在定位锚点的数量较多时，采用3D卷积神经网络先检测出部分定位锚点的第一坐标，然后以检测出的定位锚点的第一坐标为基础对结节影像进行降维，确定二维结节影像，然后采用2D卷积神经网络检测二维结节影像中定位锚点的坐标，最后结合检测出的定位锚点的第一坐标和二维结节影像中定位锚点的坐标确定其余定位锚点的第一坐标，从而有效提高了检测定位锚点的第一坐标的效率。

本发明实施例提供了一种结节匹配装置，该装置包括获取模块、处理模块以及匹配模块。获取模块，用于获取同一对象的各结节影像。处理模块，用于针对每个结节影像，确定所述结节影像中各结节和各定位锚点在所述结节影像中的第一坐标，然后根据所述各结节影像的分割图像以及所述各结节影像中各定位锚点的第一坐标，确定空间变换矩阵。根据所述空间变换矩阵将所述各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标。匹配模块，用于针对第一结节影像中的第一结节，根据所述各结节影像中各结节的第二坐标，确定所述第一结节在第二结节影像中的匹配结节，所述第一结节影像为所述各结节影像中的任一个，所述第一结节为所述第一结节影像中的任一结节，所述第二结节影像为所述各结节影像中除所述第一结节影像外的任一个。

可选地，所述处理模块具体用于：

将各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；根据所述初步变换矩阵对各结节影像的分割图像进行细对齐确定空间变换矩阵。

可选地，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，所述定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

可选地，所述处理模块具体用于：

针对每个结节影像，将所述结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5；将所述特征图像转换为特征向量并通过全连接模块将所述特征向量映射为所述结节影像中定位锚点的第一坐标，所述定位锚点的第一坐标为三维坐标。

可选地，所述处理模块具体用于：所述定位锚点包括第一类定位锚点和第二类定位锚点；针对每个结节影像，将所述结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5；将所述第一特征图像转换为第一特征向量并通过第一全连接模块将所述第一特征向量映射为所述结节影像中所述第一类定位锚点的第一坐标，所述第一类定位锚点的第一坐标为三维坐标；根据所述第一类定位锚点的第一坐标从所述结节影像中截取二维结节影像；将所述二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5；将所述第二特征图像转换为第二特征向量并通过第二全连接模块将所述第二特征向量映射为所述二维结节影像中定位锚点的坐标；根据所述二维结节影像中定位锚点的坐标以及所述第一类定位锚点的坐标确定所述第二类定位锚点的第一坐标，所述第二类定位锚点的第一坐标为三维坐标。

本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。

本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。

本发明实施例中，通过采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定定位锚点检测模型，然后使用定位锚点检测模型自动检测出各结节影像中各定位锚点的第一坐标，相较于人工标定定位锚点的方法，其效率和准确性更高。其次，根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标确定空间变换矩阵，然后通过空间变换矩阵将各结节影像中各结节的第一坐标转换为标定坐标系的第二坐标，实现各结节影像中各结节的坐标统一，然后对同一坐标系下的各结节影像中的结节进行匹配，确定结节的变化情况，提高了结节匹配的效率和精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种结节匹配方法的流程示意图；

图2为本发明实施例提供的一种肺部CT影像的示意图；

图3为本发明实施例提供的一种计算空间变换矩阵的方法的流程示意图；

图4为本发明实施例提供的一种二分图的结构示意图；

图5为本发明实施例提供的一种定位锚点检测模型的训练方法的流程示意图；

图6为本发明实施例提供的一种检测定位锚点的方法的流程示意图；

图7为本发明实施例提供的一种定位锚点检测模型的训练方法的流程示意图；

图8为本发明实施例提供的一种检测定位锚点的方法的流程示意图；

图9为本发明实施例提供的一种结节匹配装置的结构示意图；

图10为本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1例性示出了本发明实施例提供的一种结节匹配方法的流程，该流程可以由结节匹配装置执行，如图1所示，该流程的具体步骤包括：

步骤S101，获取同一对象的各结节影像。

结节影像为三维图像，结节包括但不限于肺结节、甲状腺结节、乳腺结节。结节影像可以是计算机体层摄影(Computed Tomography，简称CT)影像、磁共振成像(MagneticResonance Imaging，简称MRI)影像等等，为了更清楚的描述结节影像，图2示例性示出了一名患者的肺部CT影像。由于结节匹配的目的是确认患者结节的变化情况，故获取得的结节影像为同一个对象在不同时间拍摄的结节影像，在进行结节匹配时，至少获取两个结节影像，比如获取患者A在2017年6月1日拍摄的肺部CT影像、患者A在2017年7月10日拍摄的肺部CT影像、患者A在2017年8月1日拍摄的肺部CT影像。

步骤S102，针对每个结节影像，确定结节影像中各结节和各定位锚点在结节影像中的第一坐标。

结节影像中各结节的第一坐标可以通过人工进行标定，也可以采用卷积神经网络对已标定结节的第一坐标的结节影像进行训练确定结节检测模型，然后针对任意一个结节影像，通过结节检测模型检测结节影像中各结节的第一坐标。

定位锚点为各个结节影像中均存在且在各结节影像中的位置相对固定的点，定位锚点可以根据实际情况预先设定，比如在对肺结节进行匹配时，可以将定位锚点设定为气管分叉处中心点或脊椎骨中心点或胸骨中心点或左右肺的肺尖点或上述各点的组合。各结节影像中各定位锚点的第一坐标可以通过人工进行标定，也可以根据定位锚点检测模型确定的，其中，定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

步骤S103，根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标，确定空间变换矩阵。

结节影像的分割图像为从结节影像中标记出主要器官的影像，比如肺部CT影像的分割图像为从肺部CT影像中标记出肺部的影像，具体在标记时，可以使用不同的颜色将肺部从肺部CT影像中标记出来。下面具体介绍确定空间变换矩阵的过程，如图3所示，包括以下步骤：

步骤S301，将各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵。

在一种可能的实施方式中，若获取两个结节影像，分别为第一结节影像和第二结节影像，将第一结节影像中各定位锚点的第一坐标与第二结节影像中各定位锚点的第一坐标进行粗对齐，具体过程为：设定第一结节影像中各定位锚点的第一坐标集合为{P1，P2，...，P5}，其中，Pi表示第i个定位锚点的第一坐标，Pi为三维向量，1≤i≤5。第二结节影像中各定位锚点的第一坐标集合为{Q1，Q2，...，Q5}，其中，Qj表示第j个定位锚点的第一坐标，Qj为三维向量，1≤j≤5。预先设立一个空间变换矩阵T1，通过该空间变换矩阵将定位锚点集合{P1，P2，...，P5}变换到另一个定位锚点集合{P1’，P2’，...，P5’}。然后将定位锚点集合{P1’，P2’，...，P5’}与定位锚点集合{Q1，Q2，...，Q5}的L2范数设定为目标函数F，反复调整空间变换矩阵T1的取值，以使目标函数F取最小值。当目标函数F取最小值时对应的空间变换矩阵T1即为初步变换矩阵。

在一种可能的实施方式中，若获取至少三个结节影像，比如第一结节影像、第二结节影像以及第三结节影像，则取其中一个结节影像为标定结节影像，比如，将第一结节影像确定为标定结节影像。然后将标定结节影像中各定位锚点的第一坐标与第二结节影像中各定位锚点的第一坐标进行粗对齐，具体过程与前一种实施方式中将第一结节影像中各定位锚点的第一坐标与第二结节影像中各定位锚点的第一坐标进行粗对齐的过程相同，此处不再赘述。根据粗对齐的结果确定标定结节影像与第二结节影像之间的初步变换矩阵。基于同样的方法，将标定结节影像中各定位锚点的第一坐标与第三结节影像中各定位锚点的第一坐标进行粗对齐，确定标定结节影像与第三结节影像之间的初步变换矩阵，此处不再赘述。

步骤S302，根据初步变换矩阵对各结节影像的分割图像进行细对齐确定空间变换矩阵。

在一种可能的实施方式中，若获取两个结节影像，分别为第一结节影像和第二结节影像，在确定第一结节影像和第二结节影像之间的初步变换矩阵后，根据初步变换矩阵对第一结节影像和第二结节影像的分割图像进行细对齐，具体过程为：以初步变换矩阵为基础，进行一定范围的搜索确定空间变换矩阵T2，搜索范围可以为对初步变换矩阵进行设定像素(比如20像素)以内的空间平移或对初步变换矩阵进行设定度数(比如20度)以内的空间旋转或对初步变换矩阵进行设定倍数(比如0.8～1.2倍)以内的空间缩放或上述几种搜索范围的任意组合。然后通过空间变换矩阵T2将第一结节影像的分割图像A变换为第一结节影像的分割图像A1，然后计算第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间的交并比(IOU)，具体如公式(1)所示：

其中，|A1∩B|为第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间交集的像素数量，|A1∪B|为第一结节影像的分割图像A1中主要器官与第二结节影像的分割图像B中主要器官之间并集的像素数量，IOU越大说明匹配的越准确。

然后反复搜索并调整空间变换矩阵T2的取值，直到确定使IOU取最大值的空间变换矩阵T2，使IOU取最大值的空间变换矩阵T2即为最终确定的空间变换矩阵。

在一种可能的实施方式中，若获取至少三个结节影像，比如第一结节影像、第二结节影像以及第三结节影像，则取其中一个结节影像为标定结节影像，比如，将第一结节影像确定为标定结节影像。在确定标定结节影像和第二结节影像之间的初步变换矩阵后，根据初步变换矩阵对标定结节影像和第二结节影像的分割图像进行细对齐，具体过程与前一种实施方式中根据初步变换矩阵对第一结节影像和第二结节影像的分割图像进行细对齐的过程相同，此处不再赘述。然后根据细对齐的结果确定标定结节影像和第二结节影像之间的空间变换矩阵，基于同样的方法可以确定标定结节影像和第三结节影像之间的空间变换矩阵，此处不再赘述。由于先将各定位锚点的第一坐标进行粗对齐确定初步变换矩阵，然后以初步变换矩阵为基础，对各结节影像的分割图像进行细对齐确定空间变换矩阵，相较于只采用结节影像中的点对齐确定空间变换矩阵的方法，其准确性更高。相较于只采用结节影像中的图像对齐确定空间矩阵的方法，其效率更高。

步骤S104，根据空间变换矩阵将各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标。

在一种可能的实施方式中，若获取两个结节影像，分别为第一结节影像和第二结节影像，则可以将第一结节影像的坐标系作为标定坐标系，然后通过空间变换矩阵将第二结节影像中的各结节的第一坐标转换为第一结节影像的坐标系的第二坐标。

在一种可能的实施方式中，若获取至少三个结节影像，比如第一结节影像、第二结节影像以及第三结节影像，则可以将第一结节影像的坐标系作为标定坐标系，然后通过第一结节影像和第二结节影像之间的空间变换矩阵将第二结节影像中的各结节的第一坐标转换为第一结节影像的坐标系的第二坐标。通过第一结节影像和第三结节影像之间的空间变换矩阵将第三结节影像中的各结节的第一坐标转换为第一结节影像的坐标系的第二坐标。

步骤S105，针对第一结节影像中的第一结节，根据各结节影像中各结节的第二坐标，确定第一结节在第二结节影像中的匹配结节。

其中，第一结节影像为各结节影像中的任一个，第一结节为第一结节影像中的任一结节，第二结节影像为各结节影像中除第一结节影像外的任一个。

在一种可能的实施方式中，设定进行结节匹配的结节影像为第一结节影像和第二结节影像，将第一结节影像和第二结节影像在空间上对齐后，依次计算第一结节影像中的各结节与第二结节影像中各结节之间的距离，然后根据第一结节影像中的各结节与第二结节影像中各结节之间的距离从近到远进行匹配，已经匹配的点对不再匹配，获得一组匹配结果。可选地，预先设置筛选阈值，将结节之间距离超过筛选阈值的匹配结果去除，被去除的匹配结果中的结节为失配结节。

下面以具体的例子进行说明，设定第一结节影像中包括结节A1、结节B1、结节C1，第二结节影像中包括结节A2、结节B2、结节C2、结节D2，通过计算得到结节A1与结节A2之间的距离为1，结节A1与结节B2之间的距离为2，结节A1与结节C2之间的距离为3，结节A1与结节D2之间的距离为7，结节B1与结节B2之间的距离为2，结节B1与结节C2之间的距离为3，结节B1与结节D2之间的距离为6，结节C1与结节C2之间的距离为1，结节C1与结节D2之间的距离为4。由上述计算结果可知，结节A1与结节A2之间的距离相较于结节A1与其他结节的距离来说是最近的，则可以将结节A1与结节A2确定为匹配的结节。由于结节A1已经与结节A2匹配，匹配的结节不再参与其他匹配，故只需要将结节B1跟结节B2、结节C2、结节D2进行匹配，由上述计算结果可知，结节B1与结节B2之间的距离是最近的，故将结节B1与结节B2确定为匹配的结节。基于同样的方法可以确定出结节C1与结节C2为匹配的结节。设定筛选阈值为5，由上述匹配结果中，结节之间的距离均没有大于筛选阈值，故上述匹配结果中不存在失配结节。

在一种可能的实施方式中，设定进行结节匹配的结节影像为第一结节影像和第二结节影像，将第一结节影像和第二结节影像在空间上对齐后，将两个结节影像中的结节作为二分图的两侧节点，二分图的边的费用值可以为结节与结节的距离，也可以为结节与结节之间距离的平方。依次计算第一结节影像中的各结节与第二结节影像中各结节之间的距离，然后对二分图使用KM算法，求解最小费用的二分图匹配，获得一组匹配结果。可选地，预先设置筛选阈值，将结节之间距离超过筛选阈值的匹配结果去除，被去除的匹配结果中的结节为失配结节。

下面以具体的例子进行说明，设定第一结节影像中包括结节A1、结节B1，位于二分图的第一侧，第二结节影像中包括结节A2、结节B2，位于二分图的第二侧，如图4所示。通过计算得到结节A1与结节A2之间的距离为1，结节A1与结节B2之间的距离为2，结节B1与结节A2之间的距离为3，结节B1与结节B2之间的距离为2。将结节A1与结节A2之间的距离与结节B1与结节B2之间的距离相加得到二分图费用为3，将结节A1与结节B2之间的距离与结节B1与结节A2之间的距离相加得到二分图费用为5，由此可见，最小费用的二分图对应的匹配结果为：结节A1与结节A2匹配，结节B1与结节B2匹配。

通过空间变换矩阵将各结节影像中各结节的第一坐标转换为标定坐标系的第二坐标，实现各结节影像中各结节的坐标统一，然后对同一坐标系下的各结节影像中的结节进行匹配，确定结节的变化情况，相较于人工比较的方法，其效率和精度更高。由于结节影像中，定位锚点的位置相对固定，通过先确定各结节影像中定位锚点的第一坐标，然后根据各结节影像的分割图像以及各结节影像中各定位锚点的第一坐标确定空间变换矩阵，提高了确定空间变换矩阵的效率，同时提高了结节匹配的准确性。

下面具体介绍一下通过卷积神经网络训练确定定位锚点检测模型过程。

在一种可能的实施方式中，定位锚点检测模型是通过3D卷积神经网络训练获取的，如图5所示，包括以下步骤：

步骤S501，获取结节影像作为训练样本。

具体地，可以将获取的多个结节影像直接作为训练样本，也可以对获取的多个结节影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。

步骤S502，人工标记训练样本中定位锚点的坐标。

具体地，可以通过医生等专业人员对训练样本进行标记。需要说明的是，人工标记训练样本中定位锚点与训练样本的增强操作不分先后，可以先人工标记训练样本中的定位锚点的坐标，然后再将标记定位锚点的坐标的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。

步骤S503，将训练样本输入3D卷积神经网络进行训练，确定定位锚点检测模型。

该3D卷积神经网络的结构包括输入层、3D卷积特征提取块、全连接模块、输出层。训练样本输入上述3D卷积神经网络后，输出定位锚点的坐标。进一步地，将输出的定位锚点的坐标与训练样本中预先标记的定位锚点的坐标以L1范数作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定定位锚点检测模型。

进一步地，采用上述训练确定的定位锚点检测模型确定结节影像中定位锚点的第一坐标的过程如图6所示，包括以下步骤：

步骤S601，将结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5。

步骤S602，将特征图像转换为特征向量并通过全连接模块将特征向量映射为结节影像中定位锚点的第一坐标，定位锚点的第一坐标为三维坐标。

可选地，定位锚点检测模型包括一个输入层、L个3D卷积特征提取块、q个全连接模块、一个输出层，其中L大于等于2小于等于5，L的具体取值根据实际情况确定，q大于0。进一步地，3D卷积特征提取块包括3D卷积模块和max pooling层，其中，3D卷积模块包括3D卷积层、批量化(BN)层、激励函数层，3D卷积特征提取块中各层的大小可以根据实际情况确定。采用3D卷积神经网络检测各结节影像中各定位锚点的第一坐标，相较于人工标定定位锚点的方法，其效率和准确性更高。

在另一种可能的实施方式中，定位锚点检测模型是通过3D卷积神经网络和2D卷积神经网络训练获取的，如图7所示，包括以下步骤：

步骤S701，获取结节影像作为第一类训练样本。

步骤S702，人工标记第一类训练样本中第一类定位锚点的坐标。

步骤S703，以第一类定位锚点的坐标为基础，从第一类训练样本中截取二维结节影像作为第二类训练样本。

步骤S704，人工标记第二类训练样本中第二类定位锚点的坐标。

步骤S705，将第一类训练样本输入3D卷积神经网络进行训练，将第二类训练样本输入2D卷积神经网络进行训练，确定定位锚点检测模型。

该3D卷积神经网络的结构包括输入层、3D卷积特征提取块、全连接模块、输出层。该2D卷积神经网络的结构包括输入层、2D卷积特征提取块、全连接模块、输出层。在训练时，将输出的定位锚点的坐标与训练样本中预先标记的定位锚点的坐标以L1范数作为目标函数，通过反向传播算法及sgd的优化方法反复迭代至目标函数收敛，确定定位锚点检测模型。

进一步地，采用上述训练确定的定位锚点检测模型确定结节影像中定位锚点的第一坐标的过程如图8所示，包括以下步骤：

步骤S801，将结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5。

步骤S802，将第一特征图像转换为第一特征向量并通过第一全连接模块将第一特征向量映射为所述结节影像中第一类定位锚点的第一坐标，第一类定位锚点的第一坐标为三维坐标。

步骤S803，根据第一类定位锚点的第一坐标从结节影像中截取二维结节影像。

步骤S804，将二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5。

步骤S805，将第二特征图像转换为第二特征向量并通过第二全连接模块将第二特征向量映射为二维结节影像中定位锚点的坐标。

步骤S806，根据二维结节影像中定位锚点的坐标以及第一类定位锚点的坐标确定第二类定位锚点的第一坐标，第二类定位锚点的第一坐标为三维坐标。

可选地，定位锚点检测模型包括第一定位锚点检测模型和第二定位锚点检测模型，其中第一定位锚点检测模型包括一个输入层、M个3D卷积特征提取块、a个第一全连接模块、一个输出层，其中M大于等于2小于等于5，M的具体取值根据实际情况确定，a大于0。进一步地，3D卷积特征提取块包括3D卷积模块和max pooling层，其中，3D卷积模块包括3D卷积层、批量化(BN)层、激励函数层，3D卷积特征提取块中各层的大小可以根据实际情况确定。第二定位锚点检测模型包括一个输入层、N个2D卷积特征提取块、b个第二全连接模块、一个输出层，其中N大于等于2小于等于5，N的具体取值根据实际情况确定，b大于0。进一步地，2D卷积特征提取块包括2D卷积模块和max pooling层，其中，2D卷积模块包括2D卷积层、批量化(BN)层、激励函数层，2D卷积特征提取块中各层的大小可以根据实际情况确定。

下面以具体的例子对上述过程进行说明，设定结节影像为肺部CT影像，第一类定位锚点为气管分叉处中心，第二类定位锚点为脊椎骨中心点和胸骨中心点。将肺部CT影像输入第一定位锚点检测模型后，确定气管分叉处中心的坐标为(1，2，3)。然后截取第三坐标z＝3所在的肺部CT影像平面作为二维结节影像，然后将二维结节影像输入第二定位锚点检测模型后，确定二维的脊椎骨中心点的坐标(4，5)和胸骨中心点的坐标(4，3)，之后再结合第三坐标z＝3可确定第二类定位锚点中脊椎骨中心点的坐标为(4，5，3)，胸骨中心点的坐标为(4，3，3)。可选的，在对肺部结节进行匹配时，可将左右肺肺尖也作为定位锚点，左右肺肺尖可通过寻找左右肺最接近头部位置的点来确定。

由于2D卷积神经网络确定二维坐标相较于3D卷积神经网络确定三维坐标来说，所使用的时间更短，故在定位锚点的数量较多时，采用3D卷积神经网络先检测出部分定位锚点的第一坐标，然后以检测出的定位锚点的第一坐标为基础对结节影像进行降维，确定二维结节影像，然后采用2D卷积神经网络检测二维结节影像中定位锚点的坐标，最后结合检测出的定位锚点的第一坐标和二维结节影像中定位锚点的坐标确定其余定位锚点的第一坐标，从而有效提高了检测定位锚点的第一坐标的效率。

基于相同的技术构思，本发明实施例提供了一种结节匹配装置，如图9所示，该装置可以执行结节匹配方法的流程，该装置900包括：获取模块901、处理模块902以及匹配模块903。

获取模块901，用于获取同一对象的各结节影像。

处理模块902，用于针对每个结节影像，确定所述结节影像中各结节和各定位锚点在所述结节影像中的第一坐标；根据所述各结节影像的分割图像以及所述各结节影像中各定位锚点的第一坐标，确定空间变换矩阵；根据所述空间变换矩阵将所述各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标。

匹配模块903，用于针对第一结节影像中的第一结节，根据所述各结节影像中各结节的第二坐标，确定所述第一结节在第二结节影像中的匹配结节；所述第一结节影像为所述各结节影像中的任一个，所述第一结节为所述第一结节影像中的任一结节，所述第二结节影像为所述各结节影像中除所述第一结节影像外的任一个。

可选地，所述处理模块902具体用于：

将各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；根据所述初步变换矩阵对各结节影像的分割图像进行细对齐确定空间变换矩阵。

可选地，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，所述定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

可选地，所述处理模块902具体用于：

针对每个结节影像，将所述结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5；将所述特征图像转换为特征向量并通过全连接模块将所述特征向量映射为所述结节影像中定位锚点的第一坐标，所述定位锚点的第一坐标为三维坐标。

可选地，所述处理模块902具体用于：所述定位锚点包括第一类定位锚点和第二类定位锚点；针对每个结节影像，将所述结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5；将所述第一特征图像转换为第一特征向量并通过第一全连接模块将所述第一特征向量映射为所述结节影像中所述第一类定位锚点的第一坐标，所述第一类定位锚点的第一坐标为三维坐标；根据所述第一类定位锚点的第一坐标从所述结节影像中截取二维结节影像；将所述二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5；将所述第二特征图像转换为第二特征向量并通过第二全连接模块将所述第二特征向量映射为所述二维结节影像中定位锚点的坐标；根据所述二维结节影像中定位锚点的坐标以及所述第一类定位锚点的坐标确定所述第二类定位锚点的第一坐标，所述第二类定位锚点的第一坐标为三维坐标。

本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行结节匹配方法的步骤。如图10所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器1001、处理器1002及存储在存储器上的计算机程序，所述处理器1002执行所述程序时实现上述实施例中的任一结节匹配方法的步骤。其中，存储器1001可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器1002提供存储器1001中存储的程序指令和数据。

进一步地，本申请实施例中所述的计算设备还可以包括输入装置1003以及输出装置1004等。输入装置1003可以包括键盘、鼠标、触摸屏等；输出装置1004可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)，触摸屏等。存储器1001，处理器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。处理器1002调用存储器1001存储的程序指令并按照获得的程序指令执行上述实施例提供的结节匹配方法。

本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行结节匹配方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种结节匹配方法，其特征在于，包括：

获取同一对象的各结节影像；

针对每个结节影像，确定所述结节影像中各结节和各定位锚点在所述结节影像中的第一坐标；

根据所述各结节影像的分割图像以及所述各结节影像中各定位锚点的第一坐标，确定空间变换矩阵；

根据所述空间变换矩阵将所述各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标；

针对第一结节影像中的第一结节，根据所述各结节影像中各结节的第二坐标，确定所述第一结节在第二结节影像中的匹配结节；所述第一结节影像为所述各结节影像中的任一个，所述第一结节为所述第一结节影像中的任一结节，所述第二结节影像为所述各结节影像中除所述第一结节影像外的任一个。

2.如权利要求1所述的方法，其特征在于，所述根据所述各结节影像的分割图像以及所述各结节影像中各定位锚点的第一坐标，确定空间变换矩阵，包括：

将所述各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；

根据所述初步变换矩阵对所述各结节影像的分割图像进行细对齐确定所述空间变换矩阵。

3.如权利要求1或2所述的方法，其特征在于，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，所述定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

4.如权利要求3所述的方法，其特征在于，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，包括：

针对每个结节影像，将所述结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5；将所述特征图像转换为特征向量并通过全连接模块将所述特征向量映射为所述结节影像中定位锚点的第一坐标，所述定位锚点的第一坐标为三维坐标。

5.如权利要求3所述的方法，其特征在于，所述定位锚点包括第一类定位锚点和第二类定位锚点；

所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，包括：

针对每个结节影像，将所述结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5；

将所述第一特征图像转换为第一特征向量并通过第一全连接模块将所述第一特征向量映射为所述结节影像中所述第一类定位锚点的第一坐标，所述第一类定位锚点的第一坐标为三维坐标；

根据所述第一类定位锚点的第一坐标从所述结节影像中截取二维结节影像；

将所述二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5；

将所述第二特征图像转换为第二特征向量并通过第二全连接模块将所述第二特征向量映射为所述二维结节影像中定位锚点的坐标；

根据所述二维结节影像中定位锚点的坐标以及所述第一类定位锚点的坐标确定所述第二类定位锚点的第一坐标，所述第二类定位锚点的第一坐标为三维坐标。

6.一种结节匹配装置，其特征在于，包括：

获取模块，用于获取同一对象的各结节影像；

处理模块，用于针对每个结节影像，确定所述结节影像中各结节和各定位锚点在所述结节影像中的第一坐标；根据所述各结节影像的分割图像以及所述各结节影像中各定位锚点的第一坐标，确定空间变换矩阵；根据所述空间变换矩阵将所述各结节影像中的各结节的第一坐标转换为标定坐标系的第二坐标；

匹配模块，用于针对第一结节影像中的第一结节，根据所述各结节影像中各结节的第二坐标，确定所述第一结节在第二结节影像中的匹配结节；所述第一结节影像为所述各结节影像中的任一个，所述第一结节为所述第一结节影像中的任一结节，所述第二结节影像为所述各结节影像中除所述第一结节影像外的任一个。

7.如权利要求6所述的装置，其特征在于，所述处理模块具体用于：

将所述各结节影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；

根据所述初步变换矩阵对所述各结节影像的分割图像进行细对齐确定所述空间变换矩阵。

8.如权利要求6或7所述的装置，其特征在于，所述各结节影像中各定位锚点的第一坐标是根据定位锚点检测模型确定的，所述定位锚点检测模型是采用卷积神经网络对已标记定位锚点的第一坐标的多个结节影像进行训练后确定的。

9.如权利要求8所述的装置，其特征在于，所述处理模块具体用于：

针对每个结节影像，将所述结节影像依次通过L个3D卷积特征提取块进行特征图像的提取，L大于等于2小于等于5；

将所述特征图像转换为特征向量并通过全连接模块将所述特征向量映射为所述结节影像中定位锚点的第一坐标，所述定位锚点的第一坐标为三维坐标。

10.如权利要求8所述的装置，其特征在于，所述处理模块具体用于：

所述定位锚点包括第一类定位锚点和第二类定位锚点；

针对每个结节影像，将所述结节影像依次通过M个3D卷积特征提取块进行第一特征图像的提取，M大于等于2小于等于5；

将所述第一特征图像转换为第一特征向量并通过第一全连接模块将所述第一特征向量映射为所述结节影像中所述第一类定位锚点的第一坐标，所述第一类定位锚点的第一坐标为三维坐标；

根据所述第一类定位锚点的第一坐标从所述结节影像中截取二维结节影像；

将所述二维结节影像依次通过N个2D卷积特征提取块进行第二特征图像的提取，N大于等于2小于等于5；

将所述第二特征图像转换为第二特征向量并通过第二全连接模块将所述第二特征向量映射为所述二维结节影像中定位锚点的坐标；

根据所述二维结节影像中定位锚点的坐标以及所述第一类定位锚点的坐标确定所述第二类定位锚点的第一坐标，所述第二类定位锚点的第一坐标为三维坐标。

11.一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行权利要求1～5任一权利要求所述方法的步骤。

12.一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行权利要求1～5任一所述方法的步骤。