本申请要求在2018年4月9日提交中华人民共和国知识产权局、申请号为201810312597.1、发明名称为“一种检测结节长短径长度的方法及装置”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
发明内容
本发明实施例提供一种检测结节长短径长度的方法及装置,用于解决现有技术中通过医生主观判断结节的大小存在效率低且精度不高的问题。
本发明实施例提供了一种检测结节长短径长度的方法,该方法包括:获取结节影像中结节的三维坐标,然后根据所述结节的三维坐标从所述结节影像中确定包含所述结节的感兴趣区域(Region of Interest,简称ROI),接着根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域,所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的。最后通过对所述结节区域进行测量确定所述结节的长短径长度。由于采用卷积神经网络对已标记结节区域的结节影像进行训练确定结节分割模型,故在获取需要检测结节长短径长度时,将结节影像输入结节分割模型即可自动确定出结节影像中结节区域,进一步对结节区域进行测量即可确定结节长短径长度,相较于人工手动标定结节区域后确定结节长短径长度的方法,有效地提高了检测效率。其次,采用结节分割模型确定结节影像中结节区域之前,根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI,然后结合ROI以及结节分割模型确定结节影像中的结节区域,从而提高了检测结节区域的精度和效率。
可选地,所述根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域,包括:将所述ROI依次通过M个3D卷积特征提取块提取所述ROI的特征图像,M大于0;将所述ROI的特征图像经下采样块转化为三维感知视野图像;通过上采样块对所述三维感知视野图像进行反卷积,确定所述ROI的三维概率分布图;根据所述ROI的三维概率分布图确定所述结节区域。采用3D卷积神经网络从结节影像中分割出结节区域,相较于人工标定结节区域的方法,其效率和准确性更高。
可选地,所述根据所述ROI的三维概率分布图确定所述结节区域,包括:
根据预设阈值对所述ROI的三维概率分布图进行分割,将所述RIO的概率分布图中概率大于所述预设阈值的像素块确定为所述结节区域。
可选地,所述根据所述结节的三维坐标从所述结节影像中确定包含结节的感兴趣区域ROI,包括:以所述结节的三维坐标为中心,向周围扩展预设距离,确定包含所述结节的像素立方体,所述预设距离为所述结节的半径的预设倍数;对所述像素立方体中每一个像素附加一个空间信息通道,确定感兴趣区域(ROI),所述空间信息通道为所述像素与所述结节的三维坐标之间的距离。
可选地,所述通过对所述结节区域进行测量确定所述结节的长短径长度,包括:采用协方差矩阵分解或椭球拟合对所述结节区域进行测量确定所述结节的长短径长度。由于结节的形状近似椭球,采用椭球拟合的方法测量结节的长短径长度能有效提高检测精度。
本发明实施例提供了一种检测结节长短径长度的装置,该装置包括获取模块,用于获取结节影像中结节的三维坐标。
定位模块,用于根据所述结节的三维坐标从所述结节影像中确定包含所述结节的感兴趣区域ROI。
分割模块,用于根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域,所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的。
测量模块,用于通过对所述结节区域进行测量确定所述结节的长短径长度。
可选地,所述分割模块具体用于:
将所述ROI依次通过M个3D卷积特征提取块提取所述ROI的特征图像,M大于0;
将所述ROI的特征图像经下采样块转化为三维感知视野图像;
通过上采样块对所述三维感知视野图像进行反卷积,确定所述ROI的三维概率分布图;
根据所述ROI的三维概率分布图确定所述结节区域。
可选地,所述分割模块具体用于:
根据预设阈值对所述ROI的三维概率分布图进行分割;
将所述RIO的概率分布图中概率大于所述预设阈值的像素块确定为所述结节区域。
可选地,所述定位模块具体用于:
以所述结节的三维坐标为中心,向周围扩展预设距离,确定包含所述结节的像素立方体,所述预设距离为所述结节的半径的预设倍数;
对所述像素立方体中每一个像素附加一个空间信息通道,确定感兴趣区域ROI,所述空间信息通道为所述像素与所述结节的三维坐标之间的距离。
可选地,所述测量模块具体用于:
采用协方差矩阵分解或椭球拟合对所述结节区域进行测量确定所述结节的长短径长度。
本发明实施例提供了一种计算设备,包括至少一个处理单元以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行上述任一项所述方法的步骤。
本发明实施例提供了一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在所述计算设备上运行时,使得所述计算设备执行上述任一项所述方法的步骤。
本发明实施例中,采用卷积神经网络对已标记结节区域的结节影像进行训练确定结节分割模型,通过结节分割模型能自动从结节影像中确定结节区域,然后进一步确定结节长短径长度,相较于人工标记出结节影像中的结节区域再进行测量的方法,本发明实施例的方法效率更高。其次,根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI,然后通过结节分割模型从ROI中确定结节区域,相较于直接将结节影像输入结节分割模型确定结节区域的方法,本发明实施例检测结节区域的精度更高,进一步也提高检测结节长短径长度的精度。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1例性示出了本发明实施例提供的一种检测结节长短径长度的方法的流程,该流程可以由检测结节长短径长度的装置执行,如图1所示,该流程的具体步骤包括:
步骤S101,获取结节影像中结节的三维坐标。
结节影像为三维图像,结节的三维坐标可以为结节内的点的三维坐标(比如结节中心点的三维坐标),也可以是结节表面的点的三维坐标。结节包括但不限于肺结节、甲状腺结节、乳腺结节。结节影像可以是计算机体层摄影(Computed Tomography,简称CT)影像、磁共振成像(Magnetic Resonance Imaging,简称MRI)影像等等,为了更清楚的描述结节影像,图2示例性示出了一名患者的肺部CT影像。
步骤S102,根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI。
具体地,以结节的三维坐标为中心,向周围扩展预设距离,确定包含结节的像素立方体,预设距离为结节的半径的预设倍数,比如结节半径的1.25倍。然后截取此像素立方体,并插值缩放到一定的大小。之后再对像素立方体中每一个像素附加一个空间信息通道,输出感兴趣区域ROI,空间信息通道为像素与结节的三维坐标之间的距离。
步骤S103,根据ROI以及结节分割模型从结节影像中分割出结节区域。
结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的。
在一种可能的实施方式中,可以直接将结节影像输入结节分割模型,通过结节分割模型输出结节区域。
在另一种可能的实施方式中,可以将结节影像中的ROI输入结节分割模型,通过结节分割模型输出结节区域。具体地,ROI的大小可以根据实际情况进行设定,由于根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI,故缩小了检测结节的区域,相较于将整张结节影像输入结节分割模型确定结节区域的方法,将ROI输入结节分割模型确定结节区域能有效提高结节区域的检测精度和检测效率。
步骤S104,通过对结节区域进行测量确定结节的长短径长度。
本发明实施例中,采用卷积神经网络对已标记结节区域的结节影像进行训练确定结节分割模型,通过结节分割模型能自动从结节影像中确定结节区域,然后进一步确定结节长短径长度,相较于人工标记出结节影像中的结节区域再进行测量的方法,本发明实施例的方法效率更高。其次,根据结节的三维坐标从结节影像中确定包含结节的感兴趣区域ROI,然后通过结节分割模型从ROI中确定结节区域,相较于直接将结节影像输入结节分割模型确定结节区域的方法,本发明实施例检测结节区域的精度更高,进一步也提高检测结节长短径长度的精度。
在一种可能的实施方式中,采用协方差矩阵分解对结节区域进行测量确定结节的长短径长度。具体过程为:将结节区域的像素集合展开为N×3的矩阵,对此计算协方差矩阵。然后对协方差矩阵进行奇异值分解(Singular value decomposition,简称SVD),得到一特征向量、一个变换矩阵和一个逆变换矩阵。通过分解得到的变换矩阵,对结节区域的像素集合进行变换,得到新空间坐标系中的各轴。将各轴通过逆变换矩阵转换会原空间,得到原空间坐标系中各轴,原空间坐标系中最长轴的长度即为结节的长径长度,最短轴的长度即为结节的短径长度。
在一种可能的实施方式中,采用椭球拟合对结节区域进行测量确定结节的长短径长度。具体过程如图3所示,包括以下步骤:
步骤S301,获取结节区域边界上的N个点的坐标,N大于等于10。
步骤S302,根据N个点的坐标以及椭球方程拟合结节区域对应的椭球及椭球方程。
椭球方程如式(1)所示:
Ax2+By2+Cz2+Dxy+Eyz+Fxz+Gx+Hy+Iz+J=0.........(1)
其中,A、B、C、D、E、F、G、H、I、J为需要求解的10个参数,通过将获取结节区域边界上的10个点的坐标代入公式(1),即可求得结节区域对应的椭球及椭球方程。
步骤S303,根据结节区域对应的椭球方程确定结节区域对应的椭球的长轴长度和短轴长度。
椭球的长轴为椭球中最长的轴,椭球的短轴为椭球中最短的轴。
步骤S304,将结节区域对应的椭球的长轴长度确定为结节的长径长度。
步骤S305,将结节区域对应的椭球的短轴长度确定为结节的短径长度。
由于结节的形状近似椭球,故将结节拟合为椭球,然后通过测量椭球的长轴和短轴来确定结节长短径长度,从而一方面简化了测量结节的长短径长度的过程,另一方面提高了测量结节的长短径长度的精度。
下面具体介绍一下通过卷积神经网络训练确定结节分割模型过程,如图4所示包括以下步骤:
步骤S401,获取结节影像作为训练样本。
具体地,可以将获取的多幅结节影像直接作为训练样本,也可以对获取的多幅结节影像进行增强操作,扩大训练样本的数据量,增强操作包括但不限于:随机上下左右平移设定像素(比如0~20像素)、随机旋转设定角度(比如-15~15度)、随机缩放设定倍数(比如0.85~1.15倍)。
步骤S402,人工标记训练样本中结节区域。
可以通过医生等专业人员对训练样本进行标记。具体地,可以由多名医生对结节区域进行标注,并通过多人投票合成的方式确定最终的结节区域,结果用掩码图的方式保存。需要说明的是,人工标记训练样本中结节区域与训练样本的增强操作不分先后,可以先人工标记训练样本中的结节区域,然后再将标记结节区域的训练样本进行增强操作,也可以先将训练样本进行增强操作,然后人工对增强操作后的训练样本进行标记。
步骤S403,将训练样本输入3D卷积神经网络进行训练,确定结节分割模型。
在一种可能的实施方式中,可以直接将已标记结节区域的结节影像作为训练样本输入3D卷积神经网络进行训练,确定结节分割模型。
在另一种可能的实施方式中,可以对已标记结节区域的结节影像进行处理后作为训练样本输入3D卷积神经网络进行训练,确定结节分割模型,具体过程为:针对任意一个已标记结节区域的结节影像,人工标记该结节影像中结节的三维坐标,然后以结节的三维坐标为中心,向周围扩展预设距离,确定包含结节的像素立方体,预设距离为结节的半径的预设倍数。对像素立方体中每一个像素附加一个空间信息通道,确定感兴趣区域ROI,空间信息通道为像素与结节的三维坐标之间的距离。之后再将已标记结节区域的ROI作为训练样本输入3D卷积神经网络进行训练,确定结节分割模型。
该卷积神经网络的结构包括输入层、3D卷积特征提取块、下采样块、上采样块以及输出层,将训练样本输入上述卷积神经网络之后,输出训练样本的概率分布图,将输出的概率分布图与预先标记的训练样本的掩码图进行损失函数计算,然后采用反向传播算法以及sgd优化算法反复迭代,确定结节分割模型。
进一步地,采用上述训练确定的结节分割模型确定结节影像中的结节区域的过程如图5所示,包括以下步骤:
步骤S501,将所ROI依次通过M个3D卷积特征提取块提取ROI的特征图像,M大于0。
步骤S502,将ROI的特征图像经下采样块转化为三维感知视野图像。
步骤S503,通过上采样块对三维感知视野图像进行反卷积,确定ROI的三维概率分布图。
可选地,结节分割模型包括一个输入层、M个3D卷积特征提取块、x个下采样块、y个上采样块及一个输出层,M、x、y均大于0,M、x、y具体取值根据实际情况确定。进一步地,3D卷积特征提取块包括3D卷积层、批量化(BN)层、激励函数层,各层的大小可以根据实际情况确定,比如3D卷积特征提取块包括一个3*3*3的卷积层,一个BN层和一个relu激励函数层。下采样块包括3D max pooling下采样层以及3D卷积特征提取块,上采样块包括反卷积上采样层、连接层以及3D卷积特征提取块,其中全连接层连接下采样块的输出结果。
步骤S504,根据ROI的三维概率分布图确定结节区域。
可选地,根据预设阈值对ROI的三维概率分布图进行分割,将ROI的三维概率分布图分割为概率大于预设阈值的像素块和概率小于预设阈值的像素块,然后将RIO的概率分布图中大于预设阈值的像素块确定为结节区域。可选地,当RIO的概率分布图中概率大于预设阈值的像素块为多个时,将体积最大的像素块确定为结节区域。采用上述卷积神经网络对已标记结节区域的多幅结节影像进行训练后,确定结节分割模型,故通过结节分割模型能自动从结节影像中确定结节区域,而不需要人工在结节影像中标定结节区域,然后估计结节长短径长度,从而提高了检测结节的长短径长度的效率。
基于相同的技术构思,本发明实施例提供了一种检测结节长短径长度的装置,如图6所示,该装置可以执行检测结节长短径长度的方法的流程,该装置600包括获取模块601、定位模块602、分割模块603以及测量模块604。
获取模块601,用于获取结节影像中结节的三维坐标。
定位模块602,用于根据所述结节的三维坐标从所述结节影像中确定包含所述结节的感兴趣区域ROI。
分割模块603,用于根据所述ROI以及结节分割模型从所述结节影像中分割出结节区域,所述结节分割模型是采用卷积神经网络对已标记结节区域的多幅结节影像进行训练后确定的。
测量模块604,用于通过对所述结节区域进行测量确定所述结节的长短径长度。
可选地,所述分割模块603具体用于:
将所述ROI依次通过M个3D卷积特征提取块提取所述ROI的特征图像,M大于0;
将所述ROI的特征图像经下采样块转化为三维感知视野图像;
通过上采样块对所述三维感知视野图像进行反卷积,确定所述ROI的三维概率分布图;
根据所述ROI的三维概率分布图确定所述结节区域。
可选地,所述分割模块603具体用于:
根据预设阈值对所述ROI的三维概率分布图进行分割;
将所述RIO的概率分布图中概率大于所述预设阈值的像素块确定为所述结节区域。
可选地,所述定位模块602具体用于:
以所述结节的三维坐标为中心,向周围扩展预设距离,确定包含所述结节的像素立方体,所述预设距离为所述结节的半径的预设倍数;
对所述像素立方体中每一个像素附加一个空间信息通道,确定感兴趣区域ROI,所述空间信息通道为所述像素与所述结节的三维坐标之间的距离。
可选地,所述测量模块604具体用于:
采用协方差矩阵分解或椭球拟合对所述结节区域进行测量确定所述结节的长短径长度。
本发明实施例提供了一种计算设备,包括至少一个处理单元以及至少一个存储单元,其中,所述存储单元存储有计算机程序,当所述程序被所述处理单元执行时,使得所述处理单元执行检测结节长短径长度的方法的步骤。如图7所示,为本发明实施例中所述的计算设备的硬件结构示意图,该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地,该计算设备可以包括存储器701、处理器702及存储在存储器上的计算机程序,所述处理器702执行所述程序时实现上述实施例中的任一检测结节长短径长度的方法的步骤。其中,存储器701可以包括只读存储器(ROM)和随机存取存储器(RAM),并向处理器702提供存储器701中存储的程序指令和数据。
进一步地,本申请实施例中所述的计算设备还可以包括输入装置703以及输出装置704等。输入装置703可以包括键盘、鼠标、触摸屏等;输出装置704可以包括显示设备,如液晶显示器(Liquid Crystal Display,LCD)、阴极射线管(Cathode Ray Tube,CRT),触摸屏等。存储器701,处理器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。处理器702调用存储器701存储的程序指令并按照获得的程序指令执行上述实施例提供的检测结节长短径长度的方法。
本发明实施例还提供了一种计算机可读存储介质,其存储有可由计算设备执行的计算机程序,当所述程序在计算设备上运行时,使得所述计算设备执行检测结节长短径长度的方法的步骤。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。