发明内容
本发明实施例提供一种分析肺结节的方法及装置,以提高分析肺结节的准确率。
本发明实施例提供一种分析肺结节的方法,所述方法包括:
获取患者的肺部电子计算机断层扫描(Computed Tomography,CT)图像;
确定所述患者的肺结节在所述患者的肺部CT图像中的位置,并从所述患者的肺部CT图像中提取得到所述患者的肺结节图像;其中,所述肺部CT图像和所述肺结节图像均为三维图像;
采用预设特征提取神经网络模型对所述患者的肺结节图像进行特征提取,得到所述患者对应的特征向量;所述预设特征提取神经网络模型的参数是通过对所述多个患者的肺结节图像进行训练得到的;
将所述患者对应的特征向量输入预设分类神经网络模型,并得到所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果;其中,所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的已知结果进行训练得到的。
如此,本发明实施例采用预设特征提取神经网络模型,并结合预设分类神经网络来对肺结节进行分析,由于以上模型均是通过对大量数据进行训练得到的,从而使得通过模型得到的结果较为合理,且具有一定的科学依据。相比于传统的医生诊断的方式而言,能够降低因医生水平差异导致的诊断误差率,从而提高肺结节分析的准确性。
在一种可能的实现方式中,所述预设分类神经网络模型为预设征象分类神经网络模型;所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的征象进行训练得到的;
所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果为所述患者患有的肺结节的征象。
如此,相比于现有技术中医生通过人为诊断的方式来判断肺结节的征象而言,本发明实施例采用预设特征提取神经网络模型,并结合预设征象分类神经网络来判断肺结节的征象,能够降低因医生水平差异导致的诊断误差率,从而提高确定肺结节征象的准确性。
在一种可能的实现方式中,所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的已知结果进行训练得到的,包括:
将所述多个患者对应的特征向量输入到初始的征象分类神经网络模型,得到每个患者患有的肺结节的预测征象;
根据所述每个患者患有的肺结节的预测征象以及每个患者患有的肺结节的实际征象,进行反向训练,生成所述预设征象分类神经网络模型。
如此,通过预测征象和实际征象之间的对比,可以准确的调整预设征象分类神经网络模型的参数,提高生成的预设征象分类神经网络模型的准确度。
在一种可能的实现方式中,将所述患者对应的特征向量输入预设分类神经网络模型,并得到所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果,包括:
将所述患者对应的特征向量输入预设分类神经网络模型,得到得到多个预设征象对应的置信度;
针对第一预设征象对应的置信度,若所述第一预设征象对应的置信度大于预设阈值,则将所述第一预设征象作为所述患者患有的肺结节的征象;所述第一预设征象为所述多个预设征象中的任一征象。
如此,通过每个征象的置信度与预设阈值的对比,将置信度大于预设阈值的征象作为患者患有的肺结节的征象,从而能够有效避免忽略同一个肺结节存在多种征象的情况。
在一种可能的实现方式中,所述征象包括分叶征象、毛刺征象、空泡征象、胸膜牵拉征象中的任意一项。
本发明实施例提供一种分析肺结节的装置,所述装置包括:
获取单元,用于获取患者的肺部电子计算机断层扫描CT图像;
处理单元,用于确定所述患者的肺结节在所述患者的肺部CT图像中的位置,并从所述患者的肺部CT图像中提取得到所述患者的肺结节图像;其中,所述肺部CT图像和所述肺结节图像均为三维图像;
所述处理单元,还用于采用预设特征提取神经网络模型对所述患者的肺结节图像进行特征提取,得到所述患者对应的特征向量;所述预设特征提取神经网络模型的参数是通过对所述多个患者的肺结节图像进行训练得到的;以及将所述患者对应的特征向量输入预设分类神经网络模型,并得到所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果;其中,所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的已知结果进行训练得到的。
在一种可能的实现方式中,所述预设分类神经网络模型为预设征象分类神经网络模型;所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的征象进行训练得到的;
所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果为所述患者患有的肺结节的征象。
在一种可能的实现方式中,所述处理单元具体用于:
将所述多个患者对应的特征向量输入到初始的征象分类神经网络模型,得到每个患者患有的肺结节的预测征象;
根据所述每个患者患有的肺结节的预测征象以及每个患者患有的肺结节的实际征象,进行反向训练,生成所述预设征象分类神经网络模型。
在一种可能的实现方式中,所述处理单元具体用于:
将所述患者对应的特征向量输入预设分类神经网络模型,得到得到多个预设征象对应的置信度;
针对第一预设征象对应的置信度,若所述第一预设征象对应的置信度大于预设阈值,则将所述第一预设征象作为所述患者患有的肺结节的征象;所述第一预设征象为所述多个预设征象中的任一征象。
在一种可能的实现方式中,所述征象包括分叶征象、毛刺征象、空泡征象、胸膜牵拉征象中的任意一项。
本发明实施例还提供一种装置,所述装置可以为分析肺结节的装置,所述装置包括:
存储器,用于存储软件程序;
处理器,用于读取所述存储器中的软件程序并执行上述各种可能的实现方式中所描述的分析肺结节的方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的分析肺结节的方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的分析肺结节的方法。
具体实施方式
下面结合说明书附图对本申请进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例中。
图1示例性示出了本发明实施例提供的一种分析肺结节的方法所对应的流程示意图,如图1所示,包括如下步骤:
步骤101,获取患者的肺部电子计算机断层扫描CT图像。
步骤102,确定所述患者的肺结节在所述患者的肺部CT图像中的位置,并从所述患者的肺部CT图像中提取得到所述患者的肺结节图像。
步骤103,采用预设特征提取神经网络模型对所述患者的肺结节图像进行特征提取,得到所述患者对应的特征向量。
步骤104,将所述患者对应的特征向量输入预设分类神经网络模型,并得到所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果。
本发明实施例采用预设特征提取神经网络模型,并结合预设分类神经网络来对肺结节进行分析,由于以上模型均是通过对大量数据进行训练得到的,从而使得通过模型得到的结果较为合理,且具有一定的科学依据。相比于传统的医生诊断的方式而言,能够降低因医生水平差异导致的诊断误差率,从而提高肺结节分析的准确性。
具体来说,步骤101中,肺部CT图像是指利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的肺部作一个接一个的断面扫描所得到的图像。本发明实施例中,肺部CT图像可以为由X线束、γ射线、超声波等,与灵敏度极高的探测器扫描得到的初始肺部CT图像;或者,肺部CT图像也可以为对初始肺部CT图像进行预处理后得到的图像。
进一步地,对初始肺部CT图像进行变形处理的处理方式有多种,比如,可以对初始肺部CT图像采取平移、旋转、缩放等处理方式进行变形处理,从而能够扩大肺部CT图像的数据量。具体实施过程中,本领域技术人员可以仅采用上述一种处理方式对初始肺部CT图像进行变形处理,或者也可以采用多种处理方式对初始肺部CT图像进行变形处理,具体不做限定。
步骤102中,本领域技术人员应知,肺部CT图像为三维图像,因此,从肺部CT图像中提取得到的肺结节图像也为三维图像。
进一步地,提取肺结节图像的方式有多种,一种可能的实现方式为,在确定患者的肺结节在患者的肺部CT图像中的位置后,可以从患者的肺部CT图像中提取得到所述患者的肺结节图像。具体来说,可以先确定患者的肺结节在患者的肺部CT图像中的中心坐标和半径,然后根据中心坐标和半径,从患者的肺部CT图像中提取得到患者的肺结节图像。
举个例子,如图2a所示,为肺部CT图像的一种示例的示意图。该肺部CT图像中存在肺结节A,且肺结节A的中心坐标为(x0,y0,z0),肺结节A的半径为r,则可以根据中心坐标(x0,y0,z0)为中心点,以半径r的2倍为边长,如图2b所示,所得到的区域(正方体)即为肺结节A对应的肺结节图像。
考虑到实际情况中,每个肺结节的大小并不一致,且每个肺结节可能为不规则图形。基于上述这种情况,本发明实施例中,可以以肺结节的中心坐标为中心点,以肺结节的长径的2.5倍、3倍为边长,并将所得到的区域作为肺结节图像。如此,能够保证所得到的肺结节图像能够包括整个肺结节所在的区域,避免遗漏肺结节的部分图像。
需要说明的是,肺结节图像对应的区域可以为多种形状,上文所描述的立方体形的肺结节图像对应的区域仅为一种示例,在其它可能的示例中,肺结节图像对应的区域也可以为球体或其他形状。
在其它可能的提取肺结节图像的实现方式中,也可以根据肺结节在肺部CT中的位置,根据肺结节的轮廓,提取得到肺结节图像,具体不做限定。
更进一步地,在得到肺结节图像之后,可以将肺结节图像进行数据增强,从而扩大预设特征提取神经网络模型的训练样本量,进而提高预设特征提取神经网络模型的准确度。本发明实施例中,数据增强的方式有多种,比如,可以对肺结节图像采用随机水平镜像的方式进行数据增强;或者,也可以对肺结节图像采用随机上、下、左、右平移的方式进行数据增强;或者,也可以对肺结节图像采用随机旋转的方式进行数据增强;或者,还可以对肺结节图像采用随机缩放的方式进行数据增强,具体不做限定。
步骤103中,预设特征提取神经网络模型的参数可以是通过对多个患者的肺结节图像进行训练得到的。其中,预设特征提取神经网络模型可以为浅层神经网络模型,即该预设特征提取神经网络可以包括N个卷积模块,且,N小于或等于第一阈值。本领域技术人员可以根据经验和实际情况来设定第一阈值的具体数值,此处不做限定。
为了根据更加清楚地描述上文所涉及的预设特征提取神经网络模型,图3示例性示出了本发明实施例提供的一种预设特征提取神经网络模型的结构示意图。该预设特征提取神经网络模型可以包括三个卷积模块。如图3所示,三个卷积模块分别为第一卷积模块301、第二卷积模块302和第三卷积模块303;其中,每个卷积模块又可以包括卷积层、与卷积层连接的归一化(Batch Normalization,BN)层、与BN层连接的激活函数层、以及与激活函数层连接的max pooling层,如图3示出的第一卷积模块301包括第一卷积层3011、第一BN层3012、第一激活函数层3013和第一max pooling层3014,第二卷积模块302包括第二卷积层3021、第二BN层3022、第二激活函数层3023和第二max pooling层3024,第三卷积模块303包括第三卷积层3031、第三BN层3032、第三激活函数层3033和第三max pooling层3034。
需要说明的是:(1)图3中示出的激活函数可以为多种类型的激活函数,比如,可以为线性整流函数(Rectified Linear Unit,ReLU),具体不做限定;(2)图3中示出的各个卷积层的卷积核大小、max pooling层的卷积核大小、每个卷积模块提取的特征通道数值可以为本领域技术人员根据经验和实际情况设定并调整得到的,具体不做限定;(3)由于本发明实施例中输入的图像为三维图像,因此,本发明实施例中的预设特征提取神经网络模型可以为(3Dimensions,3D)卷积神经网络,相应地,3D卷积神经网络对应的卷积核大小可以为m*m*m,其中,m为大于或等于1的整数。
上文所描述的患者对应的特征向量的确定方式仅为一种可能的实现方式,在其它可能的实现方式中,也可以通过其它方式确定患者对应的特征向量,具体不做限定。
步骤104中,预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的已知结果进行训练得到的。
图4示例性示出了本发明实施例提供的一种预设分类神经网络模型的结构示意图,如图4所示,该预设分类神经网络模型包括第一全连接层401、第二全连接层402和sigmoid层403。待确诊患者对应的特征向量可以依次通过第一全连接层401、第二全连接层402进行计算后,再由sigmoid层403进行分类后输出分类结果,从而得到患者患有的肺结节的分析结果。
为了更加清楚地描述上文所述的预设分类神经网络对肺结节的分析过程,下面以对肺结节的征象进行分析为例,进行具体说明。其中,预设分类神经网络模型可以为预设征象分类神经网络模型,并且,预设征象分类神经网络模型输出的所述患者患有的肺结节的分析结果为所述患者患有的肺结节的征象。本发明实施例中,预设征象分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的征象进行训练得到的。
进一步地,肺结节的征象可以包括多种类型,比如,如图5a所示,肺结节的征象可以为分叶征象;又比如,如图5b所示,肺结节的征象可以为毛刺征象;又比如,如图5c所示,肺结节的征象可以为空泡征象;又比如,如图5d所示,肺结节的征象可以为胸膜牵拉征象,具体不做限定。
如表1所示,为多个患者的特征向量及患有的肺结节的征象的一种示例。患者1的特征向量为X1,患有的肺结节的征象为毛刺征象;患者2的特征向量为X2,患有的肺结节的征象为胸膜牵拉征象;患者3的特征向量为X3,患有的肺结节的征象为毛刺征象;患者4的特征向量为X4,患有的肺结节的征象为分叶征象;患者5的特征向量为X5,患有的肺结节的征象为空泡征象。
表1:多个患者的特征向量及患有的肺结节的征象的一种示例
编号 |
特征向量 |
肺结节的征象 |
患者1 |
X1 |
毛刺 |
患者2 |
X2 |
胸膜牵拉 |
患者3 |
X3 |
毛刺 |
患者4 |
X4 |
分叶 |
患者5 |
X5 |
空泡 |
…… |
…… |
…… |
进一步地,将表1中示出的多个患者的特征向量,以及每个患者患有的肺结节的征象输入预设征象分类神经网络模型中,可以确定预设征象分类神经网络模型的参数。具体来说,可以先将多个患者对应的特征向量输入到初始的征象分类神经网络模型,得到每个患者患有的肺结节的预测征象,然后根据每个患者患有的肺结节的预测征象以及每个患者患有的肺结节的实际征象,进行反向训练,生成预设征象分类神经网络模型。
需要说明的是,在训练预设征象分类神经网络模型时,多个患者患有的肺结节的实际征象可以由医生来确定。
举个例子,以表1中示出的患者1为例,将患者1对应的特征向量X1输入预设征象分类神经网络中,通过前向传播,可以得到一个4维的结果向量其中,y1为分叶征象对应的置信度;y2为毛刺征象对应的置信度;y3为空泡征象对应的置信度;y4为胸膜牵拉征象对应的置信度。根据该征象分类神经网络的结果向量得到患者1对应的预测征象;进一步地,若患者1对应的预测征象为分叶征象,而患者1对应的实际征象根据表1示出的内容为毛刺征象,这样预设征象分类神经网络模型的预测结果与实际结果之间就存在误差,即损失(loss)函数值。进而,可以使用反向传播算法,根据随机梯度下降(Stochasticgradient descent,SGD)算法沿着损失(loss)函数值下降的方向调整预设征象分类神经网络模型的参数。如此,通过预测征象和实际征象之间的对比,可以准确的调整预设征象分类神经网络模型的参数,提高生成的预设征象分类神经网络模型的准确度。
本发明实施例中,患者患有的肺结节的征象的确定方式可以有多种,一个示例中,可以将将所述患者对应的特征向量输入预设分类神经网络模型,得到得到多个预设征象对应的置信度,进而可将置信度最高的预设征象作为患者患有的肺结节的征象。
另一个示例中,考虑到同一个肺结节可能存在多种征象,比如,某患者患有的肺结节的征象可以为毛刺征象和分叶征象。在这种情况下,可以先将患者对应的特征向量输入预设分类神经网络模型,得到得到多个预设征象对应的置信度,进而针对第一预设征象对应的置信度,若所述第一预设征象对应的置信度大于预设阈值,则将所述第一预设征象作为所述患者患有的肺结节的征象,其中,第一预设征象为多个预设征象中的任一征象。
举个例子,若患者对应的特征向量为X1’,将该患者对应的特征向量X1’输入预设征象分类神经网模型中后,所得到的结果向量其中,y1’为分叶征象对应的置信度;y2’为毛刺征象对应的置信度;y3’为空泡征象对应的置信度;y4’为胸膜牵拉征象对应的置信度。若经计算得知,y1’大于预设阈值,y3’也大于预设阈值,而y2’和y4’均小于预设阈值,则患者患有的肺结节的征象为分叶征象和空泡征象。
如此,本发明实施例采用预设特征提取神经网络模型,并结合预设分类神经网络来对肺结节进行分析,由于以上模型均是通过对大量数据进行训练得到的,从而使得通过模型得到的结果较为合理,且具有一定的科学依据。相比于传统的医生诊断的方式而言,能够降低因医生水平差异导致的诊断误差率,从而提高肺结节分析的准确性。
基于同样的发明构思,本发明实施例提供一种分析肺结节的装置,如图6所示,所述装置包括获取单元601、处理单元602;其中,
获取单元601,用于获取患者的肺部电子计算机断层扫描CT图像;
处理单元602,用于确定所述患者的肺结节在所述患者的肺部CT图像中的位置,并从所述患者的肺部CT图像中提取得到所述患者的肺结节图像;其中,所述肺部CT图像和所述肺结节图像均为三维图像;
所述处理单元602,还用于采用预设特征提取神经网络模型对所述患者的肺结节图像进行特征提取,得到所述患者对应的特征向量;所述预设特征提取神经网络模型的参数是通过对所述多个患者的肺结节图像进行训练得到的;以及将所述患者对应的特征向量输入预设分类神经网络模型,并得到所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果;其中,所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的已知结果进行训练得到的。
如此,本发明实施例采用预设特征提取神经网络模型,并结合预设分类神经网络来对肺结节进行分析,由于以上模型均是通过对大量数据进行训练得到的,从而使得通过模型得到的结果较为合理,且具有一定的科学依据。相比于传统的医生诊断的方式而言,能够降低因医生水平差异导致的诊断误差率,从而提高肺结节分析的准确性。
在一种可能的实现方式中,所述预设分类神经网络模型为预设征象分类神经网络模型;所述预设分类神经网络模型的参数是通过对多个患者对应的特征向量、每个患者患有的肺结节的征象进行训练得到的;
所述预设分类神经网络模型输出的所述患者患有的肺结节的分析结果为所述患者患有的肺结节的征象。
如此,相比于现有技术中医生通过人为诊断的方式来判断肺结节的征象而言,本发明实施例采用预设特征提取神经网络模型,并结合预设征象分类神经网络来判断肺结节的征象,能够降低因医生水平差异导致的诊断误差率,从而提高确定肺结节征象的准确性。
在一种可能的实现方式中,所述处理单元602具体用于:
将所述多个患者对应的特征向量输入到初始的征象分类神经网络模型,得到每个患者患有的肺结节的预测征象;
根据所述每个患者患有的肺结节的预测征象以及每个患者患有的肺结节的实际征象,进行反向训练,生成所述预设征象分类神经网络模型。
如此,通过预测征象和实际征象之间的对比,可以准确的调整预设征象分类神经网络模型的参数,提高生成的预设征象分类神经网络模型的准确度。
在一种可能的实现方式中,所述处理单元602具体用于:
将所述患者对应的特征向量输入预设分类神经网络模型,得到得到多个预设征象对应的置信度;
针对第一预设征象对应的置信度,若所述第一预设征象对应的置信度大于预设阈值,则将所述第一预设征象作为所述患者患有的肺结节的征象;所述第一预设征象为所述多个预设征象中的任一征象。
如此,通过每个征象的置信度与预设阈值的对比,将置信度大于预设阈值的征象作为患者患有的肺结节的征象,从而能够有效避免忽略同一个肺结节存在多种征象的情况。
在一种可能的实现方式中,所述征象包括分叶征象、毛刺征象、空泡征象、胸膜牵拉征象中的任意一项。
本发明实施例还提供一种装置,所述装置可以为分析肺结节的装置,所述装置包括:
存储器,用于存储软件程序;
处理器,用于读取所述存储器中的软件程序并执行上述各种可能的实现方式中所描述的分析肺结节的方法。
本发明实施例还提供一种计算机存储介质,所述存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时实现上述各种可能的实现方式中所描述的分析肺结节的方法。
本发明实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的分析肺结节的方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。