CN112365436A - 一种针对ct影像的肺结节恶性度分级方法 - Google Patents

Abstract

本发明公开了一种针对CT影像的肺结节恶性度分级方法。其步骤为：1.提取影像组合特征并融合卷积神经网络获得的高阶特征形成肺内小结节的每类放射学语义征象的特征集。2.根据特征重要性排名对每类放射学语义征象进行特征选择。3.利用进化搜索机制来优化集成分类器的结构及性能，并应用其进行放射语义征象的评分。4.将语义征象的评分作为恶性度分类的特征通过多分类逻辑回归函数对其进行恶性度的分级。本方法通过特征融合和集成分类器的优化，提高了放射学语义征象的量化准确率。使用多分类逻辑回归函数在实现恶性度分级的同时也增强了模型的可解释性。

Description

一种针对CT影像的肺结节恶性度分级方法

技术领域

本发明属于医疗大数据领域，具体涉及到一种针对CT影像的肺结节恶性度分级方法。所述方法通过将不同的放射学语义征象进行量化，根据量化后放射学语义征象评分来对肺结节恶性度进行分级。实现计算机对肺结节进行恶性度自动分级，减少人为参与的操作，提高医医疗诊断过程的效率和准确率。

背景技术

通过电子计算机X射线断层扫描技术获得的肺内CT影像是肺内结节早期诊断的重要手段。在诊断过程中医生需要消耗较长的工作时间去阅读大量的CT影像，以观察肺结节的放射学语义征象，再根据征象结果判断肺结节的恶性度等级。此外，由于医师年资和业务水平的不同可能导致诊断结构产生一定的差异性，所以利用计算机视觉技术实现肺内小结节的自动恶性度分级识别不仅有利于降低医师的劳动强度提高诊断过程的效率，还有利于保证诊断的准确率。

目前针对肺结节恶性度分级识别方面的方法大致分为两类：一类是基于特征和分类器的方式。在特征方面如提取灰度，纹理方面等特征。在分类器方面有如使用单分类器，集成分类器。这种方法在对恶性度进行二分类时性能较好，但在对恶性度多分级时性能不高，主要受限于特征质量和分类器的性能。另一类主要基于卷积神经网络的方式。卷积神经网络(Convolutional Neural Networks,CNN)能够通过卷积核获得图像的纹理信息。在图像分类，分割和目标检测方面取得重大的突破。但这种方式在可解释性方面较差。在医学辅助应用方面，医生不仅关注于模型的准确率，同时也关注于模型如何进行决策。而且直接通过计算机特征对恶性度分级缺乏医生所需的影像指标很难使医生信服。本发明通过提取图像的影像组学特征信息并融合通过CNN获取的图像高阶信息来构造更丰富的特征集，通过改进的集成分类器对放射学语义征象进行量化来提高量化的准确率，将量化后的评分放入改进的softmax多元概率模型中进行恶性度分级，在提高准确率的同时增强模型的可解释性。

发明内容

本文发明提出了一种针对CT影像的肺结节恶性度分级方法。该方法利用进化搜索机制优化集成分类器的结构和性能，在使用其对CT影像中不同的征象进行打分计算，最后通过softmax模型，即多分类逻辑回归函数，对肺结节恶性度的分级。为此，需要解决的关键技术问题包括：特征提取、融合与选择、放射学语义征象量化、恶性度分级3个方面。

为实现上述目的，本发明的具体技术方案如下：

一种针对CT影像的肺结节恶性度分级方法，所述方法包括以下步骤：

步骤1：数据准备。具体为：

步骤1.1：肺内小结节影像提取。肺结节影像集合可表示为

G＝{G₁,G₂,...,G_N},i＝1,2,...,N，

其中，N为肺结节集合的总数，G_i为根据肺部CT影像病例集中的医生对结节中心点的标注信息，上下左右分别加g个像素得到包含结节的矩形区域，可表示为G_i＝{x+g,x-g,y+g,y-g}。经实验发现g取15像素时性能最好。

步骤1.2：划分肺结节影像集合。根据医生对每个结节标注的放射学语义征象和恶性度信息将肺结节影像集合G进行划分，其结构可表示为

I＝{I¹,I²,...,I^rsn},n＝1,2,...,rsn，

其中，I代表rsn种放射学语义征象集合。Iⁿ为第n个放射学语义征象的肺结节图像数据与征象评分的集合。Y_i ⁿ为Iⁿ中肺结节影像G_i的评分。E为肺结节影像数据与恶性度评分的集合，y_i为肺结节影像G_i恶性度对应的评分。

步骤2：放射学语义征象的特征提取。将I中的每个征象集合从影像组学和CNN两个方面提取特征，具体为：

步骤2.1：影像组学特征提取。影像组学提取的特征集可表示为

其中，

为第n个征象的影像组学特征集。

的提取方式具体为：

步骤2.1.1：图像预处理。对Iⁿ中每个肺结节影像G_i通过自适应阈值以及形态组学膨胀操作得到分割后的影像G_i′。

步骤2.1.2：灰度特征提取。将每个肺结节影像G_i′通过灰度直方图提取肺结节影像的最大值、最小值、均值、方差、偏度、峰度、直方图熵、能量、标准差、中值、均方根等11维统计特征，最终形成灰度特征集

步骤2.1.3：纹理特征提取。将每个肺结节影像G_i′采用灰度共生矩阵在(0，45，90，135)上提取纹理能量、最大概率、纹理熵、对比度、相关性、差异性、同质性、协方差、纹理均值和逆差分矩阵的均值等40维特征，最终形成纹理特征集

步骤2.1.4：几何形状特征提取。将每个肺结节影像G_i′提取了粗糙度、直径、椭圆的长短轴比例、离心率、周长、面积、紧凑度，矩形度等7维特征，最终形成几何特征集

步骤2.1.5：影像组学特征合并。将灰度、纹理、几何特征集进行组合形成58维影像组学特征集，可表示为

步骤2.2：CNN高阶特征提取。CNN提取的特征集可表示为

其中，

为第n个征象的CNN特征集。

的提取方式具体为：

步骤2.2.1：构建CNN模型。网络结构为：两个卷积层，卷积核大小分别为32×3×3，64×3×3。两个池化层，池化层大小分别为32×2×2，64×2×2。一个全连接层其大小为1×200。一个dropout层，设置丢弃率为0.5。一个softmax层。

步骤2.2.2：训练CNN。对Iⁿ的影像集采用70％的数据进行训练，采用30％的数据进行测试。每次批量学习处理的影像个数为63。训练迭代次数设置为1000。使用adam优化器将学习率设置为0.001。模型的准确率达到85％以上。

步骤2.2.3：提取CNN特征。将droput层和softmax层去掉，将Iⁿ的影像集中的每个肺结节图像G_i作为输入通过该CNN的全连接层提取出200维特征，形成CNN特征集

步骤2.3：影像组学和CNN特征融合。融合后的特征集可表示为

其中，

为第n个征象的融合特征集，其融合特征集的维度为258维。融合后的特征集可提高对肺结节信息的表达能力。

步骤2.4：特征选择。根据特征重要性排名通过阈值α对特征总集FI_total中的每个征象特征集

进行选择，以减少特征集合中无用冗余的特征。选择后的特征集可表示为

其中，

表示第n个征象经过特征选择后的特征，

表示第n个征象中排名小于阈值α的特征。

步骤3：放射学语义征象的分类模型。rsn种放射学语义征象的分类模型可表示为

MI＝{MI¹,MI²,...,MI^rsn},n＝1,2,...,rsn，

其中MIⁿ为第n个征象的分类模型。MIⁿ的训练方式具体为：

步骤3.1：数据准备。将

特征集与Iⁿ中的标签Yⁿ相对应，生成第n个征象的数据集，可表示为

步骤3.2:初始化种群。种群由NP个随机生成的森林构成，可表示为

pop＝{RF₁,RF₂,....,RF_NP},j＝1,2,...,NP，

其中，NP为种群规模，RF_j为tn个CART分类树的组合，tn为可变参数。为了增加种群的多样性，每次有放回的随机采样40％的DIⁿ作为个体RF_j初始化的数据集，置当前迭代数值gen＝0。

步骤3.3：搜索运算。种群进化主要依靠交叉变异算子实现，按照交叉概率P_c和变异概率P_m选择本次搜索为交叉或者变异操作，并转到相应的搜索步骤。

具体为：

步骤3.3.1：变异算子。变异运算定义为RF′＝⊙RF，其中RF为从种群pop^gen中随机挑选的个体，RF′为变异后的个体，⊙为变异运算符。由于个体的性能与每颗决策树的性能以及决策树之间组合的结构有很大关系，故采取2个层面的变异策略对个体进行变异。变异策略1为个体中树层面的变异，首先从个体RF中随机挑选两颗树，分别随机选取两棵树的交换点，再交换以交换点为根节点的子树，生成新的个体RF′。变异策略2为个体结构层面的变异，将从个体中增加树和删除树两个方面考虑。如果随机数小于0.5，则向RF中添加一颗随机生成的树，否则将从RF中删除一颗随机被选择的树，然后生成新的个体RF′。按照概率P_ms将2种不同的变异策略进行有效的结合，不仅对个体的组合结构进行搜索，还对个体中的树进行搜索。

步骤3.3.2：交叉算子。交叉运算可定义为

其中RF₁和RF₂为从种群pop^gen中随机的挑选两个个体，RF₁′和RF₂′为交叉后的个体，

为交叉运算符。由于个体中树的个数为可变大小，故交叉操作具体为：首先比较RF₁和RF₂中树的个数tn₁和tn₂，从树个数较多的RF₁中无放回的随机挑选出tn₂个树组成RF₃。按照概率P_cg将RF₃和RF₂中对应位置的树进行互换，生成新的个体RF₃′和RF₂′，将RF₃′中的树放回RF₁中得到RF₁′。

步骤3.4：选择阶段。首先对步骤3.3中产生的子代个体RF′与父代个体RF进个体进行评估，然后选择性能较好的个体遗传到下一代种群pop^gen+1中。具体为：

步骤3.4.1：个体评估。采用准确率作为个体评估方式，计算表达式如下

其中，TP表示实际为正被预测为正的样本数量，FP表示实际为负但被预测为正的样本数量，TN表示实际为负被预测为负的样本数量，FN表示实际为正但被预测为负的样本数量。

步骤3.4.2：个体选择。对子代个体RF′与父代个体RF进行竞争，准确率高的个体加入到pop^gen+1中。

步骤3.5：若下一代种群pop^gen+1中个体数量小于种群规模NP，则转步骤3.3，否则转步骤3.6。

步骤3.6：更新全局最优个体。若全局最优个体B_best为空时，则

否则在B_best和

中根据步骤3.4选择获胜的个体更新全局最优个体。其中

为种群pop^gen+1中准确率最高的个体。置gen＝gen+1。

步骤3.7：判断当前迭代次数gen是否达到最大迭代数值NG，若满足输出最优的个体B_best作为第n个征象的分类器MIⁿ，否则转步骤3.3。

步骤4：恶性度分级识别模型。具体为：

步骤4.1：数据准备。将数据集E中的G_i图像集通过步骤2和步骤3得到放射学语义征象的评分集X_i，将X_i与E中的标签y_i相对应，生成恶性度分级的数据集，其表示为：

X_i＝{x¹,x²,...,x^rsn}，

其中，X_i代表第i个肺结节图片rsn种不同放射学语义征象的评分。其中y_i为第i个肺结节图片评分集X_i对应的恶性度级数。

步骤4.2：恶性度分级模型。采用softmax模型进行分级，模型可表示为

其中,W＝{w₁,w₂,...,w_K}是一个[rsn,K]型矩阵，rsn为数据集ED特征维度，X_i为数据集中第i个样本，K为恶性度级别。建立softmax模型后，采用差分进化算法对模型的参数W进行优化。差分进化算法优化的目标是最大化样本恶性度分级准确的数量，其目标函数表示为

其中，F_i为样本X_i经过softmax函数分级的结果是否正确，

为ED中trn个样本中分级结果准确的数量。在优化过程中将参数W转成rsn×K维的行向量，在评价阶段中将rsn×K维的行向量转成[rsn,K]型矩阵。

本发明提供了一种针对CT影像的肺结节恶性度分级方法，本发明可有效提取放射学语义征象中的特征，通过改进的集成分类器提高肺结节放射学语义征象的量化性能，根据改进的softmax多概率模型对肺结节恶性度进行分级，可为医生提供更加丰富的肺结节信息，支持具有复杂内容的诊断报告与医学图像的检索，为肺结节CT图像分析提供有效辅助。

附图说明

图1为本发明的一种针对CT影像的肺结节恶性度分级方法的流程图；

图2为本发明实施例中使用的影像组学特征提取方法；

图3为本发明实施例中使用到的卷积神经网络；

图4为本发明实施例中使用到的特征融合及选择方法；

图5为本发明实施例中训练放射学语义征象分类模型方法；

图6为本发明实施例中训练恶性度分级模型方法；

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

参照图1，本实施例以LIDC-IDRI数据集进行说明，具体实施如下：

步骤1：对数据集处理。从数据集中随机选取出1000个肺结节，根据医生对肺结节6种放射学语义征象以及恶性度评分的标注信息对数据集进行划分。其中6种语义征象分别为：球形度，边缘，分页，毛刺，纹理，精细度。

步骤2：参照图2，对6种放射学语义征象进行影像组学特征提取，最终提取到58维的影像组学特征集。

步骤3：参照图3，训练6种放射学语义征象的卷积神经网络，并通过该网络提取6种放射学语义征象的卷积神经网络特征，最终提取到200维的卷积神经网络特征。

步骤4：参照图4，进行特征的融合及选择，最终的放射学语义征象的特征维度分别为：球形度特征为46维，边缘特征为48维，分页特征为50维，毛刺特征为44维，纹理特征为68维，精细度特征为59维。

步骤5：参照图5，训练6种放射学语义征象的分类器。所需参数初始化为迭代次数NG为500，种群规模NP为50，种群中每个个体中树的个数tn从10开始每次加1，也即第一个个体的tn为10，最后一个个体的tn为60，变异概率P_c为0.1，交叉概率P_m为0.8，控制两个个体中对应位树的互换概率P_cg为0.5，控制2种变异策略的概率P_ms为0.5。

步骤6：训练恶性度分类模型。根据步骤5中的6种放射学语义征象的分类器可得到6种放射学语义征象的评分，将6种评分作为特征参照图6训练恶性度分级模型。经差分进化算法优化后的模型参数W为

最终对恶性度分级模型进行测试，准确率为85％。

Claims (1)

1.一种针对CT影像的肺结节恶性度分级方法，所述方法包括以下步骤：

步骤1：数据准备，具体为：

步骤1.1：肺内小结节影像提取，肺结节影像集合可表示为

G＝{G₁,G₂,...,G_N},i＝1,2,...,N，

其中，N为肺结节集合的总数，G_i为根据肺部CT影像病例集中的医生对结节中心点的标注信息，上下左右分别加g个像素得到包含结节的矩形区域，可表示为G_i＝{x+g,x-g,y+g,y-g}；

步骤1.2：划分肺结节影像集合，根据医生对每个结节标注的放射学语义征象和恶性度信息将肺结节影像集合G进行划分，其结构可表示为

I＝{I¹,I²,...,I^rsn},n＝1,2,...,rsn，

其中，I代表rsn种放射学语义征象集合，Iⁿ为第n个放射学语义征象的肺结节图像数据与征象评分的集合，Y_i ⁿ为Iⁿ中肺结节影像G_i的评分，E为肺结节影像数据与恶性度评分的集合，y_i为肺结节影像G_i恶性度对应的评分；

步骤2：放射学语义征象的特征提取，将I中的每个征象集合从影像组学和CNN两个方面提取特征，具体为：

步骤2.1：影像组学特征提取，影像组学提取的特征集可表示为

其中，

为第n个征象的影像组学特征集，

的提取方式具体为：

步骤2.1.1：图像预处理，对Iⁿ中每个肺结节影像G_i通过自适应阈值以及形态组学膨胀操作得到分割后的影像G_i′；

步骤2.1.2：灰度特征提取，将每个肺结节影像G_i′通过灰度直方图提取肺结节影像的最大值、最小值、均值、方差、偏度、峰度、直方图熵、能量、标准差、中值、均方根等11维统计特征，最终形成灰度特征集

步骤2.1.3：纹理特征提取，将每个肺结节影像G_i′采用灰度共生矩阵在(0，45，90，135)上提取纹理能量、最大概率、纹理熵、对比度、相关性、差异性、同质性、协方差、纹理均值和逆差分矩阵的均值等40维特征，最终形成纹理特征集

步骤2.1.4：几何形状特征提取，将每个肺结节影像G_i′提取了粗糙度、直径、椭圆的长短轴比例、离心率、周长、面积、紧凑度，矩形度等7维特征，最终形成几何特征集

步骤2.1.5：影像组学特征合并，将灰度、纹理、几何特征集进行组合形成58维影像组学特征集，可表示为

步骤2.2：CNN高阶特征提取，CNN提取的特征集可表示为

其中，

为第n个征象的CNN特征集，

的提取方式具体为：

步骤2.2.1：构建CNN模型，网络结构为两个卷积层，卷积核大小分别为32×3×3，64×3×3，两个池化层，池化层大小分别为32×2×2，64×2×2，一个全连接层其大小为1×200，一个dropout层，设置丢弃率为0.5，一个softmax层；

步骤2.2.2：训练CNN，对Iⁿ的影像集采用70％的数据进行训练，采用30％的数据进行测试，每次批量学习处理的影像个数为63，训练迭代次数为1000，使用adam优化器将学习率设置为0.001，模型的准确率达到85％以上；

步骤2.2.3：提取CNN特征，将droput层和softmax层去掉，将Iⁿ的影像集中的每个肺结节图像G_i作为输入通过该CNN的全连接层提取出200维特征，形成CNN特征集

步骤2.3：影像组学和CNN特征融合，融合后的特征集可表示为

其中，

为第n个征象的融合特征集，其融合特征集的维度为258维，融合后的特征集可提高对肺结节信息的表达能力；

步骤2.4：特征选择，根据特征重要性排名通过阈值α对特征总集FI_total中的每个征象特征集

进行选择，以减少特征集合中无用冗余的特征，选择后的特征集可表示为

其中，

表示第n个征象经过特征选择后的特征，

表示第n个征象中排名小于阈值α的特征；

步骤3：放射学语义征象的分类模型，rsn种放射学语义征象的分类模型可表示为

MI＝{MI¹,MI²,...,MI^rsn},n＝1,2,...,rsn，

其中，MIⁿ为第n个征象的分类模型，MIⁿ的训练方式具体为：

步骤3.1：数据准备，将

特征集与Iⁿ中的标签Yⁿ相对应，生成第n个征象的数据集，可表示为

步骤3.2:初始化种群，种群由NP个随机生成的森林构成，可表示为

pop＝{RF₁,RF₂,....,RF_NP},j＝1,2,...,NP，

其中，NP为种群规模，RF_j为tn个CART分类树的组合，tn为可变参数；为了增加种群的多样性，每次有放回的随机采样40％的DIⁿ作为个体RF_j初始化的数据集，置当前迭代数值gen＝0；

步骤3.3：搜索运算，种群进化主要依靠交叉变异算子实现，按照交叉概率P_c和变异概率P_m选择本次搜索为交叉或者变异操作，并转到相应的搜索步骤，具体为：

步骤3.3.1：变异算子，变异运算定义为RF′＝⊙_RF，其中RF为从种群pop^gen中随机挑选的个体，RF′为变异后的个体，⊙为变异运算符；由于个体的性能与每颗决策树的性能以及决策树之间组合的结构有很大关系，故采取2个层面的变异策略对个体进行变异；变异策略1为个体中树层面的变异，首先从个体RF中随机挑选两颗树，分别随机选取两棵树的交换点，再交换以交换点为根节点的子树，生成新的个体RF′；变异策略2为个体结构层面的变异，将从个体中增加树和删除树两个方面考虑，如果随机数小于0.5，则向RF中添加一颗随机生成的树，否则将从RF中删除一颗随机被选择的树，然后生成新的个体RF′；按照概率P_ms将2种不同的变异策略进行有效的结合，不仅对个体的组合结构进行搜索，还对个体中的树进行搜索；

步骤3.3.2：交叉算子，交叉运算可定义为

其中RF₁和RF₂为从种群pop^gen中随机的挑选两个个体，RF₁′和RF₂′为交叉后的个体，

为交叉运算符；由于个体中树的个数为可变大小，故交叉操作具体为：首先比较RF₁和RF₂中树的个数tn₁和tn₂，从树个数较多的RF₁中无放回的随机挑选出tn₂个树组成RF₃，按照概率P_cg将RF₃和RF₂中对应位置的树进行互换，生成新的个体RF₃′和RF₂′，将RF₃′中的树放回RF₁中得到RF₁′；

步骤3.4：选择阶段，首先对步骤3.3中产生的子代个体RF′与父代个体RF进个体进行评估，然后选择性能较好的个体遗传到下一代种群pop^gen+1中，具体为：

步骤3.4.1：个体评估，采用准确率作为个体评估方式，计算表达式如下

其中，TP表示实际为正被预测为正的样本数量，FP表示实际为负但被预测为正的样本数量，TN表示实际为负被预测为负的样本数量，FN表示实际为正但被预测为负的样本数量；

步骤3.4.2：个体选择，对子代个体RF′与父代个体RF进行竞争，准确率高的个体加入到pop^gen+1中；

步骤3.5：若下一代种群pop^gen+1中个体数量小于种群规模NP，则转步骤3.3，否则转步骤3.6；

步骤3.6：更新全局最优个体，若全局最优个体B_best为空时，则

否则在B_best和

中根据步骤3.4选择获胜的个体更新全局最优个体，

为种群pop^gen+1中准确率最高的个体，置gen＝gen+1；

步骤3.7：判断当前迭代次数gen是否达到最大迭代数值NG，若满足输出最优的个体B_best作为第n个征象的分类器MIⁿ，否则转步骤3.3；

步骤4：恶性度分级识别模型，具体为：

步骤4.1：数据准备，将数据集E中的G_i图像集通过步骤2和步骤3得到放射学语义征象的评分集X_i，将X_i与E中的标签y_i相对应，生成恶性度分级的数据集，可表示为

X_i＝{x¹,x²,...,x^rsn}，

其中，X_i代表第i个肺结节图片rsn种不同放射学语义征象的评分，y_i为第i个肺结节图片评分集X_i对应的恶性度级数；

步骤4.2：恶性度分级模型，采用softmax模型进行分级，模型可表示为

其中,W＝{w₁,w₂,...,w_K}是一个[rsn,K]型矩阵，rsn为数据集ED特征维度，X_i为数据集中第i个样本，K为恶性度级别；建立softmax模型后，采用差分进化算法对模型的参数W进行优化，差分进化算法优化的目标是最大化样本恶性度分级准确的数量，目标函数可表示为

其中，F_i为样本X_i经过softmax函数分级的结果是否正确，

为ED中trn个样本中分级结果准确的数量；在优化过程中将参数W转成rsn×K维的行向量，在评价阶段中将rsn×K维的行向量转成[rsn,K]型矩阵。

Images