CN110689547B - 一种基于三维ct影像的肺结节分割方法 - Google Patents

Abstract

本发明公开了基于三维CT影像的肺结节分割方法，属于图像处理领域，包括：建立训练样本、建立肺结节分割模型与训练肺结节分割模型；肺结节分割模型包含序列信息特征提取网络和图像特征分割网络。序列信息特征提取网络具有记忆功能，能整合三维CT影像的上下文信息，对肺结节分割变得更加敏感。图像特征分割网络主要包含三个部分：编码部分、直连部分和解码部分，利用图像金字塔原理，实现多尺度特征融合，实现端到端的肺结节分割。并结合Focal loss和相似度系数作为损失函数，实现难例挖掘和提高IOU值。

Description

一种基于三维CT影像的肺结节分割方法

技术领域

本发明属于图像处理领域，涉及一种基于三维CT影像的肺结节分割方法。

背景技术

肺癌是目前世界上发病率和死亡率最高的恶性肿瘤之一，早期肺癌的精准诊断，对降低肺癌死亡率和提高患者生存率及生活质量具有重要意义。肺部CT影像分析是当前早期肺癌诊断的主要手段，人工判读高度依赖于医生经验、能力、状态，具有很高的主观性，容易引起漏诊和误诊。对肺结节的精确分割是基于CT影像的早期肺癌计算机辅助诊断的关键步骤，能否从CT影像中精确地分割出肺结节，最终会影响到计算机辅助诊断系统的性能。

现有技术中，肺结节分割方法有很多，但其鲁棒性较差，准确性较低，其主要原因是：

(1)许多分割方法是从二维的角度进行分割，造成肺结节结构信息不完整，使得分割准确度不高。

(2)肺结节尺寸不均衡，种类多，特别是对较小的、非实质肺结节分割较困难。

(3)训练样本正负不均衡。训练样本中有大量的疑似肺结节，其中属于真实肺结节占较少部分。

(4)忽略三维CT影像的序列信息，没有使用三维CT影像丰富的上下文信息。

基于上述原因,使得分割出来的肺结节典型性和代表性不足。因此,提高肺结节分割的准确性、鲁棒性和得到更具代表性的结节成为了急需解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于三维CT影像的肺结节分割方法，更加准确、快速地分割和确定肺部中的肺结节的三维图像。

为达到上述目的，本发明提供如下技术方案：

一种基于三维CT影像的肺结节分割方法，包括以下步骤：

S1：建立训练样本：

S11：将采集的肺部CT图像进行标注，得到肺结节区域，即肺结节的坐标x，y，z及其半径r，再对肺部CT图像尺度归一化；

S12：根据病灶区域特点，将其像素值进行截断处理，并对显著区域进行图像增强，包括提高CT影像信噪比，突出肺结节结构和抑制背景结构的CT影像显著性区域，并把像素值归一化；

S13：把CT影像在XY平面上沿Z轴进行切片操作，生成具有肺结节的切片，并把所述切片在Z轴上扩充至三片，作为训练样本集，根据标注，将所述训练样本集二值化，得到三维mask；

S2：建立肺结节分割模型：

S21：三维CT影像中包含重要的上下文信息，通过序列信息的方式表征对应的上下文信息，所采用的肺结节分割模型使用三维CT影像的序列信息进行特征提取与分割；

S22：肺结节分割模型包括序列信息特征提取网络和图像特征分割网络，序列信息特征提取网络借鉴RNN网络结构，并使用3D卷积对其特征提取，图像特征分割网络则包含编码部分、直连部分及解码部分；

S23：图像特征分割网络的编码部分包含残差块和下采样块，解码部分包含残差块和上采样块，直连部分则是连接编码部分和解码部分；

S3：训练肺结节分割模型：

S31：对训练样本集进行放缩，实现训练数据增强，及多尺度训练，并将输入放进肺结节分割网络，得到肺结节分割的预测值；

S32：三维mask尺寸与输入一致，并以肺结节分类模型的预测输出与真实三维mask的误差收敛为目标，对肺结节分割网络进行训练，获得肺结节分割装置。

进一步，所述序列信息特征提取网络包括：由于三维CT影像中包含重要的上下文信息，通过序列信息的方式表征对应的上下文信息，使得网络具有记忆功能，对所处理过的信息留存有一定的记忆，实现前后CT图像序列的特征融合。

进一步，所述编码部分是通过三维卷积的方式对CT影像进行四次下采样，下采样率依次是2、4、8、16，并使用多个残差块完成对CT影像进行多尺度的深层特征提取；

所述直连部分用于连接编码部分和解码部分，实现编码部分的特征和解码部分的特征堆叠，得到更厚的特征图；

所述编码部分还通过三维卷积的方式对CT影像进行四次上采样，采样率依次是2、4、8、16，融合特征提取部分(编码部分)的输出，贯穿整个网络，并在最后一层特征图使用sigmoid函数进行映射到[0,1]之间。

进一步，所述编码部分和解码部分的残差块均依次由3DConv层、BN层、Leaky relu激活函数、3DConv层、BN层、Leaky relu激活函数组成。

进一步，所述的损失函数结合Focal loss和相似度系数，并结合使用Adam进行优化，定义为：

式中N是batch size的大小，Y表示三维mask，

表示预测值，i表示batch中的第i个预测值，预测值和mask均被打平成一维特征图，其值分别用

和y表示，α是平衡因子，γ调节简单样本权重降低的速率。

本发明的有益效果在于：本发明建立肺结节分割模型凭借深度学习的优势，能够丰富地提取训练样本中的肺结节特征，并且能适应不同大小的肺结节，进而能够提升对肺结节的预测准确度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1是本发明所述基于三维CT影像的肺结节分割方法的流程示意图；

图2是本发明所述建立训练样本的流程图；

图3是本发明所述肺结节分割模型的结构示意图；

图4是本发明所述肺结节分割模型的图像特征分割网络结构示意图；

图5是图4中每个残差块的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明的总体构思为，将CT影像进行预处理，并生成三维训练样本集，及对应的三维mask。以RNN和Unet网络为基础，进行了定制化修改，其能够接收三维图像作为输入，并且融合了多尺度的特征。通过对训练样本的学习得到肺结节的分割模型，实现基于三维CT影像的肺结节分割方法。

图1是实现基于三维CT影像的肺结节分割方法。基于三维CT影像的肺结节分割方法包括以下步骤：

Step 1.建立训练样本：

(1)对CT影像完成肺结节标注,并对尺度归一化。

本发明依托于深度学习模型，使用监督式学习方法，因此需要对CT影像完成肺结节的标注。通过标注可以得到肺结节的信息：坐标x(mm)，y(mm)，z(mm)及其半径r(mm)。且由于不同的CT影像的采样尺度是不一致的，因此造成不同肺结节的世界坐标到图像坐标的换算是多样的，所以通过双线性插值或下采样的方法把CT影像的尺度归一化至1mm*1mm*1mm，使得不同肺结节的世界坐标到图像坐标的换算关系完全相同。

(2)CT图像截断处理，图像增强，像素值归一化。

CT影像采集后所得的数值为X射线衰减值,单位为亨氏单位(Hounsfield unit,HU)。水的HU值为0,空气的HU值为-1000,而其他物体的HU值计算公式为：

其中,μ为线性衰减系数，和X射线强度有关。亨氏单位值经过线性变换成为图像中的像素值。不同设备由于变换标准不同,所获得的图像像素值有一定差别；但是在相同的X射线条件下,CT照射人体所获得的亨氏单位值却是相同的。在对肺部CT图像处理之中，保留从空气到骨骼的像素值，超出此范围的区域就可以认为与肺部疾病监测无关而舍去。

肺部CT成像过程中受噪声、伪影、偏移场效应及部分容积效应的干扰，通常会导致CT医学影像边界模糊、对比度低、病灶不清晰，CT影像可读性差。并且部分肺结节的亮度与对比度都较低，不利于分割，特别是非实质性肺结节与附着在其他器官表面的肺结节。图像增强可以获取高清晰度、高对比度、高信噪比的CT影像。因此使用图像增强，包括提高CT影像信噪比，突出肺结节结构和抑制背景结构的CT影像显著性区域。

在像素截断之后，像素值仍然较大，不利于模型的收敛，所以把像素值进行归一化，并完成图像可视化。

(3)根据标注建立训练样本集及对应的三维mask。

根据在Step1中的标注，得到肺结节的坐标x(mm)，y(mm)，z(mm)及其半径r(mm)。把CT图像沿Z轴，在XY平面上进行切片操作，得到含有肺结节的切边。要使用肺结节的结构信息，因此根据肺结节的坐标，再切割相邻两张CT影像图，沿Z轴融合成一个训练样本集，其大小是m*n*3。根据训练样本集及标注，对其二值化生成三维mask，其大小与对应训练样本一致，是m*n*3。整个流程如图2所示。

Step2.建立肺结节分割模型：

肺结节形状不规则、产生位置随机、易被肋骨、纵膈和隔膜等结构遮挡。传统的肺结节分割方法难以提取有效特征，其鲁棒性差，稳定性低。本发明的肺结节分割模型能有效利用大量数据驱动网络，通过自动提取隐含特征直接获取高效精准的检测分割结果，具有强大的泛化性与鲁棒性，适用于复杂环境下肺结节的高效检测与精准分割。

肺结节分割不同于传统的图像分割，肺结节是一种三维结构，在2维平面上进行分割会忽略其结构信息，因此需要结合三维CT影像丰富的上下文信息进行分割。本发明的基于三维CT影像的肺结节分割方法中构建的肺结节分割模型包含序列信息特征提取网络和图像特征分割网络，如图3所示。序列信息特征提取网络具有记忆功能，能整合三维CT影像的上下文信息，对肺结节分割变得更加敏感。图像特征分割网络主要包含3个部分：编码部分、直连部分和解码部分，利用图像金字塔原理，实现多尺度特征融合，实现端到端的肺结节分割。

肺结节的大小各异，大的肺结节直径可达4cm，小的肺结节直径可低至5mm。单一尺度肺结节分割模型是无法适用于不同大小的肺结节分割。因此本发明使用编码部分完成肺结节多尺度的特征提取。编码部分是通过三维卷积的方式对CT影像进行四次下采样，并使用多个残差块完成对CT影像进行多尺度的深层特征提取。直连部分是连接编码部分和解码部分，实现编码部分的特征和解码部分的特征堆叠，得到更厚的特征图。编码部分再依次上采样，融合特征提取部分(编码部分)的输出，贯穿整个网络。

Step3.训练肺结节分割模型，得到肺结节分割装置：

虽然把CT图像的尺度均归一化至1mm*1mm，但实际上在XY平面上的分辨率是各不相同的，所以把训练样本在XY平面的分辨率大小放缩至同一大小。考虑到实际CT影像的分辨率是各不相同的，因此采样多尺度训练，并对部分数据进行对称、旋转与平移的操作，达到扩充训练样本集的作用。

以512*512*3为例，如图4所示。训练样本会通过三维卷积生成512*512*64大小的特征图。接下来依次使用三维卷积进行降维和残差块(如图5所示)提取特征，连续4次，得到256*256*128，128*128*256，64*64*512，32*32*1024大小的特征图，分别记为编码块1，编码块2，编码块3，编码块4。每一个编码块都会通过直连部分与解码块相连，实现特征图堆叠。如编码块1与解码快1相连，依此类推。编码部分可以看作特征提取部分，而解码块则是特征还原。不过解码块还原的不是原训练样本的全部特征，只还原训练样本的分类特征，即实现训练样本的像素集分类，完成肺结节分割。

编码部分和解码部分均包含残差块的激活函数均使用Leak relu函数，具体为：

a是固定参数，且a≥1。带泄露修正线性单元(Leaky ReLU)函数是ReLu激活函数的变体，该函数输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习，解决了Relu函数进入负区间后，导致神经元不学习的问题。解码部分的最后一层输出会使用sigmoid函数，将其值限定在[0,1]范围中。

肺结节分类模型的预测输出与真实三维mask的误差收敛为目标，损失函数结合Focal loss和相似度系数，其定义为：

式中N是batch size的大小，Y表示三维mask，

表示预测值。i表示batch中的第i个预测值。预测值和mask均被打平成一维特征图，其值分别用

和y表示。α是平衡因子，γ调节简单样本权重降低的速率。

训练样本存在正负样布类不平衡问题，这是因为肺结节在整个CT影像中只占很小的一个部分，即训练样本中存在大量的负样本类(属于背景的样本)，这些大量负样本类会主导梯度的跟新方向，造成模型无法学习有用的信息，进而无法对肺结节实现精确分割。因此使用Focal loss解决正负样本类不平衡问题，其降低了大量简单负样本在训练中所占的权重，也是一种难例挖掘机制。相似度系数则能提高IOU值。

优化器使用Adam。Adam具有实现简单，计算高效，对内存需求少，参数的更新不受梯度的伸缩变换影响，能自动调整学习率，很适合应用于大规模的CT影像的肺结节分割。

训练肺结节分割模型直至收敛。将CT影像进行切片，输入肺结节分割模型，得到最终的肺结节分割结果，从而实现基于三维CT影像的肺结节分割方法。因此,本发明基于三维CT影像的肺结节分割方法能够实现对肺结节的精细化处理。

本发明的基于三维CT影像的肺结节分割方法，一方面,能够充分地利用CT影像肺结节的结构信息与三维CT影像的序列信息，将三维信息融入到肺结节分割模型中,使用难例挖掘解决正负样本类不平衡问题。另一方面利用深度学习的优势,构建基于深度学习的肺结节分割模型，包含序列信息特征提取网络与图像特征分割网络，直接学习到肺结节的序列特征与图像特征,更适应于复杂情况下肺结节分割。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于三维CT影像的肺结节分割方法，其特征在于：包括以下步骤：

S1：建立训练样本：

S11：将采集的肺部CT图像进行标注，得到肺结节区域，即肺结节的坐标x，y，z及其半径r，再对肺部CT图像尺度归一化；

S12：根据病灶区域特点，将其像素值进行截断处理，并对显著区域进行图像增强，包括提高CT影像信噪比，突出肺结节结构和抑制背景结构的CT影像显著性区域，并把像素值归一化；

S13：把CT影像在XY平面上沿Z轴进行切片操作，生成具有肺结节的切片，并把所述切片在Z轴上扩充至三片，作为训练样本集，根据标注，将所述训练样本集二值化，得到三维mask；

S2：建立肺结节分割模型：

S21：三维CT影像中包含重要的上下文信息，通过序列信息的方式表征对应的上下文信息，所采用的肺结节分割模型使用三维CT影像的序列信息进行特征提取与分割；

S22：肺结节分割模型包括序列信息特征提取网络和图像特征分割网络，序列信息特征提取网络借鉴RNN网络结构，并使用3D卷积对其特征提取，图像特征分割网络则包含编码部分、直连部分及解码部分；

S23：图像特征分割网络的编码部分包含残差块和下采样块，解码部分包含残差块和上采样块，直连部分则是连接编码部分和解码部分；

S3：训练肺结节分割模型：

S31：对训练样本集进行放缩，实现训练数据增强，及多尺度训练，并将输入放进肺结节分割网络，得到肺结节分割的预测值；

S32：三维mask尺寸与输入一致，并以肺结节分类模型的预测输出与真实三维mask的误差收敛为目标，对肺结节分割网络进行训练，获得肺结节分割模型；损失函数定义为：

式中N是batch size的大小，Y表示三维mask，

表示预测值，i表示batch中的第i个预测值，预测值和mask均被打平成一维特征图，其值分别用

和y表示，α是平衡因子，γ调节简单样本权重降低的速率。

2.根据权利要求1所述的基于三维CT影像的肺结节分割方法，其特征在于：所述序列信息特征提取网络包括：由于三维CT影像中包含重要的上下文信息，通过序列信息的方式表征对应的上下文信息，使得网络具有记忆功能，对所处理过的信息留存有一定的记忆，实现前后CT图像序列的特征融合。

3.根据权利要求1所述的基于三维CT影像的肺结节分割方法，其特征在于：所述编码部分是通过三维卷积的方式对CT影像进行四次下采样，下采样率依次是2、4、8、16，并使用多个残差块完成对CT影像进行多尺度的深层特征提取；

所述直连部分用于连接编码部分和解码部分，实现编码部分的特征和解码部分的特征堆叠，得到更厚的特征图；

所述解码部分还通过三维卷积的方式对CT影像进行四次上采样，采样率依次是2、4、8、16，融合特征提取部分的输出，贯穿整个网络，并在最后一层特征图使用sigmoid函数进行映射到[0,1]之间。

4.根据权利要求1所述的基于三维CT影像的肺结节分割方法，其特征在于：所述编码部分和解码部分的残差块均依次由3DConv层、BN层、Leaky relu激活函数、3DConv层、BN层、Leaky relu激活函数组成。

Images