CN107464234A - 基于rgb通道叠加方法的肺结节图像深度学习识别系统及其方法 - Google Patents

Abstract

一种基于RGB通道叠加方法的肺结节图像深度学习识别系统及其方法，包括：数据读取模块、肺实质提取模块、肺结节提取模块、RGB通道叠加模块、样本训练模块和预测模块，本发明通过对原始数据进行RGB通道叠加等预处理操作，再通过深度学习方法对大量训练集数据进行训练，并通过训练后的预测模型实现图像的精确识别。

Description

基于RGB通道叠加方法的肺结节图像深度学习识别系统及其 方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于RGB通道叠加方法的肺结节图像深度学习识别系统及其方法。

背景技术

肺结节是一种病因未明的多系统多器官肉芽肿性疾病，由于一个患者的肺部CT切片可多达数百张，而一些肺结节的尺寸可能较小，通过肉眼方法判断费时费力。因此，计算机辅助诊断可起到了很好的帮助作用。

发明内容

本发明针对现有技术无法通过深度学习提取有效特征以及无法结合连续的多张CT切片进行分析，从而分析肺部结构的纵向走向，而只能通过单张肺部CT切片进行卷积神经网络的学习训练等缺陷，提出一种基于RGB通道叠加方法的肺结节图像深度学习识别系统及其方法，通过对原始数据进行RGB通道叠加等预处理操作，再通过深度学习方法对大量训练集数据进行训练，并通过训练后的预测模型实现图像的精确识别。

本发明是通过以下技术方案实现的：

本发明涉及一种基于RGB通道叠加方法的肺结节图像深度学习识别系统，包括：数据读取模块、肺实质提取模块、肺结节提取模块、RGB通道叠加模块、样本训练模块和预测模块，其中：数据读取模块从医疗设备中读取原始肺部CT图像并转化处理为若干bmp图像，肺实质提取模块对bmp图像进行肺实质区域强化处理后生成按切片深度排序的肺实质图像序列，肺结节提取模块从肺实质图像序列中提取出标注肺结节中心坐标和疑似肺结节的质心坐标并提供给RGB通道叠加模块，RGB通道叠加模块根据标注肺结节中心坐标对肺实质图像序列中的所有图像进行切割处理并生成由伪彩图组成的伪彩图样本数据，样本训练模块通过深度学习方法对伪彩图样本数据进行学习和训练并得到深度卷积神经网络模型，预测模块采用深度卷积神经网络模型对依次经转化处理、强化处理和切割处理后的待测肺部伪彩图进行精确识别。

本发明涉及一种基于上述系统的图像识别方法，首先读取dicom格式的肺部CT切片图像序列并进行预处理操作，然后通过切割得到的连续三张肺部局部图像的RGB通道叠加方法强化肺结节区域的图像细节，并以此生成用于训练深度卷积神经网络模型的伪彩图样本数据，最后经深度学习方法进行学习从而得到用于进行精确图像识别的深度卷积神经网络模型。

所述的预处理包括：bmp转化处理、肺实质区域图像提取、肺结节区域图像提取以及图像序列重排。

技术效果

与现有技术相比，本发明基于深度学习和RGB通道叠的方法进行肺结节的识别，可以自动地对肺结节进行识别。由于肺结节的球状特性，血管的条状特性，本发明提出的连续三张肺部CT切片小块图像的RGB通道叠加方法能够反映出肺结节和健康组织纵向的走向，有效地增加真实肺结节和健康组织之间的差异性，提高检出率。尤其对于从CT切片上来看和健康组织较为相似，肉眼识别较为困难的微小肺结节来说，本方法能增强其和健康组织之间的差异。本发明能够自动地对dicom格式的肺部CT图像进行处理，并通过样本学习出一个预测模型，通过该预测模型对肺结节进行识别和预测。

附图说明

图1为肺结节检测系统示意图；

图2为肺结节检测系统工作示意图；

图3为肺实质提取模块工作示意图；

图4为肺结节提取模块工作示意图；

图5为RGB通道叠加模块工作示意图；

图6为AlexNet深度卷积神经网络的结构图。

图7为肺部图像示意图；

图中：(a)为肺结节切片的bmp图像；(b)为相应肺实质图像；(c)为训练集中经过RGB通道叠加的微小肺结节示例；(d)为训练集中经过RGB通道叠加的健康组织示例。

具体实施方式

实施例1

如图1所示，本实施例包括：数据读取模块、肺实质提取模块、肺结节提取模块、RGB通道叠加模块、样本训练模块和预测模块，其中：数据读取模块从医疗设备中读取原始肺部CT图像并转化处理为若干bmp图像，肺实质提取模块对bmp图像进行肺实质区域强化处理后生成按切片深度排序的肺实质图像序列，肺结节提取模块从肺实质图像序列中提取出标注肺结节中心坐标和疑似肺结节的质心坐标并提供给RGB通道叠加模块，RGB通道叠加模块根据标注肺结节中心坐标对肺实质图像序列中的所有图像进行切割处理并生成由伪彩图组成的伪彩图样本数据，样本训练模块通过深度学习方法对伪彩图样本数据进行学习和训练并得到深度卷积神经网络模型，预测模块采用深度卷积神经网络模型对依次经转化处理、强化处理和切割处理后的待测肺部伪彩图进行精确识别。

所述的转化处理，即数据读取模块读取原始的dicom格式的肺部CT图像和切片深度、切片uid信息和xml文件中的肺结节标注信息，并将CT图像转换为bmp格式，其中：肺结节标注信息包括肺结节所在切片uid、肺结节所在切片深度、肺结节在切片上的中心位置。

所述的标注肺结节中心坐标和疑似肺结节的质心坐标分别通过提取xml文件标注中的中心坐标与计算疑似肺结节所在连通区域的质心位置方式得到：

所述的强化处理，即肺实质提取模块从若干bmp图像中提取出肺实质区域，保留CT切片图像的肺实质区域，并将其余部分置为黑色，并将所处理的所有肺部CT图像序列中得到的肺实质图像按照切片深度排序得到肺实质图像序列，并提供给肺结节提取模块。

所述的提取是指：采用腐蚀操作和膨胀操作得到肺实质掩模后对bmp图像进行提取得到。

所述的切割处理是指：从按切片深度排序的肺实质图像序列中找到当前处理的肺实质图像，并找到顺序中的上一张肺实质图像和下一张肺实质图像。以给定坐标为中心，分别从该三张肺实质图像中切割出三张小块图像，并放入RGB通道叠加成一张伪彩图，从而增加真实肺结节和健康组织之间的差异性。

所述的给定坐标在处理训练数据的正样本时是标注肺结节的中心坐标，处理训练数据的负样本时是图像上随机连通区域的质心坐标，处理测试数据时是疑似肺结节的质心坐标。

所述的小块图像的边长优选为bmp图像边长的1/8。

所述的伪彩图样本数据包括正训练样本，即含有标注肺结节中心坐标的伪彩图和负训练样本，即不含标注肺结节中心坐标的伪彩图。

所述的样本训练模块包括：深度卷积神经网络单元和参数调整单元，其中：深度卷积神经网络单元与RGB通道叠加模块相连并接收伪彩图样本数据，参数调整单元与深度卷积神经网络单元相连并接收训练后的神经网络参数，生成训练后的深度卷积神经网络模型并输出至预测模块。

所述的深度卷积神经网络单元包括：五个卷积层、三个池化层、七个激活层和三个全连接层。

所述的预测模块包括：待测数据采集单元、预测单元以及数据回传单元，其中：待测数据采集单元接收依次经转化处理、强化处理和切割处理后的待测肺部伪彩图并输出至预测单元，预测单元根据样本训练模块输出的训练后的深度卷积神经网络模型对待测肺部伪彩图进行精

确识别。

所述的原始CT切片图像为LIDC-IDRI数据库中随机选取的八百个对象所有CT切片图像，为大小为512*512的dicom格式图像。

所述的xml文件为LIDC-IDRI数据库中相应的标注文件。

所述的待预测伪彩图为经过预处理的LIDC-IDRI数据库中不在训练集中的一个随机对象所有CT切片图像，CT切片图像为大小为512*512(像素)的dicom格式图像。

所述的深度学习方法使用的网络结构为AlexNet网络。AlexNet网络是一种经典的开源深度卷积神经网络，本实施例中的AlexNet网络由五个卷积层、三个池化层、七个激活层和三个全连接层组成。

实施例2

以下为本实施例基于上述系统的图像识别的一个具体说明，但本发明的实际应用不限于在此场景下实施，也不局限于该目的和内容。本实施例具体包括以下步骤：

步骤1、令当前处理的对象序号i＝1。

步骤2、令当前处理的dicom文件序号j＝1。

步骤3、读取该对象的第j个dicom格式的CT切片文件，并将其转换为bmp格式，读取dicom格式的肺部CT图像中每张切片的uid、切片深度等字段，并将其存在相应的bmp格式图像的文件名中，读取xml标注文件，若标注文件中标注该切片含有肺结节，则读取肺结节所在的中心位置。

步骤4、将上述bmp格式图像以固定阈值进行二值化操作。

所述的二值化操作为将灰度图像根据某一阈值转化为二值图像，本实施例中的这一阈值为0.4。

步骤5、对二值化后的图像提取最大连通分量，得到初步提取的肺部轮廓掩模。

所述的图像掩模是指一种用于覆盖特定图像区域的二值图像，需要考虑的区域相应的图像掩模值为1，即为白色；不需考虑的区域相应的图像掩模值为0，即为黑色。

步骤6、填补上图像中肺部轮廓掩模的空洞部分，即气管部分，并对图像进行腐蚀操作，使轮廓与粘连在轮廓上的肺结节分离。

步骤7、填补上腐蚀后图像中肺部轮廓掩模的空洞部分，并对填补后的图像以相同算子进行膨胀操作，得到真正的肺部轮廓掩模。

所述的空洞部分为掩模图像中的黑色较小连通区域，本实施例中为面积小于2000(像素)的黑色连通区域。

所述的腐蚀操作指形态学中根据腐蚀算子除去图像的某些部分，本实施例中的腐蚀算子为半径为16(像素)的圆盘。

步骤8、对肺部轮廓掩模图像进行取反操作。

所述的取反操作为将二值图像中的0值置为1，1值置为0的操作。

步骤9、提取取反后的肺部轮廓掩模图像中所有符合最小外接矩形小于图像边界这一要求的连通区域，得到左右肺实质的掩模。

所述的最小外接矩形是指以给定的二维形状各顶点的最大横坐标、最小横坐标、最大纵坐标和最小纵坐标定下边界的矩形。

步骤10、将上述肺实质掩模与bmp格式的原始CT切片图像相乘，得到肺实质。

步骤11、令j＝j+1，判断j是否大于该对象的dicom格式CT图像数量，若j大于该对象的dicom格式CT图像数量，则进入步骤12，否则进入步骤3继续处理剩下的dicom格式文件。

步骤12、将所有肺实质图像按照相应的切片深度进行排序。

步骤13、令当前处理的肺实质序号k＝2。

步骤14、如当前肺实质中含有标注肺结节，则以标注的中心坐标为中心坐标，从第k-1、第k、第k+1张肺实质中切割出64*64的小块，并放入RGB通道叠加成一张伪彩图，作为正训练样本；若当前肺实质中不含标注肺结节，则以该肺实质图像上的随机连通区域质心坐标为中心，从第k-1、第k、第k+1张肺实质中切割出64*64的小块，并放入RGB通道叠加成一张伪彩图，作为负训练样本。

步骤15、令k＝k+1，若k等于该对象的肺实质数量，则进入步骤16，否则回到步骤14。

步骤16、令i＝i+1，若i大于对象数，则进入步骤17，否则回到步骤2。

步骤17、以上述的正训练样本和负训练样本作为训练集，使用AlexNet进行学习和分析，得到预测模型。

本实施例中第一个卷积层有96个卷积核，卷积核大小为11*11，步长为4；第二个卷积层有256个卷积核，卷积核大小为5*5，步长为1；第三个卷积层有384个卷积核，卷积核大小为3*3，步长为1；第四个卷积层有384个卷积核，卷积核大小为3*3，步长为1；第五个卷积层有256个卷积核，卷积核大小为3*3，步长为1。

本实施例中池化层的池化方法均为最大池化方法，即选取图像区域的最大值为该区域池化后的值。本实施例中池化层的池化核大小为3*3，步长为2。

本实施例中激活层选用的激活函数均为RELU函数，RELU激活函数的公式为f(x)＝max(0,x)。

步骤18、读取待测CT切片序列，并重复步骤2～步骤12并得到待测肺实质序列。

步骤19、令当前处理的肺实质序号k＝2。

步骤20、对第k张肺实质根据某一阈值进行二值化操作，得到二值图像。

所述的二值化操作为将灰度图像根据某一阈值转化为二值图像，本实施例中的这一阈值为0.3。

步骤21、删除二值肺实质图像中的小面积区域，得到去除误判区域后的肺实质图像。

所述的小面积区域为面积过小的明显非肺结节区域，本实施例中的小面积区域为面积小于30的区域。

步骤22、删除完成步骤21后的图像(即删除了小面积的二值肺实质图像)中的条状区域。

所述的条状区域为长宽比过为悬殊的明显非肺结节区域，本实施例中的条状区域为该区域的最佳拟合椭圆的长轴长与短轴长之比大于4的区域。

所述的最佳拟合椭圆指和该区域具有相同标准二阶中心矩的椭圆。

步骤23、提取完成步骤22后的图像(即删除了小面积区域与条状区域的二值肺实质图像)中的所有连通区域，并计算出这些连通区域(即疑似肺结节)的质心坐标。

步骤24、令当前处理的疑似肺结节序号m＝1。

步骤25、从肺实质序列中找到第k-1张、第k张和第k+1张肺实质，并以第m个肺结节的质心为中心坐标，分别切割出三张64*64的小块图像。

步骤26、将这三张小块图像分别放入RGB(红、绿、蓝)通道，叠加成一张伪彩图。

步骤27、令m＝m+1，若m大于疑似肺结节数量，则进入步骤28，否则回到步骤25。

步骤28、令k＝k+1，若k等于该对象的肺实质数量，则进入步骤29，否则回到步骤20。

步骤29、使用步骤17获得的预测模型对上述64*64小块图像进行预测。

经过有无RGB通道叠加预处理这一操作的对比实验，发现通过RGB通道叠加来增加肺结节和健康组织的差异性，深度学习算法得到的正确率从70％提升到了95％。

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (13)

1.一种基于RGB通道叠加方法的肺结节图像深度学习识别系统，其特征在于，包括：数据读取模块、肺实质提取模块、肺结节提取模块、RGB通道叠加模块、样本训练模块和预测模块，其中：数据读取模块从医疗设备中读取原始肺部CT图像并转化处理为若干bmp图像，肺实质提取模块对bmp图像进行肺实质区域强化处理后生成按切片深度排序的肺实质图像序列，肺结节提取模块从肺实质图像序列中提取出标注肺结节中心坐标和疑似肺结节的质心坐标并提供给RGB通道叠加模块，RGB通道叠加模块根据标注肺结节中心坐标对肺实质图像序列中的所有图像进行切割处理并生成由伪彩图组成的伪彩图样本数据，样本训练模块通过深度学习方法对伪彩图样本数据进行学习和训练并得到深度卷积神经网络模型，预测模块采用深度卷积神经网络模型对依次经转化处理、强化处理和切割处理后的待测肺部伪彩图进行精确识别。

2.根据权利要求1所述的系统，其特征是，所述的转化处理，即数据读取模块读取原始的dicom格式的肺部CT图像和切片深度、切片uid信息和xml文件中的肺结节标注信息，并将CT图像转换为bmp格式，其中：肺结节标注信息包括肺结节所在切片uid、肺结节所在切片深度、肺结节在切片上的中心位置。

3.根据权利要求1所述的系统，其特征是，所述的标注肺结节中心坐标和疑似肺结节的质心坐标分别通过提取xml文件标注中的中心坐标与计算疑似肺结节所在连通区域的质心位置方式得到。

4.根据权利要求1所述的系统，其特征是，所述的强化处理，即肺实质提取模块从若干bmp图像中提取出肺实质区域，保留CT切片图像的肺实质区域，并将其余部分置为黑色，并将所处理的所有肺部CT图像序列中得到的肺实质图像按照切片深度排序得到肺实质图像序列，并提供给肺结节提取模块。

5.根据权利要求1所述的系统，其特征是，所述的提取是指：采用腐蚀操作和膨胀操作得到肺实质掩模后对bmp图像进行提取得到。

6.根据权利要求1所述的系统，其特征是，所述的切割处理是指：从按切片深度排序的肺实质图像序列中找到当前处理的肺实质图像，并找到顺序中的上一张肺实质图像和下一张肺实质图像。以给定坐标为中心，分别从该三张肺实质图像中切割出三张小块图像，并放入RGB通道叠加成一张伪彩图，从而增加真实肺结节和健康组织之间的差异性。

7.根据权利要求6所述的系统，其特征是，所述的小块图像的边长为bmp图像边长的1/8。

8.根据权利要求1所述的系统，其特征是，所述的伪彩图样本数据包括正训练样本，即含有标注肺结节中心坐标的伪彩图和负训练样本，即不含标注肺结节中心坐标的伪彩图。

9.根据权利要求1所述的系统，其特征是，所述的样本训练模块包括：深度卷积神经网络单元和参数调整单元，其中：深度卷积神经网络单元与RGB通道叠加模块相连并接收伪彩图样本数据，参数调整单元与深度卷积神经网络单元相连并接收训练后的神经网络参数，生成训练后的深度卷积神经网络模型并输出至预测模块。

10.根据权利要求9所述的系统，其特征是，所述的深度卷积神经网络单元包括：五个卷积层、三个池化层、七个激活层和三个全连接层。

11.根据权利要求1所述的系统，其特征是，所述的预测模块包括：待测数据采集单元、预测单元以及数据回传单元，其中：待测数据采集单元接收依次经转化处理、强化处理和切割处理后的待测肺部伪彩图并输出至预测单元，预测单元根据样本训练模块输出的训练后的深度卷积神经网络模型对待测肺部伪彩图进行精确识别。

12.一种基于上述任一权利要求所述系统的图像识别方法，其特征在于，首先读取dicom格式的肺部CT切片图像序列并进行预处理操作，然后通过切割得到的连续三张肺部局部图像的RGB通道叠加方法强化肺结节区域的图像细节，并以此生成用于训练深度卷积神经网络模型的伪彩图样本数据，最后经深度学习方法进行学习从而得到用于进行精确图像识别的深度卷积神经网络模型。

13.根据权利要求12所述的方法，其特征是，所述的深度学习方法使用的网络结构为AlexNet网络。