CN108428229A - 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 - Google Patents

Abstract

本发明公开了一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法，属于医学图像处理和计算机视觉领域。以217个肺部三维计算机断层扫描(CT)图像为源数据，经过预处理得到若干组数据集合，其中每组数据包含一个CT图像小块、相应的几何信息图像小块和一个类别标签。构建双通道残差网络框架，分别以CT图像小块和相应的几何信息小块为各个通道的输入，通过双通道残差网络分别学习肺部纹理的表观信息和几何信息，并将其有效融合，从而得到较高的识别率。此外，所提出的网络结构清晰，容易构建，易于实现。

Description

一种基于深度神经网络提取表观和几何特征的肺部纹理识别 方法

技术领域

本发明属于医学图像处理和计算机视觉领域，涉及利用深度神经网络框架，提取肺部计算机断层扫描(CT)图像的表观和几何信息的相关特征，并对不同类别的肺部CT图像纹理进行分类，具体涉及到一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法。

背景技术

弥漫性肺疾患是在CT图像的肺部区域内，呈现出广泛分布的大面积肺部阴影的肺部疾病的总称。由于这些肺部阴影纹理繁杂，容易混淆，即使对于经验丰富的放射线科专家，也很难做到准确识别不同的肺部纹理。因此，需要建立一种计算机辅助诊断(CAD)系统，对弥漫性肺疾患CT图像的肺部纹理进行准确且高效的自动识别。建立这种CAD系统的一项关键技术，是对CT图像中的肺部区域的任意感兴趣区域(ROI)内的肺部纹理进行准确且高效的自动识别。

传统的CT图像肺部纹理识别，通常基于两步式的方法，即首先以人工方式设计能表征肺部纹理特性的特征量，然后训练能有效区分特征量的分类器。由于分类器训练的技术相对成熟，大多数方法往往采用现有的方法，如神经网络、支持向量机、K-近邻分类器等；因此，科研人员将主要精力放在设计能充分表征肺部纹理特性的特征量上，例如一种基于特征袋的肺部纹理识别方法(R.Xu,Y.Hirano,R.Tachibana,and S.Kido,“Classificationof diffuse lung disease patterns on high-resolution computed tomography by abag of words approach,”in International Conference on Medical ImageComputing&Computer-assisted Intervention(MICCAI),2011,p.183.)。

近年来，随着深度学习发展，深度神经网络在图像处理和计算机视觉领域带来了革命性的影响。它将传统的图像识别方法的两步合二为一，即将特征量设计与分类器训练融合成一个整体的端到端框架，直接从图像数据中挖掘和学习能有效表征数据的特征量，并将之应用于图像识别任务中。基于这种模式，深度学习在自然图像识别、人脸识别等方面，相对于传统的图像识别方法，表现出了卓越的性能。最近，深度学习同样被应用到肺部纹理识别中，例如有研究利用卷积神经网络(CNN)对肺部纹理进行分类(M.Anthimopoulos,S.Christodoulidis,and et.al.,“Lung pattern classification for interstitiallung diseases using a deep convolutional neural network,”IEEE Transactions onMedical Imaging,vol.35,no.5,pp.1207–1216,2016)，使识别性能获得小幅提升。

虽然深度学习方法已经被应用于CT图像的肺部纹理识别中，并且与传统的识别方法相比，在识别精度上有了一定的提升，但是与CAD系统的实际需求相比，肺部纹理识别精度还存在一定的差距。上述基于深度学习的方法存在两个问题，首先，构建的网络层数较少，无法学习高效表征肺部纹理的特征量，不能充分发挥深度学习的优势。其次，针对肺部纹理图像的特殊性，不同的肺部纹理，不仅体现在像素明暗变化所反映的表观区别上，还反映在纹理细微结构的几何差异上。上述基于深度学习的方法仅挖掘肺部纹理的表观信息，忽略了其几何特点，从而未能充分学习有效的特征，无法完成高精度的纹理识别。

基于以上问题，本发明设计了一个基于深度神经网络提取表观和几何特征的肺部纹理识别框架，该框架运用残差网络(Kaiming He,Xiangyu Zhang,and et.al.,“Deepresiduallearning for image recognition,”in Computer Vision andPatternRecognition,2016,pp.770–778.)中的残差模块，构建了一个18层的双通道残差网络。它具有双通道的网络结构，能分别提取和学习肺部纹理的表观和几何特征，并将其有机融合，实现了肺部纹理的高精度自动识别。

发明内容

本发明旨在克服现有技术的不足，提供了一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法。该方法具有深层的双通道网络结构，能分别提取肺部纹理的表观和几何信息，并将其有机融合，实现了的肺部纹理的高精度自动识别。

本发明的具体技术方案为，一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法，包括下列步骤：

1)准备初始数据：初始数据包括用来训练、验证和测试的肺部纹理CT图像小块、对应的几何信息图像小块和对应的类别标签。

2)双通道残差网络的构建：基于残差网络中跳跃结构的思想，构建一个18层的双通道残差网络。

3)基于步骤(2)得到双通道残差网络进行训练。

双通道残差网络的构建，具体包括以下步骤：

2-1)构建的双通道残差网络共18层，由15个卷积层和3个全连接层组成；上面的通道利用(32×32×1的CT图像小块)图像表观信息作为输入，下面的通道利用对应的(32×32×3的几何信息图像小块)图像几何信息作为输入；

2-2)跳跃结构计算卷积层输入信息与经卷积层计算后输出信息的残差，网络通过对残差的学习，可以有效的加深网络层数，避免梯度消失、梯度爆炸问题，使网络能够高效的学习；残差计算公式如下：

y＝F(x,{W_i})+x

式中，y表示卷积层的最终输出结果，F表示卷积计算函数，x表示网络的输入，i表示卷积层索引数，定义域为[1,15]，W_i表示第i个卷积层的系数，由网络训练得到；

2-3)网络的上、下两通道的最后一个卷积层的输出，在分别经过最大池化后，直接进行串接操作，从而融合上、下通道的信息；

2-4)为了保证双通道残差网络对图片分类时具备旋转不变性和平移不变性，在第一个卷积层后和最后一个卷积层后加入一个最大池化层；

2-5)为了扩大网络的感受野，将第6、第10、第14个卷积层的卷积步长设置为2(默认为1)，起到了2倍下采样的作用，不断扩大网络的感受野。

基于步骤(2)得到的双通道残差网络进行训练，具体包括以下步骤：

3-1)使用小批量训练模式，利用交叉熵的平均值作为损失函数来衡量分类结果与实际类别结果的差别，公式如下：

式中，L(·)表示损失函数值，n表示该批量中参与训练的样本数，本发明中n为30，x表示该批量中参与训练的数据矩阵，∑为求和运算符，y′表示与x相对应的实际类别标签矩阵，log(·)表示对数运算，y表示经网络分类得到的x的类别标签矩阵。

3-2)使用步骤(3-1)中的损失函数优化双通道残差网络。

本发明的有益效果是：

本发明基于深度学习的思想，利用残差网络中的跳跃结构，构建了一个18层的双通道残差网络。两个通道的输入分别为原始图像和对应的几何信息图像。通过该网络，可以得到较高正确识别率的分类结果。该系统具有以下特点：

1、系统容易构建，仅仅依靠原始的CT图像小块和对应的几何信息图像小块，通过双通道残差网络就可以得到较高正确识别率的分类结果；

2、程序简单，易于实现；

3、利用残差网络中的跳跃结构，在保证网络能够正常学习的情况下，加深了双通道残差网络的层数，提升了网络挖掘图像特征的能力。

4、以残差网络为基础，构建双通道网络，分别学习肺部纹理的表观信息和几何信息，并将其有效融合，显著提升了识别正确率。

附图说明

图1为具体实施流程图。

图2为7类肺部纹理CT图像小块的样例，其中，(a)结节状；(b)肺气肿；(c)蜂窝状；(d)固定型；(e)毛玻璃状；(f)正常；(g)带线条的毛玻璃状。

图3为肺部纹理图，其中(a)CT图像小块；(b)提取的几何信息图小块的样例。

图4为网络结构简图。

图5为分类结果识别正确率与其他方法的比较，其中(a)LeNet-5模型识别准确率；(b)特征袋(Bag-of-Feature)模型识别准确率；(c)5层卷积神经网络(CNN-5)模型识别准确率；(d)单一残差网络(ResNet-18)模型识别准确率；(e)本发明(DB-ResNet-18)识别准确率。

图6为分类结果混乱矩阵与其他方法的比较，其中(a)特征袋(Bag-of-Feature)模型混乱矩阵；(b)5层卷积神经网络(CNN-5)模型混乱矩阵；(c)单一残差网络(ResNet-18)模型混乱矩阵；(d)本发明(DB-ResNet-18)混乱矩阵。

具体实施方式

本发明提出了一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法，结合附图及实施例详细说明如下：

本发明构建了一个双通道残差网络，利用肺部CT图像进行训练，在测试中达到了较高的正确识别率，具体实施流程如图1所示，所述方法包括下列步骤；

1)准备初始数据：

1-1)在实验中共收集了217位病人的肺部CT图像。其中，187位病人的CT图像中包含弥漫性肺病的6种典型纹理，即结节状、肺气肿、蜂窝状、固定型、毛玻璃状和带线条的毛玻璃状纹理；剩余30位病人的CT图像中，只呈现正常的肺部组织纹理。利用此217幅CT图像，生成用于试验的7种肺部纹理图像小块(包含正常组织的纹理)。

1-2)邀请三位富有经验的放射学专家，对217幅CT图像，进行如下操作：

1-2-1)在每幅CT图像的冠状轴方向上选择3张含有典型肺部纹理的断层；

1-2-2)三位专家分别在3个断层上利用标注工具，手动标注出含有典型肺部纹理(包括肺病纹理和正常肺部组织纹理)的区域；

1-2-3)对于每一张断层的标注结果，取三位专家的交集作为最终标记结果。

1-3)利用最终的标注结果，在CT图像的相应断层上，使用32×32×1的扫描框，对CT图像进行采样。从相应断层的左上角开始，分别在水平和垂直方向上，以8个像素间距为步长进行扫描。当搜索框的中心点落在标记区域内时，保存搜索框内的CT图像区域，并记录好相应CT图像区域的肺部纹理类别，最终得到一系列大小为32×32×1的7类典型肺部纹理CT图像小块。图2给出了所得到的7种肺部纹理CT图像小块的样例。

1-4)对步骤(1-3)所得的全部32×32×1的CT图像区域小块内的全部1024个像素点，按照如下公式计算大小为3×3海森矩阵(Hessian Matrix)。

式中，H表示海森矩阵，表示偏导数计算，x，y,z为三个方向的坐标，其定义域为[0,511]。I表示CT图像的灰度值，其为[0,255]。

对每个像素点所得的海森矩阵，进行矩阵的特征值分解，在每个像素点上将得到3个特征值。将这些特征值按照像素点的位置排列，重组为32×32×3的图像，该图像反映原始的32×32×1的CT图像小块的几何特征，是对应的几何信息图像小块。图3给出了CT图像小块和相应的几何信息图像小块的样例。

1-5)通过步骤(1-3)和(1-4)，共得到72348组数据，每组数据包括一张32×32×1的CT图像小块、32×32×3的几何信息图像小块以及相应肺部纹理的类别标签。随机选取其中的54392组作为训练集和验证集来训练并改善双通道残差网络，剩余的17956组作为测试集对模型和参数已经确定的网络进行测试。训练集、验证集和测试集间互相独立。

2)双通道残差网络的构建：基于残差网络中跳跃结构的思想，构建一个18层的双通道残差网络。图4展示的是网络结构简图。

2-1)本发明构建的双通道残差网络共18层，由15个卷积层和3个全连接层组成。上面的通道利用32×32×1的CT图像小块(图像表观信息)作为输入，下面的通道利用对应的32×32×3的几何信息图像小块(图像几何信息)作为输入。

2-2)跳跃结构计算卷积层输入信息与经卷积层计算后输出信息的残差，网络通过对残差的学习，可以有效的加深网络层数，避免梯度消失、梯度爆炸问题，使网络能够高效的学习。残差计算公式如下：

y＝F(x,{W_i})+x

式中，y表示卷积层的最终输出结果，F表示卷积计算函数，x表示网络的输入，i表示卷积层索引数，定义域为[1,15]，W_i表示第i个卷积层的系数，由网络训练得到。

2-3)网络的上、下两通道的最后一个卷积层的输出，在分别经过最大池化后，直接进行串接操作，从而融合上、下通道的信息。

2-4)为了保证双通道残差网络对图片分类时具备旋转不变性和平移不变性，在第一个卷积层后和最后一个卷积层后加入了一个最大池化层。

2-5)为了扩大网络的感受野，将第6、第10、第14个卷积层的卷积步长设置为2(默认为1)，起到了2倍下采样的作用，不断扩大网络的感受野。

3)基于步骤(2)得到双通道残差网络进行训练。

3-1)利用如下公式计算交叉熵的平均值，作为损失函数来衡量分类结果与实际类别结果的差别。

式中，L(·)表示损失函数值，n表示该批量中参与训练的样本数，本发明中n为30，x表示该批量中参与训练的数据矩阵，∑为求和运算符，y′表示与x相对应的实际类别标签矩阵，log(·)表示对数运算，y表示经网络分类得到的x的类别标签矩阵。

3-2)使用步骤(3-1)中损失函数优化双通道残差网络。直至损失函数在连续的20个训练周期内无新的最小值时，停止训练。

本实施例对测试数据的分类结果识别正确率与其他方法的比较如图5所示，其中(a)为LeNet-5(Y.Lecun,L.Bottou,Y.Bengio,and P.Haffner,“Gradient-based learningapplied to document recognition,”Proceedings of the IEEE,vol.86,no.11,pp.2278–2324,1998.)模型识别准确率；(b)为特征袋(Bag-of-Feature)(R.Xu,Y.Hirano,R.Tachibana,and S.Kido,“Classification of diffuse lung disease patterns onhigh-resolution computed tomography by a bag of words approach,”inInternational Conference on Medical Image Computing&Computer-assistedIntervention(MICCAI),2011,p.183.)模型识别准确率；(c)为5层卷积神经网络(CNN-5)(M.Anthimopoulos,S.Christodoulidis,and et.al.,“Lung pattern classificationfor interstitial lung diseases using a deep convolutional neural network,”IEEE Transactions on Medical Imaging,vol.35,no.5,pp.1207–1216,2016.)模型识别准确率；(d)为单一残差网络(ResNet-18)(Kaiming He,Xiangyu Zhang,and et.al.,“Deepresidual learning for image recognition,”in Computer Vision and PatternRecognition,2016,pp.770–778.)模型识别准确率；(e)为本发明(DB-ResNet-18)识别准确率。

本实施例对测试数据的分类结果混乱矩阵与其他方法的比较如图6所示，其中(a)为特征袋(Bag-of-Feature)模型的混乱矩阵；(b)为5层卷积神经网络(CNN-5)模型的混乱矩阵；(c)为单一残差网络(ResNet-18)模型的混乱矩阵；(d)为本发明(DB-ResNet-18)的混乱矩阵。

Claims (2)

1.一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法，其特征在于，包括下列步骤：

1)准备初始数据：初始数据包括用来训练、验证和测试的肺部纹理CT图像小块、对应的几何信息图像小块和对应的类别标签；

2)双通道残差网络的构建：基于残差网络中跳跃结构的思想，构建一个18层的双通道残差网络；

3)基于步骤2)得到双通道残差网络进行训练。

2.根据权利要求1所述的一种基于深度神经网络提取图像表观和几何特征的肺部纹理识别方法，其特征在于，步骤2)中双通道残差网络的构建，具体包括以下步骤：

2-1)构建的双通道残差网络共18层，由15个卷积层和3个全连接层组成；上面的通道利用图像表观信息作为输入，下面的通道利用对应的图像几何信息作为输入；

2-2)跳跃结构计算卷积层输入信息与经卷积层计算后输出信息的残差，网络通过对残差的学习；残差计算公式如下：

y＝F(x,{W_i})+x

式中，y表示卷积层的最终输出结果，F表示卷积计算函数，x表示网络的输入，i表示卷积层索引数，定义域为[1,15]，W_i表示第i个卷积层的系数，由网络训练得到；

2-3)网络的上、下两通道的最后一个卷积层的输出，在分别经过最大池化后，直接进行串接操作，从而融合上、下通道的信息；

2-4)在第一个卷积层后和最后一个卷积层后加入一个最大池化层；

2-5)将第6、第10、第14个卷积层的卷积步长设置为2。