CN109902736A - 一种基于自动编码器构建特征表示的肺结节图像分类方法 - Google Patents

Abstract

本发明提供一种基于自动编码器构建特征表示的肺结节图像分类方法，涉及计算机视觉技术领域。该方法首先将肺结节图像通过超像素分割为局部斑块；然后使用无监督深度自动编码器将这些斑块变换为固定长度的局部特征向量；并基于局部特征构建视觉词汇，通过视觉词袋描述肺结节图像的全局特征；用softmax算法对肺结节类型分类，完成用于肺结节图像特征表示的模型框架的设计；使用设计的模型框架及ELCAP数据集进行训练，得到用于肺结节图片自动分类模型；最后使用得到的肺结节图像分类模型，进行肺结节图像分类。本发明提供的基于自动编码器构建特征表示的肺结节图像分类方法，提升了肺结节分类模型的特征提取能力，提高了肺结节自动分类的准确率。

Description

一种基于自动编码器构建特征表示的肺结节图像分类方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于自动编码器构建特征表示的肺结节图像分类方法。

背景技术

肺癌是世界上最致命的疾病之一，2016年肺癌约占所有癌症的20％。尽管最近的诊断和治疗取得了很大进展，但5年治愈率仅为18.2％。值得注意的是，如果患者能够进行早期准确诊断并且实施适当的治疗，那么他们的生存机率就会大大增加。根据全国肺部筛查的报告，低剂量CT扫描可将肺癌死亡率降低20％。传统的肺结节诊断主要依赖医生专家的观察，因此会有一些缺点：诊断结果具有主观性；工作量大耗时长；人类视觉局限性；偏远地区医生无法普及。随着计算机视觉技术的发展，自动/半自动化医学图像处理和分析取得了很大的进步。计算机辅助诊断系统的效率和稳定性可以为医生提供正确的辅助意见。

现有的肺结节图像自动分类技术主要利用计算机视觉和机器学习技术处理和分析医学图像。一些有代表性的工作包括采用基于肺结节图像的纹理，形状，滤波和强度统计方法来描述肺结节的特征，然后使用监督或者无监督的机器学习方法构造分类器。这些方法只能在较低水平上构建肺结节图像的特征表示，缺乏复杂特征的提取，而且缺少一般性。另一方面，这些方法需要行业专家的大量参与。还有一些技术采用一些广泛应用于计算机视觉领域的精心设计的特征提取和表示方法，如SIFT，HOG，LBP特征等。这些方法与低水平的特征相比，获得了更高的性能，但是这些方法被认为是肺结节的中间层抽象，灵活性较差，处理速度较慢。随着深度学习的兴起，基于深度学习的目标检测和识别技术得到了长足的发展，不论是检测速度还是检测准确度都获得了很大的提高。深度学习模型可以描述肺结节图像的高级抽象，同时具有很强的特征提取能力和泛化能力，因此在目标检测和识别上深度学习方法的效果远远好于传统方法。但是神经网络模型的训练需要大量的标注正确的数据。因为医学影像的特殊性和隐私法律法规的约束，所以无法获得大量的训练数据。

因此，针对肺结节图像自动分类领域的现状，急需要一种可以高效处理和分析肺结节图像的方法。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于自动编码器构建特征表示的肺结节图像分类方法。能够在较短时间内为医生提供辅助的肺结节分类诊断结果。从而提升肺结节诊断的准确性和效率，并具有更好的易用性和鲁棒性，为肺结节图像分类技术可以应用在用户场景奠定一定的基础。

为解决上述技术问题，本发明所采取的技术方案是：一种基于自动编码器构建特征表示的肺结节图像分类方法，包括以下步骤：

步骤1、收集肺结节CT图像数据根据肺结节的外观和其与周围组织之间的关系和专家指导，将肺结节分为良好边界型、胸膜粘连型、胸膜尾型和血管粘连型四种类型，并对图像进行裁剪，调整尺寸，数据增强预处理；

步骤2、基于机器学习方法，设计用于肺结节图像特征表示的模型框架；

步骤2.1、获得肺结节图像的局部特征表示，该过程包括以下两个步骤：

步骤2.1.1、局部斑块集合生成：将收集的肺结节CT图像使用超像素分割为局部斑块(local patch)，并获得超像素图；在生成局部斑块的位置和规模的过程中，肺结节和其周围组织被包含于小尺寸斑块，无用的部分被包含于大尺寸斑块；这些经过超像素分割产生的所有局部斑块没有类别标签；对于包含重要组织的局部斑块被提取使用，无关的组织被清除；如果肺结节的局部斑块是不规则的形状，则将斑块扩展为它的最小包围矩形；最后，将肺结节图像分解为由一组局部斑块构成的局部斑块集合；局部斑块集合表示为x＝{p₁，p₂，...，p_n}，其中，x表示-张肺结节图片，p_i表示第i个局部斑块，i＝1，…，n，n为肺结节图片x包括的局部斑块总数；为了筛选出合适大小并且重叠度较低的局部斑块，通过以下附加准则来确定图像斑块是否适合局部特征提取：(i)局部斑块p_i的尺寸大于A_max或小于A_min时，此斑块被移除；(ii)两个局部斑块和如果它们的重叠度均大于O_t，则将其中较小的斑块移除；其中，A_max，A_min和O_t均为预定义的阈值；

步骤2.1.2、局部特征提取与表示：使用局部斑块集合作为输入，通过无监督深度自动编码器从每个局部斑块中提取出局部特征；

所述深度自动编码器模型设计有5层，分别为L₁-L₅，其中，L₂-L₄为隐藏层；L₁-L₃是编码器，用于将输入图像转换为特征向量；L₃-L₅是解码器，用于将特征向量转换为输出特征；

所述深度自动编码器模型前一层的输出作为后一层的输入，任意两层之间通过权重矩阵连接，通过下面的公式获得权重：

a＝h(x)＝f(W^Ex+b^E)

x′＝h′(x)＝g(W^Da+b^D)＝g(W^Dh(x)+b^D)

其中，h(·)表示编码器，h′(·)表示解码器，a代表输入图像x转换后的特征向量，b^E代表编码器偏差，b^D表示解码器偏差，x′代表将特征a变换后的输出特征，W^E和W^D分别为编码器和解码器的权重矩阵，f(·)和.g(·)均为激活函数；

当x′近似x时，编码器的输入可从抽象和压缩的输出特征向量重建，深度自动编码器的损失函数如下公式所示：

其中，J(·)表示损失函数，W表示深度自动编码器整体的权重矩阵，包括W^E和W^D，b表示深度自动编码器偏差，N_p表示一个批次中输入局部斑块数据的数量，p_q表示第q个输入局部斑块，p′_q表示局部斑块p_q经过深度自动编码器的输出，λ表示正则化系数，N_l表示深度自动编码器的所包含的层数，M_l表示第l层包含的激活单元的总数量，表示第l层第r个激活单元到第l+1层第s个激活单元的权重；KL散度作为稀疏化正则项，β为权衡参数，ρ_t是深度自动编码器的第t层的平均激活，ρ是目标激活，T表示第t层包含的神经元的数量，表示第t层的第u个神经元的激活函数，x_input表示激活函数的输入；ρ的值设定在0.3到0.4之间；

通过训练网络来最小化深度自动编码器的损失函数，具体方法为：

设计两个堆叠的自动编码器，第一个隐藏层的激活是第二个堆叠自动编码器的输入；自动编码器的输入层与第一个隐藏层的权重W₁和第三个隐藏层与输出层的权重W₄通过第一堆叠自动编码器的编码和解码权重进行训练，第一个隐藏层与第二个隐藏层的权重W₂和第二个隐藏层与第三个隐藏层的权重W₃通过第二堆叠自动编码器的编码和解码权重进行训练；最后，整个网络以堆叠的方式逐层地构建；肺结节图像x的每个局部斑块p_i使用深度自动编码器模型生成的固定长度特征向量pfi表示，具体公式为x＝{p₁，p₂，...，p_n}＝{pf1，pf2，...，pfn}；

步骤2.2、通过由视觉词袋模型构造的全局特征来表示肺结节图像，具体方法为：

步骤2.2.1、基于对一组训练图像生成的所有局部特征进行k-means聚类来构造视觉词汇；所有局部特征向量组装成大小为d*D的特征空间，其中，d表示特征向量的维度，D表示所有的局部斑块的数量，然后将k-means聚类应用在此特征空间；每个聚类中心代表一个视觉单词，k个聚类中心构成一个视觉词汇；

步骤2.2.2、每个肺结节图像通过视觉词汇直方图全局表示；对于肺结节图像x，将局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签，通过计算图像生成的局部斑块的所有标签来获得直方图H(x)＝[H(x)₁，H(x)₂，...，H(x)_k]；

步骤2.3、使用softmax分类器来分类肺结节类型；用CLS＝{0，1，2，3}表示肺结节的四个类别；用{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}表示训练数据，x_α代表肺结节图片，y_α∈CLS表示肺结节的类型；对于输入图片x_α经过下面的假设函数输出一个四维向量，每个元素代表对于给定的x_α，针对每一个肺结节类型σ∈CLS的概率估计值p(y_α＝σ|x_α)；

所述假设函数如下公式所示：

其中，θ＝{θ，θ₁，θ₂，θ₃}是模型参数集；表示对概率分布进行归一化使得所有概率总和为1；

对于训练过程，softmax分类器的损失函数J_cls(·)如下公式所示：

其中，1{·}是指示函数，θ是模型参数集，y_α表示x_α的真实类别，m是一个批次的输入训练样本容量，R(θ)表示正则化项；

采用随机梯度下降法对softmax分类器的损失函数进行优化，如下公式所示：

其中，p(y_α＝σ|x_α；θ)表示参数为θ时softmax分类器将样本x_α分类为类别σ的概率，σ∈CLS：

所述soffmax分类器的损失函数是用在分类结果上的，在训练过程中，是用带标签的数据通过上述损失函数来训练用于肺结节图像分类的模型；

步骤2.4、通过聚合多个单独的分类器形成集合模型来提高分类性能；使用多数投票原则获得最终的分类结果，如下公式所示：

其中，ψ(e)为对类型e的投票总数，I为测试图像，e∈CLS为类型标签，N_m为集成模型的数量，C_η为第η个分类器模型；如果C_η认为测试图像I的类型为e，则S(C_η(I)＝e)＝1；最终将拥有最大值的标签作为最终的分类结果；如果多个类型具有相同的投票数，则取算术平均值；

步骤3、使用步骤2设计的模型框架及ELCAP数据集进行训练，得到用于肺结节图片自动分类模型；

步骤3.1、对原始的肺结节图片进行裁剪，调整尺寸，数据增强预处理来生成模型训练数据；

步骤3.2、将肺结节图片输入到步骤2设计的模型框架中，对肺结节图像进行特征提取，得到图像的直方图表示；

首先使用超像素将图片分割为局部斑块，并获得超像素映射；使用的参数设定为：设置每个肺结节图像通过超像素生成的局部斑块数量为25个；将获得的局部斑块大小设置为30*30像素作为深度自动编码器的输入用于局部特征提取；设置深度自动编码器中包含的隐藏层为2层，节点的数量为(100，50)；通过所述自动编码器损失函数计算公式计算编码器损失函数值，损失函数中的稀疏正则化项中的ρ的值设定在0.3到0.4之间，结合损失值，利用反向传播算法对深度自动编码器进行训练；

所有肺结节训练图像产生D个局部斑块，每个局部斑块用d维特征向量表示，所有局部特征向量组装成大小为d*D维的特征空间；使用k-means聚类d*D特征空间；每个聚类中心c_w代表一个视觉单词w，k个聚类中心构成视觉词汇；肺结节图像样本x通过编码的局部斑块被表示为袋，代表视觉单词在视觉词汇中的出现频率；为了得到图像的直方图表示H(x)，将所有局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签；然后通过计算由图像生成的局部斑块的所有标签来获得直方图H(x)；对于全局特征表示，应设置视觉词汇的大小；

步骤3.4、使用得到的肺结节特征表示输入到softmax分类器，通过softmax分类器的损失函数进行训练，采用随机梯度下降法进行参数优化；通过不同的参数组合，保留具有顶级性能的模型用于组成集合分类器，使用步骤2.4所述的模型集成方法得到最终的结节类别标签；确定最终的肺结节图像分类模型，进行肺结节自动分类；

步骤4、使用得到的肺结节图像分类模型，进行肺结节图像分类；

输入一张未知类型的经过预处理的肺结节图片作为测试图像，测试图像被分割为多个局部斑块，每个局部斑块都转换为局部特征并分配一个视觉词，最后，测试图像的基于视觉词袋模型的全局特征表示作为分类器输入进行分类，输出其预测的类型标签。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于自动编码器构建特征表示的肺结节图像分类方法，与传统的应用机器学习进行肺结节分类的方法相比，提出了一种新的特征表示方法，将局部特征和全局特征相结合，提升了肺结节分类模型的特征提取能力；通过引入无监督的深度学习模型可以获得更好的模型泛化，提高肺结节自动分类的准确率。

附图说明

图1为本发明实施例提供的一种基于自动编码器构建特征表示的肺结节图像分类方法的流程图；

图2为本发明实施例提供的超像素生成局部斑块的过程的示意图，其中，(a)为一个肺结节图像，(b)为使用超像素分割将肺结节图像分割成局部斑块形成的超像素图，(c)为单个局部斑块，(d)为使用最小包围举行扩展的局部斑块，(e)为一个肺结节图像分解的一组局部斑块；

图3为本发明实施例提供的堆叠式深度自动编码器模型的结构示意图；

图4为本发明实施例提供的肺结节图像通过视觉词袋模型生成全局表征的过程示意图；

图5为本发明实施例提供的肺结节图片自动分类模型进行训练和测试的流程图，其中，(a)为模型训练过程的流程图，(b)为模型测试过程的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例以ELCAP公共肺部图片数据集为例，使用本发明的一种基于自动编码器构建特征表示的肺结节图像分类方法对肺结节图像进行分类。

一种基于自动编码器构建特征表示的肺结节图像分类方法，如图1所示，包括以下步骤：

步骤1、收集肺结节CT图像数据根据肺结节的外观和其与周围组织之间的关系和专家指导，将肺结节分为良好边界型、胸膜粘连型、胸膜尾型和血管粘连型四种类型，并对图像进行裁剪，调整尺寸，数据增强预处理；

步骤2、基于机器学习方法，设计用于肺结节图像特征表示的模型框架；

步骤2.1、获得肺结节图像的局部特征表示，该过程包括以下两个步骤：

步骤2.1.1、局部斑块集合(local patches)生成：将如图2a所示收集的肺结节CT图像使用超像素(superpixel)分割为局部斑块(local patch)，并获得如图2b所示的超像素图；在生成局部斑块的位置和规模的过程中，肺结节和其周围组织被包含于小尺寸斑块，无用的部分被包含于大尺寸斑块；这些经过超像素分割产生的所有局部斑块没有类别标签；对于包含重要组织的局部斑块被提取使用，无关的组织可以被清除；如果肺结节的局部斑块是不规则的形状如图2c所示，则将斑块扩展为如图2d所示它的最小包围矩形；最后，将肺结节图像分解为由一组局部斑块构成的如图2e所示的局部斑块集合；局部斑块集合表示为x＝{p₁，p₂，...，p_n}，其中，x表示一张肺结节图片，p_i表示第i个局部斑块，i＝1，…，n，n为肺结节图片x包括的局部斑块总数；为了筛选出合适大小并且重叠度(IOU)较低的局部斑块，通过以下附加准则来确定图像斑块是否适合局部特征提取：(i)局部斑块p_i的尺寸大于A_max或小于A_min时，此斑块被移除；(ii)两个局部斑块和如果它们的重叠度均大于O_t，则将其中较小的斑块移除；其中，A_max，A_min和O_t均为预定义的阈值；

在本实例中，通过以下附加准则来确定图像斑块是否适合局部特征提取：(i)局部斑块p_i的尺寸大于50*50像素或小于20*20像素时，此斑块被移除；(ii)两个局部斑块和如果它们的重叠度均大于0.7，则将其中较小的斑块移除；

步骤2.1.2、局部特征提取与表示：使用局部斑块集合作为输入，通过无监督深度自动编码器(即autoencoder)从每个局部斑块中提取出局部特征；

所述深度自动编码器模型设计有5层，分别为L₁-L₅，其中，L₂-L₄为隐藏层；L₁-L₃是编码器，用于将输入图像转换为特征向量；L₃-L₅是解码器，用于将特征向量转换为输出特征；

所述深度自动编码器模型前一层的输出作为后一层的输入，任意两层之间通过权重矩阵连接，通过下面的公式获得权重：

a＝h(x)＝f(W^Ex+b^E)

x′＝h′(x)＝g(W^Da+b^D)＝g(W^Dh(x)+b^D)

其中，h(·)表示编码器，h′(·)表示解码器，a代表输入图像x转换后的特征向量，b^E代表编码器偏差，b^D表示解码器偏差，x′代表将特征a变换后的输出特征，W^E和W^D分别为编码器和解码器的权重矩阵，f(·)和g(·)均为激活函数；

当x′近似x时，编码器的输入可从抽象和压缩的输出特征向量重建，深度自动编码器的损失函数如下公式所示：

其中，J(·)表示损失函数，W表示深度自动编码器整体的权重矩阵，包括W^E和W^D，b表示深度自动编码器偏差，N_p表示一个批次(batch)中输入图像数据的数量，p_q表示第q个输入图像，p′_q表示图像p_q经过深度自动编码器的输出，λ表示正则化系数，N_l表示深度自动编码器的所包含的层数，M_l表示第l层包含的激活单元的总数量，表示第l层第r个激活单元到第l+1层第s个激活单元的权重；KL散度作为稀疏化正则项，β为权衡参数，ρ_t是深度自动编码器的第t层的平均激活，ρ是目标激活，T表示第t层包含的神经元的数量，表示第t层的第u个神经元的激活函数，x_input表示激活函数的输入；具有小值的ρ可以减少模型的平均激活，ρ的值设定在0.3到0.4之间；

通过训练网络来最小化深度自动编码器的损失函数，具体方法为：

设计两个堆叠的自动编码器，如图3所示，第一个隐藏层的激活是第二个堆叠自动编码器的输入；自动编码器输入层与第一个隐藏层的权重W₁和第三个隐藏层与输出层的权重W₄通过第一堆叠自动编码器的编码和解码权重进行训练，第一个隐藏层与第二个隐藏层的权重W₂和第二个隐藏层与第三个隐藏层的权重W₃通过第二堆叠自动编码器的编码和解码权重进行训练；最后，整个网络以堆叠的方式逐层地构建；肺结节图像x的每个局部斑块p_i使用深度自动编码器模型生成的固定长度特征向量pfi表示，具体公式为x＝{p₁，p₂，...，p_n}＝{pf1，pf2，...，pfn}；

步骤2.2、通过由视觉词袋模型(即bag ofvisual words)构造的全局特征来表示肺结节图像，如图4所示，具体方法为：

步骤2.2.1、基于对一组训练图像生成的所有局部特征进行k-means聚类来构造视觉词汇；所有局部特征向量组装成大小为d*D的特征空间，其中，d表示特征向量的维度，D表示所有的局部斑块的数量，然后将k-means聚类应用在此特征空间；每个聚类中心代表一个视觉单词，k个聚类中心构成一个视觉词汇；

步骤2.2.2、每个肺结节图像通过视觉词汇直方图全局表示；对于肺结节图像x，将局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签，通过计算图像生成的局部斑块的所有标签来获得直方图H(x)＝[H(x)₁，H(x)₂，...，H(x)_k]；至此，肺结节图像通过由视觉词袋模型构造的全局特征来表示。

步骤2.3、使用softmax分类器来分类肺结节类型；用CLS＝{0，1，2，3}表示肺结节的四个类别；用{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}表示训练数据，x_α代表肺结节图片，y_α∈CLS表示肺结节的类型；对于输入图片x_α经过下面的假设函数输出一个四维向量，每个元素代表对于给定的x_α，针对每一个肺结节类型σ∈CLS的概率估计值p(y_α＝σ|x_α)；

所述假设函数如下公式所示：

其中，θ＝{θ，θ₁，θ₂，θ₃}是模型参数集；表示对概率分布进行归一化使得所有概率总和为1；

对于训练过程，softmax分类器的损失函数J_cls(·)如下公式所示：

其中，1{·}是指示函数，θ是模型参数集，y_α表示x_α的真实类别，m是一个批次的输入训练样本容量，R(θ)表示正则化项；

采用随机梯度下降法对softmax分类器的损失函数进行优化，如下公式所示：

其中，p(y_α＝σ|x_α；θ)表示参数为θ时softmax分类器将样本x_α分类为类别σ的概率，σ∈CLS：

所述softmax分类器的损失函数是用在分类结果上的，在训练过程中，是用带标签的数据通过上述损失函数来训练用于肺结节图像分类的模型；

步骤2.4、通过聚合多个单独的分类器形成集合模型来提高分类性能；使用多数投票原则获得最终的分类结果，如下公式所示：

其中，ψ(e)为对类型e的投票总数，I为测试图像，e∈CLS为类型标签，N_m为集成模型的数量，C_η为第η个分类器模型；如果C_η认为测试图像I的类型为e，则S(C_η(I)＝e)＝1；最终将拥有最大值的标签作为最终的分类结果；如果多个类型具有相同的投票数，则取算术平均值；

步骤3、使用步骤2设计的模型框架及ELCAP数据集进行训练，得到用于肺结节图片自动分类模型，如图5(a)所示，具体方法为：

步骤3.1、对原始的肺结节图片进行裁剪，调整尺寸，数据增强预处理来生成模型训练数据；

本实施例中，原始肺部CT扫描图像为512*512像素，以肺结节位置坐标为中心，裁剪尺寸为30*30像素的肺结节图像，使用双三次插值法进一步将裁剪的肺结节图像调整为180*180像素。针对训练图像应用数据增强；对于训练数据集，按照0.5的概率对其进行采样，用于数据增强，使用的数据增强方法包括随机旋转，随机裁剪和随机扰动(亮度，饱和度，色调和对比度)；新创建的样本使用与原始标签相同的标签设置；经过数据增强的数据集被分为8组：7个随机选择的组用于训练，剩下的一组用于测试。该过程重复7次，并通过平均7次独立测试来计算结果。

步骤3.2、将肺结节图片输入到步骤2设计的模型框架中，对肺结节图像进行特征提取，得到图像的直方图表示；

首先使用超像素将图片分割为局部斑块，并获得超像素映射；使用的参数设定为：设置每个肺结节图像通过超像素生成的局部斑块数量为25个；将获得的局部斑块大小设置为30*30像素作为深度自动编码器的输入用于局部特征提取；设置深度自动编码器中包含的隐藏层为2层，节点的数量为(100，50)；通过所述自动编码器损失函数计算公式计算编码器损失函数值，损失函数中的稀疏正则化项中的ρ的值设定在0.3到0.4之间，结合损失值，利用反向传播算法对深度自动编码器进行训练；

所有肺结节训练图像产生D个局部斑块，每个局部斑块用d维特征向量表示，所有局部特征向量组装成大小为d*D维的特征空间；使用k-means聚类d*D特征空间；每个聚类中心c_w代表一个视觉单词w，k个聚类中心构成视觉词汇；肺结节图像样本x通过编码的局部斑块被表示为袋，代表视觉单词在视觉词汇中的出现频率；为了得到图像的直方图表示H(x)，将所有局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签；然后通过计算由图像生成的局部斑块的所有标签来获得直方图H(x)，对于全局特征表示，应设置视觉词汇的大小；本实施例中，经过多次实验得到视觉词汇的最佳大小应设置为400；

步骤3.3、使用得到的肺结节特征表示输入到softmax分类器，通过所述的分类器损失函数进行训练，采用随机梯度下降法进行参数优化；通过不同的参数组合，保留具有顶级性能的模型用于组成集合分类器，使用步骤2.4所述的模型集成方法得到最终的结节类别标签，本实例中集成了7个分类模型；确定最终的肺结节图像分类模型，进行肺结节自动分类；

步骤4、使用得到的肺结节图像分类模型，进行肺结节图像分类，如图5(b)所示，具体方法为：

输入一张未知类型的经过预处理的肺结节图片作为测试图像，测试图像被分割为多个局部斑块，每个局部斑块都转换为局部特征并分配一个视觉词，最后，测试图像的基于视觉词袋模型的全局特征表示作为分类器输入进行分类，输出其预测的类型标签。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：包括以下步骤：

步骤1、收集肺结节CT图像数据根据肺结节的外观和其与周围组织之间的关系和专家指导，将肺结节分为良好边界型、胸膜粘连型、胸膜尾型和血管粘连型四种类型，并对图像进行裁剪，调整尺寸，数据增强预处理；

步骤2、基于机器学习方法，设计用于肺结节图像特征表示的模型框架；

步骤2.1、获得肺结节图像的局部特征表示；

步骤2.2、通过由视觉词袋模型构造的全局特征来表示肺结节图像；

步骤2.3、使用softmax分类器来分类肺结节类型；

步骤2.4、通过聚合多个单独的分类器形成集合模型来提高分类性能；使用多数投票原则获得最终的分类结果；

步骤3、使用步骤2设计的模型框架及ELCAP数据集进行训练，得到用于肺结节图片自动分类模型；

步骤3.1、对原始的肺结节图片进行裁剪，调整尺寸，数据增强预处理来生成模型训练数据；

步骤3.2、将肺结节图片输入到步骤2设计的模型框架中，对肺结节图像进行特征提取，得到图像的直方图表示；

步骤3.3、使用得到的肺结节特征表示输入到softmax分类器，通过softmax分类器的损失函数进行训练，采用随机梯度下降法进行参数优化；通过不同的参数组合，保留具有顶级性能的模型用于组成集合分类器，使用步骤2.4所述的模型集成方法得到最终的结节类别标签；确定最终的肺结节图像分类模型，进行肺结节自动分类；

步骤4、使用得到的肺结节图像分类模型，进行肺结节图像分类；

输入一张未知类型的经过预处理的肺结节图片作为测试图像，测试图像被分割为多个局部斑块，每个局部斑块都转换为局部特征并分配一个视觉词，最后，测试图像的基于视觉词袋模型的全局特征表示作为分类器输入进行分类，输出其预测的类型标签。

2.根据权利要求1所述的一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：所述步骤2.1的具体方法为：

步骤2.1.1、局部斑块集合生成：将收集的肺结节CT图像使用超像素分割为局部斑块，并获得超像素图；在生成局部斑块的位置和规模的过程中，肺结节和其周围组织被包含于小尺寸斑块，无用的部分被包含于大尺寸斑块；这些经过超像素分割产生的所有局部斑块没有类别标签；对于包含重要组织的局部斑块被提取使用，无关的组织被清除；如果肺结节的局部斑块是不规则的形状，则将斑块扩展为它的最小包围矩形；最后，将肺结节图像分解为由一组局部斑块构成的局部斑块集合；局部斑块集合表示为x＝{p₁，p₂，...，p_n}，其中，x表示一张肺结节图片，p_i表示第i个局部斑块，i＝1，…，n，n为肺结节图片x包括的局部斑块总数；为了筛选出合适大小并且重叠度较低的局部斑块，通过以下附加准则来确定图像斑块是否适合局部特征提取：(i)局部斑块p_i的尺寸大于A_max或小于A_min时，此斑块被移除；(ii)两个局部斑块和如果它们的重叠度均大于O_t，则将其中较小的斑块移除；其中，A_max，A_min和O_t是预定义的阈值；

步骤2.1.2、局部特征提取与表示：使用局部斑块集合作为输入，通过无监督深度自动编码器从每个局部斑块中提取出局部特征；

所述深度自动编码器模型设计有5层，分别为L₁-L₅，其中，L₂-L₄为隐藏层；L₁-L₃是编码器，用于将输入图像转换为特征向量；L₃-L₅是解码器，用于将特征向量转换为输出特征；

所述深度自动编码器模型前一层的输出作为后一层的输入，任意两层之间通过权重矩阵连接，通过下面的公式获得权重：

a＝h(x)＝f(W^Ex+b^E)

x′＝h′(x)＝g(W^Da+b^D)＝g(W^Dh(x)+b^D)

其中，h(·)表示编码器，h′(·)表示解码器，a代表输入图像x转换后的特征向量，b^E代表编码器偏差，b^D表示解码器偏差，x′代表将特征a变换后的输出特征，W^E和W^D分别为编码器和解码器的权重矩阵，f(·)和.g(·)均为激活函数；

当x′近似x时，编码器的输入可从抽象和压缩的输出特征向量重建，深度自动编码器的损失函数如下公式所示：

其中，J(·)表示损失函数，W表示深度自动编码器整体的权重矩阵，包括W^E和W^D，b表示深度自动编码器偏差，N_p表示一个批次中输入局部斑块数据的数量，p_q表示第q个输入局部斑块，p′_q表示局部斑块p_q经过深度自动编码器的输出，λ表示正则化系数，N_l表示深度自动编码器的所包含的层数，M_l表示第l层包含的激活单元的总数量，表示第l层第r个激活单元到第l+1层第s个激活单元的权重；KL散度作为稀疏化正则项，β为权衡参数，ρ_t是深度自动编码器的第t层的平均激活，ρ是目标激活，T表示第t层包含的神经元的数量，表示第t层的第u个神经元的激活函数，x_input表示激活函数的输入；ρ的值设定在0.3到0.4之间；

通过训练网络来最小化深度自动编码器的损失函数，具体方法为：

设计两个堆叠的自动编码器，第一个隐藏层的激活是第二个堆叠自动编码器的输入；自动编码器的输入层与第一个隐藏层的权重W_i和第三个隐藏层与输出层的权重W₄通过第一堆叠自动编码器的编码和解码权重进行训练，第一个隐藏层与第二个隐藏层的权重W₂和第二个隐藏层与第三个隐藏层的权重W₃通过第二堆叠自动编码器的编码和解码权重进行训练；最后，整个网络以堆叠的方式逐层地构建；肺结节图像x的每个局部斑块p_i使用深度自动编码器模型生成的固定长度特征向量pfi表示，具体公式为x＝{p₁，p₂，...，p_n}＝{pf1，pf2，...，pfn}。

3.根据权利要求2所述的一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：所述步骤2.2的具体方法为：

步骤2.2.1、基于对一组训练图像生成的所有局部特征进行k-means聚类来构造视觉词汇；所有局部特征向量组装成大小为d*D的特征空间，其中，d表示特征向量的维度，D表示所有的局部斑块的数量，然后将k-means聚类应用在此特征空间；每个聚类中心代表一个视觉单词，k个聚类中心构成一个视觉词汇；

步骤2.2.2、每个肺结节图像通过视觉词汇直方图全局表示；对于肺结节图像x，将局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签，通过计算图像生成的局部斑块的所有标签来获得直方图H(x)＝[H(x)₁，H(x)₂，...，H(x)_k]。

4.根据权利要求3所述的一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：所述步骤2.3的具体方法为：

用CLS＝{0，1，2，3}表示肺结节的四个类别；用{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}表示训练数据，x_α代表肺结节图片，y_α∈CLS表示肺结节的类型；对于输入图片x_α经过下面的假设函数输出一个四维向量，每个元素代表对于给定的x_α，针对每一个肺结节类型σ∈CLS的概率估计值p(y_α＝σ|x_α)；

所述假设函数如下公式所示：

其中，θ＝{θ，θ₁，θ₂，θ₃}是模型参数集；表示对概率分布进行归一化使得所有概率总和为1；

对于训练过程，softmax分类器的损失函数J_cls(·)如下公式所示：

其中，1{·}是指示函数，θ是模型参数集，y_α表示x_α的真实类别，m是一个批次的输入训练样本容量，R(θ)表示正则化项；

采用随机梯度下降法对softmax分类器的损失函数进行优化，如下公式所示：

其中，P(y_α＝σ|x_α；θ)表示参数为θ时softmax分类器将样本x_α分类为类别σ的概率，σ∈CLS：

所述softmax分类器的损失函数是用在分类结果上的，在训练过程中，是用带标签的数据通过上述损失函数来训练用于肺结节图像分类的模型。

5.根据权利要求4所述的一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：步骤2.4所述使用多数投票原则获得最终的分类结果，如下公式所示：

其中，ψ(e)为对类型e的投票总数，I为测试图像，e∈CLS为类型标签，N_m为集成模型的数量，C_η为第η个分类器模型；如果C_η认为测试图像I的类型为e，则S(C_η(I)＝e)＝1；最终将拥有最大值的标签作为最终的分类结果；如果多个类型具有相同的投票数，则取算术平均值。

6.根据权利要求5所述的一种基于自动编码器构建特征表示的肺结节图像分类方法，其特征在于：所述步骤3.2的具体方法为：

首先使用超像素将图片分割为局部斑块，并获得超像素映射；使用的参数设定为：设置每个肺结节图像通过超像素生成的局部斑块数量为25个；将获得的局部斑块大小设置为30*30像素作为深度自动编码器的输入用于局部特征提取；设置深度自动编码器中包含的隐藏层为2层，节点的数量为(100，50)；通过所述自动编码器损失函数计算公式计算编码器损失函数值，损失函数中的稀疏正则化项中的ρ的值设定在0.3到0.4之间，结合损失值，利用反向传播算法对深度自动编码器进行训练；

所有肺结节训练图像产生D个局部斑块，每个局部斑块用d维特征向量表示，所有局部特征向量组装成大小为d*D维的特征空间；使用k-means聚类d*D特征空间；每个聚类中心c_w代表一个视觉单词w，k个聚类中心构成视觉词汇；肺结节图像样本x通过编码的局部斑块被表示为袋，代表视觉单词在视觉词汇中的出现频率；为了得到图像的直方图表示H(x)，将所有局部特征向量映射到视觉词汇的聚类中心，使用特征空间中的欧几里德距离为每个局部特征分配其最近聚类中心的标签；然后通过计算由图像生成的局部斑块的所有标签来获得直方图H(x)；对于全局特征表示，应设置视觉词汇的大小。