CN109145944B - 一种基于纵向三维图像深度学习特征的分类方法 - Google Patents

Abstract

本发明公开了一种基于纵向三维图像深度学习特征的分类方法，属于图像分析领域。本发明包括两个阶段：训练阶段：包括对研究对象的三维图像的预处理、获取切片图像特征提取器、根据词袋模型计算扫描图像特征向量、以及设计并训练循环神经网络分类器；测试阶段：包括待分类的研究对象P提出分类请求、对P的三维图像进行预处理、提取切片图像特征、计算扫描图像特征、以及输出分类结果。本发明利用深度卷积神经网路直接从切片图像进行特征的自动提取，无需任何人工设计的图像特征和图像的3D配准、特征区域检测等复杂的预处理步骤，且本发明针对纵向三维图像进行研究，利用循环神经网络从纵向三维图像特征向量中学习图像的变化特征，分类更准确。

Description

一种基于纵向三维图像深度学习特征的分类方法

技术领域

本发明属于图像分析领域，具体涉及一种基于纵向三维图像深度学习特征的分类方法。

背景技术

目前，存在一些面向三维图像深度学习特征的分类方法，例如，Suk等提出一种基于稀疏回归和卷积神经网络(convolutional neural network，CNN)的三维医学图像分类方法[Suk H I,Lee S W,Shen D.Deep ensemble learning of sparse regressionmodels for brain disease diagnosis.[J].Medical Image Analysis,2017,37:101]，此方法的主要思想如下：首先，对三维医学图像进行复杂的预处理，提取人工设计的特征；接着，将这些特征作为输入，使用不同的归一化参数训练多个稀疏回归模型，并将从稀疏回归模型中得到的响应值记为目标级别表示；最后，设计一个深度卷积神经网络(deep CNN，DCNN)来学习不同目标级别表示之间的关系，用于最终的决策融合。

此方法存在如下不足：(1)使用人工设计的图像特征，不能充分地表达图像；(2)DCNN仅用于决策融合、而非图像的特征提取。Korolev等基于普通和冗余DCNN设计两个3DDCNN来实现图像的分类[Korolev S,Safiullin A,Belyaev M,et al.Residual and plainconvolutional neural networks for 3D brain MRI classification[C]//IEEE,International Symposium on Biomedical Imaging.IEEE,2017]，和Suk等提出的基于DCNN的方法不同，此方法以图像作为DCNN的直接输入，自动地学习表示图像的特征，无需人工设计的图像特征。但是，此两个3D DCNN在二分类任务的准确率较低，且同样需要时间复杂的图像预处理步骤，例如，图像3D配准等。除此之外，以上两个方法均是面向横向(单个时间点拍摄的)三维图像进行的分析，研究表明，纵向(多个时间点拍摄的)三维图像可以很好地展示图像的变化特征。针对以上不足，本发明提出一种新颖的基于纵向三维图像深度学习特征的分类方法，用于更准确的图像分类。

发明内容

本发明提供了一种基于纵向三维图像深度学习特征的分类方法，目的在于提高图像分类的准确度。为实现上述目的本发明所采用的技术方案包括以下步骤：

(Ⅰ)训练阶段：

1、输入训练集D＝{(Pi,yi)|i∈{1,2,…,I}}，其中Pi表示第i个研究对象的纵向三维图像，yi为Pi的标签。Pi＝{Lit|t∈{1,2,…,T}}，其中Lit表示Pi在第t个时间点获取的三维图像；Lit＝{litj|j∈{1,2,…,J}}，其中litj为Lit的第j幅切片图像。T与J因研究对象而异。

2、对D的三维图像进行预处理：包括提取三维图像Lit中的感兴趣区域(regionofinterest,ROI)；将Lit中切片图像的ROI大小属于top-n的切片图像的标签置为yi，去除Lit中剩余切片图像；根据切片图像中ROI的垂直外界矩阵裁剪切片图像；将切片图像大小重置为N×N。得到新的训练集Ds＝{(litj,yi)|i∈{1,2,…,I},t∈{1,…,T},j∈{1,2,…,n}}。

3、对现存DCNN进行迁移学习，得到切片图像特征提取器：首先，使用Ds对预训练的、最先进的DCNN模型进行重新设计与训练；接着，将训练好的DCNN模型的Softmax层去除，剩余层构成切片图像特征提取器。通过切片图像特征提取器，litj可以使用一个切片图像特征向量fitj表示。

4、根据词袋模型计算三维图像特征向量：使用简单且有效的词袋模型对每个三维图像的所有切片图像特征向量进行编码，得到一个三维图像特征向量Xit。因此，Pi可以使用包含T个三维图像特征向量的纵向三维图像特征向量Xi表示，即Xi＝{Xit|t∈{1,2,…,T}}，训练集D可以表示为Dq＝{(Xi,yi)|i∈{1,2,…,I}}。

5、设计并训练循环神经网络分类器：首先，将S个长短期记忆网络(long short-term memory,LSTM)层和一个Softmax层依次叠加在一起，构成一个循环神经网络分类器。接着，利用Dq对循环神经网络分类器进行训练。

其中，步骤3所述的使用Ds对预训练的、最先进的DCNN模型进行重新设计与训练为：将此DCNN模型的顶层Softmax层中的分类类别数设置为M表示M-分类，同时设置模型的损失函数、优化器、batch大小、动势、学习率与epoch的值，训练此模型；

步骤4所述的使用简单且有效的词袋模型对每个三维图像的所有切片图像特征向量进行编码，得到一个三维图像特征向量Xit为：根据切片图像特征提取器，训练集Ds的所有切片图像的特征向量表示为Df＝{fitj|i∈{1,2,…,I},t∈{2,…,T},j∈{1,2,…,n}，fitj∈R1×Q}，其中Q表示切片图像特征向量的维度；一个三维图像Lit包含的切片图像特征向量记为FLit＝{fitj|j∈{1,2,…,n}}。首先，利用K-means算法对Df中的所有切片图像特征向量进行聚类，得到聚类中心集B＝{b1,b2,…,bk,…,bK}，其中，B∈RK×Q，且bk∈R1×Q表示第k个聚类中心。接着，一个三维图像的三维图像特征向量Xit＝{xitk|k∈{1,2,…,K}}，其中，xitk通过公式(1)计算得到：

步骤5所述的LSTM层与Softmax层为：每层LSTM包含H个神经元，且Softmax层的分类类别数为M。

步骤5所述的利用Dq对循环神经网络分类器进行训练为：将Dq作为循环神经网络分类器的输入，同时设置损失函数、优化器、batch大小、动势、学习率以及epoch的值，训练此循环神经网络分类器。

(Ⅱ)测试阶段：

1、待分类的研究对象P提出分类请求，其中P＝{Lt|t∈{1,2,…,T}}且Lt＝{ltj|j∈{1,2,…,J}}。

2、对Lt进行预处理：提取Lit的ROI；统计Lit中切片图像的ROI大小属于top-n的切片图像，去除Lit中剩余切片图像；根据ROI的垂直外界矩阵裁剪切片图像；将切片图像大小重置为N×N。

3、提取切片图像特征：根据训练阶段得到的切片图像特征提取器，对P的预处理后的所有切片图像进行特征提取。

4、计算三维图像特征：结合词袋模型和公式(1)，对P的每个三维图像包含的n个切片图像特征向量进行编码，得到T个三维图像特征向量Xt，组成P的纵向三维图像特征向量X＝{Xt|t∈{1,2,…,T}}。

5、输出分类结果：将X输入到训练阶段得到的循环神经网络分类器，输出P的标签。

本发明的优势在于：

1.本发明提供的一种基于纵向三维图像深度学习特征的分类方法，从三维图像进行特征的自动提取，无需任何人工设计的图像特征，也无需图像3D配准、特征区域检测等时间复杂的预处理步骤。

2.本发提供的方法是针对纵向三维图像进行研究，利用循环神经网络从纵向三维图像特征向量中很好地学习图像的变化特征，从而用于更准确的分类。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图与具体实施例对本发明作进一步的说明：

训练阶段的过程如附图1中黑色实心箭头的指向，依次执行如下操作：

1)对原始的三维图像集D中的每个三维图像Lit进行预处理。具体而言，依次执行如下操作：(1)提取Lit的ROI；(2)将Lit中矢状面切片图像中ROI大小属于top-n的矢状面切片图像的标签设置为yi，去除Lit中剩余矢状面切片图像。根据医生指导，在此三维图像中，n取50；(3)根据切片图像ROI的垂直外界矩阵裁剪切片图像；(4)将切片图像大小重置为N×N，在此，N取224。最后，得到一个切片图像集合Ds＝{(litj,yi)|i∈{1,2,…,I},t∈{2,…,T},j∈{1,2,…,n}}，其中，litj表示第i个研究对象Pi在第t个时间点拍摄的三维图像Lit中的第j幅矢状面切片图像。T因研究对象而变，在此训练集中，T∈{2,…,6}。

2)根据Ds对现存的DCNN进行迁移学习，得到切片图像特征提取器，从而进行切片图像特征向量提取。具体而言，首先，将预训练的、最先进的DCNN模型——ResNet-34的顶层——Softmax层的分类类别数M设置为2，使其能够处理二分类任务，同时，在ResNet-34模型中，使用交叉信息熵(cross-entropy)作为损失函数、随机梯度下降(stochasticgradient descent,SGD)作为优化器、batch大小设置为128、动势(momentum)设置为0.9、学习率初始化为0.001并每经过10个epoch学习率除以10，训练ResNet-34模型，直至60个epoch，模型收敛、停止训练。接着，将训练好的ResNet-34的Softmax层去除，剩余层构成矢状面切片图像特征提取器。通过此切片图像特征提取器，每幅切片图像可以使用一个切片图像特征向量fitj∈R1×Q表示，根据ResNet-34的构架，Q取512，表示切片图像特征向量的维度。因此，一个三维图像的切片图像特征向量集记为FLit＝{fitj|j∈{1,2,…,n}}，Ds的所有切片图像的特征表示为Df＝{fitj|i∈{1,2,…,I},t∈{2,…,T},j∈{1,2,…,n}}。

3)根据Df和词袋模型计算三维图像特征向量，从而得到纵向三维图像特征向量。具体而言，首先，利用算法K-means对Df中的切片图像特征向量进行聚类，得到聚类中心集B＝{b1,b2,…,bk,…,bK}，其中，B∈RK×Q且bk∈R1×Q表示第k个聚类中心。接着，一个三维图像的三维图像特征向量Xit＝{xitk|k∈{1,2,…,K}}可以通过公式(1)计算得到，因此，训练集D可以表示为Dq＝{(Xi,yi)|i∈{1,2,…,I}}。

4)设计循环神经网络分类器并根据Dq训练此循环神经网络分类器。具体而言，首先，将S个LSTM层和一个Softmax层依次叠加在一起，构成循环神经网络分类器，其中，每层LSTM的神经元的个数H为128，Softmax层的分类类别数M设置为2。接着，将Dq作为输入，交叉信息熵作为损失函数、RMSProp作为优化器、batch大小设置为32、学习率初始化为0.01来训练此循环神经网络，经过200个epoch后模型收敛并停止训练，得到循环神经网络分类器。

测试阶段的过程如附图1中黑色空心箭头的指向，依次执行如下操作：

1)输入待分类的研究对象P的纵向三维图像，提出分类请求，其中，P＝{Lt|t∈{1,2,…,T}}且Lt＝{ltj|j∈{1,2,…,J}，J>>n}，Lt为P的第t个三维图像，ltj为Lt的第j幅矢状面切片图像。

2)对P的每个原始三维图像进行预处理。具体而言，依次执行如下操作：(1)提取Lt的ROI；(2)将Lt中矢状面切片图像中ROI大小属于top-50的矢状面切片图像的标签设置为yi，去除Lt中剩余矢状面切片图像；(3)根据矢状面切片图像ROI的垂直外界矩阵裁剪切片图像；(4)将切片图像大小重置224×224。

3)提取P的切片图像特征向量集：将P的预处理后的切片图像作为切片图像特征提取器的输入，输出即为对应的切片图像特征向量，从而得到P的切片图像特征向量集Pf＝{ftj|t∈{2,…,T},j∈{1,2,…,n}，ftj∈R1×Q}，其中，P的第t个三维图像的切片图像特征向量集记为Ft＝{ftj|j∈{1,2,…,n}}。

4)计算P的纵向三维图像特征向量：根据公式(1)，对P的每个Ft进行编码，从而得到T个三维图像特征向量Xt，组成P的纵向三维图像特征向量X＝{Xt|t∈{1,2,…,T}}

5)输出分类结果：将X输入到训练阶段得到的循环神经网络分类器，输出即为P的标签。

Claims (5)

1.一种基于纵向三维图像深度学习特征的分类方法，其特征在于：包括训练阶段和测试阶段两部分；

(一)训练阶段：

步骤(1)：输入训练集D＝{(Pi,yi)|i∈{1，2，…，I}}，其中Pi表示第i个研究对象的纵向三维图像，yi为Pi的标签，Pi＝{Lit|t∈{1，2，…，T}}，其中Lit表示Pi在第t个时间点获取的三维图像；Lit＝{litj|j∈{1，2，…，J}}，其中litj为Lit的第j幅切片图像，T与J因研究对象而异；

步骤(2)：对D的三维图像进行预处理，包括提取三维图像Lit中的感兴趣区域(regionof interest,ROI)；将Lit中切片图像的ROI大小属于top-n的切片图像的标签置为yi，去除Lit中剩余切片图像；根据切片图像中ROI的垂直外界矩阵裁剪切片图像；将切片图像大小重置为N×N，得到新的训练集Ds＝{(litj,yi)|i∈{1，2，…，I},t∈{1，…，T}，j∈{1，2，…，n}}；

步骤(3)：对现存DCNN进行迁移学习，得到切片图像特征提取器，通过切片图像特征提取器，litj使用一个切片图像特征向量fitj表示；

步骤(4)：根据词袋模型计算三维图像特征向量，使用简单且有效的词袋模型对每个三维图像的所有切片图像特征向量进行编码，得到一个三维图像特征向量Xit；因此，Pi使用包含T个三维图像特征向量的纵向三维图像特征向量Xi表示，即Xi＝{Xit|t∈{1，2，…，T}}，训练集D表示为Dq＝{(Xi，yi)|i∈{1，2，…，I}}；

步骤(5)：设计并训练循环神经网络分类器；

(二)测试阶段

步骤(1)：待分类的研究对象P提出分类请求，其中P＝{Lt|t∈{1，2，…，T}}且Lt＝{ltj|j∈{1，2，…，J}}；

步骤(2)：对Lt进行预处理，提取Lit的ROI；统计Lit中切片图像的ROI大小属于top-n的切片图像，去除Lit中剩余切片图像；根据ROI的垂直外界矩阵裁剪切片图像；将切片图像大小重置为N×N；

步骤(3)：提取切片图像特征：根据训练阶段得到的切片图像特征提取器，对P的预处理后的所有切片图像进行特征提取；

步骤(4)：计算三维图像特征；

步骤(5)：输出分类结果：将Xi输入到训练阶段得到的循环神经网络分类器，输出P的标签。

2.根据权利要求1所述的一种基于纵向三维图像深度学习特征的分类方法，其特征在于：训练阶段步骤(3)中所述的得到切片图像特征提取器的过程如下：

首先，将预训练的、最先进的DCNN模型——ResNet-34的顶层——Softmax层的分类类别数M设置为2，使其能够处理二分类任务，同时，在ResNet-34模型中，使用交叉信息熵(cross-entropy)作为损失函数、随机梯度下降(stochastic gradient descent，SGD)作为优化器、batch大小设置为128、动势(momentum)设置为0.9、学习率初始化为0.001并每经过10个epoch学习率除以10，训练ResNet-34模型，直至60个epoch，模型收敛、停止训练；

接着，将训练好的ResNet-34的Softmax层去除，剩余层构成矢状面切片图像特征提取器，通过此切片图像特征提取器，每幅切片图像使用一个切片图像特征向量fitj∈R1×Q表示，根据ResNet-34的构架，Q取512，表示切片图像特征向量的维度，因此，一个三维图像的切片图像特征向量集记为FLit＝{fitj|j∈{1，2，…，n}}，Ds的所有切片图像的特征表示为Df＝{fitj|i∈{1，2，…，I}，t∈{2，…，T}，j∈{1，2，…，n}}。

3.根据权利要求1所述的一种基于纵向三维图像深度学习特征的分类方法，其特征在于：训练阶段步骤(4)中所述的获得三维图像特征向量Xit的过程如下：根据切片图像特征提取器，训练集Ds的所有切片图像的特征向量表示为Df＝{fitj|i∈{1，2，…，I}，t∈{2，…，T}，j∈{1，2，…，n}，fitj∈R1×Q}，其中Q表示切片图像特征向量的维度；一个三维图像Lit包含的切片图像特征向量记为FLit＝{fitj|j∈{1，2，…，n}}，首先，利用K-means算法对Df中的所有切片图像特征向量进行聚类，得到聚类中心集B＝{b1,b2,…,bk,…,bK}，其中，B∈RK×Q，且bk∈R1×Q表示第k个聚类中心，接着，一个三维图像的三维图像特征向量Xit＝{xitk|k∈{1，2，…，K}}，其中，xitk通过公式(1)计算得到：

。

4.根据权利要求1所述的一种基于纵向三维图像深度学习特征的分类方法，其特征在于：训练阶段步骤(5)所述的循环神经网络分类器的设计与训练的过程如下：

首先，将S个LSTM层和一个Softmax层依次叠加在一起，构成循环神经网络分类器，其中，每层LSTM的神经元的个数H为128，Softmax层的分类类别数M设置为2；

接着，将Dq作为输入，交叉信息熵作为损失函数、RMSProp作为优化器、batch大小设置为32、学习率初始化为0.01来训练此循环神经网络，经过200个epoch后模型收敛并停止训练，得到循环神经网络分类器。

5.根据权利要求3所述的一种基于纵向三维图像深度学习特征的分类方法，其特征在于：测试阶段步骤(4)所述的计算三维图像特征过程为：结合词袋模型和公式(1)，对P的每个三维图像包含的n个切片图像特征向量进行编码，得到T个三维图像特征向量Xt，组成P的纵向三维图像特征向量X＝{Xt|t∈{1,2,…,T}}。

Images