CN105718952A

CN105718952A - 使用深度学习网络对断层医学影像进行病灶分类的方法

Info

Publication number: CN105718952A
Application number: CN201610043748.9A
Authority: CN
Inventors: 王兴刚; 罗博; 王良; 欧阳杰; 刘涛; 杨巍; 贺松平
Original assignee: Wuhan Kearns Medical Science & Technology Co ltd
Current assignee: Wuhan Kearns Medical Science & Technology Co ltd
Priority date: 2016-01-22
Filing date: 2016-01-22
Publication date: 2016-06-29
Anticipated expiration: 2036-01-22
Also published as: CN105718952B

Abstract

本发明公开了一种使用深度学习网络对断层医学影像进行病灶分类的方法，包括以下步骤：S1、收集病例断层医学影像数据，对病例断层医学影像进行标注形成训练集；S2、对断层医学影像进行预处理；S3、对训练集中的数据进行扩充；S4、构建并训练DCNN分类模型；S5、输入数据与处理预测结果。本发明能够帮助放射科医生快速区分病灶种类，从而大幅提高医生的工作效率。

Description

使用深度学习网络对断层医学影像进行病灶分类的方法

技术领域

本发明涉及图像处理领域，尤其涉及一种使用深度学习网络对断层医学影像进行病灶分类的方法。

背景技术

断层医学影像包括很多种，如MRI(MagneticResonanceImaging)磁共振成像，是断层成像的一种，它利用磁共振现象从人体中获得电磁信号,并重建出人体信息。

深度学习是一种非常前沿的机器学习方法，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习网络通常需要数以万计的训练集数据才能将模型训练到足够好，以达到模型建立者期望的分类准确率。

医学影像病灶分类如前列腺癌(PCA)与前列腺增生(BPH)疾病变由于其特殊性，即使专业的放射科阅片医生也很难仅根据MRI影像将二者区分开来。目前，尚未有较好计算机自动分类方法。

发明内容

本发明要解决的技术问题在于针对现有技术中无法有效对断层医学影像进行病灶区分的缺陷，提供一种使用深度学习网络对断层医学影像进行病灶分类的方法。

本发明解决其技术问题所采用的技术方案是：

提供一种使用深度学习网络对断层医学影像进行病灶分类的方法，包括以下步骤：

S1、对训练集中病例的断层医学影像进行标注

设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示病灶种类，并用下式表示病例：j∈[1,……，M_i]，其中M_i为病例X_i的断层医学影像数量，同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，y_ij的取值如下式：y_ij＝Y_i；对每个X_i都进行标注后，形成训练集X；

S2、对断层医学影像进行预处理

在不影响图片特征的情况下，对经标注后的图片进行缩小；

S3、对训练集中的数据进行扩充

对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，同时按照步骤S1中的步骤对每张新成的影像数据进行标注，以扩充训练集中的数据；

S4、构建并训练DCNN分类模型

构建DCNN分类模型，并通过预设算法调整DCNN分类模型中的可训练参数，该DCNN分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为病例属于某一类的概率；

S5、输入数据与处理预测结果

将待分类病例的断层医学影像输入到DCNN分类模型的输入节点，计算每个输出节点的输出值的平均值，比较各个平均值，选择最大值作为最终输出。

本发明所述的方法中，所述断层医学影像为CT影像或者MRI断层影像，M_i取值为10～30。

本发明所述的方法中，该方法还包括步骤：构建DCNN分类模型后，采用计算机视觉系统识别项目ImageNet中经过预训练的模型初始化DCNN分类模型。

本发明所述的方法中，训练集中病例的断层医学影像为1536×1536的二维图像，步骤S2中将图片缩小为360×360的二维图像。

本发明所述的方法中，步骤S3中对缩小后的图像，按照288×288的预设尺寸，以1个像素为步幅，抠取出72×72＝5184张图片。

本发明还提供一种使用深度学习网络对断层医学影像进行病灶分类的系统，包括：

标注模块，用于对训练集中病例的断层医学影像进行标注，设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示病灶种类，并用下式表示病例：j∈[1,……，M_i]，其中M_i为病例X_i的断层医学影像数量，同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，y_ij的取值如下式：y_ij＝Y_i；

预处理模块，用于对断层医学影像进行预处理，在不影响图片特征的情况下，对经标注后的图片进行缩小；

训练集扩充模块，用于对训练集中的数据进行扩充，对缩小后的图像，按照更小的预设尺寸，以1个像素为步幅，抠取出多张图片，同时按照步骤S1中的步骤对每张新成的影像数据进行标注，以扩充训练集中的数据；

分类模型构建模块，用于构建并训练DCNN分类模型，通过预设算法调整DCNN分类模型中的可训练参数，该DCNN分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为病例属于某一类的概率的矢量；

输入新数据与处理预测结果模块，用于将待分类病例的断层医学影像输入到DCNN分类模型的输入节点，计算每个输出节点的输出值的平均值，比较各个平均值，选择最大值作为最终输出。

本发明所述的系统中，所述断层医学影像为CT影像或者MRI断层影像，M_i取值为10～30。

本发明所述的系统中，该系统还包括初始化模块，用于在构建DCNN分类模型后，采用计算机视觉系统识别项目ImageNet中经过预训练的模型初始化DCNN分类模型。

本发明所述的系统中，训练集中病例的断层医学影像为1536×1536的二维图像，预处理模块将图片缩小为360×360的二维图像。

本发明所述的系统中，训练集扩充模块具体用于对缩小后的图像，按照288×288的预设尺寸，以1个像素为步幅，抠取出72×72＝5184张图片。

本发明产生的有益效果是：本发明利用前沿的深度学习技术，建立DCNN分类模型，并且在少量训练数据的情况下，通过扩充训练集中的数据来训练DCNN分类模型，通过该分类模型对断层医学影像进行分类，准确率可达到80％以上。本发明能够帮助放射科医生快速区分病灶种类，从而大幅提高医生的工作效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例使用深度学习网络对断层医学影像进行病灶分类的方法的流程图；

图2是本发明实施例BPH和PCA的DCNN分类模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例的使用深度学习网络对断层医学影像进行病灶分类的方法，以断层医学影像为MRI断层影像为例，主要包括以下步骤：

S1病例数据标注

设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示它是PCA还是BPH，比如说，如果X_i是PCA，则Y_i＝1；如果X_i是BPH，则Y_i＝2；在MRI照射情况下，每个病例都有多层影像数据，于是可用下式表示病例：

j∈[1,……，M_i]，

其中M_i为病例X_i的MRI断层影像数量，通常M_i取值为10～30。同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，y_ij的取值如下式：

y_ij＝Y_i

这表示，本方法中直接使用病例的标注表示是该病例所有MRI断层图像的标注。

S2断层医学影像数据预处理

本发明的一个实施例中，是一张张1536×1536的二维图像，为了提高模型计算效率，且不影响图片特征的，需要对图片大小进行缩小，在本发明中，将其缩小成360×360的二维图像。

S3训练集数据扩充

在S2中，把每张影像数据从1536×1536压缩到360×360，再从每张被缩小的图片中按288×288的尺寸，以1个像素为步幅，抠取出72×72＝5184张图片，同时按照S1中的步骤对每张新成的影像数据进行标注。这样我们的病例影像数据就可以扩大5184倍，可以满足之前建立的深度学习神经网络模型的训练数据集要求了，而且数据准确性也得到了保证。

S4构建和训练DCNN分类模型

构建DCNN分类模型，并通过预设算法调整DCNN分类模型中的可训练参数，该DCNN分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为病例属于某一类的概率的矢量。本发明的一个实施例中，构建的DCNN分类模型结构如图2所示(以二分类为例)：

图2中输入为经过处理的MRI影像数据，整个DCNN一共具有7层，其中前5层为卷积。可以理解的是，DCNN分类模型的层数设置，以及卷积核的数量和尺寸，都可以根据经验设定。本发明的实施例中，图2中如第一层卷积层所示，原始输入图像经过96个卷积核卷积操作后将变成96张55×55的二维图像，后续卷积层分别在上一卷积层上进行卷积操作；第五卷积层后为两层全连接层，最后一层为输出层，输出层共两个节点在本方法中用于表示病例属于BPH或是PCA的概率。如果是N分类，则输出节点为N个。

上述模型可以被认为是一个非线性函数函数的输出为一个矢量，表示属于某一类(BPH或PCA)的概率。特别地，假设这个矢量为其中K表示疾病的类别数量，R表示实数集，本发明中K＝2，表示属于BPH的概率，表示属于PCA的概率。于是，对于有下面的式子成立：

\underset{k = 1, ... ..., K}{Σ} P_{i j} (k) = 1

训练该BPH和PCA分类模型就相当于求解如下优化问题：

\underset{f}{m i n} \underset{i j}{Σ} | | P (x_{i j}) - y_{i j} | | 2

即，找到使得模型输出的两类概率与标注值之间距离最短的函数f，求解上述优化问题有许多方法，通常采用反向传播算法(Backpropagationalgorithm，简称：BP算法)。每个病例的每张图像都被DCNN模型进行分类，得到一个分类概率于是每个病例X_i的分类概率为

P_{i} = \frac{1}{M_{i}} Σ_{j = 1}^{M_{i}} P_{i j}

P_i即是一个比例所有的平均值，它是一个K维的矢量，那么病例X_i的预测分类可以用如下公式获得：

{\hat{Y}}_{i} = \arg \underset{k &Element; [1, ... ..., K]}{m a x} P_{i} (k)

即：所有输出中概率最大的节点所代表的疾病种类，特别地，对于PCA与BPH分类，输出节点1代表PCA，输出节点2代表BPH，若输入一个病例影像数据后，节点1的输出平均值为0.1，节点2的输出平均值为0.9，则判定该病例影像代表的病例属于BPH。

本发明的一个实施例中，建立分类模型后，可对该模块进行初始化，初始化后再依次使用训练集中的数据对模型进行训练。

一个深度学习网络通常需要万级以上的训练数据，才能将模型中的参数调至合适，模型才具有较好的预测能力。同时由于用于训练模型的影像数据的标注需要非常准确，每个病例影像数据都要根据病例证实的结果进行标注，因为BPH和PCA的病例样本很难达到万级上，因此，采用ImageNet(ImageNet是一个计算机视觉系统识别项目，是目前世界上图像识别最大的数据库。是美国斯坦福的计算机科学家，模拟人类的识别系统建立的，是一个公开的深度学习竞赛项目)项目中经过预训练的模型初始化本方法的模型，虽然ImageNet上的图片对象与MRI影像毫无关联，但是由于深度学习神经网络前几层都是卷积特征，这些被训练的卷积特征的参数是可以被利用的。

模型中主要参数设置如下：权值衰减设置为0.1，最大迭代次数设置为1000，训练卷积核尺寸设置为128。

S5、输入数据与处理预测结果

为了实现上述实施例的方法，本发明还提供了一种使用深度学习网络对断层医学影像进行病灶分类的系统，包括：

标注模块，用于对训练集中病例的断层医学影像进行标注，设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示病灶种类，并用下式表示病例：j∈[1,……，M_i]，其中M_i为病例X_i的断层医学影像数量，同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，的取值如下式：y_ij＝Y_i；

输入数据与处理预测结果模块，用于将待分类病例的断层医学影像输入到DCNN分类模型的输入节点，计算每个输出节点的输出值的平均值，比较各个平均值，选择最大值作为最终输出。

所述断层医学影像为CT影像或者MRI影像，M_i一般取值为10～30。

本发明的一个实施例中，该系统还包括初始化模块，用于在构建DCNN分类模型后，采用计算机视觉系统识别项目ImageNet中经过预训练的模型初始化DCNN分类模型。

训练集中病例的断层医学影像为1536×1536的二维图像，预处理模块将图片缩小为360×360的二维图像。训练集扩充模块具体对缩小后的图像，按照288×288的预设尺寸，以1个像素为步幅，抠取出72×72＝5184张图片。

本发明的一个较佳实施例中，一共收集了188例经病理证实的MRI影像数据，其中95例PCA和93例BPH，采用10折交叉检验来验证本方法，即将所有病理数据随机分为10份，其中1份用来作为测试数据，另外9份用来作为训练数据，一共重复10次实验，最后的实验结果如下：

综上，本发明利用前沿的深度学习技术，建立DCNN分类模型，并且在少量训练数据的情况下，通过扩充训练集中的数据来训练DCNN分类模型，通过该分类模型对断层医学影像进行分类，准确率可达到80％以上。本发明能够帮助放射科医生快速区分病灶种类，从而大幅提高医生的工作效率。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种使用深度学习网络对断层医学影像进行病灶分类的方法，其特征在于，包括以下步骤：

S1、搜集病例断层医学影像数据，并对病例的断层医学影像进行标注

设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示病灶种类，并用下式表示病例：其中M_i为病例X_i的断层医学影像数量，同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，y_ij的取值如下式：y_ij＝Y_i；对每个X_i都进行标注后，形成训练集X；

S2、对断层医学影像进行预处理

在不影响图片特征的情况下，对训练集X中的每张断层医学影像图片进行缩小；

S3、对训练集中的数据进行扩充

S4、构建并训练DCNN分类模型

构建DCNN分类模型，并通过预设算法调整DCNN分类模型中的可训练参数，该DCNN分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经S2、S3步骤后的训练集中的每张断层医学影像，每个输出节点的输出为病例属于某一种病灶的概率；

S5、输入新数据与处理预测结果

2.根据权利要求1所述的方法，其特征在于，所述断层医学影像为CT影像或者MRI断层影像，M_i取值为10～30。

3.根据权利要求1所述的方法，其特征在于，该方法还包括步骤：构建DCNN分类模型后，采用计算机视觉系统识别项目ImageNet中经过预训练的模型初始化DCNN分类模型。

4.根据权利要求1所述的方法，其特征在于，训练集中病例的断层医学影像为1536×1536的二维图像，步骤S2中将图片缩小为360×360的二维图像。

5.根据权利要求4所述的方法，其特征在于，步骤S3中对缩小后的图像，按照288×288的预设尺寸，以1个像素为步幅，抠取出72×72＝5184张图片。

6.一种使用深度学习网络对断层医学影像进行病灶分类的系统，其特征在于，包括：

标注模块，用于对训练集中病例的断层医学影像进行标注，设病例为X_i，i∈[1,……,N]，其中N为病例的总数量，每个病例有一个标注Y_i，表示病灶种类，并用下式表示病例：其中M_i为病例X_i的断层医学影像数量，同时假设每张断层影像的标注为y_ij，它表示第i个病例的第j张断层影像的类别，y_ij的取值如下式：y_ij＝Y_i；

分类模型构建模块，用于构建并训练DCNN分类模型，通过预设算法调整DCNN分类模型中的可训练参数，该DCNN分类模型包括一个输入节点和多个输出节点，其输入节点的输入为经扩充后的训练集，每个输出节点的输出为病例属于某一类病灶的概率；

7.根据权利要求6所述的系统，其特征在于，所述断层医学影像为CT影像或者MRI断层影像，M_i取值为10～30。

8.根据权利要求6所述的系统，其特征在于，该系统还包括初始化模块，用于在构建DCNN分类模型后，采用计算机视觉系统识别项目ImageNet中经过预训练的模型初始化DCNN分类模型。

9.根据权利要求6所述的系统，其特征在于，训练集中病例的断层医学影像为1536×1536的二维图像，预处理模块将图片缩小为360×360的二维图像。

10.根据权利要求9所述的系统，其特征在于，训练集扩充模块具体用于对缩小后的图像，按照288×288的预设尺寸，以1个像素为步幅，抠取出72×72＝5184张图片。