CN108305249B - 基于深度学习的全尺度病理切片的快速诊断和评分方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的全尺度病理切片的快速诊断和评分方法。对全尺度病理切片染色图进行预处理；通过改变传统AlexNet神经网络的全连接层和输出层节点数，以适应实际问题的需要，并选用标记好的训练样本集来分别训练两个用于诊断和评分的AlexNet神经网络模型，提取病变区域的高维特征信息；利用训练完成的两个改进的AlexNet神经网络模型实现对全尺度病理切片染色图的诊断和评分；根据诊断的预测概率绘制出概率热图，直观地标识病变区域，同时通过对不同病变程度的取样小块数量占比的统计，对组织的病变程度给予评分。本发明方法能完全自动化地实现对全尺度前列腺组织病理切片的诊断和Gleason评分，准确率和运算速率大幅度超过人工诊断的平均水平。

Description

基于深度学习的全尺度病理切片的快速诊断和评分方法

技术领域

本发明涉及图像处理和医学领域，具体涉及一种基于深度学习的全尺度病理切片的快速诊断和评分方法。

背景技术

在我国，恶性肿瘤早已成为城乡居民的首要死因，恶性肿瘤死亡率属于世界较高水平，而且呈持续的增长趋势。前列腺癌是男性生殖系统最常见的恶性肿瘤，其发病率和死亡率仅次于肺癌，位居癌症死亡的第二位。目前，H&E染色病理切片仍是诊断组织癌变的金标准。然而，病理诊断往往依赖于病理医生的主观判断，容易造成误诊和漏诊。同时，由于病理医生的专业水平参差不齐，且存在地域分布的不均衡性，在不发达地区病理诊断存在较高的误诊率和漏诊率。近年来，人工智能与深度学习的发展带给医疗健康领域迅速和革命性的改变，用于疾病诊断和病理分析的人工智能层出不穷，但针对前列腺癌的病理诊断仍存在一些局限性：

1.目前对前列腺组织的病理诊断大部分只是进行二分类，即判断是否为正常或癌症组织，很少针对前列腺癌的严重程度进行评分；

2.传统的癌症检测主要采用细胞核局部检测，很少针对全尺度病理切片染色图；

3.采用纹理分析加分类器的方法，需要手工提取特征，且准确率仅为85％左右；

4.计算效率较低，诊断耗时长。

发明内容

本发明的目的在于提供一种基于深度学习的全尺度病理切片的快速诊断和评分方法，通过对AlexNet神经网络模型的改进，以概率热图的形式标识出正常和癌变区域，并对癌变的严重程度进行评分，实现对组织病理切片更高效准确的智能诊断。

为实现上述目的，本发明的技术方案是：一种基于深度学习的全尺度病理切片的快速诊断和评分方法，包括如下步骤：

步骤S1、将全尺度病理切片染色图输入图像预处理模块，通过格式转换和色彩空间变换，实现对图像的归一化处理；

步骤S2、改变传统AlexNet神经网络的全连接层和输出层节点数，将步骤S1得到的预处理后的全尺度病理切片染色图输入数据训练模块，制作成训练样本集，而后训练两个改进的AlexNet神经网络模型进而得到用于测试诊断AlexNet神经网络模型1和用于病变程度评分的AlexNet神经网络模型2；

步骤S3、将步骤S1得到的预处理后的全尺度病理切片染色图输入测试诊断模块，使用在步骤S2完成训练的用于测试诊断的AlexNet神经网络模型1进行测试诊断，以概率热图的形式标定出正常和病变区域；

步骤S4、将步骤S3中被预测为病变的取样小块输入病变程度评分模块，使用在步骤S2完成训练用于病变程度评分的AlexNet神经网络模型2对病变的取样小块进行分级，分别计算不同等级的病变小块数量占比，根据临床癌组织病变的评分标准，对全尺度病理切片染色图进行病变程度评分。

在本发明一实施例中，所述步骤S1具体实现如下：

首先，将前列腺组织全尺度病理切片染色图转换为计算机易处理的图像格式；

其次，将转换格式后的全尺度病理切片染色图进行色彩空间变换实现对图像的归一化处理，图片由RGB三原色格式图映射为YUV格式，颜色取值有原来的0-255映射为-1-0-1，且方差为1。

在本发明一实施例中，所述步骤S2具体实现如下：

首先，将预处理过的全尺度病理切片染色图的正常和病变区域分别进行标记，其中病变区域再次根据病变程度进行标记，取样生成尺寸为224*224像素的小块，并剔除信息量小或者无效的小块；

其次，通过包括旋转、镜像的数据增强的方法来增大训练样本集的数量，增强网络的泛化能力，组成正负样本集合；

最后，以反向传播算法对两个改进的AlexNet神经网络模型参数进行迭代优化，用标记为正常和病变的两类训练样本集来训练AlexNet神经网络模型1，使模型能对正常和病变的取样小块进行分类；用标记为不同等级的病变训练样本集来训练AlexNet神经网络模型2，使模型能准确判断出取样小块所属的病变程度等级。

在本发明一实施例中，所述步骤S3具体实现如下：

首先，将待诊断的全尺度病理切片染色图预处理后输入测试诊断模块，进行滑窗取样，生成取样小块；

其次，将生成的取样小块输入改进的AlexNet神经网络模型1，输出取样小块预测概率，根据网络输出小块概率绘制全尺度病变区域概率热图。

在本发明一实施例中，采用滑窗取样算法对预处理过的全尺度病理切片染色图进行取样，解决了神经网络输入端对图像尺寸大小限制的问题，实现对尺寸在亿像素级别的全尺度病理切片染色图的诊断和评分。

在本发明一实施例中，所述步骤S2中，改变传统AlexNet神经网络的全连接层和输出层节点数，即将全连接层的节点数减半，同时将输出层由原来的1000类减少到2-3类减少了模型参数，提高收敛速度。

在本发明一实施例中，所述改进的AlexNet神经网络模型中，

特征提取层计算公式为：

全连接层计算公式为：

f(x；w,b)＝g(x^Tw+b)

Softmax分类计算公式为：

式中h(i,j)表示卷积层的输入，K(m,n)表示卷积核，b表示偏置，x表示全连接层的输入，w表示网络权重，g(·)表示激活函数，此处采用Relu激活函数，其数学表达式为：

f(x)＝max(x,0)。

相较于现有技术，本发明具有以下有益效果：

1、本发明采用滑窗取样方法，解决了神经网络输入端对图像尺寸大小限制的问题，实现对尺寸在亿像素级别的全尺度病理切片染色图的诊断和评分；

2、本发明改进了AlexNet神经网络模型，将全连接层的节点数减半，同时将输出层由原来的1000类减少到2-3类以适用于本发明，减少了模型参数，提高收敛速率；

3、本发明通过使用改进的AlexNet神经网络模型1输出取样小块的预测概率，以概率热图的形式直观标定病变区域；

4、本发明通过使用改进的AlexNet神经网络模型2判断取样小块所属病变程度等级，给予评分评估病变严重程度，方便病理医生根据具体情况制定治疗方案；

5、本发明很好的适用于前列腺组织全尺度病理切片的诊断，通过改变训练集样本，能够实现对其他组织全尺度病理切片进行诊断；

6、用户使用过程十分简便，输入一张待诊断的全尺度病理切片染色图，本发明自动经过图像预处理模块、测试诊断模块、病变程度评分模块，生成概率热图同时显示病变程度的评分。

附图说明

图1是本发明基于深度学习算法的全尺度病理切片的快速诊断和评分方法总框图。

图2是本发明基于深度学习算法的前列腺组织实施例全尺度病理切片的快速诊断和评分方法的数据训练模块框图。

图3是本发明基于深度学习算法的前列腺组织实施例全尺度病理切片的快速诊断和评分方法的数据训练模块中训练样本集制作示意图。

图4是本发明基于深度学习算法的前列腺组织实施例全尺度病理切片的快速诊断和评分方法的测试诊断模块框图。

图5是本发明基于深度学习算法的前列腺组织实施例全尺度病理切片的快速诊断和评分方法效果图。

具体实施方式

下面结合实施例及附图，对本发明的技术方案做进一步说明。显然，所描述的前列腺组织实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明共分为图像预处理模块、数据训练模块、测试诊断模块、病变程度评分模块四个模块。具体步骤描述如下：

首先，将前列腺组织全尺度病理切片染色图输入图像预处理模块；

其次，将经过预处理后的全尺度病理切片染色图输入数据训练模块，数据训练模块将全尺度病理切片染色图制作成训练样本集，对两个改进的AlexNet神经网络模型进行训练直至模型收敛，分别用于测试诊断与评分；

再次，将待诊断的全尺度病理切片染色图经过图像预处理模块后输入测试诊断模块，使用数据训练模块完成训练的AlexNet神经网络模型1实现对前列腺组织病变区域的标定；

最后，将测试诊断模块中病变的取样小块输入病变程度评分模块对进行Gleason分级，计算不同等级取样小块的数量占比，根据临床通常使用的Gleason评分规则对前列腺组织全尺度病理切片染色图进行Gleason评分。

进一步的，所述的图像预处理模块的具体实施步骤如下：

首先，将前列腺组织全尺度病理切片染色图转换为计算机易处理的图像格式；

其次，将转换格式后的全尺度病理切片染色图进行色彩空间变换实现对图像的归一化处理，图片由RGB三原色格式图映射为YUV格式，颜色取值有原来的0-255映射为-1-0-1，且方差为1，以此适用神经网络输入端。

进一步的，所述的数据训练模块的框图如图2所示，具体描述如下：

首先，将图像预处理得到的前列腺组织全尺度病理切片染色图制作成训练样本集；

其次，将正常和病变的训练样本集输入到改进的AlexNet神经网络模型1中。训练前，AlexNet神经网络模型的权重初始化方法采用截断的正态分布随机数，正态分布标准差为0.01，正态分布均值为0；

再次，将Gleason_3、Gleason_4、Gleason_5的训练样本集以同方法训练改进的AlexNet神经网络模型2；

最后，训练完成后，得到用于测试诊断的AlexNet神经网络模型1和病变程度分级的AlexNet神经网络模型2。

进一步的，所述训练样本集的制作示意图如图3所示，具体步骤如下：

首先，请有经验的病理科医生对前列腺组织全尺度病理切片染色图进行标记，标记正常和病变的区域，同时对病变的区域按照Gleason分级的标准标记为Gleason_3、Gleason_4、Gleason_5三个等级；

其次，对标记好的区域分别取样生成尺寸为224*224像素小块，剔除信息量小或者无效的小块；

再次，通过旋转、镜像等数据增强的方法对原始数据样本进行处理，增加训练样本数，进一步提高模型的泛化能力；

最后，将小块进行分类标记，分成正常和病变两类，其中病变类型中再次分为Gleason_3、Gleason_4、Gleason_5三个等级，组成正负样本训练集。

最终正常类型小块样本有20万个，病变类型小块样本有20万个，其中，由Gleason_3小块样本占35％、Gleason_4小块样本占35％、Gleason_5小块样本占30％。

进一步的，所述的改进AlexNet神经网络模型由特征提取层(卷积层)、下采样层、全连接层和分类器组成，相较于传统的AlexNet神经网络模型，将全连接层的节点数减半，将输出层由原来的1000类减少到了2-3类以适用于本发明，减少了模型参数，提高收敛速度。

所述的特征提取层计算公式为：

所述的全连接层计算公式为：

f(x；w,b)＝g(x^Tw+b) (2)

所述的Softmax分类计算公式为：

式中h(i,j)表示卷积层的输入，K(m,n)表示卷积核，b表示偏置，x表示全连接层的输入，w表示网络权重，g(·)表示激活函数，本模型采用Relu激活函数，其数学表达式为：

f(x)＝max(x,0) (4)

所述的AlexNet神经网络模型还涉及使用LRN归一化方法，Dropout方法，正则化方法提高模型的泛化能力，防止出现过拟合。同时，所述的AlexNet神经网络模型运用计算交叉熵及Adam优化方法，对网络参数进行迭代优化，直至收敛，最后使用K折交叉验证法验证模型的预测准确率。

进一步的，所述的测试诊断模块如图4所示，具体步骤如下：

首先，将经过图像预处理的待诊断的前列腺组织全尺度病理切片染色图按设定的步长进行滑窗取样，从左上角开始直至遍历整张前列腺组织全尺度病理切片染色图；

其次，将滑窗取样的小块输入AlexNet神经网络诊断模型1，经过特征提取层、下采样层、全连接层、Softmax分类器，输出取样小块预测概率；

最后，根据输出取样小块的预测概率判断正常或病变区域，同时绘制全尺度病变区域的概率热图。如果输入前列腺组织全尺度病理切片为正常切片，则不绘制其概率分布热图。

进一步的，所述的病变程度评分模块，具体实施步骤如下：

首先，集合AlexNet神经网络模型1中被预测为病变的取样小块输入完成训练的改进的AlexNet神经网络模型2进行Gleason分级，经过特征提取层、下采样层、全连接层、Softmax分类器输出预测类别，判断取样小块所属的Gleason等级；

其次，对不同等级的取样小块的数量占比进行统计，根据临床通常使用的Gleason评分规则对前列腺组织全尺度病理切片染色图进行Gleason评分。

进一步的，所述的评分规则依据Gleason评分体系，采用n+m评分格式，其中n表示主要癌症等级占比类别，m表示次要癌症等级占比类别，具体有以下形式：3+3，3+4，3+5，4+3，4+4，4+5，5+3，5+4，5+5。

进一步的，所述的取样小块数量占比为不同等级癌症类别的取样小块数量除以包括所有正常和病变取样小块的数量，计算不同Gleason等级的病变小块占比，当病变取样小块占比大于5％才进行评分，例如Gleason_4小块占比为93％、Gleason_3小块占比为4％、Gleason_5小块占比为3％，则最终输出的Gleason评分为：4+4。

本发明实施例的效果图如图5所示，(a)为一例前列腺组织全尺度病理切片的诊断结果，显示为Gleason评分3+4；(b)为一例前列腺组织全尺度病理切片的诊断结果，显示为Gleason评分4+5。测试结果表明，本发明可完全自动化实现对前列腺组织全尺度病理切片染色图的快速诊断与评分。

优选地，本发明采用GPU并行运算，诊断一张10000*10000像素级别的前列腺组织全尺度病理切片染色图时间为10秒左右。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于深度学习的全尺度病理切片的快速诊断和评分方法，其特征在于，包括如下步骤：

步骤S1、将全尺度病理切片染色图输入图像预处理模块，通过格式转换和色彩空间变换，实现对图像的归一化处理；

步骤S2、改变传统AlexNet神经网络的全连接层和输出层节点数，将步骤S1得到的预处理后的全尺度病理切片染色图输入数据训练模块，制作成训练样本集，而后训练两个改进的AlexNet神经网络模型进而得到用于测试诊断AlexNet神经网络模型1和用于病变程度评分的AlexNet神经网络模型2；具体实现如下：

首先，将预处理过的全尺度病理切片染色图的正常和病变区域分别进行标记，其中病变区域再次根据病变程度进行标记，取样生成尺寸为224*224像素的小块，并剔除信息量小或者无效的小块；

其次，通过包括旋转、镜像的数据增强的方法来增大训练样本集的数量，增强网络的泛化能力，组成正负样本集合；

最后，以反向传播算法对两个改进的AlexNet神经网络模型参数进行迭代优化，用标记为正常和病变的两类训练样本集来训练AlexNet神经网络模型1，使模型能对正常和病变的取样小块进行分类；用标记为不同等级的病变训练样本集来训练AlexNet神经网络模型2，使模型能准确判断出取样小块所属的病变程度等级；

采用滑窗取样算法对预处理过的全尺度病理切片染色图进行取样，解决了神经网络输入端对图像尺寸大小限制的问题，实现对尺寸在亿像素级别的全尺度病理切片染色图的诊断和评分；

所述改进的AlexNet神经网络模型中，

特征提取层计算公式为：

全连接层计算公式为：

f(x；w,b)＝g(x^Tw+b)

Softmax分类计算公式为：

式中h(i,j)表示卷积层的输入，K(m,n)表示卷积核，b表示偏置，x表示全连接层的输入，w表示网络权重，g(·)表示激活函数，此处采用Relu激活函数，其数学表达式为：

f(x)＝max(x,0)

所述步骤S2中，改变传统AlexNet神经网络的全连接层和输出层节点数，即将全连接层的节点数减半，同时将输出层由原来的1000类减少到2-3类，减少了模型参数，提高收敛速度；

步骤S3、将步骤S1得到的预处理后的全尺度病理切片染色图输入测试诊断模块，使用在步骤S2完成训练的用于测试诊断的AlexNet神经网络模型1进行测试诊断，以概率热图的形式标定出正常和病变区域；

步骤S4、将步骤S3中被预测为病变的取样小块输入病变程度评分模块，使用在步骤S2完成训练用于病变程度评分的AlexNet神经网络模型2对病变的取样小块进行Gleason分级，分别计算不同等级的病变小块数量占比，根据临床癌组织病变的评分标准即Gleason评分规则，对全尺度病理切片染色图进行病变程度Gleason评分；

所述Gleason评分规则依据Gleason评分体系，采用n+m评分格式，其中n表示主要癌症等级占比类别，m表示次要癌症等级占比类别，分别计算不同等级的病变小块数量占比即计算不同Gleason等级的病变小块占比，当病变取样小块占比大于预设百分比才进行评分，并最终输出病变程度Gleason评分。

2.根据权利要求1所述的基于深度学习的全尺度病理切片的快速诊断和评分方法，其特征在于，所述步骤S1具体实现如下：

首先，将前列腺组织全尺度病理切片染色图转换为计算机易处理的图像格式；

其次，将转换格式后的全尺度病理切片染色图进行色彩空间变换实现对图像的归一化处理，图片由RGB三原色格式图映射为YUV格式，颜色取值有原来的0-255映射为-1-0-1，且方差为1。

3.根据权利要求1所述的基于深度学习的全尺度病理切片的快速诊断和评分方法，其特征在于，所述步骤S3具体实现如下：

首先，将待诊断的全尺度病理切片染色图预处理后输入测试诊断模块，进行滑窗取样，生成取样小块；

其次，将生成的取样小块输入改进的AlexNet神经网络模型1，输出取样小块预测概率，根据网络输出小块概率绘制全尺度病变区域概率热图。

Images