CN113449785A - 基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法。对已知病变类别分类的眼睑肿瘤病理切片，扫描得到图像构建训练集；数据增强和归一化处理，构建三层级联的肿瘤数字化病理切片诊断网络，使用增强后的训练集训练肿瘤数字化病理切片诊断网络，再进行预测处理，生成概率热力图并病变类别检测。本发明能有效地可视化出全野数字切片中肿瘤的位置与病变类型，来辅助诊断，进行病变区域的初筛与提示，改变网络对通道的注意力，提升网络性能。

Description

基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法

技术领域

本发明涉及深度学习，计算机视觉与眼科肿瘤领域的一种眼睑图像多分类方法，具体是涉及了一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，是利用深度学习技术对眼睑肿瘤数字化病理切片图像进行检测分析的方法。

背景技术

计算机视觉是人工智能技术的一种，指利用计算机来模拟人的视觉，是人工智能中的“看”。从技术流程上来说，分为目标检测、目标识别、行为识别三个部分。根据识别的目标种类可以分为图像识别、物体识别、人脸识别、文字识别等。在智能机器人领域，计算机视觉可以对静态图片或动态视频中的物体进行特征提取、识别和分析，从而为后续的动作和行为提供关键的信息。

人工智能技术的出现为医学开辟了更多的可能性。随着“ArtificialIntelligence&Medical Imaging”领域的突破，最先进的人工智能技术可以广泛应用于识别和标记各种类型的病变。然而，由于组织病理学图像的格式难以被神经网络读取，因此AI在病理学领域的应用仍然面临着巨大的挑战。

发明内容

针对现有技术的不足与新领域的挑战，本发明提出了一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，属于全野数字切片图像的分类方法，能够有效地可视化出全野数字切片图像中肿瘤的位置与类型，来辅助诊断，进行病变区域的初筛与提示。

本发明所采用的技术方案是：

步骤1、数据获取：对已知病变类别分类的眼睑肿瘤病理切片，扫描得到眼睑肿瘤数字化病理切片图像，将所有眼睑肿瘤数字化病理切片图像构建出训练集；

本发明具体实施中所述的眼睑肿瘤病理切片的病变类别分类具体是分为表皮样囊肿、基底细胞乳头状瘤、基底细胞癌、鳞状细胞乳头状瘤、鳞状细胞癌、血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌的九类。

而且本发明中，眼睑肿瘤病理切片必然存在一种病变类别，且有且仅有一种病变类别。

步骤2、数据增强：采用染色归一化图像处理方法对眼睑肿瘤数字化病理切片图像进行处理，使各个眼睑肿瘤数字化病理切片图像中不同组织细胞的染色相同；然后使用多种数据增强方法来增加训练集中的图像多样性；

步骤3、构建三层级联的肿瘤数字化病理切片诊断网络，使用增强后的训练集训练肿瘤数字化病理切片诊断网络，用训练后的肿瘤数字化病理切片诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行预测处理；待测的未知病变类型的眼睑肿瘤数字化病理切片图像也进行步骤2的处理。

步骤4、概率热力图生成与整张眼睑肿瘤数字化病理切片图像的病变类别检测。

所述步骤3具体为：

所述的肿瘤数字化病理切片诊断网络包括依次传递连接的组织异型性诊断网络、细胞异型性诊断网络与良恶性病变分类网络；

3.1、组织异型性诊断网络：

组织异型性的诊断网络采用ResNet卷积神经网络，输入为增强后的训练集，并采用迁移学习通过反复对比实验训练得到超参数，输出为训练集中的图像是否为表皮样囊肿的结果。

具体是分为：表皮样囊肿和非表皮样囊肿的两类

所述的组织异型性诊断网络用于组织异型性的检测。

3.2、细胞异型性诊断网络：

细胞异型性诊断网络针对组织异型性的诊断网络的输出结果中不分为表皮样囊肿的眼睑肿瘤数字化病理切片图像作为非表皮样囊肿图像进行处理，将非表皮样囊肿图像以预设的步长和尺寸进行窗口滑动遍历，每个窗口切割出非表皮样囊肿图像的一个图像区域，每个图像区域均输入到细胞异型性诊断网络中处理；

根据组织异型性诊断网络的输出结果，不分为表皮样囊肿的结果包括了八种非表皮样囊肿的情况，分别为基底细胞乳头状瘤、基底细胞癌、鳞状细胞乳头状瘤、鳞状细胞癌、血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌的八类。

细胞异型性诊断网络采用ResNet50神经网络模型，且在ResNet50神经网络模型中加入挤压激励模块SE和矩阵融合模块MoEx；细胞异型性诊断网络输出得到针对每个图像区域的代表三种不同病变组的三组类别：

第一组类别：存在包括基底细胞乳头状瘤和基底细胞癌；

第二组类别：存在包括鳞状细胞乳头状瘤和鳞状细胞癌；

第三组类别：存在包括血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌。

血管瘤、良性色素痣、睑板腺癌、恶性黑色素瘤按照恶性程度依次递增。

所述的细胞异型性诊断网络用于不同组织来源细胞的分类，优化设置为组织来源细胞分类性能最佳的模型。

3.3、良恶性病变分类网络：

良恶性病变分类网络包括三个子网络，每个子网络均采用细胞异型性诊断网络相同的网络拓扑结构，三个子网络分别用于针对细胞异型性诊断网络分类出的三组类别各自的各个图像区域进行处理，将第一组类别、第二组类别、第三组类别中的每个图像区域划分出各自的病变类别。

上述三个子网络的拓扑结构相同，均采用细胞异型性诊断网络相同的网络拓扑结构。三个子网络进行分别训练，分别对待测情况的输入进行处理，三个子网络相互独立。

所述肿瘤数字化病理切片诊断网络中，各层级联网络的训练时候的损失函数均采用加权交叉熵+Softmax损失函数。

所述挤压激励模块SE，具体为：将每个通道进行全局平均池化编码为一个全局特征，将全局特征连接连续两个全连接层进行处理，两个全连接层后采用ReLU激活第二个全连接层以恢复原始的维度；

在所述ResNet50神经网络模型中的每个残差块处增设挤压激励模块SE，具体是将挤压激励模块SE并联在残差块的输入和输出上，残差块的输入经挤压激励模块处理后和残差块的输出再进行相乘处理后，输出进行下一阶段处理。

原来每个残差块处的处理是，将残差块的输入和输出相加后再输出进行下一阶段处理。而本发明增加挤压激励模块SE后，还更改了残差块前后的逻辑处理关系，以及将相加改为相乘。即将将残差块的输入和输出相加后再输出进行下一阶段处理，改为残差块的输入经挤压激励模块处理后和残差块的输出再进行相乘处理输出进行下一阶段处理。这样能起到的细粒度分类，更好地判断细胞细节的特征。

在步骤3.2的细胞异型性诊断网络的训练过程中，在ResNet50神经网络模型的第一层卷积层后、且第二次卷积层之前加入矩阵融合模块MoEx；

在步骤3.2的细胞异型性诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行处理过程中，不加入矩阵融合模块MoEx，将ResNet50神经网络模型的第一层卷积层和第二次卷积层直接进行连接传递。

所述步骤3.2的细胞异型性诊断网络的训练过程中，将训练集中的两个不同病变类型的眼睑肿瘤数字化病理切片图像通过窗口切割出的图像区域处理后进行连接后输入到ResNet50神经网络模型的第一层卷积层，第一层卷积层输出结果进行拆分后获得第一种类别的特征图和第二种类别的特征图，其中以第一种类别的特征图作为矩阵融合模块MoEx的第一输入，以第二种类别的特征图作为矩阵融合模块MoEx的第二输入；

所述的矩阵融合模块MoEx具体是将第一输入和第二输入均经卷积和归一化处理处理后获得各自的第一标准化特征h_A和第二标准化特征h_B，将第一标准化特征h_A经过特征求导操作后的结果、第二标准化特征h_B经求取标准差操作后的结果、第二标准化特征h_B经求取平均操作后的结果共同相加融合获得融合后的标准化特征，标准化特征作为矩阵融合模块MoEx的输出。

矩阵融合模块MoEx用于混合一个实例的标准化特征与另一个实例的特征矩阵，在子网络推理过程中对图像特征进行增强。根据生成的标准化特征，MoEx随机加权重，把这两个特征融合为一个特征，同时根据相同的权重，使用两种类别的原始标签线性生成预测标签。

本发明采用矩阵融合模块MoEx，能够拓展数据集的分布，参数拟合分类时候，增加1-2倍样本数量。

本发明将矩阵融合模块MoEx和挤压激励模块SE进行搭配使用，能够增加训练集的样本分布，实现细粒度分类。

所述步骤4，具体为：

4.1、根据步骤3的肿瘤数字化病理切片诊断网络的预测输出结果，获得的对眼睑肿瘤数字化病理切片图像的预测输出结果具体为大小N×C的特征矩阵，大小N×C的特征矩阵是由N个大小1×C的特征向量拼接构成，N为细胞异型性诊断网络中用窗口滑动遍历而切割出的图像区域的总数量；大小1×C的特征向量是由C个病变类别对应的预测值组成，C为病变类别的数量；

4.2、

4.2.1、

对特征矩阵进行特征融合，即在同一病变类别上的所有预测值作平均作为该病变类别上的预测概率，进而生成一个大小1×C的预测向量，取预测概率最大的病变类别为该眼睑肿瘤数字化病理切片图像的病变分类结果；

4.2.2、

将每一种眼睑肿瘤数字化病理切片图像中的特征矩阵采用以下公式的线性图像归一化算法处理获得概率热力图：

其中，Overlap为所有眼睑肿瘤数字化病理切片图像的特征矩阵，下标Max与Min分别表示眼睑肿瘤数字化病理切片图像的特征矩阵中所有元素的最大预测值与最小预测值，Heatmap为概率热力图的结果；

将概率热力图按照细胞异型性诊断网络中窗口滑动遍历的相同设置进行窗口滑动遍历，每个窗口提取出的概率热力图中的图区域叠加到原始的眼睑肿瘤数字化病理切片图像上，提取获得眼睑肿瘤数字化病理切片图像中的病变区域。

本发明采用高效的全野数字切片小窗口滑动处理方法，使千亿像素的大图片转化为能被神经网络读取的小图片，并进行数据增强。然后通过级联的卷积神经网络，使用迁移学习策略，对全野数字切片中的肿瘤进行分类，最终得出整个全野数字切片中肿瘤的热力图。

本发明构建了一种全视野数字化病理切片处理方法、一个融合组织和细胞异型性的三层级联神经网络框架，使用SE、MoEx模块增强图像特征、改变网络对通道的信任度以及一种有效的肿瘤区域可视化方法。首先使用滑窗对全野数字切片处理，使其转变为能够被处理的格式，其次SE、MoEx模块能够很好的对病变区域的特征进行增强，并且改变网络对通道的注意力，提升网络性能。

本发明具有以下有益效果：

1)本发明提出了设计用于自动分类眼部H&E染色组织学图像病变类型的卷积神经网络。

与先前大多数的方法不同，本发明使用三层级联网络，首先在全野数字切片级别分类是否为表皮样囊肿，接着第二层级联网络对分类三种不同组织细胞来源类型的配对(1，7；4，5；2，3，6，8)，第三层对这些配对进行细分，得出其良恶性。第二层与第三层网络均使用了Attention机制。此级联方法较直接分类的各项参数均有明显提升。

2)基于小滑块(patch)级别分类以及基于病理切片图像(whole-slide)级别分类都有相应的评价参数，并且能够得出整个病理切片图像的病变程度热力图。

3)本发明不仅仅得到了眼部超像素组织病理图像小滑块级别的非常好的实验结果，重点是实现自动分类组织病理图像为恶性或非恶性的一整套流程，构建了一个可以直接应用于临床辅助诊断的计算机辅助诊断(CAD)系统，并且准确率非常高。目前取得的成果已经可以达到投入临床中进行辅助诊断。

附图说明

图1是本发明总体框架图图；

图2是深度学习系统结构图图；

图3是深度学习预测结果热力图；

图4是矩阵融合模块MoEx的结构图；

图5是挤压激励模块SE的结构图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的说明。

本发明的实施例及其实施过程如下：

用于实施的硬件环境是：CPU Intel(R)，GPU是NVIDIA RTX2080Ti,运行环境是Python3.6和Pyrorch 0.4.1。

步骤1、数据获取：

对已知病变类别分类的眼睑肿瘤病理切片，扫描得到眼睑肿瘤数字化病理切片图像，将所有眼睑肿瘤数字化病理切片图像构建出训练集；如图1所示，具体实施中可先由所有眼睑肿瘤数字化病理切片图像构建数据集，再将数据集分为训练集、验证集、测试集。

步骤2、数据增强：

针对训练集中的眼睑肿瘤数字化病理切片图像的样本染色不均匀、不同病理切片染色程度不一的问题，采用染色归一化图像处理方法对眼睑肿瘤数字化病理切片图像进行处理，使各个眼睑肿瘤数字化病理切片图像中不同组织细胞的染色相同；然后使用多种数据增强方法来增加训练集中的图像多样性，提升模型的a性能，保证泛化能力；

数据增强方法具体实施包括随机旋转±30°，随机平移，随机水平/垂直翻转，网格形变。

步骤3、构建三层级联的肿瘤数字化病理切片诊断网络，如图2所示，使用增强后的训练集训练肿瘤数字化病理切片诊断网络，用训练后的肿瘤数字化病理切片诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行预测处理；待测的未知病变类型的眼睑肿瘤数字化病理切片图像也进行步骤2的处理。

如图2所示，肿瘤数字化病理切片诊断网络包括依次传递连接的组织异型性诊断网络、细胞异型性诊断网络与良恶性病变分类网络；组织异型性诊断网络、细胞异型性诊断网络与良恶性病变分类网络分别作为第一层级联网络、第二层级联网络、第三层级联网络。

3.1、组织异型性诊断网络：

组织异型性诊断网络采用ResNet卷积神经网络，输入为增强后的训练集，并采用迁移学习通过反复对比实验训练得到超参数，输出为训练集中的图像是否为表皮样囊肿的结果，最后诊断出表皮样囊肿。

3.2、细胞异型性诊断网络：

细胞异型性诊断网络针对组织异型性诊断网络的输出结果中不分为表皮样囊肿的眼睑肿瘤数字化病理切片图像作为非表皮样囊肿图像进行处理，将非表皮样囊肿图像以预设的步长和尺寸进行窗口滑动遍历，具体实施中步长设为512，尺寸设为1024，每个窗口切割出非表皮样囊肿图像的一个图像区域，每个图像区域均输入到细胞异型性诊断网络中处理；

根据组织异型性诊断网络的输出结果，不分为表皮样囊肿的结果包括了八种非表皮样囊肿的情况，分别为基底细胞乳头状瘤、基底细胞癌、鳞状细胞乳头状瘤、鳞状细胞癌、血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌的八类。

细胞异型性诊断网络采用ResNet50神经网络模型，且在ResNet50神经网络模型中加入挤压激励模块SE和矩阵融合模块MoEx，以达到对细胞结构的细粒度分类；细胞异型性诊断网络输出得到图像区域级别的针对每个图像区域的代表三种不同病变组的三组类别，具体是将八种病变类型分为三组：

第一组类别：存在包括基底细胞乳头状瘤和基底细胞癌；

第二组类别：存在包括鳞状细胞乳头状瘤和鳞状细胞癌；

第三组类别：存在包括血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌。

其中的挤压激励模块SE，具体为：将每个通道进行全局平均池化编码为一个全局特征以进行压缩操作，将全局特征连接连续两个全连接层进行处理以进行激励操作，两个全连接层后采用ReLU激活第二个全连接层以恢复原始的维度，降低模型复杂度以提升泛化能力。

在ResNet50神经网络模型中的每个残差块处增设挤压激励模块SE，具体是将挤压激励模块SE并联在残差块的输入和输出上，残差块的输入经挤压激励模块处理后和残差块的输出再进行相乘处理后，输出进行下一阶段处理。即把SE模块的输出向量与输入的特征图向量相乘，改变网络对不同通道的注意程度，能更好的细粒度分类，更好地获得细胞细节的特征。

在网络的每个融合层之后都加入SE模块，如图3(b)、图3(c)所示。

其中的矩阵融合模块MoEx：

在步骤3.2的细胞异型性诊断网络的训练过程中，在ResNet50神经网络模型的第一层卷积层后、且第二次卷积层之前加入矩阵融合模块MoEx；

在步骤3.2的细胞异型性诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行处理过程中，不加入矩阵融合模块MoEx，将ResNet50神经网络模型的第一层卷积层和第二次卷积层直接进行连接传递。

步骤3.2的细胞异型性诊断网络的训练过程中，将训练集中的两个不同病变类型的眼睑肿瘤数字化病理切片图像通过窗口切割出的图像区域处理后进行连接后输入到ResNet50神经网络模型的第一层卷积层，第一层卷积层输出结果进行拆分后获得第一种类别的特征图和第二种类别的特征图，其中以第一种类别的特征图作为矩阵融合模块MoEx的第一输入，以第二种类别的特征图作为矩阵融合模块MoEx的第二输入；

如图4所示，矩阵融合模块MoEx具体是将第一输入和第二输入均经卷积和归一化处理处理后获得各自的第一标准化特征h_A和第二标准化特征h_B，将第一标准化特征h_A、第二标准化特征h_B经求取标准差操作后的结果、第二标准化特征h_B经求取平均操作后的结果共同相加融合获得融合后的标准化特征，标准化特征作为矩阵融合模块MoEx的输出。

将原始的数据集分为训练集、验证集、测试集，每一个集合又包含恶性和非恶性等各种样本。

训练方式为带标签的数据进行有监督的学习。

A、级联模型搭建：使用ResNet50做为基础网络，进行三次级联。第一层网络的结构无改动，第二、三层网络的结构中加入了SE模块与MoEx模块，以提取图像中细粒度的特征。

B、数据预处理：训练中使用staintools对全野数字切片进行染色归一化。选取一染色程度较合适的图片作为标准模板，归一其他图片的染色程度。

C、数据增强：针对训练集中正负样本不均衡问题，针对数量较少的恶性样本，采用过采样技术，减小步长，使得正负样本达到大致均衡。同时为了提高模型的性能，保证泛化能力，使用随机水平/竖直翻转；随机旋转90度(90,180,270随机选择)；随机裁剪(256x256→224x224)来大大增加数据集的多样性；随机对比度增强和随机边缘锐化也可以增加样本多样性，对结果有提高。还对比了刚性形变的方法。同时这些方法采用的都是实时扩增的方法，相较于传统扩增好保存下来的方法，大大增加数据集的多样性，同时节约了硬盘的空间。

D、小滑块(patch)级别的卷积神经网络(CNN)分类：基于16层深度卷积神经网络采用世界上图像识别最大的数据库Imagenet数据集上训练好的权重进行迁移学习。初始学习率为1e-4，学习率衰减为800步(step)衰减为原值的0.97。得到基于小滑块分类性能极佳的模型。

E、概率热力图生成：在数字病理图像上滑块覆盖所有面积，每个小滑块之间相互重叠75％，这样的方法优点在于生成的热力图较为精细平滑。其次根据模型预测的结果将概率值回填到对应区域，得到概率图，之后利用可视化技术生成概率热力图。对于表皮样囊肿的热力图，采用Grad-CAM的可视化方法，对分类器激活层的输出结果求偏导，从而得出某一个输出对卷积特征图的敏感程度，作为这个卷积特征图的权重。Grad-CAM通过叠加不同通道的权重，将输出对不同位置的敏感程度可视化出来。

3.3、良恶性病变分类网络：

良恶性病变分类网络包括三个子网络，每个子网络均采用细胞异型性诊断网络相同的网络拓扑结构，三个子网络分别用于针对细胞异型性诊断网络分类出的三组类别各自的各个图像区域进行处理，将第一组类别、第二组类别、第三组类别中的每个图像区域划分出各自的病变类别。

具体是第一个子网络输入是第一组类别的各个图像区域，输出每个图像区域是存在基底细胞乳头状瘤还是存在基底细胞癌的分类结果；

第二个子网络输入是第二组类别的各个图像区域，输出每个图像区域是存在鳞状细胞乳头状瘤还是存在鳞状细胞癌的分类结果；

第三个子网络输入是第三组类别的各个图像区域，输出每个图像区域是存在血管瘤、存在良性色素痣、存在恶性黑色素瘤还是存在睑板腺癌的分类结果。

肿瘤数字化病理切片诊断网络中，各层级联网络的训练时候的损失函数均采用加权交叉熵+Softmax损失函数。

所有模型的损失函数均采用加权交叉熵+Softmax损失函数：

Loss(x，class)＝-weiggt*softmax(y*ln(y′)+(1-y)*ln(1-y′))

其中，weight表示当前图片病变类别的图片数量所占比例的倒数，softmax表示softmax激活函数，y表示当前图片真实类别，y’表示当前图片的预测概率。

步骤4、概率热力图生成与整张眼睑肿瘤数字化病理切片图像的病变类别检测。

4.1、根据步骤3的肿瘤数字化病理切片诊断网络的预测输出结果，获得的对眼睑肿瘤数字化病理切片图像的预测输出结果具体为大小N×C的特征矩阵，大小N×C的特征矩阵是由N个大小1×C的特征向量拼接构成，N为细胞异型性诊断网络中用窗口滑动遍历而切割出的图像区域的总数量，即窗口遍历的总数量；大小1×C的特征向量是由C个病变类别对应的预测值组成，C为病变类别的数量；大小1×C的特征向量是中，第c病变类别在肿瘤数字化病理切片诊断网络中判断出类型，第c病变类别的预测值在特征向量中用0或者1表示，0表示不属于该病变类别，1表示属于该病变类别，例如[0,1,0,0,0,0,0,0,0]，表示图像区域划分为基底细胞乳头状瘤的病变类别。

对于非表皮样囊肿的病变，在生成热力图之后，采用融合小滑块特征的方法，实现对WSI病变类型的整体判断。使用训练有素的模型，对每一个patch生成一组预测结果，这个预测结果可以被认为是WSI特征的一部分，根据这个预测结果，获得眼睑肿瘤数字化病理切片图像的预测概率，进而获得病变分类结果。

4.2、

4.2.1、

对特征矩阵进行特征融合，即在同一病变类别上的所有预测值作平均作为该病变类别上的预测概率，进而生成一个大小1×C的预测向量，包含了肿瘤数字化病理切片诊断网络对这个眼睑肿瘤数字化病理切片图像的各个类别的预测概率，取预测概率最大的病变类别为该眼睑肿瘤数字化病理切片图像的病变分类结果；

4.2.2、

将每一种眼睑肿瘤数字化病理切片图像中的特征矩阵采用以下公式的线性图像归一化算法处理获得概率热力图：

其中，Overlap为所有眼睑肿瘤数字化病理切片图像的特征矩阵，下标Max与Min分别表示眼睑肿瘤数字化病理切片图像的特征矩阵中所有元素的最大预测值与最小预测值，具体实施中，Overlap_Min＝0，Overlap_Max＝1，Heatmap为概率热力图的结果。

将概率热力图按照细胞异型性诊断网络中窗口滑动遍历的相同设置进行窗口滑动遍历，每个窗口提取出的概率热力图中的图区域叠加到原始的眼睑肿瘤数字化病理切片图像上，提取获得眼睑肿瘤数字化病理切片图像中的病变区域。

实验表明，本实例的可视化性能能够很好的符合专业病理的评估水平。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可做出若干改进和修饰，这些改进和修饰也应视为本发明保护范围内。

Claims (7)

1.一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于，该方法具体包括以下步骤：

步骤1、数据获取：对已知病变类别分类的眼睑肿瘤病理切片，扫描得到眼睑肿瘤数字化病理切片图像，将所有眼睑肿瘤数字化病理切片图像构建出训练集；

步骤2、数据增强：采用染色归一化图像处理方法对眼睑肿瘤数字化病理切片图像进行处理，使各个眼睑肿瘤数字化病理切片图像中不同组织细胞的染色相同；然后使用多种数据增强方法来增加训练集中的图像多样性；

步骤3、构建三层级联的肿瘤数字化病理切片诊断网络，使用增强后的训练集训练肿瘤数字化病理切片诊断网络，用训练后的肿瘤数字化病理切片诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行预测处理；

步骤4、概率热力图生成与整张眼睑肿瘤数字化病理切片图像的病变类别检测。

2.如权利要求1所述一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：所述步骤3具体为：

所述的肿瘤数字化病理切片诊断网络包括依次传递连接的组织异型性诊断网络、细胞异型性诊断网络与良恶性病变分类网络；

3.1、组织异型性诊断网络：

组织异型性的诊断网络采用ResNet卷积神经网络，输入为增强后的训练集，并采用迁移学习通过反复对比实验训练得到超参数，输出为训练集中的图像是否为表皮样囊肿的结果。

3.2、细胞异型性诊断网络：

细胞异型性诊断网络针对组织异型性的诊断网络的输出结果中不分为表皮样囊肿的眼睑肿瘤数字化病理切片图像作为非表皮样囊肿图像进行处理，将非表皮样囊肿图像以预设的步长和尺寸进行窗口滑动遍历，每个窗口切割出非表皮样囊肿图像的一个图像区域，每个图像区域均输入到细胞异型性诊断网络中处理；

细胞异型性诊断网络采用ResNet50神经网络模型，且在ResNet50神经网络模型中加入挤压激励模块SE和矩阵融合模块MoEx；细胞异型性诊断网络输出得到针对每个图像区域的代表三种不同病变组的三组类别：

第一组类别：存在包括基底细胞乳头状瘤和基底细胞癌；

第二组类别：存在包括鳞状细胞乳头状瘤和鳞状细胞癌；

第三组类别：存在包括血管瘤、良性色素痣、恶性黑色素瘤、睑板腺癌。

3.3、良恶性病变分类网络：

良恶性病变分类网络包括三个子网络，每个子网络均采用细胞异型性诊断网络相同的网络拓扑结构，三个子网络分别用于针对细胞异型性诊断网络分类出的三组类别各自的各个图像区域进行处理，将第一组类别、第二组类别、第三组类别中的每个图像区域划分出各自的病变类别。

3.如权利要求2所述一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：所述肿瘤数字化病理切片诊断网络中，各层级联网络的训练时候的损失函数均采用加权交叉熵+Softmax损失函数。

4.如权利要求2所述一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：所述挤压激励模块SE，具体为：将每个通道进行全局平均池化编码为一个全局特征，将全局特征连接连续两个全连接层进行处理，两个全连接层后采用ReLU激活第二个全连接层以恢复原始的维度；在所述ResNet50神经网络模型中的每个残差块处增设挤压激励模块SE，具体是将挤压激励模块SE并联在残差块的输入和输出上，残差块的输入经挤压激励模块处理后和残差块的输出再进行相乘处理后，输出进行下一阶段处理。

5.如权利要求2所述的一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：

在步骤3.2的细胞异型性诊断网络的训练过程中，在ResNet50神经网络模型的第一层卷积层后、且第二次卷积层之前加入矩阵融合模块MoEx；

在步骤3.2的细胞异型性诊断网络对待测的未知病变类型的眼睑肿瘤数字化病理切片图像进行处理过程中，不加入矩阵融合模块MoEx，将ResNet50神经网络模型的第一层卷积层和第二次卷积层直接进行连接传递。

6.如权利要求2所述的一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：所述步骤3.2的细胞异型性诊断网络的训练过程中，将训练集中的两个不同病变类型的眼睑肿瘤数字化病理切片图像通过窗口切割出的图像区域进行连接后输入到ResNet50神经网络模型的第一层卷积层，第一层卷积层输出结果进行拆分后获得第一种类别的特征图和第二种类别的特征图，其中以第一种类别的特征图作为矩阵融合模块MoEx的第一输入，以第二种类别的特征图作为矩阵融合模块MoEx的第二输入；

所述的矩阵融合模块MoEx具体是将第一输入和第二输入均经卷积和归一化处理处理后获得各自的第一标准化特征h_A和第二标准化特征h_B，将第一标准化特征h_A经过特征求导操作后的结果、第二标准化特征h_B经求取标准差操作后的结果、第二标准化特征h_B经求取平均操作后的结果共同相加融合获得融合后的标准化特征，标准化特征作为矩阵融合模块MoEx的输出。

7.如权利要求1所述一种基于深度学习的眼睑肿瘤数字化病理切片图像多分类方法，其特征在于：所述步骤4，具体为：

4.1、根据步骤3的肿瘤数字化病理切片诊断网络的预测输出结果，获得的对眼睑肿瘤数字化病理切片图像的预测输出结果具体为大小N×C的特征矩阵，大小N×C的特征矩阵是由N个大小1×C的特征向量拼接构成，N为细胞异型性诊断网络中用窗口滑动遍历而切割出的图像区域的总数量；大小1×C的特征向量是由C个病变类别对应的预测值组成，C为病变类别的数量；

4.2、

4.2.1、

对特征矩阵进行特征融合，即在同一病变类别上的所有预测值作平均作为该病变类别上的预测概率，进而生成一个大小1×C的预测向量，取预测概率最大的病变类别为该眼睑肿瘤数字化病理切片图像的病变分类结果；

4.2.2、

将每一种眼睑肿瘤数字化病理切片图像中的特征矩阵采用以下公式的线性图像归一化算法处理获得概率热力图：

其中，Overlap为所有眼睑肿瘤数字化病理切片图像的特征矩阵，下标Max与Min分别表示眼睑肿瘤数字化病理切片图像的特征矩阵中所有元素的最大预测值与最小预测值，Heatmap为概率热力图的结果；

将概率热力图按照细胞异型性诊断网络中窗口滑动遍历的相同设置进行窗口滑动遍历，每个窗口提取出的概率热力图中的图区域叠加到原始的眼睑肿瘤数字化病理切片图像上，提取获得眼睑肿瘤数字化病理切片图像中的病变区域。

Images