CN114372531A - 一种基于自注意力特征融合的胰腺癌病理图像分类方法 - Google Patents

Abstract

本发明提供了一种基于自注意力特征融合的胰腺癌病理图像分类方法，首先，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入；其次，卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息；然后，构建基于自注意力特征建模的Transformer模型和自注意力特征融合网络模型；最后，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，由此构建胰腺细胞癌变分类诊断系统，通过该系统判断该胰腺细胞病理图像为胰腺癌细胞或正常细胞图像。本发明应用自注意力技术与注意力解析机制将卷积神经网络特征进行全局建模，以实现高精度的胰腺癌快速现场评估。

Description

一种基于自注意力特征融合的胰腺癌病理图像分类方法

技术领域

本发明涉及人工智能辅助病理图像识别技术领域，特别是涉及一种基于自注意力特征融合的胰腺癌病理图像分类方法。

背景技术

作为一种常见的消化系统恶性肿瘤，胰腺癌具有早期诊断困难，愈后表现差，恶性程度高的特点。随着居民生活水平的提高，胰腺癌的发病率也逐年上升，由于其五年生存率仅达6％，现已为全球较高致死率的癌症之一。为了实现对胰腺癌的早期筛查与高精度诊断，近年来提出了基于内镜超声引导的细针穿刺活检技术(Endoscopic Ultrasound-guided Fine-needle Aspiration,EUS-FNA)活检采样后，通过病理医生对病理涂片进行现场诊断的快速现场评估(Rapid on-site evaluation,ROSE)技术，该技术以其较高的敏感性(85％-95％)与特异度(95％-98％)的优势具有广阔的应用前景。

随着临床技术的进步，尽管ROSE技术带来了快速高效的诊断优势，但细胞病理医生资源不足限制了其推广与发展。越来越多的研究指出，针对活检样本的病理图像使用人工智能的方式进行分析能够显著优化当前工作流程，减少对医生时间的占用并降低对医生经验的依赖。如何获得精度更高，灵敏度更强的CAD(Computer-aided diagnosis)系统是本领域的核心探究方向与难点。

现有研究使用传统卷积神经网络通过卷积层对图像特征进行提取，通过加深网络层数，实现全局的感受野，最终通过全连接层对深层特征进行分类并输出类别置信度。由于卷积层具有平移不变性与其对局部信息具有的归纳偏置等特征，结合残差连接等技术，深度卷积神经网络可以在细胞病理学图像分析中获得良好的表现。然而，卷积层的局部性导致其在全局建模中存在注意力局限性，在全局建模中无法等权重的对两个远距离特征区域进行建模，这也限制了其精度的进一步提升。使用传统卷积神经网络进行特征提取之后直接进行分类，该方法难以高精度的对全局信息进行特征建模，其分类准确率尚不足以满足临床应用需求。

2019年以来，深度学习在计算机视觉领域持续创新，随着新兴的Transformer模型在计算机视觉领域的应用，其核心的自注意力建模技术引入了模型全局建模的优势，这也使得其在一系列计算机视觉任务中获得了精度的提升。尽管一系列研究证明了其在图像处理领域的巨大优势，但Transformer系列模型却需要大量数据才能充分发挥自注意力机制的潜能。通过设计卷积神经网络与Transformer相结合的模型，利用卷积神经网络的上述优势，将可以提高Transformer系列模型在小数据集上的性能并提高其泛化性与鲁棒性。

与传统卷积神经网络相比，针对胰腺病理图像中胰腺细胞与癌细胞的差异特征，即细胞的细粒度信息与空间分布与相对关系信息等临床决策经验，利用Transformer自注意力机制进行全局建模，同时与卷积神经网络提取的局部特征进行融合，将能够优化深度学习模型，从而进一步的提高CAD系统的准确率，并帮助临床医生实现更高精度且更高效的诊断。

发明内容

本发明的目的是提供一种基于自注意力特征融合的胰腺癌病理图像分类方法，应用自注意力技术与注意力解析机制将卷积神经网络特征进行全局建模，以实现高精度的胰腺癌快速现场评估。

为实现上述目的，本发明提供了如下方案：

一种基于自注意力特征融合的胰腺癌病理图像分类方法，包括如下步骤：

S1，获取显微镜采集到的胰腺细胞区域的病理图像数据集，将病理图像数据集按照设定比例划分为训练集、验证集与测试集；

S2，构建卷积神经网络模型，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入，使之能够与自注意力模块进行连接；

S3，构建注意力解析机制，将步骤S2中卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息，使卷积神经网络模型能够与引导注意力模块进行连接；

S4，构建基于自注意力特征建模的Transformer模型，Transformer模型包括所述自注意力模块与引导注意力模块，并构建自注意力特征融合网络模型，将步骤S2与S3的输出传递到步骤S4中，连接全连接层以及分类器，用于输出预测结果；

S5，使用步骤S1中训练集的病理图像，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，将该模型在测试集的病理图像上进行测试并输出结果，由此构建胰腺细胞癌变分类诊断系统；

S6，将未标记类别的胰腺细胞病理图像，传递至S5建立的胰腺细胞癌变分类诊断系统中，判断该胰腺细胞病理图像为胰腺癌细胞或正常细胞图像。

进一步的，步骤S1中，将病理图像数据集按照设定比例划分为训练集、验证集与测试集，具体包括：

将病理图像数据集中不同分辨率的图片统一转换为1390*1038像素的图片，将数据集随机排序后，取其中70％作为训练集，10％作为验证集，20％作为测试集。

进一步的，步骤S2中，构建卷积神经网络模型，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入，使之能够与自注意力模块进行连接，具体包括：

构建卷积神经网络ResNet模型，移除网络最后的全连接层，采用特征嵌入的操作，通过映射与重新排列矩阵元素操作，将最后阶段输出的尺寸为1024*12*12的特征图映射为145*768的特征序列。

进一步的，所述步骤S3，构建注意力解析机制，将步骤S2中卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息，使卷积神经网络模型能够与引导注意力模块进行连接，具体包括：

构建基于注意力模块、并行池化模块、1*1卷积模块的注意力解析结构，将步骤S2中卷积神经网络模型不同阶段输出的尺寸分别为256*96*96、512*48*48、1024*24*24及2048*12*12的特征图，通过位置编码和分类标志映射转换为4个尺寸为145*768的特征序列作为注意力引导信息。

进一步的，所述步骤S4，构建基于自注意力特征建模的Transformer模型，Transformer模型包括所述自注意力模块与引导注意力模块，并构建自注意力特征融合网络模型，将步骤S2与S3的输出传递到步骤S4中，连接全连接层以及分类器，用于输出预测结果，具体包括：

S401，构建Transformer模型，总共分为4个注意力建模阶段，第一阶段接收来自卷积神经网络模型提取得到的输入图像的特征，而此后的每个阶段的输入来自于上一个阶段Transformer特征建模的输出；

每个阶段中额外引入了注意力引导信息，在每个阶段中，首先使用自注意力模块对上一个阶段的输出信息做全局自注意力建模，此后通过引导注意力模块用于承接注意力引导信息实现将ResNet的局部注意力偏好编码入全局建模过程中，自注意力模块与引导注意力模块后均连接前馈神经网络FFN用于稳定训练过程，自注意力模块与引导注意力模块以及前馈神经网络FFN均使用残差连接与正则化来保证模型的鲁棒性与泛化性；

S402，构建自注意力特征融合网络模型，将步骤S2中卷积神经网络模型的输出作为Transformer模型的初始输入，将步骤S3获得的4个注意力引导信息作为Transformer模型的4个注意力建模阶段的注意力引导输入，将Transformer模型最后输出的特征图中的首个元素，即分类特征位与全连接层、分类器相连接，并输出最终分类结果。

进一步的，步骤S5中，使用步骤S1中训练集的病理图像，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，将该模型在测试集的病理图像上进行测试并输出结果，由此构建胰腺细胞癌变分类诊断系统，具体包括：

对自注意力特征融合网络模型训练50个轮次，在训练过程中，对步骤S1获得的训练集中的病理图像进行在线随机数据扩增，每次训练完成后使用验证集中的病理图像对模型输出进行衡量，取50个轮次中验证集准确度表现最高的模型参数作为输出模型的参数；

使用测试集对输出模型进行测试，测试该模型的分类准确率，由此完成对胰腺细胞癌变分类诊断系统的构建。

进一步的，步骤S5中，在线随机数据扩增包括如下步骤：

1)随机旋转0到180度；

2)截取图像中心边长为700像素的目标区域；

3)将目标区域边长通过Resize双线性插值的方式转换为边长为384的正方形ROI区域；

4)对ROI区域进行随机镜像变换；

5)对ROI区域进行随机色彩饱和度，图像抖动变换。

根据本发明提供的具体实施例，本发明提供的基于自注意力特征融合的胰腺癌病理图像分类方法公开了以下技术效果：1)胰腺癌细胞病理图像中，胰腺细胞与背景红细胞相似，癌变细胞与胰腺正常细胞差异较小，为了能够准确区分这些细胞从而对区域是否有癌细胞进行分类，本发明使用卷积神经网络模型进行特征提取以保证其泛化性与鲁棒性；2)病理图像中，细胞的分布以及细胞间相关尺寸关系等全局信息对于确定是否癌变十分重要，本发明基于Transformer自注意力模型，将深层特征图进行自注意力建模，利用Transformer模型的全局注意力优势从而有效的捕捉全局信息，进而提高模型对胰腺癌细胞图像的分类性能；3)本发明创新性的提出了注意力解析机制，将卷积神经网络各阶段的特征图转换为早期的局部注意力引导信息，通过引导注意力模块在Transformer模型中进行注意力特征融合，进而实现在全局特征建模中获得早期的局部注意力特征，提高了模型的精度与鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于自注意力特征融合的胰腺癌病理图像分类方法的流程示意图；

图2为本发明中注意力解析机制的示意图；

图3为本发明中注意力建模阶段的示意图；

图4为本发明中自注意力特征融合网络模型的示意图

图5为本发明中模型训练与评估方法的示意图；

图6为本发明中构建的胰腺细胞癌变分类诊断系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于自注意力特征融合的胰腺癌病理图像分类方法，基于自注意力特征融合的胰腺癌病理图像分类方法，应用自注意力技术与注意力解析机制将卷积神经网络特征进行全局建模，以实现高精度的胰腺癌快速现场评估。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的基于自注意力特征融合的胰腺癌病理图像分类方法，包括如下步骤：

S1，获取显微镜采集到的胰腺细胞区域的病理图像数据集，将病理图像数据集按照设定比例划分为训练集、验证集与测试集；具体包括：

将病理图像数据集中的不同分辨率的图片(包含像素为2400*1800与1390*1038的图片)统一转换为1390*1038像素的图片，之后根据深度学习训练与验证的需要，为了客观的评估模型的分类精度，将数据集按照7：1：2的比例进行划分，将70％数据作为训练集，用于模型的参数迭代，将10％的数据作为验证集，用于确认表现最好的模型参数体系，将20％数据作为测试集，用于评估模型实际性能。

S2，构建卷积神经网络模型，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入(Embedding)，使之能够与自注意力模块进行连接；具体包括：

构建卷积神经网络ResNet模型，移除网络最后的全连接层，采用特征嵌入的操作，通过映射与重新排列矩阵元素操作，将最后阶段输出的尺寸为1024*12*12的特征图映射为145*768的特征序列。

S3，构建注意力解析机制，将步骤S2中卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息，使卷积神经网络模型能够与引导注意力模块进行连接；具体包括：

构建基于注意力模块、并行池化模块、1*1卷积模块的注意力解析结构，将步骤S2中卷积神经网络模型不同阶段输出的尺寸分别为256*96*96、512*48*48、1024*24*24及2048*12*12的特征图，通过位置编码和分类标志映射转换为4个尺寸为145*768的特征序列作为注意力引导信息。

S4，构建基于自注意力特征建模的Transformer模型，Transformer模型包括所述自注意力模块与引导注意力模块，并构建自注意力特征融合网络模型，将步骤S2与S3的输出传递到步骤S4中，连接全连接层以及分类器，用于输出预测结果；具体包括：

S401，构建Transformer模型，总共分为4个注意力建模阶段，第一阶段接收来自卷积神经网络模型提取得到的输入图像的特征，而此后的每个阶段的输入来自于上一个阶段Transformer特征建模的输出；

每个阶段中额外引入了注意力引导信息，在每个阶段中，首先使用自注意力模块(MHSA)对上一个阶段的输出信息做全局自注意力建模，此后通过引导注意力模块(MHGA)用于承接注意力引导信息实现将ResNet的局部注意力偏好编码入全局建模过程中，自注意力模块与引导注意力模块后均连接前馈神经网络FFN用于稳定训练过程，自注意力模块与引导注意力模块以及前馈神经网络FFN均使用残差连接与正则化(group norm)来保证模型的鲁棒性与泛化性；

S402，构建自注意力特征融合网络模型，将步骤S2中卷积神经网络模型的输出作为Transformer模型的初始输入，将步骤S3获得的4个注意力引导信息作为Transformer模型的4个注意力建模阶段的注意力引导输入，将Transformer模型最后输出的特征图中的首个元素，即分类特征位(Cls_Token)与全连接层、分类器相连接，并输出最终分类结果。

S5，使用步骤S1中训练集的病理图像，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，将该模型在测试集的病理图像上进行测试并输出结果，由此构建胰腺细胞癌变分类诊断系统；具体包括：

对自注意力特征融合网络模型训练50个轮次(epoch)，在训练过程中，对步骤S1获得的训练集中的病理图像进行在线随机数据扩增，每次训练完成后使用验证集中的病理图像对模型输出进行衡量，取50个轮次中验证集准确度表现最高的模型参数作为输出模型的参数；

使用测试集对输出模型进行测试，测试该模型的分类准确率，由此完成对胰腺细胞癌变分类诊断系统的构建。

S6，在胰腺穿刺活检术中采集得到未标记类别的胰腺细胞病理图像，传递至步骤S5建立的胰腺细胞癌变分类诊断系统中，判断该胰腺病理图像为胰腺癌细胞或正常细胞图像。

本发明具体实施例中，步骤S2中构建的卷积神经网络模型基于ResNet网络，以实现图像局部特征的特征提取。该网络主要通过残差连接的方法，使得网络深度加深的同时不会带来训练过程中的梯度爆炸与梯度消失问题，有利于模型增加复杂度的同时依然能够正常收敛。本发明实施例使用ResNet50结构，具有1个STEM降采样阶段与4个深度卷积阶段，其使用级联的方式连接，4个阶段的输出为

每个阶段l∈[1,2,3,4]，特征图边长为E，特征图维度为C_l。相较于其原始结构，本发明实施例中抛弃原始网络的最后部分的全连接层，并将其最后输出的特征图进行特征嵌入以获得Transformer全局建模的初始特征序列。通过这种设计，模型可以灵活的提取到卷积神经网络在不同阶段的特征图，从而将不同抽象维度与不同精细程度的局部信息取出。这些信息将有利于后续Transformer模型全局建模中对局部特性进行更综合的分析。

本发明实施例中，使用的特征嵌入方式可表示为

目的在于对卷积神经网络ResNet最后阶段输出的特征图进行特征嵌入。首先，通过相同的核尺寸与卷积步长p为1，输入映射通道C_l为2048，输出通道维度D为768的卷积层，将最后阶段输出的特征图

转换为边长为p的分块的特征图。此分块获得N＝E²/p²即144个特征图块。此后，通过矩阵重排(Rearrange)的操作将分块的特征数据转换为特征序列

其矩阵尺寸为144*768。紧接着，在其首位之前额外添加一个零向量x_class∈O^1×D作为分类信息位，其中维度D取值为768。分类信息位向量x_class通过网络逐层编码更新其数值，在Transformer全局建模的4个阶段完成后，其最终将与一个用于分类的全连接层相连。最后，通过与一个全局共享的145*768尺寸的位置编码矩阵E_pos∈R^(N+1)×D进行加和，对上述获得的145*768尺寸的全部特征信息进行位置编码。特别指出的是，本实例中，位置编码矩阵与分类信息位的向量均是初始值为0向量的模型参数，其数值会由网络迭代而变化。经过特征嵌入后，获得的最后特征图的特征序列为

其矩阵形状为145*768。

步骤S3，构建注意力解析机制，如图2所示，通过神经网络模型将卷积神经网络的每个阶段的特征图与Transformer每个阶段的全局建模相联系起来。

具体实施例中，首先使用一个注意力模块对特征图进行特征提取，从而更好的捕捉早期注意力空间特征，其输出为

每个ResNet阶段输出的特征图边长E与维度C_l均不相同。此后，通过双路并行的池化操作，调整特征图尺寸使其与最后阶段特征图具有相同尺寸，设池化窗口边长为P。因此，采用最大值池化获得

表示在空间中的局部突出信息的特征图，采用平均值池化提取获得

的特征图表示空间中的局部综合信息。上述操作的具体公式为：

本发明实施例中，选用12*12作为特征池化的区域。通过在不同阶段选择不同的池化窗口边长，将每个阶段的不同边长尺寸E的特征图均与此对齐，以获得统一尺寸的池化后特征图。例如，在第4阶段，特征图边长E为12时取池化窗口P＝1。因此，每个阶段的特征图均在经过并行池化操作后，变为2个尺寸为12*12的矩阵，其通道维度为C_l。之后，使用输入通道数为C_l，输出通道数D为768的1*1卷积层进行维度信息编码，具体公式为：

之后，使用矩阵重排的操作使它们变为2个144*768的注意力引导信息

与

具体公式为：

f_l ^q＝Transpose(Flatten(f_l ^Maxpool))

f_l ^k＝Transpose(Flatten(f_l ^Avgpool))

最后，与步骤S2类似的，使用分类标记与位置编码将注意力引导信息进行特征嵌入，输出获得的注意力引导信息q_l∈R^(N+1)×D与k_l∈R^(N+1)×D，其尺寸均为145*768，具体公式为：

q_l＝Concatenate(x_class,f_l ^q)+E_pos

k_l＝Concatenate(x_class,f_l ^k)+E_pos

步骤S4，如图3所示，构建基于自注意力特征建模的Transformer模型用于全局特征建模，并将先前获得的局部注意力特征使用引导注意力模块编码到模型中。

本发明实施例中，与特征提取的卷积神经网络ResNet相同的总共分为4个前后级联的Transformer注意力建模阶段。

在首个Transformer注意力建模阶段，输入来自步骤S2的特征序列为

其矩阵尺寸为145*768。此后的每个阶段输入来自于上一个阶段的输出。

每个Transformer注意力建模阶段由两部分组成，包括基于多头自注意力实现的全局建模与特征融合。对于每一个阶段，首先是多头自注意力实现的全局建模，其具体公式为：

随后，通过前馈神经网络(FFN)对全局建模信息进行连接，具体公式为：

此后，进行特征融合，采用引导注意力模块(MHGA)用于承接注意力解析机制获得的注意力引导信息q_l∈R^(N+1)×D与k_l∈R^(N+1)×D，实现将ResNet的局部注意力偏好编码入全局建模过程中，具体公式为：

最后，使用前馈神经网络(FFN)进行连接并获得该阶段的输出，具体公式为：

在步骤S4中，如图4所示，4个注意力建模阶段构建完成后，结合上述S2的卷积神经网络模型与S3的注意力解析机制，构建自注意力特征融合模型。

首先，将上述步骤S2与S3的注意力解析机制相连，获得注意力引导信息，随后将步骤S3的4个阶段l∈[1,2,3,4]获得的q_l∈R^(N+1)×D与k_l∈R^(N+1)×D输入S4的特征融合阶段。此外，对于第4个Transformer注意力建模阶段的输出

将

输出与分类器MLP相连，从而获得细胞病理学图像的分类结果。

步骤S5，如图5所示，模型构建完成后，需要对其进行训练与评估。

对模型训练50个轮次(epoch)，在每个轮次的训练过程中，对步骤S1获得的训练集图像进行在线随机数据扩增。在线随机数据扩增包括如下步骤：1)随机旋转0到180度，2)截取图像中心边长为700像素的区域，3)将目标区域边长通过Resize双线性插值的方式转换为边长为384的正方形ROI区域，4)对ROI区域进行随机镜像变换，5)对ROI区域进行随机色彩饱和度，图像抖动变换。验证集与测试集的数据只进行标准化而不进行数据增强，标准化处理的步骤为：1)截取图像中心边长为700像素的区域，2)将目标区域边长通过Resize双线性插值的方式转换为边长为384的正方形ROI区域。

每轮次中，使用变换后的训练集数据对模型进行训练，本实例中使用交叉熵损失将模型输出结果与真实标签进行衡量，而后使用Adam优化器(学习率为0.00001)进行损失梯度的反向传播更新模型权重参数。每轮次训练完成后，使用验证集对模型输出进行衡量，取50个轮次中验证集准确度表现最高的模型的权重参数作为输出模型的参数。使用测试集对输出的模型的性能进行评估。在评估分类系统性能时，除了测试系统的分类准确率外，还需测试系统的灵敏度、特异度、阳性预测率、阴性预测率、AUC，以综合评估系统在临床应用时分类性能。

步骤S6中使用上述胰腺细胞癌变分类诊断系统对实际数据进行分类识别。

在本实例中，所构建的胰腺癌病理图像分类系统如图6所示。针对EUS-FNA穿刺活检时采集到的像素长宽比例为1390：1038的胰腺细胞病理图像，输入本系统。进入系统后，系统使用上述标准化方式对数据进行处理。此后，使用模型进行分析，将该图像分类为正常胰腺细胞或者胰腺癌细胞。

综上，本发明提供的基于自注意力特征融合的胰腺癌病理图像分类方法，首先采用卷积神经网络提取病理学图像的特征并对卷积神经网络最后阶段的特征图进行特征嵌入；其次，将卷积神经网络的不同阶段特征图进行注意力解析获得注意力引导信息；之后，用Transformer解码器进行自注意力特征全局建模并使用引导注意力机制将注意力引导信息编码入其中；最后，使用分类全连接层(MLP)对最终分类特征进行分类并输出结果。针对EUS-FNA穿刺活检得到的胰腺快速染色图像目标区域，应用该方法可以获得高精度的癌症分析诊断结果，进而帮助临床医生实现更高效的胰腺癌快速现场评估。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，包括以下步骤：

S1，获取显微镜采集到的胰腺细胞区域的病理图像数据集，将病理图像数据集按照设定比例划分为训练集、验证集与测试集；

S2，构建卷积神经网络模型，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入，使之能够与自注意力模块进行连接；

S3，构建注意力解析机制，将步骤S2中卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息，使卷积神经网络模型能够与引导注意力模块进行连接；

S4，构建基于自注意力特征建模的Transformer模型，Transformer模型包括所述自注意力模块与引导注意力模块，并构建自注意力特征融合网络模型，将步骤S2与S3的输出传递到步骤S4中，连接全连接层以及分类器，用于输出预测结果；

S5，使用步骤S1中训练集的病理图像，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，将该模型在测试集的病理图像上进行测试并输出结果，由此构建胰腺细胞癌变分类诊断系统；

S6，将未标记类别的胰腺细胞病理图像，传递至步骤S5构建的胰腺细胞癌变分类诊断系统中，判断该胰腺细胞病理图像为胰腺癌细胞或正常细胞图像。

2.根据权利要求1所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，步骤S1中，将病理图像数据集按照设定比例划分为训练集、验证集与测试集，具体包括：

将病理图像数据集中的不同分辨率的图片统一转换为1390*1038像素的图片，将数据集随机排序后，取其中70％作为训练集，10％作为验证集，20％作为测试集。

3.根据权利要求2所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，步骤S2中，构建卷积神经网络模型，采用卷积神经网络模型提取输入图像的特征并对卷积神经网络模型最后阶段输出的特征图进行特征嵌入，使之能够与自注意力模块进行连接，具体包括：

构建卷积神经网络ResNet模型，移除网络最后的全连接层，采用特征嵌入的操作，通过映射与重新排列矩阵元素操作，将最后阶段输出的尺寸为1024*12*12的特征图映射为145*768的特征序列。

4.根据权利要求3所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，所述步骤S3，构建注意力解析机制，将步骤S2中卷积神经网络模型不同阶段输出的特征图进行注意力解析获得注意力引导信息，使卷积神经网络模型能够与引导注意力模块进行连接，具体包括：

构建基于注意力模块、并行池化模块、1*1卷积模块的注意力解析结构，将步骤S2中卷积神经网络模型不同阶段输出的尺寸分别为256*96*96、512*48*48、1024*24*24及2048*12*12的特征图，通过位置编码和分类标志映射转换为4个尺寸为145*768的特征序列作为注意力引导信息。

5.根据权利要求4所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，所述步骤S4，构建基于自注意力特征建模的Transformer模型，Transformer模型包括所述自注意力模块与引导注意力模块，并构建自注意力特征融合网络模型，将步骤S2与S3的输出传递到步骤S4中，连接全连接层以及分类器，用于输出预测结果，具体包括：

S401，构建Transformer模型，总共分为4个注意力建模阶段，第一阶段接收来自卷积神经网络模型提取得到的输入图像的特征，而此后的每个阶段的输入来自于上一个阶段Transformer特征建模的输出；

每个阶段中额外引入了注意力引导信息，在每个阶段中，首先使用自注意力模块对上一个阶段的输出信息做全局自注意力建模，此后通过引导注意力模块用于承接注意力引导信息实现将ResNet的局部注意力偏好编码入全局建模过程中，自注意力模块与引导注意力模块后均连接前馈神经网络FFN用于稳定训练过程，自注意力模块与引导注意力模块以及前馈神经网络FFN均使用残差连接与正则化来保证模型的鲁棒性与泛化性；

S402，构建自注意力特征融合网络模型，将步骤S2中卷积神经网络模型的输出作为Transformer模型的初始输入，将步骤S3获得的4个注意力引导信息作为Transformer模型的4个注意力建模阶段的注意力引导输入，将Transformer模型最后输出的特征图中的首个元素，即分类特征位与全连接层、分类器相连接，并输出最终分类结果。

6.根据权利要求5所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，步骤S5中，使用步骤S1中训练集的病理图像，对自注意力特征融合网络模型训练多个轮次，使用验证集的病理图像衡量确定结果最佳的轮次对应的模型，将该模型在测试集的病理图像上进行测试并输出结果，由此构建胰腺细胞癌变分类诊断系统，具体包括：

对自注意力特征融合网络模型训练50个轮次，在训练过程中，对步骤S1获得的训练集中的病理图像进行在线随机数据扩增，每次训练完成后使用验证集中的病理图像对模型输出进行衡量，取50个轮次中验证集准确度表现最高的模型参数作为输出模型的参数；

使用测试集对输出模型进行测试，测试该模型的分类准确率，由此完成对胰腺细胞癌变分类诊断系统的构建。

7.根据权利要求6所述的基于自注意力特征融合的胰腺癌病理图像分类方法，其特征在于，步骤S5中，在线随机数据扩增包括如下步骤：

1)随机旋转0到180度；

2)截取图像中心边长为700像素的目标区域；

3)将目标区域边长通过Resize双线性插值的方式转换为边长为384的正方形ROI区域；

4)对ROI区域进行随机镜像变换；

5)对ROI区域进行随机色彩饱和度，图像抖动变换。

Images