CN111353539A - 一种基于双路注意力卷积神经网络的宫颈oct图像分类方法及系统 - Google Patents

Abstract

本发明公开了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，以卷积神经网络架构为基础，添加并实现了两种注意力机制，从而能更好地捕获图像像素上距离较远的特征之间的关联关系以及学习不同高维特征的权重，实现宫颈3D OCT影像的准确分类。包括：1)将两种注意力机制引入卷积神经网络；2)引入通道注意力机制，优先使用全局平均池化提取2D OCT图像的通道特征，然后使用多层感知机学习通道的权重；3)引入空间注意力机制，借鉴自注意力机制，通过计算特征图中每个特征与其它特征的相似性，实现不相邻的图像区域的相似性计算；4)使用全局平均池化对特征进行下采样，然后增加2个全连接层，最后使用softmax函数进行分类。

Description

一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法 及系统

技术领域

本发明提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，属于医学影像分析和计算机辅助诊断领域。

背景技术

宫颈癌是全世界女性最常见的恶性肿瘤之一。2018年全球新发宫颈癌病例约56.9万例，死亡病例约31.1万例。近二十年来，随着宫颈液基薄层细胞检测 (thinprepcytologic test，TCT)和人乳头瘤病毒(human papillomavirus，HPV) 测试的普遍应用，宫颈癌在前期可以被有效地预防，因此在发达国家中其发病率和死亡率明显降低。但在贫穷国家和发展中国家中，由于提供宫颈癌筛查服务的机会有限，同时缺少HPV疫苗接种，宫颈癌依旧有着较高的发病率和死亡率。例如，2018年中国新发宫颈癌病例约11万例，死亡病例约5.3万例，而且近年来我国宫颈癌的发病有逐渐年轻化的趋势。

如今在临床被广泛使用的宫颈癌筛查与诊断技术，也有各自的缺点与不足。例如，作为一种宫颈癌细胞学检查技术，TCT检测能有效提高宫颈异常细胞的检出率，但无法确定检测到的异常细胞的产生原因；虽然HPV测试能确定导致宫颈癌的高危HPV类型，但是无法定位由此产生的宫颈病灶；阴道镜下“活检” (取活体组织后进行病理检查)是目前诊断宫颈癌的“金标准”，但由于阴道镜操作不规范、“活检”位点数有限(一般为2-4个位点)等诸多原因，在临床上仍存在漏诊的可能性。因此，迫切需要一种无创、高效和智能的宫颈癌筛查和诊断技术。

光学相干断层扫描(optical coherence tomography，OCT)是一种新兴的生物医学成像技术，利用近红外光来获得生物组织的高分辨率的横截面图像，并可实时地显示2毫米深的组织样本的细胞特征。目前，OCT作为一种无创的“光学活组织检查”方法，已在眼底疾病的检查上显示出巨大的潜力。而且，已有研究证明了使用OCT鉴别宫颈组织形态特征的可行性，包括鳞状上皮、基底膜、囊肿、宫颈基质、腺体、低度鳞状上皮内病变(low-gradesquamous intraepithelial lesions，LSIL)、高度鳞状上皮内病变(high-grade squamousintraepithelial lesions， HSIL)和宫颈癌(主要是鳞状上皮细胞癌)，这使得OCT作为阴道镜下“活检”的重要辅助工具来筛查和诊断宫颈癌成为了可能。

然而，考虑到OCT技术在临床上的应用有限，宫颈组织的OCT图像对妇科医生和病理师来说还很陌生。想要熟悉和准确识别OCT图像中的诊断特征，医生需要接受严格的影像知识培训，学习曲线陡峭。庆幸的是，近五年来深度学习技术在医学图像分析方面取得了显著进展。最近的一些研究表明，深层卷积神经网络(convolutional neural network，CNN)在癌症(或罕见疾病)图像(如电子计算机断层扫描、核磁共振、超声等)检测等任务中获得了不低于人类专家水平的结果。在眼科、呼吸科、骨科等领域，基于上述技术的计算机辅助诊断方法有助于减少医生繁重的重复性工作，降低人为错误，从而提高工作效率。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

到目前为止，大多数针对宫颈OCT图像的计算机辅助诊断方法，还是基于 OCT图像文理特征和传统的机器学习分类算法(如支持向量机、决策树等)，难以获得令人满意的结果。也有研究人员尝试使用CNN构建分类模型来执行OCT 图像分类任务，但存在如下的主要问题：现有的基础模型主要还是卷积层和池化层的堆叠，由于CNN的视野的局部性，仅能提取局部的特征，导致分类效果难以满足临床医生的要求。

由此可知，现有的方法存在分类效果不佳的技术问题。

发明内容

本发明针对现有技术中分类效果不佳的问题，提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法。

为了解决上述技术问题，本发明第一方面提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，包括：

S1：将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有 2D OCT图像只存在于训练集或测试集中；

S2：构建基于双路注意力卷积神经网络的OCT图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个 Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

S3：设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

S4：利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

在一种实施方式中，S2具体包括：

S2.1：利用卷积神经网络作为分类模型的骨干网络；

S2.2：在骨干网络后加入通道注意力模块，用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图；

S2.3：在骨干网络后加入空间注意力模块，用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

S2.4：将骨干网络输出的原始特征图、S2.2中输出的更新通道注意力后的特征图以及S2.3中输出的更新空间注意力后的特征图进行级联；

S2.5：在上述网络结构后增加两个全连接层；

S2.6：设置一个Softmax层，用于输出预测结果。

在一种实施方式中，通道注意力模块包括全局平均池化层、两个全连接层、激活层，S2.2具体包括：

S2.2.1：利用全局平均池化层对骨干网络提取的原始特征图进行全局平均池化，然后进行扁平化处理，得到512维的特征向量；

S2.2.2：通过两个全连接层将扁平化处理得到的特征先压缩后激发，其中，第一层含有128个神经元，用于对特征进行压缩，第二层含有512个神经元，用于对特征进行激发；

S2.2.3：通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为原始特征图通道的权重；

S2.2.4：将得到的通道权重与原始特征图相乘，获得更新通道注意力后的特征图。

在一种实施方式中，空间注意力模块包括卷积层、最大池化层、全局平均池化层，S2.3具体包括：

S2.3.1：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后重构为矩阵K；

S2.3.2：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后通过重构和最大池化转化为矩阵Q；

S2.3.3：重复S2.3.2，得到矩阵V；

S2.3.4：根据公式softmax(KQ^T)V计算空间注意力矩阵A，矩阵A用以表征不同区域图像特征之间的关联关系；

S2.3.5：对得到的空间注意力矩阵A进行重构，再实施1×1卷积操作进行变换，获得更新空间注意力后的特征图。

在一种实施方式中，S3具体包括：

S3.1：将训练集中2D OCT图像，调整为与骨干网络适应的像素大小；

S3.2：将调整大小后的图像做归一化处理；

S3.3：利用归一化处理后的图像训练OCT图像分类模型，其中，初始化采用加载经ImageNet预训练的DenseNet参数，优化损失函数，并更新分类模型的参数；

S3.4：得到训练好的OCT图像分类模型，保存相关参数值。

在一种实施方式中，S4具体包括：

S4.1：将测试集中2D OCT图像，调整为与骨干网络适应的像素大小；

S4.2：将调整大小后的图像做归一化处理；

S4.3：加载训练好的OCT图像分类模型的参数进行预测；

S4.4：采用投票机制确定3D OCT影像的类别，统计同一组3D OCT影像中 2D OCT图像的预测结果，当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

在一种实施方式中，S2中骨干网络为AlexNet、VGGNet、GoogLeNet、ResNet 或DenseNet。

在一种实施方式中，S2中骨干增加的两个全连接层的维度均为512，且使用概率为0.5的随机失活层。

在一种实施方式中，S3中损失函数为交叉熵损失函数。

基于同样的发明构思，本发明第二方面提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类系统，包括：

数据集划分模块，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组 3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中；

分类模型构建模块，用于构建基于双路注意力机制卷积神经网络的OCT图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

训练模块，用于设置损失函数，调整训练集中2D OCT图像的大小后输入 OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

测试模块，用于利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，首先将获取的宫颈组织3D OCT影像划分为训练集和测试集，并且同一组3D OCT影像中的所有2DOCT图像只存在于训练集或测试集中；然后，构建基于双路注意力机制卷积神经网络的OCT图像分类模型；接着设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型，最后利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

由于本发明提供的分类方法，将注意力机制引入卷积神经网络，用于更好地提取宫颈OCT图像特征，主要包括两种注意力机制：通道注意力和空间注意力。通过通道注意力模块计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图；空间注意力模块计算特征图中每个特征与其它特征的相似性，从而实现不相邻的图像区域的相似性计算，使得分类模型能更多地关注图像不同区域特征之间的关联关系。基于上述两种注意力机制提升模型整体的分类效果，解决了现有的方法存在分类效果不佳的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法的实现流程示意图；

图2为本发明实施例中基于双路注意力卷积神经网络的宫颈OCT图像分类模型框架示意图；

图3为本发明实施例中通道注意力模块结构示意图；

图4为本发明实施例中空间注意力模块结构示意图；

图5为本发明实施例中基于双路注意力卷积神经网络的宫颈OCT图像分类模型的训练流程图；

图6为本发明实施例中基于双路注意力卷积神经网络的宫颈OCT图像分类模型的测试流程图；

图7为本发明实施例中基于双路注意力卷积神经网络的宫颈OCT图像分类系统的结构框图。

具体实施方式

本申请发明人通过大量的研究与实践发现：现有的基础模型主要还是卷积层和池化层的堆叠，由于CNN的视野的局部性，无法将提取的局部特征与距离较远的一些重要特征结合起来，导致分类效果难以满足临床医生的要求。

因此，针对上述问题，本发明引入两种注意力机制来对基础模型进行优化，其中通道注意力(channel attention)主要是为不同维度的图像特征赋予不同的权重，空间注意力(position attention)主要是增加不同区域的图像特征之间的关联。

本发明的总体发明构思如下：

1)将注意力机制引入卷积神经网络，用于更好地提取宫颈OCT图像特征； 2)引入通道注意力机制，优先使用全局平均池化提取OCT图像的通道特征，然后使用多层感知机学习通道的权重；3)引入空间注意力机制，借鉴自注意力机制，通过计算特征图中每个特征与其它特征的相似性，来实现不相邻的图像区域的相似性计算；4)使用全局平均池化对特征进行下采样，然后增加2个维度为 512的全连接层，每一层加入随机失活并在层后使用批归一化，最后使用softmax 函数进行分类；5)使用交叉熵作为损失函数；6)使用“投票机制”和阈值确定 3D OCT影像的类别标签。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，请参见图1，该方法包括：

S1：将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有 2D OCT图像只存在于训练集或测试集中；

具体来说，同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中，是指同一个对象的3D OCT影像要么仅作为训练集，要么仅作为测试集。在具体的实施过程中，使用的2D OCT图像是标签图像文件格式(tag image file format，TIFF)格式，符合医学数字成像和通信(digital imaging and communications in medicine，DICOM)规范。S1中划分训练集和测试集的方法为k折交叉验证。

在具体的实施过程中，本发明实施例用的数据集包含了从某医院收集的宫颈组织的5类3D OCT影像1,688个(TIFF格式，符合DICOM标准)，包括炎症 (841个)、无上皮病变(341个)、囊肿(71个)、HSIL(68个)和癌症(367 个)，其中每个3D OCT影像包含了10张2DOCT图像，相关统计信息如表1所示。炎症、无上皮病变和囊肿属于低风险疾病，HSIL和癌症属于高风险疾病。每个3D OCT影像均有病理确认的结果作为类别标签。

表1实施例用的OCT图像数据集信息

为验证本发明方法的有效性，按照如下方法对数据集进行划分：为了与基于 CNN的分类模型进行比较，以3D OCT影像为基本单位，将数据集划分为10份，依次选择其中9份作为训练集，余下的1份作为测试集，进行十折交叉验证 (ten-fold cross-validation)。为了使测试效果更具说服性，在数据划分过程中确保训练集和测试集包含的样本是完全独立的，即属于同一个病人的3D OCT影像中所有的2D OCT图像不能同时存在于训练集和测试集中。

S2：构建基于双路注意力机制卷积神经网络的OCT图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图。

具体来说，S2是搭建分类模型的框架，主要包括骨干网络、通道注意力模块和空间注意力模块。

如图2所示，为S2中构建OCT图像分类模型的框架结构图。总的来说，本发明将经典的CNN模型与注意力机制相结合，然后增加两个维度为512的全连接层，再将分类模型的输出维度设置为5，用于宫颈组织OCT图像的5分类 (five-class classification)任务。相应地，可以将该分类任务转化为2分类(binary classification)任务，即低风险(包括炎症、无上皮病变和囊肿)和高风险(包括HSIL和癌症)。

S3：设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型。

具体来说，S3是利用训练集、损失函数对搭建的模型进行训练。

进一步的，S3中进行训练时，采用加载经ImageNet预训练的CNN模型中的参数，但不固定(freeze)分类模型的参数，在此基础上进行微调(fine-tune)，例如采用梯度下降来微调骨干网的所有参数。

S4：利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

具体来说，S4是利用测试集对训练好的模型进行预测测试，得到预测结果。作为一种实施方式，S4中的分类使用softmax函数。

本发明提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，以卷积神经网络架构为基础，添加并实现了两种注意力机制，从而能更好地捕获图像像素上距离较远的特征之间的关联关系以及学习不同高维特征的权重，实现宫颈3D OCT影像的准确分类。

在一种实施方式中，S2中骨干网络为AlexNet、VGGNet、GoogLeNet、ResNet 或DenseNet。

在一种实施方式中，S2中骨干增加的两个全连接层的维度均为512，且使用概率为0.5的随机失活层。

在一种实施方式中，S3中损失函数为交叉熵损失函数，S3中实现分类模型的编程语言为Python，使用的软件工具为TensorFlow。

进一步的，S3和S4中2D OCT图像的大小调整为224像素×224像素，然后将图像的像素做归一化(normalization)处理后作为分类模型的输入。

在一种实施方式中，S2具体包括：

S2.1：利用卷积神经网络作为分类模型的骨干网络；

S2.2：在骨干网络后加入通道注意力模块，用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图；

S2.3：在骨干网络后加入空间注意力模块，用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

S2.4：将骨干网络输出的原始特征图、S2.2中输出的更新通道注意力后的特征图以及S2.3中输出的更新空间注意力后的特征图进行级联；

S2.5：在上述网络结构后增加两个全连接层；

S2.6：设置一个Softmax层，用于输出预测结果。

具体来说，S2.1，自DenseNet被提出以来，其在图像分类方面的优异性能为业界所认可，因此本发明实施例用DenseNet作为分类模型的骨干网络来提取 OCT图像特征，并结合双路注意力机制来提高分类模型的分类效果。

S2.2，删除DenseNet中的分类层作为骨干网络，在其后加入通道注意力机制和空间注意力机制以捕获更丰富的OCT图像特征。通道注意力模块的具体设计见附图3。在通道注意力模块中，通道注意力机制主要是优先使用全局平均池化来提取每个通道的特征，然后使用多层感知机(multilayer perceptron，MLP) 学习每个通道的权重。

S2.3，在骨干网络后加空间注意力模块，其具体设计见附图4。在空间注意力模块中，空间注意力机制借鉴自注意力机制，通过计算特征图中每个特征与其它特征的相似性，来实现不相邻的图像区域的相似性计算。

S2.4，将骨干网络的输出与S2.2和S2.3的输出进行级联，形成7×7×1536 的特征图，并使用全局平均池化进行图像特征的下采样。

S2.5，在上述网络结构(骨干网络+通道注意力模块+空间注意力模块)后增加两个维度为512的全连接层，全连接层加入概率为0.5的随机失活，每一层后使用批归一化(batch normalization)。

在一种实施方式中，通道注意力模块包括全局平均池化层、两个全连接层、激活层，S2.2具体包括：

S2.2.1：利用全局平均池化层对骨干网络提取的原始特征图进行全局平均池化，然后进行扁平化处理，得到512维的特征向量；

S2.2.2：通过两个全连接层将扁平化处理得到的特征先压缩后激发，其中，第一层含有128个神经元，用于对特征进行压缩，第二层含有512个神经元，用于对特征进行激发；

S2.2.3：通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为原始特征图通道的权重；

S2.2.4：将得到的通道权重与原始特征图相乘，获得更新通道注意力后的特征图。

在具体的实施过程中，原始宫颈2D OCT图像的大小为224×224×3，分别为长、宽和通道数，提取出的原始特征图大小为7×7×512。

在一种实施方式中，空间注意力模块包括卷积层、最大池化层、全局平均池化层，S2.3具体包括：

S2.3.1：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后重构为矩阵K；

S2.3.2：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后通过重构和最大池化转化为矩阵Q；

S2.3.3：重复S2.3.2，得到矩阵V；

S2.3.4：根据公式softmax(KQ^T)V计算空间注意力矩阵A，矩阵A用以表征不同区域图像特征之间的关联关系；

S2.3.5：对得到的空间注意力矩阵A进行重构，再实施1×1卷积操作进行变换，获得更新空间注意力后的特征图。

在具体的实施过程中，原始特征图大小为7×7×512，重构得到的矩阵K为 49×256的矩阵。S2.3.2中卷积提取特征后，重构为49×256的矩阵，再经过最大池化转化为24×256的矩阵Q；重复S2.3.2，则可以得到24×256的矩阵V。最终可以获得更新空间注意力后的特征图(7×7×512)。

在一种实施方式中，S3具体包括：

S3.1：将训练集中2D OCT图像，调整为与骨干网络适应的像素大小；

S3.2：将调整大小后的图像做归一化处理；

S3.3：利用归一化处理后的图像训练OCT图像分类模型，其中，初始化采用加载经ImageNet预训练的DenseNet参数，优化损失函数，并更新分类模型的参数；

S3.4：得到训练好的OCT图像分类模型，保存相关参数值。

具体地，如图5所示，为训练过程的流程图，由于采集的宫颈OCT图像的大小并不是CNN的标准输入尺寸，调整(resize)训练集中2D OCT图像的大小，输入分类模型进行训练。具体实现过程为：首先，将原始的宫颈OCT图像，调整为DenseNet接受的224像素×224像素大小；其次，将图像的像素值减去均值除以255，做归一化处理；然后，用这些图像训练分类模型(初始化采用加载经ImageNet预训练的DenseNet参数)，优化目标函数，并更新分类模型的参数；最后，训练结束后保存相关参数值。

在一种实施方式中，S4具体包括：

S4.1：将测试集中2D OCT图像，调整为与骨干网络适应的像素大小；

S4.2：将调整大小后的图像做归一化处理；

S4.3：加载训练好的OCT图像分类模型的参数进行预测；

S4.4：采用投票机制确定3D OCT影像的类别，统计同一组3D OCT影像中 2D OCT图像的预测结果，当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

具体地，如图6所示，为测试过程的实现流程图：将测试集中2D OCT图像的大小进行调整，输入分类模型，获得2D图像的预测结果。具体实现过程为：首先，将原始的待测宫颈OCT图像，调整为224像素×224像素大小；然后，将图像的像素值减去均值除以255，做归一化处理；最后，输入基于S3中所保存的相关参数构建的分类模型，使用softmax函数获得相应的预测结果(分类标签)。

统计同一组3D OCT影像中2D OCT图像的预测结果，利用“投票机制”(少数服从多数原则)确定3D OCT影响的类别标签。特别地，为了减少癌症和HSIL 漏诊的可能性，如果高风险(包括HSIL和癌症)计数超过总数的20％，也就是如果一个3D OCT影像中有超过2张2DOCT图像被判别为高风险，那么判断该 3D OCT影像的标签为高风险。最后，将5分类的预测结果直接映射为2分类的预测结果，而不需要重新训练一个2分类的分类模型进行预测。

本发明的有益效果是：一方面，加载预训练过的CNN模型进行微调，可以利用一些常用的特征提取器，减少分类模型的训练成本；在此基础上进行微调，也能更有针对性地提取宫颈OCT图像中的独有特征。另一方面，引入两种不同的注意力机制，使得分类模型能更多地关注图像不同区域特征之间的关联关系，以此提升模型整体的分类效果。

本发明方法实现的伪代码如下所示：

为证明本发明的有效性，使用表1所示的数据集，本发明实施例与目前三种常用的CNN(VGG-19、ResNet-121和DenseNet-121)进行了“十折交叉验证”比较，分类结果如表2所示。从表2可以看出，本发明方法在准确率、特异性、灵敏度指标上的效果更好，且更稳定(标准差更小)。其中，准确率、特异性和灵敏度的计算公式如下：

准确率＝(真阳性+真阴性)/(真阳性+假阳性+真阴性+假阴性)

灵敏度＝真阳性/(真阳性+假阴性)

特异性＝真阴性/(真阴性+假阳性)

表2本发明方法与基准方法的分类性能对比(均值±标准差)

实施例二

基于同样的发明构思，本实施例提供了一种基于双路注意力卷积神经网络的宫颈OCT图像分类系统，请参见图7，该系统包括：

数据集划分模块201，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT 影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组 3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中；

分类模型构建模块202，用于构建基于双路注意力机制卷积神经网络的OCT 图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

训练模块203，用于设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

测试模块204，用于利用训练好的OCT图像分类模型对测试集中的2D OCT 图像进行分类预测，得到分类结果。

由于本发明实施例二所介绍的系统，为实施本发明实施例一中基于双路注意力卷积神经网络的宫颈OCT图像分类方法所采用的系统，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的系统都属于本发明所欲保护的范围。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于双路注意力卷积神经网络的宫颈OCT图像分类方法，其特征在于，包括：

S1：将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中；

S2：构建基于双路注意力卷积神经网络的OCT图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

S3：设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

S4：利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

2.如权利要求1所述的方法，其特征在于，S2具体包括：

S2.1：利用卷积神经网络作为分类模型的骨干网络；

S2.2：在骨干网络后加入通道注意力模块，用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图；

S2.3：在骨干网络后加入空间注意力模块，用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

S2.4：将骨干网络输出的原始特征图、S2.2中输出的更新通道注意力后的特征图以及S2.3中输出的更新空间注意力后的特征图进行级联；

S2.5：在上述网络结构后增加两个全连接层；

S2.6：设置一个Softmax层，用于输出预测结果。

3.如权利要求2所述的方法，其特征在于，通道注意力模块包括全局平均池化层、两个全连接层、激活层，S2.2具体包括：

S2.2.1：利用全局平均池化层对骨干网络提取的原始特征图进行全局平均池化，然后进行扁平化处理，得到512维的特征向量；

S2.2.2：通过两个全连接层将扁平化处理得到的特征先压缩后激发，其中，第一层含有128个神经元，用于对特征进行压缩，第二层含有512个神经元，用于对特征进行激发；

S2.2.3：通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为原始特征图通道的权重；

S2.2.4：将得到的通道权重与原始特征图相乘，获得更新通道注意力后的特征图。

4.如权利要求2所述的方法，其特征在于，空间注意力模块包括卷积层、最大池化层、全局平均池化层，S2.3具体包括：

S2.3.1：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后重构为矩阵K；

S2.3.2：利用卷积层对骨干网络提取的原始特征图实施1×1卷积操作，进行提取特征，然后通过重构和最大池化转化为矩阵Q；

S2.3.3：重复S2.3.2，得到矩阵V；

S2.3.4：根据公式softmax(KQ^T)V计算空间注意力矩阵A，矩阵A用以表征不同区域图像特征之间的关联关系；

S2.3.5：对得到的空间注意力矩阵A进行重构，再实施1×1卷积操作进行变换，获得更新空间注意力后的特征图。

5.如权利要求1所述的方法，其特征在于，S3具体包括：

S3.1：将训练集中2D OCT图像，调整为与骨干网络适应的像素大小；

S3.2：将调整大小后的图像做归一化处理；

S3.3：利用归一化处理后的图像训练OCT图像分类模型，其中，初始化采用加载经ImageNet预训练的DenseNet参数，优化损失函数，并更新分类模型的参数；

S3.4：得到训练好的OCT图像分类模型，保存相关参数值。

6.如权利要求1所述的方法，其特征在于，S4具体包括：

S4.1：将测试集中2D OCT图像，调整为与骨干网络适应的像素大小；

S4.2：将调整大小后的图像做归一化处理；

S4.3：加载训练好的OCT图像分类模型的参数进行预测；

S4.4：采用投票机制确定3D OCT影像的类别，统计同一组3D OCT影像中2D OCT图像的预测结果，当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

7.如权利要求1所述的方法，其特征在于，S2中骨干网络为AlexNet、VGGNet、GoogLeNet、ResNet或DenseNet。

8.如权利要求1所述的方法，其特征在于，S2中骨干增加的两个全连接层的维度均为512，且使用概率为0.5的随机失活层。

9.如权利要求1所述的方法，其特征在于，S3中损失函数为交叉熵损失函数。

10.一种基于双路注意力卷积神经网络的宫颈OCT图像分类系统，其特征在于，包括：

数据集划分模块，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集，其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3DOCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中；

分类模型构建模块，用于构建基于双路注意力机制卷积神经网络的OCT图像分类模型，OCT图像分类模型包括骨干网络、通道注意力模块、空间注意力模块、两个全连接层和一个Softmax层，其中，骨干网络用于从OCT图像中提取原始特征图，通道注意力模块用于计算特征图通道的权重，并基于计算的特征图通道的权重和原始特征图获得更新通道注意力后的特征图，空间注意力模块用于计算特征图中每个特征与其它特征的相似性，获得更新空间注意力后的特征图；

训练模块，用于设置损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

测试模块，用于利用训练好的OCT图像分类模型对测试集中的2D OCT图像进行分类预测，得到分类结果。

Images