CN112418329B - 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统 - Google Patents

Abstract

本发明提供一种基于多尺度纹理特征融合宫颈OCT图像深度监督分类方法及系统，将获取的宫颈组织3D OCT影像划分为训练集和测试集；采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层和SoftMax层分类输出；采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；测试OCT图像分类模型，统计预测结果。本发明引入多尺度特征编码机制和多尺度特征融合机制来对卷积神经网络的基础模型进行优化，能更好地提取宫颈OCT图像的特征，提升宫颈OCT图像分类效果。

Description

一种基于多尺度纹理特征融合宫颈OCT图像分类方法及系统

技术领域

本发明属于医学影像分析领域，具体涉及一种基于多尺度纹理特征融合宫颈OCT图像分类方法及系统。

背景技术

深层的卷积神经网络(convolutional neural network，CNN)在癌症或罕见疾病的图像(如电子计算机断层扫描、核磁共振、超声等)检测、分割等任务中，获得了不低于人类专家水平的结果。在眼科、呼吸科、骨科等医学领域，基于上述技术的计算机辅助诊断方法有助于减少医生繁重的重复性工作，降低人为错误，从而提高工作效率。但是，这种基于深度学习的医学影像分类方法往往被认为是一种“黑箱”操作，难以为医生提供相应的诊断依据(或医学证据)，如病理的组织形态特征或影像学的纹理特征等，因而限制了其在临床中的应用。

具体而言，有研究人员尝试使用CNN构建宫颈组织OCT图像分类模型，用于执行宫颈病变筛查和诊断的任务，并在验证集上取得了不错的分类效果。但是，上述方法还存在如下的问题：现有的分类模型主要是利用深层卷积层的输出(特征图)做分类，其中深层卷积的“感受野”(receptive field)较大，主要包含高度抽象的语义信息，使得空间几何特征细节缺乏，导致分类效果和可解释性难以满足临床医生的要求。

发明内容

本发明要解决的技术问题是：提供一种基于多尺度纹理特征融合宫颈OCT图像分类方法及系统，提高宫颈OCT图像分类效果。

本发明为解决上述技术问题所采取的技术方案为：一种基于多尺度纹理特征融合宫颈OCT图像分类方法，本方法包括以下步骤：

S1、数据集划分：

将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中；

S2、构建OCT图像分类模型：

采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层分类和SoftMax层输出；其中，卷积神经网络从训练集的2DOCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

S3、训练OCT图像分类模型：

采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

S4、测试OCT图像分类模型：

利用训练好的OCT图像分类模型，对测试集中的2D OCT图像进行分类预测，得到分类结果；

S5、统计预测结果：

统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别。

按上述方法，所述的S2具体为：

S2.1、利用卷积神经网络作为分类模型的骨干网络，提取若干度卷积层的特征图；

S2.2、在骨干网络后加入多尺度特征编码模块，使用可学习残差编码层对提取的特征图进行编码，获得每个尺度的纹理特征；

S2.3、在多尺度特征编码模块后加入特征融合模块，用于计算每个尺度的纹理特征的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

S2.4、在上述特征融合模块后增加两个全连接层用来分类；

S2.5、最后设置一个SoftMax层，用于输出预测结果。

按上述方法，所述的多尺度特征编码模块有4个分支，分别对应4个尺度，每个分支均包括卷积层和可学习残差编码层，所述的S2.2具体包括：

S2.2.1、利用1×1卷积操作对各尺度的原始特征图进行信息融合和降维，得到通道数为128的各尺度特征图；

S2.2.2、通过可学习残差编码层将各尺度特征图进行编码，提取各尺度特征的原始纹理基元编码特征，每个尺度生成由32个128维纹理基元编码的32×128维特征图，构成该尺度的纹理特征。

按上述方法，所述的特征融合模块包括级联、全局平均池化层、两个全连接层和激活层，S2.3具体包括：

S2.3.1、将4个尺度的纹理特征级联，获得初步融合的由128个128维纹理基元编码的128×128维特征图；

S2.3.2、利用全局平均池化层对初步融合的纹理特征进行全局平均池化，然后进行扁平化处理，得到128维的特征向量；

S2.3.3、通过两个全连接层将扁平化处理得到的特征向量先压缩后激发，其中，第一层含有8个神经元，用于对特征进行压缩，第二层含有128个神经元，用于对特征进行激发；

S2.3.4、通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为纹理基元的权重；

S2.3.5、将得到的纹理基元的权重与原始纹理基元编码特征相乘，获得相应的更新纹理基元注意力后的纹理特征。

按上述方法，所述的S3具体包括：

S3.1、将训练集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S3.2、将调整后的2D OCT图像做归一化处理；

S3.3、利用归一化处理后的2D OCT图像训练所述OCT图像分类模型；其中，初始化采用加载经ImageNet预训练的CNN模型参数，采用深度监督机制设置损失函数，对多尺度特征编码模块中的每个分支添加分支分类器及相应的损失函数，最终的损失函数为每个分支的损失函数和主损失函数求和，并更新所述OCT图像分类模型的参数；

S3.4：当训练集和测试集的损失函数收敛时，得到训练好的OCT图像分类模型，保存相关参数值。

按上述方法，所述的S4具体为：

S4.1、将测试集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S4.2、将调整大小后的图像做归一化处理；

S4.3、加载训练好的OCT图像分类模型的参数进行预测。

按上述方法，所述的S5具体为：

S5.1、统计同一组3D OCT影像中2D OCT图像的预测结果；

S5.2、采用投票机制确定3D OCT影像的最终类别。

按上述方法，所述的S5.2具体为：当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

按上述方法，所述的S3中的损失函数为交叉熵损失函数。

一种基于多尺度纹理特征融合宫颈OCT图像分类系统，本系统包括：

数据集划分模块，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中；

OCT图像分类模型构建模块，用于采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层分类和SoftMax层输出；其中，卷积神经网络从训练集的2D OCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

OCT图像分类模型训练模块，用于采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

OCT图像分类模型测试模块，用于利用训练好的OCT图像分类模型，对测试集中的2D OCT图像进行分类预测，得到分类结果；

预测结果统计模块，用于统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别。

本发明的有益效果为：本发明引入多尺度特征编码机制和多尺度特征融合机制来对卷积神经网络的基础模型进行优化，能更好地提取宫颈OCT图像的特征，提升宫颈OCT图像分类效果。

附图说明

图1为本发明一实施例的方法流程示意图。

图2为本发明一实施例的深度监督分类模型框架示意图。

图3为本发明实施例中多尺度特征编码模块结构示意图。

图4为本发明实施例中特征融合模块结构示意图。

图5为本发明实施例中图像深度监督分类模型的训练流程图。

图6为本发明实施例中宫颈OCT图像分类模型的测试流程图。

图7为本发明实施例中宫颈OCT图像深度监督分类系统的结构框图。

具体实施方式

下面结合具体实例和附图对本发明做进一步说明。

本申请发明人通过大量的研究与实践发现：现有的基础模型主要还是利用深层卷积层输出做分类，由于深层卷积感受野较大，主要包含高度抽象的语义信息，空间几何特征细节缺乏，导致分类效果和可解释性难以满足临床医生的要求。

因此，针对上述问题，本发明引入多尺度特征编码机制和多尺度特征融合机制来对基础模型进行优化，其中多尺度特征编码主要是将不同阶段卷积特征提取并编码成纹理基元表示，特征融合模块主要是为不同尺度不同的纹理基元赋予不同的权重。

本发明的总体发明构思如下：1)将多尺度特征融合机制引入卷积神经网络，用于更好地提取宫颈OCT图像特征；2)引入多尺度特征编码机制，对各尺度分支使用可学习残差编码层，提取各尺度特征的纹理基元表示；3)引入特征融合机制，融合时通过纹理基元注意力机制，优先使用全局平均池化提取OCT图像的各尺度纹理基元编码的特征，然后使用多层感知机学习每个纹理基元的权重，对各尺度纹理基元表示按照权重进行融合获得融合的特征；4)对特征进行展平，然后增加2个维度为512的全连接层，每一层加入批归一化，最后使用SoftMax函数进行分类；5)采用深度监督机制对各分支添加辅助分类器并设置辅助损失函数和主损失函数，损失函数使用交叉熵；6)使用“投票机制”和阈值确定3D OCT影像的类别标签。

本发明提供一种基于多尺度纹理特征融合宫颈OCT图像分类方法，如图1所示，本方法包括以下步骤：

S1、数据集划分：将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3DOCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中。S1中划分训练集和测试集的方法为k折交叉验证。

具体来说，同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集中，是指同一个对象的3D OCT影像要么仅作为训练集，要么仅作为测试集。在具体的实施过程中，使用的3D OCT图像是标签图像文件格式(tag image file format，TIFF)格式，符合医学数字成像和通信(digital imaging and communications in medicine，DICOM)规范，使用的2D OCT图像是便携式网络图形格式(portable network graphics，PNG)。S1中划分训练集和测试集的方法为k折交叉验证。

在具体的实施过程中，本发明实施例用的数据集包含了从某医院收集的宫颈组织的400名病人的5类3D OCT影像1380个(TIFF格式，符合DICOM标准)，包括正常(363个)、囊肿(195个)、外翻(153个)、HSIL(305个)和癌症(364个)，其中每个3D OCT影像包含了多张2DOCT图像，2D图像共13606个(PNG格式)，包括正常(3172个)、囊肿(2464个)、外翻(2067个)、HSIL(5539个)和癌症(364个)相关统计信息如表1所示。正常、囊肿和外翻属于低风险疾病，HSIL和癌症属于高风险疾病。每个2D OCT图像均有病理确认的结果作为类别标签。

表1实施例用的OCT图像数据集信息

为验证本发明方法的有效性，按照如下方法对数据集进行划分：为了与基于CNN的分类模型进行比较，以3D OCT影像为基本单位，将数据集划分为10份，依次选择其中9份作为训练集，余下的1份作为测试集，进行十折交叉验证(ten-fold cross-validation)。为了使测试效果更具说服性，在数据划分过程中确保训练集和测试集包含的样本是完全独立的，即属于同一个病人的3D OCT影像中所有的2D OCT图像不能同时存在于训练集和测试集中。

S2、构建OCT图像分类模型：采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层和SoftMax层分类输出；其中，卷积神经网络从训练集的2D OCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层(encoding layer)对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征。

具体来说，S2是搭建分类模型的框架，主要包括骨干网络、多尺度特征编码模块、特征融合模块。骨干网络为AlexNet、VGGNet、GoogLeNet、ResNet、EfficientNet或DenseNet等常用的CNN模型。

所述的S2具体为：所述的多尺度特征编码模块有4个分支，分别对应4个尺度，7×7、14×14、28×28、56×56，每个分支均包括卷积层和可学习残差编码层。提取的4种特征图的维度分别为256×56×56、512×28×28、1024×14×14、2048×7×7。

S2.1、利用卷积神经网络作为分类模型的骨干网络，提取若干度卷积层的特征图。具体的，自ResNet被提出以来，其在图像分类方面的优异性能为业界所认可，因此本发明实施例用ResNet作为分类模型的骨干网络来提取OCT图像特征，并结合多尺度特征融合机制来提高分类模型的分类效果。

S2.2、在骨干网络后加入多尺度特征编码模块，使用可学习残差编码层对提取的特征图进行编码，获得每个尺度的纹理特征。具体来说，删除ResNet中的分类层作为骨干网络，在其后加入多尺度特征编码机制和特征融合机制以捕获更丰富的OCT图像特征。多尺度特征编码模块的具体设计见附图3。在多尺度特征编码模块中，对各尺度分支使用可学习残差编码层(Encoding layer)，提取各尺度特征的纹理基元编码的特征，每个尺度生成由32个128维纹理基元编码的32×128维特征。S2.2具体包括：

S2.2.1、利用1×1卷积操作对各尺度的原始特征图进行信息融合和降维，得到通道数为128的各尺度特征图。

S2.2.2、通过可学习残差编码层将各尺度特征图进行编码，提取各尺度特征的原始纹理基元编码特征，每个尺度生成由32个128维纹理基元编码的32×128维特征图，构成该尺度的纹理特征。

在具体的实施过程中，原始宫颈2D OCT图像的大小为224×224×3，分别为长、宽和通道数。提取CNN模型的四层原始特征图，大小分别为56×56×256、28×28×512、14×14×1024和7×7×2048，S2.2.1中卷积提取特征后得到56×56×128、28×28×128、14×14×128和7×7×128四个特征图。S2.2.2中经过可学习残差编码层编码后，得到4个由32个128维纹理基元编码的32×128维特征。

S2.3、在多尺度特征编码模块后加入特征融合模块，设计见附图4，用于计算每个尺度的纹理特征的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征。具体来说，将各尺度的纹理特征进行级联形成通过纹理基元注意力机制，优先使用全局平均池化提取OCT图像的各尺度纹理基元特征，然后使用多层感知机(multilayer perceptron，MLP)学习每个纹理基元的权重，并且根据注意力权重融合各尺度纹理特征，获得更新注意力后的纹理特征。所述的特征融合模块包括级联、全局平均池化层、两个全连接层和激活层，S2.3具体包括：

S2.3.1、将4个尺度的纹理特征级联，获得初步融合的由128个128维纹理基元编码的128×128维特征图；

S2.3.2、利用全局平均池化层对初步融合的纹理特征进行全局平均池化，然后进行扁平化处理，得到128维的特征向量；

S2.3.3、通过两个全连接层将扁平化处理得到的特征向量先压缩(squeeze)后激发(excitation)，其中，第一层含有8个神经元，用于对特征进行压缩，第二层含有128个神经元，用于对特征进行激发；

S2.3.4、通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为纹理基元的权重；

S2.3.5、将得到的纹理基元的权重与原始纹理基元编码特征相乘，获得相应的更新纹理基元注意力后的纹理特征，大小为128×128。

S2.4、在上述特征融合模块后增加两个全连接层用来做分类。增加两个维度为512的全连接层，每一层后使用批归一化(batch normalization)。

需要说明的是，全连接层是神经网络的一种基本网络结构，结构是一样的只不过参数不同，放在不同的位置作用不同。在上述特征融合模块后增加的全连接层的作用是用来做分类，而特征融合模块中的全连接层的作用是用来学习基元权重。

S2.5、最后设置一个SoftMax层，用于输出预测结果。

如图2所示，为S2中构建OCT图像分类模型的框架结构图。总的来说，本发明将经典的CNN模型与多尺度特征融合机制相结合，然后增加两个维度为512的全连接层用来做分类，再将分类模型的输出维度设置为4，用于宫颈组织OCT图像的4分类(four-classclassification)任务。相应地，可以将该分类任务转化为2分类(binary classification)任务，即低风险(包括炎症、无上皮病变和囊肿)和高风险(包括HSIL)。

S3、训练OCT图像分类模型：采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型。本实施例中，损失函数为交叉熵损失函数。

具体来说，S3是利用训练集、损失函数对搭建的模型进行训练。所述的S3具体包括：

S3.1、将训练集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S3.2、将调整后的2D OCT图像做归一化处理；

S3.3、利用归一化处理后的2D OCT图像训练所述OCT图像分类模型；其中，初始化采用加载经ImageNet预训练的CNN模型参数，在此基础上进行微调(fine-tune)，例如采用梯度下降来微调所有参数。采用深度监督机制设置损失函数，对多尺度特征编码模块中的每个分支添加分支分类器及相应的损失函数，最终的损失函数为每个分支的损失函数和主损失函数求和，并更新所述OCT图像分类模型的参数。

S3.4：当训练集和测试集的损失函数收敛时，得到训练好的OCT图像分类模型，保存相关参数值。

具体地，如图5所示，为训练过程的流程图，由于采集的宫颈OCT图像的大小并不是CNN的标准输入尺寸，调整(resize)训练集中2D OCT图像的大小，输入分类模型进行训练。具体实现过程为：首先，将原始的宫颈OCT图像，调整为CNN模型接受的224像素×224像素大小；其次，将图像的像素值减去均值除以255，做归一化处理；然后，用这些图像训练分类模型(初始化采用加载经ImageNet预训练的CNN模型参数)，优化目标函数，并更新分类模型的参数；最后，训练结束后保存相关参数值。

S3中实现分类模型的编程语言为Python，使用的软件工具为PyTorch。

S4、测试OCT图像分类模型：利用训练好的OCT图像分类模型，对测试集中的2D OCT图像进行分类预测，得到分类结果。S4具体为：

S4.1、将测试集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S4.2、将调整大小后的图像做归一化处理；

S4.3、加载训练好的OCT图像分类模型的参数进行预测。

S4中的分类使用Softmax函数。

具体地，如图6所示，为测试过程的实现流程图：将测试集中2D OCT图像的大小进行调整，输入分类模型，获得2D图像的预测结果。具体实现过程为：首先，将原始的待测宫颈OCT图像，调整为224像素×224像素大小；然后，将图像的像素值减去均值除以255，做归一化处理；最后，输入基于S3中所保存的相关参数构建的分类模型，使用softmax函数获得相应的预测结果(分类标签)。

S5、统计预测结果：统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别。S5具体为：

S5.1、统计同一组3D OCT影像中2D OCT图像的预测结果；

S5.2、采用投票机制确定3D OCT影像的最终类别，具体为：当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

在本发明中使用的2D OCT图像是标签图像文件格式(tag image file format，TIFF)格式，符合医学数字成像和通信(digital imaging and communications inmedicine，DICOM)规范。

统计同一组3D OCT影像中2D OCT图像的预测结果，利用“投票机制”(少数服从多数原则)确定3D OCT影响的类别标签。特别地，为了减少HSIL漏诊的可能性，如果高风险(包括HSIL)计数超过总数的20％，也就是如果一个3D OCT影像中有超过2张2D OCT图像被判别为高风险，那么判断该3D OCT影像的标签为高风险。最后，将4分类的预测结果直接映射为2分类的预测结果，而不需要重新训练一个2分类的分类模型进行预测。

一种基于多尺度纹理特征融合宫颈OCT图像分类系统，本系统包括：

数据集划分模块，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中。

OCT图像分类模型构建模块，用于采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层和SoftMax层分类输出；其中，卷积神经网络从训练集的2D OCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征。

OCT图像分类模型训练模块，用于采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型。

OCT图像分类模型测试模块，用于利用训练好的OCT图像分类模型，对测试集中的2D OCT图像进行分类预测，得到分类结果。

预测结果统计模块，用于统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别。

本发明一方面，加载预训练过的CNN模型进行微调，可以利用一些常用的特征提取器，减少分类模型的训练成本；在此基础上进行微调，也能更有针对性地提取宫颈OCT图像中的独有特征。另一方面，引入多尺度特征融合机制，使得分类模型更能好地利用浅层卷积层提取出的细节信息和深层卷积层提取出的语义位置信息以及学习不同尺度特征的权重，以此提升模型整体的分类效果。

为证明本发明的有效性，使用表1所示的数据集，本发明实施例与目前两种常用的CNN(VGG-16、ResNet-50)以及DeepTEN进行了“十折交叉验证”比较，分类结果如表2所示。从表2可以看出，本发明方法在五分类准确率、二分类准确率、灵敏度指标上的效果更好，且更稳定(标准差更小)。其中，准确率、特异性和灵敏度的计算公式如下：

准确率＝(真阳性+真阴性)/(真阳性+假阳性+真阴性+假阴性)

灵敏度＝真阳性/(真阳性+假阴性)

特异性＝真阴性/(真阴性+假阳性)

表2本发明方法与基准方法的分类性能对比(均值±标准差)

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。

一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如所述方法的步骤。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (7)

1.一种基于多尺度纹理特征融合宫颈OCT图像分类方法，其特征在于：本方法包括以下步骤：

S1、数据集划分：

将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3D OCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中；

S2、构建OCT图像分类模型：

采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层和SoftMax层分类输出；其中，卷积神经网络从训练集的2DOCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

S3、训练OCT图像分类模型：

采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

S4、测试OCT图像分类模型：

利用训练好的OCT图像分类模型，对测试集中的2D OCT图像进行分类预测，得到分类结果；

S5、统计预测结果：

统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别；

所述的S2具体为：

S2.1、利用卷积神经网络作为分类模型的骨干网络，提取若干度卷积层的特征图；

S2.2、在骨干网络后加入多尺度特征编码模块，使用可学习残差编码层对提取的特征图进行编码，获得每个尺度的纹理特征；

S2.3、在多尺度特征编码模块后加入特征融合模块，用于计算每个尺度的纹理特征的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

S2.4、在上述特征融合模块后增加两个全连接层用来分类；

S2.5、最后设置一个SoftMax层，用于输出预测结果；

所述的多尺度特征编码模块有4个分支，分别对应4个尺度，每个分支均包括卷积层和可学习残差编码层，所述的S2.2具体包括：

S2.2.1、利用1×1卷积操作对各尺度的原始特征图进行信息融合和降维，得到通道数为128的各尺度特征图；

S2.2.2、通过可学习残差编码层将各尺度特征图进行编码，提取各尺度特征的原始纹理基元编码特征，每个尺度生成由32个128维纹理基元编码的32×128维特征图，构成该尺度的纹理特征；

所述的特征融合模块包括级联、全局平均池化层、两个全连接层和激活层，S2.3具体包括：

S2.3.1、将4个尺度的纹理特征级联，获得初步融合的由128个128维纹理基元编码的128×128维特征图；

S2.3.2、利用全局平均池化层对初步融合的纹理特征进行全局平均池化，然后进行扁平化处理，得到128维的特征向量；

S2.3.3、通过两个全连接层将扁平化处理得到的特征向量先压缩后激发，其中，第一层含有8个神经元，用于对特征进行压缩，第二层含有128个神经元，用于对特征进行激发；

S2.3.4、通过激活函数sigmoid，将激发后的特征映射到0-1区间，作为纹理基元的权重；

S2.3.5、将得到的纹理基元的权重与原始纹理基元编码特征相乘，获得相应的更新纹理基元注意力后的纹理特征。

2.根据权利要求1所述的方法，其特征在于：所述的S3具体包括：

S3.1、将训练集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S3.2、将调整后的2D OCT图像做归一化处理；

S3.3、利用归一化处理后的2D OCT图像训练所述OCT图像分类模型；其中，初始化采用加载经ImageNet预训练的CNN模型参数，采用深度监督机制设置损失函数，对多尺度特征编码模块中的每个分支添加分支分类器及相应的损失函数，最终的损失函数为每个分支的损失函数和主损失函数求和，并更新所述OCT图像分类模型的参数；

S3.4：当训练集和测试集的损失函数收敛时，得到训练好的OCT图像分类模型，保存相关参数值。

3.根据权利要求1所述的方法，其特征在于：所述的S4具体为：

S4.1、将测试集中的2D OCT图像，调整为与骨干网络相适应的像素大小；

S4.2、将调整大小后的图像做归一化处理；

S4.3、加载训练好的OCT图像分类模型的参数进行预测。

4.根据权利要求1所述的方法，其特征在于：所述的S5具体为：

S5.1、统计同一组3D OCT影像中2D OCT图像的预测结果；

S5.2、采用投票机制确定3D OCT影像的最终类别。

5.根据权利要求4所述的方法，其特征在于：所述的S5.2具体为：当2D OCT图像的预测结果中阳性计数比例大于设定的阈值时，则将该3D影像的预测类别设置为阳性，否则设置为阴性。

6.根据权利要求1所述的方法，其特征在于：所述的S3中的损失函数为交叉熵损失函数。

7.一种用于完成权利要求1至6中任意一项所述的基于多尺度纹理特征融合宫颈OCT图像分类方法的系统，其特征在于：本系统包括：

数据集划分模块，用于将获取的宫颈组织3D OCT影像划分为训练集和测试集；其中，宫颈组织3D OCT影像根据所属对象分为不同的组，每组3D OCT影像属于同一个对象，每组3DOCT影像具有对应的2D OCT图像，并且同一组3D OCT影像中的所有2D OCT图像只存在于训练集或测试集的一个集合中；

OCT图像分类模型构建模块，用于采用卷积神经网络作为骨干网络，构建OCT图像分类模型，然后融合多尺度特征编码模块和特征融合模块，最后通过全连接层分类和SoftMax层输出；其中，卷积神经网络从训练集的2DOCT图像中提取若干尺度卷积层的特征图；多尺度特征编码模块用于对每个尺度对应一个分支进行处理，每个分支使用可学习残差编码层对所述特征图进行编码，并获得对应尺度的纹理特征；特征融合模块用于计算每个尺度的纹理特征中纹理基元的权重，将权重融合对应尺度的纹理特征，获得相应更新后的纹理特征；

OCT图像分类模型训练模块，用于采用深度监督机制对所述多尺度特征编码模块中的每个分支均添加分支分类器，并设置相应的损失函数，调整训练集中2D OCT图像的大小后输入OCT图像分类模型进行训练，得到训练好的OCT图像分类模型；

OCT图像分类模型测试模块，用于利用训练好的OCT图像分类模型，对测试集中的2DOCT图像进行分类预测，得到分类结果；

预测结果统计模块，用于统计同一组3D OCT影像中2D OCT图像的预测结果，设定其类别。

Images