CN115082747B - 基于组块对抗的零样本胃溃疡分类系统 - Google Patents

Abstract

本发明涉及一种基于组块对抗的零样本胃溃疡分类系统，包括：数据处理模块获取有标注的十二指肠溃疡病例和未标注的胃溃疡病例作为训练集，特征提取模块提取图片和血液检验指标的特征；组块对抗模块包括编码器和判别器，编码器融合映射图片和血液检验指标的特征得到高阶池化特征、并和编码器进行对抗；分类模块根据高阶池化特征得到分类结果，训练模块使用训练集训练特征提取器、编码器、判别器和分类器，预测模块获取待测胃溃疡病例输入训练完成的特征提取器、编码器、判别器和分类器得到胃溃疡分类结果。本发明可以充分提取病例中的图片和血液检验指标的特征、有效利用相似疾病更加准确的捕捉胃溃疡相关的特征，为医生提供诊断参考。

Description

基于组块对抗的零样本胃溃疡分类系统

技术领域

本发明涉及医学图像处理技术领域，尤其是指一种基于组块对抗的零样本胃溃疡分类系统。

背景技术

消化性溃疡，又称胃及十二指肠溃疡。这是指胃、小肠前段(十二指肠)或幽门，有时也包含了食道下端的黏膜损伤(溃疡)。在胃发生的溃疡称作胃溃疡，在小肠的开头部分所发生的溃疡则是十二指肠溃疡。最常见的症状是因为吃东西而引起的上腹痛，或者晚上因肚子痛而醒来。胃溃疡的疼痛大多被用“烧灼感”或“闷痛”描述，其他常见的症状还包括打嗝、呕吐、不明原因的体重减轻、或是胃口不佳，但年纪较大的患者中约有三分之一完全没有症状。胃溃疡若不处理，可能会演变成出血、消化道穿孔、或是胃出口阻塞，出血的发生率约为15％。胃溃疡的盛行率大约为4％，大约有10％的人会在一生中得过胃溃疡。医生通过胃部图片分析诊断胃溃疡会耗费医生的时间和精力，而基于人工智能技术的胃溃疡分类系统可以辅助医生更高效地对胃溃疡做出初步诊断。

在人工智能领域，基于单图片的方法通常被用于胃部图片是否包含胃溃疡疾病的诊断。这种人工智能方法是使用计算机视觉和机器学习算法从单个图像中提取含义的过程。目前最为广泛的人工智能方法是将该问题建模为输入一张图像，采用一种常规的分类算法，输出胃溃疡疾病诊断的二分类结果。

现有技术通常分为以下几个步骤：(1)专业人员标注大量带有胃溃疡标签的样本，每个样本包含胃溃疡图片及其血液检验指标，获得多个带有标注样本的标注语料；(2)基于深度学习网络(一般是多层卷积神经网络)训练标注语料，获得分类模型；(3)使用分类模型对未知标签的胃溃疡图片进行预测，获得该图片的胃溃疡诊断二分类结果。其中，第二步的深度学习网络一般采用的是卷积神经网络和基于注意力的Transformer(转换器)网络，如图1所示，包含编码器(Encoder)和全连接(FC)层。编码器负责提取图像的特征，编码器一般由一系列的卷积层、激活层、池化层、自注意力层等组成，常用的编码器包括Transformer网络、VGG(Visual Geometry Group，视觉几何组网络)、Residual Net(残差网络)、Dense Net(密集网络)和Efficient Net(效率网络)等。FC层负责将图像特征映射到图片的类别。输入一张图像，通过模型中一系列的卷积层、激活层、池化层、自注意力层等对图像进行编码得到图像的特征，最后通过全连接实现图像的分类，获得该图片的胃溃疡诊断二分类结果。

但是，现有技术也存在一些缺点，包括：

(1)现有的胃溃疡分类系统仅能处理输入为单张图片的情况，无法处理多张图片组成的一个病例，并且完全忽略了血液检验指标作为胃溃疡诊断的辅助信息。实际上，白细胞、红细胞、血红蛋白、血小板含量等血液检验指标可以有效地辅助胃溃疡病症的识别。

(2)现有的诊断模型通常只利用胃部疾病图片，由于专业人员标注带有胃溃疡疾病标签的图片成本较高，导致现有包含胃溃疡疾病的标注图片数量较少，严重影响胃溃疡的识别性能。同时，这也是因为现有技术完全忽略了其他已有的、相关的、类似的疾病诊断资源。例如，十二指肠溃疡疾病与胃溃疡疾病有许多相似之处(拍片症状相似)，而且十二指肠溃疡的现有数据集相对较多。换句话说，如果一个模型可以有效地预测十二指肠溃疡出现的症状，那么这个模型很大概率可以比较准确地推断胃溃疡的疾病状态。不同部位疾病的具有相似性，这种相似性可以在不增加人力成本的前提下，通过相关任务(十二指肠溃疡等非胃部疾病)的预测结果辅助现有胃溃疡疾病的预测，从而提升胃溃疡检测技术的识别准确率；但是，现有技术完全忽略了不同部位疾病的相似性。

因此，现有的基于胃部图片的多标签分类技术的识别率不高。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中的不足，提供一种基于组块对抗的零样本胃溃疡分类系统，可以充分提取病例中的图片和血液检验指标的特征、有效利用相似疾病更加准确的捕捉胃溃疡相关的特征，从而为医生提供诊断参考。

为解决上述技术问题，本发明提供了一种基于组块对抗的零样本胃溃疡分类系统，包括：

数据处理模块，所述数据处理模块获取有标注的十二指肠溃疡病例样本和未标注的胃溃疡病例样本作为训练集，所述十二指肠溃疡病例样本中的每个样本包括图片、图片所对应的血液检验指标和诊断类别标签，所述胃溃疡病例样本中的每个样本包括图片和图片所对应的血液检验指标；

特征提取模块，所述特征提取模块包括特征提取器，所述特征提取器提取图片的特征和血液检验指标的特征；

组块对抗模块，所述组块对抗模块包括编码器和判别器，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗；

分类模块，所述分类模块包括分类器，所述分类器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征得到分类结果；

训练模块，所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器；

预测模块，所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取器、编码器、判别器和分类器中得到胃溃疡分类结果；

所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗，具体为：

使用聚类划分函数将所述胃溃疡疾病的高阶池化特征划分为

个聚类组块，每个所述聚类组块中包含胃溃疡疾病的高阶池化特征的聚类标签，所有胃溃疡疾病的高阶池化特征的聚类标签组成胃溃疡疾病的高阶池化特征的聚类标签列表；

所述胃溃疡疾病的高阶池化特征按照所述胃溃疡疾病的高阶池化特征的聚类标签列表进行分类得到

个类

表示胃溃疡疾病的高阶池化特征的第i个分类；

根据所述有标注的十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到十二指肠溃疡按照疾病诊断分类的标签列表，所述十二指肠溃疡疾病的高阶池化特征按照所述十二指肠溃疡按照疾病诊断分类的标签列表进行分类得到k个类

表示十二指肠溃疡疾病的高阶池化特征的第j个分类；

将按照标签分类后的高阶池化特征

和

交叉配对后输入所述判别器和编码器，通过所述判别器的全连接神经网络和softmax函数获得疾病分类概率，建立所述判别器的优化目标；

随机生成疾病标签

建立所述编码器的优化目标；

所述判别器和编码器根据所述判别器的优化目标和所述编码器的优化目标进行对抗训练；

所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，具体为：

所述编码器使用注意力机制得到图片间的交互注意力权重，再使用注意力权重融合所述x^t和

得到胃溃疡疾病的高阶特征

所述胃溃疡疾病的高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特征

表示第i个胃溃疡病例样本的高阶池化特征，n表示胃溃疡病例样本的数量；

所述编码器使用注意力机制得到文本序列间的交互注意力权重，再使用注意力权重融合所述x^v和

得到十二指肠溃疡疾病的高阶特征

所述十二指肠溃疡疾病的高阶特征H’经过特征池化得到所述十二指肠溃疡疾病的高阶池化特征

表示第i个十二指肠溃疡病例样本的高阶池化特征，m表示十二指肠溃疡病例样本的数量；

建立所述判别器的优化目标，具体为：

使用交叉熵损失函数建立所述判别器的优化目标L_Dis为：

其中，Y′表示十二指肠溃疡疾病和胃溃疡疾病的分类标签，对于Y′中的每个元素，若该元素属于十二指肠溃疡疾病则分类标签是0，若该元素属于胃溃疡疾病则分类标签是1；W′表示线性层的可学习矩阵参数，b′表示线性层的可学习偏置参数，softmax表示softmax函数；

所述随机生成疾病标签

建立所述编码器的优化目标，具体为：

使用在区间[0,1]的随机整数生成伪疾病标签

使用交叉熵损失函数建立所述编码器的优化目标L_Enc为：

作为优选的，所述特征提取器提取图片的特征和血液检验指标的特征，具体为：所述特征提取器包括图片提取器和文本提取器，使用所述图片提取器提取所述有标注的十二指肠溃疡病例样本中的图片的特征x^v和所述未标注的胃溃疡病例样本中的图片的特征x^v′，将所述x^v和xv′按照网格划分进行平均池化得到

和

将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本序列，使用所述文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征x^t和所述未标注的胃溃疡病例样本中的文本序列的特征xt^′。

作为优选的，所述图片提取器为残差网络ResNet50，所述文本提取器为基于转换器的双向编码表示网络。

作为优选的，所述编码器为基于转换器的编码器。

作为优选的，所述聚类划分函数为基于密度的噪声应用空间聚类法。

作为优选的，所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器时，所述分类器的训练方法具体为：

将所述十二指肠溃疡疾病的高阶池化特征输入所述分类器，得到十二指肠溃疡疾病的诊断分类结果概率；

根据所述十二指肠溃疡疾病的诊断分类结果概率建立所述分类器的优化目标；

所述训练模块使用所述训练集训练所述分类器，直到所述分类器的优化目标收敛，停止训练得到训练完成的分类器。

作为优选的，所述十二指肠溃疡疾病的诊断分类结果概率

为：

其中，softmax()表示softmax函数，W表示分类器的全连接层中的可学习矩阵，b表示全连接层中的偏置；

所述分类器的优化目标L为：

其中，Y为根据所述有标注的十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到的十二指肠溃疡按照疾病诊断分类的标签列表。

本发明的上述技术方案相比现有技术具有以下优点：

1、本发明可以融合病例中的图片与血液检验指标特征，从而极大地提高预测的效果。

2、本发明通过将有标注的十二指肠溃疡病例和未标注的胃溃疡病例作为训练集，能够获得全面的图片和血液检验指标特征表示，在没有任何已标注胃溃疡疾病样例的情况下进行训练，缓解数据标注的负担，将其他相关任务零样本迁移到预测胃溃疡疾病上，实现零样本标注的胃溃疡诊断；同时还可以得到丰富的疾病信息，为医生提供诊断参考。

3、本发明使用多任务的人工智能框架，可以提高主任务(胃溃疡)预测效果的同时，提高相关任务(十二指肠溃疡)的预测效果。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明的结构示意图；

图2是本发明实施例中仿真实验的流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

如图1所示，本发明公开了一种基于组块对抗的零样本胃溃疡分类系统，训练过程先使用有标注的十二指肠溃疡数据集中全部样本和未标注的胃溃疡数据集训练集样本输入到特征提取器中提取图片的特征和血液检验指标的特征；然后使用编码器使用自注意力机制融合两种模态(图片的特征和血液检验指标的特征)的嵌入特征以提取到更高阶的特征向量，同时学习将所有样本映射到同一隐空间范围内；然后使用基于密度的噪声应用空间聚类法对高阶特征进行聚类划分，为每一个样本赋予其所对应的聚类标签；最后将高阶特征输入判别器获取疾病种类(十二指肠溃疡、胃溃疡)的分类概率，而十二指肠溃疡疾病的高阶特征另输入分类器用于获取疾病的患病概率。基于组块对抗的零样本胃溃疡分类系统包括数据处理模块、特征提取模块、组块对抗模块、分类模块、训练模块和预测模块，具体为：

所述数据处理模块获取大量有标注的十二指肠溃疡病例样本和未标注的胃溃疡病例样本作为训练集，所述十二指肠溃疡病例样本中的每个样本包括图片、图片所对应的血液检验指标和诊断类别标签，所述胃溃疡病例样本中的每个样本包括图片和图片所对应的血液检验指标。本实施例中每个样本中的图片数量为1。

特征提取器、编码器、判别器和分类器组成基于组块对抗的深度神经网络。所述特征提取模块包括特征提取器，所述特征提取器提取图片的特征和血液检验指标的特征，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到同一隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器进行对抗(尽可能地对隐空间范围内的不同疾病类别进行分类)。

所述特征提取器提取图片的特征和血液检验指标的特征，具体为：

S2-1-1：将有标注的十二指肠溃疡病例样本中的图片用v表示，未标注的胃溃疡病例样本中的图片用v’表示；所述特征提取器包括图片提取器和文本提取器。

S2-1-2：使用图片提取器提取所述有标注的十二指肠溃疡病例样本中的图片的特征x^v和所述未标注的胃溃疡病例样本中的图片的特征x^v′，将所述x^v和x^v′按照网格划分进行平均池化得到

和

本实施例中x^v和x^v′按照7×7的网格划分进行平均池化，得到

表示

中的第i个元素，

表示

中的第i个元素，Pooling_7×7()表示7×7的平均池化函数。

所述图片提取器为残差网络(Residual Network)ResNet50，x^v＝ResNet50(v)，x^v'＝ResNet50(v')，ResNet50()表示残差网络的图片特征提取操作。

S2-1-3：将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本序列，有标注的十二指肠溃疡病例样本中的文本序列用t表示，未标注的胃溃疡病例样本中的文本序列用t’表示，文本序列的表示形如“白细胞3.510^9/L，红细胞4.010^12/L，血红蛋白100g/L，血小板37610^9/L…”。使用文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征x^t和所述未标注的胃溃疡病例样本中的文本序列的特征x^t′。

所述文本提取器为基于转换器的双向编码表示网络(Bidirectional EncoderRepresentation from Transformers,BERT)，x^t＝BERT(t)，x^t'＝BERT(t')，BERT()表示基于转换器的双向编码表示网络的文本特征提取操作。

所述组块对抗模块包括编码器和判别器，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗。

所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到同一隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，具体为：S2-2-1：将所述x^t作为查询向量Q值、所述

作为键向量K值和值向量V值，所述编码器使用注意力机制得到图片间的交互注意力权重，再使用注意力权重融合所述x^t和

得到胃溃疡疾病的高阶特征

Encoder()表示编码器的操作，Encoder(Q，K，V)表示注意力权重融合的操作，所述胃溃疡疾病的高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特征

表示第i个胃溃疡病例样本的高阶池化特征，n表示胃溃疡病例样本的数量。

S2-2-2：将所述x^v作为查询向量Q值、所述

作为键向量K值和值向量V值，所述编码器使用注意力机制得到文本序列间的交互注意力权重，再使用注意力权重融合所述x^v和

得到十二指肠溃疡疾病的高阶特征H’，所述十二指肠溃疡疾病的高阶特征

经过特征池化得到所述十二指肠溃疡疾病的高阶池化特征

表示第i个十二指肠溃疡病例样本的高阶池化特征，m表示十二指肠溃疡病例样本的数量。

本实施例中编码器为基于转换器的编码器(Transformer Encoder)。

所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗，具体为：

S2-3-1：聚类划分：

使用聚类划分函数将所述胃溃疡疾病的高阶池化特征

划分为

个聚类组块

其中Z₁，Z₂，…，z_n是胃溃疡疾病的高阶池化特征的聚类标签，聚类划分后的胃溃疡疾病的高阶池化特征的聚类标签列表Z＝{Z₁，Z₂，…，Z_n}。

本实施例中聚类划分函数为基于密度的噪声应用空间聚类法(Density-basedspatial clustering of applications with noise，DBSCAN)。

DBSCAN算法的具体步骤可以分为4步：

(1)标记所有聚类划分对象为unvisited；(2)遍历标记为unvisited的对象

并将其标记为visited；(3)如果

半径为∈的邻域内至少有M个对象，则设定新增聚类簇集合N_i，将对象

放入N_i集合中，否则对象

设定为噪声；(4)访问

的∈邻域内所有unvisited元素将其标记为visited，添加其∈邻域内所有元素进入N_i集合中。本实施例中∈取值0.5。

S2-3-2：交叉对抗：

S2-3-2-1：所述胃溃疡疾病的高阶池化特征

按照所述胃溃疡疾病的高阶池化特征的聚类标签列表Z＝{z₁，z₂，…，z_n}进行分类得到

个类

表示胃溃疡疾病的高阶池化特征的第i个分类；

S2-3-2-2：根据所述十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到十二指肠溃疡按照疾病诊断分类的标签列表Y＝{y₁，y₂，…，y_m}，所述十二指肠溃疡疾病的高阶池化特征

按照所述十二指肠溃疡按照疾病诊断分类的标签列表Y＝{y₁，y₂，…，y_m}进行分类得到k个类

表示十二指肠溃疡疾病的高阶池化特征的第j个分类；

S2-3-2-3：将按照标签分类后的高阶池化特征

和

交叉配对后输入所述判别器和编码器，通过所述判别器的全连接神经网络和softmax函数(软性最大化函数)获得疾病分类概率，使用所述疾病分类概率和真实疾病类别建立所述判别器的优化目标。

建立所述判别器的优化目标，具体为使用交叉熵损失函数建立所述判别器的优化目标L_Dis为：

其中，Y′表示十二指肠溃疡疾病和胃溃疡疾病的分类标签，对于Y′中的每个元素，若该元素属于十二指肠溃疡疾病则分类标签为0，若该元素属于胃溃疡疾病则分类标签是1；Y′是两种疾病的类别标签，用于表示是哪种疾病。W′表示线性层的可学习矩阵参数，b′表示线性层的可学习偏置参数，softmax表示softmax函数。判别器的优化目标L_Dis用来优化判别器的参数使判别器能够尽可能地利用高阶池化特征区分疾病类别。可学习矩阵参数和可学习偏置参数在模型的学习中动态更新。

S2-3-2-4：随机生成疾病标签

建立所述编码器的优化目标。

具体为：

使用在区间[0,1]的随机整数生成伪疾病标签

使用交叉熵损失函数建立所述编码器的优化目标L_Enc为：

其中，W′表示线性层的可学习矩阵参数，b′表示线性层的可学习偏置参数。码器的优化目标L_Enc用来优化编码器的参数使编码器能够尽可能地生成无法正确分类疾病的高阶池化特征。

在使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器时，所述判别器和编码器根据所述判别器的优化目标和所述编码器的优化目标进行对抗训练，优化判别器和编码器的自身参数以达到使十二指肠溃疡疾病和胃溃疡疾病具有相同的高阶池化特征分布的目的。

所述分类模块包括分类器，所述分类器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征得到分类结果。

所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器时，所述分类器的训练方法具体为：S3-1：将所述十二指肠溃疡疾病的高阶池化特征

输入所述分类器，通过分类器的全连接神经网络和softmax函数得到十二指肠溃疡疾病的诊断分类结果概率

为：

其中，softmax()表示softmax函数，W表示分类器的全连接层中的可学习矩阵，b表示全连接层中的偏置。

S3-2：根据所述十二指肠溃疡疾病的诊断分类结果概率建立所述分类器的优化目标L为：

其中，Y表示为所述十二指肠溃疡按照疾病诊断分类的标签列表。

S3-3：所述训练模块使用所述训练集训练所述分类器，直到所述分类器的优化目标收敛，停止训练得到所述训练完成的分类器。特征提取器、编码器、判别器的参数随着分类器一起更新，训练完成的基于组块对抗的深度神经网络模型中的特征提取器、编码器、判别器和分类器的参数使深度神经网络模型能够正确诊断分类十二指肠溃疡疾病。

所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取器、编码器、判别器和分类器中得到胃溃疡分类结果。待测的胃溃疡病例样本输入所述训练完成的特征提取器、编码器和判别器得到待测的胃溃疡病例样本的胃溃疡疾病的高阶池化特征，训练完成的分类器根据待测的胃溃疡病例样本的胃溃疡疾病的高阶池化特征得到胃溃疡分类结果，完成对待测的胃溃疡病例样本的胃溃疡识别。在使用训练完成的特征提取器、编码器、判别器和分类器进行胃溃疡预测时，测试过程仅需输入胃溃疡一种疾病的图片和血液检测数据，与训练过程相比减少了聚类划分、交叉对抗两个步骤。

待测胃溃疡病例样本是未标注样本，训练过程中使用的胃溃疡病例样本也是未标注样本，通过零个有标注样本即实现了胃溃疡的有效诊断。

本发明可以融合病例中的图片与血液检验指标特征，从而极大地提高预测的效果。本发明通过将有标注的十二指肠溃疡病例和未标注的胃溃疡病例作为训练集，能够获得全面的图片和血液检验指标特征表示，在没有任何已标注胃溃疡疾病样例的情况下进行训练，缓解数据标注的负担，将其他相关任务零样本迁移到预测胃溃疡疾病上，实现零样本标注的胃溃疡诊断；同时还可以得到丰富的疾病信息，为医生提供诊断参考。本发明使用多任务的人工智能框架，可以提高主任务(胃溃疡)预测效果的同时，提高相关任务(十二指肠溃疡)的预测效果。

为了进一步说明本发明的有益效果，本实施例中将待测的胃溃疡病例样本输入已训练好的深度神经网络模型中获得胃溃疡的诊断结果。同时，邀请2名经验丰富的内镜医师对测试集的胃部图片和血液检验指标进行判断和诊断。将使用本发明方法和2名医师对疾病诊断的整体准确率、灵敏度和阳性预测值进行对，其中：

整体准确率＝识别正确的病例数/测试集病的实际病例数×100％，

灵敏度＝识别正确某一类别病例数/该类别的实际病例数×100％，

阳性预测值＝识别正确某一类别的病例数/被模型或内镜医师识别成该类别的病例数×100％。

本实施例中收集了内镜中心胃镜检查(包括无痛胃镜、清醒镇静胃镜及普通胃镜检查)患者的十二指肠图片及对应血液检验指标、胃镜图片及对应血液检验指标。图片拍摄设备主要为Olympus公司240、260、290系列以及日本Fujinon公司560、580系列内镜。所有图片在白光非放大模式下拍摄，BLI、FICE、NBI等光学染色及靛胭脂、醋酸染色放大等化学染色暂不做研究。纳入标准：诊断为：胃炎、胃息肉、胃溃疡、胃癌、胆汁反流、胃出血和正常胃镜粘膜图片。排除标准：①患者小于16岁或者大于95岁；②图片异常模糊、伪影、异常失真等影响观察的图片；③有大量泡沫、粘液湖或者食物等干扰严重的图片。

如图2仿真实验的流程图所示，将收集到的数据分为十二指肠溃疡病例样本及胃溃疡病例样本。十二指肠溃疡病例样本共包含样本20,000例，胃溃疡疾病图片数据集共包含样本3460例。十二指肠溃疡数据集中，十二指肠溃疡和正常十二指肠的病例数分别为：10547例，9453例。胃部疾病分类数据集中，胃溃疡和正常胃的病例数分别为：2160例、1300例。通过图像格式转换、图像尺寸缩放、图像增强、图像归一化等一系列的图像操作对所获得的病例图像数据进行处理，以确保人工智能模型对图像的识别。十二指肠溃疡数据集作为训练集，胃溃疡数据集作为验证集、测试集。另外，为了保证训练集、验证集和测试集的病例无重复部分，运用随机原则将胃溃疡病例按照大致8:2:2的比例分为训练集(胃溃疡1728例、正常胃1040例)、验证集(胃溃疡432例、正常胃260例)、测试集(胃溃疡432例、正常胃260例)。通过训练集对本发明中的深度神经网络模型的参数进行训练，然后用验证集验证模型的有效性，提高模型的泛化能力，对并行的超参数(即人工设置的参数)进行优调后形成最终的深度神经网络模型，最后通过测试集对人工智能算法模型的性能进行评价分析。

通过仿真实验，得到医生的整体正确率为86％，本发明的整体正确率为91.5％；医生的灵敏度为87％，本发明的灵敏度为90％；医生的阳性预测值为89％，本发明的阳性预测值为92％；本发明的胃溃疡疾病识别整体准确率、灵敏度、阳性预测值都明显优于经验丰富的内镜医师。同时，相比单独训练胃溃疡疾病分类器，本发明采用的组块对抗策略可以有效地减少胃溃疡疾病的数据标注，如同样预测准确率在85％的情况下，单任务方法需要标注2000条样本，本发明提出的基于组块对抗方法无需标注胃溃疡病例样本。由此证明了本发明的有益效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种基于组块对抗的零样本胃溃疡分类系统，其特征在于，包括：

数据处理模块，所述数据处理模块获取有标注的十二指肠溃疡病例样本和未标注的胃溃疡病例样本作为训练集，所述十二指肠溃疡病例样本中的每个样本包括图片、图片所对应的血液检验指标和诊断类别标签，所述胃溃疡病例样本中的每个样本包括图片和图片所对应的血液检验指标；

特征提取模块，所述特征提取模块包括特征提取器，所述特征提取器提取图片的特征和血液检验指标的特征；

组块对抗模块，所述组块对抗模块包括编码器和判别器，所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗；

分类模块，所述分类模块包括分类器，所述分类器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征得到分类结果；

训练模块，所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器；

预测模块，所述预测模块获取待测的胃溃疡病例样本并输入所述训练完成的特征提取器、编码器、判别器和分类器中得到胃溃疡分类结果；

所述判别器和所述编码器根据所述胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征进行对抗，具体为：

使用聚类划分函数将所述胃溃疡疾病的高阶池化特征划分为

个聚类组块，每个所述聚类组块中包含胃溃疡疾病的高阶池化特征的聚类标签，所有胃溃疡疾病的高阶池化特征的聚类标签组成胃溃疡疾病的高阶池化特征的聚类标签列表；

所述胃溃疡疾病的高阶池化特征按照所述胃溃疡疾病的高阶池化特征的聚类标签列表进行分类得到

个类

表示胃溃疡疾病的高阶池化特征的第i个分类；

根据所述有标注的十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到十二指肠溃疡按照疾病诊断分类的标签列表，所述十二指肠溃疡疾病的高阶池化特征按照所述十二指肠溃疡按照疾病诊断分类的标签列表进行分类得到k个类

表示十二指肠溃疡疾病的高阶池化特征的第j个分类；

将按照标签分类后的高阶池化特征

和

交叉配对后输入所述判别器和编码器，通过所述判别器的全连接神经网络和softmax函数获得疾病分类概率，建立所述判别器的优化目标；

随机生成疾病标签

建立所述编码器的优化目标；

所述判别器和编码器根据所述判别器的优化目标和所述编码器的优化目标进行对抗训练；

所述编码器将所述图片的特征和血液检验指标的特征进行融合并映射到隐空间范围内得到胃溃疡疾病的高阶池化特征和十二指肠溃疡疾病的高阶池化特征，具体为：

所述编码器使用注意力机制得到图片间的交互注意力权重，所述特征提取器包括图片提取器和文本提取器，使用所述图片提取器提取所述有标注的十二指肠溃疡病例样本中的图片的特征x^v，将所述x^v按照网格划分进行平均池化得到

将所述血液检验指标转换成包括血液检测各项指标与对应的检测结果值组成的文本序列，使用所述文本提取器提取所述有标注的十二指肠溃疡病例样本中的文本序列的特征x^t，再使用注意力权重融合所述x^t和

得到胃溃疡疾病的高阶特征

所述胃溃疡疾病的高阶特征H经过特征池化得到所述胃溃疡疾病的高阶池化特征

表示第i个胃溃疡病例样本的高阶池化特征，n表示胃溃疡病例样本的数量；

所述编码器使用注意力机制得到文本序列间的交互注意力权重，再使用注意力权重融合x^v和

得到十二指肠溃疡疾病的高阶特征

所述十二指肠溃疡疾病的高阶特征H’经过特征池化得到所述十二指肠溃疡疾病的高阶池化特征

表示第i个十二指肠溃疡病例样本的高阶池化特征，m表示十二指肠溃疡病例样本的数量；

建立所述判别器的优化目标，具体为：

使用交叉熵损失函数建立所述判别器的优化目标L_Dis为：

其中，Y′表示十二指肠溃疡疾病和胃溃疡疾病的分类标签，对于Y′中的每个元素，若该元素属于十二指肠溃疡疾病则分类标签是0，若该元素属于胃溃疡疾病则分类标签是1；W′表示线性层的可学习矩阵参数，b′表示线性层的可学习偏置参数，softmax表示softmax函数；

所述随机生成疾病标签

建立所述编码器的优化目标，具体为：

使用在区间[0,1]的随机整数生成伪疾病标签

使用交叉熵损失函数建立所述编码器的优化目标L_Enc为：

2.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述特征提取器提取图片的特征和血液检验指标的特征，还包括：

使用所述图片提取器提取所述未标注的胃溃疡病例样本中的图片的特征x^v′，将所述x^v′按照网格划分进行平均池化得到

使用所述文本提取器提取所述未标注的胃溃疡病例样本中的文本序列的特征x^t′。

3.根据权利要求2所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述图片提取器为残差网络ResNet50，所述文本提取器为基于转换器的双向编码表示网络。

4.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述编码器为基于转换器的编码器。

5.根据权利要求1所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述聚类划分函数为基于密度的噪声应用空间聚类法。

6.根据权利要求1-5任一项所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述训练模块使用所述训练集训练所述特征提取器、编码器、判别器和分类器得到训练完成的特征提取器、编码器、判别器和分类器时，所述分类器的训练方法具体为：

将所述十二指肠溃疡疾病的高阶池化特征输入所述分类器，得到十二指肠溃疡疾病的诊断分类结果概率；

根据所述十二指肠溃疡疾病的诊断分类结果概率建立所述分类器的优化目标；

所述训练模块使用所述训练集训练所述分类器，直到所述分类器的优化目标收敛，停止训练得到训练完成的分类器。

7.根据权利要求6所述的基于组块对抗的零样本胃溃疡分类系统，其特征在于：所述十二指肠溃疡疾病的诊断分类结果概率

为：

其中，softmax()表示softmax函数，W表示分类器的全连接层中的可学习矩阵，b表示全连接层中的偏置；

所述分类器的优化目标L为：

其中，Y为根据所述有标注的十二指肠溃疡病例样本中的每个样本中的所述诊断类别标签得到的十二指肠溃疡按照疾病诊断分类的标签列表。

Images