CN113673482B - 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于动态标签分配的细胞抗核抗体荧光识别方法及系统，属于计算机视觉与医学图像分析技术领域，解决现有技术无法有效的提取显著区域的特征、分类效果差、假阴性多等问题。本发明包括准备并清洗人体细胞的抗核抗体荧光图像；根据多示例学习中包和示例的概念，将原图抽象为包，并拆解出对应的示例，初始化示例的标签为包标签；搭建以残差神经网络为骨架，图神经网络分类器为聚合头的识别网络，即神经网络模型；确定神经网络模型的损失函数，以及相关的超参数，并训练神经网络模型，并使用动态标签分配技术迭代更新示例的标签；在额外的图像数据上进行神经网络模型的性能验证。本发明用于人体细胞抗核抗体的标签识别。

Description

基于动态标签分配的细胞抗核抗体荧光识别方法及系统

技术领域

一种基于动态标签分配的细胞抗核抗体荧光识别方法及系统，用于人体细胞抗核抗体的标签识别，属于计算机视觉与医学图像分析技术领域。

背景技术

生物医学图像分析一直是计算机与医学交叉的热点方向，人体细胞的抗核抗体(ANA)荧光识别是其中的子领域，模式识别国际会议(ICPR)曾对这特定子领域举办过多届的竞赛。早期的分析方式通过对图像的颜色、纹理等特征进行手工提取，并用传统的机器学习模型如逻辑斯蒂回归、支持向量机进行分类或回归。这类方法关注轮廓或线条的变化规律。在2015年前，提取特征的方式大多是基于人工定义的规则，人工对特征描述规则的定义与测试通常情况下是一个缓慢的经验积累过程，且不具有普适性。

近年来，随着算力瓶颈的突破，深度学习已经成为计算机视觉与图像分析领域最流行的技术，已有大量的医学图像分析系统是基于深度学习技术。但经典的深度神经网络分类模型与传统的训练方式在复杂的抗核抗体荧光图像数据集中存在如下技术问题：

1.无法有效的提取图像中的显著区域的特征；

2.因为原始数据集中标签存在不完整的情况，使得模型在预测时经常出现假阴性的情况，即造成预测精度低的问题；

3.无法建立标签之间的关系，难以正确识别多标签样本中出现次数较少的标签，即会导致预测结果部分缺失，造成可靠性及可信度低，其中，标签之间的关系包括标签A与标签B存在某种医学上的共生关系，所以有标签A就很可能有标签B，或标签A与标签C存在对立关系，有标签A就没有标签B。

发明内容

针对上述研究的问题，本发明的目的在于提供一种基于动态标签分配的细胞抗核抗体荧光识别方法及系统，解决现有技术无法有效的提取显著区域的特征、分类效果差、假阴性多等问题。

为了达到上述目的，本发明采用如下技术方案：

一种基于动态标签分配的细胞抗核抗体荧光识别方法，包括：

图像预处理阶段A：

步骤A1.获取人体细胞的抗核抗体荧光图像数据集D_orginal，对图像数据集进行清洗，其中，图像数据集即指抗核抗体荧光图像数据集D_orginal，图像数据集中的各图像具有标签，各图像至少有一个类别的标签；

步骤A2.基于清洗后的图像数据集中的各图像构建多示例学习用的包和对应包的示例，并将各示例的尺寸缩放为一样，缩放后初始化示例的标签；

训练阶段B

步骤B1：基于残差卷积网络的特征提取器与图神经网络分类器构建神经网络模型；

步骤B2：基于包和对应包的示例，并采用动态标签分配技术训练残差卷积网络训练好后，去除最后的fc层得到训练好的特征提取器；

步骤B3：基于训练好的特征提取器提取步骤A2得到的各包对应的所有示例拼接成向量训练图神经网络分类器，其中，图神经网络分类器的损失函数为样本平衡的加权二元交叉熵损失；

预测阶段C

步骤C1：将待识别的抗核抗体荧光图像得到的包中的所有示例输入训练好的特征提取器进行特征提取，再将提取的特征输入图神经网络分类器，预测待识别的抗核抗体荧光图像的标签。

进一步，所述步骤A1中对图像数据集进行清洗具体为：

人工剔除图像数据集中具有大面积污染的图像；

人工剔除图像数据集中图像的内容与标签的类别明显不匹配的图像，类别明显不匹配表示图像中95％以上的区域内都没有出现跟对应标签相关的特征。

进一步，所述步骤A2的具体步骤为：

步骤A2.1：将清洗后的图像数据集中的各图像分别作为一个包；

步骤A2.2：将包对应的图像按固定比例裁剪为多个子图，每个子图作为包中的示例；

步骤A2.3：将所有包中的各示例的尺寸缩放为一样，并对包中的各示例进行标签初始化，即将包的标签赋值给示例，其中，包的标签即为各图像的标签。

进一步，所述特征提取器的结构为标准的Resnet50网络去除最后的fc层后得到的结构，图神经网络分类器为在经典的图神经网络分类器基础上将邻接矩阵修改为可学习参数的邻接矩阵，即指损失函数反向传播的时候能对邻接矩阵的参数进行更新。

进一步，采用动态标签分配技术训练残差卷积网络的具体步骤为：

根据初始后的标签或上一轮已部分修正后的标签，训练示例级分类器，其中示例分类器即指残差卷积网络；；

训练后，固定示例级分类器的模型参数，并用当前示例级分类器计算每一个示例在每一个标签上的不确定度，即二元交叉熵；

基于最大似然估计方法和正态分布方法对每个标签的不确定度的值进行建模，得到不确定度的分布估计；

遍历每个示例对应的标签，若不确定度大于分布估计的百分位阈值，则将标签置零，即得到修正后的标签；

标签修改后，若迭代次数小于K，基于修正后的标签继续进行下次标签的修正，直到迭代次数达到K次；

迭代K次后，若示例的所有标签都修正为0，则剔除该示例。

进一步，所述图神经网络分类器的各层图卷积为：

H^l+1＝f(H^l，A)

其中，H⁰＝X时表示第一层的输入，H^l表示第l层的输入，X∈R^N*D是一个N*D维的矩阵，N是图神经网络分类器中图中节点的个数，由于是标签关系图，等于标签数，D是每个节点的特征向量，A是用来描述图中节点关系的邻接矩阵，f是图卷积层之间的激活函数。

进一步，所述图神经网络分类器的损失函数为：

其中，n代表第n个包，ni代表第n个样本的第i个标签，y_ni是第n个包的第i个标签的真实值.

是第n个包的第i个标签的模型预测值，

代表的是第n个包的第i个标签的二元交叉熵损失的值。

一种基于动态标签分配的细胞抗核抗体荧光识别系统，包括：

图像预处理模块：

获取人体细胞的抗核抗体荧光图像数据集D_orginal，对图像数据集进行清洗，其中，图像数据集即指抗核抗体荧光图像数据集D_orginal，图像数据集中的各图像具有标签，各图像至少有一个类别的标签；

基于清洗后的图像数据集中的各图像构建多示例学习用的包和对应包的示例，并将各示例的尺寸缩放为一样，缩放后初始化示例的标签；

训练模块：

基于残差卷积网络的特征提取器与图神经网络分类器构建神经网络模型；

基于包和对应包的示例，并采用动态标签分配技术训练残差卷积网络训练好后，去除最后的fc层得到训练好的特征提取器；

基于训练好的特征提取器提取步骤A2得到的各包对应的所有示例拼接成向量训练图神经网络分类器，其中，图神经网络分类器的损失函数为样本平衡的加权二元交叉熵损失；

预测模块：

将待识别的抗核抗体荧光图像得到的包中的所有示例输入训练好的特征提取器进行特征提取，再将提取的特征输入图神经网络分类器，预测待识别的抗核抗体荧光图像的标签。

本发明同现有技术相比，其有益效果表现在：

1.本发明将特征提取过程与最终分类过程分开，引入多示例学习，并基于示例级的训练方式训练残差卷积网络的特征提取器，提高了神经网络模型的特征提取能力(即采用动态标签分配算法进行训练)，有助于在训练器阶段建立更鲁棒的分类边界，在提高最终分类准确性的同时还可以提高模型的泛化能力；

2.本发明通过引入了动态标签分配技术，解决了在多标签语义下，如何将包(原图像)的标签合理的分配给示例(子图)的问题，是考虑到初始化的示例的标签是不准确的，所以如果按初始化的标签进行训练，示例的标签存在大量的噪音，在训练特征提取器时，所用的损失值也是不准确的，最终导致反向传播学习到的特征提取器会收敛到一些错误的参数；

3.本发明引入了图卷积神经网络分类器，建模标签之间的关系，提高了对多标签样本，尤其是标签部分缺失的难样本的识别率，使F1指标从基线模型的0.54提高到0.74，即有了预测结果后可以计算预测的准确率与召回率(预测得到待识别的抗核抗体荧光图像的标签后，可以计算预测的准确率与召回率)，其中，F1＝(2*准确率*召回率)/(准确率+召回率)，准确率＝真阳性/(真阳性+假阳性)，召回率＝真阳性/(真阳性+假阴性)。

附图说明

图1为本发明的流程示意图，图中的模型指神经网络模型。

具体实施方式

下面将结合附图及具体实施方式对本发明作进一步的描述。

主要方案流程主要分为五步：准备并清洗人体细胞的抗核抗体荧光图像；根据多示例学习中包和示例的概念，将原图抽象为包，并拆解出对应的示例，初始化示例的标签为包标签；搭建以残差神经网络为骨架，图神经网络分类器为聚合头的识别网络，即神经网络模型；确定神经网络模型的损失函数，以及相关的超参数，并训练神经网络模型，并使用动态标签分配技术迭代更新示例的标签；在额外的图像数据上进行神经网络模型的性能验证。

一、准备并清洗人体细胞的抗核抗体荧光图像

人体细胞的抗核抗体荧光图像数据集D_orginal对抗核抗体荧光图像数据集进行人工清洗。清洗主要是为了剔除数据集中噪声较大的样本。噪声主要有两种类别，第一种是图像本身的噪声，比如成像时，抗核抗体荧光图数据集中的样本(图像)存在大面积污染，或是取样视角中几乎不存在有效的荧光区域。第二种是标签级别的噪声，即每张图像的画面内容与其标签类别明显不匹配而出现大量错误的标注(若图像上95％的区域都没有出现跟该标签相关的特征，那么认为该标签是错误标签。比如包浆型，若图中95％以上的面积都不存在包浆型的特征，则认为不存在该标签，即标签与图像不匹配)，但允许标签部分缺失这一类型的噪声。

二、构建包与对应包的示例

引入了基于动态标签分配技术的多示例学习，多示例学习中需要构建相应的包与示例，一个包会包括若干个示例，示例之间共享包的标签。本案将图像数据集中的每一张原始图片作为一个包，根据事先规定好的参数，将原始图片按固定比例裁剪为5x5个子图，共25个子图，每一个子图作为包中的示例。对示例的标签进行初始化阶段，将包的标签赋给每一个示例，采用初始化方式在单标签数据集中影响较小，但在多标签数据集中会带入较大的噪声，因此后续会通过动态标签分配技术迭代更新示例的标签克服这一技术问题。并方便后续通过训练示例分类器来得到特征提取器的模型参数，实际在示例训练分类器时，所有的示例会被重新缩放到固定的尺寸(224像素x224像素)，作为图神经网络分类器的输入。

三、模型构建

本发明的模型主要分为特征提取模块与分类器模块，两者的训练不是端到端的。

3.1、特征提取器

特征提取器最终是通过训练示例级分类器后去除最后的fc层得到。在上一个步骤中获得了每个包以及对应的示例，并用包的标签作为每个示例的初始化标签。但这样分配的标签是存在较大噪声，因为示例不一定含有包的所有标签集合，因此需要动态标签分配技术来修正示例中被错误分配标签的样本带来的影响。采用动态标签分配技术训练残差卷积网络的具体步骤为：

根据初始后的标签或上一轮已部分修正后的标签，训练示例级分类器，其中示例分类器即指残差卷积网络；；

训练后，固定示例级分类器的模型参数，并用当前示例级分类器计算每一个示例在每一个标签上的不确定度，即二元交叉熵；

基于最大似然估计方法和正态分布方法对每个标签的不确定度的值进行建模，得到不确定度的分布估计；

遍历每个示例对应的标签，若不确定度大于分布估计的百分位阈值，则将标签置零，即得到修正后的标签；

标签修改后，若迭代次数小于K，基于修正后的标签继续进行下次标签的修正，直到迭代次数达到K次；

迭代K次后，若示例的所有标签都修正为0，则剔除该示例。

神经网络模型的结构可采用多种主流模型，在特征提取器中采用ResNet-50的模型架构，该架构采用残差卷积网路的特征提取能力，在训练时有更好的收敛性，模型学习能力强且数据量适中，适于在实际场景中部署，可以获得较好的准确性和较短的等待时间。训练代码基于Python语言中的Pytorch框架，通过训练示例分类器来得到参数化的特征提取骨架网络，此时的分类头是经典的两层全连接网络。特征提取器可以在约100个轮次中达到参数收敛。

3.2、图神经网路分类器

得到训练好的特征提取器之后，需要对包中的每个示例进行特征提取，并拼接成一个多维张量。由于真实的包是包含多标签的，即需要训练一个多标签场景下的分类器，所以引用引入图神经网络分类器，以提高多标签分类的性能，来编码标签之间的关系。

图神经网络分类器的任一层的图卷积都可以写成如下形式：

H^l+1＝f(H^l，A)

其中，H⁰＝X时表示第一层的输入，H^l表示第l层的输入，X∈R^N*D是一个N*D维的矩阵，N是图神经网络分类器中图中节点的个数，由于是标签关系图，等于标签数，D是每个节点的特征向量，A是用来描述图中节点关系的邻接矩阵，f是图卷积层之间的激活函数。

节点数N为潜在的标签集合的大小。如第一种常见的做法是统计共现性：即本案中涉及的图像数据集共存在8种潜在的标签，那么图像中的节点数即为8。第二种做法是将邻接矩阵的参数设置为可学的，通过梯度下降的方式学到：即每个节点的特征向量是由各包的所有示例拼接好得到的向量，经过卷积以及经过卷积核模板匹配后得到的。邻接矩阵A描述的是节点之间的关系，可以根据不同标签共同出现的概率进行建模，也可以将邻接矩阵参数设置为可学习的，通过梯度下降的方式确定参数，本案中采取的是第二种方式。

四、确定图神经网路分类器对应的损失函数并训练图神经网路分类器

对为本案中提出的神经网络模型定义损失函数，可用于计算神经网络模型预测结果和真实标签的误差，损失函数表达式如下：

其中，n代表第n个包，ni代表第n个样本的第i个标签，y_ni是第n个包的第i个标签的真实值.

是第n个包的第i个标签的模型预测值，

代表的是第n个包的第i个标签的二元交叉熵损失的值。对所有标签的二元交叉熵损失进行求和，就得到该样本(图像)的损失，对所有样本进行累计求和，就得到该图像数据集一个轮次的总损失。识别模型需要通过多次迭代训练优化参数；在每次迭代过程中，神经网络模型都会进行前向传播和反向传播，在反向传播过程中，根据损失函数的误差值对神经网络模型进行参数修改；多次迭代后，最终收敛到能够准确预测标签分布的参数空间，其中，图神经网络分类器采用包分类器的方式来训练，即首先获取一个包的所有示例拼接成向量作为图神经网络分类器的输入，而后对向量进行分类预测(先用和标签个数一样的CNN卷积模板输入的特征向量矩阵进行处理，经CNN卷积模板处理之后得到(标签个数*dim)的矩阵，这个矩阵再输入到标签图卷积神经网络中去。最后，对图卷积后的结果进行预测输出)，分类预测后得到子图数(N)*标签个数的预测结果，在N个预测结果中，在包的每一个标签取各个示例中激活最大的分量作为结果(相当于沿着示例维度做max操作)最终输出的1*标签个数的向量就是该包的预测结果，此时和包的标签做多标签二元损失得到损失函数，进行梯度回传。

五、在额外的图像数据上进行神经网络模型的性能验证

在得到训练好的神经网络模型后，需要用额外的图像数据集对其的性能进行评估。介于本案采用的是医学领域的数据集，具有特殊性，测试数据集分为多标签数据集与单标签数据集。由于神经网络模型预测产生的标签是连续值，最终需要离散化为0或1，单标签数据集中设置0.5作为离散化的阈值，在多标签数据集中设置0.42为离散化的阈值。基于多示例方法，在单标签数据集上，本案比现有技术中的经典基准模型展现出更优越的性能。在多标签数据集上，因采用图神经网络分类器建模了标签之间的潜在关系，使得其总体的F1指标可达到单标签数据集得到的F1指标。在单标签数据集上，经典基准模型的F1指标为0.61，采用本案中的方法为0.75。在多标签数据集上，经典基准模型为0.41，本发明中的方法为0.59。

以上仅是本发明众多具体应用范围中的代表性实施例，对本发明的保护范围不构成任何限制。凡采用变换或是等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (5)

1.一种基于动态标签分配的细胞抗核抗体荧光识别方法，其特征在于，包括：

图像预处理阶段A：

步骤A1.获取人体细胞的抗核抗体荧光图像数据集，对图像数据集进行清洗，其中，图像数据集即指抗核抗体荧光图像数据集，图像数据集中的各图像具有标签，各图像至少有一个类别的标签；

步骤A2.基于清洗后的图像数据集中的各图像构建多示例学习用的包和对应包的示例，并将各示例的尺寸缩放为一样，缩放后初始化示例的标签；

训练阶段B

步骤B1：基于残差卷积网络的特征提取器与图神经网络分类器构建神经网络模型；

步骤B2：基于包和对应包的示例，并采用动态标签分配技术训练残差卷积网络训练好后，去除最后的fc层得到训练好的特征提取器；

步骤B3：基于训练好的特征提取器提取步骤A2得到的各包对应的所有示例拼接成向量训练图神经网络分类器，其中，图神经网络分类器的损失函数为样本平衡的加权二元交叉熵损失；

预测阶段C

步骤C1：将待识别的抗核抗体荧光图像得到的包中的所有示例输入训练好的特征提取器进行特征提取，再将提取的特征输入图神经网络分类器，预测待识别的抗核抗体荧光图像的标签;

采用动态标签分配技术训练残差卷积网络的具体步骤为：

根据初始化后的标签或上一轮已部分修正后的标签，训练示例级分类器，其中示例分类器即指残差卷积网络；

训练后，固定示例级分类器的模型参数，并用当前示例级分类器计算每一个示例在每一个标签上的不确定度，即二元交叉熵；

基于最大似然估计方法和正态分布方法对每个标签的不确定度的值进行建模，得到不确定度的分布估计；

遍历每个示例对应的标签，若不确定度大于分布估计的百分位阈值，则将标签置零，即得到修正后的标签；

标签修改后，若迭代次数小于K，基于修正后的标签继续进行下次标签的修正，直到迭代次数达到K次；

迭代K次后，若示例的所有标签都修正为0，则剔除该示例;

所述图神经网络分类器的各层图卷积为：

其中，时表示第一层的输入，表示第层的输入，是一个维的矩阵，是图神经网络分类器中图中节点的个数，由于是标签关系图，等于标签数，是每个节点的特征向量，是用来描述图中节点关系的邻接矩阵，是图卷积层之间的激活函数;

所述图神经网络分类器的损失函数为：

其中，代表第个包，代表第个样本的第个标签，是第个包的第个标签的真实值，是第个包的第个标签的模型预测值，代表的是第个包的第个标签的二元交叉熵损失的值。

2.根据权利要求1所述的一种基于动态标签分配的细胞抗核抗体荧光识别方法，其特征在于，所述步骤A1中对图像数据集进行清洗具体为：

人工剔除图像数据集中具有大面积污染的图像；

人工剔除图像数据集中图像的内容与标签的类别明显不匹配的图像，类别明显不匹配表示图像中95%以上的区域内都没有出现跟对应标签相关的特征。

3.根据权利要求2所述的一种基于动态标签分配的细胞抗核抗体荧光识别方法，其特征在于，所述步骤A2的具体步骤为：

步骤A2.1：将清洗后的图像数据集中的各图像分别作为一个包；

步骤A2.2：将包对应的图像按固定比例裁剪为多个子图，每个子图作为包中的示例；

步骤A2.3：将所有包中的各示例的尺寸缩放为一样，并对包中的各示例进行标签初始化，即将包的标签赋值给示例，其中，包的标签即为各图像的标签。

4.根据权利要求3所述的一种基于动态标签分配的细胞抗核抗体荧光识别方法，其特征在于，所述特征提取器的结构为标准的Resnet50网络去除最后的fc层后得到的结构，图神经网络分类器为在经典的图神经网络分类器基础上将邻接矩阵修改为可学习参数的邻接矩阵，即指损失函数反向传播的时候能对邻接矩阵的参数进行更新。

5.一种基于动态标签分配的细胞抗核抗体荧光识别系统，其特征在于，包括：

图像预处理模块：

获取人体细胞的抗核抗体荧光图像数据集，对图像数据集进行清洗，其中，图像数据集即指抗核抗体荧光图像数据集，图像数据集中的各图像具有标签，各图像至少有一个类别的标签；

基于清洗后的图像数据集中的各图像构建多示例学习用的包和对应包的示例，并将各示例的尺寸缩放为一样，缩放后初始化示例的标签；

训练模块：

基于残差卷积网络的特征提取器与图神经网络分类器构建神经网络模型；

基于包和对应包的示例，并采用动态标签分配技术训练残差卷积网络训练好后，去除最后的fc层得到训练好的特征提取器；

基于训练好的特征提取器提取步骤A2得到的各包对应的所有示例拼接成向量训练图神经网络分类器，其中，图神经网络分类器的损失函数为样本平衡的加权二元交叉熵损失；

预测模块：

将待识别的抗核抗体荧光图像得到的包中的所有示例输入训练好的特征提取器进行特征提取，再将提取的特征输入图神经网络分类器，预测待识别的抗核抗体荧光图像的标签;

采用动态标签分配技术训练残差卷积网络的具体步骤为：

根据初始化后的标签或上一轮已部分修正后的标签，训练示例级分类器，其中示例分类器即指残差卷积网络；

训练后，固定示例级分类器的模型参数，并用当前示例级分类器计算每一个示例在每一个标签上的不确定度，即二元交叉熵；

基于最大似然估计方法和正态分布方法对每个标签的不确定度的值进行建模，得到不确定度的分布估计；

遍历每个示例对应的标签，若不确定度大于分布估计的百分位阈值，则将标签置零，即得到修正后的标签；

标签修改后，若迭代次数小于K，基于修正后的标签继续进行下次标签的修正，直到迭代次数达到K次；

迭代K次后，若示例的所有标签都修正为0，则剔除该示例;

所述图神经网络分类器的各层图卷积为：

其中，时表示第一层的输入，表示第层的输入，是一个维的矩阵，是图神经网络分类器中图中节点的个数，由于是标签关系图，等于标签数，是每个节点的特征向量，是用来描述图中节点关系的邻接矩阵，是图卷积层之间的激活函数;

所述图神经网络分类器的损失函数为：

其中，代表第个包，代表第个样本的第个标签，是第个包的第个标签的真实值，是第个包的第个标签的模型预测值，代表的是第个包的第个标签的二元交叉熵损失的值。

Images