CN115439715A - 基于反标签学习的半监督少样本图像分类学习方法及系统 - Google Patents

Abstract

本发明公开了一种基于反标签学习的半监督少样本图像分类学习方法及系统，方法包括：构造元任务，使用预训练的神经网络作为特征提取器，提取元任务中对应数据的特征，并在支持集上训练一个分类器用于后续分类任务；反标签学习模块以较高正确率给无标签数据打上反标签，分类器在反标签上进行学习更新，不断迭代直到无法选出反标签；在反标签模块迭代结束之后，得到类别均衡且正确率较高的正标签，并用分类器进行学习更新。本发明充分且高质量的利用无标签数据，可以获得更高的少样本学习图像分类准确率。

Description

基于反标签学习的半监督少样本图像分类学习方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及一种基于反标签学习的半监督少样本图像分类学习方法及系统。

背景技术

随着深度学习的发展，卷积神经网络在多个图像任务上已经超过了人类的水平，但是这些模型的训练依赖大量的数据，在现实生活中有些数据的采集难度较大，例如对濒危鸟类等数据的收集，另外这些数据的标注也需要耗费大量的人力和财力。相比之下，人类视觉系统可以从少量的例子中快速学习到新的概念和特征，然后在新的数据中识别相似的对象。为了模仿人类的这种快速学习的能力，减少方法对于数据的依赖，少样本学习近年来受到了越来越多的关注。少样本学习旨在结合先验知识快速地泛化到只包含少量有监督信息的样本的新任务中，在此设定下识别每个类别仅需要极少甚至一张带标签的样本，所以可以极大的减小人工标注成本。

基于少样本学习这样数据量较少的设定，一个需要面临的问题就是，在极少的带标注数据上，很难让模型较好的拟合到数据的分布。因此为了解决这样的问题，少样本学习中出现了结合半监督的研究方向。

另外为了解决数据标注困难的问题，反标签学习的方法也应运而生。反标签顾名思义就是给数据打上相反的标签，是一种间接的方式代表该数据不属于某个类别。这样的做法可以大大降低数据标注的错误，例如对于一个5分类问题来说，给数据打真实标签即正标签错误的概率为给数据打反标签错误概率的4倍。另外在半监督少样本学习当中，由于带标签数据很少，因此模型在初始阶段很难有好的效果。用这样的模型给无标签数据标记伪标签将会出现大量的错误以及类别不平衡的现象。在这样的情况结合反标签学习的方法就可以解决这样的问题。本发明研究的基于反标签学习的半监督少样本学习方法，针对半监督少样本学习，设计适合的反标签标注方法，并结合反标签学习解决半监督少样本学习中出现的无标签数据利用不充分等问题。

目前，出现了许多研究半监督少样本学习的方法，但依然存在一些问题：1)给无标签数据标注伪标签的正确率较低，错误标记的样本会影响最后的结果；2)无标签数据上标注的伪标签存在类别不平衡现象；3)方法较为复杂。

发明内容

本发明的目的在于提供一种基于反标签学习的半监督少样本图像分类学习方法及系统。

实现本发明目的的技术方案为：第一方面，本发明提供一种基于反标签学习的半监督少样本图像分类学习方法，包括以下步骤：

步骤1，构造元任务，使用预训练的神经网络作为特征提取器用来提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

步骤2，反标签学习模块以较高的95％正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

步骤3，正标签学习模块得到类别均衡且正确率高达85％的正标签，并用分类器进行学习更新。

步骤4，用训练好的分类器在查询集上预测得到最后图像分类的类别结果。

第二方面，本发明提供一种基于反标签学习的半监督少样本图像分类学习系统，包括：

特征提取模块，用于构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

反标签学习模块，用于以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

正标签学习模块，用于得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；

用训练好的分类器在查询集上预测得到最后图像分类的类别结果。

第三方面，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述第一方面所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述的方法。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的方法。

本发明与现有技术相比，其显著优点为：(1)本发明设计的反标签学习模块，通过给无标签图像数据标注反标签并进行学习的方式，在模型效果还不好的初始阶段，大大降低给无标签图像数据标注标签的错误率；(2)经过反标签学习模块之后，本发明设计的正标签学习模块可以得到正确率高且类别均衡的正标签，继续对模型进行训练；(3)本发明提出的方法相较于之前的方法流程简单，可以更充分且高质量利用无标签图像数据进行学习，最后在图像分类任务上得到了更好的效果。

附图说明

图1为本发明基于反标签学习的半监督少样本图像分类学习方法流程图。

具体实施方式

结合图1，一种基于反标签学习的半监督少样本图像分类学习方法，具体包括以下步骤：

步骤1，构造元任务，使用预训练的神经网络作为特征提取器用于提取图像数据，提取元任务中支持集、查询集以及无标签图像数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

首先通过卷积神经网络提取元任务中对应数据集合的特征：

x^{set∈{S,Q,U}}＝F(I；θ_r) (1)

其中I为输入数据，F(·；θ_r)为预训练的卷积神经网络模型，其中θ_r为该模型的参数。x^set为set集合提取出来的特征，set可取S、Q或U，分别代表支持集、查询集以及无标签数据集。

接着初始化分类器f(·；θ_c)，其中θ_c为该分类器参数。用分类器将x^S映射到对应的概率空间：

p^S＝f(x^S；θ_c) (2)

接着使用交叉熵损失进行训练，其中交叉熵损失表示如下：

步骤2，构建反标签学习模块，以95％的正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

首先，使用分类器f(·；θ_c)，将无标签数据映射到类别的概率空间：

p^U＝f(x^U；θ_c) (4)

其中x^U为公式(1)中得到的无标签数据特征，p^U为无标签数据经过分类器映射后得到的类别后验概率值，上标U代表无标签数据。下面进行反标签学习模块的第一轮迭代，挑选反标签方法如下：

其中k代表p^U中概率最小的对应的位置，即对应概率最小的类别，

为对应类别的概率值，δ作为挑选反标签的阈值，

为当前输入数据的反标签，即当概率最小类别的概率值小于该阈值的时候，反标签取1，此时反标签类别为k，当不满足条件时该样本不参与本轮的迭代。

经过第一轮迭代，得到了无标签数据中被标记上反标签数据的集合

其中i表示挑选出来的反标签数据的下标，这里N_j为第j次迭代中按照公式(5)挑选出数据的数量，其中j代表迭代的次数。

和

分别代表挑选出的第i个数据的特征向量以及对应的反标签。

反标签学习模块中，针对少样本学习的特点，设计了迭代挑选反标签的策略，对于一个输入数据而言已经标记过的反标签类别，在之后的迭代过程中将不再考虑该类别。这里定义一个列表记录每个数据在每次迭代中挑选的反标签：

其中

为本次迭代中满足条件的样本标记的反标签，有些样本无法满足条件，这里为了展现所有的情况，因此将一些列表中设置为空。M为无标签数据集U的数据量，类别数为C，即

接下来将公式(2)的交叉熵损失函数进行改动，使得其可以用来在

上训练分类器f(·；θ_c)，形式如下：

至此反标签学习模块中的第一轮迭代结束，接着循环上方的步骤，直到在迭代中无法挑选出满足条件的反标签数据，即迭代停止。

步骤2的反标签学习模块通过迭代的方式给无标签图像数据打反标签，迭代结束之后将排除对于数据极不置信的标签，即在迭代中被挑选的反标签。正标签学习模块通过对Position列表进行判断，对于一个输入数据而言，如果其只剩下一个标签没有被打上反标签，即将该标签作为这个数据的正标签，若有多个标签没有被打上反标签，则舍弃该样本，不参与之后的过程。得到带有正标签的数据集合

其中L为符合条件被挑选出来标记正标签的数据数量。接下来用分类器f(·；θ_c)在

上使用公式2进行训练。

步骤4用训练好的分类器在查询集的特征上预测得到最后的类别结果。

首先用分类器f(·；θ_c)，将查询集特征映射到和类别相关的概率空间：

p^Q＝f(x^Q；θ_c) (8)

其中x^Q为公式(1)得到的查询集的特征，接着对输出的概率p^Q进行处理，得到输入数据的类别为：

其中i表示查询集中数据的位置，查询集数据共有E个，则这里的i∈[0,1,2,...,E]。

本发明基于反标签学习的半监督少样本图像分类学习方法，是利用反标签学习模块以及正标签学习模块提供更多更高质量的图像数据标签，最后提高少样本图像分类任务的准确率。

本发明可以用于具体的实施例中，例如对于少样本鸟类数据的图像分类任务，下面对这个实施例进行说明和描述。

实施例

与上述进行图像分类步骤一致，首先通过卷积神经网络提取元任务中对应少样本鸟类数据集合的特征：

x^{set∈{S,Q,U}}＝F(I；θ_r) (1)

其中I为输入的鸟类图像数据，F(·；θ_r)为预训练的卷积神经网络模型，其中θ_r为该模型的参数。x^set为set集合提取出来的鸟类图像特征，set可取S、Q或U，分别代表支持集、查询集以及无标签数据集。

接着初始化分类器f(·；θ_c)用于鸟类图像分类，其中θ_c为该分类器参数。用分类器将x^S映射到对应的概率空间：

p^S＝f(x^S；θ_c) (2)

接着使用交叉熵损失进行训练，其中交叉熵损失表示如下：

在步骤2中，使用分类器f(·；θ_c)，将无标签鸟类图像数据映射到类别的概率空间：

p^U＝f(x^U；θ_c) (4)

其中x^U为公式(1)中得到的无标签鸟类图像特征，p^U为无标签鸟类图像数据经过分类器映射后得到的类别后验概率值,上标U代表无标签鸟类图像数据。下面进行反标签学习模块的第一轮迭代，挑选反标签方法如下：

其中k代表p^U中概率最小的对应的位置，即对应概率最小的类别，表示该类别最不可能是当前鸟类图像数据的类别，

为对应类别的概率值，δ作为挑选反标签的阈值，

为当前输入鸟类数据的反标签，即当概率最小类别的概率值小于该阈值的时候，反标签取1，此时反标签类别为k，当不满足条件时该样本不参与本轮的迭代。

经过第一轮迭代，得到了无标签数据中被标记上反标签数据的集合

其中i表示挑选出来的反标签数据的下标，这里N_j为第j次迭代中按照公式(5)挑选出数据的数量，其中j代表迭代的次数。

和

分别代表挑选出的第i个数据的特征向量以及对应鸟类数据的反标签。

反标签学习模块中，根据上述算法描述，可以迭代地挑选鸟类数据反标签，对于一个输入数据而言已经标记过的反标签类别，在之后的迭代过程中将不再考虑该类别。这里定义一个列表记录每个鸟类数据在每次迭代中挑选的反标签：

其中

为本次迭代中满足条件的样本标记的反标签，有些样本无法满足条件，这里为了展现所有的情况，因此将一些列表中设置为空。M为无标签鸟类数据集U的数据量，类别数为C，即

接下来将公式(2)的交叉熵损失函数进行改动，使得其可以用来在

上训练分类器f(·；θ_c)用于后续的少样本鸟类分类任务，形式如下：

至此反标签学习模块中的第一轮迭代结束，接着循环上方的步骤，直到在迭代中无法挑选出满足条件的反标签数据，即迭代停止。

正标签学习模块通过对Position列表进行判断，对于一个输入数据而言，如果其只剩下一个标签没有被打上反标签，即将该标签作为这个鸟类数据的正标签，若有多个标签没有被打上反标签，则舍弃该样本，不参与之后的过程。得到带有正标签的数据集合

其中L为符合条件被挑选出来标记正标签的数据数量。接下来用分类器f(·；θ_c)在

上使用公式(2)进行训练。

在接下来的步骤中，用分类器f(·；θ_c)，将查询集特征映射到和鸟类类别相关的概率空间：

p^Q＝f(x^Q；θ_c) (8)

其中x^Q为公式(1)得到的查询集的特征，接着对输出的概率p^Q进行处理，得到输入数据鸟的类别为：

其中i表示查询集中数据的位置，查询集数据共有E个，则这里的i∈[0,1,2,...,E]。

通过以上步骤可以得到少样本鸟类图像的具体类别，在具体实施过程中，构造少样本鸟类数据集，在该数据集上相对于过往方法，在方法流程相对简单的情况下，对鸟类数据打正标签的正确率大大提高，同时在最后的鸟类图像分类任务上相比传统方法90％的正确率高出4个百分点，取得94％的正确率。

基于同样的发明构思，本发明实施例还提供了一种基于反标签学习的半监督少样本图像分类学习系统，包括：

特征提取模块，用于构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

反标签学习模块，用于以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

正标签学习模块，用于得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；

用训练好的分类器在查询集上预测得到最后图像分类的类别结果。

上述半监督少样本图像分类学习系统中的各个模块的具体实现方式与前述的实时红外成像仿真方法各步骤相同，此处不再赘述。其中第一正确率为95％，第二正确率为85％。

在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于反标签学习的半监督少样本图像分类学习方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述基于反标签学习的半监督少样本图像分类学习方法。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述基于反标签学习的半监督少样本图像分类学习方法。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于反标签学习的半监督少样本图像分类学习方法，其特征在于，包括以下步骤：

步骤1，构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

步骤2，反标签学习模块以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

步骤3，正标签学习模块得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；

步骤4，用训练好的分类器在查询集上预测得到最后图像分类的类别结果。

2.根据权利要求1所述的基于反标签学习的半监督少样本图像分类学习方法，其特征在于，步骤1中，利用预训练的卷积神经网络模型提取元任务中支持集、查询集以及无标签图像数据集的特征，接着在支持集的特征上训练一个分类器，具体如下：

通过卷积神经网络提取元任务中对应图像数据集合的特征：

x^{set∈{S,Q，U}}＝F(I；θ_r) (1)

其中I为输入数据，F(·；θ_r)为预训练的卷积神经网络模型，θ_r为该模型的参数；x^set为set集合提取出来的特征，set取S、Q或U，分别代表支持集、查询集以及无标签数据集；

初始化分类器f(·；θ_c)，其中θ_c为该分类器参数；用分类器将x^S映射到对应的概率空间：

p^s＝f(x^S；θ_c) (2)

使用交叉熵损失进行训练，其中交叉熵损失表示如下：

3.根据权利要求2所述的基于反标签学习的半监督少样本学习方法，其特征在于，构建反标签学习模块，该模块以迭代的方式，通过对无标签数据的处理挑选出反标签并用于分类器的学习，直到无法挑选出符合条件的数据则迭代结束；

首先，使用分类器f(·；θ_c)，将无标签数据映射到类别的概率空间：

P^U＝f(x^U；θ_c) (4)

其中x^U为公式(1)中得到的无标签数据特征，p^U为无标签数据经过分类器映射后得到的类别后验概率值，上标U代表无标签数据；

进行反标签学习模块的第一轮迭代，挑选反标签方法如下：

其中k代表p^U中概率最小的对应的位置，即对应概率最小的类别，

为对应类别的概率值，δ作为挑选反标签的阈值，

为当前输入数据的反标签，即当概率最小类别的概率值小于该阈值时，反标签取1，此时反标签类别为k，当不满足条件时该样本不参与本轮的迭代；

经过第一轮迭代，得到无标签数据中被标记上反标签数据的集合

其中i表示挑选出来的反标签数据的下标，这里N_j为第j次迭代中按照公式(5)挑选出数据的数量，其中j代表迭代的次数；

和

分别代表挑选出的第i个数据的特征向量以及对应的反标签；

反标签学习模块中，设计迭代挑选反标签的策略，对于一个输入数据，已经标记过的反标签类别，在之后的迭代过程中将不再考虑该类别；定义一个列表记录每个数据在每次迭代中挑选的反标签：

其中

为本次迭代中满足条件的样本标记的反标签，有些样本无法满足条件，因此将一些列表中设置为空；M为无标签数据集U的数据量，类别数为C，即

将交叉熵损失函数进行修改，使其能够用来在

上训练分类器f(·；θ_c)，形式如下：

至此第一轮迭代结束，接着循环前述步骤，直到在迭代中无法挑选出满足条件的反标签数据，即迭代停止。

4.根据权利要求3所述的基于反标签学习的半监督少样本图像分类学习方法，其特征在于，步骤2中，反标签学习模块通过迭代的方式给无标签图像数据打反标签，迭代结束之后将排除对于数据极不置信的标签，即在迭代中被挑选的反标签；正标签学习模块通过对Position列表进行判断，对于一个输入数据而言，如果其只剩下一个标签没有被打上反标签，即将该标签作为这个数据的正标签，若有多个标签没有被打上反标签，则舍弃该样本，不参与之后的过程；得到带有正标签的数据集合

其中L为符合条件被挑选出来标记正标签的数据数量；接下来用分类器f(·；θ_c)在

上使用公式(2)进行训练。

5.根据权利要求3所述的基于反标签学习的半监督少样本图像分类学习方法，其特征在于，步骤4用训练好的分类器在查询集的特征上预测得到最后的类别结果，具体如下：

首先用分类器f(·；θ_c)，将查询集特征映射到和类别相关的概率空间：

p^Q＝f(x^Q；θ_c) (8)

其中x^Q为公式(1)得到的查询集的特征；

接着对输出的概率p^Q进行处理，得到输入数据的类别为：

其中i表示查询集中数据的位置，查询集数据共有E个，则i∈[0,1,2,...,E]。

6.根据权利要求1所述的基于反标签学习的半监督少样本图像分类学习方法，其特征在于，第一正确率为95％，第二正确率为85％。

7.一种基于反标签学习的半监督少样本图像分类学习系统，其特征在于，包括：

特征提取模块，用于构造元任务，使用预训练的神经网络作为特征提取器提取图像数据，提取元任务中支持集、查询集以及无标签数据集对应的特征，并在支持集上训练一个分类器，用于后续图像分类任务；

反标签学习模块，用于以第一正确率给无标签图像数据打上反标签，用分类器在反标签上进行学习更新，通过不断迭代直到无法选出反标签；

正标签学习模块，用于得到类别均衡且满足第二正确率的正标签，并用分类器进行学习更新；

用训练好的分类器在查询集上预测得到最后图像分类的类别结果。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-6中任一所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6中任一所述的方法的步骤。

Images