CN115035330A - 一种面向环境变化的无监督迁移学习图像分类方法 - Google Patents

一种面向环境变化的无监督迁移学习图像分类方法 Download PDF

Info

Publication number
CN115035330A
CN115035330A CN202210461879.4A CN202210461879A CN115035330A CN 115035330 A CN115035330 A CN 115035330A CN 202210461879 A CN202210461879 A CN 202210461879A CN 115035330 A CN115035330 A CN 115035330A
Authority
CN
China
Prior art keywords
label
joint
data
ith
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210461879.4A
Other languages
English (en)
Inventor
黎铭
孙辉
周志华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202210461879.4A priority Critical patent/CN115035330A/zh
Publication of CN115035330A publication Critical patent/CN115035330A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向环境变化的无监督迁移学习图像分类方法，获取待分类图片，若不存在面向应用环境的模型，则从学习环境迁移学习新模型；收集训练数据，初始化模型；在伪标签生成器上，计算有标签样本的分类损失以及学习环境和应用环境数据的分布偏移损失，并生成部分伪标签；设计多个联合分类器输出二维联合概率同时预测图片主任务和自监督任务标签，计算联合分类器的分类损失；在联合分类器输出中，对自监督任务标签的边际概率积分，得到不同的概念标签；计算应用环境样本的不同概念标签间的一致性损失；累加所有损失，用梯度反向传播更新参数；迭代训练至最大迭代次数；用所有联合分类器对待分类图片的概念标签均值来预测。

Description

一种面向环境变化的无监督迁移学习图像分类方法
技术领域
本发明涉及一种面向环境变化的无监督迁移学习图像分类方法，属于图像分类技术领域。
背景技术
图像分类是最基础的人工智能应用场景之一，尤其是随着深度学习的发展，深度学习图像分类算法在自动驾驶、短视频个性化推荐，电商搜索等方面都有广泛的应用。深度学习图像分类系统，需要大量的有标签数据来进行监督学习，但是在很多实际应用环境中，给训练数据人工打标签的时间成本和经济成本都非常高。因此，在很多场景下只能从相似的学习环境中训练图像分类模型。比如在自动驾驶任务中，用汽车去真实的应用场景收集有监督的数据集是非常费时费力的。此时，如果能够在电脑模拟的环境中进行自动驾驶模型的训练，就能有效地节省时间、节能减排，同时对保障测试员的安全也具有重大意义。然而，电脑模拟的环境和真实的应用环境是有区别的，它们之间的数据存在数据分布偏移，这导致直接在真实的应用环境中使用模拟学习环境中训练的模型达到的效果往往十分不理想。因此，如何从有监督的学习环境到无监督的应用环境进行迁移学习是一个非常值得研究的问题。
发明内容
发明目的：深度图像分类系统的学习环境和应用环境往往是不同的，环境变化导致的数据分布偏移会让在学习环境中学到的模型在应用环境中表现不佳。针对这一问题，本发明提出了一种面向环境变化的无监督迁移学习图像分类方法。基于目标任务和不同的自监督辅助任务联合学习，从多个角度得到对应用环境中无监督样本的概念标签，并通过探寻不同概念标签之间的一致性来学习应用环境中样本的真实标签。该迁移学习图像分类系统旨在解决从有监督的学习环境到无监督的应用环境，由环境变化引起的数据分布偏移导致图像分类模型性能下降的问题。该方法能避免去新的应用环境中重新收集有标记的监督样本，在时间成本、经济成本、节能减排方面都有十分重要的意义。
技术方案：一种面向环境变化的无监督迁移学习图像分类方法，通过以下步骤，从数据分布有偏移的学习环境中学习到在应用环境中有效的模型：
步骤(1)在应用环境中获得新的待分类图片样本；
步骤(2)判断是否已存在完成面向应用环境的图像分类模型，如果不存在，转入步骤(3)，从学习环境到应用环境进行迁移学习构建图像分类模型；如果存在，转入步骤(13)；
步骤(3)如果模型更新迭代次数达到最大迭代次数，转入步骤(13)；如果没有转入步骤(4)；
步骤(4)从学习环境中获取大量有标记的图像数据作为监督样本，从应用环境中获取大量无标记的图像数据作为无监督样本，构建训练集；
步骤(5)初始化图像分类模型参数，模型训练过程中的超参数，以及若干个基于数据变换的自监督任务；
步骤(6)用残差神经网络接上一层全连接瓶颈网络提取图片数据的特征；
步骤(7)用伪标签生成器对无标签样本进行预测，并筛选出一些置信度高的伪标签；
步骤(8)计算有标签样本(包括伪标签)在伪标签生成器上的分类损失，在特征空间中计算学习环境和应用环境数据分布偏移损失；
步骤(9)将有标签样本的原始标签分别与当前样本的不同自监督任务标签进行组合，生成不同的二维联合标签。相应地用多层全连接神经网络构建多个联合分类器输出二维联合概率来预测所述联合标签，用联合标签计算所有联合分类器的平均分类损失；所述有标签样本包括伪标签样本；
步骤(10)在每个联合分类器的输出的二维联合概率中，对自监督任务标签分布的边际概率进行积分，得到每个联合分类器对目标任务的不同概念标签；
步骤(11)在所有应用环境样本上，计算每个联合分类器给出的概念标签间的一致性损失，以此对齐所述概念标签；
步骤(12)累加所有损失，用梯度反向传播的方式更新模型参数；迭代次数加一；转入步骤(3)；
步骤(13)根据每个基于数据变换的自监督任务类型，采用相应的数据变换集合对数据进行变换；
步骤(14)将经过不同的数据变换集合变换的数据输入到相应的自监督任务所对应的联合分类器中，得到对目标任务标签和相应的自监督任务标签的二维联合概率预测；
步骤(15)在每个联合分类器输出的二维联合概率分布中，对自监督所对应的边际分布进行积分，得到每个联合分类器对目标任务不同的概念标签；
步骤(16)将所有概念标签的均值作为概念标签的一致部分对待分类图片的标签进行预测。
有益效果：与现有技术相比，本发明能够避免去应用环境中重新收集有标记的监督学习样本来重新训练模型，从而有效地节省时间成本、人力成本，在很多应用场景中，对节能减排和安全性都能提供有效的帮助。
附图说明
图1为本发明实例如何对应用环境的图片进行分类的流程图；
图2为本发明实施例的图像分类无监督迁移学习模型的构建流程图；
图3为本发明实施例的预测过程中概念标签生成流程图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明对应用环境中的图片进行分类的流程图如图1所示。首先在应用环境中获取待分类的图片；如果不存在面向应用环境的模型，我们先从学习环境到应用环境进行迁移学习构建新的模型，即图2的子流程：从学习环境中获取大量有标记的监督样本，从应用环境中获取大量无标记的无监督样本，构建训练集；初始化模型参数，模型训练过程中的超参数，以及若干个帮助模型训练的自监督辅助任务；用残差卷积神经网络接上一层全连接瓶颈网络提取图片数据的特征；用伪标签生成器对无标签样本进行预测，并筛选出一些置信度高的伪标签；计算有标签样本(包括伪标签)在伪标签生成器上的分类损失，在特征空间中计算学习环境和应用环境数据分布偏移损失；用所有有标签的样本(包括伪标签)与该样本不同的自监督任务的标签生成多个二维联合标签，并相应的设计多个联合分类器输出二维联合概率来预测这些联合标签，用联合标签计算所有联合分类器的平均分类损失；在每个联合分类器的输出的二维联合概率中，对自监督任务标签分布的边际概率进行积分，得到每个联合分类器对目标任务不同的概念标签；在所有应用环境样本上对齐每个联合分类器给出的概念标签，计算它们之间的一致性损失；累加所有损失，用梯度传播的方式更新模型参数；迭代训练过程直到最大迭代次数；当模型训练完成后，进入图3的子流程：用所有联合分类器对当前待分类图片的概念标签的均值作为一致的概念标签来预测当前样本的真实标签。具体实施步骤如下：
步骤(0)是起始动作；
步骤(1)在应用环境中获得新的待分类图片样本；
步骤(2)判断是否已存在完成面向应用环境的图像分类模型，如果不存在，转入步骤(3)，从学习环境到应用环境迁移学习构建图像分类模型；如果存在，转入步骤(13)；
步骤(3)如果模型更新迭代次数达到最大迭代次数，转入步骤(13)；如果没有转入步骤(4)；
步骤(4)从学习环境中获取大量有标记的图像数据作为监督样本，从应用环境中获取大量无标记的图像数据作为无监督样本，构建训练集；
步骤(5)初始化模型参数，模型训练过程中的超参数，以及若干基于数据变换的自监督任务；
步骤(6)用残差神经网络接上一层全连接瓶颈网络提取图片数据的特征；
步骤(7)用伪标签生成器对无标签样本进行预测，并筛选出一些置信度高的伪标签；
步骤(8)计算有标签样本(包括伪标签)在伪标签生成器上的分类损失，在特征空间中计算学习环境和应用环境数据分布偏移损失；
步骤(9)将有标签样本的原始标签分别与当前样本的不同自监督任务标签进行组合，生成不同的二维联合标签。相应地用多层全连接神经网络构建多个联合分类器输出二维联合概率来预测所述联合标签，用联合标签计算所有联合分类器的平均分类损失；所述有标签样本包括伪标签样本；
步骤(10)在每个联合分类器的输出的二维联合概率中，对自监督任务标签分布的边际概率进行积分，得到每个联合分类器对目标任务不同的概念标签；
步骤(11)在所有应用环境样本上，计算每个联合分类器给出的概念标签间的一致性损失，以此对齐所述概念标签；
步骤(12)累加所有损失，用梯度传播的方式更新模型参数；迭代次数加一；换入步骤(3)；
步骤(13)根据每个基于数据变换的自监督任务类型，采用相应的数据变换集合对数据进行变换；
步骤(14)将经过不同的数据变换集合变换的数据输入到相应的自监督任务所对应的联合分类器中，得到对目标任务标签和相应的自监督任务标签的二维联合概率预测；
步骤(15)在每个联合分类器输出的二维联合概率分布中，对自监督所对应的边际分布进行积分，得到每个联合分类器对目标任务不同的概念标签；
步骤(16)将所有概念标签的均值作为概念标签的一致部分对待分类图片的标签进行预测。
为了更好的解释本发明的具体实施方式，设训练数据的输入空间是
Figure BDA0003620659830000041
跨环境共享的隐特征空间为
Figure BDA0003620659830000042
目标任务(主任务)标记空间，即分类任务的类别空间为
Figure BDA0003620659830000043
第i个自监督辅助任务的标记空间为
Figure BDA0003620659830000044
此外，有一个跨环境共享的特征提取器
Figure BDA0003620659830000045
以及每个自监督任务都有一个联合分类器，如第i个联合分类器写作
Figure BDA0003620659830000046
将
Figure BDA00036206598300000413
写作ci，表示特征提取器接上第i个联合分类器。此外，每个自监督任务都对应一个数据变换集合，比如第i个联合分类器对应的数据变换集合为
Figure BDA0003620659830000047
从学习环境到应用环境迁移学习构建图像分类模型流程图2中，先从学习环境中收集包含ns个有标签样本的源域数据集
Figure BDA0003620659830000048
Figure BDA0003620659830000049
表示源域的第i张图片，
Figure BDA00036206598300000410
表示源域的第i张图片的标签，从应用环境中收集有nt个无标签样本的目标域数据集
Figure BDA00036206598300000411
Figure BDA00036206598300000412
表示目标域的第i张图片。接下来，确定p个基于数据变换的自监督任务和每个自监督任务所对应的数据变换集合
Figure BDA0003620659830000051
每个数据变换集合(如第i个)有
Figure BDA0003620659830000052
个数据变换函数
Figure BDA0003620659830000053
及对应的自监督标签空间
Figure BDA0003620659830000054
在面向应用环境的模型中有一个伪标签生成器
Figure BDA0003620659830000055
此外，将
Figure BDA00036206598300000525
写作CPL,表示特征提取器接上伪标签生成器。先用伪标签生成器来给应用环境中的样本生成一些伪标签：
Figure BDA0003620659830000056
其中
Figure BDA0003620659830000057
表示目标域中的第i张图片，
Figure BDA0003620659830000058
表示目标域中第i张图片的伪标签。然后通过伪标签选择函数：
Figure BDA0003620659830000059
来选择出应用环境样本中伪标签
Figure BDA00036206598300000510
置信度高的样本：
Figure BDA00036206598300000511
其中τ表示置信度阈值。
计算有标签样本上的分类损失
Figure BDA00036206598300000512
如下：
Figure BDA00036206598300000513
其中
Figure BDA00036206598300000514
表示交叉熵分类损失，
Figure BDA00036206598300000515
表示一个有n个有标签样本的图像数据集，xi表示数据集D中的第i张图片，yi表示数据集D中第i张图片的标签；CPL表示特征提取器接上伪标签生成器；得到学习环境和应用环境的分布偏移损失：
Figure BDA00036206598300000524
其中，k.(·,·)为高斯核函数；
Figure BDA00036206598300000516
和
Figure BDA00036206598300000517
分别表示第i张源域图片和第j张目标域图片经过特征提取器F后在隐特征空间
Figure BDA00036206598300000518
中得到的隐特征；
Figure BDA00036206598300000519
和
Figure BDA00036206598300000520
分别表示伪标签生成器对第i张源域图片和第j张目标域图片的目标任务的标签预测。
然后用目标任务的标记空间
Figure BDA00036206598300000521
和所有自监督任务的标记空间作笛卡尔积，如第i个自监督任务的标记空间是
Figure BDA00036206598300000522
笛卡尔积结果
Figure BDA00036206598300000523
其中m表示目标任务有m个类别，
Figure BDA0003620659830000061
表示第i个自监督任务有
Figure BDA0003620659830000062
个类别；
Figure BDA0003620659830000063
表示当前样本在目标任务中数据第j类，标签是yj，同时在第i个自监督任务中属于第k类，标签是
Figure BDA0003620659830000064
计算二维分类器的平均损失
Figure BDA0003620659830000065
其中
Figure BDA0003620659830000066
表示第i个自监督辅助任务所对应的数据变换集合，DS表示源域数据集，
Figure BDA0003620659830000067
表示带有伪标签的目标域样本组成的数据集。将
Figure BDA00036206598300000619
写作Ci，表示特征提取器接上第i个联合分类器，那么其中第i个联合分类器在数据集D上的分类损失计算函数如下：
Figure BDA0003620659830000068
接下来，在联合分类器输出中，对自监督任务的边际概率分布进行积分，得到概念标签：
Figure BDA0003620659830000069
其中，
Figure BDA00036206598300000610
表示第i个联合分类器输出的二维概率，
Figure BDA00036206598300000611
表示第i个自监督任务标签的边际概率分布。
在基于数据变换时均匀地使用每个变换集合中的变换函数，即第i个自监督任务标签的边际概率分布是一个均匀分布:
Figure BDA00036206598300000612
在激活函数之前积分，那么第i个联合分类器的输出积分后得到的概念标签为：
Figure BDA00036206598300000613
其中，
Figure BDA00036206598300000614
表示在x上应用了的个数据变换集合
Figure BDA00036206598300000615
中的第k种数据变换方式
Figure BDA00036206598300000616
[:,k]表示取二维输出的的k列。
然后在所有应用环境数据上计算p个联合分类器给出的概念标签的一致性损失
Figure BDA00036206598300000617
Figure BDA00036206598300000618
其中，Pi(y|xk)和Pj(y|xk)分别表示第i个联合分类器和第j个联合分类器对第k个目标域样本的概念标签。
综上，累计所有损失
L＝LPL+Ltrans+Ljoint+LCC
使用梯度反向传播的方式来迭代更新模型参数直到最大迭代次数。
在预测待分类的应用环境图片时，将所有概念标签的均值作为概念标签的一致部分对待分类图片的标签进行预测，即
Figure BDA0003620659830000071
其中xt表示当前待分类的应用环境图片。

Claims (10)

1.一种面向环境变化的无监督迁移学习图像分类方法，其特征在于，包括如下步骤：
步骤(1)在应用环境中获得新的待分类图片样本；
步骤(2)判断是否已存在完成面向应用环境的图像分类模型，如果不存在，转入步骤(3)，从学习环境到应用环境进行迁移学习构建图像分类模型；如果存在，转入步骤(13)；
步骤(3)如果模型更新迭代次数达到最大迭代次数，转入步骤(13)；如果没有转入步骤(4)；
步骤(4)从学习环境中获取有标记的图像数据作为监督样本，从应用环境中获取无标记的图像数据作为无监督样本，构建训练集；
步骤(5)初始化图像分类模型参数，模型训练过程中的超参数，以及若干个基于数据变换的自监督任务；
步骤(6)用残差神经网络接上一层全连接瓶颈网络提取图片数据的特征；
步骤(7)用伪标签生成器对无标签样本进行预测，并筛选出一些置信度高的伪标签；
步骤(8)计算有标签样本在伪标签生成器上的分类损失，在特征空间中计算学习环境和应用环境数据分布偏移损失；所述有标签样本包括伪标签样本；
步骤(9)将有标签样本的原始标签分别与当前样本的不同自监督任务标签进行组合，生成不同的二维联合标签。相应地用多层全连接神经网络构建多个联合分类器输出二维联合概率来预测所述联合标签，用联合标签计算所有联合分类器的平均分类损失；所述有标签样本包括伪标签样本；
步骤(10)在每个联合分类器的输出的二维联合概率中，对自监督任务标签分布的边际概率进行积分，得到每个联合分类器对目标任务的不同概念标签；
步骤(11)在所有应用环境样本上，计算每个联合分类器给出的概念标签间的一致性损失，以此对齐所述概念标签；
步骤(12)累加所有损失，用梯度反向传播的方式更新模型参数；迭代次数加一；转入步骤(3)；
步骤(13)根据每个基于数据变换的自监督任务类型，采用相应的数据变换集合对数据进行变换；
步骤(14)将经过不同的数据变换集合变换的数据输入到相应的自监督任务所对应的联合分类器中，得到对目标任务标签和相应的自监督任务标签的二维联合概率预测；
步骤(15)在每个联合分类器输出的二维联合概率分布中，对自监督所对应的边际分布进行积分，得到每个联合分类器对目标任务不同的概念标签；
步骤(16)将所有概念标签的均值作为概念标签的一致部分对待分类图片的标签进行预测。
2.根据权利要求1所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，设：训练数据的输入空间是
Figure FDA0003620659820000021
跨环境共享的隐特征空间为
Figure FDA0003620659820000022
目标任务标记空间，即分类任务的类别空间为
Figure FDA0003620659820000023
第i个帮助图像分类模型训练的自监督辅助任务的标记空间为
Figure FDA0003620659820000024
跨环境共享的特征提取器
Figure FDA0003620659820000025
以及每个自监督任务都有一个联合分类器，第i个联合分类器写作
Figure FDA0003620659820000026
将
Figure FDA0003620659820000027
写作Ci，表示特征提取器接上第i个联合分类器；此外，每个自监督任务都对应一个数据变换集合，第i个联合分类器对应的数据变换集合为
Figure FDA0003620659820000028
3.根据权利要求1所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(4)中，先从学习环境中收集包含ns个有标签样本的源域数据集
Figure FDA0003620659820000029
Figure FDA00036206598200000210
表示源域的第i张图片，
Figure FDA00036206598200000211
表示源域的第i张图片的标签，从应用环境中收集有nt个无标签样本的目标域数据集
Figure FDA00036206598200000212
Figure FDA00036206598200000213
表示目标域的第i张图片。
4.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(5)中，确定p个基于数据变换的自监督任务和每个自监督任务所对应的数据变换集合
Figure RE-FDA0003727438190000023
第i个数据变换集合有
Figure RE-FDA0003727438190000024
个数据变换函数
Figure RE-FDA0003727438190000025
及对应的自监督标签空间
Figure RE-FDA0003727438190000026
5.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(7)中，在模型中有一个伪标签生成器
Figure FDA00036206598200000218
将
Figure FDA00036206598200000219
写作CPL，表示特征提取器接上伪标签生成器；先用伪标签生成器来给应用环境中的样本生成一些伪标签：
Figure FDA00036206598200000220
其中
Figure FDA00036206598200000221
表示目标域中的第i张图片，
Figure FDA00036206598200000222
表示目标域中第i张图片的伪标签；然后通过伪标签选择函数：
Figure FDA00036206598200000223
来选择出应用环境样本中伪标签
Figure FDA00036206598200000224
置信度高的样本：
Figure FDA00036206598200000225
其中τ表示置信度阈值。
6.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(8)中，计算有标签样本上的分类损失
Figure FDA00036206598200000226
如下：
Figure FDA00036206598200000227
其中
Figure FDA00036206598200000228
表示交叉熵分类损失，
Figure FDA00036206598200000229
表示一个有n个有标签样本的图像数据集，xi表示数据集D中的第i张图片，yi表示数据集D中第i张图片的标签；CPL表示特征提取器接上伪标签生成器；得到学习环境和应用环境的分布偏移损失：
Figure FDA0003620659820000031
其中，k.(·,·)为高斯核函数；
Figure FDA0003620659820000032
和
Figure FDA0003620659820000033
分别表示第i张源域图片和第j张目标域图片经过特征提取器F后在隐特征空间
Figure FDA0003620659820000034
中得到的隐特征；
Figure FDA0003620659820000035
和
Figure FDA0003620659820000036
分别表示伪标签生成器对第i张源域图片和第j张目标域图片的目标任务标签的预测。
7.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(9)中，用目标任务的标记空间
Figure FDA0003620659820000037
和所有自监督任务的标记空间作笛卡尔积，第i个自监督任务的标记空间是
Figure FDA0003620659820000038
笛卡尔积结果
Figure FDA0003620659820000039
其中m表示目标任务有m个类别，
Figure FDA00036206598200000310
表示第i个自监督任务有
Figure FDA00036206598200000311
个类别；
Figure FDA00036206598200000312
表示当前样本在目标任务中数据第j类，标签是yj，同时在第i个自监督任务中属于第k类，标签是
Figure FDA00036206598200000313
计算二维分类器的平均损失
Figure FDA00036206598200000314
其中
Figure FDA00036206598200000315
表示第i个自监督辅助任务所对应的数据变换集合，Ds表示源域数据集，
Figure FDA00036206598200000316
表示带有伪标签的目标域样本组成的数据集。将
Figure FDA00036206598200000317
写作Ci，表示特征提取器接上第i个联合分类器，那么其中第i个联合分类器在数据集D上的分类损失计算函数如下：
Figure FDA00036206598200000318
其中D表示一个包含n个有标签样本的数据集，可以是Ds或者
Figure FDA00036206598200000319
Figure FDA00036206598200000320
表示第i个自监督任务的数据变换集合
Figure FDA00036206598200000321
中的第k种数据变换方式，
Figure FDA00036206598200000322
则表示采用了这种变换方式之后所对应的在第i个自监督任务中的标签。
8.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(10)中，在联合分类器输出中，对自监督任务的边际概率分布进行积分，得到概念标签：
Figure FDA0003620659820000041
其中，
Figure FDA0003620659820000042
表示第i个联合分类器输出的二维概率，
Figure FDA0003620659820000043
表示第i个自监督任务标签的边际概率分布。
在基于数据变换时均匀地使用每个变换集合中的变换函数，即第i个自监督任务标签的边际概率分布是一个均匀分布：
Figure FDA0003620659820000044
在激活函数之前积分，那么第i个联合分类器的输出积分后得到的概念标签为：
Figure FDA0003620659820000045
其中，
Figure FDA0003620659820000046
表示在x上应用了的个数据变换集合
Figure FDA0003620659820000047
中的第k种数据变换方式
Figure FDA0003620659820000048
[:,k]表示取二维输出的的k列。
9.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(11)中，在所有应用环境数据上计算p个联合分类器给出的概念标签的一致性损失
Figure FDA0003620659820000049
Figure FDA00036206598200000410
其中，Pi(y|xk)和Pj(y|xk)分别表示第i个联合分类器和第j个联合分类器对第k个目标域样本的概念标签。
10.根据权利要求2所述的面向环境变化的无监督迁移学习图像分类方法，其特征在于，所述步骤(12)-(13)中，累计所有损失
L＝LpL+Ltrans+Ljoint+LCC
使用梯度反向传播的方式来迭代更新模型参数直到最大迭代次数；
在预测待分类的应用环境图片时，将所有概念标签的均值作为概念标签的一致部分对待分类图片的标签进行预测，即
Figure FDA00036206598200000411
其中xt表示当前待分类的应用环境图片。
CN202210461879.4A 2022-04-28 2022-04-28 一种面向环境变化的无监督迁移学习图像分类方法 Pending CN115035330A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210461879.4A CN115035330A (zh) 2022-04-28 2022-04-28 一种面向环境变化的无监督迁移学习图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210461879.4A CN115035330A (zh) 2022-04-28 2022-04-28 一种面向环境变化的无监督迁移学习图像分类方法

Publications (1)

Publication Number Publication Date
CN115035330A true CN115035330A (zh) 2022-09-09

Family

ID=83119687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210461879.4A Pending CN115035330A (zh) 2022-04-28 2022-04-28 一种面向环境变化的无监督迁移学习图像分类方法

Country Status (1)

Country Link
CN (1) CN115035330A (zh)

Similar Documents

Publication Publication Date Title
CN114241282B (zh) 一种基于知识蒸馏的边缘设备场景识别方法及装置
Alzubaidi et al. A survey on deep learning tools dealing with data scarcity: definitions, challenges, solutions, tips, and applications
CN114067160B (zh) 基于嵌入平滑图神经网络的小样本遥感图像场景分类方法
CN111191732B (zh) 一种基于全自动学习的目标检测方法
Mendel et al. Semi-supervised segmentation based on error-correcting supervision
CN110084296B (zh) 一种基于特定语义的图表示学习框架及其多标签分类方法
CN107330074B (zh) 基于深度学习和哈希编码的图像检索方法
CN110909820A (zh) 基于自监督学习的图像分类方法及系统
CN111369572A (zh) 一种基于图像修复技术的弱监督语义分割方法和装置
CN108399406A (zh) 基于深度学习的弱监督显著性物体检测的方法及系统
Kasarla et al. Region-based active learning for efficient labeling in semantic segmentation
CN111127364B (zh) 图像数据增强策略选择方法及人脸识别图像数据增强方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN113010683B (zh) 基于改进图注意力网络的实体关系识别方法及系统
CN111476315A (zh) 一种基于统计相关性与图卷积技术的图像多标签识别方法
CN113065013B (zh) 图像标注模型训练和图像标注方法、系统、设备及介质
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN112132149A (zh) 一种遥感影像语义分割方法及装置
Kye et al. Meta-learned confidence for few-shot learning
CN112199532A (zh) 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置
Cen et al. Open-world semantic segmentation for lidar point clouds
CN112052818A (zh) 无监督域适应的行人检测方法、系统及存储介质
CN115358305A (zh) 一种基于边界样本迭代生成的增量学习鲁棒性提升方法
CN112183464A (zh) 基于深度神经网络和图卷积网络的视频行人识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination