CN113139651A - 基于自监督学习的标签比例学习模型的训练方法和设备 - Google Patents

基于自监督学习的标签比例学习模型的训练方法和设备 Download PDF

Info

Publication number
CN113139651A
CN113139651A CN202010067820.8A CN202010067820A CN113139651A CN 113139651 A CN113139651 A CN 113139651A CN 202010067820 A CN202010067820 A CN 202010067820A CN 113139651 A CN113139651 A CN 113139651A
Authority
CN
China
Prior art keywords
training
supervised
information
loss function
supervision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010067820.8A
Other languages
English (en)
Inventor
刘佳斌
林宙辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecom R&D Center
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CN202010067820.8A priority Critical patent/CN113139651A/zh
Publication of CN113139651A publication Critical patent/CN113139651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

由于弱监督学习中的监督信息太少，所以直接通过少量监督信息训练的分类器很难在性能上与基于监督信息构建的分类器的性能相当。本公开旨在提出通过基于自监督的方式来增强弱监督机器学习算法的分类性能的方法。弱监督学习的具体体现之一为标签比例学习。一种标签比例学习模型的训练方法，包括：接收用于标签比例学习的弱监督训练数据；基于弱监督训练数据来构建监督信息；以及通过基于多任务构建的损失函数、采用弱监督训练数据和自监督训练数据来训练标签比例学习模型，其中，基于多任务构建的损失函数为对应于弱监督训练数据的弱监督损失函数与对应于监督信息的自监督损失函数的加权和。

Description

基于自监督学习的标签比例学习模型的训练方法和设备
技术领域
本公开涉及人工智能领域，更具体地，本公开涉及一种基于自监督学习的标签比例学习模型的训练方法和设备。
背景技术
标签比例学习(Learning from Label Proportions，LLP)是一种特殊的弱监督分类学习算法，其特殊性在于给定样本中的标签不是以“属性-标签”的形式给出，而是以组(group)或者说包(bag)的形式组合在一起，其中，在每个包中只给出了不同类别的比例信息。该算法的最终的目的是通过这样的信息来获得一个基于样本级别的分类器，以预测一个新样本对应的类别标签值。
现有的基于标签比例学习算法模型中，在进行模型更新时只使用了原有的少量的基于比例的监督信息，导致无法获得一个可以和监督模型相媲美的模型，特别是在信息比较少时，很难得到一个满意的分类器。
发明内容
因此，本公开的各方面提供了一种用于基于自监督学习的标签比例学习模型的训练方法，在不进行任何额外的数据标注的情况下引入新的“监督”信息进行训练，从而提高模型的性能。
根据本公开一个方面，提供了一种标签比例学习模型的训练方法，包括：训练数据接收步骤，接收用于标签比例学习的弱监督训练数据；监督信息构建步骤，基于弱监督训练数据来构建监督信息；以及训练步骤，通过基于多任务构建的损失函数、采用弱监督训练数据和监督信息来训练标签比例学习模型，其中，基于多任务构建的损失函数是基于对应于弱监督训练数据的弱监督损失函数与对应于监督信息的自监督损失函数的。
此外，根据本公开一个方面的训练方法，其中，基于多任务构建的损失函数为对应于弱监督训练数据的弱监督损失函数与对应于监督信息的自监督损失函数的加权和。
此外，根据本公开一个方面的训练方法，其中，训练步骤还包括：通过基于第一参数的特征提取函数，对弱监督训练数据和监督信息进行特征提取。
此外，根据本公开一个方面的训练方法，其中，基于第一参数、弱监督训练数据和特定于弱监督训练数据的第二参数来构建弱监督损失函数；以及基于第一参数、监督信息和特定于监督信息的第三参数来构建弱监督损失函数。
此外，根据本公开一个方面的训练方法，其中，训练步骤还包括：同时更新第一参数、第二参数和第三参数。
此外，根据本公开一个方面的训练方法，还包括：每当针对全部弱监督训练数据完成一次训练时，则对监督信息进行洗牌。
此外，根据本公开一个方面的训练方法，其中，监督信息构建步骤包括：通过去除弱监督训练数据中的比例信息来获取无监督数据；以及基于无监督数据通过自监督方式来构建监督信息。
此外，根据本公开一个方面的训练方法，其中，自监督方式之一为矩阵变换。
此外，根据本公开一个方面的训练方法，其中，弱监督损失函数之一是基于比例的交叉熵损失函数。
此外，根据本公开一个方面的训练方法，其中，基于多任务构建的损失函数中的权重用于控制弱监督损失函数与自监督损失函数的相对重要性。
根据本公开的一个方面，提供了一种用于图像处理的标签比例学习模型的训练方法，训练方法包括：训练图像集接收步骤，接收用于标签比例学习的弱监督训练图像集；监督信息构建步骤，基于弱监督训练图像集来构建监督信息；以及训练步骤，通过基于多任务构建的损失函数、采用弱监督训练图像集和监督信息来训练标签比例学习模型，其中，基于多任务构建的损失函数是基于对应于弱监督训练数据的弱监督损失函数与对应于监督信息的自监督损失函数的。
此外，根据本公开一个方面的训练方法，其中，该基于多任务构建的损失函数为对应于弱监督训练图像集的弱监督损失函数与对应于监督信息的自监督损失函数的加权和。
此外，根据本公开一个方面的训练方法，其中，训练步骤还包括：通过基于第一参数的特征提取函数，对弱监督训练图像集和监督信息进行特征提取。
此外，根据本公开一个方面的训练方法，其中，基于第一参数、弱监督训练图像集和特定于弱监督训练图像集的第二参数来构建弱监督损失函数；以及基于第一参数、监督信息和特定于监督信息的第三参数来构建弱监督损失函数。
此外，根据本公开一个方面的训练方法，其中，训练步骤还包括：同时更新第一参数、第二参数和第三参数。
此外，根据本公开一个方面的训练方法，还包括：每当针对全部弱监督训练图像集完成一次训练时，则对监督信息进行洗牌。
此外，根据本公开一个方面的训练方法，其中，监督信息构建步骤包括：通过去除弱监督训练图像集中的比例信息来获取无监督图像集；以及基于无监督图像集通过自监督方式来构建监督信息。
此外，根据本公开一个方面的训练方法，其中，所述自监督方式之一为旋转法。
此外，根据本公开一个方面的训练方法，其中，弱监督损失函数之一是基于比例的交叉熵损失函数。
此外，根据本公开一个方面的训练方法，其中，自监督损失函数之一是基于角度预测的四分类损失函数：
Figure BDA0002376475030000031
其中，LCE为具有四分类的标准交叉熵损失、fθ()为目标标签比例学习模型、θ为目标比例标签模型的参数、r为旋转角度、
Figure BDA0002376475030000032
为四个旋转角度{0°，90°，180°，270°}的集合、
Figure BDA0002376475030000033
为无监督训练图像集以及xr为旋转后的图像。
此外，根据本公开一个方面的训练方法，其中，基于多任务构建的损失函数中的权重用于控制弱监督损失函数与自监督损失函数的相对重要性。
根据本公开的一个方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储计算机程序指令；其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行前述的训练方法。
根据本公开的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令由所述处理器加载并运行时，执行前述的训练方法。
附图说明
通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的附图标记通常代表相同部件或步骤。
图1示出了根据本公开的实施例的基于自监督的标签比例学习模型的训练方法的一般流程。
图2是示出了根据本公开的实施例的基于自监督的标签比例学习模型的训练方法的流程图。
图3示出了根据本公开的实施例的基于自监督的标签比例学习的训练方法应用于图像处理的一般流程。
图4示出了根据图3所示的训练方法的训练效果。
图5示出了根据本公开的实施例的基于自监督的标签比例学习的训练方法应用于选举结果预测的一般流程。
图6示出了根据本公开的实施例的基于自监督的标签比例学习的训练方法应用于疾病预测分析的一般流程。
图7是图示根据本公开实施例的电子设备的硬件框图。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。
具体实施方式
标签比例学习可以应用于现实世界中的很多场景，包括但不限于，人口学分类、视频事件检测、总统选举、交通流量预测、胚胎移植预测等。
例如，针对人口学分类进行的深度学习的多分类方法，提出一种基于深度网络的标签比例学习算法，通过采用Kullback-Leibler散度(KL散度)来约束后验比例信息和先验比例信息的差异来构建最终的目标函数，其中后验比例信息是通过对卷积神经网络最后一层的每个样本的概率输出求平均的方式获得的，而先验比例信息由训练样本提供。这样构建的损失函数可以很好地将比例信息引入网络中并进行反向传播进行网络参数更新。由于这个算法是基于深度卷积神经网络的，所以它可以直接用于多分类，并且可以解决大规模数据的情况。
以上面的方法为基础，基于深度学习和样本交叉熵的多分类方法提出了一种新的目标函数，其通过对样本的标签进行猜测的准则构建了一项新的损失。因此最终的目标函数由两项构成：1)基于先验和后验概率的KL散度；和2)基于猜测样本标签而构建的标准交叉熵损失。然而，由于真实的样本标签信息并不知道，所以导致产生一个组合优化问题(即包含两个变量需要优化)，然后通过一种凸放松的方式变为了一个凸问题，这样就可以通过反向传播的方式进行参数更新。
图1示出了根据本公开的实施例的基于自监督的标签比例学习模型的训练方法的一般流程。更具体地，图1示出了下述方法：采用弱监督训练数据构建监督信息，并且基于弱监督数据和构建的监督信息通过基于多任务的损失函数来训练标签比例学习模型。其中，图1的上半部分示出了采用弱监督训练数据，基于弱监督损失函数的弱监督训练任务；而图1的下半部分示出了采用监督信息，基于自监督损失函数的自监督训练任务。以下将结合图1详细描述具体处理流程。
在标签比例学习中所有的训练数据可以表示为如下的形式：
D＝B1∪B2…BN-1∪BN, 表达式(1)
其中，N表示所有的训练数据中的包的数量，Bi表示第i个包。每个包的具体形式可以表示为如下的形式，
Figure BDA0002376475030000051
其中，
Figure BDA0002376475030000052
表示第i个包中的第ni个数据，ni表示第i个包中的数据的数量，pi表示相应的第i个包中所包括的不同类别之间的真实比例信息。由于训练数据中不同的包没有交集，即，某个样本只可能属于某一个包，所以可以通过去掉相应的比例信息来获取完整的无监督数据。假设训练数据的总数为M，则所有的训练数据构成的无监督数据
Figure BDA0002376475030000053
可以表示为如下的形式，
Figure BDA0002376475030000054
针对上述问题，存在下述假设：即，原有的比例信息和通过模型输出的比例信息要尽可能地一致，即，可以通过下面的基于比例的交叉熵损失函数来构建：
Figure BDA0002376475030000055
其中，pij和
Figure BDA0002376475030000061
分别为第i个包中属于第j个类别的先验和后验比例，并且其中，K表示类别的数量。
基于上面的比例信息可以对模型进行训练并更新参数，然而由于只有少量的监督信息，所以很难训练得到一个很好的模型，所以本发明中引入了自监督学习(Self-supervised Learning)的方式，通过借助自监督学习来构建相应的监督信息(通过自监督学习的方式构建的监督信息，不需要人为标定)。
自监督学习算法的样本数据中并不含有人为标注的类别标签值，但其标签值可通过训练样本输入的相关性，或者是来自不同输入通道等因素，由预先类别预测模型(pretext task)自主标注。具体地，可以基于训练样本输入的属性，通过特定操作来构建自监督数据。用于构建自监督数据的操作包括但不限于翻转、旋转、平移等。可以针对每次训练，对于构建的自监督数据进行洗牌(shuffle)。
自监督数据可以通过对无监督数据
Figure BDA0002376475030000062
旋转(例如将图像或数组旋转0°、90°、180°以及270°)来构建。通过对无监督数据
Figure BDA0002376475030000065
进行旋转，可以得到如下形式的自监督数据：
Figure BDA0002376475030000063
在旋转四个角度的情况下，构建的自监督数据的数量是训练数据集的四倍，并且其中，yi表示通过自监督学习生成的相对应的标签。
此外，图1中示出了Fθ()、fα()和fβ()，其中，Fθ()表示特征提取器，而fα()和fβ()分别是用于特定任务(分别用于自监督任务和弱监督任务)的分类器。更具体地，Fθ()通过深度卷积神经网络实施，而针对fα()和fβ()采用全连接层。根据图1所示的方式，可以进行端到端的方式来训练模型，以更新Fθ()、fα()和fβ()的参数。
如图1所示，通过引入自监督学习算法，本公开构建了一个多任务的学习方式，其上部分为标签比例学习任务，而下部为自监督学习任务。通过构建各自不同的损失函数，可以在多任务的架构上训练模型。而根据该学习方式，最终模型的损失函数是一个基于多任务的损失函数，表达为：
Figure BDA0002376475030000064
其中，Lprop是对应于弱监督训练数据的损失函数，Lself是对应于监督信息的损失函数，ω是用于控制第一项与第二项的相对重要性的权重，其可以被设置为1；其中，θ是两个任务共同的参数，而α和β分别是两个任务独立的参数；以及其中，在训练过程中，参数θ、α和β同时更新。其中，
Figure BDA0002376475030000071
和
Figure BDA0002376475030000072
分别是以最小批处理(mini-batch)和四倍最小批处理从弱监督训练数据
Figure BDA0002376475030000073
和监督信息
Figure BDA0002376475030000074
采样获得的训练数据。注意，虽然以上损失函数是针对整体训练数据而设计的，但是在训练的过程中是以包(或最小批处理)的大小来实施的。另外，因为通过旋转构建的自监督数据的数量是弱监督训练数据的四倍(在旋转四个角度的情况下)，因此
Figure BDA0002376475030000075
被设置为
Figure BDA0002376475030000076
的四倍，以保证针对每个epoch，上述两个损失函数遍历相应的训练数据。
不同于传统的多任务学习，在公开中，并不要求所有的任务都有很好的性能，而只需主任务(即，目标分类器)达到一个好的性能。第一项比例损失可以采用上文中提到的Lprop；而第二项的自监督损失可以针对不同应用场景采用不同的损失函数。
在下文中，将参考图3、图5和图6，结合不同的应用场景讨论不同的自监督损失函数的使用。
图2是示出了根据本公开的实施例的基于自监督的标签比例学习模型的训练方法的流程图。
在步骤S201，接收用于标签比例学习的弱监督训练数据。
在步骤S202，通过去除弱监督训练数据中的比例信息，而获得无监督数据。
在步骤S203，基于无监督数据通过自监督方式(例如，通过对数据进行旋转)来构建监督信息。
在步骤S204，采用在以上步骤获得的弱监督训练数据和监督信息、通过基于多任务构件的损失函数进行训练，以更新模型的参数。
每当针对全部弱监督训练数据完成一次训练时，则执行步骤S205对自监督数据进行洗牌。
针对不同的应用场景(即，不同的数据类型)，步骤S203的处理(监督信息的构建)以及表达式(6)中第二项的表达形式(自监督损失函数)会不同。以下将参考图3、图5和图6，针对不同应用场景，主要讨论监督信息的构建方法和自监督损失函数的构建方法。
图3示出了根据本公开的实施例的标签比例学习模型的应用于图像识别领域的示意图。
标签比例学习是一个机器学习中弱监督学习的一个重要研究方向，它在许多机器学习任务的中间环节发挥关键作用。标签比例学习的一个典型的应用场景是图像识别。针对图像识别，根据本公开的实施例，采用旋转法来构建自监督数据。旋转法基于输入样本的属性特征，将输入的图片按照顺时针方向旋转90°的整数倍进行旋转，可以得到四种类别标签。在图2中示出了旋转的图像的示例，其中，“0”代表不旋转，“1”代表旋转90°，“2”代表旋转180°以及“3”代表旋转270°。自监督学习构建的一个目标是判断图像旋转的角度类别，从而产生一个具有监督信息的4分类问题。该方法的核心思想是：如果一个模型如果能够进行这种基于旋转的识别，那么它一定是已经能够学习到图像中的语义信息。
通过旋转法构建自监督数据后，自监督损失函数可以具有如下的形式：
Figure BDA0002376475030000081
其中，LCE为具有四分类的标准交叉熵损失、fθ()为目标标签比例学习模型、θ为目标比例标签模型的参数、r为旋转角度、
Figure BDA0002376475030000082
为四个旋转角度{0°，90°，180°，270°}的集合、
Figure BDA0002376475030000083
为无监督训练图像集以及xr为旋转后的图像。
因此，针对图像识别应用，可以如上所述地确定监督信息和自监督损失函数。基于所确定的监督信息和自监督损失函数，参照图1和图2所示的处理流程，可以实现针对图像处理的、基于自监督的标签比例学习模型的训练方法。
图4示出了根据图3所示的训练方法的训练效果。
由于针对标签比例学习缺少标准的评估基准，因此针对四个监督数据集MNIST、SVHN、CIFAR-10和CIFAR-100，分别采用根据本公开的实施例所述的针对图像的标签比例学习模型(LLP-SELF)和作为能够反映基于深度学习的现有水平的基线的两种模型(DLLP和LLP-GAN)进行比较。更具体地，MNIST和SVHN时这对数字手写识别收集的图像集；而CIFAR-10和CIFAR-100时RGB色彩的具有相对小的32×32的尺寸的图像分类任务，其中，共有50000训练图像和10000测试图形。
图4中的纵轴(Error)表示误差，而横轴Epoch表示遍历整个训练数据的次数。图4中的(a)、(b)、(c)和(d)分别示出了针对不同训练数据，三种模型的误差和收敛速度。通过图4可以看出，在多数情形下，就误差和收敛速度而言，根据本公开的实施例的应用于图像识别的标签比例学习模型都具有更好的效果。
图5示出了根据本公开的实施例的基于自监督的标签比例学习的训练方法应用于选举结果预测的一般流程。
标签比例学习的另一个典型的应用场景是现实中以比例的形式给出的数据，例如，选举结果预测。针对选举数据，只知道最终每个候选人在不同的州所获选票的比例，而不知道具体某个选举人选谁。如果根据这样的信息来推断具体每个人选谁，这就是一个经典的标签比例学习问题。此种数据的自监督数据的构建，可以采用类似于图像旋转的方式进行。但是针对选举的数据是一维的结构，因此可以通过矩阵运算的方式，假设数据的维度是M，即为一个1*M的数据，然后通过乘以一个M*M的矩阵，得到一个新的数据，同样也是1*M，即变成了新的数据(监督信息)。然后，基于所获得的监督信息，可以构建基于自监督的损失函数。
基于所获得的监督信息和自监督损失函数，参照图1和图2所示的处理流程，可以实现针对选举问题的、基于自监督的标签比例学习模型的训练方法。
图6示出了根据本公开的实施例的基于自监督的标签比例学习的训练方法应用于疾病预测分析的一般流程。
标签比例学习另一个典型的应用场景是具有隐私约束的数据。例如，某公司想和医院合作来进行一些医疗疾病的预测和分析，但是病人的信息通常具有很强的隐私性，每个国家都相应的法律保护这些信息，所以直接将病人的信息提供给第三方机构是违法的，而如果将病人的信息进行一个简单的统计分析后，将分析后的结果通过比例的形式提供给其他机构，这样就很好的解决了隐私约束的问题。
类似于上述针对选举问题的自监督数据的构建和自监督损失函数的构建，可以类似地构建自监督数据，即，通过矩阵运算的方式来实现了数据变化；并且可以类似地构建自监督损失函数，其最后的形式也是基于分类的标准的交叉熵损失函数。
从而，基于所获得的监督信息和自监督损失函数，参照图1和图2所示的处理流程，可以实现隐私约束问题的、基于自监督的标签比例学习模型的训练方法。
图7是图示根据本公开实施例的电子设备700的硬件框图。根据本公开实施例的电子设备至少包括处理器；以及存储器，用于存储计算机程序指令。当计算机程序指令由处理器加载并运行时，所述处理器执行如上所述的标签比例学习模型。
图7所示的电子设备700具体地包括：中央处理单元(CPU)701、图形处理单元(GPU)702和主存储器703。这些单元通过总线704互相连接。中央处理单元(CPU)701和/或图形处理单元(GPU)702可以用作上述处理器，主存储器703可以用作上述存储计算机程序指令的存储器。此外，电子设备700还可以包括通信单元705、存储单元706、输出单元707、输入单元708和外部设备706，这些单元也连接到总线704。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示，根据本公开实施例的计算机可读存储介质800其上存储有计算机程序指令801。当所述计算机程序指令801由处理器运行时，执行参照以上附图描述的根据本公开实施例的标签比例学习模型。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种标签比例学习模型的训练方法，所述训练方法包括：
训练数据接收步骤，接收用于标签比例学习的弱监督训练数据；
监督信息构建步骤，基于所述弱监督训练数据来构建监督信息；以及
训练步骤，通过基于多任务构建的损失函数、采用所述弱监督训练数据和所述监督信息来训练所述标签比例学习模型，
其中，所述基于多任务构建的损失函数为对应于所述弱监督训练数据的弱监督损失函数与对应于所述监督信息的自监督损失函数的加权和。
2.如权利要求1所述的训练方法，其中，所述训练步骤还包括：
通过基于第一参数的特征提取函数，对所述弱监督训练数据和所述监督信息进行特征提取。
3.如权利要求2所述的训练方法，其中，
基于所述第一参数、所述弱监督训练数据和特定于所述弱监督训练数据的第二参数来构建所述弱监督损失函数；以及
基于所述第一参数、所述监督信息和特定于所述自监督训练数据的第三参数来构建所述弱监督损失函数。
4.如权利要求3所述的训练方法，其中，所述训练步骤还包括：
同时更新所述第一参数、所述第二参数和所述第三参数。
5.如权利要求1所述的训练方法，还包括：
每当针对全部弱监督训练数据完成一次训练时，则对所述监督信息进行洗牌。
6.如权利要求1所述的训练方法，其中，所述监督信息构建步骤包括：
通过去除所述弱监督训练数据中的比例信息来获取无监督数据；以及
基于所述无监督数据通过自监督方式来构建所述监督信息。
7.如权利要求6所述的训练方法，其中，所述自监督方式之一为矩阵变换。
8.如权利要求1至权利要求7中的任一项所述的训练方法，其中，所述弱监督损失函数之一是基于比例的交叉熵损失函数。
9.如权利要求1所述的训练方法，其中，所述基于多任务构建的损失函数中的权重用于控制所述弱监督损失函数与所述自监督损失函数的相对重要性。
10.一种用于图像处理的标签比例学习模型的训练方法，所述训练方法包括：
训练图像集接收步骤，接收用于标签比例学习的弱监督训练图像集；
监督信息集构建步骤，基于所述弱监督训练图像集来构建监督信息；以及
训练步骤，通过基于多任务构建的损失函数、采用所述弱监督训练图像集和所述监督信息来训练所述标签比例学习模型，
其中，所述基于多任务构建的损失函数为对应于所述弱监督训练图像集的弱监督损失函数与对应于所述监督信息的自监督损失函数的加权和。
11.如权利要求10所述的训练方法，其中，所述监督信息构建步骤包括：
通过去除所述弱监督训练图像集中的比例信息来获取无监督图像集；以及
基于所述无监督图像集通过自监督方式来构建所述监督信息。
12.如权利要求11所述的训练方法，其中，所述自监督方式之一为旋转法。
13.一种电子设备，包括：
处理器；以及
存储器，用于存储计算机程序指令；
其中，当所述计算机程序指令由所述处理器加载并运行时，所述处理器执行如权利要求1至权利要求9或权利要求10至权利要求12中的任一项所述的训练方法。
14.一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令由所述处理器加载并运行时，执行如权利要求1至权利要求9或权利要求10至权利要求12中的任一项所述的训练方法。
CN202010067820.8A 2020-01-20 2020-01-20 基于自监督学习的标签比例学习模型的训练方法和设备 Pending CN113139651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067820.8A CN113139651A (zh) 2020-01-20 2020-01-20 基于自监督学习的标签比例学习模型的训练方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067820.8A CN113139651A (zh) 2020-01-20 2020-01-20 基于自监督学习的标签比例学习模型的训练方法和设备

Publications (1)

Publication Number Publication Date
CN113139651A true CN113139651A (zh) 2021-07-20

Family

ID=76809290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067820.8A Pending CN113139651A (zh) 2020-01-20 2020-01-20 基于自监督学习的标签比例学习模型的训练方法和设备

Country Status (1)

Country Link
CN (1) CN113139651A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869512A (zh) * 2021-10-09 2021-12-31 北京中科智眼科技有限公司 基于自监督与自蒸馏的补充标签学习方法
CN113961354A (zh) * 2021-10-29 2022-01-21 重庆长安汽车股份有限公司 一种基于弱监督学习车机卡顿识别方法及系统
CN114758298A (zh) * 2022-04-22 2022-07-15 华南理工大学 基于多任务的自监督目标检测方法、系统、装置及介质
CN115080749A (zh) * 2022-08-16 2022-09-20 之江实验室 一种基于自监督训练的弱监督文本分类方法、系统和装置
CN115311844A (zh) * 2022-06-22 2022-11-08 东南大学 基于自监督学习支持向量机的高速公路交通状态估计方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869512A (zh) * 2021-10-09 2021-12-31 北京中科智眼科技有限公司 基于自监督与自蒸馏的补充标签学习方法
CN113961354A (zh) * 2021-10-29 2022-01-21 重庆长安汽车股份有限公司 一种基于弱监督学习车机卡顿识别方法及系统
CN114758298A (zh) * 2022-04-22 2022-07-15 华南理工大学 基于多任务的自监督目标检测方法、系统、装置及介质
CN115311844A (zh) * 2022-06-22 2022-11-08 东南大学 基于自监督学习支持向量机的高速公路交通状态估计方法
CN115311844B (zh) * 2022-06-22 2023-05-16 东南大学 基于自监督学习支持向量机的高速公路交通状态估计方法
CN115080749A (zh) * 2022-08-16 2022-09-20 之江实验室 一种基于自监督训练的弱监督文本分类方法、系统和装置
CN115080749B (zh) * 2022-08-16 2022-11-08 之江实验室 一种基于自监督训练的弱监督文本分类方法、系统和装置

Similar Documents

Publication Publication Date Title
CN113139651A (zh) 基于自监督学习的标签比例学习模型的训练方法和设备
EP3711000B1 (en) Regularized neural network architecture search
EP3620990A1 (en) Capturing network dynamics using dynamic graph representation learning
Xu et al. Classifier cascades and trees for minimizing feature evaluation cost
Springenberg et al. Improving deep neural networks with probabilistic maxout units
WO2022012407A1 (zh) 一种用于神经网络的训练方法以及相关设备
CN110956260A (zh) 神经架构搜索的系统和方法
CN109460793A (zh) 一种节点分类的方法、模型训练的方法及装置
CN110046706B (zh) 模型生成方法、装置及服务器
Hughes et al. Effective split-merge monte carlo methods for nonparametric models of sequential data
CN115496955B (zh) 图像分类模型训练方法、图像分类方法、设备和介质
CN108108762A (zh) 一种用于冠心病数据分类的基于核极限学习机及并行化的随机森林分类方法
WO2021087129A1 (en) Automatic reduction of training sets for machine learning programs
US9536206B2 (en) Method and apparatus for improving resilience in customized program learning network computational environments
CN108205570A (zh) 一种数据检测方法和装置
WO2023116111A1 (zh) 一种磁盘故障预测方法及装置
CN112818690A (zh) 结合知识图谱实体信息的语义识别方法、装置及相关设备
WO2022068934A1 (en) Method of neural architecture search using continuous action reinforcement learning
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
Puzanov et al. Deep reinforcement one-shot learning for artificially intelligent classification in expert aided systems
US11914672B2 (en) Method of neural architecture search using continuous action reinforcement learning
CN111694954A (zh) 图像分类方法、装置和电子设备
WO2022063076A1 (zh) 对抗样本的识别方法及装置
CN114584406A (zh) 一种联邦学习的工业大数据隐私保护系统及方法
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination