CN114299349A - 一种基于多专家系统和知识蒸馏的众包图像学习方法 - Google Patents

一种基于多专家系统和知识蒸馏的众包图像学习方法 Download PDF

Info

Publication number
CN114299349A
CN114299349A CN202210205861.8A CN202210205861A CN114299349A CN 114299349 A CN114299349 A CN 114299349A CN 202210205861 A CN202210205861 A CN 202210205861A CN 114299349 A CN114299349 A CN 114299349A
Authority
CN
China
Prior art keywords
image
crowdsourcing
prediction
deep
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210205861.8A
Other languages
English (en)
Other versions
CN114299349B (zh
Inventor
李绍园
侍野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210205861.8A priority Critical patent/CN114299349B/zh
Publication of CN114299349A publication Critical patent/CN114299349A/zh
Application granted granted Critical
Publication of CN114299349B publication Critical patent/CN114299349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像标注技术领域，公开了一种基于多专家系统和知识蒸馏的众包图像学习方法，该方法包括：步骤1.获取图像数据，并构造众包标注集；步骤2.使用图像集和众包标注集训练一个深度众包学习模型；步骤3.使用步骤2得到的模型生成第一真实标记预测；步骤4.使用图像集和第一真实标记预测训练一个无噪声建模的噪声标记学习模型；步骤5.使用步骤4得到的模型生成第二真实标记预测；步骤6.使用第二真实标记预测、图像集和众包标注集重新训练一个深度众包学习模型；步骤7.使用步骤4和步骤6的模型预测标记未知图像的真实标记。本发明将深度众包学习方法与无噪声建模的噪声标记学习方法结合，提升了分类器模型图像标记的预测效果。

Description

一种基于多专家系统和知识蒸馏的众包图像学习方法
技术领域
本发明属于图像标注技术领域，涉及一种基于多专家系统和知识蒸馏的众包图像学习方法。
背景技术
传统的监督学习需要大量的高质量标记数据，这需要较高的标注成本。为了降低成本，人们提出了多种方法，如众包学习。众包学习的流程是将图像集随机分发给网络平台上的标注者进行标注，为了提升标注质量，单张图像往往会由若干个标注者进行标注。由于标注者各自的能力水平参差不齐，众包标记学习方法往往需要刻画标注者的能力水平，而噪声转移矩阵是一类常用的刻画工具。然而，由于噪声转移矩阵假设噪声标记的生成过程只依赖于样本的真实标记，该假设过于简化，无法刻画真实的众包标记中存在的部分错误模式，此外，噪声转移矩阵的估计往往存在一定偏差，这也会影响众包标记学习模型的泛化性能。
噪声标记问题假设单张图像对应单个可能错误的标记。近年来，噪声标记学习方法与深度神经网络结合，并发现深度神经网络将会首先拟合噪声标记中（简单）正确的模式，再去拟合其中（复杂）错误的模式，这也被成为记忆效应。研究者们根据此现象，认为网络损失值更小的标记更有可能正确，从而筛选出质量较高的标记信息。同时，这些方法将被认为是标记错误的图像视为无标记数据，同时利用半监督或自监督学习技术结合来利用这些数据，最近取得了非常显著的成功。由于此类方法并没有对噪声标记的结构显式建模，它们又可以被成为无噪声建模的噪声标记学习方法。
发明内容
本发明的目的在于提出一种基于多专家系统和知识蒸馏的众包图像学习方法，以缓解原有深度众包学习方法对于众包标注中噪声信息的过度拟合，提升分类器模型的泛化性能。
本发明为了实现上述目的，采用如下技术方案：
基于多专家系统和知识蒸馏的众包图像学习方法，包括如下步骤：
步骤1.获取图像集X，将图像集X随机分发给标注者进行标注，获得众包标注集
Figure DEST_PATH_IMAGE001
；
步骤2. 将图像集X和众包标注集
Figure DEST_PATH_IMAGE002
作为训练集，训练一个深度众包学习模型h0；
步骤3. 使用训练好的深度众包学习模型h0，生成第一真实标记预测
Figure DEST_PATH_IMAGE003
；
步骤4. 将图像集X和第一真实标记预测
Figure 407036DEST_PATH_IMAGE003
作为训练集，训练一个无噪声建模的噪 声标记学习模型h1；
步骤5. 使用训练好的无噪声建模的噪声标记学习模型h1，生成第二真实标记预 测
Figure DEST_PATH_IMAGE004
；
步骤6. 将图像集X、众包标注集
Figure 347310DEST_PATH_IMAGE002
、第二真实标记预测
Figure DEST_PATH_IMAGE005
作为训练集，重新训练一 个深度众包学习模型h2；
步骤7. 对于未知图像，使用步骤4得到的无噪声建模的噪声标记学习模型h1以及步骤6得到的深度众包学习模型h2，预测标记未知图像的真实标记。
本发明具有如下优点：
如上所述，本发明述及了一种基于多专家系统和知识蒸馏的众包图像学习方法，该方法针对现有深度众包学习方法，由于过度简化的噪声建模方式或者不准确的噪声模型估计进而使得分类器模型过度拟合噪声标记的技术问题，使用无噪声建模的噪声标记学习方法，过滤分类器拟合的错误信息，从而提升分类器模型的泛化性能。本发明将深度众包学习方法与无噪声建模的噪声标记学习方法结合，提升了分类器模型图像标记的预测效果。
附图说明
图1为本发明实施例中基于多专家系统和知识蒸馏的众包图像学习方法的流程示意图；
图2为本发明实施例中深度众包学习模型的结构图；
图3为本发明实施例中无噪声建模的噪声标记学习方法的流程示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
如图1所示，一种基于多专家系统和知识蒸馏的众包图像学习方法，包括如下步骤：
步骤1. 获取图像集X，将图像集X随机分发给网络上的标注者进行标注，获得相应 的众包标注集
Figure 90269DEST_PATH_IMAGE002
。为了提升众包标记的质量水平，图像集X中一张图像往往对应由若干个标 注者提供的标注。由于标注者水平层次不齐，众包标注中往往存在着大量噪声信息。
步骤2. 将图像集X和众包标注集
Figure 254534DEST_PATH_IMAGE002
作为训练集，训练一个深度众包学习模型h0。
该步骤2中深度众包学习模型，如图2所示，其具体形式如下：
Figure DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
。
其中，h是一个深度神经网络分类器，其网络参数为
Figure DEST_PATH_IMAGE008
；g是一个众包标注融合器， 其参数为{W}和b；
Figure DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
括号中的“
Figure DEST_PATH_IMAGE011
”表示函数的输入。
对于单张图像x∈X，相应的众包标注向量
Figure DEST_PATH_IMAGE013
∈
Figure 355214DEST_PATH_IMAGE002
，h与g的输出形式如下：
Figure DEST_PATH_IMAGE014
；
Figure DEST_PATH_IMAGE015
。
其中，b表示偏差向量，S表示softmax函数。
m表示第m个标注者，M表示标注者的总数，
Figure DEST_PATH_IMAGE016
∈
Figure DEST_PATH_IMAGE017
表示图像x由第m个标注者所提 供的众包标注，
Figure DEST_PATH_IMAGE019
是一个范围为[0,C]的整数，C表示图像标记的类别总数。
(
Figure 568021DEST_PATH_IMAGE019
)表示
Figure DEST_PATH_IMAGE021
的独热编码形式，e(
Figure 168416DEST_PATH_IMAGE019
)的长度等于类别数量C。
只有第
Figure 238003DEST_PATH_IMAGE019
个索引对应的数值为1。由于在实际的众包应用中，考虑标注成本，每个 标注只会标注一部分图片，当
Figure DEST_PATH_IMAGE023
=0时，表示第m个标注者没有对图像x进行标注，此时，e(
Figure 435767DEST_PATH_IMAGE019
)是一个长度等于C的零向量。
m∈{W}表示第m个标注者对应的转置噪声转移矩阵，Wm是一个C×C的方阵；
Figure DEST_PATH_IMAGE024
表 示当第m个标注者将图像x标注为第c个类别，其真实标记类别为j的概率。
本发明放宽Wm的限制为实数矩阵，以便于高效优化。
该深度众包学习模型的具体损失函数形式如下：
Figure DEST_PATH_IMAGE025
=
Figure DEST_PATH_IMAGE026
+
Figure DEST_PATH_IMAGE027
。
由上述公式得知，该损失函数包括两项，第一项表示最小化h和g对于同一张图像的预测一致性，第二项表示最大化h和g对于不同图像的预测不一致性。
其中，h(X)表示分类器h对于所有样本真实标记的预测概率，
Figure DEST_PATH_IMAGE028
表示众包标注 融合器对所有众包标记的融合结果，
Figure DEST_PATH_IMAGE029
表示h(X)，
Figure 904794DEST_PATH_IMAGE028
之间的损失函数。
由于h(X)和
Figure DEST_PATH_IMAGE030
的目标都是尽可能逼近样本的真实标记，自然
Figure DEST_PATH_IMAGE031
是最大化h(X)和
Figure 871613DEST_PATH_IMAGE030
的相似程度，最小化它们之间的差异程度。
xi表示图像集X中的第i张图像，N为图像集X中图像的总数。
Figure DEST_PATH_IMAGE032
表示第i张图像的众包标记，
Figure DEST_PATH_IMAGE033
表示分类器h对于xi真实标记预测为第c 个类别的概率，
Figure DEST_PATH_IMAGE034
表示众包标注融合器g对于
Figure DEST_PATH_IMAGE035
融合结果为第c个类别的概率。
对于任意输入z，f(z)表示KL散度函数以f-散度形式表现时的生成函数；
Figure DEST_PATH_IMAGE036
(z)表 示f(z)对于输入z的偏导数，而
Figure DEST_PATH_IMAGE037
(
Figure DEST_PATH_IMAGE038
(z))则表示为f的Fenchel 对偶项。
c表示为第c个类别，且c∈{1,2,……,C}，是一个整数；f(z)、
Figure 3779DEST_PATH_IMAGE036
(z)以及
Figure 954418DEST_PATH_IMAGE037
(
Figure 820611DEST_PATH_IMAGE038
(z))的具体形式如下：f(z)= zlogz；
Figure 907516DEST_PATH_IMAGE036
(z)=1+logz；
Figure 584485DEST_PATH_IMAGE037
(
Figure 756841DEST_PATH_IMAGE038
(z))=z。
该深度众包模型最小化损失函数L0，并且使用基于SGD的优化方法更新网络参数
Figure DEST_PATH_IMAGE039
，最后返回训练完成的深度神经网络分类器
Figure DEST_PATH_IMAGE040
，记为深度众包学习模型h0。
许多深度众包学习方法依赖于噪声转移矩阵刻画标注者的能力水平，如上述的转置噪声转移矩阵集合{W}，此类方法假设噪声标记的生成过程只与类别相关，同时其效果很大程度上依赖于转移矩阵的估计准确程度，而真实应用中，这种估计往往存在较大偏差。
因此，分类器往往会过度拟合众包标记集合中的噪声信息，从而导致泛化性能的下降。
步骤3. 使用训练好的深度众包学习模型h0，生成第一真实标记预测
Figure DEST_PATH_IMAGE041
。
为了简化训练过程，使用h0预测结果的硬标记形式组成
Figure 115141DEST_PATH_IMAGE041
，其具体公式如下：
Figure DEST_PATH_IMAGE042
。
其中，x是图像集X中任意单张图像，即x∈X，h0（x）表示步骤2中得到的深度众包学 习模型h0。
Figure DEST_PATH_IMAGE043
为深度众包学习模型h0对x的预测结果，
Figure DEST_PATH_IMAGE045
表示选择预测概率h0(x)中 最大值的索引，记为c，也就是最终分类器模型对x真实标记的预测结果。
步骤4. 将图像集X和第一真实标记预测
Figure 273196DEST_PATH_IMAGE041
作为训练集，训练一个无噪声建模的噪 声标记学习模型h1。
无噪声建模的噪声标记学习模型的具体形式如下
Figure DEST_PATH_IMAGE046
，记为h1(xi)。
其中，h是一个深度神经网络分类器，其网络参数为
Figure DEST_PATH_IMAGE047
。给定图像集X和第一真实 标记预测
Figure 324329DEST_PATH_IMAGE003
，如图3所示，则无噪声建模的噪声标记学习模型的训练过程如下：
步骤4.1. 输入图像集X和第一真实标记预测
Figure 983980DEST_PATH_IMAGE003
。
步骤4.2. 输入超参数α、β。
步骤4.3. 初始化当前训练回合q=0，输入最大训练回合数T。
步骤4.4. 初始化深度神经网络分类器
Figure DEST_PATH_IMAGE048
与滑动平均预测结果t。
步骤4.5. 判断当前训练回合q是否小于最大训练回合数T；如果当前训练回合q未达到最大训练回合数T，则进入步骤4.6；否则，进入步骤4.12。
步骤4.6. 从图像集X的剩余的图像子集中取出一批量的图像。
目前的深度学习以随机批量梯度下降方法训练网络，即首先将图像集X随机打乱样本顺序，接着按给定的批量长度将数据集X划分为多个图像子集，每个图像子集称为一批量的数据，每次使用的是一批量的数据，而不是整个数据集X计算梯度并更新网络参数。
步骤4.7. 更新滑动平均预测结果t，其更新过程如下：
ti
Figure DEST_PATH_IMAGE049
βti+(1-β)h1(xi)。
其中，超参数β表示滑动平均的动量。
步骤4.8. 计算该无噪声建模的噪声标记学习模型的损失函数L1，具体形式如下：
L1=
Figure DEST_PATH_IMAGE050
+
Figure DEST_PATH_IMAGE051
。
由损失函数L1公式得知，该损失函数包括两项，第一项为对于原始的带噪标记的拟合函数，H表示交叉熵函数，第二项表示对于生成的滑动平均预测结果ti的拟合函数。
其中，超参数α表示损失函数L1中第一项与第二项之间的平衡系数。
本实施例中超参数α是一个人为设定的参数，而不是由数学模型计算得到的，其目的在于平衡L1中两项（即加号左右的两个部分）对于模型训练的贡献程度。
Figure DEST_PATH_IMAGE053
表示第i个样本的第一真实标记预测，ti表示截止到第q轮训练回合的模型h对 于样本xi的滑动平均预测结果，i∈{0,1,…, B }，B表示该批图像的总数。
xi表示该批图像中第i张图像，h(xi)表示分类器h对于样本xi的真实标记预测。
由于深度神经网络在训练初期还尚未拟合错误信息，此段时间网络的输出相比于后期可能会更为准确，因此可以通过拟合它们预测结果的滑动平均值，来缓解网络对于噪声标记的过拟合问题，从而提升分类器模型的泛化性能。
步骤4.9. 使用SGD更新网络参数
Figure 864080DEST_PATH_IMAGE047
。
步骤4.10. 判断是否遍历完所有批量的数据，如果是则进入步骤4.11，否则返回步骤4.6。
步骤4.11. 当前训练回合数q加1，即q
Figure 925577DEST_PATH_IMAGE049
q+1，返回步骤4.5。
步骤4.12. 返回训练完成的深度神经网络分类器
Figure DEST_PATH_IMAGE055
。
将训练好的深度神经网络分类器
Figure DEST_PATH_IMAGE057
，记为无噪声建模的噪声标记学习模型 h1。
该噪声标记学习模型h1可视为第一个进行图像识别的专家网络。
步骤5. 使用训练好的无噪声建模的噪声标记学习模型h1，生成第二真实标记预 测
Figure DEST_PATH_IMAGE058
，本发明实施例中使用软标记形式的预测结果组成
Figure DEST_PATH_IMAGE059
，其具体形式如下：
Figure DEST_PATH_IMAGE060
。
其中，
Figure DEST_PATH_IMAGE062
表示第i个样本的第二真实标记预测。
步骤6. 将图像集X、众包标注集
Figure DEST_PATH_IMAGE063
、第二真实标记预测
Figure 836027DEST_PATH_IMAGE059
作为训练集，重新训练一 个深度众包学习模型h2，其具体形式如下：
Figure 100002_DEST_PATH_IMAGE064
；
Figure 100002_DEST_PATH_IMAGE065
。
其中，h是一个深度神经网络分类器，其网络参数为
Figure 100002_DEST_PATH_IMAGE066
；g是一个众包标注融合器， 其参数为{W}和b；
Figure 100002_DEST_PATH_IMAGE067
和
Figure DEST_PATH_IMAGE068
中的“
Figure 904346DEST_PATH_IMAGE011
”号表示函数的输入。
该深度众包学习模型的具体损失函数L2形式如下：
L2=
Figure 100002_DEST_PATH_IMAGE069
+
Figure DEST_PATH_IMAGE070
。
其中，
Figure 100002_DEST_PATH_IMAGE071
以及
Figure 100002_DEST_PATH_IMAGE072
均表示损失函数。
Figure DEST_PATH_IMAGE073
表示分类器h拟合第二真实标记预测
Figure 838671DEST_PATH_IMAGE059
的损失函数，其函数形式 与
Figure DEST_PATH_IMAGE074
相同，仅仅输入不同，故记为L0，其具体形式如下：
Figure DEST_PATH_IMAGE075
=
Figure DEST_PATH_IMAGE076
+
Figure DEST_PATH_IMAGE078
。
其中，
Figure DEST_PATH_IMAGE079
表示第i个样本的第二真实标记预测。
损失函数L2包含两项，第一项为对于众包标记集合的拟合函数，第二项为对于第 二真实标记预测
Figure DEST_PATH_IMAGE080
的拟合函数，λ是这两项的平衡系数。
知识蒸馏是指一个深度神经网络模型（学生网络）通过拟合另外一个深度神经网络模型（教师网络）的输出结果，学习教师网络所包含的知识。
若将步骤4中训练所得的网络h1视为教师网络，该项则表示为学生网络h2通过知识 蒸馏的方式从教师网路h1处吸收知识，而蒸馏使用的拟合损失函数即为
Figure 410467DEST_PATH_IMAGE075
。
该深度众包模型最小化损失函数L2，并且使用基于SGD的优化方法更新网络参数
Figure 600139DEST_PATH_IMAGE066
，该步骤最后返回训练完成的深度神经网络分类器
Figure DEST_PATH_IMAGE081
。
将训练好的深度神经网络分类器
Figure 968804DEST_PATH_IMAGE081
记为深度众包学习模型h2。
该深度众包学习模型h2可视为第二个进行图像识别的专家网络。
步骤7. 对于未知图像，使用无噪声建模的噪声标记学习模型h1以及深度众包学习模型h2，预测标记未知图像的真实标记。
对于标记未知的单张图像x，其预测结果
Figure DEST_PATH_IMAGE083
由h1以及h2共同决定，具体形式如下：
Figure DEST_PATH_IMAGE085
。
其中，h1(x)表示步骤4中得到的无噪声建模的噪声标记学习模型h1，h2(x)表示步 骤6中得到的深度众包学习模型h2，
Figure DEST_PATH_IMAGE087
值为h1、h2共同预测概率的最大值索引。
h1(x)、h2(x)可视为两个专家网络，组成多专家系统，共同预测图像x的真实标记。
当然，以上说明仅仅为本发明的较佳实施例，本发明并不限于列举上述实施例，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (7)

1.一种基于多专家系统和知识蒸馏的众包图像学习方法，其特征在于，
包括如下步骤：
步骤1. 获取图像集X，将图像集X随机分发给标注者进行标注，获得众包标注集
Figure 868817DEST_PATH_IMAGE001
；
步骤2. 将图像集X和众包标注集
Figure 254799DEST_PATH_IMAGE001
作为训练集，训练一个深度众包学习模型h0；
步骤3. 使用训练好的深度众包学习模型h0，生成第一真实标记预测
Figure 768956DEST_PATH_IMAGE002
；
步骤4. 将图像集X和第一真实标记预测
Figure 898587DEST_PATH_IMAGE002
作为训练集，训练一个无噪声建模的噪声标 记学习模型h1；
步骤5. 使用训练好的无噪声建模的噪声标记学习模型h1，生成第二真实标记预测
Figure 198112DEST_PATH_IMAGE003
；
步骤6. 将图像集X、众包标注集
Figure 754995DEST_PATH_IMAGE001
、第二真实标记预测
Figure 756449DEST_PATH_IMAGE004
作为训练集，重新训练一个深 度众包学习模型h2；
步骤7. 对于未知图像，使用步骤4得到的无噪声建模的噪声标记学习模型h1以及步骤6得到的深度众包学习模型h2，预测标记未知图像的真实标记。
2.根据权利要求1所述的众包图像学习方法，其特征在于，
所述步骤2中，深度众包学习模型的具体形式如下：
Figure 689770DEST_PATH_IMAGE005
，
Figure 93070DEST_PATH_IMAGE006
；
其中，h是一个深度神经网络分类器，其网络参数为
Figure 820854DEST_PATH_IMAGE007
；g是一个众包标注融合器，其参 数为{W}和b；
Figure 309604DEST_PATH_IMAGE008
和
Figure 781037DEST_PATH_IMAGE009
括号中的“
Figure 288111DEST_PATH_IMAGE010
”表示函数的输入；
对于单张图像x∈X，相应的众包标注向量
Figure 452376DEST_PATH_IMAGE011
∈
Figure 428422DEST_PATH_IMAGE001
，h与g的输出形式如下：
Figure 437966DEST_PATH_IMAGE012
；
Figure 815858DEST_PATH_IMAGE013
；
其中，b表示偏差向量，S表示softmax函数；
m表示第m个标注者，M表示标注者的总数；
Figure 885445DEST_PATH_IMAGE014
∈
Figure 348788DEST_PATH_IMAGE011
表示图像x由第m个标注者所提供的众 包标注，
Figure 162023DEST_PATH_IMAGE016
是一个范围为[0,C]的整数，C表示图像标记的类别数量；
e(
Figure 159802DEST_PATH_IMAGE016
)表示
Figure 665870DEST_PATH_IMAGE019
的独热编码形式，e(
Figure 350929DEST_PATH_IMAGE016
)的长度等于类别数量C；
Wm∈{W}表示第m个标注者对应的转置噪声转移矩阵，Wm是一个C×C的方阵；
Figure 967855DEST_PATH_IMAGE020
表示当第m个标注者将图像x标注为第c个类别，其真实标记类别为j的概率；
该深度众包学习模型的具体损失函数形式如下：
Figure 54760DEST_PATH_IMAGE021
=
Figure 731729DEST_PATH_IMAGE022
+
Figure 904084DEST_PATH_IMAGE023
；
由上述公式得知，该损失函数包括两项，第一项表示最小化h和g对于同一张图像的预测一致性，第二项表示最大化h和g对于不同图像的预测不一致性；
其中，h(X)表示分类器h对于所有样本真实标记的预测概率，
Figure 59122DEST_PATH_IMAGE024
表示众包标注融合 器对所有众包标记的融合结果，
Figure 515380DEST_PATH_IMAGE025
表示h(X)，
Figure 363250DEST_PATH_IMAGE024
之间的损失函数；
xi表示图像集X中第i张图像，N为图像集X中图像的总数；
Figure 22902DEST_PATH_IMAGE026
表示第i张图像的众包标记，
Figure 981630DEST_PATH_IMAGE027
表示分类器h对于xi真实标记预测为第c个类别 的概率，
Figure 777548DEST_PATH_IMAGE028
表示众包标注融合器g对于
Figure 796320DEST_PATH_IMAGE029
融合结果为第c个类别的概率；
对于任意输入z，f(z)表示KL散度函数以f-散度形式表现时的生成函数；
Figure 943267DEST_PATH_IMAGE030
(z)表示f (z)对于输入z的偏导数，而
Figure 705687DEST_PATH_IMAGE031
(
Figure 372423DEST_PATH_IMAGE032
(z))则表示为f的Fenchel 对偶项；
c表示为第c个类别，且c∈{1,2,……,C}，是一个整数；f(z)、
Figure 296516DEST_PATH_IMAGE030
(z)以及
Figure 930760DEST_PATH_IMAGE031
(
Figure 231291DEST_PATH_IMAGE032
(z)) 的具体形式如下：f(z)= zlogz；
Figure 267380DEST_PATH_IMAGE030
(z)=1+logz；
Figure 362375DEST_PATH_IMAGE031
(
Figure 483915DEST_PATH_IMAGE032
(z))=z；
该深度众包模型最小化损失函数L0，并且使用基于SGD的优化方法更新网络参数
Figure 588137DEST_PATH_IMAGE033
，最 后返回训练完成的深度神经网络分类器
Figure 462421DEST_PATH_IMAGE034
，记为深度众包学习模型h0。
3.根据权利要求2所述的众包图像学习方法，其特征在于，
所述步骤3中，第一真实标记预测
Figure 993897DEST_PATH_IMAGE035
的生成公式如下：
Figure 337153DEST_PATH_IMAGE036
；
其中，x是图像集X中任意单张图像，即x∈X；
Figure 245067DEST_PATH_IMAGE037
为深度众包学习模型h0对x的预测结果，
Figure 990169DEST_PATH_IMAGE039
表示选择预测概率h0(x)中最大值 的索引，记为c，也就是最终分类器模型对x真实标记的预测结果。
4.根据权利要求3所述的众包图像学习方法，其特征在于，
所述步骤4中，无噪声建模的噪声标记学习模型的具体形式如下：
Figure 692546DEST_PATH_IMAGE040
，记为h1 (xi)；其中，h是一个深度神经网络分类器，其网络参数为
Figure 523098DEST_PATH_IMAGE041
；
给定图像集X和第一真实标记预测
Figure 969123DEST_PATH_IMAGE002
，则噪声标记学习模型的训练过程如下：
步骤4.1. 输入图像集X和第一真实标记预测
Figure 834311DEST_PATH_IMAGE002
；
步骤4.2. 输入超参数α、β；
步骤4.3. 初始化当前训练回合q=0，输入最大训练回合数T；
步骤4.4. 初始化深度神经网络分类器
Figure 189813DEST_PATH_IMAGE042
与滑动平均预测结果t；
步骤4.5. 判断当前训练回合q是否小于最大训练回合数T；如果当前训练回合q未达到最大训练回合数T，则进入步骤4.6；否则，进入步骤4.12；
步骤4.6. 从剩余的图像子集中取出一批量的图像；
其中，图像子集是指将图像集X随机打乱样本顺序，接着按给定的批量长度将数据集X划分出的多个图像子集，每个图像子集称为一批量的图像；
步骤4.7. 更新滑动平均预测结果t，其更新过程如下：
ti
Figure 507661DEST_PATH_IMAGE043
βti+(1-β)h1(xi)；
其中，超参数β表示滑动平均的动量；
步骤4.8. 计算该无噪声建模的噪声标记学习模型的损失函数L1，具体形式如下：
L1=
Figure 491798DEST_PATH_IMAGE044
+
Figure 211492DEST_PATH_IMAGE045
；
由损失函数L1公式得知，该损失函数包括两项，第一项为对于原始的带噪标记的拟合函数，H表示交叉熵函数，第二项表示对于生成的滑动平均预测结果ti的拟合函数；
其中，超参数α表示损失函数L1中第一项与第二项之间的平衡系数；
Figure 255672DEST_PATH_IMAGE047
表示第i个样本的第一真实标记预测；
ti表示截止到第q轮训练回合的分类器h对于样本xi的滑动平均预测结果；
其中，i∈{0,1,…, B }，B表示该批图像的总数；
xi表示该批图像中第i张图像，h(xi)表示分类器h对于样本xi的真实标记预测；
步骤4.9. 使用SGD更新网络参数
Figure 60817DEST_PATH_IMAGE048
；
步骤4.10. 判断是否遍历完所有批量的数据，如果是则进入步骤4.11，否则返回步骤4.6；
步骤4.11. 当前训练回合数q加1，返回步骤4.5；
步骤4.12. 返回训练完成的深度神经网络分类器
Figure 848644DEST_PATH_IMAGE050
；
将训练好的深度神经网络分类器
Figure 672112DEST_PATH_IMAGE052
，记为无噪声建模的噪声标记学习模型h1。
5.根据权利要求4所述的众包图像学习方法，其特征在于，
所述步骤5中，第二真实标记预测
Figure 887193DEST_PATH_IMAGE003
的生成公式如下：
Figure 914055DEST_PATH_IMAGE053
；
其中，
Figure 505573DEST_PATH_IMAGE055
表示第i个样本的第二真实标记预测。
6.根据权利要求5所述的众包图像学习方法，其特征在于，
所述步骤6中，深度众包学习模型的具体形式如下：
Figure 934281DEST_PATH_IMAGE056
；
Figure 320263DEST_PATH_IMAGE057
；
其中，h是一个深度神经网络分类器，其网络参数为
Figure 100000DEST_PATH_IMAGE058
；g是一个众包标注融合器，其参 数为{W}和b；
Figure 229630DEST_PATH_IMAGE059
和
Figure 263576DEST_PATH_IMAGE060
中的“
Figure 86038DEST_PATH_IMAGE010
”号表示函数的输入；
该深度众包学习模型的具体损失函数L2形式如下：
L2=
Figure 87493DEST_PATH_IMAGE061
+
Figure 20813DEST_PATH_IMAGE062
；
其中，
Figure 158534DEST_PATH_IMAGE063
以及
Figure DEST_PATH_IMAGE064
均表示损失函数；
损失函数L2包含两项，第一项为对于众包标记集合的拟合函数，第二项为对于第二真实 标记预测
Figure DEST_PATH_IMAGE065
的拟合函数，λ是这两项的平衡系数；
该深度众包模型最小化损失函数L2，并且使用基于SGD的优化方法更新网络参数
Figure 620739DEST_PATH_IMAGE058
，该 步骤最后返回训练完成的深度神经网络分类器
Figure DEST_PATH_IMAGE066
；
将训练好的深度神经网络分类器
Figure DEST_PATH_IMAGE067
，记为深度众包学习模型h2。
7.根据权利要求6所述的众包图像学习方法，其特征在于，
所述步骤7具体为：
对于标记未知的单张图像x，其预测结果
Figure DEST_PATH_IMAGE069
由h1以及h2共同决定，具体形式如下：
Figure DEST_PATH_IMAGE071
；
其中，h1(x)表示步骤4中得到的无噪声建模的噪声标记学习模型h1，h2(x)表示步骤6中 得到的深度众包学习模型h2，
Figure DEST_PATH_IMAGE072
值为h1、h2共同预测概率的最大值索引。
CN202210205861.8A 2022-03-04 2022-03-04 一种基于多专家系统和知识蒸馏的众包图像学习方法 Active CN114299349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210205861.8A CN114299349B (zh) 2022-03-04 2022-03-04 一种基于多专家系统和知识蒸馏的众包图像学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210205861.8A CN114299349B (zh) 2022-03-04 2022-03-04 一种基于多专家系统和知识蒸馏的众包图像学习方法

Publications (2)

Publication Number Publication Date
CN114299349A true CN114299349A (zh) 2022-04-08
CN114299349B CN114299349B (zh) 2022-05-13

Family

ID=80978695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210205861.8A Active CN114299349B (zh) 2022-03-04 2022-03-04 一种基于多专家系统和知识蒸馏的众包图像学习方法

Country Status (1)

Country Link
CN (1) CN114299349B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331065A (zh) * 2022-10-13 2022-11-11 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115578353A (zh) * 2022-10-18 2023-01-06 中科(黑龙江)数字经济研究院有限公司 一种基于图流蒸馏的多模态医学影像分割方法及装置
CN116310356A (zh) * 2023-03-23 2023-06-23 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110929807A (zh) * 2019-12-06 2020-03-27 腾讯科技（深圳）有限公司 图像分类模型的训练方法、图像分类方法及装置
CN112001422A (zh) * 2020-07-28 2020-11-27 南京航空航天大学 一种基于深度贝叶斯学习的图像标记估计方法
CN112016591A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112488222A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 一种众包数据标注方法、系统、服务器及存储介质
CN113052267A (zh) * 2021-04-28 2021-06-29 电子科技大学 基于生成对抗网络的无监督发射器相位噪声参数提取方法
JP2021111279A (ja) * 2020-01-15 2021-08-02 京セラ株式会社 ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
US20210241037A1 (en) * 2020-01-30 2021-08-05 Canon Medical Systems Corporation Data processing apparatus and method
CN113255849A (zh) * 2021-07-14 2021-08-13 南京航空航天大学 一种基于双重主动查询的标签带噪图像学习方法
CN113361201A (zh) * 2021-06-10 2021-09-07 南京大学 一种基于噪声标签学习的众包获取标签数据清洗方法
CN113420548A (zh) * 2021-06-24 2021-09-21 杭州电子科技大学 一种基于知识蒸馏和pu学习的实体抽取采样方法
CN113515639A (zh) * 2021-09-14 2021-10-19 华东交通大学 基于置信学习与标签平滑的噪声数据处理方法与系统
CN114330580A (zh) * 2021-12-31 2022-04-12 之江实验室 基于歧义指导互标签更新的鲁棒知识蒸馏方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070183A (zh) * 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置
CN110929807A (zh) * 2019-12-06 2020-03-27 腾讯科技（深圳）有限公司 图像分类模型的训练方法、图像分类方法及装置
JP2021111279A (ja) * 2020-01-15 2021-08-02 京セラ株式会社 ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
US20210241037A1 (en) * 2020-01-30 2021-08-05 Canon Medical Systems Corporation Data processing apparatus and method
CN112001422A (zh) * 2020-07-28 2020-11-27 南京航空航天大学 一种基于深度贝叶斯学习的图像标记估计方法
CN112016591A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN112183577A (zh) * 2020-08-31 2021-01-05 华为技术有限公司 一种半监督学习模型的训练方法、图像处理方法及设备
CN112488222A (zh) * 2020-12-05 2021-03-12 武汉中海庭数据技术有限公司 一种众包数据标注方法、系统、服务器及存储介质
CN113052267A (zh) * 2021-04-28 2021-06-29 电子科技大学 基于生成对抗网络的无监督发射器相位噪声参数提取方法
CN113361201A (zh) * 2021-06-10 2021-09-07 南京大学 一种基于噪声标签学习的众包获取标签数据清洗方法
CN113420548A (zh) * 2021-06-24 2021-09-21 杭州电子科技大学 一种基于知识蒸馏和pu学习的实体抽取采样方法
CN113255849A (zh) * 2021-07-14 2021-08-13 南京航空航天大学 一种基于双重主动查询的标签带噪图像学习方法
CN113515639A (zh) * 2021-09-14 2021-10-19 华东交通大学 基于置信学习与标签平滑的噪声数据处理方法与系统
CN114330580A (zh) * 2021-12-31 2022-04-12 之江实验室 基于歧义指导互标签更新的鲁棒知识蒸馏方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHAO-YUAN LI 等: "Multi-Label Learning from Crowds", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》 *
YUNCHENG LI 等: "Learning from Noisy Labels with Distillation", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
张晨斌: "对抗噪声的深度学习算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *
邵元: "基于众包的定位指纹标定方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331065A (zh) * 2022-10-13 2022-11-11 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115331065B (zh) * 2022-10-13 2023-03-24 南京航空航天大学 基于解码器迭代筛选的鲁棒噪声多标签图像学习方法
CN115578353A (zh) * 2022-10-18 2023-01-06 中科(黑龙江)数字经济研究院有限公司 一种基于图流蒸馏的多模态医学影像分割方法及装置
CN115578353B (zh) * 2022-10-18 2024-04-05 中科(黑龙江)数字经济研究院有限公司 一种基于图流蒸馏的多模态医学影像分割方法及装置
CN116310356A (zh) * 2023-03-23 2023-06-23 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备
CN116310356B (zh) * 2023-03-23 2024-03-29 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备

Also Published As

Publication number Publication date
CN114299349B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN111460249B (zh) 一种基于学习者偏好建模的个性化学习资源推荐方法
CN114299349B (zh) 一种基于多专家系统和知识蒸馏的众包图像学习方法
CN110428010B (zh) 知识追踪方法
CN111199242A (zh) 一种基于动态修正向量的图像增量学习方法
CN111291940B (zh) 一种基于Attention深度学习模型的学生辍课预测方法
CN109753571B (zh) 一种基于二次主题空间投影的场景图谱低维空间嵌入方法
CN111444432A (zh) 领域自适应的深度知识追踪及个性化习题推荐方法
CN112990385B (zh) 一种基于半监督变分自编码器的主动众包图像学习方法
CN111489365A (zh) 神经网络的训练方法、图像处理方法及装置
CN114201684A (zh) 一种基于知识图谱的自适应学习资源推荐方法及系统
CN112949929B (zh) 一种基于协同嵌入增强题目表示的知识追踪方法及系统
CN112115967A (zh) 一种基于数据保护的图像增量学习方法
CN111274424A (zh) 一种零样本图像检索的语义增强哈希方法
CN113361685A (zh) 一种基于学习者知识状态演化表示的知识追踪方法及系统
CN114971066A (zh) 融合遗忘因素和学习能力的知识追踪方法及系统
CN114281931A (zh) 文本匹配方法、装置、设备、介质及计算机程序产品
CN116136870A (zh) 基于增强实体表示的智能社交对话方法、对话系统
CN115238169A (zh) 一种慕课可解释推荐方法、终端设备及存储介质
CN115115828A (zh) 数据处理方法、装置、程序产品、计算机设备和介质
CN112396092B (zh) 一种众包开发者推荐方法和装置
CN114330554A (zh) 一种面向智能安防的视觉深度模型知识重组方法
Yao et al. Continual recognition with adaptive memory update
CN116680477A (zh) 一种基于强化学习的个性化习题推荐方法
CN116306969A (zh) 基于自监督学习的联邦学习方法和系统
CN115688863A (zh) 一种基于残差连接和学生近况特征融合的深度知识追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant