CN111581467A - 基于子空间表示和全局消歧方法的偏标记学习方法 - Google Patents

基于子空间表示和全局消歧方法的偏标记学习方法 Download PDF

Info

Publication number
CN111581467A
CN111581467A CN202010411587.0A CN202010411587A CN111581467A CN 111581467 A CN111581467 A CN 111581467A CN 202010411587 A CN202010411587 A CN 202010411587A CN 111581467 A CN111581467 A CN 111581467A
Authority
CN
China
Prior art keywords
matrix
model
label
feature
mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010411587.0A
Other languages
English (en)
Other versions
CN111581467B (zh
Inventor
李浥东
冯松鹤
孙悦
郎丛妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202010411587.0A priority Critical patent/CN111581467B/zh
Publication of CN111581467A publication Critical patent/CN111581467A/zh
Application granted granted Critical
Publication of CN111581467B publication Critical patent/CN111581467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于子空间表示和全局消歧方法的偏标记学习方法。该方法包括：构建特征矩阵和候选标记矩阵；基于构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型；综合特征子空间学习模型和标记全局消歧模型得到混合模型，采用交替优化方法求解混合模型，得到多分类模型、映射矩阵和偏标记置信度矩阵；根据多分类模型和映射矩阵对未见示例进行分类，计算出未见示例的多个标记值，将预测置信度最高的标记值对应的标记确定为未见示例所属的标记类别。本发明可同时利用特征子空间表示法和标记全局消歧方法，同时从特征和标记两方面解决偏标记学习问题，所获特征具有更强表征能力；生成的标记置信度矩阵有更好的消歧效果。

Description

基于子空间表示和全局消歧方法的偏标记学习方法
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种基于子空间表示和全局消歧方法的偏标记学习方法。
背景技术
偏标记学习可以被看作一种弱监督的学习框架，这种学习框架的目的是从有候选标签集合的样本中学到一个多分类模型。这种学习框架在现实社会中有着广泛的应用，比如：自动标注系统，来自不同背景的人做了不同的标注，但是其中只有一个标记是正确标注；一篇新闻报道出现了多人的名字和一张合照，我们需要把人名与合照中的人脸匹配。现有的偏标记学习方法可以被分作三类，平均消歧的学习策略、辨识消歧的学习策略和非消歧的学习策略。
平均消歧策略认为每个标签对学习模型做了相同的贡献，并且通过平均化模型输出对测试样本做出预测。针对这个策略的代表方法有：基于k近邻的平均消歧方法，基于最小化损失函数的消歧方法和基于最小化重构损失的消歧方法等等。基于平均消歧策略的方法比较直观，容易实现。但是因为在训练模型的过程中真实标记容易受到伪标记影响，训练模型的效果受到影响。
辨识消歧策略把真实标记看作一个隐变量，通过迭代达到最大化模型输出。辨识消歧策略算法主要基于两大准则：极大似然准则
Figure BDA0002493459060000011
和最大化间隔准则
Figure BDA0002493459060000012
基于辨识消歧策略的方法，比基于平均消歧策略的方法性能的准确率更优，但是也存在着一个潜在的缺陷，训练得到的标记可能是伪标记，而不是真实标记。
现有技术中的偏标记学习方法的缺点包括：
1)消歧策略对每个训练示例单独消歧，忽略了偏标记学习的全局标记语义信息，消歧得到的真实标记有待进一步改进；
2)现有的偏标记学习策略倾向于直接利用原始特征空间学习，但是在高维数据中，冗余特征不可避免地会混杂在原始数据中，这样不仅会增加训练过程的时间和空间开销，并且会降低模型的泛化性能。
发明内容
本发明的实施例提供了一种基于子空间表示和全局消歧方法的偏标记学习方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于子空间表示和全局消歧方法的偏标记学习方法，包括：
构建特征矩阵和候选标记矩阵；
基于所述构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型；
综合所述特征子空间学习模型和所述标记全局消歧模型得到混合模型，采用交替优化方法求解所述混合模型，得到多分类模型、映射矩阵和偏标记置信度矩阵；
根据所述多分类模型和所述映射矩阵对未见示例进行分类，计算出所述未见示例的多个标记值，将预测置信度最高的标记值对应的标记确定为所述未见示例所属的标记类别。
优选地，所述的构建特征矩阵和候选标记矩阵，包括：
构建特征矩阵X∈[0，1]dxn，其中d和n分别表示特征维度数目和样本数目，构建候选标记矩阵Y∈{0，1}mxn，其中m和n分别表示类别数目和样本数目，初始化标记置信度矩阵P∈[0，1]mxn，其中m和n分别表示类别数目和样本数目，P的数值越接近于1，说明该标记是示例的真实标记的可能性越大；P的数值越接近于0，说明该标记是示例的真实标记的可能性越小。
优选地，所述的基于所述构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型，包括：
构建特征子空间学习模型，利用特征子空间学习模型学习得到新的特征表示，生成映射矩阵
Figure BDA0002493459060000021
其中d与分别表示原始特征空间的维度与子空间的特征维度；
构建标记全局消歧模型，利用标记全局消歧模型训练得到新的特征表示和候选标记矩阵，利用所述标记全局消歧模型生成偏标记置信度矩阵P∈[0，1]mxn，多分类模型
Figure BDA0002493459060000022
其中其中d′与m分别表示子空间的特征维度与类别数目。
优选地，所述的构建特征子空间学习模型，利用特征子空间学习模型学习得到新的特征表示，生成映射矩阵
Figure BDA0002493459060000031
其中d与d′分别表示原始特征空间的维度与子空间的特征维度，包括：
构建子空间学习模型，生成映射矩阵
Figure BDA0002493459060000032
使用K近邻的方法构建示例的相似度矩阵
Figure BDA0002493459060000033
构建图拉普拉斯矩阵
Figure BDA0002493459060000034
L＝D-S，D是一个对角矩阵，对角元素为相似度矩阵S每一行的和，对所述映射矩阵
Figure BDA0002493459060000035
加上图拉普拉斯约束Tr(QTXLXTQ)；
设正交约束QTQ＝Id‘，其中Id′是尺寸为d′的单位矩阵，采用了最小二乘损失学习新生成的特征表示与标记空间的映射关系，合并各项后，子空间学习模型的目标函数表示如下：
Figure BDA0002493459060000036
s.t.QTQ＝Id‘
其中，λ1为超参数，用于调节正则项在损失函数中的比重，XT代表X的转置，PT代表P的转置。
优选地，所述的构建标记全局消歧模型，利用标记全局消歧模型训练得到新的特征表示和候选标记矩阵，利用所述标记全局消歧模型生成偏标记置信度矩阵P∈[0，1]mxn，多分类模型
Figure BDA0002493459060000037
其中其中d‘与m分别表示子空间的特征维度与类别数目，包括：
构建全局消岐策略模型，生成映射矩阵和偏标记置信度矩阵P∈[0，1]mxn。
在训练全局消歧策略模型的过程中，利用标记上下文语义信息从整体对偏标记候选矩阵消歧，生成偏标记置信度矩阵P∈[0，1]mxn，对偏标记置信度矩阵P加上l1的范数约束，对偏标记置信度矩阵P加上图拉普拉斯约束Tr(PLPT)，在偏标记置信度矩阵P中引入不等式约束，确保偏标记置信度矩阵P中的每一项都大于等于零，并且小于等于原来的候选标记；
合并各项后，全局消岐策略模型的目标函数表示如下：
Figure BDA0002493459060000038
s.t.0≤P‘≤Y
其中，λ2，β为超参数，用于调节正则项在损失函数中的比重。
优选地，所述的综合所述特征子空间学习模型和所述标记全局消歧模型得到混合模型，包括：
生成多分类模型
Figure BDA0002493459060000041
对多分类模型
Figure BDA0002493459060000042
增加Frobenius范数约束，使用相同的正则化参数λ控制特征的语义一致性和标记的局部一致性，合并各项后，综合了子空间学习模型和全局消歧模型的混合模型的目标函数表示如下：
Figure BDA0002493459060000043
s.t.0≤P≤Y
QTQ＝Id‘。
优选地，所述的采用交替优化方法求解所述混合模型，得到多分类模型、映射矩阵和偏标记置信度矩阵，包括：
S3-1：对所述混合模型初始化，初始化离散混合模型：
P＝Y；
Q＝eye(d，d′)
S3-2：固定P，Q，更新W:基于交替优化算法，求解模型W等价于优化以下目标函数
Figure BDA0002493459060000044
对以上目标函数求导，并让求得的导数为0，W的具体的更新规则如下：
W＝(QTXXT+2α)-1QTXPT
S3-3：固定W，P，更新Q；固定W，Q，求解模型P，等价于优化以下目标函数问题
Figure BDA0002493459060000045
s.t.QTQ＝Id‘
参数Q通过梯度下降的方法求出，对以上目标函数求导，具体Q的更新规则分为两步：
第一步更新Q：
Q＝Q-θ(XXTQWWT+2λXLXTQ-XPTWT)
使用Armijo准则来决定更新的步长θ；
第二步，对Q归一化，满足约束QTQ＝Id′；
S3-4：固定Q，W，更新P：混合模型的目标函数等价于如下优化问题
Figure BDA0002493459060000046
s.t.0≤P≤Y
关于P的目标函数分为两部分，
Figure BDA0002493459060000047
和f(P)=β||P||1，采用近端梯度下降的方法更新P，具体步骤如下：
求得近端梯度下降的Lipschitz连续性系数，借助Lipschitz连续性系数把关于P的目标函数化为Frobenius范数和1范数的和；
g′(P)＝P-WTQTX+2λPL
||g(P1)-g(P2)||F＝||(In+2λL)(P1-P2)||F
≤Lf||P1-P2||F
σmax(·)代表了矩阵的最大特征值，Lipschitz连续性系数为
Lf＝σmax(In+2λ)
其次，将目标函数化为F范数和一范数的和的形式。
Figure BDA0002493459060000051
将目标函数带入求解：
Figure BDA0002493459060000052
其中，
Figure BDA0002493459060000053
S3-7：重复执行S2-2到S3-4，不断交替更新参数W，Q，P，直到满足迭代停止条件，混合模型收敛，输出混合模型的最优解(P*，Q*，W*)。
优选地，所述的迭代停止条件为目标函数值小于某个预设定阈值；或者P，Q和W的每一位都不再发生变化；或者达到迭代的最大次数。
优选地，所述的根据所述多分类模型和所述映射矩阵对未见示例进行分类，计算出所述未见示例的多个标记值，将预测置信度最高的标记值对应的标记确定为所述未见示例所属的标记类别，包括：
根据映射矩阵Q和多分类模型W对未见示例x*进行分类，计算出未见示例x*的标记值y＝arg maxWTQTx*，WTQTx*是一个向量，每个向量的取值对应一种标记的预测置信度值，标记的预测置信度值由WTQTx*得到，y的取值范围为大于0的实数，将预测置信度最高的标记值对应的标记确定为未见示例x*所属的标记类别。
由上述本发明的实施例提供的技术方案可以看出，本发明实施例提出了一种基于特征子空间表示和标记全局消歧方法的偏标记学习方法，该方法可同时利用特征子空间表示法和标记全局消歧方法，同时从特征和标记两方面解决偏标记学习问题。与现有偏标记学习算法相比，本发明方法在解决偏标记学习问题的问题上有更优秀的表现。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于子空间表示和全局消歧方法的偏标记学习方法的处理流程图；
图2为本发明实施例提供的一种混合模型的训练过程流程图；
图3为本发明方法与现有偏标记学习方法的对比实验结果。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
子空间表示：通过直接映射高维张量数据到低维空间的一种降维方法
偏标记学习：假设
Figure BDA0002493459060000071
代表示例空间，y＝{y1，y2，…，yq}代表(多类)标记空间。给定偏标记训练集D＝{(xi，Si|1≤i≤m)}，其中xi为d维属性向量，
Figure BDA0002493459060000072
为与xi对应的候选标记集合，xi的真实标记yi未知但满足条件yi∈Si。
本发明实施例提出了一种基于子空间表示和全局消歧方法的偏标记学习方法，以改进现有消歧策略的两个缺陷。一方面，本发明方法使用全局消歧策略消歧候选标记矩阵，可有效利用偏标记的标记相关性，从而进一步提升消歧性能；另一方面，本发明方法采用子空间表示法训练得到低维度的，紧凑的，更有判别力的特征；从特征和标记两个层面，同时最大限度地提升了标记矩阵的消歧，提高了泛化性能，从而获得了更精确的分类结果。
本发明实施例提供了一种基于子空间表示和全局消歧方法的偏标记学习方法，该方法的处理流程如图1所示，具体包括以下步骤：
步骤S1、构建特征矩阵和候选标记矩阵。
构建特征矩阵X∈[0，1]dxn，其中d和n分别表示特征维度数目和样本数目，构建候选标记矩阵Y∈{0，1}mxn，其中m和n分别表示类别数目和样本数目，初始化偏标记置信度矩阵P∈[0，1]mxn，其中m和n分别表示类别数目和样本数目，其中数值越接近于1，说明该标记是示例的真实标记的可能性越大；P的数值越接近于0，说明该标记是示例的真实标记的可能性越小。
步骤S2、基于上述构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型。
构建特征子空间学习模型，利用特征子空间学习模型学习得到新的特征表示。
特征子空间学习模型是由约束项最小二乘损失，图拉普拉斯矩阵构成，具体构成模型见下文由S2-1。利用特征子空间学习模型学习通过梯度下降的方法得到映射矩阵Q，详细优化求解过程见下文S3-3，通过QTX得到新的特征表示，QT为Q的转置。
新的特征表示具有三个特性：一致性、紧凑性和判别性。生成映射矩阵
Figure BDA0002493459060000073
其中d与d′分别表示原始特征空间的维度与子空间的特征维度。
构建标记全局消歧模型，利用标记全局消歧模型，输入训练得到的新的特征表示和候选标记矩阵，全局消歧模型是由约束最小二乘损失，P的l1范式和P的图拉普拉斯约束构成，详细全局消歧模型的构成见下文S2-2。然后利用近端梯度下降方法得到偏标记置信度矩阵P，详细优化方式见S3-4。
利用上述标记全局消歧模型生成偏标记置信度矩阵P∈[0，1]mxn，多分类模型
Figure BDA0002493459060000081
其中其中d‘与m分别表示子空间的特征维度与类别数目。
把特征子空间学习模型和全局消歧模型加权，按照梯度下降的方式求多分类模型W，具体求解方式见S3-2。
步骤S3、综合特征子空间学习模型和标记全局消歧模型得到混合模型，采用交替优化方法求解混合模型，得到最优化的多分类模型
Figure BDA0002493459060000082
偏标记置信度矩阵P∈[0，1]mxn，映射矩阵
Figure BDA0002493459060000083
步骤S4、根据映射矩阵Q和多分类模型W对未见示例x*进行分类，计算出未见示例x*的标记值y＝arg max WTQTx*，WTQTx*是一个向量，每个向量的取值对应一种标记的预测置信度值，标记的预测置信度值由WTQTx*得到，y的取值范围为大于0的实数。将预测置信度最高的标记值对应的标记确定为未见示例x*所属的标记类别，可以根据该标记类别对未见示例x*进行物品分类。
步骤S2所述的构建子空间学习模型和全局消歧模型具体包括如下步骤：
S2-1：构建子空间学习模型，生成映射矩阵
Figure BDA0002493459060000084
构建子空间学习模型的目的是为了将含有冗余特征的高维度原始子空间，映射到新的低维度的特征子空间。这种方法跟原有的使用原始特征的方法相比，降低了时间和空间消耗，提高了模型的泛化性能。新的子空间表示有三个属性：一致性、紧凑性和判别性。
确保特征子空间的一致性。原始特征经过映射矩阵投影到低维度子空间，为了保证映射得到的新的特征表示和原始特征有一致性，即，原来相似的样本，在新得到的子空间中依旧相似，本方法对映射矩阵
Figure BDA0002493459060000085
加上图拉普拉斯约束Tr(QTXLXTQ)。在实际训练中，使用如下方法构建图拉普拉斯矩阵
Figure BDA0002493459060000086
使用K近邻的方法构建示例的相似度矩阵
Figure BDA0002493459060000087
L＝D-S，D是一个对角矩阵，对角元素为相似度矩阵S每一行的和。其次，为了确保特征子空间的紧凑性，本方法采用了正交约束QTQ＝Id′，其中Id‘是尺寸为d′的单位矩阵。最后，为了提升特征子空间的判别性，使学得的模型更加适合偏标记学习的样本，本方法采用了最小二乘损失，学习新生成的特征表示与标记空间的映射关系。在这个学习模型中，我们使用偏标记置信度矩阵P∈{0，1}mxn而不是原始特征矩阵Y∈{0，1}mxn。
合并各项后，子空间学习模型的目标函数表示如下：
Figure BDA0002493459060000091
s.t.QTQ＝Id‘
其中，λ1为超参数，用于调节正则项在损失函数中的比重，XT表示X的转置，PT表示P的转置。
S2-2：构建全局消歧策略模型，生成映射矩阵和偏标记置信度矩阵P∈[0，1]mxn。
构建全局消歧策略模型的目的是为了对含有噪声标记的候选标记矩阵消歧，使得候选标记矩阵中的伪标记被消除。在训练此模型的过程中，利用标记上下文语义信息，从整体对偏标记候选矩阵消歧，生成偏标记置信度矩阵P。这种方法跟原有的偏标记消歧策略相比，提高了模型的消歧能力。偏标记置信度矩阵有两个属性：全局稀疏性和局部一致性。
全局稀疏性：偏标记学习是一个弱监督的多分类问题，训练样本中的每个示例都有且仅有只有一个真实标记。局部一致性：相似的样本，应该有相似的标记分布。为了确保第一个属性，本方法对偏标记置信度矩阵P∈[0，1]mxn加上l1的范数约束。l1-范数约束可以抑制候选标记里面的噪声标签，让噪声标记更加趋近于0，同时对偏标记置信度矩阵的整体约束，可以利用全局偏标记相关性信息。
为了确保第二个属性，本方法对偏标记置信度矩阵P∈[0，1]mxn加上图拉普拉斯约束Tr(PLPT)，与构建特征子空间中使用的图拉普拉斯矩阵相同。最后，本方法在偏标记置信度矩阵P∈[0，1]mxn中引入不等式约束，确保置信度矩阵中的每一项都大于等于零，并且小于等于原来的候选标记。
合并各项后，全局消歧策略模型的目标函数表示如下：
Figure BDA0002493459060000092
s.t.0≤P≤Y
其中，λ2，β为超参数，用于调节正则项在损失函数中的比重。
S2-3：生成多分类模型
Figure BDA0002493459060000093
为了生成分类所需的多分类模型
Figure BDA0002493459060000094
控制模型复杂度，本方法对多分类模型
Figure BDA0002493459060000095
增加Frobenius范数约束。为了平衡模型的效率和性能，本方法使用相同的正则化参数λ控制特征的语义一致性和标记的局部一致性，而不是单独使用λ1和λ2。
合并各项后，综合了子空间学习模型和全局消歧模型的混合模型的目标函数表示如下：
Figure BDA0002493459060000101
s.t.0≤P≤Y
QTQ＝Id‘
S3：图2为本发明实施例提供的一种混合模型的训练过程流程图。所述混合模型的训练方法包括如下步骤：
S3-1：混合模型初始化，使用交替优化算法优化混合模型的各参数，得到连续空间下混合模型的最优解(P*，Q*，W*)。
按以下规则初始化离散混合模型：
P＝Y；
Q＝eye(d，d′)
S3-2：固定P，Q，更新W:基于交替优化算法，求解模型W等价于优化以下目标函数
Figure BDA0002493459060000102
对以上目标函数求导，并让求得的导数为0，W的具体的更新规则如下：
W＝(QTxxT+2α)-1QTXPT
S3-3：固定W，P，更新Q:和更新W的问题相似，固定W，Q，求解模型P，等价于优化以下目标函数问题
Figure BDA0002493459060000103
s.t.QTQ＝Id‘
显而易见的，参数Q可以通过梯度下降的方法求出。对以上目标函数求导，具体Q的更新规则可以分为两步。
第一步更新Q：
Q＝Q-θ(XXTQWWT+2λXLXTQ-XPTWT)
本方法使用Armijo准则来决定更新的步长θ，比普通的梯度下降算法减少了时间花费，收敛性也更好。
第二步，本方法对Q归一化，满足约束QTQ＝Id‘。
S3-4：固定Q，W，更新P：混合模型的目标函数等价于如下优化问题
Figure BDA0002493459060000111
S.t.0≤P≤Y
关于P的目标函数可以分为两部分，
Figure BDA0002493459060000112
和f(P)＝β||P||1。g(P)具有强凸性，而且可以直接求导。f(P)具有弱凸性，||P||1无法直接求导。因此，本方法采用近端梯度下降的方法更新，具体步骤如下。
首先，本方法求得近端梯度下降的Lipschitz连续性系数，借助Lipschitz连续性系数把关于P的目标函数化为Frobenius范数和1范数的和。
g′(P)＝P-WTQTx+2λPL
||g(P1)-g(P2)||F＝||(In+2λL)(P1-P2)||F
≤Lf||P1-P2||F
因此，σmax(·)代表了矩阵的最大特征值。因此，Lipschitz连续性系数为Lf＝σmax(In+2λ)
其次，将目标函数化为F范数和一范数的和的形式。
Figure BDA0002493459060000113
最后，将目标函数带入求解：
Figure BDA0002493459060000114
其中，
Figure BDA0002493459060000115
S3-7：重复执行S2-2到S3-4，不断交替更新参数W，Q，P，直到满足迭代停止条件，混合模型收敛，上述迭代停止条件可以为目标函数值小于某个预设定阈值，或者P，Q和W的每一位都不再发生变化；或者达到迭代的最大次数，最后输出混合模型的最优解(P*，Q*，W*)。
本发明的方法在BirdSong、Lost、Yahoo！News、FG-Net和Mirflickr数据集上进行了实验，并将本发明所述方法(Subspace Representation and Global DisambiguationPartial Label Learning Approach，简称SERGIO)与目前六种主流偏标记学习方法进行了对比实验分析；对比方法包括目前PL-KNN(Partial Label Learning K NearestNeighbor)，发表于Intelligent Data Analysis；PL-SVM(Partial Label LearningSupport Vector Machine)，发表于ACMSIGKDD Conference on Knowledge Discovery andData Mining，CLPL(Learning from Partial Labels)，发表于Journal of MachineLearning Research，M3PL(Maximum Margin Partial Label Learning)，发表于AsianConference on Machine Learning；PL-ECOC(Partial Label Learning Error-Correcting Output Codes)，发表于ACM SIGKDD Conference on Knowledge Discoveryand Data Mining；GM-PLL(Graph Matching based Partial Label Learning)，发表于IEEE Transactions on Knowledge and Data Engineering。
BirdSong数据集是鸟类叫声分类数据集，该数据集包括4998个样本，38个特征，13种类别、平均每个样本有2.18个标记；FG-Net数据集是人脸年龄估计数据集，该数据集包括1002个样本，262个特征，78种类别、平均每个样本有7.48个标记；Mirflickr数据集是网络图像分类数据集，该数据集包括2780个样本，1536个特征，14种类别、平均每个样本有2.76个标记；Lost数据集是人脸自动标注数据集，该数据集包括1122个样本，108个特征，16种类别、平均每个样本有2.33个标记；Yahoo！News数据集是人脸自动标注数据集，该数据集包括22991个样本，163个特征，219种类别、平均每个样本有1.91个标记。
图3展示了SERGIO,PL-KNN,PL-SVM,CLPL,M3PL,PL-ECOC,GM-PLL方法在BirdSong、Lost、Yahoo！News、FG-NET、Mirflickr数据集上的对比实验结果，评价指标为分类准确率，其中●表示最优值，性能对比方式采用0.05成对t检验。
本发明公开一种基于特征子空间表示和标记全局消歧的偏标记学习方法，重在保护基于特征子空间表示和标记全局消歧的偏标记学习方法构建模型和训练方法；在实施例中，控制多分类参数复杂度范数，熟悉本领域技术的人员显然可以容易地针对上述实施例做出各种修改，例如将F范数替换为其他变体模型，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。故凡依本发明申请专利范围所做出的改进和修改，均应包括于本发明专利的申请范围内。
综上所述，本发明实施例提出了一种基于特征子空间表示和标记全局消歧方法的偏标记学习方法，该方法可同时利用特征子空间表示法和标记全局消歧方法，同时从特征和标记两方面解决偏标记学习问题。与现有偏标记学习算法相比，本发明方法在解决偏标记学习问题的问题上有更优秀的表现。
本发明实施例结合了特征子空间表示模型与标记全局消歧模型，基于特征子空间表示模型，提取判别，紧凑，空间一致的低维度子空间表示，所获特征具有更强表征能力；基于标记全局消岐模型，偏标记学习可以利用全局标记语义信息对候选标记矩阵消歧，使生成的标记置信度矩阵有更好的消歧效果。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于子空间表示和全局消歧方法的偏标记学习方法，其特征在于，包括：
构建特征矩阵和候选标记矩阵；
基于所述构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型；
综合所述特征子空间学习模型和所述标记全局消歧模型得到混合模型，采用交替优化方法求解所述混合模型，得到多分类模型、映射矩阵和偏标记置信度矩阵；
根据所述多分类模型和所述映射矩阵对未见示例进行分类，计算出所述未见示例的多个标记值，将预测置信度最高的标记值对应的标记确定为所述未见示例所属的标记类别。
2.根据权利要求1所述的方法，其特征在于，所述的构建特征矩阵和候选标记矩阵，包括：
构建特征矩阵X∈[0，1]dxn，其中d和n分别表示特征维度数目和样本数目，构建候选标记矩阵Y∈{0，1}mxn，其中m和n分别表示类别数目和样本数目，初始化标记置信度矩阵P∈[0，1]mxn，其中m和n分别表示类别数目和样本数目，P的数值越接近于1，说明该标记是示例的真实标记的可能性越大；P的数值越接近于0，说明该标记是示例的真实标记的可能性越小。
3.根据权利要求2所述的方法，其特征在于，所述的基于所述构建特征矩阵和候选标记矩阵，构建特征子空间学习模型和标记全局消歧模型，包括：
构建特征子空间学习模型，利用特征子空间学习模型学习得到新的特征表示，生成映射矩阵
Figure FDA0002493459050000011
其中d与d′分别表示原始特征空间的维度与子空间的特征维度；
构建标记全局消歧模型，利用标记全局消歧模型训练得到新的特征表示和候选标记矩阵，利用所述标记全局消歧模型生成偏标记置信度矩阵P∈[0，1]mxn，多分类模型
Figure FDA0002493459050000012
其中其中d‘与m分别表示子空间的特征维度与类别数目。
4.根据权利要求3所述的方法，其特征在于，所述的构建特征子空间学习模型，利用特征子空间学习模型学习得到新的特征表示，生成映射矩阵
Figure FDA0002493459050000013
其中d与d′分别表示原始特征空间的维度与子空间的特征维度，包括：
构建子空间学习模型，生成映射矩阵
Figure FDA0002493459050000014
使用K近邻的方法构建示例的相似度矩阵
Figure FDA0002493459050000015
构建图拉普拉斯矩阵
Figure FDA0002493459050000016
L＝D-S，D是一个对角矩阵，对角元素为相似度矩阵S每一行的和，对所述映射矩阵
Figure FDA0002493459050000021
加上图拉普拉斯约束Tr(QTXLXTQ)；
设正交约束QTQ＝Id‘，其中Id‘是尺寸为d′的单位矩阵，采用了最小二乘损失学习新生成的特征表示与标记空间的映射关系，合并各项后，子空间学习模型的目标函数表示如下：
Figure FDA0002493459050000022
s.t.QTQ＝Id‘
其中，λ1为超参数，用于调节正则项在损失函数中的比重，XT代表X的转置，PT代表P的转置。
5.根据权利要求4所述的方法，其特征在于，所述的构建标记全局消歧模型，利用标记全局消歧模型训练得到新的特征表示和候选标记矩阵，利用所述标记全局消歧模型生成偏标记置信度矩阵P∈[0，1]mxn，多分类模型
Figure FDA0002493459050000023
其中其中d‘与m分别表示子空间的特征维度与类别数目，包括：
构建全局消岐策略模型，生成映射矩阵和偏标记置信度矩阵P∈[0，1]mxn。
在训练全局消歧策略模型的过程中，利用标记上下文语义信息从整体对偏标记候选矩阵消歧，生成偏标记置信度矩阵P∈[0，1]mxn，对偏标记置信度矩阵P加上l1的范数约束，对偏标记置信度矩阵P加上图拉普拉斯约束Tr(PLPT)，在偏标记置信度矩阵P中引入不等式约束，确保偏标记置信度矩阵P中的每一项都大于等于零，并且小于等于原来的候选标记；
合并各项后，全局消岐策略模型的目标函数表示如下：
Figure FDA0002493459050000024
Figure FDA0002493459050000027
其中，λ2，β为超参数，用于调节正则项在损失函数中的比重。
6.根据权利要求5所述的方法，其特征在于，所述的综合所述特征子空间学习模型和所述标记全局消歧模型得到混合模型，包括：
生成多分类模型
Figure FDA0002493459050000025
对多分类模型
Figure FDA0002493459050000026
增加Frobenius范数约束，使用相同的正则化参数λ控制特征的语义一致性和标记的局部一致性，合并各项后，综合了子空间学习模型和全局消歧模型的混合模型的目标函数表示如下：
Figure FDA0002493459050000031
Figure FDA0002493459050000036
QTQ＝Id‘。
7.根据权利要求6所述的方法，其特征在于，所述的采用交替优化方法求解所述混合模型，得到多分类模型、映射矩阵和偏标记置信度矩阵，包括：
S3-1：对所述混合模型初始化，初始化离散混合模型：
P＝Y；
Q＝eye(d，d′)
S3-2：固定P，Q，更新W:基于交替优化算法，求解模型W等价于优化以下目标函数
Figure FDA0002493459050000032
对以上目标函数求导，并让求得的导数为0，W的具体的更新规则如下：
W＝(QTXXT+2α)-1QTXPT
S3-3：固定W，P，更新Q；固定W，Q，求解模型P，等价于优化以下目标函数问题
Figure FDA0002493459050000033
s.t.QTQ＝Id′
参数Q通过梯度下降的方法求出，对以上目标函数求导，具体Q的更新规则分为两步：
第一步更新Q：
Q＝Q-θ(XXTQWWT+2λXLXTQ-XPTWT)
使用Armijo准则来决定更新的步长θ；
第二步，对Q归一化，满足约束QTQ＝Id‘；
S3-4：固定Q，W，更新P：混合模型的目标函数等价于如下优化问题
Figure FDA0002493459050000034
Figure FDA0002493459050000037
关于P的目标函数分为两部分，
Figure FDA0002493459050000035
和f(P)＝β||P||1，采用近端梯度下降的方法更新P，具体步骤如下：
求得近端梯度下降的Lipschitz连续性系数，借助Lipschitz连续性系数把关于P的目标函数化为Frobenius范数和1范数的和；
g′(P)＝P-WTQTX+2λPL
||g(P1)-g(P2)||F＝||(In+2λL)(P1-P2)||F≤Lf||P1-P2||F
σmax(·)代表了矩阵的最大特征值，Lipschitz连续性系数为
Lf＝σmax(In+2λ)
其次，将目标函数化为F范数和一范数的和的形式。
Figure FDA0002493459050000041
将目标函数带入求解：
Figure FDA0002493459050000042
其中，
Figure FDA0002493459050000043
S3-7：重复执行S2-2到S3-4，不断交替更新参数W，Q，P，直到满足迭代停止条件，混合模型收敛，输出混合模型的最优解(P*，Q*，W*)。
8.根据权利要求7所述的方法，其特征在于，所述的迭代停止条件为目标函数值小于某个预设定阈值；或者P，Q和W的每一位都不再发生变化；或者达到迭代的最大次数。
9.根据权利要求7或者8所述的方法，其特征在于，所述的根据所述多分类模型和所述映射矩阵对未见示例进行分类，计算出所述未见示例的多个标记值，将预测置信度最高的标记值对应的标记确定为所述未见示例所属的标记类别，包括：
根据映射矩阵Q和多分类模型W对未见示例x*进行分类，计算出未见示例x*的标记值y＝argmaxWTQTx*，WTQTx*是一个向量，每个向量的取值对应一种标记的预测置信度值，标记的预测置信度值由WTQTx*得到，y的取值范围为大于0的实数，将预测置信度最高的标记值对应的标记确定为未见示例x*所属的标记类别。
CN202010411587.0A 2020-05-15 2020-05-15 基于子空间表示和全局消歧方法的偏标记学习方法 Active CN111581467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411587.0A CN111581467B (zh) 2020-05-15 2020-05-15 基于子空间表示和全局消歧方法的偏标记学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010411587.0A CN111581467B (zh) 2020-05-15 2020-05-15 基于子空间表示和全局消歧方法的偏标记学习方法

Publications (2)

Publication Number Publication Date
CN111581467A true CN111581467A (zh) 2020-08-25
CN111581467B CN111581467B (zh) 2024-04-02

Family

ID=72125013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010411587.0A Active CN111581467B (zh) 2020-05-15 2020-05-15 基于子空间表示和全局消歧方法的偏标记学习方法

Country Status (1)

Country Link
CN (1) CN111581467B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107636A (zh) * 2023-04-06 2023-05-12 之江实验室 一种硬件加速方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259109A (ja) * 2008-04-18 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> ラベル付与装置、ラベル付与プログラム、ラベル付与プログラムが記録された記録媒体、および、ラベル付与方法
CN109597856A (zh) * 2018-12-05 2019-04-09 北京知道创宇信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN110060102A (zh) * 2019-04-18 2019-07-26 重庆邮电大学 基于偏标记学习的用户所在商铺定位大数据预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259109A (ja) * 2008-04-18 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> ラベル付与装置、ラベル付与プログラム、ラベル付与プログラムが記録された記録媒体、および、ラベル付与方法
CN109597856A (zh) * 2018-12-05 2019-04-09 北京知道创宇信息技术有限公司 一种数据处理方法、装置、电子设备及存储介质
CN110060102A (zh) * 2019-04-18 2019-07-26 重庆邮电大学 基于偏标记学习的用户所在商铺定位大数据预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116107636A (zh) * 2023-04-06 2023-05-12 之江实验室 一种硬件加速方法、装置、存储介质及电子设备
CN116107636B (zh) * 2023-04-06 2023-06-27 之江实验室 一种硬件加速方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN111581467B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
Houthuys et al. Multi-view kernel spectral clustering
Wang et al. Determination of the spread parameter in the Gaussian kernel for classification and regression
Boutell et al. Learning multi-label scene classification
Gibert et al. Graph embedding in vector spaces by node attribute statistics
CN108132968A (zh) 网络文本与图像中关联语义基元的弱监督学习方法
Chakraborty et al. Simultaneous variable weighting and determining the number of clusters—A weighted Gaussian means algorithm
Xiao et al. Signature verification using a modified Bayesian network
Wang et al. Label propagation with structured graph learning for semi-supervised dimension reduction
Lin et al. Deep unsupervised hashing with latent semantic components
Liu et al. Relation-based discriminative cooperation network for zero-shot classification
Sun et al. PP-PLL: Probability propagation for partial label learning
Liu et al. Weakly-paired deep dictionary learning for cross-modal retrieval
Sepahvand et al. An adaptive teacher–student learning algorithm with decomposed knowledge distillation for on-edge intelligence
CN112861626B (zh) 基于小样本学习的细粒度表情分类方法
Jin et al. Discriminant zero-shot learning with center loss
Thompson et al. The contextual lasso: Sparse linear models via deep neural networks
CN111581467A (zh) 基于子空间表示和全局消歧方法的偏标记学习方法
CN111259938B (zh) 基于流形学习和梯度提升模型的图片偏多标签分类方法
Ma et al. Semi-supervised classification with graph structure similarity and extended label propagation
Chen et al. Gaussian mixture embedding of multiple node roles in networks
CN113723111B (zh) 一种小样本意图识别方法、装置、设备及存储介质
CN116049349A (zh) 基于多层次注意力和层次类别特征的小样本意图识别方法
CN114970684A (zh) 一种结合vae的提取网络核心结构的社区检测方法
Du et al. Robust spectral clustering via matrix aggregation
Devi et al. An empirical study to examine the student activity analysis components of technology using an extended multi-labeled gradient boosting methodology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant