CN111160398A - 一种基于示例级和标签级关联的缺失标签多标签分类方法 - Google Patents
一种基于示例级和标签级关联的缺失标签多标签分类方法 Download PDFInfo
- Publication number
- CN111160398A CN111160398A CN201911241296.5A CN201911241296A CN111160398A CN 111160398 A CN111160398 A CN 111160398A CN 201911241296 A CN201911241296 A CN 201911241296A CN 111160398 A CN111160398 A CN 111160398A
- Authority
- CN
- China
- Prior art keywords
- label
- matrix
- level
- sample
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
- G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明请求保护一种基于示例级和标签级关联的缺失标签多标签分类方法,包括步骤:S1输入训练样本的特征矩阵,通过线性重组策略构建基于特征的样本近邻图,来挖掘样本的几何结构信息,得到示例级的关联矩阵;S2输入训练样本的标签矩阵,通过低秩表示的方法构建基于标签的语义关联图,来挖掘标签的语义关联信息,得到标签级的关联矩阵;S3利用拉普拉斯流形正则化将这两种标签关联构造为两个正则化项;S4构造目标函数并对其进行求解。本发明同时结合了示例级和标签级的关联性,能够有效提升多标签分类方法在标签部分缺失的情况下的分类效果。
Description
技术领域
本发明属于机器学习技术领域,特别涉及标签缺失情况下的多标签分类方法。
背景技术
多标签学习被广泛应用于文本分类、图像标注等任务。不同于单标签学习,多标签学习中的每个示例通常同时具有多个标签。标签之间的关联性,包括示例级的关联和标签级的关联,对于提升多标签学习算法的性能起着关键性的作用。
虽然现有的大多数多标签学习算法在处理多标签学习问题上取得一定的成果,但是它们大都假设训练样本的标签集是完整的。由于人工标注的困难和巨大的时间开销,在实际应用中,训练样本的部分标签往往是缺失的,这种标签缺失问题通常会对分类算法的性能造成负面的影响。特别是在图像标注任务中,一张图像通常具有多个标签,但是在人工标注的过程中,人们通常倾向于标注图像中最明显的语义,而忽略图像中一些细微和潜在的语义,使得图像数据的一些标签缺失。随着互联网和社交媒体的发展,大量由用户标注并上传的图像数据可以被获取,但是这些图像数据的标签通常是不完整的,如何利用这些容易获取却具有标签缺失问题的数据来训练一个健壮、有效的分类算法,仍然是一个亟待解决的问题。
近年来,标签缺失问题一直是多标签学习算法的一个挑战。处理标签缺失问题的关键就是利用示例之间的相似性和标签间固有的关联性。
示例级的关联即两个示例越相似,那么它们拥有得标签也就越相似。示例间的相似性通常由示例相似度矩阵来表示。Sun等人提出弱标签学习(Weak Label Learning,WELL),将缺失标签看作是负标签,通过为不同标签学习不同的示例相似度矩阵来处理标签缺失问题。Feng等人提出一种半监督的图正则化低秩特征映射多标签学习方法,该方法假设特征映射矩阵是低秩矩阵,并采用高斯函数和k近邻策略计算示例相似度矩阵。以上方法虽然充分考虑了示例间的关联性,但是却忽略了标签间的关联。
标签间的关联性对于处理标签缺失问题也至关重要,标签级的关联用于描述标签在样本空间分布的相似性,两个标签越相似,那么它们在样本空间中的分布也越相似。标签级的关联可以利用标签矩阵的低秩性挖掘,也可以通过标签共现或余弦相似度计算一个标签相似度矩阵。Xu等人提出ML-LRC算法,采用低秩结构在训练的同时挖掘标签级的关联性。Zhu等人提出GLOCAL算法,该算法通过低秩标签表示和流行正则化同时提取全局和局部标签关联。以上算法虽然利用标签空间的低秩性考虑标签级的关联,却没有考虑示例级的关联。
同时考虑示例级的关联和标签级的关联能更好的提高算法性能。谭等人提出EnWL算法,该算法通过余弦相似度计算标签间的相似性,从而对缺失标签进行初步的补全,并通过构建示例间的k近邻图将样本平滑性假设引入目标函数。Zhao等人基于流形正则化框架提出一种半监督的缺失标签多标签学习方法,通过构造示例间的k近邻图表示示例级的关联性,并联合低秩标签矩阵恢复模型来处理标签缺失问题。Wu等人提出MLML算法,基于样本平滑性假设,通过高斯函数计算示例间的相似度矩阵,基于类别平滑性假设,通过余弦相似度计算标签间的相似度矩阵,同时考虑样本间和标签间的关联。
总的来说,虽然很多方法都同时考虑了示例级和标签级两种关联。但是在挖掘示例级的关联时,这些方法通常采用高斯函数和k近邻策略来计算示例相似度矩阵,这样只能计算成对示例间的相似性,并且高斯函数中的σ值难以确定。此外,在挖掘标签级的关联时,有的方法采用余弦相似度计算标签相似度矩阵,这样在标签缺失的情况计算出的相似度通常是不准确的,反而会对算法的结果产生负面影响。
发明内容
本发明旨在解决以上现有技术的问题。提出了一种基于示例级和标签级关联的缺失标签多标签分类方法。本发明的技术方案如下:
一种基于示例级和标签级关联的缺失标签多标签图像分类方法,其包括以下步骤:
S1、获取图像训练样本,并得到训练样本的特征矩阵和标签矩阵;输入图像训练样本的特征矩阵,通过线性重组策略(即假设每个样本与它的近邻样本是线性相关的,每个样本可以由它的近邻样本的线性组合进行重组)构建基于特征的样本近邻图,挖掘样本的几何结构信息,得到示例级的关联矩阵;
S2、输入图像训练样本的标签矩阵,通过低秩表示的方法构建基于标签的语义关联图,挖掘标签的语义关联信息,得到标签级的关联矩阵;
S3、利用拉普拉斯流形正则化将这两种标签关联构造为两个正则化项;
S4、最后采用最小二乘损失函数,结合示例级和标签级关联的两个正则项构造目标函数,通过梯度下降的方式求解目标函数,得到特征映射权重,然后通过映射函数计算测试样本的标签预测结果,根据预测结果得到测试样本的类别标签。
进一步的,所述步骤S1中通过线性重组策略构建基于特征的样本近邻图,具体包括:通过线性重组的策略,即每个样本与它的近邻样本是线性相关的,也就是说每个样本可以由它的近邻样本的线性组合进行重组,即其中xi,xj分别表示第i个和第j个样本,矩阵W表示样本间的关联矩阵,wij即样本xi与样本xi的关联程度,Nk(xi)表示样本xi的k个最近邻样本。然后通过求解二次规划问题得到示例级的关联矩阵W。
进一步的,所述步骤S2通过低秩表示的方法构建基于标签的语义关联图,挖掘标签的语义关联信息,得到标签级的关联矩阵,具体包括:
进一步的,所述步骤S3利用示例级的关联性,基于两个样本越相似,它们的标签向量也越接近的假设,构建一个流形正则项 其中,矩阵W表示示例级的关联矩阵,m表示训练样本的类别总数,n表示训练样本的样本数,矩阵θ为样本特征与类别之间的线性映射函数的权重矩阵,表示第k个类别的权重向量的转置,是归一化项,LW是矩阵W的归一化拉普拉斯矩阵,是一个对角矩阵;并且利用标签级的关联,基于两个标签越相似,那么他们在样本的标签空间中的分布也越相似的假设,构建一个流形正则项其中,矩阵S表示标签级的关联矩阵,是一个归一化项,是矩阵S的归一化拉普拉斯矩阵,Ds=diag(ds(1),ds(2),…,ds(n))是一个对角矩阵。
进一步的,所述步骤S4采用最小二乘损失作为损失函数,并结合示例级和标签级关联的两个流形正则项,以及一个用于防止模型过拟合的l2,1正则项构造出最终的目标函数:
其中,X是训练样本的特征矩阵,Y是训练样本的标签矩阵,α,β和λ是平衡参数,第一项是最小二乘损失函数,它保证了预测标签与给定标签之间的一致性,第二项和第三项均为流形正则项,分别引入了示例级的关联和标签级的关联。第四项是一个正则项,用于防止模型过拟合。
本发明的优点及有益效果如下:
本发明利用线性重组策略得到的示例级关联,相较于常用的高斯函数计算出的两两关联性,充分考虑了样本与其近邻样本间的相互关联,效果更好。同时,利用低秩表示从标签空间中捕捉全局的标签关联,比基于标签共现计算出的标签关联更高阶。尤其是在标签部分缺失的情况下,低秩表示得到的标签关联更准确。本发明同时结合了示例级和标签级的关联性,能够有效提升多标签分类方法在标签部分缺失的情况下的分类效果。
附图说明
图1是本发明提供优选实施例基于示例级和标签级关联的缺失标签多标签图像分类方法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
本发明解决上述技术问题的技术方案是:
具体步骤:
步骤S1:输入训练样本的特征矩阵由n个示例组成,每个示例表示为d维特征向量。假设每个样本与它的近邻样本是线性相关的,也就是说每个样本可以由它的近邻样本的线性组合进行重组,即表示样本xi的k个最近邻样本。那么,可以通过求解以下二次规划问题求出权重矩阵W:
由上式得到的权重矩阵W不是对称的,为了获得对称的W,进一步做如下处理:W←(W+WT)/2。
步骤S2:输入训练样本的标签矩阵Y=[y1,y2,…,yn]∈{-1,0,1}m×n,一共m个类别标签。当Yij=1表示第i个标签是第j个示例的相关标签,每个示例可以同时具有多个相关标签;当Yij=-1时,表示第i个标签是第j个示例的无关标签;当Yij=0时,则表示第j个示例的第i个标签缺失,即第i个标签可能是示例j的相关标签或者无关标签。然后采用低秩表示的方式从标签空间中捕捉高阶的标签关联:
其中,矩阵Z是标签矩阵Y的低秩表示系数矩阵,矩阵E是表示噪声的稀疏矩阵,ρ是一个平衡参数。然后采用LADMAP方法求解这个低秩表示问题,得到标签关联矩阵S=(Z+ZT)/2。
步骤S3:利用步骤S1得到的示例级的关联性,基于两个样本越相似,它们的标签向量也越接近的假设,构建一个流形正则项:
然后利用步骤S2得到的标签级的关联,基于两个标签越相似,他们在样本的标签空间中的分布也越相似的假设,构建一个流形正则项:
其中,是一个归一化项。是权重矩阵S的归一化拉普拉斯矩阵,有Ds=diag(ds(1),ds(2),…,ds(n))是一个对角矩阵。得到示例级和标签级关联的两个正则项:tr(θTXLW(θTX)T)和tr((θTX)TLsθTX)。
步骤S4:采用最小二乘损失作为损失函数,并结合步骤S3得到的示例级和标签级关联的两个流形正则项,以及一个用于防止模型过拟合的l2,1正则项构造出最终的目标函数:
其中X是训练样本的特征矩阵,Y是训练样本的标签矩阵,θ是特征映射矩阵,α,β和λ是平衡参数。
对式(5)求导得到:
然后采用梯度下降迭代求解目标函数式(5),得到特征映射权重θ。最后通过映射函数f(x)=θTx可以得到测试样本的预测结果。
为了评估本算法的性能,本发明采用图像数据集ESPGame作为实验数据集,在本实验中主要采用GLOCAL以及MLML两个针对缺失标签问题的多标签分类方法进行比较。
表1数据集说明
本实验采用两种常用的多标签排序评价指标来评估方法的效果:averageprecision(AP)和area under ROC curve(AUC)。这两种指标的值越大,效果越好。
为了验证本文算法在标签缺失的情况下的效果,我们按照标签率从20%到100%对训练集进行处理,比如20%标签率表示缺失了80%的标签,100%标签率表示没有标签缺失。在每种标签率下,缺失标签从ground-truth标签矩阵中随机删除,并且为了尽量减少删除标签的随机性对预测结果带来的影响,本文重复执行5次来得到不同的结果,最后计算测试结果的平均值和标准差。
实验结果对比表如表1所示。
表2 AUC和AP指标在ESP Game数据集上的结果(mean(std)%).
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
Claims (5)
1.一种基于示例级和标签级关联的缺失标签多标签图像分类方法,其特征在于,包括以下步骤:
S1、获取图像训练样本,并得到训练样本的特征矩阵和标签矩阵;输入图像训练样本的特征矩阵,通过线性重组策略,即假设每个样本与它的近邻样本是线性相关的,每个样本可以由它的近邻样本的线性组合进行重组,构建基于特征的样本近邻图,挖掘样本的几何结构信息,得到示例级的关联矩阵;
S2、输入图像训练样本的标签矩阵,通过低秩表示的方法构建基于标签的语义关联图,挖掘标签的语义关联信息,得到标签级的关联矩阵;
S3、利用拉普拉斯流形正则化将这两种标签关联构造为两个正则化项;
S4、最后采用最小二乘损失函数,结合示例级和标签级关联的两个正则项构造目标函数,通过梯度下降的方式求解目标函数,得到特征映射权重,然后通过映射函数计算测试样本的标签预测结果,根据预测结果得到测试样本的类别标签。
4.根据权利要求3所述的一种基于示例级和标签级关联的缺失标签多标签分类方法,其特征在于,所述步骤S3利用示例级的关联性,基于两个样本越相似,它们的标签向量也越接近的假设,构建一个流形正则项 其中,矩阵W表示示例级的关联矩阵,m表示训练样本的类别总数,n表示训练样本的样本数,矩阵θ为样本特征与类别之间的线性映射函数的权重矩阵,表示第k个类别的权重向量的转置,是归一化项,LW是矩阵W的归一化拉普拉斯矩阵,有Dw=diag(dw(1),dw(2),…,dw(n))是一个对角矩阵;并且利用标签级的关联,基于两个标签越相似,那么他们在样本的标签空间中的分布也越相似的假设,构建一个流形正则项其中,矩阵S表示标签级的关联矩阵,是一个归一化项,是矩阵S的归一化拉普拉斯矩阵,Ds=diag(ds(1),ds(2),…,ds(n))是一个对角矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911241296.5A CN111160398B (zh) | 2019-12-06 | 2019-12-06 | 一种基于示例级和标签级关联的缺失标签多标签分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911241296.5A CN111160398B (zh) | 2019-12-06 | 2019-12-06 | 一种基于示例级和标签级关联的缺失标签多标签分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111160398A true CN111160398A (zh) | 2020-05-15 |
CN111160398B CN111160398B (zh) | 2022-08-23 |
Family
ID=70556474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911241296.5A Active CN111160398B (zh) | 2019-12-06 | 2019-12-06 | 一种基于示例级和标签级关联的缺失标签多标签分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111160398B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434671A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140204092A1 (en) * | 2012-04-09 | 2014-07-24 | The Regents Of The University Of California | Classification of high dimensional data |
CN105320967A (zh) * | 2015-11-04 | 2016-02-10 | 中科院成都信息技术股份有限公司 | 基于标签相关性的多标签AdaBoost集成方法 |
CN108805155A (zh) * | 2018-03-21 | 2018-11-13 | 温州大学苍南研究院 | 同时学习关联矩阵和拉普拉斯正则化最小二乘的半监督分类方法 |
CN110136016A (zh) * | 2019-04-04 | 2019-08-16 | 中国科学院信息工程研究所 | 一种基于隐式关联的多标签传播方法及系统 |
-
2019
- 2019-12-06 CN CN201911241296.5A patent/CN111160398B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140204092A1 (en) * | 2012-04-09 | 2014-07-24 | The Regents Of The University Of California | Classification of high dimensional data |
CN105320967A (zh) * | 2015-11-04 | 2016-02-10 | 中科院成都信息技术股份有限公司 | 基于标签相关性的多标签AdaBoost集成方法 |
CN108805155A (zh) * | 2018-03-21 | 2018-11-13 | 温州大学苍南研究院 | 同时学习关联矩阵和拉普拉斯正则化最小二乘的半监督分类方法 |
CN110136016A (zh) * | 2019-04-04 | 2019-08-16 | 中国科学院信息工程研究所 | 一种基于隐式关联的多标签传播方法及系统 |
Non-Patent Citations (2)
Title |
---|
SONGJING WANG,DI WU,KANGSHENG LIU: "Semi-supervised Machine Learning Algorithm in Near Infrared Spectral Calibration: A Case Study to Determine Cetane Number and Total Aromatics of Diesel Fuels", 《2012 FIFTH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION》, 13 February 2012 (2012-02-13) * |
董爱美: "带标签和/或无标签数据综合利用的模式分类新方法研究", 《中国优秀硕士学位论文全文数据库》, 15 February 2017 (2017-02-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113434671A (zh) * | 2021-06-23 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111160398B (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | Locally supervised deep hybrid model for scene recognition | |
Xiao et al. | Robust kernel low-rank representation | |
Luo et al. | Large margin multi-modal multi-task feature extraction for image classification | |
Verma et al. | Learning hierarchical similarity metrics | |
Xiao et al. | Weighted block-sparse low rank representation for face clustering in videos | |
Gu et al. | Clustering-driven unsupervised deep hashing for image retrieval | |
Jing et al. | Learning robust affinity graph representation for multi-view clustering | |
CN111460077B (zh) | 一种基于类语义引导的跨模态哈希检索方法 | |
CN110659665B (zh) | 一种异维特征的模型构建方法及图像识别方法、装置 | |
He et al. | Learning and inferring a semantic space from user's relevance feedback for image retrieval | |
CN112199957B (zh) | 基于属性和关系信息联合嵌入的人物实体对齐方法及系统 | |
Xu et al. | Multiview hybrid embedding: A divide-and-conquer approach | |
Zhang et al. | Multi-view embedding learning for incompletely labeled data | |
Zhang et al. | Collaborative weighted multi-view feature extraction | |
Sajid et al. | Short search space and synthesized-reference re-ranking for face image retrieval | |
Bouguila | On multivariate binary data clustering and feature weighting | |
Okokpujie et al. | Predictive modeling of trait-aging invariant face recognition system using machine learning | |
CN111160398B (zh) | 一种基于示例级和标签级关联的缺失标签多标签分类方法 | |
Wu et al. | Group sparse feature selection on local learning based clustering | |
Zhang et al. | Social images tag ranking based on visual words in compressed domain | |
JP2013246739A (ja) | 高次元の特徴ベクトル集合で表現されるコンテンツを高精度で検索する検索装置及びプログラム | |
Yao | A compressed deep convolutional neural networks for face recognition | |
Li et al. | Learning with marginalized corrupted features and labels together | |
CN113920573B (zh) | 基于对抗学习的人脸变化解耦的亲属关系验证方法 | |
Li et al. | Otcmr: Bridging heterogeneity gap with optimal transport for cross-modal retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |