CN106529604A - 一种自适应的图像标签鲁棒预测方法及系统 - Google Patents
一种自适应的图像标签鲁棒预测方法及系统 Download PDFInfo
- Publication number
- CN106529604A CN106529604A CN201611059009.5A CN201611059009A CN106529604A CN 106529604 A CN106529604 A CN 106529604A CN 201611059009 A CN201611059009 A CN 201611059009A CN 106529604 A CN106529604 A CN 106529604A
- Authority
- CN
- China
- Prior art keywords
- label
- matrix
- sample
- training set
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Abstract
本发明公开了一种自适应的图像标签鲁棒预测方法及系统,为了提高对未知类别标签的待测样本标签的预测,提出将稀疏编码和标签传播集成到一个统一的框架中,实现稀疏重构误差和分类误差联合执行同时达到最小化,这完全区别于传统的标签传播方法将图构造与标签传播分为相互独立的两个步骤;因采用迭代的优化方案计算稀疏编码和软标签矩阵,在每一次迭代中,稀疏编码被作为预测模块的自适应权重用于标签传播,因此避免了在传统图构建的复杂过程中最优近邻及其最优近邻数量的选择难问题;此外,为了增强稀疏性,提出将稀疏编码稀疏和重构误差同时施加L2,1范数正则化约束,通过引入L2,1范数正则化技术,有效提升了系统的预测准确度和鲁棒性。
Description
技术领域
本发明涉及模式识别和数据挖掘技术领域,更具体地说,涉及一种自适应的图像标签鲁棒预测方法及系统。
背景技术
随着计算机技术和智能化的不断发展,图像分类技术已经发展成为数据挖掘、机器学习等领域最重要的研究课题之一。分类技术主要用来判断未知类别数据的类别,在医疗数据分析,文本、网页、信用卡评级等领域都有重大意义,将精确的分类技术投入使用将带来巨大的社会与经济效益。基于相似图构造的半监督学习方法因其实用性及有效性,近年来在数据挖掘与模式识别领域引起了广泛关注,已然发展成为实用且普遍的分类工具之一。有多项研究证明监督型学习方法的性能明显优于无监督型学习方法,但在现实世界中,监督数据往往难以获得,且人工标定获得监督信息将耗费大量的时间、人力,从而使实用性大大降低。因此,为了兼顾实用与准确性,半监督学习成为热点问题。半监督型学习主要通过对大量数据中每一类样本中少量数据进行标定,再将监督信息通过相似图传播给未知类别的数据,进而预测出无标签样本的类别。
近年来,基于标签传播理论的学习过程因其简单、有效、快速的优点,成为半监督学习的典型代表之一。标签传播于2002年由Zhu等人提出,一经提出即引起国内外学者的广泛关注,并逐渐被应用在许多领域。标签传播通过对样本之间的相似性进行学习,将有标签样本的监督信息传播给无标签样本,进而估计出无标签样本的类别信息。目前传统的直推式标签传播方法主要通过构造近邻图或者权重矩阵,结合自身初始标签信息和接收部分来自近邻的标签信息预测无标签样本的软标签。然而发明人发现,这些方法都不可避免的需要对近邻数或者一些关键参数进行选择,同时现有方法并不能确保选择的参数是最优的,进而无法确保分类预测的准确度及鲁棒性;极其关键的是,现存的方法全都将整个分类过程划分为权重图构建和标签传播两个独立的过程,并不能保证重构误差和分类误差同时达到最小化,以确保分类预测的准确度及鲁棒性。
综上所述,如何提供一种获得判别性更强的类别标签,提高预测准确度及鲁棒性的技术方案,是目前本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种自适应的图像标签鲁棒预测方法及系统,以获得判别性更强的类别标签,提高预测准确度及鲁棒性。
为了实现上述目的,本发明提供如下技术方案:
一种自适应的图像标签鲁棒预测方法,包括:
获取有标签训练集及无标签训练集,并对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,所述有标签训练集包括的为已知类别标签的训练样本,所述无标签训练集包括的为未知类别标签的待测样本;
基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;
利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,基于所述预测标签矩阵确定所述待测样本对应的类别标签。
优选的,对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,包括:
基于所述有标签训练集中的训练样本利用标签传播方法进行计算,得到所述无标签训练集中所有待测样本的类别标签;
将所述有标签训练集及所述无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
优选的,基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性,包括:
将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码,每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度。
优选的,基于所述预测标签矩阵确定所述待测样本对应的类别标签,包括:
获取任一所述待测样本在所述预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
一种自适应的图像标签鲁棒预测系统,包括:
训练预处理模块,用于获取有标签训练集及无标签训练集,并对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,所述有标签训练集包括的为已知类别标签的训练样本,所述无标签训练集包括的为未知类别标签的待测样本;
训练模块,用于基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;
测试模块,用于利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,基于所述预测标签矩阵确定所述待测样本对应的类别标签。
优选的,所述训练预处理模块包括:
训练预处理单元,用于:基于所述有标签训练集中的训练样本利用标签传播方法进行计算,得到所述无标签训练集中所有待测样本的类别标签;将所述有标签训练集及所述无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
优选的,所述训练模块包括:
训练单元,用于:将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码,每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
以及用于:对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度。
优选的,所述测试模块包括:
测试单元,用于获取任一所述待测样本在所述预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
本发明提供了一种自适应的图像标签鲁棒预测方法及系统,其中该方法包括:获取有标签训练集及无标签训练集,并对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,所述有标签训练集包括的为已知类别标签的训练样本,所述无标签训练集包括的为未知类别标签的待测样本;基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,基于所述预测标签矩阵确定所述待测样本对应的类别标签。与现有技术相比,本发明公开的上述技术方案,首先获取有标签训练集和无标签训练集,建立初始标签矩阵;为了同时最小化重构误差和分类误差,将稀疏编码与标签传播集成到一个统一的框架中,构建一个全新的模型;在计算自适应权重时,提出对编码系数和重构误差施加L2,1范数正则化约束,增强鲁棒性和预测准确度。最后,利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,并基于该矩阵得到每个待测样本的类别标签。通过建立联合型框架,降低了复杂度,有效确保学习到的稀疏表示是最优的,同时降低了整体误差。通过引入L2,1范数正则化技术,有效提升了学习到的自适应权重的稀疏性,也增强了系统对于数据中噪音和异类数据的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种自适应的图像标签鲁棒预测方法的流程图;
图2为本发明实施例提供的一种自适应的图像标签鲁棒预测方法中图像分割示意图;
图3为本发明实施例提供的一种自适应的图像标签鲁棒预测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明实施例提供的一种自适应的图像标签鲁棒预测方法的流程图,可以包括以下步骤:
S11:获取有标签训练集及无标签训练集,并对有标签训练集及无标签训练集初始化得到初始标签矩阵,有标签训练集包括的为已知类别标签的训练样本,无标签训练集包括的为未知类别标签的待测样本。
其中,有标签训练集和无标签训练集中包含的样本数量可以根据实际需要进行确定,任一样本的类别标签即与该样本的类别对应的标签。根据有标签训练集及无标签训练集初始化得到对应初始标签矩阵Y=[y1,y2,…,yl+u],对于训练样本xi,假定xi属于第i类,则yi,j=1,反之,yi,j=0,对于待测样本xi,yi,j=0。
S12:基于初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性。
S13:利用迭代的优化方案对框架求解最小化问题,得到预测类别标签矩阵,基于预测标签矩阵确定待测样本对应的类别标签。
本发明公开的一种自适应的图像标签鲁棒预测方法,首先获取有标签训练集和无标签训练集,建立初始标签矩阵;为了同时最小化重构误差和分类误差,将稀疏编码与标签传播集成到一个统一的框架中,构建一个全新的模型;在计算自适应权重时,提出对编码系数和重构误差施加L2,1范数正则化约束,增强鲁棒性和预测准确度。最后,利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,并基于该矩阵得到每个待测样本的类别标签。通过建立联合型框架,降低了复杂度,有效确保学习到的稀疏表示是最优的,同时降低了整体误差。通过引入L2,1范数正则化技术,有效提升了学习到的自适应权重的稀疏性,也增强了系统对于数据中噪音和异类数据的鲁棒性。
本发明实施例提供的一种自适应的图像标签鲁棒预测方法,对有标签训练集及无标签训练集初始化得到初始标签矩阵,可以包括:
基于有标签训练集中的训练样本利用标签传播方法进行计算,得到无标签训练集中所有待测样本的类别标签;
将有标签训练集及无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
将有标签训练集及无标签训练集集成到一个矩阵中,该矩阵可以表示为其中,n是该矩阵中数据的维度,l是有标签训练集中训练样本的数量,u是无标签训练集中待测样本的数量;其中包含有c(c>2)个类别,有标签训练集和无标签训练集 (任意向量为其中一个样本),l+u=N,N为样本的总数量。根据X中训练样本用标签传播方法进行计算,估计得到待测样本的类别标签,代入X中,即将有标签训练集及无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。而根据X中训练样本用标签传播方法进行计算,估计得到待测样本的类别标签的实现原理与现有技术中对应技术方案的实现原理一致,在此不再赘述。
本发明实施例提供的一种自适应的图像标签鲁棒预测方法,基于初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性,可以包括:
将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码(或稀疏表示矩阵),每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度,V为一个对角矩阵。S的L2,1范数,即||S||2,1能使S的许多行变为零,确保S是稀疏的。
其中,对于S的初始值,可以通过最小化如下公式得到:
K为对应样本数据的近邻参数(即各个样本的近邻数量,在本发明中K值取7,当然还可以根据实际需要进行其他设定),||·||2为l2-范式距离或欧式距离。
由此,联合稀疏重构误差和分类误差,并且同时最小化,可确保学习到的稀疏表示对于自适应的权重构造是最优的;基于提出的统一型框架,本发明还提出对稀疏重构误差和稀疏编码系数施加L2,1范数正则化约束,以达到行稀疏的优点。
需要说明的是,利用迭代的优化方案对框架求解最小化问题,得到预测类别标签矩阵F,具体可以包括:
由于上述公式中包含三个变量,即F、S及V,因此可采取迭代的优化方式进行求解。
首先提出对S进行更新,可归纳为对如下公式进行优化:
其中,||X-XS||2,1+β||S||2,1为基于L2,1范数正则化稀疏编码的权重构造,上述公式可转化为对如下几个变量求解:
其中和均为对角矩阵,且定义如下:
由于三个变量相互关联,可采用迭代的优化方案进行求解。先固定F,对S进行求解更新,通过对提出求S偏导数,可得如下问题:
将上述公式设为0,最终通过化简可得到S在第t+1次的迭代更新公式:
利用上述方式求得S的值后,可固定S对F进行求解更新,具体归纳为对如下公式进行优化:
通过对进行求F偏导数,可得如下问题:
对F偏导数公式取0,最终计算得到F在第t+1次时的迭代更新公式:
Ft+1=(YUVt)((I-St)(I-St)T+UVt)-1
V是关于F的一个对角矩阵,F计算得到后可对V进行更新:
最后,因为V和S都是关于F的函数,所以该方法通过对三个变量相互迭代使目标函数得到有效解决,最后得出F。
具体算法如下:
一种基于L2,1范数正则化稀疏编码的自适应近邻传播算法
输入:初始标签矩阵控制参数α,β;
初始化:F=Y;初始化S的值为LLE-重构权;
当未收敛时:
2).固定F,更新St+1:
3).固定S,更新Ft+1:
Ft+1=(YUVt)((I-St)(I-St)T+UVt)-1;
4).固定F,更新Vt:
检查是否收敛:
若sqrt(sum(tmp(:).2))<tol||iter>=maxIter则停止;
否则t=t+1
输出:预测标签矩阵(F*←Ft+1)。
本发明实施例提供的一种自适应的图像标签鲁棒预测方法,基于预测标签矩阵确定待测样本对应的类别标签,可以包括:
获取任一待测样本在预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
具体来说,最终得到的预测标签矩阵中包括每个待测样本的软标签向量fi,该向量的最大元素对应的位置即为对应待测样本的归属类别标签,每个待测样本的硬标签可以被归结为argmaxi≤c(fi)i,其中表示预测的软标签向量fi中第i个元素位置。由此,取软标签向量中概率的最大值,用于类别鉴定,得到最准确的分类结果。
本发明在5个真实数据集进行测试,包括MIT face,AR male face,ORL face,Indian male face和Yale face。基于计算高效性考虑,所有真实图片的尺寸被压缩为32X32;在实验中,每张图片对应一个1024维的向量。其中MIT face,AR male face,ORLface,Indian male face和Yale face数据集分别对应有10类、50类、40类、39类和15类样本数据。在实验中,从各个数据集中随机挑选每类的任意几个作为有类别标签的训练样本,而剩余的每类作为无标签的待测样本。这些数据集从多方面收集,因而测试结果具有普遍说明性。请参阅表1,为本发明方法和SparseNP、SLP、LNP、LLGC、LApLDA、GFHF、CD-LNP以及SIS-LP方法在Yale,AR male,Indian male MIT,ORL人脸数据集测试识别结果对比表,给出各方法实验的平均识别率与标准差。本次实验在每类样本随机挑选任意几个样本作为训练集,为增加实验公平性,参与比较方法的实验参数也都仔细挑选。
表1
通过实验结果可以看出本发明提出的方法明显优于传统的标签传播算法,具有更高的分类准确度。
另外,图2为本发明实施例公开的一种自适应的图像标签鲁棒预测方法的图像分割示意图。图像中前景作为正类样本处理(即分割后保持原始前景图像),背景图像作为负类处理(分割后采用黑色背景),其中通过交互式人共选取方式选择部分正类样本和部分负类样本数据组成有标签训练集、选择部分数据作为无标签训练集,剩下的样本作为无标签待测数据集合。进而通过本发明提出的自适应图像标签鲁棒预测方法首先采用直推式方式得到无标训练样本的类别信息,进而采用归纳式方式得到剩余无标签待测样本的类别信息,完成图像像素类别预测和像素分割。
本发明实施例还提供了一种自适应的图像标签鲁棒预测系统,如图3所示,可以包括:
训练预处理模块11,用于获取有标签训练集及无标签训练集,并对有标签训练集及无标签训练集初始化得到初始标签矩阵,有标签训练集包括的为已知类别标签的训练样本,无标签训练集包括的为未知类别标签的待测样本;
训练模块12,用于基于初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;
测试模块13,用于利用迭代的优化方案对框架求解最小化问题,得到预测类别标签矩阵,基于预测标签矩阵确定待测样本对应的类别标签。
本发明实施例提供的一种自适应的图像标签鲁棒预测系统,训练预处理模块可以包括:
训练预处理单元,用于:基于有标签训练集中的训练样本利用标签传播方法进行计算,得到无标签训练集中所有待测样本的类别标签;将有标签训练集及无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
本发明实施例提供的一种自适应的图像标签鲁棒预测系统,训练模块可以包括:
训练单元,用于:将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码,每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
以及用于:对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度。
本发明实施例提供的一种自适应的图像标签鲁棒预测系统,测试模块可以包括:
测试单元,用于获取任一待测样本在预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
本发明实施例提供的一种自适应的图像标签鲁棒预测系统中相关部分的说明请参见本发明实施例提供的一种自适应的图像标签鲁棒预测方法中对应部分的详细说明,在此不再赘述。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种自适应的图像标签鲁棒预测方法,其特征在于,包括:
获取有标签训练集及无标签训练集,并对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,所述有标签训练集包括的为已知类别标签的训练样本,所述无标签训练集包括的为未知类别标签的待测样本;
基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;
利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,基于所述预测标签矩阵确定所述待测样本对应的类别标签。
2.根据权利要求1所述的方法,其特征在于,对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,包括:
基于所述有标签训练集中的训练样本利用标签传播方法进行计算,得到所述无标签训练集中所有待测样本的类别标签;
将所述有标签训练集及所述无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
3.根据权利要求1所述的方法,其特征在于,基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性,包括:
将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码,每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度。
4.根据权利要求3所述的方法,其特征在于,基于所述预测标签矩阵确定所述待测样本对应的类别标签,包括:
获取任一所述待测样本在所述预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
5.一种自适应的图像标签鲁棒预测系统,其特征在于,包括:
训练预处理模块,用于获取有标签训练集及无标签训练集,并对所述有标签训练集及所述无标签训练集初始化得到初始标签矩阵,所述有标签训练集包括的为已知类别标签的训练样本,所述无标签训练集包括的为未知类别标签的待测样本;
训练模块,用于基于所述初始标签矩阵,将稀疏编码与标签传播集成到一个统一的框架中,实现稀疏重构误差与分类误差同时最小化,降低整体误差,同时在稀疏编码系数和重构误差施加L2,1范数正则化,提升预测准确度及鲁棒性;
测试模块,用于利用迭代的优化方案对所述框架求解最小化问题,得到预测类别标签矩阵,基于所述预测标签矩阵确定所述待测样本对应的类别标签。
6.根据权利要求5所述的系统,其特征在于,所述训练预处理模块包括:
训练预处理单元,用于:基于所述有标签训练集中的训练样本利用标签传播方法进行计算,得到所述无标签训练集中所有待测样本的类别标签;将所述有标签训练集及所述无标签训练集集成到一个矩阵中,得到对应的初始标签矩阵。
7.根据权利要求5所述的系统,其特征在于,所述训练模块包括:
训练单元,用于:将预测标签矩阵表示为F=[f1,f2,…fl+u],其中样本xi的类别标签与每一列fi中最大项fi,j的位置相关联,得到如下向量形式的框架:
其中,X为初始标签矩阵,S为稀疏编码,每一项中的si为稀疏重构系数,μi表示xi的调整参数,当样本xi的类别标签已知时,对应的μi=+∞,当样本xi的类别标签未知时,对应的μi=0,α和β是对应稀疏编码项的权衡参数,yi表示xi的类别标签;
以及用于:对上述向量形式的框架进行转换,得到如下矩阵形式的框架:
其中,F-FS为流行平滑项,||X-XS||2,1+β||S||2,1为稀疏编码项,(F-Y)UV(F-Y)T为标签拟合项,用于衡量初始标签矩阵与预测标签矩阵的差异程度。
8.根据权利要求7所述的系统,其特征在于,所述测试模块包括:
测试单元,用于获取任一所述待测样本在所述预测标签矩阵中对应的预测向量,并确定该向量中最大元素对应的位置即为该待测样本的类别标签。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611059009.5A CN106529604B (zh) | 2016-11-24 | 2016-11-24 | 一种自适应的图像标签鲁棒预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611059009.5A CN106529604B (zh) | 2016-11-24 | 2016-11-24 | 一种自适应的图像标签鲁棒预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106529604A true CN106529604A (zh) | 2017-03-22 |
CN106529604B CN106529604B (zh) | 2019-09-27 |
Family
ID=58357078
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611059009.5A Active CN106529604B (zh) | 2016-11-24 | 2016-11-24 | 一种自适应的图像标签鲁棒预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106529604B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021930A (zh) * | 2017-11-16 | 2018-05-11 | 苏州大学 | 一种自适应的多视角图像分类方法及系统 |
CN108154495A (zh) * | 2017-11-17 | 2018-06-12 | 天津大学 | 基于dccae网络的多时相跨传感器遥感图像相对光谱对齐算法 |
CN109993191A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 信息处理方法及装置、电子设备及存储介质 |
CN109993188A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 数据标签识别方法、行为识别方法及装置 |
CN111784595A (zh) * | 2020-06-10 | 2020-10-16 | 北京科技大学 | 一种基于历史记录的动态标签平滑加权损失方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2395456A1 (en) * | 2010-06-12 | 2011-12-14 | Toyota Motor Europe NV/SA | Methods and systems for semantic label propagation |
CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及系统 |
CN104750875A (zh) * | 2015-04-23 | 2015-07-01 | 苏州大学 | 一种机器错误数据分类方法及系统 |
CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类系统 |
CN105608471A (zh) * | 2015-12-28 | 2016-05-25 | 苏州大学 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
CN105760872A (zh) * | 2016-02-03 | 2016-07-13 | 苏州大学 | 一种基于鲁棒图像特征提取的识别方法及系统 |
WO2016170330A1 (en) * | 2015-04-24 | 2016-10-27 | Oxford University Innovation Limited | Processing a series of images to identify at least a portion of an object |
CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
-
2016
- 2016-11-24 CN CN201611059009.5A patent/CN106529604B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2395456A1 (en) * | 2010-06-12 | 2011-12-14 | Toyota Motor Europe NV/SA | Methods and systems for semantic label propagation |
CN104463202A (zh) * | 2014-11-28 | 2015-03-25 | 苏州大学 | 一种多类图像半监督分类方法及系统 |
CN104750875A (zh) * | 2015-04-23 | 2015-07-01 | 苏州大学 | 一种机器错误数据分类方法及系统 |
WO2016170330A1 (en) * | 2015-04-24 | 2016-10-27 | Oxford University Innovation Limited | Processing a series of images to identify at least a portion of an object |
CN105335756A (zh) * | 2015-10-30 | 2016-02-17 | 苏州大学 | 一种鲁棒学习模型与图像分类系统 |
CN105608471A (zh) * | 2015-12-28 | 2016-05-25 | 苏州大学 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
CN105760872A (zh) * | 2016-02-03 | 2016-07-13 | 苏州大学 | 一种基于鲁棒图像特征提取的识别方法及系统 |
CN106228544A (zh) * | 2016-07-14 | 2016-12-14 | 郑州航空工业管理学院 | 一种基于稀疏表示和标签传播的显著性检测方法 |
Non-Patent Citations (4)
Title |
---|
LEI JIA 等: "Semi-Supervised Image Classification by Nonnegative Sparse Neighborhood Propagation", 《ICONIP 2016:NEURAL INFORMATION PROCESSING》 * |
ZHAO ZHANG 等: "Sparse Codes Auto-Extractor for Classification: A Joint Embedding and Dictionary Learning Framework for Representation", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 * |
张俊丽 等: "标签传播算法理论及其应用研究综述", 《计算机应用研究》 * |
陶剑文 等: "稀疏标签传播:一种鲁棒的领域适应学习方法", 《软件学报》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108021930A (zh) * | 2017-11-16 | 2018-05-11 | 苏州大学 | 一种自适应的多视角图像分类方法及系统 |
CN108021930B (zh) * | 2017-11-16 | 2022-01-14 | 苏州大学 | 一种自适应的多视角图像分类方法及系统 |
CN108154495A (zh) * | 2017-11-17 | 2018-06-12 | 天津大学 | 基于dccae网络的多时相跨传感器遥感图像相对光谱对齐算法 |
CN109993191A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 信息处理方法及装置、电子设备及存储介质 |
CN109993188A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 数据标签识别方法、行为识别方法及装置 |
CN109993191B (zh) * | 2018-01-02 | 2021-07-06 | 中国移动通信有限公司研究院 | 信息处理方法及装置、电子设备及存储介质 |
CN111784595A (zh) * | 2020-06-10 | 2020-10-16 | 北京科技大学 | 一种基于历史记录的动态标签平滑加权损失方法及装置 |
CN111784595B (zh) * | 2020-06-10 | 2023-08-29 | 北京科技大学 | 一种基于历史记录的动态标签平滑加权损失方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106529604B (zh) | 2019-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106529604A (zh) | 一种自适应的图像标签鲁棒预测方法及系统 | |
CN107273490B (zh) | 一种基于知识图谱的组合错题推荐方法 | |
CN107292333B (zh) | 一种基于深度学习的快速图像分类方法 | |
CN104794489B (zh) | 一种基于深度标签预测的诱导式图像分类方法及系统 | |
CN107563439A (zh) | 一种识别清洗食材图片的模型及识别食材类别的方法 | |
CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
CN110516539A (zh) | 基于对抗网络的遥感影像建筑物提取方法、系统、存储介质及设备 | |
CN103942749B (zh) | 一种基于修正聚类假设和半监督极速学习机的高光谱地物分类方法 | |
CN112699247A (zh) | 一种基于多类交叉熵对比补全编码的知识表示学习框架 | |
CN105260356A (zh) | 基于多任务学习的中文交互文本情感与话题识别方法 | |
CN104966105A (zh) | 一种鲁棒机器错误检索方法与系统 | |
CN105335756A (zh) | 一种鲁棒学习模型与图像分类系统 | |
CN103020167B (zh) | 一种计算机中文文本分类方法 | |
CN106778882A (zh) | 一种基于前馈神经网络的智能合约自动分类方法 | |
CN108416382A (zh) | 一种基于迭代采样和一对多标签修正的Web图像训练卷积神经网络方法 | |
CN106156805A (zh) | 一种样本标签缺失数据的分类器训练方法 | |
CN106021990A (zh) | 一种将生物基因以特定的性状进行分类与自我识别的方法 | |
CN109948735A (zh) | 一种多标签分类方法、系统、装置及存储介质 | |
CN107341510A (zh) | 基于稀疏正交的双图非负矩阵分解的图像聚类方法 | |
CN109214444B (zh) | 基于孪生神经网络和gmm的游戏防沉迷判定系统及方法 | |
CN111931814A (zh) | 一种基于类内结构紧致约束的无监督对抗域适应方法 | |
CN107766895A (zh) | 一种诱导式非负投影半监督数据分类方法及系统 | |
CN116563687A (zh) | 一种面向半监督指向性目标检测的教师-学生网络方法 | |
CN105809200A (zh) | 一种生物启发式自主抽取图像语义信息的方法及装置 | |
CN110222793B (zh) | 基于多视角主动学习的在线半监督分类方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |