CN105608471B - 一种鲁棒直推式标签估计及数据分类方法和系统 - Google Patents
一种鲁棒直推式标签估计及数据分类方法和系统 Download PDFInfo
- Publication number
- CN105608471B CN105608471B CN201511002862.9A CN201511002862A CN105608471B CN 105608471 B CN105608471 B CN 105608471B CN 201511002862 A CN201511002862 A CN 201511002862A CN 105608471 B CN105608471 B CN 105608471B
- Authority
- CN
- China
- Prior art keywords
- label
- sample
- matrix
- soft
- neighbor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 239000011159 matrix material Substances 0.000 claims abstract description 103
- 238000012549 training Methods 0.000 claims abstract description 72
- 239000013598 vector Substances 0.000 claims abstract description 36
- 238000009499 grossing Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 7
- 101100533306 Mus musculus Setx gene Proteins 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 241000350158 Prioria balsamifera Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007786 learning performance Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种鲁棒直推式标签估计及数据分类方法和系统，方法包括：利用有标签和无标签训练样本人工初始化类标签矩阵，经近邻搜索构造相似近邻图和归一化后的权重系数矩阵；通过平衡近邻重构项和标签拟合项得到未知标签训练样本的软标签矩阵；基于鲁棒l 2,1‑范数度量的近邻重构错误，定义流形平滑项；对标签拟合项进行l 2,1‑范数正则化；通过迭代计算得到每个未知标签样本数据的软类别标签向量，估计出样本类别，得到分类结果。采用该方法构建的系统，通过引入l 2,1‑范数正则化技术，有效提升了系统对于噪音的鲁棒性，增强分类性能。
Description
技术领域
本发明涉及机器学习和模式识别领域，具体涉及一种数据分类方法和系统，尤其是一种直推式标签估计及数据分类方法和系统。
背景技术
数据分类技术在过去几十年里成为机器学习和计算机视觉中十分流行的研究课题。近年来，一些基于图像数据的分类系统，例如人脸图像识别、指纹图像识别系统等，已经投入使用并产生了巨大的社会、经济效益。数据分类方法主要有几何特征识别、基于特征点识别、神经网络识别和支持向量机识别等。
在实际应用中，无标签的样本数据能比较容易收集到，但是有标签的样本数据相对是稀缺的，且通过人工来标定数据的过程会耗费大量时和人力，因此基于半监督学习的数据分类方法具有更高的实用价值与现实意义。在众多半监督学习方法中，标签传播方法因其具有快速、有效、简单的优点而引起人们的广泛关注。
标签传播于2002年由Zhu等人提出，一经提出即引起国内外学者的广泛关注，并逐渐被证实为一种简单、快速、扩展性强，性能稳定的算法，其应用遍布多个领域，如社交平台的社会关系分析、多媒体信息检索分类等。近年，其在图像数据分类方面也表现出优秀的性能。然而目前大多数直推式标签传播模型主要围绕权重稀疏构造的方面开展研究，具有一些明显的缺点，即基于弗罗贝尼乌斯范数（Frobenius norm）的学习模型对噪声比较敏感，标签估计的过程容易受到噪声的负面影响，降低了标签估计结果的准确性。
因此，提出一种基于鲁棒l 2,1-范数正则化的直推式标签估计方法，提升对噪声的鲁棒性，增强分类性能，是本领域人员亟待解决的问题。
发明内容
本发明的发明目的是提供一种鲁棒直推式标签估计及数据分类方法，以完善现行标签传播研究领域一些方法的不足,提高分类过程中对噪声的鲁棒性，降低精度损失等问题。本发明的另一发明目的是提供一种鲁棒直推式标签估计及数据分类系统。
为达到上述发明目的，本发明采用的技术方案是：一种鲁棒直推式标签估计及数据分类方法，利用基于l 2,1-范数正则化的度量进行数据半监督标签估计的直推式分类，包括：
(1) 利用有标签训练样本和无标签训练样本人工初始化一个类标签矩阵，并通过近邻搜索过程，完成构造相似近邻图和归一化后的权重系数矩阵，用于表征样本间的近邻特性；
(2) 通过平衡近邻重构项和标签拟合项，计算得到未知标签训练样本的软标签矩阵；其中，基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项；对标签拟合项进行l 2,1-范数正则化；
(3) 通过迭代计算得到每个未知标签样本数据的软类别标签向量，其中向量元素为未知标签样本归属各个类别的概率，根据软标签中概率的最大值对应的位置，估计出样本类别，得到分类结果。
上述技术方案中，步骤(1)用于完成基于l 2,1-范数的直推式分类的预处理过程。包括通过近邻搜索过程，完成构造相似近邻图和归一化后的权重系数矩阵，用于表征样本间的近邻特性，并人工标定原始标签矩阵Y用于记录初始已知的监督信息。可选地，此部分还包括必要的数据预处理和参数设置等操作。
进而通过平衡近邻重构项和标签拟合项，进行迭代计算拟合训练软标签；得到所有无标签训练样本的预测软标签F。
其中，完成基于l 2,1-范数的直推式标签估计及其数据分类的预处理过程，包括构造权重系数矩阵；并人工标定原始标签矩阵Y用于记录初始已知的监督信息，该过程具体为：
对每个训练样本x i 寻找其在训练集中的K个最近邻，构建每个训练样本x i 的近邻集N(x i )，其中K=7。任意训练集样本x i 和x j 间的相似度使用LLE-重构权进行表征，具体如下：
对于给定的一个包含N个样本的数据集，其中包括l个有标签训练样本和u个无标签训练样本（满足l+u=N），其中无标签样本的类别为类别待估计样本。其中包含有类别标签c（共c个类别，c＞2）的训练样本集
和无任何标签的训练样本集
。计算重构系数矩阵
时，所述解决以下近邻重构错误最小化问题：
其中
为行和为1约束，
为非负约束，即权重稀疏满足该概率定义。进而，对所述重构系数矩阵进行对称化和归一化处理，得到归一化后的权重系数矩阵，用于表征样本的近邻特性。
本发明方法为了有效降低近邻重构错误，提出基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项。此外，也对标签拟合项进行了l 2,1-范数正则化，提升在度量预测标签和初始标签之间差异过程中的健壮性。所述解决以下最小化问题：
其中，
包含样本x i 邻域内的样本点，W i,j 为重构系数，u i 是平衡近邻重构项和标签拟合项之间的正权衡参数，f i 为每个样本数据的软类别标签向量，其中，向量中元素为未知标签样本归属各个类别的概率，概率最大值对应的位置，决定了样本的类别归属。
是基于l 2,1-范数度量的重构错误项， 
是基于l 2,1-范数正则化度量的标签拟合项，y i 为每个样本x i 的初始标签向量。基于矩阵形式，上述目标函数可以转化为如下表示：
其中，U为对角矩阵，且对角线上的元素为
，x i 为的调整参数，当训练集中的样本x i 的标签已知时，对应的
，反之。V则是以
为元素的对角矩阵, h i 则为矩阵F T -YT的第i个行向量。
，的主对角线上的所有元素之和称之为X的迹，记为tr(X)，为l 2-范数，
为l 2,1-范数，分别定义如下：
其中，所述优化得到的软标签矩阵可以对数据有标签训练样本和无标签训练样本进行直接分类。
本发明方法具体为：
完成基于l 2,1-范数的直推式分类的预处理过程，包括使用LLE-重构权构建相似近邻图，得到归一化的权重系数矩阵；并且人工标记原始标签矩阵Y用于记录初始已知的监督信息。
建立直推式标签传播模型，包括流行平滑项和标签拟合项，进行迭代拟合训练软标签；得到所有无标签训练样本的预测软标签F；
最后每个无标签训练样本的硬标签可以被表示为预测软标签列向量最大元素对应的类别标签。
本发明同时提供了一种鲁棒直推式标签估计及数据分类系统，基于l 2,1-范数的直推式标签估计方法，包括：
训练预处理模块，利用有标签训练样本和无标签训练样本人工初始化一个类标签矩阵，并通过近邻搜索过程，完成构造相似近邻图和归一化后的权重系数矩阵，用于表征样本间的近邻特性；
训练模块，基于初始化的所述类标签矩阵和归一化后的权重系数矩阵，通过平衡近邻重构项和标签拟合项建立直推式标签传播模型；通过迭代优化，得到所有样本数据的软类别标签预测矩阵F；
确定模块，根据训练模块得到的软类别标签矩阵F，得到每个未知标签样本数据的软类别标签向量，其中向量中元素为未知标签样本归属各个类别的概率，根据软标签中概率的最大值对应的位置，估计出样本类别，得到最准确的分类结果。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明通过引入基于l 2,1-范数正则化的度量思想，利用标签传播方法对数据进行直推式分类处理，快速估计出未标定的数据标签。在构建模型框架时，本发明方法为了有效降低近邻重构错误，提出基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项。此外，也对标签拟合项进行了l 2,1-范数正则化，提升在度量预测标签和初始标签之间差异过程中的健壮性。通过多次迭代，最终得到一个软标签矩阵，最后每个无标签训练样本的硬标签可以被归结为
，表示预测的软标签向量f i 第i个元素位置。根据无标签训练样本集对应的软标签中的最大值得到样本对应的预测类别。通过引入l 2,1-范数正则化技术，有效提升了系统对于噪音的鲁棒性，增强学习性能。
附图说明
图1为本发明实施例公开的一种鲁棒直推式标签估计以及数据分类系统的方法流程图；
图2为本发明实施例公开的一种鲁棒直推式标签估计以及数据分类系统的结构图；
图3为本发明实施例公开的一种鲁棒直推式标签估计的人脸分类预测示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例一：一种鲁棒直推式标签估计方法，通过引入基于l 2,1-范数正则化度量思想，利用标签传播方法对数据进行直推式分类处理，快速估计出未标定的数据标签。在构建模型框架时，为了有效降低近邻重构错误，提出基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项。此外，也对标签拟合项进行了l 2,1-范数正则化，提升在度量预测标签和初始标签之间差异过程中的健壮性。最后每个无标签训练样本的硬标签可以被归结为
，表示预测的软标签向量f i 第i个元素位置。根据无标签训练样本集对应的软标签中的最大值得到样本对应的预测类别。
本发明在四个不同的数据库进行了测试：HP0机器错误数据集，COIL20目标图像数据集以及ORL和GTF人脸图像数据集，其中COIL20目标图像数据集共有1440个Object目标图像识别数据集样本；ORL是Face人脸图像识别数据集，包括40人共400幅面部图像，局部志愿者的图像包括了姿势、表情和面部饰物等改变。GTF脸数据库包含了50个被测试者的750幅图片（每人15幅图像），并且每张图片具有不同的姿势、光照强度和表情。HP0机器错误数据集，包含400个样本，其中包含10个类别，每个类别40个样本，这些数据库从多方面收集，因而测试结果具有普遍说明性。测试表明，本发明的方法有效提升了系统对于噪音的鲁棒性，增强学习性能。
参见附图1，为本发明实施例公开的一种鲁棒性直推式标签估计及其数据分类方法流程图。具体实施步骤为：
步骤101：主要使用LLE-重构权构建相似近邻图，权重有效范围设定为K近邻（K=7），对所述相似度量矩阵进行对称化、归一化处理，得到所述权重系数矩阵。并且人工标记原始标签矩阵Y用于记录初始已知的监督信息，具体为：
对于给定的一个包含N个图像样本的数据集，其中包括l个有标签训练样本和u个无标签训练样本（满足l+u=N），其中无标签训练样本的类别为类别待估计样本。然后基于训练集进行K近邻搜索，找出每个样本在训练集中的K个最近邻样本，计算重构系数矩阵用到了LLE-重构权的方法，所述解决以下近邻重构错误最小化问题：
其中
为行和为1约束，
为非负约束，即权重稀疏满足该概率定义。进而，对所述重构系数矩阵
进行对称化和归一化处理，得到归一化后的权重系数矩阵，用于表征样本的近邻特性。
基于原始标签矩阵，初始化定义一个行、列数分别为c（共c个类别，c＞2）和N(训练样本总数)的矩阵Y(所有元素均初始化为0)来记录所有训练样本的初始化标签信息。对有标签的训练样本，若样本x j 属于第i类，令 
，其中类别标签i属于集合
；对于所有无标签样本x j ，令。故保证Y中所有列的元素之和均为1，表示每个训练样本有且仅有一个已知的标签。
由此，得到了权重系数矩阵w以及初始类别标签矩阵Y。
步骤102：基于所述初始类别标签矩阵和归一化后的权重系数矩阵，通过平衡近邻重构项和标签拟合项建立直推式标签传播模型。迭代优化，得到所有样本数据的软类别标签预测矩阵F，具体如下：
基于步骤101对于给定的一个含有已经标注的数据集合和未标注的数据集合
(其中，n是数据样本的维度，N=l+u是数据样本总数，l为有标签训练集样本数，u为无标签训练集样本数)，其中包含有类别标签的训练样本集
和无任何标签的训练样本集
。然后建立直推式标签传播模型，解决以下最小化问题：
其中，
包含样本x i 邻域内的样本点，W i,j 为重构系数，u i 是平衡近邻重构项和标签拟合项之间的正权衡参数，f i 为每个样本数据的软类别标签向量，其中，向量中元素为未知训练标签样本归属各个类别的概率，概率最大值对应的位置，决定了样本的类别归属。
是基于l 2,1-范数度量的重构错误项，
是基于l 2,1-范数正则化度量的标签拟合项，y i 为每个样本x i 的初始类别标签向量。基于矩阵形式，上述目标函数可以转化为如下表示：
其中，U为以
为元素的对角矩阵，
为调整参数，当训练集中的样本x i 的标签为已知时，对应的
，反之
。V则是以
为元素的对角矩阵, h i 则为矩阵F T -YT的第i个行向量。其中，
，的主对角线上的所有元素之和称之为X的迹，记为tr(X)，
为l 2-范数，为l 2,1-范数，分别定义如下：
在计算时，可以注意到目标函数是凸的，所以可对目标函数求其F的偏导，在导数等于0处，即为目标函数的极值点。首先有：
对目标函数求F偏导，表示如下：
其中，设，设
，t i 则为矩阵
的第i行向量，Q则是以
为元素的对角矩阵。
最后，因为V和Q都是关于F的函数，所以该方法通过对三个变量相互迭代使目标函数得到有效解决，最后得出软类别标签矩阵F和预测分类结果。具体所述算法如下：
基于l 2,1-范数的直推式标签估计方法及其数据分类算法
输入：原始数据矩阵
，训练集标签矩阵
。
输出：软标签矩阵、预测矩阵
。
初始化：
Para=0, tol=le-5, knn=7, K=4, V=I=G=I, F=Y, max Iter=10, converged=0
while 还未收敛时 do
固定G和V并更新F k+1 ：
固定F并更新V k+1 ：
固定F并更新Q k+1 ：
检查是否收敛：
若
则停止；迭代停止的条件为：超过预先设定的最大迭代次数max Iter，或者计算连续两次迭代得到的矩阵F之间的距离(判断依据为：
所有元素平方和开根号的结果小于规定值tol)，若小于预先设定值，则迭代停止。
否则k=k+1
end while
其中，U为以为元素的对角矩阵，为调整参数，当训练集中的样本x i 的标签为已知时，对应的
，反之
。V则是以为元素的对角矩阵，h i 则为矩阵F T-Y T的第i个行向量。
，设t=F T-WY T，t i 则为矩阵F T-WY T的第i行向量，Q则是以
为元素的对角矩阵。
步骤103：对于上述迭代生成的软标签矩阵F，最后每个无标签训练样本的硬标签可以被归结为
，表示预测的软标签向量f i 第i个元素位置。根据无标签训练样本对应的软标签中的最大值，得到无标签训练集样本对应的预测类别。
本发明公开了一种鲁棒直推式标签估计方法及其数据分类系统，为了有效降低近邻重构错误，提出基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项。此外，也对标签拟合项进行了l 2,1-范数正则化，提升在度量预测标签和初始标签之间差异过程中的健壮性。通过多次迭代，最终得到一个软标签矩阵，最后每个无标签训练样本的硬标签可以被归结为
，表示预测的软标签向量f i 第i个元素位置。根据无标签训练样本对应的软标签中的最大值得到样本对应的预测类别。通过引入基于l 2,1-范数正则化度量思想，提出一种基于鲁棒l 2,1-范数正则化的直推式标签估计及其数据分类方法，提升对噪声的鲁棒性，增强了分类性能。上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的系统实现，因此本发明还公开了一种系统，下面给出具体的实施例进行详细说明。
请参阅附图2，为本发明实施例公开的一种鲁棒直推式标签估计方法及其数据分析系统的系统结构图。本发明公开了一种鲁棒直推式标签估计方法及其数据分析的系统，该系统具体包括：
训练预处理模块201利用有标签训练样本和无标签训练样本人工初始化一个类标签矩阵，并通过近邻搜索过程，完成构造相似近邻图和归一化后的权重系数矩阵，用于表征样本间的近邻特性；另外，可选地，此部分还包括必要的数据预处理和参数设置等操作：
对于给定的一个包含N个数据样本的数据集，其中包括l个有标签样本和u个无标签样本（满足l+u=N），其中无标签样本的类别为类别待估计样本。然后，基于原始数据集进行K近邻搜索，即找出每个样本在样本集合中的K个距离最近的样本点，进而采用LLE-重构权的构造方法，并进行归一化处理后得到重构系数矩阵，用于衡量样本点之间的相似性或近邻特性。所述解决以下近邻重构错误最小化问题：
其中
为行和为1约束，为非负约束，即权重稀疏满足该概率定义。进而，对所述重构系数矩阵
进行对称化和归一化处理，得到归一化后的权重系数矩阵，用于表征样本的近邻特性。
基于原始数据类别标签，初始化定义一个行、列数分别为c（共c个类别， c>2）和N（训练样本总数）的矩阵Y（所有元素均初始化为0）来记录所有训练样本的初始化标签信息。对有标签的训练样本，若样本x j 属于第i类，令
，其中类别标签i属于集合
；对于所有无标签样本x i ，令
。故保证Y中所有列的元素之和均为1，表示每个训练样本有且仅有一个已知的标签。
训练模块202基于所述初始类别矩阵和归一化后的权重系数矩阵，通过平衡近邻重构项和标签拟合项建立直推式标签传播模型。通过迭代优化，得到所有样本数据的软类别标签预测矩阵F，具体所述算法如下：
基于l 2,1-范数的直推式标签估计方法及其数据分类算法
输入：原始数据矩阵，训练集标签矩阵
。
输出：软标签矩阵
、预测矩阵
。
初始化：
Para=0, tol=le-5, knn=7, K=4, V=I=G=I, F=Y, max Iter=10, converged=0
while 还未收敛时 do
固定G和V并更新F k+1 ：
固定F并更新V k+1 ：
固定F并更新Q k+1 ：
检查是否收敛：
若
则停止；迭代停止的条件为：超过预先设定的最大迭代次数max Iter，或者计算连续两次迭代得到的矩阵F之间的距离(判断依据为：所有元素平方和开根号的结果小于规定值tol)，若小于预先设定值，则迭代停止。
否则k=k+1
end while
其中，U为以
为元素的对角矩阵，
为调整参数，当训练集中的样本x i 的标签为已知时，对应的，反之。V则是以为元素的对角矩阵，h i 则为矩阵F T-Y T的第i个行向量。
，设t=F T-WY T，t i 则为矩阵F T-WY T的第i行向量，Q则是以
为元素的对角矩阵。
确定模块203通过所述模型对软类别标签矩阵F和其他变量的相互迭代得到所有样本数据的软类别标签矩阵F，最后每个类标签信息未知的样本x new 的类别标签可以被归结为，f new 为x new 的软标签向量，即根据软标签f new 中类别归属概率的最大值对应的位置，估计出类标签信息未知的样本类别，完成分类过程。
请参阅表1，为本发明方法和SparseNP（Sparse Neighborhood Propagation）、SLP（Special Label Propagation）、LNP（Label Neighborhood Propagation）、LLGC(Learningwith Local and Global Consistency)、LapLDA(Laplacian Linear DiscriminantAnalysis)以及GFHF(Gaussian Fields and Harmonic Functions)方法识别结果对比表，给出了各方法实验的平均和最高识别率。本例中，参与比较的SparseNP、LNP和LapLDA方法采用各文献中算法使用的默认参数，且分类均采用K-最近邻(K=7)分类器。分别从COIL20目标图像数据集和HP0机器错误实验训练样本数据集中每类随机选取15个和2个作为已标记数据，其他未标记数据作为测试集。分别从ORL和GTF人脸图像这两组实验训练样本数据集中每类随机选取5个和7个作为已标记数据。其他未标记数据作为测试集。
表1. 本发明和SparseNP、SLP、LNP、LLGC、LapLDA、GFHF方法识别结果对比
请参阅附图2，为本发明实施例公开的一种鲁棒直推式标签估计方法及其数据分类系统的结构图；
请参阅附图3，为本发明实施例公开的一种鲁棒直推式标签估计方法及其图像分类示意图。
通过实验结果我们可以看出本发明的数据分类效果明显优于相关的其他几种方法，且表现出了较强的稳定性，具有一定的优势。
综上所述：本发明公开了一种鲁棒直推式标签估计方法及其数据分类系统，为了有效降低近邻重构错误，提出基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项。此外，也对标签拟合项进行了l 2,1-范数正则化，提升在度量预测标签和初始标签之间差异过程中的健壮性。通过多次迭代，最终得到一个软标签矩阵，最后每个无标签训练样本的硬标签可以被归结为
，表示预测的软标签向量f i 第i个元素位置。根据无标签训练样本对应的软标签中的最大值得到无标签训练集样本对应的预测类别。通过引入基于l 2,1-范数正则化度量思想，提出一种基于鲁棒l 2,1-范数正则化的直推式标签传播方法，使得对与噪声具有很好的鲁棒性，增强分类性能，有效提高了数据分类的能力。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述得比较简单，相关之处可以参见方法部分说明。
Claims (3)
1.一种用于图像识别的鲁棒直推式标签估计及数据分类方法，其特征在于，包括：
(1) 利用有标签训练样本和无标签训练样本人工初始化一个类标签矩阵，并通过近邻搜索过程，完成构造相似近邻图和归一化后的权重系数矩阵，用于表征样本间的近邻特性；具体方法为：
对于给定的一个包含N个图像样本的数据集，其中包括l个有标签样本和u个无标签样本，满足l+u=N，其中无标签样本的类别为类别待估计样本；
①，根据l个有标签样本和u个无标签样本，人工定义一个行、列数分别为c和l+u的类别初始矩阵Y，c为类别的个数，c＞2，用于记录所有样本数据的初始标签信息，其中，对有标签的训练样本，当样本x j 属于第i类，令
，其中类别标签i属于集合
，x j 表示第j个样本，j属于集合{1,…, l+u}；对于所有无标签样本x j ，令
；
②，基于原始图像数据集进行K近邻搜索，即找出每个样本在样本集合中的K个距离最近的样本点，进而采用重构权的构造方法，构造重构系数矩阵并进行归一化处理后，用于衡量样本点之间的相似性或近邻特性；
(2) 通过平衡近邻重构项和标签拟合项，计算得到未知标签训练样本的软标签矩阵；其中，基于鲁棒l 2,1-范数度量的近邻重构错误，用于定义流形平滑项；对标签拟合项进行l 2,1-范数正则化；
(3) 通过迭代计算得到每个未知标签样本数据的软类别标签向量，其中向量元素为未知标签样本归属各个类别的概率，根据软标签中概率的最大值对应的位置，估计出样本类别，得到分类结果；
其中，步骤(2)中，解决以下最小化问题：
其中，
包含样本x i 邻域内的样本点，W i,j 为重构系数，u i 是平衡近邻重构项和标签拟合项之间的正权衡参数，f i 为每个样本数据的软类别标签向量，其中，向量中元素为未知标签样本归属各个类别的概率，概率最大值对应的位置，决定了样本的类别归属；是基于l 2,1-范数度量的重构错误项，
是基于l 2,1-范数正则化度量的标签拟合项，y i 为每个样本x i 的初始标签向量，F为软标签矩阵；
计算重构系数矩阵
时，解决以下近邻重构错误最小化问题：
其中
为行和为1约束，
为非负约束，即权重稀疏满足该概率定义；进而，对所述重构系数矩阵
进行对称化和归一化处理，得到归一化后的权重系数矩阵，用于表征样本的近邻特性；
基于矩阵形式，目标函数转化为如下表示：
其中，F为软标签矩阵，U为以
为元素的对角矩阵，
为调整参数，当训练集中的样本x i 的标签为已知时，对应的
，反之
；V则是以为元素的对角矩阵，式中
，h i 则为矩阵F T -YT的第i个行向量；其中，
，
的主对角线上的所有元素之和称之为X的迹，记为tr(X)，为l 2-范数，
为l 2,1-范数，分别定义如下：
2.根据权利要求1所述的用于图像识别的鲁棒直推式标签估计及数据分类方法，其特征在于：所述步骤(1)中，包括数据预处理和参数设置操作。
3.根据权利要求1所述的用于图像识别的鲁棒直推式标签估计及数据分类方法，其特征在于：步骤(3)中，利用建立的直推式标签传播模型迭代得到软标签矩阵，完成未知标签样本的类别估计构成，具体为：
通过所述模型对软类别标签矩阵F和其他变量的相互迭代得到所有样本数据的软标签矩阵F，最后每个类标签信息未知的样本x new的类别标签被归结为
，f new为x new的软标签向量，即根据软标签f new中类别归属概率的最大值对应的位置，估计出类标签信息未知的样本类别，完成分类过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511002862.9A CN105608471B (zh) | 2015-12-28 | 2015-12-28 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201511002862.9A CN105608471B (zh) | 2015-12-28 | 2015-12-28 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105608471A CN105608471A (zh) | 2016-05-25 |
| CN105608471B true CN105608471B (zh) | 2020-01-14 |
Family
ID=55988395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201511002862.9A Active CN105608471B (zh) | 2015-12-28 | 2015-12-28 | 一种鲁棒直推式标签估计及数据分类方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105608471B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529604B (zh) * | 2016-11-24 | 2019-09-27 | 苏州大学 | 一种自适应的图像标签鲁棒预测方法及系统 |
| CN106845358B (zh) * | 2016-12-26 | 2020-11-10 | 苏州大学 | 一种手写体字符图像特征识别的方法及系统 |
| CN108256538A (zh) * | 2016-12-28 | 2018-07-06 | 北京酷我科技有限公司 | 一种用户资料预测方法和系统 |
| CN108629358B (zh) * | 2017-03-23 | 2020-12-25 | 北京嘀嘀无限科技发展有限公司 | 对象类别的预测方法及装置 |
| CN107563445A (zh) * | 2017-09-06 | 2018-01-09 | 苏州大学 | 一种基于半监督学习的提取图像特征的方法与装置 |
| CN107766895B (zh) * | 2017-11-16 | 2021-07-09 | 苏州大学 | 一种诱导式非负投影半监督数据分类方法及系统 |
| CN108959431B (zh) * | 2018-06-11 | 2022-07-05 | 中国科学院上海高等研究院 | 标签自动生成方法、系统、计算机可读存储介质及设备 |
| CN109117859A (zh) * | 2018-06-15 | 2019-01-01 | 国网浙江省电力有限公司 | 用于计算机视觉的多标签聚类方法 |
| CN108845302B (zh) * | 2018-08-23 | 2022-06-03 | 电子科技大学 | 一种k近邻变换真假目标特征提取方法 |
| CN109460712B (zh) * | 2018-10-12 | 2024-01-12 | 西北工业大学 | 一种基于最优近邻重构的高光谱波段选择方法 |
| CN109635668B (zh) * | 2018-11-16 | 2021-04-06 | 华中师范大学 | 基于软标签集成卷积神经网络的人脸表情识别方法及系统 |
| CN109829472B (zh) * | 2018-12-24 | 2024-05-14 | 陕西师范大学 | 基于概率近邻的半监督分类方法 |
| CN110232403B (zh) * | 2019-05-15 | 2024-02-27 | 腾讯科技（深圳）有限公司 | 一种标签预测方法、装置、电子设备及介质 |
| CN110781926B (zh) * | 2019-09-29 | 2023-09-19 | 武汉大学 | 基于鲁棒辅助信息重构的支持向量机多谱段图像分析方法 |
| CN112749724B (zh) * | 2019-10-31 | 2024-06-04 | 阿里巴巴集团控股有限公司 | 训练分类器、预测应用性能扩展性的方法、设备 |
| CN112434728B (zh) * | 2020-11-09 | 2023-05-12 | 中山大学 | 基于局部均值距离约束表示的数据分类方法 |
| CN112801162B (zh) * | 2021-01-22 | 2022-06-24 | 之江实验室 | 基于图像属性先验的自适应软标签正则化方法 |
| CN113313179B (zh) * | 2021-06-04 | 2024-05-31 | 西北工业大学 | 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法 |
| CN113537458B (zh) * | 2021-06-21 | 2022-12-30 | 中国科学技术大学 | 一种有理式函数神经网络构建方法、系统及可读存储介质 |
| CN114201632B (zh) * | 2022-02-18 | 2022-05-06 | 南京航空航天大学 | 一种面向多标记目标检测任务的标签带噪数据集扩增方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7412425B2 (en) * | 2005-04-14 | 2008-08-12 | Honda Motor Co., Ltd. | Partially supervised machine learning of data classification based on local-neighborhood Laplacian Eigenmaps |
| CN104463202B (zh) * | 2014-11-28 | 2017-09-19 | 苏州大学 | 一种多类图像半监督分类方法及系统 |
| CN104794489B (zh) * | 2015-04-23 | 2019-03-08 | 苏州大学 | 一种基于深度标签预测的诱导式图像分类方法及系统 |
| CN104966105A (zh) * | 2015-07-13 | 2015-10-07 | 苏州大学 | 一种鲁棒机器错误检索方法与系统 |
| CN104933428B (zh) * | 2015-07-23 | 2018-05-01 | 苏州大学 | 一种基于张量描述的人脸识别方法及装置 |
-
2015
- 2015-12-28 CN CN201511002862.9A patent/CN105608471B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN105608471A (zh) | 2016-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105608471B (zh) | 一种鲁棒直推式标签估计及数据分类方法和系统 | |
| Yang et al. | Pipeline magnetic flux leakage image detection algorithm based on multiscale SSD network | |
| CN108399406B (zh) | 基于深度学习的弱监督显著性物体检测的方法及系统 | |
| CN105354595B (zh) | 一种鲁棒视觉图像分类方法及系统 | |
| CN104463202B (zh) | 一种多类图像半监督分类方法及系统 | |
| CN106777318B (zh) | 基于协同训练的矩阵分解跨模态哈希检索方法 | |
| WO2019015246A1 (zh) | 图像特征获取 | |
| CN104794489B (zh) | 一种基于深度标签预测的诱导式图像分类方法及系统 | |
| CN110135459B (zh) | 一种基于双三元组深度度量学习网络的零样本分类方法 | |
| CN111860106B (zh) | 一种无监督的桥梁裂缝识别方法 | |
| CN104298992B (zh) | 一种基于数据驱动的自适应尺度行人重识别方法 | |
| CN109255289A (zh) | 一种基于统一式生成模型的跨衰老人脸识别方法 | |
| Zhao et al. | FaNet: Feature-aware network for few shot classification of strip steel surface defects | |
| CN110458022A (zh) | 一种基于域适应的可自主学习目标检测方法 | |
| Zhang et al. | Second-and high-order graph matching for correspondence problems | |
| CN114926725A (zh) | 一种基于图像分析的线上金融团伙欺诈识别方法 | |
| CN112861626A (zh) | 基于小样本学习的细粒度表情分类方法 | |
| CN116258938A (zh) | 基于自主进化损失的图像检索与识别方法 | |
| CN110263808B (zh) | 一种基于lstm网络和注意力机制的图像情感分类方法 | |
| CN115063664A (zh) | 用于工业视觉检测的模型学习方法、训练方法及系统 | |
| Liu et al. | A novel deep framework for change detection of multi-source heterogeneous images | |
| CN109657693B (zh) | 一种基于相关熵和迁移学习的分类方法 | |
| Fan et al. | ACD‐YOLO: Improved YOLOv5‐based method for steel surface defects detection | |
| CN114266321A (zh) | 一种基于无约束先验信息模式的弱监督模糊聚类算法 | |
| CN108121970A (zh) | 一种基于差异矩阵和矩阵度量的行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |