CN114037931A - 一种自适应权重的多视图判别方法 - Google Patents
一种自适应权重的多视图判别方法 Download PDFInfo
- Publication number
- CN114037931A CN114037931A CN202111218365.8A CN202111218365A CN114037931A CN 114037931 A CN114037931 A CN 114037931A CN 202111218365 A CN202111218365 A CN 202111218365A CN 114037931 A CN114037931 A CN 114037931A
- Authority
- CN
- China
- Prior art keywords
- matrix
- view
- representing
- weight
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种自适应权重的多视图判别方法,包括以下步骤:构建数据集不同视图的无向权重图,并计算出拉普拉斯矩阵Ls;基于希尔伯特‑施密特独立性准则(Hilbert‑Schmidt Independence Criteria,HSIC)对不同视图数据进行一致性约束,并计算出约束矩阵T;结合共识的低秩稀疏表征学习方法对投影矩阵P进行优化;引入权重参数并根据每个视图数据包含的信息量自适应地赋予相应的权重;构造最终的自适应权重的多视图判别模型;通过求解目标模型,求得模型最优的多视图投影矩阵;对测试集样本进行判别分析,运用KNN算法获取图像识别的准确率。本发明针对于在噪声污染的图像数据能够保持不同视图的一致性结构,具有很强的准确性以及鲁棒性。
Description
技术领域
本发明涉及图像识别技术领域,更具体的,涉及一种自适应权重的多视图判别方法。
背景技术
随着现在科技的不断进步,获取的原始图像数据通常是多样化且高维的,这将导致在处理多视图数据时面临着巨大的挑战。为了降低计算机内存的消耗以及对数据的计算量,首先会考虑运用主成分分析方法(PCA)与线性判别分析(LDA)算法两种最经典的优化算法。但由于上述算法对噪音较为敏感,为此He等人论文“Locality PreservingProjections”提出了局部保留投影,通过保持数据的局部结构信息来提高算法对噪声的鲁棒性。
相比于单视图学习算法而言,多视图特征学习能够整合一个对象的多个角度来进行学习,因此,多视图算法能够提取原始数据中更多的判别信息,从而获得更好的性能。Zhang等人基于希尔伯特-施密特独立性准则提出了Fisher-HSIC多视图度量学习(Fisher-HSIC Multi-View Metric Learning,FISH-MML)方法,其算法能保持数据样本在希尔伯特空间中的结构一致性,从而使得每个视图的联系更紧密,保留了更多了判别信息。随着深度学习的发展,许多研究人员基于深度学习技术的思想设计了一些多视图学习方法。例如,Zhao等人提出了基于深度矩阵分解的多视图聚类(Multi-view Clustering via DeepMatrix Factorization)方法,其方法为将每个视图进行了划分为多层系数矩阵,再逐层对系数矩阵进行非负分解,从而能准确的识别出每层系数矩阵中包含的不同属性。Hu等人基于前馈神经网络的思想设计出了多视图线性判别分析网络(Multi-view LinearDiscriminantAnalysis Network,MvLDAN),该算法能将获得的深度特征投影到公共的空间中,并且无论样本是否在同一个视图中,都能够使得相同类别的样本尽可能地靠近,不同类的样本相互远离。
然而这些算法忽略了不同视图之间包含判别信息量的差异,无法为不同的视图赋予相应的权重,从而影响了多视图特征学习方法的性能,使得在判别中效果不理想。
发明内容
本发明为了解决现有技术在图像存在多个不同的视图、高维与噪音污染严重的情况下判别效果不理想,提供了一种新颖的自适应权重的多视图判别方法。该算法不仅能够保留多视图数据在希尔伯特空间中的一致性结构,而且能同时保持每个视图的空间局部结构,最大限度的保留有效的判别投影信息。此外,利用低秩稀疏技术提高算法对噪音的鲁棒性,最后,通过考虑每个不同视图包含信息量的差异,对每个视图赋予了相对应的权重,以提高算法的性能。
为实现上述本发明目的,采用的技术方案如下:一种自适应权重的多视图判别方法,所述方法包括以下步骤:
S1:将多个视图数据X={X1,X2,…,XV}分成训练集Tr={Xtr,Ltr}和测试集Te={Xte,Lte},其中Xtr是训练集,Ltr表示训练集的标签,Xte表示测试集,Lte表示测试集的标签;
S2:构造训练集Ltr的无向权重图G,并计算得到G的邻接矩阵S以及相应的拉普拉斯矩阵LS;
S3:基于希尔伯特-施密特独立性准则对多个视图数据进行一致性约束,并计算出约束矩阵T,构建结构一致性保留正则项;
S4:采用主成分分析方法初始化多个视图数据中的每个视图数据的投影矩阵P=[P1,P2,…,Pv],并结合共识的低秩稀疏表征学习方法对P进行优化;
S6:基于S2-S5,构建基于一致性约束的自适应权重的多视图判别分析学习模型;
S7:通过引入辅助变量J以及松弛低秩表示为核范数来对多视图判别分析学习模型进行学习,得到最优的多视图特征投影矩阵P*;
S8:利用最优的多视图特征投影矩阵P*计算测试集Xte的特征投影P*Xte,以及训练集的特征投影P*Xtr,将特征投影P*Xte和P*Xtr输入到knn分类器f中进行分类,得出分类准确率;
Ct=f(P*Xtr,P*Xte)
式中:Ct表示分类标签。
在一个实施例中,步骤S1还包括:将多个视图数据X分成训练集和测试集,并对图像数据集进行归一化处理。
在一个实施例中,在步骤S3中,关于相似矩阵S的表达式可表示为:
其中Xv,i∈Rn×1表示第v视图的第i列向量,Pv=[p1,p2,…,pq]T∈Rq×n表示第v视图特征投影矩阵。进一步拉普拉斯矩阵LS的表达式如下:
LS=(I-S)*(I-S)T
在一个实施例中,步骤S4,是基于希尔伯特-施密特独立性准则来获取多个视图数据中的互补信息,使得投影后的多个视图数据能够在希尔伯特空间上保持一致的空间结构。具体表达式如下所示:
其中Zv和Zu分别表示第v个与第u个视角的观测数据矩阵,Kv和Ku为格拉姆(Gram)矩阵。为了使得格拉姆矩阵在特征空间中的均值为零,令Hij=δij-1/m,其中δii=1(i=0,1,…,m),其余为零。在这里关于Kv的内积核函数可定义为Kv=Zv TZv=Xv TPv TPvXv。则基于HSIC使得空间结构一致的表达式为:
其中,Pv和Pu分别表示第v个与第u个视图的投影矩阵,Xv和Xu分别表示第v个与第u个视图的原始样本数据。
在一个实施例中,所述基于共识的低秩稀疏表示技术的多视图判别分析学习模型,具体表达式如下:
其中Ev与Iv分别表示第v个视图的噪音矩阵与单位矩阵,λ1与λ2分别表示超参数,||·||*表示为核范数,||·||1表示l1范数。
在一个实施例中,步骤S6,通过对不同的视图数据Xv引入权重参数wv来进行权衡并约束所有视图的权重和为1。综合上述,最终关于自适应权重的多视图判别性投影算法的目标函数可表示为:
在一个实施例中,所述步骤S7,通过引入辅助变量J以及松弛低秩表示核范数对学习模型进行优化,得到优化后的学习模型如下所示:
将多视图判别分析学习模型转化为增广拉格朗日函数得到公式:
则初始化矩阵Z=J=Y2=0,Ev=Yv,1=0,然后对目标模型进行迭代求解,具体步骤如下:
固定投影矩阵变量P,使用公式
更新低秩矩阵Z;
通过公式
更新辅助变量J;
根据公式
更新辅助变量Ev;
其中Kv=Xv TPv TPvXv,Ku=Xu TPu TPuXu,在这里H定义为H=I-1/meeT,e∈Rn×1表示全为1的列向量。则Pv的最优解可以通过求解以下标准的特征函数来获取:
本发明的有益效果如下:
1.本发明在样本存在多个视图的情况下,将低秩稀疏表征学习与空间结构保留相结合,保证了多视图数据在投影变换时能有效保留不同视图数据的一致性结构信息以及视图内部的局部结构信息,并通过结合低秩稀疏约束表征学习模型,算法具有很强的鲁棒性以及稳定性。
2.本发明基于多度量学习方法,通过将数据的希尔伯特空间一致性结构学习与欧式空间局部结构学习相结合,保留了多视图数据中的不同视图的一致性结构信息以及每个视图中空间局部结构信息,有效提高了算法的准确性与普适性。
3.本发明基于自适应权重学习方法,通过设置自适应的权重来对每个包含不同特征信息量的视图进行了相应的加权,提高了算法的准确性。
附图说明
图1是本实施例所述方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做详细描述。
实施例1
本实施例是基于Windows 10系统上的MATLAB R2018a进行实验举例说明,使用的硬件平台CPU型号为AMD Ryzen 3 PRO 1200 Quad-Core Processor 3.1GHz,8GRAM。
如图1所示,一种自适应权重的多视图判别方法,包括以下步骤:
步骤1:将待测的公开数据集随机按比例选取部分的数据作为训练集Tr={Xtr,Ltr},其余部分作为测试集Te={Xte,Lte}。
本实施例通过采用如表1所述的数据集进行举例说明;
表1
为了减少噪音对主要特征影响,首先对多视图数据X=[X1,X2]经过归一化处理,然后随机分成训练集Xtr和测试集Xte;其中:数据集矩阵Xtr,Xte表示每一列代表一个样本,n表示样本维度,k1表示训练样本的数量,k2表示测试样本的数量;表示训练样本的标签矩阵;表示测试样本的标签矩阵。
步骤2:通过k近邻学习构造训练样本矩阵Ltr的无向权重图G={o,l},从而得到G的邻接矩阵S,其中o表示样本点集,l表示样本边集。关于相似矩阵S的表达式可表示为:
其中Xv,i∈Rn×1表示第v视图的第i列向量,Pv=[p1,p2,…,pq]T∈Rq×n表示第v视图特征投影矩阵。进一步拉普拉斯矩阵LS的表达式如下:
Ls=(I-S)*(I-S)T (2)
步骤3:基于希尔伯特-施密特独立性准则来获取多视图数据中的互补信息,使得投影后的多视图数据能够在希尔伯特空间上保持一致的空间结构。具体表达式如下所示:
其中Zv和Zu分别表示第v个与第u个视角的观测数据矩阵,Kv和Ku为格拉姆(Gram)矩阵。为了使得格拉姆矩阵在特征空间中的均值为零,令Hij=δij-1/m,其中δii=1(i=0,1,…,m),其余为零。在这里关于Kv的内积核函数可定义为Kv=Zv TZv=Xv TPv TPvXv。则基于HSIC使得空间结构一致的表达式为:
其中Pv和Pu分别表示第v个与第u个视图的投影矩阵,Xv和Xu分别表示第v个与第u个视图的原始样本数据;
步骤4:采用主成分分析方法初始化投影矩阵P,对训练集数据进行特征提取得到Pv TXv。为了减少噪音对算法影响以及增强算法的鲁棒性,进行共识的低秩稀疏表征技术学习,具体表达式如下:
其中Ev与Iv分别表示第v个视图的噪音矩阵与单位矩阵,λ1与λ2分别表示超参数,||·||*表示为核范数,||·||1表示l1范数。
步骤5:通过对不同的视图数据Xv引入权重参数wv来进行权衡并约束所有视图的权重和为1。
综合上述,最终关于自适应权重的多视图判别性投影算法的目标函数可表示为:
步骤6:为了优化学习模型,引入辅助变量J以及松弛低秩表示核范数,得到优化的学习模型如下所示:
为了运用LADMAP优化方法对式(7)进行优化,将上式(7)转化为增广拉格朗日函数得到公式(8):
初始化矩阵Z=J=Y2=0,Ev=Yv,l=0,运用LADMAP优化方法分别对(8)式中的Z,J,Pv,Ev,Yv1,Y2,θ不断进行优化,具体步骤如下所示:
S601:初始化矩阵P,使用公式(9)更新低秩矩阵Z;
S602:通过公式(10)更新辅助变量J:
S603:根据公式(11)更新辅助变量Ev;
S604:用公式(12)拉格朗日乘子数Yv,1,Y2以及惩罚参数θ的更新表达式如下所示:
在这里ρ与θmax表示常数。
S605:通过固定低秩矩阵Z和辅助变量E,对投影矩阵P进行更新,则学习模型可表示为公式(10):
由于L21范数可进行凸优化,并通过给定约束PTP=I,因此,通过求解下列标准特征函数,可以很容易地得到(10)的最优解:
S606:通过固定变量Z、Pv、Ev,根据公式(12)则关于变量wv的优化函数为:
进而得到关于公式(12)的拉格朗日表达式为
其中u为拉格朗日乘子数。设函数L(wv,u)相对于W变量u与wv的偏导数分别等于零,则可得表达式:
因此可以得到关于wv的表达式为:
步骤7:通过最优的投影矩阵P*对测试集Xte进行特征投影为P*TXte,运用knn分类算法对经过特征投影后的测试集Xte进行分类,得到分类标签为Ct。
本实施例最终通过对分类标签Ct与初始标签Lte进行校对,得出算法准确率。
本实施例为了证明所述的一种自适应权重的多视图判别学习方法的效果,在BBCsport多视图文档数据集中,我们分别随机选取训练样本数量分别为原始数据的10%,20%,30%,40%。考虑到在不同比例下的数据样本量可能为非整数,因此会对训练数据量进行向下取整。与现有技术进行对比,得到实验结果如表2所示。
表2
从表2中可以得出AMDP算法在大部分情况下能够表现出最优的性能。特别地,在BBCsport数据库上本算法对比了2020年提出的最新算法MvCSD,该算法依然能表示出较好的判别性能。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种自适应权重的多视图判别方法,其特征在于,包括以下步骤:
S1:将多个视图数据X={X1,X2,…,XV}分成训练集Tr={Xtr,Ltr}和测试集Te={Xte,Lte},其中Xtr是训练集,Ltr表示训练集的标签,Xte表示测试集,Lte表示测试集的标签;
S2:构造训练集Ltr的无向权重图G,并计算得到G的邻接矩阵S以及相应的拉普拉斯矩阵LS;
S3:基于希尔伯特-施密特独立性准则对多个视图数据进行一致性约束,并计算出约束矩阵T,构建结构一致性保留正则项;
S4:采用主成分分析方法初始化多个视图数据中的每个视图数据的投影矩阵P=[P1,P2,…,Pv],并结合共识的低秩稀疏表征学习方法对P进行优化;
S6:基于S2-S5,构建基于一致性约束的自适应权重的多视图判别分析学习模型;
S7:通过引入辅助变量J以及松弛低秩表示为核范数来对多视图判别分析学习模型进行学习,得到最优的多视图特征投影矩阵P*;
S8:利用最优的多视图特征投影矩阵P*计算测试集Xte的特征投影P*Xte,以及训练集的特征投影P*Xtr,将特征投影P*Xte和P*Xtr输入到knn分类器f中进行分类,得出分类准确率;
Ct=f(P*Xtr,P*Xte)
式中:Ct表示分类标签。
2.根据权利要求1所述的一种自适应权重的多视图判别方法,其特征在于:步骤S1还包括:将多个视图数据X分成训练集和测试集,并对图像数据集进行归一化处理。
4.根据权利要求3所述的一种自适应权重的多视图判别方法,其特征在于:步骤S4,是基于希尔伯特-施密特独立性准则来获取多个视图数据中的互补信息,使得投影后的多个视图数据能够在希尔伯特空间上保持一致的空间结构。具体表达式如下所示:
其中Zv和Zu分别表示第v个与第u个视角的观测数据矩阵,Kv和Ku为格拉姆(Gram)矩阵。为了使得格拉姆矩阵在特征空间中的均值为零,令Hij=δij-1/m,其中δii=1(i=0,1,…,m),其余为零。在这里关于Kv的内积核函数可定义为则基于HSIC使得空间结构一致的表达式为:
其中,Pv和Pu分别表示第v个与第u个视图的投影矩阵,Xv和Xu分别表示第v个与第u个视图的原始样本数据。
7.根据权利要求6所述的一种自适应权重的多视图判别方法,其特征在于:所述步骤S7,通过引入辅助变量J以及松弛低秩表示核范数对学习模型进行优化,得到优化后的学习模型如下所示:
将多视图判别分析学习模型转化为增广拉格朗日函数得到公式:
则初始化矩阵Z=J=Y2=0,Ev=Yv,1=0,然后对目标模型进行迭代求解,具体步骤如下:
固定投影矩阵变量P,使用公式
更新低秩矩阵Z;
通过公式
更新辅助变量J;
根据公式
更新辅助变量Ev;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111218365.8A CN114037931A (zh) | 2021-10-19 | 2021-10-19 | 一种自适应权重的多视图判别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111218365.8A CN114037931A (zh) | 2021-10-19 | 2021-10-19 | 一种自适应权重的多视图判别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114037931A true CN114037931A (zh) | 2022-02-11 |
Family
ID=80135484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111218365.8A Pending CN114037931A (zh) | 2021-10-19 | 2021-10-19 | 一种自适应权重的多视图判别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037931A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402554A (zh) * | 2023-06-07 | 2023-07-07 | 江西时刻互动科技股份有限公司 | 一种广告点击率预测方法、系统、计算机及可读存储介质 |
-
2021
- 2021-10-19 CN CN202111218365.8A patent/CN114037931A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402554A (zh) * | 2023-06-07 | 2023-07-07 | 江西时刻互动科技股份有限公司 | 一种广告点击率预测方法、系统、计算机及可读存储介质 |
CN116402554B (zh) * | 2023-06-07 | 2023-08-11 | 江西时刻互动科技股份有限公司 | 一种广告点击率预测方法、系统、计算机及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10929649B2 (en) | Multi-pose face feature point detection method based on cascade regression | |
Titsias et al. | Spike and slab variational inference for multi-task and multiple kernel learning | |
Zhang et al. | Robust non-negative matrix factorization | |
CN108647583B (zh) | 一种基于多目标学习的人脸识别算法训练方法 | |
Shen et al. | Shape recognition by bag of skeleton-associated contour parts | |
Singh et al. | A study of moment based features on handwritten digit recognition | |
CN104680179B (zh) | 基于邻域相似度的数据降维方法 | |
CN109657611B (zh) | 一种用于人脸识别的自适应图正则化非负矩阵分解方法 | |
CN110705636B (zh) | 一种基于多样本字典学习和局部约束编码的图像分类方法 | |
Wang et al. | Energy based competitive learning | |
Masuyama et al. | A kernel Bayesian adaptive resonance theory with a topological structure | |
Chen et al. | LABIN: Balanced min cut for large-scale data | |
CN107784284B (zh) | 人脸识别方法及系统 | |
CN109063725B (zh) | 面向多视图聚类的多图正则化深度矩阵分解方法 | |
Ghadhban et al. | Segments interpolation extractor for finding the best fit line in Arabic offline handwriting recognition words | |
CN114037931A (zh) | 一种自适应权重的多视图判别方法 | |
Camassa et al. | A geodesic landmark shooting algorithm for template matching and its applications | |
Shadvar | Dimension reduction by mutual information feature extraction | |
Hasenfuss et al. | Relational topographic maps | |
Zhang et al. | A linear discriminant analysis method based on mutual information maximization | |
CN111967499B (zh) | 基于自步学习的数据降维方法 | |
CN111581467B (zh) | 基于子空间表示和全局消歧方法的偏标记学习方法 | |
Atukorale et al. | Hierarchical overlapped neural gas network with application to pattern classification | |
Li et al. | Kernel hierarchical agglomerative clustering-comparison of different gap statistics to estimate the number of clusters | |
Shadvar | Dimension reduction by mutual information discriminant analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |