CN114419382A - 一种无监督的多视图图像的图嵌入方法及系统 - Google Patents
一种无监督的多视图图像的图嵌入方法及系统 Download PDFInfo
- Publication number
- CN114419382A CN114419382A CN202111447178.7A CN202111447178A CN114419382A CN 114419382 A CN114419382 A CN 114419382A CN 202111447178 A CN202111447178 A CN 202111447178A CN 114419382 A CN114419382 A CN 114419382A
- Authority
- CN
- China
- Prior art keywords
- graph embedding
- view image
- matrix
- graph
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 230000006870 function Effects 0.000 claims description 40
- 238000005457 optimization Methods 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 201000011243 gastrointestinal stromal tumor Diseases 0.000 description 1
- 238000003703 image analysis method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种无监督的多视图图像的图嵌入方法及系统,属于多视图图像的图嵌入领域。本发明无监督的多视图图像的图嵌入方法及系统,在融合多种特征信息的前提下,可以有效处理样本外特征、噪声特征和新特征,学得无标签高维多视图图像的低维嵌入,用于预处理无标签高维多视图图像。本发明引入的回归项,不仅可以处理异常图像特征和噪声特征,还放宽了严格的线性投影关系,还有助于原始高维图像和低维嵌入之间的相互协作。自适应地为在不同特征上构建的相似度矩阵分配权重,为多种特征学习了一个统一相似度矩阵,该统一相似度矩阵可以更精确地编码各幅图像之间的关系,有助于高质量的图嵌入。
Description
技术领域
本发明属于多视图图像的图嵌入领域,尤其是一种无监督的多视图图像的图嵌入方法及系统。
背景技术
随着摄像技术和图像采集技术的不断增强,经常使用多种特征从不同角度描述同一幅图像。此类用多种特征描述同一幅图像的数据是多视图图像。近年来,特征维度高的多视图图像在计算机视觉领域迅速增加。在高维度的多视图图像中,不相关或冗余特征会降低多视图学习的质量并消耗更多的存储空间和计算时间,有时还会导致多视图图像分析方法失效。然而,图像特征的“本征维度”通常要低很多。降维技术可以将原始高维特征空间的图像映射到紧凑的低维特征空间,得到高维图像的低维表示。从标签信息的使用情况可以将降维方法分为有监督、半监督和无监督三类。前两类不同程度地依赖标签信息来指导降维,后一类不使用任何标签信息。通常,未标记多视图图像在实际应用中大量存在且易于获取,而人工标记图像费时、费力且成本高昂。因此,多视图无监督降维(Multi-viewUnsupervised Dimensionality Reduction,MUDR)的研究可以解决高维度多视图图像的使用问题。
在过去几十年中,研究者们提出了许多降维方法,代表性的有:线性判别分析(Linear Discriminant Analysis,LDA)、主成分分析(Principal Component Analysis,PCA)、拉普拉斯特征映射(Laplacian Eigenmaps,LE)、局部保持投影(LocalityPreserving Projections,LPP)等。然而,这些方法只适用于处理高维单视图图像,用于处理高维多视图图像的降维方法仍然缺乏。因此,迫切需要研究用于降低高维多视图图像特征维度的多视图降维方法。
多视图图像降维方法需要融合来自多种特征的信息以提高低维特征空间的代表性。常用的多视图融合策略有:贝叶斯推理、神经网络和基于权重的线性融合。贝叶斯推理将特征信息与概率论结合,需要明确定义条件概率和先验知识。神经网络通过复杂的权重和激励函数连接输入节点和输出节点,但很难构建合适的网络结构。线性融合策略为不同图像特征分配权重,但需要确定合适的权重以实现多种特征的最佳融合。尽管这些多视图融合策略在各自的应用中取得了显著的成果,有效地融合多视图信息并学得一个多视图共享的统一模式仍然是一个挑战。
图嵌入是一种典型的基于图的降维方法。图结构的重要优势是其能够识别任意分布的数据集。通常,基于图的多视图图像降维方法对相似度矩阵进行操作,将高维图像嵌入到可靠的低维子空间,该子空间保留了原始高维图像特征空间的几何结构和统计特征。现有的图嵌入方法分为非线性图嵌入和线性图嵌入两种。非线性图嵌入对拉普拉斯矩阵做特征分解,提取主特征向量作为低维表示。因非线性图嵌入方法无法有效地处理样本外特征和噪声特征,线性图嵌入方法被提出。线性图嵌入方法借助投影矩阵缩小异常特征和噪声特征对低维表示的影响,也可以使用投影矩阵直接将新的图像特征映射到低维特征空间。但是,真实情景中的多视图图像种类复杂多样,图像的分布特征也无法一概而论,直接的线性映射关系对于真实多视图图像数据集来说,要求太过严格,学习得到的低维表示并不理想。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供一种无监督的多视图图像的图嵌入方法及系统。
为达到上述目的,本发明采用以下技术方案予以实现:
一种无监督的多视图图像的图嵌入方法,包括以下步骤:
步骤1:获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
步骤2:自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
步骤3:计算图拉普拉斯矩阵;
步骤4:建立图嵌入模型;
步骤5:基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
步骤6:以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标,构建FMUGE的目标函数;
步骤7:利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。
进一步的,步骤1具体为:
获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3};
其中,表示LBP特征,n为多视图图像数据集所包含的图像总量,表示第i幅图像的LBP特征,i∈1,…,n,d1表示LBP特征的维度;表示Gabor特征,表示第i幅图像的Gabor特征,i∈1,…,n,d2表示Gabor特征的维度;表示Intensity特征,表示第i幅图像的Intensity特征,d3表示Intensity特征的维度;
进一步的,步骤2具体为:
式(2)中,||·||F代表l-F范数,S和α被约束为S1=1,S≥0和α1=1,α≥0;α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
进一步的,步骤3具体为:
计算图拉普拉斯矩阵LS=D-(S+ST)/2;
其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
进一步的,步骤4具体为:
建立图嵌入模型:
进一步的,步骤5具体为:
由于从高维数据到低维表示直接的线性映射关系Y=XTW(表示投影矩阵)对数据分布要求过于严格,本专利引入Y0建模低维表示Y与线性映射之间的误差XTW,并假设Y=XTW+Y0,则Y0=XTW-Y。因此,在图嵌入模型中引入回归项:
进一步的,步骤6具体为:
以式(2)中残差项的值最小、式(3)中图嵌入模型的值最小、式(4)中回归项的值最小为优化目标,构建FMUGE的目标函数:
式中,λ1和λ2表示均衡参数。
进一步的,步骤7中用于利用迭代交替优化方法求解目标函数具体为:
(701)固定S、Y和W,更新α;
当S、Y和W固定时,求解α的子问题为:
式(7)中的问题是一个二次规划问题,用增广拉格朗日乘子法求解;
(702)固定S和α,更新Y和W;
当S和α固定时,式(5)中的问题成为:
令式(8)关于Y的倒数为零,可得:
将式(9)中的Y带入式(8),有:
此时,W的最优解由X(λ1L1+λ2L2)XT的m个最小特征值对应的特征向量构成;
求解得到W之后,根据式(9)更新Y;
(703)固定α,Y和W,更新S;
当α,Y和W固定时,求解S的子问题为:
令A=∑vαvAv,式(11)可以被重写为:
通过解决式(12)中的问题求解:
(704)循环(701)至(703)交替优化α、Y、W和S,直到目标函数收敛。
一种无监督的多视图图像的图嵌入系统,包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
与现有技术相比,本发明具有以下有益效果:
本发明无监督的多视图图像的图嵌入方法及系统,在融合多种特征信息的前提下,可以有效处理样本外特征、噪声特征和新特征,学得无标签高维多视图图像的低维嵌入,用于预处理无标签高维多视图图像。本发明引入的回归项,不仅可以处理异常图像特征和噪声特征,还放宽了严格的线性投影关系,还有助于原始高维图像和低维嵌入之间的相互协作。自适应地为在不同特征上构建的相似度矩阵分配权重,为多种特征学习了一个统一相似度矩阵,该统一相似度矩阵可以更精确地编码各幅图像之间的关系,有助于高质量的图嵌入。
进一步的,提供了一种高效的交替迭代算法优化目标函数。
附图说明
图1为本发明FMUGE的模型图;
图2为实施例1的无监督的多视图图像的图嵌入方法的流程图;
图3为实施例2的无监督的多视图图像的图嵌入系统的原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
本发明的FMUGE方法,将矩阵形式的多视图图像数据集{X1,X2,X3}作为输入,为无监督多视图图像降维学得了一个统一的模式。在图嵌入模型中引入了一个灵活的回归残差项,一方面,放宽了严格的线性投影关系,处理样本外特征、异常特征和噪声特征;另一方面,使得原始高维图像和低维嵌入之间相互协作,学习得到可以保持高维多视图图像特征空间原始结构的低维表示。
参见图1,图1为本发明FMUGE的模型图。如图所示,给定数据集{X1,X2,X3},首先构建相似度矩阵{A1,A2,A3}。然后,在学习过程中自适应地更新权重向量α、统一相似度矩阵S、投影矩阵W和低维表示Y。
本发明FMUGE,包括如下步骤:
步骤1:加载三视图图像数据集{X1,X2,X3},设置低维表示的维度m,均衡参数λ1和λ2。
步骤2:根据式(1)分别计算三种特征上的相似度矩阵{A1,A2,A3}。
步骤3:随机初始化多特征共享的统一相似度矩阵S。
步骤4:采用增广拉格朗日乘子法更新权重向量α。
步骤5:计算拉普拉斯矩阵LS=D-(S+ST)/2,其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角度矩阵。
步骤7:根据式(9)更新Y。
步骤8:采用拉格朗日乘子法求解式(13),按行更新S。
步骤9:循环步骤4到步骤8,直至目标函数收敛到最小值。
步骤10:输出低维表示Y,对所述低维表示进行聚类操作,并采用聚类ACC(准确性)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)衡量降维性能。
实施例1
参见图2,图2为实施例1的无监督的多视图图像的图嵌入方法的流程图,具体为:
首先定义表示多视图图像数据集的数学符号。定义一个使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3},其中表示LBP特征,n为多视图图像数据集所包含的图像总量,表示第i幅图像的LBP特征,d1表示LBP特征的维度;表示Gabor特征,表示第i幅图像的Gabor特征,d2表示Gabor特征的维度;表示Intensity特征,表示第i幅图像的Intensity特征,d3表示Intensity特征的维度。
步骤2:多特征融合。FMUGE在降维过程中自适应地学习权重向量将相似度矩阵A1、A2、A3融合,学得一个多种特征共享的统一相似度矩阵考虑到直接的线性叠加无法适用于多视图图像的所有真实情况,于是引入一个残差项:
用于模拟S和之间不匹配误差,得到一个结构良好的统一相似度矩阵S。式(2)中,||·||F代表l-F范数,S和α被约束为S1=1,S≥0和α1=1,α≥0以得到理想的解。α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
步骤3:计算图拉普拉斯矩阵LS=D-(S+ST)/2,其中D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
步骤4:建立图嵌入模型:
步骤5:引入灵活的回归项。图嵌入模型为所有高维图像提供直接的图嵌入,但无法合理地处理样本外特征、噪声特征等。为解决此问题并避免严格的线性投影关系,FMUGE引入了一个灵活的回归项:
步骤6:以式(2)中残差项的值最小、式(3)中图嵌入模型的值最小、式(4)中回归项的值最小为优化目标,构建FMUGE的目标函数:
式中,λ1和λ2表示均衡参数。
步骤7:设计优化方法求解FMUGE的目标函数:
本发明设计了一个迭代交替优化方法求解式(5)中的目标函数,具体内容如下:
(701)固定S、Y和W,更新α。
当S、Y和W固定时,求解α的子问题为:
式(7)中的问题是一个二次规划问题,可直接用增广拉格朗日乘子法求解。
(702)固定S和α,更新Y和W。
当S和α固定时,式(5)中的问题成为:
令式(8)关于Y的倒数为零,可得:
将式(9)中的Y带入式(8),有:
求解得到W之后,根据式(9)更新Y。
(703)固定α,Y和W,更新S。
当α,Y和W固定时,求解S的子问题为:
令A=∑vαvAv,式(11)可以被重写为:
由于式(12)中的问题在不同的i之间是相互独立的,可以通过解决式(12)中的问题求解:
(704)循环(701)至(703)交替优化α,Y,W和S,直到目标函数收敛。
步骤8:输出三视图图像数据集{X1,X2,X3}的低维表示Y,对所述低维表示进行聚类操作,并采用聚类ACC(准确率)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)衡量降维性能。
利用本发明的无监督的多视图图像的图嵌入方法进行仿真实验。
本实例中使用MSRC-v1数据集,对来自7类的210幅图像进行分类。每幅图像都是用四种视觉特征表示:24维的Color Moment、512维的GIST、256维的LBP和254维的Centrist。
本实例对上述图像分别采用cPCA(对拼接特征实施PCA),dPCA(对各特征实施PCA再拼接),LE(对拼接特征实施LE),LPP(对拼接特征实施LPP),MSE(Multi-view SpectralEmbedding),DSE(Distributed Spectral Embedding),MDcR(Multi-view Dimensionalityco-Reduction),naMUGE(对拼接特征实施FMUGE)进行降维。进而对降维结果实施k-means聚类操作,并将降维结果和conk(对拼接特征实施k-means)进行比较,采用ACC(准确率)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)对分类性能进行评价。将所有实验运行20次并记录平均值最大值,对比结果如下表1所示。
表1对比结果
从表1可见,本发明降维结果的聚类性能优于其他对比方法。通过以上仿真实验可以验证本发明的有效性。
实施例2
一种无监督的多视图图像的图嵌入系统,应用于无监督的多视图图像的图嵌入方法,参见图3,图3为无监督的多视图图像的图嵌入系统的原理框图,一种无监督的多视图图像的图嵌入系统包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (9)
1.一种无监督的多视图图像的图嵌入方法,其特征在于,包括以下步骤:
步骤1:获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
步骤2:自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
步骤3:计算图拉普拉斯矩阵;
步骤4:建立图嵌入模型;
步骤5:基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
步骤6:以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标,构建FMUGE的目标函数;
步骤7:利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。
2.根据权利要求1所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤1具体为:
获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3};
其中,表示LBP特征,n为多视图图像数据集所包含的图像总量,表示第i幅图像的LBP特征,i∈1,…,n,d1表示LBP特征的维度;表示Gabor特征,表示第i幅图像的Gabor特征,i∈1,…,n,d2表示Gabor特征的维度;表示Intensity特征,表示第i幅图像的Intensity特征,d3表示Intensity特征的维度;
4.根据权利要求3所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤3具体为:
计算图拉普拉斯矩阵LS=D-(S+ST)/2;
其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
8.根据权利要求7所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤7中用于利用迭代交替优化方法求解目标函数具体为:
(701)固定S、Y和W,更新α;
当S、Y和W固定时,求解α的子问题为:
式(7)中的问题是一个二次规划问题,用增广拉格朗日乘子法求解;
(702)固定S和α,更新Y和W;
当S和α固定时,式(5)中的问题成为:
令式(8)关于Y的倒数为零,可得:
将式(9)中的Y带入式(8),有:
此时,W的最优解由X(λ1L1+λ2L2)XT的m个最小特征值对应的特征向量构成;
求解得到W之后,根据式(9)更新Y;
(703)固定α,Y和W,更新S;
当α,Y和W固定时,求解S的子问题为:
令A=∑vαvAv,式(11)可以被重写为:
通过解决式(12)中的问题求解:
(704)循环(701)至(703)交替优化α、Y、W和S,直到目标函数收敛。
9.一种无监督的多视图图像的图嵌入系统,其特征在于,包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447178.7A CN114419382A (zh) | 2021-11-30 | 2021-11-30 | 一种无监督的多视图图像的图嵌入方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111447178.7A CN114419382A (zh) | 2021-11-30 | 2021-11-30 | 一种无监督的多视图图像的图嵌入方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114419382A true CN114419382A (zh) | 2022-04-29 |
Family
ID=81265917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111447178.7A Pending CN114419382A (zh) | 2021-11-30 | 2021-11-30 | 一种无监督的多视图图像的图嵌入方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419382A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205941A (zh) * | 2022-07-13 | 2022-10-18 | 山西大学 | 基于广义多视图图嵌入的亲属关系验证方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
US20200074220A1 (en) * | 2018-09-04 | 2020-03-05 | Inception Institute of Artificial Intelligence, Ltd. | Multi-view image clustering techniques using binary compression |
CN112508117A (zh) * | 2020-12-16 | 2021-03-16 | 北京工业大学 | 基于图嵌入的自适应多视降维方法及装置 |
CN112836672A (zh) * | 2021-02-26 | 2021-05-25 | 西北工业大学 | 一种基于自适应近邻图嵌入的无监督数据降维方法 |
CN113486945A (zh) * | 2021-07-02 | 2021-10-08 | 安徽工业大学 | 一种基于图嵌入和特征降维的多标记学习方法 |
-
2021
- 2021-11-30 CN CN202111447178.7A patent/CN114419382A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
US20200074220A1 (en) * | 2018-09-04 | 2020-03-05 | Inception Institute of Artificial Intelligence, Ltd. | Multi-view image clustering techniques using binary compression |
CN112508117A (zh) * | 2020-12-16 | 2021-03-16 | 北京工业大学 | 基于图嵌入的自适应多视降维方法及装置 |
CN112836672A (zh) * | 2021-02-26 | 2021-05-25 | 西北工业大学 | 一种基于自适应近邻图嵌入的无监督数据降维方法 |
CN113486945A (zh) * | 2021-07-02 | 2021-10-08 | 安徽工业大学 | 一种基于图嵌入和特征降维的多标记学习方法 |
Non-Patent Citations (3)
Title |
---|
BIN ZHANG等: "Flexible Multi-View Unsupervised Graph Embedding", IEEE TRANSACTIONS ON IMAGE PROCESSING * |
刘艳芳;李文斌;高阳;: "基于自适应邻域嵌入的无监督特征选择算法", 计算机研究与发展, no. 08 * |
赵春晖;崔晓辰;齐滨;: "高光谱图像半监督局部稀疏嵌入降维算法", 沈阳大学学报(自然科学版), no. 06 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205941A (zh) * | 2022-07-13 | 2022-10-18 | 山西大学 | 基于广义多视图图嵌入的亲属关系验证方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689086B (zh) | 基于生成式对抗网络的半监督高分遥感图像场景分类方法 | |
Balestriero | A spline theory of deep learning | |
Bengio et al. | Non-local manifold tangent learning | |
Patel et al. | Latent space sparse and low-rank subspace clustering | |
Sun et al. | Task-driven dictionary learning for hyperspectral image classification with structured sparsity constraints | |
CN108171279B (zh) | 一种多视角视频自适应乘积Grassmann流形子空间聚类方法 | |
Kingma et al. | Regularized estimation of image statistics by score matching | |
CN108415883B (zh) | 基于子空间聚类的凸非负矩阵分解方法 | |
CN103177265B (zh) | 基于核函数与稀疏编码的高清图像分类方法 | |
Flenner et al. | A deep non-negative matrix factorization neural network | |
Tariyal et al. | Greedy deep dictionary learning | |
CN114863151B (zh) | 一种基于模糊理论的图像降维聚类方法 | |
Ramasinghe et al. | A context-aware capsule network for multi-label classification | |
Smart et al. | On the mapping between Hopfield networks and restricted Boltzmann machines | |
CN113344069B (zh) | 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法 | |
Bhadra et al. | Merging two cultures: deep and statistical learning | |
de Miranda Cardoso et al. | Learning bipartite graphs: Heavy tails and multiple components | |
Cho et al. | Genetic evolution processing of data structures for image classification | |
CN114419382A (zh) | 一种无监督的多视图图像的图嵌入方法及系统 | |
Yao | A compressed deep convolutional neural networks for face recognition | |
CN117611838A (zh) | 一种基于自适应超图卷积网络的多标签图像分类方法 | |
Everett et al. | Protocaps: A fast and non-iterative capsule network routing method | |
CN116630816B (zh) | 基于原型对比学习的sar目标识别方法、装置、设备及介质 | |
You et al. | Robust structure low-rank representation in latent space | |
CN113033626A (zh) | 基于多任务协同学习的图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |