CN114419382A - 一种无监督的多视图图像的图嵌入方法及系统 - Google Patents

一种无监督的多视图图像的图嵌入方法及系统 Download PDF

Info

Publication number
CN114419382A
CN114419382A CN202111447178.7A CN202111447178A CN114419382A CN 114419382 A CN114419382 A CN 114419382A CN 202111447178 A CN202111447178 A CN 202111447178A CN 114419382 A CN114419382 A CN 114419382A
Authority
CN
China
Prior art keywords
graph embedding
view image
matrix
graph
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111447178.7A
Other languages
English (en)
Inventor
张斌
强倩瑶
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202111447178.7A priority Critical patent/CN114419382A/zh
Publication of CN114419382A publication Critical patent/CN114419382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无监督的多视图图像的图嵌入方法及系统,属于多视图图像的图嵌入领域。本发明无监督的多视图图像的图嵌入方法及系统,在融合多种特征信息的前提下,可以有效处理样本外特征、噪声特征和新特征,学得无标签高维多视图图像的低维嵌入,用于预处理无标签高维多视图图像。本发明引入的回归项,不仅可以处理异常图像特征和噪声特征,还放宽了严格的线性投影关系,还有助于原始高维图像和低维嵌入之间的相互协作。自适应地为在不同特征上构建的相似度矩阵分配权重,为多种特征学习了一个统一相似度矩阵,该统一相似度矩阵可以更精确地编码各幅图像之间的关系,有助于高质量的图嵌入。

Description

一种无监督的多视图图像的图嵌入方法及系统
技术领域
本发明属于多视图图像的图嵌入领域,尤其是一种无监督的多视图图像的图嵌入方法及系统。
背景技术
随着摄像技术和图像采集技术的不断增强,经常使用多种特征从不同角度描述同一幅图像。此类用多种特征描述同一幅图像的数据是多视图图像。近年来,特征维度高的多视图图像在计算机视觉领域迅速增加。在高维度的多视图图像中,不相关或冗余特征会降低多视图学习的质量并消耗更多的存储空间和计算时间,有时还会导致多视图图像分析方法失效。然而,图像特征的“本征维度”通常要低很多。降维技术可以将原始高维特征空间的图像映射到紧凑的低维特征空间,得到高维图像的低维表示。从标签信息的使用情况可以将降维方法分为有监督、半监督和无监督三类。前两类不同程度地依赖标签信息来指导降维,后一类不使用任何标签信息。通常,未标记多视图图像在实际应用中大量存在且易于获取,而人工标记图像费时、费力且成本高昂。因此,多视图无监督降维(Multi-viewUnsupervised Dimensionality Reduction,MUDR)的研究可以解决高维度多视图图像的使用问题。
在过去几十年中,研究者们提出了许多降维方法,代表性的有:线性判别分析(Linear Discriminant Analysis,LDA)、主成分分析(Principal Component Analysis,PCA)、拉普拉斯特征映射(Laplacian Eigenmaps,LE)、局部保持投影(LocalityPreserving Projections,LPP)等。然而,这些方法只适用于处理高维单视图图像,用于处理高维多视图图像的降维方法仍然缺乏。因此,迫切需要研究用于降低高维多视图图像特征维度的多视图降维方法。
多视图图像降维方法需要融合来自多种特征的信息以提高低维特征空间的代表性。常用的多视图融合策略有:贝叶斯推理、神经网络和基于权重的线性融合。贝叶斯推理将特征信息与概率论结合,需要明确定义条件概率和先验知识。神经网络通过复杂的权重和激励函数连接输入节点和输出节点,但很难构建合适的网络结构。线性融合策略为不同图像特征分配权重,但需要确定合适的权重以实现多种特征的最佳融合。尽管这些多视图融合策略在各自的应用中取得了显著的成果,有效地融合多视图信息并学得一个多视图共享的统一模式仍然是一个挑战。
图嵌入是一种典型的基于图的降维方法。图结构的重要优势是其能够识别任意分布的数据集。通常,基于图的多视图图像降维方法对相似度矩阵进行操作,将高维图像嵌入到可靠的低维子空间,该子空间保留了原始高维图像特征空间的几何结构和统计特征。现有的图嵌入方法分为非线性图嵌入和线性图嵌入两种。非线性图嵌入对拉普拉斯矩阵做特征分解,提取主特征向量作为低维表示。因非线性图嵌入方法无法有效地处理样本外特征和噪声特征,线性图嵌入方法被提出。线性图嵌入方法借助投影矩阵缩小异常特征和噪声特征对低维表示的影响,也可以使用投影矩阵直接将新的图像特征映射到低维特征空间。但是,真实情景中的多视图图像种类复杂多样,图像的分布特征也无法一概而论,直接的线性映射关系对于真实多视图图像数据集来说,要求太过严格,学习得到的低维表示并不理想。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供一种无监督的多视图图像的图嵌入方法及系统。
为达到上述目的,本发明采用以下技术方案予以实现:
一种无监督的多视图图像的图嵌入方法,包括以下步骤:
步骤1:获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
步骤2:自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
步骤3:计算图拉普拉斯矩阵;
步骤4:建立图嵌入模型;
步骤5:基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
步骤6:以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标,构建FMUGE的目标函数;
步骤7:利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。
进一步的,步骤1具体为:
获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3};
其中,
Figure BDA0003384203030000031
表示LBP特征,n为多视图图像数据集所包含的图像总量,
Figure BDA0003384203030000032
表示第i幅图像的LBP特征,i∈1,…,n,d1表示LBP特征的维度;
Figure BDA0003384203030000041
表示Gabor特征,
Figure BDA0003384203030000042
表示第i幅图像的Gabor特征,i∈1,…,n,d2表示Gabor特征的维度;
Figure BDA0003384203030000043
表示Intensity特征,
Figure BDA0003384203030000044
表示第i幅图像的Intensity特征,d3表示Intensity特征的维度;
利用高斯核方法为第v种特征构造相似度矩阵
Figure BDA0003384203030000045
Figure BDA0003384203030000046
式中,
Figure BDA0003384203030000047
表示第v种特征中第i幅图像和第j幅图像之间的相似度,j∈1,…,n;||·||2代表l-2范数;
Figure BDA0003384203030000048
表示
Figure BDA0003384203030000049
的k最近邻样本集;σ是带宽参数,被设置为
Figure BDA00033842030300000410
Figure BDA00033842030300000411
Figure BDA00033842030300000412
的第k个最近邻样本。
进一步的,步骤2具体为:
在降维过程中自适应地学习权重向量
Figure BDA00033842030300000413
将相似度矩阵A1、A2、A3融合,学得一个多种特征共享的统一相似度矩阵
Figure BDA00033842030300000414
引入一个用于模拟S和
Figure BDA00033842030300000415
之间不匹配误差的残差项:
Figure BDA00033842030300000416
式(2)中,||·||F代表l-F范数,S和α被约束为S1=1,S≥0和α1=1,α≥0;α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
进一步的,步骤3具体为:
计算图拉普拉斯矩阵LS=D-(S+ST)/2;
其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
进一步的,步骤4具体为:
建立图嵌入模型:
Figure BDA0003384203030000051
式中,
Figure BDA0003384203030000052
表示低维表示,m表示低维特征空间的维数,m<<d。
进一步的,步骤5具体为:
由于从高维数据到低维表示直接的线性映射关系Y=XTW(
Figure BDA0003384203030000053
表示投影矩阵)对数据分布要求过于严格,本专利引入Y0建模低维表示Y与线性映射之间的误差XTW,并假设Y=XTW+Y0,则Y0=XTW-Y。因此,在图嵌入模型中引入回归项:
Figure BDA0003384203030000054
式中,W被WTW=I约束以避免平凡解;
Figure BDA0003384203030000055
代表多特征拼接数据矩阵,
Figure BDA0003384203030000056
进一步的,步骤6具体为:
以式(2)中残差项的值最小、式(3)中图嵌入模型的值最小、式(4)中回归项的值最小为优化目标,构建FMUGE的目标函数:
Figure BDA0003384203030000057
式中,λ1和λ2表示均衡参数。
进一步的,步骤7中用于利用迭代交替优化方法求解目标函数具体为:
(701)固定S、Y和W,更新α;
当S、Y和W固定时,求解α的子问题为:
Figure BDA0003384203030000058
将S和Av写成大向量的形式,令
Figure BDA0003384203030000059
则有:
Figure BDA0003384203030000061
式(7)中的问题是一个二次规划问题,用增广拉格朗日乘子法求解;
(702)固定S和α,更新Y和W;
当S和α固定时,式(5)中的问题成为:
Figure BDA0003384203030000062
令式(8)关于Y的倒数为零,可得:
Figure BDA0003384203030000063
将式(9)中的Y带入式(8),有:
Figure BDA0003384203030000064
式中,
Figure BDA0003384203030000065
L2=(I-L0)T(I-L0),L0=((λ12)LS+I)-1
此时,W的最优解由X(λ1L12L2)XT的m个最小特征值对应的特征向量构成;
求解得到W之后,根据式(9)更新Y;
(703)固定α,Y和W,更新S;
当α,Y和W固定时,求解S的子问题为:
Figure BDA0003384203030000066
令A=∑vαvAv,式(11)可以被重写为:
Figure BDA0003384203030000067
通过解决式(12)中的问题求解:
Figure BDA0003384203030000068
式中,ei是第j个元素为
Figure BDA0003384203030000069
的一个向量;式(13)用拉格朗日乘子法求解;
(704)循环(701)至(703)交替优化α、Y、W和S,直到目标函数收敛。
一种无监督的多视图图像的图嵌入系统,包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
与现有技术相比,本发明具有以下有益效果:
本发明无监督的多视图图像的图嵌入方法及系统,在融合多种特征信息的前提下,可以有效处理样本外特征、噪声特征和新特征,学得无标签高维多视图图像的低维嵌入,用于预处理无标签高维多视图图像。本发明引入的回归项,不仅可以处理异常图像特征和噪声特征,还放宽了严格的线性投影关系,还有助于原始高维图像和低维嵌入之间的相互协作。自适应地为在不同特征上构建的相似度矩阵分配权重,为多种特征学习了一个统一相似度矩阵,该统一相似度矩阵可以更精确地编码各幅图像之间的关系,有助于高质量的图嵌入。
进一步的,提供了一种高效的交替迭代算法优化目标函数。
附图说明
图1为本发明FMUGE的模型图;
图2为实施例1的无监督的多视图图像的图嵌入方法的流程图;
图3为实施例2的无监督的多视图图像的图嵌入系统的原理框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述:
本发明的FMUGE方法,将矩阵形式的多视图图像数据集{X1,X2,X3}作为输入,为无监督多视图图像降维学得了一个统一的模式。在图嵌入模型中引入了一个灵活的回归残差项,一方面,放宽了严格的线性投影关系,处理样本外特征、异常特征和噪声特征;另一方面,使得原始高维图像和低维嵌入之间相互协作,学习得到可以保持高维多视图图像特征空间原始结构的低维表示。
参见图1,图1为本发明FMUGE的模型图。如图所示,给定数据集{X1,X2,X3},首先构建相似度矩阵{A1,A2,A3}。然后,在学习过程中自适应地更新权重向量α、统一相似度矩阵S、投影矩阵W和低维表示Y。
本发明FMUGE,包括如下步骤:
步骤1:加载三视图图像数据集{X1,X2,X3},设置低维表示的维度m,均衡参数λ1和λ2
步骤2:根据式(1)分别计算三种特征上的相似度矩阵{A1,A2,A3}。
步骤3:随机初始化多特征共享的统一相似度矩阵S。
步骤4:采用增广拉格朗日乘子法更新权重向量α。
步骤5:计算拉普拉斯矩阵LS=D-(S+ST)/2,其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角度矩阵。
步骤6:更新投影矩阵W。W的最优解由X(λ1L12L2)XT的m个最小特征值所对应的特征向量构成,其中
Figure BDA0003384203030000091
L2=(I-L0)TH(I-L0),L0=((λ12)LS+H)-1
步骤7:根据式(9)更新Y。
步骤8:采用拉格朗日乘子法求解式(13),按行更新S。
步骤9:循环步骤4到步骤8,直至目标函数收敛到最小值。
步骤10:输出低维表示Y,对所述低维表示进行聚类操作,并采用聚类ACC(准确性)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)衡量降维性能。
实施例1
参见图2,图2为实施例1的无监督的多视图图像的图嵌入方法的流程图,具体为:
首先定义表示多视图图像数据集的数学符号。定义一个使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3},其中
Figure BDA0003384203030000101
表示LBP特征,n为多视图图像数据集所包含的图像总量,
Figure BDA0003384203030000102
表示第i幅图像的LBP特征,d1表示LBP特征的维度;
Figure BDA0003384203030000103
表示Gabor特征,
Figure BDA0003384203030000104
表示第i幅图像的Gabor特征,d2表示Gabor特征的维度;
Figure BDA0003384203030000105
表示Intensity特征,
Figure BDA0003384203030000106
表示第i幅图像的Intensity特征,d3表示Intensity特征的维度。
步骤1:在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵。首先使用式(1)所示的高斯核方法为第v(v∈1,2,3)种特征构造相似度矩阵
Figure BDA0003384203030000107
Figure BDA0003384203030000108
式中,
Figure BDA0003384203030000109
表示第v种特征中第i幅图像和第j(j∈1,…,n)幅图像之间的相似度;||·||2代表l-2范数;
Figure BDA00033842030300001010
表示
Figure BDA00033842030300001011
的k最近邻样本集;σ是带宽参数,被设置为
Figure BDA0003384203030000111
Figure BDA0003384203030000112
Figure BDA0003384203030000113
的第k个最近邻样本;
步骤2:多特征融合。FMUGE在降维过程中自适应地学习权重向量
Figure BDA0003384203030000114
将相似度矩阵A1、A2、A3融合,学得一个多种特征共享的统一相似度矩阵
Figure BDA0003384203030000115
考虑到直接的线性叠加
Figure BDA0003384203030000116
无法适用于多视图图像的所有真实情况,于是引入一个残差项:
Figure BDA0003384203030000117
用于模拟S和
Figure BDA0003384203030000118
之间不匹配误差,得到一个结构良好的统一相似度矩阵S。式(2)中,||·||F代表l-F范数,S和α被约束为S1=1,S≥0和α1=1,α≥0以得到理想的解。α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
步骤3:计算图拉普拉斯矩阵LS=D-(S+ST)/2,其中D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
步骤4:建立图嵌入模型:
Figure BDA0003384203030000119
式中,
Figure BDA00033842030300001110
表示低维表示,m(m<<d)表示低维特征空间的维数。
步骤5:引入灵活的回归项。图嵌入模型为所有高维图像提供直接的图嵌入,但无法合理地处理样本外特征、噪声特征等。为解决此问题并避免严格的线性投影关系,FMUGE引入了一个灵活的回归项:
Figure BDA00033842030300001111
式中,
Figure BDA00033842030300001112
表示投影矩阵,被WTW=I约束以避免平凡解;
Figure BDA00033842030300001113
代表多特征拼接数据矩阵,
Figure BDA00033842030300001114
步骤6:以式(2)中残差项的值最小、式(3)中图嵌入模型的值最小、式(4)中回归项的值最小为优化目标,构建FMUGE的目标函数:
Figure BDA0003384203030000121
式中,λ1和λ2表示均衡参数。
步骤7:设计优化方法求解FMUGE的目标函数:
本发明设计了一个迭代交替优化方法求解式(5)中的目标函数,具体内容如下:
(701)固定S、Y和W,更新α。
当S、Y和W固定时,求解α的子问题为:
Figure BDA0003384203030000122
将S和Av写成大向量的形式,令
Figure BDA0003384203030000123
则有:
Figure BDA0003384203030000124
式(7)中的问题是一个二次规划问题,可直接用增广拉格朗日乘子法求解。
(702)固定S和α,更新Y和W。
当S和α固定时,式(5)中的问题成为:
Figure BDA0003384203030000125
令式(8)关于Y的倒数为零,可得:
Figure BDA0003384203030000126
将式(9)中的Y带入式(8),有:
Figure BDA0003384203030000127
式中,
Figure BDA0003384203030000128
L2=(I-L0)T(I-L0),L0=((λ12)LS+I)-1。此时,W的最优解由X(λ1L12L2)XT的m个最小特征值对应的特征向量构成。
求解得到W之后,根据式(9)更新Y。
(703)固定α,Y和W,更新S。
当α,Y和W固定时,求解S的子问题为:
Figure BDA0003384203030000131
令A=∑vαvAv,式(11)可以被重写为:
Figure BDA0003384203030000132
由于式(12)中的问题在不同的i之间是相互独立的,可以通过解决式(12)中的问题求解:
Figure BDA0003384203030000133
式中,ei是第j个元素为
Figure BDA0003384203030000134
的一个向量。此问题可直接用拉格朗日乘子法求解。
(704)循环(701)至(703)交替优化α,Y,W和S,直到目标函数收敛。
步骤8:输出三视图图像数据集{X1,X2,X3}的低维表示Y,对所述低维表示进行聚类操作,并采用聚类ACC(准确率)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)衡量降维性能。
利用本发明的无监督的多视图图像的图嵌入方法进行仿真实验。
本实例中使用MSRC-v1数据集,对来自7类的210幅图像进行分类。每幅图像都是用四种视觉特征表示:24维的Color Moment、512维的GIST、256维的LBP和254维的Centrist。
本实例对上述图像分别采用cPCA(对拼接特征实施PCA),dPCA(对各特征实施PCA再拼接),LE(对拼接特征实施LE),LPP(对拼接特征实施LPP),MSE(Multi-view SpectralEmbedding),DSE(Distributed Spectral Embedding),MDcR(Multi-view Dimensionalityco-Reduction),naMUGE(对拼接特征实施FMUGE)进行降维。进而对降维结果实施k-means聚类操作,并将降维结果和conk(对拼接特征实施k-means)进行比较,采用ACC(准确率)、NMI(归一化互信息)、Purity(纯度)、F-score(F值)、ARI(调整兰德系数)对分类性能进行评价。将所有实验运行20次并记录平均值最大值,对比结果如下表1所示。
表1对比结果
Figure BDA0003384203030000141
从表1可见,本发明降维结果的聚类性能优于其他对比方法。通过以上仿真实验可以验证本发明的有效性。
实施例2
一种无监督的多视图图像的图嵌入系统,应用于无监督的多视图图像的图嵌入方法,参见图3,图3为无监督的多视图图像的图嵌入系统的原理框图,一种无监督的多视图图像的图嵌入系统包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (9)

1.一种无监督的多视图图像的图嵌入方法,其特征在于,包括以下步骤:
步骤1:获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
步骤2:自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
步骤3:计算图拉普拉斯矩阵;
步骤4:建立图嵌入模型;
步骤5:基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
步骤6:以步骤2中的残差项、步骤4中的图嵌入模型和步骤5中的回归项最小为优化目标,构建FMUGE的目标函数;
步骤7:利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数来衡量降维性能。
2.根据权利要求1所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤1具体为:
获取使用LBP、Gabor、Intensity三种特征表示的三视图图像数据集{X1,X2,X3};
其中,
Figure FDA0003384203020000011
表示LBP特征,n为多视图图像数据集所包含的图像总量,
Figure FDA0003384203020000012
表示第i幅图像的LBP特征,i∈1,…,n,d1表示LBP特征的维度;
Figure FDA0003384203020000013
表示Gabor特征,
Figure FDA0003384203020000014
表示第i幅图像的Gabor特征,i∈1,…,n,d2表示Gabor特征的维度;
Figure FDA0003384203020000015
表示Intensity特征,
Figure FDA0003384203020000021
表示第i幅图像的Intensity特征,d3表示Intensity特征的维度;
利用高斯核方法为第v种特征构造相似度矩阵
Figure FDA0003384203020000022
Figure FDA0003384203020000023
式中,
Figure FDA0003384203020000024
表示第v种特征中第i幅图像和第j幅图像之间的相似度,j∈1,…,n;||·||2代表l-2范数;
Figure FDA0003384203020000025
表示
Figure FDA0003384203020000026
的k最近邻样本集;σ是带宽参数,被设置为
Figure FDA0003384203020000027
Figure FDA0003384203020000028
Figure FDA0003384203020000029
的第k个最近邻样本。
3.根据权利要求2所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤2具体为:
在降维过程中自适应地学习权重向量
Figure FDA00033842030200000210
将相似度矩阵A1、A2、A3融合,学得一个多种特征共享的统一相似度矩阵
Figure FDA00033842030200000211
引入一个用于模拟S和
Figure FDA00033842030200000212
之间不匹配误差的残差项:
Figure FDA00033842030200000213
式(2)中,||·||F代表l-F范数,S和α被约束为S1=1,S≥0和α1=1,α≥0;α1、α2、α3衡量了LBP、Gabor、Intensity三种特征的多样性贡献。
4.根据权利要求3所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤3具体为:
计算图拉普拉斯矩阵LS=D-(S+ST)/2;
其中,D是第i个对角元素为dii=∑j(sij+sji)/2的对角矩阵。
5.根据权利要求4所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤4具体为:
建立图嵌入模型:
Figure FDA0003384203020000031
式中,
Figure FDA0003384203020000032
表示低维表示,m表示低维特征空间的维数,m<<d。
6.根据权利要求5所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤5具体为:
由于从高维数据到低维表示直接的线性映射关系
Figure FDA0003384203020000033
表示投影矩阵)对数据分布要求过于严格,本专利引入Y0建模低维表示Y与线性映射之间的误差XTW,并假设Y=XTW+Y0,则Y0=XTW-Y。因此,在图嵌入模型中引入回归项:
Figure FDA0003384203020000034
式中,W被WTW=I约束以避免平凡解;
Figure FDA0003384203020000035
代表多特征拼接数据矩阵,
Figure FDA0003384203020000036
7.根据权利要求6所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤6具体为:
以式(2)中残差项的值最小、式(3)中图嵌入模型的值最小、式(4)中回归项的值最小为优化目标,构建FMUGE的目标函数:
Figure FDA0003384203020000037
式中,λ1和λ2表示均衡参数。
8.根据权利要求7所述的无监督的多视图图像的图嵌入方法,其特征在于,步骤7中用于利用迭代交替优化方法求解目标函数具体为:
(701)固定S、Y和W,更新α;
当S、Y和W固定时,求解α的子问题为:
Figure FDA0003384203020000041
将S和Av写成大向量的形式,令
Figure FDA0003384203020000042
则有:
Figure FDA0003384203020000043
式(7)中的问题是一个二次规划问题,用增广拉格朗日乘子法求解;
(702)固定S和α,更新Y和W;
当S和α固定时,式(5)中的问题成为:
Figure FDA0003384203020000044
令式(8)关于Y的倒数为零,可得:
Figure FDA0003384203020000045
将式(9)中的Y带入式(8),有:
Figure FDA0003384203020000046
式中,
Figure FDA0003384203020000049
L0=((λ12)LS+I)-1
此时,W的最优解由X(λ1L12L2)XT的m个最小特征值对应的特征向量构成;
求解得到W之后,根据式(9)更新Y;
(703)固定α,Y和W,更新S;
当α,Y和W固定时,求解S的子问题为:
Figure FDA0003384203020000047
令A=∑vαvAv,式(11)可以被重写为:
Figure FDA0003384203020000048
通过解决式(12)中的问题求解:
Figure FDA0003384203020000051
式中,ei是第j个元素为
Figure FDA0003384203020000052
的一个向量;式(13)用拉格朗日乘子法求解;
(704)循环(701)至(703)交替优化α、Y、W和S,直到目标函数收敛。
9.一种无监督的多视图图像的图嵌入系统,其特征在于,包括相似度矩阵构造模块、残差项建立模块、图拉普拉斯矩阵计算模块、图嵌入模型建立模块、回归项引入模块、FMUGE的目标函数构建模块和优化FMUGE的目标函数模块;
所述相似度矩阵构造模块,用于获取三视图图像数据集,在LBP、Gabor、Intensity三种特征上分别构造相似度矩阵;
所述残差项建立模块,用于自适应地对构建于各特征的相似度矩阵进行加权,学习得到一个多特征共享的统一相似度矩阵;基于所述相似度矩阵的线形叠加和所述统一相似度矩阵构建一个残差项;
所述图拉普拉斯矩阵计算模块,用于计算图拉普拉斯矩阵;
所述图嵌入模型建立模块,用于建立图嵌入模型;
所述回归项引入模块,用于基于低维表示和线性投影关系构建一个回归项,将所述回归项引入图嵌入模型;
所述FMUGE的目标函数构建模块,用于以所述残差项、所述图嵌入模型和所述回归项最小为优化目标,构建FMUGE的目标函数;
所述优化FMUGE的目标函数模块,用于利用迭代交替优化方法求解目标函数,直至目标函数收敛,输出三视图图像数据集的低维表示,对所述低维表示进行聚类操作,采用聚类准确率、归一化互信息、纯度、F值和调整兰德系数衡量降维性能。
CN202111447178.7A 2021-11-30 2021-11-30 一种无监督的多视图图像的图嵌入方法及系统 Pending CN114419382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111447178.7A CN114419382A (zh) 2021-11-30 2021-11-30 一种无监督的多视图图像的图嵌入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111447178.7A CN114419382A (zh) 2021-11-30 2021-11-30 一种无监督的多视图图像的图嵌入方法及系统

Publications (1)

Publication Number Publication Date
CN114419382A true CN114419382A (zh) 2022-04-29

Family

ID=81265917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111447178.7A Pending CN114419382A (zh) 2021-11-30 2021-11-30 一种无监督的多视图图像的图嵌入方法及系统

Country Status (1)

Country Link
CN (1) CN114419382A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205941A (zh) * 2022-07-13 2022-10-18 山西大学 基于广义多视图图嵌入的亲属关系验证方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN112508117A (zh) * 2020-12-16 2021-03-16 北京工业大学 基于图嵌入的自适应多视降维方法及装置
CN112836672A (zh) * 2021-02-26 2021-05-25 西北工业大学 一种基于自适应近邻图嵌入的无监督数据降维方法
CN113486945A (zh) * 2021-07-02 2021-10-08 安徽工业大学 一种基于图嵌入和特征降维的多标记学习方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041906A1 (en) * 2010-08-11 2012-02-16 Huh Seung-Il Supervised Nonnegative Matrix Factorization
US20200074220A1 (en) * 2018-09-04 2020-03-05 Inception Institute of Artificial Intelligence, Ltd. Multi-view image clustering techniques using binary compression
CN112508117A (zh) * 2020-12-16 2021-03-16 北京工业大学 基于图嵌入的自适应多视降维方法及装置
CN112836672A (zh) * 2021-02-26 2021-05-25 西北工业大学 一种基于自适应近邻图嵌入的无监督数据降维方法
CN113486945A (zh) * 2021-07-02 2021-10-08 安徽工业大学 一种基于图嵌入和特征降维的多标记学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIN ZHANG等: "Flexible Multi-View Unsupervised Graph Embedding", IEEE TRANSACTIONS ON IMAGE PROCESSING *
刘艳芳;李文斌;高阳;: "基于自适应邻域嵌入的无监督特征选择算法", 计算机研究与发展, no. 08 *
赵春晖;崔晓辰;齐滨;: "高光谱图像半监督局部稀疏嵌入降维算法", 沈阳大学学报(自然科学版), no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205941A (zh) * 2022-07-13 2022-10-18 山西大学 基于广义多视图图嵌入的亲属关系验证方法

Similar Documents

Publication Publication Date Title
CN110689086B (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
Balestriero A spline theory of deep learning
Bengio et al. Non-local manifold tangent learning
Patel et al. Latent space sparse and low-rank subspace clustering
Sun et al. Task-driven dictionary learning for hyperspectral image classification with structured sparsity constraints
CN108171279B (zh) 一种多视角视频自适应乘积Grassmann流形子空间聚类方法
Kingma et al. Regularized estimation of image statistics by score matching
CN108415883B (zh) 基于子空间聚类的凸非负矩阵分解方法
CN103177265B (zh) 基于核函数与稀疏编码的高清图像分类方法
Flenner et al. A deep non-negative matrix factorization neural network
Tariyal et al. Greedy deep dictionary learning
CN114863151B (zh) 一种基于模糊理论的图像降维聚类方法
Ramasinghe et al. A context-aware capsule network for multi-label classification
Smart et al. On the mapping between Hopfield networks and restricted Boltzmann machines
CN113344069B (zh) 一种基于多维关系对齐的无监督视觉表征学习的图像分类方法
Bhadra et al. Merging two cultures: deep and statistical learning
de Miranda Cardoso et al. Learning bipartite graphs: Heavy tails and multiple components
Cho et al. Genetic evolution processing of data structures for image classification
CN114419382A (zh) 一种无监督的多视图图像的图嵌入方法及系统
Yao A compressed deep convolutional neural networks for face recognition
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法
Everett et al. Protocaps: A fast and non-iterative capsule network routing method
CN116630816B (zh) 基于原型对比学习的sar目标识别方法、装置、设备及介质
You et al. Robust structure low-rank representation in latent space
CN113033626A (zh) 基于多任务协同学习的图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination