CN109598311A - 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法 - Google Patents

一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法 Download PDF

Info

Publication number
CN109598311A
CN109598311A CN201910062529.9A CN201910062529A CN109598311A CN 109598311 A CN109598311 A CN 109598311A CN 201910062529 A CN201910062529 A CN 201910062529A CN 109598311 A CN109598311 A CN 109598311A
Authority
CN
China
Prior art keywords
subspace
matrix
space
sub
code word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910062529.9A
Other languages
English (en)
Inventor
马争鸣
车航健
陈李创凯
刘洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN201910062529.9A priority Critical patent/CN109598311A/zh
Publication of CN109598311A publication Critical patent/CN109598311A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器学习中描述子局部聚合向量相关问题，提出了一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法。已有的局部聚合向量方法大都是在欧式空间上，无法处理对称正定矩阵流形的非线性数据，为此，本方法提出了将训练数据映射到码字的切空间上进行子空间学习，将非线性问题转化为线性问题，然后是在学习的子空间上计算局部聚合向量。在子空间学习阶段，在码字的切空间上根据训练数据的标签信息来学习具有判别性的子空间，让同类别的数据在子空间上尽可能靠近，异类的数据在子空间上尽可能远离。在局部聚合向量计算阶段，将输入图片提取的对称正定矩阵映射到码字切空间的子空间上计算聚合向量。

Description

一种基于对称正定矩阵流形切空间子空间学习的描述子局部 聚合向量方法
技术领域
本发明涉及面向机器学习领域的编码技术，具体是一种描述子局部聚合向量方法。
背景技术
近年来，计算机视觉成为了研究的热点，在计算机视觉问题中，特征不再局限于传统的向量特征，很多矩阵形式的特征提取方法被提出，所以对矩阵特征进行处理是很有必要的。
在现在的研究中，矩阵形式的特征主要分为两类，一类是区域协方差描述子(Region Covariance Descriptor,RCoVD)，另一类是线性子空间。其中区域协方差描述子由于其优越的性能被广泛用于人脸识别(文献1，M.T.Harandi,R.Hartley,B.Lovell,andC.Sanderson,Sparse coding on symmetric positive definite manifolds usingbregman divergences,IEEE Trans.Neural Netw.Learn.Syst,vol.27,no.6,pp.1294–1306,Jun.2016.)、纹理分类(文献2，M.Faraki,M.T.Harandi,and F.Porikli,Materialclassification on symmetric positive definite manifolds,in Proc.IEEE WinterConf.Appl.Comput.Vis.,Jan.2015,pp.749–756.)和人头姿势估计(文献3，D.Tosato,M.Spera,M.Cristani,and V.Murino,Characterizing humans on Riemannianmanifolds,IEEE Trans.Pattern Anal.Mach.Intell.,vol.35,no.8,pp.1972–1984,Aug.2013.)等问题上。区域协方差描述子是对称正定矩阵，因而是对称正定矩阵流形(Symmetric Positive Definite Manifold,SPD Manifold)上的点，SPD流形是典型的黎曼流形，在SPD流形上每个点的切空间上都定义了缓慢变化的内积运算。由于SPD流形的非线性，常用的基于向量运算的方法不再适用于SPD流形数据。所以有必要提出基于SPD流形的编码算法，将SPD流形上的点编码成为向量。
目前基于SPD流形的编码算法主要分为类，一类是稀疏编码，另一类是描述子局部聚合向量方法(Vector Of Aggregated Descriptors,VLAD)。基于欧式空间的VLAD编码表现出了良好的性能(文献4，H.Jégou,F.Perronnin,M.Douze,J.Sánchez,P.Pérez,andC.Schmid,Aggregating local image descriptors into compact codes,IEEETrans.Pattern Anal.Mach.Intell.,vol.34,no.9,pp.1704–1716,Sep.2012)。基于SPD流形的VLAD编码方法也引起了关注。目前基于SPD流形的VLAD编码算法主要分为两类，一种做法是在码本的切空间上计算局部差异向量，文献5(M.Faraki,M.T.Harandi,andF.Porikli,Material classification on symmetric positive definite manifolds,inProc.IEEE Winter Conf.Appl.Comput.Vis.,Jan.2015,pp.749–756.)提出了基于SPD流形的VLAD编码，在将SPD矩阵映射到码本切空间时采用了两种方式，一种是通过传统的Log映射，另一种是通过计算输入样本与码本之间测度关于码本的梯度来将输入SPD矩阵映射到码本切空间上。第二种映射SPD流形数据的做法是将SPD流形数据映射到再生核希尔伯特空间上计算每个码本的局部差异向量，文献6(Mehrtash Harandi,Mathieu Salzmann,andFatih Porikli，When VLAD met Hilbert,2016 IEEE Conference on Computer Visionand Pattern Recognition.)提出了基于核方法的SPD流形VLAD编码方法，具体做法是通过SPD流形的正定核函数定义一个再生核希尔伯特空间，从而确定一个从SPD流形到再生核希尔伯特空间的映射，将SPD矩阵映射到再生核希尔伯特空间上进行局部差异向量的计算。
本方法是一种基于SPD流形的VLAD方法，本方法映射SPD流形数据的方法是将SPD流形数据映射到码本的切空间上，主要的创新点在切空间上基于原始SPD矩阵的类别信息来学习具有判别性的子空间，这样计算的局部差异向量更具有判别性，能够得到较好的分类效果，此外，由于子空间的学习可以人为确定子空间的标准正交基的个数，相对于文献5提出的方法，本方法可以灵活控制每个码本上局部差异向量的长度。
发明内容
本发明的目的在于提供一种对称正定矩阵流形上的描述子局部聚合向量方法。本发明的技术方案是，先利用训练数据在码字切空间上学习子空间，学习的方法是先通过聚类算法生成K个码字，然后将训练数据根据最近邻原则分配给码字，对每个码字，将分配到该码字的训练样本映射到码字的切空间上，然后在切空间上根据同类数据距离最小化和异类数据距离最大化的原则来学习具有判别性的子空间，子空间学习完成后对新输入的图片通过计算每个局部区域的描述子协方差矩阵得到SPD矩阵集合，将SPD矩阵映射到码字切空间上，在根据学习到的子空间的标准正交基得到SPD矩阵在码字切空间的子空间的表示，利用这个表示进行聚合向量的计算。发明内容如下：
1.“对称正定矩阵流形切空间上子空间学习算法”。该算法是在对称正定矩阵的切空间上根据训练数据的标签信息学习具有判别性的子空间。其具体步骤如下：
步骤一：利用训练数据通过对称正定流形上的K聚类算法来产生K个聚类中心点作为码本码本也是由SPD矩阵组成的集合。根据最近邻原则将训练数据分配给不同码字。
步骤二：将训练数据映射到码字切空间上，以码字Ct为例，首先将被分配到Ct的训练数据映射到Ct的切空间上。得到训练数据的切向量，SPD矩阵的切向量是对称矩阵，映射的公式是：
其中δ表示SPD流形上的测度，Ti∈symn表示n维对称矩阵空间。
步骤三：在每个码字的切空间上进行子空间学习，子空间学习的目标是让在学习的子空间上同类数据的距离尽可能小，异类数据之间的距离尽可能大，假设子空间的基可以由线性组合得到：
步骤四：根据训练数据的标签信息构建同类信息矩阵：同类数据在子空间上的距离总和为：其中Yi是数据在子空间上的表示，可以通过数据的切向量与子空间的基的内积得到：W是组合系数矩阵，Lw是Gw的拉普拉斯矩阵，K(T)是码字Ct的切向量之间的距离矩阵。
步骤五：构建异类信息矩阵：异类数据在子空间上的距离总和：其中，Lw是Gw的拉普拉斯矩阵。
步骤六：总的目标函数为：
s.t WK(T)WT＝I,W∈Rd×N
2.一种对称正定矩阵流形上的描述子局部聚合向量方法。该方法是对一幅输入图片的提取由对称正定矩阵组成的特征，然后对称正定矩阵进行VLAD编码。具体地，对输入的一幅图片，通过计算有重叠的局部区域的协方差矩阵，得到SPD矩阵组成的集合对集合中的每个SPD矩阵，首先根据最近邻原则将其分配到某一码字Ct，然后将SPD矩阵映射到码字Ct的切空间上，根据已学习好的子空间标准正交基计算SPD矩阵的切向量在子空间上的表示作为差异向量。把属于同一个码字的所有差异向量累加起来得到该码字的局部聚合向量，所有码字的聚合向量拼接成一个编码向量得到最终的编码结果。
本发明的特点及其意义：
(1)提出了一种新的SPD流形上的VLAD方法。在每个码本的切空间上利用流形数据的类别信息学习具有判别性的子空间，然后在子空间上进行VLAD计算。
(2)提出的VLAD方法的编码长度可变。
(3)具有较好的适用性。使用已有的训练数据学习子空间，学习得到子空间的标准正交基之后，可以对新来数据点进行VLAD计算。
附图说明
图1：基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量流程图。
具体实施方式
本发明的目的在于提供一种对称正定矩阵流形上的描述子局部聚合向量方法。本发明的技术方案是，先利用训练数据在码字切空间上学习子空间，学习的方法是先通过聚类算法生成K个码字，然后将训练数据根据最近邻原则分配给码字，对每个码字，将分配到该码字的训练样本映射到码字的切空间上，然后在切空间上根据同类数据距离最小化和异类数据距离最大化的原则来学习具有判别性的子空间，子空间学习完成后对新输入的图片通过计算每个局部区域的描述子协方差矩阵得到SPD矩阵集合，将SPD矩阵映射到码字切空间上，在根据学习到的子空间的标准正交基得到SPD矩阵在码字切空间的子空间的表示，利用这个表示进行聚合向量的计算。如下介绍本发明的具体原理。
令表示训练数据。通过SPD流形上的K聚类算法产生K个码本根据最近邻原则将训练数据分配给码字，令码字Ct分配得到的训练数据记为首先要把训练数据映射到Ct的切空间上，映射的公式为：
SPD流形上一点的切空间是由对称矩阵组成的矩阵空间，具有欧式空间的性质，可以进行线性运算，因而可以大大方便后续的计算。
在进行子空间学习之前首先要根据训练数据的标签信息构同类信息矩阵Gw和异类信息矩阵Gw：
子空间学习是在码字Ct的切空间上进行的，子空间学习的目的是利用SPD流形数据的类别信息学习比原始空间更有判别性的子空间，假设子空间的基可以由训练数据在码字切空间上的对应的切向量线性组合表示：
记Ti在自空间上的表示为Yi：Yi＝[<Γ1,Ti>…<Γd,Ti>]∈Rd×1，又：
其中K(T)是之间的距离矩阵，用矩阵内积计算，K(T)的计算如下：
矩阵之间的内积定义为：<A,B>＝tr(ATB)，则Yi的计算公式为：
根据两个原则来构建目标函数，一是同类数据在子空间上距离尽可能小，在子空间上同类数据之间的距离总和：
其中Lw是Gw的拉普拉斯矩阵，Lw＝Dw-Gw，Dw＝diag(D11,…,DNN)。第二个原则是不同类的数据临近点在子空间上的距离尽可能大，同理，在子空间上异类近邻点之间的距离总和：
其中Lb是Gb的拉普拉斯矩阵。
由于子空间的基要求是标准正交基，因此需要对此作限制：
其中由约束条件可以看到每个基与其他基的矩阵内积都是0，而自身的范数是1。加上约束条件之后，总的目标函数为：
目标函数是一个广义瑞利商问题，可以通过特征分解来求解，对K(T)进行chol分解K(T)＝VVT,则目标函数可以改写为：
对B进行chol分解B＝LLT,目标函数可以改写为：
其中对矩阵L-1A(LT)-1进行特征分解，前d小的特征值对应的特征向量构成Y,由于Y＝ML＝WVL，最后得到W＝Y(VL)-1。得到稀疏矩阵W之后可以通过的线性组合得到子空间的标准正交基。
对一幅输入的图片，通常是通过区域协方差描述子产生SPD矩阵的集合对每个Zi，根据最近邻原则将其分配给距离最近的码字Ct，然后将Zi映射到Ct的切空间上：
记Ct的切空间上学习得到的子空间的基为则Ct与Zi的局部差异向量为：
vti＝[<Γ1,Ti><Γ2,Ti>...<Γd,Ti>]T (15)
码字Ct的总的局部聚合向量为：
其中Zi∈Ct表示Zi被分配到Ct。最后得到这幅图片的VLAD编码为：
V＝[v1 v2 ... vK]T (17)
至此，VLAD编码完成。

Claims (3)

1.一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法，其特征在于：
A.训练数据是有标签的对称正定(Symmetric Positive Definite,SPD)矩阵流形数据，将训练数据映射到码字的切空间上，根据训练数据的标签信息，通过同类数据在子空间上距离最小化和异类数据在子空间上距离最大化两个原则在码字的切空间上学习具有判别性的子空间；
B.对输入数据进行局部聚合向量的计算；对输入的图片通过计算每个局部区域的描述子协方差矩阵得到SPD矩阵集合，将SPD矩阵映射到码字切空间上，在根据学习到的子空间的标准正交基得到SPD矩阵在码字切空间的子空间的表示，利用这个表示进行聚合向量的计算。
2.根据权利要求1所述方法，其步骤A具体包括：
2A.训练数据是有标签的SPD矩阵{Xi,li}，通过基于SPD流形的聚类算法产生码本，然后根据最近邻原则将训练数据分配给不同码字；将分配给某一码字Ct的训练数据映射成为Ct的切空间上的切向量；
2B.子空间学习的目的一是使同类数据在子空间上距离尽可能小，子空间的基可以由训练数据在码字切空间上对应的切向量线性组合得到：w表示组合系数，根据训练数据的标签信息得到同类信息矩阵同类数据在子空间上的距离总和为：其中Yi是数据在子空间上的表示，可以通过数据的切向量与子空间的基的内积得到：W是组合系数矩阵，Lw是Gw的拉普拉斯矩阵，K(T)是码字Ct的切向量{Ti}之间的距离矩阵；
2C.子空间学习的目的二是使异类数据在子空间上距离尽可能大，根据训练数据的标签得到异类信息矩阵异类数据在子空间上的距离总和是：其中Lb是Gb的拉普拉斯矩阵；
2D.此外子空间的基要求是标准正交基，因此不同基之间的内积结果应该为0，得到限制条件：WK(T)WT＝I，I表示单位矩阵，总的目标函数为：
s.t WK(T)WT＝I,W∈Rd×N。
3.根据权利要求1所述方法，其步骤B具体包括：对输入的一幅图片，通过计算有重叠的局部区域的协方差矩阵，得到SPD矩阵组成的集合；对集合中的每个SPD矩阵，首先根据最近邻原则将其分配到某一码字，然后将SPD矩阵映射到码字的切空间上，根据已学习好的子空间标准正交基计算SPD矩阵的切向量在子空间上的表示作为差异向量。把属于同一个码字的所有差异向量累加起来得到该码字的聚合向量，所有码字的聚合向量拼接成一个编码向量得到最终的编码结果。
CN201910062529.9A 2019-01-23 2019-01-23 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法 Pending CN109598311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910062529.9A CN109598311A (zh) 2019-01-23 2019-01-23 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910062529.9A CN109598311A (zh) 2019-01-23 2019-01-23 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法

Publications (1)

Publication Number Publication Date
CN109598311A true CN109598311A (zh) 2019-04-09

Family

ID=65966494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910062529.9A Pending CN109598311A (zh) 2019-01-23 2019-01-23 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法

Country Status (1)

Country Link
CN (1) CN109598311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046958A (zh) * 2019-12-13 2020-04-21 广州番禺职业技术学院 基于数据依赖的核学习和字典学习的图像分类及识别方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046958A (zh) * 2019-12-13 2020-04-21 广州番禺职业技术学院 基于数据依赖的核学习和字典学习的图像分类及识别方法
CN111274915A (zh) * 2020-01-17 2020-06-12 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统
CN111274915B (zh) * 2020-01-17 2023-04-28 华南理工大学 一种指静脉图像的深度局部聚合描述子提取方法及系统

Similar Documents

Publication Publication Date Title
KR102191351B1 (ko) 지식 증류법 기반 의미론적 영상 분할 방법
JP2022501740A (ja) ポイントクラウドセグメンテーション方法、コンピュータプログラム及びコンピュータ機器
WO2020107847A1 (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN108665323B (zh) 一种用于理财产品推荐系统的集成方法
CN111476806B (zh) 图像处理方法、装置、计算机设备和存储介质
CN110969250A (zh) 一种神经网络训练方法及装置
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN107209853A (zh) 定位和地图构建方法
CN109919084B (zh) 一种基于深度多索引哈希的行人重识别方法
CN107886512A (zh) 一种确定训练样本的方法
CN113722583A (zh) 推荐方法、推荐模型训练方法及相关产品
CN107944386A (zh) 基于卷积神经网络的视觉场景识别方法
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
Zhu et al. A modified deep neural network enables identification of foliage under complex background
CN109598311A (zh) 一种基于对称正定矩阵流形切空间子空间学习的描述子局部聚合向量方法
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN113486173A (zh) 文本标注神经网络模型及其标注方法
CN108875828A (zh) 一种相似图像的快速匹配方法和系统
CN113723077B (zh) 基于双向表征模型的句向量生成方法、装置及计算机设备
CN104778272B (zh) 一种基于区域挖掘和空间编码的图像位置估计方法
CN110705572B (zh) 一种图像识别方法
CN104021228B (zh) 一种融合对象语义的商标图像匹配方法
CN104298975B (zh) 一种分布式图像识别方法
CN115346055A (zh) 一种基于多核宽度图神经网络特征提取与分类方法
CN104463864A (zh) 多级并行关键帧云提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190409

WD01 Invention patent application deemed withdrawn after publication