CN109214269B - 一种基于流形对齐和多图嵌入的人脸姿态对齐方法 - Google Patents

一种基于流形对齐和多图嵌入的人脸姿态对齐方法 Download PDF

Info

Publication number
CN109214269B
CN109214269B CN201810767042.6A CN201810767042A CN109214269B CN 109214269 B CN109214269 B CN 109214269B CN 201810767042 A CN201810767042 A CN 201810767042A CN 109214269 B CN109214269 B CN 109214269B
Authority
CN
China
Prior art keywords
matrix
manifold
sample
alignment
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810767042.6A
Other languages
English (en)
Other versions
CN109214269A (zh
Inventor
沈项军
黄昌彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Tuogu Hi Tech Co ltd
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201810767042.6A priority Critical patent/CN109214269B/zh
Publication of CN109214269A publication Critical patent/CN109214269A/zh
Application granted granted Critical
Publication of CN109214269B publication Critical patent/CN109214269B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于流形对齐和多图嵌入的人脸姿态对齐方法,包括以下步骤：步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型求解，通过对每个图的权重进行更新来寻找最合适的多图组合方式，以得到更合理的投影向量p和q；步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，以使X和Y中的人脸姿态在低维空间中达到对齐的效果。

Description

一种基于流形对齐和多图嵌入的人脸姿态对齐方法
技术领域
本发明属于模式识别领域，尤其涉及一种基于流形对齐和多图嵌入的人脸姿态对齐方法。
背景技术
随着科学技术的飞速发展，如今在机器学习、大数据分析等诸多领域所获取的数据往往具有非常高的维度，因此，这些数据的内在规律很难被直接观察和学习，给科研学习和工作带来了很大不便。所幸，降维技术作为处理大规模高维数据并提取数据中有效信息的手段被提了出来并取得了良好的表现。
流形学习的提出是非线性降维技术的一个重大突破。流行学习假设数据是均匀采样于一个高维欧式空间中的低维流形，并通过构造高维数据点之间的局部线性结构，利用这些局部邻域结构把高维数据映射到低维空间，得到数据间固有的低维信息。本发明涉及到的流行学习方法有：局部保持投影(LPP)、邻域保持嵌入(NPE)。
由于传统的降维方法不适合处理分布在多个不同维度空间并存在联系的数据，比如图像和文本的匹配、图像分割等，近年来，一些流行对齐方法被相继提出。流行对齐算法的目的是根据提供的对应信息把不同流形映射到一个共有的低维空间中，并在这个过程中匹配对应的样本以及保持每个流形的几何结构。除此之外，在对齐过程中得到投影向量还可以应用到新的测试样本中以实现人脸识别、图像分类等工作。当然，流行对齐算法也存在一些局限：对齐结果很大程度依赖给定的对应信息是否充分和准确；流形间相似度的表示方法不同对对齐结果有很大影响。
发明内容
本发明根据现有技术的不足与缺陷，提出了一种基于流形对齐和多图嵌入的人脸姿态对齐方法，目的在于解决多视角数据集的关联降维问题。
一种基于流形对齐和多图嵌入的人脸姿态对齐方法，包括以下步骤：
步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；
步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；
步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型以及权重更新，获得投影向量p和q；
步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐；
进一步，建流形间的相似度矩阵的方法为：
设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，则将矩阵中第i行第j列的
Figure BDA0001729262870000021
否则
Figure BDA0001729262870000022
由此构成n行m列的流形间的相似度矩阵C(X ,Y)。
进一步，采用多图嵌入的方法分别构造流形X、Y的局部几何结构，构造图嵌入矩阵的方法如：
步骤2.1，构建X和Y的拉普拉斯图矩阵
Figure BDA0001729262870000023
和
Figure BDA0001729262870000024
步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；
步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j (X)和
Figure BDA0001729262870000025
构成邻接矩阵W1 (X)和W1 (Y)；其中，W1 (X)为n行n列的矩阵，W1 (Y)为m行m列的矩阵。
步骤2.1.3，根据邻接矩阵W1 (X)和W1 (Y)计算得出度矩阵
Figure BDA0001729262870000026
和
Figure BDA0001729262870000027
其中
Figure BDA0001729262870000028
i为矩阵
Figure BDA0001729262870000029
的行数索引，i＝1、2、…、n；
Figure BDA00017292628700000210
i为矩阵W1 (Y)的行数索引，i＝1、2、…、m；
步骤2.1.4，根据
Figure BDA00017292628700000211
和
Figure BDA00017292628700000212
得出拉普拉斯矩阵
Figure BDA00017292628700000213
和
Figure BDA00017292628700000214
进一步，所述权重大小
Figure BDA00017292628700000215
和
Figure BDA00017292628700000216
为：
Figure BDA00017292628700000217
Figure BDA00017292628700000218
其中，xi、xj为X的样本点，i＝1、2、…、n，j＝1、2、…、n；yi、yj为Y的样本点，i＝1、2、…、m，j＝1、2、…、m；t为约束参数。
步骤2.2，根据邻域保持嵌入方法(NPE)构建X和Y的图矩阵
Figure BDA00017292628700000219
和
Figure BDA00017292628700000220
步骤2.2.1，邻域保持嵌入方法NPE假设每个样本的局部近邻都是线性的，每个数据点都通过它的K个近邻点进行线性重构，得到重构损失函数，
步骤2.2.2，通过最小化重构损失函数得到X和Y邻接权重矩阵
Figure BDA0001729262870000031
和
Figure BDA0001729262870000032
步骤2.2.3，根据邻接权重矩阵
Figure BDA0001729262870000033
和
Figure BDA0001729262870000034
计算得出度矩阵
Figure BDA0001729262870000035
和
Figure BDA0001729262870000036
其中
Figure BDA0001729262870000037
i为矩阵
Figure BDA0001729262870000038
的行数索引，i＝i、2、…、n；
Figure BDA0001729262870000039
i为矩阵
Figure BDA00017292628700000310
的行数索引，i＝i、2、…、m；I为单位矩阵；
Figure BDA00017292628700000311
为X中样本xi和xj之间的权重,i＝1、2、…、n，j＝1、2、…、n，
Figure BDA00017292628700000312
为Y样本yi和yj之间的权重，i＝1、2、…、m，j＝1、2、…、m；
步骤2.2.4，根据
Figure BDA00017292628700000313
和
Figure BDA00017292628700000314
得出基于邻域保持嵌入方法(NPE)的图嵌入矩阵
Figure BDA00017292628700000315
和
Figure BDA00017292628700000316
进一步，所述重构损失函数表示为：
Figure BDA00017292628700000317
Figure BDA00017292628700000318
其中，∑jW2,i,j＝1为约束条件，
进一步，所述特征向量的优化模型为：
Figure BDA00017292628700000319
其中，其中第一项
Figure BDA00017292628700000320
衡量两个流形间的相似度，后面两项分别确保流形X和Y局部几何结构的保持。u表示惩罚系数，M表示在模型中应用的图的总数。p和q分别表示流形X和Y的投影向量。
进一步，对特征向量的优化模型进行推导化简，再结合拉格朗日乘数法可以得到如下特征方程：
ZLZTU＝λZDZTU
其中，L、D是对优化模型进行推导过程中产生的组合矩阵，U是投影向量p和q的组合矩阵，Z是流形X和Y的组合矩阵；
Figure BDA0001729262870000041
Figure BDA0001729262870000042
在L中，C(Y,X)、
Figure BDA0001729262870000043
均是相似度矩阵
Figure BDA0001729262870000044
Figure BDA0001729262870000045
D(X,Y)表示C(X,Y)的度矩阵，D(X,Y)表示C(Y,X)的度矩阵，
Figure BDA0001729262870000046
r表示多个特征权重的控制参数；ak、βk分别为图矩阵Lk (X)、Lk (X)的权重参数，k＝1、2、…、M，M为图矩阵的个数。
进一步，权重参数ak、βk根据下式进行更新求出最优值：
Figure BDA0001729262870000047
Figure BDA0001729262870000048
其中，
Figure BDA0001729262870000049
为图矩阵，k＝1、2、…、M，
Figure BDA00017292628700000410
为图矩阵，k＝1、2、…、M，Tr(*)为对矩阵的求迹运算。
进一步，通过求得的投影向量p和q把X和Y映射到低维空间得到数据集的低维表示：Xnew＝pTX，Ynew＝qTY。对Xnew中的每个样本xi，在Ynew的所有样本中寻找与之距离最近的样本yj。如果样本xi和yj的人脸姿态角度相同，则认为样本xi和yj是正确的匹配。
本发明的有益效果：可以通过少量的部分对应信息创建关联矩阵。减少了人工标注带来的成本问题。
利用多图嵌入的方法使得流形更好地保持局部几何结构。通过对每个图的权重进行更新来寻找最合适的多图组合方式，从而得到更好的对齐结果。这种多图嵌入的方法能够适应未知结构类型的数据集。
通过流行对齐算法得到的投影向量可以应用于新的测试样本，因此本发明可以实际应用于人脸识别、图像分类等领域。
附图说明
图1是本发明方法流程图；
图2是本发明的方法与其他方法在对齐效果上的比较图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
在本实施例中，在FacePix数据库中选取一个人的90张不同脸部姿态的图片作为数据集X，选取另一个人的90张不同角度脸部姿态的图片作为数据集Y。
如图1所示，本发明一种基于流形对齐和多图嵌入的人脸姿态对齐方法，具体步骤如下：
步骤1，根据流形中部分对应信息构建流形间的相似度矩阵；
设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，
Figure BDA0001729262870000051
否则
Figure BDA0001729262870000052
由此构成n行m列的流形间的相似度矩阵C(X,Y)。
步骤2，采用多图嵌入的方法分别构造流形X，Y的局部几何结构；
步骤2.1，构建X和Y的拉普拉斯图矩阵
Figure BDA0001729262870000053
和
Figure BDA0001729262870000054
步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；本实施例K的值为5；
步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j (X)和
Figure BDA0001729262870000055
构成邻接矩阵
Figure BDA0001729262870000056
和W1 (Y)；其中，W1 (X)为n行n列的矩阵，W1 (Y)为m行m列的矩阵；本实施例中，热核函数中的约束参数t＝1。
权重大小W1,i,j (X)和
Figure BDA0001729262870000057
为：
Figure BDA0001729262870000058
Figure BDA0001729262870000061
步骤2.1.3，根据邻接矩阵W1 (X)和W1 (Y)计算得出度矩阵
Figure BDA0001729262870000062
和
Figure BDA0001729262870000063
其中
Figure BDA0001729262870000064
i为矩阵W1 (X)的行数索引，i＝1、2、…、n；
Figure BDA0001729262870000065
i为矩阵W1 (Y)的行数索引，i＝1、2、…、m；
步骤2.1.4，根据
Figure BDA0001729262870000066
和
Figure BDA0001729262870000067
得出拉普拉斯矩阵
Figure BDA0001729262870000068
和
Figure BDA0001729262870000069
步骤2.2，根据邻域保持嵌入方法(NPE)构建X和Y的图矩阵
Figure BDA00017292628700000610
和
Figure BDA00017292628700000611
步骤2.2.1，邻域保持嵌入方法NPE假设每个样本的局部近邻都是线性的，每个数据点都通过它的K个近邻点进行线性重构，得到重构损失函数，
其中重构损失函数表示为：
Figure BDA00017292628700000612
其中，∑jW2,i,j＝1为约束条件，；
步骤2.2.2，通过最小化重构损失函数得到X和Y邻接权重矩阵
Figure BDA00017292628700000613
和
Figure BDA00017292628700000614
步骤2.2.3，根据邻接权重矩阵
Figure BDA00017292628700000615
和
Figure BDA00017292628700000616
计算得出度矩阵
Figure BDA00017292628700000617
和
Figure BDA00017292628700000618
其中
Figure BDA00017292628700000619
i为矩阵
Figure BDA00017292628700000620
的行数索引，i＝i、2、…、n；
Figure BDA00017292628700000621
i为矩阵
Figure BDA00017292628700000622
的行数索引，i＝i、2、…、m；I为单位矩阵；
Figure BDA00017292628700000623
为X中样本xi和xj之间的权重,i＝1、2、…、n，j＝1、2、…、n，
Figure BDA00017292628700000624
为Y样本yi和yj之间的权重，i＝1、2、…、m，j＝1、2、…、m；
步骤2.2.4，根据
Figure BDA00017292628700000625
和
Figure BDA00017292628700000626
得出基于邻域保持嵌入方法(NPE)的图嵌入矩阵
Figure BDA00017292628700000627
和
Figure BDA00017292628700000628
本实施例中设K的值为5。
步骤3，构造特征向量的优化模型：
Figure BDA0001729262870000071
结合相似度矩阵以及局部几何结构对优化模型求解，通过对每个图的权重进行更新来寻找最合适的多图组合方式，以得到更合理的投影向量p和q；其中，其中第一项
Figure BDA0001729262870000072
衡量两个流形间的相似度，后面两项分别确保流形X和Y局部几何结构的保持。u表示惩罚系数，u＝0.6，M表示在模型中应用的图的总数，本实施例中M＝2，p和q分别表示流形X和Y的投影向量，a和β分别表示在X和Y流形中所用图的权重集合，且每个流形所有图的权重之和为1。设定初始值为a＝[1/5,1/5],β＝[1/5,1/5]。
对特征向量的优化模型进行推导化简，再结合拉格朗日乘数法可以得到如下特征方程：
ZLZTU＝λZDZTU (5)
其中，L、D是对优化模型进行推导过程中产生的组合矩阵，U是投影向量p和q的组合矩阵，Z是流形X和Y的组合矩阵；
Figure BDA0001729262870000073
Figure BDA0001729262870000074
在L中，C(Y,X)、
Figure BDA0001729262870000075
均是相似度矩阵
Figure BDA0001729262870000076
Figure BDA0001729262870000077
D(X,Y)表示C(X ,Y)的度矩阵，D(X,Y)表示C(Y,X)的度矩阵，
Figure BDA0001729262870000078
r表示多个特征权重的控制参数；ak、βk分别为图矩阵Lk (X)、Lk (X)的权重参数，k＝1、2、…、M，M为图矩阵的个数。
权重参数ak、βk根据下式进行更新求出最优值：
Figure BDA0001729262870000081
Figure BDA0001729262870000082
其中，
Figure BDA0001729262870000083
为图矩阵，k＝1、2、…、M，
Figure BDA0001729262870000084
为图矩阵，k＝1、2、…、M，Tr(*)为对矩阵的求迹运算。
步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐；通过求得的投影向量p和q把X和Y映射到低维空间得到数据集的低维表示：Xnew＝pTX，Ynew＝qTY。对Xnew中的每个样本xi，在Ynew的所有样本中寻找与之距离最近的样本yj。如果样本xi和yj的人脸姿态角度相同，则认为样本xi和yj是正确的匹配。
如图2所示，经过与半监督流形对齐方法(SSMA)、基于Procrustes分析的流形对齐方法(PAMA)、保持全局结构的流形对齐方法(PGGMA)、无监督的流形对齐方法(UNMA)进行对比，本发明的方法在对齐效果上优于其他方法。
如图2所示，对于FacePix数据库，在人脸姿态对齐的结果比对中，基于Procrustes分析的流形对齐方法(PAMA)的对齐准确率为85％；保持全局结构的流形对齐方法(PGGMA)的对齐准确率为70％；半监督流形对齐方法(SSMA)的对齐准确率为85％；无监督的流形对齐方法(UNMA)的对齐准确率为55％；我们的方法对齐准确率达到95％，明显优于其他方法。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (6)

1.一种基于流形对齐和多图嵌入的人脸姿态对齐方法,其特征在于，包括以下步骤：
步骤1，根据流形X、Y中部分对应信息构建流形间的相似度矩阵；
步骤2，采用多图嵌入的方法分别构造流形X、Y的局部几何结构；
步骤3，构造特征向量的优化模型，结合相似度矩阵以及局部几何结构对优化模型以及权重更新，获得投影向量p和q；
步骤4，通过求得的投影向量p和q把X和Y映射到低维空间，完成人脸姿态对齐；
所述特征向量的优化模型为：
Figure FDA0003178227570000011
其中，u表示惩罚系数，M表示在模型中应用的图的总数，p和q分别表示流形X和Y的投影向量；n为X样本数，m为Y样本数；
Figure FDA0003178227570000012
表示为第k个图矩阵的样本xi和xj之间的权重，
Figure FDA0003178227570000013
表示为第k个图矩阵的样本yi和yj之间的权重，k＝1、2、…、M；当X中的样本xi与Y中的样本yj是给定的对应点时，
Figure FDA0003178227570000014
否则
Figure FDA0003178227570000015
X、Y分别对应的权重参数ak、βk根据下式进行更新求出最优值：
Figure FDA0003178227570000016
Figure FDA0003178227570000017
其中，
Figure FDA0003178227570000018
为X的图矩阵，k＝1、2、…、M，
Figure FDA0003178227570000019
为Y的图矩阵，k＝1、2、…、M，Tr(*)为对矩阵的求迹运算，r表示多个特征权重的控制参数。
2.根据权利要求1所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，所述建流形间的相似度矩阵的方法为：
设需要处理的流形为X＝[x1,...,xi]、Y＝[y1,...,yj]，i＝1、2、3…、n,j＝1、2、3…、m,其中，n为X样本数，m为Y样本数；当X中的样本xi与Y中的样本yj是给定的对应点时，
Figure FDA0003178227570000021
否则
Figure FDA0003178227570000022
由此构成n行m列的流形间的相似度矩阵C(X,Y)。
3.根据权利要求1所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，采用多图嵌入的方法分别构造流形X、Y的局部几何结构，构造多图嵌入矩阵的方法如：
步骤2.1，构建流形X和Y的拉普拉斯图矩阵
Figure FDA0003178227570000023
和
Figure FDA0003178227570000024
步骤2.2，根据邻域保持嵌入方法构建流形X和Y的图矩阵
Figure FDA0003178227570000025
和
Figure FDA0003178227570000026
4.根据权利要求3所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，所述构建流形X和Y的拉普拉斯图矩阵
Figure FDA0003178227570000027
和
Figure FDA0003178227570000028
方法为：
步骤2.1.1，把流形X、Y中每个样本点最近的K个样本点连上边构成一个稀疏的图矩阵，保留了流形中最相似的K个邻居关系；
步骤2.1.2，选用热核函数确定每条边的权重大小W1,i,j (X)和
Figure FDA0003178227570000029
构成邻接矩阵
Figure FDA00031782275700000227
和
Figure FDA00031782275700000232
其中，
Figure FDA00031782275700000231
为n行n列的矩阵，
Figure FDA00031782275700000228
为m行m列的矩阵；
步骤2.1.3，根据邻接矩阵
Figure FDA00031782275700000230
和
Figure FDA00031782275700000229
计算得出度矩阵
Figure FDA00031782275700000210
和
Figure FDA00031782275700000211
其中
Figure FDA00031782275700000212
i为矩阵
Figure FDA00031782275700000233
的行数索引，i＝1、2、…、n；
Figure FDA00031782275700000213
i为矩阵
Figure FDA00031782275700000234
的行数索引，i＝1、2、…、m；n为X样本数，m为Y样本数；W1,i,j (X)表示X中样本xi和xj之间的权重,i＝1、2、…、n，j＝1、2、…、n；
Figure FDA00031782275700000214
表示Y样本yi和yj之间的权重，i＝1、2、…、m，j＝1、2、…、m；
步骤2.1.4，根据
Figure FDA00031782275700000215
和
Figure FDA00031782275700000216
得出拉普拉斯矩阵
Figure FDA00031782275700000217
和
Figure FDA00031782275700000218
5.根据权利要求3所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，所述构建流形X和Y的图矩阵
Figure FDA00031782275700000219
和
Figure FDA00031782275700000220
方法为：
步骤2.2.1，邻域保持嵌入方法NPE假设每个样本的局部近邻都是线性的，每个数据点都通过它的K个近邻点进行线性重构，得到重构损失函数，
步骤2.2.2，通过最小化重构损失函数得到X和Y邻接权重矩阵
Figure FDA00031782275700000221
和
Figure FDA00031782275700000222
步骤2.2.3，根据邻接权重矩阵
Figure FDA00031782275700000223
和
Figure FDA00031782275700000224
计算得出度矩阵
Figure FDA00031782275700000225
和
Figure FDA00031782275700000226
其中
Figure FDA0003178227570000031
i为矩阵
Figure FDA0003178227570000032
的行数索引，i＝i、2、…、n；
Figure FDA0003178227570000033
i为矩阵
Figure FDA0003178227570000034
的行数索引，i＝i、2、…、m；I为单位矩阵；
Figure FDA0003178227570000035
为X中样本xi和xj之间的权重,i＝1、2、…、n，j＝1、2、…、n，
Figure FDA0003178227570000036
为Y样本yi和yj之间的权重，i＝1、2、…、m，j＝1、2、…、m；n为X样本数，m为Y样本数；
步骤2.2.4，根据
Figure FDA0003178227570000037
和
Figure FDA0003178227570000038
得出基于邻域保持嵌入方法(NPE)的图嵌入矩阵
Figure FDA0003178227570000039
和
Figure FDA00031782275700000310
6.根据权利要求1所述的一种基于流形对齐和多图嵌入的人脸姿态对齐方法，其特征在于，通过求得的投影向量p、q分别把流形X、Y映射到低维空间得到数据集的低维表示：
Xnew＝pTX，Ynew＝qTY，
对Xnew中的每个样本xi，在Ynew的所有样本中寻找与之距离最近的样本yj，如果样本xi和yj的人脸姿态角度相同，则认为样本xi和yj是正确的匹配；Xnew是X映射到低维空间的低维表示，Ynew是Y映射到低维空间的低维表示。
CN201810767042.6A 2018-07-13 2018-07-13 一种基于流形对齐和多图嵌入的人脸姿态对齐方法 Active CN109214269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810767042.6A CN109214269B (zh) 2018-07-13 2018-07-13 一种基于流形对齐和多图嵌入的人脸姿态对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810767042.6A CN109214269B (zh) 2018-07-13 2018-07-13 一种基于流形对齐和多图嵌入的人脸姿态对齐方法

Publications (2)

Publication Number Publication Date
CN109214269A CN109214269A (zh) 2019-01-15
CN109214269B true CN109214269B (zh) 2021-10-08

Family

ID=64990478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810767042.6A Active CN109214269B (zh) 2018-07-13 2018-07-13 一种基于流形对齐和多图嵌入的人脸姿态对齐方法

Country Status (1)

Country Link
CN (1) CN109214269B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110995375B (zh) * 2019-11-19 2021-11-12 北京科技大学 一种无线信道的衰落特征提取方法及提取装置
CN111832427B (zh) * 2020-06-22 2022-02-18 华中科技大学 基于欧氏对齐和Procrustes分析的EEG分类的迁移学习方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336960A (zh) * 2013-07-26 2013-10-02 电子科技大学 一种基于流形学习的人脸识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336960A (zh) * 2013-07-26 2013-10-02 电子科技大学 一种基于流形学习的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
余弦度量的多流形最大间距鉴别保持嵌入;林克正;《小型微型计算机系统》;20180415;第39卷(第4期);第836-841页 *

Also Published As

Publication number Publication date
CN109214269A (zh) 2019-01-15

Similar Documents

Publication Publication Date Title
US10891511B1 (en) Human hairstyle generation method based on multi-feature retrieval and deformation
CN109934826B (zh) 一种基于图卷积网络的图像特征分割方法
CN111178432A (zh) 多分支神经网络模型的弱监督细粒度图像分类方法
CN111738143B (zh) 一种基于期望最大化的行人重识别方法
CN105654122B (zh) 基于核函数匹配的空间金字塔物体识别方法
CN110443261B (zh) 一种基于低秩张量恢复的多图匹配方法
CN111242221A (zh) 基于图匹配的图像匹配方法、系统及存储介质
CN112836671A (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN109214269B (zh) 一种基于流形对齐和多图嵌入的人脸姿态对齐方法
Yuan et al. ROBUST PCANet for hyperspectral image change detection
CN113902779B (zh) 一种基于张量投票方法的点云配准方法
CN109857895B (zh) 基于多环路视图卷积神经网络的立体视觉检索方法与系统
CN113505856B (zh) 一种高光谱影像无监督自适应分类方法
CN112734818B (zh) 基于残差网络和sift的多源高分辨率遥感图像自动配准方法
CN108921853B (zh) 基于超像素和免疫稀疏谱聚类的图像分割方法
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
CN108388869B (zh) 一种基于多重流形的手写数据分类方法及系统
CN111325158B (zh) 一种基于cnn和rfc的集成学习的极化sar图像分类方法
CN110852304B (zh) 基于深度学习方法的高光谱数据处理方法
CN112465062A (zh) 一种基于流形学习和秩约束的聚类方法
CN108256569B (zh) 一种复杂背景下的对象识别方法及使用的计算机技术
CN108121965B (zh) 基于鲁棒联合稀疏特征提取的图像识别方法
CN113379890B (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN111275624B (zh) 基于多集典型相关分析的人脸图像超分辨率重建识别方法
Shao et al. An NMF-based method for the fingerprint orientation field estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220913

Address after: No. 303, Yushan Road, Jingkou District, Zhenjiang City, Jiangsu Province, 212002

Patentee after: Jiangsu Tuogu Hi Tech Co.,Ltd.

Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301

Patentee before: JIANGSU University