CN111695456B - 一种基于主动判别性跨域对齐的低分辨人脸识别方法 - Google Patents

一种基于主动判别性跨域对齐的低分辨人脸识别方法 Download PDF

Info

Publication number
CN111695456B
CN111695456B CN202010465593.4A CN202010465593A CN111695456B CN 111695456 B CN111695456 B CN 111695456B CN 202010465593 A CN202010465593 A CN 202010465593A CN 111695456 B CN111695456 B CN 111695456B
Authority
CN
China
Prior art keywords
face
sample
domain
source domain
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010465593.4A
Other languages
English (en)
Other versions
CN111695456A (zh
Inventor
张凯兵
郑冬冬
张天歌
李敏奇
景军锋
卢健
陈小改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Co ltd
Zhong Xiaoxuan
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010465593.4A priority Critical patent/CN111695456B/zh
Publication of CN111695456A publication Critical patent/CN111695456A/zh
Application granted granted Critical
Publication of CN111695456B publication Critical patent/CN111695456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于主动判别性跨域对齐的低分辨人脸识别方法，具体为：构造HR图像集、LR人脸图像集，从LR人脸图像集中挑选源域样本，形成源域样本集，剩余的LR人脸图像形成目标域样本集；同时减小源域与目标域样本之间的统计分布差异；构造判别对齐矩；建立源域与目标域样本的线性变换关系；构造并求解目标函数，计算源域及标域样本变换矩阵，用最近邻分类器推断出目标域人脸变换特征的类别标签。本发明通过线性变换将源域与目标域人脸特征空间变换到一个公共域子空间中实现LR人脸的匹配识别，采用主动学习选择具有代表性和多样性的源域样本训练分类器，提升算法的识别性能。

Description

一种基于主动判别性跨域对齐的低分辨人脸识别方法
技术领域
本发明属于人脸识别方法技术领域，涉及一种基于主动判别性跨域对齐的低分辨人脸识别方法。
背景技术
人脸识别是计算机视觉领域最重要的研究课题之一。目前，在受控条件下的高分辨(High-Resolution，简称HR)人脸识别方法已趋于成熟，在很多生产实践中开始大范围推广应用。然而，在实际的非受控条件下，受姿态、光照、表情、遮挡和分辨率等不利因素的影响，致使摄像头捕获的人脸图像与真实的高分辨人脸图像之间的数据分布存在巨大差异，进而使得人脸识别系统的性能急剧下降，无法满足实际应用要求。因此，研究低分辨率(Low-Resolution，简称LR)人脸的识别技术受到研究者的广泛关注。
在过去几十年，人们提出了许多不同的低分辨人脸识别方法。根据识别原理的不同，大体可以分为三种类型：基于重构超分辨(Super-Resolution，简称SR)图像的LR人脸识别方法、基于公共特征子空间的LR人脸识别方法和基于深度学习的LR人脸识别方法。
基于重构SR图像的LR人脸识别方法发展迅速，该类方法主要利用图像SR重建技术，获得视觉效果较好的HR人脸图像实现人脸的相似性匹配。尽管基于图像SR的方法能够获得视觉效果较高的HR人脸图像，但容易在人脸关键特征点处引入伪像，严重影响识别性能；而且，随着监控网络的大面积覆盖，该类方法的计算复杂度较高，而难以满足实际应用要求。
近年来，基于公共特征子空间的LR人脸识别方法由于其算法相对简单，耗时少等优点，成为一条解决HR-LR人脸图像特征维度不匹配问题的有效途径。此类方法通过学习HR-LR人脸的耦合映射，将不同维数的HR-LR人脸图像先映射到一个公共特征子空间，然后在维数相同的特征子空间中完成HR-LR人脸图像的相似性匹配。目前针对公共特征子空间的LR人脸问题主要有两种常见的解决方法，其中第一种是基于字典学习和稀疏表示的LR人脸识别方法，该方法主要通过字典学习和稀疏表示对人脸的局部结构特征进行稀疏编码后变换到低维特征空间中实现LR人脸的匹配。第二种是基于耦合映射的LR人脸识别方法，一般有3种映射方式：1)将HR人脸图像下采样到和LR人脸图像同一特征维度进行匹配；2)将LR人脸图像上采样到和HR人脸图像同一特征维度进行匹配；3)同时将HR-LR人脸图像映射到公共特征子空间进行匹配。其目的是将HR-LR训练人脸图像特征变换到公共特征子空间来学习HR-LR耦合映射矩阵，然后将HR耦合映射矩阵和LR耦合映射矩阵分别变换到公共特征子空间后，实现LR测试人脸图像特征的变换与识别。
随着深度学习的迅速发展，基于深度学习的LR人脸识别方法相继被提出，相比传统机器学习算法，深度学习在处理大量训练样本时更具有优势。其主要通过卷积神经网络提取人脸特征，采用有效的激活函数和损失函数对网络参数进行优化，实现端到端HR-LR人脸的识别。
现有的方法在现实应用场景中，因被监控人群与监控设备距离较远而导致摄像头捕获的人脸图像通常出现LR、尺寸小和失真等现象，即摄像头捕获的人脸图像与真实的高分辨人脸图像之间存在巨大的数据分布差异，从而严重影响直接与高分辨参考人脸图像的匹配识别。
发明内容
本发明的目的是提供一种基于主动判别性跨域对齐的低分辨人脸识别方法，通过线性变换将源域与目标域人脸特征空间变换到一个公共域子空间中实现LR人脸的匹配识别，采用主动学习选择具有代表性和多样性的源域样本训练分类器，提升算法的识别性能。
本发明所采用的技术方案是，一种基于主动判别性跨域对齐的低分辨人脸识别方法，具体按照如下步骤实施：
步骤1，从标准人脸数据集中选取N幅HR人脸图像构成HR图像集，对HR图像集进行平滑下采样处理，生成LR人脸图像集；
步骤2，采用主动学习从LR人脸图像集中挑选源域样本，形成源域样本集，并构造源域样本的类别标签，LR人脸图像集中剩余的LR人脸图像形成目标域样本集；
步骤3，同时减小源域与目标域样本之间的统计分布差异；
步骤4，构造包含源域样本的流形结构、判别信息和标签信息的判别对齐矩；
步骤5，建立源域与目标域样本的线性变换关系；
步骤6，然后根据统计分布差异、判别对齐矩以及线性变换关系构造关于源域与目标域样本变换矩阵的目标函数；
步骤7，求解目标函数，计算源域样本变换矩阵以及目标域样本变换矩阵；
步骤8，将源域与目标域人脸样本变换到公共域子空间，分别得到源域与目标域人脸变换特征，对变换到公共域子空间内的源域与目标域人脸变换特征进行分类，应用最近邻分类器推断出目标域人脸变换特征的类别标签。
本发明的特征还在于，
步骤1具体为：
从标准人脸数据库中选取N幅高分辨人脸图像构成HR图像集：其中，/>表示第i幅高分辨人脸图像，对HR图像集经过平滑下采样，生成低分辨的人脸图像集，即就是LR人脸图像集：/>其中/>表示第i幅低分辨人脸图像。
标准人脸数据库包括YALE-B、CMU-PIE、UMIST、ORL、FERET和AR人脸库，对HR图像集进行平滑下采样处理，生成LR人脸图像集具体为：
对高分辨率HR图像集：YALE-B和CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80，FERET人脸库分辨率为40×40，AR人脸库分辨率为140×120，分别经过YALE-B和CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍，FERET人脸库4倍和5倍，AR人脸库10倍和20倍的平滑下采样生成低分辨：YALE-B和CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8，FERET人脸库分辨率为10×10和8×8，AR人脸库分辨率为14×12和7×6的LR人脸图像集。
步骤2具体为：
采用主动学习从LR人脸图像集中挑选源域样本xi为第i个源域样本，D表示源域样本中样本的特征维度，nS为源域样本的数目；LR人脸图像集中剩余LR人脸图像作为目标域样本集，XT＝XL-XS，xj为第j个目标域样本，nT为目标域样本的数目，nS+nT＝N；
其中采用主动学习从LR人脸图像集中挑选源域样本具体为：
步骤2.1，从候选集，即就是LR人脸图像集XL中选择兼顾代表性准则和多样性准则的人脸图像，兼顾代表性准则和多样性准则的函数为：
其中，λ用来平衡样本的代表性准则与多样性准则，为人为设置参数，挑选出的人脸图像放在源域样本集中，源域样本集表示为D表示样本的特征维度，nS为源域样本的数目；
其中，R(xi)为人脸图像样本xi的代表性函数，从LR人脸图像集选择满足代表性准则的人脸图像，Ni为人脸图像样本xi的邻域样本数目，σR表示高斯核宽，/>ρ为尺度系数，将满足代表性准则的人脸图像样本放入集合S中；
D(xi)表示样本xi的多样性函数，从剩余候选集U＝XL-S挑选出满足多样性准则的人脸图像，多样性函数具体为：
步骤2.2，构造源域样本的类别标签列向量：
步骤3具体为：
步骤3.1，建立边缘分布概率表达式：
其中，A为源域样本变换矩阵，B为目标域样本变换矩阵，F表示弗罗贝尼乌斯范数。
步骤3.2，建立条件分布概率表达式：
其中，c表示样本的类别，分别表示第c类源域与目标域样本的数量，XS,(c)，XT,(c)分别表示第c类源域与目标域样本。
步骤3.3，同时减小边缘与条件分布概率，实现跨域自适应匹配：
进行矩阵化表达为：
其中，
步骤4具体为：
步骤4.1，建立局部对齐表达式：
其中，μ∈[0,1]用来反映类内与类间样本对源域样本xi的重要性，为人为设置参数；为和源域样本xi属于同一类的第u个源域样本；/>为和源域样本xi不属于同一类的第v个源域样本，设/>为系数向量，kw、kb为人为设置的类内与类间样本数量的参数，则上式可改写为：
其中，为和源域样本xi不属于同一类样本的样本系数向量；/>为第i个源域样本xi的局部块；Wi是局部对齐矩阵，定义如下：
步骤4.2，对步骤4.1中第i个源域样本xi的局部块通过源域样本xi的边缘度函数进行加权：
其中，源域样本xi的边缘度函数i＝1,...,nS，δ是一个正则项系数，t表示一个尺度因子；
步骤4.3，对于每一个局部块，通过步骤4.2进行优化，最终对所有优化的局部块进行整合得到判别对齐矩阵，假设第i个局部块是从全局候选集即就是源域样本/>中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，p表示全局候选集中的第p个样本；Fi{q}表示局部块中的第q个样本；
步骤4.4，结合步骤4.2和步骤4.3，得到：
对所有优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
步骤4.5，通过迭代更新，得到最终包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：WL←W+mi Wi。
步骤5具体为：建立线性变换关系，构建域自适应匹配子空间：
步骤6具体为：
构造目标函数表达式：
s.t.ATXSCS(XS)TA＝I andBTXTCT(XT)TB＝I其中，α和β被用来权衡各项对整体识别性能的重要性，为人为设置参数， 表示中心化矩阵；/>是元素全为1的列向量，I、IS和IT表示单位矩阵。
步骤7具体为：
设GT＝[AT BT]，则目标函数表达式简化式为：s.t.ATXSCS(XS)TA＝I andBTXTCT(XT)TB＝I；根据约束优化理论，设/>表示拉格朗日多乘子，则目标函数表达式简化式的拉格朗日函数表示为：
设则得到拉格朗日函数的广义特征值分解为：
求解步骤拉格朗日函数的广义特征值分解，选取前k个最小的特征向量作为自适应矩阵G＝[g1,g2,..,gk]，其中g1,g2,..,gk表示自适应矩阵G中的元素，进而得到变换矩阵A和B。
步骤8具体为：
步骤8.1，根据源域样本变换矩阵A和目标域样本变换矩阵B分别将源域样本XS与目标域样本XT变换到公共域子空间，得到源域与目标域人脸变换特征和
步骤8.2，应用最近邻分类器推断出目标域人脸变换特征的类别标签列向量具体为：
步骤8.2.1，初始化源域样本XS、目标域样本XT和源域样本的类别标签列向量
步骤8.2.2，计算目标域样本XT与源域样本XS的欧式距离：
步骤8.2.3，根据欧氏距离大小对源域样本进行升序排序；
步骤8.2.4，选取欧式距离最小的前θ个源域样本，统计其在各类别中出现的频率；
步骤8.4.5，返回频率最大的类别，即该目标域样本属于该类别
本发明的有益效果是：
本发明的方法在训练阶段，首先采用主动学习挑选具有代表性的样本作为源域样本，其次通过优化寻找两种线性变换将源域与目标域人脸样本变换到公共域子空间以减小两个域数据之间的统计分布差异，利用判别局部对齐思想保留样本的全局和局部流形几何结构信息。在测试阶段，针对给定的LR目标域人脸图像，利用学习的两种线性变换将源域与目标域人脸特征同时变换到公共域子空间中进行相似性匹配，本发明结合迁移学习、域自适应和子空间学习，在变换的公共域子空间同时减小不同域之间的统计分布差异，对齐源域与目标域人脸样本之间的流形几何结构，极大地增强了样本特征在变换特征子空间中的可分性；采用主动学习挑选源域样本来训练分类器，充分利用了人脸的差异性表征，有效地提高了算法的识别性能。
附图说明
图1是本发明一种基于主动判别性跨域对齐的低分辨人脸识别方法的系统框架图；
图2是本发明的方法与已有方法在YALE-B标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图3是本发明的方法与已有方法在UMIST标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图4是本发明的方法与已有方法在ORL标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图5是本发明的方法与已有方法在FERET标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图6是本发明的方法与已有方法在CMU PIE标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图7是本发明的方法与已有方法在AR标准人脸数据集上的特征维度对识别效果的影响对比结果图；
图8是本发明的方法与已有方法在YALE-B标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图9是本发明的方法与已有方法在UMIST标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图10是本发明的方法与已有方法在ORL标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图11是本发明的方法与已有方法在FERET标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图12是本发明的方法与已有方法在CMU PIE标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图13是本发明的方法与已有方法在AR标准人脸数据集上的rank级别对识别效果的影响对比结果图；
图14是本发明的方法与已有方法在YALE-B标准人脸数据集上的分辨率对识别效果的影响对比结果图；
图15是本发明的方法与已有方法在UMIST标准人脸数据集上的分辨率对识别效果的影响对比结果图；
图16是本发明的方法与已有方法在ORL标准人脸数据集上的分辨率对识别效果的影响对比结果图；
图17是本发明的方法与已有方法在FERET标准人脸数据集上的分辨率对识别效果的影响对比结果图；
图18是本发明的方法与已有方法在CMU PIE标准人脸数据集上的分辨率对识别效果的影响对比结果图；
图19是本发明的方法与已有方法在AR标准人脸数据集上的分辨率对识别效果的影响对比结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于主动判别性跨域对齐的低分辨人脸识别方法，其流程如图1所示，具体按照如下步骤实施：
一、训练阶段
步骤1，从标准人脸数据集中选取N幅HR人脸图像构成HR图像集，对HR图像集进行平滑下采样处理，生成LR人脸图像集，具体为：
从标准人脸数据库中选取N幅高分辨人脸图像构成HR图像集：其中，/>表示第i幅高分辨人脸图像，对HR图像集经过平滑下采样，生成低分辨的人脸图像集，即就是LR人脸图像集：/>其中/>表示第i幅低分辨人脸图像；
标准人脸数据库包括YALE-B、CMU-PIE、UMIST、ORL、FERET和AR人脸库，对HR图像集进行平滑下采样处理，生成LR人脸图像集具体为：
对高分辨率HR图像集：YALE-B和CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80，FERET人脸库分辨率为40×40，AR人脸库分辨率为140×120，分别经过YALE-B和CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍，FERET人脸库4倍和5倍，AR人脸库10倍和20倍的平滑下采样生成低分辨：YALE-B和CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8，FERET人脸库分辨率为10×10和8×8，AR人脸库分辨率为14×12和7×6的LR人脸图像集；
步骤2，采用主动学习从LR人脸图像集中挑选源域样本，形成源域样本集，并构造源域样本的类别标签，LR人脸图像集中剩余的LR人脸图像形成目标域样本集；具体为：
采用主动学习从LR人脸图像集中挑选源域样本xi为第i个源域样本，D表示源域样本中样本的特征维度，nS为源域样本的数目；LR人脸图像集中剩余LR人脸图像作为目标域样本集，XT＝XL-XS，xj为第j个目标域样本，nT为目标域样本的数目，nS+nT＝N；
其中采用主动学习从LR人脸图像集中挑选源域样本具体为：
步骤2.1，从候选集，即就是LR人脸图像集XL中选择兼顾代表性准则和多样性准则的人脸图像，兼顾代表性准则和多样性准则的函数为：
其中，λ用来平衡样本的代表性准则与多样性准则，为人为设置参数，挑选出的人脸图像放在源域样本集中，源域样本集表示为D表示样本的特征维度，nS为源域样本的数目；
其中，R(xi)为人脸图像样本xi的代表性函数，从LR人脸图像集选择满足代表性准则的人脸图像，Ni为人脸图像样本xi的邻域样本数目，σR表示高斯核宽，/>ρ为尺度系数，将满足代表性准则的人脸图像样本放入集合S中；
D(xi)表示样本xi的多样性函数，从剩余候选集U＝XL-S挑选出满足多样性准则的人脸图像，多样性函数具体为：
步骤2.2，构造源域样本的类别标签列向量：
步骤3，同时减小源域与目标域样本之间的统计分布差异；具体为：
步骤3.1，建立边缘分布概率表达式：
其中，A为源域样本变换矩阵，B为目标域样本变换矩阵，F表示弗罗贝尼乌斯范数；
步骤3.2，建立条件分布概率表达式：
其中，c表示样本的类别，分别表示第c类源域与目标域样本的数量，XS,(c)，XT,(c)分别表示第c类源域与目标域样本。
步骤3.3，同时减小边缘与条件分布概率，实现跨域自适应匹配：
进行矩阵化表达为：
其中，
其中，是元素全为1的列向量；
步骤4，构造包含源域样本的流形结构、判别信息和标签信息的判别对齐矩；具体为：
步骤4.1，建立局部对齐表达式：
其中，μ∈[0,1]用来反映类内与类间样本对源域样本xi的重要性，为人为设置参数；为和源域样本xi属于同一类的第u个源域样本；/>为和源域样本xi不属于同一类的第v个源域样本，设/>为系数向量，kw、kb为人为设置的类内与类间样本数量的参数，则上式可改写为：
其中，为和源域样本xi不属于同一类样本的样本系数向量；/>为第i个源域样本xi的局部块；Wi是局部对齐矩阵，定义如下：
/>
步骤4.2，对步骤4.1中第i个源域样本xi的局部块通过源域样本xi的边缘度函数进行加权：
其中，源域样本xi的边缘度函数i＝1,...,nS，δ是一个正则项系数，t表示一个尺度因子，
步骤4.3，对于每一个局部块，通过步骤4.2进行优化，最终对所有优化的局部块进行整合得到判别对齐矩阵，假设第i个局部块是从全局候选集中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，p表示全局候选集中的第p个样本；Fi{q}表示局部块中的第q个样本；
步骤4.4，结合步骤4.2和步骤4.3，得到：
对所有优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
步骤4.5，通过迭代更新，得到最终包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：WL←W+mi Wi；
步骤5，建立源域与目标域样本的线性变换关系；具体为：建立线性变换关系，构建域自适应匹配子空间：
步骤6，然后根据统计分布差异、判别对齐矩以及线性变换关系构造关于源域与目标域样本变换矩阵的目标函数；具体为：
构造目标函数表达式：
其中，α和β被用来权衡各项对整体识别性能的重要性，为人为设置参数，/> 表示中心化矩阵；/>是元素全为1的列向量，I、IS和IT表示单位矩阵；
步骤7，求解目标函数，计算源域样本变换矩阵以及目标域样本变换矩阵；具体为：
设GT＝[AT BT]，则目标函数表达式简化式为：
s.t.ATXSCS(XS)TA＝I andBTXTCT(XT)TB＝I；根据约束优化理论，设/>表示拉格朗日多乘子，则目标函数表达式简化式的拉格朗日函数表示为：
设则得到拉格朗日函数的广义特征值分解为：
求解步骤拉格朗日函数的广义特征值分解，选取前k个最小的特征向量作为自适应矩阵G＝[g1,g2,..,gk]，其中g1,g2,..,gk表示自适应矩阵G中的元素，进而得到变换矩阵A和B；
二、测试阶段
步骤8，将源域与目标域人脸样本变换到公共域子空间，分别得到源域与目标域人脸变换特征，对变换到公共域子空间内的源域与目标域人脸变换特征进行分类，应用最近邻分类器推断出目标域人脸变换特征的类别标签，具体为：
步骤8.1，根据源域样本变换矩阵A和目标域样本变换矩阵B分别将源域样本XS与目标域样本XT变换到公共域子空间，得到源域与目标域人脸变换特征和
步骤8.2，应用最近邻分类器推断出目标域人脸变换特征的类别标签列向量具体为：
步骤8.2.1，初始化源域样本XS、目标域样本XT和源域样本的类别标签列向量
步骤8.2.2，计算目标域样本XT与源域样本XS的欧式距离：
步骤8.2.3，根据欧氏距离大小对源域样本进行升序排序；
步骤8.2.4，选取欧式距离最小的前θ个源域样本，统计其在各类别中出现的频率；
步骤8.4.5，返回频率最大的类别，即该目标域样本属于该类别
以下通过仿真实验验证本发明的有效性：
在相同的数据集条件设置下，采用对比实验的形式，选择一些使用主成分分析(简称PCA)和线性判别分析(简称LDA)提取人脸特征的基准方法，如HR-PCA(直接对HR人脸图像使用PCA提取特征)、HR-LDA(直接对HR人脸图像使用LDA提取特征)，几种迁移学习与域自适应方法，如迁移成分分析(简称TCA)、联合分布分析(简称JDA)、迁移联合匹配(简称TJM)、联合几何与统计对齐(简称JGSA)，几种耦合映射方法，如耦合局部保留映射(简称CLPMs)、耦合判别多流形分析(简称CDMMA)等方法进行比较，以验证本发明的有效性。
实验一，本发明利用Rank-1和分辨率为8×7(YALE-B和CMU-PIE人脸库)、9×8(UMIST和ORL人脸库)、8×8(FERET人脸库)、7×6(AR人脸库)进行实验，分析特征维度对识别效果的影响。从图2-7的仿真结果可以看出：除在AR人脸库上，识别性能稍差于HR-LDA基准方法外，本发明在其余5个标准人脸数据集上都达到最好的识别效果，识别性能均远优于其他方法。这是因为本发明联合主动学习、迁移学习、域自适应和子空间学习来减小不同域数据之间的统计分布差异，同时选择和保留源域样本的判别性信息以提高本发明的分类识别性能。
实验二，Rank-n是模式识别中用于评价识别算法性能的一项重要指标，它用于计算匹配结果中最靠前的n张人脸图像中包含正确匹配的概率。当匹配的人脸在候选集中按照相似性由大到小排序后，正确匹配的人脸排序越靠前，则算法的效果越好。本部分实验采用Rank-n来评价本发明的性能，图8-13是不同Rank级别下本发明的识别性能。从图8-13的仿真结果可以看出：以YALE-B人脸库的Rank-1为例，本发明在n个(n＝1,2,…,10)最相似人脸中第一次匹配到目标人脸的概率达到99.74％。而且，在5个标准人脸数据集上(AR人脸库除外)，本发明的最高识别率在不同rank级别均明显优于其他方法，识别率随着rank级别的逐渐增加而缓慢上升，最终趋于平缓。该实验充分表明了本发明具有较好的稳定性。
实验三，本实验分别对每个标准人脸数据集设置了两种分辨率来评估本发明的识别性能，分析分辨率对识别效果的影响，其中YALE-B和CMU-PIE人脸库的分辨率分别为8×7和16×14，UMIST和ORL人脸库分辨率分别为9×8和18×16，FERET人脸库的分辨率分别为8×8和10×10，AR人脸库的分辨率分别为7×6和14×12。从图14-19的仿真结果可以看出：除在AR人脸库上识别效果略差于HR-LDA方法，本发明在其他5个标准人脸数据集上的识别效果都要优于其他方法，不会受分辨率的影响而导致识别效果差于其他方法，充分说明了本发明对人脸样本的分辨率具有良好的鲁棒性。
上述三个实验的结果表明，本发明与已有的基于迁移学习和子空间学习的低分辨人脸识别方法相比，对样本具有更强的判别能力和可分性，识别性能远优于其他同类方法。

Claims (7)

1.一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，具体按照如下步骤实施：
步骤1，从标准人脸数据集中选取N幅HR人脸图像构成HR图像集，对HR图像集进行平滑下采样处理，生成LR人脸图像集；
步骤2，采用主动学习从LR人脸图像集中挑选源域样本，形成源域样本集，并构造源域样本的类别标签，LR人脸图像集中剩余的LR人脸图像形成目标域样本集；
步骤3，同时减小源域与目标域样本之间的统计分布差异；
步骤4，构造包含源域样本的流形结构、判别信息和标签信息的判别对齐矩；
步骤5，建立源域与目标域样本的线性变换关系；
步骤6，然后根据统计分布差异、判别对齐矩以及线性变换关系构造关于源域与目标域样本变换矩阵的目标函数；
步骤7，求解目标函数，计算源域样本变换矩阵以及目标域样本变换矩阵；
步骤8，将源域与目标域人脸样本变换到公共域子空间，分别得到源域与目标域人脸变换特征，对变换到公共域子空间内的源域与目标域人脸变换特征进行分类，应用最近邻分类器推断出目标域人脸变换特征的类别标签；
所述步骤2具体为：
采用主动学习从LR人脸图像集中挑选源域样本/>xi为第i个源域样本，D表示源域样本中样本的特征维度，nS为源域样本的数目；LR人脸图像集中剩余LR人脸图像作为目标域样本集，XT＝XL-XS，/>xj为第j个目标域样本，nT为目标域样本的数目，nS+nT＝N；
其中采用主动学习从LR人脸图像集中挑选源域样本具体为：
步骤2.1，从候选集，即就是LR人脸图像集XL中选择兼顾代表性准则和多样性准则的人脸图像，兼顾代表性准则和多样性准则的函数为：
其中，λ用来平衡样本的代表性准则与多样性准则，为人为设置参数，挑选出的人脸图像放在源域样本集中，源域样本集表示为D表示样本的特征维度，nS为源域样本的数目；
其中，R(xi)为人脸图像样本xi的代表性函数，从LR人脸图像集选择满足代表性准则的人脸图像，Ni为人脸图像样本xi的邻域样本数目，σR表示高斯核宽，/>ρ为尺度系数，将满足代表性准则的人脸图像样本放入集合S中；
D(xi)表示样本xi的多样性函数，从剩余候选集U＝XL-S挑选出满足多样性准则的人脸图像，多样性函数具体为：
步骤2.2，构造源域样本的类别标签列向量：
所述步骤3具体为：
步骤3.1，建立边缘分布概率表达式：
其中，A为源域样本变换矩阵，B为目标域样本变换矩阵，F表示弗罗贝尼乌斯范数；
步骤3.2，建立条件分布概率表达式：
其中，c表示样本的类别，分别表示第c类源域与目标域样本的数量，XS,(c)，XT,(c)分别表示第c类源域与目标域样本；
步骤3.3，同时减小边缘与条件分布概率，实现跨域自适应匹配：
进行矩阵化表达为：
其中，
所述步骤5具体为：建立线性变换关系，构建域自适应匹配子空间：
2.根据权利要求1所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述步骤1具体为：
从标准人脸数据库中选取N幅高分辨人脸图像构成HR图像集：其中，/>表示第i幅高分辨人脸图像，对HR图像集经过平滑下采样，生成低分辨的人脸图像集，即就是LR人脸图像集：/>其中/>表示第i幅低分辨人脸图像。
3.根据权利要求2所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述标准人脸数据库包括YALE-B、CMU-PIE、UMIST、ORL、FERET和AR人脸库，对HR图像集进行平滑下采样处理，生成LR人脸图像集具体为：
对高分辨率HR图像集：YALE-B和CMU-PIE人脸库分辨率为32×28，UMIST和ORL人脸库分辨率为90×80，FERET人脸库分辨率为40×40，AR人脸库分辨率为140×120，分别经过YALE-B和CMU-PIE人脸库2倍和4倍，UMIST和ORL人脸库5倍和10倍，FERET人脸库4倍和5倍，AR人脸库10倍和20倍的平滑下采样生成低分辨：YALE-B和CMU-PIE人脸库分辨率为16×14和8×7，UMIST和ORL人脸库分辨率为18×16和9×8，FERET人脸库分辨率为10×10和8×8，AR人脸库分辨率为14×12和7×6的LR人脸图像集。
4.根据权利要求1所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述步骤4具体为：
步骤4.1，建立局部对齐表达式：
其中，μ∈[0,1]用来反映类内与类间样本对源域样本xi的重要性，为人为设置参数；为和源域样本xi属于同一类的第u个源域样本；/>为和源域样本xi不属于同一类的第v个源域样本，设/>为系数向量，kw、kb为人为设置的类内与类间样本数量的参数，则上式可改写为：
其中，为和源域样本xi不属于同一类样本的样本系数向量；/>为第i个源域样本xi的局部块；Wi是局部对齐矩阵，定义如下：
步骤4.2，对步骤4.1中第i个源域样本xi的局部块通过源域样本xi的边缘度函数进行加权：
其中，源域样本xi的边缘度函数δ是一个正则项系数，t表示一个尺度因子；
步骤4.3，对于每一个局部块，通过步骤4.2进行优化，最终对所有优化的局部块进行整合得到判别对齐矩阵，假设第i个局部块是从全局候选集，即就是源域样本/>中挑选的，则：
其中，为挑选矩阵，定义如下：
其中，p表示全局候选集中的第p个样本；Fi{q}表示局部块中的第q个样本；
步骤4.4，结合步骤4.2和步骤4.3，得到：
对所有优化进行累加，得到全局对齐阶段表示形式：
其中，为判别对齐矩阵；
步骤4.5，通过迭代更新，得到最终包含样本的流形结构、判别信息和标签信息的判别对齐矩阵：WL←W+mi Wi。
5.根据权利要求1所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述步骤6具体为：
构造目标函数表达式：
其中，α和β被用来权衡各项对整体识别性能的重要性，为人为设置参数，表示中心化矩阵；/> 是元素全为1的列向量，I、IS和IT表示单位矩阵。
6.根据权利要求1所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述步骤7具体为：
设GT＝[AT BT]，则目标函数表达式简化式为：
根据约束优化理论，设表示拉格朗日多乘子，则目标函数表达式简化式的拉格朗日函数表示为：
设则得到拉格朗日函数的广义特征值分解为：
求解步骤拉格朗日函数的广义特征值分解，选取前k个最小的特征向量作为自适应矩阵G＝[g1,g2,..,gk]，其中g1,g2,..,gk表示自适应矩阵G中的元素，进而得到变换矩阵A和B。
7.根据权利要求1所述的一种基于主动判别性跨域对齐的低分辨人脸识别方法，其特征在于，所述步骤8具体为：
步骤8.1，根据源域样本变换矩阵A和目标域样本变换矩阵B分别将源域样本XS与目标域样本XT变换到公共域子空间，得到源域与目标域人脸变换特征和/>
步骤8.2，应用最近邻分类器推断出目标域人脸变换特征的类别标签列向量具体为：
步骤8.2.1，初始化源域样本XS、目标域样本XT和源域样本的类别标签列向量
步骤8.2.2，计算目标域样本XT与源域样本XS的欧式距离：
步骤8.2.3，根据欧氏距离大小对源域样本进行升序排序；
步骤8.2.4，选取欧式距离最小的前θ个源域样本，统计其在各类别中出现的频率；
步骤8.4.5，返回频率最大的类别，即该目标域样本属于该类别
CN202010465593.4A 2020-05-28 2020-05-28 一种基于主动判别性跨域对齐的低分辨人脸识别方法 Active CN111695456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010465593.4A CN111695456B (zh) 2020-05-28 2020-05-28 一种基于主动判别性跨域对齐的低分辨人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010465593.4A CN111695456B (zh) 2020-05-28 2020-05-28 一种基于主动判别性跨域对齐的低分辨人脸识别方法

Publications (2)

Publication Number Publication Date
CN111695456A CN111695456A (zh) 2020-09-22
CN111695456B true CN111695456B (zh) 2023-12-19

Family

ID=72478656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010465593.4A Active CN111695456B (zh) 2020-05-28 2020-05-28 一种基于主动判别性跨域对齐的低分辨人脸识别方法

Country Status (1)

Country Link
CN (1) CN111695456B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287811A (zh) * 2020-10-27 2021-01-29 广州番禺职业技术学院 一种基于hsic和rkhs子空间学习的域自适应方法
CN112348081B (zh) * 2020-11-05 2024-04-02 平安科技（深圳）有限公司 用于图像分类的迁移学习方法、相关装置及存储介质
CN112733970B (zh) * 2021-03-31 2021-06-18 腾讯科技（深圳）有限公司 图像分类模型处理方法、图像分类方法及装置
CN113239801B (zh) * 2021-05-13 2024-02-23 北京阿叟阿巴科技有限公司 基于多尺度特征学习和多级域对齐的跨域动作识别方法
CN113791688B (zh) * 2021-09-15 2023-09-26 山东建筑大学 基于脑机接口的多源域自适应想象语音生成方法及系统
CN114926877B (zh) * 2022-05-10 2024-02-20 西北工业大学 一种基于对比域差异的跨域人脸表情识别方法
CN114782763B (zh) * 2022-05-19 2022-11-11 哈尔滨工业大学 多视角高分遥感图像稀疏主成分对齐方法
CN114693983B (zh) * 2022-05-30 2022-09-30 中国科学技术大学 基于图像-实例对齐网络的训练方法和跨域目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318215A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于域鲁棒卷积特征学习的交叉视角人脸识别方法
EP2993618A1 (en) * 2014-09-04 2016-03-09 Xerox Corporation Domain adaptation for image classification with class priors
CN109034080A (zh) * 2018-08-01 2018-12-18 桂林电子科技大学 多源域自适应的人脸识别方法
WO2020082315A2 (zh) * 2018-10-23 2020-04-30 深圳大学 一种非负特征提取及人脸识别应用方法、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2993618A1 (en) * 2014-09-04 2016-03-09 Xerox Corporation Domain adaptation for image classification with class priors
CN104318215A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种基于域鲁棒卷积特征学习的交叉视角人脸识别方法
CN109034080A (zh) * 2018-08-01 2018-12-18 桂林电子科技大学 多源域自适应的人脸识别方法
WO2020082315A2 (zh) * 2018-10-23 2020-04-30 深圳大学 一种非负特征提取及人脸识别应用方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于稀疏子空间聚类的跨域人脸迁移学习方法;朱俊勇等;《中山大学学报(自然科学版)》(第05期);全文 *
高分五号高光谱影像的关联对齐域适应与分类;彭江涛等;《遥感学报》(第04期);全文 *

Also Published As

Publication number Publication date
CN111695456A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111695456B (zh) 一种基于主动判别性跨域对齐的低分辨人脸识别方法
CN111860612B (zh) 无监督高光谱图像隐低秩投影学习特征提取方法
CN107316013B (zh) 基于nsct变换和dcnn的高光谱图像分类方法
CN111738143B (zh) 一种基于期望最大化的行人重识别方法
CN111898736B (zh) 基于属性感知的高效行人重识别方法
CN107578007A (zh) 一种基于多特征融合的深度学习人脸识别方法
CN110796022B (zh) 一种基于多流形耦合映射的低分辨人脸识别方法
CN111695455B (zh) 一种基于耦合判别流形对齐的低分辨人脸识别方法
CN110458192B (zh) 基于视觉显著性的高光谱遥感图像分类方法及系统
CN112488205A (zh) 基于优化kpca算法的神经网络图像分类识别方法
CN110414616B (zh) 一种利用空间关系的遥感图像字典学习分类方法
CN112115881B (zh) 基于鲁棒鉴别特征学习的图像特征提取方法
Plichoski et al. A face recognition framework based on a pool of techniques and differential evolution
CN112836671A (zh) 一种基于最大化比率和线性判别分析的数据降维方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN113052017B (zh) 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法
CN108710836B (zh) 一种基于级联特征提取的唇部检测及读取方法
CN112966629A (zh) 基于图像变换和BoF模型的遥感图像场景分类方法
Zhan et al. A video semantic analysis method based on kernel discriminative sparse representation and weighted KNN
CN112966735A (zh) 一种基于谱重建的监督多集相关特征融合方法
CN112364809A (zh) 一种高准确率的人脸识别改进算法
CN110852304B (zh) 基于深度学习方法的高光谱数据处理方法
CN114943862A (zh) 一种基于结构性解析字典学习的两阶段图像分类方法
CN112069978B (zh) 基于互信息和字典学习的人脸识别方法
CN112364902B (zh) 一种基于自适应相似性的特征选择学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231016

Address after: No. 7, West Qiheng, Hongguangkeng Weichi, Huanggang Town, Raoping County, Chaozhou City, Guangdong Province, 521000

Applicant after: Zhong Xiaoxuan

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20231016

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant