CN112966554B - 一种基于局部连续性的鲁棒性人脸识别方法及系统 - Google Patents

一种基于局部连续性的鲁棒性人脸识别方法及系统 Download PDF

Info

Publication number
CN112966554B
CN112966554B CN202110143317.0A CN202110143317A CN112966554B CN 112966554 B CN112966554 B CN 112966554B CN 202110143317 A CN202110143317 A CN 202110143317A CN 112966554 B CN112966554 B CN 112966554B
Authority
CN
China
Prior art keywords
image
face
vector
recognized
shielding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110143317.0A
Other languages
English (en)
Other versions
CN112966554A (zh
Inventor
米建勋
黄强
陈涛
向菲
钱基业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202110143317.0A priority Critical patent/CN112966554B/zh
Publication of CN112966554A publication Critical patent/CN112966554A/zh
Application granted granted Critical
Publication of CN112966554B publication Critical patent/CN112966554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部连续性的鲁棒性人脸识别方法,获取N张人脸图像,遍历n类人脸图像,将n个子字典拼接为n类人脸图像的字典A;获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像,计算残差图像,获得匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对W1进行处理,获得Wt;将Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判Wt是否满足收敛条件,基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像;获得待识别人脸图像的分类结果i;本发明的有益效果为提升了人脸识别的鲁棒性,弥补了算法对连续性遮挡鲁棒性不高,在遮挡情况下的人脸识别率有大幅提升。

Description

一种基于局部连续性的鲁棒性人脸识别方法及系统
技术领域
本发明涉及模式识别与计算机视觉技术领域,尤其涉及一种基于局部连续性的鲁棒性人脸识别方法和系统。
背景技术
近20年来,随着数学的发展,模式识别和计算机视觉领域得到了广泛的研究。其中,人脸识别在这一领域非常活跃,并在许多领域得到了广泛的应用。
Wright等人发现测试样本的表示编码具有稀疏性,即可以用少量的训练样本就可以很好的表示出测试样本,在压缩感知理论中,L0范数能带来稀疏性质,但是L0范数最小化是一个NP困难问题,所以广泛地使用L1范数来代替L0范数,于是Wright等人用L1范数去约束正则项以获得稀疏表示,提出了基于稀疏表达的分类(SRC:Sparse Representation-based Classifier)算法。
由于SRC在人脸识别上表现出很好的结果,后续有大量的工作对其进行拓展。Wang等人,深入研究了SRC的工作机制,认为是协同表示(CR:Collaborate Representation),即用所有的训练样本来表示测试样本,才是真正提升识别准确率的关键,在此之上,他们提出了用 L2范数替换L1范数来约束正则项,不仅提升了算法效率,而且识别率也和SRC差距不大。近些年来,更多的研究人员将目光专注于保真项上的研究,因为它描述了一个编码能否很好的表示原始的图像,甚至能忽略遮挡的负面影响。Fan等人提出了一种加权稀疏表示分类 WSRC的方法,利用高斯距离得到每个测试样本与所有训练样本的相似程度,然后以此作为样本级别的权重,附加到L2范数的保真项上。专利号CN201911150556.8中的联合近邻的加权方法也是用高斯函数计算样本之间的距离作为权重。专利号CN202010787463.2也类似地用待识别样本与每类样本之间的距离作为权重,将加权的思想引入到CR中。这些样本级别的权重对于遮挡的情况识别率提升不显著。
Yang等人提出了鲁棒性稀疏编码(RSC:Robust Sparse Coding),采用像素级别的权重,通过近似描述误差图像的分布来确定每个像素点的权重。这样的权重还有一个很好的物理性质,即权重大小代表了该像素点的遮挡或腐败的概率。He等人采用相关熵准则来代替L2范数计算测试样本和重构图像之间的相关性,通过最大化目标函数得到了与RSC类似的像素级别的权重。专利号CN202010711307.8中的主权项S4对重构残差增加权重来抑制误差对识别结果的影响的权重计算方法也是像素级别的权重计算方法。这些方法都是独立同分布地考虑每个像素点的权重。
专利号201410088003.5提出了残差图的概念,与本专利的匹配标记图定义上类似,但是该专利利用残差图计算最大聚集度平均值对应的类别确定为所述待识别人脸图像的类别。而本发明专利需要进一步利用匹配标记图得到遮挡支撑图像。
综上所述的方法都未充分注意到一个事实:在日常生活中产生的遮挡都是具有连续性的特性。因此在连续性遮挡情况下的识别率都不是很高。
发明内容
本发明的目的在于提供一种基于局部连续性的鲁棒性人脸识别方法和系统,通过采用加权稀疏并且采用又粗到细的优化策略,提升了算法的效率以及算法的精度。
本发明通过下述技术方案实现:
一种基于局部连续性的鲁棒性人脸识别方法,包括以下方法步骤:
S1:获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
S2:获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
S3:基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
S4:基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
S5:将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则进入步骤S5,若满足,则进入步骤S6;
S6:基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并重复步骤S3~S4;
S7:基于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。
传统的人脸识别方法,通过联合近邻的加权方法并利用高斯函数计算样本之间的距离作为权重,或者类似的用待识别样本与每类样本之间的距离作为权重,但是这种样本级别的权重对于遮挡的情况识别率提升不显著,或者采用通过重构残差增加权重来抑制误差对识别结果的影响,但是这种方法独立的分布考虑每个像素点的权重,本发明提出了一种基于局部连续性的鲁棒性人脸识别方法,通过采用加权稀疏的方法,并通过由粗到细不断的进行优化的方法,能够提升算法的精度以及效率。
优选地,所述步骤S4的具体操作方法为:
基于匹配标记图M,计算遮挡支撑图像W1
W1 i,j=H(CM(i,j)-ε)
其中,CM(i,j)为在匹配标记图中,第i行第j列的一个像素点周围3*3领域的匹配点个数,且值为1的像素点个数;
所述CM(i,j)计算表达式为:
Figure BDA0002930071510000031
所述匹配点为Mi,j矩阵中,|Ei,j|≤τ的点;
基于遮挡支撑图像W1,通过迭代更新的方法,计算遮挡支撑图像Wt
Figure BDA0002930071510000032
其中,
Figure BDA0002930071510000033
为在第t-1个遮挡支撑图像中,第i行第j列的一个像素点周围3*3领域的匹配点个数,
所述CW(i,j)的计算表达式为:
Figure BDA0002930071510000034
H(·)是单位阶跃函数,ε是一个区间为[1,9]的整数值。
优选地,所述M具体的计算表达式为:
Figure BDA0002930071510000035
|E|=|y-y′|
其中,E为残差图像,τ为预设残差阈值,i为矩阵图像中的行数,j为矩阵图像中的列数。
优选地,所述y′的具体计算表达式为:
y′(y-amean)T·Q·QT+amean
Figure BDA0002930071510000036
其中,y为待识别向量图像,Q为主成分的投影矩阵,T为矩阵转置,N为向量图像的个数,amean为向量图像的平均值。
优选地,所述步骤S5中x的具体表达计算式为:
Figure BDA0002930071510000041
y*=w⊙y
A*=w⊙A
其中,⊙表示Hadamard积,即向量的每个元素对应相乘。
优选地,所述步骤S6中,第二模板图像的表达式为:
Figure BDA0002930071510000042
Figure BDA0002930071510000043
为第二模板图像。
优选地,所述i的具体计算表达式为:
Figure BDA0002930071510000044
Figure BDA0002930071510000045
A=[A1,A2,...,AK]∈Rm×N
其中,m为人脸向量的长度。
本发明还公开了一种基于局部连续性的鲁棒性人脸识别系统,所述人脸识别系统包括:
图像采集分析模块,用于获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
图像分析模块,用于获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
第一图像计算模块,用于基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
第二图像计算模块,用于基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
判断识别模块,用于将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则将结果输入到所述重构模块中,若满足,则将结果输入到分类模块中;
重构模块,用于基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并将第二模板图像输入到所述第一图像计算模块中;
分类模块,用于基于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。。
本发明与现有技术相比,具有如下的优点和有益效果:
1、采用本发明公开的一种基于局部连续性的鲁棒性人脸识别方法和系统,采用加权稀疏的表示方法,提升了人脸识别的鲁棒性;
2、采用本发明公开的一种基于局部连续性的鲁棒性人脸识别方法和系统,保证随机噪声攻击下的识别率的同时,弥补了这些算法对连续性遮挡鲁棒性不高的问题,在遮挡情况下的人脸识别率有大幅提升;
3、采用本发明公开的一种基于局部连续性的鲁棒性人脸识别方法和系统,采用更新迭代的方法,使得算法的效率提升,且同时提高了算法的精度
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为人脸识别方法示意图
图2人脸识别系统示意图
图3为求解遮挡支撑图像的流程图
图4为求解遮挡支撑图的过程示意图
图5为对比实验结果
图6为终端电路结构示意图
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
实施例一
本实施例公开了一种基于局部连续性的鲁棒性人脸识别方法,如图1所示,包括以下方法步骤:
S1:获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
预先采集的N张人脸图像是没有遮挡情况下的干净正视人脸,因为在这种情况下能得到更加准确的模板图,在本实施例中采用的是AR人脸图像数据集中的未遮挡的人脸作为训练集,有墨镜和围巾遮挡的图片作为测试集,
在采集完N张人脸图像之后,要现将图片进行裁剪并缩放到合适的尺寸,要求是在保证精度的情况下尽可能的小,因为这样能加快模型的处理速度,本实施例中采用的尺寸是42*30。然后将图片转换成向量的形式,并且对每个向量进行L2范数的归一化:
Figure BDA0002930071510000061
这是由于通常人脸的数据会由于光照等因素的影响导致人脸数据之间的差异较大,导致算法的不稳定性,通过L2范数归一化后会减小这方面的影响,在处理完数据之后,需要构造一个过完备的字典,它是由训练数据组成的,同一类的人脸要邻接在一起形成一个子字典A_i,将所有子字典拼接在一块形成一个过完备的字典A=[A1,A2,...,AK]∈Rm×N
S2:获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
对待识别人脸图像的处理中,本实施例首先将其转换为向量图像,然后在计算匹配标记图像的时候需要一个不含遮挡的重构人脸作为一个模板图片,进而计算遮挡与未遮挡图片的差异,以此来初步确定遮挡区域,在后续过程中可以采用优化后的稀疏编码来重构图片会有一定的去遮挡的效果,但是在初步的时候需要一个模板图片,常用的是直接使用所有数据的平均值作为初始的模板,但是这样的精度不够高。
本实施例中采用PCA降维提取主要的成分后重构图像作为模板图片,具体的转换方法是:
1.先计算训练集样本的平均值amean
Figure BDA0002930071510000062
2.计算出PCA降维的主成分的投影矩阵Q,具体计算方法是对AAT做特征值分解,通过训练集的方法,得到的投影矩阵,取最大的前面一些特征值所对应的特征向量。(本实施例中取前50个特征值对应的特征向量)
3.对待识别样本提取主要的成分后重构图像作为初始化模板:y'为初始化模板
y′=(y-amean)T·Q·QT+amean
S3:基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
Figure BDA0002930071510000063
|E|=|y-y′|
其中,E为残差图像,τ为预设残差阈值,i为矩阵图像中的行数,j为矩阵图像中的列数。
首先定义匹配标记图:M∈Rp×q,它的大小与原始图像尺寸一致,但是前面在初始化的时候待识别人脸数据y以及模板y'被转化成了向量,因此在计算匹配标记图的时候需要将待识别人脸一维数据y以及模板y'先暂时转换成二维的图像。
匹配标记图M是对图片的遮挡情况的初步预判断,M的定义与残差图像的绝对值有关,即原始图像减去重构的图像的绝对值(残差图像)|E|=|y-y′|,计算采用阈值判别方法,它的具体计算方法如下:y为原始图像的矩阵数据
Figure BDA0002930071510000071
E(i,j)表示在(i,j)处的像素的残差值,τ是一个小的正标量值,他在计算遮挡支撑图像的值起着很重要的作用,如果τ值设置的太大,则表示一直认为所有像素点都能匹配上,那么所提出的模型就会退化为经典的SRC,对遮挡的鲁棒性就会下降,因为得到的M是几乎全“1”值,无法进一步的获得局部空间信息。
而如果τ的值设置的太低,那么表示大部分像素点都没有匹配上,这会导致本算法可利用的像素点非常少,也会造成识别率的下降。实际上M为零值超过了一半的时候,表现在原始图像上就是遮挡面积超过一半,即使是人类视觉也难以识别,因此太大或太小的τ都会导致匹配标记图的不正确,本专利建议先将残差按从小到大排列,取在区间60%-90%之间的值合适。
S4:基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
如图3和图4所示,在图4当中,图中的b模板,d为匹配标记图,e为遮挡支撑图。
基于匹配标记图M,计算遮挡支撑图像W1
W1 i,j=H(CM(i,j)-ε)
其中,CM(i,j)为在匹配标记图中,第i行第j列的一个像素点周围3*3领域的匹配点个数,即值为‘1’的像素点个数,其计算方法为:
Figure BDA0002930071510000072
所述匹配点为Mi,j矩阵中,|Ei,j|≤τ的点;
基于遮挡支撑图像W1,通过迭代更新的方法,计算遮挡支撑图像Wt
Figure BDA0002930071510000081
其中,
Figure BDA0002930071510000082
为在第t-1个遮挡支撑图像中,第i行第j列的一个像素点周围3*3领域的匹配点个数,其计算方法为:
Figure BDA0002930071510000083
H(·)是单位阶跃函数,ε是一个区间为[1,9]的整数值,它表示领域有ε个匹配像素点的时候该点才是匹配状态,否则为未匹配状态,也就是属于遮挡区域。
如果每次仅做一次上述操作不能利用局部空间连续性,因此进一步地在每轮计算遮挡支撑图像的时候迭代进行上述类似于滤波的操作,W进行自我更新,正是因为这个机制,使得本发明专利的方法可以获得更精确的遮挡区域,从而能够消除遮挡的影响。
S5:将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则进入步骤S5,若满足,则进入步骤S6;
Figure BDA0002930071510000084
y*=w⊙y
A*=w⊙A
其中,⊙表示Hadamard积,即向量的每个元素对应相乘。
参数λ对于目标函数求解至关重要,它平衡了保真项(重构误差)和正则项(编码的约束) 之间的关系,较大的参数能加快模型速度,但是会导致编码不稀疏,进一步的会导致局部混叠现象,即待识别的人脸图像在其他类的编码响应比在本类的编码响应更大,占主导地位,最终导致分类出错;较小的参数反之。为了提高精度不降低效率,
在第一步计算遮挡支撑图像的时候使用较大的正则化因子λ1
在第二步计算用于分类任务的稀疏编码的时候使用较小正则化因子λ2(通常是λ1的 1/10)。
加权稀疏表示的思想是使用一个权重向量,它为较小的误差提供更大的权重;为较大的误差提供较小的权重,从而可以降低异常点对目标函数的影响。而本实施例专利提出的二值化遮挡支撑图像具有更好的性质,即直接关注未遮挡的像素点,直接忽略遮挡点,这样异常点/遮挡点不会对目标函数造成不良影响。
其实加权稀疏表示的求解方法本质上是一个lasso的求解过程,因此将它改成lasso形式:
Figure BDA0002930071510000091
其中y*=w⊙A,A*=w⊙A。
其求解方式有很多,本发明专利采用的是交替方向乘子法(ADMM)方法对其进行求解:
1.初始化向量x,z,u∈RN×1为全零向量
2.交替迭代更新这三个向量,在更新一个向量的时候固定其他两个:
xk+1=(ATA+ρI)-1(ATy+ρ(zk-uk))
zk+1=Sλ/ρ(xk+1+uk)
uk+1=uk+xk+1-zk+1
3.重复2直到算法收敛,最后输出z作为加权稀疏表示向量。
S6:基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并重复步骤S3~S4;第二模板图像的表达式为:
Figure BDA0002930071510000092
Figure BDA0002930071510000093
为第二模板图像。
采用重新构建模板图像,并对图像重复上面的步骤进行计算,能够使得最终计算的得到的种类结果更精确。
S7:基于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。
由于同一个人的人脸图片可以认为是分布在一个线性子空间上,同一个类别的人脸图像是可以相互线性表达的,因此在对编码进行稀疏约束下理想的最后稀疏表示向量对于第i个特定类别子字典Ai是非零,其他地方为零。基于这个理论,可以通过将字典A=[A1,A2,...,AK] 分成K个特定类别的子字典,然后与稀疏表示相应的区间相乘重构回不含遮挡的人脸图像,最后通过下面式子得到分类结果i:
Figure BDA0002930071510000094
Figure BDA0002930071510000095
A=[A1,A2,...,AK]∈Rm×N
其中,m为人脸向量的长度。
为了验证本发明所提方法基于局部连续性加权稀疏表示的人脸识别的优越性,将本发明所提方法(记做:LSCSR)与传统的方法如:NN,SVM,SRC,RSC等方法进行了比较,如图表5所示。从图表5可以看出,LSCSR的对墨镜和围巾遮挡的情况下的识别率是所对比方法中最高的,特别是比较于RSC来说由于引入了局部连续性,算法的提升特别明显。
实施例二
本实施例公开了一种基于局部连续性的鲁棒性人脸识别系统,人脸识别系统用于实现实施例一中的一种基于局部连续性的鲁棒性人脸识别方法,如图2所示,人脸识别系统包括:
图像采集分析模块,用于获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
图像分析模块,用于获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
第一图像计算模块,用于基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
第二图像计算模块,用于基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
判断识别模块,用于将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则将结果输入到所述重构模块中,若满足,则将结果输入到分类模块中;
重构模块,用于基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并将第二模板图像输入到所述第一图像计算模块中;
分类模块,用于基于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。
实施例三
本实施例公开了一种手机终端,此终端实现实施例一中的人脸识别图像方法,
图6所示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图6,手机包括:射频(Radio Frequency,RF)电路、存储器、输入单元、显示单元、传感器、音频电路、无线保真(Wireless Fidelity,WIFI)模块、处理器、以及电源等部件。本领域技术人员可以理解,图6中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
RF电路可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器处理;另外,将设计上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System of Mobilecommunication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址 (Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、第五代移动通信技术5G等。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能) 等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、拍摄的图像数据等) 等,本发明中存储数据区可存储多个类别的人脸图像,其中,人脸图像可以被预先转化成向量的形式被存储。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元可用于接收输入的数字或字符信息。本发明中的输入单元可用于接收待识别人脸图像。具体地,输入单元可包括触控面板以及其他输入设备。触控面板,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等在触控面板附近的操作),并根据预先设定的程式驱动相应的连接装置。除了触控面板,输入单元还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、鼠标、操作杆等中的一种或多种。
显示单元可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元可包括显示面板,可选的,可以采用液晶显示器、有机发光二极管等形式来配置显示面板。进一步的触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器以确定触摸事件的类型,随后处理器根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图6中,触控面板与显示面板是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板与显示面板集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器,比如光传感器、运动传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在手机移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
处理器是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器可包括一个或多个处理单元;
尽管未示出,手机还可以包括电池、摄像头、蓝牙模块等,在此不再赘述。
具体在本实施例中,终端中的处理器会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器中,并由处理器来运行存储在存储器中的应用程序,从而实现各种功能:
1接收任一待识别人脸图像,并将所述待识别人脸图像转化成向量的形式,计算待识别人脸图像对应初始模板;
2利用模板图片对所述待识别人脸图像计算遮挡支撑图像;
3计算所述待识别人脸图像对应的编码向量;
4利用所有训练集的人脸图像和待识别人脸的编码向量,重构待识别人脸图像的人脸,得到待识别人脸的重构无遮挡的人脸图像作为模板;
5用于利用每个类别的人脸图像和所述类别对应的编码向量,重构所述待识别人脸图像,得到每个类别对应的重构人脸图像,结合遮挡支撑图像,计算误差最小的一个类别作为分类结果。
对于装置实施例而言,由于其基本对应于方法实施例一,所以相关之处参见方法实施例一的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,包括以下方法步骤:
S1:获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
S2:获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
S3:基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
S4:基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
S5:将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则进入步骤S5,若满足,则进入步骤S6;
S6:基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并重复步骤S3~S4;
S7:基于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。
2.根据权利要求1所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述步骤S4的具体操作方法为:
基于匹配标记图M,计算遮挡支撑图像W1
W1 i,j=H(CM(i,j)-ε)
其中,CM(i,j)为在匹配标记图中,第i行第j列的一个像素点周围3*3领域的匹配点个数,且值为1的像素点个数;
所述CM(i,j)计算表达式为:
Figure FDA0003638401770000011
所述匹配点为Mi,j矩阵中,|Ei,j|≤τ的点,τ为预设残差阈值;
基于遮挡支撑图像W1,通过迭代更新的方法,计算遮挡支撑图像Wt
Figure FDA0003638401770000012
其中,
Figure FDA0003638401770000013
为在第t-1个遮挡支撑图像中,第i行第j列的一个像素点周围3*3领域的匹配点个数,
所述CW(i,j)的计算表达式为:
Figure FDA0003638401770000021
H(·)是单位阶跃函数,ε是一个区间为[1,9]的整数值。
3.根据权利要求2所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述M具体的计算表达式为:
Figure FDA0003638401770000022
|E|=|y-y′|
其中,E为残差图像,i为矩阵图像中的行数,j为矩阵图像中的列数,y′为第一模板图像。
4.根据权利要求3所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述y′的具体计算表达式为:
y′=(y-amean)T·Q·QT+amean
Figure FDA0003638401770000023
其中,y为待识别向量图像,Q为主成分的投影矩阵,T为矩阵转置,N为向量图像的个数,amean为向量图像的平均值。
5.根据权利要求1所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述步骤S5中x的具体表达计算式为:
Figure FDA0003638401770000024
y*=w⊙y
A*=w⊙A
其中,⊙表示Hadamard积,即向量的每个元素对应相乘。
6.根据权利要求1所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述步骤S6中,第二模板图像的表达式为:
Figure FDA0003638401770000025
Figure FDA0003638401770000026
为第二模板图像。
7.根据权利要求5所述的一种基于局部连续性的鲁棒性人脸识别方法,其特征在于,所述i的具体计算表达式为:
Figure FDA0003638401770000031
Figure FDA0003638401770000032
A=[A1,A2,...,AK]∈Rm×N
其中,m为人脸向量的长度。
8.一种基于局部连续性的鲁棒性人脸识别系统,其特征在于,所述人脸识别系统包括:
图像采集分析模块,用于获取N张人脸图像,所述N张人脸图像由n类人脸图像组成,选择任意一类人脸图像,将该类人脸图像转换为向量图像,该向量图像组成一个子字典,遍历n类人脸图像,获得n个子字典,将n个子字典拼接为n类人脸图像的字典A,所述N张人脸图像均为没有遮挡情况下的人脸图像;
图像分析模块,用于获取待识别人脸图像,采用PCA降维方法提取待识别向量图像中主成分,并将提取的主成分构建为第一模板图像;
第一图像计算模块,用于基于第一模板图像,计算残差图像,基于残差图像,获得匹配标记图M;
第二图像计算模块,用于基于匹配标记图M,获得遮挡支撑图像W1,通过迭代更新方法对遮挡支撑图像W1进行处理,获得遮挡支撑图像Wt
判断识别模块,用于将遮挡支撑图像Wt作为权重,计算待识别人脸图像的加权稀疏表示向量x,并判断遮挡支撑图像Wt是否满足收敛条件,若不满足,则将结果输入到重构模块中,若满足,则将结果输入到分类模块中;
重构模块,用于基于加权稀疏表示向量,构建待识别人脸图像的第二模板图像,并将第二模板图像输入到所述第一图像计算模块中;
分类模块,用于遮挡支撑图像Wt、加权稀疏表示向量x与字典A,获得待识别人脸图像的分类结果i。
CN202110143317.0A 2021-02-02 2021-02-02 一种基于局部连续性的鲁棒性人脸识别方法及系统 Active CN112966554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110143317.0A CN112966554B (zh) 2021-02-02 2021-02-02 一种基于局部连续性的鲁棒性人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110143317.0A CN112966554B (zh) 2021-02-02 2021-02-02 一种基于局部连续性的鲁棒性人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN112966554A CN112966554A (zh) 2021-06-15
CN112966554B true CN112966554B (zh) 2022-07-01

Family

ID=76271891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110143317.0A Active CN112966554B (zh) 2021-02-02 2021-02-02 一种基于局部连续性的鲁棒性人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN112966554B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657259B (zh) * 2021-08-16 2023-07-21 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069402A (zh) * 2015-07-17 2015-11-18 西安交通大学 一种面向人脸识别的改进鲁棒稀疏编码算法
CN108805179A (zh) * 2018-05-24 2018-11-13 华南理工大学 一种基于人脸局部约束编码校准识别方法
CN112232250A (zh) * 2020-10-23 2021-01-15 镇江昭远智能科技有限公司 一种基于判别性低秩分解与稀疏表示的人脸识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090010500A1 (en) * 2007-06-05 2009-01-08 Umasankar Kandaswamy Face Recognition Methods and Systems
CN104200194B (zh) * 2014-08-06 2018-04-27 北京工业大学 一种人脸识别方法
US9430694B2 (en) * 2014-11-06 2016-08-30 TCL Research America Inc. Face recognition system and method
CN108509843B (zh) * 2018-02-06 2022-01-28 重庆邮电大学 一种基于加权的Huber约束稀疏编码的人脸识别方法
CN108681725A (zh) * 2018-05-31 2018-10-19 西安理工大学 一种加权稀疏表示人脸识别方法
CN109886869B (zh) * 2018-10-15 2022-12-20 武汉工程大学 一种基于上下文信息的非线性拓展的人脸幻构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069402A (zh) * 2015-07-17 2015-11-18 西安交通大学 一种面向人脸识别的改进鲁棒稀疏编码算法
CN108805179A (zh) * 2018-05-24 2018-11-13 华南理工大学 一种基于人脸局部约束编码校准识别方法
CN112232250A (zh) * 2020-10-23 2021-01-15 镇江昭远智能科技有限公司 一种基于判别性低秩分解与稀疏表示的人脸识别方法

Also Published As

Publication number Publication date
CN112966554A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN110321965B (zh) 物体重识别模型的训练方法、物体重识别的方法及装置
CN110517319B (zh) 一种相机姿态信息确定的方法及相关装置
CN114418069A (zh) 一种编码器的训练方法、装置及存储介质
US20220327358A1 (en) Feedback adversarial learning
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
WO2024061269A1 (zh) 一种三维重建方法及相关装置
CN111556337B (zh) 一种媒体内容植入方法、模型训练方法以及相关装置
CN112966554B (zh) 一种基于局部连续性的鲁棒性人脸识别方法及系统
CN113822427A (zh) 一种模型训练的方法、图像匹配的方法、装置及存储介质
CN113723185A (zh) 动作行为识别方法、装置、存储介质及终端设备
CN116363750A (zh) 人体姿态预测方法、装置、设备及可读存储介质
CN114170688B (zh) 人物交互关系识别方法、装置、电子设备
CN111914106B (zh) 纹理与法线库构建方法、纹理与法线图生成方法及装置
CN114399028B (zh) 信息处理方法、图卷积神经网络训练方法及电子设备
CN114724254B (zh) 确定动作类别的方法、装置、设备、存储介质
CN116030466A (zh) 图像文本信息识别与处理方法、装置及计算机设备
CN115546271A (zh) 基于深度联合表征的视觉分析方法、装置、设备及介质
CN115601834A (zh) 基于WiFi信道状态信息的跌倒检测方法
CN117009878A (zh) 基于超图的分类方法、装置、计算机设备及存储介质
CN114565777A (zh) 数据处理方法和装置
CN111797860B (zh) 特征提取方法、装置、存储介质及电子设备
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN113642607B (zh) 人脸图像聚类方法、装置、设备及计算机可读存储介质
Yazdani et al. The application of tensor ring and tensor train completion to image recovery
CN110971786B (zh) 一种拍摄方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant