CN110210336B - 一种低分辨率单样本人脸识别方法 - Google Patents
一种低分辨率单样本人脸识别方法 Download PDFInfo
- Publication number
- CN110210336B CN110210336B CN201910411353.3A CN201910411353A CN110210336B CN 110210336 B CN110210336 B CN 110210336B CN 201910411353 A CN201910411353 A CN 201910411353A CN 110210336 B CN110210336 B CN 110210336B
- Authority
- CN
- China
- Prior art keywords
- local
- face
- sample
- model
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 80
- 238000012360 testing method Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 11
- 238000011176 pooling Methods 0.000 claims description 35
- 239000013598 vector Substances 0.000 claims description 26
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002195 synergetic effect Effects 0.000 claims description 4
- 210000000056 organ Anatomy 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004186 co-expression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低分辨率单样本人脸识别方法，包括以下步骤：构建单样本训练集和低分辨率测试集；构建统一局部特征提取模型，使用该模型提取出测试样本与训练样本的局部区块中具有固定维数的人脸卷积特征；构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征；构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。本发明构建的基于局部协同表示特征融合判别的人脸识别方法，可显著提高低分辨率单样本场景下的人脸识别率。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种低分辨率单样本人脸识别方法。
背景技术
对于低分辨率人脸识别问题，目前的解决方案分为以下两类：基于超分辨率重建技术以及统一特征空间投影。其中基于超分辨率重建技术是对低分辨率人脸特征进行重建，以增加人脸图像中具有判别特性的特征。基于统一特征空间投影的方法则是将不同分辨率的人脸特征投影至一个统一的特征空间中，在投影后的特征空间中进行人脸识别。以上两种解决方案能有效解决低分辨率场景中人脸识别率低的问题。若将以上解决方案直接应用于单训练样本的人脸识别，那么使用以上算法所训练的人脸分类模型将出现泛化能力不足的问题，当测试集中的人脸出现多种类内变化时，将导致以上算法的人脸识别率急剧下降。
在单样本人脸识别方面，主要有如下两种类型方法：基于局部特征匹配与基于通用训练集。其中基于局部特征匹配的方法利用了人脸局部特征不容易受到光照、表情与姿态等各种干扰因素影响的特性，来实现单样本人脸的识别。基于通用训练集方法是使用额外的人脸数据集构建人脸类内变化字典，使用该字典来生成具有各种类内变化的人脸特征，应用所生成的特征对训练集中的样本特征进行扩充，从而实现对单样本人脸的识别。若直接将以上两种方法用于识别低分辨率人脸，则会因为图像分辨率过低，无法从图像中提取具有判别特性的人脸特征，从而导致人脸识别率严重低下，无法满足实际应用需求。
通过以上分析可知，现有的解决方法均无法同时有效解决测试样本分辨率低与每个类只有一张训练样本的问题。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种低分辨率单样本人脸识别方法。
本发明解决其技术问题所采用的技术方案是：一种低分辨率单样本人脸识别方法，包括以下步骤：
S1)构建单样本训练集和低分辨率测试集；
为每个人选择一张清晰正面的人脸图片用于构建训练集，选择具有多种类内变化且分辨率较低的人脸图片作为测试集；
S2)构建统一局部特征提取模型，使用该模型提取出测试样本与训练样本的局部区块中具有固定维数的人脸卷积特征；所述局部区块为对人脸图像根据设定人脸局部特征的提取区域进行划分得到的人脸图像的区块；使用人脸特征点定位算法对测试集与训练集中的人脸图片进行区块划分；
S3)构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征；
S4)构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。
按上述方案，所述步骤S2)中对人脸图像根据设定人脸局部特征的提取区域进行划分，包括：使用特征点定位算法对图像中的人脸进行特征点定位，根据所定位的人脸特征点对人脸图像进行区块划分。
按上述方案，所述步骤S2)中对图像中的人脸进行特征点定位，根据所定位的人脸特征点对人脸图像进行区块划分，具体包括：
使用特征点定位算法对人脸五官区域进行特征点定位，获得人脸特征点；
基于所定位的人脸特征点，为每个人脸特征点指定一个不包括背景环境的正方形邻域作为人脸局部特征的提取区域。
按上述方案，所述步骤2)中统一局部特征提取模型为卷积神经网络模型，该卷积神经网络模型包括输入层、4个卷积层、1个最大池化层以及1个空间金字塔池化层，按顺序连接布置为输入层、卷积层1、卷积层2、最大池化层、卷积层3、卷积层4和空间金字塔池化层；所述卷积层3和卷积层4分别和空间金字塔池化层连接。
按上述方案，所述步骤2)中统一局部特征提取模型为卷积神经网络模型，该卷积神经网络模型包括输入层、4个卷积层、1个最大池化层、1个空间金字塔池化层以及两个全连接层，按顺序连接布置为输入层、卷积层1、卷积层2、最大池化层、卷积层3、卷积层4、空间金字塔池化层、全连接层1和全连接层2；所述卷积层3和卷积层4分别和空间金字塔池化层连接，空间金字塔池化层对卷积层3和卷积层4的特征进行投影得到特征向量V1和V2，随后对特征向量V1和V2进行串联合成后连接至全连接层1。
按上述方案，所述步骤2)中统一局部特征提取模型中各层参数的设置如下：
卷积层1(Conv1)的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1；
卷积层2(Conv2)的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1；
最大池化层1(Max pooling 1)的卷积核数量为30个，卷积核尺寸为2×2，填充为0，步长为2；
卷积层3(Conv3)的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1；
卷积层4(Conv4)的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1；
空间金字塔池化层SPP((Spatial Pyramid Pooling,SPP)，SPP层将不同维数的卷积特征投影成具有固定维数的卷积特征，SPP层的具体结构如下：
SPP层包括四个降采样层，四个降采样层的尺寸分别为：1×1，2×2，4×4和6×6，四个降采样层对输入的卷积特征图进行处理，获得具有固定维数的人脸特征，特征的固定维数为57×n，其中n为卷积层特征图数量；
卷积层3和卷积层4中的卷积特征图作为输入与空间金字塔池化层进行相连，空间金字塔池化层对卷积层3和卷积层4的特征进行投影得到特征向量V1和V2；
全连接层，使用空间金字塔池化层对卷积层3和卷积层4的特征进行投影，将所得到特征向量V1和V2作为输入，对特征向量V1和V2进行串联合成后连接至全连接层1，将全连接层2的权值作为当前图像区块的统一局部卷积特征。
按上述方案，所述统一局部特征提取模型与人脸局部区块对应，统一局部特征提取模型的数量与人脸特征点的数量相同。
按上述方案，所述构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征；具体如下：
步骤S31)使用通用训练集来构建人脸局部区块的类内变化字典D；
步骤S32)在训练集中每个人只有一张清晰正面的人脸图片(分辨率为300×300像素)作为训练样本，通过使用人脸特征点定位算法将所有的人脸训练样本划分为S个区块，从而得到包含S个区块的训练集G＝{G1,G2,…,Gk,…GS}；
步骤S33)将测试集中的低分辨率测试样本z也划分为S个区块，那么测试样本可表示为：z＝{z1,z2,…zS}；
步骤S34)使用训练集与类内变化字典D来构建局部协同表示模型；
步骤S35)根据所构建的构建局部协同表示模型，求出局部协同表示模型的表示系数向量δk；
步骤S36)使用所构建的局部协同表示模型，对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征。
按上述方案，所述步骤S34)中的模型为：
zk＝[Gk,Dk]δk+ek,i＝1,2,...,S
按上述方案，所述步骤S36)的实现方法是：将所构建的类内变化字典D以及所求得的表示系数向量δk代入局部协同表示模型中，从而得到具有各种类内变化的局部区块卷积特征zk，局部协同表示模型中的ek为
按上述方案，构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值，主要包含了以下步骤：
步骤S41：使用多度量学习方法构建人脸局部区块特征的综合相似度距离计算模型。
步骤S42：使用所得出的所有局部区块的综合相似度距离，计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。
本发明产生的有益效果是：在LFW人脸库选取具有10张以上图片的158人用于算法的识别率测试，每个人只有一张清晰正面的图片用于构建训练集，测试集中人脸图片分辨率下采样为16×16像素，并且具有多种类内变化(表情、姿态以及光照等)，使用本发明对测试集中人脸进行识别时，识别率可达到51％，而使用目前现有的单样本人脸识别算法或低分辨率人脸识别算法最高只能达到28％的识别率。由此可以看出，本发明所构建的基于局部协同表示特征融合判别的人脸识别方法，可显著提高低分辨率单样本场景下的人脸识别率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例的方法流程图；
图2是人脸图像区块划分方式示意图；
图3是统一局部特征提取模型结构；
图4是空间金字塔池化层结构图；
图5是基于局部协同表示模型的特征生成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的主要实现方法是：首先使用所构建的统一局部特征提取模型，该模型可同时在不同尺度的测试样本与训练样本中提取出具有较好判别特性且维数固定的卷积特征。随后使用稀疏表示理论构建局部协同表示模型，该表示模型使用额外通用训练集中的大量人脸样本对单样本训练集中人脸的局部区块卷积特征进行重构，生成具有各种类内变化(姿态、表情、光照以及遮挡等)的局部区块卷积特征。最后通过多度量学习方法构建多区块局部协同表示特征的融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，根据计算所得的综合相似度得出当前测试样本的类别标签。
基于局部协同表示特征融合判别的低分辨率单样本人脸识别方法，包含了以下具体步骤：
步骤S1：为每个人选择一张清晰正面的人脸图片用于构建训练集，选择具有多种类内变化且分辨率较低的人脸图片作为测试集，使用人脸特征点定位算法对测试集与训练集中的人脸图片进行区块划分；
人脸局部区块的划分方法包含了以下步骤，具体的流程如图2所示：
步骤S11：对所采集到图像进行人脸检测，并截取人脸区域的图像；
步骤S12：使用特征点定位算法对人脸五官区域进行特征点定位，在本发明中使用了15个人脸特征点定位了人面部的眼睛、鼻子以及嘴巴；
步骤S13：基于所定位的人脸特征点，为每个人脸特征点指定一个正方形邻域作为人脸局部特征的提取区域，同时应避免将背景环境划入人脸局部区块中。
步骤S2：构建统一局部特征提取模型，使用该模型提取出测试样本与训练样本的局部区块中具有固定相同维数的人脸卷积特征，该特征提取模型的构建包含了以下步骤，具体的构建流程如图3所示：
步骤S21：为了减少深度卷积神经网络的池化层对人脸图像特征的损耗，本发明在构建特征提取模型时使用了4个卷积层、1个最大池化层、1个空间金字塔池化层以及两个全连接层。
表1中给出了统一局部特征提取模型中各层参数的设置方法，
表1统一局部特征提取模型中各层参数的设置
具体参数设置的步骤如下：
步骤S211：卷积层1(Conv1)的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1。
步骤S212：卷积层2(Conv2)的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1。
步骤S213：最大池化层1(Max pooling 1)的卷积核数量为30个，卷积核尺寸为2×2，填充为0，步长为2；
步骤S214：卷积层3(Conv3)的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1。
步骤S215：卷积层4(Conv4)的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1。
步骤S215：构建空间金字塔池化层((Spatial Pyramid Pooling,SPP)，SPP层能够将不同维数的卷积特征投影成具有固定相同维数的卷积特征。SPP层的具体构建方法如图4所示，SPP层的具体构建步骤如下：
步骤S2151：将四个降采样层组合而成，这个四个降采样层的尺寸分别为：1×1，2×2，4×4和6×6。
步骤S2152：使用以上所构建的四个降采样层对卷积特征图进行处理，用于获得具有固定维数的人脸特征，在本发明中所获得的特征维数为57×n，其中n为卷积层特征图数量。
步骤S2153：将所构建的SPP层放置在全连接层之前。
步骤S22：将图3中的卷积层3和卷积层4中的卷积特征图与空间金字塔池化层进行相连，利用空间金字塔池化层对卷积层3和卷积层4的特征进行投影得到特征向量V1和V2，随后对特征向量V1和V2进行串联合成后连接至全连接层1，将全连接层2的权值作为当前图像区块的统一局部卷积特征。
步骤S23：为每个人脸局部区块区域构建统一局部特征提取模型，总共需要构建15个人脸局部区块的统一局部特征提取模型。
步骤S3：构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征。具体的模型构建流程如图5所示：
步骤S31：使用通用训练集来构建人脸局部区块的类内变化字典D，其具体的构建步骤如下：
步骤S311：由于在本发明中人脸图像被划分为S＝15个区块，那么在使用通用训练集构建类内变化字典时，需要将通用训练集中所有的人脸图片划分为S个局部区块，这样通用训练集的类内变化字典是由S个局部区块的类内变化字典构成，因此通用训练集的类内变化字典为D＝{D1,D2,…,DS}。
步骤S312：设Dk为区块k的类内变化字典，其具体的构建方法是从通用训练集的每个类中选择一张没有光照、表情以及姿态等变化的图片作为自然图片，使用式(1)得出区块k的类内变化字典：
式中
为通用训练集的第i类中减除自然图片后区块k的统一局部特征，
为第i类自然图片区块k的特征，φi的值为[1,…,1]。
步骤S32：在训练集中每个人只有一张清晰正面的人脸图片(分辨率为300×300像素)作为训练样本，通过使用人脸特征点定位算法将所有的人脸训练样本划分为S个区块，从而得到包含S个区块的训练集G＝{G1,G2,…,Gk,…GS}，其中Gk为训练集中所有训练样本区块k的统一局部特征。
步骤S33：将测试集中的低分辨率测试样本z也划分为S个区块，那么测试样本可表示为：z＝{z1,z2,…zS}。
步骤S34：使用训练集与类内变化字典来构建局部协同表示模型，可将具有类内变化的低分辨率人脸测试样本区块k的统一局部特征重构为式(2)：
zk＝[Gk,Dk]δk+ek,i＝1,2,...,S (2)
式(2)中δk＝[ρk；βk]为当前所在区块k的类内变化字典的表示系数向量，ek为表示模型的残差，在图5中给出了使用类内变化字典重构测试样本的统一局部表示特征的示意图。
步骤S35：根据式(2)所构建的局部协同表示模型，求出局部协同表示模型的表示系数向量δk，该向量的求解分为如下步骤：
步骤S351：应用l2范数对人脸图像区块k的模型残差ek、表示系数向量δk以及表示系数变化参量γk进行归一化处理，将表示系数向量δk的求解转换为求解式(3)的最小值优化问题。
s.t.zk＝[Gk,Dk]δk+ek,i＝1,2,...,S (4)
式中表示系数变化参量
步骤S352：根据式(3)和(4)得出表示系数向量δk的求解方法，如式(5)所示：
由式(5)可以得出表示系数向量δk的求解方法，具体如下式所示：
Pk＝([Gk,Dk]T[Gk,Dk]+(λ+μ)I)-1 (7)
由于
因此可以得出
的计算方法，具体如式(9)所示：
将式(9)和式(7)分别代入式(6)，即可求解得出表示系数向量δk。
步骤S36：使用所构建的局部协同表示模型，对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征。具体的实现步骤如下：
步骤S361：将所构建的类内变化字典D以及所求得的表示系数向量δk代入局部协同表示模型中，从而得到具有各种类内变化的局部区块卷积特征zk，局部协同表示模型中的ek为
步骤S4：构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。融合判别模型的构建与测试样本的识别包含以下步骤：
步骤S41：使用多度量学习方法构建人脸局部区块特征的综合相似度距离计算模型。具体的模型构建包含以下步骤：
步骤S411：将测试样本与训练样本所有局部区块特征之间的综合相似度距离定义为下式：
式(10)中z为测试样本，i为样本的类编号，yi为重构的区块协同表示特征，zk为测试样本第k区块的统一局部特征，Wk为Mahalanobis矩阵，
为训练集中第i类训练样本中第k个局部区块的统一局部特征，
是
的表示系数向量。
步骤S412：采用循环投影法计算出式(10)中Wk的值，具体的计算方法包含如下步骤：
步骤S4121：给定一个用模型训练的训练集，在该训练集中含有配对的样本统一局部特征xi及其相应的协同表示特征yj，其中i与j为样本所属的类别标签值。
步骤S4122：为了降低计算Mahalanobis矩阵的时间复杂度，应用LogDet散度对Wk进行正则化处理，可得出Wk值的优化模型，具体下式所示：
式(11)中
其中m为人脸区块统一局部特征的维数，W0为单位矩阵，tr(·)为迹范数，|·|为矩阵行列式；n为配对样本的数量；γ为平衡参数；ξij为统一局部特征xi及其相应的协同表示特征yj之间的松弛变量；ρ为距离阈值；δij为类别的指示值，当δij＝1时，表示i与j的类标签相同，当δij＝-1时，表示i与j的类标签不同；τ为样本间的距离系数；l为误差损失函数，该函数的具体定如下式：
式(12)中
为
所表示的是样本统一局部区块特征与其对应的协同表示特征间的距离；
步骤S4123:利用步骤S4122中所得出优化模型并结合循环投影法，以计算出Wk的最优值，具体计算方法如下式：
式(14)中
其中α值的求解方法如式(16)所示：
步骤S413：将优化后的Wk值代入式(10)计算出特征重构后的测试样本与训练样本所有局部区块特征间的综合相似度距离。
步骤S42：使用所得出的所有局部区块的综合相似度距离，计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值，具体的最小重构误差计算方法如下式所示：
式中
为特征重构后的测试样本与训练样本所有局部区块特征间的综合相似度距离。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (8)
1.一种低分辨率单样本人脸识别方法，其特征在于，包括以下步骤：
S1)构建单样本训练集和低分辨率测试集；
S2)构建统一局部特征提取模型，使用该模型提取出测试样本与训练样本的局部区块中具有固定维数的人脸卷积特征；所述局部区块为对人脸图像根据设定人脸局部特征的提取区域进行划分得到的人脸图像的区块；
其中，统一局部特征提取模型为卷积神经网络模型，该卷积神经网络模型包括输入层、4个卷积层、1个最大池化层以及1个空间金字塔池化层，按顺序连接布置为输入层、卷积层1、卷积层2、最大池化层、卷积层3、卷积层4和空间金字塔池化层；所述卷积层3和卷积层4分别和空间金字塔池化层连接；
S3)构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征；
其中，局部协同表示模型为：
zk＝[Gk,Dk]δk+ek,i＝1,2,...,S，
其中，zk为特征重构后具有各种类内变化的局部区块卷积特征，Gk为训练集中所有训练样本区块k的统一局部特征，Dk为区块k的类内变化字典，ek为表示模型的残差，δk区块k的类内变化字典的表示系数向量，S为人脸图像中所划分的区块数目；
S4)构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。
2.根据权利要求1所述的低分辨率单样本人脸识别方法，其特征在于，所述步骤S2)中对人脸图像根据设定人脸局部特征的提取区域进行划分，包括：使用特征点定位算法对图像中的人脸进行特征点定位，根据所定位的人脸特征点对人脸图像进行区块划分。
3.根据权利要求1或2所述的低分辨率单样本人脸识别方法，其特征在于，所述步骤S2)中对图像中的人脸进行特征点定位，根据所定位的人脸特征点对人脸图像进行区块划分，具体包括：
使用特征点定位算法对人脸五官区域进行特征点定位，获得人脸特征点；
基于所定位的人脸特征点，为每个人脸特征点指定一个不包括背景环境的正方形邻域作为人脸局部特征的提取区域。
4.根据权利要求1所述的低分辨率单样本人脸识别方法，其特征在于，所述步骤2)中统一局部特征提取模型中各层参数的设置如下：
卷积层1的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1；
卷积层2的卷积核数量为30个，卷积核的尺寸为3×3，填充为1，步长为1；
最大池化层1的卷积核数量为30个，卷积核尺寸为2×2，填充为0，步长为2；
卷积层3的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1；
卷积层4的卷积核数量为60个，卷积核的尺寸为2×2，填充为1，步长为1；
空间金字塔池化层SPP，SPP层将不同维数的卷积特征投影成具有固定维数的卷积特征，SPP层的具体结构如下：
SPP层包括四个降采样层，四个降采样层的尺寸分别为：1×1，2×2，4×4和6×6，四个降采样层对输入的卷积特征图进行处理，获得具有固定维数的人脸特征，特征的固定维数为57×n，其中n为卷积层特征图数量；
卷积层3和卷积层4中的卷积特征图作为输入与空间金字塔池化层进行相连，空间金字塔池化层对卷积层3和卷积层4的特征进行投影得到特征向量V1和V2；
全连接层，使用空间金字塔池化层对卷积层3和卷积层4的特征进行投影，将所得到特征向量V1和V2作为输入，对特征向量V1和V2进行串联合成后连接至全连接层1，将全连接层2的权值作为当前图像区块的统一局部卷积特征。
5.根据权利要求1所述的低分辨率单样本人脸识别方法，其特征在于，所述统一局部特征提取模型与人脸局部区块对应，统一局部特征提取模型的数量与人脸特征点的数量相同。
6.根据权利要求1所述的低分辨率单样本人脸识别方法，其特征在于，所述构建局部协同表示模型，使用该模型对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征；具体如下：
步骤S31)使用通用训练集来构建人脸局部区块的类内变化字典D；
步骤S32)在训练集中每个人只有一张清晰正面的人脸图片作为训练样本，通过使用人脸特征点定位算法将所有的人脸训练样本划分为S个区块，从而得到包含S个区块的训练集G＝{G1,G2,…,Gk,…GS}；
步骤S33)将测试集中的低分辨率测试样本z也划分为S个区块，那么测试样本表示为：z＝{z1,z2,…zS}；
步骤S34)使用训练集与类内变化字典D来构建局部协同表示模型；
步骤S35)根据所构建的构建局部协同表示模型，求出局部协同表示模型的表示系数向量δk；
步骤S36)使用所构建的局部协同表示模型，对训练集中单人脸样本的局部区块卷积特征进行重构，生成具有多种类内变化的局部区块卷积特征。
7.根据权利要求6所述的低分辨率单样本人脸识别方法，其特征在于，所述步骤S36)的实现方法是：将所构建的类内变化字典D以及所求得的表示系数向量δk代入局部协同表示模型中，从而得到具有各种类内变化的局部区块卷积特征zk，局部协同表示模型中的ek为
8.根据权利要求1所述的低分辨率单样本人脸识别方法，其特征在于，构建融合判别模型，使用该模型计算出测试样本与重构训练样本所有局部区块间的综合相似度距离，利用该距离计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值，包含了以下步骤：
步骤S41：使用多度量学习方法构建人脸局部区块特征的综合相似度距离计算模型；
步骤S42：使用所得出的所有局部区块的综合相似度距离，计算出样本的最小重构误差，将具有最小重构误差的训练样本标签作为当前测试样本的类别标签值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411353.3A CN110210336B (zh) | 2019-05-16 | 2019-05-16 | 一种低分辨率单样本人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910411353.3A CN110210336B (zh) | 2019-05-16 | 2019-05-16 | 一种低分辨率单样本人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210336A CN110210336A (zh) | 2019-09-06 |
| CN110210336B true CN110210336B (zh) | 2021-03-16 |
Family
ID=67787646
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910411353.3A Active CN110210336B (zh) | 2019-05-16 | 2019-05-16 | 一种低分辨率单样本人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210336B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111523404A (zh) * | 2020-04-08 | 2020-08-11 | 华东师范大学 | 一种基于卷积神经网络和稀疏表示的部分人脸识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| CN102915436A (zh) * | 2012-10-25 | 2013-02-06 | 北京邮电大学 | 基于类内变化字典和训练图像的稀疏表示人脸识别方法 |
| CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
| CN108664911A (zh) * | 2018-05-04 | 2018-10-16 | 武汉科技大学 | 一种基于图像稀疏表示的鲁棒人脸识别方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103065160B (zh) * | 2013-01-23 | 2015-11-11 | 西安电子科技大学 | 基于局部协同表示和邻域信息约束的高光谱图像分类方法 |
| CN105917354A (zh) * | 2014-10-09 | 2016-08-31 | 微软技术许可有限责任公司 | 用于图像处理的空间金字塔池化网络 |
| CN108319900A (zh) * | 2018-01-16 | 2018-07-24 | 南京信息工程大学 | 一种基本表情分类方法 |
-
2019
- 2019-05-16 CN CN201910411353.3A patent/CN110210336B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101216889A (zh) * | 2008-01-14 | 2008-07-09 | 浙江大学 | 一种融合全局特征与局部细节信息的人脸图像超分辨率方法 |
| CN102915436A (zh) * | 2012-10-25 | 2013-02-06 | 北京邮电大学 | 基于类内变化字典和训练图像的稀疏表示人脸识别方法 |
| CN106611169A (zh) * | 2016-12-31 | 2017-05-03 | 中国科学技术大学 | 一种基于深度学习的危险驾驶行为实时检测方法 |
| CN108664911A (zh) * | 2018-05-04 | 2018-10-16 | 武汉科技大学 | 一种基于图像稀疏表示的鲁棒人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Text detection based on convolutional neural networks with spatial pyramid pooling;Rui Zhu，and etc;《2016 IEEE International Conference on Image Processing (ICIP)》;20160819;第1032-1036页 * |
| 尺度无关的级联卷积神经网络人脸检测算法;郑成浩等;《计算机应用研究》;20190228;第36卷(第2期);第593-597页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210336A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| Tewari et al. | Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction | |
| CN111047548B (zh) | 姿态变换数据处理方法、装置、计算机设备和存储介质 | |
| US20160342861A1 (en) | Method for Training Classifiers to Detect Objects Represented in Images of Target Environments | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN110490252B (zh) | 一种基于深度学习的室内人数检测方法及系统 | |
| WO2013175792A1 (ja) | 人物属性推定システム、及び学習用データ生成装置 | |
| JP6207210B2 (ja) | 情報処理装置およびその方法 | |
| CN113255457A (zh) | 基于人脸表情识别的动画角色面部表情生成方法及系统 | |
| CN112132739A (zh) | 3d重建以及人脸姿态归一化方法、装置、存储介质及设备 | |
| CN109117860A (zh) | 一种基于子空间投影和字典学习的图像分类方法 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及系统 | |
| CN111724458A (zh) | 一种语音驱动的三维人脸动画生成方法及网络结构 | |
| CN114373226A (zh) | 手术室场景下基于改进HRNet网络的人体姿态估计方法 | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN113780249A (zh) | 表情识别模型的处理方法、装置、设备、介质和程序产品 | |
| Wu et al. | From image to video face inpainting: spatial-temporal nested GAN (STN-GAN) for usability recovery | |
| CN110210336B (zh) | 一种低分辨率单样本人脸识别方法 | |
| Guo et al. | Attribute-controlled face photo synthesis from simple line drawing | |
| CN111767842B (zh) | 基于迁移学习和自编码器数据增强的微表情种类判别方法 | |
| Ham et al. | Learning a manifold-constrained map between image sets: applications to matching and pose estimation | |
| CN117333604A (zh) | 一种基于语义感知神经辐射场的人物面部重演方法 | |
| CN110543845B (zh) | 一种三维人脸的人脸级联回归模型训练方法及重建方法 | |
| US20230273318A1 (en) | System and method of capturing three-dimensional human motion capture with lidar | |
| CN113076918B (zh) | 基于视频的人脸表情克隆方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231221 Address after: 010000 Jinmao Center B2, Intersection of Genghis Khan Street and Biseta Commercial Street, Xincheng District, Hohhot City, Inner Mongolia Autonomous Region Patentee after: IHUATOP TECHNOLOGY CO.,LTD. Address before: No.13, 3rd floor, building 1, No.1, Tidu street, Qingyang District, Chengdu, Sichuan 610000 Patentee before: Chengdu yishenrui Technology Co.,Ltd. Effective date of registration: 20231221 Address after: No.13, 3rd floor, building 1, No.1, Tidu street, Qingyang District, Chengdu, Sichuan 610000 Patentee after: Chengdu yishenrui Technology Co.,Ltd. Address before: 341000 South Shiyuan Road, Rongjiang New District, Ganzhou City, Jiangxi Province Patentee before: GANNAN NORMAL University |
|
| TR01 | Transfer of patent right |