CN113657259B - 基于鲁棒特征提取的单样本人脸识别方法 - Google Patents
基于鲁棒特征提取的单样本人脸识别方法 Download PDFInfo
- Publication number
- CN113657259B CN113657259B CN202110938335.8A CN202110938335A CN113657259B CN 113657259 B CN113657259 B CN 113657259B CN 202110938335 A CN202110938335 A CN 202110938335A CN 113657259 B CN113657259 B CN 113657259B
- Authority
- CN
- China
- Prior art keywords
- sample
- dictionary
- matrix
- face
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于鲁棒特征提取的单样本人脸识别方法，步骤包括：步骤1、对视频帧中的人脸区域进行检测，获取人脸区域位置的人脸图像；步骤2、提取人脸图像的深度特征，采用双线性插值的方法，将注册过的人脸图像尺寸和待识别的人脸图像尺寸，统一调整为深度学习网络模型输入的大小；将人脸图像作为深度学习网络模型的输入，然后提取深度学习网络模型的第一个全连接层作为人脸图像的深度特征；步骤3、进行字典学习；步骤4、提取鲁棒特征；步骤5、完成单样本的人脸识别。本发明的方法，对于单样本人脸识别有较好的识别性能，能够在不进行刻意采集人脸图像情况下进行人脸识别操作。
Description
技术领域
本发明属于人脸识别技术领域，涉及一种基于鲁棒特征提取的单样本人脸识别方法。
背景技术
人脸识别技术虽然已经广泛应用于金融、安防、医疗、交通等领域。但是由于设备存储容量有限，同时感兴趣类别的人脸图像难以大量收集。因此，存储器中的每个注册类别通常仅含单幅人脸图像，如证件照等。另外，待识别人脸图像受到光照、姿态、表情因素的影响，导致正面的注册人脸图像与待识别人脸图像难以进行精确的识别。
上述情形的单样本人脸识别技术是计算机视觉领域的一个难点，为此，亟需研制一种基于鲁棒特征提取的单样本人脸识别算法。
发明内容
本发明的目的是提供一种基于鲁棒特征提取的单样本人脸识别方法，解决了现有技术中在进行单样本人脸识别时，待识别人脸图像受到光照、姿态、表情因素的影响，使得正面的注册人脸图像与待识别人脸图像难以进行精确识别的问题。
本发明所采用的技术方案是，一种基于鲁棒特征提取的单样本人脸识别方法，按照以下步骤具体实施：
步骤1、对视频帧中的人脸区域进行检测，
利用采集设备获得包含人脸的视频帧，在视频帧中进行人脸检测，获取人脸区域位置的人脸图像；
步骤2、提取人脸图像的深度特征，
采用双线性插值的方法，将注册过的人脸图像尺寸和待识别的人脸图像尺寸，统一调整为深度学习网络模型输入的大小；将人脸图像作为深度学习网络模型的输入，然后提取深度学习网络模型的第一个全连接层作为人脸图像的深度特征；
步骤3、进行字典学习；
步骤4、提取鲁棒特征；
步骤5、完成单样本的人脸识别。
本发明的有益效果是，适用于注册类别仅含单幅人脸图像的情况，对于单样本人脸识别有较好的识别性能；另外，还适用于非约束环境下的人脸识别情况，能够在不进行刻意采集人脸图像情况下进行人脸识别操作。
附图说明
图1是本发明方法中的字典学习的流程图；
图2是本发明方法中的鲁棒特征提取的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的方法，按照以下步骤具体实施：
步骤1、对视频帧中的人脸区域进行检测，
利用采集设备获得包含人脸的视频帧，在视频帧中进行人脸检测，获取人脸区域位置的人脸图像，该人脸图像将作为待识别样本，用于后续操作；
人脸检测的过程采用现有技术，如opencv提供的人脸检测方法，得到具有人脸外接框位置信息的人脸图像。
步骤2、提取人脸图像的深度特征，
采用双线性插值的方法，将注册过的人脸图像尺寸和待识别的人脸图像尺寸，统一调整为深度学习网络模型输入的大小；将人脸图像作为深度学习网络模型的输入，然后提取深度学习网络模型的第一个全连接层作为人脸图像的深度特征。
深度学习网络模型是现有技术，常用的有VGGFace网络模型、FaceNet网络模型及ResNet网络模型，其中，VGGFace网络模型的输入大小为224×224，输出的特征维数为4096；FaceNet网络模型的输入大小为227×227，输出的特征维数为168；ResNet网络模型的输入大小为160×160，输出的特征维数为512。
为了方便后续描述，将注册集记为d是特征样本维数，ng是样本个数，对应的身份记为id(xi)＝idi,i＝1,2,…,ng，由于注册集中的每个类别仅含单样本，注册集的类别数为ng；将待识别样本记为/>引入其他身份的样本组成的数据集合称为通用集，记为/>按照身份类别又能表示为其中nC为通用集的类别数，Ti对应的身份记为idng+i,i＝1,2,…,nC，第i个类别包含mi个样本，/>
步骤3、进行字典学习，
如图1所示，字典学习的具体过程是：
3.1)初始化通用集，对每个类别的样本减去该类的样本均值，获得具有变化信息的样本通用集其中，每个样本/>见下式(1)：
3.2)将样本通用集和注册集/>一起合并为/>然后将H降维为/>降维操作采用现有技术的方法，如skinnySVD方法进行降维操作，
3.3)对低维数据进行字典学习，采用现有技术的方法，如基追踪降噪同伦(BPDN-homotopy)算法，低维数据/>用获得的字典矩阵/>和系数矩阵W表示，见下式(2)：
其中，字典矩阵 是字典矩阵/>中原子的维数，nD是字典矩阵/>中原子的个数，系数矩阵/>
3.4)获得矩阵H的字典矩阵D，见下式(3)：
该矩阵H的字典矩阵该矩阵H的系数矩阵与式(2)中的系数矩阵W涵义相同；
步骤4、提取鲁棒特征，
如图2所示，鲁棒特征的提取过程是：
4.1)将前述步骤3.3)得到的系数矩阵W划分为
4.2)获得通用集的类间类内的方差比Rt(j)，
首先，依据步骤3.4)中的字典矩阵D和步骤4.1)中的系数矩阵Wt，通用集中的样本的表达式见下式(4)：
式(4)中的
令tj,i＝dj·Wtj,i，则式(4)简化为式(5)：
然后，对于每一个原子dj，获得相关的所有样本tj,i的均值并获得第c类的所有样本均值/>
最后，获得类间类内的方差比Rt(j)，见下式(6)：
4.3)获得注册集的类间的方差Rx(j)，具体过程是：
首先，注册集中的样本表达式见下式(7)：
令xj,i＝dj·Wxj,i，则式(7)简化为下式(8)：
然后，获得所有样本xj,i,i＝1,2,…,ng的均值
最后，获得类间的方差Rx(j)，见下式(9)：
4.4)定义函数R(j)，
在处理单样本的人脸识别问题时，原型字典P+变化字典V的模型设置是较为有效的方法，通常希望变化字典V具有丰富的类内差异和较低的类间差异，因此式(6)越小越好；同时希望原型字典P具有较大的类间差异，因此式(9)越大越好，综上，本步骤定义一个函数R(j)，R(j)的值越小，则由原型字典P+变化字典V构建的模型越鲁棒，见下式(10)：
R(j)＝Rt(j)-Rx(j) (10)
4.5)将R(j),j＝1,2,…,nD由小到大进行排序，得到前nD2个位置的排序是：Ind(1),Ind(2),…,Ind(nD/2)；
4.6)重构通用集中的样本因此，构建的变化字典记为
4.7)重构注册集中的样本因此，构建的原型字典记为
步骤5、完成单样本的人脸识别，
5.1)对摄像头获取的待识别样本p，获取其字典系数v，利用现有技术进行求解(例如l1homotopy算法)，得到p＝D·v中的v，
5.2)依据步骤3.4)获得的字典矩阵D，以及步骤4.5)得到的前nD/2个序列排序Ind(1),Ind(2),…,Ind(nD/2)，提取特征
5.3)利用l1homotopy算法，求解出中的系数/>
5.4)获得待识别样本p的类别，见下式(11)：
至此，完成单样本的人脸识别。
Claims (2)
1.一种基于鲁棒特征提取的单样本人脸识别方法，其特征在于，按照以下步骤具体实施：
步骤1、对视频帧中的人脸区域进行检测，
利用采集设备获得包含人脸的视频帧，在视频帧中进行人脸检测，获取人脸区域位置的人脸图像；
步骤2、提取人脸图像的深度特征，
采用双线性插值的方法，将注册过的人脸图像尺寸和待识别的人脸图像尺寸，统一调整为深度学习网络模型输入的大小；将人脸图像作为深度学习网络模型的输入，然后提取深度学习网络模型的第一个全连接层作为人脸图像的深度特征；设nC为通用集的类别数，d是特征样本维数，ng是样本个数；
步骤3、进行字典学习，字典学习的具体过程是：
3.1)初始化通用集，对每个类别的样本减去类别的样本均值，获得具有变化信息的样本通用集其中，每个样本/>见下式(1)：
3.2)将样本通用集和注册集/>一起合并为/>然后将H降维为/>
3.3)对低维数据进行字典学习，低维数据/>用获得的字典矩阵/>和系数矩阵W表示，见下式(2)：
其中，字典矩阵 是字典矩阵/>中原子的维数，nD是字典矩阵/>中原子的个数，系数矩阵/>
3.4)获得矩阵H的字典矩阵D，见下式(3)：
该矩阵H的字典矩阵该矩阵H的系数矩阵与式(2)中的系数矩阵W涵义相同；
步骤4、提取鲁棒特征，鲁棒特征的提取过程是：
4.1)将步骤3.3)得到的系数矩阵W划分为W＝[Wx,Wt],
4.2)获得通用集的类间类内的方差比Rt(j)，
首先，依据步骤3.4)中的字典矩阵D和步骤4.1)中的系数矩阵Wt，通用集中的样本的表达式见下式(4)：
式(4)中的
令tj,i＝dj·Wtj,i，则式(4)简化为式(5)：
然后，对于每一个原子dj，获得相关的所有样本tj,i的均值并获得第c类的所有样本均值/>
最后，获得类间类内的方差比Rt(j)，见下式(6)：
4.3)获得注册集的类间的方差Rx(j)，具体过程是：
首先，注册集中的样本表达式见下式(7)：
令xj,i＝dj·Wxj,i，则式(7)简化为下式(8)：
然后，获得所有样本xj,i,i＝1,2,…,ng的均值
最后，获得类间的方差Rx(j)，见下式(9)：
4.4)定义函数R(j)，
本步骤定义一个函数R(j)，R(j)的值越小，则由原型字典P+变化字典V构建的模型越鲁棒，见下式(10)：
R(j)＝Rt(j)-Rx(j) (10)
4.5)将R(j),j＝1,2,…,nD由小到大进行排序，得到前nD/2个位置的排序是：Ind(1),Ind(2),…,Ind(nD/2)；
4.6)重构通用集中的样本因此，构建的变化字典记为
4.7)重构注册集中的样本因此，构建的原型字典记为
步骤5、完成单样本的人脸识别，具体过程是：
5.1)对于待识别样本p，获取其字典系数v，得到p＝D·v中的v，
5.2)依据步骤3.4)获得的字典矩阵D，以及步骤4.5)得到的前nD/2个序列排序Ind(1),Ind(2),…,Ind(nD/2)，提取特征
5.3)求解出中的系数/>
5.4)获得待识别样本p的类别，见下式(11)：
至此，完成单样本的人脸识别。
2.根据权利要求1所述的基于鲁棒特征提取的单样本人脸识别方法，其特征在于，所述的步骤2中，具体过程是：
将注册集记为对应的身份记为id(xi)＝idi,i＝1,2,…,ng，由于注册集中的每个类别仅含单样本，注册集的类别数为ng；将待识别样本记为/>引入其他身份的样本组成的数据集合称为通用集，记为/>按照身份类别又能表示为/>其中Ti对应的身份记为/>第i个类别包含mi个样本，/>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110938335.8A CN113657259B (zh) | 2021-08-16 | 2021-08-16 | 基于鲁棒特征提取的单样本人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110938335.8A CN113657259B (zh) | 2021-08-16 | 2021-08-16 | 基于鲁棒特征提取的单样本人脸识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657259A CN113657259A (zh) | 2021-11-16 |
| CN113657259B true CN113657259B (zh) | 2023-07-21 |
Family
ID=78479291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110938335.8A Active CN113657259B (zh) | 2021-08-16 | 2021-08-16 | 基于鲁棒特征提取的单样本人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657259B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194378A (zh) * | 2017-06-28 | 2017-09-22 | 深圳大学 | 一种基于混合字典学习的人脸识别方法及装置 |
| CN107330382A (zh) * | 2017-06-16 | 2017-11-07 | 深圳大学 | 基于局部卷积特征联合表示的单样本人脸识别方法及装置 |
| CN107832747A (zh) * | 2017-12-05 | 2018-03-23 | 广东技术师范学院 | 一种基于低秩字典学习算法的人脸识别方法 |
| CN108681725A (zh) * | 2018-05-31 | 2018-10-19 | 西安理工大学 | 一种加权稀疏表示人脸识别方法 |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| CN111767825A (zh) * | 2020-06-24 | 2020-10-13 | 湖北科技学院 | 一种人脸属性不变鲁棒性人脸识别方法及系统 |
| CN112966554A (zh) * | 2021-02-02 | 2021-06-15 | 重庆邮电大学 | 一种基于局部连续性的鲁棒性人脸识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102221118B1 (ko) * | 2016-02-16 | 2021-02-26 | 삼성전자주식회사 | 영상의 특징을 추출하여 객체를 인식하는 방법 |
-
2021
- 2021-08-16 CN CN202110938335.8A patent/CN113657259B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330382A (zh) * | 2017-06-16 | 2017-11-07 | 深圳大学 | 基于局部卷积特征联合表示的单样本人脸识别方法及装置 |
| CN107194378A (zh) * | 2017-06-28 | 2017-09-22 | 深圳大学 | 一种基于混合字典学习的人脸识别方法及装置 |
| WO2019080488A1 (zh) * | 2017-10-27 | 2019-05-02 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| CN107832747A (zh) * | 2017-12-05 | 2018-03-23 | 广东技术师范学院 | 一种基于低秩字典学习算法的人脸识别方法 |
| CN108681725A (zh) * | 2018-05-31 | 2018-10-19 | 西安理工大学 | 一种加权稀疏表示人脸识别方法 |
| CN111767825A (zh) * | 2020-06-24 | 2020-10-13 | 湖北科技学院 | 一种人脸属性不变鲁棒性人脸识别方法及系统 |
| CN112966554A (zh) * | 2021-02-02 | 2021-06-15 | 重庆邮电大学 | 一种基于局部连续性的鲁棒性人脸识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 单样本的低分辨率人脸识别方法研究;薛杉;博士论文;1-105 * |
| 单样本的低分辨率单样本人脸识别算法;薛杉等;仪器仪表学报;第40卷(第3期);196-202 * |
| 薛杉等.Single sample per persion face recognition algorithm based on the robust prototype dictionary and robust variation dictionary construction.IEE.2021,第16卷(第3期),742-754. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657259A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103116763B (zh) | 一种基于hsv颜色空间统计特征的活体人脸检测方法 | |
| CN108416338B (zh) | 一种非接触掌纹身份认证方法 | |
| CN107818554A (zh) | 信息处理设备和信息处理方法 | |
| CN112200159B (zh) | 一种基于改进残差网络的非接触式掌静脉识别方法 | |
| CN112836671B (zh) | 一种基于最大化比率和线性判别分析的数据降维方法 | |
| CN109801320B (zh) | 一种基于面部分区的皮肤干燥状态智能识别方法及系统 | |
| CN111222380B (zh) | 一种活体检测方法、装置、及其识别模型训练方法 | |
| CN113255557A (zh) | 一种基于深度学习的视频人群情绪分析方法及系统 | |
| Song et al. | Feature extraction and target recognition of moving image sequences | |
| CN105844204B (zh) | 人体行为识别方法和装置 | |
| CN100365645C (zh) | 基于眉毛识别的身份鉴别方法 | |
| CN110188684B (zh) | 一种人脸识别装置及方法 | |
| Khan et al. | A new method to extract dorsal hand vein pattern using quadratic inference function | |
| CN111079543A (zh) | 一种基于深度学习的高效车辆颜色识别方法 | |
| CN113657259B (zh) | 基于鲁棒特征提取的单样本人脸识别方法 | |
| Ball et al. | Level set hyperspectral image classification using best band analysis | |
| CN105844605A (zh) | 基于自适应表示的人脸画像合成方法 | |
| CN111275687B (zh) | 一种基于连通区域标记的细粒度图像拼接检测方法 | |
| CN116778533A (zh) | 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质 | |
| CN108230409B (zh) | 基于颜色和内容多因素综合的图像相似性定量分析方法 | |
| CN113963427B (zh) | 一种快速活体检测的方法与系统 | |
| Brkić et al. | Towards neural art-based face de-identification in video data | |
| CN107122795B (zh) | 一种基于核化特征和随机子空间集成的行人再辨识方法 | |
| Backes et al. | Plant species identification using multi-scale fractal dimension applied to images of adaxial surface epidermis | |
| CN112633058A (zh) | 基于特征融合的正面步态识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |