CN106981047A - 一种从低分辨率人脸恢复高分辨率人脸的方法 - Google Patents

一种从低分辨率人脸恢复高分辨率人脸的方法 Download PDF

Info

Publication number
CN106981047A
CN106981047A CN201710181238.2A CN201710181238A CN106981047A CN 106981047 A CN106981047 A CN 106981047A CN 201710181238 A CN201710181238 A CN 201710181238A CN 106981047 A CN106981047 A CN 106981047A
Authority
CN
China
Prior art keywords
face
resolution
image
dictionary
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710181238.2A
Other languages
English (en)
Inventor
姚琪
卓越
罗畅
刘靖峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Vision Information Technology Co Ltd
Original Assignee
Wuhan Vision Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Vision Information Technology Co Ltd filed Critical Wuhan Vision Information Technology Co Ltd
Priority to CN201710181238.2A priority Critical patent/CN106981047A/zh
Publication of CN106981047A publication Critical patent/CN106981047A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image

Abstract

本发明公开了从低分辩人脸恢复高分辨率人脸的方法，利用K‑SVD算法分别为高分辨率人脸和对应的低分辨率人脸联合训练得到两个关联的字典，在实际应用中通过交叉查询两个字典，还原完整人脸，该方法可以从模糊的人脸还原出清晰的人脸，有效的扩大现有的人脸识别技术的使用范围，使之成为一种非常有效的技术侦察手段。

Description

一种从低分辨率人脸恢复高分辨率人脸的方法
技术领域
本发明涉及人脸识别技术领域，具体涉及一种从低分辨率人脸恢复高分辨率人脸的方法。
背景技术
人脸识别作为生物身份识别的典型技术，由于不需要被检测个体的主动配合，近年来在人机交互，安防，身份认证，娱乐，和医疗看护等方面得到大量的应用。人脸识别技术包括：人脸检测，特征提取和特征匹配和分类。人脸检测的方法有：HARR扫描，HOG扫描，ADABOOT扫描，深度学习CNN物体检测等。特征提取的方法有：PCA本征脸，深度学习CNN特征提取等。特征匹配和分类包括：1-NN，k-NN和SVM。将上面提到的各种人脸检测，特征提取和特征匹配的方法有机的结合，就可以得到目前通用的人脸识别技术。
现有人脸识别技术中的人脸检测和特征提取都是要求人脸是清晰的。而在现实生活中，当被检测的个人距离摄像头比较远的时候，由于光学限制，得到的人脸照片是模糊的。现有的人脸特征提取技术对瞳孔之间的距离一般都要求达到规定的像素，也就是要求人脸要有一定的清晰度。否则，现有的人脸识别技术就会识别失败。因此急需一种可以从模糊的人脸还原出清晰人脸的方法，来扩大现有人脸识别技术的使用范围。
发明内容
针对现有技术的问题，本发明提出一种从低分辨率人脸恢复高分辨率人脸的方法，利用K-SVD算法分别为高分辨率人脸和对应的低分辨率人脸联合训练得到两个关联的字典，在实际应用中通过交叉查询两个字典，还原完整人脸，该方法可以从模糊的人脸还原出清晰的人脸，有效的扩大现有的人脸识别技术的使用范围，使之成为一种非常有效的技术侦察手段。
本发明为解决上述技术问题所采用的技术方案是：
本发明提供一种从低分辨率人脸恢复高分辨率人脸的方法，包括以下步骤：
S1，训练阶段
将人脸训练集中的高分辨率人脸图像进行灰度化以及光照均衡化处理，并进行landmark标记，再进行图像大小归一化处理，生成每张人脸对应的高分辨率图像YH及其对应的低分辨率图像YL；再根据K-SVD算法，利用空字典作为初始字典，以高分辨率图像YH和低分辨率图像YL作为字典的输入，对字典进行同步训练，得到相互关联的最优化的高分辨人脸图像对应的字典DH和低分辨率人脸图像对应字典DL；
S2，还原识别阶段
对输入的模糊人脸图像，进行灰度化以及光照均衡化处理后进行landmark标记，得到模糊的目标人脸对应的图像YL'，将图像YL'作为字典DL的输入，根据得到目标人脸图像YL'对应的稀疏系数X，再将稀疏系数X输入字典D根据Y＝DX反向查询得到被恢复的高分辨率及清晰的人脸YH'。
本发明的有益效果是：
本发明提出了一种从模糊人脸复原/猜测出清晰整张人脸，从而使得现有的人脸识别技术在人脸模糊的情况下仍然可以被使用。
附图说明
图1为从低分辨率人脸恢复高分辨率人脸的方法
具体实施方式
下面结合附图及实施例对本发明作进一步说明。
本发明提供一种从低分辨率人脸恢复高分辨率人脸的方法，包括以下步骤：
S1，训练阶段
将人脸训练集中的高分辨率人脸图像进行灰度化以及光照均衡化处理，并进行landmark标记，再进行图像大小归一化处理，生成每张人脸对应的高分辨率图像YH及其对应的低分辨率图像YL；再根据K-SVD算法，利用空字典作为初始字典，以高分辨率图像YH和低分辨率图像YL作为字典的输入，对字典进行同步训练，得到相互关联的最优化的高分辨人脸图像对应的字典DH和低分辨率人脸图像对应字典DL；
具体包括以下子步骤：
S101，利用网络爬虫技术从互联网上爬取至少100万张人脸图片，或者通过警方获取人脸图片；训练集中原始人脸图片越多，则训练后得到的字典准确；对人脸图片进行灰度化以及光照均衡化处理，并利用梯度直方图HOG算法和SVM对人脸图片进行landmark标记，并对人脸图片大小做归一化处理，生成高分辨率人脸对应的图像YH；
S102，对步骤S101中归一化处理后得到的人脸图片进行模糊处理，即降低图片的分辨率，分别生成n张分辨率呈阶梯式降低的低分辨率人脸图像YLi，0＜i＜n；优选为3张，分别对应原图像分辨率的50％、25％和15％。
S103，利用空字典作为初始字典，将高分辨率人脸图像YH及其对应的3张低分辨率人脸图像YLi作为字典的输入，求解公式
得到高分辨率人脸图像YH和低分辨率人脸图像YL1、YL2、YL3对应的最优化字典DH和DL1、DL2、DL3；其中β为低分辨率模糊人脸训练的权重值，取值80～150，使得训练更加偏向于低分辨率模糊人脸；稀疏系数X的阶在20～50之间。
S2，识别还原阶段，如图1所示，
对输入的模糊人脸图像，进行灰度化以及光照均衡化处理后进行landmark标记，得到模糊的目标人脸对应的图像YL'，将图像YL'作为字典DL的输入，根据得到目标人脸图像YL'对应的稀疏系数X，再将稀疏系数X输入字典D根据Y＝DX反向查询得到被恢复的高分辨率及清晰的人脸YH'。
具体包括以下子步骤：
S201，对输入的模糊人脸图像，进行灰度化以及光照均衡化处理；利用梯度直方图HOG算法或SVM对模糊的目标人脸图像进行landmark标记，然后采用图像旋转算法将图像摆正得到处理后的模糊的目标人脸图像YL'；
S202，将模糊的目标人脸图像YL'依次输入到字典DL1、DL2、DL3进行查询，根据X＝D- 1Y得到模糊的目标人脸图像YL'对应的稀疏系数X1、X2、X3；
S203，将模糊的目标人脸图像YL'对应的稀疏系数X1、X2、X3输入字典DH，进行反向查询得到模糊的目标人脸图像YL'对应的高分辨率人脸图像YH1'、YH2'、YH3'，再对3张高分辨率人脸图像进行图像识别。
上述方法可以用集成电路，嵌入式电路和云端服务器软件来实现。
说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (7)

1.一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：包括以下步骤：
S1，训练阶段
将人脸训练集中的高分辨率人脸图像进行灰度化以及光照均衡化处理，并进行landmark标记，再进行图像大小归一化处理，生成每张人脸对应的高分辨率图像YH及其对应的低分辨率图像YL；再根据K-SVD算法，利用空字典作为初始字典，以高分辨率图像YH和低分辨率图像YL作为字典的输入，对字典进行同步训练，得到相互关联的最优化的高分辨人脸图像对应的字典DH和低分辨率人脸图像对应字典DL；
S2，还原识别阶段
对输入的模糊人脸图像，进行灰度化以及光照均衡化处理后进行landmark标记，得到模糊的目标人脸对应的图像YL'，将图像YL'作为字典DL的输入，根据得到目标人脸图像YL'对应的稀疏系数X，再将稀疏系数X输入字典D根据Y＝DX反向查询得到被恢复的高分辨率及清晰的人脸YH'。
2.根据权利要求1所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：所述步骤S1具体包括以下步骤：
S101，利用网络爬虫技术从互联网上爬取大量人脸图片，或者通过警方获取人脸图片，图片数目在百万级以上；对人脸图片进行灰度化以及光照均衡化处理，并利用梯度直方图HOG算法和SVM对人脸图片进行landmark标记，并对人脸图片大小做归一化处理，生成高分辨率人脸对应的图像YH；
S102，对步骤S101中归一化处理后得到的人脸图片进行模糊处理，即降低图片的分辨率，分别生成n张分辨率呈阶梯式降低的低分辨率人脸图像YLi，0＜i＜n；
S103，利用空字典作为初始字典，将高分辨率人脸图像YH及其对应的n张低分辨率人脸图像YLi作为字典的输入，求解公式
得到高分辨率人脸图像YH和低分辨率人脸图像YLi对应的最优化字典DH和DLi；其中β为局部人脸训练的权重值。
3.根据权利要求2所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：所述步骤S2具体包括以下子步骤：
S201，对输入的模糊人脸图像，进行灰度化以及光照均衡化处理；利用梯度直方图HOG算法或SVM对模糊的目标人脸图像进行landmark标记，然后采用图像旋转算法将图像摆正得到处理后的模糊的目标人脸图像YL'；
S202，将模糊的目标人脸图像YL'依次输入到字典DLi进行查询，根据X＝D-1Y得到模糊的目标人脸图像YL'对应的稀疏系数Xi；
S203，将模糊的目标人脸图像YL'对应的稀疏系数Xi输入字典DH，进行反向查询得到模糊的目标人脸图像YL'对应的高分辨率人脸图像YHi'，再对n张高分辨率人脸图像进行图像识别。
4.根据权利要求3所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：所述权重值β的取值范围为80～150，所述稀疏系数X或Xi的阶在20～50之间。
5.根据权利要求4所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：所述步骤102中，对步骤S101中归一化处理后得到的人脸图片进行模糊处理，即降低图片的分辨率，生成3张分辨率分别为原图像分辨率的50％、25％和15％的低分辨率人脸图像YL1、YL2、YL3。
6.根据权利要求5所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：所述归一化处理后，人脸图像像素大小为100*100。
7.根据权利要求1-6任一项所述的一种从低分辨率人脸恢复高分辨率人脸的方法，其特征在于：该方法通过集成电路，嵌入式电路或云端服务器软件实现。
CN201710181238.2A 2017-03-24 2017-03-24 一种从低分辨率人脸恢复高分辨率人脸的方法 Pending CN106981047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710181238.2A CN106981047A (zh) 2017-03-24 2017-03-24 一种从低分辨率人脸恢复高分辨率人脸的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710181238.2A CN106981047A (zh) 2017-03-24 2017-03-24 一种从低分辨率人脸恢复高分辨率人脸的方法

Publications (1)

Publication Number Publication Date
CN106981047A true CN106981047A (zh) 2017-07-25

Family

ID=59339655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710181238.2A Pending CN106981047A (zh) 2017-03-24 2017-03-24 一种从低分辨率人脸恢复高分辨率人脸的方法

Country Status (1)

Country Link
CN (1) CN106981047A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950365A (zh) * 2010-08-30 2011-01-19 西安电子科技大学 基于ksvd字典学习的多任务超分辨率图像重构方法
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
CN103136728A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于字典学习和非局部总变差的图像超分辨方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN103208102A (zh) * 2013-03-29 2013-07-17 上海交通大学 一种基于稀疏表示的遥感图像融合方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101950365A (zh) * 2010-08-30 2011-01-19 西安电子科技大学 基于ksvd字典学习的多任务超分辨率图像重构方法
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法
KR101382892B1 (ko) * 2012-10-08 2014-04-08 재단법인대구경북과학기술원 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치
CN103136728A (zh) * 2012-12-14 2013-06-05 西安电子科技大学 基于字典学习和非局部总变差的图像超分辨方法
CN103150713A (zh) * 2013-01-29 2013-06-12 南京理工大学 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法
CN103208102A (zh) * 2013-03-29 2013-07-17 上海交通大学 一种基于稀疏表示的遥感图像融合方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
CN105741252A (zh) * 2015-11-17 2016-07-06 西安电子科技大学 基于稀疏表示与字典学习的视频图像分级重建方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633218A (zh) * 2017-09-08 2018-01-26 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
US10650492B2 (en) 2017-09-08 2020-05-12 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating image
CN107633218B (zh) * 2017-09-08 2021-06-08 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置

Similar Documents

Publication Publication Date Title
Liu et al. Transferring deep representation for NIR-VIS heterogeneous face recognition
US9436895B1 (en) Method for determining similarity of objects represented in images
US11157721B2 (en) Facial image recognition using pseudo-images
Uddin et al. Hand sign language recognition for bangla alphabet using support vector machine
WO2020228515A1 (zh) 伪造人脸的识别方法、装置和计算机可读存储介质
CN104603833B (zh) 用于将印刷对象与电子内容链接的方法和系统
BR112020018915A2 (pt) Método para identificação de um objeto em uma imagem e dispositivo móvel para execução do método
CN107066955A (zh) 一种从局部人脸区域还原整张人脸的方法
CN107463932B (zh) 一种使用二进制瓶颈神经网络来抽取图片特征的方法
CN108154156B (zh) 基于神经主题模型的图像集成分类方法及装置
Martinel et al. Person re-identification via unsupervised transfer of learned visual representations
Zia et al. An adaptive training based on classification system for patterns in facial expressions using SURF descriptor templates
Majumder et al. A tale of a deep learning approach to image forgery detection
Patel et al. Dictionaries for image and video-based face recognition
CN111666976A (zh) 基于属性信息的特征融合方法、装置和存储介质
Masood et al. Utilizing spatio temporal gait pattern and quadratic SVM for gait recognition
Alshomrani et al. Arabic and american sign languages alphabet recognition by convolutional neural network
Zhang et al. Singular value decomposition based sample diversity and adaptive weighted fusion for face recognition
CN106981047A (zh) 一种从低分辨率人脸恢复高分辨率人脸的方法
Bonardi et al. PHROG: a multimodal feature for place recognition
Chen et al. Face sketch-photo synthesis and recognition: Dual-scale Markov Network and multi-information fusion
US20220230425A1 (en) Object discovery in images through categorizing object parts
BR112021014579A2 (pt) Método de identificação de usuário por característica biométrica e dispositivo móvel
Omara et al. Learning LogDet divergence for ear recognition
Cui Bidirectional representation for face recognition across pose

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170725

RJ01 Rejection of invention patent application after publication