CN113128467B - 基于面部先验知识的低分辨率人脸超分辨与识别的方法 - Google Patents

基于面部先验知识的低分辨率人脸超分辨与识别的方法 Download PDF

Info

Publication number
CN113128467B
CN113128467B CN202110510886.4A CN202110510886A CN113128467B CN 113128467 B CN113128467 B CN 113128467B CN 202110510886 A CN202110510886 A CN 202110510886A CN 113128467 B CN113128467 B CN 113128467B
Authority
CN
China
Prior art keywords
resolution
face
super
low
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110510886.4A
Other languages
English (en)
Other versions
CN113128467A (zh
Inventor
蹇木伟
王芮
王星
陈吉
举雅琨
傅德谦
张问银
董良
董波
黄振
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linyi University
Shandong University of Finance and Economics
Original Assignee
Linyi University
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linyi University, Shandong University of Finance and Economics filed Critical Linyi University
Priority to CN202110510886.4A priority Critical patent/CN113128467B/zh
Publication of CN113128467A publication Critical patent/CN113128467A/zh
Application granted granted Critical
Publication of CN113128467B publication Critical patent/CN113128467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,包括S1：数据集构建；S2：对
Figure 100004_DEST_PATH_IMAGE001
进行人脸超分辨，并由此得到映射矩阵
Figure 188305DEST_PATH_IMAGE002
；S3:构建特征提取器
Figure 100004_DEST_PATH_IMAGE003
，分别将
Figure 425514DEST_PATH_IMAGE004
和
Figure 100004_DEST_PATH_IMAGE005
映射到公共空间
Figure 451239DEST_PATH_IMAGE006
；S4：获得相对应的
Figure 100004_DEST_PATH_IMAGE007
个映射矩阵
Figure 427195DEST_PATH_IMAGE008
；S5：获取
Figure 100004_DEST_PATH_IMAGE009
图像的先验知识，得到多个超分辨结果
Figure 563778DEST_PATH_IMAGE010
；S6：分别将
Figure 100004_DEST_PATH_IMAGE011
和
Figure 918143DEST_PATH_IMAGE012
经过
Figure 255715DEST_PATH_IMAGE003
映射到公共空间
Figure 337940DEST_PATH_IMAGE006
，并将其类别分配给
Figure 950318DEST_PATH_IMAGE011
；S7：最后产生人脸超分辨与识别结果。通过本发明的技术方案，本发明内容主要包括两部分，一是训练低分辨率和高分辨率组成的人脸对数据集；二是同时将分辨率和高分辨率的人脸同时映射到公共空间来训练一个非线性转换器，目的是提高低质量人脸图像识别的准确性。

Description

基于面部先验知识的低分辨率人脸超分辨与识别的方法
技术领域
本发明涉及模式识别技术领域，具体而言，特别涉及一种基于面部先验知识的低分辨率人脸超分辨与识别的方法。
背景技术
目前，人脸识别技术已经相对成熟且应用研究十分广泛，普及到了现代社会生活的方方面面。但是，很多人脸识别系统是在人脸对象属于高质量图像的前提下工作，因此当现实世界由于各种原因导致人脸属于低分边图像时，如监控设备、距离等等，往往该系统表现出较差的性能，甚至不能识别。人脸超分辨技术，可以实现增强低分辨率人脸图像的分辨率，以产生相应的高分辨率人脸图像。因此，实现将人脸超分辨与人脸识别任务联结，可以直接提高人脸识别系统的鲁棒性，也可以用于寻找犯罪分子等其他人脸相关任务。
针对解决当高质量的图像库可用于识别低分辨率探头人脸图像的问题，现有的标准方法主要有三种：1) 向下采样注册图像（gallery images）至评测图像（probe images）的分辨率，然后执行识别。这类方法虽有效但会使得高分辨率注册图像中可用的其他具有辨别力的信息丢失。2）同时将LR评测和HR注册图像映射到公共空间，其中相应的LR和HR图像距离最近。3）将低分辨率图像重建到高分辨率的评测图像，然后用于识别。这类方法重点关注模型的超分辨技术，没有针对识别性能进行优化。另一方面，考虑到人脸图像是一个高度结构化的对象，其相对于自然图像具有明显的特定信息，因此有必要探索和利用面部的独特信息作为先验知识来促进面部细节增强。
综上所述，对于人脸识别任务，脸部的分辨率是至关重要的因素，尤其是嘴巴和眼睛、眉毛等关键区域的特征对于面部感知以及面部神经反应有直接影响。因此，将注意力选择作为先验知识并参与指导低分辨人脸到高分辨的恢复过程，对该人脸超分辨行为有大大的刺激作用，最后将其结果用于提高人脸识别任务的鲁棒性和实用性。
发明内容
本发明面向真实场景下人脸图像低分辨的现象，为解决目前人脸识别系统在该情况下性能下降的问题，采用基于面部先验知识的低分辨率人脸超分辨与识别的一体化技术来实现人脸细节增强和分辨率的提升。本发明提供了一种基于面部先验知识的低分辨率人脸超分辨与识别的方法。
本发明是通过如下技术方案实现的：一种基于面部先验知识的低分辨率人脸超分辨与识别的方法，具体包括以下步骤：
S1：数据集构建；构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure 100002_DEST_PATH_IMAGE001
，以及高分辨的注册人脸数据库（galleryset）
Figure 100002_DEST_PATH_IMAGE002
和低分辨人脸评测数据集（probeset）
Figure 100002_DEST_PATH_IMAGE003
；
S2：对
Figure 100002_DEST_PATH_IMAGE004
进行人脸超分辨，保存为
Figure 100002_DEST_PATH_IMAGE005
；将SRCNN网络
Figure 100002_DEST_PATH_IMAGE006
作为本步骤的超分辨骨干网络：先使用双三次（bicubic）插值将
Figure 138043DEST_PATH_IMAGE004
上采样到
Figure 100002_DEST_PATH_IMAGE007
的同样大小，然后通过三层卷积神经网络做非线性映射，将其结果保存为
Figure 100002_DEST_PATH_IMAGE008
，并由此得到映射矩阵
Figure 100002_DEST_PATH_IMAGE009
；
S3:构建特征提取器
Figure 100002_DEST_PATH_IMAGE010
，分别将
Figure 100002_DEST_PATH_IMAGE011
和
Figure 930549DEST_PATH_IMAGE003
映射到公共空间
Figure 100002_DEST_PATH_IMAGE012
，分别记作
Figure 100002_DEST_PATH_IMAGE013
、
Figure 100002_DEST_PATH_IMAGE014
和
Figure 100002_DEST_PATH_IMAGE015
；
S4：查找与评测数据相似的人脸对，在特征空间
Figure 116811DEST_PATH_IMAGE012
中，查找与
Figure 100002_DEST_PATH_IMAGE016
最相似的
Figure 100002_DEST_PATH_IMAGE017
个
Figure 100002_DEST_PATH_IMAGE018
，即
Figure 856228DEST_PATH_IMAGE017
对
Figure 100002_DEST_PATH_IMAGE019
，根据S2中的映射矩阵
Figure 136512DEST_PATH_IMAGE009
，获得相对应的
Figure 631079DEST_PATH_IMAGE017
个映射矩阵
Figure 100002_DEST_PATH_IMAGE020
；
S5：获取
Figure 429270DEST_PATH_IMAGE003
图像的先验知识，结合相似人脸对的映射矩阵
Figure 100002_DEST_PATH_IMAGE021
，超分辨评测数据
Figure 34695DEST_PATH_IMAGE003
，得到多个超分辨结果
Figure 100002_DEST_PATH_IMAGE022
；
S6：分别将
Figure 719886DEST_PATH_IMAGE022
和
Figure 385353DEST_PATH_IMAGE002
经过
Figure 405262DEST_PATH_IMAGE010
映射到公共空间
Figure 540009DEST_PATH_IMAGE012
，同S3，然后找到与
Figure 100002_DEST_PATH_IMAGE023
距离最小的
Figure 100002_DEST_PATH_IMAGE024
，并将其类别分配给
Figure 1078DEST_PATH_IMAGE023
；
S7：最后产生人脸超分辨与识别结果。
作为优选方案，步骤S1中，具体包括以下步骤：
S1-1：构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure 962080DEST_PATH_IMAGE001
，其中
Figure 100002_DEST_PATH_IMAGE025
来源于人脸数据集ffhq，
Figure 610231DEST_PATH_IMAGE004
由公式（1）生成，
Figure 100002_DEST_PATH_IMAGE026
（1），
其中
Figure 100002_DEST_PATH_IMAGE027
表示
Figure 100002_DEST_PATH_IMAGE028
和模糊核
Figure 100002_DEST_PATH_IMAGE029
的卷积操作，
Figure 354196DEST_PATH_IMAGE029
这里取高斯模糊；
Figure 100002_DEST_PATH_IMAGE030
表示下采样操作；
Figure 100002_DEST_PATH_IMAGE031
表示加性高斯白噪声；
Figure 100002_DEST_PATH_IMAGE032
表示JPEG压缩操作；
S1-2：构建高分辨的注册人脸数据库（galleryset）
Figure 607454DEST_PATH_IMAGE002
，数据同样来源于数据集ffhq，与
Figure 677041DEST_PATH_IMAGE025
的身份信息是无重复；
S1-3：构建低分辨人脸评测数据集（probeset）
Figure 202700DEST_PATH_IMAGE003
，数据来源于人脸数据集HELEN，其生成方式同公式（1）。
进一步地，公式（1）中
Figure 100002_DEST_PATH_IMAGE033
，
Figure 100002_DEST_PATH_IMAGE034
，而且N<M。
作为优选方案，步骤S3中，具体包括以下步骤：
S3-1：使用的ResNet18网络做为特征提取器
Figure 219198DEST_PATH_IMAGE010
，并将其最后一层全连接层丢弃掉；
S3-2：将
Figure 451596DEST_PATH_IMAGE011
通过特征提取器
Figure 895347DEST_PATH_IMAGE010
映射到公共空间
Figure 580406DEST_PATH_IMAGE012
，分别记作
Figure 259649DEST_PATH_IMAGE013
和
Figure 346554DEST_PATH_IMAGE014
；
S3-3：首先将
Figure 692697DEST_PATH_IMAGE003
通过bicubic放大到所需要的尺寸，然后同样由
Figure 927369DEST_PATH_IMAGE010
将其映射到公共空间
Figure 82407DEST_PATH_IMAGE012
，记作
Figure 227080DEST_PATH_IMAGE015
；
作为优选方案，步骤S4中，具体包括以下步骤：
S4-1：在空间
Figure 74951DEST_PATH_IMAGE012
中，根据欧式距离计算与
Figure 100002_DEST_PATH_IMAGE035
与
Figure 100002_DEST_PATH_IMAGE036
的相似度，记作
Figure 100002_DEST_PATH_IMAGE037
；
Figure 100002_DEST_PATH_IMAGE038
(2)
其中
Figure 100002_DEST_PATH_IMAGE039
表示人脸对中高分辨率人脸的数量；
S4-2：保存距离最小即相似度值最大的前
Figure 141127DEST_PATH_IMAGE017
个
Figure 100002_DEST_PATH_IMAGE040
,
Figure 100002_DEST_PATH_IMAGE041
，即对应为
Figure 303118DEST_PATH_IMAGE017
对
Figure 100002_DEST_PATH_IMAGE042
；
S4-3：获取映射矩阵，假设这
Figure 895773DEST_PATH_IMAGE017
对人脸隶属于M类不同身份的人脸，同时根据步骤S2中的映射矩阵
Figure 914545DEST_PATH_IMAGE009
，获得相对应的
Figure 999175DEST_PATH_IMAGE017
个映射矩阵
Figure 558333DEST_PATH_IMAGE020
。
作为优选方案，步骤S5中，具体包括以下步骤：
作为优选方案，步骤S5中，具体包括以下步骤：
S5-1：由预训练好的人脸解析网络（face parsing network, FPN）
Figure 100002_DEST_PATH_IMAGE043
生成
Figure 146440DEST_PATH_IMAGE003
的面部解析图（parsing map）
Figure 100002_DEST_PATH_IMAGE044
，由此可得到其语义成分级的边缘信息semanticedge maps，记作
Figure 100002_DEST_PATH_IMAGE045
，其中
Figure 273796DEST_PATH_IMAGE043
采用的是encoder-resnet-decoder的网络架构，首先是在4个下采样模块和4个上采用模块之间插入10个resnet blocks，然后是两个卷积层用来输出
Figure 100002_DEST_PATH_IMAGE046
；
S5-2：超分辨
Figure 704777DEST_PATH_IMAGE003
，将
Figure 5309DEST_PATH_IMAGE045
与
Figure 716431DEST_PATH_IMAGE003
进行级联操作，统一作为
Figure 873743DEST_PATH_IMAGE006
网络的输入，依次利用
Figure 995283DEST_PATH_IMAGE017
个映射矩阵
Figure 100002_DEST_PATH_IMAGE047
，得到
Figure 568347DEST_PATH_IMAGE017
个超分辨结果
Figure 193363DEST_PATH_IMAGE023
，
Figure 100002_DEST_PATH_IMAGE048
，即
Figure 100002_DEST_PATH_IMAGE049
（2）
其中
Figure 100002_DEST_PATH_IMAGE050
表示级联操作。
本发明由于采用了以上技术方案，与现有技术相比使其具有以下有益效果：本发明内容主要包括两部分，一是训练低分辨率和高分辨率组成的人脸对数据集，目的是学习LR-to-HR的非线性映射矩阵，为probe样本的超分辨操作提供支撑；二是同时将分辨率和高分辨率的人脸同时映射到公共空间来训练一个非线性转换器，目的是提高低质量人脸图像识别的准确性。值得一提的是，对于probe样本的超分辨，该发明不仅有效利用了与其相似高分辨人脸图像的映射矩阵，这很大程度上提高了模型效率，而且融合了人脸固有的语义成分先验知识，提升了人脸超分辨的性能的同时也实现了低分辨率人脸识别的目的，最终形成了一体化算法，有针对性地克服非受控环境下低分辨率人脸图像的识别难点问题。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的方法流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面结合图1对本发明的实施例的基于面部先验知识的低分辨率人脸超分辨与识别的方法进行具体说明。
如图1所示，本发明提出了一种基于面部先验知识的低分辨率人脸超分辨与识别的方法，具体包括以下步骤：
S1：数据集构建；构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure 928101DEST_PATH_IMAGE001
，以及高分辨的注册人脸数据库（galleryset）
Figure 209041DEST_PATH_IMAGE002
和低分辨人脸评测数据集（probeset）
Figure 116954DEST_PATH_IMAGE003
；其中
Figure 658794DEST_PATH_IMAGE004
和
Figure 298854DEST_PATH_IMAGE003
来自不同的数据集，但是由相同的降级模型合成，目的是拟合真实世界中的低质量人脸图像。具体包括以下步骤：
S1-1：构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure 129406DEST_PATH_IMAGE001
，其中
Figure 637748DEST_PATH_IMAGE025
来源于人脸数据集ffhq，
Figure 237357DEST_PATH_IMAGE004
由公式（1）生成，
Figure 48318DEST_PATH_IMAGE026
（1），
其中
Figure 162904DEST_PATH_IMAGE027
表示
Figure 147041DEST_PATH_IMAGE028
和模糊核
Figure 804418DEST_PATH_IMAGE029
的卷积操作，
Figure 848598DEST_PATH_IMAGE029
这里取高斯模糊；
Figure 716060DEST_PATH_IMAGE030
表示下采样操作；
Figure 100002_DEST_PATH_IMAGE051
表示加性高斯白噪声；
Figure 175991DEST_PATH_IMAGE032
表示JPEG压缩操作；
Figure 546929DEST_PATH_IMAGE033
，
Figure 762010DEST_PATH_IMAGE034
，而且N<M。
S1-2：构建高分辨的注册人脸数据库（galleryset）
Figure 723625DEST_PATH_IMAGE002
，数据同样来源于数据集ffhq，与
Figure 111881DEST_PATH_IMAGE025
的身份信息是无重复；
S1-3：构建低分辨人脸评测数据集（probeset）
Figure 540589DEST_PATH_IMAGE003
，数据来源于人脸数据集HELEN，其生成方式同公式（1）。
S2：对
Figure 864254DEST_PATH_IMAGE004
进行人脸超分辨，保存为
Figure 643991DEST_PATH_IMAGE005
；将预训练好的SRCNN网络
Figure 835938DEST_PATH_IMAGE006
作为本步骤的超分辨骨干网络：先使用双三次（bicubic）插值将
Figure 119152DEST_PATH_IMAGE004
上采样到
Figure 613718DEST_PATH_IMAGE007
的同样大小，然后通过三层卷积神经网络做非线性映射，将其结果保存为
Figure 411910DEST_PATH_IMAGE008
，并由此得到映射矩阵
Figure 282914DEST_PATH_IMAGE009
；
S3:构建特征提取器
Figure 420634DEST_PATH_IMAGE010
，分别将
Figure 476315DEST_PATH_IMAGE011
和
Figure 965065DEST_PATH_IMAGE003
映射到公共空间
Figure 108601DEST_PATH_IMAGE012
，分别记作
Figure 428724DEST_PATH_IMAGE013
、
Figure 592989DEST_PATH_IMAGE014
和
Figure 241139DEST_PATH_IMAGE015
；具体包括以下步骤：
S3-1：使用预训练好的ResNet18网络做为特征提取器
Figure 516263DEST_PATH_IMAGE010
，并将其最后一层全连接层丢弃掉；
S3-2：将
Figure 690892DEST_PATH_IMAGE011
通过特征提取器
Figure 698163DEST_PATH_IMAGE010
映射到公共空间
Figure 958243DEST_PATH_IMAGE012
，分别记作
Figure 771478DEST_PATH_IMAGE013
和
Figure 675980DEST_PATH_IMAGE014
；
S3-3：首先将
Figure 978785DEST_PATH_IMAGE003
通过bicubic放大到所需要的尺寸，然后同样由
Figure 929424DEST_PATH_IMAGE010
将其映射到公共空间
Figure 45602DEST_PATH_IMAGE012
，记作
Figure 194824DEST_PATH_IMAGE015
。
S4：查找与评测数据相似的人脸对，在特征空间
Figure 871793DEST_PATH_IMAGE012
中，查找与
Figure 981831DEST_PATH_IMAGE016
最相似的
Figure 136869DEST_PATH_IMAGE017
个
Figure 406177DEST_PATH_IMAGE018
，即
Figure 988468DEST_PATH_IMAGE017
对
Figure 585802DEST_PATH_IMAGE019
，根据S2中的映射矩阵
Figure 544531DEST_PATH_IMAGE009
，获得相对应的
Figure 402765DEST_PATH_IMAGE017
个映射矩阵
Figure 359220DEST_PATH_IMAGE020
；具体包括以下步骤：
S4-1：在空间
Figure 506168DEST_PATH_IMAGE012
中，根据欧式距离计算与
Figure 65325DEST_PATH_IMAGE035
与
Figure 981328DEST_PATH_IMAGE036
的相似度，记作
Figure 108684DEST_PATH_IMAGE037
；
Figure 539666DEST_PATH_IMAGE038
(2)
其中
Figure 840197DEST_PATH_IMAGE039
表示人脸对中高分辨率人脸的数量；
S4-2：保存距离最小即相似度值最大的前
Figure 548390DEST_PATH_IMAGE017
个
Figure 908964DEST_PATH_IMAGE040
,
Figure 92821DEST_PATH_IMAGE041
，即对应为
Figure 931464DEST_PATH_IMAGE017
对
Figure 494163DEST_PATH_IMAGE042
；
S4-3：获取映射矩阵，假设这
Figure 87956DEST_PATH_IMAGE017
对人脸隶属于M类不同身份的人脸，同时根据步骤S2中的映射矩阵
Figure 431212DEST_PATH_IMAGE009
，获得相对应的
Figure 276809DEST_PATH_IMAGE017
个映射矩阵
Figure 21911DEST_PATH_IMAGE020
。
S5：获取
Figure 786605DEST_PATH_IMAGE003
图像的先验知识，结合相似人脸对的映射矩阵
Figure 617157DEST_PATH_IMAGE047
，超分辨评测数据
Figure 466777DEST_PATH_IMAGE003
，得到多个超分辨结果
Figure 394282DEST_PATH_IMAGE023
；具体包括以下步骤：
S5-1：由预训练好的人脸解析网络（face parsing network, FPN）
Figure 267560DEST_PATH_IMAGE043
生成
Figure 523092DEST_PATH_IMAGE003
的面部解析图（parsing map）
Figure 507228DEST_PATH_IMAGE044
，这些成分包括眉毛、眼睛、鼻子、嘴巴和皮肤这五个面部区域。由此可得到其语义成分级的边缘信息semanticedge maps，记作
Figure 289240DEST_PATH_IMAGE045
，其可作为先验知识在重建过程中起到约束作用。其中
Figure 5523DEST_PATH_IMAGE043
采用的是encoder-resnet-decoder的网络架构，首先是在4个下采样模块和4个上采用模块之间插入10个resnet blocks，然后是两个卷积层用来输出
Figure 810668DEST_PATH_IMAGE046
；
S5-2：超分辨
Figure 660812DEST_PATH_IMAGE003
，将
Figure 235013DEST_PATH_IMAGE045
与
Figure 387777DEST_PATH_IMAGE003
进行级联操作，统一作为
Figure 414639DEST_PATH_IMAGE006
网络的输入，依次利用
Figure 802895DEST_PATH_IMAGE017
个映射矩阵
Figure 169285DEST_PATH_IMAGE047
，得到
Figure 555267DEST_PATH_IMAGE017
个超分辨结果
Figure 397321DEST_PATH_IMAGE023
，
Figure 526951DEST_PATH_IMAGE048
，即
Figure 747848DEST_PATH_IMAGE049
（2）
其中
Figure 570310DEST_PATH_IMAGE050
表示级联操作。这种做法可以对
Figure 634081DEST_PATH_IMAGE006
网络施加面部语义成分注意力，而且通过
Figure 973927DEST_PATH_IMAGE045
的指导可以产生更加清晰的人脸。
S6：分别将
Figure 377227DEST_PATH_IMAGE023
和
Figure 432907DEST_PATH_IMAGE002
经过
Figure 656078DEST_PATH_IMAGE010
映射到公共空间
Figure 330773DEST_PATH_IMAGE012
，同S3，然后找到与
Figure 588579DEST_PATH_IMAGE023
距离最小的
Figure 549582DEST_PATH_IMAGE002
，并将其类别分配给
Figure 525628DEST_PATH_IMAGE023
；
S7：最后产生人脸超分辨与识别结果。
在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于面部先验知识的低分辨率人脸超分辨与识别的方法，其特征在于,具体包括以下步骤：
S1：数据集构建；构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure DEST_PATH_IMAGE001
，以及高分辨的注册人脸数据库（galleryset）
Figure DEST_PATH_IMAGE002
和低分辨人脸评测数据集（probeset）
Figure DEST_PATH_IMAGE003
；
S2：对
Figure DEST_PATH_IMAGE004
进行人脸超分辨，保存为
Figure DEST_PATH_IMAGE005
；将SRCNN网络
Figure DEST_PATH_IMAGE006
作为本步骤的超分辨骨干网络：先使用双三次（bicubic）插值将
Figure DEST_PATH_IMAGE007
上采样到
Figure DEST_PATH_IMAGE008
的同样大小，然后通过三层卷积神经网络做非线性映射，将其结果保存为
Figure DEST_PATH_IMAGE009
，并由此得到映射矩阵
Figure DEST_PATH_IMAGE010
；
S3: 构建特征提取器
Figure DEST_PATH_IMAGE011
，分别将
Figure DEST_PATH_IMAGE012
和
Figure 782986DEST_PATH_IMAGE003
映射到公共空间
Figure DEST_PATH_IMAGE013
，分别记作
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
和
Figure DEST_PATH_IMAGE016
；
S4：查找与评测数据相似的人脸对，在特征空间
Figure DEST_PATH_IMAGE017
中，查找与
Figure DEST_PATH_IMAGE018
最相似的
Figure DEST_PATH_IMAGE019
个
Figure DEST_PATH_IMAGE020
，即
Figure 982017DEST_PATH_IMAGE019
对
Figure 27334DEST_PATH_IMAGE012
，根据S2中的映射矩阵
Figure 688122DEST_PATH_IMAGE010
，获得相对应的
Figure 640510DEST_PATH_IMAGE019
个映射矩阵
Figure DEST_PATH_IMAGE021
；
S5：获取
Figure 994131DEST_PATH_IMAGE003
图像的先验知识，结合相似人脸对的映射矩阵
Figure DEST_PATH_IMAGE022
，超分辨评测数据
Figure 933268DEST_PATH_IMAGE003
，得到多个超分辨结果
Figure DEST_PATH_IMAGE023
；
具体包括以下步骤：
S5-1：由人脸解析网络（face parsing network, FPN）
Figure DEST_PATH_IMAGE024
生成
Figure 804272DEST_PATH_IMAGE003
的面部解析图（parsing map）
Figure DEST_PATH_IMAGE025
，由此可得到其语义成分级的边缘信息semantic edge maps，记作
Figure DEST_PATH_IMAGE026
，其中
Figure DEST_PATH_IMAGE027
采用的是encoder-resnet-decoder的网络架构，首先是在4个下采样模块和4个上采用模块之间插入10个resnet blocks，然后是两个卷积层用来输出
Figure 410834DEST_PATH_IMAGE025
；
S5-2：超分辨
Figure 669777DEST_PATH_IMAGE003
，将
Figure 955265DEST_PATH_IMAGE026
与
Figure 833222DEST_PATH_IMAGE003
进行级联操作，统一作为
Figure 622187DEST_PATH_IMAGE006
网络的输入，依次利用
Figure 583189DEST_PATH_IMAGE019
个映射矩阵
Figure 965760DEST_PATH_IMAGE022
，得到
Figure 506463DEST_PATH_IMAGE019
个超分辨结果
Figure 415513DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE028
，即
Figure DEST_PATH_IMAGE029
（2）
其中
Figure DEST_PATH_IMAGE030
表示级联操作；
S6：分别将
Figure 953942DEST_PATH_IMAGE023
和
Figure 823809DEST_PATH_IMAGE002
经过
Figure 168203DEST_PATH_IMAGE011
映射到公共空间
Figure 931759DEST_PATH_IMAGE013
，同S3，然后找到与
Figure 968985DEST_PATH_IMAGE023
距离最小的
Figure 317360DEST_PATH_IMAGE002
，并将其类别分配给
Figure 465444DEST_PATH_IMAGE023
；
S7：最后产生人脸超分辨与识别结果。
2.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S1中，具体包括以下步骤：
S1-1：构建包含低分辨人脸和高分辨人脸对的训练数据集
Figure DEST_PATH_IMAGE031
，其中
Figure DEST_PATH_IMAGE032
来源于人脸数据集ffhq，
Figure DEST_PATH_IMAGE033
由公式（1）生成，
Figure DEST_PATH_IMAGE034
（1），
其中
Figure DEST_PATH_IMAGE035
表示
Figure DEST_PATH_IMAGE036
和模糊核
Figure DEST_PATH_IMAGE037
的卷积操作，
Figure 693294DEST_PATH_IMAGE037
这里取高斯模糊；
Figure DEST_PATH_IMAGE038
表示下采样操作；
Figure DEST_PATH_IMAGE039
表示加性高斯白噪声；
Figure DEST_PATH_IMAGE040
表示JPEG压缩操作；
S1-2：构建高分辨的注册人脸数据库（galleryset）
Figure DEST_PATH_IMAGE041
，数据来源于数据集ffhq，与
Figure 980050DEST_PATH_IMAGE032
的身份信息是无重复；
S1-3：构建低分辨人脸评测数据集（probeset）
Figure DEST_PATH_IMAGE042
，数据来源于人脸数据集HELEN，其生成方式同公式（1）。
3.根据权利要求2所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述公式（1）中
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE044
，而且N<M。
4.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S3中，具体包括以下步骤：
S3-1：使用ResNet18网络做为特征提取器
Figure DEST_PATH_IMAGE045
，并将其最后一层全连接层丢弃掉；
S3-2：将
Figure DEST_PATH_IMAGE046
通过特征提取器
Figure 152406DEST_PATH_IMAGE045
映射到公共空间
Figure DEST_PATH_IMAGE047
，分别记作
Figure DEST_PATH_IMAGE048
和
Figure DEST_PATH_IMAGE049
；
S3-3：首先将
Figure 510706DEST_PATH_IMAGE042
通过bicubic放大到所需要的尺寸，然后同样由
Figure 124221DEST_PATH_IMAGE045
将其映射到公共空间
Figure 768829DEST_PATH_IMAGE047
，记作
Figure DEST_PATH_IMAGE050
。
5.根据权利要求1所述的一种基于面部先验知识的低分辨率人脸超分辨与识别的方法,其特征在于,所述步骤S4中，具体包括以下步骤：
S4-1：在空间
Figure 97654DEST_PATH_IMAGE047
中，根据欧式距离计算与
Figure DEST_PATH_IMAGE051
与
Figure DEST_PATH_IMAGE052
的相似度，记作
Figure DEST_PATH_IMAGE053
；
Figure DEST_PATH_IMAGE054
(2)
其中
Figure DEST_PATH_IMAGE055
表示人脸对中高分辨率人脸的数量；
S4-2：保存距离最小即相似度值最大的前
Figure DEST_PATH_IMAGE056
个
Figure DEST_PATH_IMAGE057
,
Figure DEST_PATH_IMAGE058
，即对应为
Figure 728487DEST_PATH_IMAGE056
对
Figure DEST_PATH_IMAGE059
；
S4-3：获取映射矩阵，假设这
Figure 196509DEST_PATH_IMAGE056
对人脸隶属于M类不同身份的人脸，同时根据步骤S2中的映射矩阵
Figure DEST_PATH_IMAGE060
，获得相对应的
Figure 277597DEST_PATH_IMAGE056
个映射矩阵
Figure DEST_PATH_IMAGE061
。
CN202110510886.4A 2021-05-11 2021-05-11 基于面部先验知识的低分辨率人脸超分辨与识别的方法 Active CN113128467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110510886.4A CN113128467B (zh) 2021-05-11 2021-05-11 基于面部先验知识的低分辨率人脸超分辨与识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110510886.4A CN113128467B (zh) 2021-05-11 2021-05-11 基于面部先验知识的低分辨率人脸超分辨与识别的方法

Publications (2)

Publication Number Publication Date
CN113128467A CN113128467A (zh) 2021-07-16
CN113128467B true CN113128467B (zh) 2022-03-29

Family

ID=76781665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110510886.4A Active CN113128467B (zh) 2021-05-11 2021-05-11 基于面部先验知识的低分辨率人脸超分辨与识别的方法

Country Status (1)

Country Link
CN (1) CN113128467B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693419A (zh) * 2012-05-24 2012-09-26 武汉大学 基于多流形判别分析超分辨率的人脸识别方法
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
WO2020118829A1 (zh) * 2018-12-12 2020-06-18 深圳先进技术研究院 基于决策树的pet图像超分辨重建方法、装置、设备及介质
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203483B (zh) * 2016-06-29 2019-06-11 天津大学 一种基于语义相关多模态映射方法的零样本图像分类方法
CN106250925B (zh) * 2016-07-25 2019-06-11 天津大学 一种基于改进的典型相关分析的零样本视频分类方法
CN107657653A (zh) * 2016-07-25 2018-02-02 同方威视技术股份有限公司 用于对三维表面的图像进行重建的方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693419A (zh) * 2012-05-24 2012-09-26 武汉大学 基于多流形判别分析超分辨率的人脸识别方法
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
CN108447020A (zh) * 2018-03-12 2018-08-24 南京信息工程大学 一种基于极深卷积神经网络的人脸超分辨率重建方法
WO2020118829A1 (zh) * 2018-12-12 2020-06-18 深圳先进技术研究院 基于决策树的pet图像超分辨重建方法、装置、设备及介质
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A robust face super-resolution algorithm and its application in low-resolution face recognition system;Shyam Singh Rajput 等，;《Multimedia Tools and Applications》;20200615;第79卷;第23909-23934页 *
Low-resolution face recognition: a review;Zhifei Wang 等，;《The Visual Computer》;20130806;第30卷;第359-386页 *
基于SRCNN和SSD网络的小目标检测方法;王烈 等，;《计算机仿真》;20200331;第37卷(第3期);第430-434页 *

Also Published As

Publication number Publication date
CN113128467A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
Zhong et al. An end-to-end dense-inceptionnet for image copy-move forgery detection
CN111126307A (zh) 联合稀疏表示神经网络的小样本人脸识别方法
CN112801182A (zh) 一种基于困难样本感知的rgbt目标跟踪方法
CN113837290A (zh) 一种基于注意力生成器网络的无监督非成对图像翻译方法
Yu et al. Augmented multi-scale spatiotemporal inconsistency magnifier for generalized DeepFake detection
CN113269848A (zh) 基于注意力机制的遥感图像重构系统
Wang et al. Paccdu: pyramid attention cross-convolutional dual unet for infrared and visible image fusion
CN103605993B (zh) 一种基于面向场景判别性分析的图像到视频人脸识别方法
Zhao et al. TAN-GFD: generalizing face forgery detection based on texture information and adaptive noise mining
CN113128467B (zh) 基于面部先验知识的低分辨率人脸超分辨与识别的方法
Han et al. Self-supervised learning of Orc-Bert augmentator for recognizing few-shot oracle characters
CN110633631B (zh) 一种基于部件幂集和多尺度特征的行人重识别方法
Wang et al. Iris image super resolution based on gans with adversarial triplets
CN117315241A (zh) 一种基于transformer结构的场景图像语义分割方法
CN116758397A (zh) 基于深度学习的单模态诱导的多模态预训练方法及系统
Chen et al. Optimization of a training set for more robust face detection
Du et al. Efficient spatial pyramid of dilated convolution and bottleneck network for zero-shot super resolution
CN113128624B (zh) 一种基于多尺度字典的图网络人脸恢复方法
Xiu et al. Double discriminative face super-resolution network with facial landmark heatmaps
Guo et al. Constructing New Backbone Networks via Space-Frequency Interactive Convolution for Deepfake Detection
Li et al. V-ShadowGAN: generative adversarial networks for removing and generating shadows associated with vehicles based on unpaired data
Li et al. Pixel Bleach Network for Detecting Face Forgery under Compression
Zhang et al. A survey on face forgery detection of Deepfake
CN117612266B (zh) 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法
Liu et al. Image forgery localization based on fully convolutional network with noise feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant