CN117238020B - 人脸识别方法、装置和计算机设备 - Google Patents
人脸识别方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN117238020B CN117238020B CN202311496866.1A CN202311496866A CN117238020B CN 117238020 B CN117238020 B CN 117238020B CN 202311496866 A CN202311496866 A CN 202311496866A CN 117238020 B CN117238020 B CN 117238020B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- resolution
- network
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000001514 detection method Methods 0.000 claims abstract description 144
- 238000012549 training Methods 0.000 claims abstract description 127
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims description 36
- 238000013507 mapping Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种人脸识别方法、装置和计算机设备，其中，该人脸识别方法包括：将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；进一步地，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。通过本申请，解决了无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，实现了提高人脸识别的准确性。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及人脸识别方法、装置和计算机设备。
背景技术
人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术，其通常利用摄像机或摄像头采集含有人脸的图像或视频流，自动在图像中检测和跟踪人脸，并对检测到的人脸实现脸部识别。而图像处理、机器学习以及计算机视觉等多种关键技术的发展，共同推动了人脸识别技术的快速进步，在安全监控、人员管理、智能门禁等领域中得到广泛应用，人脸识别技术的重要性也日益凸显。
通过人脸识别网络对采集到的人脸图像进行处理是一种常见的人脸识别方法。但是，在现有的人脸识别网络训练过程中，通常采用数据增强网络端到端的进行训练，该方式无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确。
针对相关技术中存在无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种人脸识别方法、装置和计算机设备，以解决相关技术中无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题。
第一个方面，在本实施例中提供了一种人脸识别方法，所述方法包括：
将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
通过训练完备的图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像；
将所述高分辨率人脸图像转换为对应的人脸正面图像，并将所述人脸正面图像输入至目标人脸识别网络，得到识别结果。
在其中的一些实施例中，所述图像超分辨率重建网络采用量化自编码器结构；在所述通过训练完备的图像超分辨率重建网络，对所述人脸检测图像进行处理之前，还包括：
基于训练数据集中的人脸检测图像，对所述图像超分辨率重建网络进行第一阶段训练，得到所述图像超分辨率重建网络中的码本参数和解码器参数；
根据所述码本参数和所述解码器参数，对所述图像超分辨率重建网络进行更新；
将所述人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络进行第二阶段训练，得到所述图像超分辨率重建网络的编码预测参数；
根据所述码本参数、所述解码器参数和所述编码预测参数，优化所述图像超分辨率重建网络；
基于所述低分辨率人脸图像对优化后的所述图像超分辨率重建网络进行第三阶段训练，得到训练完备的所述图像超分辨率重建网络。
在其中的一些实施例中，所述基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络进行第二阶段训练，得到所述图像超分辨率重建网络的编码预测参数，包括：
基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络中编码预测模块进行训练，得到所述图像超分辨率重建网络的编码预测参数。
在其中的一些实施例中，所述基于所述低分辨率人脸图像对优化后的所述图像超分辨率重建网络进行第三阶段训练，得到训练完备的所述图像超分辨率重建网络，包括：
将所述低分辨率人脸图像输入至优化后的所述图像超分辨率重建网络；
在优化后的所述图像超分辨率重建网络中，基于所述低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的所述图像超分辨率重建网络。
在其中的一些实施例中，所述将所述高分辨率人脸图像转换为对应的人脸正面图像，包括：
将每个所述高分辨率人脸图像输入至特征点检测网络，得到所述高分辨率人脸图像中的多个人脸特征点；
从各个所述人脸特征点中选取目标人脸特征点；所述目标人脸特征点为每个所述高分辨率人脸图像中最外围的所述人脸特征点；
基于各个所述目标人脸特征点对所述高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
在其中的一些实施例中，在所述将所述人脸正面图像输入至目标人脸识别网络，得到识别结果之前，还包括：
将预处理后的所述人脸正面图像输入至初始人脸识别网络；
在所述初始人脸识别网络中，根据预处理后的所述人脸正面图像对预设的联合损失函数进行优化；
根据优化后的所述联合损失函数，更新所述初始人脸识别网络的参数，得到所述目标人脸识别网络。
在其中的一些实施例中，所述目标人脸识别网络为目标活体检测网络；在所述通过训练完备的图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像之前，还包括：
基于训练数据集中的人脸检测图像，对所述图像超分辨率重建网络进行第一阶段训练，得到所述图像超分辨率重建网络中的码本参数和解码器参数；
根据所述码本参数和所述解码器参数，对所述图像超分辨率重建网络进行更新；
将所述人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络中编码预测模块进行第二阶段训练，得到训练完备的所述图像超分辨率重建网络。
在其中的一些实施例中，在将所述人脸正面图像输入至目标活体检测网络，得到识别结果之前，还包括：
将预处理后的所述人脸正面图像输入至初始活体检测网络；
在所述初始活体检测网络中，根据预处理后的所述人脸正面图像对预设的三元损失函数进行优化；
根据优化后的所述三元损失函数，更新所述初始活体检测网络的参数，得到所述目标活体检测网络。
第二个方面，在本实施例中提供了一种人脸识别装置，所述装置包括：检测模块、重建模块以及识别模块；
所述检测模块，用于将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
所述重建模块，用于通过训练完备的图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像；
所述识别模块，用于将所述高分辨率人脸图像转换为对应的人脸正面图像，并将所述人脸正面图像输入至目标人脸识别网络，得到识别结果。
第三个方面，在本实施例中提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的人脸识别方法。
第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的人脸识别方法。
与相关技术相比，在本实施例中提供的人脸识别方法、装置和计算机设备，通过将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；进一步地，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果，解决了无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，实现了提高人脸识别的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请一实施例提供的人脸识别方法的终端设备的硬件结构框图；
图2是本申请一实施例提供的人脸识别方法的流程图；
图3是本申请一实施例提供的图像超分辨率重建网络的处理流程示意图；
图4是本申请一实施例提供的图像超分辨率重建网络的结构示意图；
图5是本申请一实施例提供的图像超分辨率重建网络的处理流程示意图；
图6是本申请一实施例提供的可控特征变换模块的结构示意图；
图7是本申请一实施例提供的目标人脸识别网络的结构示意图；
图8是本申请一实施例提供的图像超分辨率重建网络的结构示意图；
图9是本申请一实施例提供的自适应特征变换模块的结构示意图；
图10是本申请一实施例提供的图像超分辨率重建网络的处理流程示意图；
图11是本申请一实施例提供的目标活体检测网络的结构示意图；
图12是本申请一实施例提供的人脸识别方法的流程示意图；
图13是本申请一优选实施例提供的人脸识别方法的流程图；
图14是本申请一实施例提供的人脸识别装置的结构框图。
图中：102、处理器；104、存储器；106、传输设备；108、输入输出设备；10、检测模块；20、重建模块；30、识别模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的人脸识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的人脸识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种人脸识别方法，图2是本实施例的人脸识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S220，将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像。
具体地，训练用于生成人脸检测图像的人脸检测网络。首先对训练数据集中的人脸图像进行标注，通过矩形框完整包围人脸，并对标注后的人脸图像执行预处理操作；其中，预处理操作包括缩放图像尺寸，以及对图像进行归一化处理。
进一步地，选用目标检测网络YOLOX作为本实施例中人脸检测网络，将预处理后的人脸图像输入至人脸检测网络进行训练，直至人脸检测网络收敛时固定所有参数，得到最终的人脸检测网络。
之后，将采集到的待识别图像输入至训练后的人脸检测网络，得到对应的人脸检测图像。其中，各个待识别图像均是通过红外摄像头采集得到的，红外摄像头无需借助外部环境光，依靠自身发射红外线光进行夜视成像，能够获取高质量且稳定的图像数据。
步骤S240，通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像。
需要知道的是，图像超分辨率重建网络使用优化后的CodeFormer预测网络对人脸检测图像进行图像超分辨率重建，利用低纬度的先验离散码本所提供的丰富视觉元素生成高分辨率人脸图像，以有效减少图像恢复映射的不确定性和模糊性。
步骤S260，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。
具体地，将每个高分辨率人脸图像输入至特征点检测网络，得到高分辨率人脸图像中的多个人脸特征点，并从各个人脸特征点中选取目标人脸特征点，其中，目标人脸特征点为每个高分辨率人脸图像中最外围的人脸特征点。
进一步地，基于各个目标人脸特征点，对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。
通过人脸识别网络对采集到的人脸图像进行处理是一种常见的人脸识别方法。但是，在现有的人脸识别网络训练过程中，通常采用数据增强网络端到端的进行训练，该方式无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确。
而本申请相较于现有技术，将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；进一步地，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。基于此，通过本申请中的图像超分辨率重建网络，可以减少图像恢复映射时的不确定性和模糊性，以生成高质量的人脸图像，使得超分辨率重建后的人脸图像具有更好的图像质量和稳定性，避免了图像质量差异所引起的误识别，从而解决了无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，实现了提高人脸识别的准确性。
在其中的一些实施例中，图像超分辨率重建网络采用量化自编码器结构；在通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理之前，还包括如下步骤：
步骤S231，基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到图像超分辨率重建网络中的码本参数和解码器参数；
步骤S232，根据码本参数和解码器参数，对图像超分辨率重建网络进行更新；
步骤S233，将人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于低分辨率人脸图像，对更新后的图像超分辨率重建网络进行第二阶段训练，得到图像超分辨率重建网络的编码预测参数；
步骤S234，根据码本参数、解码器参数和编码预测参数，优化图像超分辨率重建网络；
步骤S235，基于低分辨率人脸图像对优化后的图像超分辨率重建网络进行第三阶段训练，得到训练完备的图像超分辨率重建网络。
具体地，预处理训练数据集中的人脸检测图像，其中，预处理包括缩放图像尺寸，以及对图像进行归一化处理；并将预处理后的人脸检测图像输入至图像超分辨率重建网络进行第一阶段训练。
请参阅图3，在图像超分辨率重建网络中，通过编码器对输入图像进行处理，生成对应的深层特征Zh，并根据深层特征Zh和码本C生成量化特征Zc以及相应的代码序列S，进而通过解码器对特征Zc进行处理，得到预测的高分辨率人脸图像。其中，码本C是用于表示图像中各个像素值的一组编码符号，其包含预先定义的多个码字，每个码字代表对应的像素值区域，从而能够在图像处理过程中，使用码字索引替换图像的像素值，且在图3所示的码本C以及量化特征Zc中，不同样式填充图案分别代表不同的像素值区域。
本实施例中基于码本C对深层特征Zh进行最近邻匹配，即对Zh的每个特征以最近邻方式从码本C中选择最相似特征进行替换，生成量化特征Zc的表达式，以及代码序列S的生成方式如下：
；
；
其中，表示求取矩阵L2范数的最小值；（i，j）表示二维平面坐标系中的坐标，i∈{0，…，m-1}，i∈{0，…，n-1}，m和n分别为第一阶段训练过程中深层特征Zh的长度和宽度；/>为二维坐标系中坐标为（i，j），深度为d的一维向量；Ck为码本C中第k个长度为d的一维向量，d为深层特征Zh的深度；S(i,j)为二维坐标系中坐标为（i，j）的整数，且取值范围为[0，N-1]，而k为[0，N]的整数，此处N设置为1024。
另外，第一阶段的网络损失函数Lcodebook的具体表达式如下：
；
其中，在中，Ih表示第一阶段的输入图像，Irec表示第一阶段重建得到的高分辨率人脸图像，/>表示矩阵的L1范数；在感知损失/>，/>表示矩阵L2范数的平方，/>表示经卷积神经网络VGG19所提取的深层特征；在对抗损失中，D(Ih)与D(Irec)分别为判定Ih和Irec为真实图像的概率；在码本层面的损失函数/>中，/>表示停止梯度计算，β和λadv的值分别为0.25和0.8。
在本实施例中，图像超分辨率重建网络采用量化自编码器结构，其第一阶段训练过程对量化自编码器进行训练，并学习包含丰富上下文信息的代码本。基于此，利用第一阶段的训练过程，获取学习到的码本参数和解码器参数，并根据码本参数和解码器参数，对图像超分辨率重建网络进行更新，将上述码本参数和解码器参数作为图像超分辨率重建网络的固定参数。
进一步地，将人脸检测图像下采样处理为对应的低分辨率人脸图像，并将低分辨率人脸图像输入至更新后的图像超分辨率重建网络进行第二阶段训练。在图像超分辨率重建网络中，对更新后的图像超分辨率重建网络中编码预测模块进行训练，得到图像超分辨率重建网络的编码预测参数，以此模拟全局相互关系，获得良好的预测效果。
之后，根据码本参数、解码器参数和编码预测参数，优化图像超分辨率重建网络，并将下采样得到的低分辨率人脸图像，输入至优化后的图像超分辨率重建网络进行第三阶段训练。在优化后的图像超分辨率重建网络中，基于低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的图像超分辨率重建网络得到训练完备的图像超分辨率重建网络，其中，可以通过调整W值控制输出图像的质量和保真性。
需要知道的是，如图4所示，本实施例中图像超分辨率重建网络处理输入图像的具体过程，包括输入的人脸检测图像经残差单元和下采样多次处理后，将下采样得到的图像输入至编码预测层，并将编码预测得到的特征结合码本C进行重建；重建得到的特征经残差单元和上采样多次处理，并将上采样结果输入至可控特征变换模块进行处理，并输出最终预测的高分辨率人脸图像。
通过本实施例，依次对图像超分辨率重建网络进行三个阶段训练，通过上下文建模和全局建模，使得重建网络对于不同程度的图像退化具有更强的鲁棒性，从而能够生成更为接近目标人脸且更为自然的人脸图像。
在其中的一些实施例中，基于低分辨率人脸图像，对更新后的图像超分辨率重建网络进行第二阶段训练，得到图像超分辨率重建网络的编码预测参数，包括如下步骤：
基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行训练，得到图像超分辨率重建网络的编码预测参数。
具体地，如图5所示，将下采样得到的低分辨率人脸图像输入至更新后的图像超分辨率重建网络，执行第二阶段训练。在本实施例的图像超分辨率重建网络中，固定第一阶段所学习的码本参数和解码器参数，微调编码器参数，并通过训练编码预测模块Transformer来模拟全局相互关系。
其中，基于Transformer输出的和码本C重建得到特征/>，并将/>输入至解码器，生成所预测的高分辨率人脸图像。在此基础上，第二阶段网络整体损失Ltf的具体表达式如下：
；
在交叉熵损失中，mn为第二阶段中输入图像经编码器处理后的图像尺寸，即m和n分别为第二阶段所产生的中间层特征Zl的长度和宽度，λtoken的值为0.5；在码本约束损失/>中，Zl为第二阶段中输入图像经编码器处理后生成的特征，/>表示停止梯度计算。
通过本实施例，基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行训练，得到图像超分辨率重建网络的编码预测参数，以此实现全局建模。基于此，相较于常规方法中无法精确定位到复原的码本信息，本实施例能够达到更好的预测效果。
在其中的一些实施例中，基于低分辨率人脸图像对优化后的图像超分辨率重建网络进行第三阶段训练，得到训练完备的图像超分辨率重建网络，包括如下步骤：
将低分辨率人脸图像输入至优化后的图像超分辨率重建网络；
在优化后的图像超分辨率重建网络中，基于低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的图像超分辨率重建网络。
具体地，如图5所示，将下采样得到的低分辨率人脸图像，输入至优化后的图像超分辨率重建网络，执行第三阶段训练。在本实施例的图像超分辨率重建网络中，固定学习到的码本参数、解码器参数以及和Transformer参数，对可控特征变换（ControllableFeature Transformation，简称为CFT）模块进行训练。其中，码本是用于表示图像中各个像素值的一组编码符号，其包含预先定义的多个码字，每个码字代表对应的像素值区域，从而能够在图像处理过程中，使用码字索引替换图像的像素值，且在图5所示的码本C以及基于码本C重建得到的特征中，不同样式填充图案分别代表不同的像素值区域。
需要知道的是，如图6所示，本实施例通过调整W值控制输出图像的质量和保真性，且可控特征变换模块的输出为，具体表达式如下：
；
；
其中，Fd为解码器处理过程的中间层特征；Fe为编码器处理过程的中间层特征；α和β均为通过卷积操作Fθ预测连接特征C(Fd，Fe)所获得的值；⊙表示像素乘法。此外，第三阶段网络损失函数，直至图像超分辨率重建网络训练收敛时固定所有参数，得到最终的图像超分辨率重建网络。
通过本实施例，将低分辨率人脸图像输入至优化后的图像超分辨率重建网络，并在优化后的图像超分辨率重建网络中，基于低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的图像超分辨率重建网络，从而能够调整输出图像的保真度和质量达到平衡状态，即对于轻度退化的情况具有高真实复原能力，而对于重度退化的情况具有高质复原能力，以此提升了输出图像质量和稳定性。
在其中的一些实施例中，将高分辨率人脸图像转换为对应的人脸正面图像，包括如下步骤：
步骤S261，将每个高分辨率人脸图像输入至特征点检测网络，得到高分辨率人脸图像中的多个人脸特征点；
步骤S262，从各个人脸特征点中选取目标人脸特征点；目标人脸特征点为每个高分辨率人脸图像中最外围的人脸特征点；
步骤S263，基于各个目标人脸特征点对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
具体地，训练特征点检测网络，以获取人脸图像中的目标人脸特征点。首先对训练数据集中高分辨率人脸图像进行人脸特征点标注。示例性地，每个人脸图像共标注103个特征点，且各个特征点分别位于左右眉毛、左右眼睛、鼻子以及嘴巴部位。
进一步地，缩放高分辨率人脸图像的尺寸，并对图像进行归一化处理。此时，将带有标注信息的高分辨率人脸图像输入至特征点检测网络进行训练，直至特征点检测网络训练收敛时固定所有参数，得到最终的特征点检测网络。
之后，将每个高分辨率人脸图像输入至训练得到的特征点检测网络，得到高分辨率人脸图像中的多个人脸特征点，并从各个人脸特征点中选取目标人脸特征点，其中，目标人脸特征点为每个高分辨率人脸图像中最外围的人脸特征点。例如，每个高分辨率人脸图像检测得到103个特征点，选取103个特征点中最外围的4个特征点，即分别取左上角、左下角、右上角以及右下角位置上的特征点。在此基础上，根据各个目标人脸特征点对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
通过本实施例，将每个高分辨率人脸图像输入至特征点检测网络，得到高分辨率人脸图像中的多个人脸特征点；从各个人脸特征点中选取目标人脸特征点，目标人脸特征点为每个高分辨率人脸图像中最外围的人脸特征点；基于各个目标人脸特征点对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像，以此提高待识别人脸图像的质量。
在其中的一些实施例中，在将人脸正面图像输入至目标人脸识别网络，得到识别结果之前，还包括如下步骤：
将预处理后的人脸正面图像输入至初始人脸识别网络；
在初始人脸识别网络中，根据预处理后的人脸正面图像对预设的联合损失函数进行优化；
根据优化后的联合损失函数，更新初始人脸识别网络的参数，得到目标人脸识别网络。
具体地，对人脸正面图像进行预处理，包括缩放人脸正面图像尺寸以及归一化处理，并将预处理后的人脸正面图像输入至初始人脸识别网络进行训练，以更新初始人脸识别网络的参数，直至训练收敛时固定所有参数，得到目标人脸识别网络。
需要知道的是，如图7所示，上述目标人脸识别网络设置有多个包括卷积层、ReLU激活层以及恒等映射层的组合；其中，第二卷积层、第五卷积层、第八卷积层以及第十一卷积层的步长为二，负责对特征进行下采样处理，网络中的输入层与第一卷积层相连，且恒等映射层将当前层特征与经过两个卷积层和ReLU激活层处理后的特征相加，以此实现特征融合。
另外，本实施例设置联合损失函数用于指导初始人脸识别网络的参数更新。上述联合损失函数Loss的具体表达式如下：
；
其中，λ的取值为0.5；N表示批量大小；M表示类别的数量；yic为符号函数；Pic表示观测样本i属于类别c的预测概率；d(a,p)表示矩阵a和b之间的距离；d(a,n)表示矩阵a和n之间的距离；margin为大于0的常数，可根据历史经验信息或通过优化算法选取margin的具体数值。
通过本实施例，将预处理后的人脸正面图像输入至初始人脸识别网络，在初始人脸识别网络中，根据预处理后的人脸正面图像对预设的联合损失函数进行优化，并根据优化后的联合损失函数，更新初始人脸识别网络的参数，得到目标人脸识别网络，以此获取训练完备的人脸识别网络，提高人脸识别的准确性。
在其中的一些实施例中，目标人脸识别网络为目标活体检测网络；在通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像之前，还包括如下步骤：
基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到图像超分辨率重建网络中的码本参数和解码器参数；
根据码本参数和解码器参数，对图像超分辨率重建网络进行更新；
将人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行第二阶段训练，得到训练完备的图像超分辨率重建网络。
具体地，预处理训练数据集中的人脸检测图像，预处理包括缩放图像尺寸以及归一化处理，将预处理后的人脸检测图像输入至图像超分辨率重建网络进行第一阶段训练。
在图像超分辨率重建网络中，通过编码器对输入图像进行处理，生成对应的深层特征Zh，并根据深层特征Zh和码本C生成特征Zc以及相应的代码序列S，进而通过解码器对特征Zc进行处理，得到预测的高分辨率人脸图像。本实施例中基于码本C对深层特征Zh进行最近邻匹配，生成量化特征Zc的表达式，以及代码序列S的生成方式如下：
；
；
其中，表示求取矩阵L2范数的最小值；（i，j）表示二维平面坐标系中的坐标，i∈{0，…，m-1}，i∈{0，…，n-1}，m和n分别为第一阶段训练过程中深层特征Zh的长度和宽度；/>为二维坐标系中坐标为（i，j），深度为d的一维向量；Ck为码本C中第k个长度为d的一维向量，d为深层特征Zh的深度；S(i,j)为二维坐标系中坐标为（i，j）的整数，且取值范围为[0，N-1]，而k为[0，N]的整数，此处N设置为1024。
另外，第一阶段的网络损失Lcodebook的具体表达式如下：
；
其中，在中，Ih表示第一阶段的输入图像，Irec表示第一阶段重建得到的高分辨率人脸图像，/>表示矩阵的L1范数；在感知损失/>，/>表示矩阵L2范数的平方，/>表示经卷积神经网络VGG19所提取的深层特征；在对抗损失中，D(Ih)与D(Irec)分别为判定Ih和Irec为真实图像的概率；在码本层面的损失函数/>中，/>表示停止梯度计算，β和λadv的值分别为0.25和0.8。
在本实施例中，图像超分辨率重建网络采用量化自编码器结构，其第一阶段训练过程对量化自编码器进行训练，并学习包含丰富上下文信息的代码本。基于此，利用第一阶段的训练过程，获取学习到的码本参数和解码器参数，并根据码本参数和解码器参数，对图像超分辨率重建网络进行更新，将上述码本参数和解码器参数作为图像超分辨率重建网络的固定参数。
进一步地，如图8所示，将人脸检测图像下采样处理为对应的低分辨率人脸图像，并将低分辨率人脸图像输入至更新后的图像超分辨率重建网络，执行第二阶段训练。在本实施例的图像超分辨率重建网络中，固定第一阶段所学习的码本参数和解码器参数，微调编码器的参数，并通过训练Transformer来模拟全局相互关系。其中，码本是用于表示图像中各个像素值的一组编码符号，其包含预先定义的多个码字，每个码字代表对应的像素值区域，从而能够在图像处理过程中，使用码字索引替换图像的像素值，且在图8所示的码本C以及基于码本C重建得到的特征中，不同样式填充图案分别代表不同的像素值区域。
基于Transformer输出的和码本C重建得到特征/>，将第二阶段所产生的中间层特征Zl进行恒等映射，并与/>进行融合，最终将融合后的特征输入至解码器，生成所预测的高分辨率人脸图像。其中，恒等映射/>；如图9所示，在自适应特征变换模块中，特征Fd依次经下采样处理和两次上采样处理后，与激活函数的处理结果融合得到特征Fe，且自适应特征变换模块的输出/>，Fd为编码器中间层的特征，Fe为解码器中间层的特征，Sigmoid（）表示激活函数，Conv（）表示卷积操作。
另外，第二阶段网络整体损失Ltf的具体表达式如下：
；
在交叉熵损失中，mn为第二阶段中输入图像经编码器处理后的图像尺寸，m和n分别为第二阶段所产生的中间层特征Zl的长度和宽度，λtoken的值为0.5；Si为第一阶段产生的一维向量，/>为中间层特征Zl转换成二维向量并通过Transformer所生成的一维向量，两者长度均为m×n；在码本约束损失/>中，Zl为第二阶段中输入图像经编码器处理后生成的中间层特征，/>表示停止梯度计算。
请参阅图10，本实施例中图像超分辨率重建网络处理输入图像的具体过程，包括输入的人脸检测图像经残差单元和下采样多次处理后，将下采样得到的图像输入至编码预测层；将编码预测得到的特征结合码本C进行重建，并通过恒等映射融合下采样结果和重建结果；融合得到的特征经残差单元和上采样多次处理，并将上采样结果输入至自适应特征变换模块进行处理，并输出最终预测的高分辨率人脸图像。
通过本实施例，依次对图像超分辨率重建网络进行两个阶段的训练，通过上下文建模和全局建模，使得重建网络对于不同程度的图像退化具有更强的鲁棒性，从而能够生成更为接近目标人脸且更为自然的人脸图像。
在其中的一些实施例中，在将人脸正面图像输入至目标活体检测网络，得到识别结果之前，还包括如下步骤：
将预处理后的人脸正面图像输入至初始活体检测网络；
在初始活体检测网络中，根据预处理后的人脸正面图像对预设的三元损失函数进行优化；
根据优化后的三元损失函数，更新初始活体检测网络的参数，得到目标活体检测网络。
具体地，对人脸正面图像进行预处理，包括缩放人脸正面图像尺寸以及归一化处理，并将预处理后的人脸正面图像输入至初始活体检测网络进行训练，以更新初始活体检测网络的参数，直至训练收敛时固定所有参数，得到目标活体检测网络。
需要知道的是，如图11所示，上述目标活体检测网络设置有多个卷积层、线性整流函数（Rectified Linear Unit，简称为ReLU）激活层、恒等映射层以及并行卷积层，具体包括输入层、第一卷积层、ReLU激活层、第一恒等映射层、第一并行卷积层、第二卷积层、ReLU激活层、第二恒等映射层、第二并行卷积层、第三卷积层、ReLU激活层、第三恒等映射层、第三并行卷积层、第四卷积层、ReLU激活层、第四恒等映射层、第四并行卷积层、第五卷积层、ReLU激活层。
其中，第一卷积层、第二卷积层、第三卷积层、第四卷积层的步长均为二，在网络中负责将特征进行下采样；第一并行卷积层、第二并行卷积层、第三并行卷积层、第四并行卷积层均设置有多个包括并行卷积和ReLU激活层的组合，随后将第一卷积层、第二卷积层、第三卷积层的输出在通道维度进行拼接，得到最后的输出图像；而恒等映射层用于将当前层特征与经过并行卷积层、卷积层和ReLU激活层后的特征相加。
在本实施例中，设置三元损失函数用于指导初始活体检测网络的参数更新。上述三元损失函数Loss的具体表达式如下：
；
其中，d(a,p)表示矩阵a和b之间的距离；d(a,n)表示矩阵a和n之间的距离；margin为大于0的常数，且可以根据历史经验信息或通过优化算法选取margin的具体数值。
通过本实施例，将预处理后的人脸正面图像输入至初始活体检测网络，在初始活体检测网络中，根据预处理后的人脸正面图像对预设的三元损失函数进行优化，并根据优化后的三元损失函数，更新初始活体检测网络的参数，得到目标活体检测网络，以此获取训练完备的活体检测网络，提高活体检测的准确性。
图12是本实施例的人脸识别方法的流程示意图，如图12所示，该人脸识别方法的具体过程包括如下步骤：
通过红外摄像头采集待识别图像S1210，将待识别图像输入至人脸检测网络S1220，并根据人脸检测结果，判断待识别图像是否包含人脸S1230。若待识别图像不包含人脸，则继续采集待识别图像S1210；若待识别图像包含人脸，则基于检测到的人脸区域对待识别图像进行裁剪处理。
将裁剪后的图像输入至训练完备的图像超分辨率重建网络，得到高分辨率人脸图像S1240，并将高分辨率人脸图像输入至特征点检测网络，根据检测结果确定高分辨率人脸图像中的多个目标人脸特征点S1250。
在此基础上，根据各个目标人脸特征点对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像，实现人脸矫正S1260。进一步地，将预处理后的人脸正面图像输入至目标人脸识别网络，得到最终的识别结果S1270。
下面通过优选实施例对本实施例进行描述和说明。
图13是本优选实施例的人脸识别方法的流程图，如图13所示，该人脸识别方法包括如下步骤：
步骤S1310，将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
步骤S1320，基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行训练，得到图像超分辨率重建网络中的码本参数和解码器参数；
步骤S1330，根据码本参数和解码器参数，对图像超分辨率重建网络进行更新，并将人脸检测图像下采样处理为对应的低分辨率人脸图像；
步骤S1340，基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行训练，得到图像超分辨率重建网络的编码预测参数；
步骤S1350，根据码本参数、解码器参数和编码预测参数，优化图像超分辨率重建网络；
步骤S1360，将低分辨率人脸图像输入至优化后的图像超分辨率重建网络，并基于低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的图像超分辨率重建网络；
步骤S1370，通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；
步骤S1380，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。
通过本实施例，将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；依次对图像超分辨率重建网络进行三个阶段训练，得到训练完备的图像超分辨率重建网络，即通过上下文建模和全局建模，使得重建网络对于不同程度的图像退化具有更强的鲁棒性；另外，通过增加可控特征变换模块，实现灵活权衡图像的保真度和质量。
进一步地，通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像，并将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果，解决了无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，实现了提高人脸识别的准确性。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种人脸识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图14是本实施例的人脸识别装置的结构框图，如图14所示，该装置包括：检测模块10、重建模块20以及识别模块30；
检测模块10，用于将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
重建模块20，用于通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；
识别模块30，用于将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果。
通过本实施例提供的装置，将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；通过训练完备的图像超分辨率重建网络，对人脸检测图像进行处理，得到高分辨率人脸图像；进一步地，将高分辨率人脸图像转换为对应的人脸正面图像，并将人脸正面图像输入至目标人脸识别网络，得到识别结果，解决了无法将待识别图像转换为高质量的人脸图像进行人脸识别，导致最终的人脸识别结果不准确的问题，实现了提高人脸识别的准确性。
在其中的一些实施例中，在图14的基础上，该装置还包括第一训练模块，用于基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到图像超分辨率重建网络中的码本参数和解码器参数；根据码本参数和解码器参数，对图像超分辨率重建网络进行更新；将人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于低分辨率人脸图像，对更新后的图像超分辨率重建网络进行第二阶段训练，得到图像超分辨率重建网络的编码预测参数；根据码本参数、解码器参数和编码预测参数，优化图像超分辨率重建网络；基于低分辨率人脸图像对优化后的图像超分辨率重建网络进行第三阶段训练，得到训练完备的图像超分辨率重建网络。
在其中的一些实施例中，在图14的基础上，该装置还包括第二训练模块，用于基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行训练，得到图像超分辨率重建网络的编码预测参数。
在其中的一些实施例中，在图14的基础上，该装置还包括第三训练模块，用于将低分辨率人脸图像输入至优化后的图像超分辨率重建网络；在优化后的图像超分辨率重建网络中，基于低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的图像超分辨率重建网络。
在其中的一些实施例中，在图14的基础上，该装置还包括校正模块，用于将每个高分辨率人脸图像输入至特征点检测网络，得到高分辨率人脸图像中的多个人脸特征点；从各个人脸特征点中选取目标人脸特征点；目标人脸特征点为每个高分辨率人脸图像中最外围的人脸特征点；基于各个目标人脸特征点对高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
在其中的一些实施例中，在图14的基础上，该装置还包括第四训练模块，用于将预处理后的人脸正面图像输入至初始人脸识别网络；在初始人脸识别网络中，根据预处理后的人脸正面图像对预设的联合损失函数进行优化；根据优化后的联合损失函数，更新初始人脸识别网络的参数，得到目标人脸识别网络。
在其中的一些实施例中，在图14的基础上，该装置还包括第五训练模块，用于基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到图像超分辨率重建网络中的码本参数和解码器参数；根据码本参数和解码器参数，对图像超分辨率重建网络进行更新；将人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于低分辨率人脸图像，对更新后的图像超分辨率重建网络中编码预测模块进行第二阶段训练，得到训练完备的图像超分辨率重建网络。
在其中的一些实施例中，在图14的基础上，该装置还包括第六训练模块，用于将预处理后的人脸正面图像输入至初始活体检测网络；在初始活体检测网络中，根据预处理后的人脸正面图像对预设的三元损失函数进行优化；根据优化后的三元损失函数，更新初始活体检测网络的参数，得到目标活体检测网络。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述计算机设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的人脸识别方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种人脸识别方法。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种人脸识别方法，其特征在于，所述方法包括：
将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到所述图像超分辨率重建网络中的码本参数和解码器参数；根据所述码本参数和所述解码器参数，对所述图像超分辨率重建网络进行更新；将所述人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络进行第二阶段训练，得到所述图像超分辨率重建网络的编码预测参数；根据所述码本参数、所述解码器参数和所述编码预测参数，优化所述图像超分辨率重建网络；基于所述低分辨率人脸图像对优化后的所述图像超分辨率重建网络进行第三阶段训练，得到训练完备的所述图像超分辨率重建网络；其中，所述图像超分辨率重建网络采用量化自编码器结构；
通过训练完备的所述图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像，包括：将所述人脸检测图像输入至所述图像超分辨率重建网络，所述人脸检测图像经残差单元和下采样处理，将下采样得到的图像输入至编码预测层；将编码预测得到的特征结合码本进行重建，通过恒等映射融合下采样结果和重建结果，融合得到的特征经残差单元和上采样处理，并将上采样结果输入至自适应特征变换模块进行处理，得到所述高分辨率人脸图像；
将所述高分辨率人脸图像转换为对应的人脸正面图像，并将所述人脸正面图像输入至目标人脸识别网络，得到识别结果；其中，所述目标人脸识别网络为目标活体检测网络；所述目标活体检测网络设置有多个卷积层、线性整流函数激活层、恒等映射层以及并行卷积层，具体包括输入层、第一卷积层、ReLU激活层、第一恒等映射层、第一并行卷积层、第二卷积层、ReLU激活层、第二恒等映射层、第二并行卷积层、第三卷积层、ReLU激活层、第三恒等映射层、第三并行卷积层、第四卷积层、ReLU激活层、第四恒等映射层、第四并行卷积层、第五卷积层、ReLU激活层；其中，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层的步长均为二，在网络中负责将特征进行下采样；所述第一并行卷积层、所述第二并行卷积层、所述第三并行卷积层、所述第四并行卷积层均设置有多个包括并行卷积和ReLU激活层的组合，并将所述第一卷积层、所述第二卷积层、所述第三卷积层的输出在通道维度进行拼接，得到输出图像；所述恒等映射层用于将当前层特征与经过并行卷积层、卷积层和ReLU激活层后的特征相加；
其中，所述将所述高分辨率人脸图像转换为对应的人脸正面图像，包括：将每个所述高分辨率人脸图像输入至特征点检测网络，得到所述高分辨率人脸图像中的多个人脸特征点；从各个所述人脸特征点中选取目标人脸特征点；所述目标人脸特征点为每个所述高分辨率人脸图像中最外围的所述人脸特征点；基于各个所述目标人脸特征点对所述高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络进行第二阶段训练，得到所述图像超分辨率重建网络的编码预测参数，包括：
基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络中编码预测模块进行训练，得到所述图像超分辨率重建网络的编码预测参数。
3.根据权利要求1所述的人脸识别方法，其特征在于，所述基于所述低分辨率人脸图像对优化后的所述图像超分辨率重建网络进行第三阶段训练，得到训练完备的所述图像超分辨率重建网络，包括：
将所述低分辨率人脸图像输入至优化后的所述图像超分辨率重建网络；
在优化后的所述图像超分辨率重建网络中，基于所述低分辨率人脸图像对可控特征变换模块进行训练，得到训练完备的所述图像超分辨率重建网络。
4.根据权利要求1所述的人脸识别方法，其特征在于，在所述将所述人脸正面图像输入至目标人脸识别网络，得到识别结果之前，还包括：
将预处理后的所述人脸正面图像输入至初始人脸识别网络；
在所述初始人脸识别网络中，根据预处理后的所述人脸正面图像对预设的联合损失函数进行优化；
根据优化后的所述联合损失函数，更新所述初始人脸识别网络的参数，得到所述目标人脸识别网络。
5.根据权利要求1所述的人脸识别方法，其特征在于，所述目标人脸识别网络为目标活体检测网络；在所述通过训练完备的图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像之前，还包括：
基于训练数据集中的人脸检测图像，对所述图像超分辨率重建网络进行第一阶段训练，得到所述图像超分辨率重建网络中的码本参数和解码器参数；
根据所述码本参数和所述解码器参数，对所述图像超分辨率重建网络进行更新；
将所述人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络中编码预测模块进行第二阶段训练，得到训练完备的所述图像超分辨率重建网络。
6.根据权利要求5所述的人脸识别方法，其特征在于，在将所述人脸正面图像输入至目标活体检测网络，得到识别结果之前，还包括：
将预处理后的所述人脸正面图像输入至初始活体检测网络；
在所述初始活体检测网络中，根据预处理后的所述人脸正面图像对预设的三元损失函数进行优化；
根据优化后的所述三元损失函数，更新所述初始活体检测网络的参数，得到所述目标活体检测网络。
7.一种人脸识别装置，其特征在于，所述装置包括：检测模块、第一训练模块、重建模块、识别模块以及校正模块；
所述检测模块，用于将采集到的待识别图像输入至人脸检测网络，得到对应的人脸检测图像；
所述第一训练模块，用于基于训练数据集中的人脸检测图像，对图像超分辨率重建网络进行第一阶段训练，得到所述图像超分辨率重建网络中的码本参数和解码器参数；根据所述码本参数和所述解码器参数，对所述图像超分辨率重建网络进行更新；将所述人脸检测图像下采样处理为对应的低分辨率人脸图像，并基于所述低分辨率人脸图像，对更新后的所述图像超分辨率重建网络进行第二阶段训练，得到所述图像超分辨率重建网络的编码预测参数；根据所述码本参数、所述解码器参数和所述编码预测参数，优化所述图像超分辨率重建网络；基于所述低分辨率人脸图像对优化后的所述图像超分辨率重建网络进行第三阶段训练，得到训练完备的所述图像超分辨率重建网络；其中，所述图像超分辨率重建网络采用量化自编码器结构；
所述重建模块，用于通过训练完备的所述图像超分辨率重建网络，对所述人脸检测图像进行处理，得到高分辨率人脸图像，包括：将所述人脸检测图像输入至所述图像超分辨率重建网络，所述人脸检测图像经残差单元和下采样处理，将下采样得到的图像输入至编码预测层；将编码预测得到的特征结合码本进行重建，通过恒等映射融合下采样结果和重建结果，融合得到的特征经残差单元和上采样处理，并将上采样结果输入至自适应特征变换模块进行处理，得到所述高分辨率人脸图像；
所述识别模块，用于将所述高分辨率人脸图像转换为对应的人脸正面图像，并将所述人脸正面图像输入至目标人脸识别网络，得到识别结果；其中，所述目标人脸识别网络为目标活体检测网络；所述目标活体检测网络设置有多个卷积层、线性整流函数激活层、恒等映射层以及并行卷积层，具体包括输入层、第一卷积层、ReLU激活层、第一恒等映射层、第一并行卷积层、第二卷积层、ReLU激活层、第二恒等映射层、第二并行卷积层、第三卷积层、ReLU激活层、第三恒等映射层、第三并行卷积层、第四卷积层、ReLU激活层、第四恒等映射层、第四并行卷积层、第五卷积层、ReLU激活层；其中，所述第一卷积层、所述第二卷积层、所述第三卷积层、所述第四卷积层的步长均为二，在网络中负责将特征进行下采样；所述第一并行卷积层、所述第二并行卷积层、所述第三并行卷积层、所述第四并行卷积层均设置有多个包括并行卷积和ReLU激活层的组合，并将所述第一卷积层、所述第二卷积层、所述第三卷积层的输出在通道维度进行拼接，得到输出图像；所述恒等映射层用于将当前层特征与经过并行卷积层、卷积层和ReLU激活层后的特征相加；
所述校正模块，用于将每个所述高分辨率人脸图像输入至特征点检测网络，得到所述高分辨率人脸图像中的多个人脸特征点；从各个所述人脸特征点中选取目标人脸特征点；所述目标人脸特征点为每个所述高分辨率人脸图像中最外围的所述人脸特征点；基于各个所述目标人脸特征点对所述高分辨率人脸图像进行仿射变换，得到对应的人脸正面图像。
8.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求6中任一项所述的人脸识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311496866.1A CN117238020B (zh) | 2023-11-10 | 2023-11-10 | 人脸识别方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311496866.1A CN117238020B (zh) | 2023-11-10 | 2023-11-10 | 人脸识别方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117238020A CN117238020A (zh) | 2023-12-15 |
| CN117238020B true CN117238020B (zh) | 2024-04-26 |
Family
ID=89098599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311496866.1A Active CN117238020B (zh) | 2023-11-10 | 2023-11-10 | 人脸识别方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117238020B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593365A (zh) * | 2009-06-19 | 2009-12-02 | 电子科技大学 | 一种通用三维人脸模型的调整方法 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN109886135A (zh) * | 2019-01-25 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种低分辨率人脸识别方法、装置及存储介质 |
| CN110148085A (zh) * | 2019-04-22 | 2019-08-20 | 智慧眼科技股份有限公司 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN111414888A (zh) * | 2020-03-31 | 2020-07-14 | 杭州博雅鸿图视频技术有限公司 | 低分辨率人脸识别方法、系统、装置及存储介质 |
| CN112288627A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种面向识别的低分辨率人脸图像超分辨率方法 |
| WO2021218238A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| CN113869282A (zh) * | 2021-10-22 | 2021-12-31 | 马上消费金融股份有限公司 | 人脸识别方法、超分模型训练方法及相关设备 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN114926887A (zh) * | 2022-05-30 | 2022-08-19 | 深圳市龙光云众智慧科技有限公司 | 人脸识别方法、装置及终端设备 |
| CN115147904A (zh) * | 2022-07-15 | 2022-10-04 | 北京建筑大学 | 人脸识别方法、装置、处理设备及存储介质 |
-
2023
- 2023-11-10 CN CN202311496866.1A patent/CN117238020B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101593365A (zh) * | 2009-06-19 | 2009-12-02 | 电子科技大学 | 一种通用三维人脸模型的调整方法 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| CN109543548A (zh) * | 2018-10-26 | 2019-03-29 | 桂林电子科技大学 | 一种人脸识别方法、装置及存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN109886135A (zh) * | 2019-01-25 | 2019-06-14 | 桂林远望智能通信科技有限公司 | 一种低分辨率人脸识别方法、装置及存储介质 |
| CN110148085A (zh) * | 2019-04-22 | 2019-08-20 | 智慧眼科技股份有限公司 | 人脸图像超分辨率重建方法及计算机可读取的存储介质 |
| CN111414888A (zh) * | 2020-03-31 | 2020-07-14 | 杭州博雅鸿图视频技术有限公司 | 低分辨率人脸识别方法、系统、装置及存储介质 |
| WO2021218238A1 (zh) * | 2020-04-29 | 2021-11-04 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN112288627A (zh) * | 2020-10-23 | 2021-01-29 | 武汉大学 | 一种面向识别的低分辨率人脸图像超分辨率方法 |
| CN113869282A (zh) * | 2021-10-22 | 2021-12-31 | 马上消费金融股份有限公司 | 人脸识别方法、超分模型训练方法及相关设备 |
| CN114926887A (zh) * | 2022-05-30 | 2022-08-19 | 深圳市龙光云众智慧科技有限公司 | 人脸识别方法、装置及终端设备 |
| CN115147904A (zh) * | 2022-07-15 | 2022-10-04 | 北京建筑大学 | 人脸识别方法、装置、处理设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像超分辨极限学习机的极低分辨率人脸识别;卢涛;杨威;万永静;;计算机应用(02);全文 * |
| 基于深度学习的说话人识别技术应用;宋文豪;中国优秀硕士学位论文全文数据库（电子期刊）;第三章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117238020A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241972B (zh) | 基于深度学习的图像语义分割方法 | |
| EP4242917A1 (en) | Model structure, model training method, and image enhancement method and device | |
| US6466692B1 (en) | Method and apparatus for processing visual information | |
| CN112200057B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| CN113159056A (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN112258436A (zh) | 图像处理模型的训练方法、装置、图像处理方法及模型 | |
| CN111210382A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN113132727B (zh) | 可伸缩机器视觉编码方法和运动引导图像生成网络的训练方法 | |
| CN113284203A (zh) | 基于八叉树编码和体素上下文的点云压缩及解压缩方法 | |
| CN112580567A (zh) | 一种模型获取方法、模型获取装置及智能设备 | |
| CN116978011A (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
| CN115293986A (zh) | 一种多时相遥感图像云区重建方法 | |
| CN117238020B (zh) | 人脸识别方法、装置和计算机设备 | |
| CN113822282A (zh) | 图像语义分割方法、装置、计算机设备及存储介质 | |
| CN116958154A (zh) | 图像分割方法和装置、存储介质及电子设备 | |
| CN113361510B (zh) | 超分网络模型训练方法、装置、电子设备以及存储介质 | |
| CN112967309B (zh) | 一种基于自监督学习的视频目标分割方法 | |
| CN114330239A (zh) | 文本处理方法及装置、存储介质及电子设备 | |
| CN116644783A (zh) | 模型训练方法、对象处理方法及装置、电子设备、介质 | |
| CN116823973B (zh) | 一种黑白视频上色方法、装置及计算机可读介质 | |
| CN117115061B (zh) | 一种多模态图像融合方法、装置、设备及存储介质 | |
| CN115471765B (zh) | 一种航拍图像的语义分割方法、装置、设备及存储介质 | |
| CN115311138B (zh) | 图像超分辨率方法及装置 | |
| CN116824308B (zh) | 图像分割模型训练方法与相关方法、装置、介质及设备 | |
| KR102669483B1 (ko) | 단안 이미지를 이용한 뎁스 맵 생성 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |