CN108229349B - 网纹人脸图像识别装置 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体提供了一种网纹人脸图像识别装置，旨在解决如何提高包含网纹的人脸图像的识别准确性的技术问题。为此目的，本发明中图像识别装置的循环生成对抗网络模型包括正向生成器、反向生成器和优化训练模块。正向生成器可以依据网纹人脸图像预测清晰人脸图像。反向生成器可以依据预测的清晰人脸图像，重建新的网纹人脸图像；以及，依据清晰人脸图像预测网纹人脸图像。基于此，正向生成器还可以依据预测的网纹人脸图像，重建新的清晰人脸图像。通过上述正反生成器构成的循环对抗网络，能够得到清晰的人脸图像，进而提高网纹人脸图像的识别准确性。

Description

网纹人脸图像识别装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种网纹人脸图像识别装置。

背景技术

人脸识别技术是指利用分析比较的计算机技术识别人脸，其已被广泛应用于安检和考勤等应用场景中。但是，当前人脸识别技术主要针对位于同一应用场景下的人脸图像，并不适用于不同场景的人脸图像识别，尤其是在基于身份证照与生活照比对进行人脸识别时，身份证照通常还加入了随机的网纹图案，这将极大地影响人脸识别的准确性。

发明内容

为了解决现有技术中的上述问题，即为了解决如何提高包含网纹的人脸图像的识别准确性的技术问题，本发明提供了一种网纹人脸图像识别装置。

本发明中的网纹人脸图像识别装置包括循环生成对抗网络模型，其配置为获取网纹人脸图像，并对获取的网纹人脸图像进行人脸识别；所述循环生成对抗网络模型包括正向生成器、反向生成器和优化训练模块；

所述正向生成器，配置为依据所述循环生成对抗网络模型所获取的网纹人脸图像，预测清晰人脸图像；

所述反向生成器，配置为依据所述正向生成器所预测的清晰人脸图像，重建新的网纹人脸图像；以及，依据所述循环生成对抗网络模型所获取的清晰人脸图像，预测网纹人脸图像；所述正向生成器，进一步配置为依据所述反向生成器所预测的网纹人脸图像，重建新的清晰人脸图像；

所述优化训练模块，配置为依据预设训练集，并按照下式所示的损失函数L_HRCycleGAN对所述循环生成对抗网络模型进行网络训练，得到优化后的循环生成对抗网络模型：

L_HRCycleGAN＝L_gan+λL_cyc+λ₁L_hr+λ₂L_ip

其中，所述L_gan为对抗损失函数，所述L_cyc为循环一致性损失函数，所述L_hr为高阶关系损失函数，所述L_ip为身份特征损失函数，所述λ、λ₁和λ₂均为预设的权重参数；

所述对抗损失函数L_gan＝L_GAN1+L_GAN2，所述L_GAN1为预设训练集中网纹人脸图像与所述反向生成器所预测的网纹人脸图像之间的对抗损失函数，所述L_GAN2为所述预设训练集中清晰人脸图像与所述正向生成器所预测的清晰人脸图像之间的对抗损失函数；所述循环一致性损失函数L_cyc＝L_CYC1+L_CYC2，所述L_CYC1为预设训练集中网纹人脸图像与所述反向生成器所重建的网纹人脸图像之间的一致性损失函数，所述L_CYC2为所述预设训练集中清晰人脸图像与所述正向生成器所重建的清晰人脸图像之间的一致性损失函数；所述高阶关系损失函数L_hr＝L_HR1+L_HR2，所述L_HR1为预设训练集中网纹人脸图像与所述反向生成器所重建的网纹人脸图像之间的高阶损失函数，所述L_HR2为所述预设训练集中清晰人脸图像与所述正向生成器所重建的清晰人脸图像之间的高阶损失函数；所述身份特征损失函数L_ip＝L_{g_ip}+L_{l_ip}，所述L_{g_ip}为全局身份特征损失函数，所述L_{l_ip}为局部身份特征损失函数。

进一步地，本发明提供的一个优选技术方案为：

所述对抗损失函数L_GAN1如下式所示：

所述对抗损失函数L_GAN2如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像；所述P_data(x)与P_data(y)分别为所述图像x与y的分布；所述G_XY表示所述正向生成器，所述G_YX表示所述反向生成器，所述D_X表示所述循环生成对抗网络模型中预设的网纹人脸图像域判别器，所述D_Y表示所述循环生成对抗网络模型中预设的清晰人脸图像域判别器，所述G_XY(x)为所述正向生成器所预测的清晰人脸图像，所述G_YX(y)为所述反向生成器所预测的网纹人脸图像；所述E表示期望。

进一步地，本发明提供的一个优选技术方案为：

所述一致性损失函数L_CYC1如下式所示：

所述一致性损失函数L_CYC2如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像；所述P_data(x)与P_data(y)分别为所述图像x与y的分布；所述G_XY表示所述正向生成器，所述G_YX表示所述反向生成器，所述D_X表示所述循环生成对抗网络模型中预设的网纹人脸图像域判别器，所述D_Y表示所述循环生成对抗网络模型中预设的清晰人脸图像域判别器，所述G_XY(x)为所述正向生成器所预测的清晰人脸图像，所述G_YX(y)为所述反向生成器所预测的网纹人脸图像；所述||||₁表示L1范数，所述E表示期望。

进一步地，本发明提供的一个优选技术方案为：

所述高阶损失函数L_HR1如下式所示：

所述高阶损失函数L_HR2如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向发生器所重建的网纹人脸图像，所述

为所述正向发生器所重建的清晰人脸图像；所述x_i,j为网纹人脸图像x中位置(i,j)处的像素值，所述y_i,j为清晰人脸图像y中位置(i,j)处的像素值，所述

为网纹人脸图像

中位置(i,j)处的像素值，所述

为清晰人脸图像

中位置(i,j)处的像素值；所述HR表示所述循环生成对抗网络模型中预设的高阶关系提取器，所述n₁为网纹人脸图像的像素总数，所述n₂为清晰人脸图像的像素总数，且n₁＝n₂。

进一步地，本发明提供的一个优选技术方案为：

所述预设的高阶关系提取器HR，配置为按照下式所示的方法提取预设图像Z中位置(i,j)处像素值Z_i,j的高阶特征：

其中，所述h为高阶关系提取器的阶数，所述

表示组合数，所述Z_i+h-k-1,j为预设图像Z中位置(i+h-k-1,j)处像素值，所述Z_i,j+h-k-1为预设图像Z中位置(i,j+h-k-1)处像素值。

进一步地，本发明提供的一个优选技术方案为：

所述全局身份特征损失函数L_{g_ip}包括网纹图像全局特征损失函数L_{g_ip_c}和清晰图像全局特征损失函数L_{g_ip_d}；

所述网纹图像全局特征损失函数L_{g_ip_c}如下式所示：

所述清晰图像全局特征损失函数L_{g_ip_d}如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向发生器所重建的网纹人脸图像，所述

为所述正向发生器所重建的清晰人脸图像；所述||||₁表示L1范数，所述F表示预设的全局特征提取器。

进一步地，本发明提供的一个优选技术方案为：

所述局部身份特征损失函数L_{l_ip}包括网纹图像局部特征损失函数L_{l_ip_c}和清晰图像局部特征损失函数L_{l_ip_d}；

所述网纹图像局部特征损失函数L_{l_ip_c}如下式所示：

所述清晰图像局部特征损失函数L_{l_ip_d}如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向发生器所重建的网纹人脸图像，所述

为所述正向发生器所重建的清晰人脸图像；所述|| ||₁表示L1范数，所述φ表示预设的局部特征提取器。

进一步地，本发明提供的一个优选技术方案为：

所述预设的全局特征提取器为基于神经网络的人脸特征提取模型；

所述预设的局部特征提取器为基于神经网络的人脸特征提取模型。

与最接近的现有技术相比，上述技术方案至少具有以下有益效果：

1、本发明中循环生成对抗网络模型包括正向生成器和反向生成器。正向生成器可以依据网纹人脸图像预测清晰人脸图像。反向生成器可以依据预测的清晰人脸图像，重建新的网纹人脸图像；以及，依据清晰人脸图像预测网纹人脸图像。基于此，正向生成器还可以依据预测的网纹人脸图像，重建新的清晰人脸图像。通过上述正反生成器构成的循环对抗网络，能够得到清晰的人脸图像，进而提高网纹人脸图像的识别准确性。

2、本发明中优化训练模块可以按照预设目标损失函数对循环生成对抗网络模型进行网络训练，该预设目标损失函数包括四部分损失函数，具体为：第一部分损失函数包括预设训练集中网纹人脸图像与反向生成器所预测的网纹人脸图像之间的对抗损失函数，以及预设训练集中清晰人脸图像与正向生成器所预测的清晰人脸图像之间的对抗损失函数。第二部分损失函数包括预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的一致性损失函数，以及预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的一致性损失函数。第三部分损失函数包括预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的高阶损失函数，以及预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的高阶损失函数。第四部分损失函数包括全局身份特征损失函数和局部身份特征损失函数。

附图说明

图1是本发明实施例中循环生成对抗网络模型的主要结构示意图；

图2是本发明实施例中网纹人脸图像与清晰人脸图像的示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

基于身份证照与生活照的人脸识别技术是一种异质人脸识别技术，其中，为了防止身份证照被滥用，通常会在身份证照上添加随机的网纹，这将极大地影响人脸识别的准确率。同时，采用网纹的身份证照往往没有对应的清晰人脸图像，因此也不利于机器学习模型的训练。基于此，本发明提供了一种网纹人脸图像识别装置，该装置基于循环生成对抗网络，可以从网纹人脸图像中恢复出清晰的人脸图像，进而根据所恢复的清晰人脸图像进行人脸识别。

下面结合附图，对本发明实施例中的网纹人脸图像识别装置进行说明。具体地，本实施例中网纹人脸图像识别装置包括循环生成对抗网络模型，该循环生成对抗网络模型可以配置为获取网纹人脸图像，并对所获取的网纹人脸图像进行人脸识别。

参阅附图1，图1示例性示出了本实施例中一种循环生成对抗网络模型主要结构。如图1所示，本实施例中循环生成对抗网络模型可以包括循环生成对抗网络模型可以包括正向生成器、反向生成器、优化训练模块、网纹人脸图像域判别器、清晰人脸图像域判别器、高阶关系提取器、全局特征提取器和局部特征提取器。

继续参阅附图2，图2示例性示出了本实施例中的网纹人脸图像与清晰人脸图像，其中，左侧图像为网纹人脸图像，右侧图像为该网纹人脸图像对应的清晰人脸图像。

具体地，本实施例中正向生成器可以配置为依据循环生成对抗网络模型所获取的网纹人脸图像，预测清晰人脸图像。反向生成器可以配置为依据正向生成器所预测的清晰人脸图像，重建新的网纹人脸图像；以及，反向生成器还可以依据循环生成对抗网络模型所获取的清晰人脸图像，预测网纹人脸图像，基于此，正向生成器进一步配置为依据反向生成器所预测的网纹人脸图像，重建新的清晰人脸图像。在本实施例的一个优选实施方案中，正向生成器与反向生成器均为全卷积结构，以保持输入输出图像的大小相同。

如图1所示，本实施例中将网纹人脸图像输入至正向生成器可以预测得到清晰人脸图像，将所预测得到的清晰人脸图像输入至反向生成器可以重建得到网纹人脸图像。同时，将清晰人脸图像输入至反向生成器可以预测得到网纹人脸图像，将所预测得到的网纹人脸图像输入至正向生成器可以重建得到清晰人脸图像。

本实施例中优化训练模块可以按照预设的目标损失函数对循环生成对抗网络模型进行网络训练，其中，预设的目标损失函数主要包括四部分损失函数，具体为：第一部分损失函数包括预设训练集中网纹人脸图像与反向生成器所预测的网纹人脸图像之间的对抗损失函数，以及预设训练集中清晰人脸图像与正向生成器所预测的清晰人脸图像之间的对抗损失函数。第二部分损失函数包括预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的一致性损失函数，以及预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的一致性损失函数。第三部分损失函数包括预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的高阶损失函数，以及预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的高阶损失函数。第四部分损失函数包括全局身份特征损失函数和局部身份特征损失函数。

进一步地，本实施例中优化训练模块可以配置为依据预设训练集，并按照下式(1)所示的损失函数L_HRCycleGAN对循环生成对抗网络模型进行网络训练，得到优化后的循环生成对抗网络模型：

L_HRCycleGAN＝L_gan+λL_cyc+λ₁L_hr+λ₂L_ip (1)

公式(1)中各参数含义为：

L_gan为对抗损失函数，L_cyc为循环一致性损失函数，L_hr为高阶关系损失函数，L_ip为身份特征损失函数，λ、λ₁和λ₂均为预设的权重参数。

下面对各损失函数进行具体说明。

1、对抗损失函数L_gan

本实施例中对抗损失函数如下式(2)所示：

L_gan＝L_GAN1+L_GAN2 (2)

公式(2)中各参数含义为：L_GAN1为预设训练集中网纹人脸图像与反向生成器所预测的网纹人脸图像之间的对抗损失函数，L_GAN2为预设训练集中清晰人脸图像与正向生成器所预测的清晰人脸图像之间的对抗损失函数。

具体地，本实施例中对抗损失函数L_GAN1如下式(3)所示：

本实施例中对抗损失函数L_GAN2如下式(4)所示：

公式(3)～(4)中各参数含义为：

x与y分别为预设训练集中的网纹人脸图像与清晰人脸图像；P_data(x)与P_data(y)分别为图像x与y的分布；G_XY表示正向生成器，G_YX表示反向生成器，D_X表示网纹人脸图像域判别器，D_Y表示清晰人脸图像域判别器，G_XY(x)为正向生成器所预测的清晰人脸图像，G_YX(y)为反向生成器所预测的网纹人脸图像；E表示期望。

2、循环一致性损失函数L_cyc

本实施例中循环一致性损失函数如下式(5)所示：

L_cyc＝L_CYC1+L_CYC2 (5)

公式(5)中各参数含义为：

L_CYC1为预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的一致性损失函数，即这两个图像的像素差异的绝对值之和。L_CYC2为预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的一致性损失函数，即这两个图像的像素差异的绝对值之和。

具体地，本实施例中一致性损失函数L_CYC1如下式(6)所示：

本实施例中一致性损失函数L_CYC2如下式(7)所示：

公式(6)～(7)中各参数含义为：

x与y分别为预设训练集中的网纹人脸图像与清晰人脸图像；P_data(x)与P_data(y)分别为图像x与y的分布；G_XY表示正向生成器，G_YX表示反向生成器，D_X表示网纹人脸图像域判别器，D_Y表示清晰人脸图像域判别器，G_XY(x)为正向生成器所预测的清晰人脸图像，G_YX(y)为反向生成器所预测的网纹人脸图像；|| ||₁表示L1范数，E表示期望。

3、高阶关系损失函数L_hr

本实施例中高阶关系损失函数如下式(8)所示：

L_hr＝L_HR1+L_HR2 (8)

公式(8)中各参数含义为：

L_HR1为预设训练集中网纹人脸图像与反向生成器所重建的网纹人脸图像之间的高阶损失函数，L_HR2为所述预设训练集中清晰人脸图像与正向生成器所重建的清晰人脸图像之间的高阶损失函数。

具体地，本实施例中高阶损失函数L_HR1如下式(9)所示：

本实施例中高阶损失函数L_HR2如下式(10)所示：

公式(9)～(10)中各参数含义为：

x与y分别为预设训练集中的网纹人脸图像与清晰人脸图像，

为反向发生器所重建的网纹人脸图像，

为正向发生器所重建的清晰人脸图像；x_i,j为网纹人脸图像x中位置(i,j)处的像素值，y_i,j为清晰人脸图像y中位置(i,j)处的像素值，

为网纹人脸图像

中位置(i,j)处的像素值，

为清晰人脸图像

中位置(i,j)处的像素值；HR表示高阶关系提取器，所述n₁为网纹人脸图像的像素总数，所述n₂为清晰人脸图像的像素总数，且n₁＝n₂，其中，本实施例中网纹人脸图像与清晰人脸图像是一一对应的，二者大小相同，因此像素总数也相同。

进一步地，本实施例中高阶关系提取器HR可以配置为按照下式(11)所示的方法提取预设图像Z中位置(i,j)处像素值Z_i,j的高阶特征：

公式(11)中各参数含义为：

h为高阶关系提取器的阶数，

表示组合数，k表示计算组合数

时从h中选取的个数，Z_i+h-k-1,j为预设图像Z中位置(i+h-k-1,j)处像素值，Z_i,j+h-k-1为预设图像Z中位置(i,j+h-k-1)处像素值。

4、身份特征损失函数L_ip

本实施例中身份特征损失函数如下式(12)所示：

L_ip＝L_{g_ip}+L_{l_ip} (12)

公式(12)中各参数含义为：

L_{g_ip}为全局身份特征损失函数，L_{l_ip}为局部身份特征损失函数。

具体地，本实施例中全局身份特征损失函数L_{g_ip}包括网纹图像全局特征损失函数L_{g_ip_c}和清晰图像全局特征损失函数L_{g_ip_d}，并且网纹图像全局特征损失函数L_{g_ip_c}与清晰图像全局特征损失函数L_{g_ip_d}分别如下式(13)与(14)所示：

公式(13)～(14)中各参数含义为：

x与y分别为预设训练集中的网纹人脸图像与清晰人脸图像，

为反向发生器所重建的网纹人脸图像，

为正向发生器所重建的清晰人脸图像；|| ||₁表示L1范数，F表示全局特征提取器，其中，全局特征提取器为基于神经网络的人脸特征提取模型，该模型可以包括卷积层和/或全连接层。在本实施例的一个优选实施方案中，可以采用当前常规的人脸特征提取模型对网纹人脸图像或清晰人脸图像进行人脸局部特征提取。

本实施例中局部身份特征损失函数L_{l_ip}包括网纹图像局部特征损失函数L_{l_ip_c}和清晰图像局部特征损失函数L_{l_ip_d}，并且网纹图像局部特征损失函数L_{l_ip_c}与清晰图像局部特征损失函数L_{l_ip_d}分别如下式(15)与(16)所示：

公式(15)～(16)中各参数含义为：

x与y分别为预设训练集中的网纹人脸图像与清晰人脸图像，

为反向发生器所重建的网纹人脸图像，

为正向发生器所重建的清晰人脸图像；|| ||₁表示L1范数，φ表示局部特征提取器，其中，局部特征提取器为基于神经网络的人脸特征提取模型，该模型可以包括卷积层和/或全连接层。在本实施例的一个优选实施方案中，可以采用当前常规的人脸特征提取模型对网纹人脸图像或清晰人脸图像进行人脸全局特征提取。

基于上述(1)～(16)所示的各损失函数，本实施例中可以按照下述步骤对循环生成对抗网络模型进行网络训练：

步骤S101：对循环生成对抗网络模型进行初始化。

具体地，本实施例中对循环生成对抗网络模型中所有节点的权重参数进行初始化。

步骤S102：计算循环生成对抗网络模型的前向传播输出结果。

具体地，本实施例中采用无放回地的方式在预设训练集中随机抽取一定数量的图像，并根据当前循环生成对抗网络模型的权重参数，计算前向传播输出结果。

步骤S103：计算循环生成对抗网络模型的反向传播的梯度。

具体地，本实施例中根据步骤S102的计算结果，并采用链式求导算法，计算前述计算结果的偏导数。

步骤S104：采用神经网络优化算法(ADAptive Moment estimation，ADAM)，并根据步骤S103的计算结果，对循环生成对抗网络模型中所有节点的权重参数进行更新。

步骤S105：重复执行步骤S102～步骤S104，直至完成网络训练。本实施例中在重复执行步骤S102时，若预设训练集中的图像已经被抽样完毕，则将所有图像放回预设训练集后重新执行无放回的随机抽取。

本实施例中可以采用MultiPIE数据库中的网纹人脸图像及其清晰人脸图像作为训练集和测试集，并按照上述步骤S101～步骤S105对循环生成对抗网络模型进行网络训练。根据上述测试集对训练好的循环生成对抗网络模型进行测试，可以得到如下表1所示的测试结果：

表1

表1中TPR为真正类率，FRR为错误拒绝率。同时，表1中第一行表示采用常规人脸识别装置对网纹人脸图像进行识别得到的准确率，第二行表示采用常规人脸识别装置对清晰人脸图像进行识别得到的准确率，第三行表示采用本发明公开的人脸识别装置对网纹人脸图像进行去网纹后，并依据去网纹得到的清晰人脸图像进行识别得到的准确率。通过表1可以得到，本发明公开的人脸识别装置能够对网纹人脸图像进行有效地人脸识别。

本领域技术人员可以理解，上述网纹人脸图像识别装置还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1中示出。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包括”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (6)

1.一种网纹人脸图像识别装置，其特征在于，所述装置包括循环生成对抗网络模型，其配置为获取网纹人脸图像，并对所获取的网纹人脸图像进行人脸识别；所述循环生成对抗网络模型包括正向生成器、反向生成器和优化训练模块；

所述正向生成器，配置为依据所述循环生成对抗网络模型所获取的网纹人脸图像，预测清晰人脸图像；

所述反向生成器，配置为依据所述正向生成器所预测的清晰人脸图像，重建新的网纹人脸图像；以及，依据所述循环生成对抗网络模型所获取的清晰人脸图像，预测网纹人脸图像；所述正向生成器，进一步配置为依据所述反向生成器所预测的网纹人脸图像，重建新的清晰人脸图像；

所述优化训练模块，配置为依据预设训练集，并按照下式所示的损失函数L_HRCycleGAN对所述循环生成对抗网络模型进行网络训练，得到优化后的循环生成对抗网络模型：

L_HRCycleGAN＝L_gan+λL_cyc+λ₁L_hr+λ₂L_ip

其中，所述L_gan为对抗损失函数，所述L_cyc为循环一致性损失函数，所述L_hr为高阶关系损失函数，所述L_ip为身份特征损失函数，所述λ、λ₁和λ₂均为预设的权重参数；

所述对抗损失函数L_gan＝L_GAN1+L_GAN2，所述L_GAN1为预设训练集中网纹人脸图像与所述反向生成器所预测的网纹人脸图像之间的对抗损失函数，所述L_GAN2为所述预设训练集中清晰人脸图像与所述正向生成器所预测的清晰人脸图像之间的对抗损失函数；所述循环一致性损失函数L_cyc＝L_CYC1+L_CYC2，所述L_CYC1为预设训练集中网纹人脸图像与所述反向生成器所重建的网纹人脸图像之间的一致性损失函数，所述L_CYC2为所述预设训练集中清晰人脸图像与所述正向生成器所重建的清晰人脸图像之间的一致性损失函数；所述高阶关系损失函数L_hr＝L_HR1+L_HR2，所述L_HR1为预设训练集中网纹人脸图像与所述反向生成器所重建的网纹人脸图像之间的高阶损失函数，所述L_HR2为所述预设训练集中清晰人脸图像与所述正向生成器所重建的清晰人脸图像之间的高阶损失函数；所述身份特征损失函数L_ip＝L_{g_ip}+L_{l_ip}，所述L_{g_ip}为全局身份特征损失函数，所述L_{l_ip}为局部身份特征损失函数；

所述高阶损失函数L_HR1如下式所示：

所述高阶损失函数L_HR2如下式所示：

其中，所述x_i,j为网纹人脸图像x中位置(i,j)处的像素值，所述y_i,j为清晰人脸图像y中位置(i,j)处的像素值，所述

为网纹人脸图像

中位置(i,j)处的像素值，所述

为清晰人脸图像

中位置(i,j)处的像素值；所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向生成器所重建的网纹人脸图像，所述

为所述正向生成器所重建的清晰人脸图像；所述HR表示所述循环生成对抗网络模型中预设的高阶关系提取器，所述n₁为网纹人脸图像的像素总数，所述n₂为清晰人脸图像的像素总数，且n₁＝n₂；

所述预设的高阶关系提取器HR，配置为按照下式所示的方法提取预设图像Z中位置(i,j)处像素值Z_i,j的高阶特征：

其中，所述h为高阶关系提取器的阶数，所述

表示组合数，所述Z_i+h-k-1,j为预设图像Z中位置(i+h-k-1,j)处像素值，所述Z_i,j+h-k-1为预设图像Z中位置(i,j+h-k-1)处像素值。

2.根据权利要求1所述的装置，其特征在于，

所述对抗损失函数L_GAN1如下式所示：

所述对抗损失函数L_GAN2如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像；所述P_data(x)与P_data(y)分别为所述图像x与y的分布；所述G_XY表示所述正向生成器，所述G_YX表示所述反向生成器，所述D_X表示所述循环生成对抗网络模型中预设的网纹人脸图像域判别器，所述D_Y表示所述循环生成对抗网络模型中预设的清晰人脸图像域判别器，所述G_XY(x)为所述正向生成器所预测的清晰人脸图像，所述G_YX(y)为所述反向生成器所预测的网纹人脸图像；所述E表示期望。

3.根据权利要求1所述的装置，其特征在于，

所述一致性损失函数L_CYC1如下式所示：

所述一致性损失函数L_CYC2如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像；所述P_data(x)与P_data(y)分别为所述图像x与y的分布；所述G_XY表示所述正向生成器，所述G_YX表示所述反向生成器，所述G_XY(x)为所述正向生成器所预测的清晰人脸图像，所述G_YX(y)为所述反向生成器所预测的网纹人脸图像；所述|| ||₁表示L1范数，所述E表示期望。

4.根据权利要求1所述的装置，其特征在于，

所述全局身份特征损失函数L_{g_ip}包括网纹图像全局特征损失函数L_{g_ip_c}和清晰图像全局特征损失函数L_{g_ip_d}；

所述网纹图像全局特征损失函数L_{g_ip_c}如下式所示：

所述清晰图像全局特征损失函数L_{g_ip_d}如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向生成器所重建的网纹人脸图像，所述

为所述正向生成器所重建的清晰人脸图像；所述|| ||₁表示L1范数，所述F表示预设的全局特征提取器。

5.根据权利要求4所述的装置，其特征在于，

所述局部身份特征损失函数L_{l_ip}包括网纹图像局部特征损失函数L_{l_ip_c}和清晰图像局部特征损失函数L_{l_ip_d}；

所述网纹图像局部特征损失函数L_{l_ip_c}如下式所示：

所述清晰图像局部特征损失函数L_{l_ip_d}如下式所示：

其中，所述x与y分别为所述预设训练集中的网纹人脸图像与清晰人脸图像，所述

为所述反向生成器所重建的网纹人脸图像，所述

为所述正向生成器所重建的清晰人脸图像；所述|| ||₁表示L1范数，所述φ表示预设的局部特征提取器。

6.根据权利要求5所述的装置，其特征在于，

所述预设的全局特征提取器为基于神经网络的人脸特征提取模型；

所述预设的局部特征提取器为基于神经网络的人脸特征提取模型。

Images