CN112669212B - 人脸图像超分辨率重建方法、装置、计算机设备及介质 - Google Patents

Abstract

本发明公开了一种人脸图像超分辨率重建方法、装置、计算机设备及介质，所述方法包括：通过获取低分辨人脸图像，将低分辨人脸图像输入到人脸超分辨生成对抗网络中，人脸超分辨生成对抗网络包括生成网络和判别网络，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层，通过人脸图像编码层和人脸关键点信息获取层，分别对低分辨人脸图像进行特征提取，再采用人脸图像解码层，提取到的特征进行解码处理，得到高分辨人脸图像，采用判别网络判别生成的高分辨人脸图像的真假，进而确定目标图像，本发明提高了重构高分辨率图像的质量。

Description

人脸图像超分辨率重建方法、装置、计算机设备及介质

技术领域

本发明涉及图像处理领域，尤其涉及一种人脸图像超分辨率重建方法、装置、计算机设备及介质。

背景技术

图像超分辨率重建是计算机视觉领域的一个经典问题。它是一种图像提高成像分辨率的技术。它旨在将给定的低分辨率图像恢复为高分辨率图像。人脸超分辨率重建是其中的重要分支之一。人脸超分辨率重建在人脸识别、身份认证、智能监控等诸多领域有着重要的应用价值。但是，由于摄像头设备物理特性、光照条件和距离等问题的影响，监控视频中的人脸图像往往分辨率较低，人脸细节信息不够突出，目前人脸识别算法仅仅对于高分辨率人脸图像可以得到较高的识别率，而对低分辨率人脸图像的识别率较低。因而，需要对人脸图像进行超分辨率重建。

目前对人脸图像进行超分辨率重建，比较常见的方法主要是基于插值的方法和基于重建的方法理。基于插值的方法是比较常见的方法，普遍应用于图像的上采样操作。最为经典的插值算法包括最近邻插值算法、双线性插值算法和双三次插值算法。基于重建的方法理论源于成像降质模型，主要是提取低分辨图像中的非冗余信息，并采用特定方法生成高分辨图像。发明人在实现本发明的过程中，发现现有技术至少存在如下问题：插值算法的主要思路是根据已有的像素位置信息，估计未知像素信息，计算速度快但存在大量细节丢失的问题，使得重建图像质量不佳，采用重建的方法可以利用到多张低分辨图像的信息，但缺点是需要精确的亚像素运动信息，当图像出现配准偏差等现象时，无法获得图像的高频信息，导致重建效果不佳，且需要复杂的模型设计，因而，亟需一种提高超分辨率重建图像质量的方法。

发明内容

本发明实施例提供一种人脸图像超分辨率重建方法、装置、计算机设备和存储介质，以提高当前超分辨率重建得到图像的质量。

为了解决上述技术问题，本申请实施例提供一种人脸图像超分辨率重建方法，包括：

获取低分辨人脸图像；

将所述低分辨人脸图像输入到人脸超分辨生成对抗网络中，所述人脸超分辨生成对抗网络包括生成网络和判别网络，所述生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层；

通过所述人脸图像编码层，对所述低分辨人脸图像进行特征提取，得到特征映射图；

通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图；

采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像；

采用所述判别网络对所述高分辨人脸图像进行判别，得到第一判别结果，其中，所述第一判别结果包括真和假中的一种；

若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，若所述第一判别结果为若判别结果为真，则将所述高分辨人脸图像作为目标图像。

可选地，所述人脸图像编码层采用稠密块Dense Block进行网络层级的连接。

可选地，所述通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图包括：

基于Dlib库，从所述低分辨人脸图像中进行人脸关键点获取，得到人脸关键点；

针对所述低分辨人脸图像中每个像素点，通过遍历的方式，计算所述像素点到每个所述人脸关键点的距离，并将得到最小值作为所述像素点对应的有效距离；

若所述有效距离小于预设阈值，则将所述有效距离对应的像素点作为有效点；

在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到所述人脸关键点特征图。

可选地，所述在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到所述人脸关键点特征图包括：

在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到人脸关键点热点图；

对所述人脸关键点热点图进行二值化处理，得到所述人脸关键点特征图。

可选地，所述采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像包括：

将所述人脸关键点特征图的特征大小，调整为与所述特征映射图的特征大小一致，得到调整后的人脸关键点特征图；

对所述特征映射图与所述调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据；

对所述输入数据进行解码处理，得到所述高分辨人脸图像。

可选地，所述人脸图像解码层采用稠密块Dense Block进行网络层级的连接，所述对所述输入数据进行解码处理，得到所述高分辨人脸图像包括：

采用卷积核为a×a的卷积层，对所述输入数据进行卷积处理，得到第一特征，其中，a为正整数；

采用卷积核为(a+1)×(a+1)的反卷积层，对所述第一特征进行采样，得到第二特征；

通过预设数量的稠密块Dense Block对所述第二特征进行特征解码，得到第三特征；

使用卷积核为a×a的卷积层对所述第三特征进行三通道重建，得到所述高分辨人脸图像。

可选地，所述若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，包括：

若所述第一判别结果为假，则将所述高分辨人脸图像作为输入图像；

将所述输入图像输入到所述人脸超分辨生成对抗网络中；

采用所述生成网络重新生成新的高分辨人脸图像；

通过所述判别网络对所述新的高分辨人脸图像进行判别，得到第二判别结果，其中，所述第二判别结果包括真和假中的一种；

若所述第二判别结果为假，则将所述新的高分辨人脸图像作为输入图像，并返回将所述输入图像输入到所述人脸超分辨生成对抗网络中的步骤继续执行；

若所述第二判别结果为真，则将所述新的高分辨人脸图像作为目标图像。

为了解决上述技术问题，本申请实施例还提供一种人脸图像超分辨率重建装置，包括：

图像获取模块，用于获取低分辨人脸图像；

图像输入模块，用于将所述低分辨人脸图像输入到人脸超分辨生成对抗网络中，所述人脸超分辨生成对抗网络包括生成网络和判别网络，所述生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层；

特征提取模块，用于通过所述人脸图像编码层，对所述低分辨人脸图像进行特征提取，得到特征映射图；

关键点提取模块，用于通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图；

特征解码模块，用于采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像；

图像判别模块，用于采用所述判别网络对所述高分辨人脸图像进行判别，得到第一判别结果，其中，所述第一判别结果包括真和假中的一种；

图像确定模块，用于若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，若所述第一判别结果为若判别结果为真，则将所述高分辨人脸图像作为目标图像。

可选地，所述关键点提取模块包括：

人脸关键点获取单元，用于基于Dlib库，从所述低分辨人脸图像中进行人脸关键点获取，得到人脸关键点；

有效距离计算单元，用于针对所述低分辨人脸图像中每个像素点，通过遍历的方式，计算所述像素点到每个所述人脸关键点的距离，并将得到最小值作为所述像素点对应的有效距离；

有效点确定单元，用于若所述有效距离小于预设阈值，则将所述有效距离对应的像素点作为有效点；

特征图生成单元，用于在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到所述人脸关键点特征图。

可选地，所述特征图生成单元包括：

热点图生成子单元，用于在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到人脸关键点热点图；

二值化处理子单元，用于对所述人脸关键点热点图进行二值化处理，得到所述人脸关键点特征图。

可选地，所述特征解码模块包括：

标准化单元，用于将所述人脸关键点特征图的特征大小，调整为与所述特征映射图的特征大小一致，得到调整后的人脸关键点特征图；

特征融合单元，用于对所述特征映射图与所述调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据；

解码处理单元，用于对所述输入数据进行解码处理，得到所述高分辨人脸图像。

可选地，所述人脸图像解码层采用稠密块Dense Block进行网络层级的连接，所述解码处理单元包括：

第一卷积子单元，用于采用卷积核为a×a的卷积层，对所述输入数据进行卷积处理，得到第一特征，其中，a为正整数；

反卷积子单元，用于采用卷积核为(a+1)×(a+1)的反卷积层，对所述第一特征进行采样，得到第二特征；

特征解码子单元，用于通过预设数量的稠密块Dense Block对所述第二特征进行特征解码，得到第三特征；

第二卷积子单元，用于使用卷积核为a×a的卷积层对所述第三特征进行三通道重建，得到所述高分辨人脸图像。

可选地，所述图像确定模块包括：

输入图像更新单元，用于若所述第一判别结果为假，则将所述高分辨人脸图像作为输入图像；

图像重新输入单元，用于将所述输入图像输入到所述人脸超分辨生成对抗网络中；

图像重新生成单元，用于采用所述生成网络重新生成新的高分辨人脸图像；

第二判别单元，用于通过所述判别网络对所述新的高分辨人脸图像进行判别，得到第二判别结果，其中，所述第二判别结果包括真和假中的一种；

循环迭代单元，用于若所述第二判别结果为假，则将所述新的高分辨人脸图像作为输入图像，并返回将所述输入图像输入到所述人脸超分辨生成对抗网络中的步骤继续执行；

图像确定单元，用于若所述第二判别结果为真，则将所述新的高分辨人脸图像作为目标图像。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人脸图像超分辨率重建方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸图像超分辨率重建方法的步骤。

本发明实施例提供的人脸图像超分辨率重建方法、装置、计算机设备及存储介质，通过获取低分辨人脸图像，将低分辨人脸图像输入到人脸超分辨生成对抗网络中，人脸超分辨生成对抗网络包括生成网络和判别网络，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层，通过人脸图像编码层和人脸关键点信息获取层，分别对低分辨人脸图像进行特征提取，再采用人脸图像解码层，提取到的特征进行解码处理，得到高分辨人脸图像，实现结合人脸特征点的先验知识，生成高分辨人脸图像，有利于提高生成图像的质量，同时，采用判别网络判别生成的高分辨人脸图像的真假，进而确定目标图像，确保生成的目标图像符合要求，在判别结果为假时，进行高分辨图像的重构，确保目标图像的质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2是本申请的人脸图像超分辨率重建方法的一个实施例的流程图；

图3是根据本申请的人脸图像超分辨率重建装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的人脸图像超分辨率重建方法由服务器执行，相应地，人脸图像超分辨率重建装置设置于服务器中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用系统。

请参阅图2，图2示出本发明实施例提供的一种人脸图像超分辨率重建方法，以该方法应用在图1中的服务端为例进行说明，详述如下：

S201：获取低分辨人脸图像。

具体地，从客户端或者预设的路径，获取需要进行重构的低分辨人脸图像。

可选地，在获取到低分辨人脸图像后，对该低分辨人脸图像进行图像预处理，图像预处理包括但不限于：图像裁剪、边缘检测和灰度变换等。本实施例中进行图像预处理，确保预处理后的图像更容易被人脸超分辨生成对抗网络识别。

S202：将低分辨人脸图像输入到人脸超分辨生成对抗网络中，人脸超分辨生成对抗网络包括生成网络和判别网络，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层。

其中，超分辨生成对抗网络(Super-Resolution Generative AdversarialNetworks，SRGAN)是基于生成对抗网络进行超分辨率任务的网络，通过鼓励网络生成一些更接近于自然图像的方法来提升超分辨率的质量，本实施例中的人脸超分辨生成对抗网络包括生成网络和判别网络，其中，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层。

相比于卷积神经网络(CNN)，SRGAN网络在人脸图像高频细节上的恢复更具优势，但是也会给重建图像带来“鬼脸”现象形成面部扭曲。作为一种优选方式，本实施例采用移除了网络基础架构中的残差网络块Residual Block(RB)，并使用稠密块Dense Block(DB)的建立起层次连接，有效的改善了重建图像中存在的面部扭曲现象，提高重建图像的质量。

可选地，本实施例移除传统超分辨生成对抗网络中的Batch Norm(BN)层，对图像超分辨率来说，网络输出的图像在色彩、对比度、亮度上要求和输入一致，改变的仅仅是分辨率和一些细节。而BN层，对图像来说类似于一种对比度的拉伸，任何图像经过BN层后，其色彩的分布都会被归一化。也就是说，它破坏了图像原本的对比度信息，本方案中，移除BN层，避免BN带来负面效果，解决“鬼脸”现象形成面部扭曲，同时，为避免去掉BN层后，原有的Residual Block结构会使得网络会变得非常难易训练，而且很容易陷入局部极小值导致结果不好，本实施例采用稠密块Dense Block(DB)替代残差网络块Residual Block(RB)，实现网络训练效率的提升，并使得重建后获得的人脸图像质量更好。

可选地，为了减少模型中的冗余信息，本实施例采取了随机丢掉稠密块DenseBlock模型信息的方法，只保留部分信息，提高运算效率。

S203：通过人脸图像编码层，对低分辨人脸图像进行特征提取，得到特征映射图。

在本实施例的一个具体实施方式中，为提高人脸精细特征提取的准确性，采用12个稠密块Dense Block作为特征提取模块。同时，考虑到计算成本，使用卷积核为3×3，步长为2的卷积核，对低分辨人脸图像的特征映射进行采样。

S204：通过人脸关键点信息获取层，对低分辨人脸图像进行关键点提取，得到人脸关键点特征图。

具体地，在人脸关键点信息获取层，通过对低分辨人脸图像进行关键点提取，得到人脸的关键点信息，并根据得到的人脸关键点信息，生成人脸关键点特征图，作为一个图像特征维度，参与后续高分辨人脸图像的生成。

通过人脸关键点信息获取层，对低分辨人脸图像进行关键点提取，得到人脸关键点特征图的具体实现过程，也可参考后续实施例的描述，为避免重复，此处不再赘述。

需要说明的是，步骤S203与步骤S204之间，并没有必然的先后顺序，其具体也可以是并列执行的关系，此处不应理解为对其的限定。

S205：采用人脸图像解码层，对特征映射图和人脸关键点特征图进行解码处理，得到高分辨人脸图像。

具体地，在人脸图像解码层，对特征映射图和人脸关键点特征图中包含的特征进行解码处理，并通过反卷积放大到目标尺寸，得到构建的高分辨图像。

可选地，本实施例对特征映射图和人脸关键点特征图进行串联融合，再采用人脸图像解码层进行解码处理，增加图像特征的维度，提高生成图像的准确率。

S206：采用判别网络对高分辨人脸图像进行判别，得到第一判别结果，其中，第一判别结果包括真和假中的一种。

具体地，通过判别网络对得到的高分辨人脸图像进行判别，判断该高分辨人脸图像的真假。

需要说明的是，本实施例的超分辨生成对抗网络在经过预先训练后，判别网络对输入其中的图像进行真实性概率的计算，进而根据预设的判断标准，得出该输入的图像的判别结果，在输入图像较为接近预期的结果时，真实性概率较大。

S207：若第一判别结果为假，则采用人脸超分辨生成对抗网络对高分辨人脸图像进行重新构建，若第一判别结果为若判别结果为真，则将高分辨人脸图像作为目标图像。

具体地，在第一判别结果为假时，确认该高分辨人脸图像质量未达到预期要求，此处，采用人脸超分辨生成对抗网络对高分辨人脸图像进行重新构建，确保最终得到的目标图像的质量，在第一判别结果为若判别结果为真时，将该高分辨人脸图像作为目标图像。

采用人脸超分辨生成对抗网络对高分辨人脸图像进行重新构建的具体过程，可参考后续实施例的描述，为避免重复，此处不在赘述。

本实施例中，通过获取低分辨人脸图像，将低分辨人脸图像输入到人脸超分辨生成对抗网络中，人脸超分辨生成对抗网络包括生成网络和判别网络，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层，通过人脸图像编码层和人脸关键点信息获取层，分别对低分辨人脸图像进行特征提取，再采用人脸图像解码层，提取到的特征进行解码处理，得到高分辨人脸图像，实现结合人脸特征点的先验知识，生成高分辨人脸图像，有利于提高生成图像的质量，同时，采用判别网络判别生成的高分辨人脸图像的真假，进而确定目标图像，确保生成的目标图像符合要求，在判别结果为假时，进行高分辨图像的重构，确保目标图像的质量。

在本实施例的一些可选的实现方式中，步骤S204中，通过人脸关键点信息获取层，对低分辨人脸图像进行关键点提取，得到人脸关键点特征图包括：

基于Dlib库，从低分辨人脸图像中进行人脸关键点获取，得到人脸关键点；

针对低分辨人脸图像中每个像素点，通过遍历的方式，计算像素点到每个人脸关键点的距离，并将得到最小值作为像素点对应的有效距离；

若有效距离小于预设阈值，则将有效距离对应的像素点作为有效点；

在与低分辨人脸图像相同大小的空白图像中，写入有效点和人脸关键点，得到人脸关键点特征图。

具体地，基于Dlib库，在人脸关键点信息层中进行人脸关键点提取方式，得到68个人脸关键点的位置信息，再通过计算低分辨人脸图像中像素点到该人脸关键点的最短距离，将最短距离小于预设阈值的像素点，作为有效点，进而根据有效点和人脸关键点，生成人脸关键点特征图。

其中，预设阈值可根据实际需求进行设定，此处不作限制。

其中，Dlib库是一个开源的机器学习库，采用68点位置标志人脸重要部位，比如18-22点标志右眉毛，51-68标志嘴巴，本实施例采用dlib库进行人脸关键点提取，实现快速准确提取较多人脸关键点特征，提高人脸关键点特征提取速度和获得到的人脸关键点特征的质量。

可选地，本实施例根据有效点和人脸关键点，生成人脸关键点热图，再通过对人脸关键点热图进行图形处理，得到人脸关键点特征图，具体描述方式可参考后续实施例，为避免重复，此处不再赘述。

在本实施例中，通过对低分辨人脸图像中进行人脸关键点获取和有效点的计算，生成人脸关键点特征图，在后续结合该人脸关键点特征图进行解码，有利于提高后续高分辨图像生成的准确度。

在本实施例的一些可选的实现方式中，在与低分辨人脸图像相同大小的空白图像中，写入有效点和人脸关键点，得到人脸关键点特征图包括：

在与低分辨人脸图像相同大小的空白图像中，写入有效点和人脸关键点，得到人脸关键点热点图；

对人脸关键点热点图进行二值化处理，得到人脸关键点特征图。

其中，图像二值化(Image Binarization)是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。得到描述人脸器官和面部轮廓的特征图，作为人脸关键点特征图。

本实施例中，通过对人脸关键点热点图进行二值化处理，使得描述人脸器官和面部轮廓的点更为凸显，提高人脸人脸关键点特征获取的精准程度。

在本实施例的一些可选的实现方式中，步骤S205中，采用人脸图像解码层，对特征映射图和人脸关键点特征图进行解码处理，得到高分辨人脸图像包括：

将人脸关键点特征图的特征大小，调整为与特征映射图的特征大小一致，得到调整后的人脸关键点特征图；

对特征映射图与调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据；

对输入数据进行解码处理，得到高分辨人脸图像。

具体地，在人脸关键点特征图的特征大小，与特征映射图的特征大小不一致时，对人脸关键点特征图进行调整，使其与特征映射图的特征大小一致，确保数据融合时特征的一致性，进而对特征映射图与调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据，增加了图像的特征维度，再采用人脸图像解码层中的稠密块Dense Block进行解码处理，得到高分辨人脸图像。

本实施例中，通过将人脸关键点特征图和特征映射图进行串联拼接，增加图像的特征维度，改变了图像特征层信息，有利于提高生成目标图像的质量。

在本实施例的一些可选的实现方式中，人脸图像解码层采用稠密块Dense Block进行网络层级的连接，对输入数据进行解码处理，得到高分辨人脸图像包括：

采用卷积核为a×a的卷积层，对输入数据进行卷积处理，得到第一特征，其中，a为正整数；

采用卷积核为(a+1)×(a+1)的反卷积层，对第一特征进行采样，得到第二特征；

通过预设数量的稠密块Dense Block对第二特征进行特征解码，得到第三特征；

使用卷积核为a×a的卷积层对第三特征进行三通道重建，得到高分辨人脸图像。

其中，a为预设数值，优选的，本实施例中a的预设数值为3，也即，采用卷积核为3×3的卷积层，采用卷积核为4×4的反卷积层。

具体地，在一具体实施方式中，使用3×3的卷积层对输入数据进行卷积处理，将特征映射的数量减少到64，然后利用4×4的反卷积层对特征映射进行采样，将大小变为128×128，然后使用4个稠密块Dense Block对特征解码，最后使用3×3卷积层重建出三通道的HR图像。

本实施例中，通过人脸图像解码层对输入数据进行解码，实现通过人脸精细特征和人脸关键点特征来恢复精细的HR图像。

在本实施例的一些可选的实现方式中，步骤S207中，若第一判别结果为假，则采用人脸超分辨生成对抗网络对高分辨人脸图像进行重新构建，包括：

若第一判别结果为假，则将高分辨人脸图像作为输入图像；

将输入图像输入到人脸超分辨生成对抗网络中；

采用生成网络重新生成新的高分辨人脸图像；

通过判别网络对新的高分辨人脸图像进行判别，得到第二判别结果，其中，第二判别结果包括真和假中的一种；

若第二判别结果为假，则将新的高分辨人脸图像作为输入图像，并返回将输入图像输入到人脸超分辨生成对抗网络中的步骤继续执行；

若第二判别结果为真，则将新的高分辨人脸图像作为目标图像。

具体地，在第一判别结果为假时，将得到的高分辨人脸图像作为输入图像，再次输入到将输入图像输入到人脸超分辨生成对抗网络中，进而通过生成网络，参照步骤S203至步骤S205的描述进行重新生成，并再次使用判别网络进行判别，直到判别网络的判别结果为真为止。

需要说明的是，第二判别结果为真和第二判别结果为假这两种情形对应的步骤，并没有必然的先后顺序，其具体也可以是并列执行，此处不应理解为对其的限定。

在本实施例中，通过循环迭代的方式，对未达到要求的高分辨人脸图像进行多次重构，直到满足判别网络的判别要求，得到质量较好的目标图像，提高获取到的目标图像的质量。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图3示出与上述实施例人脸图像超分辨率重建方法一一对应的人脸图像超分辨率重建装置的原理框图。如图3所示，该人脸图像超分辨率重建装置包括图像获取模块31、图像输入模块32、特征提取模块33、关键点提取模块34、特征解码模块35、图像判别模块36和图像确定模块37。各功能模块详细说明如下：

图像获取模块31，用于获取低分辨人脸图像；

图像输入模块32，用于将低分辨人脸图像输入到人脸超分辨生成对抗网络中，人脸超分辨生成对抗网络包括生成网络和判别网络，生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层；

特征提取模块33，用于通过人脸图像编码层，对低分辨人脸图像进行特征提取，得到特征映射图；

关键点提取模块34，用于通过人脸关键点信息获取层，对低分辨人脸图像进行关键点提取，得到人脸关键点特征图；

特征解码模块35，用于采用人脸图像解码层，对特征映射图和人脸关键点特征图进行解码处理，得到高分辨人脸图像；

图像判别模块36，用于采用判别网络对高分辨人脸图像进行判别，得到第一判别结果，其中，第一判别结果包括真和假中的一种；

图像确定模块37，用于若第一判别结果为假，则采用人脸超分辨生成对抗网络对高分辨人脸图像进行重新构建，若第一判别结果为若判别结果为真，则将高分辨人脸图像作为目标图像。

可选地，关键点提取模块34包括：

人脸关键点获取单元，用于基于Dlib库，从低分辨人脸图像中进行人脸关键点获取，得到人脸关键点；

有效距离计算单元，用于针对低分辨人脸图像中每个像素点，通过遍历的方式，计算像素点到每个人脸关键点的距离，并将得到最小值作为像素点对应的有效距离；

有效点确定单元，用于若有效距离小于预设阈值，则将有效距离对应的像素点作为有效点；

特征图生成单元，用于在与低分辨人脸图像相同大小的空白图像中，写入有效点和人脸关键点，得到人脸关键点特征图。

可选地，特征图生成单元包括：

热点图生成子单元，用于在与低分辨人脸图像相同大小的空白图像中，写入有效点和人脸关键点，得到人脸关键点热点图；

二值化处理子单元，用于对人脸关键点热点图进行二值化处理，得到人脸关键点特征图。

可选地，特征解码模块35包括：

标准化单元，用于将人脸关键点特征图的特征大小，调整为与特征映射图的特征大小一致，得到调整后的人脸关键点特征图；

特征融合单元，用于对特征映射图与调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据；

解码处理单元，用于对输入数据进行解码处理，得到高分辨人脸图像。

可选地，人脸图像解码层采用稠密块Dense Block进行网络层级的连接，解码处理单元包括：

第一卷积子单元，用于采用卷积核为a×a的卷积层，对输入数据进行卷积处理，得到第一特征，其中，a为正整数；

反卷积子单元，用于采用卷积核为(a+1)×(a+1)的反卷积层，对第一特征进行采样，得到第二特征；

特征解码子单元，用于通过预设数量的稠密块Dense Block对第二特征进行特征解码，得到第三特征；

第二卷积子单元，用于使用卷积核为a×a的卷积层对第三特征进行三通道重建，得到高分辨人脸图像。

可选地，图像确定模块37包括：

输入图像更新单元，用于若第一判别结果为假，则将高分辨人脸图像作为输入图像；

图像重新输入单元，用于将输入图像输入到人脸超分辨生成对抗网络中；

图像重新生成单元，用于采用生成网络重新生成新的高分辨人脸图像；

第二判别单元，用于通过判别网络对新的高分辨人脸图像进行判别，得到第二判别结果，其中，第二判别结果包括真和假中的一种；

循环迭代单元，用于若第二判别结果为假，则将新的高分辨人脸图像作为输入图像，并返回将输入图像输入到人脸超分辨生成对抗网络中的步骤继续执行；

图像确定单元，用于若第二判别结果为真，则将新的高分辨人脸图像作为目标图像。

关于人脸图像超分辨率重建装置的具体限定可以参见上文中对于人脸图像超分辨率重建方法的限定，在此不再赘述。上述人脸图像超分辨率重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的人脸图像超分辨率重建方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种人脸图像超分辨率重建方法，其特征在于，所述人脸图像超分辨率重建方法包括：

获取低分辨人脸图像；

将所述低分辨人脸图像输入到人脸超分辨生成对抗网络中，所述人脸超分辨生成对抗网络包括生成网络和判别网络，所述生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层；

通过所述人脸图像编码层，对所述低分辨人脸图像进行特征提取，得到特征映射图；

通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图；

采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像；

采用所述判别网络对所述高分辨人脸图像进行判别，得到第一判别结果，其中，所述第一判别结果包括真和假中的一种；

若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，若所述第一判别结果为若判别结果为真，则将所述高分辨人脸图像作为目标图像。

2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，所述人脸图像编码层采用稠密块Dense Block进行网络层级的连接。

3.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，所述通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图包括：

基于Dlib库，从所述低分辨人脸图像中进行人脸关键点获取，得到人脸关键点；

针对所述低分辨人脸图像中每个像素点，通过遍历的方式，计算所述像素点到每个所述人脸关键点的距离，并将得到最小值作为所述像素点对应的有效距离；

若所述有效距离小于预设阈值，则将所述有效距离对应的像素点作为有效点；

在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到所述人脸关键点特征图。

4.如权利要求3所述的人脸图像超分辨率重建方法，其特征在于，所述在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到所述人脸关键点特征图包括：

在与所述低分辨人脸图像相同大小的空白图像中，写入所述有效点和所述人脸关键点，得到人脸关键点热点图；

对所述人脸关键点热点图进行二值化处理，得到所述人脸关键点特征图。

5.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，所述采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像包括：

将所述人脸关键点特征图的特征大小，调整为与所述特征映射图的特征大小一致，得到调整后的人脸关键点特征图；

对所述特征映射图与所述调整后的人脸关键点特征图进行串联融合，将融合后的特征图作为输入数据；

对所述输入数据进行解码处理，得到所述高分辨人脸图像。

6.如权利要求5所述的人脸图像超分辨率重建方法，其特征在于，所述人脸图像解码层采用稠密块Dense Block进行网络层级的连接，所述对所述输入数据进行解码处理，得到所述高分辨人脸图像包括：

采用卷积核为a×a的卷积层，对所述输入数据进行卷积处理，得到第一特征，其中，a为正整数；

采用卷积核为(a+1)×(a+1)的反卷积层，对所述第一特征进行采样，得到第二特征；

通过预设数量的稠密块Dense Block对所述第二特征进行特征解码，得到第三特征；

使用卷积核为a×a的卷积层对所述第三特征进行三通道重建，得到所述高分辨人脸图像。

7.如权利要求1至6任一项所述的人脸图像超分辨率重建方法，其特征在于，所述若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，包括：

若所述第一判别结果为假，则将所述高分辨人脸图像作为输入图像；

将所述输入图像输入到所述人脸超分辨生成对抗网络中；

采用所述生成网络重新生成新的高分辨人脸图像；

通过所述判别网络对所述新的高分辨人脸图像进行判别，得到第二判别结果，其中，所述第二判别结果包括真和假中的一种；

若所述第二判别结果为假，则将所述新的高分辨人脸图像作为输入图像，并返回将所述输入图像输入到所述人脸超分辨生成对抗网络中的步骤继续执行；

若所述第二判别结果为真，则将所述新的高分辨人脸图像作为目标图像。

8.一种人脸图像超分辨率重建装置，其特征在于，所述人脸图像超分辨率重建装置包括：

图像获取模块，用于获取低分辨人脸图像；

图像输入模块，用于将所述低分辨人脸图像输入到人脸超分辨生成对抗网络中，所述人脸超分辨生成对抗网络包括生成网络和判别网络，所述生成网络包括人脸图像编码层、人脸图像解码层和人脸关键点信息获取层；

特征提取模块，用于通过所述人脸图像编码层，对所述低分辨人脸图像进行特征提取，得到特征映射图；

关键点提取模块，用于通过所述人脸关键点信息获取层，对所述低分辨人脸图像进行关键点提取，得到人脸关键点特征图；

特征解码模块，用于采用所述人脸图像解码层，对所述特征映射图和所述人脸关键点特征图进行解码处理，得到高分辨人脸图像；

图像判别模块，用于采用所述判别网络对所述高分辨人脸图像进行判别，得到第一判别结果，其中，所述第一判别结果包括真和假中的一种；

图像确定模块，用于若所述第一判别结果为假，则采用所述人脸超分辨生成对抗网络对所述高分辨人脸图像进行重新构建，若所述第一判别结果为若判别结果为真，则将所述高分辨人脸图像作为目标图像。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的人脸图像超分辨率重建方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的人脸图像超分辨率重建方法。