CN111753670A - 注意力修复和关键点检测迭代协同的人脸超分方法 - Google Patents

Abstract

本发明公开了一种注意力修复和关键点检测迭代协同的人脸超分方法，包括：将低清图片输入到超分分支当中，得到第一代超分图片和超分反馈；其次人脸关键点检测分支用第一代超分图片作为输入，得到该分支的反馈和关键点热图；在之后的每一次迭代中，超分分支会将关键点热图输入到注意力融合模块当中，进行人脸图片的注意力修复，输出最终超分辨率图像，同时，人脸检测分支也将超分分支的输出作为输入，从而预测出更为准确的关键点。该方法能够对不同的人脸部位进行专门的学习和生成，大大提高了人脸超分的性能。

Description

注意力修复和关键点检测迭代协同的人脸超分方法

技术领域

本发明涉及计算机视觉与机器学习技术领域，特别涉及一种注意力修复和关键点检测迭代协同的人脸超分方法。

背景技术

近年来，人脸超分辨率技术已经获得了很多研究者的关注。通过人脸超分，可以将低清的人脸图像恢复为高清的人脸图像，因此人脸超分能够为人脸识别、人脸检测等任务提供良好的输入，因此在人脸图像分析中有着重要的作用。人脸超分是图像超分的一个分支，同样也是由少量像素恢复出大量像素，因此也是一个一对多问题，没有唯一解。但是因为人脸超分中人脸具有较强的先验信息，也有较为固定的几何结构，因此人脸超分通常可以做到比图像超分更高的上采样倍数，也能够恢复出更加清晰真实的图片。

随着深度学习和生成网络的发展，人脸超分辨率方法有了长足的发展。很多方法应用了人脸的先验信息，包括人脸关键点、人脸关键部位信息等。相关技术中有利用提取到的人脸部位结构作为生成的辅助信息，还有提取了人脸关键点的热图和分割图来提高复原性能。虽然这些方法利用了面部结构信息，确实提高了人脸超分的效果，但是这些方法存在着较为严重的问题，都是基于输入的低清图片或者粗略上采样的人脸图片进行分析的，只能提取到粗略的面部结构信息，得到的关键点或者人脸部位结构都相对不准确。这样一来，如果结构信息预测过程出现了错误，和最终超分结果有较大的出入，那么生成的结果就会受到较为严重的影响。另一方面，大多数方法都将生成网络的优化和人脸先验信息的预测看作一个多任务学习的问题，通过对两个任务的同步监督达到提升性能的目的，并且融合人脸结构信息的方式是得到的先验信息和超分辨率图像的特征进行简单的并联。然而，这样的指导过程并不直接也并不清晰，并没有充分利用到人脸结构信息，而且不同人脸部位的结构和特征是有区别的，直接并联也没有考虑到每个部位的特性，没有进行针对性的生成，因此需要更加强有力的网络来进行性能更强的人脸生成。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种注意力修复和关键点检测迭代协同的人脸超分方法，该方法充分利用人脸结构，考虑每个部分的特征，提高了人脸超分性能。

为达到上述目的，本发明实施例提出了注意力修复和关键点检测迭代协同的人脸超分方法，包括以下步骤：步骤S1，将低清人脸图像输入人脸超分网络中，估计人脸关键部位热图；步骤S2，将所述人脸关键部位热图输入至注意力融合模块中进行注意力修复，输出超分辨率图像；步骤S3，利用循环损失函数对所述人脸超分网络进行训练，计算所述人脸超分网络的损失，输出最终超分辨率图像。

本发明实施例的注意力修复和关键点检测迭代协同的人脸超分方法，利用深度循环生成网络和人脸关键点检测技术，得到更加清晰的人脸图像，且更容易地估计人脸关键点，通过不同人脸部位的注意力机制，处理人脸关键点，得到更加准确的面部结构信息，进而更好地促进人脸生成，提高人脸超分的性能。

另外，根据本发明上述实施例的注意力修复和关键点检测迭代协同的人脸超分方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述人脸超分网络包括超分分支和人脸关键点检测分支，两者均为循环网络，内部有循环迭代。

进一步地，在本发明的一个实施例中，所述超分分支中生成人脸超分辨率图像和反馈特征，其中，所述反馈特征用于下一代超分分支的输入。

进一步地，在本发明的一个实施例中，将所述人脸超分辨率图像输入人脸关键点检测分支中，生成人脸关键部位热图、预测的关键点和中间反馈特征，其中，所述预测的关键点作为下一迭代中超分分支的辅助信息，所述中间反馈特征作为下一迭代中关键点检测分支的输入。

进一步地，在本发明的一个实施例中，所述步骤S2进一步包括：利用softmax函数处理所述人脸关键部位热图，得到注意力权重图；将超分分支中得到的反馈特征进行复制，提取不同部位的特征；利用所述注意力权重图对所述不同部位的特征进行加权求和，得到所述超分辨率图像。

进一步地，在本发明的一个实施例中，所述人脸超分网络的损失包括关键点热图和真实关键点标注热图的距离与超分辨率图像和真实图像之间的距离。

进一步地，在本发明的一个实施例中，计算所述关键点热图和真实关键点标注热图的距离L₁公式为：

其中，N表示总迭代次数，I^HR表示高分辨率图像，

表示第n次迭代恢复的超分辨率图像。

进一步地，在本发明的一个实施例中，计算所述超分辨率图像和真实图像之间的距离L₂公式为：

其中，N表示总迭代次数，L^HR表示高分辨率图像的关键点，L_n表示第n次迭代预测的关键点。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的注意力修复和关键点检测迭代协同的人脸超分方法的流程图；

图2为根据本发明一个实施例的注意力融合模块处理流程图；

图3为根据本发明一个实施例的注意力修复和关键点检测迭代协同的人脸超分方法的网络结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的注意力修复和关键点检测迭代协同的人脸超分方法。

图1是本发明一个实施例的注意力修复和关键点检测迭代协同的人脸超分方法的流程图。

如图1所示，该注意力修复和关键点检测迭代协同的人脸超分方法包括以下步骤：

在步骤S1中，将低清人脸图像输入人脸超分网络中，估计人脸关键部位热图。

进一步地，在本发明的一个实施例中，人脸超分网络包括超分分支和人脸关键点检测分支，两者均为循环网络，内部有循环迭代，且超分分支和人脸关键点检测分支为迭代协调框架，使得两个网络在循环迭代中互相促进。

进一步地，在本发明的一个实施例中，超分分支中生成人脸超分辨率图像和反馈特征，其中，反馈特征用于下一代超分分支的输入，将人脸超分辨率图像输入人脸关键点检测分支中，生成人脸关键部位热图、预测的关键点和中间反馈特征，其中，预测的关键点作为下一迭代中超分分支的辅助信息，中间反馈特征作为下一迭代中关键点检测分支的输入。

具体而言，低清的人脸经过超分分支，可以得到第一代的人脸超分辨率图像和反馈特征，人脸超分辨率图像用作人脸关键点检测分支的输入，而反馈特征则作为下一代超分分支的输入，促进超分辨率图像的高质量生成。

将人脸超分辨率图像输入人脸关键点检测分支时，还生成预测的关键点和中间反馈特征，其中，预测的关键点作为下一迭代中超分分支的辅助信息，中间反馈特征作为下一迭代中关键点检测分支的输入，从而促进关键点更加准确的预测。

在步骤S2中，将人脸关键部位热图输入至注意力融合模块中进行注意力修复，输出超分辨率图像。

进一步地，在本发明的一个实施例中，步骤S2进一步包括：

利用softmax函数处理人脸关键部位热图，得到注意力权重图；

将超分分支中得到的反馈特征进行复制，提取不同部位的特征；

利用注意力权重图对不同部位的特征进行加权求和，得到超分辨率图像。

举例而言，如图2所示，先将估计出来的关键点按照五个不同部位进行组合：左眼、右眼、鼻子、嘴、面颊轮廓。组合后得到五个部位的热图，利用softmax函数计算出几个热图的注意力权重图：

其中，M表示注意力权重图，p表示某一个人脸部位，p为所有部位的个数(5个)，C为每个部位的关键点热图，而(x,y)则表示其上的某一个点的坐标。在得到注意力权重图之后，先将超分分支中得到的生成特征复制5份，其次将每一个特征用不同的卷积层进行特征提取，利用组卷积来降低计算复杂性。在五组卷积分别得到不同部位的特征之后，可以用上述的注意力权重图对这些特征进行加权求和，得到最终的人脸超分特征，再经过超分分支中最后的重建模块即可得到输出的超分辨率图像。

在步骤S3中，利用循环损失函数对人脸超分网络进行训练，计算人脸超分网络的损失，输出最终超分辨率图像。

进一步地，人脸超分网络的损失包括关键点热图和真实关键点标注热图的距离与超分辨率图像和真实图像之间的距离。

具体地，在每一次迭代中，都对人脸关键点和超分辨率图像进行监督。对人脸关键点检测分支，计算关键点热图和真实关键点标注热图的距离L₁，而对超分分支计算超分辨率图像和真实图像之间的距离作为损失L₂。在不同的迭代次数中，两部分损失也会进行协同，共同完成整个网络框架的训练。在最后一个迭代中，对最终输出的超分辨率图像添加一个对抗生成的损失和视觉特性的损失，使得网络能够生成更加真实清晰的图像。

计算关键点热图和真实关键点标注热图的距离L₁公式为：

其中，N表示总迭代次数，I^HR表示高分辨率图像，

表示第n次迭代恢复的超分辨率图像。

计算超分辨率图像和真实图像之间的距离L₂公式为：

其中，N表示总迭代次数，L^HR表示高分辨率图像的关键点，L_n表示第n次迭代预测的关键点。

基于此，如图3所示，本发明实施例的注意力修复和关键点检测迭代协同的人脸超分方法工作原理为：将超分分支和人脸关键点检测分支设计为迭代协同的框架，从而使两个网络在循环迭代中互相促进。而为了更好地融合关键点结构信息，提出注意力融合模块。将不同部位的关键点热图融合在一起，并算出几个热图的权重得到注意力图，再将人脸生成的特征分别经过不同的卷积网络，以几个注意力图作为权重得到最后的生成特征。经过足够次数的迭代即可得到较为清晰的结果。

与现有人脸超分方法估计的人脸面部信息多是基于低清图片或者粗略上采样的图片相比，本发明实施例在每次迭代中，可以更好的人脸恢复图片，得到更准的关键点，更准的关键点又可以反过来促进更好的图像生成；通过利用新的注意力融合模块，有效地利用了预测的关键点信息，使网络能够关注到不同人脸部位的区别，从而进行专项化的生成；通过采用人脸超分网络，包括两个分支，均为循环网络，二者内部有循环迭代，二者之间也会不断的迭代更新，逐渐促进最终结果的提升。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，包括以下步骤：

步骤S1，将低清人脸图像输入人脸超分网络中，估计人脸关键部位热图；

步骤S2，将所述人脸关键部位热图输入至注意力融合模块中进行注意力修复，输出超分辨率图像；以及

步骤S3，利用循环损失函数对所述人脸超分网络进行训练，计算所述人脸超分网络的损失，输出最终超分辨率图像。

2.根据权利要求1所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，所述人脸超分网络包括超分分支和人脸关键点检测分支，两者均为循环网络，内部有循环迭代。

3.根据权利要求2所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，所述超分分支中生成人脸超分辨率图像和反馈特征，其中，所述反馈特征用于下一代超分分支的输入。

4.根据权利要求3所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，将所述人脸超分辨率图像输入人脸关键点检测分支中，生成人脸关键部位热图、预测的关键点和中间反馈特征，其中，所述预测的关键点作为下一迭代中超分分支的辅助信息，所述中间反馈特征作为下一迭代中关键点检测分支的输入。

5.根据权利要求1所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，所述步骤S2进一步包括：

利用softmax函数处理所述人脸关键部位热图，得到注意力权重图；

将超分分支中得到的反馈特征进行复制，提取不同部位的特征；

利用所述注意力权重图对所述不同部位的特征进行加权求和，得到所述超分辨率图像。

6.根据权利要求1所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，所述人脸超分网络的损失包括关键点热图和真实关键点标注热图的距离与超分辨率图像和真实图像之间的距离。

7.根据权利要求6所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，计算所述关键点热图和真实关键点标注热图的距离L₁公式为：

其中，N表示总迭代次数，I^HR表示高分辨率图像，

表示第n次迭代恢复的超分辨率图像。

8.根据权利要求6所述的注意力修复和关键点检测迭代协同的人脸超分方法，其特征在于，计算所述超分辨率图像和真实图像之间的距离L₂公式为：

其中，N表示总迭代次数，L^HR表示高分辨率图像的关键点，L_n表示第n次迭代预测的关键点。

Images