CN112308043A - 图像处理方法、图像处理装置和计算机可读存储介质 - Google Patents

Abstract

提供了一种图像处理方法、图像处理装置和计算机可读存储介质，该方法包括：获取待处理图像中的至少一个待处理人脸图像；采用每个待处理人脸图像对应的仿射矩阵对每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，每个待处理人脸图像对应的仿射矩阵根据每个待处理人脸图像的人脸特征点和标准特征点确定；将对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像；采用每个待处理人脸图像对应的逆仿射矩阵分别对每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到每个待处理人脸图像对应的目标人脸图像；将待处理图像中的每个待处理人脸图像分别替换为对应的目标人脸图像，得到目标图像。

Description

图像处理方法、图像处理装置和计算机可读存储介质

技术领域

本发明涉及图像处理领域，并且更具体地，涉及一种图像处理方法、图像处理装置和计算机可读存储介质。

背景技术

图像修复技术是图像处理领域一个重要的分支，属于模式识别、机器学习、统计学、计算机视觉等多学科的交叉问题。人脸的图像修复可以包括对人脸的缺失信息进行修复重建。

在相关技术中，利用聚类算法将图像分块，对每一图像块做基于伽马变换和对数变换相结合的非线性变换，从而增加图像的局部对比度，以达到图像修复的目的。但是采用此方式，对于人脸关键信息缺失较严重的图像，则无法恢复和产生其丰富的人脸细节。因此，如何进行有效的人脸修复是一项急需解决的问题。

发明内容

本申请提供了一种图像处理方法、图像处理装置和计算机可读存储介质，能够实现有效的人脸修复。

第一方面，提供了一种图像处理方法，包括：获取待处理图像中的至少一个待处理人脸图像；

采用至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，每个待处理人脸图像对应的仿射矩阵是根据每个待处理人脸图像的人脸特征点和标准特征点确定的；

将对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，至少一个增强人脸图像和至少一个待处理人脸图像一一对应；

采用每个待处理人脸图像对应的逆仿射矩阵分别对每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到每个待处理人脸图像对应的目标人脸图像，其中，每个待处理人脸图像对应的逆仿射矩阵为每个待处理人脸图像对应的仿射矩阵的逆矩阵；

将待处理图像中的每个待处理人脸图像分别替换为每个待处理人脸图像对应的目标人脸图像，得到目标图像。

在一些可能的实现方式中，所述利用所述每个待处理人脸图像对应的仿射矩阵对所述每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，包括：

将所述每个待处理人脸图像对应的仿射矩阵和所述每个待处理人脸图像相乘，得到所述对齐的至少一个人脸图像。

在一些可能的实现方式中，所述利用所述每个待处理人脸图像对应的逆仿射矩阵分别对所述每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到所述每个待处理人脸图像对应的目标人脸图像，包括：

将所述每个待处理人脸图像对应的逆仿射矩阵和所述每个待处理人脸图像对应的增强人脸图像进行相乘，得到所述每个待处理人脸图像对应的目标人脸图像。

第二方面，提供了一种图像处理装置，包括：

获取模块，用于获取待处理图像中的至少一个待处理人脸图像；

仿射变换模块，用于采用至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，每个待处理人脸图像对应的仿射矩阵是根据每个待处理人脸图像的人脸特征点和标准特征点确定的；

图像增强模块，用于将对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，至少一个增强人脸图像和至少一个待处理人脸图像一一对应；

逆仿射变换模块，用于采用每个待处理人脸图像对应的逆仿射矩阵分别对每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到每个待处理人脸图像对应的目标人脸图像，其中，每个待处理人脸图像对应的逆仿射矩阵为每个待处理人脸图像对应的仿射矩阵的逆矩阵；

替换模块，用于将待处理图像中的每个待处理人脸图像分别替换为每个待处理人脸图像对应的目标人脸图像，得到目标图像。

第三方面，提供了一种图像处理装置，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，处理器配置为经由执行可执行指令来执行上述图像处理方法。

第四方面，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述图像处理方法的步骤。

基于上述技术方案，首先确定待处理图像中的至少一个待处理人脸图像，在对该至少一个待处理人脸图像进行图像增强处理之前，先对该至少一个待处理人脸图像进行图像对齐处理，降低后续图像处理的复杂度，然后基于对齐的至少一个人脸图像进行图像增强处理，得到至少一个增强人脸图像，进一步对该至少一个增强人脸图像进行逆仿射变换，相当于将该至少一个增强人脸图像的坐标系变换为该待处理图像中对应的待处理人脸图像原来的坐标系，最后将变换后的至少一个增强人脸图像替换该待处理图像中的该至少一个待处理人脸图像，得到目标图像，实现图像增强或修复的目的。

附图说明

图1是本申请实施例提供的一种图像处理方法的示意性图。

图2是根据本申请实施例的MTCNN的示意性组成图。

图3是根据本申请实施例的生成对抗网络的示意性组成图。

图4是生成对抗网络的训练过程的示意性流程图。

图5是根据本申请实施例的图像处理方法对图像进行处理前后的对比图。

图6是根据本申请实施例提供的一种图像处理装置的示意性框图。

图7是根据本申请实施例提供的一种图像处理装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。针对本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，附图为本申请的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略特定细节中的一个或更多，或者可以采用其他的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本申请的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络、处理器装置或者微控制装置中现实这些功能实体。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能，也即使机器具有学习能力。

其中，机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门科学。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

人工智能结合云服务，也可以实现人工智能云服务，一般也被称作是AI即服务(AIas a Service，AIaaS)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。

大数据(Big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。随着云时代的来临，大数据也吸引了越来越多的关注，大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

本申请实施例提供了一种图像处理方法、图像处理装置和计算机可读存储介质。在实际应用中，图像处理装置中的各功能模块可以由设备(如终端设备、服务器或服务器集群)的硬件资源，如处理器等计算资源、通信资源(如用于支持实现光缆、蜂窝等各种方式通信)协同实现。

在以下实施例中，将从图像处理装置的角度进行描述，该图像处理装置可以为任意具有计算处理能力的设备。该图像处理装置例如可以集成在平板电脑、子机、及笔记本电脑等具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该图像处理装置为该终端或服务器。

应理解，本申请实施例可以应用于任意具有图像增强，图像修复，视频增强，视频修复需求的领域，例如，老照片修复、文物保护等等。

图1示出了根据本申请实施例的图像处理方法100的示意性流程图。

如图1所示，该方法100可以包括如下中的至少部分内容：

S101，获取待处理图像中的至少一个待处理人脸图像。

在本申请实施例中，该至少一个待处理人脸图像可以指待处理图像中待进行图像增强，或者，待进行图像修复的人脸图像。

可选地，在一些实施例中，该S101可以包括：

对待处理图像进行人脸检测，以及对检测到的人脸进行人脸筛选以确定该至少一个待处理人脸图像。

可选地，人脸检测包括人脸的定位和人脸特征点(或者说，关键点)检测，人脸的定位例如可以包括检测人脸框的位置坐标，人脸的个数等信息，人脸特征点检测可以指检测人脸的特征点信息。人脸的特征点例如可以包括但不限于眉毛、眼睛、鼻子、嘴巴、脸部轮廓等。

在本申请实施例中，图像处理装置可以采用深度学习的方法对人脸进行检测，具体的检测方法在此不作限定。例如，可以利用多任务卷积神经网络(Multi-taskconvolutional neural network，MTCNN)进行人脸检测。具体地，可以将待处理图像输入至MTCNN，通过该MTCNN输出待处理图像中的人脸框的位置坐标信息以及人脸特征点信息。

图2示出了MTCNN的一种典型结构。MTCNN可以采用候选框加分类器的思想，进行快速高效的人脸检测。如图2所示，MTCNN可以包括建议网络(Proposal Network，PNet)，精炼网络(Refine Net，RNet)，输出网络(Output Net，ONet)。这三个部分是相互独立并且相互级联的的三个网络结构。

PNet是一个人脸区域的区域建议网络，待处理图像输入至PNet之后，可以将该待处理图像划分为多个图像块(或者说，多个区域)，通过一个人脸分类器判断每个区域中是否存在人脸，同时使用边框回归和一个面部关键点的定位器来进行人脸区域的初步提议，该PNet可能输出很多张可能存在人脸的人脸区域(或称，人脸框)，在申请实施例中记为预判人脸区域，并将这些区域输入RNet进行进一步处理。

因为PNet的输出只是具有一定可信度的可能的人脸区域，在RNet中，将对输入进行细化选择，舍去大部分的错误输入，并再次使用边框回归和面部关键点定位器进行人脸区域的边框回归和关键点定位，最后输出较为可信的人脸区域，供ONet使用。

ONet的基本结构是一个较为复杂的卷积神经网络，ONet的效果与RNet的区别在于会通过更多的监督来识别面部的区域。具体地，在该网络中会再次进行人脸判别、人脸区域边框回归和人脸特征定位，最终输出人脸区域的位置坐标和人脸特征点信息。

应理解，以上三个网络的作用仅为示例，在实际应用中，也可以对该三个网络的分工进行调整，本申请并不限于此。

考虑到人脸检测可能存在人脸框过小导致无法有效恢复等问题，在本申请实施例中，可以对检测到的人脸进一步筛选，选出满足条件的人脸，只对满足条件的人脸做进一步处理，有利于降低后续的算法的处理难度。

在本申请实施例中，可以根据人脸检测输出的人脸框的尺寸和待处理图像的尺寸进行人脸筛选。例如根据人脸框的绝对尺寸和/或相对尺寸进行筛选。若人脸框满足预设条件，则保留该人脸框，该人脸框中的人脸图像即为本申请实施例中的待处理人脸图像，否则，删除预判的人脸框，即不对该人脸框中的人脸图像做进一步处理。

可选地，人脸框的绝对尺寸可以为人脸框的面积，例如人脸框的宽乘以高的值。

可选地，人脸框的相对尺寸可以为人脸框的最短边和待处理图像的最短边的比值，或者，人脸框的面积和待处理图像的面积的比值。

在一些实施例中，待处理图像的最短边可以指待处理图像的宽和高中的最小值，人脸框的最短边可以指人脸框的宽和高中的最小值。

在一些实施例中，在人脸框的绝对尺寸大于第一预设阈值，并且人脸框的相对尺寸大于第二预设阈值的情况下，保留该人脸框。

作为一个示例，所述第一预设阈值可以为10000像素，所述第二预设阈值可以为1/5。

S102，利用每个待处理人脸图像对应的仿射矩阵对每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像。

具体地，将每个待处理人脸图像对应的仿射矩阵和每个待处理人脸图像相乘，得到对齐的至少一个人脸图像。

在实际应用中，待处理图像中的人脸可以有不同的角度，在该S102中，通过对待处理图像中的待处理人脸进行仿射变换处理，将待处理图像中的待处理人脸对齐，从而能够降低后续图像增强处理的复杂度。

仿射变换(Affine Transformation或Affine Map)，又称仿射映射，是二维坐标到二维坐标之间的线性变换，且保持二维图形的平直性和平行性，即直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化。仿射变换例如包括但不限于旋转，平移、伸缩，翻转等。

在一些实施例中，每个待处理人脸图像对应的仿射矩阵是根据每个待处理人脸图像的人脸特征点和标准特征点确定的。

在一些实施例中，该标准特征点可以是利用已有人脸图像作为模板图像通过提取特征点获取的。例如，该已有人脸图像可以是该图像处理装置中存储的已有人脸图像，或者也可以是从公开的数据集中获取的人脸图像，本申请对于该模板图像的获取途径不作限定。

可选地，在一些实施例中，可以以标准特征点为参照或者以模板图像为参照，将该至少一个待处理人脸图像进行图像对齐。在其他实施例中，也可以以其中的一个待处理人脸图像为参照，将其他待处理人脸图像向该一个待处理人脸图像对齐。以下，以标准特征点为参照，或者，以模板图像为参照进行图像对齐为例进行说明，但本申请并不限于此。

具体地，图像处理装置可以提取每个待对齐的人脸图像的特征点，将每个待对齐的人脸图像的特征点和标准特征点进行匹配，得到最优匹配，再利用仿射变换优化两幅图像的特征点之间的对应关系，从而求得每个待对齐的人脸图像对应的仿射矩阵，进一步利用该每个待对齐的人脸图像所对应的仿射矩阵，将待对齐的人脸图像变换为与标准特征点对应的模板图像同样的空间布局，便于后续的图像融合、超分辨率放大、图像拼接等操作。

应理解，在本申请实施例中，以上采用仿射变换进行图像对齐的方式仅为示例，在其他替代实施例中，也可以采用其他方式进行图像对齐，例如进行透视变换等，本申请并不限于此。

S103，将对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像。

该至少一个增强人脸图像为该至少一个待处理人脸图像依次经过仿射变换和图像增强处理后得到的增强人脸图像，其中，每个增强人脸图像对应一个待处理人脸图像。

结合图3对生成对抗网络的工作原理做一说明。

生成对抗网络(Generative Adversarial Networks，GAN)是一种深度学习模型，包括生成模型(Generative Model，简称G)和判别模型D(Discriminative Model，简称D)，通过二者互相博弈学习产生相当好的输出。

具体地，生成模型是制作超分图像(或称，重构图像，即非原始图像)的模型，判别模型是检测图像是否为原始图像的模型。生成模型的目标是使判别模型判断不出生成模型生成的超分图像是否为非原始图像，判别模型则要尽可能的分辨出输入的图像是原始图像还是生成模型生成的非原始图像，通过生成模型和判别模型的参数不断的迭代更新，直到生成对抗网络满足收敛条件。

结合图4，对该生成对抗网络的训练过程进行说明。

S401，收集大量的人脸图像作为数据集，将收集到的人脸图像进行预处理，例如裁剪成设定尺寸的人脸图像。

S402，利用预处理后的人脸图像作为训练集，对该生成对抗网络进行训练，优化生成对抗网络的生成模型和判别模型的模型参数。

例如，通过生成模型对该人脸图像进行破坏处理，该破坏处理例如可以包括但不限于压缩、模糊、加噪声等等。进一步将破坏处理后的人脸图像输入至判决模型判断该人脸图像是否为原始图像。

S403，在该判决模型判断不出生成模型生成的人脸图像是否为非原始图像的情况下，训练结束，生成对抗网络的性能达到最优。此情况下说明基于生成模型的模型参数所生成的人脸图像足以以假乱真。

进一步地，可以利用测试人脸图像对该生成对抗网络进行测试。例如可以随机的给测试人脸图像加掩码，模拟真实人脸图像的缺损区域，将该有缺损的人脸图像输入到训练好的生成对抗网络中，通过S403中训练好的生成模型生成人脸图像，将生成的人脸图像的掩码区域替换到缺损的人脸图像的相应位置，得到修复完整的人脸图像。

在本申请实施例中，生成模型通过对大量的人脸图像进行学习，可以获得人脸的各个组成部分的大数据词典。因此，基于该生成模型对对齐的至少一个人脸图像进行图像增强处理，可以有效利用该人脸各个组成部分的大数据词典对该至少一个人脸图像中的缺失的关键点信息进行恢复和重建。例如，可以将对齐的至少一个人脸图像的人脸特征点与人脸的各个组成部分的大数据词典特征进行特征融合，得到至少一个增强人脸图像。

应理解，在其他实施例中，图像处理装置也可以通过其他图像增强处理算法对该对齐的至少一个人脸图像进行图像增强处理，本申请并不限于此。

S104，利用每个待处理人脸图像对应的逆仿射矩阵分别对每个待处理人脸图像对应的增强的人脸图像进行逆仿射变换，得到每个待处理人脸图像对应的目标人脸图像。

其中，每个待处理人脸图像对应的逆仿射矩阵为每个待处理人脸图像对应的仿射矩阵的逆矩阵。

具体地，图像处理装置可以将每个待处理人脸图像对应的逆仿射矩阵和所述每个待处理人脸图像对应的增强的人脸图像进行相乘，得到每个待处理人脸图像对应的目标人脸图像。

经过S104处理，目标人脸图像转换为与该待处理图像中原来的人脸图像的坐标系相同的人脸图像。

S105，将待处理图像中的每个待处理人脸图像分别替换为每个待处理人脸图像对应的目标人脸图像，得到目标图像。

经过S105之后，该目标图像中的每个待处理人脸图像都替换为增强的人脸图像，实现了图像增强或修复的目的。

图5示出了根据本申请实施例的图像处理方法的效果图。从图5可以看出，模糊的人脸图像经过前述步骤处理后的细节和对比度有明显的提升。

综上，在本申请实施例中，基于人脸检测算法确定待处理图像中的人脸框和人脸特征点，然后进行人脸筛选确定进一步处理的至少一个待处理人脸图像，在对该至少一个待处理人脸图像进行图像增强处理之前，首先对该至少一个待处理人脸图像进行图像对齐处理，然后基于对齐的至少一个人脸图像进行图像增强处理，得到增强人脸图像，进一步对增强人脸图像进行逆仿射变换将该增强人脸图像的空间布局变换为原来的空间布局，最后将变换后的增强人脸图像替换该待处理图像中的原来的人脸图像，得到目标图像，实现图像增强或修复的目的。

上文结合图1至图5，详细描述了本申请的方法实施例，下文结合图6至图7，详细描述本申请的装置实施例，应理解，装置实施例与方法实施例相互对应，类似的描述可以参照方法实施例。

图6是根据本申请实施例的一种图像处理装置500的示意性结构图，如图6所示，该图像处理装置500可以包括：

获取模块501，用于获取待处理图像中的至少一个待处理人脸图像；

仿射变换模块502，用于采用所述至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对所述每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，所述每个待处理人脸图像对应的仿射矩阵是根据所述每个待处理人脸图像的人脸特征点和标准特征点确定的；

图像增强模块503，用于将所述对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，所述至少一个增强人脸图像和所述至少一个待处理人脸图像一一对应；

逆仿射变换模块504，用于采用所述每个待处理人脸图像对应的逆仿射矩阵分别对所述每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到所述每个待处理人脸图像对应的目标人脸图像，其中，所述每个待处理人脸图像对应的逆仿射矩阵为所述每个待处理人脸图像对应的仿射矩阵的逆矩阵；

替换模块505，用于将所述待处理图像中的所述每个待处理人脸图像分别替换为所述每个待处理人脸图像对应的目标人脸图像，得到目标图像。

可选地，在一些实施例中，所述图像处理装置500还包括：

人脸检测模块，用于对所述待处理图像进行人脸检测，确定所述待处理图像中的至少一个预判人脸图像，以及所述至少一个预判人脸图像分别对应的人脸特征点；

确定模块，用于根据所述至少一个预判人脸图像对应的人脸框的尺寸，以及所述至少一个预判人脸图像对应的人脸框和所述待处理图像的相对尺寸，在所述至少一个预判人脸图像中确定所述至少一个待处理人脸图像。

可选地，在一些实施例中，所述每个待处理人脸图像对应的人脸框的面积大于第一预设阈值，并且所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸大于第二预设阈值。

可选地，在一些实施例中，所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸为所述每个待处理人脸图像对应的人脸框的最短边和所述待处理图像的最短边的比值。

可选地，在一些实施例中，所述标准特征点是利用已知人脸图像作为模板图像提取特征点获取的。

可选地，在一些实施例中，所述生成对抗网络是通过将原始图像作为目标图像，将对所述原始图像进行破坏处理后的图像作为输入图像输入至所述生成对抗网络进行训练，得到人脸的各个组成部分的大数据词典特征。

可选地，在一些实施例中，所述图像增强模块503具体用于：

将所述对齐的至少一个人脸图像的人脸特征点与所述人脸的各个组成部分的大数据词典特征进行特征融合，得到所述至少一个增强人脸图像。

可选地，在一些实施例中，所述仿射变换模块502具体用于：

将所述每个待处理人脸图像对应的仿射矩阵和所述每个待处理人脸图像相乘，得到所述对齐的所述至少一个待处理人脸图像。

可选地，在一些实施例中，所述逆仿射变换模块504具体用于：

将所述每个待处理人脸图像对应的逆仿射矩阵和所述每个待处理人脸图像对应的增强的人脸图像进行相乘，得到所述每个待处理人脸图像对应的目标人脸图像。

需要说明的是，本申请实施例中的图像处理装置500中各模块的功能可对应参考上述各方法实施例中图1至图5任意实施例的具体实现方式，这里不再赘述。

上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各个模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个模块对应的操作。

图像处理装置500例如可以集成在平板电脑、子机、及笔记本电脑等具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该图像处理装置500为该终端或服务器。

图7为本申请实施例提供的图像处理装置的又一示意性结构图，如图7所示，图像处理装置600可以包括：通信接口601，存储器602，处理器603和通信总线604。通信接口601，存储器602，处理器603通过通信总线604实现相互间的通信。通信接口601用于装置600与外部设备进行数据通信。存储器602可用于存储软件程序以及模块，处理器603通过运行存储在存储器602的软件程序以及模块，例如前述方法实施例中的相应操作的软件程序。

在一些实施例中，该处理器603可以调用存储在存储器602的软件程序以及模块执行如下操作：

获取待处理图像中的至少一个待处理人脸图像；

采用至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，每个待处理人脸图像对应的仿射矩阵是根据每个待处理人脸图像的人脸特征点和标准特征点确定的；

将对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，至少一个增强人脸图像和至少一个待处理人脸图像一一对应；

采用每个待处理人脸图像对应的逆仿射矩阵分别对每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到每个待处理人脸图像对应的目标人脸图像，其中，每个待处理人脸图像对应的逆仿射矩阵为每个待处理人脸图像对应的仿射矩阵的逆矩阵；

将待处理图像中的每个待处理人脸图像分别替换为每个待处理人脸图像对应的目标人脸图像，得到目标图像。

可选地，图像处理装置600例如可以集成在平板电脑、子机、及笔记本电脑等具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该图像处理装置600为该终端或服务器。

在一些实施例中，本申请还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的图像处理方法中的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像中的至少一个待处理人脸图像；

采用所述至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对所述每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，所述每个待处理人脸图像对应的仿射矩阵是根据所述每个待处理人脸图像的人脸特征点和标准特征点确定的；

将所述对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，所述至少一个增强人脸图像和所述至少一个待处理人脸图像一一对应；

采用所述每个待处理人脸图像对应的逆仿射矩阵分别对所述每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到所述每个待处理人脸图像对应的目标人脸图像，其中，所述每个待处理人脸图像对应的逆仿射矩阵为所述每个待处理人脸图像对应的仿射矩阵的逆矩阵；

将所述待处理图像中的所述每个待处理人脸图像分别替换为所述每个待处理人脸图像对应的目标人脸图像，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像中的至少一个待处理人脸图像，包括：

对所述待处理图像进行人脸检测，确定所述待处理图像中的至少一个预判人脸图像，以及所述至少一个预判人脸图像分别对应的人脸特征点；

根据所述至少一个预判人脸图像对应的人脸框的尺寸，以及所述至少一个预判人脸图像对应的人脸框和所述待处理图像的相对尺寸，在所述至少一个预判人脸图像中确定所述至少一个待处理人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述每个待处理人脸图像对应的人脸框的面积大于第一预设阈值，并且所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸大于第二预设阈值。

4.根据权利要求3所述的方法，其特征在于，所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸为所述每个待处理人脸图像对应的人脸框的最短边和所述待处理图像的最短边的比值。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述标准特征点是利用已知人脸图像作为模板图像提取特征点获取的。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述生成对抗网络是通过将原始图像作为目标图像，将对所述原始图像进行破坏处理后的图像作为输入图像输入至所述生成对抗网络进行训练，得到人脸的各个组成部分的大数据词典特征。

7.根据权利要求6所述的方法，其特征在于，所述将所述对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，包括：

将所述对齐的至少一个人脸图像的人脸特征点与所述人脸的各个组成部分的大数据词典特征进行特征融合，得到所述至少一个增强人脸图像。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取待处理图像中的至少一个待处理人脸图像；

仿射变换模块，用于采用所述至少一个待处理人脸图像中的每个待处理人脸图像对应的仿射矩阵对所述每个待处理人脸图像进行仿射变换，得到对齐的至少一个人脸图像，其中，所述每个待处理人脸图像对应的仿射矩阵是根据所述每个待处理人脸图像的人脸特征点和标准特征点确定的；

图像增强模块，用于将所述对齐的至少一个人脸图像输入至生成对抗网络进行图像增强处理，得到至少一个增强人脸图像，其中，所述至少一个增强人脸图像和所述至少一个待处理人脸图像一一对应；

逆仿射变换模块，用于采用所述每个待处理人脸图像对应的逆仿射矩阵分别对所述每个待处理人脸图像对应的增强人脸图像进行逆仿射变换，得到所述每个待处理人脸图像对应的目标人脸图像，其中，所述每个待处理人脸图像对应的逆仿射矩阵为所述每个待处理人脸图像对应的仿射矩阵的逆矩阵；

替换模块，用于将所述待处理图像中的所述每个待处理人脸图像分别替换为所述每个待处理人脸图像对应的目标人脸图像，得到目标图像。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

人脸检测模块，用于对所述待处理图像进行人脸检测，确定所述待处理图像中的至少一个预判人脸图像，以及所述至少一个预判人脸图像分别对应的人脸特征点；

确定模块，用于根据所述至少一个预判人脸图像对应的人脸框的尺寸，以及所述至少一个预判人脸图像对应的人脸框和所述待处理图像的相对尺寸，在所述至少一个预判人脸图像中确定所述至少一个待处理人脸图像。

10.根据权利要求9所述的装置，其特征在于，所述每个待处理人脸图像对应的人脸框的面积大于第一预设阈值，并且所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸大于第二预设阈值。

11.根据权利要求10所述的装置，其特征在于，所述至少一个待处理人脸图像对应的人脸框和所述待处理图像的相对尺寸为所述每个待处理人脸图像对应的人脸框的最短边和所述待处理图像的最短边的比值。

12.根据权利要求8-11中任一项所述的装置，其特征在于，所述生成对抗网络是通过将原始图像作为目标图像，将对所述原始图像进行破坏处理后的图像作为输入图像输入至所述生成对抗网络进行训练，得到人脸的各个组成部分的大数据词典特征。

13.根据权利要求12所述的装置，其特征在于，所述图像增强模块具体用于：

将所述对齐的至少一个人脸图像的人脸特征点与所述人脸的各个组成部分的大数据词典特征进行特征融合，得到所述至少一个增强人脸图像。

14.一种图像处理装置，其特征在于，包括：处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至7中任一项所述的方法。

Images