CN108491775B - 一种图像修正方法及移动终端 - Google Patents

Abstract

本发明提供一种图像修正方法及移动终端，该方法包括：获取通过所述移动终端的摄像头采集到的原始人脸图像；识别所述原始人脸图像中的人脸特征点；将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；将所述生成对抗网络模型的输出作为所述原始人脸图像的修正图像。本发明可以提高拍摄作品的显示效果。

Description

一种图像修正方法及移动终端

技术领域

本发明涉及通信技术领域，尤其涉及一种图像修正方法及移动终端。

背景技术

随着互联网时代的到来及社交网络的兴起，人们对展示及分享生活的需求进一步增强，移动终端的拍照功能也因此得到了越来越广泛的应用。例如：用户将通过移动终端的拍照功能拍摄得到的照片或视频分享至社交平台上，以展示及分享生活。

用户在自拍照片或自拍视频的过程中，眼睛通常直视屏幕以实时查看并调整自己的表情及动作，提高上镜显示效果。但现有移动终端的前置摄像头一般设置在移动终端的上方。可见，摄像头的取景位置与用户眼睛的直视位置不在同一直线上，因此，在最终呈现出来的照片或视频中，用户的眼睛没有直视前方，导致拍摄作品的显示效果较差。

发明内容

本发明实施例提供一种图像修正方法及移动终端，以解决现有技术中由于用户在拍摄过程中眼睛没有直视摄像头，导致拍摄作品的显示效果较差的问题。

第一方面，本发明实施例提供了一种图像修正方法，应用于移动终端，该方法包括：

获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别所述原始人脸图像中的人脸特征点；

将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像。

第二方面，本发明实施例还提供一种移动终端，该移动终端包括：

获取模块，用于获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别模块，用于识别所述原始人脸图像中的人脸特征点；

第一修正模块，用于将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

确定模块，用于将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像。

第三方面，本发明实施例还提供一种移动终端，该移动终端包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的图像修正方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的图像修正方法的步骤。

本发明实施例中，移动终端可以采用生成对抗网络模型对获取到的原始人脸图像中人眼瞳孔的朝向进行修正，从而可以提高拍摄作品的显示效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的图像修正方法的流程图；

图2是本发明实施例提供的图像修正的示意图；

图3是本发明一实施例提供的移动终端的结构图；

图4是本发明又一实施例提供的移动终端的结构图；

图5是本发明又一实施例提供的移动终端的结构图；

图6是本发明又一实施例提供的移动终端的结构图；

图7是本发明又一实施例提供的移动终端的结构图；

图8是本发明又一实施例提供的移动终端的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例中，图像修正方法可以应用于内置有生成对抗网络模型(Generative Adversarial Network，简称GAN)的移动终端。

本发明实施例中，GAN用于供移动终端的拍照应用程序调用，以对移动终端的摄像头采集到的原始人脸图像中人眼瞳孔的朝向进行修正，使得修正后的图像中人眼瞳孔的朝向正对移动终端的摄像头，从而实现即使用户看着移动终端的屏幕，屏幕显示的图像中用户的眼睛也直视自己的显示效果，提高拍摄作品的显示效果。

GAN是非监督式学习的一种方法，通过让两个神经网络，即生成网络和判别网络相互博弈的方式进行学习。若使用样本集对GAN进行训练，则GAN可以生成类似的新样本。

因此，可以理解的，本发明实施例中移动终端的GAN在对移动终端的摄像头采集到的原始人脸图像进行修正之前，已使用样本图像集预训练好。这样，当移动终端向GAN输入原始人脸图像后，GAN可以生成并输出以假乱真的图像。

在具体应用中，移动终端可以内置预训练好的GAN，或者，内置未预训练好的GAN，但在采用GAN对摄像头采集到的原始人脸图像进行修正之前，预先使用样本图像集，通过“生成对抗网络”算法及其衍生算法对该GAN进行训练，具体可根据实际需要决定，本发明实施例对此不作限定。

需要说明的是，用于训练GAN的样本图像集，包括多个人脸的朝向和/或人眼瞳孔的朝向各不相同的N个样本图像，例如：人脸的朝向和人眼瞳孔的朝向正对摄像头的样本图像；人脸的朝向和人眼瞳孔的朝向与摄像头之间的夹角均大于0度的样本图像；人脸的朝向与摄像头之间的夹角大于0度但人眼瞳孔的朝向正对摄像头的样本图像；以及人脸的朝向正对摄像头但人眼瞳孔的朝向与摄像头之间的夹角大于0度的样本图像。其中，N为大于或等于2的自然数。应理解的是，N值越大，GAN的训练显示效果越好，GAN生成的图像更逼真。此外，在使用过程中，GAN可以由云端进行训练，实现不定期的升级，从而不断提高拍摄作品的显示效果。这样，当移动终端向GAN输入原始人脸图像后，GAN可以生成并输出以假乱真的图像。

在具体应用中，GAN可以替换为由其衍生和扩展的模型，如渐进式发展生成对抗网络(Progressive growing of GANs，Pro GANs)，边界均衡GANs(Boundary EquilibriumGANs，BEGANs)等。这样，相比于GAN，Pro GANs和BEGANs可以提升训练的稳定性，同时架构简单，且可以生成更优质的图像，进一步提升拍摄作品的显示效果。

移动终端可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)、移动上网装置(Mobile Internet Device，MID)或可穿戴式设备(Wearable Device)等。

以下对本发明实施例的图像修正方法进行说明。

请参见图1，图1是本发明一实施例提供的图像修正方法的流程图，如图1所示，本实施例的图像修正方法包括以下步骤：

步骤101、获取通过所述移动终端的摄像头采集到的原始人脸图像。

本实施例中，移动终端的拍照应用程序预设有自动校正功能，用于采用GAN对人脸图像中的人眼瞳孔的朝向进行修正。

考虑到用户在某些应用场景中，不要求拍摄作品中人眼瞳孔的朝向正对摄像头，因此，可以在拍照应用程序的显示界面上设有用于开启或关闭自动校正功能的控件。这样，用户可以通过触控控件来实现自动校正功能的开启或关闭，从而可以提高图像修正的灵活度，提高用户体验。

当自动校正功能被开启时，移动终端内置的GAN用于对图像中人眼瞳孔的朝向进行修正。因此，移动终端的系统可以仅接收通过摄像头采集到的原始人脸图像，不接收摄像头采集到的不包括人脸的图像，从而可以节约移动终端的耗电。

步骤102、识别所述原始人脸图像中的人脸特征点。

本步骤中，人脸特征点包括但不仅限于人脸轮廓、五官位置、人眼瞳孔的朝向、人脸的朝向等。

本实施例中，移动终端可以内置深度学习模型。深度学习是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。可以实现用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。若使用已标注人脸特征点的样本集对深度学习模型进行训练，则深度学习模型可以对输入至其中的人脸图像中的人脸特征点进行识别。

因此，在该应用场景中，移动终端可以通过预训练好的深度学习模型，识别所述原始人脸图像中的人脸特征点。

具体地，移动终端可以内置预训练好的深度学习模型，或者内置未训练的深度学习模型，但在使用其对人脸特征点进行识别之前，使用已标注好人脸特征点的样本图像集对深度学习模型进行预训练。

当然，在其他应用场景中，移动终端也可以采用人脸识别等技术，识别所述原始人脸图像中的人脸特征点，本发明实施例对此不作限定。

步骤103、将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正。

本步骤中，移动终端将获取到的原始人脸图像，以及识别到的原始人脸图像中人脸特征点输入至GAN，并运行GAN，使得GAN对所述原始人脸图像中人眼瞳孔的朝向进行修正。进一步地，经GAN修正后的人眼瞳孔的朝向可以正对所述摄像头的图像。

为方便理解，请一并参阅图2。应理解的是，在图2中，未图示的摄像头在人眼中心的正前方。其中，a为待修正的原始人脸图像中人眼的状态，a中人眼的瞳孔位于人眼中心的右侧，说明原始图像中人眼瞳孔的朝向与摄像头之间的夹角大于0度，未正对摄像头；b为经生成网络对抗模型修正后的图像中人眼的状态，b中瞳孔位于人眼中心，说明修正后的图像中人眼瞳孔的朝向正对摄像头。

可以理解的，若移动终端获取到的原始人脸图像中存在人眼瞳孔的朝向正对摄像头的人脸，则生成对抗网络可以不对该人脸中人眼瞳孔的朝向进行处理，从而可以降低移动终端的运行负担。

步骤104、将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像。

需要说明的是，本发明并不对经GAN修正后的修正图像中的人眼瞳孔的朝向进行限定，在所述修正图像中，人眼瞳孔的朝向可以正对所述摄像头，也可以不正对所述摄像头，修正图像中的人眼瞳孔的朝向可以根据实际需要决定，本发明实施例对此不作限定。

本步骤中，移动终端可以直接将GAN的输出图像作为原始人脸图像的修正图像，并将该修正图像显示在屏幕上。

需要说明的是，本实施例的图像修正方法可以应用于图像采集应用场景，如拍照、录像、视频通话和监督等应用场景。

以在所述修正图像中，人眼瞳孔的朝向可以正对所述摄像头为例进行说明。

对于拍照和录像的应用场景，应用本发明实施例的图像修正方法对摄像头采集的原始人脸图像中人眼瞳孔的朝向进行修正后，移动终端最终输出的拍摄作品中，人眼瞳孔的朝向正对摄像头，对于观看拍摄作品的用户而言，拍摄作品中人的视线是朝向自己观看的，从而可以提高拍摄作品的显示效果。

尤其对于电视台新闻节目等专业场景，即使录像过程中主持人直视提词器，而非摄像头，通过本发明实施例的图像修正方法对摄像头采集的原始人脸图像中人眼瞳孔的朝向进行修正后，最终呈现出来的视频录像中，主持人的人眼瞳孔朝向正对摄像头，凸显专业性。

对于视频通话的应用场景，应用本发明实施例的图像修正方法对摄像头采集的原始人脸图像中人眼瞳孔的朝向进行修正后，视频通话两端的用户的眼睛均直视摄像头，从而可以实现视觉上的对等交互，提高用户的视觉感受。

对于监督应用场景，应用本发明实施例的图像修正方法对摄像头采集的原始人脸图像中人眼瞳孔的朝向进行修正后，监督视频中用户的眼睛直视摄像头，从而可以提高人脸辨识的成功率。

本实施例的图像修正方法，移动终端可以采用GAN对获取到的原始人脸图像中人眼瞳孔的朝向进行修正，从而可以提高拍摄作品的显示效果。

可选的，所述运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正的步骤，包括：

基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头；

对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像；

对所述正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，生成第二子图像；

获取所述第一子图像和所述第二子图像的第一叠加图像。

本步骤中，GAN接收到所述原始人脸图像和所述人脸特征点输入后，可以基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头。

在本实施方式中，图像修正的目的在于修正原始人脸图像中人眼瞳孔的朝向，使得人眼瞳孔的朝向正对摄像头。因此，可以理解的，GAN生成的待输出的图像中，人眼瞳孔的朝向与正脸图像中人眼瞳孔的朝向保持一致。

为达到上述目的，本步骤中，GAN可以对原始人脸图像中人眼区域进行衰减和模糊处理，对原始图像中人眼区域之外的其它区域不进行处理，保持原状态，得到第一子图像；对正脸图像中人眼区域不进行处理，保持原状态，对正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，得到第二子图像。其中，衰减系数可以通过实验进行调整，例如：衰减系数为0.8，本发明实施例对此不作限定。

这样，生成对抗网络对第一子图像和第二子图像进行叠加后，可以得到脸部不变、人眼瞳孔的朝向正对摄像头的第一叠加图像。

本发明实施例中，考虑到摄像头采集到的原始人脸图像数量大，为降低生成对抗网络的运行负担，GAN可以只针对原始人脸图像中目标人脸的人眼瞳孔的朝向进行修正，并放弃除目标人脸之外的其他人脸的人眼瞳孔的朝向进行修正。其中，目标人脸可以是原始人脸图像中与摄像头的夹角小于预设角度的人脸，也可以是原始人脸图像中与摄像头的距离小于预设值的人脸，但不仅限于此。具体说明如下。

可选的，所述基于所述原始人脸图像和所述人脸特征点，生成正脸图像的步骤之后，所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤之前，还包括：

基于所述人脸特征点，确定所述原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸；

所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤，包括：

若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则对所述第一目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

本步骤中，GAN可以基于人脸特征点，如人脸轮廓、五官位置等，计算原始人脸图像中各个人脸与摄像头之间的夹角，即摄像头采集用户图像时，用户的脸部与摄像头之间的夹角。进而可以上述计算结果，确定原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸，其中，预设角度可以根据实际需要设定，如30度或15度，本发明对此不作限定。

在该应用场景中，若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则GAN可以对原始人脸图像中第一目标人脸的人眼区域进行衰减和模糊处理，并放弃对原始人脸图像中除第一目标人脸之外的其他人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

相应地，GAN可以对正脸图像中对应于第一目标人脸的人脸中除人眼区域之外的其它区域进行衰减和模糊处理，并删除其他人脸，生成第二子图像。

从而相比于对原始图像中每个人脸都进行人眼瞳孔的修正，本步骤可以降低生成对抗网络的运行负担，进而降低移动终端的耗电量和运行内存的占用率。

可选的，所述基于所述原始人脸图像和所述人脸特征点，生成正脸图像的步骤之后，所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤之前，还包括：

若识别到所述原始人脸图像中人脸的数量大于预设数量，则确定所述原始人脸图像中是否存在与所述摄像头的距离小于预设值的第二目标人脸；

所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤，包括：

若所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则对所述第二目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

本步骤中，GAN可以基于人脸轮廓的数量识别所述原始人脸图像中人脸的数量，也可以基于人脸轮廓的尺寸大小与图像的尺寸大小的比值，确定原始人脸图像中各个人脸与摄像头的距离。

在该应用场景中，若识别到所述原始人脸图像中人脸的数量大于预设数量，且所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则GAN可以对原始人脸图像中第二目标人脸的人眼区域进行衰减和模糊处理，并放弃对原始人脸图像中除第二目标人脸之外的其他人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

相应地，GAN可以对正脸图像中对应于第二目标人脸的人脸中除人眼区域之外的其它区域进行衰减和模糊处理，并删除其他人脸，生成第二子图像。

从而相比于对原始图像中每个人脸都进行人眼瞳孔的修正，本步骤可以降低生成对抗网络的运行负担，进而降低移动终端的耗电量和运行内存的占用率。

可选的，所述运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正的步骤之后，还包括：

运行所述生成对抗网络训练模型，对所述人脸图像中的人脸轮廓进行修正。

可选的，所述运行所述生成对抗网络训练模型，对所述人脸图像中的人脸轮廓进行修正的步骤，具体可以表现为：

基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同；

获取所述侧脸图像和所述原始人脸图像的第二叠加图像，在所述第二叠加图像中，人脸轮廓通过对所述侧脸图像的人脸轮廓和所述原始人脸图像的人脸轮廓进行加权平均运算得到。

本步骤中，GAN可以基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同。具体地，GAN可以基于原始人脸图像生成正脸图像，再基于正脸图像生成侧脸图像，但不仅限于此。

在获取侧脸图像后，GAN可以将原始人脸图像和侧脸图像中人脸轮廓的关键点做加权平均运算，从而合并原始人脸图像和侧脸图像中的人脸轮廓，得到所述侧脸图像和所述原始人脸图像的第二叠加图像。其中，原始人脸图像和侧脸图像的权值可以根据实际需要设定，如原始人脸图像的权值为0.2，侧脸图像的权值为0.8，本发明对此不作限定。

当然，在其他实施例中，移动终端也可以通过其他方式，对所述人脸图像中的人脸轮廓进行修正，具体可根据实际需要决定，本发明实施例对此不作限定。

这样，本发明可以在修正人眼瞳孔朝向的基础上，修正面部失真现象，进一步提高拍摄作品的显示效果。

参见图3，图3是本发明一实施例提供的移动终端的结构图，如图3所示，移动终端300包括：第一获取模块301、识别模块302、第一修正模块303和确定模块304。

其中，第一获取模块301，用于获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别模块302，用于识别所述原始人脸图像中的人脸特征点；

第一修正模块303，用于将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

确定模块304，用于将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像。

在图3的基础上，以下对移动终端300还包括的模块、各模块包括的单元或/和个单元包括的单元进行说明。

可选的，如图4所示，第一修正模块303，用于运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正时，具体包括：

第一生成单元3031，用于基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头；

第二生成单元3032，用于对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像；

第三生成单元3033，用于对所述正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，生成第二子图像；

获取单元3034，用于获取所述第一子图像和所述第二子图像的第一叠加图像。

可选的，如图5所示，第一修正模块303，还包括：

第一确定单元3035，用于基于所述人脸特征点，确定所述原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸；

第二生成单元3032，具体用于：

若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则对所述第一目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

可选的，如图6所示，第一修正模块303，还包括：

第二确定单元3036，用于若识别到所述原始人脸图像中人脸的数量大于预设数量，则确定所述原始人脸图像中是否存在与所述摄像头的距离小于预设值的第二目标人脸；

第二生成单元3032，具体用于：

若所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则对所述第二目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

可选的，如图7所示，移动终端300还包括：

生成模块305，用于基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同；

第二获取模块306，用于获取所述侧脸图像和所述原始人脸图像的第二叠加图像，在所述第二叠加图像中，人脸轮廓通过对所述侧脸图像的人脸轮廓和所述原始人脸图像的人脸轮廓进行加权平均运算得到。

移动终端300能够实现本发明方法实施例中的各个过程，以及达到相同的有益效果，为避免重复，这里不再赘述。

请参考图8，图8是本发明又一实施例提供的移动终端的结构图，该移动终端可以为实现本发明各个实施例的一种移动终端的硬件结构示意图。如图8所示，移动终端800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器810、以及电源811等部件。本领域技术人员可以理解，图8中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器810，用于：

获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别所述原始人脸图像中的人脸特征点；

将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像。

可选的，处理器810，还用于：

基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头；

对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像；

对所述正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，生成第二子图像；

获取所述第一子图像和所述第二子图像的第一叠加图像。

可选的，处理器810，还用于：

基于所述人脸特征点，确定所述原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸；

若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则对所述第一目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

可选的，处理器810，还用于：

若识别到所述原始人脸图像中人脸的数量大于预设数量，则确定所述原始人脸图像中是否存在与所述摄像头的距离小于预设值的第二目标人脸；

若所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则对所述第二目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

可选的，处理器810，还用于：

基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同；

获取所述侧脸图像和所述原始人脸图像的第二叠加图像，在所述第二叠加图像中，人脸轮廓通过对所述侧脸图像的人脸轮廓和所述原始人脸图像的人脸轮廓进行加权平均运算得到。

需要说明的是，本实施例中上述移动终端800可以实现本发明实施例中方法实施例中的各个过程，以及达到相同的有益效果，为避免重复，此处不再赘述。

应理解的是，本发明实施例中，射频单元801可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器810处理；另外，将上行的数据发送给基站。通常，射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元801还可以通过无线通信系统与网络和其他设备通信。

移动终端通过网络模块802为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元803还可以提供与移动终端800执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。

输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。

移动终端800还包括至少一种传感器805，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度，接近传感器可在移动终端800移动到耳边时，关闭显示面板8061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。

用户输入单元807可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器810，接收处理器810发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071，用户输入单元807还可以包括其他输入设备8072。具体地，其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板8071可覆盖在显示面板8061上，当触控面板8071检测到在其上或附近的触摸操作后，传送给处理器810以确定触摸事件的类型，随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中，触控面板8071与显示面板8061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板8071与显示面板8061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元808为外部装置与移动终端800连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端800内的一个或多个元件或者可以用于在移动终端800和外部装置之间传输数据。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器809可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器810是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器809内的软件程序和/或模块，以及调用存储在存储器809内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器810可包括一个或多个处理单元；优选的，处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

移动终端800还可以包括给各个部件供电的电源811(比如电池)，优选的，电源811可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，移动终端800包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种移动终端，包括处理器810，存储器809，存储在存储器809上并可在所述处理器810上运行的计算机程序，该计算机程序被处理器810执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像修正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种图像修正方法，应用于移动终端，其特征在于，包括：

获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别所述原始人脸图像中的人脸特征点；

将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像；

所述运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正的步骤，包括：

基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头；

对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像；

对所述正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，生成第二子图像；

获取所述第一子图像和所述第二子图像的第一叠加图像。

2.根据权利要求1所述的图像修正方法，其特征在于，所述基于所述原始人脸图像和所述人脸特征点，生成正脸图像的步骤之后，所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤之前，还包括：

基于所述人脸特征点，确定所述原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸；

所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤，包括：

若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则对所述第一目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

3.根据权利要求1所述的图像修正方法，其特征在于，所述基于所述原始人脸图像和所述人脸特征点，生成正脸图像的步骤之后，所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤之前，还包括：

若识别到所述原始人脸图像中人脸的数量大于预设数量，则确定所述原始人脸图像中是否存在与所述摄像头的距离小于预设值的第二目标人脸；

所述对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像的步骤，包括：

若所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则对所述第二目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

4.根据权利要求1所述的图像修正方法，其特征在于，所述运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正的步骤之后，还包括：

基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同；

获取所述侧脸图像和所述原始人脸图像的第二叠加图像，在所述第二叠加图像中，人脸轮廓通过对所述侧脸图像的人脸轮廓和所述原始人脸图像的人脸轮廓进行加权平均运算得到。

5.一种移动终端，其特征在于，包括：

第一获取模块，用于获取通过所述移动终端的摄像头采集到的原始人脸图像；

识别模块，用于识别所述原始人脸图像中的人脸特征点；

第一修正模块，用于将所述原始人脸图像及所述人脸特征点作为生成对抗网络模型的输入，并运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正；

确定模块，用于将所述生成对抗网络模型的输出图像作为所述原始人脸图像的修正图像；

所述第一修正模块，用于运行所述生成对抗网络模型，对所述原始人脸图像中人眼瞳孔的朝向进行修正时，具体包括：

第一生成单元，用于基于所述原始人脸图像和所述人脸特征点，生成正脸图像，在所述正脸图像中，人脸的朝向和人眼瞳孔的朝向正对所述摄像头；

第二生成单元，用于对所述原始人脸图像中人眼区域进行衰减和模糊处理，生成第一子图像；

第三生成单元，用于对所述正脸图像中除人眼区域之外的其它区域进行衰减和模糊处理，生成第二子图像；

获取单元，用于获取所述第一子图像和所述第二子图像的第一叠加图像。

6.根据权利要求5所述的移动终端，其特征在于，所述第一修正模块，还包括：

第一确定单元，用于基于所述人脸特征点，确定所述原始人脸图像中是否存在与所述摄像头的夹角小于预设角度的第一目标人脸；

所述第二生成单元，具体用于：

若所述原始人脸图像中存在与所述摄像头的夹角小于预设角度的第一目标人脸，则对所述第一目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

7.根据权利要求5所述的移动终端，其特征在于，所述第一修正模块，还包括：

第二确定单元，用于若识别到所述原始人脸图像中人脸的数量大于预设数量，则确定所述原始人脸图像中是否存在与所述摄像头的距离小于预设值的第二目标人脸；

所述第二生成单元，具体用于：

若所述原始人脸图像中存在与所述摄像头的距离小于预设值的第二目标人脸，则对所述第二目标人脸的人眼区域进行衰减和模糊处理，生成第一子图像。

8.根据权利要求5所述的移动终端，其特征在于，所述移动终端，还包括：

生成模块，用于基于所述原始人脸图像和所述人脸特征点，生成侧脸图像，在所述侧脸图像中，人脸的朝向与所述原始人脸图像中人脸的朝向相同；

第二获取模块，用于获取所述侧脸图像和所述原始人脸图像的第二叠加图像，在所述第二叠加图像中，人脸轮廓通过对所述侧脸图像的人脸轮廓和所述原始人脸图像的人脸轮廓进行加权平均运算得到。

9.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像修正方法的步骤。

Images