CN104917963A - 一种图像处理方法及终端 - Google Patents

Abstract

本发明实施例公开一种图像处理方法及终端，其中方法包括如下步骤：获取针对当前区域所采集的第一图像和第二图像；分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。采用本发明，可以保证图像中人像的清晰度以及所输出的人物图像的质量，进而提升对人物图像处理的稳定性。

Description

一种图像处理方法及终端

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法及终端。

背景技术

随着计算机技术不断的开发和完善，手机和平板电脑等终端已经成为了人们生活中不可或缺的一个部分，用户在使用终端进行拍照的过程中有时需要对人物进行拍照(例如：自拍、对亲朋好友进行拍照等)，由于拍照图像的清晰度容易受到终端摄像头的质量和分辨率等自身的影响，还会受到环境中的影子、透明、反光、纹理缺失、高度重复纹理等物体介质的影响，因此往往无法很好的拍出清晰度较高的人物图像，影响了图像中人像的清晰度以及所输出的人物图像的质量，进而降低了对人物图像处理的稳定性。

发明内容

本发明实施例提供一种图像处理方法及终端，可以保证图像中人像的清晰度以及所输出的人物图像的质量，进而提升对人物图像处理的稳定性。

本发明实施例提供了一种图像处理方法，可包括：

获取针对当前区域所采集的第一图像和第二图像；

分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。

相应地，本发明实施例还提供了一种终端，可包括：

第一图像获取单元，用于获取针对当前区域所采集的第一图像和第二图像；

集合获取单元，用于分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

图像配准处理单元，用于以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

第一图像生成单元，用于将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种图像处理方法的流程示意图；

图2是本发明实施例提供的另一种图像处理方法的流程示意图；

图3是本发明实施例提供的一种终端的结构示意图；

图4是本发明实施例提供的另一种终端的结构示意图；

图5是本发明实施例提供的一种第一图像获取单元的结构示意图；

图6是本发明实施例提供的另一种第一图像获取单元的结构示意图；

图7是本发明实施例提供的又一种第一图像获取单元的结构示意图；

图8是本发明实施例提供的又一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的图像处理方法可以应用于对终端摄像头拍摄的人物图像进行图像清晰度处理的场景，例如：终端获取针对当前区域所采集的第一图像和第二图像；所述终端分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；所述终端以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；所述终端将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像的场景等。实现了对获取到的人物图像进行清晰度提升的处理过程，通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性。

本发明实施例涉及的终端可以包括：计算机、平板电脑、智能手机、笔记本电脑、掌上电脑以及移动互联网设备(MID)等具备拍摄图像功能的终端设备。

下面将结合附图1和附图2，对本发明实施例提供的图像处理方法进行详细介绍。

请参见图1，为本发明实施例提供了一种图像处理方法的流程示意图。如图1所示，本发明实施例的所述方法可以包括以下步骤S101-步骤S104。

S101，获取针对当前区域所采集的第一图像和第二图像；

具体的，终端获取针对当前区域所采集的第一图像和第二图像，可以理解的是，所述第一图像和所述第二图像中都包含有同一个人物，具体可以通过以下三种方式对第一图像和第二图像进行获取：

在本发明实施例的第一种实施方式中，所述终端可以获取终端摄像头针对当前区域连续采集的至少两张图像，所述终端进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，所述终端中预置有间隔时间，当检测到用户对当前区域点击所述终端的拍照按钮时，可以触发所述终端按照所述间隔时间连续采集至少两张图像。

在本发明实施例的第二种实施方式中，所述终端获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像，所述终端进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，当检测到用户对当前区域点击所述终端的拍照按钮时，可以触发所述终端的至少两个摄像头中每个摄像头按摄像头的排列顺序分别获取一张图像，所述终端可以获取所述每个摄像头采集的图像。

在本发明实施例的第三种实施方式中，所述终端可以获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像，所述终端进一步可以识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。可以理解的是，所述图像数据库可以是存储与所述终端中的本地图像数据库，也可以是存储于服务器中的远程图像数据库；所述人脸标识可以为所述终端采用人脸识别技术识别出的人脸模型，并根据所述人脸模型在所述图像数据库中进行匹配，进而获取到包括该人脸模型的第二图像，也可以是用户通过所述终端预先为图像数据库中的各个图像中的人脸对应设置的编码，通过所述终端识别出第一图像中的人脸，并查找该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找，又或者是，用户通过所述终端预先为图像数据库中的各个图像中的人脸对应设置的编码，并通过用户自行识别第一图像中的人脸，在所述终端提供的输入框中输入预先设置的该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找。若所查找的第二图像的数量较多时，可以随机获取预设数量的第二图像，也可以采用图像质量评价算法对第二图像进行排序筛选等。

S102，分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

具体的，所述终端可以采用局部二值特征(Local Binary Feature，LBF)的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。需要说明的是，特征点集合中的每个特征点均对应人脸区域中的指定位置，例如：眼角、嘴角等。

S103，以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

具体的，所述终端可以以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理。所述预设配准算法可以为一致性点漂移(Coherent Point Drift，CPD)算法、对数极坐标变换(Log-Polar Transform，LPT)算法或随机抽样一致性算法(Random Sample Consensus，RANSAC)算法等，通过识别人脸区域中的特征点集合，并采用预设配准算法进行非刚性配准处理，可以避免在配准过程中受到环境中的影子、透明、反光、纹理缺失、高度重复纹理等物体介质的影响，保证后续对图像进行处理的质量，同时可以保证对图像进行处理的稳定性。

S104，将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像；

具体的，所述终端采用超分辨率重建的方式将所述第一图像和配准处理后的第二图像合成一张清晰度更高的第三图像，可选的，可以在不改变图像的像素点个数的情况下仅对图像的人脸区域的清晰度进行改善，也可以通过对图像中的非人脸区域进行数字放大(例如：双线性插值、双立方样条插值等)，以增加图像的像素点个数(即提高图像的分辨率)。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性。

请参见图2，为本发明实施例提供了另一种图像处理方法的流程示意图。如图2所示，本发明实施例的所述方法可以包括以下步骤S201-步骤S206。

S201，获取针对当前区域所采集的第一图像和第二图像；

具体的，终端获取针对当前区域所采集的第一图像和第二图像，可以理解的是，所述第一图像和所述第二图像中都包含有同一个人物，具体可以通过以下三种方式对第一图像和第二图像进行获取：

在本发明实施例的第一种实施方式中，所述终端可以获取终端摄像头针对当前区域连续采集的至少两张图像，所述终端进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，所述终端中预置有间隔时间，当检测到用户对当前区域点击所述终端的拍照按钮时，可以触发所述终端按照所述间隔时间连续采集至少两张图像。

在本发明实施例的第二种实施方式中，所述终端获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像，所述终端进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，当检测到用户对当前区域点击所述终端的拍照按钮时，可以触发所述终端的至少两个摄像头中每个摄像头按摄像头的排列顺序分别获取一张图像，所述终端可以获取所述每个摄像头采集的图像。

在本发明实施例的第三种实施方式中，所述终端可以获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像，所述终端进一步可以识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。可以理解的是，所述图像数据库可以是存储与所述终端中的本地图像数据库，也可以是存储于服务器中的远程图像数据库；所述人脸标识可以为所述终端采用人脸识别技术识别出的人脸模型，并根据所述人脸模型在所述图像数据库中进行匹配，进而获取到包括该人脸模型的第二图像，也可以是用户通过所述终端预先为图像数据库中的各个图像中的人脸对应设置的编码，通过所述终端识别出第一图像中的人脸，并查找该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找，又或者是，用户通过所述终端预先为图像数据库中的各个图像中的人脸对应设置的编码，并通过用户自行识别第一图像中的人脸，在所述终端提供的输入框中输入预先设置的该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找。若所查找的第二图像的数量较多时，可以随机获取预设数量的第二图像，也可以采用图像质量评价算法对第二图像进行排序筛选等。

需要说明的是，由于在第一种实施方式中以及在第二种实施方式中均是采用终端摄像头对第一图像和第二图像进行采集，因此需要进一步确定各个图像中属于同一个人的人脸区域，若所述终端采用第一种实施方式或第二种实施方式，则转入执行步骤S202；若所述终端采用第三种实施方式，则转入执行步骤S203。

S202，采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域；

具体的，所述终端可以采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域，所述图像空间位置信息表示分别处于所述第一图像和所述第二图像上相同的空间位置坐标，所述图像区域面积信息表示基于所述图像空间位置信息，在所述第一图像和所述第二图像上人脸区域的面积大小，通过结合图像空间位置信息以及图像区域面积信息，可以准确的判断出属于同一个人物的人脸区域，进而可以提高后续对图像进行处理的效率。

S203，分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

具体的，所述终端可以采用LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。需要说明的是，特征点集合中的每个特征点均对应人脸区域中的指定位置，例如：眼角、嘴角等。

S204，以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

具体的，所述终端可以以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理。所述预设配准算法可以为CPD算法、LPT算法或RANSAC算法等，通过识别人脸区域中的特征点集合，并采用预设配准算法进行非刚性配准处理，可以避免在配准过程中受到环境中的影子、透明、反光、纹理缺失、高度重复纹理等物体介质的影响，保证后续对图像进行处理的质量，同时可以保证对图像进行处理的稳定性。

S205，将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像；

具体的，所述终端采用超分辨率重建的方式将所述第一图像和配准处理后的第二图像合成一张清晰度更高的第三图像，可选的，可以在不改变图像的像素点个数的情况下仅对图像的人脸区域的清晰度进行改善，也可以通过对图像中的非人脸区域进行数字放大(例如：双线性插值、双立方样条插值等)，以增加图像的像素点个数(即提高图像的分辨率)。

S206，对所述第三图像对应的二值图像进行高斯模糊处理，并在处理后生成可输出图像；

具体的，本发明实施例重点对图像中的人脸区域的清晰度进行改善，因此为了避免清晰度过渡不连续的情况发生，所述终端可以进一步对所述第三图像对应的二值图像进行高斯模糊处理，进而生成可输出图像，所述可输出图像表示为可以在所述终端的显示屏中进行输出显示的图像，处理后的图像清晰度过渡平顺，图像显示更为自然，提升了用户的视觉效果。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性；通过结合图像空间位置信息以及图像区域面积信息，可以准确的判断出属于同一个人物的人脸区域，进而可以提高后续对图像进行处理的效率；通过对图像进行高斯模糊处理，使得处理后的图像清晰度过渡平顺，图像显示更为自然，提升了用户的视觉效果。

下面将结合附图3-附图7，对本发明实施例提供的终端进行详细介绍。需要说明的是，附图3-附图7所示的终端，用于执行本发明图1和图2所示实施例的方法，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明图1和图2所示的实施例。

请参见图3，为本发明实施例提供了一种终端的结构示意图。如图3所示，本发明实施例的所述终端1可以包括：第一图像获取单元11、集合获取单元12、图像配准处理单元13和第一图像生成单元14。

第一图像获取单元11，用于获取针对当前区域所采集的第一图像和第二图像；

具体实现中，所述第一图像获取单元11获取针对当前区域所采集的第一图像和第二图像，可以理解的是，所述第一图像和所述第二图像中都包含有同一个人物，具体可以通过以下三种方式对第一图像和第二图像进行获取：

在本发明实施例的第一种实施方式中，所述第一图像获取单元11可以获取终端摄像头针对当前区域连续采集的至少两张图像，所述第一图像获取单元11进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，所述终端1中预置有间隔时间，当检测到用户对当前区域点击所述终端1的拍照按钮时，可以触发所述第一图像获取单元11按照所述间隔时间连续采集至少两张图像。

在本发明实施例的第二种实施方式中，所述第一图像获取单元11获取处于终端1同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像，所述第一图像获取单元11进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，当检测到用户对当前区域点击所述终端1的拍照按钮时，可以触发所述终端1的至少两个摄像头中每个摄像头按摄像头的排列顺序分别获取一张图像，所述第一图像获取单元11可以获取所述每个摄像头采集的图像。

在本发明实施例的第三种实施方式中，所述第一图像获取单元11可以获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像，所述第一图像获取单元11进一步可以识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。可以理解的是，所述图像数据库可以是存储与所述终端1中的本地图像数据库，也可以是存储于服务器中的远程图像数据库；所述人脸标识可以为所述第一图像获取单元11采用人脸识别技术识别出的人脸模型，并根据所述人脸模型在所述图像数据库中进行匹配，进而获取到包括该人脸模型的第二图像，也可以是用户通过所述终端1预先为图像数据库中的各个图像中的人脸对应设置的编码，通过所述第一图像获取单元11识别出第一图像中的人脸，并查找该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找，又或者是，用户通过所述终端1预先为图像数据库中的各个图像中的人脸对应设置的编码，并通过用户自行识别第一图像中的人脸，在所述终端1提供的输入框中输入预先设置的该人脸对应的编码，所述第一图像获取单元11可以依据该编码在所述图像数据库进行对应的第二图像的查找。若所查找的第二图像的数量较多时，可以随机获取预设数量的第二图像，也可以采用图像质量评价算法对第二图像进行排序筛选等。

集合获取单元12，用于分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

具体实现中，所述集合获取单元12可以采用LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。需要说明的是，特征点集合中的每个特征点均对应人脸区域中的指定位置，例如：眼角、嘴角等。

图像配准处理单元13，用于以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

具体实现中，所述图像配准处理单元13可以以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理。所述预设配准算法可以为CPD算法、LPT算法或RANSAC算法等，通过识别人脸区域中的特征点集合，并采用预设配准算法进行非刚性配准处理，可以避免在配准过程中受到环境中的影子、透明、反光、纹理缺失、高度重复纹理等物体介质的影响，保证后续对图像进行处理的质量，同时可以保证对图像进行处理的稳定性。

第一图像生成单元14，用于将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像；

具体实现中，所述第一图像生成单元14采用超分辨率重建的方式将所述第一图像和配准处理后的第二图像合成一张清晰度更高的第三图像，可选的，可以在不改变图像的像素点个数的情况下仅对图像的人脸区域的清晰度进行改善，也可以通过对图像中的非人脸区域进行数字放大(例如：双线性插值、双立方样条插值等)，以增加图像的像素点个数(即提高图像的分辨率)。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性。

请参见图4，为本发明实施例提供了另一种终端的结构示意图。如图4所示，本发明实施例的所述终端1可以包括：第一图像获取单元11、集合获取单元12、图像配准处理单元13和第一图像生成单元14。

第一图像获取单元11，用于获取针对当前区域所采集的第一图像和第二图像；

具体实现中，所述第一图像获取单元11获取针对当前区域所采集的第一图像和第二图像，可以理解的是，所述第一图像和所述第二图像中都包含有同一个人物，具体可以通过以下三种方式对第一图像和第二图像进行获取：

在本发明实施例的第一种实施方式中，请一并参见图5，为本发明实施例提供了一种第一图像获取单元的结构示意图。如图5所示，所述第一图像获取单元11可以包括：

第二图像获取单元111，用于获取终端摄像头针对当前区域连续采集的至少两张图像；

第一图像确定单元112，用于按照时间顺序将最后一张所采集的图像作为第一图像，并将至少两张图像中除所述第一图像外的其余图像作为第二图像；

具体实现中，所述第二图像获取单元111可以获取终端摄像头针对当前区域连续采集的至少两张图像，所述第一图像确定单元112进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，所述终端1中预置有间隔时间，当检测到用户对当前区域点击所述终端1的拍照按钮时，可以触发所述第二图像获取单元111按照所述间隔时间连续采集至少两张图像。

在本发明实施例的第二种实施方式中，请一并参见图6，为本发明实施例提供了另一种第一图像获取单元的结构示意图。如图6所示，所述第一图像获取单元11可以包括：

第三图像获取单元113，用于获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像；

第二图像确定单元114，用于按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像；

具体实现中，所述第三图像获取单元113获取处于终端1同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像，所述第二图像确定单元114进一步可以按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。可以理解的是，当检测到用户对当前区域点击所述终端1的拍照按钮时，可以触发所述终端1的至少两个摄像头中每个摄像头按摄像头的排列顺序分别获取一张图像，所述第三图像获取单元113可以获取所述每个摄像头采集的图像。

在本发明实施例的第三种实施方式中，请一并参见图7，为本发明实施例提供了又一种第一图像获取单元的结构示意图。如图7所示，所述第一图像获取单元11可以包括：

第三图像确定单元115，用于获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像；

图像查找单元116，用于识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像；

具体实现中，所述第三图像确定单元115可以获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像，所述图像查找单元116进一步可以识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。可以理解的是，所述图像数据库可以是存储与所述终端1中的本地图像数据库，也可以是存储于服务器中的远程图像数据库；所述人脸标识可以为所述图像查找单元116采用人脸识别技术识别出的人脸模型，并根据所述人脸模型在所述图像数据库中进行匹配，进而获取到包括该人脸模型的第二图像，也可以是用户通过所述终端1预先为图像数据库中的各个图像中的人脸对应设置的编码，通过所述图像查找单元116识别出第一图像中的人脸，并查找该人脸对应的编码，可以依据该编码在所述图像数据库进行对应的第二图像的查找，又或者是，用户通过所述终端1预先为图像数据库中的各个图像中的人脸对应设置的编码，并通过用户自行识别第一图像中的人脸，在所述终端1提供的输入框中输入预先设置的该人脸对应的编码，所述图像查找单元116可以依据该编码在所述图像数据库进行对应的第二图像的查找。若所查找的第二图像的数量较多时，可以随机获取预设数量的第二图像，也可以采用图像质量评价算法对第二图像进行排序筛选等。

需要说明的是，由于在第一种实施方式中以及在第二种实施方式中均是采用终端摄像头对第一图像和第二图像进行采集，因此需要进一步确定各个图像中属于同一个人的人脸区域，若所述第一图像获取单元11采用第一种实施方式或第二种实施方式，则通知区域获取单元15执行采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域；若所述第一图像获取单元11采用第三种实施方式，则通知集合获取单元12执行分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。

区域获取单元15，用于采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域；

具体实现中，所述区域获取单元15可以采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域，所述图像空间位置信息表示分别处于所述第一图像和所述第二图像上相同的空间位置坐标，所述图像区域面积信息表示基于所述图像空间位置信息，在所述第一图像和所述第二图像上人脸区域的面积大小，通过结合图像空间位置信息以及图像区域面积信息，可以准确的判断出属于同一个人物的人脸区域，进而可以提高后续对图像进行处理的效率。

集合获取单元12，用于分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

具体实现中，所述集合获取单元12可以采用LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。需要说明的是，特征点集合中的每个特征点均对应人脸区域中的指定位置，例如：眼角、嘴角等。

图像配准处理单元13，用于以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

具体实现中，所述图像配准处理单元13可以以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理。所述预设配准算法可以为CPD算法、LPT算法或RANSAC算法等，通过识别人脸区域中的特征点集合，并采用预设配准算法进行非刚性配准处理，可以避免在配准过程中受到环境中的影子、透明、反光、纹理缺失、高度重复纹理等物体介质的影响，保证后续对图像进行处理的质量，同时可以保证对图像进行处理的稳定性。

第一图像生成单元14，用于将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像；

具体实现中，所述第一图像生成单元14采用超分辨率重建的方式将所述第一图像和配准处理后的第二图像合成一张清晰度更高的第三图像，可选的，可以在不改变图像的像素点个数的情况下仅对图像的人脸区域的清晰度进行改善，也可以通过对图像中的非人脸区域进行数字放大(例如：双线性插值、双立方样条插值等)，以增加图像的像素点个数(即提高图像的分辨率)。

第二图像生成单元16，用于对所述第三图像对应的二值图像进行高斯模糊处理，并在处理后生成可输出图像；

具体实现中，本发明实施例重点对图像中的人脸区域的清晰度进行改善，因此为了避免清晰度过渡不连续的情况发生，所述第二图像生成单元16可以进一步对所述第三图像对应的二值图像进行高斯模糊处理，进而生成可输出图像，所述可输出图像表示为可以在所述终端的显示屏中进行输出显示的图像，处理后的图像清晰度过渡平顺，图像显示更为自然，提升了用户的视觉效果。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性；通过结合图像空间位置信息以及图像区域面积信息，可以准确的判断出属于同一个人物的人脸区域，进而可以提高后续对图像进行处理的效率；通过对图像进行高斯模糊处理，使得处理后的图像清晰度过渡平顺，图像显示更为自然，提升了用户的视觉效果。

请参见图8，为本发明实施例提供了又一种终端的结构示意图。如图8所示，该终端包括：至少一个处理器801，例如CPU，输入设备803、输出设备804，存储器805，至少一个通信总线802。其中，通信总线802用于实现这些组件之间的连接通信。其中，存储器805可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器805可选的还可以是至少一个位于远离前述处理器801的存储装置。其中处理器801可以结合图3-图7所描述的终端，存储器805中存储一组程序代码，且处理器801调用存储器805中存储的程序代码，用于执行以下操作：

控制所述输入设备803获取针对当前区域所采集的第一图像和第二图像；

分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码执行控制所述输入设备803获取针对当前区域所采集的第一图像和第二图像时，具体执行以下操作：

控制所述输入设备803获取终端摄像头针对当前区域连续采集的至少两张图像；

按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码执行控制所述输入设备803获取针对当前区域所采集的第一图像和第二图像时，具体执行以下操作：

控制所述输入设备803获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像；

按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码执行控制所述输入设备803获取针对当前区域所采集的第一图像和第二图像时，具体执行以下操作：

控制所述输入设备803获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像；

识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码执行分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合之前，还执行以下操作：

采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码执行分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合时，具体执行以下操作：

采用LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。

在可选的实施例中，所述处理器801调用存储器805中存储的程序代码还执行以下操作：

对所述第三图像对应的二值图像进行高斯模糊处理，并在处理后生成可输出图像。

在本发明实施例中，通过获取针对当前区域所采集的第一图像和第二图像，分别获取第一图像中的人脸区域对应的特征点集合以及第二图像中的人脸区域对应的特征点集合，并以第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对第二图像中的人脸区域对应的特征点集合进行非刚性配准处理，再将第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像，实现了对获取到的人物图像进行清晰度提升的处理过程。通过获取人脸的特征点集合，并结合预设配准算法进行特征点的非刚性配准处理，可以避免在配准过程中受到环境中的物体介质的影响，保证了图像中人像的清晰度以及所输出的人物图像的质量，进而提升了对人物图像处理的稳定性；通过结合图像空间位置信息以及图像区域面积信息，可以准确的判断出属于同一个人物的人脸区域，进而可以提高后续对图像进行处理的效率；通过对图像进行高斯模糊处理，使得处理后的图像清晰度过渡平顺，图像显示更为自然，提升了用户的视觉效果。

本发明实施例中所述模块或单元，可以通过通用集成电路，例如CPU(Central Processing Unit，中央处理器)，或通过ASIC(Application SpecificIntegrated Circuit，专用集成电路)来实现。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本发明实施例终端中的模块或单元可以根据实际需要进行合并、划分和删减。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

获取针对当前区域所采集的第一图像和第二图像；

分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。

2.根据权利要求1所述的方法，其特征在于，所述获取针对当前区域所采集的第一图像和第二图像，包括：

获取终端摄像头针对当前区域连续采集的至少两张图像；

按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。

3.根据权利要求1所述的方法，其特征在于，所述获取针对当前区域所采集的第一图像和第二图像，包括：

获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像；

按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。

4.根据权利要求1所述的方法，其特征在于，所述获取针对当前区域所采集的第一图像和第二图像，包括：

获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像；

识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。

5.根据权利要求2或3所述的方法，其特征在于，所述分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合之前，还包括：

采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合，包括：

采用局部二值特征LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。

7.根据权利要求1所述的方法，其特征在于，还包括：

对所述第三图像对应的二值图像进行高斯模糊处理，并在处理后生成可输出图像。

8.一种终端，其特征在于，包括：

第一图像获取单元，用于获取针对当前区域所采集的第一图像和第二图像；

集合获取单元，用于分别获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合；

图像配准处理单元，用于以所述第一图像中的人脸区域对应的特征点集合为基准，采用预设配准算法对所述第二图像中的人脸区域对应的特征点集合进行非刚性配准处理；

第一图像生成单元，用于将所述第一图像和配准处理后的第二图像进行超分辨率重建以生成第三图像。

9.根据权利要求8所述的终端，其特征在于，所述第一图像获取单元包括：

第二图像获取单元，用于获取终端摄像头针对当前区域连续采集的至少两张图像；

第一图像确定单元，用于按照时间顺序将最后一张所采集的图像作为第一图像，并将至少两张图像中除所述第一图像外的其余图像作为第二图像。

10.根据权利要求8所述的终端，其特征在于，所述第一图像获取单元包括：

第三图像获取单元，用于获取处于终端同一侧的至少两个终端摄像头针对当前区域连续采集的至少两张图像；

第二图像确定单元，用于按照时间顺序将最后一张所采集的图像确定为第一图像，并将至少两张图像中除所述第一图像外的其余图像确定为第二图像。

11.根据权利要求8所述的终端，其特征在于，所述第一图像获取单元包括：

第三图像确定单元，用于获取终端摄像头针对当前区域所采集的一张图像，并将所采集的图像确定为第一图像；

图像查找单元，用于识别所述第一图像中的人脸区域对应的人脸标识，并在预先存储的图像数据库中查找包含有所述人脸标识的第二图像。

12.根据权利要求9或10所述的终端，其特征在于，还包括：

区域获取单元，用于采用图像空间位置信息以及图像区域面积信息，分别获取所述第一图像中的人脸区域和所述第二图像中的人脸区域。

13.根据权利要求8-11任一项所述的终端，其特征在于，所述集合获取单元具体用于采用LBF的方式获取所述第一图像中的人脸区域对应的特征点集合以及所述第二图像中的人脸区域对应的特征点集合。

14.根据权利要求8所述的终端，其特征在于，还包括：

第二图像生成单元，用于对所述第三图像对应的二值图像进行高斯模糊处理，并在处理后生成可输出图像。