CN111105370A - 图像处理方法、图像处理装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取参考图像，参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的面积选择修复模型，修复模型的处理量与人脸的面积呈正相关；获取人脸以得到人脸图像；采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质利用清晰度大于预设清晰度的参考图像对人脸图像进行处理，从而获得较为清晰的人脸图像。

Description

图像处理方法、图像处理装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

在拍摄图像时，由于相机运动、被摄物体运动等影响因素的存在，导致拍摄的人脸图像可能比较模糊。如何解决人脸图像模糊的问题成为本领域的技术难题。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法包括：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关；获取所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

本申请实施方式的图像处理装置包括第一获取模块、选择模块、第一处理模块和第二处理模块。所述第一获取模块用于获取参考图像，所述参考图像的清晰度大于预设清晰度。所述选择模块用于根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关。所述第一处理模块用于获取所述人脸以得到人脸图像。所述第二处理模块用于采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关；获取所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：获取参考图像，所述参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关；获取所述人脸以得到人脸图像；采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质利用清晰度大于预设清晰度的参考图像对人脸图像进行处理，从而获得较为清晰的人脸图像。另外，可以根据人脸的面积选择修复模型，其中，修复模型的处理量与人脸的面积呈正相关，由于面积比较大的人脸需要的纹理细节比较多，因此，可以采用处理量大的修复模型处理人脸图像以提高处理后的人脸图像的清晰度；由于面积比较小的人脸需要的纹理细节比较少，因此，可以采用处理量小的修复模型处理人脸图像以缩短图像处理时间。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的电子设备的示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置的示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的图像处理装置的第二处理模块的示意图。

图8是本申请某些实施方式的图像处理方法的场景示意图。

图9至图11是本申请某些实施方式的图像处理方法的流程示意图。

图12是本申请某些实施方式的图像处理装置的示意图。

图13是本申请某些实施方式的人脸检测模型的示意图。

图14是本申请某些实施方式的图像处理方法的流程示意图。

图15是本申请某些实施方式的图像处理装置的示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的图像处理装置的示意图。

图18是本申请某些实施方式的图像处理方法的流程示意图。

图19是本申请某些实施方式的图像处理装置的示意图。

图20是本申请某些实施方式的图像处理方法的流程示意图。

图21是本申请某些实施方式的图像处理装置的示意图。

图22是本申请某些实施方式的图像处理方法的场景示意图。

图23是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请实施方式的图像处理方法包括：

012：获取参考图像，参考图像的清晰度大于预设清晰度；

014：根据待处理图像中的人脸的面积选择修复模型，修复模型的处理量与人脸的面积呈正相关；

016：获取人脸以得到人脸图像；其中，可以将人脸从所述待处理图像中裁切出来以获得人脸图像；

018：采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。

请参阅图2，本申请实施方式的图像处理装置100包括第一获取模块12、选择模块14、第一处理模块16和第二处理模块18。本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置100实现，其中，步骤012可以由第一获取模块12实现，步骤014可以由选择模块14实现，步骤016可以由第一处理模块16实现，步骤018可以由第二处理模块18实现。也即是说，第一获取模块12可用于获取参考图像，参考图像的清晰度大于预设清晰度。选择模块14可用于根据待处理图像中的人脸的面积选择修复模型，修复模型的处理量与人脸的面积呈正相关。第一处理模块16可用于获取人脸以得到人脸图像。第二处理模块18可用于采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。

请参阅图3，本申请实施方式的电子设备1000包括壳体200和处理器400，处理器400安装在壳体200上，本申请实施方式的图像处理方法可以由本申请实施方式的电子设备1000实现。其中，步骤012、步骤014、步骤016和步骤018均可以由处理器400实现，也即是说，处理器400可用于：获取参考图像，参考图像的清晰度大于预设清晰度；根据待处理图像中的人脸的面积选择修复模型，修复模型的处理量与人脸的面积呈正相关；获取人脸以得到人脸图像；采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备1000利用清晰度大于预设清晰度的参考图像对人脸图像进行处理，从而获得较为清晰的人脸图像。另外，可以根据人脸的面积选择修复模型，其中，修复模型的处理量与人脸的面积呈正相关，由于面积比较大的人脸需要的纹理细节比较多，因此，可以采用处理量大的修复模型处理人脸图像以提高处理后的人脸图像的清晰度；由于面积比较小的人脸需要的纹理细节比较少，因此，可以采用处理量小的修复模型处理人脸图像以缩短图像处理时间，减少功耗。

步骤012、步骤014、步骤016三者的执行顺序可以是任意的。例如，可以先执行步骤012，然后执行步骤014，再执行步骤016；也可以先执行步骤014，然后执行步骤012，再执行步骤016；还可以是先执行步骤016，然后执行步骤014，再执行步骤012；还可以是步骤012、步骤014和步骤016同时执行等，在此不做具体限定。

本申请实施方式的待处理图像可以是电子装置1000的相册中的图像，相册中的图像可以是利用电子装置1000的成像装置300拍摄获得，也可以是电子装置1000利用通信方式获得的，例如利用电子装置1000的通讯软件(QQ、微信等)、蓝牙、WLAN、USB接口等获得。在待处理图像由成像装置300拍摄获得时，可以先由成像装置300的图像传感器拍摄获得RAW格式的待处理图像，然后输入ISP中进行处理以得到YUV/RGB格式的待处理图像，然后再对YUV/RGB格式的待处理图像进行处理。本申请实施方式的参考图像也可以是电子装置1000的相册中的图像。

本申请实施方式的成像装置300可以是指摄像头，例如可以是前置摄像头、或后置摄像头、或前置摄像头和后置摄像头，摄像头的数量可以是一个或多个，在此不做具体限定。电子设备1000可以包括手机、电脑、相机等。

在某些实施方式中，参考图像的清晰度可以通过计算参考图像的像素值的梯度获得。具体地，像素值的梯度可以通过计算当前像素的像素值与周围像素的像素值的偏差获得，例如当前像素的像素值为110，当前像素的右边像素的像素值为120，则当前像素的像素值梯度可以为|110-120|＝10；又例如当前像素的像素值为110，当前像素的右边像素的像素值为120，则当前像素的像素值梯度可以为|110-120|²＝100。然后可以取图像的各个像素的梯度的平均值或所有像素的梯度的和值作为整个图像的梯度，判断整个图像的梯度是否大于预设梯度，若整个图像的梯度小于预设梯度，则可认为图像的清晰度小于预设清晰度，若整个图像的梯度大于预设梯度，则可认为图像的清晰度大于预设清晰度。如此，能够通过图像的像素值的梯度快速、准确地判断图像的清晰度是否大于预设清晰度。

在某些实施方式中，参考图像的清晰度是否大于预设清晰度还可以通过深度学习网络判断。具体地，可以利用已标定的、清晰度小于预设清晰度的训练图像和已标定的、清晰度不小于预设清晰度的训练图像训练生成深度学习网络。通过这些训练图像生成的深度学习网络，能够学习到：清晰度小于预设清晰度的图像具备什么特征、清晰度不小于预设清晰度的图像具备什么特征。因此，待处理图像输入深度学习网络后，深度学习网络能够根据待处理图像的特征信息对待处理图像进行二分类，即判断出：待处理图像是属于清晰度小于预设清晰度的图像、还是属于清晰度不小于预设清晰度的图像。如此，即可通过深度学习网络准确、快速地判断参考图像的清晰度是否大于预设清晰度。

在某些实施方式中，可获取参考图像中高频信息的像素数量在整个参考图像的所有像素中的占比，并用该占比来表征该参考图像的清晰度，占比越高，图像清晰度越高，在该占比大于预定占比时确定参考图像的清晰度大于预设清晰度。在一个例子中，先通过整形低通滤波对参考图像进行处理，以得到滤波图像。再根据参考图像与滤波图像得到高频信息，具体可以为：利用参考图像减去滤波图像即可得到高频信息。最后，统计高频信息的像素数量在参考图像的所有像素中的占比。例如，参考图像中的高频信息的像素数量占参考图像的所有像素数量的20％，则可以用占比20％来表征参考图像的清晰度。

请参阅图4，在某些实施方式中，图像处理方法还包括：

022：在人脸的面积处于预设面积范围外时，确定对待处理图像进行处理。

请参阅图6，在某些实施方式中，图像处理装置100还包括第三处理模块22。步骤022可以由第三处理模块22实现，也即是说，第三处理模块22可用于：在人脸的面积处于预设面积范围外时，确定对待处理图像进行处理。

请再次参阅图3，在某些实施方式中，步骤022可以由处理器400实现。也即是说，处理器400可用于：在人脸的面积处于预设面积范围外时，确定对待处理图像进行处理。

具体地，预设面积范围可以是大于第一预设面积且小于第二预设面积。在人脸的面积处于预设面积范围外时，人脸的面积太小(例如小于第一预设面积)或太大(例如大于第二预设面积)，说明拍摄对象离成像装置300太远或太近，而成像装置300一般具有一个合适的对焦范围，在拍摄对象离成像装置300太远或太近时，会出现失焦的情况，因此，此时拍摄的待处理图像的人脸会比较模糊，因此，可以确定对待处理图像进行处理，即，采用本申请实施方式的图像处理方法对待处理图像进行处理以得到修复图像。例如，在步骤012、步骤014和步骤016的执行顺序为：先执行步骤012，然后执行步骤014，再执行步骤016时，可以在人脸的面积处于预设面积范围内时，进入步骤012以开始执行本申请实施方式的图像处理方法。在一个实施例中，还可以通过人脸的面积计算人脸在待处理图像中的占比，当人脸在待处理图像中的占比小于第一比例时，确定人脸的面积小于第一预设面积；当人脸在待处理图像中的占比大于第二比例时，确定人脸的面积大于第二预设面积。第一比例可以为8％，第二比例可以为50％。

在人脸的面积处于预设面积范围内时，预设面积范围内的人脸可以处于成像装置300的合焦范围内，此时的人脸比较清晰，因此，可以不对待处理图像进行处理。

在某些实施方式中，修复模型包括多个，多个修复模型例如根据处理量从小到大依次为第一修复模型、第二修复模型、第三修复模型和第四修复模型。根据人脸的面积与预设面积的比较结果可以选择对应的修复模型对人脸图像进行处理，例如在人脸的面积小于第三预设面积时，选择第一修复模型；在人脸的面积大于第三预设面积且小于第一预设面积时，选择第二修复模型；在人脸的面积大于第二预设面积且小于第四预设面积时，选择第三修复模型；在人脸的面积大于第四预设面积时，选择第四修复模型。其中，各个预设面积根据面积大小从小到大依次为：第三预设面积、第一预设面积、第二预设面积和第四预设面积。

请参阅图6，在某些实施方式中，步骤018包括：

0181：尺寸调整步骤，处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同；本申请中的尺寸可以是指图像的分辨率。

0182：匹配步骤，提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度；

0183：以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关；

0184：映射步骤，将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像；

0185：将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。

请参阅图7，在某些实施方式中，第二处理模块18包括尺寸调整单元181、匹配单元182、第一循环单元183、映射单元184和第二循环单元185。步骤0181可以由尺寸调整单元181实现，步骤0182可以由匹配单元182实现，步骤0183可以由第一循环单元183实现，步骤0184可以由映射单元184实现，步骤0185可以由第二循环单元185实现。也即是说，尺寸调整单元181可用于尺寸调整步骤：处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同。匹配单元182可用于匹配步骤：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度。第一循环单元183可用于：以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关。映射单元184可用于映射步骤：将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像。第二循环单元186可用于：将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。

请再次参阅图3，在某些实施方式中，步骤0181、步骤0182、步骤0183、步骤0184和步骤0185均可以由处理器400实现。也即是说，处理器400可用于：尺寸调整步骤，处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同；匹配步骤，提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度；以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量正相关；映射步骤，将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像；将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。

具体地，预设采样次数与修复模型的处理量正相关，也即是说，修复模型的处理量越大，预设采样次数也越多；修复模型的处理量越小，预设采样次数也越少。预设采样次数可以是一次或多次。在一个实施例中，预设采样次数为2-6中的任意整数，即预设采样次数可以为2、3、4、5或6。在预设采样次数为6时，已经能够较为全面地提取待处理人脸图像和待处理参考图像的特征，因此，预设采样次数大于6时，提取的特征的信息量基本不变，但是会增大特征提取的工作量。

请结合图8，在第一次执行尺寸调整步骤和匹配步骤时，参考图像可以为第二尺寸，尺寸调整步骤具体可以为：处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，即，将人脸图像的尺寸调整为第二尺寸以形成待处理人脸图像，将参考图像作为待处理参考图像。然后通过匹配步骤分别提取待处理人脸图像的人脸图像特征图和待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得第二尺寸的待处理参考图像的匹配特征。可以将待处理人脸图像输入到卷积神经网络进行特征提取以得到人脸图像特征图，将待处理参考图像输入到卷积神经网络进行特征提取以得到参考图像特征图。处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，具体可以为：在人脸图像的尺寸大于参考图像的尺寸时，对人脸图像进行下采样处理以使得人脸图像的尺寸与参考图像的尺寸相同；在人脸图像的尺寸小于参考图像的尺寸时，对人脸图像进行上采样处理以使得人脸图像的尺寸与参考图像的尺寸相同。上采样可理解为对图像进行放大处理，下采样可理解为对图像进行缩小处理。待处理人脸图像和待处理参考图像的尺寸相同，有利于人脸图像特征图和参考图像特征图的特征进行匹配。

在后续(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤具体可以为：将上一次执行尺寸调整步骤和匹配步骤时获得的上一待处理人脸图像作为当前人脸图像，上一待处理参考图像作为当前参考图像，对当前人脸图像和当前参考图像分别进行下采样处理，以得到当前待处理人脸图像和当前待处理参考图像。然后通过匹配步骤分别提取当前待处理人脸图像的人脸图像特征图和当前待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得当前尺寸的当前待处理参考图像的匹配特征，其中，当前尺寸小于第二尺寸。在其他实施方式中，(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤也可以为：直接对原参考图像(未经过任意一次尺寸调整步骤)进行下采样处理以获得当前尺寸的当前待处理人脸图像，直接处理原人脸图像(未经过任意一次尺寸调整步骤)以使人脸图像的尺寸与参考图像的尺寸相同。

以预设采样次数循环执行尺寸调整步骤和匹配步骤，每一次循环执行尺寸调整步骤和匹配步骤均可以获得对应尺寸的待处理参考图像对应的匹配特征，从而得到多个尺寸的待处理参考图像对应的匹配特征。最后一次循环执行尺寸调整步骤和匹配步骤时，尺寸调整后的待处理人脸图像和尺寸调整后的待处理参考图像可以均为第一尺寸。

任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不同，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理人脸图像的尺寸不同，每一次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像和待处理人脸图像的尺寸相同。例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的二分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的二分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的四分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的四分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的八分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的八分之一。又例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的三分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的三分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的六分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的六分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的十分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的十分之一。其中，最后一次循环执行尺寸调整步骤得到的待处理参考图像的尺寸及待处理人脸图像的尺寸均为第一尺寸。

在获得各个尺寸的待处理参考图像对应的匹配特征后，可以将各个尺寸的待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，其中，映射过程中不对图像的尺寸造成影响。具体地，在第一次执行映射步骤时，待处理人脸图像为第一尺寸(具有第一尺寸的待处理人脸图像即为最后一次循环执行尺寸调整步骤得到的待处理人脸图像)，映射步骤具体可以为：将第一尺寸的待处理参考图像对应的匹配特征映射到第一尺寸的待处理人脸图像中以得到第一尺寸的中间图像，对第一尺寸的中间图像进行上采样以得到过渡图像。在后续(第二次或第二次之后)执行映射步骤时，映射步骤具体可以为：将过渡图像作为当前尺寸的当前待处理人脸图像，当前尺寸大于上一次执行映射步骤时的待处理人脸图像的尺寸，将当前尺寸的待处理参考图像对应的匹配特征映射到当前尺寸的当前待处理人脸图像以得到当前尺寸的当前中间图像，对当前尺寸的当前中间图像进行上采样以得到过渡图像。

以预设映射次数循环执行映射步骤，每一次循环执行映射步骤均可以将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，从而得到对应的中间图像。最后一次循环执行映射步骤时，待处理人脸图像、待处理参考图像、中间图像均为第二尺寸，具有第二尺寸的中间图像即可作为修复图像，此时可以不需要再对第二尺寸的中间图像进行上采样，即不需要得到过渡图像。

预设映射次数与预设采样次数相等，映射步骤中的各个尺寸分别与尺寸调整步骤中的各个尺寸相对应。例如，预设映射次数与预设采样次数均为三次，尺寸调整步骤中各个待处理参考图像的尺寸为：参考图像的原尺寸、参考图像的原尺寸的二分之一、参考图像的原尺寸的四分之一，则在匹配步骤中，可以获得尺寸为原尺寸的待处理参考图像对应的匹配特征、尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征、尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征。在映射步骤中，可以将尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的四分之一的待处理人脸图像中，以得到尺寸为原尺寸的四分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的二分之一的过渡图像；将尺寸为原尺寸的二分之一的过渡图像作为尺寸为原尺寸的二分之一的待处理人脸图像，将尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的二分之一的待处理人脸图像中，以得到尺寸为原尺寸的二分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的过渡图像；将尺寸为原尺寸的过渡图像作为尺寸为原尺寸的待处理人脸图像，将尺寸为原尺寸的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的待处理人脸图像中，以得到尺寸为原尺寸的中间图像，该中间图像即为修复图像。

每个映射步骤可以由一个映射网络实现，映射网络可以采用卷积层和激活层实现。预设映射次数越多，就需要越多的映射网络，也需要越多的卷积层和激活层，从而能够利用较多的卷积层和激活层将匹配特征映射到待处理人脸图像中。

修复模型的处理量与预设采样次数正相关，而预设采样次数与预设映射次数相等，因此，修复模型的处理量与预设映射次数也是正相关的。在修复模型的处理量比较大时，预设采样次数更多，从而可以获得更多的匹配特征，而预设映射次数更多则可以将获得的匹配特征映射到人脸图像中，从而使得人脸图像的纹理信息更加清晰。在修复模型的处理量比较小时，预设采样次数和预设映射次数的减少能够降低修复模型的工作量，从而缩短图像处理的时间，减少功耗。

修复模型具体可以为深度学习模型。不同处理量的修复模型可以预先设置好对应的预设采样次数和预设映射次数的网络后，然后采用不同的人脸大小训练获得，训练修复模型的训练图像的人脸大小与修复模型的处理量是正相关的。具体地，例如处理量较小的修复模型，可以预先设置好较少的预设采样次数和预设映射次数，然后利用人脸较小的人脸图像和参考图像进行训练。处理量较大的修复模型，可以预先设置好较多的预设采样次数和预设映射次数，然后利用人脸较大的人脸图像和参考图像进行训练。

请参阅图9，在某些实施方式中，0182包括：

01822：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。

请再次参阅图7，在某些实施方式中，步骤01822可以由匹配单元182实现。也即是说，匹配单元182可用于：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。

请再次参阅图3，在某些实施方式中，步骤01822可以由处理器400实现。也即是说，处理器400可用于：提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，根据人脸的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征对应关系，根据人脸五官特征对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。

由于通过人脸的五官分布位置建立了人脸五官特征对应关系，因此，在参考图像特征图和人脸图像特征图进行匹配时，可以采用人脸五官特征对应关系分别对人脸的五官进行特征匹配，避免由于人脸纹理的相似性而带来的特征匹配出现错位的情况(例如将参考图像特征图的与鼻子对应的特征和人脸图像特征图的与嘴唇对应的特征相匹配)，因此，可以准确地进行特征匹配，从而便于后续映射步骤中将准确的特征映射到准确的位置，从而使得修复图像更加真实和准确。

具体地，在获得人脸图像特征图和参考图像特征图后，可以获得人脸的五官分布位置，从而建立人脸五官特征对应关系，即，人脸图像特征图中鼻子的特征与参考图像特征图中鼻子的特征相对应，人脸图像特征图中眼睛的特征与参考图像特征图中眼睛的特征相对应等。在进行特征匹配时，查找参考图像特征图中的鼻子的特征与人脸图像特征图中鼻子的特征的匹配度高于预设匹配度的匹配特征，查找参考图像特征图中的眼睛的特征与人脸图像特征图中眼睛的特征的匹配度高于预设匹配度的匹配特征。

在某些实施方式中，参考图像可以由处理器400自动选取，也可以由用户手动选取。其中，若参考图像由用户手动选取，选取后的参考图像需要通过清晰度检测的方式判断清晰度是否大于预设清晰度，在用户手动选取的参考图像的清晰度大于预设清晰度时，根据用户选取的参考图像对人脸图像进行处理，以得到修复图像。在用户手动选取的参考图像的清晰度小于预设清晰度时，可以不对人脸图像进行处理，并提示用户“参考图像选择错误”。

若参考图像由处理器400自动选取，在不存在“人脸与人脸图像的相似度大于预定相似度”的参考图像时，可以不对人脸图像进行处理，并提示用户“未找到合适的参考图像”。

请参阅图10，在某些实施方式中，012包括：

0122：根据人脸的面积获取参考图像，参考图像中的人脸的面积与待处理图像中的人脸的面积之差小于预定差值。

请再次参阅图2，在某些实施方式中，步骤0122可以由第一获取模块12实现，也即是说，第一获取模块12可用于：根据人脸的面积获取参考图像，参考图像中的人脸的面积与待处理图像中的人脸的面积之差小于预定差值。

请再次参阅图3，在某些实施方式中，步骤0122可以由处理器400实现。也即是说，处理器400可用于：根据人脸的面积获取参考图像，参考图像中的人脸的面积与待处理图像中的人脸的面积之差小于预定差值。

如此，获取到的参考图像的人脸的面积与待处理图像的人脸的面积相近，从而能够便于进行人脸的特征匹配，并且根据参考图像对人脸图像进行处理后，获得的修复图像更加真实。

在某些实施方式中，可以获取人脸与待处理图像的人脸的相似度大于预定相似度的参考图像。在待处理图像的人脸与参考图像的人脸之间的相似度大于预定相似度时，待处理图像的人脸与参考图像的人脸可以认为是同一个人，此时利用清晰度大于预设清晰度的参考图像对人脸图像进行处理，能够更大程度地提高处理后的修复图像的清晰度和真实性。

请参阅图11，在某些实施方式中，图像处理方法还包括：

024：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。

请参阅图12，在某些实施方式中，图像处理装置100还包括第四处理模块24。步骤024可以由第四处理模块24实现，也即是说，第四处理模块24可用于：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。

请再次参阅图3，在某些实施方式中，步骤024可以由处理器400实现。也即是说，处理器400可用于：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。

具体地，可以先对待处理图像进行下采样处理以减小待处理图像的尺寸。其中，下采样可以减少待处理图像所需要处理的数据量，从而可以减少人脸检测所需的时间，且能够降低电子设备1000的功耗。在获得下采样后的待处理图像后，可以检测出下采样后的待处理图像中的人脸。示例地，可以根据图13所示的人脸检测模型检测出待处理图像中的人脸。图13所示的人脸检测模型的具体检测过程为：卷积层及池化层(Convolution andPooling)对待处理图像做特征提取以得到多张特征图像；最后一层卷积层(Final ConvFeature Map)对卷积层和池化层输出的特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层(Fully-connected Layers)中。全连接层对最后一层卷积层输出的特征图像进行分类，并将分类结果输出至坐标输出支路(Coordinate)。坐标输出支路输出人脸在待处理图像中的位置坐标。至此，即完成待处理图像中的人脸的检测。

请参阅图14，在某些实施方式中，图像处理方法还包括：

026：在采集待处理图像时，获取采集待处理图像时的对焦值；

028：根据对焦值确定待处理图像的人脸的物距；

032：根据物距确定人脸的面积。

请参阅图15，在某些实施方式中，图像处理装置100还包括第二获取模块26、第一确定模块28和第二确定模块32。步骤026可以由第二获取模块26实现，步骤028可以由第一确定模块28实现，步骤032可以由第二确定模块32实现。也即是说，第二获取模块26可用于在采集待处理图像时，获取采集待处理图像时的对焦值。第一确定模块28可用于根据对焦值确定待处理图像的人脸的物距。第二确定模块32可用于根据物距确定人脸的面积。

请再次参阅图3，在某些实施方式中，步骤026、步骤028和步骤032均可以由处理器400实现。也即是说，处理器400可用于：在采集待处理图像时，获取采集待处理图像时的对焦值；根据对焦值确定待处理图像的人脸的物距；根据物距确定人脸的面积。

具体地，利用成像装置300采集待处理图像时，在成像装置300的对焦过程中，成像装置300能够获得采集待处理图像时的对焦值(focus value)，其中，该对焦值与成像装置300的对焦马达的移动位置具有对应关系，根据该对焦值即可确定对焦马达的移动位置，而对焦马达的位置与被摄物体(人脸)的物距相对应，因此，能够通过对焦马达的位置确定人脸的物距。在人脸的物距较大时，说明人脸的面积较小，在人脸的物距较小时，说明人脸的面积较大。如此，能够根据对焦值快速地确定人脸的面积。

请参阅图16，在某些实施方式中，图像处理方法还包括：

034：获取待处理图像对应的不同视角的场景图像；

036：根据双目视觉测距方法处理待处理图像和场景图像以得到人脸的深度信息；

038：根据深度信息确定人脸的面积。

请参阅图17，在某些实施方式中，图像处理装置100还包括第三获取模块34、第五处理模块36和第三确定模块38。步骤034可以由第三获取模块34实现，步骤036可以由第五处理模块36实现，步骤038可以由第三确定模块38实现。也即是说，第三获取模块34可用于获取待处理图像对应的不同视角的场景图像。第五处理模块36可用于根据双目视觉测距方法处理待处理图像和场景图像以得到人脸的深度信息。第三确定模块38可用于根据深度信息确定人脸的面积。

请再次参阅图3，在某些实施方式中，步骤034、步骤036和步骤038均可以由处理器400实现。也即是说，处理器400可用于：获取待处理图像对应的不同视角的场景图像；根据双目视觉测距方法处理待处理图像和场景图像以得到人脸的深度信息；根据深度信息确定人脸的面积。

具体地，成像装置300可以包括多个，多个成像装置300位于电子装置1000的同一侧，利用其中一个成像装置300拍摄获得待处理图像，同时利用另外一个成像装置300拍摄另外一个视角的图像以获得场景图像，利用双目视觉测距方法处理待处理图像和场景图像即可得到人脸的深度信息。根据人脸的深度信息即可确定人脸的面积，其中，人脸的深度信息可以是待处理图像的人脸区域的各个像素点所对应的深度信息的平均值、最小值或最大值等，根据人脸的深度信息判断人脸的深度较小时，确定人脸的面积较大；根据人脸的深度信息判断人脸的深度较大时，确定人脸的面积较小。

请参阅图18，在某些实施方式中，图像处理方法还包括：

042：获取待处理图像对应的深度图像；

044：根据深度图像确定人脸的深度信息；

046：根据深度信息确定人脸的面积。

请参阅图19，在某些实施方式中，图像处理装置100还包括第四获取模块42、第四确定模块44和第五确定模块46。步骤042可以由第四获取模块42实现，步骤044可以由第四确定模块44实现，步骤046可以由第五确定模块46实现。也即是说，第四获取模块42可用于获取待处理图像对应的深度图像。第四确定模块44可用于根据深度图像确定人脸的深度信息。第五确定模块46可用于根据深度信息确定人脸的面积。

请再次参阅图3，在某些实施方式中，步骤042、步骤044和步骤046均可以由处理器400实现。也即是说，处理器400可用于：获取待处理图像对应的深度图像；根据深度图像确定人脸的深度信息；根据深度信息确定人脸的面积。

具体地，待处理图像对应的深度图像可以通过结构光深度测量装置或飞行时间(TOF)测量装置测量获得。在获得深度图像后，可以根据深度图像确定人脸的深度信息，其中，人脸的深度信息可以是待处理图像的人脸区域的各个像素点所对应的深度信息的平均值、最小值或最大值等，根据人脸的深度信息判断人脸的深度较小时，确定人脸的面积较大；根据人脸的深度信息判断人脸的深度较大时，确定人脸的面积较小。

请参阅图20，在某些实施方式中，图像处理方法还包括：

048：获取待处理图像中除人脸外的背景图像；

052：融合背景图像与修复图像以得到目标图像。

请参阅图21，在某些实施方式中，图像处理装置100还包括第五获取模块48和第六处理模块52。步骤048可以由第五获取模块48实现，步骤052可以由第六处理模块52实现。也即是说，第五获取模块48可用于获取待处理图像中除人脸外的背景图像。第六处理模块52可用于融合背景图像与修复图像以得到目标图像。

请再次参阅图3，在某些实施方式中，步骤048和步骤052均可以由处理器400实现。也即是说，处理器400可用于：获取待处理图像中除人脸外的背景图像；融合背景图像与修复图像以得到目标图像。

具体地，待处理图像被切割为人脸图像和背景图像，人脸图像经过处理后获得修复图像，然后再将修复图像与背景图像融合在一起重新形成完整的图像以作为目标图像。其中，修复图像与背景图像融合可以是直接将修复图像和背景图像拼接在一起。为了避免处理后的修复图像与背景图像之间的过渡不自然，还可以对修复图像的边界部分做羽化处理。

请参阅图22，在一个实施例中，裁剪出待处理图像I1的人脸以得到人脸图像I2并得到背景图像I3。对人脸图像I2进行处理以增加人脸图像I2的纹理细节并获得修复图像I4，从而使得修复图像I4的清晰度较高。将背景图像I3和修复图像I4融合在一起，即可得到清晰度较高的目标图像I5。

请参阅图23，本申请实施方式的计算机可读存储介质500，其上存储有计算机程序510，计算机程序510被处理器400执行时实现上述任意一种实施方式的图像处理方法。

例如，计算机程序510被处理器400执行的情况下，实现以下图像处理方法的步骤：

012：获取参考图像，参考图像的清晰度大于预设清晰度；

014：根据待处理图像中的人脸的面积选择修复模型，修复模型的处理量与人脸的面积呈正相关；

016：获取人脸以得到人脸图像；

018：采用修复模型并根据参考图像对人脸图像进行处理，以得到修复图像。

计算机可读存储介质500可设置在图像处理装置100或者电子设备1000内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备1000能够与云端服务器进行通讯来获取到相应的计算机程序510。

可以理解，计算机程序510包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质500可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器400可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取参考图像，所述参考图像的清晰度大于预设清晰度；

根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关；

获取所述人脸以得到人脸图像；

采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像，包括：

尺寸调整步骤，处理所述人脸图像和所述参考图像以得到待处理人脸图像和待处理参考图像，所述待处理人脸图像的尺寸和所述待处理参考图像的尺寸相同；

匹配步骤，提取所述待处理人脸图像的特征以得到人脸图像特征图，提取所述待处理参考图像的特征以得到参考图像特征图，获取所述参考图像特征图的匹配特征，所述匹配特征与所述人脸图像特征图的特征的匹配度大于预设匹配度；

以预设采样次数循环执行所述尺寸调整步骤和所述匹配步骤以分别得到多个尺寸的所述待处理参考图像对应的所述匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，所述第一尺寸小于所述第二尺寸，任意两次循环执行所述尺寸调整步骤和所述匹配步骤时对应的所述待处理参考图像的尺寸不相同，所述预设采样次数与所述修复模型的处理量正相关；

映射步骤，将所述待处理参考图像对应的所述匹配特征映射到对应尺寸的所述待处理人脸图像中以得到中间图像，对所述中间图像进行上采样以得到过渡图像；

将所述过渡图像作为所述待处理人脸图像并以预设映射次数循环执行所述映射步骤，直至所述待处理人脸图像的尺寸由所述第一尺寸变成所述第二尺寸，所述预设映射次数与所述预设采样次数相等，具有所述第二尺寸的所述中间图像作为所述修复图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述匹配步骤包括：

提取所述待处理人脸图像的特征以得到所述人脸图像特征图，提取所述待处理参考图像的特征以得到所述参考图像特征图，根据人脸的五官分布位置对所述人脸图像特征图和所述参考图像特征图进行匹配以建立人脸五官特征对应关系，根据所述人脸五官特征对应关系获取所述参考图像特征图的所述匹配特征，所述匹配特征与所述人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。

4.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在所述人脸的面积处于预设面积范围外时，确定对所述待处理图像进行处理。

5.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述获取参考图像，包括：

根据所述人脸的面积获取参考图像，所述参考图像中的人脸的面积与所述待处理图像中的所述人脸的面积之差小于预定差值。

6.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

对所述待处理图像进行下采样处理，处理下采样后的待处理图像以确定所述人脸。

7.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在采集所述待处理图像时，获取采集所述待处理图像时的对焦值；

根据所述对焦值确定所述待处理图像的人脸的物距；

根据所述物距确定所述人脸的面积。

8.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述待处理图像对应的不同视角的场景图像；

根据双目视觉测距方法处理所述待处理图像和所述场景图像以得到所述人脸的深度信息；

根据所述深度信息确定所述人脸的面积。

9.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述待处理图像对应的深度图像；

根据所述深度图像确定所述人脸的深度信息；

根据所述深度信息确定所述人脸的面积。

10.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述待处理图像中除所述人脸外的背景图像；

融合所述背景图像与所述修复图像以得到目标图像。

11.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一获取模块，所述第一获取模块用于获取参考图像，所述参考图像的清晰度大于预设清晰度；

选择模块，所述选择模块用于根据待处理图像中的人脸的面积选择修复模型，所述修复模型的处理量与所述人脸的面积呈正相关；

第一处理模块，所述第一处理模块用于获取所述人脸以得到人脸图像；

第二处理模块，所述第二处理模块用于采用所述修复模型并根据所述参考图像对所述人脸图像进行处理，以得到修复图像。

12.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-10中任一项所述的图像处理方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-10中任一项所述的图像处理方法。

Images