CN110910330A - 图像处理方法、图像处理装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、装置、电子设备和计算机可读存储介质。图像处理方法包括：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出人脸以得到人脸图像；获取清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度的参考图像；根据参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。本申请公开的图像处理方法、装置、电子设备和计算机可读存储介质利用清晰度高于第二预设清晰度的参考图像对模糊人脸图像进行超分辨率算法处理，从而得到较为清晰的人脸图像。

Description

图像处理方法、图像处理装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

在拍摄图像时，由于相机运动、被摄物体运动等影响因素的存在，导致拍摄的人脸图像可能比较模糊。如何解决人脸图像模糊的问题成为本领域的技术难题。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法包括：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像；获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像；根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

本申请实施方式的图像处理装置包括第一处理模块、第一获取模块和第二处理模块。所述第一处理模块用于在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像。所述第一获取模块用于获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像。所述第二处理模块用于根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像；获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像；根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像；获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像；根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质利用清晰度高于第二预设清晰度的参考图像对模糊人脸图像进行超分辨率算法处理，从而得到较为清晰的人脸图像。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的电子设备的示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置的示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的图像处理装置的示意图。

图8和图9是本申请某些实施方式的图像处理方法的流程示意图。

图10是本申请某些实施方式的图像处理装置的第二处理模块的示意图。

图11是本申请某些实施方式的图像处理方法的流程示意图。

图12是本申请某些实施方式的图像处理装置的示意图。

图13是本申请某些实施方式的图像处理方法的流程示意图。

图14是本申请某些实施方式的图像处理装置的示意图。

图15是本申请某些实施方式的图像处理方法的场景示意图。

图16是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请实施方式的图像处理方法包括：

012：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出人脸以得到人脸图像；

014：获取清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度的参考图像；

016：根据参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。

请参阅图2，本申请实施方式的图像处理装置100包括第一处理模块12、第一获取模块14和第二处理模块16。本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置100实现，其中，步骤012可以由第一处理模块12实现，步骤014可以由第一获取模块14实现，步骤016可以由第二处理模块16实现。也即是说，第一处理模块12可用于在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出人脸以得到人脸图像；第一获取模块14可用于获取清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度的参考图像；第二处理模块16可用于根据参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。

请参阅图3，本申请实施方式的电子设备1000包括壳体200和处理器400，处理器400安装在壳体200上，本申请实施方式的图像处理方法可以由本申请实施方式的电子设备1000实现，其中步骤012、步骤014和步骤016均可以由处理器400实现，也即是说，处理器400可用于：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出人脸以得到人脸图像；获取清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度的参考图像；根据参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备1000利用清晰度高于第二预设清晰度的参考图像对模糊人脸图像进行超分辨率算法处理，从而得到较为清晰的人脸图像。

在相关技术中，为了解决人脸图像模糊的问题，通常是通过增加器件来辅助实现，例如增加OIS(光学图像稳定器)来实现，这样会导致成像装置的体积增大，不利于成像装置的小型化。本申请实施方式的图像处理方法、图像处理装置100和电子设备1000利用超分辨率算法处理人脸图像，图像处理过程中无需增加新的器件，如此有利于成像装置的小型化。

本申请实施方式的待处理图像可以是电子装置1000的相册中的图像，相册中的图像可以是利用电子装置1000的成像装置300拍摄获得，也可以是电子装置1000利用通信方式获得的，例如利用电子装置1000的通讯软件(QQ、微信等)、蓝牙、WLAN、USB接口等获得。

本申请实施方式的参考图像也可以是电子装置1000的相册中的图像。在待处理图像的人脸与参考图像的人脸之间的相似度大于预定相似度时，待处理图像的人脸与参考图像的人脸可以认为是同一个人，此时利用清晰度大于第二预设清晰度的参考图像对人脸图像进行超分辨率算法处理，能够更大程度地提高处理后的修复图像的清晰度和真实性。

参考图像可以由第一获取模块14或处理器400自动选取，也可以由用户手动选取。其中，若参考图像由用户手动选取，选取后的参考图像需要通过人脸检测、人脸识别的方式确定参考图像与人脸图像的相似度是否大于预定相似度，通过清晰度检测的方式判断清晰度是否大于第二预设清晰度，在用户手动选取的参考图像与人脸图像的相似度大于预定相似度且参考图像的清晰度大于第二预设清晰度时，根据用户选取的参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。在用户手动选取的参考图像与人脸图像的相似度小于预定相似度或参考图像的清晰度小于第二预设清晰度时，可以不对人脸图像进行超分辨率算法处理，并提示用户“参考图像选择错误”。

若参考图像由第一获取模块14或处理器400自动选取，在相册中不存在“清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度”的参考图像时，可以不对人脸图像进行超分辨率算法处理，并提示用户“未找到合适的参考图像”。

本申请实施方式的成像装置300可以是指摄像头，例如可以是前置摄像头、或后置摄像头、或前置摄像头和后置摄像头，摄像头的数量可以是一个或多个，在此不做具体限定。电子设备1000可以包括手机、电脑、相机等。

请参阅图4，在某些实施方式中，图像处理方法还包括：

018：获取待处理图像中的人脸的像素值的梯度；

022：根据梯度判断待处理图像中的人脸的清晰度是否小于第一预设清晰度。

请参阅图5，在某些实施方式中，图像处理装置100还包括第二获取模块18和判断模块22。步骤018可以由第二获取模块18实现，步骤022可以由判断模块22实现。也即是说，第二获取模块18可用于获取待处理图像中的人脸的像素值的梯度。判断模块22可用于根据梯度判断待处理图像中的人脸的清晰度是否小于第一预设清晰度。

请再次参阅图3，在某些实施方式中，步骤018和步骤022均可以由处理器400实现，也即是说，处理器400还可用于：获取待处理图像中的人脸的像素值的梯度；根据梯度判断待处理图像中的人脸的清晰度是否小于第一预设清晰度。

具体地，像素值的梯度可以通过计算当前像素的像素值与周围像素的像素值的偏差获得，例如当前像素的像素值为110，当前像素的右边像素的像素值为120，则当前像素的像素值梯度可以为|110-120|＝10；又例如当前像素的像素值为110，当前像素的右边像素的像素值为120，则当前像素的像素值梯度可以为|110-120|²＝100。然后可以取人脸的各个像素的梯度的平均值或所有像素的梯度的和值作为整个人脸的梯度，判断整个人脸的梯度是否小于第一预设梯度，若整个人脸的梯度小于第一预设梯度，则可认为人脸的清晰度小于第一预设清晰度，若整个人脸的梯度大于第一预设梯度，则可认为人脸的清晰度大于第一预设清晰度。如此，能够通过人脸的像素值的梯度快速、准确地判断人脸的清晰度是否小于第一预设清晰度。

请参阅图6，在某些实施方式中，图像处理方法还包括：

024：利用深度学习网络对待处理图像进行二分类以判断待处理图像中的人脸的清晰度是否小于第一预设清晰度。

请参阅图7，在某些实施方式中，图像处理装置100还包括第三处理模块24。步骤024可以由第三处理模块24实现，也即是说，第三处理模块24可用于利用深度学习网络对待处理图像进行二分类以判断待处理图像中的人脸的清晰度是否小于第一预设清晰度。

请再次参阅图3，在某些实施方式中，步骤024可以由处理器400实现，也即是说，处理器400还可用于利用深度学习网络对图像进行二分类以判断图像中的人脸的清晰度是否小于第一预设清晰度。

具体地，可以利用训练图像训练生成深度学习网络，其中，训练图像可以包括已标定的、清晰度小于第一预设清晰度的训练图像和已标定的、清晰度不小于第一预设清晰度的训练图像。通过这些训练图像生成的深度学习网络，能够学习到：清晰度小于第一预设清晰度的图像具备什么特征、清晰度不小于第一预设清晰度的图像具备什么特征。因此，待处理图像输入深度学习网络后，深度学习网络能够根据待处理图像的特征信息对待处理图像进行二分类，即判断出：待处理图像是属于清晰度小于第一预设清晰度的图像、还是属于清晰度不小于第一预设清晰度的图像。如此，即可通过深度学习网络准确、快速地判断人脸的清晰度是否小于第一预设清晰度。

在某些实施方式中，可获取人脸中高频信息的像素数量在整个人脸的所有像素中的占比，并用该占比来表征该人脸的清晰度，占比越高，图像清晰度越高，在该占比小于预定占比时确定人脸的清晰度小于第一预设清晰度。在一个例子中，先通过整形低通滤波对该人脸进行处理，以得到滤波图像。再根据该人脸与滤波图像得到高频信息，具体可以为：利用该人脸减去滤波图像即可得到高频信息。最后，统计高频信息的像素数量在该人脸的所有像素中的占比。例如，该人脸中的高频信息的像素数量占该人脸的所有像素数量的20％，则可以用占比20％来表征该人脸的清晰度。

判断用户人像的清晰度是否大于第二预设清晰度的方法，也可以采用上述实施方式中的梯度、深度学习网络、高频信息的像素数量占比中的至少一种，在此不再赘述。

请参阅图8，在某些实施方式中，步骤014包括：

0142：获取清晰度大于第二预设清晰度且与人脸的特征的匹配度大于预设匹配度的参考图像，人脸的特征包括五官分布、五官大小、五官形状中的至少一种。

请再次参阅图2，在某些实施方式中，步骤0142可以由第一获取模块14实现。也即是说，第一获取模块14可用于获取清晰度大于第二预设清晰度且与人脸的特征的匹配度大于预设匹配度的参考图像，人脸的特征包括五官分布、五官大小、五官形状中的至少一种。

请再次参阅图3，在某些实施方式中，步骤0142可以由处理器400实现。也即是说，处理器400可用于获取清晰度大于第二预设清晰度且与人脸的特征的匹配度大于预设匹配度的参考图像，人脸的特征包括五官分布、五官大小、五官形状中的至少一种。

五官分布例如可以是五官之间的间距，例如两只眼睛之间的间距、鼻子和嘴巴之间的间距等。当然，人脸的特征还可以包括人脸大小、人脸形状等，在此不做具体限定。分别获取待处理图像的人脸的特征和参考图像的人脸的特征后，可以判断特征之间的匹配度，例如待处理图像的人脸的两眼间距为6厘米，参考图像的人脸的两眼间距为7厘米，判断待处理图像的人脸的两眼间距与参考图像的人脸的两眼间距相差是否超过预设两眼间距，若是，可以说明待处理图像的人脸与参考图像的人脸的匹配度较低，若否，可以说明待处理图像的人脸与参考图像的人脸的匹配度较高。

请参阅图9，在某些实施方式中，步骤016包括：

0161：获取人脸图像经上采样后生成的图像的第一特征图；

0162：获取参考图像经过上采样和下采样后生成的图像的第二特征图；

0163：获取参考图像(未经过上采样、也未经过下采样)的第三特征图；

0164：获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征；

0165：获取第三特征图中与参照特征相似度超过第二预设相似度的特征以得到交换特征图；

0166：合并交换特征图与第一特征图，以得到第四特征图；

0167：将第四特征图放大预定倍数以得到第五特征图；

0168：将第五特征图作为人脸图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，具有目标放大倍数的第五特征图作为修复图像。

请参阅图10，在某些实施方式中，第二处理模块16包括第一获取单元161、第二获取单元162、第三获取单元163、第四获取单元164、第五获取单元165、第一处理单元166、第二处理单元167和第三处理单元168。步骤0161可以由第一获取单元161实现，步骤0162可以由第二获取单元162实现，步骤0163可以由第三获取单元163实现，步骤0164可以由第四获取单元164实现，步骤0165可以由第五获取单元165实现，步骤0166可以由第一处理单元166实现，步骤0167可以由第二处理单元167实现，步骤0168可以由第三处理单元168实现。也即是说，第一获取单元161可用于获取人脸图像经上采样后生成的图像的第一特征图。第二获取单元162可用于获取参考图像经过上采样和下采样后生成的图像的第二特征图。第三获取单元163可用于获取参考图像的第三特征图。第四获取单元164可用于获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征。第五获取单元165可用于获取第三特征图中与参照特征相似度超过第二预设相似度的特征以得到交换特征图。第一处理单元166可用于合并交换特征图与第一特征图，以得到第四特征图。第二处理单元167可用于将第四特征图放大预定倍数以得到第五特征图。第三处理单元168可用于将第五特征图作为人脸图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，具有目标放大倍数的第五特征图作为修复图像。

请再次参阅图3，在某些实施方式中，步骤0161、步骤0162、步骤0163、步骤0164、步骤0165、步骤0166、步骤0167和步骤0168均可以由处理器400实现。也即是说，处理器400可用于：获取人脸图像经上采样后生成的图像的第一特征图；获取参考图像经过上采样和下采样后生成的图像的第二特征图；获取参考图像的第三特征图；获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参照特征；获取第三特征图中与参照特征相似度超过第二预设相似度的特征以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；将第五特征图作为人脸图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，具有目标放大倍数的第五特征图作为修复图像。

具体地，上采样可理解为对人脸图像或者参考图像进行放大处理，下采样可理解为对参考图像进行缩小处理。

更具体地，步骤0161可包括：对人脸图像进行上采样；将上采样后的人脸图像输入到卷积神经网络进行特征提取，得到第一特征图。步骤0162可包括：对参考图像进行下采样；对下采样后的参考图像进行上采样；将上采样后的参考图像输入到卷积神经网络进行特征提取，得到第二特征图。步骤0163可包括：将参考图像输入到卷积神经网络进行特征提取，得到第三特征图。

步骤0162中，可以是对参考图像先进行下采样，再进行上采样；也可以是对参考图像先进行上采样，再进行下采样。也即是说，步骤0162也可以包括：对参考图像进行上采样；对上采样后的参考图像进行下采样；将下采样后生成的参考图像输入到卷积神经网络进行特征提取，得到第二特征图。

通过对人脸图像进行上采样(放大)处理，可以使得人脸图像的像素数量与参考图像的像素数量相近或相同，从而便于后续进行相似度的对比以获取参照特征。在将上采样后的人脸图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为从放大后的人脸图像中提取的特征图，第一特征图中包括人脸图像中的各个特征，例如五官、肤质、头发、轮廓等等。由于放大后的人脸图像的清晰度较低，而参考图像的清晰度是比较高的，因此需要对参考图像先进行下采样(缩小)，再对下采样后的图像进行上采样，以实现参考图像的模糊化处理，从而提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参考图像输入到卷积神经网络进行特征提取，得到第三特征图。需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与第一预设相似度进行比较，若相似度大于或等于第一预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参照特征。再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度超过第二预设相似度进行比较，若相似度大于或等于第二预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为修复图像。

超分辨率算法可以将参考图像中的人脸的纹理信息迁移到人脸图像中，从而使得经过超分辨率算法处理后的修复图像相对于处理前的人脸图像而言，人脸的纹理信息更加清晰。

请参阅图11，在某些实施方式中，图像处理方法还包括：

026：计算每个待处理图像中的所有人脸在待处理图像中的占比；

步骤012包括：

0122：在待处理图像中的人脸的清晰度小于第一预设清晰度、且人脸在待处理图像中的占比大于预定占比时，裁切出人脸以得到人脸图像。

请参阅图12，在某些实施方式中，图像处理装置100还包括计算模块26。步骤026可以由计算模块26实现，步骤0122可以由第一处理模块12实现。也即是说，计算模块26可用于计算每个待处理图像中的所有人脸在待处理图像中的占比。第一处理模块12可用于在待处理图像中的人脸的清晰度小于第一预设清晰度、且人脸在待处理图像中的占比大于预定占比时，裁切出人脸以得到人脸图像。

请再次参阅图3，在某些实施方式中，步骤026和步骤0122均可以由处理器400实现。也即是说，处理器400可用于：计算每个待处理图像中的所有人脸在待处理图像中的占比；在待处理图像中的人脸的清晰度小于第一预设清晰度、且人脸在待处理图像中的占比大于预定占比时，裁切出人脸以得到人脸图像。

具体地，当人脸在待处理图像中的占比小于预定占比时，说明对应的人脸不是拍摄的主要对象，例如该人脸是背景人脸，因此，可以不对占比小于预定占比的人脸进行处理，即不需要将该人脸裁切出来。在待处理图像中的人脸的清晰度小于第一预设清晰度、且人脸在待处理图像中的占比大于预定占比时，说明待处理图像中的主要对象的人脸比较不清晰，因此，可以将该人脸裁切出来以得到人脸图像，从而可以利用超分辨率算法对人脸图像进行修复。

在某些实施方式中，在待处理图像中的人脸的清晰度大于第一预设清晰度时，说明待处理图像中的主要对象的人脸比较清晰，因此可以不需要利用超分辨率算法对待处理图像进行处理。

请参阅图13，在某些实施方式中，图像处理方法还包括：

028：获取待处理图像中除人脸外的背景图像；

032：融合背景图像与修复图像以得到目标图像。

请参阅图14，在某些实施方式中，图像处理装置100还包括第三获取模块28和第四处理模块32。步骤028可以由第三获取模块28实现，步骤032可以由第四处理模块32实现。也即是说，第三获取模块28可用于获取待处理图像中除人脸外的背景图像。第四处理模块32可用于融合背景图像与修复图像以得到目标图像。

请再次参阅图3，在某些实施方式中，步骤028和步骤032均可以由处理器400实现。也即是说，处理器400可用于：获取待处理图像中除人脸外的背景图像；融合背景图像与修复图像以得到目标图像。

具体地，待处理图像被切割为人脸图像和背景图像，人脸图像经过超分辨率算法处理后获得修复图像，然后再将修复图像与背景图像融合在一起重新形成完整的图像以作为目标图像。其中，修复图像与背景图像融合可以是直接将修复图像和背景图像拼接在一起。为了避免处理后的修复图像与背景图像之间的过渡不自然，还可以对修复图像的边界部分做羽化处理。

请参阅图15，在一个实施例中，从相册中读取待处理图像I1，处理待处理图像I1后确定待处理图像I1中的人脸的清晰度小于第一预设清晰度，因此裁剪出人脸以得到人脸图像I2并得到背景图像I3。对人脸图像I2进行超分辨率算法处理以增加人脸图像I2的纹理细节并获得修复图像I4，从而使得修复图像I4的清晰度较高。将背景图像I3和修复图像I4融合在一起，即可得到清晰度较高的目标图像I5。

请参阅图16，本申请实施方式的计算机可读存储介质500，其上存储有计算机程序510，计算机程序510被处理器400执行时实现上述任意一种实施方式的图像处理方法。

例如，计算机程序510被处理器400执行的情况下，实现以下图像处理方法的步骤：

012：在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出人脸以得到人脸图像；

014：获取清晰度大于第二预设清晰度且与人脸图像的相似度大于预定相似度的参考图像；

016：根据参考图像对人脸图像进行超分辨率算法处理，以得到修复图像。

计算机可读存储介质500可设置在图像处理装置100或者电子设备1000内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备1000能够与云端服务器进行通讯来获取到相应的计算机程序510。

可以理解，计算机程序510包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质500可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器400可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像；

获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像；

根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述待处理图像中的所述人脸的像素值的梯度；

根据所述梯度判断所述待处理图像中的所述人脸的清晰度是否小于所述第一预设清晰度。

3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

利用深度学习网络对所述待处理图像进行二分类以判断所述待处理图像中的所述人脸的清晰度是否小于所述第一预设清晰度。

4.根据权利要求1所述的图像处理方法，其特征在于，所述获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像，包括：

获取清晰度大于所述第二预设清晰度且与所述人脸的特征的匹配度大于预设匹配度的参考图像，所述人脸的特征包括五官分布、五官大小、五官形状中的至少一种。

5.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像，包括：

获取所述人脸图像经上采样后生成的图像的第一特征图；

获取所述参考图像经过上采样和下采样后生成的图像的第二特征图；

获取所述参考图像的第三特征图；

获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参照特征；

获取所述第三特征图中与所述参照特征相似度超过第二预设相似度的特征以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为所述人脸图像并循环执行上述步骤，直至得到的所述第五特征图为目标放大倍数，具有所述目标放大倍数的所述第五特征图作为所述修复图像。

6.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

计算每个所述待处理图像中的所有人脸在所述待处理图像中的占比；

所述在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像，包括：

在所述待处理图像中的所述人脸的清晰度小于第一预设清晰度、且所述人脸在所述待处理图像中的占比大于预定占比时，裁切出所述人脸以得到所述人脸图像。

7.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

获取所述待处理图像中除所述人脸外的背景图像；

融合所述背景图像与所述修复图像以得到目标图像。

8.一种图像处理装置，其特征在于，所述图像处理装置包括：

第一处理模块，所述第一处理模块用于在待处理图像中的人脸的清晰度小于第一预设清晰度时，裁切出所述人脸以得到人脸图像；

第一获取模块，所述第一获取模块用于获取清晰度大于第二预设清晰度且与所述人脸图像的相似度大于预定相似度的参考图像；

第二处理模块，所述第二处理模块用于根据所述参考图像对所述人脸图像进行超分辨率算法处理，以得到修复图像。

9.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-7中任一项所述的图像处理方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一项所述的图像处理方法。

Images