CN110910331B - 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取具有人像的待修复图像；对待修复图像的人像区域进行修复处理，以得到修复图像；对修复图像的人像区域及预设用户的人像进行人脸检测；在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；获取参考图像；及根据参考图像的修复参数采用人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。本申请公开的一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质根据参考图像中的修复参数对修复图像中的人像区域进行处理，得到的目标图像更符合用户的喜好，提升用户体验。

Description

图像处理方法、图像处理装置、电子设备和计算机可读存储 介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

在拍摄图像时，尤其是自拍或者对人物进行拍摄时，多会使用美颜、磨皮等对图像进行处理，以得到美颜效果更好的图像。但是，在对图像进行美颜、磨皮等处理时，多采用系统预设的处理方案进行处理，系统预设的处理方案与用户本身喜欢的处理方案可能存在偏差，导致得到的美颜图像与用户想要得到的图像存在差别。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法包括获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；在所述修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，及根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理装置包括：第一获取模块、第一处理模块及第二处理模块。所述第一获取模块用于获取具有人像的待修复图像；所述第一处理模块用于对所述待修复图像的人像区域进行修复处理，以得到修复图像；第二处理模块用于在所述修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；在所述修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；在所述修复图像的人像与所述预设用户的人像之间的相似度大于第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过先对待修复图像先进行修复处理得到修复图像，再根据参考图像中的修复参数对修复图像中的人像区域进行处理，得到的目标图像相较于直接使用系统预设的处理方案进行处理得到的图像更符合用户的喜好，提升用户体验。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的电子设备的示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置中第一获取模块的示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的第一获取模块中第一获取单元的示意图。

图8是本申请某些实施方式的图像处理方法的流程示意图。

图9是本申请某些实施方式的第一获取模块中第一获取单元的示意图。

图10是本申请某些实施方式的图像处理方法的流程示意图。

图11是本申请某些实施方式的图像处理装置中第一获取模块的示意图。

图12是本申请某些实施方式的图像处理方法的流程示意图。

图13是本申请某些实施方式的图像处理装置中第三获取模块的示意图。

图14是本申请某些实施方式的图像处理方法的流程示意图。

图15是本申请某些实施方式的第三获取模块中第四获取单元的示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的第三获取模块中第三确定单元的示意图。

图18是本申请某些实施方式的图像处理方法的流程示意图。

图19是本申请某些实施方式的图像处理装置中第三获取模块的示意图。

图20是本申请某些实施方式的图像处理方法的流程示意图。

图21是本申请某些实施方式的图像处理装置中第二处理模块的示意图。

图22是本申请某些实施方式的图像处理方法的流程示意图。

图23是本申请某些实施方式的图像处理装置的示意图。

图24是本申请某些实施方式的图像处理方法的流程示意图。

图25是本申请某些实施方式的第二处理模块中第一处理单元的示意图。

图26是本申请某些实施方式的图像处理方法的流程示意图。

图27是本申请某些实施方式的图像处理装置中第一处理模块的示意图。

图28是本申请某些实施方式的图像处理方法的流程示意图。

图29是本申请某些实施方式的第一处理模块中第五获取单元的示意图。

图30是本申请某些实施方式的图像处理方法的流程示意图。

图31是本申请某些实施方式的第一处理模块中第二处理单元的示意图。

图32和图33是本申请某些实施方式的图像处理方法的流程示意图。

图34是本申请某些实施方式的图像处理装置中第二处理模块的示意图。

图35是本申请某些实施方式的图像处理方法的流程示意图。

图36是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

图37是本申请某些实施方式的电子设备的场景示意图。

图38是本申请某些实施方式的采集的用户人脸信息的场景示意图。

图39是本申请某些实施方式的相册中具有人像的图像的场景示意图。

图40和图41是本申请某些实施方式的多幅参考图像的磨皮参数的场景示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施方式的一种图像处理方法包括：获取具有人像的待修复图像；对待修复图像的人像区域进行修复处理，以得到修复图像；判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据预设用户历史使用的修复参数采用预设的人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请参阅图2，本申请实施方式的一种图像处理装置100包括第一获取模块11、第一处理模块12、判断模块14及第二处理模块17。其中，第一获取模块11用于获取具有人像的待修复图像；第一处理模块12用于对待修复图像的人像区域进行修复处理，以得到修复图像；判断模块14用于判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；第二处理模块17用于在修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据预设用户历史使用的修复参数采用预设的人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请参阅图3，本申请实施方式的一种电子设备200，电子设备200包括壳体210和处理器230，处理器230安装在壳体210上。处理器230可用于实现本申请实施方式的图像处理方法，处理器230可用于：获取具有人像的待修复图像；对待修复图像的人像区域进行修复处理，以得到修复图像；判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据预设用户历史使用的修复参数采用预设的人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

具体地，请参阅图1，在某些实施方式中，图像处理方法可包括：

01，获取具有人像的待修复图像；

02，对所待修复图像的人像区域进行修复处理，以得到修复图像；

03，对所修复图像的人像区域及预设用户的人像进行人脸检测；

04，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

05，在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；

06，获取参考图像，所述参考图像中包含所述预设用户；及

07，根据参考图像的修复参数采用人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请结合图1及图2，本申请实施方式的一种图像处理装置100包括第一获取模块11、第一处理模块12、检测模块13、判断模块14、第二获取模块15、第三获取模块16及第二处理模块17，图像处理装置100可用于实现本申请实施方式的图像处理方法，步骤01可由第一获取模块11执行，步骤02可由第一处理模块12执行，步骤03可由检测模块13执行，步骤04可由判断模块14执行，步骤05可由第二获取模块15执行，步骤06可由第二获取模块16执行，步骤07可由第三获取模块17执行。也即是说，第一获取模块11可用于获取具有人像的待修复图像；第一处理模块12可用于对所待修复图像的人像区域进行修复处理，以得到修复图像；检测模块13可用于对所修复图像的人像区域及预设用户的人像进行人脸检测；判断模块14可用于判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；第二获取模块15可用于在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；第三获取模块16可用于获取参考图像，所述参考图像中包含所述预设用户；第二处理模块17可用于根据参考图像的修复参数采用人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请结合图1及图3，本申请实施方式的一种电子设备200，电子设备200包括壳体210和处理器230，处理器230安装在壳体210上。处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03、步骤04、步骤05、步骤06、步骤07均可由处理器230实现，也即是说，处理器230可用于：获取具有人像的待修复图像；对所待修复图像的人像区域进行修复处理，以得到修复图像；对所修复图像的人像区域及预设用户的人像进行人脸检测；判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；获取参考图像，所述参考图像中包含所述预设用户；及根据参考图像的修复参数采用人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过先对待修复图像先进行修复处理得到修复图像，再根据参考图像中的修复参数采用预设的人像修复算法对修复图像中的人像区域进行处理，得到的目标图像相较于直接使用系统预设的处理方案进行处理得到的图像更符合用户的喜好，提升用户体验。

具体地，预设用户的人像是指具有用户本人的人像的图像，该图像可预先存储在图像处理装置100或者电子设备200中的存储元件中，或者直接由图像处理装置100的获取单元或者电子设备200的摄像头221直接获取用户的人像图像并进行存储，其中，该预设用户的人像图像用户可进行更改，以获得更好的用户的人像。

具体地，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度可以确定出修复图像上的人像与预设用户的人像是否为同一个人。通过对修复图像的人脸的特征和预设用户的人脸的特征进行检测，该特征包括五官特征、皮肤特征、头发特征中的至少一种，经过对比，若修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度，则可确定该幅修复图像中的人像为预设用户的人像；若修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度，则可确定该幅修复图像中的人像不是预设用户的人像，通常预设用户为机主本人，但特殊情况下，也可以是机主授权的特定用户。其中，第一预设相似度的值越大，修复图像上的人像与预设用户的人像越相似，就越能说明修复图像中的人像属于预设用户的；第一预设相似度的值越小，对比工作量越小，对比速度也就越高。本实施方式中，第一预设相似度的范围可为70％-100％，例如，第一预设相似度可以为70％、71％、75％、80％、85％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。第一预设相似度在该范围时，既能保证对比的准确率，又能有较快的比对速度，进而加快图像处理的整体速度。

更具体地，参考图像为经过修复处理后并存储在相册中的图像，且参考图像中包含预设用户，图像处理装置100或者电子设备200中的存储元件存储有对该图像进行修复处理时所采用的修复参数，即预设用户历史使用的修复参数，通过获取参考图像中的修复参数，并根据参考图像中的修复参数采用人像修复算法对修复图像进行处理。例如，将人像修复算法看作是一个函数F(x)，x为修复参数，则参考图像中的修复参数可作为函数中的x，将修复参数代入人像修复算法中，以完成人像修复。修复参数可包括磨皮参数、妆容参数中的至少一种，其中，磨皮参数可用磨皮力度来表征，而磨皮力度通常由诸如1、1.5、2、2.1、3、4、5、5.2、6、7、8、9、9.5、9.9、10等数字来表示，数字越大，磨皮力度越大，数字越小，磨皮力度越小。妆容参数可用妆容力度来表征，妆容可包括口红、眉毛、眼影、腮红、及鼻梁等至少一个维度的妆容，对应地，妆容力度可包括口红妆容力度(可用A1～An表征)、眉毛妆容力度(B1～Bn表征)、眼影妆容力度(C1～Cn表征)、腮红妆容力度(D1～Dn表征)、及鼻梁妆容力度(E1～En表征)中的至少一种，其中n≥2。每一个维度对应的数字越大，该维度对应的妆容就越浓，也即妆容力度越大，每一个维度对应的数字越小，该维度对应的妆容就越淡，也即妆容力度越小。以口红妆容力度为例进行说明，口红妆容力度A1表示颜色比较淡的口红妆，口红妆容力度A2表示颜色深度适中的口红妆，口红妆容力度A3表示颜色较重的口红妆。其他维度的妆容力度以此为参照，在此不一一列举。

请一并参阅图3、图4和图5，步骤01包括：

011，获取具有人像的原始图像；及

012，将清晰度小于第一阈值的原始图像确定为待修复图像。

在某些实施方式中，第一获取模块11还可包括第一获取单元111和第一确定单元112，其中，步骤011可由第一获取单元111执行，步骤012可由第一确定单元112执行。也即是说，第一获取单元111可用于获取具有人像的原始图像；第一确定单元112可用于将清晰度小于第一阈值的原始图像确定为待修复图像。

在某些实施方式中，步骤011和步骤012均可由处理器230实现，也即是说，处理器230可用于：获取具有人像的原始图像；及将清晰度小于第一阈值的原始图像确定为待修复图像。

具体地，原始图形可指相册中保存的图像或者摄像头221直接拍摄得到的图像，原始图像可为一幅或者多幅，多幅是指两幅或者两幅以上。可先通过获取每幅原始图像的清晰度，通过对每幅原始图像的清晰度与第一阈值进行对比，在清晰度小于第一阈值时，说明该幅原始图像的清晰度比较低，比较模糊，则该幅原始图像需要进行修复处理，因此，将该幅原始图像确定为待修复图像；在清晰度大于第一阈值时，说明该幅原始图像的清晰度较高，该幅原始图像无需进行修复处理；在原始图像的清晰度等于第一阈值时，既可将该幅原始图像确定为待修复图像，也可将该幅原始图像确定为非待修复图像。通过对每幅原始图像的清晰度进行对比，只对清晰度较低的原始图像进行修复处理，减少了图像修复的工作量，从而加快了图像处理的整体速度。

请一并参阅图3、图6和图7，步骤011包括：

0111，在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

在某些实施方式中，第一获取单元111可包括第一获取子单元1111，其中，步骤0111可由第一获取子单元1111执行；也即是说，第一获取子单元1111可用于在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

在某些实施方式中，步骤0111可由处理器230实现，也即是说，处理器230可用于：在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

对于在预定时间，从相册中获取具有人像的原始图像而言，其中的预定时间可指用户不使用手机的时候，具体地，预定时间可包括进入睡眠的休息时间，例如为夜晚睡觉时间(比如但不局限于22：00～5：00时间段)，再例如为午休时间(比如但不局限于12：30～2：00时间段)；预定时间还可包括上班时间(比如但不局限于8：00～12：00及2：00～6：00)，此时用户一般不使用手机；预定时间还可包括上课时间(比如但不局限于8：00～8：40、9：00～9：45、10：00～10：45、11：00～11：45中的至少一个时间段等)等等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时获取相册中的具有人像的原始图像，相较于图像处理装置100或者电子设备200也处于工作状态时获取而言，不会造成内存抢占的问题。预定时间可为系统预先设定好的一个或多个时间段，当然，预定时间还可由用户根据自身的需求自行设置。

对于在预设场景内，从相册中获取具有人像的原始图像而言，其中的预设场景可包括充电状态、待机状态、低功耗运行状态等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的时间会比较长，且占用一定的运行内存，因此在预设场景下才执行获取的步骤，能尽可能的避免抢占内存的问题。低功耗运行状态可指电子设备200在仅运行阅读、看新闻等对运行内存需求较小的软件。

需要说明的是，从相册中获取具有人像的原始图像可以仅仅是在预定时间即可执行，也可以仅仅是在预定场景下即可执行，还可以是既要在预定时间，也要在预定场景下才执行。如此，能最大程度地避免在相册中获取原始图像对用户的正常使用造成影响，提升了用户体验。在从相册中获取具有人像的原始图像之后的步骤，例如步骤02至07均是针对相册中的图像的。

请一并参阅图3、图8和图9，步骤011还包括：

0112，在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

在某些实施方式中，图像处理装置100可应用于成像装置220，成像装置220可通过摄像头221拍摄原始图像。第一获取单元111可包括第二获取子单元1112，其中，步骤0112可由第二获取子单元1112执行；也即是说，第二获取子单元1112可用于在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

在某些实施方式中，电子设备200上可包括成像装置220，成像装置220包括摄像头221。步骤0112可由处理器230实现，也即是说，处理器230可用于：在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

具体地，在成像装置220的摄像头221工作时，能实时获取拍摄的具有人像的原始图像，可对符合条件的原始图像进行后续的修复处理，以得到目标图像，使得用户在使用成像装置220或者电子设备200拍摄时，得到的图像质量更高，提升了用户体验。在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像之后的步骤，例如步骤02至07均是针对拍摄过程中的图像的。

请一并参阅图3、图10和图11，步骤01还包括：

013，对原始图像进行整形低通滤波以获取第一滤波图像；

014，根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；

015，判断第一高频信息的像素数量是否小于第一预设数量；

016，当第一高频信息的像素数量小于第一预设数量，则确定原始图像的清晰度小于第一阈值。

在某些实施方式中，第一获取模块11可还包括第二获取单元113、第三获取单元114、第一判断单元115、和第二确定单元116，步骤013可由第二获取单元113执行，步骤014可由第三获取单元114执行，步骤015可由第一判断单元115执行，步骤016可由第二确定单元116执行。也即是说，第二获取单元113可用于对原始图像进行整形低通滤波以获取第一滤波图像；第三获取单元114可用于根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；第一判断单元115可用于判断第一高频信息的像素数量是否小于第一预设数量；第二确定单元116可用于在第一高频信息的像素数量小于第一预设数量时，确定原始图像的清晰度小于第一阈值。

在某些实施方式中，步骤013、步骤014、步骤015和步骤016均可由处理器230实现，也即是说，处理器230可用于：对原始图像进行整形低通滤波以获取第一滤波图像；根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；判断第一高频信息的像素数量是否小于第一预设数量；及当第一高频信息的像素数量小于第一预设数量，则确定原始图像的清晰度小于第一阈值。

具体地，原始图像可为在预定时间和/或预设场景下，从相册中获取具有人像的原始图像；或者在在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。在获取到原始图像后，对原始图像进行整形低通滤波处理，得到第一滤波图像，再由原始图像减去第一滤波图像，就能得到原始图像中的第一高频信息，第一高频信息是指离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；在得到第一高频信息后，可以统计第一高频信息的像素数量，第一高频信息的像素数量越多，则原始图像越清晰。

图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅原始图像中的第一高频信息的像素数量占该幅原始图像的所有像素数量的20％，则用占比20％来表征该幅原始图像的清晰度。由此可见，每一个清晰度对应一个第一高频信息的像素数量。

第一阈值是指一幅原始图像中的第一高频信息的像素数量为第一预设数量，且该第一预设数量与该幅原始图像的所有像素数量的比值，第一阈值是用来衡量原始图像是否需要修复的临界值。例如，在一幅原始图像中，若第一高频信息的像素数量小于第一预设数量时，则说明该幅原始图像的清晰度小于第一阈值，该幅原始图像需要被修复，即可作为待修复图像。

第一预设数量可与第一阈值相互对应，第一预设数量与第一阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量，自动关联上与第一预设数量对应的第一阈值，然后由用户根据不同需求选择不同的第一阈值。

以第一阈值为15％，一幅原始图像的所有像素数量为1600万，第一预设数量为240万为例进行说明，在获取到第一高频信息的像素数量小于240万时，则确定该幅原始图像的清晰度小于15％，并将该幅原始图像作为待修复图像。

请一并参阅图3、图12和图13，步骤06包括：

061，获取用户图像，用户图像包含预设用户；

062，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，第三获取模块16可包括第四获取单元161和第三确定单元162，其中，步骤061可由第四获取单元161执行，步骤062可由第三确定单元162执行。也即是说，第四获取单元161可用于获取用户图像，用户图像包含预设用户；第三确定单元162可用于将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，步骤061和步骤062均可由处理器230实现，也即是说，处理器230可用于：获取用户图像，用户图像包含预设用户；及将清晰度大于第二阈值的用户图像确定为参考图像。

具体地，用户图像为一幅或者多幅，每幅用户图像上均具有预设用户的人像，分别判断每幅用户图像的清晰度是否大于第二阈值，第二阈值可为一个预设的清晰度值，是用来衡量用户图像是否能够作为参考图像以做后续修复处理的临界值。其中，第二阈值大于第一阈值。将大于第二阈值的用户图像作为参考图像。例如，可在相册中获取多张具有用户人像的证件照，再获取每张证件照的清晰度，并对每张证件照的清晰度与第二阈值进行对比，将大于第二阈值的证件照作为参考图像。获取每幅用户图像的清晰度的方法可与上述原始图像的清晰度的获取方法相同，在此不再赘述。

请一并参阅图3、图14和图15，步骤061可包括：

0611，采集预设用户的人脸信息；及

0612，根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

在某些实施方式中，第四获取单元161可包括采集子单元1611和第三获取子单元1612，其中，步骤0611可由采集子单元1611执行，步骤0612可由第三获取子单元1612执行；也即是说，采集子单元1611可用于采集预设用户的人脸信息；第三获取子单元1612可用于根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

在某些实施方式中，步骤0611和步骤0612均可由处理器230实现，也即是说，处理器230可用于：采集预设用户的人脸信息；及根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

具体地，在采集预设用户人脸信息前，还可包括向用户申请进行信息采集，以电子设备200是手机为例，如图37所示，在用户第一次打开成像装置200进行拍摄时，会在手机上弹出确认框，由用户确认是否同意图像信息采集，若用户输入“是”，后续对待修复图像(包括从相册中获取的及在摄像头221拍摄过程中形成的)进行修复时，将自动读取人脸信息，而无需弹出确认框确认(即，自动授权读取)。若用户输入“否”，可以是始终禁止读取(采集)用户的人脸信息的权限，也可以是禁止当下使用成像装置200进行拍摄时去读取(采集)用户的人脸信息。在始终禁止读取(采集)用户的人脸信息的权限时，若用户下次打开成像装置200，则不会弹出确认框进行采集确认。当只是禁止当下使用成像装置200进行拍摄时去读取(采集)用户的人脸信息，则可再次弹出确认框由用户确认是否同意图像信息采集，用户输入“是”与“否”之后的操作同前一次输入“是”与“否”之后的操作，在此不再赘述。

用户图像为具有预设用户的人像的图像。以电子设备200是手机为例，可通过电子设备200中的摄像头221对用户的人脸进行采集，得到用户的人脸信息。需要说明的是，对人脸信息进行采集可通过采集用户人脸上的多个特征点，例如，对人脸上的五官、肤色、脸型等特征，根据采集到的人脸信息在相册中查找与人脸信息相似度大于第二预设相似度的图像。

在一个例子中，可获取相册中具有人像的图像，根据采集的人脸信息与每幅具有人像的图像进行对比，该对比可为人脸信息的特征点与对应的具有人像的图像特征点进行对比以得到该幅图像上的人脸信息与采集得到的用户的人脸信息的相似度。在相似度大于第二预设相似度时，说明该图像中的人像与用户为同一人，则相册中的该幅图像为用户图像；在相似度小于第二预设相似度时，说明该图像中的人像与用户不是同一个。

请参阅图38和图39，图38为摄像头采集到的预设用户的人脸信息，图39为相册中的3幅具有人脸的图像，将每幅图像与采集到的人脸信息进行对比，得到第一幅(图39中左图)中眉毛特征、眼睛特征和嘴巴特征与人脸信息对应的眉毛特征、眼睛特征和嘴巴特征不同，即相似度小于第二预设相似度，则第一幅不作为用户图像。第二幅(图39中的中间图)和第三幅(图39中的右图)中的各个特征都与人脸信息对应的特征相同，例如，鼻子特征，眼睛特征，嘴巴特征等，因此，第二幅和第三幅作为用户图像。

第二预设相似度与上文中的第一预设相似度的取值可以相同，也可以不同。在一个例子中，第二预设相似度的范围可为85％-100％，例如，第二预设相似度可以为85％、86％、87％、88％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。第二预设相似度在该范围时，既能保证获取用户图像的准确率，又能有较快的获取速度，进而加快图像处理的整体速度。

请一并参阅图3、图16和图17，步骤062可包括：

0621，在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，第三确定单元162可包括第一确定子单元1621，其中，步骤0621可由第一确定子单元1621执行；也即是说，第一确定子单元1621可用于在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，步骤0621可由处理器230实现，也即是说，处理器230可用于：在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

其中，此处的预定时间的解释与上文中的预定时间的解释相同，此处的预设场景的解释与上文中的预设场景的解释相同，在此不再赘述。由于图像处理装置100或者电子设备200在将清晰度大于第二阈值的用户图像确定为参考图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时进行清晰度的获取，进而确定参考图像，相较于图像处理装置100或者电子设备200也处于工作状态时获取清晰度并确定参考图像而言，不会造成内存抢占的问题。

请一并参阅图3、图18和图19，步骤06包括：

061，获取用户图像，用户图像包含预设用户；

063，对用户图像执行整形低通滤波以获取第二滤波图像；

064，根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；

065，判断第二高频信息的像素数量是否大于第二预设数量；

066，确定用户图像的清晰度大于第二阈值；及

062，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，第三获取模块16包括第四获取单元161、第五获取单元163、第六获取单元164、第二判断单元165、第四确定单元166及第三确定单元162，其中，步骤061可由第四获取单元161执行，步骤063可由第五获取单元163执行，步骤064可由第六获取单元164执行，步骤065可由第二判断单元165执行，步骤066可由第四确定单元166执行，步骤062可由第三确定单元162执行。也即是说，第四获取单元161可用于获取用户图像，用户图像包含预设用户；第五获取单元163可用于对用户图像执行整形低通滤波以获取第二滤波图像；第六获取单元164可用于根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；第二判断单元165可用于判断第二高频信息的像素数量是否大于第二预设数量；第四确定单元166可用于确定用户图像的清晰度大于第二阈值；及第三确定单元162可用于将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，步骤061、步骤063、步骤064、步骤065、步骤066及步骤062均可由处理器230实现，也即是说，处理器230可用于：获取用户图像，所述用户图像包含所述预设用户；对用户图像执行整形低通滤波以获取第二滤波图像；根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；判断第二高频信息的像素数量是否大于第二预设数量；确定用户图像的清晰度大于第二阈值；及将清晰度大于第二阈值的用户图像确定为参考图像。

具体地，在相册中获取一幅或者多幅用户图像后，对每幅用户图像执行整形低通滤波得到第二滤波图像，再将用户图像减去第二滤波图像，即可得到第二高频信息，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息。得到第二高频信息后，可通过对第二高频信息的像素数量与第二预设数量进行对比，在第二高频信息的像素数量大于第二预设数量时，确定该幅用户图像的清晰度也大于第二阈值，说明该幅用户图像比较清晰，因此，可将该幅用户图像作为参考图像。

第二阈值是指一幅用户图像中的第二高频信息的像素数量为第二预设数量，且该第二预设数量与该幅用户图像的所有像素数量的比值，第二阈值是用来衡量用户图像是否能够作为参考图像以做后续修复处理的临界值。例如，在一幅用户图像中，若第二高频信息的像素数量大于第二预设数量时，则说明该幅用户图像的清晰度大于第二阈值，该幅用户图像可能被作为参考图像。

第二预设数量可与第二阈值相互对应，第二阈值大于第一阈值，第二预设数量也大于第一预设数量。第二预设数量与第二阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第二预设数量，自动关联上与第二预设数量对应的第二阈值，然后由用户根据不同需求选择不同的第二阈值。

以第二阈值为25％，一幅用户图像的所有像素数量为1600万，第二预设数量为400万为例进行说明，在获取到第二高频信息的像素数量大于400万时，则确定该幅用户图像的清晰度大于25％，并可将该幅用户图像作为参考图像。

请一并参阅图3、图20和图21，修复参数可包括磨皮参数，人像修复算法可包括磨皮算法，步骤07包括：

071，根据参考图像的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，第二处理模块17可包括第一处理单元171，其中，步骤071可由第一处理单元171执行；也即是说，第一处理单元171可用于根据参考图像的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

某些实施方式中，步骤071可由处理器230实现，也即是说，处理器230可用于：根据参考图像的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

具体地，磨皮参数的解释同前，在此不再赘述。由于参考图像可为一幅或者多幅，在一个例子中，参考图像只有一幅，将磨皮算法看作一个函数F(x1)，其中，x1为磨皮参数，则参考图像中的磨皮参数(磨皮力度)可作为函数中的x1，即，将参考图像中的磨皮参数代入磨皮算法中对修复图像中的人脸区域进行磨皮，以得到符合用户喜好的目标图像。

在另一个例子中，参考图像有多幅，可分别获取每幅参考图像的磨皮参数(磨皮力度)，对多幅参考图像的多个磨皮力度求平均值得到一个平均磨皮力度，可将该平均磨皮力度作为函数中的x1，即，将平均磨皮力度输入到磨皮算法中，对修复图像中的人脸区域进行磨皮，以得到符合用户喜好的目标图像。

在又一个例子中，参考图像有多幅，可分别获取每幅参考图像的磨皮参数(磨皮力度)，对多幅参考图像的多个磨皮力度进行加权处理，得到一个加权磨皮力度，可将该加权磨皮力度作为函数中的x1，即，将加权磨皮力度输入到磨皮算法中，对修复图像中的人脸区域进行磨皮，以得到符合用户喜好的目标图像。

其中，考虑多幅参考图像的磨皮参数得到最终要用的磨皮参数，例如平均磨皮参数(平均磨皮力度)或加权磨皮参数(加权磨皮力度)，相对于只考虑单幅参考图像的磨皮参数，利用磨皮算法进行处理得到的目标图像更符合用户需求。另外，加权磨皮参数相对于平均磨皮参数更能反映用户真实喜好，因此，利用加权磨皮参数进行磨皮相对于利用平均磨皮参数进行磨皮而言，也得到的目标图像也更符合用户需求。

请一并参阅图3、图22和图23，参考图像为多幅，图像处理方法还包括：

08，获取每幅参考图像的磨皮参数；

09，统计每个磨皮参数出现的次数，以得到每个磨皮参数的使用频率；

步骤071还包括：

0711，根据使用频率最高的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，图像处理装置100还可包括第四获取模块18及统计模块19，第一处理单元171还可包括第一处理子单元1711，其中，步骤08可由第四获取模块18执行，步骤09可由统计模块19执行，步骤0711可由第一处理子单元1711执行。也即是说，第四获取模块18可用于获取每幅参考图像的磨皮参数；统计模块19可用于统计每个磨皮参数出现的次数，以得到每个磨皮参数的使用频率；第一处理子单元1711可用于根据使用频率最高的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，步骤08、步骤09和步骤0711均可由处理器230实现，也即是说，处理器230还可用于：获取每幅参考图像的磨皮参数；统计每个磨皮参数出现的次数，以得到每个磨皮参数的使用频率；及根据使用频率最高的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

例如，请参阅图40，图40中包括8幅参考图像，获取每幅参考图像的磨皮参数分别为4、5、5、5、6、8、4、8，统计每个磨皮参数出现的次数，并分析出磨皮参数4的使用频率为0.25，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.125，磨皮参数8的使用频率为0.25，则根据使用频率最高的磨皮参数5，采用磨皮算法对修复图像中的人像区域进行处理。

在其他实施方式中，在参考图像为多幅时，可通过获取多幅参考图像的磨皮参数，再统计每个磨皮参数的使用频率，对使用频率最高的多个磨皮参数进行加权处理，以得到加权磨皮参数，最后根据加权磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。例如，请参阅图41，图41中包括8幅参考图像，获取每幅参考图像的磨皮参数分别为2、5、5、5、6、6、7、8，统计每个磨皮参数出现的次数，并分析出磨皮参数2的使用频率为0.125，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.25，磨皮参数7的使用频率为0.125，磨皮参数8的使用频率为0.125，则对使用频率最高的两个磨皮参数5和6进行加权，加权磨皮参数的加权函数为f＝cx+dy，其中，c和d为权重，x和y分别对应两个使用频率最高的磨皮参数。将两个磨皮参数5和6代入至函数中可得到对应的加权磨皮参数。根据加权磨皮参数采用磨皮算法对修复图像中的人脸区域进行处理，以得到目标图像。当然，还可以是使用频率最高的三个磨皮参数进行加权处理，或者三个以上，在此不一一列举。

请一并参阅图3、图24和图25，步骤071还包括：

0712，对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；

0713，对修复图像的皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；

0714，根据参考图像的磨皮参数采用磨皮算法对缺陷区域进行处理，以得到磨皮图像；及

0715，对磨皮图像进行纹理恢复，以得到目标图像。

在某些实施方式中，第一处理单元171可包括第一分区子单元1712、第二分区子单元1713、第二处理子单元1714及恢复子单元1715，其中，步骤0712可由第一分区子单元1712执行，步骤0713可由第二分区子单元1713执行，步骤0714可由第二处理子单元1714执行，步骤0715可由恢复子单元1715执行。也即是说，第一分区子单元1712可用于对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；第二分区子单元1713可用于对修复图像的皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；第二处理子单元1714可用于根据参考图像的磨皮参数采用磨皮算法对缺陷区域进行处理，以得到磨皮图像；恢复子单元1715可用于对磨皮图像进行纹理恢复，以得到目标图像。

在某些实施方式中，步骤0712、步骤0713、步骤0714和步骤0715均可由处理器230实现，也即是说，处理器230可用于：对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；对修复图像的皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；根据参考图像的磨皮参数采用磨皮算法对缺陷区域进行处理，以得到磨皮图像；及对磨皮图像进行纹理恢复，以得到目标图像。

具体地，肤色分区可通过将修复图像输入至皮肤提取模型中对皮肤进行提取，皮肤提取模型可包括YCrCb模型或者肤色椭圆模型等等，例如，将修复图像输入至YCrCb模型中将修复图像中的RGB模型转换为YCrCb模型，可根据不同的肤色对YCrCb模型中的Cr分量和Cb分量的设置以提取得到更好的皮肤区域，例如，黄种人的Cr分量大约在133至173之间，Cb分量大约在77至127之间。

肤质分区可采用高反差方式来提取对应的缺陷区域，缺陷区域是指皮肤区域中存在不平滑的区域，例如，脸上的痘痘、疤痕、毛孔等等均可为缺陷区域。高反差方式可指在皮肤区域中获取与周围像素点的像素值存在差异较大的像素点，这些像素点构成的区域则为缺陷区域。得到缺陷区域后，根据参考图像中的磨皮参数采用磨皮算法对缺陷区域进行磨皮处理，得到磨皮图像。

纹理恢复是指对磨皮图像进行回帖纹理，纹理恢复也可分为1至10个等级，纹理恢复的力度与磨皮力度对应。例如，在对缺陷区域进行磨皮力度5进行磨皮处理，在纹理恢复时，纹理恢复力度也为5，纹理恢复增加了目标图像的锐化程度，防止磨皮过度导致图像不真实。

请一并参阅图3、图26和图27，步骤02可包括：

021，获取参照图像，参照图像的清晰度高于第三阈值；及

022，根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

在某些实施方式中，第一处理模块12可包括第七获取单元121和第二处理单元122，其中，步骤021可由第七获取单元121执行，步骤022可由第二处理单元122执行；也即是说，第七获取单元121可用于获取参照图像，参照图像的清晰度高于第三阈值；第二处理单元122可用于根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

在某些实施方式中，步骤021和步骤022均可由处理器230实现，也即是说，处理器230可用于：获取参照图像，参照图像的清晰度高于第三阈值；及根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像。

具体地，参照图像可包括预设用户人像或预设标准人像。以电子设备200是手机为例，预设用户人像可通过获取电子设备200中的用户提前拍摄好的人像，需要说明的是，该预设用户人像可为用户相册中的证件照或者其他清晰度更高的具有人像的图像。当电子设备200中没有预设用户人像时，可通过获取一个预设的标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设用户人像和预设标准人像的清晰度都要大于第三阈值，第三阈值可预先设置，只有大于第三阈值的图像才能作为参照图像(预设用户人像或者预设标准人像)，以达到更好的图像处理效果。

更具体地，第三阈值可与第二阈值相同，也可与第二阈值不同，但第三阈值要大于第一阈值，以得到清晰度更高的参照图像，提升图像处理效果。

请一并参阅图3、图28和图29，步骤021包括：

0211，对待修复图像的人像区域和预设用户的人像进行人脸检测；

0212，判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

0213，在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；

0214，在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

在某些实施方式中，第七获取单元121包括检测子单元1211、判断子单元1212、第二确定子单元1213及第四获取子单元1214，其中，步骤0211可由检测子单元1211执行，步骤0212可由判断子单元1212执行，步骤0213可由第二确定子单元1213执行，步骤0214可由第四获取子单元1214执行；也即是说，检测子单元1211可用于对待修复图像的人像区域和预设用户的人像进行人脸检测；判断子单元1212可用于判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；第二确定子单元1213可用于在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；第四获取子单元1214可用于在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

在某些实施方式中，步骤0211、步骤0212、步骤0213和步骤0214均可由处理器230实现，也即是说，处理器230可用于：对待修复图像的人像区域和预设用户的人像进行人脸检测；判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；及在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

具体地，对待修复图像和预设用户人像的人脸进行检测，该检测方法可先分别获取待修复图像中的人脸特征点和预设用户人像中的人脸特征点，再对两个图像的人脸特征点进行比较，若两个图像的人脸特征点的相似度大于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是属于同一人，此时，就根据该预设用户人像对待修复图像的人像区域进行人像超分算法处理得到修复图像。使用同一人的两张图像进行处理，得到的修复图像中的人像与用户本人更加相似，也更加自然，用户体验会更好。若两个图像的人脸特征点的相似度低于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是不属于同一人，这时采用标准人像作为参照图像进行超分算法处理，得到的效果会更好。因此，可根据预设标准人像对待修复图像的人像区域进行人像超分算法处理，以得到修复图像。

更具体地，判断待修复图像的人像区域与预设用户人像的相似度的方法可与上文中在描述04步骤时判断修复图像的人脸与预设用户的人脸的相似度的方法相同，在此不再赘述。

请一并参阅图3、图30和图31，步骤022包括：

0221，获取待修复图像经上采样后的第一特征图；

0222，获取参照图像经过上采样和下采样后的第二特征图；

0223，获取参照图像未经过上采样和下采样的第三特征图；

0224，获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；

0225，获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；

0226，合并交换特征图与第一特征图，以得到第四特征图；

0227，将第四特征图放大预定倍数以得到第五特征图；及

0228，将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

在某些实施方式中，第二处理单元122可包括第五获取子单元1221、第六获取子单元1222、第七获取子单元1223、第八获取子单元1224、第九获取子单元1225、合并子单元1226、放大子单元1227及第三处理子单元1228，其中，步骤0221可由第五获取子单元1221执行，步骤0222可由第六获取子单元1222执行，步骤0223可由第七获取子单元1223执行，步骤0224可由第八获取子单元1224执行，步骤0225可由第九获取子单元1225执行，步骤0226可由合并子单元1226执行，步骤0227可由放大子单元1227执行，步骤0228可由第三处理子单元1228执行。也即是说，第五获取子单元1221可用于获取待修复图像经上采样后的第一特征图；第六获取子单元1222可用于获取参照图像经过上采样和下采样后的第二特征图；第七获取子单元1223可用于获取参照图像未经过上采样和下采样的第三特征图；第八获取子单元1224可用于获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；第九获取子单元1225可用于获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；合并子单元1226可用于合并交换特征图与第一特征图，以得到第四特征图；放大子单元1227可用于将第四特征图放大预定倍数以得到第五特征图；第三处理子单元1228可用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

在某些实施方式中，步骤0221、步骤0222、步骤0223、步骤0224、步骤0225、步骤0226、步骤0227及步骤0228均可由处理器230实现，也即是说，处理器230还可用于：获取待修复图像经上采样后的第一特征图；获取参照图像经过上采样和下采样后的第二特征图；获取参照图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；及将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

具体地，上采样可理解为对待修复图像或者参照图像进行放大处理，下采样可理解为对参照图像进行缩小处理。

更具体地，请参阅图32，步骤0221可包括：

02211，对待修复图像进行上采样；

02212，将上采样后的待修复图像输入到卷积神经网络进行特征提取，得到第一特征图；

步骤0222可包括：

02221，对参照图像进行下采样；

02222，对下采样后的参照图像进行上采样；

02223，将上采样后的参照图像输入到卷积神经网络进行特征提取，得到第二特征图；

步骤0223可包括：

02231，将参照图像输入到卷积神经网络进行特征提取，得到第三特征图。

通过对待修复图像进行上采样(放大)处理，在将上采样后的待修复图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为待修复图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对待修复图像进行放大导致第一特征图的清晰度较低，而参照图像的清晰度是比较高的，因此需要对参照图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参照图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参照图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第三预设相似度进行比较，若相似度大于或等于第三预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参照特征。再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度超过第四预设相似度进行比较，若相似度大于或等于第四预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为修复图像。需要说明的是，第三预设相似度和第四预设相似度可与上文中第一预设相似度和第二预设相似度相同，在此不再赘述。

请一并参阅图3、图33和图34，修复参数包括妆容参数，人像修复算法包括妆容算法，步骤07包括：

072，根据参考图像的妆容参数采用妆容算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，第二处理模块17包括第三处理单元172，其中，步骤072可由第三处理单元172执行；也即是说，第三处理单元172可用于根据参考图像的妆容参数采用妆容算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，步骤072可由处理器230实现，也即是说，处理器230可用于：根据参考图像的妆容参数采用妆容算法对修复图像中的人像区域进行处理，以得到目标图像。

具体地，妆容参数的解释同前，在此不再赘述。由于参考图像可为一幅或者多幅，在一个例子中，参考图像只有一幅，将妆容算法看作一个函数F(x2)，其中，x2为妆容参数，则参考图像中的妆容参数(妆容力度)可作为函数中的x2，即，将参考图像中的妆容参数代入妆容算法中对修复图像中的人脸区域进行妆容处理，以得到符合用户喜好的目标图像。

在另一个例子中，参考图像有多幅，可分别获取每幅参考图像的妆容参数(妆容力度)，对多幅参考图像的多个妆容力度求平均值得到一个平均妆容力度，可将该平均妆容力度作为函数中的x2，即，将平均妆容力度输入到妆容算法中，对修复图像中的人脸区域进行妆容处理，以得到符合用户喜好的目标图像。

在又一个例子中，参考图像有多幅，可分别获取每幅参考图像的妆容参数(妆容力度)，对多幅参考图像的多个妆容力度进行加权处理，得到一个加权妆容力度，可将该加权妆容力度作为函数中的x2，即，将加权妆容力度输入到妆容算法中，对修复图像中的人脸区域进行妆容处理，以得到符合用户喜好的目标图像。

其中，考虑多幅参考图像的妆容参数得到最终要用的妆容参数，例如平均妆容参数(平均妆容力度)或加权妆容参数(加权妆容力度)，相对于只考虑单幅参考图像的妆容参数，利用妆容算法进行处理得到的目标图像更符合用户需求。另外，加权妆容参数相对于平均妆容参数更能反映用户真实喜好，因此，利用加权妆容参数进行磨皮相对于利用平均妆容参数进行磨皮而言，也得到的目标图像也更符合用户需求。

另外，需要说明的是，妆容是多维度的，在一个例子中，可以是每个维度进行妆容处理，对应的妆容算法也有多个，例如口红妆容算法、眉毛妆容算法、眼影妆容算法、腮红妆容算法、及鼻梁妆容算法，根据获取的红妆容力度(A1～An)、眉毛妆容力度(B1～Bn)、眼影妆容力度(C1～Cn)、腮红妆容力度(D1～Dn)及鼻梁妆容力度(E1～En)采用对应的妆容算法进行妆容处理，即可获得符合用户喜好的目标图像。在另一个例子中，妆容算法只有一个，根据获取的红妆容力度(A1～An)、眉毛妆容力度(B1～Bn)、眼影妆容力度(C1～Cn)、腮红妆容力度(D1～Dn)及鼻梁妆容力度(E1～En)及该一个妆容算法进行妆容处理(包括针对口红、眉毛、眼影、腮红、及鼻梁等至少一个维度)，即可获得符合用户喜好的目标图像。

请参阅图35，步骤07包括：

073，根据使用频率最高的磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到中间图像；

074，判断是否需要应用妆容算法进行妆容处理；

075，在确定需要应用妆容算法进行修复时，根据参考图像的妆容参数采用妆容算法对中间图像中的人像区域进行处理，以得到目标图像。

具体地，磨皮算法处理可为去纹理操作，妆容参数可为纹理恢复的操作，因此先对修复图像中的人像区域进行磨皮算法处理，得到磨皮后的中间图像，在确定需要进行妆容算法时，对中间图像进行妆容算法的处理，避免了由于磨皮过度导致的图像质量下降的问题。

在一个例子中，参考图像为单幅，对应的磨皮参数也为一个，则根据该磨皮参数采用磨皮算法对修复图像中的人像区域进行处理，以得到中间图像。在另一个例子中，参考图像可为多幅，可分别获取每幅参考图像的磨皮参数(磨皮力度)，对多幅参考图像的多个磨皮力度求平均值得到一个平均磨皮力度，再根据该平均磨皮力度采用磨皮算法对修复图像中的人像区域进行处理，以得到中间图像。在又一个例子中，参考图像为多幅时，可分别获取每幅参考图像的磨皮参数(磨皮力度)，对多幅参考图像的多个磨皮力度进行加权处理，得到一个加权磨皮力度，再根据该加权磨皮力度采用磨皮算法对修复图像中的人像区域进行处理，以得到中间图像。当然，还可以通过其他方式对多幅参考图像的磨皮力度进行处理，在此不再一一举例。

请一并参阅图1、图2、图3和图36，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

01，获取具有人像的待修复图像；

02，对所待修复图像的人像区域进行修复处理，以得到修复图像；

03，对所修复图像的人像区域及预设用户的人像进行人脸检测；

04，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

05，在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；

06，获取参考图像；及

07，根据参考图像的修复参数采用人像修复算法对修复图像中的人像区域进行处理，以得到目标图像。

计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。

可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

获取具有人像的待修复图像；

对所述修复图像的人像区域及预设用户的人像进行人脸检测；

在所述待修复图像的人脸与所述预设用户的人脸的相似度大于或等于第一预设相似度时，将所述预设用户的人像作为参照图像；

在所述待修复图像的人脸与所述预设用户的人脸的相似度小于所述第一预设相似度时，获取预设的标准人像作为参照图像，所述参照图像的清晰度高于第三阈值，所述标准人像为网络上下载的高清人像；

根据所述参照图像对所述待修复图像进行人像超分算法处理，以得到修复图像；

在所述修复图像的人像与所述预设用户的人像之间的相似度大于所述第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法，还包括：

在所述修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

在所述修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；

获取参考图像，所述参考图像中包含所述预设用户；及

根据所述参考图像的修复参数采用所述人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述获取具有人像的待修复图像，包括：

获取具有人像的原始图像；及

将清晰度小于第一阈值的所述原始图像确定为所述待修复图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述获取具有人像的原始图像包括：

在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

5.根据权利要求3所述的图像处理方法，其特征在于，所述获取具有人像的原始图像包括：

在摄像头拍摄过程中，获取所述摄像头拍摄的具有人像的原始图像。

6.根据权利要求3所述的图像处理方法，其特征在于，所述获取具有人像的待修复图像，还包括：

对所述原始图像执行整形低通滤波以获取第一滤波图像；

根据所述原始图像与所述第一滤波图像获取所述原始图像中的第一高频信息，其中，所述第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述原始图像的细节信息；及

当所述第一高频信息的像素数量小于第一预设数量，则确定所述原始图像的清晰度小于所述第一阈值。

7.根据权利要求2所述的图像处理方法，其特征在于，所述获取参考图像，包括：

获取用户图像，所述用户图像包含所述预设用户；

将清晰度大于第二阈值的所述用户图像确定为参考图像。

8.根据权利要求7所述的图像处理方法，其特征在于，所述获取用户图像，包括：

采集用户的人脸信息；及

根据所述人脸信息在相册中获取与所述人脸信息相似度大于第二预设相似度的图像以作为所述用户图像。

9.根据权利要求7所述的图像处理方法，其特征在于，所述将清晰度大于第二阈值的所述用户图像确定为参考图像，包括：

在预定时间和/或预设场景下，将清晰度大于第二阈值的所述用户图像确定为参考图像。

10.根据权利要求7所述的图像处理方法，其特征在于，所述获取参考图像，还包括：

对所述用户图像执行整形低通滤波以获取第二滤波图像；

根据所述用户图像与所述第二滤波图像获取所述用户图像中的第二高频信息，其中，所述第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述用户图像的细节信息；及

当所述第二高频信息的像素数量大于第二预设数量，则确定所述用户图像的清晰度大于所述第二阈值。

11.根据权利要求2所述的图像处理方法，其特征在于，所述修复参数包括磨皮参数，所述人像修复算法包括磨皮算法，所述根据所述参考图像的修复参数采用所述人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

根据所述参考图像的磨皮参数采用所述磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像。

12.根据权利要求11所述的图像处理方法，其特征在于，所述参考图像为多幅，所述图像处理方法还包括：

获取每幅所述参考图像的磨皮参数；

统计每个所述磨皮参数出现的次数，以得到每个所述磨皮参数的使用频率；

所述根据所述参考图像的磨皮参数采用所述磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

根据使用频率最高的所述磨皮参数采用所述磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像。

13.根据权利要求11所述的图像处理方法，其特征在于，所述根据所述参考图像的磨皮参数采用所述磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

对所述修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；

对所述修复图像的皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；

根据所述参考图像的磨皮参数采用所述磨皮算法对所述缺陷区域进行处理，以得到磨皮图像；

对所述磨皮图像进行纹理恢复，以得到所述目标图像。

14.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参照图像对所述待修复图像进行人像超分算法，以得到所述修复图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参照图像经上采样和下采样后的第二特征图；

获取所述参照图像的第三特征图；

获取所述第二特征图中与所述第一特征图超过第三预设相似度的特征以作为参照特征；

获取第三特征图中与所述参照特征相似度超过第四预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述修复图像。

15.根据权利要求2所述的图像处理方法，其特征在于，所述修复参数包括妆容参数，所述人像修复算法包括妆容算法，所述根据所述参考图像的修复参数采用所述人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

根据所述参考图像的妆容参数采用所述妆容算法对所述修复图像中的人像区域进行处理，以得到目标图像。

16.一种图像处理装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于获取具有人像的待修复图像；

第一处理模块，所述第一处理模块用于：对所述修复图像的人像区域及预设用户的人像进行人脸检测；在所述待修复图像的人脸与所述预设用户的人脸的相似度大于或等于第一预设相似度时，将所述预设用户的人像作为参照图像；在所述待修复图像的人脸与所述预设用户的人脸的相似度小于所述第一预设相似度时，获取预设的标准人像作为参照图像；根据参照图像对待修复图像进行人像超分算法处理，以得到修复图像，所述标准人像为网络上下载的高清人像，所述参照图像的清晰度高于第三阈值；

第二处理模块，所述第二处理模块用于在所述修复图像的人像与预设用户的人像之间的相似度大于第一预设相似度时，根据所述预设用户历史使用的修复参数采用预设的人像修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

17.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-15中任一项所述的图像处理方法。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-15中任一项所述的图像处理方法。

Images