CN110930338A - 图像处理方法、图像处理装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取具有人像的待修复图像；对待修复图像的人像区域进行修复处理，以得到修复图像；对修复图像的人像区域及预设用户的人像进行人脸检测；在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及根据定制修复算法对修复图像中的人像区域进行处理，以得到目标图像。本申请公开一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质根据定制修复算法对修复图像中的人像区域进行处理，得到的目标图像相较于直接使用系统预设的处理方案进行处理得到的图像更符合用户的喜好，提升用户体验。

Description

图像处理方法、图像处理装置、电子设备和计算机可读存储 介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

目前，在拍摄图像时，尤其是自拍或者对人物进行拍摄时，多会使用美颜、磨皮等对图像进行处理，以得到美颜效果更好的图像。但是，在对图像进行美颜、磨皮等处理时，用户多采用系统预设的处理方案进行处理，系统预设的处理方案与用户本身喜欢的处理方案可能存在偏差，导致得到的美颜图像与用户想要得到的图像存在差别。

发明内容

本申请的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

本申请实施方式的图像处理方法包括：获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；对所述修复图像的人像区域及预设用户的人像进行人脸检测；在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理装置包括：第一获取模块、第一处理模块、检测模块、第二获取模块及第二处理模块。所述第一获取模块用于获取具有人像的待修复图像；所述第一处理模块用于对所述待修复图像的人像区域进行修复处理，以得到修复图像；所述检测模块用于对所述修复图像的人像区域及预设用户的人像进行人脸检测；所述第二获取模块用于在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；所述第二处理模块用于根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的电子设备包括壳体和处理器，所述处理器安装在所述壳体上。所述处理器用于：获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；对所述修复图像的人像区域及预设用户的人像进行人脸检测；在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现：获取具有人像的待修复图像；对所述待修复图像的人像区域进行修复处理，以得到修复图像；对所述修复图像的人像区域及预设用户的人像进行人脸检测；在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质通过先对待修复图像进行修复处理得到修复图像，再根据定制修复算法对修复图像中的人像区域进行处理，得到的目标图像相较于直接使用系统预设的处理方案进行处理得到的图像更符合用户的喜好，从而提升用户体验。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的图像处理方法的流程示意图。

图2是本申请某些实施方式的图像处理装置的示意图。

图3是本申请某些实施方式的电子设备的示意图。

图4是本申请某些实施方式的图像处理方法的流程示意图。

图5是本申请某些实施方式的图像处理装置中第一获取模块的示意图。

图6是本申请某些实施方式的图像处理方法的流程示意图。

图7是本申请某些实施方式的图像处理装置中第一获取模块的示意图。

图8是本申请某些实施方式的图像处理方法的流程示意图。

图9是本申请某些实施方式的图像处理装置中的第一获取模块的示意图。

图10是本申请某些实施方式的图像处理方法的流程示意图。

图11是本申请某些实施方式的图像处理装置中第一获取模块的示意图。

图12是本申请某些实施方式的图像处理方法的流程示意图。

图13是本申请某些实施方式的图像处理装置中第二获取模块的示意图。

图14是本申请某些实施方式的图像处理方法的流程示意图。

图15是本申请某些实施方式的图像处理装置中第二获取模块的示意图。

图16是本申请某些实施方式的图像处理方法的流程示意图。

图17是本申请某些实施方式的图像处理装置中第二获取模块的示意图。

图18是本申请某些实施方式的图像处理方法的流程示意图。

图19是本申请某些实施方式的图像处理装置中第二获取模块的示意图。

图20是本申请某些实施方式的图像处理方法的流程示意图。

图21是本申请某些实施方式的图像处理装置中第二获取模块的示意图。

图22是本申请某些实施方式的图像处理方法的流程示意图。

图23是本申请某些实施方式的第二获取模块中第一处理单元的示意图。

图24是本申请某些实施方式的图像处理方法的流程示意图。

图25是本申请某些实施方式的图像处理装置的示意图。

图26是本申请某些实施方式的图像处理方法的流程示意图。

图27是本申请某些实施方式的第二处理模块中第二处理单元的示意图。

图28是本申请某些实施方式的图像处理方法的流程示意图。

图29是本申请某些实施方式的图像处理装置中第一处理模块的示意图。

图30是本申请某些实施方式的图像处理方法的流程示意图。

图31是本申请某些实施方式的第一处理模块中第八获取单元的示意图。

图32是本申请某些实施方式的图像处理方法的流程示意图。

图33是本申请某些实施方式的第一处理模块中第三处理单元的示意图。

图34和图35是本申请某些实施方式的图像处理方法的流程示意图。

图36是本申请某些实施方式的图像处理装置的示意图。

图37是本申请某些实施方式的图像处理方法的流程示意图。

图38是本申请某些实施方式的图像处理装置的示意图。

图39是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

图40是本申请某些实施方式的电子设备的场景示意图。

图41是本申请某些实施方式的采集的用户人脸信息的场景示意图。

图42是本申请某些实施方式的相册中具有人像的图像的场景示意图。

图43和图44是本申请某些实施方式的多幅参考图像的磨皮参数和妆容参数的场景示意图。

图45和图46是本申请某些实施方式的多幅参考图像的磨皮参数的场景示意图。

图47是本申请某些实施方式的电子设备的场景示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

请参阅图1，本申请实施方式的一种图像处理方法包括：

01，获取具有人像的待修复图像；

02，对待修复图像的人像区域进行修复处理，以得到修复图像；

03，对修复图像的人像区域及预设用户的人像进行人脸检测；

04，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

05，在修复图像的人脸与预设用户的人脸之间的相似度大于或等于第一预设相似度时，获取定制修复算法；及

06，根据定制修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请结合图1及图2，本申请实施方式的一种图像处理装置100包括第一获取模块11、第一处理模块12、检测模块13、第一判断模块14、第二获取模块15及第二处理模块16，图像处理装置100可用于实现本申请实施方式的图像处理方法，步骤01可由第一获取模块11执行，步骤02可由第一处理模块12执行，步骤03可由检测模块13执行，步骤04可由第一判断模块14执行，步骤05可由第二获取模块15执行，步骤06可由第二处理模块16执行。也即是说，第一获取模块11可用于获取具有人像的待修复图像；第一处理模块12可用于对所待修复图像的人像区域进行修复处理，以得到修复图像；检测模块13可用于对所修复图像的人像区域及预设用户的人像进行人脸检测；第一判断模块14可用于判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；第二获取模块15可用于在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；第二处理模块16可用于根据定制修复算法对修复图像中的人像区域进行处理，以得到目标图像。

请结合图1及图3，本申请实施方式的一种电子设备200，电子设备200包括壳体210和处理器230，处理器230安装在壳体210上。处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03、步骤04、步骤05、步骤06均可由处理器230实现，也即是说，处理器230可用于：获取具有人像的待修复图像；对所待修复图像的人像区域进行修复处理，以得到修复图像；对所修复图像的人像区域及预设用户的人像进行人脸检测；判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度时，获取预设的人像修复算法；及根据定制修复算法对修复图像中的人像区域进行处理，以得到目标图像。

本申请实施方式的图像处理方法、图像处理装置100和电子设备200通过先对待修复图像先进行修复处理得到修复图像，再根据定制修复算法对修复图像中的人像区域进行处理，得到的目标图像相较于直接使用系统预设的处理方案进行处理得到的图像更符合用户的喜好，提升用户体验。

具体地，预设用户的人像是指具有用户本人的人像的图像，该图像可预先存储在图像处理装置100或者电子设备200中的存储元件中，或者直接由图像处理装置100的获取单元或者电子设备200的摄像头221直接获取用户的人像图像并进行存储，其中，该预设用户的人像图像用户可进行更改，以获得更好的用户的人像。

具体地，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度可以确定出修复图像上的人像与预设用户的人像是否为同一个人。通过对修复图像的人脸的特征和预设用户的人脸的特征进行检测，该特征包括五官特征、皮肤特征、头发特征中的至少一种，经过对比，若修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度，则可确定该幅修复图像中的人像为预设用户的人像；若修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度，则可确定该幅修复图像中的人像不是预设用户的人像，通常预设用户为机主本人，但特殊情况下，也可以是机主授权的特定用户。其中，第一预设相似度的值越大，修复图像上的人像与预设用户的人像越相似，就越能说明修复图像中的人像属于预设用户的；第一预设相似度的值越小，对比工作量越小，对比速度也就越高。本实施方式中，第一预设相似度的范围可为70％-100％，例如，第一预设相似度可以为70％、71％、75％、80％、85％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。第一预设相似度在该范围时，既能保证对比的准确率，又能有较快的比对速度，进而加快图像处理的整体速度。

更具体地，定制修复算法中可包括磨皮参数，磨皮参数可用磨皮力度来表征，而磨皮力度通常由诸如1、1.5、2、2.1、3、4、5、5.2、6、7、8、9、9.5、9.9、10等数字来表示，数字越大，磨皮力度越大，数字越小，磨皮力度越小。定制修复算法中还可包括妆容参数，妆容参数可用妆容力度来表征，妆容可包括口红、眉毛、眼影、腮红、及鼻梁等至少一个维度的妆容，对应地，妆容力度可包括口红妆容力度(可用A1～An表征)、眉毛妆容力度(B1～Bn表征)、眼影妆容力度(C1～Cn表征)、腮红妆容力度(D1～Dn表征)、及鼻梁妆容力度(E1～En表征)中的至少一种，其中n≥2。每一个维度对应的数字越大，该维度对应的妆容就越浓，也即该维度对应的妆容力度越大，每一个维度对应的数字越小，该维度对应的妆容就越淡，也即该维度对应的妆容力度越小。以口红妆容力度为例进行说明，口红妆容力度A1表示颜色比较淡的口红妆，口红妆容力度A2表示颜色深度适中的口红妆，口红妆容力度A3表示颜色较重的口红妆。其他维度的妆容力度以此为参照，在此不一一列举。

请一并参阅图3、图4和图5，步骤01包括：

011，获取具有人像的原始图像；及

012，将清晰度小于第一阈值的原始图像确定为待修复图像。

在某些实施方式中，第一获取模块11还可包括第一获取单元111和第一确定单元112，其中，步骤011可由第一获取单元111执行，步骤012可由第一确定单元112执行。也即是说，第一获取单元111可用于获取具有人像的原始图像；第一确定单元112可用于将清晰度小于第一阈值的原始图像确定为待修复图像。

在某些实施方式中，步骤011和步骤012均可由处理器230实现，也即是说，处理器230可用于：获取具有人像的原始图像；及将清晰度小于第一阈值的原始图像确定为待修复图像。

具体地，原始图像可指相册中保存的图像或者摄像头221直接拍摄得到的图像，原始图像可为一幅或者多幅，多幅是指两幅或者两幅以上。可先通过获取每幅原始图像的清晰度，通过对每幅原始图像的清晰度与第一阈值进行对比，在清晰度小于第一阈值时，说明该幅原始图像的清晰度比较低，比较模糊，则该幅原始图像需要进行修复处理，因此，将该幅原始图像确定为待修复图像；在清晰度大于第一阈值时，说明该幅原始图像的清晰度较高，该幅原始图像无需进行修复处理；在原始图像的清晰度等于第一阈值时，既可将该幅原始图像确定为待修复图像，也可将该幅原始图像确定为非待修复图像。通过对每幅原始图像的清晰度进行对比，只对清晰度较低的原始图像进行修复处理，减少了图像修复的工作量，从而加快了图像处理的整体速度。

请一并参阅图3、图6和图7，步骤011包括：

0111，在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

在某些实施方式中，第一获取单元111可包括第一获取子单元1111，其中，步骤0111可由第一获取子单元1111执行；也即是说，第一获取子单元1111可用于在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

在某些实施方式中，步骤0111可由处理器230实现，也即是说，处理器230可用于：在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

对于在预定时间，从相册中获取具有人像的原始图像而言，其中的预定时间可指用户不使用手机的时候，具体地，预定时间可包括进入睡眠的休息时间，例如为夜晚睡觉时间(比如但不局限于22：00～5：00时间段)，再例如为午休时间(比如但不局限于12：30～2：00时间段)；预定时间还可包括上班时间(比如但不局限于8：00～12：00及14：00～18：00)，此时用户一般不使用手机；预定时间还可包括上课时间(比如但不局限于8：00～8：40、9：00～9：45、10：00～10：45、11：00～11：45中的至少一个时间段等)等等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时获取相册中的具有人像的原始图像，相较于图像处理装置100或者电子设备200处于工作状态时获取而言，不会造成内存抢占的问题。预定时间可为系统预先设定好的一个或多个时间段，当然，预定时间还可由用户根据自身的需求自行设置。

对于在预设场景内，从相册中获取具有人像的原始图像而言，其中的预设场景可包括充电状态、待机状态、低功耗运行状态等。由于图像处理装置100或者电子设备200在获取相册中具有人像的原始图像的时间会比较长，且占用一定的运行内存，因此在预设场景下才执行获取的步骤，能尽可能的避免抢占内存的问题。低功耗运行状态可指电子设备200在仅运行阅读、看新闻等对运行内存需求较小的软件。

需要说明的是，从相册中获取具有人像的原始图像可以仅仅是在预定时间即可执行，也可以仅仅是在预定场景下即可执行，还可以是既要在预定时间，又要在预定场景下才执行。如此，能最大程度地避免在相册中获取原始图像对用户的正常使用造成影响，提升了用户体验。在从相册中获取具有人像的原始图像之后的步骤，例如步骤02至06均是针对相册中的图像的。

请一并参阅图3、图8和图9，步骤011还包括：

0112，在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

在某些实施方式中，图像处理装置100可应用于成像装置220，成像装置220可通过摄像头221拍摄原始图像。第一获取单元111可包括第二获取子单元1112，其中，步骤0112可由第二获取子单元1112执行；也即是说，第二获取子单元1112可用于在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

在某些实施方式中，电子设备200可包括成像装置220，成像装置220包括摄像头221。步骤0112可由处理器230实现，也即是说，处理器230可用于：在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。

具体地，在成像装置220的摄像头221工作时，能实时获取拍摄的具有人像的原始图像，可对符合条件的原始图像进行后续的修复处理，以得到目标图像，使得用户在使用成像装置220或者电子设备200拍摄时，得到的图像质量更高，提升了用户体验。在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像之后的步骤，例如步骤02至06均是针对拍摄过程中的图像的。

请一并参阅图3、图10和图11，步骤01还包括：

013，对原始图像进行整形低通滤波以获取第一滤波图像；

014，根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；

015，判断第一高频信息的像素数量是否小于第一预设数量；

016，当第一高频信息的像素数量小于第一预设数量，则确定原始图像的清晰度小于第一阈值。

在某些实施方式中，第一获取模块11可还包括第二获取单元113、第三获取单元114、第一判断单元115、和第二确定单元116，步骤013可由第二获取单元113执行，步骤014可由第三获取单元114执行，步骤015可由第一判断单元115执行，步骤016可由第二确定单元116执行。也即是说，第二获取单元113可用于对原始图像进行整形低通滤波以获取第一滤波图像；第三获取单元114可用于根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；第一判断单元115可用于判断第一高频信息的像素数量是否小于第一预设数量；第二确定单元116可用于在第一高频信息的像素数量小于第一预设数量时，确定原始图像的清晰度小于第一阈值。

在某些实施方式中，步骤013、步骤014、步骤015和步骤016均可由处理器230实现，也即是说，处理器230可用于：对原始图像进行整形低通滤波以获取第一滤波图像；根据原始图像与第一滤波图像获取原始图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；判断第一高频信息的像素数量是否小于第一预设数量；及当第一高频信息的像素数量小于第一预设数量，则确定原始图像的清晰度小于第一阈值。

具体地，原始图像可为在预定时间和/或预设场景下，从相册中获取具有人像的原始图像；或者在在摄像头221拍摄过程中，获取摄像头221拍摄的具有人像的原始图像。在获取到原始图像后，对原始图像进行整形低通滤波处理，得到第一滤波图像，再由原始图像减去第一滤波图像，就能得到原始图像中的第一高频信息，第一高频信息是指离散余弦变换系数中远离零频的部分，该部分用于描述原始图像的细节信息；在得到第一高频信息后，可以统计第一高频信息的像素数量，第一高频信息的像素数量越多，则原始图像越清晰。

图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅原始图像中的第一高频信息的像素数量占该幅原始图像的所有像素数量的20％，则用占比20％来表征该幅原始图像的清晰度。由此可见，每一个清晰度对应一个第一高频信息的像素数量。

第一阈值是指一幅原始图像中的第一高频信息的像素数量为第一预设数量，且该第一预设数量与该幅原始图像的所有像素数量的比值，第一阈值是用来衡量原始图像是否需要修复的临界值。例如，在一幅原始图像中，若第一高频信息的像素数量小于第一预设数量时，则说明该幅原始图像的清晰度小于第一阈值，该幅原始图像需要被修复，即可作为待修复图像。

第一预设数量可与第一阈值相互对应，第一预设数量与第一阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量，自动关联上与第一预设数量对应的第一阈值，然后由用户根据不同需求选择不同的第一阈值。

以第一阈值为15％，一幅原始图像的所有像素数量为1600万，第一预设数量为240万为例进行说明，在获取到第一高频信息的像素数量小于240万时，则确定该幅原始图像的清晰度小于15％，并将该幅原始图像作为待修复图像。

请一并参阅图3、图12和图13，步骤05包括：

051，获取具有用户的人像的用户图像；

052，将清晰度大于第二阈值的用户图像确定为参考图像；

053，获取参考图像的修复参数；

054，根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，第二获取模块15可包括第四获取单元151、第三确定单元152、第五获取单元153和第一处理单元154，其中，步骤051可由第四获取单元151执行，步骤052可由第三确定单元152执行，步骤053可由第五获取单元153执行，步骤054可由第一处理单元154执行。也即是说，第四获取单元151可用于获取具有用户的人像的用户图像；第三确定单元152可用于将清晰度大于第二阈值的用户图像确定为参考图像；第五获取单元153可用于获取参考图像的修复参数；第一处理单元154可用于根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，步骤051、步骤052、步骤053、步骤054均可由处理器230实现，也即是说，处理器230还可用于：获取具有用户的人像的用户图像；将清晰度大于第二阈值的用户图像确定为参考图像；获取参考图像的修复参数；根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

具体地，用户图像为一幅或者多幅，每幅用户图像上均具有用户的人像，分别判断每幅用户图像的清晰度是否大于第二阈值，第二阈值可为一个预设的清晰度值，是用来衡量用户图像是否能够作为参考图像以做后续修复处理的临界值。其中，第二阈值大于第一阈值。将大于第二阈值的用户图像作为参考图像。例如，可在相册中获取多张具有用户人像的证件照，再获取每张证件照的清晰度，并对每张证件照的清晰度与第二阈值进行对比，将大于第二阈值的证件照作为参考图像。获取每幅用户图像的清晰度的方法可与上述原始图像的清晰度的获取方法相同，在此不再赘述。

更具体地，参考图像可为经过修复处理后并存储在相册中的图像，图像处理装置100或者电子设备200中的存储元件存储有对该参考图像进行修复处理时所采用的修复参数；修复参数包括磨皮参数、妆容参数中的至少一种，磨皮参数的解释同前，妆容参数的解释同前，在此不再赘述。

请一并参阅图3、图14和图15，步骤051包括：

0511，采集用户的人脸信息；及

0512，根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

在某些实施方式中，第四获取单元151可包括采集子单元1511和第三获取子单元1512，其中，步骤0511可由采集子单元1511执行，步骤0512可由第三获取子单元1512执行；也即是说，采集子单元1511可用于采集用户的人脸信息；第三获取子单元1512可用于根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

在某些实施方式中，步骤0511、步骤0512均可由处理器230实现，也即是说，处理器230还可用于：采集用户的人脸信息；及根据人脸信息在相册中获取与人脸信息相似度大于第二预设相似度的图像以作为用户图像。

具体地，在采集用户人脸信息前，还可包括向用户申请进行信息采集，以电子设备200是手机为例，如图40所示，在用户第一次打开成像装置200进行拍摄时，会在手机上弹出确认框，由用户确认是否同意图像信息采集，若用户输入“是”，后续对待修复图像(包括从相册中获取的及在摄像头221拍摄过程中形成的)进行修复时，将自动读取人脸信息，而无需弹出确认框确认(即，自动授权读取)。若用户输入“否”，可以是始终禁止读取(采集)用户的人脸信息的权限，也可以是禁止当下使用成像装置200进行拍摄时去读取(采集)用户的人脸信息。在始终禁止读取(采集)用户的人脸信息的权限时，若用户下次打开成像装置200，则不会弹出确认框进行采集确认。当只是禁止当下使用成像装置200进行拍摄时去读取(采集)用户的人脸信息，则可再次弹出确认框由用户确认是否同意图像信息采集，用户输入“是”与“否”之后的操作同前一次输入“是”与“否”之后的操作，在此不再赘述。

用户图像为具有用户的人像的图像。以电子设备200是手机为例，可通过电子设备200中的摄像头221对用户的人脸进行采集，得到用户的人脸信息。需要说明的是，对人脸信息进行采集可通过采集用户人脸上的多个特征点，例如，对人脸上的五官、肤色、脸型等特征，根据采集到的人脸信息在相册中查找与人脸信息相似度大于第二预设相似度的图像。

在一个例子中，可获取相册中具有人像的图像，根据采集的人脸信息与每幅具有人像的图像进行对比，该对比可为人脸信息的特征点与对应的具有人像的图像特征点进行对比以得到该幅图像上的人脸信息与采集得到的用户的人脸信息的相似度。在相似度大于第二预设相似度时，说明该图像中的人像与用户为同一人，则相册中的该幅图像为用户图像；在相似度小于第二预设相似度时，说明该图像中的人像与用户不是同一个。

请参阅图41和图42，图41为摄像头221采集到的用户的人脸信息，图42为相册中的3幅具有人脸的图像，将每幅图像与采集到的人脸信息进行对比，得到第一幅(图42中左图)中眉毛特征、眼睛特征和嘴巴特征与人脸信息对应的眉毛特征、眼睛特征和嘴巴特征不同，即相似度小于第二预设相似度，则第一幅不作为用户图像。第二幅(图42中的中间图)和第三幅(图42中的右图)中的各个特征都与人脸信息对应的特征相同，例如，鼻子特征，眼睛特征，嘴巴特征等，因此，第二幅和第三幅作为用户图像。

第二预设相似度与上文中的第一预设相似度的取值可以相同，也可以不同。在一个例子中，第二预设相似度的范围可为85％-100％，例如，第二预设相似度可以为85％、86％、87％、88％、89％、90％、91％、92％、94％、95％、98％、99％、100％等等。第二预设相似度在该范围时，既能保证获取用户图像的准确率，又能有较快的获取速度，进而加快图像处理的整体速度。

请一并参阅图3、图16和图17，步骤052包括：

0521，在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，第三确定单元152包括第一确定子单元1521，其中，步骤0521可由第一确定子单元1521执行；也即是说，第一确定子单元1521可用于在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

在某些实施方式中，步骤0521可由处理器230实现，也即是说，处理器230还可用于：在预定时间和/或预设场景下，将清晰度大于第二阈值的用户图像确定为参考图像。

其中，此处的预定时间的解释与上文中的预定时间的解释相同，此处的预设场景的解释与上文中的预设场景的解释相同，在此不再赘述。由于图像处理装置100或者电子设备200在将清晰度大于第二阈值的所述用户图像确定为参考图像的过程需要占用一定的运行内存，在进入睡眠的休息时间、上班时间或上课时间，用户一般都不使用手机，图像处理装置100或者电子设备200也是处于非工作状态，在此时进行清晰度的获取，进而确定参考图像，相较于图像处理装置100或者电子设备200也处于工作状态时获取清晰度并确定参考图像而言，不会造成内存抢占的问题。

请一并参阅图3、图18和图19，步骤05包括：

051，获取具有用户的人像的用户图像；

055，对用户图像执行整形低通滤波以获取第二滤波图像；

056，根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；

057，判断第二高频信息的像素数量是否大于第二预设数量；

058，在第二高频信息的像素数量大于第二预设数量时，确定用户图像的清晰度大于第二阈值；

052，将清晰度大于第二阈值的用户图像确定为参考图像；

053，获取参考图像的修复参数；及

054，根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，第二获取模块15可包括第四获取单元151、第六获取单元155、第七获取单元156、第二判断单元157、第四确定单元158、第三确定单元152、第五获取单元153及第一处理单元154，其中，步骤051可由第四获取单元151执行，步骤055可由第六获取单元155执行，步骤056可由第七获取单元156执行，步骤057可由第二判断单元157执行，步骤058可由第四确定单元158执行，步骤052可由第三确定单元152执行，步骤053可由第五获取单元153执行，步骤054可由第一处理单元154执行。也即是说，第四获取单元151可用于获取具有用户的人像的用户图像；第六获取单元155可用于对用户图像执行整形低通滤波以获取第二滤波图像；第七获取单元156可用于根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；第二判断单元157可用于判断第二高频信息的像素数量是否大于第二预设数量；第四确定单元158可用于在第二高频信息的像素数量大于第二预设数量时，确定用户图像的清晰度大于第二阈值；第三确定单元152可用于将清晰度大于第二阈值的用户图像确定为参考图像；第五获取单元153可用于获取参考图像的修复参数；及第一处理单元154可用于根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，步骤051、步骤055、步骤056、步骤057、步骤058、步骤052、步骤053、步骤054均可由处理器230实现，也即是说，处理器230还可用于：获取具有用户的人像的用户图像；对用户图像执行整形低通滤波以获取第二滤波图像；根据用户图像与第二滤波图像获取用户图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息；判断第二高频信息的像素数量是否大于第二预设数量；在第二高频信息的像素数量大于第二预设数量时，确定用户图像的清晰度大于第二阈值；将清晰度大于第二阈值的用户图像确定为参考图像；获取参考图像的修复参数；及根据参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

具体地，在相册中获取一幅或者多幅用户图像后，对每幅用户图像执行整形低通滤波得到第二滤波图像，再将用户图像减去第二滤波图像，即可得到第二高频信息，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述用户图像的细节信息。得到第二高频信息后，可通过对第二高频信息的像素数量与第二预设数量进行对比，在第二高频信息的像素数量大于第二预设数量时，确定该幅用户图像的清晰度也大于第二阈值，说明该幅用户图像比较清晰，因此，可将该幅用户图像作为参考图像。

第二阈值是指一幅用户图像中的第二高频信息的像素数量为第二预设数量，且该第二预设数量与该幅用户图像的所有像素数量的比值，第二阈值是用来衡量用户图像是否能够作为参考图像以做后续修复处理的临界值。例如，在一幅用户图像中，若第二高频信息的像素数量大于第二预设数量时，则说明该幅用户图像的清晰度大于第二阈值，该幅用户图像可能被作为参考图像。

第二预设数量可与第二阈值相互对应，第二阈值大于第一阈值，第二预设数量也大于第一预设数量。第二预设数量与第二阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第二预设数量，自动关联上与第二预设数量对应的第二阈值，然后由用户根据不同需求选择不同的第二阈值。

以第二阈值为25％，一幅用户图像的所有像素数量为1600万，第二预设数量为400万为例进行说明，在获取到第二高频信息的像素数量大于400万时，则确定该幅用户图像的清晰度大于25％，并可将该幅用户图像作为参考图像。

请一并参阅图3、图20和图21，步骤053包括：

0531，获取参考图像的磨皮参数和妆容参数；

步骤054包括：

0541，根据磨皮参数及妆容参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，第五获取单元153可包括第四获取子单元1531，第一处理单元154可包括第一处理子单元1541，其中，步骤0531可由第四获取子单元1531执行，步骤0541可由第一处理子单元1541执行；也即是说，第四获取子单元1531可用于获取参考图像的磨皮参数和妆容参数；第一处理子单元1541可用于根据磨皮参数及妆容参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，步骤0531、步骤0541均可由处理器230实现，也即是说，处理器230还可用于：获取参考图像的磨皮参数和妆容参数；根据磨皮参数及妆容参数对预设修复算法进行修正，以得到定制修复算法。

具体地，预设修复算法中可包括磨皮参数与妆容参数，将预设修复算法看作是一个函数F(ax，by)，x为该函数中的磨皮参数，y为该函数中的妆容参数，a为该函数中与磨皮参数对应的磨皮系数，b为该函数中与妆容皮参数对应的妆容系数，可根据参考图像中的磨皮参数对该函数中的a进行修正，得到一个经过修正后的磨皮系数a’；或/和根据参考图像中的妆容参数对该函数中的b进行修正，得到一个经过修正后的妆容系数b’，最终得到一个定制修复算法F(a′x，b′y)。最后按照定制修复算法根据F(a′x，b′y)来对待修复图像进行修复，以得到符合用户喜好的目标图像。

请一并参阅图3、图22和图23，参考图像为多幅，修复参数为多个，步骤054包括：

0542，统计每个修复参数出现的次数，以得到每个修复参数的使用频率；

0543，将使用频率最高的修复参数作为修正修复参数；及

0544，根据修正修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，第一处理单元154可包括统计子单元1542、第二确定子单元1543及第二处理子单元1544，其中，步骤0542可由统计子单元1542执行，步骤0543可由第二确定子单元1543执行，步骤0544可由第二处理子单元1544执行。也即是说，统计子单元1542可用于统计每个修复参数出现的次数，以得到每个修复参数的使用频率；第二确定子单元1543可用于将使用频率最高的修复参数作为修正修复参数；及第二处理子单元1544可用于根据修正修复参数对预设修复算法进行修正，以得到定制修复算法。

在某些实施方式中，步骤0542、步骤0543、步骤0544均可由处理器230实现，也即是说，处理器230还可用于：统计每个修复参数出现的次数，以得到每个修复参数的使用频率；将使用频率最高的修复参数作为修正修复参数；及根据修正修复参数对预设修复算法进行修正，以得到定制修复算法。

具体地，以修复参数包括磨皮参数和妆容参数为例，请参阅图43，图43中包括8幅参考图像，获取每幅参考图像的磨皮参数和妆容参数(口红妆容参数)分别为(4，A2)、(5，A2)、(5，A4)、(5，A2)、(6，A6)、(8，A6)、(4，A8)、(8，A8)，分别统计每个磨皮参数出现的次数和每个口红妆容参数出现的次数，并分析出磨皮参数4的使用频率为0.25，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.125，磨皮参数8的使用频率为0.25；口红妆容参数A2的使用频率为0.375，口红妆容参数A4的使用频率为0.125，口红妆容参数A6的使用频率为0.25，口红妆容参数A8的使用频率为0.25；将使用频率最高的磨皮参数5和口红妆容参数A2作为修正修复参数，根据修正修复参数(磨皮参数5和口红妆容参数A2)对预设修复算法中的磨皮系数与妆容系数进行修正，从而得到定制修复算法。

在其他实施方式中，在参考图像为多幅时，可通过获取多幅参考图像的磨皮参数及多幅参考图像的妆容参数。对于磨皮参数而言，可先统计每个磨皮参数的使用频率，对使用频率较高的多个磨皮参数进行加权处理，以得到加权磨皮参数，最后根据加权磨皮参数对预设修复算法中的磨皮系数进行修正。对于妆容参数而言，可先统计每个妆容参数的使用频率，对使用频率较高的多个妆容参数进行加权处理，以得到加权妆容参数，最后根据加权妆容参数对预设修复算法中的妆容系数进行修正。例如，请参阅图44，图44中包括8幅参考图像，可先获取每幅参考图像的磨皮参数和妆容参数(口红妆容参数)分别为(2，A2)、(5，A2)、(5，A6)、(5，A2)、(6，A4)、(6，A4)、(7，A8)、(8，A9)，再分别统计每个磨皮参数出现的次数和每个口红妆容参数出现的次数，并分析出磨皮参数2的使用频率为0.125，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.25，磨皮参数7的使用频率为0.125，磨皮参数8的使用频率为0.125；口红妆容参数A2的使用频率为0.375，口红妆容参数A4的使用频率为0.125，口红妆容参数A6的使用频率为0.25，口红妆容参数A8的使用频率为0.125，口红妆容参数A9的使用频率为0.125，接着，对使用频率较高的两个磨皮参数5和6进行加权得到加权磨皮参数，对使用频率较高的两个口红妆容参数A2和A6进行加权得到加权口红妆容参数。将加权磨皮参数和加权口红妆容参数作为修正修复参数，最后，根据修正修复参数(加权磨皮参数和加权口红妆容参数)对预设修复算法的磨皮系数及口红妆容系数进行修正，以得到定制修复算法。当然，还可以是使用频率较高的三个磨皮参数或者三个口红妆容参数进行加权处理，或者三个以上，妆容参数还可为其他妆容参数，在此不一一列举。

请一并参阅图3、图24和图25，修复参数包括磨皮参数，预设修复算法包括预设磨皮算法，步骤053包括：

0532，获取参考图像的磨皮参数；

步骤054包括：

0545，根据磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法；

步骤06包括：

061，根据定制磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，第五获取单元153可包括第五获取子单元1532，第一处理单元154可包括第三处理子单元1545，第二处理模块16可包括第二处理单元161，其中，步骤0532可由第五获取子单元1532执行，步骤0545可由第三处理子单元1545执行，步骤061可由第二处理单元161执行；也即是说，第五获取子单元1532可用于获取参考图像的磨皮参数；第三处理子单元1545可用于根据磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法；第二处理单元161可用于根据定制磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

在某些实施方式中，步骤0532、步骤0545、步骤061均可由处理器230实现，也即是说，处理器230还可用于：获取参考图像的磨皮参数；根据磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法；及根据定制磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。

例如，请参阅图45，图45中包括8幅参考图像，获取每幅参考图像的磨皮参数分别为4、5、5、5、6、8、4、8，统计每个磨皮参数出现的次数，并分析出磨皮参数4的使用频率为0.25，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.125，磨皮参数8的使用频率为0.25，根据使用频率最高的磨皮参数5对预设磨皮算法中的磨皮系数进行修正，以得到定制磨皮算法，再根据定制磨皮算法对修复图像进行人像磨皮处理，得到符合用户喜好的目标图像。

在其他实施方式中，在参考图像为多幅时，可通过获取多幅参考图像的磨皮参数，再统计每个磨皮参数的使用频率，对使用频率最高的多个磨皮参数进行加权处理，以得到加权磨皮参数，接着根据加权磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法；最后，根据定制磨皮算法对修复图像中的人像区域进行处理，以得到目标图像。例如，请参阅图46，图46中包括8幅参考图像，获取每幅参考图像的磨皮参数分别为2、5、5、5、6、6、7、8，统计每个磨皮参数出现的次数，并分析出磨皮参数2的使用频率为0.125，磨皮参数5的使用频率为0.375，磨皮参数6的使用频率为0.25，磨皮参数7的使用频率为0.125，磨皮参数8的使用频率为0.125，则对使用频率最高的两个磨皮参数5和6进行加权得到加权磨皮参数，根据加权磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法。再根据定制磨皮算法对修复图像进行人像磨皮处理，得到符合用户喜好的目标图像。当然，还可以是使用频率最高的三个磨皮参数进行加权处理，或者三个以上，在此不一一列举。

请一并参阅图3、图26和图27，步骤061包括：

0611，对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；

0612，对皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；

0613，根据定制磨皮算法对缺陷区域进行处理，以得到磨皮图像；及

0614，对磨皮图像进行纹理恢复，以得到目标图像。

在某些实施方式中，第二处理单元161可包括第一分区子单元1611、第二分区子单元1612、第四处理子单元1613及第五处理子单元1614，其中，步骤0611可由第一分区子单元1611执行，步骤0612可由第二分区子单元1612执行，步骤0613可由第四处理子单元1613执行，步骤0614可由第五处理子单元1614执行。也即是说，第一分区子单元1611可用于对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；第二分区子单元1612可用于对皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；第四处理子单元1613可用于根据定制磨皮算法对缺陷区域进行处理，以得到磨皮图像；及第五处理子单元1614可用于对磨皮图像进行纹理恢复，以得到目标图像。

在某些实施方式中，步骤0611、步骤0612、步骤0613、步骤0614均可由处理器230实现，也即是说，处理器230还可用于：对修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；对皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；根据定制磨皮算法对缺陷区域进行处理，以得到磨皮图像；及对磨皮图像进行纹理恢复，以得到目标图像。

具体地，肤色分区可通过将修复图像输入至皮肤提取模型中对皮肤进行提取，皮肤提取模型可包括YCrCb模型或者肤色椭圆模型等等，例如，将修复图像输入至YCrCb模型中将修复图像中的RGB模型转换为YCrCb模型，可根据不同的肤色对YCrCb模型中的Cr分量和Cb分量的设置以提取得到更好的皮肤区域，例如，黄种人的Cr分量大约在133至173之间，Cb分量大约在77至127之间。

肤质分区可采用高反差方式来提取对应的缺陷区域，缺陷区域是指皮肤区域中存在不平滑的区域，例如，脸上的痘痘、疤痕、毛孔等等均可为缺陷区域。高反差方式可指在皮肤区域中获取与周围像素点的像素值存在差异较大的像素点，这些像素点构成的区域则为缺陷区域。得到缺陷区域后，根据定制磨皮算法对缺陷区域进行处理，以得到磨皮图像。

纹理恢复是指对磨皮图像进行回帖纹理，纹理恢复也可分为1至10个等级，纹理恢复的力度与磨皮力度对应。例如，在对缺陷区域进行磨皮力度5进行磨皮处理，在纹理恢复时，纹理恢复力度也为5，纹理恢复增加了目标图像的锐化程度，防止磨皮过度导致图像不真实。

请一并参阅图3、图28和图29，步骤02包括：

021，获取参照图像，参照图像的清晰度高于第三阈值；

022，根据参照图像对待修复图像进行人像超分算法处理，以得到所述修复图像。

在某些实施方式中，第一处理模块12可包括第八获取单元121和第三处理单元122，其中，步骤021可由第八获取单元121执行，步骤022可由第三处理单元122执行；也即是说，第八获取单元121可用于获取参照图像，参照图像的清晰度高于第三阈值；第三处理单元122可用于根据参照图像对待修复图像进行人像超分算法处理，以得到所述修复图像。

在某些实施方式中，步骤021和步骤022均可由处理器230实现，也即是说，处理器230可用于：获取参照图像，参照图像的清晰度高于第三阈值；根据参照图像对待修复图像进行人像超分算法处理，以得到所述修复图像。

具体地，参照图像可包括预设用户人像或预设标准人像。以电子设备200是手机为例，预设用户人像可通过获取电子设备200中的用户提前拍摄好的人像，需要说明的是，该预设用户人像可为用户相册中的证件照或者其他清晰度更高的具有人像的图像。当电子设备200中没有预设用户人像时，可通过获取一个预设的标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设用户人像和预设标准人像的清晰度都要大于第三阈值，第三阈值可预先设置，只有大于第三阈值的图像才能作为参照图像(预设用户人像或者预设标准人像)，以达到更好的图像处理效果。

更具体地，第三阈值可与第二阈值相同，也可与第二阈值不同，但第三阈值要大于第一阈值，以得到清晰度更高的参照图像，提升图像处理效果。

请一并参阅图3、图30和图31，步骤021包括：

0211，对待修复图像的人像区域和预设用户的人像进行人脸检测；

0212，判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

0213，在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；

0214，在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

在某些实施方式中，第八获取单元121包括检测子单元1211、判断子单元1212、第三确定子单元1213及第六获取子单元1214，其中，步骤0211可由检测子单元1211执行，步骤0212可由判断子单元1212执行，步骤0213可由第三确定子单元1213执行，步骤0214可由第六获取子单元1214执行。也即是说，检测子单元1211可用于对待修复图像的人像区域和预设用户的人像进行人脸检测；判断子单元1212可用于判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；第三确定子单元1213可用于在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；第六获取子单元1214可用于在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

在某些实施方式中，步骤0211、步骤0212、步骤0213和步骤0214均可由处理器230实现，也即是说，处理器230可用于：对待修复图像的人像区域和预设用户的人像进行人脸检测；判断待修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；在待修复图像的人脸与预设用户的人脸的相似度大于或等于第一预设相似度时，将预设用户人像作为参照图像；在待修复图像的人脸与预设用户的人脸的相似度小于第一预设相似度时，获取预设标准人像作为参照图像。

具体地，对待修复图像和预设用户人像的人脸进行检测，该检测方法可先分别获取待修复图像中的人脸特征点和预设用户人像中的人脸特征点，再对两个图像的人脸特征点进行比较，若两个图像的人脸特征点的相似度大于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是属于同一人，此时，就根据该预设用户人像对待修复图像的人像区域进行人像超分算法处理得到修复图像。使用同一人的两张图像进行处理，得到的修复图像中的人像与用户本人更加相似，也更加自然，用户体验会更好。若两个图像的人脸特征点的相似度低于第一预设相似度，则说明待修复图像的人像区域与预设用户人像是不属于同一人，这时采用标准人像作为参照图像进行超分算法处理，得到的效果会更好。因此，可根据预设标准人像对待修复图像的人像区域进行人像超分算法处理，以得到修复图像。

更具体地，判断待修复图像的人像区域与预设用户人像的相似度的方法可与上文中在描述04步骤时判断修复图像的人脸与预设用户的人脸的相似度的方法相同，在此不再赘述。

请一并参阅图3、图32和图33，步骤022包括：

0221，获取待修复图像经上采样后的第一特征图；

0222，获取参照图像经过上采样和下采样后的第二特征图；

0223，获取参照图像未经过上采样和下采样的第三特征图；

0224，获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；

0225，获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；

0226，合并交换特征图与第一特征图，以得到第四特征图；

0227，将第四特征图放大预定倍数以得到第五特征图；及

0228，将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

在某些实施方式中，第三处理单元122可包括第七获取子单元1221、第八获取子单元1222、第九获取子单元1223、第十获取子单元1224、第十一获取子单元1225、合并子单元1226、放大子单元1227及第六处理子单元1228，其中，步骤0221可由第七获取子单元1221执行，步骤0222可由第八获取子单元1222执行，步骤0223可由第九获取子单元1223执行，步骤0224可由第十获取子单元1224执行，步骤0225可由第十一获取子单元1225执行，步骤0226可由合并子单元1226执行，步骤0227可由放大子单元1227执行，步骤0228可由第六处理子单元1228执行。也即是说，第七获取子单元1221可用于获取待修复图像经上采样后的第一特征图；第八获取子单元1222可用于获取参照图像经过上采样和下采样后的第二特征图；第九获取子单元1223可用于获取参照图像未经过上采样和下采样的第三特征图；第十获取子单元1224可用于获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；第十一获取子单元1225可用于获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；合并子单元1226可用于合并交换特征图与第一特征图，以得到第四特征图；放大子单元1227可用于将第四特征图放大预定倍数以得到第五特征图；第六处理子单元1228可用于将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

在某些实施方式中，步骤0221、步骤0222、步骤0223、步骤0224、步骤0225、步骤0226、步骤0227及步骤0228均可由处理器230实现，也即是说，处理器230还可用于：获取待修复图像经上采样后的第一特征图；获取参照图像经过上采样和下采样后的第二特征图；获取参照图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第三预设相似度的特征以作为参照特征；获取第三特征图中与参照特征相似度超过第四预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；及将第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为修复图像。

具体地，上采样可理解为对待修复图像或者参照图像进行放大处理，下采样可理解为对参照图像进行缩小处理。

更具体地，请参阅图34，步骤0221可包括：

02211，对待修复图像进行上采样；

02212，将上采样后的待修复图像输入到卷积神经网络进行特征提取，得到所述第一特征图；

步骤0222可包括：

02221，对参照图像进行下采样；

02222，对下采样后的参照图像进行上采样；

02223，将上采样后的参照图像输入到卷积神经网络进行特征提取，得到第二特征图；

步骤0223可包括：

02231，将参照图像输入到卷积神经网络进行特征提取，得到第三特征图。

通过对待修复图像进行上采样(放大)处理，在将上采样后的待修复图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为待修复图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对待修复图像进行放大导致第一特征图的清晰度较低，而参照图像的清晰度是比较高的，因此需要对参照图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参照图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参照图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。

更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第三预设相似度进行比较，若相似度大于或等于第三预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参照特征。再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度超过第四预设相似度进行比较，若相似度大于或等于第四预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为修复图像。需要说明的是，第三预设相似度和第四预设相似度可与上文中第一预设相似度和第二预设相似度相同，在此不再赘述。

请一并参阅图3、图35和图36，图像处理方法还包括：

07，判断修复图像的人脸是否需要补妆；

步骤05还包括：

059，在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度，且确定修复图像的人脸需要补妆时，获取定制修复算法。

在某些实施方式中，图像处理装置100可包括第二判断模块17，第二获取模块15还包括第九获取单元159，其中，步骤07可由第二判断模块17执行，步骤059可由第九获取单元159执行。也即是说，第二判断模块17可用于判断修复图像的人脸是否需要补妆；第九获取单元159可用于在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度，且确定修复图像的人脸需要补妆时，获取定制修复算法。

在某些实施方式中，步骤07、步骤059均可由处理器230实现，也即是说，处理器230还可用于：判断修复图像的人脸是否需要补妆；在修复图像的人脸与预设用户的人脸之间的相似度大于第一预设相似度，且确定修复图像的人脸需要补妆时，获取定制修复算法。

具体地，请参阅图47，在使用成像模组200的摄像头进行拍摄图像时(即上述步骤0112)，在电子设备200的显示界面上可设有一个补妆按键，通过获取用户是否点击补妆按键确定该幅修复图像是否需要补妆，若用户点击了补妆按键，则获取定制修复算法对修复图像进行处理，获取定制修复算法的方式与上述的05步骤和06步骤相同，在此不再赘述。若用户没点击补妆按键，则确定该幅修复图像不需要进行补妆，则可将该幅图像存储在相册中。当原始图像是从相册中获取时(即上述步骤0111)，则可获取机主本人的性别，若机主的性别为女性，且修复图像与机主为同一人时，可确定需要进行补妆；若机主的性别为男性，且修复图像与机主为同一人时，可确定不需要进行补妆。当然，还可通过其他方式判断是否需要补妆，在此不一一列举。

请一并参阅图3、图37和图38，图像处理方法还包括：

08，在确定修复图像的人脸不需要补妆时，输出修复图像。

在某些实施方式中，图像处理装置100可包括输出模块18，步骤08可由输出模块18执行，也即是说，输出模块18可用于在确定修复图像的人脸不需要补妆时，输出修复图像。

在某些实施方式中，步骤08可由处理器230实现，也即是说，处理器230还可用于：在确定修复图像的人脸不需要补妆时，输出修复图像。

具体地，确定修复图像的人脸不需要补妆的方式可与步骤07的确定方式相同，在此不再赘述。

请一并参阅图1、图2、图3和图39，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

01，获取具有人像的待修复图像；

02，对待修复图像的人像区域进行修复处理，以得到修复图像；

03，对修复图像的人像区域及预设用户的人像进行人脸检测；

04，判断修复图像的人脸与预设用户的人脸的相似度是否大于或等于第一预设相似度；

05，在修复图像的人脸与预设用户的人脸之间的相似度大于或等于第一预设相似度时，获取定制修复算法；及

06，根据定制修复算法对修复图像中的人像区域进行处理，以得到目标图像。

计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。

可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

处理器230可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (20)

1.一种图像处理方法，其特征在于，包括：

获取具有人像的待修复图像；

对所述待修复图像的人像区域进行修复处理，以得到修复图像；

对所述修复图像的人像区域及预设用户的人像进行人脸检测；

在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及

根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取具有人像的待修复图像，包括：

获取具有人像的原始图像；及

将清晰度小于第一阈值的所述原始图像确定为所述待修复图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述获取具有人像的原始图像包括：

在预定时间和/或预设场景下，从相册中获取具有人像的原始图像。

4.根据权利要求2所述的图像处理方法，其特征在于，所述获取具有人像的原始图像包括：

在摄像头拍摄过程中，获取所述摄像头拍摄的具有人像的原始图像。

5.根据权利要求2所述的图像处理方法，其特征在于，所述获取具有人像的待修复图像，还包括：

对所述原始图像执行整形低通滤波以获取第一滤波图像；

根据所述原始图像与所述第一滤波图像获取所述原始图像中的第一高频信息，其中，所述第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述原始图像的细节信息；及

当所述第一高频信息的像素数量小于第一预设数量，则确定所述原始图像的清晰度小于所述第一阈值。

6.根据权利要求1所述的图像处理方法，其特征在于，所述获取定制修复算法，包括：

获取具有用户的人像的用户图像；

将清晰度大于第二阈值的所述用户图像确定为参考图像；

获取所述参考图像的修复参数；及

根据所述参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法。

7.根据权利要求6所述的图像处理方法，其特征在于，所述获取具有用户的人像的用户图像，包括：

采集用户的人脸信息；及

根据所述人脸信息在相册中获取与所述人脸信息相似度大于第二预设相似度的图像以作为所述用户图像。

8.根据权利要求6所述的图像处理方法，其特征在于，所述将清晰度大于第二阈值的所述用户图像确定为参考图像，包括：

在预定时间和/或预设场景下，将清晰度大于第二阈值的所述用户图像确定为参考图像。

9.根据权利要求6所述的图像处理方法，其特征在于，所述将清晰度大于第二阈值的所述用户图像确定为参考图像之前，还包括：

对所述用户图像执行整形低通滤波以获取第二滤波图像；

根据所述用户图像与所述第二滤波图像获取所述用户图像中的第二高频信息，其中，所述第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述用户图像的细节信息；及

当所述第二高频信息的像素数量大于第二预设数量，则确定所述用户图像的清晰度大于所述第二阈值。

10.根据权利要求6所述的图像处理方法，其特征在于，所述修复参数包括磨皮参数和妆容参数，所述获取所述参考图像的修复参数，包括：

获取所述参考图像的磨皮参数和妆容参数；

所述根据所述参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法，包括：

根据所述磨皮参数及所述妆容参数对预设修复算法进行修正，以得到定制修复算法。

11.根据权利要求10所述的图像处理方法，其特征在于，在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法，包括：

在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度，且确认所述修复图像的人脸需要补妆时，获取定制修复算法。

12.根据权利要求6所述的图像处理方法，其特征在于，所述参考图像为多幅，所述修复参数为多个，所述根据所述参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法，包括：

统计每个所述修复参数出现的次数，以得到每个所述修复参数的使用频率；

将使用频率最高的修复参数作为所述修正修复参数；及

根据所述修正修复参数对预设修复算法进行修正，以得到所述定制修复算法。

13.根据权利要求6所述的图像处理方法，其特征在于，所述修复参数包括磨皮参数，预设修复算法包括预设磨皮算法，所述获取所述参考图像的修复参数，包括：

获取所述参考图像的磨皮参数；

所述根据所述参考图像的修复参数对预设修复算法进行修正，以得到定制修复算法，包括：

根据所述磨皮参数对预设磨皮算法进行修正，以得到定制磨皮算法；

所述根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

根据所述定制磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像。

14.根据权利要求13所述的图像处理方法，其特征在于，所述根据所述定制磨皮算法对所述修复图像中的人像区域进行处理，以得到目标图像，包括：

对所述修复图像中的人像区域进行肤色分区，以得到修复图像的人像区域中的皮肤区域；

对所述皮肤区域进行肤质分区，以得到皮肤区域中的缺陷区域；

根据所述定制磨皮算法对所述缺陷区域进行处理，以得到磨皮图像；

对所述磨皮图像进行纹理恢复，以得到所述目标图像。

15.根据权利要求1所述的图像处理方法，其特征在于，所述对所述待修复图像的人像区域进行修复处理，以得到修复图像，包括：

获取参照图像，所述参照图像的清晰度高于第三阈值；

根据所述参照图像对所述待修复图像进行人像超分算法，以得到所述修复图像。

16.根据权利要求15所述的图像处理方法，其特征在于，所述根据所述参照图像对所述待修复图像进行人像超分算法，以得到所述修复图像，包括：

获取所述待修复图像经上采样后的第一特征图；

获取所述参照图像经上采样和下采样后的第二特征图；

获取所述参照图像未经过上采样和下采样的第三特征图；

获取所述第二特征图中与所述第一特征图超过第三预设相似度的特征以作为参照特征；

获取第三特征图中与所述参照特征相似度超过第四预设相似度的特征，以得到交换特征图；

合并所述交换特征图与所述第一特征图，以得到第四特征图；

将所述第四特征图放大预定倍数以得到第五特征图；

将所述第五特征图作为待修复图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述修复图像。

17.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：

在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度，且确认所述修复图像的人脸不需要补妆时，输出所述修复图像以作为所述目标图像。

18.一种图像处理装置，其特征在于，包括：

第一获取模块，所述第一获取模块用于获取具有人像的待修复图像；

第一处理模块，所述第一处理模块用于对所述待修复图像的人像区域进行修复处理，以得到修复图像；

检测模块，所述检测模块用于对所述修复图像的人像区域及预设用户的人像进行人脸检测；

第二获取模块，所述第二获取模块用于在所述修复图像的人脸与所述预设用户的人脸之间的相似度大于第一预设相似度时，获取定制修复算法；及

第二处理模块，所述第二处理模块用于根据所述定制修复算法对所述修复图像中的人像区域进行处理，以得到目标图像。

19.一种电子设备，其特征在于，所述电子设备包括壳体和处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-17中任一项所述的图像处理方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-17中任一项所述的图像处理方法。

Images