CN114399622A - 图像处理方法和相关装置 - Google Patents

Abstract

本申请实施例提供图像处理方法和相关装置，应用于终端技术领域。该方法包括：当电子设备拍摄的图像中包括人脸时，电子设备将人脸与高频用户进行比对；高频用户为在电子设备存储的图像中出现次数大于第一预设值的用户，或者高频用户为在电子设备存储的图像中基于单个用户的出现次数从大至小排序中排序前N对应的用户，或者高频用户为在电子设备存储的图像中出现次数与全部用户出现总次数之比大于第二预设值的用户；当人脸与高频用户比对一致时，电子设备对人脸对应的区域进行增强。将人脸与高频用户进行比对，比对一致时，对人脸对应的区域进行增强。这样，针对个人进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

Description

图像处理方法和相关装置

技术领域

本申请涉及终端技术领域，尤其涉及图像处理方法和相关装置。

背景技术

由于场景光照条件、人员运动、以及相机的参数和相机拍摄时的位置等诸多影响因素作用，使得相机拍摄到的人脸图像质量不高。比如，拍摄时相机出现抖动，可能拍摄到模糊的图像；相机在光线不足时，会抓拍到噪声大，光线暗的图像；相机拍摄举例较远，往往会拍到分辨率不高的人脸图像。

可能的设计中，通过底层视觉方法对人脸图像进行去噪、去模糊和暗部提亮等。

但是，该方法通常伴随细节与噪声的平衡问题，导致人脸图像的增强效果不好。

发明内容

本申请实施例提供一种图像处理方法和相关装置，应用于电子设备。将人脸与高频用户进行比对，比对一致时，对人脸对应的区域进行增强。这样，针对个人进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

第一方面，本申请实施例提出一种图像处理方法，应用于电子设备，该方法包括：当电子设备拍摄的图像中包括人脸时，电子设备将人脸与高频用户进行比对；高频用户为在电子设备存储的图像中出现次数大于第一预设值的用户，或者高频用户为在电子设备存储的图像中基于单个用户的出现次数从大至小排序中排序前N对应的用户，或者高频用户为在电子设备存储的图像中出现次数与全部用户出现总次数之比大于第二预设值的用户；当人脸与高频用户比对一致时，电子设备对人脸对应的区域进行增强。

将人脸与高频用户进行比对，比对一致时，对人脸对应的区域进行增强。这样，针对个人进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

可选的，当人脸与高频用户比对一致时，电子设备对人脸对应的区域进行增强，包括：当人脸与高频用户比对一致时，电子设备将拍摄的图像输入至高频用户对应的生成对抗网络GAN先验模型进行图像增强，得到增强后的图像，高频用户对应的GAN先验模型是基于电子设备存储的高频用户对应的图像进行训练的。

这样，基于单个用户的图像训练生成对抗网络GAN先验模型，当再次拍摄到该用户时，通过训练后的GAN先验模型进行图像增强减少图像增强时出现的细节误差；针对单个用户进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

可选的，当电子设备拍摄的图像中包括人脸时，电子设备将人脸与高频用户进行比对，包括：当电子设备拍摄的图像中包括人脸时，电子设备提取拍摄的图像的特征；电子设备基于提取的特征和高频用户对应的特征进行比对。

这样，可以通过图像的特征和高频用户对应的特征实现人脸与高频用户的比对。

可选的，电子设备基于提取的特征和高频用户对应的特征进行比对，包括：电子设备将提取的特征与高频用户对应的特征中心进行比对，特征中心是电子设备将高频用户对应的特征进行聚类处理时得到的。

这样，特征中心为多个高频用户对应的特征聚类得到。通过图像的特征和高频用户对应的特征中心实现人脸与高频用户的比对，提升特征对比的准确性。

可选的，电子设备将提取的特征与高频用户对应的特征中心进行比对，包括：电子设备基于提取的特征与高频用户对应的特征中心，计算余弦值；当余弦值小于预设值时，人脸与高频用户比对一致。

可选的，出现次数与特征数量相对应；高频用户为在电子设备存储的图像中出现次数大于第一预设值的用户，或者高频用户为在电子设备存储的图像中基于单个用户的出现次数从大至小排序中排序前N对应的用户，或者高频用户为在电子设备存储的图像中出现次数与全部用户出现总次数之比大于第二预设值的用户，包括：高频用户为电子设备中单个用户对应的特征数量大于第一预设值的用户，或者，高频用户为电子设备中单个用户对应的特征数量从大至小排序中排名前N对应的用户，N为整数，或者，高频用户为电子设备中单个用户对应的特征数量与电子设备中保存的全部特征数量之比大于第二预设值的用户。

这样，可以基于特征数量确认高频用户。

可选的，当电子设备拍摄的图像中包括人脸时，电子设备将人脸与高频用户进行比对，包括：当拍摄的图像包括人脸且满足预设条件时，电子设备将人脸与高频用户进行比对。

预设条件用户判断图像的清晰度，当图像的清晰度较高时，可以不进行比对以及图像的增强，减少对高清图像的处理，节省计算资源。当图像的清晰度较低时，进行图像的比对以及后续的图像增强，提高拍摄高频用户时的图像清晰度，优化用户体验。

可选的，预设条件包括：拍摄的图像的人脸分辨率小于或等于第一阈值；和/或，拍摄的图像的感光度ISO小于或等于第三阈值；和/或，拍摄的图像的无参考图像质量指标NIQE大于或等于第五阈值。

这样，可以基于人脸分辨率、图像的感光度和无参考图像质量指标等多种方式确认图像的清晰度，从一种或多种角度判断图像的清晰度。当图像的清晰度较高时，可以不进行比对以及图像的增强，减少对高清图像的处理，节省计算资源。当图像的清晰度较低时，进行图像的比对以及后续的图像增强，提高拍摄高频用户时的图像清晰度，优化用户体验。

可选的，预设条件包括：拍摄的图像的人脸分辨率小于或等于第一阈值，且大于第二阈值时，和/或，拍摄的图像的ISO小于或等于第三阈值，且大于第四阈值；和/或，拍摄的图像的NIQE大于或等于第五阈值，且小于第六阈值。

可以理解的是，当图像的清晰度太低时，增强效果不强。这样，当图像的清晰度太低时，可以不进行比对以及图像的增强，减少对清晰度太低的图像的处理，节省计算资源。

可选的，方法还包括：电子设备对拍摄的图像进行人脸检测。

可选的，方法还包括：电子设备提取存储的多个包括人脸的图像的特征；电子设备将多个包括人脸的图像的特征进行聚类处理，得到特征库和高频用户，特征库基于单个用户存储多个人脸图像的特征；电子设备基于高频用户对应的图像训练GAN先验模型，得到高频用户对应的GAN先验模型。

这样，基于单个用户的图像训练生成对抗网络GAN先验模型，方便后续基于训练后的GAN先验模型进行图像增强，减少图像增强时出现的细节误差。

可选的，电子设备基于高频用户对应的图像训练GAN先验模型，包括：电子设备基于高频用户对应的图像定期训练GAN先验模型；或者，电子设备在高频用户对应的图像新增满足预设数量时，基于高频用户对应的图像训练GAN先验模型。

这样，电子设备可以基于新增的图像对训练后的GAN先验模型进行更新，减少用户细节改变导致的图像增强时出现的细节误差。

可选的，方法还包括：电子设备基于单个用户存储多个包括人脸的图像。

这样，可以方便后续用户查找个人图像。

第二方面，本申请实施例提供一种电子设备，电子设备包括终端设备，终端设备也可以称为终端（terminal）、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）等。终端设备可以是手机（mobile phone）、智能电视、穿戴式设备、平板电脑（Pad）、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端设备、增强现实（augmented reality，AR）终端设备、工业控制（industrial control）中的无线终端、无人驾驶（self-driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端等等。

该电子设备包括：包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行如第一方面的方法。

第三方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现如第一方面的方法。

第四方面，本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面的方法。

第五方面，本申请实施例提供了一种芯片，芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行如第一方面所述的方法。

应当理解的是，本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

附图说明

图1为可能的设计中待增强人脸图像和增强的人脸图像的对比示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3为本申请实施例提供的一种电子设备的软件架构示意图；

图4为本申请实施例提供的一种图像处理方法的流程示意图；

图5为本申请实施例提供的一种图像增强前后的对比示意图；

图6为本申请实施例提供的一种图像处理方法的流程示意图；

图7为本申请实施例提供的一种GAN先验模型的训练方法的流程示意图；

图8为本申请实施例提供的一种电子设备的界面示意图；

图9为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

随着科技的发展，电子设备具备有越来越多的娱乐功能，其中，拍照功能作为娱乐功能的核心之一，拍照能力已成为一种重要的电子设备的性能指标。

但是，由于多种因素影响，相机拍摄到的人脸图像质量可能不高。多种因素包括但不限于场景光照条件差、人员处于移动过程中、相机的性能参数差，以及相机拍摄时的位置远等。示例性的，当拍摄时相机出现抖动时，可能拍摄到模糊的图像；当相机在光线不足拍摄时，可能会拍摄到噪声大、光线暗的图像；相机拍摄距离较远，通常会拍到分辨率不高的人脸图像。

可能的设计中，电子设备通过底层视觉方法对人脸图像进行去噪、去模糊和暗部提亮等处理。示例性的，现有的图像去噪方法包括传统三维块匹配（block-matching 3D，BM3D）算法、基于深度学习的去噪方法、基于模型优化的去噪方法等等。

但是，该方法通常伴随细节与噪声的平衡问题，导致人脸图像的增强效果不好，用户体验差。可以理解的是，由于噪声处在高频区域，容易和图像细节混淆，在去噪的同时带来细节的损失，使得图像变得模糊。

另一种可能的设计中，通过生成对抗网络（generative adversarial networks，GAN）先验模型对人脸图像进行增强。具体的，利用大量人脸图像样本对GAN先验模型进行训练，得到经过训练的GAN先验模型，通过该经过训练的GAN先验模型对人脸图像进行增强处理，得到增强后人脸图像。增强后的人脸图像可以大幅提升细节表现力。

虽然该方案能在去噪的同时大幅提升细节表现力，但是增强后的人脸图像中可能会出现不真实的细节，使得电子设备的用户体验差。

可以理解的是，由于GAN先验模型是基于各种类别的人脸图像样本共同训练得到的，因此经过训练的网络模型学习到的人脸图像增强处理方式，是针对各种类别的人脸图像的共性特征进行增强处理的方式，可能会导致增强后的人脸图像增加的细节不准确。利用同一GAN先验模型对各种类别的人脸图像进行相同的增强处理，人脸图像增强的泛化性不好，无法达到预期的增强效果，用户体验差。

示例性的，图1为可能的设计中待增强人脸图像和增强后的人脸图像的对比示意图。如图1中的a所示的待增强人脸图像中眼睛部位101表现为单眼皮，而图1中的b所示的增强后的人脸图像中眼睛部位102表现为双眼皮。人脸图像在增强前后眼睛部位表现不一致，出现不真实的细节，无法达到预期的增强效果，用户体验差。

有鉴于此，本申请实施例提供一种图像处理方法，将人脸与高频用户进行比对，比对一致时，对人脸对应的区域进行增强。这样，针对个人进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

示例性的，通过采用高频用户的图像训练GAN先验模型，使得GAN先验模型更具针对性。当拍照时检测到高频用户，基于训练后的GAN先验模型，减少不真实的细节的添加，针对个人进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

可以理解的是，本申请实施例中可以通过GAN先验模型对图像中人脸部分进行增强，也可以采用其它可能的增强方式，本申请实施例对于图像增强的具体方式不作限定。

本申请实施例的电子设备也可以为任意形式的电子设备，例如，电子设备可以包括具有图像处理功能的手持式设备、车载设备等。例如，一些电子设备为：手机（mobilephone）、平板电脑、掌上电脑、笔记本电脑、移动互联网设备（mobile internet device，MID）、可穿戴设备，虚拟现实（virtual reality，VR）设备、增强现实（augmented reality，AR）设备、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程手术（remote medical surgery）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端、蜂窝电话、无绳电话、会话启动协议（session initiation protocol，SIP）电话、无线本地环路（wireless local loop，WLL）站、个人数字助理（personal digital assistant，PDA）、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，5G网络中的终端设备或者未来演进的公用陆地移动通信网络（public land mobile network，PLMN）中的终端设备等，本申请实施例对此并不限定。

作为示例而非限定，在本申请实施例中，该电子设备还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能，例如：智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如智能手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

此外，在本申请实施例中，电子设备还可以是物联网（internet of things，IoT）系统中的终端设备，IoT是未来信息技术发展的重要组成部分，其主要技术特点是将物品通过通信技术与网络连接，从而实现人机互连，物物互连的智能化网络。

本申请实施例中的电子设备也可以称为：终端设备、用户设备（user equipment，UE）、移动台（mobile station，MS）、移动终端（mobile terminal，MT）、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置等。

在本申请实施例中，电子设备或各个网络设备包括硬件层、运行在硬件层之上的操作系统层，以及运行在操作系统层上的应用层。该硬件层包括中央处理器（centralprocessing unit，CPU）、内存管理单元（memory management unit，MMU）和内存（也称为主存）等硬件。该操作系统可以是任意一种或多种通过进程（process）实现业务处理的计算机操作系统，例如，Linux操作系统、Unix操作系统、Android操作系统、iOS操作系统或windows操作系统等。该应用层包含浏览器、通讯录、文字处理软件、即时通信软件等应用。

示例性的，图1示出了电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线11，天线12，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏（liquid crystal display，LCD），有机发光二极管（organic light-emittingdiode，OLED），有源矩阵有机发光二极体或主动矩阵有机发光二极体（active-matrixorganic light emitting diode的，AMOLED），柔性发光二极管（flex light-emittingdiode，FLED），Miniled，MicroLed，Micro-oLed，量子点发光二极管（quantum dotlightemitting diodes，QLED）等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件（charge coupled device，CCD）或互补金属氧化物半导体（complementary metal-oxide-semiconductor，CMOS）光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。多个摄像头193的种类可以不同，例如摄像头193可以包括用于获取彩色图像的摄像头或TOF摄像头等。本申请实施例中，摄像头也可以称为相机。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组（moving picture experts group，MPEG）1，MPEG2，MPEG3，MPEG4等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，图像播放功能等）等。存储数据区可存储电子设备100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flash storage，UFS）等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构，等。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统可以包括：应用程序层（applications）、应用程序框架层（application framework）、硬件抽象层（hardware abstract layer，HAL）以及内核层（kernel），其中，内核层可能成为驱动层。

应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括设置，视频，地图，电话，相机，图库，邮箱，社交等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口（applicationprogramming interface，API）和编程框架。应用程序框架层包括一些预先定义的函数。

如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，资源管理器，视图系统，通知管理器，相机访问接口等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，触摸屏幕，拖拽屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

相机访问接口使得应用程序可以进行相机管理，访问相机设备。比如管理相机进行图像拍摄等。

硬件抽象层，可以包含多个库模块，库模块如可以为相机库模块、算法库模块等。Android系统可以为设备硬件加载相应的库模块，进而实现应用程序框架层访问设备硬件的目的。本申请实施例中，算法库中可以包括用于特征提取的算法、用于特征聚类的算法、用于特征比对的算法、用于训练GAN先验模型的算法，或用于进行图像增强的GAN先验模型等。

内核层是硬件和软件之间的层。内核层用于驱动硬件，使得硬件工作。内核层可以包含相机设备驱动，显示驱动，音频驱动等，本申请实施例对此不做限制。硬件层可以包括各种类型的传感器，拍摄类传感器例如包括TOF相机、多光谱传感器等。

例如，相机设备驱动可以驱动硬件层中的相机类传感器执行图像拍摄等。

下面结合图3说明本申请实施例的图像处理方法可能的实现方式。

一种可能的实现方式中，本申请实施例的相关算法模型设置在硬件抽象层的算法库中。例如，在电子设备进行拍照、预览、直播或录制时，可以通过相机应用调用相机访问接口，相机访问接口管理相机硬件抽象层通过相机驱动实现图像的获取，获取的图像进一步在硬件抽象层的算法库中经过本申请实施例的特征提取、特征比对、GAN先验模型等算法的计算后，经相机访问接口传输至应用，进行显示和/或保存等流程。

另一种可能的实现方式中，本申请实施例的相关算法模型设置在应用程序层的相机应用中。例如，在电子设备进行拍照、预览、直播或录制时，可以通过相机应用调用相机访问接口，相机访问接口管理相机硬件抽象层通过相机驱动实现图像的获取，获取的图像进一步在应用程序层的算法库中经过本申请实施例的特征提取、特征比对、GAN先验模型等算法的计算后，进行显示和/或保存等流程。

下面通过具体的实施例对本申请实施例的图像处理方法进行详细说明。下面的实施例可以相互结合或独立实施，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例提供的方法可以应用于预览、拍照、录制、直播等使用相机的场景中。

示例性的，图4为本申请实施例提供的一种图像处理方法的流程示意图。如图4所示，方法包括：以预览场景为例，电子设备在启动相机后开始预览，显示预览画面。

S401、电子设备对相机拍摄的图像进行人脸检测。

本申请实施例中，人脸检测可以理解为在图像中找到人脸的位置。示例性的，对于一幅图像，电子设备可以通过人脸检测算法找出图像中的人脸位置，得到若干个包含人脸的矩形框位置。一些电子设备显示的预览画面中，通过矩形框将图像中的人脸框起来。

可以理解的是，当拍摄的图像中包括人脸时，该图像可以被称为人脸图像。

S402、当拍摄的图像中包括人脸时，电子设备对拍摄的图像进行特征提取。

本申请实施例中，可以通过方向梯度直方图（histogram of orientedgridients，HOG）或卷积神经网络（convolutional neural network，CNN）等技术实现特征提取。

示例性的，通过卷积神经网络可以将人脸图像转换为一个向量，即特征。

S403、电子设备基于提取的特征和特征库中高频用户的特征进行比对。

本申请实施例中，特征库用于基于单个用户保存人脸图像的特征。示例性的，电子设备可以基于保存的人脸图像进行特征提取、聚类等处理，得到特征库。

本申请实施例中，高频用户是指电子设备保存的图像中多次出现的用户。或者，可以理解为电子设备多次拍摄的用户。高频用户可以为特征库中单个用户对应的特征超过第一预设值的用户；或者可以为特征库中特征数量从大至小排序中排名前N对应的用户，N为整数；还可以为特征库中单个用户对应的特征占特征库中保存的全部特征的比例超过第二预设值的用户。第一预设值和第二预设值均可以为任意数值，本申请实施例对于高频用户的具体确定方式、第一预设值，以及第二预设值不做限定。

本申请实施例中，电子设备可以将提取的特征和特征库中高频用户的多个特征中的任意一个特征进行比对。也可以是，电子设备将提取的特征和特征库中高频用户的特征中心进行比对。电子设备可以基于聚类算法得到高频用户的特征中心。

本申请实施例中，电子设备可以通过计算图像的向量相似度、余弦相似度、比较哈希值等方式实现特征比对。

示例性的，当基于提取的特征与特征库中高频用户的特征，计算的余弦值（cos值）小于预设值时，提取的特征为高频用户对应的特征，比对结果一致；

当基于提取的特征与特征库中高频用户的特征中心，计算的余弦值（cos值）小于预设值时，提取的特征为高频用户对应的特征，比对结果一致。预设值可以为任意数值，本申请实施例对此不做限定。预设值可以为任意数值，本申请实施例对此不做限定。

S404、当提取的特征与特征库中高频用户的特征比对一致时，电子设备将拍摄的图像输入至高频用户对应的GAN先验模型进行图像增强，得到增强后的图像。

本申请实施例中，高频用户对应的GAN先验模型是基于电子设备保存的高频用户对应的图像对GAN先验模型进行训练得到的。当高频用户的数量为多个时，电子设备基于单个高频用户对应的图像对GAN先验模型进行训练，得到每个高频用户对应的GAN先验模型。

示例性的，当提取的特征与特征库中第一高频用户的特征比对一致时，将拍摄的图像输入至第一高频用户对应的GAN先验模型进行图像增强，得到增强后的图像。第一高频用户可以为高频用户中的任意一个。

可能的实现方式中，电子设备可以定期对高频用户对应的GAN先验模型进行训练；或者，电子设备保存高频用户的图像时，对高频用户对应的GAN先验模型进行训练。

这样，基于近期的高频用户的图像对高频用户对应的GAN先验模型进行优化，进而提高对高频用户的图像的增强效果，提高用户体验。

示例性的，图5为本申请实施例提供的一种图像增强前后的对比示意图。如图5中的a所示，增强前的图像清晰度较低，眼睛部位501表现为单眼皮。如图5中的b所示的图像，增强后的图像清晰度提高，眼睛部位502表现为单眼皮。人脸图像在增强前后眼睛部位表现一致，没有出现不真实的细节，达到预期的增强效果，提高了用户体验。

这样，基于单个用户的图像训练GAN先验模型，当再次拍摄到该用户时，通过训练后的GAN先验模型进行图像增强，减少图像增强时的误差；针对单个用户进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。

在上述实施例的基础上，在进行特征比对前，电子设备还可以对图像的清晰度进行判断。

当图像清晰度较低时，电子设备执行有S403和S404。当图像清晰度较高时，电子设备不对图像进行增强处理，执行显示或者保存等流程。清晰度较低的图像可以称为低质图像。清晰度较高的图像可以称为高清图像。

这样，电子设备可以过滤清晰度较高（高清）的人脸图像，减少对高清图像的处理，节省计算资源。

具体的，电子设备可以从人脸分辨率、感光度和无参考图像质量指标（naturalimage quality evaluator，NIQE）模型等多个方面对图像的清晰度进行判断。

本申请实施例中，人脸分辨率是指人脸位置对应的图像分辨率，用于表示人脸细节的精细程度。可以理解的是，人脸分辨率越高，图像中的人脸越清晰。

需要说明的是，图像分辨率用于图像细节的精细程度。图像的分辨率越高，所包含的像素就越多，图像就越清晰。分辨率可以用像素方阵的像素数目或单位长度的像素数目表示。

示例性的，可以用一幅图像在水平方向的像素数（N）与垂直方向的像素数（M）的乘积“N×M”的方式来表示该图像的分辨率；也可以用像素密度来表示该图像的分辨率。像素密度可以以每英寸的像素数（pixels per inch，ppi）为单位表示。

可能的实现方式中，当人脸分辨率大于第一阈值时，图像清晰度较高。当人脸分辨率小于或等于第一阈值时，图像清晰度较低。第一阈值可以为任意数值，示例性的，第一阈值可以为1024像素，本申请实施例对于第一阈值的具体取值不做限定。

可能的实现方式中，当人脸分辨率小于或等于第二阈值时，图像清晰度太低，不适合进行图像增强处理。第二阈值可以为任意数值，示例性的，第二阈值可以为128像素，本申请实施例对于第二阈值的具体取值不做限定。

本申请实施例中，感光度（ISO值）是指图像对于光的灵敏程度，可以用于衡量图像噪声程度。可以理解的是，当光线越强时，ISO越低，图像噪声越小；当光线越暗时，ISO越高，图像噪声越严重。

可能的实现方式中，当ISO大于第三阈值时，图像清晰度较高。当ISO小于或等于第三阈值时，图像清晰度较低。第三阈值可以为任意数值，示例性的，第三阈值可以为6400，本申请实施例对于第三阈值的具体取值不做限定。

可能的实现方式中，当ISO小于或等于第四阈值时，图像清晰度太低，不适合进行图像增强处理。第四阈值可以为任意数值，示例性的，第四阈值可以为100，本申请实施例对于第四阈值的具体取值不做限定。

本申请实施例中，无参考图像质量指标可以用于表示图像模糊程度。

需要说明的是，NIQE是一个客观的评价指标，提取自然景观中的特征来对测试图像进行测试，自然景观中的特征可以拟合成一个多元的高斯模型。该高斯模型实际上是衡量一张待测图像在多元分布上的差异，多元分布分布是由一系列的正常的自然图像中提取的这些特征所构建的。

可以理解的是，当NIQE越低时，图像模糊程度越低，图像越清晰；当NIQE越高时，图像越模糊。

具体的，电子设备可以计算人脸部分位置（例如，眼睛、嘴巴等）计算NIQE。当NIQE小于第五阈值时，清晰度较高；当NIQE大于或等于第五阈值时，清晰度较低。第五阈值可以为任意数值，示例性的，第五阈值可以为8，本申请实施例对于第五阈值的具体取值不做限定。

可能的实现方式中，当ISO大于第六阈值时，图像清晰度太低，不适合进行图像增强处理。第六阈值可以为任意数值，示例性的，第六阈值可以为100，本申请实施例对于第六阈值的具体取值不做限定。

可能的实现方式中，电子设备可以基于上述3种参数中的一种或多种对图像的清晰度进行判断，当清晰度较低时，电子设备执行S403和S404。

可以理解的是，上述3种参数仅作为示例，还可以通过其他参数对图像的清晰度进行判断，本申请实施例对于图像清晰度的具体判断方式不做具体限定。

示例性的，图6为本申请实施例提供的一种图像处理方法的流程示意图。如图5所示，包括：

S601、对人脸图像的清晰度进行判断。

人脸图像为图像中包括人脸的图像。本申请实施例中，人脸图像可以包括一个或多个人脸。

本申请实施例中，清晰度的判断方式可以参照上述相关说明，此处不再赘述。

S602、当图像的清晰度较低时，进行特征比对。

具体的，提取人脸图像的特征与特征库中高频用户对应的特征进行比对。

本申请实施例中，清晰度的判断方式可以参照上述相关说明，此处不再赘述。

S603、当比对一致时，将人脸图像输入至GAN先验模型，得到增强后的图像。

这样，基于单个用户的图像训练的GAN先验模型，进行图像增强，减少图像增强时的误差；针对单个用户进行人像画质的提升，提供电子设备的个性化体验效果，提升用户体验。此外，对图像进行清晰度的判断，可以过滤清晰度较高的图像，对清晰度较低的图像进行图像增强，从而节省计算资源。

示例性的，图7为本申请实施例提供的一种GAN先验模型的训练方法的流程示意图。

S701、基于保存的多个人脸图像进行人脸检测和特征提取，得到多个人脸图像的特征。

本申请实施例中，人脸图像是指图像中显示有人脸的图像。同一张人脸图像中可以显示有一个或多个人脸。

可能的实现方式中，基于清晰的人脸图像进行人脸检测和特征提取。

可以理解的是，人脸检测方式和特征提取方式可以参照上述图4中相关步骤的描述，此处不再赘述。

S702、将多个人脸图像的特征进行聚类，得到特征库。

本申请实施例中，可以通过k均值聚类算法（k-means clustering algorithm）等聚类算法将多个人脸图像的特征进行聚类。

S703、确认特征库中的高频用户。

可以理解的是，特征库中基于不同的用户划分有不同的区域，以分别保存对应的用户人脸图像的特征。如图6所示，特征库可以基于不同的用户划分为5个部分，分别用于保存包含用户1的人脸图像对应的特征、包含用户2的人脸图像对应的特征、包含用户3的人脸图像对应的特征、包含用户4的人脸图像对应的特征、包含用户5的人脸图像对应的特征。

本申请实施例中，高频用户可以为特征库中单个用户对应的特征超过第一预设值的用户；或者可以为特征库中全部用户的特征数量从大至小排序中排名前N对应的用户，N为整数。示例性的，如图6所示，高频用户可以为用户1、用户2和用户3。高频用户还可以为特征库中单个用户对应的特征占特征库中保存的全部特征的比例超过第二预设值的用户。本申请实施例对于高频用户的具体确定方式不做限定。

将多个面部特征中属于同一人的面部特征进行聚类，得到个性化特征库。

S704、基于高频用户对应的图像对GAN先验模型进行训练，得到每个高频用户对应的GAN先验模型。

可能的实现方式中，基于高频用户对应的清晰图像对GAN先验模型进行训练。

可能的实现方式中，基于高频用户对应的清晰图像进行降质处理，得到与清晰图像一一对应降质图像，构成图像训练集；根据图像训练集对GAN先验模型进行图像增强训练。示例性的，将降质图像输入至GAN先验模型进行图像增强训练，直至输出的图像与降质图像对应的清晰图像一致。

本申请实施例中，降质方式包括下述一种或多种：降低分辨率、添加噪声模拟和模糊处理等。

示例性的，将同一用户的特征输入至GAN先验模型进行训练，得到该用户的人脸图像。

可能的实现方式中，电子设备基于高频用户对应的图像定期训练GAN先验模型。定期时间可以为7天，也可以为15天。本申请实施例对于定期训练的时间间隔不做限定。一些实施例中，当电子设备基于定期时间内新增的高频用户对应的图像定期训练GAN先验模型。

或者，当电子设备新增保存高频用户对应的图像的数量达到阈值时，基于高频用户对应的图像训练GAN先验模型。一些实施例中，当电子设备新增保存的高频用户对应的图像的数量达到阈值时，基于新增的高频用户对应的图像训练GAN先验模型。

可以理解的是，新增保存高频用户对应的图像可以是用户从其他设备获取并导入的高频用户对应的图像，也以为电子设备拍摄保存的高频用户对应的图像。

可能的实现方式中，在上述S702对人脸图像进行聚类后，电子设备可以基于单个用户对应存储人脸图像。示例性的，图8为本申请实施例提供的一种电子设备的界面示意图。图库应用中可以基于单个用户存储人脸图像。如图8中的a所示的界面，界面中包括人像801、地点802或其他任意类别的分类项。在人像801下包括用户1、用户2、用户3或其他用户的选择项。如图8中的a所示的界面中包括用户1对应的图像。

当电子设备在如图8中的a所示的界面接收到用户触发用户2的操作时，进入如图8中的a所示的界面，包括用户2对应的图像。

可以理解的是，上述实施例中是通过GAN先验模型对图像中人脸部分进行增强。本申请实施例中也可以采用其它可能的增强方式，具体实现流程类似，此处不再详细赘述。

上面已对本申请实施例的设备图像处理方法进行了说明，下面对本申请实施例提供的执行上述图像处理方法的装置进行描述。本领域技术人员可以理解，方法和装置可以相互结合和引用，本申请实施例提供的装置可以执行上述图像处理方法中的步骤。

为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的方法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对实现上述方法的装置进行功能模块的划分，例如可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图9为本申请实施例提供的一种芯片的结构示意图。芯片90包括一个或两个以上（包括两个）处理器901、通信线路902、通信接口903和存储器904。

在一些实施方式中，存储器904存储了如下的元素：可执行模块或者数据结构，或者他们的子集，或者他们的扩展集。

上述本申请实施例描述的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器（例如，微处理器或常规处理器）、数字信号处理器（digitalsignal processing，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门、晶体管逻辑器件或分立硬件组件，处理器901可以实现或者执行本申请实施例中的公开的各处理相关的方法、步骤及逻辑框图。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。其中，软件模块可以位于随机存储器、只读存储器、可编程只读存储器或带电可擦写可编程存储器（electricallyerasable programmable read only memory，EEPROM）等本领域成熟的存储介质中。该存储介质位于存储器904，处理器901读取存储器904中的信息，结合其硬件完成上述方法的步骤。

处理器901、存储器904以及通信接口903之间可以通过通信线路902进行通信。

在上述实施例中，存储器存储的供处理器执行的指令可以以计算机程序产品的形式实现。其中，计算机程序产品可以是事先写入在存储器中，也可以是以软件形式下载并安装在存储器中。

本申请实施例提供一种电子设备，该电子设备包括：包括：处理器和存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行上述方法。

本申请实施例提供一种芯片。芯片包括处理器，处理器用于调用存储器中的计算机程序，以执行上述实施例中的技术方案。其实现原理和技术效果与上述相关实施例类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序。计算机程序被处理器执行时实现上述方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘（compactdisc read-only memory，CD-ROM）或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线（Digital Subscriber Line，DSL）或无线技术（如红外，无线电和微波）从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘（Digital Versatile Disc，DVD），软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

本申请实施例提供一种计算机程序产品，计算机程序产品包括计算机程序，当计算机程序被运行时，使得计算机执行上述方法。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digitalsubscriber line，DSL）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。

本申请实施例是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

当电子设备拍摄的图像中包括人脸时，所述电子设备将所述人脸与高频用户进行比对；所述高频用户为在所述电子设备存储的图像中出现次数大于第一预设值的用户，或者所述高频用户为在所述电子设备存储的图像中基于单个用户的出现次数从大至小排序中排序前N对应的用户，或者所述高频用户为在所述电子设备存储的图像中出现次数与全部用户出现总次数之比大于第二预设值的用户；

当所述人脸与所述高频用户比对一致时，所述电子设备对所述人脸对应的区域进行增强。

2.根据权利要求1所述的方法，其特征在于，所述当所述人脸与所述高频用户比对一致时，所述电子设备对所述人脸对应的区域进行增强，包括：

当所述人脸与所述高频用户比对一致时，所述电子设备将所述拍摄的图像输入至所述高频用户对应的生成对抗网络GAN先验模型进行图像增强，得到增强后的图像，所述高频用户对应的GAN先验模型是基于所述电子设备存储的所述高频用户对应的图像进行训练的。

3.根据权利要求2所述的方法，其特征在于，所述当电子设备拍摄的图像中包括人脸时，所述电子设备将所述人脸与高频用户进行比对，包括：

当所述电子设备拍摄的图像中包括人脸时，所述电子设备提取所述拍摄的图像的特征；

所述电子设备基于提取的特征和所述高频用户对应的特征进行比对。

4.根据权利要求3所述的方法，其特征在于，所述电子设备基于提取的特征和所述高频用户对应的特征进行比对，包括：

所述电子设备将提取的特征与所述高频用户对应的特征中心进行比对，所述特征中心是所述电子设备将所述高频用户对应的特征进行聚类处理时得到的。

5.根据权利要求4所述的方法，其特征在于，所述电子设备将提取的特征与所述高频用户对应的特征中心进行比对，包括：

所述电子设备基于提取的特征与所述高频用户对应的特征中心，计算余弦值；

当所述余弦值小于预设值时，所述人脸与所述高频用户比对一致。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述出现次数与特征数量相对应；

所述高频用户为在所述电子设备存储的图像中出现次数大于所述第一预设值的用户，或者所述高频用户为在所述电子设备存储的图像中基于单个用户的出现次数从大至小排序中排序前N对应的用户，或者所述高频用户为在所述电子设备存储的图像中出现次数与全部用户出现总次数之比大于所述第二预设值的用户，包括：

所述高频用户为所述电子设备中单个用户对应的特征数量大于所述第一预设值的用户，或者，所述高频用户为所述电子设备中单个用户对应的特征数量从大至小排序中排名前N对应的用户，所述N为整数，或者，所述高频用户为所述电子设备中单个用户对应的特征数量与所述电子设备中保存的全部特征数量之比大于所述第二预设值的用户。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述当电子设备拍摄的图像中包括人脸时，所述电子设备将所述人脸与高频用户进行比对，包括：

当所述拍摄的图像包括人脸且满足预设条件时，所述电子设备将所述人脸与所述高频用户进行比对。

8.根据权利要求7所述的方法，其特征在于，所述预设条件包括：

所述拍摄的图像的人脸分辨率小于或等于第一阈值；

和/或，所述拍摄的图像的感光度ISO小于或等于第三阈值；

和/或，所述拍摄的图像的无参考图像质量指标NIQE大于或等于第五阈值。

9.根据权利要求7所述的方法，其特征在于，所述预设条件包括：

所述拍摄的图像的人脸分辨率小于或等于第一阈值，且大于第二阈值时，

和/或，所述拍摄的图像的ISO小于或等于第三阈值，且大于第四阈值；

和/或，所述拍摄的图像的NIQE大于或等于第五阈值，且小于第六阈值。

10.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

所述电子设备对所述拍摄的图像进行人脸检测。

11.根据权利要求6所述的方法，其特征在于，所述方法还包括：

所述电子设备提取存储的多个包括人脸的图像的特征；

所述电子设备将提取的多个包括人脸的图像的特征进行聚类处理，得到特征库和所述高频用户，所述特征库基于单个用户存储所述多个人脸图像的特征；

所述电子设备基于所述高频用户对应的图像训练GAN先验模型，得到所述高频用户对应的GAN先验模型。

12.根据权利要求11所述的方法，其特征在于，所述电子设备基于高频用户对应的图像训练所述GAN先验模型，包括：

所述电子设备基于所述高频用户对应的图像定期训练所述GAN先验模型；

或者，所述电子设备在所述高频用户对应的图像新增满足预设数量时，基于所述高频用户对应的图像训练所述GAN先验模型。

13.根据权利要求11所述的方法，其特征在于，所述方法还包括：

所述电子设备基于所述单个用户存储所述多个包括人脸的图像。

14.一种电子设备，其特征在于，包括：处理器和存储器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行如权利要求1-13中任一项所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-13任一项所述的方法。

16.一种芯片，其特征在于，所述芯片包括处理器，所述处理器用于调用存储器中的计算机程序，以执行如权利要求1-13中任一项所述的方法。

Images