CN107945135B - 图像处理方法、装置、存储介质和电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、存储介质和电子设备。该方法包括：获取待处理图像，识别所述待处理图像中的瑕疵区域；对所述瑕疵区域进行磨皮处理；从预设的参考图像中获取与所述瑕疵区域对应的参考区域；将处理后的瑕疵区域和所述参考区域进行融合处理。该图像处理方法、装置、存储介质和电子设备可提高图像的视觉效果。

Description

图像处理方法、装置、存储介质和电子设备

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、存储介质和电子设备。

背景技术

随着智能拍照设备的普及，越来越多的拍照设备都会在拍摄的过程中，对拍摄的呈现的帧图像进行美颜处理，比如进行对图像中的人物进行磨皮和美白等处理。

传统的图像处理方法，在对待处理图像进行磨皮处理的过程中，当待磨皮的区域存在痘印、斑等瑕疵时，通常都是将图像中待磨皮的区域与周边正常区域进行平滑处理，以淡化或去掉相应的瑕疵，从而实现对该区域的磨皮，达到磨皮效果。然而，这种处理方法会造成该待磨皮区域内的毛孔或皮肤纹理等细节信息的丢失。

发明内容

本申请实施例提供一种图像处理方法、装置、存储介质和电子设备，可以降低处理后的图像的细节信息的丢失，提高处理后的图像显示的视觉效果。

一种图像处理方法，包括：

获取待处理图像，识别所述待处理图像中的瑕疵区域；

对所述瑕疵区域进行磨皮处理；

从预设的参考图像中获取与所述瑕疵区域对应的参考区域；

将处理后的瑕疵区域和所述参考区域进行融合处理。

一种图像处理装置，所述装置包括：

瑕疵识别模块，用于获取待处理图像，识别所述待处理图像中的瑕疵区域；

参考区域确定模块，用于从预设的参考图像中获取与所述瑕疵区域对应的参考区域；

磨皮模块，用于对所述瑕疵区域进行磨皮处理；

融合处理模块，用于将处理后的瑕疵区域和所述参考区域进行融合处理。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请各实施例中所述方法的步骤。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请各实施例中所述方法的步骤。

本申请实施例所提供的图像处理方法、装置、存储介质和电子设备，通过上述的图像处理方法，通过设置参考图像，在检测出待处理图像中存在瑕疵时，可识别待处理图像中的瑕疵区域，进而从参考图像中获取与该瑕疵区域对应的参考区域，在对瑕疵区域进行磨皮处理之后，进一步按照该参考区域对磨皮处理后瑕疵区域进行融合处理，进一步提高了对待处理图像显示的视觉效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图；

图2为一个实施例中电子设备的内部结构示意图；

图3为一个实施例中图像处理方法的流程图；

图4为一个实施例中识别待处理图像中的瑕疵区域的流程图；

图5为一个实施例中将处理后的瑕疵区域和参考区域进行融合处理的流程图；

图6为一个实施例中图像处理装置的结构框图；

图7为另一个实施例中图像处理装置的结构框图；

图8为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本发明的范围的情况下，可以将第一摄像头模组称为第二摄像头模组，且类似地，可将第二摄像头模组称为第一摄像头模组。第一摄像头模组和第二摄像头模组两者都是摄像头模组，但其不是同一摄像头模组。

图1为一个实施例中图像处理方法的应用环境图。参考如图1所示，电子设备110可调用其上的摄像头进行拍摄，如对环境中的物体120进行实时扫描得到帧图像，根据该帧图像生成拍摄的图像。可选地，该摄像头内包含第一摄像头模组112和第二摄像头模组114，根据该第一摄像头模组112和第二摄像头模组114共同实现拍摄，生成图像。电子设备可将该帧图像或者生成的图像，作为待处理图像，识别待处理图像中的瑕疵区域；从预设的参考图像中获取与瑕疵区域对应的参考区域；对瑕疵区域进行磨皮处理；将处理后的瑕疵区域和参考区域进行融合处理。

图2为一个实施例中电子设备的内部结构示意图。如图2所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和摄像头。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统、数据库和计算机程序。数据库中存储有用于实现以下各个实施例所提供的一种图像处理方法相关的数据，比如可存储有待处理图像、参考图像等数据。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。摄像头包括上述的第一摄像头模组和第二摄像头模组，均可用于生成图像。显示屏可以是触摸屏，比如为电容屏或电子屏，用于显示待处理图像等可视信息，还可以被用于检测作用于该显示屏的触摸操作，生成相应的指令。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。比如该电子设备还可包括通过系统总线连接的网络接口，并通过该网络接口与其它设备进行通信，比如可通过该网络接口与获取其它设备上的图像等数据。

在一个实施例中，如图3所示，提供了一种图像处理方法，本实施例主要以该方法应用于如图1所示的电子设备中进行说明，该方法包括：

步骤302，获取待处理图像，识别待处理图像中的瑕疵区域。

待处理图像是指需要进行美颜处理的图像，可为已经拍摄生成的图像，还可为在拍摄模式下，通过摄像头实时扫描得到帧图像。瑕疵包括痘印、斑、肿块等多种，瑕疵的颜色通常与该人像的正常肤色不一致。瑕疵通常处于人像中，具体地，为处于人脸上的瑕疵。电子设备中预设了每种在人像上的瑕疵的瑕疵特征。电子设备可从待处理图像中提取相关的特征数据，检测该特征数据中，是否包含符合该瑕疵特征的数据，若是，则判定存在瑕疵，并识别出该瑕疵在待处理图像中的区域，该区域即为瑕疵区域。

在一个实施例中，电子设备可检测该特征数据是否和人脸特征相匹配，若匹配，则表示该待处理图像中存在人脸。此时可进一步获取检测出的人脸在该待处理图像中的区域，该区域即为人脸区域。并从该人脸区域中识别出瑕疵所在的区域，作为瑕疵区域。人脸特征包括人脸上的脸型、眼睛、眉、头发等人脸上的一个或多个部位的特征。

其中，当待处理图像为帧图像时，电子设备接收到开启摄像头的指令时，可调用摄像头进行扫描，进入拍摄状态。该摄像头包括第一摄像头模组和第二摄像头模组。可通过该第一摄像头模组和/或第二摄像头模组对拍摄环境中的物体进行扫描，形成该帧图像。可选地，可按照对应的帧率来实时生成帧图像。其中，该帧率可为固定设置的帧率，还可为根据当前环境的亮度等信息自适应确定的帧率。比如可以以每秒30帧的帧率来实时生成帧图像。

当待处理图像为已经拍摄生成的图像，电子设备可接收对待处理图像的美颜处理指令。其中，该美颜处理指令可为在生成拍摄的图像之后，自动触发的对生成的图像的美颜处理指令，该生成的图像即为该待处理图像。还可接收用户对所选择的图像的美颜处理指令，所选取的图像即为该待处理图像。美颜处理指令可以是通过侦测到的相关触控操作、物理按键的按压操作、语音控制操作或对设备的晃动操作等触发的美颜处理指令。触控操作可为触摸点击操作、触摸长按操作、触摸滑动操作、多点触控操作等操作。电子设备可提供用于触发进行美颜的开启按钮，当侦测到对该开启按钮的点击操作时，触发进行美颜的美颜处理指令。电子设备还可预设用于触发该美颜处理指令的开启语音信息。通过调用语音接收装置，接收对应的语音信息，当检测到该语音信息与该开启语音信息匹配时，也可触发该美颜处理指令。通过解析，可判定该语音信息和预设的开启语音信息相匹配，从而可触发该美颜处理指令。

步骤304，对瑕疵区域进行磨皮处理。

终端可通过预设的磨皮算法来对该瑕疵区域进行磨皮处理。比如可通过双边滤波算法、导向滤波算法、基于均值滤波的保边滤波器算法、选择性模糊算法或基于高斯滤波的磨皮实现算法等磨皮算法，对该瑕疵区域进行磨皮处理，以淡化或消除对应的瑕疵。

可选地，可提取处于瑕疵区域周边的皮肤的肤色信息，根据该肤色信息来对瑕疵区域进行磨皮。可将该周边的肤色与该瑕疵区域的肤色进行加权平均运算，将运算得到的肤色作为该瑕疵区域的肤色，使得磨皮处理后的瑕疵区域的肤色与周边的肤色更加接近，实现对瑕疵的消除或淡化。其中，周边的区域可根据该瑕疵区域的大小来确定，该周边区域的大小可根瑕疵区域的大小成一定的比例。

步骤306，从预设的参考图像中获取与瑕疵区域对应的参考区域。

参考图像为用于对待处理图像提供参考或借鉴的图像，电子设备中预设有该参考图像。在识别出瑕疵区域后，可获取对应预设的参考图像，从该参考图像中选取与该瑕疵区域对应的参考区域。该参考图像中的参考区域可对存在瑕疵的部位提供参考或借鉴的信息。

该参考图像可为包含人脸的图像，且该参考图像中的人脸中不存在对应的瑕疵，使得电子设备可从该参考图像中提取与该瑕疵相同的部位对应的区域，作为参考区域。在进行磨皮处理的过程中，磨皮区域上的皮肤细节信息会被丢失。可选地，该参考图像中包含的人脸可为用于进行参考的人脸，可为包含更多皮肤细节信息的人脸。该人脸可与待处理图像中的人脸相同。其中，皮肤细节信息包含脸部的毛孔、皮肤纹路等细节性的信息。

在一个实施例中，参考区域表示的人脸上的部位的大小与瑕疵区域表示的人脸上的部位的大小相同。电子设备可检测该瑕疵区域在人脸中所占据的部位与大小，并从所确定的参考图像中，提取对应该相同的部位与大小的区域，作为参考区域，以进一步提高后续进行融合处理的显示效果。

在一个实施例中，上述的步骤304和步骤306之间的执行顺序可不做限定，比如还可先执行步骤306，再执行步骤304；或者还可同时执行步骤304和步骤306。

步骤308，将处理后的瑕疵区域和参考区域进行融合处理。

待处理图像和参考图像均是由若干个像素点构成的，每个像素点可以由多个颜色通道构成，每个颜色通道表示一个颜色分量。例如，图像可以由RGB(红、绿、蓝三种颜色)三通道构成，也可以是由HSV(色调、饱和度和明度)三通道构成，还可以是由CMY(青、洋红或品红和黄三种颜色)三通道构成。

针对每个颜色通道，电子设备可提取参考区域内的每个像素点的第一颜色信息。并提取磨皮处理后的瑕疵区域内的每个像素点的第二颜色信息。将处于参考区域内和磨皮处理后的瑕疵区域内，相同位置的像素上的相同颜色通道进行融合处理，得到对应颜色通道的第三颜色信息，将该第三颜色通信息作为融合处理后的待处理图像上，对应位置的像素的颜色通道的颜色信息。其中，该融合处理可为加权平均运算处理，通过融合处理，使得处理后的瑕疵区域内包含参考区域的肤色信息，从而可实现在对待处理图像的磨皮处理后，又追加了被处理的瑕疵区域上的肤色信息，提高了对处理后的图像显示的视觉效果。

上述的图像处理方法，通过设置参考图像，在检测出待处理图像中存在瑕疵时，可识别待处理图像中的瑕疵区域，进而从参考图像中获取与该瑕疵区域对应的参考区域，在对瑕疵区域进行磨皮处理之后，进一步按照该参考区域对磨皮处理后瑕疵区域进行融合处理，进一步提高了对待处理图像显示的视觉效果。

在一个实施例中，如图4所示，识别待处理图像中的瑕疵区域，包括：

步骤402，识别待处理图像中的人脸区域。

可选地，电子设备中可预设用于进行人脸检测的人脸检测算法，通过人脸检测算法获取待处理图像的人脸区域。人脸检测算法可以包括基于几何特征的检测方法、特征脸检测方法、线性判别分析方法、基于隐马尔柯夫模型检测方法等，在此不做限定。电子设备可按照预设的人脸检测算法，从该待处理图像中提取相关的特征数据，将该特征数据导入该人脸检测算法中进行运算，以得出其中是否存在人脸，当存在人脸时，可进一步获取对应人脸在待处理图像中所处的区域，该区域即为人脸区域。该特征数据可包括用于体现出脸型、眼睛、眉、头发等人脸上的一个或多个部位的特征的数据。

步骤404，检测人脸区域中是否存在瑕疵。

当存在人脸时，可进一步从该人脸区域中检测是否存在瑕疵。检测该人脸区域内是否存在符合预设的瑕疵特征的特征数据。

步骤406，当存在瑕疵时，识别瑕疵在人脸中所处的部位，根据部位确定人脸区域中的瑕疵区域。

当检测判定存在瑕疵时，检测该符合瑕疵特征的特征数据在人脸区域内的区域，该区域即为瑕疵区域。可以理解地，该瑕疵区域可为人脸上的脸部、额头、鼻、嘴、眼角等人脸区域上的任意位置。

通过首先进行人脸检测，在监测出存在人脸时，再进行瑕疵检测，可提高对瑕疵检测准确性。

在一个实施例中，从预设的参考图像中提取与瑕疵区域对应的参考区域，包括：从参考图像中的人脸区域内，提取在人脸中与瑕疵相同的部位对应的区域，作为参考区域。

电子设备可进一步识别该瑕疵处于人脸上的部位，并对参考图像中的人脸进行部位识别，以检测出与该瑕疵处于相同部位，并确定该部位在参考图像中的区域，将该区域作为参考区域。其中，该部位包括人脸上的位置信息和大小信息。比如，可为处于眼角、额头或鼻头等任意位置和大小。

举例来说，当瑕疵区域为人脸上的眼角区域，该瑕疵为肿块或者痘印等。电子设备可检测待处理图像中的人脸区域内，是否存在符合对应瑕疵的特征的区域，从而可识别出该瑕疵处于对应的眼角区域。同样针对参考图像，可同样对该参考图像进行人脸器官识别，以确定人脸上的各个部位在参考图像中所处的区域，从而可将判定出的瑕疵所处的部位在参考图像中的区域，作为该参考区域，并提取该参考区域，作为对该瑕疵进行处理的参考对象。其中，该参考区域所呈现出的信息不包含相应的瑕疵，比图为该眼角区域在正常时所呈现的图像，且其中可包含上述的毛孔或皮肤纹理等皮肤细节信息，使得可用于对该瑕疵区域进行美颜处理时的参考。

在一个实施例中，在步骤306之前，还包括：确定人脸区域内的人脸的人脸身份；获取与人脸身份对应的参考图像。

其中，人脸身份用于唯一确定一个人脸。相同人脸的人脸身份相同。电子设备可存储多个不同的人脸身份的参考图像，并对应设置了每个参考图像中的人脸特征。

在确定待处理图像中包含人脸之后，可进一步对该人脸进行识别，以检测该人脸是否与预设的参考图像中的人脸相同。可选地，可检测待处理图像中的人脸的人脸特征，是否与预先设置的多份人脸特征中的一份相匹配，若与其中的一份人脸特征相匹配，则获取与该人脸特征所标识的人脸身份，获取该人脸身份对应的参考图像，使得所获取的参考图像中的人脸与待处理图像中的人脸是相同用户的人脸。

举例来说，电子设备可预先存储包含人脸身份为人脸A的人脸的图像，作为该人脸A的参考图像。当电子设备的人脸A在进行自拍时，电子设备可对自拍生成的图像作为待处理图像，并识别该待处理图像中的人脸的人脸身份，在石碑处该人脸身份为人脸A时，可获取预设的与该人脸A对应的参考图像。

本实施例中，通过获取包含待处理图像中相同的人脸的参考图像，可进一步提高对待处理图像美颜的效果，使得后续融合处理后，所保留的图像中的细节信息与待处理图像中的人脸匹配度更高。

在一个实施例中，在获取待处理图像之前，还包括：获取至少一个预设的模板图像集合，同一模板图像集合中的每个模板图像中的人脸的人脸身份相同；根据同一模板图像集合中的每个模板图像，生成与人脸身份对应的参考图像。

模板图像集合中包含多个模板图像，模板图像为用于生成参考图像的图像。模板图像可为用户在之前进行拍摄时所生成的图像，还可为从服务器或云端下载的图像。模板图像可为已经进行美颜处理之后的图像，还可为未被美颜处理过的图像。

电子设备可预先设置多套模板图像集合，同一模板图像集合中的模板图像，其内的人脸的人脸身份均相同。也就是说，电子设备可针对每个预设的人脸身份，设置对应的模板图像集合，该模板图像集合中包含将选取的作为该人脸身份的模板图像。比如，电子设备可分别建立张三的模板图像集合和李四的模板图像集合。该张三的模板图像集合中，包含的均为张三的人脸的模板图像；李四的模板图像集合中，包含的均为李四的人脸的模板图像。可选地，电子设备可预先对已存储的图像进行人脸识别，将识别出的人脸身份属于预设的人脸身份，且包含所需的皮肤细节信息的图像，划分至对应的模板图像集合中。还可接收用户的选取指令，根据该选取指令将对应选取的图像划分至对应的模板图像集合中。

电子设备可将一个或多个模板图像直接作为参考图像，还可根据一个或多个模板图像进行处理，生成参考图像。可选地，该处理可包括融合处理。与参考图像相同，模板图像中也可包含对应人脸身份的人脸的皮肤细节信息，使得生成的参考图像中也包含对应的皮肤细节信息。

针对同一美颜图像集合内的美颜图像，电子设备可将该集合内的所有的美颜图像中的人脸进行调整，电子设备可对每个模板图像内的人脸进行拍摄角度分析，并按照预设的角度调整模式，将模板图像中的人脸调整至同一预设角度，并对调整至相同角度的人脸进行加权平均运算，以得到处于调整后的角度的人脸的图像，将该图像作为参考图像。

在一个实施例中，在进行人脸的角度调整过程中，可对人脸中的部位按照调整角度进行拉伸或者缩放，使得角度调整后呈现的图像符合拍摄时的图像，且能够保留调整前的皮肤细节信息。当调整前的部分部位是处于遮挡状态时，在角度调整后的模板图像中，可舍弃被遮挡的部位，仅将呈现的部位加入平均运算，进行融合处理，以进一步提高生成的参考图像的质量。且当模板图像越多，所处理生成的参考图像的质量越高。

举例来说，当某一参考图像为左脸侧拍的图像时，其中的右脸、耳朵均是被遮挡的，同样的，其右眼、又眉毛等部位也能是被遮挡或者部分遮挡的，当调整至正脸角度的图像时，可仅对呈现出的人脸部位进行角度调整，而舍弃被遮挡的部位或部分部位，比如舍弃该右脸或右耳。同样地，当存在右脸侧拍摄的图像时，可做对应相同的处理，由多张角度处理后的模板图像进行加权平均，从而得到皮肤细节信息更多、质量更高的参考图像。

在一个实施例中，根据同一模板图像集合中的每个模板图像，生成与人脸身份对应的参考图像，包括：针对每个参考图像集合，获取其中的每个模板图像内的人脸模板特征，根据人脸模板特征生成与人脸身份对应的参考图像。

模板图像内的人脸的人脸类型被标记为该图像所属的模板图像集合所对应的人脸类型。模板图像内的人脸为预先选取的符合大众审美标准的人脸，比如可为明星的人脸。人脸模板特征可包含体现出人脸上的各个器官部位的大小、颜色、位置和深度等其中的一种或多种信息，以及上述的皮肤细节信息等特征数据。

根据获取的每种人脸类型的人脸模板特征，可将每个表示相同部位的人脸模板特征进行求平均运算，以计算出对应人脸身份的人脸参考特征，根据该人脸参考特征生成与人脸身份对应的参考图像。在一个实施例中，可预先设置了针对人脸参考特征的训练模型，通过将相同人脸身份的人脸模板特征导入该训练模型中进行训练，以生成人脸参考特征，得到参考图像。通过上述方法生成参考图像，可进一步提高参考图像的准确性。

在一个实施例中，根据同一模板图像集合中的每个模板图像，生成与人脸身份对应的参考图像，包括：根据同一模板图像集合中的每个模板图像和对应的图像生成时间，生成与人脸身份对应的参考图像。

本实施例中，模板图像集合中的模板图像可为预先拍摄所生成的图像，电子设备可查询对应模板图像的生成时间，按照生成时间来确定每个模板图像的权值。其中，生成时间越早，对应的权值相对越小。电子设备可按照所确定的权值，并对模板图像进行角度调整，针对调整后的相同角度的模板图像，按照所确定的权值进行加权平均运算，得到运算处理后的图像，作为对应角度的参考图像。

在一个实施例中，在获取与人脸身份对应的参考图像，包括：检测待处理图像的拍摄角度，从与该人脸身份对应的参考图像中，选取与该拍摄角度最接近的参考图像。

可选地，该预设角度可包含多种，使得处于不同的拍摄角度均可具有比较合适的参考图像。比如，预设角度可包含正脸拍摄对应的角度、侧脸拍摄对应的角度、俯视拍摄对应的角度和仰视拍摄对应的角度等其中的一种或多种的组合。

在一个实施例中，在步骤306之前，还包括：确定瑕疵区域所属人脸的人脸类型，获取与人脸类型对应的参考图像。

人脸类型可为根据人物的性别、年龄、人种、脸型等其中的一种或多种属性所划分出的类型。电子设备预设了多种人脸类型，该人脸类型可根据预设的图像库进行聚类等划分，所划分出的多种人脸类型。该图像库中的图像均包含人脸，通过对该图像库的人脸进行聚类，形成预设的数量的人脸类型，以及每种图像中的人脸所属的人脸类型。针对所形成的每种人脸类型，按照属于该人脸类型的图像中的人脸的人脸特征，计算出与该人脸类型对应的人脸特征。可选地，该人脸特征可为所属人脸的人脸特征的进行加权平均计算而得到的人脸特征。

电子设备可对待处理图像中的人脸区域内的图像进行分析，以识别出该人脸的人脸特征与预设的每种人脸类型的人脸特征的匹配程度，并选取匹配程度最高的人脸类型，作为该人脸所属的人脸类型。

电子设备针对每种人脸类型，均设置了对应的参考图像。在识别出人脸类型之后，可根据该人脸类型查询出对应的参考图像。通过进一步引入人脸类型，使得获取的参考图像与该待处理图像的匹配度更高。

在一个实施例中，如图5所示，步骤308包括：

步骤502，检测瑕疵区域的拍摄角度。

可选地，当瑕疵处于人脸上的某个部位时，瑕疵区域的拍摄角度即为对应人脸的拍摄角度。电子设备可检测待处理图像中，人脸区域上呈现的人脸各个部位的形状、大小来计算出人脸的拍摄角度，将该拍摄角度作为瑕疵区域的拍摄角度。

步骤504，对参考区域进行调整，使得调整后的参考区域对应的部位与瑕疵区域的拍摄角度一致。

可选地，当预设的与待处理图像对应的参考图像包含多个时，可从该多个参考图像中，选取拍摄角度与瑕疵区域的拍摄角度最接近的参考图像。针对选取的参考图像，可按照图像的角度调整方式，对参考图像内的部位进行拉伸或缩放等调整，使得调整后的参考图像所呈现的拍摄角度与瑕疵区域的拍摄角度一致，从而实现对参考图像中的参考区域的角度调整。

在一个实施例中，按照参考图像的拍摄角度和瑕疵区域的拍摄角度，按照预设的角度调整模型计算出需要对参考图像需要调整的调整参数，并按照计算出的调整参数对参考区域进行调整，以降低调整的工作量。

步骤506，根据处理后的瑕疵区域和调整后的参考区域进行融合处理。

电子设备可针对该瑕疵区域和调整后的参考区域上的每个相同位置处的像素点，对相同位置的像素点上的颜色通道进行加权平均运算，得到的运算结果作为融合处理后的参考区域上的颜色，从而使得融合处理后的参考区域内，即消除或淡化了瑕疵，又增加了更多的皮肤细节信息，提高了显示的视觉效果。

在一个实施例中，如图6所示，提供了一种图像处理装置，该装置包括：

瑕疵识别模块602，用于获取待处理图像，识别待处理图像中的瑕疵区域。

参考区域确定模块604，用于从预设的参考图像中获取与瑕疵区域对应的参考区域。

磨皮模块606，用于对瑕疵区域进行磨皮处理。

融合处理模块608，用于将处理后的瑕疵区域和参考区域进行融合处理。

在一个实施例中，参考区域确定模块604还用于确定人脸区域内的人脸的人脸身份；获取与人脸身份对应的参考图像。

在一个实施例中，如图7所示，上述装置还包括：

参考图像生成模块610，用于获取至少一个预设的模板图像集合，同一模板图像集合中的每个模板图像中的人脸的人脸身份相同；根据同一模板图像集合中的每个模板图像，生成与人脸身份对应的参考图像。

在一个实施例中，参考图像生成模块610还用于根据同一模板图像集合中的每个模板图像和对应的图像生成时间，生成与人脸身份对应的参考图像。

在一个实施例中，参考区域确定模块604还用于确定瑕疵区域所属人脸的人脸类型，获取与人脸类型对应的参考图像。

在一个实施例中，瑕疵识别模块602还用于识别待处理图像中的人脸区域；检测人脸区域中是否存在瑕疵；当存在瑕疵时，识别人脸中所处的部位，根据部位确定人脸区域中的瑕疵区域。

在一个实施例中，参考区域确定模块604还用于从参考图像中的人脸区域内，提取在人脸中与瑕疵相同的部位对应的区域，作为参考区域。

在一个实施例中，融合处理模块608还用于检测瑕疵区域的拍摄角度；对参考区域进行调整，使得调整后的参考区域对应的部位与瑕疵区域的拍摄角度一致；根据处理后的瑕疵区域和调整后的参考区域进行融合处理。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的图像处理方法的步骤。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的图像处理方法的步骤。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。

ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840还可从图像存储器830接收处理数据，对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器880可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器870，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器880设备上之前解压缩。

ISP处理器840处理图像数据的步骤包括：对图像数据进行VFE(Video Front End，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器840处理后的图像数据可发送给美颜模块860，以便在被显示之前对图像进行美颜处理。美颜模块860对图像数据美颜处理可包括：美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中，美颜模块860可为移动终端中CPU(Central Processing Unit，中央处理器)、GPU或协处理器等。美颜模块860处理后的数据可发送给编码器/解码器870，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器880设备上之前解压缩。其中，美颜模块860还可位于编码器/解码器870与显示器880之间，即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器870可为移动终端中CPU、GPU或协处理器等。

ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数以及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。

运用图8中图像处理技术可实现如上的图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，包括：

获取待处理图像，识别所述待处理图像中的瑕疵区域；

对所述瑕疵区域进行磨皮处理；

若所述待处理图像中的人脸与至少一个参考图像中的其中一个参考图像中的人脸相同，则从所述参考图像中的人脸区域内，提取在人脸中与所述瑕疵相同的部位对应的区域，作为参考区域；所述至少一个参考图像中的各参考图像分别通过同一模板图像集合中的每个模板图像生成，且各所述参考图像分别与相应模板图像集合中的模板图像中的人脸的人脸身份对应；其中，同一模板图像集合中每个模板图像中的人脸的人脸身份相同；

将处理后的瑕疵区域和所述参考区域进行融合处理。

2.根据权利要求1所述的方法，其特征在于，所述根据同一模板图像集合中的每个模板图像，生成与人脸身份对应的参考图像，包括：

根据同一模板图像集合中的每个模板图像和对应的图像生成时间，生成与人脸身份对应的参考图像。

3.根据权利要求1所述的方法，其特征在于，在所述从所述参考图像中的人脸区域内，提取在人脸中与所述瑕疵相同的部位对应的区域，作为参考区域之前，还包括：

确定所述瑕疵区域所属人脸的人脸类型，获取与所述人脸类型对应的参考图像。

4.根据权利要求1所述的方法，其特征在于，所述识别所述待处理图像中的瑕疵区域，包括：

识别所述待处理图像中的人脸区域；

检测所述人脸区域中是否存在瑕疵；

当存在瑕疵时，识别所述人脸中所处的部位，根据所述部位确定所述人脸区域中的瑕疵区域。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述将处理后的瑕疵区域和所述参考区域进行融合处理，包括：

检测所述瑕疵区域的拍摄角度；

对所述参考区域进行调整，使得调整后的参考区域对应的部位与所述瑕疵区域的拍摄角度一致；

根据所述处理后的瑕疵区域和调整后的参考区域进行融合处理。

6.一种图像处理装置，其特征在于，所述装置包括：

瑕疵识别模块，用于获取待处理图像，识别所述待处理图像中的瑕疵区域；

磨皮模块，用于对所述瑕疵区域进行磨皮处理；

参考区域确定模块，用于若所述待处理图像中的人脸与至少一个参考图像中的其中一个参考图像中的人脸相同，则从所述参考图像中的人脸区域内，提取在人脸中与所述瑕疵相同的部位对应的区域，作为参考区域；所述至少一个参考图像中的各参考图像分别通过同一模板图像集合中的每个模板图像生成，且各所述参考图像分别与相应模板图像集合中的模板图像中的人脸的人脸身份对应；其中，同一模板图像集合中每个模板图像中的人脸的人脸身份相同；

融合处理模块，用于将处理后的瑕疵区域和所述参考区域进行融合处理。

7.根据权利要求6所述的装置，其特征在于，

所述参考图像生成模块，还用于根据同一模板图像集合中的每个模板图像和对应的图像生成时间，生成与人脸身份对应的参考图像。

8.根据权利要求6所述的装置，其特征在于，

所述参考区域确定模块，还用于确定所述瑕疵区域所属人脸的人脸类型，获取与所述人脸类型对应的参考图像。

9.根据权利要求6所述的装置，其特征在于，

所述瑕疵识别模块，还用于识别所述待处理图像中的人脸区域；检测所述人脸区域中是否存在瑕疵；当存在瑕疵时，识别所述人脸中所处的部位，根据所述部位确定所述人脸区域中的瑕疵区域。

10.根据权利要求6至9中任一项所述的装置，其特征在于，

所述融合处理模块，还用于检测所述瑕疵区域的拍摄角度；对所述参考区域进行调整，使得调整后的参考区域对应的部位与所述瑕疵区域的拍摄角度一致；根据所述处理后的瑕疵区域和调整后的参考区域进行融合处理。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

Images