CN114972014A - 图像处理方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置和电子设备，检测待处理图像中每个人脸区域的人脸关键点；若当前人脸区域中每个指定区域对应的指定关键点与目标关键点不匹配，对指定区域进行美颜，得到指定区域图层；合并预设的肤色美颜图层与每个指定区域图层，得到当前人脸区域匹配的美颜模式；对每个人脸区域按匹配的美颜模式进行美颜，得到美颜图像。该方式可以对每个人脸区域中的每个指定区域分别检测，通过关键点匹配的方式，得到每个人脸区域分别对应的一个或多个指定区域图层，进而得到每个人脸区域分别对应的美颜模式，对每个人脸区域采用对应的美颜模式进行美颜处理，可以使每个人脸区域达到各自最匹配的美颜效果，进而改善所拍照片或视频效果。

Description

图像处理方法、装置和电子设备

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置和电子设备。

背景技术

随着智能终端的不断发展，可用于美颜拍照的智能终端越来越多，如智能手机、平板电脑等，美颜APP也被广泛运用，很多人在拍照、网络直播，或者拍视频时，都会打开美颜；相关技术中，用户可以设置相应的美颜等级，并对预览画面中的人脸进行美颜处理，然而，由于不同人脸的特征差异较大，单纯依靠调整美颜等级的方式进行美颜，难以达到每个用户最匹配的美颜效果，导致所拍照片或视频效果并不理想。

发明内容

本发明的目的在于提供一种图像处理方法、装置和电子设备，以改善美颜效果。

本发明提供的一种图像处理方法，方法包括：获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；针对每个人脸区域，检测当前人脸区域的人脸关键点；针对当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配；如果不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

进一步的，指定关键点有多个；目标关键点有多个，指定关键点与目标关键点的数量相同；判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配的步骤包括：获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个目标关键点与指定点之间的第二距离；计算每个第一距离与对应的第二距离的差值；如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

进一步的，肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层。

进一步的，方法还包括：接收针对目标人脸区域的美颜模式修改指令；获取用户输入的美颜参数，按照美颜参数对目标人脸区域对应的美颜模式进行修改；基于修改后的美颜模式对目标人脸区域进行美颜处理。

进一步的，方法还包括：如果该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，生成该指定区域对应的标识信息；将标识信息添加至对该指定区域美颜处理后的指定区域图层。

本发明提供的一种图像处理装置，装置包括：获取模块，用于获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；检测模块，用于针对每个人脸区域，检测当前人脸区域的人脸关键点；判断模块，针对当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配；第一处理模块，用于如果不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并模块，用于合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；第二处理模块，用于对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

进一步的，指定关键点有多个；目标关键点有多个，指定关键点与目标关键点的数量相同；判断模块还用于：获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个目标关键点与指定点之间的第二距离；计算每个第一距离与对应的第二距离的差值；如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

进一步的，肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层。

本发明提供的一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现上述任一项的图像处理方法。

本发明提供的一种机器可读存储介质，机器可读存储介质存储有机器可执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现上述任一项的图像处理方法。

本发明提供的图像处理方法、装置和电子设备，首先获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；然后针对每个人脸区域，检测当前人脸区域的人脸关键点；针对当前人脸区域中的每个指定区域，如果判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；最后对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。该方式可以对每个人脸区域中的每个指定区域分别进行检测，通过关键点匹配的方式，得到每个人脸区域分别对应的一个或多个指定区域图层，进而得到每个人脸区域分别对应的美颜模式，对每个人脸区域采用对应的美颜模式进行美颜处理，可以使每个人脸区域达到各自最匹配的美颜效果，进而改善了所拍照片或视频效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的另一种图像处理方法的流程图；

图3为本发明实施例提供的另一种图像处理方法的流程图；

图4为本发明实施例提供的另一种图像处理方法的流程图；

图5为本发明实施例提供的一种图像处理装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，美颜APP(APPlication，应用程序)被广泛运用，同时美颜技术也被广泛学习和开发。爱美之心人皆有之，很多人在拍照、网络直播，或者拍视频的时候，都会打开美颜，然而这往往就是翻车现场，当大家在一起拍合照的时候，如果开同样的美颜效果，有些人美颜效果就较差，比如，对于原本眼睛大的人，为了满足其他人，开了大眼的美颜模式，这种情况下拍出来的照片效果就很差。很多人为了避免这种情况，就在拍照的时候开了原图，之后再慢慢进行修图，该方式较为浪费时间，而且多人合照时可能需要轮流修图，由于图片流转，可能导致最后整张图片的清晰度极低。有些网络主播在直播时，开了瘦脸、尖下巴，有时可能整张脸都是歪的。

另外，现有美颜技术仅仅对一个画面采用同样的美颜模式，当胖者和瘦者一起拍合照的时候，迁就胖者的话，瘦者拍完的效果较差，导致用户满意度较差，再比如，在主播带货场景中，主播通常会请明星来直播间一起直播时，明星不需要太多美颜效果就依旧美丽，当主播开了美颜之后，明星被美颜之后的效果就较差，可能会对明星带来一些负面影响。基于此，本发明实施例提供了一种图像处理方法、装置和电子设备，该技术可以应用于在拍照或视频时，需要进行美颜处理的场景中。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍；如图1所示，该方法包括如下步骤：

步骤S102，获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层。

上述待处理图像可以包括：采用相机开始拍照之前，所检测到当前预览图像，或者在通过摄像头拍摄视频之前，检测到的预览区域内的当前帧图像，当然也可以是本地图片或通过相机、摄像头等实时采集的图片等；上述肤色美颜图层可以是预先设置好的针对除眉毛、眼睛、鼻子、嘴巴等五官区域之外的皮肤区域的美颜图层，比如，可以包括美白图层、磨皮图层、嫩肤图层等；在实际实现时，当需要对图像中的人脸进行美颜处理时，通常需要先获取预先设置好的肤色美颜图层，以及待处理图像，并对该待处理图像进行人脸识别，以检测出该待处理图像中所包含的一个或多个人脸区域，比如，可以使用通用的目标检测网络来训练人脸检测模型，如Faster-RCNN(一种目标检测网络)，SSD(Single Shot MultiBoxDetector，单阶段多框检测器)，YOLO(You Only Look Once，一种目标检测网络)等。

步骤S104，针对每个人脸区域，检测当前人脸区域的人脸关键点。

人脸关键点定位技术可以是对人脸中眉毛、眼睛、鼻子、嘴巴以及脸部的轮廓进行定位，人脸关键点定位是紧接在人脸检测后，即首先在一张图片中检测到人脸，然后才对检测到的人脸做关键点定位。人脸关键点定位技术同人脸检测技术一样，在实际应用中，也存在人脸的尺度、光照、表情、姿态、遮挡等问题，有了关键点以后，便可以对图片中人脸区域做瘦脸、磨皮、美白等“美颜”操作。这些算法一般应用在移动设备上：在Android上可以使用OpenGL ES(OpenGL for Embedded Systems，嵌入式系统的OpenGL)，在iOS上可以使用Metal根据人脸关键点的位置，对人脸进行瘦脸、磨皮、美白之类的渲染。在实际实现时，在检测出待检测区域中的人脸区域后，需要对每个人脸区域分别检测对应的人脸关键点，即对每个人脸区域中的眉毛、眼睛、鼻子、嘴巴以及脸部的轮廓进行定位。

步骤S106，针对当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配。

上述指定区域可以是人脸区域中的眉毛区域、眼睛区域、鼻子区域、嘴巴区域或脸部轮廓区域等；上述指定关键点可以理解为实际检测到的该指定区域对应的关键点，上述目标关键点可以理解为预先存储的比较合理且美观的该指定区域对应的关键点；比如，如果指定区域是眼睛区域，则指定关键点为实际检测到的该眼睛区域对应的眼睛关键点，目标关键点为预先存储的比较美观的眼睛区域对应的标准关键点，其中，该眼睛关键点和对应的标准关键点的数量通常均包括多个，比如，可以位于内眼角、外眼角、眼睛上沿中点和眼角下沿中点等；在实际实现时，针对每个人脸区域中的每个指定区域，需要将每个指定区域对应的指定关键点与目标关键点进行比对，得到比对结果，并根据比对结果判断两者是否相匹配。

步骤S108，如果不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层。

为方便说明，以指定区域是眼睛为例，如果针对某个人脸区域中的眼睛区域，经比对确认其对应的目标关键点和指定关键点不匹配，则可以根据目标关键点，对该人脸区域中的眼睛区域进行美颜处理，具体可以生成对应的眼睛图层，在该眼睛图层中包括对眼睛进行美颜处理后的眼睛，即按照目标关键点定位得到的标准眼睛。

步骤S110，合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式。

当得到每个人脸区域对应的一个或多个指定区域图层后，可以将每个人脸区域分别对应的每个指定区域图层与预设的肤色美颜图层进行汇总整合，得到每个人脸区域分别对应的图层合集，该图层合集即为与对应的人脸区域所匹配的美颜模式；由于每个人脸区域的特征均不相同，因此，每个人脸区域对应的美颜模式通常也不相同。

步骤S112，对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

当得到每个人脸区域分别对应的美颜模式后，就可以按照对应的美颜模式对人脸区域分别进行美颜处理，得到美颜图像。

上述图像处理方法，首先获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；然后针对每个人脸区域，检测当前人脸区域的人脸关键点；针对当前人脸区域中的每个指定区域，如果判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；最后对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。该方式可以对每个人脸区域中的每个指定区域分别进行检测，通过关键点匹配的方式，得到每个人脸区域分别对应的一个或多个指定区域图层，进而得到每个人脸区域分别对应的美颜模式，对每个人脸区域采用对应的美颜模式进行美颜处理，可以使每个人脸区域达到各自最匹配的美颜效果，进而改善了所拍照片或视频效果。

本发明实施例还提供了另一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配的具体过程，以及，对美颜模式的修改过程，具体对应下述步骤S206至步骤S210，及步骤S222至步骤S226；该方法中，指定关键点有多个；目标关键点有多个，指定关键点与目标关键点的数量相同；比如，如果指定区域是眼睛区域，其对应的指定关键点和目标关键点的数量分别包括至少四个，且指定关键点与目标关键点的数量相同；如图2所示，该方法包括如下步骤：

步骤S202，获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层。

肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层；该肤色美颜图层中的每种图层对应的美颜参数一般是通过大数据统计得到的，比如，对于美白图层来说，该美白图层对应的美白参数可以是通过大数据统计，能使拍摄效果比较自然真实时所对应的美白参数，基于该美白参数得到的美白效果能够满足大众审美；一般情况下，美白图层、磨皮图层和嫩肤图层通常都只有各自对应的一种图层，当然也可以根据实际需求，对每种肤色美颜图层设置多个不同等级的图层，比如，可以美白图层可以包括一级美白图层、二级美白图层等，用户可以根据选择想要的美白等级，以更好的满足用户需求。

步骤S204，针对每个人脸区域，检测当前人脸区域的人脸关键点。

步骤S206，针对当前人脸区域中的每个指定区域，获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个目标关键点与指定点之间的第二距离。

上述指定点可以是指定区域中的任一位置点，比如，如果指定区域是眼睛区域，该指定点可以是眼睛的中心点位置，当然也可以选择该眼睛区域的其他位置点作为参考点；为方便说明，以指定区域是眼睛区域，指定点是眼睛的中心点位置，且眼睛区域对应的指定关键点和目标关键点均包括：内眼角、外眼角、眼睛上沿中点和眼角下沿中点四个关键点为例，分别计算四个指定关键点与实际检测的眼睛中心点的距离，以及四个目标关键点与标准眼睛的眼睛中心点的距离，可以得到四个第一距离和四个第二距离。

步骤S208，计算每个第一距离与对应的第二距离的差值。

步骤S210，如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

上述预设阈值可以根据实际需求进行设置，通常每个指定区域对应的预设阈值都不相同，每个指定区域可能对应有多个阈值，比如，该指定区域的每个指定关键点都有各自对应的阈值等；分别计算每个第一距离与对应的第二距离的差值，比如，第一距离为实际检测的眼睛外眼角与眼睛中心点的距离，第二距离为标准眼睛的眼睛外眼角与标准眼睛的眼睛中心点的距离，计算这两个距离之间的差值，如果第二距离为1cm，表示外眼角到眼睛中心点的距离为1cm时比较美观，假设预设阈值为2mm，如果第一距离与第二距离的差值超出2mm，如过长或过短，此时可以认为该眼睛区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，实际检测的眼睛一般为小眼睛，需要生成对应的标准眼睛图层。

步骤S212，如果不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层。

步骤S214，如果该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，生成该指定区域对应的标识信息。

步骤S216，将标识信息添加至对该指定区域美颜处理后的指定区域图层。

上述标识信息可以采用数字、字母等任意形式标识，并且每个指定区域与对应的标识信息一一对应，比如，如果检测出是小眼睛，可以标记为001，鼻子比较塌，可以标记为002等，通过标识信息有助于区分各个不同的指定区域，并且，为了更加清楚的标识出指定区域图层与指定区域的对应关系，通常会对所生成的指定区域图层按照对应的指定区域标识进行标记，比如，生成的标准眼睛图层标记为001，生成的标准鼻子图层标记为002等。

步骤S218，合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式。

步骤S220，对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

步骤S222，接收针对目标人脸区域的美颜模式修改指令。

在实际实现时，如果用户对上述确定的美颜模式不满意，可以通过发送美颜模式修改指令进行手动调节，具体的，用户可以通过相机、摄像机等终端的显示界面，手动选择想要更改美颜模式的目标人脸区域，点击修改，即可生成并发送上述美颜模式修改指令，在显示该目标人脸区域所匹配美颜模式的美颜参数后，即可进行修改。

步骤S224，获取用户输入的美颜参数，按照美颜参数对目标人脸区域对应的美颜模式进行修改。

用户发出上述美颜模式修改指令后，就可以设置想要的美颜参数，对通过前述步骤生成的目标人脸区域的美颜模式进行修改，比如，可以对目标人脸区域的眼睛区域的眼睛美颜参数进行修改，或对鼻子区域的鼻子美颜参数进行修改等。

步骤S226，基于修改后的美颜模式对目标人脸区域进行美颜处理。

上述图像处理方法，针对当前人脸区域中的每个指定区域，获取该指定区域中，每个指定关键点与指定区域中指定点之间的第一距离，以及每个目标关键点与指定点之间的第二距离。计算每个第一距离与对应的第二距离的差值。如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。这种通过计算距离判断关键点是否匹配的方式，可以提高判断结果的准确性，更有助于改善美颜效果。

另外，当接收到针对目标人脸区域的美颜模式修改指令，并获取到用户输入的美颜参数后，可以按照美颜参数对目标人脸区域对应的美颜模式进行修改，并基于修改后的美颜模式对目标人脸区域进行美颜处理。该方式中，用户可以对所生成的美颜模式进行修改，以满足用户的特定喜好和需求，美颜处理方式更加灵活，从而可以使每个人脸区域达到各自最匹配的美颜效果，进而改善了所拍照片或视频效果。

下面对本方案中涉及的相关术语进行解释说明，人脸识别：人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息。并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等，相应的识别技术就有人脸识别、指纹识别、掌纹识别、虹膜识别、视网膜识别、语音识别(用语音识别可以进行身份识别，也可以进行语音内容的识别，只有前者属于生物特征识别技术)、体形识别、键盘敲击识别、签字识别等。

美颜算法：美颜的核心处理是磨皮，仅进行模糊平滑处理，对整张图像的处理会显得比较假，如果能针对性的只处理皮肤，效果会更真实。参见图3所示的另一种图像处理方法的流程图，相关技术中，在真实的工程应用中，一张图像的磨皮处理，通常包括以下步骤：在输入图像S后，首先进行肤色检测或肤色概率计算，得到肤色区域或肤色概率图，通过高斯滤波，生成一个Mask A；然后对输入的图像S通过保边滤波得到滤波图像T，最后根据MaskA，按照S×(1-A)+T×A进行计算，仅对皮肤部位进行滤波处理，非皮肤采用原图像素，得到最终的效果图。

一般美颜技术涉及以下5步：

1.人脸检测；

2.人脸关键点检测；

3.瘦脸；

在OpenGL或Metal环境下，在shader(纹理)中通过对像素位置进行偏移来实现对脸部区域的放大缩小：由变形前坐标，根据变形映射关系，得到变形后坐标。这其中变形映射关系是最关键的，不同的映射关系，将得到不同的变形效果。平移、缩放、旋转，对应的是不同的映射关系，即不同的变换公式。当然实际在计算过程中，用的是逆变换，即由变形后坐标，根据逆变换公式反算变形前坐标，然后插值得到该坐标RGB(R：Red，红色；G：Green，绿色；B：Blue，蓝色)像素值，将该RGB值作为变形后坐标对应的像素值。这样才能保证变形后的图像是连续、完整的。

4.磨皮；

在图片的人脸框部分再进行一次肤色检测。只对人脸区域做磨皮，磨皮一般使用图像处理的一些滤波算法。肤色检测可分两大类，一类是用颜色空间统计信息，来计算出皮肤所在的区域，另一类是基于机器学习的方法。滤波算法一般可以使用高斯滤波或者双边滤波等。

5.美白；

图片的美白，是操作这个图片上的所有像素点，获得像素点的R、G、B、A的值然后获取到的值进行一定数目的增量。在图像处理领域中，一张图片会使用三原色red、green、blue来保存图片的颜色信息，三个值的取值范围是0-255：越靠近0，图像就越黑，等于0的时候就是纯黑色；越靠近255，图像就越白，等于255的时候就是白色。图片的美白就是利用的这个原理。

为进一步理解上述实施例，下面提供如图4所示的另一种图像处理方法的流程图，该方式采用人脸识别技术识别出图片的面孔，针对不同面孔采用美颜算法技术，赋予不同的美颜模式，当要设置美颜时，定格到某个瞬间，然后根据每个人的需要设置妆容或者美颜效果。在主播或者拍视频的时候，也可以先设置好，再进行实时美颜直播或拍视频。这样就能多人合照、直播或者拍视频时，不会出现同一个妆容，或者出现有人脸变形，反而很丑的现象。

该方式针对不同面孔采用美颜算法技术，赋予不同的美颜模式，通过人脸识别、人脸关键点检测、获取脸部特征等过程，自动生成符合该面容的最佳美颜效果。具体的，如图4所示，在获取到图片后，或者，在拍照、录制视频或直播时，先对相应的预览图像进行人脸识别，检测是否存在两张或两张以上人脸，如果只存在一张人脸，则检测人脸关键点，对检测到的人脸进行瘦脸、磨皮、美白等处理，并输出设置好的妆容效果；如果检测到多张人脸，检测每张人脸的人脸关键点，解析脸部特征，并对不同特征的人脸赋予不同的妆容，如果用户不喜欢自动赋予的妆容，可以手动选择想要更改妆容的人脸，并对所选择的人脸设置喜欢的妆容，在完成修改后，可以输出设置好的妆容效果。

该方式进行美颜处理的总体理念是：在common图层存放一些公共图层(对应上述肤色美颜图层)，比如美白，磨皮，嫩肤等，当通过人脸识别获取到脸部特征后，可以对脸部特征以从上往下的顺序进行检测，并标记到extra内，可以将所有检测到的脸部特征依次进行标记后，保存到extra，当extra接收到一个需要美颜处理的脸部特征，如眼睛小的特征后，可以触发大眼语句，自动生成新的extra图层，之后在personal中实现调用common公共图层+extra图层，生成的图层合集就是该面容的专属美颜模式。

由上述可知，该方式每次赋予的美颜模式都是各个美颜图层合集，可以将基础美颜模式都带有的公共图层的分别标记为：美白图层100、磨皮图层101，嫩肤图层102等，当拍照结束，根据脸部特征自动合成一个美颜模式：基础美颜图层(即common公共图层)+额外特征图层(即extra图层)。

下面对两种不同的应用场景分别进行说明，场景一：图像中一个人；相机检测到当前帧为一个人时，此时人脸进行识别，定位到人脸后开始人脸关键点检测，取脸部特征进行标记，并最后将所有特征与预设好的特征图层进行整合，最后将所有图层汇总在一起，赋予合适的美颜模式。

例如：人脸关键点检测时，检测出该人眼睛比较小标记为001，嘴巴比较大标为002，鼻子比较塌标为003，汇总之后取图层001，图层002，图层003，之后再添加基础的美白图层100、磨皮图层101，嫩肤图层102等，最后将图层001、002、003、100、101、102合并，生成的一张新图层，成为符合该人脸的美颜模式。并赋予给该面容。

场景二：图像中多人；当相机检测到当前帧有2人及以上的时候，此时进行人脸识别，定位到人脸后进行关键点检测，根据不同脸型，肤色，等特征自动赋予符合这些特征的图层，最后生成符合面容的美颜妆容，若用户不满意，可手动进行调节，在视频和直播时，多人开始直播/拍视频时，最开始脸部被镜头检测到的时候，可以在再最开始开播/视频的时候相机采集到每一帧的画面都会由云端后台进行人脸识别，再标出关键点的位置在给予不同的美颜模式，拍摄/直播时，可以选择更换妆容，这时再次人脸检测，定位人脸，选中人脸后用户根据自己的需求进行设置。得到美颜后的画面变成视频图像实时传播出来。

例如：人脸关键点检测时，面容一，脸部比较胖标记004，面容二，眼睛比较小标记007。则可以对面容一赋予004、100、101、102图层整合的美颜模式；对面容二赋予007、100、101、102图层整合的美颜模式。

该方式在赋予美颜模式时，可以通过大数据检测分析，推荐适合该脸部特征的美颜模式，推荐的美颜模式，是在基础的模式上增添一些其他的图层。在自动赋予美颜模式之后，用户如果对自动美颜模式的美颜效果不满意，可以进行手动更改。

上述图像处理方式，在多人合照或者录视频、直播时，自动识别每一个面孔并匹配出各自最合适的美颜效果，该方式可以避免出现翻车现场。该技术最接近现在的美颜相机技术，但是美颜相机仅用一种美颜模式，应用于整个画面的所有人。但是本方案可以针对不同面孔使用不同的美颜模式，自行设置美颜效果对应到个人，针对不同面孔有不同妆容和美颜模式，不至于出现一张图片中，大家的口红色号统一，妆容统一等问题，从而提高了用户满意度，节约了修图时间，减少了直播美颜过度翻车的问题。

本发明实施例提供了一种图像处理装置，如图5所示，该装置包括：获取模块50，用于获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；检测模块51，用于针对每个人脸区域，检测当前人脸区域的人脸关键点；判断模块52，针对当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配；第一处理模块53，用于如果不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并模块54，用于合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；第二处理模块55，用于对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

上述图像处理装置，首先获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；然后针对每个人脸区域，检测当前人脸区域的人脸关键点；针对当前人脸区域中的每个指定区域，如果判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，根据目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；合并肤色美颜图层与每个指定区域图层，得到与当前人脸区域匹配的美颜模式；最后对每个人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。该方式可以对每个人脸区域中的每个指定区域分别进行检测，通过关键点匹配的方式，得到每个人脸区域分别对应的一个或多个指定区域图层，进而得到每个人脸区域分别对应的美颜模式，对每个人脸区域采用对应的美颜模式进行美颜处理，可以使每个人脸区域达到各自最匹配的美颜效果，进而改善了所拍照片或视频效果。

进一步的，指定关键点有多个；目标关键点有多个，指定关键点与目标关键点的数量相同；判断模块还用于：获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个目标关键点与指定点之间的第二距离；计算每个第一距离与对应的第二距离的差值；如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

进一步的，肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层。

进一步的，该装置还用于：接收针对目标人脸区域的美颜模式修改指令；获取用户输入的美颜参数，按照美颜参数对目标人脸区域对应的美颜模式进行修改；基于修改后的美颜模式对目标人脸区域进行美颜处理。

进一步的，该装置还用于：如果该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，生成该指定区域对应的标识信息；将标识信息添加至对该指定区域美颜处理后的指定区域图层。

本发明实施例所提供的图像处理装置，其实现原理及产生的技术效果和前述图像处理方法实施例相同，为简要描述，图像处理装置实施例部分未提及之处，可参考前述图像处理方法实施例中相应内容。

本发明实施例还提供了一种电子设备，参见图6所示，该电子设备包括处理器130和存储器131，该存储器131存储有能够被处理器130执行的机器可执行指令，该处理器130执行机器可执行指令以实现上述图像处理方法。

进一步地，图6所示的电子设备还包括总线132和通信接口133，处理器130、通信接口133和存储器131通过总线132连接。

其中，存储器131可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口133(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线132可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器131，处理器130读取存储器131中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器调用和执行时，该机器可执行指令促使处理器实现上述图像处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像处理方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；

针对每个所述人脸区域，检测当前人脸区域的人脸关键点；

针对所述当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配；

如果不匹配，根据所述目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；

合并所述肤色美颜图层与每个所述指定区域图层，得到与所述当前人脸区域匹配的美颜模式；

对每个所述人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

2.根据权利要求1所述的方法，其特征在于，所述指定关键点有多个；所述目标关键点有多个，所述指定关键点与所述目标关键点的数量相同；

所述判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配的步骤包括：

获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个所述目标关键点与所述指定点之间的第二距离；

计算每个所述第一距离与对应的所述第二距离的差值；

如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

3.根据权利要求1所述的方法，其特征在于，所述肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收针对目标人脸区域的美颜模式修改指令；

获取用户输入的美颜参数，按照所述美颜参数对所述目标人脸区域对应的美颜模式进行修改；

基于修改后的美颜模式对所述目标人脸区域进行美颜处理。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配，生成该指定区域对应的标识信息；

将所述标识信息添加至对该指定区域美颜处理后的指定区域图层。

6.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取包含至少一个人脸区域的待处理图像，以及预设的肤色美颜图层；

检测模块，用于针对每个所述人脸区域，检测当前人脸区域的人脸关键点；

判断模块，针对所述当前人脸区域中的每个指定区域，判断该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点是否匹配；

第一处理模块，用于如果不匹配，根据所述目标关键点，对该指定区域进行美颜处理，得到对该指定区域美颜处理后的指定区域图层；

合并模块，用于合并所述肤色美颜图层与每个所述指定区域图层，得到与所述当前人脸区域匹配的美颜模式；

第二处理模块，用于对每个所述人脸区域按照所匹配的美颜模式进行美颜处理，得到美颜图像。

7.根据权利要求6所述的装置，其特征在于，所述指定关键点有多个；所述目标关键点有多个，所述指定关键点与所述目标关键点的数量相同；

所述判断模块还用于：

获取该指定区域中，每个指定关键点与该指定区域中指定点之间的第一距离，以及每个所述目标关键点与所述指定点之间的第二距离；

计算每个所述第一距离与对应的所述第二距离的差值；

如果存在至少一个差值超出预设阈值，确定该指定区域对应的指定关键点与预先存储的该指定区域对应的目标关键点不匹配。

8.根据权利要求6所述的装置，其特征在于，所述肤色美颜图层包括以下至少一种：美白图层、磨皮图层和嫩肤图层。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1-5任一项所述的图像处理方法。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-5任一项所述的图像处理方法。

Images