CN110969120B - 图像处理方法及装置、电子设备、可读存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法及装置、电子设备、可读存储介质。该方法包括：获取包含人脸区域的目标图像；对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像；确定所述眼部图像中眼睛的眼皮类型；根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。这样，本实施例中可以针对眼皮类型融合特效素材，避免出现双眼皮类型眼睛融合双眼皮特效素材的情况，可以保证特效效果，有利于提升用户使用体验。

Description

图像处理方法及装置、电子设备、可读存储介质

技术领域

本公开涉及显示技术领域，尤其涉及一种图像处理方法及装置、电子设备、可读存储介质。

背景技术

目前，现有部分应用程序APP上设置有人脸识别的功能，通过人脸识别可以确定出人脸的特征，如性别、年龄等，然后根据人脸特征来提供相应的特效，从而达到提升用户使用APP的体验。

本公开的发明人发现，现有APP上对人脸特征的划分有限，均未细分到单双眼皮的程度。这样，在体验双眼皮特效时，APP会无差别的为所有用户的眼睛融合双眼皮特效。然而，当用户的眼睛为双眼皮时，会造成眼睛出现多层眼皮叠加的效果，降低使用体验。

发明内容

本公开提供一种图像处理方法及装置、电子设备、可读存储介质，以至少解决相关技术中插播的多媒体对象其关键内容不突出的问题。

本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

获取包含人脸区域的目标图像；

对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像；

确定所述眼部图像中眼睛的眼皮类型；

根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

可选地，对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像，包括：

获取所述目标图像中人脸区域；

对所述人脸区域进行关键点定位，从定位出的区域中确定出眼部区域；

获取包含所述眼部区域的眼部图像。

可选地，确定所述眼部图像中眼睛的眼皮类型包括：

获取预先训练的眼皮识别模型；

将所述眼部图像输入到预先训练的眼皮识别模型，由所述眼皮识别模型识别出所述目标图像内眼睛的眼皮类型；所述眼皮类型包括单眼皮类型和双眼皮类型。

可选地，训练所述眼皮识别模型的步骤包括：

获取预先设置的训练图像样本集，所述训练图像样本集中各训练图像样本内包含一只眼睛，且已标注所述眼睛的眼皮类型；

将所述各训练图像样本依次输入到深度学习模型中，由所述深度学习模型学习单眼皮类型眼睛和双眼皮类型眼睛的特征，直至训练过程的损失函数小于设定误差阈值为止，得到所述眼皮识别模型。

可选地，在所述目标图像的眼睛上融合特效素材包括：

若所述眼皮类型为单眼皮类型，则在所述眼睛融合第一特效素材；或，

若所述眼皮类型为双眼皮类型，则在所述眼睛融合第二特效素材。

可选地，在所述目标图像的眼睛上融合特效素材包括：

判断所述目标图像中同一用户两只眼睛的眼皮类型是否相同；

若相同，则将相同的特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合；

若不同，则将第一特效素材图像与所述目标图像的所述眼部图像的单眼皮对应区域融合，以及对所述眼部图像的双眼皮对应区域不融合特效素材。

可选地，所述目标图像包括以下至少一种：照片，视频的每一帧视频帧，视频的前设定数量帧视频帧，视频的间隔设定数量帧的视频帧。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

目标图像获取单元，被配置为执行获取包含人脸区域的目标图像；

眼部图像获取单元，被配置为执行对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像；

眼皮类型获取单元，被配置为执行确定所述眼部图像中眼睛的眼皮类型；

特效素材融合单元，被配置为执行根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

可选地，所述眼部图像获取单元包括：

人脸区域获取模块，被配置为执行获取所述目标图像中人脸区域；

眼部区域获取模块，被配置为执行对所述人脸区域进行关键点定位，从定位出的区域中确定出眼部区域；

眼部图像获取模块，被配置为执行获取包含所述眼部区域的眼部图像。

可选地，所述眼皮类型获取单元包括：

识别模型获取模块，被配置为执行获取预先训练的眼皮识别模型；

眼皮类型识别模块，被配置为执行将所述眼部图像输入到预先训练的眼皮识别模型，由所述眼皮识别模型识别出所述目标图像内眼睛的眼皮类型；所述眼皮类型包括单眼皮类型和双眼皮类型。

可选地，所述装置还包括识别模型训练单元，所述识别模型训练单元包括：

样本集获取模块，被配置为执行获取预先设置的训练图像样本集，所述训练图像样本集中各训练图像样本内包含一只眼睛，且已标注所述眼睛的眼皮类型；

识别模型获取模块，被配置为执行将所述各训练图像样本依次输入到深度学习模型中，由所述深度学习模型学习单眼皮类型眼睛和双眼皮类型眼睛的特征，直至训练过程的损失函数小于设定误差阈值为止，得到所述眼皮识别模型。

可选地，所述特效素材融合单元包括：

第一融合单元，被配置为执行在所述眼皮类型为单眼皮类型时，在所述眼睛融合第一特效素材；或，

第二融合单元，被配置为执行在所述眼皮类型为双眼皮类型时，在所述眼睛融合第二特效素材。

可选地，所述特效素材融合单元包括：

眼皮类型判断单元，被配置为执行判断所述目标图像中同一用户两只眼睛的眼皮类型是否相同；

素材融合单元，被配置为执行在两只眼睛的眼皮类型相同时，将相同的特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合，以及在两只眼睛的眼皮类型不同时，将第一特效素材图像与所述目标图像的所述眼部图像的单眼皮对应区域融合，以及对所述眼部图像的双眼皮对应区域不融合特效素材。

可选地，所述目标图像包括以下至少一种：照片，视频的每一帧视频帧，视频的前设定数量帧视频帧，视频的间隔设定数量帧的视频帧。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如第一方面所述图像处理方法的步骤。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由处理器执行时能够执行如第一方面所述图像处理方法的步骤。

根据本公开实施例的第五方面，提供一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述图像处理方法的步骤，以获取相同的技术效果。

本公开的实施例提供的技术方案至少带来以下有益效果：

本实施例中通过获取包含人脸区域的目标图像；然后，对目标图像进行人脸关键点定位，根据关键点获取眼部图像；之后，确定眼部图像中眼睛的眼皮类型；最后，根据眼皮类型和眼部图像对应的所述关键点，将特效素材图像与目标图像的眼部图像的眼皮对应区域融合。这样，本实施例中可以针对眼皮类型融合特效素材，避免出现双眼皮类型眼睛融合双眼皮特效素材的情况，可以保证特效效果，有利于提升用户使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的训练眼皮识别模型的流程图。

图3是根据一示例性实施例示出的获取眼皮类型的流程图。

图4是根据一示例性实施例示出的向眼睛融合特效素材的流程图。

图5是根据一示例示出的眼睛融合特效素材的效果图，其中图5(a)示出了不融合特效素材的效果图；图5(b)中示出融合双眼皮特效素材的效果图。

图6是根据一示例性实施例示出的另一种图像处理装置的框图。

图7是根据一示例性实施例示出的又一种图像处理装置的框图。

图8是根据一示例性实施例示出的又一种图像处理装置的框图。

图9是根据一示例性实施例示出的又一种图像处理装置的框图。

图10是根据一示例性实施例示出的又一种图像处理装置的框图。

图11是根据一示例性实施例示出的又一种图像处理装置的框图。

图12是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

目前，现有部分应用程序APP上设置有人脸识别的功能，通过人脸识别可以确定出人脸的特征，如性别、年龄等，然后根据人脸特征来提供相应的特效，从而达到提升用户使用APP的体验。

本公开的发明人发现，现有APP上对人脸特征的划分有限，均未细分到单双眼皮的程度。这样，在体验双眼皮特效时，APP会无差别的为所有用户的眼睛融合双眼皮特效。然而，当用户的眼睛为双眼皮时，会造成眼睛出现多层眼皮叠加的效果，降低使用体验。

为此，本公开实施例提供了一种图像处理方法，图1是根据一示例性实施例示出的一种图像处理方法，可以适用于电子设备，其中，电子设备可以包括智能手机、平板电脑等终端，可以是服务器，还可以是由终端和服务器构成的电子系统。参见图1，一种图像处理方法，包括步骤101～步骤104，其中：

在步骤101中，获取包含人脸区域的目标图像。

本实施例中，电子设备内可以设置有应用程序APP，该APP内可以设置有特效素材融合功能，该特效素材融合功能可以为功能按键或者设定手势，在此不作限定。其中，该特效素材可以包括以下至少一种：双眼皮素材、眼影素材，可以根据具体场景进行设置，在此不作限定。

本实施例中，电子设备可以周期性地或者实时地检测特效素材融合功能是否被触发，在未被触发时，电子设备继续检测；在被触发时，如融合功能按键被点击或者检测到设定手势，电子设备可以获取目标图像。获取目标图像的方式可以包括：

方式一，调用摄像头模组，利用摄像头模组采集当前场景下的图像作为目标图像。

方式二，在指定位置读取图像，作为目标图像。

在一示例中，目标图像可以包括照片。在另一示例中，目标图像可以包括视频中的某些帧，如视频中的每一帧视频帧，视频的前设定数量帧视频帧或者视频中间隔设定数量帧的视频帧。其中，目标图像是视频中的每帧视频帧时，可以准确的检测出眼睛的眼皮类型，准确度高且数据计算量大；目标图像是视频的前设定数量帧视频帧时，数据计算量小、实时性好且准确度一般；目标图像是视频中间隔设定数量帧的视频帧时，准确度较高，数据计算量一般、实时性一般。需要说明的是，“高”“大”“小”“好”“一般”是指在目标图像为当前视频帧时与其他两种视频帧场景时的比较结果，其不构成对本公开的限定。

在步骤102中，对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像。

本实施例中，电子设备可以对目标图像进行关键点定位，获得眼部图像。例如，电子设备可以获取目标图像中的人脸区域，然后对人脸区域进行关键点定位。例如，在一示例中，关键点可以如下设置：头部周围、人脸面部周围、眼部区域、鼻三角区域、口部眉毛。然后，根据关键点密集区域的轮廓形状，以及相邻两个轮廓之间的距离(如两只眼睛之间的距离通常为一只眼睛的宽度)，以及与周围轮廓的相对位置关系(如左眼睛的上方是眉毛，右侧是右眼睛；又如，右眼睛的上方是眉毛，左侧是左眼睛；眼睛位于人脸轮廓的内部偏上约三分之一的位置等)，可以确定出眼部区域。然后，电子设备获取在轮廓外部最小矩形，该矩形区域内的图像作为眼部图像。当然，还可以采用神经网络的方式，将目标图像输入到预先训练的神经网络，由神经网络在目标图像中定位出眼部区域，如包含眼睛的最小矩形区域，将该最小矩形区域的图像作为眼部图像。

在步骤103中，确定所述眼部图像中眼睛的眼皮类型。

本实施例中，电子设备内可以存储预先训练的眼皮识别模型，眼皮识别模型可以为深度学习模型，例如VGG16、VGG19、GoogleNet、CNN、RCNN、GAN网络等，在此不作限定。

本实施例中，参见图2，训练该眼皮识别模型的步骤包括：电子设备可以获取预先设置的训练图像样本集，该训练图像样本集中各训练图像样本内包含一只眼睛，且已标注眼睛的眼皮类型(对应图2中步骤201)。实际应用中，训练图像样本集中各训练图像样本可以为不同角度、不同视角、不同大小和不同宽度的单眼皮照片或双眼皮照片，可理解的是，训练图像样本集包含训练图像样本越完备，眼皮识别模型识别出眼皮类型的结果越准确。

继续参见图2，电子设备可以将各训练图像样本依次输入到深度学习模型中，通过初始深度学习模型对训练图像样本进行分类处理，输出对训练图像样本的预测概率，根据各个训练图像样本的预测概率与已标注眼皮类型，获取本次训练过程的损失函数值，若损失函数值不满足收敛条件，则对初始模型进行参数调整，迭代执行上述训练过程，直到满足收敛条件时，得到眼皮识别模型(对应图2中步骤202)。训练过程的收敛条件可以是损失函数值小于设定误差阈值，其中，设定误差阈值可以根据具体场景进行设置，如0～5％，在此不作限定。

需要说明的是，当电子设备为终端时，考虑到终端的算力有限，因此可以将上述训练过程在服务器中执行，在获得眼皮识别模型后再移植到终端内。或者，电子设备向服务器发送训练请求，服务器对眼皮识别模型训练后，将眼皮识别模型的参数下发给电子设备，电子设备可以根据参数配置本地的眼皮识别模型。这样，电子设备可以不用参与到训练过程，降低对算力资源的使用。

本实施例中，参见图3，电子设备在获取到眼部图像后，可以获取预先训练的眼皮识别模型(对应图3中步骤301)。然后，电子设备可以将眼部图像输入到预先训练的眼皮识别模型，由眼皮识别模型识别出目标图像内眼睛的眼皮类型；其中眼皮类型包括单眼皮类型和双眼皮类型(对应图3中步骤302)。

需要说明的是，目标图像中可能获取到1、2或者多张眼部图像，可以分别标识各眼部图像，并基于关键点可以确定出同一用户的眼睛，在此不再详述。考虑到用户两只眼睛的眼皮并非全部相同(一只眼睛为单眼皮，一只眼睛为双眼皮)，或者，目标图像中用户的拍摄角度使得眼睛为一单一双，因此，在一实施例中，眼皮识别模型可以分别识别出两只眼睛的眼皮类型，并作为识别结果同时输出。

在步骤104中，根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

本实施例中，电子设备在获取眼睛的眼皮类型后，可以根据眼皮类型向相应的眼睛融合特效素材。例如，特效素材上设置有关键点，将特效素材上的各关键点与眼睛上的各关键点一一重合，从而使特效素材融合到眼睛之上。

在一示例中，可以默认两只眼睛的眼皮类型相同，在确定出其中一只眼睛为单眼皮类型后，电子设备可以同为两只眼睛融合第一特效素材，其中第一特效素材可以为双眼皮素材。在确定出其中一只眼睛为双眼皮类型后，电子设备可以同为两只眼睛融合第二特效素材，其中第二特效素材可以为眼影素材；或者，电子设备也可以不为两只眼睛融合眼皮特效，从而保持眼睛原本双眼皮的效果。

在另一示例中，参见图4，电子设备可以判断目标图像中两只眼睛的眼皮类型是否相同(对应图4中步骤401)。若两只眼睛的眼皮类型相同，则在两只眼睛上融合相同的特效素材，即在类型为单眼皮类型时，电子设备可以在两只眼睛上融合第一特效素材；在类型为双眼皮类型时，电子设备可以在两只眼睛上融合第二特效素材或者不融合特效素材；若两只眼睛的眼皮类型不同，则将第一特效素材图像与眼部图像的单眼皮对应区域融合，以及对双眼皮对应区域不融合特效素材(对应图4中步骤402)。当然，在一些场景下，在为单眼皮类型眼睛融合特效素材后，还可以在两只眼睛上继续融合其他特效素材，如眼影，从而提升用户使用体验。

图5是根据一示例示出的眼睛融合特效素材的效果图，参见图5，图5(a)中示出了在检测到双眼皮类型后，电子设备不为其融合特效素材的效果图；图5(b)中示出了在检测到单眼皮类型后(用户低头时双眼皮叠加引起识别结果为单眼皮类型)，电子设备为其融合双眼皮特效素材的效果图，其中图中示出了手指表面上有浮起来的双眼皮线条。

实际应用中，在目标图像为视频时，考虑到用户拍摄时其姿态与摄像头的相对位置可能发生变化，在用户低头时眼皮叠加会误识别为单眼皮，因此，本实施例中电子设备可以以视频中每一帧视频帧作为目标图像识别眼皮类型，或者每间隔一定数量视频帧后识别一次眼皮类型，这样可以提升识别结果的准确度。

至此，本实施例中通过获取包含人脸区域的目标图像；然后，对目标图像进行人脸关键点定位，根据关键点获取眼部图像；之后，确定眼部图像中眼睛的眼皮类型；最后，根据眼皮类型和眼部图像对应的所述关键点，将特效素材图像与目标图像的眼部图像的眼皮对应区域融合。这样，本实施例中可以针对眼皮类型融合特效素材，避免出现双眼皮类型眼睛融合双眼皮特效素材的情况，可以保证特效效果，有利于提升用户使用体验。

在本公开实施例提供的一种图像处理方法的基础上，本实施例还提供了一种图像处理装置，图6是根据一示例性实施例示出的一种图像处理装置。参见图6，一种图像处理装置600包括：

目标图像获取单元601，被配置为执行获取包含人脸区域的目标图像；

眼部图像获取单元602，被配置为执行对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像；

眼皮类型获取单元603，被配置为执行确定所述眼部图像中眼睛的眼皮类型；

特效素材融合单元604，被配置为执行根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

图7是根据一示例性实施例示出的另一种图像处理装置的框图，在图6所示的一种图像处理装置的基础上，参见图7，所述眼皮类型获取单元602包括：

人脸区域获取模块701，被配置为执行获取所述目标图像中人脸区域；

眼部区域获取模块702，被配置为执行对所述人脸区域进行关键点定位，从定位出的区域中确定出眼部区域；

眼部图像获取模块703，被配置为执行获取包含所述眼部区域的眼部图像。

图8是根据一示例性实施例示出的另一种图像处理装置的框图，在图6所示的一种图像处理装置的基础上，参见图8，所述眼皮类型获取单元602包括：

识别模型获取模块801，被配置为执行获取预先训练的眼皮识别模型；

眼皮类型识别模块802，被配置为执行将所述眼部图像输入到预先训练的眼皮识别模型，由所述眼皮识别模型识别出所述目标图像内眼睛的眼皮类型；所述眼皮类型包括单眼皮类型和双眼皮类型。

图9是根据一示例性实施例示出的另一种图像处理装置的框图，在图8所示的一种图像处理装置的基础上，参见图9，所述装置还包括识别模型训练单元，所述识别模型训练单元包括：

样本集获取模块901，被配置为执行获取预先设置的训练图像样本集，所述训练图像样本集中各训练图像样本内包含一只眼睛，且已标注所述眼睛的眼皮类型；

识别模型获取模块902，被配置为执行将所述各训练图像样本依次输入到深度学习模型中，由所述深度学习模型学习单眼皮类型眼睛和双眼皮类型眼睛的特征，直至训练过程的损失函数小于设定误差阈值为止，得到所述眼皮识别模型。

图10是根据一示例性实施例示出的另一种图像处理装置的框图，在图6所示的一种图像处理装置的基础上，参见图10，所述特效素材融合单元604包括：

第一融合单元1001，被配置为执行在所述眼皮类型为单眼皮类型时，将第一特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合；或，

第二融合单元1002，被配置为执行在所述眼皮类型为双眼皮类型时，将第二特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

图11是根据一示例性实施例示出的另一种图像处理装置的框图，在图6所示的一种图像处理装置的基础上，参见图11，所述特效素材融合单元604包括：

眼皮类型判断单元1101，被配置为执行判断所述目标图像中同一用户两只眼睛的眼皮类型是否相同；

素材融合单元1102，被配置为执行在两只眼睛的眼皮类型相同时，将相同的特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合，以及在两只眼睛的眼皮类型不同时，将第一特效素材图像与所述目标图像的所述眼部图像的单眼皮对应区域融合，以及对所述眼部图像的双眼皮对应区域不融合特效素材。

在一实施例中，所述目标图像包括以下至少一种：照片，视频的每一帧视频帧，视频的前设定数量帧视频帧，视频的间隔设定数量帧的视频帧。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

至此，本实施例中通过获取包含人脸区域的目标图像；然后，对目标图像进行人脸关键点定位，根据关键点获取眼部图像；之后，确定眼部图像中眼睛的眼皮类型；最后，根据眼皮类型和眼部图像对应的所述关键点，将特效素材图像与目标图像的眼部图像的眼皮对应区域融合。这样，本实施例中可以针对眼皮类型融合特效素材，避免出现双眼皮类型眼睛融合双眼皮特效素材的情况，可以保证特效效果，有利于提升用户使用体验。

图12是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图12，电子设备1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)的接口1212，传感器组件1214，以及通信组件1216。

处理组件1202通常控制电子设备1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的图像处理方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。

存储器1204被配置为存储各种类型的数据以支持在电子设备1200的操作。这些数据的示例包括用于在电子设备1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1206为电子设备1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为电子设备1200生成、管理和分配电力相关联的组件。

多媒体组件1208包括在电子设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当电子设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当电子设备1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。

I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1214包括一个或多个传感器，用于为电子设备1200提供各个方面的状态评估。例如，传感器组件1214可以检测到电子设备1200的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1200的显示器和小键盘，传感器组件1214还可以检测电子设备1200或电子设备1200一个组件的位置改变，用户与电子设备1200接触的存在或不存在，电子设备1200方位或加速/减速和电子设备1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1216被配置为便于电子设备1200和其他设备之间有线或无线方式的通信。电子设备1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在本公开一实施例中，电子设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。

在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1204，上述指令可由电子设备1200的处理器1220执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在本公开一实施例中，还提供了一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得所述电子设备能够执行上述图像处理方法，以获取相同的技术效果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖上述实施例任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取包含人脸区域的目标图像；

对所述目标图像进行人脸关键点定位，根据所述关键点获取所述目标图像中包含眼睛的最小矩形区域的图像部分作为眼部图像；

确定所述眼部图像中眼睛的眼皮类型；

根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合，包括：判断所述目标图像中同一人脸区域的两只眼睛的眼皮类型是否相同；若不同，则根据所述关键点将第一特效素材图像与所述目标图像的所述眼部图像的单眼皮对应区域融合，以及根据所述关键点将第二特效素材图像与两只眼睛的眼皮对应的区域融合；所述第二特效素材图像为眼影。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述目标图像进行人脸关键点定位，根据所述关键点获取眼部图像的步骤，包括：

对所述目标图像中的人脸区域进行关键点定位，根据所述关键点从定位出的区域中确定出眼部区域；

获取包含所述眼部区域的眼部图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述眼部图像中眼睛的眼皮类型的步骤包括：

获取预先训练的眼皮识别模型；

将所述眼部图像输入到预先训练的眼皮识别模型，由所述眼皮识别模型识别出所述目标图像内眼睛的眼皮类型；所述眼皮类型包括单眼皮类型和双眼皮类型。

4.根据权利要求3所述的图像处理方法，其特征在于，所述获取预先训练的眼皮识别模型的步骤包括：

获取预先设置的训练图像样本集，所述训练图像样本集中各训练图像样本内包含一只眼睛，且已标注所述眼睛的眼皮类型；

将所述各训练图像样本依次输入到深度学习模型中，由所述深度学习模型学习单眼皮类型眼睛和双眼皮类型眼睛的特征，直至训练过程的损失函数小于设定误差阈值为止，得到所述眼皮识别模型。

5.根据权利要求1所述的图像处理方法，其特征在于，所述将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合的步骤包括：

若所述眼皮类型为单眼皮类型，则将第一特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合；或，

若所述眼皮类型为双眼皮类型，则将第二特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

6.根据权利要求1所述的图像处理方法，其特征在于，判断所述目标图像中同一人脸区域的两只眼睛的眼皮类型是否相同的步骤之后，所述方法还包括：

若相同，则将相同的特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

7.根据权利要求1所述的图像处理方法，其特征在于，所述目标图像包括以下至少一种：照片，视频的每一帧视频帧，视频的前设定数量帧视频帧，视频的间隔设定数量帧的视频帧。

8.一种图像处理装置，其特征在于，包括：

目标图像获取单元，被配置为执行获取包含人脸区域的目标图像；

眼部图像获取单元，被配置为执行对所述目标图像进行人脸关键点定位，根据所述关键点获取所述目标图像中包含眼睛的最小矩形区域的图像部分作为眼部图像；

眼皮类型获取单元，被配置为执行确定所述眼部图像中眼睛的眼皮类型；

特效素材融合单元，被配置为执行根据所述眼皮类型和所述眼部图像对应的所述关键点，将特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合；

所述特效素材融合单元包括：

眼皮类型判断单元，被配置为执行判断所述目标图像中同一用户两只眼睛的眼皮类型是否相同；

素材融合单元，被配置为在两只眼睛的眼皮类型不同时，根据所述关键点将第一特效素材图像与所述目标图像的所述眼部图像的单眼皮对应区域融合，以及根据所述关键点将第二特效素材图像与两只眼睛的眼皮对应区域融合；所述第二特效素材图像为眼影。

9.根据权利要求8所述的图像处理装置，其特征在于，所述眼部图像获取单元包括：

人脸区域获取模块，被配置为执行获取所述目标图像中人脸区域；

眼部区域获取模块，被配置为执行对所述人脸区域进行关键点定位，从定位出的区域中确定出眼部区域；

眼部图像获取模块，被配置为执行获取包含所述眼部区域的眼部图像。

10.根据权利要求8所述的图像处理装置，其特征在于，所述眼皮类型获取单元包括：

识别模型获取模块，被配置为执行获取预先训练的眼皮识别模型；

眼皮类型识别模块，被配置为执行将所述眼部图像输入到预先训练的眼皮识别模型，由所述眼皮识别模型识别出所述目标图像内眼睛的眼皮类型；所述眼皮类型包括单眼皮类型和双眼皮类型。

11.根据权利要求10所述的图像处理装置，其特征在于，所述装置还包括识别模型训练单元，所述识别模型训练单元包括：

样本集获取模块，被配置为执行获取预先设置的训练图像样本集，所述训练图像样本集中各训练图像样本内包含一只眼睛，且已标注所述眼睛的眼皮类型；

识别模型获取模块，被配置为执行将所述各训练图像样本依次输入到深度学习模型中，由所述深度学习模型学习单眼皮类型眼睛和双眼皮类型眼睛的特征，直至训练过程的损失函数小于设定误差阈值为止，得到所述眼皮识别模型。

12.根据权利要求8所述的图像处理装置，其特征在于，所述特效素材融合单元包括：

第一融合单元，被配置为执行在所述眼皮类型为单眼皮类型时，将第一特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合；或，

第二融合单元，被配置为执行在所述眼皮类型为双眼皮类型时，将第二特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

13.根据权利要求8所述的图像处理装置，其特征在于，所述素材融合单元，还被配置为执行在两只眼睛的眼皮类型相同时，将相同的特效素材图像与所述目标图像的所述眼部图像的眼皮对应区域融合。

14.根据权利要求8所述的图像处理装置，其特征在于，所述目标图像包括以下至少一种：照片，视频的每一帧视频帧，视频的前设定数量帧视频帧，视频的间隔设定数量帧的视频帧。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如权利要求1～7中任一项所述图像处理方法的步骤。

16.一种存储介质，其特征在于，当所述存储介质中的指令由处理器执行时能够执行如权利要求1～7中任一项所述图像处理方法的步骤。