CN111080747A - 一种人脸图像处理方法及电子设备 - Google Patents

一种人脸图像处理方法及电子设备 Download PDF

Info

Publication number
CN111080747A
CN111080747A CN201911368892.XA CN201911368892A CN111080747A CN 111080747 A CN111080747 A CN 111080747A CN 201911368892 A CN201911368892 A CN 201911368892A CN 111080747 A CN111080747 A CN 111080747A
Authority
CN
China
Prior art keywords
image
face image
target
face
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911368892.XA
Other languages
English (en)
Other versions
CN111080747B (zh
Inventor
李红
石小周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201911368892.XA priority Critical patent/CN111080747B/zh
Publication of CN111080747A publication Critical patent/CN111080747A/zh
Application granted granted Critical
Publication of CN111080747B publication Critical patent/CN111080747B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明实施例公开了一种人脸图像处理方法及电子设备,涉及通信技术领域,可以解决电子设备对人脸图像处理的效果较差的问题。该方法包括:在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入;响应于第一输入,获取N个目标特征信息,每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数;通过神经网络算法,采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像;其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域。本发明实施例应用于电子设备对人脸图像进行图像处理的过程中。

Description

一种人脸图像处理方法及电子设备
技术领域
本发明实施例涉及通信技术领域,尤其涉及一种人脸图像处理方法及电子设备。
背景技术
目前,用户在通过电子设备拍摄人脸图像之后,可以通过电子设备中的图像处理类应用程序对该人脸图像进行美颜处理(例如对人眼部位对应的图像区域进行上妆处理),以得到拍摄效果较好的人脸图像。具体的,用户可以从该图像处理类应用程序中的多个妆容选项中选择任意妆容选项,以使得电子设备可以根据该任意妆容选项,对该人脸图像中的相应图像区域进行上妆处理。
但是,上述方法中,由于电子设备是根据用户选择的一个妆容选项对人脸图像进行上妆处理,因此电子设备对人脸图像的上妆处理的效果较为单一,如此导致电子设备对人脸图像处理的效果较差。
发明内容
本发明实施例提供一种人脸图像处理方法及电子设备,可以解决电子设备对人脸图像处理的效果较差的问题。
为了解决上述技术问题,本发明实施例采用如下技术方案:
本发明实施例的第一方面,提供一种人脸图像处理方法,应用于电子设备,该人脸图像处理方法包括:在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入;响应于第一输入,获取N个目标特征信息,每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数;通过神经网络算法,采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像;其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;该神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。
本发明实施例的第二方面,提供一种电子设备,该电子设备包括:接收模块、获取模块和处理模块。其中,接收模块,用于在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入。获取模块,用于响应于接收模块接收的第一输入,获取N个目标特征信息,每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数。处理模块,用于通过神经网络算法,采用与获取模块获取的N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像。其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;该神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。
本发明实施例的第三方面,提供一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现如第一方面所述的人脸图像处理方法的步骤。
本发明实施例的第四方面,提供一种计算机可读存储介质,该计算机可读存储介质上存储计算机程序,该计算机程序被处理器执行时实现如第一方面所述的人脸图像处理方法的步骤。
在本发明实施例中,在显示第一人脸图像的情况下,电子设备可以根据用户的第一输入,获取第一人脸图像的N个目标特征信息,以通过神经网络算法(该神经网络算法由M个第一损失函数(一个第一损失函数用于指示一个人脸图像对应的图像参数损失值)和M个第二损失函数(一个第二损失函数用于指示一个人脸图像对应的特征信息损失值)得到的),采用与该N个目标特征信息对应的N个目标处理信息对第一人脸图像的N个图像区域进行不同的图像处理,以得到目标人脸图像。由于电子设备可以根据人脸图像中的多个图像区域的不同特征信息,获取多个不同的处理信息,并通过由多个第一损失函数和多个第二损失函数得到的神经网络算法,采用不同的处理信息对多个图像区域进行不同的图像处理(即图像损失参数值和人脸部位的特征信息损失值较小的图像处理),而并非采用固定的处理方式对人脸图像进行处理,因此可以使得电子设备对人脸图像进行图像处理的效果的多样化,从而可以提升电子设备对人脸图像处理的效果。
附图说明
图1为本发明实施例提供的一种安卓操作系统的架构示意图;
图2为本发明实施例提供的一种人脸图像处理方法的示意图之一;
图3为本发明实施例提供的一种手机的界面的实例示意图之一;
图4为本发明实施例提供的一种手机的界面的实例示意图之二;
图5为本发明实施例提供的一种人脸图像处理方法的示意图之二;
图6为本发明实施例提供的一种人脸图像处理方法的示意图之三;
图7为本发明实施例提供的一种人脸图像处理方法的示意图之四;
图8为本发明实施例提供的一种人脸图像处理方法的示意图之五;
图9为本发明实施例提供的一种人脸图像处理方法的示意图之六;
图10为本发明实施例提供的一种人脸图像处理方法的示意图之七;
图11为本发明实施例提供的一种手机的界面的实例示意图之三;
图12为本发明实施例提供的一种人脸图像处理方法的示意图之八;
图13为本发明实施例提供的一种手机的界面的实例示意图之四;
图14为本发明实施例提供的一种电子设备的结构示意图之一;
图15为本发明实施例提供的一种电子设备的结构示意图之二;
图16为本发明实施例提供的一种电子设备的结构示意图之三;
图17为本发明实施例提供的一种电子设备的结构示意图之四;
图18为本发明实施例提供的一种电子设备的硬件示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一输入和第二输入等是用于区别不同的输入,而不是用于描述输入的特定顺序。
在本发明实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个元件是指两个元件或两个以上元件。
本文中术语“和/或”,是一种描述关联对象的关联关系,表示可以存在三种关系,例如,显示面板和/或背光,可以表示:单独存在显示面板,同时存在显示面板和背光,单独存在背光这三种情况。本文中符号“/”表示关联对象是或者的关系,例如输入/输出表示输入或者输出。
在本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明实施例提供一种人脸图像处理方法及电子设备,由于电子设备可以根据人脸图像中的多个图像区域的不同特征信息,获取多个不同的处理信息,并通过由多个第一损失函数和多个第二损失函数得到的神经网络算法,采用不同的处理信息对多个图像区域进行不同的图像处理(即图像损失参数值和人脸部位的特征信息损失值较小的图像处理),而并非采用固定的处理方式对人脸图像进行处理,因此可以使得电子设备对人脸图像进行图像处理的效果的多样化,从而可以提升电子设备对人脸图像处理的效果。
本发明实施例提供的人脸图像处理方法及电子设备,可以应用于电子设备对人脸图像进行图像处理的过程。具体的,可以应用于电子设备根据人脸图像的特征信息,对人脸图像进行处理的过程中。
本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本发明实施例不作具体限定。
下面以安卓操作系统为例,介绍一下本发明实施例提供的人脸图像处理方法所应用的软件环境。
如图1所示,为本发明实施例提供的一种可能的安卓操作系统的架构示意图。在图1中,安卓操作系统的架构包括4层,分别为:应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。
其中,应用程序层包括安卓操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。
应用程序框架层是应用程序的框架,开发人员可以在遵守应用程序的框架的开发原则的情况下,基于应用程序框架层开发一些应用程序。
系统运行库层包括库(也称为系统库)和安卓操作系统运行环境。库主要为安卓操作系统提供其所需的各类资源。安卓操作系统运行环境用于为安卓操作系统提供软件环境。
内核层是安卓操作系统的操作系统层,属于安卓操作系统软件层次的最底层。内核层基于Linux内核为安卓操作系统提供核心系统服务和与硬件相关的驱动程序。
以安卓操作系统为例,本发明实施例中,开发人员可以基于上述如图1所示的安卓操作系统的系统架构,开发实现本发明实施例提供的人脸图像处理方法的软件程序,从而使得该人脸图像处理方法可以基于如图1所示的安卓操作系统运行。即处理器或者电子设备可以通过在安卓操作系统中运行该软件程序实现本发明实施例提供的人脸图像处理方法。
本发明实施例中的电子设备可以为移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本发明实施例不作具体限定。
下面结合附图,通过具体的实施例及其应用场景对本发明实施例提供的一种人脸图像处理方法及电子设备进行详细地说明。
本发明实施例中,用户在通过电子设备拍摄人脸图像后,可以在电子设备中的图像处理类应用程序的界面中选择该人脸图像,并对该界面中的某个妆容选项进行选择输入,以触发电子设备根据该某个妆容选项对该人脸图像进行美颜处理(例如对人脸的五官对应的图像区域进行上妆处理),以得到拍摄效果较好的人脸图像。为了避免对人脸图像进行美颜处理的效果单一,电子设备可以根据人脸的不同部位(例如鼻子部位、眼睛部位等)的信息,通过预设算法,采用与该不同部位的信息对应的多个处理信息(每个信息分别对应一个处理信息)对人脸图像的不同的图像区域进行不同的美颜处理,从而可以使得电子设备对人脸图像进行图像处理的效果多样化,以提升电子设备对人脸图像处理的效果。
本发明实施例提供的一种人脸图像处理方法,图2示出了本发明实施例提供的一种人脸图像处理方法的流程图,该方法可以应用于具有如图1所示的安卓操作系统的电子设备。如图2所示,本发明实施例提供的人脸图像处理方法可以包括下述的步骤201至步骤203。
步骤201、在第一界面显示第一人脸图像的情况下,电子设备接收用户对第一界面中的第一控件的第一输入。
本发明实施例中,该第一控件用于对第一人脸图像中的N个图像区域进行不同的图像处理,N为正整数。
本发明实施例中,上述第一输入用于触发电子设备对第一人脸图像中的N个图像区域进行不同的图像处理。
可选的,本发明实施例中,用户可以对电子设备中的目标应用程序进行输入,以使得电子设备显示该目标应用程序的拍摄预览界面,从而在该拍摄预览界面中显示第一人脸图像。
可选的,本发明实施例中,用户可以对电子设备中的目标应用程序进行输入,以使得电子设备前台运行该目标应用程序,然后用户可以从电子设备中选择第一人脸图像,以使得电子设备在该目标应用程序的第一界面中显示该第一人脸图像。
可选的,本发明实施例中,上述目标应用程序可以为具有拍摄功能的应用程序,或者,可以为具有图像处理功能的应用程序。
可选的,本发明实施例中,电子设备可以通过前置摄像头或后置摄像头获取第一人脸图像,以在第一界面显示该第一人脸图像。
可选的,本发明实施例中,上述N个图像区域对应用户人脸中的N个人脸部位,其中,一个图像区域对应用户人脸中的一个人脸部位。
可选的,本发明实施例中,上述N个人脸部位可以包括以下至少一项:眼睛部位、鼻子部位、嘴唇部位、眉毛部位、脸颊部位、额头部位、耳朵部位和头发部位等。
可选的,本发明实施例中,上述第一输入具体为用户对第一控件的点击输入。
本发明实施例中,上述第一控件用于获取多个不同的处理信息,以对第一人脸图像中的N个图像区域进行不同的图像处理。
可选的,本发明实施例中,上述第一控件可以包括第一子控件和第二子控件,该第一子控件用于获取第一人脸图像对应的多个处理信息,该第二子控件用于采用多个处理信息对第一人脸图像中的N个图像区域进行不同的图像处理。
可选的,本发明实施例中,上述第一输入可以包括第一子输入和第二子输入,该第一子输入为用户对第一子控件的输入,该第二子输入为用户对第二子控件的输入。
示例性的,以电子设备为手机为例进行说明。如图3所示,手机的第一界面10中显示有第一人脸图像(例如人脸图像11),该第一界面10中包括第一控件(例如“局部妆容”控件12和“生成”控件13),用户可以对该“局部妆容”控件12进行第一子输入,以使得手机获取第一人脸图像对应的多个处理信息,然后用户可以对该“生成”控件13进行第二子输入,以使得手机可以采用多个处理信息对人脸图像11中的N个图像区域进行不同的图像处理。
可选的,本发明实施例中,电子设备可以对第一人脸图像中的N个图像区域进行不同的美颜处理;或者,电子设备可以对第一人脸图像中的N个图像区域进行不同的上妆处理。
需要说明的是,上述上妆处理可以理解为:在人脸图像中的图像区域中添加像素块,以改变该图像区域的图像参数(例如像素点的像素值)。
可选的,本发明实施例中,上述美颜处理可以包括以下至少一项:磨皮处理、瘦脸大眼处理和祛痣处理。
步骤202、电子设备响应于第一输入,获取N个目标特征信息。
本发明实施例中,上述N个目标特征信息中的每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息。
可以理解,上述每个目标特征信息分别用于指示用户人脸中的一个人脸部位。
本发明实施例中,电子设备可以对第一人脸图像进行人脸识别检测,以获取该第一人脸图像对应的N个目标特征信息。
步骤203、电子设备通过神经网络算法,采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像。
本发明实施例中,针对N个目标特征信息中的每个目标特征信息,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;上述神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,上述一个第二人脸图像和一个第三人脸图像的图像参数不同,M为大于1的整数。
需要说明的是,上述“图像参数损失值”可以理解为:图像像素值的损失值。
可选的,本发明实施例中,上述每个目标处理信息可以为像素值信息。
可选的,本发明实施例中,上述每个目标处理信息具体可以为妆容信息。
可选的,本发明实施例中,上述一个第二人脸图像和一个第三人脸图像可以为电子设备预先获取的人脸图像。
可选的,本发明实施例中,上述一个第二人脸图像和一个第三人脸图像的像素值不同。
可选的,本发明实施例中,一个第二人脸图像可以为一个用户的未进行处理(例如上妆处理或上妆图像处理)的人脸图像,一个第三人脸图像可以为该一个用户的进行处理后的人脸图像。
可选的,本发明实施例中,电子设备可以根据M个第一损失函数和M个第二损失函数,确定神经网络算法。
需要说明的是,针对电子设备确定神经网络算法的具体描述,将在下述实施例中说明,本发明实施例在此不予赘述。
可选的,本发明实施例中,电子设备可以通过神经网络算法,采用与N个目标特征信息对应的N个目标处理信息,分别对N个图像区域中的每个图像区域进行图像处理,以得到目标人脸图像。
可以理解,上述目标人脸图像中的N个图像区域为:通过N个目标处理信息进行不同的图像处理后得到的图像区域。
可选的,本发明实施例中,电子设备在得到目标人脸图像之后,可以在第一界面中更新显示该目标人脸图像,即将第一人脸图像更新为目标人脸图像。
示例性的,在手机采用多个处理信息对人脸图像11中的N个图像区域进行不同的图像处理之后,结合图3,如图4所示,手机可以在第一界面10中更新显示目标人脸图像(例如人脸图像14)。
可选的,本发明实施例中,结合图2,如图5所示,在上述步骤203之前,本发明实施例提供的人脸图像处理方法还可以包括下述的步骤301和步骤302。
步骤301、针对N个目标特征信息中的每个目标特征信息,电子设备根据一个目标特征信息,确定与一个目标特征信息相匹配的一个第一特征信息。
本发明实施例中,电子设备可以根据N个目标特征信息,从电子设备中的多个第一特征信息中确定N个第一特征信息,即一个目标特征信息与一个第一特征信息相匹配。
需要说明的是,“一个目标特征信息与一个第一特征信息相匹配”可以理解为:该一个目标特征信息与该一个第一特征信息的相似度大于预设相似度(例如该一个目标特征信息与该一个第一特征信息相同)。
步骤302、电子设备确定与一个第一特征信息对应的一个第一处理信息,并将一个第一处理信息确定为一个目标处理信息,以获取N个目标处理信息。
本发明实施例中,针对N个目标特征信息中的每个目标特征信息,电子设备均可以执行上述步骤301和步骤302,以获取N个目标处理信息。
本发明实施例中,针对N个第一特征信息中的每个第一特征信息,一个第一特征信息对应一个第一处理信息,一个第一处理信息对应一个图像区域。
可选的,本发明实施例中,上述每个第一处理信息可以为像素值信息。
可选的,本发明实施例中,上述每个第一处理信息具体可以为妆容信息。
可选的,本发明实施例中,电子设备可以预先在电子设备中保存多个对应关系,一个对应关系为一个第一特征信息与一个第一处理信息的对应关系。
可选的,本发明实施例中,针对N个目标特征信息中的每个目标特征信息,电子设备可以根据一个目标特征信息,从电子设备中的多个对应关系中查找该一个目标特征信息对应的一个对应关系,并从该一个对应关系中获取与该一个目标特征信息相匹配的一个第一特征信息,然后获取与该一个第一特征信息对应的一个第一处理信息,以将该一个第一处理信息确定为一个目标处理信息,从而获取N个目标处理信息。
可选的,本发明实施例中,在上述步骤201之前,本发明实施例提供的人脸图像处理方法还可以包括下述的步骤401至步骤403。
步骤401、电子设备获取L个第四人脸图像。
本发明实施例中,L为大于1的整数。
可选的,本发明实施例中,用户可以对电子设备中的目标应用程序进行输入,以使得电子设备进行拍摄,从而电子设备可以获取L个第四人脸图像。
可选的,本发明实施例中,用户可以对电子设备中的目标应用程序进行输入,以使得电子设备前台运行该目标应用程序,然后用户可以从电子设备中选择L个第四人脸图像,以使得电子设备可以获取L个第四人脸图像。
可选的,本发明实施例中,上述L个第四人脸图像可以为同一个用户的人脸图像,或者,不同用户的人脸图像。
可选的,本发明实施例中,上述L个第四人脸图像中的每个第四人脸图像的图像参数不同。
可选的,本发明实施例中,针对L个第四人脸图像中的每个第四人脸图像,一个第四人脸图像可以为一个用户化妆(真实上妆)后的人脸图像(妆容图像),或者,可以为一个用户通过图像处理类应用程序进行图像处理(例如自动上妆)后的人脸图像。
步骤402、针对L个第四人脸图像中的每个第四人脸图像,电子设备对一个第四人脸图像进行图像分割处理,以得到一个第四人脸图像中的K个图像区域。
本发明实施例中,K为大于1的整数。
可选的,本发明实施例中,针对L个第四人脸图像中的每个第四人脸图像,电子设备可以通过图像二值化分割算法,对一个第四人脸图像进行图像分割处理,以得到一个第四人脸图像中的K个图像区域。
可选的,本发明实施例中,针对K个图像区域中的每个图像区域,一个图像区域对应一个用户人脸中的一个人脸部位,以对应该一个用户人脸中的K个人脸部位。
可选的,本发明实施例中,K个人脸部位可以包括以下至少一项:眼睛部位、鼻子部位、嘴唇部位、眉毛部位、脸颊部位、额头部位、耳朵部位和头发部位。
步骤403、针对一个第四人脸图像中的每个图像区域,电子设备获取一个第四人脸图像中的一个图像区域对应的一个第一特征信息和一个第一处理信息,以得到K个第一特征信息和K个第一处理信息,以得到L*K个第一特征信息和L*K个第一处理信息。
本发明实施例中,针对L个第四人脸图像中的每个第四人脸图像,电子设备均可以执行上述步骤402和步骤403,以得到L*K个第一特征信息和L*K个第一处理信息。
可以理解,一个第四人脸图像中的K个图像区域对应K个第一特征信息和K个第一处理信息,L个第四人脸图像中包括L*K个图像区域,该L*K个图像区域对应L*K个第一特征信息和L*K个第一处理信息。
可选的,本发明实施例中,针对一个第四人脸图像中的每个图像区域,电子设备可以将一个图像区域对应的一个第一特征信息和一个第一处理信息对应保存,以得到一个对应关系,以得到一个第四人脸图像中的K个图像区域对应的K个对应关系,从而得到L个第四人脸图像中的L*K个图像区域对应的L*K个对应关系。
可选的,本发明实施例中,电子设备可以以集合的形式保存每个第四人脸图像对应的K个对应关系,即电子设备保存L个集合(例如整脸妆容数据库),L个集合对应L个第四人脸图像,即L个集合中的一个集合中包括一个第四人脸图像对应的K个对应关系。
可选的,本发明实施例中,电子设备可以以集合的形式保存L*K个图像区域对应的L*K个对应关系,电子设备可以保存K个集合(例如局部区域妆容数据库),K个集合对应K个图像区域,即K个集合中的一个集合中包括一个图像区域对应的L个对应关系。其中,L个对应关系对应的L个第一特征信息相匹配(例如相同)。
本发明实施例中,由于电子设备可以获取多个第四人脸图像,并根据该多个第四人脸图像得到多个第一特征信息和多个第一处理信息,从而电子设备可以根据该多个第一特征信息和该多个第一处理信息,对人脸图像的图像区域进行多种的不同的图像处理,以使得电子设备对人脸图像的处理多样化。
本发明实施例提供的一种人脸图像处理方法,在显示第一人脸图像的情况下,电子设备可以根据用户的第一输入,获取第一人脸图像的N个目标特征信息,以通过神经网络算法(该神经网络算法由M个第一损失函数(一个第一损失函数用于指示一个人脸图像对应的图像参数损失值)和M个第二损失函数(一个第二损失函数用于指示一个人脸图像对应的特征信息损失值)得到的),采用与该N个目标特征信息对应的N个目标处理信息对第一人脸图像的N个图像区域进行不同的图像处理,以得到目标人脸图像。由于电子设备可以根据人脸图像中的多个图像区域的不同特征信息,获取多个不同的处理信息,并通过由多个第一损失函数和多个第二损失函数得到的神经网络算法,采用不同的处理信息对多个图像区域进行不同的图像处理(即图像损失参数值和人脸部位的特征信息损失值较小的图像处理),而并非采用固定的处理方式对人脸图像进行处理,因此可以使得电子设备对人脸图像进行图像处理的效果的多样化,从而可以提升电子设备对人脸图像处理的效果。
可选的,本发明实施例中,电子设备可以通过数据训练,以得到神经网络算法。具体的,在上述步骤203之前,本发明实施例提供的人脸图像处理方法还可以包括下述的步骤501至步骤504。
步骤501、电子设备获取M个目标人脸图像集合。
本发明实施例中,针对M个目标人脸图像集合中的每个目标人脸图像集合,一个目标人脸图像集合为一个用户的人脸图像集合,一个目标人脸图像集合中包括一个第二人脸图像和一个第三人脸图像,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。
可选的,本发明实施例中,上述M个目标人脸图像集合可以为M个用户的人脸图像集合。
可选的,本发明实施例中,一个目标人脸图像集合中的一个第二人脸图像和一个第三人脸图像的像素值不同。
可选的,本发明实施例中,一个目标人脸图像集合中的第二人脸图像可以为一个用户的未进行处理(例如上妆处理或上妆图像处理)的人脸图像;该一个目标人脸图像集合中的第三人脸图像可以为该一个用户的进行处理后的人脸图像。
步骤502、电子设备根据M个目标人脸图像集合,确定M个二值图。
本发明实施例中,针对M个二值图中的每个二值图,一个二值图对应一个目标人脸图像集合,一个二值图中包括一个目标人脸图像集合中的待图像处理的多个图像区域。
可选的,本发明实施例中,针对M个目标人脸图像集合中的每个目标人脸图像集合,电子设备可以通过图像二值化分割算法,对一个目标人脸图像集合中的第二人脸图像进行图像分割处理,并对该一个目标人脸图像集合中的第三人脸图像进行图像分割处理,以根据图像分割处理的结果确定一个二值图,以确定M个二值图。
可选的,本发明实施例中,电子设备可以对一个目标人脸图像集合中的第二人脸图像进行图像分割处理,以得到多个第一子图像,并对该一个目标人脸图像集合中的第三人脸图像进行图像分割处理,以得到多个第二子图像,以根据该多个第一子图像的图像参数和多个第二子图像的图像参数(一个第一子图像对应一个第二子图像,且该一个第一子图像对应的图像区域与该一个第二子图像对应的图像区域对应),确定一个二值图。
示例性的,电子设备可以对电子设备可以对一个目标人脸图像集合中的第二人脸图像进行图像分割处理,以得到多个第一子图像(例如“鼻子”子图像a、“眼睛”子图像a和“眉毛”子图像a),并对该一个目标人脸图像集合中的第三人脸图像进行图像分割处理,以得到多个第二子图像(例如“鼻子”子图像b、“眼睛”子图像b和“眉毛”子图像b),从而电子设备可以根据该“鼻子”子图像a和“鼻子”子图像b的图像参数、“眼睛”子图像a和“眼睛”子图像b的图像参数和“眉毛”子图像a和“眉毛”子图像b的图像参数,确定一个二值图。
可选的,本发明实施例中,针对M个目标人脸图像集合中的每个目标人脸图像集合,电子设备可以根据第一子图像的像素值和多个第二子图像的像素值的差值(即多个差值,一个差值为一个第一子图像的像素值和一个第二子图像的像素值的差值),确定一个二值图。
可选的,本发明实施例中,上述一个目标人脸图像集合中的待图像处理的多个图像区域可以为该一个目标人脸图像集合中的第一区域,该第一区域为与一个目标人脸图像集合对应的二值图中的一个区域对应的区域,该一个区域为该二值图中差值大于或等于预设阈值的区域。
可以理解,若一个目标人脸图像集合中的待图像处理的多个图像区域为该一个目标人脸图像集合中的全部区域,则与该一个目标人脸图像集合对应的一个二值图可以为像素的像素值均为255(全白)的图像。
可选的,本发明实施例中,上述待图像处理的多个图像区域可以为可上妆处理的多个图像区域。
示例性的,以M个目标人脸图像集合中的一个目标人脸图像集合为例进行说明。假设一个目标人脸图像集合(例如图像集合a)中的一个第二人脸图像(例如图像1)为未进行处理(例如上妆处理或上妆图像处理)的人脸图像,一个第三人脸图像(例如图像2)为该进行处理后的人脸图像,该图像1中包括多个图像区域(例如区域1(例如鼻子部位对应的区域)、区域2(例如眉毛部位对应的区域)),图像2中包括多个图像区域(例如区域1(例如鼻子部位对应的区域)、区域2(例如眉毛部位对应的区域)),若图像1中的区域1的像素值与图像2中的区域1的像素值的差值大于或等于预设阈值,则该图1中的区域1为待图像处理(例如待上妆处理)的图像区域,若图像1中的区域2的像素值与图像2中的区域2的像素值的差值大于或等于预设阈值,则该图1中的区域2为待图像处理(例如待上妆处理)的图像区域。
步骤503、电子设备根据M个二值图,确定M个第一损失函数和M个第二损失函数。
本发明实施例中,针对M个二值图中的每个二值图,一个二值图对应一个第一损失函数和一个第二损失函数,一个第一损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的人脸部位的特征信息损失值。
可选的,本发明实施例中,电子设备可以根据M个二值图,通过神经网络模型,确定M个第一损失函数和M个第二损失函数。
可选的,本发明实施例中,上述神经网络模型可以为深度神经网络模型。
可选的,本发明实施例中,上述深度神经网络模型具体可以为卷积神经网络模型。
可选的,本发明实施例中,上述卷积神经网络模型具体可以为生成式对抗网络模型,该生成式对抗网络模型包括生成模型和判别模型。
可选的,本发明实施例中,在一个第一目标人脸图像为第二人脸图像的情况下,则一个第一损失函数用于指示一个目标人脸图像集合中的第三人脸图像对应的图像参数损失值;在一个第一目标人脸图像为第三人脸图像的情况下,则一个第一损失函数用于指示一个目标人脸图像集合中的第二人脸图像对应的图像参数损失值。
可选的,本发明实施例中,上述步骤503具体可以通过下述的步骤503a至步骤503d实现。
步骤503a、针对M个二值图中的每个二值图,电子设备根据一个二值图和一个第一目标人脸图像,采用预设生成网络算法,确定一个第五人脸图像。
本发明实施例中,上述一个第一目标人脸图像为与一个二值图对应的第二人脸图像或第三人脸图像。
可选的,本发明实施例中,上述预设生成网络算法可以为生成式对抗网络模型中的生成模型,该预设生成网络算法可以为卷积神经网络模型。
可选的,本发明实施例中,上述预设生成网络算法可以包括十层卷积层。
可选的,本发明实施例中,针对M个二值图中的每个二值图,在一个第一目标人脸图像为与一个二值图对应的第二人脸图像的情况下,电子设备可以根据该一个二值图和该一个第二人脸图像,采用预设生成网络算法,生成一个第五人脸图像,以确定一个第五人脸图像。
可选的,本发明实施例中,电子设备可以根据一个二值图,采用预设生成网络算法对与该一个二值图对应的第二人脸图像的多个图像区域(即该一个二值图中包括该第二人脸图像中的待图像处理的多个图像区域)进行图像处理,以生成一个第五人脸图像,以确定一个第五人脸图像。
示例性的,如图6所示,假设一个第一目标人脸图像为与一个二值图对应的第二人脸图像(例如未进行处理(例如上妆处理)的人脸图像),则电子设备可以根据该一个二值图(例如二值图像15)和该第二人脸图像16,采用预设生成网络算法17,以生成一个第五人脸图像18,该一个第五人脸图像18为对第二人脸图像16的多个图像区域进行图像处理(例如上妆处理)后的人脸图像。
可选的,本发明实施例中,针对M个二值图中的每个二值图,在一个第一目标人脸图像为与一个二值图对应的第三人脸图像的情况下,电子设备可以根据该一个二值图和该一个第三人脸图像,采用预设生成网络算法,生成一个第五人脸图像,以确定一个第五人脸图像。
可选的,本发明实施例中,电子设备可以根据一个二值图,采用预设生成网络算法对与该一个二值图对应的第三人脸图像的多个图像区域(即该一个二值图中包括该第三人脸图像中的待图像处理的多个图像区域)进行图像处理,以生成一个第五人脸图像,以确定一个第五人脸图像。
示例性的,如图7所示,假设一个第一目标人脸图像为与一个二值图对应的第三人脸图像(例如进行处理(例如上妆处理)后的人脸图像),则电子设备可以根据该一个二值图(例如二值图像19)和该第三人脸图像20,采用预设生成网络算法21,以生成一个第五人脸图像22,该一个第五人脸图像22为对第三人脸图像20的多个图像区域进行图像处理(例如卸妆处理)后的人脸图像。
可选的,本发明实施例中,M个二值图中的一个二值图对应一个第一目标人脸图像,与该M个二值图中的另一个二值图对应的一个第一目标人脸图像可以相同或不同。
步骤503b、电子设备根据一个第五人脸图像和一个第二目标人脸图像,确定一个第五人脸图像对应的一个第一损失函数。
本发明实施例中,上述一个第二目标人脸图像为与一个二值图对应的第二人脸图像或第三人脸图像,且一个第二目标人脸图像与一个第一目标人脸图像不同。
可选的,本发明实施例中,电子设备可以根据一个第五人脸图像和一个第二目标人脸图像,采用预设判别网络算法,确定一个第五人脸图像对应的一个第一损失函数。
可选的,本发明实施例中,上述预设判别网络算法可以为生成式对抗网络模型中的判别模型,该预设判别网络算法可以为卷积神经网络模型。
可选的,本发明实施例中,上述预设判别网络算法可以包括五层卷积层。
示例性的,如图8所示,电子设备可以根据一个第五人脸图像23(例如该一个第五人脸图像23为一个第二人脸图像24采用预设生成网络算法25生成的人脸图像),与一个第一目标人脸图像(即与该一个第二人脸图像24对应的第三人脸图像26),确定一个第五人脸图像23对应的一个第一损失函数;或者,电子设备可以根据一个第五人脸图像27(例如该一个第五人脸图像27为一个第三人脸图像28采用预设生成网络算法25生成的人脸图像),与一个第一目标人脸图像(即与该一个第三人脸图像28对应的第二人脸图像29),确定一个第五人脸图像27对应的一个第一损失函数。
可选的,本发明实施例中,针对M个二值图中的每个二值图,在一个第一目标人脸图像为与一个二值图对应的第二人脸图像的情况下,一个第二目标人脸图像为与该一个二值图对应的第三人脸图像;或者,在一个第一目标人脸图像为与一个二值图对应的第三人脸图像的情况下,一个第二目标人脸图像为与该一个二值图对应的第二人脸图像。
可选的,本发明实施例中,电子设备可以根据一个第五人脸图像的图像参数和一个第二目标人脸图像的图像参数,采用预设判别网络算法,确定一个第五人脸图像对应的一个第一损失函数(妆容损失函数)。
示例性的,如图9所示,电子设备可以根据一个第五人脸图像30的图像参数和一个第二目标人脸图像(例如第三人脸图像31)的图像参数,采用预设判别网络算法,确定一个第五人脸图像30对应的一个第一损失函数。
又示例性的,如图10所示,电子设备可以根据一个第五人脸图像32的图像参数和一个第二目标人脸图像(例如第二人脸图像33)的图像参数,采用预设判别网络算法,确定一个第五人脸图像32对应的一个第一损失函数。
可选的,本发明实施例中,电子设备可以根据一个第五人脸图像的像素值和一个第二目标人脸图像中的一个第三人脸图像的像素值,采用预设判别网络算法,确定该一个第五人脸图像的多个图像区域(即与对一个第一目标人脸图像进行图像处理的多个图像区域对应的图像区域)中的每个图像区域的像素值分别与一个第二目标人脸图像的一个图像区域(与该一个第五人脸图像的多个图像区域对应的图像区域)的像素值的差值,以确定一个第五人脸图像对应的一个第一损失函数。
可选的,本发明实施例中,上述预设判别网络算法具体可以为:
Lmakeup=L1+L2+L3+L4
其中,Lmakeup为一个第五人脸图像对应的一个第一损失函数,L1为一个第五人脸图像的一个图像区域的像素值与一个第二目标人脸图像的一个图像区域的像素值的差值,L2为一个第五人脸图像的另一个图像区域的像素值与一个第二目标人脸图像的另一个图像区域的像素值的差值,L3为一个第五人脸图像的又一个图像区域的像素值与一个第二目标人脸图像的又一个图像区域的像素值的差值,L4为一个第五人脸图像的再一个图像区域的像素值与一个第二目标人脸图像的再一个图像区域的像素值的差值。
步骤503c、电子设备确定一个特征值图。
本发明实施例中,上述一个特征值图中包括一个第五人脸图像对应的人脸部位的特征信息和一个第二目标人脸图像对应的人脸部位的特征信息。
可选的,本发明实施例中,电子设备可以采用特征提取网络,对一个第五人脸图像进行特征提取,以得到该一个第五人脸图像对应的至少一个第一人脸特征矩阵,并对一个第二目标人脸图像进行特征提取,以得到该一个第二目标人脸图像对应的至少一个第二人脸特征矩阵,从而电子设备可以根据该至少一个第一人脸特征矩阵和该至少一个第二人脸特征矩阵,确定一个特征值图。
可选的,本发明实施例中,上述特征提取网络具体可以为:视觉几何组-16(visualgeometry group-16,VGG-16)网络。
可选的,本发明实施例中,电子设备可以采用VGG-16网络,对一个第五人脸图像进行特征提取,并特征提取该VGG-16网络的第一池化层(pool1)、第二池化层(pool2)和第三池化层(pool3)的人脸特征矩阵,以得到该一个第五人脸图像对应的三个第一人脸特征矩阵;电子设备可以采用VGG-16网络,对一个第二目标人脸图像进行特征提取,并特征提取该VGG-16网络的第一池化层(pool1)、第二池化层(pool2)和第三池化层(pool3)的人脸特征矩阵,以得到该一个第二目标人脸图像对应的三个第二人脸特征矩阵,从而电子设备可以根据该三个第一人脸特征矩阵和该三个第二人脸特征矩阵,确定一个特征值图。
可选的,本发明实施例中,电子设备可以根据至少一个第一人脸特征矩阵和至少一个第二人脸特征矩阵,采用预设判别网络算法,确定一个特征值图。
可选的,本发明实施例中,上述预设判别网络算法具体为:
Figure BDA0002339153620000121
其中,L为一个特征值图,
Figure BDA0002339153620000122
为第q层池化层的第一人脸特征矩阵,φq(y)为第q层池化层的第二人脸特征矩阵,q=1,2,3。
步骤503d、电子设备根据一个特征值图,采用预设损失算法,确定一个第五人脸图像对应的一个第二损失函数,以得到M个第一损失函数和M个第二损失函数。
本发明实施例中,针对M个二值图中的每个二值图,电子设备均可以执行上述步骤503a至步骤503d,以得到M个第一损失函数和M个第二损失函数。
可选的,本发明实施例中,上述预设损失算法具体为:
Figure BDA0002339153620000123
其中,Lpercept为一个第五人脸图像对应的一个第二损失函数(风格损失函数),Nq为一个特征值图的像素总数。
本发明实施例中,神经网络的浅层的特征表达均集中于边缘、角点等信息上;而较为深层的特征(例如用户的年龄、用户的性别、用户的人物身份等)通常具有较高的语义信息,因此可以通过预设损失算法,确定多个第二损失函数,以根据该多个第二损失函数进行数据训练,以使得电子设备可以通过神经网络算法,准确地对人脸图像的多个图像区域进行处理。
本发明实施例中,由于电子设备可以根据多个二值图,确定多个第一损失函数和多个第二损失函数,从而电子设备可以根据该多个第一损失函数和多个第二损失函数进行数据训练,以得到精确地神经网络算法,从而电子设备可以通过神经网络算法,准确地对人脸图像的多个图像区域进行处理。
步骤504、电子设备根据M个第一损失函数和M个第二损失函数,对预设生成网络算法进行训练,以得到神经网络算法。
可选的,本发明实施例中,电子设备可以采用预设损失函数,根据M个第一损失函数和M个第二损失函数,对预设生成网络算法训练,以得到神经网络算法。
可选的,本发明实施例中,上述预设损失函数具体可以为:
Ltotal=Lmakeup+Lpercept
其中,Ltotal为全部损失函数(完整的损失函数)。
可选的,本发明实施例中,电子设备可以根据M个第一损失函数和M个第二损失函数,采用梯度下降算法,对预设生成网络算法训练,以得到神经网络算法。
可选的,本发明实施例中,电子设备可以通过适应性矩估计(adaptive momentestimation,Adam)优化器,对预设生成网络算法训练,以得到神经网络算法。
可选的,本发明实施例中,电子设备可以通过预设学习率对预设生成网络算法训练,以得到神经网络算法。
可选的,本发明实施例中,电子设备可以通过每5个epoch下降30%的衰减方法,对预设生成网络算法训练,并在训练50个epoch的情况下,停止对预设生成网络算法的训练,以得到神经网络算法。
需要说明的是,上述“5个epoch”可以理解为:使用训练集中的全部样本训练5次;上述“50个epoch”可以理解为:使用训练集中的全部样本训练50次。
本发明实施例中,由于电子设备可以根据多个目标人脸图像集合,确定多个二值图,并根据该多个二值图,确定多个第一损失函数和多个第二损失函数,从而电子设备可以根据该多个第一损失函数和该多个第二损失函数,对预设生成网络算法训练,以得到精确地神经网络算法,从而电子设备可以通过神经网络算法,准确地对人脸图像的多个图像区域进行处理。
可选的,本发明实施例中,上述第一界面中还包括第三控件,用户可以对该第四控件进行一个输入,以触发电子设备显示至少一个第一标签,针对至少一个第一标签中每个第一标签,一个第一标签用于指示N个处理信息,一个处理信息用于对目标人脸图像的一个图像区域进行图像处理。
示例性的,如图11中的(A)所示,手机的第一界面10中显示有第三控件(例如“整妆”控件34),用户可以对该“整妆”控件34进行一个输入,以触发手机显示至少一个第一标签;在用户对该“整妆”控件34进行一个输入后,如图11中的(B)所示,手机显示至少一个第一标签(例如“整妆1”标签35、“整妆2”标签36、“整妆3”标签37和“整妆4”标签38),该“整妆1”标签35、“整妆2”标签36、“整妆3”标签37和“整妆4”标签38均分别指示N个处理信息,用户可以对“整妆1”标签35进行一个输入,以触发手机根据该“整妆1”标签35对应的N个处理信息,对目标人脸图像(例如人脸图像39)的N个图像区域进行图像处理。
可选的,本发明实施例中,上述第一界面中还包括第二控件,该第二控件用于重新对N个图像区域进行图像处理。结合图2,如图12所示,在上述步骤203之后,本发明实施例提供的人脸图像处理方法还可以包括下述的步骤601至步骤604。
步骤601、电子设备接收用户的第二输入。
本发明实施例中,上述第二输入为用户对目标图像区域和第二控件的输入,该目标图像区域为N个图像区域中的图像区域。
本发明实施例中,上述第二输入用于触发电子设备重新对目标图像区域进行图像处理。
可选的,本发明实施例中,上述第二输入具体可以为用户对目标图像区域和第二控件的点击输入。
可选的,本发明实施例中,在对N个图像区域进行图像处理,以得到目标人脸图像之后,电子设备可以在第一界面显示目标人脸图像,从而用户可以对该目标人脸图像中的目标图像区域和第二控件进行第二输入。
可选的,本发明实施例中,上述目标图像区域可以为N个图像区域中的一个图像区域或多个图像区域。
步骤602、电子设备响应于第二输入,在第一界面中显示至少一个标签。
本发明实施例中,上述至少一个标签用于指示至少一个处理信息,该至少一个处理信息用于对目标图像区域进行不同的图像处理,针对至少一个标签中的每个标签,一个标签对应一个处理信息。
可选的,本发明实施例中,电子设备可以获取目标图像区域的N个第二特征信息,以根据该N个第二特征信息,在第一界面中显示至少一个标签。
可选的,本发明实施例中,电子设备可以对目标图像区域进行图像识别检测,以获取该目标图像区域的第二特征信息。
可选的,本发明实施例中,针对N个第二特征信息中的每个目标特征信息,电子设备可以根据一个第二特征信息,从电子设备中的L*K个对应关系中查找该一个第二特征信息对应的一个对应关系,并从该一个对应关系中获取与该一个第二特征信息相匹配的一个第一特征信息,然后获取与该一个第一特征信息对应的一个第一处理信息,从而电子设备可以根据该一个第一特征信息和该一个第一处理信息,显示一个标签,以显示至少一个标签。
可选的,本发明实施例中,上述第一界面中还包括第四控件、第五控件和第六控件,该第四控件用于电子设备切换显示至少一个标签,该第五控件用于取消对N个图像区域进行的图像处理,该第六控件用于切换显示目标人脸图像和重新对N个图像区域进行图像处理后的目标人脸图像。
示例性的,在手机对人脸图像11进行图像处理之后,结合图3,如图13中的(A)所示,手机的第一界面10中显示有目标人脸图像(例如人脸图像40),该第一界面10中包括第二控件(例如“修正”控件41)、第四控件(例如“翻页”控件42)、第五控件(例如“撤销”控件43)和第六控件(例如“查看”控件44),用户可以对该人脸图像40的目标图像区域(例如“眼睛”区域45)和该“修正”控件41进行第二输入,以触发手机显示至少一个标签;用户可以对“翻页”控件42进行选择输入,以触发手机切换显示至少一个标签;用户可以对“撤销”控件43进行选择输入,以触发手机取消对N个图像区域(例如“眼睛”区域45)进行的图像处理;用户可以对“查看”控件44进行选择输入,以触发手机切换显示人脸图像40和重新对N个图像区域进行图像处理后的目标人脸图像;在用户对“眼睛”区域45和“修正”控件41进行第二输入之后,如图13中的(B)所示,手机显示至少一个标签(例如“眼睛1”标签46、“眼睛2”标签47、“眼睛3”标签48和“眼睛4”标签49),该“眼睛1”标签46、“眼睛2”标签47、“眼睛3”标签48和“眼睛4”标签49)均分别对应“眼睛”区域45的一个处理信息。
可选的,本发明实施例中,针对至少一个标签中的每个标签,一个标签可以包括一个处理信息的标识(例如该一个处理信息对应的缩略图和该一个处理信息的名称等)。
步骤603、电子设备接收用户对至少一个标签中的目标标签的第三输入。
本发明实施例中,上述第三输入用于触发电子设备重新对目标图像区域进行图像处理。
可选的,本发明实施例中,上述目标标签可以包括一个标签或者多个标签。
可选的,本发明实施例中,上述第三输入具体可以为用户对目标标签和第三控件的点击输入。
步骤604、电子设备响应于第三输入,采用目标标签指示的处理信息,重新对目标图像区域进行图像处理。
可选的,本发明实施例中,电子设备可以通过神经网络算法,采用目标标签指示的处理信息,重新对目标图像区域进行图像处理。
可选的,本发明实施例中,在电子设备重新对目标图像区域进行图像处理之后,电子设备可以在第一界面中更新显示重新进行图像处理后的目标人脸图像。
可选的,本发明实施例中,在电子设备重新对目标图像区域进行图像处理之后,用户可以再次针对目标图像区域进行输入,以使得电子设备再次执行步骤601至步骤604。
本发明实施例中,由于在对目标人脸图像进行图像处理后,用户可以对处理后的目标人脸图像再次进行输入,以使得电子设备可以重新对处理后的目标人脸图像中的图像区域进行图像处理,因此可以提升电子设备的图像处理的灵活性,以提升用户的使用体验。
图14示出了本发明实施例中涉及的电子设备的一种可能的结构示意图。如图14所示,电子设备90可以包括:接收模块91、获取模块92和处理模块93。
其中,接收模块91,用于在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入。获取模块92,用于响应于接收模块91接收的第一输入,获取N个目标特征信息,每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数。处理模块93,用于通过神经网络算法,采用与获取模块92获取的N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像。其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;该神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。
在一种可能的实现方式中,结合图14,如图15所示,本发明实施例提供的终端设备90还可以包括:确定模块94。其中,确定模块94,用于在处理模块93采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理之前,针对N个目标特征信息中的每个目标特征信息,根据一个目标特征信息,确定与一个目标特征信息相匹配的一个第一特征信息,并确定与一个第一特征信息对应的一个第一处理信息;以及,将一个第一处理信息确定为一个目标处理信息,以获取N个目标处理信息。
在一种可能的实现方式中,上述获取模块92,还用于在接收模块91在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入之前,获取L个第四人脸图像,L为大于1的整数。上述处理模块93,还用于针对获取模块92获取的L个第四人脸图像中的每个第四人脸图像,对一个第四人脸图像进行图像分割处理,以得到一个第四人脸图像中的K个图像区域,K为大于1的整数。获取模块92,还用于针对一个第四人脸图像中的每个图像区域,获取一个第四人脸图像中的一个图像区域对应的一个第一特征信息和一个第一处理信息,以得到K个第一特征信息和K个第一处理信息,以得到L*K个第一特征信息和L*K个第一处理信息。
在一种可能的实现方式中,上述获取模块92,还用于在处理模块93通过神经网络算法,采用N个目标处理信息,对N个图像区域进行图像处理之前,获取M个目标人脸图像集合,一个目标人脸图像集合为一个用户的人脸图像集合,一个目标人脸图像集合中包括一个第二人脸图像和一个第三人脸图像,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。上述确定模块94,还用于根据获取模块92获取的M个目标人脸图像集合,确定M个二值图,一个二值图对应一个目标人脸图像集合,一个二值图中包括一个目标人脸图像集合中的待图像处理的多个图像区域;并根据M个二值图,确定M个第一损失函数和M个第二损失函数,一个二值图对应一个第一损失函数和一个第二损失函数,一个第一损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的人脸部位的特征信息损失值。结合图15,如图16所示,本发明实施例提供的终端设备90还可以包括:训练模块95。其中,训练模块95,用于根据确定模块94确定的M个第一损失函数和M个第二损失函数,对预设生成网络算法进行训练,以得到神经网络算法。
在一种可能的实现方式中,上述确定模块94,具体用于针对M个二值图中的每个二值图,根据一个二值图和一个第一目标人脸图像,采用预设生成网络算法,确定一个第五人脸图像,该一个第一目标人脸图像为与一个二值图对应的第二人脸图像或第三人脸图像;并根据一个第五人脸图像和一个第二目标人脸图像,确定一个第五人脸图像对应的一个第一损失函数,该一个第二目标人脸图像为与一个二值图对应的第二人脸图像或第三人脸图像,且一个第二目标人脸图像与一个第一目标人脸图像不同;确定一个特征值图,一个特征值图中包括一个第五人脸图像对应的人脸部位的特征信息和一个第二目标人脸图像对应的人脸部位的特征信息;以及,根据一个特征值图,采用预设损失算法,确定一个第五人脸图像对应的一个第二损失函数,以得到M个第一损失函数和M个第二损失函数。
在一种可能的实现方式中,上述第一界面中还包括第二控件,该第二控件用于重新对N个图像区域进行图像处理。上述接收模块91,还用于在处理模块93采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像之后,接收用户的第二输入,该第二输入为用户对目标图像区域和第二控件的输入,该目标图像区域为N个图像区域中的图像区域。结合图14,如图17所示,本发明实施例提供的终端设备90还可以包括:显示模块96。其中,显示模块96,用于响应于接收模块91接收的第二输入,在第一界面中显示至少一个标签,该至少一个标签用于指示至少一个处理信息,该至少一个处理信息用于对目标图像区域进行不同的图像处理,一个标签对应一个处理信息。上述接收模块91,还用于接收用户对至少一个标签中的目标标签的第三输入。上述处理模块93,还用于响应于接收模块91接收的第三输入,采用目标标签指示的处理信息,重新对目标图像区域进行图像处理。
本发明实施例提供的电子设备能够实现上述方法实施例中电子设备实现的各个过程,为避免重复,详细描述这里不再赘述。
本发明实施例提供一种电子设备,由于电子设备可以根据人脸图像中的多个图像区域的不同特征信息,获取多个不同的处理信息,并通过由多个第一损失函数和多个第二损失函数得到的神经网络算法,采用不同的处理信息对多个图像区域进行不同的图像处理(即图像损失参数值和人脸部位的特征信息损失值较小的图像处理),而并非采用固定的处理方式对人脸图像进行处理,因此可以使得电子设备对人脸图像进行图像处理的效果的多样化,从而可以提升电子设备对人脸图像处理的效果。
图18为实现本发明各个实施例的一种电子设备的硬件示意图。如图18所示,电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。
需要说明的是,本领域技术人员可以理解,图18中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图18所示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,用户输入单元107,用于在第一界面显示第一人脸图像的情况下,接收用户对第一界面中的第一控件的第一输入。
处理器110,用于响应于第一输入,获取N个目标特征信息,每个目标特征信息分别为第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数;并通过神经网络算法,采用与N个目标特征信息对应的N个目标处理信息,对N个图像区域进行图像处理,以得到目标人脸图像;其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;该神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,该一个第二人脸图像和该一个第三人脸图像的图像参数不同,M为大于1的整数。
本发明实施例提供一种电子设备,由于电子设备可以根据人脸图像中的多个图像区域的不同特征信息,获取多个不同的处理信息,并通过由多个第一损失函数和多个第二损失函数得到的神经网络算法,采用不同的处理信息对多个图像区域进行不同的图像处理(即图像损失参数值和人脸部位的特征信息损失值较小的图像处理),而并非采用固定的处理方式对人脸图像进行处理,因此可以使得电子设备对人脸图像进行图像处理的效果的多样化,从而可以提升电子设备对人脸图像处理的效果。
应理解的是,本发明实施例中,射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块102为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与电子设备100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。
输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。
电子设备100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在电子设备100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板1071可覆盖在显示面板1061上,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图18中,触控面板1071与显示面板1061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元108为外部装置与电子设备100连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备100内的一个或多个元件或者可以用于在电子设备100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器110可包括一个或多个处理单元;可选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
电子设备100还可以包括给各个部件供电的电源111(比如电池),可选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备100包括一些未示出的功能模块,在此不再赘述。
可选的,本发明实施例还提供一种电子设备,包括如图18所示的处理器110,存储器109,存储在存储器109上并可在所述处理器110上运行的计算机程序,该计算机程序被处理器110执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种人脸图像处理方法,应用于电子设备,其特征在于,所述方法包括:
在第一界面显示第一人脸图像的情况下,接收用户对所述第一界面中的第一控件的第一输入;
响应于所述第一输入,获取N个目标特征信息,每个所述目标特征信息分别为所述第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数;
通过神经网络算法,采用与所述N个目标特征信息对应的N个目标处理信息,对所述N个图像区域进行图像处理,以得到目标人脸图像;
其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;所述神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,所述一个第二人脸图像和所述一个第三人脸图像的图像参数不同,M为大于1的整数。
2.根据权利要求1所述的方法,其特征在于,所述通过神经网络算法,采用与所述N个目标特征信息对应的N个目标处理信息,对所述N个图像区域进行图像处理之前,所述方法还包括:
针对N个目标特征信息中的每个目标特征信息,根据一个目标特征信息,确定与所述一个目标特征信息相匹配的一个第一特征信息;
确定与所述一个第一特征信息对应的一个第一处理信息,并将所述一个第一处理信息确定为一个目标处理信息,以获取所述N个目标处理信息。
3.根据权利要求2所述的方法,其特征在于,所述在第一界面显示第一人脸图像的情况下,接收用户对所述第一界面中的第一控件的第一输入之前,所述方法还包括:
获取L个第四人脸图像,L为大于1的整数;
针对所述L个第四人脸图像中的每个第四人脸图像,对一个第四人脸图像进行图像分割处理,以得到所述一个第四人脸图像中的K个图像区域,K为大于1的整数;
针对所述一个第四人脸图像中的每个图像区域,获取所述一个第四人脸图像中的一个图像区域对应的一个第一特征信息和一个第一处理信息,以得到K个第一特征信息和K个第一处理信息,以得到L*K个第一特征信息和L*K个第一处理信息。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述通过神经网络算法,采用与所述N个目标特征信息对应的N个目标处理信息,对所述N个图像区域进行图像处理之前,所述方法还包括:
获取M个目标人脸图像集合,一个目标人脸图像集合为一个用户的人脸图像集合,一个目标人脸图像集合中包括一个第二人脸图像和一个第三人脸图像;
根据M个目标人脸图像集合,确定M个二值图,一个二值图对应一个目标人脸图像集合,一个二值图中包括一个目标人脸图像集合中的待图像处理的多个图像区域;
根据所述M个二值图,确定所述M个第一损失函数和所述M个第二损失函数,一个二值图对应一个第一损失函数和一个第二损失函数;
根据所述M个第一损失函数和所述M个第二损失函数,对预设生成网络算法进行训练,以得到所述神经网络算法。
5.根据权利要求4所述的方法,其特征在于,所述根据所述M个二值图,确定所述M个第一损失函数和所述M个第二损失函数,包括:
针对所述M个二值图中的每个二值图,根据一个二值图和一个第一目标人脸图像,采用所述预设生成网络算法,确定一个第五人脸图像,所述一个第一目标人脸图像为与所述一个二值图对应的第二人脸图像或第三人脸图像;
根据所述一个第五人脸图像和一个第二目标人脸图像,确定所述一个第五人脸图像对应的一个第一损失函数,所述一个第二目标人脸图像为与所述一个二值图对应的第二人脸图像或第三人脸图像,且所述一个第二目标人脸图像与所述一个第一目标人脸图像不同;
确定一个特征值图,所述一个特征值图中包括所述一个第五人脸图像对应的人脸部位的特征信息和所述一个第二目标人脸图像对应的人脸部位的特征信息;
根据所述一个特征值图,采用预设损失算法,确定所述一个第五人脸图像对应的一个第二损失函数,以得到所述M个第一损失函数和所述M个第二损失函数。
6.一种电子设备,其特征在于,所述电子设备包括:接收模块、获取模块和处理模块;
所述接收模块,用于在第一界面显示第一人脸图像的情况下,接收用户对所述第一界面中的第一控件的第一输入;
所述获取模块,用于响应于所述接收模块接收的所述第一输入,获取N个目标特征信息,每个所述目标特征信息分别为所述第一人脸图像中的N个图像区域中的一个图像区域对应的人脸部位的特征信息,N为正整数;
所述处理模块,用于通过神经网络算法,采用与所述获取模块获取的所述N个目标特征信息对应的N个目标处理信息,对所述N个图像区域进行图像处理,以得到目标人脸图像;
其中,一个目标特征信息对应一个目标处理信息,一个目标处理信息对应一个图像区域;所述神经网络算法由M个第一损失函数和M个第二损失函数得到,一个第一损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个第二人脸图像或一个第三人脸图像对应的人脸部位的特征信息损失值,所述一个第二人脸图像和所述一个第三人脸图像的图像参数不同,M为大于1的整数。
7.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括:确定模块;
所述确定模块,用于在所述处理模块通过神经网络算法,采用与所述N个目标特征信息对应的所述N个目标处理信息,对所述N个图像区域进行图像处理之前,针对N个目标特征信息中的每个目标特征信息,根据一个目标特征信息,确定与所述一个目标特征信息相匹配的一个第一特征信息;并确定与所述一个第一特征信息对应的一个第一处理信息;以及,将所述一个第一处理信息确定为一个目标处理信息,以获取所述N个目标处理信息。
8.根据权利要求7所述的电子设备,其特征在于,所述获取模块,还用于在所述接收模块在所述第一界面显示所述第一人脸图像的情况下,接收用户对所述第一界面中的第一控件的所述第一输入之前,获取L个第四人脸图像,L为大于1的整数;
所述处理模块,还用于针对所述获取模块获取的所述L个第四人脸图像中的每个第四人脸图像,对一个第四人脸图像进行图像分割处理,以得到所述一个第四人脸图像中的K个图像区域,K为大于1的整数;
所述获取模块,还用于针对所述一个第四人脸图像中的每个图像区域,获取所述一个第四人脸图像中的一个图像区域对应的一个第一特征信息和一个第一处理信息,以得到K个第一特征信息和K个第一处理信息,以得到L*K个第一特征信息和L*K个第一处理信息。
9.根据权利要求6至8中任一项所述的电子设备,其特征在于,所述获取模块,还用于在所述处理模块通过所述神经网络算法,采用与所述N个目标特征信息对应的所述N个目标处理信息,对所述N个图像区域进行图像处理之前,获取M个目标人脸图像集合,一个目标人脸图像集合为一个用户的人脸图像集合,一个目标人脸图像集合中包括一个第二人脸图像和一个第三人脸图像,所述一个第二人脸图像和所述一个第三人脸图像的图像参数不同,M为大于1的整数;
所述确定模块,还用于根据所述获取模块获取的所述M个目标人脸图像集合,确定M个二值图,一个二值图对应一个目标人脸图像集合,一个二值图中包括一个目标人脸图像集合中的待图像处理的多个图像区域;并根据所述M个二值图,确定所述M个第一损失函数和所述M个第二损失函数,一个二值图对应一个第一损失函数和一个第二损失函数,一个第一损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的图像参数损失值,一个第二损失函数用于指示一个目标人脸图像集合中的第二人脸图像或第三人脸图像对应的人脸部位的特征信息损失值;
所述电子设备还包括:训练模块;
所述训练模块,用于根据所述确定模块确定的所述M个第一损失函数和所述M个第二损失函数,对预设生成网络算法进行训练,以得到所述神经网络算法。
10.根据权利要求9所述的电子设备,其特征在于,所述确定模块,具体用于针对所述M个二值图中的每个二值图,根据一个二值图和一个第一目标人脸图像,采用所述预设生成网络算法,确定一个第五人脸图像,所述一个第一目标人脸图像为与所述一个二值图对应的第二人脸图像或第三人脸图像;并根据所述一个第五人脸图像和一个第二目标人脸图像,确定所述一个第五人脸图像对应的一个第一损失函数,所述一个第二目标人脸图像为与所述一个二值图对应的第二人脸图像或第三人脸图像,且所述一个第二目标人脸图像与所述一个第一目标人脸图像不同;确定一个特征值图,所述一个特征值图中包括所述一个第五人脸图像对应的人脸部位的特征信息和所述一个第二目标人脸图像对应的人脸部位的特征信息;以及,根据所述一个特征值图,采用预设损失算法,确定所述一个第五人脸图像对应的一个第二损失函数,以得到所述M个第一损失函数和所述M个第二损失函数。
CN201911368892.XA 2019-12-26 2019-12-26 一种人脸图像处理方法及电子设备 Active CN111080747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911368892.XA CN111080747B (zh) 2019-12-26 2019-12-26 一种人脸图像处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911368892.XA CN111080747B (zh) 2019-12-26 2019-12-26 一种人脸图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN111080747A true CN111080747A (zh) 2020-04-28
CN111080747B CN111080747B (zh) 2023-04-07

Family

ID=70318603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911368892.XA Active CN111080747B (zh) 2019-12-26 2019-12-26 一种人脸图像处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN111080747B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083863A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113572955A (zh) * 2021-06-25 2021-10-29 维沃移动通信(杭州)有限公司 图像处理方法、装置及电子设备
WO2023045979A1 (zh) * 2021-09-27 2023-03-30 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448069A (zh) * 2018-10-30 2019-03-08 维沃移动通信有限公司 一种模板生成方法及移动终端
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110602390A (zh) * 2019-08-30 2019-12-20 维沃移动通信有限公司 一种图像处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109448069A (zh) * 2018-10-30 2019-03-08 维沃移动通信有限公司 一种模板生成方法及移动终端
CN110602390A (zh) * 2019-08-30 2019-12-20 维沃移动通信有限公司 一种图像处理方法及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083863A (zh) * 2020-09-17 2020-12-15 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113572955A (zh) * 2021-06-25 2021-10-29 维沃移动通信(杭州)有限公司 图像处理方法、装置及电子设备
WO2023045979A1 (zh) * 2021-09-27 2023-03-30 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111080747B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN108184050B (zh) 一种拍照方法、移动终端
CN108076290B (zh) 一种图像处理方法及移动终端
CN108712603B (zh) 一种图像处理方法及移动终端
CN110706179B (zh) 一种图像处理方法及电子设备
CN111080747B (zh) 一种人脸图像处理方法及电子设备
CN110443769B (zh) 图像处理方法、图像处理装置及终端设备
CN109005336B (zh) 一种图像拍摄方法及终端设备
CN108460817B (zh) 一种拼图方法及移动终端
CN111031234B (zh) 一种图像处理方法及电子设备
CN109544445B (zh) 一种图像处理方法、装置及移动终端
CN109272473B (zh) 一种图像处理方法及移动终端
CN109671034B (zh) 一种图像处理方法及终端设备
CN109448069B (zh) 一种模板生成方法及移动终端
US20220286622A1 (en) Object display method and electronic device
CN109639981B (zh) 一种图像拍摄方法及移动终端
CN110944112A (zh) 一种图像处理方法及电子设备
CN109840476B (zh) 一种脸型检测方法及终端设备
CN109451235B (zh) 一种图像处理方法及移动终端
CN113255396A (zh) 图像处理模型的训练方法及装置、图像处理方法及装置
CN111091519A (zh) 一种图像处理方法及装置
CN109166164B (zh) 一种表情图片的生成方法及终端
CN107563353B (zh) 一种图像处理方法、装置及移动终端
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
CN111432122B (zh) 一种图像处理方法及电子设备
CN115482157A (zh) 图像处理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant