CN112069916A - 人脸美丽预测方法、装置、系统及可读存储介质 - Google Patents

人脸美丽预测方法、装置、系统及可读存储介质 Download PDF

Info

Publication number
CN112069916A
CN112069916A CN202010819631.1A CN202010819631A CN112069916A CN 112069916 A CN112069916 A CN 112069916A CN 202010819631 A CN202010819631 A CN 202010819631A CN 112069916 A CN112069916 A CN 112069916A
Authority
CN
China
Prior art keywords
face
beauty prediction
face image
inputting
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010819631.1A
Other languages
English (en)
Other versions
CN112069916B (zh
Inventor
余翠琳
柯琪锐
周文略
陈家聪
翟懿奎
甘俊英
应自炉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN202010819631.1A priority Critical patent/CN112069916B/zh
Publication of CN112069916A publication Critical patent/CN112069916A/zh
Application granted granted Critical
Publication of CN112069916B publication Critical patent/CN112069916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸美丽预测方法、装置、系统及可读存储介质,人脸美丽预测方法包括获取第一人脸图像,将所述第一人脸图像输入至胶囊‑多组分生成对抗网络中进行特征提取,得到人脸图像特征;将所述人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;将待识别的第二人脸图像输入至所述人脸美丽预测模型进行人脸美丽预测,得到所述待识别的第二人脸图像的人脸美丽预测数据。本发明的技术方案能够获取足够多的训练样本,并实现对人脸图像的人脸美丽预测,且模型训练耗时较短。

Description

人脸美丽预测方法、装置、系统及可读存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种人脸美丽预测方法、装置、系统及可读存储介质。
背景技术
人脸作为人的一种自然属性,其具有很强的稳定性和个体差异性,对于一个人最初的印象是基于人脸,而且人们对其最基本的判断便是漂不漂亮。爱美之心,人皆有之,然而如何评价一张人脸图像的美丽程度是一个抽象的问题。评价人脸的美丽程度很有可能受到主观因素的影响,不同人、不同的审美观及不同种族都有不同的评价标准。
人们对美的追求,推动了人脸美丽研究相关产业的迅猛发展,并带来巨大的经济效益和广阔的发展前景。研究发展至今,其理论成果被广泛应用于实践当中,如社交应用、整容辅助以及美容产品导购等。虽然人脸美丽产业发展迅速,但是目前市场上并没有形成相对系统的标准来对人脸美丽进行预测,且现有的人脸预测方法中还存在模型训练耗时长等问题。且在目前对机器视觉图像进行半监督学习中,现有的双组分生成对抗网络存在两个问题:
1.生成器和判别器不能同时达到最优。即双组分生成对抗网络虽然可以很好地进行分类判别,以及很好地建立带有样本信息的生成过程,但是其不能同时实现最优的生成器和判别器;
2.生成器不能彻底地学习不同类别之间的潜在表示。半监督学习的目的是在有限的监督下,从数据本身中提取分类信息或其他有意义的特征。判别器在判断所给数据来自于真实数据还是模型分布时,只考虑数据本身,并没有完全的利用标签相关信息。
因此,在对抗性训练过程中,潜在变量无法在生成器中学习足够多的标签知识,导致训练样本不足。
名词解释:
生成对抗网络(Generative Adversarial Networks,GAN)本质上是一种训练模型,其基于深度生成模型,而不是特定的网络。生成对抗网络主要包括一个生成器G(Generator)和一个判别器D(Discriminator)。
多组分生成对抗网络(Triple GAN)由三个部分组成,主要为分类器C(Classifier),生成器G(Generator)和判别器D(Discriminator)。
胶囊网络(CapsuleNet)是一种结合特征实例的出现概率与特征实例的姿态信息来判定对象是否为目标类别的神经网络。
宽度学习网络是一种随机向量函数链接神经网络,该网络结构没有层与层之间的耦合和连接,也不需要利用梯度下降来更新权值。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种人脸美丽预测方法、装置、系统及可读存储介质,能够获取足够多的训练样本,并实现对人脸图像的人脸美丽预测,且模型训练耗时较短。
本发明解决其问题所采用的技术方案是:
本发明实施例的第一方面,提供了一种人脸美丽预测方法,包括以下步骤:
获取第一人脸图像,将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征;
将所述人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;
将待识别的第二人脸图像输入至所述人脸美丽预测模型进行人脸美丽预测,得到所述待识别的第二人脸图像的人脸美丽预测数据。
本发明实施例中提供的一个或多个技术方案,至少具有如下有益效果:本发明实施例通过获取第一人脸图像,将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征;再将人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;最后将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据。相对于现有技术,本发明实施例的技术方案,能够获取足够多的训练样本,并实现对人脸图像的人脸美丽预测,且模型训练耗时较短。
根据本发明第一方面的一些实施例,所述获取第一人脸图像,将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征,包括以下步骤:
获取若干第一人脸图像,根据若干所述第一人脸图像构造训练样本集;
将所述训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对;
将所述人脸图像数据对输入至胶囊网络中进行特征提取,得到人脸图像特征。
根据本发明第一方面的一些实施例,所述将所述训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对,还包括以下步骤:
对所述训练样本集进行预处理,得到预处理样本集;
将所述预处理样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对。
根据本发明第一方面的一些实施例,所述将所述人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型,包括以下步骤:
将所述人脸图像特征输入至宽度学习网络,提取所述人脸图像特征的特征节点;
利用非线性激活函数计算所述特征节点映射的增强节点;
利用权重参数连接所述特征节点和所述增强节点,得到第一特征矩阵;
根据所述第一特征矩阵,构建人脸美丽预测模型。
根据本发明第一方面的一些实施例,所述根据所述第一特征矩阵,构建人脸美丽预测模型,还包括以下步骤:
将给定的第二特征矩阵输入到所述第一特征矩阵中,并对所述第一特征矩阵进行伪逆岭回归算法处理,得到权重参数值;
根据所述权重参数值、所述第一特征矩阵,构建人脸美丽预测模型。
本发明实施例的第二方面,提供了一种运行控制装置,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如上述第一方面所述的人脸美丽预测方法。
本发明实施例的第三方面,提供了一种人脸美丽预测系统,包括:
人脸识别模块,包括摄像头,所述人脸识别模块用于通过所述摄像头来采集第二人脸图像;
人脸美丽预测模块,所述人脸美丽预测模块用于执行如上述第一方面所述的人脸美丽预测方法;
美妆模块,所述美妆模块用于识别所述第二人脸图像,并根据所述人脸美丽预测数据,分析所述第二人脸图像的皮肤状态,并为所述第二人脸图像提供虚拟试妆功能;
控制系统,所述控制系统与所述人脸识别模块、所述人脸美丽预测模块、所述美妆模块连接,所述控制系统用于接收不同的信号,并根据所述不同的信号来控制不同模块的运作。
本发明实施例中提供的一个或多个技术方案,至少具有如下有益效果:本发明实施例设有控制系统、美妆模块、人脸美丽预测模块和人脸识别模块,通过控制系统控制不同模块的运作,人脸美丽预测模块能够执行人脸美丽预测方法,以对获取的人脸图像进行人脸美丽预测,实现智能化控制。
根据本发明第三方面的一些实施例,所述人脸美丽预测系统还包括:
人机交互模块,所述人机交互模块与所述控制系统连接,所述人机交互模块包括人机交互界面和交互装置,所述人机交互模块用于通过触发所述人机交互界面上不同的按键,来切换所述交互装置中不同的功能;
语音模块,所述语音模块与所述控制系统连接,所述语音模块用于获取语言信息并反馈所述语言信息给所述控制系统,所述控制系统用于根据所述语言信息发送不同指令,以控制不同模块运作;
无线通信模块,所述无线通信模块与所述控制系统连接,所述无线通信模块用于获取所述人脸美丽预测数据,并将所述人脸美丽预测数据传输给智能终端;
数据存储模块,所述数据存储模块与所述控制系统连接,所述数据存储模块用于存储所述人脸美丽预测数据;
数据分析模块,所述数据分析模块与所述控制系统连接,所述数据分析模块用于获取所述第二人脸图像,并对所述第二人脸图像进行数据分析后反馈给所述控制系统。
根据本发明第三方面的一些实施例,所述人脸美丽预测系统还包括:
亮度调节模块,所述亮度调节模块与所述控制系统连接,所述亮度调节模块包括旋转开关,所述旋转开关用于调节光亮度,以对获取到的所述第二人脸图像进行亮度的调节。
本发明实施例的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上述第一方面所述的人脸美丽预测方法。
本发明的附加方面和/或优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明一个实施例所提供的人脸美丽预测方法的流程示意图;
图2是本发明一个实施例所提供的获取人脸图像特征的流程示意图;
图3是本发明一个实施例所提供的获取人脸图像数据对的流程示意图;
图4是本发明一个实施例所提供的构建人脸美丽预测模型的流程示意图;
图5是本发明另一个实施例所提供的构建人脸美丽预测模型的流程示意图;
图6是本发明一个实施例所提供的宽度学习网络的网络结构示意图;
图7是本发明一个实施例所提供的运行控制装置的结构示意图;
图8是本发明一个实施例所提供的人脸美丽预测系统的电路示意框图;
图9是本发明一个实施例所提供的人脸美丽预测系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
需要说明的是,虽然在系统示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于系统中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
参照图1,本发明实施例的第一方面,提供了一种人脸美丽预测方法,包括以下步骤:
步骤S100,获取第一人脸图像,将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征;
步骤S200,将人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;
步骤S300,将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据。
在本实施例中,通过获取第一人脸图像,并将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征。即通过利用胶囊-多组分生成对抗网络(Caps-TripleGAN)来实现对第一人脸图像数据对的生成和特征提取。本实施例的第一人脸图像是为了构建人脸美丽预测模型。
具体地,胶囊-多组分生成对抗网络原理为:
生成对抗网络中的对抗具体指的是生成网络和判别网络的互相对抗。生成网络尽可能生成逼真样本,判别网络则尽可能去判别该样本是真实样本,还是生成的假样本。
本实施例采用多组分生成对抗网络(Triple GAN)能够在对抗训练过程中,将网络中与类别相关的部分从判别网络剥离出来,单独组成一个网络,命名为分类器。这样生成器与分类器一起对光谱与类别之间的关系进行学习,判别器则用来对数据和类别标签组成的数据对进行判定真伪,三个组分做紧耦合式学习,从而实现多组分生成对抗紧耦合训练模式,在生成样本辅助训练的同时,对无标签样本进行充分的信息挖掘,以解决人脸美丽分类过程中训练样本不足的问题。
具体地,本实施例的多组分生成对抗网络在生成器G和判别器D之间,需要判别器D来控制分类条件分布pg(x,y)收敛到实际数据分布。分类器C用于描述条件分布pc(x,y),生成器G用于描述分类条件分布pg(x,y),判别器D用于检测数据对(x,y)来自真实分布pr(x,y)或模型分布pg(x,y)或pc(x,y)。G和C都被描述为一个神经网络。人脸图像可以由p(x)和p(y)建模,分类器C可以通过条件分布的后验概率来给定x的标签y。因此,联合分布可以计算为pc(x,y)=p(x)pc(y|x)。对于pg(x,y),y是从p(y)采样的,并且潜分布pz(z)用于生成xg=G(y,z)。在本实施例中,选择高斯分布作为潜在分布。在生成伪数据对之后,将作为正训练样本的真实数据对(xr,yr)和作为负训练样本的伪数据对(xg,yg)、(xc,yc)发送到监督学习训练过程是基于对抗过程的,其中对抗损失函数由G、C和D组成。
而本实施例的胶囊网络认为视觉神经对物体的识别过程是基于物体部分的姿态关系。在视点位置对识别的物体进行分层式创建姿态信息,分层建立姿态信息可看作是对数据进行反向解析的过程。对输入对象进行分类的正确与否取决于对象各特征之间是否保持了健全的分层姿态信息。在现有的卷积神经网络中,各个神经元之间都是平等的,没有内部的组织结构,这导致无法保证在不同位置、不同角度下对同一个物品做出相同的识别,也无法提取不同卷积核得出的子结构之间的相互关系。卷积神经网络中采用的分块和共享权重,其目标都是希望能够使神经网络学到的特征提取方法能够在图形出现微小变化时做出应对,而不是针对图形的变化。对应神经网络进行相应的改变,是本实施例中的胶囊网络可以实现的。
本实施例通过构建了胶囊-多组分生成对抗网络的半监督学习框架,以通过对第一人脸图像进行特征提取后得到人脸图像特征,不仅可以获取到足够多的训练样本,且能够精确提取人脸图像特征,模型训练耗时较短。
本实施例还通过将人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型。本实施例的宽度学习网络运算速度较快,同时,在保证运算速度的情况下,能够通过增加网络的宽度来提升精度;采用宽度学习网络对人脸图像特征进行处理,运算速度快,精确度较高。
最后将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据。得到的人脸美丽预测数据可以为人脸美丽等级,例如是一级、二级、三级,甚至到十级等,等级越高代表人脸美丽程度越高;在其他实施例中,人脸美丽预测数据还可以为人脸美丽百分比,例如是10%、20%、30%,甚至到100%等,不同百分比代表不同人脸美丽程度,且百分比越高代表人脸美丽程度越高。
本发明实施例中提供的一个或多个技术方案,至少具有如下有益效果:本发明实施例通过获取第一人脸图像,将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征;再将人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;最后将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据。相对于现有技术,本发明实施例的技术方案,能够获取足够多的训练样本,并实现对人脸图像的人脸美丽预测,且模型训练耗时较短。
参照图2,根据本发明第一方面的一些实施例,获取第一人脸图像,将第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征,包括以下步骤:
步骤S110,获取若干第一人脸图像,根据若干第一人脸图像构造训练样本集;
步骤S120,将训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对;
步骤S130,将人脸图像数据对输入至胶囊网络中进行特征提取,得到人脸图像特征。
本实施例是通过结合多组分生成对抗网络的训练过程和胶囊网络的特征提取过程来实现对人脸图像数据对生成和人脸图像特征提取过程。本实施例的训练分为两步,首先获取若干第一人脸图像,根据若干第一人脸图像构造训练样本集,之后将训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对。生成的人脸图像数据对作为训练补充样本添加到胶囊网络中进行特征提取,最后利用训练补充样本和标签样本,充分训练胶囊网络,实现对人脸图像特征的提取。
具体地,多组分生成对抗网络训练过程:
假设第一人脸图像X∈R,构造训练样本集:
T∈{(x1,y1),(x1,y2),...,(xn,yn)},xn∈R;
本实施例的测试样本:S∈{(x1,y1),(x2,y2),...,(xs,ys)},xs∈R;
将训练样本集和测试样本分别输入胶囊-多组分生成对抗网络中,并设置判别器D、生成器G、分类器C的训练次数;
之后获取(x,y)~pc(x,y);使用分类器C、T和未标注样本,批大小为mc
对数据对(x,y)~pg(x,y)进行采样;使用生成器G,已给标签值和隐变量z,批大小为mg
对(x,y)~p(x,y)进行采样;在T中,批大小为md
重组(xd,yd)并训练判别器D,使用(x,y)~pc(x,y),(x,y)~pg(x,y)和(x,y)~p(x,y),并将(xc,yc)和(xg,yg)作为负标签,(x,y)作为正标签;
更新参数D,使用以下梯度公式:
Figure BDA0002633999170000091
计算来自真实分布和模型分布的分类损失,即(x,y)~pg(x,y)和(x,y)~p(x,y);分类损失如下:
E(x,y)~p(x,y)[-logpc(y|x)]+E(x,y)~pg(x,y)[-logpc(y|x)]
更新参数C,使用以下梯度公式:
Figure BDA0002633999170000092
更新参数G,使用以下梯度公式:
Figure BDA0002633999170000101
生成(x,y)~pg(x,y),使用G已给标签值和隐变量z,批大小为mg;构建Tn,连接(x,y)~pg(x,y)和(x,y)~p(x,y)。
而胶囊网络的特征提取过程:
设置胶囊网络训练次数,并利用卷积神经网络提取主要特征,构造胶囊ini
使用动态路由算法进行动态例行操作;
之后,确定耦合系数ci,j,给定额定变量bi,j,低级胶囊ui,高级胶囊vi,W表示权重系数,U=Wu;
层l的所有胶囊i和层(l+1)的胶囊j有:bi,j←0;
通过循环训练次数,以得到层l的所有胶囊i:ci←softmax(bi)、层(l+1)的所有胶囊
Figure BDA0002633999170000102
层(l+1)的所有胶囊j:vj←squash(sj)以及层l的所有胶囊i和层(l+1)的胶囊j有bi,j←bi,j+Uj|t·vj
更新胶囊网络参数,最后输出人脸图像特征:X={X1,X2,...,XN}。
参照图3,根据本发明第一方面的一些实施例,将训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对,还包括以下步骤:
步骤S121,对训练样本集进行预处理,得到预处理样本集;
步骤S122,将预处理样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对。
在本实施例中,通过对训练样本集进行预处理,使得第一人脸图像能够进行归一化,便于后续步骤对第一人脸图像的处理,减少人脸图像因外界因素造成的差异性,提高检测的准确度。
参照图4,根据本发明第一方面的一些实施例,将人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型,包括以下步骤:
步骤S210,将人脸图像特征输入至宽度学习网络,提取人脸图像特征的特征节点;
步骤S220,利用非线性激活函数计算特征节点映射的增强节点;
步骤S230,利用权重参数连接特征节点和增强节点,得到第一特征矩阵;
步骤S240,根据第一特征矩阵,构建人脸美丽预测模型。
本实施的步骤S210将人脸图像特征输入至宽度学习网络,通过以下函数来计算人脸图像特征的数据映射的第i个特征节点Zi
即假设给定输入样本,输入人脸图像特征X投影并产生第i个特征节点,则第i个特征节点Zi可以表示为:
Zi=φ(XWeiei);
其中,i=1,2,...,n;Wei表示随机矩阵,βei表示偏置,且Wei和βei均是随机产生的;X为人脸图像特征,X∈X;
Figure BDA0002633999170000111
是一个可选择的非线性激活函数;Zi为特征节点,对于输入到宽度学习网络的人脸图像特征,能够生成n个特征节点,所有特征节点可以表示为Zn≡[Z1,...,Zn]。
步骤S220,对于n个特征节点,通过以下函数计算n个特征节点映射的增强节点,其中第m个增强节点表示为:Hm≡ξ(ZnWhmhm);
其中,m=1,2,...,p;Whm表示随机矩阵,βhm表示偏置,且Whm和βhm均是随机产生的;ξ(·)是一个可选择的非线性激活函数;对于n个特征节点,可以映射生成m个增强节点,所有增强节点可以表示为Hm≡[H1,...,Hm]。
步骤S230,利用权重参数连接特征节点和增强节点,得到第一特征矩阵,第一特征矩阵作为系统的实际输入,假设输出矩阵为Y∈R,则宽度学习模型可以表示为:
Y=[Z1,...,Zn|ξ(ZnWh1h1),...,ξ(ZnWhmhm)]Wm
=[Z1,...,Zn|H1,...,Hm]Wm
=[Zn|Hm]Wm
以上宽度学习模型可以简为Y=[Zn|Hm]Wm,其中,Y为第一特征矩阵,Wm为权重参数。
本实施例通过利用权重参数连接待识别特征节点和待识别增强节点,计算得到待识别第一特征矩阵,运算过程简单、快捷。权重参数是通过第一特征矩阵得到的。
参照图5,根据本发明第一方面的一些实施例,根据第一特征矩阵,构建人脸美丽预测模型,还包括以下步骤:
步骤S241,将给定的第二特征矩阵输入到第一特征矩阵中,并对第一特征矩阵进行伪逆岭回归算法处理,得到权重参数值;
步骤S242,根据权重参数值、第一特征矩阵,构建人脸美丽预测模型。
在本实施例中,宽度学习模型为:Y=[Zn|Hm]Wm
结合公式Wm=(λI+AAT)-1ATY,并根据伪逆岭回归算法:
A+=lim(λI+AAT)-1AT,其中A+=[Zn|Hm]+,通过以上推导可得出:
Wm=[Zn|Hm]+Y,即权重参数值;
其中,λ是正则化参数;A为特征节点与增强节点的列拼接。
在模型训练的过程中,将给定的第二特征矩阵输入到第一特征矩阵中,并对第一特征矩阵进行伪逆岭回归算法处理,便可得到权重参数值。
另外,参照图1-图6,本发明的另一个实施例还提供了一种人脸美丽预测方法,包括如下步骤:
步骤S110,获取若干第一人脸图像,根据若干第一人脸图像构造训练样本集;
步骤S121,对训练样本集进行预处理,得到预处理样本集;
步骤S122,将预处理样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对;
步骤S130,将人脸图像数据对输入至胶囊网络中进行特征提取,得到人脸图像特征;
步骤S210,将人脸图像特征输入至宽度学习网络,提取人脸图像特征的特征节点;
步骤S220,利用非线性激活函数计算特征节点映射的增强节点;
步骤S230,利用权重参数连接特征节点和增强节点,得到第一特征矩阵;
步骤S241,将给定的第二特征矩阵输入到第一特征矩阵中,并对第一特征矩阵进行伪逆岭回归算法处理,得到权重参数值;
步骤S242,根据权重参数值、第一特征矩阵,构建人脸美丽预测模型;
步骤S300,将待识别的第二人脸图像输入至人脸美丽预测模型进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据。
在本实施例中,利用宽度学习网络对人脸图像特征进行处理,求得权重参数值,有利于待识别第一特征矩阵的计算,运算速度快,精确度高;将待识别的第二人脸图像输入到人脸美丽预测模型中进行人脸美丽预测,得到待识别的第二人脸图像的人脸美丽预测数据,预测速度快、检测的准确度较高。本发明实施例的技术方案,能够获取足够多的训练样本,并实现对人脸图像的人脸美丽预测,且模型训练耗时较短。
本发明实施例的第二方面,提供了一种运行控制装置,包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器;存储器存储有可被至少一个控制处理器执行的指令,指令被至少一个控制处理器执行,以使至少一个控制处理器能够执行如上述第一方面的人脸美丽预测方法。
参照图7,本发明实施例的第二方面,提供了一种运行控制装置6000,该运行控制装置6000可以是任意类型的智能终端,如手机、平板电脑、个人计算机等。
根据本发明的一些实施例,该运行控制装置6000包括:一个或多个控制处理器6001和存储器6002,图7中以一个控制处理器6001为例。
控制处理器6001和存储器6002可以通过总线或其他方式连接,图7以通过总线连接为例。
存储器6002作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及单元,如本发明实施例中的运行控制装置6000对应的程序指令/单元。控制处理器6001通过运行存储在存储器6002中的非暂态软件程序、指令以及单元,从而执行各种功能应用以及数据处理,即实现上述方法实施例的人脸美丽预测方法。
存储器6002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据程序指令/单元创建的数据等。此外,存储器6002可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器6002可选包括相对于控制处理器6001远程设置的存储器,这些远程存储器可以通过网络连接至该运行控制装置6000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器6002中,当被一个或者多个控制处理器6001执行时,执行上述任意方法实施例中的人脸美丽预测方法。例如,执行以上描述的图1中的方法步骤S100至S300、图2中的方法步骤S110至S130、图3中的方法步骤S121至S122、图4中的方法步骤S210至S240、图5中的方法步骤S241至S242。
参照图8至图9,本发明实施例的第三方面,提供了一种人脸美丽预测系统,包括:人脸识别模块,包括摄像头100,人脸识别模块用于通过摄像头100来采集第二人脸图像;人脸美丽预测模块,人脸美丽预测模块用于执行如上述第一方面的人脸美丽预测方法;美妆模块,美妆模块用于识别第二人脸图像,并根据人脸美丽预测数据,分析第二人脸图像的皮肤状态,并为第二人脸图像提供虚拟试妆功能;控制系统,控制系统与人脸识别模块、人脸美丽预测模块、美妆模块连接,控制系统用于接收不同的信号,并根据不同的信号来控制不同模块的运作。
在本实施例中,控制系统主要统筹协调各个模块。不同模块之间通过控制系统来进行信息传输和交互,从而实现人脸美丽预测系统的整体运作。
人脸识别模块主要是基于人的脸部特征信息进行生物特征识别的。通过摄像头100来采集第二人脸图像,在其他实施例中,第二人脸图像可以为含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别。摄像头100可以为前置也可以为后置。第二人脸图像即为本实施例中的待识别的人脸图像。
人脸美丽预测模块,用于执行如上述第一方面的人脸美丽预测方法。人脸美丽预测模块主要是通过对获取的第二人脸图像进行人脸美丽预测和分析,例如可以对用户的人脸美丽程度进行等级评价,可分为10个等级。1级表示人脸美丽程度最低,依次递增,第10级人脸美丽程度最高。
美妆模块主要是通过摄像头100的权限来识别第二人脸图像,并结合用户的人脸美丽预测数据进行分析,根据数据分析结果给用户推荐美妆产品进行虚拟试妆,即为第二人脸图像提供虚拟试妆功能。此外,还可以通过分析第二人脸图像的皮肤状态,例如用户皮肤的水分、油分、毛孔清洁度等状态,形成数据报告并为用户提供个性化护肤方案,以解决用户不知如何选购护肤品的困扰。
根据本发明第三方面的一些实施例,人脸美丽预测系统还包括:人机交互模块,人机交互模块与控制系统连接,人机交互模块包括人机交互界面200和交互装置,人机交互模块用于通过触发人机交互界面200上不同的按键,来切换交互装置中不同的功能;语音模块,语音模块与控制系统连接,语音模块用于获取语言信息并反馈语言信息给控制系统,控制系统用于根据语言信息发送不同指令,以控制不同模块运作;无线通信模块,无线通信模块与控制系统连接,无线通信模块用于获取人脸美丽预测数据,并将人脸美丽预测数据传输给智能终端;数据存储模块,数据存储模块与控制系统连接,数据存储模块用于存储人脸美丽预测数据;数据分析模块,数据分析模块与控制系统连接,数据分析模块用于获取第二人脸图像,并对第二人脸图像进行数据分析后反馈给控制系统。
本实施例中,人机交互模块主要是由人机交互界面200以及交互装置构成。人机交互界面200是一个触屏界面,系统关闭的时候是一面普通镜子,打开人机交互界面200的界面开关210,可以通过触碰人机交互界面200上相应的按键来实现不同功能的转换。用户可以自主选择不同的功能进行体验,实现人机交互。
语音模块通过语音的方式来实现人机交互,例如用户通过麦克风400输入语音信息,控制系统再通过接收该语音信息并对该语音信息进行智能分析处理,之后控制外放扬声器300反馈信息给用户。
无线通信模块,支持GPXS和短消息双通道传输数据,支持多中心数据通信,支持远程参数设置、程序升级。例如用户可以将人脸美丽预测数据通过无线通信模块传输到智能终端(手机或电脑)。
数据存储模块主要用于存储收集的人脸图像数据。
数据分析模块主要对获得的人脸图像数据进行数据分析。
本发明实施例的人脸美丽预测系统是个智能化系统,人脸美丽预测系统中的人脸美丽预测模块能够通过胶囊-多组分生成对抗网络与宽度学习来构建鲁棒的数据生成模型和特征学习模型,以实现高效的人脸美丽预测,可避免姿态变化、光照变化对识别性能的影响,具有识别精度高,训练速度快的优点。
参照图9,根据本发明第三方面的一些实施例,人脸美丽预测系统还包括:亮度调节模块,亮度调节模块与控制系统连接,亮度调节模块包括旋转开关500,旋转开关500用于调节光亮度,以对获取到的第二人脸图像进行亮度的调节。
通过旋转开关500来调节光的亮度,以对第二人脸图像进行亮度的调节,例如对人脸图像进行柔和补光;通过摄像头100可以识别人脸并进行人脸图像采集;人机交互界面200关闭时是一面镜子,方便用户使用;系统启动后即可以充当镜子也可以进行人机交互,具有实用性。
在其他实施例中,还可以设有总开关600,总开关600用于控制整个人脸美丽预测系统的开启或者关闭。
本发明实施例的第四方面,还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器6001执行,例如,被图7中的一个控制处理器6001执行,可使得上述一个或多个控制处理器6001执行上述方法实施例中的人脸美丽预测方法,例如,执行以上描述的图1中的方法步骤S100至S300、图2中的方法步骤S110至S130、图3中的方法步骤S121至S122、图4中的方法步骤S210至S240、图5中的方法步骤S241至S242。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Xead-Only Memory,XOM)或随机存储记忆体(Xandom Access Memory,XAM)等。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种人脸美丽预测方法,其特征在于,包括以下步骤:
获取第一人脸图像,将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征;
将所述人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型;
将待识别的第二人脸图像输入至所述人脸美丽预测模型进行人脸美丽预测,得到所述待识别的第二人脸图像的人脸美丽预测数据。
2.根据权利要求1所述的人脸美丽预测方法,其特征在于,所述获取第一人脸图像,将所述第一人脸图像输入至胶囊-多组分生成对抗网络中进行特征提取,得到人脸图像特征,包括以下步骤:
获取若干第一人脸图像,根据若干所述第一人脸图像构造训练样本集;
将所述训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对;
将所述人脸图像数据对输入至胶囊网络中进行特征提取,得到人脸图像特征。
3.根据权利要求2所述的人脸美丽预测方法,其特征在于,所述将所述训练样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对,还包括以下步骤:
对所述训练样本集进行预处理,得到预处理样本集;
将所述预处理样本集输入至多组分生成对抗网络中进行训练,得到人脸图像数据对。
4.根据权利要求1所述的人脸美丽预测方法,其特征在于,所述将所述人脸图像特征输入至宽度学习网络中进行训练,得到人脸美丽预测模型,包括以下步骤:
将所述人脸图像特征输入至宽度学习网络,提取所述人脸图像特征的特征节点;
利用非线性激活函数计算所述特征节点映射的增强节点;
利用权重参数连接所述特征节点和所述增强节点,得到第一特征矩阵;
根据所述第一特征矩阵,构建人脸美丽预测模型。
5.根据权利要求4所述的人脸美丽预测方法,其特征在于,所述根据所述第一特征矩阵,构建人脸美丽预测模型,还包括以下步骤:
将给定的第二特征矩阵输入到所述第一特征矩阵中,并对所述第一特征矩阵进行伪逆岭回归算法处理,得到权重参数值;
根据所述权重参数值、所述第一特征矩阵,构建人脸美丽预测模型。
6.一种运行控制装置,其特征在于,包括:至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1至5任一项所述的人脸美丽预测方法。
7.一种人脸美丽预测系统,其特征在于,包括:
人脸识别模块,包括摄像头,所述人脸识别模块用于通过所述摄像头来采集第二人脸图像;
人脸美丽预测模块,所述人脸美丽预测模块用于执行如权利要求1至5任一项所述的人脸美丽预测方法;
美妆模块,所述美妆模块用于识别所述第二人脸图像,并根据所述人脸美丽预测数据,分析所述第二人脸图像的皮肤状态,并为所述第二人脸图像提供虚拟试妆功能;
控制系统,所述控制系统与所述人脸识别模块、所述人脸美丽预测模块、所述美妆模块连接,所述控制系统用于接收不同的信号,并根据所述不同的信号来控制不同模块的运作。
8.根据权利要求7所述的人脸美丽预测系统,其特征在于,所述人脸美丽预测系统还包括:
人机交互模块,所述人机交互模块与所述控制系统连接,所述人机交互模块包括人机交互界面和交互装置,所述人机交互模块用于通过触发所述人机交互界面上不同的按键,来切换所述交互装置中不同的功能;
语音模块,所述语音模块与所述控制系统连接,所述语音模块用于获取语言信息并反馈所述语言信息给所述控制系统,所述控制系统用于根据所述语言信息发送不同指令,以控制不同模块运作;
无线通信模块,所述无线通信模块与所述控制系统连接,所述无线通信模块用于获取所述人脸美丽预测数据,并将所述人脸美丽预测数据传输给智能终端;
数据存储模块,所述数据存储模块与所述控制系统连接,所述数据存储模块用于存储所述人脸美丽预测数据;
数据分析模块,所述数据分析模块与所述控制系统连接,所述数据分析模块用于获取所述第二人脸图像,并对所述第二人脸图像进行数据分析后反馈给所述控制系统。
9.根据权利要求7所述的人脸美丽预测系统,其特征在于,所述人脸美丽预测系统还包括:
亮度调节模块,所述亮度调节模块与所述控制系统连接,所述亮度调节模块包括旋转开关,所述旋转开关用于调节光亮度,以对获取到的所述第二人脸图像进行亮度的调节。
10.一种计算机可读存储介质,其特征在于:所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的人脸美丽预测方法。
CN202010819631.1A 2020-08-14 2020-08-14 人脸美丽预测方法、装置、系统及可读存储介质 Active CN112069916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010819631.1A CN112069916B (zh) 2020-08-14 2020-08-14 人脸美丽预测方法、装置、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010819631.1A CN112069916B (zh) 2020-08-14 2020-08-14 人脸美丽预测方法、装置、系统及可读存储介质

Publications (2)

Publication Number Publication Date
CN112069916A true CN112069916A (zh) 2020-12-11
CN112069916B CN112069916B (zh) 2024-02-20

Family

ID=73661741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010819631.1A Active CN112069916B (zh) 2020-08-14 2020-08-14 人脸美丽预测方法、装置、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN112069916B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158948A (zh) * 2021-04-29 2021-07-23 宜宾中星技术智能系统有限公司 信息生成方法、装置、终端设备
CN113553909A (zh) * 2021-06-23 2021-10-26 北京百度网讯科技有限公司 用于皮肤检测的模型训练方法、皮肤检测方法
CN113643283A (zh) * 2021-08-31 2021-11-12 平安医疗健康管理股份有限公司 一种人体衰老状况的检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472489A (zh) * 2019-07-05 2019-11-19 五邑大学 一种人脸美丽等级预测方法、装置及存储介质
CN110705407A (zh) * 2019-09-20 2020-01-17 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
CN110705406A (zh) * 2019-09-20 2020-01-17 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472489A (zh) * 2019-07-05 2019-11-19 五邑大学 一种人脸美丽等级预测方法、装置及存储介质
CN110705407A (zh) * 2019-09-20 2020-01-17 五邑大学 基于多任务迁移的人脸美丽预测方法及装置
CN110705406A (zh) * 2019-09-20 2020-01-17 五邑大学 基于对抗迁移学习的人脸美丽预测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙硕 等: "生成对抗网络进行感知遮挡人脸还原的算法研究", 小型微型计算机系统, no. 02, pages 194 - 198 *
李泽文;李子铭;费天禄;王瑞琳;谢在鹏;: "基于残差生成对抗网络的人脸图像复原", 计算机科学, no. 1, pages 240 - 246 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158948A (zh) * 2021-04-29 2021-07-23 宜宾中星技术智能系统有限公司 信息生成方法、装置、终端设备
CN113553909A (zh) * 2021-06-23 2021-10-26 北京百度网讯科技有限公司 用于皮肤检测的模型训练方法、皮肤检测方法
CN113553909B (zh) * 2021-06-23 2023-08-04 北京百度网讯科技有限公司 用于皮肤检测的模型训练方法、皮肤检测方法
CN113643283A (zh) * 2021-08-31 2021-11-12 平安医疗健康管理股份有限公司 一种人体衰老状况的检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112069916B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN110569795B (zh) 一种图像识别方法、装置以及相关设备
Xie et al. Scut-fbp: A benchmark dataset for facial beauty perception
CN107766850B (zh) 基于结合人脸属性信息的人脸识别方法
US20210027048A1 (en) Human face image classification method and apparatus, and server
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN112069916B (zh) 人脸美丽预测方法、装置、系统及可读存储介质
CN108363973B (zh) 一种无约束的3d表情迁移方法
Lin et al. Regression Guided by Relative Ranking Using Convolutional Neural Network (R $^ 3 $3 CNN) for Facial Beauty Prediction
CN110555896B (zh) 一种图像生成方法、装置以及存储介质
CN113221663B (zh) 一种实时手语智能识别方法、装置及系统
Weng et al. Early action recognition with category exclusion using policy-based reinforcement learning
Santhalingam et al. Sign language recognition analysis using multimodal data
Aitkenhead et al. A neural network face recognition system
CN112633425B (zh) 图像分类方法和装置
KR20210090456A (ko) 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
Spivak et al. Approach to Recognizing of Visualized Human Emotions for Marketing Decision Making Systems.
CN112116589A (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
Zhu et al. A novel simple visual tracking algorithm based on hashing and deep learning
Rivas et al. Automatic recognition of multiple affective states in virtual rehabilitation by exploiting the dependency relationships
Guo et al. Facial expression recognition: a review
Jang et al. User oriented language model for face detection
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
Ruan et al. Facial expression recognition in facial occlusion scenarios: A path selection multi-network
CN110675312A (zh) 图像数据处理方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant