CN110472489B - 一种人脸美丽等级预测方法、装置及存储介质 - Google Patents
一种人脸美丽等级预测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110472489B CN110472489B CN201910602383.2A CN201910602383A CN110472489B CN 110472489 B CN110472489 B CN 110472489B CN 201910602383 A CN201910602383 A CN 201910602383A CN 110472489 B CN110472489 B CN 110472489B
- Authority
- CN
- China
- Prior art keywords
- beauty
- face
- identified
- face image
- beautiful
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸美丽等级预测方法,包括如下步骤:采集人脸美丽数据库的美丽人脸图像,对所述美丽人脸图像进行预处理,提取所述美丽人脸图像的美丽特征向量,预处理能够使美丽人脸图像的数据进行统一,有利于数据的处理,提高检测的准确度;通过仿生模式识别模型识别特征空间中同类样本的连续特征,对美丽特征向量进行分类处理,得到的人脸美丽等级预测模型;采集待识别的人脸图像,将所述待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到所述待识别的人脸图像的美丽等级,受外界因素影响较小、检测的准确度较高。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种人脸美丽等级预测方法、装置及存储介质。
背景技术
人脸作为人的一种自然属性,其具有很强的稳定性和个体差异性,对于一个人最初的印象是基于人脸,而且人们对其最基本的判断是漂不漂亮,爱美之心,人皆有之,然而如何评价一张人脸图像的美丽程度是一个抽象的问题。评价人脸的美丽程度很有可能受到主观因素的影响,不同人,不同种族都有不同的评价标准。传统的技术主要是通过几何特征或表观特征对人脸美丽进行预测;几何特征的提取需要精确的特征点标定以及需要获取大规模的几何特征数据,而且人脸特征点的检测在训练阶段需由人工标注训练样本,但过多主观因素介入容易导致所获结果没有普适性,当待标注图像数目庞大时,标注工作量较大;而表观特征需要提取人脸局部或整体的纹理结构,但受样本背景噪声、姿态变化等影响较大,对于高层次更抽象的人脸纹理结构并未进行深入挖掘,造成人脸美丽预测效果较差。
发明内容
为解决上述问题,本发明的目的在于提供一种人脸美丽等级预测方法,能够检测图像中的人脸美丽图像,实现人脸美丽等级的预测,网络结构简单、受外界因素影响较小、检测的准确度较高。
本发明解决其问题所采用的技术方案是:第一方面,本发明实施例提出了一种人脸美丽等级预测方法,包括如下步骤:
采集人脸美丽数据库的美丽人脸图像,对所述美丽人脸图像进行预处理,提取所述美丽人脸图像的美丽特征向量;
利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型;
采集待识别的人脸图像,将所述待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到所述待识别的人脸图像的美丽等级。
进一步,采集人脸美丽数据库的美丽人脸图像,对美丽人脸图像进行预处理,提取美丽人脸图像的美丽特征向量,包括如下步骤:
采集人脸美丽数据库的美丽人脸图像,利用神经网络提取所述美丽人脸图像的美丽人脸关键点;
根据所述美丽人脸关键点对所述美丽人脸图像进行预处理,得到归一化的标准美丽人脸图像;
采用宽度学习网络对所述标准美丽人脸图像进行处理,提取所述标准美丽人脸图像的美丽特征向量。
进一步,根据美丽人脸关键点对美丽人脸图像进行预处理,得到归一化的标准美丽人脸图像,包括如下步骤:
对所述美丽人脸关键点进行回归预测,得到美丽人脸预测关键点;
根据所述美丽人脸预测关键点对所述美丽人脸图像进行脸部水平对齐处理,得到水平美丽人脸图像;
对所述水平美丽人脸图像进行归一化处理,得到标准美丽人脸图像。
进一步,采用宽度学习网络对标准美丽人脸图像进行处理,提取美丽人脸图像的美丽特征向量,包括如下步骤:
将所述标准美丽人脸图像输入到宽度学习网络,提取所述标准美丽人脸图像的美丽特征节点;
利用非线性激活函数计算所述美丽特征节点映射的美丽增强节点;
利用未知的权重参数连接所述美丽特征节点和所述美丽增强节点,得到美丽特征向量的计算公式;
将给定的美丽特征向量输入到所述美丽特征向量的计算公式中,对所述美丽特征向量的计算公式进行伪逆和岭回归算法处理,得到权重参数;
利用所述权重参数连接所述美丽特征节点与所述美丽增强节点,得到美丽特征向量。
进一步,仿生模式识别模型包括超香肠神经元模型。
进一步,利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型,包括如下步骤:
将所述美丽特征向量输入到超香肠神经元模型中进行处理,将所述美丽特征向量划分为不同美丽等级的若干个超香肠神经元,所述不同美丽等级的若干个超香肠神经元形成不同美丽等级的超香肠链,得到训练完成的人脸美丽等级预测模型。
进一步,采集待识别的人脸图像,将待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到识别的人脸图像的美丽等级,包括如下步骤:
采集待识别的人脸图像,利用神经网络提取待识别的人脸图像的待识别人脸关键点;
根据所述待识别人脸关键点对所述待识别的人脸图像进行预处理,得到归一化的标准待识别人脸图像;
利用宽度学习网络提取所述标准待识别人脸图像的待识别特征节点和待识别增强节点,利用所述权重参数连接所述待识别特征节点和所述待识别增强节点,得到待识别特征向量;
提取所述待识别特征向量到不同美丽等级的超香肠链的距离的最小值,若距离的最小值小于阈值,则待识别特征向量属于该超香肠链的美丽等级,得到所述待识别的人脸图像的美丽等级。
第二方面,本发明实施例还提出了一种人脸美丽等级预测装置,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如以上任一项所述的一种人脸美丽等级预测方法。
第三方面,本发明实施例还提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如以上任一项所述的一种人脸美丽等级预测方法。
本发明实施例中提供的技术方案,至少具有如下有益效果:对美丽人脸图像进行预处理,有利于对美丽人脸图像的数据进行处理,提高检测的准确度;通过仿生模式识别模型识别特征空间中同类样本的连续特征,对美丽特征向量进行分类处理,得到的人脸美丽等级预测模型;将待识别的人脸图像输入到人脸美丽等级预测模型中进行人脸美丽等级预测,得到待识别的人脸图像的美丽等级,受外界因素影响较小、检测的准确度较高。
附图说明
下面结合附图和实例对本发明作进一步说明:
图1是本发明的人脸美丽等级预测方法的一个实施例的整体流程图;
图2是本发明的利用美丽人脸图像训练完成的人脸美丽等级预测模型一个实施例的流程图;
图3是本发明的利用人脸美丽等级预测模型预测待识别的人脸图像的美丽等级的一个实施例的流程图;
图4是本发明的采用宽度学习网络对标准美丽人脸图像进行处理,提取美丽人脸图像的美丽特征向量的一个实施例的示意图;
图5是本发明的利用仿生模式识别模型对美丽特征向量进行分类处理的一个实施例的示意图;
图6(a)-图6(c)是本发明的根据美丽人脸关键点对美丽人脸图像进行预处理的一个实施例的示意图。
具体实施方式
人脸作为人的一种自然属性,其具有很强的稳定性和个体差异性,如何评价一张人脸图像的美丽程度是一个抽象的问题。传统的技术主要是通过几何特征或表观特征对人脸美丽进行预测;几何特征的提取需要精确的特征点标定以及需要获取大规模的几何特征数据,而且人脸特征点的检测在训练阶段需由人工标注训练样本,但过多主观因素介入容易导致所获结果没有普适性,当待标注图像数目庞大时,标注工作量较大;而表观特征需要提取人脸局部或整体的纹理结构,但受样本背景噪声、姿态变化等影响较大,对于高层次更抽象的人脸纹理结构并未进行深入挖掘,造成人脸美丽识别效果较差。
基于此,本发明提供了一种人脸美丽等级预测方法,能够检测图像中的人脸美丽图像,实现人脸美丽等级的预测,网络结构简单、受外界因素影响较小、检测的准确度较高。
下面结合附图,对本发明实施例作进一步阐述。
参照图1,本发明的一个实施例提供了一种人脸美丽等级预测方法,包括如下步骤:
步骤S100:采集人脸美丽数据库的美丽人脸图像,对所述美丽人脸图像进行预处理,提取所述美丽人脸图像的美丽特征向量;
步骤S200:利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型;
步骤S300:采集待识别的人脸图像,将所述待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到所述待识别的人脸图像的美丽等级。
在本实施例中,步骤S100采集人脸美丽数据库的美丽人脸图像,并对美丽人脸图像进行预处理,有利于后续步骤对美丽人脸图像的数据进行处理,减少因外界因素造成美丽人脸图像的差异性,提高检测的准确度。其中,人脸美丽数据库中的美丽人脸图像是带有美丽等级标签,例如是一级、二级和三级等,每个级别的美丽程度逐渐递降,且每个级别代表不同的美丽程度;优选地,人脸美丽数据库可以选取SCUT-FBP数据库,SCUT-FBP数据库是一个专门用于人脸美丽评价的基准数据库,收集了500张不同美丽吸引力的高分辨人脸图片,且SCUT-FBP数据库中的美丽人脸图像按照美丽程度将图像划分为不同的美丽等级。
步骤S200仿生模式识别模型的数学方法在于研究特征空间中样本集合的拓扑性质,故亦称作“拓扑模式识别”,“拓扑模式识别”的理论基点在于确认特征空间中同类样本的连续性;因此通过仿生模式识别模型识别美丽特征向量的特征,将美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型。步骤S300将待识别的人脸图像输入到人脸美丽等级预测模型中进行人脸美丽等级预测,得到待识别的人脸图像的美丽等级,受外界因素影响较小、检测的准确度较高。
进一步地,参照图2,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,采集人脸美丽数据库的美丽人脸图像,对美丽人脸图像进行预处理,提取美丽人脸图像的美丽特征向量,包括如下步骤:
步骤S110:采集人脸美丽数据库的美丽人脸图像,利用神经网络提取所述美丽人脸图像的美丽人脸关键点;
步骤S120:根据所述美丽人脸关键点对所述美丽人脸图像进行预处理,得到归一化的标准美丽人脸图像;
步骤S130:采用宽度学习网络对所述标准美丽人脸图像进行处理,提取所述标准美丽人脸图像的美丽特征向量。
在本实施例中,步骤S110利用神经网络提取所述美丽人脸图像的美丽人脸关键点;其中神经网络可以选取三级卷积的神经网络,结构简单,提取速度快;美丽人脸关键点可以选取左右眼睛、鼻子和嘴角的两端点,共五个脸部关键点,这五个美丽人脸关键点能够很好地代表了人的脸部的特征,突出了每个人脸部的差异性。步骤S120对美丽人脸关键点和美丽人脸图像进行预处理,使得美丽人脸图像能够进行归一化,便于后续步骤对美丽人脸图像的处理,减少美丽人脸图像因外界因素造成的差异性,提高检测的准确度。步骤S130宽度学习网络是一种随机向量函数链接神经网络,网络结构没有层与层之间的耦合和连接,也不需要利用梯度下降来更新权值,因此宽度学习网络的运算速度较快,同时,在保证运算速度的情况下,能够通过增加网络的宽度来提升精度;采用宽度学习网络对标准美丽人脸图像进行处理,运算速度快,精确度高。
进一步地,参照图6(a)-图6(c),本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,根据美丽人脸关键点对美丽人脸图像进行预处理,得到归一化的标准美丽人脸图像,包括如下步骤:
步骤S121:对所述美丽人脸关键点进行回归预测,得到美丽人脸预测关键点;
步骤S122:根据所述美丽人脸预测关键点对所述美丽人脸图像进行脸部水平对齐处理,得到水平美丽人脸图像;
步骤S123:对所述水平美丽人脸图像进行归一化处理,得到标准美丽人脸图像。
在本实施例中,步骤S121回归预测是把预测的相关性原则作为基础,把影响预测目标的各因素找出来,然后找出这些因素和预测目标之间的函数关系的近似表达,利用样本数据对其模型估计参数,并进行预测的过程;对于美丽人脸关键点,建立以下的多级回归预测公式,计算美丽人脸预测关键点:
其中,多级回归预测公式是对n级级联,x是美丽人脸预测关键点,x1是美丽人脸关键点的值;第一级预测是绝对值预测位置,即美丽人脸关键点,接下来的预测是调整,例如在第i级级联,x1有li个预测值,通过对预测值的调整实现了对美丽人脸关键点的预测,提高数据的准确性。
参照图6(a)和图6(b),步骤S122因美丽人脸图像中的人脸会存在偏转、倾斜等问题,根据美丽人脸预测关键点进行脸部水平对齐操作,例如利用左右眼的美丽人脸预测关键点,计算左右眼连接线与水平面的夹角大小,根据夹角的值对美丽人脸图像进行旋转,使得人脸水平对齐,克服姿势的偏转带来的数据差异。
参照图6(b)和图6(c),步骤S123将水平美丽人脸图像中的左右眼的中心点与嘴巴中心点像素均设置为48个像素,计算出水平美丽人脸图像的缩放比例,对水平美丽人脸图像进行裁剪和灰度变换,使得水平美丽人脸图像具有统一的尺寸和灰度,完成归一化处理,且归一化后的标准美丽人脸图像包含有美丽人脸预测关键点,归一化的处理减少了标准美丽人脸图像因外界因素造成的差异性,提高检测的准确度。其中,左右眼的中心点与嘴巴中心点像素的设置可以根据实际情况选取其他值;归一化后的标准美丽人脸图像可以设置为144×144。
进一步地,参照图4,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,采用宽度学习网络对标准美丽人脸图像进行处理,提取美丽人脸图像的美丽特征向量,包括如下步骤:
步骤S131:将所述标准美丽人脸图像输入到宽度学习网络,提取所述标准美丽人脸图像的美丽特征节点;
步骤S132:利用非线性激活函数计算所述美丽特征节点映射的美丽增强节点;
步骤S133:利用未知的权重参数连接所述美丽特征节点和所述美丽增强节点,得到美丽特征向量的计算公式;
步骤S134:将给定的美丽特征向量输入到所述美丽特征向量的计算公式中,对所述美丽特征向量的计算公式进行伪逆和岭回归算法处理,得到权重参数;
步骤S135:利用所述权重参数连接所述美丽特征节点与所述美丽增强节点,得到美丽特征向量。
在本实施例中,步骤S131将标准美丽人脸图像输入到宽度学习网络,通过以下函数计算标准美丽人脸图像的数据映射的第i个美丽特征节点:
Zi=φ(XWei+βei),
其中,i=1,2,...,n;Wei是权重系数,βei是偏置项,且Wei和βei均是随机产生的;X为标准美丽人脸图像的数据,X∈R;φ(·)是一个可选择的非线性激活函数。Zi为美丽特征节点,对于输入到宽度学习网络的标准美丽人脸图像的数据,能够生成n个美丽特征节点,n个美丽特征节点可以表示为Zn≡[Z1,...,Zn]。
步骤S132对于n个美丽特征节点,通过以下函数计算n个美丽特征节点映射的美丽增强节点,其中第m个美丽增强节点为:
Hm≡ξ(ZnWhm+βhm),
其中,m=1,2,...,p;Whm是权重系数,βhm是偏置项,且Whmβhm均是随机产生的;ξ(·)是一个可选择的非线性激活函数。对于n个美丽特征节点,可以映射生成p个美丽增强节点,p个美丽增强节点可以表示为Hp≡[H1,...,Hp]。
步骤S133利用未知的权重参数连接美丽特征节点和美丽增强节点,得到美丽特征向量的计算公式:
Y=[Z1,...,Zn|ξ(ZnWh1+βh1),...,ξ(ZnWhm+βhm)]Wm
=[Z1,...,Zn|H1,...,Hm]Wm
=[Zn|Hm]Wm,
其中,Y为美丽特征向量,Wm为未知的权重参数。
步骤S134,在模型训练的过程中,美丽特征向量为训练集给定的输出值,即期望得到的输出值;将给定的美丽特征向量输入到美丽特征向量的计算公式中,对计算公式进行伪逆和岭回归算法处理:
Wm=(λI+AAT)-1ATY,
A+=lim(λI+AAT)-1AT,
A+=[Zn|Hm]+,
其中,λ是正则化参数;A为美丽特征节点与美丽增强节点的列拼接;根据以上公式可推导得到:Wm=[Zn|Hm]+Y,即得到权重参数的值。
步骤S135利用权重参数连接美丽特征节点和所述美丽增强节点,计算得到实际的美丽特征向量。
进一步地,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,仿生模式识别模型包括超香肠神经元模型。
在本实施例中,超香肠神将元模型是一个一维流行与n维超球的拓扑乘积,其主要形状由三个部分组成:
其中,r为神经元模型的半径,Q1是线段AB的距离为半径的点的集合;Q2是到点A的距离为半径r的点的集合;Q3是到点B的距离为半径r的点的集合。超香肠神经元所覆盖的形体是这三部分的并集:因并集的图像形状像一个香肠,故被称作超香肠神经元;且超香肠神经元并集内的数据具有相似性,因此,超香肠神经元模型能够提取具有共同性质的数据,提取过程简单,提取效果较好。
进一步地,参照图2和图5,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型,包括如下步骤:
步骤S210:将所述美丽特征向量输入到超香肠神经元模型中进行处理,将所述美丽特征向量划分为不同美丽等级的若干个超香肠神经元,所述不同美丽等级的若干个超香肠神经元形成不同美丽等级的超香肠链,得到训练完成的人脸美丽等级预测模型。
在本实施例中,步骤S210将美丽特征向量输入到超香肠神经元模型,因美丽特征向量是带有美丽等级标签的,超香肠神经元模型根据美丽等级标签将美丽特征向量划分为不同美丽等级。对于同一美丽等级的美丽特征向量Y={Y1,Y2,...,YN},N为同一美丽等级的样本点的总数,每个样本点包含M个特征值,yi={yi1,yi2,...,yiM},i=1,2,...,N,计算所有同类样本点间的欧式距离:
根据欧式距离的值找出欧式距离最小的两个样本点,记为A11,A12,则A11,A12两点构成第一个一维线段A11A12,用一个超香肠神经元来覆盖这个线段,覆盖范围为P1;对于在P1覆盖外的样本点,按照上述步骤,找到距离A12距离最近的点,记为A13,构成线段A12A13,再用一个超香肠神经元来覆盖这个线段,覆盖范围为P2;在剩余的样本点中,剔除包含在前面共j-1个超香肠神经元覆盖范围内的样本点,再在覆盖范围外的样本点中,找到距离A1(j-1)最近的点,记为A1j,构成第j个线段A1(j-1)A1j,其超香肠神经元覆盖范围为Pj。继续上述超香肠神经元覆盖,直到同一美丽等级的所有样本点全部被覆盖,假设生成了k个超香肠神经元,则k个超香肠神经元连成超香肠链,超香肠链对该美丽等级样本的覆盖区域为:
根据上述步骤,对不同美丽等级的美丽特征向量分别进行超香肠神经元的覆盖,形成不同美丽等级的超香肠链,得到训练完成的人脸美丽等级预测模型,等级划分的操作简单,精确度高。
进一步地,参照图3,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,其中,采集待识别的人脸图像,将待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到识别的人脸图像的美丽等级,包括如下步骤:
步骤S310:采集待识别的人脸图像,利用神经网络提取待识别的人脸图像的待识别人脸关键点;
步骤S320:根据所述待识别人脸关键点对所述待识别的人脸图像进行预处理,得到归一化的标准待识别人脸图像;
步骤S330:利用宽度学习网络提取所述标准待识别人脸图像的待识别特征节点和待识别增强节点,利用所述权重参数连接所述待识别特征节点和所述待识别增强节点,得到待识别特征向量;
步骤S340:提取所述待识别特征向量到不同美丽等级的超香肠链的距离的最小值,若距离的最小值小于阈值,则待识别特征向量属于该超香肠链的美丽等级,得到所述待识别的人脸图像的美丽等级。
在本实施例中,步骤S310的过程类似步骤S110,步骤S320的过程类似步骤S120,步骤S330的过程类似步骤S131、步骤S132和步骤S135的结合。
步骤S330利用权重参数连接待识别特征节点和待识别增强节点,计算得到待识别特征向量,运算过程简单、快捷;所述权重参数是美丽特征向量的计算公式得到的。步骤S340分别计算待识别特征向量到不同美丽等级的超香肠链的距离,提取距离的最小值,若距离的最小值小于阈值,则待识别特征向量的美丽等级属于该超香肠链的美丽等级,即待识别的人脸图像属于该超香肠链的美丽等级;若距离的最小值不小于阈值,则待识别特征向量不属于任何的美丽等级。其中,阈值的设置可以根据实际情况设定,以适应不同的人脸美丽数据库的差异,使得人脸美丽等级的识别率处于较高的水平。
另外,参照图1-图6,本发明的另一个实施例还提供了一种人脸美丽等级预测方法,包括如下步骤:
步骤S110:采集人脸美丽数据库的美丽人脸图像,利用神经网络提取所述美丽人脸图像的美丽人脸关键点;
步骤S121:对所述美丽人脸关键点进行回归预测,得到美丽人脸预测关键点;
步骤S122:根据所述美丽人脸预测关键点对所述美丽人脸图像进行脸部水平对齐处理,得到水平美丽人脸图像;
步骤S123:对所述水平美丽人脸图像进行归一化处理,得到标准美丽人脸图像;
步骤S131:将所述标准美丽人脸图像输入到宽度学习网络,提取所述标准美丽人脸图像的美丽特征节点;
步骤S132:利用非线性激活函数计算所述美丽特征节点映射的美丽增强节点;
步骤S133:利用未知的权重参数连接所述美丽特征节点和所述美丽增强节点,得到美丽特征向量的计算公式;
步骤S134:将给定的美丽特征向量输入到所述美丽特征向量的计算公式中,对所述美丽特征向量的计算公式进行伪逆和岭回归算法处理,得到权重参数;
步骤S135:利用所述权重参数连接所述美丽特征节点与所述美丽增强节点,得到美丽特征向量;
步骤S210:将所述美丽特征向量输入到超香肠神经元模型中进行处理,将所述美丽特征向量划分为不同美丽等级的若干个超香肠神经元,所述不同美丽等级的若干个超香肠神经元形成不同美丽等级的超香肠链,得到训练完成的人脸美丽等级预测模型;
步骤S310:采集待识别的人脸图像,利用神经网络提取待识别的人脸图像的待识别人脸关键点;
步骤S320:根据所述待识别人脸关键点对所述待识别的人脸图像进行预处理,得到归一化的标准待识别人脸图像;
步骤S330:利用宽度学习网络提取所述标准待识别人脸图像的待识别特征节点和待识别增强节点,利用所述权重参数连接所述待识别特征节点和所述待识别增强节点,得到待识别特征向量;
步骤S340:提取所述待识别特征向量到不同美丽等级的超香肠链的距离的最小值,若距离的最小值小于阈值,则待识别特征向量属于该超香肠链的美丽等级,得到所述待识别的人脸图像的美丽等级。
在本实施例中,对美丽人脸图像进行回归预测、水平对齐和归一化等处理,有利于数据的统一,提高检测的准确度;利用宽度学习网络对标准美丽人脸图像进行处理,求得权重参数,有利于待识别特性向量的计算,运算速度快,精确度高;通过超香肠神经元模型识别特征空间中同类样本的连续特征,对美丽特征向量进行分类处理,得到的人脸美丽等级预测模型;将待识别的人脸图像输入到人脸美丽等级预测模型中进行人脸美丽等级预测,得到待识别的人脸图像的美丽等级,预测速度快、受外界因素影响较小、检测的准确度较高。
此外,本发明的另一个实施例还提供了一种人脸美丽等级预测装置,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如上的任一项所述的一种人脸美丽等级预测方法。
在本实施例中,预测装置包括:一个或多个控制处理器和存储器,控制处理器和存储器可以通过总线或者其他方式连接。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块,如本发明实施例中的预测方法对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行预测装置的各种功能应用以及数据处理,即实现上述方法实施例的预测方法。
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据预测装置的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于控制处理器远程设置的存储器,这些远程存储器可以通过网络连接至该预测装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中,当被所述一个或者多个控制处理器执行时,执行上述方法实施例中的预测方法,例如,执行以上描述预测方法步骤S100至S300、S110至S130、S121至S123、S131至S135、S210、以及S310至S340的功能。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个控制处理器执行,例如,一个控制处理器执行,可使得上述一个或多个控制处理器执行上述方法实施例中的预测方法,例如,执行以上描述的方法步骤S100至S300、S110至S130、S121至S123、S131至S135、S210、以及S310至S340的功能。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnly Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上是对本发明的较佳实施进行了具体说明,但本发明并不局限于上述实施方式,熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (6)
1.一种人脸美丽等级预测方法,其特征在于:包括如下步骤:
采集人脸美丽数据库的美丽人脸图像,利用神经网络提取所述美丽人脸图像的美丽人脸关键点;
建立多级回归预测公式对所述美丽人脸关键点进行回归预测,得到美丽人脸预测关键点;其中,多级回归预测公式为:n表示n级级联,x表示美丽人脸预测关键点,x1表示美丽人脸关键点的值,li表示x1在第i级中的预测值个数;
根据所述美丽人脸预测关键点对所述美丽人脸图像进行脸部水平对齐处理,得到水平美丽人脸图像;
对所述水平美丽人脸图像进行归一化处理,得到标准美丽人脸图像;
将所述标准美丽人脸图像输入到宽度学习网络,利用计算公式Zi=φ(XWei+βei)得到标准美丽人脸图像的数据映射的美丽特征节点;其中,i=1,2,...,n,Wei是权重系数,βei是偏置项,X为标准美丽人脸图像的数据,φ(·)是一个可选择的非线性激活函数;Zn≡[Z1,...,Zn]表示n个美丽特征节点的集合;
利用非线性激活函数Hm≡ξ(ZnWhm+βhm)得到美丽特征节点映射的美丽增强节点;其中,m=1,2,...,p,p表示美丽增强节点的个数,Hp≡[H1,...,Hp],Whm是权重系数,βhm是偏置项,ξ(·)是一个可选择的非线性激活函数;
利用计算公式Y=[Zn|Hm]Wm,将未知的权重参数连接所述美丽特征节点和所述美丽增强节点,得到美丽特征向量;其中,Y为美丽特征向量,Wm为未知的权重参数;
将给定的美丽特征向量输入到所述美丽特征向量的计算公式中,对所述美丽特征向量的计算公式进行伪逆和岭回归算法处理,得到权重参数的计算公式Wm=[Zn|Hm]+Y;
利用所述权重参数连接所述美丽特征节点与所述美丽增强节点,得到美丽特征向量;
利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型;
采集待识别的人脸图像,将所述待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到所述待识别的人脸图像的美丽等级。
2.根据权利要求1所述的一种人脸美丽等级预测方法,其特征在于:所述仿生模式识别模型包括超香肠神经元模型。
3.根据权利要求1所述的一种人脸美丽等级预测方法,其特征在于:利用仿生模式识别模型对所述美丽特征向量进行分类处理,得到训练完成的人脸美丽等级预测模型,包括如下步骤:
将所述美丽特征向量输入到超香肠神经元模型中进行处理,将所述美丽特征向量划分为不同美丽等级的若干个超香肠神经元,所述不同美丽等级的若干个超香肠神经元形成不同美丽等级的超香肠链,得到训练完成的人脸美丽等级预测模型。
4.根据权利要求3所述的一种人脸美丽等级预测方法,其特征在于:采集待识别的人脸图像,将待识别的人脸图像输入到所述人脸美丽等级预测模型进行人脸美丽等级预测,得到识别的人脸图像的美丽等级,包括如下步骤:
采集待识别的人脸图像,利用神经网络提取待识别的人脸图像的待识别人脸关键点;
根据所述待识别人脸关键点对所述待识别的人脸图像进行预处理,得到归一化的标准待识别人脸图像;
利用宽度学习网络提取所述标准待识别人脸图像的待识别特征节点和待识别增强节点,利用所述权重参数连接所述待识别特征节点和所述待识别增强节点,得到待识别特征向量;
提取所述待识别特征向量到不同美丽等级的超香肠链的距离的最小值,若距离的最小值小于阈值,则待识别特征向量属于该超香肠链的美丽等级,得到所述待识别的人脸图像的美丽等级。
5.一种人脸美丽等级预测装置,其特征在于,包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器;所述存储器存储有可被所述至少一个控制处理器执行的指令,所述指令被所述至少一个控制处理器执行,以使所述至少一个控制处理器能够执行如权利要求1-4任一项所述的一种人脸美丽等级预测方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-4任一项所述的一种人脸美丽等级预测方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602383.2A CN110472489B (zh) | 2019-07-05 | 2019-07-05 | 一种人脸美丽等级预测方法、装置及存储介质 |
US16/530,820 US11074435B2 (en) | 2019-07-05 | 2019-08-02 | Method and apparatus for predicting face beauty grade, and storage medium |
PCT/CN2020/099858 WO2021004361A1 (zh) | 2019-07-05 | 2020-07-02 | 一种人脸美丽等级预测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910602383.2A CN110472489B (zh) | 2019-07-05 | 2019-07-05 | 一种人脸美丽等级预测方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110472489A CN110472489A (zh) | 2019-11-19 |
CN110472489B true CN110472489B (zh) | 2023-05-05 |
Family
ID=68506882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910602383.2A Active CN110472489B (zh) | 2019-07-05 | 2019-07-05 | 一种人脸美丽等级预测方法、装置及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11074435B2 (zh) |
CN (1) | CN110472489B (zh) |
WO (1) | WO2021004361A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110472489B (zh) * | 2019-07-05 | 2023-05-05 | 五邑大学 | 一种人脸美丽等级预测方法、装置及存储介质 |
CN111275650B (zh) * | 2020-02-25 | 2023-10-17 | 抖音视界有限公司 | 美颜处理方法及装置 |
EP4162447A1 (en) * | 2020-06-04 | 2023-04-12 | The Procter & Gamble Company | Oral care based digital imaging systems and methods for determining perceived attractiveness of facial image portion |
US11978207B2 (en) | 2021-06-03 | 2024-05-07 | The Procter & Gamble Company | Oral care based digital imaging systems and methods for determining perceived attractiveness of a facial image portion |
CN112069916B (zh) * | 2020-08-14 | 2024-02-20 | 五邑大学 | 人脸美丽预测方法、装置、系统及可读存储介质 |
WO2022185436A1 (ja) * | 2021-03-03 | 2022-09-09 | 日本電気株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
CN113822245B (zh) * | 2021-11-22 | 2022-03-04 | 杭州魔点科技有限公司 | 人脸识别方法、电子设备和介质 |
CN117238018B (zh) * | 2023-09-20 | 2024-06-21 | 华南理工大学 | 基于多粒度的可增量深宽网络活体检测方法、介质及设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10339685B2 (en) * | 2014-02-23 | 2019-07-02 | Northeastern University | System for beauty, cosmetic, and fashion analysis |
CN104239858B (zh) * | 2014-09-05 | 2017-06-09 | 华为技术有限公司 | 一种人脸特征验证的方法和装置 |
CN104850825B (zh) * | 2015-04-18 | 2018-04-27 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
CN108629338B (zh) * | 2018-06-14 | 2021-10-19 | 五邑大学 | 一种基于lbp和卷积神经网络的人脸美丽预测方法 |
CN109344855B (zh) * | 2018-08-10 | 2021-09-24 | 华南理工大学 | 一种基于排序引导回归的深度模型的人脸美丽评价方法 |
CN109800648B (zh) * | 2018-12-18 | 2021-09-28 | 北京英索科技发展有限公司 | 基于人脸关键点校正的人脸检测识别方法及装置 |
CN109920021B (zh) * | 2019-03-07 | 2023-05-23 | 华东理工大学 | 一种基于正则化宽度学习网络的人脸素描合成方法 |
CN110472489B (zh) * | 2019-07-05 | 2023-05-05 | 五邑大学 | 一种人脸美丽等级预测方法、装置及存储介质 |
-
2019
- 2019-07-05 CN CN201910602383.2A patent/CN110472489B/zh active Active
- 2019-08-02 US US16/530,820 patent/US11074435B2/en active Active
-
2020
- 2020-07-02 WO PCT/CN2020/099858 patent/WO2021004361A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021004361A1 (zh) | 2021-01-14 |
US20210004570A1 (en) | 2021-01-07 |
US11074435B2 (en) | 2021-07-27 |
CN110472489A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472489B (zh) | 一种人脸美丽等级预测方法、装置及存储介质 | |
CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
CN107610087B (zh) | 一种基于深度学习的舌苔自动分割方法 | |
CN110837768B (zh) | 一种面向珍稀动物保护的在线检测与识别方法 | |
CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
CN107239514A (zh) | 一种基于卷积神经网络的植物识别方法及系统 | |
CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及系统 | |
US20100111375A1 (en) | Method for Determining Atributes of Faces in Images | |
CN110516533B (zh) | 一种基于深度度量的行人再辨识方法 | |
WO2015131468A1 (en) | Method and system for estimating fingerprint pose | |
CN111985402B (zh) | 一种变电站安全围栏翻越行为识别方法、系统及设备 | |
CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
Bhimavarapu et al. | Analysis and characterization of plant diseases using transfer learning | |
CN109947960B (zh) | 基于深度卷积的人脸多属性联合估计模型构建方法 | |
JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
CN111291785A (zh) | 目标检测的方法、装置、设备及存储介质 | |
CN113435280A (zh) | 人证校验方法 | |
CN116386118B (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 | |
CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 | |
CN112633222A (zh) | 基于对抗网络的步态识别方法、装置、设备及介质 | |
CN111968087A (zh) | 一种植物病害区域检测方法 | |
CN113283378B (zh) | 一种基于梯形区域归一化像素差异特征的猪脸检测方法 | |
Chen et al. | An application of improved RANSAC algorithm in visual positioning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |