CN109214298B - 一种基于深度卷积网络的亚洲女性颜值评分模型方法 - Google Patents
一种基于深度卷积网络的亚洲女性颜值评分模型方法 Download PDFInfo
- Publication number
- CN109214298B CN109214298B CN201810901608.XA CN201810901608A CN109214298B CN 109214298 B CN109214298 B CN 109214298B CN 201810901608 A CN201810901608 A CN 201810901608A CN 109214298 B CN109214298 B CN 109214298B
- Authority
- CN
- China
- Prior art keywords
- model
- color value
- random forest
- convolution
- scoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000007637 random forest analysis Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 20
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 230000001815 facial effect Effects 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 210000000697 sensory organ Anatomy 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005184 irreversible process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积网络的亚洲女性颜值评分模型方法,包括如下四个阶段步骤:样本数据采集步骤;构建卷积网络模型步骤;构建随机森林模型步骤:基于人脸识别库技术标记人脸关键点位置,提取人脸关键点位置坐标,遍历循环生成由部分人脸关键点组成的组计算点,构建并优化随机森林模型;基于booster trees算法融合卷积网络模型和随机森林模型,完成最终颜值评分的融合模型阶段步骤。可同时融合亚洲女性特有的脸型、五官比例、肤色等具有很强区分能力关键点信息,集合卷积网络和随机森林模型各自的优势,提升了颜值评分预测的准确度,模型效果显著,均值都更接近真实值。
Description
技术领域
本发明涉及一种深度卷积网络,尤其是涉及一种基于深度卷积网络的亚洲女性颜值评分模型方法。
背景技术
随着社会经济的快速发展和时代的进步,人们的生活水平也在不断的提高,更多的女性对自身容貌也有了更高的要求。由此各类颜值评价软件也应运而生,很多女性希望能通过一定技术手段客观和定量评价自身容貌的美丽程度。而现有的颜值评分技术手段主要有两类:基于大众投票类的颜值评分和基于机器学习算法类的颜值评分,前者更多的是人工主观打分,加部分统计手段如剔除异常、取均值或众数等,存在多种人工因素的干扰,准确度波动较大;后者主要利用机器学习或深度学习模型来预测颜值,但都有一定缺陷。传统机器学习算法主要问题:需要提取图像特征,提取过程复杂,计算量大,同时提取的特征反应的只是五官分布、比例、脸型结构,对于肤色信息无法提取;深度卷积网络在图像识别上有很多优势,目前也有很多人应用卷积网络在颜值评分上,然而这类识别评价方法目前也存在几个问题:1、卷积网络超参众多,很多人会直接在前人已经训练好的模型基础上做学习,但网上这类模型主要应用于图像分类,具体迁移到颜值评分上效果并不是很好;2、卷积网络的核心就是卷积核提取低高阶特征的能力,颜值评分只提取人脸特征,与图像分类比特征少很多,训练过程很容易过拟合,基于上面原因目前在颜值评分各种方法最后的精度都不是特别理想。
发明内容
本发明为解决现有亚洲女性颜值评价存在着颜值评分效果不够好,只提取人脸特征,与图像分类比特征少很多,评估精度不够理想等现状而提供的一种可同时融合亚洲女性特有的脸型、五官比例、肤色等具有很强区分能力的基于深度卷积网络的亚洲女性颜值评分模型方法。
本发明为解决上述技术问题所采用的具体技术方案为:一种基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:包括如下四个阶段步骤
a样本数据采集步骤:对抓取的样本照片进行样本数据处理,为后面阶段步骤提供有用样本数据;
b构建卷积网络模型步骤:采用多层卷积层和一层全连接层的颜值评分卷积网络结构,进行训练和优化卷积网络模型,利用优化得到的最终卷积网络模型对全部照片预测打分,将得到的分数作为后续融合模型的其中一项输入特征;
c构建随机森林模型步骤:基于人脸识别库技术标记人脸关键点位置,提取人脸关键点位置坐标,遍历循环生成由部分人脸关键点组成的组计算点,构建并优化随机森林模型;
d基于booster trees算法融合卷积网络模型和随机森林模型,完成最终颜值评分的融合模型阶段步骤;
所述的融合模型阶段步骤包括如下步骤
5.1利用卷积网络模型得到的颜值预测值(scorel)和随机森林模型得到的颜值预测值(score2)作为输入特征,图片真实评分作为目标特征;
5.2采用GBDT算法融合卷积网络模和随机森林模型这2个模型结果,GBDT是一种boost trees集成学习算法,每一轮学习都以前一轮训练样本的残差作为训练样本,遍历搜索得到融合模型主要的最优参数。
可同时融合亚洲女性特有的脸型、五官比例、肤色等具有很强区分能力关键点信息,集合卷积网络和随机森林模型各自的优势,利用融合模型有效提升了颜值评分预测的准确度,和单一模型比,模型效果显著。从各个分段预测均值看,最后融合模型单一模型比较,均值都更接近真实值。提高融合模型模型的融合计算评分精准有效性。
作为优选,样本数据采集步骤包括如下步骤
2.1爬取互联网匿名公开的女性照片,总计3000张;
2.2利用人脸识别库截取女性照片的头像,剔除头像无法识别、脸部遮挡严重、修图明显的样本,最终剩余样本1500张,并做图像尺寸转换,最后保证图像大小都是128*128像素;
2.3构建在线人工颜值打分模块,为保证样本数据的客观性,每个打分者会随机分配5-8张图片,为每张图片手工评分,分数为1-10分,分数越高代表颜值越高,每张图片最多被抽中10次;
2.4样本数据处理,对每张图片的评分按照从高到低排序,剔去最低评分和最高评分,对剩余的评分取均值作为该张图片的最后得分。
提高样本数据采集的采集可靠有效性。
作为优选,构建卷积网络模型步骤包括如下步骤
3.1采用五层卷积层和一层全连接层的颜值评分卷积网络结构;
3.2训练卷积网络模型:采用均方根误差RMSE作为损失函数,RMSE计算公式如下
公式参数说明为:N-表示每批次训练的图片样本数量,observed-表示输入图片真实分,predicted-表示输入图片模型预测分;
3.3优化卷积网络模型,采用自适应时刻估计方法的Adam算法优化卷积网络;
3.4卷积网络模型预测颜值:利用优化得到的最终模型对全部照片预测打分,得到的分数作为后续融合模型的其中一项输入特征。
提高卷积网络的钩建计算预测精准有效性。
作为优选,所述的构建随机森林模型步骤包括如下步骤
4.1基于人脸识别库,标记人脸关键点位置,目前人脸识别技术已经非常成熟,关键点标记采用流行的68个点位组合;
4.2顺序提取19个关键点位置坐标,这19个关键点包括五官轮廓、眉毛、眼镜、鼻梁、鼻孔、上下嘴唇关键点坐标,以4个点为一组遍历循环生成11627组计算点,并对11627组数组计算两点距离间的比值,最后生成的11627个
比率作为特征信息;
4.3采用主成分分析技术将11627维度压缩到20维,主成分就是一种投影技巧,在保留样本信息的前提下,把高维空间的数据投影到低纬空间,这种投影方式用矩阵表示:
Xn*m=yn*m*Wm*d
将原来m维的数据转换成d维的数据(一般m>>d),应用方差最大来确定w矩阵最后压缩的20维特征包含了98.9%原始特征的方差信息;
4.4构建并优化随机森林模型,随机森林是一种bagging方式的集成学习算法,通过对样本和特征列采样可很好的防止过拟合,通过组合多个弱分类器得到强分类器,项目最后通过遍历搜索得到最优的随机森林参数。
提高随机森林模型的钩建计算预测精准有效性。
作为优选,所述的融合模型主要的最优参数范围如下:learning_rate(学习率):[0.01~0.09]
n_estimators(迭代轮数):[50~500]
max_depth(最大树深):[2~5]
min_samples_split(最小分裂样本数):[5~50]。
作为优选,所述的19个关键点位置坐标分别为18、22、23、27、37、40、43、46、28、32、34、36、5、9、13、49、55、52和58,生成其中一组点坐标:以[18、22、23、27]生成一个序列,其中18和22表示左眼两个眼角点,23和27表示右眼2个眼角点,用[(x1,y1),(x2,y2),(x3,y3),(x4,y4)]表示这4个关键点,获取4个点之前距离的一个比例关系,这就是其中一个维度,表示左右眼睛的宽带是否一致,公式如下:
提高人脸关键点的获取与计算评估精确有效性,提高获得更强区分能力。
作为优选,所述的最优的随机森林参数范围为:
n_estimators(树数目):[50~500];
max_depth(数深度):[7~12];
min_samples_leaf(最小叶子节点数):[2~20];
最后随机森林模型得到的模型训练数据均方根误差和测试数据均方根误差都在1.38-1.52之间。
提高随机森林参数的模型训练数据均方根误差精准有效性。
作为优选,所述的颜值评分卷积网络结构和每层参数如下表
颜值评分卷积网络结构 |
Input(128*128*3RGB) |
cov11-96 |
maxpool |
cov11-256 |
maxpool |
cov3-384 |
cov3-384 |
cov3--256 |
maxpool |
FC-512 |
Output |
上表中参数说明为:conv11-96表示该卷积层采用11*11大小的卷积核,卷积核数量为96个,每层卷积层采用ReLu激活函数,maxpool表示池化层,FC-512表示全连接层512个神经元,output表示输出层。
本发明的有益效果是:本发明基于深度卷积网络,同时融合了对亚洲女性特有的脸型、五官比例、肤色等具有很强区分能力的随机森林机器学习算法,解决了现有单一算法在颜值评分上精度低的问题。
最终融合模型训练和测试均方根误差均不到1.2,本发明通过集合卷积网络和随机森林模型各自的优势,利用融合模型有效提升了颜值评分预测的准确度,和单一模型比,模型效果显著。从各个分段预测均值看,最后融合模型单一模型比较,均值都更接近真实值。
从各个分段预测值与实际值均方根误差看,最后融合模型与单一模型比较,误差都有显著下降,与卷积比提升了32.7%((1.688-1.136)/1.688),与随机森林比提升了13.9%((1.319-1.136)/1.319)(详细见下图)。
附图说明:
下面结合附图和具体实施方式对本发明做进一步的详细说明。
图1是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的流程图结构示意图。
图2是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的卷积网络结构示意图。
图3是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的卷积网络结构和每层参数结构示意图。
图4是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的卷积层提取的特征结构示意图。
图5是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的人脸关键点结构示意图。
图6是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的融合模型与单一模型评分比对效果对比示意图。
图7是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的融合模型均方根误差与单一模型比对示意图。
图8是本发明一种基于深度卷积网络的亚洲女性颜值评分模型方法的数据效果示意表。
具体实施方式
图1、图2、图3、图4、图5所示的实施例中,一种基于深度卷积网络的亚洲女性颜值评分模型方法,包括如下四个阶段步骤
a样本数据采集步骤01:通过互联网,利用现有爬虫技术爬取匿名亚洲女性照片3000张,对抓取的样本照片进行样本数据处理,为后向阶段步骤提供有用样本数据;
b构建卷积网络模型02步骤:采用多层卷积层和一层全连接层的颜值评分卷积网络结构,进行训练和优化卷积网络模型,利用优化得到的最终卷积网络模型对全部照片预测打分,将得到的分数作为后续融合模型的其中一项输入特征;
c构建随机森林模型03步骤:基于人脸识别库技术标记人脸关键点位置,提取人脸关键点位置坐标,遍历循环生成由部分人脸关键点组成的组计算点,构建并优化随机森林模型;
d基于booster trees算法融合卷积网络模型和随机森林模型,完成最终颜值评分的融合模型04阶段步骤。
样本数据采集步骤包括如下步骤
2.1爬取互联网匿名公开的女性照片,总计3000张;每张图片大小128*128*3像素;
2.2利用人脸识别库截取女性照片的头像,剔除头像无法识别、脸部遮挡严重、修图明显的样本,最终剩余样本1500张,并做图像尺寸转换,最后保证图像大小都是128*128*3像素的多维数据组;
2.3构建在线人工颜值打分模块,为保证样本数据的客观性,每个打分者会随机分配5-8张图片,为每张图片手工评分,分数为1-10分,分数越高代表颜值越高,每张图片最多被抽中10次;
2.4样本数据处理,对每张图片的评分按照从高到低排序,剔除最低分和最高分,对剩余的评分取均值作为该张图片的最后得分。
构建卷积网络模型步骤包括如下步骤
3.1采用五层卷积层和一层全连接32的颜值评分卷积网络结构;
3.2训练卷积网络模型:采用均方根误差RMSE作为损失函数,RMSE计算公式如下
公式参数说明为:N-表示每批次训练的图片样本数量,observed-表示输入图片真实分,predicted-表示输入图片模型预测分;
3.3优化卷积网络模型,采用自适应时刻估计方法的Adam算法优化卷积网络;
3.4卷积网络模型预测颜值:利用优化得到的最终模型对全部照片预测打分,得到的分数作为后续融合模型的其中一项输入特征。
更具体的本项目训练模型时候为保证训练的效率和稳定性每次训练都提供一小批样本,这里每批次样本数设置为100张图片,总共设置500轮的训练,目标函数采用均方根误差RMSE,RMSE计算公式如下:
公式说明:N-表示每批次训练的图片数量,本项目里该值为100,
observed-表示输入图片真实分数
predicted-表示输入图片模型预测分
项目最后训练到350轮的时候训练误差在1.6左右,测试误差在1.5左右,训练结束。
构建随机森林模型步骤包括如下步骤
4.1基于人脸识别库,标记人脸关键点位置,目前人脸识别技术已经非常成熟,关键点标记采用流行的68个点位组合;
4.2顺序提取19个关键点位置坐标,这19个关键点包括五官轮廓、眉毛、眼镜、鼻梁、鼻孔、上下嘴唇关键点坐标,以4个点为一组遍历循环生成11627组计算点,并对11627组数组计算两点距离间的比值,最后生成的11627个比率作为特征信息;
更准确的,
4.3采用主成分分析技术将11627维度压缩到20维,主成分就是一种投影技巧,在保留样本信息的前提下,把高维空间的数据投影到低纬空间,这种投影方式用矩阵表示:
Xn*m=yn*m*Wm*d
将原来m维的数据转换成d维的数据(一般m>>d),应用方差最大来确定w矩阵最后压缩的20维特征包含了98.9%原始特征的方差信息;
4.4构建并优化随机森林模型,随机森林是一种bagging方式的集成学习算法,通过对样本和特征列采样可很好的防止过拟合,通过组合多个弱分类器得到强分类器,项目最后通过遍历搜索得到最优的随机森林参数。
融合模型主要的最优参数如下:获得最优融合参数效果。
learning_rate(学习率):0.03;
n_estimators(迭代轮数):100;
max_depth(最大树深):3;
min_samples_split(最小分裂样本数):10;
当然融合模型主要的最优参数范围可以为如下范围:
learning_rate(学习率):[0.01~0.09];
n_estimators(迭代轮数):[50~500];
max_depth(最大树深):[2~5];
min_samples_split(最小分裂样本数):[5~50]。
融合模型阶段步骤包括如下步骤
5.1利用卷积网络模型得到的颜值预测值(score1)和随机森林模型得到的颜值预测值(score2)作为输入特征,图片真实评分作为目标特征;
5.2采用GBDT算法融合卷积网络模和随机森林模型这2个模型结果,GBDT是一种boost trees集成学习算法,每一轮学习都以前一轮训练样本的残差作为训练样本,遍历搜索得到融合模型主要的最优参数。
19个关键点位置坐标分别为18、22、23、27、37、40、43、46、28、32、34、36、5、9、13、49、55、52和58,生成的其中一组点坐标:以[18、22、23、27]生成一个序列,其中18和22表示左眼两个眼角点,23和27表示右眼2个眼角点,4个点为一组遍历循环生成11627组计算点,并对11627组数组计算两点距离间的比值,最后生成的11627个比率作为特征信息。用[(x1,y1),(x2,y2),(x3,y3),(x4,y4)]表示这4个关键点,获取4个点之前距离的一个比例关系,这就是其中一个维度,表示左右眼睛的宽带是否一致,公式如下:
最优的随机森林参数为:
n_estimators(树数目):100;
max_depth(数深度):10;
min_samples_leaf(最小叶子节点数):5;
最后随机森林模型得到的模型训练数据均方根误差和测试数据均方根误差都在1.5±0.05。
当然最优的随机森林参数范围可以为如下:
n_estimators(树数目):[50~500];
max_depth(数深度):[7~12];
min_samples_leaf(最小叶子节点数):[2~20];
最后随机森林模型得到的模型训练数据均方根误差和测试数据均方根误差都在1.38-1.52之间。
conv11-96表示该卷积层采用11*11大小的卷积核,卷积核数量为96个,每层卷积层采用ReLu激活函数,maxpool表示池化层,FC-512表示全连接层512个神经元,output表示输出层。五层卷积层包括卷积层1、卷积层2、卷积层3、卷积层4和卷积层5,
颜值评分卷积网络结构和每层参数如下表
颜值评分卷积网络结构 |
Input(128*128*3RGB) |
cov11-96 |
maxpool |
cov11-256 |
maxpool |
cov3-384 |
cov3-384 |
cov3-256 |
maxpool |
FC-512 |
Output |
上表中参数说明为:conv11-96表示该卷积层采用11*11大小的卷积核,卷积核数量为96个,每层卷积层采用ReLu激活函数,maxpool表示池化层,FC-512表示全连接层512个神经元,output表示输出层。
Adam算法如下:
s=ρ1s+(1-ρ1)g
r=ρ2r+(1-ρr)gΘg
θ=θ+Δθ
公式参数说明如下:
θ-参数向量;g-关于θ的梯度;s-一阶矩梯度;r-二阶矩梯度
在优化卷积网络过程中为防止过拟合在最后全连接层加入了dropout,随机保留70%的像素点。另外利用反卷积技术提高可视化每层卷积提取的特征。(如图5卷积层提取的特征图,第一层卷积只提取了颜色信息,后面逐层提取的信息越来越具象),利用该技术优化卷积层参数设置。
最终融合模型训练和测试均方根误差均不到1.2,本发明通过集合卷积网络和随机森林模型各自的优势,利用融合模型有效提升了颜值评分预测的准确度,和单一模型比,模型效果显著。从各个分段预测均值看,最后融合模型单一模型比较,均值都更接近真实值;
从各个分段预测值与实际值均方根误差看,最后融合模型与单一模型比较,误差都有显著下降,与卷积比提升了32.7%【(1.688-1.136)/1.688】,与随机森林比提升了13.9%【(1.319-1.136)/1.319】(见图6,图7)。
图7所示说明:30:输入层,图片大小128*128*3;
31:对输入层采用dropout,随机保留85%的像素;
32:对卷积层5输出的特征(16*16*256)拉平,即全连接层维度达到65536个;
33:对全连接层采用dropout,随机保留75%的像素;
34:输出层采用线性函数,输出最终预测值;
对输入层采用dropout,随机保留85%的像素处理后,逐级采用从卷积层1→卷积层5的五层卷积层和一层全连接层32的颜值评分卷积网络结构进行评分;最后对全连接层采用dropout,随机保留75%的像素再输出至输出层。
图4所示为从左到右四个子框图内容表示依次从低阶到高阶获取的特征,包括从颜色信息、局部点线信息到整体五官信息获取。图4是根据模型输出得到的特征还原图。
图5所示为:基于深度卷积网络的亚洲女性颜值评分模型方法的人脸关键点结构包括从颜色信息、局部点线信息到整体五官信息等关键点的评分信息获取。
图6所示说明:图中上部第一横向数据为样本数据,样本数据下方依次为卷积网络平均分和融合模型平均分效果比对图,考虑到8分以上各分段样本量数量稀少,所以将8分以上都归为一类,其中卷积网络平均分图右坐标为随机森林样本评分,从图可见各评分段融合模型的平均预测值相比于单一模型平均预测值与真实值更加接近。
图7所示说明:图中上部为卷积均方根误差与随机样本均方根误差数据图,误差与随机样本为右坐标,图中下部为融合模型均方根误差数据图,从各评分段均方根误差看,融合模型显然比单一模型均方根误差更小,全样本均方根误差融合模型为1.136,随机森林为1.319,卷积网络为1.688,融合模型预测准确度的提升效果明显,详细数据可以见图8数据所示。
反卷积可以理解为卷积操作的逆过程,反卷积可视化以各层得到的特征图作为输入,进行反卷积,得到反卷积结果,用以验证显示各层提取到的特征图,以卷积层Conv5为例:把原本Conv5提取的一张特征图(16*16)通过反池化、反激活、反卷积放大回去,最后得到与原始输入尺寸一致的图片(128*128)。
反池化过程:池化是不可逆的过程,我们通过记录池化过程中,最大激活值得坐标位置,然后在反池化的时候,只把池化过程中最大激活值所在的位置坐标的值激活,其它的值置为0
反激活过程:卷积过程中我们激活函数采用的是Relu函数,Relu函数用来保证每层输出的激活值都是正数,反激活函数还是采用Relu函数
反卷积过程:采用卷积过程转置后的滤波器与反激活过程得到的特征进行卷积运算。
以上内容和结构描述了本发明产品的基本原理、主要特征和本发明的优点,本行业的技术人员应该了解。上述实例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都属于要求保护的本发明范围之内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:包括如下四个阶段步骤
a样本数据采集步骤:对抓取的样本照片进行样本数据处理,为后面阶段步骤提供有用样本数据;
b构建卷积网络模型步骤:采用多层卷积层和一层全连接层的颜值评分卷积网络结构,进行训练和优化卷积网络模型,利用优化得到的最终卷积网络模型对全部照片预测打分,将得到的分数作为后续融合模型的其中一项输入特征;
c构建随机森林模型步骤:基于人脸识别库技术标记人脸关键点位置,提取人脸关键点位置坐标,遍历循环生成由部分人脸关键点组成的组计算点,构建并优化随机森林模型;
d基于booster trees算法融合卷积网络模型和随机森林模型,完成最终颜值评分的融合模型阶段步骤;
所述的融合模型阶段步骤包括如下步骤
5.1利用卷积网络模型得到的颜值预测值(scorel)和随机森林模型得到的颜值预测值(score2)作为输入特征,图片真实评分作为目标特征;
5.2采用GBDT算法融合卷积网络模和随机森林模型这2个模型结果,GBDT是一种boosttrees集成学习算法,每一轮学习都以前一轮训练样本的残差作为训练样本,遍历搜索得到融合模型主要的最优参数。
2.按照权利要求1所述的基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:所述的样本数据采集步骤包括如下步骤
2.1爬取互联网匿名公开的女性照片,总计3000张;
2.2利用人脸识别库截取女性照片的头像,剔除头像无法识别、脸部遮挡严重、修图明显的样本,最终剩余样本1500张,并做图像尺寸转换,最后保证图像大小都是128*128*3像素;
2.3构建在线人工颜值打分模块,为保证样本数据的客观性,每个打分者会随机分配5-8张图片,为每张图片手工评分,分数为1-10分,分数越高代表颜值越高,每张图片最多被抽中10次;
2.4样本数据处理,对每张图片的评分按照从高到低排序,剔除最低评分和最高评分,对剩余的评分取均值作为该张图片的最后得分。
4.按照权利要求1所述的基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:所述的构建随机森林模型步骤包括如下步骤
4.1基于人脸识别库,标记人脸关键点位置,目前人脸识别技术已经非常成熟,关键点标记采用流行的68个点位组合;
4.2顺序提取19个关键点位置坐标,这19个关键点包括五官轮廓、眉毛、眼镜、鼻梁、鼻孔、上下嘴唇关键点坐标,以4个点为一组遍历循环生成11627组计算点,并对11627组数组计算两点距离间的比值,最后生成的11627个比率作为特征信息;
4.3采用主成分分析技术将11627维度压缩到20维,主成分就是一种投影技巧,在保留样本信息的前提下,把高维空间的数据投影到低纬空间,这种投影方式用矩阵表示:
Xn*m=yn*m*Wm*d
将原来m维的数据转换成d维的数据(一般m>>d),应用方差最大来确定w矩阵最后压缩的20维特征包含了98.9%原始特征的方差信息;
4.4构建并优化随机森林模型,随机森林是一种bagging方式的集成学习算法,通过对样本和特征列采样可很好的防止过拟合,通过组合多个弱分类器得到强分类器,项目最后通过遍历搜索得到最优的随机森林参数范围。
5.按照权利要求1所述的基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:所述的融合模型主要的最优参数范围如下:
learning_rate(学习率):[0.01~0.09];
n_estimators(迭代轮数):[50~500];
max_depth(最大树深):[2~5];
min_samples_split(最小分裂样本数):[5~50]。
7.按照权利要求4所述的基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:所述的最优的随机森林参数范围为:
n_estimators(树数目):[50~500];
max_depth(数深度):[7~12];
min_samples_leaf(最小叶子节点数):[2~20];
最后随机森林模型得到的模型训练数据均方根误差和测试数据均方根误差都在1.38-1.52之间。
8.按照权利要求3所述的基于深度卷积网络的亚洲女性颜值评分模型方法,其特征在于:所述的颜值评分卷积网络结构和每层参数如下表
上表中参数说明为:conv11-96表示该卷积层采用11*11大小的卷积核,卷积核数量为96个,每层卷积层采用ReLu激活函数,maxpool表示池化层,FC-512表示全连接层512个神经元,output表示输出层。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810901608.XA CN109214298B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810901608.XA CN109214298B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109214298A CN109214298A (zh) | 2019-01-15 |
CN109214298B true CN109214298B (zh) | 2021-06-08 |
Family
ID=64988635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810901608.XA Active CN109214298B (zh) | 2018-08-09 | 2018-08-09 | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109214298B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110188098B (zh) * | 2019-04-26 | 2021-02-19 | 浙江大学 | 一种基于双层锚点图投影优化的高维向量数据可视化方法及系统 |
CN110600105B (zh) * | 2019-08-27 | 2022-02-01 | 武汉科技大学 | 一种ct影像数据处理方法、装置及存储介质 |
CN110751289B (zh) * | 2019-09-29 | 2022-06-21 | 江苏大学 | 一种基于Bagging_BP算法的在线学习行为分析方法 |
CN110728359B (zh) * | 2019-10-10 | 2022-04-26 | 北京百度网讯科技有限公司 | 搜索模型结构的方法、装置、设备和存储介质 |
CN112733575B (zh) * | 2019-10-14 | 2024-07-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111062260B (zh) * | 2019-11-25 | 2024-03-05 | 杭州绿度信息技术有限公司 | 一种面部整容推荐方案自动生成方法 |
CN111553299A (zh) * | 2020-05-03 | 2020-08-18 | 刀锋 | 基于图像大数据提取学生面部信息实现教育心理学分析方法 |
CN111626248B (zh) * | 2020-06-01 | 2022-05-06 | 北京世纪好未来教育科技有限公司 | 颜值打分模型训练方法、颜值打分方法及相关装置 |
CN113537398A (zh) * | 2021-08-11 | 2021-10-22 | 腾讯音乐娱乐科技(深圳)有限公司 | 颜值评估模型训练方法及组件,颜值评估方法及组件 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
CN105654102A (zh) * | 2014-11-10 | 2016-06-08 | 富士通株式会社 | 数据处理装置及数据处理方法 |
CN106096623A (zh) * | 2016-05-25 | 2016-11-09 | 中山大学 | 一种犯罪识别与预测方法 |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN106951825A (zh) * | 2017-02-13 | 2017-07-14 | 北京飞搜科技有限公司 | 一种人脸图像质量评估系统以及实现方法 |
CN107067025A (zh) * | 2017-02-15 | 2017-08-18 | 重庆邮电大学 | 一种基于主动学习的数据自动标注方法 |
CN107066553A (zh) * | 2017-03-24 | 2017-08-18 | 北京工业大学 | 一种基于卷积神经网络与随机森林的短文本分类方法 |
CN107330445A (zh) * | 2017-05-31 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 用户属性的预测方法和装置 |
CN108108924A (zh) * | 2018-02-06 | 2018-06-01 | 北京邮电大学 | 影响房产估价的特征因素体系的量化方法及系统 |
CN108109066A (zh) * | 2017-12-11 | 2018-06-01 | 上海前隆信息科技有限公司 | 一种信用评分模型更新方法及系统 |
CN108363714A (zh) * | 2017-12-21 | 2018-08-03 | 北京至信普林科技有限公司 | 一种方便数据分析人员使用的集成机器学习的方法及系统 |
-
2018
- 2018-08-09 CN CN201810901608.XA patent/CN109214298B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105654102A (zh) * | 2014-11-10 | 2016-06-08 | 富士通株式会社 | 数据处理装置及数据处理方法 |
CN104850825A (zh) * | 2015-04-18 | 2015-08-19 | 中国计量学院 | 一种基于卷积神经网络的人脸图像颜值计算方法 |
CN106096623A (zh) * | 2016-05-25 | 2016-11-09 | 中山大学 | 一种犯罪识别与预测方法 |
CN106408562A (zh) * | 2016-09-22 | 2017-02-15 | 华南理工大学 | 基于深度学习的眼底图像视网膜血管分割方法及系统 |
CN106951825A (zh) * | 2017-02-13 | 2017-07-14 | 北京飞搜科技有限公司 | 一种人脸图像质量评估系统以及实现方法 |
CN107067025A (zh) * | 2017-02-15 | 2017-08-18 | 重庆邮电大学 | 一种基于主动学习的数据自动标注方法 |
CN107066553A (zh) * | 2017-03-24 | 2017-08-18 | 北京工业大学 | 一种基于卷积神经网络与随机森林的短文本分类方法 |
CN107330445A (zh) * | 2017-05-31 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 用户属性的预测方法和装置 |
CN108109066A (zh) * | 2017-12-11 | 2018-06-01 | 上海前隆信息科技有限公司 | 一种信用评分模型更新方法及系统 |
CN108363714A (zh) * | 2017-12-21 | 2018-08-03 | 北京至信普林科技有限公司 | 一种方便数据分析人员使用的集成机器学习的方法及系统 |
CN108108924A (zh) * | 2018-02-06 | 2018-06-01 | 北京邮电大学 | 影响房产估价的特征因素体系的量化方法及系统 |
Non-Patent Citations (4)
Title |
---|
GBDT组合模型在股票预测中的应用;张潇 等;《海南师范大学学报(自然科学版)》;20180315;第31卷(第1期);73-80 * |
Tree Boosting Data Competitions with XGBoost;Carlos Bort Escabias;《Interuniversity Master》;20171231;1-52 * |
基于卷积神经网络与随机森林算法的专利文本分类模型;胡杰 等;《科学技术与工程》;20180228;第18卷(第6期);268-272 * |
基于深度卷积神经网络的颜值计算研究;陈良仁 等;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170415(第4期);I138-510 * |
Also Published As
Publication number | Publication date |
---|---|
CN109214298A (zh) | 2019-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109214298B (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
CN111325115B (zh) | 带有三重约束损失的对抗跨模态行人重识别方法和系统 | |
CN106204779B (zh) | 基于多人脸数据采集策略和深度学习的课堂考勤方法 | |
CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
CN108961675A (zh) | 基于卷积神经网络的跌倒检测方法 | |
CN106815566A (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
CN109657612B (zh) | 一种基于人脸图像特征的质量排序系统及其使用方法 | |
CN108428229A (zh) | 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法 | |
CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
CN106778852A (zh) | 一种修正误判的图像内容识别方法 | |
CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN110288513B (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN109800317B (zh) | 一种基于图像场景图谱对齐的图像查询回答方法 | |
CN112132197A (zh) | 模型训练、图像处理方法、装置、计算机设备和存储介质 | |
CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
CN108615229B (zh) | 基于曲率点聚类及决策树的碰撞检测优化方法 | |
CN107392251B (zh) | 一种使用分类图片提升目标检测网络性能的方法 | |
CN109977887A (zh) | 一种抗年龄干扰的人脸识别方法 | |
CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
CN108985200A (zh) | 一种基于终端设备的非配合式的活体检测算法 | |
CN109753864A (zh) | 一种基于caffe深度学习框架的人脸识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240815 Address after: Room H5-5, Building 146, No. 166 Lishui Road, Gongshu District, Hangzhou City, Zhejiang Province 310000 Patentee after: Hangzhou Manya Network Technology Co.,Ltd. Country or region after: China Address before: Room 307, 99 Xiwen street, Hangzhou, Zhejiang 310000 Patentee before: YINGYING (HANGZHOU) NETWORK TECHNOLOGY Co.,Ltd. Country or region before: China |
|
TR01 | Transfer of patent right |