CN109409196A - 基于人脸的性格预测方法、装置、电子设备 - Google Patents
基于人脸的性格预测方法、装置、电子设备 Download PDFInfo
- Publication number
- CN109409196A CN109409196A CN201811004595.2A CN201811004595A CN109409196A CN 109409196 A CN109409196 A CN 109409196A CN 201811004595 A CN201811004595 A CN 201811004595A CN 109409196 A CN109409196 A CN 109409196A
- Authority
- CN
- China
- Prior art keywords
- personality
- face picture
- facial characteristics
- evaluation result
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000001815 facial effect Effects 0.000 claims abstract description 118
- 238000011156 evaluation Methods 0.000 claims abstract description 66
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000006870 function Effects 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 235000013399 edible fruits Nutrition 0.000 claims description 8
- 208000025967 Dissociative Identity disease Diseases 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 abstract description 15
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012360 testing method Methods 0.000 description 11
- 210000004709 eyebrow Anatomy 0.000 description 9
- 210000001061 forehead Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000004925 denaturation Methods 0.000 description 1
- 230000036425 denaturation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种基于人脸的性格预测方法、装置、电子设备。该方法包括：将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过性格自评模型抽取人脸图片的特征图，并根据特征图以及预设的特征图与性格维度的对应关系得到人脸图片对应的第一性格评判结果；提取人脸图片的面部特征向量，根据面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定人脸图片对应的第二性格评判结果；将第一性格评判结果及第二性格评判结果进行融合得到性格预测结果。本实施例融合了卷积神经网络、面部特征提取等技术，仅通过用户的人脸图像就能便捷、快速、精准地判断用户性格，提高了性格预测的效率、精度及客观性。
Description
技术领域
本申请涉及人工智能技术领域，具体而言，本申请涉及一种基于人脸的性格预测方法、装置、电子设备。
背景技术
传统的性格推断方法主要有两种，一是由专家进行判断，二是通过问卷进行判断。
由专家推断性格需要依附于专家丰富的经验，且没有统一量化的评判标准，导致评判结果的主观程度过高，专家判断的方法也无法应用到大规模性格测试的场景中，如员工招聘、员工测评、交友匹配、内容推送等。
通过问卷得到的性格评判结果的精度较低，往往只能判断出几种常见的性格，性格分类不够精细，无法满足不同业务对性格细分的需求，且被测人员能够有意识地控制问卷的答案，使得问卷无法反映被测人员的真实性格。
发明内容
本申请提供了一种基于人脸的性格预测方法、装置、电子设备及计算机可读存储介质，可以解决无法快速、客观、精准地预测用户性格的问题。所述技术方案如下：
第一方面，本申请提供了一种基于人脸的性格预测方法，该方法包括：
将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过性格自评模型抽取人脸图片的特征图，并根据特征图以及预设的特征图与性格维度的对应关系得到人脸图片对应的第一性格评判结果；
提取人脸图片的面部特征向量，根据面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定人脸图片对应的第二性格评判结果；
将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
第二方面，本申请提供了一种基于人脸的性格预测装置，该装置包括：
第一性格评判模块，用于将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过性格自评模型抽取人脸图片的特征图，并根据特征图以及预设的特征图与性格维度的对应关系得到人脸图片对应的第一性格评判结果；
第二性格评判模块，用于提取人脸图片的面部特征向量，根据面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定人脸图片对应的第二性格评判结果；
融合模块，用于将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
第三方面，本申请提供了一种电子设备，该电子设备包括：一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个应用程序配置用于：执行本申请第一方面所示的基于人脸的性格预测方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的基于人脸的性格预测方法。
本申请实施例提供的技术方案带来的有益效果是：融合了卷积神经网络、面部特征提取等技术，仅通过用户的一张人脸图像就能够便捷、快速、精准地判断用户的性格类别，提高了性格预测的效率与精度，不依赖专家的专业判断和特定的性格测试问卷，使得预测结果能够客观地反映用户的真实性格。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种基于人脸的性格预测方法的流程示意图；
图2为本申请实施例提供的一种基于人脸的性格预测装置的结构示意图；
图3为本申请实施例提供的另一种基于人脸的性格预测装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
实施例一
本申请实施例提供了一种基于人脸的性格预测方法，如图1所示，该方法包括：
步骤S101、将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过性格自评模型抽取人脸图片的特征图，并根据特征图以及预设的特征图与性格维度的对应关系得到人脸图片对应的第一性格评判结果；
步骤S102、提取人脸图片的面部特征向量，根据面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定人脸图片对应的第二性格评判结果；
步骤S103、将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
其中，基于卷积神经网络的性格自评模型的输入是人脸图片，通过卷积神经网络的多个卷积层和池化层，提取人脸图片的特征图，最终通过输出层的分类函数对提取的特征图进行分类，输出该人脸图片在预设的各个性格维度上的概率值，即针对该人脸图像的第一性格预测结果。性格自评模型中的分类函数也是预先训练好的，该分类函数描述了面部特征维度集合与性格维度的对应关系。通过标注有用户性格的人脸图片训练卷积神经网络，得到能够描述人脸图片与用户性格之间内在联系的性格自评模型，使得在对用户进行性格测试时，只需要获取用户的人脸图片，将该人脸图片输入性格自评模型，性格自评模型就可以输出相应的第一性格预测结果，使得性格预测更加便捷，同时提高了性格预测效率，保证了性格预测结果的客观性。
其中，面部特征向量中的各个维度的面部特征是基于专家的先验经验确定的。一个性格维度对应一个面部特征维度集合，每个面部特征维度集合中包括一个或多个用来评价对应的性格维度的面部特征。从人脸图片中提取对判断用户性格有用的面部特征向量，进而根据面部特征向量的各个维度的值以及预设的面部特征维度集合与性格维度的对应关系，确定人脸图片对应的第二性格评判结果，使得第二性格评判结果更具专业性，且降低了专家个人的主观性。
最后，通过融合第一性格预测结果和第二性格评判结果，得到用户的性格预测结果。通过融合两种不同模型输出的性格评判结果，进一步提高了性格预测结果的精准度和客观度。
与现有的专家判断和问卷判断方法相比，本实施例的基于人脸的性格预测方法，融合了卷积神经网络、面部特征提取等技术，仅通过用户的一张人脸图像就能够便捷、快速、精准地判断用户的性格类别，提高了性格预测的效率与精度，不依赖专家的专业判断和特定的性格测试问卷，使得预测结果能够客观地反映用户的真实性格。
实施例二
本申请实施例提供了另一种可能的实现方式，在实施例一的基础上，还包括实施例二所示的方法。
其中，性格自评模型可选用稠密卷积神经网络(Densely ConnectedConvolutional Networks，DenseNet)等卷积神经网络实现。DenseNet的输入为图片，通过DenseNet内部的多层卷积层得到输入图片的更深层次的特征图，最终输出对输入图片的分类结果。
本实施例将性格属性划分为以下多个性格维度，包括：乐群性、聪慧性、稳定性、支配性、活泼性、是非性、敢为性、敏感性、多疑性、务实性、世故性、安然性、求变性、独立性、自制性和平和性。将常见的几种性格类别扩展到16个维度，得到了更加细粒度的性格类别，使得最终的性格预测结果更加精细化，以满足不同业务对性格细分的需求。
在实际应用过程中，可根据不同的精度要求，采用上述列举的16个性格维度中的任意多个维度对用户性格特征进行量化分析。
其中，第一性格评判结果可以是该用户所属的一种或多种性格。第一性格评判结果也可以是多个性格维度上的概率值。
其中，性格自评模型的训练方法包括步骤S201、步骤S202、步骤S203、步骤S204：
步骤S201、获取多个试验者的人脸图片及其性格属性，并依据各个性格属性对相应的人脸图片进行标注，得到样本数据，其中，性格属性包括试验者在多个性格维度上的分值。
采集试验者的人脸图片，对人脸图片进行裁剪、降噪等预处理，使得人脸图片符合卷积神经网络的输入要求。同时，需要试验者填写自评问卷，通过分析自评问卷得到试验者在多个性格维度上的分值，即该试验者的性格属性。依据试验者的性格属性对测试人员的脸部图片进行标注，得到样本数据。
其中，还可以根据标注的性格属性对样本数据进行分类，采用欠采样或过采样的方法平衡各类别中的样本数量的分布，以平衡对各类性格属性的预测能力。
步骤S202、将样本数据作为训练集，输入第一卷积神经网络，通过损失函数计算第一卷积神经网络的输出结果与预先标注的性格属性的差异值。其中，第一卷积神经网络的输出结果为性格预测值。
步骤S203、若差异值大于预设的期望值，则采用优化算法优化第一卷积神经网络的权重参数。
步骤S204、继续利用训练集训练优化后的第一卷积神经网络，直到通过损失函数计算得到的差异值收敛。
通过上述步骤即可得到训练好的性格自评模型。
其中，还可以采用10折交叉验证(10-fold cross validation)方法，将样本数据分成不重合的十份，轮流将其中9份做训练集，1份做测试集。将训练集中的人脸图片输入第一卷积神经网络，通过损失函数计算第一卷积神经网络的输出结果与预先标注的性格属性的差异值。若差异值大于预设的期望值，则采用优化算法优化第一卷积神经网络的权重参数。继续利用训练集训练优化后的第一卷积神经网络，直到通过损失函数计算得到的差异值收敛，利用测试集对收敛后的第一卷积神经网络进行评估。通过交叉验证，可以从有限的样本数据中获取尽可能多的有效信，还可以在一定程度上减小过拟合。
进一步地，步骤S102中的提取人脸图片的面部特征向量，包括：将人脸图片输入预先训练的基于卷积神经网络的面部特征识别模型，得到人脸图片对应的面部特征向量。
其中，基于面相专家的先验经验，将面部特征划分为以下多个维度，包括：额头高度、发际线高度、额头侧面形态、眉间距离、眉头眉尾浓淡比值、眉尾形状、眉型轮廓、眉型长短、眉毛粗细、眉毛形态、眉骨形态、有无眉峰、耳朵高度、耳朵大小、耳朵轮廓、耳门宽窄、眼睛大小、眼睛形态、眼神、鼻孔形态、鼻子长短、鼻子大小、山根宽窄、鼻梁形态、鼻梁宽窄、鼻翼厚薄、颧骨形态、法令形态、法令宽窄、法令深浅、人中长短、嘴巴形态、嘴巴大小、嘴唇薄厚、下巴侧面形态、下巴形态、三停宽窄形态、腮骨形态、捧场纹、额头形态、左右脸高低比值、左右脸大小比值、脸型、下停形态。针对各个面部特征维度可设定多个等级，例如，针对额头高度可设定低、适中、高三个等级，针对法令形态可设内收、无、外扩三个等级，针对鼻子大小可设大、适中、小三个等级，其他面部特征维度也按照相同的方法设定多个等级，在此不再赘述。
在实际应用过程中，可根据不同的精度要求，依据上述列举的44个面部特征维度中任意多个维度，对用户性格特征进行量化分析，使得性格预测结果的精度更高。在适当保证精度的前提下，最少可以使用17个维度的面部特征维度来分析用户性格。
其中，面部特征识别模型可选用VGG16等卷积神经网络实现。面部特征识别通过VGG16提取输入的人脸图片中的高维特征，如面部的纹理特征、几何特征、色泽特征等等，然后通过分类器(如softmax)从提取的高维特征中得到多个面部特征维度的值，如脸型为圆脸，眉毛形态为平眉等。
其中，面部特征识别模型的训练方法包括步骤S301、步骤S302、步骤S303、步骤S304：
步骤S301、获取多个试验者的人脸图片和面部特征，并依据各个面部特征对相应的人脸图片进行标注，得到样本数据，其中，面部特征包括针对试验者在各个面部特征维度上的评价结果。
采集试验者的人脸图片，对人脸图片进行裁剪、降噪等预处理，使得人脸图片符合第二卷积神经网络的输入要求。同时，由面相专家对试验者的各个面部特征维度作出面部特征评价，得到试验者的面部特征。依据试验者的面部特征对试验者的人脸图片进行标注，得到样本数据。
其中，还可以根据标注的面部特征对人脸图片进行分类，采用欠采样或过采样的方法平衡各类别中的人脸图片数量的分布。
步骤S302、将样本数据作为训练集，输入第二卷积神经网络，通过损失函数计算第二卷积神经网络的输出结果与预先标注的面部特征的差异值。
其中，第二卷积神网络的输出为包括多个预设的面部特征维度的面部特征向量。面部特征向量与标注的面部特征的具有相同数量、类别的维度。
步骤S303、若差异值大于预设的预设的期望值，则采用优化算法优化第二卷积神经网络的权重参数。
步骤S304、继续利用训练集训练优化后的第二卷积神经网络，直到通过损失函数计算得到的差异值收敛。
通过上述步骤即可得到训练好的面部特征识别模型。
本实施例的方法，基于卷积神经网络的面部特征识别模型的输入是人脸图片，输出为与该人脸图片对应的面部特征向量，通过大量标注有面部特征的人脸图片训练卷积神经网络，得到能够描述人脸图片与面部特征之间内在联系的面部特征识别，使得在提取人脸的面部特征时，只需要获取用户的人脸图片，将该人脸图片输入面部特征识别模型，即可输出相应的面部特征向量，用于进一步判断用户的性格，相对于现有的专家评估的方法，提高了提取面部特征的效率和精度，同时保证了识别结果的客观性。
进一步地，步骤S102中的根据面部特征向量确定人脸图片对应的第二性格评判结果，包括：将面部特征向量输入预设的性格分类器中，得到人脸图片对应的第二性格评判结果，其中，第二性格评判结果用于指示人脸图片在预设的各个性格维度上的概率。其中，性格分类器描述了面部特征维度集合与性格维度的对应关系。
其中，性格分类器可选用现有的分类方法实现，如：决策树分类器、选择树分类器、线性分类器等。例如，将面部特征向量输入通过基于概率函数构建的性格分类器，能够得到面部特征向量在各个性格维度上的概率值。基于概率函数构建的性格分类器的训练过程具体包括：为预先采集到的面部特征向量标注性格特征；将面部特征向量输入概率函数，例如f(x,W,b)＝Wx+b，得到性格特征的预测值f(x,W,b)，该预测值为面部特征向量在各个性格维度上的概率分布；通过Hinge Loss(铰链损失)函数计算预测值f(x,W,b)与标注的性格特征的差异值，采用随机梯度下降(SGD,stochastic gradient descent)的方法不断优化概率函数的参数W和b，使得概率函数输出的预测值与标注的意图的差异值最小。其中，概率函数f(x,W,b)＝Wx+b为描述面部特征向量和性格特征之间映射关系的函数，矩阵W被称为权重(weights)，向量b被称为偏差向量(bias vector)。W大小为[K×V]的矩阵，b的大小为[K×1]的向量，K为性格特征的维度，V为面部特征向量x的维度。
进一步地，步骤S102中的根据面部特征向量确定人脸图片对应的第二性格评判结果，包括：根据预设的匹配规则，确定面部特征向量中各个维度的值对各个性格维度的影响分值；融合面部特征向量中各个维度的值对各个性格维度的影响分值，以确定人脸图片对应的第二性格评判结果，其中，第二性格评判结果用于指示人脸图片在预设的各个性格维度上的分值。
其中，基于专家的先验经验设置了匹配规则，匹配规则包括各个性格维度对应的一个或多个面部特征，以及性格维度的分值与对应的面部特征的等级之间的关系，匹配规则描述了面部特征维度集合与性格维度的对应关系。例如：聪慧性对应的评价指标包括额头高度、发际线高度、额头侧面形态，若额头高度的等级为高、发际线高度的等级为高且额头侧面形态为饱满，则聪慧性的分值为100，若额头高度的等级为低、发际线高度的等级为低且额头侧面形态为扁平，则聪慧性的分值为60。
进一步地，步骤S103具体包括：将第一性格评判结果和第二性格评判结果进行加权平均，得到性格预测结果。
其中，第一性格评判结果和第二性格评判结果均包括相同数量的性格维度。将第一性格评判结果和第二性格评判结果进行加权平均是指，将第一性格评判结果和第二性格评判结果中对应的性格维度加权平均，得到各个性格维度的加权平均值。因此，性格预测结果包括各个性格维度的加权平均值。
其中，第一性格评判结果与第二性格评判结果各自对应的权重可根据不同情况选择不同的值。例如，第一性格测试结果与第二性格测试结果的权重均可为0.5。
实施例三
本申请实施例提供了一种基于人脸的性格预测装置，如图2所示，该基于人脸的性格预测装置20包括：
第一性格评判模块21，用于将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过性格自评模型抽取人脸图片的特征图，并根据特征图以及预设的特征图与性格维度的对应关系得到人脸图片对应的第一性格评判结果；
第二性格评判模块22，用于提取人脸图片的面部特征向量，根据面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定人脸图片对应的第二性格评判结果；
融合模块23，用于将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
与现有技术相比，本实施例的基于人脸的性格预测装置，融合了卷积神经网络、面部特征提取等技术，仅通过用户的一张人脸图像就能够便捷、快速、精准地判断用户的性格类别，提高了性格预测的效率与精度，不依赖专家的专业判断和特定的性格测试问卷，使得预测结果能够客观地反映用户的真实性格。
进一步地，如图3所示，第二性格评判模块22包括面部特征提取单元221和性格评判单元222：
面部特征提取单元221用于：将人脸图片输入预先训练的基于卷积神经网络的面部特征识别模型，得到人脸图片对应的面部特征向量。
性格评判单元222用于：将面部特征向量输入预设的性格分类器中，得到人脸图片对应的第二性格评判结果，其中，第二性格评判结果用于指示人脸图片在预设的各个性格维度上的概率。或者，性格评判单元222用于：根据预设的匹配规则，确定面部特征向量中各个维度的值对各个性格维度的影响分值，融合面部特征向量中各个维度的值对各个性格维度的影响分值，以确定人脸图片对应的第二性格评判结果，其中，第二性格评判结果用于指示人脸图片在预设的各个性格维度上的分值。
进一步地，融合模块23具体用于：将第一性格评判结果和第二性格评判结果进行加权平均，得到性格预测结果。
其中，第一性格评判结果与第二性格评判结果各自对应的权重可根据不同情况选择不同的值。例如，第一性格测试结果与第二性格测试结果的权重均可为0.5。
进一步地，本实施例的装置还包括性格自评模型训练模块，该性格自评模型训练模块用于：获取多个试验者的人脸图片及其性格属性，并依据各个性格属性对相应的人脸图片进行标注，得到样本数据，其中，性格属性包括试验者在多个性格维度上的分值；将样本数据作为训练集，输入第一卷积神经网络，通过损失函数计算第一卷积神经网络的输出结果与预先标注的性格属性的差异值；若差异值大于预设的期望值，则采用优化算法优化第一卷积神经网络的权重参数；继续利用训练集训练优化后的第一卷积神经网络，直到通过损失函数计算得到的差异值收敛。
进一步地，本实施例的装置还包括面部特征识别模型训练模块，该面部特征识别模型训练用于：获取多个试验者的人脸图片和面部特征，并依据各个面部特征对相应的人脸图片进行标注，得到样本数据，其中，面部特征包括针对试验者在各个面部特征维度上的评价结果；将样本数据作为训练集，输入第二卷积神经网络；通过损失函数计算第二卷积神经网络的输出结果与预先标注的面部特征的差异值；若差异值大于预设的期望值，则采用优化算法优化第二卷积神经网络的权重参数；继续利用训练集训练优化后的第二卷积神经网络，直到通过损失函数计算得到的差异值收敛。
本实施例的基于人脸的性格预测装置可执行本申请实施例一至实施例二中任一实施例所示的基于人脸的性格预测方法，其实现原理相类似，此处不再赘述。
实施例四
本申请实施例提供了一种电子设备，如图4所示，图4所示的电子设备40包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，电子设备400还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该电子设备40的结构并不构成对本申请实施例的限定。
其中，处理器401应用于本申请实施例中，用于实现图2所示的第一性格评判模块21、第二性格评判模块22、融合模块23的功能。收发器404包括接收机和发射机。
处理器401可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI总线或EISA总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器403可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
可选地，存储器403用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现图2所示实施例提供的基于人脸的性格预测装置的动作。
与现有技术相比，本申请实施例提供的电子设备，融合了卷积神经网络、面部特征提取等技术，仅通过用户的一张人脸图像就能够便捷、快速、精准地判断用户的性格类别，提高了性格预测的效率与精度，不依赖专家的专业判断和特定的性格测试问卷，使得预测结果能够客观地反映用户的真实性格。
可选地，处理器401用于执行存储器403中存储的应用程序代码，以实现图3所示实施例提供的基于人脸的性格预测装置的动作，在此不再赘述。
实施例五
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所示的基于人脸的性格预测方法。
本申请实施例提供了一种计算机可读存储介质，与现有技术相比，融合了卷积神经网络、面部特征提取等技术，仅通过用户的一张人脸图像就能够便捷、快速、精准地判断用户的性格类别，提高了性格预测的效率与精度，不依赖专家的专业判断和特定的性格测试问卷，使得预测结果能够客观地反映用户的真实性格。
可选地，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例二所示的基于人脸的性格预测方法，在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种基于人脸的性格预测方法，其特征在于，所述方法包括：
将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，通过所述性格自评模型抽取所述人脸图片的特征图，并根据所述特征图以及预设的特征图与性格维度的对应关系得到所述人脸图片对应的第一性格评判结果；
提取所述人脸图片的面部特征向量，根据所述面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定所述人脸图片对应的第二性格评判结果；
将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
2.根据权利要求1所述的方法，其特征在于，所述提取所述人脸图片的面部特征向量，包括：
将所述人脸图片输入预先训练的基于卷积神经网络的面部特征识别模型，得到所述人脸图片对应的面部特征向量。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定所述人脸图片对应的第二性格评判结果，包括：
将所述面部特征向量输入预设的性格分类器中，得到所述人脸图片对应的第二性格评判结果，其中，所述第二性格评判结果用于指示所述人脸图片在预设的各个性格维度上的概率。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述面部特征向量以及预设的面部特征维度集合与性格维度的对应关系确定所述人脸图片对应的第二性格评判结果，包括：
根据预设的匹配规则，确定面部特征向量中各个维度的值对各个性格维度的影响分值；
融合面部特征向量中各个维度的值对各个性格维度的影响分值，以确定所述人脸图片对应的第二性格评判结果，其中，所述第二性格评判结果用于指示所述人脸图片在预设的各个性格维度上的分值。
5.根据权利要求1所述的方法，其特征在于，所述第一性格评判模型的训练方法包括：
获取多个试验者的人脸图片及其性格属性，并依据各个性格属性对相应的人脸图片进行标注，得到样本数据，其中，所述性格属性包括所述试验者在多个性格维度上的分值；
将所述样本数据作为训练集，输入第一卷积神经网络；
通过损失函数计算所述第一卷积神经网络的输出结果与预先标注的性格属性的差异值；
若所述差异值大于预设的期望值，则采用优化算法优化所述第一卷积神经网络的权重参数；
继续利用所述训练集训练优化后的第一卷积神经网络，直到通过损失函数计算得到的差异值收敛。
6.根据权利要求2所述的方法，其特征在于，所述面部特征识别模型的训练方法包括：
获取多个试验者的人脸图片和面部特征，并依据各个面部特征对相应的人脸图片进行标注，得到样本数据，其中，所述面部特征包括针对所述试验者在各个面部特征维度上的评价结果；
将所述样本数据作为训练集，输入第二卷积神经网络；
通过损失函数计算所述第二卷积神经网络的输出结果与预先标注的面部特征的差异值；
若所述差异值大于预设的期望值，则采用优化算法优化所述第二卷积神经网络的权重参数；
继续利用所述训练集训练优化后的第二卷积神经网络，直到通过损失函数计算得到的差异值收敛。
7.根据权利要求1所述的方法，其特征在于，所述将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果，包括：
将所述第一性格评判结果和所述第二性格评判结果进行加权平均，得到性格预测结果。
8.一种基于人脸的性格预测装置，其特征在于，所述装置包括：
第一性格评判模块，用于将人脸图片输入预先训练的基于卷积神经网络的性格自评模型，得到所述人脸图片对应的第一性格评判结果；
第二性格评判模块，用于提取所述人脸图片的面部特征向量，根据所述面部特征向量确定所述人脸图片对应的第二性格评判结果；
融合模块，用于将第一性格评判结果及第二性格评判结果进行融合处理，得到性格预测结果。
9.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行根据权利要求1～7任一项所述的基于人脸的性格预测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行上述权利要求1至7中任一项所述的基于人脸的性格预测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004595.2A CN109409196A (zh) | 2018-08-30 | 2018-08-30 | 基于人脸的性格预测方法、装置、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811004595.2A CN109409196A (zh) | 2018-08-30 | 2018-08-30 | 基于人脸的性格预测方法、装置、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109409196A true CN109409196A (zh) | 2019-03-01 |
Family
ID=65463664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811004595.2A Pending CN109409196A (zh) | 2018-08-30 | 2018-08-30 | 基于人脸的性格预测方法、装置、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109409196A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210380A (zh) * | 2019-05-30 | 2019-09-06 | 盐城工学院 | 基于表情识别与心理学测试生成性格的分析方法 |
| CN110390254A (zh) * | 2019-05-24 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于人脸的性格分析方法、装置、计算机设备及存储介质 |
| CN110472494A (zh) * | 2019-06-21 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质 |
| CN110751126A (zh) * | 2019-10-30 | 2020-02-04 | 王安 | 一种基于人脸特征判断人物性格的分析方法 |
| CN111062435A (zh) * | 2019-12-13 | 2020-04-24 | 北京奇艺世纪科技有限公司 | 图像分析方法、装置及电子设备 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及系统 |
| CN113988872A (zh) * | 2021-11-16 | 2022-01-28 | 中国银行股份有限公司 | 风险等级预测方法、装置、设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021864A (zh) * | 2017-11-02 | 2018-05-11 | 平安科技（深圳）有限公司 | 人物性格分析方法、装置及存储介质 |
| CN108038414A (zh) * | 2017-11-02 | 2018-05-15 | 平安科技（深圳）有限公司 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
-
2018
- 2018-08-30 CN CN201811004595.2A patent/CN109409196A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108021864A (zh) * | 2017-11-02 | 2018-05-11 | 平安科技（深圳）有限公司 | 人物性格分析方法、装置及存储介质 |
| CN108038414A (zh) * | 2017-11-02 | 2018-05-15 | 平安科技（深圳）有限公司 | 基于循环神经网络的人物性格分析方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 舒祥波: "人脸面部属性估计与老化合成研究" * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110390254A (zh) * | 2019-05-24 | 2019-10-29 | 平安科技（深圳）有限公司 | 基于人脸的性格分析方法、装置、计算机设备及存储介质 |
| CN110390254B (zh) * | 2019-05-24 | 2023-09-05 | 平安科技（深圳）有限公司 | 基于人脸的性格分析方法、装置、计算机设备及存储介质 |
| CN110210380A (zh) * | 2019-05-30 | 2019-09-06 | 盐城工学院 | 基于表情识别与心理学测试生成性格的分析方法 |
| CN110472494A (zh) * | 2019-06-21 | 2019-11-19 | 深圳壹账通智能科技有限公司 | 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质 |
| CN110751126A (zh) * | 2019-10-30 | 2020-02-04 | 王安 | 一种基于人脸特征判断人物性格的分析方法 |
| CN111062435A (zh) * | 2019-12-13 | 2020-04-24 | 北京奇艺世纪科技有限公司 | 图像分析方法、装置及电子设备 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及系统 |
| CN113988872A (zh) * | 2021-11-16 | 2022-01-28 | 中国银行股份有限公司 | 风险等级预测方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409196A (zh) | 基于人脸的性格预测方法、装置、电子设备 | |
| CN110674772B (zh) | 电力作业现场智能安全管控辅助系统及方法 | |
| EP3767522A1 (en) | Image recognition method and apparatus, and terminal and storage medium | |
| CN109858032A (zh) | 融合Attention机制的多粒度句子交互自然语言推理模型 | |
| CN108564129A (zh) | 一种基于生成对抗网络的轨迹数据分类方法 | |
| CN109816092A (zh) | 深度神经网络训练方法、装置、电子设备及存储介质 | |
| CN108229268A (zh) | 表情识别及卷积神经网络模型训练方法、装置和电子设备 | |
| CN109118055A (zh) | 一种驾驶行为评分方法及装置 | |
| CN108182409A (zh) | 活体检测方法、装置、设备及存储介质 | |
| CN110070078A (zh) | 一种基于传感器与机器视觉的酒驾检测方法及系统 | |
| CN110532925B (zh) | 基于时空图卷积网络的驾驶员疲劳检测方法 | |
| CN107169638A (zh) | 基于业务受理与评价的综合绩效量化处理方法、装置 | |
| CN108717663A (zh) | 基于微表情的面签欺诈判断方法、装置、设备及介质 | |
| CN106297825A (zh) | 一种基于集成深度信念网络的语音情感识别方法 | |
| CN109994201B (zh) | 一种基于深度学习的糖尿病与高血压概率计算系统 | |
| CN112418172A (zh) | 基于多模信息智能处理单元的多模信息融合情感分析方法 | |
| CN110059924A (zh) | 合同条款的审查方法、装置、设备及计算机可读存储介质 | |
| CN105574489A (zh) | 基于层次级联的暴力群体行为检测方法 | |
| CN107992854A (zh) | 基于机器视觉的林业生态环境人机交互方法 | |
| CN109545027B (zh) | 一种实训台、乘务员仿真实训方法及装置 | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| CN110445939A (zh) | 容量资源的预测方法及装置 | |
| CN116861924A (zh) | 基于人工智能的项目风险预警方法及系统 | |
| CN114549946A (zh) | 一种基于跨模态注意力机制的多模态个性识别方法及系统 | |
| CN107437090A (zh) | 基于语音、表情与心电信号的三模态连续情感预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40002602 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190301 |
|
| WD01 | Invention patent application deemed withdrawn after publication |