CN110210380A - 基于表情识别与心理学测试生成性格的分析方法 - Google Patents
基于表情识别与心理学测试生成性格的分析方法 Download PDFInfo
- Publication number
- CN110210380A CN110210380A CN201910462378.6A CN201910462378A CN110210380A CN 110210380 A CN110210380 A CN 110210380A CN 201910462378 A CN201910462378 A CN 201910462378A CN 110210380 A CN110210380 A CN 110210380A
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- expression
- training
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 74
- 230000014509 gene expression Effects 0.000 title claims abstract description 55
- 238000004458 analytical method Methods 0.000 title claims abstract description 48
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 38
- 230000008921 facial expression Effects 0.000 claims abstract description 29
- 238000012706 support-vector machine Methods 0.000 claims abstract description 28
- 230000001815 facial effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 6
- 230000002996 emotional effect Effects 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 29
- 230000004913 activation Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 230000008447 perception Effects 0.000 claims description 14
- 210000002569 neuron Anatomy 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 79
- 230000005540 biological transmission Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于表情识别与心理学测试生成性格的分析方法，属于卷积神经网络领域。该方法包括捕捉脸部图像信息，针对捕捉后的人脸图像进行处理，通过两个卷积神经网络对人脸图像进行特征提取，得到的面部表情特征通过支持向量机进行多分类，获得表情心理特征，通过表情心理特征与心理学测试特征进行双重分析，将性格分析分为三类：理智型、情绪型、意志型。本发明提通过卷积神经网络来识别面部表情，能更好的减小过拟合的风险，得到更准确地表情特征。性格分析中加入心理学测试的特征，能通过心理学里的专业知识来构建更合适的神经网络，从而更准确地预测出符合测试者的性格分析。
Description
技术领域
本发明涉及基于表情识别与心理学测试生成性格的分析方法，属于卷积神经网络领域。
背景技术
背景技术：1971年，Ekman和Friesen研究了人类的7种基本表情(即高兴、悲伤、惊讶、恐惧、愤怒、厌恶、中立)，并系统地建立了人脸表情图像库，细致的描述了每一种表情所对应的面部变化，包括眉毛、眼睛、嘴唇等等是如何变化的。
从20世纪90年代开始，由Mase和Pentland提出的光流法进行面部表情识别之后，自动面部表情识别的技术进入了新的时期。
2014年3月31日，美国俄亥俄州立大学研究人员在PNAS上发表的一篇文章。该研究利用一个叫面部运动编码的计算机软件分析约5000张面部表情照片结果发现人至少可以表现出21种情绪并提出了复合表情的概念，并且指出多个离散的基础表情能结合在一起从而形成复合表情。
2018年青岛大学发布的《基于深度学习的面部表情识别》明确阐述了基于深度学习对静态人脸图像进行表情识别。
墨尔本大学的研究人员设计了一个名为生物识别镜的系统，可以通过识别面部特征最多可以分析14项性格特征。
目前的技术往往只利用面部识别表情来进行分析性格，但是忽略了周围环境可能对结果分析产生的影响。在一种环境中进行性格分析，那所得的性格只是在那个环境下所表现的性格。一旦周围环境发生改变，那么预测效果很有可能发生改变，预测结果的稳定性不能得到保证。现有技术大多还是通过面部表情来分析人物表层性格，很少有与心理学相结合去分析人物深层性格。
人脸存在相似性，如果仅靠人脸来识别性格，那么可能会因为面部某些特征的相似而把某些完全不同性格的人错误的分析为相同性格。单一特征的分析用于性格分析缺少准确性，不具有说服力。
发明内容
本发明针对上述不足提供了基于表情识别与心理学测试生成性格的分析方法。
本发明采用如下技术方案：
本发明所述的基于表情识别与心理学测试生成性格的分析方法，采用MBTI心理学测试题库对测试者进行测试方法如下：
步骤1)、以测试者脸部为采集对象，利用摄像设备针对测试者进行试题测试时的脸部图像信息进行捕捉；
步骤2)、针对捕捉后的人脸图像进行处理，消除除人脸外的其他图像信息，得到处理归一后的面部表情图像；
步骤3)、搭建两个卷积神经网络，其一卷积神经网络用于训练面部表情图像，通过卷积神经网络来训练步骤2)中得到的面部表情图像获得的面部表情特征；
另一卷积神经网络用于训练心理学测试数据，利用心理学测试数据获得心理学测试特征；
步骤4)、将步骤3)中得到面部表情特征通过支持向量机进行多分类，获得表情心理特征，并于在步骤3)中获得的心理学测试特征融合，获得面部融合特征；
步骤5)通过多层感知机和支持向量机训练一个分类器；
步骤6)、将步骤4)中获得的面部融合特征输入到在步骤5)中获得的分类器进行分类，最终将性格分析分为三类：理智型、情绪型、意志型。
本发明所述的基于表情识别与心理学测试生成性格的分析方法,所述步骤3)中随机选取部分捕捉脸部表情图像作为训练集通过卷积神经网络中的卷积层、池化层经过前向训练处理并提取特征量；将特征量输入至全连接层中进行分类，得到面部表情特征。
所述的卷积层通过如下公式进行前向训练提取特征：
其中n代表当前层，表示当前层的第j个特征图，f()表示激励函数，Mj代表输入图的集合，表示第j个特征图对应的偏置项，表示当前层第j个特征图与前一层第i个特征图的卷积核，表示前一层第i个特征图，*表示卷积运算；
将上述卷积层提取的特征作为输入池化层，并通过入下公式降低数据的维度，进行前向训练提取特征；
和表示当前层和前一层的第j个特型；down()表示采样函数；和表示当前层第j个特征图的乘性偏置和加性偏置。
本发明所述的基于表情识别与心理学测试生成性格的分析方法,其特征在于：所述的将卷积层提取的特征与池化层提取的特征通过全连接层通过如下公式进行分类，获得分类模型：
h(x)＝f(wTx+b)
h(x)表示神经元的输出值；x表示神经元输入特征向量；w表示权值向量；b表示偏置，T表示矩阵转置。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，步骤3)卷积神经网络训练得到的面部表情特征根据心理学分类，在步骤4)中利用支持向量机进行多分类获得表情心理特征，具体方法如下：
步骤1.确定要划分类别的个数；
步骤2.构建多个支持向量机同时进行分类来实现多分类问题。支持向量机个数与分类别个数相同；
步骤3.采用一对多多分类支持向量机的方式，每个支持向量机应用于所有样本，一个支持向量机中，一种类别作为正集，其余所有类作为负集。例如在第i个支持向量机中，第i类作为正集，其余类就是作为负集；
步骤4.测试多个支持向量机得到多个测试结果，将所有结果中的最大值作为最后的分类结果。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，步骤3)中训练测试数据的卷积神经网络通过MBTI心理学测试题库随机生成的部分试题为训练集，训练面部表情图像的卷积神经网络利用训练集置卷积层、池化层、全连接层的排列规律，进行前向训练并反向传播更新权值，得到心理学测试模型；将测试者的测试数据数据输入得到的心理学测试模型，得到心理学测试特征。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，步骤3)中训练两个卷积神经网络时，存在训练集输出值与真实值存在误差，此时需要进行反向传播来更新权值。
反向传播：当卷积神经网络输出结果与期望值不符时，则需要进行反向传播方式。求出结果与期望的误差，再将误差一层层返回，计算每层的误差，进行权值更新；具体过程如下：
(1)计算总的误差，求输出与目标值之间的误差，计算公式为：
δ(n)＝-(y-a(n))*f(z(n))
(2)误差传入全连接层，求出该层中产生多少误差。误差由神经元造成，所以要求出每个神经元的误差，更新权值。
(3)在下采样层中，根据采用的池化方法，将误差传递到上一层。下采样层不需要权值更新。
(4)在卷积层中，误差通过卷积核来传递，需要先对卷积层误差进行一层全零填充，然后将卷积层进行一百八十度旋转，再用旋转后的卷积核卷积填充过程的误差矩阵，并得到了上一层的误差。更新权值。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，所述步骤5)中所述的面部表情特征通过分类器再分类；利用支持向量机和多层感知机搭建一个分类模型。将在步骤3)中用于训练两个卷积神经网络的训练集得到的训练特征融合，将两类训练特征融合得到的特征集作为训练分类器的训练集，确定激活函数、损失函数、偏置、权值。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，在步骤6)中通过支持向量机和多层感知机搭建一个分类器模型；将在步骤3)中用于训练两个卷积神经网络的两个训练集得到的训练特征融合，将两类特征融合得到的特征集作为训练分类模型的训练集，确定激活函数、损失函数、偏置、权重。
感知机(又叫感知器)是一种简单的前馈神经网络，可分为单层感知机和多层感知机；主要用于模式分类，是对来自空间的特征映射到输出空间做线性分类。感知机由神经元结构组成，将给定的训练集在每一轮迭代中同时调整权重以及偏置，直到满足精度，输出实例的类别，分别是+1和-1，公式为：
f(x)＝sign(ωx+b)
f()为sign函数，ω,b为感知机权重和偏置，sign为激活函数，x为输入。
多层感知机是基于感知机的一种多层前馈神经网络，摆脱了感知机只能进行简单的二元分类的弊端，而且感知机使用sign()作为激活函数，处理能力十分有限，所以本发明选择Sigmoid函数作为激活函数，公式如下：
σ(z)为Sigmoid激活函数，z为ωx+b，ω为权重，b为偏置，x为输入。
多层感知机最大特点就是层次较多，每层神经元与下一层神经元全连接，且同层神经元不存在连接，所以也通常被称作“多层前馈神经网络”。其中第一层是输入层，用于输入外部数据以及传输数据，最后一层是输出层，输出分类结果，中间层称为隐含层，对输入信号做处理，此发明隐含层层数设置为2。
多层感知机每层神经元与下一层神经元全连接，且同层神经元不存在连接。其中第一层是输入层，用于输入外部数据以及传输数据，最后一层是输出层，输出分类结果，中间层称为隐含层，对输入信号做处理。此发明隐含层层数设置为2。训练多层感知机常采用误差逆传播算法。首先进行前向传播，利用设置的权值和偏置进行线性运算与激活运算，从输入层开始，逐层运算，最终在输出层输出结果；接着选择均方差算法作为损失函数将输出值与真实值进行比较，得到误差；然后采用反向传播算法，从输出层逆向往上运算，计算每层产生的误差值；根据产生的误差更改每层的权值和偏置，直到误差在允许范围内。
本发明所述的基于表情识别与心理学测试生成性格的分析方法，步骤2)中针对捕捉后的人脸图像进行处理步骤如下：
1)、人脸图像对齐：找到人脸面部上眼睛、鼻子、嘴、面部轮廓等面部标志性特征位置，常采用SDM算法，选取49个特征点。SDM算法是将一个给定的人脸初始形状，通过不断迭代，将初始形状回归到真实形状的位置；
2)、将对齐后的图像特征点增强数据：减小过拟合风险，减小特征提取时出现错误的可能性；
3)、归一化处理：灰度归一化和几何归一化，减小亮度，位置等因素对特征提取的影响；
本发明所述的基于表情识别与心理学测试生成性格的分析方法，所述的步骤3)中搭建的卷积神经网络步骤如下：
步骤01、选择输入层、卷积层、池化层、全连接层、输出层的排列规律；
步骤02、确定输入层矩阵的大小，该矩阵大小被2多次整除；
步骤03、其卷积层使用SamePadding零填充矩阵边界，并设计卷积核大小设置为3*3规格；
步骤04、设定卷积步长选择为1；
步骤05、选择池化层的Pooling窗口，该窗口规格为2*2；
步骤06、设定激活函数和损失函数；激活函数为RELU函数，损失函数为MSE均方误差损失函数；即卷积神经网络搭建完成。
有益效果
本发明提供的基于表情识别与心理学测试生成性格的分析方法,基于表情识别和心理学测试生成性格的分析系统通过多特征融合分析的方式经过更好的提高了分析性格的准确性，也减小了环境对性格测试的影响，具有一定的稳定性。通过卷积神经网络来识别面部表情，能更好的减小过拟合的风险，得到更准确地表情特征。性格分析中加入心理学测试的特征，能通过心理学里的专业知识来构建更合适的神经网络，从而更准确地预测出符合测试者的性格分析。
附图说明
图1表示基于表情识别和心理学测试生成性格分析系统的流程图
图2表示用卷积神经网络识别面部表情具体流程图
图3表示心理学测试特征与表情识别特征进行特征融合并再次分类的流程
图4表示卷积神经网络的图示解析。
图5表示实现基于表情识别和心理学测试生成性格分析系统的实物图。
具体实施方式
为使本发明实施例的目的和技术方案更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明基于表情识别和心理学测试生成性格分析系统，包括以下步骤：
(1)开始测试，MBTI心理学测试题库中生成测试题，同时打开摄像头实时捕捉受测试者做题时的表情变化。
(2)分别为捕捉到的图像与测试数据构建两个卷积神经网络模型，获取表情特征与心理学测试特征。
(3)将表情特征在通过多个支持向量机实现多分类，得到表情心理特征。
(4)将获得的表情心理特征与心理学测试特征融合，得到一个新的特征集。
(5)利用支持向量机与多层感知机进行训练并进行交叉验证，输出最终的性格分析。
每一步骤的实现结合实例具体如下：
1.获取捕捉到的表情图像，并基于卷积神经网络得到表情特征的具体流程如图二所示，包括：
a.识别面部图像，确定图像上是否有人脸图像，如果有，进入下一步。如果没有，重新捕捉图像。
b.对人脸图像进行预处理阶段，进行人脸对齐来提高面部关键点识别性能，数据增强来减小过拟合风险，进行灰度归一化和几何归一化来将采样把图象归一化到方差为1和均值为0。
c.搭建卷积神经网络，设计卷积层，激励函数和损失函数。卷积神经网络模型如图四所示依序连接1个卷积层、1个池化层、1个卷积层、1个池化层和1个全连接层。激活函数为RELU函数，损失函数为MSE均方误差损失函数。
d.从JAFFE表情数据库中，提取中性、高兴、悲伤、惊奇、生气、讨厌、害怕七种表情图像，共213幅，每种表情提取三幅。将提取图像进行预处理后作为训练样本来训练卷积神经网络，进行前向训练。
e.输出与预测结果误差较大，进行反向传播，计算总误差与卷积层产生的误差，根据误差来更新全连接层与池化层的权值。
f.重复步骤d与步骤e，直至误差在可容许范围内。
g.输入测试图像，获得表情特征。
2.心理学测试数据通过卷积神经网络识别获取测试特征，利用MBTI心理测试集提取训练样本来训练模型，再将受测者测试数据输入，获取心理特征，具体包括：
a.根据MBTI心理测试集创建一个数据库。
b.从数据集中随机抽取一部分作为训练集。
c.搭建卷积神经网络，网络模型依序连接两个卷积层，一个池化层，一个卷积层，一个池化层和两个全连接层。激活函数为RELU函数，损失函数为MSE均方误差损失函数。
d.将训练集输入卷积神经网络进行前向训练，如果于预测值误差过大，进行反向训练，更新权值。
e.重复步骤d，直到误差在可容许范围内。
f.将测试者做的测试题作为测试集输入，得到心理学测试特征。
3.将卷积神经网络得到的面部表情特征利用支持向量机进行分类，获得表情心理特征，具体包括：
a.确定要将表情特征分成5个类别：平淡，积极，不满，犹豫，果断。
b.构建5个支持向量机来完成多分类任务。
c.每个支持向量机都同时训练所有样本，每个向量机都将其中一种类别设置为正集，其余四种类别统一归为负集。
d.五个向量机输出五种结果，其中最大值为最终结果，获取表情表情心理特征。
4.两类特征融合再分类，获得输出性格分析，具体步骤如图三所示，包括：
a.将面部心理特征与心理特征进行融合获的一类新的特征集。
融合得到的特征集输入多层感知机和支持向量机的分类器，进行交叉验证，最后输出结果，得到性格分析。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.基于表情识别与心理学测试生成性格的分析方法，采用MBTI心理学测试题库对测试者进行测试，方法如下：
步骤1)、以测试者脸部为采集对象，利用摄像设备针对测试者进行试题测试时的脸部图像信息进行捕捉；
步骤2)、针对捕捉后的人脸图像进行处理，消除除人脸外的其他图像信息，得到处理归一后的面部表情图像；
步骤3)、搭建两个卷积神经网络，其一卷积神经网络用于训练面部表情图像，通过卷积神经网络来训练步骤2)中得到的面部表情图像获得的面部表情特征；
另一卷积神经网络用于训练心理学测试数据，利用步骤2)中得到的面部表情图通过训练心理学测试数据获得心理学测试特征；
步骤4)、将步骤3)中的得到的面部表情特征通过支持向量机进行多分类，获得表情心理特征；
步骤5)、将步骤4)中得到表情心理特征及步骤3)中心理学测试特征进行计算融合，获得面部融合特征；
步骤6)通过多层感知机和支持向量机训练一个分类器；
步骤7)、将步骤5)中获得的面部融合特征进行分类，通过表情心理特征与心理学测试特征进行双重分析，采用步骤6)中训练的多层感知机模型和支持向量机进行分类，将最终性格分析分为三类：理智型、情绪型、意志型。
2.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：所述步骤3)中随机选取部分脸部表情图像作为训练集，通过卷积神经网络中的卷积层、池化层经过前向训练处理并提取特征量；将特征量输入至全连接层中进行分类，得到面部表情特征；
所述的卷积层通过如下公式进行前向训练提取特征：
其中n代表当前层，Yj n表示当前层的第j个特征图，f()表示激励函数，Mj代表输入图的集合，表示第j个特征图对应的偏置项，表示当前层第j个特征图与前一层第i个特征图的卷积核，表示前一层第i个特征图，*表示卷积运算；
将上述卷积层提取的特征作为输入池化层，并通过入下公式降低数据的维度，进行前向训练提取特征；
和表示当前层和前一层的第j个特型；down()表示采样函数；和表示当前层第j个特征图的乘性偏置和加性偏置。
3.根据权利要求2所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：所述的将卷积层提取的特征与池化层提取的特征通过全连接层通过如下公式进行分类，获得分类模型：
h(x)＝f(wTx+b)
h(x)表示神经元的输出值；x表示神经元输入特征向量；w表示权值向量；b表示偏置，T代表矩阵转置。
4.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：步骤4)中通过训练卷积神经网络得到的面部表情特征基于支持向量机进行分类获得表情心理特征；通过划分类别个数构建相同数量的支持向量机，采用支持向量机一对多多分类的方式，将支持向量机应用于所有样本并进行测试；支持向量机针对多个测量结果中的最大值作为分类结果。
5.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：步骤3)中的卷积神经网络通过MBTI心理学测试题库随机生成的部分试题为训练集，训练卷积神经网络利用训练集置卷积层、池化层、全连接层的排列规律，进行前向训练并反向传播更新权值，得到心理学测试模型；将测试数据输入得到的心理学测试模型，得到心理学测试特征。
6.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：在步骤6)中通过支持向量机和多层感知机搭建一个分类器模型；将在步骤3)中用于训练两个卷积神经网络的两个训练集得到的训练特征融合，将两类特征融合得到的特征集作为训练分类模型的训练集，确定激活函数、损失函数、偏置、权重；
通过如下公式将给定的训练集在每一轮迭代中同时调整权重以及偏置，直到满足精度，输出实例的类别，分别是+1和-1：
f(x)＝sign(ωx+b)
f()为sign函数，ω，b为感知机权重和偏置，sign为激活函数，x为输入。
采用多层感知机通过如下公式进行函数激活，以Sigmoid函数作为激活函数，公式如下：
σ(z)为Sigmoid激活函数，z为ωx+b，ω为权重，b为偏置，x为输入。
7.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：在步骤7)中，将在步骤5)中得到的面部融合特征输入到在步骤6)中训练得到的基于支持向量机和多层感知机的分类器模型，将面部融合特征分为三类：理智型、情绪型、意志型。
8.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：步骤2)中针对捕捉后的人脸图像进行处理步骤如下：
1)、人脸图像对齐：找到人脸面部上眼睛、鼻子、嘴、面部轮廓等面部标志性特征位置，常采用SDM算法，选取49个特征点。SDM算法是将一个给定的人脸初始形状，通过不断迭代，将初始形状回归到真实形状的位置；
2)、将对齐后的图像特征点增强数据：减小过拟合风险，减小特征提取时出现错误的可能性；
3)、归一化处理：灰度归一化和几何归一化，减小亮度，位置等因素对特征提取的影响。
9.根据权利要求1所述的基于表情识别与心理学测试生成性格的分析方法，其特征在于：所述的步骤3)中搭建的卷积神经网络步骤如下：
步骤01、选择输入层、卷积层、池化层、全连接层、输出层的排列规律；
步骤02、确定输入层矩阵的大小，该矩阵大小被2多次整除；
步骤03、其卷积层使用SamePadding零填充矩阵边界，并设计卷积核大小设置为3*3规格；
步骤04、设定卷积步长选择为1；
步骤05、选择池化层的Pooling窗口，该窗口规格为2*2；
步骤06、设定激活函数和损失函数；激活函数为RELU函数，损失函数为MSE均方误差损失函数；即卷积神经网络搭建完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910462378.6A CN110210380B (zh) | 2019-05-30 | 2019-05-30 | 基于表情识别与心理学测试生成性格的分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910462378.6A CN110210380B (zh) | 2019-05-30 | 2019-05-30 | 基于表情识别与心理学测试生成性格的分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210380A true CN110210380A (zh) | 2019-09-06 |
| CN110210380B CN110210380B (zh) | 2023-07-25 |
Family
ID=67789604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910462378.6A Active CN110210380B (zh) | 2019-05-30 | 2019-05-30 | 基于表情识别与心理学测试生成性格的分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210380B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967361A (zh) * | 2020-08-07 | 2020-11-20 | 盐城工学院 | 一种基于婴儿表情识别与哭声的情绪检测方法 |
| CN112819609A (zh) * | 2021-02-24 | 2021-05-18 | 深圳前海微众银行股份有限公司 | 风险评估方法、设备、计算机可读存储介质及程序产品 |
| CN113643772A (zh) * | 2021-07-09 | 2021-11-12 | 杭州天资洪睿智能科技发展有限公司 | 一种基于心理学测试和算法分析生成性格的系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN107169427A (zh) * | 2017-04-27 | 2017-09-15 | 深圳信息职业技术学院 | 一种适用于心理学的面部识别方法及装置 |
| CN107292256A (zh) * | 2017-06-14 | 2017-10-24 | 西安电子科技大学 | 基于辅任务的深度卷积小波神经网络表情识别方法 |
| CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学（武汉） | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
| CN107679526A (zh) * | 2017-11-14 | 2018-02-09 | 北京科技大学 | 一种人脸微表情识别方法 |
| CN108256426A (zh) * | 2017-12-15 | 2018-07-06 | 安徽四创电子股份有限公司 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN109409196A (zh) * | 2018-08-30 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸的性格预测方法、装置、电子设备 |
-
2019
- 2019-05-30 CN CN201910462378.6A patent/CN110210380B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104298682A (zh) * | 2013-07-18 | 2015-01-21 | 广州华久信息科技有限公司 | 一种基于人脸表情图像的信息推荐效果的评价方法及手机 |
| CN107169427A (zh) * | 2017-04-27 | 2017-09-15 | 深圳信息职业技术学院 | 一种适用于心理学的面部识别方法及装置 |
| CN107292256A (zh) * | 2017-06-14 | 2017-10-24 | 西安电子科技大学 | 基于辅任务的深度卷积小波神经网络表情识别方法 |
| CN107506722A (zh) * | 2017-08-18 | 2017-12-22 | 中国地质大学（武汉） | 一种基于深度稀疏卷积神经网络人脸情感识别方法 |
| CN107679526A (zh) * | 2017-11-14 | 2018-02-09 | 北京科技大学 | 一种人脸微表情识别方法 |
| CN108256426A (zh) * | 2017-12-15 | 2018-07-06 | 安徽四创电子股份有限公司 | 一种基于卷积神经网络的人脸表情识别方法 |
| CN109409196A (zh) * | 2018-08-30 | 2019-03-01 | 深圳壹账通智能科技有限公司 | 基于人脸的性格预测方法、装置、电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111967361A (zh) * | 2020-08-07 | 2020-11-20 | 盐城工学院 | 一种基于婴儿表情识别与哭声的情绪检测方法 |
| CN112819609A (zh) * | 2021-02-24 | 2021-05-18 | 深圳前海微众银行股份有限公司 | 风险评估方法、设备、计算机可读存储介质及程序产品 |
| CN113643772A (zh) * | 2021-07-09 | 2021-11-12 | 杭州天资洪睿智能科技发展有限公司 | 一种基于心理学测试和算法分析生成性格的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210380B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN109409198A (zh) | Au检测模型训练方法、au检测方法、装置、设备及介质 | |
| CN112784798A (zh) | 一种基于特征-时间注意力机制的多模态情感识别方法 | |
| CN107358169A (zh) | 一种人脸表情识别方法及人脸表情识别装置 | |
| CN106407889A (zh) | 基于光流图深度学习模型在视频中人体交互动作识别方法 | |
| CN114220035A (zh) | 一种基于改进yolo v4的快速害虫检测方法 | |
| CN105426875A (zh) | 一种基于深度卷积神经网络的人脸识别方法和考勤系统 | |
| CN110210380A (zh) | 基于表情识别与心理学测试生成性格的分析方法 | |
| CN109978870A (zh) | 用于输出信息的方法和装置 | |
| KR20200010672A (ko) | 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템 | |
| CN108492301A (zh) | 一种场景分割方法、终端及存储介质 | |
| Khatun et al. | Fruits classification using convolutional neural network | |
| CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
| CN111026267A (zh) | Vr脑电意念控制接口系统 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN112507961A (zh) | 一种基于深度学习算法的小鼠运动状态分析方法 | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN111967361A (zh) | 一种基于婴儿表情识别与哭声的情绪检测方法 | |
| CN114170657A (zh) | 融合注意力机制与高阶特征表示的面部情感识别方法 | |
| Taslim et al. | Plant leaf identification system using convolutional neural network | |
| CN114295967A (zh) | 一种基于迁移神经网络的模拟电路故障诊断方法 | |
| Mohana et al. | Emotion recognition from facial expression using hybrid CNN–LSTM network | |
| CN111428855A (zh) | 一种端到端的点云深度学习网络模型和训练方法 | |
| Henri et al. | A deep transfer learning model for the identification of bird songs: A case study for Mauritius |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240409 Address after: Room 1973, Building B, Xingzhi Science and Technology Park, No. 6 Xingzhi Road, Jiangning Economic and Technological Development Zone, Nanjing City, Jiangsu Province, 211100 Patentee after: Jiangsu Laifu Energy Technology Co.,Ltd. Country or region after: China Address before: Yancheng Institute of technology, No.1 hope Avenue, Yancheng City, Jiangsu Province, 224051 Patentee before: YANCHENG INSTITUTE OF TECHNOLOGY Country or region before: China |
|
| TR01 | Transfer of patent right |