CN109919099A - 一种基于表情识别的用户体验评价方法及系统 - Google Patents
一种基于表情识别的用户体验评价方法及系统 Download PDFInfo
- Publication number
- CN109919099A CN109919099A CN201910178659.9A CN201910178659A CN109919099A CN 109919099 A CN109919099 A CN 109919099A CN 201910178659 A CN201910178659 A CN 201910178659A CN 109919099 A CN109919099 A CN 109919099A
- Authority
- CN
- China
- Prior art keywords
- user
- neural network
- matrix
- representing
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 45
- 238000011156 evaluation Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 86
- 230000008569 process Effects 0.000 claims abstract description 70
- 238000013528 artificial neural network Methods 0.000 claims abstract description 66
- 230000008921 facial expression Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 61
- 239000013604 expression vector Substances 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 claims description 13
- 206010063659 Aversion Diseases 0.000 claims description 5
- 208000013875 Heart injury Diseases 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 5
- 238000012886 linear function Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims 1
- 238000012827 research and development Methods 0.000 abstract description 7
- 239000013598 vector Substances 0.000 abstract description 3
- 241000282414 Homo sapiens Species 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种基于表情识别的用户体验评价方法及系统，通过开发一款手机App，获取用户在使用新研发APP的过程视频(可以通过手机App现场拍摄或者读取视频文件)传输到云端；在云端把该视频分解成连续的系列照片；应用人脸识别技术，识别该系列照片对应的人脸表情类型，获得表情随时间变化的代码向量，在云平台上，通过BP神经网络建立用户体验数据与对应用户体验过程评分的复杂非线性关系模型；进行视频的录入即可自动获得该用户体验过程的用户体验评价结果，作为企业进行APP产品升级优化的依据。
Description
技术领域
本发明涉及大数据领域，具体涉及一种基于表情识别的用户体验评价方法及系统。
背景技术
如今，各种APP软件产品的开发层出不穷，一个APP软件产品是否能够成功，用户体验逐渐变成了一个关键因素。大数据已成为提升用户体验的重要参考工具，有效的数据挖掘和分析可以被企业用来提升现有产品的用户体验，通过上述结果来开发新的产品和服务。有针对性的采取用户体验措施，从而使用户在心理上有一个良好的用户体验，但是用户体验结果很难用一种直观、真实的方式表达出来，然而表情是人类用来表达各种情绪状态最直观、最真实的一种方式，是一种十分重要的非语言交流手段。
现有技术在APP软件研发过程中，采用传统用户调查的方式，无法快速准确获取新研发APP软件的用户使用体验数据，研发效率较低。
发明内容
为了解决现在产品研发过程中，研发人员不能快速获取新研发APP用户体验数据的问题，本申请提供一种基于表情识别的用户体验评价方法,包括以下步骤
S1：采集用户使用测试APP的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；
S2:通过测试APP采集用户调查数据，依据所述用户调查数据得到结果矩阵Y，构建BP神经网络，采用所述输入矩阵和所述结果矩阵对BP神经网络进行训练。
S3:采集用户使用目标APP的第二过程视频，采用训练完成的BP神经网络对所述用户使用目标APP的第二过程视频进行分析并获取用户体验数据。
进一步的，所述步骤S1包括，
S11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]T、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]T、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]T、“高兴”对应的表情向量为[0,0,0,4,0,0,0]T、“伤心”对应的表情向量为[0,0,5,0,0,0,0]T、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]T、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]T，采用表情谱得到矩阵A＝[e1,e2,e3,…,en]7×n；
S12:将矩阵A进行转置变换得到AT＝[e1,e2,e3,…,en]n×7；
S13:构造矩阵M＝A·AT；
S14:计算矩阵M的特征值，生成矩阵M的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；
S15:生成输入矩阵X＝[λ,N,B]1×9，其中N为年龄，B为性别。
进一步的，设置所述BP神经网络的隐含层节点数为l，隐含层节点函数为S型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。
进一步的，所述步骤S2包括以下步骤，
S21：初始化神经网络参数的权值W1、W2以及阈值b1、b2；
S22：初始化的网络参数采用如下公式计算此时的
其中，表示预测值；
W1、W2分别表示神经网络参数的权值；
b1、b2分别表示神经网络参数的阈值；
表示经归一化的输入样本；
S23：计算此时实际样本输出与预测值之间系统对N个训练样本的总误差，总误差e准则函数如下：
其中，e表示误差性能指标函数；
表示BP网络输出；
表示实际输出；
S24：修正神经网络参数的权值和阈值，具体公式如下：
其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；
表示隐含层输出；x(i)表示输入样本；
wjk表示输出层与隐含层权值；
其中，w2jk表示输出层与隐含层的连接权值；
其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；
b2＝b2+ηe
其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,N；N为样本量；
S25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。
进一步的，所述步骤S3还包括，
将用户体验数据发送至管理员移动终端并进行展示。
为了保证上述方法的实施，本发明还提供一种基于表情识别的用户体验评价系统,其特征在于，包括以下模块
采集模块，用于采集用户使用测试APP的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；
训练模块，通过测试APP采集用户调查数据，依据所述用户调查数据得到结果矩阵Y，构建BP神经网络，采用所述输入矩阵和所述结果矩阵对BP神经网络进行训练。
结果输出模块，用于采集用户使用目标APP的第二过程视频，采用训练完成的BP神经网络对所述用户使用目标APP的第二过程视频进行分析并获取用户体验数据。
进一步的，所述采集模块采用以下步骤获取输入矩阵，
S11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]T、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]T、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]T、“高兴”对应的表情向量为[0,0,0,4,0,0,0]T、“伤心”对应的表情向量为[0,0,5,0,0,0,0]T、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]T、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]T，采用表情谱得到矩阵A＝[e1,e2,e3,…,en]7×n；
S12:将矩阵A进行转置变换得到AT＝[e1,e2,e3,…,en]n×7；
S13:构造矩阵M＝A·AT；
S14:计算矩阵M的特征值，生成矩阵M的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；
S15:生成输入矩阵X＝[λ,N,B]1×9，其中N为年龄，B为性别。
进一步的，设置所述BP神经网络的隐含层节点数为l，隐含层节点函数为S型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。
进一步的，所述训练模块采用以下步骤，对原始参数进行建模，获取神经网络参数，
S21：初始化神经网络参数的权值W1、W2以及阈值b1、b2；
S22：初始化的网络参数采用如下公式计算此时的
其中，表示预测值；
W1、W2分别表示神经网络参数的权值；
b1、b2分别表示神经网络参数的阈值；
表示经归一化的输入样本；
S23：计算此时实际样本输出与预测值之间系统对N个训练样本的总误差，总误差e准则函数如下：
其中，e表示误差性能指标函数；
表示BP网络输出；
表示实际输出；
S24：修正神经网络参数的权值和阈值，具体公式如下：
其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；
表示隐含层输出；x(i)表示输入样本；
wjk表示输出层与隐含层权值；
其中，w2jk表示输出层与隐含层的连接权值；
其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；
b2＝b2+ηe
其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,N；N为样本量；
S25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。
进一步的，所述结果输出模块还用于，将用户体验数据发送至管理员移动终端并进行展示。
本发明的有益效果是，
1遵循神经和肌肉等解剖学，具有共同特征；表情识别是一种无意识、自由状态下的数据获取方法，保证了数据的可靠性与客观性。
2容易整合到数据分析系统进行分析和可视化。
3允许其他软件实时访问面部表情分析系统的数据收集。
4能够分析所有种族的面部表情，包括儿童的面部表情。
5本发明通过训练完成的神经网络模型来对用户在使用APP过程的视频进行分析快速得出用户体验数据，可以方便研发人员快速对新研发APP进行评估，提高了APP的研发效率。
附图说明
图1为本发明一种基于表情识别的用户体验评价方法流程图。
图2为本发明一种基于表情识别的用户体验评价系统结构示意图。
图3为本发明一实施例二维表情谱。
图4为本发明一实施例BP神经网络示意图。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。
针对产品研发过程中，研发人员不能快速获取新研发APP用户体验数据的问题，本发明一种基于表情识别的用户体验评价方法及系统
本发明通过采集用户视频和用户调查数据对BP神经网络进行训练，通过训练完成的BP神经网络对用户使用新研发APP的视频识别，快速获取用户体验数据对新研发APP进行评估。BP神经网络对于非线性系统的建模精度高，非常适合用户体验数据模型的建立。
以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于表情识别的用户体验评价方法，图1示出了本发明一种基于表情识别的用户体验评价方法流程图。
如图1所示，本发明提供的基于表情识别的用户体验评价方法包括以下步骤，
S1：采集用户使用APP的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；
S2:采集用户调查数据，依据所述用户调查数据得到结果矩阵Y，构建的BP神经网络，采用所述输入矩阵和所述结果矩阵对BP神经网络进行训练；
S3:采集用户使用APP的第二过程视频，采用训练完成的BP神经网络对所述用户使用APP的第二过程视频进行分析并获取用户体验数据。
第一过程视频，第一过程系列照片均为用于训练神经网络模型的训练数据，第二过程视频为待检测数据，采用已经训练好的神经网络对第二过程视频进行分析获取第二过程视频对应的用户体验数据。
测试APP安装于用户手机端用于获取用户使用测试APP的第一过程视频和调查结果数据，测试APP通过用户手机端的前置摄像头获取用户使用测试APP的第一过程视频。测试APP在完成测试后直接通过用户输入来获取用户使用测试APP过程的调查结果数据。
目标APP为待检测的新研发APP，在用户使用目标APP的过程中，测试APP通过用户手机端的前置摄像头获取用户第二过程视频。
测试APP的测试内容与目标APP为同一类型的内容，例如，如果目标APP为游戏类APP,则测试APP通过一段模拟游戏来获取用户玩游戏过程中的第一过程视频，若目标APP为音乐播放类APP,则测试APP通过一段模拟音乐播放来获取用户听音乐过程中的第一过程视频，测试APP使用与目标APP同一类型的测试内容，使得神经网络训练更加有针对性，提高了通过神经网络获取目标APP用户体验数据的准确性。
本发明采集用户的第一过程视频和调查结果来对神经网络进行训练，神经网络训练好后，输入同一用户的第二过程视频获取该用户的用户体验数据。相对于传统的采用多个用户数据进行神经网络训练，训练好的神经网络对多个不同用户数据进行测试的方式，本发明针对每一个用户训练一个神经网络，每个用户都有自已特定的神经网络参数，本发明相对于现有技术中的通用神经网络产品具有更高的结果检测准确性。
在本发明实施过程中步骤S1包括，利用手机App获取用户在使用测试APP的过程视频(可以通过手机App现场拍摄或者读取视频文件)传输到云端，在云端把该视频分解成连续的系列照片，应用人脸识别技术，识别该系列照片对应的人脸表情，获得表情随时间变化的代码向量(7种表情类型愤怒、厌恶、恐惧、高兴、伤心、惊讶、无情绪分别对应的代码为1、2、3、4、5、6、7)、年龄N(岁)、性别B(男/女对应代码为1/0)对该数据矩阵作以下处理，获得输入矩阵X；
具体的，在本发明一实施例中步骤S1包括，
S11:画出表情代码向量随时间变化的二维表情谱，其中，横坐标为时间，纵坐标为表情类型代码1-7，得到“愤怒”对应的表情向量为[0,0,0,0,0,0,1]T、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]T、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]T、“高兴”对应的表情向量为[0,0,0,4,0,0,0]T、“伤心”对应的表情向量为[0,0,5,0,0,0,0]T、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]T、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]T；利用表情谱得到矩阵A＝[e1,e2,e3,…,en]7×n(en为七种表情向量之一)。例如，当n＝10时，E＝[5,7,6,6,4,4,4,4,6,7]；画出表情代码矩阵随时间的表情谱如图3所示，由表情谱得到表情谱矩阵A:
S12:将矩阵A进行转置变换得到AT＝[e1,e2,e3,…,en]n×7；
S13:构造新的矩阵为M＝A·AT；
S14:计算出矩阵M的特征值，其征值矩阵为λ＝[λ1,λ2,λ3,…,λ7]1×7；
S15:输入参数矩阵由矩阵特征值、性别、年龄构成X＝[λ,N,B]1×9。
在本发明实施过程中步骤S2包括，调查用户该视频过程的真实用户体验，选择分数1分、2分、3分、4分、5分(分别对应体验过程很差、差、一般、好、很好)之一作为体验测试结果，并作为输出结果y；应用大量输入矩阵X与对应输出结果矩阵Y.
在本发明实施过程中，设置所述BP神经网络的隐含层节点数为l，隐含层节点函数为S型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。
在本发明实施过程中,步骤S2采用BP神经网络对通过获得的原始参数进行建模，获取神经网络参数包括以下步骤，
S21：初始化神经网络参数的权值W1、W2以及阈值b1、b2；
S22：初始化的网络参数采用如下公式计算此时的
其中，表示预测值；
W1、W2分别表示神经网络参数的权值；
b1、b2分别表示神经网络参数的阈值；
表示经归一化的输入样本；
S23：计算此时实际样本输出与预测值之间系统对N个训练样本的总误差，总误差e准则函数如下：
其中，e表示误差性能指标函数；
表示BP网络输出；
表示实际输出；
S24：修正神经网络参数的权值和阈值，具体公式如下：
其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；
表示隐含层输出；x(i)表示输入样本；
wjk表示输出层与隐含层权值；
其中，w2jk表示输出层与隐含层的连接权值；
其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；
b2＝b2+ηe
其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,N；N为样本量；
S25：利用更新得到的神经网络参数的权值和阈值重新估计重复第二步至第四步的过程，直到总误差小于设定值。
在本发明实施过程中，步骤S3包括上述训练好的BP神经网络放入云端，把该过程开发成软件；对于新研发的APP，只要录入视频即可自动获得该用户体验过程的用户体验数据，对公司进行产品升级优化结果进行快速准确评价提高了研发效率。
应当指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改性、添加或替换，也应属于本发明的保护范围。
Claims (10)
1.一种基于表情识别的用户体验评价方法,其特征在于，包括以下步骤
S1：采集用户使用测试APP的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；
S2:通过测试APP采集用户调查数据，依据所述用户调查数据得到结果矩阵Y，构建BP神经网络，采用所述输入矩阵和所述结果矩阵对BP神经网络进行训练；
S3:采集用户使用目标APP的第二过程视频，采用训练完成的BP神经网络对所述用户使用目标APP的第二过程视频进行分析并获取用户体验数据。
2.如权利要求1所述的一种基于表情识别的用户体验评价方法,其特征在于，所述步骤S1包括，
S11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]T、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]T、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]T、“高兴”对应的表情向量为[0,0,0,4,0,0,0]T、“伤心”对应的表情向量为[0,0,5,0,0,0,0]T、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]T、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]T，采用表情谱得到矩阵A＝[e1,e2,e3,…,en]7×n；
S12:将矩阵A进行转置变换得到AT＝[e1,e2,e3,…,en]n×7；
S13:构造矩阵M＝A·AT；
S14:计算矩阵M的特征值，生成矩阵M的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；
S15:生成输入矩阵X＝[λ,N,B]1×9，其中N为年龄，B为性别。
3.如权利要求2所述的一种基于表情识别的用户体验评价方法,其特征在于，所述步骤S2还包括，设置所述BP神经网络的隐含层节点数为l，隐含层节点函数为S型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。
4.如权利要求3所述的一种基于表情识别的用户体验评价方法,其特征在于，所述步骤S2还包括，
S21：初始化神经网络参数的权值W1、W2以及阈值b1、b2；
S22：初始化的网络参数采用如下公式计算此时的
其中，表示预测值；
W1、W2分别表示神经网络参数的权值；
b1、b2分别表示神经网络参数的阈值；
表示经归一化的输入样本；
S23：计算此时实际样本输出与预测值之间系统对N个训练样本的总误差，总误差e准则函数如下：
其中，e表示误差性能指标函数；
表示BP网络输出；
表示实际输出；
S24：修正神经网络参数的权值和阈值，具体公式如下：
其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；
表示隐含层输出；x(i)表示输入样本；
wjk表示输出层与隐含层权值；
其中，w2jk表示输出层与隐含层的连接权值；
其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；
b2＝b2+ηe
其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,N；N为样本量；
S25：利用更新得到的神经网络参数的权值和阈值重新估计重复S22步至S24步的过程，直到总误差小于设定值。
5.如权利要求4所述的一种基于表情识别的用户体验评价方法,其特征在于，所述步骤S3还包括，
将用户体验数据发送至管理员移动终端并进行展示。
6.一种基于表情识别的用户体验评价系统,其特征在于，包括以下模块
采集模块，用于采集用户使用测试APP的第一过程视频，依据所述第一过程视频得到第一过程系列照片，对所述第一过程系列照片进行人脸识别得到用户人脸表情向量，依据所述用户人脸表情向量得到输入矩阵；
训练模块，通过测试APP采集用户调查数据，依据所述用户调查数据得到结果矩阵Y，构建BP神经网络，采用所述输入矩阵和所述结果矩阵对BP神经网络进行训练。
结果输出模块，用于采集用户使用目标APP的第二过程视频，采用训练完成的BP神经网络对所述用户使用目标APP的第二过程视频进行分析并获取用户体验数据。
结果输出模块，用于采集用户使用拥抱机的第二过程视频，采用训练完成的BP神经网络对所述用户使用拥抱机的第二过程视频进行分析并获取存储用户体验数据。
7.如权利要求6所述的一种基于表情识别的用户体验评价系统,其特征在于，所述采集模块采用以下步骤获取输入矩阵，
S11：以横坐标为时间，纵坐标为表情类型代码生成用户人脸表情向量随时间变化的二维表情谱，其中，“愤怒”对应的表情向量为[0,0,0,0,0,0,1]T、“厌恶”对应的表情向量为[0,0,0,0,0,2,0]T、“恐惧”对应的表情向量为[0,0,0,0,3,0,0]T、“高兴”对应的表情向量为[0,0,0,4,0,0,0]T、“伤心”对应的表情向量为[0,0,5,0,0,0,0]T、“惊讶”对应的表情向量为[0,6,0,0,0,0,0]T、“无情绪”对应的表情向量为[7,0,0,0,0,0,0]T，采用表情谱得到矩阵A＝[e1,e2,e3,…,en]7×n；
S12:将矩阵A进行转置变换得到AT＝[e1,e2,e3,…,en]n×7；
S13:构造矩阵M＝A·AT；
S14:计算矩阵M的特征值，生成矩阵M的特征值矩阵λ＝[λ1,λ2,λ3,…,λ7]1×7；
S15:生成输入矩阵X＝[λ,N,B]1×9，其中N为年龄，B为性别。
8.如权利要求7所述的一种基于表情识别的用户体验评价系统,其特征在于，设置所述BP神经网络的隐含层节点数为l，隐含层节点函数为S型函数tansig，输出层节点数与输出变量个数一致；设置输出层节点函数为线性函数purelin，输入层到隐含层的权值为w1，隐含层节点阈值为b1，隐含层至输出层的权值为w2，输出层节点阈值为b2。
9.如权利要求8所述的一种基于表情识别的用户体验评价系统,其特征在于，所述训练模块采用以下步骤，对原始参数进行建模，获取神经网络参数，
S21：初始化神经网络参数的权值W1、W2以及阈值b1、b2；
S22：初始化的网络参数采用如下公式计算此时的
其中，表示预测值；
W1、W2分别表示神经网络参数的权值；
b1、b2分别表示神经网络参数的阈值；
表示经归一化的输入样本；
S23：计算此时实际样本输出与预测值之间系统对N个训练样本的总误差，总误差e准则函数如下：
其中，e表示误差性能指标函数；
表示BP网络输出；
表示实际输出；
S24：修正神经网络参数的权值和阈值，具体公式如下：
其中，w1ij表示隐含层与输入层的连接权值；η表示学习速率；
表示隐含层输出；x(i)表示输入样本；
wjk表示输出层与隐含层权值；
其中，w2jk表示输出层与隐含层的连接权值；
其中，表示隐含层阈值；表示隐含层输出；wjk表输出层与隐含层权值；
b2＝b2+ηe
其中，i＝1,2,…,n；j＝1,2,…,l；k＝1,2,…,N；N为样本量；
S25：利用更新得到的神经网络参数的权值和阈值重新估计重复S22步至S24步的过程，直到总误差小于设定值。
10.如权利要求9所述的一种基于表情识别的用户体验评价系统,其特征在于，所述结果输出模块还用于，将用户体验数据发送至管理员移动终端并进行展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910178659.9A CN109919099A (zh) | 2019-03-11 | 2019-03-11 | 一种基于表情识别的用户体验评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910178659.9A CN109919099A (zh) | 2019-03-11 | 2019-03-11 | 一种基于表情识别的用户体验评价方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109919099A true CN109919099A (zh) | 2019-06-21 |
Family
ID=66964027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910178659.9A Pending CN109919099A (zh) | 2019-03-11 | 2019-03-11 | 一种基于表情识别的用户体验评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109919099A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126297A (zh) * | 2019-12-25 | 2020-05-08 | 淮南师范学院 | 一种基于学习者表情的体验分析方法 |
| CN112257672A (zh) * | 2020-11-17 | 2021-01-22 | 中国科学院深圳先进技术研究院 | 一种人脸识别方法、系统、终端以及存储介质 |
| CN113822229A (zh) * | 2021-10-28 | 2021-12-21 | 重庆科炬企业孵化器有限公司 | 一种面向表情识别的用户体验评价建模方法及装置 |
| CN114489442A (zh) * | 2022-01-24 | 2022-05-13 | 珠海格力电器股份有限公司 | 一种产品信息显示方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
| CN107341688A (zh) * | 2017-06-14 | 2017-11-10 | 北京万相融通科技股份有限公司 | 一种客户体验的采集方法及系统 |
| CN109248413A (zh) * | 2018-09-03 | 2019-01-22 | 秦怡静 | 一种基于bp神经网络和遗传算法的掷实心球姿势矫正方法 |
-
2019
- 2019-03-11 CN CN201910178659.9A patent/CN109919099A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102946613A (zh) * | 2012-10-10 | 2013-02-27 | 北京邮电大学 | 一种用于测量用户业务体验质量的方法 |
| CN107341688A (zh) * | 2017-06-14 | 2017-11-10 | 北京万相融通科技股份有限公司 | 一种客户体验的采集方法及系统 |
| CN109248413A (zh) * | 2018-09-03 | 2019-01-22 | 秦怡静 | 一种基于bp神经网络和遗传算法的掷实心球姿势矫正方法 |
Non-Patent Citations (2)
| Title |
|---|
| 唐晓波等: ""微信用户满意度影像因素模型及实证研究"", 《情报杂志》 * |
| 王得胜: ""气味用户体验测试评价技术研究及应用"", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126297A (zh) * | 2019-12-25 | 2020-05-08 | 淮南师范学院 | 一种基于学习者表情的体验分析方法 |
| CN111126297B (zh) * | 2019-12-25 | 2023-10-31 | 淮南师范学院 | 一种基于学习者表情的体验分析方法 |
| CN112257672A (zh) * | 2020-11-17 | 2021-01-22 | 中国科学院深圳先进技术研究院 | 一种人脸识别方法、系统、终端以及存储介质 |
| CN113822229A (zh) * | 2021-10-28 | 2021-12-21 | 重庆科炬企业孵化器有限公司 | 一种面向表情识别的用户体验评价建模方法及装置 |
| CN114489442A (zh) * | 2022-01-24 | 2022-05-13 | 珠海格力电器股份有限公司 | 一种产品信息显示方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919099A (zh) | 一种基于表情识别的用户体验评价方法及系统 | |
| JP6977901B2 (ja) | 学習材推薦方法、学習材推薦装置および学習材推薦プログラム | |
| JP2020522817A (ja) | 意味分析方法、装置、および記憶媒体 | |
| CN110196814B (zh) | 一种软件质量评价方法 | |
| CN110221965A (zh) | 测试用例生成、测试方法、装置、设备及系统 | |
| CN110610193A (zh) | 标注数据的处理方法及装置 | |
| CN109299865A (zh) | 基于语义分析的心理测评系统及方法、信息数据处理终端 | |
| CN110766080A (zh) | 一种标注样本确定方法、装置、设备及存储介质 | |
| CN111506504B (zh) | 基于软件开发过程度量的软件安全性缺陷预测方法及装置 | |
| CN112836105B (zh) | 一种基于运动生理表征融合的大规模学生有氧能力分群方法 | |
| CN110245080A (zh) | 生成场景测试用例的方法及装置 | |
| CN105678381A (zh) | 一种性别分类网络训练方法、性别分类方法及相关装置 | |
| CN110956142A (zh) | 一种智能交互培训系统 | |
| CN108632137A (zh) | 应答模型训练方法、智能聊天方法、装置、设备及介质 | |
| CN104598648A (zh) | 一种微博用户交互式性别识别方法及装置 | |
| CN109919102A (zh) | 一种基于表情识别的自闭症拥抱机体验评价方法及系统 | |
| CN116016869A (zh) | 一种基于人工智能以及物联网的校园安全监测系统 | |
| WO2018095069A1 (zh) | 安检模拟培训装置、方法及系统 | |
| CN109919101A (zh) | 一种基于手机客户端的用户体验评价方法及系统 | |
| CN113889274B (zh) | 一种孤独症谱系障碍的风险预测模型构建方法及装置 | |
| CN105469116A (zh) | 一种基于人机交互的幼儿识图及数据扩充方法 | |
| CN110059117A (zh) | 一种教学大数据的分析处理方法及装置 | |
| CN112541705B (zh) | 生成用户行为评估模型的方法、装置、设备以及存储介质 | |
| Mairittha et al. | Crowdsourcing system management for activity data with mobile sensors | |
| CN109934156A (zh) | 一种基于elman神经网络的用户体验评价方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |
|
| RJ01 | Rejection of invention patent application after publication |