CN106293074B - 一种情绪识别方法和移动终端 - Google Patents
一种情绪识别方法和移动终端 Download PDFInfo
- Publication number
- CN106293074B CN106293074B CN201610616982.6A CN201610616982A CN106293074B CN 106293074 B CN106293074 B CN 106293074B CN 201610616982 A CN201610616982 A CN 201610616982A CN 106293074 B CN106293074 B CN 106293074B
- Authority
- CN
- China
- Prior art keywords
- emotion
- feature set
- dimension
- classification model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008451 emotion Effects 0.000 claims abstract description 473
- 238000013145 classification model Methods 0.000 claims abstract description 133
- 230000002996 emotional effect Effects 0.000 claims abstract description 60
- 238000012360 testing method Methods 0.000 claims description 95
- 238000012549 training Methods 0.000 claims description 87
- 230000008921 facial expression Effects 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 22
- 230000014509 gene expression Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种情绪识别方法和移动终端，涉及通信技术领域。所述方法，包括：获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。解决了现有的情绪识别方法对于用户刻意隐藏自身情绪的情况准确率较低，单独的文本情绪识别适用性较低，以及不会对情绪特征信息进行筛选，进而导致情绪识别的耗时较长的问题。取得了可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性的有益效果。
Description
技术领域
本发明涉及计算机技术领域，特别是涉及一种情绪识别方法和移动终端。
背景技术
随着科技的发展，通过监测用户的情绪进而做出对应用户当前情绪的响应的技术已经用到各个领域，而且仍然存在非常广阔的应用空间。因而如何取得精准到位的情绪识别的效果变得尤为重要。
现有的情绪识别技术包括了表情情绪识别、语音情绪识别、文本情绪识别等方法。其中，表情情绪识别通过捕捉和分析用户面部表情特征对用户的情绪进行识别分类；语音情绪识别通过分析用户语音数据的声学特征、语音学特征和语言学特征实现对用户情绪的分类，而文本情绪识别则是通过分析用户的原创文字达到进行情绪识别。
现有的情绪识别技术在一定程度上实现了对用户的情绪进行识别和分类的目的，但是现有技术仍然存在诸多不足之处：首先，现有表情情绪识别和语音情绪识别在人有意隐藏真实情感而伪装表情和语音的场景下准确率较低，而文本情绪识别又必须以用户有相应地原创文本为前提，适用性较低；其次，为了保证情绪识别的准确率，现有技术会抽取大量用户的脸部表情、语音或原创文本并提取大量特征信息，而不会对特性信息进行筛选过滤，进而导致计算量较大，情绪识别的耗时较长。
发明内容
为了解决现有的情绪识别方法对于用户刻意隐藏自身情绪的情况准确率较低，单独的文本情绪识别适用性较低，以及不会对特性信息进行筛选过滤，进而导致计算量较大，情绪识别的耗时较长的问题，本发明实施例提供一种情绪识别方法和移动终端。
一方面，本发明公开了一种情绪识别方法，包括：获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
另一方面，本发明还公开了一种移动终端，包括：
初始情绪特征集获取模块，用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；
精简情绪特征集获取模块，用于将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；
情绪标签确定模块，用于利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
本发明通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一中的一种情绪识别方法的步骤流程图；
图2是本发明实施例二中的一种情绪识别方法的步骤流程图；
图3是本发明实施例三中的一种情绪识别方法的步骤流程图；
图4是本发明实施例四中的一种情绪识别方法的步骤流程图；
图5是本发明实施例五中的一种移动终端的结构示意图；
图6是本发明实施例六中的一种移动终端的结构示意图；
图7是本发明实施例七中的一种移动终端的框图；
图8是本发明实施例八中的一种移动终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面通过列举几个具体的实施例详细介绍本发明提供的一种情绪识别方法和移动终端。
实施例一
详细介绍本发明实施例提供的一种情绪识别方法。
参照图1，示出了本发明实施例中一种情绪识别方法的步骤流程图。
步骤101，获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征。
其中，初始情绪特征集具体可以包括面部表情特征、语音数据特征、文本数据特征等等。其中，面部表情特征可以包括脸部的基本结构和肌肉特性等，例如眼睛的大小、嘴巴是否张开、嘴角是否翘起、额头是否有皱纹等。语音数据特征可以包括声音的频率、音色、语速、是否有鼻音等等。文本数据特征可以包括文本含义、文本关键字等等。在本发明实施例中，初始情绪特征集具体包含的特征类型，以及各个特征类型具体包含的特征可以根据需求在本步骤之前，或者是本步骤之前的任一步骤之前设定，对此本发明实施例不加以限定。而且，在本发明实施例中初始情绪特征集包括N维特征，其中N的具体取值可以在本步骤之前根据需求设定，对此本发明实施例也不加以限定。
可选地，在本发明实施例中，初始情绪特征集中包含面部表情特征，和/或语音数据特征。
在本发明实施例中，可以利用移动终端的摄像头拍摄得到包含移动终端用户面部表情的图片并保存，可以利用移动终端的录音模块录制移动终端用户的语音数据并保存，可以利用移动终端的输入模块接收移动终端用户输入的文本数据并保存。当然，在本发明实施例中，也可以利用其他任何可用方式获取移动终端用户的面部表情、语音数据和文本数据，对此本发明实施例不加以限定。那么，则可以针对不同的素材，提取不同的特征。
例如，可以利用表情识别技术对包含用户面部表情的图片进行处理，提取其中的面部表情特征；可以利用语音识别技术对录制的语音数据进行处理，提取其中的语音数据特征；可以利用文字识别技术对保存的文本数据进行处理，提取其中的文本数据特征等。其中，表情识别技术可以为任何一种表情识别技术，可以在本步骤之前，或者是本步骤之前的任一步骤之前，根据需求设定表情识别技术的具体情况，对此本发明实施例不加以限定。语音识别技术也可以为任何一种语音识别技术，可以在本步骤之前，或者是本步骤之前的任一步骤之前，根据需求设定语音识别技术的具体情况，对此本发明实施例不加以限定。文本识别技术可以为任何一种文本识别技术，可以在本步骤之前，或者是本步骤之前的任一步骤之前，根据需求设定文本识别技术的具体情况，对此本发明实施例不加以限定。
例如，假设初始情绪特征集中包含面部表情特征和语音数据特征，那么在本发明实施例中，可以利用表情识别技术对拍摄的包含面部表情的图片进行处理，得到面部表情特征x1,x2,....xn1，同时利用语音识别技术对录制的语音数据进行处理，得到语音数据特征y1,y2....yn2。进而可以将面部表情特征和语音数据特征合并生成初始情绪特征集{x1,x2,...xn1,y1,y2,...yn2}。
步骤102，将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
在获取了用户的初始情绪特征集之后，则可以对初始情绪特征集中各维度的特征进行操作。在本发明实施例中，为了减少运算的数据量，可以将初始情绪特征集中非指定的维度特征删除。其中，在指定维度的特征对情绪识别的结果影响较大。在本发明实施例中，可以在本步骤之前根据需求预先设置指定维度的具体情况，也可以根据实验或计算等方式确定指定维度的具体情况，对此本发明实施例不加以限定。
步骤103，利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
其中的情绪分类模型可以根据输入的精简情绪特征集输出对应的情绪标签。因此，在本发明实施例中，在得到精简情绪特征集之后，则可以利用情绪分类模型对精简情绪特征集进行识别，以确定所述用户的情绪标签。具体地，以精简情绪特征集输入情绪分类模型，那么情绪分类模型的输出结果即为该用户当前的情绪标签。情绪分类模型具体可以为支持向量机(Support Vector Machine，SVM)分类器、贝叶斯分类器、神经网络分类器等等，对此本发明实施例不加以限定。
在本发明实施例中，可以预先设定情绪标签的种类包括无特征(Neutral)、高兴(Happy)、惊讶(Surprise)、生气(Angry)、厌恶(Disgust)、害怕(Fear)、伤心(Sad)等等，还可以将各个类型分为不同的等级，例如将生气分为不同程度的生气等，对此本发明实施例不加以限定。那么在本发明实施例中，则情绪分类模型可以根据输入的精简情绪特征集确定用户当前为上述的一种情绪标签。
另外，在本发明实施例中，可以先利用至少一个已知情绪标签的精简情绪特征集合样本在本步骤之前，或者是本步骤之前的任一步骤之前对情绪分类模型进行训练，对此本发明实施例也不加以限定。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
实施例二
详细介绍本发明实施例提供的一种情绪识别方法。
参照图2，示出了本发明实施例中一种情绪识别方法的步骤流程图。
步骤201，获取所述用户的面部表情特征集以及语音数据特征集。
可选地，如果用户的初始情绪特征集中包含面部表情特征和语音数据特征，那么，在本发明实施例中，可以先获取用户的面部表情特征集以及语音数据特征集。具体的可以利用表情识别技术对包含用户面部表情的图片进行处理，提取其中的面部表情特征并生成面部表情特征集；可以利用语音识别技术对录制的语音数据进行处理，提取其中的语音数据特征并生成语音数据特征集。
例如，利用表情识别技术对拍摄的包含面部表情的图片进行处理，生成面部表情特征集{x1,x2,....xn1}，同时利用语音识别技术对录制的语音数据进行处理，得到语音数据特征集{y1,y2....yn2}。
步骤202，按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
在获取了用户的面部表情特征集以及语音数据特征集之后，即可以按照预设规则将面部表情特征集和语音数据特征集合并得到初始情绪特征集。具体的，可以将语音数据特征集包含的各维特征按序插入面部表情特征集最后一个维度之后得到初始情绪特征集；或者是将面部表情特征集包含的各维特征按序插入语音数据特征集最后一个维度之后得到初始情绪特征集等等。在本发明实施例中，可以在本步骤之前，或者是本步骤之前的任一步骤之前根据需求设定预设规则的具体情况，对此本发明实施例不加以限定。
例如，对于上述的面部表情特征集{x1,x2,....xn1}和语音数据特征集{y1,y2....yn2}，如果预设规则为将语音数据特征集包含的各维特征按序插入面部表情特征集最后一个维度之后，那么初始情绪特征集为{x1,x2,...xn1,y1,y2,...yn2}；而如果预设规则为将面部表情特征集包含的各维特征按序插入语音数据特征集最后一个维度之后，那么初始情绪特征集为{y1,y2,...yn2,x1,x2,...xn1}。
步骤203，利用包含各维度特征的样本数据，计算各维度的特征的重要性，以确定指定维度。
在本发明实施例中，可以利用包含各维度特征的样本数据，计算各维度特征的重要性。从而确定对识别结果准确性影响比较大的指定维度。
例如，可以分别计算各个维度特征缺失时，利用其他维度特征得到的识别结果的准确率，如果准确率越高则说明缺失的维度对应的特征对识别结果的影响程度越低，那么其重要性也比较低。
在确定各个维度特征的重要性之后，在本发明实施例中，可以设定指定维度的数量，那么可以取重要性排序靠前的对应数量的维度作为指定维度；也可以设定指定维度的重要性阈值，那么则可以取重要性满足重要性阈值的维度作为指定维度，当然也可以根据其他可用规则确定指定维度，对此本发明实施例不加以限定。
步骤204，将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
步骤205，利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。
在实际应用中，情绪分类模型的输入为初始情绪特征集中包含的各个维度特征，但是在本发明实施例中，需要对初始情绪特征集中的特征进行删减，进而导致情绪分类模型的输入参数减少为指定维度的特征，因此在本发明实施例中，为了保证情绪分类模型的准确性，可以在利用情绪分类模型识别确定用户的情绪标签之前，可以先对情绪分类模型进行优化训练。具体的可以利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。其中的情绪特征集为只保留上述指定维度特征的情绪特征集。如果情绪特征集中包含除上述指定维度以外的其他维度的特征，那么需要先将情绪特征集中指定维度以外的其他维度删除，也即将情绪特征集中非指定的维度特征删除，然后利用删除了非指定的维度特征的情绪特征集优化训练情绪分类模型。具体的，可以利用只保留指定维度的情绪特征集作为情绪分类模型的输入，以对应该情绪特征集的情绪标签作为输出，优化训练情绪分类模型中的各个参数。
步骤206，利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
步骤207，根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
在本发明实施例中，在确认用户的情绪标签之后，还可以根据情绪标签控制移动终端执行对应情绪标签的操作。例如，如果确认用户当前的情绪标签为生气，那么可以控制移动终端播放欢快的音乐或者搞笑的视频动画等。具体的可以在本步骤之前，或者是本步骤之前的任一步骤之前，根据需求设定移动终端对应不同情绪标签需要执行的操作，对此本发明实施例不加以限定。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
而且，在本发明实施例中，是利用用户的面部表情情绪特征和语音数据情绪特征构建初始情绪特征集，并且可以在利用情绪分类模型识别用户的表情标签之前，还会对情绪分类模型进行训练，从而使情绪分类模型的准确率更高。
实施例三
详细介绍本发明实施例提供的一种情绪识别方法。
参照图3，示出了本发明实施例中一种情绪识别方法的步骤流程图。
步骤301，获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征。
步骤302，利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率。
如前述，可以根据各维度的特征缺失时情绪分类模型的准确率确定相应维度的重要性。因此在本发明实施例中，可以利用包含各维度特征的样本数据，计算各维度的特征缺失时情绪分类模型的准确率。
具体的可以利用情绪分类模型识别任一维度缺失时用户的情绪标签是否与已知的用户情绪标签一致的比例。例如，利用情绪分类模型识别10个缺失同一维度的情绪特征集合的情绪标签，如果识别结果中有8个对应与已知的各个情绪特征集合的情绪标签一致，那么可以得知该维度的特征缺失时情绪分类模型的准确率为8/10，即0.8。
另外，在本发明实施例中，为了避免其他因素的干扰，保证计算得到的各维度的特征缺失时情绪分类模型的准确率本身的准确性。在计算某一维度的特征缺失时情绪分类模型的准确率之前，可以先利用至少一个已知情绪标签且对应维度的特征缺失的训练集训练该情绪分类模型。
步骤303，根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值。
在确定了各维度的特征缺失时情绪分类模型的准确率之后，即可以根据准确率计算各维度的权重。如前述，对应某一维度的特征缺失时的准确率越高，则说明该维度的特征对情绪识别的影响越小，因此该维度的权重也越小。也即各维度的权重与该维度缺失时的准确率成反比。那么，在本发明实施例中，可以取各维度缺失时的准确率的倒数作为对应各维度的权重，当然也可以采用其他任何可用方式确定各维度的权重，对此本发明实施例不加以限定。
另外，在本发明实施例中，可以在本步骤之前，或者是本步骤之前的任一步骤之前根据需求设定指定维度的权重需要满足的预设权重阈值，那么在确定各维度的权重之后即可以判断各维度的权重是否大于预设权重阈值。如果任一权重大于预设权重阈值，则确定该权重对应的维度为指定维度。
可选地，在本发明实施例中，所述步骤303进一步可以包括：根据所述准确率，利用层次分析算法计算各维度的权重。
在本发明实施例中，可以根据准确率利用层次分析算法计算各维度的权重。以上述的初始情绪特征集x1,x2,...xn1,y1,y2,...yn2为例，具体计算过程如下：
设定任一维度i缺失时对应的情绪分类模型准确率为accui，那么可以构造层次分析算法的成对比较矩阵：
其中，
从理论上分析得到，如果A是完全一致的成对比较矩阵，应该有aijajk＝aik，其中1≤i,j,k≤(n1+n2)。但实际上在构造成对比较矩阵时要求满足上述众多等式是不可能的。因此退而要求成对比较矩阵有一定的一致性，即可以允许成对比较矩阵存在一定程度的不一致性。
在层次分析法中，利用对应于成对比较矩阵A的最大特征值λ的特征向量作为权重向量w，即Aw＝λw。
由于λ连续的依赖于aij，则λ比A的列数或行数，即n1与n2之和大的越多，A的不一致性越严重。用最大特征根对应的特征向量作为被比较因素对上层某因素影响程度的权重向量，其不一致程度越大，引起的判断误差越大。因而可以用λ-n数值的大小来衡量A的不一致程度。
定义一致性指标:
其中，CI越大，不一致越严重。
定义随机一致性指标RI：它的值与n1+n2的关系如表(1)：
表(1)
| n1+n2 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| RI | 0 | 0 | 0.58 | 0.90 | 1.12 | 1.24 | 1.32 | 1.41 | 1.45 |
定义一致性比率：
一般，当一致性比率小于0.1时，认为A的不一致程度在容许范围之内，有满意的一致性，通过一致性检验。那么可用其归一化特征向量作为权重向量。
步骤304，如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度。
步骤305，将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
步骤306，利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
而且，在本发明实施例中，根据各维度的特征缺失时情绪分类模型的准确率计算各维度的权重，并且根据各维度的权重确定指定维度，从而可以体高精简情绪特征集的准确性，进而提高情绪识别的准确率。
实施例四
详细介绍本发明实施例提供的一种情绪识别方法。
参照图4，示出了本发明实施例中一种情绪识别方法的步骤流程图。
步骤401，获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征。
步骤402，构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集。
在本发明实施例中，为了计算各维度的特征缺失时情绪分类模型的准确率，可以先分别构建该情绪分类模型相对应的训练集合和测试集合。其中，训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述集合中包含至少一个已知情绪标签的测试情绪特征集。需要说明的是，在本发明实施例中设定各个训练情绪特征集和测试情绪特征集与初始情绪特征集合中各维度对应的特征类型是一致的，但是具体的取值可以不一致。例如初始情绪特征集合中各维度对应的特征类型依次分别为眼睛的大小、嘴巴是否张开、声音的频率、语速，那么训练情绪特征集和测试情绪特征集各维度对应的特征类型也依次为眼睛的大小、嘴巴是否张开、声音的频率、语速。
步骤403，删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型。
在本发明实施例中，需要计算各个维度的特征缺失时情绪分类模型的准确率。因此需要删除训练集合中各个训练情绪特征集任一维度的特征，并利用删除该特征的各个训练情绪特征集训练情绪分类模型。
例如从第一维度开始，首先删除训练集合中各个训练情绪特征集第一维度的特征，并利用删除第一维度的特征的各个训练情绪特征集训练情绪分类模型。
步骤404，删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类。
在利用删除任一维度的特征的各个训练情绪特征集训练完情绪分类模型之后，即可以删除测试集合中各个测试情绪特征集同一维度的特征，并利用情绪分类模型对删除该特征的测试情绪特征集进行分类。
例如，在利用删除第一维度的特征的各个训练情绪特征集训练情绪分类模型之后，删除测试集合中各个测试情绪特征集中第一维度的特征，并利用此时训练后的情绪分类模型对删除第一维度特征的测试情绪特征集进行分类。在本发明实施例中，可以按照一定顺序，从指定维度开始执行依次执行步骤403-404直至最后一个维度，从而可以得到各维度缺失时情绪分类模型的准确率。
步骤405，计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。
例如，计算利用删除第一维度的特征的各个训练情绪特征集训练后的情绪分类模型，对删除第一维度的特征的测试情绪特征集进行分类的准确度即为第一维度的特征缺失时情绪分类模型的准确率。
步骤406，根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值。
步骤407，如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度。
步骤408，将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
步骤409，将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集。
在本发明实施例中，在利用情绪分类模型对用户的精简情绪特征集进行识别以确定用户的情绪标签之前，可以利用步骤402中构建的测试集合中的各个测试情绪特征集训练所述。但是用户的精简情绪特征集是只保留特定维度的初始情绪特征集，因此在本发明实施例中，为了训练的准确性可以先将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集。
步骤410，以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
其中，所述精简测试情绪特征集对应的情绪标签即为该精简测试情绪特征集对应的测试情绪特征集的情绪标签。
步骤411，利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
另外，在本发明实施例中，可以构建情绪分类模型相对应的训练集合和测试集合，并且利用训练集合中的各个训练情绪特征集和测试集合中的各个测试情绪特征集计算各个维度的特征缺失时情绪分类模型的准确率，而且可以在利用情绪分类模型对精简情绪特征集进行识别以确定用户的情绪标签之前，利用测试集合中的各个测试情绪特征集对情绪分类模型进行训练，从而可以进一步提高情绪识别的准确性。
实施例五
详细介绍本发明实施例提供的一种移动终端。
参照图5，示出了本发明实施例中一种移动终端的结构示意图。
本发明实施例的移动终端500包括：初始情绪特征集获取模块501、精简情绪特征集获取模块502和情绪标签确定模块503。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
初始情绪特征集获取模块501，用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征。
精简情绪特征集获取模块502，用于将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
情绪标签确定模块503，用于利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
实施例六
详细介绍本发明实施例提供的一种移动终端。
参照图6，示出了本发明实施例中一种移动终端的结构示意图。
本发明实施例的移动终端600包括：初始情绪特征集获取模块601、指定维度确定模块602、精简情绪特征集获取模块603、情绪分类模型优化训练模块604、情绪标签确定模块605和控制操作模块606。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
初始情绪特征集获取模块601，用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征。可选地，在本发明实施例中，所述初始情绪特征集获取模块601，进一步可以包括：特征集获取子模块6011，用于获取所述用户的面部表情特征集以及语音数据特征集。初始情绪特征集生成子模块6012，用于按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
指定维度确定模块602，用于利用包含各维度特征的样本数据，计算各维度的特征的重要性，以确定指定维度。可选地，在本发明实施例中，所述指定维度确定模602，进一步可以包括：准确率计算子模块6021，用于利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率。可选地，在本发明实施例中，所述准确率计算子模块6021，进一步可以包括：集合创建单元60211，用于构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集。情绪分类模型训练单元60212，用于删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型。分类单元60213，用于删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类。准确率计算单元60214，用于计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。可选地，在本发明实施例中，所述准确率计算单元60214，还可以用于：根据所述准确率，利用层次分析算法计算各维度的权重。权重计算判断子模块6022，用于根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值。指定维度确定子模块6023，用于如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度。
精简情绪特征集获取模块603，用于将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集。
情绪分类模型优化训练模块604，用于利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。可选地，在本发明实施例中，所述情绪分类模型优化训练模块604，进一步可以包括：精简测试情绪特征集生成子模块6041，用于将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集。情绪分类模型优化训练子模块6042，用于以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
情绪标签确定模块605，用于利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
控制操作模块606，用于根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
而且，在本发明实施例中，根据各维度的特征缺失时情绪分类模型的准确率计算各维度的权重，并且根据各维度的权重确定指定维度，从而可以体高精简情绪特征集的准确性，进而提高情绪识别的准确率。
另外，在本发明实施例中，可以构建情绪分类模型对相应的训练集合和测试集合，并且利用训练集合中的各个训练情绪特征集和测试集合中的各个测试情绪特征集计算各个维度的特征缺失时情绪分类模型的准确率，而且可以在利用情绪分类模型对精简情绪特征集进行识别以确定用户的情绪标签之前，利用测试集合中的各个测试情绪特征集对情绪分类模型进行训练，从而可以进一步提高情绪识别的准确性。
实施例七
详细介绍本发明实施例提供的一种移动终端。
参照图7，示出了本发明实施例中一种移动终端的框图。
图7所示的移动终端700包括：至少一个处理器701、存储器702、至少一个网络接口704和用户接口703。移动终端700中的各个组件通过总线系统705耦合在一起。可理解，总线系统705用于实现这些组件之间的连接通信。总线系统705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统705。
其中，用户接口703可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。
可以理解，本发明实施例中的存储器702可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(ProgrammableROM，PROM)、可擦除可编程只读存储器(ErasablePROM，EPROM)、电可擦除可编程只读存储器(ElectricallyEPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(RandomAccessMemory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(StaticRAM，SRAM)、动态随机存取存储器(DynamicRAM，DRAM)、同步动态随机存取存储器(SynchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleDataRateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(SynchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambusRAM，DRRAM)。本发明实施例描述的系统和方法的存储器702旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器702存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统7021和应用程序7022。
其中，操作系统7021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022，包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序7022中。
在本发明实施例中，通过调用存储器702存储的程序或指令，具体的，可以是应用程序7022中存储的程序或指令，处理器701用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(FieldProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成上述方法的步骤。
可以理解的是，本发明实施例描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecificIntegratedCircuits，ASIC)、数字信号处理器(DigitalSignalProcessing，DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本发明实施例所述功能的模块(例如过程、函数等)来实现本发明实施例所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选地，作为另一个实施例，处理器701还用于：利用包含各维度特征的样本数据，计算各维度的特征的重要性，以确定指定维度。
可选地，作为另一个实施例，处理器701还用于：利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率；根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值；如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度。
可选地，处理器701还用于：构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集；删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型；删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类；计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。
可选地，处理器701还用于：根据所述准确率，利用层次分析算法计算各维度的权重。
可选地，处理器701还用于：利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。
可选地，处理器701还用于：将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集；以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
可选地，处理器701还用于：获取所述用户的面部表情特征集以及语音数据特征集；按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
可选地，处理器701还用于：根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
移动终端700能够实现前述实施例中移动终端实现的各个过程，为避免重复，这里不再赘述。
实施例八
图8是本发明另一个实施例的移动终端的结构示意图。具体地，图8中的移动终端可以为手机、平板电脑、个人数字助理(PersonalDigital Assistant，PDA)、或车载电脑等。
图8中的移动终端包括射频(RadioFrequency，RF)电路810、存储器820、输入单元830、显示单元840、处理器860、音频电路870、WiFi(WirelessFidelity)模块880和电源890。
其中，输入单元830可用于接收用户输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的信号输入。具体地，本发明实施例中，该输入单元830可以包括触控面板831。触控面板831，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板831可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给该处理器860，并能接收处理器860发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831，输入单元830还可以包括其他输入设备832，其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中，显示单元840可用于显示由用户输入的信息或提供给用户的信息以及移动终端的各种菜单界面。显示单元840可包括显示面板841，可选的，可以采用LCD或有机发光二极管(OrganicLight-EmittingDiode，OLED)等形式来配置显示面板841。
应注意，触控面板831可以覆盖显示面板841，形成触摸显示屏，当该触摸显示屏检测到在其上或附近的触摸操作后，传送给处理器860以确定触摸事件的类型，随后处理器860根据触摸事件的类型在触摸显示屏上提供相应的视觉输出。
触摸显示屏包括应用程序界面显示区及常用控件显示区。该应用程序界面显示区及该常用控件显示区的排列方式并不限定，可以为上下排列、左右排列等可以区分两个显示区的排列方式。该应用程序界面显示区可以用于显示应用程序的界面。每一个界面可以包含至少一个应用程序的图标和/或widget桌面控件等界面元素。该应用程序界面显示区也可以为不包含任何内容的空界面。该常用控件显示区用于显示使用率较高的控件，例如，设置按钮、界面编号、滚动条、电话本图标等应用程序图标等。
其中，处理器860是移动终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在第一存储器821内的软件程序和/或模块，以及调用存储在第二存储器822内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器860可包括一个或多个处理单元。
在本发明实施例中，通过调用存储该第一存储器821内的软件程序和/或模块和/或该第二存储器822内的数据，处理器860用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。
可选地，作为另一个实施例，处理器860还用于：利用包含各维度特征的样本数据，计算各维度的特征的重要性，以确定指定维度。
可选地，作为另一个实施例，处理器860还用于：利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率；根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值；如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度。
可选地，处理器860还用于：构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集；删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型；删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类；计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。
可选地，处理器860还用于：根据所述准确率，利用层次分析算法计算各维度的权重。
可选地，处理器860还用于：利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。
可选地，处理器860还用于：将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集；以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
可选地，处理器860还用于：获取所述用户的面部表情特征集以及语音数据特征集；按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
可选地，处理器860还用于：根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
在本发明实施例中，通过获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签。从而可以对用户的情绪特征信息进行筛选，保留其中比较重要的特征，在保证情绪识别准确性的同时减少了计算量，提高了情绪识别的效率以及适用性。
而且，在本发明实施例中，根据各维度的特征缺失时情绪分类模型的准确率计算各维度的权重，并且根据各维度的权重确定指定维度，从而可以体高精简情绪特征集的准确性，进而提高情绪识别的准确率。
另外，在本发明实施例中，可以构建对应情绪分类模型的训练集合和测试集合，并且利用训练集合中的各个训练情绪特征集和测试集合中的各个测试情绪特征集计算各个维度的特征缺失时情绪分类模型的准确率，而且可以在利用情绪分类模型对精简情绪特征集进行识别以确定用户的情绪标签之前，利用测试集合中的各个测试情绪特征集对情绪分类模型进行训练，从而可以进一步提高情绪识别的准确性。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (14)
1.一种情绪识别方法，所述方法应用于移动终端，其特征在于，包括：
获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；
利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算情绪分类模型的准确率；
根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值；其中，所述准确率的倒数等于所述准确率对应的维度的权重；
如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度；
将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；
利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签；
其中，所述利用包含各维度的特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率的步骤，包括：
构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集；
删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型；
删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类；
计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。
2.根据权利要求1所述的方法，其特征在于，所述根据所述准确率计算各维度的权重的步骤，包括：
根据所述准确率，利用层次分析算法计算各维度的权重。
3.根据权利要求1所述的方法，其特征在于，在所述利用情绪分类模型对所述精简情绪特征集进行识别并确定所述用户的情绪标签的步骤之前，还包括：
利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。
4.根据权利要求3所述的方法，其特征在于，所述利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型的步骤，包括：
将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集；
以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
5.根据权利要求1所述的方法，其特征在于，所述初始情绪特征集中包含面部表情特征，和/或语音数据特征。
6.根据权利要求1所述的方法，其特征在于，所述初始情绪特征集中包含面部表情特征和语音数据特征，所述获取移动终端用户的初始情绪特征集的步骤，包括：
获取所述用户的面部表情特征集以及语音数据特征集；
按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
7.根据权利要求1所述的方法，其特征在于，在所述利用情绪分类模型对所述精简情绪特征集进行识别并确定所述用户的情绪标签的步骤之后，还包括：
根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
8.一种移动终端，其特征在于，包括：
初始情绪特征集获取模块，用于获取移动终端用户的初始情绪特征集；所述初始情绪特征集包括N维特征；
指定维度确定模块，用于利用包含各维度特征的样本数据，计算各维度的特征的重要性，以确定指定维度；
精简情绪特征集获取模块，用于将所述初始情绪特征集中非指定的维度特征删除，得到精简情绪特征集；
情绪标签确定模块，用于利用情绪分类模型对所述精简情绪特征集进行识别，并确定所述用户的情绪标签；
其中，所述指定维度确定模块，包括：
准确率计算子模块，用于利用包含各维度特征的样本数据，在各维度的特征缺失时，分别计算所述情绪分类模型的准确率；
权重计算判断子模块，用于根据所述准确率计算各维度的权重，并判断所述权重是否大于预设权重阈值；其中，所述准确率的倒数等于所述准确率对应的维度的权重；
指定维度确定子模块，用于如果所述权重大于预设权重阈值，则确定所述权重对应的维度为指定维度；
其中，所述准确率计算子模块，包括：
集合创建单元，用于构建与所述情绪分类模型相对应的训练集合和测试集合；所述训练集合中包含至少一个已知情绪标签的训练情绪特征集，所述测试集合中包含至少一个已知情绪标签的测试情绪特征集；
情绪分类模型训练单元，用于删除所述训练集合中各个训练情绪特征集任一维度的特征，并利用删除所述特征的各个训练情绪特征集训练所述情绪分类模型；
分类单元，用于删除所述测试集合中各个测试情绪特征集同一维度的特征，并利用所述情绪分类模型对删除所述特征的测试情绪特征集进行分类；
准确率计算单元，用于计算所述分类的分类结果准确率即为所述维度的特征缺失时所述情绪分类模型的准确率。
9.根据权利要求8所述的移动终端，其特征在于，所述准确率计算单元，还用于根据所述准确率，利用层次分析算法计算各维度的权重。
10.根据权利要求8所述的移动终端，其特征在于，还包括：
情绪分类模型优化训练模块，用于利用至少一个已知情绪标签的情绪特征集优化训练所述情绪分类模型。
11.根据权利要求10所述的移动终端，其特征在于，所述情绪分类模型优化训练模块，包括：
精简测试情绪特征集生成子模块，用于将各个测试情绪特征集中非指定的维度特征删除，得到精简测试情绪特征集；
情绪分类模型优化训练子模块，用于以所述精简测试情绪特征集中各维度的特征作为输入，所述精简测试情绪特征集对应的情绪标签作为输出，训练所述情绪分类模型。
12.根据权利要求8所述的移动终端，其特征在于，所述初始情绪特征集中包含面部表情特征，和/或语音数据特征。
13.根据权利要求8所述的移动终端，其特征在于，所述初始情绪特征集中包含面部表情特征和语音数据特征，所述初始情绪特征集获取模块，包括：
特征集获取子模块，用于获取所述用户的面部表情特征集以及语音数据特征集；
初始情绪特征集生成子模块，用于按照预设规则将所述面部表情特征集和语音数据特征集合并得到初始情绪特征集。
14.根据权利要求8所述的移动终端，其特征在于，还包括：
控制操作模块，用于根据所述情绪标签控制所述移动终端执行对应所述情绪标签的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610616982.6A CN106293074B (zh) | 2016-07-29 | 2016-07-29 | 一种情绪识别方法和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610616982.6A CN106293074B (zh) | 2016-07-29 | 2016-07-29 | 一种情绪识别方法和移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106293074A CN106293074A (zh) | 2017-01-04 |
| CN106293074B true CN106293074B (zh) | 2020-02-21 |
Family
ID=57663435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610616982.6A Active CN106293074B (zh) | 2016-07-29 | 2016-07-29 | 一种情绪识别方法和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106293074B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106992000B (zh) * | 2017-04-07 | 2021-02-09 | 安徽建筑大学 | 一种基于预测的多特征融合的老人语音情感识别方法 |
| CN109254669B (zh) * | 2017-07-12 | 2022-05-10 | 腾讯科技（深圳）有限公司 | 一种表情图片输入方法、装置、电子设备及系统 |
| CN108765011A (zh) * | 2018-05-30 | 2018-11-06 | 平安科技（深圳）有限公司 | 建立用户画像和建立状态信息分析模型的方法和装置 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
| CN109472207B (zh) * | 2018-10-11 | 2023-06-30 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、设备及存储介质 |
| CN110288077B (zh) * | 2018-11-14 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 一种基于人工智能的合成说话表情的方法和相关装置 |
| CN109657950B (zh) * | 2018-12-07 | 2020-11-24 | 泰康保险集团股份有限公司 | 层次分析方法、装置、设备及计算机可读存储介质 |
| CN109785861B (zh) * | 2018-12-29 | 2021-07-30 | 惠州市德赛西威汽车电子股份有限公司 | 基于行车数据的多媒体播放控制方法、存储介质及终端 |
| CN109829157B (zh) * | 2019-01-21 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 文本情绪呈现方法、文本情绪呈现装置以及存储介质 |
| CN110287156B (zh) * | 2019-06-28 | 2021-12-21 | 维沃移动通信有限公司 | 文件处理方法及移动终端 |
| CN110400173A (zh) * | 2019-07-23 | 2019-11-01 | 中译语通科技股份有限公司 | 市场情绪监测体系建立方法和系统 |
| CN114098729B (zh) * | 2020-08-27 | 2023-11-10 | 中国科学院心理研究所 | 基于心脏间期的情绪状态客观测量方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566740A (zh) * | 2010-12-16 | 2012-07-11 | 富泰华工业（深圳）有限公司 | 具有情绪识别功能的电子装置及其输出控制方法 |
| CN104035558A (zh) * | 2014-05-30 | 2014-09-10 | 小米科技有限责任公司 | 终端设备控制方法及装置 |
| CN104835508A (zh) * | 2015-04-01 | 2015-08-12 | 哈尔滨工业大学 | 一种用于混合语音情感识别的语音特征筛选方法 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN105719664A (zh) * | 2016-01-14 | 2016-06-29 | 盐城工学院 | 基于似然概率模糊熵的紧张状态下语音情绪自动识别方法 |
-
2016
- 2016-07-29 CN CN201610616982.6A patent/CN106293074B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102566740A (zh) * | 2010-12-16 | 2012-07-11 | 富泰华工业（深圳）有限公司 | 具有情绪识别功能的电子装置及其输出控制方法 |
| CN104035558A (zh) * | 2014-05-30 | 2014-09-10 | 小米科技有限责任公司 | 终端设备控制方法及装置 |
| CN104835507A (zh) * | 2015-03-30 | 2015-08-12 | 渤海大学 | 一种串并结合的多模式情感信息融合与识别方法 |
| CN104835508A (zh) * | 2015-04-01 | 2015-08-12 | 哈尔滨工业大学 | 一种用于混合语音情感识别的语音特征筛选方法 |
| CN105719664A (zh) * | 2016-01-14 | 2016-06-29 | 盐城工学院 | 基于似然概率模糊熵的紧张状态下语音情绪自动识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106293074A (zh) | 2017-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106293074B (zh) | 一种情绪识别方法和移动终端 | |
| US10275022B2 (en) | Audio-visual interaction with user devices | |
| CN114155543B (zh) | 神经网络训练方法、文档图像理解方法、装置和设备 | |
| CN110297973B (zh) | 一种基于深度学习的数据推荐方法、装置及终端设备 | |
| CN109345553B (zh) | 一种手掌及其关键点检测方法、装置和终端设备 | |
| US20100153890A1 (en) | Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices | |
| US11734899B2 (en) | Headset-based interface and menu system | |
| US11709593B2 (en) | Electronic apparatus for providing a virtual keyboard and controlling method thereof | |
| CN108227564B (zh) | 一种信息处理方法、终端及计算机可读介质 | |
| CN111160288A (zh) | 手势关键点检测方法、装置、计算机设备和存储介质 | |
| Schweigert et al. | Knuckletouch: Enabling knuckle gestures on capacitive touchscreens using deep learning | |
| CN112364799A (zh) | 一种手势识别方法及装置 | |
| JP2011081778A (ja) | ディスプレイ非依存のコンピュータによるガイダンス方法および装置 | |
| CN111104572A (zh) | 用于模型训练的特征选择方法、装置及电子设备 | |
| WO2016018682A1 (en) | Processing image to identify object for insertion into document | |
| CN110738261A (zh) | 图像分类和模型训练方法、装置、电子设备及存储介质 | |
| CN107077272B (zh) | 响应于用户动作而确定启用直接操纵的命中测试 | |
| CN110837596B (zh) | 一种智能推荐方法、装置、计算机设备及存储介质 | |
| JP6734323B2 (ja) | 対象物の類似度判定のためのプログラム、システム、及び方法 | |
| KR102367853B1 (ko) | 맞춤형 스튜디오 구축 방법 | |
| US12051205B1 (en) | Systems and methods for interacting with a large language model | |
| US20230206288A1 (en) | Systems and methods for utilizing augmented reality and voice commands to capture and display product information | |
| CN118196543B (zh) | 一种应用于医学图像的类别预测方法及相关设备 | |
| US20240171782A1 (en) | Live streaming method and system based on virtual image | |
| US20220358113A1 (en) | Method of displaying data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |