CN109446968A - 一种基于情绪调整学习情况的方法及系统 - Google Patents

Abstract

本发明提供了一种基于情绪调整学习情况的方法及系统，其方法包括：获取人脸图像样本和人脸图像样本对应的情绪，提取人脸图像样本中的面部表情特征，根据面部表情特征和情绪建立人脸表情库；获取用户人脸图像，提取用户人脸图像中的面部表情特征和人脸表情库中的面部表情特征进行匹配，识别用户情绪；根据用户情绪识别用户对当前学习情况的态度；根据态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。本发明在用户学习的时候通过人脸图像识别用户的情绪，判断出用户对当前正在学习的内容的态度，然后根据态度对学习情况进行调整，避免用户在学习时长时间陷入消极的态度中进而产生厌学的想法。

Description

一种基于情绪调整学习情况的方法及系统

技术领域

本发明涉及网络学习技术领域，尤指一种基于情绪调整学习情况的方法及系统。

背景技术

在当今社会，随着互联网以及智能终端的发展，通过网络的教育学习方式也是备受青睐，用户通过网络学习不再受到地理位置的限制，并且通过网络学习获取到的知识更加广泛全面。

而且对于部分用户不方便和老师实时交流，只能通过视频、语音等资料进行学习，或者在课后还需要通过进一步学习巩固，那么通过网络学习的学习效率是用户关注的重点。

网络学习中，网络课程等各类学习资料都是预先根据教学者的经验编排的，用户在网络学习的过程中，只能按照预先编排好的网络课程进行学习，而用户在学习的过程中，伴随情绪不同和变化，对学习内容的接纳程度会有差异，如果不针对当时情绪进行判定进而采取相应的措施，一方面可能降低用户的学习效率，另一方面容易使用户对学习内容产生反感和厌倦。

发明内容

本发明的目的是提供一种基于情绪调整学习情况的方法及系统，实现在用户学习的时候通过人脸图像识别用户的情绪，判断出用户对当前正在学习的内容的态度，然后根据态度对学习情况进行调整，避免用户在学习时长时间陷入消极的态度中进而产生厌学的想法。

本发明提供的技术方案如下：

本发明提供一种基于情绪调整学习情况的方法，其特征在于，包括：

获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库；

获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述人脸表情库中的面部表情特征进行匹配，识别用户情绪；

根据所述用户情绪识别用户对当前学习情况的态度；

根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

进一步的，所述的获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库之前还包括：

获取语音信息样本和所述语音信息样本对应的语义；

解析所述语音信息样本所包含的语音特征；

根据所述语音信息样本、所述语音信息样本对应的语义和所述语音特征建立语音数据库。

进一步的，还包括：

当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征；

将所述用户语音特征和所述语音数据库中的语音特征进行匹配得到相应的用户语义；

根据所述用户语义识别用户语音意图；

所述的根据所述用户情绪识别用户对当前学习情况的态度具体包括：

根据所述用户语音意图和所述用户情绪识别用户对当前学习情况的态度。

进一步的，所述的根据所述用户语音意图和所述用户情绪识别用户对当前学习情况的态度具体包括：

当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度一致时，任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度；

当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度不一致时，选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

进一步的，所述的根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习具体包括：

若所述态度表示为积极，则保持以当前学习方式显示学习内容；

若所述态度表示为非积极，则逐一切换学习方式，持续监测用户的人脸图像，并重新识别用户对学习情况的态度；

当切换至某一学习方式之后，若所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容；

当切换完所有的学习方式之后，若所述重新识别的态度为非积极，则逐一切换学习内容，持续监测用户的人脸图像，再次重新识别用户对学习情况的态度；

当切换至某一学习内容之后，若所述再次重新识别的态度为积极，则选取相应的学习方式显示切换后的学习内容；

当切换完所有的学习内容之后，若所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。

本发明还提供一种基于情绪调整学习情况的系统，其特征在于，包括：

表情库建立模块，获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库；

第一匹配模块，获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述表情库建立模块建立的所述人脸表情库中的面部表情特征进行匹配，识别用户情绪；

第一识别模块，根据所述第一匹配模块识别的所述用户情绪识别用户对当前学习情况的态度；

处理模块，根据所述第一识别模块识别的所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

进一步的，还包括：

获取模块，获取语音信息样本和所述语音信息样本对应的语义；

解析模块，解析所述获取模块获取的所述语音信息样本所包含的语音特征；

数据库建立模块，根据所述获取模块获取的所述语音信息样本、所述语音信息样本对应的语义和所述解析模块解析的所述语音特征建立语音数据库。

进一步的，还包括：

第二识别模块，当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征；

第二匹配模块，将所述第二识别模块识别的所述用户语音特征和所述数据库建立模块建立的所述语音数据库中的语音特征进行匹配得到相应的用户语义；

第三识别模块，根据所述第二匹配模块匹配的所述用户语义识别用户语音意图；

所述第一识别模块，根据所述第三识别模块识别的所述用户语音意图和所述第一匹配模块识别的所述用户情绪识别用户对当前学习情况的态度。

进一步的，所述第一识别模块具体包括：

判断单元，判断所述第三识别模块识别的所述用户语音意图表示的对当前学习情况的态度和所述第一匹配模块识别的所述用户情绪表示的对当前学习情况的态度是否一致；

选取单元，若一致，则任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度；

所述选取单元，若不一致，则选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

进一步的，所述处理模块具体包括：

处理单元，若所述第一识别模块识别的所述态度表示为积极，则保持以当前学习方式显示学习内容；

所述处理单元，若所述第一识别模块识别的所述态度表示为非积极，则切换学习方式；

识别单元，当切换至下一学习方式之后，重新获取用户的人脸图像，并重新识别用户对学习情况的态度；

所述处理单元，当切换至某一学习方式之后，若所述识别单元识别所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容；

所述处理单元，当切换完所有的学习方式之后，若所述识别单元识别所述重新识别的态度为非积极，则切换学习内容；

所述识别单元，当切换至下一学习内容之后，再次重新获取用户的人脸图像，并再次重新识别用户对学习情况的态度；

所述处理单元，当切换至某一学习内容之后，若所述识别单元识别所述再次重新识别的态度为积极，则选取相应的学习方式显示切换后的学习内容；

所述处理单元，当切换完所有的学习方式内容之后，若所述识别单元识别所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。

通过本发明提供的一种基于情绪调整学习情况的方法及系统，能够带来以下至少一种有益效果：

1、本发明中，通过提取大量的人脸图像样本中面部表情特征建立人脸表情库，将实时获取的用户人脸图像和人脸表情库进行匹配，从而准确地识别出用户的情绪。

2、本发明中，结合通过人脸图像识别的用户情绪和通过语音信息识别的用户语音意图两个方面准确地判断出用户对当前学习状况的态度，减小了误判断的几率。

3、本发明中，通过用户对当前学习状况的不同态度采取不同的措施调整学习情况或者进行聊天引导或者提示用户休息预设时长再进行学习，一方面提高学习的效率，另一方面避免放任用户陷入对学习的消极态度中进而产生厌学的情绪。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于情绪调整学习情况的方法及系统的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明一种基于情绪调整学习情况的方法的第一个实施例的流程图；

图2、图3是本发明一种基于情绪调整学习情况的方法的第二个实施例的流程图；

图4是本发明一种基于情绪调整学习情况的方法的第三个实施例的流程图；

图5是本发明一种基于情绪调整学习情况的系统的第四个实施例的结构示意图；

图6是本发明一种基于情绪调整学习情况的系统的第五个实施例的结构示意图；

图7是本发明一种基于情绪调整学习情况的系统的第六个实施例的结构示意图。

附图标号说明：

100基于情绪调整学习情况的系统

110表情库建立模块

120第一匹配模块

130第一识别模块 131判断单元 132选取单元

140处理模块 141处理单元 142识别单元

150获取模块

160解析模块

170数据库建立模块

180第二识别模块

190第二匹配模块

195第三识别模块

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

本发明的第一实施例，如图1所示，一种基于情绪调整学习情况的方法，包括：

S1000获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

具体的，获取大量的人脸图像样本，以及人脸图像样本对应的情绪，根据情绪的种类将所有的人脸图像样本划分为两大类：积极和非积极，每个大类下按照情绪的具体种类划分为各小类，其中类似开心、笑、感兴趣等正面情绪的人脸表情划分为积极大类，其余的类似痛苦、厌恶、讨厌、哭等负面情绪的人脸表情以及类似出神等没有特定指向的表情划分为非积极大类。其中，上述积极类别和非积极类别的情绪分别对应的用户对当前的学习情况感兴趣和不感兴趣。

提取人脸图像样本中的面部表情特征，分别统计每个情绪小类中包含的所有的人脸图像样本中的面部表情特征，分析每个面部表情特征出现的频次，将出现频次排列前预设数量的面部表情特征作为该情绪小类应该具有的面部表情特征。

对于两大类积极和非积极，同样可以采取上述的方法分析出该大类情绪具有的面部表情特征。其中，由于人脸图像样本数量以及样本之间的差异性，可能导致提取的面部表情特征的情形各不相同，因此每个类别选取该类别的面部表情特征时的预设数量可以相同也可以不同。

根据选取的每个类别的面部表情特征以及对应的类别建立人脸表情库，用户也可以在后续的使用过程中持续更新人脸表情库，丰富人脸表情库的数据从而增加情绪判断的准确性。

S2000获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

具体的，在用户学习过程中，每隔预设时长获取用户人脸图像，提取用户人脸图像中的面部表情特征，然后将面部表情特征和人脸表情库的面部表情进行匹配，进而识别用户的情绪。

对多个面部表情特征进行匹配可能出现部分面部表情特征符合某一类情绪，但是另一部分面部表情特征可能属于另一类情绪，如果都属于同一大类的情绪，则识别用户的情绪为该大类。如果不属于同一大类的情绪，则比较分别属于两个大类的面部表情的数量，选择数量较多的大类作为用户的情绪，或者比较提取的用户人脸图像中的面部表情特征在各大类中匹配符合的比例，选择比例较高的大类作为用户的情绪。

S6000根据所述用户情绪识别用户对当前学习情况的态度。

具体的，根据用户人脸图像中的面部表情特征和人脸表情库中的面部表情特征进行匹配，无论对比结果得出的用户情绪是小类别的具体情绪还是大类别的情绪，最后都能得到用户当前的情绪属于积极或非积极。

当用户当前情绪为积极时，可以判断用户对当前的学习情况感兴趣，对学习也是积极的态度。当用户当前情绪为非积极时，可以判断用户对当前的学习情况不感兴趣甚至是反感的，对当前继续进行学习也是非积极的态度。

S7000根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

具体的，根据上述识别出的用户对当前学习情况的态度是积极还是非积极采取相应的措施，当态度是积极时，认为用户对当前学习情况感兴趣，因此保持当前的学习情况不变。当态度是非积极时，认为用户对当前的学习情况不感兴趣甚至是反感的，因此对当前的学习情况进行调整，或者进行聊天引导，例如谈及用户感兴趣的话题使用户从当前非积极的情绪中调整过来再进行学习，或者提示建议用户休息预设时长之后例如运动或做一些其它的放松活动再进行学习。

本实施例中，通过提取大量的人脸图像样本中面部表情特征建立人脸表情库，将实时获取的用户人脸图像和人脸表情库进行匹配，从而准确地识别出用户的情绪。然后根据用户的情绪识别用户对当前学习状况的的态度，不同态度采取不同的措施，一方面提高学习的效率，另一方面避免放任用户陷入对学习的消极态度中进而产生厌学的情绪。

本发明第二实施例，是上述第一实施例的优化实施例，如图2、图3所示，包括：

S0100获取语音信息样本和所述语音信息样本对应的语义。

具体的，获取大量的语音信息样本和语音样本对应的语义，该语义不需要说明语音信息样本具体地内容，而只需要表明用户的情绪，例如用户开心、快乐、满意或者不满、讨厌、厌恶等，因此所有的语音信息样本的语义类别可以分为两大类：积极和非积极。

S0200解析所述语音信息样本所包含的语音特征。

具体的，解析所有的语音信息样本得到其所包含的语音特征，例如语气、语调或者表达用户情绪的词语等。分别统计上述两类中的语音信息样本的语音特征，分析每个语音特征出现的频次，将出现频次排列前预设数量的语音特征作为该类语音应该具有的语音特征。其中，相比于具有共性的语气、语调等，语音特征中表达用户情绪的词语出现的频次可能不高，系统智能选取语音特征时可能将其筛选掉，因此用户可以自己选择保留或增加语音特征。另外，在选取语音特征的过程中，应当尽量保证两个语义类别中没有相同的语音特征，从而避免后续无法准确区分语义类别的情形。

S0300根据所述语音信息样本、所述语音信息样本对应的语义和所述语音特征建立语音数据库。

具体的，根据选取的每个语义类别的语音特征以及对应的语义类别建立语音数据库，用户也可以在后续的使用过程中持续更新语音数据库，丰富语音数据库的数据从而增加用户语音包含的情绪的判断的准确性。

S1000获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

S2000获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

S3000当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征。

具体的，在用户的学习过程中，要实时监测用户的状态，当发现用户发出声音时，立即获取用户语音信息，识别用户语音信息中包含的用户语音特征，其中，上述用户语音信息不一定是具有实际语义例如说明某件事等，因为即便是无意义的感叹词，用户发出的语气和语调不同，识别出的用户语音特征就不同。

S4000将所述用户语音特征和所述语音数据库中的语音特征进行匹配得到相应的用户语义。

具体的，将上述识别出的用户语音特征和语音数据库中的语音特征进行匹配得到相应的用户语义。由于上述说明在选取语音特征的过程中，应当尽量保证两个语义类别中没有相同的语音特征，因此能够准确该用户语音特征。如果没有匹配成功，可以将该用户语音信息保存至待识别语音库，等后续人工识别后根据该用户语音信息更新语音数据库。

S5000根据所述用户语义识别用户语音意图；

具体的，当用户语音特征匹配结果用户语义为积极时，可以判断用户对当前的学习情况感兴趣，用户语音意图为积极。当匹配结果用户语义为非积极时，可以判断用户对当前的学习情况不感兴趣甚至是反感的，对当前继续进行学习也是非积极的态度，用户语音意图为非积极。

S6100根据所述用户语音意图和所述用户情绪识别用户对当前学习情况的态度。

具体的，用户在学习的过程中如果没有发出声音，则只根据用户情绪识别用户对当前学习情况的态度。但是如果用户在学习的过程中发出声音，则结合用户情绪和用户语音意图共同识别用户对当前学习情况的态度，增加判断的准确性。

S6110当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度一致时，任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度；

S6120当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度不一致时，则选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

具体的，当用户语音意图表示的对当前学习情况的态度和用户情绪表示的对当前学习情况的态度一致时，任意选取用户语音意图或用户情绪作为用户对当前学习情况的态度均可。当两者表示的态度不一致时，用户可以自主设定将用户语音意图或用户情绪作为用户对当前学习情况的态度。或者比较识别用户情绪时用户的面部表情特征的匹配度和识别用户语音意图时用户语音特征的匹配度，选择匹配度较高的作为用户对当前学习情况。其中，识别用户情绪时用户的面部表情特征的匹配度为：从用户人脸图像中提取的所有的面部表情特征中符合相应情绪类别的面部表情特征所占的比例，识别用户语音意图时用户语音特征的匹配度为：从用户语音信息中提取的所有的用户语音特征中符合相应语义类别的用户语音特征所占的比例。

S7000根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

本实施例中，实时监测用户的学习过程，当检测到用户发出声音时，就结合通过人脸图像识别的用户情绪和通过语音信息识别的用户语音意图两个方面准确地判断出用户对当前学习状况的态度，减小了误判断的几率。

本发明第三实施例，是上述第一实施例的优化实施例，如图4所示，包括：

S1000获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

S2000获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

S6000根据所述用户情绪识别用户对当前学习情况的态度。

S7100若所述态度表示为积极，则保持以当前学习方式显示学习内容；

具体的，如果识别出用户的态度为积极，说明用户对当前的学习情况比较感兴趣，没有感到不满，因此保持以当前的学习方式显示当前正在学习的内容不变。

S7200若所述态度表示为非积极，则逐一切换学习方式，持续监测用户的人脸图像，并重新识别用户对学习情况的态度。

具体的，如果识别出用户的态度为非积极，说明用户对当前的学习情况至少不太感兴趣，甚至可能是厌恶的，因此为了避免用户对学习的态度往更差的方向发展，应当及时调整当前的学习情况。

由于此时无法分辨出用户是对当前的学习方式还是学习内容不感兴趣，考虑到用户学习的思维的连贯性，因此首先选择调整学习方式，避免一开始就调整学习内容反而引起用户的不适。

逐一切换学习方式，例如当前是屏幕显示模式，逐一切换语音讲解模式、立体投影模式等，切换至每个学习方式时保持适当的时间。持续监测用户的人脸图像，在切换至下一学习方式之后，重新获取用户人脸图像，按照上述方法重新识别用户对学习情况的态度。

S7210当切换至某一学习方式之后，若所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容。

具体的，当切换至某一学习方式之后，若重新识别的态度为积极，说明用户之前仅仅是对采取的学习方式不适应或不喜欢，对学习内容并没有不满，因此以切换后的学习方式显示之前的学习内容即可。

S7220当切换完所有的学习方式之后，若所述重新识别的态度为非积极，则逐一切换学习内容，持续监测用户的人脸图像，再次重新识别用户对学习情况的态度。

具体的，当切换完所有的学习方式之后，若重新识别的态度仍然为非积极，说明引起用户不满的并不是学习方式，因此仍然选择切换之前的学习方式，然后逐一切换学习内容，用户可以预先设置自己的学习任务表，那么选择切换的学习内容时，优先切换该学习任务表中用户还未学习的内容，再次才会随机选择系统中的其他学习内容。

逐一切换学习内容，例如当前学习语文，逐一切换至数学、物理等学习内容，切换至每个学习内容时保持适当的时间。持续监测用户的人脸图像，在切换至下一学习内容之后，再次重新获取用户人脸图像，按照上述方法再次重新识别用户对学习情况的态度。

S7221当切换至某一学习内容之后，若所述再次重新识别的态度为积极，则选取相应的学习方式显示所述切换后的学习内容。

具体的，当切换至某一学习内容之后，若再次重新识别的态度为积极，说明用户之前是对选取的学习内容不感兴趣，切换学习内容之后用户的情绪有所改善，因此选取相应的学习方式显示切换后的学习内容，上述相应的学习方式为系统或用户设置的最适合上述切换后的学习内容的学习方式，但用户也可以自主调节。

S7222当切换完所有的学习内容之后，若所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。

具体的，当切换完所有的学习内容之后，若再次重新识别的态度仍然为非积极，说明用户当前对学习不感兴趣，因此应该采取其他的措施调节用户的情绪，使用户放松。例如通过聊天引导，主动提及用户感兴趣的话题。或者用户可能经过长时间的学习过于疲惫，可以选择提示用户休息预设时长再进行学习。

本实施例中，在识别出用户对当前学习情况的态度之后，准确分辨出用户是对学习方式或学习内容不感兴趣，或者用户当前是不想继续学习，针对不同的情形采取不同的措施，从而有效调节用户的学习情况，提高学习效率。

本发明的第四实施例，如图5所示，一种基于情绪调整学习情况的系统100，包括：

表情库建立模块110，获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

具体的，表情库建立模块110获取大量的人脸图像样本，以及人脸图像样本对应的情绪，根据情绪的种类将所有的人脸图像样本划分为两大类：积极和非积极，每个大类下按照情绪的具体种类划分为各小类，其中类似开心、笑、感兴趣等正面情绪的人脸表情划分为积极大类，其余的类似痛苦、厌恶、讨厌、哭等负面情绪的人脸表情以及类似出神等没有特定指向的表情划分为非积极大类。其中，上述积极类别和非积极类别的情绪分别对应的用户对当前的学习情况感兴趣和不感兴趣。

表情库建立模块110提取人脸图像样本中的面部表情特征，分别统计每个情绪小类中包含的所有的人脸图像样本中的面部表情特征，分析每个面部表情特征出现的频次，将出现频次排列前预设数量的面部表情特征作为该情绪小类应该具有的面部表情特征。

对于两大类积极和非积极，同样可以采取上述的方法分析出该大类情绪具有的面部表情特征。其中，由于人脸图像样本数量以及样本之间的差异性，可能导致提取的面部表情特征的情形各不相同，因此每个类别选取该类别的面部表情特征时的预设数量可以相同也可以不同。

表情库建立模块110根据选取的每个类别的面部表情特征以及对应的类别建立人脸表情库，用户也可以在后续的使用过程中持续更新人脸表情库，丰富人脸表情库的数据从而增加情绪判断的准确性。

第一匹配模块120，获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述表情库建立模块110建立的所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

具体的，在用户学习过程中，第一匹配模块120每隔预设时长获取用户人脸图像，提取用户人脸图像中的面部表情特征，然后将面部表情特征和人脸表情库的面部表情进行匹配，进而识别用户的情绪。

第一匹配模块120对多个面部表情特征进行匹配可能出现部分面部表情特征符合某一类情绪，但是另一部分面部表情特征可能属于另一类情绪，如果都属于同一大类的情绪，则识别用户的情绪为该大类。如果不属于同一大类的情绪，则比较分别属于两个大类的面部表情的数量，选择数量较多的大类作为用户的情绪，或者比较提取的用户人脸图像中的面部表情特征在各大类中匹配符合的比例，选择比例较高的大类作为用户的情绪。

第一识别模块130，根据所述第一匹配模块120识别的所述用户情绪识别用户对当前学习情况的态度。

具体的，根据用户人脸图像中的面部表情特征和人脸表情库中的面部表情特征进行匹配，无论对比结果得出的用户情绪是小类别的具体情绪还是大类别的情绪，最后都能得到用户当前的情绪属于积极或非积极。

当第一识别模块130识别用户当前情绪为积极时，可以判断用户对当前的学习情况感兴趣，对学习也是积极的态度。当用户当前情绪为非积极时，可以判断用户对当前的学习情况不感兴趣甚至是反感的，对当前继续进行学习也是非积极的态度。

处理模块140，根据所述第一识别模块130识别的所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

具体的，处理模块140根据上述识别出的用户对当前学习情况的态度是积极还是非积极采取相应的措施，当态度是积极时，认为用户对当前学习情况感兴趣，因此保持当前的学习情况不变。当态度是非积极时，认为用户对当前的学习情况不感兴趣甚至是反感的，因此对当前的学习情况进行调整，或者进行聊天引导，例如谈及用户感兴趣的话题使用户从当前非积极的情绪中调整过来再进行学习，或者提示建议用户休息预设时长之后例如运动或做一些其它的放松活动再进行学习。

本实施例中，通过提取大量的人脸图像样本中面部表情特征建立人脸表情库，将实时获取的用户人脸图像和人脸表情库进行匹配，从而准确地识别出用户的情绪。然后根据用户的情绪识别用户对当前学习状况的的态度，不同态度采取不同的措施，一方面提高学习的效率，另一方面避免放任用户陷入对学习的消极态度中进而产生厌学的情绪。

本发明第五实施例，是上述第四实施例的优化实施例，如图6所示，包括：

获取模块150，获取语音信息样本和所述语音信息样本对应的语义。

具体的，获取模块150获取大量的语音信息样本和语音样本对应的语义，该语义不需要说明语音信息样本具体地内容，而只需要表明用户的情绪，例如用户开心、快乐、满意或者不满、讨厌、厌恶等，因此所有的语音信息样本的语义类别可以分为两大类：积极和非积极。

解析模块160，解析所述获取模块150获取的所述语音信息样本所包含的语音特征。

具体的，解析模块160解析所有的语音信息样本得到其所包含的语音特征，例如语气、语调或者表达用户情绪的词语等。分别统计上述两类中的语音信息样本的语音特征，分析每个语音特征出现的频次，将出现频次排列前预设数量的语音特征作为该类语音应该具有的语音特征。其中，相比于具有共性的语气、语调等，语音特征中表达用户情绪的词语出现的频次可能不高，系统智能选取语音特征时可能将其筛选掉，因此用户可以自己选择保留或增加语音特征。另外，在选取语音特征的过程中，应当尽量保证两个语义类别中没有相同的语音特征，从而避免后续无法准确区分语义类别的情形。

数据库建立模块170，根据所述获取模块150获取的所述语音信息样本、所述语音信息样本对应的语义和所述解析模块160解析的所述语音特征建立语音数据库。

具体的，数据库建立模块170根据选取的每个语义类别的语音特征以及对应的语义类别建立语音数据库，用户也可以在后续的使用过程中持续更新语音数据库，丰富语音数据库的数据从而增加用户语音包含的情绪的判断的准确性。

表情库建立模块110，获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

第一匹配模块120，获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述表情库建立模块110建立的所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

第二识别模块180，当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征。

具体的，在用户的学习过程中，第二识别模块180要实时监测用户的状态，当发现用户发出声音时，立即获取用户语音信息，识别用户语音信息中包含的用户语音特征，其中，上述用户语音信息不一定是具有实际语义例如说明某件事等，因为即便是无意义的感叹词，用户发出的语气和语调不同，识别出的用户语音特征就不同。

第二匹配模块190，将所述第二识别模块180识别的所述用户语音特征和所述数据库建立模块170建立的所述语音数据库中的语音特征进行匹配得到相应的用户语义。

具体的，第二匹配模块190将上述识别出的用户语音特征和语音数据库中的语音特征进行匹配得到相应的用户语义。由于上述说明在选取语音特征的过程中，应当尽量保证两个语义类别中没有相同的语音特征，因此能够准确该用户语音特征。如果没有匹配成功，可以将该用户语音信息保存至待识别语音库，等后续人工识别后根据该用户语音信息更新语音数据库。

第三识别模块195，根据所述第二匹配模块190匹配的所述用户语义识别用户语音意图。

具体的，当第三识别模块195识别用户语音特征匹配结果用户语义为积极时，可以判断用户对当前的学习情况感兴趣，用户语音意图为积极。当匹配结果用户语义为非积极时，可以判断用户对当前的学习情况不感兴趣甚至是反感的，对当前继续进行学习也是非积极的态度，用户语音意图为非积极。

第一识别模块130，根据所述第三识别模块195识别的所述用户语音意图和所述第一匹配模块120识别的所述用户情绪识别用户对当前学习情况的态度。

具体的，当第一识别模块130在用户学习的过程中没有识别出用户发出声音，则只根据用户情绪识别用户对当前学习情况的态度。但是如果第一识别模块130在用户学习的过程中识别出用户发出声音，则结合用户情绪和用户语音意图共同识别用户对当前学习情况的态度，增加判断的准确性。

所述第一识别模块130具体包括：

判断单元131，判断所述第三识别模块195识别的所述用户语音意图表示的对当前学习情况的态度和所述第一匹配模块120识别的所述用户情绪表示的对当前学习情况的态度是否一致。

选取单元132，若一致，则任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

所述选取单元132，若不一致，则选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

具体的，当判断单元131判断用户语音意图表示的对当前学习情况的态度和用户情绪表示的对当前学习情况的态度一致时，选取单元132任意选取用户语音意图或用户情绪作为用户对当前学习情况的态度均可。当判断单元131判断两者表示的态度不一致时，用户可以自主设定将用户语音意图或用户情绪作为用户对当前学习情况的态度。或者比较识别用户情绪时用户的面部表情特征的匹配度和识别用户语音意图时用户语音特征的匹配度，选择匹配度较高的作为用户对当前学习情况。其中，识别用户情绪时用户的面部表情特征的匹配度为：从用户人脸图像中提取的所有的面部表情特征中符合相应情绪类别的面部表情特征所占的比例，识别用户语音意图时用户语音特征的匹配度为：从用户语音信息中提取的所有的用户语音特征中符合相应语义类别的用户语音特征所占的比例。

处理模块140，根据所述第一识别模块130识别的所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

本实施例中，实时监测用户的学习过程，当检测到用户发出声音时，就结合通过人脸图像识别的用户情绪和通过语音信息识别的用户语音意图两个方面准确地判断出用户对当前学习状况的态度，减小了误判断的几率。

本发明第六实施例，是上述第四实施例的优化实施例，如图7所示，包括：

表情库建立模块110，获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库。

第一匹配模块120，获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述表情库建立模块110建立的所述人脸表情库中的面部表情特征进行匹配，识别用户情绪。

第一识别模块130，根据所述第一匹配模块120识别的所述用户情绪识别用户对当前学习情况的态度。

处理模块140，根据所述第一识别模块130识别的所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

所述处理模块140具体包括：

处理单元141，若所述第一识别模块130识别的所述态度表示为积极，则保持以当前学习方式显示学习内容。

具体的，如果第一识别模块130识别出用户的态度为积极，说明用户对当前的学习情况比较感兴趣，没有感到不满，因此处理单元141保持以当前的学习方式显示当前正在学习的内容不变。

所述处理单元141，若所述第一识别模块130识别的所述态度表示为非积极，则切换学习方式。

识别单元142，当切换至下一学习方式之后，重新获取用户的人脸图像，并重新识别用户对学习情况的态度。

具体的，如果第一识别模块130识别出用户的态度为非积极，说明用户对当前的学习情况至少不太感兴趣，甚至可能是厌恶的，因此为了避免用户对学习的态度往更差的方向发展，处理单元141应当及时调整当前的学习情况。

由于此时无法分辨出用户是对当前的学习方式还是学习内容不感兴趣，考虑到用户学习的思维的连贯性，因此处理单元141首先选择调整学习方式，避免一开始就调整学习内容反而引起用户的不适。

处理单元141逐一切换学习方式，例如当前是屏幕显示模式，逐一切换语音讲解模式、立体投影模式等，切换至每个学习方式时保持适当的时间。持续监测用户的人脸图像，在切换至下一学习方式之后，重新获取用户人脸图像，按照上述方法重新识别用户对学习情况的态度。

所述处理单元141，当切换至某一学习方式之后，若所述识别单元142识别所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容。

具体的，当处理单元141切换至某一学习方式之后，若识别单元142重新识别的态度为积极，说明用户之前仅仅是对采取的学习方式不适应或不喜欢，对学习内容并没有不满，因此处理单元141以切换后的学习方式显示之前的学习内容即可。

所述处理单元141，当切换完所有的学习方式之后，若所述识别单元142识别所述重新识别的态度为非积极，则切换学习内容。

所述识别单元142，当切换至下一学习内容之后，再次重新获取用户的人脸图像，并再次重新识别用户对学习情况的态度。

具体的，具体的，当处理单元141切换完所有的学习方式之后，若识别单元142重新识别的态度仍然为非积极，说明引起用户不满的并不是学习方式，因此处理单元141仍然选择切换之前的学习方式，然后逐一切换学习内容，用户可以预先设置自己的学习任务表，那么处理单元141在选择切换的学习内容时，优先切换该学习任务表中用户还未学习的内容，其次才会随机选择系统中的其他学习内容。

处理单元141逐一切换学习内容，例如当前学习语文，逐一切换至数学、物理等学习内容，切换至每个学习内容时保持适当的时间。持续监测用户的人脸图像，在切换至下一学习内容之后，再次重新获取用户人脸图像，按照上述方法再次重新识别用户对学习情况的态度。

所述处理单元141，当切换至某一学习内容之后，若所述识别单元142识别所述再次重新识别的态度为积极，则选取相应的学习方式显示所述切换后的学习内容。

具体的，当处理单元141切换至某一学习内容之后，若识别单元142再次重新识别的态度为积极，说明用户之前是对选取的学习内容不感兴趣，改变学习内容之后用户的情绪有所改善，因此处理单元141选取相应的学习方式显示切换后的学习内容，上述相应的学习方式为系统或用户设置的最适合上述切换后的学习内容的学习方式，但用户也可以自主调节。

所述处理单元141，当切换完所有的学习方式内容之后，若所述识别单元142识别所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。

具体的，当处理单元141切换完所有的学习内容之后，若识别单元142再次重新识别的态度仍然为非积极，说明用户当前对学习不感兴趣，因此处理单元141应该采取其他的措施调节用户的情绪，使用户放松。例如通过聊天引导，主动提及用户感兴趣的话题。或者用户可能经过长时间的学习过于疲惫，可以选择提示用户休息预设时长再进行学习。

本实施例中，在识别出用户对当前学习情况的态度之后，准确分辨出用户是对学习方式或学习内容不感兴趣，或者用户当前是不想继续学习，针对不同的情形采取不同的措施，从而有效调节用户的学习情况，提高学习效率。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于情绪调整学习情况的方法，其特征在于，包括：

获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库；

获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述人脸表情库中的面部表情特征进行匹配，识别用户情绪；

根据所述用户情绪识别用户对当前学习情况的态度；

根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

2.根据权利要求1所述的基于情绪调整学习情况的方法，其特征在于，所述的获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库之前还包括：

获取语音信息样本和所述语音信息样本对应的语义；

解析所述语音信息样本所包含的语音特征；

根据所述语音信息样本、所述语音信息样本对应的语义和所述语音特征建立语音数据库。

3.根据权利要求2所述的基于情绪调整学习情况的方法，其特征在于，还包括：

当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征；

将所述用户语音特征和所述语音数据库中的语音特征进行匹配得到相应的用户语义；

根据所述用户语义识别用户语音意图；

所述的根据所述用户情绪识别用户对当前学习情况的态度具体包括：

根据所述用户语音意图和所述用户情绪识别用户对当前学习情况的态度。

4.根据权利要求3所述的基于情绪调整学习情况的方法，其特征在于，所述的根据所述用户语音意图和所述用户情绪识别用户对当前学习情况的态度具体包括：

当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度一致时，任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度；

当所述用户语音意图表示的对当前学习情况的态度和所述用户情绪表示的对当前学习情况的态度不一致时，选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

5.根据权利要求1-4任一项所述的基于情绪调整学习情况的方法，其特征在于，所述的根据所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习具体包括：

若所述态度表示为积极，则保持以当前学习方式显示学习内容；

若所述态度表示为非积极，则逐一切换学习方式，持续监测用户的人脸图像，并重新识别用户对学习情况的态度；

当切换至某一学习方式之后，若所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容；

当切换完所有的学习方式之后，若所述重新识别的态度为非积极，则逐一切换学习内容，持续监测用户的人脸图像，再次重新识别用户对学习情况的态度；

当切换至某一学习内容之后，若所述再次重新识别的态度为积极，则选取相应的学习方式显示切换后的学习内容；

当切换完所有的学习内容之后，若所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。

6.一种基于情绪调整学习情况的系统，其特征在于，包括：

表情库建立模块，获取人脸图像样本和所述人脸图像样本对应的情绪，提取所述人脸图像样本中的面部表情特征，根据所述面部表情特征和所述情绪建立人脸表情库；

第一匹配模块，获取用户人脸图像，提取所述用户人脸图像中的面部表情特征和所述表情库建立模块建立的所述人脸表情库中的面部表情特征进行匹配，识别用户情绪；

第一识别模块，根据所述第一匹配模块识别的所述用户情绪识别用户对当前学习情况的态度；

处理模块，根据所述第一识别模块识别的所述态度调整学习情况和/或进行聊天引导和/或提示用户休息预设时长再进行学习。

7.根据权利要求6所述的基于情绪调整学习情况的系统，其特征在于，还包括：

获取模块，获取语音信息样本和所述语音信息样本对应的语义；

解析模块，解析所述获取模块获取的所述语音信息样本所包含的语音特征；

数据库建立模块，根据所述获取模块获取的所述语音信息样本、所述语音信息样本对应的语义和所述解析模块解析的所述语音特征建立语音数据库。

8.根据权利要求7所述的基于情绪调整学习情况的系统，其特征在于，还包括：

第二识别模块，当获取到用户语音信息，识别所述用户语音信息中包含的用户语音特征；

第二匹配模块，将所述第二识别模块识别的所述用户语音特征和所述数据库建立模块建立的所述语音数据库中的语音特征进行匹配得到相应的用户语义；

第三识别模块，根据所述第二匹配模块匹配的所述用户语义识别用户语音意图；

所述第一识别模块，根据所述第三识别模块识别的所述用户语音意图和所述第一匹配模块识别的所述用户情绪识别用户对当前学习情况的态度。

9.根据权利要求8所述的基于情绪调整学习情况的系统，其特征在于，所述第一识别模块具体包括：

判断单元，判断所述第三识别模块识别的所述用户语音意图表示的对当前学习情况的态度和所述第一匹配模块识别的所述用户情绪表示的对当前学习情况的态度是否一致；

选取单元，若一致，则任意选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度；

所述选取单元，若不一致，则选取所述用户语音意图或所述用户情绪作为用户对当前学习情况的态度。

10.根据权利要求6-9任一项所述的基于情绪调整学习情况的系统，其特征在于，所述处理模块具体包括：

处理单元，若所述第一识别模块识别的所述态度表示为积极，则保持以当前学习方式显示学习内容；

所述处理单元，若所述第一识别模块识别的所述态度表示为非积极，则切换学习方式；

识别单元，当切换至下一学习方式之后，重新获取用户的人脸图像，并重新识别用户对学习情况的态度；

所述处理单元，当切换至某一学习方式之后，若所述识别单元识别所述重新识别的态度为积极，则以切换后的学习方式显示所述学习内容；

所述处理单元，当切换完所有的学习方式之后，若所述识别单元识别所述重新识别的态度为非积极，则切换学习内容；

所述识别单元，当切换至下一学习内容之后，再次重新获取用户的人脸图像，并再次重新识别用户对学习情况的态度；

所述处理单元，当切换至某一学习内容之后，若所述识别单元识别所述再次重新识别的态度为积极，则选取相应的学习方式显示切换后的学习内容；

所述处理单元，当切换完所有的学习方式内容之后，若所述识别单元识别所述再次重新识别的态度为非积极，则进行聊天引导和/或提示用户休息预设时长再进行学习。