CN110046540A - 一种根据浏览历史和表情识别判断用户情绪的方法 - Google Patents

Abstract

一种根据浏览历史和表情识别判断用户情绪的方法，包括如下步骤：为单页记录其情绪的不同指数F，F可包括n种情绪状态；获取并计算得出：用户浏览页面停留时间得到的情绪集合FP；浏览页面在规定时间内的反复查看次数的情绪值集合FC；每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE；在规定范围内得到的天气情绪状态值的结果FW；在规定时间范围内节日情绪状态值的结果FT；使用决策树的方法对n种情绪状态在多种因素下的统计结果进行筛选，计算得到最终的用户当前情绪类别的概率分布。本发明整个流程计算较为简单明了，不需要借助于特殊的硬件设备即可完成，预测效果良好，对数据来源要求更为简单，具有极高的灵活性。

Description

一种根据浏览历史和表情识别判断用户情绪的方法

技术领域

本发明涉及用户情绪推断技术领域，具体涉及一种根据浏览历史和表情识别判断用户情绪的方法。

背景技术

在智能化时代，讲求信息的精准化浏览和推送，不同的用户往往有不一样的需求。传统的信息内容推荐系统中往往是根据不同的用户对不同种类的信息感兴趣程度而选择性的推荐该分类或者某几个分类下的信息。如某用户对“科技”类信息感兴趣则在选择信息推荐的时候优先推荐归属于“科技”类目中的某些信息。这种传统做法在过去的推荐系统中普遍应用，根据不同的分类筛选推荐，用户可以更加好的接收到感兴趣的分类信息，在用户体验和时效上都有所提升。

随着互联网的不断普及，智能化技术的不断提升，仅仅通过简单的“感兴趣分类推荐”已经远远不能满足用户的信息筛选需求，用户往往需要更加精准的信息推荐，更加智能的信息筛选系统。针对于此，利用大数据分析和用户偏好分析以及深度学习等技术建造一套智能化的精准推荐系统显得更为高效。首先，这种智能化推荐系统往往会为每个用户打上一个或者多个标签，该标签主要用于有效的识别用户的信息喜好标准，而该标签的来源往往通过用户进行自主选择或者利用用户的基本信息，如工作类型、工作时间、位置信息、年龄阶段、社会背景等作为基本数据进行计算从而推断出来。通过标签识别用户的喜好和偏爱信息类型，通过用户的浏览历史来关联或者不断的修正用户的喜爱偏好，从而能够达到精准化的推荐效果。这种方法的推送是基于用户社会背景和用户偏好信息类型进行精准化推荐的，其推荐的精准度和吻合程度都是很高的，很好的解决了传统“感兴趣分类推荐”中的不足之处。但是这种推荐方式基于用户的“标签”信息，也就是基于用户的偏好，往往偏好类型是预设定的，在推荐过程中基于“偏好”来进行归类，存在一定的局限性。

人是一个复杂的生物体，其情绪化显而易见，用户想要看到什么内容，往往也是与情绪有极大的关联。申请人认为在推荐信息的计算方法中，有效的判断和记录用户的情绪是极为重要的，通过推断得到用户的情绪或者情绪的变化，才可以更加精准的将相关的内容推荐给用户。进一步地，在推断得到用户的情绪后，在应用场景中不仅能够在精准推荐中大为帮助提升准确性，在一些自动信息填充中也具有极大的意义。如现在众多平台支持用户发表“心情短文”来记录或者分享当前用户的心情或者内容。现时这种“心情短文”往往是用户根据当前的心情自主编写的一段文字或者表情或者图片。而通过推断得到用户的情绪后则可以根据用户的当前不同心情而从预先设定的短句中加载相关的“心情短文”，既符合用户的情绪也可以免去一部分用户的编辑时间。

现在很多情绪识别或者推断的方法中，大部分通过人脸识别和表情识别的方法对当事人的情绪进行推断。如专利号CN106484093A中就使用了情绪识别作为人与机器对话的基础。在进一步的情绪推断中则需要借助特定的脸部肌肉活动监控设备或者脑电波监控设备进行分析。在单纯使用人脸表情进行情绪推断的方法中通常无法有效的判断用户在某一段时间内的情绪总体值。使用特殊的设备进行情绪推断可以获得更高的精确度，但是由于其设备的特殊性，对应用场景和硬件设备都有较高的要求，并且这种深入分析人体肌肉变化或者脑电波的设备在使用安全性上面也是有一定的安全隐患。

本发明提出一种利用多种因素组合计算从而推断用户情绪的方法，通过对影响用户情绪因素的收集，模拟在真实环境中用户情绪的变化和统计，不需要借助于特殊的硬件设备即可完成，可以在页面情绪预设值较为准确的前提下很好的预测推断出用户当前的情绪以及心情状况，其有效的使用场景则不局限于信息的推荐和自动的填写“心情短文”，可以有效的集成到现在的推荐系统、自动填写系统等应用中，具有极高的灵活性。

发明内容

基于此，本发明在于克服现有技术的缺陷，提供根据浏览历史和表情识别判断用户情绪的方法，通过对影响用户情绪因素的收集，模拟在真实环境中用户情绪的变化和统计，不需要借助于特殊的硬件设备即可完成，可以在页面情绪预设值较为准确的前提下很好的预测推断出用户当前的情绪以及心情状况，其有效的使用场景则不局限于信息的推荐和自动的填写“心情短文”，可以有效的集成到现在的推荐系统、自动填写系统等应用中，具有极高的灵活性。

为实现上述目的，本发明可以通过以下技术方案予以实现：

一种根据浏览历史和表情识别判断用户情绪的方法，包括如下步骤：

(1)在开始计算前，为每一个将要被浏览的单页记录其情绪的不同指数F，所述指数F为集合值，其内容分为n种，n代表了n个情绪状态；

(2)在用户进行页面浏览的行为中，定义用户是从内容标题列表中点击相关的链接或者入口进入到对应的单页内容的；在用户点击进入相应单页的同时我们调用设备的摄像头对用户表情进行识别，用户在该单页中停留时间定义为 t，则在t时间内调用摄像头采集当前用户的表情；将采集到的视频帧输入到表情识别系统中逐帧进行检测，如果某帧视频存在检测到的人脸，则人脸表情识别系统返回这个人脸的相关表情信息，并统计得到每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE，FE中包含每次浏览一个单页的时候得到的 n种情绪集合；

(3)统计该用户在当前单页的停留时间，根据每个单独的单页根据浏览时长的不同得到的不同的n中情绪结果，进而得到用户浏览页面停留时间得到的情绪集合FP，其中FP中包含了所有规定时间内的页面浏览的情绪值，这些情绪值是根据每个单独的单页根据浏览时长的不同得到的不同的n种情绪结果；

(4)定义情绪与浏览次数的关系，在规定的统计时间内，根据被浏览的次数x计算单页情绪值S，得到浏览页面在规定时间内的反复查看次数的情绪值集合FC，其中FC中包含了所有规定时间内反复查看的页面统计出来的情绪值；每个元素中包含对应n种情绪状态值；

(5)利用步骤(2)、(3)、(4)中得到的三种情绪值集合计算出最后的结果，使用决策树的方法对n种情绪状态在多种因素下的统计结果进行筛选，计算得到最终的用户当前情绪类别的概率分布；

(6)在步骤(5)的情绪类别概率分布中，采用概率值最高情绪状态代表当前用户的情绪状态；并直接返回所有情绪状态的概率分布值。

进一步地，步骤(1)中，n＝10，10个情绪状态包括：

1)兴奋

2)开心

3)晴朗

4)平静

5)幸福

6)忧伤

7)悲伤

8)悲哀

9)哀愁

10)愤怒

进一步地，步骤(1)中每一个将要被浏览的单页均需要携带n种情绪状态值，其中每个情绪状态的取值范围为-1.0～1.0之间，每个心情状态均有一个-1.0～1.0之间的分值，在0～1.0之间的分值大小与该心情的强弱成正比；在-1.0～0之间的分值绝对值与该心情强弱成反比；这些情绪的预设值在该单页被录入的时候附带录入保存，或者通过其他计算方法进行得到，要求其能较为充分地反应这个单页的情绪属性。

进一步地，步骤(2)中返回的信息表情定义为以下类型：

1)开心

2)兴奋

3)微笑

4)面无表情

5)伤心

6)愤怒

7)专注

8)惊讶

9)恐惧

10)厌恶

其中检测到人脸后的对应视频帧均会返回对应的上述10种表情，其中每种表情我们定义对应步骤(1)中的n种情绪状态值；当用户浏览该单页的时候产生多帧这种结果时，令产生的返回次数为fi(其中每次返回10种表情结果中的一种或者多种表情)，则总情绪数量为f(fi)。取f(fi)中出现频率最高的前3 表情结果；取这前3种的表情中的情绪状态值分别相加后取平均值，得到一组表情的情绪状态值；这些状态值对应的类别是步骤(1)中权利要求2定义的10 种状态，使用FE代表这些状态值。

进一步地，步骤(3)中为了判断当前用户在单页的停留时间和相应的情绪分值，我们令其满足以下的表达式关系：

其中S_i代表n种情绪类别中的其中一类的分值，i代表第几分类，t代表停留时间，函数f(t)和函数f′(t)代表该分值在0或者以上的求值权重和小于0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值，b和b′代表两种情况下的偏置取值。

进一步地，步骤(4)中定义一种情绪与浏览次数的关系，在规定的统计时间内，单页情绪值S被浏览的次数x满足以下关系：

其中Si代表n种情绪类别中的其中一类分值，i代表第几分类；x代表点击次数；函数f(x)和函数f′(x)代表该分值在0或者以上的求值权重和小于 0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值。

进一步地，为了比较好的模拟影响人情绪的因素，在计算的时候还需要获取当前用户位置的天气信息，每个天气的情况对应步骤(1)的情绪状态中的一组状态，在规定范围内得到的天气情绪状态值的结果记为FW。

进一步地，为了进一步模拟环境因素的影响，在计算的时候还需要获取当前用户的特定节日信息，在规定时间范围内节日情绪状态值的结果记为FT。

进一步地，步骤(5)中，经过上述步骤后得到：①用户浏览页面停留时间得到的情绪集合FP(步骤3)；②浏览页面在规定时间内的反复查看次数的情绪值集合FC(步骤4)；③每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE(步骤2)；④在规定范围内得到的天气情绪状态值的结果FW(权利要求7)；⑤在规定时间范围内节日情绪状态值的结果FT(权利要求8)；共计5组情绪值的集合，这5组情绪值得集合称为5种因素(也称为场景)的情绪集合；利用这5个集合计算出最后的结果，采用决策树的机器学习方法来对5 个集合数据进行综合分类，并得到最高概率的用户情绪值。

进一步地，步骤(5)中详细执行流程如下：

a.对步骤(1)中的n种情绪值分别构建一条决策树，每条决策树包含5 个节点，每个节点代表一种场景；依次为：用户浏览页面停留时间得到的情绪集合FP、浏览页面在规定时间内的反复查看次数的情绪值集合FC、每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE、在规定时间范围内天气情绪状态值的结果FW、在规定时间范围内节日情绪状态值的结果FT；

b.对a子步骤中的每个节点进行判断分裂，如果满足停止分裂的条件，则设置该节点为叶节点，其输出结果为该节点数量占比最大的情绪状态类别，否则继续对下一个节点进行判断分割；

c.采集每种场景下用户的情绪数据集对每条心情决策树进行训练学习，分裂数据集为若干个子集，不断地在产生的子集里重复递归进行训练，即递归分割；当一个数据子集的类别都相同时递归停止，得到一个决策树模型；

d.每一次预测时把每个场景计算得到的每一种情绪类型的概率值输入到对应的心情决策树进行预测；对每一个属性节点进行判断，如果某一节点判断后停止分裂，通过计算该节点到根节点的每一个节点情绪类型概率值的加权求和值作为用户在该情绪类别下的最终概率值；

e.对n种心情类别循环计算d子步骤，n种心情类别的最终概率值，得到用户在这一次评定中n种心情的概率分布。

本发明的有益效果是：本发明利用多因素的情绪状态值组合得到整体情绪状态值的流程结构；计算用户停留单页面的时长，利用单页面的情绪状态值与时间之间的函数关系得到一个情绪状态组合值；利用多次点击进入同一单页面统计用户的情绪状态值之间的关系；使用决策树的方法对n种情绪状态在多种因素下的统计结果进行筛选，得到情绪类别概率分布。其有益效果如下：

1、通过对影响用户情绪因素的收集，模拟在真实环境中用户情绪的变化和统计，不需要借助于特殊的硬件设备即可完成；

2、通过本方法可以在页面情绪预设值较为准确的前提下很好的预测推断出用户当前的情绪以及心情状况；

3、整个流程计算较为简单明了，便于开发和维护，方便架设到不同性能的设备中；

4、对数据来源要求更为简单，适用于所有单页面的浏览下用户心情的推断和统计；

5、可以有效的集成到现在的推荐系统、自动填写系统等应用中，具有极高的灵活性。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例决策树判断情绪类别概率分布流程图；

图3为本发明实施例决策树流程图；

图4为本发明实施例函数f(t)的函数分布图；

图5为本发明实施例函数f’(t)的函数分布图；

图6为本发明实施例函数f(x)的函数分布图；

图7为本发明实施例函数f’(x)的函数分布图。

具体实施方式

为了使本发明专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明专利，并不用于限定本发明专利。

实施例：

如图1所示，一种根据浏览历史和表情识别判断用户情绪的方法，包括如下步骤：

(1)在开始计算前，为每一个将要被浏览的单页记录其情绪的不同指数F，所述指数F为集合值，其内容分为n种，n代表了n个情绪状态；如本实施例中， n＝10，10个情绪状态包括：

1)兴奋

2)开心

3)晴朗

4)平静

5)幸福

6)忧伤

7)悲伤

8)悲哀

9)哀愁

10)愤怒

(注：当然，上述n种情绪状态可能并非仅包含上述10种情绪状态，可在实际使用中根据实际需要和使用习惯自行设定)

(2)步骤(1)中每一个将要被浏览的单页均需要携带n种情绪状态值，其中每个情绪状态的取值范围为-1.0～1.0之间，这些情绪的预设值在该单页被录入的时候附带录入保存，或者通过其他计算方法进行得到，要求其能较为充分地反应这个单页的情绪属性。例如针对一篇文章，假如该文章是属于兴奋类型或者使人兴奋的，那么它的心情记录值可能是这样的：

1)兴奋：0.95

2)开心：0.90

3)晴朗：0.80

4)平静：-0.30

5)幸福：0.60

6)忧伤：-0.99

7)悲伤：-0.35

8)悲哀：-0.12

9)哀愁：-1.0

10)愤怒：-1.0

分值说明：每个心情状态均有一个-1.0～1.0之间的分值，在0～1.0之间的分值大小与该心情的强弱成正比；在-1.0～0之间的分值绝对值与该心情强弱成反比。例如上述中的“兴奋”值为0.95则可以认为这篇文章内容是令人兴奋的，“哀愁”的分值为-1.0则认为这篇文章不会导致哀愁情绪的产生；“幸福”状态值为0.60则认为该文章令人产生幸福的指数为60％。在录入每一个单页中我们需要这些情绪状态值一起录入，并且每一个单页的情绪状态值应该是不尽相同的，为了确保最终推断的有效性，每个单页内容的情绪状态值应该是能够比较充分的反应这个单页的情绪属性。

(3)为了比较好的模拟影响人情绪的因素，在计算的时候还需要获取当前用户位置的天气信息，每个天气的情况对应步骤(1)的情绪状态中的一组状态，在规定范围内得到的天气情绪状态值的结果记为FW。在实际应用中，这种天气情况往往是通过网络请求或者请求天气接口的情况获得的，在标准的天气分类中，我们将天气情况分为以下类型：

1)炎热

2)天晴

3)明朗

4)天阴/多云

5)骤雨

6)大雨

7)雷暴

8)暴雨

9)有雾

10)小雨

11)大风

12)中雨

13)台风

14)暴风雪

15)大雪

16)小雪

17)中雪

18)冰雹

19)霜冻

20)沙尘

其中每个天气的情况对应步骤(1)的情绪状态中的一组状态，记录为W1～W20，其中每个W代表一个组合，里面包含了步骤2中的n(步骤(1)中示例为10)种情绪的值。

(注：申请人认为：人生活在大自然中，其情绪无可避免的会受到天气情况的影响；例如大部分情况下狂风暴雨的天气下的情绪会比风和日丽的天气下情绪要有所低落；这是一种情绪受天气影响的先验假设，但其适用性并不适合每一个人在不同情况下的情绪体现，所以在后续的计算中这种先验的影响因素将会占取更小的计算情绪权重值。)

(4)为了进一步模拟环境因素的影响，申请人取另外一种极大可能影响人体情绪的因素，特定的节日。也就是说，在计算的时候还需要获取当前用户的特定节日信息，在规定时间范围内节日情绪状态值的结果记为FT。

这里的特定节日指的是该用户地区的一些传统性节日以及已知的该用户的特别节日，如“春节”、“端午节”、“劳动节”、“双休日”等传统性节日，以及该用户的“生日”、“结婚纪念日”、“薪资结算日”等节日。其中不同用户的特定节日应该是由用户事先设定或者通过其他方式从设备中读取到的，这部分的节日不是强制的要求范围内的因素。令这些节日的数量为t，则记录其情绪的状态从D1～Dt，其中每个D代表一个组合，里面包含了步骤2中的n(步骤2中示例为10)种情绪的值。

(5)在用户进行页面浏览的行为中，定义用户是从内容标题列表中点击相关的链接或者入口进入到对应的单页内容的；如常规的新闻列表到新闻详情的单页、图片缩率列表到图片详情查看的单页等。在用户点击进入相应单页的同时我们调用设备的摄像头对用户表情进行识别，用户在该单页中停留时间定义为t，则在t时间内调用摄像头采集当前用户的表情；通常是设备的前置摄像头，以确保采集的人脸为当前用户的人脸。将采集到的视频帧输入到表情识别系统中逐帧进行检测，如果某帧视频存在检测到的人脸，则人脸表情识别系统返回这个人脸的相关表情信息，并统计得到每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE，FE中包含每次浏览一个单页的时候得到的n种情绪集合；其中，本实施例中返回的信息表情定义为以下类型：

1)开心

2)兴奋

3)微笑

4)面无表情

5)伤心

6)愤怒

7)专注

8)惊讶

9)恐惧

10)厌恶

其中检测到人脸后的对应视频帧均会返回对应的上述10种表情。其中每种表情我们定义对应步骤2中的n种情绪状态值。当用户浏览该单页的时候会产生多帧这种结果，令产生的返回次数为fi(其中每次返回10种表情结果中的一种或者多种表情)，则总情绪数量为f(fi)。取f(fi)中出现频率最高的前3表情结果。如：在用户浏览中共出现：

1)开心：20次

2)兴奋：30次

3)面无表情：10次

4)专注：25次

5)愤怒：1次

6)惊讶：1次

7)厌恶：1次

那么总表情次数为：88次，前面3种表情分别为：兴奋、专注和开心。取这前3种的表情种的情绪状态值分别相加后取平均值，得到一组表情的情绪状态值。这些状态值对应的类别是步骤2中定义的n(步骤2中示例为10)种状态。使用FE代表这些状态值。

(6)统计该用户在当前单页的停留时间，根据每个单独的单页根据浏览时长的不同得到的不同的n中情绪结果，进而得到用户浏览页面停留时间得到的情绪集合FP，其中FP中包含了所有规定时间内的页面浏览的情绪值，这些情绪值是根据每个单独的单页根据浏览时长的不同得到的不同的n种情绪结果。通常用户对于需求和想要查阅的内容会停留更长的时间，例如这个单页是令人兴奋的或者是兴奋的信息内容，那么用户在此停留越长则证明用户当前很大可能也处于兴奋的情绪状态，为了判断当前用户在单页的停留时间和相应的情绪分值，我们令其满足以下的表达式关系：

其中S_i代表n种情绪类别中的其中一类的分值，i代表第几分类，t代表停留时间，函数f(t)和函数f′(t)代表该分值在0或者以上的求值权重和小于0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值，b和b′代表两种情况下的偏置取值。

它们的函数分布图示如图4、图5所示。

(7)用户往往会对自己感兴趣的内容进行多次反复的浏览，一个单页被一个用户多次浏览则该单页的内容对用户的情绪影响会更大。基于此，我们定义一种情绪与浏览次数的关系，在规定的统计时间内，根据被浏览的次数x计算单页情绪值S，得到浏览页面在规定时间内的反复查看次数的情绪值集合FC，其中FC中包含了所有规定时间内反复查看的页面统计出来的情绪值；每个元素中包含对应n种情绪状态值；

其中，在规定的统计时间内，单页情绪值S被浏览的次数x满足以下关系：

其中Si代表n种情绪类别中的其中一类分值，i代表第几分类；x代表点击次数；函数f(x)和函数f′(x)代表该分值在0或者以上的求值权重和小于 0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值。

它们的函数分布图示如图6、图7所示。

(8)经过上述的几个步骤后，可以得到几组情绪数据，分别为：

①用户浏览页面停留时间得到的情绪集合FP，其中FP中包含了所有规定时间内的页面浏览的情绪值，这些情绪值是根据每个单独的单页根据浏览时长的不同得到的不同的n中情绪结果(步骤6中计算得到的)；假设用户共浏览5 个页面，则FP内有5个元素，每个元素代表一个单页的被浏览的时长情绪值(情绪值有n个，对应为步骤2中的n中情绪状态值)。

②浏览页面在规定时间内的反复查看次数的情绪值集合FC，其中FC中包含了所有规定时间内反复查看的页面统计出来的情绪值(步骤7中计算)；每个元素中包含对应步骤2中的n种情绪状态值。

③每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE(通过步骤5得到)，FE中包含了每次浏览一个单页的时候得到的对应步骤2中的n种情绪集合。

④在规定范围内得到的天气情绪状态值的结果FW(通过步骤3中得到)；在一段统计时间内只有对应步骤1中的n种情绪状态。

⑤在规定时间范围内节日情绪状态值的结果FT(通过步骤4中得到)；在这段统计时间范围内根据节日的数量得到不同的数量结果，如统计的时间范围内有2个节日，则FT中有两个元素，其中每个元素中有对应步骤(1)中的n 种情绪状态值。

(9)经过步骤(8)后得到5组情绪值的集合，这5组情绪值得集合称为5 种因素(也称为场景)的情绪集合；利用这5个集合计算出最后的结果；采用决策树的机器学习方法来对5个集合数据进行综合分类，并得到最高概率的用户情绪值；决策树是一种由一个决策图和可能的结果组成，用来创建到达目标的规划，并用来辅助决策的特殊树结构；决策树是一个利用像树一样的图形或决策模型的决策支持工具，包括随机事件结果、资源代价和实用性。决策树判断情绪类别概率分布流程图、决策树流程图如图2、图3所示。

具体地，详细执行流程如下：

a.对步骤(1)中的n种情绪值分别构建一条决策树，每条决策树包含5 个节点，每个节点代表一种场景；依次为：用户浏览页面停留时间得到的情绪集合FP、浏览页面在规定时间内的反复查看次数的情绪值集合FC、每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE、在规定时间范围内天气情绪状态值的结果FW、在规定时间范围内节日情绪状态值的结果FT；

b.对a子步骤中的每个节点进行判断分裂，如果满足停止分裂的条件，则设置该节点为叶节点，其输出结果为该节点数量占比最大的情绪状态类别，否则继续对下一个节点进行判断分割；

c.采集每种场景下用户的情绪数据集对每条心情决策树进行训练学习，分裂数据集为若干个子集，不断地在产生的子集里重复递归进行训练，即递归分割；当一个数据子集的类别都相同时递归停止，得到一个决策树模型；

d.每一次预测时把每个场景计算得到的每一种情绪类型的概率值输入到对应的心情决策树进行预测；对每一个属性节点进行判断，如果某一节点判断后停止分裂，通过计算该节点到根节点的每一个节点情绪类型概率值的加权求和值作为用户在该情绪类别下的最终概率值；

e.对n种心情类别循环计算d子步骤，n种心情类别的最终概率值，得到用户在这一次评定中n种心情的概率分布。

(10)经过步骤(9)后计算得到最终的用户当前情绪类别的概率分布，其中情绪类别为步骤(1)中的定义的n种情绪类别。

(11)通常在步骤(10)的情绪类别概率分布中，概率值最高的通常可代表当前用户的情绪状态，为了便于后续应用的使用则直接返回所有情绪状态的概率分布值。

本发明的有益效果是：本发明利用多因素的情绪状态值组合得到整体情绪状态值的流程结构；计算用户停留单页面的时长，利用单页面的情绪状态值与时间之间的函数关系得到一个情绪状态组合值；利用多次点击进入同一单页面统计用户的情绪状态值之间的关系；使用决策树的方法对n种情绪状态在多种因素下的统计结果进行筛选，得到情绪类别概率分布。其有益效果如下：

1、通过对影响用户情绪因素的收集，模拟在真实环境中用户情绪的变化和统计，不需要借助于特殊的硬件设备即可完成；

2、通过本方法可以在页面情绪预设值较为准确的前提下很好的预测推断出用户当前的情绪以及心情状况；

3、整个流程计算较为简单明了，便于开发和维护，方便架设到不同性能的设备中；

4、对数据来源要求更为简单，适用于所有单页面的浏览下用户心情的推断和统计；

5、可以有效的集成到现在的推荐系统、自动填写系统等应用中，具有极高的灵活性。

注：本发明中浏览历史指的是用户在不同的平台上浏览的内容，如文章、图片、页面、视频等单页内容的统称。

在整个计算推断的系统方法中我们力求确保计算的简便性和实效性，因为越来越多的智能化终端设备需要使用到这些功能；而大部分的移动终端设备的 CPU(中央处理单元)的计算能力与专业的计算主机之间存在本质差异，为了使得方法的适用性更广，本方法的计算速度和时效将会在考虑的条件因素内。

在本方法中不涉及到关于信息推荐的相关内容的方法，也不涉及到关于如何自动填写“心情短语”的方法，本方法仅为一种推断用户情绪的算法和流程；其中关于“人脸表情识别系统”是指使用现有的人脸识别系统中的表情识别相关功能。

以上所述实施例及其他图例仅表达了本发明的一种实施方式，只是在于说明而不是限制本发明。对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。因此，本发明的保护范围应以所附权利要求为准。

Claims (10)

1.一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，包括如下步骤：

(1)在开始计算前，为每一个将要被浏览的单页记录其情绪的不同指数F，所述指数F为集合值，其内容分为n种，n代表了n个情绪状态；

(2)在用户进行页面浏览的行为中，定义用户是从内容标题列表中点击相关的链接或者入口进入到对应的单页内容的；在用户点击进入相应单页的同时我们调用设备的摄像头对用户表情进行识别，用户在该单页中停留时间定义为t，则在t时间内调用摄像头采集当前用户的表情；将采集到的视频帧输入到表情识别系统中逐帧进行检测，如果某帧视频存在检测到的人脸，则人脸表情识别系统返回这个人脸的相关表情信息，并统计得到每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE，FE中包含每次浏览一个单页的时候得到的n种情绪集合；

(3)统计该用户在当前单页的停留时间，根据每个单独的单页根据浏览时长的不同得到的不同的n中情绪结果，进而得到用户浏览页面停留时间得到的情绪集合FP，其中FP中包含了所有规定时间内的页面浏览的情绪值，这些情绪值是根据每个单独的单页根据浏览时长的不同得到的不同的n种情绪结果；

(4)定义情绪与浏览次数的关系，在规定的统计时间内，根据被浏览的次数x计算单页情绪值S，得到浏览页面在规定时间内的反复查看次数的情绪值集合FC，其中FC中包含了所有规定时间内反复查看的页面统计出来的情绪值；每个元素中包含对应n种情绪状态值；

(5)利用步骤(2)、(3)、(4)中得到的三种情绪值集合计算出最后的结果，使用决策树的方法对n种情绪状态在多种因素下的统计结果进行筛选，计算得到最终的用户当前情绪类别的概率分布；

(6)在步骤(5)的情绪类别概率分布中，采用概率值最高情绪状态代表当前用户的情绪状态；并直接返回所有情绪状态的概率分布值。

2.根据权利要求1所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(1)中，n＝10，10个情绪状态包括：

1)兴奋

2)开心

3)晴朗

4)平静

5)幸福

6)忧伤

7)悲伤

8)悲哀

9)哀愁

10)愤怒。

3.根据权利要求1所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(1)中每一个将要被浏览的单页均需要携带n种情绪状态值，其中每个情绪状态的取值范围为-1.0～1.0之间，每个心情状态均有一个-1.0～1.0之间的分值，在0～1.0之间的分值大小与该心情的强弱成正比；在-1.0～0之间的分值绝对值与该心情强弱成反比；这些情绪的预设值在该单页被录入的时候附带录入保存，或者通过其他计算方法进行得到，要求其能较为充分地反应这个单页的情绪属性。

4.根据权利要求2所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(2)中返回的信息表情定义为以下类型：

1)开心

2)兴奋

3)微笑

4)面无表情

5)伤心

6)愤怒

7)专注

8)惊讶

9)恐惧

10)厌恶

其中检测到人脸后的对应视频帧均会返回对应的上述10种表情，其中每种表情我们定义对应步骤(1)中的n种情绪状态值；当用户浏览该单页的时候产生多帧这种结果时，令产生的返回次数为fi(其中每次返回10种表情结果中的一种或者多种表情)，则总情绪数量为f(fi)。取f(fi)中出现频率最高的前3表情结果；取这前3种的表情中的情绪状态值分别相加后取平均值，得到一组表情的情绪状态值；这些状态值对应的类别是步骤(1)中权利要求2定义的10种状态，使用FE代表这些状态值。

5.根据权利要求1所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(3)中为了判断当前用户在单页的停留时间和相应的情绪分值，我们令其满足以下的表达式关系：

其中S_i代表n种情绪类别中的其中一类的分值，i代表第几分类，t代表停留时间，函数f(t)和函数f′(t)代表该分值在0或者以上的求值权重和小于0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值，b和b′代表两种情况下的偏置取值。

6.根据权利要求1所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(4)中定义一种情绪与浏览次数的关系，在规定的统计时间内，单页情绪值S被浏览的次数x满足以下关系：

其中Si代表n种情绪类别中的其中一类分值，i代表第几分类；x代表点击次数；函数f(x)和函数f′(x)代表该分值在0或者以上的求值权重和小于0的求值权重；它们服从以下的函数分布表达式：

其中w和w′分别为两种情况下的权重取值。

7.根据权利要求1所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，为了比较好的模拟影响人情绪的因素，在计算的时候还需要获取当前用户位置的天气信息，每个天气的情况对应步骤(1)的情绪状态中的一组状态，在规定范围内得到的天气情绪状态值的结果记为FW。

8.根据权利要求7所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，为了进一步模拟环境因素的影响，在计算的时候还需要获取当前用户的特定节日信息，在规定时间范围内节日情绪状态值的结果记为FT。

9.根据权利要求8所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(5)中，经过上述步骤后得到：①用户浏览页面停留时间得到的情绪集合FP(步骤3)；②浏览页面在规定时间内的反复查看次数的情绪值集合FC(步骤4)；③每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE(步骤2)；④在规定范围内得到的天气情绪状态值的结果FW(权利要求7)；⑤在规定时间范围内节日情绪状态值的结果FT(权利要求8)；共计5组情绪值的集合，这5组情绪值得集合称为5种因素(也称为场景)的情绪集合；利用这5个集合计算出最后的结果，采用决策树的机器学习方法来对5个集合数据进行综合分类，并得到最高概率的用户情绪值。

10.根据权利要求9所述的一种根据浏览历史和表情识别判断用户情绪的方法，其特征在于，步骤(5)中详细执行流程如下：

a.对步骤(1)中的n种情绪值分别构建一条决策树，每条决策树包含5个节点，每个节点代表一种场景；依次为：用户浏览页面停留时间得到的情绪集合FP、浏览页面在规定时间内的反复查看次数的情绪值集合FC、每个单页浏览(包括重复浏览的)的人脸表情对应的情绪值FE、在规定时间范围内天气情绪状态值的结果FW、在规定时间范围内节日情绪状态值的结果FT；

b.对a子步骤中的每个节点进行判断分裂，如果满足停止分裂的条件，则设置该节点为叶节点，其输出结果为该节点数量占比最大的情绪状态类别，否则继续对下一个节点进行判断分割；

c.采集每种场景下用户的情绪数据集对每条心情决策树进行训练学习，分裂数据集为若干个子集，不断地在产生的子集里重复递归进行训练，即递归分割；当一个数据子集的类别都相同时递归停止，得到一个决策树模型；

d.每一次预测时把每个场景计算得到的每一种情绪类型的概率值输入到对应的心情决策树进行预测；对每一个属性节点进行判断，如果某一节点判断后停止分裂，通过计算该节点到根节点的每一个节点情绪类型概率值的加权求和值作为用户在该情绪类别下的最终概率值；

e.对n种心情类别循环计算d子步骤，n种心情类别的最终概率值，得到用户在这一次评定中n种心情的概率分布。