CN108664932B - 一种基于多源信息融合的学习情感状态识别方法 - Google Patents

Abstract

本发明公开了一种基于多源信息融合的学习情感状态识别方法，改方法包括：从在线学习平台收集学习者的面部表情图像和交互行为数据，根据表情识别算法获取一定时间段的系列表情图像，进行特征提取并分类；从Web日志文件中提取有用的交互行为数据，利用主观贝叶斯方法进行不确定性推理和数据的深层次分析。在判断学习者对当前学习内容的关注程度的基础上，结合表情识别结果，判断学习者的在线学习情感状态，并分为“满意”和“困惑”等情感状态。本发明适用于实施混合式学习的学科教学，可以通过表情识别，实时掌握学习者的在线学习情感状态，从而更有针对性的提供人工干预。根据情感识别的结果，也可判断学习者对当前学习内容的掌握情况和兴趣。

Description

一种基于多源信息融合的学习情感状态识别方法

技术领域

本发明涉及智能人机交互领域，尤其涉及一种基于多源信息融合的学习情感状态识别方法。

背景技术

情感是人类智能的重要组成部分,对人类情感的正确识别,有助于计算机更好的掌握人类心理状态、更好的为人类服务。人脸表情识别作为情感计算的一个研究方向，构成了情感理解的基础，是实现人机智能交互的前提。人脸表情的极度细腻化消耗了大量的计算时间，影响了人机交互的时效性和体验感，所以人脸表情特征提取成为人脸表情识别的重要研究课题。

在线学习为学习者提供了一种全新的学习方式，打破了传统教学过程中时间和空间的限制，使得学习者在任何时间、任何地点都可以进行任何内容的学习。但是这种时空分离的教育学形式拉大了人与人之间的距离，导致教学者与学习者之间缺乏互动交流，“情感缺失”现象严重。而情感是认知主体结构中一个不可或缺的重要因素，学习活动中的合理的情感交互，能引起学生积极的情感体验,激发学生的学习主动性,转化为学生内部的学习动机和认知的共鸣，从而提高学习效率。因此，在线学习中应当关注学习者的情感状态，如图1所示，立足于学习者的交互行为和面部表情特点，在学习过程中发挥学习者的主动性，实现以学习者为中心的在线学习活动。

本发明产生的有益效果是：本发明克服现有技术中在线学习的情感缺失的问题，提出了一种基于多源信息融合的方法，多源信息融合的特点是将在线学习者的人脸表情状态与交互操作行为倾向进行融合，将学习者学习当前内容的情感展现出来，促进了人机交互技术向智能化发展。

人脸表情识别注重的是一个确定面部上的细微的表情变化，所以在人脸表情识别中一般采集正面的单人面部的图片。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多源信息融合的学习情感状态识别方法，自动分析出照片中每个人的情感状态，并给出“满意”、“困惑”等情感分析结果，促进人脸表情识别在学习行为分析、智能导师人机交互等领域的实际应用。

本发明解决其技术问题所采用的技术方案是：一种基于多源信息融合的学习情感状态识别方法，包括以下步骤：

1)建立在线表情识别和在线学习交互情感识别两类模式的情感认知架构，所述在线表情识别是通过在线学习平台采集在线学习者的表情图像序列得到，所述在线学习交互情感识别是通过在线学习平台的Web日志文件收集交互行为数据获得交互操作行为序列；

2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；

3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者行为特点和行为路径，从而判断学习者对学习内容的操作行为倾向，分为感兴趣或不关注两种；

4)以步骤3)获取的学习者在线交互操作行为倾向为基础，融合从步骤2)获取的表情特征识别结果，其中将学习者人脸表情特征中的高兴、专注划分为感兴趣，将学习者人脸表情特征中的厌烦、生气划分为不关注；

若二者融合的结果是感兴趣与感兴趣，则判断学习者情感状态为满意情绪，二者融合的结果是不关注与不关注，则判断学习者情感状态为困惑情绪，二者融合的结果是感兴趣与不关注，判断学习者情感状态为不确定情绪，将其作为学习者情感状态的最终识别结果并输出；

5)依据学习者情感状态的最终识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。

按上述方案，所述步骤1)中通过在线学习平台采集在线学习者的表情图像序列和交互操作行为序列，是以课程章节为单位通过在线学习平台采集。

按上述方案，所述步骤2)中情感规则库的建立，包含两个部分，一方面融合专业的表情识别库，另一方面对学习者在线情感状态最终识别结果中的典型情绪状态进行规则扩充。

按上述方案，所述步骤2)中表情图像序列的处理方法如下：

2.1)去除原图的复杂背景

将采集到的原始图像序列按照时间顺序进行排列，将原图中面部表情特征以外的冗杂背景信息去除，统一图片大小；

2.2)图像归一化处理；

图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示

X_i＝d_i/d (1)

其中d_i是指人脸局部特征点之间的距离，X_i是指处理之后的面部表情几何特征；

2.3)参照MEPG-4标准对人脸特征点的定义，提取66个FAP参数中的52个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；

2.4)将各帧图像内相匹配的特征点进行逐帧连接，形成特征点轨迹，根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；

2.5)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。

按上述方案，所述用户对学习内容的操作行为倾向的判断方法如下：

3.1)提取点击流数据，所述点击流数据包括学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序；

3.2)提取点击流数据中主要特征的频次，包括学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数和交流工具使用偏好；

3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，就学习者对所学内容的关注程度和感兴趣程度作出判断。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例中的方法流程图；

图2是本发明实施例的表情图像获取与情感状态识别示意图；

图3是本发明实施例的表情图像处理流程图；

图4是发明实施例的52个人脸特征点的定义及人脸表情主运动轨迹示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明提供一种基于多源信息融合的学习情感状态识别方法，具体流程如下：

1)建立两类模式的情感认知架构，利用在线学习平台采集在线学习者的表情图像序列和交互操作行为序列，通过Web日志文件收集交互行为数据，同时采用大量图像的脱机训练建立对应表情特征分类的情感规则库；

2)对视频输入的自然姿态人体图像进行人体区域检测，并对检测到的人体区域进行识别，提取人脸表情图像；

表情图像特征提取流程如下图3所示：

2.1)除去原图的复杂背景和图像归一化处理；

图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示

X_i＝d_i/d (1)

其中d_i是指人脸局部特征点之间的距离，得到归一化处理的几何特征就可以用于之后的特征融合。

2.2)参照MEPG-4标准对人脸特征点进行定义，提取66个FAP参数中的52个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；

2.3)将各帧图像内相匹配的特征点逐帧进行连接后形成特征点轨迹，如图4所示；根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；

2.4)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。

3)提取Web日志文件中的点击流数据，利用主观贝叶斯方法，对点击流数据进行不确定性推理，然后进行深层次的分析，把握用户行为特点和行为路径，从而判断用户对学习内容是否感兴趣；

Web日志记录处理流程如下：

3.1)提取有用的点击流数据，如学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序等；

3.2)提取主要特征频次，如学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数、交流工具使用偏好等；

3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，来推测出对学习内容的关注程度和学习兴趣的精确判断；

主观贝叶斯方法，用产生式规则表示，具体形式为：

IF A THEN(LS,LN)B,

其中A代表学习者行为，B代表学习者对学习内容的关注程度，引入两个数值(LS,LN)表示知识规则强度，LS为规则成立的充分性，体现前提A是成立对B的支持度，LN为规则成立的必要性，体现前提A的不成立对结论B的支持度，LS和LN的具体定义为：

领域专家依据LS和LN的性质为其赋值时，当LS>1时，前提支持结论；当LS＝1时，前提不影响结论；当LS<1时，前提不支持结论。利用主观贝叶斯方法进行不确定性推理的过程中，事件B发生的概率计算公式为：

其中，式(2)为证据A肯定为真时，将B的先验概率更新为其后验概率的公式，式(3)为A肯定为假时，将B的先验概率更新为其后验概率的公式。

4)以步骤3获取的用户情感识别结果为基础，从步骤1获取的情感规则库查找与步骤2获取的人脸表情特征相匹配的人脸表情特征，输出对应查找的人脸表情特征分类结果；

5)依据学习者情感状态的识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。

实例：

在线学习情感状态识别，利用在线学习平台获取学习者在一堂课当中的表情数据和交互行为日志文件。分别对学习者的表情进行识别和学习行为倾向进行判断，融合二者识别结果判断学习者在线情感状态。

对视频输入的自然姿态人体图像进行人体区域检测，并对检测到的人体区域进行识别，提取人脸表情图像；对人脸图像进行预处理，将各帧图像内相匹配的特征点逐帧进行连接后形成特征点轨迹，从各轨迹分类中提取人脸局部几何特征的主运动轨迹,对所有主运动轨迹进行特征融合，与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气。

获取学习者一堂课的日志文件，提取分析所需要的学习者点击流数据，例如当前页面的停留时间、点击当前页面的图片链接次数、点击当前页面的文字链接次数。

对提取数据分析中有以下规则：学习者对当前页面的感兴趣事件(设为B)的先验概率P(B)＝0.03；如果学习者在当前页面的停留时间大于20秒而且小于600秒(设为A1)，则认为学习者对当前页面感兴趣，(LS1，LN1)为(12,1)，产生式规则为：IF A1THEN(12,1)B；如果学习者点击当前页面的图片链接超过3次(设为A2)，则认为学习者对当前页面感兴趣，(LS2，LN2)为(23,1)，产生式规则为：IF A2THEN(23,1)B；如果学习者点击当前页面的文字链接超过3次(设为A3)，则认为学习者对当前页面感兴趣，(LS3，LN3)为(76,1)，产生式规则为：IF A3THEN(76,1)B。

当证据A1，A2，A3必然发生，可求学习者对当前页面感兴趣B的概率：

由LS定义可知LS>1，LN＝1，～A1对结论B没有影响，直接引用公式(2)：

由此可判断学习者对当前学习内容的操作行为倾向为感兴趣。

根据数据分析结果判断学习者对当前学习内容的操作行为倾向，分为感兴趣和不关注。当概率P值大于30％，则认为学习者对当前学习内容感兴趣，当概率P值小于30％则认为学习者对当前学习内容不关注。

Claims (5)

1.一种基于多源信息融合的学习情感状态识别方法，其特征在于：包括以下步骤：

1)建立在线表情识别和在线学习交互情感识别两类模式的情感认知架构，所述在线表情识别是通过在线学习平台采集在线学习者的表情图像序列得到，所述在线学习交互情感识别是通过在线学习平台的Web日志文件收集交互行为数据获得交互操作行为序列；

2)采用大量图像的脱机训练建立对应表情特征分类的情感规则库；将在线学习平台采集的学习者的表情图像序列输入情感规则库进行对比，输出表情特征分类结果，即高兴、专注、厌烦和生气；

3)提取在线交互操作行为序列中的点击流数据，利用主观贝叶斯方法对点击流数据进行不确定性推理，然后进行深层次的分析，把握学习者行为特点和行为路径，从而判断学习者对学习内容的操作行为倾向，分为感兴趣或不关注两种；

4)以步骤3)获取的学习者在线交互操作行为倾向为基础，融合从步骤2)获取的表情特征识别结果，其中将学习者人脸表情特征中的高兴、专注划分为感兴趣，将学习者人脸表情特征中的厌烦、生气划分为不关注；

若二者融合的结果是感兴趣与感兴趣，则判断学习者情感状态为满意情绪，二者融合的结果是不关注与不关注，则判断学习者情感状态为困惑情绪，二者融合的结果是感兴趣与不关注，判断学习者情感状态为不确定情绪，将其作为学习者情感状态的最终识别结果并输出；

5)依据学习者情感状态的最终识别结果，提取典型的情感状态，进行规则扩展，存储到情感规则库中。

2.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤1)中通过在线学习平台采集在线学习者的表情图像序列和交互操作行为序列，是以课程章节为单位通过在线学习平台采集。

3.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤2)中情感规则库的建立，包含两个部分，一方面融合专业的表情识别库，另一方面对学习者在线情感状态最终识别结果中的典型情绪状态进行规则扩充。

4.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，所述步骤2)中表情图像序列的处理方法如下：

2.1)去除原图的复杂背景

将采集到的原始图像序列按照时间顺序进行排列，将原图中面部表情特征以外的冗杂背景信息去除，统一图片大小；

2.2)图像归一化处理；

图像归一化处理，即用d代表两眼角距离作为特征归一化因子，并采用如下(1)式的归一化方式对人脸局部的几何特征进行归一化处理，如式(1)所示

X_i＝d_i/d(1)

其中d_i是指人脸局部特征点之间的距离，X_i是指处理之后的面部表情几何特征；

2.3)参照MEPG-4标准对人脸特征点的定义，提取66个FAP参数中的52 个与眉毛、眼睛、鼻子、嘴唇有关的几何点；其中FAP是一个与面部肌肉运动密切相关基于人脸细微运动研究的完整面部运动集合；

2.4)将各帧图像内相匹配的特征点进行逐帧连接，形成特征点轨迹，根据任意两个特征点轨迹在各帧图像所属特征点相对距离平均值进行聚类，对聚类后特征点轨迹进行分类；

2.5)从各轨迹分类中提取人脸局部几何特征的主运动轨迹；对所有主运动轨迹进行特征融合，然后与情感规则库进行对比，输出表情识别结果，即高兴、专注、厌烦和生气；其中所述特征融合，即采用最基本的串行特征融合方法，将同一表情样本空间的人脸局部特征归一化处理后合并为一列特征向量。

5.根据权利要求1所述的基于多源信息融合的学习情感状态识别方法，其特征在于，用户对学习内容的操作行为倾向的判断方法如下：

3.1)提取点击流数据，所述点击流数据包括学习者浏览的站点、网页、在网页上滞留的时间、点击的链接和图片，以及浏览页面的顺序；

3.2)提取点击流数据中主要特征的频次，包括学习者在线学习时长、论坛访问次数、点击图像链接次数、点击文字链接次数和交流工具使用偏好；

3.3)利用主观贝叶斯方法，进行不确定性推理，即通过对学习者在线操作行为的不确定性、随机性，就学习者对所学内容的关注程度和感兴趣程度作出判断。

Images