CN102945624A - 基于云计算模型和表情信息反馈的智能化视频教学系统 - Google Patents

Abstract

本发明公开了一种基于云计算模型和表情信息反馈的智能化视频教学系统。该系统由数据云、学生终端和教师终端组成，其中数据云分成视频数据和自反馈智能视频控制子系统两部分。自反馈智能视频控制子系统的具体实现步骤为：采集视频信号，读取学生的当前状态视频图像；人脸检测，检测当前区域内是否有人脸存在；表情识别，对学生的反馈表情进行分类识别，判断是否存在困倦、疑惑、满意的表情；反馈表情处理，针对不同的反馈表情系统产生不同的应对措施；反馈信息统计和数据报表生成，对反馈信息集中生成数据报表。本发明技术方案在云计算模型下以用户为中心，采用智能化软件平台，具有低成本、高可用性和易扩展性的优点。

Description

基于云计算模型和表情信息反馈的智能化视频教学系统

技术领域

本发明涉及远程教学技术领域，具体涉及一种云计算模型下的智能化视频教学系统。

背景技术

远程教育的发展已有200多年的历史，其作用已在世界范围内得到认可。远程教育涉及的领域遍及世界各地，它满足了不同层次人们的不同需求：在大学，远程教育为更多的人创造了接受高等教育的机会；在公司，远程教育可用于员工的技能培训，使他们适应技术的进步；对于个人，通过远程教育接受职业技能培训，可为自己创造更多的就业机会；对于政府，利用远程教育的在线师资培训，提高了传统中小学校的教学质量；而对于边远地区，远程教育解决了课程传输难、受教育难的问题。随着互联网和相关技术的进步，高等教育的受益面和高等教育的质量已经被大大提高，同时一些全新的教育模式也相继出炉，如“virtual university”，即没有围墙的大学，是用互联网和通讯卫星来传输课程，其教学资料、图书馆，甚至实验室都可以让分散在各地的学生或机构所共享。

云计算是以虚拟化技术为基础，以按需付费为商业模式，具备弹性扩展、动态分配和资源共享等特点的新型网络化计算模式，在云计算模式下，软件、硬件、平台等IT资源将作为基础设施，以服务的方式提供给使用者。

虽然，远程教育的学生和传统教育模式下的学生学到的东西一样多，但是，有统计数字显示已有的远程教学中，函授生的辍学率达到19％～90％，平均辍学率达40％之高。事实上，高辍学率多在于学生学习时缺乏同学之间和师生之间的交流，由此产生孤独感，而一些学生的学习自律性又差、才造成这样的结果。另外，学习成绩反馈太慢造成学生学习兴趣的降低并因此产生挫折感也是一方面的原因。

在对已有技术的研究和实践过程中，本发明的发明人发现：当前远程教育与传统教育的一个主要区别就在于当前远程教育的学习环境是孤立的，学习者必须具备较强的学习自律性，才能完成课程的学习。基于这一特点，本发明中所提出的表情自反馈智能视频教学系统可以弥补这一不足，一方面，系统可以通过授课课程的信息透明化，使其他学生通过对已有的课程学习信息数据了解该课程的难易程度和其他学生学习过程中的状态；另一方面，教师可以根据学生反馈回的表情信息数据，客观的对已有的教学内容进行调整，并且可以和部分学生进行一对一交流。此外，本系统将云计算模型应用到远程教学中，一方面节省了校方的教学成本、提高了信息的可靠程度并且降低了校方的管理难度；另一方面，还可以让学生根据自己的需求有选择的安排自己的授课计划，从而避免传统远程教学中无针对性的弊端。

发明内容

针对现有远程视频教学技术中学生学习环境孤立的不足，本发明提供一种基于云计算模型和表情信息反馈的智能化视频教学系统，该系统包含智能表情信息反馈子系统，通过该系统，一方面，能够使教师根据教学日志中的分析数据对课程内容进行调整并和学习者进行有效沟通；另一方面，学生也可以从数据云的报表中发现课程的特点和自身的不足之处，通过师生双方的信息互馈，从而达到最佳的教学效果。

本发明提供一种基于云计算模型和表情信息反馈的智能化视频教学系统，该系统由数据云、学生终端和教师终端3大部分组成，其中数据云是最核心的部分，它分成视频数据和自反馈智能视频控制子系统两大部分，数据云中的自反馈智能视频控制子系统又包含了4个核心模块，分别是：人脸检测、表情识别、反馈处理和统计信息模块；学生终端和教师终端部分可以看作是云终端用户，由互联网上的普通PC来实现，系统通过网络实现云终端与数据云之间的交换，完成数据存储和计算，并将结果返回给云终端。

具体的，自反馈智能视频控制子系统的表情识别模块，包含对困倦、疑惑和满意三个具体表情识别；其中，困倦表情的特征为：(1)眼内角的上眼皮降低(2)嘴巴张大(3)双臂向头部上方伸展；疑惑表情的特征为：(1)上唇抬起，下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起(2)眉毛内角皱在一起，抬高，带动眉毛下的皮肤运动(3)伴有用手挠头或者摇头动作；满意表情特征为：(1)唇角向后拉并抬高(2)嘴巴张大(3)脸颊被抬起(4)伴有点头动作。

具体的，表情识别模块实现步骤包括：

1)对检测到的人脸图像，使用组群特征分析方法定位眼睛、眉毛、嘴巴和下颌的位置，使用肤色检测方法判断头部以上区域内是否有手出现；

2)用改进的局部梯度算子精确定位眉梢、眼角、嘴角和下颌角；

3)用均值漂移算法跟踪眉毛、眼睛和嘴巴的位置；

4)根据眉梢、眼角和嘴角的坐标变化判断表情变化；

5)根据下颌角的位置变化判断头部动作。

具体的，自反馈智能视频控制子系统的反馈处理模块实现步骤包括：

1)表情识别的结果为困倦时，自动播放一个提醒小动画，唤醒学生，并将当前检测点标记为困倦点；

2)表情识别的结果为疑惑时，自动弹出信息窗，询问学生是否需要重新播放该段视频，并将当前检测点标记为疑惑点；

3)表情识别的结果为满意时，将当前检测点标记为满意点。

具体的，自反馈智能视频控制子系统的统计信息模块实现方法包括：

1)假设有n个学生x₁…x_n观看视频教学，播放的视频教材总时间长度为S，表情自反馈智能视频控制系统的运行周期为t，反馈情况统计时间间隔为M，在此时间间隔内的总采样点

2)对学生x_i(其中i＝1…n)在时长为M的时间段内，统计得出有a_i个困倦点、b_i个疑惑点和c_i个满意点，则在总视频长度S内，按M长度划分，可分为

个时间段，表示为G_j(其中

)；

3)在时间段G_j上统计n个学生总共反馈的困倦点

疑惑点和满意点

的个数，将A_j、B_j和C_j的值和nQ的值相除得到该时间段上的困倦程度K_j、疑惑程度Y_j和满意程度R_j，在该时间段上的所有终端总的统计信息P_j的表达式如下： $P_j=\left\{\begin{array}{cc}K& \frac{A_j}{\mathrm{nQ}}\≥60\%\\ Y& \frac{B_j}{\mathrm{nQ}}\≥60\%\\ R& \frac{C_j}{\mathrm{nQ}}\≥60\%\\ 0& \mathrm{others}\end{array}\right.,$ 其中K表示困倦，Y表示疑惑，R表示满意，并且满足条件

4)学生x_i在整个视频播放过程中的统计信息为：

表示该学生总的困倦点数，

表示该学生的总疑惑点数，

表示该学生的总满意点数；

5)视频总时长内总共产生

个统计信息点，当

则判定该学生上课在睡觉，

则判定该学生难以接受此课程的内容，

则判定该学生对此课程感兴趣；

6)视频播放结束，系统自动生成一个教学视频播放日志，日志内容包括播放视频名称、视频总时长、各时段统计信息P_j和每个学生反馈信息x_i的汇总。

上述技术方案可以看出，由于本发明实施例在云计算模型下，以用户为中心，因此本系统具有低成本、高可用性和易扩展性的优点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的结构示意图；

图2是本发明自反馈智能视频控制子系统的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种基于云计算模型和表情信息反馈的智能化视频教学系统，能够在云计算模型下实现智能化视频教学。以下进行详细说明。

如图1所示，本发明包括教师终端、数据云和学生终端3大组成部分，其中，数据云包含视频数据和自反馈智能视频控制子系统两个部分，教师终端和学生终端可以是普通PC，但是学生端要求必须具备视频信号采集设备。教师终端将制作完成的视频教学资源上传到数据云中，学生根据自己的需求可以随时随地通过互联网在数据云上观看教学视频，并且通过智能视频控制子系统来自动调节视频播放的进度，视频播放结束软件会自动生成一个视频播放日志，上传到数据云端，可供教师和其他学生浏览。

智能视频控制子系统包含了4个模块，分别是：人脸检测、表情识别、反馈处理和统计信息模块，该软件实现方法流程图如图2所示，具体实现步骤为：

1、通过学生终端的视频信号采集设备采集视频信号并读取。

2、人脸检测。鉴于视频观看的地点通常背景较为单一，因此使用肤色分割初步检测出人脸位置，再使用积分投影算法大致找出眼睛的位置，根据眼睛在初检人脸图像中的位置确定检测到的目标是否为人脸图像。如果检测到当前图像中有人脸存在，则进入步骤3，否则返回步骤1。

3、人脸表情识别。鉴于本发明用于远程教学中学生观看视频时的表情识别，因此软件只需对困倦、疑惑和满意三个具体表情做出判断和识别即可，其中，困倦表情的特征为：(1)眼内角的上眼皮降低(2)嘴巴张大(3)双臂向头部上方伸展；疑惑表情的特征为：(1)上唇抬起，下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起(2)眉毛内角皱在一起，抬高，带动眉毛下的皮肤运动(3)伴有用手挠头或者摇头动作；满意表情特征为：(1)唇角向后拉并抬高(2)嘴巴张大(3)脸颊被抬起(4)伴有点头动作。

具体实现步骤如下：

1)根据所述步骤2中检测到的人脸图像，使用组群特征分析方法定位眼睛、眉毛、嘴巴和下颌的位置，使用肤色检测方法判断头部以上区域内是否有手出现。

2)用改进的局部梯度算子精确定位眉梢、眼角、嘴角和下颌角。

3)用均值漂移算法跟踪眉毛、眼睛和嘴巴的位置。

4)根据眉梢、眼角和嘴角的坐标变化判断表情变化。

5)根据下颌角的位置变化判断头部动作。

4、表情反馈处理。具体实现步骤如下：

1)所述步骤3中表情识别的结果为困倦时，自动播放一个提醒小动画，唤醒学生，并将当前检测点标记为困倦点。

2)所述步骤3中表情识别的结果为疑惑时，自动弹出信息窗，询问学生是否需要重新播放该段视频，并将当前检测点标记为疑惑点。

3)所述步骤3中表情识别的结果为满意时，将当前检测点标记为满意点。

5、反馈信息统计和数据报表生成。具体实现方法如下：

1)假设有n个学生x₁…x_n观看视频教学，播放的视频教材总时间长度为S，表情自反馈智能视频控制系统的运行周期为t，反馈情况统计时间间隔为M，在此时间间隔内的总采样点

2)对任一学生x_i(其中i＝1…n)在某个时长为M的时间段内，统计得出有a_i个困倦点、b_i个疑惑点和c_i个满意点，则在总视频长度S内，按M长度划分，可分为

个时间段，表示为G_j(其中

)。

3)在某一个时间段G_j上统计n个学生总共反馈的困倦点

疑惑点

和满意点

的个数，将A_j、B_j和C_j的值和nQ的值相除得到该时间段上的困倦程度K_j、疑惑程度Y_j和满意程度R_j，则在该时间段上的所有终端总的统计信息P_j的表达式如下： $P_j=\left\{\begin{array}{cc}K& \frac{A_j}{\mathrm{nQ}}\≥60\%\\ Y& \frac{B_j}{\mathrm{nQ}}\≥60\%\\ R& \frac{C_j}{\mathrm{nQ}}\≥60\%\\ 0& \mathrm{others}\end{array}\right.,$ 其中K表示困倦，Y表示疑惑，R表示满意，并且满足条件

4)每个学生x_i在整个视频播放过程中的统计信息为：

表示该学生总的困倦点数；

表示该学生的总疑惑点数；

表示该学生的总满意点数。

5)视频总时长内总共产生即

个统计信息点，根据总困倦点数、疑惑点数和满意点数与总信息点数的比值来判断该学生的学习状态，若

则判定该学生上课在睡觉；若

则判定该学生难以接受此课程的内容，若

则判定该学生对此课程感兴趣。

6)视频播放结束，系统自动生成一个教学视频播放日志，日志内容包括播放视频名称、视频总时长、各时段统计信息P_j和每个学生反馈信息x_i的汇总。一方面，根据P_j的信息，老师可以及时发现课程内容中哪些部分知识点过于生涩，以至于60％以上学生听不懂；哪些知识点过于乏味，以至于60％以上学生想睡觉；哪些知识点是学生喜闻乐见的，因为60％以上学生感到满意。另一方面，根据x_i的信息教师可以判断具体某一个学生对该课程的学习态度，是否对该课程感到厌倦，因为听课过程总是在睡觉；还是跟不上该课程进度，因为听课过程总是听不懂；还是对该课程学习的很积极，因为对大部分课程内容都比较满意。

以上对本发明实施例所提供的基于云计算模型和表情信息反馈的智能化视频教学系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于云计算模型和表情信息反馈的智能化视频教学系统，该系统由数据云、学生终端和教师终端3部分组成，其特征在于：所述数据云部分，包括自反馈智能视频控制子系统。

2.根据权利要求1所述的基于云计算模型和表情信息反馈的智能化视频教学系统，其特征在于，所述自反馈智能视频控制子系统包含：人脸检测模块、表情识别模块、反馈处理模块和统计信息模块。

3.根据权利要求2所述的自反馈智能视频控制子系统，其特征在于，所述表情识别模块，包含：对困倦、疑惑和满意三个具体表情识别；其中，困倦表情的特征为：(1)眼内角的上眼皮降低(2)嘴巴张大(3)双臂向头部上方伸展；疑惑表情的特征为：(1)上唇抬起，下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起(2)眉毛内角皱在一起，抬高，带动眉毛下的皮肤运动(3)伴有用手挠头或者摇头动作；满意表情特征为：(1)唇角向后拉并抬高(2)嘴巴张大(3)脸颊被抬起(4)伴有点头动作。

4.根据权利要求2所述的自反馈智能视频控制子系统，其特征在于，所述表情识别模块具体实现步骤包括：

1)对检测到的人脸图像，使用组群特征分析方法定位眼睛、眉毛、嘴巴和下颌的位置，使用肤色检测方法判断头部以上区域内是否有手出现；

2)用改进的局部梯度算子精确定位眉梢、眼角、嘴角和下颌角；

3)用均值漂移算法跟踪眉毛、眼睛和嘴巴的位置；

4)根据眉梢、眼角和嘴角的坐标变化判断表情变化；

5)根据下颌角的位置变化判断头部动作。

5.根据权利要求2所述的自反馈智能视频控制子系统，其特征在于，所述反馈处理模块具体实现步骤包括：

1)表情识别的结果为困倦时，自动播放一个提醒小动画，唤醒学生，并将当前检测点标记为困倦点；

2)表情识别的结果为疑惑时，自动弹出信息窗，询问学生是否需要重新播放该段视频，并将当前检测点标记为疑惑点；

3)表情识别的结果为满意时，将当前检测点标记为满意点。

6.根据权利要求2所述的自反馈智能视频控制子系统，其特征在于，所述统计信息模块具体实现方法包括：

1)假设有n个学生x₁…x_n观看视频教学，播放的视频教材总时间长度为S，表情自反馈智能视频控制系统的运行周期为t，反馈情况统计时间间隔为M，在此时间间隔内的总采样点

2)对学生x_i(其中i＝1…n)在时长为M的时间段内，统计得出有a_i个困倦点、b_i个疑惑点和c_i个满意点，则在总视频长度S内，按M长度划分，可分为

个时间段，表示为G_j(其中

)；

3)在时间段G_j上统计n个学生总共反馈的困倦点

疑惑点

和满意点的个数，将A_j、B_j和C_j的值和nQ的值相除得到该时间段上的困倦程度K_j、疑惑程度Y_j和满意程度R_j，在该时间段上的所有终端总的统计信息P_j的表达式如下： $P_j=\left\{\begin{array}{cc}K& \frac{A_j}{\mathrm{nQ}}\≥60\%\\ Y& \frac{B_j}{\mathrm{nQ}}\≥60\%\\ R& \frac{C_j}{\mathrm{nQ}}\≥60\%\\ 0& \mathrm{others}\end{array}\right.,$ 其中K表示困倦，Y表示疑惑，R表示满意，并且满足条件

4)学生x_i在整个视频播放过程中的统计信息为：表示该学生总的困倦点数，

表示该学生的总疑惑点数，

表示该学生的总满意点数；

5)视频总时长内总共产生个统计信息点，当

则判定该学生上课在睡觉，则判定该学生难以接受此课程的内容，则判定该学生对此课程感兴趣；

6)视频播放结束，系统自动生成一个教学视频播放日志，日志内容包括播放视频名称、视频总时长、各时段统计信息P_j和每个学生反馈信息x_i的汇总。

Images