CN109886255A - 一种具有面部情绪识别功能的智能互动教学系统 - Google Patents

Abstract

本发明公开了一种具有面部情绪识别功能的智能互动教学系统，涉及智能化教学技术领域，包括摄像头和控制台，摄像头采集学生的图像后发送给所述控制台，所述控制台根据学生图像确定每个学生的情绪，然后根据学生的发言数据将每个学生划分到对应的兴趣组中，在同一个兴趣组中既存在处于消极情绪的学生，也存在处于积极情绪的学生时，将处于积极情绪的学生的姓名分享给处于消极状态的学生，促使同一个兴趣组中的学生展开交流互动，由于同一个兴趣组中的学生交流起来很方便，因此借用情绪识别的方式划分兴趣组能够提高学生之间的互动效率，提高教学质量，也能减轻教师的负担。

Description

一种具有面部情绪识别功能的智能互动教学系统

技术领域

本发明涉及智能化教学技术领域，特别是涉及一种具有面部情绪识别功能的智能互动教学系统。

背景技术

学习是每个人必须要经历的过程，甚至这个过程能够贯穿人的一生，学习不但是对先辈经验的了解，也是作为创新发展的基础。大部分人的学习过程都是在学校中，教师在教学过程中扮演着非常重要的角色。

由于我国人口众多，学生的数量也非常庞大，而教师资源却相对短缺，造成一个班级人数达到几十人的情况。一个班级通常由一个班主任或班级导师和多个代课教师管理，由于学生人数多，教师管理起来很不容易。为了尽可能的提高教学质量，目前教学活动还是多采用考试或者测验来检验学生的学习质量，教师可以据此来调整教学侧重点，使尽量多的学生能够掌握课堂上教授的教学重点。在日常教学过程中，教师还会经常观察学生的精神状态，如果对于一个教学重点很多学生都表现出疑惑表情，那么教师会这个教学重点进行重点讲解，这样也能在一定程度上提升学习质量。

但是教师的精力有限，不可能时刻关注每一个学生的状态，因此教师在这方面的帮助极为有限。采用考试的方式来检验学习质量则存在滞后性，学习过程中出现的问题虽然能反应在考试成绩中，但是考试后再去补救往往效果很差。

为了解决这个问题，现有技术提供了很多解决方案，比如中国专利申请号为CN201710350291.0，发明名称为“一种带有情绪识别功能的智能互动教学系统”，该专利采用面部情绪识别技术采集学生在学习过程中的情绪，然后将识别结果发送给教师和家长。虽然该专利具备一定的辅助功能，但是只能起到简单的识别和提醒，最终还是需要教师去关注学生的情况，因此对教师的帮助非常有限。因此亟需提供一种能够时刻关注学生状态的教学系统，在问题出现的时能及时得到信息反馈，尽快调整教学内容，随时解决问题的技术和设备。

发明内容

本发明实施例提供了一种具有面部情绪识别功能的智能互动教学系统，可以解决现有教学过程中缺失、急需添加的设备和技术。

本发明提供了一种具有面部情绪识别功能的智能互动教学系统，该系统包括摄像头和控制台，所述摄像头安装在教室的墙壁或课桌上，用以采集教室内学生的图像并发送给所述控制台，所述控制台内部具有多个功能模块，包括：

图像采集模块，用于获取所述摄像头发送的学生图像中的人脸图像；

情绪识别模块，用于采集所述人脸图像中的特征数据，然后根据这些特征数据确定每个学生的情绪；

兴趣分组模块，用于从数据存储装置中获取所有学生的发言数据，根据这些发言数据确定每个学生的兴趣爱好，然后将所有学生按照兴趣爱好分成多个兴趣组；

信息分发模块，用于查找存在处于消极情绪的学生的兴趣组，判断该兴趣组中是否具有处于积极情绪的学生，如果存在，将该兴趣组中处于积极情绪的学生姓名发送至处于消极情绪的学生使用的学生终端上，使学生之间产生交流互动。

本发明提供的一种具有面部情绪识别功能的智能互动教学系统，包括摄像头和控制台，摄像头采集学生的图像后发送给所述控制台，所述控制台根据学生图像确定每个学生的情绪，然后根据学生的发言数据将每个学生划分到对应的兴趣组中，在同一个兴趣组中既存在处于消极情绪的学生，也存在处于积极情绪的学生时，将处于积极情绪的学生的姓名分享给处于消极状态的学生，促使同一个兴趣组中的学生展开交流互动，由于同一个兴趣组中的学生交流起来很方便，因此采用兴趣组划分结合情绪识别的方式能够提高学生之间的互动效率，提高教学质量，也减轻了教师的负担。

本发明的优点在于：

1、在教师讲授教学重点时再开始采集学生的面部图像和音频信息，可以大大减少数据处理量；

2、识别学生的情绪时将人脸图像识别和语音识别结合起来，大大提高了情绪识别的准确率；

3、按照兴趣爱好将学生分组，在学生对教师的授课存在疑问时提醒学生与具有相同兴趣爱好的学生交流，可以提高交流的效率；

4、实时、自动的对学生听课情况进行监控，在学生存在消极情绪时对学生做出提醒，让问题尽可能在在学生之间解决掉，大大减轻了教师的负担。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的具有面部情绪识别功能的智能互动教学系统在教室中安装的示意图；

图2为图1中教学系统的功能模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2，本发明实施例中提供了一种具有面部情绪识别功能的智能互动教学系统，该系统包括摄像头100、信息显示装置200和控制台300，所述摄像头100安装在教室的墙壁上，或者也可以安装在学生的课桌上，用以采集教室内学生的图像并发送给控制台300，所述信息显示装置200安装在教室的墙壁上，用以显示控制台300发出的文字信息，所述控制台300可以使用目前教室中的多媒体计算机。所述系统还包括多个由学生使用的学生终端和至少一个由教师使用的教师终端。

由于教室的面积比较大，如果摄像头100的数量过少则会造成覆盖不全面的问题，因此需要安装多个摄像头100以采集全部学生的图像。本实施例中，所述摄像头100的数量为与教室的学生容量比例为1:6，分成若干组分别安装在教室的左右墙壁上。左侧墙壁上的多个摄像头100将教室内左侧一半的学生分为多个部分，右侧墙壁上的多个摄像头100将教室内右侧一半的学生分为多个部分，每个摄像头100分别负责一个区域的采集工作，这样就能做到全面覆盖了。

所述控制台300内部具有多个功能模块，具体这些功能模块安装在控制台300的计算机主机上，通过计算机主机上的处理器即可运行。所述功能模块包括：图像采集模块、情绪识别模块、人员对应模块、兴趣分组模块、信息分发模块和互动反馈模块。所述控制台300内部还具有多个硬件装置，包括数据存储装置，用以存储控制台300运行过程中所需的数据。

同时，所述控制台300还与学生使用的多个学生终端和教师使用的教师终端通信连接，由于控制台300处于教室中，因此学生终端和教师终端与控制台300可以通过局域网通信连接，控制台300可以通过局域网向学生终端和教师终端发送数据。

所述摄像头100实时采集学生的图像并发送给所述图像采集模块，所述图像采集模块在指令发布装置的控制下获取摄像头100发送的图像中的人脸图像。所述指令发布装置可以由教师控制，可以采用诸如遥控器、键盘等设备向图像采集模块发送启动指令。教师在课堂上讲课时如果讲到了比较重要的教学重点，可以通过所述指令发布装置启动图像采集模块，以开始对学生的情绪进行识别。

但是实际过程中教师可能会忘记使用指令发布装置发送启动指令，因此本实施例中采用了一种更加智能的控制方式，具体为：在教师讲课过程中，使用麦克风采集教师的语音信息并发送给语音识别模块，语音识别模块将语音信息转换为文字信息后发送给数据对比模块，数据对比模块获取数据存储装置中存储的课件内容信息，提取课件内容信息中有关教学重点的关键词并与语音识别模块发送的文字信息进行对比，如果当前状态下文字信息中出现了大量的和教学重点相关的关键词，则认为教师开始讲授本堂课的教学重点了，所述数据对比模块向指令发布装置发送一个确认信息，所述指令发布装置响应该确认信息向图像采集模块发送启动指令。

所述数据存储装置中存储的课件内容信息由教师提前写入，其中包括每个教学重点的描述。在其他实施例中，所述指令发布装置还可以根据教师预先设定的时间自动向图像采集模块发送启动指令，教师可以根据本节课程的内容大致确定教学重点教授的时间，然后将这个时间设定在指令发布装置上，也可以免去手动启动的麻烦。

所述图像采集模块响应启动指令获取学生图像中的人脸图像并发送至所述情绪识别模块，由于采用多个摄像头后学生图像会存在重叠，因此需要在系统使用之前就对图像采集模块进行设定，图像采集模块能够将每个摄像头采集的图像进行分割，保证分割后的图像不存在重复的学生图像，而且也能覆盖所有学生。

所述情绪识别模块采集人脸图像中的特征数据，然后根据情绪模板判断这些特征数据代表的情绪。确定每个人脸图像对应的情绪后，所述情绪识别模块还需获取每个人脸图像在学生图像中的位置信息，然后将人脸图像与情绪的对应关系、以及人脸图像的位置信息一并发送给所述人员对应模块。

为了进一步提高情绪识别的准确性，还可以将人脸识别和语音识别结合起来。具体地，可以在每个学生的课桌上安装音频采集装置，优选为麦克风，所述指令发布装置产生的启动指令还同时发送至所述音频采集装置，该音频采集装置响应启动指令开始采集学生的音频信息，并将采集的音频信息实时发送到语音识别模块，所述语音识别模块根据音频信息识别学生的情绪，然后将识别得到的情绪发送到所述情绪识别模块，所述情绪识别模块将根据人脸图像识别得到的情绪和根据音频信息识别得到的情绪进行综合处理，得到准确率更高的情绪识别结果。

所述人员对应模块在数据存储装置中获取学生的座位表，该座位表中具有学生的姓名和座位位置，即能够从该座位表得到姓名和位置的一一对应关系。所述人员对应模块从座位表中获取姓名和位置的对应关系后，根据情绪识别模块发送的位置信息确定学生姓名和学生图像中人脸图像的对应关系，再根据情绪识别模块发送的人脸图像与情绪的对应关系确定学生姓名和情绪的对应关系。

得到学生姓名和对应的情绪后，所述人员对应模块还将其中处于消极情绪的学生姓名筛选出来发送至所述信息显示装置，所述信息显示装置显示对该些学生的提醒信息，例如张三在课堂上存在疲倦、沮丧等状态时，所述信息显示装置就会显示如“张三请集中注意力认真听课”的提醒信息，起到提醒学生的作用。所述人员对应模块还将所有学生的情绪分为积极和消极两组，将每个情绪分组内的学生姓名发送至所述信息分发模块。

在其它实施例中，所述人员对应模块还可以根据数据存储装置中存储的学生照片直接进行人脸识别，以确定学生姓名和情绪之间的对应关系。

如果课堂上学生存在消极情绪，说明对教师讲解的教学重点就不能理解的很好，因此需要对此做出回应。所述兴趣分组模块从数据存储装置中获取教师存入的该班级所有学生在某个交流群中的发言，然后提取每个学生发言中的关键词，根据这些关键词确定每个学生的兴趣爱好，然后将每个学生按照兴趣爱好分成多个兴趣组。这里需要确保每个学生都至少分到一个兴趣组，而且每个兴趣组中最少有两个学生，以使学生能够在同一个兴趣组中讨论教师教授的教学重点。

所述信息分发模块接收到人员对应模块发送的情绪分组数据和兴趣分组模块发送的兴趣组数据后，查找存在处于消极情绪的学生的兴趣组，然后判断该兴趣组中是否具有处于积极情绪的学生，如果存在，所述信息分发模块将该兴趣组中处于积极情绪的学生姓名发送至处于消极情绪的学生使用的学生终端上，并提醒该学生向这些学生请教。由于这些学生处于同一个兴趣组中，因此平常会比较熟悉，而且交流起来会少很多阻碍，对于交流互动质量的提升有很明显的帮助。

如果一个兴趣组中所有学生都处于消极情绪，则按照兴趣组的关联关系查询相邻的兴趣组中是否存在处于积极情绪的学生，直到找到处于积极情绪的学生为止。例如足球兴趣组就会和篮球兴趣组、排球兴趣组等运动类的兴趣组存在关联关系，习惯足球的学生对篮球运动也不会排斥，因此处于存在关联关系的兴趣组的学生交流起来也会比较顺利。

如果一个兴趣组以及与其具有关联关系的兴趣组中的学生都处于消极情绪，那么所述信息分发模块向教师终端发送一个提醒信息，提醒教师尽快联系这些兴趣组中的学生，以解决其存在的问题。

在所述信息分发模块向学生终端发送学生姓名后的一段时间内，所述互动反馈模块会向该学生终端发送一个询问信息，询问该学生是否已经通过互动交流解决了这个问题，学生在学生终端上选择“是”或“否”。如果学生选择“是”，则所述互动反馈模块结束本次操作；如果学生选择“否”，所述互动反馈模块还将该学生的名字发送到所述信息分发模块，所述信息分发模块向教师终端发送一个提醒信息，提醒该学生存在问题，需要教师尽快解决。

以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种具有面部情绪识别功能的智能互动教学系统，其特征在于，该系统包括摄像头和控制台，所述摄像头安装在教室的墙壁或课桌上，用以采集教室内学生的图像并发送给所述控制台，所述控制台内部具有多个功能模块，包括：

图像采集模块，用于获取所述摄像头发送的学生图像中的人脸图像；

情绪识别模块，用于采集所述人脸图像中的特征数据，然后根据这些特征数据确定每个学生的情绪；

兴趣分组模块，用于从数据存储装置中获取所有学生的发言数据，根据这些发言数据确定每个学生的兴趣爱好，然后将所有学生按照兴趣爱好分成多个兴趣组；

信息分发模块，用于查找存在处于消极情绪的学生的兴趣组，判断该兴趣组中是否具有处于积极情绪的学生，如果存在，将该兴趣组中处于积极情绪的学生姓名发送至处于消极情绪的学生使用的学生终端上，使学生之间产生交流互动。

2.如权利要求1所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，还包括音频采集装置和语音识别模块，所述音频采集装置采集学生的音频信息，并将采集的音频信息发送到所述语音识别模块，所述语音识别模块根据音频信息识别学生的情绪，然后将识别得到的情绪发送到所述情绪识别模块，所述情绪识别模块将根据人脸图像识别得到的情绪和根据音频信息识别得到的情绪进行综合处理，得到最终的情绪识别结果。

3.如权利要求1所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，所述图像采集模块在指令发布装置的控制下获取所述摄像头发送的图像中的人脸图像。

4.如权利要求3所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，所述指令发布装置为由教师控制的遥控器或者键盘。

5.如权利要求3所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，麦克风采集教师的语音信息并发送给语音识别模块，所述语音识别模块将语音信息转换为文字信息后发送给数据对比模块，所述数据对比模块获取所述数据存储装置中存储的课件内容信息，提取课件内容信息中有关教学重点的关键词并与所述语音识别模块发送的文字信息进行对比，如果文字信息中出现和教学重点相关的关键词，所述数据对比模块向所述指令发布装置发送确认信息，所述指令发布装置响应该确认信息向所述图像采集模块发送启动指令，所述图像采集模块接收到启动指令后获取所述摄像头发送的图像中的人脸图像。

6.如权利要求1所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，所述功能模块还包括人员对应模块，所述情绪识别模块确定每个人脸图像对应的情绪，然后获取每个人脸图像在学生图像中的位置信息，然后将人脸图像与情绪的对应关系和人脸图像的位置信息发送给所述人员对应模块；

所述人员对应模块用于在所述数据存储装置中获取学生的座位表，从所述座位表中获取姓名和位置的对应关系后，根据所述情绪识别模块发送的人脸图像的位置信息确定学生姓名和人脸图像的对应关系，再根据所述情绪识别模块发送的人脸图像与情绪的对应关系确定学生姓名和情绪的对应关系，以得到每个学生的情绪。

7.如权利要求6所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，所述系统还包括信息显示装置，所述信息显示装置安装在教室内的墙壁上，所述人员对应模块将所有学生中处于消极情绪的学生姓名筛选出来发送至所述信息显示装置，所述信息显示装置用于显示对该些学生的提醒信息。

8.如权利要求1所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，如果一个兴趣组中所有学生都处于消极情绪，所述信息分发模块按照兴趣组的关联关系查询相邻的兴趣组中是否存在处于积极情绪的学生，直到找到处于积极情绪的学生为止。

9.如权利要求8所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，如果一个兴趣组以及与其具有关联关系的兴趣组中的学生都处于消极情绪，所述信息分发模块向教师终端发送提醒信息，以提醒教师联系这些兴趣组中的学生。

10.如权利要求1所述的一种具有面部情绪识别功能的智能互动教学系统，其特征在于，所述功能模块还包括互动反馈模块，在所述信息分发模块向学生终端发送学生姓名后的一段时间内，所述互动反馈模块向该学生终端发送询问信息，如果学生的选择是问题没有解决，所述互动反馈模块将该学生的名字发送到所述信息分发模块，所述信息分发模块向教师终端发送提醒信息，提醒教师该学生仍然存在问题。