CN111383494B - 一种英语教学的多模态英语教学装置 - Google Patents

Abstract

本发明公开了一种英语教学的多模态英语教学装置，涉及教育教学设备技术领域，包括教师端和学生端，教师端记录教师讲课时的音视频和板书，并将其发送给学生端，学生端实时通过学生的表情判断学生是否存在对讲课内容存在疑惑的情况，如果存在则将时间进行记录，并在教师端发送的文件中对应时间处再次检测学生是否存在疑惑，如果仍然存在则通过习题使学生加强学习。本发明通过表情检测来判断学生对讲课内容的理解情况，做到了真实、准确的记录，帮助学生理解全部的讲课内容，大大提升英语学习质量。

Description

一种英语教学的多模态英语教学装置

技术领域

本发明涉及教育教学设备技术领域，特别是涉及一种英语教学的多模态英语教学装置。

背景技术

英语是各教育学科中比较重要的一门学科，因英语在中国属于外语，因此学生学习起来起步较晚，学习效果自然不尽如人意。

虽然如此，市面上出现的大量英语教学相关产品能够在一定程度上提高英语教学的质量，使学生在英语学习过程中更加容易和高效，也减轻了教师和学校的负担，因此受到学生和教师的欢迎。

英语学习和其他众多学科不一样的是需要在听说读写等多个模态下进行全方位学习，一旦学生在某个模态下存在不理解的内容时，将会对整个英语学习造成不利影响。目前，当学生遇到不理解的问题时，通常采用的方式是记录下来或者当场向教师提问，然而并不是每个学生都有这样的习惯，或者学生无法及时对不理解的内容作出反应，导致英语学习的效果不理想。

发明内容

本发明实施例提供了一种英语教学的多模态英语教学装置，可以解决现有技术中存在的问题。

本发明提供了一种英语教学的多模态英语教学装置，该装置包括教师端和学生端，所述教师端包括教师主机和教师书写单元，所述教师书写单元与教师主机通信连接，所述学生端包括学生主机、学生显示单元，所述学生显示单元与学生主机通信连接，所述教师主机与学生主机通信连接，所述教师端还包括与教师主机通信连接的摄录单元，所述学生端还包括与学生主机通信连接的学生状态监测单元，所述摄录单元包括摄像头和麦克风，所述摄像头录制教师讲课时的视频信息，由所述教师主机形成视频文件，所述麦克风录制教师的音频信息，由所述教师主机形成音频文件，所述教师主机将视频文件和音频文件整合为音视频文件，然后将音频文件进行语音转文字TTS处理后形成字幕文件，并将该字幕文件叠加在音视频文件中，形成摄录文件；所述教师书写单元获取教师书写的内容，由所述教师主机形成板书文件，所述教师主机将摄录文件和板书文件发送至学生主机；

所述学生状态监测单元包括学生信息采集单元，所述学生信息采集单元集成有摄像头，该摄像头用于监测学生的脸部信息，所述学生主机根据该脸部信息确定学生的表情，然后根据学生的表情判断学生是否对教师的讲课内容有疑惑；

在确定学生对讲课内容有疑惑时，所述学生主机将该疑惑发生的时间进行记录，然后在所述摄录文件中进行标记，当学生通过摄录文件和板书文件再次复习讲课内容时，如果所述学生主机再次确定学生在标记的时间位置处存在疑惑，则控制所述学生显示单元显示预先制定好的练习题，学生作答完成后所述学生主机根据作答的结果分析学生存在的问题，并对该问题作出针对性的建议。

本发明中的一种英语教学的多模态英语教学装置，包括教师端和学生端，教师端记录教师讲课时的音视频和板书，并将其发送给学生端，学生端实时通过学生的表情判断学生是否存在对讲课内容存在疑惑的情况，如果存在则将时间进行记录，并在教师端发送的文件中对应时间处再次检测学生是否存在疑惑，如果仍然存在则通过习题使学生加强学习。本发明通过表情检测来判断学生对讲课内容的理解情况，做到了真实、准确的记录，帮助学生理解全部的讲课内容，大大提升英语学习质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种英语教学的多模态英语教学装置的组成示意图；

图2为教学装置的功能模块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2，本发明提供了一种英语教学的多模态英语教学装置，该装置包括教师端和学生端，所述教师端包括教师主机100、教师显示单元110、摄录单元120和教师书写单元130，所述学生端包括学生主机200、学生显示单元210、学生状态监测单元220、音频接收单元230和学生书写单元240。学校的计算机中心安装有校园服务器300，每个教室中均安装有网关400，所述教师主机100和学生主机200均与校园服务器300通信连接，同时所述教师主机100和学生主机200之间通过网关400进行通信，所述教师端、网关以及多个学生端在一个教室内组成局域网，局域网内部的教师端和学生端能够自由通信。

所述教师主机100、教师显示单元110和摄录单元120均集成在教室内的多媒体柜中，所述教师书写单元130则安装在墙壁上靠近所述多媒体柜的位置，即传统黑板或白板的位置。具体地，所述教师主机100安装在多媒体柜内部，所述教师显示单元110和摄录单元120均安装在多媒体柜的顶面上，所述教师显示单元110、摄录单元120和教师书写单元130均与教师主机100通信连接。

所述摄录单元120包括摄像头和麦克风，所述摄像头用于录制教师讲课时的视频信息，形成视频文件，所述麦克风用于录制教师的音频信息，形成音频文件，录制得到的视频文件和视频文件均传送至所述教师主机100。所述教师主机100接收文件后，首先将视频文件和音频文件整合为音视频文件，然后将音频文件进行语音转文字TTS处理后形成字幕文件，并将该字幕文件叠加在音视频文件中，形成摄录文件。

在本实施例中，由于所述摄录单元120仅需要在英语课上使用，为避免所述摄录单元120对其他教师造成影响，所述摄录单元120采用可升降的方式安装在多媒体柜上。具体可以在多媒体柜的顶面上开孔，将电动推杆的底部固定在多媒体柜内部，顶部穿过开孔伸出，然后将所述摄录单元120安装在电动推杆的顶端，所述电动推杆的控制按键可安装在多媒体柜的顶面上，方便教师进行升降控制。

所述教师书写单元130为电子白板，能够将教师在其上书写的图形、文字等信息记录下来，形成板书文件后与所述摄录文件打包存放在所述教师主机100中。

在一次英语讲课结束后，所述教师主机100将摄录文件和板书文件自动上传至校园服务器300中，所述校园服务器300将文件存储起来以备查阅。同时所述教师主机100还将摄录文件和板书文件通过网关发送给局域网内的所有学生主机200，学生如果觉得上课过程中存在没听懂的地方，可以将文件保存然后课后继续观看，如果学生觉得没有必要保存则可以直接删除，如果学生以后需要重新观看教师讲课时的摄录文件和板书文件，则可以在所述校园服务器300中进行下载。

所述学生主机200、学生显示单元210、学生状态监测单元220、音频接收单元230和学生书写单元240均集成在每个学生使用的课桌和椅子250中，且所述学生显示单元210、学生状态监测单元220、音频接收单元230和学生书写单元240均与学生主机200通信连接。具体地，所述学生主机200安装在课桌内部的存放柜中，所述学生显示单元210安装在课桌的顶面上，所述音频接收单元230和学生书写单元240均放置在课桌上。

为不影响学生正常使用课桌，所述学生显示单元210采用可升降的方式安装在课桌上，因此课桌的顶面上开设通槽，所述通槽底部安装升降机构，该升降机构的顶部安装所述学生显示单元210，当需要使用时学生通过课桌顶面上的控制按键即可将学生显示单元210升起。进一步地，为避免所述通槽影响学生使用课桌，可在所述通槽的顶部活动安装顶盖，当学生显示单元210升起时自动将所述顶盖顶开，而当学生显示单元210降下时所述顶盖自动回弹并盖在通槽上。

基于相同的理由，课桌的顶面上开设有放置槽231和安装槽，所述放置槽231中具有底座，所述音频接收单元230为无线耳机，其采用蓝牙通信方式与所述学生主机200连接。所述底座上具有充电接口，当所述音频接收单元230放置在底座上并插接在充电接口上时，所述底座即开始对音频接收单元230充电。同时所述放置槽231上也具有盖板，该盖板可从放置槽231上移除或者通过销轴转动安装在放置槽231上。

所述安装槽中放置有学生书写单元240，本实施例中所述学生书写单元240为触摸式显示屏，可使用电容笔在该触摸式显示屏上书写。所述安装槽上也具有硬质的护板，该护板优选的安装方式为可移除形式，方便将所述安装槽完全打开以不影响学生使用所述学生书写单元240。

所述学生状态监测单元220包括学生信息采集单元221和姿态监测传感器组，所述学生信息采集单元221集成了摄像头和麦克风，其安装在课桌的角落中并朝向学生的脸部，当然所述学生信息采集单元221也可以采用升降或弹出的方式安装在课桌上。所述学生信息采集单元221用于监测学生在上课以及观看所述学生主机200保存的摄录文件和板书文件时的脸部信息，该脸部信息传输给学生主机200后分析学生的表情，然后根据学生的表情判断学生是否对教师的讲课内容有疑惑。例如所述学生主机200分析得到的表情中存在皱眉的表情，说明学生对教师讲授的内容没有理解或者有不同意见，此时可以确定学生对教师的讲课内容有疑惑。

由于讲课内容分教师在课堂上当场讲授和学生主机200中存放的摄录文件和板书文件，因此所述学生主机200在教师当场讲授时，如果确定学生对讲课内容有疑惑，则将该疑惑发生的时间进行记录，然后在所述摄录文件中进行标记，当学生通过摄录文件和板书文件再次复习讲课内容时，如果学生主机200再次确定学生在标记的位置处存在疑惑，则触发强化练习功能。

在强化练习功能中，所述学生主机200控制学生显示单元210显示预先制定好的练习题，同时提示学生在所述学生书写单元240上作答，所述练习题包括听力练习、口语阅读练习、默写练习等多种形式的题目。作答完成后，所述学生主机200根据作答的结果具体分析学生存在的问题，并对该问题作出针对性的建议。应理解，教师需要对讲课内容以及学生可能存在疑惑的地方实现存放在教师主机100中，所述教师主机100结合教师存放的内容在生成的摄录文件中进行备注，该备注包括预先设置的练习题、练习题的正确答案、各种作答结果对应的学生问题以及与每种学生问题对应的建议。这样对绝大部分学生都能在课程结束后的短时间内解决存在的疑惑，大大提升学习效果。

在上课过程中，所述学生主机200实时通过学生信息采集单元221监控学生的表情，如果学生表现出呆滞、打盹等代表学生注意力不集中的表情，则所述学生主机200对该事件进行记录，并将学生注意力不集中发生时间段进行标记。当教师讲课结束，所述教师主机100生成摄录文件和板书文件并发送给学生主机200后，所述学生主机200按照标记的时间段对摄录文件进行重点标注，并强制对摄录文件和板书文件进行保存和播放，在播放过程中重点标记的内容无法跳过或快进，要求学生必须观看，以保证学生能够获得完整的讲课内容，播放完成后学生可自己决定保存或删除摄录文件和板书文件。

所述姿态监测传感器组安装在椅子250上，具体来说是安装在椅子250的椅面和靠背上，所述姿态监测传感器组用来采集学生上课期间坐在椅子250上时的压力分布情况，所述学生主机200根据该压力分布情况分析学生的姿态。如果压力分布情况中仅在椅面上存在压力，或者也存在小面积的椅背上的压力分布，说明学生坐姿比较直，此时学生处在认真听讲的状态，如果压力分布情况中不仅存在椅面上的压力分布，还存在大面积的椅背上的压力分布，说明学生的坐姿比较倾斜，此时学生的脸部朝向会影响所述学生信息采集单元221采集信息的准确性，因此在学生坐姿比较倾斜时所述学生主机200直接认为学生的注意力不集中，并采取上述针对注意力不集中时的操作进行处理。

教师在上课过程中对学生进行提问时，所述教师主机100实时分析通过所述麦克风采集的音频文件生成的字幕文件，并采用关键词搜索技术触发提问监控功能。在提问监控功能中，所述教师主机100根据教师提问时字幕文件中的内容以及板书文件中的内容确定教师提问的内容，然后根据字幕文件中学生姓名的信息判断回答问题的对象。在确定回答问题的学生后，对应学生使用的学生主机100控制所述学生显示单元210提示学生回答问题，学生通过书写或者语音的形式回答问题时，所述学生书写单元240将学生书写的内容发送给学生主机200，或所述学生信息采集单元221中的麦克风将采集的学生音频信息发送给学生主机200，所述学生主机200对接收的书写或音频信息进行识别，根据所述教师主机100预先发送的准确答案判断学生的回答是否正确。

教师提问的内容、回答学生的姓名、学生回答的内容以及判断结果均通过所述网关400发送至教室内其他的学生主机200，其他学生都可以实时了解需要的内容。这样学生就不必因书写要求前往讲台，或者大声回答问题，为学生提供贴合实际应用环境的书写和语音交流环境。

实例一

在上课过程中，如果学生对讲课内容不理解时，在面部会体现出皱眉、睁大眼睛等表情，此时所述学生主机根据采集的学生脸部信息进行特征分析，具体分析学生的眼睛以及眼睛周围的状态，籍此判断学生是否存在疑惑的表情，如果存在，则将发生的时间确定为开始时间，并对学生的状态进行持续监测，直到疑惑的表情消失，此时将时间确定为结束时间。

开始时间到结束时间之间的时间段即为学生存在疑惑的时间段，所述学生主机对该时间段进行记录。

实例二

在上课过程中，如果学生存在打盹、走神等注意力不集中等情况时，在面部会体现出频繁眨眼、眼睛半睁开等表情，此时所述学生主机根据采集的学生脸部信息进行特征分析，具体分析学生的眼睛以及眼睛周围的状态，籍此判断学生是否存在注意力不集中的情况，如果存在，则将发生的时间确定为开始时间，并对学生的状态进行持续监测，直到注意力不集中的情况消失，此时将时间确定为结束时间。

开始时间到结束时间之间的时间段即为学生存在注意力不集中的时间段，所述学生主机对该时间段进行记录。

实例三

在上课过程中，如果学生的坐姿不标准，会导致无法采集脸部信息的问题，也就无法再通过表情判断学生是否注意力不集中。此时学生主机通过对椅子上的姿态监测传感器组检测的椅面和椅背上的压力分布情况，判断学生是否注意力不集中。如果压力分布情况表明学生的坐姿是半躺的状态，说明学生很有可能是在睡觉或者打盹，此时可以直接确定学生的注意力不集中。

应理解，由于在实际教师和学生面对面授课的过程中，学生是需要保持标准的坐姿和集中精神的，因此可以在教室中通过对学生脸部信息和坐姿的分析来判断学生是否注意力不集中。但是教师和学生通过在线教育、网课等互联网形式进行教学时，采集脸部信息和坐姿有可能会涉及到个人隐私的保护问题，因此本发明的教学装置不能适用于基于互联网形式的教学。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种英语教学的多模态英语教学装置，该装置包括教师端和学生端，所述教师端包括教师主机和教师书写单元，所述教师书写单元与教师主机通信连接，所述学生端包括学生主机、学生显示单元，所述学生显示单元与学生主机通信连接，所述教师主机与学生主机通信连接，其特征在于：

所述教师端还包括与教师主机通信连接的摄录单元，所述学生端还包括与学生主机通信连接的学生状态监测单元，所述摄录单元包括摄像头和麦克风，所述摄像头录制教师讲课时的视频信息，由所述教师主机形成视频文件，所述麦克风录制教师的音频信息，由所述教师主机形成音频文件，所述教师主机将视频文件和音频文件整合为音视频文件，然后将音频文件进行语音转文字TTS处理后形成字幕文件，并将该字幕文件叠加在音视频文件中，形成摄录文件；所述教师书写单元获取教师书写的内容，由所述教师主机形成板书文件，所述教师主机将摄录文件和板书文件发送至学生主机；

所述学生状态监测单元包括学生信息采集单元，所述学生信息采集单元集成有摄像头，该摄像头用于监测学生的脸部信息，所述学生主机根据该脸部信息确定学生的表情，然后根据学生的表情判断学生是否对教师的讲课内容有疑惑；

在确定学生对讲课内容有疑惑时，所述学生主机将该疑惑发生的时间进行记录，然后在所述摄录文件中进行标记，当学生通过摄录文件和板书文件再次复习讲课内容时，如果所述学生主机再次确定学生在标记的时间位置处存在疑惑，则控制所述学生显示单元显示预先制定好的练习题，学生作答完成后所述学生主机根据作答的结果分析学生存在的问题，并对该问题作出针对性的建议；

在上课过程中，所述学生主机实时通过学生信息采集单元确定学生的表情，如果学生存在注意力不集中的表情，则所述学生主机对学生注意力不集中发生时间段进行标记；

在教师讲课结束后，所述学生主机按照标记的时间段在摄录文件中进行重点标注，并强制对摄录文件和板书文件进行保存和播放，播放过程中所述摄录文件中重点标注的内容均按照正常速度进行播放。

2.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，还包括与所述学生主机通信连接的学生书写单元，所述教师主机实时分析字幕文件以确定教师是否存在提问的动作，当存在提问动作时所述教师主机根据字幕文件中的内容以及板书文件中的内容确定教师提问的内容，然后根据字幕文件的信息判断回答问题的学生姓名；

学生通过书写或者语音的形式回答问题时，所述学生书写单元将学生书写的内容发送给学生主机，或所述学生状态监测单元将采集的学生音频信息发送给学生主机，所述学生主机对接收的书写或音频信息进行识别，根据所述教师主机预先发送的准确答案判断学生的回答是否正确；

所述教师主机将得到的教师提问的内容、回答学生的姓名、学生回答的内容以及判断结果均发送至教室内其他的学生主机。

3.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，还包括校园服务器和安装在教室中的网关，所述教师主机和学生主机均与校园服务器通信连接，同时所述教师主机和学生主机之间通过网关进行通信，所述教师端、网关以及多个学生端在教室内组成局域网；

在一次英语讲课结束后，所述教师主机将摄录文件和板书文件自动上传至校园服务器中，所述校园服务器将文件进行存储，所述教师主机还将摄录文件和板书文件通过网关发送给局域网内的所有学生主机。

4.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，所述学生状态监测单元还包括姿态监测传感器组，所述姿态监测传感器组安装在椅子的椅面和靠背上，所述姿态监测传感器组用于采集学生上课期间坐在椅子上时的压力分布情况，所述学生主机根据该压力分布情况分析学生的姿态；

当所述学生主机根据学生的姿态确定学生的注意力不集中时，对学生注意力不集中发生时间段进行标记；

在教师讲课结束后，所述学生主机按照标记的时间段在摄录文件中进行重点标注，并强制对摄录文件和板书文件进行保存和播放，播放过程中所述摄录文件中重点标注的内容均按照正常速度进行播放。

5.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，所述学生端还包括音频接收单元，所述音频接收单元与学生主机无线通信连接。

6.如权利要求5所述的一种英语教学的多模态英语教学装置，其特征在于，所述音频接收单元放置在学生使用的课桌上，所述课桌的顶面上开设有放置槽，所述放置槽中具有底座，所述底座上具有充电接口，当所述音频接收单元放置在底座上并插接在充电接口上时，所述底座对音频接收单元充电。

7.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，所述摄录单元安装在多媒体柜上，所述多媒体柜的顶面上开孔，该开孔内部安装有电动推杆，所述摄录单元安装在电动推杆的顶端，所述电动推杆的控制按键安装在多媒体柜的顶面上。

8.如权利要求1所述的一种英语教学的多模态英语教学装置，其特征在于，所述学生显示单元采用安装在课桌上，所述课桌的顶面上开设通槽，所述通槽底部安装升降机构，该升降机构的顶部安装所述学生显示单元。

9.如权利要求8所述的一种英语教学的多模态英语教学装置，其特征在于，所述通槽的顶部活动安装有顶盖，所述学生显示单元升起时将所述顶盖顶开，所述学生显示单元降下时所述顶盖回弹并盖在通槽上。

Images