CN113095208A - 应用于大学英语教学课堂的注意力观测与提醒系统 - Google Patents
应用于大学英语教学课堂的注意力观测与提醒系统 Download PDFInfo
- Publication number
- CN113095208A CN113095208A CN202110375445.8A CN202110375445A CN113095208A CN 113095208 A CN113095208 A CN 113095208A CN 202110375445 A CN202110375445 A CN 202110375445A CN 113095208 A CN113095208 A CN 113095208A
- Authority
- CN
- China
- Prior art keywords
- attention
- recognition engine
- wide
- coding
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000000712 assembly Effects 0.000 claims description 5
- 238000000429 assembly Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 40
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000003340 mental effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 208000028752 abnormal posture Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明提出一种注意力观测与提醒系统，注意力观测系统包括前向广角摄像组件和后向广角摄像组件；前向广角摄像组件包括第一分辨率的鱼眼摄像头和头部姿态识别引擎；后向广角摄像组件包括第二分辨率的普通摄像头和身体姿态识别引擎；所述教学课堂所在的空间区域被预先划分为多个可被所述多个广角摄像组件识别的编码子区域；注意力观测系统包括小型可见光信号指示屏，在所述小型可见光信号指示屏上通过可见光信号指示至少一个所述编码子区域。注意力系统系统还包括设置于课堂前端的触摸显示屏，在所述触摸显示屏上显示多个编码子区域；基于所述头部姿态识别引擎的分析结果，在所述触摸显示屏上形成注意力提醒信号。
Description
技术领域
本发明属于智能教学技术领域，尤其涉及一种应用于大学英语教学课堂的注意力观测与提醒系统。
背景技术
注意是一种主体心理活动，是心理活动或意识对一定信息的指向和集中。认知心理学上，注意被视为人类实现对刺激选择的控制并调节行为的一种内部机制。而注意力作为智力(观察力、记忆力、想象力、思维力、注意力)的五大基本构成因素之一，是注意能力的表述，是衡量注意程度的指标，是人的视、听、触、嗅和味五大信息通道对外界刺激的关注能力。
注意力是影响学习效率的重要因素之一。学习成绩不理想，或是学习存在困难的学生，大部分并不是因为智力原因，很有可能是由于注意力不集中导致。注意力问题已经成为影响学生学业成绩的重要心理问题之一，在一些非母语教学课程中尤其如此，例如英语教学，由于对语言的不熟悉，学生的注意力通常会被分散。
关注学生在学习中的注意力并进行监测和提醒，在远程教学或者在线教学中已经得到了较好的发展。现有技术已经提出各种基于生物信号采集的远程学习过程监控系统，利用生物传感器采集学习者在线学习时的生物信号，一方面将不同学习者呈现出的生物信号特征分类，建立生物信号分类数据库；另一方面，将动态采集的学习者生物信号通过蓝牙等无线传输方式输入学习终端，再通过Internet输入到远程学习管理中心，通过系统分析软件将采集到的生物信号与学习者生物信号分类数据库进行对比，以获得学习者的实时学习状态，为教师干预和学习者学习提供及时、有针对性的支持服务。
中国发明专利申请CN202010739386.3提出一种基于注意力集中度检测的交互提示方法，包括，S1：实时采集学生的人眼视线区域；并对所述人眼视线区域进行处理，得到当前学生的注意力分布；S2：实时采集屏幕中的视频图像信号，并根据视觉注意力计算模型，对所述视频图像信号进行处理，得到当前的所述视频图像信号下的画面重点分布；S3：对所述学生注意力分布与所述画面重点分布进行融合分析，得到当前学生的注意力集中度；S4：根据所述当前学生的注意力集中度给出学生学习引导方案。该发明以更加直观形式的反馈出学生课堂学习时的注意力集中情况，并进行交互提示，让学生集中注意力进行学习。然而，该方案实质上需要每个学生配置平板电脑用于采集视频信号，事实上只能适用于网课或者在线教学。
申请号为CN202010542201.X的中国发明专利申请提出一种基于课堂场景的学生行为识别方法及系统，包括：图像采集器采集教学学生听课状态下的全景图像并传递至分析处理模块；分析处理模块分析对比全景图像获取学生位置坐标、学生坐姿以及学生手势；分析处理模块根据学生位置坐标以及学生坐姿确定学生注意力点；分析处理模块根据学生注意力点以及学生手势获取学生听课状态并传递至教学反馈模块。通过分析处理模块分析对比全景图像获取学生位置坐标、学生坐姿以及学生手势；根据学生位置坐标以及学生坐姿确定学生注意力点；根据学生注意力点以及学生手势获取学生听课状态，实现学生听课状态的实时监控，提高教学质量。
然而，该方案只能是全景式的图像分析和处理，并不能得到个别识别以及注意力提醒效果。
可见，对于教学课堂的注意力观测与提醒，现有技术并未提出有效的解决方案。
发明内容
为解决上述技术问题，本发明提出应用于大学英语教学课堂的注意力观测与提醒系统，注意力观测系统包括前向广角摄像组件和后向广角摄像组件；前向广角摄像组件包括第一分辨率的鱼眼摄像头和头部姿态识别引擎；后向广角摄像组件包括第二分辨率的普通摄像头和身体姿态识别引擎；所述教学课堂所在的空间区域被预先划分为多个可被所述多个广角摄像组件识别的编码子区域；注意力观测系统包括小型可见光信号指示屏，在所述小型可见光信号指示屏上通过可见光信号指示至少一个所述编码子区域。注意力系统系统还包括设置于课堂前端的触摸显示屏，在所述触摸显示屏上显示多个编码子区域；基于所述头部姿态识别引擎的分析结果，在所述触摸显示屏上形成注意力提醒信号。
本发明提出的注意力观测系统，能够基于前向广角摄像组件和后向广角摄像组件的配合，识别出教学课堂存在的注意力异常现象；本发明提出的注意力提醒系统，在识别出教学课堂存在的注意力异常现象之后，形成注意力提醒信号，并且所述注意力识别和提醒的对象可以精确至每一个编码子区域内的对应目标对象，从而更具有针对性。
具体来说，本发明提出的注意力观测系统包括布置于所述大学英语教学课堂的多个广角摄像组件。
所述多个广角摄像组件包括前向广角摄像组件和后向广角摄像组件；
所述前向广角摄像组件布置于所述大学英语教学课堂的前向位置；
所述后向广角摄像组件布置于所述大学英语教学课堂的后向位置；
所述前向广角摄像组件包括第一分辨率的鱼眼摄像头和头部姿态识别引擎；
所述后向广角摄像组件包括第二分辨率的普通摄像头和身体姿态识别引擎；
所述教学课堂所在的空间区域被预先划分为多个可被所述多个广角摄像组件识别的编码子区域；
所述注意力观测系统还包括小型可见光信号指示屏，在所述小型可见光信号指示屏上通过可见光信号指示至少一个所述编码子区域。
本发明所述的注意力观测系统仅用于在课堂教学阶段进行注意力观测以辅助老师有针对性的观测到部分注意力不集中的区域。因此，为了保护被监测目标对象的隐私，本发明的上述系统中，所述多个广角摄像组件采用易失性存储介质存储获取的图像数据，并且所述易失性存储介质对所述图像数据按照预设周期进行循环覆盖。
由于易失性存储介质断电后数据即丢失，因此，不会在本地保存任何学生画面数据；同时，循环覆盖的形式也确保了数据不会一直保存，而只是用于实时的检测和分析。
在本发明中，所述身体姿态识别引擎与所述头部姿态识别引擎通过反馈控制组件通信，当所述身体姿态识别引擎识别出存在异常的目标区域后，将所述目标区域对应的编码子区域编码发送至所述头部姿态识别引擎。
也就是说，所述身体姿态识别引擎与所述头部姿态识别引擎需要相互配合，提高了识别的准确性。
在另一个方面，基于上述注意力观测系统，本发明提出应用于大学英语教学课堂的注意力提醒系统，所述注意力提醒系统包括设置于所述大学英语教学课堂前端的触摸显示屏，在所述触摸显示屏上显示多个编码子区域，所述编码子区域是将所述教学课堂所在的空间区域预先划分形成的，
在所述大学英语教学课堂的前向位置安装有一个鱼眼摄像头，
在所述大学英语教学课堂的后向位置安装有至少一个普通摄像头；
所述鱼眼摄像头和所述普通摄像头可转动方向以捕捉所述编码子区域对应的目标区域的图像数据；
所述普通摄像头与身体姿态识别引擎连接，将当前捕捉的第一图像数据发送至所述身体姿态识别引擎；
所述鱼眼摄像头与头部姿态识别引擎连接，将当前捕捉的第二图像数据发送至所述头部姿态识别引擎；
基于所述头部姿态识别引擎的分析结果，在所述触摸显示屏上形成注意力提醒信号，所述注意力提醒信号通过所述编码子区域的状态改变来显示。
如前所述，所述身体姿态识别引擎与所述头部姿态识别引擎需要相互配合，更具体的，体现在如下方面：
所述身体姿态识别引擎对所述当前捕捉的第一图像数据进行身体姿态识别分析，判断是否存在异常信号；
如果存在异常信号，则将所述异常信号对应的目标对象所在的编码子区域信息发送至所述头部姿态识别引擎。
因此，相对于现有技术，本发明所述的注意力观测与识别系统不仅能够在实际课堂中无感的进行观测和识别，还能够识别出具体的目标对象和区域，使得注意力教学更有针对性。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种应用于大学英语教学课堂的注意力观测系统的主体架构图
图2是图1所述系统的组件连接示意图
图3是身体姿态识别引擎的识别原理示意图
图4是本发明一个实施例的一种应用于大学英语教学课堂的注意力提醒的主体架构图
图5是基于图1或图2所述系统进行注意力观测和识别的流程示意图。
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参见图1，是本发明一个实施例的一种应用于大学英语教学课堂的注意力观测系统的主体架构图。
在图1中，教学课堂所在的空间，例如教室，被预先划分为多个子区域，每一个子区域包括至少一张课桌或者学习台等，使得实际课堂教学时，每一个子区域至少包含一个目标监测对象，例如一个学生；
对每一个子区域进行位置编码，形成多个编码子区域。后续的实施例中，摄像组件均以编码子区域为单位进行图像采集。
多个编码子区域可以是以ID号为标记的位置识别标记，例如1号区域、1号课桌或者1排1号等，本实施例对此不作具体限制。
参见图1，所述注意力观测系统包括布置于所述教学课堂的多个广角摄像组件。
所述多个广角摄像组件包括前向广角摄像组件和后向广角摄像组件；
所述前向广角摄像组件布置于所述教学课堂的前向位置，前向位置可以是课堂黑板的顶端；
所述后向广角摄像组件布置于所述教学课堂的后向位置；
后向位置，例如可以是课堂后墙的上方。
所述前向广角摄像组件包括第一分辨率的鱼眼摄像头和头部姿态识别引擎；
所述后向广角摄像组件包括第二分辨率的普通摄像头和身体姿态识别引擎。
所述注意力观测系统还包括小型可见光信号指示屏，在所述小型可见光信号指示屏上通过可见光信号指示至少一个所述编码子区域。
为避免干扰，本实例采用的是小型可见光信号指示屏，通过可见光信号指示所述观测系统识别出的可能存在注意力偏移的编码子区域，并通过可见光形式展现。
优选的，小型可见光信号指示屏安装于课堂后墙，这样安置的目的在于，正常教学时，老师的视线方向能够直接看到该小型可见光信号指示屏，同时不会对学生产生影响。
作为一个优选，所述第一分辨率大于所述第二分辨率。
在本实例中，鱼眼摄像头和头部姿态识别引擎需要进行人脸识别和微表情识别，因此，需要较高分辨率的摄像组件；而普通摄像头和身体姿态识别引擎只需要进行人体的整体姿态识别，因此，分辨率可以较低，如此设置，既符合实际情况，也节约了硬件成本。
同时，由于前向广角摄像组件布置于所述教学课堂的前向位置，为避免对学生视线产生干扰，采用鱼眼隐蔽式摄像头安装。
更重要的是，作为本发明的另一个优势改进，为了保护被监测目标对象的隐私，所述多个广角摄像组件采用易失性存储介质存储获取的图像数据，并且所述易失性存储介质对所述图像数据按照预设周期进行循环覆盖。
由于易失性存储介质断电后数据即丢失，因此，不会在本地保存任何学生画面数据；同时，循环覆盖的形式也确保了数据不会一直保存，而只是用于实时的检测和分析。
在图1基础上，参见图2。
所述头部姿态识别引擎包括人脸识别引擎和微表情识别引擎；
作为优选，所述人脸识别引擎采用ADA-Boost检测方法形成分类检测器实现人脸监测。
ADA-Boost检测方法是由Robert等人提出的一种基于积分图级联检测器与ADA-Boost算法的方法。它把通过加权方式得到的弱分类器级联成强分类器最终得到检测器，并将其应用于各个场合实现人脸检测。
所述微表情识别引擎采用时间序列的多图像数据比对实现目标区域的微表情识别。
所述身体姿态识别引擎通过将目标区域检测到的目标人物的姿态数据与标准数据库存储的标准姿态数据进行比对，从而识别出所述目标区域的所述目标任务的身体姿态是否存在异常。
作为一个示意性的例子，图3给出了标准姿态和各种异常姿态的描述示意图。
图3中，顶端的为标准坐姿，视为标准数据库存储的标准姿态数据，其他的均存在一定程度的偏差；通过设置偏差阈值，可以定义为异常。
通过将目标区域检测到的目标人物的姿态数据与标准数据库存储的标准姿态数据进行比对，可识别出所述目标区域的所述目标任务的身体姿态是否存在异常。
所述身体姿态识别引擎与所述头部姿态识别引擎通过反馈控制组件通信，当所述身体姿态识别引擎识别出存在异常的目标区域后，将所述目标区域对应的编码子区域编码发送至所述头部姿态识别引擎。
基于图1-3所述的实施例，图4给出了一种应用于大学英语教学课堂的注意力提醒的主体架构图。
在图4中，所述注意力提醒系统包括设置于所述教学课堂前端的触摸显示屏，在所述触摸显示屏上显示多个编码子区域，所述编码子区域是将所述教学课堂所在的空间区域预先划分形成的，
具体的，可在所述教学课堂的前向位置安装有一个鱼眼摄像头，
在所述教学课堂的后向位置安装有至少一个普通摄像头；
所述鱼眼摄像头和所述普通摄像头可转动方向以捕捉所述编码子区域对应的目标区域的图像数据；
所述普通摄像头与身体姿态识别引擎连接，将当前捕捉的第一图像数据发送至所述身体姿态识别引擎；
所述鱼眼摄像头与头部姿态识别引擎连接，将当前捕捉的第二图像数据发送至所述头部姿态识别引擎；
基于所述头部姿态识别引擎的分析结果，在所述触摸显示屏上形成注意力提醒信号，所述注意力提醒信号通过所述编码子区域的状态改变来显示。
图5给出了所述系统运行的一个示意性的原理图。
首先，所述身体姿态识别引擎对所述当前捕捉的第一图像数据进行身体姿态识别分析，判断是否存在异常信号；
如果存在异常信号，则将所述异常信号对应的目标对象所在的编码子区域信息发送至所述头部姿态识别引擎。
当然，如果不存在异常信号，则继续进行正常的图像数据捕捉，可以考虑调节摄像头的角度等；
如果存在异常信号，则可以得到异常信号对应的目标对象所在的编码子区域信息，例如，识别出1排1号区域存在异常；
接下来，所述头部姿态识别引擎基于所述编码子区域信息，控制所述鱼眼摄像头对所述编码子区域对应的所述教学课堂所在的空间区域进行图像采集，并获得所述第二图像数据。
也就是说，在本实例中，鱼眼摄像头不需要一直工作，仅在接收到异常信号对应的目标对象所在的编码子区域信息后，才开始工作，这样最大程度的减少干扰，因为鱼眼摄像头位于学生的视线方向。
如果是识别出1排1号区域存在异常，则鱼眼摄像头通过角度调节，对1排1号区域进行图像采集并进行细化分析。
这其中，所述头部姿态识别引擎的分析结果，包括：
所述头部姿态识别引擎基于所述编码子区域信息，控制所述鱼眼摄像头对所述编码子区域对应的所述教学课堂所在的空间区域进行图像采集后获得的第二图像数据进行人脸识别和微表情识别的分析结果；
当然，在一些其他场合，例如考试场合，所述鱼眼摄像头可以独立实时工作，此时，所述鱼眼摄像头对独立捕捉到的当前第二图像数据进行人脸识别和微表情识别的分析结果。
当然，本领域技术人员也可以选择二者进行结合判断。
可以看到，本发明所述的技术方案可以适用于各种需要注意力监测和识别的场合，包括课堂教学、考试监测等。
在具体实施例中，尤其可以应用于大学英语教学课堂。
在具体应用于大学英语教学课堂时，由于英语教学更多的关注语言交流和实时对话演练，因此，可以在对话演练开始后，关闭所述普通摄像头，因为此时学生可能脱离了座位，简单的姿态识别可能产生误判；
还可以在语言交流环节，实时开启鱼眼摄像头，以便更准确的捕捉微表情。
相对于现有技术，本发明所述的注意力观测与识别系统不仅能够在实际课堂中无感的进行观测和识别，还能够识别出具体的目标对象和区域，使得注意力教学更有针对性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种注意力观测系统，所述注意力观测系统包括布置于教学课堂的多个广角摄像组件，其特征在于：
所述多个广角摄像组件包括前向广角摄像组件和后向广角摄像组件；
所述前向广角摄像组件布置于所述教学课堂的前向位置；
所述后向广角摄像组件布置于所述教学课堂的后向位置；
所述前向广角摄像组件包括第一分辨率的鱼眼摄像头和头部姿态识别引擎；
所述后向广角摄像组件包括第二分辨率的普通摄像头和身体姿态识别引擎；
所述教学课堂所在的空间区域被预先划分为多个可被所述多个广角摄像组件识别的编码子区域；
所述注意力观测系统还包括小型可见光信号指示屏，在所述小型可见光信号指示屏上通过可见光信号指示至少一个所述编码子区域。
2.如权利要求1所述的一种注意力观测系统，其特征在于：
所述第一分辨率大于所述第二分辨率。
3.如权利要求1所述的一种注意力观测系统，其特征在于：
所述多个广角摄像组件采用易失性存储介质存储获取的图像数据，并且所述易失性存储介质对所述图像数据按照预设周期进行循环覆盖。
4.如权利要求1所述的一种注意力观测系统，其特征在于：
所述头部姿态识别引擎包括人脸识别引擎和微表情识别引擎；
所述人脸识别引擎采用ADA-Boost监测方法形成分类检测器实现人脸监测；
所述微表情识别引擎采用时间序列的多图像数据比对实现目标区域的微表情识别。
5.如权利要求1所述的一种注意力观测系统，其特征在于：
所述身体姿态识别引擎通过将目标区域检测到的目标人物的姿态数据与标准数据库存储的标准姿态数据进行比对，从而识别出所述目标区域的所述目标任务的身体姿态是否存在异常。
6.如权利要求1所述的一种注意力观测系统，其特征在于：
所述身体姿态识别引擎与所述头部姿态识别引擎通过反馈控制组件通信，当所述身体姿态识别引擎识别出存在异常的目标区域后，将所述目标区域对应的编码子区域编码发送至所述头部姿态识别引擎。
7.一种应用于大学英语教学课堂的注意力提醒系统，所述注意力提醒系统包括设置于所述大学英语教学课堂前端的触摸显示屏，在所述触摸显示屏上显示多个编码子区域，所述编码子区域是将所述教学课堂所在的空间区域预先划分形成的，
其特征在于：
在所述大学英语教学课堂的前向位置安装有一个鱼眼摄像头，在所述大学英语教学课堂的后向位置安装有至少一个普通摄像头；
所述鱼眼摄像头和所述普通摄像头可转动方向以捕捉所述编码子区域对应的目标区域的图像数据；
所述普通摄像头与身体姿态识别引擎连接，将当前捕捉的第一图像数据发送至所述身体姿态识别引擎；
所述鱼眼摄像头与头部姿态识别引擎连接，将当前捕捉的第二图像数据发送至所述头部姿态识别引擎；
基于所述头部姿态识别引擎的分析结果，在所述触摸显示屏上形成注意力提醒信号，所述注意力提醒信号通过所述编码子区域的状态改变来显示。
8.如权利要求7所述的一种应用于大学英语教学课堂的注意力提醒系统，其特征在于：
所述身体姿态识别引擎对所述当前捕捉的第一图像数据进行身体姿态识别分析，判断是否存在异常信号；
如果存在异常信号，则将所述异常信号对应的目标对象所在的编码子区域信息发送至所述头部姿态识别引擎。
9.如权利要求8所述的一种应用于大学英语教学课堂的注意力提醒系统，其特征在于：
所述头部姿态识别引擎基于所述编码子区域信息，控制所述鱼眼摄像头对所述编码子区域对应的所述教学课堂所在的空间区域进行图像采集，并获得所述第二图像数据。
10.如权利要求8所述的一种应用于大学英语教学课堂的注意力提醒系统，其特征在于：
所述头部姿态识别引擎的分析结果，包括：
所述头部姿态识别引擎基于所述编码子区域信息，控制所述鱼眼摄像头对所述编码子区域对应的所述教学课堂所在的空间区域进行图像采集后获得的第二图像数据进行人脸识别和微表情识别的分析结果；
和/或；
所述鱼眼摄像头对独立捕捉到的当前第二图像数据进行人脸识别和微表情识别的分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375445.8A CN113095208B (zh) | 2021-04-08 | 2021-04-08 | 应用于大学英语教学课堂的注意力观测与提醒系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110375445.8A CN113095208B (zh) | 2021-04-08 | 2021-04-08 | 应用于大学英语教学课堂的注意力观测与提醒系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113095208A true CN113095208A (zh) | 2021-07-09 |
| CN113095208B CN113095208B (zh) | 2024-01-26 |
Family
ID=76674913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110375445.8A Active CN113095208B (zh) | 2021-04-08 | 2021-04-08 | 应用于大学英语教学课堂的注意力观测与提醒系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095208B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419861A (zh) * | 2022-01-20 | 2022-04-29 | 牡丹江师范学院 | 一种基于互联网大学教学用英语智能教学辅助系统 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| US20160239085A1 (en) * | 2015-02-18 | 2016-08-18 | Lenovo (Singapore) Pte, Ltd. | Force indication of a boundary |
| CN107658016A (zh) * | 2016-10-03 | 2018-02-02 | 朴植 | 用于老年保健陪伴的Nounou智能监护系统 |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及系统 |
| CN109284737A (zh) * | 2018-10-22 | 2019-01-29 | 广东精标科技股份有限公司 | 一种用于智慧教室的学生行为分析和识别系统 |
| CN109886110A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 微表情评分方法、装置、计算机设备及存储介质 |
| CN109977903A (zh) * | 2019-04-03 | 2019-07-05 | 珠海读书郎网络教育有限公司 | 一种智慧课堂学生管理的方法、装置及计算机存储介质 |
| CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN110782185A (zh) * | 2019-11-09 | 2020-02-11 | 上海光数信息科技有限公司 | 一种课堂行为识别分析方法 |
| CN111510665A (zh) * | 2019-01-30 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 毫米波雷达与摄像机联合的监控系统、监控方法及装置 |
| US20200311942A1 (en) * | 2019-03-28 | 2020-10-01 | GM Global Technology Operations LLC | Identification of attention region for enhancement of sensor-based detection in a vehicle |
| CN111931608A (zh) * | 2020-07-23 | 2020-11-13 | 安徽天达网络科技有限公司 | 基于学生姿态以及学生人脸识别的操行管理的方法和系统 |
| CN112016492A (zh) * | 2020-09-03 | 2020-12-01 | 深圳市艾为智能有限公司 | 基于视觉的教学注意力监测系统及方法 |
| CN112417949A (zh) * | 2020-09-28 | 2021-02-26 | 深圳市艾为智能有限公司 | 基于视觉的网络教学注意力监测系统及方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
-
2021
- 2021-04-08 CN CN202110375445.8A patent/CN113095208B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102473264A (zh) * | 2009-06-30 | 2012-05-23 | 伊斯曼柯达公司 | 根据观看者因素和反应进行图像显示控制的方法和装置 |
| CN104517102A (zh) * | 2014-12-26 | 2015-04-15 | 华中师范大学 | 学生课堂注意力检测方法及系统 |
| US20160239085A1 (en) * | 2015-02-18 | 2016-08-18 | Lenovo (Singapore) Pte, Ltd. | Force indication of a boundary |
| CN107658016A (zh) * | 2016-10-03 | 2018-02-02 | 朴植 | 用于老年保健陪伴的Nounou智能监护系统 |
| CN108399376A (zh) * | 2018-02-07 | 2018-08-14 | 华中师范大学 | 学生课堂学习兴趣智能分析方法及系统 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN109284737A (zh) * | 2018-10-22 | 2019-01-29 | 广东精标科技股份有限公司 | 一种用于智慧教室的学生行为分析和识别系统 |
| CN109886110A (zh) * | 2019-01-17 | 2019-06-14 | 深圳壹账通智能科技有限公司 | 微表情评分方法、装置、计算机设备及存储介质 |
| CN111510665A (zh) * | 2019-01-30 | 2020-08-07 | 杭州海康威视数字技术股份有限公司 | 毫米波雷达与摄像机联合的监控系统、监控方法及装置 |
| US20200311942A1 (en) * | 2019-03-28 | 2020-10-01 | GM Global Technology Operations LLC | Identification of attention region for enhancement of sensor-based detection in a vehicle |
| CN109977903A (zh) * | 2019-04-03 | 2019-07-05 | 珠海读书郎网络教育有限公司 | 一种智慧课堂学生管理的方法、装置及计算机存储介质 |
| CN110378837A (zh) * | 2019-05-16 | 2019-10-25 | 四川省客车制造有限责任公司 | 基于鱼眼摄像头的目标检测方法、装置和存储介质 |
| CN110782185A (zh) * | 2019-11-09 | 2020-02-11 | 上海光数信息科技有限公司 | 一种课堂行为识别分析方法 |
| CN111931608A (zh) * | 2020-07-23 | 2020-11-13 | 安徽天达网络科技有限公司 | 基于学生姿态以及学生人脸识别的操行管理的方法和系统 |
| CN112016492A (zh) * | 2020-09-03 | 2020-12-01 | 深圳市艾为智能有限公司 | 基于视觉的教学注意力监测系统及方法 |
| CN112417949A (zh) * | 2020-09-28 | 2021-02-26 | 深圳市艾为智能有限公司 | 基于视觉的网络教学注意力监测系统及方法 |
| CN112562433A (zh) * | 2020-12-30 | 2021-03-26 | 华中师范大学 | 一种基于全息终端的5g强互动远程专递教学系统及其工作方法 |
Non-Patent Citations (2)
| Title |
|---|
| HSU H M: "Multi-camera tracking of vehicles based on deep features re-id and trajectory-based camera link models", 《CVPR WORKSHOPS》, pages 416 - 424 * |
| 韩露: "面向智能移动监控辅助的可穿戴视觉研究", 《中国博士学位论文全文数据库 信息科技辑》, pages 138 - 72 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419861A (zh) * | 2022-01-20 | 2022-04-29 | 牡丹江师范学院 | 一种基于互联网大学教学用英语智能教学辅助系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113095208B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Goldberg et al. | Attentive or not? Toward a machine learning approach to assessing students’ visible engagement in classroom instruction | |
| US9666088B2 (en) | Video-based teacher assistance | |
| CN111931579B (zh) | 利用眼动追踪和手势识别技术的自动驾驶辅助系统及方法 | |
| CN109727167B (zh) | 一种教学辅助系统 | |
| Asteriadis et al. | Estimation of behavioral user state based on eye gaze and head pose—application in an e-learning environment | |
| CN109284737A (zh) | 一种用于智慧教室的学生行为分析和识别系统 | |
| US20130021578A1 (en) | Learning-based visual attention prediction system and method thereof | |
| CN111046823A (zh) | 基于课堂视频的学生课堂参与度分析系统 | |
| WO2014130769A1 (en) | Online examination proctoring system | |
| CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| Chan et al. | Multimodal learning analytics in a laboratory classroom | |
| CN112866808B (zh) | 一种视频处理方法、装置、电子设备及存储介质 | |
| Wang et al. | Automated student engagement monitoring and evaluation during learning in the wild | |
| CN113095208B (zh) | 应用于大学英语教学课堂的注意力观测与提醒系统 | |
| Gupta et al. | Towards selecting robust hand gestures for automotive interfaces | |
| CN111178263A (zh) | 一种实时表情分析方法及其装置 | |
| CN106409033A (zh) | 远程教学辅助系统及该系统用远程教学方法和设备 | |
| CN113486744A (zh) | 基于眼动和人脸表情范式的学生学习状态评估系统及方法 | |
| JP6819194B2 (ja) | 情報処理システム、情報処理装置およびプログラム | |
| CN110378261A (zh) | 一种学生识别方法及装置 | |
| KR102515987B1 (ko) | 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법 | |
| CN114093000A (zh) | 课堂提示信息的显示方法及装置 | |
| CN112634096A (zh) | 一种基于智能黑板的课堂管理方法及系统 | |
| Kuo et al. | Video-based eye tracking to detect the attention shift: A computer classroom context-aware system | |
| Xia | Driver eye movements and the application in autonomous driving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |