CN109583354B - 基于机器学习的学生注意力检测系统 - Google Patents

基于机器学习的学生注意力检测系统 Download PDF

Info

Publication number
CN109583354B
CN109583354B CN201811403617.2A CN201811403617A CN109583354B CN 109583354 B CN109583354 B CN 109583354B CN 201811403617 A CN201811403617 A CN 201811403617A CN 109583354 B CN109583354 B CN 109583354B
Authority
CN
China
Prior art keywords
module
electrically connected
student
face
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811403617.2A
Other languages
English (en)
Other versions
CN109583354A (zh
Inventor
黄祖斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Mythware Information Technology Co ltd
Original Assignee
Nanjing Mythware Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Mythware Information Technology Co ltd filed Critical Nanjing Mythware Information Technology Co ltd
Priority to CN201811403617.2A priority Critical patent/CN109583354B/zh
Publication of CN109583354A publication Critical patent/CN109583354A/zh
Application granted granted Critical
Publication of CN109583354B publication Critical patent/CN109583354B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明涉及基于机器学习的学生注意力检测系统，涉及学生注意力检测装置技术领域，包括教室主体、安装架和第一监控模块，所述教室主体的内部下端设置有学生座位，且教室主体的右侧内壁安置有黑板，所述安装架镶嵌于教室主体的两侧内壁上端，且教室主体的右侧内壁上端连接有第一摄像头。本发明的有益效果是：通过第一摄像头可以在右侧拍摄学生的正面状态，而第二摄像头在左侧拍摄学生背面的状态，这样第一摄像头与第二摄像头形成互补，则能够全方位对学生进行监控，避免由于学生座位对第一摄像头产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测。

Description

基于机器学习的学生注意力检测系统
技术领域
本发明涉及学生注意力检测装置技术领域，具体为基于机器学习的学生注意力检测系统。
背景技术
现有对学生上课注意力检测的装置都是通过一个摄像头对学生的状态进行监控监视，而监控视频无法传递到学生家长手中，只能通过学校工作人员来进行观察，且监控视频只是对学生的上课情况进行拍摄，只能检测出学生大致的上课状态，无法精准的检测到学生是否分心，而视频中学生较多，工作人员很难将每个学生的状态进行分析。
发明内容
本发明的目的在于提供基于机器学习的学生注意力检测系统，以解决上述背景技术中提出的现有对学生上课注意力检测的装置都是通过一个摄像头对学生的状态进行监控监视，而监控视频无法传递到学生家长手中，只能通过学校工作人员来进行观察，且监控视频只是对学生的上课情况进行拍摄，只能检测出学生大致的上课状态，无法精准的检测到学生是否分心，而视频中学生较多，工作人员很难将每个学生的状态进行分析的问题。
为实现上述目的，本发明提供如下技术方案：基于机器学习的学生注意力检测系统，包括教室主体、安装架和第一监控模块，所述教室主体的内部下端设置有学生座位，且教室主体的右侧内壁安置有黑板，所述安装架镶嵌于教室主体的两侧内壁上端，且教室主体的右侧内壁上端连接有第一摄像头，所述教室主体的左侧内壁上端安装有第二摄像头，所述第一监控模块的输出端电性连接有中央处理模块，且中央处理模块的输出端电性连接有第一传输模块，所述第一传输模块的输出端电性连接有终端，且终端的输出端电性连接有学生视频保存模块，所述学生视频保存模块的输出端电性连接有第二传输模块，所述第二传输模块的输出端电性连接有学生家长终端模块。
优选的，所述第一摄像头的形状与第二摄像头的形状相同，且第一摄像头与第二摄像头之间关于教室主体的中心线相对称。
优选的，所述第一监控模块与中央处理模块之间为单向电性连接，其中央处理模块与第一传输模块之间为串联电性连接，且第一传输模块与终端之间为单向电性连接。
优选的，所述学生视频保存模块与第二传输模块之间为串联电性连接，且第二传输模块与学生家长终端模块之间为串联电性连接。
优选的，所述终端的输出端电性连接有人数采集模块，且人数采集模块的输出端电性连接有空缺座位识别模块，所述终端的输出端电性连接有人脸检测/定位模块，所述人数采集模块与终端之前为单向电性连接，且人数采集模块与空缺座位识别模块之间为串联电性连接。
优选的，所述人脸检测/定位模块的输出端电性连接有脸部/头部裁剪模块，且脸部/头部裁剪模块的输出端电性连接有脸部/视线三轴朝向检测模块，所述终端的输出端电性连接有教师状态采集模块，所述脸部/视线三轴朝向检测模块与脸部/头部裁剪模块之间为串联电性连接，其脸部/头部裁剪模块与人脸检测/定位模块之间为单向电性连接，且人脸检测/定位模块与终端之间为串联电性连接。
优选的，所述教师状态采集模块的输出端电性连接有教师视频保存模块，所述脸部/视线三轴朝向检测模块的输出端电性连接有朝向数据聚类模块，所述教师视频保存模块与教师状态采集模块之间为单向电性连接，且教师状态采集模块与终端之间为串联电性连接。
优选的，所述朝向数据聚类模块的输出端电性连接有视频片段裁剪模块，且视频片段裁剪模块的输出端电性连接有视频人脸识别模块，所述视频人脸识别模块与第二传输模块之间为单向电性连接，其视频人脸识别模块与视频片段裁剪模块之间为串联电性连接，且视频片段裁剪模块与朝向数据聚类模块之间为单向电性连接。
优选的，所述终端的输入端电性连接有第二监控模块，且终端的输出端电性连接有课程视频保存模块，所述课程视频保存模块与终端之间为串联电性连接，其终端与第二监控模块之间为单向电性连接，且课程视频保存模块与第二传输模块之间为串联电性连接。
与现有技术相比，本发明的有益效果是：
1、该基于机器学习的学生注意力检测系统通过第一摄像头可以在右侧拍摄学生的正面状态，而第二摄像头在左侧拍摄学生背面的状态，这样第一摄像头与第二摄像头形成互补，则能够全方位对学生进行监控，避免由于学生座位对第一摄像头产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测。
2、该基于机器学习的学生注意力检测系统通过第一传输模块可以将第一监控模块所拍摄的视频传递给终端，这样工作人员可以在终端上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，学生视频保存模块可以将第一监控模块拍摄下来的学生状态视频保存起来，且能够利用第二传输模块将拍摄下来的视频发送给学生家长，让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正。
3、该基于机器学习的学生注意力检测系统通过人数采集模块可以对视频中的学生人数进行采集，可以检测出教室内应到学生数量，从而检测出是否有学生缺席，且利用空缺座位识别模块对空缺的学生座位进行检测识别，则可以观察到哪一个学生缺席，这样就可以将检测的信息及时反馈给教师和学生家长，避免由于教室内的教师未及时发现有学生缺席，而导致缺席的学生出现意外。
4、该基于机器学习的学生注意力检测系统通过人脸检测/定位模块可以对视频中每一个学生的脸部进行定位，并对定位的人脸部分进行裁剪，方便对每个人脸进行识别对比，以及对人脸的朝向角度进行精准的分析，同时利用脸部/视线三轴朝向检测模块来检测脸部和视线、注意力方向，这样使学生在课堂中可以自动将注意力集中起来，能够使学生养成一个良好的学习习惯。
5、该基于机器学习的学生注意力检测系统通过教师状态采集模块可以将视频中教师的状态进行检测和记录，并将教师的状态视频保存下来，这样不仅能够对学生的状态进行检测，也能够对教师的状态进行检测，使工作人员能够发现教师所存在的问题，避免由于教师出错而对学生造成影响，朝向数据聚类模块可以对学生脸部和视线朝向角度进行检测，当超过指定范围时，则可以判断出该学生处于分心状态，并将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正。
6、该基于机器学习的学生注意力检测系统通过第二监控模块可以将教师上课的相关内容拍摄下来，并利用课程视频保存模块将拍摄下来的视频保存下来，并发送给学生家长，这样学生可以在家中通过观看视频来对课程进行复习，或者上课分心的学生可以利用视频来重新学习，则教师在后期不需要对相同的内容进行重复的讲解。
附图说明
图1为本发明基于机器学习的学生注意力检测系统的结构示意图；
图2为本发明基于机器学习的学生注意力检测系统的第一摄像头工作流程结构示意图；
图3为本发明基于机器学习的学生注意力检测系统的学生人数采集流程结构示意图；
图4为本发明基于机器学习的学生注意力检测系统的学生注意力朝向检测流程结构示意图；
图5为本发明基于机器学习的学生注意力检测系统的人脸识别流程结构示意图；
图6为本发明基于机器学习的学生注意力检测系统的教师上课内容记录陈留结构示意图。
图中：1、教室主体；2、学生座位；3、黑板；4、安装架；5、第一摄像头；6、第二摄像头；7、第一监控模块；8、中央处理模块；9、第一传输模块；10、终端；11、学生视频保存模块；12、第二传输模块；13、学生家长终端模块；14、人数采集模块；15、空缺座位识别模块；16、人脸检测/定位模块；17、脸部/头部裁剪模块；18、脸部/视线三轴朝向检测模块；19、朝向数据聚类模块；20、视频片段裁剪模块；21、教师状态采集模块；22、教师视频保存模块；23、视频人脸识别模块；24、第二监控模块；25、课程视频保存模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
请参阅图1-6，本发明提供一种技术方案：基于机器学习的学生注意力检测系统，包括教室主体1、学生座位2、黑板3、安装架4、第一摄像头5、第二摄像头6、第一监控模块7、中央处理模块8、第一传输模块9、终端10、学生视频保存模块11、第二传输模块12、学生家长终端模块13、人数采集模块14、空缺座位识别模块15、人脸检测/定位模块16、脸部/头部裁剪模块17、脸部/视线三轴朝向检测模块18、朝向数据聚类模块19、视频片段裁剪模块20、教师状态采集模块21、教师视频保存模块22、视频人脸识别模块23、第二监控模块24和课程视频保存模块25，教室主体1的内部下端设置有学生座位2，且教室主体1的右侧内壁安置有黑板3，安装架4镶嵌于教室主体1的两侧内壁上端，且教室主体1的右侧内壁上端连接有第一摄像头5，第一摄像头5的形状与第二摄像头6的形状相同，且第一摄像头5与第二摄像头6之间关于教室主体1的中心线相对称，第一摄像头5可以在右侧拍摄学生的正面状态，而第二摄像头6在左侧拍摄学生背面的状态，这样第一摄像头5与第二摄像头6形成互补，则能够全方位对学生进行监控，避免由于学生座位2对第一摄像头5产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测；
教室主体1的左侧内壁上端安装有第二摄像头6，第一监控模块7的输出端电性连接有中央处理模块8，且中央处理模块8的输出端电性连接有第一传输模块9，第一监控模块7与中央处理模块8之间为单向电性连接，其中央处理模块8与第一传输模块9之间为串联电性连接，且第一传输模块9与终端10之间为单向电性连接，第一传输模块9可以将第一监控模块7所拍摄的视频传递给终端10，这样工作人员可以在终端10上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，第一传输模块9的输出端电性连接有终端10，且终端10的输出端电性连接有学生视频保存模块11，学生视频保存模块11的输出端电性连接有第二传输模块12，学生视频保存模块11与第二传输模块12之间为串联电性连接，且第二传输模块12与学生家长终端模块13之间为串联电性连接，学生视频保存模块11可以将第一监控模块7拍摄下来的学生状态视频保存起来，且能够利用第二传输模块12将拍摄下来的视频发送给学生家长，让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正；
第二传输模块12的输出端电性连接有学生家长终端模块13，终端10的输出端电性连接有人数采集模块14，且人数采集模块14的输出端电性连接有空缺座位识别模块15，终端10的输出端电性连接有人脸检测/定位模块16，人数采集模块14与终端10之前为单向电性连接，且人数采集模块14与空缺座位识别模块15之间为串联电性连接，人数采集模块14可以对视频中的学生人数进行采集，可以检测出教室内应到学生数量，从而检测出是否有学生缺席，且利用空缺座位识别模块15对空缺的学生座位2进行检测识别，则可以观察到哪一个学生缺席，这样就可以将检测的信息及时反馈给教师和学生家长，避免由于教室内的教师未及时发现有学生缺席，而导致缺席的学生出现意外，人脸检测/定位模块16的输出端电性连接有脸部/头部裁剪模块17，且脸部/头部裁剪模块17的输出端电性连接有脸部/视线三轴朝向检测模块18，终端10的输出端电性连接有教师状态采集模块21，脸部/视线三轴朝向检测模块18与脸部/头部裁剪模块17之间为串联电性连接，其脸部/头部裁剪模块17与人脸检测/定位模块16之间为单向电性连接，且人脸检测/定位模块16与终端10之间为串联电性连接，人脸检测/定位模块16可以对视频中每一个学生的脸部进行定位，并对定位的人脸部分进行裁剪，方便对每个人脸进行识别对比，以及对人脸的朝向角度进行精准的分析，同时利用脸部/视线三轴朝向检测模块18来检测脸部和视线、注意力方向，这样使学生在课堂中可以自动将注意力集中起来，能够使学生养成一个良好的学习习惯；
教师状态采集模块21的输出端电性连接有教师视频保存模块22，脸部/视线三轴朝向检测模块18的输出端电性连接有朝向数据聚类模块19，教师视频保存模块22与教师状态采集模块21之间为单向电性连接，且教师状态采集模块21与终端10之间为串联电性连接，教师状态采集模块21可以将视频中教师的状态进行检测和记录，并将教师的状态视频保存下来，这样不仅能够对学生的状态进行检测，也能够对教师的状态进行检测，使工作人员能够发现教师所存在的问题，避免由于教师出错而对学生造成影响，朝向数据聚类模块19的输出端电性连接有视频片段裁剪模块20，且视频片段裁剪模块20的输出端电性连接有视频人脸识别模块23，视频人脸识别模块23与第二传输模块12之间为单向电性连接，其视频人脸识别模块23与视频片段裁剪模块20之间为串联电性连接，且视频片段裁剪模块20与朝向数据聚类模块19之间为单向电性连接，朝向数据聚类模块19可以对学生脸部和视线朝向角度进行检测，当超过指定范围时，则可以判断出该学生处于分心状态，并将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正，终端10的输入端电性连接有第二监控模块24，且终端10的输出端电性连接有课程视频保存模块25，课程视频保存模块25与终端10之间为串联电性连接，其终端10与第二监控模块24之间为单向电性连接，且课程视频保存模块25与第二传输模块12之间为串联电性连接，第二监控模块24可以将教师上课的相关内容拍摄下来，并利用课程视频保存模块25将拍摄下来的视频保存下来，并发送给学生家长，这样学生可以在家中通过观看视频来对课程进行复习，或者上课分心的学生可以利用视频来重新学习，则教师在后期不需要对相同的内容进行重复的讲解。
本实施例的工作原理：该基于机器学习的学生注意力检测系统，首先将第一摄像头5安装在教室主体1内右上的安装架4上，将第二摄像头6安装在教室主体1内左上的安装架4上，第一摄像头5可以在右侧拍摄学生的正面状态，而第二摄像头6在左侧拍摄学生背面的状态，这样第一摄像头5与第二摄像头6形成互补，则能够全方位对学生进行监控，避免由于学生座位2对第一摄像头5产生阻碍，且在对学生监控的同时，也能够对前方的教师上课状态进行监控，则学校可以全面对学生和教师的状态进行全面的监控和检测，第一摄像头5内的第一监控模块7将学生上课时的状态拍摄下来，通过中央处理模块8和第一传输模块9将视频传递到终端10上，终端10内的人数采集模块14对视频中学生的数量进行采集检测，将教室内的实到人数反馈给工作人员，且利用空缺座位识别模块15来检测是哪些学生缺席，方便教师去缺席学生进行了解，而工作人员可以在终端10上对教室内的学生状态进行在线实时监测，从而对学生的上课状态进行初次的掌握，且能够及时发现教室内的问题，同时也能够及时反馈给教室内的教师，同时终端10内的学生视频保存模块11将拍摄下来的视频保存下来，并通过第二传输模块12将视频传递到学生家长终端模块13上，则让学生家长能够了解到学生上课时的大致状态，使学生家长发现学生存在的问题，方便家长对学生进行正确的教育和纠正，而人脸检测/定位模块16对视频中的每一个人脸进行定位，使用MTCNN人脸检测/定位技术来定位所有学生的脸部，而脸部/头部裁剪模块17根据坐标进行脸部/头部裁剪，脸部/视线三轴朝向检测模块18对裁剪出的脸部图像使用Pupildetection技术识别出学生脸部/视线、注意力的三轴朝向，而朝向数据聚类模块19对朝向数据进行聚类，在主类比例高于第一阈值的聚类结果中，分离出其他类别与主类距离大于第二阈值的非大类样本，并对其标记为注意力分散程度，根据标记数据并在时间轴上加以一定的卡尔曼滤波技术平滑处理，抽取视频序列中时间轴上每个学生注意力分散程度高于第三阈值的片段，当超过指定范围时，则判断出该学生处于分心状态，传递到视频片段裁剪模块20，视频片段裁剪模块20将获取到的单个学生对应的视频片段裁剪，而视频人脸识别模块23进行人脸识别，对应到具体学生，从而将学生的分心状态的视频剪辑和保存下来，这样可以将学生分心状态发送给家长，家长能够掌握其孩子的课堂学习状况，而在日常对其孩子做出正确的监督和纠正。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于机器学习的学生注意力检测系统，包括教室主体（1）、安装架（4）和第一监控模块（7），其特征在于：所述教室主体（1）的内部下端设置有学生座位（2），且教室主体（1）的右侧内壁安置有黑板（3），所述安装架（4）镶嵌于教室主体（1）的两侧内壁上端，且教室主体（1）的右侧内壁上端连接有第一摄像头（5），所述教室主体（1）的左侧内壁上端安装有第二摄像头（6），所述第一监控模块（7）的输出端电性连接有中央处理模块（8），且中央处理模块（8）的输出端电性连接有第一传输模块（9），所述第一传输模块（9）的输出端电性连接有终端（10），且终端（10）的输出端电性连接有学生视频保存模块（11），所述学生视频保存模块（11）的输出端电性连接有第二传输模块（12），所述第二传输模块（12）的输出端电性连接有学生家长终端模块（13）；
所述终端（10）的输出端电性连接有人数采集模块（14），且人数采集模块（14）的输出端电性连接有空缺座位识别模块（15），所述终端（10）的输出端电性连接有人脸检测/定位模块（16），所述人数采集模块（14）与终端（10）之前为单向电性连接，且人数采集模块（14）与空缺座位识别模块（15）之间为串联电性连接；
所述人脸检测/定位模块（16）的输出端电性连接有脸部/头部裁剪模块（17），且脸部/头部裁剪模块（17）的输出端电性连接有脸部/视线三轴朝向检测模块（18），所述终端（10）的输出端电性连接有教师状态采集模块（21），所述脸部/视线三轴朝向检测模块（18）与脸部/头部裁剪模块（17）之间为串联电性连接，其脸部/头部裁剪模块（17）与人脸检测/定位模块（16）之间为单向电性连接，且人脸检测/定位模块（16）与终端（10）之间为串联电性连接；
所述教师状态采集模块（21）的输出端电性连接有教师视频保存模块（22），所述脸部/视线三轴朝向检测模块（18）的输出端电性连接有朝向数据聚类模块（19），所述教师视频保存模块（22）与教师状态采集模块（21）之间为单向电性连接，且教师状态采集模块（21）与终端（10）之间为串联电性连接；
所述人脸检测/定位模块（16）对视频中的每一个人脸进行定位，使用MTCNN人脸检测/定位技术来定位所有学生的脸部，而脸部/头部裁剪模块（17）根据坐标进行脸部/头部裁剪，脸部/视线三轴朝向检测模块（18）对裁剪出的脸部图像使用Pupil detection技术识别出学生脸部/视线、注意力的三轴朝向，而朝向数据聚类模块（19）对朝向数据进行聚类，在主类比例高于第一阈值的聚类结果中，分离出其他类别与主类距离大于第二阈值的非大类样本，并对其标记为注意力分散程度，根据标记数据并在时间轴上加以卡尔曼滤波技术平滑处理，抽取视频序列中时间轴上每个学生注意力分散程度高于第三阈值的片段，当超过指定范围时，则判断出该学生处于分心状态。
2.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述第一摄像头（5）的形状与第二摄像头（6）的形状相同，且第一摄像头（5）与第二摄像头（6）之间关于教室主体（1）的中心线相对称。
3.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述第一监控模块（7）与中央处理模块（8）之间为单向电性连接，其中央处理模块（8）与第一传输模块（9）之间为串联电性连接，且第一传输模块（9）与终端（10）之间为单向电性连接。
4.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述学生视频保存模块（11）与第二传输模块（12）之间为串联电性连接，且第二传输模块（12）与学生家长终端模块（13）之间为串联电性连接。
5.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述朝向数据聚类模块（19）的输出端电性连接有视频片段裁剪模块（20），且视频片段裁剪模块（20）的输出端电性连接有视频人脸识别模块（23），所述视频人脸识别模块（23）与第二传输模块（12）之间为单向电性连接，其视频人脸识别模块（23）与视频片段裁剪模块（20）之间为串联电性连接，且视频片段裁剪模块（20）与朝向数据聚类模块（19）之间为单向电性连接。
6.根据权利要求1所述的基于机器学习的学生注意力检测系统，其特征在于：所述终端（10）的输入端电性连接有第二监控模块（24），且终端（10）的输出端电性连接有课程视频保存模块（25），所述课程视频保存模块（25）与终端（10）之间为串联电性连接，其终端（10）与第二监控模块（24）之间为单向电性连接，且课程视频保存模块（25）与第二传输模块（12）之间为串联电性连接。
CN201811403617.2A 2018-11-23 2018-11-23 基于机器学习的学生注意力检测系统 Active CN109583354B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811403617.2A CN109583354B (zh) 2018-11-23 2018-11-23 基于机器学习的学生注意力检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811403617.2A CN109583354B (zh) 2018-11-23 2018-11-23 基于机器学习的学生注意力检测系统

Publications (2)

Publication Number Publication Date
CN109583354A CN109583354A (zh) 2019-04-05
CN109583354B true CN109583354B (zh) 2023-05-05

Family

ID=65924124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811403617.2A Active CN109583354B (zh) 2018-11-23 2018-11-23 基于机器学习的学生注意力检测系统

Country Status (1)

Country Link
CN (1) CN109583354B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110139070B (zh) * 2019-04-11 2021-08-17 泉州信息工程学院 一种基于深度学习的智能环境监控方法和系统以及设备
CN110059611B (zh) * 2019-04-12 2023-05-05 中国石油大学(华东) 一种智能化教室空余座位识别方法
CN110427848B (zh) * 2019-07-23 2022-04-12 京东方科技集团股份有限公司 一种精神分析系统
CN111970495B (zh) * 2020-08-21 2021-12-21 湖南工学院 远程灯光自动控制系统
CN112016492A (zh) * 2020-09-03 2020-12-01 深圳市艾为智能有限公司 基于视觉的教学注意力监测系统及方法
CN112598557B (zh) * 2021-03-02 2021-06-25 广东财经大学 一种基于大数据的学生学习行为数据分析系统
CN113076831A (zh) * 2021-03-23 2021-07-06 上海燊睿信息科技有限公司 基于ai的教学提升的技术实现方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077536A (ja) * 2006-09-25 2008-04-03 Sony Corp 画像処理装置および方法、並びにプログラム
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及系统
CN105825189A (zh) * 2016-03-21 2016-08-03 浙江工商大学 一种用于大学生到课率及上课专注度自动分析的装置
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
CN107481566A (zh) * 2017-10-10 2017-12-15 淄博职业学院 一种基于云平台的计算机教学授课系统
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130244218A1 (en) * 2012-03-14 2013-09-19 Dale L. Cook Educational system employing virtual environments

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008077536A (ja) * 2006-09-25 2008-04-03 Sony Corp 画像処理装置および方法、並びにプログラム
CN104517102A (zh) * 2014-12-26 2015-04-15 华中师范大学 学生课堂注意力检测方法及系统
CN105825189A (zh) * 2016-03-21 2016-08-03 浙江工商大学 一种用于大学生到课率及上课专注度自动分析的装置
CN105893980A (zh) * 2016-04-26 2016-08-24 北京科技大学 一种注意力专注度评价方法及系统
CN107609517A (zh) * 2017-09-15 2018-01-19 华中科技大学 一种基于计算机视觉的课堂行为检测系统
CN107481566A (zh) * 2017-10-10 2017-12-15 淄博职业学院 一种基于云平台的计算机教学授课系统
CN108090857A (zh) * 2017-12-29 2018-05-29 复旦大学 一种多模态的学生课堂行为分析系统和方法

Also Published As

Publication number Publication date
CN109583354A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109583354B (zh) 基于机器学习的学生注意力检测系统
CN104463746B (zh) 一种应用监测学生学习行为的方法的家校通系统
CN109284737A (zh) 一种用于智慧教室的学生行为分析和识别系统
CN109086693A (zh) 一种在线教学学习注意力的检测技术
CN109241917A (zh) 一种基于计算机视觉的课堂行为检测系统
CN109345156A (zh) 一种基于机器视觉的课堂教学质量评价系统
CN108924487A (zh) 一种基于在线教学的远程监控系统
CN203118082U (zh) 网络课程学习与考试防作弊的监控装置
CN106123819B (zh) 一种注意力焦点测量方法
CN104408781A (zh) 专注度考勤系统
CN106448290A (zh) 一种能够监控学员注意力的教学系统
CN113570916A (zh) 一种多媒体远程教学辅助方法、设备及其系统
CN111263123B (zh) 一种应用于教学中的学生注意力监控系统及监控方法
CN105654802A (zh) 一种基于课堂数据的智能教学评价管理系统
CN109711263B (zh) 考试系统及其处理方法
US20050130106A1 (en) Mathematical training abacus system
CN108734612A (zh) 一种基于多方面信息采集的课堂教学质量评价器
CN212302777U (zh) 一种用于学习的智能辅导系统
CN114596748A (zh) 一种交互式计算机远程教育系统
CN211293955U (zh) 一种基于视频深度学习的青少年视力守护系统
CN112417949A (zh) 基于视觉的网络教学注意力监测系统及方法
CN206209907U (zh) 一种智能考勤教室系统
CN110555789A (zh) 一种智慧校园挂科预警系统
CN215219745U (zh) 一种班级噪声管理系统和设备
CN104408783A (zh) 一种专注度考勤系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant