CN113469004A - 一种人工智能学生课堂瞌睡状态检测系统 - Google Patents
一种人工智能学生课堂瞌睡状态检测系统 Download PDFInfo
- Publication number
- CN113469004A CN113469004A CN202110706201.3A CN202110706201A CN113469004A CN 113469004 A CN113469004 A CN 113469004A CN 202110706201 A CN202110706201 A CN 202110706201A CN 113469004 A CN113469004 A CN 113469004A
- Authority
- CN
- China
- Prior art keywords
- student
- state
- module
- vibration
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
Abstract
本发明公开了一种人工智能学生课堂瞌睡状态检测系统，包括视频采集模块、控制模块和振动提醒模块，视频采集模块和振动提醒模块均与控制模块信号连接；其中，视频采集模块用于从正面对学生进行周期性拍摄，获取学生的视频图像；控制模块接收视频图像，调用预设的判断模型对视频图像进行分析，并得到学生精神状态，若学生精神状态为异常状态，向振动提醒模块发送触发信号；振动提醒模块设置在课桌上，用于接收并响应于触发信号发出振动提醒。本系统能够根据获取的学生的视频图像自动判断该学生是否处于疲劳状态，并在确认学生处于疲劳状态后，通过设置在课桌上的振动提醒模块发出振动，提醒学生及时调整上课状态。
Description
技术领域
本发明涉及课堂教学监测技术领域，具体涉及一种人工智能学生课堂瞌睡状态检测系统。
背景技术
现今在校学习的学生学习任务繁重，学习压力大，学生的精力都放在在教室的学习当中。但是由于教室里学生人数众多，教室空气环境变的异常浑浊致使学生易瞌睡。尤其到了冬天，教室的窗户不经常打开，室内空间密闭，二氧化碳增多，学习的学生极易困倦，不仅影响了学生的听课效率，而且影响了学生身心的健康成长。
目前并没有很好的技术方案来解决学生上课瞌睡和疲劳导致的注意力不集中的问题，只能依靠老师上课提问和家长的督促，但效果不佳。
发明内容
针对现有技术中的缺陷，本发明提供一种人工智能学生课堂瞌睡状态检测系统，以解决背景技术中所提出的技术问题。
一种人工智能学生课堂瞌睡状态检测系统，包括视频采集模块、控制模块和振动提醒模块，所述视频采集模块和振动提醒模块均与所述控制模块信号连接；其中，
所述视频采集模块用于从正面对学生进行周期性拍摄，获取学生的视频图像；
所述控制模块接收所述视频图像，调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，若学生精神状态为异常状态，向所述振动提醒模块发送触发信号；
所述振动提醒模块设置在课桌上，用于接收并响应于所述触发信号发出振动提醒。
进一步，所述调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，包括：
将所述视频图像输入判断模型，判断模型通过图像识别获取学生的眼部特征、嘴部特征或姿态特征中的至少一种，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态。
进一步，所述学生精神状态包括清醒状态和疲劳状态中的一种状态。
进一步，根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，包括：
根据所述眼部特征计算学生的眨眼频率、闭眼间隔时间和每次闭眼时长，判断学生是否处于疲劳状态；和/或，
根据所述嘴部特征判断学生是否有打哈欠动作，若学生有打哈欠动作，统计打哈欠动作频率，根据所述打哈欠动作频率判断学生是否处于疲劳状态；和/或，
根据所述姿态特征判断学生是否有点头动作，若学生有点头动作，计算点头频率和点头持续时间，根据所述点头频率和点头持续时间判断学生是否处于疲劳状态。
进一步，所述疲劳状态为异常状态；
所述清醒状态为正常状态。
进一步，所述控制模块上连接有无线通信模块，所述控制模块通过所述无线通信模块与云服务器和所述振动提醒模块无线通信连接。
进一步，所述控制模块还用于：
将所述视频图像通过所述无线通信模块上传到所述云服务器中存储。
进一步，所述控制模块还用于：
若学生精神状态为异常状态，控制所述视频采集模块连续拍摄设定时间段内该学生的视频图像。
进一步，所述控制模块包括单片机；
所述无线通信模块为WiFi模块、4G模块或5G模块中的至少一种；
所述视频采集模块包括云台和安装在所述云台上的摄像头，所述云台和所述摄像头均与所述单片机信号连接。
进一步，所述振动提醒模块包括无线接收装置、控制装置、电源和振动装置，所述无线接收装置、电源和振动装置均与所述控制装置电连接，所述无线接收装置、控制装置、电源和振动装置均集成在一个安装盒内，所述安装盒安装在课桌上；其中，
所述无线接收装置为WiFi模块、4G模块或5G模块中的一种；
所述电源为可重复充电的锂电池；
所述控制装置为单片机；
所述振动装置为振动马达。
本发明的有益效果体现在：
本发明提供的学生课堂瞌睡状态检测系统能够自动对学生进行周期性扫描，根据获取的学生的视频图像，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，并在确认学生处于疲劳状态后，通过设置在课桌上的振动提醒模块发出振动，提醒学生及时调整上课状态。根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，有效地提高了对学生精神状态判断的准确率。
进一步，本申请的学生课堂瞌睡状态检测系统还能将扫描拍摄的学生的视频图像上传到云服务器中存储，教师可以在课后登录云服务器观看学生上课状态，辅助教师了解学生上课状况，以此帮助老师及时了解自己的教学质量，从而对自己的教学方式进行调整，提高教学效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例提供的一种人工智能学生课堂瞌睡状态检测系统的系统结构示意图；
图2为本发明实施例提供的一种人工智能学生课堂瞌睡状态检测系统的振动提醒模块的电气结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，在本发明说明书和所附权利要求书中，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
具体实现中，本发明实施例中描述的终端包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
如图1所示，本发明实施例提供的一种人工智能学生课堂瞌睡状态检测系统，包括视频采集模块、控制模块和振动提醒模块，所述视频采集模块和振动提醒模块均与所述控制模块信号连接。其中，所述视频采集模块用于对学生面部进行周期性扫描，获取学生的视频图像；所述控制模块接收所述视频图像，调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，若学生精神状态为异常状态，向所述振动提醒模块发送触发信号；所述振动提醒模块设置在课桌上，用于接收并响应于所述触发信号发出振动提醒。
具体的，所述调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，包括：将所述视频图像输入判断模型，判断模型通过图像识别获取学生的眼部特征、嘴部特征或姿态特征中的至少一种，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态。本实施例中，所述学生精神状态包括清醒状态和疲劳状态中的一种状态。其中，所述疲劳状态为异常状态；所述清醒状态为正常状态。
本实施例中，所述判断模型采用深度学习模型，所述判断模型通过对深度学习模型进行若干样本训练后得到。所述样本为采集的一段时间内的学生不同状态下的视频图像样本。学生在不同的疲劳状态下，其眨眼频率、闭眼间隔时间、每次闭眼时间等都是不一样的。疲劳时，学生疲劳时，眨眼频率高，闭眼间隔时间较长，每次闭眼时间较长，面部神情显疲劳；学生非常疲劳时，眨眼频率更高，闭眼间隔时间更长，每次闭眼时间更长，面部神情为极度疲惫。通过统计图像帧数，可以计算学生的眨眼频率、闭眼间隔时间和每次闭眼时长，判断学生是否处于疲劳状态。
并且，学生处于疲劳状态时，还会出现打哈欠的动作，并且会在一段时间内出现连续打哈欠的动作，因此，若识别到视频图像中学生有连续的打哈欠动作，即可判断学生处于疲劳状态。
正常情况下，学生在疲劳状态时容易出现打瞌睡的状况，打瞌睡时容易出现点头姿态，并且越疲劳，点头频率越高，点头持续时间越长，并且在学生处于点头姿态时，摄像头无法清楚地拍摄到学生的面部图像，也就没有办法获取到学生的眼部特征和嘴部特征。因此，如果单一的依靠学生的眼部特或嘴部征判断学生是否处于疲劳状态，在学生因为疲劳出现点头姿态时，系统判断误差较大。
所以，本申请的判断模型通过图像识别获取学生的眼部特征、嘴部特征或姿态特征中的至少一种，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，从而能够大幅度提高判断学生处于疲劳状态的准确率，减少判断误差。
具体的，根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，包括以下几种方式中的至少一种：
第一种：根据所述眼部特征计算学生的眨眼频率、闭眼间隔时间和每次闭眼时长，判断学生是否处于疲劳状态。
通过图像识别，计算眼睛宽长比，根据眼睛长宽比确认并统计眨眼频率、闭眼间隔时间和每次闭眼时长。正常情况下，在连续3帧视频图像内，眼睛宽长比为小于0.2，则判定学生处于闭眼状态。
第二种：根据所述嘴部特征判断学生是否有打哈欠动作，若学生有打哈欠动作，统计打哈欠动作频率，根据所述打哈欠动作频率判断学生是否处于疲劳状态。
基于特征点曲线拟合的嘴唇内轮廓检测方法，先对嘴巴进行粗定位，然后对嘴巴区域进行Harris角点检测，利用检测到的角点坐标拟合出嘴巴内轮廓曲线。根据嘴巴的张口度大小进行初判；然后根据时间进行首次判决，对于在条件区域的哈欠进行二次判决。本实施例中，若学生张口度大于阈值持续125帧视频图像以上，则可判定为打哈欠状态。
第三种：根据所述姿态特征判断学生是否有点头动作，若学生有点头动作，计算点头频率和点头持续时间，根据所述点头频率和点头持续时间判断学生是否处于疲劳状态。通过姿态特征计算学生头部的旋转角度，若计算出学生头部在连续3帧的视频图像内的向下旋转的角度超过45°，则判定学生处于点头状态。
进一步，所述控制模块上还连接有无线通信模块，所述控制模块通过所述无线通信模块与云服务器和所述振动提醒模块无线通信连接。所述控制模块还用于：将所述视频图像通过所述无线通信模块上传到所述云服务器中存储。教师可以在课后登录云服务器观看学生上课状态，辅助教师了解学生上课状况，以此帮助老师及时了解自己的教学质量，从而对自己的教学方式进行调整，提高教学效率。
进一步，所述控制模块还用于：若学生精神状态为异常状态，控制所述视频采集模块连续拍摄设定时间段内该学生的视频图像，从而对该学生的精神状态进行进一步确认，并且可以采集更准确的学生的视频图像上传到云服务器中，云服务器中的处理软件生成曲线图表，使老师更全面直观的了解学生上课的状况。
具体的，本实施例中，所述控制模块包括单片机；所述无线通信模块为WiFi模块、4G模块或5G模块中的至少一种；所述视频采集模块包括云台和安装在所述云台上的摄像头，所述云台和所述摄像头均与所述单片机信号连接，单片机通过控制云台的舵机转动，从而控制摄像头的拍摄角度。
具体的，本实施例中，如图2所示，所述振动提醒模块包括无线接收装置、控制装置、电源和振动装置，所述无线接收装置、电源和振动装置均与所述控制装置电连接，所述无线接收装置、控制装置、电源和振动装置均集成在一个安装盒内，所述安装盒安装在课桌上。其中，所述无线接收装置为WiFi模块、4G模块或5G模块中的一种。所述电源为可重复充电的锂电池。所述控制装置为单片机，所述振动装置为振动马达。本实施例中，单片机的型号为STM32F103C8T6。
控制装置通过无线接收装置接收到控制模块发送的触发信号后，控制振动马达通电发出静音振动，提醒学生及时调整上课状态。
综上所述，本发明提供的学生课堂瞌睡状态检测系统能够自动对学生进行周期性扫描，根据获取的学生的视频图像，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，并在确认学生处于疲劳状态后，通过设置在课桌上的振动提醒模块发出振动，提醒学生及时调整上课状态。根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，有效地提高了对学生精神状态判断的准确率。
进一步，本申请的学生课堂瞌睡状态检测系统还能将扫描拍摄的学生的视频图像上传到云服务器中存储，教师可以在课后登录云服务器观看学生上课状态，辅助教师了解学生上课状况，以此帮助老师及时了解自己的教学质量，从而对自己的教学方式进行调整，提高教学效率。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种人工智能学生课堂瞌睡状态检测系统，其特征在于：包括视频采集模块、控制模块和振动提醒模块，所述视频采集模块和振动提醒模块均与所述控制模块信号连接；其中，
所述视频采集模块用于从正面对学生进行周期性拍摄，获取学生的视频图像；
所述控制模块接收所述视频图像，调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，若学生精神状态为异常状态，向所述振动提醒模块发送触发信号；
所述振动提醒模块设置在课桌上，用于接收并响应于所述触发信号发出振动提醒。
2.根据权利要求1所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于：所述调用预设的判断模型对所述视频图像进行分析，并得到学生精神状态，包括：
将所述视频图像输入判断模型，判断模型通过图像识别获取学生的眼部特征、嘴部特征或姿态特征中的至少一种，并根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态。
3.根据权利要求2所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于：所述学生精神状态包括清醒状态和疲劳状态中的一种状态。
4.根据权利要求3所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于，根据学生的眼部特征、嘴部特征和/或姿态特征判断学生精神状态，包括：
根据所述眼部特征计算学生的眨眼频率、闭眼间隔时间和每次闭眼时长，判断学生是否处于疲劳状态；和/或，
根据所述嘴部特征判断学生是否有打哈欠动作，若学生有打哈欠动作，统计打哈欠动作频率，根据所述打哈欠动作频率判断学生是否处于疲劳状态；和/或，
根据所述姿态特征判断学生是否有点头动作，若学生有点头动作，计算点头频率和点头持续时间，根据所述点头频率和点头持续时间判断学生是否处于疲劳状态。
5.根据权利要求3所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于：所述疲劳状态为异常状态；
所述清醒状态为正常状态。
6.根据权利要求1所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于,所述控制模块上连接有无线通信模块，所述控制模块通过所述无线通信模块与云服务器和所述振动提醒模块无线通信连接。
7.根据权利要求6所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于,所述控制模块还用于：
将所述视频图像通过所述无线通信模块上传到所述云服务器中存储。
8.根据权利要求6所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于,所述控制模块还用于：
若学生精神状态为异常状态，控制所述视频采集模块连续拍摄设定时间段内该学生的视频图像。
9.根据权利要求6所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于：所述控制模块包括单片机；
所述无线通信模块为WiFi模块、4G模块或5G模块中的至少一种；
所述视频采集模块包括云台和安装在所述云台上的摄像头，所述云台和所述摄像头均与所述单片机信号连接。
10.根据权利要求6所述的一种人工智能学生课堂瞌睡状态检测系统，其特征在于：所述振动提醒模块包括无线接收装置、控制装置、电源和振动装置，所述无线接收装置、电源和振动装置均与所述控制装置电连接，所述无线接收装置、控制装置、电源和振动装置均集成在一个安装盒内，所述安装盒安装在课桌上；其中，
所述无线接收装置为WiFi模块、4G模块或5G模块中的一种；
所述电源为可重复充电的锂电池；
所述控制装置为单片机；
所述振动装置为振动马达。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706201.3A CN113469004A (zh) | 2021-06-24 | 2021-06-24 | 一种人工智能学生课堂瞌睡状态检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110706201.3A CN113469004A (zh) | 2021-06-24 | 2021-06-24 | 一种人工智能学生课堂瞌睡状态检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113469004A true CN113469004A (zh) | 2021-10-01 |
Family
ID=77872725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110706201.3A Withdrawn CN113469004A (zh) | 2021-06-24 | 2021-06-24 | 一种人工智能学生课堂瞌睡状态检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469004A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241719A (zh) * | 2021-12-03 | 2022-03-25 | 广州宏途教育网络科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
-
2021
- 2021-06-24 CN CN202110706201.3A patent/CN113469004A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114241719A (zh) * | 2021-12-03 | 2022-03-25 | 广州宏途教育网络科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
| CN114241719B (zh) * | 2021-12-03 | 2023-10-31 | 广州宏途数字科技有限公司 | 一种学生学习中视觉疲劳状态监测方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685043B (zh) | 基于教室多媒体设备的大学生课堂状态实时监测系统 | |
| CN107606512B (zh) | 一种智能台灯、基于智能台灯提醒用户坐姿的方法及装置 | |
| NL2029643B1 (en) | Ai eye protection desk lamp with sitting posture correction reminder and implementation method thereof | |
| CN109803583A (zh) | 驾驶状态监控方法、装置和电子设备 | |
| CN205249402U (zh) | 一种家用孩子学习监控装置 | |
| CN109819402A (zh) | 用于监督改善学习习惯的方法及其系统 | |
| CN111652189A (zh) | 一种智能化教学的学生管理系统 | |
| CN213241435U (zh) | 一种学生学习保护视力的桌面装置 | |
| CN109523441A (zh) | 一种基于视频识别的教学管理方法和系统 | |
| TW201426669A (zh) | 預防近視和頸椎病的裝置 | |
| CN210039226U (zh) | 一种教学教室控制系统 | |
| WO2021147394A1 (zh) | 基于传感器判断读写状态的方法 | |
| CN107133611B (zh) | 一种课堂学生点头率识别与统计方法及装置 | |
| CN109241917A (zh) | 一种基于计算机视觉的课堂行为检测系统 | |
| CN113469004A (zh) | 一种人工智能学生课堂瞌睡状态检测系统 | |
| CN109756626B (zh) | 一种提醒方法和移动终端 | |
| CN111986530A (zh) | 一种基于学习状态检测的交互学习系统 | |
| CN112307855A (zh) | 一种用户状态检测方法、装置、电子设备及存储介质 | |
| CN109118730A (zh) | 一种坐姿调整提示的方法、装置、智能台灯和存储介质 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN111263123B (zh) | 一种应用于教学中的学生注意力监控系统及监控方法 | |
| WO2020118882A1 (zh) | 学习状态监测方法、装置及智能设备 | |
| CN111160165B (zh) | 一种自适应式姿态纠错检测方法及装置 | |
| CN112733673A (zh) | 一种内容显示方法、装置、电子设备及可读存储介质 | |
| CN116389981A (zh) | 一种基于人工智能的功放控制系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211001 |
|
| WW01 | Invention patent application withdrawn after publication |