CN107133611B - 一种课堂学生点头率识别与统计方法及装置 - Google Patents
一种课堂学生点头率识别与统计方法及装置 Download PDFInfo
- Publication number
- CN107133611B CN107133611B CN201710417671.1A CN201710417671A CN107133611B CN 107133611 B CN107133611 B CN 107133611B CN 201710417671 A CN201710417671 A CN 201710417671A CN 107133611 B CN107133611 B CN 107133611B
- Authority
- CN
- China
- Prior art keywords
- camera
- single chip
- chip microcomputer
- module
- nodding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000001502 supplementing effect Effects 0.000 claims abstract description 12
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 239000013589 supplement Substances 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000007619 statistical method Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Educational Technology (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本发明一种课堂学生点头率识别与统计装置，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。本发明提供的课堂学生点头率识别与统计方法及装置，通过两个摄像机实时采集人脸图像和课堂行为的视频信号并通过单片机进行图像识别和合成比对处理，获取有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程监控，提高智能化监测水平和数据准确率，可作为教学质量评估依据，具有广阔的应用前景。
Description
技术领域
本发明涉及教学辅助设备技术领域，具体涉及一种课堂学生点头率识别与统计方法及装置。
背景技术
随着计算机技术的快速发展，多媒体教学辅助系统被越来越广泛地应用于现代教学中，使原本单调的教学更富多样性和趣味性，但如何跟踪教师授课质量及如何深入了解学生对不同知识点的兴趣度，很多研究机构和人员进行了大量的研究工作，点头率可以在很大程度上反映出学生们对教师讲授知识的感兴趣程度、理解程度和认同程度，能够在一定程度上客观、量化地反应出一堂课的整体水平。但是，对于课堂点头率的统计方式大多以人工（包括任课教师、教学督导等）观察和主观统计为主，统计过程繁琐、耗时，获取的数据不够客观，随机性大，准确率低且无法实现智能化。
发明内容
为解决现有技术中存在的点头率统计准确率低、效率低且无法实现智能化的问题，本发明提供一种课堂学生点头率识别与统计方法及装置，用于教室或课堂上智能识别学生的点头率，为教学质量的评估提供决策辅助。
为实现上述目的，本发明采用的技术方案为：
一种课堂学生点头率识别与统计方法，包括以下步骤：
步骤一、运行状态的检测：首先通过单片机完成自检，随后进入侦测状态，光采集模块和第一摄像机启动，分别用于将实时检测到的周围环境光强度和实时采集的视频图像传送至单片机进行处理，控制红外补光模块的启闭并进行相似度比对处理，在比对失败的情况下进入工作状态，第二摄像机启动，随后第一摄像机和第二摄像机分别将实时采集的视频图像信号传送至单片机；
步骤二、单片机接收第一摄像机和第二摄像机传送的视频图像信号并分别进行图像识别和处理，得到两组相应的人脸活动特征符合点头特征的数据信息，随后单片机将前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出的符合点头特征的数据信息判定为有效点头，单片机保存有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程显示和保存，实现远程监控，所述图像识别和处理的过程包括：
单片机识别并保存视频图像中的人脸、每张人脸在视频图像中对应的坐标位置及其对应的脸型数字化特征，随后单片机对每张人脸在视频图像中的脸型数字化特征进行人体动作分析和处理，识别视频图像中符合点头特征的人脸并将其点头发生时间和对应的位置坐标数据信息进行保存。
进一步的，步骤一中，所述自检的过程包括：单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块做出警示，同时还将异常状态信息存储于单片机内置的存储器中，供第一摄像机的RJ45标准网络接口Im_R调用。
进一步的，步骤一中，所述相似度比对处理的过程包括：所述单片机接收第一摄像机实时采集的连续视频图像信号并与存储于单片机内的相似度阀值进行比对，若单片机接收的前后两帧 图像的相似度超过相似度阀值，即比对成功，则继续进行侦测，若单片机接收的前后两帧 图像的相似度低于相似度阀值，即比对失败，此时进入工作状态。
进一步的，步骤一中，所述第一摄像机以每秒X帧 图像进行采集并传送至单片机进行数据比对，所述X是一个自然数，X的取值范围为0.1-10。
进一步的，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，所述图像采集模块包括第一摄像机和第二摄像机，所述单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。
进一步的，还包括键盘模块和供电模块，所述键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值并保存于单片机内，所述供电模块与单片机、红外补光模块和灯光报警模块相连。
进一步的，所述接口模块包括设置于第一摄像机内的第一视频输入接口Im_V、第一信号通讯接口Im_D、RJ45标准网络接口Im_R和USB标准接口Im_U，接口模块还包括设置于第二摄像机内的第二视频输出接口Is_V和第二信号通讯接口Is_D，第一视频输入接口Im_V与第二视频输出接口Is_V相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口Im_D与第二信号通讯接口Is_D相连，用于实现单片机与第二摄像机之间的通信， RJ45标准网络接口Im_R用于连接上位机进行数据通信，USB标准接口Im_U用于连接外部存储设备。
进一步的，所述第一摄像机和第二摄像机分别对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，所述单片机内设置用于保存信息的存储器。
进一步的，所述红外补光模块包括若干个红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，所述灯光报警模块包括蜂鸣器和LED指示灯。
与现有技术相比，本发明具有以下优点：
本发明公开了一种课堂学生点头率识别与统计装置，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。本发明提供的课堂学生点头率识别与统计方法及装置，通过两个摄像机实时采集人脸图像和课堂行为的视频信号并通过单片机进行图像识别和合成比对处理，获取有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程监控，提高智能化监测水平和数据准确率，可作为教学质量评估依据，具有广阔的应用前景。
附图说明
图1是本发明的系统硬件方框图；
图2是本发明的工作流程图。
具体实施方式
下面结合具体实施例对本发明作更进一步的说明。
如图1-2所示，一种课堂学生点头率识别与统计方法，包括以下步骤：
步骤一、运行状态的检测：系统通电后，依次进入自检状态、侦测状态和工作状态，在自检状态，通过单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块通过蜂鸣器发声报警并通过LED指示灯发光警示，同时还将异常状态信息存储于单片机内置的存储器中，供设置于第一摄像机内的RJ45标准网络接口Im_R调用；待自检完毕且未发现状态异常时进入侦测状态，此时光采集模块和第一摄像机启动，光采集模块将实时检测到的周围环境光强度传送至单片机进行处理，进而控制红外补光模块的启闭，单片机接收并不断调用固化于其内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动红外补光模块发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，当实际光强度不低于环境光强阀值时，红外补光模块停止运行，第一摄像机以每秒X帧 图像进行采集并传送至单片机进行相似度比对处理，单片机接收并不断调用固化于存储器内的相似度阀值Y，若单片机接收的前后两帧 图像的相似度超过相似度阀值Y，即比对成功，则继续进行侦测，反之，若单片机接收的前后两帧 图像的相似度低于相似度阀值Y，即比对失败，此时进入工作状态，第二摄像机启动，X是一个自然数，X的取值范围为0.1-10，Y是一个自然数，Y的取值范围为0-1；在工作状态，第一摄像机和第二摄像机均启动并分别将实时采集的视频图像信号传送至单片机进行处理；
步骤二、单片机接收第一摄像机和第二摄像机实时传送的视频图像信号并分别进行图像识别和处理，图像识别和处理的过程包括：
单片机首先识别视频图像中的所有可见人脸、每张人脸在图像中对应的坐标位置和每张人脸对应的脸型数字化特征并保存于单片机内置的存储器中，存储器用于保存每张人脸对应的编号及其在视频图像中的横纵坐标和对应的脸型数字化特征，不同的学生具有不同的人脸并对应不同的脸型数字化特征，单片机根据连续视频图像识别每张人脸的脸型、人脸大小、五官特征、五官位置和拍摄角度等区别特征，用于区分当前课堂上的所有学生，单片机可选择采用模式识别、图像处理、神经网络和深度学习等常规技术手段进行脸型特征识别，识别坐标位置的目的是为了限定所识别出的人脸对应的学生在连续若干帧图像中合理的移动范围，若单片机识别到某人脸对应的坐标位置在连续视频图像中的变化范围较大，则不再对其进行后续处理；
随后，单片机不断调用存储器内的信息并进行人体动作分析和处理，人体动作分析和处理即是对每张人脸在视频图像有限的空间范围内的脸型数字化特征进行分析和处理，进而识别出在连续的视频图像中哪些人脸活动特征符合点头特征并将符合点头特征的数据信息包括点头发生的时间、人脸编号及其在视频图像中对应的位置坐标保存于存储器内。
单片机对第一摄像机和第二摄像机的处理过程相同，单片机分别对第一摄像机和第二摄像机传送的视频图像信号进行图像识别与处理并分别得到两组相应的人脸活动特征符合点头特征的数据信息，随后单片机对前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出的符合点头特征的数据信息判定为有效点头，单片机将有效点头的发生时间、人脸编号及其在视频图像中对应的位置坐标等数据信息记录下来并存储于单片机的存储器中，同时上传至上位机进行远程显示和保存。
由于所有学生均处于不停的活动中，包括抬头、低头、转身、起立、坐下等动作，这些动作行为影响单片机对图像中人脸识别的精确度，为此需采用安装于不同位置的第一摄像机和第二摄像机从不同角度进行对图像采集，提高点头特征识别的准确性。
一种课堂学生点头率识别与统计装置，包括供电模块、单片机、键盘模块、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与键盘模块、光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连，供电模块与单片机、红外补光模块和灯光报警模块相连。
第一摄像机和第二摄像机对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，接口模块包括设置于第一摄像机内的第一视频输入接口Im_V、第一信号通讯接口Im_D、RJ45标准网络接口Im_R和USB标准接口Im_U，接口模块还包括设置于第二摄像机内的第二视频输出接口Is_V和第二信号通讯接口Is_D，第一视频输入接口Im_V与第二视频输出接口Is_V相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口Im_D与第二信号通讯接口Is_D相连，用于实现单片机与第二摄像机之间的通信，通过RJ45标准网络接口Im_R连接上位机进行数据通信，通过上位机实现远程监控，USB标准接口Im_U用于连接外部存储设备，读写存储于单片机内的数据信息，提供更大容量的视频存储空间。
单片机包括存储器，单片机用于运行状态的检测、对第一摄像机和第二摄像机实时采集的视频图像信号进行图像侦测、人脸识别、位置坐标记录、人体动作分析和点头行为判定等，由于第一摄像机和第二摄像机的安装位置不同，所拍摄的角度也不同，因此，单片机还用于对这两部摄像机所拍摄图像的空间位置进行校正，进而使由两部摄像机视频信息中识别出的人脸在图像空间位置上相一致，考虑到单片机的计算性能和运算量，单片机只对每一路视频图像信号中的逐Z帧图像进行处理，而不是处理每一帧画面， Z为一个整数，确保其在硬件层面的可操作性，单片机还用于接收键盘模块键入的键码信息并将其保存于存储器内，单片机不断调用和读写固化于存储器内的数据信息进而控制红外补光模块和灯光报警模块的启闭，单片机用于接收第一摄像机和第二摄像机分别实时连续采集的视频图像信号并对其进行处理，键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值，灯光报警模块包括蜂鸣器和LED指示灯，红外补光模块包括若干组红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，光采集模块将实时检测到的周围环境的实际光强度传送至单片机，单片机接收并不断调用固化于存储器内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动红外监控补光灯发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，本发明不限定红外监控补光灯的数目和安装位置，可安装于第一摄像机和第二摄像机的镜头外侧，也可根据实际教室的补光需求将其安装于教室内的任一位置，上位机采用PC机硬盘进行数据存储并通过PC机显示器进行实时显示。
实施例1
如图1所示，一种课堂学生点头率识别与统计装置，包括供电模块、单片机、键盘模块、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，图像采集模块包括第一摄像机和第二摄像机，单片机集成于第一摄像机的机体内，单片机输入端分别与键盘模块、光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连，供电模块与单片机、红外补光模块和灯光报警模块相连并接入市电进行供电，供电模块包括若干组可充电锂电池。
第一摄像机和第二摄像机分别对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，接口模块包括设置于第一摄像机内的第一视频输入接口Im_V、第一信号通讯接口Im_D、RJ45标准网络接口Im_R和USB标准接口Im_U，接口模块还包括设置于第二摄像机内的第二视频输出接口Is_V和第二信号通讯接口Is_D，第一视频输入接口Im_V与第二视频输出接口Is_V相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口Im_D与第二信号通讯接口Is_D相连，用于实现单片机与第二摄像机之间的通信，通过RJ45标准网络接口Im_R连接上位机进行数据通信，通过上位机实现远程监控，USB标准接口Im_U用于连接外部存储设备，读写存储于单片机内的数据信息，提供更大容量的视频存储空间。
单片机包括存储器，单片机用于运行状态的检测、对第一摄像机和第二摄像机实时采集的视频图像信号进行图像侦测、人脸识别、位置坐标记录、人体动作分析和点头行为判定等，由于第一摄像机和第二摄像机的安装位置不同，所拍摄的角度也不同，因此，单片机还用于对这两部摄像机所拍摄图像的空间位置进行校正，进而使由两部摄像机视频信息中识别出的人脸在图像空间位置上相一致，单片机对每一路视频图像信号中的逐Z帧图像进行处理，Z的取值为5，单片机还用于接收键盘模块键入的键码信息并将其保存于存储器内，单片机不断调用和读写固化于存储器内的数据信息进而控制红外补光模块和灯光报警模块的启闭，单片机用于接收第一摄像机和第二摄像机分别实时连续采集的视频信号并对其进行处理，键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值Y，Y的取值为0.95，灯光报警模块包括蜂鸣器和LED指示灯，红外补光模块包括两个分别安装于第一摄像机和第二摄像机镜头外侧的红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，光采集模块将实时检测到的周围环境的实际光强度传送至单片机进行处理，上位机采用PC机硬盘进行数据存储并通过PC机显示器进行实时显示。
如图2所示，一种课堂学生点头率识别与统计方法，包括以下步骤：
步骤一、运行状态的检测：系统通电后，依次进入自检状态、侦测状态和工作状态，在自检状态，通过单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块通过蜂鸣器发声报警并通过LED指示灯发光警示，同时还将异常状态信息存储于单片机内置的存储器中，供RJ45标准网络接口Im_R调用；待自检完毕且无异常时进入侦测状态，此时，光采集模块将实时检测到的周围环境光强度传送至单片机，单片机接收并不断调用固化于存储器内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动两个红外监控补光灯发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，当实际光强度不低于环境光强阀值时，红外补光模块停止运行，第一摄像机以每秒X帧 图像进行采集并传送至单片机进行相似度比对处理，X的取值为5，单片机接收并不断调用固化于存储器内的相似度阀值Y，若单片机接收的前后两帧 图像的相似度超过相似度阀值Y，则继续进行侦测，反之，进入工作状态，此时第二摄像机开始工作，；在工作状态，第一摄像机和第二摄像机分别将实时采集的视频图像信号传送至单片机进行处理；
步骤二、单片机接收第一摄像机和第二摄像机实时传送的视频图像信号并分别进行图像识别和处理，图像识别和处理的过程包括：
单片机首先识别视频图像中的所有可见人脸、每张人脸在图像中对应的坐标位置和每张人脸对应的脸型数字化特征并保存于单片机内置的存储器中，存储器用于保存每张人脸对应的编号及其在视频图像中的横纵坐标和对应的脸型数字化特征，不同的学生具有不同的人脸并对应不同的脸型数字化特征，单片机根据连续视频图像识别每张人脸的脸型、人脸大小、五官特征、五官位置和拍摄角度等区别特征，用于区分当前课堂上的所有学生，识别坐标位置的目的是为了限定所识别出的人脸对应的学生在连续若干帧图像中合理的移动范围，若单片机识别到某人脸对应的坐标位置在连续视频图像中的变化范围较大，则不再对其进行后续处理；
随后，单片机不断调用存储器内的信息并进行人体动作分析和处理，人体动作分析和处理即是对每张人脸在视频图像有限的空间范围内的脸型数字化特征进行分析和处理，进而识别出在连续的视频图像中哪些人脸活动特征符合点头特征并将符合点头特征的数据信息包括点头发生的时间、人脸编号及其在视频图像中对应的位置坐标保存于存储器内。
单片机对第一摄像机和第二摄像机的处理过程相同，单片机分别对第一摄像机和第二摄像机传送的两路视频图像信号进行图像识别与处理并分别得到两组对应的人脸活动特征符合点头特征的数据信息，进而，单片机对前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出符合点头特征的数据信息判定为有效点头，单片机将点头发生时间、人脸编号及其在视频图像中对应的位置坐标等数据信息记录下来并存储于单片机的存储器中，同时上传至上位机进行远程显示和保存；
由于所有学生均处于不停的活动中，包括抬头、低头、转身、起立、坐下等动作，这些动作行为影响单片机对图像中人脸识别的精确度，为此需采用第一摄像机和第二摄像机从不同角度进行对图像采集，提高点头特征识别的准确性。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种课堂学生点头率识别与统计方法，包括以下步骤：
步骤一、运行状态的检测：首先通过单片机完成自检，随后进入侦测状态，光采集模块和第一摄像机启动，分别用于将实时检测到的周围环境光强度和实时采集的视频图像传送至单片机进行处理，控制红外补光模块的启闭并进行相似度比对处理；所述红外补光模块的启闭控制过程包括单片机接收并不断调用固化于其内的环境光强阀值，当实际光强度低于环境光强阀值时，单片机驱动红外补光模块发光，为第一摄像机和第二摄像机提供拍摄所需的光照强度，当实际光强度不低于环境光强阀值时，红外补光模块停止运行；所述相似度比对处理的过程包括所述单片机接收第一摄像机实时采集的连续视频图像信号并与存储于单片机内的相似度阀值进行比对，若单片机接收的前后两帧 图像的相似度超过相似度阀值，即比对成功，则继续进行侦测，若单片机接收的前后两帧 图像的相似度低于相似度阀值，即比对失败，此时进入工作状态；第二摄像机启动，随后第一摄像机和第二摄像机分别将实时采集的视频图像信号传送至单片机；
步骤二、单片机接收第一摄像机和第二摄像机传送的视频图像信号并分别进行图像识别和处理，得到两组相应的人脸活动特征符合点头特征的数据信息，随后单片机将前述两组数据信息进行合成比对处理，第一摄像机和第二摄像机同时识别出的符合点头特征的数据信息判定为有效点头，单片机保存有效点头的发生时间及其对应的位置坐标并上传至上位机进行远程显示和保存，实现远程监控，所述图像识别和处理的过程包括：单片机识别并保存视频图像中的人脸、每张人脸在视频图像中对应的坐标位置及其对应的脸型数字化特征，随后单片机对每张人脸在视频图像中的脸型数字化特征进行人体动作分析和处理，识别视频图像中符合点头特征的人脸并将其点头发生时间和对应的位置坐标数据信息进行保存。
2.根据权利要求1所述的一种课堂学生点头率识别与统计方法，其特征在于，步骤一中，所述自检的过程包括：单片机对系统硬件状态、网络状态和所有接口状态进行检测，若检测到异常，单片机驱动灯光报警模块做出警示，同时还将异常状态信息存储于单片机内置的存储器中，供第一摄像机的RJ45标准网络接口Im_R调用。
3.根据权利要求1所述的一种课堂学生点头率识别与统计方法，其特征在于，步骤一中，所述第一摄像机以每秒X帧 图像进行采集并传送至单片机进行数据比对，所述X是一个自然数，X的取值范围为0.1-10。
4.一种应用权利要求1-3任一所述的课堂学生点头率识别与统计方法的装置，其特征在于，包括单片机、图像采集模块、光采集模块、红外补光模块、接口模块、灯光报警模块和上位机，所述图像采集模块包括第一摄像机和第二摄像机，所述单片机集成于第一摄像机的机体内，单片机输入端分别与光采集模块、第一摄像机和第二摄像机相连，单片机输出端分别与红外补光模块、灯光报警模块和上位机相连。
5.根据权利要求4所述的一种课堂学生点头率识别与统计装置，其特征在于，还包括键盘模块和供电模块，所述键盘模块上设有0-9数字键、+1键、-1键、清除键和确认键，用于键入环境光强阀值和相似度阀值并保存于单片机内，所述供电模块与单片机、红外补光模块和灯光报警模块相连。
6.根据权利要求4所述的一种课堂学生点头率识别与统计装置，其特征在于，所述接口模块包括设置于第一摄像机内的第一视频输入接口Im_V、第一信号通讯接口Im_D、RJ45标准网络接口Im_R和USB标准接口Im_U，接口模块还包括设置于第二摄像机内的第二视频输出接口Is_V和第二信号通讯接口Is_D，第一视频输入接口Im_V与第二视频输出接口Is_V相连，用于将第二摄像机实时采集的视频图像信号传输至单片机，第一信号通讯接口Im_D与第二信号通讯接口Is_D相连，用于实现单片机与第二摄像机之间的通信， RJ45标准网络接口Im_R用于连接上位机进行数据通信，USB标准接口Im_U用于连接外部存储设备。
7.根据权利要求4所述的一种课堂学生点头率识别与统计装置，其特征在于，所述第一摄像机和第二摄像机分别对称安装于教室黑板的两侧，分别用于实时采集学生的人脸图像及其课堂动作行为的视频信号，所述单片机内设置用于保存信息的存储器。
8.根据权利要求4所述的一种课堂学生点头率识别与统计装置，其特征在于，所述红外补光模块包括若干个红外监控补光灯，用于在教室内自然光线不够明亮的情况下为第一摄像机和第二摄像机提供拍摄所需的光照强度，所述灯光报警模块包括蜂鸣器和LED指示灯。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417671.1A CN107133611B (zh) | 2017-06-06 | 2017-06-06 | 一种课堂学生点头率识别与统计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710417671.1A CN107133611B (zh) | 2017-06-06 | 2017-06-06 | 一种课堂学生点头率识别与统计方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107133611A CN107133611A (zh) | 2017-09-05 |
| CN107133611B true CN107133611B (zh) | 2020-07-31 |
Family
ID=59734531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710417671.1A Active CN107133611B (zh) | 2017-06-06 | 2017-06-06 | 一种课堂学生点头率识别与统计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107133611B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154109A (zh) * | 2017-12-22 | 2018-06-12 | 福州瑞芯微电子股份有限公司 | 一种智能录播模型的构建方法、装置及教学智能录播方法 |
| CN111339809A (zh) * | 2018-12-20 | 2020-06-26 | 深圳市鸿合创新信息技术有限责任公司 | 一种课堂行为分析方法及装置、电子设备 |
| CN109858809B (zh) * | 2019-01-31 | 2020-04-28 | 浙江传媒学院 | 基于课堂学生行为分析的学习质量评估方法和系统 |
| CN110276246A (zh) * | 2019-05-09 | 2019-09-24 | 威比网络科技(上海)有限公司 | 课程指数检测告警方法、装置、电子设备、存储介质 |
| CN110647842B (zh) * | 2019-09-20 | 2022-02-15 | 重庆大学 | 一种双摄像头课堂巡检方法及系统 |
| CN111401244B (zh) * | 2020-03-16 | 2023-06-02 | 安博思华智能科技有限责任公司 | 自适应控制多媒体黑板的方法、装置、介质和电子设备 |
| CN115463735A (zh) * | 2022-06-06 | 2022-12-13 | 李长江 | 一种多功能垃圾分选装置及其分选方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945624A (zh) * | 2012-11-14 | 2013-02-27 | 南京航空航天大学 | 基于云计算模型和表情信息反馈的智能化视频教学系统 |
| CN103236103A (zh) * | 2013-05-14 | 2013-08-07 | 苏州福丰科技有限公司 | 基于人脸识别的防尾随门禁系统 |
| CN105554446A (zh) * | 2015-12-04 | 2016-05-04 | 安徽理工大学 | 一种多用途课堂抬头率监测设备及其使用方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101715111B (zh) * | 2009-11-16 | 2011-12-14 | 南京邮电大学 | 视频监控中滞留物主自动搜寻方法 |
| US8971567B2 (en) * | 2010-03-05 | 2015-03-03 | Digimarc Corporation | Reducing watermark perceptibility and extending detection distortion tolerances |
| CN105279498B (zh) * | 2015-10-28 | 2018-07-27 | 广东欧珀移动通信有限公司 | 一种眼球识别方法、装置和终端 |
-
2017
- 2017-06-06 CN CN201710417671.1A patent/CN107133611B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102945624A (zh) * | 2012-11-14 | 2013-02-27 | 南京航空航天大学 | 基于云计算模型和表情信息反馈的智能化视频教学系统 |
| CN103236103A (zh) * | 2013-05-14 | 2013-08-07 | 苏州福丰科技有限公司 | 基于人脸识别的防尾随门禁系统 |
| CN105554446A (zh) * | 2015-12-04 | 2016-05-04 | 安徽理工大学 | 一种多用途课堂抬头率监测设备及其使用方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种改进的从交通监控视频中提取关键帧的方法;姜腾飞等;《电脑知识与技术》;20151231;第151-153页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107133611A (zh) | 2017-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107133611B (zh) | 一种课堂学生点头率识别与统计方法及装置 | |
| WO2019028592A1 (zh) | 一种教学辅助方法及采用该方法的教学辅助系统 | |
| CN110197169B (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
| CN108399376A (zh) | 学生课堂学习兴趣智能分析方法及系统 | |
| CN112131927B (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN109743547A (zh) | 一种人工智能安全监控管理系统 | |
| CN105243386A (zh) | 人脸活体判断方法以及系统 | |
| CN111243742B (zh) | 一种能够分析儿童用眼习惯的智能眼镜 | |
| CN109308581A (zh) | 一种基于区块链的考试云平台系统 | |
| CN110348349A (zh) | 一种收集、分析猪行为视频数据的方法和系统 | |
| CN103211605A (zh) | 一种心理测试系统及心理测试方法 | |
| CN109410098A (zh) | 一种学生课堂行为分析及监控方法 | |
| CN104077568A (zh) | 一种高精度的驾驶员行为识别与监控方法及系统 | |
| CN111507592A (zh) | 一种面向服刑人员的主动改造行为的评估方法 | |
| CN108764640A (zh) | 一种基于大数据的个性化的动态教学诊断与改进系统 | |
| CN111707375A (zh) | 一种具备智能测温考勤和异常行为检测的电子班牌 | |
| CN111523445B (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及系统 | |
| CN111178263A (zh) | 一种实时表情分析方法及其装置 | |
| Krishnnan et al. | A video analytics based solution for detecting the attention level of the students in class rooms | |
| CN111931748B (zh) | 一种适用于蓄电池生产车间的工人疲劳度检测方法 | |
| CN113569656B (zh) | 一种基于深度学习的考场监控方法 | |
| CN115346169B (zh) | 一种睡岗行为检测方法及系统 | |
| CN115689830A (zh) | 一种教育技术管理系统 | |
| Liu et al. | Development of a fatigue detection and early warning system for crane operators: A preliminary study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240331 Address after: No. 126, Jianshe Road, Guangde Economic Development Zone, Xuancheng City, Anhui Province, 242200 Patentee after: ANHUI HAIZIWANG CHILDREN PRODUCTS Co.,Ltd. Country or region after: China Address before: 210019 No. 69 Olympic Sports street, Jianye District, Jiangsu, Nanjing Patentee before: Nanjing University of Information Science and Technology Country or region before: China |