CN114708657A - 一种基于多媒体教学的学生注意力检测方法及系统 - Google Patents
一种基于多媒体教学的学生注意力检测方法及系统 Download PDFInfo
- Publication number
- CN114708657A CN114708657A CN202210321175.7A CN202210321175A CN114708657A CN 114708657 A CN114708657 A CN 114708657A CN 202210321175 A CN202210321175 A CN 202210321175A CN 114708657 A CN114708657 A CN 114708657A
- Authority
- CN
- China
- Prior art keywords
- information
- student
- reminding
- characteristic
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 19
- 230000000903 blocking effect Effects 0.000 claims abstract description 12
- 210000000697 sensory organ Anatomy 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 5
- 210000003128 head Anatomy 0.000 description 28
- 230000036544 posture Effects 0.000 description 27
- 230000001815 facial effect Effects 0.000 description 9
- 239000012141 concentrate Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 229910052799 carbon Inorganic materials 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及教育管理技术领域，尤其涉及一种基于多媒体教学的学生注意力检测方法及系统，其方法包括如下步骤：采集上课场景图像，形成采集图像信息；对采集图像信息阻挡进行判断；有被阻挡，则启用备用摄像头继续采集场景图像形成第二采集图像信息；没有被阻挡，则将采集图像信息输出；识别采集图像信息或第二采集图像信息的特征动作；将特征动作信息与预设的特征动作信息进行比对；相同，注意力不集中提醒。本申请提供的一种基于多媒体教学的学生注意力检测方法及系统，当后面的学生被前面的学生阻挡时，会继续启用备用摄像头对其进行注意力检测，并且当学生处于趴下状态时，系统会自动检测其实在写作业状态还是在打瞌睡状态。
Description
技术领域
本申请涉及教育管理技术领域，尤其涉及一种基于多媒体教学的学生注意力检测方法及系统。
背景技术
随着信息技术的发展，利用计算机监测分析课堂学习行为的方法系统也在不断出现。其中，课堂注意力的研究在教学研究领域的接受程度较高，通过对课堂注意力的分析研究可以达到辅助老师进行有效教学评估和教学反思的目的。
目前对于课堂注意力的研究通常有两种方法。一种是对学生脸部表情进行识别，建立起不同表情与注意力的关联关系，这种多适用于单人、近距离的在线教学场景；另一种则是对脸部或头部姿态的分析来完成，这种方法更适用于真实的课堂教学场景，而且其观测的内容也与人的主观感受比较接近，更容易被教学研究者所接受。
现有的注意力的检测方法当学生低头在写作业的时候，由于不能够识别到面部的表情，导致注意力的检测失败。并且当学生被前面同学阻挡时，这时候注意力检测系统就不能够对后面的学生进行识别，导致对被阻挡学生的注意力检测失败。
发明内容
为了解决传统技术中注意力的检测方法当学生低头在写作业的时候，由于不能够识别到面部的表情，导致注意力的检测失败。并且当学生被前面同学阻挡时，这个时候注意力检测系统就不能够对后面的学生进行识别，导致对阻挡学生的注意力检测失败的技术问题，本申请提供一种基于多媒体教学的学生注意力检测方法及系统。
为实现上述目的，本申请一种基于多媒体教学的学生注意力检测方法，采用如下的技术方案：
一种基于多媒体教学的学生注意力检测方法，包括如下步骤：
利用主摄像头采集上课时教室的场景图像，形成采集图像信息；
对所述采集图像信息是否有被阻挡进行判断；
当所述采集图像信息有被阻挡，则启用备用摄像头继续采集场景图像形成第二采集图像信息并输出；
当所述采集图像信息没有被阻挡，则将所述采集图像信息输出；
识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息；
将所述特征动作信息与之前预设的特征动作信息进行比对；
当所述特征动作信息与预设特征动作信息相同，则输出注意力不集中提醒。
通过采用上述技术方案，利用黑板上的主摄像头进行上课时的教室的场景图像的拍摄，通过采集到的场景图像，来识别是否有学生被阻挡，当有学生被阻挡，利用安装在教室其他位置的备用摄像头继续进行场景图像的采集。这样可以更好的对被阻挡的学生进行识别判断是否有注意力不集中的情况。将采集到的场景图像进行特征动作的识别，通过特征动作与预设的特征动作进行比对来判断是否有学生注意力不集中。当有学生注意力不集中，会进行提醒，提醒学生上课注意力集中。这样可以将被阻挡的学生能更好的进行注意力的检测，并判断出哪些学生注意力不集中，并且随时进行提醒让学生更好地集中注意力学习。
可选的，所述对所述采集图像信息是否有被阻挡进行判断包括：
对所述采集图像信息进行识别；
提取每个学生的五官信息；
判断是否每个学生的所述五官信息是否全部提取到；
当判断为是时，则说明没有被阻挡；
当判断为否时，则说明有被阻挡。
通过采用上述技术方案，在对进行采集的图像信息是否被阻挡判断时，先对采集的图像信息进行识别，对每一个学生的五官信息进行提取。将提取到的五官信息进判断，判断每一个学生的五官是否都已经提取到，如果没有提取到，则说明有学生被阻挡了，如果每个学生的五官信息全部提取到，说明没有学生被阻挡。这样通过获取每个学生的五官信息，来判断是否有学生被阻挡，当有学生被阻挡则启用备用个摄像头进行注意力的检测，保证了每个学生都能被监测到。
可选的，所述识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息包括：
根据所述采集图像信息或所述第二采集图像信息获取学生的当前姿态特征；
判断所述姿态特征是直坐还是趴下；
当所述姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；
当所述姿态特征为趴下时，则获取手部的特征动作形成手部特征信息；
所述头部特征信息和手部特征信息组成所述特征动作信息。
通过采用上述技术方案，将主摄像头或者备用摄像头拍摄的采集图像信息进行识别，获取每个学生的姿态特征，通过姿态特征来判断每个学生是直坐的状态还是趴下的状态。当为直坐状态时，摄像头获取头部的特征信息，当为趴下的时候，作为则获取手部的特征动作。这样当学生处于不同姿态时，通过不同的部位特征来判断是否注意力集中，可以防止误判的情况，因为当学生处于趴下状态时，识别不到头部的特征，无法判定学生是在写作业状态，还是在睡觉的状态，通过对手部特征的判断就能判断出。
可选的，所述判断所述姿态特征是直坐还是趴下包括：
获取学生头顶到教室天花板的距离，形成距离信息；
将所述距离信息与预设的距离信息阈值进行对比；
当所述距离信息小于或等于距离阈值，则说明学生处于直坐状态；
当所述距离信息大于所述距离阈值，则说明学生处于趴下状态。
通过采用上述技术方案，判断学生是直坐状态还是趴下状态，通过测量没每个学生头顶到教室的天花板的距离，然后将测量出来的距离与预设的距离信息进行比对，这样就可以判断出学生的姿态特征。当距离里小于或等于距离阈值，说明处于直坐状态，大于距离阈值，则说明处于趴下的状态。这样通过对学生的姿态进行判断，不同的姿态采用不同的特征动作来进行注意力发的检测，增加了注意力检测的准确性，防止了误判情况的出现。
可选的，所述当所述特征动作信息与预设特征动作信息相同，则进行注意力不集中提醒后还包括：
将所述不集中提醒的次数进行记录，形成提醒次数；
将所述提醒次数与预设的提醒次数阈值进行比对；
当所述提醒次数大于或等于所述提醒次数阈值，则生成并发送提醒信息。
通过采用上述技术方案，当判断出有学生注意力不集中，将该学生注意力不集中次数进行记录，当注意力不集中次数大于或者等于次数阈值，这是系统会自动编辑提醒短息发送给监管的人员。这样可以更好的对学生进行管理，当学生注意力转移达到一定次数后，说明学习能力会下降，这时系统通知监管人员，去到教室对学生进行教育，提高学生的学习效率。
可选的，所述生成并发送提醒信息包括：
编辑注意力转移提醒的短信，形成提醒短信；
将注意力转移的场景图像进行截图，形成图片信息；
关联所述图片信息和所述提醒短信，作为所述提醒信息并进行发送。
通过采用上述技术方案，当学生的注意力转移次数达到鱼之后，系统会编辑提醒短信，并且将学生注意力不集中的图片进行截图。将截取的图片和提醒短信发送。这样当找到学生时，拿出证据照片，可以让学生更好的认识到自己的问题所在。
为实现上述目的，本申请另一方面提供一种基于多媒体教学的学生注意力检测系统采用如下的技术方案：
一种基于多媒体教学的学生注意力检测系统，包括：
图像采集模块，用于采集上课时教室的场景图像，形成采集图像信息；
阻挡判断模块，用于对所述采集图像信息是否有被阻挡进行判断；
备用图像采集模块，用于所述采集图像信息有被阻挡，继续采集场景图像形成第二采集图像信息并；
特征动作识别模块，用于识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息；
特征动作比对模块，用于将所述特征动作信息与之前预设的特征动作信息进行比对；
提醒模块，用于进行注意力不集中提醒。
通过采用上述技术方案，利用图像采集模块对教室的场景图像来进行采集，图像采集完成以后利用阻挡判断模块，用来判断是否有学生被阻挡，当有学生被阻挡时，备用图像采集模块会启动对场景图像继续进行采集。采集完后特征动作识别模块对采集图像的特征动作进行识别，并生成特征动作信息，识别完成以后再利用特征动作比对元件将识别到的特征动作信息与预设的特征动作进行比对，当比对出有学生注意力不集中，提醒模块会进行注意力不集中提醒。这样通过各模块的相互配合，可以判断出学生是否被阻挡，如果被阻挡启用备用摄像头，保证每个学生个都能被检测到，增加了实用性。
可选的，所述阻挡判断模块包括：
图像识别元件，用于对所述采集图像信息进行识别；
五官提取元件，用于提取每个学生的五官信息；
五官判断元件，用于判断是否每个学生的所述五官信息是否全部提取到。
通过采用上述技术方案，阻挡判断模块包括图像识别元件，用来识别采集图像信息，然后五官提取元件，将图像信息里面的每个学生的五官进行提取，提取完后，五官判断元件会对每个学生提取到的五官进行判断，判断是否每个学生的我五官都提取到。这样通过各元件组成的阻挡判断元件，采集每个学生的五官，通过判断我五官是否采集完全来判断是否被阻挡，可以增加判断的准确性，并且也更加的容易实现。
可选的，所述特征动作识别模块包括：
姿态识别元件，用于识别学生的当前姿态特征；
姿态判断元件，用于判断所述姿态特征是直坐还是趴下；
头部特征识别元件，用于当所述姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；
手部动作识别元件，用于当所述姿态特征为趴下时，则获取手部的特征动作形成手部特征信息。
通过采用上述技术方案，特征动作识别模块包括用于识别学生当前姿态的姿态识别元件，姿态判断元件判断学生是坐直还是趴下的状态，若果为坐直的状态，头部特征识别元件会对每个学生的头部特征动作进行获取。当学生处于趴下状态时，手部动作识别元件会识别每一个学生的手部特征动作。通过先判断是坐直还是趴下状态，对应不同的状态采用不同部位的特征动作来进行识别，判断是否有注意力转移，防止学生在趴下写作业时，如果识别头部特征，会出现识别失败的原因，导致注意力检测失败，这样保证了注意力检测的正确性，避免误判行为出现。
可选的，还包括：
记录模块，用于将所述不集中提醒的次数进行记录，形成提醒次数
次数比对模块，用于将所述提醒次数与预设的提醒次数阈值进行比对；
信息编辑模块，用于编辑提醒信息发送给管理员。
通过采用上述技术方案，本系统还包括记录模块，用来记录每个学生出现注意力不集中的次数，然后次数比对模块将记录的次数与次数阈值进行比对，当次数大于等于阈值次数，信息编辑模块会编辑注意力不集中提醒信息并发送。这样通过次数的比对，然后编辑提醒信息并发送，可以让班级的管理人员直接去到教室对学生进行教育，这样提高了学生的学习效率。
综上所述，本申请具有以下有益技术效果：
对采集到的教室的场景图像进行识别判断是否有学生被阻挡，当学生被阻挡时，会启动备用摄像头对教室的场景图像进行拍摄，可以将被阻挡的学生能更好的进行注意力的检测，并判断出哪些学生注意力不集中，并且随时进行提醒让学生更好地集中注意力学习。
附图说明
图1为学生注意力检测方法的流程示意图；
图2为本实施例对采集图像信息是否有被阻挡进行判断流程示意图；
图3为识别采集图像信息或第二采集图像信息特征动作流程示意图；
图4为判断姿态特征流程示意图；
图5为进行注意力不集中提醒后的流程示意图；
图6为生成并发送提醒信息的流程示意图；
图7为学生注意力检测系统的示意图。
附图标记：1、图像采集模块；2、阻挡判断模块；3、备用图像采集模块；4、特征动作识别模块；5、特征动作比对模块；6、提醒模块；7、记录模块；8、次数比对模块；9、信息编辑模块；21、图像识别元件；22、五官提取元件；23、五官判断元件；41、姿态识别元件；42、姿态判断元件；43、头部特征识别元件；44、手部动作识别元件。
具体实施方式
以下结合附图1-7对本申请作进一步详细说明。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
参照图1本实施例公开申请一种基于多媒体教学的学生注意力检测方法，包括：
S100.利用主摄像头采集上课时教室的场景图像，形成采集图像信息；
利用安装在教室前方黑板盛放的摄像头为主摄像头，在本实施例中，图像信息为视频格式的信息。
S200.对采集图像信息是否有被阻挡进行判断；
S300.当采集图像信息有被阻挡，则启用备用摄像头继续采集场景图像形成第二采集图像信息并输出；
当判断出有学生被阻挡，备用摄像头会再次采集教室的场景图像，并且生成第二采集图像信息并且输出给下一过程。
在本实施例中，备用摄像头可以安装在教室的后上方、左上方、右上方等。数量可以为一个也可以为多个，具体的可以根据实际情况来进行选择。
S400.当采集图像信息没有被阻挡，则将采集图像信息输出；
如果判断出没有学生被阻挡，系统自动的将采集到的图像信息输出给下一过程。
S500.识别采集图像信息或第二采集图像信息的特征动作，形成特征动作信息；
将采集图像信息或者第二采集图像信息进行识别，识别出里面的特征动作，将识别出来的特征动作自动生成特征动作信息。
S600.将特征动作信息与之前预设的特征动作信息进行比对；
在本实施例中，预设的特征动作包括：眼睛没有正视黑板、闭眼等于上课无关的动作。
S700.当特征动作信息与预设特征动作信息相同，则输出注意力不集中提醒。
当出现与预设的特征动作相同时，说明学生的注意力不集中，这是会出现注意力不集中提醒。
在本实施例中，注意力不集中的提醒采用将学生的姓名提示在多媒体显示屏上的方法来进行提醒，还可以为其他形式的提醒，在此不在累赘，具体的根据实际情况来进行选择。
采用此技术方案，先判断是否有学生被阻挡，又被阻挡启用备用摄像头来进行图像信息采集，在识别特征动作来判断是否有学生注意力转移，当有学生注意力不集中，会进行提醒，提醒学生上课注意力集中。这样可以将被阻挡的学生能更好的进行注意力的检测，并判断出哪些学生注意力不集中，并且随时进行提醒让学生更好地集中注意力学习。
在本实施例的其中一种实施方式中，参照图2，步骤S200即对采集图像信息是否有被阻挡进行判断包括：
S210.对采集图像信息进行识别；
识别主摄像头拍摄的图像信息。
S220.提取每个学生的五官信息；
在本实施例中，五官信息包括学生的口、眼、鼻、舌、耳。还可以为其他部位，具体的根据实际情况来进行选择。
S230.判断是否每个学生的五官信息是否全部提取到；
S240.当判断为是时，则说明没有被阻挡；
如果每个学生的五官信息全部识别到，说明所有的学生没有被阻挡。
S250.当判断为否时，则说明有被阻挡。
如果有学生的五官信息没有被识别到，说明该学生被阻挡。
采用此技术方案，先对采集的图像信息进行识别，对每一个学生的五官信息进行提取。判断每一个学生的五官是否都已经提取到，如果没有提取到，则说明有学生被阻挡了，如果每个学生的五官信息全部提取到，说明没有学生被阻挡。
在本实施例的其中一种实施方式中，参照图3，步骤S500即识别采集图像信息或第二采集图像信息的特征动作，形成特征动作信息包括：
S510.根据采集图像信息或第二采集图像信息获取学生的当前姿态特征；
根据主摄像头拍摄的图像信息或者备用摄像头拍摄的第二采集图像信息来获取每个学生的姿态特征。
S520.判断姿态特征是直坐还是趴下；
S530.当姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；
在本实施例中，头部特征动作包括：眼睛观察的方向、头的朝向等，还可以为其他的头部特征，具体的根据实际请框来进行选择。
S540.当姿态特征为趴下时，则获取手部的特征动作形成手部特征信息；
在本实施例中，手部的特征动作包括：手上有与握笔，手部是否在运动等，还可以为其他的手部特征，具体的根据实际情况来进行选择。
采用此技术方案，将主摄像头或者备用摄像头拍摄的采集图像信息进行识别，获取每个学生的姿态特征，通过姿态特征来判断每个学生是直坐的状态还是趴下的状态。当为直坐状态时，摄像头获取头部的特征信息，当为趴下的时候，作为则获取手部的特征动作。
在本实施例的其中一种实施方式中，参照图4，步骤S520即判断姿态特征是直坐还是趴下包括：
S521.获取学生头顶到教室天花板的距离，形成距离信息；
测量学生当前状态下，头顶到天花板的距离。
S522.将距离信息与预设的距离信息阈值进行对比；
在本实施例中距离信息阈值为2.5米，还可以为2米、2.6米等，具体的根据学生的身高以及教室的高度来决定。
S523.当距离信息小于或等于距离阈值，则说明学生处于直坐状态；
当距离信息小于或等于距离阈值，则说明学生处于直坐的状态。
S524.当距离信息大于距离阈值，则说明学生处于趴下状态。
当距离信息大于距离阈值，说明学生头顶与天花板的距离在增大，也说明了学生现在处于趴下的状态。
采用此技术方案，通过测量没每个学生头顶到教室的天花板的距离，然后将测量出来的距离与预设的距离信息进行比对，这样就可以判断出学生的姿态特征。当距离里小于或等于距离阈值，说明处于直坐状态，大于距离阈值，则说明处于趴下的状态。
在本实施例的其中一种实施方式中，参照图5，步骤S700即当特征动作信息与预设特征动作信息相同，则进行注意力不集中提醒后还包括：
S710.将不集中提醒的次数进行记录，形成提醒次数；
对每一个学生的注意力不集中的次数进行记录。
S720.将提醒次数与预设的提醒次数阈值进行比对；
在本实施例中，次数阈值为4次，还可以为其他次数，如：3次、5次等具体的根据实际情况来进行选择。
S730.当提醒次数大于或等于提醒次数阈值，则生成并发送提醒信息。
在本实施例中，将提醒信息发送给班级的班主任，还可以为其他人，如：科任老师等，具体的根据实际及情况来进行选择。
采用此技术方案，当判断出有学生注意力不集中，将该学生注意力不集中次数进行记录，当注意力不集中次数大于或者等于次数阈值，这是系统会自动编辑提醒短息发送给监管的人员。这样可以更好的对学生进行管理，当学生注意力转移达到一定次数后，说明学习能力会下降，这时系统通知监管人员，去到教室对学生进行教育，提高学生的学习效率。
在本实施例的其中一种实施方式中，参照图6，步骤S730即生成并发送提醒信息包括：
S731.编辑注意力转移提醒的短信，形成提醒短信；
当提醒次数大于或等于次数阈值时，系统会自动的编辑提醒短信。
S732.将注意力转移的场景图像进行截图，形成图片信息；
并且系统会将注意力转移的场景图像进行图片的截取。
S733.关联图片信息和提醒短信，作为提醒信息并进行发送。
将编辑的提醒短信和截取到的场景图片打包，发送给班主任手机端。
采用此技术方案，当学生的注意力转移次数达到鱼之后，系统会编辑提醒短信，并且将学生注意力不集中的图片进行截图。将截取的图片和提醒短信发送。这样当找到学生时，拿出证据照片，可以让学生更好的认识到自己的问题所在。
参照图7所示，本发明实施例还提供一种基于多媒体教学的学生注意力检测系统，包括：图像采集模块1，用于采集上课时教室的场景图像，形成采集图像信息；阻挡判断模块2，用于对采集图像信息是否有被阻挡进行判断；备用图像采集模块3，用于采集图像信息有被阻挡，继续采集场景图像形成第二采集图像信息并；特征动作识别模块4，用于识别采集图像信息或第二采集图像信息的特征动作，形成特征动作信息；特征动作比对模块5，用于将特征动作信息与之前预设的特征动作信息进行比对；提醒模块6，用于进行注意力不集中提醒。
采用此技术方案，利用图像采集模块1对教室的场景图像来进行采集，图像采集完成以后利用阻挡判断模块2，用来判断是否有学生被阻挡，当有学生被阻挡时，备用图像采集模块3会启动对场景图像继续进行采集。采集完后特征动作识别模块4对采集图像的特征动作进行识别，并生成特征动作信息，识别完成以后再利用特征动作比对元件将识别到的特征动作信息与预设的特征动作进行比对，当比对出有学生注意力不集中，提醒模块6会进行注意力不集中提醒。
在本实施例的其中一种实施方式中，参照图7，阻挡判断模块2包括：图像识别元件21，用于对采集图像信息进行识别；五官提取元件22，用于提取每个学生的五官信息；五官判断元件23，用于判断是否每个学生的五官信息是否全部提取到；
采用此技术方案，阻挡判断模块2包括图像识别元件21，用来识别采集图像信息，然后五官提取元件22，将图像信息里面的每个学生的五官进行提取，提取完后，五官判断元件23会对每个学生提取到的五官进行判断，判断是否每个学生的我五官都提取到。
在本实施例的其中一种实施方式中，参照图7，特征动作识别模块4包括：姿态识别元件41，用于识别学生的当前姿态特征；姿态判断元件42，用于判断姿态特征是直坐还是趴下；头部特征识别元件43，用于当姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；手部动作识别元件44，用于当姿态特征为趴下时，则获取手部的特征动作形成手部特征信息。
采用此技术方案，特征动作识别模块4包括用于识别学生当前姿态的姿态识别元件41，姿态判断元件42判断学生是坐直还是趴下的状态，若果为坐直的状态，头部特征识别元件43会对每个学生的头部特征动作进行获取。当学生处于趴下状态时，手部动作识别元件44会识别每一个学生的手部特征动作。通过先判断是坐直还是趴下状态，对应不同的状态采用不同部位的特征动作来进行识别，判断是否有注意力转移，防止学生在趴下写作业时，如果识别头部特征，会出现识别失败的原因，导致注意力检测失败，这样保证了注意力检测的正确性，避免误判行为出现。
在本实施例的其中一种实施方式中，参照图7，还包括：记录模块7，用于将不集中提醒的次数进行记录，形成提醒次数；次数比对模块8，用于将提醒次数与预设的提醒次数阈值进行比对；信息编辑模块9，用于编辑提醒信息发送给管理员。
采用此技术方案，本系统还包括记录模块7，用来记录每个学生出现注意力不集中的次数，然后次数比对模块8将记录的次数与次数阈值进行比对，当次数大于等于阈值次数，信息编辑模块9会编辑注意力不集中提醒信息并发送。这样通过次数的比对，然后编辑提醒信息并发送，可以让班级的管理人员直接去到教室对学生进行教育，这样提高了学生的学习效率。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种基于多媒体教学的学生注意力检测方法，其特征在于，包括如下步骤：
利用主摄像头采集上课时教室的场景图像，形成采集图像信息；
对所述采集图像信息是否有被阻挡进行判断；
当所述采集图像信息有被阻挡，则启用备用摄像头继续采集场景图像形成第二采集图像信息并输出；
当所述采集图像信息没有被阻挡，则将所述采集图像信息输出；
识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息；
将所述特征动作信息与之前预设的特征动作信息进行比对；
当所述特征动作信息与预设特征动作信息相同，则输出注意力不集中提醒。
2.根据权利要求1所述的基于多媒体教学的学生注意力检测方法，其特征在于，所述对所述采集图像信息是否有被阻挡进行判断包括：
对所述采集图像信息进行识别；
提取每个学生的五官信息；
判断是否每个学生的所述五官信息是否全部提取到；
当判断为是时，则说明没有被阻挡；
当判断为否时，则说明有被阻挡。
3.根据权利要求1所述的基于多媒体教学的学生注意力检测方法，其特征在于，所述识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息包括：
根据所述采集图像信息或所述第二采集图像信息获取学生的当前姿态特征；
判断所述姿态特征是直坐还是趴下；
当所述姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；
当所述姿态特征为趴下时，则获取手部的特征动作形成手部特征信息；
所述头部特征信息和手部特征信息组成所述特征动作信息。
4.根据权利要求3所述的基于多媒体教学的学生注意力检测方法，其特征在于，所述判断所述姿态特征是直坐还是趴下包括：
获取学生头顶到教室天花板的距离，形成距离信息；
将所述距离信息与预设的距离信息阈值进行对比；
当所述距离信息小于或等于距离阈值，则说明学生处于直坐状态；
当所述距离信息大于所述距离阈值，则说明学生处于趴下状态。
5.根据权利要求1所述的基于多媒体教学的学生注意力检测方法，其特征在于，所述当所述特征动作信息与预设特征动作信息相同，则进行注意力不集中提醒后还包括：
将所述不集中提醒的次数进行记录，形成提醒次数；
将所述提醒次数与预设的提醒次数阈值进行比对；
当所述提醒次数大于或等于所述提醒次数阈值，则生成并发送提醒信息。
6.根据权利要求5所述的基于多媒体教学的学生注意力检测方法，其特征在于，所述生成并发送提醒信息包括：
编辑注意力转移提醒的短信，形成提醒短信；
将注意力转移的场景图像进行截图，形成图片信息；
关联所述图片信息和所述提醒短信，作为所述提醒信息并进行发送。
7.一种基于多媒体教学的学生注意力检测系统，其特征在于，包括：
图像采集模块(1)，用于采集上课时教室的场景图像，形成采集图像信息；
阻挡判断模块(2)，用于对所述采集图像信息是否有被阻挡进行判断；
备用图像采集模块(3)，用于所述采集图像信息有被阻挡，继续采集场景图像形成第二采集图像信息并；
特征动作识别模块(4)，用于识别所述采集图像信息或所述第二采集图像信息的特征动作，形成特征动作信息；
特征动作比对模块(5)，用于将所述特征动作信息与之前预设的特征动作信息进行比对；
提醒模块(6)，用于进行注意力不集中提醒。
8.根据权利要求7所述的基于多媒体教学的学生注意力检测系统，其特征在于，所述阻挡判断模块(2)包括：
图像识别元件(21)，用于对所述采集图像信息进行识别；
五官提取元件(22)，用于提取每个学生的五官信息；
五官判断元件(23)，用于判断是否每个学生的所述五官信息是否全部提取到。
9.根据权利要求7所述的基于多媒体教学的学生注意力检测系统，其特征在于，所述特征动作识别模块(4)包括：
姿态识别元件(41)，用于识别学生的当前姿态特征；
姿态判断元件(42)，用于判断所述姿态特征是直坐还是趴下；
头部特征识别元件(43)，用于当所述姿态特征为直坐时，则获取头部的特征动作形成头部特征信息；
手部动作识别元件(44)，用于当所述姿态特征为趴下时，则获取手部的特征动作形成手部特征信息。
10.根据权利要求7所述的基于多媒体教学的学生注意力检测系统，其特征在于，还包括：
记录模块(7)，用于将所述不集中提醒的次数进行记录，形成提醒次数
次数比对模块(8)，用于将所述提醒次数与预设的提醒次数阈值进行比对；
信息编辑模块(9)，用于编辑提醒信息发送给管理员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321175.7A CN114708657A (zh) | 2022-03-30 | 2022-03-30 | 一种基于多媒体教学的学生注意力检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321175.7A CN114708657A (zh) | 2022-03-30 | 2022-03-30 | 一种基于多媒体教学的学生注意力检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114708657A true CN114708657A (zh) | 2022-07-05 |
Family
ID=82170017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210321175.7A Pending CN114708657A (zh) | 2022-03-30 | 2022-03-30 | 一种基于多媒体教学的学生注意力检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114708657A (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056079A (zh) * | 2016-05-31 | 2016-10-26 | 中国科学院自动化研究所 | 一种图像采集设备及人脸五官的遮挡检测方法 |
| CN209785022U (zh) * | 2019-04-19 | 2019-12-13 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别装置 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN111339809A (zh) * | 2018-12-20 | 2020-06-26 | 深圳市鸿合创新信息技术有限责任公司 | 一种课堂行为分析方法及装置、电子设备 |
| CN111507555A (zh) * | 2019-11-05 | 2020-08-07 | 浙江大华技术股份有限公司 | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN111931608A (zh) * | 2020-07-23 | 2020-11-13 | 安徽天达网络科技有限公司 | 基于学生姿态以及学生人脸识别的操行管理的方法和系统 |
| CN112347856A (zh) * | 2020-10-13 | 2021-02-09 | 广东电网有限责任公司培训与评价中心 | 一种基于教室场景的无感知考勤系统及方法 |
| CN112597814A (zh) * | 2020-12-04 | 2021-04-02 | 南通大学 | 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法 |
| CN113468956A (zh) * | 2021-05-24 | 2021-10-01 | 北京迈格威科技有限公司 | 注意力判定方法、模型训练方法及对应装置 |
| CN114093000A (zh) * | 2021-11-15 | 2022-02-25 | 浙江大华技术股份有限公司 | 课堂提示信息的显示方法及装置 |
| CN114170672A (zh) * | 2021-10-27 | 2022-03-11 | 华东师范大学 | 一种基于计算机视觉的课堂学生行为识别的方法 |
-
2022
- 2022-03-30 CN CN202210321175.7A patent/CN114708657A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106056079A (zh) * | 2016-05-31 | 2016-10-26 | 中国科学院自动化研究所 | 一种图像采集设备及人脸五官的遮挡检测方法 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN111339809A (zh) * | 2018-12-20 | 2020-06-26 | 深圳市鸿合创新信息技术有限责任公司 | 一种课堂行为分析方法及装置、电子设备 |
| CN209785022U (zh) * | 2019-04-19 | 2019-12-13 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别装置 |
| CN111507555A (zh) * | 2019-11-05 | 2020-08-07 | 浙江大华技术股份有限公司 | 人体状态检测方法、课堂教学质量的评价方法及相关装置 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN111931608A (zh) * | 2020-07-23 | 2020-11-13 | 安徽天达网络科技有限公司 | 基于学生姿态以及学生人脸识别的操行管理的方法和系统 |
| CN112347856A (zh) * | 2020-10-13 | 2021-02-09 | 广东电网有限责任公司培训与评价中心 | 一种基于教室场景的无感知考勤系统及方法 |
| CN112597814A (zh) * | 2020-12-04 | 2021-04-02 | 南通大学 | 一种基于改进的Openpose课堂多人异常行为及口罩佩戴检测方法 |
| CN113468956A (zh) * | 2021-05-24 | 2021-10-01 | 北京迈格威科技有限公司 | 注意力判定方法、模型训练方法及对应装置 |
| CN114170672A (zh) * | 2021-10-27 | 2022-03-11 | 华东师范大学 | 一种基于计算机视觉的课堂学生行为识别的方法 |
| CN114093000A (zh) * | 2021-11-15 | 2022-02-25 | 浙江大华技术股份有限公司 | 课堂提示信息的显示方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lim et al. | Automated classroom monitoring with connected visioning system | |
| Yu et al. | A posture recognition-based fall detection system for monitoring an elderly person in a smart home environment | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
| CN109345156A (zh) | 一种基于机器视觉的课堂教学质量评价系统 | |
| Indi et al. | Detection of malpractice in e-exams by head pose and gaze estimation | |
| JP4704174B2 (ja) | 状態識別装置、プログラムおよび方法 | |
| Alyuz et al. | An unobtrusive and multimodal approach for behavioral engagement detection of students | |
| CN112257591A (zh) | 一种基于机器视觉的远程视频教学质量评定方法与系统 | |
| CN112001944A (zh) | 课堂教学质量评价数据的获取方法、计算机设备和介质 | |
| CN112926412A (zh) | 自适应教学课堂监控方法及系统 | |
| CN112085883A (zh) | 一种智慧监考反作弊系统 | |
| CN111931608A (zh) | 基于学生姿态以及学生人脸识别的操行管理的方法和系统 | |
| CN111402096A (zh) | 一种在线授课质量管理方法、系统、设备和介质 | |
| CN113706348A (zh) | 基于人脸识别的在线自动监考系统及方法 | |
| Hung et al. | Fall detection with two cameras based on occupied area | |
| CN113887386A (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| CN114708657A (zh) | 一种基于多媒体教学的学生注意力检测方法及系统 | |
| KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
| CN113095208B (zh) | 应用于大学英语教学课堂的注意力观测与提醒系统 | |
| CN115223029A (zh) | 一种基于智能托育机器人的智能监控系统 | |
| CN113569761B (zh) | 一种基于深度学习的学生视点估计方法 | |
| Chin et al. | Automated attendance capture and tracking system | |
| CN111860294A (zh) | 一种便于跟踪的人脸捕捉设备 | |
| CN113743339B (zh) | 一种基于场景识别的室内跌倒检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |