CN114399702A - 一种课堂互动识别方法、装置、设备及可读存储介质 - Google Patents

一种课堂互动识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN114399702A
CN114399702A CN202111563464.XA CN202111563464A CN114399702A CN 114399702 A CN114399702 A CN 114399702A CN 202111563464 A CN202111563464 A CN 202111563464A CN 114399702 A CN114399702 A CN 114399702A
Authority
CN
China
Prior art keywords
feedback
aruco
card
classroom
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111563464.XA
Other languages
English (en)
Inventor
岳晓峰
方鹏程
张新访
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Tianyu Information Industry Co Ltd
Original Assignee
Wuhan Tianyu Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Tianyu Information Industry Co Ltd filed Critical Wuhan Tianyu Information Industry Co Ltd
Priority to CN202111563464.XA priority Critical patent/CN114399702A/zh
Publication of CN114399702A publication Critical patent/CN114399702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种课堂互动识别方法、装置、设备及可读存储介质，涉及行为识别技术领域，包括获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，反馈卡上设有ArUco码，ArUco码的ID与学生ID之间具有映射关系；基于已训练好的卷积神经网络模型对实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。本申请可实现学生信息和行为特征的准确识别，帮助教师了解学生听课的整体情况，降低课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题。

Description

一种课堂互动识别方法、装置、设备及可读存储介质
技术领域
本申请涉及行为识别技术领域，特别涉及一种课堂互动识别方法、装置、设备及可读存储介质。
背景技术
智慧教室作为校园信息化建设的重要组成部分，作为智慧教育创新发展的基石，承担着让智慧教学变得简单化、高效化、智能化的任务，对于推进教育信息化向智能和创新发展具有重大的意义。其中，课堂学习是获取知识的主要来源和发展智力的重要途径，对于学生而言，课堂教学是其学校生活中最基本的构成部分，课堂教学质量将直接影响学生当前及以后的多方面发展和成长。而在课堂上教师能否及时掌握学生的反馈信息，并采取相应的调控措施进行教学是影响课堂教学质量的关键因素，比如，学生是否认真听讲、积极思考和大胆发言，学习积极性是否被充分调动起来，学生对本节课的知识、技能掌握的程度如何以及能力发展程度如何等等。由此可见，如何通过信息化技术手段实现课堂信息的实时识别与反馈至关重要。
相关技术中，通常采用智能答题器的方式来实现学生课堂信息的采集，进而对学生的知识掌握程度进行反馈。不过该方法需要为每个学生配备一个智能答题器，无形中增加了课堂行为反馈的成本，且需要对各个教室内的通讯进行重新部署，存在部署复杂和开销大等问题。
发明内容
本申请提供一种课堂互动识别方法、装置、设备及可读存储介质，以解决相关技术中存在的成本高和网络部署复杂等问题。
第一方面，提供了一种课堂互动识别方法，包括以下步骤：
获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
一些实施例中，所述ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息。
一些实施例中，所述根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息，包括：
基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；
根据ArUco码的旋转向量计算出反馈卡的旋转角度。
一些实施例中，所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果，包括：
检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；
若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。
一些实施例中，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。
一些实施例中，当课堂互动为抢答时，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
对每个反馈卡对应的ArUco码ID在所述实时视频中出现的次数进行统计，得到每个反馈卡的出现频次；
按照出现频次由高到低的顺序，对各个反馈卡进行排序，得到排序队列；
从所述排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者，其中，N为正整数。
一些实施例中，在所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果的步骤之后，还包括：
将所述课堂互动结果传输至显示单元进行显示。
第二方面，提供了一种课堂互动识别装置，包括：
获取单元，其用于获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
识别单元，其用于基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
计算单元，其用于根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
判定单元，其用于基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
第三方面，提供了一种课堂互动识别设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的课堂互动识别方法。
第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的课堂互动识别方法。
本申请提供的技术方案带来的有益效果包括：在有效实现课堂信息和行为特征的准确识别的同时，有效降低了成本，且解决了网络部署复杂的问题。
本申请提供了一种课堂互动识别方法、装置、设备及可读存储介质，包括获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。本申请中，由于学生对集成有ArUco码的反馈卡的姿态控制与学生的课堂行为之间具有强映射关系，因此通过卷积神经网络和传统计算机视觉的结合来对集成有ArUco码的反馈卡的姿态变化进行识别，即可实现课堂教学过程中学生信息和行为特征的准确识别，进而有效且具有针对性地帮助教师了解课堂中学生听课的整体情况；同时，由于反馈卡只需是集成有ArUco码的普通卡片即可，无需具有任何交互功能，且本申请中的视频数据可通过教室中已存在的摄像装置进行获取，无需对教室内的通讯进行重新部署，因此不仅有效降低了课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题。由此可见，本申请有效解决了通过智能答题器进行课堂行为识别和信息获取而导致的成本高和网络部署复杂的问题。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种课堂互动识别方法的流程示意图；
图2为本申请实施例提供的一种课堂互动识装置的结构示意图；
图3为本申请实施例提供的一种课堂互动识别设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种课堂互动识别方法、装置、设备及可读存储介质，其能解决相关技术中存在的成本高和网络部署复杂等问题。
图1是本申请实施例提供的一种课堂互动识别方法，包括以下步骤：
步骤S10：获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
示范性的，在本申请实施例中，为每个学生配备一个反馈卡，且在每个反馈卡上设置一个ArUco(AugmentedReality library from the University of Cordoba，科尔多瓦大学的增强现实库，主要用于检测平面标记并估计相机位姿)码，即每个学生都有一个唯一的ArUco码，且每个ArUco码仅包含自身唯一确定的ID信息，该ID由阿拉伯数字表示。因此，在为学生配备反馈卡之前，先将学生信息与ArUco码之间进行适配编辑，比如可以将每个学生的信息编制成不同的ID组合模式形成学生ID，然后将学生ID与对应的ArUco码的ID做关联，即可使得ArUco码的ID与学生ID之间具有映射关系，且学生可以通过控制其对应的反馈卡的姿态变化来表达自己的课堂行为。其中，反馈卡可以是普通的、无特殊功能的纸质卡片，也可以是可存储信息的电子卡片，反馈卡的具体形式可根据实际需求确定，在此不作限定。
虽然深度学习技术的应用与相关研究越来越多，但是在课堂教学分析领域，通过文献检索发现，目前结合深度学习技术的应用研究较少，且缺乏有代表性的解决方案，但这并不意味着无法在课堂教学领域引入深度学习技术，本实施例则是通过人工智能的图像识别、行为识别等技术，经过海量数据的自我学习，可以准确识别课堂教学过程中的学生行为特征，实现针对教学内容的师生互动。比如通过人工对应上课前的点名场景、上课中的答题场景以及课后的抢答场景等三种不同的场景中标注一定数量的ArUco数据，制成数据集随后利用YOLOv5(基于单个神经网络的目标检测系统)卷积神经网络模型进行训练，在真实场景中测试ArUco码的识别精度。
其中，不同场景的视频数据通过设置在教室内的摄像单元(即摄像头)进行采集，且在通过摄像单元拍摄各个学生控制其对应的反馈卡发生姿态变化之前，先调整教室中的摄像单元布局，比如分别在教室前方的两个角落布置两个摄像单元，使得对角线这种本来物理最远距离，可以在不同相机的覆盖范围内，优化到一个相对更近的位置，减少因为位置导致的码值的识别数据的减少。此外，还可以结合不同场景的特殊性，对于摄像单元的对角线这种最远距离的ArUco码和学生抢答环节中出现举手等动作，而引起ArUco码之间出现遮挡问题时，本实施例中将采用数据增强的手段来提高这些特殊场景中ArUco码的检测定位能力。
具体的，编辑学生信息适配ArUco码，将用于定位的反馈卡发放给学生，并在教室内安装监控摄像机用来采集反馈卡上ArUco码的运动视频，收集图片数据，制成数据集；再利用开源视觉库OpenCV(OpenCV是跨平台计算机视觉和机器学习软件库)检测定位采集的图像上的ArUco标志，得到ArUco标志的矩形包络框，根据矩形包络框位置做出采集图像的标签，对打标签后的图像进行增广，并将增广结果分为训练集和测试集两部分，将训练集输入到YOLOv5卷积神经网络模型进行训练，测试集用于验证训练的YOLOv5卷积神经网络模型，直至测试集上的定位准确率不低于某一阈值时，即可得到训练好的YOLOv5卷积神经网络模型。
步骤S20：基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；其中，ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息；
步骤S30：根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
进一步的，在本申请实施例中，步骤S30具体包括：
基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；
根据ArUco码的旋转向量计算出反馈卡的旋转角度。
步骤S40：基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
进一步的，在本申请实施例中，步骤S40具体包括：
检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；
若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。
示范性的，在本申请实施例中，为了检测学生对于课堂教学内容的掌握程度，一般会在课后以选择题的方式进行内容的简单考核。当老师布置完题目以后，本实施例中的学生可通过控制反馈卡的姿态变化来表达对课堂教学内容的掌握程度，其中，反馈卡的四个方向代表着A、B、C、D等四个不同的答案，即不同的旋转角度对应不同的答案，反馈卡上ArUco码代表学生的ID号，即当老师发起课堂互动活动，学生作答完成后，通过举起手中的反馈卡并调整反馈卡的空中姿态，然后通过图像识别分析，自动完成学生身份、提交答案的识别，完全替代答题器的应用场景。
具体的，激活答题模式，将教室内摄像单元所摄录的固定时间间隔内的视频流数据导入训练好的YOLOv5卷积神经网络模型中，针对每一帧图像先用YOLOv5检测定位ArUco码位置，然后调用OpenCV开源库集成的解码程序去读取到ArUco码ID信息以及ArUco码的左上、左下、右上和右下四个角点的位置信息；根据ArUco码ID信息确定对应的学生，随后通过四个角点的位置信息借助p4p算法(P4P算法是一种基于二维码识别的算法，其利用二维码中存储的四个共面顶点的坐标和二维码图像中的像素坐标进行定位)去求解整个图形的旋转向量和平移向量；为了能够简单有效的读取方向信息，将旋转向量借助罗格里格斯方程转换到旋转矩阵，进而求取ArUco码的旋转角度，从而得到反馈卡的旋转角度；最终根据不同的旋转角度来判定每个学生选择的答案，以实现学生的课堂互动的识别，完成答题互动任务。
由此可见，本申请中，由于学生对集成有ArUco码的反馈卡的姿态控制与学生的课堂行为之间具有强映射关系，因此通过卷积神经网络和传统计算机视觉的结合来对集成有ArUco码的反馈卡的姿态变化进行识别，即可实现课堂教学过程中学生信息和行为特征的准确识别，进而有效且具有针对性地帮助教师了解课堂中学生听课的整体情况；同时，由于反馈卡只需是集成有ArUco码的普通卡片即可，无需具有任何交互功能，且本申请中的视频数据可通过教室中已存在的摄像装置进行获取，无需对教室内的通讯进行重新部署，因此不仅有效降低了课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题，有效解决了通过智能答题器进行课堂行为识别和信息获取而导致的成本高和网络部署复杂的问题。
进一步的，在本申请实施例中，在步骤S40之后，还包括以下步骤：将所述课堂互动结果传输至显示单元进行显示。
示范性的，本实施例中可以将上一实施例中识别得到的每个学生的答案信息显示在教室中的互动大屏上或移动终端上，以收集学生课后随堂测验的答案，进而实现对学生课堂教学掌握程度的分析。
进一步的，在本申请实施例中，在步骤S20之后，还包括以下步骤：基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。
示范性的，在课堂教学开始前，老师通常需要进行课前点名。本实施例中为不同的学生分配不同的ArUco码，然后通过识别每个人的ArUco码的ID信息来判定每个学生是否及时到达教室。
具体的，首先需要根据每个学校的不同情况，针对性的设计学生身份信息和ArUco的ID一一对应；然后在每个课堂教学环境中，学生举起反馈卡，激活点名模式，通过教室内的摄像单元读取视频流数据，然后利用YOLOv5逐帧检测ArUco码完成定位；采集定位后截取的图像数据调用OpenCV开源库中集成的ArUco码的解码程序，读取ArUco码的ID信息；最后将读取到的ArUco码的ID信息和教室里面的学生ID进行比较核对，将核对成功的学生所在的窗格点亮(其中，根据全班学生ID设置窗格板，每个窗格对应一个学生，窗格是否点亮代表学生是否到达教室)，未匹配成功的学生所在的窗格不点亮，窗格未点亮说明其对应的学生未到达教室，最终输出点名没有出现的学生，实现课堂点名。
进一步的，在本申请实施例中，在步骤S20之后，还包括以下步骤：
对每个反馈卡对应的ArUco码ID在所述实时视频中出现的次数进行统计，得到每个反馈卡的出现频次；
按照出现频次由高到低的顺序，对各个反馈卡进行排序，得到排序队列；
从所述排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者，其中，N为正整数。
示范性的，课堂教学中为了实现课堂内容的互动，老师往往会要求学生举手回答问题或者抢答问题。本实施例中可利用ArUco码所具有的位姿信息，判定不同的反馈卡的位姿变化状态来识别是否举手，从而结合ArUco码的ID信息，最终完成学生举手回答问题这一互动过程。其中，针对抢答互动任务，激活抢答模式以后，可以设置默认抢答过程产生50帧视频数据，摄像单元连续读取这50帧图像信息，然后针对这50帧图像信息逐帧检测和识别ArUco码，读取ArUco码ID信息并记录每个ArUco码出现的频次，然后按照出现频次由高到低的顺序，对各个ArUco码对应的反馈卡进行排序，得到排序队列；从排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者进行输出，其中，N为正整数，实现学生抢答任务。
综上，本申请通过利用卷积神经网络的迁移学习、抗干扰能力强的优点，在教室场景中制备大量的ArUco码的标注数据，在基于卷积神经网络对ArUco码进行有效的识别以后，利用ArUco自带的位置信息来实现课堂互动场景中的点名、答题和抢答等任务，且该方法能对学生在课堂互动中的三种不同任务进行可量化的观察和数据处理，能够更加有效且有针对性地帮助教师了解到课堂中学生听课的整体情况和学生对知识的掌握情况，并根据对学生课堂互动识别结果对学生的上课情况做出实时准确的有效评估，具有很大的实用价值。
参见图2所示，本申请实施例还提供了一种课堂互动识别装置，包括：
获取单元，其用于获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系，其中，摄像单元固定设于教室内；
识别单元，其用于基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
计算单元，其用于根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
判定单元，其用于基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
本申请中，由于学生对集成有ArUco码的反馈卡的姿态控制与学生的课堂行为之间具有强映射关系，因此通过卷积神经网络和传统计算机视觉的结合来对集成有ArUco码的反馈卡的姿态变化进行识别，即可实现课堂教学过程中学生信息和行为特征的准确识别，进而有效且具有针对性地帮助教师了解课堂中学生听课的整体情况；同时，由于反馈卡只需是集成有ArUco码的普通卡片即可，无需具有任何交互功能，且本申请中的视频数据可通过教室中已存在的摄像装置进行获取，无需对教室内的通讯进行重新部署，因此不仅有效降低了课堂行为识别和信息获取的成本，且不存在网络部署复杂的问题。由此可见，本申请有效解决了通过智能答题器进行课堂行为识别和信息获取而导致的成本高和网络部署复杂的问题。
进一步的，在本申请实施例中，所述ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息。
进一步的，在本申请实施例中，所述计算单元具体用于：
基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；
根据ArUco码的旋转向量计算出反馈卡的旋转角度。
进一步的，在本申请实施例中，所述判定单元具体用于：
检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；
若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。
进一步的，在本申请实施例中，所述装置还包括处理单元，其用于：基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。
进一步的，在本申请实施例中，当课堂互动为抢答时，所述处理单元还用于：
对每个反馈卡对应的ArUco码ID在所述实时视频中出现的次数进行统计，得到每个反馈卡的出现频次；
按照出现频次由高到低的顺序，对各个反馈卡进行排序，得到排序队列；
从所述排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者，其中，N为正整数。
进一步的，在本申请实施例中，所述装置还包括显示单元，其用于对所述课堂互动结果进行显示。
需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述课堂互动识别方法实施例中的对应过程，在此不再赘述。
上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的课堂互动识别设备上运行。
本申请实施例还提供了一种课堂互动识别设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的课堂互动识别方法的全部步骤或部分步骤。
其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程逻辑门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的课堂互动识别方法的全部步骤或部分步骤。
本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only memory，ROM)、随机存取存储器(Random Accessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种课堂互动识别方法，其特征在于，包括以下步骤：
获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
2.如权利要求1所述的课堂互动识别方法，其特征在于：所述ArUco码信息包括ArUco码ID和ArUco码上各个角点的位置信息。
3.如权利要求2所述的课堂互动识别方法，其特征在于，所述根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息，包括：
基于每个反馈卡的ArUco码上各个角点的位置信息计算出ArUco码的旋转向量；
根据ArUco码的旋转向量计算出反馈卡的旋转角度。
4.如权利要求3所述的课堂互动识别方法，其特征在于，所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果，包括：
检测某一反馈卡的旋转角度是否位于预设旋转角度范围内，所述预设旋转角度范围与题目选项之间具有映射关系；
若是，则将预设旋转角度范围对应的题目选项作为所述某一反馈卡对应的学生的课堂互动结果。
5.如权利要求2所述的课堂互动识别方法，其特征在于，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
基于ArUco码ID与学生ID之间的映射关系，将得到的每个反馈卡的ArUco码ID对应的学生ID所在的窗格点亮，以实现课堂点名。
6.如权利要求2所述的课堂互动识别方法，其特征在于，当课堂互动为抢答时，在所述基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息的步骤之后，还包括：
对每个反馈卡对应的ArUco码ID在所述实时视频中出现的次数进行统计，得到每个反馈卡的出现频次；
按照出现频次由高到低的顺序，对各个反馈卡进行排序，得到排序队列；
从所述排序队列中选取排列在前N位的反馈卡对应的学生作为抢答者，其中，N为正整数。
7.如权利要求1所述的课堂互动识别方法，其特征在于，在所述基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果的步骤之后，还包括：
将所述课堂互动结果传输至显示单元进行显示。
8.一种课堂互动识别装置，其特征在于，包括：
获取单元，其用于获取摄像单元所拍摄的包含有各个学生控制其对应的反馈卡发生姿态变化的实时视频，所述反馈卡上设有ArUco码，所述ArUco码的ID与学生ID之间具有映射关系；
识别单元，其用于基于已训练好的卷积神经网络模型对所述实时视频中的各个反馈卡上的ArUco码进行识别，得到每个反馈卡的ArUco码信息；
计算单元，其用于根据每个反馈卡的ArUco码信息计算出每个反馈卡的姿态信息；
判定单元，其用于基于每个反馈卡的姿态信息判定与其对应的学生的课堂互动结果。
9.一种课堂互动识别设备，其特征在于，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现权利要求1至7中任一项所述的课堂互动识别方法。
10.一种计算机可读存储介质，其特征在于：所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现权利要求1至7中任一项所述的课堂互动识别方法。
CN202111563464.XA 2021-12-20 2021-12-20 一种课堂互动识别方法、装置、设备及可读存储介质 Pending CN114399702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111563464.XA CN114399702A (zh) 2021-12-20 2021-12-20 一种课堂互动识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111563464.XA CN114399702A (zh) 2021-12-20 2021-12-20 一种课堂互动识别方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114399702A true CN114399702A (zh) 2022-04-26

Family

ID=81226159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111563464.XA Pending CN114399702A (zh) 2021-12-20 2021-12-20 一种课堂互动识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114399702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861695A (zh) * 2022-05-17 2022-08-05 南京听说科技有限公司 一种基于ArUco的智答码识别方法、智慧教室系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861695A (zh) * 2022-05-17 2022-08-05 南京听说科技有限公司 一种基于ArUco的智答码识别方法、智慧教室系统

Similar Documents

Publication Publication Date Title
CN102411854B (zh) 基于增强现实的课堂教学混合技术应用系统及方法
CN110837795A (zh) 基于课堂监控视频的教学情况智能监测方法、装置及设备
CN110956138B (zh) 一种基于家教设备的辅助学习方法及家教设备
CN111242962A (zh) 远程培训视频的生成方法、装置、设备及存储介质
CN111027486A (zh) 一种中小学课堂教学效果大数据辅助分析评价系统及其方法
CN111242045A (zh) 自动化作业习题对错指示方法及系统
CN112261477A (zh) 视频处理方法及装置、训练方法和存储介质
CN111814587A (zh) 人体行为检测方法、教师行为检测方法及相关系统和装置
CN112001944A (zh) 课堂教学质量评价数据的获取方法、计算机设备和介质
CN111382633A (zh) 课堂出勤管理方法、装置、终端及计算机可读存储介质
CN111160277A (zh) 行为识别分析方法和系统、计算机可读存储介质
CN110008858A (zh) 试卷展示方法及装置、计算机系统和计算机可读存储介质
CN114399702A (zh) 一种课堂互动识别方法、装置、设备及可读存储介质
CN109118512A (zh) 一种基于机器视觉的课堂迟到早退检测方法
CN112200230A (zh) 一种训练板的识别方法、装置及机器人
CN112907773B (zh) 一种基于动作检测与人脸识别的智能考勤方法及系统
CN107862230B (zh) 一种等级决定及录入方法
CN111047930B (zh) 一种处理方法、装置及电子设备
CN113315995A (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN112949621A (zh) 试卷作答区域的标记方法、装置、存储介质及电子设备
CN114519789B (zh) 教室场景课堂切换判别方法、装置及电子设备
CN111369400A (zh) 一种基于图像数据处理的中学生学习过程监管方法
CN114140282B (zh) 一种基于深度学习的普教课堂答题快速评审方法及装置
Sendari et al. Development of Image Processing Simulator: Case Study on Robotic Soccer
KR102541482B1 (ko) 증강 현실을 이용한 학령기 아동의 천식 교육 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination