CN114140282A - 一种基于深度学习的普教课堂答题快速评审方法及装置 - Google Patents
一种基于深度学习的普教课堂答题快速评审方法及装置 Download PDFInfo
- Publication number
- CN114140282A CN114140282A CN202111400131.5A CN202111400131A CN114140282A CN 114140282 A CN114140282 A CN 114140282A CN 202111400131 A CN202111400131 A CN 202111400131A CN 114140282 A CN114140282 A CN 114140282A
- Authority
- CN
- China
- Prior art keywords
- students
- student
- answer
- classroom
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 59
- 238000012552 review Methods 0.000 claims abstract description 18
- 230000006399 behavior Effects 0.000 claims abstract description 17
- 230000036544 posture Effects 0.000 claims description 62
- 230000006870 function Effects 0.000 claims description 20
- 210000000887 face Anatomy 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 210000001525 retina Anatomy 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 206010061274 Malocclusion Diseases 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于深度学习的普教课堂答题快速评审方法及装置，涉及智能教学领域，该方法包括基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。本发明能够实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
Description
技术领域
本发明涉及智能教学领域，具体涉及一种基于深度学习的普教课堂答题快速评审方法及装置。
背景技术
在普教课堂的师生互动场景中，答题互动环节极为重要，其可以充分考验学生对知识的掌握情况。当前，在答题互动环节，现有的考查方式包括老师点名问答方式和答题系统方式，
但是，现有的考查方式存在以下问题1、老师点名问答方式，该方式考察学生数量有限，无法获取学生的整体知识掌握度；2、答题系统方式，每个学生均需要一个答题器，根据老师问题，在答题器中选择结果，此种方式成本较高，需要不断维护，难以普及。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于深度学习的普教课堂答题快速评审方法及装置，能够实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
为达到以上目的，本发明提供一种基于深度学习的普教课堂答题快速评审方法，具体包括以下步骤：
基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
在上述技术方案的基础上，所述基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，具体步骤包括：
基于retina网络的神经网络模型，对教室内图像进行多维度特征提取；
对提取的多维度特征进行拼接，得到人脸信息，所述人脸信息包括人脸矩形框以及人脸矩形框中人脸的五个关键点坐标；
使用opencv库的仿射变换，将人脸的五个关键点坐标映射到指定位置；
基于arcface技术，并根据映射到指定位置的人脸的五个关键点坐标，提取得到人脸的特征值；
将提取得到的特征值与数据库进行比对，确定学生身份。
在上述技术方案的基础上，
所述arcface技术的网络主干为resnet50网络，arcface技术的损失函数为基于Softmax loss损失函数修改得到的预设损失函数；
所述预设损失函数具体为：
其中，L表示预设损失函数，m表示样本的数量，e表示自然常数，s表示超球面的半径，n和j均表示类别的数量，θ表示权重和特征值间的向量夹角，θyi表示输入的类别为第yi个时，权重和特征值间的向量夹角，θj表示输入的类别为第j个时，权重和特征值间的向量夹角，yi表示第i个样本所属的类别。
在上述技术方案的基础上，所述基于姿态识别算法，对教室内学生的行为姿态进行识别，具体步骤包括：
基于vgg16骨干网络，对学生人体的特征图进行关键点以及关键点间连接方式的预测；
将每个stage输出的特征图均与基础网络输出的特征图进行concat，并进行loss设置；
基于均方差算法将每个stage输出的特征图与label间进行损失计算；
根据计算结果得到学生的18个人体关键点，并基于得到的18个人体关键点，以及人体关节的夹角位置和相对关系，确定学生的行为姿态。
在上述技术方案的基础上，所述预设姿态为举牌姿态，且当学生为举牌姿态时，所举牌中含有学生所写的答题结果内容。
在上述技术方案的基础上，通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，具体步骤包括：
确定处于举牌姿态的学生所举牌的位置；
通过文字识别算法对学生所举牌中的答题结果内容进行识别，得到学生的答题结果。
在上述技术方案的基础上，所述文字识别算法基于ocr神经网络实现，且通过文字识别算法对答题结果内容进行识别包括文字检测阶段、问题识别阶段和文本角度分类阶段。
在上述技术方案的基础上，所述根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，具体包括：
根据处于预设姿态学生的位置、处于预设姿态学生的答题结果，以及学生身份与学生所在位置间的对应关系，建立答题结果与学生身份间的对应关系。
在上述技术方案的基础上，所述统计所有答题结果以评审，具体为：统计所有学生的答题结果，并基于标准答案对学生的答题结果进行判决。
本发明提供的一种基于深度学习的普教课堂答题快速评审装置，包括：
身份确定模块，其用于基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
姿态识别模块，其用于基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
结果识别模块，其用于通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
结果统计模块，其用于根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
与现有技术相比，本发明的优点在于：通过基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系，以及基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录，以及通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，最后根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审，即通过图像识别方式自动对教室内学生所写答题结果内容进行识别，得到学生的答题结果，实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于深度学习的普教课堂答题快速评审方法的流程图。
具体实施方式
本发明提供一种基于深度学习的普教课堂答题快速评审方法，通过基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系，以及基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录，以及通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，最后根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审，即通过图像识别方式自动对教室内学生所写答题结果内容进行识别，得到学生的答题结果，实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。本发明实施例相应地还提供了一种基于深度学习的普教课堂答题快速评审装置。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。
参见图1所示，本发明实施例提供的一种基于深度学习的普教课堂答题快速评审方法，具体包括以下步骤：
S1：基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
本发明实施例中，可以通过布置摄像头的方式实现对教室内图像的采集，从而基于采集得到的图像并通过人脸识别算法对图像中的人脸进行检测，并根据检测得到的人脸确定学生的身份，同时建立学生身份与学生所在位置间的对应关系，即对教室内每一个座位位置上学生的身份进行确定，并将座位位置与学生身份间进行绑定，后续根据位置信息即可知晓该位置上学生的身份信息。
在一种可能的实施方式中，为保证对教室内学生人脸检测的准确度，可以在教室的不同位置布置多个摄像头，在多个角度对学生人脸图像进行采集，从而提升学生身份识别的准确度。
S2：基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
本发明实施例中，为了答题结果内容识别的触发，可以设定当学生处于预设姿态时，即开始学生答题结果内容识别。因此，需要对学生的姿态进行识别，以判定学生当前是否处于预设姿态。本发明中通过姿态识别算法对学生的姿态进行识别，从而判定学生当前是否处于预设姿态，并当检测得到学生处于预设姿态时，对处于预设姿态学生的位置进行记录，后便后续确定处于预设姿态学生的身份。
S3：通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
本发明实施例中，对于答题结果内容，学生可以采用手写方式，即当老师出题完成后，学生在纸张上进行答题结果内容的书写，然后通过文字识别算法对学生所写的答题结果内容进行识别，得到答题结果。
当然，对于答题结果内容的展现形式，不局限于书写方式，也可以采用其它形式呈现，如具有特定含义的答题标志物(如字字母板)，能被文字识别算法识别即可。
S4：根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
即根据处于预设姿态学生所在的位置，及该位置对应的学生身份，确定处于预设姿态学生的身份，并根据处于预设姿态学生的答题结果，从而将答题结果与学生身份间建立对应关系，确定每个学生的答题结果。
本发明实施例中，基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，具体步骤包括：
S101：基于retina网络的神经网络模型，对教室内图像进行多维度特征提取；retina网络为一种采用FPN(Feature Pyramid Networks，特征图金字塔网络)网络的网络结构。本发明采用retina网络进行人脸检测识别，能够提高对小人脸的检测效果。
S102：对提取的多维度特征进行拼接，得到人脸信息，所述人脸信息包括人脸矩形框以及人脸矩形框中人脸的五个关键点坐标；人脸的五个关键点包括左眼、右眼、鼻尖、左嘴角和右嘴角。步骤S101和S102相当于人脸识别中的人脸检测。
S103：使用opencv库(一种基于BSD许可发行的跨平台计算机视觉和机器学习软件库)的仿射变换，将人脸的五个关键点坐标映射到指定位置；将人脸的五个关键点坐标映射到指定位置，能够方便后续的人脸特征提取。步骤S103相当于人脸识别中的人脸对齐。
S104：基于arcface技术(一种人脸识别算法)，并根据映射到指定位置的人脸的五个关键点坐标，提取得到人脸的特征值；步骤S104相当于人脸识别中的人脸特征提取和比对。
本发明实施例中，arcface技术的网络主干为resnet50网络(一种多层网络结构)，arcface技术的损失函数为基于Softmax loss损失函数修改得到的预设损失函数。预设损失函数具体为：
其中，L表示预设损失函数，m表示样本的数量，e表示自然常数，s表示超球面的半径，n和j均表示类别的数量，θ表示权重和特征值间的向量夹角，θyi表示输入的类别为第yi个时，权重和特征值间的向量夹角，θj表示输入的类别为第j个时，权重和特征值间的向量夹角，yi表示第i个样本所属的类别，cosθyi表示类内相似度，cosθj表示类间相似度。
对于上述公式，由于损失函数一般是在网络最后阶段使用，在最后阶段，网络输出的是特征值，该特征值由使用前一阶段的输出乘以最后的权重，然后加上偏移计算得到，θ为权重和特征值间的向量夹角，θyi的自变量为i，i的取值范围为1～m，θj的自变量为j，j的取值范围为1～n；对于θ的具体含义，由于损失函数都是在训练阶段使用，网络的输出存在标签(类别)，例如，输入类别A，则计算得到的权重和特征向量间的夹角为θA。
采用本发明修改后的预设损失函数最终训练得到的网络，与其它算法相比：整体识别准确定达到97％以上，人脸识别准确度达到98％以上，显存仅占用0.8G，在对其图片时仅需30ms左右，初次识别时仅需500ms，非首次识别时在10ms以内。
S105：将提取得到的特征值与数据库进行比对，确定学生身份。数据库中含有所有学生的特征值，将提取得到的特征值与数据库中的特征值进行比对，即可确定学生的身份。
本发明实施例中，基于姿态识别算法，对教室内学生的行为姿态进行识别，具体步骤包括：
S201：基于vgg16(一种卷积神经网络)骨干网络，对学生人体的特征图进行关键点以及关键点间连接方式的预测；
S202：将每个stage(目标检测算法)输出的特征图均与基础网络输出的特征图进行concat(连接)，并进行loss设置(即目标函数设置)；即对于每个stage输出的特征图，均会和基础网络输出的特征图进行concat，然后再传入下一个stage，然后重复多个stage，并且在每个stage之后进行loss设置。
S203：基于均方差算法将每个stage输出的特征图与label(分类)间进行损失计算；可以理解为中继监督，让网络在每一个阶段，都向着label的方向进行收敛，加快网络的训练和预测的精度。
S204：根据计算结果得到学生的18个人体关键点，并基于得到的18个人体关键点，以及人体关节的夹角位置和相对关系，确定学生的行为姿态。当得到18个人体的关键点之后，即可根据人体关节的夹角位置和相对关系，判断学生的行为姿态，如站立、举手等。
本发明实施例中，预设姿态为举牌姿态，且当学生为举牌姿态时，所举牌中含有学生所写的答题结果内容。即学生在木板牌上进行答题结果内容的书写，当书写完成后将木板牌举起，形成举牌姿态，从而处于预设姿态。
本发明实施例中，通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，具体步骤包括：
S301：确定处于举牌姿态的学生所举牌的位置；即当基于姿态识别算法识别得到学生处于举牌姿态时，将处于举牌姿态的学生所举牌的位置进行记录，方便后续根据位置信息对学生的身份进行确定。
S302：通过文字识别算法对学生所举牌中的答题结果内容进行识别，得到学生的答题结果。文字识别算法基于ocr神经网络实现，且通过文字识别算法对答题结果内容进行识别包括文字检测阶段、问题识别阶段和文本角度分类阶段。
本发明实施例中，根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，具体包括：
根据处于预设姿态学生的位置、处于预设姿态学生的答题结果，以及学生身份与学生所在位置间的对应关系，建立答题结果与学生身份间的对应关系。
本发明实施例中，统计所有答题结果以评审，具体为：统计所有学生的答题结果，并基于标准答案对学生的答题结果进行判决。基于每个学生答题结果的正确情况，即可掌握所有学生对知识的掌握情况，方便且快捷。
本发明的普教课堂答题快速评审方法，相机采集教室内学生图片，进行人脸检测、人脸对齐和人脸特征提取，然后进行学生姿态检测，找到处于举牌姿态的学生，将举牌姿态学生和身份进行位置匹配，获得每个学生的举牌内容，最后进行文字识别，获得每个学生的答题结果并上报，最后对答题结果进行判决，该普教课堂答题快速评审方法成本低廉，一次部署，不需要维护答题器，可以快速进行身份验证和答题结果比对，快速生成答题结果报表，极大提高老师课堂授课结果验证效率。在课堂开始后，10秒即可完成全班学生身份识别，答题过程开始后，1秒即可完成学生姿态识别、答题结果识别、答题结果汇总并评审，以及答题结果报表生成。
本发明实施例的基于深度学习的普教课堂答题快速评审方法，通过基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系，以及基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录，以及通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，最后根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审，即通过图像识别方式自动对教室内学生所写答题结果内容进行识别，得到学生的答题结果，实现对教室内所有学生知识掌握情况的自动快速准确统计，且结果统计成本低。
本发明实施例提供的一种基于深度学习的普教课堂答题快速评审装置，包括身份确定模块、姿态识别模块、结果识别模块和结果统计模块。
身份确定模块用于基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；姿态识别模块用于基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；结果识别模块用于通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；结果统计模块用于根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
Claims (10)
1.一种基于深度学习的普教课堂答题快速评审方法，其特征在于，具体包括以下步骤：
基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
2.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，具体步骤包括：
基于retina网络的神经网络模型，对教室内图像进行多维度特征提取；
对提取的多维度特征进行拼接，得到人脸信息，所述人脸信息包括人脸矩形框以及人脸矩形框中人脸的五个关键点坐标；
使用opencv库的仿射变换，将人脸的五个关键点坐标映射到指定位置；
基于arcface技术，并根据映射到指定位置的人脸的五个关键点坐标，提取得到人脸的特征值；
将提取得到的特征值与数据库进行比对，确定学生身份。
3.如权利要求2所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于：
所述arcface技术的网络主干为resnet50网络，arcface技术的损失函数为基于Softmax loss损失函数修改得到的预设损失函数；
所述预设损失函数具体为：
其中，L表示预设损失函数，m表示样本的数量，e表示自然常数，s表示超球面的半径，n和j均表示类别的数量，θ表示权重和特征值间的向量夹角，θyi表示输入的类别为第yi个时，权重和特征值间的向量夹角，θj表示输入的类别为第j个时，权重和特征值间的向量夹角，yi表示第i个样本所属的类别。
4.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述基于姿态识别算法，对教室内学生的行为姿态进行识别，具体步骤包括：
基于vgg16骨干网络，对学生人体的特征图进行关键点以及关键点间连接方式的预测；
将每个stage输出的特征图均与基础网络输出的特征图进行concat，并进行loss设置；
基于均方差算法将每个stage输出的特征图与label间进行损失计算；
根据计算结果得到学生的18个人体关键点，并基于得到的18个人体关键点，以及人体关节的夹角位置和相对关系，确定学生的行为姿态。
5.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于：所述预设姿态为举牌姿态，且当学生为举牌姿态时，所举牌中含有学生所写的答题结果内容。
6.如权利要求5所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果，具体步骤包括：
确定处于举牌姿态的学生所举牌的位置；
通过文字识别算法对学生所举牌中的答题结果内容进行识别，得到学生的答题结果。
7.如权利要求6所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于：所述文字识别算法基于ocr神经网络实现，且通过文字识别算法对答题结果内容进行识别包括文字检测阶段、问题识别阶段和文本角度分类阶段。
8.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，具体包括：
根据处于预设姿态学生的位置、处于预设姿态学生的答题结果，以及学生身份与学生所在位置间的对应关系，建立答题结果与学生身份间的对应关系。
9.如权利要求1所述的一种基于深度学习的普教课堂答题快速评审方法，其特征在于，所述统计所有答题结果以评审，具体为：统计所有学生的答题结果，并基于标准答案对学生的答题结果进行判决。
10.一种基于深度学习的普教课堂答题快速评审装置，其特征在于，包括：
身份确定模块，其用于基于人脸识别算法对教室内学生人脸进行检测，确定学生身份，并建立学生身份与学生所在位置间的对应关系；
姿态识别模块，其用于基于姿态识别算法，对教室内学生的行为姿态进行识别，得到处于预设姿态的学生，并对处于预设姿态学生的位置进行记录；
结果识别模块，其用于通过文字识别算法对处于预设姿态的学生的答题结果内容进行识别，得到答题结果；
结果统计模块，其用于根据学生身份与学生所在位置间的对应关系，将答题结果与学生身份间建立对应关系，并统计所有答题结果以评审。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111400131.5A CN114140282B (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111400131.5A CN114140282B (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114140282A true CN114140282A (zh) | 2022-03-04 |
| CN114140282B CN114140282B (zh) | 2023-03-24 |
Family
ID=80391138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111400131.5A Active CN114140282B (zh) | 2021-11-19 | 2021-11-19 | 一种基于深度学习的普教课堂答题快速评审方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114140282B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170358233A1 (en) * | 2016-06-14 | 2017-12-14 | International Business Machines Corporation | Teaching plan optimization |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108764074A (zh) * | 2018-05-14 | 2018-11-06 | 山东师范大学 | 基于深度学习的主观题智能阅卷方法、系统及存储介质 |
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助系统 |
| CN110490074A (zh) * | 2019-07-17 | 2019-11-22 | 广州学邦信息技术有限公司 | 一种基于图像识别的课堂实时批改方法、系统及装置 |
| CN110909621A (zh) * | 2019-10-30 | 2020-03-24 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于视觉的健身指导系统 |
| CN111368808A (zh) * | 2020-04-10 | 2020-07-03 | 刘志锋 | 答题数据的采集方法、装置、系统和教学设备 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN112016547A (zh) * | 2020-08-20 | 2020-12-01 | 上海天壤智能科技有限公司 | 基于深度学习的图像文字识别方法、系统及介质 |
-
2021
- 2021-11-19 CN CN202111400131.5A patent/CN114140282B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170358233A1 (en) * | 2016-06-14 | 2017-12-14 | International Business Machines Corporation | Teaching plan optimization |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助系统 |
| CN107609517A (zh) * | 2017-09-15 | 2018-01-19 | 华中科技大学 | 一种基于计算机视觉的课堂行为检测系统 |
| CN108805009A (zh) * | 2018-04-20 | 2018-11-13 | 华中师范大学 | 基于多模态信息融合的课堂学习状态监测方法及系统 |
| CN108764074A (zh) * | 2018-05-14 | 2018-11-06 | 山东师范大学 | 基于深度学习的主观题智能阅卷方法、系统及存储介质 |
| CN110490074A (zh) * | 2019-07-17 | 2019-11-22 | 广州学邦信息技术有限公司 | 一种基于图像识别的课堂实时批改方法、系统及装置 |
| CN110909621A (zh) * | 2019-10-30 | 2020-03-24 | 中国科学院自动化研究所南京人工智能芯片创新研究院 | 一种基于视觉的健身指导系统 |
| CN111368808A (zh) * | 2020-04-10 | 2020-07-03 | 刘志锋 | 答题数据的采集方法、装置、系统和教学设备 |
| CN111563452A (zh) * | 2020-05-06 | 2020-08-21 | 南京师范大学镇江创新发展研究院 | 一种基于实例分割的多人体姿态检测及状态判别方法 |
| CN112016547A (zh) * | 2020-08-20 | 2020-12-01 | 上海天壤智能科技有限公司 | 基于深度学习的图像文字识别方法、系统及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 彭湘华: "人脸识别技术在高职院校课程在线考试中的应用研究", 《高教学刊》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114140282B (zh) | 2023-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11790641B2 (en) | Answer evaluation method, answer evaluation system, electronic device, and medium | |
| CN110008933B (zh) | 一种通用智能阅卷系统和方法 | |
| CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN109165552B (zh) | 一种基于人体关键点的姿态识别方法、系统及存储器 | |
| CN109271401B (zh) | 一种题目搜索、批改方法、装置、电子设备和存储介质 | |
| CN111144191B (zh) | 字体识别方法、装置、电子设备及存储介质 | |
| CN112115736B (zh) | 一种基于图像识别的作业批改方法、系统和智能终端 | |
| CN109918523B (zh) | 一种基于yolo9000算法的电路板元器件检测方法 | |
| CN112183238B (zh) | 一种远程教育注意力检测方法及系统 | |
| CN110085068A (zh) | 一种基于图像识别的学习辅导方法及装置 | |
| CN112001219B (zh) | 一种多角度多人脸识别考勤方法及系统 | |
| CN111563512A (zh) | 一种答案自动涂抹的方法、装置、电子设备及存储介质 | |
| CN111242045A (zh) | 自动化作业习题对错指示方法及系统 | |
| CN112347997A (zh) | 一种试题检测识别方法、装置、电子设备及介质 | |
| CN112116840B (zh) | 一种基于图像识别的作业批改方法、系统和智能终端 | |
| Wang et al. | Yolov5 enhanced learning behavior recognition and analysis in smart classroom with multiple students | |
| CN113762274A (zh) | 一种答题卡目标区域检测方法、系统、存储介质及设备 | |
| Ashwinkumar et al. | Deep learning based approach for facilitating online proctoring using transfer learning | |
| CN113822907A (zh) | 图像处理方法及装置 | |
| CN116403218B (zh) | 基于远程音视频互动的线上线下混合式教学管理系统 | |
| CN114140282B (zh) | 一种基于深度学习的普教课堂答题快速评审方法及装置 | |
| CN111489596A (zh) | 一种直播教学过程中进行信息反馈的方法及装置 | |
| CN116110091A (zh) | 一种线上学习状态监测系统 | |
| CN111507555B (zh) | 人体状态检测方法、课堂教学质量的评价方法及相关装置 | |
| CN114638988A (zh) | 一种基于不同呈现方式的教学视频自动化分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Fast Evaluation Method and Device for Answering Questions in General Education Classroom Based on Deep Learning Granted publication date: 20230324 Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd. Pledgor: WUHAN ETAH INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2024980009498 |