CN112287884B - 一种考试异常行为检测方法、装置及计算机可读存储介质 - Google Patents
一种考试异常行为检测方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112287884B CN112287884B CN202011303698.6A CN202011303698A CN112287884B CN 112287884 B CN112287884 B CN 112287884B CN 202011303698 A CN202011303698 A CN 202011303698A CN 112287884 B CN112287884 B CN 112287884B
- Authority
- CN
- China
- Prior art keywords
- examination
- yolov3
- frame
- detection
- abnormal behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 206010000117 Abnormal behaviour Diseases 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 60
- 230000006399 behavior Effects 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000002159 abnormal effect Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011897 real-time detection Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- WUKWITHWXAAZEY-UHFFFAOYSA-L calcium difluoride Chemical compound [F-].[F-].[Ca+2] WUKWITHWXAAZEY-UHFFFAOYSA-L 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000010436 fluorite Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种考试异常行为检测方法、装置及计算机可读存储介质，所述方法包括以下步骤：获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果。本发明所述的考试异常行为检测方法，提高了异常考试行为检测的精度。
Description
技术领域
本发明涉及行为检测技术领域，尤其涉及一种考试异常行为检测方法、装置及计算机可读存储介质。
背景技术
考试是大众普遍接受的一种知识水平鉴定方式，目前主要实行的人工现场监考和考试监控视频复查的监考方式仍存在弊端，无法保证考试的公平性。深度学习的出现促进了计算机视觉领域的发展，考试异常行为检测属于一种典型的计算机视觉任务，可以采用深度学习的方法来实现。通过将正常考试行为和几种异常考试行为进行区分，并对检测出的异常考试行为进行标注，从而快速获取疑似作弊人员进行重点观察。目前，深度学习目标检测在众多领域取得了巨大成就，但是利用深度学习进行考试异常行为目标检测的研究却少有人为，该研究不仅可以节省更多的人力成本、提高监控视频复查效率，对保证考试的公平性、维持正常的考试秩序也有极大的促进作用。
现有研究成果都是在特定场景进行的有针对性的算法设计，不能完全适用于考试异常行为的检测，将现有算法设计应用至异常考试行为检测时，其检测精度较低。
发明内容
有鉴于此，有必要提供一种考试异常行为检测方法、装置及计算机可读存储介质，用以解决现有异常考试行为检测的精度较低的问题。
本发明提供一种考试异常行为检测方法，包括以下步骤：
获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；
优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；
获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果。
进一步地，所述对数据集的边界框聚类，具体包括，通过k-means方法并以交并比作为距离度量，对数据集的边界框聚类。
进一步地，所述考试异常行为检测方法还包括使用Darknet32网络代替YOLOv3的主干网络Darknet53网络。
进一步地，所述Darknet32网络包括6组带残差块的网络；所述Darknet32网络采用多尺度训练方式，在训练过程中不断调整输入图像的尺寸；所述Darknet32网络不设置池化层，通过卷积来实现下采样。
进一步地，所述优化YOLOv3算法的损失函数，具体包括，采用GIoU作为衡量指标来计算位置损失，采用facal loss对置信度损失进行优化，采用二值交叉熵计算分类损失。
进一步地，所述位置损失的计算公式为所述置信度损失的计算公式为
其中，S2和B为网格数量以及每个网格中检测框数量，表示网格i的第j个检测框是否负责预测该对象，若是则取1，否则取0，/> 为标注框的宽度和高度，α为facal loss函数中的权重系数，γ为facal loss函数中加入的超参数，/>和Ci为置信度的真实值和预测值，λnoobj为权重系数。
进一步地，获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果，具体包括，获取考试行为视频，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片进行输出，得到考试异常行为检测结果。
进一步地，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片进行输出，得到考试异常行为检测结果，具体包括，
步骤S11、按帧读取所述视频，形成帧图片，将帧图片放入输入队列；
步骤S12、读取第一张帧图片，并将该帧图片的检测标志设定为true；
步骤S13、利用最终的YOLOv3模型进行检测；
步骤S14、标注帧图片，将标注过的帧图片放入输出队列，将该帧图片的检测标志取反；
步骤S15、读取下一张帧图片，并使下一张帧图片引用上一张帧图片的检测标志，判断该帧图片的检测标志是否为true，若否，则继续使用上一张图片的检测框，重新执行步骤S14、若是，则重新执行步骤S13，直至所有帧图片读取完毕；
步骤S16、对标注后帧图片进行输出，得到考试异常行为检测结果。
本发明还提供了一种考试异常行为检测方法装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的考试异常行为检测方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的考试异常行为检测方法。
与现有技术相比，本发明的有益效果包括：通过获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果；提高了异常考试行为检测的精度。
附图说明
图1为本发明提供的考试异常行为检测方法的流程示意图；
图2为本发明提供的YOLOv3的网络结构示意图；
图3为本发明提供的平均交并比与Anchor数量关系示意图；
图4为本发明提供的Darknet32网络的结构示意图；
图5为本发明提供的参数量和浮点运算量示意图；
图6为本发明提供的L2范数与IOU和GIoU对比图；
图7为本发明提供的利用帧交替双线程获取视频帧并进行视频检测的流程示意图；
图8为本发明提供的考试行为图像；
图9为本发明提供的YOLOv3_G、YOLOv3_G_KM及YOLOv3_G_KM_D32模型在考试异常行为测试集上的AP和mAP结果示意图；
图10为本发明提供的视频检测速度比对图；
图11为本发明提供的视频检测内存耗用对比图；
图12为本发明提供的YOLOv3算法对图片进行测试的结果；
图13为本发明提供的YOLOv3_G_KM_D32算法图片进行测试的结果。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
实施例1
本发明实施例提供了一种考试异常行为检测方法，其流程示意图，如图1所示，所述方法包括以下步骤：
S1、获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；
S2、优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；
S3、获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果。
需要说明的是，YOLOv3的网络结构示意图，如图2所示，YOLOv3的网络结构可分为backbone和head，分别进行特征提取和多尺度预测，通过上采样操作提取上层特征后与本层特征进行融合，将低分辨率语义信息较强的特征图和高分辨率语义信息较弱但空间信息丰富的特征图相结合，从三个尺度上进行预测；
YOLOv3网络中加入的残差块实现了某些层之间参数的快捷传递；YOLOv3的主干网络Darknet53用于目标检测去掉了全连接层，YOLOv3网络共包含52个卷积层，每个卷积层包含三个操作：卷积运算、BN(Batch Normalization)、以及LRelu(Leaky Rectified linearunit)激活函数；
优选的，所述对数据集的边界框聚类，具体包括，通过k-means方法并以交并比作为距离度量，对数据集的边界框聚类；
需要说明的是，为了实现对不同大小和宽高比物体的快速检测，YOLOv3算法中使用的Anchor由COCO数据集中80个类别的数据得出，适用于绝大多数的检测场景，K-Means算法使用距离作为划分标准，两个样本的距离越小，相似度越高，反之，则相似度越低；
一个具体实施例中，利用K-Means算法将数据集中的边界框进行聚类，从而获得最优的Anchor；采用交并比作为K-Means算法的距离度量，其公式如下：
d(B,C)＝1-IoU(B,C) (1)
其中，B为边界框，C为聚类中心，IoU(B,C)表示两个矩形框的交并比；通过实验得到平均交并比与Anchor数量关系，所述平均交并比与Anchor数量关系示意图，如图3所示，曲线在Anchor数量为9之后趋于平缓，考虑到Anchor的数量越多，计算量越大，不利于实时检测，选择的Anchor数量为9，最终得到优化后的Anchor与YOLOv3原本Anchor的尺寸，对比如表1所示，
表1
| Anchor | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| YOLOv3 | (10,13) | (16,30) | (33,23) | (30,61) | (62,45) | (59,119) | (116,90) | (156,198) | (373,326) |
| YOLOv3_Kmeans | (45,50) | (57,66) | (89,53) | (89,79) | (108,104) | (125,135) | (131,69) | (166,97) | (237,131) |
表1中，YOLOv3_Kmeans表示使用K-Means优化后的Anchor的尺寸，YOLOv3表示YOLOv3原本Anchor的尺寸；
优选的，所述考试异常行为检测方法还包括使用Darknet32网络代替YOLOv3的主干网络Darknet53网络；
优选的，所述Darknet32网络包括6组带残差块的网络；所述Darknet32网络采用多尺度训练(Multi-Scale Training)方式，在训练过程中不断调整输入图像的尺寸；所述Darknet32网络不设置池化层，通过卷积来实现下采样；
需要说明的是，YOLOv3中使用的Darknet53网络具有很好的检测精度，但是庞大的网络对于考试异常行为的检测有些复杂与冗余，过多的参数会导致训练复杂、数据量的需求增大、检测速度减慢，为了提高考试异常行为目标检测的速度，并且保持较高的检测精度，本发明实施例提出了新的卷积神经网络，称为Darknet32网络，所述Darknet32网络的结构示意图，如图4所示；
一个具体实施例中，在Darknet32网络中，包含了6组带残差块的网络，相比于Darknet53中的5组网络，减少了每组网络中残差块的数量，为了平衡特征提取的效果，另外增加一组网络；网络采用Multi-Scale Training方式，在训练过程中不断调整输入图像的尺寸，使网络可以更好的预测不同尺度的图片；网络中不再设置池化层，下采样通过卷积来实现；
网络的参数量和浮点运算量是衡量一个网络大小的重要指标，其计算公式如(2)～(5)，
卷积层参数量
Paramsconv＝(kw×kh×cin+1)×cout (2)
卷积层浮点运算次数
全连接层参数量
Paramsfc＝(nin+1)×nout (4)
全连接层浮点运算次数
FLOPsfc＝[nin+(nin-1)+1]×nout (5)
上述计算公式中，kw和kh表示当前卷积层卷积核的宽和高，cin和cout表示当前卷积层输入和输出通道数，W和H表示当前卷积层特征图的宽和高，nin和nout表示全连接层的输入神经元个数和输出神经元个数，式中的+1表示bias；
根据公式(2)-(5)，计算出使用Darknet32的YOLOv3算法和原始YOLOv3算法的参数量和浮点运算量，所述参数量和浮点运算量示意图，如图5所示，改进后算法的参数量和浮点运算量减小了41％；
优选的，所述优化YOLOv3算法的损失函数，具体包括，采用GIoU作为衡量指标来计算位置损失，采用facal loss对置信度损失进行优化，采用二值交叉熵计算分类损失；
优选的，所述位置损失的计算公式为所述置信度损失的计算公式为
其中，S2和B为网格数量以及每个网格中检测框数量，表示网格i的第j个检测框是否负责预测该对象，若是则取1，否则取0，/> 为标注框的宽度和高度，α为facal loss函数中的权重系数，γ为facal loss函数中加入的超参数，/>和Ci为置信度的真实值和预测值，λnoobj为权重系数；
一个具体实施例中，YOLOv3算法的损失函数包括位置损失、置信度损失及分类损失，其位置损失采用L2范数计算，但评估时采用IoU来判定是否检测到目标，然而并非L2loss越低IOU越高，L2范数与IOU和GIoU对比图，如图6所示，图6中三种情况L2 loss相同，IoU却相差甚大；
由于IoU的计算中没有考虑非重叠区域，不能反应两个框的距离以及重叠方式，当两个框不存在重叠时，IoU＝0导致梯度为0无法进行优化，因此不能直接采用IoU计算位置损失；
具体实施时，使用GIoU(Generalized Intersection over Union)边界框优化方式，考虑两个框的重叠方式，其计算公式如下
其中，A和B分别为预测边界框和真实边界框，C为包含A和B的最小闭合区间；根据公式(6)可知，GIoU和IoU呈正相关，当两个框形状大小越接近且距离越近，GIoU越接近于IoU；因此，可以采用GIoU作为衡量指标来计算位置损失，GIoU损失计算公式为：
GIoUloss＝1-GIoU (7)
改进后位置损失函数的计算公式为
一个具体实施例中，YOLOv3算法的置信度损失通过二值交叉熵loss计算，为解决正负样本分布不平衡的问题，利用facal loss对置信度损失进行优化，优化后的置信度损失计算公式为
分类损失采用二值交叉熵计算，其计算公式为
其中，和pi(c)为类别的真实值和预测值；
总体损失函数的计算公式为上述公式之和
Loss＝bbox_loss+conf_loss+prob_loss (11)
优选的，获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果，具体包括，获取考试行为视频，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片进行输出，得到考试异常行为检测结果；
优选的，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片进行输出，得到考试异常行为检测结果，具体包括，
步骤S11、按帧读取所述视频，形成帧图片，将帧图片放入输入队列；
步骤S12、读取第一张帧图片，并将该帧图片的检测标志设定为true；
步骤S13、利用最终的YOLOv3模型进行检测；
步骤S14、标注帧图片，将标注过的帧图片放入输出队列，将该帧图片的检测标志取反；
步骤S15、读取下一张帧图片，并使下一张帧图片引用上一张帧图片的检测标志，判断该帧图片的检测标志是否为true，若否，则继续使用上一张图片的检测框，重新执行步骤S14、若是，则重新执行步骤S13，直至所有帧图片读取完毕；
步骤S16、对标注后帧图片进行输出，得到考试异常行为检测结果；
一个具体实施例中，使用录制的包含大量考试异常行为的视频做检测，但在实际考试中，异常行为的出现次数极少且出现时间不确定，逐帧检测比较费时，而跨越多帧检测可能会出现漏检现象，因此本发明实施例采用跨越一帧的方式进行检测，即帧交替检测；多线程技术的使用可以提高程序运行的效率；
本发明实施例采用的帧交替双线程检测方式，既能提高检测速度又不会占用大量的内存，将任务分成两部分：主线程完成视频的按帧读取和输出，子线程完成帧交替检测与标注；
利用帧交替双线程获取视频帧并进行视频检测的流程示意图，如图7所示，其具体包括以下步骤：S21、视频输入；S22、按帧读取视频；S23、将帧图片放入输入队列；S24、读取第一张帧图片，并将该帧图片检测标志设定为true；S25、利用最终的YOLOv3模型进行检测；S26、标注帧图片；S27、将标注过的帧图片放入输出队列；S28、读取标注后的视频帧(帧图片)；S29、视频输出；S30、将该帧图片的检测标志取反；S31、读取下一帧图片，使下一张帧图片引用上一张帧图片的检测标志，判断该帧图片的检测标志是否为true，若否，则继续使用上一张图片的检测框，并重新执行S26，若是，重新执行S25，直至所有帧图片读取完毕；
为保证第一帧被检测且检测画面连贯，采用奇数帧检测，偶数帧跳过的检测方式，不被检测的偶数帧沿用上一帧的标注信息；
一个具体实施例中，对考试异常行为进行检测，检测流程包括：制作数据集，优化损失函数；建立YOLOv3_G模型，测试YOLOv3_G模型的准确度，测试YOLOv3_G模型视频检测速度；使用K-Means聚类获得最优Anchor，建立YOLOv3_G_KM模型，测试YOLOv3_G_KM模型准确度，测试YOLOv3_G_KM模型视频检测速度；使用K-Means聚类获得最优Anchor，重新设计主干网络Darknet32，建立YOLOv3_G_KM_D32模型,测试YOLOv3_G_KM_D32模型的准确度，测试YOLOv3_G_KM_D32模型视频检测速度；从检测精度，视频检测速度，内存耗用三个方面对三个模型进行对比分析；
所述YOLOv3_G模型为优化损失函数后建立的模型；YOLOv3_G_KM模型为优化损失函数，并利用K-Means算法对数据集中的边界框进行聚类获取最佳Anchor后建立的模型；YOLOv3_G_KM_D32模型为优化损失函数和主干网络，并结合最佳Anchor所建立的模型；
为了验证优化后的YOLOv3算法的有效性，制作了考试异常行为数据集，采用C2C型号的萤石摄像头同时从左、中、右三个角度录制视频，得到考试行为图像，如图8所示，多次在不同时间、不同地点、安排不同的人员按照一定时间间隔演示考试异常行为；排除携带违规物品、大声喧哗等明显考试违纪行为，将考试异常行为归纳为四类：“bend over thedesk”(趴在桌上)、“hand under the table”(手放桌下)、“look around”(东张西望)、“deliver things”(传递物品)；
对监控视频进行截图、筛选后，用LabelImg软件进行图像标注，并生成XML文件，共获得4120张有效图片，包含8973个异常行为标注框，其中训练集包含图片3740张，标注框8105个，测试集包含图片380张，标注框868个；使用python代码获取图片的信息生成txt文件，按照PASCAL VOC数据集的格式整理考试异常行为数据集；
本发明实施例从检测精度和视频检测速度两个方面进行算法性能评价，检测精度以AP(Average Precision)和mAP(mean Average Precision)作为评价指标，视频检测速度以FPS(Frames Per Second)进行评价；因为FPS值受实验机器性能影响较大，为保证实验结果具有参考意义，本实施例中所有实验均在同一机器上进行；
P-R曲线以查全率和查准率作为横、纵坐标，AP是P-R曲线与坐标轴围成的面积，采用积分的方式来计算，P(R)是将P-R曲线进行平滑处理后得到曲线函数，R是查全率，AP的计算公式如下，
mAP表示N个类别的平均AP，计算公式如下，
FPS表示每秒检测的帧数，计算公式如下，
现建立3个模型，即YOLOv3_G、YOLOv3_G_KM及YOLOv3_G_KM_D32模型，这3个模型在考试异常行为测试集上的AP和mAP的结果示意图，如图9所示；
从图9中的结果可以看出，YOLOv3_G_KM_D32在测试集上的mAP最高，达到了88.53％，相比于YOLOv3_G提升了2.02％；YOLOv3_G_KM相较于YOLOv3_G，其mAP提升了1.65％；从单个动作的检测情况来看，YOLOv3_G_KM_D32和YOLOv3_G_KM的各项AP均高于YOLOv3_G算法，特别是对于动作“look around”，其AP值的提升最为明显；由此可见，对数据集中的标注框进行K-Means操作获取最佳Anchor和改进的主干网络均能在不同程度上提升算法检测准确性；
一个具体实施例中，分别采用逐帧单线程、帧交替单线程、逐帧双线程、帧交替双线程四种方式对三种模型进行视频检测，视频检测速度比对图，如图10所示；从图10中可以看出，本实施例所提出的YOLOv3_G_KM_D32算法模型，在帧交替双线程视频检测方式下的FPS达到了39，在逐帧单线程视频检测方式下的FPS达到了20；在任何一种检测方式下，YOLOv3_G_KM_D32的检测速度都明显高于其他两种模型；在任何一个模型下，帧交替双线程视频检测方式的检测速度都领先于其他检测方式，相较于逐帧单线程方式，速度提升将近一倍，更有利于实时监测；
随着线程的增加，内存的耗用也会增加，使用上述四种检测方式对三种模型进行视频检测的内存耗用情况，视频检测内存耗用对比图，如图11所示，从图11中可知，在任何一种检测方式下，YOLOv3_G_KM_D32的内存耗用都明显小于其他两种模型；
不同算法性能对比表，如表2所示，
表2
| 模型 | 主干网络 | mAP | FPS |
| SSD300 | VGG16 | 62.44％ | 44 |
| SSD512 | VGG16 | 79.66％ | 25 |
| SSD-MobileNet | MobileNet | 78.95％ | 29 |
| YOLOv3 | DarkNet53 | 83.31％ | 16 |
| YOLOV3_G | DarkNet53 | 86.51％ | 16 |
| YOLOv3_G_KM | DarkNet53 | 88.16％ | 17 |
| YOLOv3_G_KM_D32 | DarkNet32 | 88.53％ | 20 |
表2展示了不同算法在考试异常行为数据集上的测试结果，可以看出，本发明实施例提出的每一项改进均能在不同程度上提高YOLOv3算法的检测精度，YOLOv3_G_KM_D32算法在几种One-Stage算法中的mAP最高，相较于YOLOv3算法提升了5.22％，其检测速度也提高了4FPS；本发明实施例提出的算法相较于其他算法，综合考虑了检测精度和检测速度的平衡，对考试异常行为检测更为有效；
YOLOv3算法和YOLOv3_G_KM_D32算法对同一张图片进行测试的结果，分别如图12、13所示，从图12、13中可以看出，YOLOv3_G_KM_D32算法对考试异常行为的检测更全。
实施例2
本发明实施例还提供了一种考试异常行为检测方法装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如实施例1所述的考试异常行为检测方法。
实施例3
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如实施例1所述的考试异常行为检测方法。
本发明公开了一种考试异常行为检测方法、装置及计算机可读存储介质，通过获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果；提高了异常考试行为检测的精度；
本发明技术方案利用YOLOv3算法建立模型，通过优化损失函数，使用K-Means算法对数据集的边界框进行聚类获取最佳Anchor，提高了算法的检测精度；为了降低参数量和运算量，提高检测速度，降低内存消耗，将YOLOv3的主干网络进行了改进；最后，使用帧交替双线程方法进行检测进一步提高检测速度，以达到实时检测的需求；
本发明技术方案中优化损失函数后的YOLOv3_G算法，以及利用K-Means算法获取最佳Anchor的YOLOv3_G_KM算法，均能提高考试异常行为检测精度；利用具体Darknet32网络的YOLOv3_G_KM_D32算法，能够在保证模型检测精度的前提下，提高视频检测的速度，减少计算机内存耗用；帧交替双线程检测能够在不大量消耗内存的情况下，大幅提高考试异常行为检测速度，达到实时检测需求；
本发明技术方案利用改进的YOLOv3算法进行考试异常行为检测，通过对YOLOv3算法的改进提高了检测的准确率和视频检测速度，对自动化监考的后续发展具有的参考价值。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种考试异常行为检测方法，其特征在于，包括以下步骤：
获取考试行为图像，对所述考试行为图像进行标注，生成考试异常行为数据集；
优化YOLOv3算法的损失函数，对数据集的边界框聚类，获取最佳Anchor尺寸，得到优化后的YOLOv3算法，利用数据集对YOLOv3算法进行训练及测试，得到最终的YOLOv3模型；
获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果；
所述优化YOLOv3算法的损失函数，具体包括，采用GIoU作为衡量指标来计算位置损失，采用facal loss对置信度损失进行优化，采用二值交叉熵计算分类损失；
所述位置损失的计算公式为，所述置信度损失的计算公式为
其中，和/>为网格数量以及每个网格中检测框数量，/>∈{0,1}表示网格/>的第/>个检测框是否负责预测目标对象，若是则取1，否则取0，/>、/>为标注框的宽度和高度，/>为facal loss函数中的权重系数，/>为facal loss函数中加入的超参数，/>和/>为置信度的真实值和预测值，/>为权重系数。
2.根据权利要求1所述的考试异常行为检测方法，其特征在于，所述对数据集的边界框聚类，具体包括，通过k-means方法并以交并比作为距离度量，对数据集的边界框聚类。
3.根据权利要求1所述的考试异常行为检测方法，其特征在于，还包括使用Darknet32网络代替YOLOv3的主干网络Darknet53网络。
4.根据权利要求3所述的考试异常行为检测方法，其特征在于，所述Darknet32网络包括6组带残差块的网络；所述Darknet32网络采用多尺度训练方式，在训练过程中不断调整输入图像的尺寸；所述Darknet32网络不设置池化层，通过卷积来实现下采样。
5.根据权利要求1所述的考试异常行为检测方法，其特征在于，获取考试行为视频，按帧读取所述视频，形成帧图片，利用所述最终的YOLOv3模型对所述帧图片进行检测，得到考试异常行为检测结果，具体包括，获取考试行为视频，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片输出，得到考试异常行为检测结果。
6.根据权利要求1所述的考试异常行为检测方法，其特征在于，按帧读取所述视频，形成帧图片，利用最终的YOLOv3模型进行帧图片交替检测及标注，对标注后帧图片进行输出，得到考试异常行为检测结果，具体包括，
步骤S11、按帧读取所述视频，形成帧图片，将帧图片放入输入队列；
步骤S12、读取第一张帧图片，并将该帧图片的检测标志设定为true；
步骤S13、利用最终的YOLOv3模型进行检测；
步骤S14、标注帧图片，将标注过的帧图片放入输出队列，将该帧图片的检测标志取反；
步骤S15、读取下一张帧图片，并使下一张帧图片引用上一张帧图片的检测标志，判断该帧图片的检测标志是否为true，若否，则继续使用上一张图片的检测框，重新执行步骤S14、若是，则重新执行步骤S13，直至所有帧图片读取完毕；
步骤S16、对标注后帧图片进行输出，得到考试异常行为检测结果。
7.一种考试异常行为检测方法装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-6任一所述的考试异常行为检测方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时，实现如权利要求1-6任一所述的考试异常行为检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011303698.6A CN112287884B (zh) | 2020-11-19 | 2020-11-19 | 一种考试异常行为检测方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011303698.6A CN112287884B (zh) | 2020-11-19 | 2020-11-19 | 一种考试异常行为检测方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112287884A CN112287884A (zh) | 2021-01-29 |
| CN112287884B true CN112287884B (zh) | 2024-02-20 |
Family
ID=74399441
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011303698.6A Active CN112287884B (zh) | 2020-11-19 | 2020-11-19 | 一种考试异常行为检测方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112287884B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139437B (zh) * | 2021-03-31 | 2022-09-20 | 成都飞机工业（集团）有限责任公司 | 一种基于YOLOv3算法的安全帽佩戴检查方法 |
| CN114333070A (zh) * | 2022-03-10 | 2022-04-12 | 山东山大鸥玛软件股份有限公司 | 一种基于深度学习的考生异常行为检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444809A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于改进YOLOv3的输电线路异常目标检测方法 |
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
-
2020
- 2020-11-19 CN CN202011303698.6A patent/CN112287884B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020164282A1 (zh) * | 2019-02-14 | 2020-08-20 | 平安科技（深圳）有限公司 | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 |
| WO2020206861A1 (zh) * | 2019-04-08 | 2020-10-15 | 江西理工大学 | 基于YOLO v3的针对交通枢纽关键物体的检测方法 |
| CN111444809A (zh) * | 2020-03-23 | 2020-07-24 | 华南理工大学 | 一种基于改进YOLOv3的输电线路异常目标检测方法 |
| CN111754498A (zh) * | 2020-06-29 | 2020-10-09 | 河南科技大学 | 一种基于YOLOv3的传送带托辊检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的图像识别研究;房梦婷 等;《电脑知识与技术》;第16卷(第10期);第190-191页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112287884A (zh) | 2021-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108711148B (zh) | 一种基于深度学习的轮胎缺陷智能检测方法 | |
| CN108564085B (zh) | 一种自动读取指针式仪表读数的方法 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN112287884B (zh) | 一种考试异常行为检测方法、装置及计算机可读存储介质 | |
| CN112070135A (zh) | 电力设备图像检测方法、装置、电力设备及存储介质 | |
| TW202040511A (zh) | 資料處理方法、瑕疵的檢測方法、計算設備及儲存媒體 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| CN115861738A (zh) | 一种类别语义信息引导的遥感目标检测主动采样方法 | |
| CN111179278B (zh) | 一种图像检测的方法、装置、设备和存储介质 | |
| CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及系统 | |
| Lee | A Study on Fruit Quality Identification Using YOLO V2 Algorithm | |
| Chen et al. | Real-time defect detection of TFT-LCD displays using a lightweight network architecture | |
| CN115082444B (zh) | 一种基于图像处理的铜管焊缝缺陷检测方法及系统 | |
| Nugroho et al. | Comparison of deep learning-based object classification methods for detecting tomato ripeness | |
| CN115953371A (zh) | 一种绝缘子缺陷检测方法、装置、设备和存储介质 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| CN110163081A (zh) | 基于ssd的实时区域入侵检测方法、系统及存储介质 | |
| CN115457415A (zh) | 基于yolo-x模型的目标检测方法、装置、电子设备和存储介质 | |
| CN114782983A (zh) | 基于改进特征金字塔和边界损失的道路场景行人检测方法 | |
| CN112380970B (zh) | 基于局部区域搜索的视频目标检测方法 | |
| CN114663760A (zh) | 模型训练的方法、目标检测方法、存储介质及计算设备 | |
| CN111553408A (zh) | 视频识别软件自动测试的方法 | |
| CN111369508A (zh) | 一种金属三维点阵结构的缺陷检测方法及系统 | |
| CN113660484B (zh) | 基于音视频内容的音视频属性比对方法、系统、终端及介质 | |
| CN115115825B (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |