CN114494958A - 一种基于视频理解模型的考生回头异常行为检测方法 - Google Patents
一种基于视频理解模型的考生回头异常行为检测方法 Download PDFInfo
- Publication number
- CN114494958A CN114494958A CN202210078824.5A CN202210078824A CN114494958A CN 114494958 A CN114494958 A CN 114494958A CN 202210078824 A CN202210078824 A CN 202210078824A CN 114494958 A CN114494958 A CN 114494958A
- Authority
- CN
- China
- Prior art keywords
- model
- video
- bounding box
- examinee
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明公开了一种基于视频理解模型的考生回头异常行为检测方法，包括：训练出检测考生的目标检测模型，检测出考场录像中的考生包围盒；获取包围盒时序上连续k个采样帧并预处理；计算出连续采样帧之间的k‑1帧光流；将光流进行预处理；基于数据集训练出视频理解分类模型，将光流输入到该视频理解模型中；经过模型分类得到可能的回头作弊考生；通过光流阈值过滤误检；通过基于IOU的算法过滤出对监考老师的误检，得到最终结果。本发明利用机器学习，深度学习计算机视觉算法实现计算机自动检测考场中出现回头行为异常的考生，实现自动化、高效化的高考考场录像审核，且可以在一台主机上同时运行多路程序。
Description
技术领域
本发明属于人工智能领域，特别涉及一种基于视频理解模型的考生回头异常行为检测方法。
背景技术
目前高考的监考监控录像需要进行人力审阅，查找潜在的考生回头作弊行为，耗时耗力。如果能实现自动化，智能化分析高考监控录像，检测可能的考生异常作弊行为，将是非常有益的。
随着机器学习的发展，尤其是深度学习的发展，一些传统计算机视觉解决不了的问题得到的解决，一些传统视觉效果不够的方面也得到了很大提高。
发明内容
本发明利用机器学习、深度学习等计算机视觉方法，提出一种基于视频理解模型的考生回头异常行为检测方法，实现一定程度的自动化，智能化审核高考监控录像。
一种基于视频理解模型的考生回头异常行为检测方法，包括以下步骤：
步骤1：训练出检测考生的目标检测模型，检测出考场录像中的考生包围盒；
步骤2：获取包围盒时序上连续k个采样帧并预处理；
步骤3：计算出连续采样帧之间的k-1帧光流；
步骤4：将光流进行预处理；
步骤5：基于数据集训练出视频理解分类模型，将光流输入到该视频理解模型中；
步骤6：经过模型分类得到可能的回头作弊考生；
步骤7：通过光流阈值过滤误检；
步骤8：通过基于IOU的算法过滤出对监考老师的误检，得到最终结果。
可选地，步骤1包括如下步骤：
步骤1-1：利用图像标注技术，从考场监控视频中获取考生包围盒样本；
步骤1-2：利用步骤1-1得到的考生包围盒样本，使用labelImg工具标注考生目标的模型学习训练集；
步骤1-3：构造yolov5目标检测网络，yolov5的主干网络采用CSPDarknet53，脖颈网络采用PAN，检测头部分采用yolov5的方法，主干用于通过连续地卷积和下采样提取图像的基本特征，脖颈部分针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合低层的较强细节，定位信息和高层的强语义信息，更有利于多种尺寸目标的检测，检测头是网络生成所有包围盒部分，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；
步骤1-4：利用基于Imagenet数据集预训练权重初始化yolov5的主干网络，其他网络按需初始化；
步骤1-5：利用步骤1-2的数据集，对步骤1-4的目标检测模型进行训练，得到可以检测考生目标的泛化模型；
步骤1-6：利用步骤1-5中的模型检测出监控视频中的考生，得到包围盒。
可选地，步骤2包括以下步骤：
步骤2-1：获取视频中考生包围盒的前k帧切片；
步骤2-2：将切片转化为灰度图，并进行灰度均衡化预处理。
可选地，步骤3包括以下步骤：
使用Lucas Kanade算法，对步骤2最后得到的灰度图连续帧切片计算得到k-1帧光流。
可选地，步骤4方法如下：
将步骤3得到的k-1帧光流进行拼接，缩放到统一大小并归一化。
可选地，步骤5方法如下：
步骤5-1：利用视频标注技术，从考场监控视频中获取足够多的回头和非回头考生包围盒连续帧样本；
步骤5-2：利用步骤5-1的图像构造视频理解分类模型的训练集和测试集；
步骤5-3：构造基于TSM的视频理解分类模型，模型的主干网络采用mobilenetv3，主干用于通过连续地卷积和下采样提取输入的k-1帧光流的基本特征和时序上的语义信息，并采用了TSM模块对输入的部分特征信号进行时序维度上的错位，更有利于提取时序上下文的语义；最后对得到的高维特征采用基于全连接层的分类头对输入光流进行分类，判断考生动作属于回头或非回头。
步骤5-4：利用步骤5-2的数据集，对步骤5-3的视频分类模型进行训练，得到可以分类考生是否回头的泛化模型；
步骤5-5：将步骤4得到的光流输入到步骤5-4得到的视频理解分类模型。
可选地，步骤6方法包括：
对步骤5-4得到的视频理解分类模型使用分类头对输入进行是否回头的分类。
可选地，步骤7方法包括以下步骤：
步骤7-1：得到步骤6分类为回头的考生包围盒；
步骤7-2：计算回头的包围盒的步骤4得到的光流的平均光流强度；
步骤7-3：如果平均光流强度没有超过阈值，则视为误检，该考生没有回头。
可选地，步骤8方法包括：
对步骤1得到的所有考生包围盒，检查它与自身前一个采样帧的包围盒的IOU是否高于设定的阈值，如果不是则判定为该包围盒是误检的监考老师包围盒，舍去该包围盒结果，并得到最终结果。
有益效果：
本发明提供的一种基于视频理解模型的考生回头异常行为检测方法，利用机器学习，深度学习计算机视觉算法实现计算机自动检测考场中出现回头行为异常的考生，有利于实现自动化、高效化的高考考场录像审核，且可以在一台主机上同时运行多路程序。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明提出的基于视频理解模型的考生回头异常行为检测方法的步骤流程图；
图2为深度学习的目标检测yolov5的网络整体结构；
图3为深度学习的高效分类网络mobilenetv3主干网的一个模块结构图；
图4为深度学习的视频分类模块TSM；
图5最终的检测异常考生结果图。
具体实施方式
下面将结合附图和实施例对本发明作详细说明。
如图1所示，本发明提出的基于视频理解模型的考生回头异常行为检测方法，总体包括以下步骤：
步骤1：训练出检测考生的目标检测模型，检测出考场录像中的考生包围盒；
步骤2：获取包围盒时序上连续k个采样帧并预处理；
步骤3：计算出连续帧之间的k-1帧光流；
步骤4：将光流进行预处理；
步骤5：基于数据集训练出视频理解分类模型，将光流输入到该视频理解模型中；
步骤6：经过模型分类得到可能的回头作弊考生；
步骤7：通过光流阈值等方法过滤误检；
步骤8：通过基于IOU的算法过滤去对监考老师的误检，得到最终结果。
可选地，步骤1包括如下步骤：
步骤1-1：利用图像标注技术，从考场监控视频中获取足够多的考生包围盒样本；
步骤1-2：利用步骤1-1得到的图像标注考生目标的模型学习训练集，使用labelImg工具进行标注；
步骤1-3：构造yolov5目标检测网络，yolov5的主干网络采用CSPDarknet53，其结构如图2所示，脖颈网络采用PAN，检测头部分采用yolov5的方法，主干用于通过连续地卷积和下采样提取图像的基本特征，脖颈部分针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合了低层的较强细节，定位信息和高层的强语义信息，更有利于多种尺寸目标的检测，检测头是网络生成所有包围盒部分，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；
步骤1-4：利用基于Imagenet数据集预训练权重初始化yolov5的主干网络，其他部分按需初始化；
步骤1-5：利用步骤1-2的数据集，对步骤1-4的目标检测模型进行训练，得到可以检测考生目标的泛化模型；
步骤1-6：利用步骤1-5中的模型检测出监控视频中的考生，得到包围盒。
可选地，步骤2包括以下步骤：
步骤2-1：获取视频中考生包围盒的前k帧切片；
步骤2-2：将切片转化为灰度图，并进行灰度均衡化预处理。
可选地，步骤3包括以下步骤：
使用Lucas Kanade算法，对步骤2最后得到的灰度图连续帧切片（例如第1帧和第2帧、第2帧和第3帧，……，第k-1帧和第k帧）计算得到k-1帧光流。
可选地，步骤4方法如下：
将步骤3得到的k-1帧光流进行拼接，缩放到统一大小并归一化。
可选地，步骤5方法如下：
步骤5-1：利用视频标注技术（如CVAT），从考场监控视频中获取足够多的回头和非回头考生包围盒连续帧样本；
步骤5-2：利用步骤5-1的图像构造视频理解分类模型的训练集和测试集；
步骤5-3：构造基于TSM的视频理解分类模型，模型的主干网络采用mobilenetv3，其基本组成模块如图3所示，主干用于通过连续地卷积和下采样提取输入的k-1帧光流的基本特征和时序上的语义信息，并采用了TSM模块对输入的部分特征信号进行时序维度上的错位，其结构如图4所示，更有利于提取时序上下文的语义。最后对得到的高维特征采用基于全连接层的分类头对输入光流进行分类：回头或非回头。
步骤5-4：利用步骤5-2的数据集，对步骤5-3的视频分类模型进行训练，得到可以分类考生是否回头的泛化模型；
步骤5-5：将步骤4得到的光流输入到步骤5-4得到的视频理解分类模型。
可选地，步骤6方法包括：
对步骤5-4得到的视频理解分类模型使用分类头对输入进行是否回头的分类。
可选地，步骤7方法包括以下步骤：
步骤7-1：得到步骤6分类为回头的考生包围盒；
步骤7-2：计算该包围盒的步骤4得到的光流的平均光流强度；
步骤7-3：如果平均光流强度没有超过阈值，则视为误检，该考生没有回头。
可选地，步骤8方法包括：
对步骤1得到的所有考生包围盒，检查它与自身前一个采样帧的包围盒的IOU是否高于设定的阈值，如果不是则判定为该包围盒是误检的监考老师包围盒，舍去该包围盒结果，并得到最终结果。附图5是我们最终的效果图，紫色包围盒是算法检测到的考生异常回头结果。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种基于视频理解模型的考生回头异常行为检测方法，其特征在于，包括以下步骤：
步骤1：训练出检测考生的目标检测模型，检测出考场录像中的考生包围盒；
步骤2：获取包围盒时序上连续k个采样帧并预处理；
步骤3：计算出连续采样帧之间的k-1帧光流；
步骤4：将光流进行预处理；
步骤5：基于数据集训练出视频理解分类模型，将光流输入到该视频理解模型中；
步骤6：经过模型分类得到可能的回头作弊考生；
步骤7：通过光流阈值过滤误检；
步骤8：通过基于IOU的算法过滤出对监考老师的误检，得到最终结果。
2.根据权利要求1所述的检测方法，其特征在于，步骤1包括如下步骤：
步骤1-1：利用图像标注技术，从考场监控视频中获取考生包围盒样本；
步骤1-2：利用步骤1-1得到的考生包围盒样本，使用labelImg工具标注考生目标的模型学习训练集；
步骤1-3：构造yolov5目标检测网络，yolov5的主干网络采用CSPDarknet53，脖颈网络采用PAN，检测头部分采用yolov5的方法，主干用于通过连续地卷积和下采样提取图像的基本特征，脖颈部分针对图像中目标大小不一的问题，构造出多个尺度特征映射用于检测，同时融合低层的较强细节，定位信息和高层的强语义信息，更有利于多种尺寸目标的检测，检测头是网络生成所有包围盒部分，并执行非极大值抑制算法，去除单个目标的冗余包围盒，得到最终的检测结果；
步骤1-4：利用基于Imagenet数据集预训练权重初始化yolov5的主干网络，其他网络按需初始化；
步骤1-5：利用步骤1-2的数据集，对步骤1-4的目标检测模型进行训练，得到可以检测考生目标的泛化模型；
步骤1-6：利用步骤1-5中的模型检测出监控视频中的考生，得到包围盒。
3.根据权利要求2所述的检测方法，其特征在于，步骤2包括以下步骤：
步骤2-1：获取视频中考生包围盒的前k帧切片；
步骤2-2：将切片转化为灰度图，并进行灰度均衡化预处理。
4.根据权利要求3所述的检测方法，其特征在于，步骤3包括以下步骤：
使用Lucas Kanade算法，对步骤2最后得到的灰度图连续帧切片计算得到k-1帧光流。
5.根据权利要求4所述的检测方法，其特征在于，步骤4方法如下：
将步骤3得到的k-1帧光流进行拼接，缩放到统一大小并归一化。
6.根据权利要求5所述的检测方法，其特征在于，步骤5方法如下：
步骤5-1：利用视频标注技术，从考场监控视频中获取足够多的回头和非回头考生包围盒连续帧样本；
步骤5-2：利用步骤5-1的图像构造视频理解分类模型的训练集和测试集；
步骤5-3：构造基于TSM的视频理解分类模型，模型的主干网络采用mobilenetv3，主干用于通过连续地卷积和下采样提取输入的k-1帧光流的基本特征和时序上的语义信息，并采用了TSM模块对输入的部分特征信号进行时序维度上的错位，更有利于提取时序上下文的语义；最后对得到的高维特征采用基于全连接层的分类头对输入光流进行分类，判断考生动作属于回头或非回头；
步骤5-4：利用步骤5-2的数据集，对步骤5-3的视频分类模型进行训练，得到可以分类考生是否回头的泛化模型；
步骤5-5：将步骤4得到的光流输入到步骤5-4得到的视频理解分类模型。
7.根据权利要求6所述的检测方法，其特征在于，步骤6方法包括：
对步骤5-4得到的视频理解分类模型使用分类头对输入进行是否回头的分类。
8.根据权利要求7所述的检测方法，其特征在于，步骤7方法包括以下步骤：
步骤7-1：得到步骤6分类为回头的考生包围盒；
步骤7-2：计算回头的包围盒的步骤4得到的光流的平均光流强度；
步骤7-3：如果平均光流强度没有超过阈值，则视为误检，该考生没有回头。
9.根据权利要求8所述的检测方法，其特征在于，步骤8方法包括：
对步骤1得到的所有考生包围盒，检查它与自身前一个采样帧的包围盒的IOU是否高于设定的阈值，如果不是则判定为该包围盒是误检的监考老师包围盒，舍去该包围盒结果，并得到最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210078824.5A CN114494958A (zh) | 2022-01-24 | 2022-01-24 | 一种基于视频理解模型的考生回头异常行为检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210078824.5A CN114494958A (zh) | 2022-01-24 | 2022-01-24 | 一种基于视频理解模型的考生回头异常行为检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114494958A true CN114494958A (zh) | 2022-05-13 |
Family
ID=81475442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210078824.5A Pending CN114494958A (zh) | 2022-01-24 | 2022-01-24 | 一种基于视频理解模型的考生回头异常行为检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114494958A (zh) |
-
2022
- 2022-01-24 CN CN202210078824.5A patent/CN114494958A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105653444B (zh) | 基于互联网日志数据的软件缺陷故障识别方法和系统 | |
| CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
| CN109086793B (zh) | 一种风力发电机的异常识别方法 | |
| CN112284736A (zh) | 一种基于多通道注意力模块的卷积神经网络故障诊断方法 | |
| CN111368690A (zh) | 基于深度学习的海浪影响下视频图像船只检测方法及系统 | |
| CN112434178B (zh) | 图像分类方法、装置、电子设备和存储介质 | |
| CN111862065B (zh) | 基于多任务深度卷积神经网络的输电线路诊断方法和系统 | |
| CN114049581B (zh) | 一种基于动作片段排序的弱监督行为定位方法和装置 | |
| CN116756688A (zh) | 一种基于多模态融合算法的舆情风险发现方法 | |
| CN109829887B (zh) | 一种基于深度神经网络的图像质量评估方法 | |
| CN114494958A (zh) | 一种基于视频理解模型的考生回头异常行为检测方法 | |
| CN116228682A (zh) | 一种基于多支路卷积神经网络的射线图像焊缝缺陷识别方法 | |
| CN115909493A (zh) | 一种面向课堂实录视频的教师不当手势检测方法及系统 | |
| CN116129182A (zh) | 一种基于知识蒸馏和近邻分类的多维度医疗图像分类方法 | |
| CN114022698A (zh) | 一种基于二叉树结构的多标签行为识别方法及装置 | |
| CN113988064A (zh) | 一种半自动实体标注监督方法 | |
| CN113592850A (zh) | 一种基于元学习的缺陷检测方法及装置 | |
| CN114005054A (zh) | 一种ai智能评分系统 | |
| CN113688789A (zh) | 一种基于深度学习的在线学习投入度识别方法及系统 | |
| CN113657310A (zh) | 基于多层卷积神经网络的光伏组件红外热斑故障识别方法 | |
| CN113569835A (zh) | 一种基于目标检测和分割识别的水表数值读取方法 | |
| CN110728310A (zh) | 一种基于超参数优化的目标检测模型融合方法及融合系统 | |
| CN117076613B (zh) | 一种基于互联网大数据的电数字数据处理系统 | |
| CN118493416B (zh) | 分布式光伏清扫机器人及其控制方法 | |
| Liu et al. | Focus on Key Features: A Computer-Aided System for Airborne Allergenic Pollen Recognition Based on Localization-before-Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |