CN112417989A - 一种监考人员违规行为识别方法及系统 - Google Patents

一种监考人员违规行为识别方法及系统 Download PDF

Info

Publication number
CN112417989A
CN112417989A CN202011196561.5A CN202011196561A CN112417989A CN 112417989 A CN112417989 A CN 112417989A CN 202011196561 A CN202011196561 A CN 202011196561A CN 112417989 A CN112417989 A CN 112417989A
Authority
CN
China
Prior art keywords
module
optical flow
video
key area
invigilator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011196561.5A
Other languages
English (en)
Inventor
谢强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tianyi Network Service Co ltd
Original Assignee
Sichuan Tianyi Network Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tianyi Network Service Co ltd filed Critical Sichuan Tianyi Network Service Co ltd
Priority to CN202011196561.5A priority Critical patent/CN112417989A/zh
Publication of CN112417989A publication Critical patent/CN112417989A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种监考人员违规行为识别方法及系统，所述监考人员违规行为识别系统包括：数据采集模块、视频预处理模块、特征提取模块、分类模型模块和识别结果输出模块；数据采集模块将视频文件发送给视频预处理模块，视频预处理模块从视频文件中提取出目标轮廓和关键区域，并对其进行稠密光流计算，特征提取模块对接收的数据进行特征提取，将提取后的信息发送给分类模型模块，分类模型模块对接收信息进行分类识别，并将最终识别结果发送给识别结果输出模块，识别结果输出模块接收并展示分类模型模块输出的识别结果信息；本申请利用深度学习算法自动的检测考试监控视频中有疑似违规行为的监考老师，节约了人力成本和时间。

Description

一种监考人员违规行为识别方法及系统
技术领域
本发明涉及行为识别领域，尤其涉及一种监考人员违规行为识别方法及系统。
背景技术
行为识别在计算机领域一直是一个广受海内外研究者和各大公司关注的领域，属于高级视觉研究范畴，随着近年来人工智能的不断发展，行为识别技术应用也越来越广，包括银行、教育、交通、法庭、公共场所、医院以及各大商场等场所均可发现此技术的应用。
目前，对监考人员违规行为的监测主要还是靠后台工作人员通过视频资料对监考人员的违规行为进行人工监测识别，或是靠监考人员互相监督；通过视频资料对监考人员的违规行为进行人工监测识别的方式需要耗费工作人员大量的时间精力，且由于人的精力有限，常常出现错看漏看的情况，而靠监考人员互相监督的方式容易受太多外界因素的影响。
发明内容
基于此，本发明的目的是为了解决传统监考模式中人力资源浪费严重，工作人员工作量过大，出错率较高的问题。
为实现上述目的，本发明提出一种监考人员违规行为识别方法及系统，所述监考人员违规行为识别方法包括以下步骤：
S1：输入视频文件并采集数据；
S2：处理输入的视频文件，提取出目标轮廓和关键区域，并对关键区域进行稠密光流计算得到光流序列图；
S3: 结合CNN和LSTM网络对数据进行特征提取；
S4: 通过双流融合的方式对特征信息进行识别，获取识别后的行为信息；
S5：统计整理行为识别结果信息并展示。
所述S2还包括以下子步骤：
S21：通过对输入图像进行高斯混合模型计算和帧间差分计算，提取目标轮廓和关键区域；
S22：通过对关键区域进行Farneback稠密光流计算得到光流序列图。
所述S3还包括以下子步骤：
S31:通过输入的运动关键区域的原始帧图像提取特征；
S32:通过输入的堆叠光流图提取特征。
所述S4采用一种固定权值的双流融合方式，通过对时间流和空间流分配不同权重并融合二者分类结果以获得最终行为识别结果。
所述固定权值通过实验选取。
所述监考人员违规行为识别系统包括：
数据采集模块：用于采集并向视频预处理模块输入视频文件；
视频预处理模块：包括运动前景处理子模块和稠密光流计算子模块，处理数据采集模块输入的视频文件，提取出目标轮廓和关键区域，并对关键区域进行稠密光流计算得到光流序列图，将光流图和原始帧图像发送至特征提取模块；
特征提取模块：包括基于空间流网络的特征提取和基于时间流网络的特征提取，通过结合CNN和LSTM网络对视频预处理模块传递的数据进行特征提取，并将提取后的特征信息发送给分类模型模块；
分类模型模块：通过双流融合的方式对特征信息进行识别，并将识别后的行为信息发送给识别结果输出模块；
识别结果输出模块：连接用户终端，用于接收并展示分类模型模块输出的行为识别结果信息。
所述特征提取模块的网络的全连接层采用Dropout机制。
本申请的有益效果：利用深度学习算法自动、快速的检测考试监控视频中有疑似违规行为的监考老师，实现对考试违规行为的智能化检测，节约了人力成本，降低了出错率，同时解决了人工监测考场违规行为受环境影响太大的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图的结构获得其他的附图。
图1为算法检测流程图；
图2为关键区域提取显示图；
图3为光流叠加方式展示图；
图4为系统网络结构图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
如图1所示，在本实施例中，一种监考人员违规行为识别方法及系统，所述监考人员违规行为识别系统包括：数据采集模块、视频预处理模块、特征提取模块、分类模型模块和识别结果输出模块；
所述数据采集模块用于采集并向视频预处理模块输入视频文件；
所述视频预处理模块处理数据采集模块输入的视频文件，提取出目标轮廓和关键区域，并对关键区域进行稠密光流计算得到光流序列图，将光流图和原始帧图像发送至特征提取模块；
所述特征提取模块通过结合CNN和LSTM网络对视频预处理模块传递的数据进行特征提取，并将提取后的特征信息发送给模型分类模块；
所述分类模型模块通过双流融合的方式对特征信息进行识别，并将识别后的行为信息发送给识别结果输出模块；
所述识别结果输出模块连接用户终端，用于接收并展示分类模型模块输出的行为识别结果信息。
如图2所示，在本实施例中，所述视频预处理模块还包括运动前景处理子模块和稠密光流计算子模块：
所述运动前景处理子模块对输入图像进行高斯混合模型计算和帧间差分计算，提取目标轮廓和关键区域，并将提取出的目标轮廓和关键区域下发给稠密光流计算子模块；
所述稠密光流计算子模块通过对运动前景处理子模块下发的关键区域进行Farneback稠密光流计算得到光流序列图；
需要理解的是，在双流网络模型的输入中，为避免输入图像过大导致网络模型复杂度增加，训练时间过长，可通过只输入关键区域及其光流图的方式，减少计算时间和冗余背景的干扰；将其检测结果和帧间差分法检测结果取布尔或运算以提取出清晰的目标轮廓，并进一步提取出关键区域；最后采用Farneback光流算法直接对提取出的关键区域而不是整张视频帧图像进行稠密光流计算，得到光流序列图；
需要说明的是，通常意义上，光流被认为表征着视频的运动或时序信息。在行为识别的数据集中，尽管有很多动作仅仅只需要凭借单帧图像就可以判别，但还是有一些动作是依赖于时序信息的，特别是在一些数据集上，使用光流的网络甚至能够获得比使用视频原帧图像更好的效果，为了使双流卷积神经网络能够学习到更多有效的运动特征，应对关键区域的光流信息进行提取，并将其作为后续时间流网络的输入信息；时间ConvNet主要用来提取光流携带的运动信息，光流一般代表着视频的运动或时序信息，由于光流对图像外观的不变性，因而能在行为识别中取得很好的效果，所以，与空间流网络不同，时间流网络通过在几个连续帧之间堆叠光流位移场来形成输入信息。
如图3所示，在本实施例中，所述特征提取模块包括基于空间流网络的特征提取和基于时间流网络的特征提取:
所述空间流网络通过输入的运动关键区域的原始帧图像提取特征，同时将空间流特征下发给分类模型模块；
所述时间流网络通过输入的堆叠光流图提取特征，同时将时间流特征下发给分类模型模块；
需要说明的是，在异常行为的时空特征提取中，针对 CNN 只能提取视频中的静态特征和局部运动特征，但却无法将空间特征和时序特征有效关联起来的问题，通过结合 CNN 和LSTM 网络，利用 LSTM 的记忆功能，学习视频序列间的长期依赖关系，以提取全局运动特征。
在本实施例中，所述特征提取模块的网络的全连接层采用Dropout机制，通过随机选择部分神经元并将其输出限定为 0，迫使网络学习更鲁棒的特征，防止对某一局部特征的过拟合，从而提高模型的泛化性。
在本实施例中，所述分类模型模块采用一种固定权值的双流融合方式，通过对时间流和空间流分配不同权重并融合二者分类结果以提高模型对人体异常行为的识别率，获得最终行为识别结果。
在本实施例中，所述固定权值通过实验选取。
需要补充的是，如图4所示，改进的混合双流网络模型依然分为时间流和空间流两部分，包含 CNN 和 LSTM 网络，分别用来提取视频序列的空间特征和视频时间维度上的特征；空间网络部分是以人体关键区域的 RGB 图像作为输入，输入图像中包含视频中携带的目标和场景信息，主要用于静态图像信息的学习；时间流网络部分采用关键区域连续6帧的叠加光流图像作为输入，主要用于视频中的时序信息学习。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种监考人员违规行为识别方法，其特征在于，所述监考人员违规行为识别方法包括以下步骤：
S1：输入视频文件并采集数据；
S2：处理输入的视频文件，提取出目标轮廓和关键区域，并对关键区域进行稠密光流计算得到光流序列图；
S3: 结合CNN和LSTM网络对数据进行特征提取；
S4: 通过双流融合的方式对特征信息进行识别，获取识别后的行为信息；
S5：统计整理行为识别结果信息并展示。
2.如权利要求1所述的一种监考人员违规行为识别方法，其特征在于，所述S2还包括以下子步骤：
S21：通过对输入图像进行高斯混合模型计算和帧间差分计算，提取目标轮廓和关键区域；
S22：通过对关键区域进行Farneback稠密光流计算得到光流序列图。
3.如权利要求1所述的一种监考人员违规行为识别方法，其特征在于，所述S3还包括以下子步骤：
S31:通过输入的运动关键区域的原始帧图像提取特征；
S32:通过输入的堆叠光流图提取特征。
4.如权利要求1所述的一种监考人员违规行为识别方法，其特征在于，所述S4采用一种固定权值的双流融合方式，通过对时间流和空间流分配不同权重并融合二者分类结果以获得最终行为识别结果。
5.如权利要求4所述的一种监考人员违规行为识别方法，其特征在于，所述固定权值通过实验选取。
6.一种监考人员违规行为识别系统，其特征在于，所述监考人员违规行为识别系统包括：
数据采集模块：用于采集并向视频预处理模块输入视频文件；
视频预处理模块：包括运动前景处理子模块和稠密光流计算子模块，处理数据采集模块输入的视频文件，提取出目标轮廓和关键区域，并对关键区域进行稠密光流计算得到光流序列图，将光流图和原始帧图像发送至特征提取模块；
特征提取模块：包括基于空间流网络的特征提取和基于时间流网络的特征提取，通过结合CNN和LSTM网络对视频预处理模块传递的数据进行特征提取，并将提取后的特征信息发送给分类模型模块；
分类模型模块：通过双流融合的方式对特征信息进行识别，并将识别后的行为信息发送给识别结果输出模块；
识别结果输出模块：连接用户终端，用于接收并展示分类模型模块输出的行为识别结果信息。
7.如权利要求6所述的一种监考人员违规行为识别系统，其特征在于，所述特征提取模块的网络的全连接层采用Dropout机制。
CN202011196561.5A 2020-10-30 2020-10-30 一种监考人员违规行为识别方法及系统 Pending CN112417989A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011196561.5A CN112417989A (zh) 2020-10-30 2020-10-30 一种监考人员违规行为识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011196561.5A CN112417989A (zh) 2020-10-30 2020-10-30 一种监考人员违规行为识别方法及系统

Publications (1)

Publication Number Publication Date
CN112417989A true CN112417989A (zh) 2021-02-26

Family

ID=74828692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011196561.5A Pending CN112417989A (zh) 2020-10-30 2020-10-30 一种监考人员违规行为识别方法及系统

Country Status (1)

Country Link
CN (1) CN112417989A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140751A (zh) * 2021-12-13 2022-03-04 江苏商贸职业学院 一种考场监控方法及系统
AU2021218192B1 (en) * 2021-04-28 2022-10-27 Nantong University Video anomaly detection method and system based on generative assistant discriminative network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348101A (zh) * 2010-07-30 2012-02-08 深圳市先进智能技术研究所 一种考场智能监控系统和方法
CN108537195A (zh) * 2018-04-17 2018-09-14 深圳市唯特视科技有限公司 一种基于单帧表示模型的人类活动识别方法
CN110135386A (zh) * 2019-05-24 2019-08-16 长沙学院 一种基于深度学习的人体动作识别方法和系统
CN110689054A (zh) * 2019-09-10 2020-01-14 华中科技大学 一种工人违规行为监测方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN111460988A (zh) * 2020-03-31 2020-07-28 国网河北省电力有限公司沧州供电分公司 一种违规行为识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102348101A (zh) * 2010-07-30 2012-02-08 深圳市先进智能技术研究所 一种考场智能监控系统和方法
CN108537195A (zh) * 2018-04-17 2018-09-14 深圳市唯特视科技有限公司 一种基于单帧表示模型的人类活动识别方法
CN110135386A (zh) * 2019-05-24 2019-08-16 长沙学院 一种基于深度学习的人体动作识别方法和系统
CN110689054A (zh) * 2019-09-10 2020-01-14 华中科技大学 一种工人违规行为监测方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN111460988A (zh) * 2020-03-31 2020-07-28 国网河北省电力有限公司沧州供电分公司 一种违规行为识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2021218192B1 (en) * 2021-04-28 2022-10-27 Nantong University Video anomaly detection method and system based on generative assistant discriminative network
CN114140751A (zh) * 2021-12-13 2022-03-04 江苏商贸职业学院 一种考场监控方法及系统
CN114140751B (zh) * 2021-12-13 2024-02-09 江苏商贸职业学院 一种考场监控方法及系统

Similar Documents

Publication Publication Date Title
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
Wang et al. Generative neural networks for anomaly detection in crowded scenes
Wang et al. Robust unsupervised video anomaly detection by multipath frame prediction
Singh et al. Deep spatio-temporal representation for detection of road accidents using stacked autoencoder
Ijjina et al. Human action recognition in RGB-D videos using motion sequence information and deep learning
CN109583315B (zh) 一种面向智能视频监控的多通道快速人体姿态识别方法
CN111582095B (zh) 一种轻量级行人异常行为快速检测方法
CN107818307B (zh) 一种基于lstm网络的多标签视频事件检测方法
CN111582122B (zh) 一种监控视频多维度行人行为智能分析系统及方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN110827265B (zh) 基于深度学习的图片异常检测方法
Nawaratne et al. Incremental knowledge acquisition and self-learning for autonomous video surveillance
CN110008793A (zh) 人脸识别方法、装置及设备
Li et al. Cross-level parallel network for crowd counting
CN112417989A (zh) 一种监考人员违规行为识别方法及系统
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
Komagal et al. Real time background subtraction techniques for detection of moving objects in video surveillance system
Lin et al. Efficient spatial-temporal normalization of sae representation for event camera
Begampure et al. Intelligent video analytics for human action detection: a deep learning approach with transfer learning
CN109977891A (zh) 一种基于神经网络的目标检测与识别方法
Bojkovic et al. Face detection approach in neural network based method for video surveillance
Shuoyan et al. Abnormal behavior detection based on the motion-changed rules
Wang et al. Occluded person re-identification by multi-granularity generation adversarial network
Nguyen et al. Classification and temporal localization for human-human interactions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination