CN112883832A - 应试人员行为管理方法、装置、电子设备及存储介质 - Google Patents
应试人员行为管理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112883832A CN112883832A CN202110123330.XA CN202110123330A CN112883832A CN 112883832 A CN112883832 A CN 112883832A CN 202110123330 A CN202110123330 A CN 202110123330A CN 112883832 A CN112883832 A CN 112883832A
- Authority
- CN
- China
- Prior art keywords
- detection
- person
- video sequence
- target video
- tested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001514 detection method Methods 0.000 claims abstract description 514
- 230000006399 behavior Effects 0.000 claims description 258
- 230000036544 posture Effects 0.000 claims description 126
- 238000013528 artificial neural network Methods 0.000 claims description 31
- 230000003993 interaction Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 14
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 10
- 238000007726 management method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 208000013403 hyperactivity Diseases 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001788 irregular Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009916 joint effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Game Theory and Decision Science (AREA)
- Social Psychology (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种应试人员行为管理方法、装置、电子设备及存储介质,该方法包括:获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;基于所述检测结果以及影响因子,生成或不生成告警提示信息。
Description
技术领域
本公开涉及图像处理技术领域,具体而言,涉及一种应试人员行为管理方法、装置、电子设备及存储介质。
背景技术
考试是一种知识水平鉴定方法,比如,学校可以通过考试检测学生在一段时间内的学习成果;机构可以通过开始检测应试人员的专业能力,为满足要求的应试人员颁发证书。因此,考试已成为一种检测应试人员的专业能力、学习成果的重要手段。
为了保证考试结果的公平、公正,提出一种在应试人员的考试过程中,对应试人员的行为进行管理的方法尤为重要。
发明内容
有鉴于此,本公开至少提供一种应试人员行为管理方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种应试人员行为管理方法,包括:
获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
基于所述检测结果以及影响因子,生成或不生成告警提示信息。
上述方法中,通过获取考试场所内设置的图像采集设备采集的目标视频序列,对目标视频序列中的应试人员进行行为检测,得到检测结果,并基于应试人员的检测结果和影像因子,确定生成或不生成告警提示信息。采用上述方法,可以实现对考试场所内的多个应试人员的行为检测,以通过生成的告警提示信息,提示监督员留意应试人员的应考行为,和/或,对应试人员的不规范行为进行提醒,从而规范应试人员的考试行为,保障考试场所内的考试行为公正公平。
一种可能的实施方式中,在所述图像采集设备设置在所述应试人员的目标位置处的情况下,在所述获取考试场所内设置的图像采集设备采集的目标视频序列之前,还包括:
控制所述图像采集设备采集落座于所述目标位置处的所述应试人员对应的人脸图像;
将采集的所述人脸图像、和与所述目标位置处关联的参考照片进行匹配;
所述获取考试场所内设置的图像采集设备采集的目标视频序列,包括:
在确定所述人脸图像与所述参考照片匹配成功的情况下,通过所述图像采集设备采集所述目标视频序列。
上述实施方式中,在获取目标视频序列之前,可以对目标位置处的应试人员的人脸图像、和目标位置处关联的参考照片进行匹配,减少考试场所内发生替考行为造成的考试不公平的情况发生,以及在匹配成功时获取目标视频序列,减少因人员不匹配而造成的采集资源的浪费。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测包括交头接耳行为检测情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员、和所述其他人员的目标关键点位置信息;
在所述目标关键点位置信息包括第一关键点位置信息的情况下,基于所述应试人员、和所述其他人员分别对应的所述第一关键点位置信息,确定所述应试人员和所述其他人员之间的肢体距离;其中,所述第一关键点为能够表征所述应试人员、或所述其他人员倾斜方向的关键点;
在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为。
考虑到考试场所内,相邻应试人员之间会存在交头接耳行为,存在该交头接耳行为的多个应试人员之间可能存在作弊情况。故这里可以对应试人员进行交头接耳行为对应的行为检测,得到检测结果。
一种可能的实施方式中,在所述目标关键点中包括第二关键点和第三关键点的情况下,第二关键点与第三关键点为能够确定肢体倾斜程度的关键点,在所述肢体距离小于或等于设置的第一距离阈值的情况下,在所述确定发生所述交头接耳行为之前,所述方法还包括:
基于所述第二关键点位置信息和所述第三关键点位置信息,确定所述应试人员的肢体倾斜角度;
所述在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为,包括:
在所述肢体距离小于或等于设置的第一距离阈值,且所述肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生所述交头接耳行为。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括传递资料行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员和所述其他人员的手部关键点位置信息;
基于所述应试人员和所述其他人员分别对应的所述手部关键点位置信息,确定所述应试人员和所述其他人员之间的手部关键点的手部横向距离;
在所述手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生所述传递资料行为。
考虑到考试场所内,相邻应试人员之间会存在传递资料行为,由于传递资料时多个应试人员之间的手部横向距离会变小,故这里可以确定应试人员和其他人员之间的手部横向距离,根据手部横向距离,确定是否发生传递资料行为,实现对传递资料行为的较准确的检测。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括手部交互行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:对所述目标视频序列进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果;
在所述手部检测结果指示所述目标视频序列中所述应试人员的至少一个手部无法检测到、且所述其他人员的至少一个手部无法检测到,以及,所述肢体朝向检测结果指示所述应试人员的肢体倾斜方向为朝向所述其他人员的方向和/或所述其他人员的肢体倾斜方向为朝向所述应试人员的方向的情况下,确定发生手部交互行为。
考虑到在考试场所内,多个应试人员之间,会在桌面下方进行资料的传递,即多个应试人员之间存在手部交互行为。故这里可以对目标视频序列进行手部检测和肢体朝向检测,根据手部检测结果和肢体朝向检测结果,较准确的确定应试人员是否发生手部交互行为。
一种可能的实施方式中,在所述行为检测包括查看资料行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:对所述目标视频序列进行手部检测,确定所述目标视频序列中包括手部区域的局部图像;
对所述局部图像进行识别,确定所述局部图像中是否存在尺寸小于预设尺寸的记录对象;所述记录对象用于展示记录的信息;
若是,则确定发生所述查看资料行为。
考虑到应试人员在考试场所内可能会携带较小尺寸的记录对象,方便查看,比如记录对象可以为尺寸较小的纸质文件。为了对上述行为进行检测,这里可以先确定目标视频序列中包括的手部区域的局部图像,对局部图像进行识别,确定局部图像中是否存在尺寸小于预设尺寸的记录对象,避免其他区域内的、尺寸较大的考试试卷和/或草稿纸等对检测结果的影响,以提高查看资料行为对应的检测结果的准确性。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
获取所述人体检测框的各顶点分别在所述目标视频序列中的位置坐标;
基于所述位置坐标,确定所述人体检测框对应的所述应试人员的人体倾斜角度信息;所述人体倾斜角度信息用于反映所述应试人员的肢体相对于直立状态下的偏离角度;
在所述人体倾斜角度信息指示的所述偏离角度的取值大于第一预设角度的情况下,确定所述坐姿检测的检测结果为坐姿异常。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
利用训练好的坐姿检测神经网络,对生成的所述人体检测框中的区域图像进行坐姿检测,确定所述坐姿检测的检测结果;
其中,所述坐姿检测神经网络是基于多个人体框样本以及针对所述多个人体框样本中每个人体框样本进行坐姿标注后的标注结果训练得到的。
在考试场景内,若应试人员的人体倾斜角度太大时,该应试人员可能存在不规范的考试行为。故可以对应试人员的坐姿进行检测,若应试人员的人体倾斜角度信息指示的偏离角度的取值大于第一预设角度时,确定应试人员的坐姿异常。同时,设置多种坐姿检测方式,提高了对应试人员的坐姿检测的灵活性。
一种可能的实施方式中,在所述行为检测包括注意力检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行目标姿态检测,得到目标姿态检测结果;所述目标姿态包括至少一种表征注意力不集中的不规范考试姿态;
在所述目标视频序列的所述目标姿态检测结果指示的不规范考试姿态的行为累计次数大于预设次数阈值的情况下,确定所述注意力检测结果为注意力不集中。
一种可能的实施方式中,所述目标姿态包括以下行为中的至少一项:
所述应试人员离开台面对应区域;所述应试人员趴在台面上;
所述应试人员的多动行为;所述应试人员转头和/或转身。
考虑到应试人员的考试姿态不规范时,该应试人员的注意力不集中,在应试人员的注意力不集中时,该应试人员发生不适合的考试行为的可能性较高。故这里可以对应试人员进行目标姿态检测,根据得到的目标姿态检测结果,确定应试人员是否注意力不集中。同时,设置多种目标姿态,丰富了应试人员的目标姿态检测的多样性。
一种可能的实施方式中,在所述行为检测包括多种行为检测的情况下,所述基于所述检测结果以及影响因子,生成或不生成告警提示信息,包括:
基于所述检测结果、以及每种检测结果对应的所述影响因子,确定所述应试人员发生作弊行为的可疑分数;
在所述可疑分数大于设定的分数阈值的情况下,确定生成针对所述应试人员的告警提示信息。
这里,每种行为对应的检测结果对应一个影响因子,不同行为的检测结果可以对应不同的影响因子,进而可以根据检测结果和每种检测结果对应的影响因子,确定应试人员发生作弊行为的可疑分数;在可疑分数大于设定的分数阈值时,确定生成针对应试人员的告警提示信息,以对告警提示信息对应的应试人员进行重点监督。
以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
第二方面,本公开提供了一种应试人员行为管理装置,包括:
获取模块,用于获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
检测模块,用于对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
生成模块,用于基于所述检测结果以及影响因子,生成或不生成告警提示信息。
一种可能的实施方式中,在所述图像采集设备设置在所述应试人员的目标位置处的情况下,在所述获取考试场所内设置的图像采集设备采集的目标视频序列之前,还包括:匹配模块,用于:
控制所述图像采集设备采集落座于所述目标位置处的所述应试人员对应的人脸图像;
将采集的所述人脸图像、和与所述目标位置处关联的参考照片进行匹配;
所述获取模块,在获取考试场所内设置的图像采集设备采集的目标视频序列,包括:
在确定所述人脸图像与所述参考照片匹配成功的情况下,通过所述图像采集设备采集所述目标视频序列。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测包括交头接耳行为检测情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员、和所述其他人员的目标关键点位置信息;
在所述目标关键点位置信息包括第一关键点位置信息的情况下,基于所述应试人员、和所述其他人员分别对应的所述第一关键点位置信息,确定所述应试人员和所述其他人员之间的肢体距离;其中,所述第一关键点为能够表征所述应试人员、或所述其他人员倾斜方向的关键点;
在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为。
一种可能的实施方式中,在所述目标关键点中包括第二关键点和第三关键点的情况下,第二关键点与第三关键点为能够确定肢体倾斜程度的关键点,在所述肢体距离小于或等于设置的第一距离阈值的情况下,在所述确定发生所述交头接耳行为之前,所述检测模块,还用于:
基于所述第二关键点位置信息和所述第三关键点位置信息,确定所述应试人员的肢体倾斜角度;
所述检测模块,在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为,用于:
在所述肢体距离小于或等于设置的第一距离阈值,且所述肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生所述交头接耳行为。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括传递资料行为检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员和所述其他人员的手部关键点位置信息;
基于所述应试人员和所述其他人员分别对应的所述手部关键点位置信息,确定所述应试人员和所述其他人员之间的手部关键点的手部横向距离;
在所述手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生所述传递资料行为。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括手部交互行为检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果;
在所述手部检测结果指示所述目标视频序列中所述应试人员的至少一个手部无法检测到、且所述其他人员的至少一个手部无法检测到,以及,所述肢体朝向检测结果指示所述应试人员的肢体倾斜方向为朝向所述其他人员的方向和/或所述其他人员的肢体倾斜方向为朝向所述应试人员的方向的情况下,确定发生手部交互行为。
一种可能的实施方式中,在所述行为检测包括查看资料行为检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行手部检测,确定所述目标视频序列中包括手部区域的局部图像;
对所述局部图像进行识别,确定所述局部图像中是否存在尺寸小于预设尺寸的记录对象;所述记录对象用于展示记录的信息;
若是,则确定发生所述查看资料行为。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
获取所述人体检测框的各顶点分别在所述目标视频序列中的位置坐标;
基于所述位置坐标,确定所述人体检测框对应的所述应试人员的人体倾斜角度信息;所述人体倾斜角度信息用于反映所述应试人员的肢体相对于直立状态下的偏离角度;
在所述人体倾斜角度信息指示的所述偏离角度的取值大于第一预设角度的情况下,确定所述坐姿检测的检测结果为坐姿异常。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
利用训练好的坐姿检测神经网络,对生成的所述人体检测框中的区域图像进行坐姿检测,确定所述坐姿检测的检测结果;
其中,所述坐姿检测神经网络是基于多个人体框样本以及针对所述多个人体框样本中每个人体框样本进行坐姿标注后的标注结果训练得到的。
一种可能的实施方式中,在所述行为检测包括注意力检测的情况下,所述检测模块,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行目标姿态检测,得到目标姿态检测结果;所述目标姿态包括至少一种表征注意力不集中的不规范考试姿态;
在所述目标视频序列的所述目标姿态检测结果指示的不规范考试姿态的行为累计次数大于预设次数阈值的情况下,确定所述注意力检测结果为注意力不集中。
一种可能的实施方式中,所述目标姿态包括以下行为中的至少一项:
所述应试人员离开台面对应区域;所述应试人员趴在台面上;所述应试人员的多动行为;所述应试人员转头和/或转身。
一种可能的实施方式中,在所述行为检测包括多种行为检测的情况下,所述生成模块,在基于所述检测结果以及影响因子,生成或不生成告警提示信息时,用于:
基于所述检测结果、以及每种检测结果对应的所述影响因子,确定所述应试人员发生作弊行为的可疑分数;
在所述可疑分数大于设定的分数阈值的情况下,确定生成针对所述应试人员的告警提示信息。
第三方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的应试人员行为管理方法的步骤。
第四方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的应试人员行为管理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种应试人员行为管理方法的流程示意图;
图2示出了本公开实施例所提供的一种应试人员行为管理方法中,交头接耳行为的示意图;
图3示出了本公开实施例所提供的一种应试人员行为管理方法中,视频图像中的人体检测框的示意图;
图4示出了本公开实施例所提供的一种应试人员行为管理装置的架构示意图;
图5示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
考试是一种知识水平鉴定方法,比如,学校可以通过考试检测学生在一段时间内的学习成果;机构可以通过开始检测应试人员的专业能力,为满足要求的应试人员颁发证书。因此,考试已成为一种检测应试人员的专业能力、学习成果的重要手段。
但是在考试场所中,应试人员可能存在不规范考试行为,该不规范考试行为可能是应试人员的作弊行为,由于考试场景中的应试人员为多个,使得考试场所内的监督员不一定能够对每个应试人员的不规范考试行为进行实时监督,造成应试人员的考试结果失真。为了保证考试结果的公平、公正,本公开实施例提供了一种应试人员行为管理方法。
针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解,首先对本公开实施例所公开的应试人员行为管理方法进行详细介绍。本公开实施例所提供的应试人员行为管理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该应试人员行为管理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例所提供的应试人员行为管理方法的流程示意图,其中该方法包括S101-S103:
S101,获取考试场所内设置的图像采集设备采集的目标视频序列,目标视频序列包括对应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
S102,对目标视频序列中的应试人员进行行为检测,得到检测结果;
S103,基于检测结果以及影响因子,生成或不生成告警提示信息。
上述方法中,通过获取考试场所内设置的图像采集设备采集的目标视频序列,对目标视频序列中的应试人员进行行为检测,得到检测结果,并基于应试人员的检测结果和影像因子,确定生成或不生成告警提示信息。采样上述方法,可以实现对考试场所内的多个应试人员的行为检测,以通过生成的告警提示信息,提示监督员留意应试人员的应考行为,和/或,对应试人员的不规范行为进行提醒,从而规范应试人员的考试行为,保障考试场所内的考试行为公正公平。
下述对S101-S103进行具体说明。
针对S101:
考试场所内设置的图像采集设备可以包括在高处位置设置的、能够拍摄全部应试人员的一个图像采集设备,和/或,在每个应试人员对应的目标位置处设置的一个图像采集设备。图像采集设备可以为摄像头、或包含摄像头的任一电子设备。或者,也可以在考试场所内部署多个图像采集设备,每个图像采集设备用于拍摄多个应试人员,不同图像采集设备的拍摄范围可以存在部分重叠或是不重叠,只要确保每个应试人员都有对应的图像采集设备可以拍摄到即可。当然,还可以通过信用值等参数对不同应试人员进行衡量,从而对于信用值达标/较高的应试人员不采取拍摄监考,而对于信用值未达标/较低的应试人员再采取上述部署图像采集设备的方式进行拍摄监考。需要说明的是,关于图像采集设备的部署数量、部署方式以及具体的拍摄策略(比如,对一部分应试人员进行拍摄,而对于另一部分应试人员不进行拍摄;或是,对全部应试人员进行拍摄)等,在本公开中不予限定,可以包括但不限于上述例举的实现方式。
目标视频序列包括图像采集设备对应试人员进行拍摄得到的至少一帧视频片段、和/或至少一帧视频图像。比如,至少一帧视频片段可以为单位时长内的视频片段,单位时长可以为一分钟、两分钟等。至少一帧视频图像可以为周期性采集的每帧视频图像,比如,可以每秒采集一帧视频图像,得到多帧视频图像。需要说明的是,对于每个通过拍摄视频以实现监考的应试人员而言,与应试人员对应的目标视频序列都可以采用上述例举的实现方式来获取。
一种可选实施方式中,在图像采集设备设置在应试人员的目标位置处的情况下,在获取考试场所内设置的图像采集设备采集的目标视频序列之前,还包括:
步骤一、控制图像采集设备采集落座于目标位置处的应试人员对应的人脸图像;
步骤二、将采集的人脸图像、和与目标位置处关联的参考照片进行匹配。
获取考试场所内设置的图像采集设备采集的目标视频序列,包括:在确定人脸图像与参考照片匹配成功的情况下,通过图像采集设备采集目标视频序列。
在每个应试人员的目标位置处设置有一个图像采集设备时,可以控制图像采集设备采集落座于目标位置处的应试人员对应的人脸图像,将该人脸图像与该目标位置处关联的参考照片进行匹配。
示例性的,可以将图像采集设备设置在目标位置处的台面上不影响应试人员答题的边缘位置,比如,台面的左上角位置处,即将图像采集设备设置在台面的左上角位置处,并调节图像采集设备的采集角度,以便图像采集设备能够对落座与目标位置处的应试人员的半身肢体进行实时检测。或者,在目标位置处的台面上放置有答题设备时,可以将图像采集设备设置在答题设备的顶部中央位置等。或者,在答题设备上包括有摄像头时,还可以将该摄像头作为图像采集设备。其中,图像采集设备的位置可以为能够拍摄到落座于目标位置处的应试人员的半身肢体的任一位置,此处为示例性说明。
在考试场所内会布置有多个座位,相邻座位间间隔有一定的距离,每个应试人员对应一个座位,每个座位即为一个应试人员的目标位置。具体实施时,每个目标位置处对应一个考号,每个考号对应一个应试人员的参考照片,可以将参考照片与目标位置处关联。其中,参考照片可以为目标位置处对应的应试人员的准考证、报考信息、或证件信息等信息中的人脸图像。
示例性的,可以在考试场所的门口位置处设置一个图像采集设备,控制位于门口位置处的图像采集设备采集要进入考试场所的应试人员的人脸图像;将采集的人脸图像、与该考试场所关联的多个参考照片进行匹配,其中,考试场所关联的多个参考照片为在该考试场所内进行考试的多个应试人员分别对应的参考照片。在匹配成功之后,控制考试场所的门开启,以便应试人员可以进入考试场所;并在应试人员落座后,控制设置在目标位置处的图像采集设备,可以采集落座于目标位置处的应试人员的人脸图像,将该人脸图像与图像采集设备关联的参考照片进行匹配,在确定人脸图像与参考照片匹配成功的情况下,通过图像采集设备采集目标视频序列,对该应试人员进行行为检测。
示例性的,可以将采集的人脸图像和参考照片,输入至训练后的用于图像匹配的神经网络中,得到匹配成功或匹配失败的结果。或者,可以使用特征提取神经网络分别对人脸图像和参考照片进行特征提取,得到人脸图像对应的第一特征信息和参考照片对应的第二特征信息,通过确定第一特征信息和第二特征信息之间的相似度,以在得到的相似度大于设置的相似度阈值时,确定人脸图像与参考照片匹配。
在确定人脸图像与参考照片匹配成功时,通过图像采集设备采集目标视频序列;在确定人脸图像与参考照片匹配失败时,图像采集设备不采集目标视频序列。示例性,在确定人脸图像与参考照片匹配失败时,还可以生成匹配失败的提示信息,以提示应试人员或者考试场景的监督员,比如,生成的匹配失败的提示信息可以为“位置A处-考生不匹配”。
上述实施方式中,在获取目标视频序列之前,可以对目标位置处的应试人员的人脸图像、和目标位置处关联的参考照片进行匹配,减少考试场所内发生替考行为造成的考试不公平的情况发生,以及在匹配成功时获取目标视频序列,减少因人员不匹配而造成的采集资源的浪费。
针对S102:
具体实施时,可以将进行行为检测时使用的至少一种神经网络部署在图像采集设备中,图像采集设备中部署的至少一种神经网络对采集到的目标视频序列进行实时检测、周期性检测,或是抽帧检测等非周期性检测,得到检测结果。或者,也可以将图像采集设备采集的目标视频序列发送至服务器,服务器中部署的至少一种神经网络对采集到的目标视频序列进行检测,或是对基于采集到的视频序列经抽帧、筛选、切分、重组等至少一项预处理后得到的目标视频序列进行检测,得到检测结果。
一种可选实施方式中,在目标视频序列中包含与应试人员相邻的其他人员,行为检测包括交头接耳行为检测情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一,对目标视频序列进行关键点检测,确定目标视频序列中包括的应试人员、和其他人员的目标关键点位置信息;
步骤二,在目标关键点位置信息包括第一关键点位置信息的情况下,基于应试人员、和其他人员分别对应的第一关键点位置信息,确定应试人员和其他人员之间的肢体距离;其中,第一关键点为能够表征应试人员、或其他人员倾斜方向的关键点;
步骤三,在肢体距离小于或等于设置的第一距离阈值的情况下,确定发生交头接耳行为。
与应试人员相邻的其他人员可以为落座于应试人员的目标位置处的相邻的任一其他应试人员,比如落座于应试人员四周的任一其他应试人员。在行为检测包括对交头接耳行为进行检测时,若目标视频序列为视频片段,则可以利用训练后的关键点检测神经网络,对目标视频序列中的每一帧视频图像进行关键点检测,确定每一帧视频图像中包括的应试人员和其他人员的目标关键点位置信息。其中,目标关键点的数量和位置可以根据实际需要进行设置,比如,目标关键点可以包括头部关键点、颈部关键点、肩部关键点、手部关键点等。
第一关键点为能够表征应试人员或其他人员的倾斜方向的关键点。比如,第一关键点可以为头部关键点、颈部关键点、眼部关键点等。
根据应试人员的第一关键点位置信息和其他人员的第一关键点位置信息,确定应试人员和其他人员之间的肢体距离。其中,第一关键点位置信息可以为第一关键点在目标视频序列的视频图像对应的图像坐标系上的坐标信息。其中,第一关键点位置信息中的横坐标信息和纵坐标信息,分别用于表征第一关键点在视频图像上的列数和行数。
比如,可以计算应试人员的第一关键点位置信息中的横坐标信息与其他人员的第一关键点位置信息中的横坐标信息之间的差值,该差值即为肢体距离。或者,也可以使用欧式距离计算公式,确定应试人员和其他人员之间的肢体距离。
在肢体距离小于或等于第一距离阈值时,确定发生交头接耳行为;在肢体距离大于第一距离阈值时,确定没有发生交头接耳行为。其中,第一距离阈值可以根据需要进行设置。示例性的,可以先确定应试人员和其他人员均处于正常坐姿时,应试人员和其他人员的正常肢体距离;进而可以基于确定的正常肢体距离,确定第一距离阈值;比如,可以将正常肢体距离的一半,确定为第一距离阈值;或者,可以将正常肢体距离的三分之一,确定为第一距离阈值等。
考虑到考试场所内,相邻应试人员之间可能会存在交头接耳行为,存在该交头接耳行为的多个应试人员之间可能存在作弊情况。故这里可以对应试人员进行交头接耳行为对应的行为检测,得到检测结果。
在一种可选实施方式中,在目标关键点中包括第二关键点和第三关键点的情况下,第二关键点与第三关键点为能够确定肢体倾斜程度的关键点,在肢体距离小于或等于设置的第一距离阈值的情况下,在确定发生交头接耳行为之前,方法还包括:基于应试人员的第二关键点位置信息和第三关键点位置信息,确定应试人员的肢体倾斜角度;
在肢体距离小于或等于设置的第一距离阈值的情况下,确定发生交头接耳行为,包括:在肢体距离小于或等于设置的第一距离阈值,且肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生交头接耳行为。
第二关键点和第三关键点为能够确定肢体倾斜程度的关键点,比如,第二关键点和第三关键点可以为应试人员躯干范围内的两点,比如,可以为颈部关键点、和半身肢体中心点。再利用应试人员的第二关键点位置信息和第三关键点位置信息,确定应试人员的肢体倾斜角度。
应试人员的肢体倾斜角度可以为应试人员的上半身肢体发生倾斜后,半身肢体与水平方向之间的角度。比如,可以先将第二关键点和第三关键点相连,确定表征半身肢体中心轴的线条,将应试人员第二关键点与第三关键点连线与设置的基准线(比如与台面平行的基准线、或与台面垂直的基准线)之间的角度,将该角度确定为应试人员的肢体倾斜角度。其中,台面指的是设置在考试场所内每个考试座位处桌子的平面,应试人员可以在台面上完成考试。
在肢体距离小于或等于设置的第一距离阈值,且应试人员的肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生交头接耳行为。其中,角度阈值可以根据需要进行设置,比如,角度阈值可以为30度、45度等。
参见图2所示,该检测图像中包括应试人员21和其他人员22,应试人员中包括第一关键点211、第二关键点212、第三关键点213,其他人员中包括第一关键点221、第二关键点222、第三关键点223,根据应试人员的第一关键点211和其他人员的第一关键点221,可以确定第一距离;以及可以基于应试人员的第二关键点212和第三关键点213,可以确定应试人员的肢体倾斜角度24;在肢体距离小于或等于设置的第一距离阈值,且应试人员的肢体倾斜角度24大于或等于设置的角度阈值的情况下,确定发生交头接耳行为。和/或,还可以基于其他人员的第二关键点222和第三关键点223,可以确定其他人员的肢体倾斜角度25;在肢体距离小于或等于设置的第一距离阈值,且其他人员的肢体倾斜角度25大于或等于设置的角度阈值的情况下,确定发生交头接耳行为。
一种可选实施方式中,在目标视频序列中包含与应试人员相邻的其他人员,行为检测中包括传递资料行为检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行关键点检测,确定目标视频序列中包括的应试人员和其他人员的手部关键点位置信息;
步骤二、基于应试人员和其他人员分别对应的手部关键点位置信息,确定应试人员和其他人员之间的手部关键点的手部横向距离;
步骤三、在手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生传递资料行为。
这里,手部关键点可以为左手关键点或者右手关键点。具体实施时,对目标视频序列进行关键点检测,确定应试人员的手部关键点位置信息、和其他人员的手部关键点位置信息。
在检测到应试人员和其他人员的手部关键点的数量为一个时,可以基于应试人员和其他人员分别对应的手部关键点位置信息,确定应试人员和其他人员之间的手部关键点的手部横向距离。在手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生传递资料行为。
在应试人员的手部关键点的数量为两个、或其他人员的手部关键点的数量为两个时,可以确定应试人员的每个手部关键点与其他人员的手部关键点之间的手部横向距离。在多个手部横向距离中,存在任一手部横向距离小于或等于第二距离阈值时,确定发生传递资料行为。其中,传递的资料可以为任一纸质资料或是其他可以承载资料的媒介,比如,可以是橡皮、尺子等,在此不予限定。
考虑到考试场所内,相邻应试人员之间会存在传递资料行为,由于传递资料时多个应试人员之间的手部横向距离会变小,故这里可以确定应试人员和其他人员之间的手部横向距离,根据手部横向距离,确定是否发生传递资料行为,实现对传递资料行为的较准确的检测。
一种可选实施方式中,在目标视频序列中包含与应试人员相邻的其他人员,行为检测中包括手部交互行为检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果;
步骤二、在手部检测结果指示目标视频序列中应试人员的至少一个手部无法检测到、且其他人员的至少一个手部无法检测到,以及,肢体朝向检测结果指示应试人员的肢体倾斜方向为朝向其他人员的方向和/或其他人员的肢体倾斜方向为朝向应试人员的方向的情况下,确定发生手部交互行为。
具体实施时,可以对目标视频序列中的每一帧视频图像进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果。示例性的,可以使用训练后的第一神经网络对目标视频序列进行肢体朝向检测,得到肢体朝向检测结果;其中,肢体朝向检测结果可以包括应试人员的肢体朝向、和其他人员的肢体朝向。比如,应试人员或其他人员的肢体朝向可以为下述中的任意一种:前方(指人员向靠近台面的前方倾斜,可以是正前方,或是偏左/偏右的斜前方)、后方(指人员向背离台面的后方倾斜,可以是正后方、或偏左/偏右的斜后方)、左方(指人员向靠近台面的左方倾斜)、右方(指人员向靠近台面的右方倾斜)、正常。
假设其他人员落座与应试人员的前方,若应试人员的肢体朝向为前方时,则确定肢体朝向检测结果指示应试人员的肢体倾斜方向为朝向其他人员的方向;和/或其他人员的肢体朝向为后方时,则确定肢体朝向检测结果指示其他人员的肢体倾斜方向为朝向应试人员的方向。
以及使用训练后的第二神经网络对目标视频序列进行肢体手部检测,得到手部检测结果;其中,手部检测结果可以包括应试人员的手部位置、其他人员的手部位置;或者,手部检测结果可以包括应试人员的手部数量和其他人员的手部数量。
在手部检测结果包括应试人员和其他人员的手部位置时,若手部检测结果中包括应试人员的一个手部位置或不包括手部位置,则确定手部检测结果指示应试人员的至少一个手部无法检测到,以及手部检测结果中包括其他应试人员的一个手部位置或不包括手部位置,则确定手部检测结果指示其他人员的至少一个手部无法检测到。
在手部检测结果包括应试人员和其他人员的手部数量时,若手部检测结果中包括应试人员的手部数量为0或1时,确定手部检测结果指示应试人员的至少一个手部无法检测到;若手部检测结果中包括其他人员的手部数量为0或1时,确定手部检测结果指示其他人员的至少一个手部无法检测到。
在手部检测结果指示目标视频序列中应试人员的至少一个手部无法检测到、且其他人员的至少一个手部无法检测到,以及,肢体朝向检测结果指示应试人员的肢体倾斜方向为朝向其他人员的方向和/或其他人员的肢体倾斜方向为朝向应试人员的方向的情况下,确定发生手部交互行为。
在另一种实时方式中,还可以先对目标视频序列进行手部检测,得到手部检测结果;在手部检测结果指示目标视频序列中应试人员的至少一个手部无法检测到、且其他人员的至少一个手部无法检测到的情况下,再对目标视频序列进行肢体朝向检测,得到肢体朝向结果;在确定肢体朝向检测结果指示应试人员的肢体倾斜方向为朝向其他人员的方向和/或其他人员的肢体倾斜方向为朝向应试人员的方向的情况下,确定发生手部交互行为。
在手部检测结果指示目标视频序列中应试人员的两个手部均被检测到、且其他人员的两个手部均被检测到的情况下,则不对目标视频序列进行肢体朝向检测。
考虑到在考试场所内,多个应试人员之间,会在桌面下方进行资料的传递,即多个应试人员之间存在手部交互行为。故这里可以对目标视频序列进行手部检测和肢体朝向检测,根据手部检测结果和肢体朝向检测结果,较准确的确定应试人员是否发生手部交互行为。
一种可选实施方式中,在行为检测包括查看资料行为检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行手部检测,确定目标视频序列中包括手部区域的局部图像;
步骤二、对局部图像进行识别,确定局部图像中是否存在尺寸小于预设尺寸的记录对象;记录对象用于展示记录的信息;
步骤三、若是,则确定发生查看资料行为。
示例性的,可以利用用于手部检测的第三神经网络,对目标视频序列中的每一帧视频图像进行手部检测,确定目标视频序列中每一帧视频图像包括的手部区域的局部图像。
比如,可以对目标视频序列中的每一帧视频图像进行手部检测,确定手部的二维检测框信息;基于手部的二维检测框信息,从对应的视频图像中截取得到手部区域的局部图像。或者,还可以对目标视频序列中的每一帧视频图像进行手部检测,确定手部的轮廓区域信息;基于手部的轮廓区域信息,从对应的视频图像中截取得到手部区域的局部图像。
示例性的,可以利用训练后的第四神经网络,对局部图像进行识别,得到识别结果,该识别结果可以为:无记录对象、或局部图像中包括的任一记录对象的尺寸;其中,第四神经网络用于对记录对象进行识别,该记录对象可以为任一纸质文件。
在识别结果为局部图像中包括的任一记录对象的尺寸时,判断检测到的记录对象的尺寸是否小于预设尺寸,若小于,则确定发生查看资料行为。
考虑到应试人员在考试场所内可能会携带较小尺寸的记录对象,方便查看,比如记录对象可以为尺寸较小的纸质文件。为了对上述行为进行检测,这里可以先确定目标视频序列中包括的手部区域的局部图像,对局部图像进行识别,确定局部图像中是否存在尺寸小于预设尺寸的记录对象,避免其他区域内的、尺寸较大的考试试卷和/或草稿纸等对检测结果的影响,以提高查看资料行为对应的检测结果的准确性。
一种可选实施方式中,在行为检测包括坐姿检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行人物检测,生成位于目标视频序列中的人体检测框;
步骤二、获取人体检测框的各顶点分别在目标视频序列中的位置坐标;
步骤三、基于位置坐标,确定人体检测框对应的应试人员的人体倾斜角度信息;人体倾斜角度信息用于反映应试人员的肢体相对于直立状态下的偏离角度;
步骤四、在人体倾斜角度信息指示的偏离角度的取值大于第一预设角度的情况下,确定坐姿检测的检测结果为坐姿异常。
可以利用训练好的人体检测神经网络,对目标视频序列中的每一帧视频图像进行人体检测,生成目标视频序列中的每一帧视频图像的人体检测框。其中,人体检测框可以为目标视频序列中包括的应试人员的半身肢体检测框。
获取人体检测框的各个顶点在对应视频图像中的位置坐标,参见图3所示,可以获取位于人体检测框的边31两侧的顶点311、和顶点312在视频图像中的位置坐标,利用顶点311和顶点312的位置坐标,确定人体检测框对应的应试人员的人体倾斜角度信息,该人体倾斜角度信息用于反映应试人员的肢体相对于直立状态下的偏离角度,可知图3中的偏离角度33。或者,获取位于人体检测框的边32两侧的顶点321、和顶点322在视频图像中的位置坐标,利用顶点321和顶点322的位置坐标,确定人体检测框对应的应试人员的人体倾斜角度信息。
在人体倾斜角度信息指示的偏离角度的取值大于第一预设角度的情况下,确定坐姿检测的检测结果为坐姿异常。其中,第一预设角度可以根据需要进行设置。
一种可选实施方式中,在行为检测包括坐姿检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行人物检测,生成位于目标视频序列中的人体检测框;
步骤二、利用训练好的坐姿检测神经网络,对生成的人体检测框中的区域图像进行坐姿检测,确定坐姿检测的检测结果;其中,坐姿检测神经网络是基于多个人体框样本以及针对多个人体框样本中每个人体框样本进行坐姿标注后的标注结果训练得到的。
示例性,可以利用训练好的人体检测神经网络,对目标视频序列中的每一帧视频图像进行人体检测,生成目标视频序列中的每一帧视频图像的人体检测框。进而,可以从每一帧视频图像中截取得到人体检测框中的区域图像。
利用训练好的坐姿检测神经网络,对生成的人体检测框中的区域图像进行坐姿检测,确定坐姿检测的检测结果。该坐姿检测结果可以包括倾斜角度;或者可以包括倾斜方向和倾斜角度,比如,该坐姿检测结果可以为:前方—30度;或者左方—45度等。
可以根据下述步骤训练坐姿检测神经网络:获取训练样本,该训练样本中包括多个人体框样本,每个人体框样本中标注有倾斜角度,或者,标注有倾斜角度和倾斜方向;将获取的训练样本输入至待训练的用于坐姿检测的神经网络中,对用于坐姿检测的神经网络进行多轮训练,直至训练后的神经网络满足预设条件,得到坐姿检测神经网络,比如,预设条件可以为神经网络的准确度大于设置的准确度阈值;或者,神经网络的损失值小于设置的损失阈值等。
在考试场景内,若应试人员的人体倾斜角度太大时,该应试人员可能存在不规范的考试行为。故可以对应试人员的坐姿进行检测,若应试人员的人体倾斜角度信息指示的偏离角度的取值大于第一预设角度时,确定应试人员的坐姿异常。同时,设置多种坐姿检测方式,提高了对应试人员的坐姿检测的灵活性。
一种可选实施方式中,在行为检测包括注意力检测的情况下,对目标视频序列中的应试人员进行行为检测,得到检测结果,包括:
步骤一、对目标视频序列进行目标姿态检测,得到目标姿态检测结果;目标姿态包括至少一种表征注意力不集中的不规范考试姿态;
步骤二、在目标视频序列的目标姿态检测结果指示的不规范考试姿态的行为累计次数大于预设次数阈值的情况下,确定注意力检测结果为注意力不集中。
其中,目标姿态包括以下行为中的至少一项:一、应试人员离开台面对应区域;二、应试人员趴在台面上;三、应试人员的多动行为;四、应试人员转头和/或转身。
这里,可以对目标视频序列中的每一帧视频图像进行目标姿态检测,得到目标姿态检测结果,得到目标视频序列中的多帧视频图像的目标姿态检测结果。在目标视频序列中多帧视频图像的目标姿态检测结果指示不规范考试姿态的行为累计次数大于预设次数阈值时,确定注意力检测结果为注意力不集中。
其中,上述预设次数阈值设置的不宜过大,也不宜过小,过大的预设次数阈值将导致注意力不集中的漏检,过小的预设次数阈值则无法有效筛除掉作用时间短的不规范考试姿态对于注意力不集中的误检情况,故本公开实施例可以基于不同的不规范考试姿态设置不同的预设次数阈值。针对每种不规范考试姿态,可以根据以下一种或多种因素确定预设次数阈值:考试时长、考试类型、应试人员的信用值、考试时间等。比如,在考试时长较长时,可以将预设次数阈值设置的较大;在考试时长较短时,可以将预设次数阈值设置的较小。
本公开实施例中,不规范考试姿态可以包括考试场景内任何注意力不集中的表现行为,例如,可以是在考试时间段内应试人员离开台面对应区域的行为,或者,可以是应试人员趴在台面上的行为,或者,可以是应试人员的多动行为、应试人员转头的行为、应试人员转身的行为等。这里的台面可以为考试场景中设置的考试桌面。除此之外,本公开实施例中的不规范考试姿态还可以包括其它表现姿态,这里不做赘述。
针对不同种类的不规范考试姿态可以采用不同的姿态检测方法进行检测,在实际应用中,可以同时采用多种姿态检测方法对各类不规范考试姿态进行检测,得到目标姿态检测结果。
针对应试人员离开台面对应区域的目标姿态,该目标姿态对应的姿态检测方法可以包括:一、对获取的目标视频序列中的每一帧视频图像进行人体检测,确定视频图像指示的应试人员是否处于预设考试区域内;二、在确定未处于预设考试区域内时,确定存在应试人员离开台面对应区域的目标姿态。
针对应试人员趴在台面上的目标姿态,该目标姿态对应的姿态检测方法可以包括:一、对获取的目标视频序列中的每一帧视频图像进行姿态识别,确定视频图像指示的应试人员的考试位姿信息、以及视频图像指示的台面的书桌位姿信息;二、在应试人员的考试位姿信息以及台面的书桌位姿信息之间的相对位姿信息,符合趴在台面上的预设位姿时,确定存在应试人员趴在台面上的目标姿态。
其中,在实际的学习场景中,有关台面的位姿通常不会有较大的变化,故在图像采集设备相对台面的相对距离确定时,该台面在视频图像中的书桌位姿信息也随之确定。
针对应试人员多动行为的目标姿态,该目标姿态对应的姿态检测方法可以包括:一、对获取的目标视频序列中的每一帧视频图像进行人体检测,确定视频图像指示的应试人员的人体位姿变化频率;人体位姿变化频率用于表示应试人员在单位时间内变换位姿的次数;二、在确定应试人员的人体位姿变化频率超过预设频率的情况下,确定应试人员存在多动的行为。
例如,在一段时间内,应试人员由向右倾斜35°变换到向右倾斜20°,再由向右倾斜20°变换到向左倾斜10°,通过针对连续帧的人体检测,可以确定应试人员在单位时间内变换位姿的次数,变换的次数越多说明该应试人员存在多动行为的可能性越大,本公开实施例可以通过设置预设频率,判断应试人员是否存在多动的行为。
需要说明的是,这里的人体检测可以针对的是应试人员的人脸的检测,还可以是应试人员的上半个身体的检测,还可以是应试人员的手部的检测,还可以是其它人体部位的检测,也即不管是人脸、人手、还是整个身体发生变大的位姿变化,均可以说明应试人员存在多动的行为,说明应试人员的注意力存在不集中的问题。
针对应试人员转头的目标姿态,该目标姿态对应的姿态检测方法可以包括:一、对获取的目标视频序列中的每一帧视频图像进行人脸检测,确定在每帧视频图像指示的应试人员对应的人脸检测框;二、对每个人脸检测框内包含的人脸图片进行人脸关键点检测,确定人脸图片所包含人脸的人脸转动角度信息;三、在人脸转动角度信息大于预设角度的情况下,确定存在应试人员转头的目标姿态。
针对应试人员转身的目标姿态,该目标姿态对应的姿态检测方法可以包括:一、对获取的目标视频序列中的每一帧视频图像进行肢体检测,确定在每帧视频图像指示的应试人员对应的肢体检测框;二、对每个肢体检测框内包含的肢体图片进行旋转角检测,确定应试人员的肢体转动角度信息;三、在肢体转动角度信息大于预设角度的情况下,确定存在应试人员转身的目标姿态。
在另一种可选实施方式中,可以结合目标姿态检测结果、以及目标姿态对应的在目标视频序列中的姿态持续时间,确定应试人员是否存在注意力不集中的问题。
例如,针对应试人员趴在台面上这一不规范考试姿态,可以设置的预设阈值为5分钟,即在应试人员持续趴在台面5分钟以上,可以认为应试人员存在注意力不集中的问题;再如,针对应试人员转头这一不规范考试姿态,可以设置的预设阈值为2秒,即在应试人员持续转头2秒以上,可以认为该应试人员存在注意力不集中的问题。
考虑到应试人员的考试姿态不规范时,该应试人员的注意力不集中,在应试人员的注意力不集中时,该应试人员发生不适合的考试行为的可能性较高。故这里可以对应试人员进行目标姿态检测,根据得到的目标姿态检测结果,确定应试人员是否注意力不集中。同时,设置多种目标姿态,丰富了应试人员的目标姿态检测的多样性。
针对S103:
一种可选实施方式中,在行为检测包括多种行为检测的情况下,基于检测结果以及影响因子,生成或不生成告警提示信息,包括:
S1031,基于检测结果、以及每种检测结果对应的影响因子,确定应试人员发生作弊行为的可疑分数。
S1032,在可疑分数大于设定的分数阈值的情况下,确定生成针对应试人员的告警提示信息。
可以为每种检测结果设置对应的影响因子,不同的检测结果对应的影响因子可以不同,可以相同。其中,每种检测结果对应的影响因子,可以根据实际情况进行设置,下述为示例性说明。
实施时,可以根据每种行为检测对应的检测结果存在作弊的可能程度、考试场所中设置的座位之间的间隔、或考试场所内监督员的数量等,确定影像因子。比如,行为检测对应的检测结果存在作弊的可能程度越高,检测结果对应的影响因子越大。或者,在考试场所中设置的作为之间的间隔较大时,可以将坐姿异常的影响因子调小等。
下述以根据每种行为检测对应的检测结果存在作弊的可能程度,确定影像因子为例进行说明。比如,在考试场所内,应试人员之间一般不允许交流,故在应试人员存在交头接耳行为时,该应试人员存在作弊的可能性较高,故可以将交头接耳行为检测的检测结构对应的影响因子设置为较高,比如,影响因子可以4分。
再比如,在考试期间内应试人员之间不能够进行资料的传递,在应试人员存在传递资料行为时,该应试人员存在作弊的可能性较高,且与交头接耳行为相比,传递资料行为的作弊可能性更高,故可以将传递资料行为检测的检测结果对应的影响因子设置为8分。
再比如,在相邻应试人员之间存在手部交互行为时,该应试人员存在作弊行为的可能性较低,故可以将手部交互行为检测的检测结果对应的影响因子设置为3分。在相邻应试人员之间存在查看资料行为时,该应试人员存在作弊行为的可能性较高,故可以将查看资料行为检测的检测结果对应的影响因子设置为8分。
在应试人员存在坐姿异常或注意力不集中时,应试人员存在作弊行为的可能性较低,故可以将坐姿异常的检测结果对应的影响因子设置为1分,将注意力不集中的检测结果对应的影响因子设置为1分等。
进而,在目标视频序列指示的检测结果包括:一次交头接耳行为、两次查看资料行为、五次坐姿异常的行为,则确定可疑分数为25分。
还可以设置分数阈值,在确定可疑分数小于或等于设定的分数阈值时,确定不生成针对应试人员的告警提示信息;在确定可疑分数大于设定的分数阈值时,确定生成针对应试人员的告警提示信息;进而可以将生成的告警提示信息发送给考试场景的监督员,以便监督员可以根据接收到的告警提示信息对应试人员进行重点监督。比如,生成的告警提示信息可以为“目标位置A处的应试人员可疑”等。
这里,每种行为对应的检测结果对应一个影响因子,不同行为的检测结果可以对应不同的影响因子,进而可以根据检测结果和每种检测结果对应的影响因子,确定应试人员发生作弊行为的可疑分数;在可疑分数大于设定的分数阈值时,确定生成针对应试人员的告警提示信息,以对告警提示信息对应的应试人员进行重点监督。
具体实施时,还可以控制图像采集设备实施的采集并存储应试人员在考试期间内考试行为对应的视频数据,以便后续可以对该应试人员对应的视频数据进行查看。
还可以根据考试场所内各个考试人员对应的行为检测的检测结果,对考试场所的布局进行调整。其中,调整的内容可以根据实际情况进行设置,下述为示例性说明。比如,若考试场所内,各个考试人员对应的行为检测的检测结果指示交头接耳行为的发生次数较多,则可以调整考试场所内相邻座位之间的间隔。或者,若考试场所内,各个考试人员对应的行为检测的检测结果指示查看资料行为的发生次数较多,则可以增加考试场所内监督员的数量等。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思,本公开实施例还提供了一种应试人员行为管理装置,参见图4所示,为本公开实施例提供的应试人员行为管理装置的架构示意图,包括获取模块401、检测模块402、生成模块403,具体的:
获取模块401,用于获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
检测模块402,用于对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
生成模块403,用于基于所述检测结果以及影响因子,生成或不生成告警提示信息。
一种可能的实施方式中,在所述图像采集设备设置在所述应试人员的目标位置处的情况下,在所述获取考试场所内设置的图像采集设备采集的目标视频序列之前,还包括:匹配模块404,用于:
控制所述图像采集设备采集落座于所述目标位置处的所述应试人员对应的人脸图像;
将采集的所述人脸图像、和与所述目标位置处关联的参考照片进行匹配;
所述获取模块401,在获取考试场所内设置的图像采集设备采集的目标视频序列,包括:
在确定所述人脸图像与所述参考照片匹配成功的情况下,通过所述图像采集设备采集所述目标视频序列。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测包括交头接耳行为检测情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员、和所述其他人员的目标关键点位置信息;
在所述目标关键点位置信息包括第一关键点位置信息的情况下,基于所述应试人员、和所述其他人员分别对应的所述第一关键点位置信息,确定所述应试人员和所述其他人员之间的肢体距离;其中,所述第一关键点为能够表征所述应试人员、或所述其他人员倾斜方向的关键点;
在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为。
一种可能的实施方式中,在所述目标关键点中包括第二关键点和第三关键点的情况下,第二关键点与第三关键点为能够确定肢体倾斜程度的关键点,在所述肢体距离小于或等于设置的第一距离阈值的情况下,在所述确定发生所述交头接耳行为之前,所述检测模块402,还用于:
基于所述第二关键点位置信息和所述第三关键点位置信息,确定所述应试人员的肢体倾斜角度;
所述检测模块402,在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为,用于:
在所述肢体距离小于或等于设置的第一距离阈值,且所述肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生所述交头接耳行为。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括传递资料行为检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员和所述其他人员的手部关键点位置信息;
基于所述应试人员和所述其他人员分别对应的所述手部关键点位置信息,确定所述应试人员和所述其他人员之间的手部关键点的手部横向距离;
在所述手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生所述传递资料行为。
一种可能的实施方式中,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括手部交互行为检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果;
在所述手部检测结果指示所述目标视频序列中所述应试人员的至少一个手部无法检测到、且所述其他人员的至少一个手部无法检测到,以及,所述肢体朝向检测结果指示所述应试人员的肢体倾斜方向为朝向所述其他人员的方向和/或所述其他人员的肢体倾斜方向为朝向所述应试人员的方向的情况下,确定发生手部交互行为。
一种可能的实施方式中,在所述行为检测包括查看资料行为检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行手部检测,确定所述目标视频序列中包括手部区域的局部图像;
对所述局部图像进行识别,确定所述局部图像中是否存在尺寸小于预设尺寸的记录对象;所述记录对象用于展示记录的信息;
若是,则确定发生所述查看资料行为。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
获取所述人体检测框的各顶点分别在所述目标视频序列中的位置坐标;
基于所述位置坐标,确定所述人体检测框对应的所述应试人员的人体倾斜角度信息;所述人体倾斜角度信息用于反映所述应试人员的肢体相对于直立状态下的偏离角度;
在所述人体倾斜角度信息指示的所述偏离角度的取值大于第一预设角度的情况下,确定所述坐姿检测的检测结果为坐姿异常。
一种可能的实施方式中,在所述行为检测包括坐姿检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
利用训练好的坐姿检测神经网络,对生成的所述人体检测框中的区域图像进行坐姿检测,确定所述坐姿检测的检测结果;
其中,所述坐姿检测神经网络是基于多个人体框样本以及针对所述多个人体框样本中每个人体框样本进行坐姿标注后的标注结果训练得到的。
一种可能的实施方式中,在所述行为检测包括注意力检测的情况下,所述检测模块402,在对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果时,用于:
对所述目标视频序列进行目标姿态检测,得到目标姿态检测结果;所述目标姿态包括至少一种表征注意力不集中的不规范考试姿态;
在所述目标视频序列的所述目标姿态检测结果指示的不规范考试姿态的行为累计次数大于预设次数阈值的情况下,确定所述注意力检测结果为注意力不集中。
一种可能的实施方式中,所述目标姿态包括以下行为中的至少一项:
所述应试人员离开台面对应区域;
所述应试人员趴在台面上;
所述应试人员的多动行为;
所述应试人员转头和/或转身。
一种可能的实施方式中,在所述行为检测包括多种行为检测的情况下,所述生成模块403,在基于所述检测结果以及影响因子,生成或不生成告警提示信息时,用于:
基于所述检测结果、以及每种检测结果对应的所述影响因子,确定所述应试人员发生作弊行为的可疑分数;
在所述可疑分数大于设定的分数阈值的情况下,确定生成针对所述应试人员的告警提示信息。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
基于同一技术构思,本公开实施例还提供了一种电子设备。参照图5所示,为本公开实施例提供的电子设备的结构示意图,包括处理器501、存储器502、和总线503。其中,存储器502用于存储执行指令,包括内存5021和外部存储器5022;这里的内存5021也称内存储器,用于暂时存放处理器501中的运算数据,以及与硬盘等外部存储器5022交换的数据,处理器501通过内存5021与外部存储器5022进行数据交换,当电子设备500运行时,处理器501与存储器502之间通过总线503通信,使得处理器501在执行以下指令:
获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
基于所述检测结果以及影响因子,生成或不生成告警提示信息。
此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的应试人员行为管理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的应试人员行为管理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
Claims (15)
1.一种应试人员行为管理方法,其特征在于,包括:
获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
基于所述检测结果以及影响因子,生成或不生成告警提示信息。
2.根据权利要求1所述的方法,其特征在于,在所述图像采集设备设置在所述应试人员的目标位置处的情况下,在所述获取考试场所内设置的图像采集设备采集的目标视频序列之前,还包括:
控制所述图像采集设备采集落座于所述目标位置处的所述应试人员对应的人脸图像;
将采集的所述人脸图像、和与所述目标位置处关联的参考照片进行匹配;
所述获取考试场所内设置的图像采集设备采集的目标视频序列,包括:
在确定所述人脸图像与所述参考照片匹配成功的情况下,通过所述图像采集设备采集所述目标视频序列。
3.根据权利要求1或2所述的方法,其特征在于,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测包括交头接耳行为检测情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员、和所述其他人员的目标关键点位置信息;
在所述目标关键点位置信息包括第一关键点位置信息的情况下,基于所述应试人员、和所述其他人员分别对应的所述第一关键点位置信息,确定所述应试人员和所述其他人员之间的肢体距离;其中,所述第一关键点为能够表征所述应试人员、或所述其他人员倾斜方向的关键点;
在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为。
4.根据权利要求3所述的方法,其特征在于,在所述目标关键点中包括第二关键点和第三关键点的情况下,第二关键点与第三关键点为能够确定肢体倾斜程度的关键点,在所述肢体距离小于或等于设置的第一距离阈值的情况下,在所述确定发生所述交头接耳行为之前,所述方法还包括:
基于所述第二关键点位置信息和所述第三关键点位置信息,确定所述应试人员的肢体倾斜角度;
所述在所述肢体距离小于或等于设置的第一距离阈值的情况下,确定发生所述交头接耳行为,包括:
在所述肢体距离小于或等于设置的第一距离阈值,且所述肢体倾斜角度大于或等于设置的角度阈值的情况下,确定发生所述交头接耳行为。
5.根据权利要求1~4任一所述的方法,其特征在于,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括传递资料行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行关键点检测,确定所述目标视频序列中包括的所述应试人员和所述其他人员的手部关键点位置信息;
基于所述应试人员和所述其他人员分别对应的所述手部关键点位置信息,确定所述应试人员和所述其他人员之间的手部关键点的手部横向距离;
在所述手部横向距离小于或等于设置的第二距离阈值的情况下,确定发生所述传递资料行为。
6.根据权利要求1~5任一所述的方法,其特征在于,在所述目标视频序列中包含与所述应试人员相邻的其他人员,所述行为检测中包括手部交互行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行肢体朝向检测和手部检测,得到肢体朝向检测结果和手部检测结果;
在所述手部检测结果指示所述目标视频序列中所述应试人员的至少一个手部无法检测到、且所述其他人员的至少一个手部无法检测到,以及,所述肢体朝向检测结果指示所述应试人员的肢体倾斜方向为朝向所述其他人员的方向和/或所述其他人员的肢体倾斜方向为朝向所述应试人员的方向的情况下,确定发生手部交互行为。
7.根据权利要求1~6任一所述的方法,其特征在于,在所述行为检测包括查看资料行为检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行手部检测,确定所述目标视频序列中包括手部区域的局部图像;
对所述局部图像进行识别,确定所述局部图像中是否存在尺寸小于预设尺寸的记录对象;所述记录对象用于展示记录的信息;
若是,则确定发生所述查看资料行为。
8.根据权利要求1~7任一所述的方法,其特征在于,在所述行为检测包括坐姿检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
获取所述人体检测框的各顶点分别在所述目标视频序列中的位置坐标;
基于所述位置坐标,确定所述人体检测框对应的所述应试人员的人体倾斜角度信息;所述人体倾斜角度信息用于反映所述应试人员的肢体相对于直立状态下的偏离角度;
在所述人体倾斜角度信息指示的所述偏离角度的取值大于第一预设角度的情况下,确定所述坐姿检测的检测结果为坐姿异常。
9.根据权利要求1~7任一所述的方法,其特征在于,在所述行为检测包括坐姿检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行人物检测,生成位于所述目标视频序列中的人体检测框;
利用训练好的坐姿检测神经网络,对生成的所述人体检测框中的区域图像进行坐姿检测,确定所述坐姿检测的检测结果;
其中,所述坐姿检测神经网络是基于多个人体框样本以及针对所述多个人体框样本中每个人体框样本进行坐姿标注后的标注结果训练得到的。
10.根据权利要求1~9任一所述的方法,其特征在于,在所述行为检测包括注意力检测的情况下,所述对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果,包括:
对所述目标视频序列进行目标姿态检测,得到目标姿态检测结果;所述目标姿态包括至少一种表征注意力不集中的不规范考试姿态;
在所述目标视频序列的所述目标姿态检测结果指示的不规范考试姿态的行为累计次数大于预设次数阈值的情况下,确定所述注意力检测结果为注意力不集中。
11.根据权利要求10所述的方法,其特征在于,所述目标姿态包括以下行为中的至少一项:
所述应试人员离开台面对应区域;
所述应试人员趴在台面上;
所述应试人员的多动行为;
所述应试人员转头和/或转身。
12.根据权利要求1~11任一所述的方法,其特征在于,在所述行为检测包括多种行为检测的情况下,所述基于所述检测结果以及影响因子,生成或不生成告警提示信息,包括:
基于所述检测结果、以及每种检测结果对应的所述影响因子,确定所述应试人员发生作弊行为的可疑分数;
在所述可疑分数大于设定的分数阈值的情况下,确定生成针对所述应试人员的告警提示信息。
13.一种应试人员行为管理装置,其特征在于,包括:
获取模块,用于获取考试场所内设置的图像采集设备采集的目标视频序列,所述目标视频序列包括对所述应试人员进行拍摄得到的视频片段和视频图像中的至少一项;
检测模块,用于对所述目标视频序列中的所述应试人员进行行为检测,得到检测结果;
生成模块,用于基于所述检测结果以及影响因子,生成或不生成告警提示信息。
14.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的应试人员行为管理方法的步骤。
15.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任一所述的应试人员行为管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110123330.XA CN112883832A (zh) | 2021-01-29 | 2021-01-29 | 应试人员行为管理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110123330.XA CN112883832A (zh) | 2021-01-29 | 2021-01-29 | 应试人员行为管理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112883832A true CN112883832A (zh) | 2021-06-01 |
Family
ID=76053457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110123330.XA Pending CN112883832A (zh) | 2021-01-29 | 2021-01-29 | 应试人员行为管理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112883832A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113723198A (zh) * | 2021-08-02 | 2021-11-30 | 浙江大华技术股份有限公司 | 动作检测方法、动作检测系统以及计算机可读存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017152425A1 (zh) * | 2016-03-11 | 2017-09-14 | 深圳市大疆创新科技有限公司 | 存储介质、网络测试防作弊的方法、系统及设备 |
CN108334846A (zh) * | 2018-02-06 | 2018-07-27 | 高强 | 一种智能考场监考方法及系统 |
CN110032992A (zh) * | 2019-04-25 | 2019-07-19 | 沈阳航空航天大学 | 一种基于姿态的考试作弊检测方法 |
CN110781762A (zh) * | 2019-09-30 | 2020-02-11 | 沈阳航空航天大学 | 一种基于姿态的考试作弊检测方法 |
CN110837784A (zh) * | 2019-10-23 | 2020-02-25 | 中山大学 | 一种基于人体头部特征的考场偷窥作弊检测系统 |
CN111178216A (zh) * | 2019-12-23 | 2020-05-19 | 东北大学 | 一种基于姿态时空特征的考场异常行为识别方法 |
CN111507134A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人形姿态检测方法、装置、计算机设备及存储介质 |
CN112036299A (zh) * | 2020-08-31 | 2020-12-04 | 山东科技大学 | 标准考场环境下的考试作弊行为检测方法及系统 |
-
2021
- 2021-01-29 CN CN202110123330.XA patent/CN112883832A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017152425A1 (zh) * | 2016-03-11 | 2017-09-14 | 深圳市大疆创新科技有限公司 | 存储介质、网络测试防作弊的方法、系统及设备 |
CN108334846A (zh) * | 2018-02-06 | 2018-07-27 | 高强 | 一种智能考场监考方法及系统 |
CN111507134A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人形姿态检测方法、装置、计算机设备及存储介质 |
CN110032992A (zh) * | 2019-04-25 | 2019-07-19 | 沈阳航空航天大学 | 一种基于姿态的考试作弊检测方法 |
CN110781762A (zh) * | 2019-09-30 | 2020-02-11 | 沈阳航空航天大学 | 一种基于姿态的考试作弊检测方法 |
CN110837784A (zh) * | 2019-10-23 | 2020-02-25 | 中山大学 | 一种基于人体头部特征的考场偷窥作弊检测系统 |
CN111178216A (zh) * | 2019-12-23 | 2020-05-19 | 东北大学 | 一种基于姿态时空特征的考场异常行为识别方法 |
CN112036299A (zh) * | 2020-08-31 | 2020-12-04 | 山东科技大学 | 标准考场环境下的考试作弊行为检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
熊思: "基于SVM的异常行为检测在电子考场中的应用研究", 《湖北第二师范学院学报》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113723198A (zh) * | 2021-08-02 | 2021-11-30 | 浙江大华技术股份有限公司 | 动作检测方法、动作检测系统以及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Czajka et al. | Presentation attack detection for iris recognition: An assessment of the state-of-the-art | |
US11074436B1 (en) | Method and apparatus for face recognition | |
CN106203297B (zh) | 一种身份识别方法及装置 | |
CN112328999B (zh) | 双录质检方法、装置、服务器及存储介质 | |
CN108470169A (zh) | 人脸识别系统及方法 | |
CN109522815A (zh) | 一种专注度评估方法、装置及电子设备 | |
CN111611865B (zh) | 考试作弊行为识别方法、电子设备及存储介质 | |
CN109685007B (zh) | 用眼习惯的预警方法、用户设备、存储介质及装置 | |
KR102593624B1 (ko) | 부정 행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
KR102615709B1 (ko) | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법 | |
CN111339801A (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
CN208351494U (zh) | 人脸识别系统 | |
Rigas et al. | Gaze estimation as a framework for iris liveness detection | |
KR20230110681A (ko) | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
CN114129165A (zh) | 一种基于可信评估量表的心理测评方法、系统及存储介质 | |
KR20230007250A (ko) | 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
CN112883832A (zh) | 应试人员行为管理方法、装置、电子设备及存储介质 | |
JP4708835B2 (ja) | 顔検出装置、顔検出方法、及び顔検出プログラム | |
KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
Yadav et al. | Attendance Management System Based on Face Recognition Using Haar-Cascade | |
CN110443122A (zh) | 信息处理方法及相关产品 | |
JP2016139353A (ja) | 画像判定装置および画像判定方法 | |
CN113920563A (zh) | 在线考试作弊识别方法、装置、计算机设备和存储介质 | |
KR20210158466A (ko) | 음성인식을 사용한 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
Bratoszewski et al. | Pilot testing of developed multimodal biometric identity verification system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210601 |
|
RJ01 | Rejection of invention patent application after publication |