CN106156713A - 一种用于考场行为自动监控的图像处理方法 - Google Patents

Abstract

一种用于考场行为自动监控的图像处理方法，包括如下步骤：A、标定出各桌面区域：(1)将桌面区域分割设置Roi，对于图像中的每一帧，只检测桌面Roi区域；(2)对空考场图像进行图像光照预处理；(3)对预处理后的空考场图像进行图像二值化处理；(4)对桌面区域进行精确定位；(5)人工修整最终桌面区域；B、确定桌面区域的手部数量：C、进行考生异常行为的识别。该方法有效地解决了传统视频监控系统存在的不足，提高了视频监控效率，最大程度地降低了监控系统对人力工作的依赖程度，真正实现了在考场中对考生行为的实时观测和异常行为的提取。

Description

一种用于考场行为自动监控的图像处理方法

技术领域：

本发明涉及一种用于考场行为自动监控的图像处理方法。该方法适用于安装了考场摄像头的各类考场，在图像数据自动处理的基础上提示监考人员可能发生作弊的考生位置。

背景技术：

随着各类公共考试的公平性越来越成为人们关注的焦点，电子监考系统得到了更广泛的认可，从2005年起，全国各地区陆续在中、高考定点考场建立了电子监考系统，至2009年，全国有6万余所高考考点以及数量众多的各类考场实施了视频监控。视频监控系统的实行，使考试院校可以对各考点实现远程电子巡查及应急指挥，对保障考试公平性起到了一定的作用。

但目前广泛使用的电子监考系统只具有简单的画面摄录、视频存储、视频回放查看的功能，在对考场中考生行为的实时分析和识别方面仍需要较多的人工工作来完成。且在人力工作方面，普遍采取的是一个监控人员同时监控多个画面，或者是多个摄像头采集的图像轮番出现在主监控显示器上的工作方式，难以避免的导致一些画面的遗漏，进而使异常行为的识别上存在漏检的情况，难以保障考试公平性和公正性。除此之外，任何异常行为的发生，尤其是对考试作弊行为的认定，关乎学生声誉和个人发展，因此在认定考试作弊行为时，需要监控人员准确提供与当时报警行为相对应的视频录像材料。传统的监控系统在智能存储方面存在欠缺，无法实现录像数据的自动分类存储、智能检测，只能提供简单的视频回放查看功能，监控人员不得不从庞大的视频数据资料中筛选出帧图，使调查取证工作变得极其耗时，且难以保证搜索结果的准确性和全面性。

发明内容：

本发明的目的就在于提供一种用于考场行为自动监控的图像处理方法，该方法有效地解决了传统视频监控系统存在的不足，提高了视频监控效率，最大程度地降低了监控系统对人力工作的依赖程度，真正实现了在考场中对考生行为的实时观测和异常行为的提取。

如上构思，本发明的技术方案是：一种用于考场行为自动监控的图像处理方法，其特征在于：包括如下步骤：

一、标定出各桌面区域：

(1)将桌面区域分割设置Roi，对于图像中的每一帧，只检测桌面Roi区域；

(2)对空考场图像进行图像光照预处理；

(3)对预处理后的空考场图像进行图像二值化处理；

(4)对桌面区域进行精确定位；

(5)人工修整最终桌面区域；

二、确定桌面区域的手部数量：

在肤色分割区域精确定位出手部的数量，具体操作如下：

(1)对第i个桌面区域的肤色检测二值图，进行8连通的目标扫描，记第i个桌面区域第j个目标的面积为SSkin_ij，其中j为扫描到的目标序号，j＝0,1,2；

(2)判断max(j)的取值：

if(max(j)＝＝0)HaNum_i＝0；

if(max(j)＝＝2)HaNum_i＝2；

if(max(j)＝＝1)进入步骤(3)；

HaNum_i为第i个桌面区域检测到的手的数量，取值为0,1,2；

(3)基于面积比的判定：

如果(其中Γ为给定的面积比阈值)，则认为桌面区域出现的肤色范围大于一个手臂的范围，可以认为桌面上出现的区域为两个手臂，设置HaNum_i＝2；，反之则认为桌面区域只包含一个手臂信息，设置HaNum_i＝1；

三、进行考生异常行为的识别，具体方法是：

首先提取考场中各桌面区域用作检测区域，对于每帧图像，只提取桌面区域为感兴趣区域，减少计算量；对于一个桌面区域，逐一检测各桌面区域中包含的手部信息：

(1)如果该桌面区域考生缺考，则在该桌面区域不应出现肤色信息，一旦出现肤色，即可以认为存在异常行为，直接进行报警提示；

(2)如果该区域考生没有缺考，则判断手部数量：若检测不到手部信息，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果只检测到一个手部区域，且该区域上一帧手部检测也仅为一，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果该区域上一帧手部检测区域为二，则将该区域标记为待考察帧，设置桌面标记值为1；如果检测到两个手部区域，则认为正常，桌面标记值设置为2。

上述图像光照预处理采用非线性函数互相叠加的修正模式。

上述图像二值化采用基于HIS颜色空间模型的融合颜色信息和空间信息的彩色图像二值化算法。

上述对桌面区域进行精确定位的方法是：

(1)设置图像右下角为坐标零点，按照从右自左，从下至上的顺序，采用八连通对二值化图像进行标记，记录各目标标号i、面积S_i，中心位置A_i(x_i,y_i)；

(2)取面积最大的区域，记为A₀,该区域的中心位置为A₀(x₀，y₀)，面积为S₀；

(3)第i个待检测区域的中心像素坐标为A_i(x_i,y_i),区域面积为S_i，计算该区域的桌面相似比Th_i，桌面相似比Th的计算公式如下：

$T{h}_i=\frac{S_i}{S_0}*\sqrt{{(x_0-x_i)}^2+{(y_0-y_i)}^2}$

如果Th_i∈[Th_min,Th_max]，其中Th_min、Th_max为系统给定的相似比最小，最大值，则认为该区域为桌面区域，对该结构体予以保留，反之，则认为该区域不为桌面区域，从数据库中将该桌面结构体删除。

本发明的优点是：

1、本发明实现了空考场图像的光照均衡预处理。

2、本发明利用经过光照均衡预处理后的考场图像，可实现清晰的考场桌面区域提取。

3、本发明实现了基于桌面区域提取的桌面检测。

4、本发明利用肤色分割算法实现了桌面区域手部数量的判断算法，并且使该算法对于光照效果具有较好的鲁棒性。

5、本发明实现了以手部数量识别为基础的考场异常行为监测方法。

附图说明：

图1是对预处理后的空考场图像进行图像二值化处理后的示意图；

图2是对桌面区域进行精确定位后的示意图；

图3是人工修整最终桌面区域示意图。

具体实施方式：

一种用于考场行为自动监控的图像处理方法，包括如下步骤：

一、标定出各桌面区域：

1、由于视频图像处理，数据量很大，为保证实时性，将桌面区域分割设置Roi，对于图像中的每一帧，只检测桌面Roi区域，虽然在一开始浪费了一定的存储空间，但是由于避免了对整幅图像的处理，待处理的数据量减少了近三分之二，确保了系统检测的实时性。

2、定位桌面区域：

①本系统采用师一华等研究的非线性函数互相叠加的修正模式，对空考场图像进行光照预处理；

该方法采用分段的形式，使Gamma值的变化更加合理，提高了Gamma矫正对光照变化的适应能力，且能避免图像失真现象。结合本系统规则的要求，本系统选用该方法实现图像光照预处理，经试验证明光照均衡效果良好。

②对预处理后的空考场图像进行图像二值化处理；本系统采用了一种基于HIS颜色空间模型的融合颜色信息和空间信息的彩色图像二值化算法，根据不同通道的特点分别采用不同的阈值分割办法，分割效果良好，且能满足实时性的要求。

二值化后效果如图1所示：

比对二值化后的图像和源图像，可以看出图像存在噪点，由于椅子的颜色和桌子颜色一致，因此有部分椅子也被划分到桌面区域里，造成误检测，同时由于桌子光线和纹理特征，在桌子内部存在细微的空洞现象。原理摄像头的位置，由于摄像角度的问题，检测的区域不是特别明显，主要表现在最后一排的位置上。

③对桌面区域进行精确定位；如图2所示：

本系统研发中比较了几种常用的结构元素后选择3*3全1结构元素进行三次开运算，效果图如下：从图中可以看出，采用数学形态学的腐蚀和膨胀运算后，可以有效的消除噪点，但是画面中仍旧存在一些误检测。

利用基于空间信息和面积的区域筛选

精确定位算法：

a、设置图像右下角为坐标零点，按照从右自左，从下至上的顺序，采用八连通对二值化图像进行标记，记录各目标标号i、面积S_i，中心位置A_i(x_i,y_i).

b、取面积最大的区域，记为A₀,该区域的中心位置为A₀(x₀，y₀)，面积为S_0，

c、第i个待检测区域的中心像素坐标为A_i(x_i,y_i),区域面积为S_i，计算该区域的桌面相似比Th_i，桌面相似比Th的计算公式如下：

$T{h}_i=\frac{S_i}{S_0}*\sqrt{{(x_0-x_i)}^2+{(y_0-y_i)}^2}$

如果Th_i∈[Th_min,Th_max]，其中Th_min、Th_max为系统给定的相似比最小，最大值，则认为该区域为桌面区域，对该结构体予以保留，反之，则认为该区域不为桌面区域，从数据库中将该桌面结构体删除。进行类桌面区域剔除后效果图：

3、人工修整最终检测区域：如图3所示：

桌面的准确检测与否直接关系到异常行为的识别，因此，在经过计算机自行检测后，将检测结果返回到界面上，供监控人员检查识别准确度，同时对由于摄像机角度问题导致的漏检或者检测区域偏移进行修正，修正机器分割结果，确保检测精准。

二、确定桌面区域的手部数量：

基于肤色检测的手部定位

考察桌面区域可以看出，在桌面区域内出现的皮肤区域包括考生的手臂和双手，除非考生趴在桌面上，否则在桌面区域不会出现脸部信息。因为异常识别规则中需要判断桌面区域出现的手部数量，所以，在进行肤色分割后，需要在肤色分割区域精确定位出手部的数量，本系统采用了一种基于连通准则和面积比判定的手部数量确定办法，具体操作如下：

Step1：对第i个桌面区域的肤色检测二值图，进行8连通的目标扫描，记第i个桌面区域第j个目标的面积为SSkin_ij，其中j为扫描到的目标序号，j＝0,1,2。

Step2：判断max(j)的取值：

if(max(j)＝＝0)HaNum_i＝0；

if(max(j)＝＝2)HaNum_i＝2；

if(max(j)＝＝1)goto step3；

Step3：基于面积比的判定：

如果(其中Γ为给定的面积比阈值)，则认为桌面区域出现的肤色范围大于一个手臂的范围，可以认为桌面上出现的区域为两个手臂，设置HaNum_i＝2；，反之则认为桌面区域只包含一个手臂信息，设置HaNum_i＝1；

该算法的关键问题在于面积比阈值Γ的确定，系统采用机器学习的方法进行确定。选取300张肤色检测二值图像，人工标注手的数量，计算肤色区域与桌面区域面积比，确定了最佳面积比阈值。

三、进行考生异常行为的识别，具体方法是：

首先提取考场中各桌面区域用作检测区域，对于每帧图像，只提取桌面区域为感兴趣区域，减少计算量；对于一个桌面区域，逐一检测各桌面区域中包含的手部信息：

(1)如果该桌面区域考生缺考，则在该桌面区域不应出现肤色信息，一旦出现肤色，即可以认为存在异常行为，直接进行报警提示；

(2)如果该区域考生没有缺考，则判断手部数量：若检测不到手部信息，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果只检测到一个手部区域，且该区域上一帧手部检测也仅为一，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果该区域上一帧手部检测区域为二，则将该区域标记为待考察帧，设置桌面标记值为1；如果检测到两个手部区域，则认为正常，桌面标记值设置为2。

引入异常频率变量F_i，比较F_i与给定阈值

上述方法的具体步骤如下：

MaxNum：考场中应有的桌面区域，一般为30.

ActFlag(i)：判断第i个桌面是否为缺考，该值为1，表示该区域有考生；置为0则表示该区域没有考生。初始值为1，即默认所有考生均参加考试。

HaNum_i：第i个桌面区域检测到的手的数量，取值为0,1,2；

Mkey_i：第i个桌面区域的标记值，初始值为2，表示情况正常。

t_ix：第i个桌面区域第x次异常行为发生时间。

F_i：异常频率变量，表示第i个桌面的异常频率，定义为：

$F_i=\frac{x-y}{t_{\mathrm{ix}}-t_{\mathrm{iy}}},(x\≠y)$

(2.1)

异常识别算法：

1：读取第M帧，进行帧内异常判断：

2、第M帧帧内识别结束，计算F_i，如果F_i＞F₀，响铃报警。

3、判断第M+1帧是否为空，若为空，则退出检测，反之回到步骤1继续检测。

本发明是针对考场作弊行为辅助判定和主动提示的图像处理技术方法，可及时提醒监考人员可能发生的作弊行为和考生位置。

Claims (4)

1.一种用于考场行为自动监控的图像处理方法，其特征在于：包括如下步骤：

A、标定出各桌面区域：

(1)将桌面区域分割设置Roi，对于图像中的每一帧，只检测桌面Roi区域；

(2)对空考场图像进行图像光照预处理；

(3)对预处理后的空考场图像进行图像二值化处理；

(4)对桌面区域进行精确定位；

(5)人工修整最终桌面区域；

B、确定桌面区域的手部数量：

在肤色分割区域精确定位出手部的数量，具体操作如下：

(1)对第i个桌面区域的肤色检测二值图，进行8连通的目标扫描，记第i个桌面区域第j个目标的面积为SSkin_ij，其中j为扫描到的目标序号，j＝0,1,2；

(2)判断max(j)的取值：

if(max(j)＝＝0)HaNum_i＝0；

if(max(j)＝＝2)HaNum_i＝2；

if(max(j)＝＝1)进入步骤(3)；

HaNum_i为第i个桌面区域检测到的手的数量，取值为0,1,2；

(3)基于面积比的判定：

如果(其中Γ为给定的面积比阈值)，则认为桌面区域出现的肤色范围大于一个手臂的范围，可以认为桌面上出现的区域为两个手臂，设置HaNum_i＝2；，反之则认为桌面区域只包含一个手臂信息，设置HaNum_i＝1；

C、进行考生异常行为的识别，具体方法是：

首先提取考场中各桌面区域用作检测区域，对于每帧图像，只提取桌面区域为感兴趣区域，减少计算量；对于一个桌面区域，逐一检测各桌面区域中包含的手部信息：

(1)如果该桌面区域考生缺考，则在该桌面区域不应出现肤色信息，一旦出现肤色，即可以认为存在异常行为，直接进行报警提示；

(2)如果该区域考生没有缺考，则判断手部数量：若检测不到手部信息，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果只检测到一个手部区域，且该区域上一帧手部检测也仅为一，则认为存在异常，将该桌面区域异常变量加1，同时记录该时刻时间；如果该区域上一帧手部检测区域为二，则将该区域标记为待考察帧，设置桌面标记值为1；如果检测到两个手部区域，则认为正常，桌面标记值设置为2。

2.根据权利要求1所述的一种用于考场行为自动监控的图像处理方法，其特征在于：上述图像光照预处理采用非线性函数互相叠加的修正模式。

3.根据权利要求1所述的一种用于考场行为自动监控的图像处理方法，其特征在于：上述图像二值化采用基于HIS颜色空间模型的融合颜色信息和空间信息的彩色图像二值化算法。

4.根据权利要求1所述的一种用于考场行为自动监控的图像处理方法，其特征在于：上述对桌面区域进行精确定位的方法是：

(1)设置图像右下角为坐标零点，按照从右自左，从下至上的顺序，采用八连通对二值化图像进行标记，记录各目标标号i、面积S_i，中心位置A_i(x_i,y_i)；

(2)取面积最大的区域，记为A₀,该区域的中心位置为A₀(x₀，y₀)，面积为S_0；

(3)第i个待检测区域的中心像素坐标为A_i(x_i,y_i),区域面积为S_i，计算该区域的桌面相似比Th_i，桌面相似比Th的计算公式如下：

$T{h}_i=\frac{S_i}{S_0}*\sqrt{{(x_0-x_i)}^2+{(y_0-y_i)}^2}$

如果Th_i∈[Th_min,Th_max]，其中Th_min、Th_max为系统给定的相似比最小，最大值，则认为该区域为桌面区域，对该结构体予以保留，反之，则认为该区域不为桌面区域，从数据库中将该桌面结构体删除。