CN102799893A - 考场监控视频处理方法 - Google Patents

Abstract

本发明涉及一种考场监控视频处理方法，包括以下步骤：步骤一、准备样品图像，样本图像分为正样本和负样本，即判定为正面人脸的图像和判定为非正面人脸的图像，根据样本图像生成分类器；步骤二、接收考试监控视频，每隔一定时间间隔从视频中采集一幅考生摄像头捕获图像，并使用步骤一得到的分类器进行分类，判断捕获图像是否为正面人脸图像；步骤三、如果检测到非正面人脸图像连续存在超过一定时间，则判定考生可能存在作弊行为，提醒系统管理员注意，或者对考生采取警告、终止考试等处理措施；本发明提供了一种自动处理考场监控视频的方法，从而可以使用价格低廉的普通摄像头实现无监考人员的自动考场监控。

Description

考场监控视频处理方法

技术领域

本发明涉及一种图像处理方法，特别涉及一种对考场监控图像进行处理的方法。

背景技术

目前国内外考试时一般均采取传统的人工监考的方式。部分在线考试系统尝试性的增加了视频监控功能。美国Prometric(普尔文)考试公司就是国际上最大的计算机化教育和考试认证服务的公司，开创了计算机化考试技术和管理标准，用于GRE和TOFEL等考试的机考系统，就具有考场视频监控功能，但是这种技术只是实现了考试环境的视频记录，不能实现针对每个考试个体和计算机的同步监控，除此之外，这种监控系统还需要大量人力参与分析视频信息，不能实现对海量视频信息的自动分析、预测和利用。同时这种技术需要专用的监控设备，设备价格昂贵，安装、调试及维护需要专业人士进行，成本过高、灵活性差。

发明内容

本发明的目的在于提供一种对考场监控视频记录进行实时处理的方法，从而可以无需人工监考，实现监考过程的自动化。

本发明的目的是通过以下基本技术方案实现的：

本发明提供了一种考场监控视频处理方法，包括以下步骤：

步骤一、准备样品图像，样本图像分为正样本和负样本，即判定为正面人脸的图像和判定为非正面人脸的图像，根据样本图像生成分类器；

步骤二、接收考试监控视频，每隔一定时间间隔从视频中采集一幅考生摄像头捕获图像，并使用步骤一得到的分类器进行分类，判断捕获图像是否为正面人脸图像；

步骤三、如果检测到非正面人脸图像连续存在超过一定时间，则判定考生可能存在作弊行为，提醒系统管理员注意，或者对考生采取警告、终止考试等处理措施；

其中，步骤一中根据样本图像生成分类器的方法为：

一、将样本图片记为(x₁,y₁)，…(x_n,y_n)，y_i＝1表示该样本为正例即判定为正面人脸的图像，y_i=0表示该例为负例即判定为非正面人脸的图像；

二、将所有的样本图像归一化为标准大小的图像，并且将所有的样本进行灰度化；

三、初始化样本权重：

W_t，i表示第t次循环中第i个样本的误差权重，初始化时，若第i个样本为负例，令

m为负例的样本个数；若第i个样本为正例，则令

l为正例的样本个数；

四、训练系统的强分类器，具体方法为：

A.指定强分类器中包含的弱分类器的个数T，对t=1，...T，循环执行以下步骤：

1)归一化权重：

其中t＝1，...T，T为训练的次数；

2)对每一个Haar特征f，训练一个弱分类器h(x，f，p，θ)；计算对应这个特征的弱分类器的分类误差；Haar特征就是用两个相邻的矩形组成的特征，其中一个用白色矩形表示，一个用黑色矩形表示，Haar特征模板包括边缘特征、线性特征、中心特征和对角线特征，每个特征模板内有白色和黑色两种矩形，特征模板在一幅图像子窗口内可以放置在任意放置并可以缩放，任意一种形态的任意一次缩放摆放称为一种特征，定义该模板的特征值为白色矩形像素和减去黑色矩形像素和，对于灰度图像，像素和即每个像素灰度值之和；

3)选取最佳的即拥有最小错误率ε_t的弱分类器h_t(x)＝h(x，f_t，p_t，θ_t)，其中f_t，p_t，θ_t是使ε_t为最小的值；

4)按照上一步得到的最佳弱分类器调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中，如果x_i被正确分类，e_i=0，如果x_i被错误地分类，e_i=1，

B.最终得到的强分类器为：

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t};$

步骤2)中，训练弱分类器及计算加权错误率的方法为：

对每一个特征f，训练一个弱分类器h(x，f，p，θ)

其中f为特征，θ为阈值，p指示不等号的方向，就是1和-1，用来判别系统指定的是大于阈值符合标准还是小于阈值符合标准，x代表一个检测子窗口，f(x)代表该特征模板的特征值；

对每个特征f，训练一个弱分类器h(x，f，p，θ)，就是确定f的最优阈值，使得这个弱分类器h(x，f，p，θ)对所有的训练样本的分类误差最低；

对每个特征进行弱分类器训练的过程为：

(1)对每个特征f，得到所有训练样本的特征值；

(2)将特征值排序；

(3)对排好序的每个元素：

(i)计算全部正样本的权重和T⁺；

(ii)计算全部负样本的权重和T^-；

(iii)计算该元素前正样本的权重和S⁺；

(iv)计算该元素前负样本的权重和S^-；

(v)选取当前元素的特征值

和它前面的一个特征值

之间的数作为阈值，并计算该阈值的分类误差为：

e=min(S⁺+(T^--S^-)，S^-+(T⁺-S⁺))；

(4)比较所有分类误差，得到使分类误差最小的阈值，作为针对特征f的弱分类器。

有益效果

本发明提供了一种自动处理考场监控视频的方法，从而可以使用价格低廉的普通摄像头实现无监考人员的自动考场监控。

附图说明

图1为Haar特征的边缘特征模板；

图2为Haar特征的线性特征模板；

图3为Haar特征的中心特征和对角线特征模板；

图4为积分图的示意图；

图5为用积分图计算特征的示意图；

图6为级联强分类器的示意图。

具体实施方式

下面结合附图，具体说明本发明的优选实施方式。

本发明所使用的一个基本技术是Haar特征。Haar特征，就是用两个相邻的矩形组成的特征，其中一个用白色矩形表示，一个用黑色矩形表示。如图1、图2和图3所示，目前所采用的Haar特征主要分为三类：边缘特征、线性特征、中心特征和对角线特征，它们组成了所有Haar特征模板。每个特征模板内有白色和黑色两种矩形，定义该模板的特征值为白色矩形像素和减去黑色矩形像素和，对于灰度图像，像素和即每个像素灰度值之和。在确定了特征形式后，Haar特征的数量就取决于训练样本图像矩阵的大小，特征模板在一幅图像子窗口内任意放置并可以缩放，任意一种形态的任意一次缩放摆放称为一种特征，找出特征并计算其特征值是进行弱分类训练的基础，训练的过程便是从所有特征中找出一些分类能力强的特征，获得弱分类器，再经过级联组成一个强分类器的过程。

子窗口中的特征个数即为特征矩形的个数。训练时，将每一个特征在训练图像子窗口中进行滑动计算，获取各个位置的各类矩形特征。在子窗口中位于不同位置的同一类型矩形特征，属于不同的特征。可以证明，在确定了特征的形式之后，矩形特征的数量只与子窗口的大小有关。在24×24像素的检测窗口中，矩形特征的数量约为160,000个。

在获取了矩形特征后，要计算矩形特征的值。矩形特征的值可以利用积分图的方法计算。积分图的概念可用图4表示：

坐标A(x，y)的积分图是其左上角的所有像素之和(图中的阴影部分)。定义为：

$\mathrm{ii}(x,y)=\underset{x^{\′}\≤x,y^{\′}\≤y}{\mathrm{\Σ}}i(x^{\′},y^{\′})--\left(1\right)$

其中ii(x,y)表示积分图，i(x，y)表示原始图像，对于彩色图像，是此点的颜色值；对于灰度图像，是其灰度值，范围为0～255。

在图4中，A(x，y)表示点(x，y)的积分图；s(x，y)表示点(x，y)的y方向的所有原始图像之和。积分图也可以用公式(2)和公式(3)得出：

s(x，y)=s(x，y-1)+i(x，y)                         (1)

ii(x,y)=ii(x-1，y)+s(x，y)                        (2)

一个区域的像素值，可以由该区域的端点的积分图来计算。由前面特征模板的特征值的定义可以推出，矩形特征的特征值可以由特征端点的积分图计算出来。以“两矩形特征”中的第二个特征为例，如图5，使用积分图计算其特征值：该矩形特征的特征值，由定义，为区域A的像素值减去区域B的像素值。

区域A的像素值=ii(5)+ii(1)-ii(2)-ii(4)

区域B的像素值=ii(6)+ii(2)-ii(5)-ii(3)

所以：

该矩形特征的特征值=

ii(5)+ii(1)-ii(2)-ii(4)-[ii(6)+ii(2)-ii(5)-ii(3)]＝

[ii(5)-ii(4)]+[ii(3)-ii(2)]-[ii(2)-ii(1)]-[ii(6)-ii(5)]

所以，矩形特征的特征值，只与特征矩形的端点的积分图有关，而与图像的坐标无关。通过计算特征矩形的端点的积分图，再进行简单的加减运算，就可以得到特征值。正因为如此，特征的计算速度大大提高，也提高了目标的检测速度。

本实施例实现了一种考场监控视频的处理方法，包括以下步骤：

步骤一、准备样品图像，样本图像分为正样本和负样本，即判定为正面人脸的图像和判定为非正面人脸的图像，根据样本图像生成分类器；

步骤二、接收考试监控视频，每隔一定时间间隔从视频中采集一幅考生摄像头捕获图像，并使用步骤一得到的分类器进行分类，判断捕获图像是否为正面人脸图像；

步骤三、如果检测到非正面人脸图像连续存在超过一定时间，则判定考生可能存在作弊行为，提醒系统管理员注意，或者对考生采取警告、终止考试等处理措施；

其中，步骤一中根据样本图像生成分类器的方法为：

一、将样本图片记为(x₁，y₁)，…，(x_n，y_n)，y_i=1表示该样本为正例即判定为正面人脸的图像，y_i＝0表示该例为负例即判定为非正面人脸的图像；

二、将所有的样本图像归一化为20*20像素大小的图像，并且将所有的样本进行灰度化；

三、初始化样本权重：

w_t，i表示第t次循环中第i个样本的误差权重，初始化时，若第i个样本为负例，令

m为负例的样本个数；若第i个样本为正例，则令

l为正例的样本个数；

四、训练系统的强分类器，具体方法为：

A.指定强分类器中包含的弱分类器的个数T=200，对t＝1，...T，循环执行以下步骤：

1)归一化权重：

其中t＝1，...T，T为训练的次数；

2)对每一个特征f，训练一个弱分类器h(x，f，p，θ)；计算对应所有特征的弱分类器的分类误差；

3)选取最佳的即拥有最小错误率ε_t的弱分类器h_t(x)=h(x，f_t，p_t，θ_t)，其中f_t，p_t，θ_t是使ε_t为最小的值；

4)按照上一步得到的最佳弱分类器调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中，如果x_i被正确分类，e_i=0，如果x_i被错误地分类，e_i=1，

B.最终得到的强分类器为：

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t};$

步骤2)中，训练弱分类器及计算加权错误率的方法为：

对每一个特征f，训练一个弱分类器h(x，f，p，θ)

其中f为特征，θ为阈值，p指示不等号的方向，就是1和-1，用来判别系统指定的是大于阈值符合标准还是小于阈值符合标准，x代表一个检测子窗口，f(x)代表该特征模板的特征值；

对每个特征f，训练一个弱分类器h(x，f，p，θ)，就是确定f的最优阈值，使得这个弱分类器h(x，f，p，θ)对所有的训练样本的分类误差最低；

对每个特征进行弱分类器训练的过程为：

(1)对每个特征f，得到所有训练样本的特征值；

(2)将特征值排序；

(3)对排好序的每个元素：

(i)计算全部正样本的权重和T⁺；

(ii)计算全部负样本的权重和T^-；

(iii)计算该元素前正样本的权重和S⁺；

(iv)计算该元素前负样本的权重和S^-；

(v)选取当前元素的特征值

和它前面的一个特征值

之间的数作为阈值，并计算该阈值的分类误差为：

e=min(S⁺+(T^--S^-)，S^-+(T⁺-S⁺))；

(4)比较所有分类误差，得到使分类误差最小的阈值，作为针对特征f的弱分类器。

以上步骤实现了一个强分类器，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。

本实施例只采用了一个包含200个弱分类器的强分类器，在另一个实施例中，采用了级联强分类器，如图6所示。每个强分类器只包含10个左右的弱分类器，如果测试样本在第一个强分类器中就被判定为负样本，就不需要再传递给下一个强分类器判断了，这样判定一个负样本只需要10个弱分类器，比单个的强分类器的200个弱分类器的判定时间要少的多。如果一个样本被第一个强分类器判定为正样本，才会继续送到第二个强分类器继续进行判定，增强正样本的可靠性。但是负样本的可靠性非常高，如果第一个强分类器就判定为负样本，则无需继续送到下级的强分类器进行判定。

在本实施例中，在对考生摄像头捕获图像进行人脸检测的过程中，首先确定一个初始大小为20*20的检测窗口，让这个检测窗口从整个图像的左上按着指定的步长移动到图像的右下角。对于每一个检测子窗口，把这个子窗口输入到分类器中，就可以由分类器返回这个子窗口是否是正面人脸图像的结果。

考虑到人脸图像可能有的很大，有的很小，所以在检测人脸的过程中，还需要放大检测窗口，再重新对人脸图像进行检测。在本实施例中，每次检测过程放大检测窗口1.2倍，直到检测窗口超过检测图像的一半以后停止。检测窗口每次放大以后，还要重新遍历整个图像获取人脸区域。

在本实施例中，考虑到考生坐在电脑面前，面部区域距离摄像头的距离不可能变化太大，所以添加检测到的面部区域大小的判断。在系统运行前先获取10帧考生头像，计算面部区域的平均面积，这样就能设定一个平均面积的阈值，如果检测到的人脸区域的面积不在平均面积范围之内，则算是没有检测到人脸。该步骤可以直接用来判断是否正面人脸，也可以与分类器分类方法结合，以对分类器分类结果进行验证。

在本实施例中，还可以增加在检测到的面部区域进行眼睛检测的步骤。假设检测到了考生的正面人脸，我们还可以在这个基础上进行眼睛检测，如果可以检测到两只眼睛，则可以完全确认正面人脸的检测结果正确；如果在检测到的正面人脸区域检测不到两只眼睛，则说明可能检测到的正面人脸存在不可信性。该增加的步骤可用来对分类器的分类结果进行验证。

在本实施例中，还可以添加考生考试前期调整摄像头的控制。设定一个耳朵分类器和嘴巴分类器，在考生考试之前，检测到考生的耳朵和嘴巴，根据考生的耳朵和嘴巴的位置提示考生调整摄像头，保证考生人脸区域能够在系统识别的最佳区域，这样可以为以后的人脸检测提供更好的效果。

本发明不仅限于以上实施例，凡是利用本发明的设计思路，做一些简单变化的设计，都应计入本发明的保护范围之内。

Claims (8)

1.一种考场监控视频处理方法，包括以下步骤：

步骤一、准备样品图像，样本图像分为正样本和负样本，即判定为正面人脸的图像和判定为非正面人脸的图像，根据样本图像生成分类器；

步骤二、接收考试监控视频，每隔一定时间间隔从视频中采集一幅考生摄像头捕获图像，并使用步骤一得到的分类器进行分类，判断捕获图像是否为正面人脸图像；

步骤三、如果检测到非正面人脸图像连续存在超过一定时间，则判定考生可能存在作弊行为，提醒系统管理员注意，或者对考生采取警告、终止考试等处理措施。

2.根据权利要求1所述的一种考场监控视频处理方法，其特征在于，步骤一中根据样本图像生成分类器的方法为：

一、将样本图片记为(x₁,y₁)，…(x_n,y_n)，y_i＝1表示该样本为正例即判定为正面人脸的图像，y_i=0表示该例为负例即判定为非正面人脸的图像；

二、将所有的样本图像归一化为标准大小的图像，并且将所有的样本进行灰度化；

三、初始化样本权重：

W_t，i表示第t次循环中第i个样本的误差权重，初始化时，若第i个样本为负例，令m为负例的样本个数；若第i个样本为正例，则令

l为正例的样本个数；

四、训练系统的强分类器，具体方法为：

A.指定强分类器中包含的弱分类器的个数T，对t=1，...T，循环执行以下步骤：

1)归一化权重：

其中t＝1，...T，T为训练的次数；

2)对图像中每一个Haar特征f，训练一个弱分类器h(x，f，p，θ)；计算对应这个特征的弱分类器的分类误差；

3)选取最佳的即拥有最小错误率ε_t的弱分类器h_t(x)=h(x，f_t，p_t，θ_t)，其中f_t，p_t，θ_t是使ε_t为最小的值；

4)按照上一步得到的最佳弱分类器调整权重：

$w_{t+1,i}=w_{t,i}{\mathrm{\β}}_t^{1-e_i}$

其中，如果x_i被正确分类，e_i=0，如果x_i被错误地分类，e_i=1，

B.最终得到的强分类器为：

其中 ${\mathrm{\α}}_t=\log \frac{1}{{\mathrm{\β}}_t};$

步骤2)中，训练弱分类器及计算加权错误率的方法为：

对每一个特征f，训练一个弱分类器h(x，f，p，θ)

其中f为特征，θ为阈值，p指示不等号的方向，就是1和-1，用来判别系统指定的是大于阈值符合标准还是小于阈值符合标准，x代表一个检测子窗口，f(x)代表该特征模板的特征值；

对每个特征f，训练一个弱分类器h(x，f，p，θ)，就是确定f的最优阈值，使得这个弱分类器h(x，f，p，θ)对所有的训练样本的分类误差最低；

对每个特征进行弱分类器训练的过程为：

(1)对每个特征f，得到所有训练样本的特征值；

(2)将特征值排序；

(3)对排好序的每个元素：

(i)计算全部正样本的权重和T⁺；

(ii)计算全部负样本的权重和T^-；

(iii)计算该元素前正样本的权重和S⁺；

(iv)计算该元素前负样本的权重和S^-；

(v)选取当前元素的特征值和它前面的一个特征值

之间的数作为阈值，并计算该阈值的分类误差为：

e=min(S⁺+(T^--S^-)，S^-+(T⁺-S⁺))；

(4)比较所有分类误差，得到使分类误差最小的阈值，作为针对特征f的弱分类器。

3.根据权利要求2所述的一种考场监控视频处理方法，其特征在于，训练多个级联的强分类器，减少每个强分类器包含的弱分类器数目。

4.根据权利要求2或3所述的一种考场监控视频处理方法，其特征在于，在步骤二中，确定一个初始大小为标准大小的检测窗口，让这个检测窗口从整个图像的左上按着指定的步长移动到图像的右下角，对于每一个检测子窗口，把这个子窗口输入到分类器中，就可以由分类器返回这个子窗口是否是正面人脸图像的结果。

5.根据权利要求4所述的一种考场监控视频处理方法，其特征在于，在检测人脸的过程中，还需要放大检测窗口，再重新对人脸图像进行检测，每次检测过程放大检测窗口1.2倍，直到检测窗口超过检测图像的一半以后停止，检测窗口每次放大以后，还要重新遍历整个图像获取人脸区域。

6.根据权利要求1所述的一种考场监控视频处理方法，其特征在于，在步骤二中增加检测到的面部区域大小的判断，在系统运行前先获取10帧考生头像，计算面部区域的平均面积，设定一个平均面积的阈值，如果检测到的人脸区域的面积不在平均面积范围之内，则算是没有检测到人脸。

7.根据权利要求1所述的一种考场监控视频处理方法，其特征在于，在步骤二中增加在检测到的面部区域进行眼睛检测的步骤，在检测到的正面人脸区域如果可以检测到两只眼睛，则确认正面人脸的检测结果正确；如果检测不到两只眼睛，则说明可能检测到的正面人脸存在不可信性。

8.根据权利要求1所述的一种考场监控视频处理方法，其特征在于，在步骤二之前，添加考生考试前期调整摄像头的控制，设定一个耳朵分类器和嘴巴分类器，在考生考试之前，检测到考生的耳朵和嘴巴，根据考生的耳朵和嘴巴的位置提示考生调整摄像头，保证考生人脸区域能够在系统识别的最佳区域。

Images