CN101916365B - 对考试作弊事件进行智能视频识别的方法 - Google Patents

Abstract

本发明实施例提供了一种对考试作弊事件进行智能视频识别的方法，首先针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点；根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据；使用一系列的样本图例对决策树进行训练，得到每个节点预先设定的阈值以及最后一层节点中对应不同作弊事件的概率值，并根据所述决策树的数据来判断相应的作弊事件。通过以上的技术方案，就可以自动检测考场监控视频中出现的考生作弊行为和监考老师的不作为现象，而不再需要工作人员时刻紧盯视频画面来搜索作弊事件，从而节省大量的人力物力财力，并提高了工作效率。

Description

对考试作弊事件进行智能视频识别的方法

技术领域

本发明涉及视频监控领域，尤其涉及一种对考试作弊事件进行智能视频识别的方法。

背景技术

目前，随着计算机视觉技术和人工智能理论研究的逐步深入及其应用的进一步推广，监控系统被引向更多的利用视频图像理解和智能信息处理技术的方向，使系统呈现出智能化，形成了智能视频监控系统。基于事件的智能视频分析技术可以借助计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，提取用户关心的事件，从而为监控者提供有用的关键信息。

基于事件的视频监控在我国可以说是个较新的领域，但对智能事件监控产品的研发和需求关注的单位已有不少，并有越来越多的实体加入这个行列，相关的视频(视觉)/图像处理与分析技术的研究逐步受到学者、政府和商家的关注和重视。

在教育考试领域中，为了营造良好、公正、公平的国家教育统一考试，常常需要利用智能监控技术来对违规事件进行监测，然而完全依靠人眼去看视频的方式来发现舞弊现象是不现实也是不科学的，例如，辽宁省2007年曾经动用约200名教师去逐个查阅近10万小时的高考录像资料，以便对作弊现象进行核实，这耗费了大量的时间和人工。

由此可见，在现有技术中，电子监控系统虽然使用摄像头对考场进行现场监控，但却需要人为的对考场中各种事件进行判断和处理，从而耗费了大量的人力和物力资源。

发明内容

本发明实施例提供了一种对考试作弊事件进行智能视频识别的方法，可以自动检测考场监控视频中出现的考生作弊行为和监考老师的不作为现象，而不再需要工作人员时刻紧盯视频画面来搜索作弊事件，从而节省大量的人力物力财力，并提高了工作效率。

本发明实施例提供了一种对考试作弊事件进行智能视频识别的方法，包括：

针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，并得到前景图像和背景图像；

根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据；

采用决策树算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，得到每个节点预先设定的阈值以及最后一层节点中对应不同作弊事件的概率值，并根据所述决策树的数据来判断相应的作弊事件，其中所述相应的作弊事件包括考生站立、考生离开或传递试卷。

所述针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，具体包括：

针对考场监控视频，用基于背景点颜色分布的高斯混合模型来进行背景建模；通过背景分布模型来判断某一个像素点是否属于背景像素点，以此来区分前景像素点和背景像素点。

在根据所述前景图像提取运动像素特征值之前，所述方法还包括：

对所述前景图像进行灰度化处理。

所述决策树的输入是一组带有类别标记的例子，构造的结果是一棵二叉或多叉树。

所述决策树由二叉树构成，具体包括：

在所述决策树的第一个节点，取决策树指定区域的特征值与决策树预先设定的阈值进行判断来决定下一个分支是左支，还是右支；

当判断出下一个分支后，取下一个分支指定区域的特征值与其预先设定的阈值进行判断来决定下一步往哪一个分支走；

如此计算直到该决策树最底层的最后一个节点，在该最后一个节点中，获得相应作弊事件的概率值，哪一个作弊事件的概率值最高，则表示本次决策的事件为哪一个作弊事件。

由上述所提供的技术方案可以看出，首先针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，并得到前景图像和背景图像；根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据；采用决策树算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，得到每个节点预先设定的阈值以及最后一层节点中对应不同作弊事件的概率值，并根据所述决策树的数据来判断相应的作弊事件，其中所述相应的作弊事件包括考生站立、考生离开或传递试卷。通过以上的技术方案，就可以自动检测考场监控视频中出现的考生作弊行为和监考老师的不作为现象，而不再需要工作人员时刻紧盯视频画面来搜索作弊事件，从而节省大量的人力物力财力，并提高了工作效率。

附图说明

图1为本发明实施例所提供对考试作弊事件进行智能视频识别的方法流程示意图；

图2为本发明实施例所述方法进行特征提取时，标记数字的区域为符合条件的特征值产生的区域示意图；

图3为本发明所举出的具体实例实现的过程示意图；

图4为本发明所举出的具体事例中，利用训练好的决策树进行阈值判断的示意图；

图5为本发明所举出的具体事例中，对监控区域内特征阈值进行判断的示意图。

具体实施方式

本发明实施例提供了一种对考试作弊事件进行智能视频识别的方法，针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，并得到前景图像和背景图像；然后根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据；采用决策树C4.5算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，得到每个节点的阈值以及最后一层节点中对应不同事件的概率值，并根据所述决策树的数据来判断相应的作弊事件，其中所述相应的作弊事件包括考生站立、考生离开或传递试卷。通过以上的技术方案，就可以自动检测考场监控视频中出现的考生作弊行为和监考老师的不作为现象，而不再需要工作人员时刻紧盯视频画面来搜索作弊事件，从而节省大量的人力物力财力，并提高了工作效率。

为更好的描述本发明实施例，现结合附图对本发明的具体实施方式进行说明，如图1所示为本发明实施例所提供方法的流程示意图，所述方法包括：

步骤11：针对考场监控视频，建立和更新高斯混合模型，得到前景图像和背景图像。

在该步骤中，针对考场监控视频，用基于背景点颜色分布的高斯混合模型来进行背景建模；通过背景分布模型来判断某一个像素点是否属于背景像素点，以此来区分前景像素点和背景像素点，并得到前景图像和背景图像。

在具体实现过程中，由于高斯分布是最常见的概率分布，在图像处理、模式识别、计算机视觉中经常被用来刻画一些随机量的变化情况，这是因为高斯分布函数具有非常好的数学性质，具有各阶连续的导数，在时域和频域具有相同的函数形式等，非常便于分析。

在考场监控视频的背景建模中，由于各种像素运动的多态性，我们用基于背景点颜色分布的高斯混合模型(Gaussian Mixture Model)来进行背景建模。高斯混合模型在原理上就是通过背景模型判断一个像素点是否属于背景像素点，以此区分前景像素点和背景像素点。背景模型的建立可以通过训练得到，并在处理中不断更新，这些过程可以自动地实现，高斯混合模型建立的具体过程如下：

首先给出一段连续的图像序列I(x，y，t)，该I(x，y，t)代表像素点(x，y)在t时刻的即时像素亮度值，为了方便，做如下简化约定：

{X₁，...，X_t}＝{I(x，y，i)，1≤i≤t}

在上式中，X_t表示像素点(x，y)在t时刻的即时像素亮度。这样，对于每个像素点t+1时刻的即时像素亮度X_t+1，在t+1时刻之前都具有一个历史像素值集合{X₁，...，X_t}，利用K个高斯混合分布对这组历史像素值建立模型，像素值X_t在t时刻的概率为：

$P\left(X_t\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_{i,t}*\mathrm{\η}(X_t,{\mathrm{\μ}}_{i,t},{\mathrm{\Σ}}_{i,t})$

ω_i，t，μ_i，t和Σ_i，t分别代表t时刻第i个高斯分布的权重，均值和协方差矩阵，η是高斯概率密度函数：

$\mathrm{\η}(X_t,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(x_t-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x_t-\mathrm{\μ})}$

这样就可以对当前帧的像素点做出分类判断，给出关于像素值X_t+1的不等式如下：

(X_t+1-μ_i，t)/σ_i，t＜λ

如果当前帧t+1时刻的像素值X_t+1满足上式，这就意味着给像素值X_t+1找到了至少一个相匹配的模型，则标记为背景像素，反之就被标记为前景像素。

通过上述高斯混合模型的建立和更新，图像的所有像素点最终被分为两大类：前景像素点和背景像素点，这样也就得到了前景图像和背景图像。

步骤12：根据所述前景图像提取运动像素特征值。

在该步骤中，根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据；

在具体实现过程中，在通过上述步骤11的操作，得到前景图像和背景图像之后，假设F和B分别为得到的前景和背景图像，由于颜色信息在前景和背景图像中起到的作用都比较有限，可以将F和B进行灰度化后再进行运动像素特征值的提取处理，记为FG和BG。

首先把FG分成6*6的Block块，对每一个块的像素值做累加统计得到STAFG(i)的值为：

$\mathrm{STAFG}\left(i\right)={\mathrm{\Σ}}_{m=0}^M{\mathrm{\Σ}}_{n=0}^N\mathrm{Grey}\left({\mathrm{Pixle}}_{m,n}\right),$

Pixel_m，n∈Block(i)

M＝Height(FG)/6，N＝Width(FG)/6，i＝{1，2，…，36}

对一定时序窗口内的STAFG(i)，若STAFG(i)＞ε1，则第i个Block块的STA值计入特征，记满足这些条件的块的集合为ComBlock{i1，…，i1}。其中ε1是一个比较小的值，1为15。

同样对背景图像BG的Comblock块计算STABG(i)，则另一组特征为Add(i)＝STAFG(i)+Last_STAFG(i)，i∈Comblock，其中Last_STAFG(i)为上一帧的像素统计值。最后一组特征为满足ε1＜STAFG(i)＜ε2的块的STA值，这些块的集合记为AddBlock，其大小为2，这样第一组特征大小为15，第二组特征大小为15，第三组为2，共提取了32维的特征向量。具体描述为：

前15维：STAFG(i)，i∈Comblock

第16维至30维：Add(i)，i∈Comblock

第31维至32维：STAFG(i)，i∈Addblock

如图2所示，标记数字的区域为符合条件的特征值产生的区域，也就是考场监控视频的图像中考生在考场中所处的区域。

步骤13：采用决策树C4.5算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，并根据所述决策树的数据来判断相应的作弊事件。

在该步骤中，采用决策树C4.5算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，得到每个节点预先设定的阈值以及最后一层节点中对应不同作弊事件的概率值，并根据所述决策树的数据来判断相应的作弊事件，其中所述相应的作弊事件包括考生站立、考生离开或传递试卷。上述决策树C4.5算法采用一种称为信息增益的统计属性用来衡量给定属性区分训练样例的能力，信息增益根据信息熵来决定。

在具体实现过程中，使用决策树来对目标的运动特征进行判别，所述决策树的输入是一组带有类别标记的例子，构造的结果是一棵二叉或多叉树。具体来说，在所述决策树的第一个节点，取决策树指定区域的特征值与决策树预先设定的阈值进行判断来决定下一个分支是左支，还是右支；当判断出下一个分支后，取下一个分支指定区域的特征值与其预先设定的阈值进行判断来决定下一步往哪一个分支走；如此计算直到该决策树最底层的最后一个节点，在该最后一个节点中，获得相应作弊事件的概率值，哪一个作弊事件的概率值最高，则表示本次决策的事件为哪一个作弊事件。

由于决策树学习是以实例为基础的归纳学习算法，二叉树的内部节点(非叶子节点)一般表示为一个逻辑判断，如形式为(ai＝vi)的逻辑判断，其中ai是属性，vi是该属性的某个属性值；树的边是逻辑判断的分支结果；多叉树的内部节点是属性，边是该属性的所有取值，有几个属性值，就有几条边；树的叶子节点都是类别标记，构造决策树的方法是采用自上而下的递归构造。

以多叉树为例，它的构造思路是，如果训练例子集合中的所有例子是同类的，则将之作为叶子节点，节点内容即是该类别标记；否则，根据某种策略选择一个属性，按照属性的各个取值，把例子集合划分为若干子集合，使得每个子集上的所有例子在该属性上具有同样的属性值；然后再依次递归处理各个子集。

构造好的决策树的关键在于如何选择好的逻辑判断或属性。对于同样一组例子，可以有很多决策树能符合这组例子，一般情况下或具有较大概率地说，树越小则树的预测能力越强，要构造尽可能小的决策树，关键在于选择恰当的逻辑判断或属性。

下面以具体判断作弊事件的实例来对本发明所述的方法进行说明，如图3所示为本发明所举出的具体实例实现的过程示意图，图3中：首先根据视频片段通过背景建模将其分为背景图像和前景图像；然后提取运动像素特征值；再通过决策树训练来对典型作弊事件进行识别；最后再记录相应的作弊事件，在必要时还可以进一步的报警处理。

上述通过决策树训练来对典型作弊事件进行识别的过程可以参考图4和图5，图4为当作弊事件为传递试卷时，利用训练好的决策树进行阈值判断的示意图；图5为当作弊事件为传递试卷时，对监控区域内特征阈值进行判断的示意图。

图4中：从“0\15”区域开始，分析此时的区域特征值，若大于设定阈值，则往下判断“4\19”的区域特征值；若小于设定阈值，则判断另一区域的特征值，逐层分析，到最后一个节点，得到‘传递试卷’事件的概率为1，而其他事件的概率为0；由此可见，此时的作弊事件即为“传递试卷”。图5中：显示的是分析该类事件时所判断的区域，其中背景为深色的区域表示此次事件判断所经历分支指定的区域，第一部分为特征值大于阈值的区域；第二部分为特征值小于阈值的区域。

综上所述，本发明实施例可以自动检测考场监控视频中出现的考生作弊行为和监考老师的不作为现象，而不再需要工作人员时刻紧盯视频画面来搜索作弊事件，从而节省大量的人力物力财力，并提高了工作效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (4)

1.一种对考试作弊事件进行智能视频识别的方法，其特征在于，包括：

针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，并得到前景图像和背景图像；

根据所述前景图像提取运动像素特征值，再将考生在考场中所处区域的特征值提取出来，作为下一步决策树判断的数据，具体包括：

首先，在得到所述前景图像和背景图像之后，假设F和B分别为得到的前景和背景图像，将F和B进行灰度化处理后再进行运动像素特征值的提取，记为FG和BG；

先将FG分成6*6的Block块，对每一个块的像素值做累加统计得到STAFG(i)的值为：

$\mathrm{STAFG}\left(i\right)={\mathrm{\Σ}}_{m=0}^M{\mathrm{\Σ}}_{n=0}^N\mathrm{Grey}\left({\mathrm{Pixle}}_{m,n}\right),$

Pixel_m，n∈Block(i)，

其中，M＝Height(FG)/6，N＝Width(FG)/6，i＝{1，2，…，36}；

针对一定时序窗口内的STAFG(i)，若STAFG(i)＞ε1，则第i个Block块的STA值计入特征，记录满足这些条件块的集合为ComBlock{i1，…，il}，其中ε1是一个比较小的值，l为15；

再对背景图像BG的Comblock块计算STABG(i)，则另一组特征为Add(i)＝STAFG(i)+Last_STAFG(i)，i∈Comblock，其中Last_STAFG(i)为上一帧的像素统计值；最后一组特征为满足ε1＜STAFG(i)＜ε2的块的STA值，这些块的集合记为AddBlock，其大小为2，则第一组特征大小为15，第二组特征大小为15，第三组为2，共提取了32维的特征向量，并进一步描述为：

前15维：STAFG(i)，i∈Comblock；第16维至30维：Add(i)，i∈Comblock；第31维至32维：STAFG(i)，i∈Addblock；

然后再采用决策树C4.5算法作为本算法的训练模型，使用一系列的样本图例对决策树进行训练，得到每个节点预先设定的阈值以及最后一层节点中对应不同作弊事件的概率值，并根据所述决策树的数据来判断相应的作弊事件，其中所述相应的作弊事件包括考生站立、考生离开或传递试卷。

2.如权利要求1所述的方法，其特征在于，所述针对考场监控视频，通过高斯混合模型的建立和更新，将所述考场监控视频中所有的像素点分为前景像素点和背景像素点，具体包括：

针对考场监控视频，用基于背景点颜色分布的高斯混合模型来进行背景建模；通过背景分布模型来判断某一个像素点是否属于背景像素点，以此来区分前景像素点和背景像素点。

3.如权利要求1所述的方法，其特征在于，所述决策树的输入是一组带有类别标记的例子，构造的结果是一棵二叉或多叉树。

4.如权利要求1或3所述的方法，其特征在于，所述决策树由二叉树构成，具体包括：

在所述决策树的第一个节点，取决策树指定区域的特征值与决策树预先设定的阈值进行判断来决定下一个分支是左支，还是右支；

当判断出下一个分支后，取下一个分支指定区域的特征值与其预先设定的阈值进行判断来决定下一步往哪一个分支走；

如此计算直到该决策树最底层的最后一个节点，在该最后一个节点中，获得相应作弊事件的概率值，哪一个作弊事件的概率值最高，则表示本次决策的事件为哪一个作弊事件。

Images