CN109145755A - 一种结合透视变换与k-均值算法的课桌区域识别方法 - Google Patents

Abstract

一种结合透视变换与K‑均值算法的课桌区域识别方法，主要包括图像亮度增强项、图像的透视变换实现项、课桌区域模板匹配项、模糊K‑均值算法筛选项与识别结果校正项。对标准化考场的监控视频帧通过类余切Gamma矫正函数和椭圆非线性矫正模型进行光照补偿以减少外界光线干扰，再对图像进行透视变换以解决拍摄角度引起的图片中课桌区域大小不一致的问题。然后与课桌模板进行模板匹配，根据模板匹配的结果，通过模糊K‑均值算法筛选模板匹配结果，然后采用点斜式课桌斜率坐标矫正和预估课桌区域的方法修正课桌识别不成功的区域，最终达到识别课桌区域的目的。本发明通过上述方法实现了课桌区域的准确识别，为下一步标准化考场中考生行为的判别提供了非常重要的基础信息和必要的预处理。

Description

一种结合透视变换与K-均值算法的课桌区域识别方法

技术领域

本发明主要涉及图像处理领域和模式识别领域，特别涉及一种能同时实现课桌区域校正与识别的技术方法，在标准化智能考场领域具有较为广泛的应用前景。

背景技术

随着国家大力发展智能化管理教育考试的趋势，视频监控技术也已经逐步被大量应用于国家标准化考场建设中。标准化考场是给每个考生提供大致相同的考试环境，体现公平性和规范性。标准化考场课桌的摆放模式一般有7788(即两列七行，两列八行)和66666(即5列6行)两种。现阶段的标准化考场监控仍停留在人工监控视频画面的模式，未运用图像智能技术分析实时的考生状态，没有充分发挥基于视频的智能化监控作用。

国内外在视频监控领域做了大量研究和取得了突破性成果，但众多方法都是在特定环境和场合被提出的，解决的只是局部问题。因教育制度和实际应用价值的差异，国外对考场智能视频监控的研究几乎没有，目前国内在标准化考场方面主要针对整个考场的运动目标进行分析，而基于考生课桌区域的考生行为分析的研究目前还不成熟，致使可供参考的研究成果受到了严重制约。监控的硬件设备自身局限性，致使获取的考场图像光照不均衡、场景不完整或由于拍摄角度而引起的图像中相同物体大小不一致，且拍摄视频中的考生存在严重的相互遮挡情况，直接降低了对课桌判别与定位的准确性和正确率。本发明设计出一种结合透视变换与K-均值算法的课桌区域识别方法。很好的解决了该问题。在课桌区域的识别部分加入了类余切Gamma矫正函数和椭圆非线性矫正模型来对图像进行亮度补偿，以解决标准化考场中拍摄视频图像亮度不均衡问题。在以上基础上引入了透视变换以解决由于拍摄角度而引起的图像中课桌大小不一致的问题。为优化课桌识别效果，引入点斜式斜率坐标矫正方法来修正课桌区域数据偏差，采用预估课桌区域来解决部分课桌模板匹配不成功的问题。

该方法从应用的实际需求出发，很好的解决了课桌区域识别过程中遇到的各种问题并提高了课桌区域识别准确性和正确率。以便于为后续判别考生的行为状态提供了必要的先决条件。

发明内容：

本发明提出并公开了一种基于透视变换与K-均值算法的课桌区域识别方法。该方法首先将监控视频中视频帧看作原图像，在假设原图像为理想高分辨率的条件下，通过对原图像进行透视变换，获得正投影效果图像，构建出课桌区域大小一致的图像；然后与事先建立好的标准课桌区域图像进行模板匹配，实现课桌区域的识别。考虑到光照亮度不均衡对透视变换结果的影响，对原图像引入了基于类余切Gamma矫正函数对图像亮度进行补偿；针对类余切Gamma矫正函数对高光区过补偿问题，引入椭圆非线性模型矫正图像高光区亮度，实现对原图像亮度均衡化的功能。为了解决实际考场中课桌的行与行之间、列与列之间摆放不整齐导致原图像中课桌的行、列之间斜率不一致问题，在透视变换的基础上引入了点斜式斜率矫正方法，以列为单位进行该列课桌区域坐标的修正。针对部分课桌模板匹配不成功的情况，对获得的透视变换后的正投影效果图像采用点斜式斜率方法对课桌行、列坐标矫正，修正课桌区域数据偏差，再采用预估课桌区域方法交互式确定课桌区域。该方法降低了课桌区域识别的难度，提高了识别的准确性与正确率，本发明不仅对标准化智能考场领域有所贡献，而且能促进图像处理和模式识别的应用与发展。

技术方案：

步骤1：把标准化考场的视频帧看作原图像F，假设原图像F由阴影区E1、过渡区E2和高光区E3组成，这些区域可以用其在图像像素值P[0，255]区间的取值范围表示为E1∈[0，X0]、E2∈[X0，X1]、E3∈[X1，255]，则原图像F＝∑(E1，E2，E3)。针对光照亮度不均衡问题，通常采用类余切Gamma矫正函数矫正像素值的分布趋势，但该方法对高光区处理效果不太理想。故本发明在类余切Gamma矫正对原图像一次补偿的基础上，再采用椭圆非线性模型P(X)＝b(1-g(x)/a)对图像高光区像素值范围进行二次矫正，优化原图像的亮度均衡化补偿效果。其中在对原图像进行类余切Gamma矫正像素值的分布趋势时，处理过程包含：像素值到角度值的映射，角度值到Gamma值的映射，Gamma值到像素值的映射。

像素值到角度值的映射关系可以表示为：

n值则根据亮度比例需求进行调整。

在进行角度值到Gamma值的映射处理环节时，图像高光区采用类余切函数，阴影区和过渡区采用类余弦函数，公式为：

上式中的a限制了类余弦函数的变化范围，限制了类余切函数的变化范围，两个变量控制了角度值到Gamma值合理的映射。为了保持对图像阴影区和过渡区方面的处理效果，本发明引用了修正函数f2(x)和f3(x)：

其中α＝arctan(-b/x₀)是函数sin(4πx/255)的偏转角度，变量b限制了f₂(x)的变化范围；c＝1-a-b表示函数|x/x₀-1|的幅值，限定了f₃(x)的最大扩展范围。角度值到Gamma值的映射关系如式：

Γ：f(x)＝f₁(x)+f₂(x)+f₃(x)

Γ表示Gamma取值范围。

经过对图像Gamma值的矫正后，需要将Gamma值映射到像素值，像素值矫正函数表达式：

P：g₁(x)＝255(x/255)^1/f(x)

上述采用类余切Gamma矫正对原图像一次补偿处理以后，再采用椭圆非线性模型p(x)＝b(1-g₁(x)/α)对图像高光区像素值范围进行二次矫正，像素值矫正函数表达式为：

本发明采用a＝0.6，b＝0.3，n＝5，λ＝1对原图像像素值进行矫正，优化原图像的亮度均衡化补偿效果。

步骤2：在实现原图像亮度补偿的基础上，对图像进行透视变换处理以解决因拍摄角度引起的图像中课桌大小不一致的问题。透视变换公式：

其中表示透视后的坐标值，表示被透视的坐标值，M是透视关系矩阵。

对图像的每一个像素点坐标进行以上公式变换计算，得到对应的透视变换图的坐标，实现对图像的透视变换操作，获得正投影效果图像。

步骤3：利用步骤2中所获取的正投影效果图像与建立好的课桌模板进行模板匹配，定位出图像中与课桌模板相似度符合阈值的坐标区域为相似课桌区域。本发明选择归一化平方差模板匹配方法，并设阈值为经验值0.3。

步骤4：对步骤3操作给出的相似课桌区域进行判断。为了在模板匹配结果中找出标准化考场对应的三十张课桌区域的最佳结果，本发明采用了K-均值算法对模板匹配结果进行筛选操作。为了降低分类时间，又不影响分类效果，本发明对K-均值算法作了部分改进：

(1)初始分类中心值的选取：按照八行四列的规则，将包含全部课桌区域的外接矩形的宽四等分，长八等分，行列的交点作为初始分类的中心值。针对本发明的标准化考场场景，这种方法选取的初始分类中心值离最终分类中心值的位置较为接近，可以减少迭代计算的次数，提高分类的效率。

(2)迭代的终止条件：K-均值算法迭代的终止条件是相邻两次分类的中心值不再发生变化，这种终止条件能使分类结果精确，但分类时间较长。因标准化考场的课桌分布具有前后左右有一定间隔的特点，计算离某些较远中心点的欧式距离没有必要。本发明经大量实验统计发现，迭代计算到300次时，就能得到较好的分类结果。

最后，在每个分类簇中选择与模板课桌相似度最大的区域作为最终的课桌区域，以实现对模板匹配结果的筛选操作。

步骤5：在步骤4的基础上，针对部分课桌模板匹配不成功的情况，对步骤2获得的正投影效果图像采用点斜式斜率方法对课桌行、列坐标矫正，修正课桌区域数据偏差，再采用预估课桌区域方法交互式确定课桌区域。

通过以上步骤确定出课桌区域。

有益效果

本发明提出的一种结合透视变换与K-均值算法的课桌区域识别方法，该方法解决了标准化智能考场课桌区域准确识别的问题，降低了识别过程中对图像及外界条件的限制，具有一定的实际应用前景。为解决图像光照不均匀问题，引入了类余切Gamma矫正对原图像一次补偿，再采用椭圆非线性模型对图像高光区像素值范围进行二次矫正，优化原图像的亮度均衡化补偿效果。为解决因拍摄角度而引起的原图像中课桌大小不一致的问题，通过透视变换获得正投影效果图像。针对部分课桌模板匹配不成功的情况，对获得的正投影效果图像采用点斜式斜率方法对课桌行、列坐标矫正，修正课桌区域数据偏差，再采用预估课桌区域方法交互式确定课桌区域。因此本发明方法能有效的识别出标准化考场中课桌区域。

附图说明：

(1)图1是一种结合透视变换与K-均值算法的课桌区域识别实现流程图。

(2)图2是原图像、传统类余切Gamma矫正图像与改进后类余切Gamma矫正图像效果比较。

(3)图3是课桌外接四边形标识图与透视变换后的图像的效果比较。

(4)图4是模板匹配结果。

(5)图5是模糊K-均值算法筛选结果。

(6)图6是点斜式课桌斜率坐标矫正处理结果与预估课桌区域处理结果。

具体实施方式

为更好地理解本发明的技术方案，以下结合附图对本发明的具体实施方式做进一步的说明。基于透视变换与K-均值算法的课桌区域识别方法的流程如图1所示。具体过程描述如下：

1、将待识别图像进行亮度补偿

把标准化考场的监控视频帧看作原图像，采用类余切Gamma矫正对原图像进行一次亮度补偿，再采用椭圆非线性模型p(x)＝b(1-g₁(x)/α)对图像高光区像素值范围进行二次矫正，优化原图像的亮度均衡化补偿效果。具体方法为：把像素值区间P[0，255]分为三区：阴影区、过渡区和高光区，即E1、E2、E3，各自像素取值范围为[0，x0]、[x0，x1]、[x1，255]。角度值区间[0，π]用Ω表示，Γ表示Gamma取值范围，像素值用x表示。则令x1＝x0+(255-x0)/n，变量n等分过渡区和高光区像素值区间[x0，255]，x0一般取区间P的中点值，n值则根据亮度比例需求进行调整，那么像素值到角度值的映射关系可以表示为：

对图像高光区采用类余切函数，对阴影区和过渡区采用类余弦函数，具体形式可表示为：

上式中的限制了类余弦函数的变化范围，限制了类余切函数的变化范围，两个变量控制了角度值到Gamma值合理的映射。为了保持对图像阴影区和过渡区方面的处理效果，本发明引用两个修正函数f2(x)和f3(x)，表达式为：

其中α＝arctan(-b/x₀)是函数sin(4πx/255)的偏转角度，变量b限制了f₂(x)的变化范围；c＝1-a-b表示函数|x/x₀-1|的幅值，限定了f₃(x)的最大扩展范围。角度值到Gamma值的映射关系式：

Γ：f(x)＝f₁(x)+f₂(x)+f₃(x)

图像的亮度表示是由像素值体现，经过对图像Gamma值的矫正后，需要将Gamma值映射到像素值，像素值矫正函数表达式为：

P：g₁(x)＝255(x/255)^1/f(x)

上述处理矫正了像素值的分布趋势，但没有缩小高光区像素值的范围，必须对图像高光区的像素值的范围进行矫正，才能真正使图像的亮度分布达到均衡。因为椭圆具有随着x的增大，y值缓慢减小的特点，本发明则采用椭圆非线性矫正模型p(x)＝b(1-g₁(x)/α)，矫正图像高光区像素值的范围，最终的像素值矫正函数表达式为：

本发明采用a＝0.6，b＝0.3，n＝5，λ＝1对原像素值进行矫正。

2、对亮度补偿后图像进行进行透视变换处理

在实现原图像亮度补偿的基础上，对图像进行透视变换处理以解决因拍摄角度引起的图像中课桌大小不一致的问题。这一过程可表示为先确定求解透视关系矩阵M的八对精确坐标点的值。

本发明通过手动设定包含考场全部课桌的外接四边形，获取四个顶点坐标分别为：s1[175，16]，s2[346,64]，s3[2，84]，s4[291,279]；通过透视变换求出另外四对坐标点的值，即：d1[175，16]，d2[346,64]，d3[175,279]，d4[346,279]；采用L-M阻尼最小二乘法求出透视关系矩阵M。OpenCV的库函数cvGetPerspectiveTransform已实现了该求解过程，因此本发明直接引用了该库函数进行透视关系矩阵M的求解；

通过公式：

对图像的每一个像素点坐标进行变换计算，得到对应的透视变换图的坐标，实现对图像的透视变换操作，获得正投影效果图像。OpenCV的库函数cvWarpPerspective已实现了该透视计算的步骤，本发明引用该库函数直接对图像进行透视变换计算。

3、对透视变换后的图像进行模板匹配

将模板课桌与图像进行模板匹配，定位出图像中与模板课桌相似度最高的课桌区域。在实际匹配过程中存在有光线变化的干扰，为了有效弱化干扰，本发明将使用归一化形式的匹配

为了提高运算性能，本发明选择归一化平方差模板匹配

并设阈值为经验值0.3。

4、模糊K-均值算法筛选模板匹配结果

为了在模板匹配结果中找出标准化考场对应的三十张课桌区域的最佳结果，采用了K-均值算法对模板匹配结果进行筛选操作。这一过程可表示为计算识别结果中每个相似课桌区域坐标数据到不同分类中心的欧式距离，把该数据归类到最近的那个簇中，再改变该簇的中心值，反复迭代计算直至中心值不再改变为止。本发明对K-均值算法作了部分改进，具体的改进内容是：按照八行四列的规则，将图像中标识的包含全部课桌区域的外接矩形的宽四等分，长八等分，行列的交点作为初始分类的中心值；K-均值算法迭代的终止条件是相邻两次分类的中心值不再发生变化。在大量实验统计中发现，迭代计算到300次时，就能得到较好的分类结果。

最后，在每个分类簇中选择与模板课桌相似度最大的区域作为最终的课桌区域，以实现对模板匹配结果的筛选操作。

5、修正课桌区域识别结果

针对部分课桌模板匹配不成功的情况，对获得的正投影效果图像采用点斜式斜率方法对课桌行、列坐标矫正，修正课桌区域数据偏差，再采用预估课桌区域方法交互式确定课桌区域。首先采用点斜式斜率坐标矫正的方法来调整课桌间的斜率，详细步骤如下：

(1)指定列的斜率标准K0。在透视变换时，已经标识出了透视图像中包含全部课桌在内的外接四边形位置，计算该四边形左右边的斜率，取平均值作为列的斜率标准K0；

(2)以点斜式作为计算斜率的公式。

(3)以列为单位进行该列课桌区域坐标的修正。修正时不能将该列课桌斜率统一按照指定的斜率K0进行修正，而是在修正当前课桌位置时，先计算与上一张课桌之间的点斜式斜率，如果该斜率大于三分之一倍指定斜率K0，那么则将上一张课桌与上上张课桌之间的斜率作为标准，来修正当前课桌的位置。

再者采用预估课桌区域方法来确定课桌区域，具体操作步骤如下：

(1)列斜率标准K0和斜率计算公式，与点斜式斜率坐标矫正的标准一致；

(2)以列为单位，对该列未成功识别出的课桌区域进行人为填补。以上一张课桌和下一张课桌横纵坐标的平均值，作为填补区域的横纵坐标；然后计算该区域与上一张课桌区域的斜率，如果该斜率大于三分之一倍指定斜率K0，则以K0为斜率标准，以上一张课桌区域坐标为参考点，对该区域的横坐标进行调整，直至对所有列都执行了该操作。

综上所述，本发明实施例可以自动识别标准化考场中课桌区域。利用图像处理技术对图片做必要的预处理，以减少外界干扰。利用模式识别技术对课桌区域做准确的识别。为基于视频监控的标准化考场考生疑是作弊行为的智能分析提供了必要的前提条件，从而节省大量的人力物力财力，并提高了工作效率。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (6)

1.一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于包括如下具体步骤：

1)把标准化考场的视频帧看作原图像F，假设原图像F由阴影区E1、过渡区E2和高光区E3组成，这些区域可以用其在图像像素值P[0，255]区间的取值范围表示为E1∈[0，X0]、E2∈[X0，X1]、E3∈[X1，255]，则原图像F＝∑(E1，E2，E3)，针对光照亮度不均衡问题，通常采用类余切Gamma矫正函数矫正像素值的分布趋势，但该方法对高光区处理效果不太理想，故本发明在类余切Gamma矫正对原图像一次补偿的基础上，再采用椭圆非线性模型P(X)＝b(1-g(x)/a)对图像高光区像素值范围进行二次矫正，优化原图像的亮度均衡化补偿效果，其中在对原图像进行类余切Gamma矫正像素值的分布趋势时，处理过程包含：像素值到角度值的映射，角度值到Gamma值的映射，Gamma值到像素值的映射，

像素值到角度值的映射关系可以表示为：

n值则根据亮度比例需求进行调整，

在进行角度值到Gamma值的映射处理环节时，图像高光区采用类余切函数，阴影区和过渡区采用类余弦函数，公式为：

上式中的a限制了类余弦函数的变化范围，限制了类余切函数的变化范围，两个变量控制了角度值到Gamma值合理的映射，为了保持对图像阴影区和过渡区方面的处理效果，本发明引用了修正函数f2(x)和f3(x)：

其中α＝arctan(-b/x₀)是函数sin(4πx/255)的偏转角度，变量b限制了f₂(x)的变化范围；c＝1-a-b表示函数|x/x₀-1|的幅值，限定了f₃(x)的最大扩展范围，角度值到Gamma值的映射关系如式：

Γ：f(x)＝f₁(x)+f₂(x)+f₃(x)

Γ表示Gamma取值范围，

经过对图像Gamma值的矫正后，需要将Gamma值映射到像素值，像素值矫正函数表达式：

P：g₁(x)＝255(x/255)^1/f(x)

上述采用类余切Gamma矫正对原图像一次补偿处理以后，再采用椭圆非线性模型p(x)＝b(1-g₁(x)/α)对图像高光区像素值范围进行二次矫正，像素值矫正函数表达式为：

本发明采用a＝0.6，b＝0.3，n＝5，λ＝1对原图像像素值进行矫正，优化原图像的亮度均衡化补偿效果；

2)在实现原图像亮度补偿的基础上，对图像进行透视变换处理以解决因拍摄角度引起的图像中课桌大小不一致的问题，透视变换公式：

其中表示透视后的坐标值，表示被透视的坐标值，M是透视关系矩阵，

对图像的每一个像素点坐标进行以上公式变换计算，得到对应的透视变换图的坐标，实现对图像的透视变换操作，获得正投影效果图像；

3)对步骤3操作给出的相似课桌区域进行判断，为了在模板匹配结果中找出标准化考场对应的三十张课桌区域的最佳结果，本发明采用了K-均值算法对模板匹配结果进行筛选操作，为了降低分类时间，又不影响分类效果，本发明对K-均值算法作了部分改进：

(1)初始分类中心值的选取：按照八行四列的规则，将包含全部课桌区域的外接矩形的宽四等分，长八等分，行列的交点作为初始分类的中心值。针对本文的标准化考场场景，这种方法选取的初始分类中心值离最终分类中心值的位置较为接近，可以减少迭代计算的次数，提高分类的效率；

(2)迭代的终止条件：K-均值算法迭代的终止条件是相邻两次分类的中心值不再发生变化，这种终止条件能使分类结果精确，但分类时间较长。因标准化考场的课桌分布具有前后左右有一定间隔的特点，计算离某些较远中心点的欧式距离没有必要，本发明经大量实验统计发现，迭代计算到300次时，就能得到较好的分类结果，

最后，在每个分类簇中选择与模板课桌相似度最大的区域作为最终的课桌区域，以实现对模板匹配结果的筛选操作；

4)在步骤3的基础上，针对部分课桌模板匹配不成功的情况，对步骤2获得的正投影效果图像采用点斜式斜率方法对课桌行、列坐标矫正，修正课桌区域数据偏差，再采用预估课桌区域方法交互式确定课桌区域，

通过以上步骤确定出课桌区域。

2.根据权利要求1所述的一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于：步骤1对图像亮度增强时采用采用a＝0.6，b＝0.3，n＝5，λ＝1对原像素值进行矫正。

3.根据权利要求1所述的一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于：所述模板匹配的阈值为经验值0.3。

4.根据权利要求1所述的一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于：所述对K-均值算法作的部分改进：按照八行四列的规则，将图像中标识的包含全部课桌区域的外接矩形的宽四等分，长八等分，行列的交点作为初始分类的中心值；K-均值算法迭代的终止条件是相邻两次分类的中心值不再发生变化。较好分类结果迭代计算要到300次。

5.根据权利要求1所述的一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于：所述在透视变换时，平均值作为列的斜率标准K₀；以点斜式作为计算斜率的公式，以列为单位进行该列课桌区域坐标的修正，修正时在修正当前课桌位置时，先计算与上一张课桌之间的点斜式斜率，该斜率大于三分之一倍指定斜率K₀，那么则将上一张课桌与上上张课桌之间的斜率作为标准，来修正当前课桌的位置。

6.根据权利要求1所述的一种结合透视变换与K-均值算法的课桌区域识别方法，其特征在于：步骤5中预估课桌区域方法：列斜率标准K₀和斜率计算公式，与点斜式斜率坐标矫正的标准一致；以列为单位，对该列未成功识别出的课桌区域进行人为填补，以上一张课桌和下一张课桌横纵坐标的平均值，作为填补区域的横纵坐标；然后计算该区域与上一张课桌区域的斜率，如果该斜率大于三分之一倍指定斜率K₀，则以K₀为斜率标准，以上一张课桌区域坐标为参考点，对该区域的横坐标进行调整。