CN110059611A - 一种智能化教室空余座位识别方法 - Google Patents

Abstract

本发明公开了一种智能化教室空余座位识别方法，包括：摄像头拍摄教室内座位图像；计算服务器对拍摄到的座位图像进行图像标定，计算出座位图像区域左下、右下、左上、右上4个角点的坐标，4个角点的坐标围成主视区域；计算服务器将主视区域进行梯形校正，利用透视变换将主视区域拉伸为矩形，得到校正图像；计算服务器利用深度学习模型对校正图像中人的位置进行检测，得到校正图像中每个人的中心点坐标，若坐标落在座位区域，则此座位有人，否则，则无人。智能化教室空余座位识别方法具有设备简单，识别准确，适应性强等特点，可广泛应用于高校教室综合管理系统中。

Description

一种智能化教室空余座位识别方法

技术领域

本发明涉及图像识别领域，具体地说涉及一种智能化教室空余座位识别方法。

背景技术

随着我国高水平大学的招生人数进一步增加，学生对自习室是否有空位及其排布情况无法便捷获取，如何高效寻找到合适的自习教室是很多学生每天面临的问题。当前各大高校的教室综合管理系统大多通过网页、公众号公布空闲教室和排课数据，没有较为完善的可通过APP或小程序进行教室空余座位查询的高校。

现在实现教室人数统计的方法主要包括：教室门口安装刷卡机；座位下安装压力传感器；教室门内外放置热释电红外传感器；图像处理技术判断教室人员分布。前三类方法均需批量添置额外硬件设备，其中，刷卡机、热释电红外传感器无法获取教室人员分布情况。采用图像技术可直接利用教室中已安装的摄像头设备，但由于不同教室安装摄像头的位置不同，以及摄像头拍摄视频的固有特性使得识别过程存在诸多难点，包括视频前后排座位大小不一致；教室中学生姿态、服装各异；全天光照变化对室内色调的影响；摄像视频本身存在畸变；存在多个摄像头监控一个教室的情况，需要对处理结果进行合并、拼接等。

发明内容

本发明的目的在于克服现有技术的不足，提出一种智能化教室空余座位识别方法，包括如下步骤：

步骤一，摄像头拍摄教室内座位图像并输入到计算服务器中；

步骤二，对拍摄到的座位图像进行图像标定，计算出座位图像区域左下、右下、左上、右上4个角点的坐标，4个角点的坐标围成主视区域；

步骤三，将主视区域进行梯形校正，利用透视变换将主视区域拉伸为矩形，得到校正图像；

步骤四，利用深度学习模型对校正图像中人的位置进行检测，得到校正图像中每个人的中心点坐标，若坐标落在座位区域，则此座位有人，否则，则无人。

步骤五，将有人和无人座位分布情况上传至服务器，服务器对处理结果进行监听，学生通过移动终端查看教室的空余座位情况。

进一步的，所述的左下、右下2个角点的坐标计算方法包括如下步骤：

(1)本文定义所有图像从左到右为图像的x轴，从下到上为图像的y轴,图像x轴方向的最大值为xmax，y轴方向的最大值为ymax；

(2)将源座位图像image在HSV颜色空间中的色相通道H提取出来并进行阈值化处理得到H1，然后进行窗口为m1*n1的图像滤波处理得到H2；其中m1、 n1均为常数；

(3)将H2沿着线x＝a(a为变量，0≤a≤xmax)分割为图像imageLeft和图像imageRight，将imageLeft左右翻转，并与imageRight每一个像素点进行异或运算，将各像素点的异或结果进行求和得到SUM，则使SUM值最小的a作为座位对称轴线L1的x值，L1的方向为y方向；

(4)将源座位图像image在HSV颜色空间中的饱和度通道S和LAB颜色空间中的亮度通道L提取出来，对S和L分别进行阈值化处理得到S’和L’，然后采用如下公式：

加权叠加图像A1＝S’*50％+L’*50％

得到加权叠加图像A1；

(5)对A1进行窗口为m2*n2的图像滤波处理和核为n2*n2的膨胀运算得到图像A2，A2上有多条沿x方向的白色线段(这里统称为L2)；其中m2、n2均为常数；

(6)对于A2的每一个y值yi：确立一个y轴方向为11像素、x轴方向为 1像素的线段L3，初始状态下L3的中心坐标x值为对称轴线L1的x值、L3的中心坐标y值为yi；每次将线段L3沿-x方向平移一个像素，并使L3的中心坐标处于某条白线L2上，直到L3与此白线L2没有交点；此时L3的中心坐标即为当前yi下对应的主视区域左下角点坐标DLi；同理，得到当前yi下对应的主视区域右下角点坐标DRi。

(7)取DLi的x坐标DLi.x，取DRi的x坐标DRi.x，利用公式：

DISi.x＝|DLi.x–DRi.x|

求得每一个yi对应的DISi.x，取所有DISi.x中最大的DISi.x所对应的DLi和 DRi,即为主视区域左下角点DL和主视区域右下角点DR；

进一步的，所述的左上、右上角点的计算方法包括如下步骤：

(1)以主视区域左下角点坐标DL为起点，与H1图像上坐标为y＝ymax、x＝b (b为变量，0≤b≤xmax)的任意一点相连，此连线记为L4i；

(2)L4i与H1图像中座位区域的重合点数量记为函数f(b)，将f(b)进行差分运算得到f′(b)，当f′(b)取极值时，此时对应一个b值，则此b值对应的L4i 就是图像左边线L4，右侧边线L5的寻找方法与L4同理；

(3)取主视区域左下角点坐标DL的y坐标DL.y；在图像A2上，取y＝c(c 为变量，DL.y＜c≤ymax)的直线L6i，L6i与A2图像中座位区域的重合点数量记为g(c)，对g(c)求导得到g′(c)，当g′(c)取得极值时，此时对应一个c值，此 c值对应的L6i则为图像的上边线L6；上边线L6与左边线L4的交点坐标即为主视区域左上角点坐标UL，上边线L6与右边线L5的交点坐标即为主视区域右上角点坐标UR。

进一步的，所述步骤三中将主视区域进行梯形校正，得到校正图像采用如下方法：利用透视变换将这四个角点围成的梯形区域拉伸为矩形，在两个坐标平面之间的投影变换采用如下公式：

设(x,y)是原始图像坐标平面XOY中的一点，(x′,y′)是(x,y)在变换后图像的坐标平面X′OY′中对应的像点，采用如下公式：

完成图像校正，得到校正图像A3；其中p,q,g,h,e,f,u,v都是常量。

进一步的，所述步骤四中的利用深度学习算法对校正图像中的人进行检测，得到校正图像中各个人的中心点坐标的方法包括如下步骤：

(1)制作训练样本图片和测试样本图片；

(2)将训练样本图片及对应图片中人的中心点坐标作为深度学习模型的输入，训练深度学习模型；

(3)将测试样本图片输入深度学习模型，深度学习模型输出座位图片中人的中心点坐标，根据与实际人物的中心点坐标比较得出模型的准确率；若准确率大于或等于设定的准确率，则停止训练深度学习模型，否则，返回步骤(2)；

(4)输入图像A3至深度学习模型，从深度学习模型中得到图像A3中人的中心点坐标。

进一步的，所述步骤(1)中的训练样本是选择监控视频中截取的n张图片，选择n张图片中的一部分图片作为训练样本图片，其余部分作为测试样本图片。

进一步的，所述步骤(4)中还包括判断各个座位区域是否有人，包括如下步骤：若人的中心点坐标落在座位区域，则判定该座位区域有人；否则，则判定该区域无人。

进一步的，所述的步骤五中的学生通过移动终端查看当前教室的空余座位情况的方法包括步骤：

(1)通过数据服务器使移动终端与计算服务器之间通信。

(2)计算服务器将教室列表发送至数据服务器；计算服务器实时将教室有人座位和无人座位分布情况发送至数据服务器；

(3)学生利用手中的移动终端向数据服务器获取教室列表；当学生查看某个教室时，移动终端向数据服务器获取该教室的有人座位和无人座位分布情况并显示在移动终端界面上。

与现有技术相比，本发明的有益效果是：本发明利用设置在教室的摄像头进行图像数据采集，可降低系统建设成本；方便学生高效的寻找到合适的自习教室，节省寻找自习教室的时间；本发明采用先获取座位图像后进行人物定位的方法，识别速度与效率得到了很大的提升。本发明中的对教室空余座位识别提供了一种智能化教室空余座位识别方法，在对座位图像的标定与校正的基础上，获取人物坐标完成空余座位的精确识别，提高了识别的准确率，具有很强的实用性。

附图说明

图1为一种智能化教室空余座位识别方法的原理图；

图2为一种基于智能化教室空余座位识别方法的系统流程图；

图3为透视变换示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步详细描述：

如图1所示，摄像头获取教室的座位区域图像并输入到计算服务器中，对座位区域图像进行标定，图像标定主要是提取座位区域图像的主视区域，也就是计算出座位区域图像左下、右下、左上、右上这4个角点的坐标，这4个角点的坐标围成主视区域。

本方法定义图像水平方向为图像的x轴，竖直方向为图像的y轴,图像x轴方向的最大值为xmax，y轴方向的最大值为ymax；将源座位图像image在HSV 颜色空间中的色相通道H提取出来并进行阈值化处理得到H1，然后进行窗口为 m1*n1的图像滤波处理得到H2；其中m1、n1均为常数；将H2沿着线x＝a(a为变量，0≤a≤xmax)分割为图像imageLeft和图像imageRight，将imageLeft左右翻转，并与imageRight每一个像素点进行异或运算，将各像素点的异或结果进行求和得到SUM，则使SUM值最小的a作为座位对称轴线L1的x值，L1的方向为y方向；

将源座位图像image在HSV颜色空间中的饱和度通道S和LAB颜色空间中的亮度通道L提取出来，对S和L分别进行阈值化处理得到S’和L’，然后采用如下公式：

加权叠加图像A1＝S’*50％+L’*50％

得到加权叠加图像A1；对A1进行窗口为m2*n2的图像滤波处理和核为n2*n2的膨胀运算得到图像A2，A2上有多条沿x方向的白色线段(这里统称为L2)；其中m2、n2均为常数；对于A2的每一个y值yi：确立一个y轴方向为11像素、 x轴方向为1像素的线段L3，初始状态下L3的中心坐标x值为对称轴线L1的x 值、L3的中心坐标y值为yi；每次将线段L3沿-x方向平移一个像素，并使L3 的中心坐标处于某条白线L2上，直到L3与此白线L2没有交点；此时L3的中心坐标即为当前yi下对应的主视区域左下角点坐标DLi；同理，得到当前yi下对应的主视区域右下角点坐标DRi。取DLi的x坐标DLi.x，取DRi的x坐标DRi.x，利用公式：

DISi.x＝|DLi.x–DRi.x|

求得每一个yi对应的DISi.x，取所有DISi.x中最大的DISi.x所对应的DLi和 DRi,即为主视区域左下角点DL和主视区域右下角点DR；

以主视区域左下角点坐标DL为起点，与H1图像上坐标为y＝ymax、x＝b(b 为变量，0≤b≤xmax)的任意一点相连，此连线记为L4i；L4i与H1图像中座位区域的重合点数量记为函数f(b)，将f(b)进行差分运算得到f′(b)，当f′(b) 取极值时，此时对应一个b值，则此b值对应的L4i就是图像左边线L4，右侧边线L5的寻找方法与L4同理；

取主视区域左下角点坐标DL的y坐标DL.y；在图像A2上，取y＝c(c为变量，DL.y＜c≤ymax)的直线L6i，L6i与A2图像中座位区域的重合点数量记为g(c)，对g(c)求导得到g′(c)，当g′(c)取得极值时，此时对应一个c值，此c值对应的L6i则为图像的上边线L6；上边线L6与左边线L4的交点坐标即为主视区域左上角点坐标UL，上边线L6与右边线L5的交点坐标即为主视区域右上角点坐标UR。

图像校正的主要任务是将这四个角点围成的梯形区域重新拉伸为矩形，也就是一种梯形校正。这里利用透视变换来对教室监控图像进行校正，透视变换是将原图像重新投影到一个新的视平面的过程；在两个坐标平面之间的投影变换采用如下公式：

设(x,y)是原始图像坐标平面XOY中的一点，(x′,y′)是(x,y)在变换后图像的坐标平面X′OY′中对应的像点，则有：

其中p,q,g,h,e,f,u,v都是常量，确定两个平面之间的投影变换只需要在两个平面上找到4对“物点和像点”，有这4对点的对应关系就可以确定 p,q,g,h,e,f,u,v。由此将原图像区域中像素点(x,y)带入此公式，得到新坐标系下的各个像素点(x′,y′)，完成校正过程。

本发明采用的是有监督学习的方法，这里选择了监控视频中截取的图片作为样本，首先需要制作训练样本，然后构建深度学习模型，选择样本中的一部分作为训练样本，一部分作为测试样本。训练过程中，将物体图片及其人的位置标签作为模型的输入，然后不断优化参数使其识别率不断提高；测试阶段，将测试集中的图片作为模型的输入，模型输出图片人的中心点坐标，根据与实际人物的位置比较得出模型的准确率。若人的中心点坐标落在座位区域，则判定该座位区域有人；否则，则判定该区域无人。

如图2所示的是本发明的系统流程图，通过教室的摄像头获取座位图像，对座位图像进行校正和标定，通过深度学习模型得到座位图像中的人的中心点坐标，若人的中心点坐标落在座位区域，则判定该座位区域有人；否则，则判定该区域无人。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种智能化教室空余座位识别方法，其特征在于，包括如下步骤：

步骤一，摄像头拍摄教室内座位图像并输入到计算服务器中；

步骤二，对拍摄到的座位图像进行图像标定，计算出座位图像区域左下、右下、左上、右上4个角点的坐标，4个角点的坐标围成主视区域；

步骤三，将主视区域进行梯形校正，利用透视变换将主视区域拉伸为矩形，得到校正图像；

步骤四，利用深度学习模型对校正图像中人的位置进行检测，得到校正图像中每个人的中心点坐标，若坐标落在座位区域，则此座位有人，否则，则无人；

步骤五，将有人和无人座位分布情况上传至服务器，服务器对处理结果进行监听，学生通过移动终端查看教室的空余座位情况。

2.根据权利要求1所述的一种智能化教室空余座位识别方法，其特征在于，所述的左下、右下2个角点的坐标计算方法包括如下步骤：

(1)图像的水平方向为图像的x轴，竖直方向为图像的y轴,图像x轴方向的最大值为xmax，y轴方向的最大值为ymax；

(2)将源座位图像image在HSV颜色空间中的色相通道H提取出来并进行阈值化处理得到H1，然后进行窗口为m1*n1的图像滤波处理得到H2；其中m1、n1均为常数；

(3)将H2沿着线x＝a(a为变量，0≤a≤xmax)分割为图像imageLeft和图像imageRight，将imageLeft左右翻转，并与imageRight每一个像素点进行异或运算，将各像素点的异或结果进行求和得到SUM，使SUM值最小的a作为座位对称轴线L1的x值，线L1沿y方向；

(4)将源座位图像image在HSV颜色空间中的饱和度通道S和LAB颜色空间中的亮度通道L提取出来，对S和L分别进行阈值化处理得到S’和L’，采用如下公式：

加权叠加图像A1＝S’*50％+L’*50％

得到加权叠加图像A1；

(5)对A1进行窗口为m2*n2的图像滤波处理和核为n2*n2的膨胀运算得到图像A2，图像A2包含有多条沿x方向的线段L2；其中m2、n2均为常数；

(6)对于A2的每一个y值yi：确立一个y轴方向为11像素、x轴方向为1像素的线段L3，初始状态下L3的中心坐标x值为对称轴线L1的x值、L3的中心坐标y值为yi；每次将线段L3沿-x方向平移一个像素，并使L3的中心坐标处于某条线段L2上，直到L3与该线段L2没有交点；此时L3的中心坐标即为当前yi下对应的主视区域左下角点坐标DLi；同理，得到当前yi下对应的主视区域右下角点坐标DRi；

(7)取DLi的x坐标DLi.x，取DRi的x坐标DRi.x，利用公式：

DISi.x＝|DLi.x–DRi.x|

求得每一个yi对应的DISi.x，取所有DISi.x中最大的DISi.x所对应的DLi和DRi,即为主视区域左下角点DL和主视区域右下角点DR。

3.根据权利要求1或2所述的一种智能化教室空余座位识别方法，其特征在于，所述的左上、右上角点的计算方法包括如下步骤：

(1)以主视区域左下角点坐标DL为起点，与H1图像上坐标为y＝ymax、x＝b(b为变量，0≤b≤xmax)的任意一点相连，此连线记为L4i；

(2)L4i与H1图像中座位区域的重合点数量记为函数f(b)，将f(b)进行差分运算得到f′(b)，当f′(b)取极值时的b值对应的L4i就是座位左边线L4，同理，得到座位右边线L5；

(3)取主视区域左下角点坐标DL的y坐标DL.y；在图像A2上，取y＝c的直线L6i，其中c为变量，DL.y＜c≤ymax；L6i与A2图像中座位区域的重合点数量记为g(c)，对g(c)求导得到g′(c)，当g′(c)取得极值时的c值对应的L6i则为图像的上边线L6；上边线L6与左边线L4的交点坐标即为主视区域左上角点坐标UL，上边线L6与右边线L5的交点坐标即为主视区域右上角点坐标UR。

4.根据权利要求1所述的一种智能化教室空余座位识别方法，其特征在于，所述步骤三中将主视区域进行梯形校正，得到校正图像采用如下方法：利用透视变换将DL、DR、UL、UR四个角点围成的梯形区域拉伸为矩形，在两个坐标平面之间的投影变换采用如下公式：

设(x,y)是原始图像坐标平面XOY中的一点，(x′,y′)是(x,y)在变换后图像的坐标平面X′OY′中对应的像点，采用如下公式：

完成图像校正，得到校正图像A3；其中p,q,g,h,e,f,u,v都是常量。

5.根据权利要求1所述的一种智能化教室空余座位识别方法，其特征在于，所述步骤四中的利用深度学习算法对校正图像中的人进行检测，得到校正图像中各个人的中心点坐标的方法包括如下步骤：

(1)制作训练样本图片和测试样本图片；

(2)将训练样本图片及对应图片中人的中心点坐标作为深度学习模型的输入，训练深度学习模型；

(3)将测试样本图片输入深度学习模型，深度学习模型输出座位图片中人的中心点坐标，根据与实际人物的中心点坐标比较得出模型的准确率；若准确率大于或等于设定的准确率，则停止训练深度学习模型，否则，返回步骤(2)；

(4)输入图像A3至深度学习模型，从深度学习模型中得到图像A3中人的中心点坐标。

6.根据权利要求5所述的一种智能化教室空余座位识别方法，其特征在于，所述步骤(1)中的训练样本是选择监控视频中截取的n张图片，选择n张图片中的一部分图片作为训练样本图片，其余部分作为测试样本图片。

7.根据权利要求5所述的一种智能化教室空余座位识别方法，其特征在于，所述步骤(4)中还包括判断各个座位区域是否有人，包括如下步骤：若人的中心点坐标落在座位区域，则判定该座位区域有人；否则，则判定该区域无人。

8.根据权利要求1所述的一种智能化教室空余座位识别方法，其特征在于，所述的步骤五中的学生通过移动终端查看当前教室的空余座位情况的方法包括如下步骤：

(1)通过数据服务器使移动终端与计算服务器之间通信。

(2)计算服务器将教室列表发送至数据服务器；计算服务器实时将教室有人座位和无人座位分布情况发送至数据服务器；

(3)学生利用手中的移动终端向数据服务器获取教室列表；当学生查看某个教室时，移动终端向数据服务器获取该教室的有人座位和无人座位分布情况并显示在移动终端界面上。