CN106780565A - 一种基于光流与k‑means聚类的多学生起坐检测方法 - Google Patents

Abstract

本发明公开了一种基于光流和k‑means聚类的学生起坐检测方法，采集学生区域图像信息；对学生区域进行运动目标区域检测，用帧间差分法检测出图像中存在运动的区域，用连通域标记算法标记处运动目标区域模板；将运动目标区域模板与原图像叠加，并对运动目标区域进行光流运算，得出特征点的运动矢量；将光流分为向上的一组A和向下的一组B，并进行聚类处理；若同一个中心点连续出现达到一定的次数，则认为该目标发生起坐动作，至此，检测结束。与现有技术相比，本发明只用一台摄像机就可以检测学生的起坐，设备简单，易于安装；可适用于多种环境；本发明检测准确率高，实时性较好，可以达到上课需求；可以检测出多个学生同时起立的情况，更加实用。

Description

一种基于光流与k-means聚类的多学生起坐检测方法

技术领域

本发明涉及信息化教学技术领域，特别是涉及一种智能教学录播系统中的学生起坐检测的方法，。

背景技术

本发明相关背景技术主要有：

1、通过安装传感器装置或者红外线投影感知装置来检测学生的起坐。这种方法通常需要改装学生座椅或需要在教室的墙面上安装大量感应器，这样做成本较高且不易维护。

2、通过摄像机拍摄画面进行图像处理来判断学生起坐的方法，一般是要用多台摄像机(通常需要至少两台摄像机)同时分析进行判断。

如根据中国专利201110032341.3《一种教学智能录播系统学生起坐检测方法》的记载：利用两台摄像机，分别标定学生起立区域，采用背景差分法检测起立区域是否有变化，若有，则判定有学生起立。专利(学生起立双系统检测方法及系统)采用一个主摄像机和一个辅助摄像机同时检测，主摄像机主要通过对比两帧图像的Y值(灰度值)来判断图像是否发生变化，若连续10帧发生变化则认为学生发生起坐现象，而辅助摄像机也是标定了一个起立区域，学生坐下时无法触碰该区域，综合分析两个摄像机的结果来判断学生是否起立或坐下。这样虽最终能达到检测的目的，但是成本较高，安装布线复杂，且摄像机需要安装在教室的一侧，与学生站起高度相近，这样不够美观，且易受学生破坏。且这些方法多是针对一个学生起立的情况，当有多个同学起坐时，将不能很好的判断。

实际应用中，由于需要考虑各种情况，以使系统能够适应多种教学模式，同时需要准确、快速的判断一个学生是否起立或坐下，因而这对系统和算法的准确性与实时性有较高要求。

发明内容

基于现有技术，本发明提出了一种基于光流与k-means聚类的多学生起坐检测方法，适用于现代化信息教室，实现了多学生同时起立的检测，智能课堂教学录播系统、精品课程录制、交互式教学系统的建设等。

本发明的一种基于光流和k-means聚类的学生起坐检测方法，该方法包括以下步骤：

步骤1、利用摄像头拍摄学生区域，采集学生区域图像信息，用于分析处理；

步骤2、对学生区域进行运动目标区域检测，用帧间差分法检测出图像中存在运动的区域，然后，利用膨胀、腐蚀等形态学处理，联通区域，去除噪点，并用连通域标记算法标记处运动目标区域模板；

步骤3、将运动目标区域模板与原图像叠加，并对运动目标区域进行光流运算，得出特征点的运动矢量；

步骤4、将光流分为向上的一组A和向下的一组B，并进行聚类处理，其中分组操作的具体判据为：如果运动矢量垂直的分量大于0且在某一个设定的上下限内，且水平的分量的绝对值不大于设定的水平阈值，则认为该特征点有向上的运动趋势，将这些特征点归为一组，记为A，如果运动矢量垂直的分量小于0且在某一个设定的上下限内，水平的分量的绝对值不大于设定的水平阈值，则认为该特征点有向下的运动趋势，将这些特征点归为另一组，记为B；

其中聚类处理具体包括：对A组与B组分别进行k-means聚类，得到K个类以及每个类的中心位置坐标，类的个数K即是当前帧中有起立或者坐下趋势的学生的个数，中心位置即是每一个目标区域的中心坐标；若一个类中样本个数过小，则认为该类是干扰点，排除这个类，并记录下其他类的中心坐标；

返回步骤1，对下一帧视频进行同样的处理；

若同一个中心点连续出现达到一定的次数，则认为该目标发生起坐动作，至此，检测结束。

与现有技术相比，首先，本发明只用一台摄像机就可以检测学生的起坐，设备简单，易于安装；其次，本发明对环境要求不高，可适用于多种环境；本发明检测准确率高，实时性较好，可以达到上课需求；该方法可以检测出多个学生同时起立的情况，更加实用。本发明适用于各种课堂甚至会议环境。

附图说明

图1为本发明实施例的摄像机安装示意图；(1a)、俯视图；(1b)、左视图；

图2为本发明的一种基于光流与k-means聚类的多学生起坐检测方法整体流程示意图；

图3本发明中的各种算法的结果示意图，其中(3a)、帧间差分法结果示意图；(3b)、进行膨胀腐蚀等形态学处理后的效果图，(3c)、连通域标记的结果，白色区域为运动区域；(3d)、光流法检测结果，在此为向上运动。

具体实施方式

下面结合附图对本发明的实施例进行详细说明。

如图1所示，本发明实施例的摄像机安装示意图。摄像头安装在教室中学生区域前方墙面的上方，位置不限；也可自行选择合适的地方安装。

如图2所示，为本发明的基于光流与k-means聚类的多学生起坐检测方法的流程图，具体包括以下步骤：

步骤1、视频采集：启用摄像机，采集学生区域视频信息，传送至分析处理系统；

步骤2、检测运动区域：对学生区域进行运动区域检测，用帧间差分法检测出图像中存在运动的区域：计算前后两帧之间各点的灰度差值，并以差值的绝对值作为差分后图像的灰度值。对该图像进行阈值分割，即可得到一幅二值图像。结果示意图如图(3a)所示；

然后，利用膨胀、腐蚀等形态学处理，连通区域，去除噪点，并用连通域标记算法标记出运动区域模板：对图(3a)进行先膨胀后腐蚀的闭运算，去除孤立噪点，使白色区域更加联通，效果图如图(3b)所示，然后采用连通域标记算法，得到如图(3c)所示的运动区域模板；

步骤3、求运动区域的光流场：将运动区域模板与原图像叠加，得到运动区域的原始图像信息，并对运动区域进行光流运算，得出运动区域中特征点的运动矢量：首先用Shi-Tomas算法找出运动区域内的角点，然后用LK光流法计算各角点的光流，即运动矢量，得到的结果如图(3d)所示，

步骤4、将光流分为两组：如果运动矢量垂直的分量>5px且水平的分量的绝对值不大于3pixel，则认为该特征点有向上的运动趋势，将这些特征点归为一组，记为A，如果运动矢量垂直的分量<-5pixel且水平的分量的绝对值不大于3pixel，则认为该特征点有向下的运动趋势，将这些特征点归为另一组，记为B；

对A组进行k-means聚类，可以将A组所有点分为K类，并得到每个类的中心位置坐标，此时类的个数即是当前帧中有起立趋势的学生的个数，每个类的中心位置即是每一个目标的中心坐标；同样的对B组进行k-means聚类，可以将B组所有点分为K个类，并得到每个类的中心位置坐标，此时类的个数即是当前帧中有坐下趋势的学生的个数，每个类的中心位置即是每一个目标区域的中心坐标；

若一个类中样本个数过小，如当样本个数小于5时，则认为该类是干扰点，排除这个类，并记录下其他类的中心坐标；

回到第一步，对下一帧视频进行同样的处理；

若A组中同一个中心坐标(x坐标近似不变，y坐标持续减小且每次相差不超过10px的认为是同一目标的中心坐标)连续出现20次，则认为该目标发生起立动作，若B组中同一个中心坐标(x坐标近似不变，y坐标持续增大且每次相差不超过15pixel的认为是同一目标的中心坐标)连续出现15次，则认为该目标发生坐下动作。至此，检测结束。

Claims (3)

1.一种基于光流和k-means聚类的学生起坐检测方法，其特征在于，该方法包括以下步骤：

步骤(1)、利用摄像头拍摄学生区域，采集学生区域图像信息，用于分析处理；

步骤(2)、对学生区域进行运动区域检测，用帧间差分法检测出图像中存在运动的区域，然后，利用膨胀、腐蚀等形态学处理，联通区域，去除噪点，并用连通域标记算法标记出运动区域模板；

步骤(3)、将运动区域模板与原图像叠加，并对运动区域进行光流运算，得出特征点的运动矢量；

步骤(4)、将光流分为向上的一组A和向下的一组B，并进行聚类处理，其中分组操作的具体判据为：如果运动矢量垂直的分量>5pixel，且水平的分量的绝对值不大于3pixel，则认为该特征点有向上的运动趋势，将这些特征点归为一组，记为A，如果运动矢量垂直的分量<-5pixel且水平的分量的绝对值不大于3pixel，则认为该特征点有向下的运动趋势，将这些特征点归为另一组，记为B；

其中聚类处理具体包括：对A组与B组分别进行k-means聚类，得到K个类以及每个类的中心位置坐标，类的个数K即是当前帧中有起立或者坐下趋势的学生的个数，中心位置即是每一个目标区域的中心坐标；若一个类中样本个数过小，则认为该类是干扰点，排除这个类，并记录下其他类的中心坐标；

返回步骤(1)，对下一帧视频进行同样的处理；

若同一个中心点连续出现达到一定的次数，则认为该目标发生起坐动作，至此，检测结束。

2.如权利要求1所述的一种基于光流和k-means聚类的学生起坐检测方法，其特征在于，所述步骤(2)中用帧间差分法检测出图像中存在运动的区域的步骤，具体包括以下处理：计算前后两帧之间各点的灰度差值，并以差值的绝对值作为差分后图像的灰度值；对该图像进行阈值分割，得到一幅二值图像。

3.如权利要求1所述的一种基于光流和k-means聚类的学生起坐检测方法，其特征在于，所述步骤(2)中对运动区域进行光流运算的步骤，具体包括以下处理：首先用Shi-Tomas算法找出运动区域内的角点，然后用LK光流法计算各角点的光流，即运动矢量。