CN104574359A - 一种基于主从摄像机的学生跟踪定位方法 - Google Patents

Abstract

本发明公开了一种基于主从摄像机的学生跟踪定位方法，该方法不影响课堂的正常教学，对光线等外界环境的变化适应性较强，并且能够处理有两名学生站起的情况。该方法使用两个从摄像机和一个带云台装置的主摄像机。从摄像机可自动或手动生成感兴趣区域，使用背景差分法检测有无学生进入或离开感兴趣区域，且向主摄像机发送检测结果；主摄像机根据从摄像机传递过来的信息判断站起的学生数目，并根据站起的学生数目选择全景录制模式或定位录制模式，其中定位录制模式中使用帧间差分法检测所有运动目标的轮廓，判断轮廓中心点最高的目标为站起的学生，并根据其坐标和面积驱动主摄像机完成转动和缩放，实现对学生的定位。

Description

一种基于主从摄像机的学生跟踪定位方法

技术领域

本发明涉及一种在课堂录播系统中基于主从摄像机的学生跟踪定位方法，属于图像处理技术领域。

背景技术

智能录播系统的出现对于传统的课堂教学录像是一种革命性的变革，很好地解决了人工拍摄的复杂性和对课堂教学的干扰问题。智能录播系统必须对师生进行准确定位后拍摄，其中，学生的跟踪定位和教师的跟踪定位相比较，具有目标众多、拍摄范围大、易受干扰、摄像机缩放倍数确定难等问题。目前，在智能录播系统中使用比较广泛的学生跟踪定位技术有红外定位、超声波定位和手动控制定位。

在红外定位和超声波定位中，学生在站起发言时按下话筒开关，话筒发射红外线或者超声波，学生录制摄像机接受到信号后，对目标进行准确定位。但是在此技术中，红外线和超声波很容易受到光线和噪声等外界干扰，但学生若携带无线发射装置，会影响真实上课效果，而且还会经常出现话筒开关忘记关或者学生好奇不断地随意按动开关等问题。手动控制定位需要工作人员不断地控制操作或者切换镜头来实现，但是需要配备较多的录制人员，而且工作人员需要有熟练的操作技能。

目前，中国的吴建家、陈宗让等人已经开始研究基于图像定位技术的解决方法，但是基于该技术的跟踪系统往往较复杂，而且设备成本较高，同时，还存在新算法更新困难等问题。而本发明能够很好地解决上面的问题。

发明内容

本发明目的在于解决了现有学生跟踪定位技术设备成本高、易受环境干扰、影响真实上课效果等问题，提供了一种基于主从摄像机的学生跟踪定位方法，该方法不但能够准确地对学生进行跟踪定位，而且在学生不携带任何设备时，也能够最大限度地还原上课的真实效果，同时本发明能够克服光线等外界环境噪声的影响，以及能够对有两名学生站起的情况进行处理。

本发明解决其技术问题所采用的技术方案是：一种基于主从摄像机的学生跟踪定位方法，该方法是采用两个从摄像机(即：辅助摄像机)配合一个主摄像机工作，使用视频采集卡同时采集三路视频信号，利用多线程编程技术同时对三路视频信号进行处理。从摄像机安装在教室黑板两端与学生齐平处，使用帧间差分法生成学生坐下的头顶以上区域为感兴趣区域， 采用运动目标检测与目标分割合并技术检测出站起学生。主摄像机安装在黑板中间的顶端，它根据从摄像机向其传递的学生站起的人数，来寻找站起学生并跟踪，该方法解决了当主摄像机聚焦于第一个站起学生而无法检测到其他学生站起的情况。主摄像机使用帧间差分法检测到所有运动目标，选取其中轮廓顶点最高的判定为站起的学生，提取该轮廓的坐标和面积，并转换为摄像机转动角度和放大倍数，然后驱动主摄像机转向该站起学生，并且选择合适的放大倍数。

方法流程： 

步骤1：两个从摄像机安装在黑板两侧，安装高度为学生坐下后与头顶齐平处，从摄像机在上课前三秒自动对视频序列做帧间差训练，以得到轮廓最高点上方20像素以上至画面最高顶部分，并设其为感兴趣区域。同时，为了防止中小学课堂中，学生年纪小可能出现突然站起或者举手等情况，所以该方法的从摄像机也支持人工设定感兴趣区域，可以通过鼠标或者界面设定合适的区域。

步骤2：从摄像机采用背景差分法检测感兴趣区域有无目标入侵。若有目标入侵，则通知主摄像机有人站起。从摄像机背景的更新采用每隔300帧取一帧没有入侵的图像作为背景，并且当背景区域60％以上的像素点值改变超过50时，则判定为环境发生突然变化(如开、关灯等)，此时选取变化后的第一帧为背景帧。

步骤3：安装在黑板中间顶端的主摄像机初始化为全景录制模式，并且每隔300帧选取一帧记录下来。当收到有人站起的通知，采用帧间差分法检测出所有运动目标的轮廓，选取其中轮廓中心点最高的目标为站起学生。提取轮廓中心点坐标和面积，然后将坐标转换为主摄像机需要转动的角度，面积转换为主摄像机需要放大的倍数，并驱动主摄像机完成相应的动作，从而完成对目标的正确定位。

步骤4：若过一段时间后，站起来的人坐下，则从摄像机发送无人站起信息给主摄像机，主摄像机恢复全景录制。

若在一人站起的情形下，又有一人站起，则从摄像机发送有两人站起信息给主摄像机，主摄像机收到有两人站起信息时，恢复全景录制。如果此后有一人坐下，主摄像机当前帧与上述步骤3记录下的那一帧图像做背景差分法，得到仍然站起的那个人的轮廓中心点坐标和面积，然后根据坐标和面积驱动主摄像机完成转动和放大。若所有人都坐下，主摄像机恢复全景录制。

有益效果： 

1、本发明不需人员操作，完全智能录制；学生不用携带任何设备，还原上课真实效果。

2、本发明对光线等外界环境影响的鲁棒性好，并且能够处理教室中同时有两名学生站起 回答问题的情况。

附图说明

图1为本发明的方法流程图。

图2为运动目标检测流程图。

图3为从摄像机生成感兴趣区域示意图。

图3a为从摄像机拍摄画面，绿线以上为感兴趣区域示意图。

图3b为截取下的感兴趣区域示意图。

图4为单人站起过程示意图。

图4a为有一人站起示意图。

图4b分割出站起学生示意图。

图4c主摄像机对站立的学生定位示意图。

图5为两人站起过程示意图。

图5a有一人站起主摄像机对其定位示意图。

图5b两人站起主摄像机恢复全景录制示意图。

图5c有一人坐下后主摄像机对仍站着的学生定位示意图。

图5d两人都坐下后主摄像机恢复全景录制示意图。

具体实施方式

以下结合说明书附图对本发明创造作进一步的详细说明。

如图1-图5d所示，本发明中两个从摄像机为普通的半球形摄像头，工作时无需转动和变焦，主摄像机为带有云台的可以上、下、左、右转动并且可以进行缩放的摄像机，所使用的视频采集卡必须能够支持同时采集三路以上的视频信号。通过视频采集卡，将采集得到的三路视频信号运用多线程编程技术进行同时处理。下面为系统工作步骤：

步骤1：两个从摄像机安装在黑板两侧与学生齐平处的从摄像机在上课前三秒自动对视频序列做帧间差训练，以得到轮廓最高点上方20像素以上至画面最高顶部分，并设为感兴趣区域，如图3a和3b所示。同时，为了防止中小学课堂中，学生年纪小可能出现突然站起或者举手等情况，所以该方法也支持人工设定感兴趣区域的方法，可以通过鼠标或者界面设定合适的区域。

步骤2：从摄像机生成的感兴趣区域只有学生站起时才能进入，所以从摄像机只需监控此区域有无目标入侵即可。从摄像机采用背景差分法检测有无目标入侵，背景的更新采用每隔300帧取一帧没有入侵的图像作为背景，同时当背景区域60％以上的像素点的值改变超过50时，则判定环境发生突然变化(如开、关灯等)，此时选取变化后的第一帧为背景帧。从 摄像机需要向主摄像机精确的传递站起学生人数，因为采用两个从摄像机，所以监控的感兴趣区域会发生重叠，此时如果有人在重叠区域站起，则两个从摄像机都会判定有人站起，从而主摄像机误判为有两人站起。本发明采用如果一个从摄像机判定有人站起后的10帧之内另一个从摄像机也判定有人站起，则判定是同一人，否则判定是不同的两人站起。其对图像处理步骤如下：

(a)对当前帧I_d(x,y)进行高斯滤波去除一些噪声的影响得到I_g(x,y)。

(b)基于背景差分法对进入感兴趣区域目标进行检测得到运动前景图像，背景帧为I_b(x,y)，公式为：

I_h(x,y)＝|I_g(x,y)-I_b(x,y)| 

得到I_h(x,y)为差分图像。

(c)进一步得到前景图像为：

其中I_f(x,y)为前景图像，T为二值化阈值，设定为50。当I_f(x,y)为1时表示前景图像和噪声，为0时表示背景。对噪声的消除采用数学形态学的开运算完成，即先腐蚀后膨胀。

(d)对二值化图像提取目标轮廓，得到轮廓外接矩形，设定阈值100，外接矩形面积大于100的判定为学生，小于100的判定为噪声去除掉。由于存在二值化阈值对某些情形适应不佳，以及学生着装与背景颜色相似等情况，常规的二值化处理会将一个站起的学生轮廓割裂为几个轮廓部分，故本系统对轮廓外接矩形进行如下设置：1)两个外接矩形的中心距离小于15像素的判定为同一学生。2)两个外接矩形之间相交的判定为同一学生。3)外接矩形边框之间距离小于5像素的判定为同一学生。

步骤3：主摄像机安装在黑板中间顶部位置，开始时全景录制，并且每隔300帧无人站起时选取一帧B(x,y)记录下来，以供步骤(5)使用。当主摄像机只收到一个从摄像机判定有一人站起的信息，或者主摄像机在收到一个从摄像机判定有人站起的信息后的10帧之内，又收到另一个从摄像机也判定有人站起的信息(此时主摄像机判定站起来的人为同一人)时，都认定场景中只有一人站起，主摄像机采用帧间差分法检测站起学生，如图4a和4b所示。具体步骤如下：

(a)对当前帧进行高斯滤波去除噪声影响。

(b)由于站起学生可能速度比较慢，所以选取相邻三帧做帧间差检测运动目标，公式如下：

其中mask为差值后的二值化图像，I_M3(x,y)和I_M1(x,y)为相邻三帧图像，T为二值化阈值，设定为50。

(c)差分得到的二值图像进行先腐蚀后膨胀的开运算，从而去除一些噪声的影响。

(d)对二值化图像提取轮廓，得到轮廓外接矩形，设定阈值为100，大于100的判定为学生。并且进一步选取轮廓外接矩形中心点最高的为站起学生，提取该外接矩形中心点坐标和面积。

(e)视频的原点在最右上角，将中心点坐标转化为位移量，如目标中心点坐标为(w,h)，画面中心点坐标为(WIDTH/2,HEIGHT/2)，则位移量为：

$\left\{\begin{array}{c}\mathrm{Dis}\tan \mathrm{ceX}=w-\mathrm{WIDTH}/2\\ \mathrm{Dis}\tan \mathrm{ceY}=\mathrm{HEIGHT}/2-h\end{array}\right.$

进一步根据不同摄像机的参数，将位移量转化为转动角度，同时将轮廓面积对应为缩放倍数，从而驱动主摄像机对目标进行定位，如图4c所示。

步骤4：若从摄像机检测到站起的学生坐下了，则从摄像机通知主摄像机该信息，转向步骤8；若检测到又有一人站起，则从摄像机通知主摄像机该信息，转向步骤5。

步骤5：此时有两人站起，主摄像机恢复全景录制，如图5b所示。

步骤6：此后，若坐下一人，将当前帧进行高斯滤波后与上述步骤2保存的B(x,y)进行差分，差分后二值化阈值选取为50，二值化后的图进行腐蚀膨胀开运算。最后提取轮廓，得到轮廓外接矩形，选取外接矩形中心点最高的为站起学生。提取中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主摄像机对仍然站着的目标进行定位，如图5c所示。

步骤7：此后，从摄像机如果检测到又站起一人，则转到上述步骤5，如果检测到仅有的站起的一人也坐下，则转向步骤8。

步骤8：此时场景中无人站起，主摄像机收到从摄像机通知的信息后，恢复全景录制，如图5d所示。

Claims (8)

1.一种基于主从摄像机的学生跟踪定位方法，其特征在于，所述方法包括如下步骤：

步骤1：两个从摄像机安装在黑板两侧，安装高度为学生坐下后与头顶齐平处，从摄像机在上课前三秒自动对视频序列做帧间差训练，以得到轮廓；将轮廓最高点上方20像素以上至画面最高顶部分，设为感兴趣区域，用来监控有无学生站起；

步骤2：从摄像机使用背景差分法检测有无学生站起，并且分割出站起学生人数，将站起人数信息传递给主摄像机；

步骤3：主摄像机安装在黑板中间顶端位置，并初始化为全景录制模式；当从摄像机发送有一人站起信息过来时，主摄像机采用帧间差分法检测站起学生；在用帧间差法检测出的所有运动目标轮廓中，选取轮廓中心点最高的目标为站起学生，提取轮廓外接矩形中心点坐标和面积，从而对目标进行定位；

步骤4：若从摄像机检测出无人站起或者两人站起时，主摄像机都恢复全景录制；

步骤5：当两人站起中有一人坐下时，主摄像机对仍然站着的学生进行定位；

步骤6：另外一人也坐下时，主摄像机恢复全景录制。

2.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于：所述方法的从摄像机支持人工设定感兴趣区域，人工设定或通过鼠标或界面来完成。

3.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于：步骤1所述从摄像机的感兴趣区域生成在上课前三秒，通过自动对视频序列做帧间差训练得到。

4.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于：步骤2所述的从摄像机使用背景差分法检测站起学生，从摄像机向主摄像机精确的传递站起学生人数；如果一个从摄像机判定有人站起后的10帧之内，另一个从摄像机也判定有人站起，则主摄像机判定是同一人否则判定是不同的两人，包括如下步骤：

a.对当前帧I_d(x,y)进行高斯滤波去除一些噪声的影响得到I_g(x,y)；

b.基于背景差分法对进入感兴趣区域目标进行检测得到运动前景图像，背景帧为I_b(x,y)，公式为：

I_h(x,y)＝|I_g(x,y)-I_b(x,y)|

得到I_h(x,y)为差分图像；

c.进一步得到前景图像为：

其中I_f(x,y)为前景图像，T为二值化阈值，设定为50；当I_f(x,y)为1时表示前景图像和一部分噪声，为0时表示为背景；对噪声的消除采用数学形态学的开运算完成，即先腐蚀后膨胀；

d.对二值化图像提取目标轮廓，得到轮廓外接矩形，设定阈值100，外接矩形面积大于100的为学生，小于100的为噪声去除掉；对轮廓外接矩形进行如下设置：1)外接矩形中心矩小于15像素的判定为同一学生；2)外接矩形之间相交的判定为同一学生；3)外接矩形边框之间距离小于5像素的判定为同一学生。

5.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于：步骤3所述的主摄像机开始时全景录制，并且每隔300帧无人站起时选取一帧B(x,y)记录下来，以供后面两人站起有一人坐下时使用；当从摄像机发送有一人站起信息过来时，主摄像机采用帧间差分法检测站起学生，包括如下步骤：

a.对当前帧进行高斯滤波去除噪声影响；

b.由于站起学生可能速度比较慢，所以选取相邻三帧做帧间差检测运动目标，公式如下：

其中mask为差值后的二值化图像，I_M3(x,y)和I_M1(x,y)为相邻三帧图像，T为二值化阈值，

设定为50；

c.差分之后得到的二值图像进行先腐蚀后膨胀的开运算从而去除一些噪声的影响；

d.对二值化图像提取轮廓，得到轮廓外接矩形，设定阈值为100，大于100的判定为学生，并且进一步选取轮廓外接矩形中心点最高的为站起学生，提取该外接矩形中心点坐标和面积；

e.视频原点在最右上角，将中心点坐标转化为位移量，如提取目标中心点坐标为(w,h)，画面中心点坐标为(WIDTH/2,HEIGHT/2)，则位移量：

$\left\{\begin{array}{c}\mathrm{Dis}\tan \mathrm{ceX}=w-\mathrm{WIDTH}/2\\ \mathrm{Dis}\tan \mathrm{ceY}=\mathrm{HEIGHT}/2-h\end{array}\right.$

进一步根据不同摄像机的参数，将位移量转化为转动角度，同时将轮廓面积对应为缩放倍数，从而摄像机对目标进行定位。

6.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于，步骤4所述包括：若过一段时间后，站起来的人坐下，则从摄像机发送无人站起信息给主摄像机，主摄像机恢复全景录制；若在一人站起的情形下，又有一人站起，则从摄像机发送有两人站起信息给主摄像机，主摄像机收到有两人站起信息时，恢复全景录制；如果此后有一人坐下，主摄像机当前帧与上述步骤3记录下的那一帧图像做背景差分法，得到仍然站起的那个人的轮廓中心点坐标和面积，然后根据坐标和面积驱动主摄像机完成转动和放大；若所有人都坐下，主摄像机恢复全景录制。

7.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于：步骤5所述的两人站起，坐下一人后将当前帧进行高斯滤波后与步骤3保存的B(x,y)进行差分，差分后二值化阈值选取为50，二值化后的图进行腐蚀膨胀开运算，最后提取轮廓，得到轮廓外接矩形，选取外接矩形中心点坐标最高的为站起学生，提取中心点坐标和面积，进一步转化为转动角度和缩放倍数，驱动主摄像机对仍然站着的目标进行定位。

8.根据权利要求1所述的一种基于主从摄像机的学生跟踪定位方法，其特征在于，所述方法包括：采用两个从摄像机，即：辅助摄像机，配合一个主摄像机工作，使用视频采集卡同时采集三路视频信号，利用多线程编程技术同时对三路视频信号进行处理；从摄像机安装在教室黑板两端与学生齐平处，使用帧间差分法生成学生坐下的头顶以上区域为感兴趣区域，采用运动目标检测与目标分割合并技术检测出站起学生；主摄像机安装在黑板中间的顶端，它根据从摄像机向其传递的学生站起的人数，来寻找站起学生并跟踪；主摄像机使用帧间差分法检测到所有运动目标，选取其中轮廓顶点最高的判定为站起的学生，提取该轮廓的坐标和面积，并转换为摄像机转动角度和放大倍数，然后驱动主摄像机转向该站起学生，并且选择合适的放大倍数。