CN106982357A - 一种基于分布云的智能拍摄系统 - Google Patents

Abstract

本发明属于教学、培训录播技术领域，尤其是涉及一种基于分布云的智能拍摄系统。本发明的智能拍摄系统主要包括基础设备层、核心设备层和终端接收层，通过对基础设备层中学生拍摄系统的站立识别算法进行改进，采用背景差分法为运动目标检测算法，其主要包含以下几个方面：背景更新、图像阈值分割和轮廓提取。其中，背景更新使用滑动平均算法；图像阈值分割选用的是最大类间方差准则；然后在二值化后的图像上采用掏空轮廓点的方法提取轮廓，并且使用轮廓缺陷修补技术进一步改进轮廓提取算法；最后使用 Freeman链码表示提取的轮廓，其算法能够很好的提取出运动目标的轮廓，为智能拍摄系统的实现提供了良好的技术保障。

Description

一种基于分布云的智能拍摄系统

技术领域

本发明属于教学、培训录播技术领域，尤其是涉及一种基于分布云的智能拍摄系统。

背景技术

云录播是基于物联网模式并且采用云存储、云传输技术来满足现代化教学的一种方式。具体实现是指通过集群应用、网格技术、分布式转换编码设备、集中式解码资源服务器等系统集合，将高清摄像信号、教学电脑、实物展台、语音等信号通过分布式转换编码设备转换成网络信号，传输至资源管理中心的云录播资源管理服务器，并通过“云”录播管理平台，实现整个学校的教研、自主学习、直播、远程点播等功能。

随着教学设备的发展，智能教学录播系统替代了传统人工录制的方式，只需将摄像头安装在教室内特定的位置，通过计算机的控制，采用图像识别跟踪技术来实现对教室场景中教师教学和学生发言的音频和视频等信息的录制和播放，录制的视频可进行网络实时播放，也可制作成精品课程供大家学习鉴赏。图像识别跟踪技术是实现教学录播系统智能化的关键技术之一，主要负责学生与教师图像的识别与跟踪。学生和教师图像跟踪的准确度影响着整个录制视频的效果。

目前国内智能教学录播系统对于发言学生图像的跟踪与定位大都采用在学生课桌上安装无线按钮，配合摄像头切换方位的方式进行录制。当发言学生按下与摄像头预置位对应的按钮时，摄像头会定位到之前设定好的方向对其进行拍摄，当按钮关闭时，摄像头则又重新切换到教师图像进行拍摄。当发言学生忘记打开按钮时，则需要进行后期补录，当有其他学生误打开按钮时，则会影响整个教学视频的顺利录制。

现有专利一种自动识别录播系统及其工作方法(201410133368.5)，其利用无线射频技术对录播室内的座椅进行坐标标记，同时利用中心处理单元对座椅的无线射频模块的识别编码进行匹配，解析获得目标听众的具体坐标位置，进而自动控制第二摄像云台和第二摄像机对目标听众进行追踪摄像，其为了实现对发言学生的识别定位，增加了需布设安装在的无线射频模块等硬件结构，无疑增加了经济和使用成本。而红外感应定位跟踪技术相对准确，但也由于其会受到外界太阳光线或者发热物体影响，会使在录播过程中突然定位跟踪失效。在比较了主流的视频图像中运动目标检测跟踪技术后，发现传统的视频课件录播系统中采用的识别检测跟踪技术存在着不稳定，受外界因素影响大的问题。

因此，有必要针对上述问题，提供一种基于图像识别技术的师生定位方法，直接利用摄像机进行定位和跟踪拍摄，无需佩戴任何辅助设备，也不受环境的影响。

发明内容

针对以上技术问题，本发明的目的在于突破现有拍摄系统的不足，提供了一种基于分布云的智能拍摄系统，采用分布式的云计算的思想，将智能录播系统的多种资源分布存储在云平台的各个分布式节点中，实现资源存储和计算的高度均衡性，同时，在录播系统中，采用基于多特征融合的室内学生头部检测算法对发言学生进行自动识别和定位，直接利用摄像机进行定位和跟踪拍摄。

为达到上述目的，本发明提供如下技术方案：

一种基于分布云的智能拍摄系统，所述的智能拍摄系统主要包括：

对前端视频和音频信号进行采集的基础设备层，其主要包括音频采集设备、数字音频处理设备、云台摄像机、图像辅助定位摄像头、编码器、智能图像跟踪设备、网络交换机；

对基础设备层进行控制并进行音频视频录制、存储及发布的核心设备层，其主要包括分布式录播主机、流媒体服务器、资源管理服务器；

用于接收和播放核心设备层数据的终端接收层，其主要包括PC终端、移动终端。

其中，所述的基础设备层设置在拍摄现场，音频采集设备与数字音频处理设备相连，数字音频处理设备通过音频线与音频采集设备和编码器连接；云台摄像机通过视频线与编码器连接；智能图像跟踪设备通过视频线与图像辅助定位摄像头连接；网络交换机通过信号线分别与编码器和智能图像跟踪设备连接；网络交换机通过无线或者信号线与核心设备层的分布式录播主机、流媒体服务器、资源管理服务器相连接。

基础设备层的图像辅助定位摄像头包括安装在演讲区域的上方的教师辅助摄像头和安装在黑板/白板两端拍摄学生发言区域的学生发言区域辅助摄像头，图像辅助定位摄像头对教师和发言学生进行识别，并传输至智能图像跟踪设备，智能图像跟踪设备控制云台摄像机进行拍摄。

学生发言区域辅助摄像头、云台摄像机、采集视频到智能图像跟踪设备构成学生录播系统，然后利用多线程编程技术对采集到的视频信号同时使用基于背景差分法的运动目标检测进行图像处理，同时各线程之间相互通信，使智能图像跟踪设备控制云台摄像机，从而最终实现对站起发言学生的跟踪定位。

所述的学生录播系统的工作流程具体步骤如下：

步骤1：主录制摄像的云台摄像机安装在教室黑板中间顶部，开始时全景录制；两个辅录制摄像机安装在黑板两端，其高度与学生头顶齐平，生成感兴趣区域，并监控感兴趣区域；

步骤2：当辅录制摄像机检测到有一人站起时，辅录制摄像机向云台摄像机发送有一人站起信息，云台摄像机使用运动目标检测技术提取站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主录制摄像机对站着的目标进行精确定位和缩放；

步骤3：若辅录制摄像机检测到站起学生坐下则转步骤7，若检测到又有一人站起，则通知主录制摄像机，转步骤4；

步骤4：此时有两人站起，主录制摄像机恢复全景录制；

步骤5：辅录制摄像机检测到两人中有一人坐下，则主录制摄像机提取仍然站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主摄像头对仍然站着的目标进行精确定位和缩放；

步骤6：若此时辅录制摄像机又检测到有一人站起，则转步骤4；若检测到仅有的站起学生也坐下，则转步骤7；

步骤7：此时场景中无人站起，主录制摄像机收到辅录制摄像机通知的信息后，恢复全景录制。

进一步，作为优选，在步骤2中，辅录制摄像机采用基于背景差分法的运动目标检测实现对起立学生的检测，具体步骤为：

1)使用滑动平均算法建立合适的背景模型；

2)对读入的当前帧进行高斯滤波，从而去除噪声的影响；

3)当前帧与系统存贮的背景帧进行做差；

4)根据最大类间方差准则进行阈值分割得到二值图像；

5)使用先腐蚀后膨胀的开运算对二值图像进行处理；

6)使用改进的掏空内部点的轮廓提取算法提取运动目标轮廓；

7)使用Freeman链码将提取出的运动目标轮廓进行链码表示。

本发明的有益效果：

1、本发明提出了完整的智能视频录播系统中的学生跟踪定位方案，采用主辅录制摄像头的解决方案，结合运动目标检测算法，实现对课堂中单个和两个站起发言学生的跟踪定位；其能够对站起学生进行精确定位和缩放，并且能够处理两名同学站起的情况；

2、本发明采用基于背景差分法的运动目标检测算法进行发言学生识别，主要包含以下几个方面：背景更新、图像阈值分割和轮廓提取。其中，背景更新使用滑动平均算法；图像阈值分割选用的是最大类间方差准则；然后在二值化后的图像上采用掏空轮廓点的方法提取轮廓，并且使用轮廓缺陷修补技术进一步改进轮廓提取算法；最后使用Freeman链码表示提取的轮廓，其算法能够很好的提取出运动目标的轮廓，为录播系统的实现提供了良好的技术保障。

附图说明

图1为本发明的结构框图；

图2为本发明的学生跟踪定位方案的流程图；

图3为本发明的基于背景差分法的运动目标检测算法的流程图；

具体实施方式

下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种基于分布云的智能拍摄系统，所述的智能拍摄系统主要包括：对前端视频和音频信号进行采集的基础设备层，其主要包括音频采集设备、数字音频处理设备、云台摄像机、图像辅助定位摄像头、编码器、智能图像跟踪设备、网络交换机；对基础设备层进行控制并进行音频视频录制、存储及发布的核心设备层，其主要包括分布式录播主机、流媒体服务器、资源管理服务器；用于接收和播放核心设备层数据的终端接收层，其主要包括PC终端、移动终端，所述的基础设备层设置在拍摄现场，音频采集设备与数字音频处理设备相连，数字音频处理设备通过音频线与音频采集设备和编码器连接；云台摄像机通过视频线与编码器连接；智能图像跟踪设备通过视频线与图像辅助定位摄像头连接；网络交换机通过信号线分别与编码器和智能图像跟踪设备连接；网络交换机通过无线或者信号线与核心设备层的分布式录播主机、流媒体服务器、资源管理服务器相连接。

基础设备层的图像辅助定位摄像头包括安装在演讲区域的上方的教师辅助摄像头和安装在黑板/白板两端拍摄学生发言区域的学生发言区域辅助摄像头，图像辅助定位摄像头对教师和发言学生进行识别，并传输至智能图像跟踪设备，智能图像跟踪设备控制云台摄像机进行拍摄。学生发言区域辅助摄像头、云台摄像机、采集视频到智能图像跟踪设备构成学生录播系统，然后利用多线程编程技术对采集到的视频信号同时使用基于背景差分法的运动目标检测进行图像处理，同时各线程之间相互通信，使智能图像跟踪设备控制云台摄像机，从而最终实现对站起发言学生的跟踪定位。

所述的学生录播系统的整个工作流程具体步骤如下：

步骤1：主录制摄像的云台摄像机安装在教室黑板中间顶部，开始时全景录制；两个辅录制摄像机安装在黑板两端，其高度与学生头顶齐平，生成感兴趣区域，并监控感兴趣区域；

步骤2：当辅录制摄像机检测到有一人站起时，辅录制摄像机向云台摄像机发送有一人站起信息，云台摄像机使用运动目标检测技术提取站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主录制摄像机对站着的目标进行精确定位和缩放；

步骤3：若辅录制摄像机检测到站起学生坐下则转步骤7，若检测到又有一人站起，则通知主录制摄像机，转步骤4；

步骤4：此时有两人站起，主录制摄像机恢复全景录制；

步骤5：辅录制摄像机检测到两人中有一人坐下，则主录制摄像机提取仍然站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主摄像头对仍然站着的目标进行精确定位和缩放；

步骤6：若此时辅录制摄像机又检测到有一人站起，则转步骤4；若检测到仅有的站起学生也坐下，则转步骤7；

步骤7：此时场景中无人站起，主录制摄像机收到辅录制摄像机通知的信息后，恢复全景录制。

在智能拍摄系统中运动目标的检测主要是对授课教师与站起发言的学生的检测，需要能够准确的提取出运动目标的轮廓面积和位置信息，从而为下一步跟踪定位做准备。在针对学生的运动目标检测中，由于站起发言的学生是固定位置的上下运动，所以检测出站起的学生后就直接提取出其轮廓的坐标和面积，从而控制学生录制摄像机转动和缩放。辅录制摄像机采用基于背景差分法的运动目标检测实现对起立学生的检测，具体步骤为：

1)使用滑动平均算法建立合适的背景模型；

滑动平均算法是一种利用背景模型图像像素值与当前帧图像像素值进行加权求和来达到背景自适应更新的算法，该算法计算简单、易于实现，其公式表示如下：

B_n(i，j)＝B_n-1(i，j)+α[(I_n(i，j)-B_n-1(i，j)]＝αI_n(i，j)+(1-α)B_n-1(i，j) (1)

其中，B_n(i，j)是第n帧更新过后的背景图像，B_n-1(i，j)是n-1帧时的背景模型，I_n(i，j)是当前帧图像，α是背景更新系数，一般取值在0到1之间，α的取值是背景更新的关键，因为它的取值将会直接影响到运动目标融入到背景模型的速度。若取值过大，则当前帧中的运动目标会很快融入背景帧中，从而出现“拖尾”现象；若取值过小则无法快速适应周围环境的变化，给图像分割带来困难。由于本发明为教室室内环境，主要的环境变化是缓慢的光照变化，而很少有剧烈的背景变化，所以本文α选取为0.01。

在本发明的拍摄系统中，开始录制时首先选取20帧图像，使用平均背景法得到一个背景模型，然后使用上文的滑动平均算法对背景进行实时更新。其中平均背景法的原理，简单的说就是从开始的视频中选取一系列图像，然后将这些图像对应点的像素值累加起来求平均，从而得到背景模型。当教室中出现突然的开关灯情况时，重新选取20帧图像采用开始录制时的同样方法建立背景更新模型。

2)对读入的当前帧进行高斯滤波，从而去除噪声的影响；

高斯滤波是低通滤波，而噪声往往是高频信号，所以高斯滤波能够很好的去除高频信号的污染，充分保留低频信号。高斯滤波相较于其他方式滤波具有对图像影响小、对于图像各方向平滑程度都一致、计算复杂度低等优点。高斯滤波是一种根据高斯函数得来的线性平滑滤波器，二维连续高斯滤波函数为：

u，v为函数，σ为标准差，在连续高斯滤波器基础上进行离散化得到离散的高斯权值，利用高斯权值模版对整幅图像进行加权平均从而实现滤波、消除高斯噪声。对于高斯函数离散化得到的高斯模版，我们一般称为高斯核，一个(2k-1)×(2k-1)维的核中的元素计算方法为：

式中通过k确定高斯核矩阵的维数。在实际使用中我们常使用3×3的高斯核，也就是k取值为1。根据高斯分布的特点，我们可以得到如果核矩阵非常大，那么标准差也应非常大，我们在实际情况中常采用如下公式计算标准，

其中n为维数，在本文中n取值为3。

3)当前帧与系统存贮的背景帧进行做差

4)根据最大类间方差准则进行阈值分割得到二值图像

在当前帧与背景帧做差之后，需要进一步选取合适的阈值进行图像分割，得到二值化的图像。最大类间方差分割算，法又称为Otsu法，其原理是按图像的灰度特性,将图像分成背景和目标前景两部分。当前景和背景之间的类间方差越大,则表明构成图像的两部分的差别越会大，若部分背景错分为前景或部分前景错分为背景，那么都会导致两部分差别变小。因此在图像分割中，使类间方差最大的图像分割意味着错分的概率最小。

对于灰度图像I1(x，y)，设图像大小为M x N，其像素点灰度级范围{0,1,2,…L-1},若图像中灰度级为i的像素的个数为N_i，那么该像素点出现的概率为

若阈值T将图像分成两部分，前景C₁和背景C₀，那么可以得到类间方差计算公式为：

S＝w₀(u₀-u)²+w₁(u₁-u)² (6)

其中w₀和w₁为两部分图像的概率；u₀和u₁为两部分图像灰度值的均值；u为整幅图像的总体均值，具体计算公式如下：

其中，T为图像的分割阈值，那么根据最大类间方差法的原理可得最佳阈值为：

5)使用先腐蚀后膨胀的开运算对二值图像进行处理

在对原图像进行二值化的阈值分割之后可能会出现毛刺、孔洞等现象，若此时直接进行轮廓提取会影响轮廓提取的精度。通过使用数学形态学来对图像进行处理，其主要思想是使用拥有一定形态的结构元素来度量并且提取图像中对应形状的部分，从而达到对图像进行分析和识别的目的。目前主要有腐蚀、膨胀和由它们两者结合起来的开、闭四种运算

开运算：

闭运算:

由上式可得开运算的过程是先腐蚀后膨胀，其作用是可以消除一些孤立点和比较细小的目标，同时可以在纤细的地方把目标进行分离和平滑边界，并且能够不明显改变目标面积。而闭运算的过程是先膨胀后腐蚀，其作用是可以填充一些空洞和裂缝从而连接相邻目标，并且在不明显改变目标的面积情况下对目标边界进行平滑。本申请采用的是腐蚀膨胀的开运算进一步消除一些小的噪声的影响。

6)使用改进的掏空内部点的轮廓提取算法提取运动目标轮廓

轮廓缺陷修补步骤如下：

步骤1：扫描图像得到所有的轮廓端点，存贮在容器V中，转步骤2。

步骤2：从容器V中读取轮廓端点，若没有轮廓端点则转步骤4。若有，则按公式

计算任意两端点距离，若小于给定阈值D，则转步骤3，否则继续步骤2。

步骤3：用直线连接两轮廓端点，转步骤2。

步骤4：容器中所有端点判定结束。

通过以上算法即可得到封闭的、完整的目标轮廓。根据实验，本申请中像素距离阈值D设定为3。

7)使用Freeman链码将提取出的运动目标轮廓进行链码表示

用Freeman链码表示图像提取的二维轮廓时，算法过程如下：

步骤1：对图像进行扫描得到起始的像素值不为0的像素点，记录该点为(Start-X,Start-Y)，且以起始点为当前点转步骤2。若没有扫描到像素不为0的像素点，则转步骤4。

步骤2:按顺时针方向扫描当前点P的8邻域，若遇到不为0的像素点(设为Q)即停止，这样则两个非轮廓点F1，F2被屏蔽，转步骤(3)。若没有扫描到轮廓点，则设置符号“/”表示轮廓提取结束，并且将扫描起始点设为(Start-X,Start-Y)，然后转步骤1。

步骤3：存贮Q点，将Q点设为当前点，转步骤2。

步骤4：用标志“/”表示所有轮廓提取结束。

通过以上算法就可以得到二维图像中所有的目标轮廓的链码表示。

本发明采用基于背景差分法的运动目标检测算法进行发言学生识别，主要包含以下几个方面：背景更新、图像阈值分割和轮廓提取。其中，背景更新使用滑动平均算法；图像阈值分割选用的是最大类间方差准则；然后在二值化后的图像上采用掏空轮廓点的方法提取轮廓，并且使用轮廓缺陷修补技术进一步改进轮廓提取算法；最后使用Freeman链码表示提取的轮廓，其算法能够很好的提取出运动目标的轮廓，为录播系统的实现提供了良好的技术保障。本发明提出了完整的智能视频录播系统中的学生跟踪定位方案，采用主辅录制摄像头的解决方案，结合运动目标检测算法，实现对课堂中单个和两个站起发言学生的跟踪定位；其能够对站起学生进行精确定位和缩放，并且能够处理两名同学站起的情况。

最终，以上实施例和附图仅用以说明本发明的技术方案而非限制，尽管通过上述实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于分布云的智能拍摄系统，其特征在于，所述的智能拍摄系统主要包括：

对前端视频和音频信号进行采集的基础设备层，其主要包括音频采集设备、数字音频处理设备、云台摄像机、图像辅助定位摄像头、编码器、智能图像跟踪设备、网络交换机；

对基础设备层进行控制并进行音频视频录制、存储及发布的核心设备层，其主要包括分布式录播主机、流媒体服务器、云录播管理服务器；

用于接收和播放核心设备层数据的终端接收层，其主要包括PC 终端、移动终端。

2.根据权利要求1所述的一种基于分布云的智能拍摄系统，其特征在于，所述的基础设备层设置在拍摄现场，音频采集设备与数字音频处理设备相连，数字音频处理设备通过音频线与音频采集设备和编码器连接；云台摄像机通过视频线与编码器连接；智能图像跟踪设备通过视频线与图像辅助定位摄像头连接；网络交换机通过信号线分别与编码器和智能图像跟踪设备连接 ；网络交换机通过无线或者信号线与核心设备层的分布式录播主机、流媒体服务器、资源管理服务器相连接。

3.根据权利要求1所述的一种基于分布云的智能拍摄系统，其特征在于，所述的基础设备层的图像辅助定位摄像头包括安装在演讲区域的上方的教师辅助摄像头和安装在黑板/白板两端拍摄学生发言区域的学生发言区域辅助摄像头，图像辅助定位摄像头对教师和发言学生进行识别，并传输至智能图像跟踪设备，智能图像跟踪设备控制云台摄像机进行拍摄。

4.根据权利要求3所述的一种基于分布云的智能拍摄系统，其特征在于，所述的学生发言区域辅助摄像头、云台摄像机、采集视频到智能图像跟踪设备构成学生录播系统，然后利用多线程编程技术对采集到的视频信号同时使用基于背景差分法的运动目标检测进行图像处理，同时各线程之间相互通信，使智能图像跟踪设备控制云台摄像机，从而最终实现对站起发言学生的跟踪定位。

5.根据权利要求4所述的一种基于分布云的智能拍摄系统，其特征在于，所述的学生录播系统的整个工作流程具体步骤如下：

步骤1：主录制摄像的云台摄像机安装在教室黑板中间顶部，开始时全景录制；两个辅录制摄像机安装在黑板两端，其高度与学生头顶齐平，生成感兴趣区域，并监控感兴趣区域；

步骤2：当辅录制摄像机检测到有一人站起时，辅录制摄像机向云台摄像机发送有一人站起信息，云台摄像机使用运动目标检测技术提取站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主录制摄像机对站着的目标进行精确定位和缩放；

步骤 3：若辅录制摄像机检测到站起学生坐下则转步骤7，若检测到又有一人站起，则通知主录制摄像机，转步骤 4；

步骤 4：此时有两人站起，主录制摄像机恢复全景录制；

步骤5：辅录制摄像机检测到两人中有一人坐下，则主录制摄像机提取仍然站起的学生中心点坐标和面积，进一步转化为转动角度和缩放倍数，从而主摄像头对仍然站着的目标进行精确定位和缩放；

步骤6：若此时辅录制摄像机又检测到有一人站起，则转步骤4；若检测到仅有的站起学生也坐下，则转步骤 7；

步骤 7：此时场景中无人站起，主录制摄像机收到辅录制摄像机通知的信息后，恢复全景录制。

6.根据权利要求5所述的一种基于分布云的智能拍摄系统，其特征在于，在步骤2中，辅录制摄像机采用基于背景差分法的运动目标检测实现对起立学生的检测，具体步骤为：

1）使用滑动平均算法建立合适的背景模型；

2）对读入的当前帧进行高斯滤波，从而去除噪声的影响；

3）当前帧与系统存贮的背景帧进行做差；

4）根据最大类间方差准则进行阈值分割得到二值图像；

5）使用先腐蚀后膨胀的开运算对二值图像进行处理；

6）使用改进的掏空内部点的轮廓提取算法提取运动目标轮廓；

7）使用Freeman链码将提取出的运动目标轮廓进行链码表示。