CN115733943A - 基于多摄像机自动跟踪联动的录播互动系统及方法 - Google Patents

Abstract

本发明提供一种基于多摄像机自动跟踪联动的录播互动系统及方法，涉及录播互动技术领域。本发明提出的基于多摄像机自动跟踪联动的录播互动系统包括：行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；其中，行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接网络交换模块，实现相互之间的数据交互。本发明的录播互动系统节约了硬件资源，缩减了成本，但同时还提升了数据处理效率，丰富了全自动录播系统的功能，能更好的融入教学等应用场景。

Description

基于多摄像机自动跟踪联动的录播互动系统及方法

技术领域

本发明涉及录播互动技术领域，具体涉及一种基于多摄像机自动跟踪联动的录播互动系统及方法。

背景技术

全自动录播系统是针对学校及有培训需求的职能机关、单位推出的一款新一代可视化信息记录与传播设备。其基于Web架构，适用于校园网、城域网、互联网应用，集音视频课件制作、录制、编辑、电子白板、课堂直播和课件点播于一体，并能与现有互动教学有机结合。社会快速发展对全自动录播系统的成本要求和功能的全面性要求越来越高，所以亟需一种结构设计合理，设置简单，并可以实现全自动跟踪识别的多功能录播互动系统。

传统录播互动系统的跟踪设计功能是通过额外增加定位半球摄像机，通过定位半球摄像机识别人物起立和就坐等不同身位的变化进行不同摄像机的摄像。

然而，这种额外增加定位半球摄像机以实现录播互动系统的跟踪功能技术，虽然增加了额外硬件资源，使系统的设置变得复杂，但是并没有因此而实现录播互动系统的多功能以及多功能的切换。由此可见，现有的全自动录播系统存在结构复杂但功能欠缺的缺陷。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多摄像机自动跟踪联动的录播互动系统及方法，解决了现有的全自动录播系统存在结构复杂但功能欠缺的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明首先提出了一种基于多摄像机自动跟踪联动的录播互动系统，所述系统包括：

行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；

其中，所述行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接所述网络交换模块，实现数据交互；且

所述行为分析跟踪切换模块，用于对学生和老师的行为姿态进行识别分析后对应产生控制指令，并发送所述控制指令给互动录播模块；

所述互动录播模块，用于接收所述控制指令并基于所述控制指令实现导播画面自动切换；

所述导播控制模块，用于手动控制所述多功能录播互动系统的功能切换；

所述多摄像机组，用于全方位录制课堂教学场景的。

优选的，其特征在于，所述行为分析跟踪切换模块内置AIoT智能芯片。

优选的，所述网络交换模块为网络交换模块包括网络交换机，其支持TCP、UDP两种传输协议。

优选的，所述行为分析跟踪切换模块中存储有包括人体骨骼智能分析算法和防抖动特征跟踪算法对应的程序，以及存储自动识别切换程序。

优选的，所述多摄像机组包括：教师全景摄像机、教师特写摄像机、学生全景摄像机、学生特写摄像机，以及板书特写摄像机。

优选的，所述行为分析跟踪切换模块包括行为分析跟踪切换主机及系统。

优选的，所述互动录播模块包括互动录播主机.

优选的，所述导播控制模块包括导播控制键盘。

优选的，所述系统还包括：web界面访问模块，用于通过浏览器访问、远程操控所述录播互动系统。

第二方面，本发明还提出了一种基于多摄像机自动跟踪联动的录播互动方法，所述方法利用如上述任意一项所述的系统实现录播互动的方法，所述录播互动的方法包括：

多摄像机组接入互动录播模块后，行为分析跟踪切换模块拉取多摄像机组的图像流；

行为分析跟踪切换模块通过分析所述图像流并对应产生导播画面切换指令；

互动录播模块接收所述导播画面切换指令后控制多摄像机组按照所述导播画面切换指令切换摄像机画面。

(三)有益效果

本发明提供了一种基于多摄像机自动跟踪联动的录播互动系统及方法。与现有技术相比，具备以下有益效果：

本发明提出的基于多摄像机自动跟踪联动的录播互动系统包括：行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；其中，行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接网络交换模块，实现相互之间的数据交互。本发明不仅能实现空间内多景位摄像机自动切换录制，同时仅通过一个设备和系统就融合了AI分析、识别以及加入了肢体等数据的训练和检测学习功能，无需增加其他定位系统和跟踪摄像机，节约了硬件资源，缩减了成本；但同时还提升了数据处理效率，丰富了全自动录播系统的功能，能更好的融入教学等应用场景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于多摄像机自动跟踪联动的录播互动系统的系统连接图；

图2为本发明实施例中基于多摄像机自动跟踪联动的录播互动方法的流程图；

图3为本发明实施例中实现导播控制功能的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例通过提供一种基于多摄像机自动跟踪联动的录播互动系统及方法，解决了现有的全自动录播系统存在结构复杂但功能欠缺的问题，实现通过一套录播互动系统实现多个功能的目的。

本申请实施例中的技术方案为解决上述技术问题，总体思路如下：

为了在节约硬件资源的前提下，尽可能实现录播互动系统的多功能，本技术方案提出的一种基于多摄像机自动跟踪联动的录播互动系统，其主要包括：行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；其中，行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接网络交换模块，实现相互之间的数据交互。本技术方案通过一个摄像机的拍摄对于教学和会议场景实现了多个摄像机跟踪切换功能。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

实施例1：

本发明提出了一种基于多摄像机自动跟踪联动的录播互动系统，参见图1，该系统包括：

行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；

其中，所述行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接所述网络交换模块，实现各模块之间的数据交互；且所述行为分析跟踪切换模块，用于在对学生和老师的行为姿态进行识别分析后对应产生控制指令，并发送所述控制指令给互动录播模块；所述互动录播模块，用于接收所述控制指令并基于所述控制指令实现导播画面自动切换；所述导播控制模块，用于手动控制所述多功能录播互动系统的功能切换；所述多摄像机组，用于全方位录制课堂教学场景。

可见，本实施例提出包括行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块的录播互动系统；其中，行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接网络交换模块，实现相互之间的数据交互。本实施例不仅能实现空间内多景位摄像机自动切换录制，同时仅通过一个设备和系统就融合了AI分析、识别以及加入了肢体等数据的训练和检测学习功能，无需增加其他定位系统和跟踪摄像机，节约了硬件资源，缩减了成本；但同时还提升了数据处理效率，丰富了全自动录播系统的功能，能更好的融入教学等应用场景。

下面结合附图1-3，以及对具体硬件、模块的解释，来详细说明本发明一个实施例的实现过程。

本发明提出的一种基于多摄像机自动跟踪联动的录播互动系统，整个系统包括：行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块。

其中，上述行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组等设备通过网络连接所述网络交换模块，实现上述各个模块之间的数据交互。

在本实施例中，网络交换模块优选为网络交换机，其支持TCP、UDP两种传输协议，可以同时获取4路IP视频流进行智能图像分析，支持信号源地址位、端口等设置，可对教师全景、板书全景、学生全景、学生巡视等景位进行设置。

行为分析跟踪切换模块，用于在对学生和老师的行为姿态进行识别分析后对应产生控制指令，并发送所述控制指令给互动录播模块。

行为分析跟踪切换模块支持智能图像分析，结合具体的场景能够实现多个活动过程的全自动跟踪识别，且支持实时定位，可以自动识别目标位置、实时控制摄像机精确定位，实现特写拍摄，同时可以对现场视频图像进行分析，实现常态化教学。具体的：

行为分析跟踪切换模块中存储有自动识别切换程序，可以通过内置算法识别授课状态并自动进行切换。例如：教师写板书时候，镜头自动切换到板书机位；鼠标移动或者PPT翻页时镜头自动切换到大屏画面；教师讲台站定时，切换到教室特写镜头；教师讲台走动时，画面自动切换到讲台全景；提问学生回答问题时，画面自动切换到学生全景然后转到学生特写，以及实现其它的常态化教学场景应用和画面切换。

其中，行为分析跟踪切换模块中内置AIoT智能芯片，该芯片支持AI图像跟踪技术，使系统具备AI视觉分析，支持人脸检测、人脸追踪、人脸多属性分析、人体姿态分析等功能，从而智能识别监视画面中人物的表情，包括平静、兴奋、悲伤、气愤等；另外，行为分析跟踪切换模块中存储有人体骨骼智能分析算法，可以智能识别监视画面中人物的姿态，包括低头、举手、扭头、站立、转身、背身等，系统智能识别教师身体朝向、学生动作，并发送指令给录播主机进行摄像机切换；且行为分析跟踪切换模块还存储有防抖动特征跟踪算法，使得本系统中的图像识别不受外在环境影响，具备较强的抗干扰能力。

在本实施例中，行为分析跟踪切换模块具体为行为分析跟踪切换主机及系统，行为分析跟踪切换主机及系统集成上述芯片、算法后，具体可实现以下功能：

1)跟踪主机及其内置的行为分析跟踪系统具有区域聚焦功能，辅助跟踪系统运行，使跟踪定位更准确。行为分析跟踪系统可通过浏览器在监视画面框选出聚焦区域，以该区域作为参考区域聚焦。系统对讲台区域监视画面框选时，聚焦区域包括教师跟踪、黑板跟踪等，确保智能跟踪分析的准确性；

2)跟踪主机及其内置的行为分析跟踪系统具有区支持焦距守望功能，辅助跟踪系统运行，使跟踪定位更准确。行为分析跟踪系统可通过浏览器对监视画面设置守望点，可同时设置4个守望点，并将守望点相连形成对学生区域的智能跟踪；

3)跟踪主机及其内置的行为分析跟踪系统，能智能识别教师身体朝向，使跟踪定位更准确。行为分析跟踪系统智能识别教师身体朝向，控制教师或板书摄像机智能切换。当教师面朝学生时，主播画面智能切换至教师特写；当教师面向黑板时，主播画面智能切换至板书特写。板书特写采用伴随跟踪拍摄方式，确保板书特写的拍摄效果；

4)跟踪主机及其内置的行为分析跟踪系统，支持手势识别功能，通过手势干预得到自己想要展示的切换画面。行为分析跟踪系统支持手势识别功能，可一键开启或关闭此功能。教师可以通过手势控制学生摄像机的拍摄区域；

5)跟踪主机及其内置的行为分析跟踪系统，支持切换规则定制。行为分析跟踪系统支持切换规则定制，可以精确调整切换时间，可设置云台速度，速度系数0～100可调，实现摄像机加速追踪人物；

6)跟踪主机及其内置的行为分析跟踪系统，可设置跟踪灵敏度。行为分析跟踪系统可设置跟踪灵敏度，灵敏度系数0～9999可调，实现图像跟踪的自定义灵敏度调节；

7)跟踪主机及其内置的行为分析跟踪系统，具备跟踪拍摄和切换拍摄两种模式。行为分析跟踪系统具备跟踪拍摄和切换拍摄两种模式，两种模式之间支持一键切换；

8)跟踪主机及其内置的行为分析跟踪系统支持摄像机自动跟踪，摄像机自动定位学生起立和教师移动，教师走进学生区域时，实时切换成教室全景画面。行为分析跟踪支持的自动跟踪功能。

9)跟踪主机及其内置的行为分析跟踪系统可设置变焦速度，速度系数1～7可调,实现焦距拉伸时间的调节。录播主机内置的录播系统，支持切换规则定制。

互动录播模块，用于接收所述控制指令并基于所述控制指令实现导播画面自动切换。

在本实施例中，互动录播模块优选互动录播主机。

导播控制模块，用于手动控制所述多功能录播互动系统的功能切换。

在本实施例中，导播控制模块优选导播控制键盘，操作者可根据导播控制键盘手动控制多功能录播互动系统的功能切换。

多摄像机组，用于全方位录制课堂教学场景的。

在本实施例中，多摄像机组包括：教师全景摄像机、教师特写摄像机、学生全景摄像机、学生特写摄像机，以及板书特写摄像机。

此外，所述系统还包括web界面访问模块，用于通过浏览器访问、远程操控所述系统。

本实施例的基于多摄像机自动跟踪联动的录播互动系统支持web界面访问，支持预览视频分析状态，可远程操控图像跟踪系统。支持通过浏览器访问跟踪主机网络流媒体界面，快速了解画面识别分析状态，及时调整跟踪系统参数。

实施例2：

第二方面，本发明还提供了一种基于多摄像机自动跟踪联动的录播互动方法，参见图2，该方法包括：

S1、多摄像机组接入互动录播模块后，行为分析跟踪切换模块拉取多摄像机组的图像流；

S2、行为分析跟踪切换模块通过分析所述图像流并对应产生导播画面切换指令；

S3、互动录播模块接收所述导播画面切换指令后控制多摄像机组按照所述导播画面切换指令切换摄像机画面。

本实施例的基于多摄像机自动跟踪联动的录播互动方法以行为分析跟踪切换模块为核心，提供完整的全自动互动录播方案，一套系统可实现多个功能。

在本实施例中，以一种优选的方式为例，即以行为分析跟踪切换模块为行为分析跟踪切换主机及系统，互动录播模块为互动录播主机、导播控制模块为导播控制键盘，以及网络交换模块为网络交换机为例，来具体说明该录播互动系统在实现多个功能的相互切换时，其具体步骤为：

S1、多摄像机组接入互动录播主机后，行为分析跟踪切换主机拉取多摄像机组的图像流。

当多摄像机组接入互动录播主机之后，行为分析跟踪切换主机通过拉取教师全景摄像机和学生全景摄像机捕捉的具有教师和学生行为动作的图像流。

S2、行为分析跟踪切换主机通过分析所述图像流并对应产生导播画面切换指令。

行为分析跟踪切换主机根据图像流全景图像中学生和老师的人脸和动作进行识别分析，并对应产生导播画面切换指令。其中，导播画面切换指令包括教师授课识别指令、学生行为分析指令，以及摄像机场景切换指令等。

S3、互动录播主机接收所述导播画面切换指令后控制多摄像机组按照所述导播画面切换指令切换摄像机画面。

将上述获得的导播画面切换指令发送至互动录播主机，互动录播主机根据这些导播画面切换指令实现导播画面自动切换。具体的，根据教师授课识别指令切换导播画面使得显示教师信息，根据学生行为分析指令切换导播画面使得分析学生正面、负面的行为，以及根据摄像机场景切换指令切换不同摄像机，包括切换教师全景摄像机、教师特写摄像机、学生全景摄像机、学生特写摄像机、板书特写摄像机等五路摄像机。

参见图3，下面我们以该系统实现人物行为分析功能、导播控制功能为例，来进一步阐述该系统实现某个功能的具体过程。

1)实现人物行为分析功能。

系统通过现有全景摄像机的画面捕捉教师和学生的行为动作，实现课堂的记录以及摄像机画面的切换，达到想要的显示图像自动切换的目的。具体的，系统在实现人物行为分析功能时，系统执行如下步骤：

步骤1、获取监视画面中人物的行为动作；人物的行为动作包括人物脸部表情和动作姿态。

本系统支持抓拍场景内的人脸以用于表情分析和数据的训练及检测，具备深度学习功能。首先通过多摄像机组抓拍各自场景内人物的行为动作，包括人物脸部、脸部表情和动作姿态等。

步骤2、利用人体骨骼智能分析算法对所述人物的行为动作进行分析判断。

在获取人物脸部、脸部表情和动作姿态等数据之后，利用人体骨骼智能分析算法，通过身体框，脸部框，头部框，骨骼四个维度对人物的行为动作进行分析。

步骤3、基于人物的行为动作分析判断结果识别人物的状态，并对人物的状态进行显示。

经过上述的分析判断结果，判断人物目前所处的状态，并进行显示。具体的，例如可实时显示学生的转身、趴桌、低头、扭头、举手、起立、抬头等状态，从而满足巡课和智能考场的需求。

此外，本系统支持人脸识别和人脸库功能，其可自动抓拍人脸进行身份信息注册，自动将主讲人(一般为老师)身份信息添加到录播系统，在制作精品课程视频时，课程视频所属信息自动填加，无需手动添加。

2)实现导播控制功能。

将导播控制键盘接入网络交换模块后可直接对教师全景摄像机、教师特写摄像机、学生全景摄像机、学生特写摄像机、板书特写摄像机进行手动控制操作，此时无需借助跟踪主机和录播主机为媒介，可降低操控的延迟性，真正实现实时操控。系统在实现导播控制功能时，具体执行如下步骤：

SS1、导播控制键盘通过网络交换机发送手动控制指令；

SS2、互动录播主机接收所述手动控制指令后按照所述手动控制指令对应切换多摄像机组中不同的摄像机。

可理解的是，本发明实施例提供的基于多摄像机自动跟踪联动的录播互动方法与上述基于多摄像机自动跟踪联动的录播互动系统相对应，其有关内容的解释、举例、有益效果等部分可以参照基于多摄像机自动跟踪联动的录播互动系统中的相应内容，此处不再赘述。

综上所述，与现有技术相比，具备以下有益效果：

本发明提出的基于多摄像机自动跟踪联动的录播互动系统包括：行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；其中，行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接网络交换模块，实现相互之间的数据交互。本发明不仅能实现空间内多景位摄像机自动切换录制，同时仅通过一个设备和系统就融合了AI分析、识别以及加入了肢体等数据的训练和检测学习功能，无需增加其他定位系统和跟踪摄像机，节约了硬件资源，缩减了成本；但同时还提升了数据处理效率，丰富了全自动录播系统的功能，能更好的融入教学等应用场景。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多摄像机自动跟踪联动的录播互动系统，其特征在于，所述系统包括：

行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组，以及网络交换模块；

其中，所述行为分析跟踪切换模块、互动录播模块、导播控制模块、多摄像机组通过网络连接所述网络交换模块，实现数据交互；且

所述行为分析跟踪切换模块，用于对学生和老师的行为姿态进行识别分析后对应产生控制指令，并发送所述控制指令给互动录播模块；

所述互动录播模块，用于接收所述控制指令并基于所述控制指令实现导播画面自动切换；

所述导播控制模块，用于手动控制所述多功能录播互动系统的功能切换；

所述多摄像机组，用于全方位录制课堂教学场景的。

2.如权利要求1所述的录播互动系统，其特征在于，所述行为分析跟踪切换模块内置AIoT智能芯片。

3.如权利要求1所述的录播互动系统，其特征在于，所述网络交换模块为网络交换模块包括网络交换机，其支持TCP、UDP两种传输协议。

4.如权利要求1所述的录播互动系统，其特征在于，所述行为分析跟踪切换模块中存储有包括人体骨骼智能分析算法和防抖动特征跟踪算法对应的程序，以及存储自动识别切换程序。

5.如权利要求1所述的录播互动系统，其特征在于，所述多摄像机组包括：教师全景摄像机、教师特写摄像机、学生全景摄像机、学生特写摄像机，以及板书特写摄像机。

6.如权利要求2所述的录播互动系统，其特征在于，所述行为分析跟踪切换模块包括行为分析跟踪切换主机及系统。

7.如权利要求1所述的录播互动系统，其特征在于，所述互动录播模块包括互动录播主机。

8.如权利要求1所述的录播互动系统，其特征在于，所述导播控制模块包括导播控制键盘。

9.如权利要求1所述的录播互动系统，其特征在于，所述系统还包括：web界面访问模块，用于通过浏览器访问、远程操控所述录播互动系统。

10.一种基于多摄像机自动跟踪联动的录播互动方法，其特征在于，所述方法利用如权利要求1-9任意一项所述的系统实现录播互动的方法，所述录播互动的方法包括：

多摄像机组接入互动录播模块后，行为分析跟踪切换模块拉取多摄像机组的图像流；

行为分析跟踪切换模块通过分析所述图像流并对应产生导播画面切换指令；

互动录播模块接收所述导播画面切换指令后控制多摄像机组按照所述导播画面切换指令切换摄像机画面。

Images