CN107507474A - 一种远程交互式录播系统视频切换方法 - Google Patents

Abstract

本发明的一种远程交互式录播系统视频切换方法通过教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；教学行为分析器根据所述激励源向多点集中控制器发送广播申请；多点集中控制器进行广播决策；多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

Description

一种远程交互式录播系统视频切换方法

技术领域

本发明涉及教学平台领域，尤其涉及一种远程交互式录播系统视频切换方法和系统

背景技术

传统的多方互动录制与画面切换，基于视频会议多点控制单元的手动导演或语音激励进行发言人切换，只能做到一个会场或教室只有一个摄像机，无法同时录制不同教室的教师、学生和板书特写，另外手动导演操作复杂不适合教学应用，另外语音激励受噪声影响较大，也不适合教学环境。

发明内容

基于此，本发明提供了一种远程交互式录播系统视频切换方法。

一种远程交互式录播系统视频切换方法，所述方法包括：

教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；

教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

教学行为分析器根据所述激励源向多点集中控制器发送广播申请；

多点集中控制器进行广播决策；

多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

在其中一个实施例中，在所述教学行为分析器根据所述激励源向多点集中控制器发送广播申请的步骤之后，所述方法还包括：

多点集中控制器进行广播决策。

在其中一个实施例中，所述激励源分为正激励源和负激励源；

其中，正激励源定义集合S= {s1,s2,s3,s4.s5,s6}，s1为侦测到PPT被激活，S2为侦测到教师在黑板板书，s3为分别为学生起立、s4教师移动在讲台移动，s5为侦测到教师移动到学生区域，s6定义为切换为某个端点发言；

负激励源集合定义为D= {d1,d2,d3,d4,d5,d6}，d1为侦测到PPT失去活动，d2为侦测到教师停止黑板板书，d3为分别为学生坐下、d4教师离开在讲台移动，d5为侦测到教师学生区域离开，d6定义为取消为某个端点发言。

在其中一个实施例中，所述方法还包括：

教学行为分析器检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。

在其中一个实施例中，所述多点集中控制器进行广播决策的方法包括：

A.多点集中控制单元决策器收到广播申请时，分析报文提取申请端p 和 激励源e 存入申请队列Q1；

B.当申请端P 为当前发言人时，将申请端p，和激励源e，送入约束队列Q2；

C.当申请端P 不是当前发言人时，启动2秒定时器T1，等待定时器T1超时；

D.当定时器T1超时，从Q1队列出队，获取最佳申请人Pb，求最佳申请人为 h(e)最大，将激励源存入epb。

E.当求解到有最佳申请人时，将Q2队列出队，求最大约束h(e)最大，最大约束激励源为ec ，当h(epb) > h(ec)时，将pb决策为广播端，否则，拒绝所有申请人，同时停止定时器T1；

F.多点集中控制单元完成决策后，先向录播主机发送向录播主机传输单元发送d6激励，d6的申请人为上一个发言人，然后发送激励为s6的激励事件，s6申请人为当前发言人。

在其中一个实施例中，所述录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播的步骤包括：

a.录播主机将教学行为分析器检测的正激励事件s存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

b.录播主机将传输单元激励源s6存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

c.T2未超时过程中，教学行为分析器检测的负激励事件d时，从Q1中查找满足 h(d)+h(s)=0时，将s从队列Q1中移；

d.当T2超时， 按照h(s1) >h(s2) >h(s6)>h(s3)>h(s4)>h(s5)比较队列Q1的激励源估计大小，选用最大的作为激励源，执行图像切换和录制，切换图像按照的规定执行。

一种远程交互式录播系统视频切换系统，所述系统包括教学行为分析器、多点集中控制器和录播主机；其中，

教学行为分析器包括：

分析单元，用于并行分析教师学生行为，以形成一教师学生行为数据；

建立单元，用于将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

广播申请发送单元，用于根据所述激励源向多点集中控制器发送广播申请；

所述多点集中控制器包括：

广播决策单元，用于进行广播决策；

指示单元，用于指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

所述录播主机包括：

传送单元，用于将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

切换单元，用于切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

在其中一个实施例中，所述多点集中控制器还包括：

广播决策单元，用于进行广播决策。

在其中一个实施例中，所述教学行为分析器还用于：

检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。

有益效果：

本发明通过教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；教学行为分析器根据所述激励源向多点集中控制器发送广播申请；多点集中控制器进行广播决策；多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。本发明采用同时对多教室的教师和学生的行为智能分析，提交给多点集中控制单元申请广播，多点集中控制单元进行广播决策，同时将广播结果通知录播主机，录播主机的切换决策器根据多点集中控制单元的通知和本地教学行为分析器的检测结果，激励画面切换，从而完成多教室的教学交互过程的全过程录制。该方法实现包括主讲录播主机传输单元、录播主机传切换决策器、录播主机传录制和直播单元、教学行为分析器、多点集中控制单元及其广播决策器、音视频传输终端。本发明的方案可以同时录制不同教室的教师、学生和板书特写，适合教学应用，另外语音激励受噪声影响较小，适合教学环境。

附图说明

为了更清楚地说明本发明运行原理和使用的技术方案，下面将对运行原理和使用的技术中所需要使用的附图作简单地介绍。显而易见，下面描述中的附图仅仅是本发明的一些运行例子，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一种远程交互式录播系统视频切换方法的方法流程图。

图2是本发明一种远程交互式录播系统视频切换系统的系统框图。

具体实施方式

下面将结合本发明运行原理中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于此，本发明提供了一种远程交互式录播系统视频切换方法。

请参照图1，一种远程交互式录播系统视频切换方法，所述方法包括：

S101：教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；

S102：教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

S103：教学行为分析器根据所述激励源向多点集中控制器发送广播申请；

S104：多点集中控制器进行广播决策；

S105：多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

S106：录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

S107：录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

在其中一个实施例中，在所述教学行为分析器根据所述激励源向多点集中控制器发送广播申请的步骤之后，所述方法还包括：

多点集中控制器进行广播决策。

在其中一个实施例中，所述激励源分为正激励源和负激励源；

其中，正激励源定义集合S= {s1,s2,s3,s4.s5,s6}，s1为侦测到PPT被激活，S2为侦测到教师在黑板板书，s3为分别为学生起立、s4教师移动在讲台移动，s5为侦测到教师移动到学生区域，s6定义为切换为某个端点发言；

负激励源集合定义为D= {d1,d2,d3,d4,d5,d6}，d1为侦测到PPT失去活动，d2为侦测到教师停止黑板板书，d3为分别为学生坐下、d4教师离开在讲台移动，d5为侦测到教师学生区域离开，d6定义为取消为某个端点发言。

在其中一个实施例中，所述方法还包括：

教学行为分析器检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。

在其中一个实施例中，所述多点集中控制器进行广播决策的方法包括：

A.多点集中控制单元决策器收到广播申请时，分析报文提取申请端p 和 激励源e 存入申请队列Q1；

B.当申请端P 为当前发言人时，将申请端p，和激励源e，送入约束队列Q2；

C.当申请端P 不是当前发言人时，启动2秒定时器T1，等待定时器T1超时；

D.当定时器T1超时，从Q1队列出队，获取最佳申请人Pb，求最佳申请人为 h(e)最大，将激励源存入epb。

E.当求解到有最佳申请人时，将Q2队列出队，求最大约束h(e)最大，最大约束激励源为ec ，当h(epb) > h(ec)时，将pb决策为广播端，否则，拒绝所有申请人，同时停止定时器T1；

F.多点集中控制单元完成决策后，先向录播主机发送向录播主机传输单元发送d6激励，d6的申请人为上一个发言人，然后发送激励为s6的激励事件，s6申请人为当前发言人。

在其中一个实施例中，所述录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播的步骤包括：

a.录播主机将教学行为分析器检测的正激励事件s存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

b.录播主机将传输单元激励源s6存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

c.T2未超时过程中，教学行为分析器检测的负激励事件d时，从Q1中查找满足 h(d)+h(s)=0时，将s从队列Q1中移；

d.当T2超时， 按照h(s1) >h(s2) >h(s6)>h(s3)>h(s4)>h(s5)比较队列Q1的激励源估计大小，选用最大的作为激励源，执行图像切换和录制，切换图像按照的规定执行。

在本发明实施例中，其中函数 h(s) 定义为 激励的估价函数，具有以下性质

h(s1) >h(s2) >h(s6)>h(s3)>h(s4)>h(s5)

h(S[n])+ h(D[n]) = 0

S[n] ,D[n] 表示激励集合的元素

1.3 激励源对应的图像切换定义

s1 切换 VGA的PPT画面，s2切换黑板板书画面，s3切换学生特写画面，s4切换教师讲台画面，s5切换学生全景画面，s6切换主讲教室与远端发言人双画面。

请参照图2，一种远程交互式录播系统视频切换系统，所述系统包括教学行为分析器100、多点集中控制器200和录播主机300；其中，

教学行为分析器包括：

分析单元110，用于并行分析教师学生行为，以形成一教师学生行为数据；

建立单元120，用于将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

广播申请发送单元130，用于根据所述激励源向多点集中控制器发送广播申请；

所述多点集中控制器包括：

广播决策单元210，用于进行广播决策；

指示单元220，用于指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

所述录播主机300包括：

传送单元310，用于将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

切换单元320，用于切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

在其中一个实施例中，所述多点集中控制器还包括：

广播决策单元，用于进行广播决策。

在其中一个实施例中，所述教学行为分析器还用于：

检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。

本发明通过教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；教学行为分析器根据所述激励源向多点集中控制器发送广播申请；多点集中控制器进行广播决策；多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。本发明采用同时对多教室的教师和学生的行为智能分析，提交给多点集中控制单元申请广播，多点集中控制单元进行广播决策，同时将广播结果通知录播主机，录播主机的切换决策器根据多点集中控制单元的通知和本地教学行为分析器的检测结果，激励画面切换，从而完成多教室的教学交互过程的全过程录制。该方法实现包括主讲录播主机传输单元、录播主机传切换决策器、录播主机传录制和直播单元、教学行为分析器、多点集中控制单元及其广播决策器、音视频传输终端。本发明的方案可以同时录制不同教室的教师、学生和板书特写，适合教学应用，另外语音激励受噪声影响较小，适合教学环境。

以上对本发明运行原理进行了详细介绍，上述运行原理的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述作为分离部件说明的单元可以使或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个芯片单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元上。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘各种可以存储程序代码的介质。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或他们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一个实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现；具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）。

以上对本发明运行原理进行了详细介绍，上述运行原理的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种远程交互式录播系统视频切换方法，其特征在于，所述方法包括：

教学行为分析器并行分析教师学生行为，以形成一教师学生行为数据；

教学行为分析器将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

教学行为分析器根据所述激励源向多点集中控制器发送广播申请；

多点集中控制器进行广播决策；

多点集中控制器指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

录播主机将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

2.根据权利要求1所述的一种远程交互式录播系统视频切换方法，其特征在于，在所述教学行为分析器根据所述激励源向多点集中控制器发送广播申请的步骤之后，所述方法还包括：

多点集中控制器进行广播决策。

3.根据权利要求1所述的一种远程交互式录播系统视频切换方法，其特征在于，所述激励源分为正激励源和负激励源；

其中，正激励源定义集合S= {s1,s2,s3,s4.s5,s6}，s1为侦测到PPT被激活，S2为侦测到教师在黑板板书，s3为分别为学生起立、s4教师移动在讲台移动，s5为侦测到教师移动到学生区域，s6定义为切换为某个端点发言；

负激励源集合定义为D= {d1,d2,d3,d4,d5,d6}，d1为侦测到PPT失去活动，d2为侦测到教师停止黑板板书，d3为分别为学生坐下、d4教师离开在讲台移动，d5为侦测到教师学生区域离开，d6定义为取消为某个端点发言。

4.根据权利要求3所述的一种远程交互式录播系统视频切换方法，其特征在于，所述方法还包括：

教学行为分析器检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。

5.根据权利要求1所述的一种远程交互式录播系统视频切换方法，其特征在于，所述多点集中控制器进行广播决策的方法包括：

A.多点集中控制单元决策器收到广播申请时，分析报文提取申请端p 和 激励源e 存入申请队列Q1；

B.当申请端P 为当前发言人时，将申请端p，和激励源e，送入约束队列Q2；

C.当申请端P 不是当前发言人时，启动2秒定时器T1，等待定时器T1超时；

D.当定时器T1超时，从Q1队列出队，获取最佳申请人Pb，求最佳申请人为 h(e)最大，将激励源存入epb；

E.当求解到有最佳申请人时，将Q2队列出队，求最大约束h(e)最大，最大约束激励源为ec ，当h(epb) > h(ec)时，将pb决策为广播端，否则，拒绝所有申请人，同时停止定时器T1；

F.多点集中控制单元完成决策后，先向录播主机发送向录播主机传输单元发送d6激励，d6的申请人为上一个发言人，然后发送激励为s6的激励事件，s6申请人为当前发言人。

6.根据权利要求1所述的一种远程交互式录播系统视频切换方法，其特征在于，所述录播主机切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播的步骤包括：

a.录播主机将教学行为分析器检测的正激励事件s存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

b.录播主机将传输单元激励源s6存入队列Q1，如果定时器T2未启动，同时启动定时器T2，T2超时间为2秒；

c.T2未超时过程中，教学行为分析器检测的负激励事件d时，从Q1中查找满足 h(d)+h(s)=0时，将s从队列Q1中移；

d.当T2超时， 按照h(s1) >h(s2) >h(s6)>h(s3)>h(s4)>h(s5)比较队列Q1的激励源估计大小，选用最大的作为激励源，执行图像切换和录制，切换图像按照的规定执行。

7.一种远程交互式录播系统视频切换系统，其特征在于，所述系统包括教学行为分析器、多点集中控制器和录播主机；其中，

教学行为分析器包括：

分析单元，用于并行分析教师学生行为，以形成一教师学生行为数据；

建立单元，用于将分析到的教师学生行为数据中的关于远端学生起立或者教师移动的数据产生一激励源；

广播申请发送单元，用于根据所述激励源向多点集中控制器发送广播申请；

所述多点集中控制器包括：

广播决策单元，用于进行广播决策；

指示单元，用于指示传输终端将广播音视频发送给录播主机的远端输入源，同时通知录播主机的远端发言人；

所述录播主机包括：

传送单元，用于将连接的本地教学行为分析器分析数据与多点集中控制器的广播指示传送给录播主机切换决策器；

切换单元，用于切换决策器启动切换策略分析，将切换输出音视频传输给录制器和直播器，进行录制和直播。

8.根据权利要求7所述的一种远程交互式录播系统视频切换系统，其特征在于，所述多点集中控制器还包括：

广播决策单元，用于进行广播决策。

9.根据权利要求7所述的一种远程交互式录播系统视频切换系统，其特征在于，所述教学行为分析器还用于：

检测到激励事件e；

当e ∈S时，需要保持2秒；

如果没有对应负激励事件发生时，向多点集中控制器发送广播申请的信息，所述信息包括申请的教学点名称和激励事件e。