CN106937021A - 基于时间轴多轨回放技术的演出集成控制方法 - Google Patents

Abstract

本发明涉及演艺设备控制技术，具体是一种基于时间轴多轨回放技术的演出集成控制方法。该方法包括：在集成控台的显示界面上显示时间轴；添加和/或删除用于对相应演出设备进行控制的轨道，所述轨道包括灯光轨道；编辑轨道属性；添加素材；编辑素材属性；集成控台根据各轨道属性及其素材属性发出相应的控制指令，对于所述视频轨道，所述控制指令包括播放素材所对应源文件的指令和对素材所对应的源文件进行效果处理的指令；所述控制指令为用于控制对应的受控装置的指令或与对应的受控装置进行网络数据通信的指令。本发明可以解决解决目前演出节目音频、视频、灯光、机械及特效设备多专业回放编辑与协同控制的技术难题。

Description

基于时间轴多轨回放技术的演出集成控制方法

技术领域

本发明涉及演艺设备控制技术，具体是一种基于时间轴多轨回放技术的演出集成控制方法。

背景技术

在演出节目编排过程中，一个比较突出的问题是各个专业(指音频、视频、灯光、机械等)之间的协调与同步控制。在大型的演出中，每个专业相对独立，需要一个比较庞大的队伍才能保障演出的顺利编排与演出。而在编排各专业节目的过程中，大部分时间都花在了专业之间的协调和同步上面，而且比起真正专注在节目本身的时间可能要多得多。

由于每个专业相对独立，控制方式相差甚远。若要进行现场的音视频同步编辑，视频由灯控台进行控制，音频通过多轨回放编辑控制，音频很容易定位到任意的时间开始回放，但视频却只能从头开始(可由操作人员手动将帧数调整到对应位置，但却不能跟着时间码启动)，这对现场演出控制来说，欠缺足够的灵活性。

此外，现有的影视、舞台的专业音箱系统的音箱位置固定以后，通过舞台两侧的左、右通道主扩音或左、中、右三路主扩音将声像大致设定在舞台的中央位置，虽然演出场所除了舞台上的主扩音以外，还在各个位置设置有数量众多的音箱，但整场演出下来，音箱系统的声像几乎很少会发生变化。

因此，解决目前演出节目的编辑与同步控制以及声像跑动效果的灵活控制都是本技术领域亟待解决的关键技术问题。

发明内容

本发明解决的技术问题是提供一种可简化影视、舞台等场合演出多专业控制以及可以对扩声系统的声像进行灵活快速设置的基于时间轴多轨回放技术的演出集成控制方法。

为解决上述技术问题，本发明采用的技术方案是：一种基于时间轴多轨回放技术的演出集成控制方法，该方法包括：在集成控台的显示界面上显示时间轴；添加和/或删除用于对相应演出设备进行控制的轨道，所述轨道包括音频轨道、视频轨道、灯光轨道、装置轨道中的一种或多种；编辑轨道属性；添加素材；编辑素材属性；集成控台根据各轨道属性及其素材属性发出相应的控制指令，对于所述视频轨道，所述控制指令包括播放素材所对应源文件的指令和对素材所对应的源文件进行效果处理的指令；所述控制指令为用于控制对应的受控装置的指令或与对应的受控装置进行网络数据通信的指令。

与现有技术相比，有益效果如下：回放总控体现了"演出集成管理"的理念。从技术的角度来说，这几个单元的藕合性非常低，它们可以独自工作而不相互影响，唯一比较突出的联系是"时间"，即在什么时候播出什么东西。从用户使用的角度来说，"时间"的关系却是他们最关心的东西。如果能将这几个单元的状态集中在一起进行查看与管理，用户将省去许多不必要的麻烦。如协调各个单元之间的同步问题，在节目编辑时各个专业的相互参考与对比修正等等。

附图说明

图1是实施例的基于时间轴多轨回放技术的演出集成控制方法示意图。

图2是实施例的基于时间轴多轨回放技术的演出集成控制方法的音频控制部分的方法示意图。

图3是实施例的基于时间轴多轨回放技术的演出集成控制方法的音频子轨道的操作方法示意图。

图4是实施例的基于时间轴多轨回放技术的演出集成控制方法的视频控制部分的方法示意图。

图5是实施例的基于时间轴多轨回放技术的演出集成控制方法的灯光控制部分的方法示意图。

图6是实施例的基于时间轴多轨回放技术的演出集成控制方法的装置控制部分的方法示意图。

图7是实施例的基于时间轴多轨回放技术的演出集成控制控制系统的原理示意图。

图8是实施例的基于时间轴多轨回放技术的演出集成控制的音频控制模块的原理示意图。

图9是实施例的基于时间轴多轨回放技术的演出集成控制的视频控制模块的原理示意图。

图10是实施例的基于时间轴多轨回放技术的演出集成控制的灯光控制模块的原理示意图。

图11是实施例的基于时间轴多轨回放技术的演出集成控制的装置控制模块的原理示意图。

图12是实施例的基于时间轴多轨回放技术的演出集成控制方法的多轨回放编辑模块界面示意图。

图13是实施例的基于时间轴多轨回放技术的演出集成控制系统的音频控制部分的原理示意图。

图14是实施例的基于时间轴多轨回放技术的演出集成控制系统的轨迹矩阵模块的原理示意图。

图15是实施例的基于时间轴多轨回放技术的演出集成控制系统的视频控制部分的原理示意图。

图16是实施例的基于时间轴多轨回放技术的演出集成控制系统的灯光控制部分的原理示意图。

图17是实施例的基于时间轴多轨回放技术的演出集成控制系统的装置控制部分的原理示意图。

图18是实施例的声像轨迹控制方法的步骤示意图。

图19是实施例的声像轨迹数据生成方法步骤示意图。

图20是实施例的音箱分布地图及变域声像轨迹示意图之一。

图21是实施例的音箱分布地图及变域声像轨迹示意图之二。

具体实施方式

下面结合附图对本发明各类型的声像轨迹控制作进一步的说明。

本实施例提供一种可简化影视、舞台等场合演出多专业控制以及可以对扩声系统的声像进行灵活快速设置的基于时间轴多轨回放技术的演出集成控制方法。该方法通过集成控台的多轨回放编辑模块，实现对多个专业素材的集中编排和控制。

如图1所示，上述基于时间轴多轨回放技术的演出集成控制方法包括以下步骤：

S101：在集成控台的显示界面上显示时间轴；

S102：添加和/或删除用于对相应演出设备进行控制的轨道，所述轨道包括音频轨道、视频轨道、灯光轨道、装置轨道中的一种或多种；

S103：编辑轨道属性；

S104：添加素材；

S105：编辑素材属性；

S106：集成控台根据各轨道属性及其素材属性发出相应的控制指令。

如图2和图12所示，该基于时间轴多轨回放技术的演出集成控制方法可选择包括多轨音频回放控制(与下述音频控制模块对应)，此时，该方法包括以下步骤：

S201：添加音频轨道，在显示界面上添加平行且对齐于所述时间轴的一个或多个音频轨道(区域)1、2，每个所述音频轨道对应一输出通道。

S202：编辑音频轨道属性，可编辑的音频轨道属性包括轨道锁定、轨道静音。轨道静音属性可控制此轨道上的音频素材及所有子轨道是否静音，是音频轨道的总控。轨道锁定属性可控制轨道上除静音和添加隐藏子轨道外等个别属性外，其它属性及音频轨道中的素材位置和素材属性均不能修改。

S203：添加音频素材，在音频轨道1、2中添加一个或多个音频素材111、112、113、211、212、213、214，并在音频轨道中生成与该音频素材对应的音频素材，该音频素材所占据的音频轨道的长度与该音频素材的总时长相匹配。在添加音频素材之前，先从音频服务器获取音频素材列表，然后再从该音频素材列表中选定音频素材添加进入音频轨道。当音频素材添加进音频轨道后，将生成与该音频素材相对应的音频属性文件，集成控台通过编辑音频属性文件来控制发送给音频服务器的指令，而不是直接调用或编辑音频素材对应的源文件，确保源文件的安全性和集成控台的稳定性。

S204：编辑音频素材属性，所述音频素材属性包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。其中，所述起点位置为该音频素材起点位置(沿垂直方向)所对应的时间轴时刻，所述终点位置为该音频素材终点位置(沿垂直方向)所对应的时间轴时刻，所述开始时间为该音频素材在时间轴上的实际开始播放时刻，所述结束时间为该音频素材在时间轴上的实际结束播放位置。一般而言，开始时间可延后于起点位置，结束时间可提前于终点位置。总时长是指音频素材的原本时间长度，起点位置至终点位置的时间差即为音频素材的总时长，播放时间长度是指该音频素材在时间轴上的播放时间长度，开始时间与结束时间的时间差即为该音频素材的播放时间长度。通过调整开始时间和结束时间可以实现对声像素材的剪切操作，即只播放用户希望播放的部分。

通过调整(横向移动)音频素材在音频轨道中的位置可以改变起点位置和终点位置，但起点位置与终点位置在时间轴上的相对位置不会改变，即音频素材的长度不会改变。通过调整音频素材的开始时间和结束时间可以改变音频素材在时间轴上的实际播放时间及其长度。一个音频轨道中可以放置多个音频素材，表示在时间轴所表示的时间段内，可以(经相应的输出通道)依次播放多个音频素材。需要注意的是，任一音频轨道内的音频素材位置(时间位置)可以自由调整，但各音频素材之间不应重叠。

进一步的，由于集成控台只是对音频素材对应的属性文件进行控制，因此集成控台还可以对音频素材进行剪断操作和拼接操作。剪断操作是指将音频轨道上的一个音频素材分割成多个音频素材，同时分割后的各个音频素材有各自对应的属性文件，此时源文件仍然完好，集成控台根据这些新的属性文件发出控制命令依次调用源文件进行相应的播放和音效操作。类似的，拼接操作是指将两个音频素材合并成一个音频素材，其各自对应的属性文件合并为一个属性文件，通过一个属性文件发出控制音频服务器调用两个音频源文件。

进一步的，还可以在集成控台上设置分别与各个音频轨道对应的多组操作实体操作键，以通过实体操作键手动调整音频素材的属性。例如增加对音频轨道中的音频素材位置(时间轴位置)前后调整的素材播放时间调整旋钮。

S205：添加音频子轨道12、13、14、15、21、22，添加与其中一所述音频轨道对应的一个或多个音频子轨道，各所述音频子轨道平行于所述时间轴，所述音频子轨道与其对应的所述音频轨道的输出通道对应。

每个音频轨道都可以有附属的音频子轨道，音频子轨道的类型包括声像子轨道和音效子轨道。其中，所述声像子轨道用于对所属音频轨道的部分或全部音频素材进行声像轨迹处理，所述音效子轨道用于对所属音频轨道的部分或全部音频素材进行音效处理。在本步骤中，可进一步执行以下步骤：

S301：添加声像子轨道和声像素材，在声像子轨道中添加一个或多个声像素材121、122，并在该声像子轨道中生成与该声像素材对应的声像素材，该声像素材所占据的声像子轨道的长度与该声像素材所对应的总时长相匹配。

S302：编辑声像子轨道属性，与所述音频轨道类似，可编辑的声像子轨道属性包括轨道锁定、轨道静音。

S303：编辑声像素材属性，与所述音频素材类似，所述声像素材属性也包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。

通过声像子轨道上的声像素材，可以在该声像素材开始时间和结束时间之间的时间段内，对该声像子轨道所属音频轨道所对应输出通道输出的信号进行声像轨迹处理。因此在声像子轨道上添加不同类型的声像素材，可以对相应输出通道输出的信号进行不同类型的声像轨迹处理；而通过调整各个声像素材的起点位置、结束时间、开始时间和结束时间，可以调整声像轨迹处理开始的时间和声像轨迹效果所持续的时间。

声像素材与音频素材的区别在于，音频素材代表的是音频数据。声像轨迹数据是在设定长度的时间段内，为了使音箱分布地图中各虚拟音箱节点输出电平所形成的声像沿预先设定的路径跑动或保持不动，各音箱节点随时间变化的输出电平数据。即声像轨迹数据包含了音箱分布地图中全部音箱节点在该设定长度时间段内的输出电平变化数据。声像轨迹数据的类型包括定点声像轨迹数据、变轨声像轨迹数据和变域声像轨迹数据，声像轨迹数据的类型决定了声像素材的类型，声像轨迹数据所对应的声像运动总时长决定了声像素材起点位置和终点位置之间的时间差，即声像素材的总时长。声像轨迹处理是指根据声像轨迹数据对与各个音箱节点对应的各个音箱实体实际输出电平的大小进行调整，使音箱实体系统的声像在设定长度的时间段内沿设定路径跑动或保持不动。

S304：添加音效子轨道，所述音效子轨道的类型包括音量及增益子轨道13、22、EQ子轨道14、15、21，每个音频轨道可设置一个音量及增益子轨道，以及一个或多个EQ子轨道。其中，所述音量及增益子轨道用于对所属音频轨道对应的输出通道的信号电平大小进行调整，所述EQ子轨道用于对所属音频轨道对应的输出通道的输出的信号进行EQ音效处理。

S305：编辑音效子轨道的属性，所述音效子轨道的属性包括轨道锁定、轨道静音和轨道标识外，还包括与音效子轨道类型对应的音效处理参数。例如，音量及增益子轨道包含的音效处理参数为输出电平大小调节参数，EQ子轨道包含的音效处理参数为EQ处理参数。通过修改音效子轨道的音效参数可以调整该音效子轨道所属音频轨道对应输出通道的音效。

S206：保存数据，或根据音频轨道及其子轨道的属性，音频素材和声像素材属性生成对音频素材对应源文件的控制指令，并根据该控制指令对音频素材的源文件进行播放控制和声像、音效处理控制。

控制指令包括决定是否调用(播放)音频素材的音频源文件，源文件播放的开始时间和结束时间(以时间轴的时刻为准)，源文件的声像和音效处理，具体的控制指令与各音频轨道及其附属子轨道的属性、音频素材、声像素材的属性对应。也就是说音频轨道并不直接调用和处理音频素材的源文件，而只是处理该音频源文件所对应的属性文件，通过编辑调整源文件的属性文件、添加/编辑声像素材、以及音频轨道及其子轨道的属性实现对音频源文件的间接控制。

例如添加至音频轨道的音频素材将进入播放列表，该音频轨道启动播放时，该音频素材将会被播放；通过编辑音频轨道属性，可以控制音频轨道的静音属性，可以控制该音频轨道及其附属子轨道是否静音(有效)，通过编辑音频锁定属性，可控制轨道上除静音和添加隐藏子轨道外等个别属性外，其它属性及音频轨道中的素材位置和素材属性均不能修改(锁定状态)。更详细的描述可参考前面的叙述。

如图4和图12所示，本实施例的基于时间轴多轨回放技术的演出集成控制方法还可以选择增加视频回放控制(与下述视频控制模块对应)，具体包括以下步骤：

S401：添加视频轨道，(在显示界面上)添加平行且对齐于所述时间轴的视频轨道4(区域)，所述视频轨道对应一受控设备，本发明中采用视频服务器。

S402：编辑视频轨道属性，可编辑的视频轨道属性包括轨道锁定、轨道静音。视频轨道属性与音频轨道属性类似。

S403：添加视频素材，在视频轨道中添加一个或多个视频素材41、42、43、44，并在视频轨道中生成与该视频素材对应的视频素材，该视频素材所占据的视频轨道的长度与该视频素材的总时长相匹配。在添加视频素材之前，先从视频服务器获取视频素材列表，然后再从该视频素材列表中选定视频素材添加进入视频轨道。当视频素材添加进视频轨道后，将生成与该视频素材相对应的视频属性文件，集成控台通过编辑视频属性文件来控制发送给视频服务器的指令，而不是直接调用或编辑视频素材对应的源文件，确保源文件的安全性和集成控台的稳定性。

S404：编辑视频素材属性，所述视频素材属性包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。视频素材属性与音频素材属性类似，同时音频素材也可以进行横向移动、剪断和拼接操作，或者是在集成控台上增加调整与视频轨道对应的一组实体操作键，以通过实体操作键手动调整视频素材的属性。

S405：保存数据，或根据视频轨道属性，视频素材的属性生成对视频素材对应源文件的控制指令，并根据该控制指令对视频素材的源文件进行播放控制和声像、音效处理控制。与视频轨道类似，具体控制指令音频轨道的属性、视频素材的属性对应。

如图5和图12所示，本实施例的基于时间轴多轨回放技术的演出集成控制方法还可以选择增加灯光控制(与下述灯光控制模块对应)，具体包括以下步骤：

S501：添加灯光轨道，(在显示界面上)添加平行且对齐于所述时间轴的灯光轨道3(区域)，所述灯光轨道对应一受控设备，本发明中采用灯光网络信号适配器(如Artnet网卡)。

S502：编辑灯光轨道属性，可编辑的灯光轨道属性包括轨道锁定、轨道静音。灯光轨道属性与音频轨道属性类似。

S503：添加灯光素材，在灯光轨道中添加一个或多个灯光素材31、32、33，并在灯光轨道中生成与该灯光素材对应的灯光素材，该灯光素材所占据的灯光轨道的长度与该灯光素材的总时长相匹配。与音频素材、视频素材类似，灯光轨道并没有加载灯光素材，而只是生成与该灯光素材源文件对应的属性文件，通过属性文件发出控制指令来控制灯光素材源文件的输出。

灯光素材为一定时间长度的灯光网络控制数据，如Artnet数据，该Artnet数据封装有DMX数据。灯光素材可通过以下方式生成：传统灯控台编排好灯光节目后，集成控台通过其灯光网络接口连接至传统灯控台上的灯光网络接口，录制该灯控台输出的灯光控制信号，同时集成控台在录制过程中需要对所录制的灯光控制信号打上时间码，以便在灯光轨道上进行编辑控制。

S504：编辑灯光素材属性，所述灯光素材属性包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。灯光素材属性与音频素材属性类似，同时音频素材也可以进行横向移动、剪断和拼接操作，或者是在集成控台上增加调整与灯光轨道对应的一组实体操作键，以通过实体操作键手动调整灯光素材的属性。

S505：保存数据，或根据灯光轨道属性，灯光素材的属性生成对灯光素材对应源文件的控制指令，并根据该控制指令对视频素材的源文件进行播放控制和声像、音效处理控制。与视频轨道类似，具体控制指令音频轨道的属性、视频素材的属性对应。

如图6和图12所示，本实施例的基于时间轴多轨回放技术的演出集成控制方法还可以选择增加装置控制(与下述装置控制模块对应)，具体包括以下步骤：

S601：添加装置轨道，(在显示界面上)添加平行于所述时间轴的一个或多个装置轨道5(区域)，每个所述装置轨道对应一受控装置，例如机械装置。在添加装置轨道之前需要确认受控装置已经和集成控台建立连接。集成控台和受控制装置可以通过TCP建立连接，例如将集成控台设置成TCP服务器，各受控装置设置成TCP客户端，受控装置的TCP客户端接入网络后主动连接至集成控台的TCP服务器。

S602：编辑装置轨道属性，可编辑的装置轨道属性包括轨道锁定、轨道静音。装置轨道属性与音频轨道属性类似，若装置轨道选择静音，则装置轨道的全部附属控制子轨道不执行任何操作。

S603：添加控制子轨道，添加与其中一所述装置轨道对应的一个或多个控制子轨道，各所述控制子轨道平行(并对于)所述时间轴，各所述控制子轨道与其对应的所述装置轨道所对应的受控设备对应。

S604：添加控制素材，根据控制子轨道的类型添加相应类型的控制素材，并在所添加的控制子轨道上生成相应的控制子素材，该控制素材所占据的控制子轨道长度与该控制素材的总时长相匹配。

控制子轨道的类型包括TTL控制子轨道、继电器控制子轨道、网络控制子轨道，相应的，可添加至TTL控制子轨道的控制素材包括TTL素材511、512、513(如TTL高电平控制素材、TTL低电平控制素材)，可添加至继电器子轨道的控制素材包括继电器素材521、522、523、524(如继电器开控制素材、继电器关控制素材)，可添加至网络控制子轨道的控制素材包括网络素材501、502、503(如TCP/IP通信控制素材、UDP通信控制素材、232通信控制素材、485协议通信控制素材等)。通过添加相应的控制子素材，可发出相应的控制指令，控制子素材实质上就是控制指令。

S605：编辑控制子素材属性，属性包括起点位置、终点位置、总时长。通过调整(横向移动)控制子素材在相应控制子轨道中的位置可以改变起点位置和终点位置，但起点位置与终点位置在时间轴上的相对位置不会改变，即音频素材的长度不会改变。控制素材的起点位置即为开始发出与该控制素材对应的控制指令给对应受控装置的时间轴时刻，结束位置即为终止发送控制指令的时间轴时刻。

进一步的，在同一控制子轨道中的控制素材之间还可以设置关联关系，使位于起点位置对应的时间轴时刻较早的控制素材对应的控制命令未执行成功，那么将不发出(集成控台)或不执行(受控装置)起点位置对应的时间轴时刻较晚的关联控制素材对应的控制指令，例如幕的开合、升降控制。

进一步的，控制子轨道的控制素材前后可设置一定时长的保护时间，即在控制子轨道在保护时间内不能添加控制素材或不能发出控制命令。

S606：保存数据，或根据控制轨道及其控制子轨道的属性，控制素材的属性生成控制指令，并将该控制指令发送至对应的受控装置。

此外，本实施例还提供一种基于时间轴多轨回放技术的多专业控制系统，如图7所示，该系统包括集成控台70，以及选择包括音频服务器76、视频服务器77、灯光控制模块78和装置控制模块79。其中，所述集成控台70包括多轨编辑回放模块71，所述多轨编辑回放模块71可执行上述控制方法中音频控制、视频控制、灯光控制和装置控制中的一种或多种控制，具体的实现步骤在此不再赘述。所述多轨回放编辑控制模块包括音频控制模块72，以及选择包括视频控制模块73、灯光控制模块74和装置控制模块75。

如图8所示，所述音频控制模72块包括音频轨道添加模块81、音频轨道属性编辑模块82、音频素材添加模块83、音频素材属性编辑模块84、音频子轨道添加模块85、保持数据/输出音频控制指令模块86，这些模块所实现的功能分别与前述步骤S201至S206一一对应，在此不再赘述，下同。

进一步的，所述基于时间轴多轨回放技术的演出集成控制系统的音频播放控制原理如图13所示，所述控制系统还包括快速回放编辑模块、物理输入模块、多轨回放编辑模块，快速回放编辑模块所述用于实时编辑音频素材，并发出相应的控制指令给音频服务器76播放音频素材对应的源文件，所述物理输入模块对应于集成控台71上的物理操作键，用于对外部输入集成控台的音源进行实时调音控制。

相应的，所述音频服务器中设有混音矩阵模块、轨迹矩阵模块、3x1输出混音模块和物理输出模块，所述混音矩阵模块可接收来自所述快速回放编辑模块、多轨回放编辑模块通过控制命令形式调用的所述音频服务器中的音频源文件而输出的音频信号，以及所述物理输入模块输出的音频信号，类似的所述轨迹矩阵模块也可接收上述各路音频输入。所述混音矩阵用于对各路音频输入进行混音处理后输出至所述输出混音模块，所述轨迹矩阵模块用于对各路音频输入进行声像轨迹处理后输出至所述输出混音模块。所述输出混音模块可接收来自混音矩阵模块、轨迹矩阵模块和物理输入模块的音频输出，经3x1混音处理后经所述物理输出模块的各个物理输出接口输出。其中，声像轨迹处理是指根据声像轨迹数据对输出至各个音箱实体的电平进行调整，使音箱实体系统的声像在设定长度的时间段内沿设定路径跑动或保持不动。

在本实施例中，音频素材的源文件保存在集成控台外部的音频服务器上，多轨回放编辑模块并不直接调用和处理音频素材的源文件，而只是处理该音频源文件所对应的属性文件，通过编辑调整源文件的属性文件、添加/编辑声像素材、以及音频轨道及其子轨道的属性实现对音频源文件的间接控制，因此各音频轨道对应的输出通道输出的仅仅是针对音频源文件的控制信号/指令，然后再通过接收该控制指令的音频服务器执行音频源文件的各种处理。

如图14所示，所述多轨回放编辑模块从音频服务器76接收有效的音频素材列表，并不直接处理音频源文件，音频源文件存储在所述音频服务器中，在接收相应的控制命令后再调用音频源文件进行各种音效处理，例如进入混音矩阵模块进行混音处理，进入轨迹矩阵模块进行轨迹处理。声像素材实际上也是控制命令，既可以保存在集成控台71，也可以上传至音频服务器。

如图9所示，所述视频控制模块73包括视频轨道添加模块91、视频轨道属性编辑模块92、视频素材添加模块93、视频素材属性编辑模块94、保持数据/输出视频控制指令模块95，这些模块所实现的功能分别与前述步骤S401至405一一对应。

进一步的，所述基于时间轴多轨回放技术的演出集成控制系统的视频编辑与播放控制原理如图15所示，所述集成控台并不直接执行视频素材的源文件，而是通过获取视频素材列表以及相应的属性文件向视频服务器发出控制指令，视频服务器接再根据控制指令对视频素材的源文件执行播放和效果操作。

如图10所示，所述灯光控制模块74包括灯光轨道添加模块110、灯光轨道属性编辑模块120、灯光素材添加模块130、灯光素材属性编辑模块140、保持数据/输出灯光控制指令模块150，这些模块所实现的功能分别与前述步骤S501至505一一对应。

进一步的，所述基于时间轴多轨回放技术的演出集成控制系统的灯光控制原理如图16所示，所述集成控台还设有灯光信号录制模块，用于录制灯控台输出的灯光控制信号，并在录制过程中对所录制的灯光控制信号打上时间码，以便在灯光轨道上进行编辑控制。

如图11所示，所述装置控制模块75包括装置轨道添加模块151、装置轨道属性编辑模块152、控制子轨道添加模块153、控制素材添加模块154、控制素材属性编辑模块155、保持数据/输出灯光控制指令模块156，这些模块所实现的功能分别与前述步骤S601至606一一对应。

进一步的，所述基于时间轴多轨回放技术的演出集成控制系统的装置控制原理如图17所示，所述集成控台输出的各类装置控制信号经装置适配器上的各个协议接口输出至相应的受控设备。

此外，所述集成控台还可以包括用于制作(生成)声像轨迹数据(即声像素材)的声像轨迹数据生成模块，经该模块得到的声像轨迹数据可供所述多轨回放编辑执行模块调用，从而控制所述音频服务器轨迹矩阵模块对声像轨迹进行控制。进一步的，本实施例提供一种声像轨迹控制方法，该控制方法通过控制主机(如集成控台、音频服务器)对实体音箱系统各音箱节点的输出电平值进行设置，使声像在设定的总时长内按设定的方式运动或静止。如图18所示，该控制方法包括：

S181:生成声像轨迹数据；

S182:在该声像轨迹数据所对应的总时长内，根据声像轨迹数据，调整各个音箱实体的输出电平；

S183:在该总时长内，将输入至各个音箱实体信号的输入电平和相应音箱实体的输出电平进行叠加得到各个音箱实体实际输出的电平。

声像轨迹数据是指在设定长度的时间段内(即声像持续的总时长)，为了使集成控台上虚拟的音箱分布地图中各虚拟音箱节点输出电平所形成的声像沿预先设定的路径跑动或保持不动，各音箱节点随时间变化的输出电平数据。即声像轨迹数据包含了音箱分布地图中全部音箱节点在该设定长度时间段内的输出电平变化数据。对于各个音箱节点来说，在该设定时间段内其输出电平大小是随着时间变化而变化的，也有可能为零、负数甚至负无穷，优先采用负无穷。

每个音箱节点对应于实体音箱系统中的一个音箱实体，每个音箱实体包括位于同一位置处的一个或多个音箱。即每个音箱节点可以对应一个或多个位于同一位置的音箱。为了使实体音箱系统可以较准确地重现声像轨迹路线，音箱分布地图中的各个音虚拟音箱节点的位置分布应与实体音箱系统各个音箱实体位置分布对应，尤其是使得各音箱节点之间的相对位置关系，与各音箱实体之间的相对位置关系对应。

音箱实体实际输出的电平为输入信号的电平与上述声像轨迹数据中与该音箱实体对应的音箱节点的输出电平叠加所得。前者的是输入信号的特性，后者可以视为音箱实体自身的特性。在任一时刻，不同的输入信号就会有不同的输入电平，而对于同一音箱实体，只有一个输出电平。因此可以理解为，声像轨迹处理是对各个音箱实体的输出电平处理，以形成预设的声像轨迹效果(包括声像静止不动)。

音箱实体的输入电平和输出电平叠加可以在音频信号实际输入音箱实体之前先进行处理，也可以在进入音箱实体以后再进行处理，这取决于整个扩音系统的链路构成，以及音箱实体是否内置有音频信号处理模块，如DSP单元等。

声像轨迹数据的类型包括：定点声像数据、变轨声像轨迹数据和变域声像轨迹。在集成控台上模拟生成声像轨迹数据时，为了方便对声像的速度和过程进行控制，本发明实施例通过音箱分布地图上离散分布的若干声像轨迹控制点之间依次连接的线段来表示声像的跑动路径，即通过离散分布的若干个声像轨迹控制点来确定声像的跑动路径，以及声像的总体跑动时间。

定点声像，是指在设定长度的时间段内，音箱分布地图中选定的一个或多个音箱节点持续地输出电平，而未选定的音箱节点输出电平数值为零或负无穷的情形。相应地，定点声像数据，是指在设定长度的时间段内，音箱分布地图中选定的一个或多个音箱节点持续地输出电平，而未选定的音箱节点不输出电平，或输出电平数值为零或负无穷时，各个音箱节点随时间变化的输出电平数据。对于选定的音箱节点，在该设定时间内其输出电平是连续的(也可能有上下波动变化)；而对于未选定的音箱节点，在该设定时间内其输出电平保持为负无穷。

变轨声像，是指在设定长度的时间段内，为了使声像沿预设路径跑动，各音箱节点按照一定规律输出电平的情形。相应地，变轨声像轨迹数据，是指在设定长度的时间段内，为了使声像沿预设路径跑动，各音箱节点随时间变化的输出电平数据。声像的跑动路径并不需要十分精确，而且声像运动(跑动)持续的时间不会很长，只需要大致营造听众可识别的声像跑动效果即可。

变域声像，是指在设定长度的时间段内，为了使声像沿预设区域跑动，各音箱节点的输出电平按照一定规律变化的情形。相应地，变域声像轨迹数据是指在设定长度的时间，为了使声像沿预设区域跑动，各音箱节点随时间变化的输出电平数据。

如图19所示，本实施例的变域声像轨迹数据可以通过如下方法得到:

S1901：设置音箱节点：在音箱分布地图10上，添加或删除音箱节点。

S1902：修改音箱节点属性：音箱节点的属性包括音箱坐标、音箱类型、对应输出通道、初始化电平、音箱名称等。音箱节点在音箱分布地图上用音箱图标来表示，通过移动音箱图标可以改变其坐标位置。音箱类型是指全频音箱或超低频音箱，具体类型可根据实际需要进行划分。音箱分布地图中的各个音箱节点都分配有一个输出通道，每个输出通道对应于实体音箱系统中的一个音箱实体，每个音箱实体包括位于同一位置处的一个或多个音箱。即每个音箱节点可以对应一个或多个位于同一位置的音箱。为了重现音箱分布地图中所设计的声像跑动路径，音箱实体的位置分布应与音箱分布地图中音箱节点的位置分布对应。

S1903：划分声像区域并设定声像跑动路径：

在音箱分布地图上选定某一点作为中心S0，并在中心S0处添加音箱节点，然后以该中心S0为圆心划分若干个同心圆区域，直径最大同心圆可以全部或部分覆盖音箱分布地图上的音箱节点。直径最小的同心圆所包围的区域设定为声像区域Z1，相邻同心圆之间的区域自里向外分别被设定为声像区域Z2、Z3、Z4…ZN(N为大于或等于2的自然数)，即直径最小的同心圆与直径倒数第二小的同心圆之间的区域设定为声像区域Z2，直径倒数第二小的同心圆与直径倒数第三小的同心圆之间的区域设定为声像区域Z3，以此类推(参阅图20)。

设置以中心S0为起点向外辐射式扩散的多个跑动路径，各跑动路径设置为遍历各个声像区域的直线线段。这些跑动路径可全部或部分覆盖上述同心圆区域中的全部或部分音箱节点，优选为覆盖上述同心圆区域中的全部音箱节点。

这些跑动路径的终点为上述同心圆区域以内或以外的音箱节点，跑动路径的起点为中心S0，而终点根据该跑动路径方向上音箱节点分布而有所不同：(1)若该跑动路径方向上有位于直径最大同心圆外侧的音箱节点，则该跑动路径的终点为在该跑动路径方向上，位于直径最大同心圆外侧且与该直径最大同心圆距离最小的音箱节点。(2)若该跑动路径方向上没有位于直径最大同心圆外侧的音箱节点，则该跑动路径的终点为该跑动路径方向上距离该中心S0最远的音箱节点。

这些跑动路径至少有一个音箱节点，也可以有两个或以上的音箱节点。

参阅图20，该音箱分布地图上设有以S0为中心的四个同心圆，这四个同心圆划分成4个声像区域Z1、Z2、Z3、Z4，设定的声像跑动路径有13条，分别为S1、S2、S3、S4、S5、S6、S7、S8、S9、S10、S11、S12、S13，同心圆区域(直径最大同心圆所包含的区域)中的全部音箱节点均有相应的跑动路径穿过。其中，跑动路径S2、S3、S5、S8、S9、S10、S11、S12、S13只穿过一个音箱节点，跑动路径S1、S4、S7穿过两个音箱节点。

参阅图21，进一步的，在选定某一点作为中心时，可以直接选择某一音箱节点作为中心。图21的音箱分布地图设有以音箱节点S0’为中心的5个同心圆，划分成5个声像区域Z1’、Z2’、Z3’、Z4’、Z5’，以及若干声像跑动路径。其中，声像跑动路径S1’、S2’、S3’上分别有3个音箱节点，在当前时刻，声像跑动路径S1’、S2’、S3’上的声像轨迹点P41、P42、P43均位于声像区域Z4’中。

S1904：编辑声像区域时间属性，包括声像区域所对应的时刻、当前声像区域到下一声像区域所需时间、以及声像跑动总时长。声像区域属性的编辑与变轨声像轨迹点属性编辑类似。若对某一声像区域所对应的时刻进行修改，则该声区域之前的全部声像区域各自对应的时刻，以及声像跑动的总时长都需要进行调整。若对某一声像区域到下一声像区域所需的时间进行调整，那么下一声像区域所对应的时刻，以及声像跑动总时长都需要进行调整。若修改声像跑动总时长，那么该声像跑动路径上的各个声像区域所对应的时刻及其到下一声像区域所需的时间都将进行调整。

S1905：记录变域声像轨迹数据，记录各音箱节点在声像沿设定跑动路径依次跑动经过各个声像区域的过程中，各个时刻的输出电平数值。可通过如下方法计算得到某一时刻相关音箱节点的输出电平值。

假设：声像跑动总时长设为T，各跑动路径上的声像轨迹点在该总时长T内自其起点向终点移动，或者自其终点向起点移动，各跑动路径的声像移动速度可以相同或不相同。

在某一时刻t，某一声像跑动路径P上的当前声像轨迹点Pj沿着某个声像区域Zi向下一声像区域Zi+1移动。在该声像跑动路径P的路线上，该声像轨迹点Pj内外两侧的相邻音箱节点k、音箱节点k+1的输出电平分别为dBm、dBm+1，该声像跑动路径P上除这两个音箱节点以外的音箱节点的输出电平为零或负无穷。该音箱节点k、音箱节点k+1均为位于该声像跑动路径上音箱节点，其中，该音箱节点K为位于该声像轨迹点Pj内侧的音箱节点(靠近中心S0的一侧)，该音箱节点K+1为位于该声像轨迹外侧的音箱节点(远离中心S0的一侧)。

那么，在当前某一时刻t，该声像跑动路径P上的声像轨迹点Pj从当前声像区域Zi跑动至下一声像区域Zi+1的过程中，

音箱节点k的输出电平dBm＝10·log_eη÷2.3025851

音箱节点k+1的输出电平dBm+1＝１0·log_eβ÷2.3025851

其中，l₁₂为音箱节点k到音箱节点k+1的距离，l_1P为音箱节点k到当前声像轨迹点Pj的距离，l_p2为当前声像轨迹点Pj到音箱节点k+1的距离。从上述公式可以看出，各跑动路径上的每个声像轨迹点都有两个音箱节点输出电平，但是当声像轨迹点刚好位于音箱节点时，只有其中一个音箱节点输出电平。

参阅图20，该音箱分布地图设置有4个以中心S0为圆心的四个同心圆，中心S0处设有音箱节点。这些同心圆划分为4个声像区域Z1、Z2、Z3、Z4，并设置有13条声像跑动轨迹S1、S2、S3、S4、S5、S6、S7、S8、S9、S10、S11、S12、S13，其中，其中，声像跑动路径S1、S4、S7、S10上分别有3个音箱节点，其余声像跑动路径上则分别只有2各音箱节点。

在当前时刻，声像跑动路径S1、S2、S3、S4的当前声像轨迹点P31、P32、P33、P34跑动至声像区域Z4中。若各声像跑动路径上的声像移动速度相同，则这些当前声像轨迹点位于以S0为圆心的圆形上。此时，在各个声像跑动路径上，只有当前声像轨迹点的内外两侧的音箱节点有输出电平，其余音箱节点的输出电平为零或负无穷。以当前声像轨迹P31为例，其内侧相邻的音箱节点为位于图20中声像区域Z2中右上方的音箱节点(图20中的音箱节点用小圆圈表示)，外侧响铃的音箱节点为位于声像区域Z4外侧右上方的音箱节点，此音箱节点也是该声像跑动路径S1的终点。此时，声像跑动路径S1上只有前述两个音箱节点有电平输出，而位于中心S0的音箱节点的输出电平为零或负无穷。

在记录变域声像轨迹在总时长T内各个时刻各音箱节点的输出电平值时，可以连续记录，也可以按照一定的频率来记录。对于后者，是指每间隔一定时间记录一次各音箱节点的输出电平数值。在本实施例中，采用25帧/秒或30帧/秒的频率来记录在声像沿设定路径跑动时各音箱节点的输出电平值。按一定频率记录各音箱节点的输出电平数据，可以减少数据量，加快在对输入音频信号进行声像轨迹处理时的处理速度，保证声像跑动效果的实时性。

Claims (10)

1.一种基于时间轴多轨回放技术的演出集成控制方法，其特征在于包括：

在集成控台的显示界面上显示时间轴；

添加和/或删除用于对相应演出设备进行控制的轨道，所述轨道包括音频轨道、视频轨道、灯光轨道、装置轨道；

编辑轨道属性；

添加素材；

编辑素材属性；

集成控台根据各轨道属性及其素材属性发出相应的控制指令，对于所述视频轨道，所述控制指令包括播放素材所对应源文件的指令和对素材所对应的源文件进行效果处理的指令；所述控制指令为用于控制对应的受控装置的指令或与对应的受控装置进行网络数据通信的指令。

2.根据权利要求1所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，在编辑所述轨道属性时，可编辑的属性有包括轨道锁定、轨道静音，所述轨道静音属性用于控制所述轨道是否生效，所述轨道锁定用于锁定所述轨道。

3.根据权利要求1所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，在添加素材时，可添加素材至选定的所述轨道，并在轨道中生成与该素材对应的素材图标，该素材图标所占据的轨道长度与该素材的总时长相匹配。

4.根据权利要求3所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，在编辑素材属性时，可对所述素材的属性进行编辑，所述素材属性包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。

5.根据权利要求2所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，所述素材为灯光素材，所述灯光素材的生成方法为：所述集成控台录制灯控台输出的灯光控制信号，并在录制过程中对所录制的灯光控制信号打上时间码从而形成所述灯光素材，所述灯光素材的总时长为开始录制信号时的时间码与终止录制信号时的时间码差值。

6.根据权利要求1所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，在添加和/或删除音频轨道时，包括：

添加音频轨道，在显示界面上添加平行且对齐于所述时间轴的一个或多个音频轨道，每个所述音频轨道对应一输出通道；

编辑音频轨道属性；

添加音频素材，在音频轨道中添加一个或多个音频素材，并在音频轨道中生成与该音频素材对应的音频素材图标，该音频素材图标所占据的音频轨道的长度与该音频素材的总时长相匹配；

编辑音频素材属性，所述音频素材属性包括起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。

7.根据权利要求6所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，所述方法还包括：

添加音频子轨道，添加与其中一所述音频轨道对应的一个或多个音频子轨道，各所述音频子轨道平行于所述时间轴，所述音频子轨道与其对应的所述音频轨道的输出通道对应，所述音频子轨道的类型包括声像子轨道和音效子轨道。

8.根据权利要求7所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，所述方法还包括：

添加声像子轨道和声像素材，在声像子轨道中添加一个或多个声像素材，并在该声像子轨道中生成与该声像素材对应的声像素材图标，该声像素材图标所占据的声像子轨道的长度与该声像素材所对应的总时长相匹配；

编辑声像子轨道属性；

编辑声像素材属性，所述声像素材属性也包起点位置、终点位置、开始时间、结束时间、总时长、播放时间长度。

9.根据权利要求7所述的基于时间轴多轨回放技术的演出集成控制方法，其特征在于，所述方法还包括：

添加音效子轨道；

编辑音效子轨道的属性，所述音效子轨道的属性包括音效处理参数，通过修改音效子轨道的音效参数可以调整该音效子轨道所属音频轨道对应输出通道的音效。

10.根据权利要求9所述的音频控制方法，其特征在于：

所述音效子轨道的类型包括音量及增益子轨道、EQ子轨道，每个音频轨道可设置一个音量及增益子轨道，以及一个或多个EQ子轨道，所述音量及增益子轨道用于对所属音频轨道对应的输出通道的信号电平大小进行调整，所述EQ子轨道用于对所属音频轨道对应的输出通道的输出的信号进行EQ音效处理；

在添加音频素材之前，先从音频服务器获取音频素材列表，然后再从该音频素材列表中选定音频素材添加进入音频轨道。