CN104125534B - 一种多声道音频同步录制及播出方法以及相应的系统 - Google Patents

Abstract

本发明公开了一种多声道音频同步录制及播出方法及系统，特别是基于DMS动声系统的多声道录制及播出方案。每路音频信号在录制及播出两个阶段中都使用相同的系统参考时钟，通过比较录制与播出环节音频采样数据的时间信息，完成对多声道音频数据的同步处理。在对多声道音源进行录制时，保证各个音轨同时开始/停止记录音频信号，每路音轨存储对应于同一时间基准，由此所获得的多路音频数据具有相同的时间长度，便于进行各种后期处理；播出时，将所记录的各个音频数据送入扬声器，保证每个扬声器按照同一时间基准播放输入的信号，并且在整个播放过程中各个音轨随时处于同步状态。

Description

一种多声道音频同步录制及播出方法以及相应的系统

技术领域

本发明提出一种多声道音频数据同步录制方法及对应的播出方法以及相应的系统，尤其是基于DMS的多声道音频同步录制方法及播出方法及相应的系统。主要涉及音频信号处理、数字信号处理领域。

背景技术

多声道声场系统，经历了从单声道到双声道到五声道的发展历程。目前人们所使用的各种声场技术规范非常多，最常见环绕声格式有Dolby(杜比)、HTX、DTS、SACD和DVD Audio。其中，SACD与DVDAudio都是高解析度的唱片格式，电影并不使用这两种格式，电影的环绕格式主要采用DTS ES6.1与Dolby Digital EX6.1。从解码声道的数量来说，Dolby ProLogic为4声道，Dolby Digital、DTS Digital Surround、Dolby Surround ProLogic II(杜比定向逻辑II)等为5.1声道，Dolby Digital Surround EX、DTS ES、THX Surround EX等为6.1声道，DVDAudio与SACD为5.1声道。

以杜比系统为代表的5声道环绕声场系统，由于需要把大量的声场信息压缩混合，导致各种音源信息失真，声场相位失真，声源交调干扰，动态范围压缩，在向更先进的多声道声场系统的发展上遇到了前所未有的技术复杂度和理论挑战。Berkhout于1988和1997年分别提出波场综合(Wave Field Synthesis，WFS)技术和波场分析(Wave Field Analysis，WFA)理论。此后，研究人员围绕这一理论展开了利用麦克风阵进行声场分析和声场记录的研究，Henderson、Shen等学者对扬声器阵列进行声场还原效果进行了研亢。以上的研究，都是基于惠更斯原理(Huygens’Principle)对声场进行分解和综合，导致了系统极为复杂，技术与工程上都不大可行，至今难以推广。

中国专利公开号为CNl01527874A公开了一种DMS(Dynamic Matrix Sound)动声技术，DMS动声技术所创造的动态三维立体声音效果是多声道环绕声领域的最新突破。DMS提出一个基于有限音源多声道的系统用来完美重现音乐会现场声场。在录音时，需要记录的是音源而不是声场，利用适合的相控麦克风阵列，通过控制麦克风阵列的成形波束，记录每个音源(一个或一组乐器，比如小提琴声部)的声音信号，每个音源作为一路音轨单独存储。重放时，因为所用的音源信号就是音乐厅演奏时的音源信号，只要通过对音乐厅和重现环境声场的时间和空间特性准确分析，利用扬声器阵列精确的人工合成重现所需要的各种反射声音信号和混响，就能在一个新的环境中完全重现音乐厅的听音感受。

同步问题对于多声道录制及播出两个阶段来讲至关重要，DMS动声系统也不例外。录制时，如果不同的音轨没有同时开始/停止记录音频信号，存储时也没有基于同一时间基准；将所记录的各个音频数据送入扬声器进行播出时，每个扬声器没有按照同一时间基准播放输入的信号，并且在整个播放过程中各个音轨无法随时处于同步状态的话，还音效果就会因为不同音轨之间播放时间、播放速度的差异而大打折扣。

另外，节目录制和播出时存在暂停、节目调换、节目跳转、音量调整等问题，为保证这些控制操作及时有效，控制器的同步处理延时不能太长，否则会产生明显的控制延后感，不利于现场实时控制。

发明内容

为了克服上述不足，本发明提出一种基于音源的多声道录制及播出方案，特别是基于DMS动声系统的多声道录制及播出方案。本发明将多声道音频信号同步处理流程分为录制和播出两个阶段，每路音频信号在两个阶段中都使用相同的系统参考时钟，通过比较录制与播出环节音频采样数据的时间信息，完成对多声道音频数据的同步处理。在对多声道音源进行录制时，我们保证了各个音轨同时开始/停止记录音频信号，每路音轨存储对应于同一时间基准，由此所获得的多路音频数据具有相同的时间长度，便于进行各种后期处理；播出时，将所记录的各个音频数据送入扬声器，保证每个扬声器按照同一时间基准播放输入的信号，并且在整个播放过程中各个音轨随时处于同步状态。

根据本发明的一个方面，提供了一种多声道音频同步录制方法，其中对多路音源信号进行记录时使用同步时钟进行控制。

根据本发明的一个方面，提供了一种多声道音频同步录制方法，其中同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；

多声道同步录制主控制器、多个多声道同步录制从控制器音频处理主频锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成统一的时间信息码流，为每个声道的每一帧音频数据标记时间信息标识；

每个多声道同步录制从控制器作为一个音频采集处理矩阵，对采集到的每一组音频样点附加上当前时刻的时间信息，由该多声道同步录制从控制器录制的多路音频数据以采样点为单位封装，每路音频数据携带各自声道对应的声道标识；

将封装后的多路音频数据打上相应时刻的时间信息，整体形成每个从控制器输出的音频数据包，将从控制器输出的音频数据包通过网络传输至服务器；

解析所有接收到的包，在服务器的缓存区比较各采样点的时间信息，按时间信息的大小对音频数据排序，根据各个音频数据的声道标识，将相同声道对应的音频数据按照时间信息的大小顺序存储。

根据本发明的一个方面，提供了一种多声道音频同步播出方法，其中对多路音源信号进行再现播出时使用同步时钟进行控制。

根据本发明的一个方面，提供了一种多声道音频同步播出方法，其中同步时钟控制采用主从方式，多声道同步播出主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多声道同步播出从控制器；

多声道同步播出主控制器、多声道同步播出从控制器音频处理主频锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成统一的时间信息码流；

播出从控制器解析通过网络传输的音频数据包，恢复出音频数据、控制信息及时间信息，该时间信息为同步录制端的时间信息标识t1，也即每一个音频采样点的计数值；

多声道同步播出从控制器按照同步录制的时间信息标识t1顺序输出音频数据。

根据本发明的一个方面，提供了一种多声道音频同步播出方法，其中多声道音频数据播出时，播出从控制器的时钟同时开始计数，当将要播出的音频采样点到达时，该时钟的计数值记为t2，把不同播出从控制器的音频播出时间延时即t2一t1，记为Δt；

当需要多个从控制器的输出声道进行播出时，将Δt与各播出从控制器设定的延时缺省值进行比较，进而对各播出从控制器进行延时调整，使得所有播出从控制器都遵循同一个延时缺省值，实现各控制器音频的同步播出。

根据本发明的一个方面，提供了一种多声道音频同步录制系统，其中包括

多组音源收集装置，每组包括多个音源收集装置，一个音源收集装置分别对应于一个音源，并分别收集相对应的一路音频信号；

一多声道同步录制主控制器，产生并发送同步时钟信号及同步基准信号；

一系统参考时钟分配单元，接收多声道同步录制主控制器产生的同步时钟信号及同步基准信号，分配至多个多声道同步录制从控制器；

多个多声道同步录制从控制器，其中一个多声道同步录制从控制器控制一组音源收集装置，根据系统参考时钟分配单元分配的同步时钟信号及同步基准信号对每一路音频信号流的延时进行调整；

一多声道同步录制主控制器和多个多声道同步录制从控制器将多声道音频信号形成统一的时间信息码流，为每一音频信号的每帧音频数据标记时间信息标识。

每个多声道同步录制从控制器作为一个音频采集处理矩阵，对采集到的每一组音频样点附加上当前时刻的时间信息，由该从控制器录制的多路音频数据以采样点为单位封装，每路音频数据携带各自声道对应的声道标识，多声道同步录制从控制器的输出端将封装后的多路音频数据打上相应时刻的时间信息，整体形成每个从控制器输出的音频数据包。

根据本发明的一个方面，提供了一种多声道音频同步录制系统，其中将音频数据包传输至服务器，解析所有接收到的包，在服务器的缓存区比较各采样点的时间信息，按时间信息的大小对音频数据排序，根据各个音频数据的声道标识，将相同声道对应的音频数据按照时间信息的大小顺序存储。

根据本发明的一个方面，提供了一种多声道音频同步播出系统，其中包括

一多声道同步播出主控制器，产生并发送同步时钟信号和同步基准信号；

一系统参考时钟分配单元，接收多声道同步播出主控制器产生的同步时钟信号及同步基准信号，分配至多声道同步播出从控制器；

多声道同步播出从控制器，控制一组声音再现装置，根据系统参考时钟分配单元分配的同步时钟信号及同步基准信号对每一路音频信号流的延时进行调整，形成统一的时间信息码流；

多声道同步录制从控制器解析通过网络传输的IP数据包，恢复出音频数据、控制信息及时间信息，该时间信息为同步录制端的时间信息标识，也就是每一个音频采样点的计数值t1；

多声道同步播出从控制器按照同步录制的时间信息标识t1顺序输出音频数据；

一组声音再现装置，包括多个声音再现装置，一个声音再现装置分别对应于一个音源，并分别播出相对应的一路音频数据。

根据本发明的一个方面，提供了一种多声道音频同步播出系统，其中多声道音频数据播出时，播出从控制器的时钟同时开始计数，当将要播出的音频采样点到达时，该时钟的计数值记为t2，把不同播出从控制器的音频播出时间延时即t2-t1，记为Δt；

当需要多个从控制器的输出声道进行播出时，将Δt与各播出从控制器设定的延时缺省值进行比较，进而对各播出从控制器进行延时调整，使得所有播出从控制器都遵循同一个延时缺省值，实现各控制器音频的同步播出。

根据本发明的一个方面，提供了一种多声道音频同步录制播出系统，其中包括多声道音频同步录制系统及多声道音频同步播出系统。

附图说明

图1：多声道音频同步录制播出系统模块图

图2：多声道音频同步录制控制时钟分配图

图3：多声道音频同步录制原理图

图4：多声道音频同步播出控制时钟分配图

图5：多声道音频同步播出(延时调整)原理图

具体实施方式

下面，结合附图和具体实施方式对本发明作详细说明。

图1示意了本发明的多声道音频同步录制播出系统。在存在多个音源需要录制的情况下，利用适合的相控麦克风阵列，对每个音源进行分别录制。系统中录制端包括多声道同步录制主控制器和至少一个多声道同步录制从控制器。在一个从控制器所控制的相控麦克风阵列即能满足录制需求的情况下，可以只设置一个多声道同步录制从控制器。

图l示出了包括N个从控制器的情况。N*M个麦克风组成的相控麦克风阵列对N*M个音源进行录制，产生的音频数据被送至N个多声道同步录制从控制器。各个多声道同步录制从控制器分别连接至多声道同步录制主控制器和多声道同步录制服务器，从主控制器接收相应的同步控制信号，并将音频数据输出至多声道同步录制服务器。多声道同步录制服务器首先在缓存区对各采样点的时间信息比较，并对音频数据排序；接着将音频数据进行存储，以此完成对多声道音频的同步录制过程。存储的音频数据通过因特网进行传输，送至多声道同步播出服务器。多声道同步播出服务器同样首先在缓存区对各采样点的时间信息比较，并对收到的音频数据排序；接着将音频数据播出输送至N个多声道同步播出从控制器。上述N个多声道同步播出从控制器均连接至多声道同步播出主控制器，从主控制器接收相应的控制信号，可根据具体情况进行延时调整，从而实现各控制器音频的同步播出。

参考图2，录制环节的同步时钟控制采用主从方式，主控制器产生并发送同步基准信号(Synchronizing criterion signal)和同步时钟信号(Synchronizing clock signal)这两个同步控制信号。其中，同步基准信号可以为1pps秒脉冲，同步时钟信号可为10MHz。两个同步控制信号通过系统参考时钟分配单元(System reference clock distributor)分别送至N个从控制器，主、从两级控制器音频处理主频锁定相同的同步时钟信号，并且通过同步基准信号对音频流的延时进行调整。通过这种方式，对录制环节的多声道音频信号形成全局时间信息码流(Recordingglobal time stamp stream)，准确的为每声道的每帧音频数据打上时间信息标识。

当形成全局时间信息码流以后，各从控制器对采集到的每一组音频样点附加上当前时刻的时间信息，其精度为采样率的倒数，即每个从控制器作为一个音频采集处理矩阵，将该从控制器录制的多路音频数据以采样点为单位封装，每路音频数据携带各自声道对应的声道标识，处理矩阵的输出端将封装后的多路音频数据打上相应时刻的时间信息，整体形成每个从控制器输出的音频数据包，如图3所示。

在实现上，假定每个从控制器能够处理的声道数目为M+1，其中M声道作为采集音频数据声道，1声道作为该从控制器的时间信息码流。N个从控制器输出的音频数据包封装成帧，作为多声道同步录制从控制器的输出，该数据帧中的音频数据携带各自对应的声道信息和时间信息。将从控制器输出的音频数据帧封装成IP包，通过网络传输至服务器。服务器解析所有接收到的IP包，首先，在服务器的缓存区比较各采样点的时间信息，按时间信息的大小对音频数据排序；其次，根据各个音频数据的声道标识，将相同声道对应的音频数据按照时间信息的大小顺序存储，以此完成对多声道音频的同步录制过程。

图4示出了多声道同步播出控制时钟的分配方式。播出控制器同样分为主、从两级，播出主控制器发送播出端的同步基准信号(Synchronizing criterion signal)和同步时钟信号(Synchronizing clock signal)，两路时钟控制信号通过播出端系统参考时钟分配单元(未示出)分别发送至各个播出从控制器，对全局系统播出环节形成统一的时间信息码流(Playing globaltime stamp stream)。所有播出从控制器锁定相同时钟基准源。假定每个播出从控制器接收的数据通道数为M+1，其中M声道用作音频数据，1声道用作播出端时间信息码流，播出从控制器为通过的每帧音频数据计数。播出控制器的同步时钟信号与录制控制器的同步时钟信号相同。

参见图5，播出从控制器解析通过网络传输的IP数据包，恢复出音频数据、控制信息及时间信息，该时间信息为同步录制端的时间信息标识，也就是每一个音频采样点的计数值，记为t1。多声道音频数据输出时，播出从控制器的时钟同时开始计数，当将要播出的音频采样点到达时，该时钟的计数值记为t2。理想情况下对同一个播出从控制器而言，音频采样点所携带的时间信息t1与播出时钟所计数的时间信息t2应该是相等的。但是考虑到传输条件以及信号处理的时间，每个播出从控制器实际播出时的t1与t2大小会有所不同，把(t2-t1)记为不同播出从控制器的音频播出时间延时，记为Δt。

此时可分两种播出情况进行处理：①一个播出从控制器的输出声道数能够满足播出要求。此时只需要按照同步录制的时间信息标识t1顺序播放音频数据即可。②需要多个从控制器的输出声道才能够满足播出要求。将Δt与各播出从控制器设定的延时缺省值进行比较，进而确定各播出从控制器的延时调整，当所有播出从控制器都遵循同一个延时缺省值时，可实现各控制器音频的同步播出。各播出从控制器根据音频数据的所携带的声道标识，将经过D/A变化的模拟音频经过功率放大器最终传送给N*M个音箱播出。

需要说明的是，时间信息步进为音频采样率的倒数，假设音频采样率为96kHz，则时间信息步进为1/96k，即两个采样点之间的时间距离为1/96k秒。采样周期记为T，假设T＝2s，一个采样周期内的采样点数即为2×96k＝192000，即计数192000个点对应一个采样周期。一般来说，多声道音频的播出同步控制只需要考虑一个采样周期内的音频采样数据同步播出问题，即每次只对一个同步时钟信号内的采样点控制同步播出。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种多声道音频同步录制方法，其特征在于，对多路音源信号进行记录时使用同步时钟进行控制；

其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；

多声道同步录制主控制器、多个多声道同步录制从控制器音频处理主频锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成统一的时间信息码流，为每个声道的每一帧音频数据标记时间信息标识；

每个多声道同步录制从控制器作为一个音频采集处理矩阵，对采集到的每一组音频样点附加上当前时刻的时间信息，由该多声道同步录制从控制器录制的多路音频数据以采样点为单位封装，每路音频数据携带各自声道对应的声道标识；

将封装后的多路音频数据打上相应时刻的时间信息，整体形成每个从控制器输出的音频数据包，将从控制器输出的音频数据包通过网络传输至服务器；

解析所有接收到的包，在服务器的缓存区比较各采样点的时间信息，按时间信息的大小对音频数据排序，根据各个音频数据的声道标识，将相同声道对应的音频数据按照时间信息的大小顺序存储。

2.一种多声道音频同步播出方法，其特征在于，对多路音源信号进行再现播出时使用同步时钟进行控制；其中，同步时钟控制采用主从方式，多声道同步播出主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多声道同步播出从控制器；

多声道同步播出主控制器、多声道同步播出从控制器音频处理主频锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成统一的时间信息码流；

播出从控制器解析通过网络传输的音频数据包，恢复出音频数据、控制信息及时间信息，该时间信息为同步录制端的时间信息标识t1，也即每一个音频采样点的计数值；

多声道同步播出从控制器按照同步录制的时间信息标识t1顺序输出音频数据。

3.如权利要求2所述的多声道音频同步播出方法，其特征在于，多声道音频数据播出时，播出从控制器的时钟同时开始计数，当将要播出的音频采样点到达时，该时钟的计数值记为t2，把不同播出从控制器的音频播出时间延时即t2-t1，记为Δt；

当需要多个从控制器的输出声道进行播出时，将Δt与各播出从控制器设定的延时缺省值进行比较，进而对各播出从控制器进行延时调整，使得所有播出从控制器都遵循同一个延时缺省值，实现各控制器音频的同步播出。

4.一种多声道音频同步录制系统，对多个音源产生的音频信号进行同步记录，其特征在于，包括：

多组音源收集装置，每组包括多个音源收集装置，一个音源收集装置分别对应于一个音源，并分别收集相对应的一路音频信号；

一多声道同步录制主控制器，产生并发送同步时钟信号及同步基准信号；

一系统参考时钟分配单元，接收多声道同步录制主控制器产生的同步时钟信号及同步基准信号，分配至多个多声道同步录制从控制器；

多个多声道同步录制从控制器，其中一个多声道同步录制从控制器控制一组音源收集装置，根据系统参考时钟分配单元分配的同步时钟信号及同步基准信号对每一路音频信号流的延时进行调整；

一多声道同步录制主控制器和多个多声道同步录制从控制器将多声道音频信号形成统一的时间信息码流，为每一音频信号的每帧音频数据标记时间信息标识；

每个多声道同步录制从控制器作为一个音频采集处理矩阵，对采集到的每一组音频样点附加上当前时刻的时间信息，由该从控制器录制的多路音频数据以采样点为单位封装，每路音频数据携带各自声道对应的声道标识，多声道同步录制从控制器的输出端将封装后的多路音频数据打上相应时刻的时间信息，整体形成每个从控制器输出的音频数据包。

5.如权利要求4所述的多声道音频同步录制系统，其特征在于，将音频数据包传输至服务器，解析所有接收到的包，在服务器的缓存区比较各采样点的时间信息，按时间信息的大小对音频数据排序，根据各个音频数据的声道标识，将相同声道对应的音频数据按照时间信息的大小顺序存储。

6.一种多声道音频同步播出系统，对多个音源产生的音频信号进行同步播出，其特征在于，包括：

一多声道同步播出主控制器，产生并发送同步时钟信号和同步基准信号；

一系统参考时钟分配单元，接收多声道同步播出主控制器产生的同步时钟信号及同步基准信号，分配至多声道同步播出从控制器；

多声道同步播出从控制器，控制一组声音再现装置，根据系统参考时钟分配单元分配的同步时钟信号及同步基准信号对每一路音频信号流的延时进行调整，形成统一的时间信息码流；

多声道同步播出从控制器解析通过网络传输的IP数据包，恢复出音频数据、控制信息及时间信息，该时间信息为同步录制端的时间信息标识，也就是每一个音频采样点的计数值t1；

多声道同步播出从控制器按照同步录制的时间信息标识t1顺序输出音频数据；

一组声音再现装置，包括多个声音再现装置，一个声音再现装置分别对应于一个音源，并分别播出相对应的一路音频数据。

7.如权利要求6所述的多声道音频同步播出系统，其特征在于，多声道音频数据播出时，播出从控制器的时钟同时开始计数，当将要播出的音频采样点到达时，该时钟的计数值记为t2，把不同播出从控制器的音频播出时间延时即t2-t1，记为Δt；

当需要多个从控制器的输出声道进行播出时，将Δt与各播出从控制器设定的延时缺省值进行比较，进而对各播出从控制器进行延时调整，使得所有播出从控制器都遵循同一个延时缺省值，实现各控制器音频的同步播出。

8.一种多声道音频同步录制播出系统，包括权利要求4所述的多声道音频同步录制系统及权利要求6所述的多声道音频同步播出系统。