CN104079958B - 一种视频与多声道音频同步播出的方法 - Google Patents

一种视频与多声道音频同步播出的方法 Download PDF

Info

Publication number
CN104079958B
CN104079958B CN201410169084.1A CN201410169084A CN104079958B CN 104079958 B CN104079958 B CN 104079958B CN 201410169084 A CN201410169084 A CN 201410169084A CN 104079958 B CN104079958 B CN 104079958B
Authority
CN
China
Prior art keywords
video
audio
synchronous
dms
visual synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410169084.1A
Other languages
English (en)
Other versions
CN104079958A (zh
Inventor
马赛
张勤
胥文彬
叶龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201410169084.1A priority Critical patent/CN104079958B/zh
Publication of CN104079958A publication Critical patent/CN104079958A/zh
Application granted granted Critical
Publication of CN104079958B publication Critical patent/CN104079958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明公开了一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统。本发明通过在播放端分别提取音频时间信息标识t1和视频时间信息标识t2，并将恢复出的音频时间信息标识t1和视频时间信息标识t2进行比较，获得音视频同步控制调整参数Δt；将所述音视频同步控制调整参数Δt传送给音视频播出服务器，所述音视频播出服务器根据所述音视频同步控制调整参数Δt来调整视频内容的播放进度，实现音视频的同步播出。本发明可以实现DMS动声系统中视频与多声道音频的同步播出，提升了用户体验。

Description

一种视频与多声道音频同步播出的方法
技术领域
本发明涉及通信原理、数字信号处理技术领域，特别涉及一种视频与多声道音频同步播出的方法。
背景技术
DMS(Dynamic Matrix Sound)动声系统所创造的动态三维音视频效果是三维视频与多声道环绕声相结合的最新突破。在传统的音视频播出方式中，音视频内容在相同的设备中处理，因此音视频播出的同步控制也是基于同一处理器(本地)实现的，但是音频的声道数量受到限制。DMS动声系统在音频处理方面提出一个基于有限音源多声道的声场系统，其突破了音频声道数量的限制，因此，视频内容可以与任意声道数量的音频内容同时播出。
图1为现有技术中的DMS音视频同步播放系统图。如图1所示，在DMS动声系统中，视频和音频由不同的PC机控制，视频内容直接输出给显示器或者屏幕，音频内容通过网络传输给控制器，由控制器负责D/A(数字/模拟)变换，然后再输出到功放及扬声器播出。由此可见，在DMS动声系统中，视频与音频内容通过不同设备分别处理，相对视频内容来说音频内容在播出前有一个传输的过程，因此，在播放中需要解决不同的音视频设备的同步问题。
发明内容
为此，本发明提出一种视频与多声道音频同步播出的方法，可充分地消除由于现有技术的限制和缺陷导致的一个或多个问题。
本发明另外的优点、目的和特性，一部分将在下面的说明书中得到阐明，而另一部分对于本领域的普通技术人员通过对下面的说明的考察将是明显的或从本发明专利的实施中学到。通过在文字的说明书和权利要求书及附图中特别地指出的结构可实现和获得本发明目的和优点。
本发明提供了一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，其特征在于，所述方法具体包括以下步骤：
步骤(1)：通过所述音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1；
步骤(2)：通过所述视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识t1具有相同的时间基准；
步骤(3)：对所述视频时间信息标识t2进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中；
步骤(4)：将所述伴音信号和视频帧一起传送到视频显示终端；
步骤(5)：通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器；
步骤(6)：DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识t1；
步骤(7)：DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2；
步骤(8)：将恢复出的音频时间信息标识t1和视频时间信息标识t2进行比较，获得音视频同步控制调整参数Δt；
步骤(9)，将所述音视频同步控制调整参数Δt传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数Δt来调整视频内容的播放进度，实现音视频的同步播出。
优选的，所述步骤(1)具体包括：所述音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1。
优选的，所述音视频同步控制调整参数Δt为t1和t2之间的差值。
优选的，所述DMS控制器循环的获得所述音视频同步控制调整参数Δt，当Δt大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数Δt。
优选的，在所述步骤(9)中，通过在每段视频前面加入Δt的空白视频，来调整视频内容的播放进度。
优选的，所述音视频同步伴音信号携带节目信息。
本发明可以实现DMS动声系统中视频与多声道音频的同步播出，提升了用户体验。
附图说明
图1为DMS音视频同步播放系统图；
图2为多声道音频同步录制控制时钟分配图；
图3为DMS音视频同步播放系统原理图；
图4为DMS音视频同步信号的产生与插入；
图5为DMS音视频同步信号的接收与提取；
图6为根据本发明实施例的视频与多声道音频同步播出的方法的流程图；
图7为DMS音视频同步信号的PC格式。
具体实施方式
下面，结合附图和具体实施方式对本发明作详细说明。
在本发明所提供的视频与多声道音频同步播出的方法用于DMS动声系统，其中，如图1所示，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，所述音频服务器和视频服务器也可以结合为一台服务器，即，音视频服务器。音视频内容的同步控制，优选的，所述服务器为PC服务器。需要同步播出的音视频内容在时间上具有严格的一致性，即，视频的播出时间等于对应的音频播出时间。
如图6所示，本发明所提供的视频与多声道音频同步播出的方法具体包括以下步骤：
步骤(1)：通过音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1。
由于本发明通过网络发送和播放的是多声道音频数据，因此，音频服务器首先要实现多声道音频数据的同步。如图2所示，本发明的音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1。所述音频时间信息标识t1就是每一个音频采样点的计数值。
步骤(2)：通过视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识t1具有相同的时间基准。
所述视频时间信息标识t2即为每一个视频采样点的计数值，由于视频内容和音频内容时间上的严格一致，因此视频内容的长短也可以用相同时间基准的时间信息表达，即，所述视频时间信息标识t2与所述音频时间信息标识t1具有相同的时间基准。
通过以上描述可知，如图3所示，可以将DMS动声系统音视频同步播出发送端分为两个部分：1.视频内容及视频时间信息标识t2，该部分内容直接传输至视频显示终端；2.音频内容及音频时间信息标识t1，该部分内容传输至DMS音频播出控制器。
步骤(3)：对视频时间信息标识t2进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中。
图4为DMS音视频同步信号的产生与插入的示意图。如图4所示，可以采用常用的编码方式对视频时间信息标识t2进行编码，本发明并不对此进行限制。
步骤(4)：将所述伴音信号和视频帧一起传送到视频显示终端；
步骤(5)：通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器。
步骤(6)：DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识t1。
步骤(7)：DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2。
步骤(8)：将恢复出的音频时间信息标识t1和视频时间信息标识t2进行比较，获得音视频同步控制调整参数Δt。
步骤(9)，将所述音视频同步控制调整参数Δt传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数Δt来调整视频内容的播放进度，实现音视频的同步播出。
图5和图6示出了为DMS音视频同步信号的接收与提取以及DMS音视频同步调整处理过程。
如图5和图6所示，DMS动声系统服务器将制作好的视频与音频内容分别传输至视频显示终端和DMS控制器。其中视频内容为视频帧和视频时间信息标识t2，音频内容为多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1。当播出开始时，服务器将视频部分直接传输给显示终端，音频部分则首先传输给DMS控制器。DMS控制器在处理多声道音频内容的同时对视频终端播出的视频文件中同步伴音信号进行采样，经过OFDM解调等处理，恢复出代表视频播出进度的时间信息t2，将t2与音频文件时间信息t1做比较，将两个时间信息的差值记为Δt。在理想的播出情况下即音视频同步播出，Δt的大小应该为0，但是由于视频文件是传输至显示终端直接播出，音频文件需要首先传输给DMS控制器进行处理，所以音频播出的时间滞后于视频播出的时间，即实际使用情况下Δt不等于0。DMS控制器经过采样解调以后获得Δt，将该时间差信息作为音视频同步控制信号回传给视频播出服务器，服务器根据Δt来调整视频内容的播出进度，达到音视频同步播出的效果。
优选的，DMS控制器循环的获得时间差信息Δt，当Δt大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数Δt，以使得视频服务器调整视频播出进度，保证整个音视频播出期间的严格同步，当没有超过阈值时音视频就可以继续正常播出。所述阈值的大小根据人对音视频同步的内容的敏感程度和视频伴音信号采集以及获取Δt以后回传服务器的时间大小来确定，本领域技术人员可以根据上述实际情况来确定阈值的大小，在此不再赘述。
时间差信息Δt往往是由于音频文件的播出滞后于视频文件，因为视频是直接播出，而音频需要先经过DMS控制器的处理。解决的方法是在每段视频前面加入Δt的空白视频，当视频播出启动时，真正的视频内容播出有Δt时间的滞后，其效果是音视频文件从播出启示的严格同步。
视频文件的同步伴音信号中除了携带对应的视频时间信息t2以外，还可以携带节目信息——PC(Program Code)，如图7所示。DMS控制器除了解调出时间信息以外，还可以解调出节目信息，将其一起作为回传信号传输给音频播出服务器，服务器通过节目信息识别应该送给DMS控制器的音频文件，这样对整个DMS动声系统的操作只需要通过对视频文件的操作来完成。
下面对本发明的同步时间信息的设计进行说明。
音频时间信息的最小单位取决于音频信道的带宽。本系统要求音频信道可用带宽为10KHz。脉冲宽度为100ms，频率为10Hz，载频为5KHz。每个码元18-比特，可以支持0到262143。以0.1s为一个码元长度，时间信息的周期为26214.3s，即7.28个小时，完全可以满足现在音视频播出的要求。
视频短片不超过50分钟的，可以用15-比特加3-比特的纠错码，周期可以达54.6分钟，同样可以支持超过55分钟的视频内容；视频短片不超过10分钟的，可以用13-比特加5-比特的纠错码，周期可以达13分钟，同样能够支持超过26分钟的视频内容。
可以采用up-down计数法，这样一个周期可以到达110分钟。在前半周期，时间指示递增，在后半周期，时间指数递减。同步系统，可以根据时间序列是递增还是递减，来判断是上半周期还是下半周期，保障同步的唯一性。
DMS动声系统音视频同步信号的可选模式如表1所示。
模式 有效比特位 保护位 半周期 周期
1 18 0 7.28小时 14.56小时
2 15 2 54.6分钟 109.2分钟
3 13 4 13.6分钟 27.2分钟
以上内容仅为本发明的较佳实施例，对于本领域的普通技术人员，依据本发明思想，在具体实施方式及应用范围上均会有改变之处，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种视频与多声道音频同步播出的方法，所述方法用于DMS动声系统，所述DMS动声系统包括音频服务器、视频服务器和DMS控制器，其特征在于，所述方法具体包括以下步骤：
步骤(1)：通过所述音频服务器生成多声道音频数据帧和多声道同步录制端全局时间信息码流，其中，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标记t1；
步骤(2)：通过所述视频服务器生成视频帧和视频时间信息标识t2，所述视频时间信息标识t2与所述音频时间信息标识t1具有相同的时间基准；
步骤(3)：对所述视频时间信息标识t2进行编码，并将编码后的信号进行OFDM调制，然后将调制后的信号作为音视频同步伴音信号插入视频帧中；
步骤(4)：将所述伴音信号和视频帧一起传送到视频显示终端；
步骤(5)：通过网络将生成的所述多声道音频数据帧和多声道同步录制端全局时间信息码流传送到DMS控制器；
步骤(6)：DMS控制器对接收到的所述多声道音频数据帧和多声道同步录制端全局时间信息码流进行解析，恢复出音频时间信息标识t1；
步骤(7)：DMS控制器采集在视频播出终端播出的视频帧中插入的音视频同步伴音信号，并通过对采集到的音视频同步伴音信号先后进行OFDM解调和纠错码控制后，恢复出视频时间信息标识t2；
步骤(8)：将恢复出的音频时间信息标识t1和视频时间信息标识t2进行比较，获得音视频同步控制调整参数△t；
步骤(9)：将所述音视频同步控制调整参数△t传送给视频播出服务器，所述视频播出服务器根据所述音视频同步控制调整参数△t来调整视频内容的播放进度，实现音视频的同步播出；
其中，所述音视频同步伴音信号携带节目信息。
2.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，所述步骤(1)具体包括：所述音频服务器包括多声道同步录制主控制器、系统参考时钟分配单元和多个多声道同步录制从控制器，其中，同步时钟控制采用主从方式，多声道同步录制主控制器产生并发送同步基准信号和同步时钟信号，通过系统参考时钟分配单元分配至多个多声道同步录制从控制器；多声道同步录制主控制器、多个多声道同步录制从控制器锁定相同的同步时钟信号，通过同步基准信号对音视频流的延时进行调整，形成多声道同步录制端全局时间信息码流，所述多声道同步录制端全局时间信息码流包括为每个声道的每一帧音频数据标记的音频时间信息标识t1。
3.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，所述音视频同步控制调整参数△t为t1和t2之间的差值。
4.根据权利要求3所述的视频与多声道音频同步播出的方法，其特征在于，所述DMS控制器循环的获得所述音视频同步控制调整参数△t，当△t大于预设的阈值时，向视频服务器回传所述音视频同步控制调整参数△t。
5.根据权利要求1所述的视频与多声道音频同步播出的方法，其特征在于，在所述步骤(9)中，通过在每段视频前面加入△t的空白视频，来调整视频内容的播放进度。
CN201410169084.1A 2014-04-25 2014-04-25 一种视频与多声道音频同步播出的方法 Active CN104079958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410169084.1A CN104079958B (zh) 2014-04-25 2014-04-25 一种视频与多声道音频同步播出的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410169084.1A CN104079958B (zh) 2014-04-25 2014-04-25 一种视频与多声道音频同步播出的方法

Publications (2)

Publication Number Publication Date
CN104079958A CN104079958A (zh) 2014-10-01
CN104079958B true CN104079958B (zh) 2017-07-11

Family

ID=51600965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410169084.1A Active CN104079958B (zh) 2014-04-25 2014-04-25 一种视频与多声道音频同步播出的方法

Country Status (1)

Country Link
CN (1) CN104079958B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581329A (zh) * 2014-12-30 2015-04-29 北京东方艾迪普科技发展有限公司 一种发送和接收图文播出指令的方法及设备
CN108965971B (zh) * 2018-07-27 2021-05-14 北京数码视讯科技股份有限公司 多路音频同步控制方法、控制装置及电子设备
CN109167890B (zh) * 2018-08-22 2021-03-05 海信视像科技股份有限公司 一种音画同步方法和装置及显示设备
CN111954051B (zh) * 2020-02-11 2021-10-26 华为技术有限公司 传输视频音频数据的方法、系统、云端服务器和存储介质
CN112272305B (zh) * 2020-09-28 2023-03-24 天下秀广告有限公司 一种多路实时交互视频缓存存储方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859544A (zh) * 2005-12-01 2006-11-08 华为技术有限公司 一种媒体播放的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI535276B (zh) * 2012-06-18 2016-05-21 致伸科技股份有限公司 同步數位媒體播放器之音訊播放的方法與數位媒體控制器、數位音訊媒體播放器以及數位媒體伺服器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859544A (zh) * 2005-12-01 2006-11-08 华为技术有限公司 一种媒体播放的系统和方法

Also Published As

Publication number Publication date
CN104079958A (zh) 2014-10-01

Similar Documents

Publication Publication Date Title
US11218740B2 (en) Decoder for decoding a media signal and encoder for encoding secondary media data comprising metadata or control data for primary media data
CN104079958B (zh) 一种视频与多声道音频同步播出的方法
CN108616800B (zh) 音频的播放方法和装置、存储介质、电子装置
RU2013158084A (ru) Способы и системы синхронизации и переключения для системы адаптивного звука
US20070058762A1 (en) High quality, controlled latency multi-channel wireless digital audio distribution system and methods
CN104584567A (zh) 音频转发设备和对应的方法
CN103888815B (zh) 一种音视频流实时分离处理及同步的方法及其系统
MX2010002144A (es) Receptor de radiodifusion digital y metodo para controlar el mismo.
CN105493509A (zh) 传输装置、传输方法、接收装置和接收方法
AU2012371693A1 (en) Automatic control of audio processing based on at least one of playout automation information and broadcast traffic information
CN107277691B (zh) 基于云的多声道音频播放方法、系统及音频网关装置
CN1972407A (zh) 一种移动多媒体广播视音频同步播放的方法
DE602004009560T2 (de) Datenübertragungssynchronisationsschema
CN108600814A (zh) 一种视频同步播放方法及装置
CN104333795A (zh) 一种不依赖时间戳的实时视频码流播放速度控制方法
JP2017108399A (ja) 同期化デバイス、方法、プログラム及びシステム
CN103152605B (zh) 一种音频数据转码的方法、装置及转码服务器
CN105897998A (zh) 智能手机录音方法及系统
CN105898233B (zh) 一种视频监控中的音视频播放方法及装置
KR101401990B1 (ko) 네트워크 기반 오디오 송수신기에서의 데이터 버퍼링 제어 방법 및 그 장치
US20190019522A1 (en) Method and apparatus for multilingual film and audio dubbing
KR20130103931A (ko) 메타데이터 우선제공 증강방송 장치 및 방법
CN205283753U (zh) 智能移动终端及多声道媒体文件同步播放系统
KR100576543B1 (ko) 디지털 오디오 방송 전송 시스템에서 멀티미디어 서비스를제공하기 위한 미디어 스트림 변환장치 및 그 방법
JP2011082981A (ja) 電子装置と連動する放送システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant