CN1960485B - 一种移动多媒体广播视音频同步播放的方法 - Google Patents

一种移动多媒体广播视音频同步播放的方法 Download PDF

Info

Publication number
CN1960485B
CN1960485B CN2006101120788A CN200610112078A CN1960485B CN 1960485 B CN1960485 B CN 1960485B CN 2006101120788 A CN2006101120788 A CN 2006101120788A CN 200610112078 A CN200610112078 A CN 200610112078A CN 1960485 B CN1960485 B CN 1960485B
Authority
CN
China
Prior art keywords
reproduction time
audio
video
unit
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006101120788A
Other languages
English (en)
Other versions
CN1960485A (zh
Inventor
沈灿
张建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN2006101120788A priority Critical patent/CN1960485B/zh
Priority to PCT/CN2006/003735 priority patent/WO2008028361A1/zh
Publication of CN1960485A publication Critical patent/CN1960485A/zh
Application granted granted Critical
Publication of CN1960485B publication Critical patent/CN1960485B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64315—DVB-H

Abstract

一种移动多媒体广播视音频同步播放的方法，在频道段头中设一个“起始播放时间”字段，用来表示该频道数据的起始播放时间；将视频段、音频段分别分割为多个视频、音频单元，根据每个视频、音频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在每个视频、音频段头中为每个视频、音频单元设置一个“相对播放时间”信息，来记录每个视频、音频单元的播放相对时差；每个视频、音频单元的实际播放时间是“起始播放时间”与该视频、音频单元的“相对播放时间”的和。终端接收到数据后计算出每个视音频单元的播放时间进行播放，就能实现视频音频的同步播放。

Description

一种移动多媒体广播视音频同步播放的方法
技术领域
本发明涉及到一种移动多媒体广播实时视频音频流的同步播放方法，属于移动多媒体广播或手机电视技术领域。 
背景技术
移动多媒体广播是近年来兴起的一种多媒体播放技术。通过手持的终端，在高速移动的情况下，可以观看电视。终端通过无线协议，接收到节目单，并可以选择自己有权利收看的频道，从而可以接受选择频道的多媒体数据，实现在移动终端上看电视。 
移动多媒体广播系统发射的空中数据，被分成不同的频道，每个频道的数据又包括：视频、音频和数据三种类型，要求终端能保证视频音频的同步播放，即唇音同步。 
在多媒体广播领域，现有的保证唇音同步的方法有2种，一种是TS(传输流)协议，系统在发送视频音频数据的同时，打上展现时间戳(PTS)，让终端知道每一段视频音频数据的播放时间，以保证终端的播放的时间能与编码器的时间次序完全相同。另一种方法是RTP(实时传输协议)，系统给每一个数据包打上一个时间戳，终端严格按照时间戳进行播放，从而可以保证视频音频播放的同步。 
上述TS方法适合在电路网络中使用，也适合单向广播网络使用，但由于每个TS包比较小，带来了比较大的网络带宽的开销。上述RTP方法对网络带宽的开销比较小，但仅适合在IP网络中使用，不适合移动广播网络中使用。 
发明内容
本发明的目的是针对上述现有技术的不足，提供一种可在移动广播网络中实现视频音频同步播放的方法，并且传输效率要高于目前的TS方式。 
本发明的技术方案如下： 
(1)确定每个频道数据中的视频段、音频段、数据段，并提供一个频道子帧头数据来记录各频道的公共信息； 
(2)将每个频道的视频段切分为多个视频单元，并提供一个视频段头来记录该视频段的公共信息；将每个频道的音频段切分为多个音频单元，并提供一个音频段头来记录该音频段的公共信息； 
(3)根据每个频道数据的起始播放时间，在所述频道子帧头数据中设置一个“起始播放时间”信息，来记录该频道数据的起始播放时间； 
(4)根据每个视频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在视频段头中为每个视频单元设置一个“相对播放时间”信息，来记录每个视频单元的播放相对时差；根据每个音频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在音频段头中为每个音频单元设置一个“相对播放时间”信息，来记录每个音频单元的播放相对时差； 
(5)将记录有“起始播放时间”信息与“相对播放时间”信息的频道数据从发送端发送出去。 
进一步，上述方法还包括： 
(6)接收端接收到每个频道数据后，从该频道子帧头中取出“起始播放时间”信息，确定该频道数据的起始播放时间； 
(7)从该频道的视频段头中取出每个视频单元的“相对播放时间”信息，将每个视频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个视频单元的起始的播放时间；从该频道的音频段头中取出每个音频单元的“相对播放时间”信息，将每个音频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个音频单元的起始的播放时间； 
(8)接收端根据确定的每个视频单元与音频单元的起始播放时间，按顺序同步播放各个视频单元与音频单元。 
上述“起始播放时间”和“相对播放时间”是由编码器产生的。 
上述“起始播放时间”和“相对播放时间”的单位是秒，最好精确到微秒，以确保重播放的精确度。 
上述“起始播放时间”的长度可以是4字节，“相对播放时间”的长度可以是2字节，这样可以节省一定的带宽。 
上述“起始播放时间”初始值是随机值，但是随着时间的变化能不断增长。 
上述每个视频单元的“相对播放时间”记录在该视频单元所属的视频数据的包头中，每个视频单元之间用同步头来分割。 
上述每个音频单元的“相对播放时间”记录在该音频单元所属的音频数据的包头中，每个音频单元之间用同步头来分割。 
本发明的方法是通过移动多媒体广播一个频道的起始播放时间播放时间与每个视频单元与音频单元的相对播放播放时间，计算出每个视频、音频单元的播放时间，可在移动广播网络中实现视频音频同步播放的功能，并且传输效率较高，能保证用户能正常观看节目，同时可以节省一定的带宽。 
附图说明
图1是媒体流子帧头的起始播放时间的示意图 
图2是视频数据单元的相对播放时间的示意图 
图3是音频数据单元的相对播放时间的示意图 
具体实施方式
如图1所示，1个频道的数据是由子帧头、视频段、音频段与数据段 组成的，其中子帧头信息是一个频道的公共信息，包括了一些控制信息与媒体描述信息，其中有一个字段“起始播放时间”，用来表示该频道数据的起始播放时间。 
如图2所示，视频段包括一个视频段头以及多个视频单元，视频段头是用来记录该视频数据的公共信息，每个视频单元之间用同步头来分割。 
根据每个视频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在每个视频段头中为每个视频单元设置一个“相对播放时间”信息，来记录每个视频单元的播放相对时差。这样，每个视频单元的实际播放时间就是“起始播放时间”与该视频单元“相对播放时间”的和，例如： 
视频单元1的播放时间＝起始播放时间+视频单元1的相对播放时间 
视频单元N的播放时间＝起始播放时间+视频单元N的相对播放时间 
如图3所示，音频段包括一个音频段头以及多个音频单元，音频段头是用来记录该音频数据的公共信息，每个音频单元之间用同步头来分割。 
根据每个音频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在每个音频段头中为每个音频单元设置一个“相对播放时间”信息，来记录每个音频单元的播放相对时差。这样，每个视频单元的实际播放时间就是“起始播放时间”与该音频单元“相对播放时间”的和，例如： 
音频单元1的播放时间＝起始播放时间+音频单元1的相对播放时间 
音频单元N的播放时间＝起始播放时间+音频单元N的相对播放时间 
发送端将记录有“起始播放时间”信息与“相对播放时间”信息的频道数据发送出去，接收端接收到该频道数据后，首先从该频道子帧头中取出“起始播放时间”信息，确定该频道数据的起始播放时间；再从该频道的视频段头中取出每个视频单元的“相对播放时间”信息，从该频道的音频段头中取出每个音频单元的“相对播放时间”信息，按照上述算法，将 每个视频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个视频单元的起始播放时间；将每个音频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个音频单元的起始播放时间。 
接收端根据确定的每个视频单元与音频单元的起始播放时间进行播放，就实现了视音频同步播放。 
起始播放时间与相对播放时间是由编码器产生的，初始值可以是随机值，但是随着时间的变化能不断增长，时间要求准确。播放时间的单位是秒，可以精确到微秒，以保重播放的精确度。 
通过本专利的方法，可以减少表示每个视频单元、音频单元播放时间的长度，例如，本来每个视频、音频单元的播放时间都需要4个字节表示，通过使用本专利的方法，只有“起始播放时间”需要4字节数表示播放时间，其余的“相对播放时间”只需要用2个字节就能表示每个视频、音频单元的播放时间。这样可以节省一定的带宽。 
下面通过一个实例对本发明做进一步描述。在本实例中，1个频道有256Kbit/s的速率，帧频为25帧，音频每隔50ms采样1次，这样，视频单元为25个，音频单元有20个。 
每秒钟发送1个频道的数据，先从子帧头中得到起始播放时间T。 
从视频段头中取出25个视频单元的相对播放时间，在播放视频时，第m帧的播放时间＝起始播放时间+第m个视频单元的相对播放时间。 
从音频段头中取出20个音频单元的相对播放时间，在播放音频时，第m帧的播放时间＝起始播放时间+第m个音频单元的相对播放时间。 
终端根据上述方式计算出的播放时间，就能实现视频音频的同步播放。 

Claims (9)

1.一种移动多媒体广播视音频同步播放的方法，其特征在于，包括如下步骤：
(1)确定每个频道数据中的视频段、音频段、数据段，并提供一个频道子帧头数据来记录各频道的公共信息；
(2)将每个频道的视频段切分为多个视频单元，并提供一个视频段头来记录该视频段的公共信息；将每个频道的音频段切分为多个音频单元，并提供一个音频段头来记录该音频段的公共信息；
(3)根据每个频道数据的起始播放时间，在所述频道子帧头数据中设置一个“起始播放时间”信息，来记录该频道数据的起始播放时间；
(4)根据每个视频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在视频段头中为每个视频单元设置一个“相对播放时间”信息，来记录每个视频单元的播放相对时差；根据每个音频单元的起始播放时间与该整个频道数据的起始播放时间的相对时差，在音频段头中为每个音频单元设置一个“相对播放时间”信息，来记录每个音频单元的播放相对时差；
(5)将记录有“起始播放时间”信息与“相对播放时间”信息的频道数据从发送端发送出去；
(6)接收端接收到每个频道数据后，从该频道子帧头中取出“起始播放时间”信息，确定该频道数据的起始播放时间；
(7)从该频道的视频段头中取出每个视频单元的“相对播放时间”信息，将每个视频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个视频单元的起始的播放时间；从该频道的音频段头中取出每个音频单元的“相对播放时间”信息，将每个音频单元的“相对播放时间”分别与“起始播放时间”相加，确定每个音频单元的起始的播放时间；
(8)接收端根据确定的每个视频单元与音频单元的起始播放时间，按顺序同步播放各个视频单元与音频单元。
2.根据权利要求1所述的移动多媒体广播视音频同步播放的方法，其特征在于：所述的“起始播放时间”和“相对播放时间”是由编码器产生的。
3.根据权利要求1所述的方法，其特征在于：所述“起始播放时间”和“相对播放时间”的单位是秒。
4.根据权利要求1所述的方法，其特征在于：所述“起始播放时间”和“相对播放时间”的单位精确到微秒。
5.根据权利要求1所述的方法，其特征在于：所述“起始播放时间”的初始值是随机值，并且随着时间的变化能不断增长。
6.根据权利要求1所述的方法，其特征在于：所述每个视频单元之间用同步头来分割。
7.根据权利要求1所述的方法，其特征在于：所述每个音频单元之间用同步头来分割。
8.根据上述1到7中任一权利要求所述的方法，其特征在于：所述每个“起始播放时间”的长度是4字节。
9.根据上述1到7中任一权利要求所述的方法，其特征在于：所述每个“相对播放时间”的长度是2字节。
CN2006101120788A 2006-08-29 2006-08-29 一种移动多媒体广播视音频同步播放的方法 Expired - Fee Related CN1960485B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2006101120788A CN1960485B (zh) 2006-08-29 2006-08-29 一种移动多媒体广播视音频同步播放的方法
PCT/CN2006/003735 WO2008028361A1 (fr) 2006-08-29 2006-12-30 Procédé de lecture synchrone de données audio et vidéo en diffusion multimédia mobile

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2006101120788A CN1960485B (zh) 2006-08-29 2006-08-29 一种移动多媒体广播视音频同步播放的方法

Publications (2)

Publication Number Publication Date
CN1960485A CN1960485A (zh) 2007-05-09
CN1960485B true CN1960485B (zh) 2011-12-07

Family

ID=38071944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101120788A Expired - Fee Related CN1960485B (zh) 2006-08-29 2006-08-29 一种移动多媒体广播视音频同步播放的方法

Country Status (2)

Country Link
CN (1) CN1960485B (zh)
WO (1) WO2008028361A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101123611B (zh) * 2007-09-25 2012-05-23 中兴通讯股份有限公司 一种流媒体数据的发送方法
CN101272499B (zh) * 2008-05-13 2010-08-18 中兴通讯股份有限公司 一种视音频同流传输的方法及系统
EP2352288B1 (en) * 2008-11-25 2018-07-18 ZTE Corporation Method for transmitting and receiving the service data of handset tv
CN101540871B (zh) 2009-04-27 2011-05-11 中兴通讯股份有限公司 基于电路域可视电话同步录制对端声音图像的方法和终端
CN101854533B (zh) 2010-06-10 2012-05-23 华为技术有限公司 频道切换方法、装置及系统
CN102510488B (zh) * 2011-11-04 2015-11-11 播思通讯技术（北京）有限公司 一种利用广播特性进行音视频同步的方法及装置
CN104125534B (zh) * 2013-07-18 2017-01-11 中国传媒大学 一种多声道音频同步录制及播出方法以及相应的系统
CN105681889A (zh) * 2015-12-31 2016-06-15 中科创达软件股份有限公司 一种Audio播放时延的确定方法
CN106411447B (zh) * 2016-10-08 2018-12-11 广东欧珀移动通信有限公司 播放控制方法、装置及终端
CN108521601B (zh) * 2018-02-28 2022-04-29 海信视像科技股份有限公司 一种非标准码流的快速播放方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489356A (zh) * 2002-09-06 2004-04-14 ������ʣ�ŷ�ޣ��ɷ����޹�˾ 媒体数据包的同步播放

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030066094A1 (en) * 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
EP1570681A1 (en) * 2002-12-04 2005-09-07 Koninklijke Philips Electronics N.V. Method of automatically testing audio/video synchronization
AU2004317111B2 (en) * 2004-02-13 2009-01-08 Nokia Corporation Timing of quality of experience metrics
JP4092705B2 (ja) * 2005-09-02 2008-05-28 日本電信電話株式会社 ストリーム送信装置および受信装置、ならびに送受信方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1489356A (zh) * 2002-09-06 2004-04-14 ������ʣ�ŷ�ޣ��ɷ����޹�˾ 媒体数据包的同步播放

Also Published As

Publication number Publication date
CN1960485A (zh) 2007-05-09
WO2008028361A1 (fr) 2008-03-13

Similar Documents

Publication Publication Date Title
CN1960485B (zh) 一种移动多媒体广播视音频同步播放的方法
CN100450163C (zh) 一种移动多媒体广播视音频同步播放的方法
CN101635848B (zh) 一种视频文件的编辑方法和装置
CN101282482B (zh) 视频数据与音频数据同步播放的装置、系统和方法
CN101202613B (zh) 一种用于时钟同步的终端
JP4131703B2 (ja) クロックベースのタイムスライシング
CN100579238C (zh) 音视频缓存同步播放的方法
CN101902649A (zh) 一种基于h.264标准的音视频同步控制方法
JP3666625B2 (ja) データ記録方法およびデータ記録装置
CN100531398C (zh) 一种移动多媒体广播系统的多音轨实现方法
CN109565466B (zh) 多设备间唇音同步方法及设备
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
WO2011113315A1 (zh) 一种流媒体直播业务系统及实现方法
KR100482287B1 (ko) 디지털 데이터 방송을 위한 동기화 스트림 데이터 삽입장치 및 그 방법
CN106658135B (zh) 一种音视频播放方法及装置
CN104053014A (zh) 一种基于移动终端的直播系统、方法和移动终端
CN101371488A (zh) 一种不同媒体流间的同步方法及系统
CN108111872B (zh) 一种音频直播系统
CN102364952A (zh) 一种多路音视频同时播放时处理音视频同步的方法
CN100518074C (zh) 一种移动多媒体广播多视频流的实现方法
CN101867762B (zh) 一种电视台在线广告报时系统和方法
CN100473171C (zh) 一种广播网络中时钟同步的方法
CN109040818B (zh) 直播时的音视频同步方法、存储介质、电子设备及系统
CN112684992A (zh) 一种投屏播放同步的实现方法、装置及计算机主设备
CN1960435B (zh) 一种移动多媒体广播时钟同步的方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111207

Termination date: 20200829

CF01 Termination of patent right due to non-payment of annual fee