CN101827271B - 音频视频同步方法、装置以及数据接收终端 - Google Patents

音频视频同步方法、装置以及数据接收终端 Download PDF

Info

Publication number
CN101827271B
CN101827271B CN2009100469780A CN200910046978A CN101827271B CN 101827271 B CN101827271 B CN 101827271B CN 2009100469780 A CN2009100469780 A CN 2009100469780A CN 200910046978 A CN200910046978 A CN 200910046978A CN 101827271 B CN101827271 B CN 101827271B
Authority
CN
China
Prior art keywords
video
audio
data
frame
time stamp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009100469780A
Other languages
English (en)
Other versions
CN101827271A (zh
Inventor
朱胜
裘风光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leadcore Technology Co Ltd
Original Assignee
Leadcore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leadcore Technology Co Ltd filed Critical Leadcore Technology Co Ltd
Priority to CN2009100469780A priority Critical patent/CN101827271B/zh
Publication of CN101827271A publication Critical patent/CN101827271A/zh
Application granted granted Critical
Publication of CN101827271B publication Critical patent/CN101827271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

本发明涉及一种音频视频同步方法、其装置，以及实现音频视频同步的数据接收终端。该方法包括：于数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳，以及于数据接收终端，执行以下步骤：获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟；获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟；依据音频数据帧的音频时间戳及本地当前时钟计算音频抖动时间；每隔预定时间将一帧音频数据送给音频解码器，如果音频数据已被丢弃，则生成一静默帧送给音频解码器；参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器。

Description

音频视频同步方法、装置以及数据接收终端
技术领域
本发明涉及低码率无线信道传输，尤其是涉及低码率无线信道终端在高误码率环境下的音频视频同步方法及其装置，以及用于实现视频音频同步的数据接收终端。 
背景技术
低码率无线信道终端在高误码率环境下，因为发送端、网络、接收端的处理而引起音频视频不同步，包含主要原因为：1、由于发送端对视频码率的控制会导致视频帧率引起相应的变化；2、由于网络抖动或网络误码会引起音频视频数据时序的变化；3、由于接收端对音频视频数据的缓存而延迟播放；这三个原因在实际开发过程中都是实际存在的，然而这些原因导致的音频视频不同步并没有得到有效地解决。 
H.324/M国际标准可以在无线电路交换网络中支持实时多媒体服务应用。该标准包含的几个子协议标准是：语音、视频、用户数据和控制数据的多路复用和分离(H.223)；3GPP采纳H.324/M建议作为3G网络传统视频电话的一个标准，被其采纳的建议被命名为3G-324M，3G-324M终端是应用于无线电路交换网络的视频、音频和数据的实时传输设备，但是它针对话音、视频和多路复用操作提出了一些要求，如：它指定H.263作为强制(视频编码)基本标准，而把MPEG-4作为视频编码推荐标准；指定AMR作为强制音频编码标准，而把G.732.1作为音频编码推荐标准；添加H.223附件B用来保护复用数据。 
3G业务中规定误码率可以达到10-4到10-6，在信号质量比较差的情况下，误码率将达到10-3，所以因为误码原因，会使视频质量下降。同时目前3G-324M业务中没有使用音频视频同步措施，如果通话时间过长，用户会明显感觉出音频视频不同步。 
下面以videophone业务为例介绍现有技术存在的问题： 
根据3G324协议规定，建议采用CS 64K信道传输，视频数据的码率为48kbps左右、帧率在5～15帧/秒、音频数据的码率为12kbps左右、帧率为50帧/秒方案，目前是通过H.245中失真指示H223SkewIndication来实现同步的，即(可以参考ITU-T H.245)： 
H223SkewIndication::＝SEQUENCE 
{ 
logicalChannelNumber1 LogicalChannelNumber， 
logicalChannelNumber2 LogicalChannelNumber， 
skew INTEGER(0..4095)，--单位ms 
} 
此失真指示用于指示远程终端视频逻辑信道和音频逻辑信道间时间失真的平均值。其中logicalChannelNumber1和logicalChannelNumber2均为处于打开状态的逻辑信道的信道编号。失真信息包括采样时间、编码器时延以及发送端缓存器时延的差异，并且失真以表示给定采样点数据的首比特传输时间为基准度量。此失真信息不包括网络抖动或网络误码会引起音频视频数据时序变化的信息。 
H.245中的失真指示H223SkewIndication只包括发送端音频视频采样时间、编码器编码时延以及发送端的缓存器时延的信息，它表明只是由于发送端的原因而引起的差异才导致音频视频不同步，并没有包括由于网络抖动或网络误码会引起音频视频数据时序的变化和接收端对音频视频数据的缓存信息，这种方法只能部分地解决音频视频同步现象，不能彻底地解决不同步问题。由于视频的帧率是在不断变化、存在网络抖动或网络误码、接收端存在数据缓冲等原因，进行一段时间的视频通话后，仍然会导致音频视频不同步。 
发明内容
本发明所要解决的技术问题是提供一种低码率无线信道在高误码率环境下的音频视频同步方法、其装置，以及实现音频视频同步的数据接收终端。 
本发明为解决上述技术问题而采用的技术方案是提出一种音频视频同步方法，是应用于低码率无线信道在高误码率环境下的音频视频同步，该方法包 括： 
于数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳；以及 
于数据接收终端，执行步骤： 
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟； 
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟； 
依据音频数据帧的音频时间戳及本地当前时钟计算所述音频抖动时间； 
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器；以及 
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器。 
在本发明的一实施例中，于数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳的步骤进一步包括： 
记录本地当前视频时间戳； 
将一帧视频数据分割成多个视频数据单元； 
将各视频数据单元形成视频数据包，其中各视频数据包包含所述视频时间戳； 
记录本地当前音频时间戳； 
将一帧音频数据作为一音频数据单元，并将该音频数据单元形成音频数据包，其中该音频数据包包含所述音频时间戳； 
对各视频数据包及该音频数据包进行复用处理，并发送给数据接收端。 
在本发明的一实施例中，参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的步骤包括： 
如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器； 
如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解码器。 
本发明另提供一种用以执行上述方法的音频视频同步装置，该装置包括： 
数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳；以及 
数据接收终端，包括： 
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟的单元； 
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟的单元； 
依据相邻音频数据帧的音频时间戳及本地当前时钟计算所述音频抖动时间的单元； 
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器的单元；以及 
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元。 
在本发明的一实施例中，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳进一步包括： 
记录本地当前视频时间戳； 
将一帧视频数据分割成多个视频数据单元； 
将各视频数据单元形成视频数据包，其中各视频数据包包含所述视频时间戳； 
记录本地当前音频时间戳； 
将一帧音频数据作为一音频数据单元，并将该音频数据单元形成音频数据包，其中该音频数据包包含所述音频时间戳； 
对各视频数据包及该音频数据包进行复用处理，并发送给数据接收端。 
在本发明的一实施例中，在参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元中，如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器；如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解 码器。 
本发明另提出一种数据接收终端，用以接收数据发送端的视频和音频数据并同步地播放，该数据发送端在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳，其中该数据接收终端包括： 
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟的单元； 
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟的单元； 
依据相邻音频数据帧的音频时间戳及本地当前时钟计算所述音频抖动时间的单元； 
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器的单元；以及 
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元。 
在本发明的一实施例中，在参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元中，如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器；如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解码器。 
在本发明中，如果出现音频帧出错或没有按正确时序发送给音频解码器，则接收终端会主动生成一个静默帧交给音频解码器，这样可以平滑声音且不会出现有杂音。同时由于每个音频帧及视频帧都加上了时间戳作为同步信息，就可以处理由于发送端、网络、接收端的处理而引起音频视频不同步，这样就可以保证音频视频在允许范围内同步。因此，采用本发明可以改善音频质量，避免出现杂音，也避免因长时间通话而导致音频视频不同步。 
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发 明的具体实施方式作详细说明，其中： 
图1示出根据本发明一实施例的系统框图。 
图2示出根据本发明一实施例的系统操作流程图。 
图3示出根据本发明一实施例的数据包格式。 
图4示出根据本发明一实施例的发送端上行数据流程图。 
图5示出根据本发明一实施例的接收终端下行数据流程图。 
具体实施方式
图1示出根据本发明一实施例的系统框图。其中按照3G-324M标准，在3G324M协议栈100中采用H.223协议栈110用作语音、视频、用户数据和控制数据的多路复用和分离；采用H.263编解码器120用作视频编码，采用AMR编解码器130用作音频编码，同时还采用了H.245协议栈140。视频设备150可向H.263编解码器120提供视频数据，语音设备160可向AMR编解码器130提供音频数据，经过编码后于H.223协议栈110形成数据包向3G信道170发送。相应地，经由3G信道170接收的数据可经H.223协议栈110处理后，再分别经过H.263编解码器120和AMR编解码器130解码后送至视频设备150和语音设备160进行播放。其中，H.223协议栈110又可进一步分为复用层(MUXLayer)和适配层。 
系统的具体操作流程图请参照图2所示，请结合参照图1所示，在数据发送端的上行过程中，通过H.263视频编码产生视频帧，并进一步形成为多个AL-PDU 1-n(其包结构请参见图3所示)；同时通过AMR音频编码产生音频帧，并进一步形成为一个AL-PDU。视频帧和音频帧经过复用层复用后，发送到3G信道。在数据接收终端下行过程中，经3G信道接收的数据首先于复用层解复用，产生多个视频的AL-PDU 1-n以及一个音频的AL-PDU，其中多个视频的AL-PDU 1-n形成完整的视频帧后，再经过H.263视频解码后输出播放，而一个音频的AL-PDU直接形成音频帧，再经过AMR音频解码后输出播放。 
根据本发明的实施例，在图2所示流程中所发送的视频数据AL-PDU 1-n和音频数据AL-PDU中均加入时间戳。具体如图3所示，原有AL-PDU包含可选序列号(optional sequence number)；：AL-PDU有效载荷域(AL-PDU payload field)；CRC校验域(CRC Field)。本实施例是在一个原AL-PDU的头部基础之上再增加一个字段，即时间戳(Time Stamp)，占N个字节(octet)，N＝1，2，3，此字段的作用是为了同步音频视频。 
根据本发明的实施例，如果一个帧的视频数据是由多个H.223AL2组成，那它们包头的时间戳应该是一样的。例如图2所示的AL-PDU 1-n均具有相同的时间戳。在一个实施例中，可以本端采样点数据的首比特传输时间为基准度量，并以此计算时间戳，该数据包含但不限于音频数据，及视频数据。 
以ITU 3G324M协议来实现视频通话(videophone)为例，在发送端加入时间戳的具体流程可参照图4所示，其中系统框图及基本操作流程已示出于图1和图2，下面的流程主要描述时间戳的加入有关的步骤： 
首先介绍视频处理步骤S11-S14，具体如下：于步骤S11，本端视频上行线程从H.263编码器获取一帧数据，放入视频缓冲区中；紧接着于步骤S12，在本地记录下当前的视频时间戳T1(V)；然后于步骤S13，从视频缓冲区中取出一帧视频数据，并将此分割成n块，每一块就是一个AL-SDU(即1个数据单元)，其中AL-SDU构成图3所示AL-PDU数据包中的有效载荷；之后于步骤S14，通过H.223适配层处理，形成AL-PDU数据包，将步骤S12记录下的时间戳T1(V)作为这n块包头的时间字段。 
其次介绍音频处理步骤S15-S18，具体如下：于步骤S15，本端音频上行线程从AMR编码器获取一帧数据，放入音频缓冲区中；紧接着于步骤S16，记录下当前时间戳T1(A)；然后于步骤S17，从音频缓冲区中取出一帧音频数据，以此作为音频AL-SDU(即1个数据单元)；之后于步骤S18，通过H.223适配层处理，将步骤S16记录下的时间戳T1(A)作为这包头的时间字段。 
然后，于步骤S19经H.223复用处理，将几个视频和音频数据流通过某种组合复用成一个数据流后，经3G信道发送给远端。 
根据本发明的实施例，在接收终端，如果音频帧出错或者没有按正确时序发送给音频解码器进行解码，则接收终端会主动生成一个静默帧给音频解码器，而视频帧是依据音频帧来进行同步。图5示出根据本发明一实施例的接收终端下行数据流程图。其中系统框图及基本操作流程已示出于图1和图2，数据接收终端的音频视频同步方法包括以下步骤： 
于步骤S21，经H.223解复用(DEMUX)处理，获得多个视频数据单元AL-SDU以及一个音频数据单元AL-SDU后，经过判断数据单元是否为音频数据AL-SDU的步骤S22分离音频逻辑信道中的音频数据及相应的时间戳T2(A)以及视频逻辑信道中的视频数据及相应的时间戳T2(V)。 
对于分离的音频数据，于步骤S23判断其AL-SDU是否存在误码，若是，则于步骤S24丢弃此AL-SDU，否则，于步骤S25将音频数据帧(即一个AL-SDU)及音频时间戳保存在音频帧缓冲区，之后于步骤S26，同时记录下此时本地时钟T3(A)，然后，于步骤S27，依照下述公式计算音频抖动时间： 
jitter＝(T2(A)(n+1)-T2(A)(n))-(T3(A)(n+1)-T3(A)(n))，n＝1，2，3，...，代表帧的序列号。 
对于分离的视频数据，首先于步骤S28放在AL-SDU缓冲区中，之后，于步骤S29，以图像开始码作为帧的分界标识来获取一个完整的视频数据帧，同时于步骤S30记录下此时本地时钟T3(V)，然后于步骤S31，将视频数据帧及视频时间戳放入视频缓冲区中。 
在音频解码线程中，会于步骤S32，每隔预定时间(按照50帧/秒的帧率可取20ms)从音频缓存区取出一帧音频数据，然而如果于步骤S33发现缓存区B(A)为空(由于误码的音频帧已于先前的步骤S24被丢弃)，则于步骤S34生成一个静默帧，否则，直接于步骤S35将音频帧送给音频解码器。 
静默帧作用主要有两个，一个是为了消除杂音，另一个作为是为了同步。这主要是考虑一些异常情况，比如音频帧因网络传输而导致丢失、延时、产生误码，因此当音频帧有一个固定的时序后，视频帧可以通过音频帧来同步。 
在视频解码线程中，会于步骤S36，从视频帧缓冲区中获取视频帧，然后，于步骤S37，视频帧交给视频解码器前要参考时间戳，具体地说，参考当前正在播放的音频时间戳T4(A)、待处理的视频数据帧的视频时间戳T4(V)以及音频抖动时间iitter，如果此视频帧的视频时间戳T4(V)大于当前正在播放的音频帧的音频时间戳T4(A)和一个常量T及音频抖动时间jitter的累加值，则此时不能将视频帧交给视频解码器，返回步骤S37继续判断；如果此视频帧的时间戳T4(V)小于当前正在播放的音频时间戳T4(A)和常量T及音频抖动时间jitter的累加值时，则此时可以于步骤S38将视频帧交给H.263视频解码器。常量T考 虑了发送端无法保证速率、误码等因素来选取，例如取200ms。 
在低码率无线信道终端在高误码率环境，信道中存在误码是客观存在的，如果音频帧出错或没有接收到端没有按正确时序发送给音频解码器，会导致有杂音出现，给用户造成不良的使用体验。所以在本发明中，如果出现音频帧出错或没有按正确时序发送给音频解码器，则接收终端会主动生成一个静默帧交给音频解码器，这样可以平滑声音且不会出现有杂音。同时由于每个音频帧及视频帧都加上了时间戳作为同步信息，就可以处理由于发送端、网络、接收端的处理而引起音频视频不同步，这样就可以保证音频视频在允许范围内同步(假设视频的帧率为5～15帧，则同步误差为180ms)。因此，采用本发明可以改善音频质量，避免出现杂音，也避免因长时间通话而导致音频视频不同步。 
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。 

Claims (8)

1.一种音频视频同步方法，是应用于低码率无线信道在高误码率环境下的音频视频同步，该方法包括：
于数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳；以及
于数据接收终端，执行步骤：
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟；
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟；
依据相邻音频数据帧的音频时间戳及本地当前时钟计算音频抖动时间；
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器；以及
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器。
2.如权利要求1所述的方法，其特征在于，于数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳的步骤进一步包括：
记录本地当前视频时间戳；
将一帧视频数据分割成多个视频数据单元；
将各视频数据单元形成视频数据包，其中各视频数据包包含所述视频时间戳；
记录本地当前音频时间戳；
将一帧音频数据作为一音频数据单元，并将该音频数据单元形成音频数据包，其中该音频数据包包含所述音频时间戳；
对各视频数据包及该音频数据包进行复用处理，并发送给数据接收端。
3.如权利要求1所述的方法，其特征在于，参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的步骤包括：
如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器；
如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解码器。
4.一种音频视频同步装置，是应用于低码率无线信道在高误码率环境下的音频视频同步，该装置包括：
数据发送端，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳；以及
数据接收终端，包括：
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟的单元；
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟的单元；
依据相邻音频数据帧的音频时间戳及本地当前时钟计算音频抖动时间的单元；
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器的单元；以及
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元。
5.如权利要求4所述的装置，其特征在于，在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳进一步包括：
记录本地当前视频时间戳；
将一帧视频数据分割成多个视频数据单元；
将各视频数据单元形成视频数据包，其中各视频数据包包含所述视频时间戳；
记录本地当前音频时间戳；
将一帧音频数据作为一音频数据单元，并将该音频数据单元形成音频数据包，其中该音频数据包包含所述音频时间戳；
对各视频数据包及该音频数据包进行复用处理，并发送给数据接收端。
6.如权利要求4所述的装置，其特征在于，在参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元中，如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器；如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解码器。
7.一种数据接收终端，用以接收数据发送端的视频和音频数据并同步地播放，该数据发送端在所发送的视频数据和音频数据中分别加入视频时间戳和音频时间戳，其中该数据接收终端包括：
获取接收的音频数据及相应的音频时间戳，并记录本地当前时钟的单元；
获取接收的视频数据及相应的视频时间戳，形成完整的视频数据帧，并记录本地当前时钟的单元；
依据相邻音频数据帧的音频时间戳及本地当前时钟计算音频抖动时间的单元；
每隔预定时间将一帧音频数据送给音频解码器，如果音频数据因误码而被丢弃，则生成一静默帧送给音频解码器的单元；以及
参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元。
8.如权利要求7所述的数据接收终端，其特征在于，在参考当前正在播放的音频时间戳、待处理的视频数据帧的视频时间戳以及该音频抖动时间，以决定是否将此视频数据帧交给视频解码器的单元中，如果该待处理的视频帧的视频时间戳大于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则不将视频帧交给视频解码器；如果该待处理的视频帧的视频时间戳小于等于当前正在播放的音频时间戳和一个预定常量及该音频抖动时间的累加值，则将视频帧交给视频解码器。
CN2009100469780A 2009-03-04 2009-03-04 音频视频同步方法、装置以及数据接收终端 Active CN101827271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100469780A CN101827271B (zh) 2009-03-04 2009-03-04 音频视频同步方法、装置以及数据接收终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100469780A CN101827271B (zh) 2009-03-04 2009-03-04 音频视频同步方法、装置以及数据接收终端

Publications (2)

Publication Number Publication Date
CN101827271A CN101827271A (zh) 2010-09-08
CN101827271B true CN101827271B (zh) 2012-07-18

Family

ID=42690934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100469780A Active CN101827271B (zh) 2009-03-04 2009-03-04 音频视频同步方法、装置以及数据接收终端

Country Status (1)

Country Link
CN (1) CN101827271B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984667B (zh) * 2010-11-19 2012-05-30 北京数码视讯科技股份有限公司 码率控制方法及码率控制器
US9313633B2 (en) 2011-10-10 2016-04-12 Talko Inc. Communication system
CN102724560B (zh) * 2012-06-28 2016-03-30 广东威创视讯科技股份有限公司 视频数据显示方法及其装置
CN102932676B (zh) * 2012-11-14 2015-04-22 武汉烽火众智数字技术有限责任公司 基于音视频同步的自适应带宽传输和播放方法
CN103596033B (zh) * 2013-11-11 2017-01-11 北京佳讯飞鸿电气股份有限公司 在多媒体系统终端回放中解决音视频不同步问题的方法
CN104702880A (zh) * 2013-12-09 2015-06-10 中国电信股份有限公司 一种处理视频数据的方法和系统
CN104079974B (zh) * 2014-06-19 2017-08-25 广东威创视讯科技股份有限公司 音视频处理方法和系统
CN104967891B (zh) * 2015-06-29 2019-06-18 高翔 音视频文件生成方法及装置
CN107547891B (zh) * 2016-06-29 2019-05-14 成都鼎桥通信技术有限公司 流媒体播放方法、装置和播放设备
CN109218794B (zh) * 2017-06-30 2022-06-10 全球能源互联网研究院 远程作业指导方法及系统
CN108495164B (zh) * 2018-04-09 2021-01-29 珠海全志科技股份有限公司 音视频同步处理方法及装置、计算机装置及存储介质
CN111954248B (zh) * 2020-07-03 2021-10-01 京信网络系统股份有限公司 一种音频数据报文处理方法、装置、设备及存储介质
CN113438385B (zh) * 2021-06-03 2023-04-04 深圳市昊一源科技有限公司 一种视频同步方法及无线图像传输系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596420A (en) * 1994-12-14 1997-01-21 Cirrus Logic, Inc. Auto latency correction method and apparatus for MPEG playback system
EP0895427A2 (en) * 1997-07-28 1999-02-03 Sony Electronics Inc. Audio-video synchronizing
US6320588B1 (en) * 1992-06-03 2001-11-20 Compaq Computer Corporation Audio/video storage and retrieval for multimedia workstations
CN101057504A (zh) * 2004-12-08 2007-10-17 摩托罗拉公司 在便携式多媒体设备中的音频视频数据处理
CN101198069A (zh) * 2007-12-29 2008-06-11 惠州华阳通用电子有限公司 一种地面广播数字电视接收装置、音视频同步方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6320588B1 (en) * 1992-06-03 2001-11-20 Compaq Computer Corporation Audio/video storage and retrieval for multimedia workstations
US5596420A (en) * 1994-12-14 1997-01-21 Cirrus Logic, Inc. Auto latency correction method and apparatus for MPEG playback system
EP0895427A2 (en) * 1997-07-28 1999-02-03 Sony Electronics Inc. Audio-video synchronizing
CN101057504A (zh) * 2004-12-08 2007-10-17 摩托罗拉公司 在便携式多媒体设备中的音频视频数据处理
CN101198069A (zh) * 2007-12-29 2008-06-11 惠州华阳通用电子有限公司 一种地面广播数字电视接收装置、音视频同步方法及系统

Also Published As

Publication number Publication date
CN101827271A (zh) 2010-09-08

Similar Documents

Publication Publication Date Title
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
CN100579238C (zh) 音视频缓存同步播放的方法
US9426335B2 (en) Preserving synchronized playout of auxiliary audio transmission
US8300667B2 (en) Buffer expansion and contraction over successive intervals for network devices
RU2408158C2 (ru) Синхронизация звука и видео
WO2005043783A1 (ja) 携帯端末向け伝送方法及び装置
JP4208398B2 (ja) 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
KR20090018853A (ko) 오디오 디코딩을 위한 클록 드리프트 보상 기술
KR20030078354A (ko) 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법
JP4983923B2 (ja) デコーダ装置、およびデコード方法
CN101710997A (zh) 基于mpeg-2系统实现视、音频同步的方法及系统
JP2004509491A (ja) オーディオおよびビデオ信号の同期化
WO2008028367A1 (fr) Procédé permettant de réaliser des pistes audio multimédia pour un système de diffusion multimédia mobile
KR100800727B1 (ko) 디지털멀티미디어방송 수신 장치에서 채널 전환을 위한 재생 장치 및 방법
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
CN101540871B (zh) 基于电路域可视电话同步录制对端声音图像的方法和终端
JP2015012557A (ja) 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
JP5092493B2 (ja) 受信プログラム、受信装置、通信システム、及び、通信方法
US8228999B2 (en) Method and apparatus for reproduction of image frame in image receiving system
JP4192766B2 (ja) 受信装置および方法、記録媒体、並びにプログラム
JP5854208B2 (ja) 多段高速再生のための映像コンテンツ生成方法
KR100760260B1 (ko) 타이밍정보의 효율적 전송을 위한 전송스트림 생성 장치및 그 방법과, 그를 이용한 디엠비 전송 시스템
WO2006040827A1 (ja) 送信装置、受信装置、並びに再生装置
JP2008016894A (ja) 送信装置及び受信装置
KR0154005B1 (ko) 시스템 부호화기를 위한 재생시간정보 발생장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20100908

Assignee: Shanghai Li Ke Semiconductor Technology Co., Ltd.

Assignor: Leadcore Technology Co., Ltd.

Contract record no.: 2018990000159

Denomination of invention: Audio and video synchronized method and device as well as data receiving terminal

Granted publication date: 20120718

License type: Common License

Record date: 20180615