CN100579238C - 音视频缓存同步播放的方法 - Google Patents
音视频缓存同步播放的方法 Download PDFInfo
- Publication number
- CN100579238C CN100579238C CN200810033822A CN200810033822A CN100579238C CN 100579238 C CN100579238 C CN 100579238C CN 200810033822 A CN200810033822 A CN 200810033822A CN 200810033822 A CN200810033822 A CN 200810033822A CN 100579238 C CN100579238 C CN 100579238C
- Authority
- CN
- China
- Prior art keywords
- video
- audio
- time
- timestamp
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
一种音视频缓存同步播放的方法，其在对采集的音视频信息进行编码时，分别给每一音频及视频包打上当前时间信息的时间戳，然后设定播放装置存储接收的音视频包的缓存时间，接着播放装置接收传送至的已打上时间戳的音频及视频包，并存储之，并当已存储的音频及视频包所具有的最小时间戳与最新存储的音频或视频包所具有的时间戳的差值超过初始缓存时间时，搜索已存储的音频包和视频包以找出时间戳落入以所述最小时间戳为起点，长度为初始缓存时间这一时间段内的相应音频包和视频包，并判断搜索出的音频包和视频包是否相互对应，当不对应时则修改缓存时间以使搜索出的音频包和视频包能相互对应，由此可完美实现音视频唇音同步，并可改善多路音视频通讯间的协调性。
Description
技术领域
本发明涉及一种音视频缓存同步播放的方法。
背景技术
音视频同步(即唇音同步)是检测一个视频会议产品的重要技术指标。好的视频会议产品需要唇音同步，这样有助于提高沟通的效果。在检测是否能实现唇音同步时，常由操作发送端的人员从一到十报数，报数的同时用手指示意，然后在接收端观察效果来判断唇音同步的好坏。
在视频会议系统中，产生唇音不同步的原因是由于音频信号和视频信号分别编码、分别传输，由于IP优先级、音视频包大小、网络传输延时等因素的影响，会使音视频包到达顺序不同，从而打乱音频包与相应的视频包的同步关系，最终的结果导致声音与口型失去同步。
目前支持唇音同步的视频设备通常是通过使用IP包中的RTP时间戳信息来纠正这一问题。利用RTP时间戳，设备能够确定哪一音频包与哪一视频包对应，然后在接收端重新调整相应的音视频包对应关系，以保证声音与口型的同步。如在中国专利号为02128329的“一种实现多种视音频流格式转换的装置”中，公开了一唇音同步模块，其根据RTP时间信息及RTCP包的同步时间信息确定音频、视频数据的网络延迟时间，再根据得到的相对网络时延填充静音或缓存图像来实现音频和视频的同步，此种通过填充静音或缓存图像来实现同步的方式不可避免会存在图像和声音的不协调。而且，在一大型视频会议系统，往往会存在多路音视频信息的传输，而多路流的网络传输延时并非完全一致，如此当同一终端在播放多路音视频信息时存在的图像和声音的不同步以及相互之间通讯时的不协调显得尤为突出，严重影响会议质量。
因此，如何解决现有唇音同步存在的问题，实已成为本领域技术人员亟待解决的技术课题。
发明内容
本发明的目的在于提供一种音视频缓存同步播放的方法，以实现音视频的唇音同步，同时又能改善多路音视频通讯间的协调性。
为了达到上述目的，本发明提供的用于具有音视频编码装置及播放装置的系统的音视频缓存同步播放的方法，包括步骤：1)音视频编码装置在对采集的音视频信息进行编码时，分别给每一音频及视频包打上当前时间信息的时间戳；2)设定播放装置存储接收的音视频包的初始缓存时间；3)播放装置接收传送至的已打上时间戳的音频及视频包，并将接收的音频及视频包予以存储；4)根据已存储的音频及视频包所具有的时间戳判断其中最小的时间戳与最新存储的音频或视频包所具有的时间戳的差值是否超过初始缓存时间；5)当最小的时间戳与最新存储的音频及视频包所具有的时间戳的差值超过初始缓存时间时，搜索已存储的音频包和视频包以找出时间戳落入以所述最小时间戳为起点，长度为初始缓存时间这一时间段内的相应音频包和视频包，并判断搜索出的音频包和视频包是否相互对应；6)当搜索出的音频包和视频包不相互对应时，延长存储的音视频包的缓存时间以使搜索出的音频包和视频包能相互对应；7)当搜索出的音频包和视频包相互对应时，播放装置播放搜索出的相互对应的音视频包，并将已播放的音视频包予以删除。
较佳的，所述具有音视频编码装置及播放装置的系统为视频会议系统。
较佳的，所述音视频编码装置在对多路音视频信息进行编码打时间戳时，采用同一时钟提供的时间；同时当播放装置存储接收的音视频包为多路音视频信息的音视频包时，在步骤2)中设定的多路音视频信息的音视频包的初始缓存时间都相同，而且在步骤6)中，当仅搜索出一路的音频包和视频包不相互对应时，延长该路的音频包和视频包的缓存时间，同时其他路的音频包和视频包的缓存时间也作相应的延长。
综上所述，本发明的音视频缓存同步播放的方法通过采集编码时打上的时间戳和自动调整缓存时间，可实现每路音视频唇音同步，并可改善多路音视频通讯间的协调性。
附图说明
图1为本发明的音视频缓存同步播放的方法的操作流程示意图。
具体实施方式
本发明的音视频缓存同步播放的方法用于具有音视频编码装置及播放装置的系统中，例如，用于具有多路音视频信息的视频会议系统中，每一参与视频会议系统的终端都能通过摄像装置等提供相应音视频信息，同时也能通过播放装置播放接收的其他终端传送来的音视频信息。
请参阅图1，本发明的音视频缓存同步播放的方法主要包括以下步骤：
第一步：音视频编码装置在对采集的音视频信息进行编码时，分别给每一音频及视频包打上当前时间信息的时间戳，由于存在多路需要编码的音视频信息，对每一路进行编码时都采用同一时钟提供的时间作为当前时间，如此可有效保证来自不同终端的音视频信息被打上的时间戳的参考时间是一致的，不仅可以作为单路音视频唇音同步的校正依据，还可作为会议各路之间协调校正的延缓修正依据。
第二步：设定播放装置存储接收的音视频包的初始缓存时间，可由操作人员预先通过程序设定，也可由操作人员通过提供的操作界面来设定，操作界面的提供方法已为本领域技术人员所熟悉，故在此不再详述，不过，当播放装置存储接收的音视频包为多路音视频信息的音视频包时，所设定的多路音视频信息的音视频包的初始缓存时间都是一致的。
第三步：播放装置根据用户的需要接收传送至的已打上时间戳的音频及视频包，并将接收的音频及视频包予以存储，通常是存储在文件中，所述音视频编码装置通常先将打上时间戳的音频和视频包传送至流媒体服务器，所述播放装置根据用户的需要向流媒体服务器发送传送指令，由所述流媒体服务器根据指令发送相应的各路音频及视频包。
第四步：根据已存储的音频及视频包所具有的时间戳判断其中最小的时间戳与最新存储的音频或视频包所具有的时间戳的差值是否超过初始缓存时间，若是，进至第五步，否则播放装置继续接收音频及视频包，当存储的仅一路音频及视频包时，则只需判断该路的相应的时间戳的差值是否超过初始缓存时间，若是，则进至第五步，否则就继续接收音频及视频包；当存储有多路音频及视频包时，则需判断每一路的相应的时间戳的差值是否超过初始缓存时间，若是，则进至第五步，若其中有某一路相应的时间戳的差值未超过初始缓存时间则需继续接收音频及视频包。
第五步：在缓存中搜索已存储的音频包和视频包以找出时间戳落入以所述最小时间戳为起点，长度为初始缓存时间这一时间段内的相应音频包和视频包。
第六步，判断搜索出的音频包和视频包是否相互对应，若不能相互对应，则进至第七步，否则进至第八步，其中，对于多路音频包和视频包，当仅搜索出一路的音频包和视频包不相互对应时，则进至第七步，只有当所有路的音频包和视频包分别相互对应时，则进至第八步。
第七步：修改存储的音视频包的缓存时间以使搜索出的音频包和视频包能相互对应，即延长缓存时间，通常是通过预设规则来进行修改，例如每次增加5秒等，需注意的是，当只修改一路的音频包和视频包的缓存时间，相应其他路的音频包和视频包的缓存时间也作相应的修改以使各路的音频包和视频包的缓存时间保持一致。
第八步：播放装置播放搜索出的相互对应的音视频包，并将已播放的音视频包从缓存中删除。
综上所述，本发明的音视频缓存同步播放的方法在校正音视频还原播放时，并不参考本地接收包的时间而是直接根据音视频包上的时间戳做延缓播放的修正，可很好的实现会议协调，音视频完美同步，此外，其通过自动调整音视频包的缓存时间，可有效将一路或多路音频和视频协调一致，提高视频会议系统的会议质量，同时对同一终端播放多路音视频时能有足够的缓存数据来实现音视频的还原播放，提高播放的多路音频和视频的协调性。
Claims (5)
1.一种音视频缓存同步播放的方法，用于具有音视频编码装置及播放装置的系统，其特征在于包括步骤：
1)音视频编码装置在对采集的音视频信息进行编码时，分别给每一音频及视频包打上当前时间信息的时间戳；
2)设定播放装置存储接收的音视频包的初始缓存时间；
3)播放装置接收由所述音视频编码装置打上时间戳的音频及视频包，并将接收的音频及视频包予以存储；
4)根据已存储的音频及视频包所具有的时间戳判断其中最小的时间戳与最新存储的音频或视频包所具有的时间戳的差值是否超过初始缓存时间；
5)当最小的时间戳与最新存储的音频及视频包所具有的时间戳的差值超过初始缓存时间时，搜索已存储的音频包和视频包以找出时间戳落入以所述最小时间戳为起点，长度为初始缓存时间这一时间段内的相应音频包和视频包，并判断搜索出的音频包和视频包是否相互对应；
6)当搜索出的音频包和视频包不相互对应时，延长存储的音视频包的缓存时间以使搜索出的音频包和视频包能相互对应；
7)当搜索出的音频包和视频包相互对应时，播放装置播放搜索出的相互对应的音视频包，并将已播放的音视频包予以删除。
2.如权利要求1所述的音视频缓存同步播放的方法，其特征在于：所述具有音视频编码装置及播放装置的系统为视频会议系统。
3.如权利要求1所述的音视频缓存同步播放的方法，其特征在于：所述音视频编码装置在对多路音视频信息进行编码打时间戳时，采用同一时钟提供的时间。
4.如权利要求1所述的音视频缓存同步播放的方法，其特征在于：当播放装置存储接收的音视频包为多路音视频信息的音视频包时，在步骤2)中设定的多路音视频信息的音视频包的初始缓存时间都相同。
5.如权利要求4所述的音视频缓存同步播放的方法，其特征在于：在步骤6)中，当仅搜索出一路的音频包和视频包不相互对应时，延长该路的音频包和视频包的缓存时间，同时其他路的音频包和视频包的缓存时间也作相应的延长。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810033822A CN100579238C (zh) | 2008-02-22 | 2008-02-22 | 音视频缓存同步播放的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200810033822A CN100579238C (zh) | 2008-02-22 | 2008-02-22 | 音视频缓存同步播放的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101237586A CN101237586A (zh) | 2008-08-06 |
| CN100579238C true CN100579238C (zh) | 2010-01-06 |
Family
ID=39920893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200810033822A Active CN100579238C (zh) | 2008-02-22 | 2008-02-22 | 音视频缓存同步播放的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100579238C (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102956250B (zh) * | 2011-08-17 | 2016-08-03 | 安凯(广州)微电子技术有限公司 | 一种高效的音视频文件解析方法及设备 |
| CN102957892A (zh) * | 2011-08-24 | 2013-03-06 | 三星电子（中国）研发中心 | 一种实现音视频会议的方法、系统及装置 |
| CN102522096A (zh) * | 2011-12-07 | 2012-06-27 | 中国航空无线电电子研究所 | 多路音视频同步回放系统及其方法 |
| CN103200461B (zh) * | 2013-01-14 | 2016-03-02 | 苏州华启智能科技有限公司 | 一种多台播放终端同步播放系统及播放方法 |
| CN105376613B (zh) | 2015-12-10 | 2019-05-10 | 华为技术有限公司 | 一种快速频道切换方法、服务器及iptv系统 |
| CN105472410A (zh) * | 2015-12-30 | 2016-04-06 | 惠州市伟乐科技股份有限公司 | 一种avs+编码装置 |
| CN105847926A (zh) * | 2016-03-31 | 2016-08-10 | 乐视控股（北京）有限公司 | 一种多媒体数据的同步播放方法及装置 |
| CN106658135B (zh) * | 2016-12-28 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种音视频播放方法及装置 |
| CN106686438B (zh) * | 2016-12-29 | 2019-12-13 | 北京奇艺世纪科技有限公司 | 一种跨设备的音频图像同步播放的方法、装置及系统 |
| CN109565466B (zh) | 2017-03-23 | 2020-11-06 | 华为技术有限公司 | 多设备间唇音同步方法及设备 |
| CN107809685B (zh) * | 2017-11-03 | 2019-10-25 | 中广热点云科技有限公司 | 一种多终端同步播放的方法及设备 |
| CN109600564B (zh) * | 2018-08-01 | 2020-06-02 | 北京微播视界科技有限公司 | 用于确定时间戳的方法和装置 |
| CN109168059B (zh) * | 2018-10-17 | 2021-06-18 | 上海赛连信息科技有限公司 | 一种在不同设备上分别播放音频与视频的唇音同步方法 |
| CN109905752B (zh) * | 2019-03-14 | 2021-06-08 | 海信视像科技股份有限公司 | 音频数据处理方法、装置、电子设备和存储介质 |
| CN111277885B (zh) * | 2020-03-09 | 2023-01-10 | 北京世纪好未来教育科技有限公司 | 音视频同步方法、装置、服务器和计算机可读存储介质 |
| CN111669645B (zh) * | 2020-06-12 | 2021-09-07 | 腾讯科技（深圳）有限公司 | 视频的播放方法、装置、电子设备及存储介质 |
| CN111741376B (zh) * | 2020-07-31 | 2020-12-01 | 南斗六星系统集成有限公司 | 一种多媒体文件拼接音视频唇音同步的方法 |
| CN112764709B (zh) * | 2021-01-07 | 2021-09-21 | 北京创世云科技股份有限公司 | 一种声卡数据的处理方法、装置及电子设备 |
| CN113784073A (zh) * | 2021-09-28 | 2021-12-10 | 深圳万兴软件有限公司 | 一种录音录像声音和画面同步方法、装置及相关介质 |
-
2008
- 2008-02-22 CN CN200810033822A patent/CN100579238C/zh active Active
Non-Patent Citations (4)
| Title |
|---|
| 实时多媒体通信中的同步控制策略及实现. 石磊等.计算机应用与软件，第11期. 2007 |
| 实时多媒体通信中的同步控制策略及实现. 石磊等.计算机应用与软件，第11期. 2007 * |
| 无线网络多路实时视频流同步机制的研究. 李江华等.现代电子技术，第7期. 2006 |
| 无线网络多路实时视频流同步机制的研究. 李江华等.现代电子技术，第7期. 2006 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101237586A (zh) | 2008-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100579238C (zh) | 音视频缓存同步播放的方法 | |
| CN1941916B (zh) | 用于同步分组数据流的方法和系统 | |
| CN101827271B (zh) | 音频视频同步方法、装置以及数据接收终端 | |
| CN101505316B (zh) | 重排和复用属于互相关会话的多媒体流的包的方法和设备 | |
| US7843974B2 (en) | Audio and video synchronization | |
| CN103414957A (zh) | 一种音视频数据同步的方法和装置 | |
| CN103546662A (zh) | 一种网络监控系统中音视频同步方法 | |
| KR20030078354A (ko) | 디지털 데이터 방송을 위한 동기화 데이터 삽입 장치 및그 방법 | |
| CN101202613B (zh) | 一种用于时钟同步的终端 | |
| CN101179736B (zh) | 一种传输流节目转换成中国移动多媒体广播节目的方法 | |
| EP1762078B1 (en) | Method for transmitting packets in a transmission system | |
| CN109565466A (zh) | 多设备间唇音同步方法及设备 | |
| US20110255556A1 (en) | Method for transport stream synchronizing in a multiplexer comprising an external corpocessor | |
| CN100479529C (zh) | 一种广播网络复用协议的转换方法 | |
| CN103269448A (zh) | 基于rtp/rtcp反馈预警算法实现音视频同步方法 | |
| CN101179738B (zh) | 一种传输流到中国移动多媒体广播复用协议的转换方法 | |
| CN100544448C (zh) | 一种移动多媒体网络的时钟同步系统 | |
| JP5092493B2 (ja) | 受信プログラム、受信装置、通信システム、及び、通信方法 | |
| CN101202918B (zh) | 一种终端校正时钟的方法 | |
| CN101237276A (zh) | 基于移动网的手机电视单频网同步系统及方法 | |
| CN100571119C (zh) | 一种利用移动网络实现时钟同步的方法 | |
| CN101179737B (zh) | 一种多媒体广播网络中复用协议的转换方法 | |
| CN117221294A (zh) | 音频流传输方法和系统 | |
| CN100474923C (zh) | 用于实时流式传输服务的mpeg-4编码模式选择方法 | |
| Wagner et al. | A comparison of transport protocols in IPTV systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 200433 No. 335, National Road, Shanghai Patentee after: Information Technology Co., Ltd. Shanghai Avcon Address before: 200433 No. 335, National Road, Shanghai Patentee before: Shanghai Avcon Information Technology Co., Ltd. |