CN101419827A - 在音频视频交叉文件中进行音频与视频数据同步的方法 - Google Patents

在音频视频交叉文件中进行音频与视频数据同步的方法 Download PDF

Info

Publication number
CN101419827A
CN101419827A CNA200810002427XA CN200810002427A CN101419827A CN 101419827 A CN101419827 A CN 101419827A CN A200810002427X A CNA200810002427X A CN A200810002427XA CN 200810002427 A CN200810002427 A CN 200810002427A CN 101419827 A CN101419827 A CN 101419827A
Authority
CN
China
Prior art keywords
video
audio
clock
frame
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810002427XA
Other languages
English (en)
Other versions
CN101419827B (zh
Inventor
陈民树
林其俊
李纪勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101419827A publication Critical patent/CN101419827A/zh
Application granted granted Critical
Publication of CN101419827B publication Critical patent/CN101419827B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种在音频视频交叉文件中进行音频与视频数据同步的方法。音频视频交叉文件包含有多个音频与视频块，此同步方法包括：依据视频时钟与音频时钟确定主存取单元组的帧速率误差；依据帧速率误差确定主存取单元组演示时间标记；以及用主存取单元组演示时间标记更新音频视频交叉文件，从而利用主存取单元组演示时间标记播放主存取单元组。本发明所提供的同步方法，通过插入或丢弃视频或音频帧的动作，可有效改善帧速率误差，从而保证音频与视频数据的同步。

Description

在音频视频交叉文件中进行音频与视频数据同步的方法
技术领域
本发明是有关于一种音频与视频数据同步的方法，尤其是有关于一种在音频视频交叉文件中进行音频与视频数据同步的方法。
背景技术
音频视频交叉(Audio Video Interleave，以下简称为AVI)是一种基于资源交换文件格式(Resource Interchange File Format，以下简称为RIFF)的文件格式。AVI文件被用于音频-视频序列的捕捉，编辑以及重放，通常包含有多种不同数据类型的串流。这些数据被组织成为交叉的音频-视频块(chunk)，其中可通过块的定时或字节长度获得时间标记(timestamp)。
一般而言，AVI系统可以通过以下三种来源获得时间信息：实时时钟(Real Time Clock，RTC)，视频同步时钟(Video-sync，V_sync)以及系统时钟(System Time Clock，STC)。视频编码器使用视频同步时钟对视频帧进行编码，而音频编码器使用系统时钟对音频帧进行编码。音频与视频编码器都使用系统时钟来确定数据的演示时间标记(Presentation TimeStamp，PTS)值。
实际操作中，三种时钟的定时经常存在差异。请参照图1，图1是包含有系统时钟(RTC)、视频时钟(源V-sync)以及音频时钟(编码器STC)的AVI系统的示意图，其中音频时钟有误差。图中显示四个定时点，在第一个定时点，系统时钟与视频时钟处于同步状态，而音频时钟有轻微误差。在第四个定时点，音频时钟的累积误差变大。
如图1所示，在一定时间段后，音频与视频数据将失去同步。当误差变大，如音频数据滞后或超前于视频数据一个或多个帧时，同步误差将值得使用者注意。显然，这种状态是不合需求的。
发明内容
有鉴于此，本发明的目的之一在于提供一种解决此同步问题的方法。
本发明提供一种在音频视频交叉(Audio Video Interleave，以下简称为AVI)文件中进行音频与视频数据同步的方法，其中AVI文件包含多个音频与视频块(chunk)。此方法包含有：依据视频时钟与音频时钟确定主存取单元组(Group of Main Access Units，以下简称为GMAU)的帧速率误差；依据帧速率误差确定GMAU演示时间标记(Presentation Time Stamp，以下简称为PTS)；以及用GMAU PTS更新AVI文件，从而利用GMAU PTS播放GMAU。
本发明提供第二种同步方法，此方法包含有：依据视频时钟与音频时钟确定帧速率误差；将帧速率误差与帧周期作比较，以获得比较结果；以及依据比较结果选择性插入或丢弃至少一个视频帧。
本发明还提供另一种同步方法，此方法包含有：依据视频时钟与音频时钟确定帧速率误差；将帧速率误差与帧周期作比较，以获得比较结果；以及依据比较结果选择性插入或丢弃至少一个音频帧。
依据本发明的同步方法，通过插入或丢弃视频或音频帧的动作，可有效改善帧速率误差，从而保证音频与视频数据的同步。
附图说明
图1是显示AVI系统中时钟定时失谐的示意图。
图2是依据本发明第一实施例的方法详细步骤的流程图。
图3是依据本发明第二实施例的方法详细步骤的流程图。
具体实施方式
阅读了以下对附图所示的优选实施例的详细描述之后，本发明对于所属领域的技术人员而言将显而易见。
记录器(recorder)的多路复用器(muxer)对经由编码器编码的音频与视频块(chunk)进行多路传输而产生音频视频交叉(Audio VideoInterleave，以下简称为AVI)文件。由于音频与视频块是基于不同的时钟来源分别产生的，所以重放时视频与音频可能会失去同步。本发明提供了几种确保重放期间音频与视频同步的方法。在某些实施例中，多路复用器将音频与视频的时间信息进行比较，以获得帧速率误差(frame rate error)，然后AVI比特串流被调整为与帧速率误差一致，以保证音频与视频同步。在其它实施例中，时间标记(time stamp)附加于AVI文件，并且可依据帧速率误差调整。
举例来说，如果系统假定视频时钟(例如V-sync)精确，则音频数据或对应于音频重放的时间将依据视频时钟来调整。另一方面，如果系统假定音频时钟(例如STC)精确，则视频数据或对应于视频重放的时间将依据音频时钟来调整。系统亦可选择调整音频或视频数据，或者选择调整音频或视频重放时间。举例来说，如果视频或音频数据被依据帧速率误差调整，则系统可决定调整具有较快时钟速率者，以避免丢弃数据。以下举例说明在AVI文件中校正音频与视频数据时钟差异的方法的实施例。
在典型AVI系统中，视频与音频编码器产生视频与音频块，通常一个视频块为一个视频帧，而一个音频块包含一个或一个以上的音频帧。音频与视频块通过多路复用器进行多路传输，然后被传送到编写模块。对应于视频块的视频时钟可依据编码帧的数目与周期获得，其中，编码帧的数目由侦测到的V-sync波形的数目确定。音频时钟依据STC获得。理想状况下，视频时钟与音频时钟应在每一个数据区段对准，因此对每一个数据区段而言，音频重放与视频重放的开启时间均相同。然而，由于音频与视频数据可能失去同步，所以音频可能超前或滞后于对应的视频。数据区段可以是一个或一组帧。
在一实施例中，帧速率误差通过比较音频与视频时钟而获得。并且如果帧速率误差大于一个音频帧，举例来说，音频重放的时间滞后于对应的视频重放一个帧长度，如8个音频数据帧与9个视频数据帧被多路传输，多路复用器会特别告知编写模块，9个音频数据帧已被多路传输。最初误差并不会如此严重，但是误差将随时间累积。当帧速率误差等于或大于一个帧周期时，比特串流的内容将被调整，以保证重放期间音频与视频同步。如果音频时钟滞后于视频时钟，多路复用器可插入一个音频帧或丢弃一个视频帧；如果音频时钟超前于视频时钟，多路复用器可插入一个视频帧或丢弃一个音频帧。帧插入动作通常通过重复视频或音频帧来实现。
在某些实施例中，系统首先定义由交叉存取的音频与视频块构成的主存取单元(Main Access Unit，以下简称为MAU)，举例来说，一个MAU载有0.5秒的数据。多个连续的MAU组成主存取单元组(Group of Main AccessUnits，以下简称为GMAU)，举例来说，由大约5分钟的数据组成。GMAU时间标记定义为GMAU音频与视频演示时间标记(GMAU Presentation TimeStamp，以下简称为GMAU PTS)并且插入至AVI文件的自定义块。GMAU时间标记可用于校正音频与视频时钟差异。系统是对完整的GMAU累积同步误差，而不是立即校正同步误差。举例来说，如前所述，如果整体累积误差对应于一个音频帧周期，编写模块将注意到一个额外的音频数据帧被多路传输。因此，观测到的多路传输的音频帧的数目等于音频帧的实际数目+1。一旦多路传输的音频帧的数目经由系统计算出来，即可计算出新的GMAU PTS并且更新至当前GMAU，因此当GMAU中的数据显示时，视频与音频数据将依据新的GMAU PTS而显示。
为了使第一实施例的描述更清楚，请参照图2，图2是此同步方法的详细步骤的流程图，方法包含以下步骤：
步骤200：多路传输主存取单元组的多个音频与视频块；
步骤202：确定主存取单元组的时钟源的累积误差；
步骤204：利用累积误差确定新的GMAU PTS；
步骤206：用新的GMAU PTS更新当前主存取单元组。
在本发明某些其它实施例中，视频时钟作为参考时钟，但是观测到的音频帧的数目与音频帧的实际数目的确定是作为插入或丢弃视频帧以达到同步的依据。
如先前实施例中所述，音频与视频数据被多路传输，并且视频时钟被作为参考时钟，以确定帧速率误差。当误差被转换为对应的帧数目时，AVI系统接着将会确定插入或丢弃多个视频帧，其中插入或丢弃的视频帧的数目直接与帧速率误差相对应。换言之，如果花费9个帧的时间来播放8个帧的音频数据，系统将插入一个额外的视频帧至AVI文件，以达到音频视频的同步。相似地，如果花费7个帧的时间来播放8个帧的音频数据，系统将从AVI文件中丢弃一个视频帧。
为了使本实施例的描述更清楚，请参照图3，图3是依据本实施例的方法详细步骤的流程图。方法包含以下步骤：
步骤300：多路传输多个音频与视频块以生成AVI文件；
步骤302：依据音频与视频时钟确定累积误差；
步骤304：利用累积误差来确定插入到当前AVI文件或从当前AVI文件丢弃的视频帧的数目。
通过将视频时钟作为参考时钟，仅需校正音频数据即可。
所属技术领域的技术人员当可对本发明的方法与装置作出更动与润饰，在不脱离本发明的精神与范围内所作均等变化与修饰，皆应属本发明的涵盖范围。

Claims (13)

1.一种在音频视频交叉文件中进行音频与视频数据同步的方法，其中该音频视频交叉文件包含有多个音频与视频块，在该多个音频与视频块中，该音频视频交叉文件被分组为至少一个主存取单元组，该方法包含有：
依据视频时钟与音频时钟确定该主存取单元组的帧速率误差；
依据该帧速率误差确定主存取单元组演示时间标记；以及
用该主存取单元组演示时间标记更新该主存取单元组，从而利用该主存取单元组演示时间标记播放该主存取单元组。
2.如权利要求1所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，还包括：
多路传输该主存取单元组的该音频与视频数据。
3.如权利要求1所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该视频时钟是从多个视频帧的视频同步时钟中获得的；该音频时钟是由系统时钟获得的。
4.如权利要求1所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该主存取单元组的长度由该音频时钟与该视频时钟之间的时钟速率差异定义。
5.如权利要求1所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该主存取单元组演示时间标记被记录在该音频视频交叉文件的专用块。
6.一种在音频视频交叉文件中进行音频与视频数据同步的方法，该音频视频交叉文件包含有多个音频与视频块，该方法包含有：
依据视频时钟与音频时钟确定帧速率误差；
将该帧速率误差与帧周期进行比较，以获得比较结果；以及
依据该比较结果选择性插入或丢弃至少一个视频帧。
7.如权利要求6所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，还包括：
多路传输该音频与视频数据；
其中将该帧速率误差与该帧周期进行比较的步骤包含有：当该帧速率误差等于或大于该帧周期时，确定所要插入或丢弃的多个视频帧的数目；以及当该帧速率误差小于该帧周期时，累积该帧速率误差至后续主存取单元组。
8.如权利要求6所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该选择性插入至少一个视频帧的步骤包含重复至少一个视频帧。
9.如权利要求6所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该视频时钟是从多个视频帧的视频同步时钟中获得的；该音频时钟是由系统时钟获得的。
10.一种在音频视频交叉文件中进行音频与视频数据同步的方法，该音频视频交叉文件包含有多个音频与视频块，该方法包含有：
依据视频时钟与音频时钟确定帧速率误差；
将该帧速率误差与帧周期进行比较，以获得比较结果；以及
依据该比较结果选择性插入或丢弃至少一个音频帧。
11.如权利要求10所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，还包括：
多路传输该音频与视频数据；
其中将该帧速率误差与该帧周期进行比较的步骤包含有：当该帧速率误差等于或大于该帧周期时，确定所要插入或丢弃的多个音频帧的数目；以及当该帧速率误差小于该帧周期时，累积该帧速率误差至后续主存取单元组。
12.如权利要求10所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该选择性插入至少一个音频帧的步骤包含重复至少一个音频帧。
13.如权利要求10所述的在音频视频交叉文件中进行音频与视频数据同步的方法，其特征在于，该视频时钟是从多个视频帧的视频同步时钟中获得的；该音频时钟是由系统时钟获得的。
CN200810002427XA 2007-10-22 2008-01-07 在音频视频交叉文件中进行音频与视频数据同步的方法 Expired - Fee Related CN101419827B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/875,954 US20090103897A1 (en) 2007-10-22 2007-10-22 Method for synchronzing audio and video data in avi file
US11/875,954 2007-10-22

Publications (2)

Publication Number Publication Date
CN101419827A true CN101419827A (zh) 2009-04-29
CN101419827B CN101419827B (zh) 2011-04-20

Family

ID=40563593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810002427XA Expired - Fee Related CN101419827B (zh) 2007-10-22 2008-01-07 在音频视频交叉文件中进行音频与视频数据同步的方法

Country Status (3)

Country Link
US (1) US20090103897A1 (zh)
CN (1) CN101419827B (zh)
TW (1) TW200920144A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547299A (zh) * 2010-12-30 2012-07-04 福建星网视易信息系统有限公司 基于mpeg-2视频流的音视频同步控制方法
CN103891303A (zh) * 2011-08-16 2014-06-25 黛斯悌尼软件产品有限公司 基于脚本的视频呈现
CN109218794A (zh) * 2017-06-30 2019-01-15 全球能源互联网研究院 远程作业指导方法及系统
CN109874037A (zh) * 2019-01-17 2019-06-11 北京文香信息技术有限公司 一种多路音视频播放方法、装置、存储介质、及终端设备

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8230125B2 (en) * 2007-10-30 2012-07-24 Mediatek Inc. Methods for reserving index memory space in AVI recording apparatus
US9113132B2 (en) * 2009-07-13 2015-08-18 Genesys Telecommunications Laboratories, Inc. System and methods for recording a compressed video and audio stream
CN106131374B (zh) * 2016-06-29 2019-07-19 上海未来伙伴机器人有限公司 一种机器人文件使用、存储方法及系统
DE102017123319A1 (de) * 2017-10-09 2019-04-11 Sennheiser Electronic Gmbh & Co. Kg Verfahren und System zur Erfassung und Synchronisation von Audio- und Videosignalen und Audio/Video-Erfassungs- und Synchronisationssystem
WO2021021133A1 (en) * 2019-07-30 2021-02-04 Hewlett-Packard Development Company, L.P. Video playback error identification based on execution times of driver functions
WO2022139894A1 (en) * 2020-12-21 2022-06-30 Arris Enterprises Llc Providing synchronization for video conference audio and video
CN114490671B (zh) * 2022-03-31 2022-07-29 北京华建云鼎科技股份公司 一种客户端同屏的数据同步系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
JP4071464B2 (ja) * 2001-07-17 2008-04-02 株式会社東芝 音声クロック復元装置及び音声クロック復元方法
TW535442B (en) * 2001-12-13 2003-06-01 Winbond Electronics Corp Method and system for measuring the synchronous accuracy between video output and audio output of video encoding system
JP2005051631A (ja) * 2003-07-30 2005-02-24 Sony Corp プログラム、データ処理方法およびその装置
CN100551087C (zh) * 2004-11-30 2009-10-14 南京Lg新港显示有限公司 数字电视接收机的声像同步测试方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547299A (zh) * 2010-12-30 2012-07-04 福建星网视易信息系统有限公司 基于mpeg-2视频流的音视频同步控制方法
CN103891303A (zh) * 2011-08-16 2014-06-25 黛斯悌尼软件产品有限公司 基于脚本的视频呈现
US9571886B2 (en) 2011-08-16 2017-02-14 Destiny Software Productions Inc. Script-based video rendering
CN103891303B (zh) * 2011-08-16 2018-03-09 黛斯悌尼软件产品有限公司 基于脚本的视频呈现
US10645405B2 (en) 2011-08-16 2020-05-05 Destiny Software Productions Inc. Script-based video rendering
CN109218794A (zh) * 2017-06-30 2019-01-15 全球能源互联网研究院 远程作业指导方法及系统
CN109874037A (zh) * 2019-01-17 2019-06-11 北京文香信息技术有限公司 一种多路音视频播放方法、装置、存储介质、及终端设备

Also Published As

Publication number Publication date
US20090103897A1 (en) 2009-04-23
TW200920144A (en) 2009-05-01
CN101419827B (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
CN101419827B (zh) 在音频视频交叉文件中进行音频与视频数据同步的方法
JP4700762B2 (ja) メディアサンプルを処理する方法
EP0716547B1 (en) Audio/video synchronizer
US8285106B2 (en) Information processing apparatus
KR100308704B1 (ko) 다중화 데이터 생성 장치, 부호화 데이터 재생 장치, 클럭 변환 장치, 다중화 데이터 생성 방법, 부호화 데이터 재생 방법 및 클럭 변환 방법
JP3666625B2 (ja) データ記録方法およびデータ記録装置
CN1723703B (zh) 数据处理装置及方法
JPH11513222A (ja) 多重ビデオ対象画の表示時間スタンピング方法と同期化方法
JP2001358685A (ja) 同期装置および同期方法
KR100482287B1 (ko) 디지털 데이터 방송을 위한 동기화 스트림 데이터 삽입장치 및 그 방법
CN101848396B (zh) 传输流音视频同步及防抖动方法
CN109218795A (zh) 一种多设备播放进度同步方法、装置及终端设备
CA2292425C (en) Video and audio signal processing
CN101106724A (zh) 将视频数据及音频数据同步的方法及系统
CN101076120B (zh) 维持音频/视频同步的健壮系统
JPH11275524A (ja) データ記録方法、データ再生方法、データ記録装置およびデータ再生装置
CN103581730A (zh) 在数字机顶盒上实现音视频同步的方法
JP2002125203A (ja) メディア符号器及びメディア復号器
US8855212B2 (en) System and method for AV synchronization of encoder data
US7903774B2 (en) Method for creating a system clock in a receiver device and corresponding receiver device
KR100336501B1 (ko) 엠펙-1 멀티미디어 스트림에의 텍스트 자료 동기화 방법과 이를 지원하는 엠펙-1 디코더
JP3769457B2 (ja) ローカル時刻符号化方法
JP2004320787A (ja) 連続メディア切り出し装置
JP2001359059A (ja) プログラム多重化システム
JP3401505B2 (ja) Ｖｏｐの時刻符号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110420

Termination date: 20160107