CN100367313C - 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法 - Google Patents

应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法 Download PDF

Info

Publication number
CN100367313C
CN100367313C CNB2003801013225A CN200380101322A CN100367313C CN 100367313 C CN100367313 C CN 100367313C CN B2003801013225 A CNB2003801013225 A CN B2003801013225A CN 200380101322 A CN200380101322 A CN 200380101322A CN 100367313 C CN100367313 C CN 100367313C
Authority
CN
China
Prior art keywords
level
initial
init
midtread
mid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801013225A
Other languages
English (en)
Other versions
CN1703723A (zh
Inventor
德文·马修·约翰逊
菲利普·亚伦·云克斯费尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1703723A publication Critical patent/CN1703723A/zh
Application granted granted Critical
Publication of CN100367313C publication Critical patent/CN100367313C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/44—Colour synchronisation
    • H04N9/475—Colour synchronisation for mutually locking different synchronisation sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0736—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations using digital storage buffer techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

所公开的实施例涉及一种用于保持利用被锁定的时钟来处理的视频信号(29)和音频信号(31)之间的同步的系统(23)和方法(400)。所述系统(23)可以包括：组件(34)，用于确定缓冲器的至少一个初始水平；组件(34)，用于确定缓冲器的至少一个当前水平；以及组件(34)，用于通过将缓冲器的至少一个初始水平与缓冲器的至少一个当前水平进行比较来确定漂移量，以及如果漂移量达到阈值水平，则调整时钟以保持缓冲器的初始中点水平。

Description

应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
优先权声明
本申请要求2002年11月7日递交的、题为“A METHOD AND SYSTEMFOR DETERMINING LIP SYNCH BETWEEN AUDIO AND VIDEO IN A DIGITIZEDENVIRONMENT USING BUFFER CALCULATION”的美国临时申请No.60/424,451的优先权，在此将其一并作为参考。
技术领域
本发明涉及在音频/视频信号接收器中保持音频和视频信号之间的同步的领域。
背景技术
这一部分用于向读者介绍可能与稍后进行描述和/或要求保护的本发明的多个方面相关的多种现有技术。此讨论对于向读者提供背景信息是有利的，有助于更好地理解本发明的多个方面。因此，应当理解，这些陈述只是就事而论，并不表示对现有技术的认可。
已经设计了可以包括在如电视等显示设备中的一些音频/视频接收器模块，具有与视频输出数字到模拟(D/A)时钟锁定的音频输出D/A时钟。这意味着不能单独地控制音频时钟和视频时钟。单一的控制系统可以将两个时钟的速率可变地改变相等的百分比。在一些这样的系统中，时钟恢复系统可以使视频(D/A)时钟与视频源模拟到数字(A/D)时钟相匹配。于是，可以假设音频输出D/A时钟与音频源A/D时钟相匹配。这种假设依赖于假设了广播公司在产生源音频和视频时类似地锁定其音频和视频时钟的事实。
尽管高级电视系统委员会(ATSC)规范要求广播公司将其视频源A/D时钟与其音频源A/D时钟锁定，但还是存在未锁定这些时钟的情况。广播公司未能将所发射的音频源材料的时钟与所发射的视频源材料的时钟锁定可能会导致应当发生音频呈现的时间与实际呈现音频的时间之间的时延。可以被称为声像吻合误差的这种误差可能会引起由音频/视频显示设备所发出的声音不与其所显示的图像相匹配。这种效应会使大多数观众感到烦恼。
当通过对视频输出速率和视频输入速率进行匹配来驱动音频/视频时钟恢复时，补偿声像吻合误差的惟一方式是对音频输出进行时间操作。因为音频是连续的时间呈现，难以对音频输出进行时间操作而不造成一些可听失真、静音或跳跃。这些不想要的可听干扰的频率依赖于广播台的相对未锁定音频和视频时钟之间的频率差。已经对ATSC源进行了观察，每2～3分钟对音频进行静音。对音频信号的周期性静音可能会产生不需要的结果给电视观众。
一种保持数字化音频和视频之间的声像同步的方法可以包括对音频和视频缓冲器进行特定的测量，并解译此信息，以确定声像吻合的时间偏移。但是，在成流应用(streaming application)中，由于数据流(例如，视频和音频数据流)和接收缓冲器的特性，难以得知缓冲器的精确缓冲水平。不能容易地读取缓冲水平，因为其总是在变化。换句话说，只是在给定的时间点读取缓冲水平不能确保准确性，因为缓冲水平可能随时间持续变化。
一种确定缓冲器的操作点的解决方案在于随时间计算缓冲水平的平均数。但是，如果所观察的时间窗包括部分缓冲器填充或泄漏，或者如果由于诸如先前的中途填充等而中断回放，对缓冲水平进行平均可能导致扭曲的结果。
发明内容
所公开的实施例涉及一种用于保持利用被锁定的时钟来处理的视频信号和音频信号之间的同步的系统和方法。所述系统可以包括：用于确定缓冲器的至少一个初始水平的组件；用于确定缓冲器的至少一个当前水平的组件；以及漂移量确定组件，用于通过将缓冲器的至少一个初始水平与缓冲器的至少一个当前水平进行比较来确定漂移量，以及如果漂移量达到阈值水平，则调整时钟以保持缓冲器的初始中点水平。
附图说明
在附图中：
图1是可以应用本发明的典型系统的方框图；
图2是与可以应用在本发明的实施例中的缓冲控制表相对应的图示；
图3是存储在缓冲器中的数据量(即，缓冲水平)随时间的变化的图示；
图4是如何根据本发明来监视和调整缓冲水平的图示；以及
图5是示出了根据本发明实施例的处理的处理流程图。
具体实施方式
下面，将对本发明的一个或多个特定实施例进行描述。为了提供对这些实施例的简明描述，在说明书中并未描述实际实现的所有特征。应当清楚的是，在开发任何这种实际实现时，如在任何工程或设计项目中那样，可以会做出大量的实现专有决定，以实现开发者的特定目的，如为了符合系统相关和商业相关的约束，这些可能会由于实现而彼此不同。此外，应当清楚的是，这种开发努力可能是复杂的且耗时的，但对于受到本公开效益的本领域普通技术人员而言，这些都是设计、生产和制造的日常工作。
本发明允许音频/视频接收器(例如，数字电视，包括HDTV)在未锁定源音频时钟和源视频时钟而锁定了数字TV音频和视频时钟时同步地展示音频和视频。此外，本发明对于以数字源的未锁定音频和视频时钟来保持声像吻合是有用的，例如，运动图像专家组(MPEG)源。本发明的实施例可以涉及一种应用缓冲计算在数字化视频和音频环境中确定音频和视频之间的相关声像吻合的系统和方法。可以通过对音频和视频缓冲器进行特定的测量并解译此信息以确定声像吻合的时间偏移来改善数字化音频和视频之间的声像吻合。
图1是可以应用本发明的典型系统的方框图。通常以参考数字10表示此系统。本领域的普通技术人员应当清楚，图1所示的组件只是为了说明的目的。可以利用额外的元件或图1所示的组件的子集来实现具体实现了本发明的系统。此外，可以将图1所示的功能块组合在一起，或进一步分隔为更小的功能单元。
广播公司站点包括视频A/D转换器12和音频A/D转换器14，分别用于在发射之前处理视频信号和相应的音频信号。通过分立的时钟信号来操作视频A/D转换器12和音频A/D转换器14。如图1所示，不必锁定视频A/D转换器12和音频A/D转换器14的时钟。视频A/D转换器12可以包括应用了离散余弦变换的运动补偿预测编码器。将视频信号传递到视频压缩器/编码器16，而将音频信号传递到音频压缩器/编码器18。可以根据一些信号协议，如MPEG等，与其他辅助数据一起排列压缩视频信号。
将视频压缩器/编码器16和音频压缩器/编码器18的输出传递到音频/视频复用器20。音频/视频复用器20将音频和视频信号组合成用于向音频/视频接收单元传输的单一信号。如本领域普通技术人员所清楚的那样，音频/视频复用器20可以采用如时分复用等策略来组合音频和视频信号。将音频/视频复用器20的输出传递到发射机构22，由其对信号进行放大和广播。
可以包括数字电视机在内的音频/视频接收器23适合于从广播公司站点接收发射过来的音频/视频信号。由接收机构24接收信号，并将所接收到的信号传递到音频/视频解复用器26。音频/视频解复用器26将所接收到的信号解复用为视频和音频分量。将解复用后的视频信号29传递到视频解压缩器/解码器28，以便进行进一步的处理。将解复用后的音频信号31传递到音频解压缩器/解码器30，以便进行进一步的处理。
将视频解压缩器/解码器28的输出传递到视频D/A转换器32，而将音频解压缩器/解码器30的输出传递到音频D/A转换器34。如图1所示，一直锁定视频D/A转换器32和音频D/A转换器34的时钟。将视频D/A转换器32和音频D/A转换器34的输出用于分别创建视频图像和相应的音频输出，以便娱乐观众。
即使图1所示的典型系统中的硬件不允许对音频和视频呈现进行单独控制，利用本发明的实施例，仍然能够确定是否需要这种控制。根据本发明的实施例，通过观察所接收到的音频缓冲器的水平来测量与所接收到的音频和视频信号相关联的相对传送定时。已经发现音频缓冲器的水平是对声像吻合误差较为精确的测量。
如果最初正确地同步音频和视频信号，则在回放期间，应当以相同的速率消耗所接收到的视频数据和音频数据。在这种情况下，保存音频信息的缓冲器应当保持在几乎相同的尺寸，而不会随时间而增长。如果音频缓冲器增长或收缩超过典型的稳定范围，则表示可能危及到正确的声像吻合。例如，如果音频缓冲器随时间增长超过典型的范围，则表示视频信号可能超前音频信号。如果音频缓冲器收缩到其典型范围以下，则表示视频信号可能滞后音频信号。当随着时间确定声像吻合误差在零附近时(即，音频缓冲器随时间保持相对恒定的尺寸)，则可以认为音频A/D源时钟与视频A/D源时钟锁定。如果声像误差随时间增长，则音频A/D与视频A/D源时钟未必被锁定，并可能需要校正。
本领域的普通技术人员应当清楚的是，可以用软件、硬件或其组合来实现本发明的实施例。此外，可以将本发明的组成部件设置在视频解压缩器/解码器28、音频解压缩器/解码器30、视频D/A转换器32和/或音频D/A转换器34或其任意组合中。此外，可以将本发明的构成组件或功能方案设置在图1未示出的其他器件中。
当新音频/视频展示开始时，通常在改变频道期间，本发明的实施例可以将初始音频D/A输入缓冲水平存储在存储器中。可以将此数据存储在视频D/A转换器、音频D/A转换器34中或其外部。
如果当广播公司发射信号时音频源时钟与视频源锁定，则缓冲水平应当随时间保持相对恒定。如果缓冲水平漂移，并且漂移对应于大体上超过+/-10ms的声像吻合误差，则可以禁用正常的时钟恢复控制，并可以按照使音频缓冲水平返回其初始水平的方向移动视频D/A转换器32和音频D/A转换器34的锁定时钟。
在此处理使音频缓冲器返回其初始水平的同时，还测量视频偏离其原始位置的程度。当视频大体上偏离+/-25ms时，则可以重复此处理(例如，通过重新初始化对初始音频输入缓冲水平的测量)或丢弃视频帧(例如，接收到的视频的MPEG帧)，以消除测量到的位移。
此处理在使音频输出与音频源锁定且跳过或重复视频帧以消除任何视频漂移的模式下继续进行，直到检测到另一频道改变为止。在新频道改变之后，本发明可以停止对声像吻合误差的校正，允许系统返回到使视频输出与视频输入锁定的传统方法，直到检测到新的声像吻合误差为止。
用于根据初始音频输出D/A输入缓冲水平和实际音频输出D/A输入缓冲水平来控制锁定音频和视频输出时钟的算法对于稳定的性能尤为重要。优选地，具有以下响应：当其远离目标值时，快速回转缓冲水平，当其相对较远时，快速移向目标值，以及当其靠近所需位置时，减速。例如，这可以通过创建使时钟频率变化与变化的相对位置和速率相关的两个控制表来实现。
表1使时钟频率变化与变化的相对速率相关：
  频率变化(Hz)   变化的相对速率(字节)
  -430   v＜-2000
  -354   -2000＜v＜-1800
  -286   -1800＜v＜-1600
  -226   -1600＜v＜-1400
  -174   -1400＜v＜-1200
  -130   -1200＜v＜-1000
  -94   -1000＜v＜-800
  -62   -800＜v＜-600
  -46   -600＜v＜-400
  -34   -400＜v＜-200
  0   -200＜v＜200
  34   200＜v＜400
  46   400＜v＜600
  62   600＜v＜800
  94   800＜v＜1000
  130   1000＜v＜1200
  174   1200＜v＜1400
  226   1400＜v＜1600
  286   1600＜v＜1800
  354   1800＜v＜2000
  430   2000＜v
表1
表2使时钟频率变化与相对距离相关：
  频率变化(Hz)   相对距离(字节)
  -100   x＜-4000
  -90   -4000＜x＜-3600
  -80   -3600＜x＜-3200
  -70   -3200＜x＜-2800
  -60   -2800＜x＜-2400
  -50   -2400＜x＜-2000
  -40   -2000＜x＜-1600
  -30   -1600＜x＜-1200
  -20   -1200＜x＜-800
  -10   -800＜x＜-400
  0   -400＜x＜400
  10   400＜x＜800
  20   800＜x＜1200
  30   1200＜x＜1600
  40   1600＜x＜2000
  50   2000＜x＜2400
  60   2400＜x＜2800
  70   2800＜x＜3200
  80   3200＜x＜3600
  90   3600＜x＜4000
  100   4000＜x
表2
本领域普通技术人员应当清楚的是，表1和表2所示的数值只是示例性的，不应当被解释为对本发明的限制。由于缓冲水平具有由于音频解码而导致的不规则输入速率和由于D/A输出时钟而引起的非常规则的输出速率，缓冲水平将具有一些不稳定的抖动。为了消除这类抖动，对缓冲水平进行估计，以使其位于30秒时间段内最大缓冲器读取和最小缓冲器读取之间的中间点。可以周期性地计算此中间点(例如，每30秒)，并可以随时间给出对音频源A/D时钟频率和音频输出D/A时钟频率之间的差值的良好读取。
现在，参照图2，示出了以图形形式示出了缓冲器控制表(以上所讨论的)的曲线图。通常以参考数字100表示该曲线图。图2中示出了距离函数102和变化速率函数104。曲线图100的y轴对应于相对频率变化，以赫兹为单位。曲线图100的x轴对应于距离函数102的相对缓冲器距离，以字节为单位；以及变化速率函数104的相对缓冲器变化速率，以字节为单位。本领域普通技术人员应当清楚的是，曲线图100所示的数值是示例性的，不应当被理解为对本发明的限制。
曲线图100示出了当缓冲水平远离初始位置且变化速率处于错误方向时，本发明的实施例将如何使频率补偿在正确的方向上相对较大。此较大的频率补偿将一直持续，直到变化速率转变且缓冲水平沿正确方向移动为止。此时，速度分量将开始作用抵消位置分量。但是，只要位置分量大于变化速率分量，则推动频率向目标值增加变化速率，并且距离将减小。一旦变化速率分量变得大于距离分量，则变化速率将开始减小。此动作将用于在距离分量接近所需的初始缓冲水平时平滑地制动变化速率。
本发明的实施例可以通过建立初始缓冲水平、监视缓冲器前沿的漂移、并对系统进行调整以减小漂移来确定声像吻合漂移。应当注意，监视和对系统进行调整的步骤优选地一直持续，直到已经校正声像吻合漂移为止。
必须建立缓冲器的初始操作水平，以确定声像吻合校正的起始点。应当将起始点确定为声像吻合最为精确的水平。因此，之后可以将起始点用作缓冲计算的目标值。将参照图3，对根据本发明实施例的缓冲器的操作进行概括的解释。
图3是存储在缓冲器中的数据量(即，缓冲水平)随时间的变化的图示。通常以参考数字200表示该曲线图。轨迹202示出了存储在接收缓冲器中的数据量。为了示例的目的，轨迹202表示存储在音频接收缓冲器中的数据量。在曲线图200中示出了最小操作水平204和最大操作水平206。如果存储在缓冲器中的数据量低于最小操作水平204，缓冲器处于其中的回放设备可能会有用尽回放数据的危险。如果缓冲器中的数据量超过最大操作水平206，缓冲器可能会溢出，而丢失回放数据。可以预先确定最小操作水平204和最大操作水平206，或者可以通过在使用时测量缓冲器的操作特性来确定。
曲线图200示出了缓冲水平如何初始以零开始并突然增加，直到确定数据可以开始输出(例如，回放给用户)。曲线图中的斜线表示通过以恒定的速率输出其数据而消耗缓冲器的位置。数据突发随着时间以恒定的速率发生，但突发簇也可能发生。突发簇可能影响整体缓冲水平。在相对较短的时间段内，可以确定最小和最大操作水平，因为典型地，存储在缓冲器中的数据量相对较快地位于最小和最大水平之间(例如，在大约30秒内)。因此，通过监视最大操作水平和最小操作水平一段时间(例如，30秒)，可以快速地建立精确声像吻合目标值范围。
随着时间的过去，如果未锁定针对数据流的视频和音频分量的源和宿时钟，缓冲器前沿的漂移可能发生。例如，如果宿时钟快于源时钟，缓冲器最终将耗尽。
图4是如何根据本发明来监视和调整缓冲水平的图示。通常以参考数字300表示该曲线图。计算在图4所示的示例中标为Init Min、Init Max和Init Mid的初始缓冲水平，以建立声像吻合良好的目标值。在图4所示的示例中，宿时钟比源时钟快。结果，当前缓冲水平缓慢地消耗。将当前缓冲值标识为Cur Min、Cur Max和Cur Mid。前沿(Cur Min)是此阶段的重要测量，因为可以利用其通过以下等式计算操作中点(Cur Mid)的位置：
Init Mid＝(Init Max+Init Min)/2
操作中点＝Cur Mid＝Cur Min+Init Mid-Init Min
在定位操作中点之后，下一步是对系统进行调整，直到操作中点(Cur Mid)等于Init Mid。在其中正在消耗缓冲水平的图4所示的示例中，可以如上所述地减缓控制存储在缓冲器中的数据的消耗的时钟信号，从而降低消耗的速率。
在调整了控制缓冲器的时钟速率时，继续检测Cur Max、Cur Min的新数值，并继续计算Cur Mid的新数值。在图4所示的示例中，因为正在消耗缓冲器，Cur Min的连续测量值将持续减小。在缓冲器消耗的情况下，当采取校正动作时，可以复位Cur Max的值。这允许重新计算Cur Max变量，将有助于确定校正方向上的校正动作是否正在发生。
此外，可以监视Cur Max和Cur Min变量的变化，以确定校正努力的效果是将Cur Mid引向Init Mid。如果缓冲器正在消耗，可以通过监视Cur Min减小了多少或Cur Max增加了多少来进行是否还需要进行更多调整的确定。按照这种方式，能够监视Cur Mid位置和向InitMid收敛的速度或速率。
图5是示出了根据本发明实施例的处理的处理流程图。通常以参考数字400表示该处理。在块402处，处理开始。
在块404处，确定初始音频输入缓冲水平。初始缓冲水平可以包括初始最小操作水平(Init Min)、初始最大操作水平(Init Max)和初始中点水平(Init Mid)。随着时间的过去，监视当前缓冲水平，如块405所示。当前缓冲水平可以包括当前最小操作水平(Cur Min)、当前最大操作水平(Cur Max)和当前中点水平(Cur Mid)。随着时间的过去，确定初始音频输入缓冲水平的漂移量，如块406所示。如果漂移超过阈值(块208)，则沿保持初始缓冲水平的方向调整视频D/A转换器32(图1)和音频D/A转换器34的锁定时钟(块410)。在块412，处理结束。
尽管可以对本发明进行多种修改和替代形式，在附图中作为示例已经示出了特定的实施例，并对其进行了详细描述。但是，应当理解的是，并不倾向于将本发明局限于所公开的特定形式。相反，本发明覆盖了落入由所附权利要求所限定的本发明的精神和范围内的全部修改、等价物和替代方案。

Claims (20)

1.一种用于保持视频信号(29)和音频信号(31)之间的同步的系统(23)，利用被锁定的时钟来处理视频信号(29)和音频信号(31)，所述系统(23)包括：
用于确定缓冲器的至少一个初始水平的组件；
用于确定缓冲器的至少一个当前水平的组件；以及
漂移量确定组件，用于通过将缓冲器的至少一个初始水平与缓冲器的至少一个当前水平进行比较来确定漂移量，以及如果漂移量达到阈值水平，则调整时钟以保持缓冲器的初始中点水平。
2.根据权利要求1所述的系统(23)，其特征在于缓冲器的至少一个初始水平包括初始中点水平(Init Mid)。
3.根据权利要求1所述的系统(23)，其特征在于缓冲器的至少一个初始水平包括初始最小操作水平(Init Min)、初始最大操作水平(Init Max)和初始中点水平(Init Mid)。
4.根据权利要求3所述的系统(23)，其特征在于根据以下公式计算初始中点水平(Init Mid)：
初始中点水平(Init Mid)＝(初始最大操作水平(Init Max)+初始最小操作水平(Init Min))/2。
5.根据权利要求1所述的系统(23)，其特征在于缓冲器的至少一个当前水平包括当前中点水平(Cur Mid)。
6.根据权利要求3所述的系统(23)，其特征在于缓冲器的至少一个当前水平包括当前最小操作水平(Cur Min)、当前最大操作水平(Cur Max)和当前中点水平(Cur Mid)。
7.根据权利要求6所述的系统(23)，其特征在于根据以下公式计算当前中点水平(Cur Mid)：
操作中点＝当前中点水平(Cur Mid)＝当前最小操作水平(CurMin)+初始中点水平(Init Mid)-初始最小操作水平(Init Min)。
8.根据权利要求1所述的系统(23)，其特征在于音频信号(31)和视频信号(29)包括运动图像专家组(MPEG)信号。
9.根据权利要求1所述的系统(23)，其特征在于所述系统(23)被包括电视机的一部分中。
10.根据权利要求9所述的系统(23)，其特征在于所述电视机是高清晰度电视(HDTV)机。
11.一种用于保持视频信号(29)和音频信号(31)之间的同步的系统(23)，利用被锁定的时钟来处理所述视频信号(29)和音频信号(31)，所述系统(23)包括：
用于确定缓冲器的至少一个初始水平的装置；
用于确定缓冲器的至少一个当前水平的装置；
用于通过将缓冲器的至少一个初始水平与缓冲器的至少一个当前水平进行比较来确定漂移量的装置；以及
用于如果漂移量达到阈值水平，则调整时钟以保持缓冲器的初始中点水平的装置。
12.根据权利要求11所述的系统(23)，其特征在于缓冲器的至少一个初始水平包括初始中点水平(Init Mid)。
13.根据权利要求11所述的系统(23)，其特征在于缓冲器的至少一个初始水平包括初始最小操作水平(Init Min)、初始最大操作水平(Init Max)和初始中点水平(Init Mid)。
14.根据权利要求13所述的系统(23)，其特征在于根据以下公式计算初始中点水平(Init Mid)：
初始中点水平(Init Mid)＝(初始最大操作水平(Init Max)+初始最小操作水平(Init Min))/2。
15.根据权利要求13所述的系统(23)，其特征在于缓冲器的至少一个当前水平包括当前中点水平(Cur Mid)。
16.根据权利要求13所述的系统(23)，其特征在于缓冲器的至少一个当前水平包括当前最小操作水平(Cur Min)、当前最大操作水平(Cur Max)和当前中点水平(Cur Mid)。
17.根据权利要求16所述的系统(23)，其特征在于根据以下公式计算当前中点水平(Cur Mid)：
操作中点＝当前中点水平(Cur Mid)＝当前最小操作水平(CurMin)+初始中点水平(Init Mid)-初始最小操作水平(Init Min)。
18.一种用于保持视频信号(29)和音频信号(31)之间的同步的方法(300)，利用被锁定的时钟来处理所述视频信号(29)和音频信号(31)，所述方法(400)包括：
确定缓冲器的至少一个初始水平(404)；
确定缓冲器的至少一个当前水平(405)；
通过将缓冲器的至少一个初始水平与缓冲器的至少一个当前水平进行比较来确定漂移量(406)；以及
如果漂移量达到阈值水平，则调整时钟以保持缓冲器的初始中点水平(410)。
19.根据权利要求18所述的方法(400)，其特征在于包括：
定义缓冲器的至少一个初始水平，以使缓冲器的初始水平包括初始最小操作水平(Init MIN)、初始最大操作水平(Init Max)和初始中点水平(Init Mid)；以及
根据以下公式来计算初始中点水平(Init Mid)：
初始中点水平(Init Mid)＝(初始最大操作水平(Init Max)+初始最小操作水平(Init Min))/2。
20.根据权利要求19所述的方法(400)，其特征在于包括：
定义缓冲器的至少一个当前水平，以使缓冲器的当前水平包括当前最小操作水平(Cur Min)、当前最大操作水平(Cur Max)和当前中点水平(Cur Mid)；以及
根据以下公式来计算当前中点水平(Cur Mid)：
操作中点＝当前中点水平(Cur Mid)＝当前最小操作水平(CurMin)+初始中点水平(Init Mid)-初始最小操作水平(Init Min)。
CNB2003801013225A 2002-11-07 2003-10-31 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法 Expired - Fee Related CN100367313C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42445102P 2002-11-07 2002-11-07
US60/424,451 2002-11-07

Publications (2)

Publication Number Publication Date
CN1703723A CN1703723A (zh) 2005-11-30
CN100367313C true CN100367313C (zh) 2008-02-06

Family

ID=32312810

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801013225A Expired - Fee Related CN100367313C (zh) 2002-11-07 2003-10-31 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法

Country Status (9)

Country Link
US (1) US7283175B2 (zh)
EP (1) EP1559265A4 (zh)
JP (1) JP4482911B2 (zh)
KR (1) KR100984818B1 (zh)
CN (1) CN100367313C (zh)
AU (1) AU2003286797A1 (zh)
BR (1) BR0315310A (zh)
MX (1) MXPA05004938A (zh)
WO (1) WO2004045197A2 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7701512B1 (en) * 2003-05-20 2010-04-20 Pixelworks, Inc. System and method for improved horizontal and vertical sync pulse detection and processing
JP4569572B2 (ja) 2004-12-17 2010-10-27 三菱電機株式会社 クロック信号生成装置および無線基地局
WO2006100727A1 (ja) * 2005-03-18 2006-09-28 Fujitsu Limited 映像装置における映像信号と音声信号との同期制御方法および装置
CN100442858C (zh) * 2005-10-11 2008-12-10 华为技术有限公司 分组网络中多媒体实时传输的唇同步方法及其装置
US9692537B2 (en) * 2005-10-18 2017-06-27 Avago Technologies General Ip (Singapore) Pte. Ltd. System, method, and apparatus for jitter reduction in a video decoder system
JP2007124090A (ja) * 2005-10-26 2007-05-17 Renesas Technology Corp 情報機器
US20070124331A1 (en) * 2005-11-30 2007-05-31 Sony Ericsson Mobile Communications Ab Method and apparatus for the seamless delivery of content
US20080144505A1 (en) * 2006-11-03 2008-06-19 Michael Anthony Isnardi Method and Apparatus for Bitrate Reduction
CN101212690B (zh) * 2006-12-26 2011-04-20 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
US7760749B2 (en) * 2007-01-11 2010-07-20 Via Technologies, Inc. Apparatus and method for deskewing 1000 BASE-T Ethernet physical layer signals
WO2009095839A1 (en) * 2008-01-28 2009-08-06 Nxp B.V. Device and method for decoding digital tv broadcast
US8731370B2 (en) * 2009-01-12 2014-05-20 At&T Intellectual Property I, L.P. Method and device for transmitting audio and video for playback
EP2254342A1 (de) * 2009-05-18 2010-11-24 Albis Technologies AG Verfahren zur Audio-/Videosynchronisation
ATE540529T1 (de) * 2009-11-03 2012-01-15 Tektronix Int Sales Gmbh Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms
US8217689B2 (en) * 2010-01-19 2012-07-10 Integrated Device Technology, Inc. Method and circuit for DisplayPort video clock recovery
GB2509313A (en) * 2012-12-27 2014-07-02 Barco Nv Managing a queue of video frames using the current queue fill level
EP3160147A1 (en) * 2015-10-19 2017-04-26 Thomson Licensing Method for fast channel change, corresponding arrangement and device
KR20180068069A (ko) 2016-12-13 2018-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2098132U (zh) * 1991-08-09 1992-03-04 广播电影电视部广播科研所 图文电视信号接收卡
CN1160328A (zh) * 1995-11-22 1997-09-24 德来怀通用仪器公司 封包数据流中所携带的声频数据的获取和错误恢复
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2137842B (en) * 1983-03-10 1986-06-04 Sony Corp Television signal processing apparatus
DE3732111A1 (de) * 1987-09-24 1989-04-06 Bosch Gmbh Robert Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
JPH05347073A (ja) * 1992-06-15 1993-12-27 Sony Corp 記録再生装置
US5323272A (en) * 1992-07-01 1994-06-21 Ampex Systems Corporation Time delay control for serial digital video interface audio receiver buffer
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
WO1995022233A1 (en) * 1994-02-11 1995-08-17 Newbridge Networks Corporation Method of dynamically compensating for variable transmission delays in packet networks
JPH07284077A (ja) * 1994-04-06 1995-10-27 Matsushita Electric Ind Co Ltd 電子会議端末
JP3622235B2 (ja) * 1994-08-26 2005-02-23 三菱電機株式会社 多重化データの復号装置
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
US5809454A (en) * 1995-06-30 1998-09-15 Sanyo Electric Co., Ltd. Audio reproducing apparatus having voice speed converting function
JPH09245438A (ja) * 1996-03-12 1997-09-19 Pioneer Electron Corp 情報記録媒体並びにその記録装置及び再生装置
US5880788A (en) * 1996-03-25 1999-03-09 Interval Research Corporation Automated synchronization of video image sequences to new soundtracks
US5949410A (en) * 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US7031306B2 (en) * 2000-04-07 2006-04-18 Artel Video Systems, Inc. Transmitting MPEG data packets received from a non-constant delay network
KR100359782B1 (ko) * 2000-11-27 2002-11-04 주식회사 하이닉스반도체 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법
US7006510B2 (en) * 2001-01-17 2006-02-28 Optibase Ltd. Method of clock mismatch and drift compensation for packet networks
US20060007356A1 (en) * 2002-10-24 2006-01-12 Thomson Licensing S.A. Method and system for maintaining lip synchronization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2098132U (zh) * 1991-08-09 1992-03-04 广播电影电视部广播科研所 图文电视信号接收卡
CN1160328A (zh) * 1995-11-22 1997-09-24 德来怀通用仪器公司 封包数据流中所携带的声频数据的获取和错误恢复
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization

Also Published As

Publication number Publication date
WO2004045197A3 (en) 2004-07-15
EP1559265A2 (en) 2005-08-03
WO2004045197A2 (en) 2004-05-27
CN1703723A (zh) 2005-11-30
EP1559265A4 (en) 2010-09-15
AU2003286797A1 (en) 2004-06-03
US20060103760A1 (en) 2006-05-18
BR0315310A (pt) 2005-08-16
KR20050074555A (ko) 2005-07-18
AU2003286797A8 (en) 2004-06-03
US7283175B2 (en) 2007-10-16
MXPA05004938A (es) 2005-07-22
JP2006506015A (ja) 2006-02-16
KR100984818B1 (ko) 2010-10-05
JP4482911B2 (ja) 2010-06-16

Similar Documents

Publication Publication Date Title
CN100367313C (zh) 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
US8111327B2 (en) Method and apparatus for audio/video synchronization
US7471337B2 (en) Method of audio-video synchronization
US8238376B2 (en) Synchronized audio/video decoding for network devices
KR100256061B1 (ko) 동기 재생 장치
US20030169777A1 (en) Data reception and playback method, data receiving and playback apparatus, and data communication apparatus
CN101518048B (zh) 用于再生音视频序列的方法与设备
JP2005167414A (ja) データ受信装置およびデータ受信方法
CN100477802C (zh) 用于保持声像吻合的方法和系统
CN104333795A (zh) 一种不依赖时间戳的实时视频码流播放速度控制方法
US20040105660A1 (en) Audio video reproduction apparatus, audio video reproduction method, program, and medium
KR102390872B1 (ko) 복수의 커넥티드 장치 간 디지털 콘텐츠의 재생 동기화를 맞추는 방법 및 이를 이용한 장치
EP2025169A1 (en) Video processing
CN101076120B (zh) 维持音频/视频同步的健壮系统
JP4903930B2 (ja) 信号処理装置
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
US7903774B2 (en) Method for creating a system clock in a receiver device and corresponding receiver device
US6192074B1 (en) Fixed frequency source timing processor method and apparatus
KR100311464B1 (ko) 디지탈티브이의오디오/비디오동기장치
US6829304B1 (en) Method for clock recovery in MPEG systems
KR100499519B1 (ko) 오디오 립 싱크 제어방법
JP2002290969A (ja) 同期制御装置
KR101108046B1 (ko) Ｐｌｌ 제어방법 및 장치
JP2004023134A (ja) 画像音声同期化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080206

Termination date: 20111031