CN100477802C - 用于保持声像吻合的方法和系统 - Google Patents

用于保持声像吻合的方法和系统 Download PDF

Info

Publication number
CN100477802C
CN100477802C CNB2003801012487A CN200380101248A CN100477802C CN 100477802 C CN100477802 C CN 100477802C CN B2003801012487 A CNB2003801012487 A CN B2003801012487A CN 200380101248 A CN200380101248 A CN 200380101248A CN 100477802 C CN100477802 C CN 100477802C
Authority
CN
China
Prior art keywords
vision signal
signal
displacement
audio
input buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2003801012487A
Other languages
English (en)
Other versions
CN1703914A (zh
Inventor
菲利普·亚伦·云克斯费尔德
德文·马修·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN1703914A publication Critical patent/CN1703914A/zh
Application granted granted Critical
Publication of CN100477802C publication Critical patent/CN100477802C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Synchronizing For Television (AREA)
  • Television Receiver Circuits (AREA)

Abstract

所公开的实施例涉及一种用于保持视频信号(29)和音频信号(31)之间的同步的系统(23)和方法(200)。利用被锁定的时钟来处理视频信号(29)和音频信号(31)。所述系统(23)可以包括：组件(34)，用于确定初始音频输入缓冲器水平；组件(34)，用于确定初始音频输入缓冲器水平中的漂移量，如果漂移量达到第一预定阈值，则调整时钟以保持初始音频输入缓冲器水平；以及组件(32)，用于响应时钟的调整，测量与音频信号(31)相关联的视频信号(29)的位移，如果测量到的位移达到第二预定阈值，则进行操作以消除测量到的视频信号(29)的位移。

Description

用于保持声像吻合的方法和系统
优先权声明
本申请要求2002年10月24日递交的、题为“A METHOD AND SYSTEMFOR MAINTAINING LIP SYNCH”的美国临时申请No.60/420,871的优先权，在此将其一并作为参考。
技术领域
本发明涉及在音频/视频信号接收器中保持音频和视频信号之间的同步的领域。
背景技术
这一部分用于向读者介绍可能与稍后进行描述和/或要求保护的本发明的多个方面相关的多种现有技术。此讨论对于向读者提供背景信息是有利的，有助于更好地理解本发明的多个方面。因此，应当理解，这些陈述只是就事而论，并不表示对现有技术的认可。
已经设计了可以包括在如电视等显示设备中的一些音频/视频接收器模块，具有与视频输出数字到模拟(D/A)时钟锁定的音频输出D/A时钟。这意味着不能单独地控制音频时钟和视频时钟。单一的控制系统可以将两个时钟的速率可变地改变相等的百分比。在一些这样的系统中，时钟恢复系统可以使视频(D/A)时钟与视频源模拟到数字(A/D)时钟相匹配。于是，可以假设音频输出D/A时钟与音频源A/D时钟相匹配。这种假设依赖于假设了广播公司在产生源音频和视频时类似地锁定其音频和视频时钟的事实。
尽管高级电视系统委员会(ATSC)规范要求广播公司将其视频源A/D时钟与其音频源A/D时钟锁定，但还是存在未锁定这些时钟的情况。广播公司未能将所发射的音频源材料的时钟与所发射的视频源材料的时钟锁定可能会导致应当发生音频呈现的时间与实际呈现音频的时间之间的时延。可以被称为声像吻合误差的这种误差可能会引起由音频/视频显示设备所发出的声音不与其所显示的图像相匹配。这种效应会使大多数观众感到烦恼。
当通过对视频输出速率和视频输入速率进行匹配来驱动音频/视频时钟恢复时，补偿声像吻合误差的惟一方式是对音频输出进行时间操作。因为音频是连续的时间呈现，难以对音频输出进行时间操作而不造成一些可听失真、静音或跳跃。这些不想要的可听干扰的频率依赖于广播台的相对未锁定音频和视频时钟之间的频率差。已经对ATSC源进行了观察，每2～3分钟对音频进行静音。对音频信号的周期性静音可能会产生不需要的结果给电视观众。
已经以未锁定ATSC源对包括高清晰度电视(HDTV)在内的多种电视进行了训练，已经看到HDTV进行了一些音频移位，以校正逐渐增长的声像吻合误差。代替在音频移位期间静音，HDTV实际上注入一些用于屏蔽静音并在幅度上相对等于音频幅度的静态噪声。将此静态噪声引入信号可能会产生不需要的结果给电视观众。
发明内容
所公开的实施例涉及一种用于保持视频信号和音频信号之间的同步的系统和方法。利用被锁定的时钟来处理视频信号和音频信号。所述系统可以包括：用于确定初始音频输入缓冲器水平的组件；用于确定初始音频输入缓冲器水平中的漂移量的组件，如果漂移量达到第一预定阈值，则调整时钟以保持初始音频输入缓冲器水平；以及响应时钟的调整，测量与音频信号相关联的视频信号的位移的组件，如果测量到的位移达到第二预定阈值，则进行操作以消除测量到的视频信号的位移。
附图说明
在附图中：
图1是可以应用本发明的典型系统的方框图；
图2是与可以应用在本发明的实施例中的缓冲控制表相对应的图示；以及
图3是示出了根据本发明实施例的处理的流程图。
具体实施方式
下面，将对本发明的一个或多个特定实施例进行描述。为了提供对这些实施例的简明描述，在说明书中并未描述实际实现的所有特征。应当清楚的是，在开发任何这种实际实现时，如在任何工程或设计项目中那样，可能会做出大量的实现专有决定，以实现开发者的特定目的，如为了符合系统相关和商业相关的约束，这些可能会由于实现而彼此不同。此外，应当清楚的是，这种开发努力可能是复杂的且耗时的，但对于受到本公开效益的本领域普通技术人员而言，这些都是设计、生产和制造的日常工作。
本发明允许音频/视频接收器(例如，数字电视，包括HDTV)在未锁定源音频时钟和源视频时钟而锁定了数字TV音频和视频时钟时同步地展示音频和视频。此外，本发明对于以数字源的未锁定音频和视频时钟来保持声像吻合是有用的，例如，运动图像专家组(MPEG)源。
图1是可以应用本发明的典型系统的方框图。通常以参考数字10表示此系统。本领域的普通技术人员应当清楚，图1所示的组件只是为了说明的目的。可以利用额外的元件或图1所示的组件的子集来实现具体实现了本发明的系统。此外，可以将图1所示的功能块组合在一起，或进一步分隔为更小的功能单元。
广播公司站点包括视频A/D转换器12和音频A/D转换器14，分别用于在发射之前处理视频信号和相应的音频信号。通过分立的时钟信号来操作视频A/D转换器12和音频A/D转换器14。如图1所示，不必锁定视频A/D转换器12和音频A/D转换器14的时钟。视频A/D转换器12可以包括应用了离散余弦变换的运动补偿预测编码器。将视频信号传递到视频压缩器/编码器16，而将音频信号传递到音频压缩器/编码器18。可以根据一些信号协议，如MPEG等，与其他辅助数据一起排列压缩视频信号。
将视频压缩器/编码器16和音频压缩器/编码器18的输出传递到音频/视频复用器20。音频/视频复用器20将音频和视频信号组合成用于向音频/视频接收单元传输的单一信号。如本领域普通技术人员所清楚的那样，音频/视频复用器20可以采用如时分复用等策略来组合音频和视频信号。将音频/视频复用器20的输出传递到发射机构22，由其对信号进行放大和广播。
可以包括数字电视机在内的音频/视频接收器23适合于从广播公司站点接收发射过来的音频/视频信号。由接收机构24接收信号，并将所接收到的信号传递到音频/视频解复用器26。音频/视频解复用器26将所接收到的信号解复用为视频和音频分量。将解复用后的视频信号29传递到视频解压缩器/解码器28，以便进行进一步的处理。将解复用后的音频信号31传递到音频解压缩器/解码器30，以便进行进一步的处理。
将视频解压缩器/解码器28的输出传递到视频D/A转换器32，而将音频解压缩器/解码器30的输出传递到音频D/A转换器34。如图1所示，一直锁定视频D/A转换器32和音频D/A转换器34的时钟。将视频D/A转换器32和音频D/A转换器34的输出用于分别创建视频图像和相应的音频输出，以便娱乐观众。
即使图1所示的典型系统中的硬件不允许对音频和视频呈现进行单独控制，利用本发明的实施例，仍然能够确定是否需要这种控制。根据本发明的实施例，通过观察所接收到的音频缓冲器的水平来测量与所接收到的音频和视频信号相关联的相对传送定时。已经发现音频缓冲器的水平是对声像吻合误差较为精确的测量。
如果最初正确地同步音频和视频信号，则在回放期间，应当以相同的速率消耗所接收到的视频数据和音频数据。在这种情况下，保存音频信息的缓冲器应当保持在几乎相同的尺寸，而不会随时间而增长。如果音频缓冲器增长或收缩超过典型的稳定范围，则表示可能危及到正确的声像吻合。例如，如果音频缓冲器随时间增长超过典型的范围，则表示视频信号可能超前音频信号。如果音频缓冲器收缩到其典型范围以下，则表示视频信号可能滞后音频信号。当随着时间确定声像吻合误差在零附近时(即，音频缓冲器随时间保持相对恒定的尺寸)，则可以认为音频A/D源时钟与视频A/D源时钟锁定。如果声像吻合误差随时间增长，则音频A/D与视频A/D源时钟未必被锁定，并可能需要校正。
本领域的普通技术人员应当清楚的是，可以用软件、硬件或其组合来实现本发明的实施例。此外，可以将本发明的组成部件设置在视频解压缩器/解码器28、音频解压缩器/解码器30、视频D/A转换器32和/或音频D/A转换器34或其任意组合中。此外，可以将本发明的构成组件或功能方案设置在图1未示出的其他器件中。
当新音频/视频展示开始时，通常在改变频道时，本发明的实施例可以将初始音频D/A输入缓冲器水平存储在存储器中。可以将此数据存储在视频D/A转换器、音频D/A转换器34中或其外部。
如果音频源时钟与视频源锁定，则缓冲器水平应当随时间保持相对恒定。如果缓冲器水平漂移，并且漂移对应于大体上超过+/-10ms的声像吻合误差，则可以禁用正常的时钟恢复控制，并可以按照使音频缓冲器水平返回其初始水平的方向移动视频D/A转换器32和音频D/A转换器34的锁定时钟。
在此处理使音频缓冲器返回其初始水平的同时，还测量视频偏离其原始位置的程度。当视频大体上偏离+/-25ms时，则可以重复此处理(例如，通过重新初始化初始音频输入缓冲器水平的测量)或丢弃视频帧(例如，接收到的视频的MPEG帧)，以消除测量到的位移。
此处理在使音频输出与音频源锁定且跳过或重复视频帧以消除任何视频漂移的模式下继续进行，直到检测到另一频道改变为止。在新频道改变之后，本发明的实施例可以停止对声像吻合误差的校正，允许系统返回到使视频输出与视频输入锁定的传统方法，直到检测到新的声像吻合误差为止。
用于根据初始音频输出D/A输入缓冲器水平和实际音频输出D/A输入缓冲器水平来控制锁定音频和视频输出时钟的算法对于稳定的性能尤为重要。优选地，具有以下响应：当其远离目标值时，快速回转缓冲器水平，当其相对较远时，快速移向目标值，以及当其靠近所需位置时，减速。例如，这可以通过创建使时钟频率变化与变化的相对位置和速率相关的两个控制表来实现。
表1使时钟频率变化与变化的相对速率相关：
  频率变化(Hz)   变化的相对速率(字节)
  -430   v＜-2000
  -354   -2000＜v＜-1800
  -286   -1800＜v＜-1600
  -226   -1600＜v＜-1400
  -174   -1400＜v＜-1200
  -130   -1200＜v＜-1000
  -94   -1000＜v＜-800
  -62   -800＜v＜-600
  -46   -600＜v＜-400
  -34   -400＜v＜-200
  0   -200＜v＜200
  34   200＜v＜400
  46   400＜v＜600
  62   600＜v＜800
  94   800＜v＜1000
  130   1000＜v＜1200
  174   1200＜v＜1400
  226   1400＜v＜1600
  286   1600＜v＜1800
  354   1800＜v＜2000
  430   2000＜v
表1
表2使时钟频率变化与相对距离相关：
  频率变化(Hz)   相对距离(字节)
  -100   x＜-4000
  -90   -4000＜x＜-3600
  -80   -3600＜x＜-3200
  -70   -3200＜x＜-2800
  -60   -2800＜x＜-2400
  -50   -2400＜x＜-2000
  -40   -2000＜x＜-1600
  -30   -1600＜x＜-1200
  -20   -1200＜x＜-800
  -10   -800＜x＜-400
  0   -400＜x＜400
  10   400＜x＜800
  20   800＜x＜1200
  30   1200＜x＜1600
  40   1600＜x＜2000
  50   2000＜x＜2400
  60   2400＜x＜2800
  70   2800＜x＜3200
  80   3200＜x＜3600
  90   3600＜x＜4000
  100   4000＜x
表2
本领域普通技术人员应当清楚的是，表1和表2所示的数值只是示例性的，不应当被解释为对本发明的限制。由于缓冲器水平具有由于音频解码而导致的不规则输入速率和由于D/A输出时钟而引起的非常规则的输出速率，缓冲器水平数据将具有一些不稳定的抖动。为了消除这类抖动，对缓冲器水平进行估计，以使其位于30秒时间段内最大缓冲器读取和最小缓冲器读取之间的中间点。可以周期性地计算此中间点(例如，每30秒)，并可以随时间给出对音频源A/D时钟频率和音频输出D/A时钟频率之间的差值的良好读取。
现在，参照图2，示出了以图形形式示出了缓冲器控制表(以上所讨论的)的曲线图。通常以参考数字100表示该曲线图。图2中示出了距离函数102和变化速率函数104。曲线图100的y轴对应于相对频率变化，以赫兹为单位。曲线图100的x轴对应于距离函数102的相对缓冲器距离，以字节为单位；以及变化速率函数104的相对缓冲器变化速率，以字节为单位。本领域普通技术人员应当清楚的是，曲线图100所示的数值是示例性的，不应当被理解为对本发明的限制。
曲线图100示出了当缓冲器水平远离初始位置且变化速率处于错误方向时，本发明的实施例将如何使频率补偿在正确的方向上相对较大。此较大的频率补偿将一直持续，直到变化速率转变且缓冲器水平沿正确方向移动为止。此时，速度分量将开始作用抵消位置分量。但是，只要位置分量大于变化速率分量，则推动频率以朝向目标值增加变化速率，并且距离将减小。一旦变化速率分量变得大于距离分量，则变化速率将开始减小。此动作将用于在距离分量接近所需的初始缓冲器水平时平滑地制动变化速率。
图3是示出了根据本发明实施例的处理的流程图。通常以参考数字200表示该处理。在块202处，处理开始。
在块204处，确定初始音频输入缓冲器水平。随着时间的过去，确定初始音频输入缓冲器水平的漂移量，如块206所示。如果漂移超过第一预定阈值(208)，则沿保持初始音频输入缓冲器水平的方向调整视频D/A转换器32(图1)和音频D/A转换器34的锁定时钟。
响应时钟的调整，测量视频信号的位移，如块212所示。如果视频信号的位移超过第二预定阈值(214)，则通过如重新启动处理或丢掉视频帧来改善同步等来消除测量到的视频信号的位移(块216)。在块218处，处理结束。
尽管可以对本发明进行多种修改和替代形式，在附图中作为示例已经示出了特定的实施例，并对其进行了详细描述。但是，应当理解的是，并不倾向于将本发明局限于所公开的特定形式。相反，本发明覆盖了落入由所附权利要求所限定的本发明的精神和范围内的全部修改、等价物和替代方案。

Claims (19)

1、一种用于保持视频信号(29)和音频信号(31)之间的同步的系统(23)，利用被锁定的音频和视频时钟来处理所述视频信号(29)和音频信号(31)，所述系统(23)包括：
组件(34)，用于确定初始音频输入缓冲器水平；
组件(34)，用于确定初始音频输入缓冲器水平中的漂移量，如果漂移量达到第一预定阈值，则调整被锁定的音频和视频时钟以保持初始音频输入缓冲器水平；以及
组件(32)，响应被锁定的音频和视频时钟的调整，测量与音频信号(31)相关联的视频信号(29)的位移，如果测量到的位移达到第二预定阈值，则进行操作以消除测量到的视频信号(29)的位移。
2、根据权利要求1所述的系统(23)，其特征在于将初始音频输入缓冲器水平存储在存储器中。
3、根据权利要求1所述的系统(23)，其特征在于如果漂移量达到第一预定阈值，则禁用时钟恢复控制。
4、根据权利要求1所述的系统(23)，其特征在于音频信号(31)和视频信号(29)包括运动图像专家组(MPEG)信号。
5、根据权利要求1所述的系统(23)，其特征在于测量与音频信号(31)相关联的视频信号(29)的位移的组件(32)进行操作，以通过重新初始化对初始音频输入缓冲器水平的测量来消除测量到的视频信号(29)的位移。
6、根据权利要求1所述的系统(23)，其特征在于测量与音频信号(31)相关联的视频信号(29)的位移的组件(32)进行操作，以通过丢掉视频信号(29)的帧来消除测量到的视频信号(29)的位移。
7、根据权利要求1所述的系统(23)，其特征在于第一预定阈值为大约+/-10ms。
8、根据权利要求1所述的系统(23)，其特征在于第二预定阈值为大约+/-25ms。
9、根据权利要求1所述的系统(23)，其特征在于所述系统(23)包括一部分电视机。
10、根据权利要求9所述的系统(23)，其特征在于所述电视机包括高清晰度电视(HDTV)机。
11、一种用于保持视频信号(29)和音频信号(31)之间的同步的系统(23)，利用被锁定的音频和视频时钟来处理所述视频信号(29)和音频信号(31)，所述系统(23)包括：
装置(34)，用于确定初始音频输入缓冲器水平；
装置(34)，用于确定初始音频输入缓冲器水平中的漂移量；
装置(34)，用于如果漂移量达到第一预定阈值，则调整被锁定的音频和视频时钟以保持初始音频输入缓冲器水平；
装置(32)，用于响应被锁定的音频和视频时钟的调整，测量与音频信号(31)相关联的视频信号(29)的位移；以及
装置(32)，用于如果测量到的位移达到第二预定阈值，则进行操作以消除测量到的视频信号(29)的位移。
12、根据权利要求11所述的系统(23)，其特征在于音频信号(31)和视频信号(29)包括运动图像专家组(MPEG)信号。
13、根据权利要求11所述的系统(23)，其特征在于测量与音频信号(31)相关联的视频信号(29)的位移的装置(32)进行操作，以通过重新初始化对初始音频输入缓冲器水平的测量来消除测量到的视频信号(29)的位移。
14、根据权利要求11所述的系统(23)，其特征在于测量与音频信号(31)相关联的视频信号(29)的位移的装置(32)进行操作，以通过丢掉视频信号(29)的帧来消除测量到的视频信号(29)的位移。
15、一种用于保持视频信号(29)和音频信号(31)之间的同步的方法(200)，利用被锁定的音频和视频时钟来处理所述视频信号(29)和音频信号(31)，所述方法(200)包括：
确定初始音频输入缓冲器水平(204)；
确定初始音频输入缓冲器水平中的漂移量(206)；
如果漂移量达到第一预定阈值，则调整被锁定的音频和视频时钟以保持初始音频输入缓冲器水平(210)；
响应被锁定的音频和视频时钟的调整，测量与音频信号(31)相关联的视频信号(29)的位移(212)；以及
如果测量到的位移达到第二预定阈值，则消除测量到的视频信号(29)的位移(216)。
16、根据权利要求15所述的方法(200)，其特征在于包括将初始音频输入缓冲器水平存储在存储器中。
17、根据权利要求15所述的方法(200)，其特征在于包括如果漂移量达到第一预定阈值，则禁用时钟恢复控制。
18、根据权利要求15所述的方法(200)，其特征在于消除测量到的视频信号的位移的动作(216)包括重新初始化对初始音频输入缓冲器水平的测量。
19、根据权利要求15所述的方法(200)，其特征在于消除测量到的视频信号的位移的动作(216)包括丢掉视频信号帧。
CNB2003801012487A 2002-10-24 2003-10-22 用于保持声像吻合的方法和系统 Expired - Fee Related CN100477802C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42087102P 2002-10-24 2002-10-24
US60/420,871 2002-10-24

Publications (2)

Publication Number Publication Date
CN1703914A CN1703914A (zh) 2005-11-30
CN100477802C true CN100477802C (zh) 2009-04-08

Family

ID=32176641

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2003801012487A Expired - Fee Related CN100477802C (zh) 2002-10-24 2003-10-22 用于保持声像吻合的方法和系统

Country Status (9)

Country Link
US (1) US20060007356A1 (zh)
EP (1) EP1554868A4 (zh)
JP (1) JP4462549B2 (zh)
KR (1) KR20050073482A (zh)
CN (1) CN100477802C (zh)
AU (1) AU2003284321A1 (zh)
BR (1) BR0315309A (zh)
MX (1) MXPA05004340A (zh)
WO (1) WO2004039056A2 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212248B2 (en) * 2002-09-09 2007-05-01 The Directv Group, Inc. Method and apparatus for lipsync measurement and correction
WO2004045197A2 (en) * 2002-11-07 2004-05-27 Thomson Licensing S.A. A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
US7519845B2 (en) * 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
CN100437546C (zh) * 2005-06-30 2008-11-26 腾讯科技（深圳）有限公司 一种实现音频和视频同步的方法
JP2007124090A (ja) * 2005-10-26 2007-05-17 Renesas Technology Corp 情報機器
US7948558B2 (en) * 2006-09-29 2011-05-24 The Directv Group, Inc. Audio video timing measurement and synchronization
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
DE102007045774B4 (de) * 2007-09-25 2010-04-08 Continental Automotive Gmbh Verfahren und Vorrichtung zur Synchronisation einer Bildanzeige in einem Kraftfahrzeug
US8819749B2 (en) * 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
JPWO2010122626A1 (ja) * 2009-04-20 2012-10-22 パイオニア株式会社 受信装置
US9565426B2 (en) 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596696A (en) * 1993-05-10 1997-01-21 Object Technology Licensing Corp. Method and apparatus for synchronizing graphical presentations
CA2140850C (en) * 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
KR100207687B1 (ko) * 1995-12-09 1999-07-15 윤종용 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US5778218A (en) * 1996-12-19 1998-07-07 Advanced Micro Devices, Inc. Method and apparatus for clock synchronization across an isochronous bus by adjustment of frame clock rates
JP3106987B2 (ja) * 1997-01-09 2000-11-06 日本電気株式会社 オーディオ・ビデオ同期再生装置
KR100235438B1 (ko) * 1997-02-04 1999-12-15 구자홍 광디스크의 오디오재생신호 보상처리방법 및 장치
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US6279058B1 (en) * 1998-07-02 2001-08-21 Advanced Micro Devices, Inc. Master isochronous clock structure having a clock controller coupling to a CPU and two data buses
US6347380B1 (en) * 1999-03-03 2002-02-12 Kc Technology, Inc. System for adjusting clock rate to avoid audio data overflow and underrun
US7031306B2 (en) * 2000-04-07 2006-04-18 Artel Video Systems, Inc. Transmitting MPEG data packets received from a non-constant delay network
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Also Published As

Publication number Publication date
EP1554868A4 (en) 2011-06-01
KR20050073482A (ko) 2005-07-13
WO2004039056A3 (en) 2004-09-23
JP4462549B2 (ja) 2010-05-12
AU2003284321A1 (en) 2004-05-13
EP1554868A2 (en) 2005-07-20
US20060007356A1 (en) 2006-01-12
CN1703914A (zh) 2005-11-30
MXPA05004340A (es) 2005-08-03
JP2006508564A (ja) 2006-03-09
BR0315309A (pt) 2005-08-16
AU2003284321A8 (en) 2004-05-13
WO2004039056A2 (en) 2004-05-06

Similar Documents

Publication Publication Date Title
CN100367313C (zh) 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
CN100477802C (zh) 用于保持声像吻合的方法和系统
US8238376B2 (en) Synchronized audio/video decoding for network devices
US7471337B2 (en) Method of audio-video synchronization
CN101061712B (zh) Itv环境中的同步和自动化
US6469744B1 (en) Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
US5473385A (en) Clock correction in a video data decoder using video synchronization signals
CN101518048B (zh) 用于再生音视频序列的方法与设备
CA1269442C (en) SCRAMBLED VIDEO SIGNAL PROCESSING SYSTEM AUDIO CHANNEL AGC
KR102390872B1 (ko) 복수의 커넥티드 장치 간 디지털 콘텐츠의 재생 동기화를 맞추는 방법 및 이를 이용한 장치
JP2001094943A (ja) Ｍｐｅｇ復号器の同期方法及び同期装置
EP2025169A1 (en) Video processing
CN101076120B (zh) 维持音频/视频同步的健壮系统
US8229270B2 (en) Method and apparatus for compensating audio/video synchronization
CN1160696C (zh) 用于压缩的音频／视频信号接收机的同步装置和方法
JP2004015553A (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
US6192074B1 (en) Fixed frequency source timing processor method and apparatus
KR100499519B1 (ko) 오디오 립 싱크 제어방법
CN1165177C (zh) 数字电视同步控制方法
JP2001359017A (ja) 多種のテレビジョン放送受信機器の音量差補正の方法
KR101108046B1 (ko) Ｐｌｌ 제어방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090408

Termination date: 20171022

CF01 Termination of patent right due to non-payment of annual fee