CN1282068A - 用于压缩的音频/视频信号接收机的同步装置 - Google Patents

用于压缩的音频/视频信号接收机的同步装置 Download PDF

Info

Publication number
CN1282068A
CN1282068A CN00121663A CN00121663A CN1282068A CN 1282068 A CN1282068 A CN 1282068A CN 00121663 A CN00121663 A CN 00121663A CN 00121663 A CN00121663 A CN 00121663A CN 1282068 A CN1282068 A CN 1282068A
Authority
CN
China
Prior art keywords
signal
video
audio
voice
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00121663A
Other languages
English (en)
Other versions
CN1160696C (zh
Inventor
F·M·杜兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
RCA Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/358,070 external-priority patent/US6583821B1/en
Application filed by RCA Licensing Corp filed Critical RCA Licensing Corp
Publication of CN1282068A publication Critical patent/CN1282068A/zh
Application granted granted Critical
Publication of CN1160696C publication Critical patent/CN1160696C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Synchronizing For Television (AREA)

Abstract

一个压缩音频/视频接收机(200,202,206),包括度量解压缩音频和视频信号的相应同步的电路(217,220,222)。如果音频和视频信号是在一个第一值范围内同步,则在该接收机中的同步电路(215,216)将尝试适当地在时间上对准该信号。另外,如果实际的同步超过该第一范围,则中止尝试信号的同步并且提供非同步的解压缩音频和视频信号。

Description

用于压缩的音频/视频信号接收机的同步装置
本发明涉及在一个已压缩音频/视频(A/V)信号接收机中同步其音频和/或视频分量的方法及装置。
MPEG是由国际标准化组织的运动图像专家组建立的一个视频信号压缩协议。此协议定义了一个通用信号格式,它包括帧内编码以及运动补偿预测编码。由于在编码格式中的逐帧变化,以及在图像内容中的变化,使得不同帧具有的压缩数据量非常分散。由于不同压缩帧具有不同的数据量,因此数据帧倾向于被异步发送。
音频信号也可能根据一个MPEG协议压缩。压缩的音频信号可以与视频信号相关,但是独立地发送。为了发送,压缩的音频信号被分段成数据包,然后以非同步的方式与压缩的视频信号时分多路复用。
相关的压缩音频和视频成份不只是独立地异步,而且在发送中不存在相互间的时间或同步关系。
MPEG压缩音频和视频分量信号可以包括显示时间标记(PTS),以便在特定压缩信号段和一个系统基准时钟信号之间建立一个基准。该音频和视频PTS由接收机装置使用,以便再同步分别的解压缩成份并且恢复它们的时间相互关联。
一个MPEG或MPEG类的A/V接收机将提供与相关的解压缩分量信号一致的A/V分量时间基准信号(PTS)。该接收机之内同步装置将使用出现在该音频和视频成份中的PTS,以便保持音频和视频成份的同步。当该系统处在同步、而该伴音不与图像的唇动同步时,该音频通常被静音,因为观众宁可听不到伴音而不愿该伴音与该图像不同步,至少是短间隔的静音。静音的出现通常只是针对相当短的间隔,因为关于一个给定标准的发送的音频和视频成份的定时有相当严格的要求。所以同步保证在一个短间隔之内实现。
被设计成对标准A/V成份进行解码的接收机,在该接收机接收一个非标准信号或已经多路分解并且在多个实际传输信道中被重新多路复用则出现问题。在这两种情况中,有关的音频和视频分量的定时关系可能被变化。唇动的同步不可能实现,并且静音可能会长时间出现。此种情形是不能接受的。
第二个问题发生在当应用到非标准信号时的同步方法。该同步处理通常包括一个粗略模式和一个精确模式。音频数据通常被先于视频数据解码并且存储在存储器中。当适当的视频被解码时,从存储器再生该存储的音频。但是,如果在该非标准信号中的音频来得太晚的话,则将没有伴音再生,并且不能出现同步。另一方面,如果该伴音出现得太早(与缓冲量相关),则将会出现内存不足以存储该音频,而丢失数据。这同样出现不能同步的问题而可能持续长间隔。
可以理解,观众希望的是在这些情况中既再生视频又再生音频,而不愿忍受长时间的伴音的静音周期。所以,在数字A/V接收机中需要一个自适应同步系统以便适应标准并且非标准的接收信号。
根据本发明的一个MPEG或MPEG的A/V接收机将提供与相关的解压缩分量信号一致的A/V分量时间基准信号(PTS)。同步电路系统产生所出现的分量音频和视频PTS的一个差值的函数。此函数表明相应音频和视频同步的情况。如果该函数值在一个确定的范围之内,则继续同步处理。如果该函数值超过一个预定的标准,则终止该同步处理,并且再生非同步的音频和视频成份。在一个进一步的实施例中,针对该函数的一个给定范围,继续该同步处理,但静音该音频成分。
图1是音频/视频压缩装置的框图。
图2是实现本发明的音频/视频解压装置的框图。
图3是提供接收机系统时钟信号的装置的框图,该时钟信号具有与压缩装置的系统时钟基本相同的频率。
图4是图2装置的操作流程图。
图5是可以在图2中实施的另一个静音电路的框图。
图1表示一个可以实现本发明的典型的系统,该系统是一个压缩数字视频信号传输装置。在该系统中,来自信号源10的视频信号施加到视频信号压缩部件11,它可以包括一个利用离散余弦变换的运动补偿预测编码器。来自部件11的压缩视频信号送入格式器12。格式器根据某些信号协议,如MPEG(由国际标准化组织制订的标准),排列压缩的视频信号和其它辅助数据。标准信号被施加到传输处理器13,为了传输的目的,该处理器将信号分成数据数据包,并增加某些抗噪声的辅助成分。一般以非均匀的速率出现的传输数据包被送入速率缓冲器14,该缓冲器以相对恒定的速率提供输出数据,以便有效地利用带宽较窄的传输信道。经缓冲的数据被送至调制解调器15,执行信号传输。
系统时钟22提供时钟信号,使至少包括传输处理器的大部分装置运行。该时钟将工作在一个固定的频率下,例如27 MHZ。然而如图中所示,它用来产生时序信息。系统时钟与计数器23的时钟输入端相连,计数器23可以用于以模2计数。计数器输出的计数值送至两个锁存器24和25。锁存器24由视频信号源调节,在各帧的间隔锁存计数值。这些计数值表示出现时间标记PTS,并通过格式器12包含在压缩视频信号流中,接收器利用这些计数值提供相关的音频和视频信息的唇动同步。锁存器25由传输处理器13(或系统控制器21)调节,根据预定的方案锁存计数值。这些计数值表示系统时钟基准SCR,并作为辅助数据嵌入各个辅助传输数据包当中。
来自信号源10的与视频信号相关的音频信号被施加到音频信号压缩器18。压缩器18提供帧取样脉冲(独立于视频帧),以便控制锁存器19。响应取样脉冲,该锁存器19接收由计数器23提供的计数值。这些被锁存的值对应于音频出现的时间标记PTSaud。PTSaud被包含到由压缩器18提供的压缩音频信号中。压缩的音频信号被施加到传输处理器17,为了传输的目的,该处理器将信号分成数据包,并增加某些辅助操作以抗噪声。由处理器17提供的音频传输数据包送至多路开关选择器16,它对音频和视频传输数据包进行分时多路复用。在图中,分别的传输处理器示于音频和视频信号处理通道中。对数据据速率适中的系统而言,两个传输处理器和多路开关选择器16的功能可以包含在单个传输处理器中。
系统控制器21是一个被编程以便协调各种处理部件的可变状态的装置。注意只要在处理部件之间提供适当的信号交换,就可以通过共同的时钟装置,使控制器21、压缩器11和18、传输处理器13和17、以及速率缓冲器14可以或可以不同步操作。然而,两个压缩器都驱动来自同一基准计数器23的PTS值,于是在压缩输出信号中形成了两个压缩信号之间的精确的时序关系。
图2表示体现本发明的一个示范性接收机装置,其中调制解调器200执行调制解调器15的相反功能,速率缓冲器206实际上执行速率缓冲器14的相反功能。反向传输处理器202通过服务把分别的传输数据包分开,并在速率缓冲器206的不同存储器块中分配各个数据包的有效部分。如此操作之后,各个传输数据包信号的有效部分与辅助数据分开,辅助数据送至控制器210。在另一结构中,分开的传输处理器可以包括在每个处理通道中,并安排来识别和处理只与各个通道相关的数据。
来自速率缓冲器206的压缩视频数据进入视频解压器214。速率缓冲器206接收速率不一致的压缩视频数据,并根据请求向解压器214提供数据。解压器对压缩视频信号作出响应,产生用于在适合的显示器或存储设备(没示出)中显示或存储等的非压缩视频信号。
来自反向传输处理器202的压缩音频数据送至速率缓冲器206,该缓冲器根据系统协议向音频解压器212提供压缩音频信号。解压器对212对压缩音频信号作出响应,产生用于在适合的扬声器或存储设备(未示出)中重放或存储等的非压缩音频信号。
反向处理器202也向系统时钟发生器208提供来自辅助传输数据的SCR和控制信号。时钟发生器对这些信号作出响应,产生与至少传输处理器操作同步的系统时钟信号。系统时钟信号送至接收机系统控制器210,以控制适当处理部件的时序。
图3表示一个示范性时钟发生器208的细节。来自接收机调制解调器200的数据送至包括辅助数据包检测器31的反向传输处理器202’。反向传输处理器202’从各个传输数据包有效部分中分离出传输标题数据。处理器202’对传输标题数据作出响应,多路分配所要求的相关音频和视频节目分量的有效部分和相关辅助数据的有效部分。音频视频和辅助有效部分被写入速率缓冲器208的分开的存储器块中。各个存储器块中的每一个都作为先入先出存储器或FIFO运行,当从调制解调器中得到数据时便写入数据,而当相应的分量信号处理器(未示出)请求数据时便读出数据。存在于特定辅助数据包中的SCR被选择路径,并存储在存储器部件34中。
辅助数据包检测器31可以是一个匹配滤波器,用来识别表示包括SCR的辅助传输数据包的代码字,在包括这种数据的传输数据包出现时产生一个控制脉冲。该控制脉冲用来获取在准确地与检测时间有关的时间由局部计数器36当前显示的计数值,并将其存储在锁存器35中。局部计数器36用来对电压控制振荡器37提供的脉冲进行计数。计数器36是以模M计数的,它可以(但不是必需)和译码器中的相应的计数器(计数器23)的模数相等。如果M不同于N,那么其差值可以包含在误差等式中。
电压控制振荡器37受由时钟控制器39提供的经低通滤波器38滤波的误差信号的控制。误差信号以下述方式产生。将在时间n到达的SCR表示为SCRn,将在锁存器35中同时获取的局部计数值表示为LCRn。时钟控制器读SCR和LCR的连续值,并形成正比于差值的误差信号E: E ⇒ | SCR n - SCR n - 1 | - | LCR n - LCR n - 1 |
误差信号E用于调节电压控制振荡器37的频率趋向于等于该差值。如前所述,由于包含模计数器引起的负误差可以忽略。由时钟控制器39产生的误差信号可以是脉宽调制信号,它可以利用模拟部件组成的低通滤波器38变成一个模拟误差信号。
本系统的限制是系统两端的计数器对相同的频率或者甚至它们的倍数计数。这就需要电压控制振荡器的标称频率非常接近编码器的系统时钟的频率。
上述方法提供了相当快的同步,但是可能引起长时间的误差。长时间误差LTE正比于差值: LTE ⇒ | LCR n - LCR o | - | SCR n - SCR o |
例如,其中的SCRo和LCRo是第一次出现的SCR以及相应的接收机计数器中的锁存值。名义上误差信号E和LTE在分别的步骤中将发生变化。这样,一旦系统“被同步”,误差信号将在零点附近变动一个单位。优选的同步方法是以误差信号E启动对电压控制振荡器的控制,直到误差信号E中出现一个单位的变动,然后转换到用长时间误差信号LTE来控制电压控制振荡器。
可以用VCXO 37提供的系统时钟信号操作至少传输处理器和速率缓冲器。由于它在频率上至少与译码器系统时钟同步,所以实际上不存在由于时钟时序误差引起的速率缓冲器的上溢或下溢。
再次参考描述音频/视频同步的图2。其中的出现时间标记PTSvid是包括在与预定视频数据相关的压缩视频信号中的。PTSvid表示将要显示的相关视频的有关时间。类似地,压缩音频信号包括出现时间标记PTSaud,它与将在与各个PTSaud有关的时间重放的音频相关。由于各个取样是在不同的时刻确定的,所以在接收机PTSaud和PTSVid可以不直接进行比较,以提供A/V同步。各个PTS值与连续的时基进行比较,该时基是由VCXO 37提供的接收机的时钟。这是通过对系统时钟208产生的局部计数值LCR取样实现的,以便获取局部时间标记。
当与对应的PTS相关的数据出现时,对LCR进行取样。例如,当输出各个音频帧以便重放时,音频解压器212发出一个PTSaud。在这些时间,控制信号使锁存器220对LCR进行取样,其值将表示为LAS作为局部音频标记。类似地,当视频解压器提供一个视频帧以便显示时,它提供一个PTSvid和一个控制脉冲,使锁存器222存储LCR的当前值。这些LCR值是用于局部视频标记的指示LVS。
LAS和相应的PTSaud被送至减法器218的分别的输入端,减法器218根据以下关系式产生信号△A-PTS:
△A-PTS=PTSaud-LAS
LVS和相应的PTSvid被送至减法器217的分别的输入端,减法器217根据以下关系式产生信号△V-PTS:
ΔV-PTS=PTSvid-LAS
号ΔV-PTS和ΔA-PTS被送入下一个减法器对9的各个输入端,减法器219根据以下关系式产生A/V同步误差信号ERRPTS:
ERRPTS=ΔV-PTS-ΔA-PTS
音频和视频的同步要求A/V同步误差变为零。于是,当相应的音频和视频PTS的值之差等于相应的PTS出现之间的以局部基准为单位的时间,音频和视频信号将同步。
然而应该记住,如果同步误差超过根据该可用音频解码器存储器的一个特定值,则该音频和视频分量将不能被同步,并且该同步的企图将导致音频数据的丢失或不希望的再生人工失真音频的生产。所以,针对大于一个特定阈值的误差值来应该中止A/V同步。
基于误差信号ERRPTS,可以采用两种机制来调整A/V同步,跳跃和重复数据部分以及转变时钟偏差。跳跃音频的固定的间隔即“帧”,使音频数据流相对于视频信号提前了一个固定的间隔。重复(即在无数据的情况下的静音)使音频数据流相对于视频信号延迟了固定的间隔。跳跃和重复音频帧在许多情况下是听得见的,因此只能用于同步的粗调。即使如此,简短的跳跃或重复可以被优选来识别音频/视频同步误差。如果音频顿小于40毫秒,那么通过跳跃/重复的粗调来实现同步误差在+20毫秒内,这是在A/V同步的工业标准以内。然而;如果音频转变时基与信号源的时基不匹配,那么这种同步将变差。一旦粗略地调整了同步,音频转变时钟频率的变化将用于进一步改善A/V同步。
误差信号ERRPTS被加到滤波器和处理部件216。此处滤波器的功能是使信号ERRPTS变得平滑,以便最大限度地减小可由信号噪声产生的异常影响。部件216中的处理部分检验经过平滑处理的误差信号,确定是否应采用音频的跳跃/重复来进行音频和视频信号的同步粗调,和/或是否应对音频处理的频率进行调整,从而实现准确同步,或者这两种调整都不执行。如果确定必须进行同步粗调,那么处理器216向音频解压器212提供一个控制信号(S/R),使解压器跳跃或重复当前的解压音频帧。另外,或除了粗调之外,如果确定必须进行同步细调,那么处理器216向音频时基215提供一个控制信号,调整音频处理时钟信号的频率。
图4的流程图详细地示出了处理规则。系统在标以开始的400步骤启动后,系统监测(401)音频解压器是否出现PTSaud,并且如果检测到PTSaud,则在步骤403读出,并且获取和存储局部时钟基准LAS。如果没有出现PTSaud,那么系统在步骤402监测视频解压器是否出现PTSVid。如果出现PTSVid,则读出PTSVid,并且获取和存储局部时钟基准LVS。当PTSaud和PTSvid都已经在步骤405读出,那么根据下式计算ERRPTS:
ERRPTS=ΔV-PTS-ΔA-PTS
根据在该音频解码器中延迟存储存储器的大小,检查该误差信号的幅值(420)以便确定它是否大于一个预定的最大值。如果该误差大于此最大值,则在步骤421核查确定此条件已经存在多长时间。如果它是大于一个预定值,即可选择大于N秒的时间,则中止同步处理(422)。如果该条件已经存在了小于N秒,则在步骤406继续该同步。因为对于音频存储器该跳跃和重复函数不同地起作用,所以N秒的阈值可以针对误差信号的正和负值不同。
在步骤406检查该误差信号的幅值,以便确定它是否大于例如一个伴音帧间隔的一半。如果它大于音频帧周期的一半,那么在步骤407检验误差信号的极性。如果极性为正那么在步骤409重复当前的音频帧。如果极性为负,那么在步骤408跳跃当前的音频帧。跳跃或重复帧以后,系统返回到开始位置,等待下一次出现PTS。
在步骤406,如果误差信号的幅度小于音频帧周期的一半,那么在步骤410检验误差,确定它是否大于零。如果误差大于零,那么在步骤412检验误差,确定它是否小于前一个误差信号。如果小于前一个误差信号;则表示系统正趋于同步,并且不改变同步控制参数。系统返回到开始位置,等待下一次出现PTS。相反,如果误差超过前一个误差信号,那么在步骤414调整音频系统处理时钟减小其频率。
在步骤410,如果误差小于零(负),那么在步骤411确定它是否大于前一个误差信号。如果大于前一个误差信号,则同样表示系统正趋于同步,并且不改变同步控制参数。另外,如果当前误差信号小于前一个误差信号,那么系统进一步偏离频率,并在步骤413增大音频处理时钟频率。处理步骤411和413之后,系统返回,等待下一次出现PTS。在本例中应注意的是,系统通过跳跃或重复音频帧只进行粗调,直到A/V同步误差减小到小于音频帧周期的一半。
在另一实施例中,经滤波的误差信号与和各个音频帧的大小有关的预定阈值进行比较。如果误差信号小于阈值,则表示音频一视频时间误差小于一个音频帧,误差信号送至音频时基电路215,其中用它来调整音频信号处理(解压)时钟的频率。另外,如果误差信号大于阈值,那么可以通过音频帧周期来除误差信号,确定音频和视频信号未对准的音频帧的数目。商的整数部分送入音频解压器,使音频解压器跳跃或重复该数量的音频帧。误差信号的极性将确定是否音频帧将跳过或重复。名义上压缩数据在被解码之前就放在一个缓冲器存储器中,因此通过控制允许存储器读/写的命令,就能简单地跳跃或重复音频帧。
商的小数部分送入音频时基电路215,用它调整音频处理时钟,对A/V同步进行精细调整。
音频PTS的产生率与音频解压器的处理速度成正比。音频解压器的处理速度直接与用来操作音频解压器的时钟信号频率成正比。如果音频解压器的时钟频率与用来操作视频解压器的时钟无关,并且可细调,那么音频和视频PTS出现的相关速率便可调,并且A/V被准确同步。
解压音频信号送至数/模转换器(DAC)227。来自DAC 227的模拟输出信号再通过电阻器228送至模拟处理电路(未示出)。静音晶体管229的导电通路连接在电阻器228和地电位之间。晶体管的控制电极与阈值检测器225的输出端相连。大于一个Vbe的正控制电压使得晶体管229将来自DAC227的音频输出信号箱位在地电位,从而对音频信号静音。
典型的压缩音频信号将包括多个分量,如左声道信号、右声道信号等。为了简化起见,图2只示出了一个音频输出,然而每个音频通道将包括一个由公共静音控制信号控制的静音电路。
对音频信号的静音出于各种原因,不单是由于唇动同步的损失。本装置的独到之处在于它是基于唇动误差进行静音地
观众将注意到-20ms或+40ms的唇动同步误差。在所示的示范性系统中,如果唇动同步误差越过大约13ms时就对音频静音。选择13ms的阈值,它小于20ms但大于MPEG1的层Ⅱ音频帧(它是24ms)的一半。选择阈值略大于音频帧的一半是因为用A/V同步帧跳跃和重复,在半帧(12ms)初始的同步状态是可能的,而接近或小于12ms的阈值将导致同步,但导致音频静音。此外,由于时钟和PTS的选通脉冲取样不确定的缘故,等于帧一半的阈值将会因为在计算的唇动同步误差中的较小的波动而导致间歇静音。
静音控制信号是由阈值检测器225产生的,该检测器监测从减法器219得到的A/V同步误差信号。当误差信号超过对应于13ms的值时,产生静音控制值。为了使噪声或其它脉动条件不能引起产生错误的静音信号,在来自减法器219的误差信号进入阈值检测器225之前可以对其进行低通滤波。
从检测器225发出并在DAC227和音频解压器212终止的虚线箭头表示另外的静音可能性。例如,可以设计静音控制信号来禁止DAC227的输出或解压器212的输出。在任一种情况下,禁止功能将使得各个处理部件输出一个信号,其幅度值为输出信号动态范围的一半。图2的电路也表示通过视频DAC224的控制可以进行视频静音(或消隐)。
当同步距收敛太远时,可以中止静音控制。可以设计检测器把该误差信号与一个最大阈值比较,如果该误差信号超过此阈值、或如果它超过该最大阈值一个预定的时间、或如果静音出现简单地比一个预定间隔更长的时间,则中止静音。也可以由处理器216在步骤422提供一个静音中止控制。
图5示出另一个静音设计。在本实施例中,该由滤波器216产生的跳跃/重复(S/R)信号被使用作为一个基本的静音控制。此信号经过一个或门230和一个与门233耦合到静音电路。该与门233被用作对来自处理器216的一个SUSPEND MUTE(中止静音)信号的一个静音超越响应。与门233本质上是象征性的符号,因为静音的中止将可能是在该静音控制信号发生器自身之内完成的。如果在特定的系统中,用来调整音频时基的精细控制跨越包括至少一个音频帧的一半的范围,那么可以将阈值检测器231且包括进来监测音频时基精细控制信号,并产生辅助静音控制信号。该辅助控制信号也通过或门230送至静音电路。
图5的装置表示另一个可能的静音电路,包括与门226,用于有选择地将来自解压器对212的解压音频信号送至DAC227。名义上音频信号是双极性(AC)的,并在零值上下波动。当处于非耦合状态时,与门按要求输出零值,它是信号动态范围的中间值。
最近研制出了压缩A/V直接广播卫星系统,其中多个分成数据包的节目被分时多路复用,并通过一个转发器传输。特定的节目包括仅一个音频信号,避免了唇动同步问题。然而,如果系统时钟来同步,不希望的音频可能被重放。因此,可以包括另一个阈值检测器232来监测由图3所示的时钟控制器39产生的误差信号。当由控制器产生的误差信号表示频率偏离锁定状态例如0.2时,阈值检测器232产生一个静音控制信号。该静音控制信号送至或门230则进行音频静音;直到系统时钟基本与相应的编码系统时钟同步为止。类似地,可以连接检测装置来测量音频时基215的频率偏移,以便产生在门电路230中经过或逻辑运算的另一个静音信号。

Claims (11)

1.用于处理压缩的音频/视频信号的接收机装置,其特征在于:
一个检测器(200、202、206),用于提供所说的压缩音频/视频信号;
一个音频解压缩器(212),响应所说的压缩音频/视频信号,用于提供解压缩的音频信号;
一个视频解压缩器(214),响应所说的压缩音频/视频信号,用于提供解压缩的视频信号;
一个误差检测器(217-222),响应解压缩音频信号和解压缩视频信号提供的时间标记,用于产生一个误差信号,该误差信号是相关的解压缩音频和解压缩视频信号的非同步的一个度量;
一个处理器(216),响应所说的误差信号值的第一范围控制所说的音频解压缩器,跳跃或重复解压缩音频信号的片段,用于同步相关的解压缩音频和视频成份,以及响应大于所说的第一范围的误差信号,用于阻止相关的解压缩音频和视频分量的同步。
2.权利要求1的装置,其特征在于所说的处理器包括:
定时电路,针对定时大于所说的第一范围的所说的误差信号的持续时间;以及
当所说的误差信号的持续时间大于超过一个预定的时间周期的所说的第一范围时,其中所说的处理器阻止相关解压缩的音频和视频成份的同步。
3.权利要求1的装置,其特征进一步在于,响应所说的误差信号,静音电路用于对所说的误差信号的一个给定范围的解压缩音频信号执行静音。
4.权利要求3的装置,其特征在于所说的静音装置包括:
一个阈值检测器,当所说的误差信号大于和小于所说的预定门限值时,响应所说的误差信号,用于分别产生具有第一和第二状态的控制信号;和
信号箝位装置,响应所说的控制信号,当所说的控制信号展现所说的第二状态时用于传送所说的解压缩音频信号,而当所说的控制信号展现所说的第一状态时用于提供针对所说的解压缩音频信号的代替值。
5.权利要求4的装置,其特征进一步在于:
同步电路,响应所说的压缩音频/视频信号,用于产生一个系统时钟信号,其具有与使用在所说压缩音频/视频信号的产生中的一个编码器系统时钟信号的一个预定关系,还包括一个检测器,用于提供一个进一步的误差信号,该误差信号是所说的系统时钟信号的非同步的一个度量;
另一个阈值检测器,当所说的另一个误差信号大于和小于所说的预定门限值时,响应所说的另一个误差信号,用于分别产生具有第一和第二状态的控制信号;和
或运算电路,用于对来自所说的阈值和另一个阈值检测器的所说控制信号进行组合。
6.权利要求1的装置,其特征在于所说的误差检测器是一个唇动同步检测器。
7.权利要求1的装置,其特征在于,所说的音频/视频信号的音频和视频分量包括以预定的时间确定的各时间标记PTSaud和PTSvid,并且与一个编码器系统时钟相关,并且所说的音频和视频解压缩器利用相关的解压缩音频和视频信号提供所说的时间标记PTSaud和PTSvid,所说的误差检测器包括:
一个本地的时钟信号的信源;
确定装置,用于在所说本地时钟信号的周期中确定在相应的时间标记PTSaud和PTSvid之间出现的时间T;
计算装置,用于计算在相应的时间标记PTSaud和PTSvid之间的差值,并且把这种差值与所说时间T比较,以便产生一个A/V同步误差信号。
8.权利要求1的装置,其特征在于,所说的音频/视频信号的音频和视频分量分别包括在预定的时间确定的时间标记PTSaud和PTSvid,并且与一个编码器系统时钟相关,并且所说的音频和视频解压缩器利用相关的解压缩音频和视频信号提供所说的时间标记PTSaud和PTSvid,并且所说的检测装置产生所说的误差信号作为在用于相关的解压缩音频和视频的所说的PTSaud和PTSvid之间的差值的一个函数。
9.一种在一个压缩音频/视频接收机中同步音频和视频分量的方法,其特征在于:
确定代表解压缩音频和视频信号的非同步定时的值;
如果所说的值小于一个预定的时间,则实现解压缩音频和视频的同步,并且提供同步或部分同步的解压缩音频和视频输出信号;和
如果所说的值大于所说的预定的时间,则防止/中止解压缩音频和视频信号的同步处理,并且提供非同步的解压缩音频和视频输出信号。
10.权利要求9的同步音频和视频分量的方法,进一步特征在于步骤:确定大于所说的预定的时间的持续时间值;和
只有当所说的持续时间大于一个预定持续时间时才中止所说的解压缩音频和视频信号的同步。
11.权利要求9的同步音频和视频分量的方法,进一步特征在于步骤:
把代表定时的值与一个值的范围比较;
如果所说的值大于一个进一步的预定的时间,则静音的所说的音频信号,并且实现所说的系统的同步。
CNB001216635A 1999-07-21 2000-07-21 用于压缩的音频/视频信号接收机的同步装置和方法 Expired - Lifetime CN1160696C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/358,070 US6583821B1 (en) 1999-07-16 1999-07-21 Synchronizing apparatus for a compressed audio/video signal receiver
US09/358,070 1999-07-21
US09/358070 1999-07-21

Publications (2)

Publication Number Publication Date
CN1282068A true CN1282068A (zh) 2001-01-31
CN1160696C CN1160696C (zh) 2004-08-04

Family

ID=23408175

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB001216635A Expired - Lifetime CN1160696C (zh) 1999-07-21 2000-07-21 用于压缩的音频/视频信号接收机的同步装置和方法

Country Status (11)

Country Link
EP (1) EP1071290A3 (zh)
JP (1) JP4903930B2 (zh)
KR (2) KR100805757B1 (zh)
CN (1) CN1160696C (zh)
BR (1) BR0003012A (zh)
CA (1) CA2313979C (zh)
HK (1) HK1034348A1 (zh)
MX (1) MXPA00007132A (zh)
MY (1) MY120627A (zh)
RU (1) RU2262211C2 (zh)
TR (1) TR200002156A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055420A1 (fr) * 2006-11-09 2008-05-15 Huawei Technologies Co., Ltd. Procédé de synchronisation entre différents flux de média et un système
CN1720749B (zh) * 2002-12-04 2010-12-08 三叉微系统(远东)有限公司 自动测试音频/视频同步的方法
CN103155584A (zh) * 2010-10-15 2013-06-12 汤姆逊许可公司 同步多媒体流的方法和对应设备
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584615B1 (ko) * 2004-12-15 2006-06-01 삼성전자주식회사 오디오/비디오 동기 자동 조정 장치 및 그 방법
JP2008035118A (ja) * 2006-07-27 2008-02-14 Nec Electronics Corp 情報処理装置および情報処理方法
CN101340591B (zh) * 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置
ES2434828T3 (es) * 2008-10-06 2013-12-17 Telefonaktiebolaget L M Ericsson (Publ) Método y aparato para el suministro de audio por multicanales alineados
CN101577715A (zh) * 2009-06-19 2009-11-11 腾讯科技(深圳)有限公司 一种同步网络游戏时间的方法及装置
EP3197169A1 (en) * 2016-01-25 2017-07-26 Thomson Licensing Method for audio detection and corresponding device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467139A (en) * 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
US5583652A (en) * 1994-04-28 1996-12-10 International Business Machines Corporation Synchronized, variable-speed playback of digitally recorded audio and video
US5594660A (en) * 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5818539A (en) * 1996-03-29 1998-10-06 Matsushita Electric Corporation Of America System and method for updating a system time constant (STC) counter following a discontinuity in an MPEG-2 transport data stream
US6583821B1 (en) * 1999-07-16 2003-06-24 Thomson Licensing S.A. Synchronizing apparatus for a compressed audio/video signal receiver

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720749B (zh) * 2002-12-04 2010-12-08 三叉微系统(远东)有限公司 自动测试音频/视频同步的方法
WO2008055420A1 (fr) * 2006-11-09 2008-05-15 Huawei Technologies Co., Ltd. Procédé de synchronisation entre différents flux de média et un système
CN101371488B (zh) * 2006-11-09 2013-01-30 华为技术有限公司 一种不同媒体流间的同步方法及系统
CN103155584A (zh) * 2010-10-15 2013-06-12 汤姆逊许可公司 同步多媒体流的方法和对应设备
US9729762B2 (en) 2010-10-15 2017-08-08 Thomson Licensing Method for synchronizing multimedia flows and corresponding device
CN109906613A (zh) * 2016-09-14 2019-06-18 Dts有限责任公司 音频和视频的多模式同步渲染
US11184661B2 (en) 2016-09-14 2021-11-23 Dts, Inc. Multimode synchronous rendering of audio and video

Also Published As

Publication number Publication date
BR0003012A (pt) 2001-03-13
EP1071290A3 (en) 2003-05-28
HK1034348A1 (en) 2001-10-19
CA2313979C (en) 2012-06-12
JP2001078185A (ja) 2001-03-23
JP4903930B2 (ja) 2012-03-28
MXPA00007132A (es) 2003-12-11
CN1160696C (zh) 2004-08-04
RU2262211C2 (ru) 2005-10-10
KR20010015380A (ko) 2001-02-26
KR100805757B1 (ko) 2008-02-21
TR200002156A2 (tr) 2001-02-21
KR20070105947A (ko) 2007-10-31
EP1071290A2 (en) 2001-01-24
MY120627A (en) 2005-11-30
CA2313979A1 (en) 2001-01-21

Similar Documents

Publication Publication Date Title
CN1088305C (zh) 压缩音频/视频信号接收机的静噪装置
US5905768A (en) MPEG audio synchronization system using subframe skip and repeat
US5588029A (en) MPEG audio synchronization system using subframe skip and repeat
US6081299A (en) Methods and systems for encoding real time multimedia data
JP3976759B2 (ja) 音声信号と映像信号を同期させる装置
CN1236620C (zh) 视频信号压缩装置及其压缩方法
EP2038886B1 (en) Clock drift compensation techniques for audio decoding
US20030123556A1 (en) Information processing apparatus
EP1443770A2 (en) Encoder and method for encoding
EP2268036A3 (en) Video signal encoding and decoding method
CN1160696C (zh) 用于压缩的音频/视频信号接收机的同步装置和方法
EP1860884A1 (en) Video processing
CN1703723A (zh) 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
CN1156162C (zh) 一种实现音频/视频信号同步的装置和方法
US20030208359A1 (en) Method and apparatus for controlling buffering of audio stream
CN101076120B (zh) 维持音频/视频同步的健壮系统
JP3299185B2 (ja) 符号化装置
US7903774B2 (en) Method for creating a system clock in a receiver device and corresponding receiver device
KR100311464B1 (ko) 디지탈티브이의오디오/비디오동기장치
JPH10164556A (ja) デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム
JP2000032397A (ja) 音声画像同期再生装置
JP4026556B2 (ja) データ伝送装置
JP3958531B2 (ja) 同期制御装置
KR20070056547A (ko) 신호의 처리방법 및 장치
JPH114433A (ja) 画像受信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1034348

Country of ref document: HK

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING S.A.

Address before: France Bologne J Dicks

Patentee before: THOMSON LICENSING S.A.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190131

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190131

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING S.A.

CX01 Expiry of patent term

Granted publication date: 20040804

CX01 Expiry of patent term