CN1318947A - 改变音频数据编码或视频数据编码输出延迟的方法和装置 - Google Patents

改变音频数据编码或视频数据编码输出延迟的方法和装置

Info

Publication number
CN1318947A
CN1318947A CN01110074A CN01110074A CN1318947A CN 1318947 A CN1318947 A CN 1318947A CN 01110074 A CN01110074 A CN 01110074A CN 01110074 A CN01110074 A CN 01110074A CN 1318947 A CN1318947 A CN 1318947A
Authority
CN
China
Prior art keywords
data
delay
output
output time
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01110074A
Other languages
English (en)
Other versions
CN1176550C (zh
Inventor
乌尔里希·施赖伯
斯特凡娜·舒凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Thomson Broadcast Systems
Original Assignee
Deutsche Thomson Brandt GmbH
Thomson Broadcast Systems
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH, Thomson Broadcast Systems filed Critical Deutsche Thomson Brandt GmbH
Publication of CN1318947A publication Critical patent/CN1318947A/zh
Application granted granted Critical
Publication of CN1176550C publication Critical patent/CN1176550C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Color Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

为了进行TV广播,可以使用与视频编码器和音频编码器相关的编码系统。在复用和发送音频流和视频流之前,调整音频延迟和视频延迟。根据时间戳机制,将所产生的输入时间戳与待编码的数据链接,并在输出之前,用通过数据延迟时间常数由输入时间戳获得的输出时间戳代替。输入时间戳用于控制编码处理过程的延迟。为了允许输出延迟可转换,可以改变时间延迟常数。已指定的输出时间戳保持不变。对于已经指定输出时间戳的数据,利用新延迟常数计算输出时间戳。

Description

改变音频数据编码或视频数据编码 输出延迟的方法和装置
本发明涉及一种改变音频数据编码或视频数据编码的输出延迟的方法并涉及改变音频数据编码或视频数据编码的输出延迟的装置。
具有相关视频编码器和音频编码器的编码系统被用于各种应用中，例如用于电视广播目的。在这种情况下，例如根据选择的位速率，视频编码器可以具有至多1.5秒的可变编码延迟。因此，由于消费产品解码器缓冲器的限制，所以，在复用和发送音频流和视频流之前，调整音频延迟和视频延迟。
在第99250009号欧洲专利申请中可以发现利用时间戳机制控制音频解码器内的延迟的基本原理。在多信道音频解码器板中，所产生的输入时间戳至少在一个输入处理级与待编码的音频数据帧链接，其中，输入时间戳或从输入时间戳获得的时间戳保持与处理过程中的不同处理级的相应处理帧数据链接，但是至少在最后处理级被输出时间戳替换。为了控制处理过程中的总延迟，可以对在每个这些处理级中与待处理的当前帧数据链接的相应的时间戳信息进行研究。
为了允许根据操作员的选择可转换视频编码器和音频编码器的位速率，例如为其它TV信道留出空间，可以要求音频编码器的延迟可转换。然而，第99250009号欧洲专利未披露如何控制这种延迟变化。
本发明的一个目的是披露一种用于改变音频数据编码或视频数据编码的输出延迟方法，具体地说是一种为了根据操作员的选择可转换视频编码器和音频编码器的位速率的方法。利用权利要求1所披露的方法可以实现此目的。
本发明的进一步目的是披露一种利用本发明方法改变音频数据编码或视频数据编码的输出延迟的装置。利用权利要求7披露的装置可以实现此目的。
总之，根据本发明方法，产生的输入时间戳与待编码的音频数据和视频数据链接并用于控制编码处理过程的延迟。通过利用数据延迟常数，输出时间戳由输入时间戳获得并被指定到编码数据用于表示输出时间。在输出之前，将具有指定输出时间戳的编码数据缓存，其中为了改变输出延迟，改变数据延迟常数。已经指定的输出时间戳保持不变。对于还未指定输出时间戳的数据，利用新数据延迟常数计算输出时间戳。
在各相关权利要求中披露了本发明方法的附加优选实施例。
附图的简要说明
现在参考附图说明本发明的实施例，其中：
图1示出改变输出延迟方法的原理流程图；
图2示出利用本发明方法的4信道音频编码器的原理方框图。
典型实施例
图1示出改变输出延迟方法的原理流程图。对于音频采样率或音频率，在第一方法步骤1，链接或指定输入时间戳信息ITS。然后，在方法步骤2，对音频采样率或音频率进行编码。在方法步骤3，对它进行校验，是否需要改变用户确定的延迟D。如果需要，则在方法步骤4，改变输出时间戳的处理方程OTS=ITS+D。然后，在方法步骤5，用输出时间戳OTS代替输入时间戳信息ITS，之后，在方法步骤6进行缓存。在编码处理的输出端进行缓存，因为在输出端需要的存储量更低。因此，当音频解码器接收输入数据时，通常立即对输入数据进行编码，并在编码后，特别地以传输流数据包的形式将它们存储到延迟缓冲器。
在方法步骤7校验OTS，然后在方法步骤9将该数据送到输出端。如果在连续的OTS中产生间隙，则在方法步骤8插入填充数据或0数据。相反，如果在延迟缓冲器中发现两个具有相同或重叠的OTS数据包，则需要在方法步骤8进行特殊处理。一种可能性是将表示已经过去的输出时间的数据包丢弃。另一种可能性是先改变差时，然后对这种情况进行处理以将另外的数据写入输出延迟缓冲器，并且对所有后续数据包的OTS计算均使用新延迟时间。最后，在方法步骤9将数据送到输出端。
以下将更详细地特别说明在方法步骤8的数据处理过程，例如，延迟的增加或减少分别是0.3秒并且初始延迟为0.5秒。
对于延迟增加情况，延迟缓冲器存储等于0.5秒的当前有效延迟时间的特定数据并且此数据将被增加到0.8秒。这意味着，当输入到延迟缓冲器的数据连续时，需要将延迟缓冲器输出的编码数据有效停止0.3秒。
延迟缓冲器内的数据是代表延迟缓冲器连续的刚刚输出的已编码数据。因此，以这样的方式管理延迟缓冲器，即在请求改变延迟时间后，延迟缓冲器连续发送延迟0.5秒的数据直到延迟缓冲器内的所有数据在改变延迟时间时全部被输出。然后，延迟缓冲器停止输出，这意味着，或者将填充数据、0数据送到发射机/解码器链，或者无数据包送到发射机/解码器链。然后根据增加延迟缓冲器的内容的要求，停止持续0.3秒。
通过使用上述基于延迟控制机制的时间戳可以实现此性能。利用指示将数据包从延迟缓冲器中输出并返回到发射机时的时间点的输出时间戳来标记在给定时间保存到延迟缓冲器内的所有输出块，即TS数据包。不需要对已在延迟缓冲器内的数据包做任何改变，按要求，它们在产生时就被输出。操作员直接或间接改变音频延迟D时，立即改变输出时间戳的处理方程OTS=ITS+D，即将所有的OTS时间戳增加0.3秒。输出级将利用“旧”延迟计算的所有数据包从延迟缓冲器一个接一个地顺序输出。然后，在0.5秒后，在连续的OTS中将存在间隙，即下一个数据包将指出表示比没有改变延迟的数据包增加了0.3秒的OTS。然后，输出级可以发送填充数据或0数据甚或无数据包发送。
因此，对于用户，即在解码器一侧听的消费者，在请求改变延迟后，增加延迟的净效果将是：
●对于当前0.5秒的有效延迟时间，音频节目仍正常连续；
●音频节目短暂静音0.3秒；以及
●对于0.8秒的新延迟节目正常连续。
在操作员一侧，请求改变延迟时，发生如下情况：
●将已输入到编码器的所有节目部分连续发送到用户；
●在延迟转换之后输入的所有音频部分将从用户侧的先前部分开始被短暂间歇分离。
操作员可以利用节目间隙或利用为了改变延迟时间在相异节目部分之间进行转换的瞬间可以实现对用户的最小刺激。
此外，减少延迟时，延迟缓冲器存储一定数量的数据。现在，可以将延迟从0.5秒减少到0.2秒。在这种情况下，当停止将另外输入数据写入延迟缓冲器时，输出处理必须正常继续进行0.3秒。因此，将在编码器的输入端可用的短时节目资料送到用户。总之，用户侧的音频节目是连续的，但是将信号分割为短段。
利用基于延迟控制的相同时间戳可以减少延迟。在发出请求改变音频延迟后，立即以这样的方式改变对输出时间戳OTS的计算，即OTS恰好指出比不改变延迟提前0.3秒的点。
如果连续将数据数据包写入延迟缓冲器，这样会导致在延迟缓冲器中发现两个具有相同或重叠的OTS。由于数据包在延迟缓冲器内顺序排列，所以在请求改变音频延迟之前，正常连续输出“旧”数据包直到延迟缓冲器内的所有数据在请求改变时被输出。之后，下一个数据包将指出以及过去的0.3秒输出时间OTS，因此，输出驱动级将丢弃这些数据包。
处理该情况的另一种方法是在开始请求改变0.3秒差时不将另外数据写入输出延迟缓冲器，并将新延迟时间用于对所有后续数据包进行OTS计算。在这种情况下，编码器的输出级将发现近乎连续的OTS序列。
因此，请求改变延迟之后，对于用户(在解码器侧听的消费者)，减少延迟的净效果是：
●音频节目确实正常持续0.5秒的当前时间；
●然后节目正常持续0.8秒的新延迟，但是具有0.3秒音频节目跳跃的延迟差。
在操作员一侧，请求改变时会发生下列情况：
●将已输入到编码器的所有节目部分连续发送，即正常发送到用户；
●在用户侧不会听到在请求改变等于0.3秒延迟时差的后续时长之后立即送到编码器的节目资料。
●经过此0.3秒时长之后，在用户侧可以正常听到输入到编码器的所有音频节目部分。
因此，操作员可以利用节目内容转换来改变延迟时间，并且可以简单通过利用延迟时差延迟下一个节目的开始确保对于听众不丢失任何节目。利用编码器，即适当的淡入淡出可以选择性地将听众可听到的音频节目的所有断续性缓和。增加延迟：在间隙之前淡出，在间隙之后淡入。减少延迟：在跳跃部分之前淡出，在跳跃之后淡入。对于转换音频节目的同时改变延迟的情况，这可能没有必要，因为音频节目中可能含有这种转换。
如图2所示，本发明方法可以应用于音频编码器。编码器接收四个立体声PCM输入信号PCMA、PCMB、PCMC和PCMD。例如，MPEG音频数据是基于帧的数据，各帧含有1152个单声采样或立体声采样。图2所示的编码器操作系统中可以包括6个DSP(未示出)用于对4个MPEG信道编码。这6个DSP构成包括图2所示的技术性能的软件编码器。例如，适当类型的DSP是ADSP 21060或ADSP 21061或ADSP 21062型模拟装置。作为一种变换实施例，可以用硬件实现图2所示的技术性能。
利用其中各缓冲器被指定到一个或一些专用帧的FIFO缓冲器，可以使在6个DSP上，或在相应硬件上运行的软件实现同步。这意味着，在某个瞬时，当前帧以及先前帧、悬而未决的可以缓冲器的数目均出现在处理级。
在某些处理级之间，可以插入可以进行异步读、写操作的异步缓冲器ASBUF。在其它级之间，同步缓冲器BUF足够。PCM输入信号PCMA、PCMB、PCMC和PCMD分别经过异步缓冲器传送各自的转换器CONA、CONB、CONC和COND。在这种转换器中，对待编码的音频采样进行整数浮点表示法转换。也可以用编码器处理整数表示法音频采样。在这种转换器中，还可以计算帧中的一种或多种能级，例如，所帧有采样的能量或所有帧采样的平均能量。可以将这些能量值用于后续心理声学处理过程。
此外，在这种转换器中，可以将可能采用的编码参数与帧音频数据链接。在各自的参数编码器PENCA、PENCB、PENCC和PENCD中，如上所述，可以将初始编码参数进行转换并分别反馈到CONA、CONB、CONC和COND。
CONA、CONB、CONC和COND的输出数据通过异步缓冲器并行反馈到分波段滤波器SUBA、SUBB、SUBC和SUBD并分别送到第一左右信道心理声学计算器Psycho1A_L、Psycho1A_R、Psycho1B_L、Psycho1B_R、Psycho1C_L、Psycho1C_R、Psycho1D_L和Psycho1D_R。分波段滤波器将全部音频频谱分为可以使用FFT的频带，并且分波段滤波器还可以计算频带或子带内的最大参数或参数换算系数。可以在频带中进行归一化处理。分波段滤波器考虑上述时间戳信息以及可以从相应的上游异步缓冲器中读取的相关编码参数。第一心理声学计算器进行具有例如1024采样长度的FFT并确定当前掩蔽信息。每个第一心理声学计算器之后可以分别具有第二心理声学计算器Psycho2A_L、Psycho2A_R、Psycho2B_L、Psycho2B_R、Psycho2C_L、Psycho2C_R、Psycho2D_L和Psycho2D_R，用它们估计在分波段滤波器计算的最大参数或参数换算系数。第一和第二心理声学计算器考虑上述时间戳信息以及可以从相应的上游异步缓冲器中读取的相关编码参数。将Psycho2A_L、Psycho2A_R、Psycho2B_L、Psycho2B_R、Psycho2C_L、Psycho2C_R、Psycho2D_L和Psycho2D_R的输出信号通过缓冲器分别用于定位器和量化器Bal/Q/E_A、Bal/Q/E_B、Bal/Q/E_C和Bal/Q/E_D用于确定位数并量化相关分波段滤波器产生的音频数据系数。此外，在第二心理声学计算器内还可以计算在第一心理声学计算器内计算的内容并因此可以省去第一心理声学计算器。
最后，Bal/Q/E_A、Bal/Q/E_B、Bal/Q/E_C和Bal/Q/E_D的输出通过异步缓冲器并分别通过输出接口AES-EBU_A AES-EBU_B、AES-EBU_C和AES-EBU_D，这些输出接口分别发送编码器立体声输出信号PCM_Out_A、PCM_Out_B、PCM_Out_C和PCM_Out_D。这些输出接口符合IEC 958标准。
视频编码器包括如下几级：块差级、DCT(离散余弦变换)、量化以及反馈回路内的反量化、反DCT、其输出被输入到块差级的运动补偿插值，其中量化输出可以是在最后输出之前编码并缓存的VLC(可变长度编码)，并且缓冲器填充电平以这样的方式控制量化，即尽可能掩蔽编码的人为因素。
在此编码器中，需要下列单元：
●系统时基，提供系统定时，对包括输入级和输出级的所有级发送唯一数值；
●硬件和/或软件工具，将系统时基与输入数据关联以获得足够精度的输入时间戳(ITS)；
●硬件和/或软件工具，根据输出时间戳(OTS)，将系统时基与数据输出关联以获得足够精度的输出。
以下列方式使用这些单元：
a)系统的各输入接口，输入数据涉及系统定时器，即与输入数据一起获得输入数据时间戳并被指定到数据帧。因此，例如使用被采样的音频数据块或帧的第一采样的采样时刻的系统定时。
b)在具有多个输入的情况下，在输入时间戳给定的时间通过信道可以重新调整输入数据块。
例1：分配到几个双信道接口的多信道音频输入。
例2：通过信道，根据严格定义的时间关系将多个立体声编码器的位流输出多路传输到MPEG TS(传输流)。即相同延迟可能性。
c)根据输入时间戳ITS和预期的总延迟D，对输出数据计算输出时间戳OTS。
在上述最先说明的处理情况下，即系统对各输入数据块计算一个输出数据块，由OTS(n)=ITS(n)+D给出各输出端口的预期输出时间，n=0、1、2…代表数据块号。
在每个输入数据块产生几个输出数据块的情况下，甚或在产生的输出块为非整数情况下，可以根据相应的时间比例插入各输出块OTS。例如MPEG编码器1152采样输入，或具有一个或多个ESP(基本流数据包)的MPEG PES数据包以及其数据包具有188字节长度的MPEG TS传输流，即对于各每个采样帧，需要传输3至7个TS数据包。
d)对于它们与上述图1详细描述的本系统定时有关的相关OTS，当通过处理级将输出数据块送到输出缓冲器时，各输出接口检验输出数据块。根据应用，如果OTS指出已经通过时刻，则可以立即丢弃输出数据块或立即输出。如果OTS指向未来时刻，则输出级处于等待状态直到到达该时刻并且在等待期间或者不输出或者输出定义的填充类型。
可以使用一对相关装置，正如待执行的I/O处理所要求的那样，可以以不同的组合方式使用它们。
例如在最小硬件情况下，系统将单个通常作为各DSP一部分的硬件定时器与某种规则、受控输出驱动器软件敏化配合使用。然后，由DSP执行剩余的延迟控制。总之，需要两种定时器功能：
●‘getTime()’功能，该功能允许软件请求实际系统定时。收到(DMA或INT)各输入数据块的开始或结束后，getTime()’功能可以用于获得该输入数据块的ITS。
●在发送已经完成相应处理的输出块之前，输出功能需要某些延迟。这或者可以以轮询的方式实现，即如果可以使用某种周期敏化，可以通过对OTS周期控制实际系统定时实现，或者可以利用基于延迟功能的专用定时器实现，该专用定时器在可定义延迟‘interruptAfier(DELAY)’或‘threadActivityAfter(DELAY)’功能之后产生中断。
可以使用象逆向计数器一样运行、具有到0中断以及作为DSP的内置功能的输入DMA块和输出DMA块完成中断的单个硬件定时器。
单个硬件定时器可以提供‘interruptAfter(DELAY)’功能和‘getTime()’功能，其中对于getTime()’功能，将加载到定时器的后续延迟时间累加获得连续系统定时并且其中可以并行运行几个‘interruptAfter(DELAY)’功能。
在其各DSP实现自身定时，但是根据它们之间通过不同DSP的延迟要求分配输入和输出的多DSP系统情况下，存在定时器同步问题。此问题可以利用(例如：10ms长度的)专用周期中断信号解决，将该专用周期中断信号施加到系统内的所有DSP并用于使系统定时重新同步。计数器输出字可以具有iiii.ffff的格式，其中可以将iiii理解为整数部分，将ffff理解为小数部分。每隔10ms,iiii递增‘1’。将此事件传送到DSP并进行计数。DELAY的最大可控值依赖于iiii的字长度。因此，中断指出重新同步时间，并且在中断期间，将此时的主值iiii从一个主DSP传送到所有其它DSP。在此瞬时，将ffff设置为0。
当在上述例子情况中说明的延迟控制仅需要最少硬件而因此将大多数工作留给(更廉价、更灵活的)软件处理时，缺点是延迟时间精度受例如中断等待时间、最长中断失效时间以及在多DSP系统情况下的总线仲裁时间的限制。如果实现的精度不能满足要求，则可以采用硬件增强的方法，硬件增强的方法可以使获得与系统定时相关的ITS和在与系统定时相关的OTS时的输出的处理过程的精度更高。利用软件确定粗略时间点而利用专用硬件建立准确时间点的组合解决方案可以实现一种在要求的DSP反应时间(与硬件比较趋于较慢)与硬件复杂性(时间越长越趋于复杂)之间的折衷方案。
通过在DSP之间进行联络可以防止在与最后处理级有关的缓冲器开始理论溢出并进入与先前处理级有关的缓冲器。
用于改变延迟的本发明方法还可以应用于单个DSP系统并可以应用于任何其它类型的实时处理。
在简化的应用中，例如在AC-3解码器中，根据对各块的处理时间必须比帧时长短的实时限制，在收到之后计算单个数据帧是通常采用的方法。可以将该方法扩展到具有更多分布处理过程的解决方案，分布处理过程包括划分为几个后续处理级，甚至分配到几个DSP。在这种情况下，可以迫使各处理级进入严格定义的‘时隙’，其中对各处理级的处理时间必须短于时隙长度。相反，对于上述首先说明的解决方案，不是单一时间限制问题，而是每个时隙/处理级会存在时间限制问题。
可以要求编码器能够根据不同的表明参数运行，因为MPEG允许例如各种采样频率和全数据速率。
本发明具有在操作员改变延迟时可以确保最短中断时长的优势。
本发明可以用于确保任意可变位速率编码器或需要可变处理时间的编码器具有固定编码延迟而非可变编码延迟。
本发明还特别可以应用于对MPEG 1、2或3层、数字视频广播DVB进行音频编码和解码的MPEG 1、2和4标准、应用于AC-3、MD以及AAC处理、应用于DVD处理以及涉及音频数据编码与解码的因特网应用。

Claims (7)

1．一种改变音频数据编码或视频数据编码的输出延迟的方法，其中所产生的输入时间戳与待编码的音频数据或视频数据链接并被用于控制编码过程的延迟，其中利用时间延迟常数由输入时间戳获得输出时间戳，将输出时间戳指定到编码数据用于指出输出时间，并且其中具有指定输出时间戳的编码数据在输出之前被缓存，其特征在于，为了改变输出延迟可以改变所述数据延迟常数，已指定的输出时间戳保持不变，并且对于已指定输出时间戳的数据，利用新数据延迟常数计算输出时间戳。
2．根据权利要求1所述的方法，其中在表现出延迟增加的输出时间戳序列内的间隙期间，发送填充数据或0数据。
3．根据权利要求1或2所述的方法，其中对于在延迟减少时出现的具有相同输出时间戳或重叠时间戳的数据，将后面指出已经过去的输出时间戳的数据丢弃。
4．根据权利要求1或2所述的方法，其中先请求将延迟改变对应于旧数据延迟常数与新数据延迟常数之间的差值，然后为了减少延迟，不将数据进一步写入输出延迟缓冲器，并且其中将新数据延迟常数用于对所有后续数据计算输出时间戳。
5．根据权利要求1至4之任一所述的方法，其中利用编码器可以缓和音频数据或视频数据的断续性。
6．根据权利要求1至5之任一所述的方法，其中通过在间隙或跳跃部分之前进行淡入和在间隙或跳跃部分之后进行淡出可以缓和断续性。
7．根据权利要求1至6之任一所述的方法实现的装置。
CNB011100745A 2000-03-29 2001-03-29 改变音频数据编码或视频数据编码输出延迟的方法和装置 Expired - Fee Related CN1176550C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00400854.6 2000-03-29
EP00400854A EP1139665A1 (en) 2000-03-29 2000-03-29 Method and apparatus for changing the output delay of audio or video data encoding

Publications (2)

Publication Number Publication Date
CN1318947A true CN1318947A (zh) 2001-10-24
CN1176550C CN1176550C (zh) 2004-11-17

Family

ID=8173619

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011100745A Expired - Fee Related CN1176550C (zh) 2000-03-29 2001-03-29 改变音频数据编码或视频数据编码输出延迟的方法和装置

Country Status (7)

Country Link
US (1) US6891573B2 (zh)
EP (1) EP1139665A1 (zh)
JP (1) JP2001313630A (zh)
KR (1) KR100728245B1 (zh)
CN (1) CN1176550C (zh)
AT (1) ATE470312T1 (zh)
DE (1) DE60142272D1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100534177C (zh) * 2002-11-29 2009-08-26 索尼株式会社 编码设备和方法
CN101248679B (zh) * 2005-09-06 2010-07-14 日本电信电话株式会社 视频通信品质推测装置、方法
CN101180887B (zh) * 2005-05-24 2010-09-29 Nxp股份有限公司 用于音频视频处理系统的设备
CN102857333A (zh) * 2011-06-28 2013-01-02 富士通株式会社 对来自传感器网络的数据包进行同步的装置和方法
CN108282720A (zh) * 2017-01-05 2018-07-13 北京小鸟听听科技有限公司 一种音频数据流的传输方法及装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10031355A1 (de) * 2000-06-28 2002-01-17 Grundig Ag Verfahren und Vorrichtung zur zeitsynchronen Weiterleitung von Signalen
US7849152B2 (en) * 2002-06-07 2010-12-07 Yahoo! Inc. Method and system for controlling and monitoring a web-cast
JP3644503B2 (ja) 2002-10-01 2005-04-27 日本電気株式会社 無線端末およびそのエンド間遅延制御方法とプログラム
JP4872253B2 (ja) * 2004-10-12 2012-02-08 ソニー株式会社 多重化装置、多重化方法、プログラム、および記録媒体
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method
CN100579146C (zh) * 2005-09-02 2010-01-06 深圳市东进通讯技术股份有限公司 综合电信平台中的模块配置管理方法
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
EP2011332B1 (en) 2006-04-18 2012-05-30 Thomson Licensing Method for reducing channel change times in a digital video apparatus
US7908147B2 (en) 2006-04-24 2011-03-15 Seiko Epson Corporation Delay profiling in a communication system
JP4999018B2 (ja) 2006-11-07 2012-08-15 トムソン ライセンシング チャンネル変更時間を低減し且つチャンネル変更期間に於いてオーディオ／ビデオ・コンテンツを同期させる方法
US20110293021A1 (en) * 2010-05-28 2011-12-01 Jayant Kotalwar Prevent audio loss in the spliced content generated by the packet level video splicer
JP6275506B2 (ja) * 2014-02-21 2018-02-07 ルネサスエレクトロニクス株式会社 コンテンツ出力装置
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
WO2019091576A1 (en) * 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483878A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
JP2022107993A (ja) * 2021-01-12 2022-07-25 ヤマハ株式会社 信号処理方法、信号処理装置、および信号処理プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486864A (en) * 1993-05-13 1996-01-23 Rca Thomson Licensing Corporation Differential time code method and apparatus as for a compressed video signal
US5467139A (en) * 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
US5566174A (en) * 1994-04-08 1996-10-15 Philips Electronics North America Corporation MPEG information signal conversion system
US5694174A (en) * 1994-10-21 1997-12-02 Nec Corporation Television system capable of synchronizing a receiver with a transmitter by using a reference signal having a varying phase angle
JP3446372B2 (ja) * 1994-11-14 2003-09-16 ソニー株式会社 ディジタルデータ記録／再生装置および方法
US5913031A (en) * 1994-12-02 1999-06-15 U.S. Philips Corporation Encoder system level buffer management
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
US5793927A (en) * 1995-06-07 1998-08-11 Hitachi America, Ltd. Methods for monitoring and modifying a trick play data stream to insure MPEG compliance
US5862140A (en) * 1995-11-21 1999-01-19 Imedia Corporation Method and apparatus for multiplexing video programs for improved channel utilization
US6836295B1 (en) * 1995-12-07 2004-12-28 J. Carl Cooper Audio to video timing measurement for MPEG type television systems
US6330033B1 (en) * 1995-12-07 2001-12-11 James Carl Cooper Pulse detector for ascertaining the processing delay of a signal
JPH1051469A (ja) * 1996-08-02 1998-02-20 Nec Corp Ａｔｍスイッチ
JP3350365B2 (ja) * 1996-09-11 2002-11-25 株式会社東芝 映像同期信号補正装置
US5793425A (en) * 1996-09-13 1998-08-11 Philips Electronics North America Corporation Method and apparatus for dynamically controlling encoding parameters of multiple encoders in a multiplexed system
US6806909B1 (en) * 1997-03-03 2004-10-19 Koninklijke Philips Electronics N.V. Seamless splicing of MPEG-2 multimedia data streams
US6052384A (en) * 1997-03-21 2000-04-18 Scientific-Atlanta, Inc. Using a receiver model to multiplex variable-rate bit streams having timing constraints
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
JP3407287B2 (ja) * 1997-12-22 2003-05-19 日本電気株式会社 符号化復号システム
CA2318415C (en) * 1998-01-14 2009-12-15 Skystream Corporation Video program bearing transport stream remultiplexer
JP3810918B2 (ja) * 1998-02-23 2006-08-16 株式会社東芝 マルチメディアデータ中継装置及び方法
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
DE19822975A1 (de) * 1998-05-25 1999-12-02 Thomson Brandt Gmbh Verfahren und Vorrichtung zum Aufnehmen und Wiedergeben von Video- und/oder Audiosignalen
US6570922B1 (en) * 1998-11-24 2003-05-27 General Instrument Corporation Rate control for an MPEG transcoder without a priori knowledge of picture type
EP1021045A1 (en) * 1999-01-12 2000-07-19 Deutsche Thomson-Brandt Gmbh Method for processing and apparatus for encoding audio or video frame data
US6490250B1 (en) * 1999-03-09 2002-12-03 Conexant Systems, Inc. Elementary stream multiplexer
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100534177C (zh) * 2002-11-29 2009-08-26 索尼株式会社 编码设备和方法
CN101180887B (zh) * 2005-05-24 2010-09-29 Nxp股份有限公司 用于音频视频处理系统的设备
CN101248679B (zh) * 2005-09-06 2010-07-14 日本电信电话株式会社 视频通信品质推测装置、方法
CN102857333A (zh) * 2011-06-28 2013-01-02 富士通株式会社 对来自传感器网络的数据包进行同步的装置和方法
CN102857333B (zh) * 2011-06-28 2015-06-17 富士通株式会社 对来自传感器网络的数据包进行同步的装置和方法
CN108282720A (zh) * 2017-01-05 2018-07-13 北京小鸟听听科技有限公司 一种音频数据流的传输方法及装置
CN108282720B (zh) * 2017-01-05 2020-08-07 北京小鸟听听科技有限公司 一种音频数据流的传输方法及装置

Also Published As

Publication number Publication date
ATE470312T1 (de) 2010-06-15
KR20010093656A (ko) 2001-10-29
CN1176550C (zh) 2004-11-17
US20010026327A1 (en) 2001-10-04
DE60142272D1 (de) 2010-07-15
US6891573B2 (en) 2005-05-10
EP1139665A1 (en) 2001-10-04
JP2001313630A (ja) 2001-11-09
KR100728245B1 (ko) 2007-06-14

Similar Documents

Publication Publication Date Title
CN1176550C (zh) 改变音频数据编码或视频数据编码输出延迟的方法和装置
TW484263B (en) Multiple program decoding for digital audio broadcasting and other applications
CN1132430C (zh) 多重编码装置
US7433946B2 (en) Mechanism for transmitting elementary streams in a broadcast environment
CN101188477B (zh) 一种数据包序列接收的方法及设备
CA2870884C (en) Systems and methods for implementing efficient cross-fading between compressed audio streams
CA2711311A1 (en) Methods and systems for scalable video chunking
CN1246997A (zh) 在恒定大小的传送分组中封装数据的方法
DE60131993D1 (de) Verfahren und gerät zur bestimmung der übertragungsbitrate in einem statistischen multiplexer
WO2000054222A1 (en) Elementary stream multiplexer
EP2695162A2 (en) Audio encoding method and system for generating a unified bitstream decodable by decoders implementing different decoding protocols
CN1656809A (zh) 使用虚拟接收缓冲器吸收信道传输速率波动的传输方法
EP2261898B1 (en) Audio codec with improved synchronisation
US8755413B2 (en) Method and system for dynamically allocating video multiplexing buffer based on queuing theory
CN101366082B (zh) 可变帧偏移编解码方法、编解码器及无线电通信设备
CN101051465A (zh) 用于解码被编码的有用数据的方法和解码装置
US7062429B2 (en) Distortion-based method and apparatus for buffer control in a communication system
CN1812591A (zh) 用以执行资料流的信号同步的系统与方法
CN1119902C (zh) 用于编码或解码音频或视频帧数据的方法和装置
EP2926556A1 (en) Compressed data stream transmission using rate control
CN101076120A (zh) 在无嵌入时间戳的多媒体流的回放期间维持音频/视频同步的健壮系统
CN1682206A (zh) 以改变流式约束为基础的动态质量调节
JP2000236544A (ja) オーディオ又は、ビデオフレームデータの処理方法及び、符号化装置
CN1083209C (zh) 视频信息和可变比特率音频信息发送装置及其方法
CN1722277A (zh) 直接由编码器硬件生成dvd数据流的系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041117

Termination date: 20120329