CN1160328A - 封包数据流中所携带的声频数据的获取和错误恢复 - Google Patents

封包数据流中所携带的声频数据的获取和错误恢复 Download PDF

Info

Publication number
CN1160328A
CN1160328A CN96120844A CN96120844A CN1160328A CN 1160328 A CN1160328 A CN 1160328A CN 96120844 A CN96120844 A CN 96120844A CN 96120844 A CN96120844 A CN 96120844A CN 1160328 A CN1160328 A CN 1160328A
Authority
CN
China
Prior art keywords
audio
error
audio frequency
pts
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN96120844A
Other languages
English (en)
Other versions
CN1129325C (zh
Inventor
雷·纽伯
保罗·莫尼
G·肯特·沃克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of CN1160328A publication Critical patent/CN1160328A/zh
Application granted granted Critical
Publication of CN1129325C publication Critical patent/CN1129325C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

声音数据自一携带于一连串固定长度的转送包封中的数字电视信息的包封化数据流中处理而得。在已获得声频数据流后，被检测的音频包封被监视，以定位接续的PTS，来调整音频数据被输出时的时序，如此可提供与相关视频的适当端缘同步。在此音频数据内误差是利用意图维持音频数据的同步化，但遮蔽误差的方式予以处理。若不能维持同步化情况，则音频数据流会再度被取得但隐藏其音频输出。误差状况通过改变与其中已发生误差的音帧有关的音频同步字而被发送给音频解码器。

Description

封包数据流中所携带的声频数据的获得和错误恢复
本发明关于一种自一包封化数据中取得音频数据，以及由包含在此种数据内的误差恢复的方法及装置。
对于如数字电视数据的数字数据的传送，现已有不同的标准。此种标准的例子包括有：美国伊利诺州芝加哥市的通用仪器公司(本发明的受让人)所专用的移动影像专家群(MPEQ)标准和DigiCipherRII标准。该DigiCipherR标准延伸了MPEG-2系统和视频标准，该标准系广为人知且被视为国际标准化组织(ISO)在其文件序号ISO-13818中所规定的传送的视频压缩规则。该MPEG-2规则的系统“层”提供一与传输介质独立的编码技术以建立包含于一或多个MPEG程序内的位流。MPEG编码技术使用一正式的语法(“syntax”)和一组语义规则以建立位流的结构。该语法和语义规则包括解多工化、时钟恢复、基本流同步化和误差处理等。
MPEG传送流经特别设计以与能产生数据误差的介质一起使用。许多程序(每一程序包含一个或多个基本流)可被联合成一个传送流。以MPEG格式所提供的服务例子是在全球式、电缆电视和卫星网络上广播的电视服务以及交互的以电话为基础的服务。在MPEG广播应用上的携带信息的主要模式可以是MPEG-2传送流。此MPEG-2传送流的语法和语义是以国际标准化组织的ISO/IEC13818-1国际标准，在1994年宣布的H.222的名称为“移动影像和相关声频的通用编码：系统”所定义的，本文并入以为参考。
根据MPEG-2标准的多工化是由区隔和包封诸如已压缩的数字视频和音频的基本流为包封化的基本流(PES)包封，然后该PES包封区隔的包封成传送包封的方式完成。如上所述，每个MPEG传送包封长度固定为188字节。第一个字节是具有特定的八位型式(如01000111)的同步化字节。此同步化字节指示每一个传送包封的开始。
同步字节之后为一个三字节场，它包括了一个一位传送包封误差指示器、一个一位有效负载单元的开始指示器、一个一位的传送优选权指示器、一个十三位的包封辩识器(PID)、一个二位的传送编码式控制、一个二位的适应场控制以及一个四位的连续计数器。剩下的184个字节可以携带欲被通讯的数据。一选择的适应场可以设在该句首的后，以携带与MPEG相关的以及与一给定的传送流或在一给定的传送包封内携带的基本流相关的私人数据。时钟恢复(如一程序时钟参考，PCR)和位流叠接信息是适应场内所携带的典型信息。靠将此类信息放置在一转接场中的方式，它变得可以被它的相关数据囊封住，以利于再多工化和网络路径的操作。在使用一适应场时有效负载的长度会对应地缩短。
PCR为其在解码器端被接收时的用于相关程序的系统计时时钟的取样。解码器使用PCR值使一解码器系统的计时时钟(STC)与编码器的系统计时时钟同步。一42位的STC中的较低九位提供一个模-300的计数器，它是以27MHz的时钟速率增量。每一次模-300翻转时，上部33位的计数被增量使得STC的上一部位表示一90kHz时钟周期单元内的时间。如此能致使使用表示时间戳记(PTS)以及解码时间戳记(DTS)来指示解码器解码存取单元的时间以及一个90kHz时钟周期的正确度来表示适当的时间。既然由数据流所携带的每个程序可以拥有自己的PCR，故这些程序可以异步地予以多工化。
一程序内的音频、视频和数据表示的同步化利用一种时间戳记的方法完成。表示时间戳记(PTS)和/或解码时间戳记(DTS)被插入于传送流中，以供分开的视频和音频包封使用。该PTS和DTS信息由解码器使用，以决定何时解码和显示一影像以及何时播放一音频部分。该PTS和DTS值与被取样来产生PCR的相同系统时间时钟有关。
所有的MPEG视频和音频数据必须被格式化成一包封化的基本流(PES)，它是由一串PES包封所形成。每一个PES包封包括一个PES头引，其后为一有效负载。该PES包封接着被分成连续的固定长度的传送包封的付费负载。
PES包封的长度为可变的且具长度相对较长。不同的选择场(如表示时间戳记和解码时间戳记)也可包括于PES头引中。当传送包封由PES形成时，PES头引会立刻地跟在传送包封的头引之后。单一PES包封可以跨过许多传送包封且PES包封的副部分必须出现在具有相同PID值的连续传送包封中。但是，最好是这些传送包封可以自由地以其他具有不同PID、且携带有来自MPEG-2系统规格的限制内的不同基本流数据的传送包封予以多工。
视频程序是由将编码的MPEG视频流放置于PES包封内的方式携带，该PES包封然后被分成传送包封，以插入一个传送流中。每个视频PES包封包含一或多个编码的视频影像，被称之为视频“存取单元”。PTS和/或DTS值可被放置于该PES包封头引中，而包住相关的存取单元。DTS指示解码器应在何时将存取单元解码成一个说明单元。PTS用来致动解码器，以表示相关的说明单元。
音频程序根据MPEG系统规则、使用PES包封层的相同规则而提供。PTS值可以包括在这些PES包封中，该PES包封包含一音频存取单元的第一字节(同步帧)。一音频存取单元的第一字节为一个音频同步字的一部分。一音帧被定义为两个连续音频同步字之间的数据，该字包括有前面的同步字，但不包括后面的同步字。
在DigiCipherRII技术中，音频传送包封包括一个或一适应场和有效负载场两者。该适应场可被用来传送PCR值。该有效负载场传送包括有PES头引和PES数据的音频PES。音频PES数据包含例如Do1byRAC-3或是Musicam音频语法规格所定义的音帧。上述AC-3规则规定于联邦先进电视系统会议的Doc.A/52，名称为“数字音频压缩(AC-3)”的ATSC标准中。该Musicam规则则可以在ISO所公布的11172-3(MPEG-1)部分3音频(Part3 Audio)的名称为“移动影像以及用于上至约1.5M位/秒的数字储存介质的相关音频的编码”中找到。每一个语法特定一个音频同步帧为音频同步字，其后包括音频取样速率、比特率和/或帧大小的音频信息，再后为音频数据。
为能自一于MPEG/DigiCipherRII传送流中所携带的视频和音频信息重建一电视信号，需要一解码器以处理用于输出至一视频解压缩处理器(VDP)的视频包封，和处理用以输出至一音频解压缩处理器(ADP)的音频包封。为能适当地处理音频数据，需要解码器使与音频数据包封流同步。它尤其需要使音频数据被缓冲，以连续输出到ADP上，并致使音频语法被读取，以做为延迟音频输出所需的音频速率信息，因而能完成适当端缘与相同程序的视频同步。
在音频处理时下列几种情况可以导致误差的情况。该情况包括因为传输频道误差而使音频传送包封发生损失。误差亦可因为接收到不当解密或是仍然为加密状态的音频包封而产生。一解码器必须能够处理这些误差，且不会特别地降低音频输出的品质。
解码器必须能够处理音频取样率和音频比特率的变化。一给定的音频基本流的音频取样率是很少会变化的。但是，音频比特率却常常在程序边界处和商业广告节目的开始和结束时变化。使用这种速率变化，将难于维持对音频流的同步化，因为音频同步帧的大小是与音频取样率和比特率相关的。处理音频系统内的未检测的误差(特别是在误差检测很弱的系统中)会使速率变化的音频流的追踪更加困难。当一收到的位流指示出一音频速率已经变化时，该速率实际上可能变化也可能不变化。若当指示为误差时解码器响应位流指示，音频速率已改变以及速率未改变时，可能会发生音频同步化的损失。如此会产生对终端使用者而言显著的音频信号降级。
为支持一音频取样率变化，解码器使用的音频时钟率必须改变。此过程会花费相当多的时间，如此将再度降低音频输出信号的品质。再说，此取样率的变化将会需要未来应被清除的音频缓冲，以建立不同的依靠取样率的端缘同步延迟，因此，信任所接收的位流中指示音频取样率已经改变的信号并非有利。
至于比特率的变化，其变化的相对频率与比特率信息内的未测得的误差相比较，将视接收器是否具有足够的误差检测而支配。因此，提供一种具有两种操作模式的解码器是有利的。在一种健全的误差检测环境下(如用以检测卫星通讯或电缆介质的环境下，其中误差候检测是健全的)，可由信任数据所提供的比特率变化指示的方式而提供一种无缝的操作模式。在一种较不健全的误差检测环境下，比特率变化的指示可以被忽略，但在比特率实际上已变化的情况下，必须付出音频再同步化的代价。
另一种优点是提供一种音频解码器，其中与音频位流的同步化在音频数据包含误差时被维持。此种解码器应隐藏用于这些其中发生误差的同步帧的音频，以最少化音频数据误差对听觉的冲击。
再一个优点是所提供的解码器中，在音频数据由解码器的音频缓冲器输出时的计时诗根据进行而调整。此类调整的意图可以保证音频基本流有正确的时间表示。
本发明提供一种自一包封化传送流中解码数字音频数据的方法及装置，并包含前述的和其他的优点。
根据本发明，提供一种方法，用以处理自一携带具固定长度的连续传送包封的电视信息的包封化数据流中取得的数字音频数据。该包封各包括一个包封辩识器(PID)。某些包封包含一个程序时钟参考(PCR)值，以同步化一解码器系统时间时钟(STC)。某些包封包含一表示时间戳记(PTS)，以指示用以开始相关数据的输出的时间，以供重建一电视信号时使用。根据本方法，用于为数据流所携带的包封的PID被监视，以辩认与所需程序有关的音频包封。音频包封被审查，以定位其中的至少一个音频同步化字的发生，以供在完成一同步化状况时使用。音频包封在已完成同步化情况之后被监视，以定位一个音频PTS。在完成PTS的定位之后，即寻找被检测的音频包封以定位下一个音频同步化字。接在下一个音频同步化字之后的音频数据被储存于一缓冲器中。当解码器的系统时间时钟达到一由PTS导出的一特定的时间时，该储存的数据才自缓冲器输出。该被检测的音频包封被连续监视，以定位连续的音频PTS，以用来根据进行调整该储存数据自缓冲器输出时的计时。
可提供一个PTS指示器来维持现有的PTS值和辨认由当前PTS所指的音帧的同步字的位置的缓冲器的地址。为了提供计时调整，在存于由该PTS指示器所特定的地址的数据已自缓冲器输出之后，该PTS指示器内的PTS值则由一新的PTS值取代。此PTS指示器所特定的地址然后由一对应于该新PTS值所指的音帧的同步字的新地址予以取代。由缓冲器的数据输出在表示过程期间达到该新的缓冲器地址时被中止。而当解码器的系统时间时钟达到由该新的PTS值导出的特定时间时，缓冲器数据的输出重新开始。
在一例示的实施例中，缓冲器数据的输出在解码器的系统时间时钟达到由该新的PTS值和一偏移值的总和所指示的时间时才开始。该偏移值由于任何解码器的视频信号处理延迟而提供适当的端缘同步。依此方式，当已解码出音频和视频数据以后，音频数据可以与视频数据同步提供使得(例如)视频影像内人的端缘的移动可以足以与重现的声音同步。
本发明的方法尚可包括下列步骤：在缓冲器的数据输出开始之前，若解码器的系统时间时钟值在该新PTS值所导出的特定时间以处时，则开始再获得音频同步化情况的过程。因此，若PTS指定一音帧应在已通过的时间上表示，则音频数据的再获得过程将会自动开始，以修正计时的误差，如此将能最小化最后音频加工的期间。
在例示的实施例中，两个连续的音频同步化字定义其间的一音帧，包括有前面的同步字，但不包括后面的同步字。误差的发生可以在音频包封中检测出来。在检测到目前含有误差的音帧的第一音频包封时，用于缓冲器的写入指示器会被包含于该固定长度的传送包封内的最大字节数(N)提前。在此同时目前的音帧则被指定为具有误差。在该误差已被检测出来的后，再监视接在该现存音帧之后的音频包封，以看接下来的音频同步化字。若同步化字不是在音频基本流中所期待的点上收到时，则接下来的数据不会被储存在缓冲器中，直到同步字被定位为止。若该下一个音频同步字设置在开始寻找后的N个字节中，则从下一个音频同步字开始将音频数据储存到缓冲器内。若下一个音频同步字并不是设置在开始寻找后的N个字节中，则开始再获得同步情况的流程。这些步骤将确保缓冲器在每一个音频同步帧中损失一个传送包封时，仍能维持其正确的完整性，纵使同步帧的大小以44.1ksps的取样率变化时亦然，且该步骤能够在当损失太多音频传送包封时，再次同步化音频。
无论来自被重建的电视音频的数据何时有误差，最好是能够将误差隐藏在电视音频中。在例示的实施例中，现有的音帧乃藉改变用于该音帧的音频同步，而被指定在误差中。例如，可以使音频同步字的每一相隔位反相。用于对相应的音帧的电视音频中的误差然后可响应于在解码和表示过程的改变的同步化字而被隐藏起来。本方法允许缓冲和误差检测过程在当误差经由数据本身而发生时，以信号通知该解码和表示过程，而不需要额外的内部处理信号。
该音频数据可包括指示一音频取样率和音频比特率(至少其一是可变的)信息。在这种情况下，在音频数据所指示的速率变化期间，维持音频基本流向的同步化是有利的，此可以由假设取样率实际上没有变化而忽略音频数据所指示的音频取样率的变化，并且将包含有指示音频取样率改变的数据的音帧隐藏起来，但仍意图维持同步化状况的方式达成。这种策略能适当地响应音频取样率的变化，或是比特率的变化指示是指示本身的误差结果而与一实际的速率变化相反的情况。
同样地，音频数据可以根据音频数据所指示的新速率予以处理，而缺少关于包含此新速率的音帧的误差指示，但能意图维持同步化状况。误差指示属于包含该新速率的音帧，则可以无需改变速率的方式处理音频数据。在此同时，误差情况所隶属的音帧会被隐藏，而解码器意图维持同步化情况。若不能维持同步化情况，则开始同步情况的再获得过程，如同当取样率实际上有改变时需要的。
根据本发明的装置获得由一包封化的数据流所携带的音频信息。此装置尚处理包含于此音频信息内的误差。提供一装置以辨识数据流内的音频包封。一音频的基本流可自检测的音频包封中恢复，以储存于一缓冲器中。一音频表示时间戳记(PTS)被设置于该测得的音频包封中。提供响应于该PTS的装置以在一特定时间，开始将音频数据自缓冲器输出。供有一装置，用以在已开始使音频数据自缓冲器输出以后监视该检测的音频包封。为了设置接后的音频PTS以供管理缓冲器的音频数据的输出，该装置能确保音频与相同程序的任何其他基本流同步出现，并维持正确的缓冲器的完整性。
本装置还可包含以一现有的PTS值及缓冲器的用来辨认由目前PTS所指的音频数据的一部分被储存于何处的缓冲器的地址来维持一PTS指示器的装置。提供一装置用来当储存于前述PTS指示器的地址的数据已从缓冲器输出以后，以一新的现有PTS值取代PTS指示器内的PTS值。然后，PTS指示器内的地址被一对应于该新的现有PTS值所指的音频数据的一部分的新地址取代的。具有响应于此PTS值的装置，以当到达新地址时，使缓冲器的数据输出中止。一装置用以在该新现有PTS值被导出的时，重新开始使数据由缓冲器输出。当该新的现有PTS值在一预设范围以外时，该装置提供一装置来隐藏音频数据，并重建同步化。
在一例示的实施例中，音频传送包封具有M个字节的固定长度。此传送包封携带一串各部分或全部包含于包封内的音帧。该音帧各以一音频同步字开始。一装置用来检测该音频包封中的误差发生。一用于缓冲器的写入指示器被每音频传送包封的最大数目的音帧字节(N)超前，且当检测到目前的音帧的音频包封内有误差时，则指定一现有的音帧是在误差中。一装置被用来当误差已被侦测出来以后监视现有音帧的测得音频包封，以用于下一音频同步化字。若音频字未在音频基本流中所期待的位置上被接收，则接续的音频数据不会被缓冲，直到收到下一个音频同步化字为止。当检测到误差的音频包封时，此过程可补偿过多的已被缓冲的音频字节。这种情况会在每当损失的包封未携带有最多数的可能音频数据字节时发生。若当开始寻找该下一个音频同步数据以后，下一个音频同步数据设置在N字节内，一装置乃被提供以开始在缓冲器中存储音频数据。若在开始寻找后，下一个音频同步字并不是设置在该N字节内时，则将会再获时音频的计时。依此方式，被缓冲的同步帧的大小将可维持包括被标记为在误差中的帧，除非在缓冲任何下一个连续帧之前，下一个同步字不是被设置在音频基本流中可望由误差中恢复的位置上。此种算法能允许解码和表示过程依赖其字节是正确大小的被缓冲音帧，纵使当数据误差导致一未知数量的音频数据的损失亦然。
也可提供一种装置，以当缓冲器的数据输出是在误差中时，隐藏一由缓冲器所输出的数据中还原而来的音频信号中的误差。尚可设有一装置，以改变与一现有音帧有关的音频同步化字，以能以信号通知解码和表示过程有一特别帧在误差中。该隐藏装置系响应于变化的同步字，以隐藏与对应音帧有关的音频。
根据本发明的解码装置获得由一已包封化的数据流所携带的音频信息，并处理其中的误差。一装置用来辨识数据流内的音频包封。连续的音帧自音频传送包封取出。每一个音帧是由一个或多个包封携带，且每一音帧的开始是由一音频同步字予以辨识。响应于该同步字的装置获得能使来自所检测的音频包封的音频数据还原的同步化情况，以储存于一缓冲器中。一装置用来检测该音频数据内的误差出现。响应于此误差检测装置的装置控制当出现误差时，经过缓冲器的数据流程，以企图维持同步化的情况，而遮蔽该误差。一装置用以当控制装置不能维持同步化情况时，重建该音频的计时。
图1所示为用以显示音频传送包封如何由音频数据的基本流形成的示意图；
图2所示为可根据本发明而使用的解码装置的方块图；
图3所示为图2的解码器的系统计时时钟(STC)的较详细方块图；
图4所示为图2的解多工和数据分析电路的较详细方块图；和
图5所示为说明根据本发明的音频数据的处理的状态图。
图1显示如何使一或多个数字程序多工化成一个传送包封流。多工化是由使例如编码的视频和音频的基本流分段成PES包封，然后再将这些PES包封分段成传送包封完成的。该图仅作例示，因为PES包封(如图的PES包封16)通常除了图示的六个传送包封24以外通常变换成其他数目的包封。
在图1所示的例子中，一通常被标以10的基本流包含音帧14内由同步字字12所描绘的音频数据。可也提供相似的基本流，以用于被传送的视频数据及其他数据。
形成一传送包封流的第一个步骤是将用于每一种型式的数据的基本流重建成由连续的PES包封(如图示的包封16)所形成的对应的包封化基本流(PES)。该每个PES包封包含一个PES头引18，其后为一PES有效负载20。该有效负载包含欲被通信的数据。PES头引18将包含处理该有效负载数据时有用的信息，如表示时间戳记(PTS)。
每个PES包封的头引和有效负载数据系被包囊于传送包封24中，该传送包封24各又包含一个传送头引30和有效负载数据32。此传送包封24的有效负载数据将包含一部分的有效负载数据20和/或来自该PES包封16的PES头引18。在实施MPEG时，该传送头引30将包含用以辨识传送包封(如一音频传送包封24)一视频传送包封26或其他的数据包封28的包封辨识器(PID)。图1只显示音频传送包封24的导出。为能导出视频包封26和其他包封28，设有其对应的基本流(未显示)，该基本流本质上以与图1所例的有关音频传送包封24的形成的相同方式处理成PES包封和传送包封。
每个MPEG传送包封皆包含188个字节的数据，它是由四字节的传送头引30和有效负载数据32所形成，可高达184个字节。在MPEG的实施例中，可将一例如八字节的适应场设于该传送头引30和有效负载32之间。此长度可变的适应场可以包含(例如)用以使解码器的系统时间时钟(STC)同步化的程序参考时钟(PCR)。
多个音频传送包封24、视频传送包封26和其他包封28如图1所示的方式被多工，而形成一能在编码器到解码器之间的通讯频道上通讯的传送流22。解码器的目的是基于每个包封的PID自该传送流中解多工出不同形式的传送包封，然后用以处理每个音频、视频和其他分量，以重建一电视信号。
图2所示为一用以恢复视频和音频数据的解码器的方块图。传送流22经终端40输入于一解多工器和数据分析次系统44中。该解多工和数据分析次系统是经由一数据总线88而与一解码器处理器42通信。次系统44从传送包封流中还原视频和音频传送包封，并分析其PCR、PTS和其他需要的数据，以供其他解码元件使用。例如PCR是由传送包封的适应场还原而来，用以使一解码器系统时间时钟(SCT)46与编码器的系统时间时钟同步。用于视频和音频数据流的表示时间戳记是由各个PES包封头引中还原而得，分别作为与视频解码器52和音频解码器54通信的视频或音频控制数据。
解码器时间时钟46的详细内容如图3所示，此解码器的一重要功能是重建与特定程序有关时钟。此时钟用来(例如)重建视频所需的适当水平扫描率。而音频和视频表示单元的适当表示速率也必须予以确定。这些是音频取样率和视频帧率。音频对视频的同步化(称为“端缘同步”)亦是需要的。
为能产生一同步化的程序时钟，解码器系统时间时钟(STC)46乃经终端60来接收PCR，在开始传送流解码以前，PCR值被用来预设该解码器系统时间时钟所需的计数器68，当时钟运转时，此计数器的值会被反馈回一减法器62上。然后，当本地回馈值到终端60时，该值与该传送流内的接续PCR做比较。当PCR到达时，它即表示用于该程序的正确STC值。此PCR值与STC值的差(如由减法器62输出的值)由一回路滤波器64滤波，然后被用来驱动一电压控制振荡器(VCO)66的瞬时频率，以视需要而减少或增加STC频率。此STC具有一个90kHz和一个27kHz的成份，且该回路滤波器64将此STC值转换成27MHz区域内的单元。VCO60的输出为一个27MHz的振荡信号，此信号系被用作由该解码器系统时间时钟输出的程序时钟频率。图3所例示的解码器时间时钟46是利用已知的锁相环(PLL)技术实施的。
在开始音频同步化之前，图2的解码器(特别是次系统44)仍将维持于闲置状态直到它由解码器微处理器42组构以后为止。此组构包括辨识欲被处理的音频数据的型式(例如杜比AC-3或Musicam音频)、辨识音频PCR值可自其中抽离的包封的PID，以及辨认用于音频包封的PID。
在开置状况期间，次系统44将指示音频解码器54隐藏音频输出。隐藏作用可以由使所有的音频取样归零的方式达成。接着的数字信号处理将致使由无声到有声以及回到无声时的听觉的平稳转变。而当同步化处理到达一追踪状态时，即终止该音频输出的隐藏作用。解码器微处理器42将音频格式组构为AC-3或Musicam，此视音频解码器54是否为一AC-3或是Musicam解码器而定。该微处理器42由传送流所提供的程序映像信息中确定音频PID以及音频PCR PID，该程序映射信息基本上是PID的目录，且须经其自己的PID辨识。
一旦解多工器和数据分析次系统44经由一个取得指令而被指示进入一个帧同步状态，即开始搜寻两个连续的音频同步字，并将供给该解码器微处理器42在该音频基本流内所指示的音频取样率和音频比特率。为定位这些同步字，次系统44将接收音频PID上的传送包封并将PES数据取出，找出为预设的固定字的音频同步字。例如，AC-3音频同步字是0000 1011 01110111(16位)，而Musicam同步字是1111 1111 1111(12位)。
两个连续音频同步字的第一位之间的位数被称作帧大小。帧大小依该音频流是AC-3或是Musicam而定，并且对音频取样和比特率的各种联合方式是分别具有不同的值。在一较佳实施例中，次系统44被要求与44.1ksps的AC-3取样率和48ksps的Musicam取样率同步。该AC-3音频语法能传达音频取样率和音帧大小，而Musicam音频语法则传递音频取样率和音频比特率。AC-3及Musicam两者当取样率为48ksps时，皆特定用于每个比特率的一同步帧大小。但是，当取样率是44.1ksps时AC-3及Musicam则特定每个比特率的两种同步帧大小，如此将使同步化(特别是经过包封损失)变得复杂。当取样率是44.1ksps时两种可能性之间的正确同步帧大小由AC-3帧大小码的最低有效位或是一Musicam垫充(padding)位指示。
一旦两个连续的音频同步字已被收到且其间具有正确数目的字节时(如由同步帧大小所特定的)，次系统44即会储存由音频语法所暗示的音频取样率和音频比特率，以利解码器微处理器42存取，如此能干涉微处理器以指示出次系统44正等待微处理器提供一音频PTS修正因子。为能知道在最初获得期间以及在做适当端缘同步化的追踪期间何时输出音频数据给音频解码器54，此修正因子是必须的：此值被表示为dPTS。用于追踪的端缘同步值稍比用于最初获得的值小，如此允许存在于任何两个PTS值之间，即用于获得的值以及用于追踪的那些值之间的时间误差。
解码器微处理器42设定修正因子，以使音频和视频能以与其进入编码器的相同关系离开解码器，如此而达成了端缘同步化的动作，这些修正因子是根据音频取样率和视频帧率(如60Hz或50Hz)来决定。这种相依性之所以存在是因为音频解码器54所需要的音频解压缩处理时间可能与音频取样和比特率有关，而由视频解码器52所实施的视频解压缩则可能与视频帧率和延迟模式有关的故。在一较佳实施例中，该PTS修正因子是由11个字节成，即表示90kHz时钟周期的数目，此即音频数据在由音频解码器54输出之前将被延迟的数目。因为具有11个位值，故延迟时间将可高达22.7微秒。
一旦解多工和数据分析次系统44已请求解码器微处理器42提供修正因子，该次系统44将会监视音频基本流内所希望的位置上接收连续的同步字。若此时发生误差的情况，则次系统44将暂态到找出两个连续的音频同步字，且该两字之间具有正确数目的数据字节。否则，次系统44会维持在dPTS-等待的状态直到解码器微处理器由将dPTSacq写入该次系统44以做次系统44中断服务为止。
一旦次系统44具有PTS修正因子后，它会检查是否已在包含有一PCR值的音频PCR PID(由包封的适应场所携带)上收到一传送包封。而在收到以前，会继续接收连续的同步字[状态＝PCR获得]。若此时有错误情况发生，则次系统44会暂态到找出两上连续的音频同步字[状态＝帧同步]。否则，它会停留在状态＝PCR获得下，直到它在音频PCR PID上收到一PCR值为止。
在获得一PCR之后，次系统44会开始寻找一由音频传送包封的PES头引所携带的PTS[状态＝PTS获得]。而在此状态发生的前，次系统44将监视是否收到连续的同步字。若此时发生错误情况，则它会暂态到一个误差处理算法上[状态＝误差处理]。否则，它将保留在PTS获取状态下，直到在一音频PID上收到一PTS值为止。
当次系统44收到一个音频PTS值时，它将开始寻找下个音频同步字的接收。这是很重要的，因为PTS定义输出以下个音帧开始的数据的时间。既然音帧不会与音频PES对齐，故将在PTS和下个音频同步字之间接收的字节数会随着时间而变化。若在收到下一个音频同步字前发生了误差情况，则次系统44会回到寻找音帧同步的[状态＝帧同步]。应了解既然音频同步帧与PES头引并不对齐，则可能使一个PES头引以及该头引内可能包含的PTS在形成一音频同步字的12或16位之间被收到。在此情况下，PTS所相关的同步字并不是PES头引所分出的同步字，而是接下来的同步字。
当次系统44收到下一个同步字时，它即取得PTS。此时，它会将所收到的PTS和PES数据(由跟在PTS后的第一个同步字开始)储存至一个音频缓冲器50中，同时它将写该同步字的缓冲器地址也存入该音频缓冲器。该被存储的PTS/缓冲器地址对将允许次系统44在正确时间时开始将音频PES数据输出到音频解码器54中，而以音频同步字开始。在一较佳实施例中，缓冲器50在解码器中已具有的动态随机存取存储器(DRAM)的一部分内实施。
当次系统44开始缓冲音频数据时，必须追踪许多因素，以使它能处理特别的误差情况，如一音频传送包封传送误差的损失。这些因素可以利用音频指示器追踪，这些指示器包括一PTS指示器、一DRAM偏移地址指示器和一个将于下文详加讨论的有效旗标指示器。
在取得PTS之后，次系统44即开始等待与PTS同步化[状态＝PTS同步]。在此状态下，解多工器和数据分析次系统44继续经由终端40而接收音频包封、将它们的PES数据写入缓冲器50，并维持误差指示器。当进入此状态时，次系统44比较其音频STC与正确的输出开始时间，该正确的输出开始时间为PTS指示器内的PTS的值加上获取的PTS修正因子(dPTSacq)。若次系统44发现正确时间已通过，即PCR＞PTS+dPTSacq，则三值的一或更多是不正确的，次系统44即以旗标通知解码器微处理器42。此时，状态将恢复到状态＝帧同步，且次系统44将回到寻找两个连续音频同步字的状态。否则，直到PCR＝PTS+dPTSacq之前，次系统44会继续接收音频包封，将其PES数据写入缓冲器50中、维持误差指示器，并监视连续同步字的接收。
当PCR＝PTS+dPTSacq，次系统44已与PTS同步，且将开始追踪音频流[状态＝追踪]。此时，次系统44将视音频解码器请求音频数据的情形开始将音频缓冲器的内容传送到音频解码器54中，而以位于PTS指示器所指示的缓冲器地址上的同步字为开始。在追踪状态下，次系统44将继续去接收音频包封、将它们的PES数据写入缓冲器50、维持误差指示器，和监视连续同步字的接收。若在此时发生一误差情况，则次系统44将暂态到做误差处理。否则，它将维持在状态＝追踪下，直到发生一误差，或是当微处理器42指令它回到闲置状态为止。
当次系统44输出每个同步帧的同步字到音频解码器54以作为图2的“音频”的部分时，该次系统44将利用同步字以信号通知每个音频同步帧的误差状态给音频解码器。音频同步帧的同步字(次系统44知道其中无误差)将如期的以杜比AC-3或Musicam规则所特定的方式输出。此次系统44知道其中误差的音频同步帧的同步字将相对正确同步字而改变。例如，且是在较佳实施例中，同步帧的同步字的相隔位(一误差指示器所指示的)是为反相的，以该同步字的最高有效位开始。因此，该改变的AC-3同步字将是1010 0001 1101 1101，而改变的Musicam同步字将是0101 0101 0101。只有同步字的位将会改变。音频解码器54将会将音频误差隐藏于所收到的同步帧中，而其中的同步字已依前述方式而改变过。但是，该音频解码器将继续维持与音频位流同步。同步化的维持将假设音频比特率没有变化，且知道音频取样率是44.1ksps时可能得到两种同步帧大小。
根据本较佳实施例，若此特征由解码器微处理器42致能时，音频解码器54将经由取样和比特率的变化而维持同步化。若微处理器不能使取样率变化时，音频解码器54将会使音频误差隐藏在每个不是以与音频解码器最后获得的同步帧的取样率匹配的取样率而收到的同步帧中，且将假设为维持同步化，取样率不会改变。音频解码器是需要经比特率的变化而处理的。若一比特率信息内的误差被指示出来，例如经由已知的周期性冗余码(CRC)而指示，则该音频解码器54将假设对应的同步帧的比特率与前一个同步帧的比特率相同，以维持同步化。若解码器微处理器42已致使速率变化，则该音频解码器54将假设同步帧中所指示的速率是正确无误地，故处理该同步帧并使用适当的同步帧大小来维持与音频位流的同步。
解多工和数据分析次系统44亦会帮助微处理器42检查音频数据是否被继续地在正确的时间输出，其方式是藉对某些收到的PTS值使与PTS再同步的方式达成。为达到此目的，当收到一PTS值时，该值将会被储存于PTS指示器中，同时若PTS指示器尚未占满时，伴随着下个同步字被写入音频缓冲器50中的音频偏移地址而储存。此时，次系统44将确保下一个同步字是在音频PES位流的正确位置上接收。否则该PTS值将不会被储存起来，且次系统44将会延缓再同步作用，直到获得了下一个成功的PTS/DRAM偏移地址对为止。次系统44将会使该PTS/DRAM偏移地址对储存于PTS指示器中，直到它开始输出相关的音频同步帧为止。一旦该次系统开始将音频数据输出至音频解码器54时，次系统44就会继续做对音频解码器的请求音频数据的服务，而将每个音频同步帧依序输出。此作用会继续下去直到达到PTS指示器所指示的同步帧为止。当发生此现象时，次系统44将会停止将数据输出到音频解码器54中，直到PCR＝PTS+dPTStrack为止。如此将可检测可能因为此方法所做的最后再同步作用而发生的音频计时误差。
若当次系统44完成了前一同步帧的输出时PCR＞PTS+dPTSACQ，则表示音频解码器54处理的速度太慢，或是在一PCR或PTS值中曾发生一个未检测到的误差。在完成此误差情况以后，次系统44将以旗标通过微处理器42、停止输出到音频解码器54、清除音频缓冲器50和指示器，并回到寻找两个由正确音频数据字节教目所分隔的连续同步字的状态。若当缓冲器读取指示器等于PTS指示器所指示的地址时，音频解码器54不是正在请求数据时，则会发生一音频处理误差，且次系统44将维持与音频流的同步化、清除其音频缓冲器和指示器，并回到寻找两个连续的音频同步字的状态[状态＝帧同步]。
为能处理误差，次系统44设定用于每个误差情况的独特误差旗标，而该误差情况是当微处理器42读取该旗标时被复位。每个中断微处理器42的误差情况在微处理器的控制下是可被遮蔽的。表1所列为与音频同步有关的误差情况和次系统44的响应。在该表中，“名称”表示指定给每一个误差情况的名称，如图5的状态图所示。“定义”是定义指示已发生的对应误差的情况。“INT”是一个中断表示，若为“是”，则指示当误差发生时，次系统44将中断微处理器42。“检查状态”和“下一状态”分别表示其中将测出(检查到)误差和将音频处理器将进入的状态，符号“＞”表示当次系统44的音频处理状态比指派的状态高时，将可测出指定的误差，该音频的处理状态的结构由最低到最高分别为：
1、闲置
2、帧同步
3、dPTSwait
4、PCRacq
5、PTSacq
6、PTS同步
7、追踪
一状态前的“≥”符号表示该误差当次系统44的音频处理状态等于或高于指派的状态时可被检测出来。指定的状态乃指示误差将在此状态中被检测出来，或是次系统44的音频处理将在相关动作被实施以后，继续处理此状态。“相同”表示次系统44的音频处理在相关的动作被实施以后将停留在相同的状态中。
头首“缓冲动作”表示音频缓冲器是否由设定其读取和写入指示器等于音频缓冲器的基本地址而被充溢(flushed)“无”表示与正常的音频缓冲器配置没有改变。
头首“指示器动作”由“复位”来表示只要次系统44已被重设，则PTS指示器、误差指示器或上述两者将回到所特定的状态。“无”表示正常的指示器配置没有变化。“看其他动作”表示在“其他动作”头引下的其他动作将指出一指示器被设定或复位。“其他动作”头引表示因为误差之故，次系统44所需要的任何额外动作。
             表1：误差、例外和动作的概述
名称 定义 Int 检查状态 下个状态 缓冲器动作 指示器动作   其他动作
  pts_err   PCR＞PTS+dPTSacq 是 pts_同步 帧_同步   充溢 复位   无
  pts_err   PCR＞PTS+dPTSacq 是 追踪 帧_同步   充溢 复位   停止输出到音频解码器(ADP)
  sync_err   输入与输入音帧同步的处理器损失 是 ＞闲置 帧_同步   充溢 复位   停止输出到音频解码器(ADP)
  ov_err   音频缓冲器上溢(overflows) 是 ≥pts_同步 帧_同步   充溢 复位   输入处理器维持与音频位流同步。停止输出到音频解码器ADP。
  under_err   音频缓冲器下溢(underflows ) 无 追踪 相同   无 无   输入处理器维持与音频位流同步。停止输出到ADP。
  fs_err   输入缓冲器接收指示音频取样率因已获得目前的PID而改变的音频PES数据 是 帧同步 相同   无 无   继续处理好象取样率没有改变。
  fb_err   输入缓冲器接收指示音频比特率相对于最后所收到的音频同步帧已有改变的音频PES数据 是 ＞帧_同步 相同   无 无   若比特率变化被致能，则输入处理器将继续处理，认为实际上比特率有改变且使用适合的同步帧大小以维持同步化。若比特率变化未被致能，则输入处理器将利用最后收到的音频同步帧所指示的比特率继续处理。
  pts_miss   因为在收到一PTS后的音频数据损失而无法发现同步字 无 ≥pts获得 相同   无 无   只是其他的误差情况也可应于本例中
  per_disl   输入处理器接收到在音频PCR PID上具有其适应_场组的不边续_指示位上的传送包封 无 pts_同步 pts获得   溢出 pts：复位误差：无   输入处理器停止继续将PTS值储存于PTS指示器中，直到已收到下一个音频PCR值为止
  per_dis2   输入处理器接收到在音频PCR PID上具有其适应_场组的不连续_指示位上的传送包封 无 追踪 相同   无 pts：复位误差：无   输入处理器停止继续将PTS值储存于PTS指示器中，直到已收到下一个音频PCR值为止。
aud_errla 因为误差，目前的输入同步帧的一传送包封中的音频数据损失 看其他动作 ＞闲置 相同或是帧_同步；看其他动作 无 pts：无误差：看其他动作无 靠使FIFO写入指示器前进184个字节(MPEG)的方式保持音频缓冲器的完整性，使用一误差指示器标记目前的同步帧为误差中，并继续处理而不会产生中断。若一多于一个的音频同步字随着遗失的音频传送包封而遗失时，例如当支持Musicam层是Ⅱ小于64kbPs或是AC-3比48kbps小时，回到帧同步状态且产生一中断。若在希望时没有收到下一个音频同步字时，即开始在接续音频数据的接收期间开始逐字节寻找，一旦开始该同步字节的寻找，则停止将音频数据储存在缓冲器中，直到发现同步字节为止。在寻找期间不检查的首字节。假设在发现同步字组时储存音频数据，并以其本身的同步字开始。若在第一次的184个字节未发现同步字，则回到帧同步状态并产生一中断。
aud_errlb 因为在相同输入同步帧期间发生aud_errla后产生误差的故，使该目前的输入同步帧的一传送包封的音频数据遗失 是 ＞闲置 帧_同步 溢出 pts：复位误差：无 无
aud_err2 因为误差之故而损失了目前输入同步帧中多于一个传送包封的音频数据 是 ＞闲置 帧_同步 溢出 pts：复位误差：看其他动作 使用一误差指示器使目前的同步帧标记为在误差中。
ptrs_full 一传送包封的音频数据遗失，而误差模式未受保护 是 ≥pts_同步 帧_同步 溢出 复位 输入处理器维持与音频位流的同步。停止输出到ADP。
为使上述用于MPEG或DigiCipherII的实施的误差处理得以实施，输入处理器乃利用下列方式维持一音帧字节的计数；
当每一同步字被收到时，设定一计数器的值为同步帧的字节大小，
当每一个收到的音频字节被储存于音频缓冲器(先进先出；FIFO)时，计数器减去一个步长，
当一单一音频传送包封遗失时使计数器减量184个字节，以补偿FIFO写入指示器而前进的184字节，
若上述减量导致一负计数值(表示可能包含于下一音频同步字中所遗失的传送包封，且说明音频取样率为44.1ksps的可能性，且同步帧大小已由较大值变为较小值)，则以对应于目前比特率的两个同步帧大小中较小者增量计数器，若上述增量后产生的值仍为负值时(表示所损失的传送包封可能包含于多于一个的音频同步字中)，则回到帧同步状态，和
当计数器为零时，开始逐字节找寻同步字。
如上所示，图2的解多工和数据剖析次系统44能维持几个指示器以支持音频处理。PTS指示器是一组与一PTS值(特别指一PTS值)、-DRAM截止位址和一有效旗标有关的参数。在例示的实施例中，该PTS值包含由音频PES头引所收到的PTS值的17个最低有效位。此值是与指示器的DRAM截止地址场所指示的音频同步帧有关。该17个位的使用能允许此场特定一个1.456秒的时间窗((217-1)/90kHz)，该值超过音频缓冲器50设定的储存大小的最大音频时间跨度。
该PTS指示器所维持的DRAM截止位址是一个进入DRAM中与音频缓冲器的基本位址有关的13位的截止位址，。与此指示器的PTS值有关的音频同步帧的第一字节被储存于此。此13位能允许指示器使一音频缓冲器的位址大到8192个字节。
PTS指示器和有效旗标为一个指示此PTS指示器是否包含一个有效的PTS值和DRAM截止位址的一位的旗标。既然MPEG不需使PTS值比每700微秒还多的频率传送，故次系统44将可发觉它本身并不具有可用于某些时间间隔的有效PTS值。
当解码器被复位以后，PTS指示器的有效旗标则被设定为无效。当收到一新的PTS值时(若该有效旗标被设定了)，此新到的PTS值即可被忽视。若有效旗标未被设定，则该新收到的PTS值被存储在PTS指示器中，但它的有效旗标尚未被设定为有效。当一新的PTS值被存储于PTS指示器以后，即继续处理音频数据，以及计数每一个音频数据字节。若收到了下一个音频同步帧以及将此帧正确地放置于缓冲器中，则该DRAM截止位址(该位址对应于此同步帧的同步字的第一字节被储存其内的缓冲器位址)被储存至指示器的DRAM截止位址场中。接着，指示器的有效旗标被设定为有效的。接着收到下一个音频同步帧，并在有太多音频字节(即每同步帧的音频字节数)被缓冲之前，PTS值的接收与一接续的同步字的接收之间没有因为任何理由而损失数据时，将此帧正确地放置于缓冲器中。若下一个音频同步帧未被收到或是未被正确地放在缓冲器中时，该有效旗标则不会被设定为有效。
在PTS指示器被用来检测任何因为最后的再同步化而可能发生的音频计时误差时，该有效旗标则被设定为无效，以允许接下来的PTS指示器被捕获和被利用。无论PTS指示器处于PTS同步或追踪状态下都将这样。
误差指示器是指与缓冲器中目前的且已知包含误差的音频同步帧有关的参数。该误差指示器包含一个DRAM截止位址和一个有效旗标。该DRAM截止地址是一个与音频缓冲器基本位址有关且进入DRAM的13位的截止地址，已知含有误差的音频同步帧的第一字节被储存于该处。此13个位能允许指示器使一音频缓冲器的位址大到8192个字节。该有效旗标是一个1位的旗标，用来指示此误差指示器是否包含有一个有效的DRAM截止位址。当自可免于误差的介质中收到数据时，该次系统44将发现它自己对某些时段而言，并不具有任何有效的误差指示器。
次系统44被要求来维持两个误差指示器和一个误差模式旗标。经过复位之后，该有效旗标被设定为无效，且误差模式被设定为“保护下”。当一个同步字被放入该音频缓冲器中时，若一个或多个误差指示器的有效旗标未被设定，则同步字的缓冲位址会被记录在该无效误差指示器之一的DRAM截止位址中。在此同时，误差模式被设定为被保护。若当一同步字被放置于缓冲器内时两个误差指示器的有效旗标被设定时，则误差模式被设定为不受保护，但同步字的DRAM截止位址不被记录。
当音频数据被放置于缓冲器中且在此音频数据中找不出任何误差时(例如因为一音频传送包封的损失或是收到未被加以适当地解密的音频数据时)，次系统44则会在误差模式为未受保护时恢复到PTS获取状态。否则，即可设定包含目前正被接收的同步帧的开始同步位的DRAM截止位址的误差指示器的有效位。在罕见的情况下，即在与用于同步帧的同步字自缓冲器移出时的相同时序周期期间，在音频同步帧的数据中发现了误差时，该同步字将会如上所述被劣化而特定出同步帧是已知包含有一音频误差。在此同时，有效位被清除，使它在同步帧已被输出以后不会保持于设定状态，如此可避免复位次系数44的需求，以使指示器再度有效。
当音频数据正由音频缓冲器中移除时，若任何误差指示器的DRAM截止地址与目前正自缓冲器移出的数据的位址匹配，则该同步字将变的不可靠。在此同时，有效位被设定为无效。
图2的解码器亦例示一视频缓冲器58和一视频解码器52。这些装置用以在音频数据被以前述的方式处理的同时，处理视频数据。其最后的目标是使视频和音频在适当时间一起输出，使得电视信号可以利用端缘同步而被重建。
图4的方块图是更详细地例示图2的解多工和数据剖析次系统44。在传送包封已经终端40而输入以后，每个包封的PID即由电路70予以检测。PID的检测能致能解多工器72输出音频包封、视频包封和数据流中以分离的携带的任何其他型的包封，如载有控制数据的包封。
由解多工器72所输出的音频包封被输入于用以实施如上所述的音频处理的不同电路中。电路74修正每个已知包含有误差的音帧的同步字。该修正的同步字是利用一同步字反相器78而取得，该反相器78用以在同步字对应的音频帧包含有一误差的情况下反相自该同步字、PCR和PTS检测电路80输出的同步字中的每相隔位。误差检测由误差检测电路76所提供。
该同步字、PCR和PTS检测电路80亦将用于每个音帧的同步字输出到一个音频取样和比特率计算器86中。该电路决定音频数据的音频取样和比特率，并使此信息经数据总线88而送至解码器微处理器42中。
PCR和PTS是由电路80输出到一个端缘同步和输出计时补偿器82中。电路82亦接收来自微处理器42的dPTS值，并将适当的值加至PTS上，以提供适当端缘同步所需的延迟。补偿器82并决定延迟的表示时间是否在相对于PCR为可接受范围之外，在此情况下，已发生误差且将需要再同步化。
缓冲器控制84提供控制和位址信息予音频输出缓冲器50。无论何时发生误差该缓冲器控制84是由误差检测电路76信号通知需要使对缓冲器的数据写入暂时中止。该缓冲器控制84也接收自端缘同步和输出计时补偿器82的延迟值，以控制由缓冲器输出的数据的适当计时。
图5所示为说明如图表1所列的音频数据的处理和对误差的响应的状态图。闲置状态由方块100表示。音频数据的取得是在帧同步状态102期间发生。dPTS-等待状态由方块104表示。方块106、108和110分别表示PCRacq、PTSacq和PTS同步状态。一旦发生了音频同步，信号即会依方块112的追踪状态所指示而被追踪。每个方块104、106、108、110和112的输出皆指示导致回到帧同步状态102的误差情况。在PTS同步状态110期间的误差PCR DIS1将导致返回PTS获取状态，如图5的状态图所表示。
如今应了解本发明能提供一种方法和设备，用于获取和处理经由传送包封的方式传送的音频数据中的误差。传送包封误差被处理，但维持音频的同步化。在如此的误差情况期间，相关的音频误差被稳藏起来。而一音帧中的劣化数据则由改变与音帧有关的同步型式而被信号通知。PTS被用于检查处理的计时，以及修正音频的计时误差。
本发明虽以利用不同的特定实施例描述，但应了解仍可以对上述实施例做多种适用和修改，而不致脱离本发明的如权利要求所列的精神和领域。

Claims (23)

1、一种用以处理来自一包封化的数据流的数字音频数据的方法，该数据流载有一连串的固定长度的传送包封形式的数字电视信号，该包封各包括一包封辩识器(PID)，某些包封含有一用以使一解码器系统时间时钟(STC)同步化的程序时钟参考(PCR)，以及某些包封含有一表示时间戳记(PTS)，以指示与用以重建一电视信号的数据相关的输出开始的时间，该方法包含下列步骤：
监视用于在该数据流中所载的包封的PID，以检测音频包封，该音频包封某些载有一音频PTS；
将来自被检测的音频包封的音频数据储存于一缓冲器中，以供接下来的输出；
监视被检测的音频包封，以定位该音频PTS；
比较自该STS导出的时间和自该被定位的音频PTS导出的时间，以决定该音频包封是否过早、过晚被解码，或是否已准备被解码；和
响应于该比较步骤而根据进行调整该储存的音频数据自该缓冲器输出的时间。
2、根据权利要求1所述的方法，其中具有一PTS指示器，以维持目前的PTS值和该缓冲器的地址可辨识该目前的PTS所参考的音频数据的一部分被储存于何处，该计时调整可由下列步骤提供：
在储存于该地址上的数据已自该缓冲器输出之后，以一新的目前PTS值取代该PTS指示器内的PTS值；
以对应于该新目前PTS值所参考的音频数据的一部分的新地址取代该PTS指示器内的该地址；
当到达一新地址时使该缓冲器的数据输出中止；和
当该解码器系统时间时钟到达一由该新的目前PTS值所导出的表示时间时，开始令数据由该缓冲器输出。
3、根据权利要求2所述的方法，其中该表示时间是由该新的目前PTS值与一偏移值的总和确定，该偏移值通过一视频信号处理的延迟而提供适当的端缘同步。
4、根据权利要求1所述的方法，其中音频数据自该缓冲器输出的时间依加至该PTS的偏移值而定，以通过一视频信号处理的延迟而提供适当的端缘同步。
5、根据权利要求1所述的方法，还包含下列步骤：
审查被检测的音频包封，以设置其中至少一音频同步字的发生，以用来定位该音频PTS之前完成一同步化的情况；
若该比较步骤决定该音频包封太晚而不能解码时，开始进行该同步情况的再取得。
6、根据权利要求5所述的方法，其中两个其间具有正确数目的音频数据字节的连续音频同步字定义一个音帧，该音帧只包括该两个连续音频同步字之一，该方法还包含下列步骤：
检测该音频包封中误差发生：
当检测到一包含误差的目前音帧的一第一音频包封时，使用于该缓冲器的一写入指示器前进该固定长度传送包封内所含的最多有效负载字节(N)，并指定该目前的音帧为误差中；
监视在测出该误差以后，该用于下一音频同步字的目前音帧的被测音频包封，且若该同步字不是在音频流内的预期之处被接收时，则舍弃接续的音频数据，并找寻该同步字，而非将接续的音频数据储存于该缓冲器中；
在检测到该下一音频同步字且若该下一音频同步字是设置在开始对其搜寻的N个字节以内时，恢复将音频数据储存于该缓冲器中和；
若该下一音频同步字不是设置于开始对其搜寻的N个字节以内时，则开始再获取该同步情况的动作。
7、根据权利要求6所述的方法，还包含下列步骤：无论何时只要重建该电视音频的音频数据是错误，则隐藏该电视音频的误差。
8、根据权利要求7所述的方法，其中
靠改变用于一目前音频帧的音频同步字的方式指定该帧是在错误中；和
该隐藏步骤是响应于一改变的同步字，以将与对应的音帧有关的音频隐藏起来。
9、一种用以处理来自一包封化数据流的数字音频数据的方法，该数据流载有为一连串的N个字节的固定长度的传送包封形式的数字电视信息，该包封各包括一包封辨识器(PID)，某些包封含有一用以使一解码器系统时间时钟同步化的程序式时钟参考(PCR)，以及某些包封含有一表示时间戳记(PTS)，以指示用以重建一电视信号的相关数据的输出开始的时间，该方法包含下列步骤：
监视用于在该数据流中所载的包封的PID，以检测音频包封；
审查被检测的音频包封，以定位用以达成一同步情况的音频同步字的发生，每两个连续音频同步字之间定义出一个音帧；
在该同步化情况已达成以后，监视被检测的音频包封，以定位一音频PTS；
在定位完该音频PTS之后寻找被检测的音频包封以定位下一个音频同步字；
将跟在该下一音频同步字之后的音频数据储存于一缓冲器中；
检测该音频包封内误差的发生；
在检测到一包含有一误差的目前音帧的第一音频包封时，使一用于该缓冲器的写入指示器前进N个字节，并指定该目前音帧是在误差中；
在已测得该误差之后，监视用于下一音频同步字的目前音帧的检测音频包封，且若该同步字不是在音频流中所期望的位置上收到时，则舍弃接续的音频数据，并寻找该同步字，而非将接续的音频数据储存于该缓冲器中；
在检测到该下一音频同步字且若该下一音频同步字是设置在开始对其搜寻的N个字节以内时，恢复将音频数据储存于该缓冲器中；和
若该下一音频同步字不是设置于开始对其搜寻的N个字节以内时则开始再获取该同步情况。
10、根据权利要求9所述的方法，还包含下列步骤：无论何时只要重建该电视音频的音频数据是错误时，则隐藏该电视音频的误差。
11、根据权利要求10所述的方法，其中：
靠改变用于一目前音频帧的音频同步字的方式指定该帧在错误中；和
该隐藏步骤是响应于一改变的同步字，以将与对应的音帧有关的音频隐藏起来。
12、根据权利要求9所述的方法，其中该音频数据包括指示一音频取样率和音频比特率的信息，该音频取样率和音频比特率至少其一是可变的，该方法还包含意图在该音频数据所指示的速率变化期间维持该音频包封的同步化的步骤，通过：
当假设速率实际上没有改变时忽视该音频数据所指示的速率变化；
隐藏包含有指示一音频取样率变化的数据的音帧，但仍意图维持同步化情况；和
若该情况不能维持时，开始再获取该同步情况。
13、根据权利要求9所述的方法，其中该音频数据包括指示一音频取样率和音频比特率的信息，该音频取样率和音频比特率至少其一是可变的，该方法还包含意图在该音频数据所指示的速率变化期间维持该音频包封的同步化的步骤，通过：
在缺少属于包含一新速率的音帧的误差指示的情况下，根据该音频数据所指示的该新速率来处理该音频数据，但仍试图维持该同步情况；
若一误差指示属于包含该新速率的音帧，处理该音频数据，而不改变其速率，但隐藏该误差情况所属的音帧，并且试图维持该同步情况；和
若不能维持该情况，则开始再获取该同步情况。
14、用以获取由包封化数据流携带的音频信息并处理其内误差的装置，该装置包含：
用以检测该数据流内的音频传送包封的装置；
用以自所检测的音频传送包封中还原音频数据以将其储存于一缓冲器内的装置；
用以将一音频表示时间戳记(PTS)定位于该检测的音频传送包封之中的装置；
装置，响应于该PTS以在一特定时间下开始使音频数据自该缓冲器输出；
当已开始使音频数据由该缓冲器输出之后，用以监视该检测的音频传送包封的装置，以定位接续的音频PTS；
装置，用以比较由一解码器系统时间时钟(STC)导出的时间与一由该接续的音频PTS导出的时间，以决定该缓冲器内的音频数据是否过早解码、过迟解码或已准备解码；和
响应于该比较装置以调整该储存的音频数据自该缓冲器输出的时间的装置。
15、根据权利要求14所述的装置，还包含：
以一目前的PTS值和该缓冲器中辨认该目前PTS所指的音频数据的一部分被存储的位置的地址来维持PTS指示器的装置；
当储存于该地址上的数据已从该缓冲器输出之后，以一新目前PTS值取代该PTS指示器内的该PTS值的装置，该装置并用于以一对应于该新的目前PTS值所指的音频数据的一部分的新地址取代该PTS指示器的该地址；
响应于该PTS指示器以当到达该新地址时使该缓冲器的数据输出中止的装置；和
在由该新的目前PTS值导出的时间使数据开始由该缓冲器输出的装置。
16、根据权利要求15所述的装置，还包含：
若该新的目前PTS值所导出的时间位于一预设范围以外，则由该缓冲器输出的数据所再生的音频信号内的误差隐藏起来，并重新建立对该音频传送包封的检测。
17、根据权利要求14所述的装置，其中该音频传送包封各包含固定N个数目的有效负载字节，该包封是配置成连续的音帧，且由一音频同步字开始，该装置还包含有：
用以检测该音频包封中的误差发生的装置；
用以在检测到该目前音帧的一音频传送包封中有误差时，使用于该缓冲器的一写入指示器前进N个字节，并指定一目前音帧为在误差中的装置；
在该误差已被检测出来以后，用以监视用于下一音频同步字的该目前音帧的检测音频传送包封的装置，且若该同步字不能在音频流内所期待的位置上被接收时，则该装置舍弃接续的音频数据，且不将该接续音频数据储存于该缓冲器中，而是找寻该同步字；和
用以当检测到该下一音频同步字且若该下一音频同步字被设置在开始找寻后的该固定N个字节内，则恢复将音频数据储存于该缓冲器中的装置；和
若该下一音频同步字不是被设置在开始找寻后的该固定N个字节内，用以重新建立该音频传送包封的检测的装置。
18、根据权利要求17所述的装置，还包含：
用以当来自该缓冲器的输出数据在误差中时，使该误差隐藏于由该缓冲器输出的数据所产生的音频信号中。
19、根据权利要求18所述的装置，还包含：
用以改变与一目前音频帧有关的音频同步字以指定该帧在误差中的装置；
其中该隐藏装置是响应于已改变的同步字，以将误差隐藏于与对应音帧有关的音频中。
20、一种用于获取由一包封化数据流所携带的音频信息并处理其内的误差的装置，包含有：
用以检测该数据流内的音频传送包封的装置，该包封是配置为连续的音帧，且以一音频同步字开始；
响应于该同步字的装置，以获得能够使音频数据由该检测的音频传送包封中还原出来的同步状态，以将其储存于一缓冲器中；
用以检测该音频数据内误差的存在的装置；
响应于该误差检测装置以当出现误差时可经该缓冲器而控制数据流动的装置，以意图维持该同步情况，但遮盖该误差；和
用以若该控制装置不能维持该同步情况，重新建立对该音频传送包封的侦测的装置。
21、根据权利要求20所述的装置，其中该音频传送包封各包含固定N个数目的有效负载字节，且该响应于该误差检测装置的装置包含：
用以在检测到一音频传送包封中有误差时，使用于该缓冲器的一写入指示器前进N个字节，并指定一目前音帧为在误差中的装置；
在该误差已被检测出来以后，用以监视用于下一音频同步字的该目前音帧的检测音频传送包封的装置，且若该同步字不能在音频流内所期待的位置上被接收时，则该装置舍弃接续的音频数据，且不将该接续音频数据储存于该缓冲器中，而是找寻该同步字；和
当检测到该下一同步字且若该下一音频同步字被设置在开始找寻后的该固定N个字节内，则恢复将音频数据储存于该缓冲器中的装置。
22、根据权利要求20所述的装置，还包含：
当来自该缓冲器的输出数据在误差中时，用以使该误差隐藏于由该缓冲器输出的数据所再生的音频信号中装置。
23、根据权利要求22所述的装置，还包含：
用以改变与一包含数据误差的音频帧有关的音频同步字以指定该帧在误差中的装置；
其中该隐藏装置是响应于已改变的同步字，以将误差隐藏于与对应音帧有关的音频中。
CN96120844A 1995-11-22 1996-11-22 处理数字音频数据及管理数据中的误差的方法和获取音频信息的装置 Expired - Fee Related CN1129325C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/562,611 US5703877A (en) 1995-11-22 1995-11-22 Acquisition and error recovery of audio data carried in a packetized data stream
US08/562611 1995-11-22
US562,611/08 1995-11-22

Publications (2)

Publication Number Publication Date
CN1160328A true CN1160328A (zh) 1997-09-24
CN1129325C CN1129325C (zh) 2003-11-26

Family

ID=24246992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96120844A Expired - Fee Related CN1129325C (zh) 1995-11-22 1996-11-22 处理数字音频数据及管理数据中的误差的方法和获取音频信息的装置

Country Status (8)

Country Link
US (1) US5703877A (zh)
EP (2) EP1463334A2 (zh)
KR (1) KR100298963B1 (zh)
CN (1) CN1129325C (zh)
BR (1) BR9605667A (zh)
CA (1) CA2190688C (zh)
MX (1) MX9605765A (zh)
TW (1) TW297976B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100367313C (zh) * 2002-11-07 2008-02-06 汤姆森许可贸易公司 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
US7810124B2 (en) 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
CN101156443B (zh) * 2003-01-28 2011-08-10 汤姆森许可贸易公司 鲁棒模式的交错播送快速信道改变
CN102158783A (zh) * 2010-01-29 2011-08-17 宝利通公司 通过变换插值进行音频分组丢失隐藏
CN101087400B (zh) * 2007-06-26 2011-09-21 中兴通讯股份有限公司 视频帧延时检测方法及系统
CN101262327B (zh) * 2007-03-07 2011-12-14 佳能株式会社 通信系统、通信设备及其控制方法
CN101322375B (zh) * 2005-10-31 2012-04-04 Sk电信有限公社 音频数据包格式及其解码方法、校正移动通信终端编解码器安装错误的方法以及执行该方法的移动通信终端
CN101133590B (zh) * 2005-03-02 2012-05-09 诺基亚公司 见你所见（swys）
CN101518081B (zh) * 2006-09-26 2013-03-06 高通股份有限公司 对使用音频时间戳的多媒体解码器的再同步

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US9286294B2 (en) 1992-12-09 2016-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content suggestion engine
US6944298B1 (en) 1993-11-18 2005-09-13 Digimare Corporation Steganographic encoding and decoding of auxiliary codes in media signals
US6614914B1 (en) 1995-05-08 2003-09-02 Digimarc Corporation Watermark embedder and reader
US6611607B1 (en) 1993-11-18 2003-08-26 Digimarc Corporation Integrating digital watermarks in multimedia content
US6560349B1 (en) 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
JP3575100B2 (ja) * 1994-11-14 2004-10-06 ソニー株式会社 データ送信／受信装置及び方法並びにデータ記録／再生装置及び方法
US6172988B1 (en) * 1996-01-31 2001-01-09 Tiernan Communications, Inc. Method for universal messaging and multiplexing of video, audio, and data streams
US5818539A (en) * 1996-03-29 1998-10-06 Matsushita Electric Corporation Of America System and method for updating a system time constant (STC) counter following a discontinuity in an MPEG-2 transport data stream
KR100251641B1 (ko) * 1996-05-13 2000-04-15 김영환 채널 정렬 회로
JP3216531B2 (ja) * 1996-07-24 2001-10-09 三菱電機株式会社 再多重化装置および再多重化方法
JP4147592B2 (ja) * 1996-08-06 2008-09-10 ソニー株式会社 パケット処理方法、記録方法、記録システム
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法
US6038000A (en) * 1997-05-28 2000-03-14 Sarnoff Corporation Information stream syntax for indicating the presence of a splice point
US6806909B1 (en) * 1997-03-03 2004-10-19 Koninklijke Philips Electronics N.V. Seamless splicing of MPEG-2 multimedia data streams
KR100240328B1 (ko) * 1997-04-30 2000-01-15 전주범 Dvcr의 오디오 재생 클럭 발생 장치
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
GB2326781B (en) * 1997-05-30 2001-10-10 British Broadcasting Corp Video and audio signal processing
DE19723760B4 (de) * 1997-06-06 2006-07-13 Deutsche Telekom Ag Einrichtung und Verfahren zum Empfang von Daten
JP3058263B2 (ja) * 1997-07-23 2000-07-04 日本電気株式会社 データ送信装置、データ受信装置
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
US6072771A (en) * 1997-09-26 2000-06-06 International Business Machines Corporation Detection of errors in table data
JPH11112972A (ja) * 1997-09-30 1999-04-23 Matsushita Electric Ind Co Ltd 複合化処理量情報の抽出装置および方法
JPH11133991A (ja) * 1997-10-29 1999-05-21 Toshiba Corp デジタル信号処理装置及び標本化周波数の切り替え時の制御方法
TW376629B (en) * 1997-12-19 1999-12-11 Toshiba Corp Digital image decoding method and device
DE69902874T2 (de) * 1998-01-07 2003-01-30 Thomson Licensing S.A., Boulogne Vorrichtung zur erzeugung einer verzögerung für videolippensynchronisation und verfahren dafür
US6246701B1 (en) * 1998-01-14 2001-06-12 Skystream Corporation Reference time clock locking in a remultiplexer for video program bearing transport streams
US6351474B1 (en) 1998-01-14 2002-02-26 Skystream Networks Inc. Network distributed remultiplexer for video program bearing transport streams
US6111896A (en) * 1998-01-14 2000-08-29 Skystream Corporation Remultiplexer for video program bearing transport streams with program clock reference time stamp adjustment
US6292490B1 (en) 1998-01-14 2001-09-18 Skystream Corporation Receipts and dispatch timing of transport packets in a video program bearing stream remultiplexer
US6195368B1 (en) 1998-01-14 2001-02-27 Skystream Corporation Re-timing of video program bearing streams transmitted by an asynchronous communication link
US6351471B1 (en) 1998-01-14 2002-02-26 Skystream Networks Inc. Brandwidth optimization of video program bearing transport streams
US6081299A (en) * 1998-02-20 2000-06-27 International Business Machines Corporation Methods and systems for encoding real time multimedia data
JP3228708B2 (ja) * 1998-04-03 2001-11-12 パイオニア株式会社 伝送システムにおける受信インターフェース装置
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
BR9912385A (pt) 1998-07-23 2002-01-15 Diva Systems Corp Interface de usuário gerada em um extremo de cabeça, guia de programa interativo, e, processos de geração e distribuição de uma interface de usuário, e de interação com um guia de programa interativo
US9924234B2 (en) 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program
US6665728B1 (en) * 1998-12-30 2003-12-16 Intel Corporation Establishing optimal latency in streaming data applications that use data packets
US6421647B1 (en) * 1999-01-12 2002-07-16 Texas Instruments Incorporated Deterministic method and system for verifying synchronization words
US6421646B1 (en) * 1999-01-12 2002-07-16 Texas Instruments Incorporated Probabilistic method and system for verifying synchronization words
AU4173100A (en) * 1999-03-22 2000-10-09 Scientific-Atlanta, Inc. Method and apparatus for generating time stamp information
US6751228B1 (en) * 1999-03-23 2004-06-15 Yamaha Corporation Packet handler of audio data by isochronous mode
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7096487B1 (en) 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US6904610B1 (en) 1999-04-15 2005-06-07 Sedna Patent Services, Llc Server-centric customized interactive program guide in an interactive television environment
US7184450B1 (en) * 1999-04-28 2007-02-27 National Semiconductor Corporation System and method for decoding audio/video data such as DVD or/and DVB data
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
US6356871B1 (en) * 1999-06-14 2002-03-12 Cirrus Logic, Inc. Methods and circuits for synchronizing streaming data and systems using the same
US6771646B1 (en) 1999-06-30 2004-08-03 Hi/Fn, Inc. Associative cache structure for lookups and updates of flow records in a network monitor
US6839751B1 (en) 1999-06-30 2005-01-04 Hi/Fn, Inc. Re-using information from data transactions for maintaining statistics in network monitoring
ATE495500T1 (de) 1999-06-30 2011-01-15 Apptitude Inc Verfahren und vorrichtung zur überwachung des verkehrs in einem netzwerk
US6789116B1 (en) * 1999-06-30 2004-09-07 Hi/Fn, Inc. State processor for pattern matching in a network monitor device
US6658381B1 (en) * 1999-10-15 2003-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for robust frame type detection in systems employing variable bit rates
ATE359669T1 (de) 1999-10-27 2007-05-15 Sedna Patent Services Llc Vielfache videoströme unter verwendung von slice- basierter kodierung
US6721710B1 (en) * 1999-12-13 2004-04-13 Texas Instruments Incorporated Method and apparatus for audible fast-forward or reverse of compressed audio content
EP1936999B1 (en) * 2000-01-10 2016-12-21 Koninklijke Philips N.V. Method of setting a system time clock at the start of an MPEG sequence
US7366961B1 (en) 2000-01-24 2008-04-29 Ati Technologies, Inc. Method and system for handling errors
US6885680B1 (en) * 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
US7754025B1 (en) 2000-06-08 2010-07-13 Beverage Works, Inc. Dishwasher having a door supply housing which holds dish washing supply for multiple wash cycles
US6799085B1 (en) * 2000-06-08 2004-09-28 Beverage Works, Inc. Appliance supply distribution, dispensing and use system method
US6751525B1 (en) 2000-06-08 2004-06-15 Beverage Works, Inc. Beverage distribution and dispensing system and method
US7083071B1 (en) 2000-06-08 2006-08-01 Beverage Works, Inc. Drink supply canister for beverage dispensing apparatus
US6879652B1 (en) 2000-07-14 2005-04-12 Nielsen Media Research, Inc. Method for encoding an input signal
US20030037109A1 (en) * 2000-08-11 2003-02-20 Newman Harvey B. Virtual room videoconferencing system
US6891822B1 (en) * 2000-09-08 2005-05-10 Sharewave, Inc. Method and apparatus for transferring isocronous data within a wireless computer network
JP3552667B2 (ja) * 2000-12-19 2004-08-11 ヤマハ株式会社 通信システム及び通信プログラムを記録した記録媒体
US7130316B2 (en) * 2001-04-11 2006-10-31 Ati Technologies, Inc. System for frame based audio synchronization and method thereof
US7206367B1 (en) * 2001-07-10 2007-04-17 Sigmatel, Inc. Apparatus and method to synchronize multimedia playback over a network using out-of-band signaling
US20080030623A1 (en) * 2001-07-19 2008-02-07 Kumar Ramaswamy Robust reception of digital broadcast transmission
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US7908628B2 (en) 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
US8880709B2 (en) 2001-09-12 2014-11-04 Ericsson Television Inc. Method and system for scheduled streaming of best effort data
KR100826170B1 (ko) * 2002-04-08 2008-04-30 엘지전자 주식회사 디지털 방송 수신기에서의 ｐｔｓ 관리 방법
US6956871B2 (en) * 2002-04-19 2005-10-18 Thomson Licensing Apparatus and method for synchronization of audio and video streams
US8027381B2 (en) * 2003-01-28 2011-09-27 Thomson Licensing Robust mode staggercasting user controlled switching modes
US7693222B2 (en) 2003-08-13 2010-04-06 Ericsson Television Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation
US7342968B2 (en) * 2003-08-13 2008-03-11 Skystream Networks Inc. Method and system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
US7227899B2 (en) * 2003-08-13 2007-06-05 Skystream Networks Inc. Method and system for re-multiplexing of content-modified MPEG-2 transport streams using interpolation of packet arrival times
US7274742B2 (en) * 2003-08-13 2007-09-25 Skystream Networks Inc. Model and model update technique in a system for modeling the relationship of the bit rate of a transport stream and the bit rate of an elementary stream carried therein
US20050036557A1 (en) * 2003-08-13 2005-02-17 Jeyendran Balakrishnan Method and system for time synchronized forwarding of ancillary information in stream processed MPEG-2 systems streams
WO2005020557A2 (en) * 2003-08-13 2005-03-03 Skystream Networks Inc. Method and system for modeling the relationship of the bit of a transport stream and the bit rate of an elementary stream carried therein
US7590124B2 (en) * 2003-09-30 2009-09-15 Intel Corporation Encapsulation technique
US7594254B2 (en) * 2004-03-22 2009-09-22 Cox Communications, Inc System and method for transmitting files from a sender to a receiver in a television distribution network
DE102004017215A1 (de) * 2004-04-05 2005-10-20 Sennheiser Electronic Audiovisuelles System
US8443038B2 (en) 2004-06-04 2013-05-14 Apple Inc. Network media device
US8797926B2 (en) 2004-06-04 2014-08-05 Apple Inc. Networked media station
US10972536B2 (en) 2004-06-04 2021-04-06 Apple Inc. System and method for synchronizing media presentation at multiple recipients
US20070110074A1 (en) 2004-06-04 2007-05-17 Bob Bradley System and Method for Synchronizing Media Presentation at Multiple Recipients
KR101174131B1 (ko) * 2004-10-14 2012-08-14 삼성전자주식회사 멀티미디어 방송 수신시의 에러 검출 방법 및 장치
US7895218B2 (en) * 2004-11-09 2011-02-22 Veveo, Inc. Method and system for performing searches for television content using reduced text input
US7675872B2 (en) 2004-11-30 2010-03-09 Broadcom Corporation System, method, and apparatus for displaying pictures
US9462333B2 (en) * 2010-09-27 2016-10-04 Intel Corporation Method for processing multimedia streams
US7735111B2 (en) * 2005-04-29 2010-06-08 The Directv Group, Inc. Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
GB0509047D0 (en) 2005-05-04 2005-06-08 Pace Micro Tech Plc Television system
US20070094579A1 (en) * 2005-10-07 2007-04-26 Miguel Cerrato Sanchez Method for handling audio packet loss in a windows® media decoder
TWI335146B (en) 2005-10-31 2010-12-21 Sk Telecom Co Ltd Audio data packet format, method for decoding audio data packet format, method for correcting codec setup error, and mobile communication terminal adapted to correct codec setup error
KR100746076B1 (ko) 2005-11-07 2007-08-06 엘지전자 주식회사 멀티미디어 신호의 시간정보 전송방법
CN101366319B (zh) 2006-01-11 2013-03-06 高通股份有限公司 认知通信
US8811369B2 (en) 2006-01-11 2014-08-19 Qualcomm Incorporated Methods and apparatus for supporting multiple communications modes of operation
US20070177595A1 (en) * 2006-01-30 2007-08-02 Mediatek Inc. DTV decoding system and de-multiplexing method thereof
US20080240227A1 (en) * 2007-03-30 2008-10-02 Wan Wade K Bitstream processing using marker codes with offset values
JP2008283472A (ja) * 2007-05-10 2008-11-20 Toshiba Corp ストリーム再生装置
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US8595501B2 (en) 2008-05-09 2013-11-26 Qualcomm Incorporated Network helper for authentication between a token and verifiers
JP2011523484A (ja) * 2008-05-27 2011-08-11 マルチ ベース リミテッド ビデオデータの非線形表示
JP5141633B2 (ja) * 2009-04-24 2013-02-13 ソニー株式会社 画像処理方法及びそれを用いた画像情報符号化装置
US8560331B1 (en) * 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
US8437619B2 (en) 2010-12-20 2013-05-07 General Instrument Corporation Method of processing a sequence of coded video frames
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US8438595B1 (en) 2011-11-04 2013-05-07 General Instrument Corporation Method and apparatus for temporal correlation of content-specific metadata with content obtained from disparate sources
WO2013083840A1 (en) 2011-12-09 2013-06-13 Cinemo Gmbh Media playback component comprising playback queue and queue bypass
CN104486017B (zh) * 2014-11-07 2017-02-15 中国电子科技集团公司第二十八研究所 一种基于ip光传输的卫星授时多节点同步监测方法
KR102477464B1 (ko) * 2015-11-12 2022-12-14 삼성전자주식회사 무선 통신 시스템에서 음성 패킷의 크기를 제어하기 위한 장치 및 방법
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
US10878879B2 (en) * 2017-06-21 2020-12-29 Mediatek Inc. Refresh control method for memory system to perform refresh action on all memory banks of the memory system within refresh window
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US10783929B2 (en) 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
US10614857B2 (en) 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
US11239988B2 (en) * 2019-04-22 2022-02-01 Texas Instruments Incorporated Methods and systems for synchronization of slave device with master device
WO2022193141A1 (zh) * 2021-03-16 2022-09-22 华为技术有限公司 多媒体文件的播放方法及相关装置
CN113676687A (zh) * 2021-08-30 2021-11-19 联想(北京)有限公司 一种信息处理方法及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2648972B1 (fr) * 1989-06-27 1994-08-26 Thomson Csf Dispositif de synchronisation pour un decodeur de donnees codees par un code a longueur variable
EP0441168B1 (en) * 1990-02-06 1996-10-16 ALCATEL ITALIA Società per Azioni System, packet structuring and device for processing output information from a signal encoder
US5168356A (en) * 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
US5247363A (en) * 1992-03-02 1993-09-21 Rca Thomson Licensing Corporation Error concealment apparatus for hdtv receivers
US5289276A (en) * 1992-06-19 1994-02-22 General Electric Company Method and apparatus for conveying compressed video data over a noisy communication channel
AU672070B2 (en) * 1993-02-26 1996-09-19 Sony Corporation Synchronization of audio/video information
JP3364281B2 (ja) * 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
US5376969A (en) * 1993-11-15 1994-12-27 Rca Thomson Licensing Corporation Method and apparatus for conveying compressed video data over a noisy communication channel
US5467342A (en) * 1994-01-12 1995-11-14 Scientific-Atlanta, Inc. Methods and apparatus for time stamp correction in an asynchronous transfer mode network
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
US5517250A (en) * 1995-02-28 1996-05-14 General Instrument Corporation Of Delaware Acquisition of desired data from a packetized data stream and synchronization thereto

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100367313C (zh) * 2002-11-07 2008-02-06 汤姆森许可贸易公司 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法
US7810124B2 (en) 2003-01-28 2010-10-05 Thomson Licensing Robust mode staggercasting fast channel change
CN101156443B (zh) * 2003-01-28 2011-08-10 汤姆森许可贸易公司 鲁棒模式的交错播送快速信道改变
CN101133590B (zh) * 2005-03-02 2012-05-09 诺基亚公司 见你所见（swys）
CN101322375B (zh) * 2005-10-31 2012-04-04 Sk电信有限公社 音频数据包格式及其解码方法、校正移动通信终端编解码器安装错误的方法以及执行该方法的移动通信终端
CN101518081B (zh) * 2006-09-26 2013-03-06 高通股份有限公司 对使用音频时间戳的多媒体解码器的再同步
US9083994B2 (en) 2006-09-26 2015-07-14 Qualcomm Incorporated Method and system for error robust audio playback time stamp reporting
CN101262327B (zh) * 2007-03-07 2011-12-14 佳能株式会社 通信系统、通信设备及其控制方法
CN101087400B (zh) * 2007-06-26 2011-09-21 中兴通讯股份有限公司 视频帧延时检测方法及系统
CN102158783A (zh) * 2010-01-29 2011-08-17 宝利通公司 通过变换插值进行音频分组丢失隐藏

Also Published As

Publication number Publication date
KR100298963B1 (ko) 2001-11-05
EP0776134A3 (en) 1999-05-12
MX9605765A (es) 1997-05-31
CA2190688C (en) 1999-10-12
TW297976B (en) 1997-02-11
EP0776134A2 (en) 1997-05-28
CN1129325C (zh) 2003-11-26
CA2190688A1 (en) 1997-05-23
BR9605667A (pt) 1998-08-18
EP1463334A2 (en) 2004-09-29
US5703877A (en) 1997-12-30
KR970032167A (ko) 1997-06-26

Similar Documents

Publication Publication Date Title
CN1129325C (zh) 处理数字音频数据及管理数据中的误差的方法和获取音频信息的装置
EP2057630B1 (en) Method and apparatus for receiving, storing, and presenting multimedia programming without indexing prior to storage
US20080285556A1 (en) Broadcasting service transmitting apparatus and method and broadcasting service receiving apparatus and method for effectively accessing broadcasting service
US6680753B2 (en) Method and apparatus for skipping and repeating audio frames
CN1316163A (zh) 多媒体数据的编码方法及其装置
CN1393084A (zh) 数据流处理装置和方法以及程序存储介质
US20060087687A1 (en) Apparatus and method for transmitting/receiving image data in mobile communication system
CN103718563A (zh) 接收装置及其接收方法
JP2006054039A (ja) マルチチャネルオーディオのパケット多重化方法、および、システム
CN102547299A (zh) 基于mpeg-2视频流的音视频同步控制方法
US6693959B1 (en) Method and apparatus for indexing and locating key frames in streaming and variable-frame-length data
EP2276192A2 (en) Method and apparatus for transmitting/receiving multi - channel audio signals using super frame
CN101079296A (zh) 音频解码器和音频解码方法
EP2070329B1 (en) Method and system for error robust audio playback time stamp reporting
JP2003525544A (ja) 少なくとも２つのトランスポートストリーム及び対応するデジタルストリームのための逆多重化装置及び方法
KR100619034B1 (ko) 디지털 멀티미디어 데이터 수신기에서 송수신 데이터 동기방법 및 장치
CN1698116A (zh) 再现设备和方法以及记录介质
JP2001007786A (ja) データ通信方法およびシステム
CN1218599A (zh) 数据多路化法和多路数据重放法与使用该法的多路数据重放装置及该法的记录媒体
KR101349487B1 (ko) 패킷의 길이가 가변적인 ｍｐｅｇ-2 트랜스포트 패킷 생성 장치 및 방법
US7664373B2 (en) Program, data processing method, and system of same
US7853118B2 (en) Image replay apparatus and method for moving-picture streams
CN1144213C (zh) 解码设备和解码方法
CN1102312C (zh) 通过封包数据流传输数据的方法及装置
US20040168204A1 (en) Method of processing packet data between video server and clients

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: GENERAL INSTRUMENT CORP. OF DELAWARE TO: GENERAL INSTRUMENT CO.,LTD.

CP03 Change of name, title or address

Address after: American Pennsylvania

Applicant after: General Instrument Corporation

Address before: Illinois

Applicant before: General Instrument Corp. of Delaware

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1006249

Country of ref document: HK

C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee