CN1125543C - 数字信号的多路复用方法和设备以及数字信号的记录介质 - Google Patents

数字信号的多路复用方法和设备以及数字信号的记录介质 Download PDF

Info

Publication number
CN1125543C
CN1125543C CN96116718A CN96116718A CN1125543C CN 1125543 C CN1125543 C CN 1125543C CN 96116718 A CN96116718 A CN 96116718A CN 96116718 A CN96116718 A CN 96116718A CN 1125543 C CN1125543 C CN 1125543C
Authority
CN
China
Prior art keywords
buffer
time
access unit
data
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN96116718A
Other languages
English (en)
Other versions
CN1156361A (zh
Inventor
田原胜已
安田干太
大石义明
根岸慎治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1156361A publication Critical patent/CN1156361A/zh
Application granted granted Critical
Publication of CN1125543C publication Critical patent/CN1125543C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow

Abstract

一种数字信号的多路复用方法，其中在步骤S1，根据输入的多个比特流计算指示用于从相关联解码器的缓冲器中提取每个接入单元的时间的数据，该接入单元是为每个相应比特流规定的。在步骤S2，通过利用每个接入单元的提取时间点数据、处理在时间回溯方向上的过程，并通过按接入单元估计缓冲器的填充度以便确保从缓冲器提取该接入单元，来反向计算每个接入单元向相关联的缓冲器传输的传输开始时间点。在步骤S3，根据这样计算出的、接入单元向缓冲器传输的传输开始时间点，确定将接入单元分包的安排。

Description

数字信号的多路复用方法和设备 以及数字信号的记录介质
技术领域
本发明涉及一种方法和设备，该方法和设备用于多路复用例如在磁光盘或磁带上的运动图像信号和声音信号，再现所记录的信号和显示所再现的信号在一个显示器上，和用于发送电话会议系统、可视电话系统的运动图像或声音信号、或通过从一个发送机到一个接收机的传输信道用于在接收机上接收和显示的广播设备。
背景技术
本发明还涉及用于记录该多路复用信号的记录介质。已经实践过按照预置标准的压缩系统压缩图像或声音信号，以产生各种信号的数字比特流，多路复用该比特流以形成一个多路复用的比特流和分离该多路复用的比特流为相应信号的数字流数据。
一个说明性的标准的例子是MPEG(运动图像编码专家组)。这个MPEG是通过ISO/IEC JTCI/SC29(国际标准化组织/国际电技术委员会委托的联合技术委员会，第二分会议的第一次会议)对存储的运动图像搜索编排的缩略语。MPEG1和MPEG2标准分别是ISO 111172和ISO 13818。在这些国际标准中，存在着对于多介质多路复用的术语ISO 111172-1和ISO 13818-1，对于图像的术语ISO 111172-2和ISO 13818-2，和对于语音的术语ISO111172-3和ISO 13818-3。
图1表示利用国际标准ISO 111172-2或ISO 13818-2压缩图像信号，或者利用国际标准ISO 111172-3或ISO 13818-3压缩声音信号，用于产生数字流数据，用于多路复用这些数据和多路分解该多路复用的数据为相应的数字流数据的一种设备的示意性结构。
参照图1。视频数据100、音频数据101、和其它数据102都被分别馈送到相连的编码器，即，视频编码器103、音频编码器104，和其它编码器105，用于产生编码的数字流数据，这里称之为基本数字流106、107、和108。多路复用器(MUX)106多路复用这些基本数字流，用于产生一个统一的数字流数据，这里称之为多路复用的数字流110。在由MPEG1或MPEG2规范的方法中，相对于时间轴的图像或声音信号的同步信息在多路复用的数字流中是作为辅助信息同时被记录的。这个多路复用的数字流112通过记录介质111或传输媒介被发送到接收机。
在接收机中，多路复用的数字流112输入一个多路分解器(DEMUX)113。该多路分解器将基本数字流相互分离，同时保持同步关系。因此被分离的基本数字流进入到相连的各个解码器，即视频解码器117、音频解码器110和其它解码器119，通过显示装置，诸如监视器或扬声器，产生视频信号120、音频信号118和其它信号122。
参照图2，解释在国际标准ISO 111172-1或13818-1中规定的用于多媒体多路复用，诸如MPEG1或MPEG2的多路分解方法。表示在图2的多路分解方法使用了一种理想化的解码器和被称之为系统目标解码器(STD)模型。
如图2所示被馈送到该模型的输入端131的多路复用的数字流是按时间分离馈送到解码器中的多路复用的基本数字流。对应于上述分离器通过图2的转换开关132时分多路复用得到的数据被分别发送到各个相连的缓冲器，即，视频解码器135、若干个音频解码器136、137、......和其它解码器138的视频缓冲器141、音频缓冲器142、143、......和其它缓冲器144。从视频缓冲器141读出的数据被发送到视频解码器145，而从音频缓冲器142、143读出的数据被发送到音频解码器146、147、......，和从其它缓冲器144读出的数据被发送到其它解码器148。如果来自视频解码器145的数据是I图像(帧内编码图像)或P图像(前向预测编码图像)，则经一个重新排列缓冲器149被发送到转换开关150的一个固定端。如果来自视频解码器145的数据是B图像(反向预测编码图像)，则被发送到转换开关150的其它固定端。转换开关150的输出是接自端151，而音频解码器136、137的输出分别接自端152、153、......。
该多路复用的数字流到作为分离器的转换开关132的传输速率叫做MUX_rate。该MUX_rate的值取决于记录介质或传输格式(form)并被规定在多路复用的数字流中。因为数字流是被多路复用的，从分离器到与各自的基本数字流相连的缓冲器141到144的数据传输是间歇的和脉冲串状的。在当前的模型中，从缓冲器141到144向解码器145到148的数据传输与一个理想的数据单元(unit)同时出现。即，通过转移的延迟时间是零。在每个解码器中的解码也是与这个数据单元(unit)同时出现的，对于解码的延迟时间也是零。这个理想的数据单元(unit)称之为接入单元(unit)。这个理想的数据单元(unit)分别是一个对于视频的编码图像或编码的视频帧和对于音频的编码的音频帧。
在上述的国际标准ISO 111172-1或13818-1中描述的多路复用的数字流是通过编码利用控制多路复用器产生的，以便防止在当前的模型中缓冲器141到144中的溢出或下溢，正如接下来将要解释的那样。具体来讲，由MUX_rate表示的数据传输的数据带宽是由多个数字流共享的和使用时分共享的方式。该数据经各个缓冲器最终被馈送到解码器145到148以用于显示。
另外，因为称之为时间标记的用于保持显示的同步关系的辅助信息是从多路复用的数字流中可以得到的，解码器利用这个数据用于同步的再现。例如，用于多媒体多路复用的国际标准ISO 111172-1或13818-1描述了称之为SCR(系统时钟基准)、DTS(解码时间标记)和PTS(显示时间标记)的各个时间标记。正如下文将要解释的那样，SCR表示在数据包(pack)的首标中，而DTS和PTS也表示在数据包(packet)的首标中，也正如下文将要解释的那样。SCR是利用STD模型所具有的基准值。当在解码器中读出多路复用的数字流时，这个值起作用，或控制到每个缓冲器的该数据输入。DTS和PTS可以被表示从一个接入单元到另外一个接入单元，分别表示在STD模型中从相应的各个缓冲器中提取和解码相关接入单元的时间。例如，在对于话音信号压缩的国际标准ISO 111172-2或13818-2中，因为PTS和DTS并行发生，故只有PTS值表示在多路复用的数字流上在由解码器解码后，取决于各个图像的排列，诸如，I图像在B图像之前，因此延迟图像变为必须的，则可能出现DTS不同于PTS。在这种情况下，两者的时间标记都被表示在多路复用的数字流中。
图3表示描述在上述的国际标准ISO 13818-1或111172-1的多路复用的数字流的结构。该多路复用的数字流包括时分多路复用基本数字流并由多个数据包PT构成。各个数据包的每一个包括唯一的基本数字流，而没有多个基本数字流的数据共存的可能性。数据包的首标HPT被附加在每个数据包上，用于规定表示该数据包和上述的DTS和PTS的内容的信息。数据包PT的大小一般是可变的和表示在数据包的首标HPT中。组成视频数据的数据包和组成音频数据的数据包分别称之为视频数据包和音频数据包。
集合在一起的多个数据包PT称之为数据包PK。每个包PK具有上述包首标HPK和规定的诸如SCR之类的信息。作为一个例子，包PK的大小取决于传输媒介的特征来设定。例如，在视频CD中，每个包对应于一个扇区并且是固定长度的。
参照图4和5，解释利用在多路复用的数字流中的时间标记控制到每个缓冲器的数据传输和控制每个缓冲器从一个接入单元到另外一个的数据输出(数据输入到解码器)的方法。这个控制方法仅是在理想的STD模型中的一个例子而实际的解码器不需要执行相同的操作。
图4表示由一个视频基本数字流和一个音频基本数字流一起多路复用构成的多路复用的数字流。为了解释简单起见，假设一个包是由每个数据包构成的。视频数字流符合例如上述国际标准ISO 13818-2或111172-2并是以I图像(内编码图像)、B图像(双向预测编码图像)、B图像、和等等的序列被编码的。各个图像被称之为图像VF1、图像VF2、和图像VF3、等等。各个图像的大小被设置为S1、S2、S3、等等。所示的音频数字流符合例如国际标准ISO13818-3或111172-3和是由多个音频帧(音频帧AF1、音频帧AF2和等等)构成的。
所示的多路复用的数字流符合例如在国际标准ISO 13818-1或111172-1中所描述的多路复用数字流。在每个包PK中的包首标HPK表示上述的各SCR(SCR1、SCR2、SCR3、SCR4等等，其中SCR1＜SCR2＜SCR3＜SCR4)。数据包PT1的数据包首标HPT1表示与图像VF1(I图像)相联系的PTS和DTS(PTS1和DTS1)，数据包PT2的数据包首标HPT2表示与图像VF2(B图像)相联系的PTS(PTS2)和)PT4的数据包首标HPT4表示与图像VF3(B图像)相联系的PTS(PTS4)。数据包PT3的数据包首标HPT3表示与音频帧AF1相联系的PTS(PTS3)。
图5表示STD模型中对于图4的比特流缓冲器的占用量的变化。该变化的量是受到上述时间标志控制的。在图5中，H1、H2、H3、H4、W1、W2、和A1表示时间宽度，在该宽度期间数据到视频缓冲器传输被停止，以至于在占用量上没有变化，正如将要详细描述的那样。同时，不再进行对于图4所示的音频数字流的缓冲器的描述。
在任意的时间点上，多路复用的数字流将开始被以MUX_rate的传送速率读入到解码器中。H1表示多路复用的数字流的包PK1和包PT1的每个首标被读出期间的时间。在这个时间期间，到视频缓冲器的数据传输被停止。当表示在包首标HPK1中的第一SCR(SCR1)被从多路复用的数字流中读出时，STD在模型中的基准时钟(称之为STC)被复位为SCR1值。然后在一个预置的周期中，STC被向上计数。接下来，在SCR1的下行数字流(downstream)的包首标HPK和接着的数据包首标HPT中的其余数据在相同的转移速率，MUX_rate下被读出。紧接在读出数据包首标HPT后，输入到视频缓冲器的数据输入在相同的转移速率，MUX_rate开始。向右上升的直线表示正在以所描述的转移速率，(MUX_rate)的斜率被馈送到视频缓冲器的状态。到视频缓冲器的数据转移在继续，直至在数据包中的整个视频数据已经都被读出。然后开始读出在包PK2中的数据包首标HPK2。读出在继续，直至表示在首标中的SCR2的值被读出。
当SCR2被读出时，它与STC向上计数的值比较，和多路复用的数字流的读出被停止，直至STC的值变为等于SCR2值。W1表示数据传输被停止期间的周期。当STC接着变为等于SCR2值时，以MUX速率的转移速率执行SCR2的下行数字流(downstream)和在H2期间的接着的数据包的各首标的其余数据的读出。紧接在读出数据包首标数据后，以MUX速率转移速率，再次开始到视频缓冲器的数据传输。接下来，相同的操作顺序被重复。
对于每一个基本数字流到缓冲器的数据传输是如上所述按照表示在多路复用的数字流中的SCR来控制的。即，数据传输不进行任何缓冲，直至基准时钟STC的值变为等于当前的SCR的值。从多路复用器侧，这可以被归纳为如果不需要数据传输，则满足于插入一个包首标和按照SCR值表示重新开始数据传输的时间。
在图5中的时间宽度A1表示读出在包PK3中的数据包PT3(音频数据包)期间的时间周期。在这个时间期间，以相同的转移速率，MUX_rate发生向音频缓冲器的数据传输。因此，在时间周期A1期间，没有到视频缓冲器的数据传输，以至于在占用量上没有发生变化。同时，当STC变为等于DTS1的时候，与DTS1(图像VF1)相联系的大小为S1的接入单元被从视频缓冲器中即刻提取和被转移到解码器。图12表示一个SCR4＜DTS1的例子。图像VF2和VF3是通过类似的控制在时间点PTS2和PTS3上从视频缓冲器中被即刻提取的。虽然，在上面已经描述了在STD模型中视频缓冲器的输入/输出控制，每个与音频或多路复用的其它数字流数据相联系的缓冲器是以相同的方式进行控制的。
如上所述，时间标记是用于在每个缓冲器中的输入/输出控制的重要信息。因此，如果间时标记没有以正确的值表示在一个适当的长度的时间共享的每个数字流数据的多路复用的数字流上，则缓冲器的控制就不能正确进行。下面解释一个由于不正确的时间标记使缓冲器控制不能正确进行的例子。在图5中，时间DTS1表示大小为S1的图像VF1的提取时间。如果在多路复用的数字流中，时间DTS1小于SCR2的值，图像VF1就不能在时间DTS1提取，因为用于提取(S1)的足够数据量直至时间DTS1还没有被馈送到视频缓冲器。这种缓冲器的状态称之为缓冲器的下溢状态。
在另一方面，如果时间DTS1足够地大于SCR4的值，图像VF1在正确的时间未被提取，和进而数据在这个时间期间被馈送到缓冲器，这样，在某个时间点上，缓冲器的占用量超过了缓冲器的可允许的量(在图中的(Buffer_size))。这种缓冲器的状态称之为缓冲器的溢出。
一般来说，将要被多路复用的视频、音频、或其它基本数字流多路复用之前是被独立编码的。例如，在按照上述国际标准ISO 13818-2或111172-2的视频编码中，描述了一种用于STD模型的缓冲器模型，和按照这种模型的视频数字流可以被解码和被显示在适当时间间隔单一的解码器中。对于多路复用的安排是在这些基本数字流的解码器中通过各缓冲器模型管理的。即，要求多路复用器以这样一种方式执行多路复用，以便保持与各个基本数字流的各缓冲器模型的适当匹配和与各基本数字流的同步。
参照图6，解释基本数字流的缓冲器模型中的缓冲器的占用量和上述的STD模型。在目前的例子中，解释一个单一视频数字流和单一的音频数字流的多路复用。假设，视频和音频数字流已经分别按照例如上述国际标准ISO 13818-2或111172-2和ISO 13818-3或111172-3进行编码。在下面的描述中，在STD模型中的缓冲器称之为STD缓冲器，以避免混淆。另外，在目前的例子中，对于在多路复用的数字流中传输数据所要求的时间，例如数据包首标和包首标被忽略和没有示出。图6A和6B分别表示音频STD缓冲器模型和视频STD缓冲器模型的例子。
首先，在图6B中的锯齿状曲线表示描述在上述国际标准ISO 13818-2或111172-2中的视频缓冲器检验器(VBV)中的一个缓冲器的占用状态，即是在理想单视频解码器(称为VBV缓冲器)中。在这个图中，向右上升的曲线表示向VBV缓冲器的数据传输。该速率的变化是固定的，使得变化的斜率是恒定的。在一个任意的时间点上，已编码的视频数据开始被馈送到VBV缓冲器。表示在图6的VBV_delay时间过去以后，第一显示单元(图像I2)的已编码的视频数据被立刻从VBV缓冲器中提取和被解码。即，在图像的提取和解码中只有零的延迟。对于各个图像来说，对于VBV_delay上述操作被重复。每个VBV缓冲器的占用量描绘了一种锯齿状曲线，如图6B的(a)所示。在上面援引的国际标准ISO 13818-2或111172-2中，VBV_delay的值被设置为用于个别的一些图像和表示在每个编码的图像中。
同时，在与每个基本数字流相联系的STD缓冲器中，因为多路复用的数据按照上面的解释是时分多路复用的，数据传输以脉冲串的方式出现。在图6B中，视频STD缓冲器的轨迹是由多角形或曲线(b)表示的。到视频STD缓冲器的数据传输由具有速率(斜率)为MUX_rate的向右上升的曲线表示。如果数据被馈送到STD缓冲器的基本数字流不是视频数字流，则到视频STD缓冲器的数据传输中断，使得该斜率变平。
如上所表示，视频STD缓冲器的占用量的轨迹不需要与VBV缓冲器的重合。但是，因为在每个图像的提取和解码中的时间间隔是由例如VBV_delay值预置的，所以时间标志需要对应地设置在视频STD模型中。另外，因为在VBV模型中提取的图像的大小是预置的，多路复用就需要被安排在视频STD模型中，使得该图像大小的最小可能数据量将被馈送到视频STD缓冲器，直至每个接入单元(图像)的提取。结果，视频STD缓冲器的占用量的轨迹位于VBV视频缓冲器的占用量的轨迹之上。
到视频STD缓冲器的数据传输的中断时间意味着到音频STD缓冲器的时间。图6A表示音频STD缓冲器的占用量。
例如，在上述国际标准ISO 13818-3或111172-3中的音频编码系统中，缓冲器模型，诸如VBV模型是不进行规定的。这里假设音频数字流是以一种恒定的转移速率馈送到该单一音频解码器所拥有的称之为A缓冲器的缓冲器的，使得将以一个恒定的时间间隔在音频帧的基础上被立刻提取和立刻解码。在这种情况下，A缓冲器的容量被设置，以便使其至少大于每个音频帧的长度。在图6A中，多角形线或曲线(c)表示在A缓冲器中的占用量的变化。因为音频数字流以预置的时间间隔在音频帧的基础上被提取和解码，缓冲器容量被表示为锯齿状曲线。
在另一方面，在图6A中到音频STD缓冲器的数据传输是表示为对角线或曲线(d)的。到音频STD缓冲器数据传输速率是MUX速率。接入单元(音频帧)是通过立刻从该音频接入单元中提取被去除的和立刻解码的。在当前的例子中，音频接入单元假设足够地小和该接入单元被假设为以一种恒定的速率从STD缓冲器中被去除。由于和视频STD缓冲器一样的原因，音频STD缓冲器描绘了一个与单一视频解码器(A缓冲器模型)的编码模型不相同的轨迹。
在图6中，区域(e)、(f)和(g)表示到音频STD缓冲器和到视频STD缓冲器的数据传输区域和对于音频STD缓冲器和视频STD缓冲器两者数据传输停止的区域。
上述例子是涉及每一个视频数字流和音频数字流的多路复用。但是，多个音频数字流在实际应用中可能被处理。在这种情况下，在多路复用中的数据传输安排中，考虑到用于各个基本数字流的编码模型将变得极为复杂。
多路复用意味着时间共享多路复用的多个基本数字流为一个统一的数据流。但是，上述STD安排在某种安排下、将变为中断，正如将参照图7进行解释的那样。
图7表示单一视频数字流V和两个音频数字流(一个第一音频数字流A1和一个第二音频数字流A2)的多路复用。图7的每个图表示对于相应各基本数字流的STD缓冲器的占用量的时间变化。具体地，图7A、7B和7C分别表示对于第一音频数字流A1、第二音频数字流A2和视频数字流V的STD缓冲器的占用量。
在图7中，Tn-2、Tn-1和Tn分别表示第(n-2)、第(n-1)和第n接入单元或图像An-2、An-1和An的提取时间点。在该例子的情况下，各视频接入单元的提取时间间隔(Wn-1、Wn等等)是数据传输单元时间间隔。即，数据传输安排是从一个单元时间间隔到另一个的方式确定的。具体地，在时间Wn-1期间数据应当被馈送到一个或多个STD缓冲器，因为时间Tn-1直至时间Tn是在时间Tn-1考虑到从所有STD缓冲器的数据输出状态选择的，这些状态很可能是从时间Tn-1直至时间Tn中发生的，和因此该占用量被调节。这个单元时间分别在NTSC和在PAL中对应于1/29.97秒和1/25秒。图14表示作为上述安排的结果，表示视频STD缓冲器被从时间Tn断开的情况，这种情况现在要进行详细的解释。
在图7中的时间Tn-1，考虑到在下一个时间点Tn视频接入单元的提取，开始到视频STD缓冲器的数据传输。但是，因为对于两个音频数字流的STD缓冲器可能是基本上同时在图7的点(a)和(b)下溢，数据传输被转换，到用于音频STD缓冲器。在这个时间期间到视频STD缓冲器的数据传输中断。即，第一音频数字流A1和第二音频数字流A2分别在区域(c)和(d)被馈送。在足够的数据量已经被馈送到音频STD缓冲器后，数据传输重新被送到视频STD缓冲器。但是，因为直到Tn足够的数据未能被馈送，缓冲器在一个时间瞬间下溢，下一个视频接入单元An被提取，如图7的点(e)所示。另外，因为视频缓冲器以这种方式被断开，对于第一和第二音频数字流A1和A2的缓冲器的下溢分别出现在图7的部分(f)和(g)。
在该例子的情况下，到各个STD缓冲器的数据传输的安排是根据各个视频接入单元的提取时间点设置的。即，接入单元的一个预先可读部分h被用作一个视频接入单元。在该例子的情况下，视频STD缓冲器被断开，因为在这个时间单元中对于STD缓冲器所要求的数据馈送速率总和已经超过了总的数据传输速率，或MUX_rate。其原因是，因为安排了较短的单元时间，传输频段不能被适当地分配，在这段时间中，将要求到许多STD的数据传输。
图8A到8C表示设置数据传输中单元时间安排的例子，使得将要大于上面的情况。在图8的情况中，到STD缓冲器的数据传输是根据两个视频接入单元的提取时间。即，接入单元的预先可读部分(a)对应于两个视频接入单元。具体地，传送到一个或多个STD缓冲器的数据应当在时间WX期间传送，因为时间Tn-2到时间Tn是在时间Tn-2考虑到从所有STD缓冲器的数据输出状态被选择的，该状态可能发生在从时间Tn-2到时间Tn，和占用量因此被调节。与图7的情况比较，到音频D2的STD缓冲器的数据传输定时是故意地被反时间设置的，即设置到一个时间上在先的时间点上，因此用于避免每个STD缓冲器的中断。图8中的区域(b)和(c)分别表示到第二音频STD缓冲器A2和第一音频STD缓冲器的数据传输区域。
如上面所讨论的那样，STD缓冲器的中断通过在多路复用的数据传送安排变长的情况下设置处理单元时间，可以避免到某种程度，考虑到接着当前时间暂时出现的现象。然而，上述的国际标准ISO 13818-1或111172-1允许最多多路复用多达32个音频数字流。在这种情况下，为避免在任何情况下缓冲器的中断，安排STD模型的多路复用是非常困难的。即，在上述处理单元时间有限的方法中，在确定数据传输的安排中永远存在着STD模型中断的可能性，也就是说，不可能保证完全安全的多路复用。
发明内容
因此，本发明的一个目的是提供一种方法和设备，在该方法和设备中多路复用多个基本数字流，并可以容易地确定一种有效防止缓冲器被中断的数据传输安排方案。
本发明提供了一种信号多路复用方法，用于多路复用多个输入比特流以产生一多路复用比特流，该多路复用比特流包括数据分组，并且可以由包括一多路分解器和具有相应缓冲器的相应解码器的预定设备，多路分解和解码每一比特流，该方法包括：根据输入的多个比特流计算指示用于从相关联解码器的缓冲器中提取每个接入单元的时间的数据，该接入单元是为每个相应比特流规定的；通过利用每个接入单元的提取时间点数据、处理在时间回溯方向上的过程，并按接入单元估计缓冲器的填充度(charging)以便确保从缓冲器提取该接入单元，来反向计算(backcomputed)每个接入单元向相关联的缓冲器传输的传输开始时间点；和根据这样计算出的、接入单元向缓冲器传输的传输开始时间点，确定将接入单元分包的安排。
本发明提供了一种信号多路复用设备，用于多路复用多个输入比特流以产生一多路复用比特流，该多路复用比特流包括数据分组，并且可以由包括一多路分解器和具有相应缓冲器的相应解码器的预定设备，多路分解和解码每一比特流，该设备包括：计算装置，用于根据输入的多个比特流计算指示用于从相关联解码器的缓冲器中提取每个接入单元的时间的数据，该接入单元是为每个相应比特流规定的；反向计算装置，用于通过利用每个接入单元的提取时间点数据、处理在时间回溯方向上的过程，并按接入单元估计缓冲器的填充度以便确保从缓冲器提取该接入单元，来反向计算每个接入单元向相关联的缓冲器传输的传输开始时间点；和确定装置，用于根据这样计算出的、接入单元向缓冲器传输的传输开始时间点，确定将接入单元分包的安排。
根据每个接入单元的大小，通过在时间回溯方向安排到解码器缓冲器的每个基本数字流的数据传输，理论上无限数据量的数据传输的事先安排变为可能。因此，在多路复用多个基本数字流的情况下，可以容易地安排数据传输，因此保证了无缓冲器中断的安全多路复用。如果要求多路复用大量的数字流，可降低开销，使安全和有效地多路复用数据安排的自由度更宽。
附图说明
图1表示各基本数字流的多路复用；
图2表示STD缓冲器模型的一个例子；
图3表示一个多路复用数字流的结构；
图4表示输入多路复用的数字流的例子，用于通过时间标志说明缓冲器数据的输入/输出控制；
图5表示在STD缓冲器模型中的视频缓冲器占用量的变化，用于通过时间标志说明缓冲器数据的输入/输出控制；
图6A和6B表示由进行多路复用引起的STD缓冲器的占用量的变化的一个基本例子；
图7A、7B和7C表示在不适当的复用安排的情况下，STD缓冲器的占用量变化的具体的例子；
图8A、8B和8C表示在为了防止发生缓冲器中断，在增加多路复用安排的预读出范围的情况下，STD缓冲器的占用量变化的各具体的例子；
图9是用于说明按照本发明的数字信号多路复用方法的一个实施例的流程图；
图10是表示按照本发明的数字信号多路复用设备的一个实施例的方框图；
图11表示一个任意接入单元A(m、n)的最后一个数据包的最后一个字节缓冲器的在输入时间上的限制；
图12表示一个任意接入单元A(m、n)的第一个数据包的第一个字节缓冲器的在输入时间上的限制；
图13表示提供数据到一个任意接入单元A(m、n)的第一和最后一个数据包的一个例子；
图14A、14B和14C表示在反方向多路复用中安排的一个例子；
图15表示数据传输安排判断算法的一个例子。
具体实施方式
参照各个附图，将详细地描述本发明的各个优选实施例。
在图9的流程图中，其中表示一种用于多路复用数字信号的方法，该数字信号是按照本发明产生的多路复用的比特流的多路复用的多个输入数字信号比特流。
在图9的第一步骤S1，计算由一个连接解码器的缓冲器从规定的一个比特流到另一个比特流的处理单元提取每个接入单元AU的时间。该接入单元AU是用于从缓冲器到解码器转移数据的一个理想的数据单元，并且是一个视频信号图像或一个视频信号帧和在音频信号中的一个音频帧。
在下一个步骤S2，涉及向每个接入单元缓冲器的传输开始时间的限制时间是利用该接入单元AU的提取时间数据，通过在一个时间回溯方向上的处理，和通过读出接入单元向解码器缓冲器的填充度，(该填充度用于从解码器缓冲器中的各接入单元的提取)进行反向计算的。
在下一个步骤S3，对接入单元分包的安排是根据在步骤S2找到的限制时间，通过执行该安排确定的。
通过这样的多路复用和安排的时间上反向的处理，降低了额外开销使安全和有效地数据多路复用的自由度更宽。
现在解释按照本发明的在时间回溯方向上的多路复用的概念。下面的描述是在执行时间上的逆向的处理条件下进行的。时间由时钟表示。号帧和一个在音频信号中的音频信号帧作为处理单元对STD缓冲器的数据传输安排是基于每个接入单元的显示时间(对STD缓冲器提取该接入单元的时间)作为参考基本上执行的。简言之，如果对每个接入单元的STD缓冲器的数据传输在每个接入单元的显示时间上或在其之前结束，就足够了。即，如果数据传输在事先形成(fashion)中开始，则在所有时间可以保证安全多路复用。这意味着，如果处理是在时间正方向以通常方式执行的，和在多路复用中出现问题，则有在时间回溯方向上执行反向跟踪操作的必要，以修改多路复用的安排。
一般，在多路复用安排中的自由度是通过事先对缓冲器的数据传输实现的。如果处理是在正方向上执行的，则反向跟踪操作的范围受到接入单元的预读出量的限制，正如参照图15解释的那样。
在时间回溯方向的多路复用中，每个接入单元的提取时间或显示时间被事先计算和在时间轴反方向跟踪，以便估算反向跟踪的必要。通过反向的处理，事先的数据传输变为无限制，因此实现了安全的多路复用，减少缓冲器中断的影响。
参照图10，示意性地在一个功能方框图上表示用于在反方向多路复用的一个处理的流程，在这里解释用于反方向上多路复用的一种示意性结构。
来自在其上已经记录了视频/音频或其他基本数字流的存储介质11、12、13的这些数字流被读出或发送到预处理单元21、22、23，在这些单元中接入单元的大小，PTS或DTS被计算，以便形成相应的数据。因为接下来的操作发生在时间回溯方向操作中，所有的数据由重新安排单元31、32、33来安排。根据这些数据的分包安排是由分包单元41确定的。数据分包安排是通过监视发生在STD缓冲器的占用量和通过利用将不引起在缓冲器中溢出/下溢的方法来确定的。通过后处理器(post-processor)42根据这样设置的安排产生实际的多路复用的数字流。这个多路复用的数字流被记录在诸如磁光盘或磁带之类的存储介质或记录介质43。
解释对于在反方向的多路复用的算法。
在下面的描述中，用于解码的时间标志(解码时间标志或DTS)基本上被用于讨论从接入单元的缓冲器中的提取时间。在缺少DTS时，使用用于显示或表示(表示时间标志或PTS)的一个时间标志。一个接入单元的提取和提取时间在下文中分别称之为一个事件和一个事件时间。
在下面的规则中，AU(m、n)表示一个接入单元，意味着在第m个基本数字流中的第n个接入单元，其中0≤m≤M和0≤n≤N。
现在解释用于确定传输到解码器缓冲器的数据传输定时，在时间回溯方向中模拟STD缓冲器的算法。
首先作为预处理，需要设置接入单元的大小和事件时间。
为了预先计算所有接入单元AU(m、n)的提取时间，对于每个基本数字流执行下面的处理。即，从以下信息
视频：每个接入单元的大小和对应于每个接入单元的DTS(在缺少DTS时的PTS)的事件时间；
音频：每个接入单元的大小和每个接入单元的(PTS)的事件时间；
其它：每个接入单元的大小和每个接入单元的(PTS)的事件时间，计算出所有事件时间点。应当注意，对于接入单元AU(m、n)的事件时间是由T_event_AU(m、n)表示，用于指示对于所有后面接入单元AU(m、n)的分包处理的触发时间。
将按照上面描述制备的每个接入单元的大小和事件时间，根据图10所示的形式记录在该基本数字流。为了进行在时间回溯方向的后续操作，数据按照各个事件时间点以反向序列被排列。后续操作发生在这些数据的基础上。然后，在现在解释的各个限制下执行数据传输的安排。
首先，解释STD模型和VBV模型之间的关系。这个关系是在STD模型和VBV模型中的各个缓冲器的占用量的轨迹之间的关系。
规则0；STD模型的占用量的轨迹永远需要处于比VBV模型高的位置(即比较大的值)。
正如上面所讨论的那样，VBV模型表示在单一的视频解码器中的缓冲器的占用量。另一方面，STD模型表示，当一数字流与另一个数字流进行多路复用时缓冲器的占用量，即表明，如STD模型的轨迹是低状态的，则产生数据传输。因此，STD缓冲器的占用量的轨迹需要高于VBV缓冲器的位置。也就是说，STD缓冲器的占用量在任意的时间点上需要大于VBV缓冲器的占用量。虽然上面已经描述了视频数字流，还需要执行对于其它基本数字流的多路复用，以便缓冲器的占用量将不小于在解码器中的缓冲器模型的占用量，这样在缓冲器中将不会产生下溢。
接下来，解释作为将接入单元AU(m、n)的最后数据包的最后字节输入到STD缓冲器的一个输入时间点T_last_byte_AU(m、n)的限制条件。
规则1：将给定的接入单元AU(m、n)的最后数据包的最后字节输入缓冲器的输入时间T_last_byte_AU(m、n)需要在AU(m、n)的事件时间T_event_AU(m、n)之前被馈送。即，下面的关系：
T_last_byte_AU(m、n)＜T_event_AU(m、n)......(1)应当被满足。
规则2：将给定接入单元AU(m、n)的最后数据包的最后字节输入缓冲器的输入时间，T_last_byte-AU(m、n)需要在时间上在下一个接入单元AU(m、n+1)的第一数据包的第一字节输入到缓冲器的输入时间T_byte_AU(m、n+1)之前。如果在接入单元AU(m、n)的事件时间处，该缓冲器的占用量是Buffer_occupancy_AU(m、n)，则要求下面的限制条件：
T_last_byte_AU(m、n)
＜T_event_AU(m、n)-Buffer_occupancy_AU(m，n)/MUX_rate    ......(2)
如果观察到由规则R1和R2所表示的方程(1)和(2)的条件，则不存在否则由接入单元AU(m、n)到达的延迟引起的缓冲器下溢。
规则R3：按照MPEG规则，一个规定的接入单元AU(m、n)的最后数据包的最后字节应在输入该缓冲器的输入时间T_last_byte_AU(m、n)之后一秒内从该缓冲器中被移出。因为从该缓冲器的移出时间是接入单元AU(m、n)的事件时间，它由下面的方程给出：
T_last_byte_AU(m、n)＞T_event_AU(m、n)-1  ......(3)
通过预先找到满足上述条件R3的T_last_byte_AU(m、n)，就保证了满足一秒规则的安全反向多路复用。
规则R4：如果事先完成给定接入单元AU(m、n)的最后数据包的最后字节的输入，则将可能产生缓冲器的溢出。在这方面的时间限制是由下面的方程计算的：
Overflow_limit_last_Byte_AU(m、n)
    ＝T_event_AU(m、n)-Buffer_size_AU(m，n)/MUX_rate  ......(4)
因此，就设定了将接入单元AU(m、n)的最后数据包的最后字节输入缓冲器的输入时间的以下限制：
T_last_byte_AU(m、n)＞Overflow_limit_last_Byte_AU(m、n)  ......(5)
图11说明上述规则R1、R2、R3和R4。即，这个图表示与在最后数据包的最后字节的多路复用时间相联系的上述规则的条件，即，按照上述系统的目标解码器(STD)模型根据视频缓冲器检查(VBV)模型在正时间轴方向已经出现视频数据的时间回溯方向如进行多路复用时接入单元AU(m、n)的该事件时间点的缓冲器的输入时间T_last_byte_AU(m、n)。表示在图11的时间T_last_byte_AU(m、n)仅仅是用于说明并可以任意在图11的时间宽度X的范围内选择。
在这个图中，在VBV模型中缓冲器的占用量的变化是利用多边形线或曲线(a)表示的，而在STD模型中的缓冲器的占用量的变化是由多边形线或曲线(b)表示的。虽然接入单元是同时从缓冲器在两个模型中提取的，但是各提取时间点是利用具有的一种偏移的方式表示的，正如在时间点T_levent_AU(m、n)由分别的曲线(a)和(b)所表示的，以便容易理解。在图11中的时间(c)表示按照规则R1的时间点T_event_AU(m、n)。时间T_last_byte_AU(m、n)需要在时间轴上早于这个时间点被设置。曲线(d)表示规则R2的条件。具体地，曲线(d)描述T_first_byte_AU(m、n+1)是如何在时间点T_event_AU(m、n)上从缓冲器Buffer_occupaucy_AU(m、n)的占用量中找到的。梯度是MUX_rate。将接入单元AU(m、n)的最后数据包的最后字节输入缓冲器的输入时间在时间轴上需要早于时间点T_first_byte_AU(m、n+1)被设置。曲线(e)描述用于说明规则R3的早于时间T_event_AU(m、n)的一个第二时间。时间T_last_byte_AU(m、n)在时间轴上需要时间上晚于这个时间被设置。曲线(f)描述规则R4和表示如何找到对于接入单元AU(m、n)的overflow_limit_last_byte_AU(m、n)。梯度是MUX_rate。时间T_last_byte_AU(m、n)在时间轴上需要时间上晚于overflow_limit被设置。曲线(g)的A表示馈送到一个另外的数字流的数据，诸如一个音频数字流，而数据不被馈送到视频缓冲器。
在图11中，(h)表示输入接入单元AU(m、n)的最后数据包的最后字节的缓冲器的馈送安排的一个例子，而(i)表示接入单元AU(m、n)的最后数据包的最后字节。另一方面，在图11中的(j)和(k)分别表示到接入单元AU(m、n+1)的最后数据包的最后字节和接入单元AU(m、n+1)的第一数据包的第一字节的缓冲器的数据传输安排。
现在解释输入接入单元AU(m、n)的第一数据包的第一字节STD缓冲器的输入时间T_first_byte_AU(m、n)的限制条件。
规则5：按照MPEG规范，一个给定接入单元AU(m、n)的第一数据包的第一字节需要在相同字节进入到该缓冲器后的一秒内被移出。因此，接入单元AU(m、n)的第一数据包的第一字节的输入时间T_first_byte_AU(m、n)，由该接入单元AU(m、n)的事件时间T_event_AU(m、n)需要在一秒以内。即，
T_first_byte_AU(m、n)＞T_event_AU(m、n)-1    ......(6)
通过找到时间T_first_byte_AU(m、n)，满足了上述规则R5的条件，保证保持一秒条件的反方向的安全多路复用。
规则6：如果给定的接入单元AU(m、n)的第一包的第一字节以太早的定时输入，缓冲器的溢出将会发生。对于没有这种溢出的限制时间overflow_limit_first_byte_AU(m、n)是通过下面的方程计算产生的
    Overflow_limit_first_byte_AU(m、n)
    ＝T_event_AU(m、n)-Buffer_size_AU(m，n)/MUX_rate  ......(7)
因此，对于输入接入单元AU(m、n)的第一数据包的第一字节缓冲器的输入时间的限制条件下面被设置为：
    T_first_byte_AU(m，n)＞Overflow_limit_first_Byte_AU(m，n)......(8)
图12表示上述规则5和6的条件。
即，图12表示涉及第一数据包的第一字节多路复用时间的上述规则5和6的条件，即，输入到该缓冲器的涉及给定接入单元AU(m、n)的事件时间的输入时间T_first_byte_AU(m、n)，该输入时间是在根据时间轴的正方向按照VBV模型产生的视频数据的时间轴上的时间回溯方向上按照STD模型多路复用的情况。表示在图12上的这个时间T-first_byte_AU(m、n)仅仅是说明性的和可以在图12中的时间Y以后任意选择。在图12中的时间宽度B表示馈送数据到缓冲器的另外的数字流，诸如音频数字流的一个例子。在这个时间宽度期间产生到视频缓冲器的数据传输。
在图12中，利用对角线或曲线(a)表示在VBV模型的缓冲器的占用量的变化，而在STD模型的缓冲器的占用量的变化利用对角线或曲线(b)表示。虽然接入单元是在相同时间以两个模型从缓冲器被提取的，提取时间点被表示为有一个偏差以便于理解，正如在时间点T_event_AU(m、n+2)上利用分别的曲线(a)和(b)表示的那样。图12的时间(c)表示，如果在时间轴的该时间点以后，时间点one first_byte_AU(m、n)可以被任意选择。曲线(e)是在时间Y的限制下，T_last_byte_AU(m、n)选择的一个例子。曲线(g)的一个平坦部分A表示数据被馈送到诸如音频数字流之类的其它数字流，而数据不被馈送到视频缓冲器。
在图12中，(e)表示输入接入单元AU(m、n)的第一数据包的第一字节缓冲器的数据传输安排的一个例子，而(f)表示接入单元AU(m、n)的第一数据包的第一字节。
现在解释考虑到上述限制条件的情况下对接入单元AU(m、n)的数据传输安排。
图13表示在上述限制条件的情况下数据传输安排的一个例子。图13的例子中数据传输安排直至存取AU(m、n+a)的事件时间参照一个给定的接入单元AU(m、n)的事件时间被设置，该设置是在根据时间轴的正方向的VBV模型中产生的视频数据时间轴上时间回溯方向按照STD模型中进行多路复用的情况下进行的。在图13的例子中，接入单元AU(m、n)被分为两个包和被馈送到该缓冲器。
在图13中的时间T_first_byte_AU(m、n)在规则R5和R6的限制下在图12的时间Y以后，已经被任意选择。另一方面，图13中的时间T_last_byte_AU(m、n)在规则R1到R4的限制下在图11的时间宽度X范围内，已经被任意选择。
在图13中的时间宽度Z是从时间Y和时间宽度Z中求出的，和表示涉及接入单元AU(m、n)的各个字节的数据传输的安排的自由度。即，如果在时间宽度Z的范围内，对于各个字节的数据传输安排可以自由变化。
图13表示一个接入单元AU(m、n)被分为两个数据包的例子。在图13中，利用多边形线或曲线(a)表示在VBV模型中的缓冲器的占用量的变化，而利用多边形线或曲线(b)表示在STD模型中的缓冲器的占用量的变化。虽然各个接入单元是在相同时间从缓冲器按两个模型提取的，提取时间点以偏移方式表示，是为了容易理解，正如通过在时间点T_event_AU(m、n)上的相应曲线(a)和(b)所表示的那样。对于所有数据包的数据传输需要在按照从规则R1到R6条件所计算的T_first_byte_AU(m、n)和T_last_byte_AU(m、n)的范围内被执行。
即，如果数据传输时间是data_delivery，
T_first_byte_AU(m，n)＜data_delivery＜T_last_byte_AU(m，n) ......(9)按照上述公式(9)，则可进行任何数据分组处理。诸如图5中的时间宽度C和D，两个数据包之间的数字流的数据传输。这个范围是被用于诸如音频数字流之类的其它数字流的数据传输。如果要求数据传输到其它数字流，在由方程(9)允许的范围内任何数据传输的安排是可能的。
此外，由方程(9)规定的限制只要涉及到多路复用的自由度，则是一个最大容许规则(extremely tolerant rule)，和允许在多个数字流被多路复用的情况下不会导致中断的安全的安排。这种方法对于应用到进行处理的正向预读出的情况是困难的。因此，在当前的实施例中使用时间回溯方向预读出，以便能使该方法得以应用。
在图13中，对于接入单元AU(m、n)的第一数据包的数据传输时间宽度和对于接入单元AU(m、n)的最后数据包的数据传输时间宽度被分别表示在(c)和(d)，作为一个接入单元AU(m、n)的第一和最后数据包的数据传输时间宽度和例子。另外，在图13中，接入单元AU(m、n)的第一数据包和接入单元AU(m、n)的最后数据包被分别表示在(e)和(f)。
参照图14，解释用于反方向上多路复用的操作序列。
在图14的例子中，多路复用安排是对于一个视频数字流和两个音频流进行的。因为处理完全是在时间回溯方向上进行的，各接入单元从最后的接入单元开始立刻被馈送到该缓冲器，和以MUX速率按照多路复用的安排从该缓冲器被提取。
多路分解发生在作为基准的相应各基本数字流的各接入单元出现的事件时间上。在这个图中，各接入单元的各事件时间点被表示为t1、t2、t3等等。依据在各事件时间点之间的传输频段被分配给哪个基本数字流的哪个接入单元要来确定多路复用的安排。当然，需要在按照相应各规则的限制计算出的时间点T_first_byte_AU(m、n)和T_last_byte_AU(m、n)之间作出各接入单元的数据传输。多路分解的基本处理是根据各事件基础分配传输频段。每个事件时间间隔的时间宽度被表示为时间片TimeSlice(t1、t2)等等。一个频段被分配给一个可能溢出的缓冲器数字流。如果没有可能低于VBV模型的数字流，则停止频段的分配。如果在给定的时间片TimeSlice中，没有一个频段要被分配给基本数字流，则在例如上述国际标准ISO 13818-1或111172-1的多路复用数字流的情况下，通过附加一个数据包首标形成一个数据包的方式，使传输频段分配被停止。原因是SCR被描述在数据包的首标和到每个STD缓冲器的数据传输时间可以通过调整SCR值进行控制。即，如果在给定的时间点上没有分配传输频段给任何基本数字流的必要，则附加一个数据包首标(SCR)和数据传输被停止直至下一个事件时间。
利用参照图14解释数据传输安排的一个说明性例子。图14A、B和C分别说明第一音频数字流A1的一个STD缓冲器模型，第二音频数字流A2的一个STD缓冲器模型和视频STD缓冲器模型。首先在图14中的时间t1和t2分别表示对于视频数字流V的和对于第二音频数字流的事件时间。因为STD缓冲器的占用量可能变为小于VBV缓冲器的占用量以产生缓冲器下溢，所以没有传输频段被分配到时间t1和t2之间的时间片TimeSlice[t1、t2]上。这种没有传输频段分配的情况被给定为NOP(无操作)。
时间片TimeSlice[t2、t3]同样是NOP。
对于时间片TimeSlice[t1、t2]来说，在从视频数字流的提取上没有下溢产生，这样一个传输频段被分配到视频数字流。
因为在每种情况下频段分配可能产生下溢，时间片TimeSlice[t2、t3]同样是NOP。
对于时间片TimeSlice[t5、t6]来说，音频数字流A2的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t6、t7]来说，音频数字流A1的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t7、t8]来说，音频数字流A2的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t8、t9]和[t9、t10]来说，音频数字流A1的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这些时间片。
对于时间片TimeSlice[t10、t11]来说，音频数字流A2的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t11、t12]来说，视频数字流的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t12、t13]来说，音频数字流A1的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
对于时间片TimeSlice[t14、t15]来说，音频数字流A2的占用量是大的和因此最可能产生下溢。因此，一个传输频段被分配给这个时间片。
继续下去，按照相似的方式进行处理操作。
上述的操作涉及对于一个视频数字流和两个音频数字流的简单多路复用。如果多路复用数字流的数目增加到总和为N的情况下，多路复用可以利用类似的操作序列。
通过参照图15解释用于确定上述数据传输安排的一种算法。在这个图中，通过在预处理程序S70中的预处理，在时间逆序中获得所有接入单元的大小和时间点。这个预处理程序S70具有找到所有基本数字流的所有接入单元的大小和事件时间的步骤S71，和在时间逆序中排列该大小和事件时间的步骤S72。
在接着这个预处理的第一个步骤S73中，各接入单元从当前被处理的接入单元开始以反向顺序被跟踪，以便找到最接近的事件AU(m、n)。直至这个事件时间期间的时间宽度是传输频段被分配的上述时间片TimeSlice。
在下一个步骤S74，从最接近的新占用的接入单元找到涉及数据传输限制的参数，即，上述的时间点T_first_byte_AU(m、n)和T_last_fyte_AU(m、n)。
在下一个步骤S75，检查所有数字流n的STD缓冲器，以便检查这些STD缓冲器有可能溢出而损伤数据传输这是因为这种STD缓冲器数据传输的要求中最多。如果找到这种STD单元，处理转移到步骤S76，在那里按照上述数据传输的限制，数据被传输到这个时间片。
如果在步骤S75，没有STD缓冲器可能溢出，处理转移到步骤S77，以便搜索不能被观察到的受损害数据传输的这种数据传输限制，诸如一秒规则的STD缓冲器。如果存在这种STD缓冲器，处理转移到步骤S76，以便按上述数据传输限制将数据传输转移到时间片TimeSlice。
如果没有对应于步骤S75和S77的条件的STD缓冲器，处理转移到步骤S78，检查所有数字流的该STD缓冲器，以便检查这种缓冲器，是否在数据传输中可能溢出。如果有任何这样的缓冲器，则处理转移到步骤S76，按照数据传输的限制将数据传输到这个时间片TimeSlice。这个方法在下面将按照一种用于多路复用的高效数据传输安排进行解释。
如果没有对应于步骤S75、S77或S78的条件的STD缓冲器，处理转移到步骤S79，在那里数据传输被断开，因为没有需要的数据传输到这个时间片TimeSlice。在上述国际标准ISO 13818-1或111172-1中，数据包的首标包含附加的SCR值，以形成一个数据包。
上述操作表示了对于一个时间片TimeSlice的处理。然后处理返回到步骤S73，以便执行对于下一个时间片TimeSlice的处理。
在上面描述的时间回溯方向的多路复用中，事先数据安排可以比在正向处理的情况下更容易实现，因此保证了更安全和有效的多路复用。
现在解释在上述多路复用中的高效数据安排的方法。
在诸如盘之类的存储介质中，因为可记录的数据总量是预置的，因此希望高效安排，其中对于多路复用所附加的额外开销希望尽可能地小，以便允许尽可能多地记录诸如视频或音频数字流的基本数字流。通过取决于多路复用的额外开销的方法被用于分配每个基本数字流的传输频段。下面解释将使额外开销最小化实现高效多路复用的方法。
描述在上述国际标准ISO 13818-1或111172-1中的多路复用数字流的基本结构是各包和各数据包。高效多路复用可以说是使包括在形成的包和数据包中总的额外开销最小化，即，使包的首标和数据包的首标的总的数据量最小化。在一种应用中，例如，视频CD是固定的包长度，附加到视频或音频数据上的各数据包或各数据包首标是通过增大各单独的数据包长度而减小的，实际上各单独的数据包包含视频或音频数据中的数据长度。现在将采用说明包长度固定值的情况解释使额外开销最小化的操作过程。但是，数据包是可以变化的。
首先，找到从以前直接形成的数据包，到当前时间所构成的一组数据包的数据(ps(T))的总量。如果从以前直接形成的数据包以来，直到当前时间没有数据包形成，则(ps(T))的值是零。如果下面方程：
buffer_occupaucy(m、T)(PS-ps(T))-(PH+ph)     ......(10)
在基本数字流m的当前时间点上保持该缓冲器的占用量(buffer_occupaucy(m、T))作为用于频段分配的侯选值，则对于该基本数字流m执行频段分配。
即，如果侯选基本数字流m的缓冲器中所存储的数据没有足够的量，则不构成对于该基本数字流的频段分配，即包的构成。足够的数据量意味着表示空白包容量的方程10的(PS-ps)小于表示包首标的长度的方程10的(PH+ph)，即方程10的右端，和因此意味着可以插入构成一个数据包的最大数据长度。但是，在将当前条件应用到基本数字流m的这种情况下，即不存在涉及缓冲器的溢出或在下一个事件时间的一秒规则的限制。即当前条件仅应用到图15的流程图的步骤S78的数据传输。
如果不满足上述方程10，和对于基本数字流m的频段分配不能进行，则按照上述操作序列进行对于另外一个比特数字流的频段分配。如果方程10的条件对于另外一个基本数字流也不满足，则执行用于实现高效多路复用的处理操作(I)或(II)：
(I)如果ps(T)是0，即如果从以前直接形成的数据包以来直到当前时间已没有数据包被形成，即没有新的数据包被形成，但是等待由下一个事件时间在每个缓冲器中的一个足够数据量的存储；
(II)如果ps(T)不是0，可以形成最大的数据包的一个侯选基本数字流可以作为用于形成一个数据包的频段分配的目标被选择。上述操作被继续，直至一个包的完成。如果在基本数字流的任何一个缓冲器中没有数据被存储，为了完成该数据包，则插入例如上述国际标准ISO 13818-1或111172-1中规定的填充数据包(伪数据)。数字流的解码器缓冲器数据传输的安排，到理论上的无限延伸，事先的数据传输安排变为可能，这样，如果多个基本数字流被多路复用，简单的数据传输安排变为可能，因此保证了无缓冲器的中断的安全多路复用。
通过按照如上述的多路复用安排在诸如磁光盘或磁带之类的记录介质上记录从多路复用的多个基本数字流中得到的该多路复用数字流，则可能获得记录在介质上的一个数字信号，该介质具有在上面记录的解码时无缓冲器中断的多路复用的数字流，而尽管是大量的基本数字流进行了多路复用。
上面的描述已经涉及了对于具有固定数据包长度的每个数字流的一种高效频段的分配方法。上述的方法提供利用和基本处理单元的数据包的大小，使其提供了最小额外开销的可能性。另外，如果数据包的长度不固定，而是可变的，则可以通过分别设置PS为2048字节和PH为2048字节和0，将基本处理单元设置为2048字节，因此同样能够高效多路复用分配。
本发明不受限于在时间回溯方向的多路复用分配，而且可以被应用到时间正方向的多路复用分配。

Claims (8)

1、一种信号多路复用方法，用于多路复用多个输入比特流以产生一多路复用比特流，该多路复用比特流包括多个数据分组，并且可以由包括一多路分解器和具有相应缓冲器的相应解码器的预定设备，多路分解和解码每一比特流，该方法包括：
根据输入的多个比特流计算指示用于从相关联解码器的缓冲器中提取每个接入单元的时间的数据，该接入单元是为每个相应比特流规定的；
通过利用每个接入单元的提取时间点数据、处理在时间回溯方向上的过程，并通过按接入单元估计缓冲器的填充度以便确保从缓冲器提取该接入单元，来反向计算每个接入单元向相关联的缓冲器传输的传输开始时间点；和
根据这样计算出的、接入单元向缓冲器传输的传输开始时间点，确定将接入单元分包的安排。
2、按照权利要求1的数字信号多路复用方法，其中，设置将接入单元的最后数据包的最后字节输入缓冲器的输入时间点，以使其在时间上早于在该接入单元的提取时间点。
3、按照权利要求1的数字信号多路复用方法，其中，设置将该接入单元的最后数据包的最后字节输入缓冲器的输入时间点，以使其在时间上早于将下一接入单元的第一数据包的第一字节输入缓冲器的输入时间点。
4、按照权利要求1的数字信号多路复用方法，其中，接入单元的最后数据包的最后字节，在输入该缓冲器的输入时间点后的一秒钟内，从该缓冲器中移出。
5、按照权利要求1的数字信号多路复用方法，其中，将接入单元的最后数据包的最后字节输入缓冲器的输入时间点，在时间上晚于产生缓冲器溢出的限制时间。
6、按照权利要求1的数字信号多路复用方法，其中，接入单元的第一数据包的第一字节的输入时间点是在从该接入单元的提取时间点算起一秒钟内。
7、按照权利要求1的数字信号多路复用方法，其中，将接入单元的第一数据包的第一字节输入缓冲器的输入时间点晚于缓冲器溢出的限制时间。
8、一种信号多路复用设备，用于多路复用多个输入比特流以产生一多路复用比特流，该多路复用比特流包括数据分组，并且可以由包括一多路分解器和具有相应缓冲器的相应解码器的预定设备，多路分解和解码每一比特流，该设备包括：
计算装置，用于根据输入的多个比特流计算指示用于从相关联解码器的缓冲器中提取每个接入单元的时间的数据，该接入单元是为每个相应比特流规定的；
反向计算装置，用于通过利用每个接入单元的提取时间点数据、处理在时间回溯方向上的过程，并通过按接入单元估计缓冲器的填充度以便确保从缓冲器提取该接入单元，来反向计算每个接入单元向相关联的缓冲器传输的传输开始时间点；和
确定装置，用于根据这样计算出的、接入单元向缓冲器传输的传输开始时间点，确定将接入单元分包的安排。
CN96116718A 1995-12-27 1996-12-27 数字信号的多路复用方法和设备以及数字信号的记录介质 Expired - Fee Related CN1125543C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP34195195A JP3405034B2 (ja) 1995-12-27 1995-12-27 ディジタル信号多重化方法及び装置、並びにディジタル信号記録媒体
JP341951/95 1995-12-27
JP341951/1995 1995-12-27

Publications (2)

Publication Number Publication Date
CN1156361A CN1156361A (zh) 1997-08-06
CN1125543C true CN1125543C (zh) 2003-10-22

Family

ID=18350032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN96116718A Expired - Fee Related CN1125543C (zh) 1995-12-27 1996-12-27 数字信号的多路复用方法和设备以及数字信号的记录介质

Country Status (7)

Country Link
US (1) US5894328A (zh)
EP (1) EP0782137B1 (zh)
JP (1) JP3405034B2 (zh)
KR (1) KR970057695A (zh)
CN (1) CN1125543C (zh)
DE (1) DE69619491T2 (zh)
ES (1) ES2169214T3 (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286294B2 (en) 1992-12-09 2016-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content suggestion engine
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
DE69716365T2 (de) * 1996-03-19 2003-06-05 Sony Corp Vorrichtung zur datenmultiplexierung
JP3692616B2 (ja) * 1996-05-24 2005-09-07 ソニー株式会社 ディジタル信号多重化スケジュールの検証方法及びディジタル信号多重化装置
JP2970558B2 (ja) * 1996-10-25 1999-11-02 日本電気株式会社 オーディオ／ビデオ／コンピュータグラフィクス同期再生合成方式及び方法
JPH1118083A (ja) * 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
AU8489798A (en) * 1997-07-18 1999-02-10 Tiernan Communications, Inc. Method and apparatus for video compression and transmission with reduced delay
US6618396B1 (en) * 1997-07-29 2003-09-09 Matsushita Electric Ind Co Ltd Data transmitting device, data receiving device, and data recording device
US6925577B1 (en) * 1997-11-14 2005-08-02 Sony International (Europe) Gmbh Method for recording/storing multiple transport streams by dividing into series of packets
JP3663881B2 (ja) * 1998-02-09 2005-06-22 富士ゼロックス株式会社 機器情報管理装置
JPH11252552A (ja) * 1998-03-05 1999-09-17 Sony Corp ビデオ信号の圧縮符号化方法及び圧縮符号化装置、並びに、圧縮符号化データの多重化方法及び多重化装置
US6219067B1 (en) * 1998-04-03 2001-04-17 Sarnoff Corporation Measures for characterizing compressed bitstreams
JPH11353790A (ja) * 1998-06-08 1999-12-24 Yamaha Corp ディジタルビデオ信号送信装置及び受信装置
US9924234B2 (en) 1998-07-23 2018-03-20 Comcast Ip Holdings I, Llc Data structure and methods for providing an interactive program
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
EP1097587A1 (en) 1998-07-23 2001-05-09 Diva Systems Corporation Interactive user interface
US7139241B1 (en) * 1998-09-14 2006-11-21 Optibase Ltd. Method for preventing buffer underflow during digital transport stream transmission, multiplexing and splicing
US6357042B2 (en) * 1998-09-16 2002-03-12 Anand Srinivasan Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
JP2000138896A (ja) * 1998-10-30 2000-05-16 Hitachi Ltd 画像音声記録装置
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US6904610B1 (en) 1999-04-15 2005-06-07 Sedna Patent Services, Llc Server-centric customized interactive program guide in an interactive television environment
US7096487B1 (en) * 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US6754276B1 (en) * 1999-09-20 2004-06-22 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
AU1576801A (en) 1999-10-27 2001-05-08 Diva Systems Corporation Picture-in-picture and multiple video streams using slice-based encoding
JP3466146B2 (ja) 2000-10-05 2003-11-10 沖電気工業株式会社 受信回路
JP2002204427A (ja) * 2000-12-28 2002-07-19 Pioneer Electronic Corp トランスポートストリームの多重化方法、トランスポートストリーム多重化装置及び蓄積再生システム
KR100814431B1 (ko) * 2001-04-25 2008-03-18 삼성전자주식회사 가변 비트레이트를 적용한 디지털 방송 송신장치 및 그방법, 비디오 데이타 부호화장치 및 그 방법 그리고방송신호의 복호화 시스템 및 그 방법
JP3773805B2 (ja) 2001-04-27 2006-05-10 Ｎｅｃエレクトロニクス株式会社 データストリーム生成方法とそのための装置
NL1018463C2 (nl) * 2001-07-04 2003-01-08 Marc Van Oldenborgh Werkwijze, inrichting en programmatuur voor digitaal inverse multiplexen.
US7908628B2 (en) 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US20050108773A1 (en) * 2003-10-04 2005-05-19 Samsung Electronics Co., Ltd. Information storage medium with AV data including non-multiplexed streams recorded thereon, and method of and apparatus for recording and reproducing the same
KR20060103895A (ko) * 2003-11-18 2006-10-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 가변 비트율 매체 스트림의 재생시의 버퍼 재충전 시간결정
SG139529A1 (en) * 2004-01-19 2008-02-29 Nadarajah Sriskanthan Interface device
JP4661373B2 (ja) * 2004-10-15 2011-03-30 Ｋｄｄｉ株式会社 特定メディアデータの破棄を制御する送信装置及び送信プログラム
JP4667108B2 (ja) * 2005-04-11 2011-04-06 パナソニック株式会社 データ処理装置
JP2007172802A (ja) * 2005-12-26 2007-07-05 Toshiba Corp 多重化ストリームの情報区切り位置検出方法及び音声ディジタル放送記録装置及び記録制御方法
JP2007323711A (ja) * 2006-05-31 2007-12-13 Sony Corp 再生装置および再生方法、並びにプログラム
US8379677B2 (en) * 2007-04-30 2013-02-19 Vixs Systems, Inc. System for combining a plurality of video streams and method for use therewith
JP2009038587A (ja) * 2007-08-01 2009-02-19 Panasonic Corp 信号処理装置
JP2009188530A (ja) * 2008-02-04 2009-08-20 Panasonic Corp ストリームデータの多重化装置および多重化方法
PT2476254T (pt) 2009-09-09 2016-12-30 Fraunhofer Ges Forschung Estrutura de dados para transmissão de unidades de acesso compreendendo dados de áudio e vídeo
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119888B2 (ja) * 1991-04-18 2000-12-25 松下電器産業株式会社 信号処理方法及び記録再生装置
US5287182A (en) * 1992-07-02 1994-02-15 At&T Bell Laboratories Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks
US5550820A (en) * 1992-09-29 1996-08-27 Com 21, Inc. Multiple protocol personal communications network system
TW323875U (en) * 1992-12-04 1997-12-21 Sony Corp Digital video and audio signal recording and reproducing apparatus
JP3255308B2 (ja) * 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
US5805762A (en) * 1993-01-13 1998-09-08 Hitachi America, Ltd. Video recording device compatible transmitter
JP3427416B2 (ja) * 1993-05-25 2003-07-14 ソニー株式会社 多重化データ分離装置および方法
CA2141672A1 (en) * 1993-06-10 1994-12-22 Markus H. Veltman Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JP3509080B2 (ja) * 1993-10-15 2004-03-22 ソニー株式会社 データ再生装置
CA2154582C (en) * 1993-12-18 2003-01-21 Makoto Kawamura System for storing and reproducing multiplexed data
JP3321972B2 (ja) * 1994-02-15 2002-09-09 ソニー株式会社 ディジタル信号記録装置
US5734787A (en) * 1994-03-19 1998-03-31 Sony Corporation Optical disk having a particular format to store user-selected data, such as compressed video data or computed files, including a dedicated TOC region and an application TOC to identify the video compression format
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
US5629740A (en) * 1994-08-26 1997-05-13 Toko, Inc. Video transmitter for effecting after-recording
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
JP3460345B2 (ja) * 1994-12-19 2003-10-27 ソニー株式会社 ビデオカメラシステム
US5671226A (en) * 1995-02-09 1997-09-23 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
US5822324A (en) * 1995-03-16 1998-10-13 Bell Atlantic Network Services, Inc. Simulcasting digital video programs for broadcast and interactive services

Also Published As

Publication number Publication date
KR970057695A (ko) 1997-07-31
JP3405034B2 (ja) 2003-05-12
CN1156361A (zh) 1997-08-06
DE69619491T2 (de) 2002-10-02
EP0782137A3 (en) 1999-05-12
JPH09186667A (ja) 1997-07-15
ES2169214T3 (es) 2002-07-01
US5894328A (en) 1999-04-13
EP0782137B1 (en) 2002-02-27
EP0782137A2 (en) 1997-07-02
DE69619491D1 (de) 2002-04-04

Similar Documents

Publication Publication Date Title
CN1125543C (zh) 数字信号的多路复用方法和设备以及数字信号的记录介质
CN1146159C (zh) 数据多路复用器和数据多路复用方法
CN1199475C (zh) 转换数据流的方法和装置
CN1152569C (zh) 产生多路数据、再生编码数据及时钟转换的装置和方法
CN1251493C (zh) 记录装置和方法、重放装置和方法
CN1212737C (zh) 用于活动图像专家组(mpeg)传输流的程序时钟基准数据的再生
CN1293763C (zh) 图像重放装置
CN1255800C (zh) 产生要记录的信息信号的方法和设备
CN1148955C (zh) 编码数据流接合设备和方法及编码数据流生成设备和方法
CN1112806C (zh) 排列立体视频序列的视频画面用于译码的方法
CN1161989C (zh) 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法
CN1217542C (zh) 信息提供装置和方法、信息接收装置和方法
CN1381056A (zh) 用于编辑数字视频记录的方法和设备以及用这种方法制作的记录
CN101036389A (zh) 内容接收器、视频－音频输出定时控制方法和内容提供系统
CN1543224A (zh) 编解码设备及编码/多路复用设备和解码/多路分解设备
CN1311958A (zh) 数字视频记录器用的特技播放信号的产生
CN1157727C (zh) 编辑系统、编辑控制装置和编辑控制方法
CN1189745A (zh) 传输装置与方法,接收装置与方法
CN1949880A (zh) 数字广播接收机中的同步装置和同步方法
CN1133532A (zh) 数字记录和重放装置
CN1832579A (zh) 复用装置、复用方法、程序和记录介质
CN1946183A (zh) 图像编码设备、画面编码方法和图像编辑设备
CN1794812A (zh) 一种传输流复用的方法
CN1421859A (zh) 后期录音装置
CN1184809C (zh) 数据处理设备、数据处理方法、记录设备和记录方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee