CN1114210C - 解码设备和解码方法 - Google Patents

解码设备和解码方法 Download PDF

Info

Publication number
CN1114210C
CN1114210C CN99111996A CN99111996A CN1114210C CN 1114210 C CN1114210 C CN 1114210C CN 99111996 A CN99111996 A CN 99111996A CN 99111996 A CN99111996 A CN 99111996A CN 1114210 C CN1114210 C CN 1114210C
Authority
CN
China
Prior art keywords
video
audio
data
stream
voice data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN99111996A
Other languages
English (en)
Other versions
CN1244707A (zh
Inventor
藤波靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1244707A publication Critical patent/CN1244707A/zh
Application granted granted Critical
Publication of CN1114210C publication Critical patent/CN1114210C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在一种用于无缝再现通过多路复用而获得的数据流，以使在数据流连接部分产生的音频歪斜不与其相应的视频流分离的系统目标解码器中，规定要增加的音频缓冲中器容量。该容量大于或等于由下列公式确定的容量T×RVideo×RAudio÷(RVideo+RAudio)其中T是其间音频流输入音频缓冲器而视频流不输入视频缓冲器的一间隔和其间音频流不输入音频缓冲器而视频流输入视频缓冲器的一间隔的和，RVideo是视频流的读出速率，而RAudio是音频流的读出速率。

Description

解码设备和解码方法
                             技术领域
本发明涉及系统目标解码器，特别涉及用在解码器中的音频缓冲器的容量，该解码器用于再现通过实施多路复用而获得的数据流，以使在数据流连接部分产生的音频歪斜(audio skew)不与其相应的视频流分离。
                             背景技术
在MPEG2系统标准中，对每个PS(program stream，程序流)和TS(transport stream，传输流)定义一STD(system target decoder，系统目标解码器)，作为虚拟解码器模型，以从数据包复用流中分离单独的基本流(视频流和音频流)，并对其进行解码、同步和显示。
然而，在MPEG2系统标准中，没有关于连接多个独立数据流和无缝(seamlessly)再现它们的方法的规定。
因此，在部分3中：包含在关于DVD(digital versatile disk，数字通用盘)的标准中的DVD-视频标准，即，E-STD(extended system target decoder，扩展系统目标解码器)定义为扩展解码器模型，以允许用户进行无缝操纵，如导向器切除和多角度变换(directors cut and multi-angle)。
用于无缝再现的数据流划分为称为交织单元的多个单元，并置于称为交织块的记录区中。在再现时，在交织单元中，跳过用户没有指定的交织单元。仅读出用户指定的交织单元，并将其连续输入E-STD。
E-STD以一记录系统为前提条件，在该记录系统中，在数据流连接部分产生的音频歪斜与其相应的视频流(要经受同步再现)分离并被多路复用。如图1所示，现在假定由于多角度配置而准备了三个交织单元：Angle(角度)1、Angle 2和Angle 3，作为跟随特定数据流S1的数据流。在这种情况下，在数据流S1和Angle 1、2和3之间的连接部分中产生的音频歪斜与包含在数据流S1中的视频流分离并多路复用到Angle 1、2和3。
然而，在这样的记录系统中，有一个问题，即用于解码和显示的基准时间的不同数据混合出现在图1所示的Angle 1、Angle 2和Angle 3中，因此其逻辑结构变得不确定。
此外，在与数据流边界不同的位置切除数据流。通过切除所获得的数据群(例如图1的数据流S1和Angle 1、2和3)在此称为“剪片(clip)”。如图2所示，剪片之间的边界与数据流之间的边界不一致。这就带来一个问题，即边界的意义变得不确定。尤其是在单独剪片由个人计算机等作为文件管理的情况下，音频歪斜及其相应的视频流包含在分离的文件中，造成了文件管理的障碍。
另一方面，通过采纳象在数据流连接部分产生的音频歪斜被多路复用以使它们与其相应的视频流分开的这样的记录系统，可避免上述问题。
然而，作为用于在这样的记录系统中实施无缝再现数据流的系统目标解码器，有必要增加包含在由MPEG2系统标准定义的P-STD的硬件资源中的音频缓冲器容量。或者，在保持硬件资源完好的情况下，有必要实施软件处理，用于临时改变分配为视频缓冲器的单个缓冲器的区域，以及分配为音频缓冲器的单个缓冲器的区域。其原因将在后面描述。
                         发明内容
在增加音频缓冲器容量的系统目标解码器中，本发明的一个目的是规定要增加的音频缓冲器的容量。
在本发明中，在用于解码器的音频缓冲器中，该解码器用于再现通过实施多路复用而获得的数据流，以使在数据流连接部分产生的音频歪斜不与其相应的视频流分离，音频缓冲器的容量根据一间隔期内的数据存储量的增加值而增加，在该间隔期内，音频流输入到此系统目标解码器的音频缓冲器中，但视频流不输入到引系统目标解码器的视频缓冲器中。
根据本发明，音频缓冲器的容量增加上面所述的量。结果，系统目标解码器系统能够在不导致音频缓冲器上溢的情况下进行再现，该系统目标解码器系统用于对通过进行复用而获得的数据流进行无缝再现，以使在数据流连接部分产生的音频歪斜不与其相应的视频流分离。
具体来讲，按照本发明的一个方面，提供了一种视频/音频数据解码设备，该设备包括：一分离装置，用于分离数据流连接部分中的复用流，该复用流是通过进行多路复用而获得的，以使音频歪斜不与其相应的视频数据分离；一存储装置，用于分别存储分离的视频数据和音频数据；和一解码装置，用于分别对所存储的视频数据和音频数据解码，其中所述存储装置包括与所述音频歪斜相应的一附加存储区。
在上面所述的视频/音频数据解码设备中，所述附加存储区的容量大于或等于由下列公式确定的容量：
      T×RVideo×RAudio÷(RVideo+RAudio)
其中T是其间仅有音频数据存储在所述存储装置中的间隔和其间仅有视频数据存储在所述存储装置中的间隔的和，RVideo是视频数据的输入速率，而RAudio是音频数据的输入速率。
在上面所述的视频/音频数据解码设备中，所述存储装置包括一视频数据存储装置和一音频数据存储装置，并且，所述音频数据存储装置包括所述附加存储区
在上面所述的视频/音频数据解码设备中，所述存储装置包括一视频数据存储区和一音频数据存储区，并且，提供了一个执行控制的装置，以使所述音频数据存储区包括所述附加存储区。
按照本发明的另一个方面，提供了一种视频/音频数据解码方法，包括步骤：分离一复用流，该复用流是通过进行多路复用而获得的，以使音频歪斜不与其相应的视频数据分离；分别存储所分离的视频数据和音频数据；以及，分别解码所存储的视频数据和音频数据，其中，所述存储步骤包括存储与所述音频歪斜相应的数据的一步骤。
在上面所述的视频/音频数据解码方法中，所述存储与所述音频歪斜相应的数据的步骤包括存储一定容量的音频数据的步骤，该容量大于或等于由下列公式确定的容量：
      T×RVideo×RAudio÷(RVideo+RAudio)
其中T是其间仅存储音频数据的间隔和其间仅存储视频数据的间隔的和，RVideo是视频数据的输入速率，而RAudio是音频数据的输入速率。
                           附图说明
图1是说明数据流的图；
图2是说明剪片边界和数据流边界的图；
图3是解释清晰断裂(clean break)的图；
图4是说明清晰断裂的剪片边界和数据流边界的图；
图5是说明按照本发明的系统目标解码器的结构举例的方框图；
图6是说明在E-STD的情况下，在时间轴上在视频流和音频流之间的关系的时序图；
图7是说明在图5的系统目标解码器的情况下，在时间轴上在视频流和音频流之间的关系的时序图；
图8是说明图5的音频缓冲器的容量增加值和读出速率之间的关系的图；和
图9是说明图5的音频缓冲器的容量增加值的具体例子的图。
                     具体实施方式
首先，将描述作为本发明的前提条件的记录系统。
在此记录系统中，包含在应当经受无缝再现的两个剪片中的前一剪片(下文中称为剪片C1)中的音频流的最后一个数据包包括一显示时间样值，该显示时间样值与显示在包含于剪片C1中的视频流末端中的画面显示末端时间一致。并且，包含在两个剪片的后一剪片(下文中称为剪片C2)中的音频流的第一个数据包包括一显示时间样值，该显示时间样值与显示在包含于剪片C2中的视频流首端中的画面显示起始时间一致。因此，进行多路复用，以使在数据流连接部分产生的音频歪斜不与其相应的视频流分离。
上述记录系统(下文中称为“清晰断裂”)示于图3，以便与图1所示的前面所述的记录系统相比较。
在此清晰断裂中，仅用于解码和显示的基准时间是公用的数据出现在一个剪片中。因此，其逻辑结构变得确定。
此外，通过在数据流边界进行切除而获得剪片。如图4所示，剪片边界与数据流边界一致。因而边界的意义变得确定。此外在剪片被作为文件管理的情况下，音频歪斜和其相应的视频流包含在相同的文件中。
下面将参照图5描述根据本发明的系统目标解码器的结构例子。
该系统目标解码器是用于数字视频记录器的系统目标解码器。下文中称之为“DVR-STD”。
从未示出的记录介质中读出数据包复用流(使用上面所述的清晰断裂的数据流)，并将其输入到DVR-STD。由多路分解器1将数据包复用流分解为基本流(即视频流和音频流)和子画面流(如图形数据等)。视频流、音频流和子画面流分别存储在视频缓冲器2、音频缓冲器3和图形缓冲器4中。
在DTS(decode time stamp，解码时间戳)所指示的解码时间到达时，包含在视频流中的I画面和P画面从视频缓冲器2传送到视频解码器5，在其中解码，并存储在重排缓冲器6中。
之后，在PTS(presentation time stamp，表示时间戳)所指示的显示时间到达时，视频流的B画面、音频流和子画面流分别从视频缓冲器2、音频缓冲器3和图形缓冲器4传送到视频解码器5、音频解码器7和图形解码器8，然后被解码并显示。之后，存储在重排缓冲器6中的I画面和P画面根据PTS被依次显示。
在STC产生单元9中，按照包含在输入流中的SCR(system clockreference，系统时钟基准)产生用作基准时间的STC(system time clock，系统时钟)。
在STC delta计算单元10中，根据下列等式计算在剪片C1和剪片C2之间的时间基准的差异STC delta。剪片C1是要无缝再现的两个剪片中的前一个剪片。剪片C2是要无缝再现的两个剪片中的后一个剪片。在下述等式中，PTS1end是包含在剪片C1中的视频流中最后一帧的PTS值。PTS2start是包含在剪片C2中的视频流中第一帧的PTS值。Tpp是包含在剪片C1中的视频流中最后一帧的显示间隔。
STC_delta＝PTSlend-PTS2start+Tpp
在加法器11中，在STC产生单元9中产生的STC与在STC_delta计算单元10中产生的STC_delta相加。相加结果STC’从加法器11输出。
当再现一个剪片时，DVD-STD利用STC作为基准时间，以与P-STD完全相同的方式起作用，该STC已由包含在该剪片中的SCR正确设定。
然而，当连接并无缝再现两个剪片时，利用示出的开关SW1、SW2和SW3等，在从剪片C1到剪片C2的转换间隔中，使基准时间在STC和STC’之间切换，以便连续显示剪片C1的视频数据和剪片C2的视频数据。
例如，由下述各项确定到视频解码器5的数据包复用流的输入定时：
(a)自剪片C1已被输入直到剪片C2的输入时间开始，由包含在剪片C1中的SCR正确设定的基准时间STC来确定输入定时。
(b)自剪片C2输入开始的时间直到剪片C1中的最后一个视频数据已完成显示的时间(即，从剪片C1到剪片C2的转换间隔)，基准时间切换到STC’，并且STC由包含在剪片C2中的SCR正确设定。
(c)在剪片C1中的最后一个视频数据已完成显示的时间到来时，在该时刻将STC复位到STC’，并且基准时间切换到STC。
下面在比较前面所述的DVD-STD与E-STD的同时，描述作为本发明的一个特征的音频缓冲器3的容量。
在E-STD的情况下，剪片边界不与数据流边界一致，如图2所示。因此，在分别发送从前一剪片C1和后一剪片C2中分离的视频流和音频流到视频缓冲器和音频缓冲器的处理中，在时间轴上的在视频流和音频流之间的关系示范于图6A。
在图6A中，时刻ta是剪片C1和剪片C2之间的边界。此外，时刻ta也是两个视频流之间的边界。时刻tb是两个音频流之间的边界。视频流中时刻ta的视频数据和音频流中时刻tb的音频数据被相关同步再现。在从时刻ta到时刻tb的间隔T中发送的音频流部分为音频歪斜。此外，RVideo和RAudio分别为从记录介质读出视频流和音频流的读出速率。现在假定读出速率为固定速率，为的是便于描述。
图6B示范出此处理中的视频缓冲器的状态。在此例子中，数据输入视频缓冲器的输入速率RIN和数据从视频缓冲器中输出的输出速率ROUT都与RVideo一致。因此，存储在视频缓冲器中的数据量固定。此外，在间隔T中将时刻ta的视频数据存储在视频缓冲器中，以便与时刻tb的音频数据同步再现。(因为MPEG2系统标准禁止相同数据存储在P-STD的缓冲器中超过1秒，所以间隔T的长度以1秒为上限。)
图6C示范出此处理中的音频缓冲器的状态。在此例子中，数据输入音频缓冲器的输入速率RIN和数据从音频缓冲器中输出的输出速率ROUT都与RAudio一致。因此，存储在音频缓冲器中的数据量固定。
另一方面，在图5所示的DVR-STD的情况下，剪片边界与数据流边界一致，图3也示出了这种情况。因此，在将从前一剪片C1和后一剪片C2分离的视频流和音频流分别发送到视频缓冲器2和音频缓冲器3的处理过程中，在时间轴上的在视频流和音频流之间的关系变为与图6A有关的如图7A的A所示。
在此情况下，直到时刻ta之前，视频流和音频流之间的关系变为与E-STD的情况下相同。然而，自时刻ta开始，剪片C1中的剩余音频流(对应于图6A的间隔T中的音频歪斜的部分，并且是从图3的剪片右端突出的部分)以速率RVideo+RAudio发送到图5的音频缓冲器3，而视频流不发送到视频缓冲器2。该音频流的传送结束的时刻tc剪片C1和剪片C2之间的边界。
从时刻tc直到时刻tb，剪片C2中的视频流(图3中从剪片左端突出的部分)以速率RVideo+RAudio发送到图5的视频缓冲器2，而音频流不发送到音频缓冲器3。从时刻tb开始，视频流和音频流之间的关系变为与E-STD的情况下相同。
在间隔T，从时刻ta到时刻tc的间隔TA和从时刻tc到时刻tb的间隔TV由下列等式表示。
TA＝T×RAudio÷(RVideo+RAudio)
TV＝T×RVideo÷(RVideo+RAudio)
图7B结合图6B示出此处理过程中的视频缓冲器2的状态。在从时刻ta到时刻tc的间隔TA中，没有输入数据，结果，存储数据量下降。然而，由于从时刻ta到时刻tb的间隔T中所要求的数据已经在时刻ta之前输入，在此间隔T中不会在视频缓冲器2中发生下溢。在从时刻tc到时刻tb的间隔TV中，数据以输入速率RIN＝RVideo+RAudio输入，该速率RIN大于输出速率ROUT＝RVideo。因此，在时刻tb，存储数据量增加到与E-STD的情况下相同。
图7C结合图6C示出此处理过程中的音频缓冲器3的状态。在从时刻ta到时刻tc的间隔TA中，数据以速率RIN＝RVideo+RAudio输入，该速率RIN大于输出速率ROUT＝RAudio，结果，存储数据量与E-STD的情况下相比增加。在从时刻tc到时刻tb的间隔TV中，没有输入数据，结果，在时刻tb，存储数据量下降到与E-STD情况下的值相同。
因此，视频缓冲器2的存储容量要求与E-STD情况下的要求相同。然而，音频缓冲器3的存储容量与E-STD情况下相比必须增加，以防止上溢。要增加量的最小值是图7C的时刻tc的数据存储量和时刻ta的数据存储量之间的差值EOAudio，时刻tc的数据存储量是最大数据存储量。差值EOAudio的幅度由下列等计算。
EOAudio＝(RIN-ROUT)×TA
＝((RVideo+RAudio)-RAudio)
×T×RAudio÷(RVideo+RAudio)
＝T×RVideo×RAudio÷(RVideo+RAudio)
因此，在图5的DVR-STD中，其容量增加EOAudio的缓冲器(若假定图6C所示的音频缓冲器的容量为OAudio，则为具有容量OAudio+EOAudio的缓冲器)用作音频缓冲器3。因此，在此DVR-STD中，可以在不导致音频缓冲器3下溢的情况下进行无缝再现。
图8示出当RVideo+RAudio＝10Mbps(比特/秒)和15Mbps时所得到的EOAudio的幅度和RAudio的幅度之间的关系的曲线图。
图9示出在通过使用MPEG音频或Dolby AC-3压缩音频而获得数据包复用流中的音频流(压缩音频)的情况下，和在通过PCM编码而获得数据包复用流中的音频流的情况下，当RVideo+RAudio＝5，10和15Mbps时EOAudio的优选幅度的特定例子。
在图9中，在压缩音频情况下的RAudio的幅度384kbps和448kbps分别为MPEG音频和Dolby AC-3情况下的最大比特率。在PCM情况下，RAudio的幅度768kbps对应于当量化位数为12且通道数目为2时的采样频率32kHz(32×12×2＝768)，而1536kbps对应于当量化位数为16且通道数目为2时的采样频率48kHz(48×16×2＝1536)。
在以上描述的例子中，音频缓冲器3的容量增加了为防止上溢的最小值EOAudio。然而，很自然，音频缓冲器3容量的增加量可以大于此值EOAudio。
在以上描述的例子中，增加了音频缓冲器3的容量。然而，在从时刻ta到时刻tb的间隔中音频缓冲器3的数据存储量的增加量与在该间隔中视频缓冲器2的数据存储量的下降量相等。因此，可以提供一单一缓冲器，该单一缓冲器的容量等于E-STD情况下的视频缓冲器和音频缓冲器的容量总和，并进行软件处理，以在从时刻ta到时刻tb的间隔中，改变单一缓冲器中指定给视频缓冲器2的区域和指定给音频缓冲器3的区域。
在以上描述的例子中，例如，本发明可应用于用于数字视频磁带记录器的系统目标解码器。然而，本发明也可应用于其它系统目标解码器(例如，用于DVD的系统目标解码器)。
本发明不限于以上描述的例子。当然，在不脱离本发明的精神的情况下可采用其它结构。
在用于无缝再现通过进行复用而获得的数据流，以使在数据流连接部分产生的音频歪斜不与其相应的视频流分离的系统目标解码器中，本发明规定了要增加的音频缓冲器容量，如上文中所述的。结果，能够使该系统目标解码器进行无缝再现，而不导致音频缓冲器中的上溢。
上面已经描述了本发明的优选实施例，应当理解，本发明不限于那些特定的实施例，本领域技术人员在不脱离由所附权利要求限定的本发明的精神或范围的情况下，可对上述实施例进行许多变化和修改。

Claims (6)

1.一种视频/音频数据解码设备，包括：
一分离装置，用于分离数据流连接部分中的复用流，该复用流是通过进行多路复用而获得的，以使音频歪斜不与其相应的视频数据分离；
一存储装置，用于分别存储分离的视频数据和音频数据；和
一解码装置，用于分别对所存储的视频数据和音频数据解码，
其中所述存储装置包括与所述音频歪斜相应的一附加存储区。
2.如权利要求1所述的视频/音频数据解码设备，其中所述附加存储区的容量大于或等于由下列公式确定的容量：
T×RVideo×RAudio÷(RVideo+RAudio)
其中T是其间仅有音频数据存储在所述存储装置中的间隔和其间仅有视频数据存储在所述存储装置中的间隔的和，RVideo是视频数据的输入速率，而RAudio是音频数据的输入速率。
3.如权利要求2所述的视频/音频数据解码设备，其中所述存储装置包括一视频数据存储装置和一音频数据存储装置，并且
所述音频数据存储装置包括所述附加存储区。
4.如权利要求2所述的视频/音频数据解码设备，其中所述存储装置包括一视频数据存储区和一音频数据存储区，并且
提供了一个执行控制的装置，以使所述音频数据存储区包括所述附加存储区。
5.一种视频/音频数据解码方法，包括：
分离一复用流，该复用流是通过进行多路复用而获得的，以使音频歪斜不与其相应的视频数据分离；
分别存储所分离的视频数据和音频数据；和
分别解码所存储的视频数据和音频数据，
其中所述存储步骤包括存储与所述音频歪斜相应的数据的一步骤。
6.如权利要求5所述的视频/音频数据解码方法，其中所述存储与所述音频歪斜相应的数据的步骤包括存储一定容量的音频数据的步骤，该容量大于或等于由下列公式确定的容量：
T×RVideo×RAudio÷(RVideo+RAudio)
其中T是其间仅存储音频数据的间隔和其间仅存储视频数据的间隔的和，RVideo是视频数据的输入速率，而RAudio是音频数据的输入速率。
CN99111996A 1998-08-10 1999-08-05 解码设备和解码方法 Expired - Fee Related CN1114210C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP22603298A JP4006840B2 (ja) 1998-08-10 1998-08-10 システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置
JP226032/98 1998-08-10
JP226032/1998 1998-08-10

Publications (2)

Publication Number Publication Date
CN1244707A CN1244707A (zh) 2000-02-16
CN1114210C true CN1114210C (zh) 2003-07-09

Family

ID=16838715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN99111996A Expired - Fee Related CN1114210C (zh) 1998-08-10 1999-08-05 解码设备和解码方法

Country Status (4)

Country Link
US (1) US6718119B1 (zh)
JP (1) JP4006840B2 (zh)
KR (1) KR100629093B1 (zh)
CN (1) CN1114210C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764974B (zh) * 2004-01-17 2010-12-15 世宗大学校产学协力团 存储多媒体数据的存储介质和再现多媒体数据的方法和设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030113096A1 (en) * 1997-07-07 2003-06-19 Kabushiki Kaisha Toshiba Multi-screen display system for automatically changing a plurality of simultaneously displayed images
US6993251B1 (en) * 2000-03-31 2006-01-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for concealing disk soft errors in recorded digital television signals
JP4411499B2 (ja) * 2000-06-14 2010-02-10 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
US7154906B2 (en) * 2001-01-30 2006-12-26 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing program, and computer-readable storage medium storing image processing program code
US20040096199A1 (en) * 2002-11-14 2004-05-20 Chou Charles C.L. Editing system and software for automatically creating interactive media
JP4902935B2 (ja) * 2003-05-08 2012-03-21 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び記録媒体
US20070110396A1 (en) * 2003-07-30 2007-05-17 Masanori Itoh Data processor
US8190003B2 (en) * 2004-01-14 2012-05-29 Samsung Electronics Co., Ltd. Storage medium storing interactive graphics stream activated in response to user's command, and reproducing apparatus for reproducing from the same
ES2559605T3 (es) * 2008-09-17 2016-02-15 Panasonic Intellectual Property Management Co., Ltd. Medio de grabación y dispositivo de reproducción
DE102013109911A1 (de) * 2013-09-10 2015-03-12 Kurt Putz Orale Verabreichungsform, enthaltend ein Gemisch aus festen Stimulantien und Kräuterextrakte der traditionellen chinesischen Medizin
RU2675051C2 (ru) * 2013-09-12 2018-12-14 Сони Корпорейшн Устройство кодирования, устройство передачи и устройство приема

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5652627A (en) * 1994-09-27 1997-07-29 Lucent Technologies Inc. System and method for reducing jitter in a packet-based transmission network
TW436777B (en) * 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
US6148135A (en) * 1996-01-29 2000-11-14 Mitsubishi Denki Kabushiki Kaisha Video and audio reproducing device and video decoding device
US6212208B1 (en) * 1996-11-11 2001-04-03 Matsushita Electric Industrial Co., Ltd. Method for coding and multiplexing multimedia data, apparatus for coding and multiplexing multimedia data, record media containing program for coding and multiplexing multimedia data
KR100240331B1 (ko) * 1996-11-15 2000-01-15 전주범 디코더 시스템의 비디오/오디오 동기화 장치
JP3063838B2 (ja) * 1997-10-02 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置および方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1764974B (zh) * 2004-01-17 2010-12-15 世宗大学校产学协力团 存储多媒体数据的存储介质和再现多媒体数据的方法和设备

Also Published As

Publication number Publication date
US6718119B1 (en) 2004-04-06
CN1244707A (zh) 2000-02-16
JP2000057691A (ja) 2000-02-25
JP4006840B2 (ja) 2007-11-14
KR100629093B1 (ko) 2006-09-28
KR20000017185A (ko) 2000-03-25

Similar Documents

Publication Publication Date Title
CN1114210C (zh) 解码设备和解码方法
CN1251461A (zh) 用于具有叠加子信息的视频的数字记录/再现方法和装置
CN1838771A (zh) 串流格式转换的系统、方法及数字电视记录装置
US6111592A (en) DMA data transfer apparatus, motion picture decoding apparatus using the same, and DMA data transfer method
CN1193617C (zh) 图像处理装置和使用它的电视接收装置、图像重放装置和方法
CN101076121A (zh) 流生成装置、成像装置、数据处理装置和流生成方法
CN1318949A (zh) 压缩编码数据再现方法和装置
CN1723704A (zh) 数据处理装置
CN1136725C (zh) 同步偏移控制设备和方法
CN1127058C (zh) 用于视频与/或音频信号录制与重放的方法与装置
CN101079309A (zh) 存储多角度数据的介质以及再现多角度数据的方法和设备
JP2000278136A (ja) 復号装置
CN1627416A (zh) 音频/视频再现设备
CN1829324A (zh) 信号处理装置和流处理方法
JP2001008211A (ja) デジタルインターフェースを利用した音声ストリーム送受信装置及び方法
CN1288905C (zh) 数据解码器和数据解码方法
US6993139B2 (en) Method of and apparatus for decoding audio data
CN1335711A (zh) 程序记录再现方法和装置
CN1283927A (zh) 数字比特流的块形成方法和装置
CN1118797C (zh) 光盘重放装置
CN1144214C (zh) 选择信道的方法、光学记录和再现装置
JP2007060480A (ja) 逆方向再生方法、再生装置、逆方向再生プログラムおよび逆方向再生プログラムを記録した記録媒体
CN1320818C (zh) 确定入口点的方法和装置
CN1276425C (zh) 选择音频/视频数据流的音频信道的方法
CN1292430C (zh) 分配音频信道识别符的方法及选择音频信道的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20030709

Termination date: 20130805