CN1698374A - 信息处理装置、信息处理方法、程序和记录介质 - Google Patents

信息处理装置、信息处理方法、程序和记录介质 Download PDF

Info

Publication number
CN1698374A
CN1698374A CNA2004800004774A CN200480000477A CN1698374A CN 1698374 A CN1698374 A CN 1698374A CN A2004800004774 A CNA2004800004774 A CN A2004800004774A CN 200480000477 A CN200480000477 A CN 200480000477A CN 1698374 A CN1698374 A CN 1698374A
Authority
CN
China
Prior art keywords
image
stream
video
time
multiplex stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800004774A
Other languages
English (en)
Other versions
CN100380959C (zh
Inventor
加藤元树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1698374A publication Critical patent/CN1698374A/zh
Application granted granted Critical
Publication of CN100380959C publication Critical patent/CN100380959C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

播放器模式(1)包括：从无缝连接的TS1和TS2读出具有传输包和到达时间印记的源数据包，并根据到达时间印记输出传输包的输出部分(10)；和解码传输包的解码器(20)。输出部分(10)根据源数据包的到达时间印记输入传输包到解码器(20)。解码器(20)包括具有能够缓存与输入I图像(该I图像作为TS2的第一图像)到视频缓冲器TB 1所需的时间对应的音频数据的容量的音频缓冲器TBn。

Description

信息处理装置、信息处理方法、程序和记录介质
技术领域
本发明涉及一种用于编辑由具有视频帧精确度的视频和音频流组成的复用流以及无缝再现编辑点的信息处理装置、它的方法、一种程序和记录介质，以及一种以最优化的形式产生无缝再现的复用流的信息处理装置和存储复用流数据的记录介质。
本申请要求2003年5月8日申请的日本专利申请号2003-130661的优先权，其内容结合在本申请中作为参考。
背景技术
在日本专利申请公开号2000-175152、日本专利申请公开号2001-544118和日本专利申请公开号2002-158974中描述了用于编辑具有视频帧精确度的视频和音频流的复用流以及无缝再现编辑点的方法。
图1是表示传统的DVR-STD模式(DVR MPEG2传输流播放器模式)(下文中称为“播放器”)101的框图。DVR-STD是用于模拟产生并检查涉及无缝连接的两个播放项目(PlayItems)的AV流的解码处理的概念上的模式。
如图1所示，在播放器101中，从读出部分(DVD驱动器)111以比特率RUD读出的TS(传输流)文件在读缓冲器112中缓存。源数据包从读缓冲器112以最大比特率RMAX读出到源拆包器。
脉冲振荡器(27MHz X-tal)114产生27MHz的脉冲。到达时间时钟计数器115是计数该27MHz频率脉冲的二进制计数器并且在时间t(i)给源拆包器提供到达时间时钟计数器的计数值Arrival_time_clock(i)。
一个源数据包具有一个传输包和它的arrival_time_stamp。在当前源数据包的arrival_time_stamp等于arrival_time_clock(i)的LSB(最小有效比特：30比特)值时，当前源数据包的传输包从源拆包器113输出。TS_recording_rate是传输流的比特率(下文中称为“TS”)。图1所示的n、TBn、MBn、EBn、TBsys、Bsys、Rxn、Rbxn、Rxsys、Dn、Dsys、On和Pn(k)的符号与在ISO/IEC13818-1(MPEG2系统规范)T-STD(由ISO/IEC 13818-1指定的传输流系统目标解码器)中定义的一样。
接下来将描述上述传统播放器101中的解码处理。首先，将描述单个DVRMPEG2 TS再现期间的解码处理。在单个DVR MPEG2 TS再现期间，传输包从输出部分110输出从而被输入到DVR-STD(即解码器120)的TB1、TBn或TBsys的定时由源数据包的arrival_time_stamp确定。涉及TB1、MB1、EB1、TBn、Bn、TBsys和TBsys的缓存操作的规范与由ISO/IEC 13818-1规定的T-STD中的情况相同。与解码和呈现操作相关的规范也与由ISO/IEC 13818-1规定的T-STD中的情况相同。
下面，将描述无缝连接的播放项目再现期间的解码处理。这里，将描述涉及无缝连接的播放项目的前一个流TS1和当前流TS2的再现。
在特定AV流(TS1)和接下来的与该AV流(TS1)无缝连接的AV流(TS2)之间切换期间，TS2到达时基的时间轴与TS1到达时基的时间轴不同。而且TS2系统时基的时间轴与TS1系统时基的时间轴不同。视频图像的呈现需要无缝地继续下去。重叠可能在音频呈现单元的呈现时间存在。
接着，将描述从源拆包器读出到DVR-STD的传输包的输入定时。
(1)在DVR-STD的TS1到TB1的最后的视频包的输入完成的时刻T1之前
在时刻T1之前，对DVR-STD的缓冲器TB1、TB或TBsys的输入定时由TS1的源数据包的arrival_time_stamp确定。
(2)从时刻T1到TS1的剩余数据包的最后字节的输入完成的时刻T2TS1的剩余数据包必须以TS_recording_rate(TS1)的比特率(TS1的最大比特率)输入到DVR-STD的缓冲器TBn或TBsys。TS_recording_rate(TS1)是由对应于剪辑1的ClipInfo()定义的TS_recording_rate的值。TS1的最后字节输入到缓冲器的时间是时刻T2。因此，从时刻T1到时刻T2，对源数据包的arrival_time_stamp忽略不计。
假定N1是跟随着TS1的最后视频包的TS1的传输包的字节数，T1和T2之间的时间(时间T2-1＝T2-T1)是完成以TS_recording_rate(TS1)的比特率的N1字节输入所需的时间，并且用以下的等式(1)表示
T2-1＝T2-T1＝N1/TS_recording_rate(TS1)....(1)
从时刻T1到时刻T2，图1所示的Rxn和Rxsys的值改变为TS_recording_rate(TS1)的值。除了以上的规则，缓存操作与T-STD的相同。
因为图1所示的Rxn和Rxsys的值改变为时刻T1和T2之间的TS_recording_rate(TS1)的值，除了由T-STD定义的缓存量，还需要附加的缓存量(对应于大约1秒的数据量)，以便音频解码器能够处理时间T1和T2之间的输入数据。
(3)时刻T2之后
在时刻T2，到达时间时钟计数器115复位到TS2的第一源包的arrival_time_stamp的值。对DVR-STD的缓冲器TB1、TBn或TBsys的输入定时由TS2的源数据包的arrival_time_stamp确定。Rxn和Rxsys改变到由T-STD确定的值。
接着，将描述视频呈现定时。视频呈现单元必须通过其连接点被无缝地呈现。
这里假定
STC(系统时间时钟)1：TS1系统时基的时间轴
STC2：TS2系统时基的时间轴(正确地说，STC2从TS2的第一PCR(节目(program)时钟参考)输入到T-STD时开始)。
按照以下方式确定STC1和STC2之间的偏移值。
假定
PTS1end：对应于TS1的最后的视频呈现单元的STC1上的PTS
PTS2start：对应于TS2的第一个视频呈现单元的STC2上的PTS
Tpp：最后的视频呈现单元的呈现时间段，两个系统时基之间的偏移值STC_delta由以下的等式(2)表示。
STC_delta＝PTS1end+Tpp-PTS2start...(2)
接着，将描述音频呈现定时。音频呈现单元的呈现定时的重叠可能出现在TS1和TS2的连接点上，重叠从0到小于2的音频帧。播放器101必须选择一个音频样本，并将音频呈现单元的呈现与连接点后的校正的时基再同步。
下面将说明当时间从TS1向与TS1无缝连接的TS2切换时，由播放器101执行的DVR-STD的系统时间时钟控制过程。在呈现TS1的最后的音频呈现单元的时刻T5，系统时间时钟可能在时间T2和T5之间重叠。在时刻T2和T5之间，DVR-STD从旧的时基值(STC1)向新的时基值(STC2)切换系统时间时钟。STC2值能够由以下的等式(3)表示。
STC2＝STC1-STC_delta.....(3)
下面说明时间从TS1向与TS1无缝连接的TS2切换时，TS1和TS2必须满足的编码条件。
假定
STC11 video_end：当TS1的最后的视频包的最后字节到达DVR-STD的TB1时，系统时基STC1上的STC值
STC22 video_start：当TS2的第一个的视频包的第一个字节到达DVR-STD的TB1时，系统时基STC2上的STC值
STC21 video_end：通过把STC11 video_end的值变换到系统时基STC2上的值所获得的值。
在这种情况下，STC21 video_end用以下等式(4)表示。
STC21 video_end＝STC11 video_end-STC_delta...(4)
为了解码器120与DVR-STD兼容，必须满足以下两个条件。
(条件1)
TS2的第一个视频包到达TB1的定时必须符合以下的不等式(5)。
STC22 video_start＞STC21 video_end+T2-1...(5)
剪辑1和/或剪辑2的部分流需要再次编码和/或再次复用，从而满足以上不等式(5)。
(条件2)
在通过变换STC1和STC2到互相相同的时间轴获得的系统时基的时间轴上，来自TS1的视频包输入和来自TS2的视频包的随后的输入不应当从视频缓冲器中上溢和下溢。
但是，如上所述，使用DVR-STD模式的传统播放器101能够处理在时刻T1和T2之间的输入数据。也就是说，因为TS1的剩余包以时刻T1和T2之间的TS_recording_rate(TS1)的比特率(TS1的最大比特率)输入到DVR-STD的缓冲器TBn或TBsys，所以，除了由T-STD确定的缓存量之外，还需要具有能够缓存对应于大约1秒的数据量的容量的附加的缓冲器。
该缓冲器容量基于以下因素。也就是说，在MPEG2 TS中，在与对应于特定字节位置的视频数据同步地再现的音频数据能够与预定区域内的复用相位差分离存在，并且该复用相位差的最大值等于对应于1秒的数据量。因此，以上等式(1)的N1的最大值等于对应于多达1秒的音频数据。在时间T1和T2之间，忽略源数据包的arrival_time_stamp并且对应于N1数据量的源数据包以TS的最大比特率输入到音频缓冲器。因此，除了由T-STD确定的缓存量之外，还需要附加缓存量(对应于大约1秒的数据量)。
该附加缓冲器的量能够按照如下计算。也就是说，在按照杜比AC-3以例如640kbps编码的音频流的情况下，对应于1秒的音频数据是80k字节(＝640k比特)。结果，需要80k字节的附加缓冲器。
在按照线性PCM方法编码的音频流的情况下(24比特样本，96kHz取样频率，8信道)，对应于1秒的音频数据大约是18M比特(＝24比特样本×96,000样本/秒×8信道)。结果，需要大约3M字节的附加缓冲器。因而，在使用以上多信道音频数据的情况下，附加缓冲器的容量变得极其大。
发明内容
在考虑到传统的情况条件下提出本发明，并且其目的是提供一种信息处理设备、它的方法、程序和记录介质，所述信息处理设备包括音频缓冲器，音频缓冲器具有用于实现两个复用流的无缝解码的优化容量，其中在两个复用流的每一个中复用音频流和视频流，以及还提供产生对应于音频缓冲器容量的复用流的信息处理设备、它的方法和记录复用流的记录介质。
为了达到以上目的，根据本发明的一种信息处理设备，它解码包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，其中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，从而无缝再现，该信息处理设备包括：输出装置，用于根据复用流的到达时间印记输出源数据包；视频缓冲器，用于缓存包括在源数据包中的视频数据；音频缓冲器，用于缓存包括在源数据包中的音频数据；视频解码装置，用于解码在视频缓冲器中缓存的视频数据；和音频解码装置，用于解码在音频缓冲器中缓存的音频数据，音频缓冲器具有能够缓存与输入第二图像到视频缓冲器所需时间对应的音频数据的容量。
本发明中，音频缓冲器具有能够缓存与输入第二图像到视频缓冲器所需时间对应的音频数据的容量，并且即使在输入第一图像到视频缓冲器完成的时刻和输入第一复用流的最后的源数据包完成的时刻之间，源数据包也根据复用流中的源数据包的arrival_time_stamp输入到缓冲器。这去掉了传统上使用被忽略源数据包的arrival_time_stamp以TS的最大比特率输入传输包所需的1秒相对应的附加缓冲器。而且，有可能在已经输入第一复用流的最后的传输包后以其解码定时，输入首先在第二复用流中将被解码的图像到视频缓冲器。
而且能够满足EBn_max＝(I_max/Rv)×Ra，其中EBn_max比特是音频缓冲器所需的容量；I_max比特是第二图像的比特量，Rv比特/秒是对视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。假定I_max是例如I图像(即第二图像)的比特量，音频缓冲器的容量能够设置为至多EBn_max＝(I_max/Rv)×Ra。
最好音频缓冲器具有能够缓存对应于100毫秒的音频数据的容量。因为根据MPEG2规范的I图像的数据量是通常在1秒中发送的数据量的10％或更少，有可能通过设置音频缓冲器的容量到对应于100毫秒的大小，以其解码定时输入I图像到视频缓冲器，从而允许音频缓冲器将音频数据向前移动那个数量。结果，降低了视频数据中的编码限制。也就是说，通过设置音频缓冲器的容量到上述大小，有可能形成复用流，以便音频数据的输入比其再现定时早100毫秒完成。
而且，假设STC_delta是在第一复用流的时间轴上的第一图像的呈现结束时间和在第二复用流的时间轴上的第二图像的呈现开始时间之间的时间差，STC21 end(＝STC11 end-STC_delta)是通过使用时间差STC_delta转换STC11 end到第二复用流的时间轴上的值而获得的值，STC11 end是在第一复用流的最后的源数据包的最后字节从输出装置输出时的第一复用流的时间轴上的值，并且STC22 start是在第二复用流的第一个源数据包的第一字节从输出装置输出时的第二复用流的时间轴上的值。
而且，最好配置信息处理装置，使得在第一复用流的最后的源数据包从输出装置输出后经过预定时间增量delta1之后，第二复用流的第一源数据包从输出装置输出。在这种情况下，满足STC22 start＞STC21 end。结果第二复用流的第一源数据包输入定时的确定变得更灵活，这使得很容易编码第二复用流。
而且假定STC_delta是第一复用流的时间轴上的第一图像的呈现结束时间和第二复用流的时间轴上的第二图像的呈现开始时间之间的时间差，能够配置信息处理设备，使得在第一复用流的最后一个源数据包输出开始后经过预定时间ATC_delta后，第二复用流的第一个源数据包从输出装置输出，预定时间ATC_delta这样确定，使得满足时间差STC_delta，并且这样形成复用流使得满足时间差STC_delta。结果，第二复用流的第一源数据包输入定时的确定变得更灵活，这使得很容易编码第二复用流。
这种情况下，有可能作为第一复用流的附属信息管理预定的时间ATC_delta。
根据本发明的信息处理方法，解码包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，并且其中作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，该信息处理方法包括：根据复用流的到达时间印记输出源数据包的步骤；缓存分别在视频和音频缓冲器中的源数据包中包含的视频和音频数据的步骤；和对视频和音频缓冲器中缓存的视频和音频数据解码的步骤，其中在缓存步骤中，在第二图像被缓存在视频缓冲器中之前，与输入第二图像到视频缓冲器所需时间对应的音频数据被缓存在音频缓冲器中。
根据本发明的一种程序，允许计算机执行上述的信息处理。根据本发明的记录介质是记录该程序的计算机可读记录介质。
根据本发明的另一种记录介质，它记录包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，其中复用流这样形成，使得作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，第一和第二复用流能够根据它们各自的到达时间印记输入到解码器，并且与输入第二图像到解码器所需时间对应的音频数据的输入能够在第二图像向解码器的输入开始时完成。
在本发明中，形成复用流使得与输入第二图像到解码器所需的时间对应的音频数据的输入在第二图像向解码器输入开始时完成。结果，能在第一复用流的最后一个传输包通过对复用流解码输入后，使用具有能够缓存与输入第二图像到视频缓冲器所需时间对应的音频数据的容量的音频缓冲器的解码器，通过其解码定时输入首先在第二复用流中解码的图像到视频缓冲器。
根据本发明的一种信息处理设备，产生包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，并且它由解码器基于到达时间印记读出并解码，该信息处理设备包括：视频编码装置，用于产生第一视频编码流以结束第一图像的呈现和产生第二视频编码流，使得在第一图像之后立即开始将要呈现的第二图像的呈现；和复用装置，用于复用第一视频编码流和与第一视频编码流同步的音频编码流，以产生第一复用流，复用第二视频编码流和与第二视频编码流同步的音频编码流，以产生第二复用流；并产生复用流，在该复用流中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，以便无缝再现，其中复用装置进行复用，使得与输入第二图像到解码器所需的时间对应的音频数据的输入能够在第二图像向解码器输入开始时完成。
在本发明中，复用这样执行，使得与例如100毫秒对应的音频数据的输入在第二图像向解码器输入开始时完成，100毫秒对应于输入第二图像到解码器所需的时间。结果，在解码器中，音频数据在前移动到音频缓冲器，充分确保通过其解码定时发送第二图像，比如I图像的时间，这使得对复用流编码更容易。
根据本发明的另一种信息处理方法，产生包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，并且它由解码器基于到达时间印记读出并解码，该信息处理方法包括：产生步骤，产生第一视频编码流以结束第一图像的呈现和产生第二视频编码流使得在第一图像之后立即开始将要呈现的第二图像的呈现；和复用步骤，复用第一视频编码流和与第一视频编码流同步的音频编码流，以产生第一复用流，复用第二视频编码流和与第二视频编码流同步的音频编码流以产生第二复用流，并产生一个复用流，该复用流中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，以便无缝再现，其中在复用步骤中这样执行复用，使得与输入第二图像到解码器所需的时间对应的音频数据的输入能够在第二图像向解码器输入开始时完成。本发明的以上和其他目的、优点和特征将通过与附图结合进行以下说明变得更明显。
附图说明
图1是表示传统的信息处理设备的框图；
图2是表示在使用桥式剪辑(Bridge-Clip)的情况下前一个播放项目和当前播放项目之间的关系模式的图；
图3是表示在不使用桥式剪辑的情况下前一个播放项目和当前播放项目之间的关系模式的图；
图4是表示以画面的呈现顺序的剪辑1和剪辑2的模式的图，它们是将要互相无缝连接的视频流；
图5(a)、5(b)和5(c)表示每个AV流中的数据流的例子，其中图4所示的视频流(剪辑1和剪辑2)使用桥式序列(第一方法)无缝连接；
图6示出了每个AV流中的数据流的例子，其中图4所示的视频流(剪辑1和剪辑2)通过不使用桥式序列的第二方法无缝连接；
图7是用于解释音频呈现的重叠的图，并示出了TS1和TS2中视频呈现单元和音频呈现单元的一种模式；
图8是表示根据本发明的实施例的信息处理设备的框图；
图9是在特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间传输包的输入、解码和呈现的时序图；
图10是在特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间传输包的输入、解码和呈现的时序图的另一个例子；
图11是在特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间传输包的输入、解码和呈现的时序图的另一个例子；
图12示出了用于存储ATC_delta的附属信息ClipInfo()的数据格式；
图13是表示在多个AV流(TS2)将连接到特定AV流(TS1)的情况下附属信息ClipInfo()的模式图；
图14(a)和14(b)是表示在传统的DVR-STD中，在音频缓冲器的容量是4k字节的情况下，TS1和无缝连接到TS1的TS2之间切换期间，DVR-STD的视频缓冲器和音频缓冲器的比特占用量改变的例子的图；
图15(a)和15(b)是用于解释本发明实施例中的优点的图和表示在音频缓冲器的大小是8k字节的情况下，TS1和无缝连接到TS1的TS2之间切换期间，DVR-STD的视频缓冲器和音频缓冲器的比特占用量改变的例子的图。
具体实施方式
将在下文中参照附图详细说明本发明的一个实施例。该实施例通过把本发明应用到信息处理设备中获得，该信息处理设备以无缝方式连续再现由视频和音频流组成的两个复用的AV流。本发明将提出一种音频缓冲器，它具有能够在DVR-STD(数字视频记录-系统目标解码器)中提供的互相无缝连接的两个AV流再现时可用的优化的容量。
首先，定义在以下说明中使用的术语。“剪辑”表示视频和音频流的复用流。“播放列表”表示剪辑中的一组再现区域。某剪辑中的一个再现区域称为“播放项目”，播放项目”由时间轴上的一对IN点和OUT点表示。即，播放列表是一组播放项目。
“以无缝的方式再现播放项目”表示再现设备(播放器)呈现(再现)记录在盘上的音频/视频数据，同时防止在解码器的再现输出中的间隙或暂停的状态。
下面说明互相无缝连接的两个播放项目的结构。是否确保前一个播放项目和当前播放项目的无缝呈现能够通过在当前播放项目中定义的connection_condition字段判断。作为用于实现播放项目之间无缝连接的方法，存在使用桥式剪辑(桥式序列)的一种方法(第一方法)和不使用桥式剪辑的另一种方法(第二方法)。
首先，将说明前一个播放项目和当前播放项目用桥式序列(第一方法)连接的情况下的TS1和TS2。图2是表示使用桥式剪辑(第一方法)的情况下前一个播放项目(PI1)和当前播放项目(PI2)之间的关系模式的图。在图2中，在使用桥式剪辑的情况下将由播放器读出的流数据以阴影方式表示。DVR MPEG(活动图像专家组)2传输流(TS)由整数个线列单元(aligned unit)组成。线列单元具有6,144字节(2048×3字节)。一个线列单元包括32个源数据包并开始于源数据包的第一字节。
每个源数据包的长度为192字节。源数据包由4字节的TP_extra_header和188字节的传输包组成。TP_extra_header具有copy_premission_indicator和arrival_time_stamp。copy_premission_indicator是表示传输包的有效载荷的复制限制的整数。arrival_time_stamp(ATS)是表示AV流中对应的传输包到达解码器时的时间印记。基于构成AV流的每个源数据包的arrival_time_stamp的时间轴称为到达时基，并且它的时钟称为ATC(到达时间时钟)。
图2所示的TS1(第一复用流)由作为剪辑1(剪辑AV流)的阴影部分的流数据D1和作为在阴影桥式剪辑中的SPN_arrival_time_discontinuity之前的部分的流数据D2组成。SPN_arrival_time_discontinuity表示源数据包的地址，在该地址上桥式剪辑AV流文件中存在到达时基的不连续。
与剪辑1的阴影部分对应的TS1中的流数据D1是从解码与前一个播放项目的IN_time(图2中的IN_time1)对应的呈现单元所需的流地址到SPN_exit_from_previous_Clip涉及的源数据包的流数据。
作为有阴影的桥式剪辑的SPN_arrival_time_discontinuity之前的部分的TS1中的流数据D2是从桥式剪辑中的第一源数据包到
SPN_arrival_time_discontinuity涉及的源数据包紧接着前面的源数据包的流数据。
图2所示的TS2(第二复用流)由作为剪辑2(剪辑AV流)的阴影部分的数据流D4和作为有阴影的桥式剪辑中的SPN_arrival_time_discontinuity后面的一部分的流数据D3组成。
作为有阴影的桥式剪辑中的SPN_arrival_time_discontinuity后面的一部分的TS2中的流数据D3是从SPN_arrival_time_discontinuity涉及的源数据包到桥式剪辑的最后一个源数据包的流数据。
作为剪辑2的阴影部分的TS2中的流数据D4是从
SPN_enter_to_current_Clip涉及的源数据包到解码与当前播放项目的
OUT_time(图2中的OUT_time2)对应的呈现单元所需的流地址的流数据。
接着，描述在通过不使用桥式序列的第二方法互相连接前一个播放项目和当前播放项目的情况下的TS1和TS2。图3是表示通过不使用桥式序列的第二方法互相连接的前一个播放项目(PI1)和当前播放项目(PI2)之间的关系的模式的图。图3中，将由播放器读出的流数据以阴影方式示出。
图3所示的TS1(第一复用流)包括流数据D5，它是剪辑1(剪辑AV流)的阴影部分。作为剪辑1的阴影部分的TS1中的流数据D5是从解码与前一个播放项目的IN_time(图3中的IN_time)对应的呈现单元所需流地址到剪辑1的最后一个源数据包的数据。
图3所示的TS2(第二复用流)由流数据D6组成，它是剪辑2(剪辑AV流)的阴影部分。作为剪辑2的阴影部分的TS2中的流数据D6是从剪辑2的第一源数据包到解码与当前播放项目的OUT_time(图3中的OUT_time2)对应的呈现单元所需的流地址的流数据。
图2和3中，TS1和TS2构成数据流，其中源数据包是连续的。接着，说明TS1和TS2的流规则和它们之间的连接条件。
尽管TS1和TS2是通过复用视频和音频流获得的，这里将说明无缝连接编码限制中的视频比特流的限制。
图4是表示以画面呈现顺序，作为互相无缝连接的视频流的剪辑1和剪辑2的模式的图。当视频图像节目跳过一部分进行再现时，有必要在解码设备中执行视频流的再编码处理，从而无缝连接位于用作跳过再现的开始点的跳出点图像之前的出点一侧的节目和位于用作跳过再现的到达点的跳入时间图像之后的入点一侧的节目。
GOP(图像组)，根据MPEG规范的图像单元包括三种类型的编码后的图像：一个或多个I(内部)图像(帧内编码图像)，它们每个都是参考图像，其中已经编码了图像而不需要根据其他图像进行预测编码；P(预测)图像，它们每个都是通过用与呈现顺序相同的方向的预测编码对图像进行编码而获得的前向预测编码的图像；和B(双向)图像，它们每个都是通过使用前向和反向预测编码而获得的双向预测编码的图像。在图4中，剪辑1和剪辑2的每个标号表示呈现顺序，并且I、P、B或i、p、b表示图像类型。图4示出了连接剪辑1的B7和剪辑2的b4的情况。为了在连接点无缝地呈现视频流，位于OUT_time1(剪辑1的OUT_time)之后和IN_time2(剪辑2的IN_time)之前的不必要的图像必须通过编码连接点附近的剪辑的局部流的处理来消除。
图5(a)、5(b)和5(c)示出了一个例子，其中图4所示的视频流(剪辑1和剪辑2)使用桥式序列(第一方法)无缝连接。
SPN_arrival_time_discontinuity之前的桥式剪辑的视频流由包括图4所示的剪辑1的OUT_time1之前的图像的编码视频流组成。视频流连接到剪辑1的前一个视频流以后，两个视频流再次编码为符合MPEG2规范的一个连续的基本流。同样，SPN_arrival_time_discontinuity后的桥式剪辑的视频流由包括图4所示的剪辑2的IN_time2之后的图像的视频流组成。其解码能够正确开始的视频流连接到剪辑2的后续的视频流。在那之后，所连接的两个视频流再次编码为一个符合MPEG规范的连续的基本流。为了建立桥式剪辑，必须再次编码几个图像，并且其他图像能够通过复制原始剪辑来获得。
图5(a)表示按呈现顺序的图4所示的剪辑1。播放器从在前的剪辑1的P5的源数据包号(SPN_exit_from_previous_Clip)跳到图5(b)所示的桥式剪辑。在图2所示的桥式剪辑的D2中，即在与按照桥式序列的SPN_arrival_time_discontinuit之前的视频数据相对应的剪辑1的OUT_time1一侧的流数据中，包括直到B4的图像的数据d1由通过不做改变地复制剪辑1获得的数据组成，并且由正常情况下原始剪辑1的图像B6和B7组成的数据d2包括通过解码剪辑1为非压缩的图像数据并再次对它们编码而获得的P7和B6。而且，在图2所示的桥式剪辑的D3中，即在与按照桥式序列的SPN_arrival_time_discontinuit之后的视频数据相对应的剪辑2的IN_time2一侧的流数据中，原始剪辑2的图像b4、p5、p8、b6、b7成为通过一次解码剪辑2为非压缩的图像数据并再次编码它们而获得的新建立的数据(i0，p1，p4，b2，b3)。在跳到SPN_enter_to_current_Clip之前的数据d4通过不改变地复制剪辑2而获得。
图6示出了一个例子，其中图4所示的视频流(剪辑1和剪辑2)通过不使用桥式序列的第二方法无缝连接。在图6所示的剪辑1和剪辑2中，图像按照呈现顺序排列。即使在不使用桥式序列的情况下，连接点附近的流被一次解码为非压缩的数据并再次解码优化图像类型，这与图5所示的使用桥式序列的情况相同。也就是说，剪辑1的视频流包括直到与图4所示的OUT_time1相对应的图像的编码视频流，其中原始剪辑1的B6、B7再次编码为数据(P7，B6)d5，从而成为一个符合MPEG2规范的连续的基本流。同样，剪辑2的视频流包括与图4所示的剪辑2的IN_time2相对应的图像之后的编码视频流，其中原始剪辑2的b4、p5、p8、b6、b7再次编码为数据(i0，p1，p4，b2，b3)d6，从而成为一个符合MPEG2规范的连续的基本流。
接着，将说明TS1和TS2的复用流的编码限制。图7是用于解释音频呈现的重叠的图，并示出了TS1和TS2中的视频呈现单元VPU1和VPU2以及音频呈现单元APU1和APU2的模式。
如图7所示，TS1的音频流的最后一个音频帧A_end包括具有等于TS1的最后一个呈现图像的呈现结束时间(OUT_time1)的呈现时间的音频样本。TS2的音频流的第一个音频帧A_start包括具有等于TS2的第一呈现图像的呈现开始时间(IN_time2)的呈现时间的音频样本。因此，在TS1和TS2之间的连接点的音频呈现单元序列中不存在间隙，并且产生由不超过2个音频帧的音频呈现单元的长度确定的音频重叠。在连接点的TS是根据DVR-STD(数字视频记录-系统目标解码器)的DVR MPEG2 TS，这将在下文中说明。
DVR-STD是用于模拟产生并检查已经互相无缝连接的两个播放项目涉及的AV流中的解码处理的概念模式。图8示出了DVR-STD模式(DVRMPEG2传输流播放器模式)。
如图8所示，根据该实施例的信息处理设备(DVR MPEG2传输流播放器模式，下文中称为“播放器“)1包括从为了无缝再现而连接的TS读出传输包并输出它们的输出部分10和解码来自输出部分10的传输包的解码器(DVR-STD)20。如后面描述的，已经通过改变前述传统的DVR-STD的传输包输入定时和音频缓冲器的容量获得了解码器20。在输出部分10中，以读出速率RUD从读出部分(DVR驱动器)11读出的TS文件在读缓冲器12中缓存。源数据包以比特率RMAX从读缓冲器12读出到源拆包器13。RMAX是源数据包流的比特率。
脉冲振荡器(27MHz X-tal)14产生27MHz脉冲。到达时间时钟计数器15是计数27MHz频率脉冲的二进制计数器，并为源拆包器13提供Arrival_time_clock(i)，它是时刻t(i)到达时间时钟计数器的计数值。
如上所述，一个源数据包包括一个传输包和它的arrival_time_stamp。在当前源数据包的arrival_time_stamp等于arrival_time_clock(i)的LSB 30比特的值时，当前源数据包的传输包从源拆包器13输出。TS_recording_rate是TS的比特率。
图8所示的符号n、TBn、MBn、EBn、TBsys、Bsys、Rxn、Rbxn、Rxsys、Dn、Dsys、On和Pn(k)与ISO/IEC13818-1(MPEG2系统规范)的T-STD(由ISO/IEC 13818-1规定的传输流系统目标解码器)定义的那些相同。即如下所示。
n：基本流的索引号
TBn：基本流n的传输缓冲器
MBn(只在视频流中存在)：基本流n的复用缓冲器
Ebn：只在视频流中存在的基本流n的基本流缓冲器
TBsys：用于被解码的节目的系统信息的输入缓冲器
Bsys：用于被解码的节目的系统信息的系统目标解码器中的主缓冲器
Rxn：从TBn除去数据的传输率
Rbxn(只存在于视频流中)：从MBn除去PES包有效载荷的传输率
Rxsys：从TBsys除去数据的传输率
Dn：基本流n的解码器
Dsys：涉及被解码的节目的系统信息的解码器
On：视频流n的重新排序缓冲器
Pn(k)：基本流n的第k个呈现单元
接着，将描述解码器20的解码处理。首先，将描述单个DVR MPEG2 TS再现期间的解码处理。
在单个DVR MPEG2 TS再现期间，传输包输入到缓冲器TB1、TBn和TBsys的定时由源数据包的arrival_time_stamp确定。
TB1、MB1、EB1、TBn、Bn、TBsys和Bsys的缓存操作以与ISO/IEC 13818-1规定的T-STD中相同的方式规定。其解码和呈现操作也以在ISO/IEC13818-1规定的T-STD中相同的方式规定。
接着，将描述无缝连接的播放项目的再现期间的解码处理。图9是在特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间传输包的输入、解码和呈现的时序图。
这里，给出了无缝连接的播放项目涉及的两个AV流的描述。在后面的说明中，将说明如图2和图3所示的已经无缝连接的TS1和TS2的再现。也就是说，TS1是在前的流，TS2是当前流。TS1和TS2分割的各个包表示TS1和TS2的源数据包SP1和SP2。
在特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间，TS2到达时基的时间轴(图9中的ATC2)与TS1到达时基的时间轴(图9中的ATC1)不相同。而且TS2系统时基的时间轴(图9中的STC2)与TS1系统时基的时间轴(图9中的STC1)不相同。视频图像的呈现需要是无缝的。重叠可能在音频呈现单元的呈现时间中存在。
在本实施例的播放器1中，具有优化容量的音频缓冲器通过改变关于前述播放器101的随后两个点而获得，前述播放器101在日本专利申请公开号2000-175152，日本专利申请公开号2001-544118和日本专利申请公开号2002-158974中有说明。该说明从第一变化点开始。第一变化点是特定AV流(TS1)和与该AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间，直到最后一个包的TS1的包向解码器20的输入由它们的源数据包的arrival_time_stamp确定。
也就是说，如上所述，在传统的播放器101中，传输包以具有arrival_time_stamp的TS的最大比特率输入到缓冲器中，该arrival_time_stamp在TS1的最后的视频包已经输入到TB1的时刻T1和TS1的最后字节的输入已经完成的时刻T2之间被忽略，然而在本实施例中，T1和T2之间的源数据包的输入由TS1的源数据包的arrival_time_stamp确定，与时刻T1之前的情况一样。这消除了与传统上使用被忽略的源数据包的arrival_time_stamp以TS的最大比特率Rmax输入传输包所需的1秒时间相对应的附加缓冲器。
将参照图9说明在这种情况下对解码器20的输入定时。
(1)在时刻T1之前
在时刻T1之前，即，直到TS1的最后的视频包输入到解码器20完成，解码器20的缓冲器TB1、TBn或TBsys的输入定时都由TS1的源数据包SP1的arrival_time_stamp确定。
(2)从时刻T1到时刻T2
TS1的剩余的数据包向解码器20的输入定时也由TS1的源数据包SP1的arrival_time_stamp确定。当TS1的最后字节输入到缓冲器的时刻是时刻T2。
(3)时刻T2之后
在时刻T2，到达时间时钟计数器15复位到TS2的第一源数据包的arrival_time_stamp的值。对解码器20的缓冲器TB1、TBn或TBsys的输入定时由TS2的源数据包SP2的arrival_time_stamp确定。
即，在TS1的最后字节向解码器20的输入完成的时刻T2之前，解码器20的缓冲器TB1、TBn或TBsys的输入定时由TS1的源数据包SP1的arrival_time_stamp确定，并且在时刻T2之后由TS2的源数据包SP2的arrival_time_stamp确定。
接着，将说明视频呈现定时。视频呈现单元必须通过图2和3所示的前述连接点无缝地呈现。即，TS1的最后的视频数据(第一图像)和TS2的第一视频数据(第二图像)被无缝地再现。假定
STC1：TS1系统时基的时间轴
STC2：TS2系统时基的时间轴(正确地是，STC2从TS2的第一PCR(节目时钟参考)已经输入到T-STD的时刻开始)。
STC1和STC2之间的偏移值按照如下方式确定。
假定
PTS1end：在对应于TS1的最后的视频呈现单元的STC1上的PTS
PTS2start：在对应于TS2的第一个视频呈现单元的STC2上的PTS
Tpp：TS1的最后的视频呈现单元的呈现周期，
两个系统时基之间的偏移值STC_delta用以下的等式(6)表示。
STC_delta＝PTS1end+Tpp-PTS2start...(6)
接着，将说明音频呈现定时。音频呈现单元的呈现定时的重叠可以存在于TS1和TS2的连接点上，重叠从0到小于2个音频帧(参照图9的音频重叠)。播放器101必须选择一个音频样本并对连接点之后的具有校正后的时基的音频呈现单元的呈现再次同步。
下面说明当时间从TS1向与TS1无缝连接的TS2切换时，用于控制由播放器执行的解码器20的系统时间时钟的过程。
在时刻T5，呈现TS1的最后的音频呈现单元。系统时间时钟可以在时刻T2和T5之间重叠。在时刻T2和T5之间，解码器20从旧的时基值(STC1)向新的时基值(STC2)切换系统时间时钟。STC2的值能够用以下等式(7)表示。
STC2＝STC1-STC_delta...(7)
下面说明当时间从TS1向与TS1无缝连接的TS2切换时，TS1和TS2必须符合的编码条件。
假定
STC11 end：当TS1的最后的数据包的最后字节到达解码器20时，系统时基STC1上的STC的值
STC22 start：当TS2的第一数据包的第一个字节到达解码器20时，系统时基STC2上的STC的值
STC21 end：通过把STC11 end值转换为系统时基STC2上的值而获得的值。
在这种情况下，STC21 end用以下的等式(8)表示。
STC21 end＝STC11 end-STC_delta...(8)
为了解码器20与DVR-STD兼容必须符合以下两个条件。
(条件1)
TS2的第一数据包到达解码器20的定时必须符合以下的不等式(9)。
STC22 start＞STC21 end...(9)
剪辑1和/或剪辑2的部分数据流需要再次编码和/或再次复用，从而符合以上的不等式(9)。
(条件2)
在通过把STC1和STC2转换为互相相同的时间轴而获得的系统时基的时间轴上，来自TS1的视频包和来自TS2的随后的视频包的输入不应当使视频缓冲器上溢和下溢。而且，在通过把STC1和STC2转换到互相相同的时间轴而获得的系统时基的时间轴上，来自TS1的数据包和来自TS2的随后的数据包的输入不应当使解码器20的所有缓冲器上溢和下溢。
图10是在特定的AV流(TS1)和与AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间，传输包的输入、解码和呈现的时序图的另一个例子。在这种情况下，直到TS1的最后一个数据包的数据包向解码器20的输入定时也由它们的源数据包的arrival_time_stamp确定。与图9所示的时序图不同的一点在于提供预定的时间间隔(增量delta1：时刻T2和T2’之间的间隔)，如图10所示，从而消除了对TS1的最后一个数据包之后立即输入TS2的第一个数据包的需要。结果，TS2的第一个数据包的输入定时的确定比图9的情况更灵活，这使得更容易编码TS2。
将参照图10描述在这种情况下解码器20的输入定时。
(1)时刻T2之前
在时刻T2之前，即，直到TS1的最后的数据包的最后字节向解码器20的输入完成，向解码器20的缓冲器TB1、TBn或TBsys的输入定时都由TS1的源数据包SP1的arrival_time_stamp确定。
(2)时刻T2’之后
当时间通过时刻T2和增量delta1到达时间T2’时，到达时间时钟计数器15复位到TS2的第一源数据包的arrival_time_stamp值。解码器20的缓冲器TB1、TBn或TBsys的输入定时由TS2的源数据包SP2的arrival_time_stamp确定。
在增量delta1如图10所示提供的情况下，前述的STC22 start和STC21 end必须符合以下关系表达式(10)。
STC22 start＞STC21 end+delta1...(10)
图11是在特定的AV流(TS1)和与AV流(TS1)无缝连接的下一个AV流(TS2)之间切换期间，传输包的输入、解码和呈现的时序图的另一个例子。还在这种情况下，直到TS1的最后一个数据包的数据包向解码器20的输入定时也由它们的源数据包的arrival_time_stamp确定。与图10所示的时序图不同的一点在于提供预定的时间间隔(ATC_delta：时刻T2和T2’之间的间隔)，如图11所示。结果，TS2的第一个数据包的输入定时的确定比图9的情况更灵活，这使得更容易编码TS2。
将参照图11描述在这种情况下解码器20的输入定时。
(1)时刻T2之前
在时刻T2之前，即，直到TS1的最后的数据包的最后字节向解码器20的输入完成，向解码器20的缓冲器TB1、TBn或TBsys的输入定时由TS1的源数据包SP1的arrival_time_stamp确定。
(2)从时刻T2到时刻T2’
时刻T2’是TS2的第一数据包输入到解码器20的时刻。ATC_delta是从TS1的最后的数据包的arrival_time_stamp(ATC1的时刻)到在ATC1上投影的时刻T2’的偏移时间。
(3)时刻T2’之后
在时刻T2’，到达时间时钟计数器15复位到TS2的第一源数据包的arrival_time_stamp的值。解码器20的缓冲器TB1、TBn或TBsys的输入定时由TS2的源数据包SP2的arrival_time_stamp确定。
这样确定ATC_delta的值以使得满足上述等式(6)的STC_delta。
ATC_delta的值作为流数据的附属信息进行管理。当TS1和TS2如图11所示互相无缝连接时，ATC_delta的值作为TS1的附属信息进行管理。
图12示出了用于存储ATC_delta的附属信息ClipInfo()的数据格式。
在图12中，is_ATC_delta是表示ClipInfo()是否具有ATC_delta的值的标记。多个值能够在ClipInfo()中寄存以允许如图13所示多个TS2连接到TS1。当is_ATC_delta标记是1时，number_of_ATC_delta_entries表示已经在ClipInfo()中寄存的ATC_delta的数量。
而且，在图12中，following_Clip_Information_file_name是将连接到TS1的TS2的流的名字。当存在多个对应于following_Clip_Information_file_name的TS2时，对应于各个TS2的ATC_delta的值寄存在ClipInfo()中。
当TS1和TS2输入到图8中的DVR-STD模式时，输入其复用流和它们的附属信息ClipInfo()。ClipInfo()包括上述的ATC_delta的信息，它用如上所述的在TS1和TS2之间切换的DVR-STD模式的控制器(图8中未示出)以预定的方法处理。
第二个变化点是解码器20的大小改变为满足以下条件的足够大的大小。条件是在TS1和与TS1无缝连接的TS2之间切换期间，TS1的最后的传输包的输入已经完成之后，首先在TS2中将被解码的图像(I图像)能够按照其中的解码定时输入到视频缓冲器。
符合以上条件需要的音频缓冲器的容量的最大值如下所示。即，需要能够存储具有与“按照其解码定时足够输入I图像的最大比特量到视频缓冲器的时间”相对应的长度的音频数据量的大小。音频缓冲器需要的最大值EBn_max能够用以下等式(11)表示。
EBn_max＝(I_max/Rv)*Ra[比特]...(11)
其中，I_max是I图像的最大比特量，它对应于图8所示的视频编码缓冲器EB1的大小，Rv是对视频编码缓冲器EB1的输入比特率，以及Ra是音频流的比特率。如以上等式(11)所示，将要计算的音频缓冲器的大小EBn_max是通过将对视频基本流缓冲器(EB1)以输入比特率把视频编码缓冲器EB1的缓冲器占用量从0增加到I_max所需的时间乘以Ra而获得的值。
作为具体值，推荐能够存储对应于至少100毫秒的音频数据的缓冲器大小。原因如下。即，当每0.5秒编码I图像时，I图像的比特大小通常是编码比特率的10％或更少。假定编码比特率是例如10Mbps，I图像的大小通常是1M比特或更小。
因此，作为第一个原因，用至少100毫秒，I图像能够按照其解码定时输入到解码器20的视频缓冲器。而且，作为第二个原因，如果解码器20的音频缓冲器能够存储对应于100毫秒的音频数据，有可能复用TS1，以便音频数据向音频缓冲器的输入比音频数据的再现定时早100毫秒完成。因此，当音频缓冲器具有能够存储至少对应于100毫秒的音频数据的缓存大小时，基于以上的第一和第二原因，能在TS1和与TS1无缝连接的TS2之间切换期间，TS1的最后的传输包输入完成之后，确保作为直到在TS2中首先将解码的图像(I图像)的输入已经完成的时间的至少100毫秒。
能够存储对应于100毫秒的音频数据的音频缓冲器的容量具体如下计算。
在640kbps的杜比AC3音频流的情况下：640kbps×0.1秒＝64k比特＝8k字节
在线性PCM音频流的情况下(24比特样本，96KHz取样频率，8信道)：(24比特样本×96,000采样/秒×8信道)×0.1秒＝230,400字节
下面将参照图14和15详细说明，以上描述的象本实施例的解码器20那样，通过改变DVR-STD的音频缓冲器的大小为“能够存储与按照其解码定时足够把首先在TS2中将要解码的图像(I图像)输入到视频缓冲器的时间相对应的音频数据量的大小”而获得的优点。
这里，将把具有640kbps的比特率和48kHz的取样频率的AC3音频流作为例子来解释。AC3音频流的一个音频帧的样本数是1,536。因此，一个音频帧的时间长度是32毫秒。一个音频帧的字节大小是2,560字节。
图14(a)和14(b)是表示在传统的DVR-STD中具有4k字节缓冲器大小的音频缓冲器的情况下，在TS1和与TS1无缝连接的TS2之间切换期间，DVR-STD的视频缓冲器和音频缓冲器的比特占用量上的变化的例子的图。在图14(a)和14(b)中，虚线表示TS1的视频/音频数据的缓冲器变化，实现表示TS2的视频/音频数据的缓冲器变化。
4k字节的音频缓冲器能够存储对应于50毫秒的音频数据。因此，在作为TS1的最后一个音频包的最后一个字节到达DVR-STD的时刻的STC11 audio_end，能复用TS1以便音频数据的输入比其再现定时早50毫秒完成。但是，50毫秒不足以按照其解码定时把首先在TS2中将要解码的图像(I图像)输入到视频缓冲器。这时，编码受到限制，从而降低首先在TS2中将要解码的图像(I图像)的大小，这使图像质量恶化。
因为4k字节的音频缓冲器能够将音频数据向前移动50毫秒，图14(a)和14(b)所示的起动延迟t1变为至多50毫秒那么小，t1是输入TS2的第一I图像到视频缓冲器的时间。因此，能使用足够的时间输入TS2的第一I图像，降低I图像大小S1，结果I图像的图像质量由于编码的限制而恶化。如上所述，有必要除了4k字节之外提供对应于1秒的附加缓冲器并在T1和T2之间以TS的最大速率RMAX输入I图像，从而增加起动延迟。这里，对具有640kbps比特率的AC3音频流给出了说明。但是，如上所述，对应于1秒的附加缓冲器对于多信道LPCM音频是很大的。
为了处理该问题，DVR-STD的音频缓冲器大小改变为例如象本发明的解码器20的8k字节。图15(a)和15(b)每个表示优化音频缓冲器容量的一个例子。更特别的是，图15(a)和15(b)示出在音频缓冲器是8k字节的情况下，在TS1和无缝连接到TS1的TS2之间切换期间，本发明的DVR-STD的视频和音频缓冲器的比特占用量中的变化的图。在图15(a)和15(b)中，虚线表示TS1的视频/音频数据的缓冲器变化，实线表示TS2的视频/音频数据的缓冲器变化。
8k字节的音频缓冲器能够存储对应于100毫秒的音频数据。因此，在STC11 audio_end，它是TS1的最后一个音频包的最后一个字节到达DVR-STD的时刻，有可能复用TS1，以便音频数据的输入比其再现定时早100毫秒完成。使用至少100毫秒，首先在TS2中将要解码的图像(I图像)能够更容易在其解码定时输入到视频缓冲器。也就是说，能用足够的时间(起动延迟)t2输入TS2中的第一个I图像，这能够增加首先在TS2中将要解码的图像(I图像)的大小S2。因此，I图像的图像质量能够由于较低的编码限制而增加。
而且，在图8所示的播放器模式1中，TS能够看作在复用器(信息处理设备)中产生并记录，TS由每个具有传输包和到达时间印记的多个源数据包组成的数据流组成，并TS由解码器基于到达时间印记读出并解码。
按照例如参照图4到6所描述的，复用器包括：视频编码部分，产生再编码的剪辑1(第一视频编码流)以在一预定图像结束呈现和在该图像之后立即呈现并再编码以开始呈现的剪辑2(第二视频编码流)；复用部分，复用剪辑1和与剪辑1同步的音频编码流以产生TS1并复用剪辑2和与剪辑2同步的音频编码流以产生TS2；和记录由TS1和TS2组成的复用流的记录部分。在复用部分中，TS1和TS2这样被复用，以便音频数据向解码器20的输入能够在I图像向解码器20输入开始时完成，该音频数据对应于输入I图像，即向解码器20的视频缓冲器输入第二图像的时间。注意，如图5所示，能在编码部分产生桥式剪辑并在复用部分产生与TS1和TS2一起的复用桥式剪辑。
在用于记录上述复用器产生的复用流的记录介质上记录的是由在第一图像结束的TS1和从跟随着第一图像再现的第二图像开始的TS1组成的复用流，其中TS1和TS2能够根据它们的到达时间印记输入到解码器20，并且TS1和TS2能够这样被复用，以便能够在第二图像，即输入到解码器20的TS2的第一图像输入开始时完成音频数据向解码器的输入，音频数据对应于输入第二图像到解码器20所需的时间。
在上述配置的本发明中，当再现互相无缝连接的TS1和TS2时，根据其从向解码器20的TB1输入TS1的最后一个视频包完成的时刻至到TS1剩余的数据包输入到解码器20的时刻的到达时间印记执行传输包的输入，并且音频缓冲器的大小从传统DVR-STD中的4k字节变化到能够存储具有与在其解码定时输入I图像的最大比特量到视频缓冲器所需时间相对应的长度的音频数据的数据量的大小。结果，能足以确保从TS1的最后一个数据包输入完成的时刻到在其解码定时完成作为TS2的第一图像的I图像输入的时刻所需时间(启动延迟)。因此，I图像的图像质量能够由于较低的编码限制而增加。
而且，在使用附加缓冲器的方法中，如传统上一样，当TS中的音频数据假定为例如多信道LPCM音频数据时，需要具有极大容量的附加缓冲器。然而，在本实施例中，能通过改变上述音频缓冲器的容量并通过根据到达时间印记输入传输包来消除对传统方法中不可缺少的附加缓冲器的需要。
本发明不限于以上参照附图描述的实施例，并且对本领域技术人员来说，很明显在不脱离这里随附的权利要求和本发明的精神和范围的条件下能够作出各种修改、替换或等效物。
产业上的可利用性
根据上述本发明，能编辑由视频和具有视频帧精度的音频流组成的复用流并以无缝的方式再现它，并除去对应于1秒的附加缓冲器，比以前更加降低解码器所需的缓存量，1秒是使用被忽略的源数据包的arrival_time_stamp以TS的最大比特率输入传输包所需的时间。而且，能改变音频缓冲器的大小到能够缓存具有与输入第二图像到视频缓冲器所需的时间相对应的长度的音频数据的大小，以便第二图像的图像质量能够由于较低的编码限制而增加。

Claims (22)

1、一种信息处理设备，它解码包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，其中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，从而无缝再现，该信息处理设备包括：
输出装置，用于根据复用流的到达时间印记输出源数据包；
视频缓冲器，用于缓存包括在源数据包中的视频数据；
音频缓冲器，用于缓存包括在源数据包中的音频数据；
视频解码装置，用于解码在视频缓冲器中缓存的视频数据；和
音频解码装置，用于解码在音频缓冲器中缓存的音频数据，其中
音频缓冲器具有能够缓存与输入第二图像到视频缓冲器所需时间对应的音频数据的容量。
2、根据权利要求1的信息处理设备，其中满足EBn_max＝(I_max/Rv)×Ra，其中EBn_max比特是音频缓冲器所需的容量；I_max比特是第二图像的比特量，Rv比特/秒是对视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
3、根据权利要求1的信息处理设备，其中第二图像是帧内编码图像。
4、根据权利要求1的信息处理设备，其中音频缓冲器具有能够缓存对应于100毫秒的音频数据的容量。
5、根据权利要求1的信息处理设备，其中复用流满足STC22 start＞STC21 end，其中STC_delta是在第一复用流的时间轴上的第一图像的呈现结束时间和在第二复用流的时间轴上的第二图像的呈现开始时间之间的时间差，STC21 end(＝STC11 end-STC_delta)是通过使用时间差STC_delta转换STC11 end到第二复用流的时间轴上的值而获得的值，STC11 end是在第一复用流的最后的源数据包的最后字节从输出装置输出时的第一复用流的时间轴上的值，并且STC22 start是在第二复用流的第一个源数据包的第一字节从输出装置输出时的第二复用流的时间轴上的值。
6、根据权利要求1的信息处理设备，其中复用流满足STC22 start＞STC21 end+delta1，其中STC_delta是第一复用流的时间轴上的第一图像的呈现结束时间和第二复用流的时间轴上的第二图像的呈现开始时间之间的时间差，STC21 end(＝STC11 end-STC_delta)是通过使用时间差STC_delta转换STC11 end到第二复用流的时间轴上的值而获得的值，STC11 end是在第一复用流的最后的源数据包的最后字节从输出装置输出时的第一复用流的时间轴上的值，并且STC22 start是在第二复用流的第一个源数据包的第一字节从输出装置输出时的第二复用流的时间轴上的值，其中在第一复用流的最后的源数据包从输出装置输出后经过预定时间增量delta1之后，第二复用流的第一源数据包从输出装置输出。
7、根据权利要求1的信息处理设备，其中
假定STC_delta是第一复用流的时间轴上的第一图像的呈现结束时间和第二复用流的时间轴上的第二图像的呈现开始时间之间的时间差，并且在第一复用流的最后一个源数据包输出开始后经过预定时间ATC_delta后，第二复用流的第一个源数据包从输出装置输出，
预定时间ATC_delta这样确定，使得满足时间差STC_delta，并且这样形成复用流使得满足时间差STC_delta。
8、根据权利要求7的信息处理设备，其中预定的时间ATC_delta作为第一复用流的附属信息管理。
9、根据权利要求1的信息处理设备，其中包括在第一和第二复用流中的音频数据是多信道音频数据。
10.一种信息处理方法，解码包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，并且其中作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，该信息处理方法包括：
根据复用流的到达时间印记输出源数据包的步骤；
缓存分别在视频和音频缓冲器中的源数据包中包含的视频和音频数据的步骤；和
对视频和音频缓冲器中缓存的视频和音频数据解码的步骤，其中
在缓存步骤中，在第二图像被缓存在视频缓冲器中之前，与输入第二图像到视频缓冲器所需时间对应的音频数据被缓存在音频缓冲器中。
11、根据权利要求10的信息处理方法，其中满足EBn_max＝(I_max/Rv)×Ra，其中EBn_max比特是音频缓冲器所需的容量；I_max比特是第二图像的比特量，Rv比特/秒是对视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
12、一种程序，允许计算机解码包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，并且其中作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，所述程序包括：
根据复用流的到达时间印记输出源数据包的步骤；
缓存分别在视频和音频缓冲器中的源数据包中包含的视频和音频数据的步骤；和
对视频和音频缓冲器中缓存的视频和音频数据解码的步骤，其中
在缓存步骤中，在第二图像被缓存在视频缓冲器中之前，与输入第二图像到视频缓冲器所需时间对应的音频数据被缓存在音频缓冲器中。
13、根据权利要求12的程序，其中
满足EBn_max＝(I_max/Rv)×Ra，其中EBn_max比特是音频缓冲器所需的容量；I_max比特是第二图像的比特量，Rv比特/秒是对视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
14、一种记录程序的计算机可读记录介质，所述程序允许计算机解码包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，并且其中作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，包括：
根据复用流的到达时间印记输出源数据包的步骤；
缓存分别在视频和音频缓冲器中的源数据包中包含的视频和音频数据的步骤；和
对视频和音频缓冲器中缓存的视频和音频数据解码的步骤，其中
在缓存步骤中，在第二图像被缓存在视频缓冲器中之前，与输入第二图像到视频缓冲器所需时间对应的音频数据被缓存在音频缓冲器中。
15、根据权利要求14的记录介质，其中
满足EBn_max＝(I_max/Rv)×Ra，其中EBn_max比特是音频缓冲器所需的容量；I_max比特是第二图像的比特量，Rv比特/秒是对视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
16、一种记录介质，它记录包括由每个具有传输包及其达到时间印记的多个源数据包组成的数据流的复用流，其中
复用流这样形成，使得作为第二复用流的第一个图像的第二图像与作为第一复用流的最后一个图像的第一图像连接，从而无缝再现，第一和第二复用流能够根据它们各自的到达时间印记输入到解码器，并且与输入第二图像到解码器所需时间对应的音频数据的输入能够在第二图像向解码器的输入开始时完成。
17、根据权利要求16的记录介质，其中
在与输入第二图像到解码器所需的时间对应的音频数据中满足(I_max/Rv)×Ra，其中I_max比特是第二图像的比特量，Rv比特/秒是对解码器的视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
18、根据权利要求16的记录介质，其中第二图像是帧内编码图像。
19、一种信息处理设备，产生包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，并且它由解码器基于到达时间印记读出并解码，该信息处理设备包括：
视频编码装置，用于产生第一视频编码流以结束第一图像的呈现和产生第二视频编码流，使得在第一图像之后立即开始将要呈现的第二图像的呈现；和
复用装置，用于复用第一视频编码流和与第一视频编码流同步的音频编码流，以产生第一复用流，复用第二视频编码流和与第二视频编码流同步的音频编码流，以产生第二复用流；并产生复用流，在该复用流中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，以便无缝再现，其中
复用装置进行复用，使得与输入第二图像到解码器所需的时间对应的音频数据的输入能够在第二图像向解码器输入开始时完成。
20、根据权利要求19的信息处理设备，其中
在与输入第二图像到解码器所需的时间对应的音频数据中满足(I_max/Rv)×Ra，其中I_max比特是第二图像的比特量，Rv比特/秒是对解码器的视频缓冲器的输入比特率，并且Ra比特/秒是音频数据的比特率。
21、根据权利要求19的信息处理设备，其中第二图像是帧内编码图像。
22、一种信息处理方法，产生包括由每个具有传输包及其到达时间印记的多个源数据包组成的数据流的复用流，并且它由解码器基于到达时间印记读出并解码，该信息处理方法包括：
产生步骤，产生第一视频编码流以结束第一图像的呈现和产生第二视频编码流使得在第一图像之后立即开始将要呈现的第二图像的呈现；和
复用步骤，复用第一视频编码流和与第一视频编码流同步的音频编码流，以产生第一复用流，复用第二视频编码流和与第二视频编码流同步的音频编码流以产生第二复用流，并产生一个复用流，该复用流中作为第二复用流的第一个图像的第二图像连接到作为第一复用流的最后一个图像的第一图像，以便无缝再现，其中
在复用步骤中这样执行复用，使得与输入第二图像到解码器所需的时间对应的音频数据的输入能够在第二图像向解码器输入开始时完成。
CNB2004800004774A 2003-05-08 2004-04-22 信息处理装置、信息处理方法 Expired - Lifetime CN100380959C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003130661A JP4902935B2 (ja) 2003-05-08 2003-05-08 情報処理装置、情報処理方法、プログラム、及び記録媒体
JP130661/2003 2003-05-08

Publications (2)

Publication Number Publication Date
CN1698374A true CN1698374A (zh) 2005-11-16
CN100380959C CN100380959C (zh) 2008-04-09

Family

ID=33432113

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800004774A Expired - Lifetime CN100380959C (zh) 2003-05-08 2004-04-22 信息处理装置、信息处理方法

Country Status (7)

Country Link
US (1) US8086087B2 (zh)
EP (1) EP1515553B1 (zh)
JP (1) JP4902935B2 (zh)
KR (1) KR100975175B1 (zh)
CN (1) CN100380959C (zh)
TW (1) TWI246330B (zh)
WO (1) WO2004100545A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101981926B (zh) * 2008-05-13 2014-02-26 三星电子株式会社 数字广播发送器、数字广播接收器及其方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070226432A1 (en) * 2006-01-18 2007-09-27 Rix Jeffrey A Devices, systems and methods for creating and managing media clips
KR100788685B1 (ko) * 2006-03-10 2007-12-26 삼성전자주식회사 데이터 스트림 포맷의 변환 방법 및 장치, 이를 이용한데이터 스트림 기록 방법 및 장치
JP4719250B2 (ja) * 2008-06-20 2011-07-06 株式会社ソニー・コンピュータエンタテインメント 画面記録装置、画面記録方法、画面記録プログラム及び情報記憶媒体
US8817725B2 (en) * 2012-01-13 2014-08-26 Blackberry Limited Scheduling transmission of traffic treated less preferentially despite timing requirements
US9281011B2 (en) * 2012-06-13 2016-03-08 Sonic Ip, Inc. System and methods for encoding live multimedia content with synchronized audio data
US10231001B2 (en) 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10148722B2 (en) * 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
KR102090070B1 (ko) * 2018-10-31 2020-03-17 카테노이드 주식회사 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
JP6992104B2 (ja) * 2020-02-26 2022-01-13 株式会社Ｊストリーム コンテンツ編集装置、コンテンツ編集方法およびコンテンツ編集プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9424429D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Audio/video timing discrepancy management
JP4006840B2 (ja) * 1998-08-10 2007-11-14 ソニー株式会社 システムターゲットデコーダのオーディオバッファ、多重化方法および装置、再生方法および装置
MY120755A (en) * 1995-09-29 2005-11-30 Matsushita Electric Ind Co Ltd A method and an apparatus for interleaving bitstream to record thereof on a recording medium, and reproducing the interleaved bitstream therefrom
US6181383B1 (en) * 1996-05-29 2001-01-30 Sarnoff Corporation Method and apparatus for preserving synchronization of audio and video presentation when splicing transport streams
GB9813831D0 (en) * 1998-06-27 1998-08-26 Philips Electronics Nv Frame-accurate editing of encoded A/V sequences
EP0971542A3 (en) * 1998-07-10 2001-08-01 Tektronix, Inc. Readjustment of bit rates when switching between compressed video streams
JP3918332B2 (ja) * 1998-12-04 2007-05-23 ソニー株式会社 多重化装置、多重化方法及び記録媒体
KR100657237B1 (ko) * 1998-12-16 2006-12-18 삼성전자주식회사 데이터열간의 연속 재생을 보장하기 위한 부가 정보 생성 방법
JP4487374B2 (ja) 1999-06-01 2010-06-23 ソニー株式会社 符号化装置及び符号化方法並びに多重化装置及び多重化方法
US6507592B1 (en) * 1999-07-08 2003-01-14 Cisco Cable Products And Solutions A/S (Av) Apparatus and a method for two-way data communication
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
US6678332B1 (en) * 2000-01-04 2004-01-13 Emc Corporation Seamless splicing of encoded MPEG video and audio
GB0007868D0 (en) * 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
WO2001082610A1 (en) * 2000-04-21 2001-11-01 Sony Corporation Information processing apparatus and method, program, and recorded medium
JP4355988B2 (ja) * 2000-04-21 2009-11-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム記録媒体、プログラム、および情報記録媒体
JP4599740B2 (ja) * 2000-04-21 2010-12-15 ソニー株式会社 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP4517267B2 (ja) * 2000-04-21 2010-08-04 ソニー株式会社 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体
JP4682434B2 (ja) * 2000-04-21 2011-05-11 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
EP1164796B1 (en) * 2000-06-14 2006-12-20 Eads Astrium Sas Process and system for video on demand
AU2002332645A1 (en) * 2001-08-22 2003-03-10 Gary Alfred Demos Method and apparatus for providing computer-compatible fully synchronized audio/video information
JP2003130661A (ja) 2001-10-24 2003-05-08 Matsushita Electric Ind Co Ltd ナビゲーション装置
ATE292873T1 (de) * 2001-11-30 2005-04-15 Matsushita Electric Ind Co Ltd Verfahren und vorrichtung zur stream-umsetzung, verfahren und vorrichtung zur datenaufzeichnung und datenaufzeichnungsmedium
WO2004019530A1 (en) * 2002-02-15 2004-03-04 Visible World, Inc. System and method for seamless switching through buffering

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101981926B (zh) * 2008-05-13 2014-02-26 三星电子株式会社 数字广播发送器、数字广播接收器及其方法

Also Published As

Publication number Publication date
TW200425740A (en) 2004-11-16
US8086087B2 (en) 2011-12-27
JP2004336488A (ja) 2004-11-25
US20050249202A1 (en) 2005-11-10
JP4902935B2 (ja) 2012-03-21
TWI246330B (en) 2005-12-21
EP1515553B1 (en) 2015-06-03
CN100380959C (zh) 2008-04-09
EP1515553A1 (en) 2005-03-16
WO2004100545A1 (ja) 2004-11-18
KR100975175B1 (ko) 2010-08-10
KR20060009807A (ko) 2006-02-01
EP1515553A4 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
CN1122273C (zh) 数据译码系统和方法、传送/接收装置和方法及重放设备
CN1245022C (zh) 数据处理方法/设备和数据再生方法/设备
CN1223196C (zh) 解码器、解码方法
CN1186937C (zh) 编码设备和方法、多路复用设备和方法
CN1125543C (zh) 数字信号的多路复用方法和设备以及数字信号的记录介质
CN1161989C (zh) 编辑装置、编辑方法、接续装置、接续方法、编码装置和编码方法
CN1152569C (zh) 产生多路数据、再生编码数据及时钟转换的装置和方法
CN1148955C (zh) 编码数据流接合设备和方法及编码数据流生成设备和方法
CN1174607C (zh) 图像编码装置和方法、图像解码装置和方法、记录载体
CN101052127A (zh) 信息处理装置、信息处理方法、记录介质和程序
CN1992869A (zh) 重放设备、重放方法以及重放程序
CN1299502C (zh) 解码设备和解码方法
CN1951113A (zh) 流产生装置、流产生方法、编码装置、编码方法、记录介质及其程序
CN1252204A (zh) 光盘和计算机可读存储介质及其记录方法和设备
CN1950907A (zh) 运动画面流产生装置，运动画面编码装置，运动画面多路复用装置和运动画面解码装置
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1685720A (zh) 信息处理设备和方法、程序存储媒体、记录媒体和程序
CN1691769A (zh) 可变帧速率记录的视频记录设备、复用及画面编码方法
CN1516963A (zh) 数据记录装置、数据记录方法、程序存储介质以及程序
CN1860784A (zh) 记录设备和方法、再现设备和方法、记录介质及程序
CN1428781A (zh) 产生要记录的信息信号的方法和设备
CN1788496A (zh) 图像处理设备和方法、信息处理设备和方法、信息记录设备和方法、信息再现设备和方法、信息存储介质、以及程序
CN1698374A (zh) 信息处理装置、信息处理方法、程序和记录介质
CN1832579A (zh) 复用装置、复用方法、程序和记录介质
CN1249629A (zh) 信息记录系统和信息记录方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Sony Corp.

Address before: Tokyo, Japan

Patentee before: Sony Corp.

EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20051116

Assignee: TONLY ELECTRONICS HOLDINGS Ltd.

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2014990000240

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20140423

Application publication date: 20051116

Assignee: Shenzhen Maxmade Technology Co.,Ltd.

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2014990000239

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20140423

Application publication date: 20051116

Assignee: CHINA HUALU GROUP Co.,Ltd.

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2014990000238

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20140423

Application publication date: 20051116

Assignee: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2014990000237

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20140423

Application publication date: 20051116

Assignee: GUANGZHOU PANYU JUDA CAR AUDIO EQUIPMENT Co.,Ltd.

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2014990000233

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20140422

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20051116

Assignee: Dongguan de video technology Co.,Ltd. Kit

Assignor: Blue light United Co.,Ltd.

Contract record no.: 2016990000233

Denomination of invention: Information processing device, information processing method, and recording medium

Granted publication date: 20080409

License type: Common License

Record date: 20160614

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
CX01 Expiry of patent term

Granted publication date: 20080409

CX01 Expiry of patent term