CN101543072B - 数据复用/分离装置 - Google Patents

数据复用/分离装置 Download PDF

Info

Publication number
CN101543072B
CN101543072B CN2008800006123A CN200880000612A CN101543072B CN 101543072 B CN101543072 B CN 101543072B CN 2008800006123 A CN2008800006123 A CN 2008800006123A CN 200880000612 A CN200880000612 A CN 200880000612A CN 101543072 B CN101543072 B CN 101543072B
Authority
CN
China
Prior art keywords
mentioned
buffer sizes
information
stream
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008800006123A
Other languages
English (en)
Other versions
CN101543072A (zh
Inventor
山影朋夫
古藤晋一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101543072A publication Critical patent/CN101543072A/zh
Application granted granted Critical
Publication of CN101543072B publication Critical patent/CN101543072B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440209—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for formatting on an optical medium, e.g. DVD
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10675—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control
    • G11B2020/10722—Data buffering arrangements, e.g. recording or playback buffers aspects of buffer control wherein the size of the buffer is variable, e.g. by adding additional memory cells for coping with input streams that have high bit rates

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本发明提供一种数据复用/分离装置。在MPEG-2 Systems的扩展的节目流中包含的系统头的生成中，在基本流ID是扩展ID并且基本缓冲尺寸信息表示0字节的情况下，生成并记录利用包括扩展ID、标记位以及扩展流ID的合计24位、和扩展ID、标记位、扩展缓冲界限尺度信息以及扩展缓冲尺寸界限信息这合计24位表现的、使用扩展ID和扩展流ID的对进行复用的基础流的再现中所需扩展缓冲尺寸信息。

Description

数据复用/分离装置
技术领域
本发明涉及用于可以同步地再现视频数据、音频数据以及元数据的数据复用方法以及装置和数据分离方法以及装置。
背景技术
为了同步地再现视频数据、音频数据以及元数据，关于对这些数据的基础流(elementary stream)进行复用的方法，MPEG-2Systems(ISO/IEC 13818-1)被制定成国际标准方式(ITU-T Rec.H.222.0(2000)|ISO/IEC 13818-1：2000(MPEG-2Systems))。在最初的MPEG-2 Systems规格中，嵌入了对通过作为MPEG规格族的MPEG-1、MPEG-2以及MPEG-4等运动图像编码方式编码的视频编码数据、音频编码数据以及用户私有地定义的数据进行复用的组件。之后，关于MPEG-2 Systems规格，进行了支持元数据的复用这样的规格扩展(ITU-T Rec.H.222.0(2000)/Amd.2(06/2003)|ISO/IEC 13818-1：2000/Amd.2：2004)。
在MPEG-2 Systems规格中，定义了传输流(TS)和节目流(PS)(program stream)这两种复用格式。TS是在广播中活用的形式，节目流是在DVD中活用的形式。节目流包括多个被称为封装(pack)的单位。封装包括1个封装头和大于等于0个的PES分组。封装头包括1个封装头主体和0个或1个系统头，该封装包括所接收的时刻信息。PES分组包括1个PES头和大于等于0字节的PES有效载荷。在PES有效载荷中，按照恰当的尺寸分割而记录有视频数据、音频数据以及元数据等要素(基础流)。在PES头中，记录有作为用于分类包含在PES有效载荷中的数据的标识符的流ID，通过连结同一ID的PES有效载荷，可以从所分割的基础流中得到1个连续的基础流。进而，在PES头中，包含在PES有效载荷中的数据包括视频的图片(picture)、音频的帧的接缝的情况下，可以以从用封装头中的接收时刻信息表示的接收时刻起的相对时刻，记录接下来开始的图片、帧的再现以及显示时刻。
系统头包括与该节目流的系统特征相关的信息。例如，以使流ID与缓冲尺寸成对的形式，记录某流ID的基础流的生成以及再现中所需缓冲尺寸信息。
在ITU-T Rec.H.222.0(2000)/Amd.2(06/2003)|ISO/IEC 13818-1：2000/Amd.2：2004公开的、用于元数据复用的MPEG-2 Systems规格的扩展中，在PES头中使用的流ID中新定义扩展ID(extended_stream_id＝0xFD)这样的值，以可以识别多个元数据，在扩展ID的情况下，可以新使用被称为扩展流ID(stream_id_extension)的7位的值来识别128种类的基础流。
但是，在基于ITU-T Rec.H.222.0(2000)/Amd.2(06/2003)|ISO/IEC 13818-1：2000/Amd.2：2004公开的手法的MPEG-2Systems的扩展中，系统头中的扩展流ID每个的缓冲尺寸信息(扩展缓冲尺寸信息)的记录手段未被扩展，未能提供针对每个扩展流ID记录扩展缓冲尺寸信息的手段。因此，现状为针对扩展ID仅可以一并地记录缓冲尺寸信息，而期望追加扩展用于提供针对每个扩展流ID记录扩展缓冲尺寸信息的手段的规格。
另一方面，已经销售了利用ITU-T Rec.H.222.0(2000)/Amd.2(06/2003)|ISO/IEC 13818-1：2000/Amd.2：2004中公开的扩展而制造出的产品。因此，在进行规格的追加扩展时，产业上要求“反向兼容性”以不会导致市场的混乱。进而，希望确保即使在按照追加扩展后的规格开发的设备中也可以正常地再现按照现有规格制成的数据(节目流)的“前向兼容性”。
发明内容
本发明的目的在于提供一种数据复用/分离方法以及装置，在以往设备中的再现时以及以往数据的新设备中的再现时不会发生错误而可以针对每个扩展流ID记录扩展缓冲尺寸信息。
根据本发明的一个方式，提供一种数据复用装置，具备：输入部，输入表示视频数据、音频数据、以及元数据中的至少一个数据的基础流；PES有效载荷生成部，分割上述基础流而生成多个PES有效载荷；PES分组生成部，对上述多个PES有效载荷分别附加PES头，生成与上述多个PES有效载荷分别对应的多个PES分组，该PES头包括用于识别包含在该PES有效载荷中的数据的(A)基本流ID或(B)扩展ID以及扩展流ID的组；基本缓冲尺寸信息生成部，生成24位的基本流ID用缓冲尺寸信息，该基本流ID用缓冲尺寸信息包括表示上述基本流ID的8位第一字段、上述第一字段后续的2位第二字段、上述第二字段后续的表示由上述基本流ID识别的基础流的再现中所需缓冲界限尺度信息的1位第三字段、以及上述第三字段后续的表示该基础流的再现中所需缓冲尺寸界限信息的13位第四字段；扩展缓冲尺寸信息生成部，生成48位的扩展流ID用缓冲尺寸信息，该扩展流ID用缓冲尺寸信息包括24位的信息(C)和24位的信息(D)，该信息(C)包括表示第一识别ID且具有不是可以用上述基本流ID或上述扩展ID指定的值的8位第一字段、上述第一字段后续的9位第二字段、以及上述第二字段后续的表示上述扩展流ID的7位第三字段，该信息(D)包括表示第二识别ID且具有不是可以用上述基本流ID、上述扩展ID、或上述第一识别ID指定的值的8位第一字段、上述第一字段后续的2位第二字段、上述第二字段后续的表示由上述第二字段后续的上述扩展ID和上述扩展流ID的组识别的基础流的再现中所需缓冲界限尺度信息的1位第三字段、以及上述第三字段后续的表示该基础流的再现中所需缓冲尺寸界限信息的13位第四字段；封装生成部，向排列有上述多个PES分组的PES分组串附加封装头而生成封装，该封装头包括包含用于再现与上述PES分组分别对应的基础流的上述基本缓冲尺寸信息以及上述扩展缓冲尺寸信息的系统头；以及输出部，输出上述封装而作为节目流。
附图说明
图1是示出MPEG-2 Systems规格中的节目流的结构的图。
图2是示出依照现有MPEG-2 Systems规格的系统头内的缓冲尺寸信息的记录格式的图。
图3是示出第一实施方式的系统头内的缓冲尺寸信息的记录格式的图。
图4是说明用依照第一实施方式开发的设备来再现依照第一实施方式生成的数据时的动作的图。
图5是说明用依照以往的MPEG-2 Systems规格开发的设备来再现依照第一实施方式生成的数据时的动作的图。
图6是说明用依照第一实施方式开发的设备来再现依照以往的扩展的MPEG-2 Systems规格生成数据时的动作的图。
图7是示出第一实施方式的系统头内的缓冲尺寸信息的记录格式的变形例的图。
图8是示出第一实施方式的系统头内的缓冲尺寸信息的记录格式的其他变形例的图。
图9是示出第二实施方式的系统头内的缓冲尺寸信息的记录格式的图。
图10是示出第二实施方式的系统头内的缓冲尺寸信息的记录格式的变形例的图。
图11是示出第二实施方式的系统头内的缓冲尺寸信息的记录格式的其他变形例的图。
图12是示出第一以及第二实施方式的数据复用装置整体的框图。
图13是示出图12中的封装头生成部的框图。
图14是说明数据复用装置的典型的动作的流程图。
图15是示出第一以及第二实施方式的数据分离装置整体的框图。
图16是示出图15中的封装头解释部的框图。
图17是说明数据分离装置的典型的动作的流程图。
图18是示出第三实施方式的系统头内的缓冲尺寸信息的记录格式的图。
图19是示出数据分离装置的分离方法的流程图。
具体实施方式
(节目流的基本结构)
首先，使用图1对节目流(PS)进行说明。如图1所示，节目流包括多个被称为封装的单位。封装包括1个封装头和大于等于0个的PES分组。
封装头包括1个封装头主体和0个或1个系统头，包括表示接收到封装的时刻的信息(接收时刻信息)。
PES分组包括1个PES头和大于等于0字节的PES有效载荷。在PES有效载荷中，记录有从视频数据、音频数据(包括声音)数据以及元数据等要素(基础流)依照恰当的尺寸切出的部分数据。
在PES头中，第一，记录有作为用于识别(分类)包含在PES有效载荷中的数据的标识符的流ID。通过连结同一流ID的PES有效载荷，可以从所分割的基础流得到一个连续的基础流。
在PES头中，第二，记录有包含在PES有效载荷中的数据的字节数信息。在PES有效载荷中，记录有从基础流仅切出用字节数信息表示的尺寸而得到的部分数据。
在PES头中，第三，在包含在PES有效载荷中的数据包括视频的图片、音频的帧的接缝的情况下，将接下来开始的图片、表示帧的再现以及显示时刻的再现显示时刻信息记录成从封装头中的接收时刻信息的相对时刻信息。
系统头包括与节目流的系统特征相关的信息。例如，表示某流ID的基础流的生成和再现中所需缓冲尺寸的缓冲尺寸信息(以下，为了与后述的扩展缓冲尺寸信息区分，将其称为基本缓冲尺寸信息)作为与流ID的对而被记录在系统头中。基本缓冲尺寸信息是例如如图2所示8位的流ID(stream_ID)、2位的标记位“11”、1位的缓冲界限尺度信息(P-STD_buffer_bound_scale)以及13位的缓冲尺寸界限信息(P-STD_buffer_size_bound)这合计24位来表现的。在系统头中，进而还记录有后述的扩展缓冲尺寸信息。
以下，对为了生成节目流而依照本实施方式对基础流进行复用的数据复用方法进行说明。
(第一实施方式)
接下来，使用图3对本发明的第一实施方式的扩展缓冲尺寸信息(针对扩展流ID的缓冲尺寸信息)的记录方法进行说明。节目流整体的结构如图1所示。
根据ITU-T Rec.H.222.0(2000)/Amd.2(06/2003)|ISO/IEC13818-1：2000/Amd.2：2004(在本申请中引用其内容)，扩展ID被定义成0xFD。根据ITU-T Rec.H.222.0(2000)|ISO/IEC 13818-1：2000(MPEG-2 Systems)(在本申请中引用其内容)，基本缓冲尺寸信息被定义成如图3的实线框内所示通过1位的缓冲界限尺度信息P-STD_buffer_bound_scale和13位的缓冲尺寸界限信息P-STD_buffer_size_bound的组合来表现，如下所述计算出基本缓冲尺寸。
(a)在P-STD_buffer_bound_scale为0的情况下，成为128＊P-STD_buffer_size_bound字节。
(b)在P-STD_buffer_bound_scale为1的情况下，成为1024＊P-STD_buffer_size_bound字节。
一般，缓冲尺寸不可能为0字节。利用该现象，在第一实施方式中如用图3的斜体文字所示，基本流ID为扩展ID(0xFD)、并且基本缓冲尺寸信息(P-STD_buffer_size_bound)为0、即表示缓冲尺寸为0字节的情况下，如两个虚线框内所示，记录扩展缓冲尺寸信息。
根据图3，扩展缓冲尺寸信息是通过包括8位的扩展流ID(stream_id_extension)、2位的标记位“11”、7位的保留信息(reserved)以及7位的扩展流ID(stream_id_extension)的合计24位(第一扩展信息)、和2位的标记位“11”、1位的缓冲界限尺度(P-STD_buffer_bound_scale_extension)以及13位的缓冲尺寸界限信息(P-STD_buffer_size_bound_extension)这合计24位(第二扩展信息)来表现的。此时，由图中的虚线框包围的部分采用与由实线框包围的部分类似的结构成为兼容性确保的关键点。
(新设备中的再现动作)
接下来，使用图4对用依照第一实施方式开发的新设备来再现依照第一实施方式生成的节目流时的动作进行说明。此处，假设成作为节目流输入了数据序列FD、C0、00、FD、FF、83、FD、C0、9C(十六进制表示)。在图4的左侧，以二进制数表示数据序列FD、C0、00、FD、FF、83、FD、C0、9C。
首先，节目流的最初3字节中的FD被解释成stream_id。后续的C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale(值为0)。C0的第4位以后和与其连接的00被解释成P-STD_buffer_bound(值为0)。
这样P-STD_buffer_bound为0、并且stream_id为0xFD，所以判断成节目流的以后6个字节(FD、FF、83、FD、C0、9C)被用于扩展缓冲尺寸信息(图4的if语句的条件成为真)。以下，对其进行说明。
节目流的后续的3个字节中的FD被解释成“FD”。后续的FF的开头2位被解释成“11”。FF的第3位以后和与其连接的83的第1位被解释成reserved(值为0x7F)。在MPEG-2Systems规格中，reserved被定义成全部位是1。83的第2位以后被解释成stream_id_extension(值为0x03)。由此，接下来接着的3个字节表现的缓冲尺寸信息可以被识别成针对扩展流ID：0x03的扩展缓冲尺寸信息。
节目流的接下来的3个字节中的FD被解释成“FD”。C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale_extension(值为0)。C0的第4位以后和9C被解释成P-STD_buffer_bound_extension(值为0x9C)。因此，0x9C是用十进制数156表示的，所以在图4所示的例子中针对扩展流ID：0x03的缓冲尺寸成为128＊156＝19,968字节。
(反向兼容性)
接下来，使用图5示出用现有的设备来解释依照第一实施方式制成的节目流的流程。作为此处使用的节目流的数据序列与图4同样地是FD、C0、00、FD、FF、83、FD、C0、9C(十六进制表示)。
节目流的最初的3个字节中的FD被解释成stream_id。C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale(值为0)。C0的第4位以后和00被解释成P-STD_buffer_bound(值为0)。
此处，节目流的接下来的3个字节中的FD的第1位是1，所以while语句继续。接下来3个字节中的FD被解释成stream_id。FF的开头2位被解释成“11”。FF的第3位被解释成P-STD_buffer_bound_scale(值为1)。FF的第4位以后和83被解释成P-STD_buffer_bound(值为0x1F83)。
此处，节目流的接下来的3个字节中的FD的第1位是1，所以while语句继续。接下来的FD被解释成stream_id。C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale(值为0)。C0的第4位以后和9C被解释成P-STD_buffer_bound(值为0x009C)。
这样依照第一实施方式制成的节目流可以通过现有的设备解释，所以具有反向兼容性。
(前向兼容性)
接下来，使用图6示出用依照第一实施方式开发的设备来解释依照以往的MPEG-2 Systems规格制成的节目流的流程。作为此处使用的节目流的数据序列与图4同样地是FD、C0、00、FD、FF、83、FD、C0、9C(十六进制表示)。图6与图4以及图5的差异点在于，第3字节为01。其原因为，在依照以往的MPEG-2 Systems规格记录缓冲尺寸信息时，未考虑缓冲尺寸信息表示0字节的情况。
首先，最初的3个字节中的FD被解释成stream_id。C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale(值为0)。C0的第4位以后和01被解释成P-STD_buffer_bound(值为1)。在该情况下，由于P-STD_buffer_bound不是0，所以if语句成为假，进行while语句的条件判断。
此处，接下来的3个字节的最初的数据(FD)的第1位是1，所以while语句继续。接下来的FD被解释成stream_id。FF的开头2位被解释成“11”。FF的第3位被解释成P-STD_buffer_bound_scale(值为1)。FF的第4位以后和83被解释成P-STD_buffer_bound(值为0x1F83)。在该情况下，由于P-STD_buffer_bound不是0，所以if语句成为假，进行while语句的条件判断。
此处，接下来的数据(FD)的第1位是1，所以while语句继续。接下来的FD被解释成stream_id。C0的开头2位被解释成“11”。C0的第3位被解释成P-STD_buffer_bound_scale(值为0)。C0的第4位以后和9C被解释成P-STD_buffer_bound(值为0x009C)。
这样可以用依照第一实施方式开发的设备来解释依照以往的MPEG-2 Systems规格生成的节目流，所以依照第一实施方式生成的节目流具有前向兼容性。
(变形例1)
接下来，使用图7对第一实施方式的变形例进行说明。在图7中，向判断是否记录扩展流ID用的缓冲尺寸信息的if语句的条件，追加了P-STD_buffer_bound_scale是0的情况。
在图4中，在P-STD_buffer_bound为0的情况下，无条件地记录扩展流ID用的缓冲尺寸信息，所以P-STD_buffer_bound不对应于表示扩展ID的缓冲尺寸为0的情况的扩展缓冲尺寸信息的记录。
与其相对，在图7中通过将缓冲尺寸信息设为如下所述，可以记录表示扩展ID的缓冲尺寸为0的情况的扩展缓冲尺寸信息。
P-STD_buffer_bound_scale＝1
P-STD_buffer_bound＝0
(变形例2)
使用图8对第一实施方式的另一变形例进行说明。在图7中，向判断是否记录扩展缓冲尺寸信息的条件，追加接下来继续的8位是0xFD的情况之后，通过设为while语句，可以反复记录多个扩展流ID和扩展缓冲尺寸信息。在图3中针对每个扩展流ID处理上位的while循环，所以仅以扩展流ID的数记录了stream_id、“11”、P-STD_buffer_bound_scale以及P-STD_buffer_size_bound的集合。与其相对，在图8的变形例中仅记录一次该集合即可。
作为进一步的变动，也可以向图8的内周的while语句的条件判断，追加图7的变形例中追加的P-STD_buffer_size_scale＝＝0。
(第二实施方式)
接下来，使用图9对本发明的第二实施方式的扩展缓冲尺寸信息(针对扩展流ID的缓冲尺寸信息)的记录方法进行说明。节目流整体的结构如图1所示。
第二实施方式与第一实施方式的差异点在于，为了表示从作为以往reserved的7位的字段，记录扩展缓冲尺寸信息这样的情况而定义1位的标志信息(extension_buffer_size_signaling_flag)，在while语句中基本流ID(stream_id)是0xFD且extension_buffer_size_signaling_flag是0的情况下，判断为存在扩展流ID的字段。此时，在利用扩展流ID的字段之前出现的P-STD_buffer_bound_scale和P-STD_buffer_bound计算的缓冲尺寸是针对该扩展流ID的缓冲尺寸。
由于extension_buffer_size_signaling_flag相当的位是reserved，所以依照现有的MPEG-2 Systems规格生成的数据成为1。因此，在新开发的设备中，不会出现扩展流ID字段，但在再现时不发生错误。
(变形例1)
图10示出第二实施方式的变形例。与图9的差异点在于，之前发送如用虚线框所示包括stream_id_extension的第二扩展信息，而之后发送如用虚线框所示包括P-STD_buffer_bound_scale和P-STD_buffer_bound的第一扩展信息。
(变形例2)
图11示出第二实施方式的其他变形例。与图10同样地，与图9的差异点在于，之前发送如用虚线框所示包括stream_id_extension的第二扩展信息，而之后发送如用虚线框所示包括P-STD_buffer_bound_scale和P-STD_buffer_bound的第一扩展信息。
在发送stream_id_extension，之后发送P-STD_buffer_bound_scale和P-STD_buffer_bound的情况下，也可以如图10和图11所示，使虚线框内的FD、“11”、reserved以及stream_id_extension的顺序不同。
(数据复用装置)
接下来，使用图12对实现第一或第二实施方式中叙述的数据复用方法的数据复用装置进行说明。
依照MPEG规格的视频基础流(ES)1102、依照MPEG规格的音频ES 1103、元数据ES 1104以及SMPTE VC-1那样的MPEG以外的非MPEG视频ES 1105被输入到数据复用装置1101。在数据复用装置1101中，通过根据恰当的复用算法将视频ES 1102、音频ES 1103、元数据ES 1104以及非MPEG视频ES 1105复用成节目流形式，输出节目流1110。
封装生成控制部1109掌管数据复用装置1101整体的控制，首先起动封装头生成部1106而生成封装头，之后起动PES头生成部1107而生成PES头。接下来，封装生成控制部1109起动封装生成部1108输出封装头和PES头而作为节目流1110之后，从视频ES 1102、音频ES 1103、元数据ES 1104、或非MPEG视频ES 1105中切取恰当的字节数，作为节目流1110输出。封装生成控制部1109通过反复该动作，对各个要素进行复用，以使节目流成为图1所示的结构。
(封装头生成部)
如图13所示，封装头生成部1106具有封装头主体生成部1201、系统头生成部1202、封装头生成控制部1208以及封装头生成用开关1207。系统头生成部1202进而包括系统头主体生成部1203、基本缓冲尺寸信息生成部1204、以及扩展缓冲尺寸信息生成部1205。封装头生成控制部1208接收来自封装生成控制部1109的起动信号而开始动作，如果封装头的生成结束则向封装生成控制部1109输出结束信号和接下来封装生成部应处理的基础流的种类。
系统头主体生成部1203生成图3中的紧接着system_header()到reserved_bits为止的信息。基本缓冲尺寸信息生成部1204生成由图3中的实线框包围的信息。扩展缓冲尺寸信息生成部1205生成由图3中的虚线框包围的信息。
封装头生成控制部1208在该封装中包括系统头的情况下，首先控制封装头生成用开关1207，以利用选择信号1206使封装头生成用开关1207选择封装头主体生成部1201的输出。接下来，封装头生成控制部1208控制封装头生成用开关1207，以利用选择信号1206使封装头生成用开关1207选择系统头主体生成部1203的输出。
接下来，封装头生成控制部1208控制封装头生成用开关1207，以利用选择信号1206使封装头生成用开关1207选择基本缓冲尺寸信息生成部1204的输出。在基本ID的值是0xFD的情况下，封装头生成控制部1208控制基本缓冲尺寸信息生成部1204以使基本缓冲尺寸信息(P-STD_buffer_size_bound)成为0，接下来控制封装头生成用开关1207，以利用选择信号1206使封装头生成用开关1207选择扩展缓冲尺寸信息生成部1205的输出。
以后，生成与所需数量的基本ID以及扩展ID对应的基本缓冲尺寸信息以及扩展缓冲尺寸信息。如果生成了应对该封装复用的全部信息，则封装头生成控制部1208停止各生成部的动作，而等待接下来的封装的开始。
另外，在系统头生成部1202按照图7所示的例子动作的情况下，封装头生成控制部1208控制基本缓冲尺寸信息生成部1204，以在基本ID的值为0xFD时使基本缓冲尺寸信息(P-STD_buffer_size_scale和P-STD_buffer_size_bound)成为0。
进而，在系统头生成部1202按照图8所示的例子动作的情况下，封装头生成控制部1208控制封装头生成用开关1207，以如图8所示连续生成针对多个扩展ID的缓冲尺寸。
(数据复用步骤)
接下来，使用图14对图13的数据复用装置的动作步骤进行说明。在图14的流程图中，以在系统头中记录基本ID(0xE0)用缓冲尺寸(1808kB)、扩展流ID为0x55的扩展ID(0xFD)用缓冲尺寸(1808kB)、基本ID(0xC0)用缓冲尺寸(8192B)这各缓冲尺寸信息而生成封装的情况为例子，示出生成图3所示的数据形式的节目流的步骤。
如果开始了封装的生成，则首先在步骤S1501中生成封装头主体。在该封装中记录系统头的情况下，在步骤S1502中生成系统头主体。接下来，在步骤S1503中如下所述记录表示基本ID用(0xE0)缓冲尺寸(1808kB)的基本缓冲尺寸信息。
stream_id＝0xE0
P-STD_buffer_bound_scale＝1
P-STD_buffer_size_bound＝1808(1808×1kB＝1808kB)
最初记录的缓冲尺寸信息是基本ID用的信息，所以在步骤S1504中判断为不记录扩展缓冲尺寸，在步骤S1506中判断是否继续记录缓冲尺寸信息。其结果，缓冲尺寸信息的记录继续，所以处理返回到步骤S1503，如下所述进行扩展流ID为0x55的扩展ID(0xFD)用缓冲尺寸(1808kB)的扩展用缓冲尺寸信息生成的前半部分。
stream_id＝0xFD
P-STD_buffer_bound_scale＝0
P-STD_buffer_size_bound＝0
(stream_id＝＝0xFD&&P-STD_buffer_size_bound＝0)
接下来，在步骤S1504中判断为记录扩展缓冲尺寸信息，在步骤S1505中如下所述记录扩展缓冲尺寸信息。
‘0xFD’＝0xFD
‘11‘＝0x3
Reserved＝0x7F
stream_id_extension＝0x55
‘0xFD’＝0xFD
‘11‘＝0x3
P-STD_buffer_bound_scale_extension＝1
P-STD_buffer_size_bound_extension＝1808(1808×1kB＝1808kB)
接下来，在步骤S1506中判断是否继续记录缓冲尺寸信息。在该情况下，由于继续记录缓冲尺寸信息，所以处理返回到步骤S1503，如下所述生成基本ID用(0xC0)缓冲尺寸(8192B)。
stream_id＝0xC0
P-STD_buffer_bound_scale＝0
P-STD_buffer_size_bound＝64(64×128B＝8192B)
接下来，在步骤S1506中判断是否继续记录缓冲尺寸信息。其结果，判断成全部缓冲尺寸信息的记录结束，所以通过步骤S1507进行PES头生成。
接下来，通过步骤S1508进行PES有效载荷生成，一个封装的生成结束，处理返回到处理的开头。
(数据分离装置)
接下来，使用图15对从通过第一或第二实施方式中叙述的数据复用方法生成的节目流中分离各数据的数据分离装置进行说明。此处对与通过图3所示的方法得到的节目流对应的数据分离动作进行说明，但图15的数据分离装置还可以应用于通过图7、图8、图9、图10以及图11所示的方法得到的节目流。
向数据分离装置1301输入节目流1302，分离并输出对节目流1302复用的依照MPEG规格的视频ES 1309、依照MPEG规格的音频ES 1310、元数据ES 1310以及MPEG以外的非MPEG视频ES1312。在数据分离装置1301中，封装解释控制部1303对整体进行控制。
封装解释控制部1303在确认节目流1302的内容，而判断为被输入封装头时，控制开关1307以使节目流1302输入到封装头解释部1304，起动封装头解释部1304。在封装头解释部1304中按照封装头的结构进行节目流1302的解释，在解释结束时向封装解释控制部1303发送结束信号。
接下来，封装解释控制部1303在确认节目流1302的内容，而判断为被输入PES头时，控制开关1307以使节目流1302输入到PES头解释部1305，起动PES头解释部1305。在PES头解释部1305中按照PES头的结构进行PES头的解释，在解释结束时向封装解释控制部1303发送结束信号和包含在PES头中的流ID信息、以及接下来继续的PES有效载荷的字节数信息。
接下来，封装解释控制部1303控制开关1307以使节目流1302输入到PES有效载荷抽取部1306，按照流ID信息控制输出选择开关1309以成为恰当的输出目的地，起动PES有效载荷抽取部1306以处理PES有效载荷的字节数部分。PES有效载荷抽取部1306在处理了PES有效载荷的字节数部分之后，向封装解释控制部1303发送结束信号。
(封装头解释部)
如图16所示，向封装头解释部1304输入所输入的节目流1402和封装头解释部1304的起动信号1410，在封装头解释结束之后，输出结束信号1411。
如果向封装头解释控制部1408输入了起动信号1410，则封装头解释控制部1408控制开关1409以使节目流1402输入到封装头主体解释部1403，起动封装头主体解释部1403。在封装头主体解释部1403中按照封装头主体的结构进行封装头的解释，在解释结束时向封装头解释控制部1408发送结束信号。
接下来，封装头解释控制部1408在确认节目流1402的内容，而判断为未输入系统头时，输出结束信号1411。封装头解释控制部1408在判断为输入了系统头时，控制开关1409以使节目流1402输入到系统头主体解释部1404，起动系统头主体解释部1404。在系统头主体解释部1404中按照系统头主体的结构进行系统头的解释，在解释结束时向封装头解释控制部1408发送结束信号。
接下来，封装头解释控制部1408在确认节目流1402的内容，而判断为未输入基本缓冲尺寸信息时，输出结束信号1411。封装头解释控制部1408在判断为输入了基本缓冲尺寸信息时，控制开关1409以使节目流1402输入到基本缓冲尺寸信息解释部1405，起动基本缓冲尺寸信息解释部1405。基本缓冲尺寸信息解释部1405按照由图3的实线框包围的基本缓冲尺寸信息的结构进行基本缓冲尺寸信息的解释，在解释结束时向封装头解释控制部1408发送结束信号和接下来是否接着扩展ID的判别信息。在图3的例子中，在stream_id为0xFD、并且P-STD_buffer_size_bound为0的情况下，发送接下来接着扩展ID这样的判别信息。
在接下来未接着扩展ID的情况下，封装头解释控制部1408在确认节目流1402的内容，而判断为未输入基本缓冲尺寸信息时，输出结束信号1411。封装头解释控制部1408在判断为输入了基本缓冲尺寸信息时，控制开关1409以使节目流1402输入到基本缓冲尺寸信息解释部1405，起动基本缓冲尺寸信息解释部1405。以下，反复上述动作。
在接下来接着扩展ID的情况下，封装头解释控制部1408控制开关1409以使节目流1402输入到扩展缓冲尺寸信息解释部1406，起动扩展缓冲尺寸信息解释部1406。扩展缓冲尺寸信息解释部1406按照由图3的虚线框包围的扩展缓冲尺寸信息的结构进行扩展缓冲尺寸信息的解释，在解释结束时向封装头解释控制部1408发送结束信号。利用此处得到的P-STD_buffer_bound_scale_extension以及P-STD_buffer_size_bound_extension计算的缓冲尺寸成为相对于该扩展流ID(stream_id_extension)的缓冲尺寸。
接下来，封装头解释控制部1408确认节目流1402的内容，而判断是否输入了基本缓冲尺寸信息。以后的处理如上所述。
(数据分离步骤)
接下来，使用图17对图16的数据分离装置的动作步骤进行说明。按照图17的流程图，以图3所示的数据形式的节目流的系统头中的记录缓冲尺寸信息的区域的数据串是十六进制表示的E0 E7 10 FDC0 00 FD FF D5 FD E7 10 C0 C0 40的情况为例子，对数据分离动作进行说明。
在开始了封装的解释之后，首先在步骤S1601中解释封装头主体。在该封装中记录有系统头的情况下，在步骤S1602中如下所述解释系统头主体。
stream_id＝0xE0
P-STD_buffer_bound_scale＝1
P-STD_buffer_size_bound＝1808(1808×1kB＝1808kB)
到此为止，E0 E7 10的解释结束。
这样由于stream_id不是0xFD并且P-STD_buffer_size_bound不是0，所以被解释成“针对0xE0的stream_id的缓冲尺寸为1808kB”。
在步骤S1604中判断为接下来未记录扩展缓冲尺寸信息，在步骤S1606中判断是否继续记录有缓冲尺寸信息。在步骤S1606中，判断接下来的数据(0xFD)的开头位是否为1。在该情况下，由于0xFD的开头位是1，所以返回到步骤S1603，如下所述进行接下来的缓冲尺寸信息的解释。
stream_id＝0xFD
P-STD_buffer_bound_scale＝0
P-STD_buffer_size_bound＝0
到此为止，FD C0 00的解释结束。
在步骤S1604中由于
stream_id＝0xFD&&P-STD_buffer_size_bound＝0
所以判断为记录有扩展缓冲尺寸信息，执行步骤S1605。
在步骤S1605中，解释如下内容。
‘0xFD’＝0xFD
‘11‘＝0x3
Reserved＝0x7F
stream_id_extension＝0x55
‘0xFD’＝0xFD
‘11‘＝0x3
P-STD_buffer_bound_scale_extension＝1
P-STD_buffer_size_bound_extension＝1808(1808×1k8＝1808k8)
到此为止，FD FF D5 FD E7 10的解释结束。其结果，被解释成“针对扩展流ID为0x55的缓冲尺寸是1808kB”。
在步骤S1606中，判断接下来的数据(0xC0)的开头位是否为1。在该情况下，由于是1所以返回到步骤S1603，如下所述进行接下来的缓冲尺寸信息的解释。
stream_id＝0xC0
P-STD_buffer_bound_scale＝0
P-STD_buffer_size_bound＝64(64B×128＝8192B)
到此为止，C0 C0 40的解释结束。由于stream_id不是0xFD并且P-STD_buffer_size_bound不是0，所以被解释成“针对扩展流ID为0x55的缓冲尺寸是8192B”。
在步骤S1604中判断为接下来未记录扩展缓冲尺寸信息，在步骤S1606中判断接下来是否继续记录有缓冲尺寸信息。由于之后未记录缓冲尺寸信息，所以进行步骤S1607的PES头解释以及步骤S1608的PES有效载荷抽取，转移到接下来的封装的处理。PES有效载荷抽取时的输出成为与在步骤S1607中得到的流ID或扩展流ID对应的缓冲尺寸。
(第三实施方式)
接下来，使用图18对本发明的数据复用装置的封装头生成部的其他实施方式进行说明。在图18中，在图13所示的封装头生成部的系统头生成部1202中，用拟C代码来表示基本缓冲尺寸信息生成部1204以及扩展缓冲尺寸信息生成部1205的动作。
在生成针对由扩展ID以及扩展流ID的组表示的基础流的扩展缓冲尺寸信息的情况下，在图18中，选择stream_id不是基本流ID或扩展ID的0xB7(十六进制)，生成包括0xB7的48位的数据串。48位的数据串包括两个24位的数据串，其详细内容如图18的if语句为真的情况所示，
(A)作为第一字段的0xB7(8位、十六进制)、作为第二字段的110000000b(9位、二进制)、作为第三字段且表示扩展流ID的8位的stream_id_extension这合计24位、以及接下来接着、
(B)作为第一字段的0xB6(8位、十六进制)、作为第二字段的11b(2位、二进制)、作为第三字段且表示具有stream_id_extension的扩展流ID的基础流的再现中所需缓冲界限尺度信息的1位的P-STD_buffer_bound_scale_extension、作为第四字段且表示具有stream_id_extension的扩展流ID的基础流的再现中所需缓冲尺寸界限信息的13位的P-STD_buffer_size_bound_extension这合计24位。另外，(A)所示的最初的8位相当于位于图18的if语句之上的stream_id。
另一方面，在生成针对由扩展流ID表示的基础流的基本缓冲尺寸信息的情况下，生成基本流ID的值而作为stream_id，如图18的if语句为假的情况(else)所示，按照与以往同样的stream_id(8位)、11b(2位、二进制)、P-STD_buffer_bound_scale(1位)、P-STD_buffer_size_bound(13位)这24位结构生成基本缓冲尺寸信息。
在全部扩展缓冲尺寸是相同尺寸的情况下，在图18中，设为stream_id＝0xFD(十六进制)，生成图18的if语句为假的情况(else)所示的由P-STD_buffer_bound_scale和P-STD_buffer_size_bound表示的基本缓冲尺寸信息。在分离侧取得了用stream_id＝0xFD表示的基本缓冲尺寸信息的情况下，将该信息处理成全部扩展缓冲尺寸信息。由此，在全部扩展缓冲的尺寸相同的情况下，可以仅通过1组的24位结构(即24位)表示扩展缓冲尺寸信息。
另外，如下所述计算扩展缓冲尺寸信息。
if(P-STD_buffer_bound_scale_extension＝＝‘0’){
      (stream_id_extension用P-STD缓冲尺寸)
           ＝128*P-STD_buffer_size_bound_extension(字节)
}
else{
      (stream_id_extension用P-STD缓冲尺寸)
           ＝1024*P-STD_buffer_size_bound_extension(字节)
}
即，在(a)P-STD_buffer_bound_scale_extension的值是0的情况下，扩展缓冲尺寸信息成为128×p-STD_buffer_size_bound_extension字节，
在(b)P-STD_buffer_bound_scale_extension的值不是0的情况下，扩展缓冲尺寸信息成为1024×p-STD_buffer_size_bound_extension字节。
另外，如下所述计算基本缓冲尺寸信息。
if(P-STD_buffer_bound_scale＝＝‘0’){
     (stream_id用P-STD缓冲尺寸)
          ＝128*P-STD_buffer_size_bound(字节)
}
else{
     (stream_id用P-STD缓冲尺寸)
          ＝1024*P-STD_buffer_size_bound(字节)
}
即，在(a)P-STD_buffer_bound_scale的值是0的情况下，基本缓冲尺寸信息成为128×p-STD_buffer_size_bound字节，
在(b)P-STD_buffer_bound_scale的值不是0的情况下，基本缓冲尺寸信息成为1024×p-STD_buffer_size_bound字节。
(数据分离装置)
接下来，使用图15对从通过第三实施方式中叙述的数据复用方法生成的节目流中分离各数据的数据分离装置进行说明。此处对与通过图18所示的方法得到的节目流对应的数据分离动作进行说明。
向数据分离装置1301输入节目流1302，分离并输出对节目流1302复用的依照MPEG规格的视频ES 1309、依照MPEG规格的音频ES 1310、元数据ES 1310以及MPEG以外的非MPEG视频ES1312。在数据分离装置1301中，封装解释控制部1303对数据分离装置整体进行控制。
封装解释控制部1303在确认节目流1302的内容，而判断为被输入封装头时，控制开关1307以使节目流1302输入到封装头解释部1304，起动封装头解释部1304。在封装头解释部1304中按照封装头的结构进行节目流1302的解释，在解释结束时向封装解释控制部1303发送结束信号。
接下来，封装解释控制部1303在确认节目流1302的内容，而判断为被输入PES头时，控制开关1307以使节目流1302输入到PES头解释部1305，起动PES头解释部1305。在PES头解释部1305中按照PES头的结构进行PES头的解释，在解释结束时向封装解释控制部1303发送结束信息和包含在PES头中的流ID信息、以及接下来继续的PES有效载荷的字节数信息。
接下来，封装解释控制部1303控制开关1307以使节目流1302输入到PES有效载荷抽取部1306，按照流ID信息控制输出选择开关1309以成为恰当的输出目的地，起动PES有效载荷抽取部1306以处理PES有效载荷的字节数部分。PES有效载荷抽取部1306在处理了PES有效载荷的字节数部分之后，向封装解释控制部1303发送结束信号。
(封装头解释部)
如图16所示，向封装头解释部1304输入所输入的节目流1402和封装头解释部1304的起动信号1410，在封装头解释结束之后，输出结束信号1411。
如果向封装头解释控制部1408输入了起动信号1410，则封装头解释控制部1408控制开关1409以使节目流1402输入到封装头主体解释部1403，起动封装头主体解释部1403。在封装头主体解释部1403中按照封装头主体的结构进行封装头的解释，在解释结束时向封装头解释控制部1408发送结束信号。
接下来，封装头解释控制部1408在确认节目流1402的内容，而判断为未输入系统头时，输出结束信号1411。封装头解释控制部1408在判断为输入了系统头时，控制开关1409以使节目流1402输入到系统头主体解释部1404，起动系统头主体解释部1404。在系统头主体解释部1404中按照系统头主体的结构进行系统头的解释，在解释结束时向封装头解释控制部1408发送结束信号。
接下来，封装头解释控制部1408在确认节目流1402的内容，而判断为未输入基本缓冲尺寸信息或扩展缓冲尺寸信息时，输出结束信号1411。封装头解释控制部1408在确认节目流1402的内容，而判断为输入了基本缓冲尺寸信息或扩展缓冲尺寸信息时，判断输入了基本头缓冲尺寸信息还是输入了扩展缓冲尺寸信息。
在输入了基本缓冲尺寸信息的情况下，封装头解释控制部1408控制开关1409以使节目流1402输入到基本缓冲尺寸信息解释部1405，起动基本缓冲尺寸信息解释部1405。基本缓冲尺寸信息解释部1405按照由图18的stream_id(8位)和else语句的内容(合计16位)的结构进行基本缓冲尺寸信息的解释，在解释结束时向封装头解释控制部1408发送结束信号。
在输入了扩展缓冲尺寸信息的情况下，封装头解释控制部1408控制开关1409以使节目流1402输入到扩展缓冲尺寸信息解释部1406，起动扩展缓冲尺寸信息解释部1406。扩展缓冲尺寸信息解释部1406按照图18的stream_id(8位)和if语句的内容(合计40位)的结构进行扩展缓冲尺寸信息的解释，在解释结束时向封装头解释控制部1408发送结束信号。在图18所示的结构的例子中，针对用stream_id_extension表示的扩展流ID的缓冲尺寸成为利用P-STD_buffer_bound_scale_extension和P-STD_buffer_size_boundextension计算出的尺寸。
封装头解释控制部1408接下来判断是否输入了其他基本缓冲尺寸信息或扩展缓冲尺寸信息，在接着输入了基本缓冲尺寸信息或扩展缓冲尺寸信息的情况下，继续解释基本缓冲尺寸信息或扩展缓冲尺寸信息。在未输入其他基本缓冲尺寸信息或扩展缓冲尺寸信息的情况下，输出结束信号1411，封装头解释部1304停止动作。
接下来，按照图19的流程图对由图15的数据分离装置分离按照图18生成的数据的分离方法进行说明。以图18所示的数据形式的节目流的系统头中的记录缓冲尺寸信息的区域的数据串是十六进制表示的E0 E7 10 B7 C0 55 B6 CB A5 00的情况为例子，对数据分离动作进行说明。
在开始了封装的解释之后，首先在步骤S1901中解释封装头主体。在基于该封装的系统头中未记录系统头的情况下，步骤S1902立即停止，进行PES解释，所以执行PES头解释步骤S1907。在记录有系统头的情况下，在步骤S1902中解释系统头主体，之后转移到步骤S1906，进行缓冲尺寸信息的解释和确认。
如上所述，在该例子中，系统头中的与缓冲尺寸信息相关的数据串成为E0 E7 10 B7 C0 55 B6 CB A5 00，最初的1位是“1”，所以在步骤S1906中，判断为存在缓冲尺寸信息，处理转移到步骤S1904，确认缓冲尺寸的种类。在步骤S1904中，最初的8位是E0，所以判断为记录有基本缓冲尺寸信息，执行步骤S1903的基本缓冲尺寸信息的解释。在步骤S1903中，解释针对E0的基本流ID的基本缓冲尺寸信息。接下来16位的数据串是E710，所以从图18得出，
stream_id＝0xE0
P-STD_buffer_bount_scale＝1
P-STD_buffer_size_bound＝1808(十进制)
即，进行基本缓冲尺寸是1808kB这样的解释。接下来，处理返回到步骤S1906。在该时刻系统头中的与缓冲尺寸信息相关的数据串成为B7 C0 55 B6 CB A5 00，最初的1位是“1”，所以在步骤S1906中，判断为存在缓冲尺寸信息，处理转移到步骤S1904，确认缓冲尺寸的种类。在步骤S1904中，最初的8位是B7，所以判断为记录有扩展缓冲尺寸信息，执行步骤S1905的扩展缓冲尺寸信息的解释。在步骤S1905中，读入接着B7的16位(C0 55)，进行扩展流ID(stream_id_extension)是0x55这样的解释。接下来读入8位的0xB6，接着16位是CB A5，所以从图18得出，
stream_id_extension＝0x55
P-STD_buffer_bount_scale_extension＝0
P-STD_buffer_size_bound_extension＝2981(十进制)
即，进行扩展缓冲尺寸是381，568Byte(＝2981×128)这样的解释。接下来，处理返回到步骤S1906。在该时刻系统头中的与缓冲尺寸信息相关的数据串成为00，最初的1位是“0”，所以在步骤S1906中，判断为不存在缓冲尺寸信息，抽取步骤S1907的PES头解释以及步骤S1908的PES有效载荷。
接下来，以图18所示的数据形式的节目流的系统头中的记录缓冲尺寸信息的区域的数据串是十六进制表示的E0 E7 10 FD C0 55 B6CB A5 00的情况为例子，对与其他实施方式相关的数据分离动作进行说明。
最初的3个字节是E0 E7 10，所以如上述实施例中的说明，解释成
stream_id＝0xE0
P-STD_buffer_bount_scale＝1
P-STD_buffer_size_bound＝1808(十进制)
接着的FD C0 55 B6 CB A5被解释成
stream_id＝0xFD
P-STD_buffer_bount_scale＝0
P-STD_buffer_size_bound＝2981(十进制)
此处，stream_id是0xFD，所以用P-STD_buffer_bound_scale和P-STD_buffer_size_bound的组表现的基本缓冲尺寸信息被解释成使用扩展流ID进行了PES化的全部基础流的扩展缓冲尺寸，其尺寸被解释成381，568Byte(＝2981×128)。
另外，在本实施方式中使用了特定的stream_id(0xB7)、特定的值(0xB6)，但这些值只要是在MPEG-2系统规格中被规定成有效的值的0xB8～0xFF以外的值，则原理上可以利用任意值。另外，关于if子句中的“0000000”，其值也是期望的值，但作为本发明的要旨，未必必然是该值。
根据上述本发明，在通过与扩展ID成对表示的基本缓冲尺寸信息是0字节的情况下，保持与现状的规格相同的结构，并且记录扩展流ID和扩展流尺寸信息的对。另外，在为将来的扩展确保的区域中，设置表示是否记录扩展流ID用的扩展缓冲尺寸信息的标志信息，保持与现状的规格相同的结构，并且记录扩展流ID和扩展缓冲尺寸信息的对。
根据上述本发明，在现有的设备中通过依照现有的MPEG-2Systems规格不发生再现错误地解释扩展ID以及扩展缓冲尺寸信息的对，而正确地再现节目流，确保封装反向兼容性。另一方面，即使向新的设备输入了依照现有的MPEG-2 Systems规格生成的节目流的情况下，也不会发生再现错误地进行解释，从而正确地进行再现，确保前向兼容性。
基于以上说明的各实施方式的数据复用的处理以及数据分离的处理可以通过硬件来实现，但也可以使用个人计算机那样的计算机通过软件来执行。因此，根据本发明可以提供一种进行上述数据复用的处理的程序、进行数据分离的处理的程序、或者存储有该程序的计算机可读取的存储介质。
另外，本发明不限于上述实施方式，可以在实施阶段在不脱离其要旨的范围内将结构要素变形而具体化。另外，通过上述实施方式中公开的多个结构要素的恰当组合，可以形成各种发明。例如，也可以从实施方式示出的全部结构要素中删除几个结构要素。进而，也可以恰当组合不同的实施方式的结构要素。
产业上的可利用性
本发明的数据复用/分离方法以及装置用于通信介质、存储介质以及广播介质等中的视频数据、音频数据以及元数据的编码数据的复用以及分离。

Claims (4)

1.一种数据复用装置，具备：
输入部，输入表示视频数据、音频数据、以及元数据中的至少一个数据的基础流；
PES有效载荷生成部，分割上述基础流而生成多个PES有效载荷；
PES分组生成部，对上述多个PES有效载荷分别附加PES头，生成与上述多个PES有效载荷分别对应的多个PES分组，该PES头包括用于识别包含在该PES有效载荷中的数据的基本流ID或扩展ID以及扩展流ID的组，其中，上述基本流ID是可以用8位表现的规定范围的值，上述扩展ID是上述规定范围以外的可以用8位表现的值，上述扩展流ID是可以用7位表现的值；
基本缓冲尺寸信息生成部，生成24位的基本流ID用缓冲尺寸信息，该基本流ID用缓冲尺寸信息包括：表示上述基本流ID的8位第一字段、上述第一字段后续的2位第二字段、上述第二字段后续的表示由上述基本流ID识别的基础流的再现中所需缓冲界限尺度信息的1位第三字段、以及上述第三字段后续的表示该基础流的再现中所需缓冲尺寸界限信息的13位第四字段；
扩展缓冲尺寸信息生成部，生成48位的扩展流ID用缓冲尺寸信息，该扩展流ID用缓冲尺寸信息包括24位的信息C和24位的信息D，该信息C包括：作为上述规定范围以外的可以用8位表现的值的、表示与上述扩展ID不同的值即第一识别ID的8位第一字段、上述第一字段后续的9位第二字段、以及上述第二字段后续的表示上述扩展流ID的7位第三字段，该信息D包括：作为上述规定范围以外的可以用8位表现的值的、表示与上述扩展ID和上述第一识别ID都不同的值即第二识别ID的8位第一字段、上述第一字段后续的2位第二字段、上述第二字段后续的表示由上述第二字段后续的上述扩展ID以及上述扩展流ID的组所识别的基础流的再现中所需缓冲界限尺度信息的1位第三字段、以及上述第三字段后续的表示该基础流的再现中所需缓冲尺寸界限信息的13位第四字段；
封装生成部，向排列有上述多个PES分组的PES分组串附加封装头而生成封装，该封装头包括包含用于再现与上述PES分组分别对应的基础流的上述基本缓冲尺寸信息以及上述扩展缓冲尺寸信息的系统头；以及
输出部，输出上述封装而作为节目流。
2.根据权利要求1所述的数据复用装置，
在由扩展ID以及扩展流ID的组识别、而对扩展缓冲尺寸信息具有相同的值的多个基础流进行复用的情况下、或者在对由扩展ID以及扩展流ID的组识别的一个基础流进行复用的情况下，上述基本缓冲尺寸信息生成部将表示基本流ID的8位第一字段的值设定成0xFD，并且由包括上述第一字段、上述第一字段后续的2位第二字段、上述第二字段后续的1位第三字段、以及上述第三字段后续的13位第四字段的24位生成上述扩展缓冲尺寸信息。
3.一种数据分离装置，从由权利要求1或2所述的数据复用装置生成的上述节目流中分离上述基础流，具备：
输入部，输入上述节目流；
封装头解释部，解释上述封装头；
PES头解释部，解释上述PES头；
PES有效载荷抽取部，抽取上述PES有效载荷而得到上述基础流；
输入选择部，选择针对上述节目流的处理目的地；
输出选择部，选择上述基础流的输出目的地；以及
封装解释控制部，对上述封装头解释部、上述PES头解释部、上述PES有效载荷抽取部、上述输入选择部以及上述输出选择部的动作进行控制，
上述封装头解释部具有：
封装头输入选择部，选择上述封装头的处理目的地；
封装头主体解释部，解释上述封装头主体；
系统头主体解释部，解释上述系统头主体；
基本缓冲尺寸信息解释部，解释上述基本缓冲尺寸信息；
扩展缓冲尺寸信息解释部，解释上述扩展缓冲尺寸信息；以及
封装头解释控制部，对上述封装头输入选择部、上述封装头主体解释部、上述系统头主体解释部、上述基本缓冲尺寸信息解释部以及上述扩展缓冲尺寸信息解释部的动作进行控制，
上述封装头解释控制部在从上述封装生成控制部接收到动作开始的指示时，起动上述封装头主体解释部，在进行系统头的解释的情况下起动上述系统头主体解释部、上述基本缓冲尺寸信息解释部以及上述扩展缓冲尺寸信息解释部中的任意一个或两个。
4.根据权利要求3所述的数据分离装置，
上述基本缓冲尺寸信息解释部在表示基本流ID的8位第一字段是0xFD的情况下，将由后续16位表示的基本缓冲尺寸信息解释成，针对由全部扩展ID以及扩展流ID的组进行PES化的大于等于一个的基础流的扩展缓冲尺寸信息。
CN2008800006123A 2007-02-19 2008-02-18 数据复用/分离装置 Expired - Fee Related CN101543072B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2007038673 2007-02-19
JP038673/2007 2007-02-19
JP117668/2007 2007-04-26
JP2007117668 2007-04-26
PCT/JP2008/052666 WO2008102732A1 (ja) 2007-02-19 2008-02-18 データ多重化／分離装置

Publications (2)

Publication Number Publication Date
CN101543072A CN101543072A (zh) 2009-09-23
CN101543072B true CN101543072B (zh) 2011-06-01

Family

ID=39710009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800006123A Expired - Fee Related CN101543072B (zh) 2007-02-19 2008-02-18 数据复用/分离装置

Country Status (12)

Country Link
US (1) US7907633B2 (zh)
EP (1) EP2114075A4 (zh)
JP (1) JP4181212B2 (zh)
KR (1) KR100983173B1 (zh)
CN (1) CN101543072B (zh)
AU (1) AU2008218064B2 (zh)
BR (1) BRPI0804514A2 (zh)
CA (1) CA2661600A1 (zh)
MX (1) MX2009001858A (zh)
RU (1) RU2402176C1 (zh)
TW (1) TW200841741A (zh)
WO (1) WO2008102732A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543072B (zh) 2007-02-19 2011-06-01 株式会社东芝 数据复用/分离装置
CN101668198B (zh) * 2009-09-16 2011-06-15 深圳市同洲电子股份有限公司 一种推送视频及数据内容实现本地点播的方法及系统
US20110145875A1 (en) * 2009-12-11 2011-06-16 Electronics And Telecommunications Research Institute Mobile set-top box and method for providing internet protocol television service using the same
KR101257068B1 (ko) 2009-12-11 2013-05-02 한국전자통신연구원 이동형 셋탑박스 및 이를 이용한 인터넷 프로토콜 텔레비젼 서비스 제공 방법
EP2362653A1 (en) * 2010-02-26 2011-08-31 Panasonic Corporation Transport stream packet header compression
JP6035704B2 (ja) * 2011-03-18 2016-11-30 セイコーエプソン株式会社 周辺装置、管理装置及び機種情報送信方法
KR101501344B1 (ko) 2012-05-02 2015-03-10 삼성전자주식회사 멀티미디어 서비스 송수신 방법 및 장치
US10356484B2 (en) * 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9723245B2 (en) 2013-03-15 2017-08-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
GB2524333A (en) * 2014-03-21 2015-09-23 Nokia Technologies Oy Audio signal payload
KR20150128151A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 비디오 스트리밍 방법 및 이를 지원하는 전자 장치
KR102650850B1 (ko) * 2016-05-30 2024-03-26 소니그룹주식회사 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234941A (zh) * 1997-07-18 1999-11-10 索尼公司 图像信号复用装置和方法、分解装置和方法及传输媒体
CN1316838A (zh) * 2000-04-04 2001-10-10 索尼公司 数据多路复用器、数据多路复用方法和记录介质
CN1812315A (zh) * 2005-01-25 2006-08-02 华为技术有限公司 一种多路数据信号处理方法和装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3216534B2 (ja) * 1996-08-29 2001-10-09 三菱電機株式会社 多重化方法
KR100306457B1 (ko) * 1997-09-02 2001-10-19 가나이 쓰도무 매립된데이터를위한데이터전송방법,데이터전송및재생장치,및그를위한정보기록매체
JP4296604B2 (ja) * 1997-10-03 2009-07-15 ソニー株式会社 符号化ストリームスプライシング装置及び方法、並びに符号化ストリーム生成装置及び方法
US7058965B1 (en) * 1999-04-15 2006-06-06 Sedna Patent Services, Llc Multiplexing structures for delivery of interactive program guide
CN1298121C (zh) * 1999-10-26 2007-01-31 松下电器产业株式会社 基于存储的广播系统、发送器和接收器
US7660328B1 (en) * 2001-04-03 2010-02-09 Bigband Networks Inc. Method and system for generating, transmitting and utilizing bit rate conversion information
US7933411B2 (en) * 2002-06-28 2011-04-26 Trident Microsystems (Far East) Ltd. Method of constructing MPEG program streams from encrypted MPEG transport streams
AU2003282289A1 (en) * 2002-12-04 2004-06-23 Koninklijke Philips Electronics N.V. Method of automatically testing audio/video synchronization
US7499469B2 (en) * 2003-01-13 2009-03-03 Broadcom Corporation Method and system for generating digital video broadcast (DVB) transport stream from direct satellite system (DSS) transport stream
CN100369481C (zh) * 2003-02-04 2008-02-13 松下电器产业株式会社 代码变换方法及其装置
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US8199781B2 (en) * 2004-12-14 2012-06-12 Samsung Electronics Co., Ltd Device and method for demultiplexing received transport stream in digital broadcasting receiver
US8194707B2 (en) * 2005-02-28 2012-06-05 Broadcom Corporation Method and system for dynamically allocating video multiplexing buffer based on queuing theory
JP4372031B2 (ja) * 2005-03-10 2009-11-25 株式会社東芝 信号処理装置及び信号処理方法
JP4678486B2 (ja) * 2005-03-11 2011-04-27 ソニー株式会社 多重化装置および多重化方法、プログラム、並びに記録媒体
JP2006260611A (ja) * 2005-03-15 2006-09-28 Toshiba Corp 情報記憶媒体、情報再生装置、情報再生方法、及びネットワーク通信システム
US7643513B2 (en) * 2005-11-30 2010-01-05 Broadcom Corporation Method and system for audio and video transport
CN101543072B (zh) 2007-02-19 2011-06-01 株式会社东芝 数据复用/分离装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234941A (zh) * 1997-07-18 1999-11-10 索尼公司 图像信号复用装置和方法、分解装置和方法及传输媒体
CN1316838A (zh) * 2000-04-04 2001-10-10 索尼公司 数据多路复用器、数据多路复用方法和记录介质
CN1812315A (zh) * 2005-01-25 2006-08-02 华为技术有限公司 一种多路数据信号处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特表2005-531960A 2005.10.20
JP特表2006-509409A 2006.03.16

Also Published As

Publication number Publication date
CA2661600A1 (en) 2008-08-28
KR100983173B1 (ko) 2010-09-20
TW200841741A (en) 2008-10-16
JPWO2008102732A1 (ja) 2010-05-27
WO2008102732A1 (ja) 2008-08-28
US20090154499A1 (en) 2009-06-18
AU2008218064A1 (en) 2008-08-28
JP4181212B2 (ja) 2008-11-12
CN101543072A (zh) 2009-09-23
BRPI0804514A2 (pt) 2011-08-30
EP2114075A4 (en) 2010-11-03
US7907633B2 (en) 2011-03-15
RU2402176C1 (ru) 2010-10-20
EP2114075A1 (en) 2009-11-04
KR20090082343A (ko) 2009-07-30
AU2008218064B2 (en) 2010-08-19
RU2009105875A (ru) 2010-08-27
MX2009001858A (es) 2009-04-15

Similar Documents

Publication Publication Date Title
CN101543072B (zh) 数据复用/分离装置
US6801544B1 (en) Method of converting a packetized stream of information signals into a stream of information signals with time stamps and vice versa
US8615602B2 (en) Method and device for recording or playing back a data stream
WO1996005697A1 (en) Video signal editing device
US20060233533A1 (en) Information recording/reproducing system, information recording/reproducing apparatus and information recording/reproducing method
JP2006311508A (ja) データ伝送システムとその送信側装置及び受信側装置
JP4715306B2 (ja) ストリーム制御装置、ストリーム再生方法、映像記録再生システム
CN1722281B (zh) 记录数字数据流的方法和设备
US6112012A (en) Recording multiplexed plural data encoded by plural methods and decoding same according to particular decoding method
JP7014157B2 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
WO2018190122A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2009260643A (ja) データストリーム解析装置、復号装置及びデータストリーム解析方法
JP4661447B2 (ja) 送受信システムおよび方法、送信装置および方法、受信装置および方法、並びに、プログラム
JP6440034B2 (ja) ビデオデータを再生する方法及び装置
JP3781288B2 (ja) データ記録装置、データ記録再生装置及びデータ記録方法
US8355618B2 (en) Image recording system, image recording apparatus, and image recording method
JP4680444B2 (ja) 蓄積型データ放送システム
KR20010018003A (ko) 다중 데이터 동기화 방법 및 그를 이용한 다중 멀티미디어 데이터 스트리밍 방법
JP4378157B2 (ja) データ処理方法および装置
JP2008245122A (ja) データ符号化方法および装置、ならびにデータ符号化プログラム
US7538693B2 (en) Method and apparatus for updating decoder configuration
KR101447190B1 (ko) 초고화질 영상을 위한 컨텐츠 실시간 캡쳐 방법 및 재생 방법
JP2000324070A (ja) データ変換方法とデータ変換装置およびデータ送出システム
WO2006025338A1 (ja) 情報記録媒体並びに多重化装置および復号化装置
JP2011035578A (ja) 送信装置、受信装置及び伝送システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110601

Termination date: 20120218