CN104396264B - 发射/接收设备、方法以及编码/解码设备 - Google Patents

发射/接收设备、方法以及编码/解码设备 Download PDF

Info

Publication number
CN104396264B
CN104396264B CN201380032438.1A CN201380032438A CN104396264B CN 104396264 B CN104396264 B CN 104396264B CN 201380032438 A CN201380032438 A CN 201380032438A CN 104396264 B CN104396264 B CN 104396264B
Authority
CN
China
Prior art keywords
layer
picture
image data
frame frequency
lowermost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380032438.1A
Other languages
English (en)
Other versions
CN104396264A (zh
Inventor
汤泽启二
铃木辉彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104396264A publication Critical patent/CN104396264A/zh
Application granted granted Critical
Publication of CN104396264B publication Critical patent/CN104396264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的目的在于容易地实现高帧频服务。构成视频图像数据的多个画面的每一个的图像数据被分类为多层。每一层的图像数据被编码，使得图像数据所参考的画面属于与图像数据相同的层和/或比图像数据层低的层。发射具有规定格式并包括具有编码的每一层的图像数据的视频流的容器。结果，仅发射一个程序或一个文件，因此可以提供能够处理各种帧频的服务，并且可以减小管理开销。在接收侧，可以选择性地提取并解码与规定层相等或低于规定层的层的编码图像数据，并且以适合设备的回放能力的帧频回放，从而有效地促进接收设备的分布。

Description

发射/接收设备、方法以及编码/解码设备
技术领域
本技术涉及发射设备、发射方法、编码设备、接收设备、接收方法以及解码设备，并且更特别地涉及能够提供高帧频服务的发射设备等。
背景技术
当在广播或网络服务等上提供压缩的运动图像时，可以回放的帧频的上限受到接收机的性能的限制。因此，要求服务侧考虑普遍的接收机的回放性能，并将服务仅限制到低帧频，或同时提供多种高等级和低等级服务。
添加对高帧频服务的支持增加接收机的成本，并且成为采用的障碍。如果专用于低帧频服务的低成本接收机普及，而将来服务侧开始高帧频服务，则新服务不用新接收机是完全无法观看的，这成为对服务的采用的障碍。
例如H.264/AVC(高级视频编码)的运动图像压缩方案(参见非专利文献1)一般由以下三种类型的画面组成：
I画面：由自身可以解码
P画面：由自身参考I画面或其它P画面可以解码
B画面：由自身参考I画面、P画面或其它B画面可以解码
利用这种性质，例如，通过诸如仅播放I画面和P画面，帧抽取的回放在某种程度上是可能的。但是，通过该方法，精细地抽取的回放是困难的，并且作为实际服务的使用是有挑战性的。
引用列表
非专利文献
非专利文献1：ITU-T H.264(06/2011),"Advanced video coding for genericaudiovisual services."
发明内容
技术问题
本技术的目的是容易地实现高帧频服务。
问题的解决方案
根据本技术的方面，提供了一种发射设备，包括：层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及发射部，所述发射部发射包括生成的视频流的规定格式的容器。所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
在本技术中，由层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层。每一层的图像数据由图像编码部进行编码，并生成容纳编码的每一层的图像数据的视频流。在这种情况下，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
由发射部发射包括上述视频流的规定格式的容器。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。作为另一个例子，容器可以是在互联网传送等中使用的MP4，或可以是某些其它格式的容器。
以这种方式，在本技术中，构成运动图像数据的每一个画面的图像数据被分类为多层，并且发射容纳编码的每一层的图像数据的视频流。由于该原因，通过简单地发射一个程序或一个文件，可以提供支持各种帧频的服务，并且操作成本的减少成为可能。
另外，在接收侧，能够选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收侧自身的回放性能的帧频进行回放，从而有效地促进接收机的采用。在本文中，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且在接收机处，能够无需对比规定层高的层进行解码而有效地使用接收机自身的回放性能。
需要注意的是，在本技术中，例如，图像编码部可以被配置为生成容纳编码的每一层的图像数据的单一视频流，并且针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。在这种情况下，在接收侧，能够基于层标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。
另外，在本技术中，例如，层级分类部可以被配置为将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。在这种情况下，每次层增加一层，则帧频变为两倍，因此在接收侧，能够仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。
另外，本技术可以被配置为还包括信息插入部，将最低层中的画面的帧频信息和表示多层的数量的层数量信息插入容器。例如，可以配置使得该信息插入容器层或视频层。在这种情况下，在接收侧，能够容易地取得最低层中的画面的帧频信息和表示多层的数量的层数量信息。
另外，在本技术中，例如，信息插入部可以被配置使得当将信息插入视频层时，信息插入部还将标识是否存在到视频层的信息的插入的标识信息插入容器层。在这种情况下，在接收侧，能够无需对视频流进行解码而知道最低层中的画面的帧频信息和表示多层的数量的层数量信息是否插入视频流。
另外，本技术可以被配置为生成容纳编码的每一层的图像数据的多个视频流。在这种情况下，例如，本技术可以被配置为还包括标识信息插入部，将用于标识每一层的视频流的流标识信息插入容器层。在这种情况下，在接收侧，能够基于流标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。
根据本技术的另一方面，提供了一种接收设备，包括：接收部，所述接收部接收包括视频流的规定格式的容器，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；图像解码部，从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据；以及回放速度调节部，调节根据解码的每一个画面的图像数据的图像回放速度，以与规定层中的画面的帧频匹配。
在本技术中，由接收部接收规定格式的容器。所述容器包括视频流，所述视频流容纳构成运动图像数据的每一个画面的图像数据，该图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。例如，容器可以是数字广播标准中采用的传输流(MPEG-2TS)。作为另一个例子，容器可以是在互联网传送等中使用的MP4，或可以是某些其它格式的容器。
由图像解码部从包括于容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据。随后，由回放速度调节部调节根据解码的每一个画面的图像数据的图像回放速度，以使匹配规定层中的画面的帧频。
例如，本技术可以被配置使得最低层中的画面的帧频信息和表示多层的数量的层数量信息被插入容器，并且本技术还可以包括控制部，所述控制部基于插入容器的信息和接收设备自身的解码性能来控制图像解码部中的解码层，并控制回放速度调节部中的图像回放速度。
以这种方式，在本技术中，可以选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收设备自身的回放性能的帧频进行回放。另外，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且无需对比规定层高的层进行解码而有效地使用接收设备自身的回放性能。
需要注意的是，本技术可以被配置使得例如容器中包括容纳编码的每一层的图像数据的单一视频流，并且针对每一个画面，用于标识包含画面的层的层标识信息被添加到编码的每一层的图像数据。图像解码部基于层标识信息从单一视频流选择性地取回并解码规定层和更低层中的编码图像数据。在这种情况下，即使容器包括容纳编码的每一层的图像数据的单一视频流，也可以进行规定层和更低层中的编码图像数据的良好的选择性取回。
另外，本技术可以被配置使得例如容器中包括容纳编码的多层的每一层的图像数据的多个视频流，并且用于标识每一层的视频流的流标识信息被插入容器层。图像编码部基于流标识信息从规定层和更低层的视频流选择性地取回编码图像数据，并对编码图像数据进行解码。在这种情况下，即使容器包括容纳编码的每一层的图像数据的多个视频流，也可以进行规定层和更低层中的编码图像数据的良好的选择性取回。
发明的有益效果
根据本技术，可以容易地实现高帧频服务。
附图说明
图1是示出作为示例性实施例的TV发射/接收系统的示例性结构的框图。
图2是示出构成TV发射/接收系统的TV发射机的示例性结构的框图。
图3是示出层级分类和图像编码的例子的图。
图4是用于解释层级标识信息(temporal_id)的放置位置的图。
图5是用于解释FPS描述符(fps_descriptor)的放置位置的图。
图6是示出FPS描述符的示例语法(syntax)的图。
图7是示出作为SEI消息插入访问单元(access unit)的“SEIs”部分的FPS信息(fps_info)的示例语法以及放置在PMT下的FPS存在描述符(fps_exit_descriptor)的示例语法的图。
图8是示出构成TV发射/接收系统的TV接收机的示例性结构的框图。
图9是示出在FPS描述符(fps_descriptor)被放置在相同PID中并且在PMT下的情况下的发射处理次序的例子的流程图。
图10是示出在FPS描述符(fps_descriptor)被放置在相同PID中并且在PMT下的情况下的接收处理次序的例子的流程图。
图11是示出在相同PID中添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的流程图。
图12是示出FPS信息(fps_info)SEI消息被添加到相同PID中的情况下的接收处理次序的流程图。
图13是示出在图像编码期间生成具有多层的每一层中的图像数据的多个视频流的情况下根据不同PID的对各层的分派的图。
图14是示出放置在PMT下的结构描述符(structure_descriptor)的示例语法的图。
图15是示出在图像编码期间生成具有多层的每一层中的图像数据的多个视频流的情况下使用FPS信息(fps_info)SEI消息的例子的图。
图16是示出在FPS描述符(structure_descriptor)被放置在不同PID中并且在PMT下的情况下的发射处理次序的例子的流程图。
图17是示出在FPS描述符(structure_descriptor)被放置在不同PID中并且在PMT下的情况下的接收处理次序的例子的流程图。
图18是示出在不同PID中添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的例子的流程图。
图19是示出在不同PID中添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子的流程图。
图20是示出针对如下四种方法的附加信息的比较的图：(a)用相同PID(PES)并且在PMT中的语法记述，(b)用相同PID(PES)并且在SEI中的语法记述，(c)用不同PID(PES)并且在PMT中的语法记述以及(d)用不同PID(PES)并且在SEI中的语法记述。
图21是用于解释层级分类和图像编码的另一个例子的图。
图22是用于解释层级分类和图像编码的另一个例子的图。
图23是用于解释层级分类和图像编码的另一个例子的图。
具体实施方式
以下，将描述用于实现本发明的实施例(以下称为示例性实施例)。以下，描述将以下面的顺序进行。
1.示例性实施例
2.示例性修改
<1.示例性实施例>
[TV发射/接收系统]
图1示出作为示例性实施例的电视(TV)发射/接收系统10的示例性结构。TV发射/接收系统10包括TV发射机100和TV接收机200。
TV发射机100在载波上发射作为容器的传输流TS。在传输流TS中，构成运动图像数据的每一个画面的图像数据被分类为多层，并且传输流TS包括容纳每一层中的图像数据的编码数据的单一视频流。在这种情况下，例如执行诸如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
在这种情况下，构成运动图像数据的每一个画面的图像数据被分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且，属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。通过这样的分类，每次层增加一层，则帧频变为两倍，从而在接收侧，可以仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。
针对每一个画面，向编码的每一层的图像数据添加用于标识所属层的层标识信息。在该示例性实施例中，层标识信息(temporal_id)放置于每一个画面的NAL单元(nal_unit)的头部部分。作为以这种方式添加层标识信息的结果，在接收侧，可以进行规定层和更低层中的编码图像数据的良好的选择性取回。
最低层中的画面的帧频信息和表示多层的数量的层数量信息插入传输流TS。该信息插入传输层或视频层。例如，该信息插入程序映射表(PMT)下的视频基本循环(videoelementary loop)下的语句中。作为另一个例子，该信息作为SEI消息插入访问单元的“SEIs”部分。作为以这种方式插入帧频信息和层数量信息的结果，在接收侧，可以容易地取得该信息。
TV接收机200接收从TV发射机100在载波上发送的上述传输流TS。TV接收机200从包括于传输流TS的视频流选择性地取回并解码规定层和更低层的编码图像数据，取得每一个画面的图像数据，并进行图像回放。在这种情况下，对根据解码的每一个画面的图像数据的图像回放速度进行调节以匹配规定层中的画面的帧频。
如上文所述，最低层中的画面的帧频信息和表示多层的数量的层数量信息插入传输流TS。在TV接收机200处，基于该信息和TV接收机200自身的解码性能来控制解码层，并且控制图像回放速度。
[TV发射机的示例性结构]
图2示出TV发射机100的示例性结构。TV发射机100包括原始运动图像供给部101、解码设备102、层级分类部103、图像编码部104、音频编码部105、多路复用部106、附加信息产生部107以及调制/发射天线部108。
原始运动图像供给部101取回以合适的专业压缩格式存储在例如硬盘驱动器(HDD)的设备上的原始运动图像数据(图像数据、音频数据)，并将取回的原始运动图像数据供给到解码设备102。解码设备102对原始运动图像数据进行解码，并输出未压缩图像数据和未压缩音频数据。
层级分类部103将构成未压缩图像数据的每一个画面的图像数据分类为多层。例如，如在附图中示出的，图像数据被分类为第一层、第二层以及第三层这三层。在本文中，层级分类部103进行分类，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。
图像编码部104对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流(视频基本流)。在本文中，图像编码部104例如进行诸如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
图3示出层级分类和图像编码的例子。该例子是将每一个画面的图像数据分类为从第一层到第三层的三层的例子。在该例子中，I画面(内部画面)和P画面(预测画面)属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。
此外，B画面(双向预测画面)被放置于第一层中的各画面之间的时间上的中心位置，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的组合层的画面。
在该例子中，第二层中的B画面仅参考第一层中的I画面和P画面。由于该原因，第二层可以仅通过第一/第二组合层来解码。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为两倍。
此外，B画面位于第一/第二组合层中的各画面之间的时间上的中心，并属于第三层。第三层中的B画面仅参考属于第三层和/或第一/第二组合层的画面。由于该原因，第三层可以仅通过第一到第三组合层来解码。并且，与仅对第一/第二组合层解码的情况相比，当对第一到第三组合层解码时，帧频变为两倍。
在图3中，虚线表示画面参考关系。第一层中的P画面仅参考紧接在前的I画面或P画面。第二层中的B画面仅参考第一层中的紧接在前或紧跟在后的I画面或P画面。第三层中的B画面仅参考第一/第二组合层中的紧接在前或紧跟在后的I画面、P画面或B画面。
针对每一个画面，图像编码部104将用于标识包含画面的层的层标识信息添加到编码的每一层的图像数据。换言之，图像编码部104将层标识信息(temporal_id)放置于每一个画面的NAL单元(nal_unit)的头部部分。
图4示出层标识信息(temporal_id)的放置位置。即，层标识信息(temporal_id)例如放置于NAL单元头部SVC扩展(Header svc extension)中。此外，如图3所示，对属于第一层的画面分配“temporal_id＝0”，对属于第二层的画面分配“temporal_id＝1”，而对属于第三层的画面分配“temporal_id＝2”。
在图3的例子中，当第一层的帧频仅为30fps时，第一/第二组合层的帧频为60fps，而第一到第三组合层的帧频为120fps。另外，虽然未在附图中示出，但是可以类似地构造第四层和第五层。
返回图2，音频编码部105对未压缩音频数据执行例如MPEG-2音频(MPEG-2Audio)或AAC的编码，并生成音频流(音频基本流)。多路复用部106对从视频编码器132和音频编码器133输出的基本流进行多路复用。多路复用部106然后输出作为传输数据的传输流TS。
附加信息产生部107产生最低层中的画面的帧频信息和表示多层的数量的层数量信息，并将其发送到多路复用部106。多路复用部106将该信息插入传输层。例如，在程序映射表(PMT)的“ES_info_length”下的描述符循环中，多路复用部106放置新定义的FPS描述符(fps_descriptor)，该FPS描述符记述帧频信息和层数量信息，如图5所示。该描述符循环是记述每一个基本流(elementary_stream)的性质信息的地方。FPS描述符被视为上面所包括的一个描述符。
图6示出FPS描述符的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分配当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度，且此处是“0x02”。
8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。例如，在如图3所示的例子的30fps的情况下，值是表示30的“0x1e”。8比特字段“max”表达表示多层的数量的层数量信息。例如，在如图3所示的例子的到第三层为止的层的情况下，值是表示3的“0x03”。
以这种方式，通过在发射侧(编码侧)添加FPS描述符，在接收侧(解码侧)的帧抽取的回放变得容易。换言之，从FPS描述符记述的内容可知，仅在第一层帧频为30fps，在第一/第二组合层帧频为60fps，而在第一到第三组合层帧频为120fps。例如，如果接收侧的解码性能上升到60fps的最大值，则从该信息已知到第一/第二组合层为止是可以解码的。此外，已知对具有“temporal_id＝0”和“temporal_id＝1”的画面解码是足够的。并且，已知以60fps回放解码画面是足够的。
需要注意的是，也可以想到例如在视频层中插入帧频信息和层数量信息，例如在访问单元的“SEIs”部分中插入SEI消息。在这种情况下，附加信息产生部107将该信息发射到图像编码部104，如虚线所表示的。如图7(b)所示，图像编码部104将包括“base”和“max”信息的FPS信息(fps_info)作为“fps_info SEI message”插入访问单元的“SEIs”部分。
在以这种方式使用SEI消息的情况下，多路复用部106将标识该SEI消息的存在的标识信息插入传输层。例如，在程序映射表(PMT)的“ES_info_length”下的描述符循环中，多路复用部106放置新定义的FPS存在描述符(fps_exit_descriptor)，如图7(a)所示。
8比特字段“descriptor_tag”表示描述符的类，且此处表示描述符是FPS存在描述符。例如，分配当前未使用的“0xf2”。8比特字段“descriptor_length”表示紧跟在后的字节长度，且此处是“0x01”。8比特字段“fps_exit”表示插入了FPS信息(fps_info)的SEI消息的存在性。例如，“fps_exit＝0”表示SEI消息不存在，而“fps_exit＝1”表示SEI消息存在。
以这种方式，通过在发射侧(编码侧)添加FPS存在描述符，接收侧(解码侧)知道具有插入的FPS信息(fps_info)的SEI消息的存在性，该FPS信息包括帧频信息和层数量信息。如果FPS存在描述符表示SEI消息的存在性，则接收侧(解码侧)提取fps_info，并且从其中的“base”和“max”的值能够知道哪些画面具有接收侧(解码侧)自身应当解码的“temporal_id”。基于此，接收侧(解码侧)通过期望的“temporal_id”来解码画面。
返回图2，调制/发射天线部108根据适合广播的调制方式(例如QPSK/OFDM)来对传输流TS进行调制。调制/发射天线部108然后从发射天线发射RF调制信号。
将描述图2中示出的TV发射机100的操作。以合适的专业压缩格式存储的原始运动图像数据(图像数据、音频数据)从原始运动图像供给部101供给到解码设备102。在解码设备102中，对原始运动图像数据进行解码，并得到未压缩图像数据和未压缩音频数据。
由解码设备102得到的未压缩图像数据供给到层级分类部103。在层级分类部103中，构成未压缩图像数据的每一个画面的图像数据分类为多层。在这种情况下，对画面进行分类，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心(参见图3)。
以这种方式进行了层级分类的每一层的图像数据供给到图像编码部104。在图像编码部104中，对分类的每一层的图像数据进行解码，并生成容纳编码的每一层的图像数据的视频流(视频基本流)。在这种情况下，进行例如H.264/AVC的编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
在这种情况下，在图像编码部104中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，在图像编码部104中，层标识信息(temporal_id)被放置于每一个画面的NAL单元(nal_unit)的头部部分(参见图4)。
此外，由解码设备102得到的未压缩音频数据供给到音频编码部105。在音频编码部105中，对未压缩音频数据执行例如MPEG-2音频或AAC的编码，并生成音频流(音频基本流)。
由图像编码部104生成的视频流和由音频编码部105生成的音频流供给到多路复用部106。在多路复用部106中，对基本流进行多路复用，并得到作为传输数据的传输流TS。在多路复用部106中，产生最低层中的画面的帧频信息和表示多层的数量的层数量信息，并添加到传输层(容器层)。例如，在多路复用部106中，记述帧频信息和层数量信息的FPS描述符(fps_descriptor)放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中(参见图5和图6)。
需要注意的是，帧频信息和层数量信息例如也可以插入视频层，例如SEI消息插入访问单元的“SEIs”部分。在这种情况下，包括该信息的FPS信息(fps_info)作为“fps_infoSEI message”插入访问单元的“SEIs”部分(参见图7(b))。随后，在这种情况下，标识SEI消息的存在性的标识信息插入传输层(容器层)。例如，在多路复用部106中，FPS存在描述符(fps_exit_descriptor)放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中(参见图7(a))。
由多路复用部106生成的传输流TS发送到调制/发射天线部108。在调制/发射天线部108中，根据适合广播的调制方式(例如QPSK/OFDM)来对传输流TS进行调制，并生成RF调制信号。随后，在调制/发射天线部108中，RF调制信号从发射天线发射。
[示例性TV接收机的结构]
图8示出TV接收机200的示例性结构。TV接收机200包括接收天线/解调部201、多路分解部202、控制部203、图像解码部204、回放速度调节部205、图像显示部206、音频解码部207以及音频输出部208。
接收天线/解调部201对通过接收天线接收的RF调制信号进行解调，并取得传输流TS。多路分解部202从传输流TS分别提取视频流和音频流。在视频流中，构成运动图像数据的每一个画面的图像数据分类为多层，其中图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
此外，多路分解部202提取插入传输流TS的传输层(容器层)的各种信息，并将其发射到控制部203。此时，放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS描述符(fps_descriptor)也被提取。在FPS描述符中，记述最低层中的画面的帧频信息和表示多层的数量的层数量信息。
替代地，如果例如帧频信息和层数量信息插入视频层，例如SEI消息插入访问单元的“SEIs”部分，则可以提取放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS存在描述符。
图像解码部204从由多路分解部202多路分解的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据。此时，图像解码部204基于放置在每一个画面的NAL单元的头部部分的层标识信息(temporal_id)来取回并解码期望的层中的画面的编码图像数据。回放速度调节部205调节根据解码的每一个画面的图像数据的图像回放速度，以匹配规定层中的画面的帧频。换言之，回放速度调节部205依次输出解码的每一个画面的图像数据，以匹配规定层中的画面的帧频(帧率)。
控制部203控制TV接收机200的每一个部分的操作。控制部203通过向图像解码部204发射指定将被解码的规定层和更低层的解码层信息，来控制解码层。此外，控制部203通过向回放速度调节部205发射与规定层中的画面的帧频对应的回放速度信息(例如同步信号)，来控制图像回放速度。
控制部203基于帧频信息、层数量信息以及TV接收机200自身的解码性能来控制图像解码部204中的解码层和回放速度调节部205中的图像回放速度。例如，考虑FPS描述符(fps_descriptor)具有如图6所述的记述的内容的情况。
在这种情况下，控制部203知道仅在第一层帧频为30fps，在第一/第二组合层帧频为60fps，而在第一到第三组合层帧频为120fps。此外，如果TV接收机200自身的解码能力上升到60fps的最大值，则控制部203从该信息知道到第一/第二组合层为止是可以解码的。此外，控制部203知道对具有“temporal_id＝0”和“temporal_id＝1”的画面解码是足够的。并且，控制部203知道以60fps回放解码画面是足够的。
图像显示部206由例如液晶显示器(LCD)的显示器组成。图像显示部206显示根据从回放速度调节部205输出的每一个画面的图像数据的图像。音频解码部207对由多路分解部202多路分解的音频流执行解码，并得到与由图像解码部204得到的图像数据对应的音频数据。音频输出部208由例如放大器和扬声器的组件组成。音频输出部208输出根据从音频解码部207输出的音频数据的音频。
将描述如图8所示的TV接收机200的操作。在接收天线/解调部201中，对通过接收天线接收的RF调制信号进行解调，并取得传输流TS。该传输流TS供给到多路分解部202。在多路分解部202中，从传输流TS分别提取视频流和音频流。在本文中，在视频流中，构成运动图像数据的每一个画面的图像数据分类为多层，其中图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
此外，在多路分解部202中，插入传输流TS的传输层(容器层)的各种信息被提取并发射到控制部203。此时，放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS描述符(fps_descriptor)也被提取。在FPS描述符中，记述最低层中的画面的帧频信息和表示多层的数量的层数量信息。
替代地，例如，如果帧频信息和层数量信息插入视频层，例如SEI消息插入访问单元的“SEIs”部分，则可以提取放置在程序映射表(PMT)的“ES_info_length”下的描述符循环中的FPS存在描述符。
在控制部203中，基于帧频信息、层数量信息以及TV接收机200自身的解码性能来确定到哪一层为止是可以解码的。此外，通过该控制部203，图像解码部204中的解码层和回放速度调节部205中的图像回放速度受到控制。
由多路分解部202多路分解的视频流供给到图像解码部204。在图像解码部204中，在控制部203的控制下，从视频流选择性地取回并解码规定层和更低层中的编码图像数据，并依次得到每一个画面的图像数据。以这种方式解码的每一个画面的图像数据供给到回放速度调节部205。
在回放速度调节部205中，在控制部203的控制下，调节根据每一个画面的图像数据的图像回放速度，以使匹配规定层中的画面的帧频。换言之，每一个画面的图像数据从回放速度调节部205依次输出，以匹配规定层中的画面的帧频(帧率)。图像数据供给到图像显示部206，并显示根据规定层和更低层中的每一个画面的图像数据的图像。
另外，由多路分解部202多路分解的音频流供给到音频解码部207。在音频解码部207中，对音频流执行解码，并得到与由图像解码部204得到的图像数据对应的音频数据。音频数据供给到音频输出部208，并输出与显示的图像对应的音频。
图9中的流程图示出在图2中所示的TV发射机100中、在FPS描述符(fps_descriptor)被放置在PMT下的情况下的发射处理次序的例子。需要注意的是，在图2中示出的TV发射机100中，在图像编码部104中，如上文讨论的，生成容纳各层中的画面的编码图像数据的单一视频流。
首先，在步骤ST1中，TV发射机100开始发射处理。随后，在步骤ST2中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。
接下来，在步骤ST3中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。
接下来，在步骤ST4中，TV发射机100对每一个层级分类的画面的图像数据进行编码。在这种情况下，对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100将层标识信息(temporal_id)放置在每一个画面的NAL单元(nal_unit)的头部部分。
接下来，在步骤ST5中，TV发射机100对音频数据进行编码。随后，在步骤ST6中，TV发射机100生成FPS描述符(fps_descriptor)和包含FPS描述符的PMT。
接下来，在步骤ST7中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，在步骤ST8中，TV发射机100调制并发射传输流TS。之后，在步骤ST9中，TV发射机100结束处理。
图10中的流程图示出在图8中所示的TV接收机200中、在FPS描述符(fps_descriptor)被放置在PMT的“ES_info_length”下的描述符循环中的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图9中的流程图所示的发射处理次序对应。
首先，在步骤ST11中，TV接收机200开始接收处理。随后，在步骤ST12中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。
接下来，在步骤ST13中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S14中，TV接收机200从PMT提取FPS描述符(fps_descriptor)，将FPS描述符与TV接收机200自身的解码性能进行比较，并决定要解码的层。
接下来，在步骤ST15中，TV接收机200对步骤ST14中决定的层中的画面的图像数据进行解码。随后，根据FPS描述符(fps_descriptor)的内容来以适合的回放速度进行回放。此外，在步骤ST16中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST17中，TV接收机200结束处理。
图11中的流程图示出在图2中所示的TV发射机100中、在添加FPS信息(fps_info)SEI消息的情况下的发射处理次序的例子。需要注意的是，在图2中示出的TV发射机100中，在图像编码部104中，如上文讨论的，生成容纳各层中的编码图像数据的单一视频流。
首先，在步骤ST21中，TV发射机100开始发射处理。随后，在步骤ST22中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。
接下来，在步骤ST23中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。
接下来，在步骤ST24中，TV发射机100对每一个层级分类的画面的图像数据进行编码。在这种情况下，对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100将层标识信息(temporal_id)放置在每一个画面的NAL单元(nal_unit)的头部部分。此外，TV发射机100添加FPS信息(fps_info)SEI消息。
接下来，在步骤ST25中，TV发射机100对音频数据进行编码。随后，在步骤ST26中，TV发射机100生成FPS存在描述符(fps_exist_descriptor)和包含FPS存在描述符的PMT。
接下来，在步骤ST27中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，在步骤ST28中，TV发射机100调制并发射传输流TS。之后，在步骤ST29中，TV发射机100结束处理。
图12中的流程图示出在图8中所示的TV接收机200中、在添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图11中的流程图所示的发射处理次序对应。
首先，在步骤ST31中，TV接收机200开始接收处理。随后，在步骤ST32中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。
接下来，在步骤ST33中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S34中，TV接收机200从PMT提取FPS存在描述符(fps_exit_descriptor)，并查看“fps_exit”。然后，在步骤ST35中，TV接收机200判断是否“fps_exit＝1”。
当“fps_exit＝1”时，在步骤ST36中，TV接收机200提取作为SEI消息添加的FPS信息(fps_info)，将FPS信息与TV接收机200自身的解码性能进行比较，并决定要解码的层。在步骤ST37中，TV接收机200对步骤ST36中决定的层中的画面的图像数据进行解码。随后，根据FPS信息(fps_info)的内容来以适合的回放速度进行回放。此外，在步骤ST38中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST39中，TV接收机200结束处理。
另外，当步骤ST35中“fps_exit＝0”时，在步骤ST40中，TV接收机200对图像数据正常地解码并回放。此外，在步骤ST38中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST39中，TV接收机200结束处理。
如上文描述的，在图1中示出的TV发射/接收系统10中，构成运动图像数据的每一个画面的图像数据分类为多层，并发射容纳编码的每一层的图像数据的视频流。由于该原因，在发射侧，通过简单地发射一个程序或一个文件，可以提供支持各种帧频的服务，并且操作成本的减少成为可能。
同时，在接收侧，可以选择性地取回并解码规定层和更低层中的编码图像数据，使得能够以适合接收侧自身的回放性能的帧频进行回放，从而有效地促进接收机的采用。在本文中，图像数据被编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并且在接收机处，可以无需对比规定层高的层进行解码而有效地使用接收侧自身的回放性能。
另外，在图1中示出的TV发射/接收系统10中，图像编码部104生成容纳编码的每一层的图像数据的单一视频流，且针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息(temporal_id)。由于该原因，在接收侧，可以基于层标识信息来进行规定层和更低层中的编码图像数据的良好的选择性取回。
另外，在图1中示出的TV发射/接收系统10中，层级分类部103将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。由于该原因，每次层增加一层，则帧频变为两倍，从而在接收侧，可以仅用最低层中的画面的帧频信息来容易地识别每一层中的帧频。
另外，在图1中示出的TV发射/接收系统10中，最低层中的画面的帧频信息和表示多层的数量的层数量信息插入容器层(传输层)或视频层。由于该原因，在接收侧，可以容易地取得最低层中的画面的帧频信息和表示多层的数量的层数量信息。
<2.修改>
[不同PID的例子]
需要注意的是，上述实施例说明在图像编码部104中生成容纳编码的每一层的图像数据的单一视频流的例子，或换言之，相同PID的例子。然而，在图像编码部104中，也可以想到生成容纳多层的每一层的图像数据的多个视频流。
在这种情况下，如图13中所示的，对每一层分配不同PID。当通过视频层的层级分层而分离的每一层的NAL单元被多路复用为传输流包时，对每一层分配不同PID。与如上文讨论的实施例中的将所有层放入相同PID的情况相比，如存在如下不同。
-相同PID的情况
(a)在接收侧(解码侧)，仅取得一个PID的TS包。
(b)分析nal头部，检测“temporal_id”，并且仅对具有要求的“temporal_id”的nal单元进行解码。
-不同PID的情况
(a)在接收侧(解码侧)，取得要求的多个PID的TS包。
(b)对取得的PID的TS包内的所有nal单元进行解码。“temporal_id”可以存在或可以不存在。
在不同PID的情况下，结构描述符(structure_descriptor)例如放置在PMT的“program_info_length”下的描述符循环中。图14示出结构描述符的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是结构描述符。例如，分配当前未使用的“0xf1”。8比特字段“descriptor_length”表示紧跟在后的字节长度。
8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。例如，在如图13所示的例子的30fps的情况下，值是表示30的“0x1e”。8比特字段“max”表达表示多层的数量的层数量信息。例如，在如图13所示的例子的到第三层为止的层的情况下，值是表示3的“0x03”。
在for循环内，记述所有分配到每一层的PID(layer_PID)。记述顺序例如从第一层顺次进行。在解码侧，从“base”的值和列出的PID知道应当取得哪些PID的TS包。
此外，也可以想到与不同PID一起使用图15(b)中示出的FPS信息(fps_info)SEI消息。在这种情况下，图15(a)中示出的结构描述符(structure_descriptor)放置在“program_info_length”下的描述符循环中。在接收侧(解码侧)，取得在结构描述符的for循环的开始处记述的第一层的PID的TS包，并且提取其中的SEI消息，即FPS信息(fps_info)。从“base”的值判断将被解码的层，从结构描述符的“layer_PID”检测将取得的TS包的PID，从而取得并解码期望的TS包。
图16中的流程图示出针对被配置为使得TV发射机100以不同PID对每一层的图像数据进行编码、并且FPS描述符(structure_descriptor)被放置在PMT下的情况的发射处理次序的例子。
首先，在步骤ST51中，TV发射机100开始发射处理。随后，在步骤ST52中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。
接下来，在步骤ST53中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。
接下来，在步骤ST54中，TV发射机100对每一个层级分类的画面的图像数据进行编码。对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。
接下来，在步骤ST55中，TV发射机100对音频数据进行编码。随后，在步骤ST56中，TV发射机100生成结构描述符(structure_descriptor)和包含FPS结构描述符的PMT。
接下来，在步骤ST57中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，TV发射机100针对每一层将图像数据与不同PID多路复用。随后，在步骤ST58中，TV发射机100调制并发射传输流TS。之后，在步骤ST59中，TV发射机100结束处理。
图17中的流程图示出在图8中所示的TV接收机200中、在每一层的图像数据以不同PID编码并且结构描述符(structure_descriptor)被放置在PMT下的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图16中的流程图所示的发射处理次序对应。
首先，在步骤ST61中，TV接收机200开始接收处理。随后，在步骤ST62中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。
接下来，在步骤ST63中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。随后，在步骤S64中，TV接收机200从PMT提取结构描述符(structure_descriptor)，将结构描述符与TV接收机200自身的解码性能进行比较，并决定要解码的层。
接下来，在步骤ST65中，TV接收机200根据每一个PID的TS包来对步骤ST64中决定的层中的画面的图像数据进行解码。随后，根据结构描述符(structure_descriptor)的内容来以适合的回放速度进行回放。此外，在步骤ST66中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST67中，TV接收机200结束处理。
图18中的流程图示出针对TV发射机100用不同PID对每一层的图像数据进行编码、并且添加FPS信息(fps_info)SEI消息的情况的发射处理次序的例子。
首先，在步骤ST71中，TV发射机100开始发射处理。随后，在步骤ST72中，TV发射机100对原始运动图像数据进行解码，并生成未压缩图像数据和音频数据。
接下来，在步骤ST73中，TV发射机100将每一个画面的图像数据分类为多层。在这种情况下，画面(帧)被分为两部分，且每隔一个被放入第三层。此外，另外的画面(帧)再次被分为两部分，且每隔一个被放入第二层，而剩余的部分被放入第一层。
接下来，在步骤ST74中，TV发射机100对每一个层级分类的画面的图像数据进行编码。对第一层进行编码。在这种情况下，仅在第一层内可以进行参考。另外，对第二层进行编码。在这种情况下，在第一层和第二层内可以进行参考。另外，对第三层进行编码。在这种情况下，在第一层到第三层内可以进行参考。此时，TV发射机100添加FPS信息(fps_info)SEI消息。
接下来，在步骤ST75中，TV发射机100对音频数据进行编码。随后，在步骤ST76中，TV发射机100生成结构描述符(structure_descriptor)和包含FPS结构描述符的PMT。
接下来，在步骤ST77中，TV发射机100将编码图像数据、音频数据和PMT多路复用到传输流TS中。随后，TV发射机100针对每一层将图像数据与不同PID多路复用。随后，在步骤ST78中，TV发射机100调制并发射传输流TS。之后，在步骤ST79中，TV发射机100结束处理。
图19中的流程图示出图8中所示的TV接收机200中、在每一层的图像数据用不同PID编码并且添加FPS信息(fps_info)SEI消息的情况下的接收处理次序的例子。该接收处理次序与上文讨论的图18中的流程图所示的发射处理次序对应。
首先，在步骤ST81中，TV接收机200开始接收处理。随后，在步骤ST82中，TV接收机200接收并解调RF调制信号(广播信号)，并得到传输流TS。
接下来，在步骤ST83中，TV接收机200从传输流TS提取图像数据、音频数据和PMT。在步骤S84中，TV接收机200从PMT提取结构描述符(structure_descriptor)。然后，在步骤ST85中，TV接收机200判断结构描述符是否存在。
当结构描述符存在时，在步骤ST86中，TV接收机200提取作为SEI消息添加的FPS信息(fps_info)，将FPS信息与TV接收机200自身的解码性能进行比较，并决定要解码的层。在步骤ST77中，TV接收机200根据每一个PID的TS包来对步骤ST76中决定的层中的画面的图像数据进行解码。随后，根据FPS信息(fps_info)的内容来以适合的回放速度进行回放。此外，在步骤ST88中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST89中，TV接收机200结束处理。
另外，当步骤ST85中结构描述符不存在时，在步骤ST90中，TV接收机200对图像数据正常地解码并回放。此外，在步骤ST88中，TV接收机200对音频数据进行解码并回放。之后，在步骤ST89中，TV接收机200结束处理。
图20示出上述四种方法的附加信息的比较，上述四种方法是：(a)用相同PID(PES)并且在PMT中的语法记述，(b)用相同PID(PES)并且在SEI中的语法记述，(c)用不同PID(PES)并且在PMT中的语法记述以及(d)用不同PID(PES)并且在SEI中的语法记述。
[层级分类和图像编码的其它例子]
另外，上述实施例说明如下例子：将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。然而，分类方法不限于这样的例子。例如，也可以是如下的分类方法。
-其它例子1
图21(a)示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层和第二层这两层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。
此外，两个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为三倍。因此，如附图中示出的，当第一层的帧频仅为40fps时，第一/第二组合层的帧频为120fps。
同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，而对属于第二层的画面分配“temporal_id＝1”。
图21(b)示出在进行了图21(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。
8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示40的“0x28”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示2的“0x02”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x03”，其记述倍数是3x(3倍)。
-其它例子2
图22(a)也示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层和第二层这两层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。
此外，四个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为五倍。因此，如附图中示出的，当第一层的帧频仅为24fps时，第一/第二组合层的帧频为120fps。
同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，而对属于第二层的画面分配“temporal_id＝1”。
图22(b)示出在进行了图22(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。
8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示24的“0x18”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示2的“0x02”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x05”，其记述倍数是5x。
-其它例子3
图23(a)也示出层级分类和图像编码的另一个例子。该例子是将每一个画面的图像数据分类为第一层到第四层这四层的例子。在该例子中，I画面和P画面属于第一层。I画面不参考另一个画面，而P画面仅参考I画面或P画面。由于该原因，第一层仅通过第一层画面是可以解码的。
此外，B画面(双向预测画面)被放置于第一层中的各画面之间的时间上的中心位置，并属于第二层。第二层中的B画面被编码，以使仅参考属于第二层和/或第一层的组合层的画面。由于该原因，第二层仅通过第一/第二组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对第一/第二组合层解码时，帧频变为两倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一/第二组合层的帧频为24fps。
此外，四个B画面被放置于第一层中的每一个画面之间的时间上相等间隔处，并属于第三层。第三层中的B画面被编码，以使仅参考属于第三层和/或第二层或以下的画面。由于该原因，第三层仅通过从第一到第三组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对从第一到第三组合层解码时，帧频变为五倍。另外，与第一和第二组合层相比，帧频变为2.5倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一到第三组合层的帧频为60fps。
此外，B画面(双向预测画面)被放置于第一层和第三层中的各画面之间的时间上的中心位置，并属于第四层。然而，因为画面的一部分与第二层中的画面相同，所以该画面的一部分缺少。第四层中的B画面被编码，以使仅参考属于第四层和/或第三层或以下的画面。由于该原因，第四层仅通过第一到第四组合层是可以解码的。另外，与仅对第一层解码的情况相比，当对从第一到第四组合层解码时，帧频变为十倍。因此，如附图中示出的，当第一层的帧频仅为12fps时，第一到第四组合层的帧频为120fps。
同样在该例子中，针对每一个画面，向编码的每一层的图像数据添加用于标识包含画面的层的层标识信息。换言之，层标识信息(temporal_id)被放置在每一个画面的NAL单元(nal_unit)的头部部分。在该例子中，对属于第一层的画面分配“temporal_id＝0”，对属于第二层的画面分配“temporal_id＝1”，对属于第三层的画面分配“temporal_id＝2”，而对属于第四层的画面分配“temporal_id＝3”。
图23(b)示出在进行了图23(a)中所示的层级分类和图像编码的情况下的FPS描述符(fps_descriptor)的示例语法。8比特字段“descriptor_tag”表示描述符的类，且在此处表示描述符是FPS描述符。例如，分派当前未使用的“0xf0”。8比特字段“descriptor_length”表示紧跟在后的字节长度。
8比特字段“base”表达最低层中的画面的帧频信息，或换言之，表达第一层的帧频信息。在该例子中，值是表示12的“0x0C”。8比特字段“max”表达表示多层的数量的层数量信息。在该例子中，值是表示4的“0x04”。另外，在for循环内，记述所有到第二层和其后的层中的每一层为止的组合层中的帧频相对第一层的帧频的倍数。在该例子中，对于第二层值是“0x03”，其记述倍数是2x。此外，对于第三层值是“0x05”，其记述倍数是5x。另外，对于第四层值是“0x0a”，其记述倍数是10x。
[其它]
另外，虽然上述实施例说明由TV发射机100和TV接收机200组成的TV发射/接收系统10，但是可以应用本技术的TV发射/接收系统的结构不限于此。例如，TV接收机200的一部分也可以是例如由数字接口(例如高清多媒体接口(HDMI))连接的机顶盒和监视器等的结构。
另外，上述实施例说明容器是传输流(MPEG-2TS)的例子。然而，本技术类似地能够应用于被配置用于使用例如互联网的网络来向接收终端传送的系统。通过互联网传送，内容经常在MP4或某些其它格式的容器中传送。换言之，关于容器，有各种格式的容器，例如数字广播标准中采用的传输流(MPEG-2TS)或用于互联网传送的MP4。
此外，本技术也可以被配置如下。
(1)一种发射设备，包括：
层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；
图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及
发射部，所述发射部发射包括生成的视频流的规定格式的容器，其中所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
(2)根据(1)所述的发射设备，其中
所述图像编码部
生成容纳编码的每一层的图像数据的单一视频流，并且
针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。
(3)根据(1)或(2)所述的发射设备，其中
所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面在数量上与属于所有更低层的画面相等，并且属于每一层的画面位于属于所有更低层的画面之间的时间上的中心。
(4)根据(1)至(3)所述的发射设备，还包括：
信息插入部，所述信息插入部将最低层的画面的帧频信息和表示所述多层的数量的层数量信息插入所述容器。
(5)根据(4)所述的发射设备，其中
所述信息插入部将信息插入容器层或视频层。
(6)根据(5)所述的发射设备，其中
当将信息插入所述视频层时，所述信息插入部还将标识是否存在到所述视频层的信息的插入的标识信息插入所述容器层。
(7)根据(1)所述的发射设备，其中
所述图像编码部生成容纳编码的所述多层的每一层的图像数据的多个视频流。
(8)根据(7)所述的发射设备，还包括：
标识信息插入部，所述标识信息插入部将用于标识每一层的视频流的流标识信息插入所述容器层。
(9)一种发射方法，包括：
将构成运动图像数据的每一个画面的图像数据分类为多层的步骤；
对分类的每一层的图像数据进行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层，并生成容纳编码的每一层的图像数据的视频流的步骤；以及
发射包括生成的视频流的规定格式的容器的步骤。
(10)一种发射设备，包括：
层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；
图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及
发射部，所述发射部发射包括生成的视频流的规定格式的容器，
其中所述图像编码部
生成容纳编码的每一层的图像数据的单一视频流，并且
针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。
(11)一种编码设备，包括：
层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层；以及
图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流，
其中所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层。
(12)根据权利要求11所述的编码设备，其中
所述图像编码部
生成容纳编码的每一层的图像数据的单一视频流，并且
针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。
(13)一种接收设备，包括：
接收部，所述接收部接收包括视频流的规定格式的容器，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；
图像解码部，所述图像解码部从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据；以及
回放速度调节部，所述回放速度调节部调节根据解码的每一个画面的图像数据的图像回放速度，以与规定层中的画面的帧频匹配。
(14)根据(13)所述的接收设备，其中
最低层中的画面的帧频信息和表示所述多层的数量的层数量信息被插入所述容器，
所述接收设备还包括：
控制部，所述控制部基于插入所述容器的信息和所述接收设备的解码性能来控制所述图像解码部中的解码层，并控制所述回放速度调节部中的图像回放速度。
(15)根据(13)所述的接收设备，其中
所述容器中包括容纳编码的每一层的图像数据的单一视频流，
针对每一个画面，用于标识包含画面的层的层标识信息被添加到编码的每一层的图像数据，并且
所述图像解码部基于所述层标识信息从所述单一视频流选择性地取回并解码规定层和更低层中的编码图像数据。
(16)根据(13)所述的接收设备，其中
所述容器中包括容纳编码的所述多层的每一层的图像数据的多个视频流，
用于标识每一层的视频流的流标识信息被插入容器层，并且
图像编码部基于所述流标识信息从规定层和更低层的视频流选择性地取回编码图像数据，并对所述编码图像数据进行解码。
(17)一种接收方法，包括：
接收包括视频流的规定格式的容器的步骤，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；
从包括于接收的容器中的视频流选择性地取回并编码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据的步骤；以及
将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的帧频的步骤。
(18)一种解码设备，包括：
图像解码部，所述图像解码部从容纳构成运动图像数据的每一个画面的图像数据的视频流选择性地取回并编码规定层和更低层中的编码图像数据，并得到每一个画面的图像数据，其中所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层低的层；以及
回放速度调节部，所述回放速度调节部将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的帧频。
符号说明
10 TV发射/接收系统
100 TV发射机
101 原始运动图像数据供给部
102 解码设备
103 层级分类部
104 图像编码部
105 音频编码部
106 多路复用部
107 附加信息产生部
108 调制/发射天线部
200 TV接收机
201 接收天线/解调部
202 多路分解部
203 控制部
204 图像解码部
205 回放速度调节部
206 图像显示部
207 音频解码部
208 音频输出部

Claims (11)

1.一种发射设备，包括：
层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间；
图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及
发射部，所述发射部生成容器层描述符并发射包括生成的视频流和生成的容器层描述符的规定格式的容器，其中，
对于最低层，所述容器层描述符包括最低层的帧频；以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积，
其中所述图像编码部执行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层更低的层。
2.根据权利要求1所述的发射设备，其中
所述图像编码部
生成容纳编码的每一层的图像数据的单一视频流，并且
针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。
3.根据权利要求1所述的发射设备，其中
所述图像编码部生成容纳编码的所述多层的每一层的图像数据的多个视频流。
4.根据权利要求3所述的发射设备，还包括：
标识信息插入部，所述标识信息插入部将用于标识每一层的视频流的流标识信息插入所述容器层描述符。
5.一种发射方法，包括：
将构成运动图像数据的每一个画面的图像数据分类为多层的步骤，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间；
对分类的每一层的图像数据进行编码，使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层更低的层，并生成容纳编码的每一层的图像数据的视频流的步骤；以及
生成容器层描述符并发射包括生成的视频流和生成的容器层描述符的规定格式的容器的步骤，其中，
对于最低层，所述容器层描述符包括最低层的帧频；以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积。
6.一种发射设备，包括：
层级分类部，所述层级分类部将构成运动图像数据的每一个画面的图像数据分类为多层，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间；
图像编码部，所述图像编码部对分类的每一层的图像数据进行编码，并生成容纳编码的每一层的图像数据的视频流；以及
发射部，所述发射部生成容器层描述符并发射包括生成的视频流和生成的容器层描述符的规定格式的容器，其中，
对于最低层，所述容器层描述符包括最低层的帧频；以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积，
其中所述图像编码部
生成容纳编码的每一层的图像数据的单一视频流，并且
针对每一个画面，将用于标识包含该画面的层的层标识信息添加到编码的每一层的图像数据。
7.一种接收设备，包括：
接收部，所述接收部接收包括容器层描述符和视频流的规定格式的容器，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层更低的层，其中，
对于最低层，所述容器层描述符包括最低层的帧频，以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积；
图像解码部，所述图像解码部从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层的编码图像数据，并得到每一个画面的图像数据；
控制部，所述控制部基于包含在所述容器层描述符中的最低层的帧频和高于最低层的每一层的各自的倍数因子、以及所述接收设备的解码性能来为所述图像解码部确定所述规定层，并确定所述规定层中的画面的帧频，所述画面的帧频是基于包含在所述容器层描述符中的最低层的帧频和所述规定层的倍数因子来确定的；以及
回放速度调节部，所述回放速度调节部调节根据解码的每一个画面的图像数据的图像回放速度，以与所确定的规定层中的画面的帧频匹配，
其中，所述图像数据被分类为多层，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间。
8.根据权利要求7所述的接收设备，其中
所述容器中包括容纳编码的每一层的图像数据的单一视频流，
针对每一个画面，用于标识包含画面的层的层标识信息被添加到编码的每一层的图像数据，并且
所述图像解码部基于所述层标识信息从所述单一视频流选择性地取回并解码规定层和更低层中的编码图像数据。
9.根据权利要求7所述的接收设备，其中
所述容器中包括容纳编码的所述多层的每一层的图像数据的多个视频流，
用于标识每一层的视频流的流标识信息被插入容器层描述符，并且
图像解码部基于所述流标识信息从规定层和更低层的视频流选择性地取回编码图像数据，并对所述编码图像数据进行解码。
10.一种接收方法，包括：
接收包括容器层描述符和视频流的规定格式的容器的步骤，所述视频流容纳构成运动图像数据的每一个画面的图像数据，所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层更低的层，其中
对于最低层，所述容器层描述符包括最低层的帧频，以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积；
从包括于接收的容器中的视频流选择性地取回并解码规定层和更低层的编码图像数据，并得到每一个画面的图像数据的步骤；
基于包含在所述容器层描述符中的最低层的帧频和高于最低层的每一层的各自的倍数因子、以及接收设备的解码性能来为解码的步骤确定所述规定层并确定画面的帧频的步骤，所述画面的帧频是基于包含在所述容器层描述符中的最低层的帧频和所述规定层的倍数因子来确定的；以及
将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的所确定的帧频的步骤，
其中，所述图像数据被分类为多层，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间。
11.一种解码设备，包括：
图像解码部，所述图像解码部从容纳构成运动图像数据的每一个画面的图像数据的视频流选择性地取回并解码规定层和更低层的编码图像数据，并得到每一个画面的图像数据，其中所述图像数据被分类为多层，并被编码使得被参考的画面属于参考图像数据的层和/或比参考图像数据的层更低的层，其中所述视频流包含在容器中，所述容器包括容器层描述符，其中，
对于最低层，所述容器层描述符包括最低层的帧频，以及
对于高于最低层的每一层，所述容器层描述符包括与该层的帧频相对应的倍数因子，其中该层的帧频为所述最低层的帧频与该层的所述倍数因子的乘积；以及
回放速度调节部，所述回放速度调节部将根据解码的每一个画面的图像数据的图像回放速度调节到规定层中的画面的帧频，所述画面的帧频是基于包含在所述容器层描述符中的最低层的帧频和所述规定层的倍数因子来确定的，
其中，所述图像数据被分类为多层，使得除了最低层之外，属于每一层的画面位于属于所有更低层中的一个或多个更低层的画面之间。
CN201380032438.1A 2012-06-28 2013-06-21 发射/接收设备、方法以及编码/解码设备 Active CN104396264B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-144979 2012-06-28
JP2012144979 2012-06-28
PCT/JP2013/067147 WO2014002914A1 (ja) 2012-06-28 2013-06-21 送信／受信装置、方法、符号化／復号化装置

Publications (2)

Publication Number Publication Date
CN104396264A CN104396264A (zh) 2015-03-04
CN104396264B true CN104396264B (zh) 2019-04-02

Family

ID=49783066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380032438.1A Active CN104396264B (zh) 2012-06-28 2013-06-21 发射/接收设备、方法以及编码/解码设备

Country Status (9)

Country Link
US (3) US10250901B2 (zh)
EP (2) EP3758376A1 (zh)
JP (1) JP6576635B2 (zh)
KR (1) KR102161863B1 (zh)
CN (1) CN104396264B (zh)
BR (1) BR112014032108B1 (zh)
IN (1) IN2014MN02408A (zh)
RU (1) RU2641470C2 (zh)
WO (1) WO2014002914A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
EP3059974B1 (en) 2013-10-18 2019-11-13 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
JP6583260B2 (ja) * 2014-02-21 2019-10-02 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5836424B2 (ja) * 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015163267A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6768096B2 (ja) * 2014-05-23 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法及び画像復号装置
JP6483028B2 (ja) * 2014-05-23 2019-03-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法及び画像符号化装置
CN106664445B (zh) * 2014-08-07 2020-04-21 索尼公司 发送设备、发送方法和接收设备
JP2017228895A (ja) * 2016-06-21 2017-12-28 Ｎｅｃプラットフォームズ株式会社 階層符号化信号間引き装置、制御方法およびプログラム
GB2553588B (en) 2016-09-13 2020-06-24 Ge Aviat Systems Ltd Multi-semiconductor solid state power controllers and method for managing inductive switching transients thereof
JP6350638B2 (ja) * 2016-11-16 2018-07-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507281A (zh) * 2006-07-12 2009-08-12 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
CN101924944A (zh) * 2009-06-15 2010-12-22 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834750B1 (ko) 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
EP2096873A3 (en) 2004-07-20 2009-10-14 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression
US8477840B2 (en) * 2005-09-29 2013-07-02 Thomson Research Funding Corporation Method and apparatus for constrained variable bit rate (VBR) video encoding
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 ｓｖｃ 파일포맷에서의 비디오데이터 공유방법
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
CA2644753A1 (en) 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
JP2010507346A (ja) * 2006-10-16 2010-03-04 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法
CA2692484C (en) * 2007-07-02 2013-04-16 Lg Electronics Inc. Digital broadcasting system and data processing method
US7953882B2 (en) * 2007-07-26 2011-05-31 Realnetworks, Inc. Adaptive variable fidelity media distribution system and method
GB2456572B (en) * 2008-01-18 2012-03-14 Picochip Designs Ltd Femtocell device
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
EP2194717A2 (en) * 2008-12-08 2010-06-09 Electronics and Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
KR20120015260A (ko) * 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507281A (zh) * 2006-07-12 2009-08-12 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
CN101924944A (zh) * 2009-06-15 2010-12-22 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
system and transport interface of SVC;Ye-Kui Wang 等;《IEEE Transactions on Circuits and Systems for Video Technology》;20070924;对比文件正文第I-VI部分以及附图1、4、5、7

Also Published As

Publication number Publication date
BR112014032108A2 (pt) 2017-08-01
JP6576635B2 (ja) 2019-09-18
US10250901B2 (en) 2019-04-02
EP2869555A1 (en) 2015-05-06
JPWO2014002914A1 (ja) 2016-05-30
US11979594B2 (en) 2024-05-07
KR102161863B1 (ko) 2020-10-05
RU2641470C2 (ru) 2018-01-17
BR112014032108B1 (pt) 2022-12-27
EP3758376A1 (en) 2020-12-30
IN2014MN02408A (zh) 2015-08-21
US20150124884A1 (en) 2015-05-07
KR20150035699A (ko) 2015-04-07
US20200359044A1 (en) 2020-11-12
WO2014002914A1 (ja) 2014-01-03
EP2869555A4 (en) 2016-03-16
CN104396264A (zh) 2015-03-04
US10750199B2 (en) 2020-08-18
RU2014151717A (ru) 2016-07-10
US20190124352A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN104396264B (zh) 发射/接收设备、方法以及编码/解码设备
US10250924B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US9313442B2 (en) Method and apparatus for generating a broadcast bit stream for digital broadcasting with captions, and method and apparatus for receiving a broadcast bit stream for digital broadcasting with captions
US20120320168A1 (en) Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services
US20100277568A1 (en) Method and apparatus for stereoscopic data processing based on digital multimedia broadcasting
US11758161B2 (en) Coding apparatus, coding method, transmission apparatus, and reception apparatus
US7117515B2 (en) Method of transmitting/receiving additional information
CN1276127A (zh) 用于格式化和处理多媒体节目数据和节目指南信息的系统
CN102244795A (zh) 发送和接收立体图像数据的设备和方法
KR20040077794A (ko) Ｔｖ 애니타임 ｃｒｉｄ 임베딩
CN102104790A (zh) 一种视频处理方法和系统
Richer et al. The ATSC digital television system
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
US9001276B2 (en) System and method for multiplexing video contents from multiple broadcasting channels into single broadcasting channel
US20120113220A1 (en) Video output device, video output method, reception device and reception method
US20050083976A1 (en) Embedding tv anytime crids
US20130250059A1 (en) Method and apparatus for transmitting stereoscopic video information
EP3407614A1 (en) Method and apparatus for transmitting and receiving broadcast signal
RU2314655C2 (ru) Внедрение ссылочных идентификаторов содержимого tv-anytime
JPH10234017A (ja) 映像データ送信方法及び映像データ再生装置及び映像音声データ再生装置
KR20120060771A (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치
JPH11346349A (ja) 番組伝送方法、番組伝送装置、番組受信装置および媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant