CN105453574A - 发送设备、发送方法、接收设备以及接收方法 - Google Patents

发送设备、发送方法、接收设备以及接收方法 Download PDF

Info

Publication number
CN105453574A
CN105453574A CN201480035205.1A CN201480035205A CN105453574A CN 105453574 A CN105453574 A CN 105453574A CN 201480035205 A CN201480035205 A CN 201480035205A CN 105453574 A CN105453574 A CN 105453574A
Authority
CN
China
Prior art keywords
picture
image data
coded image
level
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480035205.1A
Other languages
English (en)
Other versions
CN105453574B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105453574A publication Critical patent/CN105453574A/zh
Application granted granted Critical
Publication of CN105453574B publication Critical patent/CN105453574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Abstract

为了能够在接收侧上执行与解码能力对应的令人满意的解码处理，将构成运动图像数据的图片的图像数据分成多个层次，编码每个分类的层次的图片的图像数据，并且生成包括每个层次的图片的编码图像数据的视频数据。发送包括所述视频数据的预定格式的容器。将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的每个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。

Description

发送设备、发送方法、接收设备以及接收方法
技术领域
本技术涉及发送设备、发送方法、接收设备以及接收方法。更具体而言，本技术涉及发送设备等，其层次编码和发送构成运动图像数据的各个图片的图像数据。
背景技术
在通过广播、网络服务等提供压缩运动图像时，可以重放的帧频率的上限受到接收器的解码能力限制。因此，服务侧需要考虑普遍的接收器的重放性能，并且将服务仅仅限制为低帧频率，或者同时提供多个高和低帧频率服务。
支持高帧频率服务，增大了接收器的成本，这变成服务快速普及的阻碍。如果仅仅专用于低帧频率的服务的低成本接收器在早期普及，并且服务侧在未来开始高帧频率服务，那么在没有新接收器的情况下，完全不能看到新服务，这变成服务普及的阻碍。
例如，提出了时间方向可扩展性，其中，在HEVC(高效率视频编码)中，构成运动图像数据的各个图片的图像数据进行层次编码(参照非专利文档1)。接收侧可以根据插入NAL(网络抽象层)单元的报头内的时间ID(temporal_id)，识别各个图片的层次，并且对与解码能力对应的层次执行选择性解码。
【非专利文献1】：GaryJ.Sullivan,Jens-RainerOhm,Woo-JinHan,ThomasWiegand,"OverviewoftheHighEfficiencyVideoCoding(HEVC)Standard"IEEETRANSACTIONSONCIRCUITSANDSYSTEMSFORVIDEOTECNOROGY,VOL.22,NO.12,pp.1649-1668,DECEMBER2012。
发明内容
本发明要解决的问题
本技术的一个目标在于，能够在接收侧上执行与解码能力对应的令人满意的解码处理。
解决问题的方式
本技术的一个概念在于一种发送设备，包括：图像编码单元，其将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据；发送单元，其发送包括所生成的视频数据的预定格式的容器(container)；以及识别信息插入单元，其将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
在本技术中，所述图像编码单元编码构成运动图像数据的图片的图像数据，并且生成视频数据。在这种情况下，将构成运动图像数据的图片的图像数据分类为多个层次并且编码，并且生成包括各个层次的图片的编码图像数据的视频数据。
发送单元发送包括上述视频数据的预定格式的容器。例如，容器可以是在数字广播标准中采用的传输流(MPEG-2TS)。进一步，例如，容器可以是用于在互联网等上分发(distribution)的MP4或者是任何其他格式的容器。
识别信息插入单元将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。例如，所述识别信息是优先级程度信息，其设置为在低层次侧上的层次组更高。
例如，所述识别信息可以插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。在这种情况下，例如，可以使用所述报头的PES优先级的字段，插入所述识别信息。进一步，例如，所述识别信息可以插入包括适配字段(adaptationfield)的TS数据包的适配字段内。在这种情况下，例如，可以使用所述适配字段的ES优先级指示符的字段来插入所述识别信息。进一步，例如，所述识别信息可以插入与合适的图片的轨道(track)相关的报头(header)的盒(box)内。
如上所述，在本技术中，将用于识别包含在视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为视频数据的容器的数据包内。因此，在接收侧上，通过使用识别信息，能够容易选择性解码等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据。
应注意的是，在本技术中，例如，所述图像编码单元可以生成包括各个层次的图片的编码图像数据的单个视频流，或者可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流，并且可以进一步包括配置信息插入单元，其将包含在所述容器内的视频流的配置信息插入所述容器的层内。在这种情况下，例如，在接收侧上，根据包含在所述容器内的视频流的配置信息，能够容易掌握视频流的配置。
进一步，本发明的另一个概念在于一种接收设备，包括：接收单元，其接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据，来获得所述编码图像数据；以及图像解码单元，其从包含在所接收的容器内的视频数据，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器内，解码进入所述缓冲器的各个图片的编码图像数据，并且获得等于或低于预定层次的层次的图片的图像数据。
在本技术中，接收单元接收预定格式的容器。在容器中包括视频数据，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据，来获得所述编码图像数据。
图像解码单元从包含在所接收的容器内的视频数据，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器的各个图片的编码图像数据，并且获得等于或低于预定层次的层次的图片的图像数据。
例如，可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且可以将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内，并且所述图像解码单元可以根据所述识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器，并且解码所述编码图像数据。
在这种情况下，例如，所述识别信息可以插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。进一步，在这种情况下，所述识别信息可以插入包括适配字段的TS数据包的适配字段内。进一步，在这种情况下，所述识别信息可以插入与合适的图片的轨道(track)相关的报头的盒内。
进一步，例如，可以将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且所接收的容器可以包括预定数量的视频流，所述视频流分别包括预定数量的层次组的图片的编码图像数据，并且所述图像解码单元可以根据流识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器，并且解码所述编码图像数据。在这种情况下，例如，在多个视频流内包含预定层次组的图片的编码图像数据时，所述图像解码单元可以根据解码定时信息将各个图片的编码图像数据转换成一个流，并且使所述流进入所述缓冲器中。
如上所述，在本技术中，从所接收的视频数据中，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性进入缓冲器内，然后解码。因此，能够执行与解码能力对应的合适的解码处理。
应注意的是，在本技术中，例如，所述图像解码单元可以具有重写选择性进入所述缓冲器中的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。在这种情况下，甚至在具有低解码能力的解码器中，可以执行现实的解码处理。
进一步，在本技术中，例如，接收设备可以进一步包括后处理单元，其使由在所述图像解码单元获得的各个图片的图像数据的帧速率与显示能力匹配。在这种情况下，甚至在解码能力较低时，可以获得与高显示能力匹配的帧速率(framerate)的图像数据。
本发明的效果
根据本技术，能够在接收侧上执行与解码能力对应的令人满意的解码处理。应注意的是，不一定限于在本文中描述的效果，而是可以是在本文中描述的任何效果。
附图说明
图1是示出作为实施方式的发送和接收系统的配置实例的方框图；
图2是示出发送设备的配置实例的方框图；
图3是示出在编码器执行的层次编码的一个实例的示图；
图4是示出NAL单元报头的结构实例(语法(Syntax))以及在结构实例中的主要参数的细节(语义(Semantics))的示图；
图5是用于描述通过HEVC在各个图片的编码图像数据的配置的示图；
图6是示出在层次编码时的编码、解码、显示顺序以及延迟的一个实例的示图；
图7是示出层次编码的编码流和在指定层次内的显示期望(显示顺序)的示图；
图8是示出HEVC描述符(HEVC_descriptor)的结构实例(语法)的示图；
图9是示出在HEVC描述符的结构实例中的主要信息的细节(语义)的示图；
图10是示出可扩展性延伸描述符(scalability_extension_descriptor)的结构实例(语法)的示图；
图11是示出在可扩展性延伸描述符的结构实例中的主要信息的细节(语义)的示图；
图12是示出多路复用器的配置实例的方框图；
图13是示出多路复用器的处理流程的一个实例的示图；
图14是示出在执行通过单个流进行的分发时传输流TS的配置实例的示图；
图15是示出接收设备的配置实例的方框图；
图16是示出多路分用器的配置实例的方框图；
图17是示出在传输流TS内包括单个视频流(编码流)的情况的示图；
图18是示出在传输流TS内包括包含基础流和延伸流的两个视频流(编码流)的情况的示图；
图19是用于描述重写各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能的示图；
图20是示出多路分用器的处理流程(1个帧)的一个实例的示图；
图21是示出多路分用器的处理流程(2个帧)的一个实例的示图；
图22是示出解码器的配置实例的方框图；
图23是示出后处理单元的配置实例的示图；
图24是示出解码器和后处理单元的处理流程的一个实例的示图。
图25是示出适配字段的设置实例的示图；
图26是示出在层次组的识别信息插入适配字段内时多路复用器的配置实例的方框图；
图27是示出在层次组的识别信息插入适配字段内时传输流TS的配置实例的方框图；
图28是示出在层次组的识别信息插入适配字段内时多路分用器的配置实例的方框图；
图29是示出MP4流的配置实例的示图；
图30是示出“SampleDependencyTypeBox”的结构实例的示图；
图31是示出在“SampleDependencyTypeBox”的结构实例中的主要信息的细节的示图；
图32是示出“SampleScalablePriorityBox”的结构实例的示图；
图33是示出在“SampleScalablePriorityBox”的结构实例中的主要信息的细节的示图。
具体实施方式
在后文中，描述用于执行本发明的模式(在后文中称为“实施方式”)。要注意的是，按照以下顺序提供描述。
1、实施方式
2、修改实例
<1、实施方式>
【发送和接收系统】
图1示出作为实施方式的发送和接收系统10的配置实例。此发送和接收系统10具有包括发送设备100和接收设备200的配置。
发送设备100在广播波上发送作为容器的传输流TS。在传输流中，构成运动图像数据的图片的图像数据被分类为多个层次，并且包括视频流，该视频流包含各个层次的图片的图像数据的编码数据。在这种情况下，例如，执行H.264/AVC、HEVC等编码，并且被参考图片被编码为属于被参考图片的层次和/或比被参考图片的层次更低的层次。
将用于识别编码图像数据所属的层次的层次识别信息加入各个层次的各个图片的编码图像数据中。在此实施方式中，在各个图片的NAL单元(nal_unit)的报头部分内设置层次识别信息(“nuh_temporal_id_plus1”，其表示temporal_id)。通过这种方式加入层次识别信息，在接收侧上，能够在NAL单元的层内识别各个图片的层次，并且通过选择性取出等于或低于预定层次的层次的编码图像数据，能执行解码处理。
在此实施方式中，多个层次分成预定数量的层次组，即，2个或更多个，并且将用于识别包含在视频流内的各个图片的编码图像数据所属的层次组的识别信息插入视频流的层内。
在此实施方式中，识别信息被视为优先级程度信息，其设置为在低层次侧上的层次组更高，并且插入包括在有效载荷(payload)内用于各个图片的编码图像数据的PES数据包的报头内。识别信息使得接收侧仅仅让对应于接收侧的解码能力的层次组的图片的编码图像数据进入缓冲器内并处理。
传输流TS包括包含各个层次的图片的编码图像数据的单个视频流，或者各自包括上述各个层次组的图片的编码图像数据的预定数量的视频流。在传输流TS中，插入层次编码的层次信息和视频流的配置信息。这些信息使接收侧能够容易掌握层次配置或流配置，并且执行合适的解码处理。
接收设备200接收通过在广播波从发送设备100发送的上述传输流TS。接收设备200从包含在传输流TS内的视频流，使根据解码能力选择的等于或低于预定层次的层次的图片的编码图像数据选择性地进入缓冲器，执行解码，获取各个图片的图像数据，并且执行图像再现。
例如，如上所述，传输流TS可以包括单个视频流，该单个视频流包含多个层次的图片的编码图像数据。在这种情况下，根据上述识别信息，使对应于解码能力的预定层次组的图片的编码图像数据进入缓冲器并且进行处理。
进一步，例如，如上所述，传输流TS可以包括预定数量的视频流，这些视频流包括通过分割多个层次所获得的预定数量(即，2或更多个)的层次组的图片的编码图像数据。在这种情况下，根据流识别信息，使对应于解码能力的预定层次组的图片的编码图像数据进入缓冲器并且进行处理。
进一步，接收设备200执行重写选择性进入缓冲器的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的处理。此调整处理使得甚至在具有低解码能力的解码器中也能进行现实的解码处理。
进一步，接收设备200执行后处理，促使通过如上所述的解码所获得的各个图片的图像数据的帧速率与显示能力匹配。例如，此后处理使得即使在解码能力较低时也能够获得与高显示能力匹配的帧速率的图像数据。
“发送设备的配置”
图2示出发送设备100的一个配置实例。发送设备100包括CPU(中央处理单元)101、编码器102、编码图片缓冲器(cpb)103、多路复用器104以及发送单元105。CPU101是控制单元，并且控制发送设备100的相应单元的操作。
编码器102输入未压缩的运动图像数据，并且执行层次编码。编码器102将构成运动图像数据的图片的图像数据分类为多个层次。然后，编码器102编码各个分类的层次的图片的图像数据，并且生成具有各个层次的图片的编码图像数据的视频流。编码器102执行编码，例如，H.264/AVC和HEVC。此时，编码器102进行编码，以便要参考的图片(被参考图片)属于被参考图片的层次和/或比被参考图片的层次更低的层次。
图3示出在编码器102中执行的层次编码的一个实例。在此实例中，通过分类，提供0到4这5个层次，并且各个层次的图片的图像数据进行编码，例如，HEVC。
垂直轴表示层次。0到4分别设置为temporal_id(层次识别信息)，其设置在构成层次0到4的图片的编码图像数据的NAL单元(nal_unit)的报头部分。另一方面，水平轴表示显示顺序(POC：成分的图片顺序，pictureorderofcomposition)，其中，左边表示更早的显示时间，其右边表示更晚的显示时间。
图4的(a)部分示出NAL单元报头的结构实例(语法)，并且图4的(b)部分示出在结构实例中的主要参数的细节(语义)。0对于“forbidden_zero_bit”的一位(bit)字段必不可少。“nal_unit_type”的6位字段表示NAL单元类型。“nuh_layer_id”的6位字段采用0。“nuh_temporal_id_plus1”的3位字段表示temporal_id，并且采用被加上1的值(1到7)。
返回图3，各个矩形框表示图片，并且数字表示编码图片的顺序，即，编码顺序(在接收侧上的解码顺序)。“1”到“17”(不包括“2”)这16个图片构成图片的子组，并且“1”是图片的子组的头部图片(headpicture)。“2”是图片的下一个子组的头部图片。或者，“2”到“17”(不包括“1”)这16个图片构成图片的子组，并且“2”是子组图片的头部图片。
图片“1”可以是GOP(图片组)的头部图片。如图5中所示，GOP的头部图片的编码图像数据由NAL单元AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI以及EOS构成。另一方面，除了GOP的头部图片以外的图片均由NAL单元AUD、PPS、PSEI、SLICE、SSEI以及EOS构成。VPS可以与SPS一起发送给序列(GOP)一次，并且可以在我的图片(MyPicture)中发送PPS。
返回图3，实线箭头表示在编码中的图片的参考关系。例如，图片“1”是不参考其他图片的I图片。图片“2”是参考图片“1”编码的P图片，。进一步，图片“3”是参考图片“1”和“3”编码的B图片。在后文中，其他图片同样在显示顺序中参考附近图片并且编码。应注意的是，其他图片不参考层次4的图片。
编码器102生成包括各个层次的图片的编码图像数据的单个视频流(单个流)，或者将多个层次分成预定数量(即，2或更大)的层次组，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流(多个流)。例如，在图3的层次编码的实例中，在层次分成2个层次组，使得层次0到3被设置为低层次的层次组并且层次4被设置为高层次的层次组时，编码器102生成两个视频流(编码流)，各个视频流包括各个层次组的图片的编码图像数据。
与所生成的视频流的数量无关，如上所述，编码器102将多个层次分成预定数量(即，2或更大)的层次组，并且将用于识别编码图像数据所属的层次组的识别信息加入各个层次组的图片的编码图像数据中。在这种情况下，例如，对于识别信息，使用作为包含在SPS内的位流的等级指定值的“general_level_idc”，并且在高层次侧上的层次组采用更高的值。应注意的是，可以逐个子层地在SPS内发送“sub_layer_level_idc”，从而“sub_layer_level_idc”可以用作用于识别信息。不仅在SPS内，而且在VPS内供应以上值。
在这种情况下，各个层次组的等级指定值的值设置为对应于由此层次组的图片以及比此层次组更低的在层次侧上的所有层次组的图片构成的帧速率的值。例如，在图3的层次编码的实例中，包括层次0到3的层次组的等级指定值是对应于仅仅由层次0到3的图片构成的帧速率的值，并且包括层次4的层次组的等级指定值是对应于由0到4的所有层次的图片构成的帧速率的值。
图6示出在层次编码时的编码、解码、显示顺序以及延迟的一个实例。此实例对应于在图3中的上述层次编码的实例。此实例显示了所有层次(所有层)以全时间分辨率进行层次编码的情况。图6的(a)部分示出编码器输入。如图6的(b)部分中所示，图片以编码顺序编码，具有对应于16个图片的延迟，并且获得编码流。进一步，图6的(b)部分示出解码器输入，并且图片以解码顺序解码。如图6的(c)部分中所示，图片的图像数据以显示顺序获得，具有对应于4个图片的延迟。
图7的(a)部分示出与在上述图6的(b)部分中显示的上述编码流相同的编码流，具有层次0到2、层次3以及层次4的三个阶段。在此处，“Tid”表示temporal_id。图7的(b)部分示出在层次0到2(即，在Tid＝0到2时的部分层次)的图片选择性解码的情况下的显示期望(显示顺序)。进一步，图7的(c)部分示出在层次0到3(即，在Tid＝0到3时的部分层次)的图片选择性解码的情况下的显示期望(显示顺序)。而且，图7的(d)部分示出在层次0到4(即，在Tid＝0到4时的所有层次)的图片选择性解码的情况下的显示期望(显示顺序)。
为了根据解码能力在图7的(a)部分中显示的编码流上执行解码处理，需要具有在全速率下的时间分辨率的解码能力。然而，在Tid＝0到2的情况下执行解码时，用于编码的全时间分辨率的具有1/4解码能力的解码器应执行处理。进一步，在Tid＝0到3的情况下执行解码时，用于编码的全时间分辨率的具有1/2解码能力的解码器应执行处理。
然而，在属于低层次并且在层次编码中参考的图片是连续的并且在通过全时间分辨率编码时，执行部分解码的解码器的能力赶不上编码。该情况对应于在图7的(a)部分中的期间A。如在显示实例中所示，通过具有时间轴的1/4或1/2的能力，解码Tid＝0到2或Tid＝0到3的部分层次的解码器执行解码/显示。因此，不能解码在期间A中通过全时间分辨率编码的连续图片。
Ta表示在解码Tid＝0到2的解码器内逐个图片地解码处理需要的时间。Tb表示在解码Tid＝0到3的解码器内逐个图片地解码处理需要的时间。Tc表示在解码Tid＝0到4(所有层次)的解码器内逐个图片地解码处理需要的时间。那些时间的关系是Ta>Tb>Tc。
在此实施方式中，如后面所述，在接收设备200包括具有低解码能力的解码器并且选择性解码低层次图片时，接收设备200具有重写解码时间戳(DTS)和调整低层次图片的解码间隔的功能。这使得甚至在具有低解码能力的解码器内能够进行现实的解码处理。
再次参考图2，编码图片缓冲器(cpb)103暂时储存在编码器102内生成的视频流，视频流包括各个层次的图片的编码数据。多路复用器104读取在编码图片缓冲器103内储存的视频流，将视频流转换成PES数据包，并且进一步转换成要多路复用(multiplex，多重化)的传输数据包，从而获得传输流TS，作为多路复用流(multiplexedstream，多重化流)。
在此实施方式中，如上所述，多个层次分成预定数量的层次组，即，2个或更多个。多路复用器104将识别信息插入PES数据包的报头(PES报头)内。识别信息用于识别包含在视频流内的各个图片的编码图像数据所属的层次组。此识别信息使接收侧能够仅仅使对应于接收侧的解码能力的层次组的图片的编码图像数据进入缓冲器并处理。
例如，在多个层次分成低层次组和高层次组时，多路复用器104使用位于PES报头内的已知PES优先级(PES_priority)的1位字段。在PES有效载荷包括在低层次侧上的层次组的图片的编码图像数据时，1位字段设置为“1”，即，设置为具有高优先级程度。另一方面，在PES有效载荷包括在高层次侧上的层次组的图片的编码图像数据时，1位字段设置为“0”，即，设置为具有低优先级程度。
如上所述，传输流TS包括包含各个层次的图片的编码图像数据的单个视频流或者均包括上述各个层次的图片的编码图像数据的预定数量的视频流。多路复用器104将层次信息和流配置信息插入传输流TS内。
传输流TS包括PMT(节目映射表)作为一种PSI(节目专用信息)。在PMT中，存在视频基本回路(视频ES1回路，videoES1loop)，其具有与各个视频流相关的信息。在此视频基本回路中，流类型和数据包标识符(PID)等信息以及描述与该视频流相关的信息的描述符设置为对应于各个视频流。
多路复用器104插入HEVC描述符(HEVC_descriptor)，作为一个描述符，并且进一步插入新定义的可扩展性延伸描述符(scalability_extension_descriptor)。
图8示出HEVC描述符(HEVC_descriptor)的结构实例(语法)。进一步，图9示出在结构实例中的主要信息的细节(语义)。
“descriptor_tag”的8位字段示出描述符的类型，并且在此处示出HEVC描述符。“descriptor_length”的8位字段示出描述符的长度(尺寸)。示出后续字节的数量，作为描述符的长度。
“level_idc”的8位字段示出位速率的等级指定值。进一步，在“temporal_layer_subset_flag＝1”时，存在“temporal_id_min”的5位字段和“temporal_id_max”的5位字段。“temporal_id_min”示出包含在相应视频流内的层次编码数据的最低层次上的temporal_id的值。“temporal_id_max”示出包含在相应视频流内的层次编码数据的最高层次上的temporal_id的值。
“level_constrained_flag”的1位字段是新定义的，并且表示包含在VPS的NAL单元内的位流的等级指定值(general_level_idc)可以逐个图片地变化。“1”表示可变化，并且“0”表示没有变化。
如上所述，例如，在多个层次分成预定数量(即，2个或更多个)层次组时，“general_level_idc”用作编码图像数据所属的层次组的识别信息。因此，在视频流包括多个层次组的图片的编码图像数据的情况下，“general_level_idc”可以逐个图片地变化。另一方面，在视频流包括单个层次组的图片的编码图像数据的情况下，“general_level_idc”可以不逐个图片地变化。或者，给各个子层提供“sublayer_level_idc”，并且解码器在可解码的范围内读取temporal_id的数据包，从而处理相应层次的数据。
“scalability_id”的3位字段是新定义的，并且是在多个视频流提供可延伸服务时表示提供给各个流的可扩展性的ID。“0”表示基础流，并且“1”到“7”各自表示根据来自基础流的可扩展性程度而增大的ID。
图10示出可扩展性延伸描述符(scalability_extension_descriptor)的一个结构实例(语法)。进一步，图11示出在结构实例中的主要信息的细节(语义)。
“scalability_extension_descriptor_tag”的8位字段示出描述符的类型，并且在此处示出可扩展性延伸描述符。“scalability_extension_descriptor_length”的8位字段示出描述符的长度(尺寸)。示出后续字节的数量作为描述符的长度。“extension_stream_existing_flag”的1位字段是标志，示出具有通过不同的流的延伸服务(extensionservice)。“1”表示具有延伸流，并且“0”表示没有延伸流。
“extension_type”的3位字段示出延伸的类型。“001”示出延伸是时间方向可扩展的。“010”示出延伸是空间方向可扩展的。“011”示出延伸是位速率可扩展的。
“number_of_streams”的4位字段示出在分发式服务中涉及的流的总数。3位字段“scalability_id”是ID，在多个视频流提供可延伸服务时表示提供给单独流的可扩展性。“0”表示基础流，并且“1”到“7”均表示从基础流开始增大可扩展性的程度的ID。
“number_of_layers”的3位字段示出流的层次的总数。8位字段“sublayer_level_idc”示出level_idc的值，其中，由temporal_id表示的合适的子层包括比解码器要处理的子层更低的层。“层的数量(Numberoflayers)”包含NAL单元报头的“Nuh_temporal_id_plus1”的所有值，并且在多路分用器(demultiplexer)(demuxer)检测到它时，能够初步认识到对应于预定的level_idc的解码器可以使用“sublayer_level_idc”对哪个层次进行解码。
如上所述，在此实施方式中，在多个层次分成预定数量(即，2个或更多个)的层次组时，包含在SPS内的位速率的等级指定值(general_level_idc)等用作编码图像数据所属的层次组的识别信息。各个层次组的等级指定值设置为对应于由此层次组的图片以及比此层次更低的在层次组侧上的所有层次的图片构成的帧速率的值。
图12示出多路复用器104的配置实例。多路复用器104包括PES优先级生成单元141、区段(section)编码单元142、PES分包单元143-1到143-N、开关单元144以及传输分包单元145。
PES分包单元143-1到143-N分别读取在编码图片缓冲器103内储存的视频流1到N，并且生成PES数据包。此时，PES分包单元143-1到143-N根据视频流1到N的HRD信息，将DTS(解码时间戳)和PTS(呈现时间戳)的时间戳放入PES报头中。在这种情况下，参考各个图片的“cpu_removal_delay”和“dpb_output_delay”，通过与STC(系统时钟)的时间同步的精度中，将其转换成DTS和PTS，并且设置在PES报头的预定位置内。
将关于层次的数量(层的数量)以及流的数量(流数)的信息从CPU101中供应给PES优先级生成单元141。在由层次的数量表示的多个层次分成预定数量(即，2个或更多个)的层次组时，PES优先级生成单元141生成各个层次组的优先级程度信息。例如，在多个层次分成2个时，PES优先级生成单元141生成要插入PES数据包的报头的1位字段“PES_priority”内的值(“1”用于低层次组，并且“0”用于高层次组)。
将在PES优先级生成单元141内生成的各个层次组的优先级程度信息供应给PES分包单元143-1到143-N。PES分包单元143-1到143-N将各个层次组的优先级程度信息作为识别信息插入包括该层次组的图片的编码图像数据的PES数据包的报头内。
应注意的是，通过这种方式逐个图片地将图片所属的层次组的优先级程度作为报头信息插入PES数据包的报头内，可以限于在编码器102内生成单个视频流(单个流)的情况。在这种情况下，仅仅在PES分包单元143-1内执行处理。
开关单元144根据数据包标识符(PID)，选择性取出在PES分包单元143-1到143-N内生成的PES数据包，并且将其PES数据包发送给传输分包单元145。传输分包单元145生成在有效载荷内包括PES数据包的TS数据包，并且获得传输流TS。
区段编码单元142生成要插入传输流TS内的各种区段数据。将关于层次的数量(层的数量)以及流的数量(流数)的信息从CPU101中供应给区段编码单元142。根据该信息，区段编码单元142生成上述HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extension_descriptor)。
区段编码单元142将所述各种区段数据发送给传输分包单元145。传输分包单元145生成包括此区段数据的TS数据包，并且将TS数据包插入传输流TS内。
图13示出多路复用器104的处理流程。这是一个实例，其中，多个层次分成2个，包括低层次组和高层次组。多路复用器104在步骤ST1中开始处理，然后，移到步骤ST2的处理。在步骤ST2中，多路复用器104设置视频流(视频基本流)的各个图片的temporal_id_以及构成编码流的数量。
接下来，在步骤ST3中，多路复用器104参考HRD信息(“cpu_removal_delay”和“dpb_output_delay”)，确定DTS和PTS，并且将DTS和PTS插入PES报头的预定位置内。
接下来，在步骤ST4中，多路复用器104确定流是否是单个流(单个视频流)。在流是单个流时，在步骤ST5中，多路复用器104使用一个PID(数据包标识符)继续多重化处理，然后，移到步骤ST7的处理。
在步骤ST7中，多路复用器104确定各个图片是否是低层次组的图片(切片(slice))。在各个图片是低层次组的图片时，在步骤ST8中，多路复用器104将在有效载荷包括该图片的编码图像数据的PES数据包的报头的“PES_priority”设置为“1”。另一方面，在各个图片是高层次组(非低层次组)的图片时，在步骤ST9中，多路复用器104将在有效载荷包括该图片的编码图像数据的PES数据包的报头的“PES_priority”设置为“0”，。在步骤ST8和ST9的处理之后，多路复用器104移到步骤ST10的处理。
在此处，描述在图片与切片之间的关联性。图片是一个概念，并且与在结构定义中的切片相同。从参数集(parameterset)可知，一个图片可以分成多个切片，但是多个切片对于用作访问单元是相同的。
在上述步骤ST4中，流不是单个流时，在步骤ST6中，多路复用器104继续使用多个数据包PID(数据包标识符)来多重化处理，然后，移到步骤ST10的处理。在步骤ST10中，多路复用器104将编码流(视频基本流)插入PES有效载荷内，并且将编码流转换成PES数据包。
接下来，在步骤ST11中，多路复用器104编码HEVC描述符、可扩展性延伸描述符等。然后，在步骤ST12中，多路复用器104将那些描述符转换成传输数据包，并且获得传输流TS。然后，在步骤ST13中，多路复用器104结束该处理。
图14示出在执行通过单个视频流进行过的分发时传输流TS的配置实例。此传输流TS包括单个视频流。换言之，在此配置实例中，存在包括多各层次的图片的编码图像数据的视频流的PES数据包“视频PES1”(例如，通过HEVC)以及音频流的PES数据包“音频PES1”。
在各个图片的编码图像数据内，存在VPS、SPS、SEI等的NAL单元。如上所述，在各个图片的NAL单元的报头内，插入表示该图片的层次的temporal_id。进一步，例如，VPS包括位速率的等级指定值(general_level_idc)。进一步，例如，图片定时SEI包括“cpb_removal_delay”和“dpb_output_delay”。
进一步，在PES数据包的报头(PES报头)内，存在显示“PES_priority”的优先程度的1位字段。通过此“PES_priority”，可区分包含在PES有效载荷内的图片的编码图像数据是低层次组的图片的数据还是高层次组的图片的数据。
进一步，传输流TS包括PMT(节目映射表)作为PSI(节目专用信息)。此PSI是描述包含在传输流内的各个基本流属于哪个节目的信息。
在PMT中，存在节目回路(programloop)，其描述与整个节目相关的信息。进一步，在PMT中，存在基本回路，其包括与各个基本流相关的信息。在此配置实例中，存在视频基本回路(视频ES1回路)和音频基本回路(音频ES1回路)。
在视频基本回路中，将流类型和数据包标识符(PID)等信息以及描述与该视频流相关的信息的描述符设置为对应于视频流(视频PES1)。作为一个描述符，插入上述HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extension_descriptor)。
再次参考图2，发送单元105以适合于广播的调制方法方式(例如，QPSK/OFDM)调制传输流TS，并且发送来自发送天线的RF调制信号。
将简单描述在图2中示出的发送设备100的操作。将未压缩的运动图像数据输入给编码器102。在编码器102中，对运动图像数据执行层次编码。换言之，在编码器102中，将构成运动图像数据的图片的图像数据分类为多个层次并且编码，从而生成包括层次的图片的编码图像数据的视频流。此时，执行编码，使得被参考图片属于被参考图片的层次和/或比被参考图片的层次更低的层次。
在编码器102中，生成包括各个层次的图片的编码图像数据的单个视频流。或者，将多个层次分成预定数量(即，2或更大)的层次组，并且生成各自包括各个层次组的图片的编码图像数据的预定数量的视频流。
进一步，将在编码器102中生成的包括各个层次的图片的编码图像数据的视频流供应给编码图片缓冲器(cpb)103并且暂时储存。在多路复用器104中，读取储存在编码图片缓冲器103内的视频流，转换成PES数据包，进一步转换成传输数据包，以便多路复用，从而获得传输流TS，作为多路复用流(multiplexedstream)。
在多路复用器104中，例如，在单个视频流(单个流)的情况下，用于识别视频流的各个图片的编码图像数据所属的层次组的识别信息插入PES数据包的报头(PES报头)内。例如，在多个层次分成两个(低层次组和高层次组)时，使用PES报头的PES优先级(PES_priority)的1位字段。
进一步，在多路复用器104中，将层次信息和流配置信息插入传输流TS内。换言之，在多路复用器104中，将HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extension_descriptor)插入对应于各个视频流的视频基本回路内。
在多路复用器104中生成的传输流TS发送给发送单元105。在发送单元105中，以适合于广播的调制方法(例如，QPSK/OFDM)调制传输流TS，并且从发送天线中发送RF调制信号。
“接收设备的配置”
图15示出接收设备200的配置实例。此接收设备200包括CPU(中央处理单元)201、接收单元202、多路分用器203以及编码图片缓冲器(cpb)204。进一步，接收设备200包括解码器205、解码图片缓冲器(dpb)206以及后处理单元207。CPU201构成控制单元，其控制接收设备200的相应单元的操作。
接收单元202解调由接收天线接收的RF调制信号并且获取传输流TS。多路分用器203根据解码能力(解码器时间层能力)，从传输流TS中选择性取出层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。
图16示出多路分用器203的一个配置实例。多路分用器203包括TS适配字段提取单元231、时钟信息提取单元232、TS有效载荷提取单元233、区段提取单元234、PSI表格/描述符提取单元235以及PES数据包提取单元236。进一步，多路分用器203包括PES报头提取单元237、时间戳提取单元238、识别信息提取单元239、PES有效载荷提取单元240以及流配置单元(流合成器(streamcomposer))241。
TS适配字段提取单元231从包括传输流TS的适配字段的TS数据包中提取适配字段。时钟信息提取单元232从包括PCR的适配字段中提取PCR(节目时钟参考)，并且将PCR发送给CPU201。
TS有效载荷提取单元233从包括在传输流TS内的TS有效载荷的TS数据包中提取TS有效载荷。区段提取单元234从包括区段数据的TS有效载荷中提取区段数据。PSI表格/描述符提取单元235分析在区段提取单元234提取的区段数据并且提取PSI表格或描述符。然后，PSI表格/描述符提取单元235将temporal_id的最小值(min)和最大值max)发送给CPU201并且还发送给流配置单元241。
PES数据包提取单元236从包括PES数据包的TS有效载荷中提取PES数据包。PES报头提取单元237从在PES数据包提取单元236中提取的PES数据包中提取PES报头。时间戳提取单元232提取逐个图片插入PES报头内的时间戳(DTS、PTS)，并且将时间戳发送给CPU201，并且还发送给流配置单元241。
识别信息提取单元239提取用于识别图片所属的层次组的识别信息，所述识别信息被逐个图片插入PES报头内，并且识别信息提取单元239将识别信息发送给流配置单元241。例如，在多个层次分成2个(低层次组和高层次组)时，识别信息提取单元239提取PES报头的“PES_priority”的1位字段的优先级程度信息，并且将优先级程度信息发送给流配置单元241。应注意的是，在传输流TS内包括单个视频流时，识别信息必定在发送侧插入，但是在传输流TS内包括多个视频流时，识别信息可以不在发送侧插入。
PES有效载荷提取单元240从在PES数据包提取单元236中提取的PES数据包中提取PES有效载荷，即，各个层次的图片的编码图像数据。流配置单元241从在PES有效载荷提取单元240中取出的各个层次的图片的编码图像数据中选择性取出对应于解码能力(解码器时间层能力)的层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。在这种情况下，流配置单元241参考包含在PSI表格/描述符提取单元235内的层次信息和流配置信息、在识别信息提取单元239内提取的识别信息(优先级程度信息)等。
例如，假设包含在传输流TS内的视频流(编码流)的帧速率是120fps。例如，假设多个层次分成2个，包括在低层次侧上的层次组和在高层次侧上的层次组，并且各个层次组的图片的帧速率是60fps。例如，在图3中显示的层次编码的实例中，层次0到3用作在低层次侧上的层次组，为此，支持60fps的level_idc的解码器可以执行解码。进一步，层次4用作在高层次侧上的层次组，为此，支持120fps的level_idc的解码器可以执行解码。
在这种情况下，在传输流TS中，包括包含每个层次组的图片的编码数据的单个视频流(编码流)，或者包括两个视频流(编码流)，即，包括在低层次侧上的层次组的图片的编码图像数据的基础流(B_Str)和包括在高层次侧上的层次组的图片的编码图像数据的延伸流(E_Str)。
在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。另一方面，在解码能力不支持120fps，而是支持60fps时，流配置单元241仅仅取出在低层次侧上的层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。
图17示出在传输流TS包括单个视频流(编码流)时流配置单元241的图片(切片)选择的一个实例。在此处，“高”表示在高层次侧上的层次组的图片，并且“低”表示在低层次侧上的层次组的图片。进一步，“P”表示“PES_priority”。
在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。另一方面，在解码能力不支持120fps，而是支持60fps时，流配置单元241根据“PES_priority”，进行过滤，仅仅取出在低层侧次上的层次组的图片(其中，P＝1)，并且将该图片发送给编码图片缓冲器(cpb)204。
图18示出在传输流TS包括基础流和延伸流的两个视频流(编码流)时流配置单元241的图片(切片)选择的一个实例。在此处，“高”表示在高层次侧上的层次组的图片，并且“低”表示在低层次侧上的层次组的图片。进一步，假设基础流的数据包标识符(PID)是PIDA，并且延伸流的数据包标识符(PID)是PIDB。
在解码能力支持120fps时，流配置单元241取出所有层次的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。在这种情况下，流配置单元241根据解码定时信息将各个图片的编码图像数据转换成一个流，并且将流发送给编码图片缓冲器(cpb)204。
在这种情况下，DTS的值被视为解码定时，并且将流收集成一个，以便值在图片之间单调递增。可以在从对应于流的数量提供的多个编码图片缓冲器(cpb)204中读取的多个流上执行将图片收集成一个的这种处理，并且可以在此流上执行解码处理。
另一方面，在解码能力不支持120fps，而是支持60fps时，流配置单元241根据数据包标识符(PID)，进行过滤，仅仅取出在具有PIDA的低层侧次上的层次组的图片，并且将该图片发送给编码图片缓冲器(cpb)204。
应注意的是，流配置单元241具有选择性重写被发送给编码图片缓冲器(cpb)204的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。这使得甚至在具有低解码能力的解码器205中，能够执行现实的解码处理。
图19是在图3中示出的层次编码的实例中将层次组分成在低层次侧上的层次组和在高层次侧上的层次组并且属于层次组的图片的编码图像数据在流配置单元241中选择性取出并且发送给编码图片缓冲器(cpb)204的情况。
图19的(a)部分示出了在调整解码间隔之前的解码定时。在这种情况下，图片的解码间隔不同，并且最短的解码间隔等于在120fps的全分辨率的解码间隔。与此相反，图19的(b)部分显示了在调整解码间隔之后的解码定时。在这种情况下，使图片的解码间隔相等，并且解码间隔是在全分辨率的解码间隔的1/2。通过这种方式，在各个层次内，根据目标解码器的能力，调整解码间隔。
图20示出多路分用器203的处理流程的一个实例。该处理流程示出了以下情况：传输流TS包括单个视频流(编码流)。
多路分用器203在步骤ST31开始处理，然后，移到步骤ST32的处理。在步骤ST32中，从CPU201设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST33中确定是否提供解码所有层次(层)的能力。
在提供解码所有层次的能力时，在步骤ST34中，多路分用器203多路分用穿过合适的PID滤波器的所有TS数据包，并且执行区段解析(sectionparsing)。然后，多路分用器203移到步骤ST35的处理。
在步骤ST33中，当未提供解码所有层次的能力时，在步骤ST36中，多路分用器203多路分用“PES_priority”为“1”的TS数据包，并且执行区段解析。然后，多路分用器203移到步骤ST35的处理。
在步骤ST35中，多路分用器203在目标PID区段中读取HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extension_descriptor)，并且获得延伸流的有无、可扩展的类型、流的数量和ID、temporal_id的最大和最小值、以及各个层的解码器支持等级。
接下来，多路分用器203在步骤ST37中将作为PID的目标的编码流发送给编码图片缓冲器(cpb)204并且将DTS和PTS通知给CPU201。在步骤ST37的处理之后，多路分用器203在步骤ST38中结束处理。
图21示出多路分用器203的处理流程的一个实例。该处理流程示出了以下情况：传输流TS包括基础流和延伸流的两个视频流(编码流)。
多路分用器203在步骤ST41中开始处理，然后，移到步骤ST42的处理。在步骤ST42中，从CPU201设置解码能力(解码器时间层能力)。接下来，多路分用器203在步骤ST43中确定是否提供解码所有层次(层)的能力。
在提供解码所有层次的能力时，在步骤ST44中，多路分用器203通过PID滤波器多路分用构成所有层次的多个流，并且执行区段解析。然后，多路分用器203移到步骤ST45的处理。
在步骤ST43中，当未提供解码所有层次的能力时，在步骤ST46中，多路分用器203多路分用PID＝PIDA的流，并且执行区段解析。然后，多路分用器203移到步骤ST45的处理。
在步骤ST45中，多路分用器203在目标PID区段中读取HEVC描述符(HEVC_descriptor)和可扩展性延伸描述符(scalability_extension_descriptor)，并且获得延伸流的有无、可扩展的类型、流的数量和ID、temporal_id的最大和最小值、以及各个层的解码器支持等级。
接下来，多路分用器203在步骤ST47中根据DTS(如果没有DTS，那么根据PTS)信息，将作为PID的目标的编码流连接成一个流，将该流发送给编码图片缓冲器(cpb)204并且也通知CPU201DTS和PTS。在步骤ST47的处理之后，多路分用器203在步骤ST48中结束处理。
再次参考图15，编码图片缓冲器(cpb)204暂时储存在多路分用器203中取出的视频流(编码流)。解码器205从在编码图片缓冲器204中储存的视频流中取出指定为要解码的层次的层次的图片的编码图像数据。然后，解码器205在该图片的解码定时，解码各个图片的取出的编码图像数据，并且将所产生的数据发送给解码图片缓冲器(dpb)206。
在此处，对于解码器205，从CPU201中由temporal_id指定要解码的层次。指定的层次表示在多路分用器203中取出的视频流(编码流)内包含的所有层次或者在低层次侧上的一些层次，并且由CPU201自动设置或者根据用户操作设置。进一步，根据DTS(解码时间戳)，将解码定时从CPU201中提供给解码器205。应注意的是，在解码器205解码各个图片的编码图像数据时，解码器205读取来自解码图片缓冲器206的被参考图片的图像数据，以供必要时使用。
图22示出解码器205的一个配置实例。解码器205包括时间ID分析单元251、目标层次选择单元252以及解码单元253。时间ID分析单元251读取在编码图片缓冲器204内储存的视频流(编码流)，并且分析插入各个图片的编码图像数据的NAL单元报头内的temporal_id。
目标层次选择单元252根据时间ID分析单元251的分析结果，从编码图片缓冲器204中读取的视频流中取出指定为要解码的层次的层次的图片的编码图像数据。解码单元253在解码定时依次解码在目标层次选择单元252中取出的各个图片的编码图像数据，并且将所产生的数据发送给解码图片缓冲器(dpb)206。
在这种情况下，解码单元253分析SPS和ESPS，例如，获取各个子层的位速率的等级指定值“sublayer_level_idc”，并且检查在解码处理能力内是否能够解码。进一步，在这种情况下，解码单元254分析SEI，例如，获取“initial_cpb_removal_time”和“cpb_removal_delay”，并且检查CPU201的解码定时是否充足。
在解码切片时，解码单元253从切片报头中获取“ref_idx_l0_active”(ref_idx_l1_active)作为表示时间方向的预测目的地的信息，并且预测时间方向。应注意的是，解码图片具有从切片报头中获得的索引“short_term_ref_pic_set_idx”或“it_idx_sps”，并且解码图片被处理为将由另一个图片参考。
再次参考图15，解码图片缓冲器(dpb)206暂时储存在解码器205中解码的各个图片的图像数据。后处理单元207执行使在显示定时依次从解码图片缓冲器(dpb)206中读取的各个图片的图像数据的帧速率与显示能力匹配的处理。在这种情况下，根据PTS(呈现时间戳)，从CPU201提供显示定时。
例如，在各个图片的解码图像数据的帧速率是120fps时并且在显示能力是120fps时，后处理单元207照原样将各个图片的解码图像数据发送给显示器。进一步，例如，在各个图片的解码图像数据的帧速率是120fps时并且在显示能力是60fps时，后处理单元207在各个图片的解码图像数据上执行二次采样处理，使得时间方向分辨率变成1/2倍，并且将该数据作为60fps的图像数据发送给显示器。
此外，例如，在各个图片的解码图像数据的帧速率是60fps并且显示能力是120fps时，后处理单元207在各个图片的解码图像数据上执行插入处理，使得时间方向分辨率变成两倍，并且将该数据作120fps的图像数据发送给显示器。进一步，例如，在各个图片的解码图像数据的帧速率是60fps并且显示能力是60fps时，后处理单元207照原样将各个图片的解码图像数据发送给显示器。
图23示出后处理单元207的配置实例。这是可以在以下情况下可处理的实例：如上所述，各个图片的解码图像数据的帧速率是120fps或60fps并且显示能力是120fps或60fps。
后处理单元207包括内插单元271、二次采样单元272以及开关单元273。将解码图片缓冲器206的各个图片的解码图像数据直接输入开关单元273中，在内插单元271中使帧速率具有两倍之后，输入开关单元273中，或者在二次采样单元272中使帧速率变为1/2倍之后，输入开关单元273中。
从CPU201给开关单元273提供选择信息。CPU201参考显示能力自动生成或者根据用户操作生成选择信息。开关单元273根据选择信息选择性输出任何输入。因此，在显示定时依次从解码图片缓冲器(dpb)206中读取的各个图片的图像数据的帧速率与显示能力匹配。
图24示出解码器205和后处理单元207的处理流程的一个实例。解码器205和后处理单元207在步骤ST51中开始处理。然后，移到步骤ST52的处理。在步骤ST52中，解码器205读取视频流，作为在编码图片缓冲器(cpb)204内储存的解码目标，并且根据temporal_id，选择从CPU201指定为解码目标的层次的图片。
接下来，在步骤ST53中，解码器205在解码定时依次解码各个选择的图片的编码图像数据，将各个图片的解码图像数据发送给解码图片缓冲器(dpb)206，并且暂时储存解码图像数据。接下来，后处理单元207在步骤ST54中在显示定时从解码图片缓冲器(dpb)206中读取各个图片的图像数据。
接下来，后处理单元207确定各个图片的所读取的图像数据的帧速率是否与显示能力匹配。在帧速率与显示能力不匹配时，后处理单元207在步骤ST56中使帧速率与发送给显示器的显示能力匹配，然后，在步骤ST57中结束处理。另一方面，在帧速率与显示能力匹配时，后处理单元207在步骤ST58中将图像数据发送给显示器，而不改变帧速率，然后，在步骤ST57中结束处理。
将简单描述在图15中示出的接收设备200的操作。在接收单元202中，解调由接收天线接收的RF调制信号，并且获取传输流TS。将传输流TS发送给多路分用器203。在多路分用器203中，从传输流TS中选择性取出对应于解码能力(解码器时间层能力)的层次组的图片的编码图像数据，将该数据发送给编码图片缓冲器(cpb)204，并且暂时储存该数据。
在解码器205中，从在编码图片缓冲器204中储存的视频流中取出指定为要解码的层次的层次的图片的编码图像数据。然后，在解码器205中，在该图片的解码定时，解码各个图片的取出的编码图像数据，将该数据发送给解码图片缓冲器(dpb)206，并且暂时储存该数据。在这种情况下，在各个图片的编码图像数据解码时，从解码图片缓冲器206中读取被参考图片的图像数据，以供必要时使用。
将在显示定时依次从解码图片缓冲器(dpb)206中读取的各个图片的图像数据发送给后处理单元207。在后处理单元207中，执行插入或者二次采样，用于使各个图片的图像数据的帧速率与显示能力匹配。将在后处理单元207中处理的各个图片的图像数据供应给显示器，并且执行该图片的图像数据的运动图像的显示。
如上所述，在图1中示出的发送和接收系统10内，在接收侧上，将用于识别包含在视频流内的各个图片的编码图像数据所属的层次组的识别信息插入此视频流的层(PES数据包的报头)内。因此，例如，在接收侧上，使用此识别信息，容易能够选择性解码等于或低于对应于解码能力的预定层次的层次的图片的编码图像数据。
进一步，在图1中显示的发送和接收系统10内，在发送侧上，将可扩展性延伸描述符(scalability_extension_descriptor)等插入传输流TS的层内。因此，例如，在接收侧上，能够容易获取层次编码的层次信息、包含在传输流TS内的视频流的配置信息等，从而可以执行适当的解码处理。
进一步，在图1中显示的发送和接收系统10中，在接收侧上，从接收的视频流中使等于或低于对应于解码能力(解码器时间层能力)的预定层次的层次的图片的编码图像数据选择性进入编码图片缓冲器204中，然后，解码。因此，例如，能够执行对应于解码能力的适当的解码处理。
进一步，在图1中示出的发送和接收系统10中，在接收侧上，提供如下功能：选择性重写被吸收到编码图片缓冲器204中的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔。因此，例如，这使得即使在解码器205具有低解码能力时，也能够执行现实的解码处理。
进一步，在图1中示出的发送和接收系统10中，在接收侧上，在后处理单元207中使各个图片的解码图像数据的帧速率与显示能力匹配。因此，例如，这使得即使在解码能力较低时，也可以获得与高显示能力匹配的帧速率的图像数据。
<2、修改实例>
应注意的是，上述实施方式示出了用于在预定数量的层次组之中识别包含在视频流内的各个图片的编码图像数据所属的层次组的识别信息插入PES数据包的报头(PES报头)内的实例。然而，此识别信息插入的位置不限于此。例如，多路复用器104(见图2)可以将此识别信息插入具有适配字段的TS数据包的适配字段内。
例如，在多个层次分成2个(低层次组和高层次组)时，多路复用器104使用位于适配字段内的已知基本流优先级指示符(elementary_stream_priority_indicator)的1位字段。
在后续TS数据包的有效载荷内，包括在有效载荷内包含在低层次侧上的层次组的图片的编码图像数据的PES数据包时，1位字段设置为“1”，即，设置为具有高优先级程度。另一方面，在后续TS数据包的有效载荷内，包括在有效载荷内包含在高层次侧上的层次组的图片的编码图像数据的PES数据包时，1位字段设置为“0”，即，设置为具有低优先级程度。
图25示出适配字段的一个设置实例。这是一个实例，其中，多个层次分成2个(低层次组和高层次组)，并且使用基本流优先级指示符(elementary_stream_priority_indicator)的1位字段。
在该图中显示的实例中，包括适配字段的TS数据包设置为正好在包括预定数量的TS数据包的各个组之前，TS数据包分别包括在有效载荷内包含一个图片的编码图像数据的PES数据包。在这种情况下，在一个图片是在低层次侧上的层次组的图片时，基本流优先级指示符的1位字段设置为“1”。另一方面，在一个图片是在高层次侧上的层次组的图片时，基本流优先级指示符的1位字段设置为“0”。
如图25中所示，设置包括适配字段的TS数据包，使得对于包含在视频流内的图片的各个编码图像数据，接收侧能够容易识别图片的编码数据所属的层次组。应注意的是，图25的设置实例显示逐个图片地设置包括适配字段的TS数据包。然而，每当图片所属的层次组改变时，包括适配字段的TS数据包可以为设置正好在其前面。
图26是示出如上所述在层次组的识别信息插入适配字段内时发送设备100的多路复用器104A的配置实例。在图26中，与在图12中的部分对应的部分由相同的参考符号表示，并且省略其详细描述。多路复用器104A包括适配字段优先级指令单元146，代替图12的多路复用器104的PES优先级生成单元141。
从CPU101给优先级指令单元146提供关于层次的数量(层的数量)以及流的数量(流数)的信息。在由层次的数量表示的多个层次分成预定数量(即，2个或更多个)的层次组时，优先级指令单元146生成各个层次组的优先级程度信息。例如，在多个层次分成2个时，优先级指令单元146生成要插入基本流优先级指示符的1位字段内的值(“1”用于低层次组，并且“0”用于高层次组)。
将在优先级指令单元146内生成的各个层次组的优先级程度信息供应给传输分包单元145。传输分包单元145将包括适配字段的TS数据包设置为正好在包括预定数量的TS数据包的各个组之前，TS数据包分别包括在有效载荷内包含一个图片的编码图像数据的PES数据包。在这种情况下，然后，传输分包单元145将对应于图片所属的层次组的优先级程度信息作为识别信息插入适配字段内。
图27示出如上所述在层次组的识别信息插入适配字段内时传输流TS的一个配置实例。此配置实例与在图14中显示的上述配置实例相同。在此配置实例中，具有包括适配字段的TS数据包，并且将用于识别各个图片所属的层次组的识别信息插入适配字段内。例如，在多个层次分成2个(低层次组和高层次组)时，使用基本流优先级指示符(elementary_stream_priority_indicator)的1位字段。
图28示出如上所述在层次组的识别信息插入适配字段内时接收设备200的多路分用器203A的配置实例。在图28中，与在图16中的部分对应的部分由相同的参考符号表示，并且省略其详细描述。多路分用器203A包括识别信息提取单元242，代替图16的多路分用器203的识别信息提取单元239。
识别信息提取单元242从适配字段中提取识别信息，并且将识别信息发送给流配置单元241。例如，在多个层次分成2个(低层次组和高层次组)时，识别信息提取单元242提取适配字段的“elementary_stream_priority_indicator”的1位字段的优先级程度信息，并且将优先级程度信息发送给流配置单元241。
流配置单元241从在PES有效载荷提取单元240中取出的各个层次的图片的编码图像数据中选择性取出对应于解码能力(解码器时间层能力)的层次组的图片的编码图像数据，并且将编码图像数据发送给编码图片缓冲器(cpb)204。在这种情况下，流配置单元241参考包含在PSI表格/描述符提取单元235内的层次信息和流配置信息、在识别信息提取单元242内提取的识别信息(优先级程度信息)等。
进一步，在上述实施方式中，描述了由发送装置100和接收装置200构成的发送和接收系统10，但是可以应用本技术的发送和接收系统的配置不限于此。例如，可以提供以下配置：接收装置200部分可以是与数字接口(例如，HDMI(高清晰度多媒体接口))连接的机顶盒和显示器。应注意的是，“HDMI”是注册商标。
进一步，在上述实施方式中，描述了容器是传输流(MPEG-2TS)的实例。然而，本技术可以同样适用于系统中，该系统具有使用网络(例如，互联网)将数据分发给接收终端的配置。在互联网上分发时，在很多情况下，在MP4或任何其他格式的容器中执行分发。具体而言，应用各种格式的容器，例如，在数字广播标准中使用的传输流(MPEG-2TS)以及用于在互联网上分发的MP4，作为容器。
例如，图29示出MP4流的一个配置实例。在MP4流中，具有“moov”、“moof”、“mdat”等盒(box)。在作为磁道的“mdat”的盒中，具有视频基本流“轨道(track)1：视频ES1”，作为视频的编码流，并且具有音频基本流“轨道1：音频ES1”，作为音频的编码流。
进一步，在“moof”的盒内，具有“mfhd(电影片段报头)”，作为报头部分，并且具有对应于各个轨道的“轨道片段”，作为其数据部分。在对应于视频基本流“轨道1：视频ES1”的“轨道片段(视频)”中，具有“独立的一次性样本(Independentanddisposalsamples)”。在“独立的一次性样本”内插入对应于各个图片的“SampleDependencyTypeBox”的盒。
在此盒中，可以插入用于识别各个图片的编码图像数据所属的层次组的识别信息。例如，在多个层次分成两个层次组(最高层次以及另一个更低的层次)时，可以使用2位字段“sample_depends_on”和2位字段“sample_is_depended_on”插入识别信息。
图30示出“SampleDependencyTypeBox”的一个结构实例(语法)。进一步，图31示出在该结构实例中的主要信息的细节(语义)。在这种情况下，将“sample_depends_on”设置为“1”，从而表示用于参考另一个图片，而非I图片，以及将“sample_is_depended_on”设置为“2”，从而表示用于不被另一个图片参考。因此，能够识别属于一组最高层次的图片。进一步，在其他情况下，能够识别该图片，作为属于层次的层次组的图片。
应注意的是，还可以设想使用新定义的“SampleScalablePriorityBox”，代替盒“SampleDependencyTypeBox”。图32示出“SampleScalablePriorityBox”的一个结构实例(语法)。进一步，图33示出在该结构实例中的主要信息的细节(语义)。
在这种情况下，在多个层次分成两个层次组(最低层次组以及高层次组)时，使用2位字段“base_and_priority”插入识别信息。换言之，例如，在为将“base_and_priority”设置为“1”时，能够识别具有低优先级程度并且属于高层次组的图片。另一方面，例如，将“base_and_priority”设置为“2”时，能够识别具有高优先级程度并且属于低层次组的图片。
进一步，本技术可以具有以下配置。
(1)一种发送设备，包括：
图像编码单元，其将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据；
发送单元，其发送包括所生成的视频数据的预定格式的容器；以及
识别信息插入单元，其将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
(2)根据(1)所述的发送设备，其中，
所述识别信息是优先级程度信息，其设置为对于在低层次侧上的层次组更高。
(3)根据(1)所述的发送设备，其中，
所述识别信息插入PES数据包的报头内，PES数据包(packet)在有效载荷内包括用于每个图片的编码图像数据。
(4)根据(3)所述的发送设备，其中，
使用所述报头的PES优先级的字段，插入所述识别信息。
(5)根据(1)所述的发送设备，其中，
所述识别信息插入包括适配字段的TS数据包的适配字段内。
(6)根据(5)所述的发送设备，其中，
使用所述适配字段的ES优先级指示符的字段，插入所述识别信息。
(7)根据(1)所述的发送设备，其中，
所述识别信息插入与合适的图片的轨道相关的报头的盒内。
(8)根据(1)到(7)中任一项所述的发送设备，其中，
所述图像编码单元：
生成包括各个层次的图片的编码图像数据的单个视频流，或者预定数量的视频数据，所述预定数量的视频数据各自包括各个层次的图片的编码图像数据，并且
进一步包括配置信息插入单元，其将包含在所述容器内的视频流的配置信息插入所述容器的层内。
(9)一种发送方法，包括：
图像编码步骤，用于将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据；
发送步骤，用于由发送单元发送包括所生成的视频数据的预定格式的容器；以及
识别信息插入步骤，用于将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
(10)一种接收设备，包括：
接收单元，其接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据来获得所述编码图像数据；以及
图像解码单元，其从包含在所接收的容器内的视频数据中，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器内的各个图片的编码图像数据，并且获取等于或低于预定层次的层次的图片的图像数据。
(11)根据(10)所述的接收设备，其中，
将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内，并且
所述图像解码单元根据所述识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器内，并且解码所述编码图像数据。
(12)根据(11)所述的接收设备，其中，
所述识别信息插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。
(13)根据(11)所述的接收设备，其中，
所述识别信息插入包括适配字段的TS数据包的适配字段内。
(14)根据(11)所述的接收设备，其中，
所述识别信息插入与合适的图片的轨道相关的报头的盒内。
(15)根据(10)所述的接收设备，其中，
将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且所接收的容器包括预定数量的视频流，所述视频流分别包括预定数量的层次组的图片的编码图像数据，并且
所述图像解码单元根据流识别信息，使与解码能力对应的预定层次组的图片的编码图像数据进入缓冲器，并且解码所述编码图像数据。
(16)根据(15)所述的接收设备，其中，
在多个视频流内包含预定层次组的图片的编码图像数据时，所述图像解码单元根据解码定时信息将各个图片的编码图像数据转换成一个流，并且在使所述流进入所述缓冲器。
(17)根据权利要求(10)到(16)中任一项所述的接收设备，其中，
所述图像解码单元具有重写选择性进入在所述缓冲器的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。
(18)根据权利要求(10)到(17)中任一项所述的接收设备，进一步包括后处理单元，其使由在所述图像解码单元内获得的各个图片的图像数据的帧速率与显示能力匹配。
(19)一种接收方法，包括：
接收步骤，用于由接收单元接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据，来获得所述编码图像数据；以及
图像解码步骤，用于从包含在所接收的容器内的视频数据中，使等于或低于与解码能力对应的预定层次的层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器的各个图片的编码图像数据，并且获得等于或低于预定层次的层次的图片的图像数据。
本技术的主要特征在于，将用于识别包含在视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为视频数据的容器的数据包内，从而使用识别信息，容易使接收侧能够选择性解码层次等于或低于与解码能力对应的预定层次的图片的编码图像数据(见图12)。
符号说明
10：发送和接收系统
100：发送设备
101：CPU
102：编码器
103：编码图片缓冲器(cpb)
104、104A：多路复用器
105：发送单元
141：PES优先级生成单元
142：区段编码单元
143-1到143-N：PES分包单元
144：开关单元
145：传输分包单元
146：适配字段优先级指令单元
200：接收设备
201：CPU
202：接收单元
203：多路分用器
204：编码图片缓冲器(cpb)
205：解码器
206：解码图片缓冲器(dpb)
207：后处理单元
231：TS适配字段提取单元
232：时钟信息提取单元
233：TS有效载荷提取单元
234：区段提取单元
235：PSI表格/描述符提取单元
236：PES数据包提取单元
237：PES报头提取单元
238：时间戳提取单元
239：识别信息提取单元
240：PES有效载荷提取单元
241：流配置单元
242：识别信息提取单元
251：时间ID分析单元
252：目标层次选择单元
253：解码单元
271：内插单元
272：二次采样单元
273：开关单元

Claims (19)

1.一种发送设备，包括：
图像编码单元，其将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据；
发送单元，其发送包括所生成的视频数据的预定格式的容器；以及
识别信息插入单元，其将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
2.根据权利要求1所述的发送设备，其中，
所述识别信息是优先级程度信息，所述优先级程度被设置为在低层次侧的层次组更高。
3.根据权利要求1所述的发送设备，其中，
所述识别信息被插入在有效载荷包括每个图片的编码图像数据的PES数据包的报头内。
4.根据权利要求3所述的发送设备，其中，
使用所述报头的PES优先级的字段插入所述识别信息。
5.根据权利要求1所述的发送设备，其中，
所述识别信息插入包括适配字段的TS数据包的所述适配字段内。
6.根据权利要求5所述的发送设备，其中，
使用所述适配字段的ES优先级指示符的字段插入所述识别信息。
7.根据权利要求1所述的发送设备，其中，
所述识别信息插入与合适的图片的轨道相关的报头的盒内。
8.根据权利要求1所述的发送设备，其中，
所述图像编码单元：
生成包括各个层次的图片的编码图像数据的单个视频流，或者各自包括各个层次组的图片的编码图像数据的预定数量的视频数据，并且
还包括配置信息插入单元，所述配置信息内插单元将包含在所述容器内的视频流的配置信息插入所述容器的层内。
9.一种发送方法，包括：
图像编码步骤，用于将构成运动图像数据的图片的图像数据分类为多个层次，编码各个分类的层次的图片的图像数据，并且生成包括各个层次的图片的编码图像数据的视频数据；
发送步骤，用于由发送单元发送包括所生成的视频数据的预定格式的容器；以及
识别信息插入步骤，用于将所述多个层次分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内。
10.一种接收设备，包括：
接收单元，其接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，所述编码图像数据通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据而获得；以及
图像解码单元，其从包含在所接收的容器内的所述视频数据使层次等于或低于与解码能力对应的预定层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器内的各个图片的编码图像数据，并且获取层次等于或低于预定的层次的图片的图像数据。
11.根据权利要求10所述的接收设备，其中，
所述多个层次被分成预定数量的层次组，所述预定数量是2或更大，并且将用于识别包含在所述视频数据内的各个图片的编码图像数据所属的层次组的识别信息插入作为所述视频数据的容器的数据包内，并且
所述图像解码单元根据所述识别信息，使与所述解码能力对应的预定层次组的图片的编码图像数据进入所述缓冲器并且解码所述编码图像数据。
12.根据权利要求11所述的接收设备，其中，
所述识别信息插入包括在有效载荷内用于各个图片的编码图像数据的PES数据包的报头内。
13.根据权利要求11所述的接收设备，其中，
所述识别信息插入包括适配字段的TS数据包的所述适配字段内。
14.根据权利要求11所述的接收设备，其中，
所述识别信息插入与合适的图片的轨道相关的报头的盒内。
15.根据权利要求10所述的接收设备，其中，
所述多个层次被分成预定数量的层次组，所述预定数量是2或更大，并且接收的容器包括预定数量的视频流，所述视频流分别包括所述预定数量的层次组的图片的编码图像数据，并且
所述图像解码单元根据流识别信息，使与所述解码能力对应的预定层次组的图片的编码图像数据进入缓冲器并且解码所述编码图像数据。
16.根据权利要求15所述的接收设备，其中，
在多个视频流内包含所述预定层次组的图片的编码图像数据时，所述图像解码单元根据解码定时信息将各个图片的编码图像数据转换成一个流，并且使所述流进入所述缓冲器。
17.根据权利要求10所述的接收设备，其中，
所述图像解码单元具有重写选择性进入所述缓冲器的各个图片的编码图像数据的解码时间戳并且调整低层次图片的解码间隔的功能。
18.根据权利要求10所述的接收设备，还包括后处理单元，其使在所述图像解码单元获得的各个图片的图像数据的帧速率与显示能力匹配。
19.一种接收方法，包括：
接收步骤，用于由接收单元接收包括视频数据的预定格式的容器，所述视频数据包括各个层次的图片的编码图像数据，所述编码图像数据通过将构成运动图像数据的图片的图像数据分类为多个层次并且编码所述图像数据而获得；以及
图像解码步骤，用于从包含在所接收的容器内的所述视频数据使层次等于或低于与解码能力对应的预定层次的图片的编码图像数据选择性地进入缓冲器，解码进入所述缓冲器的各个图片的编码图像数据，并且获得层次等于或低于预定层次的图片的图像数据。
CN201480035205.1A 2013-08-27 2014-08-08 发送设备、发送方法、接收设备以及接收方法 Active CN105453574B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013176158A JP5774652B2 (ja) 2013-08-27 2013-08-27 送信装置、送信方法、受信装置および受信方法
JP2013-176158 2013-08-27
PCT/JP2014/071082 WO2015029754A1 (ja) 2013-08-27 2014-08-08 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN105453574A true CN105453574A (zh) 2016-03-30
CN105453574B CN105453574B (zh) 2021-06-08

Family

ID=52586323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480035205.1A Active CN105453574B (zh) 2013-08-27 2014-08-08 发送设备、发送方法、接收设备以及接收方法

Country Status (10)

Country Link
US (5) US9538211B2 (zh)
EP (2) EP3041240B1 (zh)
JP (1) JP5774652B2 (zh)
KR (3) KR102399866B1 (zh)
CN (1) CN105453574B (zh)
BR (1) BR112015031044B1 (zh)
MX (1) MX350824B (zh)
MY (1) MY179811A (zh)
RU (1) RU2678495C2 (zh)
WO (1) WO2015029754A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
CN109804639A (zh) * 2016-09-29 2019-05-24 英特尔公司 无连接无线媒体广播

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
EP3611929B1 (en) 2013-10-18 2023-11-01 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image receiving device
JP5886341B2 (ja) 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6848873B2 (ja) * 2015-10-13 2021-03-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) * 2015-11-30 2016-08-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108605152B (zh) * 2016-02-09 2021-07-16 索尼公司 发送装置、发送方法、接收装置和接收方法
US10623755B2 (en) * 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
EP3503564A4 (en) * 2016-08-22 2019-09-04 Sony Corporation TRANSMISSION APPARATUS, TRANSMISSION METHOD, RECEIVING APPARATUS, AND RECEIVING METHOD
US11272213B2 (en) * 2017-09-22 2022-03-08 Dolby Laboratories Licensing Corporation Backward compatible display management metadata compression
WO2019159012A1 (en) 2018-02-19 2019-08-22 Rapt Ip Limited Unwanted touch management in touch-sensitive devices
FR3079710A1 (fr) * 2018-03-29 2019-10-04 Orange Procede de gestion d'une pluralite de flux media, et dispositif associe

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020051581A1 (en) * 2000-06-19 2002-05-02 Seiichi Takeuchi Video signal encoder and video signal decoder
CN1751503A (zh) * 2003-03-03 2006-03-22 诺基亚有限公司 用于指示宽带传输中载送的传输流的分级模式的方法、系统和网络实体
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112569A (ja) 1997-10-07 1999-04-23 Matsushita Electric Ind Co Ltd データ転送システム
JP2003244694A (ja) 2002-02-14 2003-08-29 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP3843101B2 (ja) * 2002-03-04 2006-11-08 富士通株式会社 階層符号化データ配信装置および方法
US8955020B2 (en) * 2002-12-11 2015-02-10 Broadcom Corporation Transcoding and data rights management in a mobile video network with STB as a hub
WO2005011285A1 (ja) * 2003-07-24 2005-02-03 Nippon Telegraph And Telephone Corporation 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体
EP1825684A1 (en) 2004-12-10 2007-08-29 Koninklijke Philips Electronics N.V. Wireless video streaming using single layer coding and prioritized streaming
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
EP1917808A1 (en) * 2005-08-26 2008-05-07 Thomson Licensing Trick play using temporal layering
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
JP2009267537A (ja) 2008-04-22 2009-11-12 Toshiba Corp 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
KR20090117863A (ko) 2008-05-10 2009-11-13 삼성전자주식회사 계층적 영상 부호화를 위한 참조 프레임 관리 장치 및 방법
WO2010032636A1 (ja) * 2008-09-17 2010-03-25 シャープ株式会社 スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置
JP2010258997A (ja) * 2009-04-28 2010-11-11 Sharp Corp 番組データ記録再生装置及び番組データ記録再生方法
WO2010147289A1 (en) 2009-06-16 2010-12-23 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video processing method thereof
WO2012023837A2 (en) * 2010-08-19 2012-02-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multilayer videos
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
US10034009B2 (en) 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability
US10237565B2 (en) 2011-08-01 2019-03-19 Qualcomm Incorporated Coding parameter sets for various dimensions in video coding
US10958915B2 (en) 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
JP2013166503A (ja) 2012-02-16 2013-08-29 Yokohama Rubber Co Ltd:The 空気入りタイヤ
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
WO2014050425A1 (ja) 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
US9357199B2 (en) * 2013-01-04 2016-05-31 Qualcomm Incorporated Separate track storage of texture and depth views for multiview coding plus depth
JP6571314B2 (ja) 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020051581A1 (en) * 2000-06-19 2002-05-02 Seiichi Takeuchi Video signal encoder and video signal decoder
CN1751503A (zh) * 2003-03-03 2006-03-22 诺基亚有限公司 用于指示宽带传输中载送的传输流的分级模式的方法、系统和网络实体
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAQUE M ET AL.: "On HEVC descriptors for Temporal sub-streams with multiple PIDs in a MPEG-2 Transport Stream", 《101. MPEG MEETING; STOCKHOLM; MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11; NO.M26187》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109076256A (zh) * 2016-04-12 2018-12-21 索尼公司 发送设备、发送方法、接收设备和接收方法
CN109804639A (zh) * 2016-09-29 2019-05-24 英特尔公司 无连接无线媒体广播
CN109804639B (zh) * 2016-09-29 2021-10-22 英特尔公司 用于无连接无线媒体广播的电子设备和方法

Also Published As

Publication number Publication date
EP3041240B1 (en) 2019-07-24
US11128901B2 (en) 2021-09-21
US20160134902A1 (en) 2016-05-12
BR112015031044A2 (zh) 2017-07-25
KR102399866B1 (ko) 2022-05-20
EP3554077A1 (en) 2019-10-16
JP2015046726A (ja) 2015-03-12
MY179811A (en) 2020-11-16
EP3041240A1 (en) 2016-07-06
JP5774652B2 (ja) 2015-09-09
US20170085922A1 (en) 2017-03-23
US9819976B2 (en) 2017-11-14
US20190174153A1 (en) 2019-06-06
KR20210130266A (ko) 2021-10-29
KR102130871B1 (ko) 2020-07-08
US11601696B2 (en) 2023-03-07
MX2015017581A (es) 2016-04-21
US9538211B2 (en) 2017-01-03
KR20200083649A (ko) 2020-07-08
KR20160046761A (ko) 2016-04-29
RU2678495C2 (ru) 2019-01-29
CN105453574B (zh) 2021-06-08
EP3041240A4 (en) 2017-01-25
US20180054636A1 (en) 2018-02-22
US20210385508A1 (en) 2021-12-09
US10250924B2 (en) 2019-04-02
RU2015153351A (ru) 2017-06-16
KR102318030B1 (ko) 2021-10-27
MX350824B (es) 2017-09-25
WO2015029754A1 (ja) 2015-03-05
RU2015153351A3 (zh) 2018-06-26
BR112015031044B1 (pt) 2023-03-28

Similar Documents

Publication Publication Date Title
CN105453574A (zh) 发送设备、发送方法、接收设备以及接收方法
JP7192910B2 (ja) 送信方法および送信装置
CN105340283A (zh) 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
JP5947269B2 (ja) 符号化装置、符号化方法、送信装置および受信装置
JP6950802B2 (ja) 送信方法および送信装置
JP5905147B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2022126774A (ja) 受信装置
JP6508270B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7230981B2 (ja) 受信装置および受信方法
JP6773205B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5905148B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6213482B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2019062566A (ja) 送信装置、送信方法、受信装置および受信方法
JP2016096585A (ja) 符号化装置、符号化方法、送信装置および受信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant