CN106063267B - 发送装置、发送方法、接收装置以及接收方法 - Google Patents

发送装置、发送方法、接收装置以及接收方法 Download PDF

Info

Publication number
CN106063267B
CN106063267B CN201580011446.7A CN201580011446A CN106063267B CN 106063267 B CN106063267 B CN 106063267B CN 201580011446 A CN201580011446 A CN 201580011446A CN 106063267 B CN106063267 B CN 106063267B
Authority
CN
China
Prior art keywords
video flowing
grade
picture
image data
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580011446.7A
Other languages
English (en)
Other versions
CN106063267A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201910585086.1A priority Critical patent/CN110324628B/zh
Publication of CN106063267A publication Critical patent/CN106063267A/zh
Application granted granted Critical
Publication of CN106063267B publication Critical patent/CN106063267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明的目的是允许在接收侧上执行有利的解码过程。对构成运动图像数据的图片的图像数据编码以生成视频流(编码流)。在这种情况下，构成运动图像数据的图片的图像数据被分成多个分级层并且然后进行编码以生成具有分级层的图片的图像数据的视频流。这时，较低的分级层侧上的分级配置与较高的分级侧上的分级配置均衡，并且较低和较高的分级层侧上相互对应的图片分组作为相应集合并且然后依次进行编码。这会在执行较低和较高的分级层侧上的图片的编码的图像数据的解码过程中，减少接收侧上的缓冲器大小和解码延迟。

Description

发送装置、发送方法、接收装置以及接收方法
技术领域
本发明涉及一种发送装置、发送方法、接收装置、以及接收方法，更具体地，涉及一种使构成运动图像数据的图片的图像数据进行分级编码并对其进行发送的发送装置、及其他。
背景技术
为了通过广播、网络等服务压缩的移动图像，可重复的帧频存在取决于接收器的解码能力的上限。因此，考虑到主要接收器的重放能力，服务提供商需要将它们的服务限制为低帧频服务或者同时提供高帧频服务和低帧频服务。
为了对应于高帧频服务，接收器成本变得更高，从而成为推广的障碍。当最初广泛应用致力于低帧频服务的便宜的接收器并且将来服务提供商开始高帧频服务时，用户在没有新的接收器的情况下不能接收高帧频服务，从而成为快速扩大新服务的障碍。
例如，提出了通过高效率视频编码(HEVC)使构成运动图像数据的图片的图像数据进行分级编码的时间方向可量测性(参见非专利文献1)。在接收侧，可基于插入网络抽象层(NAL)单元的报头中的时间ID(temporal_id)信息识别图片的等级，从而允许有选择地进行解码直至对应于解码能力的等级。
引用列表
非专利文献
非专利文献1：Gary J.Sullivan,Jens-Rainer Ohm,Woo-Jin Han,ThomasWiegand,"Overview of the High Efficiency Video Coding(HEVC)Standard"IEEETRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY,VOL.22,NO.12,pp.1649-1668，2012年12月
发明内容
本发明要解决的问题
本技术的目的是允许在接收侧进行有利的解码。
技术解决方案
本技术的构思在于发送装置，包括：
图像编码单元，将构成运动图像数据的图片的图像数据分成多个等级，并将各等级的图片的分类的图像数据编码以生成具有各等级的图片的编码的图像数据的视频流；以及
发送单元，发送包含所生成的视频流的具有预定格式的容器，其中
图像编码单元使低等级侧与高等级侧之间的分级构成均衡，并且将低等级侧与高等级侧上的相应图片合并成一组并依次对其进行编码。
根据本技术，图像编码单元对构成运动图像数据的图片的图像数据编码以生成视频流(编码流)。在这种情况下，构成运动图像数据的图片的图像数据被分成多个等级，并编码以生成具有各等级的图片的图像数据的视频流。使在低等级侧与高等级侧之间的分级构成均衡。低等级侧和高等级侧上的相应图片合并成一组并依次进行编码。
发送单元发送包括前述视频流的具有预定格式的容器。例如，图像编码单元可以生成具有各等级的图片的编码的图像数据的单个视频流或者将多个等级划分成上等级侧和下等级侧的两组并生成具有各等级组中的图片的编码的图像数据的两个视频流。
根据本技术，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。这允许接收侧对低等级侧和高等级侧上的图片的编码的图像数据进行解码，且缓冲器大小更小和解码延迟减少。
在本技术中，例如，可以进一步包括将分级信息插入容器的层中的分级信息插入单元。在这种情况下，例如，分级信息可具有有关各等级的等级给定值的信息。此外，在这种情况下，例如，分级信息插入单元可以将分级信息插入到与视频流中的图片的编码的图像数据同步的位置处的该层容器中。
例如，分级信息插入单元可以将分级信息插入PES数据包的扩展字段中。在这种情况下，分级信息插入单元可以以编码视频序列为单位将分级信息插入PES数据包的扩展字段中。此外，在这种情况下，例如，插入明确地描述分级信息是否插入PES数据包的扩展字段中的信息的信息插入单元可以进一步包含在节目映射表之下。
此外，例如，分级信息插入单元可以将分级信息插入到节目映射表之下。此外，例如，分级信息插入单元可以将分级信息插入到事件信息表之下。
分级信息插入该层容器中，并且接收侧可以参考分级信息以以容易的方式从视频流有选择地检索图片的编码的图像数据的视频流直至与解码器的能力相当的等级。
此外，本技术的另一构思在于接收装置，接收装置包括接收单元，接收单元接收包含视频流的具有预定格式的容器，视频流具有通过将构成运动图像数据的图片的图像数据分成多个等级，并对其进行编码获得的图片的编码的图像数据，其中
在编码中，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码，并且
接收装置进一步包括处理所接收的容器的处理单元。
根据本技术，接收单元接收具有预定格式的容器。容器包含视频流，视频流具有将构成运动图像数据的图片的图像数据分成多个等级，并对其进行编码获得的各等级的图片的图像数据。在这种情况下，在编码的过程中，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。
处理单元处理所接收的容器。例如，处理单元可被配置为基于分级信息从视频流有选择地检索预定等级和较低等级处的图片的编码的图像数据并对其进行解码，从而获得预定等级和较低等级处的图片的图像数据。
如上所述，根据本技术，在包含于所接收的容器中的视频流中，分级构成在低等级侧与高等级侧之间均衡，并且低等级侧和高等级侧上的相应图片合并成一组并依次进行编码。这使得可以在较小的缓冲器大小和减少的解码延迟的情况下对低等级侧和高等级侧上的图片的编码的图像数据进行解码。
根据本技术，分级信息可以插入该层容器中，并且
处理单元可以基于分级信息从视频流有选择地检索预定等级和较低等级处的图片的编码的图像数据并对其进行解码，从而获得预定等级和较低等级处的图片的图像数据。在这种情况下，容易以容易的方式从视频流有选择地检索与解码器的能力相当的等级处的图片的编码的图像数据。
本发明的效果
根据本技术，接收侧可以执行有利的解码。该技术的优点不限于这里描述的优点但可以是本公开描述的任何技术优点。
附图说明
图1是发送/接收系统作为实施方式的框图。
图2是发送装置的配置实例的框图。
图3是示出了编码器执行的分级编码的实例的示图。
图4(a)和图4(b)是示出了NAL单元头的结构实例(语法)和该结构实例中主要参数的内容(语义)的示图。
图5是示出了编码器执行的分级编码的另一实例的示图。
图6是示出了图片的编码图像数据的配置实例的示图。
图7(a)和图7(b)是示出了层解码描述符(Layer_decoding_descriptor)的结构实例(语法)的示图。
图8是示出了层解码描述符的结构实例中的主要信息的内容(语义)的示图。
图9是示出了PES扩展字段数据“pes_extension_field_data()”的结构实例(语法)的示图。
图10(a)和图10(b)是示出了PES扩展描述符(PES_extension_descriptor)的结构实例(语法)和在该结构实例中的主要信息的内容(语义)的示图。
图11是在执行单流分布并且分级信息插入在节目映射表之下的情况下的传输流TS的配置实例的示图。
图12是在执行双流分布并且分级信息插入在节目映射表之下的情况下的传输流TS的配置实例的示图。
图13是在执行单流分布并且分级信息插入在事件信息表之下的情况下的传输流TS的配置实例的示图。
图14是在执行双流分布并且分级信息插入在事件信息表之下的情况下的传输流TS的配置实例的示图。
图15是在执行单流分布并且分级信息插入PES包报头的扩展字段中的情况下的传输流TS的配置实例的示图。
图16是在执行双流分布并且分级信息插入PES包报头的扩展字段中的情况下的传输流TS的配置实例的示图。
图17是示出了接收装置的配置实例的框图。
图18是示出了“level_idc”的信令与分级构成变化的编码图像数据的分级信息之间对应的实例的示图。
具体实施方式
下面将描述用于执行本发明的实施方式(在下文中，称为“实施方式”)。将按照以下顺序进行描述：
1.实施方式
2.变形例
<1.实施方式>
[发送/接收系统]
图1示出了发送/接收系统10的配置实例作为实施方式。发送/接收系统10具有发送装置100和接收装置200。
发送装置100通过网络将传输流TS作为广播波上或者数据包中携带的容器发送。传输流TS包含视频流，在视频流中构成运动图像数据的图片的图像数据被分为多个等级，并且各等级的图片的图像数据的编码数据被包括在其中。在这种情况下，传输流TS包含具有各等级的图片的编码图像数据的单个视频流或多个等级被分成两组的高等级侧和低等级侧的两个视频流，并且在各等级组处的图片的编码图像数据包括在其中。
例如，参考图片是根据H.264/AVC或H.265/HEVC编码的因此它们属于它们的等级和/或较低等级。在这种情况下，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。进行这样的编码允许接收侧对低等级侧和高等级侧上的图片的编码图像数据进行解码，且缓冲器大小更小和解码延迟减少。
等级标识信息被加到各等级的图片的编码图像数据以识别图片所属的等级。在实施方式中，等级标识信息(“nuh_temporal_id_plus1”表示temporal_id)被加到图片的NAL单元(nal_unit)的报头中。添加等级标识信息允许接收侧有选择地检索预定等级和较低等级的编码图像数据以用于解码处理。
包括有关在各等级和其他等级处的等级给定值的信息的分级信息被插入到该层容器中。接收侧可参考分级信息以简单的方式从视频流有选择地检索在与解码器的能力相当的等级处的图片的编码图像数据。例如，在节目映射表(PMT)之下或在事件信息表(EIT)之下插入分级信息。
此外，例如，分级信息被插入到在与视频流中的图片的编码图像数据同步的位置处的PES数据包的报头的PES扩展字段中。这允许接收侧即使分级构成发生变化也能从视频流有选择地检索在与解码器的能力相当的等级处的图片的编码图像数据。
当分级信息被插入到如上所述的PES数据包的扩展字段中时，在节目映射表之下插入表示分级信息被插入到PES数据包的扩展字段中的标识信息。在这种情况下，接收侧可基于标识信息识别分级信息被插入PES数据包的扩展字段中的情况。
接收装置200通过网络接收从发送装置100发送的广播波或数据包中的传输流TS。接收装置200处理传输流TS。在这种情况下，接收装置200从视频流有选择地检索在与解码器的能力相当的预定等级和较低等级处的图片的编码图像数据并且基于包含于该层容器中的分级信息对其进行解码，从而获得预定等级和较低等级处的图片。
“发送装置的配置”
图2示出了发送装置100的配置实例。发送装置100具有中央处理单元(CPU)101、编码器102、压缩数据缓冲器(cpb：编码图片缓冲器)103、复用器104、以及发送单元105。CPU101是控制发送装置100的部件的操作的控制单元。
编码器102输入未压缩的运动图像数据VD以执行分级编码。编码器102将构成运动图像数据VD的图片的图像数据分成多个等级。然后，编码器102对各等级的图片的图像数据进行分类以生成具有各等级的图片的编码图像数据的视频流。
编码器102执行编码诸如H.264/AVC或H.265/HEVC。在那时，编码器102执行编码使得所参考的图片属于它们的等级和/或较低的等级。编码器102还将多个等级划分成低等级侧和高等级侧，并使低等级侧与高等级侧之间的分级构成均衡，并将低等级侧和高等级侧上的相应图片合并成一组并以此对其进行编码。
图3示出了由编码器102执行的分级编码的实例。在该实例中，图片的图像数据被分成0至5六个等级，并且进行编码。
纵轴表示等级。值0至5被设置为temporal_id(等级标识信息)，temporal_id被加到构成在等级0至5处的图片的编码图像数据的NAL单元(nal_unit)的报头中。同时，横轴表示组合的图片顺序(POC)，显示时间越早越接近左侧，越晚越接近右侧。
图4(a)示出NAL单元头的结构实例(语法)，以及图4(b)示出了在结构实例中主要参数的内容(语义)。1位字段“Forbidden_zero_bit”基本上为0。6位字段“Nal_unit_type”表示NAL单元类型。前提是6位字段“Nuh_layer_id”为0。3位字段“nuh_temporal_id_plus1”表示temporal_id并使值增加一个(1至6)。
返回至图3，矩形框表示图片，并且矩形框中的数字表示编码图片的顺序，即，编码顺序(在接收侧的解码顺序)。例如，“0”至“7”的八个图片构成子图片组，并且图片“0”变成子图片组中的第一图片。几个子图片组被收集到图片组(GOP)中。
在该实例中，0至2的三个等级在低等级侧上并且3至5的三个等级在高等级侧上。如在附图中示出的，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。例如，低等级侧上的图片“0”和高等级侧上的图片“1”首先合并成一组并进行编码，并且然后低等级侧上的图片“2”和高等级侧上的图片“3”合并成一组并进行编码。以同样方式对以下等级处的图片进行编码。在这种情况下，低等级限于比特定等级还低的等级。因此，为了解码低等级处的图片，只可对限制的低等级处的图片进行解码并以稳定的方式显示。该内容也适用于即使当图片不被分成低等级和高等级时。
返回至图3，实线和虚线箭头表示编码中的图片之间的参考关系。例如，图片“0”是不需要参考其他图片的帧内图(I图片)并且图片“1”是参考“1”图片进行编码的P图片。图片“2”是参考“0”图片和先前子图片组(未示出)中的图片进行编码的B图片。图片“3”是参考“0”和“2”图片编码的B图片。类似地，参考在组合的图片顺序中靠近它们的图片对其他图片进行编码。代码“D”表示每个图片距组合的图片顺序中所参考的图片距离是多少。没有“D”的表示，D＝1。
图5示出了由编码器102执行的分级编码的另一实例。尽管没有提供详细说明，在图3的实例中，高等级侧上的组合的图片顺序是低等级侧上的组合的图片顺序后面的一个图片，然而，在图5的实例中，高等级侧上的组合的图片顺序是在低等级侧上的组合的图片顺序前面的一个图片。在这种情况下，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。
编码器102生成具有各等级的图片的编码图像数据的视频流。例如，编码器102生成具有各等级的图片的编码图像数据的单个视频流或者生成具有在高阶等级侧和低阶等级侧上的图片的编码图像数据的两个视频流。
图6示出了图片的编码图像数据的配置实例。GOP的第一图片的编码图像数据由AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、以及EOS的NAL单元组成。同时，除GOP的第一图片以外的图片由AUD、PPS、PSEI、SLICE、SSEI、以及EOS的NAL单元组成。单元VPS可与单元SPS一起发送，每个序列一次(GOP)，并且可针对每个图片发送单元PPS。单元EOS可能不存在。比特流等级给定值“general_level_idc”被插入序列参数集(SPS)。此外，当属于由“temporal_id”表示的等级的图片结合到子层(sub_layer)中并且“Sublayer_level_presented_flag”被设为“1”时，每个子层“sublayer_level_idc”的比特率等级给定值还可以插入SPS中。该内容不仅应用于SPS而且也应用于VPS。
例如，将论述图3中示出的分级编码的实例。被插入SPS中的“general_level_idc”的值是包括在等级0至5处的所有图片的等级值。例如，当帧速率是120P时，值是“5.2。”被插入“sublayer_level_idc[2]”中的值变成仅包括在等级0至2处的图片的等级值。例如，当帧速率是60P时，值是“等级5.1。”
返回至图2，压缩数据缓冲器(cpb)103暂时累积包括由编码器102生成的各等级的图片的编码图像数据的视频流。复用器104读取在压缩数据缓冲器103中累积的视频流，将其转变为PES数据包，并进一步将其转变为传输数据包以对其进行复用，从而获得传输流TS作为复用的流。传输流TS包含如上所述的一个或多个视频流。
复用器104将分级信息插入该层容器中。发送单元105通过网络将由复用器104获得的广播波或数据包中的传输流TS发送至接收装置200。
[分级信息的插入]
将进一步说明通过复用器104插入分级信息。例如，复用器104通过以下方法(A)、(B)、以及(C)中任一个方法将分级信息插入至该层容器：
(A)将分级信息插入到节目映射表(PMT)之下；
(B)将分级信息插入事件信息表(EIT)之下；以及
(C)将分级信息插入PES数据包的报头的扩展字段中。
“(A)的描述”
传输流TS包含PMT作为节目特定信息(PSI)。PMT具有视频基本循环(视频ES1回路)，视频基本循环具有与每个视频流有关的信息。在视频基本循环中，布置有诸如流型和数据包标识符(PID)的信息并且也根据视频流布置描述与每个视频流有关的信息的描述符。
复用器104插入重新定义为描述符中的一个的层解码描述符(Layer_decoding_descriptor)。图7(a)和图7(b)示出了层解码描述符的结构实例(语法)。图8示出了结构实例中的主要信息的内容(语义)。
8位字段“Layer_decoding_descriptor_tag”表示描述符类型，并且在该实例中，表示层解码描述符。8位字段“Layer_decoding_descriptor_length”表示描述符的长度(大小)为后续“layer_information()”的字节数。
图7(b)示出了“layer_information()。”的结构实例(语法)3位字段“layer_minimum LMI”表示通过“temporal_id”的最小值表示的等级(层)。3位字段“layer_maximumLMX”表示通过“temporal_id”的最大值表示的等级(层)。在该实例中，向其分配“temporal_id”的层的数目是(LMX-LMI+1)。8位字段“layer_level_idc[i]”表示“level_idc”作为在每个等级处的比特率的等级给定值。
“(B)的描述”
传输流TS还包含EIT作为用于管理每个事件的SI(服务的信息)。复用器104将上述层解码描述符(参见图7(a)和图7(b))布置在EIT之下。在这种情况下，复用器104将常规已知的部件描述符布置在EIT之下以与PES流相联系。
“(C)的描述”
PES扩展字段可以设置在PES数据包的报头中。复用器104将具有分级信息的PES扩展字段数据插入扩展字段中。以这种方式，复用器104提供PES数据包的报头中的PES扩展字段，以例如至少对于每个编码视频序列(CVS)，插入具有分级信息的PES扩展字段数据。图9示出了PES扩展字段数据“pes_extension_field_data”的结构实例(语法)。
给出语法结构之外的“PES_extension字段长度”。8位字段“start_sync_byte”表示代表扩展字段开始的代码值。8位字段“extension_field_type”表示扩展字段的类型，其是指在实例中分级信息的提供。“layer_information()”具有如上所述“layer_minimumLMI”、“layer_minimum LMX”、“layer_level_idc[i]”的字段(参见图7(b))。
在这种情况下，复用器104将PES扩展描述符(PES_extension_descriptor)布置为视频基本循环中的描述符之一以明确地描述分级信息被插入PES扩展字段中。
图10(a)示出PES扩展描述符(PES_extension_descriptor)的结构实例(语法)。图10(b)示出了结构实例中的主要信息的内容(语义)。8位字段“PES_extention_descriptor_tag”表示描述符的类型，是指在该实例中的PES扩展描述符。
8位字段“PES_extention_descriptor_length”表示描述符的长度(大小)作为随后的字节数。1位字段“PES_extension_existed”表示是否对可应用的PES流的PES扩展字段进行编码。值“1”表示对PES扩展字段进行编码，以及值“0”表示不对PES扩展字段进行编码。
[传输流TS的配置]
图11示出了在执行单流分布并且分级信息被插入到节目映射表(PMT)之下的情况(前述情形(A))下的传输流TS的配置实例。在该配置实例中，存在具有通过多个等级处的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”。
图片的编码图像数据具有诸如VPS、SPS、PPS、SLICE、以及SEI的NAL单元。如上所述，图片的等级标识信息(“nuh_temporal_id_plus1”表示temporal_id)安排在NAL单元的报头中。比特流“general_level_idc”的等级给定值被插入SPS中。此外，属于由“temporal_id”表示的等级的图片结合到子层(sub_layer)中并且“Sublayer_level_presented_flag”被设为“1”时，借此每个子层“sublayer_level_idc”的比特率等级给定值还可以插入SPS中。
传输流TS还包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在有视频基本循环(视频ES循环)。
在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1)对应安排，并且也安排描述与视频流有关的信息的描述符。作为描述符中的一个，插入上述层解码描述符(Layer_decoding_descriptor)。
例如，在图3和图5中示出的分级编码的实例中，描述符描述的内容如下：“layer_minimum LMI”＝0、“layer_maximum LMX”＝5、“layer_level_idc[0]”＝等级5、“layer_level_idc[1]”＝等级5、“layer_level_idc[2]”＝等级5.1、“layer_level_idc[3]”＝等级5.2、“layer_level_idc[4]”＝等级5.2、以及“layer_level_idc[5]”＝等级5.2。
图12示出了在执行双流分布并且分级信息被插入到节目映射表(PMT)之下的情况(上述情况(A))下的传输流TS的配置实例。在该配置实例中，例如，多个等级分成两组的低等级侧和高等级侧并且存在具有通过两组的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”和“视频PES2”。
低等级侧上的图片的编码图像数据具有诸如VPS、SPS、PPS、SLICE、以及SEI的NAL单元。图片的分级标识信息(“nuh_temporal_id_plus1”表示temporal_id)安排在NAL单元的报头中。比特流“general_level_idc”的等级给定值被插入SPS中。此外，属于由“temporal_id”表示的等级的图片结合到子层(sub_layer)中并且“Sublayer_level_presented_flag”被设为“1”时，借此每个子层“sublayer_level_idc”的比特率等级给定值插入SPS中。
同时，高等级侧上的图片的编码图像数据具有诸如PPS和SLICE的NAL单元。图片的分级标识信息(“nuh_temporal_id_plus1”表示temporal_id)安排在NAL单元的报头中。
传输流TS还包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在两个视频基本循环(视频ES1循环和视频ES2循环)。
在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1和视频PES2)对应安排，并且也安排描述与视频流有关的信息的描述符。作为描述符中的一个，插入上述层解码描述符(Layer_decoding_descriptor)。
例如，在图3和图5中示出的分级编码的实例中，对应于PES数据包“视频PES1”和“视频PES2”的描述符描述的内容如下：对应于PES数据包“视频PES1”的描述符描述了“layer_minimum LMI”＝0、“layer_maximum LMX”＝2、“layer_level_idc[0]”＝等级5、“layer_level_idc[1]”＝等级5、以及“layer_level_idc[2]”＝等级5.1；以及对应于PES数据包“视频PES1”的描述符描述“layer_minimum LMI”＝3、“layer_maximum LMX”＝5、“layer_level_idc[3]”＝等级5.2、“layer_level_idc[4]”＝等级5.2、以及“layer_level_idc[5]”＝等级5.2。
图13示出了在执行单流分布并且分级信息被插入到事件信息表(EIT)之下的情况下(上述情况(B))的传输流TS的配置实例。在该配置实例中，例如，由于在图11的配置实例中，存在具有通过多个等级处的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”。
传输流TS包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在有视频基本循环(视频ES循环)。在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1)对应安排，并且也安排描述与视频流有关的信息的描述符。
传输流TS还包含EIT作为用于管理每个事件的SI(服务的信息)。上述层解码描述符(Layer_decoding_descriptor)安排在EIT之下。尽管没有详细地说明，描述符描述的内容与图11的配置实例中的那些内容相同。常规已知的部件描述符安排在EIT之下以与PES数据包“视频PES1”相关联。
图14示出了在执行双流分布并且分级信息被插入到事件信息表(EIT)之下的情况下(上述情况(B))的传输流TS的配置实例。在该配置实例中，例如，如在图12的配置实例中，多个等级分成两组的低等级侧和高等级侧并且存在具有通过两组的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”和“视频PES2”。
传输流TS还包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在两个视频基本循环(视频ES1循环和视频ES2循环)。在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1和视频PES2)对应安排，并且也安排描述与视频流有关的信息的描述符。
传输流TS还包含EIT作为用于管理每个事件的服务的信息(SI)。对应于PES数据包“视频PES1”和“视频PES2”的层解码描述符(Layer_decoding_descriptor)安排在EIT之下。尽管没有详细地说明，描述符描述的内容与图12的配置实例中的那些内容相同。常规已知的部件描述符安排在EIT之下以与PES数据包“视频PES1”和“视频PES2”相联系。
图15示出了在执行单流分布并且分级信息插入PES数据包的报头的扩展字段中的情况下(上述情况(C))的传输流TS的配置实例。在该配置实例中，例如，如在图11的配置实例中，存在具有通过多个等级处的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”。
PES扩展字段设置在PES数据包的报头中，并且具有“layer_information()”的PES扩展字段数据“pes_extension_field_data()”插入PES扩展字段中。尽管没有详细地描述，在“layer_information()”中描述的内容与在图11的配置实例中的层解码描述符描述的内容相同。
传输流TS还包含节目映射表(PMT)作为节目特定信息(PSI)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在有视频基本循环(视频ES循环)。
在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1和视频PES2)对应安排，并且也安排描述与视频流有关的信息的描述符。作为描述符中的一个，插入PES扩展描述符(PES_extention_descriptor)。PES扩展描述符是明确地描述分级信息被插入PES扩展字段的描述符。
图16示出了在执行双流分布并且分级信息插入PES数据包的报头的扩展字段中的情况下(上述情况(C))的传输流TS的配置实例。在该配置实例中，例如，如在图12的配置实例中，多个等级分成两组的低等级侧和高等级侧并且存在具有通过两组的图片的HEVC编码的图像数据的视频流的PES数据包“视频PES1”和“视频PES2”。
PES扩展字段设置在PES数据包“视频PES1”的报头中，并且具有“layer_information()”的PES扩展字段数据“pes_extension_field_data()”插入PES扩展字段中。尽管未详细地描述，在“layer_information()”中描述的内容与通过对应于图12的配置实例中的PES数据包“视频PES1”的层解码描述符描述的那些内容相同。
PES扩展字段设置在PES数据包“视频PES2”的报头中，并且具有“layer_information()”的PES扩展字段数据“pes_extension_field_data()”插入PES扩展字段中。尽管未详细地描述，在“layer_information()”中描述的内容与通过对应于图12的配置实例中的PES数据包“视频PES1”的层解码描述符描述的那些内容相同。
传输流TS还包含PMT(节目映射表)作为PSI(节目特定信息)。PSI是描述包含于传输流中的每个基本流所属的节目的信息。
PMT具有描述描述与整个节目有关的信息的编程循环。PMT还具有基本循环，基本循环具有与每个基本流有关的信息。在该配置实例中，存在两个视频基本循环(视频ES1循环和视频ES2循环)。
在视频基本循环中，诸如流型和数据包标识符(PID)的信息与视频流(视频PES1和视频PES2)对应安排，并且也安排描述与视频流有关的信息的描述符。作为描述符中的一个，插入PES扩展描述符(PES_extention_descriptor)。PES扩展描述符是明确地描述分级信息被插入PES扩展字段的描述符。
将简要地描述在图2中示出的发送装置100的操作。未压缩的运动图像数据VD被输入到编码器102中。编码器102使运动图像数据VD进行分级编码。具体地，编码器102将构成运动图像数据VD的图片的图像数据分成多个等级，并对其进行编码，从而生成具有各等级的图片的编码图像数据的视频流。
在这种情况下，对所参考图片进行编码使得它们属于它们的等级和/或较低等级。在这种情况下，多个等级被分成两个低等级侧和高等级侧，并且分级构成在低等级侧与高等级侧之间均衡，并且低等级侧和高等级侧上的相应图片合并成一组并依次进行编码。而且在这种情况下，生成具有各等级的图片的编码图像数据的单个视频流或者生成具有在高阶等级侧和低阶等级侧上的图片的编码图像数据的两个视频流。
通过编码器102生成的并包含各等级的图片的编码数据的视频流被提供至压缩数据缓冲器(cpb)103并临时累积在那。复用器104从压缩数据缓冲器103读取视频流，将其转变为PES数据包，并进一步将其转变为传输数据包用于进行复用，从而获得传输流TS作为复用的流。传输流TS包含如上所述的一个或多个视频流。
当复用器104生成传输流TS，分级信息插入节目映射表(PMT)下、事件信息表(EIT)下的该层容器中、或PES数据包的报头的扩展字段中。通过复用器104生成的传输流TS被发送至发送单元105。发送单元105通过网络将广播波或数据包中的传输流TS发送至接收装置200。
“接收装置的配置”
图17示出了接收装置200的配置实例。接收装置200具有中央处理单元(CPU)201、接收单元202、解复用器203、以及压缩数据缓冲器(cpb：编码图片缓冲器)204。接收装置200还具有解码器205、解压缩数据缓冲器(dpb：解码图片缓冲器)206、后处理单元207、以及显示单元208。CPU 201构成控制接收装置200的部件的操作的控制单元。
接收单元202通过网络接收从发送装置100发送的广播波或数据包中的传输流TS。解复用器203从传输流TS有选择地检索与解码器205的能力相当的等级处的图片的编码图像数据，并将其发送至压缩数据缓冲器(cpb：编码图片缓冲器)204。在这种情况下，解复用器203是指表示“temporal_id”的“nuh_temporal_id_plus”的值，“temporal_id”安排在图片的NAL单元(nal_unit)单元的报头中。
在这种情况下，解复用器203提取插入在该层容器中的分级信息，从分级信息识别各等级的“layer_level_idc”，并且检测直至根据解码器205的能力能够进行解码的等级。例如，在图3和图5的分级编码的实例中，假定“layer_level_idc[0]”＝等级5、“layer_level_idc[1]”＝等级5、“layer_level_idc[2]”＝等级5.1、“layer_level_idc[3]”等级5.2、“layer_level_idc[4]”＝等级5.2、以及“layer_level_idc[5]”＝等级5.2。在这种情况下，当解码器205具有60P的能力，即，“等级5.1”，解复用器203检测解码被允许高达等级2。此外，在这种情况下，当解码器205具有120P的能力，即，“等级5.2”，解复用器203检测解码被允许高达等级5。
压缩数据缓冲器(cpb)204暂时累积从解复用器203发送的各等级的图片的编码图像数据。解码器205读取并解码在图片的解码时间戳(DTS)给出的解码时间在压缩数据缓冲器204中累积的图片的编码图像数据，并将其发送至解压缩数据缓冲器(dpb)206。
解压缩数据缓冲器(dpb)206暂时累积通过解码器205解码的图片的图像数据。后处理单元207将通过呈现时间戳(PTS)给出的显示定时处从解压缩数据缓冲器(dpb)206依次读取的图片的图像数据的帧速率与显示能力进行匹配。
例如，当解码之后图片的图像数据的帧速率是60fps并且显示能力是120fps时，后处理单元207在解码之后在图片的图像数据中执行内插使得时间方向的分辨率变为双倍，并且将与120fps的图像数据相同的发送至显示单元208。
例如，显示单元208由液晶显示器(LCD)、有机电致发光(EL)面板等组成。显示单元208可以是连接至接收装置200的外部装置。
将简要地描述图17中示出的接收装置200的操作。接收单元202通过网络接收来自发送装置100的广播波上或数据包中的传输流TS。传输流TS被发送至解复用器203。解复用器203基于插入该层容器中的分级信息从传输流TS有选择地检索与解码器205的能力相当的等级处的图片的编码图像数据，并将其发送至压缩数据缓冲器(cpb)204用于暂时累积。
解码器205检索在压缩数据缓冲器204中累积的各等级的图片的编码图像数据。解码器205然后解码在图片的相应解码时间所检索的图片的编码图像数据，将将其发送至解压缩数据缓冲器(dpb)206用于暂时累积。
然后，从解压缩数据缓冲器(dpb)206中在显示定时处依次读取的图片的图像数据被发送至后处理单元207。后处理单元207使图片的图像数据进行内插或子采样以将帧速率与显示能力相匹配。通过后处理单元207处理的图片的图像数据提供至显示单元208用于显示运动图像。
如上所述，在图1中示出的发送/接收系统10中，发送装置100使低等级侧与高等级侧之间的分级构成均衡，并且将低等级侧和高等级侧上的相应图片合并成一组并依次对其进行编码。因此，接收装置200可以在一个集中定时处对低等级侧和高等级侧上的图片的编码图像数据进行解码，从而减小缓冲器大小并减小解码延迟。
此外，在图1中示出的发送/接收系统10中，发送装置100将分级信息插入该层容器中以生成包含视频流的传输流，视频流具有各等级的编码图片的图像数据。因此，例如，接收装置200可以参考分级信息以容易的方式从视频流有选择地检索图片的编码图像数据直至与解码器的能力相当的等级。
在图1中示出的发送/接收系统10中，发送装置100将分级信息插入与至少每个编码视频序列(CVS)的视频流的图片的编码图像数据同步的位置中的PES数据包的报头的PES扩展字段中。这允许接收侧即使分级构成发生变化也能从视频流有选择地检索图片的编码图像数据直至与解码器的能力相当的等级。
图18示出了“level_idc”的信令与分级构成变化的编码图像数据的分级信息之间对应的实例。在该实例中，分级构成从在0至2的三个等级处进行编码的第一50P CVS系统变成在0至3的四个等级处进行编码的第二50P CVS系统，并且进一步变成在0至5的六个等级处进行编码的100PCVS系统。在所示出的实例中，分级信息插入PMT之下。然而，上述内容还适用于分级信息插入EIT之下或插入如上所述的PES扩展字段中的情况。
在第一50P CVS系统的周期，数据分布在单个视频流中。插入编码图像数据的SPS中的“general_level_idc”的值被设为“等级5.1”作为包含0至2的等级处的所有的图片的等级值。作为在1的等级处的比特率的等级给定值的“sublayer_level_idc[1]”的值被设为“等级5”。在这种情况下，分级信息被描述为“layer_level_idc[0]”＝等级4.1、“layer_level_idc[1]”＝等级5、以及“layer_level_idc[2]”＝等级5.1。
在第二50P CVS系统的周期，数据分布在单个视频流中。插入编码图像数据的SPS中的“general_level_idc”的值被设为“等级5.1”作为包含0至3的等级处的所有的图片的等级值。作为在2的等级处的比特率的等级给定值的“sublayer_level_idc[2]”的值被设为“等级5”。在这种情况下，分级信息被描述为“layer_level_idc[0]”＝等级4、“layer_level_idc[1]”＝等级4.1、“layer_level_idc[2]”＝等级5”、以及“layer_level_idc[2]”＝等级5.1”。
在100P CVS系统的周期中，数据分布在两个视频流中。插入编码图像数据的SPS中的“general_level_idc”的值被设为“等级5.2”作为包含0至5的等级处的所有的图片的等级值。作为在2的等级处的比特率的等级给定值的“sublayer_level_idc[2]”的值被设为“等级5.1”。在这种情况下，分级信息描述为“layer_level_idc[0]”＝等级4.1、“layer_level_idc[1]”＝等级5、“layer_level_idc[2]”＝等级5.1、“layer_level_idc[3]”＝等级5.2、“layer_level_idc[4]”＝等级5.2、以及“layer_level_idc[5]”＝等级5.2。”
虽然分级构成如在附图中示出的变化，如果接收装置200的解码器205对应于50P，例如，解复用器203基于分级信息检索第一50P CVS系统的周期中的0至2的等级，检索第二50P CVS系统中的0至3的等级，以及检索100P CVS系统的周期中的0至2的等级，并且将其发送至压缩数据缓冲器204。解码器205解码它们相应解码定时处的图片的编码图像数据以获得50P图像数据。
<2.变形例>
在前述实施方式中，发送/接收系统10由发送装置100和接收装置200组成。然而，本技术可适用的发送/接收系统的配置不限于此。例如，接收装置200的部分可以形成为经由诸如高清晰度多媒体接口(HDMI)的数字接口连接的机顶盒和监控器。“HDMI”是注册商标。
在前述的实施方式中，容器是传输流(MPEG-2TS)。然而，本技术还可适用于数据经由网络(诸如，互联网)分给接收终端的其他系统。在互联网分发中，通过MP4或其他格式中的容器频繁分布数据。即，容器可以是在数字广播标准下采用的传输流(MPEG-2TS)或者可以是诸如在互联网分发中使用的MP4的各种格式的任何其他容器。
本技术可配置为如下所述。
(1)一种发送装置，包括：
图像编码单元，将构成运动图像数据的图片的图像数据分成多个等级，并将各等级的图片的分类的图像数据编码以生成具有各等级的图片的编码的图像数据的视频流；以及
发送单元，发送包含所生成的视频流的具有预定格式的容器，其中
图像编码单元使低等级侧与高等级侧之间的分级构成均衡，并且将低等级侧与高等级侧上的相应图片合并成一组并依次对其进行编码。
(2)根据(1)所述的发送装置，进一步包括
分级信息插入单元，将分级信息插入容器的层中。
(3)根据(2)所述的发送装置，其中
分级信息具有有关各等级的等级给定值的信息。
(4)根据(2)或(3)所述的发送装置，其中
分级信息插入单元将分级信息插入与视频流中的图片的编码的图像数据同步的位置处的该层容器中。
(5)根据(4)所述的发送装置，其中
分级信息插入单元将分级信息插入PES数据包的扩展字段中。
(6)根据(5)所述的发送装置，其中
分级信息插入单元以编码视频序列为单位将分级信息插入PES数据包的扩展字段中。
(7)根据(5)或(6)所述的发送装置，进一步包括
信息插入单元，插入明确描述分级信息是否被插入节目映射表下的PES数据包的扩展字段中的信息。
(8)根据(2)或(3)所述的发送装置，其中
分级信息插入单元将分级信息插入在节目映射表下。
(9)根据(2)或(3)所述的发送装置，其中
分级信息插入单元将分级信息插入在事件信息表下。
(10)根据(1)至(9)中任一项所述的发送装置，其中
图像编码单元生成具有各等级的图片的编码的图像数据的单个视频流或者将多个等级划分成上等级侧和下等级侧的两组并生成具有各等级组中的图片的编码的图像数据的两个视频流。
(11)一种发送方法，包括：
图像编码步骤，将构成运动图像数据的图片的图像数据分成多个等级，并将各等级的图片的分类的图像数据编码以生成具有各等级的图片的编码的图像数据的视频流；以及
发送步骤，通过发送单元发送包含所生成的视频流的具有预定格式的容器，其中
在图像编码步骤中，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码。
(12)一种接收装置，包括接收单元，接收单元接收包含视频流的具有预定格式的容器，视频流具有通过将构成运动图像的图片的图像数据分成多个等级，并对其进行编码获得的图片的编码的图像数据，其中
在编码中，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码，并且
接收装置进一步包括处理所接收的容器的处理单元。
(13)根据(12)所述的接收装置，其中
分级信息被插入容器的层中，并且
处理单元基于分级信息从视频流有选择地检索预定等级和较低等级处的图片的编码的图像数据并对其进行解码，从而获得预定等级和较低等级处的图片的图像数据。
(14)一种接收方法，包括接收步骤，通过接收单元接收包含视频流的具有预定格式的容器，视频流具有通过将构成运动图像数据的图片的图像数据分成各等级，并对其进行编码获得的多个等级处的图片的编码的图像数据，
在编码中，使在低等级侧与高等级侧之间的分级构成均衡，并且低等级侧和高等级侧上的相应的图片合并成一组并且依次进行编码，并且
接收方法进一步包括处理所接收的容器的处理步骤。
工业应用
本技术的主要特征在于分级构成在低等级侧与高等级侧之间均衡，并且低等级侧和高等级侧上的相应图片合并成一组并依次进行编码，从而允许接收侧解码低等级侧和高等级侧上的图片的编码的图像数据，且缓冲器大小更小并且解码延迟减少(参见图3和图5)。本技术的另一主要特征在于分级信息被插入该层容器中以允许接收侧以容易的方式从视频流有选择地检索图片的编码的图像数据直至与解码器的能力相当的等级(参见图7(a)和图7(b)以及图11至图16)。
参考符号列表
10 发送/接收系统
100 发送装置
101 CPU
102 编码器
103 压缩数据缓冲器(cpb)
104 复用器
105 发送单元
200 接收装置
201 CPU
202 接收单元
203 解复用器
204 压缩数据缓冲器(cpb)
205 解码器
206 解压缩数据缓冲器(dpb)
207 后处理单元
208 显示单元

Claims (7)

1.一种发送装置，包括：
图像编码单元，使构成运动图像数据的图片的图像数据分层编码，以生成具有编码后的低等级侧的图片的图像数据的第一视频流以及具有编码后的高等级侧的图片的图像数据的第二视频流；其中，
所述图像编码单元使低等级侧与高等级侧的分级构成均衡，并且将所述低等级侧与所述高等级侧上的相应图片合并成一组并依次对其进行编码，
编码后的所述图像数据具有NAL单元结构，并且所述图像编码单元将所述第一视频流的等级指定值与比特流的等级指定值一起插入所述第一视频流的SPS的NAL单元中，所述比特流由所述第一视频流和所述第二视频流的组合构成，以及
发送单元，包括：
复用器，复用由所述图像编码单元生成的所述第一视频流和所述第二视频流，以获得包含所生成的视频流的具有预定格式的容器，将描述所述第一视频流的等级指定值的第一描述符插入与所述第一视频流对应的容器中，并且将描述由所述第一视频流和所述第二视频流的组合构成的所述比特流的等级指定值的第二描述符插入与所述第二视频流对应的容器中；并且
所述发送单元发送由所述复用器获得的预定格式的容器。
2.根据权利要求1所述的发送装置，其中，
所述第一描述符进一步描述有关所述第一视频流中包含的所述图片的等级的最大值和最小值信息，并且所述第二描述符进一步描述有关所述第二视频流中包含的所述图片的等级的最大值和最小值信息。
3.根据权利要求1所述的发送装置，其中，
所述容器是传输流，并且
所述第一描述符和所述第二描述符插入在节目映射表下。
4.根据权利要求1所述的发送装置，其中，进一步插入表示所述第一视频流的等级指定值的插入的标志信息到所述SPS的所述NAL单元中。
5.一种发送方法，包括：
图像编码步骤，通过图像编码单元，使构成运动图像数据的图片的图像数据分层编码，以生成具有编码后的低等级侧的图片的图像数据的第一视频流以及具有编码后的高等级侧的图片的图像数据的第二视频流；
在所述图像编码步骤中，使低等级侧与高等级侧的分级构成均衡，并且将所述低等级侧和所述高等级侧上的相应的图片合并成一组并且依次进行编码，其中，
编码后的所述图像数据具有NAL单元结构，并且在所述图像编码步骤中，所述图像编码单元将所述第一视频流的等级指定值与比特流的等级指定值一起插入所述第一视频流的SPS的NAL单元中，所述比特流由所述第一视频流和所述第二视频流的组合构成，以及
所述发送方法进一步包括：
复用步骤，通过复用器，复用由所述图像编码步骤生成的所述第一视频流和所述第二视频流，以获得包含所生成的视频流的具有预定格式的容器，将描述所述第一视频流的等级指定值的第一描述符插入与所述第一视频流对应的容器中，并且将描述由所述第一视频流和所述第二视频流的组合构成的所述比特流的等级指定值的第二描述符插入与所述第二视频流对应的容器中；以及
发送步骤，通过发送单元发送由所述复用步骤获得的预定格式的容器。
6.一种接收装置，包括：
接收单元，接收包含视频流的具有预定格式的容器，所述容器包含使构成运动图像数据的图片的图像数据分层编码以生成的具有编码后的低等级侧的图片的图像数据的第一视频流以及具有编码后的高等级侧的图片的图像数据的第二视频流，并且包含与所述第一视频流对应的描述所述第一视频流的等级指定值的第一描述符以及与所述第二视频流对应的描述由所述第一视频流和所述第二视频流的组合构成的比特流的等级指定值的第二描述符，
在编码中，使低等级侧与高等级侧的分级构成均衡，并且将所述低等级侧和所述高等级侧上的相应的图片合并成一组并且依次进行编码，
编码后的所述图像数据具有NAL单元结构，并且所述第一视频流的等级指定值与所述比特流的等级指定值一起插入所述第一视频流的SPS的NAL单元中，所述比特流由所述第一视频流和所述第二视频流的组合构成，并且，
所述接收装置进一步包括处理单元，所述处理单元根据解码能力解码包含在接收的容器中的所述第一视频流、或所述第一视频流和所述第二视频流，以获得构成运动图像数据的所述图片的图像数据。
7.一种接收方法，包括：
接收步骤，通过接收单元，接收包含视频流的具有预定格式的容器，所述容器包含使构成运动图像数据的图片的图像数据分层编码以生成的具有编码后的低等级侧的图片的图像数据的第一视频流以及具有编码后的高等级侧的图片的图像数据的第二视频流，并且包含与所述第一视频流对应的描述所述第一视频流的等级指定值的第一描述符以及与所述第二视频流对应的描述由所述第一视频流和所述第二视频流的组合构成的比特流的等级指定值的第二描述符，
在编码中，使低等级侧与高等级侧的分级构成均衡，并且将所述低等级侧和所述高等级侧上的相应的图片合并成一组并且依次进行编码，
编码后的所述图像数据具有NAL单元结构，并且所述第一视频流的等级指定值与所述比特流的等级指定值一起插入所述第一视频流的SPS的NAL单元中，所述比特流由所述第一视频流和所述第二视频流的组合构成，并且，
所述接收方法进一步包括处理步骤，通过处理单元，根据解码能力解码包含在接收的容器中的所述第一视频流、或所述第一视频流和所述第二视频流，以获得构成运动图像数据的所述图片的图像数据。
CN201580011446.7A 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法 Active CN106063267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910585086.1A CN110324628B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-045763 2014-03-07
JP2014045763A JP5886341B2 (ja) 2014-03-07 2014-03-07 送信装置、送信方法、受信装置および受信方法
PCT/JP2015/054090 WO2015133250A1 (ja) 2014-03-07 2015-02-16 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910585086.1A Division CN110324628B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法

Publications (2)

Publication Number Publication Date
CN106063267A CN106063267A (zh) 2016-10-26
CN106063267B true CN106063267B (zh) 2019-07-23

Family

ID=54055060

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580011446.7A Active CN106063267B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法
CN201910585086.1A Active CN110324628B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910585086.1A Active CN110324628B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法

Country Status (7)

Country Link
US (4) US10455243B2 (zh)
EP (2) EP3116229B1 (zh)
JP (1) JP5886341B2 (zh)
CN (2) CN106063267B (zh)
HU (1) HUE055494T2 (zh)
RU (1) RU2671992C2 (zh)
WO (1) WO2015133250A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539908B2 (en) * 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
JP7067367B2 (ja) * 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075524A1 (en) * 2002-03-04 2003-09-12 Fujitsu Limited Hierarchical encoded data distributor and distributing method
CN101170697A (zh) * 2006-10-24 2008-04-30 华为技术有限公司 多视图象编解码方法及编解码器
CN101180883A (zh) * 2005-04-13 2008-05-14 诺基亚公司 用于有效地编码和解码视频数据的方法、设备和系统
WO2014002914A1 (ja) * 2012-06-28 2014-01-03 ソニー株式会社 送信／受信装置、方法、符号化／復号化装置
CN103546757A (zh) * 2012-07-10 2014-01-29 美国博通公司 视频编码方法和系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009236A (en) 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
JP3370468B2 (ja) * 1995-02-16 2003-01-27 三菱電機株式会社 光ディスク記録方法、光ディスク再生方法および再生装置、並びに光ディスク
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP2001016582A (ja) 1999-06-29 2001-01-19 Canon Inc 画像処理装置およびその方法
JP2002010251A (ja) 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2002102510A (ja) * 2000-09-29 2002-04-09 Nippon Game Card Kk 景品交換方法、景品交換システム及び景品交換装置
US20040022322A1 (en) * 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
CN1938727A (zh) * 2004-02-27 2007-03-28 Td视觉有限公司 用于数字解码3d立体视频图像的方法和系统
CA2518276A1 (en) 2005-09-13 2007-03-13 Ignis Innovation Inc. Compensation technique for luminance degradation in electro-luminance devices
BRPI0718421A2 (pt) * 2006-10-24 2013-11-12 Thomson Licensing Gerenciamento de quadro para codificação de vídeo de multivistas
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
CN102598657B (zh) * 2009-10-27 2015-03-25 佳能株式会社 视频回放设备和用于控制视频回放设备的方法
KR20120065943A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
JP2013090016A (ja) 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2801204B1 (fr) * 2012-01-05 2017-11-15 Tdf Dispositif et procede pour la reception d'un flux multiplexe diffusant une table pmt incluant un pid pour identifier des documents audiovisuels sans contraintes temporelles
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2013161203A1 (ja) * 2012-04-23 2013-10-31 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及び画像符号化復号装置
CN108235033B (zh) 2012-07-03 2020-11-03 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
MX354814B (es) * 2012-09-28 2018-03-22 Sharp Kk Dispositivo de decodificacion de imagenes.
WO2014050597A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
WO2015008479A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Signaling indications and constraints
KR20150009424A (ko) * 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5774652B2 (ja) * 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015053120A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003075524A1 (en) * 2002-03-04 2003-09-12 Fujitsu Limited Hierarchical encoded data distributor and distributing method
CN101180883A (zh) * 2005-04-13 2008-05-14 诺基亚公司 用于有效地编码和解码视频数据的方法、设备和系统
CN101170697A (zh) * 2006-10-24 2008-04-30 华为技术有限公司 多视图象编解码方法及编解码器
WO2014002914A1 (ja) * 2012-06-28 2014-01-03 ソニー株式会社 送信／受信装置、方法、符号化／復号化装置
CN103546757A (zh) * 2012-07-10 2014-01-29 美国博通公司 视频编码方法和系统

Also Published As

Publication number Publication date
BR112016020162A2 (pt) 2022-07-19
JP2015171054A (ja) 2015-09-28
RU2671992C2 (ru) 2018-11-08
JP5886341B2 (ja) 2016-03-16
US20210160517A1 (en) 2021-05-27
HUE055494T2 (hu) 2021-11-29
US20200053369A1 (en) 2020-02-13
WO2015133250A1 (ja) 2015-09-11
EP3116229A1 (en) 2017-01-11
EP3116229A4 (en) 2017-10-04
EP3913919A1 (en) 2021-11-24
US10455243B2 (en) 2019-10-22
US20170054991A1 (en) 2017-02-23
US11758160B2 (en) 2023-09-12
US20220408105A1 (en) 2022-12-22
RU2016135446A (ru) 2018-03-02
CN110324628A (zh) 2019-10-11
CN110324628B (zh) 2023-09-01
RU2016135446A3 (zh) 2018-08-28
US11394984B2 (en) 2022-07-19
EP3116229B1 (en) 2021-08-25
CN106063267A (zh) 2016-10-26
US11122280B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
EP3038365B1 (en) Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
CN104584562A (zh) 发送设备、发送方法、接收设备和接收方法
CN114846800A (zh) 视频编码中的子图片信令
US11758160B2 (en) Transmission device, transmission method, reception device, and reception method
CN114449292A (zh) 编码设备、编码方法、发送设备以及接收设备
CN114930829A (zh) 视频编码中的子图片信令
JP2023010912A (ja) 送信方法および受信装置
RU2688668C2 (ru) Передающее устройство, способ передачи, приёмное устройство и способ приёма
CN106233736A (zh) 发送设备、发送方法、接收设备以及接收方法
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6052354B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant