CN110915221B - 发送装置、发送方法、接收装置、以及接收方法 - Google Patents

发送装置、发送方法、接收装置、以及接收方法 Download PDF

Info

Publication number
CN110915221B
CN110915221B CN201880046759.XA CN201880046759A CN110915221B CN 110915221 B CN110915221 B CN 110915221B CN 201880046759 A CN201880046759 A CN 201880046759A CN 110915221 B CN110915221 B CN 110915221B
Authority
CN
China
Prior art keywords
image data
stream
encoded stream
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880046759.XA
Other languages
English (en)
Other versions
CN110915221A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110915221A publication Critical patent/CN110915221A/zh
Application granted granted Critical
Publication of CN110915221B publication Critical patent/CN110915221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明能够使得至少在编解码器内部的功能扩展信息容易地被接收侧获取。对基本层的每个图片的图像数据进行编码而生成第一编码流，并且对扩展层的每个图片的图像数据进行编码而生成第二编码流。发送第一编码流和第二编码流。在编码流的外部发送包括关于至少在编解码器内部的功能扩展的信息的功能扩展信息。例如，功能扩展信息进一步包括关于编解码器外部的功能扩展的信息。

Description

发送装置、发送方法、接收装置、以及接收方法
技术领域
本技术涉及一种发送装置、发送方法、接收装置、以及接收方法，并且涉及一种对基本层和增强层的图像数据进行编码和发送的发送装置等。
背景技术
通常，已知与基本格式图像数据一起传送高质量格式的图像数据，并且在接收侧上选择性地使用基本格式图像数据或高质量格式图像数据。例如，专利文献1描述了以可扩展方式执行媒体编码、生成低分辨率视频服务的基本层编码流和高分辨率视频服务的增强层编码流、并且发送包含这些流的容器。应注意，除高分辨率之外，高质量格式包括高动态范围、宽色域、高位长度等。
现有技术文献
专利文献
专利文献1：日本专利申请特开公开号2008-543142
发明内容
发明解决的问题
当假设具有各种能力的终端通过单一广播或通信接收分发来进行发送时，需要发送分发信息，以使得在接收侧能够容易地获取分发信息。
本技术的目标是使接收侧能够容易地至少获取编码器内部的功能增强信息。
问题的解决方案
本技术的构思是：
一种发送装置，包括：
图像编码单元，被配置为对基本层的每个图片的图像数据进行编码而生成第一编码流，并且对增强层的每个图片的图像数据进行编码而生成第二编码流；
流发送单元，被配置为发送第一编码流和第二编码流；以及
信息发送单元，被配置为在编码流外部发送至少包括编解码器内部的功能增强信息的功能增强信息。
在本技术中，图像编码单元对基本层的每个图片的图像数据进行编码而生成第一编码流并且对增强层的每个图片的图像数据进行编码而生成第二编码流。流发送单元发送第一编码流和第二编码流。进一步地，信息发送单元在编码流外部发送至少包括编解码器内的功能增强信息的功能增强信息。
例如，信息发送单元可以将功能增强信息插入到包括第一编码流和第二编码流的容器的层中进行发送。在这种情况下，例如，容器可以包括MPEG2-TS，并且信息发送单元可以将功能增强信息插入到节目映射表中进行发送。进一步地，在这种情况下，例如，容器可以包括MMT流，并且信息发送单元可以将功能增强信息插入到MMT封装表中进行发送。进一步地，可以设置被配置为将动态范围和色域的转换信息插入到第二编码流中的信息插入单元。
进一步地，例如，信息发送单元可以将功能增强信息插入到具有关于第一编码流和第二编码流的元信息的元文件中进行发送。在这种情况下，例如，元文件可以包括MPD文件。
如此，在本技术中，在编码流外部发送至少包括编解码器内部的功能增强信息的功能增强信息。因此，接收侧能够容易地至少获得编解码器内部的功能增强信息，并且能够根据显示能力适当地执行编解码器内部的功能增强处理。
应注意，在本技术中，例如，功能增强信息可以进一步包括编解码器外的功能增强信息。在这种情况下，例如，编解码器外的功能增强信息可以包括关于动态范围和色域的转换的信息。这能够使得接收侧容易获取编解码器外的功能增强信息，并且基于该信息，这使得可以根据显示能力适当地执行编解码器外的功能增强处理。
进一步地，本技术的另一构思是：
一种接收装置，包括：
流接收单元，被配置为接收通过对基本层的每个图片的图像数据进行编码而生成的第一编码流和通过对增强层的每个图片的图像数据进行编码而生成的第二编码流；
信息接收单元，被配置为接收至少包括编解码器内部的功能增强信息的功能增强信息，在编码流外部发送功能增强信息；以及
处理单元，被配置为基于功能增强信息对第一编码流和第二编码流进行处理。
在本技术中，流接收单元接收通过对基本层的每个图片的图像数据进行编码而生成的第一编码流和通过对增强层的每个图片的图像数据进行编码而生成的第二编码流。信息接收单元接收至少包括编解码器内部的功能增强信息的功能增强信息，在编码流外部发送功能增强信息。然后，处理单元基于功能增强信息对第一编码流和第二编码流进行处理。
如此，本技术在编码流外部接收至少编解码器内部的功能增强信息并且基于该信息对第一编码流和第二编码流进行处理。因此，可以容易地至少获取编解码器内部的功能增强信息，并且根据显示能力适当地执行编解码器内部的功能增强处理。
应注意，在本技术中，例如，功能增强信息可以进一步包括编解码器外部的功能增强信息。在这种情况下，例如，编解码器外部的功能增强信息可以包括关于动态范围和色域的转换的信息。这使得可以容易地获取编解码器外部的功能增强信息并且根据显示能力适当地执行编解码器外的功能增强处理。
发明效果
根据本技术，可以在接收侧容易地获取至少编解码器内部的功能增强信息。应注意，此处描述的有利效果不一定具有限制性，并且可以应用本公开中描述的任意效果。
附图说明
图1是各自示出基于MPEG-DASH的流分发系统的配置例的框图。
图2是示出在MPD文件中分层布置的各个结构之间的关系的一个实例的示图。
图3是示出作为实施方式的发送-接收系统的配置例的框图。
图4是用于描述第一至第五层分解中的编解码器内部和外部的转换处理的示图。
图5是示意性示出发送-接收系统的整个系统的配置例的示图。
图6是示出SDR和HDR的光电转换特征的一个实例的示图。
图7是用于描述动态范围和色彩空间的转换处理所需的数据的示图。
图8是示出用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”和用于将动态范围从HDR转换成低HDR(包括SDR)的元数据“DRCL2_mapping”一个实例的示图。
图9是示出元数据“DRCL_mapping”的结构例的示图。
图10是示出元数据“DRCL_mapping”的结构例中的主要信息的内容的示图。
图11是示意性示出从SDR到HDR的动态范围转换处理的示图。
图12是示意性示出从HDR到SDR的动态范围转换处理的示图。
图13是示出在编解码器外部执行到HDR/色域的转换的情况下的MP4流的配置例的示图。
图14是示出在编解码器内执行HDR/色域可缩放的情况下的MP4流的配置例的示图。
图15是示出在第一层分解的情况下的发送-接收系统的发送侧和接收侧的详细配置例的示图。
图16是示出在第二层分解的情况下的发送-接收系统的发送侧和接收侧的详细配置例的示图。
图17是示出在第三层分解的情况下的发送-接收系统的发送侧和接收侧的详细配置例的示图。
图18是示出在第四层分解的情况下的发送-接收系统的发送侧和接收侧的详细配置例的示图。
图19是示出在第五层分解的情况下的发送-接收系统的发送侧和接收侧的详细配置例的示图。
图20是示出与第一层分解相对应的MPD文件的描述例的示图。
图21是示出与第二层分解相对应的MPD文件的描述例的示图。
图22是示出与第三层分解相对应的MPD文件的描述例的示图。
图23是示出与第四分解相对应的MPD文件的描述例的示图。
图24是示出与第五层分解相对应的MPD文件的描述例的示图。
图25是示出“SupplementaryDescriptor”的“value”语义的示图。
图26是示出multidimension_descriptor的结构例的示图。
图27是示出multidimension_descriptor的结构例中的主要信息的内容的示图。
图28是示出在编解码器外部执行到HDR/色域的转换的情况下的传输流的配置例的示图。
图29是示出在编解码器内执行HDR/色域可缩放的情况下的传输流的配置例的示图。
图30是示出在编解码器外部执行到HDR/色域的转换的情况下的MMT流的配置例的示图。
图31是示出在编解码器内部执行HDR/色域可缩放的情况下的MMT流的配置例的示图。
具体实施方式
下面将对用于实现本发明的模式(以下称为实施方式)进行描述。应注意，将按照下列顺序进行描述。
1.实施方式
2.变形
<1.实施方式>
[基于MPEG-DASH的流分发系统的概况]
首先，将对应用本技术的基于MPEG-DASH的流分发系统的概况进行描述。
图1中的(a)示出了基于MPEG-DASH的流分发系统30A的配置例。在本配置例中，通过通信网络传输路径(通信传输路径)传输媒体流和媒体呈现描述(MPD)文件。该流分发系统30A具有其中N个服务接收器33-1、33-2、...、33-N经由内容分发网络(CDN)34连接至DASH流文件服务器31和DASH MPD服务器32的配置。
DASH流文件服务器31基于预定内容的媒体数据(视频数据、音频数据、字幕数据等)生成DASH规范流片段(根据需要，以下称为“DASH片段”)，并且响应来自服务接收器的HTTP请求发送片段。该DASH流文件服务器31可以是用于流化的专用服务器，或网络服务器可以用作DASH流文件服务器31。
进一步地，响应对经由CDN 34从服务接收器33(33-1、33-2、...、33-N)发送的预定流的片段的请求，DASH流文件服务器31将流的片段发送至已经经由CDN 34做出请求的接收器。在这种情况下，参考MPD(媒体呈现描述)文件中描述的速率值，服务接收器33根据客户端所处的网络环境的状态选择具有最佳速率的流并且做出请求。
DASH MPD服务器32是生成用于获取在DASH流文件服务器31中所生成的DASH片段的MPD文件的服务器。基于来自内容管理服务器(未示出)的内容元数据和DASH流文件服务器31中生成的片段的地址(url)生成MPD文件。应注意，DASH流文件服务器31和DASH MPD服务器32在物理上可以相同。
在MPD格式中，使用被称为诸如视频或音频等各个流的表示法的元素描述各个属性。例如，在MPD文件中，对于具有不同速率的多个视频数据流中的每个视频数据流，通过对表示法进行划分而描述各个速率。如上所述，参考速率值，服务接收器33能够根据服务接收器33所处的网络环境的状态选择最佳的流。
图1中的(b)示出了基于MPEG-DASH的流分发系统30B的配置例。在本配置例中，通过RF发送路径(广播发送路径)发送媒体流和MPD文件。该流分发系统30B包括与流文件服务器31和DASH MPD服务器32连接的广播发送系统36、以及M个服务接收器35-1、35-2、...、35-M。
在该流分发系统30B的情况下，广播传输系统36在广播波上传输通过DASH流文件服务器31生成的DASH规范的流片段(DASH片段)和通过DASH MPD服务器32生成的MPD文件。
图2示出了在MPD文件中以分层结构布置的各结构之间的关系的一个实例。如图2中的(a)所示，在作为整个MPD文件的媒体呈现中，存在按时间间隔分隔的多个周期。例如，第一周期从0秒开始，并且下一周期从100秒开始，依次类推。
如图2中的(b)所示，在每个周期中，存在多个自适应集。每个自适应集取决于诸如视频或音频等媒体类型的差异、同一媒体类型的语言或视点的差异等。如图2中的(c)所示，在自适应集中，存在多种表示法。例如，每种表示法取决于诸如速率差异等流属性的差异。
如图2中的(d)所示，表示法包括片段信息。在该片段信息中，如图2中的(e)所示，存在描述关于通过对周期进行进一步划分而获得的各个片段的信息的初始化片段和多个媒体片段。在媒体片段中，存在诸如用于实际获取诸如视频或音频等片段数据的地址(url)等信息。
应注意，能够在自适应集中包括的多种表示法之间任意地执行流切换。通过该布置，能够根据接收侧的网络环境的状态选择最佳速率的流，并且可以进行不间断的视频分发。
[发送-接收系统的配置例]
图3示出了作为实施方式的发送-接收系统10的配置例。该发送-接收系统10包括服务发送系统100和服务接收器200。在该发送-接收系统10中，服务发送系统100与上述所述图1的(a)中所示的流分发系统30A的DASH流文件服务器31和DASH MPD服务器32对应。进一步地，在该发送-接收系统10中，服务发送系统100与上述所述图1的(b)中所示的流分发系统30B的DASH流文件服务器31、DASH MPD服务器32、以及广播发送系统36对应。
进一步地，在该发送-接收系统10中，服务接收器200与上述所述图1的(a)中所示的流分发系统30A的服务接收器33(33-1、33-2、...、33-N)对应。进一步地，在该发送-接收系统10中，服务接收器200与上述所述图1的(b)中所示的流分发系统30B的服务接收器35(35-1、35-2、...、35-M)对应。
服务发送系统100通过通信网络发送路径(见图1中的(a))或RF发送路径(见图1中的(b))发送DASH/MP4，即，包括作为元文件的MPD文件及诸如视频或音频等媒体流(媒体片段)的MP4。
在本实施方式中，包括第一编码流和第二编码流作为媒体流。通过对基本层的每个图片的图像数据进行编码而获得第一编码流。通过对增强层的每个图片的图像数据进行编码而获得第二编码流。
MPD文件具有关于第一编码流和第二编码流的元信息。在本实施方式中，该MPD文件包括功能增强信息，功能增强信息至少包括编解码器内部的功能增强信息。应注意，该功能增强信息还可以包括编解码器外部的功能增强信息。例如，编解码器外部的功能增强信息包括关于动态范围和色域的转换的信息。
服务接收器200通过通信网络发送路径(见图1中的(a))或RF发送路径(见图1中的(b))接收从服务发送系统100发送的上述所述MP4。除关于第一编码流和第二编码流的元信息之外，服务接收器200从MPD文件中获取包括编解码器内部的功能增强信息的功能增强信息，并且进一步地，在存在该信息的情况下，获取编解码器外部的功能增强信息。然后，服务接收器200基于功能增强信息根据显示能力执行功能增强处理并且显示图像。
例如，如下面(1)至(5)中所示，在将超HD(UHD)HDR(高动态范围)的图像数据分发至具有不同显示能力的多个接收终端(接收器)的情况下，在层分解之后发送图像数据。因此，在本实施方式中，MPD准确地描述了分解状态。
(1)第一层分解(一维动态范围)
该层分解是动态范围的一维层分解，并且在对SDR(标准动态范围)和HDR(高动态范围)进行可伸缩编码之后执行。
图4中的(a)示出了这种情况下的编解码器内部的转换处理。横轴表示时间方向。在基本层的每个图片中，分辨率是3840*2160的UHD分辨率，动态范围是SDR，并且色域是709。对于该基本层，对基本层的每个图片的图像数据进行编码。
在增强层的每个图片中，分辨率是3840*2160的UHD分辨率，动态范围是HDR，并且色域是2020。关于该增强层，基本层的动态范围和色域的差被编码用于增强层的每个图片的图像数据。
在这种情况下，如果接收侧仅具有UHD SDR显示能力，则仅对基本层的编码流进行选择性地解码，获取分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示UHD SDR图像。
进一步地，在这种情况下，如果接收侧具有UHD HDR显示能力，则对基本层和增强层的编码流进行解码，获取分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据，并且在显示器(显示单元)上显示UHD SDR图像。
(2)第二层分解(二维分辨率和动态范围)
该层分解是分辨率和动态范围的二维层分解，针对发送执行HD和UHD可缩放编码，并且接收侧能够将动态范围从SDR转换成HDR。
图4中的(b)示出了这种情况下的编解码器内部和外部的转换处理。横轴表示时间方向。在基本层的每个图片中，分辨率是1920*1080的HD分辨率，动态范围是SDR，并且色域是709。针对该基本层，对基本层的每个图片的图像数据进行编码。
在增强层的每个图片中，分辨率是3840*2160的UHD分辨率，动态范围是SDR，并且色域是709。关于该增强层，基本层的分辨率的差被编码用于增强层的每个图片的图像数据。
进一步地，在对增强层进行解码之后，将动态范围从SDR转换成HDR，并且添加用于获得分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据的元数据(辅助信息)。
在这种情况下，当接收侧仅具有HD SDR显示能力时，仅对基本层的编码流进行选择性地解码，获取分辨率是1920*1080的UHD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示HD SDR图像。
进一步地，在这种情况下，在接收侧具有UHD SDR显示能力的情况下，对基本层和增强层的编码流进行解码，获取分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示UHD SDR图像。
进一步地，在这种情况下，在接收侧具有UHD HDR显示能力的情况下，对基本层和增强层的编码流进行解码，并且获取分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据。而且，在接收侧上，基于元数据，对分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据执行SDR至HDR转换，并且在显示器(显示单元)上显示UHD HDR图像。
(3)第三层分解(二维分辨率和动态范围)
该层分解是与(2)的方式相似的分辨率和动态范围的二维层分解，但是，在HD和UHD的可缩放编码及SDR和HDR的可缩放编码之后被发送。
图4中的(c)示出了这种情况下的编解码器内的转换处理。横轴表示时间方向。在基本层的每个图片中，分辨率是1920*1080的HD分辨率，动态范围是SDR，并且色域是709。针对该基本层，对基本层的每个图片的图像数据进行编码。
在增强层的每个图片中，分辨率是3840*2160的UHD分辨率，动态范围是HDR，并且色域是2020。关于该增强层，基本层的分辨率及进一步的动态范围和色域的差被编码用于增强层的每个图片的图像数据。
在这种情况下，在接收侧仅具有HD SDR显示能力的情况下，仅对基本层的编码流进行选择性地解码，获取分辨率是1920*1080的HD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示HD SDR图像。
进一步地，在这种情况下，在接收侧具有UHD HDR显示能力的情况下，对基本层和增强层的编码流进行解码，获取分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据，并且在显示器(显示单元)上显示UHD HDR图像。
(4)第四层分解(二维帧速率和动态范围)
该层分解是帧速率和动态范围的二维层分解，在对NFR(正常帧速率)和HFR(高帧速率)进行可伸缩编码后被发送，并且接收侧能够将动态范围从SDR转换成HDR。
图4中的(d)示出了这种情况下的编解码器内部和外部的转换处理。横轴表示时间方向。在基本层的每个图片中，帧速率是60P的NFR，分辨率是3840*2160的UHD分辨率，动态范围是SDR，并且色域是709。针对该基本层，对基本层的每个图片的图像数据进行编码。
在增强层的每个图片中，帧速率是120P的HFR，分辨率是3840*2160的UHD分辨率，动态范围是SDR，并且色域是709。针对该增强层，对增强层的每个图片的图像数据进行编码。应注意，对于该增强层，还视为仅对定位在基本层中的相应图片之间的+60P帧进行编码。
进一步地，在对增强层进行解码之后，将动态范围从SDR转换成HDR，并且添加用于获得分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据的元数据(辅助信息)。
在这种情况下，在接收侧仅具有LFR UHD SDR显示能力的情况下，仅对基本层的编码流进行选择性地解码，获取其中帧速率是60P的NFR、分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示NFR UHD SDR图像。
进一步地，在这种情况下，在接收侧具有HFR UHD SDR显示能力的情况下，对基本层和增强层的编码流进行解码，获取帧速率是120P的HFR、分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示UHD SDR图像。
进一步地，在这种情况下，在接收侧具有HFR UHD HDR显示能力的情况下，对基本层和增强层的编码流进行解码，并且获取帧速率是120P的HFR、分辨率是3840*2160的UHD分辨率、动态范围是SDR、并且色域是709的图像数据。而且，在接收侧上，基于元数据，对帧速率是120P的HFR、分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据执行SDR至HDR转换，并且在显示器(显示单元)上显示HFR UHD HDR图像。
(5)第五层分解(二维分辨率和动态范围)
该层分解是与(3)的方式相似的分辨率和动态范围的二维层分解，针对发送执行HD和UHD可伸缩编码及SDR和HDR可伸缩编码，并且接收侧能够将动态范围从HDR转换成低HDR(包括SDR)。此处，低HDR指亮度比HDR更低。
图4中的(e)示出了这种情况下的编解码器内部的转换处理。横轴表示时间方向。在基本层的每个图片中，分辨率是1920*1080的HD分辨率，动态范围是SDR，并且色域是709。针对该基本层，对基本层的每个图片的图像数据进行编码。
在增强层的每个图片中，分辨率是3840*2160的UHD分辨率，动态范围是HDR，并且色域是2020。关于该增强层，基本层的分辨率及进一步的动态范围和色域的差被编码用于增强层的每个图片的图像数据。
进一步地，在对增强层进行解码之后，将动态范围从HDR转换成低HDR，并且添加用于获得分辨率是3840*2160的UHD分辨率、动态范围是低HDR、并且色域是2020的图像数据的元数据(辅助信息)。
在这种情况下，在接收侧仅具有HD SDR显示能力的情况下，仅对基本层的编码流进行选择性地解码，获取分辨率是1920*1080的HD分辨率、动态范围是SDR、并且色域是709的图像数据，并且在显示器(显示单元)上显示HD SDR图像。
进一步地，在这种情况下，在接收侧具有UHD HDR显示能力的情况下，对基本层和增强层的编码流进行解码，获取分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据，并且在显示器(显示单元)上显示UHD HDR图像。
进一步地，在这种情况下，在接收侧具有低UHD HDR显示能力的情况下，对基本层和增强层的编码流进行解码，并且获取分辨率是3840*2160的UHD分辨率、动态范围是HDR、并且色域是2020的图像数据。而且，在接收侧上，基于元数据，对分辨率是3840*2160的UHD分辨率、动态范围是低HDR、并且色域是2020的图像数据执行HDR至低HDR转换，并且在显示器(显示单元)上显示低UHD HDR图像。
图5示意性地示出了发送-接收系统10的整个系统的配置例。服务发送系统100包括控制器101、HDR光电转换单元102、视频编码器103、以及容器编码器104。
控制器101控制服务发送系统100的各个单元的操作。HDR光电转换单元102通过对UHD HDR图像数据(视频数据)Vh应用HDR光电转换特征而执行光电转换，以获得HDR发送图像数据V1。HDR发送视频数据V1是通过HDR OETF产生的视频材料。例如，作为HDR光电转换特征，应用ITU-R Rec.BT.2100HLG(HLG：混合对数型伽玛)的特征、ITU-R Rec.BT.2100PQ(PQ：感知量化)的特征等。
图6示出了SDR和HDR的光电转换特征的一个实例。在该图中，横轴表示输入亮度水平，并且纵轴表示发送编码值。虚线a表示SDR光电转换特征(BT.709：伽玛特征)。在SDR光电转换特征中，当输入亮度水平是SDR特征表达极限亮度SL时，发送编码值是峰值水平MP。此处，例如，SL是100cd/m2。
实线b表示ITU-R Rec.BT.2100HLG(HLG)的特征作为HDR光电转换特征。交替的长和短虚线c表示ITU-R Rec.BT.2100PQ(PQ曲线)的特征作为HDR光电转换特征。在HDR光电转换特征中，当输入亮度水平是峰值亮度PL时，发送编码值是峰值水平MP。
ITU-R Rec.BT.2100HLG(HLG)的特征包括与SDR光电转换特征(BT.709：伽玛特征)兼容的区域。即，当输入亮度水平是从零至两个特征的兼容边界值时，两个特征的曲线匹配。当输入亮度水平是兼容极限值时，发送编码值变成参考水平SP。ITU-R Rec.BT.2100PQ(PQ曲线)的特征是与高亮度对应的量化步骤的曲线并且据说与人类视觉特征兼容。
返回至图5，视频编码器103对HDR编码目标视频数据V1执行诸如编码等，例如，MPEG4-AVC或HEVC，以获得编码图像数据，并且生成包括编码图像数据的第一编码流和第二编码流。如上所述，通过对基本层的每个图片的图像数据进行编码而获得第一编码流，并且通过对增强层的每个图片的图像数据进行编码而获得第二编码流。
在上述所述第二、第四、以及第五层分解中，视频编码器103把具有用于将动态范围从SDR转换成HDR的元数据或用于将动态范围从HDR转换成低HDR的元数据的SEI消息插入到访问单元(AU)的“SEI”部分中。
该元数据是用于从转换之前的数据“数据0”转换成转换之后的数据“数据1”的数据，并且如图7中所示，元数据是三次转换所需的信息，即，从非线性空间至线性空间的转换“LNR 0”、色彩空间转换“color conv”、从线性空间至非线性空间的转换“LNR 1”，用于使表格或非线性特征再现所需的数据透视(pivot)信息。
图8中的(a)示出了用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”的一个实例。在将动态范围从SDR转换成PQ HDR的情况下，元数据“DRCL1_mapping”是用于将“传输特征”是“SDR(伽玛)”并且“色域”是“709”的图像数据转换成“传输特征”是“HDR-PQ”并且“色域”是“2020”的图像数据的信息。
进一步地，在将动态范围从SDR转换成HLG HDR的情况下，元数据“DRCL1_mapping”是用于将“传输特征”是“SDR(伽玛)”并且“色域”是“709”的图像数据转换成“传输特征”是“HDR-HLG”并且“色域”是“2020”的图像数据的信息。
图8中的(b)示出了用于将动态范围从HDR转换成低HDR(包括SDR)的元数据“DRCL2_mapping”的一个实例。在将动态范围从PQ HDR转换成低HDR的情况下，元数据“DRCL2_mapping”是用于将“传输特征”是“HDR-PQ”并且“色域”是“2020”的图像数据转换成“传输特征”是“低HDR”并且“色域”是“2020”的图像数据的信息。应注意，“*”标记包括通过执行色调映射能够实现到低HDR的亮度转换。
进一步地，在将动态范围从HLG HDR转换成低HDR(包括SDR)的情况下，元数据“DRCL2_mapping”是用于将“传输特征”是“HDR-HLG”并且“色域”是“2020”的图像数据转换成“传输特征”是“低HDR”并且“色域”是“2020”的图像数据的信息。应注意，“*”标记包括通过执行色调映射能够实现到低HDR的亮度转换。
图9示出了构成上述所述元数据“DRCL1_mapping”和元数据“DRCL2_mapping”的元数据“DRCL_mapping”的结构例(语法)。进一步地，图10示出了结构例中的主要信息(语义)的内容。
8位字段“in_transfer_function”表示编码视频的非线性传递函数。例如，“1”表示ITU-R Rec.BT.709特征，“16”表示ITU-R Rec.BT.2100PQ特征，并且“18”表示ITU-RRec.BT.2100HLG特征。
8位字段“in_color_primaries”表示编码视频的色原(色域)。例如，“1”表示ITU-RRec.BT.709，并且“9”表示ITU-R Rec.BT.2100。8位字段“in_matrix_coeffs”表示编码视频的色彩分量矩阵转换系数。例如，“1”表示ITU-R Rec.BT.709的系数，并且“9”表示ITU-RRec.BT.2020非恒定亮度系统的系数。
此处，在“in_color_primaries”是ITU-R Rec.BT.709的情况下，“in_matrix_coeffs”是ITU-R Rec.BT.709系统的系数。同时，在“in_color_primaries”是ITU-RRec.BT.2020的情况下，“in_matrix_coeffs”是ITU-R Rec.BT.2020非恒定亮度系统的系数。上面与“out_color_primaries”和“out_matrix_coeffs”的情况相似。
8位字段“post_conversion_type”表示转换元数据的类型。例如，“0”表示SDR->HDR转换元数据(ETSI TS 103433-1)，“1”表示HDR->非-HDR转换元数据1(SMPTE2094-10)，并且“2”表示HDR->非-HDR转换元数据2(SMPTE2094-40)。
8位字段“out_transfer_function”表示经过后期处理转换之后的视频的非线性传递函数。例如，“1”表示ITU-R Rec.BT.709特征，“16”表示ITU-R Rec.BT.2100PQ特征，并且“18”表示ITU-R Rec.BT.2100HLG特征。
8位字段“out_color_primaries”表示经过后期处理转换之后的视频的色原(色域)。例如，“1”表示ITU-R Rec.BT.709，并且“9”表示ITU-R Rec.BT.2100。8位字段“out_matrix_coeffs”表示经过后期处理转换之后的视频的色彩分量矩阵转换系数。例如，“1”表示ITU-R Rec.BT.709的系数，并且“9”表示ITU-R Rec.BT.2020非恒定亮度系统的系数。
图11示意性地示出了从SDR至HDR的动态范围转换处理。应注意，在示出的实施例中省去了色彩空间转换。通过SDR OETF特征将线性光学空间的亮度转换成发送值而获得的(A)存在于0至100％的SDR亮度水平范围内。
通过SDR EOTF对(A)进行转换，并且进一步通过系统伽玛进行校正，以获得线性光射线空间中的最大值100cd/m2。对通过对值应用预定的SDR/HDR映射而获得的亮度应用HDROETF特征，以获得HDR特征(B)的值。
图12示意性地示出了从HDR至SDR的动态范围转换处理。应注意，在示出的实施例中省去了色彩空间转换。通过HDR OETF特征将线性光学空间的亮度转换成发送值而获得的(A)存在于例如0至1000cd/m2的HDR亮度水平范围内。
通过HDR EOTF对(A)进行转换，并且进一步通过系统伽玛进行校正，以获得线性光射线空间中的最大值1000cd/m2。对通过对值应用预定的HDR/SDR映射而获得的亮度应用SDR OETF特征，以获得SDR特征(B)的值。应注意，尽管省去了细节描述，然而，从HDR至低HDR的动态范围转换处理与从HDR至SDR的动态范围转换处理相似。
返回至图5，容器编码器104生成包括通过视频编码器103生成的第一编码流和第二编码流的容器，此处，生成MP4流作为分发流STM。在这种情况下，生成包括第一编码流的MP4流和包括第二编码流的MP4流。容器编码器105获得的MP4分发流STM以广播波或网络分组的形式发送到服务接收器200。
图13示出了在编解码器外部执行到HDR/色域的转换的情况下(与上述所述第二层和第四层分解对应)包括基本层的轨迹B和增强层的轨迹E的数据的MP4流的配置例。示出的实例是片段MP4的情况的实例。
在MP4流中，布置了包括包含控制信息的“moof”框和包含媒体数据本体的“mdat”框的预定数量的电影片段。因为“mdat”框包含通过对轨迹数据进行分片而获得的片段，所以“moof”框中包含的控制信息是关于片段的控制信息。
在与轨迹B“视频-基本层流”对应的MP4流中，针对预定数量的图片布置基本层的每个图片的图像数据的编码图像数据(访问单元)，例如，每个电影片段的“mdat”框中仅布置1个GOP。此处，每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”、以及“切片(SLICE)”等NAL单元。应注意，例如，将“VPS”和“SPS”插入到GOP的顶部图片中。“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示增强层的动态范围/色域的信息，此处，指SDR/709。
“traf”框存在于每个电影片段的“moof”框中，并且“tfdt”框存在于该框中。在该“tfdt”框中，描述了“moof”框之后的第一个访问单元的解码时间“baseMediaDecodeTime”。
同时，“tfdt”框存在于“moof”框中，“sgpd”框存在于其中，而且，“tscl”框存在于其中。在该“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、以及“tlConstantFrameRate”的参数。“temporalLayerId”表示时间ID(temporal_id)并且此处是“1”。将“tlConstantFrameRate”设置为“1”，表示帧速率是恒定的。“tllevel_idc”表示基本视频流STb的级别并且此处是“123”。
在与轨迹E对应的MP4流“视频-增强层流”中，针对预定数量的图片布置增强层的每个图片的图像数据的编码图像数据(访问单元)，例如，每个电影片段的“mdat”框中仅布置1个GOP。此处，每个访问单元包括诸如“SPS”、“PPS”、“SEI”、以及“切片(SLICE)”等NAL单元。应注意，例如，将“SPS”插入到GOP的顶部图片中。
把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”(见图8中的(a))的SEI消息作为一条SEI消息插入到“SEI”中。该SEI消息将经过解码之后的SDR转换成HDR，并且HDR接收器执行到HDR的转换而进行显示。SDR接收器能够忽略该SEI消息。
“traf”框存在于每个电影片段的“moof”框中，并且“tfdt”框存在于该框中。在该“tfdt”框中，描述了“moof”框之后的第一个访问单元的解码时间“baseMediaDecodeTime”。
同时，“tfdt”框存在于“moof”框中，“sgpd”框存在于其中，而且，“tscl”框存在于其中。在该“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、以及“tlConstantFrameRate”的参数。“temporalLayerId”表示时间ID(temporal_id)并且此处是“2”。将“tlConstantFrameRate”设置为“1”，表示帧速率是恒定的。“tllevel_idc”表示基本视频流STb的电平并且此处是“153”。
图14示出了在编解码器内部执行HDR/色域可缩放的情况下(与上述所述第一、第三、以及第五层分解对应)包括基本层的轨迹B和增强层的轨迹E的数据的MP4流的配置例。示出的实施例是片段式MP4的情况的实施例。
在MP4流中，布置了包括包含控制信息的“moof”框和包含媒体数据本体的“mdat”框的预定数量的电影片段。因为“mdat”框包含通过对轨迹数据进行分片而获得的片段，所以“moof”框中包含的控制信息是关于片段的控制信息。
在与轨迹B“视频-基本层流”对应的MP4流中，针对预定数量的图片布置基本层的每个图片的图像数据的编码图像数据(访问单元)，例如，每个电影片段的“mdat”框中布置1个GOP。此处，每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”、以及“SLICE”等NAL单元。应注意，例如，将“VPS”和“SPS”插入到GOP的顶部图片中。“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示增强层的动态范围/色域的信息，此处，指HDR/2020。
“traf”框存在于每个电影片段的“moof”框中，并且“tfdt”框存在于该框中。在该“tfdt”框中，描述了“moof”框之后的第一个访问单元的解码时间“baseMediaDecodeTime”。
同时，“tfdt”框存在于“moof”框中，“sgpd”框存在于其中，而且，“tscl”框存在于其中。在该“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、以及“tlConstantFrameRate”的参数。“temporalLayerId”表示时间ID(temporal_id)并且此处是“1”。将“tlConstantFrameRate”设置为“1”，表示帧速率是恒定的。“tllevel_idc”表示基本视频流STb的级别并且此处是“123”。
在与轨迹E对应的MP4流“视频-增强流”中，针对预定数量的图片布置增强层的每个图片的图像数据的编码图像数据(访问单元)，例如，每个电影片段的“mdat”框中布置1个GOP。此处，每个访问单元包括诸如“SPS”、“PPS”、“SEI”以及“切片(SLICE)”等NAL单元。应注意，例如，将“SPS”插入到GOP的顶部图片中。
把包括用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”(见图8中的(b))的SEI消息作为一条SEI消息插入到“SEI”中。将该SEI消息供应至低HDR显示的接收器。低HDR显示的接收器通过使用该元数据“DRCL2_mapping”对被输出至低HDR显示的解码器(基本+增强)的HDR进行转换。HDR接收器能够忽略该SEI消息。
“traf”框存在于每个电影片段的“moof”框中，并且“tfdt”框存在于该框中。在该“tfdt”框中，描述了“moof”框之后的第一个访问单元的解码时间“baseMediaDecodeTime”。
同时，“tfdt”框存在于“moof”框中，“sgpd”框存在于其中，而且，“tscl”框存在于其中。在该“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、以及“tlConstantFrameRate”的参数。“temporalLayerId”表示时间ID(temporal_id)并且此处是“2”。将“tlConstantFrameRate”设置为“1”，表示帧速率是恒定的。“tllevel_idc”表示基础视频流STb的级别，并且此处是“153”。
返回至图5，服务接收器200包括控制器201、容器解码器202、视频解码器203、转换器204、以及HDR或SDR电光转换单元205。控制器201控制服务接收器200的每个单元的操作。
根据服务接收器200的显示能力，容器解码器202从所接收的MP4的分发流STM中仅选择性地提取第一编码流或选择性地提取第一编码流和第二编码流，以发送至视频解码器203。
视频解码器203对通过容器解码器202选择性地提取的编码流执行解码处理，以获得SDR或HDR图像数据。此外，视频解码器203提取被插入到通过容器解码器202选择性地提取的编码流中的参数集或SEI消息，以发送至控制器201。
所提取的信息还包括被插入到上述所述访问单元的SPS NAL单元区域中的VUI信息、被插入到VPS NAL单元区域中的VUIext信息、用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”、或用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”的SEI消息。
根据服务接收器200的显示能力，转换器204基于元数据“DRCL1_mapping”将动态范围从SDR转换成HDR或基于元数据“DRCL2_mapping”将动态范围从HDR转换成SDR(低HDR)。电光转换单元205对图像数据应用与输入HDR或SDR(低HDR)图像数据对应的电光转换特征，以获得显示图像数据Vdsp。
接着，将描述图5中的服务发送系统100侧上的视频编码器103和容器编码器104、以及服务接收器200上的容器解码器202、视频解码器203、及转换器204的部分的配置细节。
图15示出了上述所述第一层分解的配置例(见图4中的(a))。在图15中，以相同的参考标号示出与图5中的部分对应的部分。在这种情况下，转换器204不存在于服务接收器200侧上。
将UHD HDR/2020的图像数据输入至转换单元111并且被转换成UHD SDR/709的图像数据。UHD SDR/709的图像数据是基本层的每个图片的图像数据并且通过基本层编码器112进行编码，以生成第一编码流。
进一步地，将通过对第一编码流进行解码而获得的基本层的每个图片的图像数据被临时存储在基本层解码图片缓冲器(BL DPB)113中并且用于层内和层之间的预测性编码。
进一步地，通过增强层编码器114对UHD HDR/2020的图像数据进行编码，以生成第二编码流。进一步地，将通过对第二编码流进行解码而获得的增强层的每个图片的图像数据被临时存储在增强层解码图片缓冲器(EL DPB)115中并且用于层内的预测性编码。
在这种情况下，从基本层解码图片缓冲器113中读取对应图片的图像数据，并且通过色彩重映射表116将图像数据的动态范围和色域从SDR/709转换成HDR/2020并且发送至层间预测电路117。在该布置内，在增强层编码器114中，还根据需要执行层之间的预测性编码。
在容器编码器104中，生成包括通过基本层编码器112生成的第一编码流和通过增强层编码器114生成的第二编码流的MP4流作为分发流STM。
在服务接收器200仅具有UHD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中仅提取第一编码流并且发送至基本层解码器211。应注意，在容器解码器202中，提取MP4流的信令信息并且发送至控制器(接收器CPU)201。
在基本层解码器211中，使第一编码流经过解码处理，以获得UHD SDR/709的图像数据。进一步地，将图像数据临时存储在基本层解码图片缓冲器(BL DPB)212中并且用于层内预测补偿。进一步地，在基本层解码器211中，提取被插入到第一编码流中的参数集或SEI消息并且发送至控制器201进行使用。
进一步地，在服务接收器200具有UHD HDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中提取第一编码流和第二编码流。将该第一编码流发送至基本层解码器211并且使第一编码流经过解码处理。在基本层解码图片缓冲器212中，临时存储通过解码而获得的基本层的每个图片的图像数据并且用于层内和层间的预测补偿。
进一步地，将通过容器解码器202提取的第二编码流发送至增强层解码器213并且使第二编码流经过解码处理，以获得UHD HDR/2020的图像数据。进一步地，将图像数据临时存储在增强层解码图片缓冲器(EL DPB)214中并且用于层内预测补偿。
进一步地，从基本层解码图片缓冲器212中读取对应图片的图像数据，并且通过色彩重映射表215将图像数据的动态范围和色域从SDR/709转换成HDR/2020并且发送至层间预测电路216。通过该布置，在增强层解码器213中，还根据需要执行层间的预测补偿。
图16示出了上述第二层分解的情况下的配置例(见图4中的(b))。在图16中，以相同的参考标号示出与图5和图15中的部分对应的部分。
将UHD HDR/2020的图像数据输入至转换单元111并且转换成UHD SDR/709的图像数据。此处，从该转换单元111中获得用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”。
将通过转换单元111获得的UHD SDR/709的图像数据输入至转换单元121并且转换成HD SDR/709的图像数据。HD SDR/709的图像数据是基本层的每个图片的图像数据并且通过基本层编码器112进行编码，以生成第一编码流。
在基本层编码器112中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”的SEI消息作为一条SEI消息插入到第一编码流的“SEI”中。
进一步地，将通过对第一编码流进行解码而获得的基本层的每个图片的图像数据被临时存储在基本层解码图片缓冲器113中，并且用于层内和层间的预测编码。
进一步地，通过增强层编码器114对由转换单元111获得的UHD SDR/709的图像数据进行编码，以生成第二编码流。
在增强层编码器114中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”的SEI消息作为一条SEI消息插入到第二编码流的“SEI”中。应注意，至少需要将该元数据“DRCL1_mapping”插入到第一编码流或第二编码流中。
进一步地，将通过对第二编码流进行解码而获得的增强层的每个图片的图像数据被临时存储在增强层解码图片缓冲器115中并且用于层内的预测编码。
进一步地，从基本层解码图片缓冲器113中读取对应图片的图像数据，并且通过上采样滤波器122将图像数据的分辨率从HD转换为UHD并且发送至层间预测电路117。通过该布置，在增强层编码器114中，还根据需要执行层间的预测编码。
在容器编码器104中，生成包括通过基本层编码器112生成的第一编码流和通过增强层编码器114生成的第二编码流的MP4流作为分发流STM。
在服务接收器200仅具有HD SDR显示能力的情况下，在容器解码器202中，从所接收到的MP4的分发流STM中仅提取第一编码流并且发送至基本层解码器211。应注意，在容器解码器202中，提取MP4流的信令信息并且发送至控制器201。
在基本层解码器211中，对第一编码流执行解码处理并且获得HD SDR/709的图像数据。进一步地，将图像数据被临时存储在基本层解码图片缓冲器212中并且用于层内的预测补偿。进一步地，在基本层解码器211中，提取被插入到第一编码流中的参数集或SEI消息并且发送至控制器201进行使用。
进一步地，在服务接收器200具有UHD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中提取第一编码流和第二编码流。将该第一编码流发送至基本层解码器211并且使第一编码流经过解码处理。在基本层解码图片缓冲器212中，临时存储通过解码而获得的基本层的每个图片的图像数据并且用于层内和层间的预测补偿。
进一步地，将通过容器解码器202提取的第二编码流被发送至增强层解码器213并且使第二编码流经过解码处理，以获得UHD SDR/709的图像数据。进一步地，将图像数据临时存储在增强层解码图片缓冲器214中并且用于层内的预测补偿。
在这种情况下，从基本层解码图片缓冲器212中读取对应图片的图像数据，并且通过采样滤波器(上采样滤波器)221将图像数据的分辨率从HD转换成UHD并且发送至层间预测电路216。通过该布置，在增强层解码器213中，还根据需要执行层间的预测补偿。
进一步地，如上所述，在服务接收器200具有UHD HDR显示能力的情况下，由转换单元222基于通过将动态范围从SDR转换成HDR的基本层解码器211或增强层解码器213提取的元数据“DRCL1_mapping”对通过增强层解码器213获得的UHD SDR/709的图像数据进行转换，并且获得UHD HDR/2020的图像数据。
图17示出了上述所述第三层分解的情况下的配置例(见图4中的(c))。在图17中，以相同的参考标号示出与图5、图15、以及图16中的部分对应的部分。
将UHD HDR/2020的图像数据输入至转换单元123并且转换成HD SDR/709的图像数据。HD SDR/709的图像数据是基本层的每个图片的图像数据并且通过基本层编码器112进行编码，以生成第一编码流。
进一步地，将通过对第一编码流进行解码而获得的基本层的每个图片的图像数据被临时存储在基本层解码图片缓冲器113中，并且用于层内和层间的预测编码。
进一步地，通过增强层编码器114对UHD HDR/2020的图像数据进行编码，以生成第二编码流。进一步地，将通过对第二编码流进行解码而获得的增强层的每个图片的图像数据被临时存储在增强层解码图片缓冲器(EL DPB)115中并且用于层内的预测性编码。
在这种情况下，从基本层解码图片缓冲器113中读取对应图片的图像数据，通过上采样滤波器112将该图像数据的分辨率从HD转换成UHD，并且通过色彩重映射表116将动态范围和色域从SDR/709转换成HDR/2020，并且发送至层间预测电路117。通过该布置，在增强层编码器114中，还根据需要执行层间的预测编码。
在容器编码器104中，生成包括通过基本层编码器112生成的第一编码流和通过增强层编码器114生成的第二编码流的MP4流作为分发流STM。
在服务接收器200仅具有HD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中仅提取第一编码流并且发送至基本层解码器211。应注意，在容器解码器202中，提取MP4流的信令信息并且发送至控制器201。
在基本层解码器211中，对第一编码流执行解码处理并且获得HD SDR/709的图像数据。进一步地，将图像数据临时存储在基本层解码图片缓冲器212中并且用于层内的预测补偿。进一步地，在基本层解码器211中，提取被插入到第一编码流中的参数集或SEI消息并且发送至控制器201进行使用。
进一步地，在服务接收器200具有UHD HDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中提取第一编码流和第二编码流。将该第一编码流发送至基本层解码器211并且使第一编码流经过解码处理。在基本层解码图片缓冲器212中，临时存储通过解码而获得的基本层的每个图片的图像数据并且用于层内和层间的预测补偿。
进一步地，将通过容器解码器202提取的第二编码流发送至增强层解码器213并且使第二编码流经过解码处理，以获得UHD HDR/2020的图像数据。进一步地，将图像数据临时存储在增强层解码图片缓冲器214中并且用于层内的预测补偿。
进一步地，从基本层解码图片缓冲器212中读取对应图片的图像数据，通过上采样滤波器221将该图像数据的分辨率从HD转换成UHD，并且通过色彩重映射表215将图像数据的动态范围和色域从SDR/709进一步转换成HDR/2020并且发送至层间预测电路216。通过该布置，在增强层解码器213中，还根据需要执行层间的预测补偿。
图18示出了上述所述第四层分解的情况的配置例(见图4中的(d))。在图18中，以相同的参考标号示出与图5、以及图15至图17中的部分对应的部分。
将HFR UHD HDR/2020的图像数据输入至转换单元124并且转换成HFR UHD SDR/709的图像数据。此处，从该转换单元111中获得用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”。
将通过转换单元111获得的HFR(120P)UHD SDR/709的图像数据输入至基本层编码器112，仅将NFR(60P)的帧速率的图片分层地分类成基本层、通过基本层编码器112进行编码，并且生成第一编码流。
在基本层编码器112中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”的SEI消息作为一条SEI消息插入到第一编码流的“SEI”中。
进一步地，将通过对第一编码流进行解码而获得的基本层的每个图片的图像数据临时存储在基本层解码图片缓冲器113中并且用于层内和层间的预测编码。
进一步地，通过增强层编码器114对由转换单元124获得的HFR(120P)UHD SDR/709的图像数据进行编码，以生成第二编码流。
在增强层编码器114中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”的SEI消息作为一条SEI消息插入到第二编码流的“SEI”中。应注意，至少需要将该元数据“DRCL1_mapping”插入到第一编码流或第二编码流中。
进一步地，将通过对第二编码流进行解码而获得的增强层的每个图片的图像数据被临时存储在增强层解码图片缓冲器115中并且用于层内的预测编码。
进一步地，从基本层解码图片缓冲器113中读取对应图片的图像数据并且发送至分层预测电路125。通过该布置，在增强层编码器114中，还根据需要执行层间的预测编码。
在容器编码器104中，生成包括通过基本层编码器112生成的第一编码流和通过增强层编码器114生成的第二编码流的MP4流作为分发流STM。
在服务接收器200仅具有LFR UHD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中仅提取第一编码流并且发送至基本层解码器211。应注意，在容器解码器202中，提取MP4流的信令信息并且发送至控制器201。
在基本层解码器211中，使第一编码流经过解码处理，以获得LFR UHD SDR/709的图像数据。进一步地，将图像数据临时存储在基本层解码图片缓冲器212中并且用于层内的预测补偿。进一步地，在基本层解码器211中，提取被插入到第一编码流中的参数集或SEI消息并且发送至控制器201以供使用。
进一步地，在服务接收器200具有HFR UHD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中提取第一编码流和第二编码流。将该第一编码流发送至基本层解码器211并且使第一编码流经过解码处理。在基本层解码图片缓冲器212中，临时存储通过解码而获得的基本层的每个图片的图像数据并且用于层内和层间的预测性补偿。
进一步地，将通过容器解码器202提取的第二编码流发送至增强层解码器213并且使第二编码流经过解码处理，以获得HFR UHD SDR/709的图像数据。进一步地，将图像数据临时存储在增强层解码图片缓冲器214中并且用于层内的预测补偿。
在这种情况下，从基本层解码图片缓冲器212中读取对应图片的图像数据并且发送至分层预测电路223。通过该布置，在增强层解码器213中，还根据需要执行层间的预测补偿。
进一步地，如上所述，在服务接收器200具有HFR UHD HDR显示能力的情况下，由转换单元222基于通过将动态范围从SDR转换成HDR的基本层解码器211或增强层解码器213而提取的元数据“DRCL1_mapping”对通过增强层解码器213获得的HFR UHD SDR/709的图像数据进行转换，并且获得HFR UHD HDR/2020的图像数据。
图19示出了上述所述第五层分解的情况的配置例(见图4中的(e))。在图19中，以相同的参考标号示出与图5、以及图15至图18中的部分对应的部分。
将UHD HDR/2020的图像数据输入至转换单元123并且转换成HD SDR/709的图像数据。HD SDR/709的图像数据是基本层的每个图片的图像数据并且通过基本层编码器112进行编码，以生成第一编码流。
在基本层编码器112中，把包括用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”的SEI消息作为一条SEI消息插入到第一编码流的“SEI”中。
进一步地，将通过对第一编码流进行解码而获得的基本层的每个图片的图像数据临时存储在基本层解码图片缓冲器113中，并且用于层内和层间的预测编码。
进一步地，通过增强层编码器114对UHD HDR/2020的图像数据进行编码，以生成第二编码流。在增强层编码器114中，包括用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”的SEI消息作为一条SEI消息插入到第二编码流的“SEI”中。应注意，至少需要将该元数据“DRCL2_mapping”插入到第一编码流或第二编码流中。
进一步地，将通过对第二编码流进行解码而获得的增强层的每个图片的图像数据临时存储在增强层解码图片缓冲器115中并且用于层内的预测编码。
进一步地，从基本层解码图片缓冲器113中读取对应图片的图像数据，通过上采样滤波器122将该图像数据的分辨率从HD转换成UHD，并且通过色彩重映射表116将动态范围和色域从SDR/709转换成HDR/2020并且发送至层间预测电路117。通过该布置，在增强层编码器114中，还根据需要执行层间的预测编码。
在容器编码器104中，生成包括通过基本层编码器112生成的第一编码流和通过增强层编码器114生成的第二编码流的MP4流作为分发流STM。
在服务接收器200仅具有HD SDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中仅提取第一编码流并且发送至基本层解码器211。应注意，在容器解码器202中，提取MP4流的信令信息并且发送至控制器201。
在基本层解码器211中，对第一编码流执行解码处理并且获得HD SDR/709的图像数据。进一步地，将图像数据临时存储在基本层解码图片缓冲器212中并且用于层内的预测补偿。进一步地，在基本层解码器211中，提取被插入到第一编码流中的参数集或SEI消息并且发送至控制器201以供使用。
进一步地，在服务接收器200具有UHD HDR显示能力的情况下，在容器解码器202中，从所接收的MP4的分发流STM中提取第一编码流和第二编码流。将该第一编码流发送至基本层解码器211并且使第一编码流经过解码处理。在基本层解码图片缓冲器212中，临时存储通过解码而获得的基本层的每个图片的图像数据并且用于层内和层间的预测性补偿。
进一步地，将通过容器解码器202提取的第二编码流发送至增强层解码器213并且使第二编码流经过解码处理，以获得UHD HDR/709的图像数据。进一步地，将图像数据临时存储在增强层解码图片缓冲器214中并且用于层内的预测性补偿。
在这种情况下，从基本层解码图片缓冲器212中读取对应图片的图像数据，通过上采样滤波器221将该图像数据的分辨率从HD转换成UHD，并且通过色彩重映射表215将图像数据的动态范围和色域从SDR/709进一步转换成HDR/2020并且发送至层间预测电路216。通过该布置，在增强层解码器213中，还根据需要执行层间的预测补偿。
进一步地，如上所述，在服务接收器200具有低UHD HDR显示能力的情况下，由转换单元224基于通过将动态范围从HDR转换成低HDR的基本层解码器211或增强层解码器213而提取的元数据“DRCL2_mapping”对通过增强层解码器213获得的UHD HDR/2020的图像数据进行转换，并且获得低UHD HDR/2020的图像数据。
图20至图24分别示出了与上述所述第一至第五层分解对应的MPD文件的描述例。此处，为简化描述，示出了其中仅对关于视频流的信息进行描述的实施例，但实际上，还描述了关于视频流的其他媒体流的信息。图25示出了“SupplementaryDescriptor”的“value”语义。
首先，将对图20中的MPD文件的描述例进行描述。MPD文件的描述例与第一层分解对应(见图4中的(a)和图15)。‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L153,xx,hev1.yy.yy.L153,yy”’表示存在视频流的自适应集(AdaptationSet)，视频流以MP4文件结构提供，并且指示存在153级和153级HEVC编码的图像数据。
在该MPD文件中，存在与具有基本层的每个图片的编码图像数据的第一编码流对应的第一表示法，并且存在与具有增强层的每个图片的编码图像数据的第二编码流对应的第一表示法。
在第一表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“0”/>’表示编码视频的动态范围是“SDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“0”/>’表示编码视频的EOTF类型是“伽玛”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“0”/>’表示编码视频的色原是“709”。
进一步地，描述‘width＝“3840”height＝“2160”frameRate＝“60“’、‘codecs＝“hev1.xx.xx.L153,xx“’、‘level＝“0“’表示实现UHD(4K)60P的流，给定级别“0”作为标签信息，并且具有基本层的每个图片的编码图像数据的第一编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamBase.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamBase.mp4”。
进一步地，在第二表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“1”/>’表示编码视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“2”/>’表示编码视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“1”/>’表示编码视频的色原是“2020”。
进一步地，描述‘width＝“3840”height＝“2160”frameRate＝“60“’、‘codecs＝“hev1.xx.xx.L153,xx“’、‘level＝“1“’、‘dependencyLevel＝“0“’表示通过对第一编码流的增强而实现UHD(4K)60P的流，给定级别“1”作为标签信息，并且具有增强层的每个图片的编码图像数据的第二编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamEnhanced.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamEnhanced.mp4”。
接着，将对图21中的MPD文件的描述例进行描述。MPD文件的描述例与第二层分解对应(见图4中的(b)和图16)。‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L123,xx,hev1.yy.yy.L153,yy”’表示存在视频流的自适应集(AdaptationSet)，在MP4文件结构中供应视频流，并且存在123级别和153级别HEVC编码图像数据。
描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“0”/>’表示编码视频的动态范围是“SDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“0”/>’表示编码视频的EOTF类型是“伽玛”。描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“0”/>’表示编码视频的色原是“709”。
对编解码器外部的转换信息进行描述。描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:cvtdynamicrange”value＝“1”/>’表示经过转换之后的视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvttransferfunction”value＝“2”/>’表示经过转换之后的视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtxycolourprimaries”value＝“1”/>’表示经过转换之后的视频的色原是“2020”。进一步地，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtconversion_type”value＝“0”/>’表示转换所使用的元数据的类型是“SDR→HDR转换元数据(ETSI TS 103433-1)”。
在该MPD文件中，存在与具有基本层的每个图片的编码图像数据的第一编码流对应的第一表示法，并且存在与具有增强层的每个图片的编码图像数据的第二编码流对应的第一表示法。
在第一表示法中，描述‘width＝“1920”height＝“1080”frameRate＝“60”’、‘codecs＝“hev1.xx.xx.L123,xx“’、‘level＝“0“’表示实现HD(2K)60P的流，给定级别“0”作为标签信息，并且具有基本层的每个图片的编码图像数据的第一编码流的级别是“123”。进一步地，描述‘<BaseURL>videostreamBase.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamBase.mp4”。
进一步地，在第二表示法中，描述‘width＝“3840”height＝“2160”frameRate＝“60“’、‘codecs＝“hev1.xx.xx.L153,xx“’、‘level＝“1“’、‘dependencyLevel＝“0“’表示通过对第一编码流的增强而实现UHD(4K)60P的流，给定级别“1”作为标签信息，并且具有增强层的每个图片的编码图像数据的第二编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamEnhanced.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamEnhanced.mp4”。
接着，将对图22中的MPD文件的描述例进行描述。MPD文件的描述例与第一层分解对应(见图4中的(c)和图17)。‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L123,xx,hev1.yy.yy.L153,yy”’表示存在视频流的自适应集(AdaptationSet)，视频流以MP4文件结构提供，并且存在123级别和153级别HEVC编码图像数据。
在该MPD文件中，存在与具有基本层的每个图片的编码图像数据的第一编码流对应的第一表示法，并且存在与具有增强层的每个图片的编码图像数据的第二编码流对应的第一表示法。
在第一表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“0”/>’表示编码视频的动态范围是“SDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“0”/>’表示编码视频的EOTF类型是“伽玛”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“0”/>’表示编码视频的色原是“709”。
进一步地，描述‘width＝“1920”height＝“1080”frameRate＝“60”’、‘codecs＝“hev1.xx.xx.L123,xx“’、‘level＝“0“’表示实现HD(2K)60P的流，给定级别“0”作为标签信息，并且具有基本层的每个图片的编码图像数据的第一编码流的级别是“123”。进一步地，描述‘<BaseURL>videostreamBase.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamBase.mp4”。
进一步地，在第二表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“1”/>’表示编码视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“2”/>’表示编码视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“1”/>’表示编码视频的色原是“2020”。
进一步地，描述‘width＝“3840”height＝“2160”frameRate＝“60“’、‘codecs＝“hev1.xx.xx.L153,xx“’、‘level＝“1“’、‘dependencyLevel＝“0“’表示通过对第一编码流的增强而实现UHD(4K)60P的流，给定级别“1”作为标签信息，并且具有增强层的每个图片的编码图像数据的第二编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamEnhanced.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamEnhanced.mp4”。
接着，将对图23中的MPD文件的描述例进行描述。MPD文件的描述例与第二层分解对应(见图4中的(d)和图18)。‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L153,xx,hev1.yy.yy.L156,yy”’表示存在视频流的自适应集(AdaptationSet)，视频流以MP4文件结构提供，并且存在153级别和156级别HEVC编码图像数据。
描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“0”/>’表示编码视频的动态范围是“SDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“0”/>’表示编码视频的EOTF类型是“gamma”。描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“0”/>’表示编码视频的色原是“709”。
将对编解码器外的转换信息进行描述。描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:cvtdynamicrange”value＝“1”/>’表示经过转换之后的视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvttransferfunction”value＝“2”/>’表示经过转换之后的视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtxycolourprimaries”value＝“1”/>’表示经过转换之后的视频的色原是“2020”。进一步地，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtconversion_type”value＝“0”/>’表示转换所使用的元数据的类型是“SDR→HDR转换元数据(ETSI TS 103433-1)”。
在该MPD文件中，存在与具有基本层的每个图片的编码图像数据的第一编码流对应的第一表示法，并且存在与具有增强层的每个图片的编码图像数据的第二编码流对应的第一表示法。
在第一表示法中，描述‘width＝“3840”height＝“2160”frameRate＝“60”、“codecs＝“hev1.xx.xx.L153,xx””、level＝“0“’表示实现UHD(4K)60P的流，给定级别“0”作为标签信息，并且具有基本层的每个图片的编码图像数据的第一编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamBase.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamBase.mp4”。
进一步地，在第二表示法中，描述‘width＝“3840”height＝“2160”frameRate＝“120“’、‘codecs＝“hev1.xx.xx.L156,xx“’、‘level＝“1“’、‘dependencyLevel＝“0“’表示通过对第一编码流的增强而实现UHD(4K)120P的流，给定级别“1”作为标签信息，并且具有增强层的每个图片的编码图像数据的第二编码流的级别是“156”。进一步地，描述‘<BaseURL>videostreamEnhanced.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamEnhanced.mp4”。
接着，将对图24中的MPD文件的描述例进行描述。MPD文件的描述例与第二层分解对应(见图4中的(e)和图19)。‘<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L153,xx,hev1.yy.yy.L156,yy”’表示存在视频流的自适应集(AdaptationSet)，视频流以MP4文件结构提供，并且存在153级别和156级别HEVC编码图像数据。
将对编解码器外部的转换信息进行描述。描述‘<SupplementaryDescriptorschemeIdUri＝“urn:brdcst:video:cvtdynamicrange”value＝“1”/>’表示经过转换之后的视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvttransferfunction”value＝“2”/>’表示经过转换之后的视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtxycolourprimaries”value＝“1”/>’表示经过转换之后的视频的色原是“2020”。进一步地，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:cvtconversion_type”value＝“1”/>’表示转换所使用的元数据的类型是“HDR→低HDR转换元数据1(SMPTE2094-10)”。
在该MPD文件中，存在与具有基本层的每个图片的编码图像数据的第一编码流对应的第一表示法，并且存在与具有增强层的每个图片的编码图像数据的第二编码流对应的第一表示法。
在第一表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“0”/>’表示编码视频的动态范围是“SDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“0”/>’表示编码视频的EOTF类型是“gamma”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“0”/>’表示编码视频的色原是“709”。
进一步地，描述‘width＝“19200”height＝“1080”frameRate＝“60”’、‘codecs＝“hev1.xx.xx.L123,xx“、’‘level＝“0“’表示实现HD(2K)60P的流，给定电平“0”作为标签信息，并且具有基本层的每个图片的编码图像数据的第一编码流的级别是“123”。进一步地，描述‘<BaseURL>videostreamBase.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamBase.mp4”。
进一步地，在第二表示法中，描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codeddynamicrange”value＝“1”/>’表示编码视频的动态范围是“HDR”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedtransferfunction”value＝“2”/>’表示编码视频的EOTF类型是“PQ”。描述‘<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:codedxycolourprimaries”value＝“1”/>’表示编码视频的色原是“2020”。
进一步地，描述‘width＝“3840”height＝“2160”frameRate＝“60“’、‘codecs＝“hev1.xx.xx.L153,xx“’、‘level＝“1“’、‘dependencyLevel＝“0“’表示通过对第一编码流的增强而实现UHD(4K)60P的流，给定级别“1”作为标签信息，并且具有增强层的每个图片的编码图像数据的第二编码流的级别是“153”。进一步地，描述‘<BaseURL>videostreamEnhanced.mp4</BaseURL>’表示第一视频流的位置目的地是“videostreamEnhanced.mp4”。
如上所述，在图3所示的发送-接收系统10中，在MPD文件中，即，具有关于第一编码流和第二编码流的元信息的元文件，描述了编解码器内部的功能增强信息(可伸缩编码信息)和编解码器外部的功能增强信息(转换信息)。因此，接收侧能够容易地从MPD文件中获取该信息，并且基于信息，接收侧能够根据显示能力适当地执行编解码器内部的功能增强处理和编解码器外部的功能增强处理。
<2.变形例>
应注意，上面实施方式已经示出了其中容器是MP4(ISOBMFF)的实施例。然而，本技术并不局限于MP4容器并且同样可应用于诸如MPEG-2TS或MMT等其他格式的容器。
例如，在MPEG-2TS的情况下，在图5所示的服务发送系统100的容器编码器104中，生成包括第一编码流和第二编码流的传输流。
此时，在容器编码器104中，将具有编解码器内部的功能增强信息(可扩展的编码信息)和编解码器外部的功能增强信息(转换信息)的新定义multidimension_descriptor按照与上面MPD文件相似的方式插入到与节目映射表(PMT)中的各个编码流对应的视频基本流循环中。
图26示出了multidimension_descriptor的结构例(语法)。同时，图27示出了结构例中的主要信息(语义)的内容。
8位字段“multidimension_descriptor_tag”表示描述符类型并且此处表示multidimension_descriptor。8位字段“multidimension_descriptor_length”表示描述符的长度(大小)并且将后续字节的数量表示为描述符的长度。
8位字段“profile_idc”表示编码的配置文件，并且表示取决于编码方案的规范的值。8位字段“level_idc”表示编码的级别并且表示取决于编码方案的规范的值。8位字段“分辨率”表示编码图像的分辨率。例如，“0”表示640(H)*480(V)，“1”表示1920(H)*1080(V)，“2”表示3840(H)*2160(V)，并且“3”表示7680(H)*4320(V)。
8位字段“frame_rate”表示编码图像的帧率。例如，“0”表示24Hz，“1”表示25Hz，“2”表示29.97Hz，“3”表示30Hz，“4”表示50Hz，并且“5”表示59.94Hz。“6”表示60Hz，“7”表示100Hz，“8”表示119.88Hz，并且“9”表示120Hz。8位字段“位深”表示编码图像的分量的位深。例如，“0”表示8位并且“1”表示10位。
8位字段“codeddynamicrange”表示编码视频的动态范围信息。例如，“0”表示SDR并且“1”表示HDR。8位字段“codedtransferfunction”表示编码视频的EOTF类型。例如，“0”表示伽玛，“1”表示HLG，并且“2”表示PQ。8位字段“codedxycolourprimaries”表示编码视频的色原。例如，“0”表示709，而“1”表示2020。
1位字段“external_conversion_flag”是表示是否包括编解码器外部被转换的元信息的旗标。例如，“0”表示不包括转换元，并且“1”表示包括转换元。当“external_conversion_flag”是“1”时，存在相应的8位字段“cvtdynamicrange”、“cvttransferfunction”、“cvtxycolourprimaries”、以及“conversion_type”。
8位字段“cvtdynamicrange”表示经过转换之后的视频的动态范围信息。例如，“0”表示SDR并且“1”表示HDR。8位字段“cvttransferfunction”表示编码视频的EOTF类型。例如，“0”表示伽玛，“1”表示HLG，并且“2”表示PQ。8位字段“cvtxycolourprimaries”表示编码视频的色原。例如，“0”表示709，而“1”表示2020。
8位字段“cvtconversion_type”表示转换所使用的元数据(转换元数据)的类型。例如，“0”表示“SDR->HDR转换元数据(ETSI TS 103433-1)”，“1”表示“HDR->非HDR转换元数据1(SMPTE2094-10)”，并且“2”表示“HDR->非HDR转换元数据2(SMPTE2094-40)”。
进一步地，8位字段“layer_level”表示编码流的层值。例如，“0”表示基本层并且“1”表示增强层。8位字段“dependency_level”表示除基本层之外的编码流的情况下被直接称为的流的层值(layer_level)。
图28示出了在编解码器外部执行到HDR/色域的转换的情况(与上述所述第二和第四层分解对应)的传输流的配置例。在该配置例中，存在由PID1标识的视频流的PES分组“视频PES1”和由PID2标识的视频流的PES分组“视频PES2”。
PES分组“视频PES1”的有效载荷包括基本层的每个图片的访问单元(编码图像数据)。PES分组“视频PES2”的有效载荷包括增强层的每个图片的访问单元(编码图像数据)。
在PES分组“视频PES1”包含的访问单元(编码图像数据)中，“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示基本层的动态范围/色域的信息，此处，指SDR/709。
进一步地，在PES分组“视频PES2”包含的每个图片的访问单元(编码图像数据)中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”(见图8中的(a))的SEI消息作为一条SEI消息插入到“SEI”中。该SEI消息将经过解码之后的SDR转换成HDR，并且HDR接收器执行到HDR的转换而进行显示。SDR接收器能够忽略该SEI消息。
进一步地，PMT中存在与基本视频流“视频PES1”和增强视频流“视频PES2”对应的视频基本流循环(视频ES循环)。在视频基本流循环(视频ES循环)中，与视频流对应，布置诸如流类型或PID(分组标识符)等信息，并且还布置描述与视频流有关的信息的描述符。
在“视频ES1循环”中，与基本视频流(视频PES1)对应，布置诸如流类型或分组标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该流类型是表示基本视频流的“0x24”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，在“视频ES2循环”中，与增强视频流(视频PES2)对应，布置诸如流类型或分组标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该流类型是表示增强视频流的“0x2x”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
图29示出了在编解码器内执行HDR/色域可缩放的情况下(与上述所述第一、第三、以及第五层分解对应)的传输流的配置例。在该配置例中，存在由PID1标识的视频流的PES分组“视频PES1”和由PID2标识的视频流的PES分组“视频PES2”。
PES分组“视频PES1”的有效载荷包括基本层的每个图片的访问单元(编码图像数据)。PES分组“视频PES2”的有效载荷包括增强层的每个图片的访问单元(编码图像数据)。
在PES分组“视频PES1”包含的访问单元(编码图像数据)中，“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示基本层的动态范围/色域的信息，此处，指HDR/2020。
进一步地，在PES分组“视频PES2”包含的每个图片的访问单元(编码图像数据)中，把包括用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”(见图8中的(b))的SEI消息作为一条SEI消息插入到“SEI”中。该SEI消息将经过解码之后的HDR转换成低HDR，并且低HDR接收器执行到低HDR的转换而进行显示。HDR接收器能够忽略该SEI消息。
进一步地，在PMT中存在与基本视频流“视频PES1”和增强视频流“视频PES2”对应的视频基本流循环(视频ES循环)。在视频基本流循环(视频ES循环)中，与视频流对应，布置诸如流类型或PID(包标识符)等信息，并且还布置描述与视频流有关的信息的描述符。
在“视频ES1循环”中，与基本视频流(视频PES1)对应，布置诸如流类型或包标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该流类型是表示基本视频流的“0x24”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，在“视频ES2循环”中，与增强视频流(视频PES2)对应，布置诸如流类型或分组标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该流类型是表示增强视频流的“0x2x”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，例如，在MMT的情况下，在图5所示的服务发送系统100的容器编码器104中，生成包括第一编码流和第二编码流的MMT流。
此时，在容器编码器104中，将具有编解码器内部的功能增强信息(可扩展的编码信息)和编解码器外部的功能增强信息(转换信息)的新定义multidimension_descriptor按照与上面MPD文件相似的方式插入到与MMT封装表(MPT)中的增强视频流对应的视频资产循环中。
图30示出了在编解码器外部执行到HDR/色域的转换的情况下(与上述所述第二和第四层分解对应)的MMT流的配置例。在该配置例中，存在由PID1标识的视频流的MPU分组“视频MPU1”和由PID2标识的视频流的MPU分组“视频MPU2”。
MPU分组“视频MPU1”的有效载荷包括基本层的每个图片的访问单元(编码图像数据)。MPU分组“视频MPU2”的有效载荷包括增强层的每个图片的访问单元(编码图像数据)。
在MPU分组“视频MPU1”包含的访问单元(编码图像数据)中，“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示基本层的动态范围/色域的信息，此处，指SDR/709。
进一步地，在MPU分组“视频MPU2”包含的每个图片的访问单元(编码图像数据)中，把包括用于将动态范围从SDR转换成HDR的元数据“DRCL1_mapping”(见图8中的(a))的SEI消息作为一条SEI消息插入到“SEI”中。该SEI消息将经过解码之后的SDR转换成HDR，并且HDR接收器执行到HDR的转换而进行显示。SDR接收器能够忽略该SEI消息。
进一步地，MPT中存在与基本视频流“视频MPU1”和增强视频流“视频MPU2”对应的视频资产循环。在视频资产循环中，与视频流对应，布置诸如资产类型或资产ID等信息，并且还布置描述与视频流有关的信息的描述符。
在“视频asset1循环”中，与基本视频流(视频MPU1)对应，布置诸如流类型或包标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该资产类型是表示基本视频流的“0x24”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，在“视频ES2循环”中，与增强视频流(视频MPU2)对应，布置诸如资产类型或资产ID等信息，并且还布置描述与视频流有关的信息的描述符。该资产类型是表示增强视频流的“0x2x”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
图31示出了在编解码器内部执行HDR/色域可缩放的情况下(与上述所述第一、第三、以及第五层分解对应)的MMT流的配置例。在该配置例中，存在由PID1标识的视频流的MPU分组“视频MPU1”和由PID2标识的视频流的MPU分组“视频MPU2”。
MPU分组“视频MPU1”的有效载荷包括基本层的每个图片的访问单元(编码图像数据)。MPU分组“视频MPU2”的有效载荷包括增强层的每个图片的访问单元(编码图像数据)。
在MPU分组“视频MPU1”包含的访问单元(编码图像数据)中，“SPS”的“VUI”表示基本层的动态范围/色域的信息，此处，指SDR/709。同时，“VPS”的“VUIext”表示基本层的动态范围/色域的信息，此处，指HDR/2020。
进一步地，在MPU包“视频MPU2”包含的每个图片的访问单元(编码图像数据)中，把包括用于将动态范围从HDR转换成低HDR的元数据“DRCL2_mapping”(见图8中的(b))的SEI消息作为一条SEI消息插入到“SEI”中。该SEI消息将经过解码之后的SDR转换成HDR，并且HDR接收器执行到HDR的转换而进行显示。SDR接收器能够忽略该SEI消息。
进一步地，MPT中存在与基本视频流“视频MPU1”和增强视频流“视频MPU2”对应的视频资产循环。在视频资产循环中，与视频流对应，布置诸如资产类型或资产ID等信息，并且还布置描述与视频流有关的信息的描述符。
在“视频asset1循环”中，与基本视频流(视频MPU1)对应，布置诸如流类型或包标识符(PID)等信息，并且还布置描述与视频流有关的信息的描述符。该资产类型是表示基本视频流的“0x24”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，在“视频ES2循环”中，与增强视频流(视频MPU2)对应，布置诸如资产类型或资产ID等信息，并且还布置描述与视频流有关的信息的描述符。该资产类型是表示增强视频流的“0x2x”。进一步地，作为一个描述符，插入了multidimension_descriptor(见图26)。
进一步地，在上面实施方式中，已经示出了包括发送装置100和接收装置200的发送-接收系统10。然而，应用本技术的发送-接收系统的配置并不局限于该配置。例如，接收装置200的部分可以是经由诸如数字接口等(高清多媒体接口(HDMI))连接的机顶盒和监控器的配置。应注意，“HDMI”是注册商标。
进一步地，本技术还能够具有下列配置。
(1)一种发送装置，包括：
图像编码单元，被配置为对基本层的每个图片的图像数据进行编码而生成第一编码流，并且对增强层的每个图片的图像数据进行编码而生成第二编码流；
流发送单元，被配置为发送第一编码流和第二编码流；以及
信息发送单元，被配置为在编码流外部发送至少包括编解码器内部的功能增强信息的功能增强信息。
(2)根据(1)所述的发送装置，
其中，功能增强信息进一步包括编解码器外的功能增强信息。
(3)根据(2)所述的发送装置，
其中，编解码器外部的功能增强信息包括关于动态范围和色域的转换的信息。
(4)根据(3)所述的发送装置，进一步包括：
信息插入单元，被配置为将动态范围和色域的转换信息插入到第二编码流中。
(5)根据(1)至(4)中任一项所述的发送装置，
其中，信息发送单元将功能增强信息插入到包括第一编码流和第二编码流的容器层中进行发送。
(6)根据(5)所述的发送装置，
其中，容器包括MPEG2-TS，并且
信息发送单元将功能增强信息插入到节目映射表中进行发送。
(7)根据(5)所述的发送装置，
其中，容器包括MMT流，并且
信息发送单元将功能增强信息插入到MMT封装表中进行发送。
(8)根据(1)至(4)中任一项所述的发送装置，
其中，信息发送单元将功能增强信息插入到具有关于第一编码流和第二编码流的元信息的元文件中进行发送。
(9)根据(8)所述的发送装置，
其中，元文件包括MPD文件。
(10)一种发送方法，包括：
图像编码步骤，通过图像编码单元对基本层的每个图片的图像数据进行编码而生成第一编码流并且对增强层的每个图片的图像数据进行编码而生成第二编码流；
流发送步骤，通过流发送单元发送第一编码流和第二编码流；以及
信息发送步骤，通过信息发送单元在编码流外部发送至少包括编解码器内的功能增强信息的功能增强信息。
(11)一种接收装置，包括：
流接收单元，被配置为接收通过对基本层的每个图片的图像数据进行编码而生成的第一编码流和通过对增强层的每个图片的图像数据进行编码而生成的第二编码流；
信息接收单元，被配置为接收至少包括编解码器内部的功能增强信息的功能增强信息，所述功能增强信息在编码流外部传送；以及
处理单元，被配置为基于功能增强信息对第一编码流和第二编码流进行处理。
(12)根据(11)所述的接收装置，
其中，功能增强信息进一步包括编解码器外部的功能增强信息。
(13)根据(12)所述的接收装置，
其中，编解码器外部的功能增强信息包括关于动态范围和色域的转换的信息。
(14)一种接收方法，包括：
流接收步骤，由流接收单元接收通过对基本层的每个图片的图像数据进行编码而生成的第一编码流和通过对增强层的每个图片的图像数据进行编码而生成的第二编码流；
信息接收步骤，由信息接收单元接收至少包括编解码器内部的功能增强信息的功能增强信息，所述功能增强信息在编码流外部传送；以及
处理步骤，由处理单元基于功能增强信息对第一编码流和第二编码流进行处理。
本技术的主要特征在于，在编码流外部传送编解码器内部的功能增强信息(可可伸缩编码信息)和编解码器外的功能增强信息(转换信息)，接收侧能够容易地获取编解码器内部或编解码器外部的功能增强信息并且基于该信息使得可以根据限制能力适当地执行功能增强处理(见图20至图24、图28至图31)。
符号说明
10 发送-接收系统
100 服务发送系统
101 控制器
102 HDR光电转换单元
103 视频编码器
104 容器编码器
111 转换单元
112 基本层编码器
113 基本层解码图片缓冲器
114 增强层编码器
115 增强层解码图片缓冲器
116 色彩重映射表
117 层间预测电路
121 转换单元
122 上采样滤波器
123 转换单元
124 转换单元
125 分层预测电路
200 服务接收器
201 控制器
202 容器解码器
203 视频解码器
204 转换器
205 电光转换单元
211 基本层解码器
212 基本层解码图片缓冲器
213 增强层解码器
214 增强层解码图片缓冲器
215 色彩重映射表
216 层间预测电路
221 上采样滤波器
222 转换单元
223 分层预测电路
224 转换单元。

Claims (12)

1.一种发送装置，包括：
处理电路，被配置为：
对基本层的每个图片的第一图像数据进行编码而生成第一编码流；
基于所述第一图像数据对增强层的每个图片的第二图像数据进行编码而生成第二编码流；
生成包括所述第一编码流、所述第二编码流、第一条消息和第二条消息的容器，
所述第一条消息包括用于基于所述第一编码流和所述第二编码流重建所述第二图像数据的第一增强信息，所述第二条消息包括至少对应于用于将所述第二图像数据转换为第三图像数据的动态范围转换的第二增强信息，以及
所述第一图像数据、所述第二图像数据和所述第三图像数据能够被选择作为解码输出；以及
发送电路，被配置为发送所述容器。
2.根据权利要求1所述的发送装置，其中，
所述第二增强信息进一步对应于色域的转换。
3.根据权利要求1所述的发送装置，其中，所述处理电路进一步
被配置为将所述第二条消息插入到所述第二编码流中。
4.根据权利要求1所述的发送装置，其中，所述处理电路进一步被配置为：
将所述第二条消息插入到包括所述第一编码流和所述第二编码流的外部的所述容器的部分中。
5.根据权利要求4所述的发送装置，其中，
所述容器包括运动图像专家组-2MPEG-2传输流，并且
所述处理电路进一步被配置为将所述第二条消息插入到所述MPEG-2传输流的节目映射表中。
6.根据权利要求4所述的发送装置，其中，
所述容器包括运动图像专家组(MPEG)媒体传输MMT流，并且
所述处理电路进一步被配置为将所述第二条消息插入到所述MMT流的MMT封装表中。
7.根据权利要求1所述的发送装置，其中，所述处理电路进一步被配置为：
将所述第二条消息插入到具有关于所述第一编码流和所述第二编码流的元信息的元文件中。
8.根据权利要求7所述的发送装置，其中，
所述元文件包括媒体呈现描述MPD文件。
9.一种发送方法，包括：
对基本层的每个图片的第一图像数据进行编码而生成第一编码流；
基于所述第一图像数据对增强层的每个图片的第二图像数据进行编码而生成第二编码流；
通过发送装置的处理电路生成包括所述第一编码流、所述第二编码流、第一条信息和第二条信息的容器，
所述第一条信息包括用于基于所述第一编码流和所述第二编码流重建所述第二图像数据的第一增强信息，
所述第二条信息包括至少对应于用于将所述第二图像数据转换为第三图像数据的动态范围转换的第二增强信息，以及
所述第一图像数据，所述第二图像数据以及所述第三图像数据能够被选择作为解码输出；以及
通过发送装置的发送电路发送所述容器。
10.一种接收装置，包括：
接收电路，被配置为接收包括第一编码流、第二编码流、第一条信息和第二条信息的容器，
所述第一编码流通过对基本层的每个图片的第一图像数据进行编码而生成，
所述第二编码流通过基于所述第一图像数据对增强层的每个图片的第二图像数据进行编码而生成，所述第一条信息包括用于基于所述第一编码流和所述第二编码流重建所述第二图像数据的第一增强层信息，
所述第二条信息包括至少对应于用于将所述第二图像数据转换为第三图像数据的动态范围转换的第二增强信息，以及
所述第一图像数据、所述第二图像数据和所述第三图像数据能够被选择作为解码输出；以及
处理电路，被配置为基于所述第一增强信息和所述第二增强信息根据所述第一编码流和所述第二编码流生成用于输出的所述第三图像数据。
11.根据权利要求10所述的接收装置，其中，
所述第二增强信息进一步对应于色域的转换。
12.一种接收方法，包括：
由接收装置的接收电路接收包括第一编码流、第二编码流、第一条信息和第二条信息的容器，
所述第一编码流通过对基本层的每个图片的第一图像数据进行编码而生成，
所述第二编码流通过基于所述第一图像数据对增强层的每个图片的第二图像数据进行编码而生成，所述第一条信息包括用于基于所述第一编码流和所述第二编码流重建所述第二图像数据的第一增强信息，
所述第二条信息包括至少对应于用于将所述第二图像数据转换为第三图像数据的动态范围转换的第二增强信息，
所述第一图像数据、所述第二图像数据和所述第三图像数据能够被选择作为解码输出；以及
基于所述第一增强信息和所述第二增强信息根据所述第一编码流和所述第二编码流生成用于输出的所述第三图像数据。
CN201880046759.XA 2017-07-20 2018-07-18 发送装置、发送方法、接收装置、以及接收方法 Active CN110915221B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017140592 2017-07-20
JP2017-140592 2017-07-20
PCT/JP2018/026828 WO2019017362A1 (ja) 2017-07-20 2018-07-18 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN110915221A CN110915221A (zh) 2020-03-24
CN110915221B true CN110915221B (zh) 2022-06-07

Family

ID=65015951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880046759.XA Active CN110915221B (zh) 2017-07-20 2018-07-18 发送装置、发送方法、接收装置、以及接收方法

Country Status (8)

Country Link
US (2) US11245929B2 (zh)
EP (1) EP3657807A4 (zh)
JP (1) JP7232183B2 (zh)
KR (1) KR102538975B1 (zh)
CN (1) CN110915221B (zh)
CA (1) CA3069106A1 (zh)
MX (1) MX2020000449A (zh)
WO (1) WO2019017362A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE053609T2 (hu) 2014-11-07 2021-07-28 Sony Corp Átviteli készülék, átviteli eljárás, vételi készülék és vételi eljárás
WO2020050884A1 (en) * 2018-09-04 2020-03-12 Google Llc Temporal prediction shifting for scalable video coding
BR112022026963A2 (pt) 2020-07-01 2023-01-24 Dolby Laboratories Licensing Corp Distribuição de imagens de alta faixa dinâmica em um sistema de reprodução de capacidade mista
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质
US11606605B1 (en) 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558652A (zh) * 2006-10-20 2009-10-14 诺基亚公司 用于实现低复杂度多视点视频编码的系统和方法
CN101878649A (zh) * 2007-12-04 2010-11-03 索尼公司 扩展avc标准以与视频并行地对高分辨率数字静止图片编码
JP2015126469A (ja) * 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
CN105531999A (zh) * 2013-07-09 2016-04-27 诺基亚技术有限公司 涉及用于信号传输运动信息的语法的视频编码方法及装置
CN105981391A (zh) * 2014-02-07 2016-09-28 索尼公司 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Ｈｄｒ放送サービスの提供のための放送信号送受信方法及び装置
WO2017043863A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100531566B1 (ko) * 1997-10-23 2005-11-29 미쓰비시덴키 가부시키가이샤 화상 복호화 장치
JP4733939B2 (ja) * 2004-01-08 2011-07-27 パナソニック株式会社 信号復号化装置及び信号復号化方法
MX2007014744A (es) 2005-05-24 2008-02-14 Nokia Corp Metodo y aparatos para transmision/recepcion jerarquica en transmision digital.
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
JP5058152B2 (ja) * 2006-03-10 2012-10-24 パナソニック株式会社 符号化装置および符号化方法
WO2011089982A1 (ja) * 2010-01-22 2011-07-28 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
KR20140129950A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 다중 안테나를 이용하는 송신, 수신, 및 시스템
EP3073742A4 (en) * 2013-11-21 2017-06-28 LG Electronics Inc. Signal transceiving apparatus and signal transceiving method
JP2015192381A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 画像処理装置及び画像処理方法
JP6330507B2 (ja) 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
JP6466258B2 (ja) * 2014-08-07 2019-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 再生装置、再生方法および記録媒体
JP2016063538A (ja) * 2014-09-12 2016-04-25 日本放送協会 送信装置および受信装置
MX2018003687A (es) * 2015-09-23 2018-04-30 Arris Entpr Llc Alto rango dinamico de señalizacion y contenido de amplia gama de colores en corrientes de transporte.
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101558652A (zh) * 2006-10-20 2009-10-14 诺基亚公司 用于实现低复杂度多视点视频编码的系统和方法
CN101878649A (zh) * 2007-12-04 2010-11-03 索尼公司 扩展avc标准以与视频并行地对高分辨率数字静止图片编码
CN105531999A (zh) * 2013-07-09 2016-04-27 诺基亚技术有限公司 涉及用于信号传输运动信息的语法的视频编码方法及装置
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Ｈｄｒ放送サービスの提供のための放送信号送受信方法及び装置
JP2015126469A (ja) * 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
CN105981391A (zh) * 2014-02-07 2016-09-28 索尼公司 发送装置、发送方法、接收装置、接收方法、显示装置及显示方法
WO2017043863A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
US20200154143A1 (en) 2020-05-14
KR102538975B1 (ko) 2023-06-02
US11736732B2 (en) 2023-08-22
US11245929B2 (en) 2022-02-08
EP3657807A1 (en) 2020-05-27
MX2020000449A (es) 2020-07-13
KR20200028335A (ko) 2020-03-16
US20220086500A1 (en) 2022-03-17
EP3657807A4 (en) 2020-05-27
CN110915221A (zh) 2020-03-24
JPWO2019017362A1 (ja) 2020-05-28
WO2019017362A1 (ja) 2019-01-24
CA3069106A1 (en) 2019-01-24
JP7232183B2 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
JP6888717B2 (ja) 送信方法および送信装置
JP6834939B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11792452B2 (en) Transmission device, transmission method, reception device and reception method
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP2021177670A (ja) 送信装置および送信方法
KR20180043786A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN109565612B (zh) 发送装置、发送方法、接收装置和接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant