CN108605152A - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN108605152A
CN108605152A CN201780009645.3A CN201780009645A CN108605152A CN 108605152 A CN108605152 A CN 108605152A CN 201780009645 A CN201780009645 A CN 201780009645A CN 108605152 A CN108605152 A CN 108605152A
Authority
CN
China
Prior art keywords
image data
video flowing
information
frame
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780009645.3A
Other languages
English (en)
Other versions
CN108605152B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108605152A publication Critical patent/CN108605152A/zh
Application granted granted Critical
Publication of CN108605152B publication Critical patent/CN108605152B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

本发明的目的在于，在接收侧执行与解码能力对应的处理时提供便利。通过处理高帧率和超高分辨率图像数据，获得用于获得基本帧率和高分辨率图像的第一图像数据、与第一图像数据一起使用以获得高帧率和高分辨率图像的第二图像数据、与第一图像数据一起使用以获得基本帧率和超高分辨率图像的第三图像数据、以及与第一至第三图像数据一起使用以获得高帧率和超高分辨率图像的第四图像数据。发送包含具有第一至第四图像数据的编码图像数据的预定数量的视频流的容器。将与插入到预定数量的视频流的每一个中并涉及相应视频流所拥有的图像数据的信息相对应的信息插入容器中。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本发明涉及一种发送装置、一种发送方法、一种接收装置和一种接收方法，并且更具体地，涉及一种发送高帧率超高清晰度图像数据的发送装置等。
背景技术
考虑到在固定接收器和移动接收器共享相同的发送频带的接收环境中，与分别执行针对固定接收器的服务和针对移动接收器的服务的所谓的联播服务相比，可以通过在旨在用于其清晰度被视为高的固定接收器的图像服务(视频服务)与旨在用于其清晰度被视为适中的移动接收器的图像服务之间共享流，来降低整体位率。例如，专利文献1描述了可伸缩地执行媒体编码，以生成用于低清晰度图像服务的基本层的流和用于高清晰度图像服务的增强层的流，并且发送包括这些流的广播信号。
引用列表
专利文献
专利文献1：日本专利申请国家公布第2008-543142号
发明内容
本发明要解决的问题
本技术的目的在于，实现根据接收侧的解码能力来执行处理的便利性。
问题的解决方案
本技术的概念在于
一种发送装置，包括：
图像处理单元，处理高帧率超高清晰度图像数据，以获得用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一图像数据至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据；
发送单元，发送包括预定数量的视频流的容器，预定数量的视频流包括第一至第四图像数据的编码图像数据；以及
信息插入单元，将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中。
在本技术中，由图像处理单元处理高帧率超高清晰度图像数据，并且获得第一至第四图像数据。第一图像数据是用于获取基本帧率高清晰度图像的图像数据。第二图像数据是与第一图像数据一起使用来获取高帧率高清晰度图像的图像数据。第三图像数据是与第一图像数据一起使用来获取基本帧率超高清晰度图像的图像数据。第四图像数据是与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的图像数据。
由发送单元发送包括预定数量的视频流的容器，预定数量的视频流包括第一至第四图像数据的编码图像数据。由信息发送单元将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中。
例如，优选的是，由发送单元发送的容器包括第一视频流和第二视频流，第一视频流包括第一图像数据的编码图像数据和第二图像数据的编码图像数据，第二视频流包括第三图像数据的编码图像数据和第四图像数据的编码图像数据，并且信息插入单元在第一和第二视频流各自由一个轨道管理的状态下，将信息插入到容器中。在容器是MP4(ISOBMFF)的情况下，在与轨道对应地存在的“moof”块中，信息与在视频流中包含的两个图像数据的编码图像数据相关联地设置。
在这种情况下，视频流(文件)的数量是两个，并且容器变得简单。基本帧率接收器(例如，60P接收器)的容器分析单元(多路分用器)需要读取120P流并跳过不必要的图片。另一方面，高帧率接收器(例如，120P接收器)只需要对120P流的图片进行解码，而不需要做任何额外的处理。
在这种情况下，例如，优选的是，信息插入单元在将信息插入容器中时，针对第一视频流，通过将与第一图像数据的编码图像数据相关联的信息和与第二图像数据的编码图像数据相关联的信息进行分组来执行插入，并且针对第二视频流，通过将与第三图像数据的编码图像数据相关联的信息和与第四图像数据的编码图像数据相关联的信息进行分组来执行插入。如上所述进行分组，由此可以在接收侧容易地确定每个信息与哪个编码图像数据相关。
另外，在这种情况下，例如，优选的是，在第一视频流中交替地(即，按照时间顺序交替地)编码第一图像数据的图片和第二图像数据的图片，并且在第二视频流中交替地(即，按照时间顺序交替地)编码第三图像数据的图片和第四图像数据的图片。如上所述进行编码，由此可以在接收侧平滑地执行每个图片的解码处理。另外，如上所述，交替地执行编码，由此保证在仅解码第一图像数据或者仅解码第一图像数据和第三图像数据的接收器中，解码处理可以在解码能力的范围内。
另外，例如，优选的是，由发送单元发送的容器包括第一视频流和第二视频流，第一视频流包括第一图像数据的编码图像数据和第二图像数据的编码图像数据，第二视频流包括第三图像数据的编码图像数据和第四图像数据的编码图像数据，并且信息插入单元在第一和第二视频流各自由两个轨道管理的状态下，将信息插入到容器中。在容器是MP4(ISOBMFF)的情况下，对于每个轨道，存在“moof”块，并且信息与在视频流中包含的两个图像数据的编码图像数据中的一个相关联地设置。
在这种情况下，视频流(文件)的数量是两个，并且容器变得简单。基本帧率接收器(例如，60P接收器)的容器分析单元(多路分用器)需要读取120P流并跳过不必要的图片。另一方面，高帧率接收器(例如，120P接收器)只需要对120P流的图片进行解码，而不需要做任何额外的处理。
在这种情况下，例如，优选的是，在第一视频流中交替地(即，按照时间顺序交替地)编码第一图像数据的图片和第二图像数据的图片，并且在第二视频流中交替地(即，按照时间顺序交替地)编码第三图像数据的图片和第四图像数据的图片。如上所述进行编码，由此可以在接收侧平滑地执行每个图片的解码处理。另外，如上所述，交替地执行编码，由此保证在仅解码第一图像数据或者仅解码第一图像数据和第三图像数据的接收器中，解码处理可以在解码能力的范围内。
另外，例如，优选的是，由发送单元发送的容器包括：第一视频流，包括第一图像数据的编码图像数据；第二视频流，包括第二图像数据的编码图像数据；第三视频流，包括第三图像数据的编码图像数据；以及第四视频流，包括第四图像数据的编码图像数据，并且信息插入单元在第一至第四视频流各自由一个轨道管理的状态下，插入信息。在容器是MP4(ISOBMFF)的情况下，在与轨道对应地存在的“moof”块中，信息与在视频流中包含的一个图像数据的编码图像数据相关联地设置。
在这种情况下，视频流(文件)的数量是四个。基本帧率接收器(例如，60P接收器)保证了读取60P流并且将60P流传输到解码器而不需要任何额外的意识的所谓的向下兼容性。另一方面，高帧率接收器(例如，120P接收器)需要组合两个流，并按解码顺序构成一个流，以将该流传输到解码器。
如上所述，在本技术中，信息被插入到容器中，该信息与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息相对应。因此，在接收侧，根据解码能力，基于该信息，通过从预定数量的流中包括的第一至第四图像数据中提取预定的编码图像数据，可以容易地执行解码处理。
注意，在本技术中，例如，优选的是，高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，并且信息插入单元进一步将指示高动态范围光电转换特性或与高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括第一图像数据的编码图像数据的视频流中。例如，优选的是，高动态范围光电转换特性是混合对数伽玛特性。另外，例如，优选的是，高动态范围光电转换特性是PQ曲线特性。如上所述插入转换特性信息，由此在接收侧可以基于转换特性信息，容易地执行适当的电光转换。
在这种情况下，例如，当高动态范围光电转换特性是PQ曲线特性时，优选的是，信息插入单元进一步将转换信息插入到包括第一图像数据的编码图像数据的视频流中，转换信息用于将基于PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值。如上所述插入转换信息，由此，在执行标准动态范围显示的情况下，在接收侧可以令人满意地获得显示图像数据。
另外，本技术的另一概念在于
一种接收装置，包括：
接收单元，接收包括预定数量的视频流的容器，其中，
预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据，
将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中，并且
接收装置进一步包括处理单元，处理单元根据解码能力，基于插入到容器中的信息，通过从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
在本技术中，由接收单元接收包括预定数量的视频流的容器。预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的第一至第四图像数据的编码图像数据。第一图像数据是用于获取基本帧率高清晰度图像的图像数据。第二图像数据是与第一图像数据一起使用来获取高帧率高清晰度图像的图像数据。第三图像数据是与第一图像数据一起使用来获取基本帧率超高清晰度图像的图像数据。第四图像数据是与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的图像数据。
信息被插入到容器中，该信息与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息相对应。由处理单元根据解码能力，基于插入到容器中的信息，从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据，执行解码处理，并且获得图像数据。
如上所述，在本技术中，信息被插入到容器中，该信息与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息相对应，并且根据解码能力，基于插入到容器中的信息，从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据，并且执行解码处理。因此，可以根据解码能力容易地执行解码处理。
注意，在本技术中，例如，优选的是，高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，将指示高动态范围光电转换特性或与高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括第一图像数据的编码图像数据的视频流中，并且处理单元通过基于转换特性信息对通过解码处理获得的图像数据执行电光转换，来获得显示图像数据。如上所述，基于转换特性信息执行电光转换，由此可以容易地执行适当的电光转换。
另外，在本技术中，例如，优选的是，高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，高动态范围光电转换特性是PQ曲线特性，将转换信息插入到包括第一图像数据的编码图像数据的视频流中，转换信息用于将基于PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值，并且处理单元在执行标准动态范围显示时，通过基于转换信息对通过解码处理获得的图像数据进行动态范围转换，来获得标准动态范围发送图像数据，并且通过对标准动态范围发送图像数据以标准动态范围电光转换特性执行电光转换，来获得显示图像数据。结果，可以在执行标准动态范围显示的情况下令人满意地获得显示图像数据。
另外，本技术的另一概念在于
一种发送装置，包括：
图像处理单元，处理高帧率图像数据，以获得用于获取基本帧率图像的第一图像数据以及用于与第一图像数据一起使用来获取高帧率图像的第二图像数据；
发送单元，发送包括至少一个视频流的容器，至少一个视频流包括第一和第二图像数据的编码图像数据；以及
信息插入单元，在容器中，与第一图像数据的编码图像数据对应地插入与第一图像数据的编码图像数据对应的视频流的级别规范值，并且与第二图像数据的编码图像数据对应地插入通过组合第一和第二图像数据的编码图像数据而获得的视频流的级别规范值。
在本技术中，由图像处理单元处理高帧率图像数据，并且获得用于获取基本帧率图像的第一图像数据以及用于与第一图像数据一起使用来获取高帧率图像的第二图像数据。由发送单元发送包括至少一个视频流的容器，至少一个视频流包括第一和第二图像数据的编码图像数据。
然后，由信息插入单元在容器中与第一图像数据的编码图像数据对应地插入与第一图像数据的编码图像数据对应的视频流的级别规范值，并且与第二图像数据的编码图像数据对应地插入通过组合第一和第二图像数据的编码图像数据而获得的视频流的级别规范值。
如上所述，在本技术中，视频流的级别规范值被插入到容器中，由此，可以根据解码能力，从第一和第二图像数据的编码图像数据中选择性地向解码器传输编码图像数据，并且在接收侧，基于视频流的级别规范值的信息，处理编码图像数据。
另外，本技术的另一概念在于
一种接收装置，包括：
接收单元，接收包括至少一个视频流的容器，其中，
至少一个视频流包括用于获取基本帧率图像的第一图像数据以及用于与第一图像数据一起使用来获取高帧率图像的第二图像数据，
在容器中，与第一图像数据的编码图像数据对应地插入与第一图像数据的编码图像数据对应的视频流的级别规范值，并且与第二图像数据的编码图像数据对应地插入通过组合第一和第二图像数据的编码图像数据而获得的视频流的级别规范值，并且
接收装置进一步包括处理单元，处理单元根据解码能力，基于插入到容器中的视频流的级别规范值，通过从第一和第二图像数据的编码图像数据中选择性地提取至少一个编码图像数据并执行解码处理，来获得图像数据。
在本技术中，由接收单元接收包括至少一个视频流的容器。在此处，至少一个视频流包括用于获取基本帧率图像的第一图像数据以及用于与第一图像数据一起使用来获取高帧率图像的第二图像数据。
另外，在容器中，与第一图像数据的编码图像数据对应地插入与第一图像数据的编码图像数据对应的视频流的级别规范值，并且与第二图像数据的编码图像数据对应地插入通过组合第一和第二图像数据的编码图像数据而获得的视频流的级别规范值。
由处理单元根据解码能力，基于插入到容器中的视频流的级别规范值，从第一和第二图像数据的编码图像数据中选择性地提取至少一个编码图像数据，执行解码处理，并且获得图像数据。
如上所述，在本技术中，基于插入到容器中的视频流的级别规范值的信息，根据解码能力，从第一和第二图像数据的编码图像数据中选择性地向解码器传输编码图像数据，并且在解码器中，可以有效地执行处理。本发明的效果
利用本技术，在接收侧根据解码能力执行处理时，可以实现便利性。注意，在本说明书中描述的有益效果仅仅是示例，并且本技术的有利效果不限于此，并且可以包括额外效果。
附图说明
图1是示出基于MPEG-DASH的流分配系统的示例配置的框图。
图2是示出在MPD文件中分层设置的结构之间的关系的示例的示图。
图3是示出作为实施方式的发送/接收系统的示例配置的框图。
图4是示出通过通信网络发送路径或RF发送路径发送的MP4流的示例的示图。
图5是示出服务发送系统和服务接收器中的编码/解码处理的概述的示图。
图6是用于描述包括在两个或四个视频流(视频文件)中的第一至第四图像数据的示图。
图7是示出情况1的发送中的MP4流(文件)的示例配置的示图。
图8是示出SPS(VPS)元素的示例的示图。
图9是示意性示出情况1的发送中的“moof(moof 0)”框中的控制信息的示例的示图。
图10是示意性示出情况1的发送中的“moof(moof 1)”框中的控制信息的示例的示图。
图11是示出情况2的发送中的MP4流(文件)的示例配置的示图。
图12是示意性地示出情况2的发送中的“moof(moof 0)”和“moof(moof 1)”的框中的控制信息的示例的示图。
图13是示意性地示出情况2的发送中的“moof(moof 2)”和“moof(moof 3)”的框中的控制信息的示例的示图。
图14是示出情况3的发送中的MP4流(文件)的示例配置的示图。
图15是示出在发送双流配置的情况下(在情况1和情况2的情况下)的MPD文件的描述示例的示图。
图16是示出“SupplementaryDescriptor”的“值”语义的示图。
图17是示出在发送四流配置的情况下(在情况1和情况2的情况下)的MPD文件的描述示例的示图。
图18是示出服务发送系统的示例配置的框图。
图19是用于描述HDR光电转换特性的示图。
图20是用于描述动态范围转换的转换信息的示图。
图21是示出在编码方法是HEVC的情况下在GOP的头部的访问单元的示图。
图22是示出示例结构中的传递函数SEI消息的示例结构和主要信息的细节的示图。
图23是示出动态范围转换SEI消息的示例结构的示图。
图24是示出动态范围转换SEI消息的示例结构中的主要信息的细节的示图。
图25是示出服务接收器的示例配置的框图。
图26是用于描述动态范围转换的细节的示图。
具体实施方式
下面是用于执行本发明的模式的描述(在下文中称为“实施方式”)。注意，将按以下顺序进行描述。
1、实施方式
2、变形例
<1、实施方式>
[基于MPEG-DASH的流分配系统的概述]
首先，将描述可以应用本技术的基于MPEG-DASH的流分配系统的概述。
图1的(a)示出了基于MPEG-DASH的流分配系统30A的示例配置。在示例配置中，通过通信网络发送路径(通信发送路径)发送媒体流和MPD文件。流分配系统30A具有其中N个服务接收器33-1、33-2、...、33-N经由内容传送网络(CDN)34连接到DASH流文件服务器31和DASH MPD服务器32的配置。
DASH流文件服务器31基于预定内容的媒体数据(视频数据、音频数据、字幕数据等)生成DASH规范的流段(在下文中适当地称为“DASH段”)，并且响应于来自每个服务接收器的HTTP请求来发送该段。DASH流文件服务器31可以是专用于流式传输的服务器，或者可以由网络服务器代替。
另外，响应于经由CDN 34从服务接收器33(33-1、33-2、...、33-N)发送的预定流的段的请求，DASH流文件服务器31经由CDN34将该流的段发送到请求接收器。在这种情况下，服务接收器33参考媒体呈现描述(MPD)文件中描述的速率的值，选择最优速率的流，并且基于客户端所位于的网络环境的状态做出请求。
DASH MPD服务器32是生成用于获取在DASH流文件服务器31中生成的DASH段的MPD文件的服务器。基于来自内容管理服务器(未示出)的内容元数据和在DASH流文件服务器31中生成的段的地址(url)，生成MPD文件。注意，DASH流文件服务器31和DASH MPD服务器32可以是在物理上相同的服务器。
在MPD格式中，通过使用针对每个流(例如，视频和音频)的被称为表示(Representation)的元素来描述每个属性。例如，在MPD文件中，针对具有不同速率的多个视频数据流中的每一个划分Representation，并且描述每个速率。如上所述，在服务接收器33中，参考速率的值，可以根据服务接收器33所处的网络环境的状态来选择最佳流。
图1的(b)示出了基于MPEG-DASH的流分配系统30B的示例配置。在示例配置中，通过RF发送路径(广播发送路径)发送媒体流和MPD文件。流分配系统30B包括与DASH流文件服务器31和DASH MPD服务器32连接的广播发送系统36以及M个服务接收器35-1、35-2、...、35-M。
在流分配系统30B的情况下，广播发送系统36通过广播波发送在DASH流文件服务器31中生成的DASH规范(DASH段)的流段和在DASH MPD服务器32中生成的MPD文件。
图2示出了MPD文件中分层设置的结构之间的关系的示例。如图2的(a)所示，在作为整个MPD文件的媒体呈现中，存在由时间间隔限定的多个时段。例如，第一个时段从0秒开始，下一个时段从100秒开始，依此类推。
如图2的(b)所示，在该时段中存在多个自适应集(AdaptationSet)。自适应集甚至在相同的媒体类型上也取决于媒体类型(例如，视频和音频)的差异以及语言差异、视点差异等。如图2的(c)所示，在自适应集中存在多个表示。表示取决于流属性，例如，速率的差异。
如图2的(d)所示，表示包含段信息(SegmentInfo)。在段信息中，如图2的(e)所示，存在初始化段和多个媒体段，在媒体段中，描述了通过更精细地限定时段而获得的针对每个段的信息。在媒体段中，存在用于实际获取诸如视频和音频等的段数据的地址(url)的信息。
注意，在自适应集中包含的多个表示之间，可以自由地执行流切换。结果，根据接收侧的网络环境的状态，可以选择最佳速率的流，并且可以实现不间断的视频分配。
[发送/接收系统的示例配置]
图3示出了作为实施方式的发送/接收系统10的示例配置。发送/接收系统10包括服务发送系统100和服务接收器200。在发送/接收系统10中，服务发送系统100对应于在图1的(a)所示的流分配系统30A的DASH流文件服务器31和DASH MPD服务器32。另外，在发送/接收系统10中，服务发送系统100对应于在图1的(b)所示的流分配系统30B的DASH流文件服务器31、DASH MPD服务器32和广播发送系统36。
另外，在发送/接收系统10中，服务接收器200对应于在图1的(a)所示的流分配系统30A的服务接收器33(33-1、33-2、...、33-N)。另外，在发送/接收系统10中，服务接收器200对应于在图1的(b)所示的流分配系统30B的服务接收器35(35-1、35-2、...、35-M)。
服务发送系统100通过通信网络发送路径(参见图1的(a))或RF发送路径(参见图1的(b))作为容器发送DASH/MP4(即，MP4)，该容器包括作为元文件的MPD文件和诸如视频或音频的媒体流(媒体段)。
图4示出了通过通信网络发送路径或RF发送路径发送的MP4流的示例。整个服务流被分段并发送，使得图像和声音从普通广播等的发送中间出来。在这种情况下，如图所示，从初始化段(IS)开始，随后是“styp”、“段索引盒(sidx)”、“子段索引盒(ssix)”、“电影片段框(moof)”和“媒体数据盒(mdat)”的框。
初始化段(IS)具有基于ISO基本媒体文件格式(ISOBMFF)的框结构。在头部设置指示文件类型的“ftyp”框，然后是用于控制的“moov”框。尽管省略了详细描述，但是包括“mvex”框的各种框包括在“moov”框中。然后，在“mvex”框中设置“leva”框。在“leva”框中，定义由“temporal_layerID”定义的级别的指派，在每个级别对图片执行分组，或者将单个轨道指派给一个级别。
“styp”框包括段类型信息。“sidx”框包括每个轨道的范围信息，指示“moof”/“mdat”的位置，并且还指示“mdat”中的样本(图片)的位置。“ssix”框包含轨道的划分信息，并且将I/P/B类型分类。
“moof”框包括控制信息。“mdat”框包括信号(发送媒体)本身的实体，例如，视频和音频。“mdat”框和“mdat”框构成电影片段。一个电影片段的“mdat”框包括通过发送媒体的分段而获得的片段，使得包含在“moof”框中的控制信息是与该片段相关联的控制信息。例如，假定MPEG视频等的图片组(GOP)，作为片段的大小。
在本实施方式中，媒体流包括通过处理高帧率(HFR)超高清晰度(UHD)图像数据(运动图像数据)而获得的预定数量的视频流。在该实施方式中，高帧率超高清晰度图像数据例如是120P 4K/8K图像数据。
预定数量的视频流包括第一至第四图像数据的编码图像数据。第一图像数据是用于获取基本帧率(正常帧率)高清晰度图像的基本层图像数据。第二图像数据是与第一图像数据一起使用来获取高帧率高清晰度图像的基本层图像数据。第三图像数据是与第一图像数据一起使用来获取基本帧率超高清晰度图像的可伸缩层图像数据。第四图像数据是与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的可伸缩层图像数据。
例如，如下获得第一至第四图像数据。即，通过对通过从高帧率超高清晰度图像数据中的两个连续图片单元进行下采样来提取第一图片中的每个而获得的第五图像数据应用缩小处理，而获得第一图像数据。注意，在此处提取的第一图片中的每个可以以预定比率与第二图片混合。另外，通过对通过从高帧率超高清晰度图像数据中的两个连续图片进行下采样来提取第二图片中的每个而获得的第六图像数据应用缩小处理，而获得第二图像数据。注意，在此处提取的第二图片中的每个可以以预定比率与第一图片混合。
另外，通过在通过对第一图像数据和第五图像数据应用放大处理而获得的第七图像数据之间相减，而获得第三图像数据。另外，通过在通过对第二图像数据和第六图像数据应用放大处理而获得的第八图像数据之间相减，而获得第四图像数据。
将信息插入到作为容器的MP4中，该信息对应于插入到预定数量的视频流的每一个中并且与视频流中包括的图像数据相关联的信息。例如，与包含在视频流中的图像数据相关联的信息是包括在序列参数集(SPS)中的诸如“general_level_idc”、“general_profile_idc”、“sublayer_level_idc”和“sublayer_profile_idc”d信息，并且与这些信息对应的信息设置在“moof”框中。
在此，考虑其中视频流(视频文件)的数量和用于管理每个视频流的轨道的数量彼此不同的情况1、情况2和情况3这三种情况。
“情况1”
MP4包括第一视频流和第二视频流，第一视频流包括作为基本层图像数据的第一和第二图像数据的编码图像数据，第二视频流包括作为可伸缩层图像数据的第三和第四图像数据的编码图像数据，并且第一和第二视频流各自由一个轨道管理。
在这种情况下，在第一视频流中交替地编码第一图像数据的图片和第二图像数据的图片，并且在第二视频流中交替地编码第三图像数据的图片和第四图像数据的图片。即，交替地编码包括在基本60P中的图片(样本)和包括在增强60P中的图片(样本)。因此，指派图片的解码时间戳和显示时间戳的值，使得基本60P和增强60P交替。
另外，在这种情况下，信息设置在与轨道对应存在的“moof”块中，该信息对应于与包括在视频流中的两个图像数据的编码图像数据相关联的信息。即，在第一和第二视频流各自由一个轨道管理的状态下，设置该信息。然后，在这种情况下，针对第一视频流，将与第一图像数据的编码图像数据相关联的信息和与第二图像数据的编码图像数据相关联的信息分组并插入，并且针对第二视频流，将与第三图像数据的编码图像数据相关联的信息和与第四图像数据的编码图像数据相关联的信息分组并插入。
“情况2”
MP4包括第一视频流和第二视频流，第一视频流包括作为基本层图像数据的第一和第二图像数据的编码图像数据，第二视频流包括作为可伸缩层图像的第三和第四图像数据的编码图像数据数据，并且第一和第二视频流各自由两个轨道管理。
在这种情况下，在第一视频流中交替地编码第一图像数据的图片和第二图像数据的图片，并且在第二视频流中交替地编码第三图像数据的图片和第四图像数据的图片。即，交替地编码包括在基本60P中的图片(样本)和包括在增强60P中的图片(样本)。因此，指派图片的解码时间戳和显示时间戳的值，使得基本60P和增强60P交替。
另外，在这种情况下，对于每个轨道存在“moof”块，并且信息与包括在视频流中的两个图像数据的编码图像数据中的一个相关联地设置。即，在第一和第二视频流各自由两个轨道管理的状态下，设置该信息。
“情况3”
MP4包括第一视频流、第二视频流、第三视频流和第四视频流，第一视频流包括作为基本层图像数据的第一编码图像数据，第二视频流包括作为基本层图像数据的第二编码图像数据，第三视频流包括作为可伸缩层图像数据的第三图像数据的编码图像数据，第四视频流包括作为可伸缩层图像数据的第四图像数据的编码图像数据，并且第一至第四视频流各自由不同的轨道管理。
在这种情况下，信息设置在与每个轨道对应存在的“moof”块中，该信息对应于与视频流的一个图像数据的编码图像数据相关联的信息。即，在第一至第四视频流各自由一个轨道管理的状态下，设置该信息。
作为第一至第四图像数据的来源的高帧率超高清晰度图像数据例如是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据。指示高动态范围光电转换特性或与高动态范围光电转换特性对应的电光转换特性的转换特性信息被插入到包括第一图像数据的编码图像数据的视频流中。高动态范围光电转换特性包括混合对数伽玛特性、PQ曲线特性等。
当高动态范围光电转换特性是PQ曲线特性时，将转换信息插入到包括第一图像数据的编码图像数据的视频流中，该转换信息用于将基于PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值。
服务接收器200通过通信网络发送路径(参见图1的(a))或RF发送路径(参见图1的(b))接收作为上述从服务发送系统100发送的容器的MP4。如上所述，MP4包括预定数量的视频流，预定数量的视频流包括第一至第四图像数据的编码图像数据。另外，如上所述，将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息相对应的信息插入到MP4中。
服务接收器200根据解码能力，基于插入到MP4中的信息，通过从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
例如，在具有能够处理基本帧率高清晰度图像数据的解码能力的接收器的情况下，通过对第一图像数据的编码图像数据选择性地应用解码处理，来获得用于显示基本帧率高清晰度图像的图像数据。另外，例如，在具有能够处理高帧率高清晰度图像数据的解码能力的接收器的情况下，通过对第一和第二图像数据的编码图像数据选择性地应用解码处理，来获得用于显示高帧率高清晰度图像的图像数据。
另外，例如，在具有能够处理基本帧率超高清晰度图像数据的解码能力的接收器的情况下，通过对第一和第三图像数据的编码图像数据选择性地应用解码处理，获得用于显示基本帧率超高清晰度图像的图像数据。另外，例如，在具有能够处理高帧率超高清晰度图像数据的解码能力的接收器的情况下，通过对所有的第一至第四图像数据的编码图像数据选择性地应用解码处理，获得用于显示高帧率超高清晰度图像的图像数据。
另外，在执行高动态范围显示时，服务接收器200基于插入到MP4中的转换特性信息或包括第一图像数据的视频流，通过对通过解码处理而获得的图像数据执行高动态范围电光转换，来获得高动态范围显示图像数据。
另外，在执行标准动态范围显示时，在由转换特性信息指示的高动态光电转换特性是混合对数伽马曲线特性的情况下，服务接收器200通过直接对通过解码处理而获得的图像数据以标准动态范围电光转换特性执行电光转换，来获得标准动态范围显示图像数据。
另外，在执行标准动态范围显示时，在由转换特性信息指示的高动态光电转换特性是PQ曲线特性的情况下，服务接收器200通过基于插入到包括第一图像数据的视频流中的转换信息对通过解码处理获得的图像数据执行动态范围转换，来获得标准动态范围发送图像数据，并且通过对标准动态范围发送图像数据以标准动态范围电光转换特性执行电光转换，来获得标准动态范围显示图像数据。
图5示出了服务发送系统100和服务接收器200中的编码/解码处理的概述。将高帧率(HFR)超高清晰度(UHD)图像数据“HFR/UHD视频”输入到服务发送系统100的视频编码器104。在视频编码器104中，处理图像数据“HFR/UHD视频”，并且获得并发送包括第一至第四图像数据的编码图像数据的两个视频流(在情况1和情况2)或者四个视频流(在情况3的情况下)。
在具有能够处理高帧率超高清晰度图像数据的解码能力的服务接收器200A中，在视频解码器204A中，对所有的第一至第四图像数据的编码图像数据应用解码处理，并且获得用于显示高帧率超高清晰度图像的图像数据“HFR/UHD视频”。
另外，在具有能够处理基本帧率超高清晰度图像数据的解码能力的服务接收器200B中，在视频解码器204B中，对第一和第三图像数据的编码图像数据选择性地应用解码处理，并且获得用于显示基本帧率超高清晰度图像的图像数据“LFR/UHD视频”。
另外，在具有能够处理高帧率高清晰度图像数据的解码能力的服务接收器200C中，在视频解码器204C中，对第一和第二图像数据的编码图像数据选择性地应用解码处理，并且获得用于显示高帧率高清晰度图像的图像数据“HFR/HD视频”。
另外，在具有能够处理基本帧率高清晰度图像数据的解码能力的服务接收器200D中，在视频解码器204D中，对第一图像数据的编码图像数据选择性地应用解码处理，并且获得用于显示基本帧率高清晰度图像的图像数据“LFR/HD视频”。
图6分层地示出了上述第一至第四图像数据。在所示的示例中，示出了高帧率为120P的情况。横轴指示显示顺序(构图的图片顺序：POC)，并且显示时间在左侧较早，并且显示时间在右侧较晚。每个矩形帧指示一个图片。
作为基本层图像数据的第一图像数据“HD 60P”存在于最下面的行中，并且其组ID(group_id)被设置为“0”。第一图像数据是构成基本60P的图像数据，并且其时间层ID(TemporalLayerId)被设置为“0”。
另外，作为基本层图像数据的第二图像数据“HD+60P HFR”存在于第一图像数据的上部行中，并且其组ID(group_id)被设置为“1”。第二图像数据是构成120P图像数据的增强60P的图像数据，并且其时间层ID(TemporalLayerId)被设置为“1”。第二图像数据相对于第一图像数据“HD60P”具有时间可伸缩性。
如上所述，在情况1和情况2中，作为相同的视频流(视频文件)发送第一和第二图像数据。通过利用组ID进行分组，在仅对基本60P进行解码的情况下，可以将组ID用作用于确定哪个分组应该被发送到视频解码器的标准。在基本60P和增强60都被解码的情况下，仅需要将基本60P和增强60P的分组交替地发送到视频解码器。
另外，作为可伸缩层图像数据的第三图像数据“Sc-UHD 60P”存在于第二图像数据的上部行中，并且其组ID(group_id)被设置为“2”。第三图像数据是构成基本60P的图像数据，并且其时间层ID(TemporalLayerId)被设置为“0”。第三图像数据相对于第一图像数据“HD60P”具有空间可伸缩性。
另外，作为可伸缩层图像数据的第四图像数据“Sc-UHD+60P HFR”存在于第三图像数据的上部行中，并且其组ID(group_id)被设置为“3”。第四图像数据是构成120P图像数据的增强60P的图像数据，并且其时间层ID(TemporalLayerId)被设置为“1”。第四图像数据相对于第三图像数据“Sc-UHD 60P”具有时间可伸缩性并且相对于第二图像数据“HD+60PHFR”具有空间可伸缩性。
如上所述，在情况1和情况2中，作为相同的视频流(视频文件)发送第三和第四图像数据。通过利用组ID进行分组，在仅对基本60P进行解码的情况下，组ID可以用作用于确定哪个分组应该被发送到解码器的标准。在基本60P和增强60都被解码的情况下，仅需要将基本60P和增强60P的分组交替地发送到视频解码器。
基于第一图像数据“HD 60P”，可以再现基本帧率高清晰度(HD)图像(60P HD图像)。另外，基于第一图像数据“HD 60P”和第二“HD+60P HFR”，可以再现高帧率高清晰度(HD)图像(120P HD图像)。
另外，基于第一图像数据“HD 60P”和第三图像数据“Sc-UHD 60P”，可以再现基本帧率超高清晰度(UHD)图像(60P UHD图像)。另外，基于第一图像数据“HD 60P”、第二图像数据“HD+60P HFR”、第三图像数据“Sc-UHD 60P”和第四图像数据“Sc-UHD+60P HFR”，可以再现高帧率超高清晰度(UHD)图像(120P UHD图像)。
注意，提供给指示图片的矩形帧的编号指示编码顺序，并因此指示解码顺序。在仅对第一图像数据的编码图像数据执行解码处理的情况下，按照0→4→8→...的顺序执行解码。另外，在对第一和第二图像数据执行解码处理的情况下，按照0→2→4→6→...的顺序执行解码。此外，在对第一和第三图像数据执行解码处理的情况下，按照0→1→4→5→...的顺序执行解码。此外，在对第一至第四图像数据执行解码处理的情况下，按照0→1→2→3→4→5→...的顺序执行解码。无论流中的第一至第四图像数据的设置方法如何，在广播分配的情况下，按照0→1→2→3→4→5→...设置图像的编码顺序。利用该设置，可以最小化从接收到显示的延迟。
关于流中的编码顺序，在第一图像数据和第二图像数据包括在相同视频流中的情况下，交替地编码第一图像数据的图片和第二图像数据的图片。类似地，在第三图像数据和第四图像数据包括在相同视频流中的情况下，交替地编码第三图像数据的图片和第四图像数据的图片。
图7示出了情况1中的MP4流(文件)的示例配置。在所示的示例中，省略了说明初始化段(IS)以及由图4中的虚线框封闭的框“styp”、“sidx”和“ssix”。所示的示例是片段化的MP4的示例。在MP4流中，设置预定数量的电影片段，每个电影片段包括包含控制信息的“moof”框和包含媒体数据的主体的“mdat”框。“mdat”框包括通过轨道数据的片段化而获得的片段，使得包含在“moof”框中的控制信息是与片段相关联的控制信息。
在包括包含基本层的第一和第二图像数据的编码图像数据的第一视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第一和第二图像数据的编码图像数据(访问单元)。在这种情况下，交替地设置第一图像数据的访问单元(AU)和第二图像数据的访问单元。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”和“SLC”的NAL单元。注意，“VPS”和“SPS”被插入到例如GOP头部的访问单元中。
图8示出了SPS(VPS)元素的示例。该示例是在如图6所示配置第一至第四图像数据的情况下的示例。“general_level_idc”的值被设置为“156”，并且指示第一至第四图像数据的编码图像数据的总体级别(可伸缩编码的像素率的复杂度差异)为“级别5.2”。另外，“general_profile_idc”的值被设置为“7”，并且指示第一至第四图像数据的编码图像数据的总体配置文件(可伸缩编码类型)是“可伸缩主要10配置文件”。
另外，“sublayer_level_present_flag[j-1]”被设置为“1”，“sublayer_level_idc[j-1]”的值被设置为“153”，并且“sublayer_profile_idc[j-1]”被设置为“7”。结果，指示第三和第一图像数据的编码图像数据的总体级别是“级别5.1”，并且其配置文件是“可伸缩主要10配置文件”。
另外，“sublayer_level_present_flag[j-2]”被设置为“1”，“sublayer_level_idc[j-2]”的值被设置为“150”，并且“sublayer_profile_idc[j-2]”被设置为“2”。结果，指示第二和第一图像数据的编码图像数据的总体级别是“级别5”，并且其配置文件是“主要10配置文件”。
另外，“sublayer_level_present_flag[j-3]”被设置为“1”，“sublayer_level_idc[j-3]”的值被设置为“123”，并且“sublayer_profile_idc[j-3]”被设置为“2”。结果，指示第一图像数据的编码图像数据的级别是“级别4.1”，并且其配置文件是“主要10配置文件”。
返回参考图7，在包括包含基本层的第一和第二图像数据的编码图像数据的第一视频流的MP4流中，用一个轨道管理第一视频流，并且具有与“mdat”块对应的一个“moof”框(moof 0)。在“moof(moof 0)”框中，存在用于管理“mdat”块中的第一图像数据的编码图像数据的控制信息以及用于管理“mdat”块中的第二图像数据的编码图像数据的控制信息。这两条控制信息由“mdat”块中的组ID(group_id)分组并被管理。
尽管稍后将描述“moof(moof 0)”框中的细节，但在“moof(moof 0)”框中，存在与“mdat”块中的第一图像数据的编码图像数据对应的“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝0”，并且指示第一图像数据对应于基本60P中包括的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝123”，并且指示第一图像数据的编码图像数据的级别是“级别4.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第一图像数据的编码图像数据的配置文件是“主要10配置文件”。
另外，在“moof(moof 0)”框中，在“mdat”块中存在与第二图像数据的编码图像数据对应的“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝1”，并且指示第二图像数据对应于包括在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝150”，并且指示第二和第一图像数据的编码图像数据的总体级别是“级别5”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第二和第一图像数据的编码图像数据的总体配置文件是“主要10配置文件”。
另一方面，在包括包含可伸缩层的第三和第四图像数据的编码图像数据的第二视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第三和第四图像数据的编码图像数据(访问单元)。在这种情况下，交替地设置第三图像数据的访问单元(AU)和第四图像数据的访问单元。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括NAL单元，例如，“PPS”、“SEI”和“SLC”。
注意，为了从可伸缩层参考基本层，提取器NAL单元正好设置在所有访问单元之前。在所示的示例中，指示每个访问单元的矩形帧所示的数值指示解码顺序。这也适用于下面的类似图。例如，在对访问单元“1”进行解码的情况下，需要参考访问单元“0”，并且在这种情况下，将访问单元“0”的解码结果复制到正好设置在访问单元“1”之前的提取器。
在该层内，给出解码时间戳，使得基本层中的120P的解码顺序变成0→2→4→6→...。利用该解码时间戳，60P的解码顺序变成0→4→...。即，基本60P和增强60P被设置为使得时间戳值在显示顺序和解码顺序中交替。
另外，在包括包含可伸缩层的第三和第四图像数据的编码图像数据的第二视频流的MP4流中，用一个轨道管理第二视频流，并且存在与“mdat”块对应的一个“moof”框(moof1)。在“moof(moof 1)”框中，存在用于管理“mdat”块中的第三图像数据的编码图像数据的控制信息以及用于管理“mdat”块中的第四图像数据的编码图像数据的控制信息。这两条控制信息由“mdat”块中的组ID(group_id)分组并被管理。
尽管稍后将描述“moof(moof 1)”框中的细节，但在“moof(moof 1)”框中，存在与“mdat”块中的第三图像数据的编码图像数据对应的“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝0”，并且指示第三图像数据对应于包括在基本60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝153”，并且指示第三和第一图像数据的编码图像数据的总体级别是“级别5.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第三和第一图像数据的编码图像数据的总体配置文件是“可伸缩主要10配置文件”。
另外，在“moof(moof 1)”框中，存在与“mdat”块中的第四图像数据的编码图像数据对应的“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝1”，并且指示第四图像数据对应于包括在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝156”，并且指示第一至第四图像数据的编码图像数据的总体级别是“级别5.2”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第一至第四图像数据的编码图像数据的总体配置文件是“可伸缩主要10配置文件”。
注意，在图7的示例中，每个样本(图片)的发送顺序按照0→1→2→3→4→5→...的顺序设置。通过该设置，可以最小化从接收到显示的延迟。
图9示意性地示出了“moof(moof 0)”框中的控制信息的示例。注意，在MP4流中，通过与“moof(moof 0)”框对应存在的初始化段(IS)的“leva(级别指派)”框，指示了如何映射具有可伸缩性的层。在此处，循环重复级别的次数，并且针对每个循环指定“Track_id”、“assignment_type”和“grouping_type”。在“leva”框中，描述了“level_count＝2”，并且指示在一个轨道“TR0”中具有两个级别“level0、level1”。
定义组ID的方法如下。为了在轨道中定义组，下面具有第一种和第二种方法。在第一种方法中，针对每个级别，将“grouping_type”定义为“temporal_layer_group”，并且在“moof”块内执行组识别。该模式可以使用“assignment_type＝0”来设置。在第二种方法中，在每个级别的轨道内定义“sub_track_id”，并使其值与“moof”块中的“group_id”一致。该模式可以使用“assignment_type＝4”来设置。
另外，为了在轨道之间定义组，下面具有第三种方法。这是一种通过用另一轨道识别(track_id)执行组识别并将“grouping_type”定义为“temporal_layer_group”来识别轨道之间的关系的方法。该模式可以使用“assignment_type＝2”来设置。
在所示的示例中，在“leva”框中，描述了“level_count＝2”，并且指示在一个轨道“TR0”中存在两个级别“level0、level1”。在第一种方法中，在“leva”框中，描述了“assignment_type＝0”，以指示是第一种方法，并且进一步，对应于两个级别中的每一个描述“grouping_type＝1”，以指示每个级别的分组类型是时间层组。
另一方面，在第二种方法中，在“leva”框中，描述了“assignment_type＝4”，以指示是第二种方法，并且进一步，对应于两个级别中的每一个描述“sub_track_id＝0”和“sub_track_id＝1”，并且为每个级别定义“sub_track_id”。注意，“sub_track_id”的值也可以指派给“group_id”。
在“moof(moof 0)”框中具有“traf”框，并在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且指示该轨道是“TR0”。另外，在“moof(moof 0)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof 0)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。
另外，在“moof(moof 0)”框中具有“traf”框，并且在该框中具有“trun”框。在“trun”框中，描述了“sample_count”和“sample_composition_time_offset”的参数。利用这些参数，设置指示基本60P和增强60P的解码顺序和显示顺序的时间戳的值。
另外，在“moof(moof 0)”框中具有“tfdt”框，并且在该框中有两个“sgpd”框。在第一“sgpd”框中，与第一图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”的参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，在“sgpd”框下具有“scif”框，描述了在“scif”框中的“group_id”的参数。在此处，设置“group_id＝0”，并且指示组ID是“0”。另外，“primary_groupID”与“group_id”一起描述。这也适用于下面的“group_id”的每个描述部分。这是为了识别“group_id”的值与“primary_groupID”的值一致的组是基本60P组。在此处，由于“group_id＝0”等于“primary_groupID”的值，所以该组被识别为基本60P组。
另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“0”，指示第一图像数据对应于基本60P中包括的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”表示第一图像数据的编码图像数据的级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-3]”一致。在此处，“tllevel_idc”被设置为“123”。“Tlprofile”表示第一图像数据的编码图像数据的配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-3]”一致。在此处，“Tlprofile”被设置为“2”。
在第二“sgpd”框中，与第二图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，在“sgpd”框中具有“scif”框，在“scif”框中描述了“group_id”参数。在这种情况下，设置“group_id＝1”，并且指示组ID是“1”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝1”与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“1”，指示第二图像数据对应于包括在增强60P中的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”表示第二和第一图像数据的编码图像数据的总体级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-2]”一致。在此处，“tllevel_idc”被设置为“150”。“Tlprofile”表示第二和第一图像数据的编码图像数据的配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-2]”一致。在此处，“Tlprofile”被设置为“2”。
图10示意性地示出了“moof(moof 1)”框中的控制信息的示例。在“leva”框中，描述了“level_count＝2”，并且其指示在一个轨道“TR0”中具有两个级别“level0、level1”。在第一种方法中，在“leva”框中，描述“assignment_type＝0”，以指示是第一种方法，并且进一步，对应于两个级别中的每一个描述“grouping_type＝1”，以指示每个级别的分组类型是时间层组。
另一方面，在第二种方法中，在“leva”框中，描述了“assignment_type＝4”，以指示是第二种方法，并且进一步，对应于两个级别中的每一个描述“sub_track_id＝2”和“sub_track_id＝3”，并且为每个级别定义“sub_track_id”。注意，“sub_track_id”的值也可以指派给“group_id”。
在“moof(moof 1)”框中具有“traf”框，并在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且其指示该轨道是“TR1”。另外，在“moof(moof 1)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof 1)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。解码时间“baseMediaDecodeTime”被设置为与提取器指向的轨道TR0的解码时间“baseMediaDecodeTime”相同的值。
另外，在“moof(moof 1)”框中具有“traf”框，并且在该框中具有“trun”框。在“trun”框中，描述了“sample_count”和“sample_composition_time_offset”的参数。利用这些参数，设置指示基本60P和增强60P的解码顺序和显示顺序的时间戳的值。
另外，在“moof(moof 1)”框中具有“tfdt”框，并且在该框中有两个连续的“sgpd”框。在第一“sgpd”框中，与第一图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”的参数。在此处，设置“grouping_type＝1”，并且其指示分组类型是时间层组。
另外，在“sgpd”框中具有“scif”框，描述了在“scif”框中的“group_id”的参数。在此处，设置“group_id＝2”，并且指示组ID是“2”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝2与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“0”，指示了第三图像数据对应于基本60P中包括的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”指示第三和第一图像数据的编码图像数据的级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-1]”一致。在此处，“tllevel_idc”被设置为“153”。“Tlprofile”指示第三和第一图像数据的编码图像数据的总体配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-1]”一致。在此处，“Tlprofile”被设置为“7”。
在下一个“sgpd”框中，与第四图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，在“sgpd”框中具有“scif”框，在“scif”框中描述了“group_id”参数。在此处，设置“group_id＝3”，并且指示组ID是“3”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝3”与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”、“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“1”，指示第四图像数据对应于包括在增强60P中的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”表示第四至第一图像数据的编码图像数据的总体级别，并且使其与上述SPS(或VPS)的元素的“general_level_idc”一致。在此处，“tllevel_idc”被设置为“156”。“Tlprofile”表示第四至第一图像数据的编码图像数据的整个编码图像数据的配置文件，并且使其与上述SPS(或VPS)的元素的“general_profile_idc”一致。在此处，“Tlprofile”被设置为“7”。
图11示出了情况2中的MP4流(文件)的示例配置。在所示的示例中，省略了说明初始化段(IS)以及由图4中的虚线框封闭的框“styp”、“sidx”和“ssix”。所示的示例是片段化的MP4的示例。在MP4流中，设置预定数量的电影片段，每个电影片段包括包含控制信息的“moof”框和包含媒体数据的主体的“mdat”框。“mdat”框包括通过分割轨道数据而获得的片段，使得包含在“moof”框中的控制信息是与片段相关联的控制信息。
在包括包含基本层的第一和第二图像数据的编码图像数据的第一视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第一和第二图像数据的编码图像数据(访问单元)。在这种情况下，交替地设置第一图像数据的访问单元(AU)和第二图像数据的访问单元。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”和“SLC”的NAL单元。注意，“VPS”和“SPS”插入到例如GOP头部的访问单元中。
注意，为了从第二图像数据的访问单元参考另一轨道的第一图像数据的访问单元的，提取器NAL单元正好设置在第二图像数据的访问单元之前。例如，在对访问单元“2”进行解码的情况下，需要参考访问单元“0”，并且在这种情况下，将访问单元“0”的解码结果复制到正好设置在访问单元“2”之前并被使用的提取器。
在包括包含基本层的第一和第二图像数据的编码图像数据的第一视频流的MP4流中，用两个轨道管理第一视频流，并且存在于“mdat”块对应的两个“moof”框(moof 0、moof1)。在“moof(moof 0)”框中，存在用于管理“mdat”块中的第一图像数据的编码图像数据的控制信息。
尽管稍后将描述“moof(moof 0)”框中的细节，但在“moof(moof 0)”框中，存在“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝0”，并且指示第一图像数据对应于基本60P中包括的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝123”，并且指示第一图像数据的编码图像数据的级别是“级别4.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第一图像数据的编码图像数据的配置文件是“主要10配置文件”。
另外，尽管稍后将描述“moof(moof 1)”框中的细节，但在“moof(moof 1)”框中，存在“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝1”，并且指示第二图像数据对应于包括在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝150”，并且指示第二和第一图像数据的编码图像数据的总体级别是“级别5”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第二和第一图像数据的编码图像数据的总体配置文件是“主要10配置文件”。
另一方面，在包括包含可伸缩层的第三和第四图像数据的编码图像数据的第二视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第三和第四图像数据的编码图像数据(访问单元)。在这种情况下，交替地设置第三图像数据的访问单元(AU)和第四图像数据的访问单元。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”和“SLC”的NAL单元。
注意，为了从可伸缩层参考基本层并且另外用于从第四图像数据的访问单元参考另一轨道的第三图像数据的访问单元，提取器NAL单元正好设置在所有访问单元之前。例如，在对访问单元“1”进行解码的情况下，需要参考访问单元“0”，并且在这种情况下，将访问单元“0”的解码结果复制到正好设置在访问单元“1”之前并且使用的提取器。
在该层内，给出解码时间戳，使得基本层中的120P的解码顺序变成0→2→4→6→...。利用该解码时间戳，60P的解码顺序变成0→4→...。即，基本60P和增强60P被设置为使得时间戳值在显示顺序和解码顺序中交替。
另外，在包括包含可伸缩层的第三和第四图像数据的编码图像数据的第二视频流的MP4流中，用两个轨道管理第二视频流，并且存在与“mdat”块对应的两个“moof”框(moof2、moof 3)。在“moof(moof 2)”框中，存在用于管理“mdat”块中的第三图像数据的编码图像数据的控制信息。
尽管稍后将描述“moof(moof 2)”框中的细节，但在“moof(moof 2)”框中，存在“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝0”，并且指示第三图像数据对应于包括在基本60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝153”，并且指示第三和第一图像数据的编码图像数据的总体级别是“级别5.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第三和第一图像数据的编码图像数据的总体配置文件是“可伸缩主要10配置文件”。
另外，尽管稍后将描述“moof(moof 3)”框中的细节，但在“moof(moof 3)”框中，存在“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝1”，并且指示第四图像数据对应于包括在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝156”，并且指示第四至第一图像数据的编码图像数据的总体级别是“级别5.2”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第四至第一图像数据的编码图像数据的总体配置文件是“可伸缩主要10配置文件”。
注意，在图11的示例中，每个样本(图片)的发送顺序按照0→1→2→3→4→5→...的顺序设置。通过该设置，可以最小化从接收到显示的延迟。
图12示意性地示出了“moof(moof 0)”框和“moof(moof 1)”框中的控制信息的示例。注意，在MP4流中，通过与这些“moof”框对应存在的初始化段(IS)的“leva(级别指派)”框，指示如何映射具有可伸缩性的层。在此处，循环重复级别的次数，并且针对每个循环指定“Track_id”、“grouping_type”和“assignment_type”。
在所示的示例中，在“leva”框中，描述了“level_count＝2”，并且指示在两个轨道“TR0”和“TR1”中的每一个中存在一个级别。另外，在“leva”框中，对应于两个轨道的级别来描述“assignment_type＝2”，以指示是第三种方法，并且进一步地，描述对应于两个轨道的“grouping_type＝1”，并且指示每个级别的分组类型是时间层组。
在“moof(moof 0)”框中具有“traf”框，并在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且指示该轨道是“TR0”。另外，在“moof(moof 0)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof 0)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。
另外，在“moof(moof 1)”框中具有“traf”框，并且在该框中具有“trun”框。在“tfdt”框中，描述了“sample_count”和“sample_composition_time_offset”参数。利用这些参数，设置指示基本60P的显示顺序和解码顺序的时间戳的值。
另外，在“moof(moof 0)”框中具有“tfdt”框，并且在该框中具有“sgpd”框。在“sgpd”框中，与第一图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，“sgpd”框中具有“scif”框，“scif”框中描述了“group_id”参数。在此处，设置“group_id＝0”，并且指示组ID是“0”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝0”等于“primary_groupID”的值，所以该组被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”，“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“0”，指示第一图像数据对应于基本60P中包括的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”表示第一图像数据的编码图像数据的级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-3]”一致。在此处，“tllevel_idc”被设置为“123”。“Tlprofile”表示第一图像数据的编码图像数据的总体配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-3]”一致。在此处，“Tlprofile”被设置为“2”。
另一方面，在“moof(moof 1)”框中具有“traf”框，框并且在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且指示该轨道是“TR1”。另外，在“moof(moof1)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof1)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。解码时间“baseMediaDecodeTime”被设置为与提取器指向的轨道TR0的解码时间“baseMediaDecodeTime”相同的值。
另外，在“moof(moof 1)”框中具有“traf”框，并且在该框中具有“trun”框。在“trun”框中，描述了“sample_count”和“sample_composition_time_offset”参数。利用这些参数，设置指示增强60P的显示顺序和解码顺序的时间戳的值。
另外，在“moof(moof 1)”框中具有“tfdt”框，并且在该框中具有“sgpd”框。在“sgpd”框中，与第二图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，“sgpd”框中具有“scif”框，在“scif”框中描述了“group_id”参数。在这种情况下，设置“group_id＝1”，并且指示组ID是“1”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝1”与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”，“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“1”，指示第二图像数据对应于包括在增强60P中的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”表示第二和第一图像数据的编码图像数据的总体级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-2]”一致。在此处，“tllevel_idc”被设置为“150”。“Tlprofile”表示第二和第一图像数据的编码图像数据的整个编码图像数据的配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-2]”一致。在此处，“Tlprofile”被设置为“2”。
图13示意性地示出了“moof(moof 2)”框和“moof(moof 3)”框中的控制信息的示例。在所示的示例中，在“leva”框中，描述了“level_count＝2”，并且指示在两个轨道“TR2”和“TR3”中的每一个中存在一个级别。另外，在“leva”框中，描述对应于两个轨道的级别的“assignment_type＝2”，以指示是第三种方法，并且进一步地，描述对应于两个轨道的“grouping_type＝1”，并且指示每个级别的分组类型是时间层组。
在“moof(moof 2)”框中具有“traf”框，并在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且指示该轨道是“TR2”。另外，在“moof(moof 2)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof 2)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。解码时间“baseMediaDecodeTime”被设置为与提取器指向的轨道TR0的解码时间“baseMediaDecodeTime”相同的值。
另外，在“moof(moof 2)”框中具有“traf”框，并且在该框中具有“trun”框。在“tfdt”框中，描述了“sample_count”和“sample_composition_time_offset”参数。利用这些参数，设置指示基本60P的显示顺序和解码顺序的时间戳的值。
另外，在“moof(moof 2)”框中具有“tfdt”框，并且在该框中具有“sgpd”框。在“sgpd”框中，与第三图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且指示分组类型是时间层组。
另外，“sgpd”框中具有“scif”框，“scif”框中描述了“group_id”参数。在此处，设置“group_id＝2”，并且指示组ID是“2”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝2”与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”，“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“0”，指示第三图像数据对应于基本60P中包括的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”指示第三和第一图像数据的编码图像数据的总体级别，并且使其与上述SPS(或VPS)的元素的“sublayer_level_idc[j-1]”一致。在此处，“tllevel_idc”被设置为“153”。“Tlprofile”指示第三和第一图像数据的编码图像数据的总体配置文件，并且使其与上述SPS(或VPS)的元素的“sublayer_profile_idc[j-1]”一致。在此处，“Tlprofile”被设置为“7”。
另一方面，在“moof(moof 3)”框中具有“traf”框，框并且在该框中具有“tfhd”框。在“tfhd”框中描述了轨道ID“track_id”，并且指示该轨道是“TR3”。另外，在“moof(moof3)”框中具有“traf”框，并且在该框中具有“tfdt”框。在“tfdt”框中，描述了在“moof(moof3)”框之后的第一访问单元的解码时间“baseMediaDecodeTime”。解码时间“baseMediaDecodeTime”被设置为与提取器指向的轨道TR0的解码时间“baseMediaDecodeTime”相同的值，因此被设置为与轨道TR0的解码时间“baseMediaDecodeTime”相同的值。
另外，在“moof(moof 1)”框中具有“traf”框，并且在该框中具有“trun”框。在“trun”框中，描述了“sample_count”和“sample_composition_time_offset”参数。利用这些参数，设置指示增强60P的显示顺序和解码顺序的时间戳的值。
另外，在“moof(moof 3)”框中具有“tfdt”框，并且在该框中具有“sgpd”框。在“sgpd”框中，与第四图像数据相关联地设置信息。在“sgpd”框中，描述了“grouping_type”参数。在此处，设置“grouping_type＝1”，并且其指示分组类型是时间层组。
另外，在“sgpd”框中具有“scif”框，在“scif”框中描述了“group_id”参数。在这种情况下，设置“group_id＝3”，并且指示组ID是“3”。另外，“primary_groupID”与“group_id”一起描述。在此处，由于“group_id＝3”与“primary_groupID”的值不一致，所以该组不被识别为基本60P组。另外，在“sgpd”框中具有“tscl”框。在“tscl”框中，描述了“temporalLayerId”，“tllevel_idc”、“Tlprofile”和“tlConstantFrameRate”这四个参数。
通过将“temporalLayerId”设置为“1”，指示第四图像数据对应于包括在增强60P中的图片(样本)。通过将“tlConstantFrameRate”设置为“1”，指示帧率是恒定的。“tllevel_idc”指示第四至第一图像数据的编码图像数据的总体级别，并且使其与上述SPS(或VPS)的元素的“general_level_idc”一致。在此处，“tllevel_idc”被设置为“156”。“Tlprofile”指示第四至第一图像数据的编码图像数据的总体配置文件，并且使其与上述SPS(或VPS)的元素的“general_profile_idc]”一致。在此处，“Tlprofile”被设置为“7”。
图14示出了情况3中的MP4流(文件)的示例配置。在所示的示例中，省略了说明初始化段(IS)以及由图4中的虚线框封闭的框“styp”、“sidx”和“ssix”。所示的示例是片段化的MP4的示例。在MP4流中，设置预定数量的电影片段，每个电影片段包括包含控制信息的“moof”框和包含媒体数据的主体的“mdat”框。“mdat”框包括通过分割轨道数据而获得的片段，使得包含在“moof”框中的控制信息是与片段相关联的控制信息。
在包括包含基本层的第一图像数据的编码图像数据的第一视频流的MP4流中，在“mdat”框中，为预定数量的图片，例如，为一个GOP，设置第一图像数据的编码图像数据(访问单元)。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括诸如“VPS”、“SPS”、“PPS”、“SEI”和“SLC”的NAL单元。注意，“VPS”和“SPS”被插入到例如GOP头部的访问单元中。
在包括第一视频流的MP4流中，用一个轨道管理第一视频流，并且存在与“mdat”块对应的一个“moof”框(moof 0)。在“moof(moof 0)”框中，存在用于管理“mdat”块中的第一图像数据的编码图像数据的控制信息。
“moof(moof 0)”框中的细节类似于上述情况2的情况，使得省略其描述；然而，“moof(moof 0)”框中具有“tscl”框。例如，在“tscl”框中描述了“temporalLayerId＝0”，并且指示第一图像数据对应于包含在基本60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝123”，并且指示第一图像数据的编码图像数据的级别是“级别4.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第一图像数据的编码图像数据的配置文件是“主要10配置文件”。
另外，在包括包含基本层的第二图像数据的编码图像数据的第二视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第二图像数据的编码图像数据(访问单元)。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括NAL单元，例如，“PPS”、“SEI”和“SLC”。
注意，为了从第二图像数据的访问单元参考另一轨道的第一图像数据的访问单元，提取器NAL单元正好设置在所有访问单元之前。例如，在对访问单元“2”进行解码的情况下，需要参考访问单元“0”，并且在这种情况下，将访问单元“0”的解码结果复制到正好设置在访问单元“2”之前并且使用的提取器。
在包括第二视频流的MP4流中，用一个轨道管理第二视频流，并且存在与“mdat”块对应的一个“moof”框(moof 1)。在“moof(moof 1)”框中，存在用于管理“mdat”块中的第二图像数据的编码图像数据的控制信息。
“moof(moof 1)”框中的细节类似于上述情况2的情况，使得省略其描述；然而，“moof(moof 1)”框中具有“tscl”框。例如，在“tscl”框中描述了“temporalLayerId＝1”，并且指示第一图像数据对应于包含在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝150”，并且指示第二和第一图像数据的编码图像数据的总体级别是“级别5”。另外，在“tscl”框中，描述了“Tlprofile_idc＝2”，并且指示第二和第一图像数据的编码图像数据的总体配置文件是“主要10配置文件”。
在该层内，给出解码时间戳，使得基本层中的120P的解码顺序变成0→2→4→6→...。利用该解码时间戳，60P的解码顺序变成0→4→...。即，基本60P和增强60P被设置为使得时间戳值在显示顺序和解码顺序中交替。
另外，在包括包含可伸缩层的第三图像数据的编码图像数据的第三视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第三图像数据的编码图像数据(访问单元)。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括NAL单元，例如，“PPS”、“SEI”和“SLC”。
注意，为了从可伸缩层参考基本层，提取器NAL单元正好设置在所有访问单元之前。例如，在对访问单元“1”进行解码的情况下，需要参考访问单元“0”，并且在这种情况下，将访问单元“0”的解码结果复制到正好设置在访问单元“1”之前并使用的提取器。
在包括第三视频流的MP4流中，用一个轨道管理第三视频流，并且存在与“mdat”块对应的一个“moof”框(moof 2)。在“moof(moof 2)”框中，存在用于管理“mdat”块中的第三图像数据的编码图像数据的控制信息。
“moof(moof 2)”框中的细节与上述情况2的情况类似，因此省略其描述；然而，“moof(moof 2)”框中具有“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝0”，并且指示第三图像数据对应于包含在基本60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝153”，并且指示第三和第一图像数据的编码图像数据的总体级别是“级别5.1”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第三和第一图像数据的编码图像数据的总体配置文件是“可伸缩主体10配置文件”。
另外，在包括可伸缩层的第四图像数据的编码图像数据的第四视频流的MP4流中，在“mdat”框中，针对预定数量的图片(例如，针对一个GOP)设置第四图像数据的编码图像数据(访问单元)。注意，每个访问单元的位置由“SIDX”框或“SSIX”框中的信息指示。每个访问单元包括NAL单元，例如，“PPS”、“SEI”和“SLC”。
注意，为了从可伸缩层参考基本层并且另外用于从第四图像数据的访问单元参考另一轨道的第三图像数据的访问单元，提取器NAL单元正好设置在所有访问单元之前。例如，在对访问单元“3”进行解码的情况下，需要参考访问单元“2”和“1”，并且在这种情况下，将访问单元“2”和“1”的解码结果复制到正好设置在访问单元“2”和“1”之前并且使用的提取器。
在包括第四视频流的MP4流中，由一个轨道管理第四视频流，并且存在与“mdat”块对应的一个“moof”框(moof 3)。在“moof(moof 3)”框中，存在用于管理“mdat”块中的第四图像数据的编码图像数据的控制信息。
“moof(moof 3)”框中的细节类似于上述情况2的情况，因此省略其描述；然而，在“moof(moof 3)”框中具有“tscl”框。在“tscl”框中，例如，描述了“temporalLayerId＝1”，并且指示第四图像数据对应于包括在增强60P中的图片(样本)。另外，在“tscl”框中，描述了“tllevel_idc＝156”，并且指示第四至第一图像数据的编码图像数据的总体级别是“级别5.2”。另外，在“tscl”框中，描述了“Tlprofile_idc＝7”，并且指示第四至第一图像数据的编码图像数据的总体配置文件是“可伸缩主要10配置文件”。
注意，在图14的示例中，每个样本(图片)的发送顺序按照0→1→2→3→4→5→...的顺序设置。通过该设置，能够最小化从接收到显示的延迟。
在此处，将进一步描述用于设置表示基本60P和增强60P的显示顺序和解码顺序的时间戳的值的“sample_count”和“sample_composition_time_offset”参数。“tfdt”框中的“baseMediaDecodeTime”指示片段的第一样本(图片)的解码时间戳。每个后续样本的解码时间由“trun”框中的“sample_count”描述。另外，每个样本的显示时间戳由指示与“sample_count”的偏移的“sample_composition_time_offset”指示。
在图7的基本层中，“0”的“sample_count”与“baseMediaDecodeTime”一致，然后，“2”和“4”的“sample_count”分别是以120Hz为单位依次逐个增加的值。这指示作为增强60P的样本的样本“2”的解码时间夹在作为基本60P的样本的两个样本“0”和“4”的解码时间之间。
另外，在可伸缩层中，指示层间预测的“1”的提取器的解码时间(＝“sample_count”)是与样本“0”的解码时间相同的值。“1”的“sample_count”具有与紧接的前一个提取器相同的值并且指示没有时间偏移。在参考“2”的情况下设置“3”的提取器，并且其“sample_count”具有与“2”相同的值。在“3”的样本的指示对象为“1”的情况下，将“1”的“sample_count”增加1的值设置为“3”的“sample_count”的值。
这样，以120Hz的精度给出对应于解码时间的“sample_count”。解码基本层的基本60P的接收器仅将属于基本60P组的样本每隔一个传送给解码器。
在图11和图14中，基本层内的“2”的提取器的“sample_count”具有与“0”的“sample_count”相同的值。“2”的“sample_count”是紧接的前一个提取器的“sample_count”增加1的值。“4”的“sample_count”的值是“2”的“sample_count”进一步增加1的值。随后，这是类似地执行的。这样，以120Hz的精度给出对应于解码时间的“sample_count”。
在可伸缩层中，“1”的提取器表示层间引用，其“sample_count”具有与“0”相同的值，并且“1”的“sample_count”具有与紧接的前一个提取器相同的值。在“3”的提取器中，在参考可伸缩层内的另一轨道的情况下，其“sample_count”与“1”相同，或者，在参考Base的值“2”的情况下，其“sample_count”与“2”相同。无论哪种情况，“3”的“sample_count”的值具有与“2”相同的值。
“5”的提取器表示层间参考，并且其“sample_count”具有与“4”的“sample_count”相同的值。“5”的“Sample_count”具有与“4”相同的值。如上所述，同样在可伸缩层中，作为增强60P的样本的样本“3”的解码时间夹在作为基本60P的样本的两个样本“1”和“5”的解码时间之间。对可伸缩层的60P进行解码的接收器仅仅对于属于基本60P组的样本，将层内的样本的“sample_count”每隔一个传送给解码器。
图15示出了在发送双流配置的情况下(在情况1和情况2的情况下)的MPD文件的描述示例。在此处，为了简化描述，示出了仅描述与视频流相关联的信息的示例；然而，实际上也描述了与视频流的其他媒体流相关联的信息。图16示出了“SupplementaryDescriptor”的“值”语义。
通过描述“<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L150,xx,hev1.yy.yy.L156,yy””，指示具有视频流的自适应集，在MP4文件结构中提供视频流，并且具有级别为150和级别为156的HEVC编码图像数据。
通过描述“<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:highdynamicrange”value＝“HDR”/>”，指示当前流是HDR流。注意，可以描述“1”，而不是“HDR”，以指示是HDR流。注意，在指示是SDR流的情况下，描述“SDR”或“0”。
通过描述“<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:transferfunction”value＝“TFtype”/>”，指示电光和光电转换特性(TF特性)。例如，在“BT.709-5传递函数”的情况下，在“TFtype”部分中描述“bt709”或“1”。另外，例如，在“10位BT.2020传递函数”的情况下，在“TFtype”部分中描述“bt2020-10”或“14”。另外，例如，在“SMPTE 2084传递函数”的情况下，在“TFtype”部分中描述“st2084”或“16”。另外，例如，在“ARIB STD B-67传递函数”的情况下，在“TFtype”部分中描述“arib-b67”或“18”。
通过描述“<SupplementaryDescriptor schemeIdUri＝“urn:brdcst:video:xycolourprimaries”value＝“ColorGamut”/>”，指示颜色空间。例如，在“BT.709-5”的情况下，在“色域”部分描述“bt709”或“1”。另外，例如，在“BT.2020”的情况下，在“色域”部分中描述“bt2020”或“9”。另外，例如，在“SMPTE 428或XYZ”的情况下，在“色域”部分中描述“st428”或“10”。
在MPD文件中，存在与包括第一和第二图像数据的编码图像数据的第一视频流对应的第一表示，并且存在与包括第三和第四图像数据的第二视频流对应的第二表示。另外，在第一视频流的表示中，分别存在与第一和第二图像数据的编码图像数据对应的子表示。另外，在第二视频流的表示中，分别存在与第三和第四图像数据的编码图像数据对应的子表示。
通过描述“<BaseURL>videostreamBase.mp4</BaseURL>”，第一视频流的位置被表示为“videostreamBase.mp4”。在与第一视频流的表示中的第一图像数据的编码图像数据对应的子表示中，描述了“width＝“1920”height＝“1080”frameRate＝“60””、“codecs＝“hev1.xx.xx.L123,xx””和“level＝“0””。通过描述，指示实现了2K 60P流，给出级别“0”，作为标签信息，并且第一图像数据的编码图像数据的级别是“123”。
在与第一视频流的表示中的第二图像数据的编码图像数据对应的子表示中，描述了“width＝“1920”height＝“1080”frameRate＝“120””、“codecs＝“hev1.xx.xx.L150,xx””、“level＝“1””和“dependencyLevel＝“0””。通过描述，指示通过增强在第一图像数据的编码图像数据上实现2K 120P流，给出级别“1”，作为标签信息，并且第二和第一图像数据的编码图像数据的总体级别是“150”。
另外，通过描述“<BaseURL>video-bitstreamScalable.mp4</BaseURL>”，第二视频流的位置被表示为“video-bitstreamScalable.mp4”。在与第二视频流的表示中的第三图像数据的编码图像数据对应的子表示中，描述了“width＝“3840”height＝“2160”frameRate＝“60””、“codecs＝“hev1.yy.yy.L153,yy””、“level＝“2””和“dependencyLevel＝“0””。通过这些描述，指示通过增强在第一图像数据的编码图像数据上实现4K 60P流，给出级别“2”，作为标签信息，并且第三和第一图像数据的编码图像数据的总体级别是“153”。
在与第二视频流的表示中的第四图像数据的编码图像数据对应的子表示中，描述了“width＝“3840”height＝“2160”frameRate＝“120””、“codecs＝“hev1.yy.yy.L156,yy””、“level＝“3””和“dependencyLevel＝“0”,“1”,“2””。通过这些描述，指示通过增强在第一图像数据的编码图像数据上实现2K 120P流，并且通过在流上添加增强分量来实现4K120P流，给出级别“3”，作为标签信息，并且第四至第一图像数据的编码图像数据的总体级别是“156”。
图17示出了在发送四流配置的情况下(在情况2的情况下)的MPD文件的描述示例。在此处，为了简化描述，示出了仅描述与视频流相关联的信息的示例；然而，实际上也描述了与视频流的其他媒体流相关联的信息。
通过描述“<AdaptationSet mimeType＝“video/mp4”codecs＝“hev1.xx.xx.L123,xx,hev1.xx.xx.L150,xx,hev1.yy.yy.L153,yy,hev1.yy.yy.L156,yy””，指示具有视频流的自适应集，在MP4文件结构中提供视频流，并且具有级别为123、级别为150、级别为153和级别为156的HEVC编码图像数据。
由于“<SupplementaryDescriptor schemeIdUri＝"urn:brdcst:video:highdynamicrange"value＝"HDR"/>”、“<SupplementaryDescriptorschemeIdUri＝"urn:brdcst:video:transferfunction"value＝"EOTFtype"/>”以及“<SupplementaryDescriptorschemeIdUri＝"urn:brdcst:video:xycolourprimaries"value＝"ColorGamut"/>”的描述与图15中的示例的那些相同，因此将省略其描述。
在MPD文件中，存在分别对应于包括相应的第一、第二、第三和第四图像数据的编码图像数据的第一、第二、第三和第四视频流的第一、第二、第三和第四表示。
在第一视频流的表示中，描述了“width＝“1920”height＝“1080”frameRate＝“60””、“codecs＝“hev1.xx.xx.L123,xx””和“level＝“0”“。通过这些描述，指示实现了2K60P流，给出级别“0”，作为标签信息，并且第一图像数据的编码图像数据的级别是“123”。通过描述“<BaseURL>video-base1subbitstream.mp4</BaseURL>”，第一视频流的位置被表示为“video-base1subbitstream.mp4”。
在第二视频流的表示中，描述了“width＝“1920”height＝“1080”frameRate＝“120””、“codecs＝“hev1.xx.xx.L150,xx””、“level＝“1””和“dependencyLevel＝“0””。通过这些描述，指示通过增强在第一图像数据的编码图像数据上实现2K 120P流，给出级别“1”，作为标签信息，并且第二和第一图像数据的编码图像数据的总体级别是“150”。通过描述“<BaseURL>video-base2subbitstream.mp4</BaseURL>”，第二视频流的位置被表示为“video-base2subbitstream.mp4”。
在第三视频流的表示中，描述了“width＝“3840”height＝“2160”frameRate＝“60””、“codecs＝“hev1.yy.yy.L153,yy””、“level＝“2””和“dependencyLevel＝“0””。通过这些描述，指示通过增强在第一图像数据的编码图像数据上实现4K 60P流，给出级别“2”，作为标签信息，并且第三和第一图像数据的编码图像数据的总体级别是“153”。通过描述“<BaseURL>video-e1subbitstream.mp4</BaseURL>”，第三视频流的位置被表示为“video-e1subbitstream.mp4”。
在第四视频流的表示中，描述了“width＝“3840”height＝“2160”frameRate＝“120””、“codecs＝“hev1.yy.yy.L156,yy””、“level＝“3””和“dependencyLevel＝“0”,“1”,“2””。通过描述，指示通过增强在第一图像数据的编码图像数据上实现2K 120P流，并且通过在流上添加增强分量来实现4K 120P流，给出级别“3”，作为标签信息，并且第四至第一图像数据的编码图像数据的总体级别是“156”。通过描述“<BaseURL>video-e2subset.mp4</BaseURL>”，第四视频流的位置被表示为“video-e2subset.mp4”。
“服务发送系统的示例配置”
图18示出了服务发送系统100的示例配置。服务发送系统100包括控制单元101、高动态范围(HDR)光电转换单元102、RGB/YCbCr转换单元103、视频编码器104、容器编码器105和发送单元106。
控制单元101包括中央处理单元(CPU)，并且基于控制程序来控制服务发送系统100的每个单元的操作。HDR光电转换单元102通过将HDR光电转换特性应用于高帧率超高清晰度(例如，4K 120P)和高动态范围(HDR)图像数据(视频数据)Vh中来执行光电转换，来获得HDR发送图像数据V1。HDR发送视频数据V1是作为具有HDR OETF的图像而产生的视频材料。例如，作为HDR光电转换特性，应用STD-B67(混合对数伽玛：HLG)的特性、ST2084(感知量化器曲线：PQ曲线)的特性等。
图19示出了标准动态范围(SDR)和高动态范围(HDR)的光电转换特性的示例。在该图中，横轴表示输入亮度级，纵轴表示发送码值。虚线表示SDR光电转换特性(BT.709：伽玛特性)。在SDR光电转换特性中，当输入亮度级别是SDR特性表示极限亮度SL时，发送码值是峰值级别MP。在此处，SL是100cd/m2。
实线b表示作为HDR光电转换特性的STD-B67(HLG)的特性。单点划线c表示作为HDR光电转换特性的ST2084(PQ曲线)的特性。在HDR光电转换特性中，当输入亮度级别是峰值亮度PL时，发送码值是峰值级别MP。
STD-B67(HLG)的特性包括与SDR光电转换特性(BT.709：伽玛特性)兼容的区域。即，两个特性的曲线从输入亮度级别零到两个特性的兼容性极限值彼此一致。当输入亮度级别是兼容性极限值时，发送码值是兼容级别SP。ST2084的特性(PQ曲线)是对应于高亮度的量化步长的曲线，并且被认为与人类视觉特性兼容。
返回参考图18，RGB/YCbCr转换单元103将由HDR光电转换单元102获得的HDR发送视频数据V1从RGB域转换到YCbCr(亮度和色度)域。注意，这些颜色空间域不限于RGB域，并且亮度和色度域不限于YCbCr。
视频编码器104对转换为YCbCr域的HDR发送视频数据V1应用例如MPEG 4-AVC或HEVC等编码，以获得编码图像数据，并且生成包括编码图像数据的预定数量的视频流。
即，在执行情况1和情况2的发送的情况下，生成包括第一和第二图像数据的编码图像数据的第一视频流和包括第三和第四图像数据的编码图像数据的第二视频流(参见图6、图7和图11)。另一方面，在情况3进行传输的情况下，生成包括第一图像数据的编码图像数据的第一视频流、包括第二图像数据的编码图像数据的第二视频流、包括第三图像数据的编码图像数据的第三视频流以及包括第四图像数据的编码图像数据的第四视频流(参见图6和图14)。
此时，视频编码器104将指示HDR发送图像数据V1的光电转换特性或与光电转换特性对应的电光转换特性的转换特性信息(传递函数)插入到访问单元(AU)的SPS NAL单元的视频可用性信息(VUI)区域中。注意，在HDR发送图像数据V1的光电转换特性是STD-B67(HLG)的情况下，将指示BT.709(伽马特性)的转换特性信息插入到VUI的区域中。在这种情况下，指示STD-B67(HLG)的转换特性信息设置在插入到访问单元(AU)的“SEI”部分中的稍后描述的新定义的传递函数SEI消息(transfer_function SEI消息)中。
另外，在应用ST2084(PQ曲线)的特性，作为上述HDR光电转换单元102中的HDR光电转换特性的情况下，视频编码器104将包括动态范围转换的转换信息的稍后描述的新定义的动态范围转换SEI消息(Dynamic_range_conv SEI消息)插入到访问单元(AU)的“SEI”部分中。转换信息是用于将通过ST2084(PQ曲线)的特性的转换数据的值转换为通过SDR光电转换特性的转换数据的值的转换信息。
参考图20，将进一步描述动态范围转换的转换信息。实线a表示指示SDR光电转换特性的SDR OETF曲线的示例。实线b表示作为HDR OETF曲线的ST2084(PQ曲线)的特性的示例。横轴表示输入亮度级别，P1表示与SDR峰值级别对应的输入亮度级别，P2表示与HDR最大级别对应的输入亮度级别。
另外，纵轴表示归一化编码级别的发送码值或相对值。相对最大级别M表示HDR最大级别和SDR最大级别。参考级别G表示在对应于SDR最大级别的输入亮度级别P1处的HDROETF的传输级别，这意味着所谓的参考白色级别，并且高于该级别的范围用于HDR特有的闪光表示。分支级别B表示SDR OETF曲线和HDR OETF曲线从相同轨迹分支的级别。Pf表示对应于分支级别的输入亮度级别。注意，分支级别B可以是大于或等于0的任意值。注意，在未指定分支级别的情况下，其近似于相应的分配操作方法，或者在接收侧总体上获得比率。
动态范围转换的转换信息是用于将HDR发送图像数据中的相对最大级别M的分支级别B转换成SDR光电转换特性的转换数据的值的信息，并且是转换系数或转换表。在由转换表给出信息的情况下，通过参考转换表来进行动态范围转换。另一方面，在通过转换系数给出信息的情况下，通过使用转换系数进行计算来进行动态范围转换。例如，当转换系数为C时，可以通过以下等式(1)对相对最大级别G的分支级别B的输入数据执行转换。
输出数据＝分支级别B+(输入数据-分支级别B)*C...(1)
图21示出了在编码方法是HEVC的情况下在图片组(GOP)头部的访问单元。在HEVC编码方法的情况下，用于解码“Prefix_SEI”的SEI消息组设置在像素数据被编码的薄片之前，并且在薄片之后，设置用于显示“SEFIX_SEI”的SEI消息组。例如，如图所示，传递函数SEI消息和动态范围转换SEI消息被设置为SEI消息组“Suffix_SEI”。
图22的(a)示出了传递函数SEI消息的示例结构(语法)。图22的(b)示出了示例结构中的主要信息的细节(语义)。“传递函数”的8位字段表示发送视频数据V1的光电转换特性或与光电转换特性对应的电光转换特性。在该元素的值与VUI的“传递函数”的值不同的情况下，用该元素的值进行替换。
例如，“1”表示“BT.709-5传递函数(SDR)”，“14”表示“10位BT.2020传递函数(SDR)”，“16”表示“SMPTE 2084传递函数(HDR1)”，“18”表示“ARIB STD B-67传递函数(HDR2)”。
“peak_luminance”的16位字段表示最大亮度级别。例如，在程序或场景内，最大亮度级别指示内容的最大亮度级别。在接收侧，当创建适合于显示能力的显示图像时，该值可以用作参考值。“color_space”的8位字段表示颜色空间信息。
图23示出了动态范围转换SEI消息的示例结构(语法)。图24示出了示例结构中的主要信息的细节(语义)。“Dynamic_range_conv_cancel_flag”的1位标志信息指示是否要刷新“Dynamic_range_conv”的消息。“0”表示要刷新“Dynamic_range_conv”的消息。“1”表示不刷新“Dynamic_range_conv”的消息，即，与前一消息保持原样。
当“Dynamic_range_conv_cancel_flag”为“0”时，存在以下字段。“coded_data_bit_depth”的8位字段表示编码的像素位深度(发送码值的位深度)。“reference_level”的14位字段指示参考亮度级别值，即，参考级别G(参见图20)。“ratio_conversion_flag”的1位标志信息表示执行简单转换，即，存在转换系数。“conversion_table_flag”的1位标志信息表示转换基于转换表，即，存在转换表信息。“branch_level”的16位字段表示分支级别B(参见图20)。
当“ratio_conversion_flag”是“1”时，存在“level_conversion_ratio”的8位字段。该字段表示转换系数(级别转换的比率)。当“conversion_table_flag”是“1”时，存在“table_size”的8位字段。该字段表示转换表中的输入数量。然后，对于输入的数量，存在“level_R[i]”、“level_G[i]”和“level_B[i]”的16位字段。“level_R[i]”的字段表示在转换红色分量(红色分量)之后的值。“level_G[i]”的字段表示在转换绿色分量(红色分量)之后的值。“level_B[i]”的字段表示在转换蓝色分量(红色分量)之后的值。
注意，当编码的像素位深度是8位时，存在对应于输入数据的每个值的值。然而，当编码的像素位深度是10位、12位等时，仅存在与输入数据的高8位的相应值对应的值。在这种情况下，当在接收侧使用转换表时，插值用于其余的低位的值。
返回参考图18，容器编码器105生成包含由视频编码器104生成的预定数量的视频流VS的容器，在此处是MP4流，作为分配流STM。
即，在执行情况1和情况2的传输的情况下，生成包括包含第一和第二图像数据的编码图像数据的第一视频流的MP4流和包括包含第三和第四图像数据的编码图像数据的第二视频流的MP4流(参见图6、图7和图11)。
另一方面，在执行情况3的传输的情况下，生成包括包含第一图像数据的编码图像数据的第一视频流的MP4流、包括包含第二图像数据的编码图像数据的第二视频流的MP4流、包括包含第三图像数据的编码图像数据的第三视频流的MP4流和包括包含第四图像数据的编码图像数据的第四视频流的MP4流(参见图6和图14)。
发送单元106通过广播波或网络分组将由容器编码器105获得的MP4分配流STM传输到服务接收器200。
将简要描述图18中所示的服务发送系统100的操作。向HDR光电转换单元102提供高帧率超高清晰度(例如，4K 120P)和高动态范围(HDR)图像数据(视频数据)Vh。在HDR光电转换单元102中，通过HDR光电转换特性对HDR视频数据Vh进行光电转换，并且获得HDR发送视频数据，作为利用HDR OETF作为图像产生的视频材料。例如，应用STD-B67(HLG)的特性、ST2084的特性(PQ曲线)等，作为HDR光电转换特性。
由HDR光电转换单元102获得的HDR发送视频数据V1由RGB/YCbCr转换单元103从RGB域转换成YCbCr域，然后，提供给视频编码器104。在视频编码器104中，例如，对转换为YCbCr域的HDR发送视频数据V1应用MPEG4-AVC或HEVC等编码，获得编码图像数据，并且生成预定数量的视频流，包括编码图像数据。
即，在执行情况1和情况2的传输的情况下，生成包括第一和第二图像数据的编码图像数据的第一视频流和包括第三和第四图像数据的编码图像数据的第二视频流(参见图6、图7和图11)。另一方面，在执行情况3的传输的情况下，生成包括第一图像数据的编码图像数据的第一视频流、包括第二图像数据的编码图像数据的第二视频流、包括第三图像数据的编码图像数据的第三视频流以及包括第四图像数据的编码图像数据的第四视频流(参见图6和图14)。
此时，在视频编码器104中，将指示HDR发送视频数据V1的光电转换特性或与光电转换特性对应的电光转换特性的转换特性信息(传递函数)插入访问单元(AU)的SPS NAL单元的VUI的区域中。注意，在HDR发送视频数据V1的光电转换特性是STD-B67(HLG)的情况下，将指示BT.709(伽马特性)的转换特性信息插入到VUI的区域中。在这种情况下，指示STD-B67(HLG)的转换特性信息设置在插入访问单元(AU)的“SEI”部分的传递函数SEI消息中(参见图22)。
另外，此时，在HDR光电转换单元102中应用ST2084(PQ曲线)的特性，作为HDR光电转换特性的情况下，在视频编码器104中，将包括动态范围转换的转换信息的动态范围转换SEI消息(参见图23)插入访问单元(AU)的“SEI”部分中。转换信息是用于将通过ST2084(PQ曲线)的特性的转换数据的值转换为通过SDR光电转换特性的转换数据的值的转换信息。
将由视频编码器104生成的预定数量的视频流VS提供给容器编码器105。在容器编码器105中，生成包括预定数量的视频流VS的容器，在此处是MP4流，作为分配流STM。
即，在执行情况1和情况2的传输的情况下，生成包括包含第一和第二图像数据的编码图像数据的第一视频流的MP4流和包括包含第三和第四图像数据的编码图像数据的第二视频流的MP4流(参见图6、图7和图11)。
另一方面，在执行情况3的传输的情况下，生成包括包含第一图像数据的编码图像数据的第一视频流的MP4流、包括包含第二图像数据的编码图像数据的第二视频流的MP4流、包括包含第三图像数据的编码图像数据的第三视频流的MP4流以及包括包含第四图像数据的编码图像数据的第四视频流的MP4流(参见图6和图14)。
将由容器编码器105作为分配流STM生成的MP4流提供给发送单元106。在发送单元106中，通过广播波或网络分组将由容器编码器105获得的MP4分配流STM传输到服务接收器200。
“服务接收器的示例配置”
图25示出了服务接收器200的示例配置。服务接收器200包括控制单元201、接收单元202、容器解码器203、视频解码器204、YCbCr/RGB转换单元205、HDR电光转换单元206和SDR电光转换单元207。
控制单元201包括中央处理单元(CPU)，并且基于控制程序来控制服务接收器200的每个单元的操作。接收单元202从服务发送系统100接收通过广播波或网络分组传输的MP4分配流STM。
在控制单元201的控制下，根据接收器200的解码能力，容器解码器(多路复用器)103基于“moof”块的信息等从接收单元202所接收的MP4分配流STM中选择性地提取所需图像数据的编码图像数据，并且将编码图像数据传输到视频解码器204。
例如，当接收器200具有能够处理高帧率超高清晰度图像数据的解码能力时，容器解码器203提取全部第一至第四图像数据的编码图像数据，并将编码图像数据传输到视频解码器204。另外，例如，当接收器200具有能够处理基本帧率超高清晰度图像数据的解码能力时，容器解码器203提取第一和第三图像的编码图像数据数据，并且将编码的图像数据传输到视频解码器204。
另外，例如，当接收器200具有能够处理高帧率高清晰度图像数据的解码能力时，容器解码器203提取第一图像数据和第二图像数据的编码图像数据，并且将编码图像数据传输到视频解码器204。另外，例如，当接收器200具有能够处理基本帧率高清晰度图像数据的解码能力时，容器解码器203提取第一图像数据的编码图像数据，并将编码图像数据传输给视频解码器204。
例如，容器解码器203检查插入到容器中的级别值(tlevel_idc)，将级别值与视频解码器204的解码能力进行比较，并确定是否可以接收。此时，从“moof”块中的“tlevel_idc”检测到与接收到的视频流中的整个流的复杂度(general_level_idc)对应的值。
然后，在检测值高于接收器的解码能力的情况下，容器解码器203检查与视频流中的另一元素(sublayer_level_idc)的值对应的“moof”块中的“tlevel_idc”，确定解码是否可能在可应用的范围内，并且将对应的图像数据的编码图像数据传送到视频解码器204。
另一方面，从“moof”块中的“tlevel_idc”检测到与接收到的视频流中的整个流的复杂度(general_level_idc)对应的值，并且在该值对应于接收器的解码能力的情况下，容器解码器203按照解码时间戳的顺序将包含在接收到的视频流中的所有图像数据的编码图像数据传送到视频解码器204。
视频解码器204将解码处理应用于由容器解码器203选择性地提取的编码图像数据中，以获得HDR发送视频数据V1'。例如，当接收器200具有能够处理高帧率超高清晰度图像数据的解码能力时，HDR发送视频数据V1'变成用于显示高帧率超高清晰度图像的图像数据。另外，例如，当接收器200具有能够处理基本帧率超高清晰度图像数据的解码能力时，HDR发送视频数据V1'变成用于显示基本帧率超高清晰度图像的图像数据。
另外，例如，当接收器200具有能够处理高帧率高清晰度图像数据的解码能力时，HDR发送视频数据V1'变成用于显示高帧率高清晰度图像的图像数据。另外，例如，当接收器200具有能够处理基本帧率高清晰度图像数据的解码能力时，HDR发送视频数据V1'变成用于显示基本帧率高清晰度图像的图像数据。
另外，视频解码器204提取参数集和插入到由容器解码器203选择性地提取的编码图像数据中的SEI消息，并将其发送到控制单元201。
所提取的信息还包括指示插入到上述访问单元的SPS NAL单元的VUI的区域中的发送视频数据V1的光电转换特性或电光转换特性的转换特性信息(传递函数)以及传递函数SEI消息(参见图22)。利用该信息，控制单元201识别应用于HDR发送视频数据V1'的HDR光电转换特性。
另外，当应用于HDR发送视频数据V1'的HDR光电转换特性是ST2084(PQ曲线)的特性时，所提取的信息还包括动态范围转换SEI消息(参见图23)。利用该信息，控制单元201识别动态范围转换信息(转换表、转换系数)。
YCbCr/RGB转换单元205将由视频解码器204获得的HDR发送视频数据V1'从YCbCr(亮度和色度)域转换到RGB域。HDR光电转换单元206通过将HDR电光转换特性应用于转换为RGB域的HDR发送视频数据V1'来获得用于显示HDR图像的显示视频数据Vhd。在这种情况下，控制单元201针对HDR光电转换单元206设置从VUI识别的HDR电光转换特性或传递函数SEI消息，即，与应用于发送侧的HDR电光转换特性对应的HDR光电转换特性。
SDR光电转换单元207通过将SDR电光转换特性应用于转换为RGB域的HDR发送视频数据V1'来获得用于显示SDR图像的显示视频数据Vsd。在此处，当应用于HDR发送视频数据V1'的HDR光电转换特性是STD-B67(HLG)的特性时，SDR光电转换单元207通过将SDR电光转换特性显示直接施加到HDR发送视频数据V1'来获得用于显示SDR图像的显示视频数据Vsd。
另一方面，当应用于HDR发送视频数据V1'的HDR光电转换特性是ST2084(PQ曲线)的特性时，SDR光电转换单元207通过基于动态范围转换信息(转换表、转换系数)对HDR发送视频数据V1'执行动态范围转换，来获得SDR发送图像数据，并且通过将SDR电光转换特性应用于SDR发送图像数据来获得用于显示SDR图像的显示视频数据Vsd。
参考图26，将描述基于动态范围转换信息的动态范围转换的示例。纵轴表示与图20中的横轴对应的输出亮度水平。另外，横轴表示与图20中的纵轴对应的发送码值。实线a是表示SDR电光转换特性的SDR EOTF曲线。SDR EOTF曲线对应于由图20中的实线指示的SDROETF曲线。实线b是表示HDR电光转换特性的HDR EOTF曲线。HDR EOTF曲线对应于作为由图20中的实线b指示的HDR OETF曲线的ST2084(PQ曲线)的特性。注意，P1'指示与低于参考级别G的预定级别H对应的输出亮度级别。
在动态范围转换中，转换在HDR发送视频数据V1'中直到低于参考级别G的预定级别H的输入数据，以便与通过SDR光电转换特性的转换数据的值一致。小于分支级别B的输入数据被设置为按原样输出数据。
另外，对于从级别H到级别M的输入数据，基于由单点划线指示的色调映射特性TM来进行动态范围级别转换。在这种情况下，例如，级别H被转换为级别H'，参考级别G被转换为级别G'，并且级别M照原样设置为级别M。如上所述，对从H级别到M级别的输入数据进行基于色调映射特性TM的级别转换，由此可以由于从参考级别G到相对最高级别M的级别饱和而降低图像质量劣化.。
将简要描述图25中所示的服务接收器200的操作。在接收单元202中，从服务发送系统100中接收通过广播波或者网络分组传输的MP4分配流STM。将分配流STM提供给容器解码器203。
在容器解码器203中，在控制单元201的控制下，根据接收器200的解码能力，基于“moof”块信息等，从由接收单元202接收的MP4分配流STM中选择性地提取所需图像数据的编码图像数据，并且将该数据提供给视频解码器204。
例如，当接收器200具有能够处理高帧率超高清晰度图像数据的解码能力时，在容器解码器203中，提取所有第一至第四图像数据的编码图像数据，并且将该数据提供给视频解码器204。另外，例如，当接收器200具有能够处理基本帧率超高清晰度图像数据的解码能力时，在容器解码器203中，提取第一和第三图像数据的编码图像数据，并且将该数据提供给视频解码器204。
另外，例如，当接收器200具有能够处理高帧率高清晰度图像数据的解码能力时，在容器解码器203中，提取第一和第二图像数据的编码图像数据，并且将该数据提供给视频解码器204。另外，例如，当接收器200具有能够处理基本帧率高清晰度图像数据的解码能力时，在容器解码器203中，提取第一图像数据的编码图像数据，并且将该数据提供给视频解码器204。
在视频解码器204中，将解码处理应用于由容器解码器203选择性地提取的编码图像数据，并且获得HDR发送视频数据V1'。例如，当接收器200具有能够处理高帧率超高清晰度图像数据的解码能力时，HDR发送视频数据V1'是用于显示高帧率超高清晰度图像的图像数据。另外，例如，当接收器200具有能够处理基本帧率超高清晰度图像数据的解码能力时，HDR发送视频数据V1'是用于显示基本帧率超高清晰度图像的图像数据。
另外，例如，当接收器200具有能够处理高帧率高清晰度图像数据的解码能力时，HDR发送视频数据V1'是用于显示高帧率高清晰度图像的图像数据。另外，例如，当接收器200具有能够处理基本帧率高清晰度图像数据的解码能力时，HDR发送视频数据V1'是用于显示基本帧率高清晰度图像的图像数据。
另外，在视频解码器204中，提取插入到由容器解码器203选择性地提取的编码图像数据中的参数集和SEI消息，并且将其发送到控制单元201。
在控制单元201中，基于指示插入到SPS NAL单元的VUI的区域中的发送视频数据V1的光电转换特性或与该光电转换特性对应的电光转换特性的转换特性信息(传递函数)以及传递函数SEI消息(参见图22)，识别应用于HDR发送视频数据V1'的HDR光电转换特性。另外，在控制单元201中，基于动态范围转换SEI消息(参见图23)，识别动态范围转换信息(转换表、转换系数)。
由视频解码器204获得的HDR发送视频数据V1'由YCbCr/RGB转换单元205从YCbCr域转换到RGB域，然后，提供给HDR电光转换单元206或SDR电光转换单元207。
在HDR光电转换单元206中，将HDR电光转换特性应用于转换为RGB域的HDR发送视频数据V1'，并且获得用于显示HDR图像的显示视频数据Vhd。在这种情况下，对于HDR光电转换单元206，在控制单元201的控制下，HDR电光转换特性被设置为从VUI或传递函数SEI消息中识别，即，HDR电光转换特性对应于在发送侧应用的HDR光电转换特性。
在SDR电光转换单元207中，将SDR电光转换特性应用于转换为RGB域的HDR发送视频数据V1'，并且获得用于显示SDR图像的显示视频数据Vsd。在这种情况下，当应用于HDR发送视频数据V1'的HDR光电转换特性是STD-B67(HLG)的特性时，将SDR电光转换特性直接应用于HDR发送视频数据V1'。
另外，在这种情况下，当应用于HDR发送视频数据V1'的HDR光电转换特性是ST2084(PQ曲线)的特性时，基于到HDR发送视频数据V1'的动态范围转换信息(转换表、转换系数)，执行动态范围转换，获得SDR发送图像数据(参见图26)，并且将SDR电光转换特性应用于SDR发送图像数据。
如上所述，在图3所示的发送/接收系统10中，将信息插入到容器(MP4流的“moof”块)中，该信息对应于插入到预定数量的视频流的每一个中并且与包括在视频流中的图像数据相关联的信息(SPS信息)。因此，在接收侧，根据解码能力，基于该信息，通过从预定数量的流中包括的第一至第四图像数据中提取预定的编码图像数据，可以容易地执行解码处理。
另外，在图3所示的发送/接收系统10中，将指示HDR光电转换特性或与HDR光电转换特性对应的电光转换特性的转换特性信息插入到包括第一图像数据的编码图像数据的视频流中。因此，在接收侧，基于转换特性信息，可以容易地进行适当的电光转换。
另外，在图3所示的发送/接收系统10中，当高动态范围光电转换特性是PQ曲线的特性时，将用于将通过PQ曲线的特性的转换数据的值转换成通过标准动态范围光电转换特性的转换数据的值的转换信息插入到包括第一图像数据的编码图像数据的视频流中。因此，当高动态范围光电转换特性是PQ曲线的特性时，在执行标准动态范围显示的情况下，可以在接收侧令人满意地获得显示图像数据。
<2、变形例>
注意，在上述实施方式中，已经进行了描述，假设在相应不同轨道上传输基本流和增强流的情况下增强流取决于提取器的配置。然而，这仅仅是一个示例，事实上，即使没有提取器，也可以管理增强流的解码时间。
即，在相应不同轨道上传输基本流和增强流的情况下，关于包括增强流的轨道，在“moof”的轨道片段(tfdt)的解码时间(tfdt)中的“baseMediaDecodeTime”框中描述至少轨道的第一偏移信息，作为以120Hz为单位的延迟信息，由此增强流的解码时间相对于基本流的解码时间移位了(1/120)秒，并且可以实现类似的事情。
另外，在上述实施方式中，已经描述了容器是MP4(ISOBMFF)的示例。然而，在本技术中，容器不限于MP4，并且本技术甚至可以类似地应用于诸如MPEG-2TS和MMT等其他格式的容器中。
另外，本技术也可以体现在下面描述的配置中。
(1)一种发送装置，包括：
图像处理单元，处理高帧率超高清晰度图像数据，以获得用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一图像数据至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据；
发送单元，发送包括预定数量的视频流的容器，预定数量的视频流包括第一至第四图像数据的编码图像数据；以及
信息插入单元，将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中。
(2)根据(1)所述的发送装置，其中，
由发送单元发送的容器包括第一视频流和第二视频流，第一视频流包括第一图像数据的编码图像数据和第二图像数据的编码图像数据，第二视频流包括第三图像数据的编码图像数据和第四图像数据的编码图像数据，并且
信息插入单元
在第一和第二视频流各自由一个轨道管理的状态下，将信息插入到容器中。
(3)根据(2)所述的发送装置，其中，
信息插入单元，
在将信息插入容器中时，
针对第一视频流，通过将与第一图像数据的编码图像数据相关联的信息和与第二图像数据的编码图像数据相关联的信息进行分组来执行插入，并且
针对第二视频流，通过将与第三图像数据的编码图像数据相关联的信息和与第四图像数据的编码图像数据相关联的信息进行分组来执行插入。
(4)根据(2)或(3)所述的发送装置，其中，
在第一视频流中交替地编码第一图像数据的图片和第二图像数据的图片，并且
在第二视频流中交替地编码第三图像数据的图片和第四图像数据的图片。
(5)根据(1)所述的发送装置，其中，
由发送单元发送的容器包括第一视频流和第二视频流，第一视频流包括第一图像数据的编码图像数据和第二图像数据的编码图像数据，第二视频流包括第三图像数据的编码图像数据和第四图像数据的编码图像数据，并且
信息插入单元
在第一和第二视频流各自由两个轨道管理的状态下，将信息插入到容器中。
(6)根据(5)所述的发送装置，其中，
在第一视频流中交替地编码第一图像数据的图片和第二图像数据的图片，并且
在第二视频流中交替地编码第三图像数据的图片和第四图像数据的图片。
(7)根据(1)所述的发送装置，其中，
由发送单元发送的容器包括：第一视频流，包括第一图像数据的编码图像数据；第二视频流，包括第二图像数据的编码图像数据；第三视频流，包括第三图像数据的编码图像数据；以及第四视频流，包括第四图像数据的编码图像数据，并且
信息插入单元
在第一至第四视频流各自由一个轨道管理的状态下，插入信息。
(8)根据(1)至(7)中任一项所述的发送装置，其中，
高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，并且
信息插入单元
进一步将指示高动态范围光电转换特性或与高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括第一图像数据的编码图像数据的视频流中。
(9)根据(8)所述的发送装置，其中，
高动态范围光电转换特性是混合对数伽玛特性。
(10)根据(8)所述的发送装置，其中，
高动态范围光电转换特性是PQ曲线特性。
(11)根据(10)所述的发送装置，其中，
信息插入单元
进一步将转换信息插入到包括第一图像数据的编码图像数据的视频流中，转换信息用于将基于PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值。
(12)一种发送方法，包括：
图像处理步骤，由图像处理单元处理高帧率超高清晰度图像数据，以获得用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一图像数据至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据；
发送步骤，由发送单元发送包括预定数量的视频流的容器，预定数量的视频流包括第一至第四图像数据的编码图像数据；以及
信息插入步骤，由信息插入单元将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中。
(13)一种接收装置，包括：
接收单元，接收包括预定数量的视频流的容器，其中，
预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据，
将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中，并且
接收装置还包括处理单元，处理单元根据解码能力，基于插入到容器中的信息，通过从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
(14)根据(13)所述的接收装置，其中，
高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，
将指示高动态范围光电转换特性或与高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括第一图像数据的编码图像数据的视频流中，并且
处理单元
通过基于转换特性信息对通过解码处理获得的图像数据进行电光转换，来获得显示图像数据。
(15)根据(13)所述的接收装置，其中，
高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的高动态范围光电转换特性的发送图像数据，
高动态范围光电转换特性是PQ曲线特性，
将转换信息插入到包括第一图像数据的编码图像数据的视频流中，转换信息用于将基于PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值，并且
处理单元
在执行标准动态范围显示时，
通过基于转换信息对通过解码处理获得的图像数据执行动态范围转换，来获得标准动态范围发送图像数据，并且通过对标准动态范围发送图像数据以标准动态范围电光转换特性执行电光转换，来获得显示图像数据。
(16)一种接收方法，包括：
接收步骤，由接收单元接收包括预定数量的视频流的容器，其中，
预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的用于获取基本帧率高清晰度图像的第一图像数据、用于与第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与第一至第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据，
将与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到容器中，并且
接收方法进一步包括处理步骤：由处理单元根据解码能力，基于插入到容器中的信息，通过从第一至第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
本技术的主要特征在于，当发送包括与时空可伸缩性相关的预定数量的视频流的容器时，将信息插入到容器(MP4流的“moof”块)中，该信息与插入到预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息(SPS信息)对应，据此，促进了在接收侧根据解码能力，基于插入到容器中的信息，从包括在预定数量的视频流中的第一至第四图像数据中提取预定的编码图像数据，并执行解码处理(参见图7、图11和图14)。
附图标记列表
10 发送/接收系统
30A、30B 基于MPEG-DASH的流分配系统
31DASH 流文件服务器
32DASH MPD 服务器
33、33-1 到33-N服务接收器
34 CDN
35、35-1 到35-M服务接收器
36 广播发送系统
100 服务发送系统
101 控制单元
102 HDR光电转换单元
103 RGB/YCbCr转换单元
104 视频编码器
105 容器编码器
106 发送单元
200、200A、200B、200C、200D 服务接收器
201 控制单元
202 接收单元
203 容器解码器
204、204A、204B、204C、204D 视频解码器
205YCbCr/RGB 转换单元
206 HDR电光转换单元
207 SDR电光转换单元。

Claims (20)

1.一种发送装置，包括：
图像处理单元，处理高帧率超高清晰度图像数据，以获得用于获取基本帧率高清晰度图像的第一图像数据、用于与所述第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与所述第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与所述第一图像数据至所述第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据；
发送单元，发送包括预定数量的视频流的容器，所述预定数量的视频流包括所述第一图像数据至所述第四图像数据的编码图像数据；以及
信息插入单元，将与插入到所述预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到所述容器中。
2.根据权利要求1所述的发送装置，其中，
由所述发送单元发送的容器包括第一视频流和第二视频流，所述第一视频流包括所述第一图像数据的编码图像数据和所述第二图像数据的编码图像数据，所述第二视频流包括所述第三图像数据的编码图像数据和所述第四图像数据的编码图像数据，并且
所述信息插入单元
在所述第一视频流和所述第二视频流各自由一个轨道管理的状态下，将信息插入到所述容器中。
3.根据权利要求2所述的发送装置，其中，
所述信息插入单元，
在将信息插入到所述容器中时，
针对所述第一视频流，通过将与所述第一图像数据的编码图像数据相关联的信息和与所述第二图像数据的编码图像数据相关联的信息进行分组来执行插入，并且
针对所述第二视频流，通过将与所述第三图像数据的编码图像数据相关联的信息和与所述第四图像数据的编码图像数据相关联的信息进行分组来执行插入。
4.根据权利要求2所述的发送装置，其中，
在所述第一视频流中交替地编码所述第一图像数据的图片和所述第二图像数据的图片，并且
在所述第二视频流中交替地编码所述第三图像数据的图片和所述第四图像数据的图片。
5.根据权利要求1所述的发送装置，其中，
由所述发送单元发送的容器包括第一视频流和第二视频流，所述第一视频流包括所述第一图像数据的编码图像数据和所述第二图像数据的编码图像数据，所述第二视频流包括所述第三图像数据的编码图像数据和所述第四图像数据的编码图像数据，并且
所述信息插入单元
在所述第一视频流和所述第二视频流各自由两个轨道管理的状态下，将信息插入到所述容器中。
6.根据权利要求5所述的发送装置，其中，
在所述第一视频流中交替地编码所述第一图像数据的图片和所述第二图像数据的图片，并且
在所述第二视频流中交替地编码所述第三图像数据的图片和所述第四图像数据的图片。
7.根据权利要求1所述的发送装置，其中，
由所述发送单元发送的容器包括：第一视频流，包括所述第一图像数据的编码图像数据；第二视频流，包括所述第二图像数据的编码图像数据；第三视频流，包括所述第三图像数据的编码图像数据；以及第四视频流，包括所述第四图像数据的编码图像数据，并且
所述信息插入单元
在所述第一视频流至所述第四视频流各自由一个轨道管理的状态下，插入信息。
8.根据权利要求1所述的发送装置，其中，
所述高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的所述高动态范围光电转换特性的发送图像数据，并且
所述信息插入单元
进一步将指示所述高动态范围光电转换特性或与所述高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括所述第一图像数据的编码图像数据的视频流中。
9.根据权利要求8所述的发送装置，其中，
所述高动态范围光电转换特性是混合对数伽玛特性。
10.根据权利要求8所述的发送装置，其中，
所述高动态范围光电转换特性是PQ曲线特性。
11.根据权利要求10所述的发送装置，其中，
所述信息插入单元
进一步将转换信息插入到包括所述第一图像数据的编码图像数据的视频流中，所述转换信息用于将基于所述PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值。
12.一种发送方法，包括：
图像处理步骤，由图像处理单元处理高帧率超高清晰度图像数据，以获得用于获取基本帧率高清晰度图像的第一图像数据、用于与所述第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与所述第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与所述第一图像数据至所述第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据；
发送步骤，由发送单元发送包括预定数量的视频流的容器，所述预定数量的视频流包括所述第一图像数据至所述第四图像数据的编码图像数据；以及
信息插入步骤，由信息插入单元将与插入到所述预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到所述容器中。
13.一种接收装置，包括：
接收单元，接收包括预定数量的视频流的容器，其中，
所述预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的用于获取基本帧率高清晰度图像的第一图像数据、用于与所述第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与所述第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与所述第一图像数据至所述第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据，
将与插入到所述预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到所述容器中，并且
所述接收装置进一步包括处理单元，所述处理单元根据解码能力，基于插入到所述容器中的信息，通过从所述第一图像数据至所述第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
14.根据权利要求13所述的接收装置，其中，
所述高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的所述高动态范围光电转换特性的发送图像数据，
将指示所述高动态范围光电转换特性或与所述高动态范围光电转换特性对应的电光转换特性的转换特性信息插入到包括所述第一图像数据的编码图像数据的视频流中，并且
所述处理单元
通过基于所述转换特性信息对通过所述解码处理获得的图像数据执行电光转换，来获得显示图像数据。
15.根据权利要求13所述的接收装置，其中，
所述高帧率超高清晰度图像数据是具有通过对高动态范围图像数据以高动态范围光电转换特性执行光电转换而给出的所述高动态范围光电转换特性的发送图像数据，
所述高动态范围光电转换特性是PQ曲线特性，
将转换信息插入到包括所述第一图像数据的编码图像数据的视频流中，所述转换信息用于将基于所述PQ曲线特性的转换数据的值转换为基于标准动态范围光电转换特性的转换数据的值，并且
所述处理单元
在执行标准动态范围显示时，
通过基于所述转换信息对通过所述解码处理获得的图像数据执行动态范围转换，来获得标准动态范围发送图像数据，并且通过对所述标准动态范围发送图像数据以标准动态范围电光转换特性执行电光转换，来获得显示图像数据。
16.一种接收方法，包括：
接收步骤，由接收单元接收包括预定数量的视频流的容器，其中，
所述预定数量的视频流包括通过处理高帧率超高清晰度图像数据而获得的用于获取基本帧率高清晰度图像的第一图像数据、用于与所述第一图像数据一起使用来获取高帧率高清晰度图像的第二图像数据、用于与所述第一图像数据一起使用来获取基本帧率超高清晰度图像的第三图像数据、以及用于与从所述第一图像数据至所述第三图像数据一起使用来获取高帧率超高清晰度图像的第四图像数据，
将与插入到所述预定数量的视频流的每一个中并与视频流中包括的图像数据相关联的信息对应的信息插入到所述容器中，并且
所述接收方法进一步包括处理步骤：由处理单元根据解码能力，基于插入到所述容器中的信息，通过从所述第一图像数据至所述第四图像数据的编码图像数据中选择性地提取预定的编码图像数据并执行解码处理，来获得图像数据。
17.一种发送装置，包括：
图像处理单元，处理高帧率图像数据，以获得用于获取基本帧率图像的第一图像数据以及用于与所述第一图像数据一起使用来获取高帧率图像数据的第二图像数据；
发送单元，发送包括至少一个视频流的容器，所述至少一个视频流包括所述第一图像数据和所述第二图像数据的编码图像数据；
以及
信息插入单元，在所述容器中，与所述第一图像数据的编码图像数据对应地插入与所述第一图像数据的编码图像数据对应的视频流的级别规范值，并且与所述第二图像数据的编码图像数据对应地插入通过组合所述第一图像数据和所述第二图像数据的编码图像数据而获得的视频流的级别规范值。
18.一种发送方法，包括：
图像处理步骤，由图像处理单元处理高帧率图像数据，以获得用于获取基本帧率图像的第一图像数据以及用于与所述第一图像数据一起使用来获取高帧率图像数据的第二图像数据；
发送步骤，由发送单元发送包括至少一个视频流的容器，所述至少一个视频流包括所述第一图像数据和所述第二图像数据的编码图像数据；以及
信息插入步骤，由信息插入单元在所述容器中与所述第一图像数据的编码图像数据对应地插入与所述第一图像数据的编码图像数据对应的视频流的级别规范值，并且与所述第二图像数据的编码图像数据对应地插入通过组合所述第一图像数据和所述第二图像数据的编码图像数据而获得的视频流的级别规范值。
19.一种接收装置，包括：
接收单元，接收包括至少一个视频流的容器，其中，
所述至少一个视频流包括用于获取基本帧率图像的第一图像数据以及用于与所述第一图像数据一起使用来获取高帧率图像数据的第二图像数据，
在所述容器中，与所述第一图像数据的编码图像数据对应地插入与所述第一图像数据的编码图像数据对应的视频流的级别规范值，并且与所述第二图像数据的编码图像数据对应地插入通过组合所述第一图像数据和所述第二图像数据的编码图像数据而获得的视频流的级别规范值，并且
所述接收装置进一步包括处理单元，所述处理单元根据解码能力，基于插入到所述容器中的所述视频流的所述级别规范值，通过从所述第一图像数据和所述第二图像数据的编码图像数据中选择性地提取至少一个编码图像数据并执行解码处理，来获得图像数据。
20.一种接收方法，包括：
接收步骤，由接收单元接收包括至少一个视频流的容器，其中，
所述至少一个视频流包括用于获取基本帧率图像的第一图像数据以及用于与所述第一图像数据一起使用来获取高帧率图像数据的第二图像数据，
在所述容器中，与所述第一图像数据的编码图像数据对应地插入与所述第一图像数据的编码图像数据对应的视频流的级别规范值，并且与第二图像数据的编码图像数据对应地插入通过组合所述第一图像数据和所述第二图像数据的编码图像数据而获得的视频流的级别规范值，并且
所述接收方法进一步包括处理步骤：由处理单元根据解码能力，基于插入到所述容器中的所述视频流的所述级别规范值，通过从所述第一图像数据和所述第二图像数据的编码图像数据中选择性地提取至少一个编码图像数据并执行解码处理，来获得图像数据。
CN201780009645.3A 2016-02-09 2017-02-06 发送装置、发送方法、接收装置和接收方法 Active CN108605152B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-023185 2016-02-09
JP2016023185 2016-02-09
PCT/JP2017/004146 WO2017138470A1 (ja) 2016-02-09 2017-02-06 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN108605152A true CN108605152A (zh) 2018-09-28
CN108605152B CN108605152B (zh) 2021-07-16

Family

ID=59563534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780009645.3A Active CN108605152B (zh) 2016-02-09 2017-02-06 发送装置、发送方法、接收装置和接收方法

Country Status (8)

Country Link
US (4) US10764615B2 (zh)
EP (1) EP3416393B1 (zh)
JP (1) JP6947039B2 (zh)
KR (2) KR20240017138A (zh)
CN (1) CN108605152B (zh)
CA (1) CA3009777C (zh)
MX (1) MX2018009410A (zh)
WO (1) WO2017138470A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6843655B2 (ja) * 2017-03-09 2021-03-17 キヤノン株式会社 送信装置、受信装置、情報処理方法及びプログラム
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP7332325B2 (ja) * 2019-04-15 2023-08-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN115769586A (zh) * 2020-05-28 2023-03-07 抖音视界有限公司 视频编解码中的参考图片列表信令通知

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307942A1 (en) * 2011-01-19 2013-11-21 S.I.Sv.El.Societa Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Video Stream Composed of Combined Video Frames and Methods and Systems for its Generation, Transmission, Reception and Reproduction
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN104221386A (zh) * 2012-01-30 2014-12-17 高通股份有限公司 译码视频及存储视频内容的方法
WO2015029754A1 (ja) * 2013-08-27 2015-03-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN104541511A (zh) * 2012-08-10 2015-04-22 Lg电子株式会社 信号收发装置和信号收发方法
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332246B2 (ja) * 1998-01-14 2009-09-16 キヤノン株式会社 画像処理装置、方法、及び記録媒体
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
US6118820A (en) * 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images
US20060156363A1 (en) * 2005-01-07 2006-07-13 Microsoft Corporation File storage for scalable media
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置
US7725593B2 (en) 2005-07-15 2010-05-25 Sony Corporation Scalable video coding (SVC) file format
EP2596633B1 (en) * 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
KR20120055488A (ko) * 2010-11-23 2012-05-31 삼성전자주식회사 멀티미디어 시스템에서 다계층 영상을 위한 미디어 파일 생성 방법 및 장치와 이를 이용한 미디어 파일 재생 장치
US8447674B2 (en) 2011-07-21 2013-05-21 Bank Of America Corporation Multi-stage filtering for fraud detection with customer history filters
IN2014CN01752A (zh) * 2011-08-31 2015-09-04 Nokia Corp
US9525895B2 (en) * 2012-08-27 2016-12-20 Sony Corporation Transmission device, transmission method, reception device, and reception method
JP6571314B2 (ja) 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
JP2015013726A (ja) 2013-07-05 2015-01-22 キヤノンファインテック株式会社 シート収納装置と画像形成装置
JP5789004B2 (ja) 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5947269B2 (ja) 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
KR101785671B1 (ko) * 2014-05-20 2017-11-06 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130307942A1 (en) * 2011-01-19 2013-11-21 S.I.Sv.El.Societa Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Video Stream Composed of Combined Video Frames and Methods and Systems for its Generation, Transmission, Reception and Reproduction
CN103843058A (zh) * 2011-09-27 2014-06-04 皇家飞利浦有限公司 用于图像的动态范围变换的装置和方法
CN104221386A (zh) * 2012-01-30 2014-12-17 高通股份有限公司 译码视频及存储视频内容的方法
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置
CN104541511A (zh) * 2012-08-10 2015-04-22 Lg电子株式会社 信号收发装置和信号收发方法
WO2015029754A1 (ja) * 2013-08-27 2015-03-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20200351529A1 (en) 2020-11-05
US11792452B2 (en) 2023-10-17
WO2017138470A1 (ja) 2017-08-17
US20190037250A1 (en) 2019-01-31
US10764615B2 (en) 2020-09-01
US20230412859A1 (en) 2023-12-21
US11223859B2 (en) 2022-01-11
KR20180109889A (ko) 2018-10-08
JPWO2017138470A1 (ja) 2018-11-29
CA3009777C (en) 2024-04-16
CN108605152B (zh) 2021-07-16
MX2018009410A (es) 2018-09-21
KR20240017138A (ko) 2024-02-06
JP6947039B2 (ja) 2021-10-13
EP3416393A4 (en) 2018-12-19
CA3009777A1 (en) 2017-08-17
EP3416393A1 (en) 2018-12-19
EP3416393B1 (en) 2024-05-08
US20220094993A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
JP6808725B2 (ja) 改善された色再マッピング情報補足エンハンスメント情報メッセージ処理
RU2746934C9 (ru) Межуровневое предсказание для масштабируемого кодирования и декодирования видеоинформации
CN108605152A (zh) 发送装置、发送方法、接收装置和接收方法
US11838564B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
CN108702503A (zh) 用于视频编码和解码的装置、方法及计算机程序
US10999605B2 (en) Signaling of important video information in file formats
KR102423610B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR20200081386A (ko) 제1 이미지로부터 제2 이미지를 생성하기 위한 방법 및 디바이스
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
CN108141614A (zh) 信号传送传输流中的高动态范围和宽色域内容
US20230336751A1 (en) Method and apparatus for generating/receiving media file which signals output layer set information, and computer-readable recording medium storing media file
US20230379481A1 (en) Media file generation/reception method and device for signaling operating point information and output layer set information, and computer-readable recording medium in which media file is stored
US20230336783A1 (en) Method and device for generating/receiving media file including output layer set information, and method for transmitting media file
US20240056618A1 (en) Method and device for generating/receiving media file including nal unit array information, and method for transmitting media file
EP4329315A1 (en) Method and device for generating/receiving media file on basis of eos sample group, and method for transmitting media file
CN116941246A (zh) 用信号通知子画面id信息的媒体文件生成/接收方法和装置以及存储媒体文件的计算机可读记录介质
CN117296326A (zh) 用于视频编码和视频解码的方法、装置和计算机程序产品
KR20230124964A (ko) 레이어 정보를 포함하는 미디어 파일 생성/수신 방법,장치 및 미디어 파일 전송 방법
CN116724555A (zh) 媒体文件处理方法及其装置
CN116868575A (zh) 生成/接收包括nal单元信息的媒体文件的方法和装置及发送媒体文件的方法
CN116982318A (zh) 媒体文件处理方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant