CN113613009A - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN113613009A
CN113613009A CN202110908025.1A CN202110908025A CN113613009A CN 113613009 A CN113613009 A CN 113613009A CN 202110908025 A CN202110908025 A CN 202110908025A CN 113613009 A CN113613009 A CN 113613009A
Authority
CN
China
Prior art keywords
image data
video stream
unit
encoded
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110908025.1A
Other languages
English (en)
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN113613009A publication Critical patent/CN113613009A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了发送装置、发送方法、接收装置和接收方法。发送装置，包括：图像编码单元，生成包括基本视频流及扩展视频流的两个视频流，基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据；发送单元，被配置成发送包括基本视频流和扩展视频流的预定格式的容器；以及信息插入单元，被配置成将指示与扩展视频流中所包含的编码图像数据相对应的高质量格式的信息插入到扩展视频流和/或容器中。使得能够在接收侧容易地识别与扩展视频流中所包含的编码图像数据相对应的高质量格式。

Description

发送装置、发送方法、接收装置和接收方法
本申请是分案申请，其母案申请的申请号为2016800108757，申请日为2016年2月10日，发明名称为“发送装置、发送方法、接收装置和接收方法”。
技术领域
本技术涉及发送装置、发送方法、接收装置和接收方法，并且涉及将高质量格式图像数据与基本格式图像数据等一起发送的发送装置。
背景技术
通常，已知将高质量格式图像数据与基本格式图像数据一起发送，并且在接收侧选择性地使用基本格式图像数据或高质量格式图像数据。例如，专利文献1描述了可分级地执行媒介编码、生成用于低分辨率视频服务的基层流和用于高分辨率视频服务的扩展层流以及发送包括基层流和扩展层流的广播信号。
引用文献列表
专利文献
专利文献1：日本PCT国家公开第2008-543142号
发明内容
本发明要解决的问题
本技术的目的是使接收侧容易识别与包含在扩展视频流中的编码图像数据相对应的高质量格式。
问题的解决方案
本技术的概念在于发送装置，包括：
图像编码单元，其被配置成生成包括基本视频流以及扩展视频流的两个视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据；
发送单元，其被配置成发送包括基本视频流和扩展视频流的预定格式的容器；以及
信息插入单元，其被配置成将指示与扩展视频流中所包含的编码图像数据相对应的高质量格式的信息插入到扩展视频流和/或容器中。
在本技术中，包括基本视频流和扩展视频流的两个视频流由图像编码单元生成，其中，基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据。然后，包括基本视频流和扩展视频流的预定格式的容器由发送单元发送。
例如，图像编码单元可对基本格式图像数据执行基本格式图像数据内的预测编码处理，以获得编码图像数据，并且对高质量格式图像数据选择性地执行高质量格式图像数据内的预测编码处理和高质量格式图像数据与基本格式图像数据之间的预测编码处理，以获得编码图像数据。
在此情况下，例如，基本格式图像数据可为正常动态范围和低帧率图像数据，高质量格式图像数据可为高动态范围和高帧率图像数据、高动态范围和低帧率图像数据以及正常动态范围和高帧率图像数据中的任一者，以及高质量格式图像数据的编码图像数据可包括基于与正常动态范围图像数据相关的差分信息的高动态范围图像数据的编码分量和/或基于与低帧率图像数据相关的差分信息的高帧率图像数据的编码分量。
例如，当获得与正常动态范围图像数据相关的差分信息，图像编码单元可对正常动态范围图像数据执行动态范围转换以减小差值。在此情况下，例如，图像编码单元可基于基于转换信息对正常动态范围图像数据执行动态范围转换，该转换信息用于将基于正常动态范围光电转换特性的转换数据的值转换为基于高动态范围光电转换特性的转换数据的值。
指示与扩展视频流的编码图像数据相对应的高质量格式的信息(高质量格式信息)由信息插入单元插入到扩展视频流和/或容器中。例如，扩展视频流可具有NAL单元结构，以及信息插入单元可将高质量格式信息插入到NAL单元的报头中。
此外，例如，扩展视频流可包括NAL单元结构，以及信息插入单元可将高质量格式信息插入到SEI NAL单元的区域中。此外，例如，容器可为MPEG2-TS，以及信息插入单元可将高质量格式信息插入到与在程序映射表的布置下存在的扩展视频流相对应的视频基本流循环中。
例如，信息插入单元还可将转换信息插入到扩展视频流和/或容器中。在此情况下，接收侧可以适当地针对正常动态范围图像数据执行动态范围转换的处理，以便基于转换信息获得高动态范围图像数据。
在本技术中，以此方式将指示与扩展视频流的编码图像数据相对应的高质量格式的信息(高质量格式信息)插入到扩展视频流和/或容器中。因此，接收侧可以容易地识别高质量格式图像数据的高质量格式。然后，基于该信息和显示能力信息，接收侧可以从基本视频流和扩展视频流获得与显示能力相对应的图像数据以作为显示图像数据。
需注意，在本技术中，例如，图像编码单元可使得由被添加到包含在扩展视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间：等于由被添加到包含在基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间；或者成为由被添加到包含在基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间之间的中间时间，均衡化由被添加到基本视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔，以及均衡化由被添加到扩展视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔。解码时间戳之间的间隔以此方式均衡化，从而可以有效使用接收侧的解码能力。
此外，本技术的另一概念在于接收装置，包括：
接收单元，其被配置成接收包括两个视频流的预定格式的容器，两个视频流包括基本视频流以及扩展视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据，
指示与扩展视频流中所包含的编码图像数据相对应的高质量格式的信息被插入扩展视频流和/或容器中，以及
接收装置另外包括：
信息提取单元，其被配置成从扩展视频流和/或容器中提取信息；以及
处理单元，其被配置成基于所提取的信息和显示能力信息，从基本视频流和扩展视频流获得与显示能力相对应的图像数据以作为显示图像数据。
在本技术中，接收单元接收包括两个视频流的预定格式的容器，两个视频流包括基本视频流以及扩展视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据。例如，基本视频流中所包含的编码图像数据可通过针对基本格式图像数据执行基本格式图像数据内的预测编码处理来生成，以及扩展视频中所包含的编码图像数据可通过针对高质量格式图像数据选择性地执行高质量格式图像数据内的预测编码处理以及高质量格式图像数据与基本格式图像之间的预测编码处理来生成。
指示与扩展视频流中所包含的编码图像数据相对应的高质量格式的信息被插入扩展视频流和/或容器中。通过信息提取单元从扩展视频流和/或容器中提取信息。基于所提取的信息和处理单元的显示能力信息，通过处理单元从基本视频流和扩展视频流中获得与显示能力相对应的图像数据以作为显示图像数据。
在本技术中，以此方式，基于指示与扩展视频流中所包含的编码图像数据相对应的高质量格式的信息，可以从基本视频流和扩展视频流中获得与显示能力相对应的图像数据以作为显示图像数据。因此，可以有效地获得与显示能力相对应的图像数据以作为显示图像数据。
本发明的效果
根据本技术，接收侧可以容易地识别与扩展视频流中所包含的编码图像数据相对应的高质量格式。需注意，本文描述的效果不可避免地受到限制，并且可以表现出本公开中描述的任何效果。
附图说明
图1为示出作为实施例的发送和接收系统的配置示例的框图。
图2为示出发送装置的配置示例的框图。
图3为示出生成基本格式图像数据Vb和高质量格式图像数据Ve的图像数据生成单元的配置示例的框图。
图4为示出编码单元的主要部分的配置示例的框图。
图5为用于描述在动态范围扩展的情况下的级调节(动态范围转换)的示意图。
图6中的(a)和(b)为示出NAL单元报头的结构示例以及该结构示例的主要参数的内容的示意图。
图7为示出编码方法为HEVC的情况下的GOP的报头的存取单元的示意图。
图8为示出编码方法为HEVC的情况下的不同于GOP的报头的存取单元的示意图。
图9为示出可分级链接SEI消息的结构示例的示意图。
图10为示出可分级链接SEI消息的结构示例中的主要信息的内容的示意图。
图11是示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(HDR+HFR)的示意图。
图12为用于说明编码图像数据中的解码和显示时间(解码和显示的时间戳)的管理的示意图。
图13为示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(HDR+LFR)的示意图。
图14为示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(SDR+HFR)的示意图。
图15为示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(“SDR+HFR”→“HDR+HFR”)的示意图。
图16为示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(“SDR+HFR”→“HDR+LFR”)的示意图。
图17为示出基本视频流BS的编码图像数据和扩展视频流ES的编码图像数据的配置示例(“HDR+HFR”→“HDR+LFR”)的示意图。
图18中的(a)和(b)为示出配置示例中的可分级链接描述符的结构示例以及主信息的内容的示意图。
图19中的(a)和(b)为示出在NAL单元的报头的“nuh_layer_id”的值被编码分量固定的情况下以及在NAL单元的报头的“nuh_layer_id”的值被灵活分配的情况下的字段的值的示例的示意图。
图20为示出传输流TS的配置示例的示意图。
图21为示出接收装置的配置示例的框图。
图22为示出解码单元的主要部分的配置示例的框图。
具体实施方式
用于执行本发明的模式
在下文中，将描述实施本发明的形式(在下文中称为“实施例”)。
需注意，描述将按以下次序给出：
1.实施例
2.修改
<1.实施例>
[发送和接收系统]
图1示出了作为实施例的发送和接收系统10的配置示例。发送和接收系统10包括发送装置100和接收装置200。发送装置100在广播波包或网络包上发送作为容器的传输流TS。
传输流TS包括两个视频流，所述两个视频流包括基本视频流和扩展视频流。基本视频流具有基本格式图像数据的编码图像数据。基本格式图像数据为正常动态范围和低帧率图像数据。基本格式图像数据的编码图像数据通过将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于基本格式图像数据来生成。在此情况下，通过执行基本格式图像数据的内部的预测编码处理来获得编码图像数据。
扩展视频流具有从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据。在本实施例中，高质量格式图像数据为高动态范围和高帧率图像数据、高动态范围和低帧率图像数据以及正常动态范围和高帧率图像数据中的任一者。
扩展视频流的编码图像数据是通过将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于高质量格式图像数据来生成。在此情况下，通过选择性地执行高质量格式图像数据的内部的预测编码处理或高质量格式图像数据与基本格式图像数据之间的预测编码处理来获得编码图像数据。
在此情况下，高质量格式图像数据的编码图像数据具有基于与正常动态范围图像数据相关的差分信息的高动态范围图像数据的编码分量和/或基于与低帧率图像数据相关的差分信息的高帧率图像数据的编码分量。
发送装置100将指示与扩展视频流的编码图像数据相对应的高质量格式的信息(在下文中，该信息适当地称为“高质量格式”信息)插入到作为扩展视频流和/或容器的传输流TS中。该信息被插入到NAL单元的报头中或SEI NAL单元的区域中。此外，该信息被插入到与在程序映射表的布置下存在的扩展视频流相对应的视频基本流循环(vedioelementary stream loop)中。
接收装置200从发送装置100接收在广播波包或网络包上发送的传输流TS。如上所述，传输流TS包括具有基本格式图像数据的编码图像数据的基本视频流和具有高质量格式图像数据的编码图像数据的扩展视频流。
如上所述，高质量格式信息被插入到作为扩展视频流和/或容器的传输流TS中。接收装置200基于该信息和显示能力信息从基本视频流和扩展视频流获取与显示能力相对应的图像数据以作为显示图像数据。
“发送装置的配置”
图2示出了发送装置100的配置示例。发送装置100处理基本格式图像数据Vb和高质量格式图像数据Ve以作为传输图像数据。这里，基本格式图像数据Vb为帧频为50Hz(低帧率：LFR)的标准动态范围(SDR)图像数据。
高质量格式图像数据Ve为从三种类型中选择的一种类型的高质量格式图像数据，三种类型包括例如(a)帧频为100Hz(高帧率：HFR)的HDR图像数据，(b)帧频为50Hz(LFR)的HDR图像数据，以及(c)帧频为100Hz(HFR)的SDR图像数据。HDR图像数据具有0至100％*N的亮度，例如0至1000％，或大于0至1000％的范围，其中，常规LDR图像的白色峰值的亮度为100％。
图3示出了生成基本格式图像数据Vb和高质量格式图像数据Ve的图像数据生成单元150的配置示例。图像数据生成单元150包括摄像头151和转换单元152。
摄像头151对物体成像并输出高质量格式图像数据Ve。在由摄像头151输出的高质量格式图像数据Ve为具有100Hz的帧频的HDR图像数据的情况下，转换单元152执行帧率和动态范围的转换，并输出作为帧频为50Hz的SDR图像数据的基本格式图像数据Vb。
此外，在由摄像头151输出的高质量格式图像数据Ve为具有50Hz的帧频的HDR图像数据的情况下，转换单元152仅执行动态范围的转换，并且输出作为帧频为50Hz的SDR图像数据的基本格式图像数据Vb。此外，在由摄像头151输出的高质量格式图像数据Ve为具有100Hz的帧频的SDR图像数据的情况下，转换单元152仅执行帧率的转换，并且输出作为帧频为50Hz的SDR图像数据的基本格式图像数据Vb。
返回参考图2，发送装置100包括控制单元101、光电转换单元102、RGB/YCbCr转换单元103、光电转换单元104、RGB/YCbCr转换单元105、视频编码器106、系统编码器107和发送单元108。控制单元101包括中央处理单元(CPU)，并且基于控制程序控制发送装置100的各个单元的操作。
光电转换单元102将SDR光电转换特性(SDR OETF曲线)应用于基本格式图像数据Vb，以获得用于传输的基本格式图像数据Vb'。RGB/YCbCr转换单元103将基本格式图像数据Vb'从RGB域转换为亮度和色度(YCbCr)域。
光电转换单元104将HDR光电转换特性(HDR OETF曲线)或SDR光电转换特性(SDROETF曲线)应用于高质量格式图像数据Ve，以获得用于传输的高质量格式图像数据Ve'。RGB/YCbCr转换单元105将高质量格式图像数据Ve'从RGB域转换为亮度和色度(YCbCr)域。
视频编码器106包括编码单元106b和编码单元106e。编码单元106b将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于用于传输的基本格式图像数据Vb'以获得编码图像数据，并且生成具有编码图像数据的基本视频流(视频基本流)BS。
编码单元106e将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于用于传输的高质量格式图像数据Ve'以获得编码图像数据，并且生成具有编码图像数据的扩展视频流(视频基本流)ES。在此情况下，编码单元106e对每个编码块选择性地执行图像数据Ve'的内部预测以及图像数据Ve'和图像数据Vb'之间的预测，以使预测残差较小。
图4示出了编码单元106e的主要部分的配置示例。编码单元106e包括层内预测单元161、层间预测单元162、预测调节单元163、选择单元164和编码功能单元165。
层内预测单元161对待编码的图像数据V1执行图像数据V1内部的预测(层内预测)，以获得预测残差数据。层间预测单元162对要编码的图像数据V1执行图像数据V1与要参考的图像数据V2之间的预测(层间预测)，以获得预测残差数据。
预测调节单元163根据图像数据V1相对于图像数据V2的可分级扩展(scalableextension)的类型执行以下处理，以便在层间预测单元162中有效地执行层间预测。也就是说，在动态范围扩展的情况下，预测调节单元163执行用于将数据从SDR转换为HDR的级(level)调节(动态范围转换)。在帧率扩展的情况下，预测调节单元163跳过该处理。
参考图5，将进一步描述在动态范围扩展的情况下的级调节(动态范围转换)。实线a示出了表示SDR光电转换特性的SDR OETF曲线的示例。实线b示出了表示HDR光电转换特性的HDR OETF曲线的示例。横轴表示输入亮度级，P1表示与SDR最大亮度级相对应的输入亮度级，P2表示与HDR最大亮度级相对应的输入亮度级。
此外，纵轴表示传输码值或归一化编码级的相对值。相对最大编码级M表示HDR最大编码级和SDR最大编码级。参考编码级G表示与SDR最大编码级相对应的输入亮度级P1中的HDR OETF的传输编码级，并且表示所谓的参考白电平。分支编码级B表示SDR OETF曲线和HDR OETF曲线从同一轨道分支并分离的编码级。Pf表示对应于分支编码级的输入亮度级。需注意，分支编码级B可以为0或以上的任意值。
在预测调节单元163中的级调节(动态范围转换)中，基本格式图像数据Vb'的从分支编码级B到相对最大编码级M的数据被转换成具有基于HDR光电转换特性的转换数据的值。在此情况下，SDR的相对最大编码级M被转换为符合参考编码级G。需注意，小于分支编码级B的输入数据被原样输出为输出数据。
这里，转换信息由转换表或转换系数提供。在通过转换表提供转换信息的情况下，预测调节单元163通过参考转换表执行转换。另一方面，在通过转换系数提供转换信息的情况下，预测调节单元163通过使用转换系数的计算来执行转换。例如，预测调节单元163通过下式(1)关于从分支编码级B到相对最大编码级M的输入数据执行转换，其中，转换系数为C：
输出数据＝分支编码级B+(输入数据-分支编码级B)×C...(1)
选择单元164针对每个编码块选择性地提取在层内预测单元161中获得的预测残差数据或在层间预测单元162中获得的预测残差数据，并将预测残差数据发送到编码功能单元165。在此情况下，例如，选择单元164提取具有较小预测残差的预测残差数据。编码功能单元165对由选择单元164提取的预测残差数据执行诸如转换编码、量化和熵编码的编码处理，以获得编码图像数据CV。
包含在扩展视频流中的编码图像数据包括根据高质量格式图像数据Ve的类型的编码分量。也就是说，在图像数据Ve为(a)HFR(100Hz)和HDR图像数据的情况下，包含HDR和HFR编码分量。此外，在图像数据Ve为(b)LFR(50Hz)和HDR图像数据的情况下，包含HDR和LFR编码分量。此外，在图像数据Ve为(c)HFR(100Hz)和SDR图像数据的情况下，包含SDR和HFR编码分量。
返回参考图2，编码单元106e将指示与扩展视频流的编码图像数据相对应的高质量格式的信息(高质量格式信息)插入到扩展视频流ES中。例如，编码单元106e将高质量格式信息插入到NAL单元的报头或SEI NAL单元的区域中。
图6中的(a)示出NAL单元报头的结构示例(语法)，图6中的(b)示出结构示例的主要参数的内容(语义)。1位字段“forbidden_zero_bit”需要0。6位字段“nal_unit_type”指示NAL单元类型。6位字段“nuh_layer_id”指示扩展层的ID。3位字段“nuh_temporal_id_plus1”指示temporal_id(0～6)，并采用通过将1加到temporal_id获得的值(1～7)。
在基本视频流中，“nuh_layer_id”的值为“0”。当将高质量格式信息插入到NAL单元的报头中时，在扩展视频流中，“nuh_layer_id”的值用包含在编码图像数据中的编码分量的类型固定。也就是说，“nuh_layer_id”的值为依据与编码图像数据相对应的高质量格式的类型的固定值。
此时，“nuh_layer_id”构成高质量格式信息。例如，在编码图像数据中所包含的编码分量为HDR和HFR编码分量的情况下，“nuh_layer_id”为“6”。此外，在编码图像数据中所包含的编码分量为HDR和LFR编码分量的情况下，“nuh_layer_id”为“5”。此外，在编码图像数据中所包含的编码分量为SDR和HFR编码分量的情况下，“nuh_layer_id”为“0”。
同时，在扩展视频流中，在灵活地分配“nuh_layer_id”的值的情况下，将高质量格式信息插入到SEI NAL单元中。在此情况下，“nuh_layer_id”不具有直接指示与扩展视频流的编码图像数据对应的高质量格式的功能。
此时，编码单元106e将具有高质量格式信息的新定义的可分级链接SEI消息(Scalable_linkage SEI消息)插入到存取单元(AU)的“SEI”部分中。
图7示出了在编码方法为HEVC的情况下的一组图像(GOP)的报头的存取单元。此外，图8示出了在编码方法为HEVC的情况下不同于GOP的报头的存取单元。在HEVC编码方法的情况下，用于解码的SEI消息组“Prefix_SEIs”被布置在具有编码像素数据的片段之前，并且在片段之后布置用于显示的SEI消息组“Suffix_SEI”。可分级链接SEI消息被布置为例如如图7和图8所示的SEI消息组“Suffix_SEI”或“Prefix_SEIs”。
图9示出了可分级链接SEI消息的结构示例(语法)。图10示出了结构示例中的主要信息的内容(语义)。一位标记信息“Scalable_linkage_cancel_flag”指示是否刷新“Scalable_linkage”SEI消息的SEI消息。“0”指示刷新SEI消息。“1”指示未刷新SEI消息，也就是说保持原来的消息。
在“Scalable_linkage_cancel_flag”为“0”的情况下，存在以下字段。16位字段“scalable_index”为指示可分级扩展流的类型的索引。也就是说，此字段构成高质量格式信息。
例如，“0x8”表示HDR的扩展分量，即包含在编码图像数据中的编码分量为HDR和LFR编码分量。此外，“0x10”表示HFR的扩展分量，即包含在编码图像数据中的编码分量为SDR和HFR编码分量。此外，“0x18”表示HDR和HFR的扩展分量，即包含在编码图像数据中的编码分量为HDR和HFR编码分量。
6位字段“nuh_layer_id”指示包含在扩展视频流中的层ID。15位字段“reference_level”指示参考亮度级值，即参考编码级G(参见图5)。一位标记信息“conversion_table_flag”由转换表(即转换表信息的存在)指示。
在“conversion_table_flag”为“1”的情况下，存在8位字段“table_size”。该字段指示输入至转换表的输入的数量。然后，存在16位字段“predctrl_y[i]”、“predctrl_cb[i]”和“predctrl_cr[i]”，其数量分别为所述的输入的数量。字段“predctrl_y[i]”指示关于亮度的预测调节转换的值。字段“predctrl_cb[i]”指示关于色度Cb的预测调节转换的值。字段“predctrl_cr[i]”指示关于色度Cr的预测调节转换的值。
图11示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，以及HDR和HFR编码分量被包含在扩展视频流ES的编码图像数据中。在该示例中，“nuh_layer_id”的值基于包含在编码图像数据中的编码分量的类型固定，以及“nuh_layer_id”构成高质量格式信息。
横轴表示组合的图像次序(POC)，并且左侧的显示时间先进行，而右侧在左侧后面。纵轴表示层级。每个方框表示图像，并且每个箭头表示预测编码处理中的图像之间的参考关系。在层间预测和层内预测中，在每个块中改变当前图像，并且预测的方向和参考数量不限于所示示例。方框中的数字表示待编码的图像的次序，即编码次序(接收侧的解码次序)。将一些图像子组放在一起以形成一组图像(GOP)。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别设置作为temporal_id(层级标识信息)，其布置在配置层级0和层级1的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据被分层编码在层级为0、1和2的三个层级中。0、1和2分别设置作为temporal_id(层级标识信息)，其布置在配置层级0、1和2的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“6”，并且表示包含在编码图像数据中的编码分量为HDR和HFR编码分量。
图12为在图11的分层编码的情况下管理解码和显示的时间(解码和显示的时间戳)的示意图。这些数字对应于图11中的方框中的数字，该数字表示图像。
“B”表示构成基本帧频的图像。“L”表示基本帧频的图像分量，并且动态范围为与基本视频流BS的预测差值。“U”表示位于基本帧频的帧之间的中间时间的帧，并且通过与帧“L”或“B”按时间组合而成为高帧频。此外，“U”可以在动态范围内具有与帧“B”或“L”的差分分量，并且通过与帧“B”或“L”组合而成为高动态范围。
在解码时间(解码时间戳)的管理中，执行编码缓冲管理(HRD管理)，使得同时执行“B”和“L”的解码，在“U”之前的“B”或“L”的解码时间和“U”之后的“B”或“L”的解码时间之间的中间时间执行“U”的解码。在显示时间(显示时间戳)中，类似地执行编码缓冲管理(HRD管理)，使得“B”和“L”被同时预测、组合和显示，并且在“U”之前和“U”之后的基本帧频图像的显示时间之间的中间时间显示“U”。
需注意，在下面的其他配置示例中，类似地执行解码和显示时间(解码和显示的时间戳)的管理，尽管省略了其详细描述。
图13还示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，以及HDR和LFR编码分量被包含在扩展视频流ES的编码图像数据中。在该示例中，“nuh_layer_id”的值基于包含在编码图像数据中的编码分量的类型固定，并且“nuh_layer_id”构成高质量格式信息。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和层级1的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据在切换之前被分层编码在图像子组中的层级为0和1的两个层级中，并且0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和层级1的图像的编码图像数据的NAL单元(nal_units)的报头中。
分层编码是在切换之后在图像子组中的0和2的两个层级中执行，并且0和2分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和层级2的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“5”，其表示包含在编码图像数据中的编码分量为HDR和LFR编码分量。
图14还示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，以及SDR和HFR编码分量被包含在扩展视频流ES的编码图像数据中。在该示例中，“nuh_layer_id”的值基于包含在编码图像数据中的编码分量的类型固定，并且“nuh_layer_id”构成高质量格式信息。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1的图像的编码图像数据的NAL单元(nal_units)的报头。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据在切换之前被分层编码在图像子组中的层级为0、1和2的三个层级中，以及0、1和2分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0、1和2的图像的编码图像数据的NAL单元(nal_units)的报头。这里，图像“2”、“5”、“8”和“11”分别为图像“1”、“4”、“7”和“10”的副本，图像“3”参考图像“2”，以及图像“6”参考图像“5”。
分层编码是在切换之后在图像的子组中层级为0的一个层级执行，以及0被设置作为temporal_id(层级标识信息)，其布置在配置层级0的图像的编码图像数据的NAL单元(nal_units)的报头中。需注意，如虚线所示，可以使用层级为1的一个层级或使用层级为2的一个层级。此外，NAL单元的报头的“nuh_layer_id”的值为“0”，其表示包含在编码图像数据中的编码分量为SDR和HFR编码分量。
图15还示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，SDR和HFR编码分量在切换之前被包含在扩展视频流ES的编码图像数据中，以及HDR和HFR编码分量在切换之后被包含在扩展视频流ES的编码图像数据中。
在该示例中，“nuh_layer_id”的值被灵活地分配，并且“nuh_layer_id”并不构成高质量格式信息。也就是说，该示例为其中可分级链接SEI消息的“scalable_index”构成高质量格式信息的示例。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据在切换之前被分层编码在图像子组中的层级为0、1和2的三个层级中，以及0、1和2分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0、1和2的图像的编码图像数据的NAL单元(nal_units)的报头中。这里，图像“2”、“5”、“8”和“11”分别为图像“1”、“4”、“7”和“10”的副本，图像“3”参考图像“2”，以及图像“6”参考图像“5”。
分层编码是在切换之后在图像的子组中的层级为0、1和2的三个层级中执行的，并且0、1和2被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1、2的图像的编码图像数据的NAL单元(nal_units)的报头中。这里，图像“14”、“17”、“20”和“23”分别为图像“13”、“16”、“19”和“22”的HDR差分的图像。
NAL单元的报头的“nuh_layer_id”的值在切换之前和切换之后为“6”，以及在“nuh_layer_id”中，未指示包含在扩展视频流的编码图像数据中的编码分量的类型。在此情况下，“scalable_index”为对应于切换之后的“0x10”(其表示SDR和HFR编码分量)，以及“scalable_index”为对应于切换之前的“0x18”(其表示HDR和HFR编码分量)。
图16还示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，SDR和HFR编码分量在切换之前被包含在扩展视频流ES的编码图像数据中，以及HDR和LFR编码分量在切换之后被包含在扩展视频流ES的编码图像数据中。
在该示例中，“nuh_layer_id”的值被灵活地分配，并且“nuh_layer_id”并不构成高质量格式信息。也就是说，该示例为其中可分级链接SEI消息的“scalable_index”构成高质量格式信息的示例。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据在切换之前被分层编码在图像子组中的层级为0、1和2的三个层级中，以及0、1和2分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0、1和2的图像的编码图像数据的NAL单元(nal_units)的报头中。这里，图像“2”、“5”、“8”和“11”分别为图像“1”、“4”、“7”和“10”的副本，图像“3”参考图像“2”，以及图像“6”参考图像“5”。
分层编码是在切换之后在图像的子组中的层级为0、1和2的三个层级中执行，以及0、1和2被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1、2的图像的编码图像数据的NAL单元(nal_units)的报头。这里，图像“14”、“16”、“18”和“20”分别为图像“13”、“15”、“17”和“19”的HDR差分的图像。
NAL单元的报头的“nuh_layer_id”的值在切换之前和切换之后为“6”，并且在“nuh_layer_id”中，未指示被包含在扩展视频流的编码图像数据中的编码分量的类型。在此情况下，“scalable_index”为对应于切换之前的“0x10”(其表示SDR和HFR编码分量)，以及“scalable_index”为对应于切换之后的“0x08”(其表示HDR和LFR编码分量)。
图17还示出了在编码单元106b中获得的基本视频流BS的编码图像数据以及在编码单元106e中获得的扩展视频流ES的编码图像数据的配置示例。在该示例中，SDR和LFR编码分量被包含在基本视频流BS的编码图像数据中，HDR和HFR编码分量在切换之前被包含在扩展视频流ES的编码图像数据中，以及HDR和LFR编码分量在切换之后被包含在扩展视频流ES的编码图像数据中。
在该示例中，“nuh_layer_id”的值被灵活地分配，并且“nuh_layer_id”并不构成高质量格式信息。也就是说，该示例为其中可分级链接SEI消息的“scalable_index”构成高质量格式信息的示例。
基本视频流的编码图像数据被分层编码在层级为0和1的两个层级中。0和1分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1的图像的编码图像数据的NAL单元(nal_units)的报头中。此外，NAL单元的报头的“nuh_layer_id”的值为“0”。
此外，扩展视频流的编码图像数据在切换之前被分层编码在图像子组中的层级为0、1和2的三个层级中，并且0、1和2分别被设置作为temporal_id(层级标识信息)，其布置在配置层级0、1和2的图像的编码图像数据的NAL单元(nal_units)的报头中。这里，图像“2”、“5”、“8”和“11”分别为图像“1”、“4”、“7”和“10”的HDR差分的图像。
分层编码是在切换之后在图像的子组中的层级为0、1和2的三个层级中执行的，并且0、1和2被设置作为temporal_id(层级标识信息)，其布置在配置层级0和1、2的图像的编码图像数据的NAL单元(nal_units)的报头中。这里，图像“14”、“16”、“18”和“20”分别为图像“13”、“15”、“17”和“19”的HDR差值的图像。
NAL单元的报头的“nuh_layer_id”的值在切换之前和切换之后为“6”，并且在“nuh_layer_id”中，未指示被包含在扩展视频流的编码图像数据中的编码分量的类型。在此情况下，“scalable_index”为对应于切换之前的“0x18”(其表示HDR和HFR编码分量)，以及“scalable_index”为对应于切换之后的“0x08”(其表示HDR和LFR编码分量)。
返回参考图2，系统编码器107对在视频编码器106中生成的基本视频流BS和扩展视频流ES进行PES打包和TS打包，以生成传输流TS。然后，发送单元108在广播波包或网络包上向接收装置200发送传输流TS。
系统编码器107将高质量格式信息插入到作为容器的传输流TS中。在本实施例中，新定义的可分级链接描述符(Scalable_linkage descriptor)被插入到视频基本流循环(vedio elementary stream loop)中，该视频基本流循环与程序映射表(PMT)的布置下存在的扩展视频流相对应。
图18中的(a)表示可分级链接描述符(scalable linkage descriptor)的结构示例(语法)。图18中的(b)表示结构示例中的主要信息的内容(语义)。8位字段“descriptor_tag”指示描述符类型，并在这里指示可扩展的链接描述符。8位字段“descriptor_length”指示描述符的长度(大小)，并将随后的字节数指示为描述符的长度。
16位字段“scalable_index”为指示可分级扩展流的类型的索引。“scalable_index”的字段被设置为与可分级链接SEI消息的字段“scalable_index”(参见图9)相同的值。因此，在NAL单元的报头的“nuh_layer_id”的值被灵活分配并且可分级链接SEI消息的字段“scalable_index”构成高质量格式信息的情况下，该可分级链接描述符的字段“fields_index”构成相同的信息。
“nuh_layer_id”的6位字段指示包含在扩展视频流中的层ID。该“nuh_layer_id”字段被设置为与NAL单元的报头的字段“nuh_layer_id”相同的值。因此，在NAL单元的报头的“nuh_layer_id”的值基于扩展视频流的编码图像数据中所包含的编码分量的类型来固定并且字段“nuh_layer_id”构成高质量格式信息的情况下，可分级链接描述符的“nuh_layer_id”的字段构成相同的信息。
图19中的(a)示出了NAL单元的报头的“nuh_layer_id”的值基于编码分量固定的情况下的字段的值的示例。在此情况下，NAL单元的报头的字段“nuh_layer_id”构成高质量格式信息。在此情况下，可分级链接描述符的字段“nuh_layer_id”也构成高质量格式信息。在此情况下，可分级链接描述符的“scalable_index”的值并不指示与扩展视频流的编码图像数据对应的高质量格式。
图19中的(b)示出了在NAL单元的报头的“nuh_layer_id”的值被灵活地分配的情况下的字段的值的示例。在此情况下，NAL单元的报头的字段“nuh_layer_id”不构成高质量格式信息。在此情况下，可分级链接SEI消息的字段“scalable_index”构成高质量的格式信息。在此情况下，可分级链接描述符的字段“scalable_index”也构成高质量格式信息。需注意，尽管未示出，与可分级链接SEI消息(参见图9)类似，可以考虑将预测转换信息(动态范围转换信息)包含到可分级链接描述符中。
[传输流TS的配置]
图20示出了传输流TS的配置示例。传输流TS包括基本视频流BS和扩展视频流ES。在该配置示例中，视频流的PES包“视频PES”是存在的。
例如，基本视频流BS的包标识(PID)为PID1。该基本视频流BS包括基本格式图像数据的图像的编码图像数据。在该编码图像数据中，存在诸如AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS之类的NAL单元。
此外，扩展视频流ES的包标识(PID)例如为PID2。该扩展视频流ES包括高质量格式图像数据的图像的编码图像数据。在该编码图像数据中，存在诸如AUD、SPS、PPS、PSEI、SLICE、SSEI和EOS之类的NAL单元。
例如，当NAL单元的报头的“nuh_layer_id”的值基于编码分量固定时，“nuh_layer_id”的字段构成高质量格式信息。同时，在NAL单元的报头的“nuh_layer_id”的值被灵活地分配的情况下，包括构成高质量格式信息的“scalable_index”的字段的可分级链接SEI消息(参见图9)被插入存取单元(AU)的“SEI”的部分中。
此外，程序映射表(PMT)被包含在传输流TS中以作为程序特定信息(PSI)。该PSI为描述传输流中所包含的基本系统属于哪个程序的信息。
在PMT中，存在描述关于整个程序的信息的程序循环(program loop)。此外，在PMT中，存在具有关于基本流的信息的基本流循环(elementary stream loop)。
在该配置示例中，存在分别对应于基本视频流BS和扩展视频流ES的视频基本流循环(视频ES循环)。在与基本视频流BS相对应的视频基本流循环中，布置诸如流类型(ST0)和包标识(PID1)的信息，并且还布置描述关于扩展视频流ES的信息的描述符。
此外，在对应于扩展视频流ES的视频基本流循环中，布置诸如流类型(ST1)和包标识(PID2)的信息，并且还布置描述关于扩展视频流ES的信息的描述符。作为描述符之一，布置了可分级链接描述符(参见图18中的(a)和(b))。
将简要描述图2所示的发送装置100的操作。作为具有50Hz的帧频的SDR图像数据的基本格式图像数据Vb被提供给光电转换单元102。在该光电转换单元102中，将SDR光电转换特性(SDR OETF曲线)应用于基本格式图像数据Vb，并获得用于传输的基本格式图像数据Vb'。该基本格式图像数据Vb'被RGB/YCbCr转换单元103从RGB域转换为亮度和色度(YCbCr)域，并然后被提供给视频编码器106的编码单元106b和106e。
此外，高质量格式图像数据Ve被提供给光电转换单元104。高质量格式图像数据Ve例如为(a)帧频为100Hz的HDR图像数据、(b)帧频为50Hz的HDR图像数据以及(c)帧频为100Hz的SDR图像数据中的任一者。
在光电转换单元104中，将HDR光电转换特性(HDR OETF曲线)或SDR光电转换特性(SDR OETF曲线)应用于高质量格式图像数据Ve，并获得用于传输的高质量格式图像数据Ve'。该高质量格式图像数据Ve'被RGB/YCbCr转换单元105从RGB域转换成亮度和色度(YCbCr)域，并然后从视频编码器106的编码单元106e提供。
在编码单元106b中，将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于用于传输的基本格式图像数据Vb'，并且获得编码图像数据，并且生成包括编码视频数据的基本视频流(视频基本流)BS。该基本视频流BS被提供给系统编码器107。
在编码单元106e中，将诸如H.264/AVC或H.265/HEVC的预测编码处理应用于用于传输的高质量格式图像数据Ve'，并且获得编码图像数据，并且生成包括编码视频数据的扩展视频流(视频基本流)ES。在此情况下，在编码单元106e中，对每个编码块选择性地执行图像数据Ve'内部的预测以及图像数据Ve'和图像数据Vb'之间的预测，以便使预测残差较小。
在编码单元106e中，将高质量格式信息插入到扩展视频流ES中。例如，该信息被插入到NAL单元的报头中。在此情况下，基于包含在编码图像数据中的编码分量的类型来固定“nuh_layer_id”的值(参见图6中的(a)和(b))。此外，例如，该信息被插入到SEI NAL单元的区域中。在此情况下，将新定义的可分级链接SEI消息(参见图9)插入到存取单元(AU)的“SEI”部分中。
在系统编码器107中，在视频编码器106中生成的基本视频流BS和扩展视频流ES被PES打包和TS打包，并且生成传输流TS。此时，在系统编码器107中，将高质量格式信息插入到作为容器的传输流TS中。也就是说，新定义的可分级链接描述符(参见图18中的(a)和(b))被布置在与在PMT的布置下存在的扩展视频流相对应的视频基本流循环中。
在系统编码器107中生成的传输流TS被发送到发送单元108。在发送单元108中，广播波包或网络包上的传输流TS被发送到接收装置200。
“接收装置的配置”
图21示出了接收装置200的配置示例。接收装置200对应于图2的发送装置100的配置示例。该接收装置200包括控制单元201、接收单元202、系统解码器203、视频解码器204、YCbCr/RGB转换单元205、电光转换单元206、YCbCr/RGB转换单元207、电光转换单元208和显示单元209。
控制单元201包括中央处理单元(CPU)，并且基于控制程序来控制接收装置200的各个单元的操作。接收单元202接收从发送装置100发送的广播波包或网络包上的传输流TS。系统解码器203从传输流TS中提取基本视频流BS和扩展视频流ES。
此外，系统解码器203提取被插入在作为容器的传输流TS中的各种类型的信息，并将该信息发送到控制单元201。该信息包括上述的可分级链接描述符(参见图18中的(a)和(b))。控制单元201基于描述符的“nuh_layer_id”字段或字段“scalable_index”来识别包含在扩展视频流ES的编码图像数据中的编码分量的类型。也就是说，控制单元201识别是否包含HDR和HFR编码分量、是否包含HDR和LFR编码分量或是否包含SDR和HFR编码分量，并根据接收和显示系统的配置选择待解码的对象。
视频解码器204包括解码单元204b和解码单元204e。解码单元204b将解码处理应用于基本视频流BS以获得基本格式图像数据Vb'。在此情况下，解码单元204b在图像数据Vb'的内部执行预测补偿。
解码单元204e对扩展视频流ES进行解码处理以生成高质量格式图像数据Ve'。在此情况下，对应于编码中的预测，解码单元204e对每个编码块执行图像数据Ve'的内部的预测补偿或图像数据Ve'和图像数据Vb'之间的预测补偿。
图22示出了解码单元204e的主要部分的配置示例。该解码单元204e执行图4的编码单元106e的处理的逆处理。该解码单元204e包括解码功能单元241、层内预测补偿单元242、层间预测补偿单元243、预测调节单元244和选择单元245。
解码功能单元241对编码图像数据CV执行除了预测补偿之外的解码处理，以获得预测残差数据。层内预测补偿单元242对预测残差数据执行图像数据V1内部的预测补偿(层内预测补偿)，以获得图像数据V1。层间预测补偿单元243对预测残差数据执行图像数据V1与要参考的图像数据V2之间的预测补偿(层间预测补偿)，以获得图像数据V1。
与图4的编码单元106e的预测调节单元163类似，预测调节单元244根据图像数据V1相对于图像数据V2的可分级扩展的类型执行处理，尽管省略了其详细描述。对应于编码中的预测，选择单元245针对每个编码块选择性地提取在层内预测补偿单元242中获得的图像数据V1或在层间预测补偿单元243中获得的图像数据V1，并输出图像数据V1。
参考图21，解码单元204e提取插入到配置扩展视频流ES的存取单元中的参数集、SEI消息等，并将所提取的信息发送到控制单元201。控制单元201从NAL单元的报头的字段“nuh_layer_id”或可分级链接SEI消息的字段“scalable_index”中识别与扩展视频流ES的编码图像数据相对应的高质量格式。
如上所述，控制单元201还基于可分级链接描述符的字段“nuh_layer_id”或字段“scalable_index”来识别包含在扩展视频流ES的编码图像数据中的编码分量的类型。然而，诸如描述符的容器等级的标识信息不能跟随视频帧单元中的动态变化。从NAL单元的报头的字段“nuh_layer_id”或可分级链接SEI消息的字段“scalable_index”中识别包含在扩展视频流ES的编码图像数据中的编码分量的类型使得能够跟随帧单元中的动态变化。
此外，控制单元201从可分级链接SEI消息的字段“scalable_index”中识别用于预测调节的转换表信息。控制单元201将转换表设定到预测调节单元244。通过该设定，预测调节单元244能够可靠地进行与发送侧的预测调节单元163类似的级调节(动态范围变换)。
YCbCr/RGB转换单元205将在解码单元204b中获得的基本格式图像数据Vb'从亮度和色度(YCbCr)域转换为RGB域。电光转换单元206向转换为RGB域的基本格式图像数据Vb'应用具有与发送装置100中的光电转换单元102相反特性的电光转换，以获得基本格式图像数据Vb。该基本格式图像数据为帧频为50Hz的SDR图像数据。
YCbCr/RGB转换单元207将在解码单元204e中获得的高质量格式图像数据Ve'从亮度和色度(YCbCr)域转换为RGB域。电光转换单元208向转换为RGB域的高质量格式图像数据Ve'应用具有与发送装置100中的光电转换单元104相反特性的电光转换，以获得高质量格式图像数据Ve。
该高质量格式图像数据为(a)帧频为100Hz(高帧率：HFR)的HDR图像数据、(b)帧频为50Hz(LFR)的HDR图像数据以及(c)帧频为100Hz(HFR)的SDR图像数据中的任一者。
显示单元209例如由液晶显示器(LCD)、有机电致发光(EL)面板等构成。显示单元209根据显示能力显示基本格式图像数据Vb或高质量格式图像数据Ve的图像。
在此情况下，控制单元201控制要提供给显示单元209的图像数据，即作为显示图像数据获得的图像数据。该控制基于对应于扩展视频流ES的编码图像数据的高质量格式信息并因此基于高质量格式图像数据Ve的高质量格式信息以及显示单元209的显示能力信息而执行。
也就是说，在显示单元209不能显示高质量格式图像数据Ve的图像的情况下，控制单元201执行控制，使得基本格式图像数据Vb被提供给显示单元209。另一方面，在显示单元209能显示高质量格式图像数据Ve的图像的情况下，控制单元201执行控制，使得高质量格式图像数据Ve被提供给显示单元209。
将简要描述图21所示的接收装置200的操作。在接收单元202中，接收从发送装置100发送的广播波包或网络包上的传输流TS。该传输流TS被提供给系统解码器203。在系统解码器203中，从传输流TS中提取基本视频流BS和扩展视频流ES。基本视频流BS被提供给解码单元204b。扩展视频流ES被提供给解码单元204e。
此外，在系统解码器203中，提取插入在作为容器的传输流TS中的各种类型的信息，并将其发送到控制单元201。该信息也包括可分级链接描述符(参见图18中的(a)和(b))。在控制单元201中，基于描述符的字段“scalable_index”或字段“nuh_layer_id”来识别与扩展视频流ES的编码图像数据对应的高质量格式。
在解码单元204b中，将解码处理应用于基本视频流BS，并生成基本格式图像数据Vb'。在此情况下，在解码单元204b中，在图像数据Vb'的内部执行预测补偿。在解码单元204e中，将解码处理应用于扩展视频流ES，并且生成高质量格式图像数据Ve'。在此情况下，对应于编码中的预测，在解码单元204e中，针对每个编码块执行图像数据Ve'内的预测补偿或图像数据Ve'和图像数据Vb'之间的预测补偿。
此外，在解码单元204e中，被插入在配置扩展视频流ES的存取单元中的参数集、SEI消息等被提取并被发送到控制单元201。在控制单元201中，与扩展视频流ES的编码图像数据相对应的高质量格式以帧为单位从NAL单元的报头的字段“nuh_layer_id”或可分级链接SEI消息的字段“scalable_index”识别。
在解码单元204b中获得的基本格式图像数据Vb'在YCbCr/RGB转换单元205中从亮度和色度(YCbCr)域转换为RGB域，并被提供给电光转换单元206。在电光转换单元206中，将具有与发送装置100中的光电转换相反的特性的电光转换应用于被转换为RGB域的基本格式图像数据Vb'，并获得基本格式图像数据Vb。
在解码单元204e中获得的高质量格式图像数据Ve'在YCbCr/RGB转换单元207中从亮度和色度(YCbCr)域转换为RGB域，并被提供给电光转换单元208。在电光转换单元208中，将具有与发送装置100中的光电转换相反的特性的电光转换应用于被转换为RGB域的高质量格式图像数据Ve'，并获得高质量格式图像数据Ve。
提供给显示单元209的图像数据(显示图像数据)由控制单元201控制。该控制基于对应于扩展视频流ES的编码图像数据的高质量格式信息并因此基于高质量格式图像数据Ve的高质量格式信息以及显示单元209的显示能力信息而执行。
在显示单元209不能显示高质量格式图像数据Ve的图像的情况下，控制单元201执行控制，使得基本格式图像数据Vb被提供给显示单元209。通过该控制，在显示单元209上显示基本格式(50H和正常动态范围)图像。另一方面，在显示单元209能显示高质量格式图像数据Ve的图像的情况下，高质量格式图像数据Ve被提供给显示单元209。通过该控制，高质量格式图像在显示单元209上显示。
如上所述，在图1所示的发送和接收系统10中，将指示与扩展视频流的编码图像数据相对应的高质量格式的信息(高质量格式信息)插入到扩展视频流和/或容器中。因此，接收侧可以容易地识别高质量格式图像数据的高质量格式。然后，接收侧可以基于该信息和显示能力信息来选择基本格式图像数据Vb或高质量格式图像数据Ve以作为显示图像数据，并且可以容易地根据显示能力来显示图像。
<2.修改>
需注意，在上述实施例中，已经描述了包括发送装置100和接收装置200的发送和接收系统10。然而，可以应用本技术的发送和接收系统的配置不限于本实施例。例如，接收装置200的一部分可具有与诸如高清晰度多媒体接口(HDMI)的数字接口连接的机顶盒和监视器的配置。在此情况下，机顶盒可以通过从监视器等获取扩展显示标识数据(EDID)来获取显示能力信息。需注意，“HDMI”为注册商标。
此外，在上述实施例中，已经描述了容器为传输流(MPEG-2TS)的示例。然而，本技术可以类似地应用于具有使用诸如因特网的网络将数据分发到接收终端的配置的系统。在通过因特网的分发中，数据往往以MP4的容器或其他格式来分发。也就是说，诸如在数字广播标准中使用的传输流(MPEG-2TS)、作为下一代传输的MPEG媒体传输(MMT)和用于因特网分发的MP4的各种格式的容器落在本发明的容器的范围之内。
此外，本技术可以具有以下配置。
(1)发送装置，包括：
图像编码单元，其被配置成生成包括基本视频流以及扩展视频流的两个视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据；
发送单元，其被配置成发送包括基本视频流和扩展视频流的预定格式的容器；以及
信息插入单元，其被配置成将指示与视频流中所包含的编码图像数据相对应的高质量格式的信息插入到扩展视频流和/或容器中。
(2)根据(1)所述的发送装置，其中
图像编码单元
对所述基本格式图像数据执行所述基本格式图像数据内的预测编码处理，以获得编码图像数据，以及
对所述高质量格式图像数据选择性地执行所述高质量格式图像数据内的预测编码处理或所述高质量格式图像数据与所述基本格式图像数据之间的预测编码处理，以获得编码图像数据。
(3)根据(2)所述的发送装置，其中
所述基本格式图像数据为正常动态范围和低帧率图像数据，
所述高质量格式图像数据为高动态范围和高帧率图像数据、高动态范围和低帧率图像数据以及正常动态范围和高帧率图像数据中的任一者，以及
所述高质量格式图像数据的所述编码图像数据包括基于相对于正常动态范围图像数据的差分信息的高动态范围图像数据的编码分量和/或基于相对于低帧率图像数据的差分信息的高帧率图像数据的编码分量。
(4)根据(3)所述的发送装置，其中
当获得相对于所述正常动态范围图像数据的差分信息时，所述图像编码单元对所述正常动态范围图像数据执行动态范围转换以减小差值。
(5)根据(4)所述的发送装置，其中
所述图像编码单元基于转换信息对所述正常动态范围图像数据执行动态范围转换，所述转换信息用于将基于正常动态范围光电转换特性的转换数据的值转换为基于高动态范围光电转换特性的转换数据的值。
(6)根据(5)所述的发送装置，其中
所述信息插入单元还将所述转换信息插入到所述扩展视频流和/或所述容器中。
(7)根据(1)至(6)中的任一项所述的发送装置，其中
所述图像编码单元：
使得由被添加到包含在所述扩展视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间：等于由被添加到包含在所述基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间；或者成为由被添加到包含在所述基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间之间的中间时间，
均衡化由被添加到所述基本视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔，以及
均衡化由被添加到所述扩展视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔。
(8)根据(1)至(7)中的任一项所述的发送装置，其中
扩展视频流具有NAL单元结构，以及
所述信息插入单元将指示与包含在所述扩展视频流中的所述编码图像数据相对应的高质量格式的所述信息插入到所述NAL单元的报头中。
(9)根据(1)至(7)中的任一项所述的发送装置，其中
扩展视频流具有NAL单元结构，以及
所述信息插入单元将指示与包含在所述扩展视频流中的所述编码图像数据相对应的高质量格式的所述信息插入到SEI NAL单元的区域中。
(10)根据(1)至(9)中的任一项所述的发送装置，其中
容器为MPEG2-TS，以及
所述信息插入单元将指示与所述扩展视频流中所包含的所述编码图像数据相对应的高质量格式的所述信息插入到与在程序映射表的布置下存在的所述扩展视频流相对应的视频基本流循环中。
(11)发送方法，包括：
生成两个视频流的图像编码步骤，两个视频流包括基本视频流以及扩展视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据；
发送步骤，由发送单元发送包括基本视频流和扩展视频流的预定格式的容器；以及
信息插入步骤，将指示与高质量格式图像数据的编码图像数据相对应的高质量格式的信息插入到扩展视频流和/或容器中。
(12)接收装置，包括：
接收单元，其被配置成接收包括两个视频流的预定格式的容器，两个视频流包括基本视频流以及扩展视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据，
指示与高质量格式图像数据的编码图像数据相对应的高质量格式的信息被插入到扩展视频流和/或容器中，
接收装置另外包括：
信息提取单元，其被配置成从扩展视频流和/或容器中提取信息；以及
处理单元，其被配置成基于所提取的信息和显示能力信息，从基本视频流和扩展视频流获得与显示能力相对应的图像数据以作为显示图像数据。
(13)根据(12)所述的接收装置，其中
通过对基本格式图像数据执行基本格式图像数据的内部的预测编码处理，生成基本视频流中所包含的编码图像数据，以及
包含在扩展视频流中的编码图像数据通过对高质量格式图像数据选择性地执行高质量格式图像数据的内部的预测编码处理和高质量格式图像数据与基本格式图像数据之间的预测编码处理来生成。
(14)接收方法，包括：
接收步骤，由接收单元接收包括两个视频流的预定格式的容器，两个视频流包括基本视频流以及扩展视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据，
指示与包含在高质量格式图像数据中的编码图像数据相对应的高质量格式的信息被插入到扩展视频流和/或容器中，以及
接收方法另外包括：
信息提取步骤，从扩展视频流和/或容器中提取信息；以及
处理步骤，基于所提取的信息和显示能力信息，从基本视频流和扩展视频流中获得与显示能力相对应的图像数据以作为显示图像数据。
本技术的主要特征在于能够在接收侧通过将指示与包含在扩展视频流中的编码图像数据相对应的高质量格式的信息插入到扩展视频流和/或容器中很容易地识别与包含在扩展视频流中的编码图像数据相对应的高质量格式(参见图20)。
10 发送和接收系统
100 发送装置
101 控制单元
102 和104光电转换单元
103和105 RGB/YCbCR转换单元
106 视频编码器
106b和106e 编码单元
107 系统编码器
108 发送单元
150 图像数据生成单元
151 摄像头
152 转换单元
161 层内预测单元
162 层间预测单元
163 预测调节单元
164 选择单元
165 编码功能单元
200 接收装置
201 控制单元
202 接收单元
203 系统编码器
204 视频编码器
204b和204e 解码单元
205和207 YCbCr/RGB转换单元
206和208 电光转换单元
209 显示单元
241 解码功能单元
242 层内预测补偿单元
243 层间预测补偿单元
244 预测调节单元
245 选择单元。

Claims (9)

1.一种发送装置，包括：
图像编码单元，被配置成生成包括基本视频流以及扩展视频流的两个视频流，所述基本视频流包括基本格式图像数据的编码图像数据，以及所述扩展视频流包括从多种类型中选择的一种类型的高质量格式图像数据的编码图像数据；
发送单元，被配置成发送包括所述基本视频流和所述扩展视频流的预定格式的容器；以及
信息插入单元，被配置成将指示与所述扩展视频流中所包含的所述编码图像数据相对应的高质量格式的信息插入到所述扩展视频流和/或所述容器中。
2.根据权利要求1所述的发送装置，其中
所述图像编码单元：
对所述基本格式图像数据执行所述基本格式图像数据内的预测编码处理，以获得编码图像数据，以及
对所述高质量格式图像数据选择性地执行所述高质量格式图像数据内的预测编码处理或所述高质量格式图像数据与所述基本格式图像数据之间的预测编码处理，以获得编码图像数据。
3.根据权利要求2所述的发送装置，其中
所述基本格式图像数据为正常动态范围和低帧率图像数据，
所述高质量格式图像数据为高动态范围和高帧率图像数据、高动态范围和低帧率图像数据以及正常动态范围和高帧率图像数据中的任一者，以及
所述高质量格式图像数据的所述编码图像数据包括基于相对于正常动态范围图像数据的差分信息的高动态范围图像数据的编码分量和/或基于相对于低帧率图像数据的差分信息的高帧率图像数据的编码分量。
4.根据权利要求3所述的发送装置，其中
当获得相对于所述正常动态范围图像数据的差分信息时，所述图像编码单元对所述正常动态范围图像数据执行动态范围转换以减小差值。
5.根据权利要求4所述的发送装置，其中
所述图像编码单元基于转换信息对所述正常动态范围图像数据执行动态范围转换，所述转换信息用于将基于正常动态范围光电转换特性的转换数据的值转换为基于高动态范围光电转换特性的转换数据的值。
6.根据权利要求5所述的发送装置，其中
所述信息插入单元还将所述转换信息插入到所述扩展视频流和/或所述容器中。
7.根据权利要求1所述的发送装置，其中
所述图像编码单元：
使得由被添加到包含在所述扩展视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间：等于由被添加到包含在所述基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间；或者成为由被添加到包含在所述基本视频流中的每个图像的编码图像数据中的解码时间戳所指示的时间之间的中间时间，
均衡化由被添加到所述基本视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔，以及
均衡化由被添加到所述扩展视频流所包含的每个图像的编码图像数据中的解码时间戳所指示的时间之间的间隔。
8.根据权利要求1所述的发送装置，其中
所述扩展视频流具有NAL单元结构，以及
所述信息插入单元将指示与包含在所述扩展视频流中的所述编码图像数据相对应的高质量格式的所述信息插入到所述NAL单元的报头中。
9.根据权利要求1所述的发送装置，其中
所述扩展视频流具有NAL单元结构，以及
所述信息插入单元将指示与包含在所述扩展视频流中的所述编码图像数据相对应的高质量格式的所述信息插入到SEINAL单元的区域中。
CN202110908025.1A 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法 Pending CN113613009A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015039234 2015-02-27
JP2015-039234 2015-02-27
CN201680010875.7A CN107431833B (zh) 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680010875.7A Division CN107431833B (zh) 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法

Publications (1)

Publication Number Publication Date
CN113613009A true CN113613009A (zh) 2021-11-05

Family

ID=56788434

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680010875.7A Active CN107431833B (zh) 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法
CN202110908025.1A Pending CN113613009A (zh) 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201680010875.7A Active CN107431833B (zh) 2015-02-27 2016-02-10 发送装置、发送方法、接收装置和接收方法

Country Status (7)

Country Link
US (3) US10791364B2 (zh)
EP (2) EP3264775B1 (zh)
JP (5) JP6729548B2 (zh)
KR (1) KR102423610B1 (zh)
CN (2) CN107431833B (zh)
BR (1) BR112017017792A2 (zh)
WO (1) WO2016136470A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
WO2017040237A1 (en) * 2015-08-28 2017-03-09 Arris Enterprises Llc Color volume transforms in coding of high dynamic range and wide color gamut sequences
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
JP6545205B2 (ja) * 2017-02-06 2019-07-17 セコム株式会社 データ配信システム及びデータ配信方法
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
EP3439308A1 (en) * 2017-07-31 2019-02-06 Zhilabs S.L. Determination of qoe in encrypted video streams using supervised learning
US11284134B2 (en) 2018-08-08 2022-03-22 Comcast Cable Communications, Llc Media content enhancement based on content importance
CN114402623B (zh) * 2019-04-19 2023-06-09 北京达佳互联信息技术有限公司 用于嵌入图像的补充增强信息消息
EP4115611A4 (en) * 2020-03-30 2023-06-28 ByteDance Inc. Slice type in video coding

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100316134A1 (en) * 2009-06-12 2010-12-16 Qualcomm Incorporated Assembling multiview video coding sub-bistreams in mpeg-2 systems
KR20110014507A (ko) * 2009-08-05 2011-02-11 경희대학교 산학협력단 비디오 인코딩/디코딩 방법 및 그 장치
CN102415100A (zh) * 2009-04-27 2012-04-11 Lg电子株式会社 广播接收机及其3d视频数据处理方法
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
US20130287090A1 (en) * 2011-02-16 2013-10-31 Taiji Sasaki Video encoder, video encoding method, video encoding program, video reproduction device, video reproduction method, and video reproduction program
CN103621075A (zh) * 2012-04-24 2014-03-05 索尼公司 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9400101D0 (en) * 1994-01-05 1994-03-02 Thomson Consumer Electronics Consumer interface for a satellite television system
CN1259790C (zh) * 2003-10-24 2006-06-14 清华大学 一种用于跨网段传输视频码流的容错转码控制方法
JP2005142654A (ja) * 2003-11-04 2005-06-02 Matsushita Electric Ind Co Ltd 映像送信装置および映像受信装置
MX2007012564A (es) * 2005-04-13 2007-11-15 Nokia Corp Codificacion, almacenamiento y senalizacion de informacion de escalabilidad.
US8483078B2 (en) * 2005-05-12 2013-07-09 Cisco Technology, Inc. Digital program management
EP1884063A1 (en) 2005-05-24 2008-02-06 Nokia Corporation Method and apparatuses for hierarchical transmission/reception in digital broadcast
US8194997B2 (en) 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR20070120320A (ko) * 2006-06-19 2007-12-24 엘지.필립스 엘시디 주식회사 액정표시장치 제조방법 및 이를 위한 대면적 기판
US9179157B2 (en) * 2007-01-05 2015-11-03 Thomson Licensing Hypothetical reference decoder for scalable video coding
US20080181298A1 (en) * 2007-01-26 2008-07-31 Apple Computer, Inc. Hybrid scalable coding
KR101094441B1 (ko) * 2007-06-20 2011-12-20 한국전자통신연구원 디지털 방송 신호의 전송 방법, 전송 장치, 수신 방법 및수신 장치
US20110011939A1 (en) 2007-12-19 2011-01-20 Linda Seah Contact-less and dual interface inlays and methods for producing the same
US9154247B2 (en) * 2008-01-23 2015-10-06 Liveu Ltd. Live uplink transmissions and broadcasting management system and method
WO2010090439A2 (ko) 2009-02-03 2010-08-12 한국전자통신연구원 디지털 멀티미디어 방송 서비스를 위한 송신 방법, 송신 장치, 수신 방법 및수신 장치
CN104717502B (zh) * 2009-04-08 2018-06-22 夏普株式会社 运动图像编码装置以及运动图像解码装置
US10410222B2 (en) * 2009-07-23 2019-09-10 DISH Technologies L.L.C. Messaging service for providing updates for multimedia content of a live event delivered over the internet
KR101786050B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 전송 방법 및 장치
JP5719998B2 (ja) * 2010-02-10 2015-05-20 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法及び受信方法
RU2576484C2 (ru) * 2010-03-03 2016-03-10 Конинклейке Филипс Электроникс Н.В. Устройства и способы для определения цветовых режимов
KR20120012301A (ko) * 2010-07-30 2012-02-09 삼성전자주식회사 디지털 방송에서의 확장 방송 서비스 송수신 방법 및 장치
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置
GB2491574B (en) * 2011-06-02 2013-11-20 Nds Ltd Content insertion in adaptive streams
CN106878707B (zh) * 2011-04-14 2018-05-08 杜比实验室特许公司 多颜色通道多元回归预测算子
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
WO2012155119A1 (en) * 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9160779B2 (en) * 2011-06-30 2015-10-13 Qualcomm Incorporated Dynamic adaptive streaming proxy for unicast or broadcast/multicast services
US8743496B2 (en) 2011-07-06 2014-06-03 HGST Netherlands B.V. Servo pattern compatible with planarization constraints of patterned media and use of a single master template
US9445136B2 (en) * 2011-09-21 2016-09-13 Qualcomm Incorporated Signaling characteristics of segments for network streaming of media data
CN103907343B (zh) * 2011-10-20 2017-05-03 杜比实验室特许公司 用于视频均衡的方法和系统
JP2015503281A (ja) 2011-11-23 2015-01-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ スケーラビリティ及びビュー情報を提供するストリーミングサービスのための方法及び装置
US8789090B1 (en) * 2012-02-14 2014-07-22 Uplynk, LLC Advertisement insertion into media content for streaming
US8806529B2 (en) * 2012-04-06 2014-08-12 Time Warner Cable Enterprises Llc Variability in available levels of quality of encoded content
CA2870801A1 (en) * 2012-04-18 2013-10-24 Mdialog Corporation Method and system for inserting content into streaming media at arbitrary time points
US10205961B2 (en) * 2012-04-23 2019-02-12 Qualcomm Incorporated View dependency in multi-view coding and 3D coding
CN107087205B (zh) * 2012-06-12 2020-04-14 Lg 电子株式会社 图像解码方法及使用其的装置
JP6073477B2 (ja) * 2012-08-10 2017-02-01 エルジー エレクトロニクス インコーポレイティド 信号送受信装置および信号送受信方法
US8561102B1 (en) * 2012-08-16 2013-10-15 General Instrument Corporation Location specific video content retrieval enabling regional blackouts to be maintained
CN104081767A (zh) * 2012-09-27 2014-10-01 索尼公司 发送装置、发送方法、接收装置和接收方法
US9313500B2 (en) * 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
JP2014171097A (ja) * 2013-03-04 2014-09-18 Toshiba Corp 符号化装置、符号化方法、復号装置、および、復号方法
JP6605789B2 (ja) 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
JP6571314B2 (ja) * 2013-06-18 2019-09-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
JP6493765B2 (ja) * 2013-07-19 2019-04-03 ソニー株式会社 情報処理装置および方法
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
EP2989793B1 (en) * 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
US10271054B2 (en) * 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
JP2015171746A (ja) * 2014-03-12 2015-10-01 ファナック株式会社 制動部を備えた駆動軸を有する産業用ロボット
US9374604B2 (en) * 2014-03-31 2016-06-21 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
MX356689B (es) * 2014-04-30 2018-06-07 Lg Electronics Inc Aparato para transmitir señal de radiodifusion, aparato para recibir señal de radiodifusion, metodo para transmitir señal de radiodifusion y metodo para recibr señal de radiodifusion.
CN110708439A (zh) * 2014-06-26 2020-01-17 松下知识产权经营株式会社 显示装置及数据输出方法
US20160042227A1 (en) * 2014-08-06 2016-02-11 BAE Systems Information and Electronic Systems Integraton Inc. System and method for determining view invariant spatial-temporal descriptors for motion detection and analysis
JP2016538745A (ja) * 2014-08-08 2016-12-08 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
US20160050468A1 (en) * 2014-08-14 2016-02-18 Nagravision S.A. Mitigation of collusion attacks against watermarked content
CN114513617B (zh) * 2014-09-10 2024-04-09 松下电器（美国）知识产权公司 再现装置以及再现方法
WO2016048983A1 (en) * 2014-09-22 2016-03-31 Arris Enterprises, Inc. Video quality of experience based on video quality estimation
MX2017005085A (es) * 2014-10-22 2018-01-30 Arris Entpr Llc Reduccion de latencia de transmision de velocidad binaria adaptativa.
US10547844B2 (en) * 2014-12-04 2020-01-28 Lg Electronics Inc. Broadcasting signal transmission and reception method and device
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
WO2016092759A1 (ja) * 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
MX2017007451A (es) * 2014-12-11 2017-08-10 Koninklijke Philips Nv Optimizacion de imagenes de intervalo dinamico alto para unidades de visualizacion particulares.
US9479801B2 (en) * 2014-12-19 2016-10-25 Telefonaktiebolaget L M Ericsson (Publ) End user-based personalized ad insertion in broadcast-broadband hybrid terminals
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US10594978B2 (en) * 2015-02-11 2020-03-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
US10681107B2 (en) * 2015-06-16 2020-06-09 Apple Inc. Adaptive video content for cellular communication

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102415100A (zh) * 2009-04-27 2012-04-11 Lg电子株式会社 广播接收机及其3d视频数据处理方法
US20100316134A1 (en) * 2009-06-12 2010-12-16 Qualcomm Incorporated Assembling multiview video coding sub-bistreams in mpeg-2 systems
KR20110014507A (ko) * 2009-08-05 2011-02-11 경희대학교 산학협력단 비디오 인코딩/디코딩 방법 및 그 장치
US20130287090A1 (en) * 2011-02-16 2013-10-31 Taiji Sasaki Video encoder, video encoding method, video encoding program, video reproduction device, video reproduction method, and video reproduction program
CN103327323A (zh) * 2012-03-14 2013-09-25 杜比实验室特许公司 高比特深度视频到低比特深度显示器的高效色调映射
CN103621075A (zh) * 2012-04-24 2014-03-05 索尼公司 图像数据发送装置、图像数据发送方法、图像数据接收装置和图像数据接收方法

Also Published As

Publication number Publication date
JP2024012367A (ja) 2024-01-30
CN107431833A (zh) 2017-12-01
EP4262213A1 (en) 2023-10-18
EP3264775A1 (en) 2018-01-03
JP6888717B2 (ja) 2021-06-16
JPWO2016136470A1 (ja) 2017-12-07
US20210051362A1 (en) 2021-02-18
CN107431833B (zh) 2021-08-27
EP3264775B1 (en) 2023-05-03
US11627367B2 (en) 2023-04-11
JP6729548B2 (ja) 2020-07-22
KR102423610B1 (ko) 2022-07-22
US10791364B2 (en) 2020-09-29
KR20170122736A (ko) 2017-11-06
BR112017017792A2 (pt) 2018-04-10
EP3264775A4 (en) 2018-07-11
US20180007423A1 (en) 2018-01-04
JP7095776B2 (ja) 2022-07-05
JP7375857B2 (ja) 2023-11-08
JP2020174365A (ja) 2020-10-22
JP2022125084A (ja) 2022-08-26
WO2016136470A1 (ja) 2016-09-01
US20230247253A1 (en) 2023-08-03
JP2021132398A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
CN107431833B (zh) 发送装置、发送方法、接收装置和接收方法
US11330303B2 (en) Transmission device, transmission method, reception device, and reception method
JP2021093772A (ja) 送信方法および送信装置
US11202087B2 (en) Transmission device, transmission method, reception device, and reception method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination