CN112154664B - 接收装置、接收方法、发送装置和发送方法 - Google Patents

接收装置、接收方法、发送装置和发送方法 Download PDF

Info

Publication number
CN112154664B
CN112154664B CN201980034377.XA CN201980034377A CN112154664B CN 112154664 B CN112154664 B CN 112154664B CN 201980034377 A CN201980034377 A CN 201980034377A CN 112154664 B CN112154664 B CN 112154664B
Authority
CN
China
Prior art keywords
image data
picture
stream
mixing process
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980034377.XA
Other languages
English (en)
Other versions
CN112154664A (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112154664A publication Critical patent/CN112154664A/zh
Application granted granted Critical
Publication of CN112154664B publication Critical patent/CN112154664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Abstract

本发明令人满意地发送具有向后兼容性的高帧速率的图像数据。包括在从发送侧发送的基本流中的基本层的每个图片的图像数据已经在线性空间或非线性空间中经过混合处理。在接收侧，基于指示混合处理是在线性空间还是非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理，由此可以适当地执行逆混合处理。

Description

接收装置、接收方法、发送装置和发送方法
技术领域
本技术涉及接收装置、接收方法、发送装置和发送方法，并且更具体地，涉及接收具有向后兼容性的高帧速率的图像数据的接收装置等。
背景技术
在具有向后兼容性的高帧速率分布中，编码流包括基本层和增强层。当不适用于高帧速率的接收器接收到高帧速率分布时，接收器仅接收并解码基本层的流。在这种情况下，在时间上执行子采样，并且因此在子采样的帧之间失去了运动的连续性，并且显示具有不自然运动的运动图像。
因此，为了降低运动的不连续性(选通(strobing))，本申请人先前已经提出在编码器的前级对基本层执行混合处理，并且然后执行分配，并且适用于高帧速率的接收器在解码器的后级将混合处理恢复到原始状态，并且然后使用数据(参见专利文献1)。在这种情况下，在适用于不具有释放混合处理的功能的高帧速率的常规接收器中，对每一帧显示已经经过混合处理的图像。
引用列表
专利文献
专利文献1：WO 2017/030062
发明内容
本发明要解决的问题
本技术的目的是有利地发送具有向后兼容性的高帧速率的图像数据。
问题的解决方案
本技术的概念在于接收装置，包括：
接收单元，其接收包括基本流和增强流的容器，其中，
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，在线性空间或非线性空间中执行该混合处理，
通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流，
接收装置进一步包括：
处理单元，其执行解码基本流以获得基本层的每个图片的图像数据的处理；解码增强流以获得预定帧速率的图像数据的两个连续图片的单位中的一个图片的图像数据(其是增强层的每个图片的图像数据)的处理；通过使用一个图片的图像数据对基本层的每个图片的图像数据执行逆混合处理(该处理是混合处理的逆处理)以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理；以及组合一个图片的图像数据和另一图片的图像数据以获得预定帧速率的图像数据的处理，并且
处理单元基于指示混合处理是在线性空间还是在非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。
在本技术中，接收单元接收包括基本流和增强流的容器。例如，接收单元可以被配置为经由广播传输路径接收容器。在此处，通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，在线性空间或非线性空间中执行该混合处理。此外，通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强层的编码流。
处理单元执行以下相应处理。即，执行解码基本流以获得基本层的每个图片的图像数据的处理。此外，执行解码增强流以获得预定帧速率的图像数据的两个连续图片的单位中的一个图片的图像数据(其是增强层的每个图片的图像数据)的处理。此外，执行通过使用一个图片的图像数据对基本层的每个图片的图像数据执行逆混合处理(该处理是混合处理的逆处理)以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理。此外，执行组合一个图片的图像数据和另一图片的图像数据以获得预定帧速率的图像数据的处理。在此处，基于指示混合处理是在线性空间还是在非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。
例如，处理空间信息可以被插入基本流的层或增强流的层中。在这种情况下，例如，基本流和增强流可以具有NAL单元结构，并且基本流或增强流可以包括包含处理空间信息的NAL单元。此外，例如，处理空间信息可以被插入容器的层中。
此外，例如，混合处理信息可以被插入流的层或容器的层中，并且处理单元可以基于混合处理信息执行逆混合处理。在这种情况下，例如，混合处理信息可以包括关于混合处理中的混合比的信息。此外，在这种情况下，例如，混合处理信息可以包括指示两个连续图片的单位中的一个图片与另一图片之间的时间相对位置关系的信息。此外，例如，可以进一步提供通过由处理单元获得的预定帧速率的图像数据来显示图像的显示单元。
如上所述，在本技术中，包括在基本流中的基本层的每个图片的图像数据在线性空间或非线性空间中经过混合处理，并且基于指示混合处理是在线性空间还是在非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。因此，可以适当地执行逆混合处理，并且可以精确地获得具有预定帧速率的图像数据。
此外，本技术的另一概念在于发送装置，包括：
处理单元，其通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流；以及
发送单元，其发送基本流和增强流，
其中，处理单元在线性空间中执行混合处理。
在本技术中，处理单元获得基本流和增强流。在此处，通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流。此外，通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流。发送单元发送基本流和增强流。
在处理单元中，在线性空间中执行混合处理。例如，处理单元处理如下。首先，通过在预定帧速率的线性空间中的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据。接下来，对基本层和增强层的图片数据执行非线性转换。然后，对基本层和增强层的每个图片的非线性转换后的图像数据进行编码以获得基本流和增强流。
如上所述，在本技术中，包括在基本流中的基本层的每个图片的图像数据在线性空间中经过混合处理。因此，可以享受线性空间中混合的优点。
本发明的效果
根据本技术，可以有利地发送具有向后兼容性的高帧速率的图像数据。注意，在此处描述的效果不必受到限制，并且可以是本公开中描述的任何一种效果。
附图说明
[图1]是示出作为实施方式的发送-接收系统的配置示例的框图；
[图2]是示出通过对120Hz的图像数据执行混合处理而获得的60Hz的基本层图像数据和+60Hz的增强层图像数据的示例的示图；
[图3]是示出发送装置和电视接收器的处理概述的示图；
[图4]是示出相机和HFR处理单元的具体配置示例的框图；
[图5]是示出编码单元的一部分的具体配置示例的示图；
[图6]是示出发送装置的具体配置示例的框图；
[图7]是示出发送装置的具体配置示例的框图；
[图8]是用于说明非线性空间和线性空间中的混合处理的示图；
[图9]是示出用于将亮度转换为代码值的线性特性和非线性特性(OETF曲线)的示例的示图；
[图10]是示出非线性空间和线性空间中的混合处理的示例的示图；
[图11]是示意性地表示输入到预处理器的120Hz的图像数据P和从预处理器输出的120Hz的图像数据Q之间的关系的示图；
[图12]是示出预处理器的配置示例的示图；
[图13]是示出解码单元的一部分的具体配置示例的示图；
[图14]是示出HFR处理单元的一部分的具体配置示例的示图；
[图15]是示出电视接收器的具体配置示例的框图；
[图16]是示意性地表示输入到后处理器的120Hz的图像数据Q和从后处理器输出的120Hz的图像数据R之间的关系的示图；
[图17]是示出后处理器的配置示例的示图；
[图18]是示出发送装置的配置示例的示图；
[图19]是用于说明线性空间或非线性空间的确定和混合比的选择的示图；
[图20]是示出控制单元中的混合处理确定逻辑的示例的示图；
[图21]是示出混合选项SEI的结构示例的示图；
[图22]是示出图20的结构示例中的主要信息的内容的示图；
[图23]是示出混合选项描述符的结构示例的示图；
[图24]是示出传输流TS的配置示例的示图；
[图25]是示出传输流TS的另一配置示例的示图；
[图26]是示出电视接收器的配置示例的框图；
[图27]是示出控制单元中的逆混合的控制处理的过程的示例的流程图。
具体实施方式
在下文中，将描述用于执行本公开的模式(以下称为实施方式)。注意，将按以下顺序进行描述。
1.实施方式
2.修改示例
<1.实施方式>
[发送-接收系统]
图1示出了作为实施方式的发送-接收系统10的配置示例。发送-接收系统10具有包括发送装置100和电视接收器200的配置。
发送装置100在广播波上发送传输流TS。该传输流TS构成了作为复用流的容器。该传输流TS包括基本流、图像数据(运动图像数据)以及增强流，基本流是从作为预定帧速率(在该实施方式中为120Hz)的高帧速率获得的基本层的编码流，增强流是增强层的编码流。
在该实施方式中，基本流和增强流具有NAL单元结构。基本流包括作为访问单元的基本层的每个图片的编码图像数据。此外，增强流包括作为访问单元的增强层的每个图片的编码图像数据。
在此处，通过在120Hz的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，并且在线性空间或非线性空间中执行混合处理。在此处，基本层中的每个图片的图像数据的帧速率是60Hz。
此外，通过提取两个时间上连续的图片的单位中的一个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流。在此处，增强层中的每个图片的图像数据的帧速率是60Hz。
图2的(a)和图2的(b)示出了通过对120Hz的图像数据执行混合处理而获得的60Hz的基本层的图像数据和+60Hz的增强层的图像数据的示例。图片对(图片对(Picture-pair))由两个图片形成，这两个图片包括形成基本层的图像数据的一个图片(帧)和与其相邻的增强层的图像数据的一个图片(帧)。
在图2的(a)中，在每个图片对中，作为第一图片的增强层的图片的图像数据处于未混合的状态(非混合状态)，但是基本层的一个后续图片的图像数据处于与增强层的一个先前图片的图像数据混合的状态(混合状态)。此外，在图2的(b)中，在每个图片对中，作为第一图片的基本层的图片的图像数据处于与增强层的一个后续图片的图像数据混合的状态(混合状态)，但是增强层的后续图片的图像数据处于未混合的状态(非混合状态)。在下文中，在该实施方式中，假设每个图片对之间的关系将基本上被描述为在图2的(a)的模式中。
处理空间信息和混合处理信息作为在接收侧执行逆混合处理所需的信息被插入流(基本流、增强流)的层和/或容器的层中。处理空间信息指示混合处理是在线性空间还是非线性空间中执行。此外，混合处理信息包括关于混合处理中的混合比的信息、指示两个连续图片的单位中的一个图片(增强层的图片)与另一图片(基本层的图片)之间的时间相对位置关系的信息等。
返回参考图1，电视接收器200在广播波上接收从发送装置100发送的上述传输流TS。在具有能够处理60Hz(正常帧速率)的图像数据的解码能力的情况下，电视接收器200仅处理包括在传输流TS中的基本流以获得60Hz的图像数据并再现图像。在这种情况下，电视接收器200对基本流执行解码处理以获得60Hz的每个帧的图像数据。
此外，在具有能够处理120Hz(高帧速率)的图像数据的解码能力并且具有逆混合处理功能的情况下，电视接收器200如下处理包括在传输流TS中的基本流和增强流两者以获得120Hz的图像数据并再现图像。
在这种情况下，电视接收器200解码基本流以获得基本层的每个图片的图像数据；解码增强流以获得120Hz的图像数据的两个连续图片的单位中的一个图片的图像数据(其是增强层的每个图片的图像数据)；通过使用一个图片的图像数据对基本层的每个图片的图像数据执行逆混合处理(该处理是混合处理的逆处理)以获得两个时间上连续的图片的单位中的另一图片的图像数据；以及组合一个图片的图像数据和另一图片的图像数据以获得120Hz的图像数据。注意，即使在具有逆混合处理功能的情况下，如果在与发送侧的混合处理相同的空间中不具有逆混合处理功能，则该操作类似于不具有如下逆混合处理功能的情况下的操作。
此外，在电视接收器200具有能够处理120Hz(高帧速率)的图像数据的解码能力并且不具有逆混合处理功能的情况下，如下处理包括在传输流TS中的基本流和增强流两者以获得120Hz的图像数据并再现图像。在这种情况下，电视接收器200解码基本流以获得基本层的每个图片的图像数据、解码增强流以获得增强层的每个图片的图像数据、并且组合基本层的每个图片的图像数据和增强层的每个图片的图像数据以获得120Hz的图像数据。
“发送-接收系统的处理概述”
图3示出了发送装置100和电视接收器200(200A、200B、200C)的概述。发送装置100包括相机102、HFR处理单元103、光电转换单元104和编码单元105。光电转换单元103应用光电转换特性(OETF曲线)以将输入图像数据从线性空间转换到非线性空间并输出转换后的数据。
图4的(a)至图4的(c)示出了相机102和HFR处理单元103的一部分的具体配置示例。在图4的(a)的配置示例中，相机102和HFR处理单元103的一部分包括低速快门相机121、高速快门相机122和选择器123。相机121和相机122被同步设置以具有相同的视点。从相机121获得60Hz(正常帧速率)的图像数据。从相机122获得120Hz(高帧速率)的图像数据。
选择器123以120Hz的帧为单位交替提取相机121和122的图像数据，并将所提取的数据用作相机102和HFR处理单元103的一部分的输出。在这种情况下，选择器123以两帧为单位提取第一帧中的相机122的第一帧的图像数据和第二帧中的相机121的图像数据。在此处，在第二帧中提取的相机121的图像数据相当于以1∶1的混合比混合的相机122的第一帧和第二帧的图像数据。注意，在这种情况下，图像数据在线性空间中，并且在线性空间中执行该混合。
在图4的(b)的配置示例中，相机102和HFR处理单元103的一部分包括高速快门相机122和预处理器124。从相机122获得120Hz(高帧速率)的图像数据。预处理器124对相机122的图像数据执行混合处理，以120Hz的帧为单位交替输出非混合图像数据和混合图像数据，并将该数据用作相机102和HFR处理单元103的一部分的输出。在这种情况下，以两帧为单位，在第一帧中按原样输出第一帧的图像数据，并且在第二帧中输出预定混合比的第一帧和第二帧的图像数据的混合。在这种情况下，图像数据在线性空间中，并且在线性空间中执行预处理器124中的混合处理。
在图4的(c)的配置示例中，相机102和HFR处理单元103的一部分仅包括高速快门相机122。在这种情况下，相机122的120Hz的图像数据按原样成为相机102和HFR处理单元103的一部分的输出。
图5的(a)至图5的(d)示出了编码单元105的一部分的具体配置示例。在图5的(a)的配置示例中，编码单元105的一部分包括电光转换单元151、预处理器152、光电转换单元153、预处理器154和编码器155。电光转换单元151应用电光转换特性(EOTF曲线)以将输入图像数据从线性空间转换到非线性空间并输出转换后的数据。
预处理器152具有类似于上述预处理器124的配置。预处理器152对输入的120Hz的图像数据执行混合处理，并以120Hz的帧为单位交替输出非混合图像数据和混合图像数据。在这种情况下，图像数据在线性空间中，并且在线性空间中执行预处理器152中的混合处理。
光电转换单元153应用光电转换特性(OETF曲线)以将输入图像数据从线性空间转换到非线性空间并输出转换后的数据。预处理器154的配置类似于上述预处理器124和152。预处理器154对输入的120Hz的图像数据执行混合处理，并以120Hz的帧为单位交替输出非混合图像数据和混合图像数据。在这种情况下，图像数据在非线性空间中，并且在非线性空间中执行预处理器154中的混合处理。注意，选择性地使用预处理器152和预处理器154，并且当使用一个时，另一个被置于直通状态，在该直通状态下，输入图像数据按原样成为输出图像数据。注意，稍后将描述预处理器124、152和154的细节。
编码器155通过例如H.264/AVC、H.265/HEVC等对输入图像数据进行编码以获得基本流STb和增强流STe。在此处，输入图像数据以120Hz的帧为单位交替改变为非混合图片的图像数据和混合图片的图像数据。非混合图片的图像数据形成增强层的每个图片的图像数据，并且编码器155对增强层的每个图片的图像数据进行编码以获得增强流STe。此外，混合图片的图像数据形成基本层的每个图片的图像数据，并且编码器155对基本层的每个图片的图像数据进行编码以获得基本流STb。
在图5的(b)的配置示例中，编码单元105的一部分包括电光转换单元151、预处理器152、光电转换单元153和编码器155。在该配置示例中，将预处理器154从图5的(a)的配置示例中移除。在该配置示例中，始终使用预处理器152。在图5的(c)的配置示例中，编码单元105的一部分包括预处理器154和编码器155。此外，在图5的(d)的配置示例中，编码单元105的一部分仅包括编码器155。
在相机102和HFR处理单元103的一部分采用图4的(a)的配置的情况下，编码单元105的一部分采用图5的(d)的配置。因此，在这种情况下，发送装置100具有如图6的(a)所示的配置。在这种情况下，在线性空间中执行混合处理。
此外，在相机102和HFR处理单元103的一部分采用图4的(b)的配置的情况下，编码单元105的一部分采用图5的(d)的配置。因此，在这种情况下，发送装置100具有如图6的(b)所示的配置。在这种情况下，在线性空间中执行混合处理。
此外，在相机102和HFR处理单元103的一部分采用图4的(c)的配置的情况下，编码单元105的一部分采用图5的(a)至图5的(c)的配置中的一个。在采用图5的(c)的配置的情况下，发送装置100具有如图6的(c)所示的配置。在这种情况下，在非线性空间中执行混合处理。
此外，在采用图5的(b)的配置的情况下，发送装置100具有如图7的(d)所示的配置。在这种情况下，在线性空间中执行混合处理。此外，在采用图5的(a)的配置的情况下，发送装置100具有如图7的(e)所示的配置。在这种情况下，在线性空间或非线性空间中选择性地执行混合处理。
图8的(a)概念性地示出了在非线性空间中对基于高速快门相机的120Hz的图像执行混合处理的情况。在所示的示例中，四个“o”表示四个连续的图片中的物体的运动。通过以两个时间上连续的图片为单位执行混合处理，两个图片中的物体处于偏离状态并重叠。
图8的(b)概念性地示出了在线性空间中对基于高速快门相机的120Hz的图像执行混合处理的情况。在所示的示例中，四个“o”表示四个连续的图片中的物体的运动。通过以两个时间上连续的图片为单位执行混合处理，两个图片中的物体处于偏离状态并重叠。在这种情况下，该状态不同于在非线性空间中执行混合处理时的状态。
图8的(c)概念性地示出了基于低速快门相机的60Hz的图像。在所示的示例中，每个图片中的物体处于与在线性空间中以1∶1的混合比对基于高速快门相机的120Hz的图像执行混合处理的情况等效的状态。
接下来，将描述线性空间中的混合处理的优点。图9示出了用于将亮度转换为代码值的线性特性和非线性特性(OETF曲线)的示例。注意，由线性特性转换的情况下的代码值由例如16位表示，而由非线性特性转换的情况下的代码值由例如10位表示，并且每个代码值的最大值通常不同。然而，在所示的示例中，相应代码值的最大值被归一化，使得它们彼此一致。
混合目标是低频范围中的亮度的亮度范围(Lp1至Lp2)的相对代码值在线性特性的情况下是Dp1至Dp2，而在非线性特性的情况下是Dp3至Dp4。从图中可以清楚地看出，(Dp2-Dp1)<(Dp4-Dp3)。低频范围中的亮度差在线性空间中较小，但在非线性空间中较大。如果在混合目标中存在大量的纹理变化，则在混合后反映较大的变化。另一方面，在线性空间中，混合目标中的变化量相对较小，混合后的变化变得相对较小，并且已经移动的物体作为运动模糊变得接近由眼睛实际观察到的物理现象。
图10的(a)示出了非线性空间中的混合处理的示例。“非线性转换”对应于图9所示的具有非线性特性的转换。图10的(b)示出了线性空间中的混合处理的示例。“线性转换”对应于具有图9的线性特性的转换。
在图10中，像素A1和A2是形成相机捕获的图片N的像素，而像素B1和B2是形成相机捕获的图片N+1的像素。此外，像素C1和C2是混合后形成图片的像素。此外，像素A1、B1、A1′、B1′、A1″、B1″、C1和D1在每个图片中处于相同的像素位置。类似地，A2、B2、A2′、B2′、A2″、B2″、C2和D2在每个图片中处于相同的像素位置。例如，假设图片N的A1和A2的值是Lp2，图片N+1的B2的值是Lp2，并且图片N+1的B1的值是Lp1。
在图10的(a)的非线性空间中的混合处理中，图片N和图片N+1分别被非线性转换以获得图片N′和图片(N+1)′。A1′和A2′的值是Dp4，B1′的值是Dp3，并且B2′的值是Dp4。C1是A1′和B1′的混合结果，并且其值是(Dp4(+)Dp3)。注意，在此处，“(+)”表示混合操作。此外，C2是A2′和B2′的混合结果，并且其值是Dp4。
另一方面，在图10的(b)的线性空间中的混合处理中，图片N和图片N+1中的每一个被线性转换以获得图片N″和图片(N+1)″。A1″和A2′′的值是Dp2，B1″的值是Dp1，并且B2″的值是Dp2。D1是A1″和B1″的混合结果，并且其值是(Dp2(+)Dp1)。此外，D2是A2″和B2″的混合结果，并且其值是Dp2。
C1的值在Dp3与Dp4之间，并且D1的值在Dp1与Dp2之间。当比较一组C1和C2与一组D1和D2时，C1与C2之间的差异大于D1与D2之间的差异。注意，这可以说是当目标部分具有低亮度时。在目标部分具有高亮度的情况下，由于亮度值高，因此认为相反现象在视觉上不明显。
在表达平滑运动的情况下，在混合后的图片中，混合值之间的差异越小，运动模糊显得越自然，并且在混合值之间的差异突出的内容的情况下，存在选择线性空间中的混合处理的优点。
图11示意性地表示输入到预处理器160(预处理器124、152、154)的120Hz的图像数据P和从预处理器160输出的120Hz的图像数据Q之间的关系。图11的(a)示出了图像数据P，图11的(b)示出了图像数据Q。对应于120Hz的图像数据P的相应图片的图像数据P1、P2、P3、P4…，获得已经经过混合处理的增强层的相应图片的图像数据Q1、Q3…以及基本层的相应图片的图像数据Q2、Q4…。注意，在图11中，a和b是表示混合比的系数。
图12示出了预处理器160(预处理器124、152、154)的配置示例。预处理器160具有帧延迟单元161、系数单元162和163、加法单元164和选择器165。
图像数据P被提供给系数单元163和帧延迟单元161。帧延迟单元161对输入图像数据P赋予120Hz的一帧的延迟。帧延迟单元161的输出图像数据被提供给系数单元162。在此处，当输入是图片“N+1”的图像数据P(N+1)时，帧延迟单元161的输出是图片“N”的图像数据P(N)。
系数(a/k)被提供给系数单元162，并且将图像数据P(N)乘以该系数。此外，系数(b/k)被提供给系数单元163，并且将图像数据P(N+1)乘以该系数。系数单元162和163的输出值被提供给加法单元164。在此处，系数单元162和163以及加法单元164形成用于执行混合处理的滤波器，并且加法单元164获得已经经过混合处理的图像数据P′(N+1)。
由帧延迟单元161获得的图像数据P(N)和由加法单元164获得的图像数据P′(N+1)被提供给选择器165。选择器165以120Hz的帧为单位交替提取图像数据P(N)和图像数据P′(N+1)，并将它们作为120Hz的图像数据Q输出。
返回参考图3，如上所述，编码单元105获得基本流STb和增强流STe(参见图5)。这样获得的基本流STb和增强流STe通过被包括在作为容器的传输流TS中而从发送装置100发送到电视接收器200。
在这种情况下，处理空间信息和混合处理信息作为在接收侧执行逆混合处理所需的信息被插入流(基本流、增强流)的层和/或容器的层中。处理空间信息指示混合处理是在线性空间还是非线性空间中执行。此外，混合处理信息包括关于混合处理中的混合比的信息、指示两个连续图片的单位中的一个图片(增强层的图片)与另一图片(基本层的图片)之间的时间相对位置关系的信息等。
具有能够处理120Hz(高帧速率)的图像数据的解码能力并且具有逆混合处理功能的电视接收器200A包括解码单元201、电光转换单元202、HFR处理单元203和显示单元204。电光转换单元202应用电光转换特性(EOTF曲线)以将输入图像数据从非线性空间转换到线性空间并输出转换后的数据。显示单元204显示由HFR处理单元203获得的120Hz的图像数据的图像。
图13的(a)和图13的(b)示出了解码单元201的一部分的具体配置示例。在图13的(a)的配置示例中，解码单元201的一部分包括解码器211和后处理器212。解码器211解码基本流STb和增强流STe以获得输出图像数据。在此处，输出图像数据以120Hz的帧为单位交替改变为非混合图片的图像数据和混合图片的图像数据。非混合图片的图像数据形成增强层的每个图片的图像数据，并且混合图片的图像数据形成基本层的每个图片的图像数据。
后处理器212基于混合处理信息对解码器211的输出图像数据执行逆混合处理以释放基本层的每个图片的图像数据的混合状态，并获得由基本层和增强层的每个图片的图像数据形成的120Hz(高帧速率)的图像数据。在这种情况下，图像数据在非线性空间中，并且在非线性空间中执行后处理器212中的逆混合处理。
在图13的(b)的配置示例中，解码单元201的一部分仅由解码器211形成。在这种情况下，解码器211的输出图像数据按原样成为解码单元201的一部分的输出。
图14的(a)和图14的(b)示出了HFR处理单元203的一部分的具体配置示例。在图14的(a)的配置示例中，HFR处理单元203的一部分仅包括后处理器231。后处理器231基于混合处理信息对输入图像数据执行逆混合处理以释放基本层的每个图片的图像数据的混合状态，并获得由基本层和增强层的每个图片的图像数据形成的120Hz(高帧速率)的图像数据。在这种情况下，图像数据在线性空间中，并且后处理器231中的逆混合处理是在线性空间中执行的处理。
在图14的(a)的配置示例中，HFR处理单元203的一部分处于直通状态。在这种情况下，输入图像数据按原样成为输出图像数据。
在解码单元201的一部分采用图13的(b)的配置的情况下，HFR处理单元203的一部分采用图14的(a)的配置。因此，在这种情况下，电视接收器200A具有如图15的(a)所示的配置。在这种情况下，在线性空间中执行逆混合处理。
因此，在该配置中，在包括在从发送装置100发送的基本流STb中的基本层的每个图片的图像数据已经在非线性空间中经过混合处理的情况下，后处理器231不执行逆混合处理，并且输入图像数据按原样输出。
在这种情况下，显示单元204在每一帧中显示已经经过混合处理的图像。然而，在以使已经经过混合处理的图像的效果最小化而不在发送侧释放混合的混合比执行混合处理的情况下，抑制图像质量降低。这种情况下的混合比例如是a∶b＝1∶4。
此外，在解码单元201的一部分采用图13的(a)的配置的情况下，HFR处理单元203的一部分采用图14的(a)和图14的(b)的配置中的任一个。在采用图14的(b)的配置的情况下，电视接收器200A具有如图15的(b)所示的配置。在这种情况下，在非线性空间中执行逆混合处理。
因此，在该配置中，在包括在从发送装置100发送的基本流STb中的基本层的每个图片的图像数据已经在线性空间中经过混合处理的情况下，后处理器212不执行逆混合处理，并且输入图像数据按原样输出。
在这种情况下，显示单元204在每一帧中显示已经经过混合处理的图像。然而，在以使已经经过混合处理的图像的效果最小化而不在发送侧释放混合的混合比执行混合处理的情况下，抑制图像质量降低。这种情况下的混合比例如是a∶b＝1∶4。
此外，当采用图14的(a)的配置时，电视接收器200A具有如图15的(c)所示的配置。在这种情况下，在非线性空间或线性空间中选择性地执行逆混合处理。因此，在这种配置中，在包括在从发送装置100发送的基本流STb中的基本层的每个图片的图像数据已经在线性空间或非线性空间中经过混合处理的情况下，可以执行逆混合处理。
图16示意性地表示输入到后处理器240(后处理器212、231)的120Hz的图像数据Q和从后处理器240输出的120Hz的图像数据R之间的关系。图16的(a)示出了图像数据Q，图16的(b)示出了图像数据R。对应于120Hz的图像数据Q的每个图片的图像数据Q1、Q2、Q3、Q4…，获得从混合中释放的增强层的每个图片的图像数据R1、R3…和基本层的每个图片的图像数据R2、R4…。注意，在图16中，c和d是用于释放混合的系数。在此处，c＝-a/b，d＝(a+b)/b。注意，a和b是表示混合比的系数(参见图11)。
图17示出了后处理器240(后处理器212、231)的配置示例。后处理器240具有帧延迟单元241、系数单元242和243、加法单元244和选择器245。
图像数据Q被提供给系数单元243和帧延迟单元241。帧延迟单元241对输入图像数据施加120Hz的一帧的延迟。帧延迟单元241的输出图像数据被提供给系数单元242。在此处，当输入是图片“N+1”的图像数据Q(N+1)时，帧延迟单元241的输出是图片“N”的图像数据Q(N)。
系数(c/m)被提供给系数单元242，并且将图像数据Q(N)乘以该系数。此外，系数(d/m)被提供给系数单元243，并且将图像数据Q(N+1)乘以该系数。系数单元242和243的输出值被提供给加法单元244。在此处，系数单元242和243以及加法单元244形成用于执行混合处理的滤波器，并且加法单元244获得从混合中释放的图像数据Q′(N+1)。
由帧延迟单元241获得的图像数据Q(N)和由加法单元244获得的图像数据Q′(N+1)被提供给选择器245。选择器245以120Hz的帧为单位交替提取图像数据Q(N)和图像数据Q′(N+1)，并将它们作为120Hz的图像数据R输出。
返回参考图3，具有能够处理120Hz(高帧速率)的图像数据的解码能力并且不具有逆混合处理功能的电视接收器200B包括解码器211B、电光转换单元202B和显示单元204B。
解码器211B解码基本流STb和增强流STe以获得输出图像数据。在此处，输出图像数据以120Hz的帧为单位交替改变为非混合图片的图像数据和混合图片的图像数据。非混合图片的图像数据形成增强层的每个图片的图像数据，并且混合图片的图像数据形成基本层的每个图片的图像数据。
电光转换单元202B应用电光转换特性(EOTF曲线)以将输入图像数据从非线性空间转换到线性空间并输出转换后的数据。显示单元204B显示从电光转换单元202B输出的120Hz的图像数据的图像。在这种情况下，显示单元204B在每一帧中显示已经经过混合处理的图像。然而，在以使已经经过混合处理的图像的效果最小化而不在发送侧释放混合的混合比执行混合处理的情况下，抑制图像质量降低。这种情况下的混合比例如是a∶b＝1∶4。
此外，具有能够处理60Hz(正常帧速率)的图像数据的解码能力的电视接收器200C包括解码器211C、电光转换单元202C和显示单元204C。
解码器211C解码基本流STb以获得60Hz的输出图像数据。电光转换单元202C应用电光转换特性(EOTF曲线)以将输入图像数据从非线性空间转换到线性空间并输出转换后的数据。显示单元204C显示从电光转换单元202C输出的120Hz的图像数据的图像。在这种情况下，由于基本层中的每个图片的图像数据已经经过混合处理，所以显示具有减少的选通的有利图像。
“发送装置的配置”
图18示出了发送装置100的配置示例。该发送装置100具有控制单元101、相机102、HFR处理单元103、光电转换单元104、编码单元105、多路复用器106和发送单元107。控制单元101控制发送装置100的每个单元的操作。
相机102、HFR处理单元103、光电转换单元104和编码单元105的部分被配置为类似于以上图3中描述的部分，并且在编码单元105的编码器155(参见图5)中，获得基本流STb和增强流STe。
在此处，通过在120Hz的图像数据中以两个时间上连续的图片为单位执行混合处理来获得该基本层的每个图片的图像数据，并且利用例如H.264/AVC、H.265/HEVC等对该基本层的每个图片的图像数据进行编码来获得基本流STb，并且在线性空间或非线性空间中执行混合处理。此外，通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并且利用例如H.264/AVC、H.265/HEVC等对该增强层的每个图片的图像数据进行编码来获得增强流STe。
“线性空间或非线性空间的选择以及混合比的选择”
如图19的(a)所示，考虑到例如在实际观看混合图像时的自然度(自然性)或在对混合图像进行编码时对比特率的影响等来进行在线性空间还是非线性空间中执行混合处理的选择。
此外，如图19的(b)所示，考虑到例如正常帧速率接收器中的选通的减少和运动模糊的程度、高帧速率接收器中的后处理(逆混合处理)的必要性等来执行混合比的选择。根据哪个被赋予优先权来确定混合比。
图20示出了控制单元101中的混合处理确定逻辑。除了用于选择线性空间或非线性空间以及选择混合比的上述逻辑之外，控制单元101还具有根据相机102的输出图像的快门角度是否为360度来选择是否执行混合处理的逻辑。在这种情况下，控制单元101执行选择，使得当快门角度为360度时跳过基本层图像的混合处理，并且当快门角度为360度以外的角度(例如，180度)时执行基本层图像的混合处理。
编码器155将处理空间信息和混合处理信息作为在接收侧执行逆混合处理所需的信息插入流(基本流STb或增强流STe)的层中。
在该实施方式中，新定义的混合选项SEI(blending_option SEI)被插入增强流STe或基本流STb的每个访问单元(AU)的“SEI”的一部分中。
图21示出了混合选项SEI的结构示例(语法)，并且图22示出了该结构示例中的主要信息内容(语义)。一位字段“blending_flag”指示是否执行混合处理。例如，“1”指示执行混合处理，而“0”指示不执行混合处理。当“blending_flag”为“1”时，存在一位字段“direction_type”、一位字段“linear_blending_process_flag”以及四位字段“blending_coefficient_ratio”。
当SEI被附接到增强层的图片时，字段“direction_type”指示经过混合处理的基本层的图片与增强层的图片的时间关系。例如，“1”指示增强层的图片与基本层的一个后续图片之间的混合处理，而“0”指示增强层的图片与基本层的一个先前图片之间的混合处理。
另一方面，当SEI被附接到基本层的图片时，字段“direction_type”指示经过混合处理的增强层的图片与基本层的图片的时间关系。例如，“1”指示基本层的图片与增强层的一个后续图片之间的混合处理，而“0”指示基本层的图片与增强层的一个先前图片之间的混合处理。
字段“linear_blending_process_flag”指示混合处理是在线性空间还是非线性空间中执行。例如，“1”指示在线性空间中执行混合处理，而“0”指示在非线性空间中执行混合处理。
字段“blending_coefficient_ratio”指示系数比(a∶b)，该系数比(a∶b)指示混合操作之前和之后的两个图片的混合比。在此处，a是增强层的图片的系数，b是基本层的图片的系数。例如，“0”指示1∶1，“1”指示1∶2，“2”指示1∶3，“3”指示1∶4，“4”指示2∶3，“5”指示3∶4，“6”指示3∶7，并且“7”指示3∶8。
返回参考图18，多路复用器106将由编码单元105获得的基本流STb和增强流STe转换为分组化基本流(PES)分组，并且进一步将它们转换为传输分组并多路复用，从而获得作为复用流的传输流TS。
此外，多路复用器106将处理空间信息和混合处理信息作为在接收侧执行逆混合处理所需的信息插入作为容器的传输流TS的层中。在该实施方式中，多路复用器106将新定义的混合选项描述符插入对应于程序映射表下的增强流或基本流而布置的视频基本流循环中。
图23示出了视频选项描述符的结构示例(语法)。包含在该描述符中的信息与包含在上述混合选项SEI(参见图21)中的信息相同，并且因此在此处省略其说明。注意，在该实施方式中，尽管示出了混合选项SEI被插入流(基本流STb或增强流STe)的层中并且混合选项描述符被插入容器的层中的示例，但是可以仅执行它们中的任何一个的插入。
图24示出了传输流TS的配置示例。该配置示例是混合选项SEI被插入增强流STe的层中的示例。传输流TS包括两个视频流(编码流)，即基本流STb和增强流STe。即，在该配置示例中，存在基本流STb的PES分组“视频PES1”，并且存在增强流STe的PES分组“视频PES2”。混合选项SEI(参见图21)被插入由PES分组“视频PES2”容器化的每个图片的编码图像数据中。
此外，传输流TS包括作为程序特定信息(PSI)中的一个的程序映射表(PMT)。该PSI是描述包括在传输流中的每个基本流属于哪个程序的信息。
在PMT中，存在描述与整个程序相关的信息的程序循环。此外，PMT具有基本流循环，该基本流循环具有与每个视频流相关的信息。在该配置示例中，存在对应于基本流的视频基本流循环“视频ES1循环”，并且存在对应于增强流的视频基本流循环“视频ES2循环”。
在“视频ES1循环”中，诸如流类型和分组标识符(PID)的信息被布置为对应于基本流(视频PES1)，并且还布置描述与视频流相关的信息的描述符。该流类型被设置为指示基本流的“0x24”。
此外，在“视频ES2循环”中，诸如流类型和分组标识符(PID)的信息被布置为对应于增强流(视频PES2)，并且还布置描述与视频流相关的信息的描述符。该流类型被设置为指示增强流的“0x25”。此外，混合选项描述符(参见图23)被插入作为描述符中的一个。
图25示出了传输流TS的另一配置示例。在该配置示例中，混合选项SEI被插入基本流STb的层中，并且伴随此，混合选项描述符被插入“视频ES1循环”中。其他类似于图24所示的配置示例。
返回参考图18，发送单元107利用例如适合于广播的调制方法(诸如，QPSK/OFDM)来调制由多路复用器106获得的传输流，并且从发送天线发送RF调制信号。
“电视接收器的配置”
图26示出了具有能够处理120Hz(高帧速率)的图像数据的解码能力并且具有逆混合处理功能的电视接收器200A的配置示例。该电视接收器200A具有控制单元205、接收单元206、解复用器207、解码单元201、电光转换单元202、HFR处理单元203和显示单元204。
控制单元205控制电视接收器200A的每个单元的操作。接收单元206解调由接收天线接收的RF调制信号，并且获取传输流TS。即，接收单元206通过广播传输路径接收作为容器的传输流TS。解复用器207通过PID过滤从传输流TS中提取基本流STb和增强流STe，并且将其提供给解码单元201。
此外，解复用器207还提取包括在传输流TS的层中的部分信息，并且将其发送到控制单元205。在这种情况下，还提取混合选项描述符(参见图23)。因此，控制单元205获取处理空间信息和混合处理信息。
解码单元201、电光转换单元202、HFR处理单元203和显示单元204的部分被配置为类似于以上图3中所描述的部分，并且在解码单元201的解码器211中(参见图13)，解码基本流STb和增强流STe以获得以120Hz的帧为单位在非混合图片的图像数据与混合图片的图像数据之间交替变化的图像数据。
此外，解码器211提取插入形成基本流STb和增强流STe的每个访问单元中的参数集和SEI，并且将它们发送到控制单元205。在这种情况下，还提取混合选项SEI(参见图21)。因此，控制单元205获取处理空间信息和混合处理信息。
此外，解码单元201或HFR处理单元203的后处理器基于混合处理信息执行逆混合处理，并且释放基本层中的每个图片的图像数据的混合状态。然后，从HFR处理单元203，获得包括基本层和增强层的每个图片的图像数据的120Hz(高帧速率)的图像数据。在此处，在线性空间或非线性空间中执行逆混合处理，但是基于处理空间信息在与发送侧的混合处理相同的空间中执行。
然后，从HFR处理单元203输出的120Hz(高帧速率)的图像数据被提供给显示单元204，并且显示单元204显示120Hz的图像数据的图像。
图27的流程图示出了控制单元205中的逆混合的控制处理的过程的示例。控制单元205在步骤ST1开始处理。接下来，在步骤ST2，控制单元205确定是否已经获取处理空间信息和混合处理信息。当没有获取信息时，控制单元205在步骤ST3进行控制以不执行逆混合处理。在这种情况下，存在于解码单元201和HFR处理单元203中的后处理器处于将输入图像数据按原样用作输出图像数据的直通状态。在步骤ST3之后，控制单元205在步骤ST4结束处理。
此外，当在步骤ST2中获取信息时，控制单元205在步骤ST5中确定是否已经执行混合处理。当尚未执行混合处理时，控制单元205在步骤ST3进行控制以不执行逆混合处理，并且此后在步骤ST4结束处理。另一方面，当已经执行混合处理时，控制单元205移动到步骤ST6的处理。
在步骤ST6中，控制单元205确定是否是线性空间处理，即，是否在线性空间中执行混合处理。当是线性空间处理时，控制单元205在步骤ST7中确定是否对应于线性空间处理，即，自身接收器在线性空间中是否具有逆混合处理功能。
当对应于线性空间处理时(参见图15的(a)和图15的(c))，控制单元205在步骤ST8中执行控制以在线性空间中执行逆混合处理。在步骤ST8之后，控制单元205在步骤ST4结束处理。另一方面，当不对应于线性空间处理时(参见图15的(b)和图15的(c))，控制单元205在步骤ST3执行控制以不执行逆混合处理，并且此后在步骤ST4结束处理。
此外，在步骤ST6中，当不是线性空间处理时，即，当在非线性空间中执行混合处理时，控制单元205在步骤ST9中确定是否对应于非线性空间处理，即，自身接收器在非线性空间中是否具有逆混合处理功能。
当对应于非线性空间处理时(参见图15的(b)和图15的(c))，控制单元205在步骤ST10中执行控制以在非线性空间中执行逆混合处理。在步骤ST10之后，控制单元205在步骤ST4结束处理。另一方面，当不对应于非线性空间处理时(参见图15的(a))，控制单元205在步骤ST3执行控制以不执行逆混合处理，并且此后在步骤ST4结束处理。
如上所述，在图1所示的发送-接收系统10中，包括在基本流STb中的基本层的每个图片的图像数据已经在线性空间或非线性空间中经过混合处理，并且在电视接收器200A中，基于指示混合处理是在线性空间还是非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。因此，可以适当地执行逆混合处理，并且可以精确地获得120Hz(高帧速率)的图像数据。
<2.修改示例>
注意，在以上实施方式中，处理空间信息和混合处理信息被插入流(基本流STb或增强流STe)的层或容器的层中，并且被发送到电视接收器200A。然而，可以设想，这些信息没有被插入，而是被记录在诸如文档或USB存储器的可移动记录介质上，并且被提供给电视接收器200A侧。
此外，在上述实施方式中，示出了高帧速率为120Hz并且正常帧速率为60Hz的示例，但是帧速率的组合不限于此。例如，类似地应用100Hz和50Hz的组合。
此外，尽管在上述实施方式中已经描述了包括发送装置100和电视接收器200的发送-接收系统10的示例，但是可以应用本技术的发送-接收系统的配置不限于此。还可以设想电视接收器200的一部分是例如通过诸如高清多媒体接口(HDMI)的数字接口连接的机顶盒和显示器的情况。注意，“HDMI”是注册商标。
此外，在上述实施方式中，已经描述了作为复用流的容器是传输流(MPEG-2TS)的示例。然而，本技术可以类似地应用于被配置为使用诸如因特网的网络分发给接收终端的系统。在因特网分发中，通常以MP4或其他格式的容器分发。换句话说，作为容器，可以应用各种格式的容器，诸如在数字广播标准中采用的传输流(MPEG-2TS)或MPEG媒体传输(MMT)以及在因特网分发中使用的ISOBMFF(MP4)。
此外，本技术还可以配置如下。
(1)一种接收装置，包括：
接收单元，其接收包括基本流和增强流的容器，其中，
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，在线性空间或非线性空间中执行混合处理，
通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流，
接收装置进一步包括：
处理单元，其执行解码基本流以获得基本层的每个图片的图像数据的处理；解码增强流以获得预定帧速率的图像数据的两个连续图片的单位中的一个图片的图像数据(其是增强层的每个图片的图像数据)的处理；通过使用一个图片的图像数据对基本层的每个图片的图像数据执行逆混合处理(该处理是混合处理的逆处理)以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理；以及组合一个图片的图像数据和另一图片的图像数据以获得预定帧速率的图像数据的处理，并且
处理单元基于指示混合处理是在线性空间还是在非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。
(2)根据上述(1)的接收装置，其中，
处理空间信息被插入基本流的层或增强流的层中。
(3)根据上述(2)的接收装置，其中，
基本流和增强流具有NAL单元结构，并且基本流或增强流包括包含处理空间信息的NAL单元。
(4)根据上述(1)至(3)中任一项的接收装置，其中，
处理空间信息被插入容器的层中。
(5)根据上述(1)至(4)中任一项的接收装置，其中，
混合处理信息被插入流的层或容器的层中，并且
处理单元基于混合处理信息执行逆混合处理。
(6)根据上述(5)的接收装置，其中，
混合处理信息包括关于混合处理中的混合比的信息。
(7)根据上述(5)或(6)的接收装置，其中，
混合处理信息包括指示两个连续图片的单位中的一个图片与另一图片之间的时间相对位置关系的信息。
(8)根据上述(1)至(7)中任一项的接收装置，进一步包括：
显示单元，其通过由处理单元获得的预定帧速率的图像数据来显示图像。
(9)根据上述(1)至(8)中任一项的接收装置，其中，
接收单元经由广播传输路径接收容器。
(10)一种接收方法，包括：
接收过程，其接收包括基本流和增强流的容器，其中，
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，在线性空间或非线性空间中执行混合处理，
通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流，
接收方法进一步包括：
执行解码基本流以获得基本层的每个图片的图像数据的处理；解码增强流以获得预定帧速率的图像数据的两个连续图片的单位中的一个图片的图像数据(其是增强层的每个图片的图像数据)的处理；通过使用一个图片的图像数据对基本层的每个图片的图像数据执行逆混合处理(该处理是混合处理的逆处理)以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理；以及组合一个图片的图像数据和另一图片的图像数据以获得预定帧速率的图像数据的处理的过程，并且
基于指示混合处理是在线性空间中还是在非线性空间中执行的处理空间信息，在相应的空间中执行逆混合处理。
(11)根据上述(10)的接收方法，其中，
处理空间信息被插入基本流的层或增强流的层中。
(12)根据上述(11)的接收方法，其中，
基本流和增强流具有NAL单元结构，并且基本流或增强流包括包含处理空间信息的NAL单元。
(13)根据上述(10)至(12)中任一项的接收方法，其中，
处理空间信息被插入容器的层中。
(14)根据上述(10)至(13)中任一项的接收方法，其中，
混合处理信息被插入流的层或容器的层中，并且
基于混合处理信息执行逆混合处理。
(15)根据上述(14)的接收方法，其中，
混合处理信息包括关于混合处理中的混合比的信息。
(16)根据上述(14)或(15)的接收方法，其中，
混合处理信息包括指示两个连续图片的单位中的一个图片与另一图片之间的时间相对位置关系的信息。
(17)根据上述(10)至(16)中任一项的接收方法，其中，
由处理单元获得的预定帧速率的图像数据被提供给通过图像数据显示图像的显示单元。
(18)根据上述(10)至(17)中任一项的接收方法，其中，
经由广播传输路径接收容器。
(19)一种发送装置，包括：
处理单元，其通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流；以及
发送单元，其发送基本流和增强流，
其中，处理单元在线性空间中执行混合处理。
(20)一种发送方法，包括：
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对基本层的每个图片的图像数据进行编码来获得基本流，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对增强层的每个图片的图像数据进行编码来获得增强流的过程；以及
发送基本流和增强流的过程，
其中，在线性空间中执行混合处理。
本技术的主要特征在于，基于指示混合处理是在线性空间还是非线性空间中执行的处理空间信息来执行对基本层中的每个图片的图像数据的逆混合处理。因此，可以适当地执行接收侧的逆混合处理(参见图3、图15、图26和图27)。
参考标记列表
10 发送-接收系统
100 发送装置
101 控制单元
102 相机
103 HFR处理单元
104 光电转换单元
105 编码单元
106 多路复用器
107 发送单元
121 低速快门相机
122 高速快门相机
123 选择器
124 预处理器(线性空间)
151 电光转换单元
152 预处理器(线性空间)
153 光电转换单元
154 预处理器(非线性空间)
155 编码器
160 预处理器
200、200A、200B、200C 电视接收器
201 解码单元
202、202B、202C 电光转换单元
203 HFR处理单元
204、204B、204C 显示单元
205 控制单元
206 接收单元
207 解复用器
211、211B、211C 解码器
212 后处理器(非线性空间)
231 后处理器(线性空间)
240 后处理器。

Claims (16)

1.一种接收装置，包括：
接收单元，接收包括基本流和增强流的容器，其中，
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对所述基本层的每个图片的图像数据进行编码来获得所述基本流，在线性空间或非线性空间中执行所述混合处理，
通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对所述增强层的每个图片的图像数据进行编码来获得所述增强流，
所述接收装置进一步包括：
处理单元，执行解码所述基本流以获得所述基本层的每个图片的图像数据的处理；解码所述增强流以获得所述预定帧速率的图像数据的两个时间上连续的图片的单位中的一个图片的图像数据的处理，所述图像数据是所述增强层的每个图片的图像数据；通过使用所述一个图片的图像数据对所述基本层的每个图片的图像数据执行作为所述混合处理的逆处理的逆混合处理以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理；以及组合所述一个图片的图像数据和所述另一图片的图像数据以获得所述预定帧速率的图像数据的处理，并且
所述处理单元基于指示所述混合处理是在所述线性空间还是在所述非线性空间中执行的处理空间信息，在相应的空间中执行所述逆混合处理，
其中，所述处理空间信息包括在所述容器的层、所述基本流的层和所述增强流的层中的至少一个中。
2.根据权利要求1所述的接收装置，其中，
所述基本流和所述增强流具有NAL单元结构，并且所述基本流或所述增强流包括包含所述处理空间信息的NAL单元。
3.根据权利要求1所述的接收装置，其中，
混合处理信息被插入所述基本流的层或所述增强流的层或所述容器的层中，并且
所述处理单元基于所述混合处理信息执行所述逆混合处理。
4.根据权利要求3所述的接收装置，其中，
所述混合处理信息包括关于所述混合处理中的混合比的信息。
5.根据权利要求3所述的接收装置，其中，
所述混合处理信息包括指示两个时间上连续的图片的单位中的所述一个图片与所述另一图片之间的时间相对位置关系的信息。
6.根据权利要求1所述的接收装置，进一步包括：
显示单元，通过由所述处理单元获得的所述预定帧速率的图像数据来显示图像。
7.根据权利要求1所述的接收装置，其中，
所述接收单元经由广播传输路径接收所述容器。
8.一种接收方法，包括：
接收过程，接收包括基本流和增强流的容器，其中，
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对所述基本层的每个图片的图像数据进行编码来获得所述基本流，在线性空间或非线性空间中执行所述混合处理，
通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对所述增强层的每个图片的图像数据进行编码来获得所述增强流，
所述接收方法进一步包括：
执行解码所述基本流以获得所述基本层的每个图片的图像数据的处理；解码所述增强流以获得所述预定帧速率的图像数据的两个时间上连续的图片的单位中的一个图片的图像数据的处理，所述图像数据是所述增强层的每个图片的图像数据；通过使用所述一个图片的图像数据对所述基本层的每个图片的图像数据执行作为所述混合处理的逆处理的逆混合处理以获得两个时间上连续的图片的单位中的另一图片的图像数据的处理；以及组合所述一个图片的图像数据和所述另一图片的图像数据以获得所述预定帧速率的图像数据的处理的过程，并且
基于指示所述混合处理是在所述线性空间还是在所述非线性空间中执行的处理空间信息，在相应的空间中执行所述逆混合处理，
其中，所述处理空间信息包括在所述容器的层、所述基本流的层和所述增强流的层中的至少一个中。
9.根据权利要求8所述的接收方法，其中，
所述基本流和所述增强流具有NAL单元结构，并且所述基本流或所述增强流包括包含所述处理空间信息的NAL单元。
10.根据权利要求8所述的接收方法，其中，
混合处理信息被插入所述基本流的层或所述增强流的层或所述容器的层中，并且
基于所述混合处理信息执行所述逆混合处理。
11.根据权利要求10所述的接收方法，其中，
所述混合处理信息包括关于所述混合处理中的混合比的信息。
12.根据权利要求10所述的接收方法，其中，
所述混合处理信息包括指示两个时间上连续的图片的单位中的所述一个图片与所述另一图片之间的时间相对位置关系的信息。
13.根据权利要求8所述的接收方法，其中，
由处理单元获得的所述预定帧速率的图像数据被提供给通过所述图像数据显示图像的显示单元。
14.根据权利要求8所述的接收方法，其中，
经由广播传输路径接收所述容器。
15.一种发送装置，包括：
处理单元，通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对所述基本层的每个图片的图像数据进行编码来获得基本流，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对所述增强层的每个图片的图像数据进行编码来获得增强流；以及
发送单元，发送包括所述基本流和所述增强流的容器和处理空间信息，
其中，所述处理单元在线性空间或非线性空间中执行所述混合处理，并且
其中，所述处理空间信息指示所述混合处理是在所述线性空间还是在所述非线性空间中执行，并且所述处理空间信息包括在所述容器的层、所述基本流的层和所述增强流的层中的至少一个中。
16.一种发送方法，包括：
通过在预定帧速率的图像数据中以两个时间上连续的图片为单位执行混合处理来获得基本层的每个图片的图像数据，并对所述基本层的每个图片的图像数据进行编码来获得基本流，并且通过提取两个时间上连续的图片的单位中的一个图片的图像数据来获得增强层的每个图片的图像数据，并对所述增强层的每个图片的图像数据进行编码来获得增强流的过程；以及
发送包括所述基本流和所述增强流的容器和处理空间信息的过程，
其中，在线性空间或非线性空间中执行所述混合处理，并且
其中，所述处理空间信息指示所述混合处理是在所述线性空间还是在所述非线性空间中执行，并且所述处理空间信息包括在所述容器的层、所述基本流的层和所述增强流的层中的至少一个中。
CN201980034377.XA 2018-05-30 2019-05-16 接收装置、接收方法、发送装置和发送方法 Active CN112154664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018104143 2018-05-30
JP2018-104143 2018-05-30
PCT/JP2019/019590 WO2019230432A1 (ja) 2018-05-30 2019-05-16 受信装置、受信方法、送信装置および送信方法

Publications (2)

Publication Number Publication Date
CN112154664A CN112154664A (zh) 2020-12-29
CN112154664B true CN112154664B (zh) 2024-04-05

Family

ID=68698110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980034377.XA Active CN112154664B (zh) 2018-05-30 2019-05-16 接收装置、接收方法、发送装置和发送方法

Country Status (4)

Country Link
US (2) US11418838B2 (zh)
EP (1) EP3806467A4 (zh)
CN (1) CN112154664B (zh)
WO (1) WO2019230432A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111754B1 (en) * 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
CN102460524A (zh) * 2009-04-17 2012-05-16 Igt公司 游戏系统的远程主持和本地呈现内容的显示
WO2017030062A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003240828A1 (en) * 2002-05-29 2003-12-19 Pixonics, Inc. Video interpolation coding
GB2505640B (en) 2012-08-22 2014-12-17 Canon Kk Method and apparatus for compressing or decompressing video sequence of images
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9538155B2 (en) * 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
KR102112468B1 (ko) * 2014-02-07 2020-05-18 소니 주식회사 수신 장치, 표시 장치 및 수신 방법
US20150249848A1 (en) * 2014-02-28 2015-09-03 Apple Inc. Intelligent Video Quality Adjustment
US10354598B2 (en) * 2015-09-10 2019-07-16 Sony Corporation Light source control for displaying video
US10567702B2 (en) 2015-09-30 2020-02-18 Sony Corporation Transmission device, transmission method, reception device, and reception method
US9681182B2 (en) * 2015-11-02 2017-06-13 Disney Enterprises, Inc. Real-time transmission of dynamic range tags in a video broadcast
WO2017135673A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8111754B1 (en) * 2001-07-11 2012-02-07 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
CN102460524A (zh) * 2009-04-17 2012-05-16 Igt公司 游戏系统的远程主持和本地呈现内容的显示
WO2017030062A1 (ja) * 2015-08-19 2017-02-23 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20210092478A1 (en) 2021-03-25
US11956496B2 (en) 2024-04-09
EP3806467A4 (en) 2021-04-21
CN112154664A (zh) 2020-12-29
WO2019230432A1 (ja) 2019-12-05
US20230112314A1 (en) 2023-04-13
US11418838B2 (en) 2022-08-16
EP3806467A1 (en) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6565679B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11722636B2 (en) Transmission device, transmission method, reception device, and reception method
CN107925766B (zh) 发送装置、发送方法、接收装置和接收方法
KR102561506B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
US11895309B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR20200077517A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN107925765B (zh) 发送装置、发送方法、接收装置及接收方法
CN112154664B (zh) 接收装置、接收方法、发送装置和发送方法
WO2020031782A1 (ja) 受信装置、受信方法、送信装置および送信方法
WO2020039973A1 (ja) 受信装置、受信方法、送信装置および送信方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant