CN107925766A - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN107925766A
CN107925766A CN201680048593.6A CN201680048593A CN107925766A CN 107925766 A CN107925766 A CN 107925766A CN 201680048593 A CN201680048593 A CN 201680048593A CN 107925766 A CN107925766 A CN 107925766A
Authority
CN
China
Prior art keywords
view data
frame rate
processing
picture
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680048593.6A
Other languages
English (en)
Other versions
CN107925766B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107925766A publication Critical patent/CN107925766A/zh
Application granted granted Critical
Publication of CN107925766B publication Critical patent/CN107925766B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明良好地发送正常帧速率和高帧速率图像数据。获取基本流，所述基本流包括通过以时间上相邻的两个图片为单位对高帧速率图像数据应用混合处理而获取的基本帧速率图像数据的编码的每个图片的图像数据作为存取单元，并且还获取增强流，所述增强流包括高帧速率图像数据的编码的每个图片图像数据作为存取单元。发送包括基本流和增强流的规定格式的容器。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本发明涉及发送装置、发送方法、接收装置和接收方法，并且更具体地涉及例如一种发送高帧速率的运动图像数据的发送装置。
背景技术
近来，用高速帧快门执行高帧速率拍摄的相机是众所周知的。例如，正常帧速率是例如60fps或者50fps，而高帧速率是高达正常帧速率的几倍、几十倍或者甚至几百倍的帧速率。
在执行高帧速率服务的情况下，考虑将由高速帧快门拍摄的运动图像数据转换成频率低于运动图像数据的频率的运动图像序列，以便发送。然而，高速帧快门的图像对于运动模糊的改善和具有高清晰度的图像质量的实现具有效果，但是具有在接收和再现侧导致传统帧内插技术的图像质量问题的因素。
使用由高速帧快门拍摄的具有高清晰度的图像的帧内插增加了运动矢量搜索适应的情况与运动矢量搜索不适应的情况之间的差异。因此，这两者之间的差异显示为明显的图像质量下降。为了改善在帧内插中的运动矢量搜索的精度，需要高负荷计算，然而这影响接收机的成本。
本申请人先前已经提出了转换由高速帧快门拍摄的图像的材料的技术，以使得执行正常帧速率解码的传统接收机显示具有特定或更高水平的图像质量(参考专利文献1)。
引用列表
专利文献
专利文献1：WO 2015/076277
发明内容
本发明要解决的问题
本技术的目的在于有利地传送正常帧速率的图像数据和高帧速率图像数据。
解决问题的方案
根据本技术的概念，一种发送装置包括：
图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，所述图像编码单元被配置为获取增强流，所述增强流包括在高帧速率图像数据中的每个图片的编码图像数据作为存取单元；和
发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。
根据本技术，图像编码单元获取基本流和增强流。通过对在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取基本流。通过对高帧速率图像数据执行编码处理来获取增强流。发送单元以预定格式发送容器，容器包括基本流和增强流。
根据本发明的技术，发送基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据。因此，对基本帧速率图像数据能解码处理的接收机处理基本流，以获取基本帧速率图像数据，使得平滑的图像可以被显示作为运动图像，并且另外，通过显示处理中的低负荷计算的帧内插处理可以避免造成图像质量的问题。
另外，根据本技术，发送包括高帧速率图像数据的增强流。因此，对高帧速率图像数据可解码处理的接收机处理增强流，以获取高帧速率图像数据，使得可以有利地执行高帧速率的图像显示。
注意，根据本技术，例如，图像编码单元可以对基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，以便获取基本流。此外，图像编码单元可以以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，以便获取作为混合补偿后的图像数据的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据。然后，所述图像编码单元可以利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，以便获取增强流。在这种情况下，由于在高帧速率图像数据的预测编码中将混合补偿后的图像数据作为参考图像数据，因此可以减少预测残差。
在这种情况下，例如，图像编码单元可以针对高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。利用这种设置，甚至在将混合补偿后的图像数据作为参考图像数据的情况下，也可以有利地进行运动补偿。
另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为将混合处理中的混合比率信息插入到增强流的层中。在这种情况下，例如，基本流和增强流可以均具有NAL单元结构，并且信息插入单元可以将具有混合比率信息的SEI NAL单元插入到增强流中，或者可以将混合比率信息插入到增强流的PPS NAL单元中。以这种方式将混合比率信息插入到增强流的层中，可以例如在接收侧利用混合比率信息容易且合适地执行与混合处理相逆的处理。
另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为向增强流的每个存取单元插入相位信息，指示存取单元对应于时间上连续的两个图片中的哪个图片。以这种方式将相位信息插入到增强流的每个存取单元中，可以例如在接收侧利用相位信息容易且适当地执行与混合处理相逆的处理。
另外，根据本技术，例如，可以进一步设置信息插入单元，信息插入单元被配置为向容器的层中插入标识信息，指示包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。在这种情况下，在接收侧，可以容易地从标识信息中识别包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。
另外，根据本技术的不同概念，一种接收装置包括：
接收单元，被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理单元，被配置为仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据，
其中，当对所述增强流进行解码处理时，所述处理单元以通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。
根据本技术，接收单元接收预定格式的容器，容器包括基本流和增强流。通过对在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流。
另外，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据。
处理单元仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据。
当对所述增强流进行解码处理时，所述处理单元以通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。
根据本技术，以这种方式，当对增强流执行解码处理时，使用混合补偿后的图像数据作为参考图像数据。因此，可以对增强流正确地执行解码处理，使得可以有利地获取高帧速率的增强帧图像数据。
注意，根据本技术，例如，增强流的层可以包括在混合处理中插入的混合比率信息，并且处理单元可以在执行与混合处理相逆的处理时使用混合比率信息。以这种方式利用插入到增强流的层中的混合比率信息执行与混合处理相逆的处理，可以容易且适当地执行处理。
另外，根据本技术，例如，增强流的每个存取单元可以包括相位信息，其指示存取单元对应于时间上连续的两个图片中的哪个图片，并且处理单元可以在执行与混合处理相逆的处理时使用相位信息。以这种方式利用插入到增强流的每个存取单元中的相位信息执行与混合处理相逆的处理，可以容易且适当地执行处理。
另外，根据本技术的不同概念，一种接收装置包括：接收单元，其被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取所述基本流，对高帧速率图像数据执行编码处理，来获取所述增强流；以及处理单元，其被配置为仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据。
根据本技术，接收单元接收预定格式的容器，容器包括基本流和增强流。对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取所述基本流。对高帧速率图像数据执行编码处理，来获取所述增强流
处理单元仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据。
根据本技术，以这种方式，仅处理基本流，从而获取基本帧速率图像数据。因此，对基本帧速率图像数据可解码处理的接收机处理基本流，以获取基本帧速率图像数据，使得平滑的图像可以被显示为运动图像，并且另外，通过显示处理中的低负荷计算的帧内插处理可以避免造成图像质量的问题。
另外，根据本技术，处理基本流和增强流，从而获取高帧速率图像数据。因此，对高帧速率(高帧速率)图像数据可处理解码的接收机处理增强流，以获取高帧速率图像数据，使得可以有利地执行高帧速率的图像显示。
本发明的效果
根据本技术，可以有利地传送正常帧速率(基本帧速率)图像数据和高帧速率图像数据。注意，此处描述的效果不一定是限制性的，并且可以提供在本公开中描述的任何效果。
附图说明
图1是根据实施例的发送和接收系统的示例性配置的方框图；
图2是帧速率的示例性转换处理的示图；
图3是发送装置和接收装置中的处理的概要的示图；
图4是发送装置的示例性配置的方框图；
图5是预处理器的示例性配置的方框图；
图6是预处理器的输入数据(图像数据P)和输出数据(图像数据Qb和图像数据Qe)之间的示例性关系的示图；
图7是示出要输入到编码器中的基本帧速率图像数据Qb(60fps)和高帧速率图像数据Qe(120fps)的序列以及在编码器中的编码图片的序列的示图；
图8是示出示例性层配置和示例性预测的示图；
图9是编码器(基本层和一个增强层)的编码处理部分的示例性配置的方框图；
图10是混合补偿电路的示例性配置的方框图；
图11是编码器(基本层和两个增强层)的编码处理部分的示例性配置的方框图；
图12是通过比较示出在不进行混合处理的情况(1)下的示例性预测残差和在进行混合处理的情况(2)下的示例性预测残差的示图，混合处理的系数示例性地满足以下表达式：α＝1/2(因此，β＝1/2)；
图13是对作为参考图片的“第(n)混合”的图片执行混合补偿的示例性情况的示图，混合处理的系数满足以下表达式：α＝1/2(因此，β＝1/2)；
图14是关于混合补偿后的图片(图像数据)的示例性预测残差的示图；
图15是通过比较示出在不进行混合处理的情况(1)下的示例性预测残差和在进行混合处理的情况(2)下的示例性预测残差的示图，混合处理的系数示例性地满足以下表达式：α＝2/3(因此，β＝1/3)；
图16对作为参考图片的“第(n)混合”的图片执行混合补偿的示例性情况的示图，混合处理的系数满足以下表达式：α＝2/3(因此，β＝1/3)；
图17是关于混合补偿后的图片(图像数据)的示例性预测残差的示图；
图18示出了逆混合层预测SEI的示例性结构和该示例性结构中的主要信息的描述的表格；
图19示出了PPS的示例性结构和该示例性结构中的主要信息的描述的表格；
图20示出了视频可缩放信息描述符的示例性结构和该示例性结构中的主要信息的描述的表格；
图21是传输流TS的示例性配置的示图；
图22是接收装置的示例性配置(支持高帧速率)的方框图；
图23是解码器(基本层和一个增强层)的解码处理部分的示例性配置的方框图；
图24是解码器(基本层和两个增强层)的解码处理部分的示例性配置的方框图；
图25是接收装置(支持正常帧速率)的示例性配置的方框图。
具体实施方式
下面将描述用于执行本发明的模式(在下文中，称为“实施例”)。注意，将按以下顺序给出描述。
1、实施例
2、修改
<1、实施例>
[发送和接收系统]
图1示出了根据本实施例的发送和接收系统10的示例性配置。发送和接收系统10包括发送装置100和接收装置200。
发送装置100通过广播波发送作为容器的传输流TS。传输流TS包括通过处理高帧速率图像数据(根据本实施例，120fps的图像数据(运动图像数据))而获取的基本流(基本视频流)和增强流(增强视频流)。根据本实施例，基本流和增强流均具有NAL单元结构。
此处，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率(正常帧速率)图像数据的预测编码处理，来获取所述基本流。基本流包括在基本帧速率图像数据中的每个图片的编码图像数据作为存取单元。基本帧速率图像数据是60fps的图像数据。
另外，通过对高帧速率图像数据适应性地执行利用混合补偿后的图像数据的预测编码处理或用于高帧速率图像数据的预测编码处理，来获取增强流。增强流包括高帧速率图像数据中的每个图片的编码图像数据作为存取单元。
此处，混合补偿后的图像数据是通过以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理而获取的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据。以这种方式，混合补偿后的图像数据用作参考图像数据，使得可以抑制预测残差增加。
此处，高帧速率图像数据被定义为原始图像序列，如图2的(a)所示。在这种情况下，通过以时间上连续的两个图片为单位进行混合处理所获取的基本帧速率图像数据与由原始图像序列覆盖的时间具有1(100％)的快门开口率，如图2的(c)所示。注意，通过以连续的两个图片为单位提取一侧图片的图像数据而获取的基本帧速率图像数据与由原始图像序列覆盖的时间具有1/2(50％)的快门开口率，如图2的(b)所示。
混合处理中的混合比率信息插入到增强流的层中。根据本实施例，具有混合比率信息的SEI NAL单元插入到增强流中，或者混合比率信息插入到增强流的PPS NAL单元中。在接收侧，可以利用混合比率信息容易且适当地执行与混合处理相逆的处理。
在增强流的每个存取单元中插入相位信息，相位信息指示存取单元对应于时间上连续的两个图片中的哪个图片。根据本实施例，具有相位信息的SEI NAL单元插入到增强流的每个存取单元中，或者相位信息插入到增强流的每个存取单元的PPS NAL单元中。在接收侧，可以利用相位信息容易且适当地执行与混合处理相逆的处理。
在容器的层中插入标识信息，指示包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。根据本实施例，在节目映射表(PMT)下，将包括所描述的标识信息的描述符插入对应于增强流设置的视频基本流循环中。在接收侧，可以容易地从标识信息中识别包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。
接收装置200通过广播波接收从发送装置100发送的上述传输流TS。在对60fps的图像数据具有可解码处理能力的情况下，接收装置200仅处理传输流TS中包含的基本流，并获取基本帧速率图像数据(60fps)，以便执行图像再现。
另一方面，在对120fps的图像数据具有可解码处理能力的情况下，接收装置200处理包含在传输流TS中的基本流和增强流，获取高帧速率图像数据(120fps)，以便执行图像再现。
在此处，在对增强流进行解码处理并且获取高帧速率图像数据时，接收装置200将混合补偿后的图像数据用作参考图像数据，其中利用通过处理增强流所获取的高帧速率图像数据对通过处理基本流所获取的基本帧速率图像数据执行与混合处理相逆的处理，来获取所述混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据。利用这种设置，对增强流正确地执行解码处理，从而有利地获取高帧速率图像数据。
在此处，在执行与混合处理相逆的处理时，插入到增强流的层中的混合处理中的混合比率信息与插入到增强流的每个存取单元中的相位信息一起使用。利用这种设置，容易且适当地执行与混合处理相逆的处理，结果，有利地执行了增强流的解码处理。
图3示出了发送装置100和接收装置200中的处理的概况。图像数据P的序列120P输入到发送装置100。在发送装置100中，预处理器101处理图像数据P，以获取基本帧速率图像数据Qb(60fps)和高帧速率图像数据Qe(120fps)。然后，在发送装置100中，编码器102对图像数据Qb和图像数据Qe进行编码处理，以获取基本流STb和增强流STe。发送装置100将两个流STb和Ste发送到接收装置200。
在对120fps的图像数据具有可解码处理能力的接收装置200A中，解码器203对两个流STb和STe执行解码处理，以获取高帧速率图像数据Qe'，作为120P图像数据的序列。同时，在对60fps的图像数据具有可解码处理能力的接收装置200B中，解码器203B对流STb执行解码处理，以获取基本帧速率图像数据Qb'，作为60P图像数据的序列。
[发送装置的配置]
图4示出了发送装置100的示例性配置。发送装置100包括预处理器101、编码器102、多路复用器103和发送单元104。预处理器101接收120fps的图像数据P，以便输出基本帧速率图像数据Qb和高帧速率图像数据Qe。
此处，预处理器101在120fps的图像数据P中以时间上连续的两个图片为单位执行混合处理，以获取基本帧速率图像数据Qb。另外，预处理器101保持原样输出120fps的图像数据P，作为高帧速率图像数据Qe。
图5示出了预处理器101的示例性配置。预处理器101包括均在120fps中执行一帧延迟的延迟电路111和114、计算电路112以及以与延迟电路111和114同步的60Hz锁存脉冲执行锁存的锁存电路113。
120fps的图像数据P被延迟电路111延迟一个帧周期，然后提供α(α)的增益，从而输入到计算电路112中。注意，满足以下表达式：α＝0到1。同时，图像数据P中的被延迟电路111延迟的对象之后的图像数据被赋予β(β)的增益，以便不通过延迟电路111输入到计算电路112中。注意，满足以下表达式：β＝1-α。
计算电路112将延迟电路111的输出和120fps的图像数据P相加。此处，当图像数据P中的时间上连续的两个图片的图像数据被定义为A和B时，在延迟电路111输出A的定时，获取“α*A+β*B”的混合输出，作为计算电路112的输出。计算电路112的输出被输入到锁存电路113。
锁存电路113以60Hz的锁存脉冲锁存计算电路112的输出，以便获取基本帧速率图像数据Qb(60fps)，在图像数据P中以时间上连续的两个图片为单位已经对该基本帧速率图像数据执行了混合处理。另外，延迟电路111将120fps的图像数据P延迟一个帧周期，从而以基本帧速率图像数据Qb调整时间，使得输出120fps的图像数据P，作为高帧速率图像数据Qe(120fps)。
图6的(a)和图6的(b)示意性地示出预处理器101的输入数据(图像数据P)和预处理器101的输出数据(图像数据Qb和图像数据Qe)之间的示例性关系。获取基本帧速率图像数据Qb(60fps)中的图片的各个图像数据F1'、F3'、F5'和F7'和高帧速率图像数据Qe(120fps)中的图片的各个图像数据F1、F2、F3、F4、F5、F6、F7和F8，与120fps的图像数据P中的图片的图像数据F1、F2、F3、F4、F5、F6、F7和F8对应。
返回参考图4，编码器102对由预处理器101获取的图像数据Qb和图像数据Qe执行编码处理，以生成基本流和增强流。此处，编码器102对基本帧速率图像数据Qb执行用于基本帧速率图像数据的预测编码处理，以获取基本流STb。另外，编码器102对高帧速率图像数据Qe适应性地执行利用混合补偿后的图像数据的预测编码处理或用于高帧速率图像数据的预测编码处理，以获取增强流STE。
此处，通过高帧速率图像数据，编码器102对基本帧速率图像数据执行与混合处理相逆的处理，以获取作为混合补偿后的图像数据的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，该图像数据包括另一侧图片的图像数据。
图7的(a)示出了输入到编码器102中的基本帧速率图像数据Qb(60fps)和高帧速率图像数据Qe(120fps)的序列。图7的(b)示出了编码器102中的编码图片的序列。基本帧速率图像数据Qb被编码为基本层(基本层)，并且高帧速率图像数据Qe被编码为增强层(增强层)。
此处，在对高帧速率图像数据Qe执行层间预测编码的情况下，为了编码在高帧速率图像数据Qe中以时间上连续的两个图片为单位中在奇数位置处的图片的图像数据和在偶数位置处的图片的图像数据，通过以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据Qb中的图片的图像数据用作参考图像数据。注意，如上所述，实际上，在基本帧速率图像数据Qb中对图片的图像数据执行混合补偿，并且混合补偿后的图像数据用作参考图像数据。
图8示出了示例性层配置和示例性预测。图8的(a)示出了包括一个基本层(基本层)和一个增强层(Ext 1层)的示例性层配置。在增强层(Ext 1层)中，[P21、P22]和[P23、P24]均表示时间上连续的两个图片的单位。另外，在基本层(基本层)中，[P11]和[P12]均表示通过以时间上连续的两个图片为单位执行混合处理而获取的图片。
在图示中，实线箭头均表示层间预测中的参考关系。在这种情况下，增强层(Ext 1层)中的每个图片都参考基本层(基本层)中的相应图片进行编码。
图8的(b)示出了包括一个基本层(基本层)和两个增强层(Ext 1层和Ext 2层)的示例性层配置。增强层1(Ext 1层)包括以时间上连续的两个图片为单位中的在奇数位置的图片，增强层2(Ext 2Layer)包括以时间上连续的两个图片为单位的在偶数位置的图片。
在这种情况下，增强层1(Ext 1层)中的图片的编码时间与基本层(基本层)中的图片的编码时间相同，但是增强层2中的图片的编码时间2(Ext2层)介于基本层(基本层)中的图片的编码时间之间。
在图示中，实线箭头和虚线箭头均表示层间预测中的参考关系。在这种情况下，参考基本层(基本层)中的相应图片，编码增强层1(Ext 1层)中的每个图片。另外，参考基本层(基本层)中的相应图片，编码增强层2(Ext 2层)中的每个图片，或参考增强层1(Ext1Layer)中的对应图片编码增强层2(Ext 2层)中的每个图片。注意，在对这种配置进行编码的情况下，增强层1和增强层2被设置为一层，使得可以用层级(temporal_id)来区分这两者中的每一个的标识。
图8的(c)示出了包括一个基本层(基本层)和两个增强层(Ext 1层和Ext 2层)的示例性层配置，与图8的(b)的示例类似。在这种情况下，增强层1(Ext 1层)中的图片的编码时间与基本层(基本层)中的图片的编码时间相同，并且增强层2(Ext 2层)中的图片的编码时间也与基本层(基本层)中的图片的编码时间相同。
在图示中，实线箭头和虚线箭头均表示层间预测中的参考关系。在这种情况下，参考基本层(基本层)中的相应图片，编码增强层1(Ext 1层)中的每个图片。另外，参考增强层1(Ext 1Layer)中的相应图片，编码增强层2(Ext 2层)中的每个图片。
图9示出了编码器102的编码处理部分的示例性配置。该示例性配置对应于包括基本层(基本层)和一个增强层(Ext 1层)的示例性层配置(参考图8的(a))。
编码器102包括分块电路121、减法电路122、运动预测/运动补偿电路123、整数变换/量化电路124、逆量化/逆整数变换电路125、加法电路126、环路滤波器127、存储器128和熵编码电路129。
另外，编码器102包括分块电路131、减法电路132、运动预测/运动补偿电路133、层间预测/层间补偿电路134、混合补偿电路135、切换电路136和137、整数变换/量化电路138、逆量化/逆整数变换电路139、加法电路140、环路滤波器141、存储器142和熵编码电路143。
基本帧速率图像数据Qb被输入到分块电路121。分块电路121将包括在图像数据Qb中的每个图像的图像数据划分成均是编码处理单元(宏块：MB)的块。每个块依次提供给减法电路122。运动预测/运动补偿电路123基于存储在存储器128中的参考图片图像数据，获取已经针对每个块执行了运动补偿的预测参考块。
由运动预测/运动补偿电路123获取的每个预测参考块依次提供给减法电路122。减法电路122利用由分块电路121获取的每个块的预测参考块执行减法处理，以获取预测误差。由整数变换/量化电路124对每个块的预测误差进行整数变换(例如，DCT变换)，然后量化。
由整数变换/量化电路124获取的每个块的量化数据提供给逆量化/逆整数变换电路125。逆量化/逆整数变换电路125执行逆量化，并且进一步对量化数据执行逆整数变换，以获取预测残差。预测残差被提供给加法电路126。
加法电路126将预测残差与已经执行运动补偿的预测参考块相加，以获取块。环路滤波器127从块中去除量化噪声，然后，该块累积在存储器128中。
另外，由整数变换/量化电路124获取的每个块的量化数据提供给熵编码电路129，然后，执行熵编码，使得获取基本流STb，作为基本帧速率图像数据Qb的预测编码结果。注意，基本流STb添加有关于例如每个块中的运动矢量的信息，作为MB报头信息，用于在接收侧进行解码。
另外，高帧速率图像数据Qe输入到分块电路131。分块电路131将包含在图像数据Qe中的每个图片的图像数据分为均是编码处理单元的块(宏块：MB)。每个块依次提供给减法电路132。
运动预测/运动补偿电路133基于存储在存储器142中的参考图片图像数据来获取已经执行了运动补偿的用于层内预测的预测参考块。由混合补偿电路135获取的混合补偿后的图像数据或存储在存储器128中的图像数据作为参考图片图像数据从切换电路136选择性地提供给层间预测/层间补偿电路134。在这种情况下，甚至在对基本层执行预测编码处理的情况下，可以不通过混合补偿电路135来执行处理。层间预测/层间补偿电路134基于参考图片图像数据获取每个块的已经执行了运动补偿的预测参考块。
来自存储器128的参考图片数据(基本帧速率图像数据)提供给混合补偿电路135。另外，混合补偿电路135提供有分块电路131的输出，即预测源图片图像数据(高帧速率图像数据)。注意，同步地执行基本层的图片处理和增强层的图片处理。
通过高帧速率图像数据，混合补偿电路135对基本帧速率图像数据执行与混合处理相逆的处理，以获取图像数据作为混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，该图像数据包括另一侧图片的图像数据。
然后，在这种情况下，混合补偿电路135获取由分块电路131获取的每个块(预测块)的混合补偿后的图像数据。在这种情况下，获取比块更大的范围的图像数据，作为混合补偿后的图像数据。即，在混合补偿处理中，根据运动矢量移动待预测的对象的范围来计算关于块的外围的数据。
图10示出了混合补偿电路135的示例性配置。混合补偿电路135包括乘法单元151和152以及加法单元153。当高帧速率图像数据包括以时间上连续的两个图片为单位的在奇数位置处的图片的图像数据和在偶数位置处的图片的图像数据时，乘法单元151相应地将参考图片图像数据(基本帧速率图像数据[αA+βB])乘以系数(1/β)和系数(1/α)。
类似地，当高帧速率图像数据包括以时间上连续的两个图片为单位的在奇数位置处的图片的图像数据和在偶数位置处的图片的图像数据时，乘法单元152相应地将预测源图片图像数据(高帧速率增强帧图像数据[A]和[B])乘以系数(-α/β)和系数(-β/α)。然后，加法单元153将乘法单元151的输出和乘法单元152的输出相加，以获取混合补偿后的图像数据[B]和[A]。
此处，在混合处理中，α是与以时间上连续的两个图片为单位的奇数位置处的图像数据A相乘的系数，并且β是在混合处理与以时间上连续的两个图片为单位的偶数位置处的图像数据B相乘的系数(参考图5)。
返回参考图9，切换电路137以块为单位或以图片为单位，选择由运动预测/运动补偿电路133获取的用于层内预测的预测参考块或由层间预测/层间补偿电路134获取的用于层间预测的预测参考块，以提供给减法电路132。例如，切换电路137切换以减少残余分量。另外，例如，切换电路137强制地切换到顺序中的边界的一侧。
减法电路132对由分块电路131获取的每个块与预测参考块执行减法处理，以获取预测误差。由整数变换/量化电路138对每个块的预测误差进行整数变换(例如，DCT变换)，然后量化。
由整数变换/量化电路138获取的每个块的量化数据提供给逆量化/逆整数变换电路139。逆量化/逆整数变换电路139对量化数据执行逆量化，并且进一步执行逆整数变换，以获取预测残差。每个块的预测误差提供给加法电路140。
将由切换电路137选择的预测参考块提供给加法电路140。加法电路140将预测残差与已经进行了运动补偿的预测参考块相加，以获取块。环路滤波器141从块中去除量化噪声，然后，该块累积在存储器142中。
另外，由整数变换/量化电路138获取的每个块的量化数据提供给熵编码电路143，然后执行熵编码，使得获取增强流Ste，作为高帧速率图像数据Qe的预测编码结果。注意，增强流Ste添加有关于例如每个块中的运动矢量和预测参考块的切换的信息，作为MB块信息，用于在接收侧进行解码。
图11也示出了编码器102的编码处理部分的示例性配置。该示例性配置对应于包括基本层(基本层)和两个增强层(Ext 1层和Ext 2层)(参考图8的(b)和图8的(c))的示例性层配置。在图11中，与图9的部分对应的部分用相同的附图标记表示，因此将适当地省略其详细描述。
编码器102包括分块电路121、减法电路122、运动预测/运动补偿电路123、整数变换/量化电路124、逆量化/逆整数变换电路125、加法电路126、环路滤波器127、存储器128和熵编码电路129。
另外，编码器102包括切换电路130、分块电路131A、减法电路132A、运动预测/运动补偿电路133A、层间预测/层间补偿电路134A、混合补偿电路135A、切换电路136A和137A、整数变换/量化电路138A、逆量化/逆整数变换电路139A、加法电路140A、环路滤波器141A、存储器142A和熵编码电路143A。
另外，编码器102包括分块电路131B、减法电路132B、运动预测/运动补偿电路133B、层间预测/层间补偿电路134B、混合补偿电路135B、切换电路136B和137B、整数变换/量化电路138B、逆量化/逆整数变换电路139B、加法电路140B、环路滤波器141B、存储器142B、熵编码电路143B以及切换电路145和146。
对基本帧速率图像数据Qb的编码处理，即基本层(基本层)的编码处理，类似于图9的编码器102的编码处理部分的示例性配置中的编码处理，因此将省略其详细描述。对高帧速率图像数据Qe执行的编码处理分为增强层1的编码处理和增强层2的编码处理。
切换电路130将高帧速率图像数据Qe的每个图片的图像数据分配给待在增强层1的编码处理中处理的图片的图像数据或在增强层2的编码处理中处理的图片的图像数据。在这种情况下，以时间上连续的两个图片为单位的在奇数位置处的图片的图像数据A提供给用于增强层1的编码处理的系统。
在图11中，用于增强层1的编码处理的系统包括用“A”表示的附图标记所表示的各个电路。用于增强层1的编码处理的系统具有的配置与用于图9的编码器102的编码处理部分的示例性配置中的增强层的编码处理的系统的配置类似，并且从熵编码电路143A获取增强层1的编码流。
注意，用于增强层1的编码处理的系统执行利用基本层的预测编码处理或者在增强层1中的预测编码处理。甚至在执行利用基本层的预测编码处理的情况下，可以通过切换电路136A的切换，执行不通过混合补偿电路135A的处理。
另外，在图11中，用于增强层2的编码处理的系统包括用“B”表示的附图标记所表示的各个电路。用于增强层2的编码处理的系统具有的配置与用于图9的编码器102的编码处理部分的示例性配置中的增强层的编码处理的系统的配置类似，并且从熵编码电路143B获取增强层1的编码流。
注意，用于增强层2的编码处理的系统执行利用基本层的预测编码处理、利用增强层1的预测编码处理或者增强层2中的预测编码处理。在执行利用基本层的预测编码处理时，切换电路145选择存储器128的输出。另一方面，在执行利用增强层1的预测编码处理的情况下，切换电路145选择存储器142A的输出。甚至在执行利用基本层的预测编码处理的情况下，也可以通过切换电路136B的切换，执行不通过混合补偿电路135B的处理。
切换电路146将由熵编码电路143A获取的增强层1的编码流和由熵编码电路143B获取的增强层2的编码流组合，使得获取增强流Ste，作为高帧速率图像数据Qe的预测编码结果。
如上所述，由混合补偿电路135获取的混合补偿后的图像数据用作层间预测编码处理中的参考图片图像数据，使得可以减少预测残差。
图12通过比较示出在不进行混合处理的情况(1)下的示例性预测残差和在进行混合处理的情况(2)下的示例性预测残差，混合处理的系数示例性地满足以下表达式：α＝1/2(因此，β＝1/2)。“第(n)”和“第(n+1)”表示在时间上前后相邻关系中的图片(帧)。此处，“第(n+1)”图片形成预测源图片，“第(n)”图片形成参考图片。“第(n)混合”的图片指示已经执行了混合处理的参考图片。
预测源图片中具有点划线的矩形框表示预测块(处理单元中的块)的范围，并且参考图片中具有点划线的矩形框表示对应于预测块的范围的参考块的范围。另外，参考图片中具有虚线的矩形框表示已经由运动矢量mv执行运动补偿的参考块的范围。注意，为了简化，在该示例中，处理单元中的块包括4×4块。处理单元不限于此，因此可以是大于4×4块的块。
在不进行混合处理的情况下，在图示中的输入序列中，参考在“第(n+1)”图片与“第(n)”图片之间的运动矢量进行预测，使得“(n+1)-(n)”的预测残差变为零。与此相反，在进行混合处理的情况下，在“第(n+1)”图片与通过对相似的输入序列执行混合处理而获取的“第(n)混合”的图片之间进行预测时，即使参考运动矢量执行预测，“(n+1)-混合(n)”的预测残差也不会变为零，并且会出现某种残差分量。
图13示出了对作为参考图片的“第(n)混合”的图片执行混合补偿的示例性情况，上述混合处理的系数满足以下表达式：α＝1/2(因此，β＝1/2)。图中的示例对应于图10所示的混合补偿电路135中的预测源图片是“B”的情况。注意，将省略对于预测源图片是“A”的情况的描述。在这种情况下，将“第(n)混合”的图片乘以2(＝1/α)，将“第(n)混合”的图片乘以-1(＝-β/α)，使得获取在混合处理之前的“第(n)”图片，作为混合补偿后的图片(图像数据)。
图14示出了在使用混合补偿后的图片(图像数据)的情况下的示例性预测残差。在这种情况下，参考“第(n+1)”图片与“第(n)输出”的混合补偿后的图片之间的运动矢量执行预测，使得“(n+1)-(n)”的预测残差变为零，与图12的(1)中不执行混合处理的情况类似。
另外，图15通过比较示出在不进行混合处理的情况(1)下的示例性预测残差和在进行混合处理的情况(2)下的示例性预测残差，混合处理的系数示例性地满足以下表达式：α＝2/3(因此，β＝1/3)。“第(n)”和“第(n+1)”表示在时间上前后相邻关系中的图片(帧)。此处，“第(n+1)”图片形成预测源图片，“第(n)”图片形成参考图片。“第(n)混合”的图片指示已经执行了混合处理的参考图片。
预测源图片中具有点划线的矩形框表示预测块(处理单元中的块)的范围，并且参考图片中具有点划线的矩形框表示对应于预测块的范围的参考块的范围。另外，参考图片中具有虚线的矩形框表示已经由运动矢量mv执行运动补偿的参考块的范围。注意，为了简化，在该示例中，处理单元中的块包括4×4块。处理单元不限于此，因此可以是大于4×4块的块。
在不进行混合处理的情况下，在图示中的输入序列中，参考“第(n+1)”图片与“第(n)”图片之间的运动矢量进行预测，使得“(n+1)-(n)”的预测残差变为零。与此相反，在进行混合处理的情况下，在“第(n+1)”图片与通过对相似的输入序列执行混合处理而获取的“第(n)混合”的图片之间进行预测时，即使参考运动矢量执行预测，“(n+1)-混合(n)”的预测残差也不会变为零，并且会出现某种残差分量。
图16示出了对作为参考图片的“第(n)混合”的图片和作为预测源图片的第(n+1)图片执行混合补偿的示例性情况，上述混合处理的系数满足以下表达式：α＝2/3(因此，β＝1/3)。图中的示例对应于图10所示的混合补偿电路135中的预测源图片是“B”的情况。注意，将省略对于预测源图片是“A”的情况的描述。在这种情况下，将“第(n)混合”的图片乘以3/2(＝1/α)，将“第(n)混合”的图片乘以-1/2(＝-β/α)，使得获取在混合处理之前的“第(n)”图片，作为混合补偿后的图片(图像数据)。
图17示出了在使用混合补偿后的图片(图像数据)的情况下的示例性预测残差。在这种情况下，参考“第(n+1)”图片与“第(n)输出”的混合补偿后的图片之间的运动矢量执行预测，使得“(n+1)-(n)”的预测残差变为零，与图15的(1)中不执行混合处理的情况类似。
以这种方式，使用混合补偿后的图像数据，作为参考图片图像数据，从而可以减少预测残差。注意，上述示例给出了两个示例，其中，混合处理的系数满足以下表达式：α＝1/2和β＝1/2，或者α＝2/3和β＝1/3。通过省略详细描述，甚至在混合处理的系数满足不同的表达式的情况下，也进行类似的处理。
返回参考图4，编码器102将混合处理中的混合比率信息插入到增强流的层中。在接收侧执行增强流的解码处理时，在混合补偿处理中使用混合比率信息。另外，在增强流的每个存取单元中，编码器102插入相位信息，相位信息指示存取单元对应于时间上连续的两个图片中的哪个。在接收侧执行增强流的解码处理时，在混合补偿处理中使用相位信息。这是因为基于与在时间上连续的两个图片(参考图10)中的哪个的对应，在混合补偿处理中的系数之间需要切换。
根据本实施例，具有混合比率信息和相位信息的SEI NAL单元插入到增强流的每个存取单元中，或者混合比率信息和相位信息插入到增强流的每个存取单元的PPS NAL单元中。
在具有混合比率信息和相位信息的SEI NAL单元插入到增强流的每个存取单元中的情况下，编码器102将最新定义的逆混合层预测SEI(inverse_blending_layer_prediction_SEI)插入到每个存取单元(AU)的“SEI”的部分中。
图18的(a)示出了逆混合层预测SEI的示例性结构(语法)，并且图18的(b)示出了示例性结构中的主要信息的描述(语义)。“blend_coef_alpha”的4位字段表示系数α。“blend_coef_beta”的4位字段表示系数β。“picture_phase”的1位字段表示图片的相位。例如，“1”表示奇数位置，“0”表示偶数位置。
另外，在混合比率信息和相位信息插入到增强流的每个存取单元的PPS NAL单元中的情况下，编码器102将混合比率信息和相位信息定义在PPS(Picture_parameter_set)的扩展部分中。
图19的(a)示出了PPS的示例性结构(语法)，并且图19的(b)示出了示例性结构中的主要信息的描述(语义)。“pps_blend_info_extention_flag”的1位字段是标记信息，其指示扩展部分中是否存在混合比率信息和相位信息。例如，“1”表示存在，“0”表示不存在。
当“pps_blend_info_extention_flag”是“1”时，存在“pps_blend_info_extention()”的字段。图19的(c)示出了“pps_blend_info_extention()”的示例性结构(语法)。“blend_coef_alpha”的4位字段表示系数α。“blend_coef_beta”的4位字段表示系数β。“picture_phase”的1位字段表示图片的相位。例如，“1”表示奇数位置，“0”表示偶数位置。
返回参考图4，多路复用器103执行打包的基本流(PES)包化，并且进一步对由编码器102生成的基本流STb和增强流STe执行传输包化，以执行多路复用，使得获取传输流TS，作为多路复用流。
另外，多路复用器103将指示包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据的标识信息插入到传输流TS的层中。在这种情况下，多路复用器103在节目映射表下将最近定义的视频可伸缩性信息描述符(video_scalability_information_descriptor)插入到对应于增强流设置的视频基本流循环中。
图20的(a)示出了视频可伸缩性(scalability，可扩展性，可缩放性)信息描述符的示例性结构(语法)。图20的(b)示出了示例性结构中的主要信息的描述(语义)。“video_scalability_information_descriptor_tag”的8位字段表示描述符的类型，并且此处表示视频可伸缩性信息描述符。“video_scalability_information_descriptor_length”的8位字段指示描述符的长度(大小)，并且指示随后的字节长度，作为描述符的长度。
“temporal_scalable_flag”的1位字段是指示该流是否是时间可缩放的标记信息。例如，“1”表示是时间可缩放的，而“0”表示不是时间可缩放的。“picture_blending_for_base_stream_flag”的1位字段是指示是否已经对基本流执行图像混合处理的标记信息。例如，“1”表示已经执行了混合处理，“0”表示没有执行混合处理。
当“picture_blending_for_base_stream_flag”为“1”时，存在“blend_coef_alpha”的4位字段、“blend_coef_beta”的4位字段以及“picture_phase”的1位字段。“blend_coef_alpha”的字段表示系数α。“blend_coef_beta”的字段表示系数β。“picture_phase”的字段表示图片的相位。
图21示出了传输流TS的示例性配置。传输流TS包括作为基本流STb和增强流Ste的两个视频流。即，在示例性配置中，存在基本流STb的PES包“视频PES1”，并且另外存在增强流STe的PES包“视频PES2”。
将逆混合层预测SEI(参考图18的(a))插入到将包含在PES包“视频PES2”中的每个图片的编码图像数据中。注意，可以将混合比率信息和相位信息插入到PPS的扩展部分中，而不是插入逆混合层预测SEI。
另外，传输流TS包括节目映射表(PMT)，作为一个节目特定信息(PSI)。PSI是描述传输流中包括的每个基本流属于哪个节目的信息。
PMT包括节目循环(节目循环)，用于描述与所有节目有关的信息。另外，PMT包括具有与存在的每个视频流有关的信息的基本流循环。示例性配置包括存在的对应于基本流的视频基本流循环“视频ES1循环”，并且另外包括存在的对应于增强流的视频基本流循环“视频ES2循环”。
“视频ES1循环”包括与基本流(视频PES1)对应地设置的诸如流类型和包标识符(PID)的信息，另外，包括描述与所述视频流有关的信息的描述符。流类型设置为表示基本流的“0x24”。
另外，“视频ES2循环”包括与增强流(视频PES2)对应地设置的诸如流类型和包标识符(PID)等信息，另外，包括描述与所述视频流有关的信息的描述符。流类型设置为表示增强流的“0x2x”。另外，插入视频可伸缩性信息描述符(参考图19的(a))，作为一个描述符。
返回参考图4，发送单元104通过适合于广播的调制方案(例如，QPSK/OFDM)来调制传输流TS，以从发送天线发送RF调制信号。
将简单描述图4中所示的发送装置100的操作。120fps的图像数据P输入预处理器101内。然后，预处理器101输出基本帧速率图像数据Qb和高帧速率图像数据Qe。
此处，预处理器101在120fps的图像数据P中以时间上连续的两个图片为单位执行混合处理，以获取基本帧速率图像数据Qb。另外，预处理器101保持原样输出120fps的图像数据P，作为高帧速率图像数据Qe。
由预处理器101获取的图像数据Qb和图像数据Qe提供给编码器102。编码器102对图像数据Qb和图像数据Qe执行编码处理，以分别生成基本流STb和增强流STe。在这种情况下，对基本帧速率图像数据Qb执行基本帧速率图像数据的预测编码处理，使得获取基本流STb。另外，对高帧速率图像数据Qe适当地执行利用基本帧速率图像数据Qb的预测编码处理或高帧速率图像数据的预测编码处理，以便获取增强流STe。在利用基本帧速率图像数据Qb的预测编码处理中，使用混合补偿后的图像数据，以减少预测残差。
另外，编码器102将混合处理中的混合比率信息插入到增强流的层中，并且还将指示存取单元对应于在时间上连续的两个图片中的哪个图片的相位信息插入到增强流的每个存取单元中。具体地，将逆混合层预测SEI(参考图18的(a))插入到增强流的每个单元的“SEI”部分中，或者混合比率信息和相位信息插入到增强流的每个存取单元的PPS的扩展部分(参考图19的(a))中。
由编码器102生成的基本流STb和增强流STe提供给多路复用器103。多路复用器103执行PES包化，并且进一步对基本流STb和增强流STe执行发送包化，以便执行多路复用，使得获取传输流TS，作为多路复用流。
另外，多路复用器103将指示包括在基本流STb中的图像数据包括通过执行混合处理而获取的图像数据的标识信息插入到传输流TS的层中。具体地，在节目映射表下，将视频可伸缩性信息描述符(参考图20的(a))插入到对应于增强流STe设置的视频基本流循环中。
由多路复用器103生成的传输流TS发送到发送单元104。发送单元104通过适合于广播的调制方案(例如，QPSK/OFDM)来调制传输流TS，以便从发送天线发送RF调制信号。
[接收装置的配置]
图22示出对120fps运动图像数据具有可解码处理能力的接收装置200A的示例性配置。接收装置200A包括接收单元201、多路分用器202、解码器203和显示处理器205。
接收单元201解调由接收天线接收的RF调制信号，以获取传输流TS。多路分用器202通过过滤PID，从发送流TS中提取基本流STb和增强流STe，从而将基本流STb和增强流STe提供给解码器203。
另外，多路分用器202提取包括在传输流TS的层中的区段信息，以将区段信息发送到未示出的控制单元。在这种情况下，还提取视频可伸缩性信息描述符(参考图20的(a))。利用这种设置，控制单元例如识别出包括在基本流STb中的图像数据包括通过执行混合处理而获取的图像数据。解码器203对基本流STb和增强流STe执行解码处理，以获取高帧速率图像数据Qe'。
另外，解码器203例如提取插入到包括在基本流STb或增强流STe中的每个存取单元中的参数集和SEI，以将参数集和SEI发送到未示出的控制单元。在这种情况下，还提取具有混合比率信息和相位信息的逆混合层预测SEI(参考图18的(a))或者在扩展部分中具有混合信息和相位信息的PPS。利用这种设置，控制单元识别混合处理中的系数α和β以及每个存取单元对应于时间上连续的两个图片中的哪一个。混合比率信息和相位信息用于在解码处理中对基本帧速率图像数据执行混合补偿。
图23示出了解码器203的解码处理部分的示例性配置。示例性配置对应于包括基本层(基本层)和一个增强层(Ext 1层)的示例性层配置(参考图8的(a))。
解码器203包括熵解码电路211、逆量化/逆整数变换电路212、运动补偿电路213、加法电路214、环路滤波器215和存储器216。另外，解码器203包括熵解码电路221、逆量化/逆整数变换电路222、运动补偿电路223、层间补偿电路224、混合补偿电路225、切换电路226、加法电路227、切换电路228、环路滤波器229和存储器230。
熵解码电路211对基本流STb执行熵解码，以获取基本层中的每个块的量化数据。量化数据提供给逆量化/逆整数变换电路212。逆量化/逆整数变换电路212对量化数据执行逆量化，并且进一步执行逆整数变换，以获取预测残差。每个块的预测残差提供给加法电路214。
运动补偿电路213基于存储在存储器216中的参考图片图像数据来获取已经执行了运动补偿的补偿参考块。此处，利用作为MB报头信息包括的运动矢量，来执行运动补偿。加法电路214将补偿后的参考块与预测残差相加，以获取包括在基本帧速率图像数据Qb'中的块。
环路滤波器125以这种方式从由加法电路214获取的块中去除量化噪声，然后，该块累积在存储器216中。然后，从存储器216读取累积的数据，可以获取基本帧速率图像数据Qb'。
熵解码电路221对增强流STe进行熵解码，以获取增强层中的每个块的量化数据。量化数据提供给逆量化/逆整数变换电路222。逆量化/逆整数变换电路222对量化数据执行逆量化，并进一步执行逆整数变换，以获取预测残差。每个块的预测残差提供给加法电路227。
运动补偿电路223基于存储在存储器230中的参考图片图像数据来获取已经执行了运动补偿的用于层内补偿的补偿参考块。此处，利用作为MB报头信息包括的运动矢量，来执行运动补偿。
切换电路226将由混合补偿电路225获取的混合补偿后的图像数据或存储在存储器216中的图像数据作为参考图片图像数据选择性地提供给层间补偿电路224。层间补偿电路224基于参考图片图像数据，获取补偿参考块以用于通过运动补偿执行的层间补偿并进一步乘以预测系数用于减小预测残差。此处，利用作为MB报头信息包括的运动矢量，来执行运动补偿，并且也基于作为MB报头信息包括的切换信息，来执行图像数据切换。
从存储器216向混合补偿电路225提供参考图片图像数据(基本帧速率图像数据)。另外，预测源图片图像数据(高帧速率图像数据)从存储器230提供到混合补偿电路225。注意，同步地执行基本层的图片处理和增强层的图片处理。
混合补偿电路225利用高帧速率图像数据，对基本帧速率图像数据执行与混合处理相逆的处理，以获取图像数据作为混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，该图像数据包括另一侧图片的图像数据。混合处理电路225具有与上述发送装置100(参考图10)中的编码器102中的混合补偿电路135的配置类似的配置，并且如上所述由控制单元识别的混合比率信息和相位信息用于混合补偿电路135的处理中。
切换电路228以块为单位选择由运动补偿电路223获取的用于层内补偿的补偿参考块或由层间补偿电路224获取的用于层间补偿的补偿参考块，以便提供给加法电路227。此处，根据MB报头信息执行切换。
加法电路227将补偿的参考块与预测残差相加，以获取包含在高帧速率增强帧图像数据Qe'中的块。环路滤波器229从以这种方式由加法电路227获取的块中去除量化噪声，然后，该块累积在存储器230中。然后，从存储器230读取累积的数据，获取高帧速率增强帧图像数据Qe'。
图24也示出了解码器203的解码处理部分的示例性配置。该示例性配置对应于包括基本层(基本层)和两个增强层(Ext 1层和Ext 2层)的示例性层配置(参考图8的(b)和8的(c))。在图24中，与图23的部分对应的部分用相同的附图标记表示，因此，将适当地省略其详细描述。
解码器203包括熵解码电路211、逆量化/逆整数变换电路212、运动补偿电路213、加法电路214、环路滤波器215和存储器216。另外，解码器203包括切换电路220、熵解码电路221A、逆量化/逆整数变换电路222A、运动补偿电路223A、层间补偿电路224A、混合补偿电路225A、切换电路226A、加法电路227A、切换电路228A、环路滤波器229A和存储器230A。
另外，解码器203包括切换电路231、熵解码电路221B、逆量化/逆整数变换电路222B、运动补偿电路223B、层间补偿电路224B、混合补偿电路225B、切换电路226B、加法电路227B、切换电路228B、环路滤波器229B、存储器230B以及切换电路231和232。
对基本流STb的解码处理，即，基本层(基本层)的解码处理，与图23的解码器203的解码处理部分的示例性配置中的处理类似，因此，将省略其详细描述。对增强流STe的解码处理分为增强层1的解码处理和增强层2的解码处理。
切换电路220将增强流STe分为在增强层1(编码图像数据)的解码处理中要处理的图片的存取单元以及在增强层2(编码的图像数据)的解码处理中要处理的图片的存取单元。此处，在增强层1的解码处理中要处理的图片的存取单元都是在时间上连续的两个图片中的奇数位置处的图片的存取单元。另外，在增强层2的解码处理中要处理的图片的存取单元都是在时间上连续的两个图片中的偶数位置处的图片的存取单元。
在图24中，用于增强层1的解码处理的系统包括用“A”表示的附图标记所表示的各个电路。用于增强层1的解码处理的系统具有的配置与用于图23的解码器203的解码处理部分的示例性配置中的增强层的解码处理的系统的配置类似，并且从存储器230A中读取累积的数据，依次获取在高帧速率的图片的图像数据中在时间上连续的两个图片中的奇数位置处的图片的图像数据。注意，用于增强层1的解码处理的系统执行利用基本层的补偿处理或在增强层1中的补偿处理。
在图24中，用于增强层2的解码处理的系统包括用“B”表示的附图标记表示的各个电路。用于增强层2的解码处理的系统具有与用于图23的解码器203的解码处理部分的示例性配置中的增强层的解码处理的系统的配置类似的配置，并且从存储器230B中读取累积的数据，依次获取在高帧速率的图片的图像数据中在时间上连续的两个图片中的偶数位置处的图片的图像数据。
注意，用于增强层2的解码处理的系统执行关于基本层的补偿处理、关于增强层1的预测编码处理或增强层2中的补偿处理。在执行关于基本层的补偿处理的情况下，切换电路231选择存储器216的输出。同时，在执行关于增强层1的补偿处理的情况下，切换电路231选择存储器230A的输出。
因此，依次进行获取。
切换电路232将从存储器230A读取的奇数位置处的图片的图像数据和从存储器230B读取的偶数位置处的图片的图像数据组合，从而获取高帧速率图像数据Qe'。
返回参考图22，显示处理器205根据需要在时间上执行内插处理，即对高帧速率图像数据Qe'进行帧内插处理，并且获取帧速率图像数据，帧速率高于120fps，从而将该帧速率图像数据提供给显示单元。
将简单描述图22所示的接收装置200A的操作。接收单元201解调由接收天线接收的RF调制信号，以获取传输流TS。传输流TS发送到多路分用器202。多路分用器202通过过滤PID来从传输流TS中提取基本流STb和增强流STe，以便向解码器203提供基本流STb和增强流STe。
另外，多路分用器202提取包括在传输流TS的层中的区段信息，以将区段信息发送到未示出的控制单元。也提取视频可缩放性信息描述符(参考图20的(a))。利用这种设置，控制单元例如识别出包括在基本流STb中的图像数据包括通过执行混合处理而获取的图像数据。
解码器203对基本流STb和增强流STe执行解码处理，以获取高帧速率图像数据Qe'。另外，解码器203例如提取插入到包括在基本流STb或增强流STe中的每个存取单元中的参数集和SEI，以便将参数集和SEI发送到未示出的控制单元。利用这种设置，控制单元识别混合处理中的系数α和β以及每个存取单元对应于时间上连续的两个图片中的哪一个。混合比率信息和相位信息用于在解码处理中对基本帧速率图像数据执行混合补偿。
将由解码器203获取的高帧速率图像数据Qe'提供给显示处理器205。根据需要，对高帧速率图像数据Qe'进行时间上的内插处理，即帧内插处理，以便获取帧速率图像数据，帧速率高于120fps。图像数据提供给显示单元，从而执行图像显示。
图25示出对60fps运动图像数据具有可解码处理能力的接收装置200B的示例性配置。在图25中，用相同的附图标记表示与图22的部分对应的部分，因此，适当地省略详细描述。接收装置200B包括接收单元201、多路分用器202B、解码器203B和显示处理器205B。
接收单元201解调由接收天线接收的RF调制信号，以获取传输流TS。多路分用器202B通过过滤PID来从传输流TS中仅提取基本流STb，以便将基本流STb提供给解码器203B。
解码器203B对基本流STb执行解码处理，以获取基本帧速率图像数据Qb。显示处理器205B对60fps的图像数据Qb进行时间上的内插处理，即帧内插处理，从而获取帧速率图像数据，帧速率高于60fps。图像数据提供给显示单元，从而执行图像显示。
如上所述，图1所示的发送和接收系统10通过在120fps的图像数据P中以在时间上连续的两个图片为单位执行混合处理来获取基本帧速率图像数据Qb，其中，基本帧速率是60fps，然后，发送通过对基本帧速率图像数据Qb执行预测编码处理而获取的基本流STb。因此，例如，在接收侧提供对基本帧速率图像数据可解码处理能力的情况下，通过处理基本流STb而获取基本帧速率图像数据，可以将平滑图像显示为运动图像，另外，通过显示处理中的低负荷计算的帧内插处理可以避免引起图像质量的问题。
另外，图1所示的发送和接收系统10发送包括高帧速率图像数据Qe的增强流STe。因此，对高帧速率图像数据具有可解码处理能力的接收机处理增强流STe并获取高帧速率图像数据，从而可以有利地执行高帧速率的图像显示。
另外，在参考基本帧速率图像数据Qb对高帧速率图像数据Qe进行预测编码的情况下，图1所示的发送和接收系统10对基本帧速率图像数据Qb执行混合补偿处理，并将混合补偿后的图像数据用作参考图像数据。因此，在对高帧速率图像数据Qe进行预测编码时，可以减少预测残差。
另外，图1所示的发送和接收系统10将混合处理中的混合比率信息插入到增强流的层中。因此，在接收侧，利用混合比率信息可以容易且适当地执行与混合处理相逆的处理。
另外，图1所示的发送和接收系统10在增强流的每个存取单元中插入指示存取单元对应于时间上连续的两个图片中的哪一个的相位信息。因此，在接收侧，可以利用相位信息适当地切换与混合处理相逆的处理(混合补偿处理)中的系数，从而可以容易且适当地执行处理。
<2、修改>
注意，根据上述实施例，已经给出了整个帧速率是120fps并且基本帧速率是60fps的示例，但是帧速率的组合不限于此。例如，以100fps和50fps的组合进行类似的方式。
另外，根据上述实施例，已经给出了包括发送装置100和接收装置200的发送和接收系统10，但是通过本技术的应用获取的发送和接收系统的配置不限于此。例如，接收装置200的一部分可以包括通过诸如高分辨率多媒体接口(HDMI)等数字接口连接的机顶盒和显示器。注意，“HDMI”是注册商标。
另外，根据上述实施例，已经给出了容器是传输流(MPEG-2TS)的示例。然而，本技术可以类似地应用于具有通过诸如互联网等网络对接收终端进行分发的配置的系统。在互联网的分发中，使用MP4和其他格式的容器进行分发。即，容器的示例包括各种格式的容器，例如，数字广播标准中采用的传输流(MPEG-2TS)和MPEG媒体传输(MMT)以及互联网分发中使用的ISOBMFF(MP4)。
另外，本技术可以具有以下配置。
(1)一种发送装置，包括：
图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，所述图像编码单元被配置为获取增强流，所述增强流包括在高帧速率图像数据中的每个图片的编码图像数据作为存取单元；和
发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。
(2)根据(1)所述的发送装置，还包括：
信息插入单元，其被配置为将混合处理中的混合比率信息插入到增强流的层中。
(3)根据(2)所述的传动装置，
其中，所述基本流和所述增强流均具有NAL单元结构，并且
所述信息插入单元将具有混合比率信息的SEI NAL单元插入到增强流中。
(4)根据(2)所述的发送装置，
其中，所述基本流和所述增强流均具有NAL单元结构，并且
所述信息插入单元将混合比率信息插入到增强流的PPS NAL单元中。
(5)根据(1)到(4)中任一项所述的发送装置，还包括：
信息插入单元，其被配置为向增强流的每个存取单元插入相位信息，指示存取单元对应于时间上连续的两个图片中的哪个图片。
(6)根据(1)到(5)中任一项所述的发送装置，还包括：
信息插入单元，其被配置为向容器的层中插入标识信息，指示包括在基本流中的图像数据包括通过执行混合处理而获取的图像数据。
(7)根据(1)到(6)中任一项所述的发送装置，其中，所述图像编码单元对基本帧速率图像数据执行用于基本帧速率图像数据的预测编码处理，以便获取所述基本流，所述图像编码单元被配置为利用高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，以便获取图像数据作为混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所获取的图像数据包括另一侧图片的图像数据，所述图像编码单元被配置为利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，以便获取增强流。
(8)根据(7)所述的发送装置，其中，所述图像编码单元针对高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。
(9)一种发送方法，包括：
图像编码步骤，获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且获取增强流，所述增强流包括在高帧速率图像数据中的每个图片的编码图像数据作为存取单元；和
发送步骤，用于以预定格式发送容器，所述容器包括所述基本流和所述增强流。
(10)一种接收装置，包括：
接收单元，其被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理单元，其被配置为仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据，
其中，当对所述增强流进行解码处理时，所述处理单元利用通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。
(11)根据(10)所述的接收装置，
其中，所述增强流的层包括插入的混合处理中的混合比率信息，并且
所述处理单元在执行与混合处理相逆的处理时使用混合比率信息。
(12)根据(10)或(11)所述的接收装置，
其中，所述增强流中的每个存取单元包括插入的相位信息，指示存取单元对应于时间上连续的两个图片中的哪个图片，并且
所述处理单元在执行与混合处理相逆的处理时使用相位信息。
(13)一种接收方法，包括：
接收步骤，用于接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对高帧速率图像数据执行预测编码处理，来获取所述增强流，以高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理步骤，用于仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据，
其中，在处理步骤中，当对所述增强流进行解码处理时，利用通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，并且
所述混合补偿后的图像数据用作参考图像数据。
(14)一种接收装置，包括：
接收单元，其被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取所述基本流，对高帧速率图像数据执行编码处理，来获取所述增强流；以及
处理单元，其被配置为仅处理所述基本流，以便获取基本帧速率图像数据，或者处理所述基本流和所述增强流，以便获取高帧速率图像数据。
本技术的主要特征如下：在120fps的图像数据P中以时间上连续的两个图片为单位执行混合处理，从而获取基本帧速率图像数据Qb，基本帧速率是60FPS。包括基本帧速率图像数据Qb的基本流STb与包括高帧速率图像数据Qe的增强流STe一起发送，高帧速率是120fps，使得可以通过实现的向下兼容性有利地发送高帧速率图像数据(参见图3和9)。
附图标记列表
10 发送和接收系统
100 发送装置
101 预处理器
102 编码器
103 多路复用器
104 发送单元
111、114 延迟电路
112 计算电路
113 锁存电路
121 分块电路
122 减法电路
123 运动预测/运动补偿电路
124 整数变换/量化电路
125 逆量化/逆整数变换电路
126 加法电路
127 环路滤波器
128 存储器
129 熵编码电路
130切换电路
131、131A、131B 分块电路
132、132A、132B 减法电路
133、133A、133B 运动预测/运动补偿电路
134、134A、134B 层间预测/层间补偿电路
135、135A、135B 混合电路
136、136A、136B、137、137A、137B 切换电路
138、138A、138B 整数变换/量化电路
139、139A、139B 逆量化/逆整数变换电路
140、140A、140B 加法电路
141、141A、141B 环路滤波器
142、142A、142B 存储器
143、143A、143B 熵编码电路
145、146 切换电路
151、152 乘法单元
153 加法单元
200A、200B 接收装置
201 接收单元
202、202B 多路分用器
203、203B 解码器
205、205B 显示处理器
211 熵解码电路
212 逆量化/逆整数变换电路
213 运动补偿电路
214 加法电路
215 环路滤波器
216 存储器
220 切换电路
221、221A、221B 熵解码电路
222、222A、222B 逆量化/逆整数变换电路
223、223A、223B 运动补偿电路
224、224A、224B 层间补偿电路
225、225A、225B 混合补偿电路
226、226A、226B 切换电路
227、227A、227B 加法电路
228、228A、228B 切换电路
229、229A、229B 环路滤波器
230、230A、230B 存储器
231、232 切换电路
权利要求书(按照条约第19条的修改)
1.一种发送装置，包括：
图像编码单元，被配置为获取基本层的编码图像数据，所述基本层包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且所述图像编码单元被配置为获取增强层的编码图像数据，所述增强层包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及
发送单元，被配置为发送所述基本层的编码图像数据以及所述增强层的编码图像数据。
2.根据权利要求1所述的发送装置，还包括：
所述发送单元还发送所述混合处理中的混合比率信息。
3.根据权利要求2所述的发送装置，
其中，所述基本层的编码图像数据和所述增强层的编码图像数据均具有NAL单元结构，并且
将所述混合比率信息插入到所述增强层的编码图像数据的SEI NAL单元中。
4.根据权利要求2所述的发送装置，
其中，所述基本层的编码图像数据和所述增强层的编码图像数据均具有NAL单元结构，并且
将所述混合比率信息插入到所述增强层的编码图像数据的PPS NAL单元中。
5.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为向所述增强层的编码图像数据的每个存取单元插入相位信息，所述相位信息指示所述存取单元对应于时间上连续的两个图片中的哪个图片。
6.根据权利要求1所述的发送装置，还包括：
所述发送单元还发送标识信息，所述标识信息指示所述基本层所包含的图像数据是执行所述混合处理而得到的图像数据。
7.根据权利要求1所述的发送装置，其中，所述图像编码单元对所述基本帧速率图像数据执行用于所述基本帧速率图像数据的预测编码处理，以便获取所述基本层的编码图像数据，并且所述图像编码单元被配置为利用所述高帧速率图像数据对所述基本帧速率图像数据执行与混合处理相逆的处理，以便获取图像数据作为混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据，所述图像编码单元被配置为利用所述混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，以便获取所述增强层的编码图像数据。
8.根据权利要求7所述的发送装置，其中，所述图像编码单元针对所述高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。
9.一种发送方法，包括：
图像编码步骤，用于获取基本层的编码图像数据，所述基本层包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且获取增强层的编码图像数据，所述增强层的编码图像数据包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及
发送步骤，用于通过发送单元发送所述基本层的编码图像数据和所述增强层的编码图像数据。
10.一种接收装置，包括：
接收单元，被配置为接收基本层的编码图像数据和增强层的编码图像数据，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本层的编码图像数据，利用混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，来获取所述增强层的编码图像数据，利用所述高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当所述述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理单元，被配置为仅处理所述基本层的编码图像数据，以便获取所述基本帧速率图像数据，或者处理所述基本层的编码图像数据和所述增强层的编码图像数据两者，以便获取所述高帧速率图像数据，
其中，当对所述增强层的编码图像数据进行解码处理时，所述处理单元利用通过所述增强层的编码图像数据的处理所获取的高帧速率图像数据，对通过所述基本层的编码图像数据的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。
11.根据权利要求10所述的接收装置，
其中，所述接收单元还接收所述混合处理的混合比率信息，并且
所述处理单元在执行与所述混合处理相逆的处理时使用所述混合比率信息。
12.根据权利要求10所述的接收装置，
其中，所述增强层的编码图像数据中的每个存取单元包括插入的相位信息，所述相位信息指示所述存取单元对应于时间上连续的两个图片中的哪个图片，并且
所述处理单元在执行与所述混合处理相逆的处理时使用所述相位信息。
13.一种接收方法，包括：
接收步骤，用于通过接收单元接收基本层的编码图像数据和增强层的编码图像数据，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行用于所述基本帧速率图像数据的预测编码处理，来获取所述基本层的编码图像数据，利用混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，来获取所述增强层的编码图像数据，利用所述高帧速率图像数据对所述基本帧速率图像数据执行与混合处理相逆的处理，来获取所述混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；
以及
处理步骤，用于仅处理所述基本层的编码图像数据，以便获取所述基本帧速率图像数据，或者处理所述基本层的编码图像数据和所述增强层的编码图像数据两者，以便获取所述高帧速率图像数据，
其中，在处理步骤中，当对所述增强层的编码图像数据进行解码处理时，利用通过所述增强层的编码图像数据的处理所获取的高帧速率图像数据，对通过所述基本层的编码图像数据的处理所获取的基本帧速率图像数据执行与所述混合处理相逆的处理，以便获取混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，并且
所述混合补偿后的图像数据用作参考图像数据。
14.一种接收装置，包括：
接收单元，被配置为接收基本层的编码图像数据和增强层的编码图像数据，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取所述基本层的编码图像数据，对所述高帧速率图像数据执行编码处理，来获取所述增强层的编码图像数据；以及
处理单元，被配置为仅处理所述基本层的编码图像数据，以便获取所述基本帧速率图像数据，或者处理所述基本层的编码图像数据和所述增强层的编码图像数据两者，以便获取所述高帧速率图像数据。

Claims (14)

1.一种发送装置，包括：
图像编码单元，被配置为获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且所述图像编码单元被配置为获取增强流，所述增强流包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及
发送单元，被配置为以预定格式发送容器，所述容器包括所述基本流和所述增强流。
2.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为将混合处理中的混合比率信息插入到所述增强流的层中。
3.根据权利要求2所述的发送装置，
其中，所述基本流和所述增强流均具有NAL单元结构，并且
所述信息插入单元将具有所述混合比率信息的SEI NAL单元插入到增强流中。
4.根据权利要求2所述的发送装置，
其中，所述基本流和所述增强流均具有NAL单元结构，并且
所述信息插入单元将所述混合比率信息插入到所述增强流的PPS NAL单元中。
5.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为向所述增强流的每个存取单元插入相位信息，所述相位信息指示所述存取单元对应于时间上连续的两个图片中的哪个图片。
6.根据权利要求1所述的发送装置，还包括：
信息插入单元，被配置为向所述容器的层中插入标识信息，所述标识信息指示包括在所述基本流中的图像数据是通过执行混合处理而获取的图像数据。
7.根据权利要求1所述的发送装置，其中，所述图像编码单元对所述基本帧速率图像数据执行用于所述基本帧速率图像数据的预测编码处理，以便获取所述基本流，并且所述图像编码单元被配置为利用所述高帧速率图像数据对所述基本帧速率图像数据执行与混合处理相逆的处理，以便获取图像数据作为混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述图像数据包括另一侧图片的图像数据，所述图像编码单元被配置为利用所述混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，以便获取所述增强流。
8.根据权利要求7所述的发送装置，其中，所述图像编码单元针对所述高帧速率图像数据中的每个预测块，获取比预测块大的范围的图像数据，作为所述混合补偿后的图像数据。
9.一种发送方法，包括：
图像编码步骤，用于获取基本流，所述基本流包括通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据中的每个图片的编码图像数据作为存取单元，并且获取增强流，所述增强流包括所述高帧速率图像数据中的每个图片的编码图像数据作为存取单元；以及
发送步骤，用于通过发送单元以预定格式发送容器，所述容器包括所述基本流和所述增强流。
10.一种接收装置，包括：
接收单元，被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，来获取所述增强流，利用所述高帧速率图像数据对基本帧速率图像数据执行与混合处理相逆的处理，来获取混合补偿后的图像数据，当所述述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理单元，被配置为仅处理所述基本流，以便获取所述基本帧速率图像数据，或者处理所述基本流和所述增强流两者，以便获取所述高帧速率图像数据，
其中，当对所述增强流进行解码处理时，所述处理单元利用通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与混合处理相逆的处理，以便获取混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，所述处理单元被配置为使用所述混合补偿后的图像数据作为参考图像数据。
11.根据权利要求10所述的接收装置，
其中，所述增强流的层包括插入的混合处理中的混合比率信息，并且
所述处理单元在执行与所述混合处理相逆的处理时使用所述混合比率信息。
12.根据权利要求10所述的接收装置，
其中，所述增强流中的每个存取单元包括插入的相位信息，所述相位信息指示所述存取单元对应于时间上连续的两个图片中的哪个图片，并且
所述处理单元在执行与所述混合处理相逆的处理时使用所述相位信息。
13.一种接收方法，包括：
接收步骤，用于通过接收单元接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行用于所述基本帧速率图像数据的预测编码处理，来获取所述基本流，利用混合补偿后的图像数据来对所述高帧速率图像数据执行预测编码处理，来获取所述增强流，利用所述高帧速率图像数据对所述基本帧速率图像数据执行与混合处理相逆的处理，来获取所述混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据；以及
处理步骤，用于仅处理所述基本流，以便获取所述基本帧速率图像数据，或者处理所述基本流和所述增强流两者，以便获取所述高帧速率图像数据，
其中，在处理步骤中，当对所述增强流进行解码处理时，利用通过所述增强流的处理所获取的高帧速率图像数据，对通过所述基本流的处理所获取的基本帧速率图像数据执行与所述混合处理相逆的处理，以便获取混合补偿后的图像数据，当所述高帧速率图像数据包括以时间上连续的两个图片为单位的一侧图片的图像数据时，所述混合补偿后的图像数据包括另一侧图片的图像数据，并且
所述混合补偿后的图像数据用作参考图像数据。
14.一种接收装置，包括：
接收单元，被配置为接收预定格式的容器，所述容器包括基本流和增强流，对通过在高帧速率图像数据中以时间上连续的两个图片为单位执行混合处理而获取的基本帧速率图像数据执行编码处理，来获取所述基本流，对所述高帧速率图像数据执行编码处理，来获取所述增强流；以及
处理单元，被配置为仅处理所述基本流，以便获取所述基本帧速率图像数据，或者处理所述基本流和所述增强流两者，以便获取所述高帧速率图像数据。
CN201680048593.6A 2015-09-01 2016-08-30 发送装置、发送方法、接收装置和接收方法 Expired - Fee Related CN107925766B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-172407 2015-09-01
JP2015172407 2015-09-01
PCT/JP2016/075284 WO2017038800A1 (ja) 2015-09-01 2016-08-30 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN107925766A true CN107925766A (zh) 2018-04-17
CN107925766B CN107925766B (zh) 2022-05-10

Family

ID=58187567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680048593.6A Expired - Fee Related CN107925766B (zh) 2015-09-01 2016-08-30 发送装置、发送方法、接收装置和接收方法

Country Status (10)

Country Link
US (1) US10778995B2 (zh)
EP (1) EP3346710A4 (zh)
JP (1) JP6809469B2 (zh)
KR (1) KR20180044902A (zh)
CN (1) CN107925766B (zh)
AU (1) AU2016317252B2 (zh)
CA (1) CA2996279A1 (zh)
MX (1) MX2018002272A (zh)
MY (1) MY186845A (zh)
WO (1) WO2017038800A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) * 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
MX2020004273A (es) * 2017-11-02 2020-07-29 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion, y metodo de recepcion.
WO2019167952A1 (ja) * 2018-03-01 2019-09-06 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
US11483565B2 (en) 2018-08-10 2022-10-25 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method
WO2020039973A1 (ja) * 2018-08-21 2020-02-27 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
EP3672241A1 (en) * 2018-12-17 2020-06-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036800A1 (en) * 2002-08-23 2004-02-26 Mitsuharu Ohki Picture processing apparatus, picture processing method, picture data storage medium and computer program
JP2006333071A (ja) * 2005-05-26 2006-12-07 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造
JP2007028034A (ja) * 2005-07-14 2007-02-01 Nippon Telegr & Teleph Corp <Ntt> スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
US20090180761A1 (en) * 2008-01-11 2009-07-16 Martin Austin Wand System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
WO2012166512A2 (en) * 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
US20140104492A1 (en) * 2012-10-17 2014-04-17 Dolby Laboratories Licensing Corporation Systems and Methods for Transmitting Video Frames
US20140286415A1 (en) * 2011-10-05 2014-09-25 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus for same
US20150092832A1 (en) * 2013-09-27 2015-04-02 Cisco Technology, Inc. Delay Tolerant Decoder
CN105765980A (zh) * 2013-11-22 2016-07-13 索尼公司 传输装置、传输方法、接收装置和接收方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2086237B1 (en) * 2008-02-04 2012-06-27 Alcatel Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
JP4849130B2 (ja) * 2008-02-19 2012-01-11 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040036800A1 (en) * 2002-08-23 2004-02-26 Mitsuharu Ohki Picture processing apparatus, picture processing method, picture data storage medium and computer program
JP2006333071A (ja) * 2005-05-26 2006-12-07 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造
JP2007028034A (ja) * 2005-07-14 2007-02-01 Nippon Telegr & Teleph Corp <Ntt> スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
US20090180761A1 (en) * 2008-01-11 2009-07-16 Martin Austin Wand System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
WO2012166512A2 (en) * 2011-05-31 2012-12-06 Dolby Laboratories Licensing Corporation Video compression implementing resolution tradeoffs and optimization
CN103597839A (zh) * 2011-05-31 2014-02-19 杜比实验室特许公司 实现分辨率权衡和优化的视频压缩
US20140286415A1 (en) * 2011-10-05 2014-09-25 Electronics And Telecommunications Research Institute Video encoding/decoding method and apparatus for same
US20140104492A1 (en) * 2012-10-17 2014-04-17 Dolby Laboratories Licensing Corporation Systems and Methods for Transmitting Video Frames
US20150092832A1 (en) * 2013-09-27 2015-04-02 Cisco Technology, Inc. Delay Tolerant Decoder
CN105765980A (zh) * 2013-11-22 2016-07-13 索尼公司 传输装置、传输方法、接收装置和接收方法

Also Published As

Publication number Publication date
JP6809469B2 (ja) 2021-01-06
KR20180044902A (ko) 2018-05-03
US10778995B2 (en) 2020-09-15
CN107925766B (zh) 2022-05-10
MY186845A (en) 2021-08-26
AU2016317252B2 (en) 2020-12-24
MX2018002272A (es) 2018-03-23
EP3346710A4 (en) 2019-03-13
JPWO2017038800A1 (ja) 2018-06-14
WO2017038800A1 (ja) 2017-03-09
EP3346710A1 (en) 2018-07-11
US20180213242A1 (en) 2018-07-26
AU2016317252A1 (en) 2018-02-15
CA2996279A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
CN107925766A (zh) 发送装置、发送方法、接收装置和接收方法
CN103152579B (zh) 用于视频编码及解码的环内自适应维纳滤波器
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN107925767A (zh) 发送设备、发送方法，接收设备和接收方法
CN105765980A (zh) 传输装置、传输方法、接收装置和接收方法
CN104247428A (zh) 解码装置和解码方法以及编码装置和编码方法
US12120344B2 (en) Transmission device, transmission method, reception device and reception method
WO2009104850A1 (en) Method for encoding and decoding image, and apparatus for encoding and decoding image
KR20180067527A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN107925776A (zh) 发送装置、发送方法、接收装置和接收方法
JP7460693B2 (ja) 事前選択の目的のシグナリング
CN115550721A (zh) 信令通知目标画中画区域的尺寸和位置
WO2019167952A1 (ja) 受信装置、受信方法、送信装置および送信方法
Nitta Motion Estimation and Compensation Hardware Architecture with Hierarchy of Flexibility in Video Encoder LSIs
Tozer ’MPEG-2’
JP2011109528A (ja) 動画像符号化復号化装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220510

CF01 Termination of patent right due to non-payment of annual fee