CN105409217B - 图像处理装置、图像处理方法和计算机可读介质 - Google Patents

图像处理装置、图像处理方法和计算机可读介质 Download PDF

Info

Publication number
CN105409217B
CN105409217B CN201580001432.7A CN201580001432A CN105409217B CN 105409217 B CN105409217 B CN 105409217B CN 201580001432 A CN201580001432 A CN 201580001432A CN 105409217 B CN105409217 B CN 105409217B
Authority
CN
China
Prior art keywords
layer
granularity
lookup table
image
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580001432.7A
Other languages
English (en)
Other versions
CN105409217A (zh
Inventor
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105409217A publication Critical patent/CN105409217A/zh
Application granted granted Critical
Publication of CN105409217B publication Critical patent/CN105409217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Abstract

提供了一种图像处理装置，其包括电路，该电路被配置成：通过使用查找表，根据第一层的图像来预测具有与第一层不同的像素属性的第二层的图像，在该查找表中，第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到第二层的与该组合对应的预测像素值，其中，通过使用第一查找表来获取第二层的亮度分量的预测值，并且通过使用具有与第一查找表的粒度不同的粒度的第二查找表来获取第二层的第一色度分量的预测值。

Description

图像处理装置、图像处理方法和计算机可读介质
对相关申请的交叉引用
该申请要求2014年6月19日提交的日本优先权专利申请JP 2014-125966的权益，其全部内容通过引用合并于此。
技术领域
本公开涉及一种图像处理装置、图像处理方法和计算机可读介质。
背景技术
作为ITU-T和ISO/IEC的联合标准化组织的联合协作团队-视频编码(JCTVC)已对称为高效视频编码(HEVC)的图像编码方案进行了标准化，以用于相比于H.264.AVC进一步提高编码效率(例如，参见以下NPL 1)。HEVC不仅提供了单个层的编码，而且还提供了可伸缩视频编码。用于HEVC的可伸缩视频编码技术也称为可伸缩HEVC(SHVC)(例如，参见以下NPL 2)。
一般地，可伸缩视频编码称为用于以分层方式对传送粗图像信号的层和传送精细图像信号的层进行编码的技术。在现有技术的可伸缩视频编码中被分层的通常属性是3种类型的属性：空间分辨率(空间可伸缩性)、帧速率(时间可伸缩性)和信噪(SN)比(SNR可伸缩性)。此外，NPL 3提出了对作为一种像素属性的色域进行分层的色域可伸缩性。还可以与色域一起对位深进行分层。NPL 4提出了用于对也作为一种像素属性的亮度动态范围进行分层的技术。
根据在NPL 3中提出的方案，使用3维查找表根据基本层的色域(例如，ITU-RBT.709)中的像素矢量(Y、U和V)来预测增强层的色域(例如，ITU-R BT.2020)中的相应像素矢量。期望以SHVC的标准规范中的颜色映射表的名义采用查找表。在颜色映射表中，基本层的颜色空间被划分为多个立方分区。在颜色映射表中，通过划分而形成的多个相应分区被映射为增强层的颜色空间的对应局部空间。一个局部空间可以通过定义四个顶点来指定。根据在NPL 3中提出的方案，基于四个顶点的像素值、通过四面体内插(tetrahedralinterpolation)来确定具体的预测像素值。
[引用列表]
[非专利文献]
[NPL 1]
Benjamin Bross,Woo-Jin Han,Gary J.Sullivan,Jens-Rainer Ohm,GaryJ.Sullivan,Ye-Kui Wang,Thomas Wiegand的“High Efficiency Video Coding(HEVC)text specification draft 10(for FDIS & Consent)”(JCTVC-L1003_v4,2013年1月14日至23日)
[NPL 2]
Jianle Chen,Jill Boyce,Yan Ye,Miska M.Hannuksela,Gary J.Sullivan和Ye-kui Wang的“Preliminary version of High efficiency video coding(HEVC)scalableextension Draft 6”(JCTVC-Q1008_v2,2014年3月27日至4月4日)
[NPL 3]
Xiang Li,Jianle Chen和Marta Karczewicz的“Non-SCE1:Asymmetric 3D LUTfor Color Gamut Scalability”(JCTVC-P0063_r1,2014年1月9日至17日)
[NPL 4]
David Touze等的“High Dynamic Range Video Distribution Using ExistingVideo Codecs”(30th Picture Coding Symposium,2013年12月8日至11日)
发明内容
技术问题
随着根据颜色映射表的空间划分的粒度更精细，基本层的颜色空间的分区数量进一步增加并且定义相应增强层的多个局部空间所需的编码量也增加。相反，当空间划分的粒度较粗时，颜色映射表所需的编码量进一步减小，但是层间预测的预测精度可能劣化。然而，在现有技术的方案中，可以针对三个颜色分量仅定义一致(即，单个)划分的粒度。为此，当基本层的颜色空间以最优粒度被划分以预测特定颜色分量时，在其它颜色分量的预测中粒度变得过粗。因此，可能无法获得足够的预测精度或者粒度不必要地变得过细。
期望提供一种在查找表方案的可伸缩视频编码技术中更灵活地处理颜色空间的划分粒度的方案。
[问题的解决方案]
根据本公开的实施例，提供了一种图像处理装置，其包括被配置成执行以下操作的电路：通过使用查找表，根据第一层的图像来预测具有与第一层不同的像素属性的第二层的图像，在该查找表中，第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到第二层的与该组合对应的预测像素值，其中，通过使用第一查找表来获取第二层的亮度分量的预测值，并且通过使用具有与第一查找表的粒度不同的粒度的第二查找表来获取第二层的第一色度分量的预测值。
根据本公开的另一实施例，提供了一种由图像处理装置执行的图像处理方法，该图像处理装置根据第一层的图像来预测具有与第一层不同的像素属性的第二层的图像，该图像处理方法包括：通过使用第一查找表来获取第二层的亮度分量的预测值，在该第一查找表中，第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到与该组合对应的第二层的预测像素值；以及通过使用具有与第一查找表的粒度不同的粒度的第二查找表来获取第二层的第一色度分量的预测值。
根据本公开的另一实施例，提供了一种其上实施有程序的非暂态计算机可读介质，该程序当由计算机执行时使得计算机执行根据第一层的图像来预测具有与第一层不同的像素属性的第二层的图像的图像处理方法，该图像处理方法包括：通过使用第一查找表来获取第二层的亮度分量的预测值，在该第一查找表中，第一层的亮度分量、第一色度分量和第二色度分量的组合被映射为与该组合对应的第二层的预测像素值；以及通过使用具有与第一查找表的粒度不同的粒度的第二查找表来获取第二层的第一色度分量的预测值。
[本发明的有利效果]
根据本公开的技术，可以在查找表方案的可伸缩视频编码技术中更灵活地处理颜色空间的划分粒度。
注意，上述效果不一定是限制性的，并且连同以上效果或者取代以上效果，可呈现期望在本说明书中引入的任何效果或者从本说明书可以预期的其它效果。
附图说明
图1是用于描述可伸缩视频编码的说明图。
图2是用于描述BT.709和BT.2020表示的色域的说明图。
图3A和图3B是用于描述亮度动态范围的说明图。
图4是用于描述现有技术的颜色映射表的概况的第一说明图。
图5A和图5B是用于描述颜色映射表的概况的第二说明图。
图6是示出根据实施例的图像编码装置的示意配置的框图。
图7是示出根据实施例的图像解码装置的示意配置的框图。
图8是示出图6所示的EL编码部的配置的示例的框图。
图9是示出根据实施例的编码处理的示意流程的示例的流程图。
图10是示出编码时的空间划分处理的流程的示例的流程图。
图11是示出根据现有技术的方案的表信息编码处理的流程的示例的流程图。
图12是示出根据新方案的表信息编码处理的流程的示例的流程图。
图13是示出图7所示的EL解码部的配置的示例的框图。
图14是示出根据实施例的解码处理的示意流程的示例的流程图。
图15是示出根据现有技术的方案的表重构处理的流程的示例的流程图。
图16是示出根据新方案的表重构处理的流程的示例的流程图。
图17是示出电视机装置的示意配置的示例的框图。
图18是示出移动电话的示意配置的示例的框图。
图19是示出记录/再现装置的示意配置的示例的框图。
图20是示出图像捕获装置的示意配置的示例的框图。
图21是用于描述可伸缩视频编码的用途的第一示例的说明图。
图22是用于描述可伸缩视频编码的用途的第二示例的说明图。
图23是用于描述可伸缩视频编码的用途的第三示例的说明图。
图24是用于描述多视图编解码器的说明图。
图25是示出用于多视图编解码器的图像编码装置的示意配置的框图。
图26是示出用于多视图编解码器的图像解码装置的示意配置的框图。
具体实施方式
在下文中，将参照附图详细描述本公开的实施例。注意，在该说明书和附图中，具有基本上相同的功能和结构的结构元件以相同的附图标记来表示，并且省略这些结构元件的重复说明。
将按以下顺序进行描述。
1.概况
1-1.可伸缩视频编码
1-2.查找表方案中的层间预测
1-3.编码器的基本配置示例
1-4.解码器的基本配置示例
2.根据实施例的EL编码部的配置示例
2-1.每个单元的描述
2-2.语法示例
3.根据实施例的编码处理的流程
3-1.示意流程
3-2.空间划分处理
3-3.表信息编码处理
4.根据实施例的EL解码部的配置示例
5.根据实施例的解码处理的流程
5-1.示意流程
5-2.表重构处理
6.应用
6-1.对各种产品的应用
6-2.可伸缩视频编码的各种目的
6-3.其它
7.结论
<1.概况>
<1-1.可伸缩视频编码>
在可伸缩视频编码中对每个包括一系列图像的多个层进行编码。基本层首先被编码，并且表示最粗的图像。可独立地对基本层的编码流进行解码，而不对其它层的编码流进行解码。除基本层之外的层被称为表示更精细图像的增强层。使用包括在基本层的编码流中的信息对增强层的编码流进行编码。因此，为了再现增强层的图像，对基本层和增强层两者的编码流进行解码。可在可伸缩视频编码中处理大于或等于两层的任何数量的层。当对三层或更多层进行编码时，最下层是基本层并且剩余层是增强层。可使用包括在较下增强层的编码流或基本层的编码流中的信息对较上增强层的编码流进行编码和解码。
图1示出了进行了可伸缩视频编码的三个层L1、L2和L3。层L1是基本层，而层L2和L3是增强层。增强层L2的空间分辨率与层L1的空间分辨率的比率保持在2:1。层L3的空间分辨率与层L1的空间分辨率的比率保持在4:1。这些分辨率比率仅是示例。也可使用诸如1.5:1的非整数分辨率比率。层L1的块B1是基本层的图片中用于编码处理的处理单位。层L2的块B2是示出与块B1共同的场景的增强层的图片中用于编码处理的处理单位。块B2对应于层L1的块B1。层L3的块B3是示出与块B1和B2共同的场景的较上增强层的图片中用于编码处理的处理单位。块B3对应于层L1的块B1和层L2的块B2。
在图1例示的层结构中，图像的纹理在示出共同场景的层之间是类似的。即，层L1中的块B1、层L2中的块B2和层L3中的块B3的纹理是类似的。因此，例如，当使用块B1作为参考块来预测块B2或块B3的像素或者使用块B2作为参考块来预测块B3的像素时，存在获得高预测精度的概率。层之间的这种预测称为层间预测。存在被分类为层间预测的多个具体预测方案。作为一个示例，存在根据基本层的解码图像(重构图像)来预测增强层的解码图像的帧内BL预测。作为另一示例，存在根据基本层的预测误差(残差)图像来预测增强层的预测误差图像的帧内残差预测和帧间残差预测。
<1-2.查找表方案中的层间预测>
(1)色域可伸缩性
在图1例示的空间可伸缩性中，通过经由上采样内插像素来形成层间预测的预测像素。另一方面，NPL 3中提出的查找表方案中的层间预测是当如在色域可伸缩性中对像素属性进行分级时适合于可伸缩视频编码的方案。当对像素属性进行分级时，存在像素值在不同层之间不同的概率，而与像素是在相同的空间和时间位置处的像素的事实无关。
作为一个示例，假设作为基本层的层L的图像为HD电视图像，并且假设作为增强层的层L2的图像是UHD电视图像。图2是用于描述BT.709和BT.2020表示的色域的说明图。参照图2，示出了使用预定约束条件将3维颜色空间映射为2维平面的色域图。曲线图上的十字标记表示白色所映射到的位置。曲线图上的虚线表示BT.709表示的颜色的范围。曲线图上的实线表示BT.2020表示的颜色的范围。曲线图上的点线表示人类视觉感知的颜色的范围。如从图2所理解的，BT.2020可以表示比BT.709更多种类的颜色。在从层L1至层L2的层间预测中，可以基于3维查找表而获取层L2的被映射到层L1的像素的预测像素值。可对输入到查找表的输入像素值或者基于查找表获取的预测像素值而执行上采样。通过将可以单独地被编码和解码的残差(预测误差)与预测像素值相加来恢复增强层的像素值。
(2)动态范围可伸缩性
查找表方案不限于色域可伸缩性，而是也可以应用于其它种类的可伸缩视频编码。例如，在基于查找表转换之前和之后的像素值的最佳映射可以被定义为对诸如动态范围或位深的像素属性进行转换。
亮度动态范围是对图像质量具有影响的重要属性。现有技术的许多显示器支持的标准动态范围(SDR)图像的最大亮度是100尼特。另一方面，近来在市场中可获得的高端显示器支持的高动态范围(HDR)图像的最大亮度达到例如800尼特。与HDR图像相比，SDR图像也称为低动态范围(LDR)图像。
图3是用于描述视频格式的动态范围的说明图。图3的竖直轴表示亮度(以尼特为单位)。自然世界的最大亮度在一些情况下达到20000尼特。一般对象的亮度例如是最大大约12000尼特。另一方面，图像传感器的动态范围的上限小于自然世界的最大亮度，并且可以是例如4000尼特。图像传感器生成的图像信号以其它预定视频格式来记录。SDR图像的动态范围由图中的用对角线加阴影的条来指示，并且动态范围的上限是100尼特。因此，当捕获图像被记录为SDR图像时，亮度的动态范围例如根据诸如膝点压缩(knee compression)的方案而被大大压缩。当显示器可以表示的最大亮度是1000尼特时，在显示SDR图像时执行因数为10的缩放。然而，因此，经过了这样的缩放的显示图像的图像质量可能容易劣化。HDR图像的动态范围由图中的粗框的条来指示，并且动态范围的上限是800尼特。因此，即使当捕获图像被记录为HDR图像时，亮度的动态范围例如也根据诸如膝点压缩的方案而被压缩。当显示器可以表示的最大亮度是1000尼特时，在显示HDR图像时执行因数为1.25的缩放。由于缩放比率小，因此显示图像的图像质量劣化较少。
因此，支持HDR图像作为视频格式导致为用户提供高质量图像的益处。此外，由于保证了与支持SDR图像的装置、存储限制、与各种传输带的对应关系等的兼容性，因此有益地实现了动态范围可伸缩性。文献“High Dynamic Range Video Distribution UsingExisting Video Codecs”(David Touze等,30th Picture Coding Symposium,2013年12月8日至11日”提出了被认为是动态范围可伸缩性的形式的技术。然而，在该文献所提出的技术中，为了在不采用查找表方案的情况下恢复HDR图像需要用于由延伸跨越多个帧的像素值构成的滤波器抽头的过滤、RGB域中的伽马校正等的复杂算法。
(3)颜色映射表
在SHVC的最近规范中，颜色映射表是基本层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的组合被映射为与该组合对应的增强层的预测像素值的查找表。在颜色映射表中，一个预测像素矢量不是简单被映射到通过划分基本层的颜色空间而形成的多个立方分区中的每个，而是每个立方分区均被映射为相应增强层的颜色空间的局部空间。
图4和图5是用于描述现有技术的颜色映射表的概况的说明图。在图4的左侧，示出了具有三个分量轴Y、U和V的基本层的颜色空间CSB。在颜色空间CSB中，亮度分量(Y)的最大值是Ymax，第一色度分量(U)的最大值是Umax，并且第二色度分量(V)的最大值是Vmax。实际上，第一色度分量的范围可以是-Umax/2至Umax/2，并且第二色度分量的范围可以是-Vmax/2至Vmax/2(这里，为了简化描述，颜色空间被偏移)。根据最近的规范，语法允许三个颜色分量轴被划分至深度3(即，23＝8个分区)，但是由于一致性限制，因此第一和第二色度分量的划分的深度的上限值被设置为1(即，21＝2个分区)。因此，如图4所例示的，颜色空间CSB可以被划分为最多8×2×2(＝32)个立方分区。图中的分区CB1是一个分区，并且输入像素PB1属于分区CB1。
在图4的右侧，示出了具有三个分量轴Y、U和V的增强层的颜色空间CSE。局部空间CE1占据与增强层的颜色空间CSE中的立方分区CB1对应的部分。颜色映射表通过限定四个顶点来指定与基本层的每个立方分区对应的增强层的局部空间。例如，通过基于局部空间CE1的四个顶点的像素值的三棱锥内插(triangular pyramid interpolation)来确定与属于立方分区CB1的输入像素PB1对应的预测像素PE1的像素值。
图5示出了与立方分区CB1对应的局部空间CE1的四个顶点V11、V12、V13和V14作为示例。为了指定这些顶点的位置，通常可以对四个参数R1、R2、R3和R4进行编码。例如，参数R1指定在Y轴方向上顶点V11相对于某一特定标准位置V10(例如，相邻分区的顶点的位置)的偏移。参数R2指定在V轴方向上顶点V12相对于顶点V11的偏移。参数R3指定在U轴方向上顶点V13相对于顶点V12的偏移。参数R4指定在Y轴方向上顶点V14相对于某一特定标准位置V15的偏移。
表1至表3示出了与颜色映射表相关联的并且在NPL 2中描述的语法。如表1所示，当验证颜色映射表的标志colour_mapping_enabled_flag在图片参数集(PPS)中被设置为真时，调用定义颜色映射表的函数colour_mapping_table()。
[表1]
表1.与颜色映射表相关联的PPS的语法(部分)
(来自JCTVC-Q1008_v2)
表2所示的函数colour_mapping_table()的参数cm_octant_depth和参数cm_y_part_num_log2是分别与三个颜色分量的分区的深度的上限值和亮度分量的另一分区的深度相关联的参数。参数cm_input_luma_bit_depth_minus8和cm_input_chroma_bit_depth_delta是与颜色映射表的输入像素值的位深相关联的参数。参数cm_output_luma_bit_depth_minus8和cm_output_chroma_bit_depth_delta是与颜色映射表的输出像素值的位深相关联的参数。参数cm_res_quant_bits是与输出像素值的量化相关联的参数。函数colour_mapping_octants()是递归函数，并且在表3中示出了该函数的细节。
[表2]
表2.颜色映射表的语法
(来自JCTVC-Q1008_v2)
表3所示的函数colour_mapping_octants()由第一半(第2行至第10行)和第二半(第11行至第21行)形成。第一半主要包括定义颜色映射表的粒度的粒度信息(第3行)和函数的递归调用(第8行和第9行)。这里，粒度信息包括定义基本层的颜色空间的划分的划分标志split_octant_flag集合。当进一步划分某一立方分区时，划分标志指示“真”。当划分标志被示出为真时，针对通过进一步划分立方分区而形成的八个子分区(八分区)中的每个而递归调用函数colour_mapping_octants()。当没有进一步对某一立方分区进行划分时，划分标志指示“假”。当划分标志指示“假”时，在语法的第二半中对与分区对应的预测值信息进行编码。这里，预测值信息通过参数res_y、res_u和res_v以及重复与局部空间的四个顶点对应的可变顶点来指定增强层的颜色空间的局部空间。
[表3]
表3.颜色映射表的递归部分的语法
(来自JCTVC-Q1008_v2)
随着对上述粒度信息指定的基本层的颜色空间的划分的粒度更精细，基本层的颜色空间的分区的数量进一步增加。由于上述预测值信息根据基本层的颜色空间的分区的数量(顶点的数量(＝4)与分区的数量的乘积)而重复，因此通过粒度的精细性实现的预测精度的改进与定义查找表所需的编码量的增加具有折衷关系。这里，例如，由于在动态范围可伸缩性中亮度分量的转换不一定是线性的，因此更精细的空间划分是优选的。另一方面，色度分量的转换可以是更简单的线性转换(即，基于更粗空间划分的线性内插等)。然而，现有技术的方案的上述语法可以仅定义一致(即，单个)划分的粒度以预测增强层的三个颜色分量。因此，对于某一颜色分量最优的空间划分的粒度对于其它颜色分量来说比所需的粒度过粗或者更精细。
因此，在以下要描述的实施例中，在查找表方案的可伸缩视频编码技术中引入了可以更灵活地处理颜色空间的划分粒度的结构。在实施例中，除了用于亮度分量的层间预测的第一查找表之外，允许定义具有与第一查找表的粒度不同的粒度的第二查找表以便进行至少一个色度分量的层间预测。
<1-3.编码器的基本配置示例>
图6是示出根据实施例的支持可伸缩视频编码的图像编码装置10的示意配置的框图。参照图6，图像编码装置10包括基本层(BL)编码部1a、增强层(EL)编码部1b、公共存储器2和复用部3。
BL编码部1a对基本层图像进行编码以生成基本层的编码流。EL编码部1b对增强层图像进行编码以生成增强层的编码流。公共存储器2存储在多个层之间共同使用的信息。复用部3对BL编码部1a生成的基本层的编码流和EL编码部1b生成的至少一个增强层的编码流进行复用，以生成多个层的复用流。
<1-4.解码器的基本配置示例>
图7是示出根据实施例的支持可伸缩视频编码的图像解码装置60的示意配置的框图。参照图7，图像解码装置60包括逆复用部5、基本层(BL)解码部6a、增强层(EL)解码部6b和公共存储器7。
逆复用部5将多个层的复用流逆复用为基本层的编码流和至少一个增强层的编码流。BL解码部6a根据基本层的编码流而对基本层图像进行解码。EL解码部6b根据增强层的编码流而对增强层图像进行解码。公共存储器7存储在多个层之间共同使用的信息。
在图6例示的图像编码装置10中，用于基本层的编码的BL编码部1a的配置与用于增强层的编码的EL编码部1b的配置类似。可以使用公共存储器2来缓存BL编码部1a生成或获取的多个参数和图像以由EL编码部1b重用。在接下来的章节中，将详细地描述EL编码部1b的配置。
同样，在图7例示的图像解码装置60中，用于基本层的解码的BL解码部6a的配置与用于增强层的解码的EL解码部6b的配置类似。可以使用公共存储器7来缓存BL解码部6a生成或获取的多个参数和图像以由EL解码部6b重用。此外，在接下来的章节中，将详细描述EL解码部6b的配置。
<2.根据实施例的EL编码部的配置示例>
<2-1.每个单元的描述>
图8是示出图6所示的EL编码部1b的配置的示例的框图。参照图8，EL编码部1b包括重排缓冲器11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器24、选择器26和27、帧内预测部30、帧间预测部35、层间预测部40和LUT缓冲器45。
重排缓冲器11对包括在一系列图像数据中的图像进行重排。重排缓冲器11根据与编码处理相关联的图片组(GOP)结构而对图像进行重排，然后将重排后的图像数据输出到减法部13、帧内预测部30、帧间预测部35和层间预测部40。
减法部13被提供有从重排缓冲器11输入的图像数据和以下要描述的从帧内预测部30或帧间预测部35输入的预测图像数据。减法部13计算作为从重排缓冲器11输入的图像数据与预测图像数据之间的差的预测误差数据，并且将所计算的预测误差数据输出到正交变换部14。
正交变换部14对从减法部13输入的预测误差数据执行正交变换。正交变换部14执行的正交变换可以是例如离散余弦变换(DCT)或卡洛变换。在HEVC中，针对称为变换单位(TU)的每个块而执行正交变换。TU是通过划分编码单位(CU)而形成的块。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。
量化部15被提供有从正交变换部14输入的变换系数数据和以下要描述的来自速率控制部18的速率控制信号。量化部15以根据速率控制信号确定的量化步长而对变换系数数据进行量化。量化部15将量化之后的变换系数数据(下文中称为量化数据)输出到无损编码部16和逆量化部21。
无损编码部16对从量化部15输入的量化数据执行无损编码处理以生成增强层的编码流。无损编码部16对在解码编码流时所参考的各种参数进行编码，并且将编码后的参数插入到编码流的头部区域中。无损编码部16编码的参数包括关于以下要描述的帧内预测的信息、关于帧间预测的信息和关于层间预测的信息。无损编码部16然后将所生成的编码流输出到累积缓冲器17。
累积缓冲器17使用诸如半导体存储器的存储介质来暂时存储从无损编码部16输入的编码流。累积缓冲器17以根据传输信道的带宽的速率而将累积的编码流输出到未示出的传输部(例如，用于外围装置的通信接口或连接接口等)。
速率控制部18监视累积缓冲器17的自由空间。速率控制部18根据累积缓冲器17的自由空间而生成速率控制信号，然后将所生成的速率控制信号输出到量化部15。例如，当累积缓冲器17具有很少的自由空间时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。例如，当累积缓冲器17具有足够的自由空间时，速率控制部18生成用于提高量化数据的比特率的速率控制信号。
逆量化部21、逆正交变换部22和加法部23形成本地解码器。逆量化部21以与量化部15使用的量化步长相同的量化步长对增强层的量化后数据进行逆量化，以恢复变换系数数据。逆量化部21然后将所恢复的变换系数数据输出到逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换，以恢复预测误差数据。如在正交变换中，针对每个TU执行逆正交变换。逆正交变换部22然后将所恢复的预测误差数据输出到加法部23。
加法部23将从逆正交变换部22输入的所恢复的预测误差数据与从帧内预测部30或帧间预测部35输入的预测图像数据相加，以生成解码后的图像数据(增强层的重构图像)。加法部23然后将所生成的解码图像数据输出到环路滤波器24和帧存储器25。
环路滤波器24包括被配置成提高图像质量的滤波器组。解块滤波器(DF)是减小在对图像编码时发生的块失真的滤波器。采样自适应偏移(SAO)滤波器是将自适应地确定的偏移值与每个像素值相加的滤波器。环路滤波器24对从加法部23输入的解码图像数据进行滤波，并且将滤波之后的解码图像数据输出到帧存储器25。
帧存储器25使用存储介质来存储从加法部23输入的增强层的解码图像数据、从环路滤波器24输入的滤波之后的增强层的解码图像数据和从层间预测预测部40输入的基本层的参考图像数据。
选择器26从帧存储器25读取用于帧内预测的滤波之前的解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供到帧内预测部30。此外，选择器26从帧存储器25读取用于帧间预测的滤波之后的解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供到帧间预测部35。当在帧内预测部30或帧间预测部35中使用基于层间预测的图像时，选择器26将层间预测部40生成的参考图像数据提供帧内预测部30或帧间预测部35。
在帧内预测模式中，选择器27将从帧内预测部30输出的作为帧内预测结果的预测图像数据输出到减法部13，并且将关于帧内预测的信息输出到无损编码部16。在帧间预测模式中，选择器27还将从帧间预测部35输出的作为帧间预测结果的预测图像数据输出到减法部13，并且将关于帧间预测的信息输出到无损编码部16。选择器27根据成本函数值的幅值而在帧内预测模式与帧间预测模式之间切换。
帧内预测部30基于原始图像数据和增强层的解码图像数据而对HEVC的每个预测单位(PU)执行帧内预测处理。例如，帧内预测部30使用预定成本函数而评估预测模式集合的每个候选模式中的预测结果。接下来，帧内预测部30选择其成本函数值最小的预测模式(即，压缩率最高的预测模式)作为最佳预测模式。帧内预测部30根据最佳预测模式而生成增强层的预测图像数据。帧内预测部30可包括使用基于增强层的预测模式集合中的层间预测的图像的帧内残差预测或帧内BL预测。帧内预测部30将关于帧内预测的信息、成本函数值和预测图像数据输出到选择器27，该关于帧内预测的信息包括指示所选择的最佳预测模式的预测模式信息。
帧间预测部35基于增强层的原始图像数据和解码图像数据而针对HEVC的每个PU执行帧间预测处理。例如，帧间预测部35使用预定成本函数而评估预测模式集合的每个候选模式中的预测结果。帧间预测部35选择其成本函数值最小的预测模式(即，压缩率最高的预测模式)作为最佳预测模式。帧间预测部35根据最佳预测模式而生成增强层的预测图像数据。帧间预测部35可包括使用基于增强层的预测模式集合中的层间预测的图像的帧间残差预测。帧间预测部35将关于帧间预测的信息、成本函数值和预测图像数据输出到选择器27，该关于帧间预测的信息包括运动信息和指示所选择的最佳预测模式的预测模式信息。
层间预测部40根据基本层与增强层的分辨率比率而对公共存储器2缓存的基本层的图像(解码图像或预测误差图像)执行上采样。当增强层的图像具有与基本层的图像不同的像素属性时，层间预测部40使用查找表(LUT)将进行了上采样的基本层的每个像素的像素值转换成增强层的预测值像素。这里，像素属性包括色域、位深、动态范围中的至少一个。层间预测部40生成定义要用于层间预测的查找表的查找表信息。查找表信息主要包括粒度信息和预测值信息。层间预测部40生成的查找表信息被输出到无损编码部16以由无损编码部16进行编码。
在实施例中，层间预测部40使用用于亮度分量(Y)的LUT(LUT_Y)而获取增强层的亮度分量的预测值，并且使用用于第一色度分量(U)的LUT(LUT_U)而获取增强层的第一色度分量的预测值。层间预测部40可使用用于第二色度分量(V)的LUT(LUT_V)而获取增强层的第二色度分量。LUT_Y、LUT_U和LUT_V的空间划分的粒度可被设置为不同(粒度可以不一定不同，但是在编码成本最小时因此可以是相同的)。可根据像素属性的种类、系统需求、用户预先执行的设置等而预先设置空间划分的粒度。一个LUT可被共享用于第一色度分量和第二色度分量的层间预测。层间预测部40使用两个或更多个查找表生成的预测图像可以存储在帧存储器25中以用作帧内预测部30或帧间预测部35的参考图像。
LUT缓冲器45是对层间预测部40使用的两个或更多个查找表(LUT_Y、LUT_U和LUT_V当中的两个或更多个查找表)进行缓存的缓冲器。在每个查找表中，基本层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的组合被映射到与该组合对应的增强层的预测像素值。
<2-2.语法示例>
在实施例中，由层间预测部40生成的并且由无损编码部16编码的查找表信息至少包括用于LUT_Y的表信息和用于LUT_U的表信息。查找表信息可包括用于LUT_V的表信息。关于每个表的表信息主要包括粒度信息和与通过划分形成的多个立方分区中的每个对应的预测值信息，该粒度信息包括定义基本层的颜色空间的划分的标志集合。
表4至表6示出了根据实施例的查找表信息的语法的示例。如表4所示，在实施例中，当验证颜色映射表的标志colour_mapping_enabled_flag在PPS中被设置为真时，针对需要定义的每个颜色分量而调用定义查找表的函数colour_mapping_table(分量(component))。函数colour_mapping_table(分量)的自变量分量是颜色分量的标识符，并且可以是例如“Y”、“U”和“V”中的任一个。在以下表的示例中，函数colour_mapping_table(分量)被调用三次，以分别定义用于Y分量、U分量和V分量的查找表。
[表4]
表4.与颜色映射表相关联的变型PPS的语法(部分)的示例
包括在表5所示的函数colour_mapping_table(分量)中的参数的作用与参照表2描述的相同名称的参数的作用相同。函数colour_mapping_octants()是递归函数。与表2所示的相同名称的函数相比，表5中的递归函数colour_mapping_octants()具有另外的自变量“分量(component)”。该另外的自变量与输入到函数colour_mapping_table(分量)的颜色分量的标识符相同。
[表5]
颜色映射表的变型语法的示例
表6所示的函数colour_mapping_octants()由包括粒度信息的第一半(第2行至第10行)和包括预测值信息的第二半(第11行至第19行)形成。粒度信息包括递归地指定的并且定义基本层的颜色空间的划分的划分标志split_octant_flag集合。粒度信息与表3所示的语法的差别在于，针对每个颜色分量而分别调用函数colour_mapping_table(分量)(参见表4)，并且因此还分别针对每个颜色分量而定义表6的划分标志集合(即，粒度信息)。当特定立方分区没有进一步被划分(即，相应划分标志指示“假”)时，预测值信息通过指示该局部空间的顶点位置而指定与该立方分区对应的增强层的颜色空间的局部空间。预测值信息与表3所示的语法的区别在于，在可变顶点的一次循环中提供的顶点位置的参数累积在一个参数res_component中(用颜色分量的“Y”、“U”或“V”的标识符来替换字符串“component”)。
[表6]
颜色映射表的递归部分的变型语法的示例
表4至表6所示的语法仅是示例。可省略一些参数或者还可使用其它另外的参数。例如，除了用于LUT_Y的粒度信息之外，层间预测部40可生成指示用于LUT_U(或LUT_V)的粒度信息是否被编码为要编码的另外参数的标志，或者除了用于LUT_U的粒度信息之外，可生成指示用于LUT_V的粒度信息是否被编码作为要编码的另外参数的标志。当不需要分别定义用于颜色分量的空间划分的粒度时，标志可以指示“假”。
<3.根据实施例的编码处理的流程>
<3-1.示意流程>
图9是示出根据实施例的编码处理的示意流程的示例的流程图。为了简洁，在图中省略了与本公开的技术不直接相关的处理步骤的描述。
图9示出了，首先，BL编码部1a对基本层执行编码处理，并且生成基本层的编码流(步骤S11)。
公共存储器2对通过基本层的编码处理生成的基本层的图像(解码图像和预测误差图像之一或两者)和在各个层之间重用的参数进行缓存(步骤S12)。在各个层之间重用的参数可以包括例如分辨率信息和标识像素属性的标识信息(例如，色域信息、动态范围信息和位深信息中的一条或更多条)。
接下来，EL编码部1b执行增强层的编码处理，以生成增强层的编码流(步骤S13)。在这里执行的增强层的编码处理中，层间预测部40使用其空间划分的粒度可以不同的两个或更多个查找表而将缓存在公共存储器2中的基本层的图像转换成预测图像。转换之后的预测图像可以用作增强层中的参考图像。
接下来，复用部3对BL编码部1a生成的基本层的编码流和EL编码部1b生成的增强层的编码流进行复用，以生成多层的复用流(步骤S14)。
<3-2.空间划分处理>
图10是示出编码时的空间划分处理的流程的示例的流程图。参照图10，层间预测部40首先对控制变量进行初始化。例如，维持最小成本值的变量Rmin的值和划分深度可以被初始化为零(递归的初始状态对应于“无划分”)。
接下来，层间预测部40确定与在“无划分”的情况下的基本层的分区(占据基本层的整个颜色空间的一个分区)对应的增强层的局部空间(步骤S13)。例如，层间预测部40可以基于增强层的原始图像与基本层的重构图像(根据需要，进行了上采样)之间的相关而确定增强层的相应局部空间。
接下来，层间预测部40基于预测误差和假设编码量而计算“无划分”的情况下的编码成本(R)，并且利用该计算结果更新最小成本(Rmin←R)(步骤S15)。
重复步骤S19至步骤S29的随后处理，直到确定不存在可划分分区为止(步骤S17)。层间预测部40在重复期间首先划分任何关注的分区(步骤S19)。这里，划分可以是八分划分(划分成2×2×2个子分区)或者仅Y分量轴的另外划分。接下来，层间预测部40确定与通过划分形成的每个子分区对应的增强层的局部空间(步骤S21)。接下来，层间预测部40基于预测误差和假设编码量而计算反映步骤S19的划分的编码成本(R)(步骤S23)。层间预测部40将所计算的编码成本与此时的最小成本进行比较(步骤S25)。当所计算的编码成本小于最小成本时，层间预测部40将最小成本更新为所计算的编码成本(Rmin←R)，并且将关注分区的划分标志设置为真(步骤S27)。相反，当所计算的编码成本不小于此时的最小成本时，层间预测部40将关注分区的划分标志设置为假而不更新最小成本(步骤S29)。
递归地重复这样的处理，直到划分深度达到上限或者最小成本不更新为止。结果，生成包括划分标志集合的关于一个表的粒度信息。确定与划分之后的每个立方分区对应的增强层的局部空间。
<3-3.表信息编码处理>
(1)现有技术的方案
图11是示出根据现有技术的方案的表信息编码处理的流程的示例的流程图。参照图11，首先，对增强层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)共同执行一次图10例示的空间划分处理(步骤S110)。
接下来，基于空间划分处理的结果，对增强层的三个颜色分量共同的粒度信息进行编码(步骤S120)。分别对在空间划分处理中确定的增强层的亮度分量的预测值信息、第一色度分量的预测值信息和第二色度分量的预测值信息进行编码(步骤S122、S124和S126)。粒度信息和预测值信息的语法可以被格式化为如以上表1至表3所示。
(2)新方案
图12是示出根据上述实施例的新方案的表信息编码处理的流程的示例的流程图。
参照图12，层间预测部40首先执行空间划分处理，以确定增强层的亮度分量(Y)的查找表(LUT_Y)的空间划分的粒度(步骤S112)。层间预测部40执行空间划分处理，以确定增强层的第一色度分量(U)的查找表(LUT_U)的空间划分的粒度(步骤S114)。层间预测部40执行空间划分处理，以确定增强层的第二色度分量(V)的查找表(LUT_V)的空间划分的粒度(步骤S116)。
接下来，无损编码部16基于步骤S112的空间划分处理的结果而对LUT_Y的第一粒度信息进行编码(步骤S130)，并且对LUT_Y的第一预测值信息进行编码(步骤S135)。无损编码部16基于步骤S114的空间划分处理的结果而对LUT_U的第二粒度信息进行编码(步骤S140)，并且对LUT_U的第二预测值信息进行编码(步骤S145)。无损编码部16基于步骤S116的空间划分处理的结果而对LUT_V的第三粒度信息进行编码(步骤S150)，并且对LUT_V的第三预测值信息进行编码(步骤S155)。
对于其查找表对于其它颜色分量共同的颜色分量，可以不对该颜色分量特有的查找表信息进行编码。可对指示查找表是否是共同的另外参数进行编码。
<4.根据实施例的EL解码部的配置示例>
图13是示出图7所示的EL解码部6b的配置的示例的框图。参照图13，EL解码部6b包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、重排缓冲器67、数模(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85、层间预测部90和LUT缓冲器95。
累积缓冲器61使用存储介质以暂时累积从逆复用部5输入的增强层的编码流。
无损解码部62根据从累积缓冲器61输入的增强层的编码流、依据在编码时使用的编码方案而对增强层的量化后数据进行解码。无损解码部62对插入到编码流的头部区域中的信息进行解码。无损解码部62解码的信息可以包括例如关于帧内预测的信息、关于帧间预测的信息和关于层间预测的信息。无损解码部62将量化后数据输出到逆量化部63。无损解码部62将关于帧内预测的信息输出到帧内预测部80。无损解码部62将关于帧间预测的信息输出到帧间预测部85。无损解码部62将包括查找表信息的关于层间预测的信息输出到层间预测部90，该查找表信息可以定义具有不同粒度的两个或更多个查找表。
逆量化部63以与在编码时使用的步长相同的量化步长对从无损解码部62输入的量化后数据进行逆量化，以恢复增强层的变换系数数据。逆量化部63将所恢复的变换系数数据输出到逆正交变换部64。
逆正交变换部64通过根据用于编码的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换而生成预测误差数据。逆正交变换部64然后将所生成的预测误差数据输出到加法部65。
加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加以生成解码图像数据。加法部65然后将所生成的解码图像数据输出到环路滤波器66和帧存储器69。
如在EL编码部1b的环路滤波器24中，环路滤波器66包括减少块失真的解块滤波器和将偏移值与每个像素值相加的采样自适应偏移滤波器。环路滤波器66对从加法部65输入的解码图像数据进行滤波，并且将滤波之后的解码图像数据输出到重排缓冲器67和帧存储器69。
重排缓冲器67通过对从环路滤波器66输入的图像进行重排而生成时序图像数据。重排缓冲器67然后将所生成的图像数据输出到D/A转换部68。
D/A转换部68将从重排缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。D/A转换部68然后通过将模拟图像信号输出到例如与图像解码装置60连接的显示器(未示出)而使得显示增强层的图像。
帧存储器69使用存储介质来存储从加法部65输入的滤波之前的解码图像数据、从环路滤波器66输入的滤波之后的解码图像数据以及由层间预测部90生成的参考图像数据。
选择器70根据无损解码部62获取的模式信息，针对图像中的每个块而在帧内预测部80与帧间预测部85之间切换来自帧存储器69的图像数据的输出目的地。例如，当指定了帧内预测模式时，选择器70将从帧存储器69提供的并且尚未被滤波的解码图像数据输出到帧内预测部80作为参考图像数据。当指定了帧间预测模式时，选择器70将滤波后的解码图像数据输出到帧间预测部85作为参考图像数据。当在帧内预测部80或帧间预测部85中使用基于层间预测的图像时，选择器70将层间预测部40生成的参考图像数据提供到帧内预测部80或帧间预测部85。
选择器71根据无损解码部62获取的模式信息，在帧内预测部80与帧间预测部85之间切换要提供到加法部65的预测图像数据的输出源。例如，当指定了帧内预测模式时，选择器71将从帧内预测部80输出的预测图像数据提供到加法部65。当指定了帧间预测模式时，选择器71将从帧间预测部85输出的预测图像数据提供到加法部65。
帧内预测部80基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据而执行增强层的帧内预测处理，以生成预测图像数据。针对每个PU执行帧内预测处理。当帧内BL预测或帧内残差预测被指定为帧内预测模式时，帧内预测部80使用层间预测部90生成的图像作为参考图像。帧内预测部80将所生成的增强层的预测图像数据输出到选择器71。
帧间预测部85基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据而执行增强层的帧间预测处理(运动补偿处理)以生成预测图像数据。针对每个PU执行帧间预测处理。当帧间残差预测被指定为帧间预测模式时，帧间预测部85使用层间预测部90生成的图像作为参考图像。帧间预测部85将所生成的增强层的预测图像数据输出到选择器71。
层间预测部90根据基本层与增强层的分辨率比率，对公共存储器7缓存的基本层的图像(解码图像或预测误差图像)执行上采样。当增强层的图像具有与基本层的图像不同的像素属性时，层间预测部90使用查找表(LUT)将经过上采样的基本层的每个像素的像素值转换为增强层的预测值像素。这里，像素属性包括色域、位深和动态图像中的至少一个。层间预测部90基于从无损解码部62输入的关于层间预测的信息而重构要用于层间预测的查找表。在实施例中，如上所述，关于层间预测的信息包括可以定义两个或更多个查找表的查找表信息，这两个或更多个查找表具有不同的粒度并且用于获取不同颜色分量的预测值。
例如，第一查找表信息不仅包括定义亮度分量(Y)的LUT(LUT_Y)的粒度的粒度信息，而且还包括与LUT_Y的每个立方分区对应的预测值信息。第二查找表信息不仅包括定义第一色度分量(U)的LUT(LUT_U)的粒度信息，而且还包括与LUT_U的每个立方分区对应的预测值信息。查找表信息的语法可以是例如表4至表6所示的语法。然而，可从这些语法省略一些参数或者可使用其它另外的参数。第二查找表信息可仅在指示LUT_U的粒度信息与LUT_Y的粒度信息被分开编码的参数被解码时才被解码。包括与LUT_V的每个立方分区对应的预测值信息的第三查找表信息可以与定义第二色度分量(V)的LUT(LUT_V)的粒度的粒度信息一起解码。第三查找表信息可仅在指示LUT_V的粒度信息与LUT_U的粒度信息被分开编码的参数被解码时才被解码。
层间预测部90可以使用LUT_Y获取增强层的亮度分量的预测值，使用LUT_U获取增强层的第一色度分量的预测值，并且使用LUT_V获取增强层的第二色度分量的预测值。定义这些查找表的空间划分的粒度的粒度信息被分开解码。这表示每个空间划分的粒度可以被不同地定义。由层间预测部90使用两个或更多个查找表生成的预测图像可以存储在帧存储器69中，以用作帧内预测部80或帧间预测部85的参考图像。
LUT缓冲器95是对层间预测部90使用的两个或更多个查找表(LUT_Y、LUT_U和LUT_V中的两个或更多个)进行缓存的缓冲器。在每个查找表中，基本层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的组合被映射为与该组合对应的增强层的预测像素值。
<5.根据实施例的解码处理的流程>
<5-1.示意流程>
图14是示出根据实施例的解码处理的示意流程的示例的流程图。为了简洁，在图中省略了与根据本公开的技术不直接相关的处理步骤的描述。
图14示出了：首先，逆复用部5对多层的复用流进行逆复用以获得基本层的编码流和增强层的编码流(步骤S60)。
接下来，BL解码部6a对基本层执行解码处理，并且根据基本层的编码流而重构基本层图像(步骤S61)。
公共存储器7对通过基本层的解码处理生成的基本层的图像(解码图像和预测误差图像之一或两者)以及在层之间重用的参数进行缓存(步骤S62)。在层之间重用的参数可以包括例如分辨率信息和标识像素属性的标识信息(例如，色域信息、动态范围信息和位深信息中的一条或更多条)。
接下来，EL解码部6b执行增强层的解码处理以重构增强层图像(步骤S63)。在这里执行的增强层的解码处理中，层间预测部90使用其空间划分的粒度可以不同的两个或更多个查找表而将缓存在公共存储器7中的基本层的图像转换成预测图像。转换之后的预测图像可以用作增强层中的参考图像。
<5-2.表重构处理>
(1)现有技术的方案
图15是示出根据现有技术的方案的表重构处理的流程的示例的流程图。参照图15，首先针对增强层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)对公共粒度信息进行解码(步骤S220)。除了指示划分的深度的上限的参数之外，这里解码的粒度信息还可以包括定义基本层的颜色空间的划分的划分标志集合。接下来，分别对亮度分量的预测值信息、第一色度分量的预测值信息和第二色度分量的预测值信息进行解码(步骤S222、S224和S226)。
接下来，通过根据在步骤S220中解码的粒度信息对基本层的颜色空间进行划分来共同设置对于一个LUT的一个或更多个立方分区(步骤S262)。接下来，根据三个颜色分量的预测值信息而设置与在步骤S262中设置的每个立方分区对应的增强层的局部空间(步骤S264)。
(2)新方案
图16是示出根据上述实施例的、依据新方案的表重构处理的流程的示例的流程图。
参照图16，无损解码部62首先对关于作为当获取增强层的亮度分量(Y)的预测值时所参考的查找表的LUT_Y的粒度信息进行解码(步骤S230)。无损解码部62对关于LUT_Y的预测值信息进行解码(步骤S232)。接下来，层间预测部90通过根据在步骤S230中解码的粒度信息对基本层的颜色空间进行划分而设置对于LUT_Y的一个或更多个立方分区(步骤S234)。接下来，层间预测部90根据在步骤S232中解码的预测值信息而设置与LUT_Y的所设置的一个或多个立方分区中的每个对应的增强层的局部空间(步骤S236)。
接下来，无损解码部62对关于作为当获取增强层的第一色度分量(U)的预测值时所参考的查找表的LUT_U的粒度信息进行解码(步骤S240)。无损解码部62对关于LUT_U的预测值信息进行解码(步骤S242)。接下来，层间预测部90通过根据在步骤S240中解码的粒度信息对基本层的颜色空间进行划分而设置对于LUT_U的一个或更多个立方分区(步骤S244)。接下来，层间预测部90根据在步骤S242中解码的预测值信息而设置与LUT_U的所设置的一个或更多个立方分区中的每个对应的增强层的局部空间(步骤S246)。
接下来，无损解码部62对关于作为当获取增强层的第二色度分量(V)时所参考的查找表的LUT_V的粒度信息进行解码(步骤S250)。无损解码部62对关于LUT_V的预测值信息进行解码(步骤S252)。接下来，层间预测部90通过根据在步骤S250中解码的粒度信息对基本层的颜色空间进行划分而设置对于LUT_V的一个或更多个立方分区(步骤S254)。接下来，层间预测部90根据在步骤S252中解码的预测值信息而设置与LUT_V的所设置的一个或更多个立方分区中的每个对应的增强层的局部空间(步骤S256)。
对于查找表对于其它颜色分量共同的颜色分量，可不对该颜色分量特有的查找表信息进行解码，并且可不设置基于查找表信息的查找表。可对指示查找表是否是共同的附加参数进行解码，并且可根据该附加参数而对表重构处理进行分支。
层间预测部90可以使用两个或更多个重构的查找表而执行层间预测。例如，层间预测部90可以确定LUT_Y的一个或更多个立方分区当中输入像素矢量所属的分区，并且通过基于与所确定的分区对应的增强层的局部空间的顶点的像素值的线性内插而获取Y分量的预测像素值。可以分别使用LUT_U和LUT_V类似地获取U分量的预测像素值和V分量的预测像素值。作为通过对每个像素执行转换而获得的结果，生成层间预测的预测图像。
<6.应用>
<6-1.对各种产品的应用>
根据实施例的图像编码装置10和图像解码装置60可应用于各种电子装置，诸如用于卫星广播、诸如有线TV的有线广播、因特网上的分发、经由蜂窝通信对终端的分发等的发送器和接收器，将图像记录在诸如光盘、磁盘和闪存的介质中的记录装置以及从这样的存储介质再现图像的再现装置。以下将描述四种应用。
(1)第一应用
图17示出了应用实施例的电视机装置的示意配置的示例。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器902然后将通过解调获得的编码位流输出到解复用器903。即，调谐器902用作电视机装置900的用于接收图像被编码的编码流的发送机构。
解复用器903对编码位流进行解复用以获得要观看的节目的视频流和音频流，并且将每个解复用后的流输出到解码器904。解复用器903还从编码位流提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供到控制部910。另外，解复用器903可在可在编码位流被加扰时执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将在解码处理中生成的视频数据输出到视频信号处理部905。解码器904还将在解码处理中生成的音频数据输出到音频信号处理部907。
视频信号处理部905再现从解码器904输入的视频数据，并且使得显示部906显示该视频。视频信号处理部905还可使得显示部906显示经由网络提供的应用画面。此外，视频信号处理部905可根据设置对例如视频数据执行诸如去噪的附加处理。此外，视频信号处理部905可生成诸如菜单、按钮和光标的图形用户接口(GUI)的图像，并且将所生成的图像重叠在输出图像上。
显示部906由从视频信号处理部905提供的驱动信号来驱动，并且在显示装置(例如，液晶显示器、等离子显示器、OLED等)的视频屏幕上显示视频或图像。
音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出声音。音频信号处理部907还可对音频数据执行诸如去噪的附加处理。
外部接口909是用于将电视机装置900连接到外部装置或网络的接口。例如，经由外部接口909接收的视频流或音频流可由解码器904来解码。即，外部接口909还用作电视机装置900的用于接收图像被编码的编码流的发送机构。
控制部910包括诸如中央处理单元(CPU)的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储要由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。存储在存储器中的程序例如在电视机装置900启动时由CPU读出和执行。CPU例如通过执行程序、根据从用户接口911输入的操作信号而控制电视机装置900的操作。
用户接口911连接到控制装置910。用户接口911包括例如用于用户操作电视机装置900的按钮和开关以及用于远程控制信号的接收部。用户接口911经由这些结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部910。
总线910将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910连接到彼此。
在具有上述配置的电视机装置900中，解码器904具有根据上述实施例的图像解码装置60的功能。因此，当电视机装置900在具有相互不同的像素属性的层之间使用查找表方案执行层间预测时，可以针对每个颜色分量适当地使用其空间划分的粒度不同的多个查找表。
(2)第二应用
图18示出了应用实施例的移动电话的示意配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932和总线933。
天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933将通信部922、音频编解码器923、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931连接到彼此。
移动电话920以包括音频呼叫模式、数据通信模式、图像捕获模式和视频电话模式的各种操作模式，执行诸如音频信号的发送和接收、电子邮件或图像数据的发送和接收、图像捕获和数据的记录的操作。
麦克风925生成的模拟音频信号在音频呼叫模式下被提供到音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，使得转换后的音频数据进行A/D转换，并且对转换后的数据进行压缩。音频编解码器923然后将压缩后的音频数据输出到通信部922。通信部922对音频数据进行编码和调制，并且生成发送信号。通信部922然后经由天线921将所生成的发送信号发送到基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换以获取接收信号。通信部922然后对所接收的信号进行解调和解码，生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行扩展，使得音频数据进行D/A转换，并且生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供到扬声器924以输出声音。
控制部931还根据用户经由操作部932进行的操作而生成文本数据，该文本数据例如构成电子邮件。另外，控制部931使得显示部930显示文本。此外，控制部931根据经由操作部932来自用户的发送指令而生成电子邮件数据，并且将所生成的电子邮件数据输出到通信部922。通信部922对电子邮件数据进行编码和调制，并且生成发送信号。通信部922然后经由天线921将所生成的发送信号发送到基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换以获取接收信号。通信部922然后对所接收的信号进行解调和解码以恢复电子邮件数据，并且将所恢复的电子邮件数据输出到控制部931。控制部931使得显示部930显示电子邮件的内容，并且还使得记录/再现部929的存储介质存储电子邮件数据。
记录/再现部929包括可读可写存储介质。例如，存储介质可以是诸如RAM和闪存的内置存储介质，或者诸如硬盘、磁盘、磁光盘、光盘、USB存储器和存储卡的外部安装存储介质。
此外，摄像装置部926例如捕获主体的图像以生成图像数据，并且在图像捕获模式下将所生成的图像数据输出到图像处理部927。图像处理部927对从摄像装置部926输入的图像数据进行编码，并且使得记录/再现部929的存储介质存储编码后的流。
此外，解复用部928例如对图像处理部927编码的视频流和从音频编解码器923输入的音频流进行解复用，并且在视频电话模式下将解复用后的流输出到通信部922。通信部922对流进行编码和调制，并且生成发送信号。通信部922然后经由天线921将所生成的发送信号发送到基站(未示出)。通信部922还对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换以获取接收信号。这些发送信号和接收信号可包括编码位流。通信部922然后对所接收的信号进行解调和解码以恢复流，并且将所恢复的流输出到解复用部928。解复用部928对输入流进行解复用以获得视频流和音频流，并且将视频流输出到图像处理部927以及将音频流输出到音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被提供到显示部930，并且由显示部930显示一系列图像。音频编解码器923对音频流进行扩展，使得音频流进行D/A转换，并且生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供到扬声器924，并且使得输出声音。
在具有上述配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，当移动电话在具有相互不同的像素属性的层之间使用查找表方案执行层间预测时，可以针对每个颜色分量适当地使用空间划分的粒度不同的多个查找表。
(3)第三应用
图19示出了应用实施例的记录/再现装置的示意配置的示例。记录/再现装置940例如对所接收的广播节目的音频数据和视频数据进行编码，并且将编码后的音频数据和编码后的视频数据记录在记录介质中。例如，记录/再现装置940还可对从其它装置获取的音频数据和视频数据进行编码，并且将编码后的音频数据和编码后的视频数据记录在记录介质中。此外，记录/再现装置940例如根据用户的指令而使用监视器或扬声器再现记录在记录介质中的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、在屏显示器(OSD)948、控制部949和用户接口950。
调谐器941从经由天线(未示出)接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器941然后将通过解调获得的编码位流输出到选择器946。即，调谐器941用作记录/再现装置940的发送机构。
外部接口942是用于将记录/再现装置940连接到外部装置或网络的接口。例如，外部接口942可以是IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口942接收的视频数据和音频数据被输入到编码器943。即，外部接口942用作记录/再现装置940的发送机构。
当从外部接口942输入的视频数据和音频数据没有被编码时，编码器943对视频数据和音频数据进行编码。编码器943然后将编码位流输出到选择器946。
HDD 944将视频和声音的内容数据被压缩的编码位流、各种程序和其它数据记录在内部硬盘中。HDD 944还在再现视频或声音时从硬盘读出这些数据。
盘驱动器945将数据记录在所安装的记录介质中并且从所安装的记录介质读出数据。安装在盘驱动器945上的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。
选择器946在记录视频或声音时选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出到HDD 944或盘驱动器945。选择器946还在再现视频或声音时将从HDD 944或盘驱动器945输入的编码位流输出到解码器947。
解码器947对编码位流进行解码，并且生成视频数据和音频数据。解码器947然后将所生成的视频数据输出到OSD 948。解码器947还将所生成的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据，并且显示视频。OSD 948还可将诸如菜单、按钮和光标的GUI的图像重叠在所显示的视频上。
控制部949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、程序数据等。例如，存储在存储器中的程序在记录/再现装置940启动时由CPU读出和执行。CPU例如通过执行程序、根据从用户接口950输入的操作信号而控制记录/再现装置940的操作。
用户接口950连接到控制部949。用户接口950包括例如用于用户操作记录/再现装置940的按钮和开关以及用于远程控制信号的接收部。用户接口950检测用户经由这些结构元件进行的操作，生成操作信号，并且将所生成的操作信号输出到控制部949。
在具有上述配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。解码器947具有根据上述实施例的图像解码装置60的功能。因此，当记录/再现装置940在具有相互不同的像素属性的层之间使用查找表方案执行层间预测时，可以针对每个颜色分量适当地使用其空间划分的粒度不同的多个查找表。
(4)第四应用
图20示出了应用实施例的图像捕获装置的示意配置的示例。图像捕获装置960捕获主体的图像以生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。
图像捕获装置960包括光学组件961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971和总线972。
光学组件961连接到图像捕获部962。图像捕获部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD 969和控制部970连接到彼此。
光学组件961包括聚焦透镜、光圈停止机构等。光学组件961在图像捕获部962的图像捕获表面上形成主体的光学图像。图像捕获部962包括诸如CCD和CMOS的图像传感器，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。图像捕获部962然后将图像信号输出到信号处理部963。
信号处理部963对从图像捕获部962输入的图像信号执行各种摄像装置信号处理，诸如膝点校正、伽马校正和颜色校正。信号处理部963将进行了摄像装置信号处理的图像数据输出到图像处理部964。
图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。图像处理部964然后将所生成的编码数据输出到外部接口966或介质驱动器968。图像处理部964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。图像处理部964然后将所生成的图像数据输出到显示部965。图像处理部964还可将从信号处理部963输入的图像数据输出到显示部965，并且使得显示图像。此外，图像处理部964可将从OSD 969获取的用于显示的数据重叠在要输出到显示部965的图像上。
OSD 969生成诸如菜单、按钮和光标的GUI的图像，并且将所生成的图像输出到图像处理部964。
外部接口966被配置为例如USB输入/输出端子。外部接口966例如在打印图像时连接图像捕获装置960与打印机。驱动器在必要时进一步连接到外部接口966。诸如磁盘和光盘的可移除介质安装在驱动器上，并且从可移除介质读出的程序可安装在图像捕获装置960中。此外，外部接口966可被配置为要连接到诸如LAN和因特网的网络的网络接口。即，外部接口966用作图像捕获装置960的发送机构。
要安装在介质驱动器968上的记录介质可以是可读可写可移除介质，诸如磁盘、磁光盘、光盘和半导体存储器。记录介质还可固定地安装在介质驱动器968上，该介质驱动器968构成诸如内置硬盘驱动器或固态驱动器(SSD)的不可移动存储部。
控制部970包括诸如CPU的处理器以及诸如ROM和RAM的存储器。存储器存储要由CPU执行的程序、程序数据等。存储在存储器中的程序例如在图像捕获装置960启动时由CPU读出和执行。CPU例如通过执行程序、根据从用户接口971输入的操作信号而控制图像捕获装置960的操作。
用户接口971连接到控制部970。用户接口971包括例如用于用户操作图像捕获装置960的按钮、开关等。用户接口971检测用户经由这些结构元件进行的操作，生成操作信号，并且将所生成的操作信号输出到控制部970。
在具有上述配置的图像捕获装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，当图像捕获装置960在具有相互不同的像素属性的层之间使用查找表方案执行层间预测时，可以针对每个颜色分量适当地使用空间划分的粒度不同的多个查找表。
<6-2.可伸缩视频编码的各种目的>
上述可伸缩视频编码的优点可以被实现用于各种目的。以下将描述三种这样的目的的示例。
(1)第一示例
在第一示例中，可伸缩视频编码用于选择性地发送数据。参照图21，数据发送系统1000包括流存储装置1001和递送服务器1002。递送服务器1002经由网络1003连接到多个终端装置。网络1003可以是有线网络，可以是无线网络，或者可以是有线网络和无线网络的组合。图21示出了个人计算机(PC)1004、AV装置1005、平板装置1006和移动电话1007作为终端装置的示例。
流存储装置1001存储例如流数据1011，流数据1011包括图像编码装置10生成的复用流。复用流包括基本层(BL)的编码流和增强层(EL)的编码流。递送服务器1002读取存储在流存储装置1001中的流数据1011，并且经由网络1003将所读取的流数据1011的至少一部分递送到PC 1004、AV装置1005、平板装置1006和移动电话1007。
当流被递送到终端装置时，递送服务器1002基于诸如终端装置的性能或通信环境等特定条件而选择要递送的流。例如，递送服务器1002可通过不递送具有超过终端装置可以处理的图像质量的高图像质量的编码流而防止终端装置中的延迟或上溢或者处理器的过载。递送服务器1002可通过不递送具有高图像质量的编码流而避免网络1003的通信频带的占用。另一方面，当不存在要避免的风险或者基于与用户的合约或特定条件而确定复用流的递送是适当的时，递送服务器1002可将所有复用流递送到终端装置。
在图21的示例中，递送服务器1002从流存储装置1001读取流数据1011。然后，递送服务器1002将流数据1011递送到具有高处理性能的PC 1004而不进行改变。由于AV装置1005具有低处理性能，递送服务器1002生成仅包括从流数据1011提取的基本层的编码流的流数据1012，并且将流数据1012递送到AV装置1005。递送服务器1002将流数据1011递送到能够以高通信速率进行通信的平板装置1006而不进行改变。由于移动电话1007仅可以以低通信速率进行通信，因此递送服务器1002将仅包括基本层的编码流的流数据1012递送到移动电话1007。
通过以此方式使用复用流，可以自适应地调整要发送的通信量。与各个层被独立编码的情况相比，流数据1011的编码量减小。因此，甚至当递送所有流数据1011时，施加于网络1003的负荷也被抑制。流存储装置1001的存储器资源也被节省。
终端装置的硬件性能在各个装置中不同。要在终端装置中执行的应用的能力也是多样的。网络1003的通信容量也是多样的。可以用于数据发送的容量可以由于其它通信的存在而随时间改变。因此，在开始流数据的递送之前，递送服务器1002可通过与递送目的地的终端装置传递信令而获取关于网络1003的通信容量等的网络信息和关于终端装置的硬件性能、应用能力等的终端信息。然后，递送服务器1002可以基于所获取的信息而选择要递送的流。
可在终端装置中提取要解码的层。例如，PC 1004可在其屏幕上显示从所接收的复用流提取和解码的基本层图像。PC 1004可从所接收的复用流提取基本层的编码流，生成流数据1012，并且将所生成的流数据1012存储在存储介质中或者将所生成的流数据1012传送到其它装置。
图21所示的数据发送系统1000的配置仅是示例。数据发送系统1000可包括任何数量的流存储装置1001、任何数量的递送服务器1002、任何数量的网络1003和任何数量的终端装置。
(2)第二示例
在第二示例中，可伸缩视频编码用于经由多个通信信道发送数据。参照图22，数据发送系统1100包括广播站1101和终端装置1102。广播站1101在地面信道1111上广播基本层的编码流1121。广播站1101经由网络1112将增强层的编码流1122发送到终端装置1102。
终端装置1102具有接收广播站1101广播的地面广播的接收功能，并且通过地面广播1111接收基本层的编码流1121。终端装置1102具有与广播站1101通信的通信功能，并且经由网络1112接收增强层的编码流1122。
例如，终端装置1102可根据来自用户的指令而接收基本层的编码流1121，并且根据所接收的编码流1121对基本层图像进行解码以在屏幕上显示基本层图像。终端装置1102可将解码后的基本层层图像存储在存储介质中或者将解码后的基本层图像发送到其它装置。
例如，终端装置1102可根据来自用户的指令而经由网络1112接收增强层的编码流1122，并且对基本层的编码流1121和增强层的编码流1122进行复用以生成复用流。终端装置1102可根据增强层的编码流1122而对增强层图像进行解码，以在屏幕上显示增强层图像。终端装置1102可将解码后的增强层图像存储在存储介质中或者将解码后的增强层图像发送到其它装置。
如上所述，包括在复用流中的各个层的编码流可以针对各个层而经由不同的通信信道来发送。因此，通过分摊施加于各个信道上的负荷，可以抑制延迟的发生或者通信的上溢。
要用于发送的通信信道也可根据特定状况而动态地选择。例如，具有相对大数据量的基本层的编码流1121可以通过具有宽带宽的通信信道来发送，并且具有相对小数据量的增强层的编码流1122可以通过具有窄带宽的通信信道来发送。通过其发送特定层的编码流1122的通信信道可根据通信信道的带宽来切换。从而可以高效地抑制施加于各个信道的负荷。
图22所示的数据发送系统1100的配置仅是示例。数据发送系统1100可包括任何数量的通信信道和任何数量的终端装置。这里描述的系统的配置可以用于其它目的以及广播。
(3)第三示例
在第三示例中，可伸缩视频编码用于存储视频。参照图23，数据发送系统1200包括图像捕获装置1201和流存储装置1202。图像捕获装置1201对通过对主体1211进行成像而生成的图像数据执行可伸缩视频编码以生成复用流1221。复用流1221包括基本层的编码流和增强层的编码流。图像捕获装置1201将复用流1221提供到流存储装置1202。
流存储装置1202存储从图像捕获装置1201提供的复用流1221，以使得对于各个模式以不同的图像质量来存储复用流1221。例如，在正常模式下，流存储装置1202从复用流1221提取基本层的编码流1222，并且存储所提取的基本层的编码流1222。另一方面，在高图像质量模式下，流存储装置1202存储复用流1221而不进行改变。因此，流存储装置1202可以仅在具有高图像质量的视频的记录是优选的时才记录具有大数据量的高图像质量流。因此，可以节省存储器资源，同时抑制图像质量的劣化对用户的影响。
例如，假设图像捕获装置1201为监视摄像装置。当监视目标(例如，侵入者)没有示出在捕获图像中时，选择正常模式。在该情况下，由于捕获图像不重要的概率高，因此优先数据量的减小而以低图像质量记录视频(即，仅存储基本层的编码流1222)。另一方面，当监视目标(例如，作为侵入者的主体1211)示出在捕获图像中时，选择高质量图像模式。在该情况下，由于捕获图像重要的概率高，优先图像质量的提高而以高图像质量记录视频(即，存储复用流1221)。
在图23的示例中，例如，基于流存储装置1202的图像分析结果而选择模式。然而，本公开的实施例不限于该示例，而是可由图像捕获装置1201来选择模式。在后一种情况下，图像捕获装置1201可在正常模式下将基本层的编码流1222提供到流存储装置1202，并且可在高图像质量模式下将复用流1221提供到流存储装置1202。
用于选择模式的选择标准可以是任何标准。例如，可根据通过麦克风获取的音频的幅度、音频的波形等而切换模式。可周期性地切换模式。可根据来自用户的指令而切换模式。可选择模式的数量可以是任意数量，只要模式的数量不超过要分层的层数即可。
图23所示的数据发送系统1200的配置仅是示例。数据发送系统1200可包括任何数量的图像捕获装置1201。这里描述的系统的配置可用于其它目的以及监视摄像装置。
<6-3.其它>
(1)对多视图编解码器的应用
多视图编解码器是多层编解码器的类型，并且是对所谓的多视图视频进行编码和解码的图像编码方案。图24是用于描述多视图编解码器的说明图。参照图24，示出了在三个视点处拍摄的三个视图帧的序列。视图ID(view_id)被分配给各个视图。在多个视图当中，任一个视图可被指定为基本视图。除基本视图之外的视图被称为非基本视图。在图24的示例中，具有视图ID“0”的视图是基本视图，并且具有视图ID“1”或“2”的两个视图是非基本视图。当以分层方式对视图进行编码时，每个视图可以与层对应。如图中的箭头所指示的，参考基本视图的图像(也可参考其它非基本视图的图像)而对非基本视图的图像进行编码和解码。
图25是示出支持多视图编解码器的图像编码装置10v的示意配置的框图。参照图25，图像编码装置10v包括第一层编码部1c、第二层编码部1d、公共存储器2和复用部3。
第一层编码部1c的功能与参照图6描述的BL编码部1a的功能相同，除了取代基本层图像，基本视图图像被接收作为输入之外。第一层编码部1c对基本视图图像进行编码以生成第一层的编码流。第二层编码部1d的功能与参照图6描述的EL编码部1b的功能相同，除了取代增强层图像，非基本视图图像被接收作为输入之外。第二层编码部1d对非基本视图图像进行编码以生成第二层的编码流。公共存储器2存储在各个层之间共同使用的信息。复用部3对第一层编码部1c生成的第一层的编码流和第二层编码部1d生成的第二层的编码流进行复用以生成多个层的复用流。
图26是示出支持多视图编解码器的图像解码装置60v的示意配置的框图。参照图26，图像解码装置60v包括逆复用部5、第一层解码部6c、第二层解码部6d和公共存储器7。
逆复用部5将多个层的复用流逆复用为第一层的编码流和第二层的编码流。第一层解码部6c的功能与参照图7描述的BL解码部6a的功能相同，除了取代基本层图像，通过对基本视图图像进行编码而获得的编码流被接收作为输入之外。第一层解码部6c根据第一层的编码流对基本视图图像进行解码。第二层解码图6d的功能与参照图7描述的EL解码部6b的功能相同，除了取代增强层图像，通过对非基本视图图像进行编码而获得的编码流被接收作为输入之外。第二层解码部6d根据第二层的编码流对非基本视图图像进行解码。公共存储器7存储在各个层之间共同使用的信息。
当对多视图图像数据进行编码或解码并且诸如色域、动态范围或位深的像素属性在各个视图之间不同时，可根据本公开的技术来预测各个视图之间的像素值。因此，通过甚至在多视图编解码器中也适当地使用具有不同的空间划分粒度的多个查找表，如在可伸缩视频编码的情况下一样，可以实现预测精度的改进与编码量的抑制之间的最佳平衡。
(2)对流送技术的应用
本公开的技术可应用于流送协议。例如，在HTTP上的动态自适应流送(MPEG-DASH)中，在流送服务器中预先准备诸如分辨率的参数相互不同的多个编码流。流送服务器从多个编码流中动态地选择适合以片段为单位流送的数据，并且递送所选择的数据。在这样的流送协议中，可根据本公开的技术而控制编码流之间的预测。
<7.结论>
以上参照图1至图26详细描述了本公开的技术的实施例。在上述实施例中，为了执行使用3维查找表而预测具有与第一层不同的像素属性的第二层的图像的层间预测，与获取第二层的亮度分量的预测值时参考的第一查找表分开定义获取第二层的至少第一色度分量的预测值时所参考的第二查找表。第二查找表的空间划分粒度可以被定义为使得粒度与第一查找表的粒度不同。还可以定义获取第二层的第二色度分量的预测值时所参考的第三查找表，并且第三查找表具有与第一查找表和第二查找表中的至少一个不同的粒度。
根据该结构，可用查找表的空间划分的粒度不限于单一方法的粒度。因此，可以灵活地基于最优粒度的空间划分而适当地使用查找表。例如，存在如下情况：其中，关于亮度分量使用具有8×2×2(＝32)的更精细立方分区的查找表，并且另一方面，关于第一色度分量和第二色度分量使用具有2×1×1(＝2)的较粗立方分区的查找表(这里的分区的数量仅是示例，并且本公开的技术的实施例不限于此)。关于亮度分量的尤其精细的查找表的使用可以有助于例如动态范围可伸缩性中的亮度分量的预测精度的改进。另一方面，关于色度分量的较粗查找表的使用导致查找表信息的编码量减少。因此，根据上述结构，可以避免关于颜色分量的一部分查找表的空间划分的粒度比所需过粗或过细的缺点。因此，可以实现预测精度的改进与编码量的抑制之间的最佳平衡。
作为一个示例，可对指示定义另一查找表的信息是否被编码的附加参数进行编码和解码。在该示例中，通过改变该附加参数的值，可以自适应地增加或减少所定义的查找表的粒度的变化。
在本说明书中描述的术语“CU”、“PU”和“TU”指的是还包括与HEVC中的各个块相关联的语法的逻辑单位。在仅关注作为图像的部分的各个块的情况下，块可利用术语“编码块(CB)”、“预测块(PB)”和“变换块(TB)”来替换。CB通过以层级方式以四叉树形式划分编码树块(CTB)来形成。一个四叉树的全部对应于CTB，并且与CTB对应的逻辑单位被称为编码树单位(CTU)。HEVC中的CTB和CB在编码处理的处理单位方面具有与H.264/AVC中的宏块类似的作用。然而，CTB和CB与宏块的不同在于，CTB和CB的大小不是固定的(宏块的大小通常是16×16像素)。CTB的大小选自16×16像素、32×32像素和64×64像素，并且由编码流中的参数来指定。CB的大小可以根据CTB被划分的深度而变化。
描述主要是针对以下示例而做出的：其中，关于层间预测的信息复用在编码流的头部中，并且从编码侧被发送到解码侧。然而，发送这样的信息的技术不限于该示例。例如，信息没有被复用到编码位流中，而是可作为与编码位流相关联的单独数据来发送或记录。术语“相关联”表示在解码时包括在位流中的图像(也可以是图像的一部分，诸如切片和块)可与对应于图像的信息关联。即，信息可通过与图像(或位流)不同的发送路径来发送。信息也可记录在与图像(或位流)不同的记录介质(或者同一记录介质的不同记录区域)中。信息和图像(或位流)可进一步以给定单位(诸如多个帧、一个帧和帧的一部分)彼此相关联。
在本说明书中描述的各个装置中执行的一系列控制处理可使用软件、硬件以及软件和硬件的组合之一来实现。例如，软件程序预先存储在各个装置内部或外部所安装的存储介质中。例如，各个程序在执行程序时被读取到随机存取存储器(RAM)，并且由诸如中央处理单元(CPU)的处理器来执行。
本领域技术人员应理解，在所附权利要求或其等同方案的范围内，可根据设计要求和其它因素而进行各种修改、组合、子组合和变更。
另外，在本说明书中描述的效果仅是示例性的和说明性的而非限制性的。换言之，伴随或取代基于本说明书的效果，根据本公开的技术可以呈现对本领域技术人员明显的其它效果。
另外，本技术也可如下进行配置。
(1)一种图像处理装置，包括：
电路，被配置成：
通过使用查找表，根据第一层的图像而预测具有与所述第一层不同的像素属性的第二层的图像，在所述查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值，
其中，通过使用第一查找表来获取所述第二层的亮度分量的预测值，并且通过使用具有与所述第一查找表的粒度不同的粒度的第二查找表来获取所述第二层的第一色度分量的预测值。
(2)根据(1)所述的图像处理装置，其中，所述电路进一步被配置成：
对定义所述第一查找表的粒度的第一粒度信息进行解码；以及
对定义所述第二查找表的粒度的第二粒度信息进行解码。
(3)根据(1)或(2)所述的图像处理装置，其中，所述电路进一步被配置成：
对定义所述第一查找表的粒度的第一粒度信息进行编码；以及
对定义所述第二查找表的粒度的第二粒度信息进行编码。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，进一步使用第三查找表来获取所述第二层的第二色度分量的预测值，所述第三查找表具有与所述第一查找表的粒度和所述第二查找表的粒度不同的粒度。
(5)根据(1)至(4)中任一项所述的图像处理装置，
其中，所述第一粒度信息包括定义与所述第一查找表有关的基本层的颜色空间的划分的标志集合，以及
其中，所述第二粒度信息包括定义与所述第二查找表有关的基本层的颜色空间的划分的标志集合。
(6)根据(1)至(5)中任一项所述的图像处理装置，
其中，与对应于所述第一查找表的每个立方分区的预测值信息一起对所述第一粒度信息进行编码，并且，
其中，与对应于所述第二查找表的每个立方分区的预测值信息一起对所述第二粒度信息进行编码。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，所述预测值信息指示与每个立方分区对应的增强层的颜色空间的局部空间的顶点位置。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中，当对指示所述第二粒度信息与所述第一粒度信息分开编码的参数进行解码时，对所述第二粒度信息进行解码。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中，所述像素属性包括色域、位深和动态范围中的至少一个。
(10)根据(1)至(9)中任一项所述的图像处理装置，其中，所述第一粒度信息对应于Y颜色分量、U颜色分量和V颜色分量之一，并且所述第二粒度信息对应于除了所述第一粒度信息所对应的Y颜色分量、U颜色分量和V颜色分量之一之外的、Y颜色分量、U颜色分量和V颜色分量中的另一个。
(11)一种由图像处理装置执行的图像处理方法，该图像处理装置根据第一层的图像而预测具有与所述第一层不同的像素属性的第二层的图像，所述图像处理方法包括：
通过使用第一查找表来获取所述第二层的亮度分量的预测值，在所述第一查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值；以及
通过使用具有与所述第一查找表的粒度不同的粒度的第二查找表来获取所述第二层的第一色度分量的预测值。
(12)一种其上实施有程序的非暂态计算机可读介质，所述程序当由计算机执行时，使得所述计算机执行图像处理方法，所述图像处理方法根据第一层的图像而预测具有与所述第一层不同的像素属性的第二层的图像，所述图像处理方法包括：
通过使用第一查找表来获取所述第二层的亮度分量的预测值，在所述第一查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值；以及
通过使用具有与所述第一查找表的粒度不同的粒度的第二查找表来获取所述第二层的第一色度分量的预测值。
(13)一种图像处理装置，包括：
预测部，被配置成使用查找表而根据第一层的图像预测具有与所述第一层不同的像素属性的第二层的图像，在所述查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测值，
其中，所述预测部使用第一查找表来获取所述第二层的亮度分量的预测值，并且使用具有与所述第一查找表的粒度不同的粒度的第二查找表来获取所述第二层的第一色度分量的预测值。
(14)根据(13)所述的图像处理装置，还包括：
解码部，被配置成对定义所述第一查找表的粒度的第一粒度信息和定义所述第二查找表的粒度的第二粒度信息进行解码。
(15)根据(13)所述的图像处理装置，还包括：
编码部，被配置成对定义所述第一查找表的粒度的第一粒度信息和定义所述第二查找表的粒度的第二粒度信息进行编码。
(16)根据(14)或(15)所述的图像处理装置，其中，所述预测部还使用第三查找表来获取所述第二层的第二色度分量的预测值，所述第三查找表具有与所述第一查找表的粒度和所述第二查找表的粒度不同的粒度。
(17)根据(14)至(16)中任一项所述的图像处理装置，
其中，所述第一粒度信息包括定义与所述第一查找表有关的基本层的颜色空间的划分的标志集合，以及
其中，所述第二粒度信息包括定义与所述第二查找表有关的基本层的颜色空间的划分的标志集合。
(18)根据(17)所述的图像处理装置，
其中，与对应于所述第一查找表的每个立方分区的预测值信息一起对所述第一粒度信息进行编码，以及
其中，与对应于所述第二查找表的每个立方分区的预测值信息一起对所述第二粒度信息进行编码。
(19)根据(18)所述的图像处理装置，其中，所述预测值信息指示与每个立方分区对应的增强层的颜色空间的局部空间的顶点位置。
(20)根据(14)所述的图像处理装置，其中，当对指示所述第二粒度信息与所述第一粒度信息分开编码的参数进行解码时，所述解码部对所述第二粒度信息进行解码。
(21)根据(13)至(20)中任一项所述的图像处理装置，其中，所述像素属性包括色域、位深和动态范围中的至少一个。
(22)一种由图像处理装置执行的图像处理方法，所述图像处理装置根据第一层的图像而预测具有与所述第一层不同的像素属性的第二层的图像，所述图像处理方法包括：
使用第一查找表来获取所述第二层的亮度分量的预测值，在所述第一查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值；以及
使用具有与所述第一查找表的粒度不同的粒度的第二查找表来获取所述第二层的第一色度分量的预测值。
附图标记列表
10，10v 图像编码装置(图像处理装置)
16 无损编码部
40 层间预测部
45 查找表缓冲器
60，60v 图像解码装置(图像处理装置)
62 无损解码部
90 层间预测部
95 查找表缓冲器

Claims (10)

1.一种图像处理装置，包括：
电路，被配置成：
通过使用查找表，根据第一层的图像来预测具有与所述第一层不同的像素属性的第二层的图像，在所述查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值，
其中，通过使用第一三维查找表来获取所述第二层的亮度分量的预测值，并且通过使用具有与所述第一三维查找表的粒度不同的粒度的第二三维查找表来获取所述第二层的第一色度分量的预测值,
其中，所述电路进一步被配置成：
对定义所述第一三维查找表的粒度的第一粒度信息进行解码；以及
对定义所述第二三维查找表的粒度的第二粒度信息进行解码,
其中，所述第一粒度信息包括定义与所述第一三维查找表有关的基本层的颜色空间的划分的标志集合，以及
其中，所述第二粒度信息包括定义与所述第二三维查找表有关的所述基本层的颜色空间的划分的标志集合。
2.根据权利要求1所述的图像处理装置，其中，所述电路进一步被配置成：
对定义所述第一三维查找表的粒度的第一粒度信息进行编码；以及
对定义所述第二三维查找表的粒度的第二粒度信息进行编码。
3.根据权利要求1所述的图像处理装置，其中，进一步使用第三三维查找表来获取所述第二层的所述第二色度分量的预测值，所述第三三维查找表具有与所述第一三维查找表的粒度和所述第二三维查找表的粒度不同的粒度。
4.根据权利要求1所述的图像处理装置，
其中，与对应于所述第一三维查找表的每个立方分区的预测值信息一起对所述第一粒度信息进行编码，并且，
其中，与对应于所述第二三维查找表的每个立方分区的预测值信息一起对所述第二粒度信息进行编码。
5.根据权利要求4所述的图像处理装置，其中，所述预测值信息指示与每个立方分区对应的增强层的颜色空间的局部空间的顶点位置。
6.根据权利要求1所述的图像处理装置，其中，当对指示所述第二粒度信息与所述第一粒度信息分开编码的参数进行解码时，对所述第二粒度信息进行解码。
7.根据权利要求1所述的图像处理装置，其中，所述像素属性包括色域、位深和动态范围中的至少一个。
8.根据权利要求1所述的图像处理装置，其中，所述第一粒度信息对应于Y颜色分量、U颜色分量和V颜色分量之一，并且所述第二粒度信息对应于除了所述第一粒度信息所对应的Y颜色分量、U颜色分量和V颜色分量之一之外的Y颜色分量、U颜色分量和V颜色分量中的另一个。
9.一种由图像处理装置执行的图像处理方法，该图像处理装置根据第一层的图像来预测具有与所述第一层不同的像素属性的第二层的图像，所述图像处理方法包括：
通过使用第一三维查找表来获取所述第二层的亮度分量的预测值，在所述第一三维查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值；
通过使用具有与所述第一三维查找表的粒度不同的粒度的第二三维查找表来获取所述第二层的第一色度分量的预测值；
对定义所述第一三维查找表的粒度的第一粒度信息进行解码；以及
对定义所述第二三维查找表的粒度的第二粒度信息进行解码,
其中，所述第一粒度信息包括定义与所述第一三维查找表有关的基本层的颜色空间的划分的标志集合，以及
其中，所述第二粒度信息包括定义与所述第二三维查找表有关的所述基本层的颜色空间的划分的标志集合。
10.一种其上实施有程序的非暂态计算机可读介质，所述程序当由计算机执行时，使得所述计算机执行图像处理方法，所述图像处理方法根据第一层的图像来预测具有与所述第一层不同的像素属性的第二层的图像，所述图像处理方法包括：
通过使用第一三维查找表来获取所述第二层的亮度分量的预测值，在所述第一三维查找表中，所述第一层的亮度分量、第一色度分量和第二色度分量的组合被映射到所述第二层的与所述组合对应的预测像素值；
通过使用具有与所述第一三维查找表的粒度不同的粒度的第二三维查找表来获取所述第二层的第一色度分量的预测值；
对定义所述第一三维查找表的粒度的第一粒度信息进行解码；以及
对定义所述第二三维查找表的粒度的第二粒度信息进行解码,
其中，所述第一粒度信息包括定义与所述第一三维查找表有关的基本层的颜色空间的划分的标志集合，以及
其中，所述第二粒度信息包括定义与所述第二三维查找表有关的所述基本层的颜色空间的划分的标志集合。
CN201580001432.7A 2014-06-19 2015-04-10 图像处理装置、图像处理方法和计算机可读介质 Expired - Fee Related CN105409217B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-125966 2014-06-19
JP2014125966A JP6330507B2 (ja) 2014-06-19 2014-06-19 画像処理装置及び画像処理方法
PCT/JP2015/002033 WO2015194078A1 (en) 2014-06-19 2015-04-10 Image processing device, image processing method and computer-readable medium

Publications (2)

Publication Number Publication Date
CN105409217A CN105409217A (zh) 2016-03-16
CN105409217B true CN105409217B (zh) 2019-12-24

Family

ID=53015850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580001432.7A Expired - Fee Related CN105409217B (zh) 2014-06-19 2015-04-10 图像处理装置、图像处理方法和计算机可读介质

Country Status (5)

Country Link
US (1) US9973766B2 (zh)
EP (1) EP3011748A1 (zh)
JP (1) JP6330507B2 (zh)
CN (1) CN105409217B (zh)
WO (1) WO2015194078A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
DK3047639T3 (en) * 2013-09-20 2018-10-15 Vid Scale Inc Video Codes and Methods to Provide 3D Lookup Table Encoding for Color Game Scalability
US10321162B2 (en) * 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
US20180146190A1 (en) * 2015-06-08 2018-05-24 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
US10602109B2 (en) * 2015-07-10 2020-03-24 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangements for HDR encoding
MX2020000449A (es) 2017-07-20 2020-07-13 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101415120A (zh) * 2007-10-15 2009-04-22 汤姆森许可贸易公司 针对使用分级lut的比特深度可缩放性的增强层残差预测
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
CN102231264A (zh) * 2011-06-28 2011-11-02 王洪剑 动态对比度增强装置和方法
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN102934446A (zh) * 2010-04-05 2013-02-13 三星电子株式会社 确定图像编码单元和图像解码单元的帧内预测模式
CN103069809A (zh) * 2010-08-25 2013-04-24 杜比实验室特许公司 扩展图像动态范围

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
US9948916B2 (en) * 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US10104385B2 (en) * 2014-04-17 2018-10-16 Qualcomm Incorporated Signaling reference layers for 3D color prediction for color gamut scalability

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
CN101415120A (zh) * 2007-10-15 2009-04-22 汤姆森许可贸易公司 针对使用分级lut的比特深度可缩放性的增强层残差预测
CN102007768A (zh) * 2008-04-16 2011-04-06 弗朗霍夫应用科学研究促进协会 位深度可分级性
CN102308579A (zh) * 2009-02-03 2012-01-04 汤姆森特许公司 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN102934446A (zh) * 2010-04-05 2013-02-13 三星电子株式会社 确定图像编码单元和图像解码单元的帧内预测模式
CN103069809A (zh) * 2010-08-25 2013-04-24 杜比实验室特许公司 扩展图像动态范围
CN102231264A (zh) * 2011-06-28 2011-11-02 王洪剑 动态对比度增强装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《SCE1.2: Color gamut scalability with asymmetric 3D LUT》;Xiang Li,et al.;《Joint Collaborative Team on Video Coding (JCT-VC)》;20140404;摘要，第1-3章节 *

Also Published As

Publication number Publication date
EP3011748A1 (en) 2016-04-27
CN105409217A (zh) 2016-03-16
WO2015194078A1 (en) 2015-12-23
JP2016005217A (ja) 2016-01-12
US9973766B2 (en) 2018-05-15
JP6330507B2 (ja) 2018-05-30
US20160165243A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
US9743100B2 (en) Image processing apparatus and image processing method
JP6642631B2 (ja) 画像復号装置および方法
JP6345650B2 (ja) 画像処理装置及び画像処理方法
JP6094688B2 (ja) 画像処理装置及び画像処理方法
CN105409217B (zh) 图像处理装置、图像处理方法和计算机可读介质
US20160241882A1 (en) Image processing apparatus and image processing method
WO2015146278A1 (ja) 画像処理装置及び画像処理方法
US20150229932A1 (en) Image processing device and image processing method
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US20150043638A1 (en) Image processing apparatus and image processing method
US20160005155A1 (en) Image processing device and image processing method
WO2015052979A1 (ja) 画像処理装置及び画像処理方法
WO2015053111A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2015098231A1 (ja) 画像処理装置及び画像処理方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191224

Termination date: 20210410

CF01 Termination of patent right due to non-payment of annual fee