CN109068136A

CN109068136A - 图像处理装置和图像处理方法、计算机可读存储介质

Info

Publication number: CN109068136A
Application number: CN201811100458.9A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-12-18
Filing date: 2013-11-21
Publication date: 2018-12-21
Anticipated expiration: 2033-11-21
Also published as: RU2015122700A; KR20150096381A; AU2013365309A1; US20190268613A1; ZA201503589B; CN104871539A; CO7380755A2; KR102307099B1; EP3273691A1; SG11201504504YA; JP2019004497A; US10368082B2; EP2908526A1; MX367546B; MX2015007443A; AU2018201160A1; BR112015013768A2; MX345489B; EP2908526A4; AU2018201160B2

Abstract

本申请公开了一种图像处理装置和图像处理方法、计算机可读存储介质。该图像处理装置包括：控制部，被配置成基于针对第一层的第一缩放列表，设置针对参照第一层解码的第二层的第二缩放列表；以及量化部，被配置为使用控制部设置的第二缩放列表对第二层的变换系数数据进行量化。

Description

图像处理装置和图像处理方法、计算机可读存储介质

本发明申请为申请日为2013年11月21日并于2015年6月11日进入中国国家阶段的发明名称为“图像处理装置和图像处理方法”的第201380064914.8号发明专利申请的分案申请。

技术领域

本公开涉及一种图像处理装置和图像处理方法。

背景技术

为了相比于H.264/AVC更多地提高编码效率的目的，由作为ITU-T和ISO/IEC的联合标准化组织的视频编码联合协作小组(JCTVC)对称为高效视频编码(HEVC)的图像编码方案的标准化当前正在进行中(参见例如以下非专利文献1)。

如在诸如MPEG2和高级视频编码(AVC)的已知图像编码方案中，HEVC不仅提供了单层的编码，而且还提供了可缩放(scalable)视频编码(例如，参见以下非专利文献2)。HEVC可缩放视频编码技术也称为可缩放HEVC(SHVC)。在SHVC中，在增强层以HEVC方案编码时，基本层可以以HEVC方案编码或者以不同于HEVC方案的图像编码方案(例如，AVC方案)编码。

一般地，可缩放视频编码称为用于以分级方式对传送粗图像信号的层和传送精细图像信号的层进行编码的技术。在可缩放视频编码中分级的典型属性主要包括以下三个：

-空间可缩放性：空间分辨率或图像大小被分级。

-时间可缩放性：帧速率被分级。

-信噪比(SNR)可缩放性：SN比被分级。

此外，虽然未在标准中采用，但是还讨论了位深可缩放性和色度格式可缩放性。

在可缩放视频编码中，可以通过仅在一个层中对可以在多个层中重复使用的参数进行编码来提高编码效率(例如，参见非专利文献3)。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand的“High Efficiency Video Coding(HEVC)textspecification draft 9”(JCTVC-K1003_v9,2012年10月10日至19日)

非专利文献2：Jill Boyce,Ye-Kui Wang的“NAL unit header and parameterset designs for HEVC extensions”(JCTVC-K1007,2012年10月10日至19日)

非专利文献3：Jill Boyce,Kawamura Kei,Haricharan Lakshman的“TE6:Inter-layer syntax prediction from AVC base layer”(JCTVC-K1106v2,2012年10月10日至19日)

发明内容

技术问题

然而，根据至此提出的可缩放视频编码的技术，在多个层中没有重复使用与正交变换之后的变换系数数据的量化有关的许多参数。为了优化编码效率，如果可能，期望使得在多个层中重复使用与量化有关的参数。该点不仅适用于可缩放视频编码，而且适用于支持层间预测的一般多层编解码器。多层编解码器的另一示例是多视图编解码器。

问题的解决方案

根据本公开的实施例，提供了一种图像处理装置，包括：控制部，被配置成基于针对第一层的色度分量设置的第一量化参数偏移，针对参考第一层解码的第二层的色度分量设置第二量化参数偏移；以及逆量化部，被配置成使用量化参数对第二层的色度分量的变换系数数据进行逆量化，该量化参数是使用控制部设置的第二量化参数偏移而计算的。

上述图像处理装置通常可被实现为对图像进行解码的图像解码装置。

根据本公开的另一实施例，提供了一种图像处理方法，包括：基于针对第一层的色度分量设置的第一量化参数偏移，针对参考第一层解码的第二层的色度分量设置第二量化参数偏移；以及使用量化参数对第二层的色度分量的变换系数数据进行逆量化，该量化参数是使用所设置的第二量化参数偏移而计算的。

根据本公开的另一实施例，提供了一种图像处理装置，其包括：量化部，被配置成使用给定量化参数对参考第一层编码的第二层的色度分量的变换系数数据进行量化；以及编码部，被配置成对第二层的色度分量的第二量化参数偏移进行编码，该第二量化参数偏移是基于针对第一层的色度分量设置的第一量化参数偏移和给定量化参数而计算的。

上述图像处理装置通常可被实现为对图像进行编码的图像编码装置。

根据本公开的另一实施例，提供了一种图像处理方法，其包括：使用给定量化参数对参考第一层编码的第二层的色度分量的变换系数数据进行量化；以及对第二层的色度分量的第二量化参数偏移进行编码，该第二量化参数偏移是基于针对第一层的色度分量设置的第一量化参数偏移和给定量化参数而计算的。

根据本申请的一个方面，提供了一种图像处理装置，包括：控制部，被配置成基于针对第一层的第一缩放列表，设置针对参照第一层解码的第二层的第二缩放列表；以及量化部，被配置为使用控制部设置的第二缩放列表对第二层的变换系数数据进行量化。

根据本申请的另一个方面，提供了一种图像处理方法，包括：基于针对第一层的第一缩放列表，设置针对参照第一层解码的第二层的第二缩放列表；以及使用所设置的第二缩放列表对第二层的变换系数数据进行量化。

本发明的有利效果

根据与本公开有关的技术，在多层编解码器中，可以通过在多个层中重复使用与量化有关的参数来增强编码效率。

附图说明

图1是用于描述可缩放视频编码的说明图。

图2是用于描述速率控制的粒度的说明图。

图3是示出量化参数与量化步长之间的关系的示例的说明图。

图4是示出CTB内预测和CTB间预测中的块的参考关系的示例的说明图。

图5是示出根据实施例的图像编码装置的示意配置的框图。

图6是示出根据实施例的图像解码装置的示意配置的框图。

图7是示出图5所示的EL编码部的配置的示例的框图。

图8是示出图7所示的量化控制部的配置的示例的框图。

图9A是用于描述量化矩阵的重复使用的第一说明图。

图9B是用于描述量化矩阵的重复使用的第二说明图。

图9C是用于描述量化矩阵的重复使用的第三说明图。

图9D是用于描述量化矩阵的重复使用的第四说明图。

图10是示出根据实施例的用于编码的示意处理的流程示例的流程图。

图11是示出增强层的编码处理中的与量化有关的处理的流程示例的流程图。

图12是示出图6所示的EL解码部的配置的示例的框图。

图13是示出图12所示的逆量化控制部的配置的示例的框图。

图14是示出根据实施例的用于解码的示意处理的流程示例的流程图。

图15是示出对增强层的解码处理中的与逆量化有关的处理的流程示例的流程图。

图16A是用于描述在实施例中可以采用的增强层的语法示例的第一说明图。

图16B是用于描述在实施例中可以采用的增强层的语法示例的第二说明图。

图16C是用于描述在实施例中可以采用的增强层的语法示例的第三说明图。

图16D是用于描述增强层的语法的第一变型例的说明图。

图16E是用于描述增强层的语法的语法的第二变型例的说明图。

图17A是用于描述可以允许或禁止的编解码器的组合的第一说明图。

图17B是用于描述可以允许或禁止的编解码器的组合的第二说明图。

图18是示出电视机的示意配置的示例的框图。

图19是示出移动电话的示意配置的示例的框图。

图20是示出记录和再现装置的示意配置的示例的框图。

图21是示出成像装置的示意配置的示例的框图。

图22是用于描述可缩放视频编码的用途的第一示例的说明图。

图23是用于描述可缩放视频编码的用途的第二示例的说明图。

图24是用于描述可缩放视频编码的用途的第三示例的说明图。

图25是用于描述多视图编解码器的说明图。

图26是示出用于多视图编解码器的图像编码装置的示意配置的框图。

图27是示出用于多视图编解码器的图像解码装置的示意配置的框图。

图28是示出视频套机(set)的示意配置的示例的框图。

图29是示出视频处理器的示意配置的示例的框图。

图30是示出视频处理器的示意配置的另一示例的框图。

图31是示出内容再现系统的概况的说明图。

图32是示出内容再现系统中的数据流的示例的说明图。

图33是示出MPD的具体示例的说明图。

图34是示出内容服务器的配置的示例的框图。

图35是示出内容再现装置的配置的示例的框图。

图36是示出内容服务器的配置的另一示例的框图。

图37是示出在Wi-Fi的P2P模式中形成的无线通信系统中的基本操作序列的序列图的前半部。

图38是示出在Wi-Fi的P2P模式中形成的无线通信系统中的基本操作序列的序列图的后半部。

图39是示出扩展操作序列的MAC帧的帧格式的示例的说明图。

图40是示出扩展操作序列的序列图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，具有基本上相同的功能和结构的元件以相同的附图标记来表示，并且省略重复说明。

另外，将按以下顺序提供描述。

1.概述

1-1.可缩放视频编码

1-2.一般速率控制

1-3.色度分量的量化参数

1-4.量化矩阵

1-5.编码器的基本配置示例

1-6.解码器的基本配置示例

2.根据实施例的EL编码部的配置示例

2-1.总体配置

2-2.量化控制部的详细配置

3.根据实施例的用于编码的处理的流程

3-1.示意流程

3-2.与量化有关的处理

4.根据实施例的EL解码部的配置示例

4-1.总体配置

4-2.逆量化控制部的详细配置

5.根据实施例的解码的处理的流程

5-1.示意流程

5-2.与逆量化有关的处理

5-3.语法的示例

6.编解码器的组合示例

7.应用示例

7-1.对各种产品的应用

7-2.可缩放视频编码的各种用途

7-3.对其它编解码器的应用

7-4.各种安装水平

7-5.使用MPEG-DASH的系统

7-6.使用Wi-Fi的P2P模式的系统

8.结论

<1.概述>

[1-1.可缩放视频编码]

在可缩放视频编码中，对分别包含一系列图像的多个层进行编码。基本层是首先编码以表示最粗图像的层。基本层的编码流可独立地被解码，而不对其它层的编码流进行解码。除基本层之外的层是被称为表示更精细图像的增强层的层。增强层的编码流是通过使用包含在基本层的编码流中的信息而编码的。因此，为了再现增强层的图像，对基本层和增强层两者的编码流进行解码。在可缩放视频编码中处理的层的数量可以是等于或大于2的任意数量。当对三个层或更多层编码时，最下的层是基本层，并且剩余的多个层是增强层。对于较高增强层的编码流，包含在较低增强层和基本层的编码流中的信息可用于编码和解码。

图1示出了经过可缩放视频编码的三个层L1、L2和L3。层L1是基本层，并且层L2和L3是增强层。注意，在各种可缩放性当中，在这里以空间可缩放性为例。层L2与层L1的空间分辨率比率是2:1。层L3与层L1的空间分辨率比率是4:1。这里的分辨率比率仅为示例，并且例如，可使用诸如1.5:1的非整数分辨率比率。层L1的块B1是基本层的图片中的编码处理的处理单位。层L2的块B2是与块B1共同的场景被投射至的增强层的图片中的编码处理的处理单位。块B2对应于层L1的块B1。层L3的块B3是比块B1和B2共同的场景被投射至的层更高的增强层的图片中的编码处理的处理单位。块B3对应于层L1的块B1和层L2的块B2。

在这样的层结构中，投射共同场景的层具有类似的图像频率特性。例如，当层L1的块B1的图像是平坦的并且其高频分量小时，层L2的块B2的图像也具有小的高频分量的可能性高。这同样适用于层L2的块B2和层L3的块B3。

[1-3.一般速率控制]

图像的频率特性影响作为正交变换的结果而生成的变换系数数据的比特数。为了维持编码流的比特率，如果变换系数数据的比特数较大，则一般使用较大的量化步长对变换系数数据进行量化。用于实现预期比特率的速率控制方案的示例以MPEG2测试模型来表示。在MPEG2测试模型中，首先基于分配给GOP的比特量、GOP中的每个图片的图片类型和复杂度(全局复杂度度量)来确定每个图片的分配码量。另外，基于针对每个宏块计算的活动性和图片的分配码量来计算每个图片中的每个宏块的量化参数(量化尺度码)。这里所述的活动性是表示图像的复杂度的指标类型。注意，在以下网页公开了MPEG2测试模型中的速率控制方案的细节。

-参考URL http://www.mpeg.org/MPEG/MSSG/tm5/Ch10/Ch10.html

然而，在MPEG2方案中，上述量化尺度码是针对大小为16×16像素的每个宏块确定的。HEVC方案中与宏块对应的最大编码单位(LCU)的最大大小是64×64像素。然而，随着速率控制的粒度变得过度大，可能生成量化步长对于图像的复杂度不合适的局域区域。例如，在图2中，在中部示出了通过以64×64的粒度计算上部所示的图像的归一化活动性而获得的结果，并且在下部示出了通过以16×16像素的粒度计算归一化活动性而获得的结果。这里，以白色示出了较高的活动性。如从图2所理解的，如果以64×64像素的粒度执行速率控制，则可能生成多个如下区域：其中，例如，即使复杂度低也仅使用大的量化步长来执行量化，或者即使复杂度高也使用小的量化步长来执行量化。

为了适当地执行速率控制同时避免由于上述块大小导致的这种不合适，HEVC方案采用以比LCU小的块为单位来控制量化步长的技术。更具体地，参考在上述非专利文献1中描述的图片参数集(PPS)的语法，当cu_qp_delta_enabled_flag为真时，基于大小信息diff_cu_qp_delta_depth来指定作为用于指定量化步长的单位的块的大小。事实上，由于量化步长的对数与信噪(SN)比成比例关系，因此针对每个块指定量化参数而不是直接指定量化步长。如果与量化参数qp对应的量化步长被设置为S(qp)，则量化参数qp与量化步长S(qp)之间的关系被定义为使得量化步长S(qp)满足以下表达式。

[数学式1]

在HEVC方案中，采用变量a＝6和变量b＝2的值以优化量化参数和量化步长的范围。图3示出了该情况的量化参数qp与量化步长S(qp)之间的关系。如图3所示，每次量化参数qp的值增加六，量化步长S(qp)的值加倍。

实际上使用多个量化相关参数的组合来指定量化参数。参考上述非专利文献1中描述的语法，使用PPS中的参数pic_init_qp_minus26和切片头部中的slice_qp_delta对量化参数进行初始化(SliceQP_Y＝26+pic_init_qp_minus26+slice_qp_delta)。根据上部相邻编码单位(CU)和左部相邻CU中的一个的量化参数或者这两者的量化参数来预测各个CU的量化参数(CTB内预测)，或者根据按解码顺序的先前CU的量化参数来预测各个CU的量化参数(CTB间预测)。在图4中，以编码树块(CTB)内的和CTB之间的量化参数预测中的参考关系为例。在可以参考上部相邻CU和左部相邻CU两者的CTB内预测中，量化参数的预测值等于上部相邻CU和左部相邻CU的量化参数(TopQP和LeftQP)的平均值((TopQP+LeftQP+1)>>1)。另外，通过将变换单位(TU)中的cu_qp_delta_abs和cu_qp_delta_sign指示的残差与预测值相加，计算各个量化参数的值。

[1-3.色度分量的量化参数]

以上部分中描述的量化参数计算技术主要是关于亮度分量的量化参数的技术。关于色度分量，通过将偏移与亮度分量的量化参数相加，可以使用针对色度分量而调整的量化参数。参考在上述非专利文献1中描述的语法，基于PPS中的pic_cb_qp_offset和pic_cr_qp_offset和切片头部中的slice_cb_qp_offset和slice_cr_qp_offset来指定色度分量的量化参数的偏移。pic_cb_qp_offset和slice_cb_qp_offset之和是Cb分量的量化参数的偏移，并且pic_cr_qp_offset和slice_cr_qp_offset之和是Cr分量的量化参数的偏移。

注意，在上述非专利文献1中描述了HEVC方案中的亮度分量的量化参数与色度分量的量化参数之间的关系的特定表示。作为与AVC方案的不同，当在AVC方案中Cb分量和Cr分量的偏移彼此相等时，在PPS中仅对一个chroma_qp_index_offset进行编码。另一方面，在HEVC方案中，如上所述，在PPS和切片头部中对Cb分量和Cr分量的各个偏移进行编码。因此，在HEVC方案中可以以切片为单位灵活地调整色度分量的量化参数。另外，在AVC方案中色度分量的量化参数的上限值是39，而在HEVC方案中色度分量的量化参数的上限值是51，这与亮度分量相同。因此，在HEVC方案中，通过减少色度分量的变换系数数据的信息量来容易地避免假定参考解码器(HRD)缓冲器的溢出。

[1-4.量化矩阵]

量化矩阵(也称为缩放列表)是被引入用于使用人类的视觉特性相比于低频分量更粗地对高频分量进行量化的技术，人类在感知图像的高频分量方面有困难。当使用量化矩阵时，取代与以上部分中描述的量化参数对应的量化步长本身，使用以量化矩阵的各个元素的值缩放的量化步长来对变换系数数据执行量化和逆量化。在AVC方案中，可以使用分别具有大小为4×4像素和8×8像素的量化矩阵。另一方面，在HEVC方案中，可以使用分别具有大小为4×4像素、8×8像素、16×16像素和32×32像素的量化矩阵。然而，在HEVC方案中，以8×8像素的大小分别对16×16像素和32×32像素的量化矩阵进行编码，排除了DC分量以便减少码量，并且在使用时从8×8像素的大小开始通过零阶保持器对16×16像素和32×32像素的量化矩阵进行上采样。单独对DC分量进行编码。

如上所述，在HEVC方案的当前规范中对与量化有关的各种参数进行编码。这里，如上所述，图像的频率特性在各个层中是类似的。另外，图像的这样的频率特性影响变换系数数据的比特数，并且通过量化来控制比特数。因此，通过使用对多个层共同的参数控制可缩放视频编码中的基本层和增强层的量化，预期能够实现适当的速率控制，并且预期能够减少与量化有关的参数的码量。因此，在以下部分中将详细描述使得能够在多个层中重复使用与量化有关的参数的图像处理装置的实施例。

[1-5.编码器的基本配置示例]

图5是示出根据支持可缩放视频编码的实施例的图像编码装置10的示意配置的框图。参照图5，图像编码装置10包括基本层(BL)编码部1a、增强层(EL)编码部1b、共同存储器2和复用部3。

BL编码部1a对基本层图像进行编码以生成基本层的编码流。EL编码部1b对增强层图像进行编码以生成增强层的编码流。共同存储器2存储在多个层之间共用的信息。复用部3对BL编码部1a生成的基本层的编码流与EL编码部1b生成的一个或多个增强层的编码流进行复用，以生成多层复用流。

[1-6.解码器的基本配置示例]

图6是示出根据支持可缩放视频编码的实施例的图像解码装置60的示意配置的框图。参照图6，图像解码装置60包括解复用部5、基本层(BL)解码部6a、增强层(EL)解码部6b和共同存储器7。

解复用部5将多层复用流解复用成基本层的编码流和一个或多个增强层的编码流。BL解码部6a从基本层的编码流对基本层图像进行解码。EL解码部6b从增强层的编码流对增强层图像进行解码。共同存储器7存储在多个层之间共用的信息。

在图5所示的图像编码装置10中，用于对基本层进行编码的BL编码部1a的配置和用于对增强层编码的EL编码部1b的配置彼此类似。BL编码部1a生成或获取的一些参数可通过使用共同存储器2来缓存并且可由EL编码部1b重复使用。在下一部分中，将详细描述EL编码部1b的这样的配置。

类似地，在图6所示的图像解码装置60中，用于对基本层解码的BL解码部6a的配置和用于对增强层解码的EL解码部6b的配置彼此类似。BL解码部6a生成或获取的一些参数可通过使用共同存储器7来缓存并且可由EL解码部6b重复使用。此外，在下一部分中，将详细描述EL解码部6b的这样的配置。

<2.根据实施例的EL编码部的配置示例>

[2-1.总体配置]

图7是示出图5所示的EL编码部1b的配置的示例的框图。参照图7，EL编码部1b包括排序缓冲器11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、解块滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35和量化控制部40。

排序缓冲器11对包括在一系列图像数据中的图像进行排序。在根据编码处理依照GOP(图片组)结构对图像进行排序之后，排序缓冲器11将已排序的图像数据输出到减法部13、帧内预测部30和帧间预测部35。

从排序缓冲器11输入的图像数据和稍后要描述的帧内预测部30或帧间预测部35输入的预测图像数据被提供到减法部13。减法部13计算作为从排序缓冲器11输入的图像数据与预测图像数据之间的差的预测误差数据，并且将所计算的预测误差数据输出到正交变换部14。

正交变换部14对从减法部13输入的预测误差数据执行正交变换。正交变换部14要执行的正交变换可以是例如离散余弦变换(DCT)或卡洛变换。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。

量化部15接收来自正交变换部14的变换系数数据，并且接收来自稍后要描述的量化控制部40的量化参数。量化部15还可以接收来自量化控制部40的量化矩阵。使用根据输入的量化参数(和量化矩阵)确定的量化步长，量化部15对增强层的变换系数数据进行量化，从而生成量化数据(量化变换系数数据)。然后，量化部15将量化数据输出到无损编码部16和逆量化部21。

无损编码部16对从量化部15输入的量化数据执行无损编码处理，以生成增强层的编码流。无损编码部16对当对编码流进行解码时所参考的各种参数进行编码，并且将编码后的参数插入到编码流的头部区域中。无损编码部16所编码的参数可以包括关于稍后要描述的帧内预测的信息、关于帧间预测的信息和量化相关参数。然后，无损编码部16将所生成的编码流输出到累积缓冲器17。

累积缓冲器17使用诸如半导体存储器的存储介质而暂时累积从无损编码部16输入的编码流。然后，累积缓冲器17以根据传输路径的频带的速率将所累积的编码流输出到未示出的传送部(例如，至外围装置的通信接口或连接接口)。

速率控制部18监视累积缓冲器17的空闲容量。然后，速率控制部18根据累积缓冲器17的空闲容量而生成速率控制信号，并且将所生成的速率控制信号输出到量化控制部40。速率控制部18可根据与上述MPEG2测试模型相同的速率控制方案和其它速率控制方案而控制编码流的速率。输出到量化控制部40的速率控制信号可以包括量化参数和量化矩阵。

逆量化部21、逆正交变换部22和加法部23构代价地解码器。逆量化部21接收来自量化部15的量化数据，并且接收来自稍后要描述的量化控制部40的量化参数。逆量化部21还可以接收来自量化控制部40的量化矩阵。逆量化部21使用根据所输入的量化参数(和量化矩阵)确定的量化步长而对增强层的量化数据执行逆量化以恢复变换系数数据。然后，逆量化部21将所恢复的变换系数数据输出到逆正交变换部22。

逆正交变换部22通过对从逆量化部21输入的变换系数数据执行逆正交变换处理来恢复预测误差数据。然后，逆正交变换部22将所恢复的预测误差数据输出到加法部23。

加法部23将从逆正交变换部22输入的恢复后预测误差数据和从帧内预测部30或帧间预测部35输入的预测图像数据相加，从而生成解码图像数据(增强层的重构图像)。然后，加法部23将所生成的解码图像数据输出到解块滤波器24和帧存储器25。

解块滤波器24执行用于减少在图像编码期间发生的块失真的滤波处理。解块滤波器24对从加法部23输入的解码图像数据执行滤波以去除块失真，然后将滤波后的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质存储从加法部23输入的解码图像数据和从解块滤波器24输入的滤波后解码图像数据。

选择器26从帧存储器25读取用于帧内预测的滤波前的解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供到帧内预测部30。此外，选择器26从帧存储器25读取用于帧间预测的滤波后解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供到帧间预测部35。

在帧内预测模式中，选择器27将从帧内预测部30输出的作为帧内预测结果的预测图像数据输出到减法部13，并且还将关于帧内预测的信息输出到无损编码部16。此外，在帧间预测模式中，选择器27将从帧间预测部35输出的作为帧间预测结果的预测图像数据输出到减法部13，并且还将关于帧间预测的信息输出到无损编码部16。选择器27根据代价函数值的幅值而切换帧间预测模式和帧内预测模式。

帧内预测部30基于增强层的原始图像数据和解码图像数据而对HEVC方案的每个预测单位(PU)执行帧内预测处理。例如，帧内预测部30使用预定代价函数而评估根据预测模式集中的每个候选模式的预测结果。接下来，帧内预测部30选择其代价函数值最小的预测模式、即压缩比最高的预测模式作为最优预测模式。另外，帧内预测部30根据最优预测模式而生成增强层的预测图像数据。此外，帧内预测部30将关于帧内预测的信息(包括指示所选择的最优预测模式的预测模式信息)、代价函数值和预测图像数据输出到选择器27。

帧间预测部35基于增强层的原始图像数据和解码图像数据而对HEVC方案的每个预测单位执行帧间预测处理。例如，帧间预测部35使用预定代价函数评估根据预测模式集中的每个候选模式的预测结果。接下来，帧间预测部35选择其代价函数值最小的预测模式、即压缩比最高的预测模式作为最优预测模式。另外，帧间预测部35根据最优预测模式而生成增强层的预测图像数据。此外，帧间预测部35将关于帧间预测的信息(包括指示所选择的最优预测模式的预测模式信息和运动信息)、代价函数值和预测图像数据提供到选择器27。

量化控制部40使用共同存储器2缓存的信息而控制在EL编码部1b中执行的量化处理和逆量化处理。另外，量化控制部40生成量化相关参数。在本实施例中，量化控制部40生成的量化相关参数可以包括当确定量化参数时使用的参数和当确定量化矩阵时使用的参数。在该说明书中，当确定量化参数时使用的参数将被称为量化参数(QP)参数，并且当确定量化矩阵时使用的参数将被称为缩放列表(SL)参数。

QP参数主要包括与亮度分量有关的参数组和与色度分量有关的参数组。作为示例，与亮度分量有关的参数组可以包括作为图片单位的参数的pic_init_qp_minus26、作为切片单位的参数的slice_qp_delta和作为CU单位的参数的cu_qp_delta_abs和cu_qp_delta_sign。与色度分量有关的参数组可以包括作为切片单位的参数的slice_cbE_qp_offset和slice_crE_qp_offset。在本实施例中没有生成在已知技术中生成的作为与色度分量有关的图片单位的参数的pic_cb_qp_offset和pic_cr_qp_offset。

当在增强层中没有重复使用在基本层中设置的量化矩阵时，生成指定要针对增强层设置的具有一个或多个大小的量化矩阵的SL参数。当在多个层中重复使用量化矩阵时，如果基本层是以HEVC方案编码，则不能生成SL参数。当在多个层中重复使用量化矩阵时，如果基本层是以AVC方案编码，则可以生成指定要针对增强层设置的大小为16×16像素和32×32像素的量化矩阵的SL参数。当在多个层中重复使用量化矩阵时，指示量化矩阵的重复使用的标志和指示应该重复使用其量化矩阵的层的信息可被生成作为SL参数。

注意，实际用于对变换系数数据进行量化和逆量化的量化步长(或者量化参数)可基于例如从速率控制部18输入的速率控制信号来指定。替代地，实际使用的量化步长(或者量化参数)可由用户预先指定。

[2-2.量化控制部的详细配置]

图8是示出图7所示的量化控制部40的配置示例的框图。参照图8，量化控制部40具有QP设置部41、QP参数生成部42、SL设置部43和SL参数生成部44。

(1)QP设置部

QP设置部41设置当针对增强层的各个块对增强层的亮度分量和色度分量的变换系数数据进行量化时量化部15实际使用的量化参数。当逆量化部21对量化数据进行逆量化时，也使用QP设置部41设置的量化参数。这里，块的大小可以等于或小于LCU的大小。例如，QP设置部41可根据从速率控制部18输入的速率控制信号而设置亮度分量(Y)的量化参数和色度分量(Cb和Cr)的量化参数。替代地，QP设置部41可设置用户预先指定的亮度分量的量化参数和色度分量的量化参数。然后，QP设置部41将针对增强层的各个块设置的量化参数(QP(EL))输出到量化部15、逆量化部21和QP参数生成部42。

(2)QP参数生成部

QP参数生成部42基于从QP设置部41输入的增强层的量化参数和由共同存储器2缓存的基本层的QP参数而生成增强层的QP参数。可根据在上述非专利文献1中描述的规范来生成亮度分量的QP参数。

例如，当基本层是以HEVC方案编码时，基本层的Cb分量的QP参数可以包括pic_cb_qp_offset和slice_cb_qp_offset。当与实际上用于增强层的Cb分量的给定量化参数对应的量化参数偏移被设置为cbE_qp_offset时，可根据例如以下表达式来生成增强层的Cb分量的QP参数slice_cbE_qp_offset：

[数学式2]

slice_cbE_qp_offset

＝cbE_qp_offset-cbB_qp_offet

＝cbE_qp_offset-(pic_cb_qp_offset+slice_cb_qp_offet) (2)

同样地，当基本层是以HEVC方案编码时，基本层的Cr分量的QP参数可以包括pic_cr_qp_offset和slice_cr_qp_offset。当与实际上用于增强层的Cr分量的给定量化参数对应的量化参数偏移被设置为crE_qp_offset时，可根据例如以下表达式来生成增强层的Cr分量的QP参数slice_crE_qp_offset：

[数学式3]

slice_crE_qp_offset

＝crE_qp_offset-crB_qp_offset

＝crE_qp_offset-(pic_cr_qp_offset+slice_cr_qp_offet) (3)

根据表达式(2)和(3)，QP参数生成部42生成的QP参数slice_cbE_qp_offset和slice_crE_qp_offset等于增强层的量化参数偏移(cbE_qp_offset/crE_qp_offset)与基本层的量化参数偏移(cbB_qp_offset/crB_qp_offset)之间的差。这里，基本层的量化参数偏移(cbB_qp_offset/crB_qp_offset)是图片单位的偏移与切片单位的偏移之和。

为了生成QP参数slice_cbE_qp_offset和slice_crE_qp_offset，取代表达式(2)和(3)，可使用以下表达式(4)和(5)。

[数学式4]

slice_cbE_qp_offet＝cbE_qp_offset-pic_cb_qp_offset (4)

slice_crE_qp_offset＝crE_qp_offet-pic_cr_qp_offset (5)

根据表达式(4)和(5)，QP参数生成部42生成的QP参数slice_cbE_qp_offset和slice_crE_qp_offset等于增强层的量化参数偏移与基本层的图片单位的量化参数偏移(pic_cb_qp_offset/pic_cr_qp_offset)之间的差。

当基本层是以AVC方案编码时，基本层的色度分量的QP参数不包括切片单位的量化参数偏移，但是可以包括图片单位的chroma_qp_index_offset和second_chroma_qp_index_offset。当不存在second_chroma_qp_index_offset时，可以根据例如以下表达式(6)和(7)分别生成增强层的QP参数slice_cbE_qp_offset和slice_crE_qp_offset。

[数学式5]

slice_cbE_qp_offset＝cbE_qp_offset-chroma_qp_index_offfset (6)

slice_crE_qp_offset＝crE_qp_offset-chroma_qp_index_offset (7)

当存在second_chroma_qp_index_offset时，上述表达式(7)由以下表达式(8)取代。

[数学式6]

slice_crE_qp_offsett

＝crE_qp_offset-second_chroma_qp_index_offset (8)

QP参数生成部42将如上生成的增强层的QP参数slice_cbE_qp_offset和slice_crE_qp_offset输出到无损编码部16。

注意，本技术不限于以上示例，并且量化控制部40可不在多个层中重复使用QP参数。另外，QP参数生成部42可生成指示是否应该在多个层中重复使用色度分量的QP参数、即是否应该基于基本层的量化参数偏移设置增强层的量化参数偏移的QP参数重复使用标志。QP参数重复使用标志通常由无损编码部16在PPS中编码。当QP参数重复使用标志指示“真”时，可以在切片头部内仅对增强层的切片单位的slice_cbE_qp_offset和slice_crE_qp_offset进行编码。当QP参数重复使用标志指示“假”时，可以在PPS中对增强层的图片单位的pic_cb_qp_offset和pic_cr_qp_offset进行编码。

(3)SL设置部

SL设置部43针对增强层的各个块设置当对增强层的亮度分量和色度分量的变换系数数据进行量化时量化部15可以实际使用的量化矩阵。当逆量化部21对量化数据进行逆量化时，也可以使用SL设置部43设置的量化矩阵。例如，SL设置部43可根据从速率控制部18输入的速率控制信号，设置各个颜色分量(Y、Cb和Cr)的各个(帧内和帧间)预测模式的大小为4×4像素、8×8像素、16×16像素和32×32像素的各个量化矩阵。替代地，SL设置部43可设置用户预先指定的量化矩阵。然后，SL设置部43将针对增强层的各个块设置的量化矩阵(SL(EL))输出到量化部15、逆量化部21和SL参数生成部44。

(4)SL参数生成部

当在多个层中重复使用量化矩阵时，SL参数生成部44执行的处理根据基本层是否以HEVC方案编码而不同。根据上述非专利文献2，基本层是否以HEVC方案编码由在视频参数集(VPS)中编码的标志avc_base_layer_flag指示。图9A至图9D是用于描述量化矩阵的重复使用的说明图。

在图9A的示例中，基本层是以HEVC方案编码的。在该情况下，在基本层中设置大小为4×4像素、8×8像素、16×16像素和32×32像素的量化矩阵。因此，由于可在增强层中重复使用量化矩阵，因此SL参数生成部44不生成增强层的SL参数。这表示无损编码部16不对增强层的量化矩阵进行编码。注意，在基本层中，分别使用诸如Z字形扫描的技术来生成指定量化矩阵的SL参数。然而，在对量化矩阵进行下采样以具有8×8像素的大小(图中的阴影部分)之后，生成对于大小为16×16像素和32×32像素的量化矩阵的SL参数。

在图9B的示例中，基本层是以AVC方案编码的。在该情况下，大小为4×4像素和8×8像素的量化矩阵是针对基本层中的各个块设置的，并且在增强层中被重复使用。因此，SL参数生成部44不生成指定大小为4×4像素和8×8像素的量化矩阵的SL参数。另一方面，在基本层中没有设置大小为16×16像素和32×32像素的量化矩阵。因此，SL参数生成部44生成指定SL设置部43设置的增强层的大小为16×16像素和32×32像素的量化矩阵的SL参数。注意，在对每个量化矩阵进行下采样以具有8×8像素的大小(图中的阴影部分)之后生成这些SL参数。

在图9C的示例中，基本层是以AVC方案编码的。与图9B的示例不同，在增强层中不重复使用基本层的量化矩阵，而与其大小无关。因此，SL参数生成部44生成指定SL设置部43设置的增强层的大小为4×4像素、8×8像素、16×16像素和32×32像素的量化矩阵的SL参数。注意，在对每个量化参数进行下采样以具有8×8像素的大小之后，生成大小为16×16像素和32×32像素的量化矩阵的SL参数。

根据图9B例示的技术，由于可以重复使用量化矩阵而与图像编码方案无关，因此可以使得指定量化矩阵所需的码量最小化。另一方面，根据图9C所示的技术，仅在其图像编码方案相同的层中重复使用量化矩阵。在后一种情况下，可以通过尽可能地重复使用最优量化矩阵同时使用适合于图像编码方案的特性的量化矩阵来提高编码效率。

在HEVC方案中，在特定增强层中可以存在一个或多个从属层。因此，SL参数生成部44生成的SL参数可包括指定应该重复使用其量化矩阵的层的参考层信息。在图9D的示例中，层BL0和层BL1是增强层EL2的上级层，并且共同地以HEVC方案编码。在增强层EL2中，在层BL0中重复使用大小为4×4像素和8×8像素的量化矩阵。另外，在层BL1中重复使用大小为16×16像素和32×32像素的量化矩阵。因此，SL参数生成部44生成的参考层信息(ref_layer)关于4×4像素和8×8像素的大小指定层BL0以及关于16×16像素和32×32像素的大小指定层BL1。可根据量化矩阵的不同大小和不同类型(颜色分量与(帧内或帧间)预测模式的组合)分别生成参考层信息并对其编码。替代地，可生成对于多种大小或多种类型共同的单种参考层信息并对其编码。

当具有特定大小和类型的量化矩阵没有在多个层中被重复使用时，SL参数生成部44生成指定SL设置部43设置的具有该大小和类型的对于增强层唯一的量化矩阵的SL参数。

当生成增强层的SL参数时，SL参数生成部44将所生成的SL参数输出到无损编码部16。

注意，量化控制部40可不如上所述在多个层中重复使用量化矩阵。SL参数生成部44可生成指示是否应该在多个层中重复使用量化矩阵、即是否应该基于基本层的量化矩阵生成增强层的量化矩阵的量化矩阵重复使用标志。量化矩阵重复使用标志通常由无损编码部16在SPS或PPS内编码。当量化矩阵重复使用标志指示“真”时，根据基本层的量化矩阵复制或预测增强层的量化矩阵。量化矩阵的预测的残差可另外在增强层中编码。SL参数生成部44可生成用于设置增强层的量化矩阵的设置技术标志。设置技术标志可以指示复制或预测。SL参数生成部44可针对量化矩阵的不同大小或不同类型而分别生成这样的量化矩阵重复使用标志和设置技术标志。

<3.根据实施例的用于编码的处理流程>

[3-1.示意流程]

图10是示出根据实施例的用于编码的示意处理流程的示例的流程图。为了简洁描述，从图中省略了与根据本公开的技术不直接有关的处理步骤。

参照图10，BL编码部1a首先对基本层执行编码处理以生成基本层的编码流(步骤S11)。

共同存储器2缓存在基本层的编码处理中生成的量化相关参数(步骤S12)。这里，所缓存的量化相关参数可以包括量化矩阵和针对基本层的每个块设置的色度分量的量化参数偏移。

接下来，EL编码部1b使用共同存储器2缓存的信息来执行增强层的编码处理以生成增强层的编码流(步骤S13)。

然后，复用部4对BL编码部1a生成的基本层的编码流和EL编码部1b生成的增强层的编码流进行复用以生成多层复用流(步骤S14)。

[3-2.与量化有关的处理]

图11是示出与增强层的编码处理(图10的步骤S13)中的量化有关的处理的流程示例的流程图。图11所述的处理可以在例如增强层图像内针对每个切片重复。

参照图11，QP设置部41首先针对切片的各个块设置由速率控制部18确定的或者由用户指定的各个颜色分量的量化参数(步骤S21)。另外，SL设置部43针对切片的各个块设置速率控制部18确定的或用户指定的一个或多个量化矩阵(步骤S22)。

接下来，QP参数生成部42使用共同存储器2缓存的信息，基于QP设置部41针对增强层设置的量化参数，生成增强层的QP参数(步骤S23)。例如，作为色度分量的QP参数，QP参数生成部42根据上述表达式(2)和(3)或者(4)和(5)而生成量化参数偏移差slice_cbE_qp_offset和slice_crE_qp_offset。

另外，SL参数生成部44确定量化矩阵是否在多个层中被重复使用(步骤S24)。当量化矩阵在多个层中被重复使用时，SL参数生成部44进一步确定基本层的编码方案是否是HEVC方案(步骤S25)。当量化矩阵没有在多个层中被重复使用时，或者当基本层的编码方案不是HEVC方案时，SL参数生成部44生成增强层的SL参数(步骤S26)。例如，当量化矩阵没有在多个层中被重复使用时，SL参数生成部44可以生成指定增强层的所有所需量化矩阵的SL参数。另外，当量化矩阵在多个层中被重复使用时以及当基本层的编码方案是AVC方案时，SL参数生成部44可以生成指定增强层的大小为16×16像素和32×32像素的量化矩阵的SL参数。

接下来，量化部15使用根据量化控制部40设置的量化参数(和量化矩阵)确定的量化步长而对增强层的变换系数数据进行量化以生成量化数据(步骤S27)。然后，量化部15将量化数据输出到无损编码部16和逆量化部21。

接下来，无损编码部16对从量化部15输入的量化数据进行编码以生成增强层的编码流(步骤S28)。另外，无损编码部16对从量化控制部40输入的量化相关参数(其可以包括QP参数和SL参数)进行编码，从而将编码后的参数插入到编码流的头部区域中(步骤S29)。然后，无损编码部16将增强层的编码流输出到累积缓冲器17。

接下来，逆量化部21使用根据量化控制部40设置的量化参数(和量化矩阵)确定的量化步长而对增强层的量化数据进行逆量化以恢复变换系数数据(步骤S30)。然后，逆量化部21将所恢复的变换系数数据输出到逆正交变换部22。

然后，执行诸如逆正交变换、滤波、帧内预测和帧间预测的连续处理。

<4.根据实施例的EL解码部的配置示例>

[4-1.总体配置]

图12是示出图6所示的EL解码部6b的配置示例的框图。参照图12，EL解码部6b包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、解块滤波器66、排序缓冲器67、数模(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部75、帧间预测部80和逆量化控制部90。

累积缓冲器61使用存储介质暂时累积从解复用部5输入的增强层的编码流。

无损解码部62根据在编码时使用的编码方案，从自累积缓冲器61输入的增强层的编码流对增强层的量化数据进行解码。另外，无损解码部62对插入到编码流的头部区域中的信息进行解码。无损解码部62解码的信息可以包括例如与帧内预测有关的信息、与帧间预测有关的信息和量化相关参数。无损解码部62将与帧内预测有关的信息输出到帧内预测部75。另外，无损解码部62将与帧间预测有关的信息输出到帧间预测部80。另外，无损解码部62将量化数据输出到逆量化部63，以及将量化相关参数输出到逆量化控制部90。

逆量化部63使用根据从逆量化控制部90输入的量化参数(和量化矩阵)确定的量化步长而对从无损解码部62输入的量化数据进行逆量化，以恢复增强层的变换系数数据。然后，逆量化部63将所恢复的变换系数数据输出到逆正交变换部64。

逆正交变换部64根据在编码时使用的正交变换方案而对从逆量化部63输入的变换系数数据执行逆正交变换，以生成预测误差数据。逆正交变换部64将所生成的预测误差数据输出到加法部65。

加法部65将从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据相加以生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到解块滤波器66和帧存储器69。

解块滤波器66通过对从加法部65输入的解码图像数据进行滤波而去除块失真，然后将滤波后的解码图像数据输出到排序缓冲器67和帧存储器69。

排序缓冲器67对从解块滤波器66输入的图像进行排序以生成图像数据的时间序列。然后，排序缓冲器67将所生成的图像数据输出到D/A转换部68。

D/A转换部68将从排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出到例如与图像解码装置60连接的显示器(未示出)而使得显示增强层的图像。

帧存储器69使用存储介质存储从加法部65输入的滤波前的解码图像数据和从解块滤波器66输入的滤波后的解码图像数据。

选择器70根据无损解码部62获取的模式信息，针对图像中的每个块在帧内预测部75与帧间预测部80之间切换来自帧存储器69的图像数据的输出目的地。例如，当指定了帧内预测模式时，选择器70将从帧存储器69提供的滤波前的解码图像数据作为参考图像数据输出到帧内预测部75。另外，当指定了帧间预测模式时，选择器70将滤波后的解码图像数据作为参考图像数据输出到帧间预测部80。

选择器71根据无损解码部62获取的模式信息，在帧内预测部75与帧间预测部80之间切换要提供到加法部65的预测图像数据的输出源。例如，当指定了帧内预测模式时，选择器71将从帧内预测部75输出的预测图像数据提供到加法部65。另外，当指定了帧间预测模式时，选择器71将从帧间预测部80输出的预测图像数据提供到加法部65。

帧内预测部75基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据而执行增强层的帧内预测处理，以生成预测图像数据。另外，帧内预测部75将所生成的增强层的预测图像数据输出到选择器71。

帧间预测部80基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据而执行增强层的运动补偿处理，以生成预测图像数据。另外，帧间预测部80将所生成的增强层的预测图像数据输出到选择器71。

逆量化控制部90使用无损解码部62解码的量化相关参数和共同存储器7缓存的信息而控制在EL解码部6b中执行的逆量化处理。在本实施例中，量化相关参数可以包括当确定量化参数时使用的QP参数和当确定量化矩阵时使用的SL参数。

[4-2.逆量化控制部的详细配置]

图13是示出图12所示的逆量化控制部90的配置的示例的框图。参照图13，逆量化控制部90具有QP参数获取部91、QP设置部92、SL参数获取部93和SL设置部94。

(1)QP参数获取部

QP参数获取部91从增强层的编码流获取无损解码部62解码的QP参数。QP参数获取部91获取的亮度分量的QP参数可以包括上述pic_init_qp_minus26、slice_qp_delta、cu_qp_delta_abs和cu_qp_delta_sign。另外，QP参数获取部91获取的色度分量的QP参数可以包括Cb分量的量化参数偏移差slice_cbE_qp_offset和Cr分量的量化参数偏移差slice_crE_qp_offset。

此外，当无损解码部62对QP参数重复使用标志进行解码时，QP参数获取部91可获取解码后的QP参数重复使用标志。QP参数获取部91将所获取的增强层的QP参数输出到QP设置部92。

(2)QP设置部

QP设置部92针对增强层的各个块设置当对增强层的变换系数数据进行逆量化时逆量化部63使用的量化参数。这里，块的大小可以等于或小于LCU的大小。

例如，QP设置部92通过将cu_qp_delta_abs和cu_qp_delta_sign指示的残差与针对每个CU使用pic_init_qp_minus26和slice_qp_delta预测的量化参数的预测值相加来计算亮度分量的量化参数。然后，Qp设置部92将所计算的量化参数输出到逆量化部63。

另外，QP设置部92基于基本层的量化参数偏移而针对色度分量设置增强层的量化参数偏移。增强层的Cb分量和Cr分量的量化参数偏移cbE_qp_offset和crE_qp_offset可分别根据例如以下表达式(9)和(10)来生成。

[数学式7]

cbE_qp_offset＝slice_cbE_qp_offset+cbB_qp_offset (9)

crE_qp_offset＝slice_crE_qp_offet+crB_qp_offet (10)

在表达式(9)和(10)中，右侧的第一项是QP参数获取部91获取的量化参数偏移差slice_cbE_qp_offset和slice_crE_qp_offset。右侧的第二项是基本层的量化参数偏移cbB_qp_offset和crB_qp_offset。在第一技术中，如以下表达式(11)和(12)所示，基本层的量化参数偏移cbB_qp_offset和crB_qp_offset均等于图片单位的偏移与切片单位的偏移之和。

[数学式8]

cbB_qp_offset＝pic_cb_qp_offset+slice_cb_qp_offset (11)

crB_qp_offset＝pic_cr_qp_offset+slice_cr_qp_offset (12)

在第二技术中，如以下表达式(13)和(14)所示，基本层的量化参数偏移cbB_qp_offset和crB_qp_offset分别等于图片单位的偏移。

[数学式9]

cbB_qp_offset＝pic_cb_qp_offset (13)

crB_qp_offset＝pic_cr_qp_offset (14)

在两种技术中，根据共同存储器7缓存的基本层的QP参数来确定基本层的量化参数偏移cbB_qp_offset和crB_qp_offset。

QP设置部92通过将根据上述技术之一计算的量化参数偏移与亮度分量的量化参数之和输入到预定关系表达式中来计算增强层的色度分量的量化参数。在上述非专利文献1中描述了这里所使用的关系表达式。然后，QP设置部92将所计算的量化参数输出到逆量化部63。

注意，当QP参数获取部91获取的QP参数重复使用标志指示针对色度分量应该重复使用量化参数偏移(即，应该基于基本层的量化参数偏移来设置增强层的量化参数偏移)时，QP设置部92可针对色度分量执行上述处理。当QP参数重复使用标志没有指示应该重复使用量化参数偏移时，QP设置部92可以不参考基本层的量化参数偏移来设置增强层的色度分量的量化参数偏移。

(3)SL参数获取部

当基本层是以除HEVC方案之外的图像编码方案(例如，AVC方案)编码时，SL参数获取部93从增强层的编码流获取无损解码部62解码的SL参数。例如，当基本层是以AVC方案编码时，SL参数获取部93获取指定大小为16×16像素和32×32像素的量化矩阵的SL参数。另外，甚至当量化矩阵没有在多个层中被重复使用时，SL参数获取部93也从增强层的编码流获取无损解码部62解码的SL参数。在该情况下，获取指定大小为4×4像素至32×32像素的量化矩阵的SL参数。注意，如使用图9B描述的，通常在对每个量化矩阵进行下采样以具有8×8像素的大小之后，对大小等于或大于16×16像素的量化矩阵的SL参数进行编码。SL参数获取部93将所获取的增强层的SL参数输出到SL设置部94。注意，当量化矩阵在多个层中被重复使用并且基本层是以HEVC方案编码时，SL参数获取部93可不获取增强层的SL参数。SL参数获取部93可以参考从VPS解码的标志avc_base_layer_flag而确定基本层是否是以HEVC方案编码的。

此外，当无损解码部62对量化矩阵重复使用标志和设置技术标志进行解码时，SL参数获取部93可将解码后的量化矩阵重复使用标志和设置技术标志输出到SL设置部94。

(4)SL设置部

SL设置部94针对增强层设置当对增强层的亮度分量和色度分量的变换系数数据进行逆量化时逆量化部63要使用的量化矩阵。

例如，当基本层是以HEVC方案或AVC方案编码时，SL设置部94从共同存储器7获取大小为4×4像素和8×8像素的基本层的量化矩阵。例如，SL设置部94可根据所获取的基本层的量化矩阵复制增强层的相应量化矩阵。替代地，SL设置部94可根据所获取的基本层的量化矩阵预测增强层的相应量化矩阵。在后一种情况下，另外从增强层的编码流对量化矩阵的预测残差进行解码，并且可以将该残差与所预测的量化矩阵相加。SL设置部94可根据SL参数获取部93获取的设置技术标志而选择是否应该复制或预测增强层的量化矩阵。

当基本层是以HEVC方案编码时，SL设置部94还从共同存储器7获取大小为16×16像素和32×32像素的基本层的量化矩阵。然后，SL设置部94从所获取的基本层的量化矩阵复制或预测增强层的相应量化矩阵。当基本层是以AVC方案编码时，SL设置部94根据从SL参数获取部93输入的SL参数而不是基于基本层的量化矩阵，生成增强层的大小为16×16像素和32×32像素的相应量化矩阵。

注意，当SL参数获取部93可以获取的量化矩阵重复使用标志指示量化矩阵没有被重复使用时(即，应该从增强层的编码流对量化矩阵进行解码)，SL设置部94可以根据增强层的SL参数而不是基于基本层的量化矩阵来生成所有所需量化矩阵。可分别针对不同的量化矩阵大小、不同的预测模式或不同的颜色分量而从增强层的编码流对量化矩阵重复使用标志和设置技术标志进行解码。

<5.根据实施例的解码处理的流程>

[5-1.示意流程]

图14是示出根据实施例的用于解码的示意处理的流程示例的流程图。为了简洁描述，从附图省略与本公开中的技术不直接相关的处理步骤。

参照图14，解复用部5首先将多层复用流解复用成基本层的编码流和增强层的编码流(步骤S60)。

接下来，BL解码部6a对基本层执行解码处理以从基本层的编码流重构基本层图像(步骤S61)。

共同存储器7缓存在基本层的解码处理中解码的量化相关参数(步骤S62)。这里缓存的量化相关参数可以包括例如量化矩阵和针对基本层的每个块设置的色度分量的量化参数偏移。

接下来，EL解码部6b使用共同存储器7缓存的信息执行增强层的解码处理以重构增强层图像(步骤S63)。

[5-2.与逆量化有关的处理]

图15是示出与对增强层的解码处理(图14的步骤S63)中的逆量化有关的处理的流程示例的流程图。图15所示的处理可以针对例如增强层图像的每个切片被重复。

参照图15，首先，QP参数获取部91从增强层的编码流获取无损解码部62解码的QP参数(步骤S71)。然后，QP参数获取部91将所获取的增强层的QP参数输出到QP设置部92。

另外，SL参数获取部93通过例如参考量化矩阵重复使用标志而确定量化矩阵是否在多个层中被重复使用(步骤S72)。当量化矩阵在多个层中被重复使用时，SL参数获取部93进一步确定基本层的编码方案是否是HEVC方案(步骤S73)。当量化矩阵没有在多个层中被重复使用时或者当基本层的编码方案不是HEVC方案时，SL参数获取部93从增强层的编码流获取无损解码部62解码的增强层的SL参数(步骤S74)。然后，SL参数获取部93将所获取的增强层的SL参数输出到SL设置部94。

接下来，QP设置部92针对增强层的每个块设置增强层的量化参数(步骤S75)。例如，QP设置部92基于基本层的量化参数偏移和QP参数指示的量化参数偏移差而针对色度分量计算增强层的量化参数偏移。另外，QP设置部92将所计算的量化参数偏移和色度分量的量化参数之和输入到预定关系表达式以计算增强层的量化参数。然后，QP设置部92将所计算的量化参数输出到逆量化部63。

注意，当QP参数重复使用标志没有指示应该重复使用基本层的量化参数偏移时，针对色度分量，QP设置部92可以针对增强层设置QP参数指示的量化参数偏移而不参考基本层的量化参数偏移。

另外，SL设置部94针对增强层的每个块设置增强层的量化矩阵(步骤S76)。例如，当基本层是以HEVC方案或AVC方案编码时，SL设置部94可以从共同存储器7获取大小为4×4像素和8×8像素的基本层的量化矩阵。另外，当基本层是以HEVC方案编码时，SL设置部94还从共同存储器7获取大小为16×16像素和32×32像素的基本层的量化矩阵。然后，SL设置部94根据所获取的基本层的量化矩阵复制或预测增强层的相应量化矩阵以设置增强层的量化矩阵。当基本层是以AVC方案编码时，SL设置部94根据从SL参数获取部93输入的SL参数而设置大小为16×16像素和32×32像素的增强层的量化矩阵。然后，SL设置部94将所设置的量化矩阵输出到逆量化部63。

注意，当量化矩阵重复使用标志指示基本层的量化矩阵没有被重复使用时，SL设置部94可以根据从SL参数获取部93输入的SL参数而设置增强层的所有所需量化矩阵。

接下来，无损解码部62根据增强层的编码流对增强层的量化数据进行解码(步骤S77)。然后，无损解码部62将解码后的量化数据输出到逆量化部63。

接下来，逆量化部63使用根据从逆量化控制部90输入的量化参数(和量化矩阵)确定的量化步长而对增强层的量化数据进行逆量化以恢复变换系数数据(步骤S78)。然后，逆量化部63将所恢复的变换系数数据输出到逆正交变换部64。

然后，执行诸如逆正交变换、预测图像和预测误差的加法以及滤波的连续处理。

[5-3.语法的示例]

(1)基本示例

图16A至图16C是用于描述可以用于根据本公开的技术的增强层的语法的示例的说明图。这里，QP参数重复使用标志和量化矩阵重复使用标志在增强层的PPS中被编码。

作为示例，图16A和图16B示出了PPS的语法。在图16A中，QP参数重复使用标志“BL_chroma_qp_offset_flag”在第15行中。当QP参数重复使用标志指示“假”时，量化参数偏移没有在多个层中被重复使用，并且在第18行和第19行中对图片单位的量化参数偏移“pic_cb_qp_offset”和“pic_cr_qp_offset”进行编码。当QP参数重复使用标志指示“真”时，跳过图片单位的量化参数偏移“pic_cb_qp_offset”和“pic_cr_qp_offset”的编码。

在图16B中，用于增强层的SL参数的函数“scaling_list_data()”存在于第52行中。在图16C中，示出了函数“scaling_list_data()”的具体语法。在图16C中，量化矩阵重复使用标志“BL_scaling_list_flag”存在于第2行中。当量化矩阵重复使用标志指示“真”时，量化矩阵在多个层中被重复使用。然而，当量化矩阵重复使用标志指示“真”并且基本层是以AVC方案编码时，仅重复使用大小为4×4像素和8×8像素的量化矩阵(参见第7行；“sizeID＝0”表示4×4像素的大小，并且“sizeID＝1”表示8×8像素的大小)。当量化矩阵没有被重复使用时，从第8行开始对指定增强层的量化矩阵的SL参数进行编码。

注意，这里描述的语法仅是示例。QP参数重复使用标志和量化矩阵重复使用标志例如均可在除PPS之外(例如，SPS等)的头部区域中被编码。另外，当量化矩阵被重复使用时，PPS可包括上述设置技术标志或者当预测量化矩阵时获得的残差数据。

(2)变型例

图16D和图16E均示出了增强层的语法的变型例。在这些变型例中，由EL编码部1b编码并且由EL解码部6b解码的SL参数包括如使用图9D描述的参考层信息。

在图16D所示的第一变型例中，单条共同的参考层信息在多个大小和多种类型的量化矩阵中被编码。图16D的SPS的扩展(sps_extension())的第3行中的标志copy_scaling_list_from_ref_layer_flag是指示是否应该基于参考层信息指定的从属层的量化矩阵而生成增强层的量化矩阵的量化矩阵重复使用标志。当量化矩阵重复使用标志指示“真”时，还对第5行中的参考层信息scaling_list_ref_layer进行编码。作为示例，参考层信息scaling_list_ref_layer可使用给予参考目标层的层编号(例如，无符号的六位整数等)而指定用作量化矩阵的复制或预测的基础的从属层。PPS的扩展(pps_extension())还可以包括与SPS的扩展相同语法的参考层信息。

在图16E所示的第二变型例中，针对量化矩阵的各种大小和类型对不同种类的参考层信息进行编码。图16E的SPS的扩展的第3行和PPS的扩展的第3行中的函数scaling_list_extension()定义用于参考层信息的语法。函数scaling_list_extension()的第2行表示关于由变量sizeId指定的大约4个大小的量化矩阵的迭代。接下来的第3行表示关于由变量matrixId指定的大约6种类型的量化矩阵的迭代(由于色度分量的最大大小是16×16像素，因此关于32×32像素仅存在大约两种类型)。每次迭代中的第4行中的标志copy_scaling_list_from_ref_layer_flag[sizeId][matrixId]是指示量化矩阵应该在多个层中被重复使用的量化矩阵重复使用标志。当量化矩阵重复使用标志指示“真”时，还对第6行中的参考层信息scaling_list_ref_layer[sizeId][matrixId]进行编码。这里，参考层信息还可使用例如给予参考目标层的层编号而指定用作量化矩阵的复制或预测的基础的从属层。

注意，当如使用图9C描述的量化矩阵仅在共享图像编码方案的多个层中被重复使用并且最下的基本层是以AVC方案编码时，参考层信息可以指示除最下基本层的编号(例如，零)之外的层编号(一般地，在SHVC中，仅最下层是可以以AVC方案编码的层)。

如果在这里引入了如上所述的参考层信息，通过从多个从属层灵活地选择要重复使用的量化矩阵，则可以在增强层中使用最优量化矩阵，因此可以有效地提高编码效率。

<6.编解码器的组合的示例>

根据本公开的技术可以应用于具有各种编解码器的组合的可缩放视频编码。要复用的层的数量可以是等于或大于2的任意数量。然而，当使用未被标准化的编解码器的组合时，可能存在解码器不正常工作的可能性。因此，可仅允许预先定义的编解码器的组合以分级方式被编码。替代地，可禁止对编解码器的若干组合以分级方式进行编码。

图17A和图17B是用于描述可以允许或禁止的编解码器的组合的说明图。

参照图17A，示出了从最下第一层L10至最上第五层L14的五个层。第一层L10和第二层L11以MPEG2方案编码。第三层L12和第四层L13以AVC方案编码。第五层L14以HEVC方案编码。在这些层当中，由于其共享编解码器而允许第一层L10和第二层L11的分级编码。由于MPEG2方案和AVC方案的组合没有被标准化的事实，因此可以禁止第二层L11和第三层L12的分级编码。由于其共享编解码器而允许第三层L12和第四层L13的分级编码。由于AVC方案和HEVC方案的组合被标准化的事实，因此允许第四层L13和第五层L14的分级编码。在图17A的示例中，可以使用联播编码而不是可缩放视频编码来对第一层L10和第二层L11的复用流以及第三层L12、第四层L13和第五层L14的复用流进行复用。

参照图17B，示出了从最下第一层L20至最上第五层L24的五个层。第一层L20和第二层L21以AVC方案编码。第三层L22和第四层L23以MPEG2方案编码。第五层L24以HEVC方案编码。在这些层当中，由于其共享编解码器而允许第一层L20和第二层L21的分级编码。由于AVC方案和MPEG2方案的组合没有被标准化的事实，因此可以禁止第二层L21和第三层L22的分级编码。由于其共享编解码器而允许第三层L22和第四层L23的分级编码。由于MPEG2方案和HEVC方案的组合被标准化的事实，因此允许第四层L23和第五层L24的分级编码。在图17B的示例中，可以使用联播编码而不是可缩放视频编码对第一层L20和第二层L21的复用流以及第三层L22、第四层L23和第五层L24的复用流进行复用。

<7.应用示例>

[7-1.对各种产品的应用]

根据上述实施例的图像编码装置10和图像解码装置60可以应用于各种电子设施，诸如用于卫星广播、有线电视的线缆广播、在因特网上的分发、经由蜂窝通信到终端的分发等的发送器和接收器，将图像记录在诸如光盘、磁盘或闪存的记录介质中的记录装置，从这样的存储介质再现图像的再现装置等。以下将描述四种应用示例。

(1)第一应用示例

图18示出了应用上述实施例的电视机装置的示意配置的示例。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示器906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器902然后将通过解调获得的编码比特流输出到解复用器903。即，调谐器902具有作为电视机装置900中的接收图像被编码的编码流的传输装置的作用。

解复用器903从编码比特流分离要观看的节目的视频流和音频流，并且将分离后的每个流输出到解码器904。解复用器903还从编码比特流提取诸如电子节目指南(GEP)的辅助数据，并且将所提取的数据提供到控制部910。这里，当编码比特流被加扰时，解复用器903可对编码比特流解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。解码器903然后将通过解码处理生成的视频数据输出到视频信号处理部905。此外，解码器904将在解码处理中生成的音频数据输出到音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并且在显示器906上显示视频。视频信号处理部905还可在显示器906上显示通过网络提供的应用画面。视频信号处理部905还可根据设置对视频数据执行例如降噪的附加处理。此外，视频信号处理部905可生成诸如菜单、按钮或光标的图形用户接口(GUI)的图像，并且将所生成的图像重叠在输出图像上。

显示器906由从视频信号处理部905提供的驱动信号来驱动，并且在显示装置(诸如液晶显示器、等离子显示器或OLED)的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行诸如D-A转换和放大的再现处理，并且从扬声器908输出该音频。音频信号处理部907还可对音频数据执行诸如降噪的附加处理。

外部接口909是用于将电视机装置900与外部装置或网络连接的接口。例如，解码器904可对通过例如外部接口909接收的视频流或音频流进行解码。换言之，外部接口909还具有作为电视机装置900中的接收图像被编码的编码流的传输装置的作用。

控制部910包括诸如中央处理单元(CPU)的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储CPU执行的程序、程序数据、EPG数据和通过网络获取的数据。例如，存储在存储器中的程序在电视机装置900启动时由CPU读取并且被执行。通过执行该程序，CPU根据从例如用户接口911输入的操作信号而控制电视机装置900的操作。

用户接口911连接到控制部910。用户接口911包括例如用于用户操作电视机装置900的按钮和开关以及远程控制信号的接收部件。用户接口911通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出到控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910彼此连接。

以上述方式配置的电视机装置900中的解码器904具有根据上述实施例的图像解码装置60的功能。因此，当电视机装置900利用多层编解码器对图像进行解码时，可以通过在多个层中重复使用量化相关参数来提高编码效率。

(2)第二应用示例

图19示出了应用上述实施例的移动电话的示意配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、复用和分离部928、记录和再现部929、显示器930、控制部931、操作部932和总线933。

天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933将通信部922、音频编解码器923、摄像装置部926、图像处理部927、复用和分离部928、记录和再现部929、显示器930和控制部931彼此连接。

移动电话920执行诸如以下的操作：传送/接收音频信号、传送/接收电子邮件或图像数据、对图像进行成像以及记录各种操作模式(包括音频呼叫模式、数据通信模式、拍摄模式和视频通话模式)下的数据。

在音频呼叫模式中，麦克风925生成的模拟音频信号被提供到音频编解码器923。音频编解码器923然后将模拟音频系信号转换成音频数据，对转换后的音频数据执行A-D转换，并且对数据进行压缩。音频编解码器923此后将压缩的音频数据输出到通信部922。通信部922对音频数据进行编码和调制以生成传送信号。通信部922然后通过天线921将所生成的传送信号传送到基站(未示出)。此外，通信部922放大通过天线921接收的无线电信号，转换信号的频率，以及获取接收信号。通信部922此后对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩，对数据执行D-A转换，并且生成模拟音频信号。音频编解码器923然后通过将所生成的音频信号提供到扬声器924而输出音频。

另外，在数据通信模式中，例如，控制部931根据通过操作部932的用户操作而生成构成电子邮件的字符数据。控制部931还使得字符显示在显示器930上。另外，控制部931根据用户通过操作部932的传送指令而生成电子邮件数据，并且将所生成的电子邮件数据输出到通信部922。通信部922对电子邮件数据进行编码和调制以生成传送信号。然后，通信部922通过天线921将所生成的传送信号传送到基站(未示出)。通信部922还放大通过天线921接收的无线电信号，转换信号的频率，并且获取接收信号。通信部922此后对接收信号进行解调和解码，恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制部931。控制部931使得电子邮件的内容显示在显示器930上以及使得电子邮件数据存储在记录和再现部929的存储介质中。

记录和再现部929包括任意可读和可写存储介质。例如，存储介质可以是诸如RAM或闪存的内置存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡的外部安装存储介质。

在拍摄模式中，例如，摄像装置部926对对象进行成像，生成图像数据，并且将所生成的图像数据输出到图像处理部927。图像处理部927对从摄像装置部926输入的图像数据进行编码，并且将编码流存储在记录和再现部929的存储介质中。

另外，在视频通话模式中，例如，复用和分离部928对图像处理部927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用后的流输出到通信部922。通信部922对流进行编码和调制以生成传送信号。通信部922然后通过天线921将所生成的传送信号传送到基站(未示出)。另外，通信部922放大通过天线921接收的无线电信号，转换信号的频率，并且获取接收信号。传送信号和接收信号可以包括编码比特流。然后，通信部922对接收信号进行解调和解码以恢复流，并且将恢复后的流输出到复用和分离部928。复用和分离部928从输入流分离视频流和音频流，并且将视频流和音频流分别输出到图像处理部927和音频编解码器923。图像处理部927对视频流进行解码以生成视频数据。视频数据然后被提供到显示器930，从而显示器930显示一系列图像。音频编解码器923对音频流进行解压缩和D-A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供到扬声器924以输出音频。

以上述方式配置的移动电话920中的图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，当移动电话920利用多层编解码器对图像进行编码或解码时，可以通过在多个层中重复使用量化相关参数来提高编码效率。

(3)第三应用示例

图20示出了应用上述实施例的记录和再现装置的示意配置的示例。例如，记录和再现装置940对接收的广播节目的音频数据和视频数据进行编码，并且将该数据记录到记录介质中。例如，记录和再现装置940还可对从其它装置获取的音频数据和视频数据进行编码，并且将该数据记录到记录介质中。另外，响应于用户指令，例如，记录和再现装置940在监视器上和从扬声器再现记录在记录介质中的数据。记录和再现装置940此时对音频数据和视频数据进行解码。

记录和再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、在屏显示器(OSD)948、控制部949和用户接口950。

调谐器941从通过天线(未示出)接收的广播信号提取期望信道的信号，并且对所提取的信号进行解调。调谐器941然后将从解调获得的编码比特流输出到选择器946。即，调谐器941具有作为记录和再现装置940中的传输装置的作用。

外部接口942是用于将记录和再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪存接口。通过外部接口942接收的视频数据和音频数据被输入到例如编码器943。即，外部接口942具有作为记录和再现装置940中的传输装置的作用。

当从外部接口942输入的视频数据和音频数据没有被编码时，编码器943对视频数据和音频数据进行编码。编码器943此后将编码比特流输出到选择器946。

HDD 944将诸如视频和音频的内容数据被压缩的编码比特流、各种程序和其它数据记录到内部硬盘中。另外，当再现视频和音频时，HDD 944从硬盘读取这些数据。

盘驱动器945将数据记录到安装到盘驱动器的记录介质中以及从记录介质读取数据。安装到盘驱动器945的记录介质可以是例如DVD盘(诸如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)盘。

当记录视频和音频时选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出到HDD 944或盘驱动器945。另外，当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD 948。另外，解码器947将所生成的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据并且显示视频。OSD 948还可将GUI(例如，菜单、按钮或光标)的图像重叠在所显示的视频上。

控制部949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储CPU执行的程序以及程序数据。例如，存储在存储器中的程序在记录和再现装置940启动时由CPU读取并且执行。通过执行程序，例如，CPU根据从用户接口950输入的操作信号而控制记录和再现装置940的操作。

用户接口950连接到控制部949。用户接口950包括例如用于用户操作记录和再现装置940的按钮和开关以及远程控制信号的接收部件。用户接口950通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出到控制部949。

以上述方式配置的记录和再现装置940的编码器943具有根据上述实施例的图像编码装置10的功能。另外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，当记录和再现装置940以多层编解码器对图像进行编码或解码时，可以通过在多个层中重复使用量化相关参数来提高编码效率。

(4)第四应用示例

图21示出了应用上述实施例的成像装置的示意配置的示例。成像装置960对对象进行成像，生成图像，对图像数据进行编码，并且将数据记录到记录介质中。

成像装置960包括光学组件961、成像部962、信号处理部963、图像处理部964、显示器965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971和总线972。

光学组件961连接到成像部962。成像部962连接到信号处理部963。显示器965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD 969和控制部970彼此连接。

光学组件961包括聚焦透镜和光圈机构。光学组件961在成像部962的成像表面上形成对象的光学图像。成像部962包括诸如CCD或CMOS的图像传感器，并且执行光电转换以将形成在成像表面上的光学图像转换成作为电信号的图像信号。然后，成像部962将图像信号输出到信号处理部963。

信号处理部963对从成像部962输入的图像信号执行诸如膝点校正、伽马校正和颜色校正的各种摄像装置信号处理。信号处理部963将对其执行了摄像装置信号处理的图像数据输出到图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码以生成编码数据。图像处理部964然后将所生成的编码数据输出到外部接口966或介质驱动器968。图像处理部964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。图像处理部964然后将所生成的图像数据输出到显示器965。另外，图像处理部964可将从信号处理部963输入的图像数据输出到显示器965以显示图像。此外，图像处理部964可将从OSD969获取的显示数据重叠在显示器965上输出的图像上。

OSD 969生成GUI(例如，菜单、按钮或光标)的图像，并且将所生成的图像输出到图像处理部964。

外部接口966被配置为例如USB输入和输出端子。当例如打印图像时，外部接口966将成像装置960与打印机连接。另外，驱动器根据需要连接到外部接口966。诸如磁盘或光盘的可移除介质例如安装到驱动器，以使得从可移除介质读取的程序可以安装在成像装置960中。外部接口966还可被配置为连接到诸如LAN或因特网的网络的网络接口。即，外部接口966具有作为成像装置960中的传输装置的作用。

安装到介质驱动器968的记录介质可以是任意可读和可写可移除介质，例如，磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可固定安装到介质驱动器968以配置例如不可运输存储单元(诸如内置硬盘驱动器或固态驱动器(SSD))。

控制部970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储CPU执行的程序以及程序数据。存储在存储器中的程序在例如成像装置960启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号而控制成像装置960的操作。

用户接口971连接到控制部970。用户接口971包括例如用于用户操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作，生成操作信号，并且将所生成的操作信号输出到控制部970。

以上述方式配置的成像装置960中的图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，当成像装置960以多层编解码器对图像进行编码或解码时，可以通过在多个层中重复使用量化相关参数来提高编码效率。

[7-2.可缩放视频编码的各种用途]

可以为各种用途带来上述可缩放视频编码的优点。以下将描述三个用途示例。

(1)第一示例

在第一示例中，可缩放视频编码用于数据的选择性传送。参照图22，数据传送系统1000包括流存储装置1001和递送服务器1002。递送服务器1002经由网络1003连接到一些终端装置。网络1003可以是有线网络或无线网络或者其组合。图22示出了个人计算机(PC)1004、AV装置1005、平板装置1006和移动电话1007作为终端装置的示例。

流存储装置1001存储例如包括图像编码装置10生成的复用流的流数据1011。复用流包括基本层(BL)的编码流和增强层(EL)的编码流。递送服务器1002读取存储在流存储装置1001中的流数据1011，并且经由网络1003将所读取的流数据1011的至少一部分递送到PC1004、AV装置1005、平板装置1006和移动电话1007。

当流被递送到终端装置时，递送服务器1002基于诸如终端装置的能力或通信环境等的一些条件而选择要递送的流。例如，递送服务器1002可通过不递送具有超过终端装置可以处理的图像质量的高图像质量的编码流而避免终端装置中的延迟或者处理器的溢出或过载的发生。另外，递送服务器1002还可通过不递送具有高图像质量的编码流来避免网络1003的通信带宽的占用。另一方面，当不存在要避免的风险或者基于用户的合约或某种条件认为是适当的时，递送服务器1002可将整个复用流递送到终端装置。

在图22的示例中，递送服务器1002从流存储装置1001读取流数据1011。然后，递送服务器1002将流数据1011直接递送到具有高处理能力的PC 1004。由于AV装置1005具有低处理能力，因此递送服务器1002生成仅包含从流数据1011提取的基本层的编码流的流数据1012，并且将流数据1012递送到AV装置1005。递送服务器1002将流数据1011直接递送到能够以高通信速率进行通信的平板装置1006而没有改变。由于移动电话1007仅可以以低通信速率进行通信，因此递送服务器1002将仅包含基本层的编码流的流数据1012递送到移动电话1007。

通过以此方式使用复用流，可以自适应地调整要传送的通信量。另外，当与当单独对每个层进行编码时的情况相比时，减少了流数据1011的码量，因此，即使递送了整个流数据1011，也可以减轻网络1003的负荷。此外，节省了流存储装置1001的存储器资源。

终端装置的硬件性能在不同装置之间不同。另外，在终端装置上运行的应用的能力是多样化的。此外，网络1003的通信容量是变化的。可用于数据传送的容量可由于其它通信量而每刻改变。因此，在开始流数据的递送之前，递送服务器1002可通过与递送目的地终端装置的信令而获取关于终端装置的硬件性能和应用能力的终端信息以及关于网络1003的通信容量的网络信息。然后，递送服务器1002可以基于所获取的信息而选择要递送的流。

顺便提及，要解码的层可由终端装置来提取。例如，PC 1004可在其屏幕上显示从接收复用流提取和解码的基本层图像。另外，在通过从接收复用流提取基本层的编码流而生成流数据1012之后，PC 1004可使得存储介质存储所生成的流数据1012或将流数据传输到其它装置。

图22所示的数据传送系统1000的配置仅是示例。数据传送系统1000可包括任意数量的流存储装置1001、递送服务器1002、网络1003和终端装置。

(2)第二示例

在第二示例中，可缩放视频编码用于经由多个通信信道的数据传送。参照图23，数据传送系统1100包括广播站1101和终端装置1102。广播站1101在地面信道1111上广播基本层的编码流1121。广播站1101还经由网络1112将增强层的编码流1122传送到终端装置1102。

终端装置1102具有用于接收广播站1101广播的地面广播的接收功能，以及经由地面信道1111接收基本层的编码流1121。另外，终端装置1102还具有用于与广播站1101进行通信的通信功能，以及经由网络1112接收增强层的编码流1122。

在接收到基本层的编码流1121之后，例如，响应于用户指令，终端装置1102可从所接收的编码流1121对基本层图像进行解码，并且在屏幕上显示基本层图像。替选地，终端装置1102可使得存储介质存储所解码的基本层图像或者将基本层图像传输到其它装置。

另外，在经由网络1112接收到增强层的编码流1122之后，例如，响应于用户指令，终端装置1102可通过对基本层的编码流1121和增强层的编码流1122进行复用而生成复用流。终端装置1102还可从增强层的编码流1122对增强层图像进行解码以在屏幕上显示增强层图像。替选地，终端装置1102可使得存储介质存储解码后的增强层图像或者将增强层图像传输到其它装置。

如上所述，可以经由对于每个层的不同通信信道而传送包含在复用流中的每个层的编码流。因此，通信延迟或溢出的发生可以通过分配施加在各个信道上的负荷来抑制。

此外，可根据一些条件动态地选择要用于传送的通信信道。例如，其数据量相对大的基本层的编码流1121可经由具有较宽带宽的通信信道来传送，并且其数据量相对小的增强层的编码流1122可经由具有较窄带宽的通信信道来传送。另外，在其上传送特定层的编码流1122的通信信道可根据通信信道的带宽来切换。因此，可以更有效地抑制施加在各个信道上的负荷。

注意，图23所示的数据传送系统1100的配置仅是示例。数据传送系统1100可包括任意数量的通信信道和终端装置。这里描述的系统的配置也可应用于除广播之外的其它用途。

(3)第三示例

在第三示例中，可缩放视频编码用于视频的存储。参照图24，数据传送系统1200包括成像装置1201和流存储装置1202。成像装置1201对通过对对象1211进行成像而生成的图像数据进行可缩放编码以生成复用流1221。复用流1221包括基本层的编码流和增强层的编码流。然后，成像装置1201将复用流1221提供到流存储装置1202。

流存储装置1202以针对每种模式不同的图像质量存储从成像装置1201提供的复用流1221。例如，流存储装置1202在正常模式下从复用流1221提取基本层的编码流1222，并且存储所提取的基本层的编码流1222。另一方面，在高质量模式下，流存储装置1202按原样存储复用流1221。因此，仅当期望高图像质量的视频记录时，流存储装置1202才可以记录具有大量数据的高质量流。因此，在图像质量劣化对用户的影响被抑制的同时，可以节省存储器资源。

例如，假设成像装置1201是监视摄像装置。当没有监视对象(例如，入侵者)出现在捕获图像中时，选择正常模式。在该情况下，捕获图像可能是不重要的并且优先减少数据量，以使得以低图像质量记录视频(即，仅存储基本层的编码流1222)。另一方面，当监视对象(例如，作为入侵者的对象1211)出现在捕获图像中时，选择高质量模式。在该情况下，捕获图像可能是重要的并且优先高图像质量，以使得以高图像质量记录视频(即，存储复用流1221)。

在图24的示例中，模式是流存储装置1202基于例如图像分析结果而选择的。然而，本实施例不限于这样的示例，并且成像装置1201可选择模式。在后一种情况下，成像装置1201可在正常模式下将基本层的编码流1222提供到流存储装置1202，并且在高质量模式下将复用流1221提供到流存储装置1202。

任意准则可以用于选择模式。例如，可根据通过麦克风获取的话音的响度或话音的波形来切换模式。另外，还可周期性地切换模式。另外，可响应于用户指令而切换模式。此外，可选择模式的数量可以是任意数量，只要其不超过分级的层的数量即可。

图24所示的数据传送系统1200的配置仅是示例。数据传送系统1200可包括任意数量的成像装置1201。这里描述的系统的配置还可应用于除监视摄像装置之外的用途。

[7-3.对其它编解码器的应用]

(1)对多视图编解码器的应用

多视图编解码器是一种多层编解码器并且是用于对所谓的多视图视频进行编码和解码的图像编码方案。图25是用于描述多视图编解码器的说明图。参照图25，示出了从三个视点捕获的三个视图帧的序列。给予每个视图以视图ID(view_id)。在这多个视图当中，一个视图被指定为基本视图。除基本视图之外的视图被称为非基本视图。在图25的示例中，其视图ID为“0”的视图是基本视图，并且其视图ID是“1”或“2”的两个视图是非基本视图。当这些视图以分级方式被编码时，每个视图可对应于层。如图25中的箭头所示，通过参考基本视图的图像对非基本视图的图像进行编码和和解码(也可参考其它非基本视图的图像)。

图26是示出支持多视图编解码器的图像编码装置10v的示意配置的框图。参照图26，图像编码装置10v设置有第一层编码部1c、第二层编码部1d、共同存储器2和复用部3。

第一层编码部1c的功能与使用图5描述的BL编码部1a的功能相同，除了取代基本层图像，基本视图图像被接收作为输入之外。第一层编码部1c对基本视图图像进行编码以生成第一层的编码流。第二层编码部1d的功能与使用图5描述的EL编码部1b的功能相同，除了取代增强层图像，非基本视图图像被接收作为输入之外。第二层编码部1d对非基本视图图像进行编码以生成第二层的编码流。共同存储器2存储在多个层中共用的信息。复用部3对第一层编码部1c生成的第一层的编码流和第二层编码部1d生成的第二层的编码流进行复用以生成多层复用流。

图27是示出支持多视图编解码器的图像解码装置60v的示意配置的框图。参照图27，图像解码装置60v设置有解复用部5、第一层解码部6c、第二层解码部6d和共同存储器7。

解复用部5将多层复用流解复用成第一层的编码流和第二层的编码流。第一层解码部6c的功能与使用图6描述的BL解码部6a的功能相同，除了取代基本层图像，基本视图图像被编码的编码流被接收作为输入之外。第一层解码部6c从第一层的编码流对基本视图图像进行解码。第二层解码部6d的功能与使用图6描述的EL解码部6b的功能相同，除了取代增强层图像，非基本视图图像被编码的编码流被接收作为输入之外。第二层解码部6d从第二层的编码流对非基本视图图像进行解码。共同存储器7存储在多个层中共用的信息。

根据本公开的技术，当对多视图图像数据进行编码或解码时，可以通过在非基本视图中重复使用基本视图的与量化有关的参数来减少总体码量。因此，如在可缩放视频编码的情况下，可以进一步提高多视图编解码器中的编码效率。

(2)对流送技术的应用

本公开的技术也可应用于流送协议。在HTTP上的动态自适应流送(MPEG-DASH)中，例如，在流送服务器中预先准备具有相互不同的参数比如分辨率的多个编码流。然后，流送服务器以片段为单位从多个编码流中动态地选择要流送的适当数据并且递送所选择的数据。使用这样的流送协议，与一个编码流的量化有关的参数可被重复用于其它编码流。

[7-4.各种安装水平]

根据本公开的技术可以以各种安装水平来实现，例如，诸如系统大规模集成(LSI)的处理器、使用多个处理器的模块、使用多个模块的单元或者其它功能被进一步添加到单元的套机(set)。

(1)视频套机

将参照图28描述根据本公开的技术被实现为套机的示例。图28是示出视频套机的示意配置的示例的框图。

近年来，电子设备变得多功能化。针对各个功能而进行电子设备的开发和制造，然后进行到多个功能被集成的状态。因此，存在仅制造或销售电子设备的部件的商业运营商。这样的商业运营商提供具有单个功能或彼此相关的多个功能的构成元件，或者提供具有集成功能组的套机。图28所示的视频套机1300是一体地包括用于对图像进行编码和解码(其中之一是可以的)的构成元件和具有与上述功能有关的其它功能的构成元件的套机。

参照图28，视频套机1300具有包括视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314的模块组以及包括连接性模块1321、摄像装置1322和传感器1323的用于相关功能的装置组。

模块是通过将用于彼此相关的多个功能的部件进行集成而形成的构成元件。模块可具有任意物理构成。作为示例，模块可以通过将每个均具有相同或不同功能的多个处理器、诸如电阻器或电容器的电路元件和其它装置一体地布置在电路板上来形成。不同的模块可通过将其它模块或处理器与该模块进行组合来形成。

在图28的示例中，用于与图像处理相关的功能的部件被集成在视频模块1311中。视频模块1311具有应用处理器1331、视频处理器1332、宽带调制解调器1333和基带模块1334。

处理器可以是例如片上系统(SOC)或系统大规模集成(LSI)。SoC或系统LSI可包括建立了预定逻辑的硬件。另外，SoC或系统LSI可包括CPU和存储用于使得CPU执行预定功能的程序的非暂态有形介质。程序可以存储在例如ROM中，并且在随机存取存储器(RAM)读取之后由CPU执行以用于其执行。

应用处理器1331是执行与图像处理有关的应用的处理器。除了用于图像处理的任意算术运算之外，在应用处理器1331中执行的应用可执行对例如视频处理器1332和其它构成元件的控制。视频处理器1332是具有与图像的编码和解码有关的功能的处理器。注意，应用处理器1331和视频处理器1332可被集成为一个处理器(参见图中的虚线1341)。

宽带调制解调器1333是执行与经由网络(诸如因特网或公共交换电话网络)的通信有关的处理的模块。例如，宽带调制解调器1333执行用于将包括传送数据的数字信号转换成模拟信号的数字调制以及用于将包括接收数据的模拟信号转换成数字信号的数字解调。宽带调制解调器1333处理的传送数据和接收数据可以包括任意信息，例如，图像数据、图像数据的编码流、应用数据、应用程序和设置数据。

基带模块1334是对经由前端模块1314传送和接收的射频(RF)信号执行基带处理的模块。例如，基带模块1334对包括传送数据的传送基带信号进行调制，并且将其频率转换成RF信号，然后将RF信号输出到前端模块1314。另外，基带模块1334对从前端模块1314输入的RF信号的频率进行转换，并且对信号进行解调，以生成包括接收数据的接收基带信号。

外部存储器1312是设置在视频模块1311之外的存储器装置，并且可从视频模块1311来访问。当诸如包括大量帧的视频数据的大规模数据存储在外部存储器1312中时，外部存储器1312可以包括相对便宜且大容量的半导体存储器(例如，动态随机访问存储器(DRAM))。

电力管理模块1313是控制对视频模块1311和前端模块1314的供电的模块。

前端模块1314是与基带模块1334连接并且提供前端功能的模块。在图28的示例中，前端模块1314具有天线部1351、滤波器1352和放大部1353。天线部1351具有传送或接收无线电信号的一个或多个天线元件以及与天线切换等有关的构成元件。天线部1351传送放大部1353放大的RF信号作为无线电信号。另外，天线部1351将作为无线电信号接收的RF信号输出到滤波器1352，然后由滤波器1352对RF信号进行滤波。

连接模块1321是具有与视频套机1300的外部连接有关的功能的模块。连接模块1321可支持任意外部连接协议。连接模块1321可具有例如支持无线连接协议(诸如蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(注册商标))、近场通信(NFC)或红外数据关联(IrDA))的子模块和相应天线。另外，连接模块1321可具有支持有线连接协议(诸如通用串行总线(USB)或高清多媒体接口(HDMI))的子模块和相应连接端子。

另外，连接模块1321可包括对诸如磁盘、光盘、磁光盘或半导体存储器的存储介质或者诸如固态驱动器(SSD)或网络附接存储(NAS)的存储装置执行数据写入和从存储介质的数据读取的驱动器。连接模块1321可包括这样的存储介质或存储装置。另外，连接模块1321可将连接提供到输出图像的显示器或输出声音的扬声器。

摄像装置1322是通过对对象进行成像来获取捕获图像的模块。摄像装置1322获取的一系列捕获图像构成视频数据。摄像装置1322生成的视频数据可以根据需要而由例如视频处理器1332来编码，并且存储在外部存储器1312或存储在连接到连接模块1321的存储介质中。

传感器1323是可以包括例如GPS传感器、声音传感器、超声传感器、光学传感器、照明传感器、红外传感器、角速度传感器、角加速度传感器、速度传感器、加速度传感器、陀螺仪传感器、地磁传感器、撞击传感器和温度传感器中的一个或多个的模块。传感器1323生成的传感器数据可以用于例如应用处理器1331的应用的执行。

在如上所述配置的视频套机1300中，根据本公开的技术可以用在例如视频处理器1332中。在该情况下，视频套机1300是应用本公开的技术的套机。

注意，视频套机1300可被实现为处理图像数据的不同种类的装置。例如，视频套机1300可对应于使用图18至图21描述的电视机装置900、移动电话920、记录和再现装置940或者成像装置960。另外，视频套机1300可对应于使用图22描述的数据传送系统1000中的终端装置(诸如PC 1004、AV装置1005、平板装置1006或移动电话1007)、使用图23描述的数据传送系统1100的广播站1101或终端装置1102、或者使用图24描述的数据传送系统1200的成像装置1201或流存储装置1202。此外，视频套机1300可对应于要在图31中例示的内容再现系统或者包括在要在图40中例示的无线通信系统中的装置。

(2)视频处理器

图29是示出视频处理器1332的示意配置的示例的框图。视频处理器1332具有对输入视频信号和输入音频信号进行编码从而生成视频数据和音频数据的功能以及对编码的视频数据和音频数据进行解码从而生成输出视频信号和输出音频信号的功能。

参照图29，视频处理器1332具有视频输入处理部1401、第一缩放部1402、第二缩放部1403、视频输出处理部1404、帧存储器1405、存储器控制部1406、编码器和解码器引擎1407、视频基本码流(ES)缓冲器1408A和1408B、音频ES缓冲器1409A和1409B、音频编码器1410、音频解码器1411、复用部(MUX)1412、解复用部(DEMUX)1413和流缓冲器1414。

视频输入处理部1401将例如从连接模块1321输入的视频信号转换成数字图像数据。第一缩放部1402对从视频输入处理部1401输入的图像数据执行格式转换和缩放(放大或缩小)。第二缩放部1403对要输出到视频输出处理部1404的图像数据执行格式转换和缩放(放大或缩小)。第一缩放部1402和第二缩放部1403执行的格式转换可以是例如4:2:2/Y-Cb-Cr的格式与4:2:0/Y-Cb-Cr的格式之间的转换。视频输出处理部1404将数字图像数据转换成输出视频信号，并且将输出视频信号输出到例如连接模块1321。

帧存储器1405是用于存储图像数据的存储器装置，并且由视频输入处理部1401、第一缩放部1402、第二缩放部1403、视频输出处理部1404以及编码器和解码器引擎1407共享。帧存储器1405可使用例如诸如DRAM的半导体存储器来实现。

存储器控制部1406根据存储在访问管理表1406A中的对于帧存储器1405的访问安排，基于从编码器和解码器引擎1407输入的同步信号，控制对帧存储器1405的访问。访问管理表1406A与编码器和解码器引擎1407、第一缩放部1402、第二缩放部1403等执行的处理有关，并且由存储器控制部1406更新。

编码器和解码器引擎1407执行用于对图像数据编码以生成编码视频流的编码处理和用于从编码视频流对图像数据进行解码的解码处理。例如，编码器和解码器引擎1407对从帧存储器1405读取的图像数据进行编码，并且顺序地将编码视频流写在视频ES缓冲器1408A上。另外，例如，编码器和解码器引擎顺序地从视频ES缓冲器1408B读取编码视频流，以及将解码图像数据写在帧存储器1405上。编码器和解码器引擎1407可以使用帧存储器1405作为用于处理的工作区域。编码器和解码器引擎1407以例如每个最大编码单位(LCU)的处理开始的定时将同步信号输出到存储器控制部1406。

视频ES缓冲器1408A对编码器和解码器引擎1407生成的编码视频流进行缓存。视频ES缓冲器1408A缓存的编码视频流被输出到复用部1412。视频ES缓冲器1408B对从解复用部1413输入的编码视频流进行缓存。视频ES缓冲器1408B缓存的编码视频流被输出到编码器和解码器引擎1407。

音频ES缓冲器1409A对音频编码器1410生成的编码视频流进行缓存。音频ES缓冲器1409A缓存的编码音频流被输出到复用部1412。音频ES缓冲器1409B对从解复用部1413输入的编码音频流进行缓存。音频ES缓冲器1409B缓存的编码音频流被输出到音频解码器1411。

音频编码器1410对例如从连接模块1321输入的输入音频信号执行数字转换，并且根据音频编码方案(例如，MPEG音频方案或音频码编号(AC3)方案)对输入音频信号进行编码。音频编码器1410顺序地将编码音频流写在音频ES缓冲器1409A上。音频编码器1411从自音频ES缓冲器1409B输入的编码音频流对音频数据进行解码，并且将该数据转换成模拟信号。音频解码器1411将例如音频信号输出到连接模块1321作为再现的模拟音频信号。

复用部1412对编码视频流和编码音频流进行复用以生成复用比特流。复用比特流的格式可以是任意格式。复用部1412可将预定头部信息添加到该比特流。另外，复用部1412可对流的格式进行转换。例如，复用部1412可以生成通过对编码视频流和编码音频流进行复用而获得的输送流(用于输送的格式的比特流)。另外，复用部1412可以生成通过对编码视频流和编码音频流进行复用而获得的文件数据(用于记录的格式的数据)。

解复用部1413使用与复用部1412执行的复用相反的方法，从复用比特流对编码视频流和编码音频流进行解复用。换言之，解复用部1413从自流缓冲器1414读取的比特流提取(或者分离)视频流和音频流。解复用部1413可转换(逆转换)流的格式。例如，解复用部1413可获取可以经由流缓冲器1414从连接模块1321或宽带调制解调器1333输入的输送流，并且将输送流转换成视频流和音频流。另外，解复用部1413可经由流缓冲器1414获取连接模块1321从存储介质读取的文件数据，并且将文件数据转换成视频流和音频流。

流缓冲器1414对比特流进行缓存。例如，流缓冲器1414对从复用部1412输入的输送流进行缓存，并且以预定定时或者根据来自外部的请求将输送流输出到例如连接模块1321或宽带调制解调器1333。另外，流缓冲器1414例如对从复用部1412输入的文件数据进行缓存，并且以预定定时或者根据来自外部的请求而将文件数据输出到例如连接模块1321以记录数据。此外，流缓冲器1414对经由例如连接模块1321或宽带调制解调器1333获取的输送流进行缓存，并且以预定定时或者根据来自外部的请求而将输送流输出到解复用部1413。另外，流缓冲器1414对通过例如连接模块1321从存储介质读取的文件数据进行缓存，并且以预定定时或者根据来自外部的请求而将文件数据输出到解复用部1413。

在如上所述配置的视频处理器1332中，根据本公开的技术可以用在例如编码器和解码器引擎1407中。在该情况下，视频处理器1332是应用根据本公开的技术的芯片或模块。

图30是示出视频处理器1332的示意配置的另一示例的框图。在图30的示例中，视频处理器1332具有使用预定方案对视频数据编码和解码的功能。

参照图30，视频处理器1332具有控制部1511、显示接口1512、显示引擎1513、图像处理引擎1514、内部存储器1515、编解码器引擎1516、存储器接口1517、复用和解复用部1518、网络接口1519和视频处理器1520。

控制部1511控制视频处理器1332内的各种处理部(诸如显示接口1512、显示引擎1513、图像处理引擎1514、编解码器引擎1516等)的操作。控制部1511具有例如主CPU 1531、子CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332的各个处理部的操作的程序。主CPU 1531通过程序的执行将所生成的控制信号提供到各个处理部。子CPU1532起主CPU 1531的辅助作用。例如，子CPU 1532执行主CPU 1531执行的程序的子处理和子程序。系统控制器1533管理主CPU 1531和子CPU 1532对程序的执行。

显示接口1512在控制部1511的控制下将图像数据输出到例如连接模块1321。例如，显示接口1512将从数字图像数据转换的模拟图像信号或者数字图像数据本身输出到与连接模块1321连接的显示器。显示引擎1513在控制部1511的控制下对图像数据执行格式转换、大小转换和颜色空间转换，以使得图像数据的属性适合于作为输出目的地的显示器的规范。图像处理引擎1514在控制部1511的控制下对图像数据执行图像处理，该图像处理可以包括用于图像质量改进等目的的滤波处理。

内部存储器1515是设置在视频处理器1332内并且由显示引擎1513、图像处理部1514和编解码器引擎1516共享的存储器装置。当在例如显示引擎1513、图像处理引擎1514和编解码器引擎1516之间输入和输出图像数据时，使用内部存储器1515。内部存储器1515可以是任意类型的存储器装置。例如，内部存储器1515可具有用于存储块单位的图像数据和相关参数的相对小的存储器大小。内部存储器1515可以是具有小容量但是高响应速度(例如，相对于外部存储器1312)的存储器，例如，静态随机存取存储器(SRAM)。

编解码器引擎1516执行对图像数据进行编码以生成编码视频流的编码处理和从编码视频流对图像数据进行解码的解码处理。编解码器引擎1516支持的图像编码方案可以是一种或多种任意方案。在图30所示的示例中，编解码器引擎1516具有MPEG-2视频块1541、AVC/H.264块1542、HEVC/H.265块1543、HEVC/H.265(可缩放)块1544、HEVC/H.265(多视图)块1545和MPEG-DASH块1551。这些各个功能块根据相应的图像编码方案对图像数据进行编码和解码。

MPEG-DASH块1551是使得能够根据MPEG-DASH方案传送图像数据的功能块。MPEG-DASH块1551执行基于标准规范的流生成和所生成的流的传送控制。传送图像数据的编码和解码可由包括在编解码器引擎1516中的另一功能块执行。

存储器接口1517是用于将视频处理器1332连接到外部存储器1312的接口。图像处理引擎1514或编解码器引擎1516生成的数据经由存储器接口1517被输出到外部存储器1312。另外，从外部存储器1312输入的数据经由存储器接口1517被提供到图像处理引擎1514或编解码器引擎1516。

复用和解复用部1518对编码视频流和相关比特流执行复用和解复用。在复用期间，复用和解复用部1518可将预定头部信息添加到复用流。另外，在解复用期间，复用和解复用部1518可将预定头部信息添加到分离的各个流。换言之，复用和解复用部1518可以与复用和解复用一起执行格式转换。例如，复用和解复用部1518可支持多个比特流与作为输送格式的复用流的输送流之间的转换和逆转换以及多个比特流与记录格式的文件数据之间的转换和逆转换。

网络接口1519是用于将视频处理器1332连接到例如宽带调制解调器1333或连接模块1321的接口。视频接口1520是用于将视频处理器1332连接到例如连接模块1321或摄像装置1322的接口。

在如上所述配置的视频处理器1332中，根据本公开的技术可以用在例如编解码器引擎1516中。在该情况下，视频处理器1332是应用根据本公开的技术的芯片或模块。

注意，视频处理器1332的配置不限于上述两个示例。视频处理器1332例如可被实现为一个半导体芯片或多个半导体芯片。另外，视频处理器1332可被实现为通过层叠多个半导体而形成的三维层叠LSI或者多个LSI的组合。

[7-5.使用MPEG-DASH的系统]

(1)内容再现系统的概况

首先，将使用图31至图33简要描述可以应用本公开的技术的内容再现系统。图31是示出内容再现系统的概况的说明图。图31所示的内容再现系统包括内容服务器1610和1611、网络1612和内容再现装置(客户端装置)1620(1620A、1620B和1620C)。

内容服务器1610和1611经由网络1612连接到内容再现装置1620。网络1612是用于连接到网络1612的装置传送或接收的信息的有线或无线传送路径。网络1612可以是例如公共网络(诸如因特网、公共交换电话网络或卫星通信网络)，或者可以是私人网络，比如包括以太网(注册商标)的局域网(LAN)、广域网(WAN)或者因特网协议-虚拟私人网络(IP-VPN)。

内容服务器1610是具有数据库的服务器装置，包括通过对内容数据进行编码而生成的编码数据和相关元数据的数据文件累积在该数据库中。当内容服务器1610生成根据MP4文件格式的数据文件时，编码数据可以存储在“mdat”箱中，并且元数据可以存储在“moov”箱中。内容数据可包括诸如音乐、演讲或无线电节目的音频内容。另外，内容数据可包括诸如电影、电视节目或视频节目的视频内容。另外，内容数据可包括照片、文档、图或图表的图像内容。此外，内容数据可包括其它类型的内容，诸如游戏数据或软件程序。

内容服务器1610针对同一内容以不同的比特率来生成多个数据文件。另外，作为对来自内容再现装置1620的内容再现请求的响应，除了与要附于URL的参数有关的信息之外，内容服务器1611将内容服务器1610的URL传送到内容再现装置1620。

图32是示出上述内容再现系统中的数据流程的示例的说明图。内容服务器1610以不同比特率对同一内容进行编码以生成例如图32所示的2Mbps的文件A、1.5Mbps的文件B以及1Mbps的文件C。相对于彼此，文件A具有高比特率，文件B具有标准比特率，并且文件C具有低比特率。

另外，如图32所示，每个文件的编码数据被划分成多个片段。例如，文件A的编码数据被划分成片段“A1”、“A2”、“A3”、…和“An”，文件B的编码数据被划分成片段“B1”、“B2”、“B3”、…和“Bn”，并且文件C的编码数据被划分成片段“C1”、“C2”、“C3”、…和“Cn”。

每个片段可以是以例如MP4的同步样本(例如，包括IDR图片的样本)开始的并且可以针对单个片段被再现的一个或多个样本的序列。例如，当使用具有固定长度15帧的GOP结构对每秒30帧的视频数据进行编码时，每个片段可包括等于4个GOP的2秒的视频和声音，或者可包括等于20个GOP的10秒的视频和声音。文件A、文件B和文件C中的同一位置的片段的时间再现范围通常是相同的。例如，片段“A2”、片段“B2”和片段“C2”的再现范围是相同的。当每个片段在再现时占据两秒的时间长度时，片段“A2”、片段“B2”和片段“C2”的再现范围可以全部对应于第2秒至第4秒内容的范围。

内容服务器1610生成包括如上的多个片段的文件A至C，并且存储所生成的文件A至C。然后，如图32所示，内容服务器1610将包括在每个文件中的片段流送到内容再现装置1620。内容再现装置1620基于顺序接收的片段而再现内容。

内容服务器1610将包括每条编码数据的比特率信息和访问信息的播放列表文件(将被称为媒体呈现描述(MPD))传送到内容再现装置1620。基于从内容服务器1610接收的MPD，内容再现装置1620从多个比特率选择任意比特率，并且请求将与所选择的比特率对应的片段传送到内容服务器1610。

图33是示出MPD的具体示例的说明图。如图33所示，MPD包括与具有不同比特率(带宽)的多条编码数据有关的访问信息。图33所示的MPD示出了存在具有各自的比特率256Kbps、512Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的大约6条编码数据。另外，MPD包括关于每条编码数据的访问信息。内容再现装置1620可以参考这样的MPD而动态地选择要被流送进行再现的内容的比特率。

注意，尽管图31示出了作为内容再现装置1620的示例的移动终端，但是内容再现装置1620不限于此。内容再现装置1620可以是终端装置，例如，PC、PDA、智能电话、内容记录器、内容播放器、游戏装置、数字家庭设施等。

(2)内容服务器的配置示例

图34是示出内容服务器1610的配置的示例的框图。参照图34，内容服务器1610设置有文件生成部1631、存储部1632和通信部1633。

文件生成部1631具有对内容数据进行编码的编码器1641，并且从同一内容数据生成具有不同比特率的多条编码数据。另外，文件生成部1631生成上述MPD。文件生成部1631例如可以生成具有各自的比特率256Kbps、512Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的大约6条编码数据，由此生成图33例示的MPD。

存储部1632存储多条编码数据和文件生成部1631生成的相应MPD。存储部1632可以包括存储介质，诸如非易失性存储器、磁盘、光盘或磁光(MO)盘。例如，非易失性存储器可以是电可擦除可编程只读存储器(EEPROM)或者可擦除可编程ROM(EPROM)。磁盘可以是硬盘或圆磁盘。光盘可以是致密盘(CD)、数字多功能盘可记录(DVD-R)或者蓝光盘(BD；注册商标)。

通信部1633是用于与内容再现装置1620通信的通信接口或功能实体。通信部1633经由网络1612与内容再现装置1620通信。更具体地，通信部1633具有HTTP服务器的功能。例如，通信部1633将MPD提供到内容再现装置1620。另外，根据来自内容再现装置1620的HTTP请求，通信部1633将具有内容再现装置1620基于MPD选择的比特率的编码数据的片段传送到内容再现装置1620作为HTTP响应。

(3)内容再现装置的配置示例

图35是示出内容再现装置1620的配置的示例的框图。参照图35，内容再现装置1620设置有通信部1651、存储部1652、再现部1653、选择部1654和位置获取部1656。

通信部1651是用于与内容服务器1610通信的通信接口或功能实体。通信部1651将HTTP请求传送到内容服务器1610，并且接收来自内容服务器1610的HTTP响应。换言之，通信部1651可以用作HTTP客户端。通信部1651可以使用HTTP范围请求从内容服务器1610选择性地获取目标内容的MPD和编码数据的片段。

存储部1652存储与内容再现有关的各种数据。存储部1652例如顺序地缓存通信部1651从内容服务器1610获取的片段。存储部1652缓存的片段可以根据例如先入先出(FIFO)原理而被输出到再现部1653。另外，存储部1652存储要添加到在从内容服务器1610接收的MPD中描述的内容的URL的参数的定义。另外，存储部1652可存储从稍后要描述的内容服务器1611接收的参数选择信息。

再现部1653顺序地获取存储部1652缓存的片段，并且从所获取的片段对内容数据进行解码。然后，再现部1653对解码的内容数据执行DA转换和渲染以再现内容。

选择部1654在定义在MPD中的多个比特率当中动态地选择适合于再现部1653的再现的比特率。然后，用于获取与所选择的比特率对应的编码数据的片段的HTTP请求从通信部1651传送到内容服务器1610。

位置获取部1656是获取指示内容再现装置1620的当前位置的位置数据的模块。位置获取模块1656可以是例如全球定位系统(GPS)接收器。相反，位置获取部1656可以是使用无线网络获取当前位置的定位引擎。

(4)内容服务器的配置的其它示例

图36是示出内容服务器1611的配置的另一示例的框图。参照图36，内容服务器1611设置有存储部1671和通信部1672。

存储部1671存储指定用于访问每条内容的URL的URL信息。另外，存储部1671存储当内容再现装置1620选择要附于每条内容的URL的参数时可以参考的参数选择信息。参数选择信息可以将相应参数映射为索引，例如，客户端的当前位置、客户端的用户ID、客户端具有的存储器的存储器大小、客户端具有的存储容量等。

通信部1672是用于与内容再现装置1620通信的通信接口或功能实体。通信部1672经由网络1612与内容再现装置1620通信。更具体地，通信部1672根据来自内容再现装置1620的请求而将存储在存储部1671中的URL信息和参数选择信息传送到内容再现装置1620。内容再现装置1620可根据从内容服务器1611接收的参数选择信息而选择当请求将内容流送到内容服务器1610时要附于URL的参数。

在使用图31至图36描述的内容再现系统中，根据本公开的技术可以用在例如内容服务器1610的编码器1641中。

[7-6.使用Wi-Fi的P2P模式的系统]

在该部分中，将描述根据本公开的技术应用于使用Wi-Fi的P2P模式的系统的示例。

(1)基本操作序列

图37和图38是示出在Wi-Fi的P2P模式中形成的无线通信系统的基本操作序列的序列图。这里，示出了从第一无线通信装置1701与第二无线通信装置1702之间的对等(P2P)连接建立到特定应用的操作开始的序列。更具体地，所示出的序列符合Wi-Fi联盟标准化的Wi-Fi直连(也可以称为Wi-Fi P2P)的规范。

首先，在第一无线通信装置1701与第二无线通信装置1702之间执行装置发现过程(步骤S1711)。在装置发现过程中，例如，第一无线通信装置1701广播探测请求(响应请求信号)。然后，第一无线通信装置1701接收来自接收到探测请求的第二无线通信装置1702的探测响应(响应信号)。第一无线通信装置1701和第二无线通信装置1702从而发现彼此的存在。另外，在装置发现过程中，可以交换属性信息，比如各个装置的装置名称和类型(诸如电视机装置、PC或智能电话)等。

接下来，在第一无线通信装置1701与第二无线通信装置1702之间执行服务发现过程(步骤S1712)。在服务发现过程中，例如，第一无线通信装置1701将服务发现询问传送到第二无线通信装置1702，以查询第二无线通信装置1702支持的服务或协议。然后，第一无线通信装置1701接收来自第二无线通信装置1702的服务发现响应，从而识别第二无线通信装置1702支持的服务或协议。每个装置可以支持的协议的示例可以包括数字生活网络联盟(DLNA)。另外，每个装置可以支持的服务的示例可以包括DLNA的数字媒体渲染器(DMR)。

接下来，用户执行选择连接对方的操作(连接对方选择操作)(步骤S1713)。连接对方选择操作可仅在第一无线通信装置1701和第二无线通信装置1702之一上执行或者在这两者上执行。例如，连接对方选择屏幕显示在第一无线通信装置1701的显示器上。然后，用户通过预定用户输入选择在连接对方选择屏幕上被显示为选择选项的第二无线通信装置1702。

在连接对方选择操作之后，在第一无线通信装置1701与第二无线通信装置1702之间执行组拥有者协商(步骤S1714)。这里，作为协商结果，假设第一无线通信装置1701作为组拥有者1715，并且假设第二无线通信装置1702用作客户端1716。

接下来，在第一无线通信装置1701与第二无线通信装置1702之间建立关联(L2链路)(步骤S1717)，此外，建立安全链路(步骤S1718)。此外，在第一无线通信装置1701与第二无线通信装置1702之间执行IP地址的分配(步骤S1719)和使用简单服务发现协议(SSDP)在L3上的L4设立(步骤S1720)。注意，L2表示第二层(数据链路层)，L3表示第三层(网络层)，并且L4表示第四层(传输层)。

接下来，用户执行触发特定应用的操作(应用触发操作)(步骤S1721)。可仅在第一无线通信装置1701和第二无线通信装置1702之一上或者这两者上执行应用触发操作。例如，应用指定和触发画面显示在第一无线通信装置1701的显示器上。然后，用户通过预定用户输入指定在应用指定和触发画面上列出的候选当中的期望应用。

在应用触发操作之后，在第一无线通信装置1701和第二无线通信装置1702中触发指定应用，并且在装置之间交换应用的通信量(步骤S1722)。

这里，同样在比Wi-Fi直连更早被标准化的IEEE 802.11的规范中，可以建立接入点(AP)与站(STA)之间的P2P连接。然而，根据过去的规范，在L2链路建立之前不能知道诸如连接对方的类型或者连接对方支持什么服务的信息。另一方面，在Wi-Fi直连中，可以在装置发现过程和服务发现过程中预先获取关于连接对方的信息。然后，用户可以参考所获取的关于连接对方的信息而选择期望的连接对方。

(2)扩展操作序列

也可以通过扩展上述装置发现过程和服务发现过程的结构以及在建立L2链路之前使得用户指定期望应用而省略在L2链路建立之后执行的应用触发操作。分别在图39和图40中示出了用于这样的扩展的MAC帧的帧格式的示例和操作序列的示例。

参照图39，示出了当试图建立L2链路时传送的关联请求和响应的MAC帧的帧格式的示例。从帧控制字段1751到序列控制字段1756的6个字段构成MAC头部。例如，在帧控制字段1751中，设置了用于标识关联请求和关联响应的值。尽管多个其它字段是在IEEE802.11-2007的规范中定义的信息元素(IE)的字段，但是扩展了多个字段。

在信息元素ID字段1761中，设置了指示头部特定信息设置在供应商特定IE字段1760中的值(十进制为127)。在该情况下，在供应商特定IE字段1760中，长度字段1762、OUI字段1763和供应商特定内容字段1764继续。在该扩展中，供应商特定内容字段1764包括IE类型字段1765和一个或多个子元素字段1766。子元素字段1766可包括例如用于标识要触发的应用的字段1767、用于标识与应用有关的装置的作用的字段1768、用于可以包括与应用对应的端口号的L4设立信息的字段1769和用于与应用的能力有关的信息的字段1770中的一个或多个。与能力有关的信息可包括例如指定执行音频分发、音频再现、视频分发和视频再现的DLNA应用的可能性的信息。

当在图40的序列中例如第一无线通信装置1701和第二无线通信装置1702试图建立关联(L2链路)时，交换上述扩展关联请求和关联响应(步骤S1717b)。关联请求可以在连接对方选择操作中指定用户指定的应用(步骤S1713b)。然后，在建立L2链路之后，自动触发用户预先指定的应用(步骤S1720b)而不执行应用触发操作。

在该部分描述的无线通信系统中，当例如对包括在应用的通信量中的视频数据进行编码或解码时，可使用根据本公开的技术。注意，为了简洁描述，在该部分中描述的序列图仅示出了可以包括在操作序列中的部分处理步骤。实际上，操作序列可包括诸如另外的分组交换的更多处理步骤。

<8.结论>

至此，使用图1至图40详细描述了根据本公开的技术的实施例。根据上述实施例，基于第一层的色度分量的量化参数偏移而设置当对参考第一层解码的第二层的色度分量的变换系数数据进行量化或逆量化时使用的量化参数的量化参数偏移。因此，在可缩放视频编码中，可以避免与量化有关的参数的冗余编码并且整体提高编码效率。一般地，色度分量的量化参数的调整与出现在每个图像中的颜色的趋势有关，但是与层之间的不同点(或者分辨率的不同点)无关。因此，即使在多个层中重复使用用于调整色度分量的量化参数的量化参数偏移，也可以适当地执行调整。

另外，根据上述实施例，针对第二层设置的量化参数偏移等于第一层的量化参数偏移与针对第二层编码和解码的量化参数偏移差之和。根据该配置，尽管通过重复使用第一层的量化参数偏移而减少了码量，但是可以使用量化参数偏移差而自适应地改变第二层的量化参数偏移。因此，可以针对例如每个切片而优化第二层的色度分量的图像质量。

另外，根据上述实施例，分别针对第二层的Cb分量和Cr分量设置第二层的量化参数偏移。因此，可以灵活调整，以使得例如Cb分量的量化参数被设置为相对低以便维持红色强的图像中的灰度，并且Cr分量的量化参数被设置为相对低以便维持蓝色强的图像中的灰度。

另外，根据上述实施例，基于第一层的量化矩阵而设置当对第二层的变换系数数据进行量化或逆量化时所使用的量化矩阵。另外，在该情况下，在多层编解码器中，可以避免与量化有关的参数的冗余编码，并且整体提高编码效率。当对用于指定当重复使用量化矩阵时要参考的层的参考层信息进行编码或解码时，可以灵活地在第二层中重复使用最优量化矩阵。

当根据第一层的量化矩阵复制第二层的量化矩阵时，不进行对第二层的量化矩阵的编码。当根据第一层的量化矩阵预测第二层的量化矩阵时，进行对相对小残差的编码，但是在第二层的码量被减小到一定程度时可以使用最优量化矩阵。

另外，根据上述实施例，当第一层是以AVC方案编码并且第二层是以HEVC方案编码时，当在多个层中重复使用大小为8×8像素或更小的量化矩阵时，可以在第二层中对大小为16×16像素或更大的量化矩阵进行编码和解码。根据该配置，当由于量化矩阵的重复使用而减少了码量时，可以通过补充不足的量化矩阵而保证装置的适当操作。

另外，根据上述实施例，可以对各种标志进行编码和解码，比如指示是否应该在多个层中重复使用量化参数偏移的标志、指示是否应该在多个层中重复使用量化矩阵的标志以及指定用于设置第二层的量化矩阵的技术的标志。可针对不同的量化矩阵大小、不同的预测模式或者不同的颜色分量而分别对用于量化矩阵的标志进行编码和解码。利用这些标志，可以根据各种条件比如用户需求、装置的性能、应用的能力和通信环境而灵活地设计编码处理。

在这里主要描述了诸如与量化有关的信息的各条信息被复用至编码流的头部并且从编码侧被传送到解码侧的示例。然而，传送这些条信息的方法不限于这样的示例。例如，这些条信息可作为与编码比特流相关联的单独数据被传送或记录而不被复用至编码比特流。这里，术语“关联”表示允许包括在比特流中的图像(图像可以是图像的一部分，诸如切片或块)和与图像对应的信息在解码时建立链路。即，可在与图像(或比特流)不同的传送路径上传送信息。另外，信息还可记录在与图像(或比特流)不同的记录介质(或者同一记录介质中的不同记录区域)中。此外，信息和图像(或比特流)可以以任意单位比如多个帧、一个帧或帧内的一部分彼此相关联。

以上参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域技术人员可在所附权利要求的范围内找到各种变更和修改，并且应理解，这些变更和修改将自然落入本公开的范围内。

另外，本技术也可如下进行配置。

(1)一种图像处理装置，包括：

控制部，被配置成基于针对第一层的色度分量设置的第一量化参数偏移，针对参考所述第一层解码的第二层的色度分量设置第二量化参数偏移；以及

逆量化部，被配置成使用量化参数而对所述第二层的色度分量的变换系数数据进行逆量化，所述量化参数是使用所述控制部设置的所述第二量化参数偏移而计算的。

(2)根据(1)所述的图像处理装置，其中，所述第二量化参数偏移等于所述第一量化参数偏移与量化参数偏移差之和。

(3)根据(2)所述的图像处理装置，还包括：

解码部，被配置成从编码流对所述量化参数偏移差进行解码。

(4)根据(1)至(3)中的任意一项所述的图像处理装置，其中，所述第一量化参数偏移等于以图片为单位针对所述第一层设置的偏移与以切片为单位针对所述第一层设置的偏移之和。

(5)根据(1)至(3)中的任意一项所述的图像处理装置，其中，所述第一量化参数偏移等于以图片为单位针对所述第一层设置的偏移。

(6)根据(1)至(5)中的任意一项所述的图像处理装置，其中，所述控制部分别针对所述第二层的Cb分量和Cr分量设置所述第二量化参数偏移。

(7)根据(1)至(6)中的任意一项所述的图像处理装置，其中，当从编码流解码的第一标志指示应该基于所述第一量化参数偏移设置所述第二量化参数偏移时，所述控制部基于所述第一量化参数偏移而设置所述第二量化参数偏移。

(8)根据(1)至(8)中的任意一项所述的图像处理装置，

其中，基于针对所述第一层设置的第一量化矩阵，所述控制部针对所述第二层设置第二量化矩阵，以及

其中，所述逆量化部使用所述控制部设置的所述第二量化矩阵而对所述第二层的变换系数数据进行逆量化。

(9)根据(8)所述的图像处理装置，其中，当参考层信息指定所述第一层为参考层时，所述控制部基于针对所述第一层设置的所述第一量化矩阵而针对所述第二层设置所述第二量化矩阵。

(10)根据(8)或(9)所述的图像处理装置，其中，所述控制部根据所述第一量化矩阵而复制或预测所述第二量化矩阵。

(11)根据(8)至(10)中的任意一项所述的图像处理装置，其中，当从编码流解码的第二标志指示应该基于所述第一量化矩阵设置所述第二量化矩阵时，所述控制部基于所述第一量化矩阵而设置所述第二量化矩阵。

(12)根据(11)所述的图像处理装置，其中，所述第二标志是分别针对不同的量化矩阵大小、不同的预测模式或者不同的颜色分量而从所述编码流解码的。

(13)根据(10)所述的图像处理装置，其中，所述控制部根据从编码流解码的第三标志而选择用于设置所述第二量化矩阵的设置技术。

(14)根据(13)所述的图像处理装置，其中，所述第三标志是分别针对不同的量化矩阵大小、不同的预测模式或者不同的颜色分量而从所述编码流解码的。

(15)根据(8)至(14)中的任意一项所述的图像处理装置，

其中，所述第二层是以高效视频编码HEVC方案编码的，以及

其中，当所述第一层是以高级视频编码AVC方案编码时，所述控制部基于所述第一量化矩阵而针对所述第二层设置大小为8×8像素或更小的所述第二量化矩阵，并且不基于所述第一量化矩阵而针对所述第二层设置大小为16×16像素或更大的第三量化矩阵。

(16)一种图像处理方法，包括：

基于针对第一层的色度分量设置的第一量化参数偏移，针对参考所述第一层解码的第二层的色度分量而设置第二量化参数偏移；以及

使用量化参数对所述第二层的色度分量的变换系数数据进行逆变换，所述量化参数是使用所设置的第二量化参数偏移而计算的。

(17)一种图像处理装置，包括：

量化部，被配置成使用给定量化参数对参考第一层编码的第二层的色度分量的变换系数数据进行量化；以及

编码部，被配置成对所述第二层的色度分量的第二量化参数偏移进行编码，所述第二量化参数偏移是基于针对所述第一层的色度分量设置的第一量化参数偏移和所述给定量化参数而计算的。

(18)根据(17)所述的图像处理装置，

其中，所述量化部使用给定量化矩阵对所述第二层的变换系数数据进行量化，以及

其中，当解码器应该基于针对所述第一层设置的量化矩阵而针对所述第二层设置所述给定量化矩阵时，所述编码部不对所述给定量化矩阵进行编码。

(19)根据(18)所述的图像处理装置，其中，所述编码部对参考层信息进行编码，所述参考层信息将所述第一层指定为当设置所述给定量化矩阵时要参考的参考层。

(20)一种图像处理方法，包括：

使用给定量化参数对参考第一层编码的第二层的色度分量的变换系数数据进行量化；以及

对所述第二层的色度分量的第二量化参数偏移进行编码，所述第二量化参数偏移是基于针对所述第一层的色度分量设置的第一量化参数和所述给定量化参数而计算的。

附图标记列表

10，10v 图像编码装置(图像处理装置)

1a 基本层编码部

1b 增强层编码部

15 量化部

16 无损编码部

21 逆量化部

40 量化控制部

60、60v 图像解码装置(图像处理装置)

6a 基本层解码部

6b 增强层解码部

62 无损解码部

63 逆量化部

90 逆量化控制部

Claims

1.一种图像处理装置，包括：

控制部，被配置成基于针对第一层的第一缩放列表，设置针对参照所述第一层解码的第二层的第二缩放列表；以及

量化部，被配置为使用所述控制部设置的所述第二缩放列表对所述第二层的变换系数数据进行量化。

2.根据权利要求1所述的图像处理装置，其中，当参考层信息指定所述第一层作为参考层时，所述控制部基于针对所述第一层设置的所述第一缩放列表设置针对所述第二层的所述第二缩放列表。

3.根据权利要求1所述的图像处理装置，其中，所述控制部从所述第一缩放列表复制或者预测所述第二缩放列表。

4.根据权利要求1所述的图像处理装置，还包括：

编码部，被配置为对量化的变换系数数据进行编码以生成编码流。

5.根据权利要求4所述的图像处理装置，其中，所述控制部设置标志信息，所述标志信息指定所述第二缩放列表是基于所述第一缩放列表设置的，以及所述编码部生成包括所述标志信息的所述编码流。

6.根据权利要求5所述的图像处理装置，其中，所述标志信息包括在分别针对不同的缩放列表尺寸、不同的预测模式或者不同的颜色分量的编码流中。

7.根据权利要求6所述的图像处理装置，其中，所述标志信息被包括在所述编码流的序列参数集SPS或图片参数集PPS。

8.一种图像处理方法，包括：

基于针对第一层的第一缩放列表，设置针对参照所述第一层解码的第二层的第二缩放列表；以及

使用所设置的所述第二缩放列表对所述第二层的变换系数数据进行量化。

9.根据权利要求8所述的图像处理方法，其中，当参考层信息指定所述第一层作为参考层时，基于针对所述第一层设置的所述第一缩放列表设置针对所述第二层的所述第二缩放列表。

10.根据权利要求8所述的图像处理方法，其中，从所述第一缩放列表复制或者预测所述第二缩放列表。

11.根据权利要求8所述的图像处理方法，还包括：

对量化的变换系数数据进行编码以生成编码流。

12.根据权利要求11所述的图像处理方法，其中，设置标志信息，所述标志信息指定所述第二缩放列表是基于所述第一缩放列表设置的，以及生成包括所述标志信息的所述编码流。

13.根据权利要求12所述的图像处理方法，其中，所述标志信息包括在分别针对不同的缩放列表尺寸、不同的预测模式或者不同的颜色分量的编码流中。

14.根据权利要求13所述的图像处理方法，其中，所述标志信息被包括在所述编码流的序列参数集SPS或图片参数集PPS。

15.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被执行时，执行根据权利要求8至14中的任意一项所述的图像处理方法。