CN103748884A - 图像处理装置和图像处理方法 - Google Patents

Abstract

为了避免参数的冗余传输，给出将具有互不相同的质量的参数包括在公共参数集中的示例。提供一种图像处理装置，配备有：获取部，用于从编码流的参数集中获取包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的辅助标识符；以及解码部，用于利用所述参数组中的参数将所述图像解码，所述参数组是利用通过所述获取部获取的所述辅助标识符来参考的。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法。

背景技术

在H.264/AVC中（标准图像编码方案规范的一种），为了存储用于编码和解码图像的参数，限定称为序列参数集（SPS）和图片参数集（PPS）的两种类型的参数集。SPS是主要用于存储可以针对每个序列改变的参数的参数集，而PPS是主要用于存储可以针对每个图片改变的参数的参数集。但是实际上，PPS中存储的很多参数相对多个图片未改变。

在作用于高效视频代码化（HEVC）（其为继承H.264/AVC的下一代图像编码方案）的标准中，引入了自适应参数集（APS），APS是不同于SPS和PPS的新的参数集（参见以下的非专利文献1）。APS是主要用于存储这对每个图片适应性设置的参数的参数集。通过将高度可能实际上针对每个图片改变的、具有大数据尺寸的参数存储在APS而不是PPS中，可以使用APS在正确的时间只将更新的参数从编码侧传输到解码侧。根据以下的非专利文献1，将关于自适应环路滤波器（ALF）和样本自适应偏移（SAO）的参数存储在APS中。

引用表

非专利文献

非专利文献1：JCTVC-F747r3，“Adaptation Parameter Set(APS)”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG116th Meeting：Torino，IT，14-22July，2011

发明内容

技术问题

除了关于上述ALF和SAO的参数之外，还存在希望包括在APS而不是PPS中的其他参数。这些参数的示例是关于量化矩阵的参数以及关于自适应插值滤波器（AIF）的参数。如果在单个参数集中包括具有相互不同特性的参数，那么它们在更新频率上的差异会成为对代码化效率最优化的妨碍。另一方面，无限增加参数集的类型是不可行的。

因此，希望提供一种能够根据更新要求避免参数的冗余传输的机制，即使在将具有相互不同特性的参数包括在共享参数集中的情况下。

问题的解决方案

根据本公开，提供一种图像处理装置，包括：获取部，用于从编码流的参数集中获取包括一个或多个在编码或解码图像时使用的参数的参数组以及用于识别所述参数组的子标识符；以及解码部，用于利用所述参数组中的参数将所述图像解码，所述参数组中的参数是利用通过所述获取部获取的所述子标识符来参考的。

通常可将图像处理装置实现为用于解码图像的图像解码装置。

根据本公开，提供一种图像处理方法，包括：从编码流的参数集中获取包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的子标识符；以及利用所述参数组中的参数将所述图像解码，所述参数组中的参数是利用获取的子标识符来参考的。

根据本公开，提供一种图像处理装置，包括：设置单元，用于设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的子标识符；以及编码部，用于将通过所述设置单元设置的所述参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

通常可将图像处理装置实现为用于编码图像的图像编码装置。

根据本公开，提供一种图像处理方法，包括：设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的子标识符；以及将设置的参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

本发明的有益效果

根据本公开，在将具有相互不同特性的参数包括在共享参数集的情况下，可以避免参数的冗余传输。

附图说明

图1是示出根据实施例的图像编码装置的示例性配置的方框图。

图2是示出根据第一技术构造的编码流的示例的示意图。

图3是示出根据第一技术定义的APS语法的示例的示意图。

图4是示出根据第一技术定义的片头语法的示例的示意图。

图5是示出根据第一技术的示例性修改定义的APS语法的示例的示意图。

图6是示出根据第二技术构造的编码流的示例的示意图。

图7A是示出根据第二技术定义的ALF APS语法的示例的示意图。

图7B是示出根据第二技术定义的SAO APS语法的示例的示意图。

图7C是示出根据第二技术定义的QM APS语法的示例的示意图。

图8是示出根据第二技术定义的片头语法的示例的示意图。

图9是示出根据第三技术构造的编码流的示例的示意图。

图10是示出根据第三技术定义的APS语法的示例的示意图。

图11是示出根据第三技术定义的片头语法的示例的示意图。

图12是针对若干典型编码工具的每个工具列出参数特征的表格。

图13是示出根据第三技术的示例性修改构造的编码流的示例的示意图。

图14是示出图1所示语法编码部的详细配置的示例的方框图。

图15是示出根据实施例的编码处理的流程的示例的流程图。

图16是示出图15所示APS编码处理的详细流程的示例的流程图。

图17是示出图15所示片头编码处理的详细流程的示例的流程图。

图18是示出根据实施例的图像解码装置的示例性配置的方框图。

图19是示出图18所示语法解码部的详细配置的示例的方框图。

图20是示出根据实施例的解码处理的流程的示例的流程图。

图21是示出图20所示APS解码处理的详细流程的示例的流程图。

图22是示出图20所示片头解码处理的详细流程的示例的流程图。

图23是示出多视图编解码器的示意图。

图24是示出应用于多视图编解码器的根据实施例的图像编码处理的示意图。

图25是示出应用于多视图编解码器的根据实施例的图像解码处理的示意图。

图26是示出可缩放编解码器的示意图。

图27是示出应用于可缩放编解码器的根据实施例的图像编码处理的示意图。

图28是示出应用于可缩放编解码器的根据实施例的图像解码处理的示意图。

图29是示出电视设备的示意性配置的方框图。

图30是示出移动电话的示意性配置的方框图。

图31是示出记录/再现装置的示意性配置的方框图。

图32是示出图像捕捉装置的示意性配置的方框图。

具体实施方式

下面参照附图详细描述本发明的优选实施例。注意，在说明书和附图中，用相同的附图标记表示功能和结构基本上相同的元件并省略重复说明。

此外，按照以下顺序进行描述。

1.根据实施例的图像编码装置的示例性配置

1-1.示例性总体配置

1-2.参数集结构的概述

1-3.语法编码部的示例性配置

2.根据实施例在编码期间的处理流程

2-1.处理的概述

2-2.APS编码处理

2-3.片头编码处理

3.根据实施例的图像解码装置的示例性配置

3-1.示例性总体配置

3-2.语法解码部的示例性配置

4.根据实施例在解码期间的处理流程

2-1.处理的概述

2-2.APS解码处理

2-3.片头解码处理

5.对各种编解码器的应用

5-1.多视图编解码器

5-2.可缩放编解码器

6.应用

7.结论

<1.根据实施例的图像编码装置的示例性配置>

[1-1.总体配置]

图1是示出根据实施例的图像编码装置10的示例性配置的方框图。参照图1，图像编码装置10配备了模数（A/D）转换部11、重新排序缓存12、减法部13、正交变换部14、量化部15、语法编码部16、累积缓存17、速率控制部18、反量化部21、反正交变换部22、加法部23、去块滤波器（DF）24、自适应偏移部（SAO）25、自适应环路滤波器（ALF）26、帧存储器27、选择器28和29、帧内预测部30以及运动估计部40。

A/D转换部11将模拟格式的图像信号输入转换为数字格式的图像数据，并将一系列数字图像数据输出到重新排序缓存12。

重新排序缓存12将从A/D转换部11输入的图像数据的序列中包括的图像进行重新排序。在根据编码处理按照图片组（GOP）结构将图像重新排序之后，重新排序缓存12将重新排序的图像数据输出到减法部13、帧内预测部30以及运动估计部40。

减法部13被提供以从重新排序缓存12输入的图像数据以及从下述帧内预测部30或运动估计部40输入的预测图像数据。减法部13计算预测误差数据，并将计算的预测误差数据输出到正交变换部14，预测误差数据是从重新排序缓存12输入的图像数据与预测图像数据之间的差。

正交变换部14对于从减法部13输入的预测误差数据进行正交变换。要通过正交变换部14进行的正交变换例如可以是离散余弦变化（DCT）或Karhunen-Loeve变换。正交变换部14将通过正交变换处理获取的变换系数数据输出到量化部15。

量化部15被提供以从正交变换部14输入的变换系数数据以及来自下述速率控制部18的速率控制信号。量化部15将变换系数数据量化，并将量化的变换系数数据（下面称为量化数据）输出到语法编码部16和反量化部21。在量化部15的量化处理（以及反量化部21的反量化处理）中使用的量化矩阵（QM）可以根据图像内容来切换。通过下述语法编码部16，将定义量化矩阵的QM相关参数插入编码流的头区域。量化部15也可以基于来自速率控制部18的速率控制信号，通过切换量化参数（量化缩放）来改变输出到语法编码部16的量化数据的比特率。

语法编码部16通过对从量化部15输入的量化数据进行无损编码处理来产生编码流。通过语法编码部16的无损编码例如可以是可变长度代码化（variable length coding）或者算术代码化。此外，语法编码部16设置或获取在图像解码期间所参考的各种参数，并将这些参数插入编码流的头区域。在H.264/AVC中，将用于图像编码和解码的参数在称为序列参数集（SPS）和图片参数集（PPS）的两种类型的参数集内传输。除了SPS和PPS之外，HEVC还引入自适应参数集（APS），主要用于传输针对每个图片适应性设置的参数。通过语法编码部16产生的编码流被映射到称为网络抽象层（NAL）单元的单元中的比特流。SPS、PPS和APS被映射到非VCL NAL单元。另一方面，每个片的量化数据被映射到视频代码化层（VCL）NAL单元。每个片包括片头，并且在片头内有用于将该片解码的参考参数。语法编码部16将通过这种方式产生的编码流输出到累积缓存17。下面进一步描述语法编码部16的详细配置。

累积缓存17临时缓存从语法编码部16输入的编码流。然后累积缓存17以根据传输信道带宽的速度，将缓存的编码流输出到未示出的传输部（例如与外设的通信接口或连接接口）。

速率控制部18监测累积缓存17的自由空间。然后，速率控制部18根据累积缓存17中的自由空间产生速率控制信号，并将产生的速率控制信号输出到量化部15。例如，当累积缓存17中没有很多自由空间时，速率控制部18产生用于降低量化数据的比特率的速率控制信号。此外，当累积缓存17中有足够自由空间时，例如，速率控制部18产生用于提高量化数据的比特率的速率控制信号。

反量化部21对于从量化部15输入的量化数据进行反量化处理。然后反量化部21将通过反量化处理获取的变换系数数据输出到反正交变换部22。

反正交变换部22通过对从反量化部21输入的变换系数进行反正交变换，来恢复预测误差数据。然后反正交变换部22将恢复的预测误差数据输出到加法部23。

加法部23将从反正交变换部22输入的恢复的预测误差数据与从帧内预测部30或运动估计部40输入的预测图像数据相加，从而产生解码图像数据。然后，加法部23将产生的解码图像数据输出到去块滤波器24或帧存储器27。

去块滤波器24进行滤波，以减少图像编码时产生的块效应。去块滤波器24通过过滤从加法部23输入的解码图像数据来去除块效应，并将过滤的解码图像数据输出到自适应偏移部25。

自适应偏移部25通过将适应性确定的偏移值加入DF解码后的图像，改善解码图像的图像质量。在通常的样本自适应偏移（SAO）处理中，9种图案可用作偏移值设置图案（下面称为偏移图案）：两种波段偏移，六种边缘偏移，以及无偏移。可根据图像内容来切换这些偏移图案和偏移值。这些SAO相关参数通过上述语法编码部16插入编码流的头区域中。自适应偏移部25将解码图像数据输出到自适应环路滤波器26，解码图像数据具有作为自适应偏移处理结果的偏移像素值。

自适应环路滤波器26通过过滤SAO解码后的图像，将解码图像与原始图像之间的误差最小化。通常，用Wiener滤波器来实现自适应环路滤波器。在自适应环路滤波器26的自适应环路滤波器（ALF）处理中使用的Wiener滤波器的滤波器系数可以根据图像内容来切换。包括滤波器系数和用于打开/关闭滤波器的标志的ALF相关参数通过上述语法编码部16插入编码流的头区域。自适应环路滤波器26将解码图像数据输出到帧存储器27，作为自适应环路滤波器处理的结果，解码图像数据与原始图像的差异被最小化。

帧存储器27利用存储介质存储从加法部23输入的解码图像数据以及从自适应环路滤波器26输入的ALF解码后的图像数据。

选择器28从帧存储器27检索要用于帧间预测的ALF解码后的图像数据，并将检索的解码图像数据提供给运动估计部40，作为参考图像数据。此外，选择器28从帧存储器27检索要用于帧内预测的DF解码前的图像数据，并将检索的解码图像数据提供给帧内预测部30，作为参考图像数据。

在帧间预测模式中，选择器29将运动估计部40输出的作为帧间预测结果的预测图像数据输出到减法部13，并且还将与帧间预测有关的信息输出到语法编码部16。此外，在帧内预测模式中，选择器29将帧内预测部30输出的作为帧内预测结果的预测图像数据输出到减法部13，并且还将与帧内预测有关的信息输出到语法编码部16。选择器29根据从帧内预测部30和运动估计部40输出的成本函数值的大小，在帧间预测模式与帧内预测模式之间切换。

帧内预测部30基于从重新排序缓存12输入的要编码的图像数据（原始图像数据）以及从帧存储器27提供的用作参考图像数据的解码图像数据，对图像中的每个块集合进行帧内预测处理。然后帧内预测部30将与帧内预测有关的信息（包括指示最佳预测模式的预测模式信息）以及成本函数值和预测图像数据输出到选择器29。

运动估计部40基于从重新排序缓存12输入的原始图像数据以及经由选择器28提供的解码图像数据，对帧间预测（帧间的预测）进行运动估计处理。然后运动估计部40将与帧间预测有关的信息（包括运动矢量信息和参考图像信息）以及成本函数值和预测图像数据输出到选择器29。

[1-2.参数集结构的概述]

在通过上述图像编码装置10处理的参数中，ALF相关参数、SAO相关参数和QM相关参数具有可以针对每个图片适应性地更新的值，并且具有数据尺寸较大的特性。因此，连同其他参数一起将这些参数更适当地存储在APS而不是存储在PPS中。但是，可以想到若干技术作为将这些参数存储在APS中的技术。

（1）第一技术

第一技术是将所有目标参数列在一个APS内，并且利用APS ID参考每个参数的技术，APS ID是唯一识别APS的标识符。图2示出根据第一技术构造的编码流的示例。

参照图2，将SPS801、PPS802和APS803插入位于序列开头的图片P0起始端。PPS802通过PPS ID“P0”识别。APS803通过APS ID“A0”识别。APS803包括ALF相关参数、SAO相关参数和QM相关参数。附加给图片P0内的片数据的片头804包括参考PPS ID“P0”，这表示为了将该片数据解码而参考PPS802内的参数。类似地，片头804包括参考APS ID“A0”，这表示为了将该片数据解码而参考APS803内的参数。

APS805被插入图片P0后面的图片P1。APS805通过APS ID“A1”识别。APS805包括ALF相关参数、SAO相关参数和QM相关参数。APS805中包括的ALF相关参数和SAO相关参数已经根据APS803更新，但是QM相关参数尚未更新。附加给图片P1内的片数据的片头806包括参考APS ID“A1”，并且这表示为了将该片数据解码而参考APS805内的参数。

APS807被插入图片P1后面的图片P2。APS807通过APS ID“A2”识别。APS807包括ALF相关参数、SAO相关参数和QM相关参数。APS807中包括的ALF相关参数和QM相关参数已经根据APS805更新，但是SAO相关参数尚未更新。附加给图片P2内的片数据的片头808包括参考APS ID“A2”，并且这表示为了将该片数据解码而参考APS807内的参数。

图3示出根据第一技术定义的APS语法的示例。在图3的第2行，指定唯一识别该APS的APS ID。在第13行至第17行指定ALF相关参数。在第18行至第23行指定SAO相关参数。在第24行至第28行指定QM相关参数。第24行的“aps_qmatrix_flag”是指示该APS内是否设置了QM相关参数的出现标记。在第24行的出现标记指示该APS内设置了QM相关参数的情况下（aps_qmatrix_flag=1），可使用函数qmatrix_param()来设置该APS内的量化矩阵参数。注意，因为本领域技术人员已经理解函数qmatrix_param()的具体内容，所以这里减少或省略其描述。

图4是示出根据第一技术定义的片头语法的示例的示意图。在图4的第5行，指定参考PPS ID，用于从为该片设置的参数中，参考PPS中包括的参数。在第8行，指定参考APS ID，用于从为该片设置的参数中，参考APS中包括的参数。

根据第一技术，可以利用单个APS ID来参考APS中包括的所有参数，无关于参数的种类。因此，用于将参数编码和解码的逻辑被极大地简化，并且装置实施变得容易。此外，变得可以利用出现标志，从APS中潜在包括的关于各种代码化工具的参数中，仅仅部分地更新量化矩阵参数，或者，仅仅部分地不更新量化矩阵参数。换言之，因为可以仅在更新量化矩阵变得必要时将量化矩阵参数包括在APS中，所以可以在APS内有效地传输量化矩阵参数。

(2)第一技术的示例性修改

为了进一步减少APS内量化矩阵参数的比特率，也可以实施根据下述示例性修改的技术。

图5示出根据第一技术的示例性修改定义的APS语法的示例。在图5所示语法中，在第24行至第31行指定QM相关参数。第24行的“aps_qmatrix_flag”是指示是否在该APS内设置QM相关参数的出现标志。第25行的“ref_aps_id_present_flag”是指示是否将过去的参考ID用作该APS中的QM相关参数的过去参考ID出现标志。在过去参考ID出现标志指示要使用过去参考ID的情况下（ref_aps_id_present_flag=1），在第27行设置过去参考ID“ref_aps_id”。过去参考ID是用于参考在当前APS之前编码或解码的APS的APS ID的标识符。在使用过去参考ID的情况下，在参考源（后者）APS内不设置量化矩阵参数。在这种情况下，可以重复使用基于过去参考ID指示的参考目标APS中的量化矩阵参数设置的量化矩阵，作为与参考源APS相对应的量化矩阵。注意，可以禁止对参考源APS的APS ID进行参考（称为自参考）的过去参考ID。作为代替，可将默认量化矩阵设置为与自参考APS相对应的量化矩阵。在不使用过去参考ID的情况下（ref_aps_id_present_flag=0），可以使用第31行的函数“qmatrix_param()”来设置该APS内的量化矩阵参数。

以这种方式，通过利用过去参考ID来重复使用已经编码或解码的量化矩阵，避免了在APS内重复设置相同的量化矩阵参数。因此，可以降低APS内量化矩阵参数的比率。注意，虽然图5示出其中为了参考过去APS而使用APS ID的示例，但是参考过去APS的方式不限于这样的示例。例如，为了参考过去APS，也可以利用其他参数，例如参考源APS与参考目标APS之间APS的数量。此外，在不利用过去参考ID出现标志的情况下，可以根据过去参考ID是否指示给定值（例如负一）来切换对过去APS的参考以及对新量化矩阵参数的设置。

(3)第二技术

第二技术是对于每种类型的参数，将参数存储在不同APS（不同的NAL单元）中，并利用唯一识别每个APS的APS ID来参考每个参数的技术。图6示出根据第二示例配置的编码流的示例。

参照图6，将SPS811、PPS812、APS813a、APS813b以及APS813c插入位于序列开头的图片P0起始端。PPS812通过PPS ID“P0”识别。APS813a是用于ALF相关参数的APS且通过APS ID“A00”识别。APS813b是用于SAO相关参数的APS且通过APS ID“A10”识别。APS813c是用于QM相关参数的APS且通过APS ID“A20”识别。附加给图片P0内的片数据的片头814包括参考PPS ID“P0”，这表示为了将该片数据解码而参考PPS812内的参数。类似地，片头814包括参考APS_ALF ID“A00”、参考APS_SAO ID“A10”以及APS_QM ID“A20”，这些表示为了将该片数据解码而参考APS813a、813b和813c内的参数。

APS815a和APS815b被插入图片P0后面的图片P1。APS815a是用于ALF相关参数的APS，且通过APS ID“A01”识别。APS815b是用于SAO相关参数的APS，且通过APS ID“A11”识别。因为QM相关参数没有从图片P0更新，所以不插入用于QM相关参数的APS。附加给图片P1内的片数据的片头816包括参考APS_ALF ID“A01”、参考APS_SAO ID“A11”以及参考APS_QM ID“A20”。这些表示为了将该片数据解码而参考APS815a、815b和813c内的参数。

APS817a和APS817c被插入图片P1后面的图片P2。APS817a是用于ALF相关参数的APS，且通过APS ID“A02”识别。APS817c是用于QM相关参数的APS，且通过APS ID“A21”识别。因为SAO相关参数没有从图片P1更新，所以不插入用于SAO相关参数的APS。附加给图片P2内的片数据的片头818包括参考APS_ALF ID“A02”、参考APS_SAO ID“A11”以及参考APS_QM ID“A21”。这些表示为了将该片数据解码而参考APS817a、815b和817c内的参数。

图7A示出根据第二技术定义的ALF APS的语法的示例。在图7A的第2行，指定用于唯一识别该APS的APS_ALF ID。在第11行到第15行指定ALF相关参数。图7B示出根据第二技术定义的SAO APS的语法的示例。在图7B的第2行，指定用于唯一识别该APS的APS_SAO ID。在第11行到第16行指定SAO相关参数。图7C示出根据第二技术定义的QM APS的语法的示例。在图7C的第2行，指定用于唯一识别该APS的APS_QM ID。在第4行到第8行指定QM相关参数。

图8是示出根据第二技术定义的片头语法的示例的示意图。在图8的第5行，从要为该片设置的参数中指定用于参考PPS中包括的参数的参考PPS ID。在第8行，从要为该片设置的参数中指定用于参考ALF APS中包括的参数的参考APS_ALF ID。在第9行，从要为该片设置的参数中指定用于参考SAO APS中包括的参数的参考APS_SAO ID。在第10行，从要为该片设置的参数中指定用于参考QM APS中包括的参数的参考APS_QM ID。

根据第二技术，将不同的APS用于每个种类的参数。同样，在这种情况下，对于不要求更新的参数，不进行冗余参数的传输。因此，可将代码化效率最优化。但是，通过第二技术，当要合并到APS中的参数的种类增加时，NAL单元类型（nal_unit_type）的种类有增加，NAL单元类型是用于识别APS种类的标识符。在HEVC的标准规范中，为了扩展而保留的NAL单元类型（nal_unit_type）的数量有限。因此，为APS扩展了很多NAL单元类型的第二技术可以对规范的未来扩展的灵活性作出让步。

（4）第三技术

第三技术是按照独立于APS ID定义的标识符将APS中要包括的参数分组的技术，其包括属于单个APS中一个或多个组的参数。在此说明书中，分配给每个组且独立于APS ID定义的标识符被称为子标识符（SUBID）。此外，通过子标识符识别的组称为参数组。在片头中利用子标识符来参考每个参数。图9示出根据第三技术构造编码流的示例。

参照图9，将SPS821、PPS822以及APS823插入位于序列开头的图片P0起始端。PPS822通过PPS ID“P0”识别。APS823包括ALF相关参数、SAO相关参数和QM相关参数。ALF相关参数属于一个组，并通过SUB_ALF ID“AA0”来识别，SUB_ALF ID“AA0”是用于ALF的子标识符。SAO相关参数属于一个组，并通过SUB_SAO ID“AS0”来识别，SUB_SAO ID“AS0”是用于SAO的子标识符。QM相关参数属于一个组，并通过SUB_QM ID“AQ0”来识别，SUB_QM ID“AQ0”是用于QM的子标识符。附加给图片P0内的片数据的片头824包括参考SUB_ALF ID“AA0”、参考SUB_SAO ID“AS0”和参考SUB_QM ID“AQ0”。这些表示为了将该片数据解码而参考属于SUB_ALF ID“AA0”的ALF相关参数、属于SUB_SAO ID“AS0”的SAO相关参数以及属于SUB_QM ID“AQ0”的QM相关参数。

APS825被插入图片P0后面的图片P1。APS825包括ALF相关参数和SAO相关参数。ALF相关参数通过SUB_ALF ID“AA1”识别。SAO相关参数通过SUB_SAO ID“AS1”识别。因为没有从图片P0更新QM相关参数，所以APS825中不包括QM相关参数。附加给图片P1内的片数据的片头826包括参考SUB_ALF ID“AA1”、参考SUB_SAO ID“AS1”和参考SUB_QM ID“AQ0”。这些表示为了将该片数据解码而参考APS825内属于SUB_ALF ID“AA1”的ALF相关参数、属于SUB_SAO ID“AS1”的SAO相关参数以及APS823内属于SUB_QM ID“AQ0”的QM相关参数。

APS827被插入图片P1后面的图片P2。APS827包括ALF相关参数和QM相关参数。ALF相关参数通过SUB_ALF ID“AA2”识别。QM相关参数通过SUB_QM ID“AQ1”识别。因为没有从图片P1更新SAO相关参数，所以APS827中不包括SAO相关参数。附加给图片P2内的片数据的片头828包括参考SUB_ALF ID“AA2”、参考SUB_SAO ID“AS1”和参考SUB_QM ID“AQ1”。这些表示为了将该片数据解码而参考APS827内属于SUB_ALF ID“AA2”的ALF相关参数、属于SUB_QMID“AQ1”的QM相关参数以及APS825内属于SUB_SAO ID“AS1”的SAO相关参数。

图10示出根据第三技术定义的APS的示例。在图3的第2行至第4行，指定三个组出现标志“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”和“aps_qmatrix_flag”。组出现标志指示该APS中是否包括属于各个组的参数。虽然在图10的示例中从语法中省略APS ID，但是在语法中也可以加入用于识别该APS的APS ID。第12行至第17行指定ALF相关参数。第13行的“sub_alf_id”是用于ALF的子标识符。第18行至第24行指定SAO相关参数。第19行的“sub_sao_id”是用于SAO的子标识符。第25行至第30行指定QM相关参数。第26行的“sub_qmatrix_id”是用于QM的子标识符。

图11是示出根据第三技术定义的片头语法的示例的示意图。在图11的第5行，从要为该片设置的参数中指定用于参考PPS中包括的参数的参考PPS ID。在第8行，从要为该片设置的参数中指定用于参考ALF相关参数的参考SUB_ALF ID。在第9行，从要为该片设置的参数中指定用于参考SAO相关参数的参考SUB_SAO ID。在第10行，从要为该片设置的参数中指定用于参考QM相关参数的参考SUB_QM ID。

根据第三技术，利用子标识符在APS内将参数分组，并且对于参数组中不要求更新的参数，不进行冗余参数的传输。因此，可将代码化效率最优化。此外，因为即使参数的种类增加，APS的种类也不增加，所以大量的NAL单元类型不像上述第二技术那样扩展。因此，第三技术不对未来扩展的灵活性作出让步。

（5）将参数分组的标准

在图9至图11的示例中，根据关于ALF、SAO和QM的代码化工具将APS中包括的参数分组。但是，这仅仅是将参数分组的一个示例。APS也可包括关于其他代码化工具的参数。例如，诸如用于自适应插值滤波器（AIF）的滤波器系数这样的ALF相关参数就是可以合并于APS中的参数的一个示例。下面，参照图12讨论用于将合并于APS的参数分组的各种标准。

图12所示表格列出“参数内容”、“更新频率”和“数据大小”作为通常代码化工具中各个参数的特征。

自适应环路滤波器（ALF）是通过二维方式以适应性确定的滤波器系数过滤解码图像，从而将解码图像与原始图像之间的误差最小化的滤波器（通常是Wiener滤波器）。ALF相关参数包括要应用于每个块的滤波器系数以及用于每个代码化单元（CU）的开/关标志。ALF滤波器系数的数据大小与其他参数种类相比是极大的。因此，对于高速I图片，一般传输ALF相关参数，而对于低速B图片，可以省略ALF相关参数的传输。这是因为从增益的观点而言，对于低速图片传输具有大数据大小的ALF相关参数是无效的。大多数情况下，ALF滤波器系数随每个图片而改变。因为滤波器系数取决于图像内容，所以能够重复使用之前设置的滤波器系数的可能性低。

样本自适应偏移（SAO）是通过将适应性确定的偏移值加入解码图像中的每个像素值来提高解码图像的图像质量的工具。SAO相关参数包括偏移图案和偏移值。SAO相关参数的数据大小没有ALF相关参数那么大。作为一般规则，SAO相关参数同样随每个图片而改变。但是，因为SAO相关参数具有即使图像内容轻微改变时也不改变很多的特性，所以有能够重复使用之前设置的参数的可能性。

量化矩阵（QM）是一种其元素为通过正交变换将从图像数据变换的变换系数进行量化时使用的量化尺度的矩阵。QM相关参数是通过将量化矩阵线性化和预测性编码而产生的参数。QM相关参数的数据尺寸大于SAO相关参数。作为一般规则，所有图片都需要量化矩阵，但是如果图像内容不显著改变，就不一定要求对每个图片更新。因此，对于相同的图片类型（例如I/P/B图片）或者对于每个GOP，可以重复使用量化矩阵。

自适应插值滤波器（AIF）是对于每个子像素位置，适应性改变运动补偿期间使用的插值滤波器的滤波器系数的工具。AIF相关参数包括用于各个子像素位置的滤波器系数。AIF相关参数的数据大小相比上述三种参数更小。作为一般规则，AIF相关参数随每个图片而改变。但是，因为相同的图片类型趋于具有相似的插值特性，所以对于相同的图片类型（例如I/P/B图片），可以重复使用AIF相关参数。

基于上述参数特点，为了将APS中包括的参数分组，例如可采用以下三种标准：

标准A）根据代码化工具分组

标准B）根据更新频率分组

标准C）根据重复使用参数的可能性分组

标准A是根据参数的相关代码化工具将它们分组的标准。图9至图11中通过示例所示的参数集结构基于标准A。因为一般根据参数的相关代码化工具来确定它们的特性，所以通过代码化工具将参数分组使得可以根据参数的各种特性来进行适时和有效的参数更新。

标准B是根据参数的更新频率将它们分组的标准。如图12所示，作为一般规则，ALF相关参数、SAO相关参数和AIF相关参数都可以逐个图片更新。因此，例如可将这些参数分组到单个参数组，而将QM相关参数分组到另一个参数组。在这种情况下，与标准A相比，参数组更少。结果，在片头中要指定的子标识符也更少，并且可以减少片头比率。同时，因为属于相同参数组的参数的更新频率相似，所以将为了更新其他参数而冗余传输未更新参数的可能性保持为低。

标准C是根据重复使用参数的可能性将参数分组的标准。虽然不可能重复使用ALF相关参数，但是有可能重复使用SAO相关参数和AIF相关参数。对于QM相关参数，很可能相对多个图片重复使用参数。因此，根据通过这种方式重复使用的可能性将参数分组，可以避免APS内重复使用的参数的冗余传输。

（5）第三技术的示例性修改

通过上述第三技术，在APS内将参数分组到参数组的数量导致片头中指定的参考SUB ID的相同数量，如图11中示例所示。参考SUB ID要求的比率近似与片头数量和参数组数量的乘积成比例。为了进一步减少这种比率，也可以实施根据下述示例性修改的技术。

在第三技术的示例性修改中，在APS或其他参数集内定义与子标识符的组合相关联的组合ID。然后可以经由组合ID，从片头参考APS内包括的参数。图13示出根据第三技术的这种示例性修改配置的编码流的示例。

参照图13，将SPS831、PPS832以及APS833插入位于序列开头的图片P0起始端。PPS832通过PPS ID“P0”识别。APS833包括ALF相关参数、SAO相关参数和QM相关参数。ALF相关参数通过SUB_ALFID“AA0”识别。SAO相关参数通过SUB_SAO ID“AS0”识别。QM相关参数通过SUB_QM ID“AQ0”识别。此外，APS833包括组合ID“C00”={AA0,AS0,AQ0}，作为组合的定义。附加诶诶图片P0中的片数据的片头834包括组合ID“C00”。这表示为了将该片数据解码，参考分别与组合ID“C00”相关联的属于SUB_ALF ID“AA0”的ALF相关参数、属于SUB_SAO ID“AS0”的SAO相关参数以及属于SUB_QM ID“AQ0”的QM相关参数。

APS835被插入图片P0后面的图片P1。APS835包括ALF相关参数和SAO相关参数。ALF相关参数通过SUB_ALF ID“AA1”识别。SAO相关参数通过SUB_SAO ID“AS1”识别。因为没有从图片P0更新QM相关参数，所以APS835中不包括QM相关参数。此外，APS835包括组合ID“C01”={AA1,AS0,AQ0}、组合ID“C02”={AA0,AS1,AQ0}以及组合ID“C03”={AA1,AS1,AQ0}，作为组合的定义。附加给图片P1中的片数据的片头836包括组合ID“C03”。这表示为了将该片数据解码，参考分别与组合ID“C03”相关联的属于SUB_ALF ID“AA1”的ALF相关参数、属于SUB_SAO ID“AS1”的SAO相关参数以及属于SUB_QM ID“AQ0”的QM相关参数。

APS837被插入图片P1后面的图片P2。APS837包括ALF相关参数。ALF相关参数通过SUB_ALF ID“AA2”识别。因为没有从图片P1更新SAO相关参数和QM相关参数，所以APS837中不包括SAO相关参数和QM相关参数。此外，APS837包括组合ID“C04”={AA2,AS0,AQ0}以及组合ID“C05”={AA2,AS1,AQ0}，作为组合的定义。附加给图片P2中的片数据的片头838包括组合ID“C05”。这表示为了将该片数据解码，参考分别与组合ID“C05”相关联的属于SUB_ALF ID“AA2”的ALF相关参数、属于SUB_SAO ID“AS1”的SAO相关参数以及属于SUB_QM ID“AQ0”的QM相关参数。

注意，在本示例性修改中，可以不对子标识符的所有组合都定义组合ID，因此仅对片头中实际参考的子标识符的组合定义组合ID。此外，在不同于存储对应参数的APS的APS内也可以定义子标识符的组合。

以这种方式，通过利用与APS内的参考参数的子标识符的组合相关联的组合ID，可以减少从片头参考每个参数所需的比率。

[1-3.语法编码部的示例性配置]

图14是示出图1所示语法编码部16的详细配置的示例的方框图。参照图14，语法编码部16包括编码控制部110、参数获取部115以及编码部120。

（1）编码控制部

编码控制部110控制通过语法编码部16进行的编码处理。例如，编码控制部110认出图像流内诸如序列、图片、片和CU这样的处理单位，并根据参数的种类，将通过参数获取部115获取的参数插入头区域，诸如SPS、PPS、APS或片头。例如，在其中参考这些参数的片之前插入的APS内，通过编码部120将ALF相关参数、SAO相关参数和QM相关参数编码。此外，编码控制部110还可以使得编码部120在其中一个参数集内将通过图13中的示例所示的组合ID编码。

（2）参数获取部

参数获取部115设置或者获取要插入流的头区域的各种参数。例如，参数获取部115从量化部15获取表达量化矩阵的QM相关参数。此外，参数获取部115从自适应偏移部25获取SAO相关参数，从自适应环路滤波器26获取ALF相关参数。然后参数获取部115将获取的参数输出到编码部120。

（3）编码部

编码部120将从量化部15输入的量化数据以及从参数获取部115输入的参数编码，并产生编码流。在本实施例中，通过编码部120产生的编码流包括三种类型的参数集：SPS、PPS和APS。APS可包括主要为了每个图片适应性设置的ALF相关参数、SAO相关参数和QM相关参数（以及诸如AIF相关参数的其他参数）。编码部120可以根据上述第一至第三技术的任一个将这些参数编码。例如，编码部120可通过各个SUB ID（是不同于APS ID的子标识符）将这些参数分组，以形成参数组，并对于APS内的每个参数组将参数编码。在这种情况下，如同图10中的示例所示，编码部120分别为ALF相关参数设置SUB_ALF ID、为SAO相关相关参数设置SUB_SAO ID、为QM相关参数设置SUB_QM ID，作为子标识符。然后编码部120在共享APS内将这些参数编码。此外，编码部120可以在其中一个参数集内将通过图13中的示例所示的组合ID编码。

此外，将片头加入通过编码部120产生的编码流中的每个片。在片头中，编码部120将参考要为该片设置的参数时使用的参考参数编码。参考参数可以是通过图11中的示例所示的参考SUB_ALF ID，参考SUB_SAOID和参考SUB_QM ID，或者通过图13中的示例所示的参考组合ID。

通过编码部120对参数的编码例如可根据可变长度代码化（VLC）方案或者基于上下文的自适应二进制算术代码化（CABAC）方案来进行。通过编码部120产生的编码流被输出到累积缓存17。

<2.根据实施例在编码期间的处理流程>

下面将利用图15至图17来描述根据本实施例的图像编码装置10的语法编码部16的编码处理的流程。

[2-1.处理的概述]

图15是示出根据本实施例的语法编码部16的编码处理的示例性流程的流程图。

参照图15，首先，编码控制部110认出一个图片（步骤S100），并确定该图片是否为序列开头的图片（步骤S102）。此时，对于图片是序列开头的图片的情况，将SPS插入编码流，并且在SPS内，编码部120将参数编码（步骤S104）。

接着，编码控制部110确定是否出现了序列的开头或PPS内的参数更新（步骤S106）。此时，对于出现了序列的开头或PPS内的参数更新的情况，将PPS插入编码流，并且在PPS内，编码部120将参数编码（步骤S108）。

接着，编码控制部110确定是否出现了序列的开头或APS内的参数更新（步骤S110）。此时，对于出现了序列的开头或APS内的参数更新的情况，将APS插入编码流，并且在APS内，编码部120将参数编码（步骤S112）。

接着，对于图片中的所有片（步骤S118），编码部120重复片头编码（步骤S114）和片数据编码（步骤S116）。随后，当对于图片中的所有片完成片头和片片数据编码时，处理进行到步骤S120。然后，对于存在后续图片的情况，处理返回步骤S100（步骤S120）。另一方面，对于不存在后续图片的情况，图15所示的编码处理结束。

[2-2.APS编码处理]

图16是示出与图15的步骤S112相对应的APS编码处理的详细流程的示例的流程图。注意，这里为了描述清楚起见，仅示出与参数的分组相关的主要处理步骤。

参照图16，首先，编码部120将APS内的每组出现标志编码（步骤S130）。每组出现标志例如对应于图3所示的“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”和“aps_qmatrix_flag”，并且可以对于将参数分组到其中的每个组进行编码。

接着，编码控制部110确定是否利用CABAC方案将参数编码（步骤S132）。随后，对于使用CABAC方案的情况，编码部120将CABAC相关参数编码（步骤S134）。

接着，编码控制部110确定是否要更新通过参数获取部115获取的ALF相关参数（步骤S136）。随后，对于要更新ALF相关参数的情况，编码部120将新的SUB-ALF ID分配给ALF相关参数（步骤S138），并将ALF相关参数编码（步骤S140）。

接着，编码控制部110确定是否要更新通过参数获取部115获取的SAO相关参数（步骤S142）。随后，对于要更新SAO相关参数的情况，编码部120将新的SUB-SAO ID分配给SAO相关参数（步骤S144），并将SAO相关参数编码（步骤S146）。

接着，编码控制部110确定是否要更新通过参数获取部115获取的QM相关参数（步骤S148）。随后，对于要更新QM相关参数的情况，编码部120将新的SUB-QM ID分配给QM相关参数（步骤S150），并将QM相关参数编码（步骤S152）。

虽然在图16中未示出，但是在APS内，编码部120可以附加地将用于关于子标识符与组合ID的组合相关的组合定义的参数编码。

[2-3.片头编码处理]

图17是示出与图15的步骤S114相对应的片头编码处理的详细流程的示例的流程图。注意，这里为了描述清楚起见，仅示出与分组参数的参考相关的主要处理步骤。

参照图17，首先，编码控制部110确定是否使能ALF作为代码化工具（步骤S160）。是否使能代码化工具的问题例如可以根据对于每个代码化工具在SPS内指定的使能标志（例如用于ALF的“adaptive_loop_filter_enabled_flag”）的值来确定。对于使能ALF的情况，编码部120识别分配给要为了该片而参考的ALF相关参数的SUB_ALF ID（步骤S162）。随后，在片头内，编码部120将识别的SUB_ALF ID编码为参考SUB_ALF ID（步骤S164）。

接着，编码控制部110确定是否使能SAO作为代码化工具（步骤S166）。对于启使能SAO的情况，编码部120识别分配给要参考的SAO相关参数的SUB_SAO ID（步骤S168）。随后，在片头内，编码部120将识别的SUB_SAO ID编码为参考SUB_SAO ID（步骤S170）。

接着，编码控制部110确定是否使能量化矩阵指定作为代码化工具（步骤S172）。对于使能量化矩阵指定的情况，编码部120识别分配给要参考的QM相关参数的SUB_QM ID（步骤S174）。随后，在片头内，编码部120将识别的SUB_QM ID编码为参考SUB_QM ID（步骤S176）。

<3.根据实施例的图像解码装置的示例性配置>

本部分描述根据通过上述图像编码装置10编码的编码流将图像解码的图像解码装置60的配置的示例。

[3-1.示例性总体配置]

图18是示出根据本实施例的图像解码装置60的示例性配置的方框图。参照图18，图像解码装置60配备有累积缓存61、语法解码部62、反量化部63、反正交变换部64、加法部65、去块滤波器（DF）66、自适应偏移部（SAO）67、自适应环路滤波器（ALF）68、重新排序缓存69、数模（D/A）转换部70、帧存储器71、选择器72和73、帧内预测部80以及运动补偿部90。

累积缓存61临时缓存经由传输通道输入的编码流。

语法解码部62根据编码时使用的代码化方案，将从累积缓存61输入的编码流解码。通过语法解码部62将编码流中包括的量化数据解码，并输出到反量化部63。此外，语法解码部62将多路复用到编码流的头区域的各种参数解码。此时解码的参数例如可包括上述ALF相关参数、SAO相关参数和QM相关参数。在解码图像中的每个片时，参考通过语法解码部62解码的参数。语法解码部62的详细配置将在稍后进一步描述。

反量化部63将来自语法解码部62的、解码的量化数据进行反量化。在本实施例中，利用通过语法解码部62解码的QM相关参数进行反量化部63的反量化处理。例如，反量化部63将通过从QM相关参数重构的量化矩阵的元素所指示的量化步骤的量化数据中包括的变换系数反量化，并将反量化的变换系数数据输出到反正交变换部64。

反正交变换部64根据编码时使用的正交变换方案，通过对从反量化部63输入的变换系数数据进行反正交变换，产生预测误差数据。然后，反正交变换部64将产生的预测误差数据输出到加法部65。

加法部65将从反正交变换部64输入的预测误差数据以及从选择器73输入的预测图像数据相加，从而产生解码图像数据。然后，加法部65将产生的解码图像数据输出到去块滤波器66和帧存储器71。

去块滤波器66通过过滤从加法部65输入的解码图像数据，去除块效应，并将过滤的解码图像数据输出到自适应偏移部67。

自适应偏移部67通过将适应性确定的偏移值加到DF解码后的图像中的每个像素值，提高解码图像的图像质量。在本实施例中，利用通过语法解码部62解码的SAO相关参数进行通过自适应偏移部67的自适应偏移处理。自适应偏移部67例如根据通过SAO相关参数指示的偏移图案来偏移每个像素值。自适应偏移部67将具有作为自适应偏移处理结果的偏移像素值的解码图像数据输出到自适应环路滤波器68。

自适应环路滤波器68通过过滤SAO解码后的图像，将解码图像与原始图像之间的误差最小化。在本实施例中，利用通过语法解码部62解码的ALF相关参数来进行自适应环路滤波器68的自适应环路滤波器处理。自适应环路滤波器68例如将具有通过ALF相关参数指示的滤波器系数的Wiener滤波器应用于解码图像的每个块。自适应环路滤波器68将作为自适应环路滤波器的结果过滤的解码图像数据输出到重新排序缓存69和帧存储器71。

重新排序缓存69通过将从自适应环路滤波器68输入的图像重新排序，产生按时间顺序的一系列图像数据。然后重新排序缓存69将产生的图像数据输出到D/A转换部70。

D/A转换部70将从重新排序缓存69输入的数字格式的图像数据转换为模拟格式的图像信号。随后，D/A转换部70例如通过将模拟图像信号输出到与图像解码装置60相连接的显示器（未示出），使得显示图像。

帧存储器71利用存储介质来存储从加法部65输入的DF解码前的图像数据，以及从自适应环路滤波器68输入的ALF解码后的图像数据。

选择器72根据通过语法解码部62获取的模式信息，对于图像中的每个块，在帧内预测部80与运动补偿部90之间切换来自帧存储器71的图像数据的输出目的地。例如，对于指定帧内预测模式的情况，选择器72将帧存储器71提供的DF解码前的图像数据输出到帧内预测部80，作为参考图像数据。此外，对于指定帧间预测模式的情况，选择器72将帧存储器71提供的ALF解码后的图像数据输出到运动补偿部90，作为参考图像数据。

选择器73根据通过语法解码部62获取的模式信息，在帧内预测部80与运动补偿部90之间切换要提供给加法部65的预测图像数据的输出源。例如，对于指定帧内预测模式的情况，选择器73将从帧内预测部80输出的预测图像数据提供给加法部65。此外，对于指定帧间预测模式的情况，选择器73将从运动补偿部90输出的预测图像数据提供给加法部65。

帧内预测部80基于从语法解码部62输入的与帧内预测有关的信息以及来自帧存储器71的参考图像数据，进行帧内预测处理，并产生预测图像数据。然后帧内预测部80将产生的预测图像数据输出到选择器73。

运动补偿部90基于从语法解码部62输入的与帧间预测有关的信息以及来自帧存储器71的参考图像数据，进行运动补偿处理，并产生预测图像数据。然后运动补偿部90将产生的预测图像数据作为运动补偿的结果输出到选择器73。

[3-2.语法解码部的示例性配置]

图19是示出图18所示语法解码部62的详细配置的示例的方框图。参照图19，语法解码62包括解码控制部160、解码部165和设置部170。

（1）解码控制部

解码控制部160控制通过语法解码部62进行的解码处理。例如，解码控制部160基于每个NAL单元的NAL单元类型，认出编码流中包括的SPS、PPS、APS以及片。随后，解码控制部160使得解码部165将SPS、PPS和APS中包括的参数以及每个片的片头中包括的参数解码。此外，解码控制部160使得解码部165将每个片的片数据解码。

（2）解码部

在解码控制部160的控制下，解码部165将编码流中包括的参数和数据解码。例如，解码部165将诸如SPS、PPS和APS这样的参数集解码。解码部165可以根据上述第一至第三技术的任何一种技术将这些参数解码。例如，APS可包括逐个SUB ID分组的参数，其为独立于APS ID定义的子标识符。为了给出一个示例，APS中包括的参数可包括ALF相关参数、SAO相关参数、QM相关参数以及AIF相关参数的一种或多种。这些参数根据上述的标准A、标准B和标准C或者其他标准的任何一种在APS内分组。解码部165将这些解码参数与子标识符相关联地输出到设置部170。此外，对于在APS或其他参数集内将与多个子标识符的组合相关联的组合ID编码的情况，解码部165将该组合ID解码，并将解码的组合ID输出到设置部170。

此外，解码部165将片头解码。片头包括为了参考已经解码的APS内的参考参数而使用的参考参数。参考参数例如可以是指定为了将APS内的参数分组而使用的子标识符（SUB ID）的参考SUB ID。另外，参考参数可以是用于指定与多个子标识符的组合相关联的组合ID的参考组合ID。在将这些来自片头的参考参数解码时，解码部165将解码的参考参数输出到设置部170。

此外，解码部165将来自片数据的每个片的量化数据解码，并将解码的量化数据输出到反量化部63。

（3）设置部

设置部170设置图像中的每个片中通过解码部165解码的参数。在本实施例中，通过设置部170设置的参数可包括ALF相关参数、SAO相关参数、QM相关参数以及AIF相关参数的一种或多种。对于从个别片头解码的参考参数是参考SUB ID的情况，例如，设置部170可以利用与该参考SUB ID匹配的SUB ID来设置该片中要参考的参数。此外，对于从个别片头解码的参考参数是参考组合ID的情况，设置部170可以利用与该参考组合ID相关联的SUB ID来设置该片中要参考的参数。例如，在自适应环路滤波器68的自适应环路滤波器处理期间，使用通过设置部170在各个片中设置的ALF相关参数。在自适应偏移部67的自适应偏移处理期间，使用通过设置部170在各个片中设置的SAO相关参数。在反量化部63的反量化处理期间，使用通过设置部170在各个片中设置的QM相关参数。

<4.根据实施例在解码期间的处理流程>

接着，利用图20至图22描述根据实施例，通过图像解码装置60的语法解码部62的解码处理的流程。

[4-1.处理的概述]

图20是示出根据本实施例的语法解码部62的解码处理的示例性流程的流程图。

在图20的示例中，如果解码控制部160认出编码流内的SPS（步骤S200），则解码部165将认出的SPS中包括的参数解码（步骤S202）。此外，如果解码控制部160认出PPS（步骤S204），则解码部165将认出的PPS中包括的参数解码（步骤S206）。此外，如果解码控制部160认出APS（步骤S208），则解码部165将认出的APS中包括的参数解码（步骤S210）。此外，如果解码控制部160认出片（步骤S212），则解码部165将认出的片的片头中包括的参数解码（步骤S214），并附加地将该片的片数据解码（步骤S216）。

解码控制部160监测编码流的结尾，并重复这种解码处理，直到编码流结束（步骤S218）。对于存在后续图片的情况，处理返回步骤S200。对于检测到编码流结尾的情况，图20所示的解码处理结束。

[4-2.APS解码处理]

图21是示出与图20的步骤S210相对应的APS解码处理的详细流程的示例的流程图。注意，这里为了清楚描述起见，仅示出与参数的分组相关的主要处理步骤。

参照图21，首先，解码部165将APS内的每组出现标志解码（步骤S230）。每组出现标志例如对应于上述的“aps_adaptive_loop_filter_flag”、“aps_sample_adaptive_offset_flag”和“aps_qmatrix_flag”，并且可以对于将参数分组到其中的每个组进行解码。

接着，解码控制部160确定是否利用CABAC方案将参数解码（步骤S232）。随后，对于使用CABAC方案的情况，解码部165将CABAC相关参数解码（步骤S234）。

接着，解码控制部160基于每组出现标志的值，确定APS内是否有ALF相关参数（步骤S236）。此时，对于存在ALF相关参数的情况，解码部165将ALF相关参数解码（步骤S238），并将解码的ALF相关参数与SUB_ALF ID相关联（步骤S240）。

接着，解码控制部160基于每组出现标志的值，确定APS内是否有SAO相关参数（步骤S242）。此时，对于存在SAO相关参数的情况，解码部165将SAO相关参数解码（步骤S244），并将解码的SAO相关参数与SUB_SAO ID相关联（步骤S246）。

接着，解码控制部160基于每组出现标志的值，确定APS内是否有QM相关参数（步骤S248）。此时，对于存在QM相关参数的情况，解码部165将QM相关参数解码（步骤S250），并将解码的QM相关参数与SUB_QM ID相关联（步骤S252）。

虽然图21中未示出，但是对于在APS内将与多个子标识符的组合相关联的组合ID编码的情况，解码部165可以附加地解码该组合ID。

[4-3.片头解码处理]

图22是示出与图20的步骤S214相对应的片头解码处理的详细流程的示例的流程图。注意，这里为了清楚起见，仅示出与分组参数的参考相关的主要处理步骤。

参照图22，首先，解码控制部160确定是否使能ALS作为代码化工具（步骤S260）。是否使能代码化工具的问题例如可以根据对于每个代码化工具在SPS内指定的上述使能标志的值来确定。对于使能ALF的情况，解码部165从片头将指示给予ALF相关参数的子标识符所参考的参考SUB_ALF ID解码（步骤S262）。随后，设置部170对于该片设置与匹配于解码的参考SUB_ALF ID的SUB_ALF ID相关联的ALF相关参数（步骤S264）。

接着，解码控制部160确定是否使能SAO作为代码化工具（步骤S266）。对于使能SAO的情况，解码部165从片头将指示给予SAO相关参数的子标识符所参考的参考SUB_SAO ID解码（步骤S268）。随后，设置部170对于该片设置与匹配于解码的参考SUB_SAO ID的SUB_SAOID相关联的SAO相关参数（步骤S270）。

接着，解码控制部160确定是否使能量化矩阵指定作为代码化工具（步骤S272）。对于使能量化矩阵指定的情况，解码部165从片头将指示给予QM相关参数的子标识符所参考的参考SUB_QM ID解码（步骤S274）。随后，设置部170对于该片设置与匹配于解码的参考SUB_QM ID的SUB_QM ID相关联的QM相关参数（步骤S276）。

<5.对各种编解码器的应用>

根据本公开的技术可应用于与图像编码和解码有关的各种编解码器。下面描述将根据本公开的技术应用于多视图编解码器和可缩放编解码器的示例。

[5-1.多视图编解码器]

多视图编解码器是将多面透视视频编码和解码的图像编码方案。图23是示出多视图编解码器的示意图。图23示出用于在三个视点捕捉的三个视图的帧的序列。每个视图提供了一个视图ID（view_id）。其中一个视图被指定为基本视图。基本视图之外的视图称为非基本视图。图23的示例用视图ID“0”表示基本视图，用视图ID“1”或“2”表示两个非基本视图。通过基于有关于基本视图的帧的编码信息将非基本视图的帧编码，将多视图图像数据编码可以将作为整体的编码流的数据大小压缩。

在根据上述多视图编解码器的编码处理中，在编码流的APS内插入不同于APS ID的子标识符以及通过该子标识符识别的参数组。在根据多视图编解码器的解码处理中，从编码流的APS获取子标识符，且利用获取的子标识符来参考上述参数组内的参数。对于每个视图也可以设置用于每个视图的控制参数。此外，在上述基本视图中设置的控制参数可以重复用于非基本视图。此外，可以附加地指定用于指示是否在视图间重复使用控制参数的标志。

图24是示出应用于上述多视图编解码器的图像编码处理的示意图。图24示出多视图编码装置610的配置作为示例。多视图编码装置610包括第一编码部620、第二编码部630和多路复用部640。

第一编码部620将基本视图编码并产生用于基本视图的编码流。第二编码部630将非基本视图编码并产生用于非基本视图的编码流。多路复用部640将第一编码部620产生的用于基本视图的编码流以及第二编码部630产生的用于非基本视图的一个或多个编码流多路复用，以产生用于多视图的多路复用流。

图24例示的第一编码部620和第二编码部630具有与根据上述实施例的图像编码装置10相似的配置。因此，可将参数分组到用于每个视图的编码流的APS内的参数组。

图25是示出应用于上述多视图编解码器的图像解码处理的示意图。图25示出多视图解码装置660的配置作为示例。多视图解码装置660包括解复用部670、第一解码部680和第二解码部690。

解复用部670将用于多视图的多路复用流解复用为用于基本视图的编码流以及用于一个或多个非基本视图的编码流。第一解码部680将来自用于基本视图的编码流的基本视图图像解码。第二解码部690将来自用于非基本视图的编码流的非基本视图图像解码。

图25例示的第一解码部680和第二解码部690具有与根据上述实施例的图像解码装置60相似的配置。因此，可以以参数组为单位访问用于每个视图的编码流的APS内的参数，并且可以将用于每个视图的图像解码。

[5-2.可缩放编解码器]

可缩放编解码器是提供分等级的编码的图像编码方案。图26是示出可缩放编解码器的示意图。图26示出用于具有不同的空间分辨率、时间分辨率或图像质量的三个层的帧序列。每个层设置有层ID（layer id）。这些层包括具有最低分辨率（或图像质量）的基本层。基本层之外的层称为增强层。图26的示例用层ID“0”表示基本层，用层ID“1”或“2”表示两个增强层。通过基于有关于基本层的帧的编码信息将增强层的帧编码，将多层图像数据编码可以将作为整体的编码流的数据尺寸压缩。

在根据上述可缩放编解码器的编码处理中，在编码流的APS内插入不同于APS ID的子标识符以及通过该子标识符识别的参数组。在根据可缩放编解码器的解码处理中，从编码流的APS获取子标识符，且利用获取的子标识符来参考上述参数组内的参数。对于每个层也可以设置用于每个层的控制参数。此外，在基本层中设置的控制参数可以重复用于增强层。此外，可以附加地指定用于指示是否在层间重复使用控制参数的标志。

图27是示出应用于上述可缩放编解码器的图像编码处理的示意图。图27示出可缩放编码装置710的配置作为示例。可缩放编码装置710包括第一编码部720、第二编码部730和多路复用部740。

第一编码部720将基本层图像编码并产生用于基本层的编码流。第二编码部730将增强层图像编码并产生用于增强层的编码流。多路复用部740将从第一编码部720产生的用于基本层的编码流以及从第二编码部730产生的用于增强层的一个或多个编码流多路复用，以产生用于多层的多路复用流。

图27例示的第一编码部620和第二编码部630具有与根据上述实施例的图像编码装置10相似的配置。因此，可将参数分组到用于每个层的编码流的APS内的参数组中。

图28是示出应用于上述可缩放编解码器的图像解码处理的示意图。图28示出可缩放解码装置760的配置作为示例。可缩放解码装置760包括解复用部770、第一解码部780和第二解码部790。

解复用部770将用于多层的多路复用流解复用为用于基本层的编码流以及用于一个或多个增强层的编码流。第一解码部780将来自用于基本层的编码流的基本层图像解码。第二解码部790将来自用于增强层的编码流的增强层图像解码。

图28例示的第一解码部780和第二解码部790具有与根据上述实施例的图像解码装置60相似的配置。因此，可以以参数组为单位访问用于每个层的编码流的APS内的参数，并且可以将用于每个视图的图像解码。

<6.示例性应用>

根据上述实施例的图像编码装置10和图像解码装置60可以应用于各种电子设备，例如用于卫星广播的发射器和接收器、诸如电缆TV的电缆广播、互联网上的分布、经由蜂窝通信向终端的分布等等，将图像记录在诸如光盘、磁盘或闪存的介质中的记录装置，从这种存储介质再现图像的再现装置等等。下面描述四个示例性应用。

[6-1.第一示例性应用]

图29是示出采用上述实施例的电视机的示意性配置示例的方框图。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911以及总线912。

调谐器902从经由天线901接收的广播信号提取期望频道的信号，并将提取的信号解调。然后，调谐器902将通过解调获得的编码比特流输出到解复用器903。也就是说，调谐器902充当电视机900的传输装置，用于接收其中图像被编码的编码流。

解复用器903将要观看的节目的视频流和音频流从编码比特流分离，并将分离的每个流输出到解码器904。此外，解复用器903从编码比特流提取诸如EPG（电子节目指南）的辅助数据，并将提取的数据提供给控制部910。此外，在编码比特流被加扰的情况下，解复用器903可以进行解扰。

解码器904将从解复用器903输入的视频流和音频流解码。然后，解码器904将通过解码处理产生的视频数据输出到视频信号处理部905。此外，解码器904将通过解码处理产生的音频数据输出到音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并使得显示部906显示视频。视频信号处理部905也可以使得显示部906显示经由网络提供的应用屏幕。此外，根据设置，视频信号处理部905例如可以对视频数据进行诸如去噪这样的附加处理。此外，视频信号处理部905例如可以产生GUI（图像用户界面）的图像，例如菜单、按钮、光标等等，并将产生的图像添加在输出图像上。

显示部906通过视频信号处理部905提供的驱动信号来驱动，并在显示装置（例如，液晶显示器、等离子体显示器、OLED等等）的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据进行诸如D/A转换和放大这样的再现处理，并从扬声器908输出音频。此外，音频信号处理部907可以对音频数据进行诸如去噪这样的附加处理。

外部接口909是连接电视机900和外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可通过解码器904解码。也就是说，外部接口909也充当电视机900接收其中将图像编码的编码流的传输装置。

控制部910包括诸如CPU（中央处理器）的处理器以及诸如RAM（随机存取存储器）、ROM（只读存储器）的存储器等等。存储器存储要通过CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等等。例如，在电视机900启动时，由CPU读取和执行存储器中存储的程序。例如，通过执行程序，CPU根据从用户接口911输入的操作信号，控制电视机900的操作。

用户接口911连接到控制部910。用户接口911例如包括用户用来操作电视机900的按钮和开关以及用于远程控制信号的接收部。用户接口911经由这些结构元件检测用户的操作，产生操作信号，并将产生的操作信号输出到控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910互连。

在通过这种方式配置的电视机900中，解码器904具有根据上述实施例的图像解码装置60的功能。因此，在通过电视机900解码图像时，可以避免参数的冗余传输，提高代码化效率。

[6-2.第二示例性应用]

图30是示出采用上述实施例的移动电话的示意性配置的示例的方框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932以及总线933。

天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933将通信部922、音频编解码器923、相机部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931互连。

在包括音频通信模式、数据通信模式、图像捕捉模式和视频电话模式的各种操作模式中，移动电话920进行诸如音频信号的传输/接收、电子邮件或图像数据的传输/接收、图像捕捉、数据记录等等操作。

在音频通信模式中，通过麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并对转换后的音频数据进行A/D转换和压缩转换。然后，音频编解码器923将压缩的音频数据输出到通信部922。通信部922编码和调制音频数据，并产生传输信号。然后，通信部922经由天线921将产生的传输信号传输到基站（未示出）。此外，通信部922将经由天线921接收的无线信号放大并该转换无线信号的频率，以及获取接收信号。然后，通信部922将接收信号解调和解码，产生音频数据，并将产生的音频数据输出到音频编解码器923。音频编解码器923展开并D/A转换音频数据，产生模拟音频信号。然后，音频编解码器923将产生的音频信号提供给扬声器924，并使得音频输出。

此外，在数据通信模式中，例如根据用户经由操作部932的操作，控制部931产生构成电子邮件的文本数据。此外，控制部931使得在显示部930上显示文本。此外，经由操作部932，控制部931根据用户的传输指令产生电子邮件数据，并将产生的电子邮件数据输出到通信部922。然后，通信部922编码和调制电子邮件数据，并产生传输信号。然后，通信部922经由天线921将产生的传输信号传输给基站（未示出）。此外，通信部9222将经由天线921接收的无线信号放大并转换无线信号的频率，获取接收信号。然后，通信部922将接收信号解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出到控制部931。控制部931使得显示部930显示电子邮件的内容，此外，使得电子邮件数据存储在记录/再现部929的存储介质中。

记录/再现部929包括任意的可读可写存储介质。例如，存储介质可以是诸如RAM、闪存等等内置存储介质，或者诸如硬盘、磁盘、磁光盘、光盘、USB存储器、存储卡等等从外部安装的存储介质。

此外，在图像捕捉模式中，相机部926捕捉对象的图像，产生图像数据，并将产生的图像数据输出到例如图像处理部927。图像处理部927将从相机部926输入的图像数据编码，并使得编码流存储在记录/再现部929的存储介质中。

此外，在视频电话模式中，解复用部928将通过图像处理部927编码的视频流以及从音频编解码器923输入的音频流多路复用，并将多路复用流输出到例如通信部922。通信部922编码和调制该流，并产生传输信号。然后，通信部922经由天线921将产生的传输信号传输到基站（未示出）。此外，通信部922将经由天线921接收的无线信号放大并转换无线信号的频率，获取接收信号。这些传输信号和接收信号可包括编码比特流。然后，通信部922解调和解码接收信号，恢复该流，并将恢复的流输出到解复用部928。解复用部928将视频流和音频流从输入流分离，并将视频流输出到图像处理部927，将音频流输出到音频编解码器923。图像处理部927将视频流解码，并产生视频数据。视频数据被提供给显示部930，并通过显示部930显示一系列图像。音频编解码器923展开并D/A转换音频数据，产生模拟音频信号。然后，音频编解码器923将产生的音频信号提供给扬声器924，并使得音频被输出。

在通过这种方式配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，对于在移动电话920中编码和解码图像的情况，也可以提高去块滤波器处理的并行，并保证高速处理。

[6-3.第三示例性应用]

图31是示出采用上述实施例的记录/再现装置的示意性配置的示例的方框图。记录/再现装置940例如将接收的广播节目的音频数据和视频数据编码并记录在记录介质中。记录/再现装置940例如也可以将从其他装置获取的音频数据和视频数据编码并记录在记录介质中。此外，记录/再现装置940例如根据用户的指令，利用监视器或扬声器再现记录介质中记录的数据。此时，记录/再现装置940将音频数据和视频数据解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕上显示）948、控制部949以及用户接口950。

调谐器941从经由天线（未示出）接收的广播信号提取期望频道的信号，并解调提取的信号。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。也就是说，调谐器941充当记录/再现装置940的传输装置。

外部接口942是用于连接记录/再现装置940与外设或网络的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口等等。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口942充当记录/再现装置940的传输装置。

对于未编码从外部接口942输入的视频数据和音频数据的情况，编码器943将视频数据和音频数据编码。然后，编码器943将编码比特流输出到选择器946。

HDD944将编码比特流记录在内部硬盘中，编码比特流是视频或音频、各种程序以及其他数据片段的压缩的内容数据。此外，HDD944在再现视频或音频时，从硬盘读取这些数据片段。

磁盘驱动器945记录或读取安装的记录介质中的数据。安装在盘驱动器945上的记录介质例如可以是DVD盘（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW等等）、蓝光（注册商标）盘等等。

选择器946在记录视频或音频时选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD944或盘驱动器945。此外，选择器946在再现视频或音频时将从HDD944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947将编码比特流解码，并产生视频数据和音频数据。然后，解码器947将产生的视频数据输出到OSD948。此外，解码器947将产生的音频数据输出到外部扬声器。

OSD948再现从解码器947输入的视频数据，并显示视频。此外，OSD948例如可将GUI的图像，例如菜单、按钮、光标等等叠加在显示的视频上。

控制部949包括处理器（例如CPU）和存储器（例如RAM或ROM）。存储器存储要通过CPU执行的程序、程序数据等等。例如在记录/再现装置940启动时读取存储器中存储的程序并通过CPU执行。根据从用户接口950输入的操作信号，CPU例如通过执行程序来控制记录/再现装置940的操作。

用户接口950连接到控制部949。用户接口950例如包括由用户用来操作记录/再现装置940的按钮和开关，以及用于远程控制信号的接收部。用户接口950检测经由这些结构元件的用户操作，产生操作信号，并将产生的操作信号输出到控制部949。

在通过这种方式配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。此外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，当通过记录/再现装置940将图像编码和解码时，可以避免参数的冗余传输并提高代码化效率。

[6-4.第四示例性应用]

图32是示出采用上述实施例的图像捕捉装置的示意性配置的示例的方框图。图像捕捉装置960捕捉对象的图像，产生图像，将图像数据编码，并将图像数据记录在记录介质中。

图像捕捉装置960包括光学块961、图像捕捉部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、媒体驱动器968、OSD969、控制部970、用户接口971以及总线972。

光学块961连接到图像捕捉部962。图像捕捉部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部。总线972将图像处理部964、外部接口、存储器967、介质驱动器968、OSD969和控制部970互连。

光学块961包括焦点透镜、孔径光阑机构等等。光学块961在图像捕捉部962的图像捕捉表面上形成对象的光学图像。图像捕捉部962包括图像传感器（例如CCD、CMOS等等），并通过光电转换将图像捕捉表面上形成的光学图像转换为图像信号（其为电信号）。然后，图像捕捉部962将图像信号输出到信号处理部963。

信号处理部963对于从图像捕捉部962输入的图像信号进行各种相机信号处理，例如拐点校正、伽马校正、色彩校正等等。信号处理部963将经过相机信号处理之后的图像数据输出到图像处理部964。

图像处理部964将从信号处理部963输入的图像数据编码，并产生编码数据。然后，图像处理部964将产生的编码数据输出到外部接口966或介质驱动器968。此外，图像处理部964将从外部接口966或介质驱动器968输入的编码数据解码，并产生图像数据。然后，图像处理部964将产生的图像数据输出到显示部965。此外，图像处理部964可将从信号处理部963输入的图像数据输出到显示部965，并使得图像被显示。此外，图像处理部964可将从OSD969获取的用于显示的数据叠加到要输出到显示部965的图像上。

OSD969产生GUI的图像，例如菜单、按钮、光标等等，并将产生的图像输出到图像处理部964。

外部接口966例如被配置为USB输入/输出端子。外部接口966例如在打印图像时将图像捕捉装置960与打印机连接。此外，驱动器在必要时连接到外部接口966。可移动介质（例如磁盘、光盘等等）安装在驱动器上，并且可将从可移动介质读取的程序安装在图像捕捉装置960上。此外，外部接口966可以被配置为连接到网络（例如LAN、互联网等等）的网络接口。也就是说，外部接口966充当图像捕捉装置960的传输装置。

要安装在媒体驱动器968上的记录介质可以是任意的可读可写的可移动介质，例如磁盘、磁光盘、光盘、半导体存储器等等。此外，记录介质可以固定安装在介质驱动器968上，用于构成非可运输存储部，例如内置硬盘驱动器或SSD（固态驱动器）。

控制部970包括处理器（例如CPU）和存储器（例如RAM或ROM）。存储器存储要通过CPU执行的程序、程序数据等等。例如在图像捕捉装置960的启动时读取在存储器中存储的程序并通过CPU执行。根据从用户接口971输入的操作信号，CPU例如通过执行程序来控制图像捕捉装置960的操作。

用户接口971连接到控制部970。用户接口971例如包括由用户用来操作图像捕捉装置960的按钮和开关等等。用户接口971检测经由这些结构元件的用户操作，产生操作信号，并将产生的操作信号输出到控制部970。

在通过这种方式配置的图像捕捉装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，通过图像捕捉装置960将图像编码和解码时，可以避免参数的冗余传输并提高代码化效率。

<7.结论>

前面利用图1至图32详细描述了根据实施例的图像编码装置10和图像解码装置60。根据上述实施例，对于共享参数集中包括具有彼此不同特性参数的情况，避免了参数的冗余传输。例如，根据某些标准将参数集中可包括的参数分组。仅在更新为必要时，在参数集内以参数组为单位，将属于每个参数组的参数编码。每个参数组被分配以独立于参数集标识符设置的子标识符。在解码图像中的各个片时，利用子标识符参考这些参数。因此，变得可以根据更新的需要灵活地在一个参数集内将具有相互不同特性的参数编码或不编码，而不需要增加参数集的类型，例如，不需要增加其数量在规范下受限的NAL单元类型。因此，可以避免参数的冗余传输并提高代码化效率。

此外，在本实施例中，可将关于参数更新频率的标准用作将参数分组的标准。关于参数更新频率的标准例如可以是参数更新频率本身，或者根据相关代码化工具的类型或者参数重复使用的可能性的标准。以这种方式，通过利用关于参数更新频率的标准将参数分组，变得可以根据参数的更新要求，适时将参数编码并且有效地分组，不需要过度分组。因此，防止了各个组中用于参考参数的子标识符的增加不利地影响代码化效率。

此外，在为了参考各个组中的参数而使用关于子标识符的组合的组合ID的情况下，可以进一步减少片头比率。

注意，本说明书描述了将各种参数多路复用为编码流的头并从编码侧传输到解码侧的示例。但是，传输这种参数的技术不限于这种示例。例如，每个参数也可以作为与编码比特流相关联的独立数据来传输或记录，不需要多路复用为编码比特流。这里，术语“关联”表示在解码时可将比特流中包括的图像（也包含诸如片或块这样的部分图像）以及与这些图像对应的信息链接起来。换言之，也可以根据图像（或比特流）在独立的传输通道上传输信息。此外，可以根据图像（或比特流）将信息记录于独立的记录介质（或者相同记录介质上的独立记录区域）。此外，信息和图像（或比特流）例如可以以任意单位（例如多个帧、单个帧、或帧中的部分）相互关联。

前面参照附图详细描述了本公开的优选实施例。但是，本公开的技术范围不限于这些示例。对于本公开所属领域的技术人员而言显然，可以出现各种修改或变化，只要它们落入权利要求中所述技术构思的范围，并且应当理解，这些修改和变化显然属于本公开的技术范围。

此外，本公开还可以配置如下。

（1）一种图像处理装置，包括：

获取部，用于从编码流的参数集中获取包括一个或多个在编码或解码图像时使用的参数的参数组以及用于识别所述参数组的子标识符；以及

解码部，用于利用所述参数组中的参数将所述图像解码，所述参数组中的参数是利用通过所述获取部获取的所述子标识符来参考的。

（2）根据（1）的图像处理装置，

其中，所述参数组根据解码所述图像时的更新频率将参数分组。

（3）根据（2）的图像处理装置，

其中，所述参数组根据解码所述图像时使用的代码化工具将参数分组。

（4）根据（3）的图像处理装置，

其中，所述代码化工具包括量化矩阵、自适应环路滤波器、样本自适应偏移以及自适应插值滤波器中的至少两个。

（5）根据（1）的图像处理装置，

其中，所述参数组根据重复使用每个参数的可能性将参数分组。

（6）根据（1）至（5）任一项的图像处理装置，

其中，所述解码部使用所述编码流的片头中指定的子标识符来参考为对应的片设置的参数。

（7）根据（1）至（5）任一项的图像处理装置，

其中，所述获取部从所述编码流获取与多个所述子标识符的组合相关联的组合标识符，以及

其中，所述解码部使用在所述编码流的片头中指定的并且与所述组合标识符相关联的子标识符来参考为对应的片设置的参数。

（8）根据（1）至（7）任一项的图像处理装置，

其中，所述参数集是不同于序列参数集和图片参数集的网络抽象层（NAL）单元，以及

其中，所述子标识符是不同于用于识别所述NAL单元的参数集标识符的标识符。

（9）根据（8）的图像处理装置，

其中，所述参数集是自适应参数集（APS），以及

其中，所述参数集标识符是APS_ID。

（10）一种图像处理方法，包括：

设置单元，用于设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别该参数组的子标识符；以及

编码部，用于将通过所述设置单元设置的所述参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

（11）一种图像处理装置，包括：

设置单元，用于设置包括一个或多个在编码或解码图像时使用的参数的参数组以及用于识别所述参数组的子标识符；以及

编码部，用于将通过所述设置单元设置的所述参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

（12）根据（11）的图像处理装置，

其中，所述参数组根据解码所述图像时的更新频率将参数分组。

（13）根据（11）的图像处理装置，

其中，所述参数组根据解码所述图像时使用的代码化工具将参数分组。

（14）根据（13）的图像处理装置，

其中，所述代码化工具包括量化矩阵、自适应环路滤波器、样本自适应偏移以及自适应插值滤波器中的至少两个。

（15）根据（11）的图像处理装置，

其中，所述参数组根据重复使用每个参数的可能性将参数分组。

（16）根据（11）至（15）任一项的图像处理装置，

其中，所述编码部将为了参考针对对应的片设置的参数所使用的子标识符插入所述编码流的片头。

（17）根据（11）至（15）任一项的图像处理装置，

其中，所述设置单元设置与多个所述子标识符的组合相关联的组合标识符，以及

其中，所述编码部将为了参考针对对应的片设置的参数所使用的所述子标识符相关联的所述组合标识符插入所述编码流的片头。

（18）根据（11）至（17）任一项的图像处理装置，

其中，所述参数集是不同于序列参数集和图片参数集的网络抽象层（NAL）单元，以及

其中，所述子标识符是不同于用于识别所述NAL单元的参数集标识符的标识符。

（19）根据（18）的图像处理装置，

其中，所述参数集是自适应参数集（APS），以及

其中，所述参数集标识符是APS_ID。

（20）一种图像处理方法，包括：

设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的子标识符；以及

将设置的参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

附图标记

10   图像处理装置（图像编码装置）

60   图像处理装置（图像解码装置）

Claims (20)

1.一种图像处理装置，包括：

获取部，用于从编码流的参数集中获取包括一个或多个在编码或解码图像时使用的参数的参数组以及用于识别所述参数组的子标识符；以及

解码部，用于利用所述参数组中的参数将所述图像解码，所述参数组中的参数是利用通过所述获取部获取的所述子标识符来参考的。

2.根据权利要求1所述的图像处理装置，

其中，所述参数组根据解码所述图像时的更新频率将参数分组。

3.根据权利要求1所述的图像处理装置，

其中，所述参数组根据解码所述图像时使用的代码化工具将参数分组。

4.根据权利要求3所述的图像处理装置，

其中，所述代码化工具包括量化矩阵、自适应环路滤波器、样本自适应偏移以及自适应插值滤波器中的至少两个。

5.根据权利要求1所述的图像处理装置，

其中，所述参数组根据重复使用每个参数的可能性将参数分组。

6.根据权利要求1所述的图像处理装置，

其中，所述解码部使用所述编码流的片头中指定的子标识符来参考为对应的片设置的参数。

7.根据权利要求1所述的图像处理装置，

其中，所述获取部从所述编码流获取与多个所述子标识符的组合相关联的组合标识符，以及

其中，所述解码部使用在所述编码流的片头中指定的并且与所述组合标识符相关联的子标识符来参考为对应的片设置的参数。

8.根据权利要求1所述的图像处理装置，

其中，所述参数集是不同于序列参数集和图片参数集的网络抽象层NAL单元，以及

其中，所述子标识符是不同于用于识别所述NAL单元的参数集标识符的标识符。

9.根据权利要求8所述的图像处理装置，

其中，所述参数集是自适应参数集APS，以及

其中，所述参数集标识符是APS_ID。

10.一种图像处理方法，包括：

从编码流的参数集中获取包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别该参数组的子标识符；以及

利用所述参数组中的参数将所述图像解码，其中所述参数组中的参数是利用获取的子标识符来参考的。

11.一种图像处理装置，包括：

设置单元，用于设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别该参数组的子标识符；以及

编码部，用于将通过所述设置单元设置的所述参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

12.根据权利要求11所述的图像处理装置，

其中，所述参数组根据解码所述图像时的更新频率将参数分组。

13.根据权利要求11所述的图像处理装置，

其中，所述参数组根据解码所述图像时使用的代码化工具将参数分组。

14.根据权利要求13所述的图像处理装置，

其中，所述代码化工具包括量化矩阵、自适应环路滤波器、样本自适应偏移以及自适应插值滤波器中的至少两个。

15.根据权利要求11所述的图像处理装置，

其中，所述参数组根据重复使用每个参数的可能性将参数分组。

16.根据权利要求11所述的图像处理装置，

其中，所述编码部将为了参考针对对应的片设置的参数所使用的子标识符插入所述编码流的片头。

17.根据权利要求11所述的图像处理装置，

其中，所述设置单元设置与多个所述子标识符的组合相关联的组合标识符，以及

其中，所述编码部将为了参考针对对应的片设置的参数所使用的所述子标识符相关联的所述组合标识符插入所述编码流的片头。

18.根据权利要求11所述的图像处理装置，

其中，所述参数集是不同于序列参数集和图片参数集的网络抽象层NAL单元，以及

其中，所述子标识符是不同于用于识别所述NAL单元的参数集标识符的标识符。

19.根据权利要求18所述的图像处理装置，

其中，所述参数集是自适应参数集APS，以及

其中，所述参数集标识符是APS_ID。

20.一种图像处理方法，包括：

设置包括在编码或解码图像时使用的一个或多个参数的参数组以及用于识别所述参数组的子标识符；以及

将设置的参数组以及所述子标识符插入通过编码所述图像而生成的编码流的参数集内部。

Images