CN104885461B

CN104885461B - 图像处理装置和方法

Info

Publication number: CN104885461B
Application number: CN201380067249.8A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-12-26
Filing date: 2013-12-16
Publication date: 2019-01-08
Anticipated expiration: 2033-12-16
Also published as: BR122016028746A2; MX367727B; MX2015007891A; JP6300033B2; MY186153A; EP2941003A4; CN105392016B; KR102307026B1; SG11201504698PA; US20150312578A1; RU2016141278A; RU2015124037A; AU2017200741A1; JP2017076986A; EP2941003A1; JPWO2014103763A1; SG10201510265XA; US10187647B2; RU2653315C2; US20190068982A1

Abstract

本发明涉及一种可以在适当的定时执行解码处理的图像处理装置和方法。HRD类型设置部基于用户指令确定HRD参数类型，即，用于管理解码器缓冲器的参数，并且根据所确定的HRD参数类型，从存储缓冲器和基本层图像编码器的存储缓冲器(下级层级)获取指示存储状态的信息。HRD类型设置部基于所获取的信息计算HRD参数，并且使得HRD参数和指示HRD参数类型的标记在无损编码器中被编码。本发明适用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开内容涉及一种图像处理装置和方法，更具体地，涉及能够在可伸缩视频编码中在适当的定时执行解码处理的图像处理装置和方法。

背景技术

近年来，如下装置已得到广泛普及：其用于为了当对图像信息进行数字处理时高效地进行信息传输和累积的目的，通过使用图像信息特定的冗余度，采用对图像信息进行数字处理并且通过诸如离散余弦变换的正交变换和运动补偿进行压缩的编码方案，对图像进行压缩和编码。运动图像专家组(MPEG)、H.264、MPEG-4部分10(高级视频编码)(下文中称为H.264/AVC)等是这样的编码方案的示例。

因此，为了与H.264/AVC相比改进编码效率的目的，由联合协作团队-视频编码(JCTVC)对称为高效视频编码(HEVC)的编码方案的标准化当前正在进行中，联合协作团队-视频编码(JCTVC)是国际电信联盟电信标准化部门(ITU-T)与国际标准化组织(ISO)/国际电工委员会(IEC)的联合标准化组织，并且非专利文献1已被发布作为该方案的草案。

同时，诸如MPEG-2和AVC的现有图像编码方案具有将图像划分成多个层并对多个层进行编码的可伸缩性功能。

也就是说，例如，对于处理能力低的终端(诸如，移动电话)，传送仅基本层的图像压缩信息，并且再现空间分辨率和时间分辨率低或者质量低的运动图像，而对于处理能力高的终端(诸如，电视机或个人计算机)，传送增强层以及基本层的图像压缩信息，并且再现空间分辨率和时间分辨率高或质量高的运动图像。即，可以从服务器传送根据终端或网络的能力的图像压缩信息而不进行转码处理。

在HEVC中，可以指定假想参考解码器(HRD)参数，使得当执行对于图像压缩信息的解码处理时不发生缓冲器的上溢或下溢。特别地，当执行可伸缩视频编码时，可以针对每层指定HRD参数。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)textspecification draft 9,"JCTVC-K1003,2012,10,21

非专利文献2：Jill Boyce,Ye-Kui Wang,"NAL unit header and parameter setdesigns for HEVC extensions,"JCTVC-K1007,2012,10,19

发明内容

技术问题

然而，当针对每层或作为一个子层的时间层指定HRD参数时，难以检测解码处理是由单个解码装置执行还是由多个解码装置执行。

鉴于上述状况而做出了本公开，并且期望在适当的定时执行解码处理。

针对问题的解决方案

根据本公开内容的一方面，提供了一种图像处理装置，包括：接收部，被配置成接收通过对具有至少一个层的图像进行编码而获得的位流和每层的缓冲器管理参数信息，其中该缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；以及解码部，被配置成对接收部接收到的位流进行解码并生成图像。

层可以包括层和子层。

层是多视图编码的视图。

层是可伸缩视频编码的层。

缓冲器管理参数信息在补充增强信息(SEI)中描述。

缓冲器管理参数信息以buffering_period_SEI描述。

参数存在/不存在信息在vps(视频参数集)_extension中描述，该参数存在/不存在信息指示用作用于仅执行对应层的解码处理的参数的、用于管理解码器缓冲器的参数的存在或不存在。

接收部可以接收AVC标记和每层的缓冲器管理参数信息，该AVC标记指示比对应层低的层是以MPEG-4部分10高级视频编码(AVC)进行编码的，每层的缓冲器管理参数信息指示用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数。

根据本公开内容的一方面，提供了一种图像处理方法，包括：由图像处理装置接收通过对具有至少一个层的图像进行编码而获得的位流和每层的缓冲器管理参数信息，其中该缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；由图像处理装置接收通过使用与缓冲器管理参数信息相对应的参数对包括至少一个层的图像进行编码而获得的位流；以及由图像处理装置对所接收到的位流进行解码并生成图像。

根据本公开内容的另一方面，提供了一种图像处理装置，包括：设置部，被配置成设置每层的缓冲器管理参数信息，该缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；编码部，被配置成对具有至少一个层的图像进行编码并且生成位流；以及传送部，被配置成传送设置部设置的缓冲器管理参数信息和编码部生成的位流。

层可以包括层和子层。

层可以是多视图编码的视图。

层是可伸缩视频编码的层。

缓冲器管理参数信息在补充增强信息(SEI)中描述。

缓冲器管理参数信息在buffering_period_SEI中描述。

设置部可以设置AVC标记和每层的缓冲器管理参数信息，该AVC标记指示比对应层低的层是以MPEG-4部分10高级视频编码(AVC)进行编码的，每层的缓冲器管理参数信息指示用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数。

根据本公开内容的另一方面，提供了一种图像处理方法，包括：由图像处理装置设置每层的缓冲器管理参数信息，该缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；由图像处理装置对具有至少一个层的图像进行编码并且生成位流；以及由图像处理装置传送所设置的缓冲器管理参数信息和所生成的位流。

根据本公开内容的一方面，接收通过对具有至少一个层的图像进行编码而获得的位流和每层的缓冲器管理参数信息，其中每层的缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数，以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数。然后，对所接收到的位流进行解码以生成图像。

根据本公开内容的另一方面，设置每层的缓冲器管理参数信息，并且对具有至少一个层的图像进行编码以生成位流，其中该缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数，以及用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数。然后，传送所设置的缓冲器管理参数信息和所生成的位流。

此外，上述的图像处理装置可以是独立装置或者是构成一个图像编码装置或图像解码装置的内部块。

本发明的有益效果

根据本公开内容的一方面，可以对图像进行解码。特别地，可以在适当的定时执行解码处理。

根据本公开内容的另一方面，可以对图像进行编码。特别地，可以在适当的定时执行解码处理。

附图说明

图1是用于描述编码单位的配置的示例的图。

图2是用于描述空间可伸缩视频编码的示例的图。

图3是用于描述时间可伸缩视频编码的示例的图。

图4是用于描述信噪比的可伸缩视频编码的示例的图。

图5是示出HEVC的HRD参数的句法的示例的图。

图6是用于描述可伸缩视频编码的并行处理的图。

图7是示出根据本技术的HRD参数的句法的示例的图。

图8是示出根据本技术的HRD参数的句法的另一示例的图。

图9是示出根据本技术的HRD参数的句法的另一示例的图。

图10是示出可伸缩编码装置的主要配置的示例的框图。

图11是示出增强层图像编码部的主要配置的示例的框图。

图12是示出累积缓冲器和HRD类型设置部的主要配置的示例的框图。

图13是用于描述层结构的示例的图。

图14是用于描述编码处理的流程的示例的流程图。

图15是用于描述层编码处理的示例的流程图。

图16是用于描述HRD参数编码处理的流程图。

图17是用于描述HRD参数计算处理的流程图。

图18是用于描述时间层计算处理的HRD参数的流程图。

图19是用于描述HRD参数编码处理的另一示例的流程图。

图20是示出可伸缩解码装置的主要配置的示例的框图。

图21是示出增强层图像解码部的主要配置的示例的框图。

图22是示出累积缓冲器和HRD类型解码部的主要配置的示例的框图。

图23是用于描述解码处理的流程的示例的流程图。

图24是用于描述层解码处理的流程的示例的流程图。

图25是用于描述HRD参数解码处理的流程的另一示例的流程图。

图26是用于描述累积缓冲器监视处理的流程的另一示例的流程图。

图27是示出vps_extension的句法示例的图。

图28是示出sps_extension的句法示例的图。

图29是示出vps的句法示例的图。

图30是示出layer_id_included_flag的语义示例的图。

图31是用于描述LayerSet(层集)的设置示例的图。

图32是示出buffering_period_SEI的句法示例的图。

图33是示出buffering_period_SEI的句法示例的图。

图34是示出buffering_period_SEI的句法示例的图。

图35是示出buffering_period_SEI的句法示例的图。

图36是示出增强层图像编码部的主要配置的另一示例的框图。

图37是示出缓冲时段SEI设置部的配置的示例的框图。

图38是用于描述层编码处理的示例的流程图。

图39是用于描述缓冲时段SEI编码处理的示例的流程图。

图40是示出增强层图像解码部的主要配置的另一示例的框图。

图41是示出缓冲时段SEI解码部的配置的示例的框图。

图42是用于描述层解码处理的示例的流程图。

图43是用于描述缓冲时段SEI解码处理的示例的流程图。

图44是用于描述在AVC标记的情况下HRD参数编码处理的示例的流程图。

图45是用于描述在AVC标记的情况下缓冲时段SEI编码处理的示例的流程图。

图46是示出多视图图像编码方案的示例的图。

图47是示出应用了本公开内容的多视图图像编码装置的主要配置的示例的图。

图48是示出应用了本公开内容的多视图图像解码装置的主要配置的示例的图。

图49是示出计算机的主要配置的示例的框图。

图50是示出电视装置的示意性配置的示例的框图。

图51是示出移动电话的示意性配置的示例的框图。

图52是示出记录/再现装置的示意性配置的示例的框图。

图53是示出图像捕获装置的示意性配置的示例的框图。

图54是示出使用可伸缩视频编码的示例的框图。

图55是示出使用可伸缩视频编码的另一示例的框图。

图56是示出使用可伸缩视频编码的另一示例的框图。

具体实施方式

下文中，将描述用于实现本公开内容的模式(下文中，称为“实施例”)。该描述将按以下顺序进行：

0.概述

1.第一实施例(图像编码装置)

2.第二实施例(图像解码装置)

3.第三实施例(句法示例)

4.第四实施例(buffering_period_SEI的示例)

5.第五实施例(AVC标记的示例)

6.第六实施例(多视图图像编码装置/多视图图像解码装置)

7.第七实施例(计算机)

8.应用

9.可伸缩视频编码的应用

<0.概述>

<编码方案>

下文中，将结合对高效视频编码(HEVC)方案的图像编码和解码的应用来描述本技术。

<编码单位>

在高级视频编码(AVC)方案中，定义了基于宏块和子宏块的层级结构。然而，16×16像素的宏块对于大图像帧(诸如用作下一代编码方案的目标的超高清晰度(UHD)(4000×2000像素))而言不是最佳的。

另一方面，在HEVC方案中，如图1所示那样定义编码单位(CU)。

CU也称为编码树块(CTB)，并且用作起到AVC方案中的宏块的相同作用的图片单位的图像的部分区域。宏块固定为16×16像素的大小，但CU不固定为某一大小，而是在每个序列中在图像压缩信息中指定。

例如，在包括在要输出的编码数据中的序列参数集(SPS)中指定CU的最大编码单位(LCU)和最小编码单位(SCU)。

当在每个LCU不小于SCU的范围内设置split_flag(分割标志)＝1时，编码单位可以被划分成具有更小大小的CU。在图1的示例中，LCU的大小为128，以及最大可伸缩深度为5。当split_flag的值为“1”时，大小为2N×2N的CU被划分成用作低一级的层的、大小为N×N的CU。

另外，CU以作为用作帧内或帧间预测的处理单位的区域(图片单位的图像的部分区域)的预测单位(PU)来划分，并且被划分成作为用作正交变换的处理单位的区域(图片单位的图像的部分区域)的变换单位(TU)。当前，在HEVC方案中，除了4×4和8×8外，可以使用16×16和32×32的正交变换。

如在HEVC方案中一样，在定义了CU并且以CU为单位执行各种处理的编码方案的情况下，在AVC方案中，可以认为宏块对应于LCU，并且可以认为块(子块)对应于CU。另外，在AVC方案中，可以认为运动补偿块对应于PU。这里，由于CU具有层级结构，因此，通常将最上层的LCU的大小设置为大于AVC方案中的宏块，例如，设置为诸如128×128像素。

因此，下文中，假定LCU包括AVC方案中的宏块，以及假定CU包括AVC方案中的块(子块)。也就是说，在以下描述中所使用的“块”表示图片中的任意部分区域，并且不限制例如其大小、形状和特性。也就是说，“块”包括诸如TU、PU、SCU、CU、LCU、子块、宏块或切片的任意区域(处理单位)。当然，“块”也包括其他部分区域(处理单位)。当需要限制大小、处理单位等时，将对其进行适当描述。

<模式选择>

同时，在AVC编码方案和HEVC编码方案中，为了实现高编码效率，重要的是选择适当的预测模式。

作为这样的选择方法的示例，存在被称为联合模型(JM)的H.264/MPEG-4AVC的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm可找到)中实现的方法。

在JM中，如稍后将描述的那样，可以选择两种模式确定方法，即高复杂度模式和低复杂度模式。在两种模式下，计算与各个预测模式相关的成本函数值，并且选择具有较小成本函数值的预测模式作为对于对应块或宏块的最佳模式。

高复杂度模式下的成本函数被表示为以下公式(1)：

Cost(Mode∈Ω)＝D+λ*R...(1)

这里，Ω表示用于对对应块或宏块进行编码的候选模式的全集，以及D表示当以对应的预测模式执行编码时解码图像与输入图像之间的差分能量。λ表示作为量化参数的函数给出的拉格朗日待定乘数。R表示包括当以对应的模式执行编码时的正交变换系数的总编码量。

也就是说，为了执行高复杂度模式的编码，需要利用所有候选模式执行临时编码处理一次，以便计算参数D和R，因而，需要较大计算量。

低复杂度模式下的成本函数由以下公式(2)表示：

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)

这里，D是不同于高复杂度模式的D并且表示预测图像与输入图像之间的差分能量。QP2Quant(QP)被给出作为量化参数QP的函数，以及HeaderBit表示与属于报头的信息(诸如不包括正交变换系数的模式或运动矢量)相关的编码量。

也就是说，在低复杂度模式下，需要针对各个候选模式执行预测处理，但由于不需要解码图像，因此不需要执行编码处理。因而，可以实现比在高复杂度模式下的计算量小的计算量。

<可伸缩视频编码>

同时，诸如MPEG2和AVC的现有图像编码方案具有如图2至图4所示的可伸缩功能。可伸缩视频编码是指将图像划分(分层)成多个层并且对每层执行编码的方案。

在对图像进行分层时，基于特定参数将一个图像划分成多个图像(层)。基本上，每层由差分数据构成，使得冗余度减小。例如，当一个图像被分层为两层(即基本层和增强层)时，仅使用基本层的数据来获得质量比原始图像低的图像，并且通过将基本层的数据与增强层的数据进行合成来获得原始图像(即，高质量图像)。

当如上所述那样对图像进行分层时，可以根据状况获得各种质量的图像。例如，对于处理能力低的终端(诸如，移动电话)，仅传送基本层的图像压缩信息，并且再现空间分辨率和时间分辨率低或质量低的运动图像，而对于处理能力高的终端(诸如，电视机或个人计算机)，传送增强层以及基本层的图像压缩信息，并且再现空间分辨率和时间分辨率高或质量高的运动图像。也就是说，可以从服务器传送根据终端或网络的能力的图像压缩信息而不执行转码处理。

作为具有可伸缩性的参数，例如，如图2所示，存在空间分辨率(空间可伸缩性)。当空间可伸缩性不同时，各个层具有不同的分辨率。也就是说，每个图片被分层为两层，即，分辨率在空间上低于原始图像的分辨率的基本层和与基本层的图像合成以获得原始图像(原始空间分辨率)的增强层，如图2所示。当然，层的数量是示例，并且可以将每个图片分层为任意数量的层。

作为具有这样的可伸缩性的另一参数，例如，如图3所示，存在时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，各个层具有不同的帧率。也就是说，在这种情况下，每个图片被分层为具有不同帧率的层，可以通过将高帧率的层与低帧率的层进行合成来获得高帧率的运动图像，并且可以通过对所有层进行合成来获得原始运动图像(原始帧率)，如图3所示。层的数量是示例，并且可以将每个图片分层为任意数量的层。

另外，作为具有这样的可伸缩性的另一参数，例如，存在信噪比(SNR)(SNR可伸缩性)。在SNR可伸缩性的情况下，各个层具有不同的SNR。也就是说，在这种情况下，每个图片被分层为两层，即，SNR比原始图像的SNR低的基本层以及与基本层的图像合成以获得原始SNR的增强层，如图4所示。也就是说，对于基本层图像压缩信息，传送与低PSNR的图像相关的信息，并且可以通过将该信息与增强层图像压缩信息进行合成来重构高PSNR图像。当然，层的数量是示例，并且可以将每个图片分层为任意数量的层。

可将除了上述示例外的参数应用作为具有可伸缩性的参数。例如，存在位深可伸缩性，其中，基本层包括8位图像，并且可以通过将增强层与基本层相加来获得10位图像。

另外，存在色度可伸缩性，其中，基本层包括4:2:0格式的分量图像，并且可以通过将增强层与基本层相加来获得4:2:2格式的分量图像。

另外，作为具有可伸缩性的参数，存在多视图。在该情况下，图像被分层为不同视图的层。

例如，在本实施例中描述的层包括上述可伸缩视频编码的空间、时间、SNR、位深、颜色和视图。

另外，在本说明书中所使用的术语“层”包括可伸缩视频编码的层以及当考虑多视图的多个视图时的每个视图。

另外，假设在本说明书中所使用的术语“层”包括主层(对应于副)以及子层。作为具体示例，主层可以是空间可伸缩性的层，以及子层可以由时间可伸缩性的层构成。

在本实施例中，阶层(日文)和层具有相同的含义，阶层(日文)将被适当地描述为层。

<HRD参数>

同时，在HEVC中，当执行图像压缩信息的解码处理时，可以指定图5所示的假想参考解码器(HRD)参数，使得不发生缓冲器的上溢或下溢。也就是说，HRD参数是用于管理解码器缓冲器的参数。具体地，当执行可伸缩视频编码时，可以在视频参数集(VPS)中针对每层指定HRD参数。

<可伸缩视频编码的并行处理>

在图6的示例中，作为时间可伸缩性的示例，在图6的左侧示出使用包括I图片、b图片、B图片、b图片和B图片的序列的两个示例(ex1和ex2)。在该序列中，I图片、B图片和B图片是下部时间层，以及b图片和b图片是上部时间层。

这里，B图片表示参考的图片，以及b图片表示未参考的图片。

ex1是解码装置#0对所有图片进行解码的示例。另一方面，ex2是解码装置#0对I图片、B图片和B图片的下部时间层进行解码并且解码装置#1对b图片和b图片的上部时间层进行解码的示例。

在图6的右侧，作为可伸缩HEVC示例，示出了使用包括用作上层的EL(增强层)的I图片、B图片和B图片以及用作下层的BL(基本层)的I图片、B图片和B图片的序列的两个示例(ex11和ex12)。可伸缩HEVC是指在HEVC中定义的可伸缩视频编码。

ex11是解码装置#0对所有图片解码的示例。另一方面，ex12是解码装置#0对BL的I图片、B图片和B图片的下层解码以及解码装置#1对EL的I图片、B图片和B图片的上层解码的示例。

对于可伸缩HEVC的每层，在右侧的时间可伸缩性的每个时间层被配置为子层。

如上所述，在现有技术的时间可伸缩性中，在可伸缩HEVC中，处理可由单个解码装置执行，以及并行处理可由多个解码装置执行。另外，通过图5的句法，可以针对每层或作为一个子层的时间层而指定用作用于管理解码器缓冲器的参数的HRD参数。

然而，如图6所示，难以检测解码处理是由单个解码装置执行还是由多个解码装置执行。

在这点上，在本技术中，通过图7所示的句法传送HRD参数。换言之，在本技术中，设置如下信息：该信息指示HRD参数是用于仅执行对应层的解码处理的参数还是用于执行对应层和更下层的解码处理的参数。因而，如图6所示，明确地定义了解码处理是由单个解码装置执行还是由多个解码装置执行，从而，可以在适当的定时执行解码处理。

<HRD参数的示例>

图7是示出根据本技术的HRD参数的句法示例的图。在每行的左边的编号是为了描述添加的行号。

在图7的示例中，在第10行定义了hrd_parameters_type_flag。当hrd_parameters_type_flag的值为1时，将用于仅执行对应层的解码处理的值设置为后续段落的HRD参数。当hrd_parameters_type_flag的值为0时，将用于执行对应层和更下层的解码处理的值设置为后续段落的HRD参数。

另外，hrd_parameters_type_flag可包括在从第11行开始的if语句中。

在第25行定义了sub_hrd_parameters_type[i]_flag。当sub_hrd_parameters_type[i]_flag的值为1时，将用于仅执行对应时间层的解码处理的值设置为后续段落的子HRD参数。当hrd_parameters_type_flag的值为0时，将用于执行对应时间层和更下时间层的解码处理的值设置为后续段落的子HRD参数。

图7示出了针对每个层和每个时间层通过任意一种方法(仅包括对应层或者也包括更下层)执行指定的示例，但本技术不限于该示例。例如，可包括通过两种方法指定HRD参数的HRD参数。

<HRD参数的其他示例>

图8是示出根据本技术的HRD参数的另一句法示例的图。每行的左边的编号是为了描述而添加的行号。

在图8的示例中，在第11行定义了hrd_parameters_type1_present_flag。当hrd_parameters_type1_present_flag的值为1时，将用于仅执行对应层的解码处理的值设置为在第13至24行设置的type1的HRD参数。当hrd_parameters_type1_present_flag的值为0时，将用于执行对应层和更下层的解码处理的值设置为type1的HRD参数。

在第12行定义了hrd_parameters_type2_present_flag。当hrd_parameters_type2_present_flag的值为1时，将用于仅执行对应层的解码处理的值设置为在第25至36行定义的type2的HRD参数。当hrd_parameters_type2_present_flag的值为0时，将用于执行对应层和更下层的解码处理的值设置为type2的HRD参数。

类似于以上参照图7描述的示例，可在从第10行开始的if语句之前描述第11行和第12行的标记。

在第40行定义了sub_hrd_parameters_type1_present_flag。当sub_hrd_parameters_type1_present_flag的值为1时，将用于仅执行对应时间层的解码处理的值设置为在第45至52行设置的type1的HRD参数。当sub_hrd_parameters_type1_present_flag的值为0时，将用于执行对应时间层和更下时间层的解码处理的值设置为type1的HRD参数。

在第41行定义了sub_hrd_parameters_type2_present_flag。当sub_hrd_parameters_type2_present_flag的值为1时，将用于仅执行对应时间层的解码处理的值设置为在第53至60行设置的type2的HRD参数。当sub_hrd_parameters_type2_present_flag的值为0时，将用于执行对应时间层和更下时间层的解码处理的值设置为type2的HRD参数。

如上所述，在本技术中，在编码侧设置type1和type2的参数，这些参数用作用于仅对应层的解码处理的HRD参数以及用于对应层和更下层的解码处理的HRD参数。因而，解码侧可以根据装置或接收到的位流来选择参数。

另外，当图像压缩信息仅包括一个层(即，可伸缩性层或时间可伸缩性层)时，hrd_parameter_type_flag和sub_hrd_parameter_type_flag可具有任意值，并且解码处理不受影响。

接下来，将结合对特定装置的应用来描述本技术。为了便于描述，将以图6中的可伸缩HEVC的ex12和时间可伸缩性的ex1的情况进行以下描述。这里，本技术不限于该情况。例如，可存在图6中的可伸缩HEVC的ex12和时间可伸缩性的ex2的情况、图6中的可伸缩HEVC的ex11和时间可伸缩性的ex2的情况、以及图6中的可伸缩HEVC的ex11和时间可伸缩性的ex1的情况。

<1.第一实施例>

<可伸缩编码装置>

图10是示出可伸缩编码装置的主要配置的示例的框图。

图10所示的可伸缩编码装置100对被分层为基本层和增强层的图像数据的每层进行编码。

可伸缩编码装置100被配置成包括基本层图像编码部101-1、增强层图像编码部101-2和编码控制部102。

基本层图像编码部101-1获取基本层的图像信息(基本层图像信息)。基本层图像编码部101-1对基本层图像信息进行编码而不参考其他层，生成基本层的编码数据(基本层编码数据)，并且输出所生成的编码数据。

增强层图像编码部101-2获取增强层的图像信息(增强层图像信息)。增强层图像编码部101-2对增强层图像信息进行编码。此时，增强层图像编码部101-2按照需要参考与基本层的编码有关的信息来执行层间预测。

另外，增强层图像编码部101-2针对每层设置HRD参数类型，并且根据所设置的HRD参数类型计算HRD参数，该HRD参数用作用于基于累积缓冲器的状态信息管理解码器缓冲器的参数。增强层图像编码部101-2对所计算出的HRD参数进行编码。

具体地，HRD参数类型指示HRD参数是用于仅对对应层进行解码的参数还是用于执行对应层和更下层的解码处理的参数。该类型可设置这两个参数以及这两个参数中的任一个。编码侧根据指示所设置的类型的标记(信息)来计算HRD参数，并且将指示所设置的类型的标记和所计算出的HRD参数传送至解码侧。下文中，将指示HRD参数类型的标记适当地称为“HRD参数类型标记”。

当指示HRD参数类型的标记为1时，增强层图像编码部101-2基于其自身的累积缓冲器的状态信息来计算HRD参数。当指示HRD参数类型的标记为0时，增强层图像编码部101-2获取基本层图像编码部101-1的全体累积缓冲器的状态信息，并且基于基本层图像编码部101-1及其自身的累积缓冲器的状态信息来计算HRD参数。对层和子层(时间层)执行该处理。在基本层图像编码部101-1中，仅对子层执行该处理。

增强层图像编码部101-2通过上述编码生成增强层的编码数据(增强层编码数据)，并且输出所生成的编码数据。

基本层图像编码部101-1和增强层图像编码部101-2被适当地统称为“层图像编码部101”。

编码控制部102例如考虑到层图像编码部101的参考关系来控制层图像编码部101的编码处理。

在图10的示例中，示出了一个增强层图像编码部101-2，但当存在上层时，针对每个上层设置对上层进行编码的增强层图像编码部101-3、101-4、…。

<层图像编码部的配置示例>

图11是示出增强层图像编码部101-2的主要配置的示例的框图。除了用作目标的图像的类型不同外，图10的基本层图像编码部101-1具有与图11的增强层图像编码部101-2基本上相同的配置。为了便于描述，在图11的示例中，作为示例，将描述增强层图像编码部101-2的配置。

如图11所示，增强层图像编码部101-2包括A/D转换部111、屏幕重排缓冲器112、运算部113、正交变换部114、量化部115、无损编码部116、累积缓冲器117、逆量化部118和逆正交变换部119。增强层图像编码部101-2还包括运算部120、环路滤波器121、帧存储器122、选择部123、帧内预测部124、运动预测/补偿部125、预测图像选择部126和比率控制部127。增强层图像编码部101-2还包括HRD类型设置部128。

A/D转换部111对输入图像数据(增强层图像信息)执行A/D转换，并且提供转换后的图像数据(数字数据)以存储在屏幕重排缓冲器112中。屏幕重排缓冲器112根据图片组(GOP)按用于进行编码的帧顺序对按显示顺序存储的帧的图像进行重排，并且将帧顺序被重排的图像提供至运算部113。屏幕重排缓冲器112还将帧顺序被重排的图像提供至帧内预测部124和运动预测/补偿部125。

运算部113从自屏幕重排缓冲器112读取的图像中减去经由预测图像选择部126从帧内预测部124或运动预测/补偿部125提供的预测图像，并且将其差分信息输出至正交变换部114。例如，在已经受帧内编码的图像的情况下，运算部113从自屏幕重排缓冲器112读取的图像中减去从帧内预测部124提供的预测图像。另外，例如，在已经受帧间编码的图像的情况下，运算部113从自屏幕重排缓冲器112读取的图像中减去从运动预测/补偿部125提供的预测图像。

正交变换部114对从运算部113提供的差分信息执行诸如离散余弦变换或卡洛(Karhunen-Loeve)变换的正交变换。正交变换部104将变换系数提供至量化部115。

量化部115对从正交变换部114提供的变换系数进行量化。量化部115基于与从比率控制部127提供的编码量的目标值有关的信息来设置量化参数，并且执行量化。量化部115将量化后的变换系数提供至无损编码部116。

无损编码部116根据任意编码方案对在量化部115中量化的变换系数进行编码。由于在比率控制部127的控制下对系数数据进行量化，因此编码量变为比率控制部127设置的目标值(或者接近目标值)。

无损编码部116从帧内预测部124获取指示帧内预测模式的信息等，并且从运动预测/补偿部125获取指示帧间预测模式的信息、差分运动矢量信息等。另外，无损编码部116适当地生成包括序列参数集(SPS)、图片参数集(PPS)等的增强层的NAL单位。

无损编码部116根据任意编码方案对各种信息进行编码，并且将编码信息设置(复用)为编码数据(也称为“编码流”)的一部分。无损编码部116提供通过编码而获得的编码数据以累积在累积缓冲器117中。

无损编码部116的编码方案的示例包括可变长编码和算术编码。作为可变长编码，例如，存在H.264/AVC中限定的上下文自适应可变长编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。

累积缓冲器117暂时保存从无损编码部116提供的编码数据(增强层编码数据)。累积缓冲器117在特定的定时将所保存的增强层编码数据输出到后级的记录装置(记录介质)、传输路径等(未示出)。也就是说，累积缓冲器117也用作传送编码数据的传送部。另外，当存在来自HRD类型设置部128的请求时，累积缓冲器117提供指示累积缓冲器117的状态的信息。另外，例如，当存在上层的增强层图像编码部101-3并且存在如由虚线指示的来自其HRD类型设置部128的请求时，累积缓冲器117将指示累积缓冲器117的状态的信息提供至上层的增强层图像编码部101-3。

经量化部115量化的变换系数也被提供至逆量化部118。逆量化部118根据与量化部115执行的量化相对应的方法对量化后的变换系数进行逆量化。逆量化部118将所获得的变换系数提供至逆正交变换部119。

逆正交变换部119根据与正交变换部114执行的正交变换处理相对应的方法，对从逆量化部118提供的变换系数执行逆正交变换。已经受逆正交变换的输出(恢复的差分信息)被提供至运算部120。

运算部120通过将经由预测图像选择部126从帧内预测部124或运动预测/补偿部125提供的预测图像与用作从逆正交变换部119提供的逆正交变换结果的恢复的差分信息相加，获得局部解码图像(解码图像)。解码图像被提供至环路滤波器121或帧存储器122。

环路滤波器121包括解块滤波器、自适应偏移滤波器、自适应环路滤波器等，并且适当地对从运算部120提供的重构图像执行滤波处理。例如，环路滤波器121对重构图像执行解块滤波处理，并且去除重构图像的块失真。另外，例如，环路滤波器121通过使用维纳滤波器对解块滤波处理结果(从其去除了块失真的重构图像)执行环路滤波处理来改进图像质量。环路滤波器121将滤波处理结果(下文中称为“解码图像”)提供至帧存储器122。

环路滤波器121还可对重构图像执行任意的其他滤波处理。环路滤波器121可以按需要将在滤波处理中使用的信息(诸如，滤波器系数)提供至无损编码部116，使得信息可以被编码。

帧存储器122存储从运算部120提供的重构图像和从环路滤波器121提供的解码图像。帧存储器122在特定的定时或者基于例如来自帧内预测部124的外部请求而经由选择部123将所存储的重构图像提供至帧内预测部124。另外，帧存储器122在特定的定时或者基于例如来自运动预测/补偿部125的外部请求而经由选择部123将所存储的解码图像提供至运动预测/补偿部125。

帧存储器122存储所提供的解码图像，并且在特定的定时将所存储的解码图像作为参考图像提供至选择部123。

选择部123选择从帧存储器122提供的参考图像的提供目的地。例如，在帧内预测的情况下，选择部123将从帧存储器122提供的参考图像(当前图片的像素值)提供至运动预测/补偿部125。另外，例如，在帧间预测的情况下，选择部123将从帧存储器122提供的参考图像提供至运动预测/补偿部125。

帧内预测部124执行用于使用用作经由选择部123从帧存储器122提供的参考图像的当前图片的像素值来生成预测图像的帧内预测(画面内预测)。帧内预测部124以预先准备的多种帧内预测模式执行帧内预测。

帧内预测部124在用作候选的所有帧内预测模式下生成预测图像，使用从屏幕重排缓冲器112提供的输入图像来评估预测图像的成本函数值，并且选择最佳模式。当选择了最佳帧内预测模式时，帧内预测部124将以最佳模式生成的预测图像提供至预测图像选择部126。

如上所述，帧内预测部124适当地将例如指示所采用的帧内预测模式的帧内预测模式信息提供至无损编码部116，从而对信息进行编码。

运动预测/补偿部125使用从屏幕缓冲器112提供的输入图像和经由选择部123从帧存储器122提供的参考图像来执行运动预测(帧间预测)。虽然未示出，但是在运动预测/补偿部125中，也按需要参考从基本层图像编码部101-1的帧存储器122提供的参考图像。运动预测/补偿部125根据检测的运动矢量执行运动补偿处理，并且生成预测图像(帧间预测图像信息)。运动预测/补偿部125以预先准备的多种帧间预测模式执行帧间预测。

运动预测/补偿部125以用作候选的所有帧间预测模式生成预测图像。运动预测/补偿部125使用从屏幕重排缓冲器112提供的输入图像、所生成的差分运动矢量的信息等来评估预测图像的成本函数值，并且选择最佳模式。当选择了最佳帧间预测模式时，运动预测/补偿部125将以最佳模式所生成的预测图像提供至预测图像选择部126。

运动预测/补偿部125将指示所采用的帧间预测模式的信息、当对编码数据进行解码时以帧间预测模式执行处理所需的信息等提供至无损编码部116，从而对该信息进行编码。例如，作为所需的信息，存在生成的差分运动矢量的信息，而作为预测运动矢量信息，存在指示预测运动矢量的索引的标记。

预测图像选择部126选择要提供至运算部113和运算部120的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择部126选择帧内预测部124作为预测图像的提供源，并且将从帧内预测部124提供的预测图像提供至运算部113和运算部120。例如，在帧间编码的情况下，预测图像选择部126选择运动预测/补偿部125作为预测图像的提供源，并且将从运动预测/补偿部125提供的预测图像提供至运算部113和运算部120。

比率控制部127基于累积在累积缓冲器117中的编码数据的编码量来控制量化部115的量化操作的比率，以使得不发生上溢或下溢。

HRD类型设置部128根据用户的指令决定HRD参数类型，并且根据所决定的HRD参数类型来从累积缓冲器117或基本层图像编码部101-1的累积缓冲器(下层)117获取指示累积状态的信息。HRD类型设置部128基于所获取的信息计算HRD参数，并且使得无损编码部116对HRD参数和指示HRD参数类型的标记进行编码。

另外，当要输出的图像压缩信息(编码数据)包括一个层时，指示HRD参数类型的标记的值是任意的，并且不影响在解码侧的处理。

<累积缓冲器和HRD类型设置部的配置示例>

图12是示出图11的累积缓冲器和HRD类型设置部的配置示例的框图。

在图12的示例中，累积缓冲器117被配置成包括部分累积缓冲器131和全体累积缓冲器132。

HRD类型设置部128被配置成包括层HRD参数计算部141、时间层HRD参数计算部142、HRD参数类型设置部143和时间HRD参数类型设置部144。

部分累积缓冲器131由累积在全体累积缓冲器132中累积的编码数据(代码)当中的与每个上部时间层有关的编码数据的各个累积缓冲器构成。指示每个累积缓冲器的状态的信息应请求被提供至时间层HRD参数计算部142。

全体累积缓冲器132累积经无损编码部116编码的编码数据(代码)。另外，指示全体累积缓冲器132的全体累积缓冲器状态的信息应请求被提供至层HRD参数计算部141和时间层HRD参数计算部142。另外，存在如下情况：其中，存在如虚线所示的上层的增强层图像编码部101-3。在这种情况下，根据增强层图像编码部101-3的HRD类型设置部(上层)128的请求，指示全体累积缓冲器132的全体累积缓冲器状态的信息也被提供至HRD类型设置部(上层)128。

层HRD参数计算部141根据从HRD参数类型设置部143提供的HRD参数类型(标记)，获取指示全体累积缓冲器132的状态的信息和指示基本层图像编码部101-1的累积缓冲器(下层)117的状态的信息。实际上，信息是从基本层图像编码部101-1的累积缓冲器的全体累积缓冲器132获取的。

当HRD参数类型标记指示1时，获取指示全体累积缓冲器132的状态的信息。当HRD参数类型标记指示0时，获取指示全体累积缓冲器132的状态的信息和指示基本层图像编码部101-1的累积缓冲器(下层)117的状态的信息。

层HRD参数计算部141基于所获取的信息和从HRD参数类型设置部143提供的HRD参数类型标记，计算层HRD参数，并且将所计算出的层HRD参数提供至无损编码部116。

时间层HRD参数计算部142根据从时间HRD参数类型设置部144提供的子HRD参数类型(标记)，获取指示全体累积缓冲器132的状态的信息和指示部分累积缓冲器131的对应时间层的累积缓冲器的状态的信息。

当子HRD参数类型标记指示1时，获取指示部分累积缓冲器131的对应时间层的累积缓冲器的状态的信息。当子HRD参数类型标记指示0时，获取指示全体累积缓冲器132的状态的信息和指示部分累积缓冲器131的对应时间层的累积缓冲器的状态的信息。

时间层HRD参数计算部142基于所获取的信息和从时间HRD参数类型设置部144提供的子HRD参数类型，计算时间层HRD参数，并且将所计算出的时间层HRD参数提供至无损编码部116。

HRD参数类型设置部143根据用户的指令设置HRD参数类型，并且将指示所设置的HRD参数类型的标记提供至无损编码部116和层HRD参数计算部141。

时间HRD参数类型设置部144根据用户的指令设置子HRD参数类型，并且将指示所设置的子HRD参数类型的标记提供至无损编码部116和时间层HRD参数计算部142。

无损编码部116对从HRD参数类型设置部143提供的指示HRD参数类型的标记和从层HRD参数计算部141提供的层HRD参数进行编码，并且将编码信息设置为编码数据的报头信息。无损编码部116对从时间HRD参数类型设置部144提供的指示子HRD参数类型的标记和从时间层HRD参数计算部142提供的时间层HRD参数进行编码，并且将编码信息设置为编码数据的报头信息。编码数据被输出至全体累积缓冲器132。

<层结构>

在可伸缩视频编码中，将图像数据分层为多个层，如以上参照图2至图4所述。以下，为了进行描述，将该层称为主层。

每个主层的图片组构成主层中的序列。类似于单个主层的运动图像数据，序列中的图片形成如图13所示的层级结构(GOP结构)。以下，为了进行描述，将一个主层中的层称为子层。

在图13的示例中，主层由两个层(即，基本层(BaseLayer)和增强层(EnhLayer))构成。基本层是图像仅由其自身的主层形成而不取决于其他主层的层。对基本层的数据进行编码和解码而无需参考其他主层。增强层是与基本层的数据组合以获得图像的主层。对应的基本层的预测处理(主层间预测处理)(也称为“层间预测”)可以使用增强层的数据。

通过可伸缩视频编码分层的编码数据的主层的数量是任意的。以下，假设每个主层被设置为基本层或增强层，并且在每个增强层中，假设任意一个基本层被设置为参考目的的。

在图13的示例中，基本层和增强层中的每一个均具有由三个子层(即，子层0(Sublayer0)、子层1(Sublayer1)和子层2(Sublayer2))构成的GOP结构。如图13所示的正方形指示图片，以及正方形中的字符指示图片的类型。例如，写有“I”的正方形指示I图片，写有“B”的正方形指示可参考的B图片，以及写有“b”的正方形指示没有参考的B图片。另外，正方形之间的虚线指示依赖关系(参考关系)。如各条虚线所指示，上部子层的图片依赖于下部子层的图片。也就是说，子层2(Sublayer2)的图片参考子层1的图片或子层0的图片。另外，子层1的图片参考子层0的图片。子层0的图片适当地参考子层0的图片。

子层的数量(子层数量)是任意的。GOP结构也是任意的，而不限于图13的示例。

这里，将描述与本实施例的对应关系。增强层的所有图片的编码数据累积在图12的全体累积缓冲器132中。

图12的部分累积缓冲器131包括子层1的累积缓冲器和子层2的累积缓冲器。换言之，例如，图13的增强层中的由B2、B4和B6指示的子层1的B图片的编码数据累积在子层1的累积缓冲器中。增强层中的由b1、b3、b5和b7指示的子层2的B图片的编码数据累积在子层2的累积缓冲器中。

另外，图13的基本层的所有图片的编码数据累积在图12所示的基本层图像编码部101-1的累积缓冲器117(的全体累积缓冲器132)中，并且指示缓冲器状态的信息作为指示下层全体累积缓冲器的状态的信息被提供至层HRD参数计算部141。

另外，虽然未示出，但是基本层图像编码部101-1的累积缓冲器117的部分累积缓冲器131包括子层1的累积缓冲器和子层2的累积缓冲器。换言之，例如，图13的基本层中的由B2、B4和B6指示的子层1的B图片的编码数据累积在子层1的累积缓冲器中。基本层中的由b1、b3、b5和b7指示的子层2的B图片的编码数据累积在子层2的累积缓冲器中。

<编码处理的流程>

接下来，将描述由可伸缩编码装置100执行的处理的流程。首先，将参照图14的流程图来描述编码处理的流程的示例。

当编码处理开始时，在步骤S101中，可伸缩编码装置100的编码控制部102考虑到图像的参考关系等来决定处理目标的层。

在步骤S102中，基本层图像编码部101-1在编码控制部102的控制下执行层编码处理。稍后将参照图15描述层编码处理。当步骤S102的处理结束时，处理进行至步骤S103。

在步骤S103中，编码控制部102确定是否已处理所有主层。当确定存在未处理的主层时，处理进行至步骤S104。

在步骤S104中，编码控制部102将下一未处理的主层设置为处理目标(当前主层)。当步骤S104的处理结束时，处理返回至步骤S102。在步骤S102中，增强层图像编码部101-2在编码控制部102的控制下执行层编码处理。重复执行步骤S102至S104的处理以如上所述那样对主层进行编码。步骤S102的处理可以由不具有参考关系的多个层图像编码部101并行地处理。

然后，当在步骤S103中确定已处理所有主层时，编码处理结束。

<层编码处理的流程>

接下来，将参照图15的流程图描述图14的步骤S102中的层编码处理。将结合增强层图像编码部101-2的示例来描述图15的示例。

在步骤S111中，增强层图像编码部101-2的A/D转换部111对增强层的输入图像信息(图像数据)执行A/D转换。在步骤S112中，屏幕重排缓冲器112存储已经受A/D转换的增强层的图像信息(数字数据)，并且按编码顺序重排按显示顺序布置的图片。

在步骤S113中，帧内预测部124以帧内预测模式执行帧内预测处理。在步骤S114中，运动预测/补偿部125执行帧间运动预测处理，在帧间运动预测处理中，执行帧间预测模式下的运动预测和运动补偿。在步骤S115中，预测图像选择部126基于从帧内预测部124和运动预测/补偿部125输出的成本函数值来决定最佳模式。换言之，预测图像选择部126选择帧内预测部124生成的预测图像和运动预测/补偿部125生成的预测图像中的任一个。在步骤S116中，运算部113计算在步骤S112的处理中重排的图像与在步骤S115的处理中选择的预测图像之间的差。差分数据的数据量小于原始图像数据的数据量。因而，可以将数据量压缩为比当对图像进行编码时小而没有改变。

在步骤S117中，正交变换部114对在步骤S116的处理中所生成的差分信息执行正交变换处理。在步骤S118中，量化部115使用比率控制部127计算出的量化参数来对在步骤S117的处理中所获得的正交变换系数进行量化。

如下对在步骤S118的处理中量化的差分信息进行局部解码。换言之，在步骤S119中，逆量化部118根据与量化部115的特性相对应的特性来对在步骤S118的处理中量化的量化后的系数(也称为“量化系数”)执行逆量化。在步骤S120中，逆正交变换部119对在步骤S117的处理中获得的正交变换系数执行逆正交变换。在步骤S121中，运算部120通过将预测图像与局部解码后的差分信息相加来生成局部解码图像(与运算部113的输入对应的图像)。

在步骤S122中，环路滤波器121对在步骤S121的处理中所生成的图像执行滤波。结果，例如，去除了块失真。在步骤S123中，帧存储器122存储例如在步骤S122的处理中除去了块失真的图像。也从运算部120提供未经受环路滤波器121执行的滤波处理的图像并且将其存储在帧存储器122中。在步骤S113的处理或步骤S114的处理中使用存储在帧存储器122中的图像。

在步骤S124中，HRD类型设置部128执行HRD参数编码处理。稍后将参照图16描述HRD参数编码处理，并且通过该处理，将指示HRD参数类型的标记和HRD参数提供至无损编码部116。

在步骤S125中，无损编码部116对在步骤S118的处理中量化的系数进行编码。换言之，对与差分图像对应的数据执行诸如可变长编码或算术编码的无损编码。

此时，无损编码部116对与在步骤S115的处理中选择的预测图像的预测模式有关的信息进行编码，并且将编码后的信息与通过对差分图像进行编码而获得的编码数据相加。换言之，无损编码部116还对例如根据从帧内预测部124提供的最佳帧内预测模式信息或从运动预测/补偿部125提供的最佳帧间预测模式的信息进行编码，并且将编码后的信息与编码数据相加。另外，无损编码部116还对诸如在步骤S124的处理中提供的指示HRD参数类型的标记和HRD参数的信息进行编码，并且将编码后的信息与编码数据相加。

在步骤S126中，累积缓冲器117累积在步骤S125的处理中获得的增强层编码数据。适当地读取累积在累积缓冲器117中的增强层编码数据并且经由传输路径或记录介质将其传送至解码侧。

在步骤S127中，比率控制部127基于在步骤S126的处理中累积在累积缓冲器117中的编码数据的编码量(所生成的编码量)来控制量化部115的量化操作，使得不发生上溢或下溢。另外，比率控制部127将与量化参数有关的信息提供至量化部115。

当步骤S127的处理结束时，编码处理结束，并且该处理返回至图14的步骤S102。

<HRD参数编码处理的流程>

接下来，将参照图16的流程图来描述对图7所示的HRD参数进行编码的示例。

在步骤S131中，HRD参数类型设置部143根据用户的指令设置HRD参数类型。HRD参数类型设置部143将指示所设置的HRD参数类型的标记提供至无损编码部116和层HRD参数计算部141。

在步骤S132中，层HRD参数计算部141根据从HRD参数类型设置部143提供的指示HRD参数类型的标记来执行计算对应层的HRD参数的处理。稍后将参照图17描述计算HRD参数的处理。

在步骤S133中，层HRD参数计算部141将在步骤S132中计算出的对应层的HRD参数提供至无损编码部116，从而对对应层的HRD参数进行编码。

在图15的步骤S125中对在步骤S131中所提供的指示HRD参数类型的标记和在步骤S133中所提供的层的HRD参数进行编码。

在步骤S134中，时间HRD参数类型设置部144根据用户的指令设置子HRD参数类型。时间HRD参数类型设置部144将指示所设置的子HRD参数类型的标记提供至无损编码部116和时间层HRD参数计算部142。

在步骤S135中，时间层HRD参数计算部142根据从时间HRD参数类型设置部144提供的指示子HRD参数类型的标记来执行计算对应的时间层的HRD参数的处理。稍后将参照图18描述计算时间层的HRD参数的处理。

在步骤S136中，时间层HRD参数计算部142将在步骤S135中计算出的时间层的HRD参数提供至无损编码部116，从而对时间层的HRD参数进行编码。

在图15的步骤S125中对在步骤S134中所提供的指示子HRD参数类型的标记和在步骤S136中所提供的时间层的HRD参数进行编码。

在步骤S137中，时间层HRD参数计算部142确定是否结束了对所有时间层的处理。当在步骤S137中确定结束了对所有时间层的处理时，HRD参数编码处理结束，并且处理返回至图15的步骤S124。

当在步骤S137中确定对任一时间层的处理尚未结束时，处理返回至步骤S134，并且重复随后的处理。

<HRD参数计算处理的流程>

接下来，将参照图17的流程图来描述在图16的步骤S132中计算HRD参数的处理。

通过图16的步骤S131将HRD参数类型标记提供至层HRD参数计算部141。在步骤S141中，层HRD参数计算部141确定从HRD参数类型设置部143提供的HRD参数类型标记是否为1。

当在步骤S141中确定HRD参数类型标记为1时，处理进行至步骤S142。

在步骤S142中，层HRD参数计算部141获取指示全体累积缓冲器132的状态的信息。在步骤S143中，层HRD参数计算部141基于所获取的指示全体累积缓冲器132的状态的信息来计算对应层的HRD参数。

当在步骤S141中确定HRD参数类型标记不为1时，处理进行至步骤S144。

在步骤S144中，层HRD参数计算部141获取指示全体累积缓冲器132的状态的信息。在步骤S145中，层HRD参数计算部141获取指示基本层图像编码部101-1的累积缓冲器(下层)117的状态的信息。在步骤S146中，层HRD参数计算部141基于所获取的信息计算对应层的HRD参数。

在步骤S143或S146之后，HRD参数计算处理结束，并且处理返回至图16的步骤S132。

<时间层HRD参数计算处理的流程>

接下来，将参照图18的流程图描述在图16的步骤S135中计算时间层的HRD参数的处理。

通过图16的步骤S134将子HRD参数类型标记提供至时间层HRD参数计算部142。在步骤S151中，时间层HRD参数计算部142确定从时间HRD参数类型设置部144提供的子HRD参数类型标记是否为1。

当在步骤S151中确定子HRD参数类型标记为1时，处理进行至步骤S152。

在步骤S152中，时间层HRD参数计算部142获取指示部分累积缓冲器131的对应时间层的累积缓冲器的状态的信息。在步骤S153中，时间层HRD参数计算部142基于所获取的指示部分累积缓冲器131的状态的信息来计算时间层的HRD参数。

当在步骤S151中确定子HRD参数类型标记不为1时，处理进行至步骤S154。

在步骤S154中，时间层HRD参数计算部142获取指示全体累积缓冲器132的状态的信息。在步骤S155中，时间层HRD参数计算部142获取指示部分累积缓冲器131的对应时间层的累积缓冲器的状态的信息。在步骤S156中，时间层HRD参数计算部142基于所获取的信息计算对应时间层的HRD参数。

在步骤S153或S156之后，时间层HRD参数计算处理结束，并且处理返回至图16的步骤S135。

<HRD参数编码处理的其他流程>

接下来，将参照图19的流程图描述图15的步骤S124的HRD参数编码处理。图16示出了对图8和图9所示的HRD参数进行编码的示例。

在步骤S161中，HRD参数类型设置部143根据用户的指令设置HRD参数类型。HRD参数类型设置部143将指示所设置的HRD参数类型的标记提供至无损编码部116和层HRD参数计算部141。

在步骤S162中，层HRD参数计算部141根据从HRD参数类型设置部143提供的指示HRD参数类型的标记来执行计算对应层的HRD参数的处理。由于计算HRD参数的处理基本上与参照图17描述的处理相同，因此省略了重复描述。

在步骤S163中，层HRD参数计算部141确定是否已对类型1和类型2两者都结束了HRD参数计算处理。当在步骤S163中确定对任一类型尚未结束HRD参数计算处理时，处理返回至步骤S162，并且重复随后的处理。

另外，当计算类型1和类型2中的任一个时，处理进行至步骤S163。

当在步骤S163中确定已对类型1和类型2两者结束HRD参数计算处理时，处理进行至步骤S164。

在步骤S164中，层HRD参数计算部141将在步骤S162中计算出的对应层的HRD参数提供至无损编码部116，从而对对应层的HRD参数进行编码。

在图15的步骤S125中对在步骤S161中所提供的指示HRD参数类型的标记和在步骤S164中所提供的层的HRD参数进行编码。

在步骤S165中，时间HRD参数类型设置部144根据用户的指令设置子HRD参数类型。时间HRD参数类型设置部144将指示所设置的子HRD参数类型的标记提供至无损编码部116和时间层HRD参数计算部142。

在步骤S166中，时间层HRD参数计算部142根据从时间HRD参数类型设置部144提供的指示子HRD参数类型的标记来执行计算对应时间层的HRD参数的处理。由于计算时间层的HRD参数的处理基本上与参照图18描述的处理相同，因此省略了重复描述。

在步骤S167中，层HRD参数计算部141确定是否已对类型1和类型2两者都结束HRD参数计算处理。当在步骤S163中确定对任一类型尚未结束HRD参数计算处理时，处理返回至步骤S166，并且重复随后的处理。

另外，当计算类型1和类型2中的任一个时，处理进行至步骤S168。

当在步骤S167中确定已对类型1和类型2两者结束HRD参数计算处理时，处理进行至步骤S168。

在步骤S168中，时间层HRD参数计算部142将在步骤S166中计算出的对应时间层的HRD参数提供至无损编码部116，从而对时间层的HRD参数进行编码。

在图15的步骤S125中对在步骤S165中所提供的指示子HRD参数类型的标记和在步骤S168中所提供的时间层的HRD参数进行编码。

在步骤S169中，时间层HRD参数计算部142确定是否结束了对所有时间层的处理。当在步骤S169中确定结束了对所有时间层的处理时，HRD参数编码处理结束，并且处理返回至图15的步骤S124。

当在步骤S169中确定尚未结束对任一个时间层的处理时，处理返回至步骤S165，并且重复随后的处理。

如上所述，在编码侧设置如下HRD参数类型标记：其指示HRD参数是用于仅执行对应层的解码处理的参数还是用于执行对应层和更下层的解码处理的参数。因而，可以在适当的定时执行解码处理。

<2.第二实施例>

<可伸缩解码装置>

接下来，将描述对已经受如上所述的可伸缩视频编码的编码数据(位流)的解码。图20是示出与图10的可伸缩编码装置100对应的可伸缩解码装置的主要配置的示例的框图。例如，图20所示的可伸缩解码装置200根据与编码方法对应的方法，对通过经由可伸缩编码装置100对图像数据执行可伸缩编码而获得的编码数据执行可伸缩解码。

可伸缩解码装置200被配置成包括基本层图像解码部201-1、增强层图像解码部201-2和解码控制部202。

基本层图像解码部201-1是与图10的基本层图像编码部101-1对应的图像解码部，并且获取例如通过基本层图像编码部101-1对基本层图像信息进行编码而获得的基本层编码数据。基本层图像解码部201-1对基本层编码数据进行解码而不参考其他层，重构基本层图像信息，并且输出基本层图像信息。

增强层图像解码部201-2是与增强层图像编码部101-2对应的图像解码部，并且获取例如通过增强层图像编码部101-2对增强层图像信息进行编码而获得的增强层编码数据。增强层图像解码部201-2对增强层编码数据进行解码。此时，增强层图像解码部201-2按需要参考与基本层的解码有关的信息来执行层间预测。

另外，将指示HRD参数类型的标记和HRD参数与每条编码数据(位流)相加并传送。增强层图像解码部201-2接收指示HRD参数类型的标记，根据所接收到的指示HRD参数类型的标记获取累积缓冲器的状态信息，并且监视累积缓冲器。

当指示HRD参数类型的标记为1时，增强层图像解码部201-2将HRD参数识别为用于仅对对应层进行解码的参数，获取其自身的累积缓冲器的状态信息，并且监视累积缓冲器。当指示HRD参数类型的标记为0时，增强层图像解码部201-2将HRD参数识别为用于执行对应层和更下层的解码处理的参数，获取基本层图像解码部201-1的累积缓冲器的状态信息，并且监视累积缓冲器。对层和子层(时间层)执行该处理。在基本层图像解码部201-1中，仅对子层执行该处理。

通过解码，增强层图像解码部201-2对增强层的编码数据进行解码，重构增强层图像信息，并且输出增强层图像信息。

基本层图像解码部201-1和增强层图像解码部201-2适当地被统称为“层图像解码部201”。

解码控制部202例如考虑到层图像解码部201的参考关系来控制层图像解码部201的解码处理。

在图20的示例中，示出了一个增强层图像解码部201-2，但当存在上层时，针对每个上层设置对上层进行编码的增强层图像解码部201-3、201-4、…。

<层图像解码部的配置示例>

图21是示出图20的增强层图像解码部201-2的主要配置的示例的框图。除了用作目标的图像的类型不同外，图20的基本层图像解码部201-1具有与图21的增强层图像解码部201-2基本上相同的配置。为了进行描述，在图21的示例中，将作为示例来描述增强层图像解码部201-2的配置。

如图21所示，增强层图像解码部201-2包括累积缓冲器211、无损解码部212、逆量化部213、逆正交变换部214、运算部215、环路滤波器216、屏幕重排缓冲器217和D/A转换部218。增强层图像解码部201-2还包括帧存储器219、选择部220、帧内预测部221、运动预测/补偿部222和选择部223。增强层图像解码部201-2还包括HRD类型解码部224。

累积缓冲器211是接收所传送的增强层编码数据的接收部。累积缓冲器211接收并累积所传送的增强层编码数据，并且在特定的定时将编码数据提供至无损解码部212。将对预测模式信息等进行解码所需的信息与增强层编码数据相加。还将指示HRD参数类型的标记和HRD参数与增强层编码数据相加。

当存在来自HRD类型解码部224的请求时，累积缓冲器211提供指示累积缓冲器211的状态的信息。另外，例如，当存在由虚线所示的上层的增强层图像解码部201-3并且存在来自其HRD类型解码部224的请求时，累积缓冲器211提供指示累积缓冲器211的状态的信息。

无损解码部212根据与无损编码部116的编码方案对应的方案，对经无损编码部116编码并从累积缓冲器211提供的信息进行解码。无损解码部212将通过解码而获得的差分图像的量化系数数据提供至逆量化部213。

另外，无损解码部212适当地提取并获取NAL单位，该NAL单位包括增强层编码数据中包括的视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)等。无损解码部212从该信息中提取与最佳预测模式有关的信息，基于该信息确定帧内预测模式和帧间预测模式中哪一个已被选择作为最佳预测模式，并且将与最佳预测模式有关的信息提供至帧内预测部221和运动预测/补偿部222中的与被确定为已选择的模式对应的一个。

换言之，例如，在增强层图像解码部201-2中，当帧内预测模式被选择作为最佳预测模式时，将与最佳预测模式有关的信息提供至帧内预测部221。另外，例如，在增强层图像解码部201-2中，当帧间预测模式被选择作为最佳预测模式时，将与最佳预测模式有关的信息提供至运动预测/补偿部222。

另外，无损解码部212从NAL单位提取进行逆量化所需的信息(诸如，量化矩阵或量化参数)，并且将所提取的信息提供至逆量化部213。另外，无损解码部212例如从VPS提取指示HRD参数类型的标记和HRD参数，并且将所提取的指示HRD参数类型的标记和HRD参数提供至HRD类型解码部224。

逆量化部213根据与量化部115的量化方案对应的方案，对通过由无损解码部212执行的解码所获得的量化系数数据进行逆量化。逆量化部213与逆量化部118相同的处理部。换言之，对逆量化部213的描述也可以应用于逆量化部118。这里，需要根据装置适当地改变和读取数据输入/输出目的地等。逆量化部213将所获得的系数数据提供至逆正交变换部214。

逆正交变换部214根据与正交变换部114的正交变换方案对应的方案，对从逆量化部213提供的系数数据执行逆正交变换。逆正交变换部214是与逆正交变换部119相同的处理部。换言之，对逆正交变换部214的描述也可以应用于逆正交变换部119。这里，需要根据装置适当地改变和读取数据输入/输出目的地等。

逆正交变换部214通过逆正交变换处理获得与未经受正交变换部114中的正交变换的残差数据对应的解码残差数据。通过逆正交变换获得的解码残差数据被提供至运算部215。另外，经由选择部223将来自帧内预测部221或运动预测/补偿部222的预测图像提供至运算部215。

运算部215将解码残差数据和预测图像相加，并且获得与运算部113未从其减去预测图像的图像数据对应的解码图像数据。运算部215将解码图像数据提供至环路滤波器216。

环路滤波器216适当地对所提供的解码图像执行滤波处理(诸如，解块滤波器、自适应偏移滤波器或自适应环路滤波器)，并且将所得到的图像提供至屏幕重排缓冲器217和帧存储器219。例如，环路滤波器216通过对解码图像执行解块滤波处理来去除解码图像的块失真。另外，例如，环路滤波器216通过使用维纳滤波器对解块滤波处理结果(从其去除了块失真的解码图像)执行环路滤波处理来改进图像质量。环路滤波器216是与环路滤波器121相同的处理部。

另外，可以将从运算部215输出的解码图像提供至屏幕重排缓冲器217或帧存储器219而无需环路滤波器216的介入。换言之，可以省略由环路滤波器216执行的部分或全部滤波处理。

屏幕重排缓冲器217对解码图像进行重排。换言之，按原始显示顺序对屏幕重排缓冲器112按编码顺序重排的帧的顺序进行重排。D/A转换部218对从屏幕重排缓冲器217提供的图像执行D/A转换，并且输出转换后的图像以显示在显示器(未示出)上。

帧存储器219存储所提供的解码图像，并且在特定的定时或者基于例如来自帧内预测部221、运动预测/补偿部222等的外部请求而将所存储的解码图像作为参考图像提供至选择部220。

帧存储器219将所存储的解码图像设置为与增强层的解码有关的信息，并且将该信息提供至上层的增强层图像解码部201-2。

选择部220选择从帧存储器219提供的参考图像的提供目的地。当对通过帧内编码而编码的图像进行解码时，选择部220将从帧存储器219提供的参考图像提供至帧内预测部221。另外，当对通过帧间编码而编码的图像进行解码时，选择部220将从帧存储器219提供的参考图像提供至运动预测/补偿部222。

例如，通过对报头信息进行解码而获得的指示帧内预测模式的信息适当地从无损解码部212提供至帧内预测部221。帧内预测部221通过以在帧内预测部124中使用的帧内预测模式、使用从帧存储器219获取的参考图像执行帧内预测，生成预测图像。帧内预测部221将所生成的预测图像提供至选择部223。

运动预测/补偿部222从无损解码部212获取通过对报头信息进行解码而获得的信息(最佳预测模式信息、参考图像信息等)。

运动预测/补偿部222通过以由从无损解码部212获取的最佳预测模式信息指示的帧间预测模式、使用从帧存储器219获取的参考图像执行帧间预测，生成预测图像。虽然未示出，但是在运动预测/补偿部222中，按需要还参考从基本层图像解码部201-1的帧存储器219提供的参考图像。

选择部223将从帧内预测部221提供的预测图像或从运动预测/补偿部222提供的预测图像提供至运算部215。然后，运算部215将使用运动矢量生成的预测图像与从逆正交变换部214提供的解码残差数据(差分图像信息)相加以对原始图像进行解码。

HRD类型解码部224根据从无损解码部212提供的指示HRD参数类型的标记，从累积缓冲器211或基本层图像解码部201-1的累积缓冲器(下层)211获取指示累积状态的信息。HRD类型解码部224根据与指示HRD参数类型的标记对应的HRD参数、基于所获取的信息来监视累积缓冲器211。

<累积缓冲器和HRD类型解码部的配置示例>

图22是示出图21的累积缓冲器和HRD类型解码部的配置示例的框图。

在图22的示例中，累积缓冲器211被配置成包括部分累积缓冲器231和全体累积缓冲器232。

HRD类型解码部224被配置成包括层HRD参数监视部241、时间层HRD参数监视部242、HRD参数类型解码部243和时间HRD参数类型解码部244。

部分累积缓冲器231由如下的累积缓冲器构成：这些累积缓冲器累积全体累积缓冲器232中累积的编码数据(代码)当中的与每个上部时间层有关的编码数据。指示每个累积缓冲器的状态的信息应请求被提供至时间层HRD参数监视部242。

全体累积缓冲器232累积经增强层图像编码部101-2编码的编码数据(代码)。指示全体累积缓冲器232的全体累积缓冲器状态的信息应请求被提供至层HRD参数监视部241和时间层HRD参数监视部242。另外，存在如下情况：其中，存在如由虚线所示的上层的增强层图像解码部201-3。在该情况下，当存在来自增强层图像解码部201-3的HRD类型解码部(上层)224的请求时，指示全体累积缓冲器232的全体累积缓冲器状态的信息也被提供至HRD类型解码部(上层)224。

层HRD参数监视部241接收从无损解码部212提供的HRD参数，并且获取与从HRD参数类型解码部243提供的指示HRD参数类型的标记对应的HRD参数。层HRD参数监视部241基于所获取的HRD参数来监视累积缓冲器211。

换言之，层HRD参数监视部241根据从HRD参数类型解码部243提供的指示HRD参数类型的标记，获取指示全体累积缓冲器232的状态的信息和指示基本层图像解码部201-1的累积缓冲器(下层)211的状态的信息。

在标记指示1的HRD参数类型的情况下，获取指示全体累积缓冲器232的状态的信息。在标记指示0的HRD参数类型的情况下，获取指示全体累积缓冲器232的状态的信息和指示基本层图像解码部201-1的累积缓冲器(下层)211的状态的信息。实际上，信息是从基本层图像解码部201-1的累积缓冲器的全体累积缓冲器232获取的。

时间层HRD参数监视部242接收从无损解码部212提供的时间层HRD参数，并且获取与从时间HRD参数类型解码部244提供的指示子HRD参数类型的标记对应的时间层HRD参数。层HRD参数监视部241基于所获取的时间层HRD参数监视累积缓冲器211。

换言之，时间层HRD参数监视部242根据从时间HRD参数类型解码部244提供的指示子HRD参数类型的标记，获取指示全体累积缓冲器232的状态的信息和指示部分累积缓冲器231的对应时间层的累积缓冲器的状态的信息。

当指示子HRD参数类型的标记为1时，获取指示部分累积缓冲器231的对应时间层的累积缓冲器的状态的信息。当指示子HRD参数类型的标记为0时，获取指示全体累积缓冲器232的状态的信息和指示部分累积缓冲器231的对应时间层的累积缓冲器的状态的信息。

HRD参数类型解码部243接收从无损解码部212提供的HRD参数类型标记。然后，HRD参数类型解码部243在所接收到的标记当中选择指示与实际流的层配置或者装置的配置或功能对应的HRD参数类型的标记，并且将所选择的标记提供至层HRD参数监视部241。

时间HRD参数类型解码部244接收从无损解码部212提供的子HRD参数类型标记。然后，时间HRD参数类型解码部244在所接收到的标记当中选择指示与实际流的层配置或者装置的配置或功能对应的子HRD参数类型的标记，并将所选择的标记提供至层HRD参数监视部241。

在以上参照图8和图9描述的HRD参数的情况下，描述了两种类型(仅对应层的类型以及对应层和更下层的类型)，从而，可以根据实际流或装置的配置或功能选择任一种类型。另一方面，在以上参照图7描述的HRD参数的情况下，仅描述了一种类型，从而当实际流或装置的配置或功能的类型不同于描述的类型时，忽略HRD参数。

<解码处理的流程>

接下来，将描述由可伸缩解码装置200执行的处理的流程。首先，将参照图23的流程图描述解码处理的流程的示例。

当解码处理开始时，在步骤S201中，可伸缩解码装置200的解码控制部202例如考虑到图像的参考关系而决定处理目标的层。

在步骤S202中，基本层图像解码部201-1在解码控制部202的控制下执行层解码处理。稍后将参照图24描述层解码处理。当步骤S202的处理结束时，处理进行至步骤S203。

在步骤S203中，解码控制部202确定是否已处理所有主层。当确定存在未处理的主层时，处理进行至步骤S204。

在步骤S204中，解码控制部202将下一个未处理的主层设置为处理目标(当前主层)。当步骤S204的处理结束时，处理返回至步骤S202。在步骤S202中，增强层图像解码部201-2在解码控制部202的控制下执行层解码处理。重复地执行步骤S202至S204的处理以如上所述那样对主层进行编码。步骤S202的处理可由不具有参考关系的多个层图像解码部201并行地处理。

然后，当在步骤S203中确定已处理所有主层时，解码处理结束。

<层解码处理的流程>

接下来，将参照图24的流程图描述在图23的步骤S202中执行的层解码处理的流程的示例。将结合增强层图像解码部201-2的示例描述图24的示例。

当层解码处理开始时，在步骤S211中，增强层图像解码部201-2的累积缓冲器211累积从编码侧传送的增强层的位流。

在步骤S212中，无损解码部212对从累积缓冲器211提供的增强层的位流(编码后的差分图像信息)进行解码。换言之，对经无损编码部116编码的I图片、P图片和B图片进行解码。此时，还对除了包括在位流中的差分图像信息外的各种信息(诸如，报头信息)进行解码。从无损解码部212提供的指示HRD参数类型的标记和HRD参数被提供至HRD类型解码部224。

在步骤S213中，HRD类型解码部224执行HRD参数解码处理。稍后将参照图26描述HRD参数解码处理。

在步骤S213中对HRD参数进行解码，并且基于解码后的HRD参数监视累积缓冲器211，使得不发生上溢或下溢。

在步骤S214中，逆量化部213对在步骤S212的处理中所获得的量化系数进行逆量化。

在步骤S215中，逆正交变换部214对当前块(当前TU)执行逆正交变换。

在步骤S216中，帧内预测部221或运动预测/补偿部222执行预测处理，并且生成预测图像。换言之，以在无损解码部212中确定为在编码时应用的预测模式来执行预测处理。更具体地，例如，当在编码时应用帧内预测时，帧内预测部221以被识别为在编码时最佳的帧内预测模式生成预测图像。另外，例如，当在编码时应用帧间预测时，运动预测/补偿部222以被识别为在编码时最佳的帧间预测模式生成预测图像。

在步骤S217中，运算部215将在步骤S216中所生成的预测图像与通过步骤S215的逆正交变换处理生成的差分图像信息相加。结果，对原始图像进行了解码。

在步骤S218中，环路滤波器216适当地对在步骤S217中获得的解码图像执行环路滤波处理。

在步骤S219中，屏幕重排缓冲器217对在步骤S218中经受了滤波处理的图像进行重排。换言之，按原始显示顺序对通过屏幕重排缓冲器112重排用于编码的帧的顺序进行重排。

在步骤S220中，D/A转换部218对在步骤S219中对帧的顺序进行重排的图像执行D/A转换。将图像输出至显示器(未示出)，并且显示图像。

在步骤S221中，帧存储器219存储在步骤S218中经受了环路滤波处理的图像。

当步骤S221的处理结束时，基本层解码处理结束，并且处理返回至图23。

<HRD参数解码处理的流程>

接下来，将参照图25的流程图描述在图24的步骤S213中执行的HRD参数解码处理的流程的示例。

在步骤S231中，HRD参数类型解码部243接收指示对应层的HRD参数类型的标记。然后，HRD参数类型解码部243将例如在所接收到的标记当中指示与实际流的层配置对应的HRD参数类型的标记提供至层HRD参数监视部241。

在步骤S232中，层HRD参数监视部241接收从无损解码部212提供的HRD参数，并且获取与从HRD参数类型解码部243提供的指示HRD参数类型的标记对应的HRD参数。

在步骤S233中，时间HRD参数类型解码部244接收从无损解码部212提供的指示HRD参数类型的标记。然后，时间HRD参数类型解码部244将例如在所接收到的标记当中指示与实际流的层配置对应的子HRD参数类型的标记提供至层HRD参数监视部241。

在步骤S234中，时间层HRD参数监视部242接收从无损解码部212提供的时间层HRD参数，并且获取与从时间HRD参数类型解码部244提供的子HRD参数类型标记对应的时间层HRD参数。

在步骤S235中，时间层HRD参数监视部242确定是否结束了对所有时间层的处理。当在步骤S235中确定对任一个时间层的处理尚未结束时，处理返回至步骤233，并且重复随后的处理。

当在步骤S235中确定结束了对所有时间层的处理时，处理进行至步骤S236。在步骤S236中，层HRD参数监视部241和时间层HRD参数监视部242执行以下将描述的累积缓冲器监视处理。

<累积缓冲器监视处理的流程>

接下来，将参照图26的流程图描述累积缓冲器监视处理。累积缓冲器监视处理是根据本技术的使用HRD参数类型标记的示例，并且本技术不限于该示例。为了进行描述，将执行该处理的定时描述为在HRD参数解码处理内，但本技术不限于该示例，而是可在例如图24的层解码处理内的任意定时执行该处理。

在步骤S251中，层HRD参数监视部241确定指示对应层的HRD参数类型的标记是否为1。当在步骤S251中确定指示对应层的HRD参数类型的标记为1时，处理进行至步骤S252。

在步骤S252中，层HRD参数监视部241获取指示全体累积缓冲器232的状态的信息，并且在步骤S253中，层HRD参数监视部241使用所获取的信息，根据对应层的HRD参数监视对应层的全体累积缓冲器232。

当在步骤S251中确定指示对应层的HRD参数类型的标记为0时，处理进行至步骤S254。

在步骤S254中，层HRD参数监视部241获取指示全体累积缓冲器232的状态的信息，并且在步骤S255中，层HRD参数监视部241获取指示下层的全体累积缓冲器232的状态的信息。

然后，在步骤S256中，层HRD参数监视部241根据对应层的HRD参数，使用在步骤S254和S255中获取的信息来监视对应层的全体累积缓冲器232。

在步骤S257中，时间层HRD参数监视部242确定指示对应时间层的HRD参数类型的标记是否为1。当在步骤S257中确定指示对应时间层的HRD参数类型的标记为1时，处理进行至步骤S258。

在步骤S258中，时间层HRD参数监视部242获取指示部分累积缓冲器231的每个对应时间层的累积缓冲器的状态的信息。

在步骤S259中，时间层HRD参数监视部242根据每个时间层的HRD参数，使用在步骤S258中获取的信息来监视部分累积缓冲器231(的每个缓冲器)。

当在步骤S257中确定指示对应时间层的HRD参数类型的标记为0时，处理进行至步骤S260。

在步骤S260中，时间层HRD参数监视部242获取指示全体累积缓冲器232的状态的信息。

在步骤S261中，时间层HRD参数监视部242获取指示部分累积缓冲器231的每个对应时间层的累积缓冲器的状态的信息。

在步骤S259中，时间层HRD参数监视部242根据每个时间层的HRD参数，使用在步骤S260和S261中获取的信息来监视部分累积缓冲器231(的每个缓冲器)。

如上所述，至少一个标记被设置为指示HRD参数是用于仅执行对应层的解码的参数还是用于执行对应层和更下层的解码处理的参数，因而，可以在适当的定时执行解码处理。

可将该标记作为补充增强信息(SEI)传送至解码侧。

这里，难以检测解码处理是由单个解码装置执行还是由多个解码装置执行，如以上参照图6所描述的那样。在这点上，以上描述了设置指示HRD参数是用于仅执行对应层的解码处理的参数还是用于执行对应层和更下层的解码处理的参数的信息的示例。

然而，当前HEVC仅支持图6所示的示例ex11(即，多个层的解码处理由单个解码装置执行的示例)的HRD参数。换言之，在当前HEVC中，示例ex11的HRD参数被设置为视频参数集(VPS)并传送至解码侧。

在这点上，在本技术中，作为第三实施例，提出了在可伸缩HEVC中通过vps_extension将示例ex12(即，多个层的解码处理由多个解码装置执行的示例)的HRD参数传送至解码侧的技术。

<3.第三实施例>

<vps_extension的句法示例>

图27是示出vps_extension的句法示例的图。在图27的示例中，i指示layer_set的数量，以及j指示层id的数量。另外，从j＝1开始表明当j＝0时仅存在基本层，并且在该情况下，ex11和ex12的处理方法并不相异而是全部相同。

在图27的示例中，针对每个layer_id_included_flag[i][j]，设置layer_set_hrd_layer_info_present_flag[i][j]。当layer_set_hrd_layer_info_present_flag[i][j]为1时，其表明(vps_extension中)存在对应于示例ex12的HRD参数，并且在该情况下，在下一行及其后的行中限定与示例ex12对应的HRD参数。

另外，如图28所示，可在sps(序列参数集)_extension中设置与示例ex12对应的HRD参数。

<sps_extension的句法示例>

图28是示出sps_extension的句法示例的图。

在图28的示例中，设置layer_set_hrd_layer_info_present_flag。当该标记为1时，其表明(sps_extension中)存在与示例ex12对应的HRD参数，并且在这种情况下，在下一行中限定与示例ex12对应的HRD参数。

在图27和图28的示例中，针对每个layer_set设置HRD参数。如图29所示，在VPS中设置layer_set。

<VPS的句法示例>

图29是示出VPS的句法示例的图。在每行的左边的编号是为了描述而添加的行号。

在图29的第16行，layer_set的数量被设置为vps_num_layer_sets_minus1。

在第17至19行，将id[j]的层是否包括在[i]的layer_set中描述为layer_id_included_flag[i][j]。在图30所示的语义中将详细描述layer_id_included_flag[i][j]。

在第27行，hrd参数的数量在vps中被设置为vps_num_hrd_parameters。在第29行，hrd_parameters与layer_set相关联作为hrd_layer_set_idx[i]。在第32行，如上所述那样描述示例ex11的HRD参数。

在第35行，描述了指示vps_extension的存在或不存在的vps_extension_flag。

<layer_id_included_flag[i][j]的语义示例>

图30示出了layer_id_included_flag[i][j]的语义示例。

layer_id_included_flag[i][j]等于1规定，等于j的nuh_layer_id的值包括在层标识符列表layerSetLayerIdList[i]中。layer_id_included_flag[i][j]等于0规定，等于j的nuh_layer_id的值不包括在层标识符列表layerSetLayerIdList[i]中。

numLayersInIdList[0]的值被设置为等于1，并且layerSetLayerIdList[0][0]的值被设置为等于0。

对于在1至vps_num_layer_sets_minus1的范围(包括端点)内的i的每个值，如下得出变量numLayersInIdList[i]和层标识符列表layerSetLayerIdList[i]：

n＝0

for(m＝0；m<＝vps_max_layer_id；m++)

if(layer_id_included_flag[i][m])

layerSetLayerIdList[i][n++]＝m

numLayersInIdList[i]＝n

对于在1至vps_num_layer_sets_minus1的范围(包括端点)内的i的每个值，numLayersInIdList[i]应在1至vps_max_layers_minus1+1的范围(包括端点)内。

当对于在0至vps_num_layer_sets_minus1的范围(包括端点)内的任意iA和iB，numLayersInIdList[iA]等于numLayersInIdList[iB]时(其中，iA不等于iB)时，对于在0至numLayersInIdList[iA]的范围(包括端点)内的n的至少一个值，layerSetLayerIdList[iA][n]的值不应等于layerSetLayerIdList[iB][n]。

层集由关联的层标识符列表标识。对于在0至vps_num_layer_sets_minus1的范围(包括端点)内的i，由VPS指定的第i个层集与层标识符列表layerSetLayerIdList[i]相关联。

层集包括与同一层标识符列表相关的所有操作点。

每个操作点由被表示为OpLayerIdList的关联的层标识符列表和变量OpTid来标识，该关联的层标识符列表包括按nuh_layer_id值的升序包括在操作点中的所有NAL单位的nuh_layer_id值的列表，该变量OpTid等于包括在操作点中的所有NAL单位的最高TemporalId。与由OpLayerIdList和OpTid标识的操作点相关联的位流子集是在将位流、等于OpTid的目标最高TemporalId以及等于OpLayerIdList的目标层标识符列表作为输入的情况下，在子句10中指定的子位流提取处理的输出。标识操作点的OpLayerIdList和OpTid也分别称为与操作点相关联的OpLayerIdList和OpTid。

具体地，如由图30中的框围绕的那样，描述了layer_set包括与同一层标识符列表相关的所有操作点，并且可以在位流当中提取的部分位流与由OpLayerIdList标识的操作点相关联。

具体地，例如，如图31所示设置layer_set。

例如，当层0、层1和层2包括在LayerSet[1]中并且层0和层2包括在LayerSet[2]中时，如下设置layer_id_included_flag。

设置layer_id_included_flag[1][0]＝1，这表明层0包括在LayerSet[1]中。另外，设置layer_id_included_flag[1][1]＝1，这表明层1包括在LayerSet[1]中，并且设置layer_id_included_flag[1][2]＝1，这表明层2包括在LayerSet[1]中。

设置layer_id_included_flag[2][0]＝1，这表明层0包括在LayerSet[2]中。另外，设置layer_id_included_flag[2][1]＝0，这表明层1不包括在LayerSet[2]中，并且设置layer_id_included_flag[2][2]＝1，这表明层2包括在LayerSet[2]中。

如上所述，指示存在与图6的示例ex11对应的HRD参数的标记和与示例ex11对应的HRD参数通过vps被传送至解码侧。另一方面，指示存在与图6的示例ex12对应的HRD参数的标记和与示例ex12对应的HRD参数通过vps_extension被传送至解码侧。因而，解码侧可以在适当的定时执行解码处理。

另外，还可将指示存在与示例ex12对应的HRD参数的标记作为SEI消息传送至解码侧。

<4.第四实施例>

<缓冲器调度管理方法的另一示例>

同时，为了防止缓冲器的上溢或下溢，需要将任一种以下方法应用于缓冲器调度管理。

第一种方法是使用在第一至第三实施例中以HRD参数句法传送的参数的方法。

第二种方法是使用buffering_period_SEI和picture_timing_SEI的方法。

第三种方法是使用在比视频层高的层中传送的参数(诸如，系统层中的时间戳(例如，PTS或DTS))的方法。

在这些方法之中，以下将描述根据第二种方法的使用buffering_period_SEI的方法。

<buffering_period_SEI的句法>

图32是示出buffering_period_SEI的句法示例的图。在每行的左边的编号是为了描述而添加的行号。

在图32的第2行，buffering_period的参数被设置为bp_seq_parameter_set_id，并且可以与SPS相关联。

在随后的行，设置通过来自下层的累积的累积缓冲器的调度管理参数。

同时，提出了如下技术：将除了由单个解码装置执行解码处理的ex11的情况外还针对用于通过分别的解码装置执行对包括要参考的层的各个层进行解码的解码处理的ex12的情况的参数，定义为图像压缩信息或辅助图像压缩信息中的用于利用hdr_parameters()进行缓冲器管理的参数，如以上参照图6描述。

可以将根据第一种方法的hdr_parameters()与VPS或SPS相关联地传送，并且在前者的情况下，可以针对与VPS相关联的层集以及单个层传送hdr_parameters()。

然而，图32所示的buffering_period_SEI可以仅与SPS相关联。因而，难以如在VPS的hdr_parameters()中一样传送与多个层集相关联的参数。

在这点上，在本技术中，通过图33至图35所示的句法执行利用buffering_period_SEI对累积缓冲器的调度管理。

根据本技术的buffering_period_SEI与图32所示的buffering_period_SEI不同之处如下。

换言之，第一个区别在于，根据本技术的buffering_period_SEI可以与VPS以及SPS相关联。第二个区别在于，当与VPS相关联时，可以针对在VPS中定义的每个层集来设置参数。第三个区别在于，如图6所示，可以设置当包括在层集中的所有层由单个解码装置解码时的参数以及当各个层由分别的解码装置解码时的参数。

图33至图35是示出buffering_period_SEI的句法示例的图。在每行的左边的编号是为了描述而添加的行号。

在图33的示例中，在第2行设置associated_parameter_set_flag。associated_parameter_set_flag是指定VPS和SPS中的哪一个与buffering_period_SEI相关联的标记。当associated_parameter_set_flag为0时，其指示与VPS的关联，而当associated_parameter_set_flag为1时，其指示与SPS的关联。

在第3至11行描述了当associated_parameter_set_flag为0时的参数(VPS)。在第4行的bp_video_parameter_set_id指示对应的VPS，并且在第5行的vps_num_bp_parameters指示传送的bp_parameter的数量。

在第7行的bp_layer_set_idx指示与每个bp_parameter对应的层集，并且根据第10行的layer_buffering_period读取图34和图35的layer_buffering_period的句法。

如由第12至15行中的else所示的那样描述当associated_parameter_set_flag为1时的参数(SPS)。

在第13行的bp_seq_parameter_set_id指示对应的SPS，并且根据在第14行的layer_buffering_period读取图34和图35的layer_buffering_period的句法。

换言之，根据图33的句法，在VPS的情况下，根据层集的数量读取图34的句法，而在SPS的情况下，读取图34和图35的句法一次。

如上所述，当associated_parameter_set_flag为0(VPS)时，可以根据图34和图35的buffering_period_SEI句法，针对由VPS指定的层集传送用于缓冲器管理的参数。

在传送与图34和图35的NAL和VCL有关的参数时，如在第18行和第38行中所示，设置用作指示是否传送了仅对应层的参数的标记的layer_specific_parameters_present_flag。当该标记为1时，其指示传送了在第19至27行以及第39至47行中描述的仅对应层的参数。换言之，当layer_specific_parameters_present_flag为1时，可以传送除了图6的ex11以外还如在ex12中一样执行解码处理的参数。

在图34和图35的示例中，除了上述要点之外，buffering_period_SEI与以上参照图32描述的buffering_period_SEI基本上相同，并且在其他行，设置了通过来自下层的累积的累积缓冲器的调度管理参数。

因而，当执行通过buffering_period_SEI对累积缓冲器的调度管理时，可以管理层集以及单个层。另外，在包括在层集中的所有层由单个解码装置解码时以及当各个层由分别的解码装置解码时，都可以执行调度管理。

<可伸缩编码装置>

在buffering_period_SEI的情况下的可伸缩编码装置具有与在HRD参数的情况下的配置基本上相同的配置。因而，将参照图10描述在buffering_period_SEI的情况下的可伸缩编码装置的配置的示例。

换言之，如在HRD参数的情况下，基本层图像编码部101-1获取基本层的图像信息(基本层图像信息)。基本层图像编码部101-1对基本层图像信息进行编码而不参考其他层，生成基本层的编码数据(基本层编码数据)，并且输出所生成的编码数据。

如在HRD参数的情况下一样，增强层图像编码部101-2获取增强层的图像信息(增强层图像信息)。增强层图像编码部101-2对增强层图像信息进行编码。此时，增强层图像编码部101-2按需要参考与基本层的编码有关的信息来执行层间预测。

另外，按需要将缓冲器管理信息从基本层图像编码部101-1提供至增强层图像编码部101-2。不同于HRD参数的情况，增强层图像编码部101-2指定关联参数集，并且根据所指定的参数集指定每个层集的参数或者序列的参数。然后，增强层图像编码部101-2参考从基本层图像编码部101-1提供的缓冲器管理信息来设置所指定的参数。

另外，不同于HRD参数的情况，增强层图像编码部101-2设置layer_specific_parameters_present_flag，并且根据layer_specific_parameters_present_flag的值来设置每层的参数。然后，增强层图像编码部101-2对包括所设置的参数的buffering_period_SEI和layer_buffering_period_SEI进行编码，并将编码后的信息提供至无损编码部301。

如在HRD参数的情况下一样，编码控制部102例如考虑到层图像编码部101的参考关系来控制层图像编码部101的编码处理。

<层图像编码部的配置的示例>

图36是示出在buffering_period_SEI的情况下增强层图像编码部101-2的主要配置的示例的框图。

另外，除了用作目标的图像的类型不同外，在buffering_period_SEI的情况下的基本层图像编码部101-1具有与图36的增强层图像编码部101-2的配置基本上相同的配置。为了进行描述，在图36的示例中，作为示例，将描述增强层图像编码部101-2的配置。

图36的增强层图像编码部101-2与图11的增强层图像编码部101-2的不同之处在于，以无损编码部301替代无损编码部116，未设置HRD类型设置部128，并且添加了缓冲时段SEI设置部302

换言之，图36的增强层图像编码部101-2包括A/D转换部111、屏幕重排缓冲器112、运算部113、正交变换部114、量化部115、无损编码部301、累积缓冲器117、逆量化部118和逆正交变换部119。增强层图像编码部101-2还包括运算部120、环路滤波器121、帧存储器122、选择部123、帧内预测部124、运动预测/补偿部125、预测图像选择部126和比率控制部127。增强层图像编码部101-2还包括缓冲时段SEI设置部302。

类似于图11的无损编码部116，无损编码部301根据任意编码方案对在量化部115中量化的变换系数进行编码。由于在比率控制部127的控制下对系数数据进行量化，因此编码量变为由比率控制部127设置的目标值(或接近目标值)。

类似于无损编码部116，无损编码部301从帧内预测部124获取指示帧内预测模式的信息等，并且从运动预测/补偿部125获取指示帧间预测模式的信息、差分运动矢量信息等。

另外，不同于无损编码部116，无损编码部301除了buffering_period_SEI外还从缓冲时段SEI设置部302获取layer_buffering_period_SEI的编码信息(句法)。

另外，类似于无损编码部116，无损编码部301适当地生成包括序列参数集(SPS)、图片参数集(PPS)等的增强层的NAL单位。类似于无损编码部116，无损编码部301根据任意编码方案对各种信息进行编码，并且将编码信息设置(复用)为编码数据(也称为编码流)的一部分。无损编码部301提供通过编码而获得的编码数据以累积在累积缓冲器117中。

另外，不同于无损编码部116，例如，当存在如虚线所示的上层的增强层图像编码部101-3并且存在来自其缓冲时段SEI设置部302的请求时，无损编码部301将累积缓冲器117的管理信息提供至上层的增强层图像编码部101-3。

累积缓冲器117暂时保存从无损编码部301提供的编码数据(增强层编码数据)。累积缓冲器117在特定的定时将所保存的增强层编码数据输出到后级的记录装置(记录介质)、传输路径等(未示出)。也就是说，累积缓冲器117也用作传送编码数据的传送部。

缓冲时段SEI设置部302指定关联参数集，并且根据所指定的参数集指定每个层集的参数或序列的参数。另外，缓冲时段SEI设置部302参考从基本层图像编码部101-1的无损编码部301(下层)提供的缓冲器管理信息来设置所指定的参数。例如，该参数是来自下层的累积的参数。另外，缓冲时段SEI设置部302设置layer_specific_parameters_present_flag，并且根据所设置的layer_specific_parameters_present_flag的值来设置每层的参数。

缓冲时段SEI设置部302对包括如上所述那样设置的参数的buffering_period_SEI和layer_buffering_period_SEI进行编码，并且将编码后的信息提供至无损编码部301。

<缓冲时段SEI设置部的配置示例>

图37是示出图36的缓冲时段SEI设置部的配置示例的框图。

在图37的示例中，缓冲时段SEI设置部302被配置成包括关联参数集设置部311、层集缓冲器312、层缓冲时段SEI设置部313和层参数传送指定部314。

关联参数集设置部311根据用户的操作执行与associsted_parameter_set_flag有关的指定。换言之，用户指定VPS(标记＝0)和SPS(标记＝1)中的哪一个与buffering_period_SEI相关联。关联参数集设置部311指定associsted_parameter_set_flag的值，并且将所指定的值提供至无损编码部301和层缓冲时段SEI设置部313。

在associsted_parameter_set_flag＝0的情况下，即，当buffering_period_SEI与VPS相关联时，通过无损编码部301提供存储在增强层图像压缩信息的VPS中的与层集有关的信息并将其累积在层集缓冲器312中。层集缓冲器312累积与层集有关的信息，并且在特定的定时将与层集有关的信息提供至层缓冲时段SEI设置部313。

另外，将基本层中的缓冲器管理信息从基本层图像编码部101-1的无损编码部301提供至层缓冲时段SEI设置部313。

层参数传送指定部314根据用户的操作指定layer_specific_parameters_present_flag。换言之，用户指定指示是否执行每层的参数设置的layer_specific_parameters_present_flag的值。层参数传送指定部314指定layer_specific_parameters_present_flag的值，并将所指定的值提供至无损编码部301和层缓冲时段SEI设置部313。

层缓冲时段SEI设置部313执行对buffering_period_SEI和layer_buffering_period_SEI的编码处理，并且将编码信息提供至无损编码部301。

具体地，层缓冲时段SEI设置部313参考从基本层图像编码部101-1的无损编码部301(下层)提供的缓冲器管理信息，根据从关联参数集设置部311提供的associsted_parameter_set_flag设置所指定的参数。换言之，当associsted_parameter_set_flag的值为1(＝VPS)时，层缓冲时段SEI设置部313基于从层集缓冲器312提供的与层集有关的信息来设置每层的参数。另外，当associsted_parameter_set_flag的值为0(＝SPS)时，层缓冲时段SEI设置部313设置序列的参数。

另外，层缓冲时段SEI设置部313根据layer_specific_parameters_present_flag的值，即，当layer_specific_parameters_present_flag的值为1时，设置每层的参数。另外，层缓冲时段SEI设置部313对包括所设置的参数的buffering_period_SEI和layer_buffering_period_SEI进行编码，并且将编码后的信息提供至无损编码部301。

<编码处理的流程>

接下来，将描述在buffering_period_SEI的情况下由可伸缩编码装置100执行的处理的流程。编码处理的流程与以上参照图14描述的编码处理的流程基本上相同，并且省略其描述。

<层编码处理的流程>

接下来，将参照图38的流程图描述在图14的步骤S102中的层编码处理。在图38的步骤S311至S323、S326和S327中，执行与图15的步骤S111至S123、S126和S127中的处理基本上相同的处理，因而，省略其描述。

换言之，在步骤S324中，缓冲时段SEI设置部302执行缓冲时段SEI编码处理。稍后将参照图39描述缓冲时段SEI编码处理，并且通过该处理，设置各个参数，并且对包括所设置的参数的buffering_period_SEI和layer_buffering_period_SEI的信息进行编码并将其提供至无损编码部301。

在步骤S325中，无损编码部301对在步骤S318的处理中量化的系数进行编码。换言之，对与差分图像对应的数据执行诸如可变长编码或算术编码的无损编码。

此时，无损编码部301对与在步骤S315的处理中所选择的预测图像的预测模式有关的信息进行编码，并且将编码后的信息与通过对差分图像进行编码而获得的编码数据相加。换言之，无损编码部301还对例如根据从帧内预测部124提供的最佳帧内预测模式或从运动预测/补偿部125提供的最佳帧间预测模式的信息进行编码，并且将编码信息与编码数据相加。另外，无损编码部301还根据特定的编码方案对例如在步骤S324的处理中提供的buffering_period_SEI和layer_buffering_period_SEI的编码信息(句法)进行编码，并且将编码后的信息与编码数据相加。

<缓冲时段SEI设置处理的流程>

接下来，将参照图39的流程描述图38的步骤S324的缓冲时段SEI编码处理。

例如，层集缓冲器312累积与层集有关的信息，并且在特定的定时将与层集有关的信息提供至层缓冲时段SEI设置部313。

在步骤S331中，关联参数集设置部311根据用户的操作指定关联参数集。换言之，用户指定VPS(标记＝0)和SPS(标记＝1)中的哪一个与buffering_period_SEI相关联。

在步骤S332中，关联参数集设置部311确定关联参数集是否为VPS。当在步骤S332中确定关联参数集为VPS时，处理进行至步骤S333。

在步骤S333中，关联参数集设置部311指定每个层集的参数。换言之，关联参数集设置部311指定associsted_parameter_set_flag的值(标记＝0)，并且将所指定的值提供至无损编码部301和层缓冲时段SEI设置部313。

此时，存储在增强层图像压缩信息的VPS中的与层集有关的信息通过无损编码部301被提供至层集缓冲器312并累积在层集缓冲器312中。然后，层缓冲时段SEI设置部313参考从基本层图像编码部101-1的无损编码部301(下层)提供的缓冲器管理信息，基于从层集缓冲器312提供的与层集有关的信息设置每个层集的参数。

同时，当在步骤S332中确定关联参数集不为VPS时，处理进行至步骤S334。

在步骤S334中，关联参数集设置部311指定序列的参数。换言之，关联参数集设置部311指定associsted_parameter_set_flag的值(标记＝1)，并且将所指定的值提供至无损编码部301和层缓冲时段SEI设置部313。

层缓冲时段SEI设置部313参考从基本层图像编码部101-1的无损编码部301(下层)提供的缓冲器管理信息来设置序列的参数。

在步骤S335中，层参数传送指定部314根据用户的操作设置layer_specific_parameters_present_flag。换言之，用户指定指示是否执行每层的参数的设置的layer_specific_parameters_present_flag的值。

层参数传送指定部314将所设置的layer_specific_parameters_present_flag的值提供至无损编码部301和层缓冲时段SEI设置部313。

在步骤S336中，层缓冲时段SEI设置部313确定layer_specific_parameters_present_flag的值是否为1。当在步骤S336中确定layer_specific_parameters_present_flag的值为1时，处理进行至步骤S337。

在步骤S337中，层缓冲时段SEI设置部313设置每层的参数。

另外，当在步骤S336中确定layer_specific_parameters_present_flag的值为0时，跳过步骤S337的处理。

在步骤S338中，层缓冲时段SEI设置部313对包括如上所述设置的参数的buffering_period_SEI进和layer_buffering_period_SEI进行编码，并将编码后的信息提供至无损编码部301。

由于如上所述那样buffering_period_SEI与VPS以及SPS相关联，因此当执行通过buffering_period_SEI对累积缓冲器的调度管理时，可以管理层集以及单个层。

另外，由于传送了每层的参数，因此可以执行在包括在层集中的所有层由单个解码装置解码时以及在各个层由分别的解码装置解码时的调度管理。

<可伸缩解码装置>

在buffering_period_SEI的情况下的可伸缩解码装置的配置与在HRD参数的情况下的配置基本上相同。因而，将参照图20描述在buffering_period_SEI的情况下的可伸缩解码装置的配置的示例。

换言之，如在HRD参数的情况下一样，基本层图像解码部201-1是与图10的基本层图像编码部101-1对应的图像解码部，并且获取例如通过基本层图像编码部101-1对基本层图像信息进行编码而获得的基本层编码数据。基本层图像解码部201-1对基本层编码数据进行解码而不参考其他层，对基本层图像信息进行重构，并且输出基本层图像信息。

如在HRD参数的情况下一样，增强层图像解码部201-2是与增强层图像编码部101-2对应的图像解码部，并且获取例如通过增强层图像编码部101-2对增强层图像信息进行编码而获得的增强层编码数据。增强层图像解码部201-2对增强层编码数据进行解码。此时，增强层图像解码部201-2按需要参考与基本层的解码有关的信息来执行层间预测。

另外，不同于HRD参数的情况，将图33的buffering_period_SEI以及图34和图35的layer_buffering_period_SEI与每个编码数据(位流)相加并传送。不同于HRD参数的情况，增强层图像解码部201-2从buffering_period_SEI获取与关联参数集有关的信息，并且根据由所获取的信息指示的参数集来对每个层集的参数或序列的参数进行解码。

另外，不同于HRD参数的情况，增强层图像解码部201-2从layer_buffering_period_SEI接收layer_specific_parameters_present_flag，并且根据layer_specific_parameters_present_flag的值对每层的参数进行解码。然后，增强层图像解码部201-2基于解码后的参数监视累积缓冲器。

另外，在不是每层参数的参数(即，从下层累积的参数)的情况下，增强层图像解码部201-2参考从基本层图像解码部201-1的无损解码部351提供的缓冲器管理信息来监视累积缓冲器。

如在HRD参数的情况下，解码控制部202例如考虑到层图像解码部201的参考关系来控制层图像解码部201的解码处理。

<层图像解码部的配置示例>

图40是示出在buffering_period_SEI的情况下的增强层图像解码部201-2的主要配置的示例的框图。

除了用作目标的图像的类型不同外，在buffering_period_SEI的情况下的基本层图像解码部201-1具有与图40的增强层图像解码部201-2基本上相同的配置。为了进行描述，在图40的示例中，作为示例，将描述增强层图像解码部201-2的配置。

图40的增强层图像解码部201-2与图21的增强层图像解码部201-2的不同之处在于，以无损解码部351替代无损解码部212，未设置HRD类型解码部224，并且添加了缓冲时段SEI解码部352。

换言之，增强层图像解码部201-2包括累积缓冲器211、无损解码部351、逆量化部213、逆正交变换部214、运算部215、环路滤波器216、屏幕重排缓冲器217和D/A转换部218。增强层图像解码部201-2还包帧存储器219、选择部220、帧内预测部221、运动预测/补偿部222和选择部223。增强层图像解码部201-2还包括缓冲时段SEI解码部352。

累积缓冲器211是接收所传送的增强层编码数据的接收部。将对诸如预测模式信息的进行解码所需的信息与增强层编码数据相加。将图33的buffering_period_SEI以及图34和图35的layer_buffering_period_SEI与增强层编码数据相加。累积缓冲器211接收并累积所传送的增强层编码数据，并且在特定的定时将编码数据提供至无损解码部212。

另外，累积缓冲器211接收从缓冲时段SEI解码部352提供的layer_buffering_period_SEI解码信息，并且基于layer_buffering_period_SEI解码信息执行缓冲器管理。

类似于图21的无损解码部212，无损解码部351根据与无损编码部301的编码方案对应的方案，对经无损编码部301编码且从累积缓冲器211提供的信息进行解码。无损解码部351将通过解码所获得的差分图像的量化系数数据提供至逆量化部213。

另外，类似于无损解码部212，无损解码部351适当地提取并获取包括增强层编码数据中所包括的视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)等的NAL单位。类似于无损解码部212，无损解码部351从该信息中提取与最佳预测模式有关的信息，基于该信息确定帧内预测模式和帧间预测模式中的哪一个已被选择作为最佳预测模式，并且将与最佳预测模式有关的信息提供至帧内预测部221和运动预测/补偿部222中的与被确定为已选择的模式对应的一个。

换言之，例如，在增强层图像解码部201-2中，当帧内预测模式被选择作为最佳预测模式时，与最佳预测模式有关的信息被提供至帧内预测部221。另外，例如，在增强层图像解码部201-2中，当帧间预测模式被选择作为最佳预测模式时，与最佳预测模式有关的信息被提供至运动预测/补偿部222。

另外，类似于无损解码部212，无损解码部351从NAL单位等提取例如进行逆量化所需的信息(诸如，量化矩阵或量化参数)，并且将所提取的信息提供至逆量化部213。另外，不同于无损解码部212，无损解码部351解析并分离例如图33的buffering_period_SEI以及图34和图35的layer_buffering_period_SEI，并且将图33的buffering_period_SEI以及图34和图35的layer_buffering_period_SEI提供至缓冲时段SEI解码部352。

缓冲时段SEI解码部352根据从无损解码部351提供的buffering_period_SEI的associsted_parameter_set_flag，对每个层集的参数或序列的参数进行解码。换言之，当associsted_parameter_set_flag的值为0(＝VPS)时，层缓冲时段SEI解码部352基于从层集缓冲器312提供的与层集有关的信息来接收每个层集的参数。然后，层缓冲时段SEI解码部352参考从基本层图像解码部201-1的无损解码部(下层)351提供的基本层缓冲器管理信息来对所接收到的每个层集的参数进行解码。

另外，当associsted_parameter_set_flag的值为1(＝SPS)时，层缓冲时段SEI设置部313接收序列的参数。然后，层缓冲时段SEI解码部352参考基本层图像解码部201-1的无损解码部(下层)351的基本层缓冲器管理信息来对所接收到的序列的参数进行解码。

另外，缓冲时段SEI解码部352接收从无损解码部351提供的layer_buffering_period_SEI的layer_specific_parameters_present_flag，并且根据layer_specific_parameters_present_flag的值，即，当layer_specific_parameters_present_flag的值为1时，对每层的参数进行接收和解码。然后，层缓冲时段SEI解码部352将根据associsted_parameter_set_flag和layer_specific_parameters_present_flag解码的layer_buffering_period_SEI解码信息提供至累积缓冲器211。

另外，例如，当存在由虚线所示的上层的增强层图像解码部201-3并且存在来自其缓冲时段SEI解码部352的请求时，无损解码部351将累积缓冲器211的管理信息提供至上层的增强层图像解码部201-3。

<缓冲时段SEI解码部的配置示例>

图41是示出图40的缓冲时段SEI解码部的配置示例的框图。

在图41的示例中，缓冲时段SEI解码部352被配置成包括关联参数集解码部361、层集缓冲器362、层缓冲时段SEI解码部363和层参数传送接收部364。

无损解码部351解析并分离buffering_period_SEI和layer_buffering_period_SEI，并且将buffering_period_SEI编码信息和其中的associated_parameter_set_flag提供至关联参数集解码部361。另外，无损解码部351将layer_buffering_period_SEI编码信息提供至层缓冲时段SEI解码部363，并将其中的layer_specific_parameters_present_flag提供至层参数传送接收部364。

关联参数集解码部361接收从无损解码部351提供的associated_parameter_set_flag，并且根据其值分析buffering_period_SEI编码信息。换言之，关联参数集解码部361根据associated_parameter_set_flag的值而从buffering_period_SEI编码信息获取所需信息，并将所获取的信息提供至层缓冲时段SEI解码部363。

在associated_parameter_set_flag＝0的情况下，即，当buffering_period_SEI与VPS相关联时，无损解码部351将存储在增强层图像压缩信息的VPS中的与层集有关的信息提供至层集缓冲器362。层集缓冲器362累积与层集有关的信息，并且在特定的定时将与层集有关的信息提供至层缓冲时段SEI解码部363。

层缓冲时段SEI解码部363参考基本层图像解码部201-1的无损解码部(下层)351的基本层缓冲器管理信息，根据从关联参数集解码部361提供的associated_parameter_set_flag分析layer_buffering_period_SEI编码信息。然后，层缓冲时段SEI解码部363使用所分析的编码信息对每个层集的参数或序列的参数进行解码。

换言之，当associated_parameter_set_flag的值为1(＝VPS)时，层缓冲时段SEI解码部363基于从层集缓冲器362提供的与层集有关的信息来对每个层集的参数进行解码。另外，当associated_parameter_set_flag的值为0(＝SPS)时，层缓冲时段SEI解码部363对序列的参数进行解码。

另外，层缓冲时段SEI解码部363接收从层参数传送接收部364提供的layer_specific_parameters_present_flag，并且根据其值分析layer_buffering_period_SEI编码信息。当layer_specific_parameters_present_flag的值为1时，层缓冲时段SEI解码部363对每层的参数进行解码。

然后，层缓冲时段SEI解码部363将根据associated_parameter_set_flag和layer_specific_parameters_present_flag解码的layer_buffering_period_SEI解码信息提供至累积缓冲器211。

层参数传送接收部364分析layer_specific_parameters_present_flag的值，并且将所分析的layer_specific_parameters_present_flag的值提供至层缓冲时段SEI解码部363。

<解码处理的流程>

接下来，将描述在buffering_period_SEI的情况下由可伸缩解码装置200执行的处理的流程。解码处理的流程与以上参照图23所述的解码处理的流程基本上相同，因而省略了其描述。

<层解码处理的流程>

接下来，将参照图42的流程图描述在图23的步骤S202中的层解码处理。在图42的步骤S351和S354至S361中，执行与在图24的步骤S211和S214至S221中的处理基本上相同的处理，因而省略其描述。

换言之，在步骤S352中，无损解码部351对从累积缓冲器211提供的增强层的位流(编码后的差分图像信息)进行解码。换言之，对经无损编码部301编码的I图片、P图片和B图片进行解码。此时，还对除了包括在位流中的差分图像信息外的各种信息(诸如，报头信息)进行解码。例如，无损解码部351解析并分离buffering_period_SEI和layer_buffering_period_SEI，并将buffering_period_SEI和layer_buffering_period_SEI提供至缓冲时段SEI解码部352。

在步骤S353中，缓冲时段SEI解码部352执行缓冲时段SEI解码处理。稍后将参照图43描述缓冲时段SEI解码处理。

在步骤S353中对layer_buffering_period_SEI进行解码，并且将layer_buffering_period_SEI解码信息提供至累积缓冲器211。然后，累积缓冲器211基于layer_buffering_period_SEI解码信息执行缓冲器管理。

<缓冲时段SEI解码处理的流程>

接下来，将参照图43的流程图描述图42的步骤S353的缓冲时段SEI解码处理。

在步骤S371中，关联参数集解码部361接收从无损解码部351提供的用作与关联参数集有关的信息的associsted_parameter_set_flag。在步骤S372中，关联参数集解码部361参考从无损解码部351提供的associsted_parameter_set_flag的值来确定关联参数集是否为VPS。

当在步骤S372中确定associsted_parameter_set_flag的值为0时，即，当确定关联参数集为VPS时，处理进行至步骤S373。此时，关联参数集解码部361从buffering_period_SEI编码信息获取所需信息(与每个层集的参数有关的信息)，并将所获取的信息提供至层缓冲时段SEI解码部363。

响应于此，层缓冲时段SEI解码部363参考从buffering_period_SEI编码信息获得的所需信息和基本层图像解码部201-1的无损解码部(下层)351的基本层缓冲器管理信息，根据从关联参数集解码部361提供的associsted_parameter_set_flag＝1来分析layer_buffering_period_SEI编码信息。然后，在步骤S373中，层缓冲时段SEI解码部363使用所分析的编码信息对每个层集的参数进行解码。层缓冲时段SEI解码部363将通过对每个层集的参数进行解码而获得的layer_buffering_period_SEI解码信息提供至累积缓冲器211。

另外，当在步骤S372中确定associsted_parameter_set_flag的值为1时，即，当确定关联参数集为不同于VPS的SPS时，处理进行至步骤S374。此时，关联参数集解码部361从buffering_period_SEI编码信息获取所需信息(与序列的参数有关的信息)，并且将所获取的信息提供至层缓冲时段SEI解码部363。

响应于此，层缓冲时段SEI解码部363参考从buffering_period_SEI编码信息获得的所需信息和基本层图像解码部201-1的无损解码部(下层)351的基本层缓冲器管理信息，根据从关联参数集解码部361提供的associsted_parameter_set_flag＝0来分析layer_buffering_period_SEI编码信息。然后，在步骤S374中，层缓冲时段SEI解码部363使用所分析的编码信息对序列的参数进行解码。层缓冲时段SEI解码部363将通过对序列的参数进行解码而获得的layer_buffering_period_SEI解码信息提供至累积缓冲器211。

在步骤S375中，层参数传送接收部364接收从无损解码部351提供的layer_specific_parameters_present_flag。层参数传送接收部364分析layer_specific_parameters_present_flag的值，并将所分析的layer_specific_parameters_present_flag的值提供至层缓冲时段SEI解码部363。

在步骤S376中，层缓冲时段SEI解码部363确定layer_specific_parameters_present_flag的值是否为1。当在步骤S376中确定layer_specific_parameters_present_flag的值为1时，处理进行至步骤S377。

在步骤S377中，层缓冲时段SEI解码部363分析layer_buffering_period_SEI编码信息，并对每层的参数进行解码。层缓冲时段SEI解码部363将通过对每层的参数进行解码而获得的layer_buffering_period_SEI解码信息提供至累积缓冲器211。

另外，当在步骤S376中确定layer_specific_parameters_present_flag的值为0时，跳过步骤S377。

<5.第五实施例>

<关于AVC标记>

然而，当通过AVC对用作下层的基本层(BL)进行编码并且通过HEVC对用作上层的增强层(EL)进行编码时，难以实现由单个解码装置处理BL和EL的示例。

在这点上，在Vps_extention()中，传送用作指示基本层通过AVC进行编码的标记的avc_base_layer_flag。然后，当avc_base_layer_flag＝1时，禁止示例ex11的参数传送。这通过语义限制来实现。下文中，avc_base_layer_flag也称为“AVC标记”。

<在AVC标记的情况下的HRD参数编码处理>

接下来，将参照图44的流程图描述图15的步骤S124的HRD参数编码处理的另一示例。在图44的步骤S413至S418中，执行与图16的步骤S132至S137中的处理基本上相同的处理，因而，省略了重复描述。

例如，图12的无损编码部116将Vps_extention的avc_base_layer_flag提供至HRD参数类型设置部143。

在步骤S411中，HRD参数类型设置部143检查从无损编码部116提供的avc_base_layer_flag(AVC标记)的值。

在步骤S412中，HRD参数类型设置部143设置HRD参数类型。此时，当在步骤S411中检查的avc_base_layer_flag(AVC标记)的值为1时，其表明基本层通过AVC进行编码，并且禁止执行对应层和更下层的解码处理的处理。因而，HRD参数类型设置部143将HRD参数类型设置为用作用于仅执行对应层的解码处理的值的1。

当在步骤S411中检查的avc_base_layer_flag(AVC标记)的值为0时，类似于图16的步骤S131，HRD参数类型设置部143根据用户的指令设置HRD参数类型。

HRD参数类型设置部143将指示所设置的HRD参数类型的标记提供至无损编码部116和层HRD参数计算部141。

如上所述，在Vps_extention()中，当avc_base_layer_flag＝1表明基本层通过AVC进行编码时，HRD参数类型被设置为用作用于仅执行对应层的解码处理的值的1。因而，当基本层通过AVC进行编码时，由于在解码侧禁止执行对应层和更下层的解码处理的处理，因此防止了解码侧接收不合法的位流。

上述语义甚至可以应用于buffering_period_SEI的情况。

<在AVC标记的情况下的缓冲时段SEI编码处理>

接下来，将参照图45的流程图描述图38的步骤S324的缓冲时段SEI编码处理的另一示例。在图45的步骤S431至S434以及步骤S437至S439中，执行与在图39的步骤S331至S334和S336至S338中的处理基本上相同的处理，因而，省略了重复描述。

例如，图37的无损编码部301将Vps_extention的avc_base_layer_flag提供至层参数传送指定部314。

在步骤S435中，层参数传送指定部314检查从无损编码部301提供的avc_base_layer_flag(AVC标记)的值。

在步骤S436中，层参数传送指定部314设置layer_specific_parameters_present_flag。此时，当在步骤S435中检查的avc_base_layer_flag(AVC标记)的值为1时，其表明基本层通过AVC进行编码，并且禁止执行对应层和更下层的解码处理的处理。因而，层参数传送指定部314将layer_specific_parameters_present_flag设置为用作指示设置了每层的参数的值的1。另外，当layer_specific_parameters_present_flag＝1时，可以不设置从下层累积的参数。

当在步骤S435中检查的avc_base_layer_flag(AVC标记)的值为0时，类似于图39的步骤S335，层参数传送指定部314根据用户的操作设置layer_specific_parameters_present_flag。

层参数传送指定部314将所设置的layer_specific_parameters_present_flag的值提供至无损编码部301和层缓冲时段SEI设置部313。另外，基本层中的缓冲器管理信息从基本层图像编码部101-1的无损编码部301提供至层缓冲时段SEI设置部313。

如上所述，在Vps_extention()中，当avc_base_layer_flag＝1时，将layer_specific_parameters_present_flag设置为用作指示设置了每层的参数的值的1。因而，当基本层通过AVC进行编码时，由于在解码侧禁止了执行对应层和更下层的解码处理的处理，因此防止了解码侧接收不合法的位流。

虽然以上描述了通过可伸缩视频编码将图像数据分层为多个层的示例，但是层的数量是任意的。例如，可对一些图片进行分层。另外，虽然以上描述了在编码和解码时参考基本层对增强层进行处理的示例，但是本技术不限于该示例，并且可参考任意其他的处理后的增强层对增强层进行处理。

另外，在多视图图像编码和解码中的视图也包括在上述的层中。换言之，本技术可以应用于多视图图像编码和多视图图像解码。图46示出了多视图图像编码方案的示例。

<6.第六实施例>

[对多视图图像编码和多视图图像解码的应用]

上述的一系列处理可以应用于多视图图像编码和多视图图像解码。图46示出了多视图图像编码方案的示例。

如图46所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括使用自身视图的图像而不使用其他视图的图像来执行编码和解码的基本视图以及使用其他视图的图像来执行编码和解码的非基本视图。作为非基本视图，可以使用基本视图的图像，并且可以使用其他非基本视图的图像。

当对图46的多视图图像进行编码或解码时，对每个视图的图像进行编码或解码，但根据第一和第二实施例的方法可以应用于对每个视图的编码或解码。结果，可以在适当的定时执行解码处理。

另外，在对每个视图进行编码和解码时可以共用根据第一和第二实施例的方法中所使用的标记或参数。结果，能够抑制冗余信息的传送并且减少要传送的信息量(编码量)(即，能够抑制编码效率的降低)。

更具体地，例如，可以在对每个视图进行编码和解码时共用HRD参数类型标记、HRD参数或buffering_period_SEI和layer_buffering_period_SEI。

当然，在对每个视图进行编码和解码时也可以共用任何其他所需信息。

[多视图图像编码装置]

图47是示出执行上述的多视图图像编码的多视图图像编码装置的图。如图47所示，多视图图像编码装置600具有编码部601、编码部602和复用部603。

编码部601对基本视图图像进行编码，并且生成基本视图图像编码流。编码部602对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用部603对在编码部601中生成的基本视图图像编码流和在编码部602中生成的非基本视图图像编码流进行复用，并且生成多视图图像编码流。

可伸缩编码装置100(图10)可以应用于多视图图像编码装置600的编码部601和编码部602。换言之，可以在对每个视图进行编码时针对每个视图设置HRD参数类型标记或HRD参数，并且可以在适当的定时执行解码处理。另外，由于编码部601和编码部602可以使用相同的HRD参数类型标记或相同的HRD参数(即，可以共用标记或参数)，因此可以抑制编码效率的降低，并且可以在适当的定时执行解码处理。此外，由于同样适用于buffering_period_SEI和layer_buffering_period_SEI，因此类似地能够抑制编码效率的降低，并且能够在适当的定时执行解码处理。

[多视图图像解码装置的配置示例]

图48是示出用于执行上述的多视图图像解码的多视图图像解码装置的图。如图48所示，多视图图像解码装置610具有逆复用部611、解码部612和解码部613。

逆复用部611对基本视图图像编码流和非基本视图图像编码流被复用的多视图图像编码流进行逆复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码部612对逆复用部611提取的基本视图图像编码流进行解码，并且获得基本视图图像。解码部613对逆复用部611提取的非基本视图图像编码流进行解码，并且获得非基本视图图像。

可伸缩解码装置200(图20)可以应用于多视图图像解码装置610的解码部612和解码部613。换言之，可以在对每个视图进行编码时针对每个视图设置HRD参数类型标记或HRD参数，并且可以在适当的定时执行解码处理。另外，由于解码部612和解码部613可以使用相同的HRD参数类型标记或相同的HRD参数(即，可以共用标记或参数)，因此能够抑制编码效率的降低，并且能够在适当的定时执行解码处理。此外，由于同样适用于buffering_period_SEI和layer_buffering_period_SEI，因此类似地能够抑制编码效率的降低，并且能够在适当的定时执行解码处理。

如上所述，本技术可以应用于基于可伸缩编码和解码的所有图像编码装置和所有图像解码装置。

例如，本技术可以应用于在经由网络介质(诸如，卫星广播、有线电视、互联网或移动电话)接收到如在MPEG和H.26x中通过诸如离散余弦变换的正交变换和运动补偿所压缩的图像信息(位流)时所使用的图像编码装置和图像解码装置。另外，本技术可以应用于当对存储介质(诸如，光盘、磁盘或闪存)执行处理时所使用的图像编码装置和图像解码装置。此外，本技术甚至可以应用于在图像编码装置、图像解码装置等中所配备的正交变换装置或逆正交变换装置。

<7.第七实施例>

[计算机]

上述一系列处理可以通过硬件来执行或者可以通过软件来执行。当这系列处理通过软件来执行时，构成该软件的程序安装在计算机中。这里，例如，计算机包括并入专用硬件中的计算机或者可以通过将各种程序安装到计算机中来执行各种功能的通用个人计算机(PC)。

图49是示出用于通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图49所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804彼此连接。

输入和输出接口(I/F)810还连接至总线804。输入部811、输出部812、存储部813、通信部814和驱动器815连接至输入和输出I/F 810。

输入部811由键盘、鼠标、麦克风、触摸面板、输入端子等构成。输出部812由显示器、扬声器、输出端子等构成。存储部813由硬盘、非易失性存储器等构成。通信部814由网络接口等构成。驱动器815驱动可拆卸介质821，诸如磁盘、光盘、磁光盘或半导体存储器。

在如上所述那样配置的计算机中，CPU 801经由输入和输出I/F 810和总线804将存储在存储部813中的程序加载到RAM 803上，并且执行该程序，从而执行上述一系列处理。RAM 803还存储CPU 801执行各种处理所需的数据。

计算机800(CPU 801)执行的程序可以通过记录在作为封装介质的可拆卸介质821等中来提供。还可以经由有线或无线传输介质(诸如，局域网、互联网或数字卫星广播)提供程序。

在计算机中，通过将可拆卸介质821加载到驱动器815中，可以经由输入和输出I/F810将程序安装到存储部813中。也可以使用通信部814从有线或无线传输介质接收程序并且将程序安装到存储部813中。作为另一替选，可以将程序预先安装在ROM 802或存储部813中。

应该注意，由计算机执行的程序可以是根据本说明书中描述的序列按时序处理的程序或者并行地或在必要的定时(诸如在调用时)处理的程序。

在本公开中，描述要记录在记录介质上的程序的步骤可包括根据描述顺序按时序执行的处理，以及不是按时序处理的而是并行地或独立地执行的处理。

另外，在本公开内容中，系统是指多个元件(装置、模块(零件)等)的集合，而与所有元件是否都布置在单个壳体中无关。因而，容纳在分别的壳体中且经由网络连接的多个装置和其中多个模块容纳在单个壳体中的单个装置都是系统。

另外，以上被描述为单个装置(或处理单元)的元件可以被划分且配置为多个装置(或处理单元)。相反地，以上被描述为多个装置(或处理单元)的元件可以被共同地配置为单个装置(或处理单元)。另外，除了上述元件外的元件可以被添加到每个装置(或处理单元)中。另外，只要作为整体的系统的配置或操作基本上相同，给定装置(或处理单元)的元件的一部分可包括在其他装置(或其他处理单元)的元件中。

以上参照附图描述了本公开内容的优选实施例，然而本发明当然不限于上述示例。本公开的技术人员可以在所附权利要求的范围内得到各种变更和修改，并且应该理解，它们将自然归入本公开内容的技术范围。

例如，本公开可以采用通过由多个设备经由网络分配并连接一种功能进行处理的云计算配置。

另外，上述流程图中描述的每个步骤可以由一个设备执行或者可以通过分配多个设备来执行。

此外，当多种处理包括在一个步骤中的情况下，包括在这个步骤中的多种处理可以由一个设备执行或者可以通过分配多个设备来执行。

根据本实施例的图像编码装置和图像解码装置可以应用于各种电子装置，诸如，用于卫星广播、有线广播(诸如，有线电视)、互联网上的分发、经由蜂窝式通信分发给至终端等的发送器和接收器，将图像记录在介质(诸如，光盘、磁盘和闪存)中的记录装置，以及从这样的存储介质再现图像的再现装置。以下将描述四种应用。

<8.应用>

<第一应用：电视接收器>

图50示出了应用了实施例的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部I/F 909、控制部910、用户I/F 911和总线912。

调谐器902从经由天线901接收到的广播信号中提取期望通道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调所获得的编码位流输出至解复用器903。也就是说，调谐器902用作电视装置900中的用于接收图像经编码的编码流的传输单元。

解复用器903对编码位流进行解复用以获得要观看的节目的视频流和音频流，并且将通过解复用而获得的每个流输出至解码器904。解复用器903还从编码位流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供至控制部910。另外，当编码位流被加扰时，解复用器903可执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将在解码处理中所生成的视频数据输出至视频信号处理部905。解码器904还将在解码处理中所生成的音频数据输出至音频信号处理部907。

视频信号处理部905再现从解码器904输入的视频数据，并且使得显示部906显示视频。视频信号处理部905还可使得显示部906显示经由网络提供的应用屏幕。另外，视频信号处理部905可以根据设置例如对视频数据执行诸如去噪的附加处理。此外，视频信号处理部905可生成诸如菜单、按钮和光标的图形用户I/F(GUI)的图像，并且将所生成的图像叠加在输出图像上。

显示部906由从视频信号处理部905提供的驱动信号驱动，并且将视频或图像显示在显示装置(例如，液晶显示器、等离子显示器、有机电致发光显示器(OELD)等)的视频屏幕上。

音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出声音。音频信号处理部907还可对音频数据执行诸如去噪处理的附加处理。

外部I/F 909是用于将电视装置900连接至外部装置或网络的I/F。例如，解码器904可对经由外部I/F 909接收到的视频流或音频流进行解码。即，外部I/F 909也用作电视装置900的用于接收图像被编码的编码流的传输单元。

控制部910包括处理器(诸如，中央处理单元(CPU))和存储器(诸如，随机存取存储器(RAM)和只读存储器(ROM))。存储器存储CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在启动电视装置900时，CPU读出并执行存储在存储器中的程序。CPU通过执行程序，例如根据从用户I/F 911输入的操作信号而控制电视装置900的操作。

用户I/F 911连接至控制部910。用户I/F 911包括例如用户操作电视装置900所使用的按钮和开关以及用于远程控制信号的接收部。用户I/F911经由这些结构元件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部I/F 909和控制部910彼此连接。

在以该方式配置的电视装置900中，解码器904具有根据实施例的可伸缩解码装置200的功能。因而，当在电视装置900中对图像进行解码时，可以在适当的定时执行解码处理。

<第二应用：移动电话>

图51示出了应用了实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。操作部932连接至控制部931。总线933将通信部922、音频编解码器923、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931彼此连接。

移动电话920以包括语音呼叫模式、数据通信模式、图像捕获模式和视频电话模式的各种操作模式执行诸如音频信号的发送和接收、电子邮件或图像数据的发送和接收、图像捕获和数据记录的操作。

在语音呼叫模式下，麦克风925生成的模拟音频信号被提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，使转换后的音频数据经受A/D转换，并且对转换后的数据进行压缩。然后，音频编解码器923将压缩后的音频数据输出至通信部922。通信部922对音频数据进行编码和调制，并且生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送至基站(未示出)。通信部922还对经由天线921接收到的无线信号进行放大并且对无线信号的频率进行转换，以获取接收信号。然后，通信部922对接收信号进行解调和解码，生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行扩展，使音频数据经受D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924以输出声音。

控制部931还根据由用户经由操作部932进行的操作来生成文本数据，文本数据例如构成电子邮件。此外，控制部931使得显示部930显示文本。此外，控制部931根据经由操作部932来自用户的发送指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信部922。通信部922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送至基站(未示出)。通信部922还对经由天线921接收到的无线信号进行放大，并且对无线信号的频率进行转换，以获取接收信号。然后，通信部922对接收信号进行解调和解码以恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制部931。控制部931使得显示部930显示电子邮件的内容，并且使得记录/再现部929的存储介质存储电子邮件数据。

记录/再现部929包括可读写存储介质。例如，存储介质可以是内置的存储介质(诸如RAM和闪存)或者外部安装的存储介质(诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡)。

此外，在图像捕获模式下，相机部926例如捕获对象的图像以生成图像数据，并且将所生成的图像数据输出至图像处理部927。图像处理部927对从相机部926输入的图像数据进行编码，并且使得记录/再现部929的存储介质存储编码流。

此外，在视频电话模式下，解复用部928例如对经图像处理部927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信部922。通信部922对该流进行编码和调制，并且生成发送信号。然后，通信部922将所生成的发送信号经由天线921发送至基站(未示出)。通信部922还对经由天线921接收到的无线信号进行放大，并对无线信号的频率进行转换以获取接收信号。这些发送信号和接收信号可包括编码位流。然后，通信部922对接收信号进行解调和解码以恢复该流，并且将所恢复的流输出至解复用部928。解复用部928对输入流进行解复用以获得视频流和音频流，并且将视频流输出至图像处理部927以及将音频流输出至音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被提供至显示部930，并且显示部930显示一系列图像。音频编解码器923对音频流进行扩展，使音频流经受D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924，并且使得声音输出。

在以该方式配置的移动电话920中，图像处理部927具有根据本实施例的可伸缩编码装置100和可伸缩解码装置200的功能。因而，当在移动电话920中对图像进行编码或解码时，能够在适当的定时执行解码处理。

<第三应用：记录/再现装置>

图52示出了应用了实施例的记录/再现装置的示意性配置的示例。记录/再现装置940例如对接收到的广播节目的音频数据和视频数据进行编码，并且将编码后的音频数据和编码后的视频数据记录在记录介质中。例如，记录/再现装置940还可对从其他装置获取的音频数据和视频数据进行编码，并且将编码后的音频数据和编码后的视频数据记录在记录介质中。此外，记录/再生装置940例如根据用户的指令来使用监视器或扬声器再现记录在记录介质中的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部I/F 942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制部949和用户I/F950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望通道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调所获得的编码位流输出至选择器946。也就是说，调谐器941用作记录/再现装置940的传输单元。

外部I/F 942是用于将记录/再现装置940连接至外部装置或网络的I/F。例如，外部I/F 942可以是电气与电子工程师协会(IEEE)1394I/F、网络I/F、USB I/F、闪存I/F等。例如，经由外部I/F 942接收到的视频数据和音频数据被输入至编码器943。即，外部I/F 942用作记录/再现装置940的传输单元。

当从外部I/F 942输入的视频数据和音频数据没有被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码位流输出至选择器946。

HDD 944将视频和声音的内容数据被压缩的编码位流、各种程序和其他数据记录在内部硬盘中。在再现视频或声音时，HDD 944还从硬盘读出这些数据。

盘驱动器945在安装的记录介质中记录和读出数据。安装在盘驱动器945上的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。

在记录视频或声音时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出至HDD 944或盘驱动器945。在再现视频或声音时，选择器946还将从HDD 944或盘驱动器945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码，并且生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD 948。解码器947还将所生成的音频数据输出至外部扬声器。

OSD 948再现从解码器947输入的视频数据，并且显示视频。例如，OSD 948还可将诸如菜单、按钮和光标的GUI的图像叠加在显示的视频上。

控制部949包括诸如CPU的处理器以及诸如RAM或ROM的存储器。存储器存储CPU要执行的程序、程序数据等。例如，在启动记录/再现装置940时，CPU读出并执行存储在存储器中的程序。CPU通过执行程序，例如根据从用户I/F 950输入的操作信号而控制记录/再现装置940的操作。

用户I/F 950连接至控制部949。用户I/F 950包括例如用户操作记录/再现装置940所使用的按钮和开关以及用于远程控制信号的接收部。用户I/F 950经由这些结构元件检测由用户进行的操作，生成操作信号，并且将所生成的操作信号输出至控制部949。

在以该方式配置的记录/再现装置940中，编码器943具有根据实施例的可伸缩编码装置100的功能。解码器947还具有根据本实施例的可伸缩解码装置200的功能。因而，当在记录/再现装置940中对图像进行编码或解码时，能够在适当的定时执行解码处理。

<第四应用：图像捕获装置>

图53示出了应用了实施例的图像捕获装置的示意性配置的示例。图像捕获装置960捕获主体的图像以生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

图像捕获装置960包括光学组件961、图像捕获部962、信号处理部963、图像处理部964、显示部965、外部I/F 966、存储器967、介质驱动器968、OSD 969、控制部970、用户I/F971和总线972。

光学组件961连接至图像捕获部962。图像捕获部962连接至信号处理部963。显示部965连接至图像处理部964。用户I/F 971连接至控制部970。总线972将图像处理部964、外部I/F 966、存储器967、介质驱动器968、OSD 969和控制部970彼此连接。

光学组件961包括聚焦透镜、孔径光阑(aperture stop)机构等。光学组件961在图像捕获部962的图像捕获表面上形成主体的光学图像。图像捕获部962包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的图像传感器，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。然后，图像捕获部962将图像信号输出至信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号执行各种摄像装置信号处理，诸如膝点校正、伽马校正和颜色校正。信号处理部963将已经受摄像装置信号处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。然后，图像处理部964将所生成的编码数据输出至外部I/F 966或介质驱动器968。图像处理部964还对从外部I/F 966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理部964将所生成的图像数据输出至显示部965。图像处理部964还可将从信号处理部963输入的图像数据输出至显示部965，并且使得显示图像。此外，图像处理部964可将从OSD 969获取的用于显示的数据叠加在要输出至显示部965的图像上。

OSD 969生成诸如菜单、按钮和光标的GUI的图像，并且将所生成的图像输出至图像处理部964。

外部I/F 966被配置为例如USB输入和输出端子。例如，在打印图像时，外部I/F966将图像捕获装置960与打印机连接。驱动器按照需要还连接至外部I/F 966。诸如磁盘和光盘的可拆卸介质安装在驱动器上，并且从可拆卸介质读取的程序可安装在图像捕获装置960中。此外，外部I/F 966可以被配置为要连接至诸如LAN和互联网的网络的网络I/F。即，外部I/F 966用作图像捕获装置960的传输单元。

要安装在介质驱动器968上的记录介质可以是可读写可拆卸介质，诸如磁盘、磁光盘、光盘和半导体存储器。记录介质也可固定地安装在介质驱动器968上，从而构成不可移动的存储部，诸如内置的硬盘驱动器或固态驱动器(SSD)。

控制部970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据等。例如，在启动图像捕获装置960时，CPU读取并执行存储在存储器中的程序。CPU通过执行程序，例如根据从用户I/F 971输入的操作信号控制图像捕获装置960的操作。

用户I/F 971连接至控制部970。用户I/F 971包括例如用户操作图像捕获装置960所使用的按钮、开关等。用户I/F 971检测由用户经由这些结构元件进行的操作，生成操作信号，并且将所生成的操作信号输出至控制部970。

在以该方式配置的图像捕获装置960中，图像处理部964具有根据实施例的可伸缩编码装置100和可伸缩解码装置200的功能。因而，当在图像捕获装置960中对图像进行编码和解码时，能够在适当的定时执行解码处理。

<9.可伸缩视频编码的应用示例>

[第一系统]

接下来，将描述执行可伸缩视频编码(层级编码)的使用可伸缩编码数据的具体示例。可伸缩视频编码例如用于选择要作为图54所示的示例传送的数据。

在图54所示的数据传送系统1000中，分发服务器1002读取存储在可伸缩编码数据存储部1001中的可伸缩编码数据，并且经由网络1003将可伸缩编码数据分发至诸如PC1004、AV装置1005、平板装置1006或移动电话1007的终端装置。

此时，分发服务器1002根据终端装置的能力、通信环境等来选择并传送具有适当质量的编码数据。甚至在分发服务器1002不必要地传送高质量数据时，在终端装置中不一定可获得高质量图像，并且其可能是延迟或上溢发生的原因。另外，可能不必要地占用通信频带，并且可能不必要地增加终端装置的负荷。相比之下，甚至在分发服务器1002不必要地传送低质量数据时，也可能无法获得具有足够质量的图像。因而，分发服务器1002适当地读取并传送存储在可伸缩编码数据存储部1001中的可伸缩编码数据作为具有根据终端装置的能力、通信环境等的适当质量的编码数据。

例如，可伸缩编码数据存储部1001被配置成存储执行了可伸缩视频编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层这两者的编码数据，并且是可以通过进行解码来获得基本层图像和增强层图像的数据。

分发服务器1002根据用于传送数据的终端装置的能力、通信环境等来选择适当的层，并且读取所选择的层的数据。例如，对于具有高处理能力的PC 1004或平板装置1006，分发服务器1002从可伸缩编码数据存储部1001读取可伸缩编码数据(BL+EL)1011，并且传送可伸缩编码数据(BL+EL)1011而无需改变。另一方面，例如，对于具有低处理能力的AV装置1005或移动电话1007，分发服务器1002从可伸缩编码数据(BL+EL)1011中提取基本层的数据，并且传送所提取的基本层的数据作为低质量可伸缩编码数据(BL)1012，低质量可伸缩编码数据(BL)1012是内容与可伸缩编码数据(BL+EL)1011相同但质量低于可伸缩编码数据(BL+EL)1011的数据。

由于可以采用可伸缩编码数据来容易地调整数据量，因此可以抑制延迟或上溢发生或者可以抑制终端装置或通信介质的负荷不必要地增加。另外，由于在可伸缩编码数据(BL+EL)1011中减小了各层之间的冗余性，因此相比于将每层的编码数据当作单独数据时可以进一步减少数据量。因此，能够更有效地使用可伸缩编码数据存储部1001的存储区域。

由于诸如PC 1004至移动电话1007的各种装置可应用作为终端装置，因此终端装置的硬件性能根据装置而不同。另外，由于存在终端装置执行的各种应用，因此其软件性能也不同。此外，由于包括有线网络、无线网络或者两者的所有通信网络(诸如，互联网和局域网(LAN))可应用作为用作通信介质的网络1003，因此各种数据传送性能不同。另外，数据传送性能可根据其他通信等而不同。

因此，分发服务器1002可在开始数据传送之前与作为数据传送目的地的终端装置进行通信，然后获得与终端装置性能(诸如，终端装置的硬件性能或终端装置执行的应用(软件)性能)有关的信息以及与通信环境有关的信息(诸如，网络1003的可用带宽)。然后，分发服务器1002可基于所获得的信息选择适合的层。

此外，可在终端装置中执行层的提取。例如，PC 1004可对所传送的可伸缩编码数据(BL+EL)1011进行解码并且显示基本层的图像或显示增强层的图像。另外，例如，PC 1004可被配置成从所传送的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012，存储所提取的基本层的可伸缩编码数据(BL)1012，传送至其他装置，或者对基本层的图像进行解码和显示。

当然，可伸缩编码数据存储部1001、分发服务器1002、网络1003以及终端装置的数量是可选的。另外，虽然以上描述了分发服务器1002将数据传送到终端装置的示例，但使用示例不限于此。数据传送系统1000可应用于如下任意系统：当将可伸缩编码数据传送到终端装置时，其根据终端装置的能力、通信环境等来选择和传送适合的层。

<第二系统>

另外，如在图55所示的示例中一样，可伸缩视频编码例如用于经由多种通信介质进行传送。

在图55所示的数据传送系统1100中，广播站1101通过地面广播1111传送基本层的可伸缩编码数据(BL)1121。另外，广播站1101经由由作为有线网络、无线网络或两者的通信网络构成的任一个任意网络1112传送增强层的可伸缩编码数据(EL)1122(例如，对该数据进行打包和传送)。

终端装置1102具有接收由广播站1101广播的地面广播1111的功能，以及接收经由地面广播1111传送的基本层的可伸缩编码数据(BL)1121。另外，终端装置1102还具有经由网络1112进行通信的通信功能，并且接收经由网络1112传送的增强层的可伸缩编码数据(EL)1122。

例如，根据用户的指令等，终端装置1102对经由地面广播1111获取的基本层的可伸缩编码数据(BL)1121进行解码，从而获得或存储基本层的图像或者将基本层的图像传送至其他装置。

另外，例如，根据用户的指令，终端装置1102将经由地面广播1111获取的基本层的可伸缩编码数据(BL)1121与经由网络1112获取的增强层的可伸缩编码数据(EL)1122进行合成，从而获得可伸缩编码数据(BL+EL)，通过对可伸缩编码数据(BL+EL)进行解码来获得或存储增强层的图像，或者将增强层的图像传送至其他装置。

如上所述，针对每个层，可以经由不同的通信介质传送例如可伸缩编码数据。因此，能够分散负荷并且抑制延迟或上溢的发生。

另外，根据状况，可配置成针对每层对用于进行传送的通信介质进行选择。例如，可经由带宽较宽的通信介质传送数据量相对大的基本层的可伸缩编码数据(BL)1121，并且可经由带宽窄的通信介质传送数据量相对小的增强层的可伸缩编码数据(EL)1122。另外，例如，可根据网络1112的可用带宽来切换用于传送增强层的可伸缩编码数据(EL)1122的通信介质是网络1112还是地面广播1111。当然，同样适用于任意层的数据。

通过以该方式进行控制，能够进一步抑制数据传送中的负荷的增加。

当然，层的数量是可选的，并且在传送中所使用的通信介质的数量也是可选的。另外，作为数据分发的目的地的终端装置102的数量也是可选的。另外，虽然以上描述了从广播站1101进行广播的示例，但是使用示例不限于此。数据传送系统1100可以应用于使用层作为单位来对可伸缩编码数据进行划分并且经由多条链路传送可伸缩编码数据的任何系统。

<第三系统>

另外，在作为图56所示的示例的编码数据存储中使用可伸缩视频编码。

在图56所示的图像捕获系统1200中，图像捕获装置1201对通过捕获主体1211的图像而获得的图像数据执行可伸缩视频编码，并且将可伸缩编码结果作为可伸缩编码数据(BL+EL)1221提供至可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202以根据状况的质量存储从图像捕获装置1201提供的可伸缩编码数据(BL+EL)1221。例如，在正常状况的情况下，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221中提取基本层的数据，并且以低质量将所提取的数据存储为数据量小的基本层的可伸缩编码数据(BL)1222。另一方面，例如，在注意状况的情况下，可伸缩编码数据存储装置1202以高质量存储数据量大的可伸缩编码数据(BL+EL)1221而无需改变。

这样，由于可伸缩编码数据存储装置1202可以仅在需要的情况下以高质量保存图像，因此能够抑制由于图像质量的劣化而引起的图像值减小并且抑制数据量的增加，以及能够改进存储区域的使用效率。

例如，假设图像捕获装置1201是监视摄像装置。由于当在成像的图像中未显示监视目标(例如，侵入者)时(在正常状况的情况下)捕获的图像的内容很可能是不重要的，因此优先数据量的减少，并且以低质量存储图像数据(可伸缩编码数据)。另一方面，由于当在成像的图像中显示监视目标为主体1211时(在注意状况的情况下)捕获的图像的内容很可能是重要的，因此优先图像质量，并且以高质量存储图像数据(可伸缩编码数据)。

例如，可通过分析图像而由可伸缩编码数据存储装置1202确定该情况是正常状况还是注意状况。另外，图像捕获装置1201可以被配置成进行确定并且将确定结果传送至可伸缩编码数据存储装置1202。

该情况是正常状况还是注意状况的情况的确定准则是可选的，并且作为确定准则的图像的内容是可选的。当然，除了图像的内容外的条件可以被指定为确定准则。例如，切换可以被配置成根据记录的声音的幅度或波形来执行，以预定的时间间隔来执行，或者根据诸如用户指令的外部指令来执行。

另外，虽然以上描述了正常状况和注意状况这两种状态，但是状态的数量是可选的，并且例如，切换可被配置成在三种以上的状态(诸如，正常状况、稍注意状况、注意状况以及高度注意状况)之间执行。然而，要切换的状态的上限数量取决于可伸缩编码数据的层数。

另外，图像捕获装置1201可根据状态确定可伸缩视频编码的层数。例如，在正常状况的情况下，图像捕获装置1201可以以低质量生成数据量小的基本层的可伸缩编码数据(BL)1222，并且将该数据提供至可伸缩编码数据存储装置1202。另外，例如，在注意状况的情况下，图像捕获装置1201可以以高质量生成数据量大的基本层的可伸缩编码数据(BL+EL)1221，并且将该数据提供至可伸缩编码数据存储装置1202。

虽然作为示例以上描述了监视摄像装置，但是图像捕获系统1200的使用是可选的并且不限于监视摄像装置。

另外，本技术还可以应用于诸如MEGP DASH的HTTP流送，其中，从预先准备的具有不同分辨率的多条编码数据当中以片段为单位选择适当的编码数据并使用。也就是说，多条编码数据可以共享与编码或解码有关的信息。

另外，在本说明书中，以描述了如下示例：其中，将各种信息(诸如HRD参数类型标记、HRD参数或buffering_period_SEI和layer_buffering_period_SEI)复用为编码流并从编码侧传送至解码侧。然而，传送信息的技术不限于该示例。例如，可将信息作为与编码位流相关联的单独数据传送或记录而不被复用在编码流中。这里，术语“关联”是指包括在位流中的图像(其可以是图像的一部分，诸如切片或块)和与该图像对应的信息被配置成在解码时链接。即，该信息可在与图像(或位流)分离的传输路径上传送。另外，信息可记录在与图像(或位流)分离的记录介质(或同一记录介质的分离的记录区域)上。另外，信息和图像(或位流)例如可以任意单位(诸如，多个帧、一个帧或帧内的一部分)彼此相关联。

以上参照附图描述了本公开内容的优选实施例，但是本发明当然不限于上述示例。本领域技术人员可在所附权利要求的范围内得到各种变更和修改，并且应该理解，其将自然归入本公开内容的技术范围。

另外，还可如下配置本技术。

(1)一种图像处理装置，包括：

接收部，被配置成接收通过对具有至少一个层的图像进行编码而获得的位流和每层的缓冲器管理参数信息，所述缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及所述用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；以及

解码部，被配置成对所述接收部接收到的位流进行解码并生成图像。

(2)根据(1)所述的图像处理装置，

其中，所述层包括层和子层。

(3)根据(1)或(2)所述的图像处理装置，

其中，所述层是多视图编码的视图。

(4)根据(1)或(2)所述的图像处理装置，

其中，所述层是可伸缩视频编码的层。

(5)根据(1)至(4)中任一项所述的图像处理装置，

其中，所述缓冲器管理参数信息在补充增强信息SEI中被描述。

(6)根据(1)至(5)中任一项所述的图像处理装置，

其中，所述缓冲器管理参数信息在buffering_period_SEI中被描述。

(7)根据(1)至(4)中任一项所述的图像处理装置，

其中，参数存在/不存在信息在视频参数集vps_extension中被描述，所述参数存在/不存在信息指示用作所述用于仅执行对应层的解码处理的参数的、所述用于管理解码器缓冲器的参数的存在或不存在。

(8)根据(1)至(7)中任一项所述的图像处理装置，

其中，所述接收部接收高级视频编码AVC标记和每层的所述缓冲器管理参数信息，所述AVC标记指示比所述对应层低的层是以运动图片专家组MPEG-4部分10AVC进行编码的，所述缓冲器管理参数信息指示所述用于管理解码器缓冲器的参数是所述用于仅执行对应层的解码处理的参数。

(9)一种图像处理方法，包括：

由图像处理装置接收通过对具有至少一个层的图像进行编码而获得的位流和每层的缓冲器管理参数信息，其中，所述缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及所述用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；以及

由所述图像处理装置对所接收到的位流进行解码并生成图像。

(10)一种图像处理装置，包括：

设置部，被配置成设置每层的缓冲器管理参数信息，所述缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及所述用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；

编码部，被配置成对具有至少一个层的图像进行编码并且生成位流；以及

传送部，被配置成传送所述设置部设置的所述缓冲器管理参数信息和所述编码部生成的位流。

(11)根据(10)所述的图像处理装置，

其中，所述层包括层和子层。

(12)根据(10)或(11)所述的图像处理装置，

其中，所述层是多视图编码的视图。

(13)根据(10)或(11)所述的图像处理装置，

其中，所述层是可伸缩视频编码的层。

(14)根据(10)至(13)中任一项所述的图像处理装置，

(15)根据(10)至(14)中任一项所述的图像处理装置，

(16)根据(10)至(13)中任一项所述的图像处理装置，

(17)根据(10)至(16)中任一项所述的图像处理装置，

其中，所述设置部设置高级视频编码AVC标记和每层的所述缓冲器管理参数信息，所述AVC标记指示比所述对应层低的层是以运动图片专家组MPEG-4部分10AVC进行编码的，所述缓冲器管理参数信息指示所述用于管理解码器缓冲器的参数是所述用于仅执行对应层的解码处理的参数。

(18)一种图像处理方法，包括：

由图像处理装置设置每层的缓冲器管理参数信息，所述缓冲器管理参数信息指示以下中的至少一种：用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数、以及所述用于管理解码器缓冲器的参数是用于执行对应层和更下层的解码处理的参数；

由所述图像处理装置对具有至少一个层的图像进行编码并且生成位流；以及

由所述图像处理装置传送所设置的缓冲器管理参数信息和所生成的位流。

附图标记列表

100 可伸缩编码装置

101 层图像编码部

101-1 基本层图像编码部

101-2、101-3 增强层图像编码部

102 编码控制部

116 无损编码部

117 累积缓冲器

127 HRD类型设置部

131 部分累积缓冲器

132 全体累积缓冲器

141 层HRD参数计算部

142 时间层HRD参数计算部

143 HRD参数类型设置部

144 时间HRD参数类型设置部

200 可伸缩解码装置

201 层图像解码部

201-1 基本层图像解码部

201-2、201-3 增强层图像解码部

202 解码控制部

211 累积缓冲器

212 无损解码部

224 HRD类型解码部

231 部分累积缓冲器

232 全体累积缓冲器

241 层HRD参数监视部

242 时间层HRD参数监视部

243 HRD参数类型解码部

244 时间HRD参数类型解码部

301 无损编码部

302 缓冲时段SEI设置部

311 关联参数集设置部

312 层集缓冲器

313 层缓冲时段SEI设置部

314 层参数传送指定部

351 无损解码部

352 缓冲时段SEI解码部

361 关联参数集解码部

362 层集缓冲器

363 层缓冲时段SEI解码部

364 层参数传送接收部

Claims

1.一种图像处理装置，包括：

接收部，被配置成接收通过对具有至少一个层的图像进行编码而获得的位流、每层的缓冲器管理参数信息和每层的用于管理解码器缓冲器的参数，所述缓冲器管理参数信息指示：对应层的用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数还是用于执行对应层和更下层的解码处理的参数；以及

2.根据权利要求1所述的图像处理装置，

其中，所述层包括层和子层。

3.根据权利要求2所述的图像处理装置，

其中，所述层是多视图编码的视图。

4.根据权利要求2所述的图像处理装置，

其中，所述层是可伸缩视频编码的层。

5.根据权利要求1所述的图像处理装置，

6.根据权利要求5所述的图像处理装置，

7.根据权利要求1所述的图像处理装置，

8.根据权利要求1所述的图像处理装置，

9.一种图像处理方法，包括：

由图像处理装置接收通过对具有至少一个层的图像进行编码而获得的位流、每层的缓冲器管理参数信息和每层的用于管理解码器缓冲器的参数，其中，所述缓冲器管理参数信息指示：对应层的用于管理解码器缓冲器的参数是用于仅执行对应层的解码处理的参数还是用于执行对应层和更下层的解码处理的参数；以及