CN103339937A - 图像编码方法、图像编码装置、图像解码方法、图像解码装置以及图像编解码装置 - Google Patents

Abstract

按每个块对图像进行编码的图像编码方法，包括以下步骤：上下文选择步骤（S301），针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示编码对象系数的参数进行算术编码的上下文；以及算术编码步骤（S302），使用所选择的上下文的概率信息，对表示编码对象系数的参数进行算术编码；在上下文选择步骤中，从与表示编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。

Description

图像编码方法、图像编码装置、图像解码方法、图像解码装置以及图像编解码装置

技术领域

本发明涉及进行算术编码或算术解码的图像编码技术及图像解码技术。

背景技术

近年来，数字影像设备的技术日益进步，要求对影像信号（按照时间序列顺序排列的多个图片）进行压缩编码。压缩编码后的影像信号例如记录在DVD或硬盘等记录介质中或发布到网络上。作为图像编码规格，有H.264/AVC（MPEG-4AVC），但是作为下一代标准规格，正在研究HEVC（HighEfficiency Video Coding）规格（非专利文献1）。

目前的HEVC规格由以下步骤构成：预测编码图像的步骤、求出预测图像与编码对象图像的差量的步骤、将差量图像变换为频率系数的步骤、以及对频率系数进行算术编码的步骤。在算术编码的步骤中，编码对象块中包含的成分（系数）例如按照从高频成分到低频成分的顺序被进行上下文自适应算术编码。

在先技术文献

非专利文献

非专利文献1：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,6th Meeting:Torino,IT,14-22July,2011JCTVC-F803_d0,Title:WD4:Working Draft4of High-Efficiency Video Coding http://phenix.it-sudparis.eu/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F803-v2.zip

发明的概要

发明所要解决的课题

但是，在以往的上下文自适应算术编码中，有时用于对编码对象系数进行编码的上下文的选择处理的负荷变高。

发明内容

因此，本发明提供一种图像编码方法，在上下文自适应算术编码中，能够减轻用于对编码对象系数进行编码的上下文的选择处理的负荷。

解决课题所采用的手段

本发明的一个方式的图像编码方法，是按每个块对图像进行编码的图像编码方法，包括以下步骤：上下文选择步骤，针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述编码对象系数的参数进行算术编码的上下文；以及算术编码步骤，使用所选择的所述上下文的概率信息，对表示所述编码对象系数的参数进行算术编码；在所述上下文选择步骤中，从与表示所述编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

另外，这些整体或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

发明效果

根据本发明的一个方式的图像编码方法，在上下文自适应算术编码中，能够减轻用于对编码对象系数进行编码的上下文的选择处理的负荷。

附图说明

图1是用于说明基础知识中的、用于对significant_flag进行算术编码的上下文的选择方法的图。

图2是表示基础知识中的、编码对象块中包含的系数的编码顺序的图。

图3A是用于说明基础知识中的、用于子块中包含的1个系数的上下文集合的图。

图3B是用于说明基础知识中的、用于子块中包含的另1个系数的上下文集合的图。

图4是表示实施方式1中的图像编码装置的构成的框图。

图5是表示实施方式1中的图像编码装置的处理动作的流程图。

图6是表示实施方式1中的可变长度编码部的内部构成的框图。

图7是表示实施方式1中的可变长度编码部的处理动作的流程图。

图8是表示实施方式1中的significant_flag编码部的内部构成的框图。

图9是表示实施方式1中的significant_flag编码部的处理动作的流程图。

图10A是表示实施方式1中的、16×16像素的符号块的情况下的分组结果的一例的图。

图10B是表示实施方式1中的、32×32像素的符号块的情况下的分组结果的一例的图。

图11A是用于说明实施方式1中的、用于系数块中包含的1个系数的上下文集合的图。

图11B是用于说明实施方式1中的、用于系数块中包含的另1个系数的上下文集合的图。

图12是表示实施方式2中的图像解码装置的构成的框图。

图13是表示实施方式2中的图像解码装置的处理动作的流程图。

图14是表示实施方式2中的可变长度解码部的内部构成的框图。

图15是表示实施方式2中的可变长度解码部的处理动作的流程图。

图16是表示实施方式2中的significant_flag解码部的内部构成的框图。

图17是表示实施方式2中的significant_flag解码部的处理动作的流程图。

图18是表示实施方式1的变形例中的图像编码装置的构成的框图。

图19是表示实施方式1的变形例中的图像编码装置的处理动作的流程图。

图20是表示实施方式2的变形例中的图像解码装置的构成的框图。

图21是表示实施方式2的变形例中的图像解码装置的处理动作的流程图。

图22是实现内容分发服务的内容供给系统的整体结构图。

图23是数字广播用系统的整体结构图。

图24是表示电视机的结构例的框图。

图25是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。

图26是表示作为光盘的记录介质的构造例的图。

图27A是表示便携电话的一例的图。

图27B是表示便携电话的结构例的框图。

图28是表示复用数据的结构的图。

图29是示意地表示各流在复用数据中怎样被复用的图。

图30是更详细地表示在PES包列中视频流怎样被保存的图。

图31是表示复用数据的TS包和源包的构造的图。

图32是表示PMT的数据结构的图。

图33是表示复用数据信息的内部结构的图。

图34是表示流属性信息的内部结构的图。

图35是表示识别影像数据的步骤的图。

图36是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的框图。

图37是表示切换驱动频率的结构的图。

图38是表示识别影像数据、切换驱动频率的步骤的图。

图39是表示将影像数据的规格与驱动频率建立了对应的查找表的一例的图。

图40A是表示将信号处理部的模块共用的结构的一例的图。

图40B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

（作为本发明的基础的知识）

用于对编码对象系数进行算术编码的上下文根据编码对象系数的周边的已编码系数来选择。然后，使用与选择的上下文对应的码元发生概率来对编码对象系数进行算术编码。

在一般的图像中，越接近于低频成分的系数，其值越大。因此，通过参照已编码的周边系数（与编码对象系数相比高频成分的系数）来选择上下文，能够使码元发生概率具有偏倚。例如，已编码的周边系数的值越大，编码对象系数的值也变大的概率越大。因此，已编码的周边系数的值较大的情况下，为了进行编码对象系数的算术编码而使用较大值所用的上下文，由此能够减少发生符号量。

此外，编码对象块内的多个系数基于频率成分来分组。然后，使用每个组不同的上下文集合。即，各系数使用从与该系数所属的组对应的上下文集合中选择的上下文来进行算术编码。在一般的图像中，在低频域中大的系数较多，在高频域中小的系数较多。因此，通过在低频域的系数和高频域的系数中使用不同的上下文集合，能够减少发生符号量。

在HEVC规格中，通过多个参数（例如significant_flag或greater1_flag等）来表现系数。图1是用于说明用来对significant_flag进行算术编码的上下文的选择方法的图。

在图1中，编码对象块包括16×16像素。并且，各像素具有系数。越是位于左上的像素，越具有低频成分的系数，越是位于右下的像素，越具有高频成分的系数。

此外，各像素属于组A及组B的某一个。在图1中，组A是未施加阴影的像素所属的组。组B是施加了阴影的像素所属的组。

从与该像素所属的组对应的上下文集合中选择用于对表示各像素所具有的系数的significant_flag进行算术编码的上下文。例如位于左上角的像素的significant_flag从与组A对应的上下文集合A中选择上下文。另一方面，例如位于右下角的像素的significant_flag从与组B对应的上下文集合B中选择上下文。

这时，从上下文集合选择上下文是基于位于编码对象像素（编码对象系数）的附近的参照像素所具有的系数（参照系数）来进行的。在图1中，使用位于编码对象系数的右侧的2个系数、位于下侧的2个系数、以及位于右下的系数的共5个参照系数，来决定从上下文集合选择的上下文。

如上述那样，如图1所示，通过将多个像素分组并使用编码对象系数的附近的参照系数，能够利用由频率成分在系数中产生偏倚的特征来选择上下文，能够提高编码效率。

图2表示编码对象块中包含的系数的编码顺序。在图2中，16×16像素的编码对象块被分割为由粗线包围的多个4×4像素的子块。子块内记载的编号表示编码顺序。即，编码对象块中包含的多个系数按照虚线箭头所示的顺序，以子块为单位被编码。此外，子块中包含的多个系数按照第13个子块中记载的箭头所示的顺序被编码。

图3A及图3B是用于说明位于左上角的子块中包含的不同的系数所用的上下文集合的图。图3A的编码对象系数和图3B的编码对象系数包含在同一子块中，但是包含在不同的组中。即，用于对图3A的编码对象系数进行算术编码的上下文和用于对图3B的编码对象系数进行算术编码的上下文从不同的上下文集合中选择。

即，如图1所示，将多个像素（多个系数）分组的情况下，在子块内发生上下文集合的切换。这种情况下，需要例如按照子块内的每个系数判定该系数属于哪个组，上下文的选择处理的负荷增大。

因此，本发明的一个方式的图像编码方法，是按每个块对图像进行编码的图像编码方法，包括以下步骤：上下文选择步骤，针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述编码对象系数的参数进行算术编码的上下文；以及算术编码步骤，使用所选择的所述上下文的概率信息，对表示所述编码对象系数的参数进行算术编码；在所述上下文选择步骤中，从与表示所述编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

根据该方法，能够从与子块对应的上下文集合中选择上下文。因此，能够防止在子块内发生上下文集合的切换，能够降低上下文的选择处理的负荷。

此外，根据该方法，能够从与表示编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。因此，能够利用适于由频率成分导致的系数的偏倚的上下文集合，能够抑制由使用与子块对应的上下文集合导致的编码效率的降低。

例如也可以是，在所述上下文选择步骤中，将从所述编码对象块内的左上的系数的位置到所述编码对象系数的位置的水平方向距离及垂直方向距离分别表示为H及V，并且将所述多个子块的垂直方向及水平方向的尺寸表示为α的情况下，计算“（H/α）的整数部＋（V/α）的整数部”，作为所述和。

根据该方法，能够容易地计算表示编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和。

例如也可以是，在所述上下文选择步骤中，所述和为阈值以下的情况下，从第1上下文集合选择所述上下文，所述和大于所述阈值的情况下，从与所述第1上下文集合不同的第2上下文集合选择所述上下文。

根据该方法，和为阈值以下的情况下，能够从第1上下文集合选择上下文，和大于阈值的情况下，能够从第2上下文集合选择上下文。因此，能够基于和与阈值的比较结果，在子块间容易地切换上下文集合。

例如也可以是，在所述上下文选择步骤中，所述编码对象块的尺寸越大，则计算越大的所述阈值。

根据该方法，编码对象块的尺寸越大，能够计算越大的阈值。因此，根据编码对象块的尺寸而系数的偏倚方式不同的情况下，能够从适当的上下文集合中选择上下文。

例如也可以是，所述至少1个参照系数是与所述编码对象系数相比高频成分的系数。

根据该方法，能够将与编码对象系数相比高频成分的系数作为参照系数使用。在一般的图像中，低频成分的系数通常比高频成分的系数的值大。因此，通过将于编码对象系数相比高频成分的系数作为参照系数使用，能够利用一般的图像的特性来选择适当的上下文。

例如也可以是，表示所述编码对象系数的参数是表示所述编码对象系数是否为0的标志。

根据该方法，作为表示编码对象系数的参数，能够对表示编码对象系数是否为0的标志进行编码。该标志是发生频度较高的参数，对编码效率产生的影响较大。此外，该标志与在子块内发生数被限制的参数不同，不存在子块导致的值的偏倚。但是，即使在对这样的标志进行编码时，从与子块对应的上下文集合中选择上下文，也能够抑制编码效率的降低。

例如也可以是，所述至少1个参照系数是多个参照系数，在所述上下文选择步骤中，选择与在所述多个参照系数中值不为0的参照系数的数量对应的所述上下文。

根据该方法，能够使用在多个参照系数中值不为0的参照系数的数量来选择上下文。因此，能够基于参照系数来选择适当的上下文。

例如也可以是，所述图像编码方法还包括：切换步骤，将编码处理切换为依照于第1规格的第1编码处理或依照于第2规格的第2编码处理；以及附加步骤，在比特流中附加表示被切换的所述编码处理所依照的所述第1规格或所述第2规格的识别信息；所述编码处理被切换为所述第1编码处理的情况下，作为所述第1编码处理，执行所述上下文选择步骤和所述算术编码步骤。

根据该方法，能够切换依照于第1规格的第1编码处理和依照于第2规格的第2编码处理。

此外，本发明的一个方式的图像解码方法，是对按每个块编码的图像进行解码的图像解码方法，包括以下步骤：上下文选择步骤，针对被包含在作为变换单位的解码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的解码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述解码对象系数的参数进行算术解码的上下文；以及算术解码步骤，使用所选择的所述上下文的概率信息，对表示所述解码对象系数的参数进行算术解码；在所述上下文选择步骤中，从与表示所述解码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

根据该方法，能够从与子块对应的上下文集合中选择上下文。因此，能够防止在子块内发生上下文集合的切换，能够减少上下文的选择处理的负荷。

此外，根据该方法，能够从与表示解码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。因此，能够利用适于由频率成分导致的系数的偏倚的上下文集合，能够将抑制了由使用与子块对应的上下文集合导致的编码效率的降低的符号串适当地解码。

例如也可以是，在所述上下文选择步骤中，将从所述解码对象块内的左上的系数的位置到所述解码对象系数的位置的水平方向距离及垂直方向距离分别表示为H及V，并且将所述多个子块的垂直方向及水平方向的尺寸表示为α的情况下，计算“（H/α）的整数部＋（V/α）的整数部”，作为所述和。

根据该方法，能够容易地计算表示解码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和。

例如可以是，在所述上下文选择步骤中，所述和为阈值以下的情况下，从第1上下文集合中选择所述上下文，所述和大于所述阈值的情况下，从与所述第1上下文集合不同的第2上下文集合中选择所述上下文。

根据该方法，和为阈值以下的情况下，能够从第1上下文集合中选择上下文，和大于阈值的情况下，能够从第2上下文集合中选择上下文。因此，能够基于和与阈值的比较结果，在子块间容易地切换上下文集合。

例如也可以是，在所述上下文选择步骤中，所述解码对象块的尺寸越大，则计算越大的所述阈值。

根据该方法，解码对象块的尺寸越大，则能够计算越大的阈值。因此，根据解码对象块的尺寸而系数的偏倚方式不同的情况下，能够从适当的上下文集合中选择上下文。

例如也可以是，所述至少1个参照系数是与所述解码对象系数相比高频成分的系数。

根据该方法，能够将与解码对象系数相比高频成分的系数作为参照系数使用。在一般的图像中，低频成分的系数通常比高频成分的系数的值更大。因此，通过将与解码对象系数相比高频成分的系数作为参照系数使用，能够利用一般的图像的特性来选择适当的上下文。

例如也可以是，表示所述解码对象系数的参数是表示所述解码对象系数是否为0的标志。

根据该方法，作为表示解码对象系数的参数，能够对表示解码对象系数是否为0的标志进行解码。该标志是发生频度较高的参数，对编码效率的影响较大。此外，该标志与在子块内发生数被限制的参数不同，不存在由子块导致的值的偏倚。但是，即使在对这样的标志进行编码时，从与子块对应的上下文集合中选择上下文，也能够抑制编码效率的降低。

例如也可以是，所述至少1个参照系数是多个参照系数，在所述上下文选择步骤中，选择与在所述多个参照系数中值不为0的参照系数的数量对应的所述上下文。

根据该方法，能够使用多个参照系数中值不为0的参照系数的数量来选择上下文。因此，能够基于参照系数来选择适当的上下文。

例如也可以是，所述图像解码方法还包括切换步骤，根据附加于比特流的表示第1规格或第2规格的识别信息，将解码处理切换为依照于所述第1规格的第1解码处理或依照于所述第2规格的第2解码处理；在所述解码处理被切换为第1解码处理的情况下，作为所述第1解码处理，执行所述上下文选择步骤和所述算术解码步骤。

根据该方法，能够切换依照于第1规格的第1解码处理和依照于第2规格的第2解码处理。

另外，这些整体或具体的方式可以通过系统、装置、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

以下参照附图来具体说明实施方式。

另外，以下说明的实施方式都只表示整体或具体的例子。以下的实施方式中示出的数值、形状、材料、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等只是一例，不意图限定权利要求的范围。此外，在以下的实施方式中的构成要素中，未记载于表示最上位概念的独立权利要求的构成要素作为任意的构成要素来说明。

（实施方式1）

＜整体构成＞

图4表示实施方式1中的图像编码装置100的构成。该图像编码装置100按每个块对图像进行编码。图像编码装置100具备：符号块分割部101、预测部102、减法部103、变换部104、可变长度编码部105、逆变换部106、加法部107和帧存储器108。

符号块分割部101将输入图像（输入图片）分割为多个符号块。符号块是例如进行频率变换的单位（变换单位）。变换单位具有与编码单位相同的尺寸或比编码单位小的尺寸。符号块分割部101向预测部102及减法部103依次输出多个符号块。

预测部102生成符号块的预测图像（预测块）。例如，预测部102通过帧间预测或帧内预测生成预测块。

减法部103通过从符号块的图像减去符号块的预测图像，生成符号块的预测误差图像（差量块）。

变换部104通过对差量块进行频率变换，生成多个频率系数。另外，变换部104根据需要对多个频率系数进行量化，从而生成多个量化系数。另外，以下不区分频率系数及量化系数而仅称为系数。

可变长度编码部105对由变换部104生成的多个系数进行可变长度编码。进而，可变长度编码部105对预测信息（例如运动矢量信息）进行可变长度编码。该可变长度编码部105的详细情况留待后述。

逆变换部106通过对多个系数进行逆变换，将差量块复原。

加法部107将编码块的预测图像和复原后的误差图像相加，从而生成符号块的解码图像（解码块）。

帧存储器108保存解码图像。

＜动作（整体）＞

接下来，说明以上那样构成的图像编码装置100的处理动作。图5是表示实施方式1中的图像编码装置100的处理动作的流程图。

（步骤S101）

符号块分割部101将输入图像分割为多个符号块。然后，符号块分割部101将多个符号块依次输出至减法部103和预测部102。

在此，符号块是可变尺寸。因此，符号块分割部101使用图像的特征，将输入图像分割为多个符号块。符号块的最小尺寸例如是横4像素×纵4像素。此外，符号块的最大尺寸例如是横32像素×纵32像素。

（步骤S102）

预测部102基于符号块和保存在帧存储器108中的解码图像，生成预测块。

（步骤S103）

减法部103从输入图像减去预测块，从而生成差量块。

（步骤S104）

变换部104将差量块变换为多个系数。

（步骤S105）

可变长度编码部105对多个系数进行可变长度编码，从而输出符号串。

（步骤S106）

逆变换部106对多个系数进行逆变换，从而将差量块复原。

（步骤S107）

加法部107将复原后的差量块和预测块相加，从而生成解码块。进而，加法部107将生成的解码块保存到帧存储器108中。

（步骤S108）

重复步骤S102至步骤S107，直到输入图像内的全部符号块的编码完成。

＜可变长度编码部的构成＞

图6表示实施方式1中的可变长度编码部105的内部构成。在本实施方式中，可变长度编码部105使用significant_flag、greater1_flag、greater2_flag、level_minus3以及sign_flag这5个参数中的至少1个来对各系数进行编码。可变长度编码部105具备：系数块分割部111、significant_flag编码部112、greater1_flag编码部113、greater2_flag编码部114、level_minus3编码部115和sign_flag编码部116。

系数块分割部111将符号块分割为多个系数块。系数块是子块的一例。在本实施方式中，系数块分割部111将符号块分割为4×4像素的系数块。即，在本实施方式中，系数块包括16个系数。

significant_flag编码部112对significant_flag进行编码。significant_flag是表示系数是否为“0”的标志。significant_flag的值为“0”的情况下，表示系数为“0”。另一方面，significant_flag的值为“1”的情况下，表示系数不为“0”。该significant_flag编码部112的详细情况留待后述。

greater1_flag编码部113仅在significant_flag为“1”（系数不为“0”）的情况下，对greater1_flag进行编码。greater1_flag是表示系数的绝对值是否大于1的标志。greater1_flag的值为“0”的情况下，表示系数的绝对值为“1”。另一方面，greater1_flag的值为“1”的情况下，表示系数的绝对值为2以上。

greater2_flag编码部114仅在greater1_flag为“1”（系数的绝对值为“2”以上）的情况下，对greater2_flag进行编码。greater2_flag是表示系数的绝对值是否大于“2”的标志。greater2_flag的值为“0”的情况下，表示系数的绝对值为“2”。另一方面，greater2_flag的值为“1”的情况下，表示系数的绝对值为“3”以上。

level_minus3编码部115仅在greater2_flag为“1”（系数的绝对值为3以上）的情况下，对level_minus3进行编码。level_minus3表示从系数的绝对值减去“3”后的值。

sign_flag编码部116仅在significant_flag为“1”（系数不为“0”）的情况下，对sign_flag进行编码。sign_flag是表示系数是否为负的值的标志。sign_flag的值为“0”的情况下，表示系数为正的值。另一方面，sign_flag的值为“1”的情况下，表示系数为负的值。

＜动作（可变长度编码）＞

接下来，说明以上那样构成的可变长度编码部105的处理动作。图7是表示实施方式1中的可变长度编码部105的处理动作的流程图。

（步骤S111）

系数块分割部111将符号块分割为4×4像素的系数块。例如，符号块为32×32像素的情况下，系数块分割部111将符号块沿横向分割为8个，沿纵向分割为8个。此外，例如符号块为4×4像素的情况下，不分割符号块。另外，以后的步骤S112～步骤S116按照每4×4像素的系数块执行。

（步骤S112）

significant_flag编码部112使用上下文对significant_flag进行算术编码。

（步骤S113）

greater1_flag编码部113使用上下文对greater1_flag进行算术编码。

（步骤S114）

greater2_flag编码部114使用上下文对greater2_flag进行算术编码。

（步骤S115）

level_minus3编码部115对level_minus3进行算术编码。具体地说，level_minus3编码部115不使用上下文，而使用固定的码元发生概率（50%）进行算术编码。

（步骤S116）

sign_flag编码部116对sign_flag进行算术编码。具体地说，sign_flag编码部116与level_minus3编码部115同样，不使用上下文，而使用固定的码元发生概率（50%）进行算术编码。

（步骤S117）

重复步骤S112～步骤S116，直到符号块内的全部系数块的编码完成。

＜significant_flag编码部的构成＞

图8表示实施方式1中的significant_flag编码部112的内部构成。significant_flag编码部112具备：significant_flag组设定部121、significant_flag设定部122、significant_flag存储器123、significant_flag上下文选择部124、算术编码部125和significant_flag上下文存储器126。

significant_flag组设定部121对符号块中包含的多个系数块进行分组。具体地说，significant_flag组设定部121使用表示符号块内的系数块的水平方向的位置的值和表示垂直方向的位置的值之和，对多个系数块进行分组。更具体地说，例如在上述和为阈值（组判定阈值）以下的情况以及和大于阈值的情况下，significant_flag组设定部121将多个系数块分为相互不同的组。

表示系数块的水平方向及垂直方向的位置的值分别从表示系数块中包含的系数的水平方向的位置的值（系数水平位置）及表示垂直方向的位置的值（系数垂直位置）导出。具体地说，significant_flag组设定部121例如导出“（系数水平位置/系数块的水平尺寸）的整数部”，作为表示系数块的水平方向的位置的值。此外，例如significant_flag组设定部121导出“（系数垂直位置/系数块的垂直尺寸）的整数部”，作为表示系数块的垂直方向的位置的值。

另外，作为系数水平位置及系数垂直位置，例如可以分别使用从符号块内的左上的系数的位置到系数块中包含的系数的位置的水平方向及垂直方向的距离。

significant_flag设定部122按每个系数块依次读出该系数块中包含的多个系数。然后，significant_flag设定部122基于读出的系数是否为“0”，对该系数的significant_flag设定值。在本实施方式中，significant_flag设定部122在系数为“0”的情况下，对significant_flag设定“0”，在系数不为“0”的情况下，对significant_flag设定“1”。

进而，significant_flag设定部122将各系数的significant_flag保存到significant_flag存储器123中。

significant_flag存储器123保存各系数的significant_flag。

significant_flag上下文选择部124对于系数块的每一个，基于位于处理对象系数的周边的至少1个参照系数，从与该系数块对应的上下文集合中，选择用于对表示该系数块中包含的处理对象系数（编码对象系数）的参数进行算术编码的上下文。具体地说，significant_flag上下文选择部124从与表示符号块内的该系数块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。

算术编码部125从significant_flag上下文存储器126取得所选择的上下文的概率信息。然后，算术编码部125使用所取得的上下文的概率信息，对表示处理对象系数的参数进行算术编码。在本实施方式中，参数是significant_flag。

进而，算术编码部125根据significant_flag的值，更新保存在significant_flag上下文存储器126中的上下文的概率信息。

significant_flag上下文存储器126按每个上下文保存概率信息。

＜动作（significant_flag编码）＞

接下来，说明以上那样构成的significant_flag编码部112的处理动作。图9表示实施方式1中的significant_flag编码部112的处理动作。另外，系数块中包含的多个系数的significant_flag的编码顺序与图2相同。即，significant_flag以系数块为单位被编码。

（步骤S121）

significant_flag组设定部121计算组判定阈值。例如，significant_flag组设定部121将符号块的水平尺寸除以例如“16”。然后，significant_flag组设定部121将除法结果的整数部设定为组判定阈值。

即，significant_flag组设定部121在符号块的尺寸越大时，计算越大的阈值。由此，根据符号块的尺寸而系数的偏倚方式不同的情况下，能够将适当的上下文集合与系数块建立对应。另外，阈值也可以是不依赖于符号块的尺寸的一定的值。这种情况下，significant_flag组设定部121也可以不使用符号块的尺寸来计算阈值。

（步骤S122）

significant_flag组设定部121将“系数水平位置/4”的整数部与“系数垂直位置/4”的整数部相加。然后，significant_flag组设定部121将加法结果与步骤S121中设定的组判定阈值比较。在此，如果加法结果为组判定阈值以下，则进入步骤S123，否则进入步骤S124。

系数水平位置及系数垂直位置是符号块内的处理对象系数的水平方向及垂直方向的位置或表示该位置的值。在此，系数水平位置及系数垂直位置是从符号块内的左上系数到处理对象系数的水平方向及垂直方向的距离（像素数）。即，在左上系数中，系数水平位置及系数垂直位置都是“0”。另外，将系数水平位置及系数垂直位置分别除以“4”的原因在于，系数块的水平尺寸及垂直尺寸为“4”。

（步骤S123）

significant_flag组设定部121对组设定“A”。

（步骤S124）

significant_flag组设定部121对组设定“B”。

图10A表示16×16像素的符号块的情况下的分组结果的一例。图10B表示32×32像素的符号块的情况下的分组结果的一例。

如图10A所示，16×16像素的符号块的情况下，仅左上的1个系数块包含在组A中。此外，如图10B所示，32×32像素的符号块的情况下，左上的3个系数块包含在组A中。

以后的步骤S125至步骤S139是系数块内的系数单位的处理，重复直到系数块内的全部系数的处理完成。

（步骤S125）

significant_flag设定部122判定处理对象系数是否为“0”。然后，处理对象系数为“0”的情况下下进入步骤S126，处理对象系数不为“0”的情况下进入步骤S127。

（步骤S126）

significant_flag设定部122对signifiant_flag设定“0”。然后，significant_flag设定部122将设定了“0”的significant_flag输出至算术编码部125及significant_flag存储器123。

（步骤S127）

significant_flag设定部122对signifiant_flag设定“1”。然后，significant_flag设定部122将设定了“1”的significant_flag输出至算术编码部125及significant_flag存储器123。

（步骤S128）

significant_flag上下文选择部124对以后的处理中使用的SNUM设定“0”。

另外，以后的步骤S129至步骤S132按已处理的每个系数进行处理，重复直到已处理系数全部被处理。

（步骤S129）

significant_flag上下文选择部124判定已处理系数是否是与处理对象系数相比高频成分的系数。已处理系数是与处理对象系数相比更高频成分的系数的情况下进入步骤S130，否则进入步骤S133。即，significant_flag上下文选择部124将与处理对象系数相比更高频成分的系数作为参照系数来利用。

另外，significant_flag上下文选择部124判定已处理系数位于处理对象系数的右方向、下方向以及右下方向的哪一个，由此判定已处理系数是否是与处理对象系数相比高频成分的系数。

（步骤S130）

significant_flag上下文选择部124计算已处理系数位置和处理对象系数位置的差量，对h设定水平位置差量，对v设定垂直位置差量。

（步骤S131）

significant_flag上下文选择部124判定步骤S130中设定的h与v之和是否为“2”以下。在此，如果h与v之和为“2”以下，则进入步骤S132，否则进入步骤S133。即，significant_flag上下文选择部124将h与v之和为“2”以下的已处理系数作为参照系数使用，将h与v之和为“3”以上的已处理系数不作为参照系数使用。即，将处理对象系数的右1的系数、右2的系数、下1的系数、下2的系数及右下的系数的共5个系数作为参照系数使用。关于参照系数位置，与图1所示的参照系数同样。

（步骤S132）

significant_flag上下文选择部124从significant_flag存储器123加载已处理系数（参照系数）的significant_flag的值，并加到SNUM中。

（步骤S133）

significant_flag上下文选择部124重复步骤S129～步骤S132，直到对符号块内的全部已处理系数进行了处理。

步骤S129～步骤S132的处理的结果，对于最终的SNUM，设定处理对象系数的周边的参照系数中的、significant_flag为“1”的参照系数的个数。即，SNUM表示多个参照系数中值不为0的参照系数的数量。在此，SNUM能够取0～5的值。

（步骤S134）

significant_flag上下文选择部124判定SNUM是否大于“3”。在此，SNUM大于“3”的情况下进入步骤S135，否则进入步骤S136。

（步骤S135）

significant_flag上下文选择部124对SNUM设定“4”。即，significant_flag上下文选择部124重新设定SNUM的值，以使SNUM不超过“4”。

（步骤S136）

significant_flag上下文选择部124在包含处理对象系数的系数块包含在组A中的情况下，将SNUM设定为上下文编号。另一方面，significant_flag上下文选择部124在包含处理对象系数的系数块包含在组B中的情况下，将对SUM加上“5”的结果设定为上下文编号。

其结果，在组A中包含的系数块内的处理对象系数的算术编码中，选择0～4的上下文编号所示的上下文的某一个，在组B中包含的系数块内的处理对象系数的算术编码中，选择5～9的上下文编号所示的上下文的某一个。

即，significant_flag上下文选择部124在表示系数块的水平方向的位置的值及表示垂直方向的位置的值之和为阈值以下的情况下，从第1上下文集合（上下文编号0～4的上下文）选择上下文。此外，significant_flag上下文选择部124在表示系数块的水平方向的位置的值及表示垂直方向的位置的值之和为阈值以下的情况下，从第2上下文集合（上下文编号5～9的上下文）选择上下文。即，根据系数块所属的组来决定使用哪个上下文集合。

此外，根据SNUM（在多个参照系数中值不为0的参照系数的数量）来决定使用上下文集合中的哪个上下文。即，significant_flag上下文选择部124选择与在多个参照系数中值不为“0”的参照系数的数量（反之，值为“0”的参照系数的数量）对应的上下文。

（步骤S137）

算术编码部125按照上下文编号，从significant_flag上下文存储器126载入上下文的概率信息。

（步骤S138）

算术编码部125使用概率信息对significant_flag进行算术编码，从而输出符号串。

（步骤S139）

算术编码部125根据significant_flag的值，更新上下文的概率信息，并将更新的上下文的概率信息存储到significant_flag上下文存储器126中。

（步骤S140）

重复步骤S125～步骤S139，直到系数块内的全部系数的处理完成。

另外，在图9中，按每个系数块判定该系数块属于哪个组，但是也可以按每个系数来进行判定。即，在图9中，步骤S140的判定结果为否的情况下返回步骤S125，但是也可以返回步骤S122。这种情况下，也能够防止在系数块内发生上下文集合的切换。进而，这种情况下，从存储器仅载入与决定的组对应的上下文集合即可，所以能够减轻存储器负荷。

＜效果＞

如以上那样，根据本实施方式中的图像编码装置100，能够抑制编码效率的降低，并且减轻上下文的选择处理的负荷。使用附图，更具体地说明该效果。

图11A及图11B是用于说明实施方式1中的、用于系数块中包含的不同的系数的上下文集合的图。在图11A及图11B中，不发生图3A及图3B所示的系数块内部的组（上下文集合）的切换。因此，图像编码装置100不需要按每个系数判定从哪个上下文集合选择上下文，能够减轻上下文的选择处理的负荷。

进而，图像编码装置100能够从与表示符号块内的系数块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。因此，图像编码装置100能够利用适于由频率成分导致的系数的偏倚的上下文集合，能够抑制由使用与系数块对应的上下文集合导致的编码效率的降低。

此外，根据本实施方式中的图像编码装置100，在对significant_flag进行算术编码时，能够从与系数块对应的上下文集合中选择上下文。significant_flag是发生频度高的参数，对编码效率的影响较大。此外，significant_flag与在系数块内发生数被限制的参数不同，不存在系数块导致的值的偏倚。但是，本发明人们发现，即使在对这样的significant_flag进行编码时，从与系数块对应的上下文集合选择上下文，编码效率也不会降低。即，图像编码装置100在significant_flag的算术编码中，能够抑制编码效率的降低，并且减轻上下文的选择处理的负荷。

（实施方式2）

＜整体构成＞

图12表示实施方式2中的图像解码装置200的构成。图像解码装置200对按每个块被编码的图像进行解码。具体地说，图像解码装置200对由实施方式1中的图像编码装置100编码的图像进行解码。图像解码装置200具备：可变长度解码部201、逆变换部202、预测部203、加法部204、解码块结合部205和帧存储器206。

可变长度解码部201通过对符号串进行可变长度解码，按每个解码对象块得到多个系数和预测信息（例如运动矢量信息等）。

逆变换部202对多个系数进行逆变换，从而生成解码对象块的误差图像（差量块）。

预测部203使用预测信息和保存在帧存储器206中的解码图像（解码图片），生成解码对象块的预测图像（预测块）。

加法部204将解码对象块的误差图像与预测图像相加，从而生成解码对象块的解码图像（解码块）。

解码块结合部205将多个解码块结合，从而生成解码图像。进而，解码块结合部205将解码图像保存到帧存储器206中。

帧存储器206保存解码图像。

＜动作（整体）＞

接下来，说明以上那样构成的图像解码装置200的处理动作。图13是表示实施方式2中的图像解码装置200的处理动作的流程图。

（步骤S201）

可变长度解码部201对符号串进行可变长度解码，从而得到多个系数和预测信息。然后，可变长度解码部201将多个系数输出至逆变换部202，将预测信息输出至预测部203。

（步骤S202）

逆变换部202对多个系数进行逆变换，从而生成差量块。

（步骤S203）

预测部203使用保存在帧存储器206中的解码图像和由可变长度解码部201解码的预测信息，生成预测块。

（步骤S204）

加法部204将预测块与差量块相加，从而生成解码块。

（步骤S205）

重复步骤S201～步骤S204，直到图像内的全部解码块的解码完成。

（步骤S206）

解码块结合部205将解码块结合，从而生成解码图像。进而，解码块结合部205将解码图像保存到帧存储器206中。

＜可变长度解码部的构成＞

图14表示实施方式2中的可变长度解码部201的内部构成。在本实施方式中，与实施方式1同样，各系数使用significant_flag、greater1_flag、greater2_flag、level_minus3及sign_flag这5个参数中的至少1个来表现。各参数的意义与实施方式1相同，因此省略说明。

可变长度解码部201具备：significant_flag解码部211、greater1_flag解码部212、greater2_flag解码部213、level_minus3解码部214、sign_flag解码部215、系数复原部216和系数块结合部217。

＜动作（可变长度解码）＞

接下来，说明以上那样构成的可变长度解码部201的处理动作。图15是表示实施方式2中的可变长度解码部201的处理动作的流程图。另外，步骤S211～步骤S216按解码对象块中包含的每个系数块进行处理。

（步骤S211）

significant_flag解码部211使用上下文，对系数块中包含的各系数的significant_flag进行算术解码。然后，significant_flag解码部211将significant_flag输出至greater1_flag解码部212、greater2_flag解码部213、level_minus3解码部214、sign_flag解码部215以及系数复原部216。

（步骤S212）

greater1_flag解码部212使用上下文，对significant_flag为“1”的系数的greater1_flag进行算术解码。然后，greater1_flag解码部212将greater1_flag输出至greater2_flag解码部213、level_minus3解码部214及系数复原部216。

（步骤S213）

greater2_flag解码部213使用上下文，对significant_flag为“1”且greater1_flag为“1”的系数的greater2_flag进行算术解码。然后，greater2_flag解码部213将greater2_flag输出至level_minus3解码部214及系数复原部216。

（步骤S214）

level_minus3解码部214不使用上下文，而使用固定的码元发生概率（50%）来对significant_flag为“1”且greater1_flag为“1”且greater2_flag为“1”的系数的level_minus3进行解码。然后，level_minus3解码部214将level_minus3输出至系数复原部216。

（步骤S215）

sign_flag解码部215不使用上下文，而使用固定的码元发生概率（50%）来对significant_flag为“1”的系数的sign_flag进行解码。然后，sign_flag解码部215将sign_flag输出至系数复原部216。

（步骤S216）

系数复原部216使用significant_flag、greater1_flag、greater2_flag、level_minus3及sign_flag来将系数复原。各参数的意义如前所述，因此系数复原部216按照该意义将系数复原。

（步骤S217）

重复步骤S212～步骤S216，直到解码对象块内的全部系数块的解码完成。

（步骤S218）

系数块结合部217将解码对象块内的全部系数块结合，从而输出解码块。

＜significant_flag解码部的构成＞

图16表示实施方式2中的significantsignificant_flag解码部211的内部构成。significant_flag解码部211具备：significant_flag组设定部221、significant_flag上下文选择部222、算术解码部223、significant_flag上下文存储器224和significant_flag存储器225。

significant_flag组设定部221与实施方式1的significant_flag组设定部121同样，对符号块中包含的多个系数块进行分组。

significant_flag上下文选择部222对于各个系数块，基于位于处理对象系数的周边的至少1个参照系数，从与该系数块对应的上下文集合中，选择用于对表示该系数块中包含的处理对象系数（解码对象系数）的参数进行算术编码的上下文。具体地说，significant_flag上下文选择部222从与表示符号块内的该系数块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。

算术解码部223从significant_flag上下文存储器224取得所选择的上下文的概率信息。然后，算术解码部223使用所取得的上下文的概率信息，对表示处理对象系数的参数进行算术解码。在本实施方式中，参数是significant_flag。

进而，算术解码部223将解码后的significant_flag保存到significant_flag存储器225中。此外，算术解码部223根据significant_flag的值，更新保存在significant_flag上下文存储器224中的上下文的概率信息。

significant_flag上下文存储器224按每个上下文保存概率信息。

significant_flag存储器225保存各系数的significant_flag。

＜动作（significant_flag解码）＞

接下来，说明以上那样构成的significant_flag解码部211的处理动作。图17是表示significant_flag解码部的处理动作的流程图。

（步骤S221～步骤S224）

significant_flag组设定部221与图9的步骤S121～步骤S124同样，进行系数块的分组。

（步骤S225～步骤S233）

significant_flag上下文选择部222与图9的步骤S128～步骤S136同样，基于位于处理对象系数的附近的参照系数，从与系数块所属的组对应的上下文集合中选择上下文。具体地说，significant_flag上下文选择部222在表示系数块的水平方向的位置的值及表示垂直方向的位置的值之和为阈值以下的情况下，从第1上下文集合（上下文编号0～4的上下文）选择上下文。此外，significant_flag上下文选择部222在表示系数块的水平方向的位置的值及表示垂直方向的位置的值之和为阈值以下的情况下，从第2上下文集合（上下文编号5～9的上下文）选择上下文。此外，significant_flag上下文选择部222选择与在处理对象系数相比高频成分的多个参照系数中值不为“0”的参照系数的数量（反之，值为“0”的参照系数的数量）对应的上下文。

（步骤S234）

算术解码部223按照上下文编号，从significant_flag上下文存储器224载入上下文的概率信息。

（步骤S235）

算术解码部223使用概率信息，对significant_flag进行算术解码。

（步骤S236）

算术解码部223根据significant_flag的值，更新上下文的概率信息，将更新后的上下文的概率信息存储到significant_flag上下文存储器224中。

（步骤S237）

重复步骤S225～步骤S236，直到系数块内的全部系数的处理完成。

另外，在图17中，按每个系数块判定该系数块属于哪个组，但是也可以按每个系数进行判定。即，在图17中，步骤S237的判定结果为否的情况下返回步骤S225，但是也可以返回步骤S222。这种情况下，也能够防止在系数块内发生上下文集合的切换。进而，这种情况下，从存储器仅载入与决定的组对应的上下文集合即可，所以能够减轻存储器负荷。

＜效果＞

如上所述，根据本实施方式的图像解码装置200，与实施方式1中的图像编码装置100同样，能够抑制编码效率的降低，并且减轻上下文的选择处理的负荷。

以上基于实施方式说明了1个或多个方式的图像编码装置及图像解码装置，但是本发明不限于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员能够想到的各种变形而得到的方式、或者将不同的实施方式中的构成要素组合而得到的方式也可以包含在1个或多个方式的范围内。

例如，在上述各实施方式中，表示子块的水平方向及垂直方向的位置的值通过“（系数水平位置/系数块的水平尺寸）的整数部”及“（系数垂直位置/系数块的垂直尺寸）的整数部」来计算，但是也可以通过与此不同的方法来计算。例如，表示子块的水平方向及垂直方向的位置的值也可以不使用除法，而使用移位运算来计算。

此外，在上述各实施方式中，将编码对象块或解码对象块中包含的多个系数分类为2个组，但是也可以分类为3个以上的组。这种情况下，根据组的数量来增加组判定阈值即可。

此外，上述各实施方式中的参照系数的数量及位置只是一例，也可以使用其他参照系数。

此外，在上述各实施方式中，基于子块和参照系数来选择上下文，但是也可以还基于其他条件来选择上下文。例如，作为用于对编码对象块或解码对象块的左上角的系数（直流成分）进行算术编码的上下文，也可以选择与其他系数不同的上下文。

此外，在上述各实施方式中，从编码对象块或解码对象块的右下角的系数（最高频的成分）起依次对各系数进行算术编码或算术解码，但是也可以从高频成分开始扫描，从最初出现的非零的系数起进行算术编码或算术解码。这种情况下，也可以是，从高频成分开始扫描，在最初出现的非零的系数之前出现的零的系数不进行算术编码。

此外，在上述各实施方式中，系数使用5个参数被编码，但是也可以使用其他参数来编码。例如，系数也可以使用significant_flag、level_minus1、sign_flag这3个参数来编码。

此外，在上述各实施方式中，说明了用于对significant_flag进行算术编码或算术解码的上下文的选择方法，但是对于其他参数，也可以使用与significant_flag同样的选择方法来选择上下文。

此外，在上述各实施方式中，也可以不将位于编码对象块或解码对象块的外部的系数作为参照系数使用。进而，也可以将与包含编码对象块或解码对象块的图片在时间上不同的图片中包含的系数作为参照系数使用。

此外，上述各实施方式中的符号块（编码对象块或解码对象块）及系数块（子块）的尺寸只是一例，也可以是其他尺寸。

另外，实施方式1中的图像编码装置100并不需要全部具备图4所示的构成要素。例如，图像编码装置也可以如下构成。

图18表示实施方式1的变形例中的图像编码装置300的构成。图像编码装置300按每个块对图像进行编码。如图18所示，图像编码装置300具备上下文选择部301和算术编码部302。

在此，说明以上那样构成的图像编码装置300的处理动作。图19是表示实施方式1的变形例中的图像编码装置300的处理动作的流程图。

（步骤S301）

上下文选择部301选择用于对表示作为变换单位的编码对象块中包含的各系数的参数进行算术编码的上下文。具体地说，上下文选择部301对于编码对象块中包含的多个子块的每一个，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示编码对象系数的参数进行算术编码的上下文。

更具体地说，上下文选择部301对于多个子块的每一个，从与表示编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中，选择用于对表示该子块中包含的编码对象系数的参数进行算术编码的上下文。

子块是对编码对象块进行分割而得到的块。各子块包括分别具有系数的多个像素（例如4×4像素）。

位于编码对象系数的周边的系数指的是，距离具有编码对象系数的像素位于预先决定的范围内的像素所具有的系数。例如，位于编码对象系数的周边的系数是与编码对象系数相比高频成分的系数。

表示编码对象系数的参数指的是，例如表示编码对象系数是否为0的标志（significant_flag）。另外，表示编码对象系数的参数也可以不是significant_flag，而是其他参数。

（步骤S302）

算术编码部302使用由上下文选择部301选择的上下文的概率信息，对表示编码对象系数的参数进行算术编码。

如上所述，图像编码装置300如图18所示那样构成，也能够从与表示编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。因此，图像编码装置300能够抑制编码效率的降低，并且减轻上下文的选择处理的负荷。

另外，实施方式2中的图像解码装置200并不是必须全部具备图12所示的构成要素。例如，图像解码装置也可以如下构成。

图20表示实施方式2的变形例中的图像解码装置400的构成。图像解码装置400对按每个块被编码的图像进行解码。如图20所示，图像解码装置400具备上下文选择部401和算术解码部402。

在此，说明以上那样构成的图像解码装置400的处理动作。图21是表示实施方式2的变形例中的图像解码装置400的处理动作的流程图。

（步骤S401）

上下文选择部401选择用于对表示作为变换单位的解码对象块中包含的各系数的参数进行算术解码的上下文。该处理的详细情况与图19的步骤S301相同，因此省略说明。

（步骤S402）

算术解码部402使用由上下文选择部401选择的上下文的概率信息，对表示解码对象系数的参数进行算术解码。

如上所述，图像解码装置400如图20所示那样构成，也能够从与表示解码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的上下文集合中选择上下文。因此，图像解码装置400能够抑制编码效率的降低，并且减轻上下文的选择处理的负荷。

另外，在上述各实施方式及其变形例中，各构成要素可以由专用的硬件构成，也可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以由CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序来实现。在此，实现上述各实施方式或其变形例的图像编码装置及图像解码装置等的软件是如下的程序。

即，该程序使计算机执行如下的图像编码方法，该图像编码方法是按每个块对图像进行编码的图像编码方法，包括以下步骤：上下文选择步骤，针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述编码对象系数的参数进行算术编码的上下文；以及算术编码步骤，使用所选择的所述上下文的概率信息，对表示所述编码对象系数的参数进行算术编码；在所述上下文选择步骤中，从与表示所述编码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

或者，该程序使计算机执行如下的图像解码方法，该图像解码方法是对按每个块编码的图像进行解码的图像解码方法，包括以下步骤：上下文选择步骤，针对被包含在作为变换单位的解码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的解码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述解码对象系数的参数进行算术解码的上下文；以及算术解码步骤，使用所选择的所述上下文的概率信息，对表示所述解码对象系数的参数进行算术解码；在所述上下文选择步骤中，从与表示所述解码对象块内的该子块的水平方向的位置的值及表示垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

（实施方式3）

通过将用来实现上述各实施方式所示的动态图像编码方法（图像编码方法）或动态图像解码方法（图像解码方法）的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的动态图像编码方法（图像编码方法）及动态图像解码方法（图像解码方法）的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编解码装置。关于系统的其他结构，可以根据情况而适当变更。

图22是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104以及基站ex107～ex110连接着计算机ex111、PDA（PersonalDigital Assistant）ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图22那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM（Global System for Mobile Communications）方式、CDMA（Code Division Multiple Access）方式、W-CDMA（Wideband-CodeDivision Multiple Access）方式、或LTE（Long Term Evolution）方式、HSPA（High Speed Packet Access）的便携电话机、或PHS（PersonalHandyphone System）等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流介质服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容（例如音乐会现场的影像等）如在上述各实施方式中说明那样进行编码处理（即，作为本发明的一个方式的图像编码装置发挥作用），向流介质服务器ex103发送。另一方面，流介质服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流介质服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流介质服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流介质服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流介质服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编解码用的软件装入到能够由计算机ex111等读取的某些记录介质（CD-ROM、软盘、硬盘等）中、使用该软件进行编解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流介质服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录以及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图23所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置（图像编码装置）或动态图像解码装置（图像解码装置）的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据（即，通过本发明的一个方式的图像编码装置编码后的数据）。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机（接收机）ex300或机顶盒（STB）ex217等的装置将接收到的复用数据解码并将其再现（即，作为本发明的一个方式的图像解码装置发挥作用）。

此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

图24是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机（接收机）ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305（即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用）的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用以及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图25中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

在图26中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽（沟），在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现动态图像。另外，车载导航仪ex211的结构可以考虑例如在图24所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图27A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图27B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD（Liquid Crystal Display：液晶显示器）控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码（即，作为本发明的一个方式的图像编码装置发挥作用），将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部（调制/解调电路部）ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码（即，作为本发明的一个方式的图像解码装置发挥作用），经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

（实施方式4）

也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG-2、MPEG4-AVC、VC-1等不同的规格的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的规格的多个影像数据的情况下，在解码时，需要选择对应于各个规格的解码方法。但是，由于不能识别要解码的影像数据依据哪个规格，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG-2传输流形式的数字流。

图28是表示复用数据的结构的图。如图28所示，复用数据通过将视频流、音频流、演示图形流（PG）、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流（IG）表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG-2、MPEG4-AVC、VC-1等规格的动态图像编码方法或装置编码。音频流由杜比AC-3、Dolby Digital Plus、MLP、DTS、DTS-HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图29是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图30更详细地表示在PES包列中怎样保存视频流。图30的第1段表示视频流的视频帧序列。第2段表示PES包列。如图30的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS（PresentationTime-Stamp）及作为图片的解码时刻的DTS（Decoding Time-Stamp）。

图31表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD-ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS（Arrival_Time_Stamp）等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图31下段所示排列，从复用数据的开头起递增的号码被称作SPN（源包号）。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT（Program Association Table）、PMT（Program Map Table）、PCR（Program Clock Reference）等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC（Arrival TimeClock）与作为PTS及DTS的时间轴的STC（System Time Clock）的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图32是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息（帧速率、纵横比等）的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图33所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图33所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图34所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他规格的影像数据。

此外，在图35中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的复用数据的情况下，在步骤exS103中，通过依据以往的规格的动态图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的规格的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。

（实施方式5）

在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图36中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA（Field ProgrammableGate Array）、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

（实施方式6）

在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG-2、MPEG4-AVC、VC-1等规格的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的规格的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个规格、并根据规格切换驱动频率的结构。图37表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的规格的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的规格的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图36的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的规格的解码处理部ex802对应于图36的信号处理部ex507。CPUex502识别影像数据依据哪个规格。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个规格的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图39所示的将影像数据的规格与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图38表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4-AVC规格的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的规格来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

（实施方式7）

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的规格的多个影像数据。这样，为了使得在被输入了依据不同的规格的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG-2、MPEG4-AVC、VC-1等的规格的解码处理部一部分共用的结构。图40A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4-AVC规格的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4-AVC规格的解码处理部ex902，关于不对应于MPEG4-AVC规格的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明的一个方式在熵解码方面具有特征，因此可以考虑例如对于熵解码使用专用的解码处理部ex901，对于除此之外的逆量化、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4-AVC规格所特有的处理内容，使用专用的解码处理部。

此外，用图40B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往规格的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往规格所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的动态图像解码方法和以往的规格的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

工业实用性

本发明的一个方式的图像编码装置及图像解码装置例如能够应用于电视接收机、数字视频记录机、车辆导航仪、便携电话、数字照相机或数字视频摄像机等。

附图标记说明

100、300 图像编码装置

101 符号块分割部

102、203 预测部

103 减法部

104 变换部

105 可变长度编码部

106、202 逆变换部

107、204 加法部

108、206 帧存储器

111 系数块分割部

112 significant_flag编码部

113 greater1_flag编码部

114 greater2_flag编码部

115 level_minus3编码部

116 sign_flag编码部

121、221 significant_flag组设定部

122 significant_flag设定部

123、225 significant_flag存储器

124、222 significant_flag上下文选择部

125、302 算术编码部

126、224 significant_flag上下文存储器

200、400 图像解码装置

201 可变长度解码部

205 解码块结合部

211 significant_flag解码部

212 greater1_flag解码部

213 greater2_flag解码部

214 level_minus3解码部

215 sign_flag解码部

216 系数复原部

217 系数块结合部

223、402 算术解码部

301、401 上下文选择部

Claims (19)

1.一种图像编码方法，按每个块对图像进行编码，包括：

上下文选择步骤，针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述编码对象系数的参数进行算术编码的上下文；以及

算术编码步骤，使用所选择的所述上下文的概率信息，对表示所述编码对象系数的参数进行算术编码；

在所述上下文选择步骤中，从与表示该子块在所述编码对象块内的水平方向的位置的值及表示该子块在所述编码对象块内的垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

2.如权利要求1所述的图像编码方法，

在所述上下文选择步骤中，将从所述编码对象块内的左上的系数的位置到所述编码对象系数的位置的水平方向距离及垂直方向距离分别表示为H及V，并且将所述多个子块的垂直方向及水平方向的尺寸表示为α的情况下，计算“（H/α）的整数部＋（V/α）的整数部”来作为所述和。

3.如权利要求1或2所述的图像编码方法，

在所述上下文选择步骤中，

在所述和为阈值以下的情况下，从第1上下文集合中选择所述上下文，

在所述和大于所述阈值的情况下，从与所述第1上下文集合不同的第2上下文集合中选择所述上下文。

4.如权利要求3所述的图像编码方法，

在所述上下文选择步骤中，所述编码对象块的尺寸越大，则计算越大的所述阈值。

5.如权利要求1～4中任一项所述的图像编码方法，

所述至少1个参照系数是与所述编码对象系数相比为高频成分的系数。

6.如权利要求1～5中任一项所述的图像编码方法，

表示所述编码对象系数的参数是表示所述编码对象系数是否为0的标志。

7.如权利要求1～6中任一项所述的图像编码方法，

所述至少1个参照系数是多个参照系数，

在所述上下文选择步骤中，选择与在所述多个参照系数中值不为0的参照系数的数量对应的所述上下文。

8.如权利要求1所述的图像编码方法，

所述图像编码方法还包括：

切换步骤，将编码处理切换为依照于第1规格的第1编码处理或依照于第2规格的第2编码处理；以及

附加步骤，在比特流中附加表示被切换后的所述编码处理所依照的所述第1规格或所述第2规格的识别信息；

所述编码处理被切换为所述第1编码处理的情况下，执行所述上下文选择步骤和所述算术编码步骤，作为所述第1编码处理。

9.一种图像编码装置，按每个块对图像进行编码，其具备：

上下文选择部，针对被包含在作为变换单位的编码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的编码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述编码对象系数的参数进行算术编码的上下文；以及

算术编码部，使用所选择的所述上下文的概率信息，对表示所述编码对象系数的参数进行算术编码；

所述上下文选择部从与表示该子块在所述编码对象块内的水平方向的位置的值及表示该子块在所述编码对象块内的垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

10.一种图像解码方法，对按每个块被编码的图像进行解码，包括：

上下文选择步骤，针对被包含在作为变换单位的解码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的解码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述解码对象系数的参数进行算术解码的上下文；以及

算术解码步骤，使用所选择的所述上下文的概率信息，对表示所述解码对象系数的参数进行算术解码；

在所述上下文选择步骤中，从与表示该子块在所述解码对象块内的水平方向的位置的值及表示该子块在所述解码对象块内的垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

11.如权利要求10所述的图像解码方法，

在所述上下文选择步骤中，将从所述解码对象块内的左上的系数的位置到所述解码对象系数的位置的水平方向距离及垂直方向距离分别表示为H及V，并且将所述多个子块的垂直方向及水平方向的尺寸表示为α的情况下，计算“（H/α）的整数部＋（V/α）的整数部”来作为所述和。

12.如权利要求10或11所述的图像解码方法，

在所述上下文选择步骤中，

在所述和为阈值以下的情况下，从第1上下文集合中选择所述上下文，

在所述和大于所述阈值的情况下，从与所述第1上下文集合不同的第2上下文集合中选择所述上下文。

13.如权利要求12所述的图像解码方法，

在所述上下文选择步骤中，所述解码对象块的尺寸越大，则计算越大的所述阈值。

14.如权利要求10～13中任一项所述的图像解码方法，

所述至少1个参照系数是与所述解码对象系数相比为高频成分的系数。

15.如权利要求10～14中任一项所述的图像解码方法，

表示所述解码对象系数的参数是表示所述解码对象系数是否为0的标志。

16.如权利要求10～15中任一项所述的图像解码方法，

所述至少1个参照系数是多个参照系数，

在所述上下文选择步骤中，选择与在所述多个参照系数中值不为0的参照系数的数量对应的所述上下文。

17.如权利要求10所述的图像解码方法，

所述图像解码方法还包括切换步骤，该切换步骤根据附加于比特流的表示第1规格或第2规格的识别信息，将解码处理切换为依照于所述第1规格的第1解码处理或依照于所述第2规格的第2解码处理；

在所述解码处理被切换为第1解码处理的情况下，执行所述上下文选择步骤和所述算术解码步骤，作为所述第1解码处理。

18.一种图像解码装置，对按每个块编码的图像进行解码，其具备：

上下文选择部，针对被包含在作为变换单位的解码对象块中且分别包含多个系数的多个子块中的各个子块，基于位于该子块中包含的解码对象系数的周边的至少1个参照系数，从与该子块对应的上下文集合中，选择用于对表示所述解码对象系数的参数进行算术解码的上下文；以及

算术解码部，使用所选择的所述上下文的概率信息，对表示所述解码对象系数的参数进行算术解码；

所述上下文选择部从与表示该子块在所述解码对象块内的水平方向的位置的值及表示该子块在所述解码对象块内的垂直方向的位置的值之和对应的所述上下文集合中选择所述上下文。

19.一种图像编解码装置，具备：

权利要求9所述的图像编码装置；以及

权利要求18所述的图像解码装置。

Images