CN102246525A - 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序、及集成电路 - Google Patents

Abstract

编码方法包括：变换步骤，将图像的像素值变换为由表示频率的n个系数构成的2维矩阵；量化步骤，将n个系数分别量化，生成n个量化系数；序列生成步骤，基于定义二叉树的树构造信息及2维矩阵，生成1维序列；编码步骤，将1维序列及n个量化系数的至少一部分编码。序列生成步骤包括基于2维矩阵生成表示n个叶节点分别参照的2维矩阵的位置的参照目标信息的参照目标决定步骤(S31)、基于2维矩阵及参照目标信息对二叉树的各节点分配第1及第2值的某个的值分配步骤(S32)、和将对各节点分配的值以先根顺序排列而生成1维序列的遍历步骤(S33)。

Description

运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置、程序、及集成电路

技术领域

本发明涉及将运动图像数据压缩的编码，特别涉及实现较高的编码效率的运动图像编码方法、运动图像解码方法及其装置。特别涉及使量化的非零系数的位置的记述方法适应性地变化者。

背景技术

运动图像数据被广泛地应用于从视频电话及视频会议到DVD及数字电视。在将运动图像数据发送或记录时，必须将相当量的数据经由具有有限的可利用的频率带的传送频道发送、或者保存到具有有限的数据容量的以往的记录介质中。因此，为了将数字数据向以往的频道发送、或保存到介质中，将数字数据量压缩或削减是必不可少的。

关于运动图像数据的压缩，开发了多个运动图像编码标准。在这样的运动图像标准中，例如有由H.26x表示的ITU-T标准、以及由MPEG-x表示的ISO/IEC标准。最新的运动图像编码标准是H.264/MPEG-4AVC标准(非专利文献1)。

作为这些标准的许多的基础的编码方法包括以下所示的主要的阶段。

(a)为了使各个视频帧成为块水平下的数据压缩的单位，将各个视频帧分割为多个像素块。

(b)将运动图像数据的各自的块从空间域变换为频率域。

(c)通过将频率域的变换系数量化，将整体的数据量削减。

(d)将量化变换系数熵编码。

(e)为了仅将连续的帧的块间的变化编码，利用连续的帧的块间的时间的依存性。这使用运动预测及补偿技术。

将图像信息从空间域变换为频率域是目前的运动图像编码标准的典型的方法。图像的信息压缩可以通过将图像内容用很少的频率要素表示来实现。自然图像内容的频率成分的许多集中在低频率域的系数中。高频成分对人的眼睛几乎没有影响，所以为了减少作为编码对象的数据量而删除或量化。

MPEG-1、MPEG-2、MPEG-4、H.263、及H.264/AVC等目前的运动图像编码标准为了将量化后的频率系数进一步压缩而使用熵编码。

该熵编码为了将2维的量化变换系数块变换为1维序列而包括遍历量化的变换系数的2维块的处理。由使用锯齿遍历那样的规定的遍历方法的情况、和使用零树遍历方法(专利文献2)的情况。

图1是锯齿遍历的概念图。如果将2维的量化变换系数块11以图的锯齿遍历顺序12遍历，则能够得到量化变换系数的1维序列13。该遍历从最低频率系数(即DC系数)开始，在遍历出块的不是零的全部系数的同时结束。这样的遍历方法的问题之一是在到达不是零的最后的系数之前必须遍历许多是零的系数。

这样，将所取得的量化变换系数的1维序列分离为非零系数和零系数。非零系数表现为称作水平及标记的一连串的一些组。水平是绝对值，标记是+-的符号。图2是向非零系数和零系数的分离的概念图。如果设在要素中具有一些0的量化变换系数块21为输入进行说明，则将其如上述那样向1维序列22遍历。将该1维序列向表示非零系数的位置的二进制序列23和集中了非零系数的非零系数序列24分离。

在许多应用中，编码运动图像数据的能够储存或转送的量或带宽非常受限制。由此，需要尽可能将运动图像数据压缩。但是，通过更粗地进行量化来减少数据量、增加数据压缩率，会引起编码图像的画质变差。

作为减小是零的系数的冗余性的技术，已知有频率选择编码(FrequencySelective Coding)(专利文献1)。是利用人的视觉特性对于高频域较迟钝的性质、抑制高频域系数的编码频度、以及对于特定的高频域系数位置在同一帧内完全不将系数编码、来减小是零的系数的数据量的编码方法及解码方法。

图3是频率选择编码FSC的概念图。将2维的量化变换系数块11通过FSC遍历顺序32仅遍历a、b、e、l的位置，不遍历其以外的位置。由此，能够大幅减少得到的1维序列33的数据个数。通过将高频域跨越多个帧循环编码，能够抑制画质变差。图4是循环性的高频域编码的概念图，是在帧f1中将高频域6编码、在帧f2中将高频域7编码、在帧f3中将高频域8编码的例子。

如上所述，在频率选择编码中，抑制了高频域系数的代码量。但是，在边缘等的信息量较多的区域(块等的单位)中，也有如果不将高频域系数编码则能够辨识出画质变差的情况。

说明上述零树遍历方法(专利文献2)。图5是零树遍历方法的概念图。在零树遍历方法中，对于2维的量化变换系数块61，将各系数的位置用树构造62表现。树由节点构成，将具有子节点的节点称作内部节点，将不具有子节点的节点称作叶节点。

对于该树构造，在以深度方向优先从左向右进行探索时，通过的叶节点的顺序为对于量化变换系数块61的零树遍历顺序65。将以通过顺序表示节点是否具有有效的值(在是内部节点的情况下是否具有子节点、在叶节点的情况下是否具有系数)的信息称作表示有效节点的二进制序列66、或者表示节点的值的二进制序列66。

在该例中，表示有效节点的二进制序列66(或者表示节点的值的二进制序列)具有节点的数量的要素1。在该例中，由于全部的节点是有效(值是1，即，叶节点具有系数、中间节点具有有效的子节点)的，所以要素都为1。但是，在某个叶或中间节点不为有效的情况下，要素为0。在中间节点为0的情况下，不进行该子节点的探索。即，由于不再需要记述关于其子节点(如果再有子节点则也有该子节点)的值，所以表示有效节点的二进制序列66变短。

例如，如图6所示，对于在要素中具有一些0的量化变换系数块71，以上述的树构造62进行遍历。此时，由于节点73的子节点都不具有值，所以节点73的值表示0。在解码时，当某个节点具有0的值时，可知其子节点不具有值。对应于该例的、表示有效节点的二进制序列72为图示那样，可知与图5的例子相比能够削减数据量。

如图5及图6所示，树构造62与锯齿遍历相比，数据构造较复杂，编码及解码的处理量及存储量较多。因此，将树构造数据的整体编码是冗长的。但是，在频率选择的更新、或频率选择的编码的情况下，需要将不易发生的系数的位置、或者不发生的系数的位置用帧等的单位更新，希望高效率的数据记述。

此外，在锯齿遍历的情况下，由于遍历是一次行程，所以在频率选择的编码中，能够基于没有编码的零系数的个数容易地确定非零系数的位置。但是，在零树遍历顺序中，由于将系数的位置分叉记述，所以有没有编码的零系数的有无的前后不容易掌握系数的位置关系的问题。

在先技术文献

专利文献1：国际公开第2006/118288号公报

专利文献2：美国专利申请公开第2006/0133680号公报

非专利文献1：ITU-T Rec.H264|ISO/IEC14496-10versionl“Informationtech否logy-Coding of audio-visual objects-Part 10：Advanced video coding”

发明内容

发明的概要

发明要解决的课题

本发明的目的是提供一种不使画质变差、并且实现较高的数据压缩率的运动图像编码方法、运动图像解码方法及其装置。

解决课题的手段

有关本发明的一技术方案的编码方法，是将图像编码的方法。具体而言，包括：变换步骤，将上述图像的像素值变换为由表示频率的n(n是2以上的整数)个系数构成的2维矩阵；量化步骤，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；序列生成步骤，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；编码步骤，将由上述序列生成步骤生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号。上述序列生成步骤包括：参照目标决定步骤，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；值分配步骤，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；遍历步骤，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

通过如上述结构那样、每当生成1维序列时将参照目标信息更新，能够削减1维序列的代码量。结果，能够实现编码效率较高的解码方法。此外，不需要将树构造信息本身变更，所以能够减轻处理负荷。

作为一技术方案，在上述值分配步骤中，对上述n个叶节点分别在将保持在由上述参照目标信息表示的上述2维矩阵的位置中的上述量化系数用上述编码步骤编码的情况下分配上述第1值、在不用上述编码步骤编码的情况下分配上述第2值；对于上述内部节点，在对两个子节点的至少一个分配了上述第1值的情况下分配上述第1值、在对两个子节点的哪个都分配了上述第2值的情况下分配上述第2值。在上述遍历步骤中，在对上述内部节点分配了上述第2值的情况下，将该内部节点的子孙节点的遍历省略。并且，在上述参照目标决定步骤中，决定上述参照目标信息，以使由上述遍历步骤生成的上述1维序列为最短。通过如上述结构那样将参照目标信息更新以使1维序列为最短，能够削减代码量。

此外，也可以是，在上述编码步骤中，在由上述参照目标决定步骤生成的参照目标信息与之前的参照目标信息不同的情况下，还将该生成的参照目标信息编码。通过这样仅在被更新的情况下将参照目标信息编码，能够抑制编码效率的恶化。

此外，上述参照目标信息也可以是将确定上述2维矩阵的各位置的位置信息、与确定上述位置信息的索引建立对应而保持的中间表。并且，上述树构造信息也可以包括确定上述二叉树的构造的构造信息、和表示上述n个叶节点参照的上述中间表的索引的索引信息。由此，使向已有的解码装置的影响极小化，所以能够有效利用遗留资产。

此外，也可以是，在上述参照目标信息决定步骤中，变更上述2维矩阵的各位置与索引的组合，以将保持编码的上述量化系数的上述2维矩阵的位置分配给保持不编码的上述量化系数的上述2维矩阵的位置遍历顺序早的上述叶节点。由此，能够使1维序列变短。

作为一技术方案，也可以是，在上述编码步骤中，仅将上述n个量化系数中的不是0的量化系数有选择地编码。作为另一技术方案，也可以将上述2维矩阵划分为第1组和第2组。并且，在上述编码步骤中，也可以仅将属于上述第1组的全部的上述量化系数、和根据属于上述第1组的上述量化系数的值从上述第2组选择的上述量化系数有选择地编码。

有关本发明的一技术方案的解码方法，是使用定义由包括内部节点及n(n是2以上的整数)个叶节点的多个节点构成的二叉树的树构造信息、根据编码信号生成图像的方法。具体而言，包括：解码步骤，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；矩阵生成步骤，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；逆量化步骤，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；逆变换步骤，将上述n个系数逆变换，生成上述图像的像素值。并且，上述矩阵生成步骤包括：逆遍历步骤，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的步骤，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；系数分配步骤，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

有关本发明的一技术方案的编码装置，是将图像编码的装置。具体而言，具备：变换部，将上述图像的像素值变换为由表示频率的n(n是2以上的整数)个系数构成的2维矩阵；量化部，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；序列生成部，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；编码部，将由上述序列生成部生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号。并且，上述序列生成部具备：参照目标决定部，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；值分配部，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；遍历部，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

有关本发明的一技术方案的解码装置，是使用定义由包括内部节点及n(n是2以上的整数)个叶节点的多个节点构成的二叉树的树构造信息、根据编码信号生成图像的装置。具体而言，具备：解码部，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；矩阵生成部，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；逆量化部，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；逆变换部，将上述n个系数逆变换，生成上述图像的像素值。并且，上述矩阵生成部具备：逆遍历部，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的部，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；系数分配部，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

有关本发明的一技术方案的程序，使计算机将图像编码。具体而言，包括：变换步骤，将上述图像的像素值变换为由表示频率的n(n是2以上的整数)个系数构成的2维矩阵；量化步骤，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；序列生成步骤，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；编码步骤，将由上述序列生成步骤生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号。并且，上述序列生成步骤使计算机执行：参照目标决定步骤，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；值分配步骤，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；遍历步骤，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

有关本发明的另一技术方案的程序，使计算机使用定义由包括内部节点及n(n是2以上的整数)个叶节点的多个节点构成的二叉树的树构造信息、根据编码信号生成图像。具体而言，包括：解码步骤，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；矩阵生成步骤，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；逆量化步骤，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；逆变换步骤，将上述n个系数逆变换，生成上述图像的像素值。并且，上述矩阵生成步骤使计算机执行：逆遍历步骤，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的步骤，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；系数分配步骤，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

有关本发明的一技术方案的集成电路，将图像编码。具体而言，具备：变换部，将上述图像的像素值变换为由表示频率的n(n是2以上的整数)个系数构成的2维矩阵；量化部，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；序列生成部，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；编码部，将由上述序列生成部生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号。并且，上述序列生成部具备：参照目标决定部，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；值分配部，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；遍历部，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

有关本发明的另一技术方案的集成电路，使用定义由包括内部节点及n(n是2以上的整数)个叶节点的多个节点构成的二叉树的树构造信息，根据编码信号生成图像。具体而言，具备：解码部，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；矩阵生成部，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；逆量化部，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；逆变换部，将上述n个系数逆变换，生成上述图像的像素值。并且，上述矩阵生成部具备：逆遍历部，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的部，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；系数分配部，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

为了解决作为上述以往的问题的、如果在零树遍历中采用频率适应编码则难以进行非零系数的位置关系的管理的问题，本发明的运动图像编码方法将构成块的多个像素正交变换为表示频率的多个系数，将上述多个系数量化，将多个量化系数向位置信息、水平和标记(符号)编码，将上述多个量化系数划分为至少两个以上的系数组，将第1组的位置信息、水平和标记(符号)编码，决定是选择第2组的系数的子集还是选择整体，将上述选择的系数的位置信息、水平和标记编码。

通过本发明，在将低域的系数的位置信息编码后，立即将低域的系数编码，通过使低域部分的需要的信息齐备，与后续的高频域部分在数据的排列上使处理独立，由此，即使有零系数的跳过，非零系数的位置关系的掌握也变得容易。

本发明的运动图像解码方法是对将多个像素划分为块而编码的数据进行解码的运动图像解码方法，其特征在于，将该块的非零系数的位置信息根据非零系数的有无信息和非零系数的位置的树构造信息解码，将非零系数的水平和标记(符号)解码，将上述非零系数的位置信息、上述水平和上述标记合并，将上述合并信号逆量化，将上述逆量化信号进行逆正交变换，向像素值变换，该块的非零系数的位置信息的上述解码在某个非零系数的位置信息的决定时点根据已解码的非零系数的信息而变化。

此外，该块的非零系数的位置信息的上述解码根据下述(i)～(iv)的至少1个进行解码。(i)已解码的上述非零系数的位置信息，(ii)已解码的上述合并信号，(iii)已解码的逆量化信号，(iv)量化参数。

发明效果

根据本发明的运动图像编码方法，能够不变更零树构造的树部分的数据(树构造信息)而容易地变更系数的位置。结果能够实现编码效率较高的运动图像编码方法。

附图说明

图1是以往的锯齿遍历的概念图。

图2是以往的向非零系数和零系数的分离的概念图。

图3是以往的频率选择编码FSC的概念图。

图4是以往的频率选择编码FSC的时间变化的概念图。

图5是以往的零树遍历方法的概念图。

图6是以往的零树遍历方法的概念图。

图7是有关本发明的实施方式1的仅更新叶与系数位置的对应关系的方法的概念图。

图8是有关实施方式1的用来仅更新叶与系数位置的对应关系的中间存储器的概念图。

图9是有关实施方式1的运动图像编码装置的块图。

图10是表示图9所示的运动图像编码装置的动作的流程图。

图11是有关实施方式1的运动图像解码装置的块图。

图12是表示图11所示的运动图像解码装置的动作的流程图。

图13是有关实施方式1的序列生成部的块图。

图14是有关实施方式1的矩阵生成部的块图。

图15A是表示有关实施方式1的运动图像编码方法的流程图。

图15B是表示有关实施方式1的运动图像解码方法的流程图。

图16是表示有关实施方式1的序列生成处理的流程图。

图17是表示图16的序列生成处理的概念图。

图18是表示有关实施方式1的矩阵生成处理的流程图。

图19是表示图18的矩阵生成处理的概念图。

图20是与有关实施方式2的运动图像编码方法生成的树构造关联的数据的概念图。

图21是表示有关实施方式2的运动图像编码方法的流程图。

图22A是表示有关实施方式2的运动图像编码方法的流程图。

图22B是表示有关实施方式2的运动图像解码化装置的流程图。

图23是有关实施方式3的局部适应FSC的概念图。

图24是与有关实施方式4的运动图像编码方法生成的树构造关联的数据的概念图。

图25是与有关实施方式4的运动图像编码方法生成的树构造关联的数据的概念图。

图26是有关实施方式4的运动图像编码方法的动作流程图。

图27是与有关实施方式5的运动图像编码方法生成的树构造关联的数据的概念图。

图28是有关实施方式5的根据已解码的数据更新树构造的零树解码部和周边的块图。

图29是有关实施方式5的根据已解码的数据更新树构造的零树解码部的动作流程图。

图30是关于有关实施方式6的具有多个值的节点的树构造的探索的概念图。

图31是关于有关实施方式6的具有多个值的节点的树构造的探索的概念图。

图32是与有关实施方式7的运动图像编码方法生成的树构造关联的数据的概念图。

图33是表示有关实施方式7的二进制序列与非零系数序列的数据的排列的图。

图34A是表示有关实施方式7的运动图像编码方法的流程图。

图34B是表示有关实施方式7的运动图像解码方法的流程图。

图35是表示有关实施方式7的不具有指示系数位置的信息的零树构造的一例的概念图。

图36是表示实施方式8的将指示系数位置的序列编码的一例的概念图。

图37是表示实现内容分发服务的内容供给系统的整体结构的一例的示意图。

图38是表示便携电话的外观的图。

图39是表示便携电话的结构例的块图。

图40是表示数字广播用系统的整体结构的一例的示意图。

图41是表示电视机的结构例的块图。

图42是表示对作为光盘的记录介质进行信息的读写的信息再现记录部的结构例的块图。

图43是表示作为光盘的记录介质的构造例的图。

图44是表示实现有关各实施方式的图像编码方法及图像解码方法的集成电路的结构例的块图。

具体实施方式

(实施方式1)

首先，参照图7及图8，说明有关本发明的实施方式1的编码方法及解码方法的概念。如上所述，在频率选择的更新中，不发生的系数的位置至少变化为帧单位，但由于树构造62较复杂，所以频繁地更新是冗长的。为了解决该问题，如图7的概念图所示，不将树构造62中的节点间的连接关系更新，而仅更新叶节点与系数的位置关系的对应。

此外，如图8的概念图所示，通过在叶节点与系数的位置关系的对应之间设置、改变排列用的数据阵列(也称作“参照目标信息”)1101，能够实现仅系数的位置信息的更新。某个叶节点的值指示数据阵列1101内的顺序，指示的要素表示系数的位置。

在该例中，具有3的值的叶节点的位置参照数据阵列1101的第3个要素而得到。帧f1的时点的数据阵列1101的第3个要素指向系数的位置a。另一方面，帧f2的时点的数据阵列1101的第3个要素指向系数的位置b。

数据阵列能够没有树构造那样的复杂度而容易地实现。如果使用别的表现方式，则叶节点指示的位置信息是间接位置信息，表示数据阵列1101上的位置。在数据阵列1101之中，被指示的要素的值指向的是系数的位置信息。

此外，如图8的表示系数零的要素1102那样，通过分配块的系数位置a～f以外的值，指向该要素的叶节点(具有值5的节点)表示不具有非零系数。在此情况下，系数位置f由于没有被从索引指针1103的任何要素指向，所以可知不具有非零系数，即系数是零。

接着，参照图9及图10，说明有关本发明的实施方式1的运动图像编码装置100。图9是运动图像编码装置100的功能块图。图10是表示运动图像编码装置100的动作的流程图。

运动图像编码装置100如图9所示，具备减法器105、变换/量化部110、逆量化/逆变换部120、加法器125、解块过滤器130、序列生成部180、熵编码部190、输出编码信号的输出部(图示省略)、和预测块生成部(图示省略)。

该运动图像编码装置100将作为输入信号的运动图像信号编码，将编码信号输出。输出目标没有特别限定，例如既可以是DVD(Digital VersatileDisc)或BD(Blu-ray Disc)等的记录介质，也可以通过传送路向运动图像解码装置200传送。

减法器105从编码对象块(输入信号)减去预测块(预测信号)而生成预测误差信号。变换/量化部110将预测误差信号进行DCT变换(DiscreteCosine Transformation：离散余弦变换)，并且量化而生成量化系数。更具体地讲，将运动图像信号的像素值变换为由表示频率的n(n是2以上的整数)个系数构成的2维矩阵。并且，将构成该2维矩阵的n个系数分别量化，生成n个量化系数。

序列生成部180将包括n个量化系数的2维矩阵分割为1维序列和量化系数。序列生成部180的具体的动作在后面叙述。熵编码部190将从序列生成部180输出的1维序列等进行熵编码而生成编码信号。

逆量化/逆变换部120将从变换/量化部110输出的量化系数逆量化，并且进行DCT逆变换而生成量化预测误差信号。加法器125将量化预测误差信号与预测信号相加而生成再构建信号。解块过滤器130从再构建信号中除去块畸变而生成解码信号。

预测块生成部基于在比编码对象块(输入信号)靠前编码的图像，生成预测该编码对象块的预测信号。该预测块生成部由存储器140、内插过滤器150、运动预测部165、运动补偿预测部160、帧内预测部170、和开关175构成。

存储器140作为临时存储解码信号的延迟器发挥功能。更具体地讲，将由变换/量化部110量化、并且由逆量化/逆变换部120逆量化的块依次存储，存储1张图像(图片)。内插过滤器150在运动补偿预测之前将解码信号的像素值在空间上内插。运动预测部165基于解码信号和下个编码对象块进行运动预测，生成运动数据(运动矢量)。运动补偿预测部160基于解码信号和运动数据进行运动补偿预测，生成预测信号。帧内预测部170将解码信号进行画面内预测而生成预测信号。开关175作为预测模式而选择“内”模式及“间”模式的某个。并且，从开关175输出的预测块为预测下个编码对象块的信号。

接着，参照图10，说明运动图像编码装置100的动作。

首先，减法器105从输入信号减去预测信号，生成预测误差信号(S11)。接着，变换/量化部110将预测误差信号进行DCT变换，并且量化而生成量化系数(S12)。这里，从变换/量化部110输出的是由n个(典型地是8×8＝64个)的量化系数构成的2维矩阵。

接着，序列生成部180执行将从变换/量化部110输出的2维矩阵变换为1维序列的序列生成处理(S13)。序列生成处理的详细情况在后面叙述。接着，熵编码部190将1维序列、量化系数、运动数据、及参照目标信息(后述)等进行熵编码而生成编码信号(S14)。

另一方面，与熵编码部190的动作并行，逆量化/逆变换部120将从变换/量化部110输出的量化系数逆量化、并DCT逆变换而生成量化预测误差信号。此外，加法器125将量化预测误差信号与预测块相加而生成再构建信号。解块过滤器130从再构建信号除去块畸变而生成解码信号。并且，预测块生成部基于解码信号生成预测块(S16)。

接着，参照图11及图12，说明有关本发明的一实施方式的运动图像解码装置200的结构及动作。图11是运动图像解码装置200的块图。图12是表示运动图像解码装置200的动作的流程图。

运动图像解码装置200如图11所示，具备取得编码信号的取得部(取得部)、熵解码部290、矩阵生成部280、逆量化/逆变换部220、加法器225、解块过滤器230、和预测块生成部(图示省略)。该运动图像解码装置200将由图9所示的运动图像编码装置100编码的编码信号解码而生成解码块(解码信号)。

熵解码部290将从运动图像编码装置100输出的编码信号进行熵解码，取得1维序列、量化系数、运动数据、及参照目标信息。矩阵生成部280将1维序列与量化系数结合，生成由n个量化系数构成的2维矩阵。矩阵生成部280的具体的动作在后面叙述。

逆量化/逆变换部220通过将从矩阵生成部280输出的2维矩阵的各量化系数逆量化并进行DCT逆变换，生成量化预测误差信号。加法器225将从逆量化/逆变换部220输出的量化预测误差信号、与从预测块生成部输出的预测信号相加，生成再构建信号。解块过滤器230对从加法器225输出的再构建信号作用，使块的边缘平滑化而改善主观的画质。

预测块生成部具备存储器240、帧内预测部270、运动补偿预测部260、内插过滤器250、和开关275。该预测块生成部的基本的结构及动作是共通的，但将运动预测部165省略、从熵解码部290取得运动数据这一点不同。

接着，参照图12，说明运动图像解码装置200的动作。

首先，熵解码部290将编码信号进行熵解码，取得1维序列、量化系数、运动数据、及参照目标信息(S21)。接着，矩阵生成部280执行将1维序列与量化系数结合而生成2维矩阵的矩阵生成处理(S22)。矩阵生成处理的详细情况在后面叙述。

接着，逆量化/逆变换部220通过将从矩阵生成部280输出的2维矩阵的各量化系数逆量化并进行DCT逆变换，生成量化预测误差信号(S23)。接着，加法器225将量化预测误差信号与预测块相加而生成再构建信号。此外，解块过滤器230从再构建信号中除去块畸变而生成解码信号。并且，运动图像解码装置200将该解码信号输出(典型的是显示在显示器上)(S24)。另一方面，预测块生成部使用再构建信号生成预测信号(S25)。

图13是本实施方式1的序列生成部180的块图。序列生成部180具备树构造决定部1001、树构造信息存储器1003、参照目标决定部1005、参照目标信息存储器1007、和系数遍历单元1009。

树构造决定部1001基于预先决定的构造信息1000、或者之前编码的帧或片段的系数的发生频度及强度信息等决定树构造信息1002。树构造决定部1001将所决定的树构造信息1002向树构造信息存储器1003保存，并且向储存介质或传送路1030输出。同时，决定保存到叶节点中的参照目标信息1013的初始值，向参照目标信息存储器1007保存。

这里，树构造信息1002是定义由包括内部节点及n个叶节点的多个节点构成的二叉树(也称作“零树”)的信息。参照目标信息1013是表示n个叶节点分别参照的2维矩阵的位置的信息。

将由n个量化系数构成的2维矩阵1010输入到系数遍历单元1009中。系数遍历单元1009基于从树构造信息存储器1003读出的树构造信息1004、和从参照目标信息存储器1007读出的参照目标信息1006，按照零树的遍历方法遍历系数，向表示有效节点的二进制序列和非零系数的水平与标记的信息1012变换，向储存介质或传送路1030输出。

更具体地讲，系数遍历单元1009基于树构造信息1004、参照目标信息1006、以及包括n个量化系数的2维矩阵1010，生成1维序列。该系数遍历单元1009由值分配部1009a和遍历部1009b构成。

值分配部1009a对由树构造信息1004定义的二叉树的各节点分配相互不同的第1及第2值某个。在实施方式1中，第1值是“1”，第2值是“0”。

值分配部1009a首先对n个叶节点分别将保持在由参照目标信息1013表示的2维矩阵的位置上的量化系数在由熵编码部190编码的情况下分配“1”、在不由熵编码部190编码的情况下分配“0”。接着，对于内部节点，在两个子节点的至少其一中被分配了“1”的情况下分配“1”，在两个子节点的哪个中都分配了“0”的情况下分配“0”。

遍历部1009b将二叉树以先根顺序(preorder)遍历，通过将对各节点分配的值以遍历顺序排列而生成1维序列。此时，遍历部1009b在内部节点中被分配了“0”的情况下，将该内部节点的子孙节点的遍历省略。

参照目标决定部1005如果接收到进行改变排列的触发信号1011，则生成新的参照目标信息1006。并且，用该新的参照目标信息1006将参照目标信息存储器1007覆盖，并且将新的参照目标信息1006向储存介质或传送路1030输出。这里，所谓进行改变排列的触发信号1011，是频率适应选择更新中的、更新的高频域系数的位置被变更的情况等。此时，参照目标决定部1005通过值分配部1009a的处理决定参照目标信息1006，以对更上位的内部节点分配“0”(换言之，使1维序列尽可能短)。

图14是本实施方式1的矩阵生成部280的块图。矩阵生成部280具备树构造信息存储器1003、参照目标信息存储器1007、和系数逆遍历单元2209。

从储存介质及传送路1030以帧、片段或多个块等的较宽的周期接收树构造信息1002，保存到树构造信息存储器1003中。将所保存的树构造信息1002向系数逆遍历单元2209输出。树构造信息1002由于有具有表示叶节点与系数的位置信息的关系的参照目标信息1013的初始值的情况，所以在具有的情况下向参照目标信息存储器1007保存。如果以同样的频度或块单位的频度接收新的参照目标信息1006，则用该新的参照目标信息1006覆盖参照目标信息存储器1007。

系数逆遍历单元2209输入表示有效节点的二进制序列、和非零系数的水平与标记的信息1012，基于树构造信息1002和参照目标信息1006，按照表示有效节点的二进制序列决定非零系数的位置，将非零系数的水平与标记合并，输出包括n个量化系数的2维矩阵1010。

更具体地讲，系数逆遍历单元2209基于1维序列、量化系数、参照目标信息1006、及树构造信息1002，生成由n个量化系数构成的2维矩阵1010。该系数逆遍历单元2209由逆遍历部2209a和系数分配部2209b构成。

逆遍历部2209a将二叉树以先根顺序(preorder)遍历，将由1维序列表示的值分配给各节点。但是，在对内部节点分配了“0”的情况下，将该内部节点的子孙节点的遍历省略。系数分配部2209b基于参照目标信息1006，对被分配了“0”的叶节点参照的2维矩阵的位置依次分配量化系数。

图15A是表示本实施方式1的运动图像编码装置100的动作次序的流程图。首先，将由树构造决定部1001生成的树构造信息1002通过熵编码部190编码并输出(S901)。该树构造信息1002由于信息量较大，所以一般1次生成并输出。

接着，在帧单位或片段单位或多个块的单位的重复处理(S902～S905)中，将一个或多个块的量化系数及1维序列编码(S903)。此外，在频率适应更新中的、更新的系数的位置变化的情况下等，将叶节点具有的系数的参照目标信息1006编码(S904)。并且，将这些信息通过熵编码部190编码，作为已编码流(也称作“编码信号”)输出。如果还剩余有编码对象的帧或片段或多个块，则再次进行系数的编码(S903)。另外，参照目标信息的更新(S904)也可以在量化系数的编码(S903)之前进行。

此外，在上述的FSC中有不编码的系数位置，但在位置信息的改变排列时，也可以将不存在有效的系数位置的情况用特别的值表现(例如分配-1。或者，在具有4×4的16系数的块中在将0到15的值分配给系数位置的情况下分配16等)。在将这样的无效的位置分配给叶节点的值的情况下，在其父节点具有的另一个子节点的值也是0的情况下，需要将该父节点的值也改写为0。该改写从全部的叶节点朝向根进行。

图15B是表示本实施方式的运动图像解码装置200的动作次序的流程图。首先，根据已编码流解码树构造信息1002(S911)。接着，在帧单位或片段单位或多个块单位的重复处理(S912～S915)中，将量化系数及1维序列解码(S913)。此外，如果在已编码流中有将叶节点具有的系数的参照目标信息1006更新的信息，则将参照目标信息存储器1007的参照目标信息1006更新(S914)。

如果在已编码流中还剩余有没有解码的已编码数据(S915)，则继续解码处理(S912)。另外，参照目标信息1006的解码(S914)和量化系数及1维序列的解码(S913)也可以替换顺序。

接着，参照图16及图17，说明实施方式1的序列生成处理的一例。图16是序列生成处理的流程图。图17是表示通过序列生成处理生成的数据的一例的图。

2维矩阵1010由n个量化系数构成。此外，在图17中，将2维矩阵1010的各单元格的位置用a～f表示。另外，在图17中，为了简单而表示了由6个量化系数构成的2维矩阵1010的例，但本发明并不限定于此。例如，也可以是4×4(＝16)矩阵或8×8(＝64)矩阵。

树构造信息1002是用来定义二叉树的构造的信息。具体的数据构造并没有特别限定，例如由构造信息(ztree structure)和索引信息(ztree leaf index)构成。

构造信息是用来确定二叉树的构造的信息，例如表示将二叉树以先根顺序遍历的情况下的内部节点及叶节点的排列顺序。这里，所谓“先根顺序”，是按照构成二叉树的各部分树以“父节点→左节点→右节点”的顺序、或“父节点→右节点→左节点”的顺序遍历。在图17的例子中，“0”表示内部节点，“1”表示叶节点。索引信息表示n个叶节点参照的中间表(后述)的索引。另外，在图17的二叉树中，各节点的左肩所示的数值x表示该节点的遍历顺序。以下，在指向特定的节点的情况下表述为“节点(x)”。

并且，参照目标决定部1005基于2维矩阵1010及树构造信息1002生成参照目标信息1006(S31)。在图17中表示作为参照目标信息1006的具体例的参照目标信息1006a、1006b。参照目标信息1006a、1006b是将表示2维矩阵的各位置(a～f)的位置信息与确定该位置信息的索引(I～VI)建立对应而保持的中间表。索引(I～VI)对应于树构造信息1002的索引信息。即，二叉树的各叶节点经由参照目标信息1006a、1006b对2维矩阵1010访问。

这里，参照目标决定部1005生成所生成的1维序列为最短那样的参照目标信息1006。即，变更表示2维矩阵的各位置的位置信息与索引的组合。例如，通过值分配部1009a的处理，生成对更上位的内部节点分配“0”那样的参照目标信息1006。或者，生成参照目标信息1006，以将保持编码的量化系数的2维矩阵的位置分配被比保持没有被编码的量化系数的2维矩阵的位置遍历顺序更早的叶节点。

参照目标信息1006的具体的决定方法并没有特别限定，例如也可以预先准备多个参照目标信息1006a、1006b、基于该多个参照目标信息1006a、1006b生成1维序列、选择能够生成最短的1维序列的参照目标信息1006。或者，也可以基于之前生成的参照目标信息1006a生成1维序列，变更参照目标信息1006a的位置信息与索引组合而生成新的参照目标信息1006b，以变能够生成比该生成的1维序列短的1维序列。

首先，说明使用参照目标信息1006a生成1维序列的处理。

值分配部1009a对由树构造信息1002定义的二叉树的各节点分配“1”及“0”的某个(S32)。

首先，对n个叶节点分别分配值。具体而言，在将保持在由参照目标信息1006a表示的2维矩阵1010的位置上的量化系数编码的情况下分配“1”。另一方面，在不将该量化系数编码的情况下分配“0”分配。这里，在实施方式1中，仅将不是0的量化系数编码。

例如，节点(3)的索引是I，将位置a与参照目标信息1006a的索引I建立了对应。位置a的量化系数是“15”，由于该量化系数被编码，所以对于节点(3)分配“1”。另一方面，节点(11)的索引是VI，将位置f与参照目标信息1006a的索引VI建立了对应。位置f的量化系数是“0”，由于该量化系数没有被编码，所以对于节点(11)分配“0”。

接着，对内部节点分配值。具体而言，在两个子节点的至少一个被分配了“1”的情况下分配“1”。另一方面，在两个子节点都被分配了“0”的情况下分配“0”。

例如，对于作为节点(2)的子节点的节点(3)及节点(4)分配“1”。即，对于节点(2)分配“1”。另一方面，对于作为节点(8)的子节点的节点(9)及节点(10)分配“0”。即，对于节点(8)分配“0”。

接着，遍历部1009b将在各节点被分配了值的二叉树以先根顺序遍历，将对各节点分配的值以遍历顺序排列(S33)。结果，通过使用参照目标信息1006a，得到1维序列(111111100)。此外，被编码的量化系数的列是(15，7，2)。

接着，说明使用参照目标信息1006b生成1维序列的处理。另外，参照目标信息1006b在将索引III与位置f建立对应、将索引VI与位置c建立了对应这一点上与参照目标信息1006a不同。此外，1维序列的生成次序由于已经说明了，所以省略再次的说明。通过使用参照目标信息1006b，得到1维序列(1111101)。此外，被编码的量化系数的列是(15，7，2)。

参照图17可知，在使用参照目标信息1006a的情况下，对节点(8)分配“0”。另一方面，在使用参照目标信息1006b的情况下，对节点(6)分配“0”。即，通过使用参照目标信息1006b，能够对更上位的内部节点分配“0”。

此外，使用参照目标信息1006a生成的1维序列是9位。相对于此，使用参照目标信息1006b生成的1维序列是7位。即，通过使用参照目标信息1006b，能够生成更短的1维序列。

接着，序列生成部180判断所生成(使用)的参照目标信息1006b是否与之前生成(使用)的参照目标信息不同(即是否被更新)(S34)。在参照目标信息1006b与之前生成者不同的情况下(S34中是)，序列生成部180将1维序列、量化系数的列、及参照目标信息1006b向熵编码部190输出(S35)。另外，熵编码部190既可以将参照目标信息1006b整体编码，也可以仅将与最近的参照目标信息1006a的差编码。

另一方面，在参照目标信息1006b与之前生成者相同的情况下(S34中否)，序列生成部180将1维序列及量化系数的列向熵编码部190输出(S36)。

通过做成上述结构，能够削减熵编码部190中的代码量。此外，上述的处理由于能够不变更数据量较大的树构造信息1002、而仅通过参照目标信息1006的变更来实现，所以处理负荷不会大幅增大。

另外，实施方式1的树构造信息1002包括构造信息(ztree structure)和索引信息(ztree leaf index)。此外，参照目标信息1006是将确定2维矩阵1010的各位置的位置信息、与确定位置信息的索引建立对应而保持的中间表。但是，也可以是将中间表省略、将树构造信息1002中的索引信息优化(即索引信息相当于参照目标信息)的结构。

接着，参照图18及图19，说明实施方式1的矩阵生成处理的一例。图18是矩阵生成处理的流程图。图19是表示通过矩阵生成处理生成的数据的一例的图。

首先，矩阵生成部280取得从熵解码部290输出的信号。在该信号中，包括由运动图像编码装置100生成的1维序列(1111101)、量化系数的列(15，7，2)、以及新生成的参照目标信息1006b。

所以，矩阵生成部280在从熵解码部290输出的信号中包含参照目标信息1006b的情况下，即在参照目标信息1006被更新的情况下(S41中是)，用该新的参照目标信息1006b将参照目标信息存储器1007覆盖(S42)。另一方面，在从熵解码部290输出的信号中不包含参照目标信息1006的情况下(S41中否)，矩阵生成部280将S42的处理省略。

接着，逆遍历部2209a将二叉树以先根顺序遍历，将由1维序列表示的值分配给各节点(S43)。但是，在对内部节点分配了“0”的情况下，将内部节点的子孙节点的遍历省略。

使用图19说明该逆遍历处理(S43)。首先，将1维序列的各值分配给各节点。具体而言，对节点(1)～(5)分配“1”，对节点(6)分配“0”。这里，由于在作为内部节点的节点(6)中设定了“0”，所以将作为该节点(6)的子孙节点的节点(7)～(10)的遍历(值的分配)省略。即，将1维序列的最后的值“1”分配给节点(11)。

接着，系数分配部2209b基于参照目标信息1006b，对被分配了“1”的叶节点参照的2维矩阵的位置依次分配包含在量化系数的列中的各系数(S44)。由此，生成2维矩阵。

在逆遍历处理(S43)中分配了“1”的叶节点是节点(3)、(4)、(11)。此外，分别对节点(3)分配了参照目标信息1006b的索引I、对节点(4)分配了索引II、对节点(11)分配了索引VI。所以，系数分配部2209b对节点(3)经由参照目标信息1006b参照的2维矩阵的位置a分配量化系数的列中的最初的系数“15”。同样，系数分配部2209b对节点(4)参照的位置b分配量化系数“7”，对节点(11)参照的位置c分配量化系数“2”。另一方面，对于被设定了“0”的叶节点(节点(7)、(9)、(10))参照的位置d、e、f设定量化系数“0”。

根据上述结构，不变更数据量较大的树构造信息1002，仅通过参照目标信息1006的变更就能够从1维序列再构成2维矩阵，所以处理负荷不会大幅增大。

(实施方式2)

接着，参照图20～图22B，说明有关本发明的实施方式2的运动图像编码装置100及运动图像解码装置200的动作。另外，运动图像编码装置100及运动图像解码装置200的结构及基本的动作与实施方式1是共通的，所以省略详细的说明。

在实施方式1中，表示了仅将2维矩阵中的不是0的量化系数编码的例子，但本发明并不限定于此。例如，也可以利用频率选择编码选择应编码的量化系数。

即，预先将2维矩阵划分为第1组和第2组。并且，熵编码部190根据属于第1组的全部的量化系数、和属于第1组的量化系数的值，仅将从第2组选择的量化系数有选择地编码。并且，序列生成部180只要基于上述规则将被编码的量化系数与没有被编码的量化系数区别就可以。

如上所述，在频率选择的更新中，仅将低域的系数和一部分的高频域的系数编码，不将其余的许多系数编码。在此情况下，如图20的概念图所示，从零树构造1202的最上位的父节点1203看，对最初被遍历者的子节点(在该例中，由于有从左向右的优先位次，所以是左侧的部分树1204)配置有可能具有非零系数的系数的位置，对第2个被遍历者的子节点(在该例中是右侧的部分树1205)都配置不具有非零系数的系数的位置。

所谓有可能具有非零系数的状态，是指既有为非零的情况、也有为零的情况、不一定是零的状态。在频率选择的更新中，不具有非零系数的系数的个数一般较多，但通过这样将不具有非零系数的系数的位置集中，能够使表示有效节点的二进制序列(1维序列)1206的、关于非零系数的部分序列1207成为最小限度的个数(在该例中是1个)。

有关本实施方式2的运动图像编码装置100如图21的流程图所示那样决定零树构造。将系数位置分类为总是具有零系数的系数的位置、和有可能具有非零系数的系数的位置(S1301)。接着，将有可能具有非零系数的系数的位置首先编码到同一个子节点之下(S1302)。并且，将总具有零系数的系数的位置编码到别的同一个子节点之下(S1303)。由此，能够使表示有效节点的二进制序列的数据量成为最小限度。

并且，使用图16及图17说明的序列生成处理在有关实施方式2的运动图像编码装置100中也能够采用。即，序列生成部180的参照目标决定部1005决定参照目标信息1006，以将被编码的非零系数分配给部分树1204、将没有被编码的零系数分配给部分树1205。由此，能够使频率选择编码中的1维序列最小化。

图22A是本发明的实施方式2的运动图像编码装置的动作流程图。是将图15A变形、对应于在不通过频率选择编码FSC将特定位置的系数编码的情况下通知不编码的系数位置的流程图。

将零树构造编码(S2301)。零树构造的叶节点的值表示的目标不是直接指向系数的位置，而是经由改变排列的数据阵列指示系数的位置信息的间接位置信息。

接着，在帧单位或片段单位或多个块的单位的重复处理(S2302)中，决定不编码的系数位置(S2303)。另一方面，不编码的系数位置表现为不从零树的任意的叶节点参照的状态。例如，将用特别的值(超过块的系数的总数的数值或-1等)表现的位置更新信息编码到改变排列的数据阵列上(S2304)。

接着，仅对有可能将系数编码的系数位置将量化系数编码(S2305)。将S2303～S2305的处理对应于S2301重复(S2306)。位置更新信息的编码S2304在位置信息与以前的帧或片段或多个块相同的情况下可以省略。此外，零树构造的编码S2301也有在S2302～S2306的重复之中进行的情况。

图22B是本发明的实施方式2的运动图像解码装置的动作流程图。是将图15B变形、对应于在没有通过频率选择编码FSC将特定位置的系数编码的情况下通知没有编码的系数位置。

将零树构造解码(S2311)，对于全部的叶节点，将从叶节点指示改变排列的数据阵列上的要素的关系(即间接位置信息)解码。在帧单位或片段单位或多个块的单位的重复处理(S2312)中，如果有位置更新信息则将位置信息更新，如果没有则使用之前状态的位置信息等，决定位置信息(S2313)。

这里，在对某个叶节点分配的间接位置信息指向的、改变排列的数据阵列上的要素是表现没有编码的系数位置的特别的值(超过块的系数的总数的数值或-1等)的情况下，该叶节点的值为0。在该为0的节点的父节点具有的另一个子节点的值也为0的情况下父节点为0。

接着，朝向根方向依次进行改写(S2313)。进而，在有从改变排列的数据阵列上的哪个要素都没有指示的系数位置的情况下，可知该系数是没有被编码的系数，对该系数设定0(S2314)。

接着，将量化系数按照零树遍历的逆遍历的次序向本来的系数位置设定。在本发明的解码方法中，零树的叶节点指示的不是直接的系数位置，而是间接位置信息。即，指向改变排列的数据阵列上的要素。在改变排列的数据阵列上指示的要素表示的目标是最终的系数的位置信息(S2315)。对于S2313～S2315，以上述的S2312的单位进行重复(S2316)。

此外，为了实现局部适应的频率选择编码，也可以定义在频率选择编码的条件为真的情况下使用的第2改变排列的数据阵列。

(实施方式3)

接着，参照图23说明本发明的实施方式3。在实施方式3中，是将有关实施方式2的序列生成处理及矩阵生成处理应用到锯齿遍历中的实施方式。

如上所述，在频率选择编码中抑制了高频域系数的代码量。但是，在边缘等的信息量较多的区域(块等的单位)中，如果不将高频域系数编码则也有容易看出画质变差的倾向，所以在这样的区域中优选的是不进行FSC。需要将块单位的FSC的有无信息向解码装置通知的机制，但如果按照块赋予信息，则因块有许多，所以有整体的代码量显著增加的问题。本实施方式3的局部适应频率选择编码的装置及方法基于不论FSC的有无都总是被编码的低域系数的信息决定FSC的有无。

使用图23说明局部适应频率选择编码。将2维的量化变换系数块11通过第1遍历顺序502遍历，但在遍历到预先决定的位置后进行FSC有无的判断。在该图中，在遍历到位置e后进行判断。

在容易感知边缘等的变差的区域中，有在低域中也发生较大的系数的趋势。利用该趋势，基于低域的系数进行FSC的判断504。也可以不是系数、而基于上述的水平或标记、或是零系数还是非零系数而进行判断。或者，也可以对这些信息进行基于位置的加权，也可以基于使用了某种函数处理后的结果进行判断。

这里，基于通过第1遍历顺序502遍历的系数序列、以及第1系数序列503，将系数的绝对值的和与预先决定的阈值比较。如果比阈值大，则通过第2遍历顺序505遍历其余的系数。与第1系数序列503一起，如图23那样得到1维序列506。另一方面，在判断504中，在判断为低域的系数不强的情况下，通过第3遍历顺序507遍历其余的系数。在该例中，仅遍历1的位置的系数。与第1系数序列503一起得到1维序列508。

另外，这里设第1遍历顺序502与第2遍历顺序505独立而进行了说明，但第1遍历顺序502和第2遍历顺序505是连续的。第1遍历顺序502可以认为是该连续的遍历顺序的前半的一部分。此外，该连续的遍历顺序能够通过设为锯齿遍历等的一般性的遍历而容易地安装。

(实施方式4)

在上述实施方式2的例子中，减小了表示非零系数的位置的二进制序列的数据量，但还通过不将配置有不具有非零系数的系数的位置的部分树1205编码，进一步削减了零树构造的数据量、以及表示有效节点的二进制序列的数据量。

图24是说明有关本实施方式的运动图像编码方法的图。具体而言，是表示零树构造的决定、以及表示非零系数的位置的二进制序列的决定的概念图。

仅对于有可能具有非零系数的系数的位置，将零树构造1402与表示有效节点的二进制序列1406编码。在该图中，是有可能具有非零系数的系数都是非零(都为1)的例子，但也包括一部分的系数是零的情况。此外，由于零树构造的最上位的父节点1403是冗余的，所以也可以做成图25所示的零树构造1502。

有关本实施方式4的运动图像编码方法在零树构造的决定中，如图26的流程图所示那样决定零树构造。首先，将系数位置分类为总是具有零系数的系数的位置、和有可能具有非零系数的系数(为零或非零系数)的位置(S1601)。并且，仅将有可能具有非零系数的系数(为零或非零系数)的位置编码(S1602)。

(实施方式5)

在上述实施方式3中，表示了锯齿遍历的情况下的局部适应频率选择编码(局部适应FSC)。在本实施方式5中，表示零树构造的情况下的局部适应FSC。图27是表示本实施方式5的概念图。根据零树构造的已经解码的部分树1702的状态，切换后续的部分的零树构造。

在图27的例子中，定义了表示进行切换判断的定时的作为虚拟的节点的带条件节点1703。当零树构造的探索(或横动)到达该节点的位置时，进行局部适应FSC的条件判断。它是虚拟的节点，不需要表示与该节点建立关联付的有效节点的二进制序列的要素。在该带条件节点的判断结果是真的情况下，选择零树构造的部分1704。并且，在判断结果不是真的情况下，选择零树构造的部分1705。

上述的已经被解码的部分树1702的状态，基于包含在部分树1702中的位置的系数本身、该系数的水平及标记、系数是零系数还是非零系数、或者节点是否具有有效的值等的信息定义。既可以对这些信息进行基于位置的加权，也可以基于应用了某种函数处理后的结果来定义。

进而，也可以基于量化参数或块的帧内的位置信息、生成预测图像的方式的种类来定义。量化参数是在编码装置侧为了变更向在视觉上变差醒目的区域和不怎么醒目的区域的数据量的分配而控制的参数。通过根据该参数使条件判断适应，能够进行使画质变差不易醒目的控制。

另外，在上述中，进行局部适应FSC的判断的定时是虚拟的节点，表示有效节点的二进制序列的要素没有建立关联。但是，作为局部适应FSC的判断条件之一，可以也考虑将表示有效节点的二进制序列的要素建立关联的结构。在该结构中，有能够从编码装置侧明示地控制局部适应FSC的判断的优点，但也有数据量增加的缺点。在本实施方式5中，假设没有建立了关联的二进制序列的要素。

图28是本实施方式5的解码装置的块图。本解码装置由零树解码部1801、合并部1802、逆量化部1803、和逆正交变换部1804构成。

零树解码部1801输入零树构造1811和表示有效节点的二进制序列1812，在树上进行节点的有效无效判断。并且，在树上进行探索，直到找到下个有效的叶节点，将与探索到的叶节点建立了关联的(非零的)系数的位置信息1814输出。将该位置信息1814输入到合并部1802中。

合并部1802输出将另外输入的水平和标记1813按照位置信息1814向本来的排列(2维块等)变换后的合并信号1815。另外，在编码装置侧与该信号对应的是量化系数。

逆量化部1803输入合并信号1815，进行逆量化变换，输出逆量化后信号1816。另外，在编码装置侧与该信号对应的是正交变换系数。逆正交变换部1804以逆量化后信号1816为输入，进行逆正交变换，输出信号1817。

在本实施方式5的解码装置中，特征性的结构是具备一个以上的多个以下的(i)到(iv)。(i)将零树解码部1801的过去的输出向零树解码部1801输入，使输出的位置信息1814适应性地变化。(ii)将过去的合并信号1815输入到零树解码部1801中，使输出的位置信息1814适应性地变化。(iii)将过去的逆量化后信号1816输入到零树解码部1801中，使输出的位置信息1814适应性地变化。(iv)将其他能够在该块内利用的信息(信号1817)输入到零树解码部1801中，使输出的位置信息1814适应性地变化。另外，也有(i)包括在零树上已经探索到的节点具有的值的情况。

此外，本实施方式5的编码装置如果将在局部适应FSC中作为FSC的判断条件参照的部分零树构造、或对应于低域的系数的部分零树构造称作第1零树构造，则决定第1零树构造，以使其对应于属于第1零树构造的系数的发生频度为最优。同样，如果将由局部适应FSC切换的部分的两个部分零树构造称作第2零树构造、第3零树构造，则决定第2零树构造，以使其对应于属于第2零树构造的系数的发生频度为最优。决定第3零树构造，以使其对应于属于第3零树构造的系数的发生频度为最优。

图29是说明有关本实施方式5的编码装置及解码装置中的、零树解码部的局部适应处理的流程图。在零树解码部中，在探索节点的过程中，与以往不同，有包含带条件节点的情况。

所以，首先调查当前的探索位置的节点的类型(S1901)。接着，如果该节点类型为不是带条件的通常的节点，则从表示有效节点的二进制序列中将要素取出一个(S1903)向下个节点移动(S1907)。

在节点的类型是依存于过去得到的节点的值的类型的带条件节点的情况下，进行其条件的判断，根据判断结果，按照预先定义的(由编码装置通知的)方法决定树构造(S1904)。树构造的决定，既可以是一部分的变更，也可以是不变更树的构造、而是叶节点与系数的位置的关系的再变更。

在树构造的决定后，向下个节点移动(S1907)。在节点的类型是取决于过去得到的节点指示的系数的水平、标记、或系数本身的类型的带条件节点的情况下，取得需要的水平、标记、或系数本身(S1905)。

然后，与上述的判断动作S1904同样，基于水平、标记、或系数本身，决定树构造(S1906)。在树构造的决定后，向下个节点移动(S1907)。在向下个节点的移动(S1907)中，在树构造中不存在下个节点的情况下结束处理。

(实施方式6)

在本实施方式6中，作为用来如局部适应FSC那样变更树的部分的树构造，提供具有一个节点的多个值的数据构造、以及将该数据构造编码及解码的方法。在图30中表示由具有多个值的节点构成的树构造的部分变更的概念图。

在有关实施方式6的零树构造中，为各节点具有多个、至少两个值的构造。在零树构造的探索开始时，为参照第1值的状态。在FSC的判断在切换节点2000中为真的情况下，其以后成为参照第2值的状态。第2值与以往同样，定义了作为表示在探索时从表示有效节点的二进制序列取出要素的值的“取出”、和预先以帧单位、片段单位或多个块的单位将值固定的“默认”的两种值。

在图30中，“取出”是在内部节点中记载“-”、在叶中记载对应于系数的位置的拉丁字母。通过在第2值中预先输入“默认”的0，能够记述节点的无效化，能够将零系数的编码跳过(在图30中对应于节点2002和节点2004)。

此外，如节点2003那样，在第2值中设定与第1值不同的系数位置也有优点。如节点2005和节点2003的系数f、c的例子那样，能够变更到探索为止的应通过的节点数。通过这样使发生频度更高的系数移动到通过顺序较早的节点，有可能能够削减表示有效节点的二进制序列的数据量。

图31是一边切换读取具有多个值的节点中的哪个值一边探索树构造的、本实施方式的树构造解码方法的动作流程图。这里，将在某个节点中应读取哪个值的信息称作路线。

首先，最开始将路线初始化(S2101)。接着，开始探索，在某个节点确认节点的形式。如果该节点是进行局部适应FSC等的条件判断的开关节点(S2102中是)，则进行建立了关联的条件判断(S2103)。

如果判断结果是真(S2103中是)，则进行建立了关联的路线变更等的动作(S2104)，向下个节点移动(S2105)。另一方面，如果判断结果不是真(S2103中否)，则不进行路线变更，向下个节点移动(S2105)。

上述的节点的类型判断中，如果不是转变节点(S2102中否)，则读入当前的节点的当前的路线的值(S2104)，进行零树构造解码的通常动作，向下个节点移动(S2105)。在向下个节点的移动(S2105)中，如果有剩余的节点则向节点的类型判断S2102返回，如果没有剩余的节点则结束。

(实施方式7)

在图27中表示了使用虚拟的节点的结构，但也可以想到树作为整体变大有管理上的不良状况的情况。如图32所示，将2维的量化变换系数块2401分组为第1组和第2组。

关于第1组，定义一个部分零树构造2402。关于第2组，定义一个或多个部分零树构造2403、2405。选择第2组的部分零树构造2403、2405的哪个，基于在第1组的部分零树构造2402的探索(或横动)后得到的系数、水平、标记、或表示有效节点的二进制序列决定。

在该结构中，由于将条件分叉的虚拟节点与树分别定义，所以具有也可以不将解码树构造的单元从以往变更的优点。第2组的部分树构造2403、2405在图32中有2个，但也可以有3个以上。此外，在图32中，将量化系数组划分为第1组和第2组，但也可以划分为3个以上的组。

在以往的作为固定的遍历的锯齿遍历、以及零树遍历哪种中，都将量化系数通过编码装置再分解为表示非零系数的二进制序列(或表示有效节点的二进制序列)和非零系数序列，将非零系数再分解为水平和标记。如本实施方式7那样，需要将量化系数划分为两个以上的组、将二进制序列和非零系数序列(也包括水平或标记)也划分为两个组。

图33表示二进制序列和非零系数序列的数据的排列。在第1组的有效节点的二进制序列2501之后排列第1组的非零系数序列2502，然后排列第2组的有效节点的二进制序列2503，然后排列第2组的非零系数序列2504。第1组的非零系数序列2502处于该位次是因为，为了决定第2组的部分零树构造而需要非零系数。

另一方面，在不使用非零系数决定的情况下(仅使用第1组的有效节点的二进制序列2501或使用该块的量化参数等)，数据的排列也可以是第1组的有效节点的二进制序列2501、第2组的有效节点的二进制序列2503、第1组的非零系数序列2502、第2组的非零系数序列2504的排列。两个非零系数序列2502、2504也可以不分割。

图34A是本实施方式7的编码装置的各块的动作流程图。预先以帧单位、片段单位或多个块的单位，将第1组的部分零树构造、第2组的部分零树构造编码。在各块中，将第1组的有效节点的二进制序列编码(S2601)。接着，进行第1组的非零序列的编码(S2602)。接着，决定第2组的部分零树构造(S2603)。在决定后，进行第2组的有效节点的二进制序列的编码(S2604)。接着，进行第2组的非零系数序列的编码(S2605)。

图34B是本实施方式7的解码装置的各块的动作流程图。为与解码装置对应的动作。假设预先以帧单位、片段单位或多个块的单位将第1组的部分零树构造、第2组的部分零树构造解码。在各块中，将第1组的有效节点的二进制序列解码(S2611)。接着，将第1组的非零序列解码(S2612)。接着，决定第2组的部分零树构造(S2613)。在决定后，将第2组的有效节点的二进制序列解码(S2614)。并且，将第2组的非零系数序列解码(S2615)。

另外，这里，设为第2组的部分零树以帧单位等明示地被从编码装置向解码装置通知。但是，由于通过将系数分割为多组而组的要素数减少，所以也可以考虑不使用零树遍历、而如以往那样通过使用锯齿遍历能够减轻处理量的结构。特别是，在第1组是低域区域的较窄的范围(2×2)的情况下，锯齿遍历更简单。

此外，在使用频率选择编码FSC的情况下，由于高频域的系数的个数较少，所以不使用零树构造而直接通知系数位置的序列、零树构造限定为是不具有分支的构造的方法较简单。在图35的概念图中表示例子。

如图35所示，按照系数位置的个数，预先规定不具有指示系数位置的信息的零树构造2712、2722、2732、2742。并且，通过将系数位置序列2711、2721、2731、2741、与不具有指示系数位置的信息的零树构造2712、2722、2732、2742组合，得到了零树构造2713、2723、2733、2743。

不具有指示系数位置的信息的零树构造2712、2722、2732、2742通过如仅用进行多个帧的编码的开头发送、或以多个帧的单位发送等那样抑制送出频度，能够削减数据量。如频率选择编码FSC的情况那样，在许多应用例中，不具有指示系数位置的信息的零树构造遍及多个帧不变化，仅将系数的位置更新，所以能够期待效果。

(实施方式8)

作为将2维的量化变换系数块2401分组为第1组和第2组的实施方式7的变形例，提供以更少的数据量将第2组的部分零树构造编码及解码的方法。

在局部适应的频率选择编码中，将第2组的编码的系数位置以帧单位(或片段单位、多个块单位)更新，但系数的个数是一定的，仅系数的位置变化。因而，如果仅能够将第2组的部分零树构造更新，则能够使更新所需要的数据量成为最小限度。进而，如果预先定义图35所示那样的、不具有指示系数位置的信息的零树构造，则在各帧中，只要仅将编码的系数位置的序列编码就可以。使用图36的概念图进行说明。

以多个帧的单位将第1组的部分零树构造2702编码，在第2组的部分零树构造中，在频率选择编码在该块中为真的情况下将所选择的第2部分零树构造2703编码，进而，将第2组的其余的部分零树构造2704编码。

频率选择编码为真的情况下的第2部分零树构造2703如图36所示，也可以具有指示系数位置的信息，或者也可以是不具有指示系数位置的信息的零树构造。在哪种情况下，都在各帧单位中将频率选择编码为真的情况下的第2部分零树构造2703覆盖到以各帧单位编码的系数位置的序列上(或组合)，由此得到各帧的、频率选择编码为真的情况下的第2部分零树构造。

在帧f1中，将系数位置序列2705与第2部分零树构造2703组合，得到帧f1的、频率选择编码为真的情况下的第2部分零树构造2706。同样，在帧f2中，将系数位置序列2707与第2部分零树构造2703组合，得到帧f2的、频率选择编码为真的情况下的第2部分零树构造2708。

(实施方式9)

通过将用来实现上述实施方式所示的图像编码方法或图像解码方法的结构的程序记录到存储介质中，能够将由上述实施方式表示的处理在独立的计算机系统中简单地实施。存储介质可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要能够记录程序就可以。

进而，这里说明上述实施方式所示的图像编码方法及图像解码方法的应用例和使用它的系统。

图37是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各单元格内分别设置有作为固定无线站的基站ex106～ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、以及基站ex106～ex110，连接计算机ex111、PDA(PersonalDigital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

但是，内容供给系统ex100并不限定于图37那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110，而将各设备直接连接在电话网ex104上。此外，各设备也可以经由近距离无线等直接相互连接。

照相机ex113是数字摄像机等的能够进行运动图像摄影的设备，照相机ex116是数字照相机等的能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或LTE(Long TermEvolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(Personal Handyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对于用户使用照相机ex113摄影的内容(例如音乐现场的影像等)如在上述实施方式中说明那样进行编码处理，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103对有请求的客户端将发送来的内容数据流分发。作为客户端，有能够将上述编码处理的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理并再现。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限定于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111发送给流媒体服务器ex103。该情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码处理及解码处理一般在计算机ex111及各设备具有的LSI(Large Scale Integration)ex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将图像编码用及图像解码用的软件装入到能够由计算机ex111等读取的某种记录介质(CD-ROM、软盘、硬盘等)中、使用该软件进行编码处理及解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理后的数据。

此外，流媒体服务器ex103既可以是多个服务器或多个计算机，也可以是将数据分散处理或记录并分发的设备。

如以上这样，在内容供给系统ex100中，客户端能够将编码的数据接收并再现。这样，在内容供给系统ex100中，客户端能够实时地接收用户发送的信息并解码、再现，即使是不具有特别的权利或设备的用户也能够实现个人广播。

在构成该内容供给系统的各设备的编码、解码中，只要使用由上述实施方式表示的图像编码方法或图像解码方法就可以。

作为其一例，对便携电话ex114进行说明。

图38是表示使用在上述实施方式中说明的图像编码方法和图像解码方法的便携电话ex114的图。便携电话ex114具有用来在与基站ex110之间收发电波的天线ex601、CCD照相机等的能够拍摄影像、静止图像的照相机部ex603、由显示由照相机部ex603摄影的影像、由天线ex601接收到的影像等解码的数据的液晶显示器等的显示部ex602、操作键ex604群构成的主体部、用来进行声音输出的扬声器等的声音输出部ex608、用来进行声音输入的麦克风等的声音输入部ex605、用来保存摄影的运动图像或静止图像的数据、接收到的邮件的数据、运动图像的数据或静止图像的数据等、编码的数据或解码的数据的记录介质ex607、用来使得能够对便携电话ex114安装记录介质ex607的插槽部ex606。记录介质ex607是SD卡等的在塑料壳内收纳有能够电改写及删除的作为非易失性存储器的EEPROM的一种的闪存存储器元件的结构。

进而，对便携电话ex114使用图39进行说明。便携电话ex114对于综合控制具备显示部ex602及操作键ex604的主体部的各部的主控制部ex711，经由同步总线ex713将电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(Liquid Crystal Display)控制部ex702、图像解码部ex709、多路分离部ex708、记录再现部ex707、调制解调电路部ex706及声音处理部ex705相互连接。

电源电路部ex710如果通过用户的操作使结束通话及电源键成为开启状态，则通过从电池组对各部供电，将带照相机的数字便携电话ex114启动为能够动作的状态。

便携电话ex114基于由CPU、ROM及RAM等构成的主控制部ex711的控制，将在声音通话模式时由声音输入部ex605集音的声音信号通过声音处理部ex705变换为数字声音数据，将其用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后，经由天线ex601发送。此外，便携电话ex114将在声音通话模式时由天线ex601接收到的接收数据放大而实施频率变换处理及模拟数字变换处理，用调制解调电路部ex706进行波谱逆扩散处理，由声音处理部ex705变换为模拟声音数据后，经由声音输出部ex608将其输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键ex604的操作输入的电子邮件的文本数据经由操作输入控制部ex704向主控制部ex711送出。主控制部ex711将文本数据通过调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后，经由天线ex601向基站ex110发送。

在数据通信模式时发送图像数据的情况下，将由照相机部ex603摄像的图像数据经由照相机接口部ex703向图像编码部ex712供给。此外，在不发送图像数据的情况下，也可以将由照相机部ex603摄像的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。

图像编码部ex712是具备在本发明中说明的图像编码装置的结构，通过将从照相机部ex603供给的图像数据用在由上述实施方式表示的图像编码装置中使用的编码方法进行压缩编码而变换为编码图像数据，将其向多路分离部ex708送出。此外，与此同时，便携电话ex114将在由照相机部ex603摄像中由声音输入部ex605集音的声音经由声音处理部ex705作为数字的声音数据向多路分离部ex708送出。

多路分离部ex708将从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据以规定的方式多路复用，将结果得到的多路复用数据用调制解调电路部ex706进行波谱扩散处理，由收发电路部ex701实施数字模拟变换处理及频率变换处理后，经由天线ex601发送。

在数据通信模式时接收到链接到主页等上的运动图像文件的数据的情况下，将经由天线ex601从基站ex110接收到的接收数据用调制解调电路部ex706进行波谱逆扩散处理，将结果得到的多路复用数据向多路分离部ex708送出。

此外，为了将经由天线ex601接收到的多路复用数据解码，多路分离部ex708通过将多路复用数据分离而分为图像数据的比特流和声音数据的比特流，经由同步总线ex713将该编码图像数据向图像解码部ex709供给，并且将该声音数据向声音处理部ex705供给。

接着，图像解码部ex709是具备在本申请中说明的图像解码装置的结构，通过将图像数据的比特流用对应于由上述实施方式表示的编码方法的解码方法解码而生成再现运动图像数据，将其经由LCD控制部ex702供给到显示部ex602中，由此，将包含在例如链接在主页上的运动图像文件中的运动图像数据显示。与此同时，声音处理部ex705将声音数据变换为模拟声音数据后，将其向声音输出部ex608供给，由此，将包含在例如链接在主页上的运动图像文件中的声音数据再现。

另外，并不限于上述系统的例子，最近通过卫星、地面波的数字广播成为话题，如图40所示，在数字广播用系统中也能够装入上述实施方式的至少图像编码装置或图像解码装置。具体而言，在广播局ex201中，将声音数据、影像数据或多路复用了这些数据的比特流经由电波传送给通信或广播卫星ex202。接受到它的广播卫星ex202发送广播用的电波，具有卫星广播接收设备的家庭的天线ex204接收该电波，电视机(接收机)ex300或机顶盒(STB)ex217等的装置将比特流解码并将其再现。此外，在将记录在作为记录介质的CD及DVD等的记录介质ex215、ex216中的多路复用了图像数据、声音数据的比特流读取、解码的读取机/记录机ex218中也能够安装在上述实施方式中表示的图像解码装置。在此情况下，将再现的影像信号显示在监视器ex219上。此外，也可以考虑在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置、将其用电视机的监视器ex219再现的结构。此时，也可以不是机顶盒、而在电视机内装入图像解码装置。此外，也可以用具有天线ex205的车ex210从卫星ex202或基站等接收信号、在车ex210具有的汽车导航仪ex211等的显示装置中再现运动图像。

此外，在可以将记录在DVD、BD等的记录介质ex215中的声音数据、影像数据或多路复用了这些数据的编码比特流读取并解码、或在记录介质ex215中将声音数据、影像数据或这些数据编码、作为多路复用数据记录的读取机/记录机ex218中也能够安装由上述实施方式表示的图像解码装置或图像编码装置。在此情况下，将再现的影像信号显示在监视器ex219上。此外，通过记录有编码比特流的记录介质ex215，其他装置及系统等能够将影像信号再现。例如，其他再现装置ex212能够使用复制了编码比特流的记录介质ex214在监视器ex213上再现影像信号。

此外，也可以在连接在有线电视用的电缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装图像解码装置、将其用电视机的监视器ex219显示。此时，也可以不是机顶盒、而在电视机内装入图像解码装置。

图41是表示使用在上述实施方式中说明的图像解码方法及图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或电缆ex203等取得或输出影像信息的比特流的调谐器ex301、将接收到的编码数据解调、或者为了将所生成的编码数据向外部发送而调制的调制/解调部ex302、将解调后的影像数据和声音数据分离、或将编码的影像数据和声音数据多路复用的多路复用/分离部ex303。此外，电视机ex300具备具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304、影像信号处理部ex305的信号处理部ex306、和具有将解码后的声音信号输出的扬声器ex307、将解码后的影像信号显示的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有综合控制各部的控制部ex310、和对各部供电的电源电路部ex311。接口部ex317除了操作输入部ex312以外，也可以还具有与读取机/记录机ex218等的外部设备连接的桥接器ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收纳的非易失性/易失性的半导体存储器元件电气地进行信息的记录的介质。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的影像数据、声音数据用多路复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用用上述实施方式说明的解码方法解码。将解码的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以将这些信号暂时储存到缓存ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216将编码的编码比特流读出。接着，对电视机ex300将声音信号及影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，用声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用由上述实施方式说明的编码方法编码。将编码的声音信号、影像信号用多路复用/分离部ex303多路复用，向外部输出。在多路复用时，可以暂时将这些信号储存到缓存ex320、ex321等中，以使声音信号与影像信号同步。另外，缓存ex318～ex321既可以如图示那样具备多个，也可以是共有一个以上的缓存的结构。进而，在图示以外，也可以在例如调制/解调部ex302与多路复用/分离部ex303之间等也作为避免系统的溢出及下溢的缓冲部件而在缓存中储存数据。

此外，电视机ex300也可以除了从广播及记录介质等取得声音数据及影像数据以外，还具备受理麦克风及照相机的AV输入的结构，对从它们取得的数据进行编码处理。另外，这里，电视机ex300设为能够进行上述的编码处理、多路复用、及外部输出的结构进行了说明，但也可以是不能进行这些全部的处理、仅能够进行上述接收、解码处理、及外部输出中的某种的结构。

此外，在由读取机/记录机ex218从记录介质读出或写入编码比特流的情况下，上述解码处理或编码处理既可以由电视机ex300及读取机/记录机ex218中的某个进行，也可以是电视机ex300和读取机/记录机ex218相互分担进行。

作为一例，在图42中表示从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构。信息再现/记录部ex400具备以下说明的要素ex401～ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402将内置在光头ex401中的半导体激光器电气驱动，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光的再现信号放大，将记录在记录介质ex215中的信号成分分离而解调，将需要的信息再现。缓存ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息临时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理通过系统控制部ex407利用保持在缓存ex404中的各种信息、此外根据需要而进行新的信息的生成及追加、并且一边使调制记录部ex402、再现解调部ex403及伺服控制部ex406协同动作、一边经由光头ex401进行信息的记录再现来实现。系统控制部ex407由例如微处理器构成，通过执行读出写入的程序来执行这些处理。

以上，设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行更高密度的记录的结构。

在图43中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上以螺旋状形成有导引槽(沟槽)，在信息轨道ex230中，预先记录有通过沟槽的形状的变化表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，进行记录及再现的装置通过将信息轨道ex230再现并读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。用户数据为了记录而使用的区域是数据记录区域ex233，配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234被用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或多路复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于此，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用各种不同的波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的汽车导航仪ex211等的显示装置上再现运动图像。另外，汽车导航仪ex211的结构可以考虑在例如图41所示的结构中添加了GPS接收部的结构，同样的结构也可以在计算机ex111及便携电话ex114等中考虑。此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器及解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。

这样，能够将在上述实施方式中表示的图像编码方法或图像解码方法用在上述任一种设备及系统中，通过这样，能够得到在上述实施方式中说明的效果。

此外，本发明并不限定于上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式10)

由上述各实施方式表示的图像编码方法及装置、图像解码方法及装置典型地可以通过作为集成电路的LSI实现。作为一例，在图44中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的要素ex501～ex509，各要素经由总线ex510连接。通过电源电路部ex505在电源为开启状态的情况下对各部供电，启动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503及流控制器ex504等的控制部ex501的控制，通过AVI/Oex509从麦克风ex117及照相机ex113等受理AV信号的输入。将输入的AV信号暂时储存到SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分为多次等，发送给信号处理部ex507。信号处理部ex507进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据多路复用等的处理，从流I/Oex506向外部输出。将该输出的比特流朝向基站ex107发送、或写入到记录介质ex215中。另外，在多路复用时，也可以将数据暂时储存到缓存ex508中以便同步。

此外，例如在进行解码处理的情况下，LSIex500基于控制部ex501的控制，将由流I/Oex506经由基站ex107得到的编码数据、或从记录介质ex215读出而得到的编码数据暂时储存到存储器ex511等中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当分为多次等，发送给信号处理部ex507。信号处理部ex507进行声音数据的解码及/或影像数据的解码。这里，影像信号的解码处理是在上述实施方式中说明的解码处理。进而，根据情况，可以将解码的声音信号和解码的影像信号暂时储存到缓存ex508等中，以便能够将这些信号同步再现。将解码后的输出信号适当经由存储器ex511等，从便携电话ex114、游戏机ex115及电视机ex300等的各输出部输出。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓存ex508也并不限定于一个，也可以具备多个缓存。此外，LSIex500既可以1芯片化，也可以多芯片化。

另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级LSI、超大规模LSI的情况。

此外，集成电路化的方法并不限于LSI，也可以由专用电路或通用处理器实现。也可以使用在LSI制造后能够编程的FPGA、或能够再构成LSI内部的电路单元格的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术出现了代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。

(其他变形例)

另外，基于上述实施方式说明了本发明，但本发明当然并不限定于上述实施方式。以下这样的情况也包含在本发明中。

(1)上述各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，各装置实现其功能。这里，计算机程序是为了达到规定的功能而将表示对计算机的指令的命令代码组合多个而构成的。

(2)构成上述各装置的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个结构部集成在1个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM、RAM等而构成的计算机系统。在上述RAM中存储有计算机程序。通过上述微处理器按照上述计算机程序动作，系统LSI实现其功能。

(3)构成上述各装置的构成要素的一部分或全部也可以由相对于各装置能够拆装的IC卡或单体的模组构成。上述IC卡或上述模组是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模组也可以包括上述超多功能LSI。通过微处理器按照计算机程序动作，上述IC卡或上述模组实现其功能。该IC卡或该模组也可以具有耐篡改性。

(4)本发明也可以是上述所示的方法。此外，也可以是将这些方法通过计算机实现的计算机程序，也可以是由上述计算机程序构成的数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号记录到计算机可读取的记录介质、例如，软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-rayDisc)、半导体存储器等中的产品。此外，也可以是记录在这些记录介质中的上述数字信号。

此外，本发明也可以是将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送的系统。

此外，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序动作。

此外，也可以通过将上述程序或上述数字信号记录到上述记录介质中并移送、或将上述程序或上述数字信号经由上述网络等移送，由独立的其他计算机系统实施。

(5)也可以将上述实施方式及上述变形例分别组合。

以上，基于实施方式对有关本发明的图像编码方法、图像编码装置、图像解码方法及图像解码装置进行了说明，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对该实施方式实施了本领域的技术人员想到的各种变形的形态、以及将不同的实施方式的构成要素及步骤等组合而构建的其他形态也包含在本发明的范围内。

工业实用性

本发明能够良好地在图像编码方法(装置)及图像解码方法(装置)中使用。

标号说明

11、21、61、71、2401量化变换系数块

12锯齿遍历顺序

13、22、33、506、5081维序列

23、66、72、1206、1406、1812、2501、2503二进制序列

24非零系数序列

32FSC遍历顺序

62树构造

65零树遍历顺序

73、1203、1403、2002、2003、2004、2005节点

100运动图像编码装置

105减法器

110变换/量化部

120逆量化/逆变换部

125、225加法器

130、230解块过滤器

140、240存储器

150、250内插过滤器

160、260运动补偿预测部

165运动预测部

170、270帧内预测部

175、275开关

180序列生成部

190熵编码部

200运动图像解码装置

220逆量化/逆变换部

280矩阵生成部

290熵解码部

502第1遍历顺序

503第1系数序列

504判断

505第2遍历顺序

507第3遍历顺序

1000构造信息

1001树构造决定部

1002、1004树构造信息

1003树构造信息存储器

1005参照目标决定部

1006、1006a、1006b、1013参照目标信息

1007参照目标信息存储器

1009系数遍历单元

1009a值分配部

1009b遍历部

10102维矩阵

1011触发信号

1012信息

1030传送路

1101数据阵列

1102要素

1103索引指针

1202、1402、1502、1811、2712、2713、2722、2723、2732、2733、2742、2743零树构造

1204、1205、1702部分树

1207部分序列

1703带条件节点

1704、1705部分

1801零树解码部

1802合并部

1803逆量化部

1804逆正交变换部

1813水平和标记

1814位置信息

1815合并信号

1816逆量化后信号

1817信号

2000切换节点

2209系数逆遍历单元

2209a逆遍历部

2209b系数分配部

2402、2403、2405、2702、2704部分零树构造

2502、2504非零系数序列

2703、2706、2708第2部分零树构造

2705、2707、2711、2721、2731、2741系数位置序列

ex100内容供给系统

ex101因特网

ex102因特网服务提供商

ex103流媒体服务器

ex104电话网

ex106、ex107、ex108、ex109、ex110基站

ex111计算机

ex112PDA

ex113、ex116照相机

ex114带照相机的数字便携电话(便携电话)

ex115游戏机

ex117麦克风

ex200数字广播用系统

ex201广播局

ex202广播卫星(卫星)

ex203电缆

ex204、ex205、ex601天线

ex210车

ex211汽车导航仪(车载导航)

ex212再现装置

ex213、ex219监视器

ex214、ex215、ex216、ex607记录介质

ex217机顶盒(STB)

ex218读取机/记录机

ex220遥控器

ex230信息轨道

ex231记录块

ex232内周区域

ex233数据记录区域

ex234外周区域

ex300电视机

ex301调谐器

ex302调制/解调部

ex303多路复用/分离部

ex304声音信号处理部

ex305影像信号处理部

ex306、ex507信号处理部

ex307扬声器

ex308、ex602显示部

ex309输出部

ex310、ex501控制部

ex311、ex505、ex710电源电路部

ex312操作输入部

ex313桥接器

ex314、ex606插槽部

ex315驱动器

ex316调制解调器

ex317接口部

ex318、ex319、ex320、ex321、ex404、ex508缓存

ex400信息再现/记录部

ex401光头

ex402调制记录部

ex403再现解调部

ex405盘马达

ex406伺服控制部

ex407系统控制部

ex500LSI

ex502CPU

ex503存储器控制器

ex504流控制器

ex506流I/O

ex509AVI/O

ex510总线

ex511存储器

ex603照相机部

ex604操作键

ex605声音输入部

ex608声音输出部

ex701收发电路部

ex702LCD控制部

ex703照相机接口部(照相机I/F部)

ex704操作输入控制部

ex705声音处理部

ex706调制解调电路部

ex707记录再现部

ex708多路分离部

ex709图像解码部

ex711主控制部

ex712图像编码部

ex713同步总线

Claims (14)

1.一种编码方法，将图像编码，其特征在于，

包括：

变换步骤，将上述图像的像素值变换为由表示频率的n个系数构成的2维矩阵，n是2以上的整数；

量化步骤，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；

序列生成步骤，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；

编码步骤，将由上述序列生成步骤生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号；

上述序列生成步骤包括：

参照目标决定步骤，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；

值分配步骤，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；以及

遍历步骤，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

2.如权利要求1所述的编码方法，其特征在于，

在上述值分配步骤中，

对于上述n个叶节点分别进行如下分配，即，在对保持在由上述参照目标信息表示的上述2维矩阵的位置中的上述量化系数用上述编码步骤编码的情况下，分配上述第1值；在对保持在由上述参照目标信息表示的上述2维矩阵的位置中的上述量化系数不用上述编码步骤编码的情况下，分配上述第2值；

对于上述内部节点，在对两个子节点的至少一个分配有上述第1值的情况下分配上述第1值、在对两个子节点的哪个都分配有上述第2值的情况下分配上述第2值；

在上述遍历步骤中，在对上述内部节点分配了上述第2值的情况下，将该内部节点的子孙节点的遍历省略；

在上述参照目标决定步骤中，决定上述参照目标信息，以使由上述遍历步骤生成的上述1维序列为最短。

3.如权利要求2所述的编码方法，其特征在于，

在上述编码步骤中，在由上述参照目标决定步骤生成的参照目标信息与之前的参照目标信息不同的情况下，还将该生成的参照目标信息编码。

4.如权利要求1～3中任一项所述的编码方法，其特征在于，

上述参照目标信息是将确定上述2维矩阵的各位置的位置信息、与确定上述位置信息的索引建立对应而保持的中间表；

上述树构造信息包括确定上述二叉树的构造的构造信息、和表示上述n个叶节点参照的上述中间表的索引的索引信息。

5.如权利要求4所述的编码方法，其特征在于，

在上述参照目标信息决定步骤中，变更上述2维矩阵的各位置与索引的组合，以将保持被编码了的上述量化系数的上述2维矩阵的位置分配给遍历顺序比保持没有被编码的上述量化系数的上述2维矩阵的位置早的上述叶节点。

6.如权利要求1～5中任一项所述的编码方法，其特征在于，

在上述编码步骤中，仅将上述n个量化系数中的不是0的量化系数有选择地编码。

7.如权利要求1～6中任一项所述的编码方法，其特征在于，

上述2维矩阵被划分为第1组和第2组；

在上述编码步骤中，仅将属于上述第1组的全部的上述量化系数、和根据属于上述第1组的上述量化系数的值从上述第2组选择的上述量化系数有选择地编码。

8.一种解码方法，使用定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息，根据编码信号生成图像，n是2以上的整数，其特征在于，

包括：

解码步骤，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；

矩阵生成步骤，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；

逆量化步骤，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；以及

逆变换步骤，将上述n个系数逆变换，生成上述图像的像素值；

上述矩阵生成步骤包括：

逆遍历步骤，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的步骤，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；以及

系数分配步骤，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

9.一种编码装置，将图像编码，其特征在于，

具备：

变换部，将上述图像的像素值变换为由表示频率的n个系数构成的2维矩阵，n是2以上的整数；

量化部，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；

序列生成部，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；以及

编码部，将由上述序列生成部所生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号；

上述序列生成部具备：

参照目标决定部，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；

值分配部，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；以及

遍历部，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

10.一种解码装置，使用定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息，根据编码信号生成图像，n是2以上的整数，其特征在于，

具备：

解码部，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；

矩阵生成部，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；

逆量化部，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；以及

逆变换部，将上述n个系数逆变换，生成上述图像的像素值；

上述矩阵生成部具备：

逆遍历部，将上述二叉树以先根顺序遍历，将由上述1维序列表示的值分配给各节点，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；以及

系数分配部，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

11.一种程序，使计算机将图像编码，其特征在于，

包括：

变换步骤，将上述图像的像素值变换为由表示频率的n个系数构成的2维矩阵，n是2以上的整数；

量化步骤，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；

序列生成步骤，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；以及

编码步骤，将由上述序列生成步骤生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号；

上述序列生成步骤使计算机执行：

参照目标决定步骤，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；

值分配步骤，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；以及

遍历步骤，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

12.一种程序，使计算机使用定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、根据编码信号生成图像，n是2以上的整数，其特征在于，

包括：

解码步骤，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；

矩阵生成步骤，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；

逆量化步骤，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；以及

逆变换步骤，将上述n个系数逆变换，生成上述图像的像素值；

上述矩阵生成步骤使计算机执行：

逆遍历步骤，是将上述二叉树以先根顺序遍历、将由上述1维序列表示的值分配给各节点的步骤，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；

系数分配步骤，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

13.一种集成电路，将图像编码，其特征在于，

具备：

变换部，将上述图像的像素值变换为由表示频率的n个系数构成的2维矩阵，n是2以上的整数；

量化部，将构成上述2维矩阵的n个系数分别量化，生成n个量化系数；

序列生成部，基于定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息、和包括上述n个量化系数的上述2维矩阵，生成1维序列；以及

编码部，将由上述序列生成部生成的上述1维序列、以及上述n个量化系数的至少一部分编码，生成编码信号；

上述序列生成部具备：

参照目标决定部，基于上述2维矩阵，生成表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息；

值分配部，基于上述2维矩阵及上述参照目标信息，对由上述树构造信息定义的二叉树的各节点分配相互不同的第1及第2值的某个；

遍历部，将上述二叉树以先根顺序遍历，通过将对各节点分配的值以遍历顺序排列，生成上述1维序列。

14.一种集成电路，使用定义由包括内部节点及n个叶节点的多个节点构成的二叉树的树构造信息，根据编码信号生成图像，n是2以上的整数，其特征在于，

具备：

解码部，将上述编码信号解码，生成相互不同的第1及第2值以规定的顺序排列的1维序列、表示上述n个叶节点分别参照的上述2维矩阵的位置的参照目标信息、以及1个以上的量化系数；

矩阵生成部，基于上述1维序列、上述量化系数、上述参照目标信息、及上述树构造信息，生成由n个上述量化系数构成的2维矩阵；

逆量化部，将构成上述2维矩阵的n个量化系数分别逆量化，生成表示频率的n个系数；以及

逆变换部，将上述n个系数逆变换，生成上述图像的像素值；

上述矩阵生成部具备：

逆遍历部，将上述二叉树以先根顺序遍历，将由上述1维序列表示的值分配给各节点，在对上述内部节点分配了上述第2值的情况下，省略该内部节点的子孙节点的遍历；以及

系数分配部，基于上述参照目标信息，对被分配了上述第1值的上述叶节点参照的上述2维矩阵的位置依次分配上述1个以上的量化系数。

Images