CN102197651A - 图像编码方法、图像解码方法、图像编码装置、图像解码装置、集成电路及程序 - Google Patents

Abstract

一种图像编码方法，将图像的质量保持为同等水平，更有效地对图像进行编码。图像编码方法是按照块单位对图像进行编码的图像编码方法，包括：变换步骤(S1201)，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；扫描顺序确定步骤(S1202)，根据二维排列的变换系数，确定用于扫描二维排列的变换系数的扫描顺序；扫描步骤(S1203)，按照扫描顺序依次扫描二维排列的变换系数，由此生成一维排列的变换系数序列；编码步骤(S1204)，对一维排列的变换系数序列进行编码。

Description

图像编码方法、图像解码方法、图像编码装置、图像解码装置、集成电路及程序

技术领域

本发明涉及影像数据的压缩，尤其涉及以更高的编码效率对影像数据进行压缩和解压缩。

背景技术

目前，许多标准的影像编码算法是依据于混合影像编码的。代表性的混合影像编码方法为了实现预期的压缩效果，将各不相同的没有损耗的压缩方式和具有损耗的压缩方式进行组合。与ISO/IEC标准规格(诸如MPEG-1、MPEG-2、MPEG-4那样的MPEG-X标准规格)同样地，混合影像编码也是ITU-T标准规格(诸如H.261、H.263那样的H.26x标准规格)的基础。最新的影像编码标准规格被称为H.264/MPEG-4AVC(Advanced Video Coding，进阶视频编码)，该标准规格是ITU-T与ISO/IEC MPEG组的合作团队即联合视频组(JVT，Joint Video Team)的标准化活动的成果。

输入编码器的影像信号是被称为帧的图像的序列，各个帧由被二维排列的像素构成。在依据于混合影像编码的上述的全部标准规格中，各个影像帧被细分为由多个像素构成的小块。代表性的为，宏块(通常是指16×16像素块)是基本图像元素，对该图像元素进行编码。但是，存在对更小的图像元素进行各种特定的编码步骤的情况，例如，可以列举具有8×8、4×4、16×8等尺寸的块或者子块(sub block)。

代表性的为，混合影像编码的编码步骤包括空间及/或时间预测。因此，首先，依据已被编码的影像帧，对于各个编码对象块，使用在空间上相邻的块、或者在时间上相邻的块对其进行预测。然后求出也被称为预测残差的、编码对象块与预测结果之差分块。然后，在编码步骤，残差块被从空间(像素)区域变换为频率区域。变换的目的在于降低输入块的相关(correlation)。该变换的结果是能够得到尺寸与被输入变换部的残差块相同的、被称为变换系数的值的块。在后面的编码步骤中，对变换系数进行量化。在该步骤进行实质上具有损耗(不可逆)的压缩。

在进行量化之后，按照预先设定的顺序对系数进行扫描，由此形成一维序列。通常，被压缩后的变换系数的值通过熵编码被进一步压缩(不产生损耗)。为了对被编码后的影像信号进行重建而需要的辅助信息被进一步进行编码，并与被编码后的预测误差信号一起提供。该信息例如是与空间及/或时间预测、以及量化的量相关的信息。

另外，由于通过扫描从二维排列的变换系数生成一维排列的变换系数序列，因此扫描也可以说是指从二维排列的变换系数生成一维排列的变换系数序列。并且，扫描顺序是指从二维排列的变换系数生成一维排列的变换系数序列时的顺序，指对二维排列的变换系数进行扫描的顺序。即，扫描顺序是指有关二维排列的变换系数的顺序。

并且，逆扫描是指扫描的逆向处理。即，逆扫描也可以说是从一维排列的变换系数序列生成二维排列的变换系数。并且，逆扫描顺序是指从一维排列的变换系数序列生成二维排列的变换系数时的顺序，与扫描顺序相同地使指有关二维排列的变换系数的顺序。

图1表示依据于H.264/AVC标准规格的代表性图像编码装置100的一例。H.264/MPEG-4AVC规格(在本申请中引用该规格)是将上述的全部编码步骤组合形成的。减法器105首先特定出影像(输入信号)的对象块(编码对象块)与对应的预测块(预测信号)之差分。对于按照时间进行预测的块，使用在存储器140中存储的已被编码的图像进行运算。对于按照空间进行预测的块，根据已被编码并存储在存储器140中的邻接块内的边界像素的像素值进行插补。因此，存储器140作为能够将对象的信号值与从过去的信号值生成的预测信号进行比较的延迟部而工作。存储器140能够存储多个编码影像帧。输入信号与预测信号之差分被称为预测误差或者残差，然后通过变换/量化部110进行变换及量化。在对量化系数进行扫描后适用熵编码部190，以便利用没有损耗的方法进一步削减数据量。

在图像编码装置100内设有生成解码影像信号的解码部。依据编码步骤，在解码步骤中包括逆量化/逆变换部120。解码预测误差信号由于被称为量化噪声的量化误差的原因，与原来的预测误差信号不同。加法器125将解码预测误差信号与预测信号进行相加，由此生成重建信号。为了保持编码器侧与解码器侧的互换性，根据在被编码后又被解码的影像信号来求出双方公知的预测信号。通过进行量化将量化噪声叠加在重建影像信号上。由于按照块单位进行编码，被叠加的噪声时常具有编块特性(blocking characteristics)，尤其在进行较强的量化的情况下，解码图像的块边界变明显。编块人工痕迹在人的视觉识别上具有负面效果。为了削减人工痕迹，对重建的每个图像块适用解块滤波器(deblocking filter)130。解块滤波器被适用于预测信号与解码预测误差信号的相加结果即重建信号中。解块后的影像信号通常是(如果没有适用后滤波(post filtering))在解码器侧显示的解码信号。H.264/MPEG-4AVC中的解块滤波器是能够局部适用的滤波器。在编块噪声的程度较高的情况下适用较强(带宽较小)的低通滤波器，在编块噪声的程度较低的情况下适用较弱(带宽较大)的低通滤波器。解块滤波器通常对块的边缘进行平滑处理，改善解码图像的主观性画质。另外，图像内的已被滤波的部分将在接下来的图像的运动补偿预测中使用，因此通过进行滤波能够削减预测误差，并改善编码效率。解码信号接着被存储在存储器140中。

H.264/MPEG-4AVC中的预测信号是通过时间预测或者空间预测而取得的。预测类型能够根据宏块单位而不同。按照时间预测进行预测的宏块被称为帧间(inter)编码宏块，按照空间预测进行预测的宏块被称为帧内(intra)编码宏块。在此，用语“帧间”涉及帧间图片预测、即使用从先行帧或后续帧得到的信息的预测。用语“帧内”涉及空间预测、即只使用在对象影像帧内已被编码的信息的预测。为了达到尽可能高的压缩效果，也能够由用户设定影像帧的预测类型，并使影像编码器进行选择。帧内/帧间切换器180按照所选择的预测类型，向减法器150提供对应的预测信号。

帧内编码图像(也称为I型图像或者I帧)只由已被实施帧内编码的宏块构成。即，帧内编码图像不需参照其它的解码图像即可进行解码。帧内编码图像对编码影像序列提供抗误码性(errorresilience)。这是因为能够通过时间预测来清除有可能在影像序列内从帧向帧传播的错误(更新(refresh))。另外，I帧能够在编码影像序列内进行随机存取。

在帧内预测中基本上采用使用位于已被编码的邻接块的边界的像素对对象块进行预测的、已定义的帧内预测模式的组。空间预测类型的差异表示边缘的方向、即所适用的二维插补的方向的差异。在图像编码装置100中，帧内预测部150进行帧内预测。通过插补而得到的预测信号然后通过上述的减法器105被从输入信号中减去。并且，空间预测类型信息被实施熵编码，并与编码预测误差信号一起进行信号发送。

为了对帧间编码图像进行解码，需要被编码后又被解码的图像。时间预测可以只使用单向即顺序比编码对象帧靠前的影像帧来进行，也可以使用后续的影像帧来进行。如果进行单向的时间预测，则能够得到被称为P帧的帧间编码图像，如果进行双向的时间预测，则能够得到被称为B帧的帧间编码图像。通常，帧间编码图像由P型宏块和B型宏块和I型宏块中的任意一种宏块构成。对于帧间编码宏块(P或B宏块)，由运动补偿预测部160采用运动补偿预测来进行预测。首先，由运动检测部170在被编码后又被解码的影像帧内检测最适合于对象块的块。该最适合的块成为预测信号，对象块与最适合的块之间的相对偏移(运动)作为运动数据，以与编码预测误差信号一起提供的辅助信息中包含的二维的运动矢量的形式进行信号发送。为了对预测精度进行优化，也可以按照1/2像素析像度或者1/4像素析像度等的小数像素析像度来特定出运动矢量。小数像素析像度的运动矢量也可以表示解码帧内的、像小数像素位置那样没有实际存在的像素值的位置。

在帧内编码模式和帧间编码模式中，由变换/量化部110对对象输入信号与预测信号之间的差分进行变换及量化，并得到量化变换系数。通常，为了有效地降低自然界的影像的相关，采用诸如二维的离散余弦变换(DCT)或者其整数版本的正交变换。通常，从画质方面讲，低频成分比高频成分更重要，因而在进行变换时对于低频消耗比高频多的比特。系数通常被进行量化。量化中所能产生的表现值(representation values)被进行编码，并发送到接收侧。为了这种目的，在H.264/MPEG-4AVC中，对表示被均匀分配的表现值的间隔的所谓量化参数(QP)进行编码并发送。量化系数通常与有关量化的表现值的信息一起通过所谓level(级别)被进行编码，各个level对应于唯一的一个表现值。在进行量化之后，二维排列的量化系数被变换为一维排列，并发送给熵编码部190。代表性的示例是通过所谓Z形扫描(zig-zag scanning)进行变换。在Z形扫描中，从二维排列的左上角到右下角按照规定的顺序进行扫描。代表性的示例是由于能量集中在相当于低频的图像的左上部分，因而在进行Z形扫描后形成在最后面零值连续的排列。由此，例如能够作为实际的熵编码的一部分来实施，或者在其前面的阶段进行使用了游程代码(run-length codes)的高效率的编码。通常，游程代码这一用语表示对连续的符号(symbol)而非单一的符号进行编码的所有代码(code)。其中，run(游程)表示相同值的符号的数量。在对量化系数进行熵编码的上下文(context)中，经常利用run表示量化系数或者零值的level。run通常与具有非零值的后续的量化系数的值或者level一起被编码。

例如，量化系数的level的序列能够表示如下。

32000010200011000040...0

上述的序列能够利用下面的(run，level)的组进行表示。

(0，3)(0，2)(4，1)(1，2)(3，1)(0，1)(4，4)(EOB)

其中，块结束(EOB)符号表示编码中的对象图像块的量化系数的剩余量化系数全部为零。由于(可以视为)每个块的系数的数量是已知的，所以能够对这种游程编码序列进行唯一的解码。(run，level)的组也可以利用例如霍夫曼编码或者算术编码的代码字作为一个代码字或者两个不同的代码字进一步进行编码。

因此，游程编码的其它变形也可以在图像及影像编码中使用。例如，(run，level)的组或者(level，run)的组也可以利用“level”的大小来定义系数的run。在这种编码中，上述示例的序列可以被编码成为下述的组的序列。

(3，1)(2，1)(0，4)(1，1)(0，1)(2，1)(0，3)(1，2)(0，4)(4，1)(0，EOB)

这种编码在对数值不同的系数预测更长的run时比较有利。通常，系数的符号(sign)可以分开地进行编码，level也可以是带符号的值。

截止到目前，上述的游程编码被用作几个图像及影像编码规格中的熵编码的一部分。但是，H.264/MPEG-4AVC规格采用具有能够在不同的语法元素中使用的各种可变长编码形式的、更加精炼的编码。尤其是H.264/MPEG-4AVC指定了熵编码方法的两个选择。一个是作为CAVLC而被公知的、基于根据上下文而切换的可变长代码的集合(set)的、复杂度较低的技术。另一个是需要更高级的运算的上下文适应型二值编码(CABAC)的算法。后者的效率比CAVLC的效率高，尤其是对于较大的编码对象块时更高。两种方法都属于上下文适应型。即，输入数据的统计被视为是不固定的，使编码适应于该输入数据。

在CAVLC中对应H.264/MPEG-4AVC的全部配置文件(profile)。CAVLC具有适用于除变化系数之外的语法元素的指数哥伦布整数可变长代码的集合。块的已扫描量化变换系数通常只具有很少的有含义系数即非零系数。在此，在扫描的最后大多产生被称为尾部字段(Trailing ones)的、表示大小等于1的系数level。因此，作为前提首先使用组合的代码字发送非零系数的数量和尾部字段的数量。在此，根据邻近块的有含义的level的数量，使用4个可变长编码(VLC)表中的一个可变长编码表。然后，在第2步骤，按照相反的顺序对系数的列表进行扫描，由此对有效系数的符号及level值进行编码。这样，用于对各个独立的level值进行编码的可变长编码可以从6个可变长编码表中进行选择，并根据已被编码的level进行适应。最后，发送各个块中位于最后的非零的level前面的零的总数，并且发送各个有效的level中的对应的run、即先行且连续的零的数量，由此在信号中传递零量化系数。通过监视在各个编码阶段有可能为零的最大数量，选择与各个run值的编码适合的可变长代码。在CAVLC熵编码模式中使用合计32个不同的VLC，这些VLC中的几个VLC构成为能够在线计算代码字，而且不依赖于代码表的记录。

CABAC的设计依据于二进制(二值)化、上下文模型化及二值算术编码这些主要元素。通过二进制化，能够通过从非二进制的语法元素向比特序列即所谓二进制串的固有的映射，实现高效的二值算术编码。该二进制串的各个元素能够以通常的编码模式或者旁路模式中的任意一种模式进行处理。为了利用简单的编码引擎的旁路手段加快整体的编码(及解码)处理，针对符号信息(sign information)或者下位的有含义的二进制位(bins)等被选择的二进制位，选择后者。通常的编码模式具有可以在对二进制位进行上下文模型化后进行算术编码这种实际编码时的优点。作为设计上的决定，主要只将最有可能具备语法元素的二进制位提供给使用已被编码的二进制位的上下文模型。另外，通常被进行编码的二进制位全部被用来评价该二进制位的实际的概率分布。概率的评价及实际的二值算术编码使用能够在硬件及软件中高效实施的没有乘法运算的方法进行。

在上述3个游程编码的示例中，用语“level”具有不同的意思。词语level通常用于表示带符号(signed)或者不带符号(unsigned)的量化变换系数值(量化level)。因此，用语“level”在通例中也可以指零值的系数。

图2是说明依据于H.264/MPEG-4AVC影像编码标准规格的示例性的图像解码装置200的图。编码影像信号(对图像解码装置200的输入信号)首先被发送给熵解码部290，熵解码部290对量化系数、以及运动数据和预测类型等的解码所需要的其它信息元素进行解码。量化系数通过逆扫描成为二维排列，被发送给逆量化/逆变换部220。在由逆量化/逆变换部220进行逆量化及逆变换后，得到解码(量化)预测误差信号。其相当于从输入图像编码装置的信号中减去预测信号而得到的差分。预测信号是从进行时间预测的运动补偿预测部270或者进行空间预测的帧内预测部260分别得到的，接收用于传输在图像编码装置中适用的预测的信息元素，并通过帧内/帧间切换器280进行切换。被解码后的信息元素在进行内部预测的情况下还包括预测类型等进行预测所需要的信息，在进行运动补偿预测的情况下还包括运动数据等进行预测所需要的信息。

空间区域中的被量化后的预测误差信号然后通过加法器225，与由运动补偿预测部270或者帧内预测部260中任意一方生成的预测信号进行相加。重建图像可以经由解块滤波器230进行发送，其结果得到的解码信号被存储在存储器240中，并在进行后续块的时间或者空间预测时使用。

在目前许多的图像及影像编码规格中采用的变换是把原来的图像像素或者其预测误差信号的图像像素，变换为被简称为频率区域的空间频率的区域。该变换的目的是使输入图像不相关，能够进行更高效的编码，以便对输入图像内的信息进行压缩。诸如KL(卡亨南-赖弗，Karhunen-Loeve)变换那样的不相关变换需要输入信号的二次统计的知识。但是，自然图像的统计不仅根据每个图像而不同，即使在同一图片内的图像区域中也有可能不同。因此，通过对统计进行评价，有可能编码的复杂程度增大，并需要在信号中传递变换参数。因此，最近的图像及编码规格大多采用具有对于大部分图像都接近理想的(不相关)变换的能力的、DCT或者其整数版本的固定变换。

在预测误差信号的变换中，对于自然图像，通常使能量集中在较低频即与图像的较平滑的部分对应的变换块的左上部分。通常，对于人的视觉而言，高频的重要程度比较低频时的重要程度低。较高的频率对应于像脉冲噪声那样急剧变化的内容。数值较高的变换系数通常集中于变换图像的左上侧，剩余的部分要么是零要么是数值较低的较小的组。因此，取代在进行串行编码之前从二维块逐行读出变换系数，在诸如MPEG-X以及H.26X那样的影像编码规格中大部分都成功地应用了Z形扫描。

图3A和图3B表示适用于8×8像素的块300的Z形扫描的两个示例。左上侧的变换系数301对应于频率变换后的直流成分，有时也称为DC系数。从被称为DC系数的变换系数301开始，按照利用扫描顺序350a或者350b表示的顺序对其它变换系数进行扫描，因此，在通常的比较平滑的自然图像块中，能够得到大部分非零系数位于最初、并以零的序列结束的系数序列。这种序列能够通过例如上述的游程编码进行更有效的压缩。

另外，关于适应性变更扫描顺序的方法有专利文献1记述的方法。

现有技术文献

专利文献

专利文献1：欧洲专利申请公开第1679903号说明书

发明概要

发明所要解决的课题

但是，与图像块的平滑程度相关的假设在通例中未必都适合。尤其是对于具有锐利边缘或者结构的图像块，变换图像块内的变换系数值的分配实质上可以不同。在这种块中，非零值的组或者一个非零值也可以产生于较高的频率区域。在对被分配到较高的频率区域中的具有非零系数值的块进行Z形扫描后，在其结果得到的系数序列中零run变短，这牵涉到游程编码的效率降低。也可以将取代该方法的其它操作方法适用于具有较高的频率的块。但是，由于通过信号来传递所采用的扫描顺序，因而依旧降低了图像或者影像的编码压缩效率。

另外，专利文献1记述的方法是根据统计信息来变更扫描顺序。即，根据周围块来确定对象块的扫描顺序。这种方法在对象块具有与周围块不同的特性时，存在确定错误的扫描顺序的情况。在这种情况下，将不能得到基于编码的较高的压缩效果。

发明内容

本发明的目的在于，提供一种以相同画质且较高的数据压缩率对影像数据进行压缩及解压缩的方法，以及对应的图像编码装置和图像解码装置。

用于解决课题的手段

上述目的是利用独立权项所定义的特征而实现的。

优选的实施方式是指从属权项的主题。

即，为了解决上述问题，本发明的图像编码方法按照块单位对图像进行编码，该图像编码方法包括：变换步骤，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；扫描顺序确定步骤，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；扫描步骤，按照所述扫描顺序依次扫描所述二维排列的变换系数，由此生成一维排列的变换系数序列；以及编码步骤，对所述一维排列的变换系数序列进行编码。

由此，将图像的质量保持为同等水平的同时，更有效地对图像进行编码。

并且，也可以是，在所述扫描顺序确定步骤中，根据在由所述扫描顺序确定步骤确定的所有扫描顺序中都按照相同的扫描顺序被扫描的最初的一个以上的变换系数，确定所述扫描顺序。

由此，根据最初的变换系数来适应性地确定剩余的扫描顺序。

并且，也可以是，在所述扫描顺序确定步骤中，根据所述最初的一个以上的变换系数之中、一个以上的变换系数的绝对值的合计值，确定所述扫描顺序，或者，所述最初的一个以上的变换系数为两个以上的变换系数时，通过将所述两个以上的变换系数中的第1变换系数和第2变换系数进行比较，来确定所述扫描顺序。

由此，根据图像的特性来适应性地确定扫描顺序。

并且，也可以是，在所述扫描顺序确定步骤中，在所述扫描顺序确定步骤中，根据所述二维排列的变换系数以及已被编码的块的变换系数，确定所述扫描顺序。

由此，考虑周围块的倾向来适应性地确定扫描顺序。

并且，也可以是，在所述扫描顺序确定步骤中，通过从包括基于频率选择扫描的扫描顺序的预先设定的多个扫描顺序中选择扫描顺序，来确定所述扫描顺序，所述频率选择扫描只对所述二维排列的变换系数中的一部分进行扫描。

由此，从规定的多个扫描顺序中适应性地确定扫描顺序。

并且，也可以是，在所述扫描顺序确定步骤中，通过将从所述二维排列的变换系数得到的值与预先设定的阈值进行比较，来确定所述扫描顺序。

由此，根据规定的阈值来适应性地确定扫描顺序。

并且，也可以是，所述图像编码方法还包括有效化步骤，在所述有效化步骤中，使由所述扫描顺序确定步骤进行的扫描顺序的确定有效，并且向图像解码装置发送表示已使基于所述二维排列的变换系数的扫描顺序的确定有效之意的信号。

由此，关于是否适应性地确定扫描顺序或者逆扫描顺序，使在编码侧和解码侧达到一致。

并且，也可以是，本发明的图像解码方法按照块单位对图像进行解码，该图像解码方法包括：解码步骤，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；逆扫描顺序确定步骤，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；逆扫描步骤，按照所述逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及逆变换步骤，将所述二维排列的变换系数逆变换为二维排列的像素值。

由此，将图像的质量保持为同等水平的同时，更有效地对图像进行解码。

并且，也可以是，在所述逆扫描顺序确定步骤中，根据在由所述逆扫描顺序确定步骤确定的所有逆扫描顺序中都按照相同的逆扫描顺序被逆扫描的最初的一个以上的变换系数，确定所述逆扫描顺序。

由此，根据最初的变换系数来适应性地确定剩余的逆扫描顺序。

并且，也可以是，在所述逆扫描顺序确定步骤中，根据所述最初的一个以上的变换系数之中、一个以上的变换系数的绝对值的合计值，确定所述逆扫描顺序，或者，所述最初的一个以上的变换系数为两个以上的变换系数时，通过将所述两个以上的变换系数中的第1变换系数和第2变换系数进行比较，来确定所述逆扫描顺序。

由此，根据图像的特性来适应性地确定逆扫描顺序。

并且，也可以是，在所述逆扫描顺序确定步骤中，根据所述一维排列的变换系数序列以及已被解码的块的变换系数，确定所述逆扫描顺序。

由此，考虑周围块的倾向来适应性地确定逆扫描顺序。

并且，也可以是，在所述扫逆描顺序确定步骤中，通过从包括基于频率选择扫描的逆扫描顺序的预先设定的多个逆扫描顺序中选择逆扫描顺序，来确定所述逆扫描顺序，所述频率选择扫描只对所述二维排列的变换系数中的一部分进行逆扫描。

由此，从规定的多个逆扫描顺序中适应性地确定逆扫描顺序。

并且，也可以是，在所述逆扫描顺序确定步骤中，通过将从所述一维排列的变换系数序列得到的值与预先设定的阈值进行比较，来确定所述逆扫描顺序。

由此，根据规定的阈值来适应性地确定逆扫描顺序。

并且，也可以是，所述图像解码方法还包括有效化步骤，在所述有效化步骤中，以接收到由图像编码装置发送的、表示已使基于所述二维排列的变换系数的扫描顺序的确定有效之意的信号为触发，使由所述逆扫描顺序确定步骤进行的逆扫描顺序的确定有效。

由此，关于是否适应性地确定扫描顺序或者逆扫描顺序，在编码侧和解码侧达到一致。

并且，也可以是，本发明的图像编码装置按照块单位对图像进行编码，该图像编码装置具有：变换部，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；扫描顺序确定部，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；扫描部，按照所述扫描顺序依次扫描所述二维排列的变换系数，由此生成一维排列的变换系数序列；以及编码器，对所述一维排列的变换系数序列进行编码。

由此，能够用作将图像的质量保持为同等水平的同时，更有效地对图像进行编码的图像编码装置。

并且，也可以是，本发明的图像解码装置按照块单位对图像进行解码，该图像解码装置具有：解码器，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；确定部，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；块形成部，按照逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及变换部，将所述二维排列的变换系数逆变换为二维排列的像素值。

由此，能够用作将图像的质量保持为同等水平的同时，更有效地对图像进行解码的图像解码装置。

并且，也可以是，本发明的集成电路按照块单位对图像进行编码，该集成电路具有：变换部，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；扫描顺序确定部，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；扫描部，按照所述扫描顺序依次扫描所述二维排列的变换系数，生成一维排列的变换系数序列；以及编码器，对所述一维排列的变换系数序列进行编码。

由此，能够用作将图像的质量保持为同等水平的同时，更有效地对图像进行编码的集成电路。

并且，也可以是，本发明的集成电路按照块单位对图像进行解码，该集成电路具有：解码器，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；确定部，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；块形成部，按照逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及变换部，将所述二维排列的变换系数逆变换为二维排列的像素值。

由此，能够用作将图像的质量保持为同等水平的同时，更有效地对图像进行解码的集成电路。

并且，也可以是，本发明的程序是使计算机执行所述图像编码方法中包含的步骤的程序。

由此，所述图像编码方法能够以程序来实现。

并且，也可以是，本发明的程序是使计算机执行所述图像解码方法中包含的步骤的程序。

由此，所述图像解码方法能够以程序来实现。

如上所述，本发明特有的方案在于，在对有关图像或者影像的变换系数进行编码和解码时，根据对象块内的变换系数值来确定适用于对象块的扫描顺序。

因此，在局部适应性方法中，即针对特定的块，能够适应特定的块的特性来变更扫描顺序。另外，在采用编码器和解码器双方都公知的变换系数值时，不需要在附加的信号中进行传递。因此，能够提高同一系数块的编码效率，结果，能够保持相同的画质，同时提高压缩效率。

根据本发明的第一方式，提供一种对被分割为像素块的图像数据进行编码的方法。对象图像块的像素值被变换为变换系数，按照扫描顺序依次对对象图像块的变换系数进行扫描，对被扫描后的变换系数进行编码。根据对象图像块的变换系数值，确定对象图像块的扫描顺序。

根据本发明的另一个方式，提供一种对被分割为像素块的编码图像数据进行解码的方法。对有关对象图像块的已实施了扫描及编码的变换系数进行解码，并按照逆扫描顺序依次进行逆扫描，逆变换为对象图像块的像素值。根据对象图像块的变换系数值，确定对象图像块的逆扫描顺序。

根据本发明的另一个方式，提供一种对被分割为像素块的编码图像数据进行编码的编码器。该编码器具有：变换部，对对象图像块的像素值进行变换；扫描部，按照扫描顺序来依次扫描变换系数；以及编码器，对已被扫描的变换系数进行编码。确定部根据对象图像块的变换系数值，确定对象图像块的扫描顺序。

根据本发明的另一个方式，提供一种对被分割为像素块的编码图像数据进行解码的解码器。该解码器具有：解码器，对对象图像块的已扫描并编码的变换系数进行解码；块形成部，按照逆扫描顺序对对象图像块的解码变换系数进行逆扫描；以及变换部，将对象图像块的已逆扫描并编码的变换系数逆变换为像素值。确定部根据该对象图像块的变换系数值，确定对象图像块的逆扫描顺序。

优选扫描顺序是从多个预先设定的扫描顺序中选择的扫描顺序。预先设定的扫描顺序中的一个扫描顺序可以是Z形扫描或者其它固定设定的扫描。预先设定的扫描顺序中的一个扫描顺序可以是只扫描变换系数的子集(subset)，而将剩余的系数设定为零的频率选择扫描。频率选择扫描不固定。即，能够在发送追加的信号、隐式(implicit)确定、或者采用例如量化矩阵等其它信号传递元素的任意方法中，选择扫描对象的变换系数。

根据本发明的实施方式，与其从预先设定的扫描的集合或者扫描的类型中选择扫描顺序，不如根据系数值来适应性地确定扫描顺序。优选在编码器和解码器中利用相同方法，根据例如已被编码的块的值来动态地执行变换系数值和扫描的分配。但是，该分配可以被固定，也可以在信号中传递。

优选扫描顺序是在对象块内适应性地确定的。因此，下一个扫描对象系数的位置是根据已被扫描的系数值而确定的。即使在图像块包括边缘时，这种扫描顺序也具有能够适应系数块的构造的优点。通过适应性地进行扫描，能够利用熵编码对被扫描的系数进行有效编码。

优选最初的N个系数的扫描顺序是预先设定的，后续的扫描对象系数的位置分别是根据已被扫描的系数值适应性地确定的。

具体地讲，各个系数值的扫描顺序是根据规定位置的系数的值是零或不是零的信息这种二值信息而确定的。但是，扫描也可以直接根据系数值来确定，或者根据系数值的任意的函数来确定。

具体地讲，优选对多个预先设定的扫描的最初N个变换系数按照相同的顺序进行扫描。在这种情况下，与被选择的扫描顺序无关，由于最初的N个变换系数按照相同的顺序进行扫描，所以最初的N个变换系数可以用来确定在编码器和解码器双方的实际扫描顺序。数值较高的系数与DC系数独立存在，而可以作为表示存在更高的频率系数的指标。

根据本发明的实施方式，对根据最初的N个变换系数的值而计算的评价标准(measure)进行评价，由此确定扫描顺序。该评价标准可以是最初的N个变换系数的任意的函数。优选该评价标准是最初的N个变换系数的绝对值的合计值。但是，也可以采用其它任意的测定基准，例如平方误差、加权合计、最大或者最小系数值这些任意的基准，取代上述绝对值的合计值。并且，也可以采用其它函数、例如统计矩(statistical moments)、超过或者低于某个值的系数的数量、或者其它评价标准等依据于统计特点的评价标准。

根据本发明的其它实施方式，扫描顺序是根据对象块内的非零变换系数的数量而确定的。在利用这种方法来确定扫描顺序时，不需要知道实际的扫描顺序，这种方法可以在编码器和解码器双方中同样适用。同样，当然零变换系数的数量也可以用来确定扫描顺序。

根据本发明的其它实施方式，扫描顺序是根据level而确定的。在编码中包含level表示(如果可能是指不带符号、以及/或者已量化的)变换系数值的熵编码的情况下，也可以在编码器和解码器中同样地使用level，而不需知道实际的扫描顺序。level可以利用所适用的熵代码来表示零系数和非零系数双方。并且，根据level而确定的评价标准也可以用来确定扫描顺序。基于运算时的复杂程度较低的理由，优选采用level的合计值或者被加权后的合计值。但是，同样可以采用测定基准、基准、统计等任意的其它函数来替代，或者追加采用这些其它函数。

优选本发明的任意一个实施方式中的扫描顺序的选择是依据于所确定的评价标准与预先设定的阈值的比较。优选阈值和已被编码的块系数都是按照特定的块数量而准备的。块数量可以对应于条带(slice)，阈值可以通过信号在条带头(slice header)内进行传递。或者，也可以对每个图像或者每个像素数量准备阈值。但是，阈值可以是固定的，也可以是通过有选择地传递信号而能够变更的默认的阈值。在选择扫描顺序时，在能够区分三个以上的预先设定的扫描顺序的情况下，所适用的阈值也可以是两个以上。但是，扫描顺序的确定不一定依据于预先设定的阈值。也可以采用诸如假设检定那样的统计方法来确定扫描顺序，或者，在编码器和解码器中利用相同的方法，根据例如影像序列的统计特点、编码器/解码器参数或者同样的元素来动态地确定阈值。

根据本发明的实施方式，可以使扫描顺序的确定有效或者无效。优选以与编码变换系数一起提供的有效标志为触发来执行有效及/或无效。具体地讲，对条带头设定有效标志。但是，例如在不具有实际图像信息的图像或者影像包内，也可以利用不同的方法来设定有效标志。并且，有效标志也在例如像宏块或者块这种比条带小的图像区域中使用，因而有效标志也可以具有较细的粒度。并且，由于有效标志在较多的条带中使用，因而有效标志也可以具有较粗的粒度。在此，可以定期地执行在信号中传递有效标志(例如对于每m块、每宏块、每条带、每帧、每GOP等执行。其中，m是1以上的整数)，也可以不定期地执行(例如在从具有编码系数的影像数据包分离出来的包中执行)。在基于H.264/MPEG-4AVC的编码中，也可以采用特殊的网络抽象层的单位，以便在影像序列内的任意的位置保存信息。如果扫描的切换为有效，则有效标志被设定为1，如果扫描的切换为无效，则有效标志被设定为0，也可以利用1和0的值被进行相反分配的无效标志来替换有效标志。通过使扫描的切换有效和无效，能够自动地或者根据用户的操作来确定是否使用扫描顺序的切换。例如，在已经知道对于编码对象图像是切换没有好处或者好处较少可以忽视的统计的情况下，也可以将切换设为无效。

优选在通过信号来传递有效标志是使扫描顺序的确定有效的情况下，也可以对有效标志添加扫描状态信息。具体地讲，扫描状态信息与在确定扫描时考虑的系数的数量以及/或者在确定扫描时使用的阈值对应。

更优选在依据于H.264/MPEG-4AVC或者其后续的规格等混合编码的、已有或者未来的影像编码规格的一种规格中，有选择地或者必须适用本发明特有的方案。

根据本发明的其它实施方式，提供一种具有计算机可读的介质的计算机程序产品，该介质安装了计算机可读的程序代码。

本发明的上述及其他目的，根据与附图相关的以下说明以及实施方式将更加明确。

发明效果

根据本发明，将图像的质量保持为同等水平的同时，更有效地对图像进行编码，或者更有效地对图像进行解码。

附图说明

图1是简要表示现有的混合影像编码器的结构的块图。

图2是简要表示现有的混合影像解码器的结构的块图。

图3A表示8×8的块量化变换系数的Z形扫描的示例。

图3B表示8×8的块量化变换系数的Z形扫描的另一个示例。

图4是表示本发明的影像编码器和解码器的块图。

图5简要表示使用频率选择编码将一部分变更后的混合影像编码器部分。

图6表示8×8块的、具有分配给频率选择编码块的非零系数的Z形扫描的示例。

图7表示8×8块的、基于频率选择编码和扫描的、变换系数的重新排列和扫描。

图8是把4×4块作为示例来表示频率选择编码和扫描以及通常的Z形扫描。

图9表示8×8块的、最初的10个已扫描系数的扫描顺序相同的频率选择扫描和Z形扫描。

图10是把4×4块作为示例来表示本发明的实施方式1的频率选择编码和扫描以及通常的Z形扫描。

图11是把4×4块作为示例来表示本发明的实施方式1的频率选择解码和逆扫描以及通常的逆Z形扫描。

图12A表示本发明对被分割为块的图像进行编码的方法的步骤。

图12B表示本发明对被分割为块的编码图像进行解码的方法的步骤。

图13是表示所确定的扫描顺序的变形例的图。

图14是表示所确定的扫描顺序的另一个变形例的图。

图15是表示对象块和周围块的示意图。

图16是表示实现内容发布服务的内容提供系统的整体结构的一例的示意图。

图17是表示便携电话的外观的图。

图18是表示便携电话的结构示例的块图。

图19是表示数字广播用系统的整体结构的一例的示意图。

图20是表示电视机的结构示例的块图。

图21是表示在光盘即记录介质中进行信息的读写的信息再现记录部的结构示例的块图。

图22是表示光盘即记录介质的结构示例的图。

图23是表示实现各个实施方式的图像编码方法和图像解码方法的集成电路的结构示例的块图。

具体实施方式

(实施方式1)

本发明的基础课题是对边缘的方向及/或锐度等上下文特性不同的图像块的变换系数采用相同的扫描，结果，以后适用的编码的效率有可能产生差异。这是因为图像或者图像序列(影像)内的不同块的变换系数的统计不固定。

为了解决这种问题，本发明提供一种对被分割为像素块的图像数据进行编码的方法和进行解码的方法、以及进行编码的装置(编码器)和进行解码的装置(解码器)。因此，对象块中的变换系数的扫描是按照根据对象块的系数值而确定的扫描顺序来依次执行的。

在混合图像及影像编码中，通常将图像分割为块。这些块可以是预先设定的固定尺寸，也可以是各种尺寸。在变换时通常采用16、8或者4像素的四边形的块。但是，块不一定必须是四边形，而且尺寸也可以是任意的尺寸。上述的尺寸是根据影像编码技术的复杂程度与性能之间的取舍关系而选择的。

另外，图像编码装置整体有时被称为编码器，有时只把图像编码装置中执行编码处理的部分称为编码器。同样，图像解码装置整体有时被称为解码器，有时只把图像解码装置中执行解码处理的部分称为解码器。

并且，在作为实施方式1而进行说明的实施方式中，包括包含相同的构成要素或者步骤的多个实施方式。

图4是表示本发明的图像编码装置401和图像解码装置402的块图。图像的像素409的块被输入编码器。在此，用语像素例如是指编码对象图像，当在先行进行的编码阶段中的一个阶段中适用了预测的情况下，用语像素是指编码对象的预测误差图像。像素值被输入变换部410。像素值例如直接与灰度图像的图像强度值对应，或者与RGB颜色空间的红色、绿色和蓝色的任意颜色成分的颜色空间的颜色成分中的一种颜色成分对应，或者与YUV颜色空间的亮度和两种色差成分的值对应。变换部410能够将所输入的像素409的对象块变换为变换系数411的块。变换系数411的值然后被输入确定部440，确定部440能够确定编码中的对象图像块的扫描顺序。在进行该输入时，确定部440不一定需要获取全部的变换系数，在根据变换系数来确定扫描顺序时只依据变换系数的子集即足以。但是，也可以在确定扫描顺序时采用全部的变换系数值。然后，将确定的结果、(还在块内排列的)变换系数411依次输入扫描部420，扫描部420能够按照由确定部440确定的扫描顺序进行扫描。在此，也可以扫描全部变换系数或者其子集。已扫描的变换系数421被输入编码器430，并按照该扫描顺序被串行排列。编码器430还对系数的输入序列进行编码，优选进行可逆编码。

利用该方法被编码后的图像数据431然后被输出，用于存储及/或发送到例如介质450中。介质450可以是存储器、闪存、硬盘、便携式磁盘或者光盘等任意类型的存储装置。并且，介质450也可以是利用以下资源形成的传输信道，所述资源是指xDSL、LAN、WLAN、WiMAX、UMTS、因特网、或者其它专卖或标准化的系统、或者这些系统的组合等固定或无线系统的资源。然后，例如从存储装置获取或者从信道接收已被编码的图像数据451，并从介质450输入图像解码装置402。优选该已被编码的图像数据与已被编码并输入介质中的图像数据431相同。但是，如果介质450是容易产生错误的介质，则也有可能输出具有错误的图像数据或者不完整的图像数据451。

图像解码装置402的解码器470能够从所输入的图像数据451中，对已被编码的已扫描变换系数数据进行分析/解码。然后，已被分析/解码的已扫描变换系数471或者其子集被发送到确定部460，确定部460能够确定在已被解码的已扫描变换系数471的序列中适用的逆扫描顺序。确定部460根据已被解码的变换系数471的序列或者其子集的值，确定逆扫描顺序。确定的结果以及已被解码的变换系数471被输入块形成部480。块形成部480将所确定的逆扫描顺序适用于变换系数471的已被编码的序列，以便生成变换系数481的块。变换系数481的块被输入变换部490。变换部490能够将这种系数块变换为解码对象图像块的像素499。

以适当的动作为目的，使编码器与解码器一致，即如果所输入的变换系数411与471相同，则编码器的确定部440进行与解码器的确定部460相似的动作，进而确定结果相同。

另外，也可以将本发明直接适用于基于H.264/MPEG-4AVC规格的编码器及/或解码器，例如适用于图1和图2分别示出的图像编码装置100及/或图像解码装置200。在这种实施方式中，图像编码装置401的变换部410与对预测误差图像(减法器105的输出)的块进行变换及量化的变换/量化部110对应。该实施方式的变换系数411与被变换及量化的对象图像块的像素值对应。确定部440、扫描部420及编码器430也可以是熵编码部190的一部分。目前的H.264/MPEG-4AVC采用图3B所示的基于Z形扫描的扫描顺序350b。例如，对隔行扫描模式(interlaced mode)的影像序列采用其它类型的类似Z形的扫描。因此，也可以取代固定的Z形扫描，而进行基于本发明的扫描的切换。同样，解码器470也可以与块形成部480和确定部460一起形成熵解码部290的一部分。因此，逆量化/逆变换部220对应于变换部490。

优选扫描顺序是通过从预先设定的多个扫描顺序中进行选择而确定的。根据本发明的实施方式，选择对象的扫描顺序中的一种扫描顺序是被广泛采用的Z形扫描，另一种扫描顺序是与频率选择编码(FSC：Frequency Selective Coding)一起被采用的所谓频率选择扫描。

在专利文献2EP(European Patent Application)1720356和专利文献3EP1768416中记述了频率选择更新(FSU：Frequency Selective Update)及编码，在本发明中也引用频率选择更新及编码进行说明。频率选择编码依据于人的眼睛的下述特征，即，人眼对高频的敏感度比对低频的敏感度弱，即使在改变或者省略高频时往往也不会被识别到。因此，在频率选择编码中，只对输入信号的特定的频率部分进行扫描及编码/解码，将其它频率部分视为零。根据这种方法，尤其是通过与频率选择编码系数的模式相适应的频率选择扫描进行组合，能够提高压缩效率。

这种频率选择影像技术的主要概念在于对每帧更新频率区段(segment)。预先设定的量的低频系数始终被更新。这些系数应该是对于人的知觉必不可缺的系数。即，如果变更这些系数，则产生人的眼睛容易感知到的畸变。对每帧更新各个块的低频部分、以及具有高频的一个或几个区段。或者，在更新了规定数量的帧之后，基于将频率完全更新的目的，对每帧更新高频区段。

图5表示在这种情况下再一次参照图1说明的H.264/MPEG-4AVC编码器、即混合影像编码器的被变更后的块图的一部分中包含的频率选择编码。预测误差信号由变换/量化部510进行变换及量化，并输入频率选择编码器550。在标准的编码中，对于全部的(量化)变换系数，按照图中带阴影的部位所示，对块501整体进行编码。在频率选择编码器550中，将已被变换并量化的系数的块501分割为区段。只有区段的子集在(已更新的)比特流内被实施熵编码并被发送。图示的块502包括较低频率LF的区段和与一个变换系数对应的区段8。这些区段在图中被施加了阴影，以便与块中包括未被发送的系数或者被视为零的系数的剩余部分进行区分。按照每帧来改变已更新的带阴影的区段，由此块的频率被连续更新，各个帧的比特速率大幅减小。未被更新的系数被暗中视为零。在熵编码部590中，对块内的量化变换系数适用规定的扫描来进行扫描。该扫描是从最低频率开始一直到最高频率，对该块的全部系数进行扫描。在发送预测误差信息时，一直发送到系数达到最后的非零系数。已知剩余的系数为零。根据图6可知，在频率选择编码中所适用的Z形扫描的扫描顺序605的优点在于，能够在达到最后的非零系数之前扫描大量的零系数。

在图6所示的扫描顺序605中，扫描始终为0的非更新系数，但也可以不扫描这种非更新系数。或者，还可以在最后扫描这种非更新系数。通过这样变更扫描顺序，能够得到更高的编码效果。图7是表示这种扫描顺序的变更的图。

在采用频率选择编码的块中，特定的已扫描零系数在图片整体的各个块内始终位于相同位置。在这种情况下，能够按照图7所示对扫描进行变更，以便只扫描已更新频率，或者将系数重新排列，以便先扫描已更新频率。块701在图中被施加了阴影，包括被赋予了编号1～20的已更新系数。剩余的系数按照频率选择编码方式被视为零。按照编号的升序来扫描20个已更新系数，这是对各个块适用频率选择编码时的选择之一。但是，根据本发明，也可以根据系数值来确定扫描顺序。在该示例中，采用Z形扫描或者其它频率选择扫描中的任意一种扫描。基于利用基本相同的方法来适用Z形扫描的目的，也可以在频率选择扫描中重新排列已更新系数。将系数重新排列后的块702也可以通过如下的Z形扫描来进行扫描，即，最后扫描规定的零系数，由此零run变长。已更新系数及频率选择编码中的零系数的位置也可以采用在专利文献3EP1768416中详细说明的量化矩阵来确定。

但是，对一个帧的全部块更新同一频率区段不是最佳的方式。通过去除特定的频率而产生的质的畸变大大依赖于块的内容。因此，使频率选择编码模式适应各个块的内容很重要。对于具有高频的特定的块、或者预测失败的块，发送全部系数，即，将频率选择编码设为无效，并且(不重新排列系数地)选择标准的Z形顺序等其它扫描顺序，也许是比较有利的。

本发明能够控制对于各个块的频率选择编码的使用。为了利用高效的方法来执行该控制，编码器必须以尽可能低的追加速率向解码器通知有关频率选择编码的有效和无效的信息。根据本发明，频率选择编码的有效或无效是根据在编码器和解码器中能够利用的信息，并利用相同的方法确定的。因此，频率选择编码的控制不需要利用显式(explicit)的信号进行传递。所说编码器和解码器能够利用的信息例如是指预测误差的值。如果预测误差比较大，即预测失败，则不能对这种块采用频率选择编码。

根据本发明的实施方式，在编码器侧和解码器侧双方都能够利用各个块的变换系数，确定频率选择扫描的有效和无效。为了容易进行这种确定，按照相同的顺序对在该确定中采用的系数值进行扫描，而与采用频率选择扫描或者采用通常的扫描的哪种扫描无关。否则，解码器将不能确定与编码器相同的扫描顺序。

图8表示对在频率区域中具有不同的系数分配且内容不同的块，进行频率选择扫描并且进行频率选择编码而实现的优点。通过采用频率选择编码技术，在许多影像的序列内的大部分区域中，有可能能够以比当前的H.264/MPEG-4AVC规格高的编码效率提供相似的主观性画质。但是，如果去除锐利边缘周围的高频，则生成可见的人工痕迹。对于这种区域应该局部地适用频率选择编码，以便达到与规格完全相同的主观性画质。对于边缘周围或者预测失败的区域不能适用频率选择编码。

在采用频率选择编码时，为了使编码效率最大化，根据在该块中使用的量化步骤来变更系数的扫描顺序。在该块采用频率选择编码的情况下，采用频率选择扫描，并将系数重新排列以便先扫描已更新系数。根据图8可知，扫描顺序对作为结果而产生的被扫描后的系数的串行的流的形式产生实质性的影响。根据本发明的实施方式，不采用频率选择编码、而采用标准的量化及扫描步骤的块810，按照Z形扫描所定义的顺序进行扫描，结果得到串行的流811。在解码器中为了确定各个系数值，必须知道该扫描。对频率选择编码块820采用频率选择扫描，结果得到系数的串行的流821。为了使编码步骤与解码步骤一致，解码器必须知道采用像Z形扫描那样的通常的扫描、还是采用频率选择扫描。在频率选择扫描和Z形扫描双方中，最先对低频系数进行扫描。这些系数对于人的知觉是必不可缺的，因此即使采用频率选择扫描，也始终通过频率选择编码而被更新，并始终被最先发送。

图9表示在对非频率选择编码块910适用的通常的Z形扫描912中被扫描的最初10个系数(利用斜线示出的部分)、以及在对频率选择编码块920适用的频率选择扫描922中被扫描的最初10个系数。即使Z形扫描912的扫描顺序与频率选择扫描922的扫描顺序不同，最初的10个系数的顺序也是相同的。在最初的10个系数之后，按照Z形扫描被扫描的剩余的系数(利用点示出的部分)，与按照频率选择扫描被扫描的剩余的系数不同。

无论是通常的扫描还是频率选择扫描，为了容易进行各个块的频率选择编码和扫描的有效或无效的确定，最初的系数即足以，这已通过实验得到确认。这些系数始终是与扫描相独立而被最初发送的，因此解码器侧即使不知道扫描也能够进行读出。

图10是简要表示本发明的实施方式的编码方法的图。4×4块1000由被赋予了编号c1～c16的16个频率系数构成。通常，本发明不限定于8×8或者4×4块这种特定的尺寸，可以适用于任意尺寸的块。但是，在当前的诸如H.264/MPEG-4AVC这样的编码算法中，8×8块和4×4块构成变换的基础。最初的3个系数c1、c2和c3的绝对值的合计值S被计算为S＝|c1|+|c2|+|c3|。

然后，将绝对值的合计值S与阈值进行比较。优选预先设定阈值。阈值可以是固定的，也可以是编码器及解码器的设定的一部分，还可以能够动态地调整。对各种块尺寸指定不同的阈值的情况，尤其是在确定频率选择扫描的有效和无效时使用的系数的数量因块尺寸而不同的情况，都比较适合。如果绝对值的合计值S为阈值以上，该块的预测误差包括许多的频率。在这种情况下，频率选择编码(在图中被简称为FSU-频率选择更新)被设为无效，按照诸如Z形扫描1010那样的通常扫描对系数进行扫描。如果绝对值的合计值S小于阈值，则频率选择编码被设为有效，按照频率选择扫描1020对系数进行扫描。

通常，绝对值的合计值S也可以利用对于通常扫描和频率选择扫描都相同的任意数量的系数进行计算。这将不需要共同的系数的最大值。绝对值的合计值S也可以替换为系数值的平方和等其它评价标准，利用相应的系数的数量对该评价标准进行正规化，也可以对该系数值进一步实施加权。但是，例如绝对值的合计值S也可以是系数值的任意函数、或者基于具有特定的值的对于通常扫描和频率选择扫描都相同的系数的数量的其它评价标准。这种评价标准用于和阈值一起来进行对象块的频率选择编码的有效或者无效的确定，并选择合适的扫描。频率选择编码步骤包括按照量化矩阵将系数重新排列、以及对该重新排列后的系数适用扫描1030。被串行排列的系数的流1021或者流1011然后被实施熵编码，作为其结果而生成的比特流被存储或者发送。

即，可以发送基于频率选择扫描1020的变换系数序列，也可以发送基于通过重新排列实质上变更了扫描顺序的扫描1030的变换系数序列。解码侧能够按照与编码侧相同的逆扫描顺序，从一维排列的变换系数序列生成二维排列的变换系数。

在图11中简要示出了对应的解码方法。首先，读出在双方的扫描中相同的、接收到的系数的level 1101，结果，在块1100中大致剩下顺序不明的系数。最初的3个系数在双方的扫描中是按照相同的顺序进行扫描的，因而能够进行解码。在图11的示例中，读出了已编码的4×4块的最初的3个系数即x1、0、和x2。这3个系数的绝对值的合计值S按照下面所述进行计算。

S＝|x1|+|0|+|x2|

与编码器的方法相同地将所计算的合计值S与阈值进行比较。根据该比较的结果，剩余的系数通过与Z形扫描或者频率选择扫描对应的扫描被进行逆扫描。并且，通过与频率选择扫描对应的逆扫描而形成块1110。或者，通过与Z形扫描对应的逆扫描而形成块1120。在进行逆扫描之后，对块1110或者1120进行逆变换，生成解码块的像素值。

根据本发明的其它实施方式，扫描顺序是根据非零系数的数量或者零系数的数量而确定的。并且，该参数能够在编码器和解码器双方使用。如果适用在背景技术中说明的游程编码，非零系数的数量与run-level的数量对应。例如，在H.264/MPEG-4AVC CAVLC编码中，可以对应level数量(不带符号的量化系数值)及/或Trailing ones的数量来确定扫描顺序。零系数的数量同样可以根据位于非零系数和非零系数之间的零的总数、及/或、块整体的零的数量而导出。并且，也可以采用基于具有特定的值的系数的数量的统计式评价标准。这是因为这些统计式评价标准也不需要知道将被确定的扫描顺序。

根据本发明的其它实施方式，在对已扫描变换系数适用游程编码的情况下，根据使用level而计算的评价标准来确定扫描顺序。非零系数的值(level)可以更准确地表示扫描顺序的选择。虽然造成重复，但是这种评价标准不需知道所适用的扫描顺序，即可在编码器和解码器中被同样地算出。

上述示例中的编码器和解码器从预先设定的扫描顺序的集合中进行选择，由此确定扫描顺序。但是，扫描顺序也可以适应性地确定，即，从除预先设定的扫描及/或固定的扫描的集合之外的扫描中进行确定。例如，最初的N个系数的值可以与块内的位置一起用来定义扫描顺序。作为简单的示例，区分位于不同位置的最初的N个系数是否为零，以及根据这种二进制(二值)模式从具有可能性的2^N个扫描顺序中选择一个扫描顺序。其中，2^N个扫描顺序也可以预先设定。例如，2^N个二进制序列可以分别被分配扫描顺序。该分配例如也可以通过使用所选择的块的训练集(training set)进行优化而得到。此外，也可以在训练中使用同一图像或者同一图像序列的已被编码的块。由此，能够在编码器和解码器中得到相同的动态分配。

其中，^是表示乘幂的符号，2^N表示2的N次幂。

在确定扫描顺序时使用的值不一定限定于二进制符号(零/非零)，也可以根据变换系数值及其位置任意地确定扫描顺序。并且，在确定扫描顺序时也可以使用来自已被编码的块的信息。来自先行块的这种信息可以是这种块的系数值、作为这种先行块用而选择的扫描、或者与这种块相关联的其它信息。

也可以进一步增加适应的程度，在特定的块内适应性地确定扫描。因此，第(i+1)个系数的扫描顺序可以根据已被扫描的i个系数(或者其子集)的值进行确定。其中，i是1以上的整数。

根据本发明的其它实施方式，最初的N个系数按照规定的固定扫描进行扫描，并确定各个系数值是零值还是非零值。然后，形成N比特长的二进制字。该二进制字内的位置对应于已扫描系数的位置，在该二进制字中，在与零系数对应的位置是零，在非零系数的位置是1。然后，在确定下一个被扫描的第(N+1)个系数的位置时使用该二进制字。

二进制字的值与下一个扫描对象系数的位置之间的分配必须由编码器和解码器双方知道。优选这种分配根据已被编码的块的系数值来进行，因此能够动态地适应图像及/或影像序列的特性。利用这种方法在图像特性中进行优化，选择与对象块适应的扫描，结果，编码效率提高。另外，不需要在信号中传递追加的信息。或者，该分配也可以是固定的，也可以由编码器和解码器双方知道，还可以在信号中传递。

也可以在暂且确定第(N+1)个系数用的扫描后，根据该系数单独的值或者与先行的系数值的组合，确定第(N+2)个扫描对象系数的位置。例如，判定第(N+1)个系数值是零值还是非零值，由此可以将上述的N比特长的二进制字扩展到N+1比特长的二进制字。然后，在确定下一个扫描对象系数的位置时使用N+1比特长的二进制字。这样，通过根据被重新扫描的系数值对二进制字进行扩展，可以确定块整体或者宏块的扫描。

下一个扫描对象系数的位置不一定需要根据与已被扫描的系数是零还是非零的信息对应的二进制值来确定。例如，也许研究系数值、系数的绝对值、系数的平方值、或者提供比简单的二进制数多的信息等其它系数的函数更具优势。因此，也可以根据已被扫描的系数值、或者作为最后的系数而被扫描的一个系数值，确定下一个扫描对象系数的扫描位置。

这些示例只不过示出了本发明的各种实施方式中的几个示例。当然也可以采用根据变换系数值来确定扫描顺序的其它方式。通过在对象块内来适应扫描，扫描的灵活性提高，结果，即使是具有边缘而且除左上角之外具有非零系数值的块，也能够容易进行扫描，如果再进行熵编码，则能够高效进行编码。

图12A和图12B分别将在编码器和解码器中适用的本发明的方法中包含的步骤按照执行顺序进行总结。在编码器中，首先在步骤S1201，图像像素块被变换为变换系数。然后，在步骤S1202，在确定扫描顺序时使用变换系数中的全部或者几个变换系数。然后，在步骤S1203，将在步骤S1202确定的扫描顺序适用于变换系数的扫描。然后，在步骤S1204对变换系数的已扫描(被串行排列的)序列进行编码。

在解码器中，在步骤S1214对具有变换系数值的已被编码的语法元素进行解码，并在步骤S1212确定扫描顺序时使用。在步骤S1213，在进行变换系数的逆扫描时使用在步骤S1212确定的扫描顺序，结果，形成变换系数块。在步骤S1213生成的变换系数块最后在步骤S1211被实施逆变换，并生成对象块的像素值。

频率选择编码可以作为编码器设定的备选功能，与频率选择编码和通常编码的切换相同地设为有效或无效。例如，按照条带单位、或者像宏块或块那样更小的像素区域单位的较细的粒度，将频率选择编码设为有效或无效，也许更具优势。例如，可以在条带头中示出使用本发明的频率选择编码以及能够使频率选择编码局部无效。这种条带头可以具有两个标志。

(1)第1(有效)标志当在该条带中完全不使用频率选择编码时等于零，在使用频率选择编码时等同于1。

(2)只有在先行的标志等同于1的情况下，才存在第2标志。第2标志在对该条带的全部块使用频率选择编码时等于零，在针对特定的块使频率选择编码无效时等同于1。

在第2标志等于1的情况下，也可以提供在确定扫描时中使用的低频系数的数量。但是，低频系数的数量可以根据块尺寸预先设定，也可以对序列整体进行预先设定。另外，在设定了第2标志的情况下，也可以提供在编码器侧使用的阈值。这对编码器提供了控制应该在该条带内使用频率选择编码的频度的自由度。

因此，基于显式信号的传递从块level变为条带level。只要按照每个序列、或者在位于影像序列内的任意位置的网络抽象化层内一次性地利用信号进行传递即可。基于块level的扫描例如也可以通过最初的N个系数进行隐式传递。因此，基于达到与H.264/AVC编码算法相同的客观性画质的目的而实现局部适应，并且保持了频率选择编码的编码效率。

另外，图4所示的图像编码装置401的确定部440及图像解码装置402的确定部460也可以分别具有有效部，使依据于变换系数的扫描顺序或者逆扫描顺序的确定有效或者无效。并且，也可以在图12A所示的扫描顺序确定步骤(S1202)及图12B所示的逆扫描顺序确定步骤(S1212)，使依据于变换系数的扫描顺序或者逆扫描顺序的确定有效或者无效。

上述说明的焦点在于，能够使用最初发送的系数进行Z形扫描与频率选择扫描的切换。但是，这只是单纯的示例，本发明也能够适用于频率选择扫描与其它扫描的切换。只要能够维持频率选择扫描与其它扫描的最初的低频系数的顺序，则也可以在进行扫描的切换时使用上述说明的本发明。另外，不需要一定知道最初被扫描的系数的顺序。一般，顺序是被任意地赋予的，不限于最初的位置，针对位于对象块的相同区域的任意的N个系数，也能够计算绝对值的合计值这种评价标准。例如，Z形扫描可以从DC系数开始并向下侧的系数继续(参照图3A)，频率选择扫描可以从DC系数开始并向右侧的系数继续(参照图7)。在双方的扫描中，即使顺序不同，也能够对相同系数进行扫描。为了实现明确且不依据于位置的逆量化，如果利用相同的方法对全部系数进行量化，则只能够计算与已知的位置内的非零变换系数的位置无关的、基于非零变换系数值的这种评价标准。如果在这种系数中使用的量化参数不同，例如在使用量化矩阵的情况下，不知道这些系数的位置，就不能马上将真正的系数值复原。

图13是表示所确定的扫描顺序的变形例的图。

在块1301中，首先按照规定的扫描顺序1302对变换系数进行扫描。即，扫描左上侧的变换系数1303，然后扫描其下面的变换系数1304。然后，扫描其右上侧的变换系数1305。

其中，如果第2个变换系数1304表示比第3个变换系数1305大的值，则可以按照使朝向垂直方向的扫描优先的扫描顺序1307继续进行扫描。另一方面，如果第2个变换系数1304与第3个变换系数1305没有较大的差异，则按照通常的Z形扫描的扫描顺序1306继续进行扫描。

这种扫描顺序的确定在考虑到具有在垂直方向示出比水平方向更大的值的倾向的场编码(field coding)、和不具有这种倾向的帧编码(frame coding)时是有效的。使朝向垂直方向的扫描优先的扫描顺序1307对应于场编码，基于通常的Z形扫描的扫描顺序1306对应于帧编码。根据场编码及帧编码中的各个变换系数的特性来确定扫描顺序，由此编码效率提高。

以上以编码中的扫描顺序的确定为例进行了说明，这同样适用于解码中的逆扫描顺序。

另外，也可以根据场编码方式与帧编码方式的切换来切换扫描，但是通过基于变换系数的特性的扫描的切换，扫描的切换精度更高。

图14是表示所确定的扫描顺序的另一个变形例的图。

利用最初扫描的变换系数x1、x2和x3计算其绝对值的合计值S。并且，在所计算的合计值S大于阈值的情况下，按照使朝向垂直方向的扫描优先的扫描顺序1307对变换系数进行扫描。并且，在合计值S不大于阈值的情况下，按照基于通常的Z形扫描的扫描顺序1308对变换系数进行扫描。

这种确定方式依据于以下倾向，即与动态图像对应的场编码的变换系数示出比与静态图像对应的帧编码的变换系数大的值。因此，通过根据这种特性来确定扫描顺序，编码效率提高。

其中，场编码用的扫描顺序1307和Z形扫描的扫描顺序1308在确定扫描顺序时所需要的最初的3个变换系数的扫描顺序不同。在这样确定扫描顺序时所需要的变换系数的扫描顺序不同的情况下，可以将确定扫描顺序时所需要的变换系数读入缓存器等中，在确定扫描顺序后，将所读入的变换系数重新排列。或者，也可以按照所确定的扫描顺序再次进行扫描。即，确定扫描顺序时所需要的变换系数的扫描顺序可以不固定。

以上以编码中的扫描顺序的确定为例进行了说明，这同样适用于解码中的逆扫描顺序。

图15是表示对象块和周围块的示意图。

相对于编码对象块1505，存在位于其左上侧的周围块1501、位于其上侧的周围块1502、位于其右上侧的周围块1503和位于其左侧的周围块1504。其中，左上侧的周围块1501、上侧的周围块1502、右上侧的周围块1503和左侧的周围块1504被进行编码。

在这种情况下，编码对象块1505的变换系数的扫描顺序可以根据已被编码的周围块的变换系数、和在编码对象块1505中已被扫描的变换系数1506来确定。由此，按照所确定的扫描顺序对在编码对象块1505中未被扫描的变换系数进行扫描。

例如，如果在周围块中包含许多高频的非零系数，则在编码对象块中也包含许多高频的非零系数的可能性比较大。通过根据这种特性来确定扫描顺序，编码效率提高。

以上以编码中的扫描顺序的确定为例进行了说明，这同样适用于解码中的逆扫描顺序。即，解码对象块的变换系数的逆扫描顺序可以根据已被解码的周围块的变换系数和已被逆扫描的变换系数来确定。

先前示出的示例的焦点在于将两种扫描进行切换，该技术也能够适用于两种以上的扫描的切换。例如，当在进行两个不同的对应频率选择扫描的同一条带内采用两个不同的频率选择分段模式的情况下，能够将本发明适用于3个以上的扫描的切换。也可以需要追加的阈值。例如，可以在被评价的各个变换系数的值越大时，越增多由频率选择扫描所扫描的变换系数的数量。

本发明还能够用来确定扫描，而不是从预先设定的扫描的较小的集合中进行选择。切换对象的扫描也可以适应于其它类型的熵编码，而非游程编码。量化系数是编码器和解码器双方都知道的系数，因而如果适用量化，则能够根据量化系数来确定扫描顺序。但是，不一定需要适用量化。

本发明的其它实施方式涉及使用硬件和软件来实施上述的各个实施方式。本发明的各个实施方式可以使用计算机装置(处理器)来实施或者执行。计算机装置即处理器例如可以是通用处理器、数字信号处理器(DSP：Digital Signal Processor)、面向特定用途的集成电路(ASIC：Application Specific Integrated Circuit)、可现场编程门阵列(FPGA：Field Programmable Gate Array)或者其它的可编程逻辑电路等。本发明的各个实施方式也可以将这些装置进行组合来执行或者具体实现。

另外，本发明的各个实施方式也可以利用处理器或者由硬件直接执行的软件模块来实施。并且，也能够将软件模块进行组合并安装在硬件上。软件模块可以存储在例如RAM、EPROM(Erasable Programmable Read Only Memory：可擦写可编程只读存储器)、EEPROM(Electrically Erasable and Programmable Read Only Memory：可电气擦写可编程只读存储器)、闪存、寄存器、硬盘、CD-ROM、DVD等所有类型的计算机可读的存储介质中。

上述示例的大部分在与基于H.264/MPEG-4AVC的影像编码方式的关联内容中进行了概括说明，用语主要与H.264/MPEG-4AVC的用语相关联。但是，关于与基于H.264/MPEG-4AVC的编码相关的这种用语及各个实施方式的说明，不能理解为本发明的原理及概念限定于这种方式。并且，依据于H.264/MPEG-4AVC规格的编码及解码的详细说明是用来得到此处说明的示例性实施方式的更好理解，不能解释为本发明限定于对影像编码中的步骤和功能所说明的特定的实施方式。但是，此处提出的改进能够容易适用于所说明的影像编码。另外，本发明的概念也能够容易适用于当前JVT正在研究的H.264/MPEG-4AVC编码的强化中。

总之，本发明涉及保持相同的画质的同时，在编码效率方面提高影像编码性能。因此，编码对象图像的块被变换为变换系数的块。使用几个变换系数的值，确定在把二维的系数块串行排列为系数序列时使用的扫描。按照所确定的扫描顺序对系数进行扫描并输入，以便进行编码。同样，解码器在对接收到的语法元素的序列进行解码后，基于从该语法元素的序列形成系数块的目的，利用变换系数值来确定所适用的逆扫描的顺序。

(实施方式2)

通过将用于实现在上述实施方式中示出的图像编码方法或者图像解码方法的步骤的程序记录在存储介质中，能够容易在独立的计算机系统中实施上述实施方式所示出的处理。存储介质只要能够记录程序即可，可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等。

另外，在此说明上述实施方式所示出的图像编码方法和图像解码方法的应用示例、及采用了该应用示例的系统。

图16是表示实现内容发布服务的内容提供系统ex100的整体结构的图。将通信服务的提供区域分割为期望的大小，在各个小区内分别设有固定无线站即基站ex106～ex110。

该内容提供系统ex100将计算机ex111、PDA(Personal Digital Assistant：个人数字助理)ex112、摄像机ex113、便携电话ex114、游戏机ex115等各个设备，通过因特网服务提供商ex102和电话网ex104和基站ex106～ex110，与因特网ex101连接。

但是，内容提供系统ex100不限于图16所示的结构，也可以将任意要素进行组合并连接。并且，各个设备也可以直接与电话网ex104连接，而不通过固定无线站即基站ex106～ex110。并且，各个设备也可以通过近距离无线等直接相互连接。

摄像机ex113是数字视频摄像机等能够进行动态图像摄影的设备，摄像机ex116是数字摄像机等能够进行静态图像摄影、动态图像摄影的设备。并且，便携电话ex114可以是GSM(Global System for Mobile Communications：全球数字移动电话系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或者LTE(Long Term Evolution：长期演进)方式、HSPA(High Speed Packet Access：高速分组接入)的便携电话、或者PHS(Persona Handyphone System：个人便携电话系统)等任意方式。

在内容提供系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流服务器ex103连接，由此能够进行直播发布等。在直播发布中，对用户使用摄像机ex113拍摄的内容(例如音乐现场直播的影像等)进行在上述实施方式中说明的编码处理，并发送给流服务器ex103。另一方面，流服务器ex103向存在请求的客户端进行所发送的内容数据的流发布。客户端包括能够对上述被编码处理后的数据进行解码的计算机ex111、PDA ex112、摄像机ex113、便携电话ex114、游戏机ex115等。在接收到所发布的数据的各个设备中对接收到的数据进行解码处理并再现。

另外，所拍摄的数据的编码处理可以在摄像机ex113中进行，也可以在进行数据的发送处理的流服务器ex103中进行，还可以相互分担进行。同样，所发布的数据的解码处理可以在客户端进行，也可以在流服务器ex103中进行，还可以相互分担进行。并且，不限于摄像机ex113，也可以将由摄像机ex116拍摄的静态图像及/或动态图像数据通过计算机ex111发送给流服务器ex103。这种情况时的编码处理可以由摄像机ex116、计算机ex111、流服务器ex103中的任意一方进行，也可以相互分担进行。

并且，这些编码处理和解码处理通常在计算机ex111和各个设备具有的LSI(Large Scale Integration：大规模集成电路)ex500中进行处理。LSI ex500可以是单片，也可以由多个芯片构成。另外，也可以将图像编码用和图像解码用的软件装配在计算机ex111等能够读取的某记录介质(CD-ROM、软盘、硬盘等)中，并使用该软件进行编码处理和解码处理。另外，在便携电话ex114带摄像机的情况下，也可以发送利用该摄像机取得的动态图像数据。此时的动态图像数据是由便携电话ex114具有的LSI ex500进行编码处理后的数据。

并且，流服务器ex103可以是多个服务器或者多个计算机，用于对数据进行分散、处理、记录、发布。

如上所述，在内容提供系统ex100中，客户端能够接收已被编码的数据并进行再现。这样在内容提供系统ex100中，客户端能够实时地接收用户发送的信息并进行解码及再现，即使是不具有特殊的权利或者设备的用户也能够实现个人播放。

构成这种内容提供系统的各个设备可以使用上述实施方式所示出的图像编码方法或者图像解码方法进行编码、解码。

作为其一个示例，对便携电话ex114进行说明。

图17是表示使用在上述实施方式中说明的图像编码方法和图像解码方法的便携电话ex114的图。便携电话ex114具有：天线ex601，用于与基站ex110之间发送接收电波；CCD摄像机等摄像机部ex603，能够拍摄影像、静态图像；液晶显示器等显示部ex602，显示对由摄像机部ex603拍摄的影像、由天线ex601接收到的影像等进行解码后的数据；由操作键ex604组构成的主体部；扬声器等声音输出部ex608，用于进行声音输出；麦克等声音输入部ex605，用于进行声音输入；记录介质ex607，用于保存对所拍摄的动态图像或者静态图像的数据、接收到的邮件的数据、动态图像数据或者静态图像数据等进行编码后的数据或者进行解码后的数据；插槽部ex606，能够将记录介质ex607安装在便携电话ex114中。记录介质ex607是SD卡等在塑料壳体内储存了能够进行电气改写及擦除的非易失性存储器即EEPROM的一种即闪存元件。

另外，使用图18来说明便携电话ex114。便携电话ex114将电源电路部ex710、操作输入控制部ex704、图像编码部ex712、摄像机接口部ex703、LCD(Liquid Crystal Display：液晶显示器)控制部ex702、图像解码部ex709、复用分离部ex708、记录再现部ex707、调制解调电路部ex706以及声音处理部ex705，通过同步总线ex713与主控制部ex711相互连接，主控制部ex711对具有显示部ex602和操作键ex604的主体部的各部进行总括控制。

电源电路部ex710在通过用户的操作而处于通话结束及电源键接通的状态时，从电池包向各部提供电力，由此将带摄像机的数字便携电话ex114起动成为能够动作的状态。

便携电话ex114根据由CPU、ROM和RAM等构成的主控制部ex711的控制，由声音处理部ex705将在语音通话模式时由声音输入部ex605集音的声音信号变换为数字声音数据，由调制解调电路部ex706对数字声音数据进行频谱扩散处理，并由发送接收电路部ex701实施数字模拟变换处理及频率变换处理，然后通过天线ex601进行发送。并且，便携电话ex114将在语音通话模式时由天线ex601接收到的接收数据放大，并实施频率变换处理及模拟数字变换处理，并由调制解调电路部ex706实施频谱逆扩散处理，由声音处理部ex705变换为模拟声音数据，然后通过声音输出部ex608输出该模拟声音数据。

另外，当在数据通信模式时发送电子邮件的情况下，通过操作主体部的操作键ex604而输入的电子邮件的文本数据，通过操作输入控制部ex704被发送给主控制部ex711。主控制部ex711使调制解调电路部ex706对文本数据进行频谱扩散处理，并由发送接收电路部ex701实施数字模拟变换处理及频率变换处理，然后通过天线ex601向基站ex110发送。

当在数据通信模式时发送图像数据的情况下，将由摄像机部ex603拍摄的图像数据通过摄像机接口部ex703提供给图像编码部ex712。并且，在不发送图像数据的情况下，能够将由摄像机部ex603拍摄的图像数据通过摄像机接口部ex703和LCD控制部ex702直接显示在显示部ex602上。

图像编码部ex712具有在本申请发明中说明的图像编码装置，利用在上述实施方式中示出的图像编码装置所使用的编码方法，对由摄像机部ex603提供的图像数据进行压缩编码，由此变换为编码图像数据，将该编码图像数据发送给复用分离部ex708。并且，与此同时，便携电话ex114将在摄像机部ex603进行摄像的过程中由声音输入部ex605集音的声音，通过声音处理部ex705作为数字的声音数据，发送给复用分离部ex708。

复用分离部ex708按照规定的方式对由图像编码部ex712提供的编码图像数据、和由声音处理部ex705提供的声音数据进行复用，由调制解调电路部ex706对复用的结果得到的复用数据进行频谱扩散处理，再由发送接收电路部ex701实施数字模拟变换处理及频率变换处理，然后通过天线ex601进行发送。

当在数据通信模式时接收与主页等链接的动态图像文件的数据的情况下，由调制解调电路部ex706对通过天线ex601从基站ex110接收到的接收数据进行频谱逆扩散处理，将其结果得到的复用数据发送给复用分离部ex708。

并且，为了对通过天线ex601接收到的复用数据进行解码，复用分离部ex708对复用数据进行分离，由此分割为图像数据的比特流和声音数据的比特流，并通过同步总线ex713将该编码图像数据提供给图像解码部ex709，并且将该声音数据提供给声音处理部ex705。

然后，图像解码部ex709具有在本申请中说明的图像解码装置，利用与在上述实施方式中示出的编码方法对应的解码方法，对图像数据的比特流进行解码，由此生成再现动态图像数据，通过LCD控制部ex702将该再现动态图像数据提供给显示部ex602，由此显示例如在与主页等链接的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex705将声音数据变换为模拟声音数据，然后将该模拟声音数据提供给声音输出部ex608，由此再现例如在与主页等链接的动态图像文件中包含的声音数据。

另外，不限于上述系统的示例，最近，基于卫星、地面波的数字广播也成为话题，按照图19所示，也能够将上述实施方式的至少图像编码装置或者图像解码装置装配到数字广播用系统中。具体地讲，由广播站ex201将声音数据、影像数据、或者这些数据被复用后的比特流，通过电波传输给通信或广播卫星ex202。接收到这些信息的广播卫星ex202发出播放用的电波，具有卫星广播接收设备的家庭的天线ex204接收该电波，电视机(接收机)ex300或者机顶盒(STB)ex217等装置对比特流进行解码，并将其再现。并且，也能够将在上述实施方式中示出的图像解码装置安装在读取/录制器ex218中，读取/录制器ex218读取在作为记录介质的CD和DVD等记录介质ex215、ex216中记录的图像数据、和声音数据被复用后的比特流，并进行解码处理。在这种情况下，在监视器ex219显示被再现的影像信号。并且，也可以考虑将图像解码装置安装在与有线电视用的线缆ex203或者卫星/地面波广播的天线ex204连接的机顶盒ex217内，利用电视机的监视器ex219来再现影像信号。此时，也可以将图像解码装置装配在电视机内，而不装配在机顶盒中。并且，也能够利用具有天线ex205的车辆ex210从卫星ex201或者基站等接收信号，并在车辆ex210具有的车辆导航器ex211等的显示装置中再现动态图像。

并且，也能够将在上述实施方式中示出的图像解码装置或者图像编码装置安装在读取/录制器ex218中，读取/录制器ex218读取在DVD、BD等记录介质ex215中记录的声音数据、影像数据、或者这些数据被复用后的编码比特流，并进行解码处理，或者，读取/录制器ex218对声音数据、影像数据或者这些数据进行编码，并作为复用数据记录在记录介质ex215中。在这种情况下，在监视器ex219显示被再现的影像信号。并且，其它装置及系统等也能够利用记录了编码比特流的记录介质ex215来再现影像信号。例如，其它的再现装置ex212能够使用复制了编码比特流的记录介质ex214，在监视器ex213再现影像信号。

并且，也可以将图像解码装置安装在与有线电视用的线缆ex203或者卫星/地面波广播的天线ex204连接的机顶盒ex217内，利用电视机的监视器ex219来显示影像信号。此时，也可以将图像解码装置装配在电视机内，而不装配在机顶盒中。

图20是表示使用了在上述实施方式中说明的图像解码方法和图像编码方法的电视机(接收机)ex300的图。电视机ex300具有：调谐器ex301，其通过接收上述播放的天线ex204或者线缆ex203等来获取或者输出影像信息的比特流；调制/解调部ex302，用于对接收到的编码数据进行解调，或者将所生成的编码数据发送到外部；复用/分离部ex303，将解调后的影像数据和声音数据进行分离，或者对被编码后的影像数据和声音数据进行复用。并且，电视机ex300具有：信号处理部ex306，具有分别对声音数据、影像数据进行解码，或者对这些信息进行编码的声音信号处理部ex304和影像信号处理部ex305；输出部ex309，具有输出被解码后的声音信号的扬声器ex307、和显示被解码后的影像信号的显示器等显示部ex308。另外，电视机ex300具有接口部ex317，接口部ex317具有受理用户操作的输入的操作输入部ex312等。另外，电视机ex300具有对各部进行总括控制的控制部ex310、和向各部提供电力的电源电路部ex311。接口部ex317除操作输入部ex312之外还具有：电桥ex313，与读取/录制器ex218等外部设备连接；插槽部ex314，能够安装SD卡等记录介质ex216；驱动器ex315，用于与硬盘等外部记录介质连接；以及与电话网连接的调制解调器ex316等。另外，记录介质ex216能够利用所储存的非易失性/易失性的半导体存储器元件电气地进行信息的记录。电视机ex300的各部通过同步总线相互连接。

首先，对电视机ex300对通过天线ex204等从外部获取的数据进行解码并再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，由复用/分离部ex303对由调制/解调部ex302进行解调后的影像数据、声音数据进行分离。另外，电视机ex300通过声音信号处理部ex304对分离出的声音数据进行解码，由影像信号处理部ex305使用在上述实施方式中说明的解码方法对分离出的影像数据进行解码。将解码后的声音信号、影像信号从输出部ex309分别输出到外部。在进行输出时，可以在缓存器ex318、ex319等中暂且存储这些信号，以便能够同步再现声音信号和影像信号。并且，电视机ex300也可以不从播放等进行读取，而从磁盘/光盘、SD卡等记录介质ex215、ex216读出已被编码的编码比特流。下面，对电视机ex300对声音信号和影像信号进行编码并发送到外部或者写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，根据控制部ex310的控制，由声音信号处理部ex304对声音信号进行编码，由影像信号处理部ex305使用在上述实施方式中说明的编码方法对影像数据进行编码。由复用/分离部ex303对被编码后的声音信号、影像信号进行复用并输出到外部。在进行复用时，可以在缓存器ex320、ex321等中暂且存储这些信号，以使声音信号和影像信号能够同步。另外，缓存器ex318～ex321可以按照图示设置多个，也可以构成为共用一个以上的缓存器。另外，除了图示的情况之外，例如也可以在调制/解调部ex302和复用/分离部ex303之间等的缓存器中存储数据，该缓存器作为避免系统的上溢和下溢的缓冲部件。

并且，电视机ex300除了从播放和记录介质等来获取声音数据和影像数据之外，也可以具有麦克和受理摄像机的AV输入的结构，对从这些构成要素获取的数据进行编码处理。另外，在此说明了电视机ex300能够进行上述的编码处理、复用及外部输出的结构，但也可以构成为不能全部进行这些处理，而只能进行上述接收、解码处理和外部输出中的任意一种处理。

并且，在由读取/录制器ex218从记录介质读取编码比特流或者进行写入的情况下，上述解码处理或者编码处理可以在电视机ex300和读取/录制器ex218中任意一方进行，也可以由电视机ex300和读取/录制器ex218相互分担进行。

作为一例，图21表示从光盘进行数据的读取或者写入时的信息再现/记录部ex400的结构。信息再现/记录部ex400具有以下说明的要素ex401～ex407。光头ex401向作为光盘的记录介质ex215的记录面照射激光光点并写入信息，检测来自记录介质ex215的记录面的反射光并读取信息。调制记录部ex402电气地驱动在光头ex401中内置的半导体激光器，并根据记录数据进行激光光的调制。再现解调部ex403对由在光头ex401中内置的光电检测器电气地检测来自记录面的反射光而得到的再现信号进行放大，对在记录介质ex215中记录的信号成分进行分离及解调，并再现必要的信息。缓存器ex404临时保存用于在记录介质ex215中记录的信息、和从记录介质ex215再现的信息。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动，一边使光头ex401沿规定的信息光道移动，并进行激光光点的跟踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读取及写入的处理是这样实现的，即，由系统控制部ex407利用在缓存器ex404中保存的各种信息，或根据需要进行新信息的生成和追加，并且使调制记录部ex402、再现解调部ex403和伺服控制部ex406协调动作，由此通过光头ex401进行信息的记录再现。系统控制部ex407例如由微处理器构成，通过执行读取写入的程序来执行这些处理。

以上说明了光头ex401照射激光光点的情况，但也可以构成为使用近场光进行更高密度的记录。

图22表示光盘即记录介质ex215的示意图。在记录介质ex215的记录面上形成有螺旋状的引导槽(groove，槽)，在信息光道ex230中预先记录了根据槽的形状变化来表示盘上的绝对位置的地址信息。该地址信息包括用于特定出记录数据的单位即记录块ex231的位置的信息，进行记录及再现的装置对信息光道ex230进行再现并读取地址信息，由此能够特定出记录块。并且，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。用于记录用户数据的区域是数据记录区域ex233，在数据记录区域ex233的内周或者外周配置的内周区域ex232和外周区域ex234，用于除记录用户数据之外的特定用途。信息再现/记录部ex400向这种记录介质ex215的数据记录区域ex233，进行被编码后的声音数据、影像数据或者将这些数据复用后的编码数据的读写。

以上以一层的DVD、BD等光盘为例进行了说明，但是不限于这些方式，也可以是也能够在除表面之外的面上进行记录的多层构造的光盘。并且，也可以是进行多维的记录/再现的构造的光盘，即，在盘的相同位置使用各种不同波长的颜色的光来记录信息，并从各种角度记录不同的信息的层等。

并且，在数字广播用系统ex200中，也能够利用具有天线ex205的车辆ex210，从卫星ex202等接收数据，并在车辆ex210具有的车辆导航器ex211等的显示装置上再现动态图像。另外，关于车辆导航器ex211的结构，例如可以考虑在图20所示的结构中追加了GPS接收部的结构，也可以考虑在计算机ex111和便携电话ex114等中追加相同的结构。并且，关于上述便携电话ex114等终端，可以考虑与电视机ex300相同地具有编码器和解码器双方的发送接收型终端、只具有编码器的发送终端、只具有解码器的接收终端这三种安装形式。

这样，能够在上述的任何设备和系统中使用上述实施方式所示出的图像编码方法或者图像解码方法，由此能够获得在上述实施方式中说明的效果。

并且，本发明不限于上述实施方式，可以在不脱离本发明的范围的情况下进行各种变形或者修改。

(实施方式3)

上述各个实施方式所示出的图像编码方法和装置、图像解码方法和装置，代表性地，能够利用集成电路即LSI实现。作为一例，图23表示被单片化的LSI ex500的结构。LSI ex500具有以下说明的要素ex501～ex509，各个要素通过总线ex510而连接。电源电路部ex505在电源为接通状态的情况下，向各部提供电力，由此起动成为能够动作的状态。

例如在进行编码处理的情况下，LSI ex500根据具有CPU ex502、存储控制器ex503和流控制器ex504等的控制部ex501的控制，由AV I/Oex509从麦克ex117和摄像机ex113等接收AV信号的输入。所输入的AV信号被暂且存储在SDRAM等外部存储器ex511中。根据控制部ex501的控制，按照处理量和处理速度将所存储的数据适当分为多次之类地发送给信号处理部ex507。信号处理部ex507进行声音信号的编码及/或影像信号的编码。在此，影像信号的编码处理是指在上述实施方式中说明的编码处理。信号处理部ex507还根据情况进行将被编码后的声音数据和被编码后的影像数据进行复用等的处理，并从流I/O ex506输出到外部。该输出的比特流被朝向基站ex107发送，或者被写入记录介质ex215中。另外，在进行复用时也可以将数据暂且存储在缓存器ex508中，以便能够同步。

并且，例如在进行解码处理的情况下，LSI ex500根据控制部ex501的控制，将由流I/O ex506通过基站ex107得到的编码数据、或者从记录介质ex215读取得到的编码数据，暂且存储在存储器ex511等中。根据控制部ex501的控制，按照处理量和处理速度将所存储的数据适当分为多次之类地发送给信号处理部ex507。信号处理部ex507进行声音信号的解码及/或影像信号的解码。在此，影像信号的解码处理是指在上述实施方式中说明的解码处理。信号处理部ex507还可以根据情况将被解码后的声音信号和被解码后的影像信号暂且存储在缓存器ex508等中，以便能够同步再现这些信号。被解码后的输出信号适当通过存储器ex511等，从便携电话ex114、游戏机ex115和电视机ex300等的各个输出部进行输出。

另外，以上说明了存储器ex511位于LSI ex500的外部的情况，但也可以构成为包含于LSI ex500的内部。缓存器ex508不限于一个，也可以设置多个缓存器。并且，LSI ex500可以被单片化，也可以被多片化。

另外，此处是形成为LSI，但根据集成度的差异，有时也称为IC、系统LSI、超级LSI、特级LSI。

并且，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的FPGA、或者能够重架构LSI内部的电路单元的连接和设定的可配置处理器(reconfigurable processor)。

另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术间世，当然也可以使用该技术进行功能单元的集成化。还存在适用仿生技术等的可能性。

以上，关于本发明的图像编码方法、图像编码装置、图像解码方法和图像解码装置，根据实施方式进行了说明，但本发明不限于这些实施方式。只要不脱离本发明的宗旨，对该实施方式实施本行业人员能够想到的各种变形而得到的方式、以及将不同实施方式中的构成要素和步骤等进行组合而构建的其它方式，都包含在本发明的范围之内。

产业上的可利用性

本发明能够用作图像编码装置或者图像解码装置，例如能够用作图像的记录装置和再现装置等。

标号说明

100、401图像编码装置；105减法器；110、510变换/量化部；120、220逆量化/逆变换部；125、225加法器；130、230解块滤波器；140、240、ex511存储器；150、260帧内预测部；160、270运动补偿预测部；170运动检测部；180、280帧内/帧间切换器；190、590熵编码部；200、402图像解码装置；290熵解码部；300、501、502、701、702、810、1000、1100、1110、1120、1301块；301、411、421、471、481、1303、1304、1305、1506变换系数；912、1010Z形扫描；350a、350b、605、1302、1306、1307、1308扫描顺序；409、499像素；410、490变换部；420扫描部；430编码器；431、451图像数据；440、460确定部；450介质；470解码器；480块形成部；550频率选择编码器；811、821、1011、1021流；820、920频率选择编码块；910非频率选择编码块；922、1020频率选择扫描；1030扫描；1101 level(级别)；1501、1502、1503、1504周围块；1505编码对象块；ex100内容提供系统；ex101因特网；ex102因特网服务提供商；ex103流服务器；ex104电话网；ex106、ex107、ex108、ex109、ex110基站；ex111计算机；ex112 PDA；ex113、ex116摄像机；ex114带摄像机数字便携电话(便携电话)；ex115游戏机；ex117麦克；ex200数字广播用系统；ex201广播站；ex202广播卫星(卫星)；ex203线缆；ex204、ex205、ex601天线；ex210车辆；ex211车辆导航器(导航)；ex212再现装置；ex213、ex219监视器；ex214、ex215、ex216、ex607记录介质；ex217机顶盒(STB)；ex218读取/录制器；ex220遥控器；ex230信息光道；ex231记录块；ex232内周区域；ex233数据记录区域；ex234外周区域；ex300电视机；ex301调谐器；ex302调制/解调部；ex303复用/分离部；ex304声音信号处理部；ex305影像信号处理部；ex306、ex507信号处理部；ex307扬声器；ex308、ex602显示部；ex309输出部；ex310、ex501控制部；ex311、ex505、ex710电源电路部；ex312操作输入部；ex313电桥；ex314、ex606插槽部；ex315驱动器；ex316调制解调器；ex317接口部、ex318、ex319、ex320、ex321、ex404、ex508缓存器；ex400信息再现/记录部；ex401光头；ex402调制记录部；ex403再现解调部；ex405盘马达；ex406伺服控制部；ex407系统控制部；ex500LSI；ex502CPU；ex503存储控制器；ex504流控制器；ex506流I/O；ex509 AV I/O；ex510总线；ex603摄像机部；ex604操作键；ex605声音输入部；ex608声音输出部；ex701发送接收电路部；ex702LCD控制部；ex703摄像机接口部(摄像机I/F部)；ex704操作输入控制部；ex705声音处理部；ex706调制解调电路部；ex707记录再现部；ex708复用分离部；ex709图像解码部；ex711主控制部；ex712图像编码部；ex713同步总线。

Claims (20)

1.一种按照块单位对图像进行编码的图像编码方法，该图像编码方法包括：

变换步骤，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；

扫描顺序确定步骤，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；

扫描步骤，按照所述扫描顺序依次扫描所述二维排列的变换系数，由此生成一维排列的变换系数序列；以及

编码步骤，对所述一维排列的变换系数序列进行编码。

2.根据权利要求1所述的图像编码方法，

在所述扫描顺序确定步骤中，根据在由所述扫描顺序确定步骤确定的所有扫描顺序中都按照相同的扫描顺序被扫描的最初的一个以上的变换系数，确定所述扫描顺序。

3.根据权利要求2所述的图像编码方法，

在所述扫描顺序确定步骤中，根据所述最初的一个以上的变换系数之中、一个以上的变换系数的绝对值的合计值，确定所述扫描顺序，或者，所述最初的一个以上的变换系数为两个以上的变换系数时，通过将所述两个以上的变换系数中的第1变换系数和第2变换系数进行比较，来确定所述扫描顺序。

4.根据权利要求1所述的图像编码方法，

在所述扫描顺序确定步骤中，根据所述二维排列的变换系数以及已被编码的块的变换系数，确定所述扫描顺序。

5.根据权利要求1所述的图像编码方法，

在所述扫描顺序确定步骤中，通过从包括基于频率选择扫描的扫描顺序的预先设定的多个扫描顺序中选择扫描顺序，来确定所述扫描顺序，所述频率选择扫描只对所述二维排列的变换系数中的一部分进行扫描。

6.根据权利要求1所述的图像编码方法，

在所述扫描顺序确定步骤中，通过将从所述二维排列的变换系数得到的值与预先设定的阈值进行比较，来确定所述扫描顺序。

7.根据权利要求1所述的图像编码方法，

所述图像编码方法还包括有效化步骤，

在所述有效化步骤中，使由所述扫描顺序确定步骤进行的扫描顺序的确定有效，并且向图像解码装置发送表示已使基于所述二维排列的变换系数的扫描顺序的确定有效之意的信号。

8.一种按照块单位对图像进行解码的图像解码方法，该图像解码方法包括：

解码步骤，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；

逆扫描顺序确定步骤，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；

逆扫描步骤，按照所述逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及

逆变换步骤，将所述二维排列的变换系数逆变换为二维排列的像素值。

9.根据权利要求8所述的图像解码方法，

在所述逆扫描顺序确定步骤中，根据在由所述逆扫描顺序确定步骤确定的所有逆扫描顺序中都按照相同的逆扫描顺序被逆扫描的最初的一个以上的变换系数，确定所述逆扫描顺序。

10.根据权利要求9所述的图像解码方法，

在所述逆扫描顺序确定步骤中，根据所述最初的一个以上的变换系数之中、一个以上的变换系数的绝对值的合计值，确定所述逆扫描顺序，或者，所述最初的一个以上的变换系数为两个以上的变换系数时，通过将所述两个以上的变换系数中的第1变换系数和第2变换系数进行比较，来确定所述逆扫描顺序。

11.根据权利要求8所述的图像解码方法，

在所述逆扫描顺序确定步骤中，根据所述一维排列的变换系数序列以及已被解码的块的变换系数，确定所述逆扫描顺序。

12.根据权利要求8所述的图像解码方法，

在所述扫逆描顺序确定步骤中，通过从包括基于频率选择扫描的逆扫描顺序的预先设定的多个逆扫描顺序中选择逆扫描顺序，来确定所述逆扫描顺序，所述频率选择扫描只对所述二维排列的变换系数中的一部分进行逆扫描。

13.根据权利要求8所述的图像解码方法，

在所述逆扫描顺序确定步骤中，通过将从所述一维排列的变换系数序列得到的值与预先设定的阈值进行比较，来确定所述逆扫描顺序。

14.根据权利要求8所述的图像解码方法，

所述图像解码方法还包括有效化步骤，

在所述有效化步骤中，以接收到由图像编码装置发送的、表示已使基于所述二维排列的变换系数的扫描顺序的确定有效之意的信号为触发，使由所述逆扫描顺序确定步骤进行的逆扫描顺序的确定有效。

15.一种按照块单位对图像进行编码的图像编码装置，该图像编码装置具有：

变换部，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；

扫描顺序确定部，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；

扫描部，按照所述扫描顺序依次扫描所述二维排列的变换系数，由此生成一维排列的变换系数序列；以及

编码器，对所述一维排列的变换系数序列进行编码。

16.一种按照块单位对图像进行解码的图像解码装置，该图像解码装置具有：

解码器，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；

确定部，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；

块形成部，按照逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及

变换部，将所述二维排列的变换系数逆变换为二维排列的像素值。

17.一种按照块单位对图像进行编码的集成电路，该集成电路具有：

变换部，将编码对象块中的二维排列的像素值变换为二维排列的变换系数；

扫描顺序确定部，根据所述二维排列的变换系数，确定用于扫描所述二维排列的变换系数的扫描顺序；

扫描部，按照所述扫描顺序依次扫描所述二维排列的变换系数，生成一维排列的变换系数序列；以及

编码器，对所述一维排列的变换系数序列进行编码。

18.一种按照块单位对图像进行解码的集成电路，该集成电路具有：

解码器，对与解码对象块对应的已被编码的一维排列的变换系数序列进行解码；

确定部，根据已被解码的所述一维排列的变换系数序列，确定用于将所述一维排列的变换系数序列逆扫描为二维排列的变换系数的逆扫描顺序；

块形成部，按照逆扫描顺序依次逆扫描所述一维排列的变换系数序列，由此生成所述二维排列的变换系数；以及

变换部，将所述二维排列的变换系数逆变换为二维排列的像素值。

19.一种程序，使计算机执行权利要求1所述的图像编码方法中包含的步骤。

20.一种程序，使计算机执行权利要求8所述的图像解码方法中包含的步骤。

Images