CN102714716A

CN102714716A - 图像处理设备和方法

Info

Publication number: CN102714716A
Application number: CN2010800457587A
Authority: CN
Inventors: 近藤健治; 田中润一
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-08-19
Filing date: 2010-08-10
Publication date: 2012-10-03
Anticipated expiration: 2030-08-10
Also published as: TW201112772A; MX2012001822A; KR101783575B1; CA2769732C; JP2011044781A; CN106028036A; EP2469856A1; KR20160138585A; IN2012DN01240A; US10911786B2; CN109951708B; AU2016203618B2; US20120140820A1; TWI401969B; US20200169758A1; CA2994002A1; EP2469856A4; AU2010285760B9; AU2016203618A1; KR20170113706A

Abstract

本发明涉及能够抑制编码效率的降低的图像处理设备和方法。控制信息附加单元184把保持在控制信息保持单元183中的一个画面的控制信息，嵌入保持在编码数据保持单元182中的编码数据中的预定切片的切片头部中。例如，控制信息附加单元184把一个画面的控制信息嵌入编码数据中的待处理帧中的最先传送切片的切片头部中。控制信息附加单元184按照预定顺序，输出已被附加控制信息的编码数据。本发明可适用于例如图像处理设备。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和方法，具体地说，本发明涉及能够抑制由编码或解码时的滤波处理的局部控制引起的编码效率的降低的图像处理设备和方法。

背景技术

近年来，遵守MPEG(运动图像专家组)之类格式的设备已普遍用于诸如广播之类的信息传送和普通家庭中的信息接收，所述设备以数字信号的形式处理图像信息，同时利用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿压缩图像，以便进行高效信息传输和存储。

特别地，MPEG-2(ISO(国际标准化组织)/IEC(国际电工技术委员会)13818-2)被定义为一种通用图像编码格式，是网罗隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准，现在已被专业用途和消费用途的各种各样应用普遍采用。通过采用MPEG-2压缩格式，例如在720×480像素标准分辨率的隔行扫描图像的情况下，分配4～8Mbps的代码量(比特率)。另外，通过采用MPEG-2压缩格式，例如在1920×1088像素高分辨率的隔行扫描图像的情况下，分配18～22Mbps的代码量(比特率)，从而能够实现高压缩比和良好的图像质量。

MPEG-2主要以适合于广播用途的高图像质量编码为目标，不过它不处理比MEPG1的代码量低的代码量(比特率)，即，具有较高压缩比的编码格式。随着个人数字助手的普及，预期今后对这种编码格式的需要会增长，为了对付这种情况，进行了MEPG4编码格式的标准化。就图像编码格式来说，其规范在1998年12月以ISO/IEC 14496-2的形式，被确认为国际标准。

此外近年来，最初预定用于视频会议用图像编码的称为H.26L(ITU-T(ITU电信标准化部门)Q6/16 VCEG(视频编码专家组))的标准的标准化已推进。就H.26L来说，已知与诸如MPEG2或MPEG4之类常规编码格式相比，尽管H.26L的编码和解码需要更大的计算量，不过能够获得更高的编码效率。另外目前，作为MPEG4活动的一部分，以增强压缩视频编码的联合模型的形式，进行了以H.26L为基础、还利用H.26L不支持的功能，从而实现更高编码效率的标准化。按照标准化的时间表，在2003年5月，H.264和MPEG-4 Part 10(AVC(高级视频编码))成为国际标准。

另外，作为最近研究的下一代视频编码技术，存在自适应环路滤波(ALF(自适应环路滤波))(例如，参见NPL 1)。按照这种自适应环路滤波，每一帧进行最佳滤波处理，能够减少未在解块滤波器完全消除的块噪声，和由量化引起的噪声。

不过，由于图像通常局部具有各种特征，因此最佳滤波系数也局部不同。就在NPL 1中描述的方法来说，对一帧内的所有像素应用相同的滤波系数，从而整帧的图像质量得到改善，不过一直有可能存在局部恶化的顾虑。

因此，设想了在图像质量局部恶化的区域中不进行滤波处理(例如，参见NPL 2和NPL 3)。这种情况下，图像编码设备使无间隙排列的多个控制块(好像所述多个控制块用于铺设似的)对应于图像的区域，并且控制对于每个控制块，是否对图像进行滤波处理。图像编码设备为每个块设定标记信息，并按照标记信息进行自适应滤波处理。按照相同的方式，图像解码设备也根据标记信息进行自适应滤波处理。

这种情况下，诸如控制块大小、各个控制块的标记信息、以及自适应滤波处理的滤波系数信息和滤波器TAP的数目等的控制信息(ALF控制信息)需要被包括在编码数据中，以便能够执行当解码时要进行的与编码时的自适应滤波处理相同的自适应滤波处理。

这里的ALF控制信息常常随着每个画面而变化，从而一般的想法是包括在图像参数集(PPS(画面参数集))或者序列参数集(SPS(序列参数集))中。不过，当把ALF控制信息包括在这些PPS和SPS中时，诸如pic_order_present_flag，num_ref_idx_10_active_minus1，profile_idc和level_idc之类的ALF可在图像压缩信息中包括不必要的比特，因为附加了无直接相关性的信息，从而由于其开销而降低编码效率。

另外，即使在创建独立的NAL(网络提取层)单元和消除上述不必要信息的情况下，仍然需要起始码，nal_ref_idc和nal_unit_type，从而其开销会降低编码效率。

为了避免这样的问题，提出了把ALF控制信息包括在切片头部中(例如，参见NPL4)。另外，还提出了把指示ALF控制信息的位置的指针信息，而不是把ALF控制信息放置在切片头部中的方法(例如，参见NPL 5)。

引用列表

非专利文献

NPL 1：Yi-Jen Chiu和L.Xu，“Adaptive(Wiener)Filter forVideo Compression”，ITU-T SG16 Contribution，C437，Geneva，April2008。

NPL 2：Takeshi.Chujoh等，“Block-based Adaptive LoopFilter”，ITU-T SG16 Q6 VCEG Contribution，AI18，Germany，July，2008。

NPL 3：T.Chujoh，N.Wada和G.Yasuda，“Quadtree-basedAdaptive Loop Filter”，ITU-T SG16 Q6 VCEG Contribution，VCEG-AK22(r1)，Japan，April，2009。

NPL 4：Takeshi.Chujoh等，“Improvement of Block-basedAdaptive Loop Filter”，ITU-T SG16 Q6 VCEG Contribution，AJ13，San Diego，October，2008。

NPL 5：Yu-Wen Huang等，“Adaptive Quadtree-based Multi-reference Loop Filter”，ITU-T SG16 Q6 VCEG Contribution，AK24，Yokohama Japan，April，2009。

发明内容

现在，存在一种把一帧分成多个切片，并对每个这样的切片进行图像的编码处理和解码处理的方法(多切片方法)。把帧分成多个切片区域是一种在传送期间，提高图像控制信息的抗差错性的有效方法。

但是，NPL 2～NPL 5只说明了仅仅对整个一帧设定块，并生成和传送所有块的标记信息，从而没有说明在这种多切片情况下的标记信息的处理，不清楚如何生成和使用标记信息。

因而，就在非专利文献中说明的方法来说，图像编码设备为每个切片生成帧内的所有块的标记信息，存在编码效率可能因不必要的标记信息等而降低的担心。

另外，如上所述，NPL 4提出把ALF控制信息包括在切片头部中，不过在多切片的情况下，就把关于每个切片生成的ALF控制信息包括在编码数据的每个切片头部中的方案来说，一直有在多个ALF控制信息之间，会出现具有冗余内容的部分的担心。即，一直有会不必要地降低编码效率的担心。

就如在NPL 5中描述的把指针放置在切片头部中的情况来说同样如此，因为要是把指针放置在多个切片头部中，那么这意味在编码数据中包括冗余信息，从而一直有会不必要地降低编码效率的担心。

鉴于这种情况，提出了本发明，本发明的目的是抑制由编码或解码时的滤波处理的局部控制引起的编码效率的降低。

本发明的一个方面是一种图像处理设备，包括：控制信息生成装置，所述控制信息生成装置被配置成生成滤波控制信息，以便为控制块的每个区域控制对图像局部进行的滤波处理；滤波装置，所述滤波装置被配置成按照控制信息生成装置生成的滤波控制信息，对图像进行滤波处理；和控制信息附加装置，所述控制信息附加装置被配置成向图像已被编码的编码数据的每个预定数据增量的头部信息附加对应于所述头部信息所属于的帧的多个数据增量的所述滤波控制信息。

控制信息附加装置可把滤波控制信息附加到帧的最先传送的数据增量的头部信息中。

控制信息附加装置可把滤波控制信息附加到位于帧的开始的数据增量的头部信息中。

控制信息附加装置可把对应于整个帧的滤波控制信息附加到所述头部信息中。

控制信息附加装置可向帧内的多个头部信息中的每个头部信息附加与彼此不同的多个数据增量对应的滤波控制信息。

图像处理设备还包括设定装置，所述设定装置被配置成设定帧内的将被附加滤波控制信息的头部信息的数目。

控制信息附加装置可向头部信息附加指针，所述指针指示附加到编码数据中的滤波控制信息的位置。

所述数据增量可以是切片，在帧内形成多个所述切片。

控制信息可包括滤波处理的滤波系数、指示控制块的区域的大小的块大小、和指示是否对控制块的每个区域进行滤波处理的标记。

图像处理设备还包括编码装置，所述编码装置被配置成对利用已由滤波装置进行滤波处理的图像生成的图像编码，而控制信息附加装置把滤波控制信息附加到在编码装置，通过编码生成的编码数据的头部信息中。

本发明的另一方面是一种图像处理方法，其中图像处理设备的控制信息生成装置生成滤波控制信息，以便为控制块的每个区域控制对图像局部进行的滤波处理，图像处理设备的滤波装置按照生成的滤波控制信息，对图像进行滤波处理，图像处理设备的控制信息附加装置向图像已被编码的编码数据的每个预定数据增量的头部信息附加对应于所述头部信息所属于的帧的多个数据增量的所述滤波控制信息。

本发明的另一方面是一种图像处理设备，包括：控制信息提取装置，所述控制信息提取装置被配置成提取滤波控制信息，所述滤波控制信息附加到图像已被编码的编码数据的每个预定数据增量的头部信息中，以便控制对控制块的每个区域的图像局部进行的滤波处理，并且对应于多个数据增量；和滤波装置，所述滤波装置被配置成按照控制信息提取装置提取的滤波控制信息，对编码数据已被解码的图像进行滤波处理。

图像处理设备还包括解码装置，所述解码装置被配置成对编码数据解码，而滤波装置对通过用解码装置解码编码数据而获得的图像进行滤波处理。

本发明的另一个方面是一种图像处理方法，其中图像处理设备的控制信息提取装置提取滤波控制信息，所述滤波控制信息附加到图像已被编码的编码数据的每个预定数据增量的头部信息中，以便控制对控制块的每个区域的图像局部进行的滤波处理，并且对应于多个数据增量，和图像处理设备的滤波装置按照提取的滤波控制信息，对编码数据已被解码的图像进行滤波处理。

按照本发明的一个方面，生成滤波控制信息，以便为控制块的每个区域控制对图像局部进行的滤波处理，遵守生成的滤波控制信息对图像进行滤波处理，与所述头部信息所属于的帧的多个数据增量对应的滤波控制信息被附加到其图像已被编码的编码数据的每个预定数据增量的头部信息中。

按照本发明的另一个方面，提取滤波控制信息，所述滤波控制信息附加到其图像已被编码的编码数据的每个预定数据增量的头部信息中，以便控制控制块的每个区域的对图像局部进行的滤波处理，并且对应于多个数据增量，遵守控制信息提取装置提取的滤波控制信息，对编码数据已被解码的图像进行滤波处理。

本发明的有益效果

按照本发明，图像能够被编码或解码。特别地，能够进一步抑制由编码或解码时的滤波处理的局部控制引起的编码效率的降低。例如，即使当在图像的每一帧被分成多个切片的情况下进行编码或解码时，也能够抑制编码效率的降低。

附图说明

图1是图解说明应用本发明的图像编码设备的主要结构例子的方框图。

图2是说明可变块大小运动预测/补偿处理的示图。

图3是图解说明控制信息生成单元的主要结构例子的方框图。

图4是说明ALF块和滤波块标记的示图。

图5是说明多切片的一个例子的示图。

图6是说明切片0的处理的示图。

图7是说明切片1的处理的示图。

图8是说明对其应用本发明的切片1的处理的示图。

图9是图解说明自适应滤波处理单元的主要结构例子的方框图。

图10是图解说明无损编码单元的主要结构例子的方框图。

图11是说明把控制信息包括在传送的第一个切片的头部中的情形的示图。

图12是图解说明切片头部语法的例子的示图。

图13是说明编码处理的流程的例子的流程图。

图14是说明控制信息生成处理的流程的例子的流程图。

图15是说明块信息生成处理的流程的例子的流程图。

图16是说明自适应滤波处理的流程的例子的流程图。

图17是说明无损编码处理的流程的例子的流程图。

图18是图解说明应用本发明的图像解码设备的主要结构例子的方框图。

图19是图解说明无损解码单元的主要结构例子的方框图。

图20是说明解码处理的流程的例子的流程图。

图21是说明无损解码处理的流程的例子的流程图。

图22是说明把控制信息包括在起始切片的头部中的情形的示图。

图23是说明无损编码处理的流程的另一个例子的流程图。

图24是说明无损解码单元的另一个结构例子的方框图。

图25是说明无损解码处理的流程的另一个例子的流程图。

图26是说明把控制信息包括在任意切片的头部中的情形的示图。

图27是说明无损编码处理的流程的另一个例子的流程图。

图28是说明无损解码处理的流程的另一个例子的流程图。

图29是说明把指针包含在切片的头部中的情形的示图。

图30是说明无损编码处理的流程的另一个例子的流程图。

图31是说明无损解码处理的流程的另一个例子的流程图。

图32是说明把控制信息包含在按组组装的切片头部中的情形的示图。

图33是图解说明无损编码处理的流程的另一个例子的流程图。

图34是图解说明无损编码单元的另一个结构例子的方框图。

图35是图解说明无损编码处理的流程的另一个例子的流程图。

图36是图解说明无损解码单元的另一个结构例子的方框图。

图37是图解说明无损解码处理的流程的另一个例子的流程图。

图38是图解说明无损编码单元的另一个结构例子的方框图。

图39是图解说明无损编码处理的流程的另一个例子的流程图。

图40是图解说明无损解码单元的另一个结构例子的方框图。

图41是图解说明无损解码处理的流程的另一个例子的流程图。

图42是图解说明ALF块和滤波块标记的另一个例子的示图。

图43是图解说明ALF块和滤波块标记的另一个例子的示图。

图44是图解说明在多切片的情况下，进行处理的方式的示图。

图45是图解说明应用本发明的个人计算机的主要结构例子的方框图。

图46是图解说明应用本发明的电视接收机的主要结构例子的方框图。

图47是图解说明应用本发明的蜂窝电话机的主要结构例子的方框图。

图48是图解说明应用本发明的硬盘记录器的主要结构例子的方框图。

图49是图解说明应用本发明的照相机的主要结构例子的方框图。

图50是图解说明宏块的例子的示图。

具体实施方式

下面说明本发明的实施例(下面称为“实施例”)。注意将按照下述顺序进行说明。

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(把控制信息包括在起始切片的头部中的例子)

4.第四实施例(把控制信息包括在可选切片的头部中的例子)

5.第五实施例(利用指针的例子)

6.第六实施例(把控制信息组装在多个组中的例子)

7.第七实施例(控制组的数目的例子)

8.第八实施例(按要素独立分组的例子)

9.第九实施例(QALF)

10.第十实施例(个人计算机)

11.第十一实施例(电视接收机)

12.第十一实施例(蜂窝电话机)

13.第十三实施例(硬盘记录器)

14.第十四实施例(照相机)

<1.第一实施例>

[设备的结构]

图1表示充当应用本发明的图像处理设备的图像编码设备的实施例的结构。

图1中所示的图像编码设备100是利用例如H.264和MPEG-4Part 10(高级视频编码)(下面称为H.264/AVC)格式对图像进行压缩编码，并且还采用自适应环路滤波的编码设备。

就图1中的例子来说，图像编码设备100具有A/D(模/数)转换单元101，屏幕重排缓冲器102，计算单元103，正交变换单元104，量化单元105，无损编码单元106，和存储缓冲器107。图像编码设备100还具有反量化单元108，反正交变换单元109，计算单元110，和解块滤波器111。此外，图像编码设备100具有控制信息生成单元112，自适应滤波处理单元113，和帧存储器114。另外，图像编码设备100具有帧内预测单元115，运动补偿单元116，运动预测单元117，和预测图像选择单元118。此外，图像编码设备100具有速率控制单元119。

A/D转换单元101对输入图像数据进行A/D转换，然后输出给屏幕重排缓冲器102并保存。屏幕重排缓冲器102按照GOP(画面组)结构，把按照保存的显示顺序的各帧的图像重排成用于编码的各帧的顺序。

计算单元103从读取自屏幕重排缓冲器102的图像中减去来自由预测图像选择单元118选择的帧内预测单元115的预测图像，或者来自运动补偿单元116的预测图像，并把差值信息输出给正交变换单元104。正交变换单元104对来自计算单元103的差值信息进行正交变换，比如离散余弦变换，Karhunen Loéve变换等，并输出变换系数。量化单元105量化正交变换单元104输出的变换系数。

作为量化单元105的输出的量化的变换系数被输入无损编码单元106。无损编码单元106对量化的变换系数进行诸如变长编码，算术编码之类的无损编码。

无损编码单元106从帧内预测单元115获得指示帧内预测的信息等，并从运动预测单元117获得指示帧间预测模式的信息等。注意，指示帧内预测的信息下面也被称为帧内预测模式信息。另外，指示帧间预测模式的信息下面也被称为帧间预测模式信息。

无损编码单元106另外从控制信息生成单元112获得在自适应滤波处理单元113进行的自适应滤波处理的控制信息。

无损编码单元106对量化的变换系数编码，还把自适应滤波处理的控制信息，指示帧内预测的信息，指示帧间预测模式的信息，量化参数等作为编码数据的头部信息的一部分(复用)。无损编码单元106把通过编码获得的编码数据提供给存储缓冲器107，以便存储。

例如，借助无损编码单元106，进行无损编码处理，比如变长编码，算术编码等。变长编码的例子包括由H.264/AVC格式确定的CAVLC(上下文自适应变长编码)。算术编码的例子包括CABAC(上下文自适应二进制算术编码)。

存储缓冲器107临时保存从无损编码单元106供给的数据，并在预定时刻将其输出给图中未示出的下游的存储设备，或传输路径等，作为用H.264/AVC格式编码的编码图像。

另外，从量化单元105输出的量化的变换系数还被输入反量化单元108。反量化单元108用与在量化单元105的量化对应的方法，进行量化的变换系数的反量化，然后把获得的变换系数提供给反正交变换单元109。

反正交变换单元109用与正交变换单元104的正交变换处理对应的方法，对供给的变换系数进行反正交变换。经过反正交变换的输出被提供给计算单元110。计算单元110相加从预测图像选择单元118供给的预测图像，和从反正交变换单元109供给的反正交变换的结果，即恢复的差值信息，从而获得局部解码的图像(解码图像)。相加结果被提供给解块滤波器111。

解块滤波器111从解码图像中消除块噪声。解块滤波器111随后把把消噪结果提供给控制信息生成单元112和自适应滤波处理单元113。

控制信息生成单元112获得从解块滤波器111供给的解码图像，和从屏幕重排缓冲器102读出的当前输入图像，然后据此生成将在自适应滤波处理单元113进行的自适应滤波的控制信息。尽管细节将在后面说明，不过控制信息包括滤波系数，块大小，滤波块标记，等等。

控制信息生成单元112把生成的控制信息提供给自适应滤波处理单元113。控制信息生成单元112还把生成的控制信息提供给无损编码单元106。如上所述，控制信息由无损编码单元106包含在编码数据中(被复用)。即，控制信息连同编码数据一起被发送给图像解码设备。

自适应滤波处理单元113利用从控制信息生成单元112供给的控制信息的滤波系数，块大小规格，滤波块标记等等，对从解块滤波器111供给的解码图像进行滤波处理。例如，Wiener滤波器被用作该滤波器。当然，也可以使用除Wiener滤波器外的滤波器。自适应滤波处理单元113把滤波处理结果提供给帧存储器114，并保存为参考图像。

帧存储器114在预定时刻，把保存的参考图像输出给运动补偿单元116和运动预测单元117。

就图像编码设备100来说，例如，来自屏幕重排缓冲器102的I画面，B画面和P画面作为将经历帧内预测(也称为帧内处理)的图像被提供给帧内预测单元115。另外，从屏幕重排缓冲器102读出的B画面和P画面作为将经历帧间预测(也称为帧间处理)的图像被提供给运动预测单元117。

帧内预测单元115根据从屏幕重排缓冲器102读出的将经历帧内预测的图像，和从帧存储器114供给的参考图像，进行所有候选帧内预测模式的帧内预测处理，从而生成预测图像。

就帧内预测单元115来说，与应用于当前块/宏块的帧内预测模式相关的信息被传给无损编码单元106，并作为头部信息的一部分被包含在编码数据中。就H.264图像信息编码格式来说，对亮度信号定义帧内4×4预测模式，帧内8×8预测模式，和帧内16×16预测模式，另外对于色差信号，可独立于亮度信号、为每个宏块定义预测模式。对帧内4×4预测模式来说，为每个4×4亮度块定义一种帧内预定模式。对帧内8×8预测模式来说，为每个8×8亮度块定义一种帧内预测模式。对帧内16×16预测模式和色差信号来说，为每个宏块定义一种预测模式。

帧内预测单元115计算已生成预测图像的帧内预测模式的成本函数值，并选择计算的成本函数值得出最小值的帧内预测模式，作为最佳帧内预测模式。帧内预测单元115把按最佳帧内预测模式生成的预测图像提供给预测图像选择单元118。

对于将经历帧间编码的图像，运动预测单元117获得从屏幕重排缓冲器102供给的图像信息(输入图像)，和充当与从帧存储器114供给的参考帧的图像信息(解码图像)，并计算运动向量。运动预测单元117把指示计算的运动向量的运动向量信息提供给无损编码单元106。运动向量信息由无损编码单元106包含在编码数据中(被复用)。即，运动向量信息连同编码数据一起被发送给图像解码设备。

另外，运动预测单元117也把运动向量信息提供给运动补偿单元116。

运动补偿单元116按照从运动预测单元117供给的运动向量信息，进行运动补偿处理，从而生成帧间预测图像信息。运动补偿单元116把生成的预测图像信息提供给预测图像选择单元118。

就用于进行帧内编码的图像来说，预测图像选择单元118把帧内预测单元115的输出提供给计算单元103，就用于进行帧间编码的图像来说，预测图像选择单元118把运动补偿单元116的输出提供给计算单元103。

速率控制单元119根据保存在存储缓冲器107中的压缩图像，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。

就MPEG(运动图像专家组)2来说，运动预测/补偿处理的增量是运动补偿块，在每个运动补偿块可保持独立的运动向量信息。就帧运动补偿模式来说，运动补偿块的大小为16×16像素，就场运动补偿模式来说，对第一场和第二场来说，运动补偿块的大小均为16×8像素。

另一方面，就AVC(高级视频编码)来说，如在图2中的上部所示，由16×16像素构成的一个宏块可被分成16×16，16×8，8×16或8×8像素分区任意之一，每个分区保持独立的运动向量信息。另外，如在图2中的下部所示，8×8分区可被分成8×8，8×4，4×8或4×4子分区任意之一，每个子分区保持独立的运动向量信息。以该运动补偿块作为增量，进行运动预测/补偿处理。

图3是图解说明控制信息生成单元112的主要结构例子的方框图。

如上所述，控制信息生成单元112生成在自适应滤波器(ALF(自适应环路滤波))使用的控制信息，自适应环路滤波(ALF)是在自适应滤波处理单元113执行的环路滤波器。例如，控制信息生成单元112例如生成滤波系数，ALF块大小和滤波块标记作为控制信息。

控制信息生成单元112具有滤波系数计算单元131和块信息生成单元132。

滤波系数计算单元131获得从解块滤波器111供给的解码图像，和从屏幕重排缓冲器102读出的当前输入图像，并计算每一帧的ALF滤波系数。从而对于每一帧，计算ALF滤波系数。

块信息生成单元132生成诸如ALF块大小，滤波块标记之类的块信息。例如，块信息生成单元132根据从解块滤波器111供给的解码图像，和滤波系数计算单元131计算的滤波系数，确定ALF块大小。另外，例如，块信息生成单元132生成待处理的切片内的每个ALF块的滤波块标记。

现在，将说明块信息的ALF块和滤波块标记。图4是说明ALF块和滤波块标记的示图。

如上所述，自适应滤波具有对每一帧设置的滤波系数。即，以帧为增量进行最佳滤波处理。不过，帧图像通常并不完全均匀，局部具有各种特征。于是，最佳滤波系数局部不同。因而，尽管利用如上所述每一帧确定的滤波系数的滤波处理改善了整帧的图像质量，不过一直存在图像质量事实上会局部恶化的顾虑。

因而，设想在图像质量局部恶化的区域中，不进行滤波处理的BALF(基于块的自适应环路滤波)。

在图4的A中的帧151中，表示了解块滤波处理之后的解码图像。如图4的B中所示，块信息生成单元132无间隙地排列多个ALF块152，好像所述多个ALF块152用于铺设帧151的整个区域似的，所述多个ALF块152是充当局部进行的自适应滤波处理的控制的增量的控制块。放置ALF块152的区域不必与帧151的区域相同，不过至少包括帧151的整个区域。结果，帧151的区域被ALF块152的区域(多个控制区域)分割。

块信息生成单元132确定ALF块152的水平方向的大小(双箭头153)，和垂直方向的大小(双箭头154)。就ALF块的大小来说，例如，对于每个切片可以指定8×8，16×16，24×24，32×32，48×48，64×64，96×96或128×128之一。注意，指定ALF块的大小的信息被称为块大小指标。

一旦确定了块大小，就确定了每帧的ALF块的数目，因为帧大小是固定的。

如图4的C中所示，块信息生成单元132在每个ALF块152中，设置控制是否进行滤波处理的滤波块标记155。例如，就其中图像质量因自适应滤波而改善的区域来说，生成具有值“1”的滤波块标记155，而就其中图像质量因自适应滤波而恶化的区域来说，生成具有值“0”的滤波块标记155。就滤波块标记155来说，值“1”指示要进行滤波处理，值“0”指示不进行滤波处理。

自适应滤波处理单元113根据滤波块标记155的值，控制自适应滤波处理。例如，自适应滤波处理单元113只在其中ALF块152具有值为“1”的滤波块标记155的区域进行滤波处理，对其中ALF块152具有值为“0”的滤波块标记155的区域不进行滤波处理。

另外，上面说明的块大小指标和滤波块标记被包括在编码数据的切片头部中，并从图像编码设备100发送给图像解码设备。例如，与ALF块的数目相应的一个或多个滤波块标记按照光栅扫描的顺序，被包含在切片头部中。

因而，ALF块的大小越小，能够实现越精细的滤波控制，从而能够进行更适当的ALF滤波。不过，较小的ALF块大小会增大滤波块标记的比特量。即，ALF块的大小越小，编码数据的编码效率越降低。从而，自适应滤波的性能和编码数据的编码效率是一种折衷关系。

ALF块的数目用下述表达式(1)计算。

[数学表达式1]

N_{ALFBLOCK} = floor [\frac{16 \times N_{MBw} + N_{SIZE} - 1}{N_{SIZE}}] \times floor [\frac{16 \times N_{MBh} + N_{SIZE} - 1}{N_{SIZE}}] \cdot \cdot \cdot (1)

在表达式(1)中，N_ALFBLOCK表示ALF块的数目。另外，N_MBw表示在画面的水平方向的宏块的数目，N_MBh表示在画面的垂直方向的宏块的数目。此外，N_SIZE表示ALF块的一边的大小。另外，floor[x]是通过舍入x的小数位而得到整数的函数。

现在，就H.264/AVC来说，一帧可被分成多个切片，对于每个切片输出编码数据。图5是说明多切片的一个例子的示图。就图5中的例子来说，帧151被分成三个切片，即，切片0、切片1和切片2。

把帧分成多个切片区域是一种在图像压缩信息的传送期间，提高抗差错性的有效方法。

说明BALF的NPL 2并没有公开这种多切片。即，只说明了对整个帧设定ALF块。如上所述，ALF块是对整个帧设定的。即，对每个切片设定整个帧的ALF块，存在可能设定在切片区域之外的不必要的ALF块的顾虑。

例如，在图5中所示的切片结构的例子中，在如在图6的A中所示处理切片0的情况下，对于在框架161中所示的切片0，设置整个帧151的ALF块152，如在图6的B中所示。

类似地，在图5中所示的切片结构的例子中，在如在图7的A中所示处理切片1的情况下，对于用框架162指示的切片1区域，设置整个帧151的ALF块152，如在图7的B中所示。

在图6的B和图7的B的阴影区中所示的ALF块152是在切片0或切片1区域之外的块，对于切片0或切片1区域的处理来说，是不必要的块。

对这样的块设定这样的不必要块或标记是不相关的处理。从而，为了避免不必要地增加处理，图3中所示的控制信息生成单元112的块信息生成单元132只生成包括待处理的切片区的ALF块和滤波块标记。

例如，在图5中所示的切片结构例子中，在如在图8的A中所示处理切片1的情况下，对于在框架162中所示的切片1的区域，块信息生成单元132只设定包括在其区域中的ALF块152，如在图8的B中所示，并且只为所述ALF块152生成滤波块标记。

返回图3，块信息生成单元132具有处理对象切片区域识别单元141，ALF块设定单元142，处理对象ALF块区域识别单元143，确定单元144，和滤波块标记生成单元145。

处理对象切片区域识别单元141识别作为解码图像供给的待处理切片的区域在整个帧内的位置。

ALF块设定单元142确定ALF块大小，并在整个帧中设定ALF块152。从而，还识别整个帧中的ALF块的数目。

处理对象ALF块区域识别单元143从由ALF块设定单元142设定的每个ALF块152中，选择一个待处理的ALF块，并识别选择的待处理ALF块的区域的位置。

确定单元144确定待处理的ALF块的区域是否包括待处理切片的区域。滤波块标记生成单元145生成已被确定单元144确定为“包括待处理切片的区域”的ALF块的滤波块标记。滤波块标记生成单元145利用滤波系数计算单元131计算的滤波系数，对待处理ALF块的区域进行自适应滤波处理，并取决于与处理前相比滤波处理结果的图像质量是否得到改善，确定滤波块标记的值。

滤波块标记生成单元145输出诸如滤波块标记和ALF块大小之类的控制信息。

图9是表示图1中的自适应滤波处理单元113的主要结构例子的方框图。

自适应滤波处理单元113利用从控制信息生成单元112供给的控制信息，对从解块滤波器111供给的解码图像进行滤波处理。

如图9中所示，自适应滤波处理单元113具有控制单元171，自适应滤波器172和选择单元173。

控制单元171控制自适应滤波器172和选择单元173。例如，控制单元171从控制信息生成单元112获得控制信息。另外，控制单元171把包括在获得的控制信息中的滤波系数提供给自适应滤波器172，从而设定滤波系数。此外，控制单元171根据包括在控制信息中的ALF块大小，识别待处理的ALF块的区域的位置。另外，控制单元171根据包含在控制信息中的滤波块标记的值，控制自适应滤波器172，并在控制选择单元173的操作时，酌情对每个ALF块区域进行滤波处理。

自适应滤波器172利用控制单元171设定的滤波系数，对从解块滤波器111供给的解码图像的、由控制单元171指定为待处理ALF块的区域进行滤波处理。自适应滤波器172把滤波处理的结果提供给选择单元173。

选择单元173由控制单元171控制，以选择从解块滤波器111供给的解码图像(未进行自适应滤波处理的解码图像)和从自适应滤波器172供给的解码图像(已进行自适应滤波处理的解码图像)中的一个或另一个，并把选择的解码图像提供给帧存储器114，并将其保存为参考图像。

即，自适应滤波处理单元113只对从解块滤波器111供给的解码图像的其中滤波块标记指示进行滤波处理的区域(被确定为通过滤波处理而具有改善的图像质量的区域)进行滤波处理。

图10是表示图1中的无损编码单元106的主要结构例子的方框图。

如上所述，在把从控制信息生成单元112供给的控制信息嵌入(写入)编码数据的切片头部中的时候，无损编码单元106对从量化单元105供给的量化的系数数据进行无损编码，并生成编码数据。此时，无损编码单元106编译画面(帧)内的每个切片的控制信息，把一个画面(一帧)的控制信息嵌入一个切片头部中。从而，无损编码单元106能够删除每个切片的控制信息之间的重叠部分(冗余部分)，并嵌入切片头部中。从而，与把每个切片的控制信息分别嵌入编码数据中的情况相比，无损编码单元106能够更多地提高编码数据的编码效率。

无损编码单元106具有编码单元181，编码数据保持单元182，控制信息保持单元183，和控制信息附加单元184，如图10中所示。

编码单元181对每个切片的图像数据(量化的系数数据)进行无损编码，从而生成编码数据。每个切片的编码数据被保持在编码数据保持单元182中。编码数据保持单元182能够保持至少一个画面的编码数据。

控制信息保持单元183获得并保持由控制信息生成单元112生成的每个切片的控制信息。控制信息保持单元183能够保持至少一个画面的控制信息。控制信息附加单元184把保持在控制信息保持单元183中的控制信息嵌入保持在编码数据保持单元182中的编码数据的，在画面内最先输出的切片的头部信息中，随后提供给存储缓冲器107。

此时，控制信息附加单元184编译保持在控制信息保持单元183中的待处理画面的控制信息，删除冗余部分，生成一个画面的控制信息，随后将其嵌入编码数据的切片头部中。

例如，如图11中所示，帧151由切片0，切片1和切片2构成，借助控制信息生成单元112，关于切片0生成控制信息191-1，关于切片1生成控制信息191-2，和关于切片2生成控制信息191-3。

另外，编码数据194是按照切片1，切片0和切片2的顺序输出的。即，按照切片1头部192-1，切片1数据193-1，切片0头部192-2，切片0数据193-2，切片2头部192-3，切片2数据193-3的顺序输出编码数据194。

此时，控制信息附加单元184把帧151的控制信息191-1～控制信息191-3都嵌入作为首先输出的切片1的头部(切片头部)的切片1头部192-1中。此时，控制信息附加单元184编译控制信息191-1～控制信息191-3，删除冗余部分，生成与整个帧151对应的(一个画面的)控制信息191(未示出)，然后把控制信息191嵌入切片1头部192-1中。

控制信息附加单元184按照诸如在图12的A和图12的B中所示的语法之类的语法，把控制信息嵌入切片头部中。图12中的A表示切片头部语法的一个例子，图12中的B表示一部分控制信息的语法的例子。如图12中的B中所示，控制信息附加单元184把帧151的所有控制块的滤波块标记嵌入一个切片头部中。

[处理流程]

下面说明使用如上构成的各个部分的处理的流程。首先，参考图13中的流程图，说明由图像编码设备100进行的编码处理的流程的例子。

在步骤S101，A/D转换单元101把输入图像从模拟转换成数字。在步骤S102，屏幕重排缓冲器102保存A/D转换后的图像，并进行从显示画面的序列到编码序列的重排。

在步骤S103，计算单元103计算由步骤S102中的处理重排的图像和预测图像之间的差值。在进行帧间预测的情况下，预测图像从运动补偿单元116经预测图像选择单元118被提供给计算单元103，而在进行帧内预测的情况下，预测图像从帧内预测单元115经预测图像选择单元118被提供给计算单元103。

与初始图像数据相比，差值数据数据量较少。因而，与原样编码初始图像的情况相比，能够压缩数据量。

在步骤S104，正交变换单元104对由步骤S103中的处理生成的差值信息进行正交变换。具体地说，进行诸如离散余弦变换，KarhunenLoéve变换之类的正交变换，从而输出变换系数。在步骤S105，量化单元105量化变换系数。在所述量化的时候，控制速率，比如将说明后面说明的步骤S119的处理。

这样量化的差值信息如下被本地解码。具体地说，在步骤S106，反量化单元108用与量化单元105的特性对应的特性，对用量化单元105量化的变换系数进行反量化。在步骤S107，反正交变换单元109利用与正交变换单元104的特性对应的特性，对用反量化单元108反量化的变换系数进行反正交变换。

在步骤S108，计算单元110相加经预测图像选择单元118输入的预测图像和本地解码的差值信息，并生成本地解码图像(与计算单元103的输入对应的图像)。在步骤S109，解块滤波器111对从计算单元110输出的图像进行滤波。从而消除块噪声。

当对一个切片进行上述处理时，在步骤S110，控制信息生成单元112生成将用于自适应滤波处理的控制信息。控制信息生成处理的细节将在后面说明。

当在步骤S110中的处理生成了诸如滤波系数，ALF块大小和滤波块标记之类的控制信息时，在步骤S111，自适应滤波处理单元113利用控制信息，对经历步骤S109的处理中的解块滤波处理的解码图像进行自适应滤波处理。自适应滤波处理的细节将在后面说明。

在步骤S112，帧存储器114保存经历步骤S111中的自适应滤波处理的图像。

在步骤S113，帧内预测单元115按照帧内预测模式，进行帧内预测。在步骤S114，运动预测单元117和运动补偿单元116按照帧间预测模式，进行帧间运动预测/补偿处理。

在步骤S115，预测图像选择单元118按照待处理帧的预测模式，选择用帧内预测处理生成的预测图像或者用帧间运动预测/补偿处理生成的预测图像之一。预测图像选择单元118把选择的预测图像提供给计算算单元103和110。如上所述，预测图像被用于步骤S103和S108中的计算。

在步骤S116，无损编码单元106进行无损编码处理，以对从量化单元105输出的量化变换系数编码。具体地说，差值图像经历诸如变长编码，算术编码之类的无损编码，并被压缩。此时，无损编码单元106在切片头部中嵌入(写入)在步骤S110中生成的控制信息，步骤S113中的帧内预测处理的帧内预测模式信息，步骤S114中的帧间运动预测/补偿处理的帧间预测模式等的元数据。在图像解码的时候，所述元数据被读出和使用。无损编码处理的细节将在后面说明。

在步骤S117，存储缓冲器107保存编码数据。保存在存储缓冲器107中的编码数据被酌情读出，并通过传输路径被传给解码方。

在步骤S118，速率控制单元119根据保存在存储缓冲器107中的编码数据，控制量化单元105的量化操作的速率，以致不会发生上溢或下溢。

现在参考图14的流程图，说明在图13的步骤S110中，由控制信息生成单元112执行的控制信号生成处理的流程的例子。

当开始控制信息生成处理时，在步骤S131，控制信息生成单元112的滤波系数计算单元131利用从屏幕重排缓冲器102供给的输入图像，和从解块滤波器111供给的经过解块滤波处理的解码图像，计算滤波系数。例如，滤波系数计算单元131确定滤波系数的值，以致输入图像和解码图像之间的残差最小。

当计算了滤波系数时，在步骤S132，块信息生成单元132生成包括ALF块大小和滤波块标记的块信息。块信息生成处理的细节将在后面说明。当生成了块信息时，处理返回图13中的步骤S110，并执行步骤S111和之后的处理。

注意，可以帧为增量进行在步骤S131中进行的滤波系数的计算。这种情况下，可以只对帧内的预定切片(例如，帧内的标识号为预定值，例如(“0”)的切片，或者帧内首先被处理的切片等)进行步骤S131中的处理，同时该值被用于其它切片。另外，任意图像可被用于滤波系数的计算。例如，可根据过去的帧图像进行计算。

下面参考图15中的流程图，说明在图14的步骤S132中执行的块信息生成处理的流程的例子。

当开始块信息生成处理时，在步骤S151，处理对象切片区域识别单元141识别待处理的切片的区域。

为了知道待处理的当前切片的区域，通过知道包括在当前切片中的宏块，和知道包括在宏块中的像素，能够知道所述区域。处理对象切片区域识别单元141从切片头部获得当前切片的起始宏块地址。

现在，起始宏块地址是从屏幕的左上部开始，按照光栅扫描的顺序赋予宏块的编号。如图5中所示，图像(帧151)中左上部的宏块地址为0。切片0始于帧151的左上部，从而切片0的起始宏块156-1的宏块地址为0。按照该顺序，切片0的最终宏块156-2的宏块地址为E0。另外，按照和切片0相同的方式，切片1的起始宏块157-1的宏块地址为S1，最终宏块157-2的宏块地址为E1。此外，切片2的起始宏块158-1的宏块地址为S2，最终宏块158-2的宏块地址为E2。

当解码当前切片时，每当完成一个宏块的解码处理时，增加一个宏块地址，最终达到当前切片的最终宏块。在所述最终宏块设定指示切片的最终宏块的标记。由此，能够了解当前切片保持的所有宏块地址。即，这是从起始宏块地址到最终宏块地址。

现在，就AVC流(图像压缩信息)的序列参数集(SPS(序列参数集))来说，一帧的图像大小由宏块的数目指示。pic_height_in_map_units_minus1指示在图像的垂直方向的宏块的数目，pic_width_in_mbs_minus1指示在图像的水平方向的宏块的数目。

因而，根据宏块地址，宏块的位置用下面的表达式(2)和表达式(3)表示。

mbx＝宏块地址％pic_width_in_mbs_minus1 ...(2)

mby＝floor[宏块地址/pic_width_in_mbs_minus1] ...(3)

在表达式(2)和表达式(3)中，mbx指示宏块是从左侧开始的第几个，mby指示宏块是从上部开始的第几个。另外，floor[z]指示z在小数位被舍入，以致为整数，A％B指示用B除A获得的余数。

如果假定宏块的大小被确定为16×16像素，那么在宏块的左上部的像素的垂直方向和水平方向位置为(16×mbx，16×mby)，包括在该宏块中的像素是包括在从所述左上像素位置开始向下方向的16个像素，和向右方向的16个像素的范围中的像素。至此，能够知道当前切片的所有像素。即，待处理切片的区域被识别。

在图15的步骤S152中，ALF块设定单元142确定ALF块大小。在步骤S153，ALF块设定单元142确定帧内的ALF块的数目。由于帧的图像大小是预先确定的，因此当ALF块大小被确定时，还能够计算以帧的左上部作为原点，铺设ALF块所必需的ALF块的数目(帧内的ALF块的数目)。预先提供ALF块的垂直方向大小(像素的数目)和水平方向大小(像素的数目)的设定值，从而ALF块设定单元142按照设定值，确定ALF块的大小和ALF块的数目，并相对于解码图像放置各个ALF块。

注意，ALF块的数目用下面的表达式(4)和表达式(5)计算。

num_alf_block_x＝floor[(16×(pic_width_in_mbs_minus1+1)+(alf_block_size-1))/alf_block_size] ...(4)

num_alf_block_y＝floor[(16×(pic_height_in_map_units_minus1+1)+(alf_block_size-1))/alf_block_size] ...(5)

在表达式(4)和(5)中，num_alf_block_x和num_alf_block_y分别是包括在图像中的水平和垂直ALF块的数目。另外，alf_block_size表示ALF块的一边的大小。为了简化说明，假定ALF块是正方形。当然，可以作出其中ALF块的垂直方向大小和水平方向大小彼此不同的安排。

在步骤S154，处理对象ALF块区域识别单元143确定待处理的ALF块。在步骤S155，处理对象ALF块区域识别单元144确定待处理的ALF块的区域。

第i个ALF块的位置用下面的表达式(6)和表达式(7)表示。

alf_block_x＝i％(num_alf_block_x-1) ...(6)

alf_block_y＝floor[i/(num_alf_block_x-1)] ...(7)

在表达式(6)和表达式(7)中，alf_block_x和alf_block_y分别指示第i个ALF块是水平方向和垂直方向的哪个数字。第i个ALF块的左上部像素的位置是通过把alf_block_x和alf_block_y分别乘以alf_block_size而获得的位置。即，水平方向为16×alf_block_x，垂直方向为16×alf_block_y。因而，第i个ALF块的区域是从其左上部像素开始的alf_block_size×alf_block_size的范围。

在步骤S156，确定单元144确定待处理切片的区域是否包括在如上所述识别的待处理的ALF块的区域中。

如果确定待处理切片的区域包括在待处理的ALF块的区域中，那么流程进入步骤S157。待处理的ALF块是为待处理的切片所必需的ALF块，从而在步骤S157，滤波块标记生成单元145为该待处理的ALF块生成滤波块标记。在步骤S158，滤波块标记生成单元145输出生成的滤波块标记。

当步骤S158中的处理结束时，流程进入步骤S159。另外在步骤S156中，如果确定待处理切片的区域不包括在待处理的ALF块的区域中，那么该ALF块不是待处理切片所必需的，从而流程进入步骤S159。

在步骤S159，确定处理对象ALF块区域识别单元143是否处理了帧内的所有ALF块，如果确定还未处理所有的ALF块，那么流程返回步骤S154，设定待处理的新的ALF块，重复之后的处理。每当重复该循环处理时，处理对象ALF块区域识别单元144都按照光栅扫描顺序，从左上部的ALF块开始，每次一个地从铺设在帧区域中的ALF块组中选择ALF块，作为待处理的ALF块。

另外，如果在步骤S159中确定处理了帧内的所有ALF块，那么结束块信息生成处理，流程返回图14的步骤S132，结束控制信息生成处理，随后流程返回图13中的步骤S110，执行步骤S111和之后的处理。

注意在上面的说明中，当布置ALF块，以便铺设帧图像的区域时，帧的左上部被描述成原点，不过，所述原点的位置是可选的。例如，原点的位置可以是帧的左下部，右下部，右上部或者中心。不过，必须事先确定原点的位置和排列ALF块的方式，以便在编码处理和解码处理之间是公共的。

另外在上面的说明中，选择待处理的ALF块的顺序被描述成从左上部开始，按照光栅扫描的顺序，不过，选择顺序和开始位置是可选的。

下面参考图16的流程图，说明在图13的步骤S111中执行的自适应滤波处理的流程的例子。

当开始自适应滤波处理时，待处理切片的解码图像被提供给自适应滤波器172和选择单元173。在步骤S171，控制单元171识别待处理切片的区域。和图15的步骤S151中的处理的情况相同，控制单元171获得切片头部的相关切片的起始宏块地址，另外检测识别最终宏块的标记，把从起始宏块到最终宏块的区域识别为待处理切片的区域。

在步骤S172，控制单元171获得由控制信息生成单元112生成的滤波系数，并在自适应滤波器172中设定该滤波系数。在步骤S173，控制单元171获得由控制信息生成单元112确定的ALF块大小，并按所述ALF块大小设定(布置)ALF块，以便铺设帧的整个区域。

在步骤S174，和图15中的步骤S154的情况相同，控制单元171将这样设定的ALF块组中的未处理ALF块之一确定为待处理的ALF块。ALF块选择顺序是预先确定的，与控制信息生成单元112中的ALF块选择顺序相同。

在步骤S175，和图15中的步骤S155的情况相同，控制单元171识别确定的待处理ALF块的区域。

在步骤S176，按照和图15的步骤S156的情况相同的方式，控制单元171确定待处理切片的区域是否包含在待处理ALF块的区域内。如果确定待处理切片的区域包括在待处理ALF块的区域内，那么流程进入步骤S177。

在步骤S177，控制单元171获得由控制信息生成单元112生成的待处理ALF块的滤波块标记。控制信息生成单元112如上所述生成滤波块标记，从而实际上只提供包括待处理切片的区域的ALF块的滤波块标记。ALF块的处理顺序与控制信息生成单元112的处理顺序相同，从而滤波块标记是按照ALF块处理的顺序供给的。因而，控制单元171按照所述供给顺序获得(使用)滤波块标记，于是能够获得(使用)待处理ALF块的滤波块标记。

注意，滤波块标记的供给时刻和控制单元171获得滤波块标记的时刻不必相符。即，控制单元171可把从控制信息生成单元112供给的滤波块标记临时保存在内置缓冲器等中，然后在步骤S177的处理期间，从所述缓冲器读出滤波块标记。在这种情况下，通过把读出滤波块标记的顺序设定成从控制信息生成单元112供给的顺序，即，和在缓冲器中的保存顺序相同，控制单元171也能够获得待处理ALF块的滤波块标记。

在步骤S178，控制单元171确定滤波块标记的值是否为1。如果滤波块标记的值为1，并且发出对待处理ALF块的区域进行滤波处理的指令，那么流程进入步骤S179。在步骤S179，自适应滤波器172受控制单元171控制，从而对待处理ALF块进行滤波处理。当步骤S179中的处理结束时，流程进入步骤S180。这种情况下，在步骤S180，控制单元171控制选择单元173选择自适应滤波器172的输出，并将其输出到帧存储器114中。即，经过滤波处理的解码图像(的一部分的区域)被保存在帧存储器114中。当步骤S180中的处理结束时，流程进入步骤S181。

另外，在步骤S178，如果滤波块标记的值为0，并且发出不对待处理ALF块的区域进行滤波处理的指令，那么省略步骤S179中的处理，流程进入步骤S180。这种情况下，在步骤S180，控制单元171控制选择单元173选择解块滤波器111的输出，并将其输出给帧存储器114。即，未经历滤波处理的解码图像(的一部分的区域)被保存在帧存储器114中。当步骤S180中的处理结束时，流程进入步骤S181。

另外，当在步骤S176中确定待处理切片的区域未包含在待处理ALF块的区域中时，待处理ALF块是与待处理切片无关的ALF块，从而省略步骤S177-S180中的处理，流程进入步骤S181。

在步骤S181，控制单元171确定帧内的所有ALF块是否都已被处理。如果确定存在未处理的ALF块，那么流程返回步骤S174，对新的待处理ALF块重复之后的处理。每当重复该循环处理时，控制单元171按照光栅扫描的顺序，从左上部的ALF块开始，每次一个地从铺设在帧区域中的ALF块组中选择ALF块，作为待处理ALF块。

另外，如果在步骤S181中确定帧内的所有ALF块都已被处理，那么结束自适应滤波处理，流程返回图13的步骤S111，随后进行步骤S112和之后的处理。

通过这样进行自适应滤波处理，自适应滤波处理单元113能够根据帧内的对在帧中形成的多个切片中的待处理切片来说必需的那部分ALF块的滤波块标记，恰当地对待处理切片进行滤波处理。从而，自适应滤波处理单元113能够降低待处理切片的未能用解块滤波器消除的块噪声和起因于量化的噪声。

下面参考图17的流程图，说明在图13的步骤S116中进行的无损编码处理的流程的例子。

当开始无损编码处理时，在步骤S191，无损编码单元106的编码单元181顺序编码供给的图像数据(量化的系数数据)，从而对待处理切片编码，并生成编码数据。

在步骤S192，编码数据保持单元182保持在步骤S191中生成的编码数据。在步骤S193，控制信息保持单元183保持从控制信息生成单元112供给的，与编码数据属于的切片(待处理切片)对应的控制信息。

对帧内的每个切片，进行如上所述的步骤S191-步骤S193中的各个处理。当对一个切片的处理结束时，在步骤S194，控制信息附加单元184确定编码单元181是否已对于帧内的所有切片编码图像数据(量化的系数数据)。在确定存在未处理的切片的情况下，流程返回步骤S191，然后重复之后的处理。

在步骤S194，当确定编码单元181已对帧内的所有切片编码时，流程进入步骤S195。

在步骤S195，控制信息附加单元184把保持在控制信息保持单元183中的控制信息嵌入保持在编码数据保持单元182中的一帧的编码数据的首先传送的切片的切片头部中。此时，控制信息附加单元184获得并编译保持在控制信息保持单元183中的控制信息，并生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信息附加单元184把所述一个画面的控制信息嵌入切片头部中。

即，在由多个切片构成的一帧的编码数据中，一帧(画面)的控制信息(滤波系数，ALF块大小，滤波块标记等)被附加(嵌入)切片头部之一中。

即，多个切片的控制信息被附加到一个切片头部中(还附加其它切片的控制信息)。在按切片把控制信息嵌入多个切片头部中的情况下，在控制信息中会出现重复的内容，不过，控制信息附加单元184编译并把一帧的控制信息附加到一个切片头部中，从而能够减少这样的冗余，因而能够提高编码效率。

这里，“附加”意味按可选形态使控制信息与编码数据相关联。例如，这可被描述成编码数据的语法，或者可被描述成用户数据。另外，块信息可处于作为元数据而与编码数据链接的状态。即，“附加”包括“嵌入”、“描述”、“复用”、“链接”等等。

在步骤S196，把控制信息附加到编码数据的控制信息附加单元184按照预定顺序，输出编码数据。当输出一个画面的编码数据时，无损编码单元106结束无损编码处理，返回图13中的步骤S116，从而进入步骤S117及之后的处理。

通过进行这种无损编码处理，图像编码设备100能够抑制由编码或解码时的滤波处理的局部控制引起的编码效率的降低。例如，在把图像的各个帧分成多个切片并进行处理的情况下，图像编码设备100能够抑制编码效率的降低。

<2.第二实施例>

[设备的结构]

下面将说明与在第一实施例中说明的图像编码设备100对应的图像解码设备。图18是图解说明充当应用本发明的图像处理设备的图像解码设备的实施例的结构例子的方框图。

图像解码设备200解码从图像编码设备100输出的编码数据，从而生成解码图像。

图像解码设备200由存储缓冲器201，无损解码单元202，反量化单元203，反正交变换单元204，计算单元205和解块滤波器206构成。图像解码设备200还具有自适应滤波处理单元207。图像解码设备200还具有屏幕重排缓冲器208和D/A(数/模)转换单元209。图像解码设备200还具有帧存储器210，帧内预测单元211，运动补偿单元212和选择单元213。

存储缓冲器201保存传送的压缩图像信息。无损解码单元202利用与无损编码单元106的编码格式对应的格式，对从存储缓冲器201供给的由图1的无损编码单元106编码的信息解码。

如果当前宏块已被帧内编码，那么无损解码单元202提取保存在编码数据的头部部分中的帧内预测模式信息，并将其传给帧内预测单元211。另外，如果当前宏块已被帧间编码，那么无损解码单元202提取保存在编码数据的头部部分中的运动向量信息，并将其传给运动补偿单元212。

另外，无损解码单元202从编码数据的帧内首先供给的切片的切片头部，提取用于自适应滤波的一个画面的控制信息(由控制信息生成单元112生成的控制信息)，并将其提供给自适应滤波处理单元207。

反量化单元203利用和图1中的量化单元105的量化格式对应的格式，对无损解码单元202解码的图像进行反量化。反正交变换单元204利用和图1中的正交变换单元104的正交变换格式对应的格式，对反量化单元203的输出进行反正交变换。

计算单元205相加从选择单元213供给的预测图像和经过反正交变换的差值信息，并生成解码图像。解块滤波器206消除利用所述相加处理生成的解码图像的块噪声。

自适应滤波处理单元207根据包括在从无损解码单元202供给的一个画面的控制信息中的滤波系数、ALF块大小和滤波块标记等信息，对从解块滤波器206供给的图像进行滤波处理。自适应滤波处理单元207按照和图1中的自适应滤波处理单元113相同的方法，进行自适应滤波处理。因而，自适应滤波处理单元207能够降低未被解块滤波器206完全消除的块噪声和起因于量化的噪声。

自适应滤波处理单元207把滤波处理后的图像提供给帧存储器210，以便保存为参考图像信息，另外还把图像输出给屏幕重排缓冲器208。

屏幕重排缓冲器208进行图像的重排。即，由图1的屏幕重排缓冲器102为编码重排的各帧的顺序被重排成原始显示顺序。D/A转换单元209进行从屏幕重排缓冲器208供给的图像的D/A转换，并输出转换后的图像。例如，D/A转换单元209把通过进行D/A转换获得的输出信号输出给未示出的显示器，并显示图像。

在当前帧被帧内编码时，帧内预测单元211根据从无损解码单元202供给的信息生成预测图像，并把生成的预测图像输出给选择单元213。

在当前帧被帧间编码时，运动补偿单元212根据从无损解码单元202供给的运动向量信息，对保存在帧存储器210中的参考图像信息进行运动补偿。

在当前宏块被帧内编码时，选择单元213连接到帧内预测单元211，把从帧内预测单元211供给的图像作为预测图像提供给计算单元205。另外，在当前宏块被帧间编码时，选择单元213连接到运动补偿单元212，把从运动补偿单元212供给的图像作为预测图像提供给计算单元205。

图19是表示图18中的无损解码单元202的详细结构例子的方框图。注意为了说明的简洁起见，将省略与帧内预测模式信息和运动向量信息的提取有关的结构的说明。

如图19中所示，无损解码单元202具有控制信息提取单元221和解码单元222。控制信息提取单元221从存储缓冲器201获得编码数据，从帧内首先供给的切片的切片头部提取一个画面的控制信息，并将其提供给自适应滤波处理单元207。

解码单元222用与无损编码单元106的编码方法对应的解码方法，解码从控制信息提取单元221供给的编码数据，并生成解码数据(量化的系数数据)。解码单元222把生成的解码数据提供给反量化单元203。

从而，控制信息提取单元221提取嵌入编码数据的切片头部中的控制信息，将其提供给自适应滤波处理单元207，从而自适应滤波处理单元207能够根据所述控制信息，恰当地进行自适应滤波处理。即，自适应滤波处理单元207能够类似于图像编码设备100的自适应滤波处理单元113，进行自适应滤波处理。

[处理的流程]

参考图20的流程图，说明由图像解码设备200进行的解码处理的流程的例子。

在步骤S201，存储缓冲器201保存传送的图像(编码数据)。在步骤S202，无损解码单元202进行无损解码处理，从而对从存储缓冲器201供给的编码数据进行无损解码。

虽然细节将在后面说明，不过就这里的无损解码处理来说，由图1中的无损编码单元106编码的I画面、P画面和B画面被解码。注意在此时，运动向量信息，参考帧信息，预测模式信息(指示帧内预测模式或帧间预测模式的信息)等也被提取。

具体地说，当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，与预测模式信息对应的运动向量信息和参考帧信息被提供给运动补偿单元212。

此外，就这里的无损解码处理来说，从编码数据的切片头部提取用于自适应滤波处理的一个画面的控制信息，并将其提供给自适应滤波处理单元207。

在步骤S203，反量化单元203利用与图1的量化单元105的特性对应的特性，进行在步骤S202中解码的变换系数的反量化。在步骤S204，反正交变换单元204利用与图1的正交变换单元104的特性对应的特性，对在步骤S203中反量化的变换系数进行反正交变换。这意味与图1中的正交变换单元104的输入(计算单元103的输出)对应的差值信息被解码。

在步骤S205，计算单元205相加在后面说明的步骤S211的处理中选择的预测图像和所述差值信息。从而，原始图像被解码。在步骤S206，解块滤波器206对从计算单元205输出的图像滤波。从而，消除块噪声。

在步骤S207，自适应滤波处理单元207还对经过解块滤波处理的图像进行自适应滤波处理。所述自适应滤波处理与图1中的自适应滤波处理单元113进行的处理相同。即，除了利用从无损解码单元202供给的控制信息之外，该自适应滤波处理与参考图16的流程图说明的情况相同。不过，从无损解码单元202供给的控制信息已由图1中的控制信息生成单元112生成，基本上与图1中的自适应滤波处理单元113使用的从控制信息生成单元112供给的控制信息相同。

由于该自适应滤波处理，能够降低未被解块滤波器完全消除的块失真和量化失真。

在步骤S208，帧存储器210保存经过滤波的图像。

当供给帧内预测模式信息时，在步骤S209，帧内预测单元211按帧内预测模式进行帧内预测处理。另外，当供给帧间预测模式信息时，在步骤S210，运动补偿单元212按帧间预测模式进行运动补偿处理。

在步骤S211，选择单元213选择预测图像。即，选择帧内预测单元211生成的预测图像和运动补偿单元212生成的预测图像之一，选择的预测图像提供给计算单元205。

例如，在图像被帧内编码的情况下，选择单元213选择帧内预测单元211生成的预测图像，并把选择的预测图像提供给计算单元205。另外，在图像被帧间编码的情况下，选择单元213选择运动补偿单元212生成的预测图像，并把选择的预测图像提供给计算单元205。

在步骤S212，屏幕重排缓冲器208进行重排。具体地说，由图1中的图像编码设备100的屏幕重排缓冲器102为编码而重排的各帧的顺序被重排成初始显示序列。

在步骤S213，D/A转换单元209进行来自屏幕重排缓冲器208的图像的D/A转换。该图像被输出给未示出的显示器，从而该图像被显示。

从而，就图像解码设备200来说，无损解码单元202提取并解码从图像编码设备100供给的控制信息，自适应滤波处理单元207利用控制信息，进行与图像编码设备100的自适应滤波处理单元113相同的自适应滤波处理。

下面参考图21中的流程图，说明在图20的步骤S202中进行的无损解码处理的流程的例子。

当开始无损解码处理时，控制信息提取单元221在步骤S231中，确定供给的编码数据是否是帧(画面)的首先传送的切片。

例如，在帧编号(frame_num)不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。另外，例如，在指示帧画面或场画面的标记(field_pic_flag)不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。此外，例如，在指示上部场或下部场的标记(bottom_field_flag)不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。另外，例如，在帧编号(frame_num)相同，并且画面顺序计数POC值不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。此外，例如，在nal_ref_idc信息不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。另外，就其中idr_pic_idc信息不同于到目前为止的切片的IDR画面来说，其切片是相关画面的第一个切片。

因而，控制信息提取单元221参考这些值，在这些值之一不同于到目前为止的切片的情况下，确定其切片是相关画面的第一个切片。

不用说，控制信息提取单元221可根据除此之外的信息，确定切片是否是首先传送的切片。

在步骤S231，在确定是帧的最先传送的切片的情况下，流程进入步骤S232。在步骤S232，控制信息提取单元221从切片头部提取一个画面的控制信息，并将其提供给自适应滤波处理单元207。

当提取了控制信息时，流程进入步骤S233。另外，在步骤S231中，在确定供给的编码数据不是帧(画面)的最先传送的切片的情况下，流程进入步骤S233。

在步骤S233，解码单元222对编码数据的待处理切片解码。在步骤S234，解码单元222把解码获得的解码数据(量化的系数数据)输出给反量化单元203。在步骤S235，解码单元222确定帧内的所有切片是否都已被处理。在确定存在未处理的切片的情况下，流程返回步骤S231，重复之后的处理。另外，如果在步骤S235中确定帧内的所有切片都已被处理，那么结束无损解码处理，流程返回图20中的步骤S207，执行步骤S208和之后的处理。

通过这样进行无损解码处理，无损解码单元202能够提取附加于编码数据的控制信息，并将其提供给自适应滤波处理单元207。从而，自适应滤波处理单元207能够恰当地执行自适应滤波处理。从而，自适应滤波处理单元207能够降低待处理切片的未能用解块滤波器完全消除的块噪声和归因于量化的噪声。

另外在此时，如上所述，控制信息被嵌入相关画面的第一个切片的切片头部中，控制信息提取单元221恰当地检测相关画面的第一个切片，并从切片头部提取一个画面的控制信息。

这样，自适应滤波处理单元207能够在处理第一个切片的时刻，准备相关画面的控制信息，从而能够不过度延迟地进行自适应滤波处理。即，在对每个切片进行自适应滤波处理的情况下，不需要提供用于准备控制信息的不必要等待时间，从而自适应滤波处理单元207能够用和把控制信息嵌入每个切片头部的情况类似的处理时间，进行自适应滤波处理。

因而，图像解码设备200能够抑制由滤波处理的局部控制引起的编码效率的降低。例如，即使在把每帧图像分割成多个切片并进行处理的情况下，也能够抑制编码效率的降低。

<3.第三实施例>

[把控制信息包括在起始切片的头部中的例子的简要说明]

注意，虽然上面说明了把一个画面的控制信息附加于最先输出(传送)的切片的切片头部，不过，控制信息可被附加于另一个切片的切片头部。例如，控制信息可被附加于起始切片的切片头部。

起始切片是位于帧(画面)中的顶部的切片。另外，起始切片是具有最小切片标识号的切片。此外，起始切片是包括其MB地址为“0”的宏块的切片。通常，这些切片是相同切片，不过不必一致。这种情况下，根据各个条件任意之一，确定起始切片。

即，虽然关于第一实施例和第二实施例说明的首先传送的切片是用其处理顺序识别的切片，不过，起始切片是用位置关系(例如，标识号或坐标)识别的切片。

例如，比如说如图22中所示，在由3个切片(切片0，切片1和切片2)构成的帧151中，切片0被设定为起始切片。

这种情况下，为各个切片生成的控制信息191-1～控制信息191-3都被附加到切片0头部192-2(它是起始切片的切片头部)，而不管各个切片被处理的顺序。切片0的初始MB地址为0。因而，在这种情况下，控制信息提取单元221参考该切片头部中的first_mb_in_slice(规定切片中的第一MB地址的信息)的值，如果该值为“0”，那么可知之后包含控制信息。因而，控制信息提取单元221能够在不进行边界检查的情况下，容易地确认控制信息的存在，然后提取控制信息。

不过，同样如图22中所示，起始切片不一定首先被传送。就图22中的例子来说，编码数据194是按照切片1，切片0和切片2的顺序传送的。

因而，在这种情况下，在从起始切片提取控制信息之前，自适应滤波处理单元207不能对在起始切片之前传送的切片(就图22中的例子来说，切片0)进行自适应滤波处理。

[编码方]

这种情况下的图像编码设备100的无损编码单元106的结构与参考图10说明的第一实施例的情况相同。

下面参考图23中的流程图，说明这种情况下的无损编码处理的流程。图23中的流程图对应于图17中所示的流程图。

这种情况下，同样进行与第一实施例的情况基本相同的处理。即，当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤S191-步骤S194的各个处理相同的方式，进行步骤S251-步骤S254的各个处理，为每个切片编码量化的系数数据。

在步骤S255，控制信息附加单元184把保持在控制信息保持单元183的控制信息嵌入保持在编码数据保持单元182中的一帧编码数据的起始切片的切片头部中。此时，控制信息附加单元184获得和组装保持在控制信息保持单元183中的控制信息，并生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信息附加单元184把该一个画面的控制信息嵌入起始切片的切片头部中。

在步骤S256，把控制信息附加于编码数据的控制信息附加单元184按照预定顺序，输出编码数据。当输出一个画面的编码数据时，无损编码单元106结束无损编码处理，返回图13中的步骤S116，然后进入从步骤S117起的处理。

通过进行这样的无损编码处理，图像编码设备100能够按照和第一实施例相同的方式，抑制由滤波处理的局部控制引起的编码效率的降低。另外，能够使解码时的控制信息的提取更容易。

[解码方]

下面说明按照本实施例的图像解码设备200。图24是图解说明这种情况下的图像解码设备200的无损解码单元202的结构例子的方框图。如图24中所示，这种情况下的无损解码单元202具有与就参考图19说明的第二实施例来说的无损解码单元202基本相同的结构。

不过，这种情况下，无损解码单元202还包括解码数据保持单元223。解码数据保持单元223保持在解码单元222解码生成的解码数据。

在把控制信息包括在起始切片的切片头部中的情况下，如上所述，在传送起始切片之前，未获得控制信息。因而，解码数据保持单元223保持在起始切片之前传送的切片的解码数据，直到获得控制信息为止。

下面，参考图25中的流程图，说明在图20的步骤S202中执行的这种情况下的无损解码处理的流程的例子。图25中的流程图对应于图21中所示的流程图。

在这种情况下，同样按照和第二实施例的情况基本相同的方式进行处理。即，当开始无损解码处理时，在步骤S271中，控制信息提取单元221确定供给的编码数据是否是帧(画面)的起始切片。

例如，如果确定切片头部中的first_mb_in_slice的值为“0”，从而是起始切片，那么流程进入步骤S272。在步骤S272，控制信息提取单元221从其切片头部提取一个画面的控制信息，并将其提供给自适应滤波处理单元207。

当提取了控制信息时，流程进入步骤S273。另外，如果在步骤S271中确定供给的编码数据不是起始切片，那么流程进入步骤S273。

在步骤S273，当解码单元222对编码数据解码时，在步骤S274，解码数据保持单元223保持解码获得的解码数据。

在步骤S275，解码数据保持单元223确定控制信息是否已被控制信息提取单元221提取。如果确定控制信息已被提取，那么解码数据保持单元223进入步骤S276，开始把保持的编码数据输出给反量化单元203。

当开始解码数据的输出时，流程进入步骤S277。另外，如果在步骤S275中确定对正在处理的当前帧来说，控制信息还未被提取，那么流程进入步骤S277。

在步骤S277，控制信息提取单元221确定帧内的所有切片是否都已被处理。当确定存在未处理的切片时，流程返回步骤S271，对未处理切片重复后面的处理。另外，如果在步骤S277确定帧内的所有切片都已被处理时，无损解码处理结束，流程返回图20中的步骤S207，并执行步骤S208的处理。

通过这样进行无损解码处理，无损解码单元202能够提取附加于编码数据的控制信息，并提供给自适应滤波处理单元207。因而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。因而，自适应滤波处理单元207能够降低待处理切片中未被解块滤波器完全消除的块噪声和归因于量化的噪声。

另外在此时，如上所述，控制信息被嵌入当前画面的起始切片的切片头部中，从而控制信息提取单元221能够容易地检测当前画面的起始切片，并从切片头部提取一个画面的控制信息。

<4.第四实施例>

[把控制信息包括在预定切片的头部中的例子的简要说明]

注意，控制信息可被附加于除上面说明的最先传送的切片，起始切片之外的切片的切片头部。

例如，假定如图26中所示，在由3个切片(切片0，切片1和切片2)构成的帧151中，切片0被设定为起始切片。

此时，为各个切片生成的控制信息191-1～控制信息191-3都可被附加于切片2头部192-3(它是被预先设定为所述预定切片的切片2的切片头部)，而不管切片的处理顺序。

切片2(切片2头部192-3)的识别方法是任意方法。另外，在这种情况下，图像解码设备200的控制信息提取单元221的控制信息检测方法也是可选的。

和第三实施例的情况一样，就这种情况来说，其中已嵌入控制信息的切片同样不一定最先被传送。就图26中的例子来说，编码数据194是按照切片1，切片0和切片2的顺序传送的。即，在包括控制信息的切片2之前，传送切片0和切片1。

因而，在这种情况下，在从切片2提取控制信息之前，自适应滤波处理单元207同样不能对在切片2之前传送的切片(就图26中的例子来说，切片0和切片1)进行自适应滤波处理。

[编码方]

下面参考图27中的流程图，说明这种情况下的无损编码处理的流程。图27中的流程图对应于图17中所示的流程图。

这种情况下，同样进行与第一实施例的情况基本相同的处理。即，当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤S191-S194的各个处理相同的方式，进行步骤S291-S294的各个处理，为每个切片编码量化的系数数据。

在步骤S295，控制信息附加单元184把保持在控制信息保持单元183的控制信息，嵌入保持在编码数据保持单元182中的一帧编码数据中的预先设定的预定切片的切片头部中。此时，控制信息附加单元184获得和组装保持在控制信息保持单元183中的控制信息，从而生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信息附加单元184把该一个画面的控制信息嵌入预定切片的切片头部中。

在步骤S296，把控制信息附加于编码数据的控制信息附加单元184按照预定顺序输出编码数据。当输出一个图像的编码数据时，无损编码单元106结束无损编码处理，返回图13中的步骤S116，然后进入从步骤S117起的处理。

通过进行这样的无损编码处理，图像编码设备100能够按照和第一实施例相同的方式，抑制由滤波处理的局部控制引起的编码效率的降低。

[解码方]

下面说明按照本实施例的图像解码设备200。图像解码设备200的无损解码单元202的结构与参考图24说明的第三实施例的情况相同。

下面参考图28中的流程图，说明在图20的步骤S202中执行的这种情况下的无损解码处理的流程的例子。图28中的流程图对应于图25中所示的流程图。

在这种情况下，同样按照和第三实施例的情况基本相同的方式进行处理。即，当开始无损解码处理时，在步骤S311中，控制信息提取单元221确定供给的编码数据是否是帧(画面)的预定切片(把控制信息包括在切片头部中的切片)。

如果确定供给的编码数据是预定切片，那么流程进入步骤S312。在步骤S312，控制信息提取单元221从其切片头部提取一个画面的控制信息，并将其提供给自适应滤波处理单元207。

当提取了控制信息时，流程进入步骤S313。另外，如果在步骤S311中确定供给的编码数据不是被附加控制信息的预定切片，那么流程进入步骤S313。

之后，按照和图25中的步骤S273-S277的各个处理相同的方式，执行步骤S313-S317的各个处理。

<5.第五实施例>

[利用指针的例子的简要说明]

注意，除了如上所述，把控制信息本身附加到切片头部之外，还可把指示控制信息被附加到的位置的指针包含在切片头部中。

例如，假定如图29中所示，与帧151的切片0-切片2对应的控制信息191-1～控制信息191-3被组装和附加在编码数据194的切片2数据193-3之后，作为一个画面的控制信息231。指示控制信息231的位置的指针被附加到最先传送的切片1头部192-1。

从而，图像解码设备200的控制信息提取单元221能够参考切片1头部192-1，从而根据附加于切片1头部192-1的指针，获得控制信息231。即，控制信息提取单元221能够按照与第二实施例的情况相同的方式，从编码数据提取控制信息。

不过，在这种情况下，在控制信息231被供给之前，控制信息提取单元221实际上不能提取控制信息231。

控制信息231被附加到的位置当然是可选的。例如，控制信息可被附加到将在切片1头部192-1之前传送的位置。这种情况下，当参考切片1头部192-1的指针时，控制信息提取单元221能够提取控制信息。

[编码方]

这种情况下，图像编码设备100的无损编码单元106的结构同样与参考图10说明的第一实施例的情况相同。

下面参考图30中的流程图，说明这种情况下的无损编码处理的流程。图30中的流程图对应于图17中所示的流程图。

这种情况下，同样进行与第一实施例的情况基本相同的处理。即，当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤S191-S194的各个处理相同的方式，进行步骤S331-S334的各个处理，为每个切片编码量化的系数数据。

在步骤S335，控制信息附加单元184把保持在控制信息保持单元183的控制信息，附加到编码数据的预定位置。此时，控制信息附加单元184获得和组装保持在控制信息保持单元183中的控制信息，从而生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信息附加单元184把该一个画面的控制信息附加到编码数据的预定位置。

在步骤S336，控制信息附加单元184把指示控制信息被附加到的位置的指针，嵌入保持在编码数据保持单元182中的一帧编码数据中将被最先传送的切片头部中。

在步骤S337，把控制信息附加到编码数据的控制信息附加单元184按照预定顺序输出编码数据。当输出一个图像的编码数据时，无损编码单元106结束无损编码处理，返回图13中的步骤S116，然后进入从步骤S117起的处理。

[解码方]

下面参考图31中的流程图，说明在图20的步骤S202中执行的这种情况下的无损解码处理的流程的例子。图31中的流程图对应于图25中所示的流程图。

在这种情况下，同样按照和第三实施例的情况基本相同的方式进行处理。即，当开始无损解码处理时，在步骤S351中，控制信息提取单元221确定供给的编码数据是否是帧(画面)的最先传送的切片。

如果确定供给的编码数据是最先传送的切片，那么作为与第二实施例的情况相同的确定结果，流程进入步骤S352。在步骤S352，控制信息提取单元221参考附加于所述切片头部的指针。

当参考了所述指针时，流程进入步骤S353。另外，如果在步骤S351中确定供给的编码数据不是帧中的最先传送的切片，那么流程进入步骤S353。

在步骤S353，控制信息提取单元221确定在当前时刻，控制信息是否可提取。如果确定附加于编码数据的一个画面的控制信息已被供给，并且是可提取的，那么流程进入步骤S354，控制信息提取单元221提取一个画面的控制信息，并将其提供给自适应滤波处理单元207。

当提取了控制信息时，流程进入步骤S355。另外，当在步骤S353中确定控制信息还未被供给、并且不可提取时，流程进入步骤S355。

当在步骤S355中，解码单元222解码了编码数据中的待处理切片时，在步骤S356，解码数据保持单元223保持解码获得的解码数据。

在步骤S357，解码数据保持单元223确定控制信息是否已被控制信息提取单元221提取。如果确定控制信息已被提取，那么解码数据保持单元223进入步骤S358，开始把保持的解码数据输出给反量化单元203。

当开始输出解码数据时，流程进入步骤S359。另外，如果在步骤S357中确定对于正在处理的相关帧还未提取控制信息，那么流程进入步骤S359。

在步骤S359，控制信息提取单元221确定帧内的所有切片是否都已被处理。如果确定存在未处理的切片，那么流程返回步骤S351，对未处理的切片重复后续处理。另外，如果在步骤S359中确定帧内的所有切片都已被处理，那么无损解码处理结束，流程返回图20中的步骤S207，执行从步骤S208起的处理。

通过这样进行无损解码处理，无损解码单元202能够根据附加于编码数据的指针提取控制信息，然后提供给自适应滤波处理单元207。从而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。从而，自适应滤波处理单元207能够降低待处理切片中未被解块滤波器完全消除的块噪声和归因于量化的噪声。

因而，按照和第二实施例相同的方式，图像解码设备200能够抑制由滤波处理的局部控制引起的编码效率的降低。另外，在把图像的各帧分割成多个切片以便处理的情况下，也能够抑制编码效率的降低。

[其它例子]

注意，虽然上面说明了把指示控制信息被附加到的位置的指针添加到帧的最先传送的切片的切片头部，不过嵌入所述指针的位置是可选的。例如，和第三实施例一样，控制信息可被附加到起始切片，或者和第四实施例一样，控制信息可被附加到预先设定的预定切片的切片头部。

另外，上面说明的指针可以是任意形式的信息。

<6.第六实施例>

[把控制信息组装到多个组中的例子的简要说明]

虽然上面关于组装成一体的一个画面的控制信息进行了说明，不过并不局限于此，例如，一帧的多个切片可被分成多个组，同时组装每个组的控制信息。

例如，在图32中，虚线表示帧151内的切片的边界，实线表示其中组装多个切片的各个组。每个切片的控制信息是按组组装的。

在图32中，控制信息241-1是属于帧151中、从顶部开始的第一个组的各个切片的控制信息的组合体。控制信息241-2是属于帧151中、从顶部开始的第二个组的各个切片的控制信息的组合体。控制信息241-3是属于帧151中、从顶部开始的第三个组的各个切片的控制信息的组合体。

这些控制信息被嵌入它们各自组中最先传送的切片的切片头部中。

在图32中，控制信息241-1被嵌入切片A头部242-1中，切片A头部242-1是帧151中，从顶部开始的第一个组的编码数据244-1中最先被传送的切片A的切片头部。

按照相同的方式，控制信息241-2被嵌入切片B头部242-2中，切片B头部242-2是帧151中，从顶部开始的第二个组的编码数据244-2中最先被传送的切片B的切片头部。

按照相同的方式，控制信息241-3被嵌入切片C头部242-3中，切片C头部242-3是帧151中，从顶部开始的第三个组的编码数据244-3中最先被传送的切片C的切片头部。

即，这种情况下，多个控制信息被附加到一帧编码数据中，不过归因于是以组为增量组装的，因此与把控制信息附加到每个切片的情况相比，减少了冗余，从而提高了编码效率。另外，控制信息是分成多个附加的，从而与上述实施例相比，对传输时的丢失分组等的抵抗性增强。

注意，由多个切片构成的各个组是预先设定的。即，帧内的切片被分成多少个组，和哪个切片属于哪个组是预先设定的。

[编码方]

下面说明这种情况下的图像编码设备100。这种情况下的图像编码设备100的无损编码单元106的结构与参考图10说明的第一实施例的情况相同。

下面参考图33中的流程图，说明这种情况下的无损编码处理的流程。图33中的流程图对应于图17中所示的流程图。

这种情况下，同样进行与第一实施例的情况基本相同的处理。即，当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤S191-S194的各个处理相同的方式，进行步骤S371-S374的各个处理，为每个切片编码量化的系数数据。

不过在这种情况下，在步骤S374中，控制信息附加单元184不关于帧，而是以组为增量，确定所有切片是否已被编码。即，在步骤S374，控制信息附加单元184确定编码单元181是否编码了属于待处理组的所有切片。

如果确定存在属于待处理组的未处理切片，那么流程返回步骤S371，对未处理的切片重复后续处理。另外，如果在步骤S374确定编码单元181处理了属于待处理组的所有切片，那么流程进入步骤S375。

在步骤S375，控制信息附加单元184把保持在控制信息保持单元183的控制信息，嵌入保持在编码数据保持单元182中的一个组的编码数据中的起始切片的切片头部。此时，控制信息附加单元184获得和组装保持在控制信息保持单元183中的控制信息，从而生成编码数据所属组的控制信息(一组的控制信息)。控制信息附加单元184把所述一组的控制信息嵌入该组的最先传送的切片的切片头部中。

在步骤S376，把控制信息附加到嵌入数据中的控制信息附加单元184按照预定顺序，输出所述一组的编码数据。当输出所述一组的编码数据时，在步骤S377，无损编码单元106确定帧内的所有组是否都已被处理。

如果确定存在未处理的组，那么流程返回步骤S371，对未处理的组重复后续处理。另外，如果在步骤S377，确定帧内的所有组都被处理，那么无损编码单元106结束无损编码处理，返回图13中的步骤S116，然后进入从步骤S117起的处理。

通过进行这样的无损编码处理，图像编码设备100能够抑制由滤波处理的局部控制引起的编码效率的降低。另外，增强对丢失分组的抵抗性。

[解码方]

下面说明按照本实施例的图像解码设备200。这种情况下，图像解码设备200的无损解码单元202以组为增量，而不是以帧(画面)为增量提取控制信息就足够了。因而，无损解码单元202具有与就参考图19说明的第二实施例来说的无损解码单元202相同的结构。

另外，除了以帧(画面)为增量被改为以组为增量之外，可按照与参考图21中的流程图说明的例子相同的方式，执行无损解码单元202的无损解码处理。

从而，无损解码单元202能够提取附加于编码数据的控制信息，并提供给自适应滤波处理单元207。因而，自适应滤波处理单元207能够恰当地执行自适应滤波处理。

[其它例子]

注意，虽然上面说明了把控制信息附加到组的最先传送切片的切片头部，不过，嵌入控制信息的位置是可选的。例如，如同第三实施例一样，控制信息可被附加到每个组的起始切片的切片头部，或者如同第四实施例一样，控制信息可被附加到对于每个组预先设定的预定切片。

<7.第七实施例>

[控制组的数目的例子的简要说明]

虽然在第六实施例中，关于由多个切片构成，作为组装控制信息的增量的组进行了说明，不过图像编码设备100可按预定增量，比如按帧，按GOP等，定义各个组。即，在这种情况下，例如，图像编码设备100对于每一帧，定义哪个切片属于哪个组，和在一帧中将形成多少个组(多少控制信息将被聚合到每一帧中)。

[编码方]

下面说明这种情况下的图像编码设备100。图34是图解说明这种情况下的图像编码设备100的无损编码单元106的结构例子的方框图。

如图34中所示，按照和第一实施例相同的方式，这种情况下的无损编码单元106具有编码单元181～控制信息附加单元184。不过在这种情况下，无损编码单元106还具有控制单元251。

控制单元251定义各个组，确定待处理帧内的组数。换句话说，控制单元251确定嵌入编码数据中的各个控制信息对应于的数据的范围。

控制单元251控制编码单元181～控制信息附加单元184，把对应于组的控制信息嵌入每个组中最先传送的切片的切片头部中。

下面参考图35中的流程图，说明这种情况下的无损编码处理的流程的例子。图35中的流程图对应于图33中所示的流程图。

这种情况下，按照和第六实施例的情况基本相同的方式进行处理。当在图13的步骤S116中开始无损编码处理时，在步骤S391，控制单元251关于待处理帧定义所述组，并设定组数。控制单元251根据与组相关的设定，控制编码单元181～控制信息附加单元184。

遵循在步骤S391中进行的关于组的设定，进行步骤S392-S398的各个处理。即，按照和图33中的步骤S371-步骤S377的各个处理相同的方式进行在设定组之后的步骤S392-S398的各个处理。

[解码方]

下面，说明按照本实施例的图像解码设备200。图36是图解说明这种情况下的图像解码设备200的无损解码单元202的结构例子的方框图。

这种情况下，图像解码设备200的无损解码单元202以组为增量，而不是以帧(画面)为增量，提取控制信息。因而，按照和参考图24说明的第三实施例的情况下的无损解码单元202相同的方式，这种情况下的无损解码单元202具有控制信息提取单元221-解码数据保持单元223。不过，在这种情况下，图像解码设备200还未把握待处理帧内的组数，因而分析每个切片头部，并搜索控制信息。因而，在这种情况下，如图36中所示，无损解码单元202还具有头部分析单元261。

头部分析单元261参考提供给它的编码数据的每个切片头部，并搜索控制信息。控制信息提取单元221根据分析结果，提取控制信息。另外，每个部分按照和第六实施例的情况相同的方式，对每个组进行处理。

下面，参考图37中的流程图，说明在图20的步骤S202中执行的这种情况下的无损解码处理的流程的例子。图37中的流程图对应于图25中所示的流程图。

这种情况下，按照与第三实施例的情况基本相同的方式进行处理。即，当开始无损解码处理时，在步骤S411，头部分析单元261参考所供给的编码数据中的待处理切片的切片头部，确定在切片头部中是否存在控制信息。如果确定待处理切片是组中最先传送的切片，并且切片头部包括组的控制信息，那么流程进入步骤S412。

在步骤S412，控制信息提取单元221从切片头部提取一组的控制信息。当提取了控制信息时，流程进入步骤S413。另外，如果在步骤S411中，确定在切片头部中不存在控制信息，那么流程进入步骤S413。

按照和图25中的步骤S273-S277的各个处理相同的方式，执行步骤S413-步骤S417的各个处理。

从而，无损解码单元202能够提取附加于编码数据的控制信息，并提供给自适应滤波处理单元207。因而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。

[组数的控制]

下面，说明组数的控制。

通常，增大组数(增大每帧的控制信息的数目)会增大控制信息的冗余，从而编码数据的编码效率降低。因而，图像解码设备200必须处理的图像的信息量增大。另外，提取控制信息的次数增大。从而，存在图像解码设备200的负荷将增大的可能性。不过，每个控制信息的信息量较小，因而减少必需的存储量。

另一方面，通过增大组数，图像编码设备100能够以较小的增量，输出编码数据。即，能够降低编码处理的延迟时间。另外，在这种情况下，高频度地输出编码数据，从而减少必需的存储量。

相反，减小组数(减小每帧的控制信息的数目)会降低控制信息的冗余，从而提高编码数据的编码效率。因而，图像解码设备200必须处理的图像的信息量减少。另外，提取控制信息的次数减小。因而，存在图像解码设备200的负荷将降低的可能性。不过，每个控制信息的信息量较大，因而增大必需的存储量。

另一方面，通过增大组数，图像编码设备100将以较大的增量，输出编码数据。即，编码处理的延迟时间增大。另外，在这种情况下，低频度地输出编码数据，从而增大必需的存储量。

这样，各种参数按照组数的增大/减少而变化。因而，依据系统规格，比如硬件资源，使用目的等，确定最佳组数。

例如，就其中图像编码设备100生成的编码数据被保存在服务器等中，并且根据来自图像解码设备200的请求提供所述编码数据的系统来说，在图像编码设备100的延迟时间的增大对编码数据的提供几乎没有影响。就这种系统来说，与降低编码处理的延迟时间相比，应优先考虑抑制解码处理的负荷的减轻。

另外，就其中用图像编码设备100即时(实时)编码通过摄影等生成的图像数据，传送编码数据，用图像解码设备200解码编码数据，并显示解码图像的系统来说，抑制每个处理中的延迟时间最重要。

另外，如果图像解码设备200的处理能力较低，那么最好优先考虑抑制解码处理的负荷。另一方面，如果图像编码设备100的处理能力较低，那么最好优先考虑抑制编码处理的负荷。另外，可设想存在其中取决于图像数据的比特率，传输路径的可用带宽等，应优先考虑改善编码效率的情况。

从而，各个参数，比如延迟时间，编码效率，处理负荷和存储容量等的最佳值随系统规格而不同。因而，控制单元251设定组，以致各种参数相对于系统规格来说最佳。因而，可以适用于各种各样的系统。

注意，图像编码设备100或图像解码设备200可收集与系统内的硬件资源或其它设备或者传输路径相关的信息，或者与其它设备交换各种信息，以便设定这些组。

另外，一帧中的组数可以是任意数，只要它为1以上。此外，组数的控制可以采用除帧之外的其它增量。例如，可以用GOP等为增量。

另外，虽然上面说明了控制信息被附加到每个组的最先传送切片的切片头部，不过，嵌入此控制信息的位置是可选的。例如，如同第三实施例一样，控制信息可被附加到起始切片的切片头部，或者如同第四实施例一样，控制信息可被附加到预先设定的预定切片。

此外，图像编码设备100可设定控制信息将被嵌入的切片(切片头部)。例如，可以按可选的增量，比如以帧为增量，或者以GOP为增量进行这样的设定。另外，可以不定期地进行这种设定。

虽然在上面的实施例中，以切片为增量，把帧内的控制信息组装成一个或多个，装配所述控制信息的增量是可选的。例如，这可以按小于切片的增量，例如，以宏块为增量来进行。即，可以组装每个宏块的多个控制信息，以生成每个组的控制信息。

<8.第八实施例>

[独立分组每个要素的例子的简要说明]

虽然上面说明了按相互相同的增量组装构成控制信息的滤波系数，块大小和滤波块标记等要素，不过，可按相互独立的增量组装这些要素。即，滤波系数，块大小和滤波块标记等要素可被相互独立地分组。

这种情况下，相互独立地设定一组滤波系数与之对应的图像的范围(切片)，一组块大小与之对应的图像的范围(切片)，和一组滤波块标记与之对应的图像的范围(切片)，从而，保存这些信息的切片头部也彼此不同。

因而，在这种情况下，图像编码设备100和图像解码设备200需要对于滤波系数，块大小和滤波块标记等要素，进行如同上述控制信息一样的相同处理。

[编码方]

下面说明这种情况下的图像编码设备100。图38是图解说明这种情况下的图像编码设备100的无损编码单元106的结构例子的方框图。

如图38中所示，按照与第一实施例的情况相同的方式，这种情况下的无损编码单元106具有编码单元181～控制信息保持单元183。另外，这种情况下的编码单元106还具有代替控制信息附加单元184的控制信息附加单元281。

控制信息附加单元281按均相互独立设定的组，把滤波系数，块大小和滤波块标记等要素嵌入编码数据的切片头部中。控制信息附加单元281具有标记附加单元291，块大小附加单元292，和滤波系数附加单元293。

标记附加单元291把待处理标记组的滤波块标记附加到待处理标记组的最先传送切片的切片头部。标记组是彼此嵌入相同切片头部中的一组滤波块标记对应于的一组切片。

块大小附加单元292把待处理块大小组的块大小附加到待处理块大小组的最先传送切片的切片头部。块大小组是彼此嵌入相同切片头部中的一组块大小对应于的一组切片。

滤波系数附加单元293把待处理滤波系数组的滤波系数附加到待处理滤波系数组的最先传送切片的切片头部。滤波系数组是彼此嵌入相同切片头部中的一组滤波系数对应于的一组切片。

下面参考图39中的流程图，说明这种情况下的无损编码处理的流程的例子。图39中的流程图对应于图33中所示的流程图。

这种情况下，同样执行与第六实施例的情况基本相同的处理。即，当在图13的步骤S116中开始无损编码处理时，按照与图33中的步骤S371-步骤S373的各个处理相同的方式，执行步骤S431-S433的各个处理。

在步骤S434，控制信息附加单元281的标记附加单元291确定编码单元181是否已对待处理标记组的所有切片编码。如果确定所有切片已被编码，那么流程进入步骤S435。

在步骤S435，标记附加单元291把一个标记组的滤波块标记嵌入所述待处理标记组内的最先传送切片的切片头部中。

当滤波块标记的嵌入结束时，流程进入步骤S436。另外，如果在步骤S434中，确定在待处理标记组中存在未处理的切片，那么流程进入步骤S436。

在步骤S436，控制信息附加单元281的块大小附加单元292确定编码单元181是否已对待处理块大小组的所有切片编码。如果确定所有切片已被编码，那么流程进入步骤S437。

在步骤S437，块大小附加单元291把一个块大小组的块大小嵌入所述待处理块大小组内的最先传送切片的切片头部中。

当块大小的嵌入结束时，流程进入步骤S438。另外，如果在步骤S436中，确定在待处理块大小组中存在未处理的切片，那么流程进入步骤S438。

在步骤S438，控制信息附加单元281的滤波系数附加单元293确定编码单元181是否已对待处理滤波系数组的所有切片编码。如果确定存在未处理的切片，那么流程返回步骤S431，重复随后的处理。

另外，在步骤S438，如果确定所有切片都已被编码，那么流程进入步骤S439。在步骤S439，滤波系数附加单元293把一个滤波系数组的滤波系数嵌入所述待处理滤波系数组内的最先传送切片的切片头部中。

当滤波系数的嵌入结束时，流程进入步骤S440。在步骤S440，控制信息附加单元281按照预定顺序输出编码数据。在步骤S441，无损编码单元106确定帧内的所有组是否都已被处理。如果确定还有未处理的组，那么流程返回步骤S431，重复随后的处理。

另外，如果在步骤S441中确定帧内的所有组都已被处理，那么无损编码单元106结束无损编码处理，流程返回图13中的步骤S116，然后进入步骤S117及之后的处理。

通过这样进行无损编码处理，无损编码单元106能够按适合于控制信息的每个要素的增量，附加控制信息的各个要素。因而，图像编码设备100能够更恰当地控制各种要素，比如编码效率，延迟时间，负荷量等等。

[解码方]

下面说明按照本实施例的图像解码设备200。这种情况下，图像解码设备200的无损解码单元202以每个要素的组为增量，而不是以帧(画面)为增量，提取滤波系数，块大小和滤波块标记等要素。

图40是图解说明这种情况下的图像解码设备200的无损解码单元202的结构例子的方框图。如图40中所示，按照和第三实施例的情况相同的方式，这种情况下的无损解码单元202具有解码单元222和解码数据保持单元223。另外，解码单元222具有代替控制信息提取单元221的控制信息提取单元301。

控制信息提取单元301从编码数据的切片头部，提取滤波系数，块大小和滤波块标记等要素。控制信息提取单元301具有标记提取单元311，块大小提取单元312和滤波系数提取单元313。

标记提取单元311从待处理标记组的最先传送切片的切片头部中，提取待处理标记组的滤波块标记。

块大小提取单元312从待处理块大小组的最先传送切片的切片头部中，提取待处理块大小组的块大小。

滤波系数提取单元313从待处理滤波系数组的最先传送切片的切片头部中，提取待处理滤波系数组的滤波系数。

下面参考图41中的流程图，说明在图20的步骤S202中执行的这种情况下的无损解码处理的流程的例子。图41中的流程图对应于图25中所示的流程图。

这种情况下，同样按照和第二实施例的情况基本相同的方式进行处理。即，当开始无损解码处理时，在步骤S461，控制信息提取单元301的标记提取单元311确定供给的编码数据是否是待处理标记组的最先传送的切片。如果确定是待处理标记组的最先传送的切片，那么流程进入步骤S462。

在步骤S462，标记提取单元311从待处理切片的切片头部提取一个标记组的滤波块标记。

当提取了滤波块标记时，流程进入步骤S463。另外，如果在步骤S461中，确定不是待处理标记组的最先传送的切片，那么流程进入步骤S463。

在步骤S463，控制信息提取单元301的块大小提取单元312确定供给的编码数据是否是待处理块大小组的最先传送的切片。如果确定是待处理块大小组的最先传送的切片，那么流程进入步骤S464。

在步骤S464，块大小提取单元312从待处理切片的切片头部，提取一个块大小组的块大小。

当提取了块大小时，流程进入步骤S465。另外，如果在步骤S463中，确定不是待处理块大小组的最先传送的切片，那么流程进入步骤S465。

在步骤S465，控制信息提取单元301的滤波系数提取单元313确定供给的编码数据是否是待处理滤波系数组的最先传送的切片。如果确定是待处理滤波系数组的最先传送的切片，那么流程进入步骤S466。

在步骤S466，滤波系数提取单元313从待处理切片的切片头部，提取一个滤波系数组的滤波系数。

当提取了滤波系数时，流程进入步骤S467。另外，如果在步骤S465中确定供给的编码数据不是待处理滤波系数组的最先传送的切片，那么流程进入步骤S467。

在步骤S467，解码单元222对编码数据的待处理切片解码。在步骤S468，解码数据保持单元223保持解码获得的解码数据。

在步骤S469，解码数据保持单元223确定是否存在控制信息的所有要素(滤波块标记，块大小和滤波系数)都已被控制信息提取单元301提取的切片。如果确定已进行了提取，那么解码数据保持单元223进入步骤S470，开始向反量化单元203输出保持的解码数据之中，其控制信息的所有要素都已被提取的切片。

当开始输出解码数据时，流程进入步骤S471。如果在步骤S469中确定不存在控制信息的所有要素都已被提取的切片，那么流程进入步骤S471。

在步骤S471，控制信息提取单元301确定是否处理了帧内的所有切片。如果确定存在未处理的切片，那么流程返回步骤S461，在未处理切片中重复后续处理。另外，如果在步骤S471中确定帧内的所有切片已被处理，那么结束无损解码处理，流程返回图20中的步骤S207，执行从步骤S208起的处理。

通过这样进行无损解码处理，无损解码单元202能够提取相互独立地附加于编码数据的控制信息，然后提供给自适应滤波处理单元207。从而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。从而，自适应滤波处理单元207能够降低待处理切片的未被解块滤波器完全消除的块噪声和归因于量化的噪声。

[其它例子]

当然，在这种情况下，滤波系数，块大小和滤波块标记等要素可被嵌入每个要素组的起始切片的切片头部中，或者可被嵌入另一个预定切片的切片头部中。

另外，可以为每个GOP或帧设定每个要素组，同时每个要素的组数在时间方向是可改变的。

<9.第九实施例>

[QALF的描述]

如在NPL 3中所述，ALF块可具有四叉树结构。这种技术被称为QALF(基于四叉树的自适应环路滤波)。四叉树结构是一种分层结构，其中在较低的一层，上面一层的一个ALF块的区域可被分成四个区域。

图42图解说明其中用层数最多为3的四叉树结构表示ALF块分割，并对每个ALF块指定滤波块标记的例子。

图42中的A表示层0，它是充当四叉树结构的根部的ALF块。在四叉树结构中，每个ALF块具有指示该块是否在下层被分成四个区域的块分割标记。在图42的A中所示的ALF块的块分割标记的值为“1”。即，该ALF块在下层(层1)中被分成四个区域。图42中的B表示层1。即，在层1中形成四个ALF块。

如果块分割标记为“0”，那么更下一层未被分成四个区域。即，不存在进一步的分割，从而对该ALF块生成滤波块标记。即，其块分割标记为“0”的ALF块也具有滤波块标记。在图42的B中所示的“0-1”左侧的“0”指示该ALF块的块分割标记，右侧的“1”表示该ALF块的滤波块标记。

其层1中的块分割标记为“1”的两个ALF块在下一层(层2)中，被分割成四个区域。图42中的C图解说明层2。即，在层2中，形成10个ALF块。

按照相同的方式，层2中其块分割标记为“0”的ALF块也被赋予滤波块标记。在图42的C中，一个ALF块的块分割标记为“1”。即，该ALF块在更下一层(层3)中，被分割成四个区域。图42中的D表示层3。即，在层3中，形成13个ALF块。

通过如图42中所示形成四叉树，ALF块的结构最终变成如图43中所示。从而，就四叉树结构来说，对于每一层来说，ALF块的大小不同。即，通过利用四叉树结构，可以使ALF块的大小在帧内彼此不同。

每个ALF块中的滤波块标记的控制和本发明的第一实施例相同。即，在滤波块标记的值为“0”的区域(图43中的阴影线部分)中，不进行滤波处理。

和关于其中改进了ALF块的表示的QALF的问题相同，发生担心在多切片的情况下，编码效率会降低的问题

图44图解说明利用QALF技术，编码图5中的切片1的区域的例子。

这里，粗线421的区域表示切片1的区域。如果如粗线421所示，整个QALF 411的控制信息被分成多个切片，从而充当多个控制信息，并把这些控制信息附加到编码数据中，那么在控制信息之中出现冗余信息。

因而，同样对QALF的情况来说，图像编码设备100利用和在第一实施例中说明的BALF的情况相同的方法，把多个切片的控制信息包括在编码数据的一个切片头部中。图像解码设备200也按照和BALF的情况相同的方式，提取控制信息和进行自适应滤波处理。

从而，附加于编码数据的控制信息的冗余受到抑制，以致与把控制信息嵌入每个切片中的情况相比，能够改善编码效率。

<10.第十实施例>

[个人计算机]

上述一系列处理可由硬件或软件执行。这种情况下，例如，可以构成如图45中图解说明的个人计算机。

在图45中，个人计算机500的CPU 501按照保存在ROM(只读存储器)502中的程序或从存储单元513载入RAM(随机存取存储器)503的程序，执行各种处理。RAM 603还酌情保存CPU 501执行各种处理所必需的数据等。

CPU 501、ROM 502和RAM 503通过总线604相互连接。总线504还连接到输入/输出接口510。

连接到输入/输出接口510的是由键盘、鼠标等构成的输入单元511，由诸如CRT(阴极射线管)或LCD(液晶显示器)之类的显示器，扬声器等构成的输出单元512，由硬盘等构成的存储单元513，和由调制解调器等构成的通信单元514。通信单元514通过包括因特网的网络进行通信处理。

另外连接到输入/输出接口510的是驱动器515(需要的话)，诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质521酌情装到驱动器515上，根据需要，从可拆卸介质521读出的计算机程序被安装在存储单元513中。

在借助软件执行上述一系列处理的情况下，从网络或记录介质安装构成所述软件的程序。

例如，如图45中所示，该记录介质不仅可由可拆卸介质521构成，而且可由在预先内置于设备主体中的状态下，分发给用户的记录有程序的ROM 502，包括在存储单元513中的硬盘等构成，所述可拆卸介质521由其中记录和分发程序，以便独立于设备主体把程序分发给用户的磁盘(包括软盘)，光盘(包括CD-ROM(光盘-只读存储器)，DVD(数字通用光盘)，磁光盘(MD(小型光盘))，或半导体存储器等构成。

注意，计算机执行的程序可以是其中按照在本说明书中说明的顺序，时序地执行处理的程序，或者可以是其中并行地或者在必要时(比如当进行了调用时)，执行处理的程序。

另外，就本说明书来说，描述记录在记录介质中的程序的步骤当然包括按照所述顺序，时序地执行的处理，还包括并行或单独地执行的处理，而不一定是时序地处理的。

另外，就本说明书来说，术语系统代表由多个设备组成的全部设备。

另外，上面说明成一个设备(或处理单元)的结构可被分割和构成为多个设备(或处理单元)。相反，上面说明成多个设备(或处理单元)的结构可被集合和构成为一个设备(或处理单元)。另外，当然也可把除上述之外的结构增加到设备(或处理单元)中。此外，某个设备(或处理单元)的结构的一部分可被包含在另一个设备(或另一个处理单元)的结构中，只要整个系统的结构或操作基本上相同，即。本发明的实施例并不局限于上述实施例，可以做出各种修改，而不脱离本发明的本质。

例如，上述图像编码设备100和图像编码设备200可应用于各种电子设备。下面是其例子的说明。

<11.第十一实施例>

[电视接收机]

图46是图解说明使用应用本发明的图像解码设备200的电视接收机的主要结构例子的方框图。

图46中所示的电视接收机1000包括地面调谐器1013，视频解码器1015，视频信号处理电路1018，图形生成电路1019，面板驱动电路1020和显示面板1021。

地面调谐器1013通过天线接收地面模拟广播的广播信号，解调接收的广播信号获得视频信号，并把获得的视频信号提供给视频解码器1015。视频解码器1015对从地面调谐器1013供给的视频信号进行解码处理，然后把获得的数字分量信号提供给视频信号处理电路1018。

视频信号处理电路1018对从视频解码器1015供给的视频数据进行诸如噪声消除之类的预定处理，然后把获得的视频数据提供给图形生成电路1019。

图形生成电路1019生成将显示在显示面板1021上的节目的视频数据，或者由基于经网络提供的应用的处理而获得的图像数据等，并把生成的视频数据或图像数据提供给面板驱动电路1020。另外，图形生成电路1019还酌情进行诸如把通过生成视频数据(图形)供用户显示用于项目选择等的屏幕之用，并把所述视频数据(图形)重叠在节目的视频数据上而获得的视频数据提供给面板驱动电路1020之类的处理。

面板驱动电路1020根据从图形生成电路1019供给的数据，驱动显示面板1021，从而在显示面板1021上显示节目的视频或者上述各种屏幕。

显示面板1021由LCD(液晶显示器)等构成，按照面板驱动电路1020的控制，显示节目的视频等。

另外，电视接收机1000还包括音频A/D(模/数)转换电路1014，音频信号处理电路1022，回声消除/音频合成电路1023，音频放大电路1024和扬声器1025。

地面调谐器1013解调接收的广播波信号，从而不仅获得视频信号，而且获得音频信号。地面调谐器1013把获得的音频信号提供给音频A/D转换电路1014。

音频A/D转换电路1014对从地面调谐器1013供给的音频信号进行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路1022。

音频信号处理电路1022对从音频A/D转换电路1014供给的音频数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023把从音频信号处理电路1022供给的音频数据提供给音频放大电路1024。

音频放大电路1024对从回声消除/音频合成电路1023供给的音频数据进行D/A转换处理，进行放大处理，以调整为预定音量，随后从扬声器1025输出所述音频。

此外，电视接收机1000还包括数字调谐器1016和MPEG解码器1017。

数字调谐器1016通过天线接收数字广播(地面数字广播，BS(广播卫星)/CS(通信卫星)数字广播)的广播信号，解调获得MPEG-TS(运动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017对赋予从数字调谐器1016供给的MPEG-TS的扰频解扰，提取包括充当重放对象(观看对象)的节目的数据的流。MPEG解码器1017对构成所提取流的音频分组解码，把获得的音频数据提供给音频信号处理电路1022，另外还对构成所述流的视频分组解码，并把获得的视频数据提供给视频信号处理电路1018。另外，MPEG解码器1017通过未示出的路径，把从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU 1032。

电视接收机1000使用上述图像解码设备200作为按照这种方式，解码视频分组的MPEG解码器1017。注意，从广播电台等传送的MPEG-TS已被图像编码设备100编码。

MPEG解码器1017按照和图像解码设备200相同的方式，从供给自图像编码设备100的编码数据中，提取嵌入一个切片头部中的多个切片的控制信息，并利用所述控制信息进行自适应滤波控制处理，从而能够抑制由滤波处理的局部控制引起的编码效率的降低。

按照和从视频解码器1015供给的视频数据的情况相同的方式，从MPEG解码器1017供给的视频数据在视频信号处理电路1018经历预定处理，在图形生成电路1019被酌情重叠在生成的视频数据上等，并通过面板驱动电路1020被提供给显示面板1021，从而其图像被显示在显示面板1021上。

按照和从音频A/D转换电路1014供给的音频数据的情况相同的方式，从MPEG解码器1017供给的音频数据在音频信号处理电路1022经历预定处理，通过回声消除/音频合成电路1023被提供给音频放大电路1024，并经历D/A转换处理和放大处理。结果，从扬声器1025输出按预定音量调整的音频。

另外，电视接收机1000还包括麦克风1026和A/D转换电路1027。

A/D转换电路1027接收由对电视接收机1000设置的用于语音会话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路1023。

在从A/D转换电路1027供给了电视接收机1000的用户(用户A)的音频数据的情况下，回声消除/音频合成电路1023以用户(用户A)的音频数据作为对象，进行回声消除，并经音频放大电路1024，从扬声器1025输出通过合成用户A的音频数据和其它音频数据等而获得的音频数据。

此外，电视接收机1000还包括音频编解码器1028，内部总线1029，SDRAM(同步动态随机存取存储器)1030，闪速存储器1031，CPU 1032，USB(通用串行总线)I/F 1033，和网络I/F 1034。

A/D转换电路1027接收由对电视接收机1000设置的用于语音会话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D转换处理，并把获得的数字音频数据提供给音频编解码器1028。

音频编解码器1028把从A/D转换电路1027供给的音频数据转换成预定格式的数据，以便通过网络传输，并通过内部总线1029提供给网络I/F 1034。

网络I/F 1034通过安装在网络端子1035上的电缆连接到网络。例如，网络I/F 1034把从音频编解码器1028供给的音频数据传送给与网络连接的另一个设备。另外，例如，网络I/F 1034通过网络端子1035，接收从通过网络与之连接的另一个设备传送的音频数据，并通过内部总线1029把接收的音频数据提供给音频编解码器1028。

音频编解码器1028把从网络I/F 1034供给的音频数据转换成预定格式的数据，并把转换后的数据提供给回声消除/音频合成电路1023。

回声消除/音频合成电路1023以从音频编解码器1028供给的音频数据作为对象进行回声消除，经音频放大电路1024从扬声器1025输出通过合成该音频数据和其它音频数据等而获得的音频数据。

SDRAM 1030保存为CPU 1032进行处理所必需的各种数据。

闪速存储器1031保存将由CPU 1032执行的程序。保存在闪速存储器1031中的程序由CPU 1032在预定时刻，比如在启动电视接收机1000时读出。通过数字广播获得的EPG数据，通过网络从预定服务器获得的数据等等也保存在闪速存储器1031中。

例如，MPEG-TS保存在闪速存储器1031中，MPEG-TS包括在CPU 1032的控制下，通过网络从预定服务器获得的内容数据。在CPU1032的控制下，闪速存储器1031通过内部总线1029，把MPEG-TS提供给MPEG解码器1017。

MPEG解码器1017按照和从数字调谐器1016供给的MPEG-TS的情况相同的方式，处理MPEG-TS。这样，电视接收机1000通过网络接收由视频、音频等构成的内容数据，利用MPEG解码器1017解码内容数据，从而能够显示内容数据的视频，并且能够输出内容数据的音频。

另外，电视接收机1000还包括接收从遥控器1051传送的红外信号的受光单元1037。

受光单元1037从遥控器1051接收红外线，把表示通过解调获得的用户操作的内容的控制码输出给CPU 1032。

CPU 1032执行保存在闪速存储器1031中的程序，以按照从受光单元1037供给的控制码等，控制电视接收机1000的全部操作。CPU1032和电视接收机1000的各个单元是通过未示出的路径连接的。

USB I/F 1033进行相对于通过安装在USB端子1036上的USB电缆连接的电视接收机1000的外部设备的数据传输/接收。网络I/F1034通过安装在网络端子1035上的电缆连接到网络，并进行相对于连接到网络的各种设备的除音频数据外的数据传输/接收。

电视接收机1000利用图像解码设备200作为MPEG解码器1017，从而能够提取附加于编码数据的一个切片头部的多个切片的控制信息，此外，所述控制信息可用于执行适当的自适应滤波处理。结果，电视接收机1000能够抑制由对于经天线接收的广播信号或者经网络获得的内容数据的滤波处理的局部控制而引起的编码效率的降低。

<12.第十二实施例>

[蜂窝电话机]

图47是图解说明使用应用本发明的图像编码设备和图像解码设备的蜂窝电话机的主要结构例子的方框图。

图47中所示的蜂窝电话机1100包括配置成一体控制各个单元的主控制单元1150，电源电路单元1151，操作输入控制单元1152，图像编码器1153，照相机I/F单元1154，LCD控制单元1155，图像解码器1156，复用/分离单元1157，记录/重放单元1162，调制/解调电路单元1158，和音频编解码器1159。这些单元通过总线1160互相连接。

另外，蜂窝电话机1100包括操作按键1119，CCD(电荷耦合器件)照相机1116，液晶显示器1118，存储单元1123，传输/接收电路单元1163，天线1114，麦克风(MIC)1121和扬声器1117。

当通过用户的操作，呼叫结束和电源按键被开启时，电源电路单元1151通过从电池组向各个单元供电，以可操作状态启动蜂窝电话机1100。

根据由CPU、ROM、RAM等构成的主控制单元1150的控制，蜂窝电话机1100按照各种模式，比如话音通话模式，数据通信模式等进行各种操作，比如音频信号的传输/接收，电子邮件和图像数据的传输/接收，摄影，数据记录等。

例如，在话音通话模式下，蜂窝电话机1100用音频编解码器1159，把麦克风(话筒)1121收集的音频信号转换成数字音频数据，在调制/解调电路单元1158对数字音频数据进行频谱扩展处理，在传输/接收电路单元1163对处理的数字音频数据进行数/模转换处理和频率转换处理。蜂窝电话机1100通过天线1114，把通过转换处理获得的传输信号传送给未示出的基站。传送给基站的传输信号(音频信号)经公共交换电话网，被提供给对方的蜂窝电话机。

另外，例如，在话音通话模式下，蜂窝电话机1100在传输/接收电路单元1163，放大在天线1114接收的接收信号，对放大的信号进行频率转换处理和模/数转换处理，在调制/解调电路单元1158进行频谱反扩展处理，并用音频编解码器1159转换成模拟音频信号。蜂窝电话机1100从扬声器1117输出转换获得的模拟音频信号。

此外，例如，当在数据通信模式下传送电子邮件时，蜂窝电话机1100在操作输入控制单元1152，接收通过操作按键1119的操作而输入的电子邮件的文本数据。蜂窝电话机1100在主控制单元1150处理文本数据，并借助LCD控制单元1155以图像的形式把文本数据显示在液晶显示器1118上。

另外，蜂窝电话机1100根据由操作输入控制单元1152接收的文本数据、用户指令等，在主控制单元1150生成电子邮件数据。蜂窝电话机1100在调制/解调电路单元1158对电子邮件数据进行频谱扩展处理，在传输/接收电路单元1163进行数/模转换处理和频率转换处理。蜂窝电话机1100把通过转换处理获得的传输信号经天线1114传给未示出的基站。传给基站的传输信号(电子邮件)经网络、邮件服务器等被提供给预定目的地。

另外，例如，当在数据通信模式下接收电子邮件时，蜂窝电话机1100利用传输/接收电路单元1163，通过天线1114接收从基站传来的信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转换处理。蜂窝电话机1100在调制/解调电路单元1158对接收的信号进行频率反扩展处理，以恢复初始的电子邮件数据。蜂窝电话机1100通过LCD控制单元1155，把恢复的电子邮件数据记录在液晶显示器1118上。

注意，蜂窝电话机1100可通过记录/重放单元1162，把接收的电子邮件数据记录(保存)在存储单元1123中。

存储单元1123是可选的可重写记录介质。存储单元123可以是诸如RAM，内置闪速存储器之类的半导体存储器，可以是硬盘，或者可以是诸如磁盘，磁光盘，光盘，USB存储器，存储卡之类的可拆卸介质。当然，存储单元1123可以是除上述介质外的其它介质。

此外，例如，当在数据通信模式下传送图像数据时，蜂窝电话机1100在CCD照相机1116，通过成像生成图像数据。CCD照相机1116包括充当诸如透镜，光圈之类的光学器件和充当光电变换器件的CCD，对被摄物体成像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。CCD照相机1116通过照相机I/F单元1154，在图像编码器1153进行图像数据的压缩编码，并把图像数据转换成编码图像数据。

蜂窝电话机1100采用上述图像编码设备100作为进行上述处理的图像编码器1153。因而，按照和图像编码设备100相同的方式，图像编码器1153能够抑制由滤波处理的局部控制引起的编码效率的降低。例如，通过添加附加于编码数据的一个切片头部的多个切片的控制信息，与把控制信息嵌入每个切片中的情况相比，图像编码器1053能够改善编码效率。

注意在此时，蜂窝电话机1100同时在音频编解码器1159，把在用CCD照相机1116摄影的时候，在麦克风(话筒)1121收集的音频从模拟转换成数字，并进一步对所述音频编码。

蜂窝电话机1100利用预定方法，在复用/分离单元1157复用从图像编码器1153供给的编码图像数据，和从音频编解码器1159供给的数字音频数据。蜂窝电话机1100在调制/解调电路单元1158对作为结果获得的复用数据进行频谱扩展处理，并在传输/接收电路单元1163进行数/模转换处理和频率转换处理。蜂窝电话机1100把通过转换处理获得的传输信号经天线1114传给未示出的基站。传给基站的传输信号(图像数据)经网络等被提供给对方。

注意在不传送图像数据的情况下，蜂窝电话机1100也可经LCD控制单元1155，而不是图像编码器1153，把在CCD照相机1116生成的图像数据显示在液晶显示器1118上。

另外，例如，当在数据通信模式下，接收链接到简单网站等的运动图像文件的数据时，蜂窝电话机1100通过天线1114在传输/接收电路单元1163接收从基站传送的信号，放大接收的信号，并对放大信号进行频率转换处理和模/数转换处理。蜂窝电话机1100在调制/解调电路单元1158对接收的信号进行频率反扩展处理，以恢复初始的复用数据。蜂窝电话机1100在复用/分离单元1157把复用数据分离成编码图像数据和音频数据。

蜂窝电话机1100利用与诸如MPEG2，MPEG4之类的预定编码格式对应的解码格式，在图像解码器1156对编码图像数据解码，从而生成重放运动图像数据，然后通过LCD控制单元1155把重放运动图像数据显示在液晶显示器1118上。从而，例如，包括在链接到简单网站的运动图像文件中的运动图像数据被显示在液晶显示器1118上。

蜂窝电话机1100采用上述图像解码设备200作为实现上述处理的图像解码器1156。因而，按照和图像解码设备200相同的方式，图解解码器1156提取附加于编码数据的一个切片头部的多个切片的控制信息，此外，该控制头部可被用于适当地进行自适应滤波处理。结果，能够抑制由滤波处理的局部控制引起的编码效率的降低。

此时，蜂窝电话机1100同时在音频编解码器1159，把数字音频数据转换成模拟音频信号，并从扬声器1117输出模拟音频信号。从而，例如，包括在链接到简单网站的运动图像文件中的音频数据被播放。

注意，按照和电子邮件的情况相同的方式，蜂窝电话机1100可通过记录/重放单元1162，把链接到简单网站等的接收数据记录(保存)在存储单元1123中。

另外，蜂窝电话机1100在主控制单元1150分析由CCD照相机1116获得的成像二维代码，从而能够获得记录在二维代码中的信息。

此外，便携式电话机1100能够利用红外线，在红外通信单元1181与外部设备通信。

蜂窝电话机1100采用图像编码设备100作为图像编码器1153，从而能够抑制由关于编码数据的滤波处理的局部控制引起的编码效率的降低，所述编码数据是通过对在CCD照相机1116生成的图像数据编码而生成的。结果，蜂窝电话机1100能够以与把控制信息嵌入每个切片中的情况相比更好的编码效率，向另一个设备提供编码数据(图像数据)。

另外，蜂窝电话机1100采用图像解码设备200作为图像解码器1156，从而能够提取附加于编码数据的一个切片头部的多个切片的控制信息，另外，所述控制信息可被用于适当地进行自适应滤波处理。结果，蜂窝电话机1100能够抑制由关于链接到简单网站等的运动图像文件的数据的滤波处理的局部控制引起的编码效率的降低。

注意，至此说明了蜂窝电话机1100采用CCD照相机1116的情况。不过，代替CCD照相机1116，蜂窝电话机1100可以采用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在这种情况下，按照和采用CCD照相机1116的情况相同的方式，蜂窝电话机1100也能够对被摄物体成像，并生成被摄物体的图像的图像数据。

另外，至此关于蜂窝电话机1100进行了说明，不过，按照和蜂窝电话机1100的情况相同的方式，图像编码设备100和图像解码设备200可适用于任何种类的设备，只要所述设备是具有和蜂窝电话机1100相同的成像功能和通信功能的设备，比如PDA(个人数字助手)，智能电话机，UMPC(超移动个人计算机)，上网本，笔记本型个人计算机等。

<13.第十三实施例>

[硬盘记录器]

图48是图解说明采用应用本发明的图像编码设备和图像解码设备的硬盘记录器的主要结构例子的方框图。

图48中所示的硬盘记录器(HDD记录器)1200是把包括在从卫星或地面天线等传送，并由调谐器接收的广播波信号(电视信号)中的广播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令相应的时刻把保存的数据提供给用户的设备。

例如，硬盘记录器1200可从广播波信号中提取音频数据和视频数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。另外，例如，硬盘记录器1200还可通过网络从另一个设备获得音频数据和视频数据，恰当地解码获得的音频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘中。

此外，例如，硬盘记录器1200可解码记录在内置硬盘中的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器1260，在监视器1260的屏幕上显示图像，和从监视器1260的扬声器输出音频。另外，例如，硬盘记录器1200可解码从通过调谐器获得的广播信号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的音频数据和视频数据，把解码的音频数据和视频数据提供给监视器1260，把图像显示在监视器1260的屏幕上，和从监视器1260的扬声器输出音频。

当然，也可进行除这些操作以外的操作。

如图48中所示，硬盘记录器1200包括接收单元1221，解调单元1222，多路分解器1223，音频解码器1224，视频解码器1225，和记录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227，程序存储器1228，工作存储器1229，显示转换器1230，OSD(屏幕显示)控制单元1231，显示控制单元1232，记录/重放单元1233，D/A转换器1234，和通信单元1235。

另外，显示转换器1230包括视频编码器1241。记录/重放单元1233包括编码器1251和解码器1252。

接收单元1221从遥控器(未示出)接收红外信号，把接收的红外信号转换成电信号，把电信号输出给记录器控制单元1226。例如，记录器控制单元1226由微处理器等构成，并按照保存在程序存储器1228中的程序执行各种处理。此时，记录器控制单元1226按照需要，使用工作存储器1229。

连接到网络的通信单元1235通过网络与另一个设备进行通信处理。例如，通信单元1235由记录器控制单元1226控制，从而与调谐器(未示出)通信，并且主要向调谐器输出信道选择控制信号。

解调单元1222解调从调谐器供给的信号，把解调信号输出给多路分解器1223。多路分解器1223把从解调单元1222供给的数据分离成音频数据，视频数据和EPG数据，并把数据分别输出给音频解码器1224，视频解码器1225，和记录器控制单元1226。

音频解码器1224解码输入的音频数据，把解码的音频数据输出给记录/重放单元1233。视频解码器1225解码输入的视频数据，把解码的视频数据输出给显示转换器1230。记录器控制单元1226把输入的EPG数据提供给EPG数据存储器1227，以便保存。

显示转换器1230利用视频编码器1241，把从视频解码器1225或记录器控制单元1226供给的视频数据编码成符合NTSC(国家电视标准委员会)格式的视频数据，并把编码视频数据输出给记录/重放单元1233。另外，显示转换器1230把从视频解码器1225或记录器控制单元1226供给的视频数据的屏幕尺寸转换成与监视器1260的尺寸对应的尺寸，利用视频编码器1241把其屏幕尺寸已被转换的视频数据转换成符合NTSC格式的视频数据，把该视频数据转换成模拟信号，并把模拟视频信号输出给显示控制单元1232。

在记录器控制单元1226的控制下，显示控制单元1232把从OSD(屏幕显示)控制单元1231输出的OSD信号重叠在从显示转换器1230输入的视频信号上，并输出给监视器1260的显示器以便显示。

另外，从音频解码器1224输出的音频数据已利用D/A转换器1234被转换成模拟信号，并被提供给监视器1260。监视器1260从内置扬声器输出该音频信号。

记录/重放单元1233包括作为记录视频数据、音频数据等的存储介质的硬盘。

记录/重放单元1233利用编码器1251，对从音频解码器1224供给的音频数据编码。另外，记录/重放单元1233利用编码器1251，对从显示转换器1230的视频编码器1241供给的视频数据编码。记录/重放单元1233利用复用器，合成音频数据的编码数据和视频数据的编码数据。记录/重放单元1233借助通道编码，放大合成数据，并通过记录头把数据写入硬盘中。

记录/重放单元1233通过重放头，播放记录在硬盘中的数据，放大重放的数据，并利用多路分解器把数据分离成音频数据和视频数据。记录/重放单元1233通过解码器1252解码音频数据和视频数据。记录/重放单元1233利用MPEG格式，用解码器1252解码音频数据和视频数据。记录/重放单元1233把解码的音频数据从数字数据转换成模拟数据，然后输出给监视器1260的扬声器。另外，记录/重放单元1233把解码的视频数据从数字数据转换成模拟数据，并输出给监视器1260的显示器。

记录器控制单元1226根据由通过接收单元1221，从遥控器接收的红外信号指示的用户指令，从EPG数据存储器1227读出最新的EPG数据，并把EPG数据提供给OSD控制单元1231。OSD控制单元1231生成与输入的EPG数据对应的图像数据，并输出给显示控制单元1232。显示控制单元1232把从OSD控制单元1231输入的视频数据输出给监视器1260的显示器，以便显示。从而，EPG(电子节目指南)被显示在监视器1260的显示器上。

另外，硬盘记录器1200可通过诸如因特网之类的网络，获得从另一个设备供给的各种数据，比如视频数据、音频数据、EPG数据等。

记录器控制单元1226控制通信单元1235，以通过网络获得从另一个设备传送的编码数据，比如视频数据、音频数据、EPG数据等，并把获得的数据提供给记录器控制单元1226。记录器控制单元1226把获得的视频数据和音频数据的编码数据提供给记录/重放单元1233，并保存在硬盘中。此时，记录器控制单元1226和记录/重放单元1233可按照需要，进行诸如重新编码之类的处理。

另外，记录器控制单元1226对获得的视频数据和音频数据的编码数据解码，并把获得的视频数据提供给显示转换器1230。按照和从视频解码器1225供给的视频数据相同的方式，显示转换器1230处理从记录器控制单元1226供给的视频数据，并通过显示控制单元1232提供给监视器1260，以显示该图像。

另一方面，可以作出其中按照该图像显示，记录器控制单元1226通过D/A转换器1234，把解码的音频数据提供给监视器1260，并从扬声器输出所述音频的安排。

此外，记录器控制单元1226对获得的EPG数据的编码数据解码，并把解码的EPG数据提供给EPG数据存储器1227。

这样构成的硬盘记录器1200采用图像解码设备200作为视频解码器1225，解码器1252和置于记录器控制单元1226中的解码器。因而，按照和图像解码设备200相同的方式，视频解码器1225，解码器1252和内置于记录器控制单元1226中的解码器提取附加于编码数据的一个切片头部中的多个切片的控制信息，并进一步利用控制信息进行适当的自适应滤波控制处理。结果，能够抑制由滤波处理的局部控制引起的编码效率的降低。

因而，硬盘记录器1200能够提取附加于编码数据的一个切片头部中的多个切片的控制信息，并且能够进一步利用所述控制信息适当地进行自适应滤波处理。结果，硬盘记录器1200能够抑制由关于通过调谐器或通信单元1235接收的视频数据，和记录在记录/重放单元1233的硬盘中的视频数据的滤波处理的局部控制引起的编码效率的降低。

另外，硬盘记录器1200采用图像编码设备100作为编码器1251。因而，按照和图像编码设备100的情况相同的方式，编码器1251能够抑制由滤波处理的局部控制引起的编码效率的降低。例如，编码器1251添加附加于编码数据的一个切片头部的多个切片的控制信息，从而与在每个切片中嵌入控制信息的情况相比，能够改善编码效率。

因而，例如，硬盘记录器1200采用图像编码设备100作为编码器1251，从而能够抑制由关于记录在硬盘中的编码数据的滤波处理的局部控制引起的编码效率的降低。结果与在每个切片中嵌入控制信息的情况相比，硬盘记录器1200能够更高效地使用硬盘的存储区。

注意，上面说明了把视频数据和音频数据记录在硬盘中的硬盘记录器1200，不过，显然可以采用任何种类的记录介质。例如，即使就对其应用除硬盘外的记录介质，比如闪速存储器、光盘、录像带等的记录器来说，图像编码设备100和图像解码设备200也能够按照和上述硬盘记录器1200的情况相同的方式，应用于该记录器。

<14.第十四实施例>

[照相机]

图49是图解说明采用应用本发明的图像编码设备和图像解码设备的照相机的主要结构例子的方框图。

图49中所示的照相机1300对被摄物体成像，把被摄物体的图像显示在LCD 1316上，和把所述图像作为图像数据记录在记录介质1333中。

透镜块1311使光(即，被摄物体的图像)入射到CCD/CMOS 1312。CCD/CMOS 1312是采用CCD或CMOS的图像传感器，所述图像传感器把受光的强度转换成电信号，并提供给照相机信号处理单元1313。

照相机信号处理单元1313把从CCD/CMOS 1312提供的电信号转换成色差信号Y、Cr和Cb，然后提供给图像信号处理单元1314。在控制器1321的控制下，图像信号处理单元1314对从照相机信号处理单元1313供给的图像信号进行预定的图像处理，或者利用MPEG格式，用编码器1341对图像信号编码。图像信号处理单元1314把通过编码图像信号生成的编码数据提供给解码器1315。此外，图像信号处理单元1314获得在屏幕显示(OSD)1320生成的显示用数据，然后提供给解码器1315。

就上述处理来说，照相机信号处理单元1313根据需要，适当利用经总线1317连接的DRAM(动态随机存取存储器)1318，以把图像数据、通过编码图像数据而获得的编码数据等保存在DRAM 1318中。

解码器1315对从图像信号处理单元1314供给的编码数据解码，把获得的图像数据(解码图像数据)提供给LCD 1316。另外，解码器1315把从图像信号处理单元1314供给的显示用数据提供给LCD1316。LCD 1316恰当合成从解码器1315供给的解码图像数据的图像和显示用数据的图像，并显示合成图像。

在控制器1321的控制下，屏幕显示1320通过总线1317，把显示用数据，比如由符号、字符或图形构成的菜单屏幕或图标等输出给图像信号处理单元1314。

根据指示用户利用操作单元1322命令的内容的信号，控制器1321进行各种处理，还通过总线1317，控制图像信号处理单元1314，DRAM 1318，外部接口1319，屏幕显示1320，介质驱动器1323等。为控制器1321进行各种处理所必需的程序，数据等被保存在闪速ROM 1324中。

例如，代替图像信号处理单元1314和解码器1315，控制器1321可对保存在DRAM 1318中的图像数据编码，或者对保存在DRAM1318中的编码数据解码。此时，控制器1321可利用和图像信号处理单元1314或解码器1315的编码和解码格式相同的格式，进行编码和解码处理，或者可利用图像信号处理单元1314不能处理、解码器1315也不能处理的格式进行编码和解码处理。

另外，例如，在从操作单元1322指令图像打印的开始的情况下，控制器1321从DRAM 1318读出图像数据，然后通过总线1317把读出的图像数据提供给与外部接口1319连接的打印机1334，以便打印。

此外，例如，在从操作单元1322指令图像记录的情况下，控制器1321从DRAM 1318读出编码数据，并通过总线1317把读出的编码数据提供给安装在介质驱动器1323上的记录介质1333，以便保存。

例如，记录介质1333是可选的可读/写的可拆卸介质，比如磁盘、磁光盘、光盘、半导体存储器等。显然就可拆卸介质的种类来说，记录介质1333也是可选的，因而记录介质1333可以是磁带设备，或者可以是光盘，或者可以是存储卡。当然，记录介质1333可以是非接触IC卡等。

另一方面，介质驱动器1323和记录介质1333可被配置成结合成非便携式存储介质，例如内置硬盘驱动器，SSD(固态驱动器)等等。

外部接口1319由USB输入/输出端子等构成，在进行图像的打印时被连接到打印机1334。另外，按照需要，驱动器1331被连接到外部接口1319，在驱动器1331上，酌情安装可拆卸介质1332，比如磁盘、光盘或磁光盘，按照需要，从可拆卸介质读取的计算机程序被安装在闪速ROM 1324中。

此外，外部接口1319包括与诸如LAN或因特网之类的预定网络连接的网络接口。例如，按照来自操作单元1322的指令，控制器1321可从DRAM 1318读出编码数据，然后把读出的编码数据从外部接口1319提供给通过网络连接的另一个设备。另外，控制器1321可通过外部接口1319，获得通过网络从另一个设备供给的编码数据或图像数据，并将其保存在DRAM 1318中，或者将其提供给图像信号处理单元1314。

这样构成的照相机1300采用图像解码设备200作为解码器1315。因而，按照和图像解码设备200相同的方式，解码器1315能够提取附加于编码数据的一个切片头部的多个切片的控制信息，并可进一步利用所述控制信息，恰当地进行自适应滤波处理。结果，能够抑制由滤波处理的局部控制引起的编码效率的降低。

因而，照相机1300能够提取附加于编码数据的一个切片头部的多个切片的控制信息，并利用所述控制信息，恰当地进行自适应滤波处理。结果，照相机1300能够抑制由关于在CCD/CMOS 1312生成的图像数据、从DRAM 1318或记录介质1333读出的视频数据的编码数据、和通过网络获得的视频数据的编码数据的滤波处理的局部控制引起的编码效率的降低。

另外，照相机1300采用图像编码设备100作为编码器1341。因而，按照和图像编码设备100的情况相同的方式，编码器1341能够抑制由滤波处理的局部控制引起的编码效率的降低。例如，添加附加于编码数据的一个切片头部的多个切片的控制信息，从而与在每个切片中嵌入控制信息的情况相比，能够改善编码效率。

因而，照相机1300能够抑制由关于记录在DRAM 1318或记录介质1333中的编码数据，或者将提供给其它设备的编码数据的滤波处理的局部控制引起的编码效率的降低。结果，照相机1300能够更高效地利用DRAM 1318或记录介质1333的存储区。另外，照相机1300能够向其它设备提供编码效率良好的编码数据(图像数据)。

注意，图像解码设备200的解码方法可应用于控制器1321进行的解码处理。按照相同的方式，图像编码设备100的编码方法可应用于控制器1321进行的编码处理。

另外，照相机1300拍摄的图像数据可以是运动图像或静止图像。

当然，图像编码设备100和图像解码设备200可应用于除上述设备之外的设备或系统。

另外，宏块的大小并不局限于16×16像素。例如，可以应用于任意大小的宏块，比如图51中所示的32×32像素的宏块大小。

虽然上面说明了在比特流中复用(描述)标记信息等，不过，除了被这样复用之外，可以传送(记录)标记和图像数据(或比特流)。也可以产生其中标记和图像数据(或者比特流)被链接(相加)在一起的形态。

链接(相加)指示其中图像数据(或比特流)和标记被相互链接(相关状态)，而物理位置关系是任意的。例如，图像数据(或比特流)和标记可通过独立的传输路径传送。另外，图像数据(或比特流)和标记可被记录在独立的记录介质中(或者记录在相同记录介质内的独立记录区中)。注意，链接图像数据(或比特流)和标记的增量是可选的，例如，它可被设定成编码处理的增量(一帧，多帧等)。

附图标记列表

100 图像编码设备

112 控制信息生成单元

113 自适应滤波控制单元

132 块信息生成单元

141 处理对象切片区域识别单元

142 ALF块设定单元

143 处理对象ALF块区域识别单元

144 确定单元

145 滤波块标记生成单元

171 控制单元

172 自适应滤波器

173 选择单元

181 编码单元

182 编码数据保持单元

183 控制信息保持单元

184 控制信息附加单元

200 图像解码设备

202 无损解码单元

207 自适应滤波处理单元

221 控制信息提取单元

222 解码单元

223 解码数据保持单元

251 控制单元

261 头部分析单元

281 控制信息附加单元

291 标记附加单元

292 块大小附加单元

293 滤波系数附加单元

301 控制信息提取单元

311 标记提取单元

312 块大小提取单元

313 滤波系数提取单元

Claims

1.一种图像处理设备，包括：

控制信息生成装置，所述控制信息生成装置被配置成生成滤波控制信息，以便为控制块的每个区域控制对图像局部进行的滤波处理；

滤波装置，所述滤波装置被配置成按照所述控制信息生成装置生成的所述滤波控制信息，对所述图像进行所述滤波处理；和

控制信息附加装置，所述控制信息附加装置被配置成向所述图像已被编码的编码数据的每个预定数据增量的头部信息附加对应于所述头部信息所属于的帧的多个所述数据增量的所述滤波控制信息。

2.按照权利要求1所述的图像处理设备，其中所述控制信息附加装置把所述滤波控制信息附加到所述帧的最先传送的数据增量的头部信息中。

3.按照权利要求1所述的图像处理设备，其中所述控制信息附加装置把所述滤波控制信息附加到位于所述帧的开始的数据增量的头部信息中。

4.按照权利要求1所述的图像处理设备，其中所述控制信息附加装置把对应于整个帧的所述滤波控制信息附加到所述头部信息中。

5.按照权利要求1所述的图像处理设备，其中所述控制信息附加装置向所述帧内的多个所述头部信息中的每个头部信息附加与彼此不同的多个所述数据增量对应的所述滤波控制信息。

6.按照权利要求5所述的图像处理设备，还包括：

设定装置，所述设定装置被配置成设定所述帧内的将被附加所述滤波控制信息的所述头部信息的数目。

7.按照权利要求1所述的图像处理设备，其中所述控制信息附加装置向所述头部信息附加指针，所述指针指示附加到所述编码数据中的所述滤波控制信息的位置。

8.按照权利要求1所述的图像处理设备，其中所述数据增量是切片，在所述帧内形成多个所述切片。

9.按照权利要求1所述的图像处理设备，其中所述控制信息包括所述滤波处理的滤波系数、指示所述控制块的区域的大小的块大小、和指示是否对所述控制块的每个区域进行所述滤波处理的标记。

10.按照权利要求1所述的图像处理设备，还包括：

编码装置，所述编码装置被配置成对利用已由所述滤波装置进行所述滤波处理的所述图像生成的图像编码；

其中所述控制信息附加装置把所述滤波控制信息附加到在所述编码装置通过编码生成的编码数据的所述头部信息中。

11.一种图像处理方法，其中

图像处理设备的控制信息生成装置生成滤波控制信息，以便为控制块的每个区域控制对图像局部进行的滤波处理，

所述图像处理设备的滤波装置按照生成的滤波控制信息，对所述图像进行所述滤波处理，和

所述图像处理设备的控制信息附加装置向所述图像已被编码的编码数据的每个预定数据增量的头部信息附加对应于所述头部信息所属于的帧的多个所述数据增量的所述滤波控制信息。

12.一种图像处理设备，包括：

控制信息提取装置，所述控制信息提取装置被配置成提取滤波控制信息，所述滤波控制信息附加到图像已被编码的编码数据的每个预定数据增量的头部信息中，以便控制对控制块的每个区域的所述图像局部进行的滤波处理，并且对应于多个所述数据增量；和

滤波装置，所述滤波装置被配置成按照所述控制信息提取装置提取的所述滤波控制信息，对所述编码数据已被解码的所述图像进行滤波处理。

13.按照权利要求12所述的图像处理设备，还包括：

解码装置，所述解码装置被配置成对所述编码数据解码；

其中所述滤波装置对通过用所述解码装置解码所述编码数据而获得的所述图像进行所述滤波处理。

14.一种图像处理方法，其中

图像处理设备的控制信息提取装置提取滤波控制信息，所述滤波控制信息附加到图像已被编码的编码数据的每个预定数据增量的头部信息中，以便控制对控制块的每个区域的所述图像局部进行的滤波处理，并且对应于多个所述数据增量，和

所述图像处理设备的滤波装置按照提取的滤波控制信息，对所述编码数据已被解码的所述图像进行滤波处理。