CN109951708A - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN109951708A
CN109951708A CN201811127035.6A CN201811127035A CN109951708A CN 109951708 A CN109951708 A CN 109951708A CN 201811127035 A CN201811127035 A CN 201811127035A CN 109951708 A CN109951708 A CN 109951708A
Authority
CN
China
Prior art keywords
unit
slice
image
control information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811127035.6A
Other languages
English (en)
Other versions
CN109951708B (zh
Inventor
近藤健治
田中润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109951708A publication Critical patent/CN109951708A/zh
Application granted granted Critical
Publication of CN109951708B publication Critical patent/CN109951708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明涉及能够抑制编码效率的降低的图像处理设备和方法。控制信息附加单元184把保持在控制信息保持单元183中的一个画面的控制信息，嵌入保持在编码数据保持单元182中的编码数据中的预定切片的切片头部中。例如，控制信息附加单元184把一个画面的控制信息嵌入编码数据中的待处理帧中的最先传送切片的切片头部中。控制信息附加单元184按照预定顺序，输出已被附加控制信息的编码数据。本发明可适用于例如图像处理设备。

Description

图像处理设备和方法
本分案申请是2010年8月10日递交的题为“图像处理设备和方 法”的中国专利申请NO.201610425623.2的分案申请；该申请是2010 年8月10日递交的题为“图像处理设备和方法”的中国专利申请NO. 201080045758.7的分案申请。
技术领域
本发明涉及图像处理设备和方法，具体地说，本发明涉及能够抑 制由编码或解码时的滤波处理的局部控制引起的编码效率的降低的图 像处理设备和方法。
背景技术
近年来，遵守MPEG(运动图像专家组)之类格式的设备已普遍用 于诸如广播之类的信息传送和普通家庭中的信息接收，所述设备以数 字信号的形式处理图像信息，同时利用图像信息特有的冗余，借助诸 如离散余弦变换之类的正交变换和运动补偿压缩图像，以便进行高效 信息传输和存储。
特别地，MPEG-2(ISO(国际标准化组织)/IEC(国际电工技术委员 会)13818-2)被定义为一种通用图像编码格式，是网罗隔行扫描图像和 逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准，现 在已被专业用途和消费用途的各种各样应用普遍采用。通过采用 MPEG-2压缩格式，例如在720×480像素标准分辨率的隔行扫描图像 的情况下，分配4～8Mbps的代码量(比特率)。另外，通过采用MPEG-2 压缩格式，例如在1920×1088像素高分辨率的隔行扫描图像的情况下， 分配18～22Mbps的代码量(比特率)，从而能够实现高压缩比和良好 的图像质量。
MPEG-2主要以适合于广播用途的高图像质量编码为目标，不过 它不处理比MEPG1的代码量低的代码量(比特率)，即，具有较高压 缩比的编码格式。随着个人数字助手的普及，预期今后对这种编码格 式的需要会增长，为了对付这种情况，进行了MEPG4编码格式的标 准化。就图像编码格式来说，其规范在1998年12月以ISO/IEC 14496-2 的形式，被确认为国际标准。
此外近年来，最初预定用于视频会议用图像编码的称为H.26L (ITU-T(ITU电信标准化部门)Q6/16VCEG(视频编码专家组))的标准 的标准化已推进。就H.26L来说，已知与诸如MPEG2或MPEG4之 类常规编码格式相比，尽管H.26L的编码和解码需要更大的计算量， 不过能够获得更高的编码效率。另外目前，作为MPEG4活动的一部 分，以增强压缩视频编码的联合模型的形式，进行了以H.26L为基础、 还利用H.26L不支持的功能，从而实现更高编码效率的标准化。按照 标准化的时间表，在2003年5月，H.264和MPEG-4Part 10(AVC(高 级视频编码))成为国际标准。
另外，作为最近研究的下一代视频编码技术，存在自适应环路滤 波(ALF(自适应环路滤波))(例如，参见NPL 1)。按照这种自适应环路 滤波，每一帧进行最佳滤波处理，能够减少未在解块滤波器完全消除 的块噪声，和由量化引起的噪声。
不过，由于图像通常局部具有各种特征，因此最佳滤波系数也局 部不同。就在NPL1中描述的方法来说，对一帧内的所有像素应用相 同的滤波系数，从而整帧的图像质量得到改善，不过一直有可能存在 局部恶化的顾虑。
因此，设想了在图像质量局部恶化的区域中不进行滤波处理(例 如，参见NPL 2和NPL 3)。这种情况下，图像编码设备使无间隙排列 的多个控制块(好像所述多个控制块用于铺设似的)对应于图像的区 域，并且控制对于每个控制块，是否对图像进行滤波处理。图像编码 设备为每个块设定标记信息，并按照标记信息进行自适应滤波处理。 按照相同的方式，图像解码设备也根据标记信息进行自适应滤波处理。
这种情况下，诸如控制块大小、各个控制块的标记信息、以及自 适应滤波处理的滤波系数信息和滤波器TAP的数目等的控制信息 (ALF控制信息)需要被包括在编码数据中，以便能够执行当解码时要 进行的与编码时的自适应滤波处理相同的自适应滤波处理。
这里的ALF控制信息常常随着每个画面而变化，从而一般的想 法是包括在图像参数集(PPS(画面参数集))或者序列参数集(SPS(序列 参数集))中。不过，当把ALF控制信息包括在这些PPS和SPS中时， 诸如pic_order_present_flag，num_ref_idx_10_active_minus1， profile_idc和level_idc之类的ALF可在图像压缩信息中包括不必要 的比特，因为附加了无直接相关性的信息，从而由于其开销而降低编 码效率。
另外，即使在创建独立的NAL(网络提取层)单元和消除上述不必 要信息的情况下，仍然需要起始码，nal_ref_idc和nal_unit_type，从 而其开销会降低编码效率。
为了避免这样的问题，提出了把ALF控制信息包括在切片头部 中(例如，参见NPL4)。另外，还提出了把指示ALF控制信息的位置 的指针信息，而不是把ALF控制信息放置在切片头部中的方法(例如， 参见NPL 5)。
引用列表
非专利文献
NPL 1：Yi-Jen Chiu和L.Xu,“Adaptive(Wiener)Filter for VideoCompression”，ITU-T SG16Contribution,C437,Geneva,April 2008。
NPL 2：Takeshi.Chujoh等，“Block-based Adaptive Loop Filter”，ITU-TSG16Q6VCEG Contribution,AI18,Germany,July, 2008。
NPL 3：T.Chujoh,N.Wada和G.Yasuda，“Quadtree-based Adaptive LoopFilter”，ITU-T SG16Q6VCEG Contribution, VCEG-AK22(r1),Japan,April,2009。
NPL 4：Takeshi.Chujoh等，“Improvement of Block-based Adaptive LoopFilter”，ITU-T SG16Q6VCEG Contribution,AJ13, San Diego,October,2008。
NPL 5：Yu-Wen Huang等，“Adaptive Quadtree-based Multi- reference LoopFilter”，ITU-T SG16Q6VCEG Contribution,AK24, Yokohama Japan,April,2009。
发明内容
现在，存在一种把一帧分成多个切片，并对每个这样的切片进行 图像的编码处理和解码处理的方法(多切片方法)。把帧分成多个切片 区域是一种在传送期间，提高图像控制信息的抗差错性的有效方法。
但是，NPL 2～NPL 5只说明了仅仅对整个一帧设定块，并生成 和传送所有块的标记信息，从而没有说明在这种多切片情况下的标记 信息的处理，不清楚如何生成和使用标记信息。
因而，就在非专利文献中说明的方法来说，图像编码设备为每个 切片生成帧内的所有块的标记信息，存在编码效率可能因不必要的标 记信息等而降低的担心。
另外，如上所述，NPL 4提出把ALF控制信息包括在切片头部 中，不过在多切片的情况下，就把关于每个切片生成的ALF控制信息 包括在编码数据的每个切片头部中的方案来说，一直有在多个ALF控 制信息之间，会出现具有冗余内容的部分的担心。即，一直有会不必 要地降低编码效率的担心。
就如在NPL 5中描述的把指针放置在切片头部中的情况来说同 样如此，因为要是把指针放置在多个切片头部中，那么这意味在编码 数据中包括冗余信息，从而一直有会不必要地降低编码效率的担心。
鉴于这种情况，提出了本发明，本发明的目的是抑制由编码或解 码时的滤波处理的局部控制引起的编码效率的降低。
本发明的一个方面是一种图像处理设备，包括：控制信息生成装 置，所述控制信息生成装置被配置成生成滤波控制信息，以便为控制 块的每个区域控制对图像局部进行的滤波处理；滤波装置，所述滤波 装置被配置成按照控制信息生成装置生成的滤波控制信息，对图像进 行滤波处理；和控制信息附加装置，所述控制信息附加装置被配置成 向图像已被编码的编码数据的每个预定数据增量的头部信息附加对应 于所述头部信息所属于的帧的多个数据增量的所述滤波控制信息。
控制信息附加装置可把滤波控制信息附加到帧的最先传送的数 据增量的头部信息中。
控制信息附加装置可把滤波控制信息附加到位于帧的开始的数 据增量的头部信息中。
控制信息附加装置可把对应于整个帧的滤波控制信息附加到所 述头部信息中。
控制信息附加装置可向帧内的多个头部信息中的每个头部信息 附加与彼此不同的多个数据增量对应的滤波控制信息。
图像处理设备还包括设定装置，所述设定装置被配置成设定帧内 的将被附加滤波控制信息的头部信息的数目。
控制信息附加装置可向头部信息附加指针，所述指针指示附加到 编码数据中的滤波控制信息的位置。
所述数据增量可以是切片，在帧内形成多个所述切片。
控制信息可包括滤波处理的滤波系数、指示控制块的区域的大小 的块大小、和指示是否对控制块的每个区域进行滤波处理的标记。
图像处理设备还包括编码装置，所述编码装置被配置成对利用已 由滤波装置进行滤波处理的图像生成的图像编码，而控制信息附加装 置把滤波控制信息附加到在编码装置，通过编码生成的编码数据的头 部信息中。
本发明的另一方面是一种图像处理方法，其中图像处理设备的控 制信息生成装置生成滤波控制信息，以便为控制块的每个区域控制对 图像局部进行的滤波处理，图像处理设备的滤波装置按照生成的滤波 控制信息，对图像进行滤波处理，图像处理设备的控制信息附加装置 向图像已被编码的编码数据的每个预定数据增量的头部信息附加对应 于所述头部信息所属于的帧的多个数据增量的所述滤波控制信息。
本发明的另一方面是一种图像处理设备，包括：控制信息提取装 置，所述控制信息提取装置被配置成提取滤波控制信息，所述滤波控 制信息附加到图像已被编码的编码数据的每个预定数据增量的头部信 息中，以便控制对控制块的每个区域的图像局部进行的滤波处理，并 且对应于多个数据增量；和滤波装置，所述滤波装置被配置成按照控 制信息提取装置提取的滤波控制信息，对编码数据已被解码的图像进 行滤波处理。
图像处理设备还包括解码装置，所述解码装置被配置成对编码数 据解码，而滤波装置对通过用解码装置解码编码数据而获得的图像进 行滤波处理。
本发明的另一个方面是一种图像处理方法，其中图像处理设备的 控制信息提取装置提取滤波控制信息，所述滤波控制信息附加到图像 已被编码的编码数据的每个预定数据增量的头部信息中，以便控制对 控制块的每个区域的图像局部进行的滤波处理，并且对应于多个数据 增量，和图像处理设备的滤波装置按照提取的滤波控制信息，对编码 数据已被解码的图像进行滤波处理。
按照本发明的一个方面，生成滤波控制信息，以便为控制块的每 个区域控制对图像局部进行的滤波处理，遵守生成的滤波控制信息对 图像进行滤波处理，与所述头部信息所属于的帧的多个数据增量对应 的滤波控制信息被附加到其图像已被编码的编码数据的每个预定数据 增量的头部信息中。
按照本发明的另一个方面，提取滤波控制信息，所述滤波控制信 息附加到其图像已被编码的编码数据的每个预定数据增量的头部信息 中，以便控制控制块的每个区域的对图像局部进行的滤波处理，并且 对应于多个数据增量，遵守控制信息提取装置提取的滤波控制信息， 对编码数据已被解码的图像进行滤波处理。
本发明的有益效果
按照本发明，图像能够被编码或解码。特别地，能够进一步抑制 由编码或解码时的滤波处理的局部控制引起的编码效率的降低。例如， 即使当在图像的每一帧被分成多个切片的情况下进行编码或解码时， 也能够抑制编码效率的降低。
附图说明
图1是图解说明应用本发明的图像编码设备的主要结构例子的方 框图。
图2是说明可变块大小运动预测/补偿处理的示图。
图3是图解说明控制信息生成单元的主要结构例子的方框图。
图4是说明ALF块和滤波块标记的示图。
图5是说明多切片的一个例子的示图。
图6是说明切片0的处理的示图。
图7是说明切片1的处理的示图。
图8是说明对其应用本发明的切片1的处理的示图。
图9是图解说明自适应滤波处理单元的主要结构例子的方框图。
图10是图解说明无损编码单元的主要结构例子的方框图。
图11是说明把控制信息包括在传送的第一个切片的头部中的情 形的示图。
图12是图解说明切片头部语法的例子的示图。
图13是说明编码处理的流程的例子的流程图。
图14是说明控制信息生成处理的流程的例子的流程图。
图15是说明块信息生成处理的流程的例子的流程图。
图16是说明自适应滤波处理的流程的例子的流程图。
图17是说明无损编码处理的流程的例子的流程图。
图18是图解说明应用本发明的图像解码设备的主要结构例子的 方框图。
图19是图解说明无损解码单元的主要结构例子的方框图。
图20是说明解码处理的流程的例子的流程图。
图21是说明无损解码处理的流程的例子的流程图。
图22是说明把控制信息包括在起始切片的头部中的情形的示图。
图23是说明无损编码处理的流程的另一个例子的流程图。
图24是说明无损解码单元的另一个结构例子的方框图。
图25是说明无损解码处理的流程的另一个例子的流程图。
图26是说明把控制信息包括在任意切片的头部中的情形的示图。
图27是说明无损编码处理的流程的另一个例子的流程图。
图28是说明无损解码处理的流程的另一个例子的流程图。
图29是说明把指针包含在切片的头部中的情形的示图。
图30是说明无损编码处理的流程的另一个例子的流程图。
图31是说明无损解码处理的流程的另一个例子的流程图。
图32是说明把控制信息包含在按组组装的切片头部中的情形的 示图。
图33是图解说明无损编码处理的流程的另一个例子的流程图。
图34是图解说明无损编码单元的另一个结构例子的方框图。
图35是图解说明无损编码处理的流程的另一个例子的流程图。
图36是图解说明无损解码单元的另一个结构例子的方框图。
图37是图解说明无损解码处理的流程的另一个例子的流程图。
图38是图解说明无损编码单元的另一个结构例子的方框图。
图39是图解说明无损编码处理的流程的另一个例子的流程图。
图40是图解说明无损解码单元的另一个结构例子的方框图。
图41是图解说明无损解码处理的流程的另一个例子的流程图。
图42是图解说明ALF块和滤波块标记的另一个例子的示图。
图43是图解说明ALF块和滤波块标记的另一个例子的示图。
图44是图解说明在多切片的情况下，进行处理的方式的示图。
图45是图解说明应用本发明的个人计算机的主要结构例子的方 框图。
图46是图解说明应用本发明的电视接收机的主要结构例子的方 框图。
图47是图解说明应用本发明的蜂窝电话机的主要结构例子的方 框图。
图48是图解说明应用本发明的硬盘记录器的主要结构例子的方 框图。
图49是图解说明应用本发明的照相机的主要结构例子的方框图。
图50是图解说明宏块的例子的示图。
具体实施方式
下面说明本发明的实施例(下面称为“实施例”)。注意将按照下述 顺序进行说明。
1.第一实施例(图像编码设备)
2.第二实施例(图像解码设备)
3.第三实施例(把控制信息包括在起始切片的头部中的例子)
4.第四实施例(把控制信息包括在可选切片的头部中的例子)
5.第五实施例(利用指针的例子)
6.第六实施例(把控制信息组装在多个组中的例子)
7.第七实施例(控制组的数目的例子)
8.第八实施例(按要素独立分组的例子)
9.第九实施例(QALF)
10.第十实施例(个人计算机)
11.第十一实施例(电视接收机)
12.第十一实施例(蜂窝电话机)
13.第十三实施例(硬盘记录器)
14.第十四实施例(照相机)
<1.第一实施例>
[设备的结构]
图1表示充当应用本发明的图像处理设备的图像编码设备的实施 例的结构。
图1中所示的图像编码设备100是利用例如H.264和MPEG-4 Part 10(高级视频编码)(下面称为H.264/AVC)格式对图像进行压缩编 码，并且还采用自适应环路滤波的编码设备。
就图1中的例子来说，图像编码设备100具有A/D(模/数)转换单 元101，屏幕重排缓冲器102，计算单元103，正交变换单元104，量 化单元105，无损编码单元106，和存储缓冲器107。图像编码设备100 还具有反量化单元108，反正交变换单元109，计算单元110，和解块 滤波器111。此外，图像编码设备100具有控制信息生成单元112，自 适应滤波处理单元113，和帧存储器114。另外，图像编码设备100 具有帧内预测单元115，运动补偿单元116，运动预测单元117，和预 测图像选择单元118。此外，图像编码设备100具有速率控制单元119。
A/D转换单元101对输入图像数据进行A/D转换，然后输出给 屏幕重排缓冲器102并保存。屏幕重排缓冲器102按照GOP(画面组) 结构，把按照保存的显示顺序的各帧的图像重排成用于编码的各帧的 顺序。
计算单元103从读取自屏幕重排缓冲器102的图像中减去来自由 预测图像选择单元118选择的帧内预测单元115的预测图像，或者来 自运动补偿单元116的预测图像，并把差值信息输出给正交变换单元 104。正交变换单元104对来自计算单元103的差值信息进行正交变换， 比如离散余弦变换，Karhunen Loéve变换等，并输出变换系数。量化 单元105量化正交变换单元104输出的变换系数。
作为量化单元105的输出的量化的变换系数被输入无损编码单元 106。无损编码单元106对量化的变换系数进行诸如变长编码，算术编 码之类的无损编码。
无损编码单元106从帧内预测单元115获得指示帧内预测的信息 等，并从运动预测单元117获得指示帧间预测模式的信息等。注意， 指示帧内预测的信息下面也被称为帧内预测模式信息。另外，指示帧 间预测模式的信息下面也被称为帧间预测模式信息。
无损编码单元106另外从控制信息生成单元112获得在自适应滤 波处理单元113进行的自适应滤波处理的控制信息。
无损编码单元106对量化的变换系数编码，还把自适应滤波处理 的控制信息，指示帧内预测的信息，指示帧间预测模式的信息，量化 参数等作为编码数据的头部信息的一部分(复用)。无损编码单元106 把通过编码获得的编码数据提供给存储缓冲器107，以便存储。
例如，借助无损编码单元106，进行无损编码处理，比如变长编 码，算术编码等。变长编码的例子包括由H.264/AVC格式确定的 CAVLC(上下文自适应变长编码)。算术编码的例子包括CABAC(上下 文自适应二进制算术编码)。
存储缓冲器107临时保存从无损编码单元106供给的数据，并在 预定时刻将其输出给图中未示出的下游的存储设备，或传输路径等， 作为用H.264/AVC格式编码的编码图像。
另外，从量化单元105输出的量化的变换系数还被输入反量化单 元108。反量化单元108用与在量化单元105的量化对应的方法，进 行量化的变换系数的反量化，然后把获得的变换系数提供给反正交变 换单元109。
反正交变换单元109用与正交变换单元104的正交变换处理对应 的方法，对供给的变换系数进行反正交变换。经过反正交变换的输出 被提供给计算单元110。计算单元110相加从预测图像选择单元118 供给的预测图像，和从反正交变换单元109供给的反正交变换的结果， 即恢复的差值信息，从而获得局部解码的图像(解码图像)。相加结果 被提供给解块滤波器111。
解块滤波器111从解码图像中消除块噪声。解块滤波器111随后 把把消噪结果提供给控制信息生成单元112和自适应滤波处理单元 113。
控制信息生成单元112获得从解块滤波器111供给的解码图像， 和从屏幕重排缓冲器102读出的当前输入图像，然后据此生成将在自 适应滤波处理单元113进行的自适应滤波的控制信息。尽管细节将在 后面说明，不过控制信息包括滤波系数，块大小，滤波块标记，等等。
控制信息生成单元112把生成的控制信息提供给自适应滤波处理 单元113。控制信息生成单元112还把生成的控制信息提供给无损编 码单元106。如上所述，控制信息由无损编码单元106包含在编码数 据中(被复用)。即，控制信息连同编码数据一起被发送给图像解码设 备。
自适应滤波处理单元113利用从控制信息生成单元112供给的控 制信息的滤波系数，块大小规格，滤波块标记等等，对从解块滤波器 111供给的解码图像进行滤波处理。例如，Wiener滤波器被用作该滤 波器。当然，也可以使用除Wiener滤波器外的滤波器。自适应滤波 处理单元113把滤波处理结果提供给帧存储器114，并保存为参考图 像。
帧存储器114在预定时刻，把保存的参考图像输出给运动补偿单 元116和运动预测单元117。
就图像编码设备100来说，例如，来自屏幕重排缓冲器102的I 画面，B画面和P画面作为将经历帧内预测(也称为帧内处理)的图像 被提供给帧内预测单元115。另外，从屏幕重排缓冲器102读出的B 画面和P画面作为将经历帧间预测(也称为帧间处理)的图像被提供给 运动预测单元117。
帧内预测单元115根据从屏幕重排缓冲器102读出的将经历帧内 预测的图像，和从帧存储器114供给的参考图像，进行所有候选帧内 预测模式的帧内预测处理，从而生成预测图像。
就帧内预测单元115来说，与应用于当前块/宏块的帧内预测模 式相关的信息被传给无损编码单元106，并作为头部信息的一部分被 包含在编码数据中。就H.264图像信息编码格式来说，对亮度信号定 义帧内4×4预测模式，帧内8×8预测模式，和帧内16×16预测模式， 另外对于色差信号，可独立于亮度信号、为每个宏块定义预测模式。 对帧内4×4预测模式来说，为每个4×4亮度块定义一种帧内预定模式。 对帧内8×8预测模式来说，为每个8×8亮度块定义一种帧内预测模式。 对帧内16×16预测模式和色差信号来说，为每个宏块定义一种预测模 式。
帧内预测单元115计算已生成预测图像的帧内预测模式的成本函 数值，并选择计算的成本函数值得出最小值的帧内预测模式，作为最 佳帧内预测模式。帧内预测单元115把按最佳帧内预测模式生成的预 测图像提供给预测图像选择单元118。
对于将经历帧间编码的图像，运动预测单元117获得从屏幕重排 缓冲器102供给的图像信息(输入图像)，和充当与从帧存储器114供 给的参考帧的图像信息(解码图像)，并计算运动向量。运动预测单元 117把指示计算的运动向量的运动向量信息提供给无损编码单元106。 运动向量信息由无损编码单元106包含在编码数据中(被复用)。即， 运动向量信息连同编码数据一起被发送给图像解码设备。
另外，运动预测单元117也把运动向量信息提供给运动补偿单元 116。
运动补偿单元116按照从运动预测单元117供给的运动向量信 息，进行运动补偿处理，从而生成帧间预测图像信息。运动补偿单元 116把生成的预测图像信息提供给预测图像选择单元118。
就用于进行帧内编码的图像来说，预测图像选择单元118把帧内 预测单元115的输出提供给计算单元103，就用于进行帧间编码的图 像来说，预测图像选择单元118把运动补偿单元116的输出提供给计 算单元103。
速率控制单元119根据保存在存储缓冲器107中的压缩图像，控 制量化单元105的量化操作的速率，以致不会发生上溢或下溢。
就MPEG(运动图像专家组)2来说，运动预测/补偿处理的增量是 运动补偿块，在每个运动补偿块可保持独立的运动向量信息。就帧运 动补偿模式来说，运动补偿块的大小为16×16像素，就场运动补偿模 式来说，对第一场和第二场来说，运动补偿块的大小均为16×8像素。
另一方面，就AVC(高级视频编码)来说，如在图2中的上部所示， 由16×16像素构成的一个宏块可被分成16×16,16×8,8×16或8×8像素 分区任意之一，每个分区保持独立的运动向量信息。另外，如在图2 中的下部所示，8×8分区可被分成8×8,8×4,4×8或4×4子分区任意之 一，每个子分区保持独立的运动向量信息。以该运动补偿块作为增量，进行运动预测/补偿处理。
图3是图解说明控制信息生成单元112的主要结构例子的方框 图。
如上所述，控制信息生成单元112生成在自适应滤波器(ALF(自 适应环路滤波))使用的控制信息，自适应环路滤波(ALF)是在自适应滤 波处理单元113执行的环路滤波器。例如，控制信息生成单元112例 如生成滤波系数，ALF块大小和滤波块标记作为控制信息。
控制信息生成单元112具有滤波系数计算单元131和块信息生成 单元132。
滤波系数计算单元131获得从解块滤波器111供给的解码图像， 和从屏幕重排缓冲器102读出的当前输入图像，并计算每一帧的ALF 滤波系数。从而对于每一帧，计算ALF滤波系数。
块信息生成单元132生成诸如ALF块大小，滤波块标记之类的 块信息。例如，块信息生成单元132根据从解块滤波器111供给的解 码图像，和滤波系数计算单元131计算的滤波系数，确定ALF块大小。 另外，例如，块信息生成单元132生成待处理的切片内的每个ALF块 的滤波块标记。
现在，将说明块信息的ALF块和滤波块标记。图4是说明ALF 块和滤波块标记的示图。
如上所述，自适应滤波具有对每一帧设置的滤波系数。即，以帧 为增量进行最佳滤波处理。不过，帧图像通常并不完全均匀，局部具 有各种特征。于是，最佳滤波系数局部不同。因而，尽管利用如上所 述每一帧确定的滤波系数的滤波处理改善了整帧的图像质量，不过一 直存在图像质量事实上会局部恶化的顾虑。
因而，设想在图像质量局部恶化的区域中，不进行滤波处理的 BALF(基于块的自适应环路滤波)。
在图4的A中的帧151中，表示了解块滤波处理之后的解码图像。 如图4的B中所示，块信息生成单元132无间隙地排列多个ALF块152，好像所述多个ALF块152用于铺设帧151的整个区域似的，所 述多个ALF块152是充当局部进行的自适应滤波处理的控制的增量的 控制块。放置ALF块152的区域不必与帧151的区域相同，不过至少 包括帧151的整个区域。结果，帧151的区域被ALF块152的区域(多 个控制区域)分割。
块信息生成单元132确定ALF块152的水平方向的大小(双箭头 153)，和垂直方向的大小(双箭头154)。就ALF块的大小来说，例如， 对于每个切片可以指定8×8,16×16,24×24,32×32,48×48,64×64,96×96或 128×128之一。注意，指定ALF块的大小的信息被称为块大小指标。
一旦确定了块大小，就确定了每帧的ALF块的数目，因为帧大 小是固定的。
如图4的C中所示，块信息生成单元132在每个ALF块152中， 设置控制是否进行滤波处理的滤波块标记155。例如，就其中图像质 量因自适应滤波而改善的区域来说，生成具有值“1”的滤波块标记 155，而就其中图像质量因自适应滤波而恶化的区域来说，生成具有值 “0”的滤波块标记155。就滤波块标记155来说，值“1”指示要进行滤 波处理，值“0”指示不进行滤波处理。
自适应滤波处理单元113根据滤波块标记155的值，控制自适应 滤波处理。例如，自适应滤波处理单元113只在其中ALF块152具有 值为“1”的滤波块标记155的区域进行滤波处理，对其中ALF块152 具有值为“0”的滤波块标记155的区域不进行滤波处理。
另外，上面说明的块大小指标和滤波块标记被包括在编码数据的 切片头部中，并从图像编码设备100发送给图像解码设备。例如，与 ALF块的数目相应的一个或多个滤波块标记按照光栅扫描的顺序，被 包含在切片头部中。
因而，ALF块的大小越小，能够实现越精细的滤波控制，从而能 够进行更适当的ALF滤波。不过，较小的ALF块大小会增大滤波块 标记的比特量。即，ALF块的大小越小，编码数据的编码效率越降低。 从而，自适应滤波的性能和编码数据的编码效率是一种折衷关系。
ALF块的数目用下述表达式(1)计算。
[数学表达式1]
在表达式(1)中，NALFBLOCK表示ALF块的数目。另外，NMBw表 示在画面的水平方向的宏块的数目，NMBh表示在画面的垂直方向的宏 块的数目。此外，NSIZE表示ALF块的一边的大小。另外，floor[x]是 通过舍入x的小数位而得到整数的函数。
现在，就H.264/AVC来说，一帧可被分成多个切片，对于每个 切片输出编码数据。图5是说明多切片的一个例子的示图。就图5中 的例子来说，帧151被分成三个切片，即，切片0、切片1和切片2。
把帧分成多个切片区域是一种在图像压缩信息的传送期间，提高 抗差错性的有效方法。
说明BALF的NPL 2并没有公开这种多切片。即，只说明了对 整个帧设定ALF块。如上所述，ALF块是对整个帧设定的。即，对 每个切片设定整个帧的ALF块，存在可能设定在切片区域之外的不必 要的ALF块的顾虑。
例如，在图5中所示的切片结构的例子中，在如在图6的A中所 示处理切片0的情况下，对于在框架161中所示的切片0，设置整个 帧151的ALF块152，如在图6的B中所示。
类似地，在图5中所示的切片结构的例子中，在如在图7的A中 所示处理切片1的情况下，对于用框架162指示的切片1区域，设置 整个帧151的ALF块152，如在图7的B中所示。
在图6的B和图7的B的阴影区中所示的ALF块152是在切片 0或切片1区域之外的块，对于切片0或切片1区域的处理来说，是 不必要的块。
对这样的块设定这样的不必要块或标记是不相关的处理。从而， 为了避免不必要地增加处理，图3中所示的控制信息生成单元112的 块信息生成单元132只生成包括待处理的切片区的ALF块和滤波块标 记。
例如，在图5中所示的切片结构例子中，在如在图8的A中所示 处理切片1的情况下，对于在框架162中所示的切片1的区域，块信 息生成单元132只设定包括在其区域中的ALF块152，如在图8的B 中所示，并且只为所述ALF块152生成滤波块标记。
返回图3，块信息生成单元132具有处理对象切片区域识别单元 141，ALF块设定单元142，处理对象ALF块区域识别单元143，确 定单元144，和滤波块标记生成单元145。
处理对象切片区域识别单元141识别作为解码图像供给的待处理 切片的区域在整个帧内的位置。
ALF块设定单元142确定ALF块大小，并在整个帧中设定ALF 块152。从而，还识别整个帧中的ALF块的数目。
处理对象ALF块区域识别单元143从由ALF块设定单元142设 定的每个ALF块152中，选择一个待处理的ALF块，并识别选择的 待处理ALF块的区域的位置。
确定单元144确定待处理的ALF块的区域是否包括待处理切片 的区域。滤波块标记生成单元145生成已被确定单元144确定为“包括 待处理切片的区域”的ALF块的滤波块标记。滤波块标记生成单元145 利用滤波系数计算单元131计算的滤波系数，对待处理ALF块的区域 进行自适应滤波处理，并取决于与处理前相比滤波处理结果的图像质 量是否得到改善，确定滤波块标记的值。
滤波块标记生成单元145输出诸如滤波块标记和ALF块大小之 类的控制信息。
图9是表示图1中的自适应滤波处理单元113的主要结构例子的 方框图。
自适应滤波处理单元113利用从控制信息生成单元112供给的控 制信息，对从解块滤波器111供给的解码图像进行滤波处理。
如图9中所示，自适应滤波处理单元113具有控制单元171，自 适应滤波器172和选择单元173。
控制单元171控制自适应滤波器172和选择单元173。例如，控 制单元171从控制信息生成单元112获得控制信息。另外，控制单元 171把包括在获得的控制信息中的滤波系数提供给自适应滤波器172， 从而设定滤波系数。此外，控制单元171根据包括在控制信息中的ALF 块大小，识别待处理的ALF块的区域的位置。另外，控制单元171 根据包含在控制信息中的滤波块标记的值，控制自适应滤波器172， 并在控制选择单元173的操作时，酌情对每个ALF块区域进行滤波处 理。
自适应滤波器172利用控制单元171设定的滤波系数，对从解块 滤波器111供给的解码图像的、由控制单元171指定为待处理ALF块 的区域进行滤波处理。自适应滤波器172把滤波处理的结果提供给选 择单元173。
选择单元173由控制单元171控制，以选择从解块滤波器111供 给的解码图像(未进行自适应滤波处理的解码图像)和从自适应滤波器 172供给的解码图像(已进行自适应滤波处理的解码图像)中的一个或 另一个，并把选择的解码图像提供给帧存储器114，并将其保存为参 考图像。
即，自适应滤波处理单元113只对从解块滤波器111供给的解码 图像的其中滤波块标记指示进行滤波处理的区域(被确定为通过滤波 处理而具有改善的图像质量的区域)进行滤波处理。
图10是表示图1中的无损编码单元106的主要结构例子的方框 图。
如上所述，在把从控制信息生成单元112供给的控制信息嵌入(写 入)编码数据的切片头部中的时候，无损编码单元106对从量化单元 105供给的量化的系数数据进行无损编码，并生成编码数据。此时， 无损编码单元106编译画面(帧)内的每个切片的控制信息，把一个画 面(一帧)的控制信息嵌入一个切片头部中。从而，无损编码单元106 能够删除每个切片的控制信息之间的重叠部分(冗余部分)，并嵌入切 片头部中。从而，与把每个切片的控制信息分别嵌入编码数据中的情 况相比，无损编码单元106能够更多地提高编码数据的编码效率。
无损编码单元106具有编码单元181，编码数据保持单元182， 控制信息保持单元183，和控制信息附加单元184，如图10中所示。
编码单元181对每个切片的图像数据(量化的系数数据)进行无损 编码，从而生成编码数据。每个切片的编码数据被保持在编码数据保 持单元182中。编码数据保持单元182能够保持至少一个画面的编码 数据。
控制信息保持单元183获得并保持由控制信息生成单元112生成 的每个切片的控制信息。控制信息保持单元183能够保持至少一个画 面的控制信息。控制信息附加单元184把保持在控制信息保持单元183 中的控制信息嵌入保持在编码数据保持单元182中的编码数据的，在 画面内最先输出的切片的头部信息中，随后提供给存储缓冲器107。
此时，控制信息附加单元184编译保持在控制信息保持单元183 中的待处理画面的控制信息，删除冗余部分，生成一个画面的控制信 息，随后将其嵌入编码数据的切片头部中。
例如，如图11中所示，帧151由切片0，切片1和切片2构成， 借助控制信息生成单元112，关于切片0生成控制信息191-1，关于切 片1生成控制信息191-2，和关于切片2生成控制信息191-3。
另外，编码数据194是按照切片1，切片0和切片2的顺序输出 的。即，按照切片1头部192-1，切片1数据193-1，切片0头部192-2， 切片0数据193-2，切片2头部192-3，切片2数据193-3的顺序输出 编码数据194。
此时，控制信息附加单元184把帧151的控制信息191-1～控制 信息191-3都嵌入作为首先输出的切片1的头部(切片头部)的切片1 头部192-1中。此时，控制信息附加单元184编译控制信息191-1～控 制信息191-3，删除冗余部分，生成与整个帧151对应的(一个画面的) 控制信息191(未示出)，然后把控制信息191嵌入切片1头部192-1中。
控制信息附加单元184按照诸如在图12的A和图12的B中所 示的语法之类的语法，把控制信息嵌入切片头部中。图12中的A表 示切片头部语法的一个例子，图12中的B表示一部分控制信息的语 法的例子。如图12中的B中所示，控制信息附加单元184把帧151 的所有控制块的滤波块标记嵌入一个切片头部中。
[处理流程]
下面说明使用如上构成的各个部分的处理的流程。首先，参考图 13中的流程图，说明由图像编码设备100进行的编码处理的流程的例 子。
在步骤S101，A/D转换单元101把输入图像从模拟转换成数字。 在步骤S102，屏幕重排缓冲器102保存A/D转换后的图像，并进行从 显示画面的序列到编码序列的重排。
在步骤S103，计算单元103计算由步骤S102中的处理重排的图 像和预测图像之间的差值。在进行帧间预测的情况下，预测图像从运 动补偿单元116经预测图像选择单元118被提供给计算单元103，而 在进行帧内预测的情况下，预测图像从帧内预测单元115经预测图像 选择单元118被提供给计算单元103。
与初始图像数据相比，差值数据数据量较少。因而，与原样编码 初始图像的情况相比，能够压缩数据量。
在步骤S104，正交变换单元104对由步骤S103中的处理生成的 差值信息进行正交变换。具体地说，进行诸如离散余弦变换，Karhunen Loéve变换之类的正交变换，从而输出变换系数。在步骤S105，量化 单元105量化变换系数。在所述量化的时候，控制速率，比如将说明 后面说明的步骤S119的处理。
这样量化的差值信息如下被本地解码。具体地说，在步骤S106， 反量化单元108用与量化单元105的特性对应的特性，对用量化单元 105量化的变换系数进行反量化。在步骤S107，反正交变换单元109 利用与正交变换单元104的特性对应的特性，对用反量化单元108反 量化的变换系数进行反正交变换。
在步骤S108，计算单元110相加经预测图像选择单元118输入 的预测图像和本地解码的差值信息，并生成本地解码图像(与计算单元 103的输入对应的图像)。在步骤S109，解块滤波器111对从计算单元 110输出的图像进行滤波。从而消除块噪声。
当对一个切片进行上述处理时，在步骤S110，控制信息生成单 元112生成将用于自适应滤波处理的控制信息。控制信息生成处理的 细节将在后面说明。
当在步骤S110中的处理生成了诸如滤波系数，ALF块大小和滤 波块标记之类的控制信息时，在步骤S111，自适应滤波处理单元113 利用控制信息，对经历步骤S109的处理中的解块滤波处理的解码图像 进行自适应滤波处理。自适应滤波处理的细节将在后面说明。
在步骤S112，帧存储器114保存经历步骤S111中的自适应滤波 处理的图像。
在步骤S113，帧内预测单元115按照帧内预测模式，进行帧内 预测。在步骤S114，运动预测单元117和运动补偿单元116按照帧间 预测模式，进行帧间运动预测/补偿处理。
在步骤S115，预测图像选择单元118按照待处理帧的预测模式， 选择用帧内预测处理生成的预测图像或者用帧间运动预测/补偿处理 生成的预测图像之一。预测图像选择单元118把选择的预测图像提供 给计算算单元103和110。如上所述，预测图像被用于步骤S103和 S108中的计算。
在步骤S116，无损编码单元106进行无损编码处理，以对从量 化单元105输出的量化变换系数编码。具体地说，差值图像经历诸如 变长编码，算术编码之类的无损编码，并被压缩。此时，无损编码单 元106在切片头部中嵌入(写入)在步骤S110中生成的控制信息，步骤 S113中的帧内预测处理的帧内预测模式信息，步骤S114中的帧间运 动预测/补偿处理的帧间预测模式等的元数据。在图像解码的时候，所 述元数据被读出和使用。无损编码处理的细节将在后面说明。
在步骤S117，存储缓冲器107保存编码数据。保存在存储缓冲 器107中的编码数据被酌情读出，并通过传输路径被传给解码方。
在步骤S118，速率控制单元119根据保存在存储缓冲器107中 的编码数据，控制量化单元105的量化操作的速率，以致不会发生上 溢或下溢。
现在参考图14的流程图，说明在图13的步骤S110中，由控制 信息生成单元112执行的控制信号生成处理的流程的例子。
当开始控制信息生成处理时，在步骤S131，控制信息生成单元 112的滤波系数计算单元131利用从屏幕重排缓冲器102供给的输入 图像，和从解块滤波器111供给的经过解块滤波处理的解码图像，计 算滤波系数。例如，滤波系数计算单元131确定滤波系数的值，以致 输入图像和解码图像之间的残差最小。
当计算了滤波系数时，在步骤S132，块信息生成单元132生成 包括ALF块大小和滤波块标记的块信息。块信息生成处理的细节将在 后面说明。当生成了块信息时，处理返回图13中的步骤S110，并执 行步骤S111和之后的处理。
注意，可以帧为增量进行在步骤S131中进行的滤波系数的计算。 这种情况下，可以只对帧内的预定切片(例如，帧内的标识号为预定值， 例如(“0”)的切片，或者帧内首先被处理的切片等)进行步骤S131中的 处理，同时该值被用于其它切片。另外，任意图像可被用于滤波系数 的计算。例如，可根据过去的帧图像进行计算。
下面参考图15中的流程图，说明在图14的步骤S132中执行的 块信息生成处理的流程的例子。
当开始块信息生成处理时，在步骤S151，处理对象切片区域识 别单元141识别待处理的切片的区域。
为了知道待处理的当前切片的区域，通过知道包括在当前切片中 的宏块，和知道包括在宏块中的像素，能够知道所述区域。处理对象 切片区域识别单元141从切片头部获得当前切片的起始宏块地址。
现在，起始宏块地址是从屏幕的左上部开始，按照光栅扫描的顺 序赋予宏块的编号。如图5中所示，图像(帧151)中左上部的宏块地址 为0。切片0始于帧151的左上部，从而切片0的起始宏块156-1的 宏块地址为0。按照该顺序，切片0的最终宏块156-2的宏块地址为 E0。另外，按照和切片0相同的方式，切片1的起始宏块157-1的宏 块地址为S1，最终宏块157-2的宏块地址为E1。此外，切片2的起始 宏块158-1的宏块地址为S2，最终宏块158-2的宏块地址为E2。
当解码当前切片时，每当完成一个宏块的解码处理时，增加一个 宏块地址，最终达到当前切片的最终宏块。在所述最终宏块设定指示 切片的最终宏块的标记。由此，能够了解当前切片保持的所有宏块地 址。即，这是从起始宏块地址到最终宏块地址。
现在，就AVC流(图像压缩信息)的序列参数集(SPS(序列参数集)) 来说，一帧的图像大小由宏块的数目指示。pic_height_in_map_units_ minus1指示在图像的垂直方向的宏块的数目，pic_width_in_mbs_ minus1指示在图像的水平方向的宏块的数目。
因而，根据宏块地址，宏块的位置用下面的表达式(2)和表达式(3) 表示。
mbx＝宏块地址％pic_width_in_mbs_minus1...(2)
mby＝floor[宏块地址/pic_width_in_mbs_minus1]...(3)
在表达式(2)和表达式(3)中，mbx指示宏块是从左侧开始的第几 个，mby指示宏块是从上部开始的第几个。另外，floor[z]指示z在小 数位被舍入，以致为整数，A％B指示用B除A获得的余数。
如果假定宏块的大小被确定为16×16像素，那么在宏块的左上部 的像素的垂直方向和水平方向位置为(16×mbx，16×mby)，包括在该宏 块中的像素是包括在从所述左上像素位置开始向下方向的16个像素， 和向右方向的16个像素的范围中的像素。至此，能够知道当前切片的 所有像素。即，待处理切片的区域被识别。
在图15的步骤S152中，ALF块设定单元142确定ALF块大小。 在步骤S153，ALF块设定单元142确定帧内的ALF块的数目。由于 帧的图像大小是预先确定的，因此当ALF块大小被确定时，还能够计 算以帧的左上部作为原点，铺设ALF块所必需的ALF块的数目(帧内 的ALF块的数目)。预先提供ALF块的垂直方向大小(像素的数目)和 水平方向大小(像素的数目)的设定值，从而ALF块设定单元142按照 设定值，确定ALF块的大小和ALF块的数目，并相对于解码图像放 置各个ALF块。
注意，ALF块的数目用下面的表达式(4)和表达式(5)计算。
num_alf_block_x＝floor[(16×(pic_width_in_mbs_minus1+1)+
(alf_block_size-1))/alf_block_size]...(4)
num_alf_block_y＝floor[(16×(pic_height_in_map_units_minus1 +1)+(alf_block_size-1))/alf_block_size]...(5)
在表达式(4)和(5)中，num_alf_block_x和num_alf_block_y分别 是包括在图像中的水平和垂直ALF块的数目。另外，alf_block_size 表示ALF块的一边的大小。为了简化说明，假定ALF块是正方形。 当然，可以作出其中ALF块的垂直方向大小和水平方向大小彼此不同 的安排。
在步骤S154，处理对象ALF块区域识别单元143确定待处理的 ALF块。在步骤S155，处理对象ALF块区域识别单元144确定待处 理的ALF块的区域。
第i个ALF块的位置用下面的表达式(6)和表达式(7)表示。
alf_block_x＝i％(num_alf_block_x-1)...(6)
alf_block_y＝floor[i/(num_alf_block_x-1)]...(7)
在表达式(6)和表达式(7)中，alf_block_x和alf_block_y分别指示 第i个ALF块是水平方向和垂直方向的哪个数字。第i个ALF块的左 上部像素的位置是通过把alf_block_x和alf_block_y分别乘以 alf_block_size而获得的位置。即，水平方向为16×alf_block_x，垂直 方向为16×alf_block_y。因而，第i个ALF块的区域是从其左上部像 素开始的alf_block_size×alf_block_size的范围。
在步骤S156，确定单元144确定待处理切片的区域是否包括在 如上所述识别的待处理的ALF块的区域中。
如果确定待处理切片的区域包括在待处理的ALF块的区域中， 那么流程进入步骤S157。待处理的ALF块是为待处理的切片所必需 的ALF块，从而在步骤S157，滤波块标记生成单元145为该待处理 的ALF块生成滤波块标记。在步骤S158，滤波块标记生成单元145 输出生成的滤波块标记。
当步骤S158中的处理结束时，流程进入步骤S159。另外在步骤 S156中，如果确定待处理切片的区域不包括在待处理的ALF块的区 域中，那么该ALF块不是待处理切片所必需的，从而流程进入步骤 S159。
在步骤S159，确定处理对象ALF块区域识别单元143是否处理 了帧内的所有ALF块，如果确定还未处理所有的ALF块，那么流程 返回步骤S154，设定待处理的新的ALF块，重复之后的处理。每当 重复该循环处理时，处理对象ALF块区域识别单元144都按照光栅扫描顺序，从左上部的ALF块开始，每次一个地从铺设在帧区域中的 ALF块组中选择ALF块，作为待处理的ALF块。
另外，如果在步骤S159中确定处理了帧内的所有ALF块，那么 结束块信息生成处理，流程返回图14的步骤S132，结束控制信息生 成处理，随后流程返回图13中的步骤S110，执行步骤S111和之后的 处理。
注意在上面的说明中，当布置ALF块，以便铺设帧图像的区域 时，帧的左上部被描述成原点，不过，所述原点的位置是可选的。例 如，原点的位置可以是帧的左下部，右下部，右上部或者中心。不过， 必须事先确定原点的位置和排列ALF块的方式，以便在编码处理和解 码处理之间是公共的。
另外在上面的说明中，选择待处理的ALF块的顺序被描述成从 左上部开始，按照光栅扫描的顺序，不过，选择顺序和开始位置是可 选的。
下面参考图16的流程图，说明在图13的步骤S111中执行的自 适应滤波处理的流程的例子。
当开始自适应滤波处理时，待处理切片的解码图像被提供给自适 应滤波器172和选择单元173。在步骤S171，控制单元171识别待处 理切片的区域。和图15的步骤S151中的处理的情况相同，控制单元 171获得切片头部的相关切片的起始宏块地址，另外检测识别最终宏 块的标记，把从起始宏块到最终宏块的区域识别为待处理切片的区域。
在步骤S172，控制单元171获得由控制信息生成单元112生成 的滤波系数，并在自适应滤波器172中设定该滤波系数。在步骤S173， 控制单元171获得由控制信息生成单元112确定的ALF块大小，并按 所述ALF块大小设定(布置)ALF块，以便铺设帧的整个区域。
在步骤S174，和图15中的步骤S154的情况相同，控制单元171 将这样设定的ALF块组中的未处理ALF块之一确定为待处理的ALF 块。ALF块选择顺序是预先确定的，与控制信息生成单元112中的 ALF块选择顺序相同。
在步骤S175，和图15中的步骤S155的情况相同，控制单元171 识别确定的待处理ALF块的区域。
在步骤S176，按照和图15的步骤S156的情况相同的方式，控 制单元171确定待处理切片的区域是否包含在待处理ALF块的区域 内。如果确定待处理切片的区域包括在待处理ALF块的区域内，那么 流程进入步骤S177。
在步骤S177，控制单元171获得由控制信息生成单元112生成 的待处理ALF块的滤波块标记。控制信息生成单元112如上所述生成 滤波块标记，从而实际上只提供包括待处理切片的区域的ALF块的滤 波块标记。ALF块的处理顺序与控制信息生成单元112的处理顺序相 同，从而滤波块标记是按照ALF块处理的顺序供给的。因而，控制单 元171按照所述供给顺序获得(使用)滤波块标记，于是能够获得(使用) 待处理ALF块的滤波块标记。
注意，滤波块标记的供给时刻和控制单元171获得滤波块标记的 时刻不必相符。即，控制单元171可把从控制信息生成单元112供给 的滤波块标记临时保存在内置缓冲器等中，然后在步骤S177的处理期 间，从所述缓冲器读出滤波块标记。在这种情况下，通过把读出滤波 块标记的顺序设定成从控制信息生成单元112供给的顺序，即，和在 缓冲器中的保存顺序相同，控制单元171也能够获得待处理ALF块的 滤波块标记。
在步骤S178，控制单元171确定滤波块标记的值是否为1。如果 滤波块标记的值为1，并且发出对待处理ALF块的区域进行滤波处理 的指令，那么流程进入步骤S179。在步骤S179，自适应滤波器172 受控制单元171控制，从而对待处理ALF块进行滤波处理。当步骤S179中的处理结束时，流程进入步骤S180。这种情况下，在步骤S180， 控制单元171控制选择单元173选择自适应滤波器172的输出，并将 其输出到帧存储器114中。即，经过滤波处理的解码图像(的一部分的 区域)被保存在帧存储器114中。当步骤S180中的处理结束时，流程 进入步骤S181。
另外，在步骤S178，如果滤波块标记的值为0，并且发出不对待 处理ALF块的区域进行滤波处理的指令，那么省略步骤S179中的处 理，流程进入步骤S180。这种情况下，在步骤S180，控制单元171 控制选择单元173选择解块滤波器111的输出，并将其输出给帧存储器114。即，未经历滤波处理的解码图像(的一部分的区域)被保存在帧 存储器114中。当步骤S180中的处理结束时，流程进入步骤S181。
另外，当在步骤S176中确定待处理切片的区域未包含在待处理 ALF块的区域中时，待处理ALF块是与待处理切片无关的ALF块， 从而省略步骤S177-S180中的处理，流程进入步骤S181。
在步骤S181，控制单元171确定帧内的所有ALF块是否都已被 处理。如果确定存在未处理的ALF块，那么流程返回步骤S174，对 新的待处理ALF块重复之后的处理。每当重复该循环处理时，控制单 元171按照光栅扫描的顺序，从左上部的ALF块开始，每次一个地从铺设在帧区域中的ALF块组中选择ALF块，作为待处理ALF块。
另外，如果在步骤S181中确定帧内的所有ALF块都已被处理， 那么结束自适应滤波处理，流程返回图13的步骤S111，随后进行步 骤S112和之后的处理。
通过这样进行自适应滤波处理，自适应滤波处理单元113能够根 据帧内的对在帧中形成的多个切片中的待处理切片来说必需的那部分 ALF块的滤波块标记，恰当地对待处理切片进行滤波处理。从而，自 适应滤波处理单元113能够降低待处理切片的未能用解块滤波器消除 的块噪声和起因于量化的噪声。
下面参考图17的流程图，说明在图13的步骤S116中进行的无 损编码处理的流程的例子。
当开始无损编码处理时，在步骤S191，无损编码单元106的编 码单元181顺序编码供给的图像数据(量化的系数数据)，从而对待处 理切片编码，并生成编码数据。
在步骤S192，编码数据保持单元182保持在步骤S191中生成的 编码数据。在步骤S193，控制信息保持单元183保持从控制信息生成 单元112供给的，与编码数据属于的切片(待处理切片)对应的控制信 息。
对帧内的每个切片，进行如上所述的步骤S191-步骤S193中的各 个处理。当对一个切片的处理结束时，在步骤S194，控制信息附加单 元184确定编码单元181是否已对于帧内的所有切片编码图像数据(量 化的系数数据)。在确定存在未处理的切片的情况下，流程返回步骤 S191，然后重复之后的处理。
在步骤S194，当确定编码单元181已对帧内的所有切片编码时， 流程进入步骤S195。
在步骤S195，控制信息附加单元184把保持在控制信息保持单 元183中的控制信息嵌入保持在编码数据保持单元182中的一帧的编 码数据的首先传送的切片的切片头部中。此时，控制信息附加单元184 获得并编译保持在控制信息保持单元183中的控制信息，并生成编码 数据所属于的帧(画面)的一个画面的控制信息。控制信息附加单元184 把所述一个画面的控制信息嵌入切片头部中。
即，在由多个切片构成的一帧的编码数据中，一帧(画面)的控制 信息(滤波系数，ALF块大小，滤波块标记等)被附加(嵌入)切片头部 之一中。
即，多个切片的控制信息被附加到一个切片头部中(还附加其它 切片的控制信息)。在按切片把控制信息嵌入多个切片头部中的情况 下，在控制信息中会出现重复的内容，不过，控制信息附加单元184 编译并把一帧的控制信息附加到一个切片头部中，从而能够减少这样 的冗余，因而能够提高编码效率。
这里，“附加”意味按可选形态使控制信息与编码数据相关联。例 如，这可被描述成编码数据的语法，或者可被描述成用户数据。另外， 块信息可处于作为元数据而与编码数据链接的状态。即，“附加”包括 “嵌入”、“描述”、“复用”、“链接”等等。
在步骤S196，把控制信息附加到编码数据的控制信息附加单元 184按照预定顺序，输出编码数据。当输出一个画面的编码数据时， 无损编码单元106结束无损编码处理，返回图13中的步骤S116，从 而进入步骤S117及之后的处理。
通过进行这种无损编码处理，图像编码设备100能够抑制由编码 或解码时的滤波处理的局部控制引起的编码效率的降低。例如，在把 图像的各个帧分成多个切片并进行处理的情况下，图像编码设备100 能够抑制编码效率的降低。
<2.第二实施例>
[设备的结构]
下面将说明与在第一实施例中说明的图像编码设备100对应的图 像解码设备。图18是图解说明充当应用本发明的图像处理设备的图像 解码设备的实施例的结构例子的方框图。
图像解码设备200解码从图像编码设备100输出的编码数据，从 而生成解码图像。
图像解码设备200由存储缓冲器201，无损解码单元202，反量 化单元203，反正交变换单元204，计算单元205和解块滤波器206 构成。图像解码设备200还具有自适应滤波处理单元207。图像解码 设备200还具有屏幕重排缓冲器208和D/A(数/模)转换单元209。图像解码设备200还具有帧存储器210，帧内预测单元211，运动补偿单 元212和选择单元213。
存储缓冲器201保存传送的压缩图像信息。无损解码单元202利 用与无损编码单元106的编码格式对应的格式，对从存储缓冲器201 供给的由图1的无损编码单元106编码的信息解码。
如果当前宏块已被帧内编码，那么无损解码单元202提取保存在 编码数据的头部部分中的帧内预测模式信息，并将其传给帧内预测单 元211。另外，如果当前宏块已被帧间编码，那么无损解码单元202 提取保存在编码数据的头部部分中的运动向量信息，并将其传给运动 补偿单元212。
另外，无损解码单元202从编码数据的帧内首先供给的切片的切 片头部，提取用于自适应滤波的一个画面的控制信息(由控制信息生成 单元112生成的控制信息)，并将其提供给自适应滤波处理单元207。
反量化单元203利用和图1中的量化单元105的量化格式对应的 格式，对无损解码单元202解码的图像进行反量化。反正交变换单元 204利用和图1中的正交变换单元104的正交变换格式对应的格式， 对反量化单元203的输出进行反正交变换。
计算单元205相加从选择单元213供给的预测图像和经过反正交 变换的差值信息，并生成解码图像。解块滤波器206消除利用所述相 加处理生成的解码图像的块噪声。
自适应滤波处理单元207根据包括在从无损解码单元202供给的 一个画面的控制信息中的滤波系数、ALF块大小和滤波块标记等信 息，对从解块滤波器206供给的图像进行滤波处理。自适应滤波处理 单元207按照和图1中的自适应滤波处理单元113相同的方法，进行 自适应滤波处理。因而，自适应滤波处理单元207能够降低未被解块 滤波器206完全消除的块噪声和起因于量化的噪声。
自适应滤波处理单元207把滤波处理后的图像提供给帧存储器 210，以便保存为参考图像信息，另外还把图像输出给屏幕重排缓冲器 208。
屏幕重排缓冲器208进行图像的重排。即，由图1的屏幕重排缓 冲器102为编码重排的各帧的顺序被重排成原始显示顺序。D/A转换 单元209进行从屏幕重排缓冲器208供给的图像的D/A转换，并输出 转换后的图像。例如，D/A转换单元209把通过进行D/A转换获得的 输出信号输出给未示出的显示器，并显示图像。
在当前帧被帧内编码时，帧内预测单元211根据从无损解码单元 202供给的信息生成预测图像，并把生成的预测图像输出给选择单元 213。
在当前帧被帧间编码时，运动补偿单元212根据从无损解码单元 202供给的运动向量信息，对保存在帧存储器210中的参考图像信息 进行运动补偿。
在当前宏块被帧内编码时，选择单元213连接到帧内预测单元 211，把从帧内预测单元211供给的图像作为预测图像提供给计算单元 205。另外，在当前宏块被帧间编码时，选择单元213连接到运动补偿 单元212，把从运动补偿单元212供给的图像作为预测图像提供给计 算单元205。
图19是表示图18中的无损解码单元202的详细结构例子的方框 图。注意为了说明的简洁起见，将省略与帧内预测模式信息和运动向 量信息的提取有关的结构的说明。
如图19中所示，无损解码单元202具有控制信息提取单元221 和解码单元222。控制信息提取单元221从存储缓冲器201获得编码 数据，从帧内首先供给的切片的切片头部提取一个画面的控制信息， 并将其提供给自适应滤波处理单元207。
解码单元222用与无损编码单元106的编码方法对应的解码方 法，解码从控制信息提取单元221供给的编码数据，并生成解码数据 (量化的系数数据)。解码单元222把生成的解码数据提供给反量化单 元203。
从而，控制信息提取单元221提取嵌入编码数据的切片头部中的 控制信息，将其提供给自适应滤波处理单元207，从而自适应滤波处 理单元207能够根据所述控制信息，恰当地进行自适应滤波处理。即， 自适应滤波处理单元207能够类似于图像编码设备100的自适应滤波 处理单元113，进行自适应滤波处理。
[处理的流程]
参考图20的流程图，说明由图像解码设备200进行的解码处理 的流程的例子。
在步骤S201，存储缓冲器201保存传送的图像(编码数据)。在步 骤S202，无损解码单元202进行无损解码处理，从而对从存储缓冲器 201供给的编码数据进行无损解码。
虽然细节将在后面说明，不过就这里的无损解码处理来说，由图 1中的无损编码单元106编码的I画面、P画面和B画面被解码。注 意在此时，运动向量信息，参考帧信息，预测模式信息(指示帧内预测 模式或帧间预测模式的信息)等也被提取。
具体地说，当预测模式信息是帧内预测模式信息时，预测模式信 息被提供给帧内预测单元211。当预测模式信息是帧间预测模式信息 时，与预测模式信息对应的运动向量信息和参考帧信息被提供给运动 补偿单元212。
此外，就这里的无损解码处理来说，从编码数据的切片头部提取 用于自适应滤波处理的一个画面的控制信息，并将其提供给自适应滤 波处理单元207。
在步骤S203，反量化单元203利用与图1的量化单元105的特 性对应的特性，进行在步骤S202中解码的变换系数的反量化。在步骤 S204，反正交变换单元204利用与图1的正交变换单元104的特性对 应的特性，对在步骤S203中反量化的变换系数进行反正交变换。这意 味与图1中的正交变换单元104的输入(计算单元103的输出)对应的 差值信息被解码。
在步骤S205，计算单元205相加在后面说明的步骤S211的处理 中选择的预测图像和所述差值信息。从而，原始图像被解码。在步骤 S206，解块滤波器206对从计算单元205输出的图像滤波。从而，消 除块噪声。
在步骤S207，自适应滤波处理单元207还对经过解块滤波处理 的图像进行自适应滤波处理。所述自适应滤波处理与图1中的自适应 滤波处理单元113进行的处理相同。即，除了利用从无损解码单元202 供给的控制信息之外，该自适应滤波处理与参考图16的流程图说明的 情况相同。不过，从无损解码单元202供给的控制信息已由图1中的 控制信息生成单元112生成，基本上与图1中的自适应滤波处理单元 113使用的从控制信息生成单元112供给的控制信息相同。
由于该自适应滤波处理，能够降低未被解块滤波器完全消除的块 失真和量化失真。
在步骤S208，帧存储器210保存经过滤波的图像。
当供给帧内预测模式信息时，在步骤S209，帧内预测单元211 按帧内预测模式进行帧内预测处理。另外，当供给帧间预测模式信息 时，在步骤S210，运动补偿单元212按帧间预测模式进行运动补偿处 理。
在步骤S211，选择单元213选择预测图像。即，选择帧内预测 单元211生成的预测图像和运动补偿单元212生成的预测图像之一， 选择的预测图像提供给计算单元205。
例如，在图像被帧内编码的情况下，选择单元213选择帧内预测 单元211生成的预测图像，并把选择的预测图像提供给计算单元205。 另外，在图像被帧间编码的情况下，选择单元213选择运动补偿单元 212生成的预测图像，并把选择的预测图像提供给计算单元205。
在步骤S212，屏幕重排缓冲器208进行重排。具体地说，由图1 中的图像编码设备100的屏幕重排缓冲器102为编码而重排的各帧的 顺序被重排成初始显示序列。
在步骤S213，D/A转换单元209进行来自屏幕重排缓冲器208 的图像的D/A转换。该图像被输出给未示出的显示器，从而该图像被 显示。
从而，就图像解码设备200来说，无损解码单元202提取并解码 从图像编码设备100供给的控制信息，自适应滤波处理单元207利用 控制信息，进行与图像编码设备100的自适应滤波处理单元113相同 的自适应滤波处理。
下面参考图21中的流程图，说明在图20的步骤S202中进行的 无损解码处理的流程的例子。
当开始无损解码处理时，控制信息提取单元221在步骤S231中， 确定供给的编码数据是否是帧(画面)的首先传送的切片。
例如，在帧编号(frame_num)不同于到目前为止的切片的情况下， 其切片是相关画面的第一个切片。另外，例如，在指示帧画面或场画 面的标记(field_pic_flag)不同于到目前为止的切片的情况下，其切片是 相关画面的第一个切片。此外，例如，在指示上部场或下部场的标记 (bottom_field_flag)不同于到目前为止的切片的情况下，其切片是相关画面的第一个切片。另外，例如，在帧编号(frame_num)相同，并且 画面顺序计数POC值不同于到目前为止的切片的情况下，其切片是 相关画面的第一个切片。此外，例如，在nal_ref_idc信息不同于到目 前为止的切片的情况下，其切片是相关画面的第一个切片。另外，就其中idr_pic_idc信息不同于到目前为止的切片的IDR画面来说，其 切片是相关画面的第一个切片。
因而，控制信息提取单元221参考这些值，在这些值之一不同于 到目前为止的切片的情况下，确定其切片是相关画面的第一个切片。
不用说，控制信息提取单元221可根据除此之外的信息，确定切 片是否是首先传送的切片。
在步骤S231，在确定是帧的最先传送的切片的情况下，流程进 入步骤S232。在步骤S232，控制信息提取单元221从切片头部提取 一个画面的控制信息，并将其提供给自适应滤波处理单元207。
当提取了控制信息时，流程进入步骤S233。另外，在步骤S231 中，在确定供给的编码数据不是帧(画面)的最先传送的切片的情况下， 流程进入步骤S233。
在步骤S233，解码单元222对编码数据的待处理切片解码。在 步骤S234，解码单元222把解码获得的解码数据(量化的系数数据)输 出给反量化单元203。在步骤S235，解码单元222确定帧内的所有切 片是否都已被处理。在确定存在未处理的切片的情况下，流程返回步 骤S231，重复之后的处理。另外，如果在步骤S235中确定帧内的所 有切片都已被处理，那么结束无损解码处理，流程返回图20中的步骤 S207，执行步骤S208和之后的处理。
通过这样进行无损解码处理，无损解码单元202能够提取附加于 编码数据的控制信息，并将其提供给自适应滤波处理单元207。从而， 自适应滤波处理单元207能够恰当地执行自适应滤波处理。从而，自 适应滤波处理单元207能够降低待处理切片的未能用解块滤波器完全 消除的块噪声和归因于量化的噪声。
另外在此时，如上所述，控制信息被嵌入相关画面的第一个切片 的切片头部中，控制信息提取单元221恰当地检测相关画面的第一个 切片，并从切片头部提取一个画面的控制信息。
这样，自适应滤波处理单元207能够在处理第一个切片的时刻， 准备相关画面的控制信息，从而能够不过度延迟地进行自适应滤波处 理。即，在对每个切片进行自适应滤波处理的情况下，不需要提供用 于准备控制信息的不必要等待时间，从而自适应滤波处理单元207能 够用和把控制信息嵌入每个切片头部的情况类似的处理时间，进行自 适应滤波处理。
因而，图像解码设备200能够抑制由滤波处理的局部控制引起的 编码效率的降低。例如，即使在把每帧图像分割成多个切片并进行处 理的情况下，也能够抑制编码效率的降低。
<3.第三实施例>
[把控制信息包括在起始切片的头部中的例子的简要说明]
注意，虽然上面说明了把一个画面的控制信息附加于最先输出 (传送)的切片的切片头部，不过，控制信息可被附加于另一个切片的 切片头部。例如，控制信息可被附加于起始切片的切片头部。
起始切片是位于帧(画面)中的顶部的切片。另外，起始切片是具 有最小切片标识号的切片。此外，起始切片是包括其MB地址为“0” 的宏块的切片。通常，这些切片是相同切片，不过不必一致。这种情 况下，根据各个条件任意之一，确定起始切片。
即，虽然关于第一实施例和第二实施例说明的首先传送的切片是 用其处理顺序识别的切片，不过，起始切片是用位置关系(例如，标识 号或坐标)识别的切片。
例如，比如说如图22中所示，在由3个切片(切片0，切片1和 切片2)构成的帧151中，切片0被设定为起始切片。
这种情况下，为各个切片生成的控制信息191-1～控制信息191-3 都被附加到切片0头部192-2(它是起始切片的切片头部)，而不管各个 切片被处理的顺序。切片0的初始MB地址为0。因而，在这种情况 下，控制信息提取单元221参考该切片头部中的first_mb_in_slice(规 定切片中的第一MB地址的信息)的值，如果该值为“0”，那么可知之 后包含控制信息。因而，控制信息提取单元221能够在不进行边界检 查的情况下，容易地确认控制信息的存在，然后提取控制信息。
不过，同样如图22中所示，起始切片不一定首先被传送。就图 22中的例子来说，编码数据194是按照切片1，切片0和切片2的顺 序传送的。
因而，在这种情况下，在从起始切片提取控制信息之前，自适应 滤波处理单元207不能对在起始切片之前传送的切片(就图22中的例 子来说，切片0)进行自适应滤波处理。
[编码方]
这种情况下的图像编码设备100的无损编码单元106的结构与参 考图10说明的第一实施例的情况相同。
下面参考图23中的流程图，说明这种情况下的无损编码处理的 流程。图23中的流程图对应于图17中所示的流程图。
这种情况下，同样进行与第一实施例的情况基本相同的处理。即， 当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤 S191-步骤S194的各个处理相同的方式，进行步骤S251-步骤S254的 各个处理，为每个切片编码量化的系数数据。
在步骤S255，控制信息附加单元184把保持在控制信息保持单 元183的控制信息嵌入保持在编码数据保持单元182中的一帧编码数 据的起始切片的切片头部中。此时，控制信息附加单元184获得和组 装保持在控制信息保持单元183中的控制信息，并生成编码数据所属 于的帧(画面)的一个画面的控制信息。控制信息附加单元184把该一 个画面的控制信息嵌入起始切片的切片头部中。
在步骤S256，把控制信息附加于编码数据的控制信息附加单元 184按照预定顺序，输出编码数据。当输出一个画面的编码数据时， 无损编码单元106结束无损编码处理，返回图13中的步骤S116，然 后进入从步骤S117起的处理。
通过进行这样的无损编码处理，图像编码设备100能够按照和第 一实施例相同的方式，抑制由滤波处理的局部控制引起的编码效率的 降低。另外，能够使解码时的控制信息的提取更容易。
[解码方]
下面说明按照本实施例的图像解码设备200。图24是图解说明这 种情况下的图像解码设备200的无损解码单元202的结构例子的方框 图。如图24中所示，这种情况下的无损解码单元202具有与就参考图 19说明的第二实施例来说的无损解码单元202基本相同的结构。
不过，这种情况下，无损解码单元202还包括解码数据保持单元 223。解码数据保持单元223保持在解码单元222解码生成的解码数据。
在把控制信息包括在起始切片的切片头部中的情况下，如上所 述，在传送起始切片之前，未获得控制信息。因而，解码数据保持单 元223保持在起始切片之前传送的切片的解码数据，直到获得控制信 息为止。
下面，参考图25中的流程图，说明在图20的步骤S202中执行 的这种情况下的无损解码处理的流程的例子。图25中的流程图对应于 图21中所示的流程图。
在这种情况下，同样按照和第二实施例的情况基本相同的方式进 行处理。即，当开始无损解码处理时，在步骤S271中，控制信息提取 单元221确定供给的编码数据是否是帧(画面)的起始切片。
例如，如果确定切片头部中的first_mb_in_slice的值为“0”，从 而是起始切片，那么流程进入步骤S272。在步骤S272，控制信息提 取单元221从其切片头部提取一个画面的控制信息，并将其提供给自 适应滤波处理单元207。
当提取了控制信息时，流程进入步骤S273。另外，如果在步骤 S271中确定供给的编码数据不是起始切片，那么流程进入步骤S273。
在步骤S273，当解码单元222对编码数据解码时，在步骤S274， 解码数据保持单元223保持解码获得的解码数据。
在步骤S275，解码数据保持单元223确定控制信息是否已被控 制信息提取单元221提取。如果确定控制信息已被提取，那么解码数 据保持单元223进入步骤S276，开始把保持的编码数据输出给反量化 单元203。
当开始解码数据的输出时，流程进入步骤S277。另外，如果在 步骤S275中确定对正在处理的当前帧来说，控制信息还未被提取，那 么流程进入步骤S277。
在步骤S277，控制信息提取单元221确定帧内的所有切片是否 都已被处理。当确定存在未处理的切片时，流程返回步骤S271，对未 处理切片重复后面的处理。另外，如果在步骤S277确定帧内的所有切 片都已被处理时，无损解码处理结束，流程返回图20中的步骤S207， 并执行步骤S208的处理。
通过这样进行无损解码处理，无损解码单元202能够提取附加于 编码数据的控制信息，并提供给自适应滤波处理单元207。因而，自 适应滤波处理单元207能够恰当地进行自适应滤波处理。因而，自适 应滤波处理单元207能够降低待处理切片中未被解块滤波器完全消除 的块噪声和归因于量化的噪声。
另外在此时，如上所述，控制信息被嵌入当前画面的起始切片的 切片头部中，从而控制信息提取单元221能够容易地检测当前画面的 起始切片，并从切片头部提取一个画面的控制信息。
<4.第四实施例>
[把控制信息包括在预定切片的头部中的例子的简要说明]
注意，控制信息可被附加于除上面说明的最先传送的切片，起始 切片之外的切片的切片头部。
例如，假定如图26中所示，在由3个切片(切片0，切片1和切 片2)构成的帧151中，切片0被设定为起始切片。
此时，为各个切片生成的控制信息191-1～控制信息191-3都可 被附加于切片2头部192-3(它是被预先设定为所述预定切片的切片2 的切片头部)，而不管切片的处理顺序。
切片2(切片2头部192-3)的识别方法是任意方法。另外，在这种 情况下，图像解码设备200的控制信息提取单元221的控制信息检测 方法也是可选的。
和第三实施例的情况一样，就这种情况来说，其中已嵌入控制信 息的切片同样不一定最先被传送。就图26中的例子来说，编码数据 194是按照切片1，切片0和切片2的顺序传送的。即，在包括控制信 息的切片2之前，传送切片0和切片1。
因而，在这种情况下，在从切片2提取控制信息之前，自适应滤 波处理单元207同样不能对在切片2之前传送的切片(就图26中的例 子来说，切片0和切片1)进行自适应滤波处理。
[编码方]
这种情况下的图像编码设备100的无损编码单元106的结构与参 考图10说明的第一实施例的情况相同。
下面参考图27中的流程图，说明这种情况下的无损编码处理的 流程。图27中的流程图对应于图17中所示的流程图。
这种情况下，同样进行与第一实施例的情况基本相同的处理。即， 当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤 S191-S194的各个处理相同的方式，进行步骤S291-S294的各个处理， 为每个切片编码量化的系数数据。
在步骤S295，控制信息附加单元184把保持在控制信息保持单 元183的控制信息，嵌入保持在编码数据保持单元182中的一帧编码 数据中的预先设定的预定切片的切片头部中。此时，控制信息附加单 元184获得和组装保持在控制信息保持单元183中的控制信息，从而 生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信息附 加单元184把该一个画面的控制信息嵌入预定切片的切片头部中。
在步骤S296，把控制信息附加于编码数据的控制信息附加单元 184按照预定顺序输出编码数据。当输出一个图像的编码数据时，无 损编码单元106结束无损编码处理，返回图13中的步骤S116，然后 进入从步骤S117起的处理。
通过进行这样的无损编码处理，图像编码设备100能够按照和第 一实施例相同的方式，抑制由滤波处理的局部控制引起的编码效率的 降低。
[解码方]
下面说明按照本实施例的图像解码设备200。图像解码设备200 的无损解码单元202的结构与参考图24说明的第三实施例的情况相 同。
下面参考图28中的流程图，说明在图20的步骤S202中执行的 这种情况下的无损解码处理的流程的例子。图28中的流程图对应于图 25中所示的流程图。
在这种情况下，同样按照和第三实施例的情况基本相同的方式进 行处理。即，当开始无损解码处理时，在步骤S311中，控制信息提取 单元221确定供给的编码数据是否是帧(画面)的预定切片(把控制信息 包括在切片头部中的切片)。
如果确定供给的编码数据是预定切片，那么流程进入步骤S312。 在步骤S312，控制信息提取单元221从其切片头部提取一个画面的控 制信息，并将其提供给自适应滤波处理单元207。
当提取了控制信息时，流程进入步骤S313。另外，如果在步骤 S311中确定供给的编码数据不是被附加控制信息的预定切片，那么流 程进入步骤S313。
之后，按照和图25中的步骤S273-S277的各个处理相同的方式， 执行步骤S313-S317的各个处理。
通过这样进行无损解码处理，无损解码单元202能够提取附加于 编码数据的控制信息，并提供给自适应滤波处理单元207。因而，自 适应滤波处理单元207能够恰当地进行自适应滤波处理。因而，自适 应滤波处理单元207能够降低待处理切片中未被解块滤波器完全消除 的块噪声和归因于量化的噪声。
<5.第五实施例>
[利用指针的例子的简要说明]
注意，除了如上所述，把控制信息本身附加到切片头部之外，还 可把指示控制信息被附加到的位置的指针包含在切片头部中。
例如，假定如图29中所示，与帧151的切片0-切片2对应的控 制信息191-1～控制信息191-3被组装和附加在编码数据194的切片2 数据193-3之后，作为一个画面的控制信息231。指示控制信息231 的位置的指针被附加到最先传送的切片1头部192-1。
从而，图像解码设备200的控制信息提取单元221能够参考切片 1头部192-1，从而根据附加于切片1头部192-1的指针，获得控制信 息231。即，控制信息提取单元221能够按照与第二实施例的情况相 同的方式，从编码数据提取控制信息。
不过，在这种情况下，在控制信息231被供给之前，控制信息提 取单元221实际上不能提取控制信息231。
控制信息231被附加到的位置当然是可选的。例如，控制信息可 被附加到将在切片1头部192-1之前传送的位置。这种情况下，当参 考切片1头部192-1的指针时，控制信息提取单元221能够提取控制 信息。
[编码方]
这种情况下，图像编码设备100的无损编码单元106的结构同样 与参考图10说明的第一实施例的情况相同。
下面参考图30中的流程图，说明这种情况下的无损编码处理的 流程。图30中的流程图对应于图17中所示的流程图。
这种情况下，同样进行与第一实施例的情况基本相同的处理。即， 当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤 S191-S194的各个处理相同的方式，进行步骤S331-S334的各个处理， 为每个切片编码量化的系数数据。
在步骤S335，控制信息附加单元184把保持在控制信息保持单 元183的控制信息，附加到编码数据的预定位置。此时，控制信息附 加单元184获得和组装保持在控制信息保持单元183中的控制信息， 从而生成编码数据所属于的帧(画面)的一个画面的控制信息。控制信 息附加单元184把该一个画面的控制信息附加到编码数据的预定位 置。
在步骤S336，控制信息附加单元184把指示控制信息被附加到 的位置的指针，嵌入保持在编码数据保持单元182中的一帧编码数据 中将被最先传送的切片头部中。
在步骤S337，把控制信息附加到编码数据的控制信息附加单元 184按照预定顺序输出编码数据。当输出一个图像的编码数据时，无 损编码单元106结束无损编码处理，返回图13中的步骤S116，然后 进入从步骤S117起的处理。
通过进行这样的无损编码处理，图像编码设备100能够按照和第 一实施例相同的方式，抑制由滤波处理的局部控制引起的编码效率的 降低。
[解码方]
下面说明按照本实施例的图像解码设备200。图像解码设备200 的无损解码单元202的结构与参考图24说明的第三实施例的情况相 同。
下面参考图31中的流程图，说明在图20的步骤S202中执行的 这种情况下的无损解码处理的流程的例子。图31中的流程图对应于图 25中所示的流程图。
在这种情况下，同样按照和第三实施例的情况基本相同的方式进 行处理。即，当开始无损解码处理时，在步骤S351中，控制信息提取 单元221确定供给的编码数据是否是帧(画面)的最先传送的切片。
如果确定供给的编码数据是最先传送的切片，那么作为与第二实 施例的情况相同的确定结果，流程进入步骤S352。在步骤S352，控 制信息提取单元221参考附加于所述切片头部的指针。
当参考了所述指针时，流程进入步骤S353。另外，如果在步骤 S351中确定供给的编码数据不是帧中的最先传送的切片，那么流程进 入步骤S353。
在步骤S353，控制信息提取单元221确定在当前时刻，控制信 息是否可提取。如果确定附加于编码数据的一个画面的控制信息已被 供给，并且是可提取的，那么流程进入步骤S354，控制信息提取单元 221提取一个画面的控制信息，并将其提供给自适应滤波处理单元 207。
当提取了控制信息时，流程进入步骤S355。另外，当在步骤S353 中确定控制信息还未被供给、并且不可提取时，流程进入步骤S355。
当在步骤S355中，解码单元222解码了编码数据中的待处理切 片时，在步骤S356，解码数据保持单元223保持解码获得的解码数据。
在步骤S357，解码数据保持单元223确定控制信息是否已被控 制信息提取单元221提取。如果确定控制信息已被提取，那么解码数 据保持单元223进入步骤S358，开始把保持的解码数据输出给反量化 单元203。
当开始输出解码数据时，流程进入步骤S359。另外，如果在步 骤S357中确定对于正在处理的相关帧还未提取控制信息，那么流程进 入步骤S359。
在步骤S359，控制信息提取单元221确定帧内的所有切片是否 都已被处理。如果确定存在未处理的切片，那么流程返回步骤S351， 对未处理的切片重复后续处理。另外，如果在步骤S359中确定帧内的 所有切片都已被处理，那么无损解码处理结束，流程返回图20中的步 骤S207，执行从步骤S208起的处理。
通过这样进行无损解码处理，无损解码单元202能够根据附加于 编码数据的指针提取控制信息，然后提供给自适应滤波处理单元207。 从而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。从 而，自适应滤波处理单元207能够降低待处理切片中未被解块滤波器 完全消除的块噪声和归因于量化的噪声。
因而，按照和第二实施例相同的方式，图像解码设备200能够抑 制由滤波处理的局部控制引起的编码效率的降低。另外，在把图像的 各帧分割成多个切片以便处理的情况下，也能够抑制编码效率的降低。
[其它例子]
注意，虽然上面说明了把指示控制信息被附加到的位置的指针添 加到帧的最先传送的切片的切片头部，不过嵌入所述指针的位置是可 选的。例如，和第三实施例一样，控制信息可被附加到起始切片，或 者和第四实施例一样，控制信息可被附加到预先设定的预定切片的切 片头部。
另外，上面说明的指针可以是任意形式的信息。
<6.第六实施例>
[把控制信息组装到多个组中的例子的简要说明]
虽然上面关于组装成一体的一个画面的控制信息进行了说明，不 过并不局限于此，例如，一帧的多个切片可被分成多个组，同时组装 每个组的控制信息。
例如，在图32中，虚线表示帧151内的切片的边界，实线表示 其中组装多个切片的各个组。每个切片的控制信息是按组组装的。
在图32中，控制信息241-1是属于帧151中、从顶部开始的第 一个组的各个切片的控制信息的组合体。控制信息241-2是属于帧151 中、从顶部开始的第二个组的各个切片的控制信息的组合体。控制信 息241-3是属于帧151中、从顶部开始的第三个组的各个切片的控制 信息的组合体。
这些控制信息被嵌入它们各自组中最先传送的切片的切片头部 中。
在图32中，控制信息241-1被嵌入切片A头部242-1中，切片A 头部242-1是帧151中，从顶部开始的第一个组的编码数据244-1中 最先被传送的切片A的切片头部。
按照相同的方式，控制信息241-2被嵌入切片B头部242-2中， 切片B头部242-2是帧151中，从顶部开始的第二个组的编码数据 244-2中最先被传送的切片B的切片头部。
按照相同的方式，控制信息241-3被嵌入切片C头部242-3中， 切片C头部242-3是帧151中，从顶部开始的第三个组的编码数据 244-3中最先被传送的切片C的切片头部。
即，这种情况下，多个控制信息被附加到一帧编码数据中，不过 归因于是以组为增量组装的，因此与把控制信息附加到每个切片的情 况相比，减少了冗余，从而提高了编码效率。另外，控制信息是分成 多个附加的，从而与上述实施例相比，对传输时的丢失分组等的抵抗 性增强。
注意，由多个切片构成的各个组是预先设定的。即，帧内的切片 被分成多少个组，和哪个切片属于哪个组是预先设定的。
[编码方]
下面说明这种情况下的图像编码设备100。这种情况下的图像编 码设备100的无损编码单元106的结构与参考图10说明的第一实施例 的情况相同。
下面参考图33中的流程图，说明这种情况下的无损编码处理的 流程。图33中的流程图对应于图17中所示的流程图。
这种情况下，同样进行与第一实施例的情况基本相同的处理。即， 当在图13的步骤S116中开始无损编码处理时，按照和图17中的步骤 S191-S194的各个处理相同的方式，进行步骤S371-S374的各个处理， 为每个切片编码量化的系数数据。
不过在这种情况下，在步骤S374中，控制信息附加单元184不 关于帧，而是以组为增量，确定所有切片是否已被编码。即，在步骤 S374，控制信息附加单元184确定编码单元181是否编码了属于待处 理组的所有切片。
如果确定存在属于待处理组的未处理切片，那么流程返回步骤 S371，对未处理的切片重复后续处理。另外，如果在步骤S374确定 编码单元181处理了属于待处理组的所有切片，那么流程进入步骤 S375。
在步骤S375，控制信息附加单元184把保持在控制信息保持单 元183的控制信息，嵌入保持在编码数据保持单元182中的一个组的 编码数据中的起始切片的切片头部。此时，控制信息附加单元184获 得和组装保持在控制信息保持单元183中的控制信息，从而生成编码 数据所属组的控制信息(一组的控制信息)。控制信息附加单元184把 所述一组的控制信息嵌入该组的最先传送的切片的切片头部中。
在步骤S376，把控制信息附加到嵌入数据中的控制信息附加单 元184按照预定顺序，输出所述一组的编码数据。当输出所述一组的 编码数据时，在步骤S377，无损编码单元106确定帧内的所有组是否 都已被处理。
如果确定存在未处理的组，那么流程返回步骤S371，对未处理 的组重复后续处理。另外，如果在步骤S377，确定帧内的所有组都被 处理，那么无损编码单元106结束无损编码处理，返回图13中的步骤 S116，然后进入从步骤S117起的处理。
通过进行这样的无损编码处理，图像编码设备100能够抑制由滤 波处理的局部控制引起的编码效率的降低。另外，增强对丢失分组的 抵抗性。
[解码方]
下面说明按照本实施例的图像解码设备200。这种情况下，图像 解码设备200的无损解码单元202以组为增量，而不是以帧(画面)为 增量提取控制信息就足够了。因而，无损解码单元202具有与就参考 图19说明的第二实施例来说的无损解码单元202相同的结构。
另外，除了以帧(画面)为增量被改为以组为增量之外，可按照与 参考图21中的流程图说明的例子相同的方式，执行无损解码单元202 的无损解码处理。
从而，无损解码单元202能够提取附加于编码数据的控制信息， 并提供给自适应滤波处理单元207。因而，自适应滤波处理单元207 能够恰当地执行自适应滤波处理。
[其它例子]
注意，虽然上面说明了把控制信息附加到组的最先传送切片的切 片头部，不过，嵌入控制信息的位置是可选的。例如，如同第三实施 例一样，控制信息可被附加到每个组的起始切片的切片头部，或者如 同第四实施例一样，控制信息可被附加到对于每个组预先设定的预定 切片。
<7.第七实施例>
[控制组的数目的例子的简要说明]
虽然在第六实施例中，关于由多个切片构成，作为组装控制信息 的增量的组进行了说明，不过图像编码设备100可按预定增量，比如 按帧，按GOP等，定义各个组。即，在这种情况下，例如，图像编 码设备100对于每一帧，定义哪个切片属于哪个组，和在一帧中将形成多少个组(多少控制信息将被聚合到每一帧中)。
[编码方]
下面说明这种情况下的图像编码设备100。图34是图解说明这种 情况下的图像编码设备100的无损编码单元106的结构例子的方框图。
如图34中所示，按照和第一实施例相同的方式，这种情况下的 无损编码单元106具有编码单元181～控制信息附加单元184。不过在 这种情况下，无损编码单元106还具有控制单元251。
控制单元251定义各个组，确定待处理帧内的组数。换句话说， 控制单元251确定嵌入编码数据中的各个控制信息对应于的数据的范 围。
控制单元251控制编码单元181～控制信息附加单元184，把对 应于组的控制信息嵌入每个组中最先传送的切片的切片头部中。
下面参考图35中的流程图，说明这种情况下的无损编码处理的 流程的例子。图35中的流程图对应于图33中所示的流程图。
这种情况下，按照和第六实施例的情况基本相同的方式进行处 理。当在图13的步骤S116中开始无损编码处理时，在步骤S391，控 制单元251关于待处理帧定义所述组，并设定组数。控制单元251根 据与组相关的设定，控制编码单元181～控制信息附加单元184。
遵循在步骤S391中进行的关于组的设定，进行步骤S392-S398 的各个处理。即，按照和图33中的步骤S371-步骤S377的各个处理 相同的方式进行在设定组之后的步骤S392-S398的各个处理。
通过进行这样的无损编码处理，图像编码设备100能够抑制由滤 波处理的局部控制引起的编码效率的降低。另外，增强对丢失分组的 抵抗性。
[解码方]
下面，说明按照本实施例的图像解码设备200。图36是图解说明 这种情况下的图像解码设备200的无损解码单元202的结构例子的方 框图。
这种情况下，图像解码设备200的无损解码单元202以组为增量， 而不是以帧(画面)为增量，提取控制信息。因而，按照和参考图24说 明的第三实施例的情况下的无损解码单元202相同的方式，这种情况 下的无损解码单元202具有控制信息提取单元221-解码数据保持单元 223。不过，在这种情况下，图像解码设备200还未把握待处理帧内的 组数，因而分析每个切片头部，并搜索控制信息。因而，在这种情况 下，如图36中所示，无损解码单元202还具有头部分析单元261。
头部分析单元261参考提供给它的编码数据的每个切片头部，并 搜索控制信息。控制信息提取单元221根据分析结果，提取控制信息。 另外，每个部分按照和第六实施例的情况相同的方式，对每个组进行 处理。
下面，参考图37中的流程图，说明在图20的步骤S202中执行 的这种情况下的无损解码处理的流程的例子。图37中的流程图对应于 图25中所示的流程图。
这种情况下，按照与第三实施例的情况基本相同的方式进行处 理。即，当开始无损解码处理时，在步骤S411，头部分析单元261参 考所供给的编码数据中的待处理切片的切片头部，确定在切片头部中 是否存在控制信息。如果确定待处理切片是组中最先传送的切片，并 且切片头部包括组的控制信息，那么流程进入步骤S412。
在步骤S412，控制信息提取单元221从切片头部提取一组的控 制信息。当提取了控制信息时，流程进入步骤S413。另外，如果在步 骤S411中，确定在切片头部中不存在控制信息，那么流程进入步骤 S413。
按照和图25中的步骤S273-S277的各个处理相同的方式，执行 步骤S413-步骤S417的各个处理。
从而，无损解码单元202能够提取附加于编码数据的控制信息， 并提供给自适应滤波处理单元207。因而，自适应滤波处理单元207 能够恰当地进行自适应滤波处理。
[组数的控制]
下面，说明组数的控制。
通常，增大组数(增大每帧的控制信息的数目)会增大控制信息的 冗余，从而编码数据的编码效率降低。因而，图像解码设备200必须 处理的图像的信息量增大。另外，提取控制信息的次数增大。从而， 存在图像解码设备200的负荷将增大的可能性。不过，每个控制信息 的信息量较小，因而减少必需的存储量。
另一方面，通过增大组数，图像编码设备100能够以较小的增量， 输出编码数据。即，能够降低编码处理的延迟时间。另外，在这种情 况下，高频度地输出编码数据，从而减少必需的存储量。
相反，减小组数(减小每帧的控制信息的数目)会降低控制信息的 冗余，从而提高编码数据的编码效率。因而，图像解码设备200必须 处理的图像的信息量减少。另外，提取控制信息的次数减小。因而， 存在图像解码设备200的负荷将降低的可能性。不过，每个控制信息 的信息量较大，因而增大必需的存储量。
另一方面，通过增大组数，图像编码设备100将以较大的增量， 输出编码数据。即，编码处理的延迟时间增大。另外，在这种情况下， 低频度地输出编码数据，从而增大必需的存储量。
这样，各种参数按照组数的增大/减少而变化。因而，依据系统 规格，比如硬件资源，使用目的等，确定最佳组数。
例如，就其中图像编码设备100生成的编码数据被保存在服务器 等中，并且根据来自图像解码设备200的请求提供所述编码数据的系 统来说，在图像编码设备100的延迟时间的增大对编码数据的提供几 乎没有影响。就这种系统来说，与降低编码处理的延迟时间相比，应 优先考虑抑制解码处理的负荷的减轻。
另外，就其中用图像编码设备100即时(实时)编码通过摄影等生 成的图像数据，传送编码数据，用图像解码设备200解码编码数据， 并显示解码图像的系统来说，抑制每个处理中的延迟时间最重要。
另外，如果图像解码设备200的处理能力较低，那么最好优先考 虑抑制解码处理的负荷。另一方面，如果图像编码设备100的处理能 力较低，那么最好优先考虑抑制编码处理的负荷。另外，可设想存在 其中取决于图像数据的比特率，传输路径的可用带宽等，应优先考虑 改善编码效率的情况。
从而，各个参数，比如延迟时间，编码效率，处理负荷和存储容 量等的最佳值随系统规格而不同。因而，控制单元251设定组，以致 各种参数相对于系统规格来说最佳。因而，可以适用于各种各样的系 统。
注意，图像编码设备100或图像解码设备200可收集与系统内的 硬件资源或其它设备或者传输路径相关的信息，或者与其它设备交换 各种信息，以便设定这些组。
另外，一帧中的组数可以是任意数，只要它为1以上。此外，组 数的控制可以采用除帧之外的其它增量。例如，可以用GOP等为增 量。
另外，虽然上面说明了控制信息被附加到每个组的最先传送切片 的切片头部，不过，嵌入此控制信息的位置是可选的。例如，如同第 三实施例一样，控制信息可被附加到起始切片的切片头部，或者如同 第四实施例一样，控制信息可被附加到预先设定的预定切片。
此外，图像编码设备100可设定控制信息将被嵌入的切片(切片 头部)。例如，可以按可选的增量，比如以帧为增量，或者以GOP为 增量进行这样的设定。另外，可以不定期地进行这种设定。
虽然在上面的实施例中，以切片为增量，把帧内的控制信息组装 成一个或多个，装配所述控制信息的增量是可选的。例如，这可以按 小于切片的增量，例如，以宏块为增量来进行。即，可以组装每个宏 块的多个控制信息，以生成每个组的控制信息。
<8.第八实施例>
[独立分组每个要素的例子的简要说明]
虽然上面说明了按相互相同的增量组装构成控制信息的滤波系 数，块大小和滤波块标记等要素，不过，可按相互独立的增量组装这 些要素。即，滤波系数，块大小和滤波块标记等要素可被相互独立地 分组。
这种情况下，相互独立地设定一组滤波系数与之对应的图像的范 围(切片)，一组块大小与之对应的图像的范围(切片)，和一组滤波块标 记与之对应的图像的范围(切片)，从而，保存这些信息的切片头部也 彼此不同。
因而，在这种情况下，图像编码设备100和图像解码设备200需 要对于滤波系数，块大小和滤波块标记等要素，进行如同上述控制信 息一样的相同处理。
[编码方]
下面说明这种情况下的图像编码设备100。图38是图解说明这种 情况下的图像编码设备100的无损编码单元106的结构例子的方框图。
如图38中所示，按照与第一实施例的情况相同的方式，这种情 况下的无损编码单元106具有编码单元181～控制信息保持单元183。 另外，这种情况下的编码单元106还具有代替控制信息附加单元184 的控制信息附加单元281。
控制信息附加单元281按均相互独立设定的组，把滤波系数，块 大小和滤波块标记等要素嵌入编码数据的切片头部中。控制信息附加 单元281具有标记附加单元291，块大小附加单元292，和滤波系数附 加单元293。
标记附加单元291把待处理标记组的滤波块标记附加到待处理标 记组的最先传送切片的切片头部。标记组是彼此嵌入相同切片头部中 的一组滤波块标记对应于的一组切片。
块大小附加单元292把待处理块大小组的块大小附加到待处理块 大小组的最先传送切片的切片头部。块大小组是彼此嵌入相同切片头 部中的一组块大小对应于的一组切片。
滤波系数附加单元293把待处理滤波系数组的滤波系数附加到待 处理滤波系数组的最先传送切片的切片头部。滤波系数组是彼此嵌入 相同切片头部中的一组滤波系数对应于的一组切片。
下面参考图39中的流程图，说明这种情况下的无损编码处理的 流程的例子。图39中的流程图对应于图33中所示的流程图。
这种情况下，同样执行与第六实施例的情况基本相同的处理。即， 当在图13的步骤S116中开始无损编码处理时，按照与图33中的步骤 S371-步骤S373的各个处理相同的方式，执行步骤S431-S433的各个 处理。
在步骤S434，控制信息附加单元281的标记附加单元291确定 编码单元181是否已对待处理标记组的所有切片编码。如果确定所有 切片已被编码，那么流程进入步骤S435。
在步骤S435，标记附加单元291把一个标记组的滤波块标记嵌 入所述待处理标记组内的最先传送切片的切片头部中。
当滤波块标记的嵌入结束时，流程进入步骤S436。另外，如果 在步骤S434中，确定在待处理标记组中存在未处理的切片，那么流程 进入步骤S436。
在步骤S436，控制信息附加单元281的块大小附加单元292确 定编码单元181是否已对待处理块大小组的所有切片编码。如果确定 所有切片已被编码，那么流程进入步骤S437。
在步骤S437，块大小附加单元291把一个块大小组的块大小嵌 入所述待处理块大小组内的最先传送切片的切片头部中。
当块大小的嵌入结束时，流程进入步骤S438。另外，如果在步 骤S436中，确定在待处理块大小组中存在未处理的切片，那么流程进 入步骤S438。
在步骤S438，控制信息附加单元281的滤波系数附加单元293 确定编码单元181是否已对待处理滤波系数组的所有切片编码。如果 确定存在未处理的切片，那么流程返回步骤S431，重复随后的处理。
另外，在步骤S438，如果确定所有切片都已被编码，那么流程 进入步骤S439。在步骤S439，滤波系数附加单元293把一个滤波系 数组的滤波系数嵌入所述待处理滤波系数组内的最先传送切片的切片 头部中。
当滤波系数的嵌入结束时，流程进入步骤S440。在步骤S440， 控制信息附加单元281按照预定顺序输出编码数据。在步骤S441，无 损编码单元106确定帧内的所有组是否都已被处理。如果确定还有未 处理的组，那么流程返回步骤S431，重复随后的处理。
另外，如果在步骤S441中确定帧内的所有组都已被处理，那么 无损编码单元106结束无损编码处理，流程返回图13中的步骤S116， 然后进入步骤S117及之后的处理。
通过这样进行无损编码处理，无损编码单元106能够按适合于控 制信息的每个要素的增量，附加控制信息的各个要素。因而，图像编 码设备100能够更恰当地控制各种要素，比如编码效率，延迟时间， 负荷量等等。
[解码方]
下面说明按照本实施例的图像解码设备200。这种情况下，图像 解码设备200的无损解码单元202以每个要素的组为增量，而不是以 帧(画面)为增量，提取滤波系数，块大小和滤波块标记等要素。
图40是图解说明这种情况下的图像解码设备200的无损解码单 元202的结构例子的方框图。如图40中所示，按照和第三实施例的情 况相同的方式，这种情况下的无损解码单元202具有解码单元222和 解码数据保持单元223。另外，解码单元222具有代替控制信息提取 单元221的控制信息提取单元301。
控制信息提取单元301从编码数据的切片头部，提取滤波系数， 块大小和滤波块标记等要素。控制信息提取单元301具有标记提取单 元311，块大小提取单元312和滤波系数提取单元313。
标记提取单元311从待处理标记组的最先传送切片的切片头部 中，提取待处理标记组的滤波块标记。
块大小提取单元312从待处理块大小组的最先传送切片的切片头 部中，提取待处理块大小组的块大小。
滤波系数提取单元313从待处理滤波系数组的最先传送切片的切 片头部中，提取待处理滤波系数组的滤波系数。
下面参考图41中的流程图，说明在图20的步骤S202中执行的 这种情况下的无损解码处理的流程的例子。图41中的流程图对应于图 25中所示的流程图。
这种情况下，同样按照和第二实施例的情况基本相同的方式进行 处理。即，当开始无损解码处理时，在步骤S461，控制信息提取单元 301的标记提取单元311确定供给的编码数据是否是待处理标记组的 最先传送的切片。如果确定是待处理标记组的最先传送的切片，那么 流程进入步骤S462。
在步骤S462，标记提取单元311从待处理切片的切片头部提取 一个标记组的滤波块标记。
当提取了滤波块标记时，流程进入步骤S463。另外，如果在步 骤S461中，确定不是待处理标记组的最先传送的切片，那么流程进入 步骤S463。
在步骤S463，控制信息提取单元301的块大小提取单元312确 定供给的编码数据是否是待处理块大小组的最先传送的切片。如果确 定是待处理块大小组的最先传送的切片，那么流程进入步骤S464。
在步骤S464，块大小提取单元312从待处理切片的切片头部， 提取一个块大小组的块大小。
当提取了块大小时，流程进入步骤S465。另外，如果在步骤S463 中，确定不是待处理块大小组的最先传送的切片，那么流程进入步骤 S465。
在步骤S465，控制信息提取单元301的滤波系数提取单元313 确定供给的编码数据是否是待处理滤波系数组的最先传送的切片。如 果确定是待处理滤波系数组的最先传送的切片，那么流程进入步骤 S466。
在步骤S466，滤波系数提取单元313从待处理切片的切片头部， 提取一个滤波系数组的滤波系数。
当提取了滤波系数时，流程进入步骤S467。另外，如果在步骤 S465中确定供给的编码数据不是待处理滤波系数组的最先传送的切 片，那么流程进入步骤S467。
在步骤S467，解码单元222对编码数据的待处理切片解码。在 步骤S468，解码数据保持单元223保持解码获得的解码数据。
在步骤S469，解码数据保持单元223确定是否存在控制信息的 所有要素(滤波块标记，块大小和滤波系数)都已被控制信息提取单元 301提取的切片。如果确定已进行了提取，那么解码数据保持单元223 进入步骤S470，开始向反量化单元203输出保持的解码数据之中，其 控制信息的所有要素都已被提取的切片。
当开始输出解码数据时，流程进入步骤S471。如果在步骤S469 中确定不存在控制信息的所有要素都已被提取的切片，那么流程进入 步骤S471。
在步骤S471，控制信息提取单元301确定是否处理了帧内的所 有切片。如果确定存在未处理的切片，那么流程返回步骤S461，在未 处理切片中重复后续处理。另外，如果在步骤S471中确定帧内的所有 切片已被处理，那么结束无损解码处理，流程返回图20中的步骤S207， 执行从步骤S208起的处理。
通过这样进行无损解码处理，无损解码单元202能够提取相互独 立地附加于编码数据的控制信息，然后提供给自适应滤波处理单元 207。从而，自适应滤波处理单元207能够恰当地进行自适应滤波处理。 从而，自适应滤波处理单元207能够降低待处理切片的未被解块滤波 器完全消除的块噪声和归因于量化的噪声。
[其它例子]
当然，在这种情况下，滤波系数，块大小和滤波块标记等要素可 被嵌入每个要素组的起始切片的切片头部中，或者可被嵌入另一个预 定切片的切片头部中。
另外，可以为每个GOP或帧设定每个要素组，同时每个要素的 组数在时间方向是可改变的。
<9.第九实施例>
[QALF的描述]
如在NPL 3中所述，ALF块可具有四叉树结构。这种技术被称 为QALF(基于四叉树的自适应环路滤波)。四叉树结构是一种分层结 构，其中在较低的一层，上面一层的一个ALF块的区域可被分成四个 区域。
图42图解说明其中用层数最多为3的四叉树结构表示ALF块分 割，并对每个ALF块指定滤波块标记的例子。
图42中的A表示层0，它是充当四叉树结构的根部的ALF块。 在四叉树结构中，每个ALF块具有指示该块是否在下层被分成四个区 域的块分割标记。在图42的A中所示的ALF块的块分割标记的值为 “1”。即，该ALF块在下层(层1)中被分成四个区域。图42中的B表 示层1。即，在层1中形成四个ALF块。
如果块分割标记为“0”，那么更下一层未被分成四个区域。即， 不存在进一步的分割，从而对该ALF块生成滤波块标记。即，其块分 割标记为“0”的ALF块也具有滤波块标记。在图42的B中所示的“0-1” 左侧的“0”指示该ALF块的块分割标记，右侧的“1”表示该ALF块的 滤波块标记。
其层1中的块分割标记为“1”的两个ALF块在下一层(层2)中， 被分割成四个区域。图42中的C图解说明层2。即，在层2中，形成 10个ALF块。
按照相同的方式，层2中其块分割标记为“0”的ALF块也被赋予 滤波块标记。在图42的C中，一个ALF块的块分割标记为“1”。即， 该ALF块在更下一层(层3)中，被分割成四个区域。图42中的D表 示层3。即，在层3中，形成13个ALF块。
通过如图42中所示形成四叉树，ALF块的结构最终变成如图43 中所示。从而，就四叉树结构来说，对于每一层来说，ALF块的大小 不同。即，通过利用四叉树结构，可以使ALF块的大小在帧内彼此不 同。
每个ALF块中的滤波块标记的控制和本发明的第一实施例相同。 即，在滤波块标记的值为“0”的区域(图43中的阴影线部分)中，不进 行滤波处理。
和关于其中改进了ALF块的表示的QALF的问题相同，发生担 心在多切片的情况下，编码效率会降低的问题
图44图解说明利用QALF技术，编码图5中的切片1的区域的 例子。
这里，粗线421的区域表示切片1的区域。如果如粗线421所示， 整个QALF 411的控制信息被分成多个切片，从而充当多个控制信息， 并把这些控制信息附加到编码数据中，那么在控制信息之中出现冗余 信息。
因而，同样对QALF的情况来说，图像编码设备100利用和在第 一实施例中说明的BALF的情况相同的方法，把多个切片的控制信息 包括在编码数据的一个切片头部中。图像解码设备200也按照和BALF 的情况相同的方式，提取控制信息和进行自适应滤波处理。
从而，附加于编码数据的控制信息的冗余受到抑制，以致与把控 制信息嵌入每个切片中的情况相比，能够改善编码效率。
<10.第十实施例>
[个人计算机]
上述一系列处理可由硬件或软件执行。这种情况下，例如，可以 构成如图45中图解说明的个人计算机。
在图45中，个人计算机500的CPU 501按照保存在ROM(只读 存储器)502中的程序或从存储单元513载入RAM(随机存取存储 器)503的程序，执行各种处理。RAM 603还酌情保存CPU 501执行 各种处理所必需的数据等。
CPU 501、ROM 502和RAM 503通过总线604相互连接。总线 504还连接到输入/输出接口510。
连接到输入/输出接口510的是由键盘、鼠标等构成的输入单元 511，由诸如CRT(阴极射线管)或LCD(液晶显示器)之类的显示器，扬 声器等构成的输出单元512，由硬盘等构成的存储单元513，和由调制 解调器等构成的通信单元514。通信单元514通过包括因特网的网络 进行通信处理。
另外连接到输入/输出接口510的是驱动器515(需要的话)，诸如 磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质521酌情装到 驱动器515上，根据需要，从可拆卸介质521读出的计算机程序被安 装在存储单元513中。
在借助软件执行上述一系列处理的情况下，从网络或记录介质安 装构成所述软件的程序。
例如，如图45中所示，该记录介质不仅可由可拆卸介质521构 成，而且可由在预先内置于设备主体中的状态下，分发给用户的记录 有程序的ROM 502，包括在存储单元513中的硬盘等构成，所述可拆 卸介质521由其中记录和分发程序，以便独立于设备主体把程序分发 给用户的磁盘(包括软盘)，光盘(包括CD-ROM(光盘-只读存储器)， DVD(数字通用光盘)，磁光盘(MD(小型光盘))，或半导体存储器等构 成。
注意，计算机执行的程序可以是其中按照在本说明书中说明的顺 序，时序地执行处理的程序，或者可以是其中并行地或者在必要时(比 如当进行了调用时)，执行处理的程序。
另外，就本说明书来说，描述记录在记录介质中的程序的步骤当 然包括按照所述顺序，时序地执行的处理，还包括并行或单独地执行 的处理，而不一定是时序地处理的。
另外，就本说明书来说，术语系统代表由多个设备组成的全部设 备。
另外，上面说明成一个设备(或处理单元)的结构可被分割和构成 为多个设备(或处理单元)。相反，上面说明成多个设备(或处理单元) 的结构可被集合和构成为一个设备(或处理单元)。另外，当然也可把 除上述之外的结构增加到设备(或处理单元)中。此外，某个设备(或处 理单元)的结构的一部分可被包含在另一个设备(或另一个处理单元)的 结构中，只要整个系统的结构或操作基本上相同，即。本发明的实施 例并不局限于上述实施例，可以做出各种修改，而不脱离本发明的本 质。
例如，上述图像编码设备100和图像编码设备200可应用于各种 电子设备。下面是其例子的说明。
<11.第十一实施例>
[电视接收机]
图46是图解说明使用应用本发明的图像解码设备200的电视接 收机的主要结构例子的方框图。
图46中所示的电视接收机1000包括地面调谐器1013，视频解码 器1015，视频信号处理电路1018，图形生成电路1019，面板驱动电 路1020和显示面板1021。
地面调谐器1013通过天线接收地面模拟广播的广播信号，解调 接收的广播信号获得视频信号，并把获得的视频信号提供给视频解码 器1015。视频解码器1015对从地面调谐器1013供给的视频信号进行 解码处理，然后把获得的数字分量信号提供给视频信号处理电路 1018。
视频信号处理电路1018对从视频解码器1015供给的视频数据进 行诸如噪声消除之类的预定处理，然后把获得的视频数据提供给图形 生成电路1019。
图形生成电路1019生成将显示在显示面板1021上的节目的视频 数据，或者由基于经网络提供的应用的处理而获得的图像数据等，并 把生成的视频数据或图像数据提供给面板驱动电路1020。另外，图形 生成电路1019还酌情进行诸如把通过生成视频数据(图形)供用户显示 用于项目选择等的屏幕之用，并把所述视频数据(图形)重叠在节目的 视频数据上而获得的视频数据提供给面板驱动电路1020之类的处理。
面板驱动电路1020根据从图形生成电路1019供给的数据，驱动 显示面板1021，从而在显示面板1021上显示节目的视频或者上述各 种屏幕。
显示面板1021由LCD(液晶显示器)等构成，按照面板驱动电路 1020的控制，显示节目的视频等。
另外，电视接收机1000还包括音频A/D(模/数)转换电路1014， 音频信号处理电路1022，回声消除/音频合成电路1023，音频放大电 路1024和扬声器1025。
地面调谐器1013解调接收的广播波信号，从而不仅获得视频信 号，而且获得音频信号。地面调谐器1013把获得的音频信号提供给音 频A/D转换电路1014。
音频A/D转换电路1014对从地面调谐器1013供给的音频信号进 行A/D转换处理，并把获得的数字音频信号提供给音频信号处理电路 1022。
音频信号处理电路1022对从音频A/D转换电路1014供给的音频 数据进行诸如噪声消除之类的预定处理，并把获得的音频数据提供给 回声消除/音频合成电路1023。
回声消除/音频合成电路1023把从音频信号处理电路1022供给 的音频数据提供给音频放大电路1024。
音频放大电路1024对从回声消除/音频合成电路1023供给的音 频数据进行D/A转换处理，进行放大处理，以调整为预定音量，随后 从扬声器1025输出所述音频。
此外，电视接收机1000还包括数字调谐器1016和MPEG解码 器1017。
数字调谐器1016通过天线接收数字广播(地面数字广播，BS(广 播卫星)/CS(通信卫星)数字广播)的广播信号，解调获得MPEG-TS(运 动图像专家组-传输流)，并把MPEG-TS提供给MPEG解码器1017。
MPEG解码器1017对赋予从数字调谐器1016供给的MPEG-TS 的扰频解扰，提取包括充当重放对象(观看对象)的节目的数据的流。 MPEG解码器1017对构成所提取流的音频分组解码，把获得的音频 数据提供给音频信号处理电路1022，另外还对构成所述流的视频分组 解码，并把获得的视频数据提供给视频信号处理电路1018。另外， MPEG解码器1017通过未示出的路径，把从MPEG-TS提取的 EPG(电子节目指南)数据提供给CPU 1032。
电视接收机1000使用上述图像解码设备200作为按照这种方式， 解码视频分组的MPEG解码器1017。注意，从广播电台等传送的 MPEG-TS已被图像编码设备100编码。
MPEG解码器1017按照和图像解码设备200相同的方式，从供 给自图像编码设备100的编码数据中，提取嵌入一个切片头部中的多 个切片的控制信息，并利用所述控制信息进行自适应滤波控制处理， 从而能够抑制由滤波处理的局部控制引起的编码效率的降低。
按照和从视频解码器1015供给的视频数据的情况相同的方式， 从MPEG解码器1017供给的视频数据在视频信号处理电路1018经历 预定处理，在图形生成电路1019被酌情重叠在生成的视频数据上等， 并通过面板驱动电路1020被提供给显示面板1021，从而其图像被显 示在显示面板1021上。
按照和从音频A/D转换电路1014供给的音频数据的情况相同的 方式，从MPEG解码器1017供给的音频数据在音频信号处理电路 1022经历预定处理，通过回声消除/音频合成电路1023被提供给音频 放大电路1024，并经历D/A转换处理和放大处理。结果，从扬声器1025输出按预定音量调整的音频。
另外，电视接收机1000还包括麦克风1026和A/D转换电路1027。
A/D转换电路1027接收由对电视接收机1000设置的用于语音会 话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D 转换处理，并把获得的数字音频数据提供给回声消除/音频合成电路 1023。
在从A/D转换电路1027供给了电视接收机1000的用户(用户A) 的音频数据的情况下，回声消除/音频合成电路1023以用户(用户A) 的音频数据作为对象，进行回声消除，并经音频放大电路1024，从扬 声器1025输出通过合成用户A的音频数据和其它音频数据等而获得 的音频数据。
此外，电视接收机1000还包括音频编解码器1028，内部总线 1029，SDRAM(同步动态随机存取存储器)1030，闪速存储器1031， CPU 1032，USB(通用串行总线)I/F 1033，和网络I/F 1034。
A/D转换电路1027接收由对电视接收机1000设置的用于语音会 话的麦克风1026收集的用户音频信号，对接收的音频信号进行A/D 转换处理，并把获得的数字音频数据提供给音频编解码器1028。
音频编解码器1028把从A/D转换电路1027供给的音频数据转换 成预定格式的数据，以便通过网络传输，并通过内部总线1029提供给 网络I/F 1034。
网络I/F 1034通过安装在网络端子1035上的电缆连接到网络。 例如，网络I/F1034把从音频编解码器1028供给的音频数据传送给与 网络连接的另一个设备。另外，例如，网络I/F 1034通过网络端子1035， 接收从通过网络与之连接的另一个设备传送的音频数据，并通过内部 总线1029把接收的音频数据提供给音频编解码器1028。
音频编解码器1028把从网络I/F 1034供给的音频数据转换成预 定格式的数据，并把转换后的数据提供给回声消除/音频合成电路 1023。
回声消除/音频合成电路1023以从音频编解码器1028供给的音 频数据作为对象进行回声消除，经音频放大电路1024从扬声器1025 输出通过合成该音频数据和其它音频数据等而获得的音频数据。
SDRAM 1030保存为CPU 1032进行处理所必需的各种数据。
闪速存储器1031保存将由CPU 1032执行的程序。保存在闪速 存储器1031中的程序由CPU 1032在预定时刻，比如在启动电视接收 机1000时读出。通过数字广播获得的EPG数据，通过网络从预定服 务器获得的数据等等也保存在闪速存储器1031中。
例如，MPEG-TS保存在闪速存储器1031中，MPEG-TS包括在 CPU 1032的控制下，通过网络从预定服务器获得的内容数据。在CPU 1032的控制下，闪速存储器1031通过内部总线1029，把MPEG-TS 提供给MPEG解码器1017。
MPEG解码器1017按照和从数字调谐器1016供给的MPEG-TS 的情况相同的方式，处理MPEG-TS。这样，电视接收机1000通过网 络接收由视频、音频等构成的内容数据，利用MPEG解码器1017解 码内容数据，从而能够显示内容数据的视频，并且能够输出内容数据的音频。
另外，电视接收机1000还包括接收从遥控器1051传送的红外信 号的受光单元1037。
受光单元1037从遥控器1051接收红外线，把表示通过解调获得 的用户操作的内容的控制码输出给CPU 1032。
CPU 1032执行保存在闪速存储器1031中的程序，以按照从受光 单元1037供给的控制码等，控制电视接收机1000的全部操作。CPU 1032和电视接收机1000的各个单元是通过未示出的路径连接的。
USB I/F 1033进行相对于通过安装在USB端子1036上的USB 电缆连接的电视接收机1000的外部设备的数据传输/接收。网络I/F 1034通过安装在网络端子1035上的电缆连接到网络，并进行相对于 连接到网络的各种设备的除音频数据外的数据传输/接收。
电视接收机1000利用图像解码设备200作为MPEG解码器1017，从而能够提取附加于编码数据的一个切片头部的多个切片的控 制信息，此外，所述控制信息可用于执行适当的自适应滤波处理。结 果，电视接收机1000能够抑制由对于经天线接收的广播信号或者经网 络获得的内容数据的滤波处理的局部控制而引起的编码效率的降低。
<12.第十二实施例>
[蜂窝电话机]
图47是图解说明使用应用本发明的图像编码设备和图像解码设 备的蜂窝电话机的主要结构例子的方框图。
图47中所示的蜂窝电话机1100包括配置成一体控制各个单元的 主控制单元1150，电源电路单元1151，操作输入控制单元1152，图 像编码器1153，照相机I/F单元1154，LCD控制单元1155，图像解 码器1156，复用/分离单元1157，记录/重放单元1162，调制/解调电 路单元1158，和音频编解码器1159。这些单元通过总线1160互相连 接。
另外，蜂窝电话机1100包括操作按键1119，CCD(电荷耦合器件) 照相机1116，液晶显示器1118，存储单元1123，传输/接收电路单元 1163，天线1114，麦克风(MIC)1121和扬声器1117。
当通过用户的操作，呼叫结束和电源按键被开启时，电源电路单 元1151通过从电池组向各个单元供电，以可操作状态启动蜂窝电话机 1100。
根据由CPU、ROM、RAM等构成的主控制单元1150的控制， 蜂窝电话机1100按照各种模式，比如话音通话模式，数据通信模式等 进行各种操作，比如音频信号的传输/接收，电子邮件和图像数据的传 输/接收，摄影，数据记录等。
例如，在话音通话模式下，蜂窝电话机1100用音频编解码器 1159，把麦克风(话筒)1121收集的音频信号转换成数字音频数据，在 调制/解调电路单元1158对数字音频数据进行频谱扩展处理，在传输/ 接收电路单元1163对处理的数字音频数据进行数/模转换处理和频率 转换处理。蜂窝电话机1100通过天线1114，把通过转换处理获得的 传输信号传送给未示出的基站。传送给基站的传输信号(音频信号)经 公共交换电话网，被提供给对方的蜂窝电话机。
另外，例如，在话音通话模式下，蜂窝电话机1100在传输/接收 电路单元1163，放大在天线1114接收的接收信号，对放大的信号进 行频率转换处理和模/数转换处理，在调制/解调电路单元1158进行频 谱反扩展处理，并用音频编解码器1159转换成模拟音频信号。蜂窝电 话机1100从扬声器1117输出转换获得的模拟音频信号。
此外，例如，当在数据通信模式下传送电子邮件时，蜂窝电话机 1100在操作输入控制单元1152，接收通过操作按键1119的操作而输 入的电子邮件的文本数据。蜂窝电话机1100在主控制单元1150处理 文本数据，并借助LCD控制单元1155以图像的形式把文本数据显示 在液晶显示器1118上。
另外，蜂窝电话机1100根据由操作输入控制单元1152接收的文 本数据、用户指令等，在主控制单元1150生成电子邮件数据。蜂窝电 话机1100在调制/解调电路单元1158对电子邮件数据进行频谱扩展处 理，在传输/接收电路单元1163进行数/模转换处理和频率转换处理。 蜂窝电话机1100把通过转换处理获得的传输信号经天线1114传给未 示出的基站。传给基站的传输信号(电子邮件)经网络、邮件服务器等 被提供给预定目的地。
另外，例如，当在数据通信模式下接收电子邮件时，蜂窝电话机 1100利用传输/接收电路单元1163，通过天线1114接收从基站传来的 信号，放大接收的信号，并对放大的信号进行频率转换处理和模/数转 换处理。蜂窝电话机1100在调制/解调电路单元1158对接收的信号进 行频率反扩展处理，以恢复初始的电子邮件数据。蜂窝电话机1100 通过LCD控制单元1155，把恢复的电子邮件数据记录在液晶显示器 1118上。
注意，蜂窝电话机1100可通过记录/重放单元1162，把接收的电 子邮件数据记录(保存)在存储单元1123中。
存储单元1123是可选的可重写记录介质。存储单元123可以是 诸如RAM，内置闪速存储器之类的半导体存储器，可以是硬盘，或 者可以是诸如磁盘，磁光盘，光盘，USB存储器，存储卡之类的可拆 卸介质。当然，存储单元1123可以是除上述介质外的其它介质。
此外，例如，当在数据通信模式下传送图像数据时，蜂窝电话机 1100在CCD照相机1116，通过成像生成图像数据。CCD照相机1116 包括充当诸如透镜，光圈之类的光学器件和充当光电变换器件的 CCD，对被摄物体成像，把受光强度转换成电信号，并生成被摄物体的图像的图像数据。CCD照相机1116通过照相机I/F单元1154，在 图像编码器1153进行图像数据的压缩编码，并把图像数据转换成编码 图像数据。
蜂窝电话机1100采用上述图像编码设备100作为进行上述处理 的图像编码器1153。因而，按照和图像编码设备100相同的方式，图 像编码器1153能够抑制由滤波处理的局部控制引起的编码效率的降 低。例如，通过添加附加于编码数据的一个切片头部的多个切片的控 制信息，与把控制信息嵌入每个切片中的情况相比，图像编码器1053 能够改善编码效率。
注意在此时，蜂窝电话机1100同时在音频编解码器1159，把在 用CCD照相机1116摄影的时候，在麦克风(话筒)1121收集的音频从 模拟转换成数字，并进一步对所述音频编码。
蜂窝电话机1100利用预定方法，在复用/分离单元1157复用从 图像编码器1153供给的编码图像数据，和从音频编解码器1159供给 的数字音频数据。蜂窝电话机1100在调制/解调电路单元1158对作为 结果获得的复用数据进行频谱扩展处理，并在传输/接收电路单元1163 进行数/模转换处理和频率转换处理。蜂窝电话机1100把通过转换处 理获得的传输信号经天线1114传给未示出的基站。传给基站的传输信 号(图像数据)经网络等被提供给对方。
注意在不传送图像数据的情况下，蜂窝电话机1100也可经LCD 控制单元1155，而不是图像编码器1153，把在CCD照相机1116生 成的图像数据显示在液晶显示器1118上。
另外，例如，当在数据通信模式下，接收链接到简单网站等的运 动图像文件的数据时，蜂窝电话机1100通过天线1114在传输/接收电 路单元1163接收从基站传送的信号，放大接收的信号，并对放大信号 进行频率转换处理和模/数转换处理。蜂窝电话机1100在调制/解调电 路单元1158对接收的信号进行频率反扩展处理，以恢复初始的复用数 据。蜂窝电话机1100在复用/分离单元1157把复用数据分离成编码图 像数据和音频数据。
蜂窝电话机1100利用与诸如MPEG2，MPEG4之类的预定编码 格式对应的解码格式，在图像解码器1156对编码图像数据解码，从而 生成重放运动图像数据，然后通过LCD控制单元1155把重放运动图 像数据显示在液晶显示器1118上。从而，例如，包括在链接到简单网 站的运动图像文件中的运动图像数据被显示在液晶显示器1118上。
蜂窝电话机1100采用上述图像解码设备200作为实现上述处理 的图像解码器1156。因而，按照和图像解码设备200相同的方式，图 解解码器1156提取附加于编码数据的一个切片头部的多个切片的控 制信息，此外，该控制头部可被用于适当地进行自适应滤波处理。结 果，能够抑制由滤波处理的局部控制引起的编码效率的降低。
此时，蜂窝电话机1100同时在音频编解码器1159，把数字音频 数据转换成模拟音频信号，并从扬声器1117输出模拟音频信号。从而， 例如，包括在链接到简单网站的运动图像文件中的音频数据被播放。
注意，按照和电子邮件的情况相同的方式，蜂窝电话机1100可 通过记录/重放单元1162，把链接到简单网站等的接收数据记录(保存) 在存储单元1123中。
另外，蜂窝电话机1100在主控制单元1150分析由CCD照相机 1116获得的成像二维代码，从而能够获得记录在二维代码中的信息。
此外，便携式电话机1100能够利用红外线，在红外通信单元1181 与外部设备通信。
蜂窝电话机1100采用图像编码设备100作为图像编码器1153， 从而能够抑制由关于编码数据的滤波处理的局部控制引起的编码效率 的降低，所述编码数据是通过对在CCD照相机1116生成的图像数据 编码而生成的。结果，蜂窝电话机1100能够以与把控制信息嵌入每个 切片中的情况相比更好的编码效率，向另一个设备提供编码数据(图像 数据)。
另外，蜂窝电话机1100采用图像解码设备200作为图像解码器 1156，从而能够提取附加于编码数据的一个切片头部的多个切片的控 制信息，另外，所述控制信息可被用于适当地进行自适应滤波处理。 结果，蜂窝电话机1100能够抑制由关于链接到简单网站等的运动图像 文件的数据的滤波处理的局部控制引起的编码效率的降低。
注意，至此说明了蜂窝电话机1100采用CCD照相机1116的情 况。不过，代替CCD照相机1116，蜂窝电话机1100可以采用利用 CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在 这种情况下，按照和采用CCD照相机1116的情况相同的方式，蜂窝电话机1100也能够对被摄物体成像，并生成被摄物体的图像的图像数 据。
另外，至此关于蜂窝电话机1100进行了说明，不过，按照和蜂 窝电话机1100的情况相同的方式，图像编码设备100和图像解码设备 200可适用于任何种类的设备，只要所述设备是具有和蜂窝电话机 1100相同的成像功能和通信功能的设备，比如PDA(个人数字助手)， 智能电话机，UMPC(超移动个人计算机)，上网本，笔记本型个人计 算机等。
<13.第十三实施例>
[硬盘记录器]
图48是图解说明采用应用本发明的图像编码设备和图像解码设 备的硬盘记录器的主要结构例子的方框图。
图48中所示的硬盘记录器(HDD记录器)1200是把包括在从卫星 或地面天线等传送，并由调谐器接收的广播波信号(电视信号)中的广 播节目的音频数据和视频数据保存在内置硬盘中，并在与用户的指令 相应的时刻把保存的数据提供给用户的设备。
例如，硬盘记录器1200可从广播波信号中提取音频数据和视频 数据，恰当地解码提取的音频数据和视频数据，并把解码的音频数据 和视频数据保存在内置硬盘中。另外，例如，硬盘记录器1200还可通 过网络从另一个设备获得音频数据和视频数据，恰当地解码获得的音 频数据和视频数据，并把解码的音频数据和视频数据保存在内置硬盘 中。
此外，例如，硬盘记录器1200可解码记录在内置硬盘中的音频 数据和视频数据，把解码的音频数据和视频数据提供给监视器1260， 在监视器1260的屏幕上显示图像，和从监视器1260的扬声器输出音 频。另外，例如，硬盘记录器1200可解码从通过调谐器获得的广播信 号中提取的音频数据和视频数据，或者通过网络从另一个设备获得的 音频数据和视频数据，把解码的音频数据和视频数据提供给监视器 1260，把图像显示在监视器1260的屏幕上，和从监视器1260的扬声 器输出音频。
当然，也可进行除这些操作以外的操作。
如图48中所示，硬盘记录器1200包括接收单元1221，解调单元 1222，多路分解器1223，音频解码器1224，视频解码器1225，和记 录器控制单元1226。硬盘记录器1200还包括EPG数据存储器1227， 程序存储器1228，工作存储器1229，显示转换器1230，OSD(屏幕显示)控制单元1231，显示控制单元1232，记录/重放单元1233，D/A转 换器1234，和通信单元1235。
另外，显示转换器1230包括视频编码器1241。记录/重放单元 1233包括编码器1251和解码器1252。
接收单元1221从遥控器(未示出)接收红外信号，把接收的红外信 号转换成电信号，把电信号输出给记录器控制单元1226。例如，记录 器控制单元1226由微处理器等构成，并按照保存在程序存储器1228 中的程序执行各种处理。此时，记录器控制单元1226按照需要，使用 工作存储器1229。
连接到网络的通信单元1235通过网络与另一个设备进行通信处 理。例如，通信单元1235由记录器控制单元1226控制，从而与调谐 器(未示出)通信，并且主要向调谐器输出信道选择控制信号。
解调单元1222解调从调谐器供给的信号，把解调信号输出给多 路分解器1223。多路分解器1223把从解调单元1222供给的数据分离 成音频数据，视频数据和EPG数据，并把数据分别输出给音频解码器 1224，视频解码器1225，和记录器控制单元1226。
音频解码器1224解码输入的音频数据，把解码的音频数据输出 给记录/重放单元1233。视频解码器1225解码输入的视频数据，把解 码的视频数据输出给显示转换器1230。记录器控制单元1226把输入 的EPG数据提供给EPG数据存储器1227，以便保存。
显示转换器1230利用视频编码器1241，把从视频解码器1225 或记录器控制单元1226供给的视频数据编码成符合NTSC(国家电视 标准委员会)格式的视频数据，并把编码视频数据输出给记录/重放单 元1233。另外，显示转换器1230把从视频解码器1225或记录器控制 单元1226供给的视频数据的屏幕尺寸转换成与监视器1260的尺寸对 应的尺寸，利用视频编码器1241把其屏幕尺寸已被转换的视频数据转 换成符合NTSC格式的视频数据，把该视频数据转换成模拟信号，并 把模拟视频信号输出给显示控制单元1232。
在记录器控制单元1226的控制下，显示控制单元1232把从 OSD(屏幕显示)控制单元1231输出的OSD信号重叠在从显示转换器 1230输入的视频信号上，并输出给监视器1260的显示器以便显示。
另外，从音频解码器1224输出的音频数据已利用D/A转换器 1234被转换成模拟信号，并被提供给监视器1260。监视器1260从内 置扬声器输出该音频信号。
记录/重放单元1233包括作为记录视频数据、音频数据等的存储 介质的硬盘。
记录/重放单元1233利用编码器1251，对从音频解码器1224供 给的音频数据编码。另外，记录/重放单元1233利用编码器1251，对 从显示转换器1230的视频编码器1241供给的视频数据编码。记录/ 重放单元1233利用复用器，合成音频数据的编码数据和视频数据的编 码数据。记录/重放单元1233借助通道编码，放大合成数据，并通过 记录头把数据写入硬盘中。
记录/重放单元1233通过重放头，播放记录在硬盘中的数据，放 大重放的数据，并利用多路分解器把数据分离成音频数据和视频数据。 记录/重放单元1233通过解码器1252解码音频数据和视频数据。记录 /重放单元1233利用MPEG格式，用解码器1252解码音频数据和视 频数据。记录/重放单元1233把解码的音频数据从数字数据转换成模 拟数据，然后输出给监视器1260的扬声器。另外，记录/重放单元1233 把解码的视频数据从数字数据转换成模拟数据，并输出给监视器1260 的显示器。
记录器控制单元1226根据由通过接收单元1221，从遥控器接收 的红外信号指示的用户指令，从EPG数据存储器1227读出最新的 EPG数据，并把EPG数据提供给OSD控制单元1231。OSD控制单 元1231生成与输入的EPG数据对应的图像数据，并输出给显示控制 单元1232。显示控制单元1232把从OSD控制单元1231输入的视频 数据输出给监视器1260的显示器，以便显示。从而，EPG(电子节目 指南)被显示在监视器1260的显示器上。
另外，硬盘记录器1200可通过诸如因特网之类的网络，获得从 另一个设备供给的各种数据，比如视频数据、音频数据、EPG数据等。
记录器控制单元1226控制通信单元1235，以通过网络获得从另 一个设备传送的编码数据，比如视频数据、音频数据、EPG数据等， 并把获得的数据提供给记录器控制单元1226。记录器控制单元1226 把获得的视频数据和音频数据的编码数据提供给记录/重放单元1233， 并保存在硬盘中。此时，记录器控制单元1226和记录/重放单元1233 可按照需要，进行诸如重新编码之类的处理。
另外，记录器控制单元1226对获得的视频数据和音频数据的编 码数据解码，并把获得的视频数据提供给显示转换器1230。按照和从 视频解码器1225供给的视频数据相同的方式，显示转换器1230处理 从记录器控制单元1226供给的视频数据，并通过显示控制单元1232 提供给监视器1260，以显示该图像。
另一方面，可以作出其中按照该图像显示，记录器控制单元1226 通过D/A转换器1234，把解码的音频数据提供给监视器1260，并从 扬声器输出所述音频的安排。
此外，记录器控制单元1226对获得的EPG数据的编码数据解码， 并把解码的EPG数据提供给EPG数据存储器1227。
这样构成的硬盘记录器1200采用图像解码设备200作为视频解 码器1225，解码器1252和置于记录器控制单元1226中的解码器。因 而，按照和图像解码设备200相同的方式，视频解码器1225，解码器 1252和内置于记录器控制单元1226中的解码器提取附加于编码数据 的一个切片头部中的多个切片的控制信息，并进一步利用控制信息进 行适当的自适应滤波控制处理。结果，能够抑制由滤波处理的局部控 制引起的编码效率的降低。
因而，硬盘记录器1200能够提取附加于编码数据的一个切片头 部中的多个切片的控制信息，并且能够进一步利用所述控制信息适当 地进行自适应滤波处理。结果，硬盘记录器1200能够抑制由关于通过 调谐器或通信单元1235接收的视频数据，和记录在记录/重放单元 1233的硬盘中的视频数据的滤波处理的局部控制引起的编码效率的 降低。
另外，硬盘记录器1200采用图像编码设备100作为编码器1251。 因而，按照和图像编码设备100的情况相同的方式，编码器1251能够 抑制由滤波处理的局部控制引起的编码效率的降低。例如，编码器 1251添加附加于编码数据的一个切片头部的多个切片的控制信息，从 而与在每个切片中嵌入控制信息的情况相比，能够改善编码效率。
因而，例如，硬盘记录器1200采用图像编码设备100作为编码 器1251，从而能够抑制由关于记录在硬盘中的编码数据的滤波处理的 局部控制引起的编码效率的降低。结果与在每个切片中嵌入控制信息 的情况相比，硬盘记录器1200能够更高效地使用硬盘的存储区。
注意，上面说明了把视频数据和音频数据记录在硬盘中的硬盘记 录器1200，不过，显然可以采用任何种类的记录介质。例如，即使就 对其应用除硬盘外的记录介质，比如闪速存储器、光盘、录像带等的 记录器来说，图像编码设备100和图像解码设备200也能够按照和上 述硬盘记录器1200的情况相同的方式，应用于该记录器。
<14.第十四实施例>
[照相机]
图49是图解说明采用应用本发明的图像编码设备和图像解码设 备的照相机的主要结构例子的方框图。
图49中所示的照相机1300对被摄物体成像，把被摄物体的图像 显示在LCD 1316上，和把所述图像作为图像数据记录在记录介质 1333中。
透镜块1311使光(即，被摄物体的图像)入射到CCD/CMOS 1312。 CCD/CMOS 1312是采用CCD或CMOS的图像传感器，所述图像传 感器把受光的强度转换成电信号，并提供给照相机信号处理单元 1313。
照相机信号处理单元1313把从CCD/CMOS 1312提供的电信号 转换成色差信号Y、Cr和Cb，然后提供给图像信号处理单元1314。 在控制器1321的控制下，图像信号处理单元1314对从照相机信号处 理单元1313供给的图像信号进行预定的图像处理，或者利用MPEG格式，用编码器1341对图像信号编码。图像信号处理单元1314把通 过编码图像信号生成的编码数据提供给解码器1315。此外，图像信号 处理单元1314获得在屏幕显示(OSD)1320生成的显示用数据，然后提 供给解码器1315。
就上述处理来说，照相机信号处理单元1313根据需要，适当利 用经总线1317连接的DRAM(动态随机存取存储器)1318，以把图像数 据、通过编码图像数据而获得的编码数据等保存在DRAM 1318中。
解码器1315对从图像信号处理单元1314供给的编码数据解码， 把获得的图像数据(解码图像数据)提供给LCD 1316。另外，解码器1315把从图像信号处理单元1314供给的显示用数据提供给LCD 1316。LCD 1316恰当合成从解码器1315供给的解码图像数据的图像和显示用数据的图像，并显示合成图像。
在控制器1321的控制下，屏幕显示1320通过总线1317，把显示 用数据，比如由符号、字符或图形构成的菜单屏幕或图标等输出给图 像信号处理单元1314。
根据指示用户利用操作单元1322命令的内容的信号，控制器 1321进行各种处理，还通过总线1317，控制图像信号处理单元1314， DRAM 1318，外部接口1319，屏幕显示1320，介质驱动器1323等。 为控制器1321进行各种处理所必需的程序，数据等被保存在闪速 ROM1324中。
例如，代替图像信号处理单元1314和解码器1315，控制器1321 可对保存在DRAM1318中的图像数据编码，或者对保存在DRAM 1318中的编码数据解码。此时，控制器1321可利用和图像信号处理 单元1314或解码器1315的编码和解码格式相同的格式，进行编码和解码处理，或者可利用图像信号处理单元1314不能处理、解码器1315 也不能处理的格式进行编码和解码处理。
另外，例如，在从操作单元1322指令图像打印的开始的情况下， 控制器1321从DRAM 1318读出图像数据，然后通过总线1317把读 出的图像数据提供给与外部接口1319连接的打印机1334，以便打印。
此外，例如，在从操作单元1322指令图像记录的情况下，控制 器1321从DRAM 1318读出编码数据，并通过总线1317把读出的编 码数据提供给安装在介质驱动器1323上的记录介质1333，以便保存。
例如，记录介质1333是可选的可读/写的可拆卸介质，比如磁盘、 磁光盘、光盘、半导体存储器等。显然就可拆卸介质的种类来说，记 录介质1333也是可选的，因而记录介质1333可以是磁带设备，或者 可以是光盘，或者可以是存储卡。当然，记录介质1333可以是非接触 IC卡等。
另一方面，介质驱动器1323和记录介质1333可被配置成结合成 非便携式存储介质，例如内置硬盘驱动器，SSD(固态驱动器)等等。
外部接口1319由USB输入/输出端子等构成，在进行图像的打印 时被连接到打印机1334。另外，按照需要，驱动器1331被连接到外 部接口1319，在驱动器1331上，酌情安装可拆卸介质1332，比如磁 盘、光盘或磁光盘，按照需要，从可拆卸介质读取的计算机程序被安 装在闪速ROM 1324中。
此外，外部接口1319包括与诸如LAN或因特网之类的预定网络 连接的网络接口。例如，按照来自操作单元1322的指令，控制器1321 可从DRAM 1318读出编码数据，然后把读出的编码数据从外部接口 1319提供给通过网络连接的另一个设备。另外，控制器1321可通过 外部接口1319，获得通过网络从另一个设备供给的编码数据或图像数 据，并将其保存在DRAM 1318中，或者将其提供给图像信号处理单 元1314。
这样构成的照相机1300采用图像解码设备200作为解码器1315。 因而，按照和图像解码设备200相同的方式，解码器1315能够提取附 加于编码数据的一个切片头部的多个切片的控制信息，并可进一步利 用所述控制信息，恰当地进行自适应滤波处理。结果，能够抑制由滤 波处理的局部控制引起的编码效率的降低。
因而，照相机1300能够提取附加于编码数据的一个切片头部的 多个切片的控制信息，并利用所述控制信息，恰当地进行自适应滤波 处理。结果，照相机1300能够抑制由关于在CCD/CMOS 1312生成 的图像数据、从DRAM 1318或记录介质1333读出的视频数据的编码 数据、和通过网络获得的视频数据的编码数据的滤波处理的局部控制 引起的编码效率的降低。
另外，照相机1300采用图像编码设备100作为编码器1341。因 而，按照和图像编码设备100的情况相同的方式，编码器1341能够抑 制由滤波处理的局部控制引起的编码效率的降低。例如，添加附加于 编码数据的一个切片头部的多个切片的控制信息，从而与在每个切片 中嵌入控制信息的情况相比，能够改善编码效率。
因而，照相机1300能够抑制由关于记录在DRAM 1318或记录 介质1333中的编码数据，或者将提供给其它设备的编码数据的滤波处 理的局部控制引起的编码效率的降低。结果，照相机1300能够更高效 地利用DRAM 1318或记录介质1333的存储区。另外，照相机1300能够向其它设备提供编码效率良好的编码数据(图像数据)。
注意，图像解码设备200的解码方法可应用于控制器1321进行 的解码处理。按照相同的方式，图像编码设备100的编码方法可应用 于控制器1321进行的编码处理。
另外，照相机1300拍摄的图像数据可以是运动图像或静止图像。
当然，图像编码设备100和图像解码设备200可应用于除上述设 备之外的设备或系统。
另外，宏块的大小并不局限于16×16像素。例如，可以应用于任 意大小的宏块，比如图50中所示的32×32像素的宏块大小。
虽然上面说明了在比特流中复用(描述)标记信息等，不过，除了 被这样复用之外，可以传送(记录)标记和图像数据(或比特流)。也可以 产生其中标记和图像数据(或者比特流)被链接(相加)在一起的形态。
链接(相加)指示其中图像数据(或比特流)和标记被相互链接(相 关状态)，而物理位置关系是任意的。例如，图像数据(或比特流)和 标记可通过独立的传输路径传送。另外，图像数据(或比特流)和标记 可被记录在独立的记录介质中(或者记录在相同记录介质内的独立记 录区中)。注意，链接图像数据(或比特流)和标记的增量是可选的，例 如，它可被设定成编码处理的增量(一帧，多帧等)。
附图标记列表
100 图像编码设备
112 控制信息生成单元
113 自适应滤波控制单元
132 块信息生成单元
141 处理对象切片区域识别单元
142 ALF块设定单元
143 处理对象ALF块区域识别单元
144 确定单元
145 滤波块标记生成单元
171 控制单元
172 自适应滤波器
173 选择单元
181 编码单元
182 编码数据保持单元
183 控制信息保持单元
184 控制信息附加单元
200 图像解码设备
202 无损解码单元
207 自适应滤波处理单元
221 控制信息提取单元
222 解码单元
223 解码数据保持单元
251 控制单元
261 头部分析单元
281 控制信息附加单元
291 标记附加单元
292 块大小附加单元
293 滤波系数附加单元
301 控制信息提取单元
311 标记提取单元
312 块大小提取单元
313 滤波系数提取单元

Claims (1)

1.一种用四叉树结构表示ALF块分割的方法，每个ALF块具有指示该块是否在下层被分成四个区域的块分割标记，所述方法包括：
在ALF块的层0中，如果块分割标记的值为“1”，则该ALF块在作为下层的层1中被分成四个区域；如果块分割标记为“0”，则下层不存在进一步的分割，并对该ALF块生成滤波块标记；
对层1、层2重复上述操作；
其中在借助四叉树结构表示的ALF块中，在滤波块标记的值为“0”的区域中，不进行滤波处理。
CN201811127035.6A 2009-08-19 2010-08-10 图像处理设备和方法 Active CN109951708B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-189990 2009-08-19
JP2009189990A JP5604825B2 (ja) 2009-08-19 2009-08-19 画像処理装置および方法
PCT/JP2010/063514 WO2011021530A1 (ja) 2009-08-19 2010-08-10 画像処理装置および方法
CN201080045758.7A CN102714716B (zh) 2009-08-19 2010-08-10 图像处理设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080045758.7A Division CN102714716B (zh) 2009-08-19 2010-08-10 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN109951708A true CN109951708A (zh) 2019-06-28
CN109951708B CN109951708B (zh) 2023-01-31

Family

ID=43606985

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610425623.2A Active CN106028036B (zh) 2009-08-19 2010-08-10 图像处理设备和方法
CN201080045758.7A Active CN102714716B (zh) 2009-08-19 2010-08-10 图像处理设备和方法
CN201811127035.6A Active CN109951708B (zh) 2009-08-19 2010-08-10 图像处理设备和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201610425623.2A Active CN106028036B (zh) 2009-08-19 2010-08-10 图像处理设备和方法
CN201080045758.7A Active CN102714716B (zh) 2009-08-19 2010-08-10 图像处理设备和方法

Country Status (15)

Country Link
US (3) US9967593B2 (zh)
EP (2) EP2469856A4 (zh)
JP (1) JP5604825B2 (zh)
KR (4) KR101783575B1 (zh)
CN (3) CN106028036B (zh)
AU (2) AU2010285760C9 (zh)
BR (1) BR112012003285B1 (zh)
CA (2) CA2769732C (zh)
IN (1) IN2012DN01240A (zh)
MX (1) MX2012001822A (zh)
MY (1) MY163637A (zh)
RU (1) RU2012104811A (zh)
TW (1) TWI401969B (zh)
WO (1) WO2011021530A1 (zh)
ZA (1) ZA201108188B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101479141B1 (ko) * 2009-12-10 2015-01-07 에스케이텔레콤 주식회사 트리 구조를 이용한 부호화/복호화 방법 및 장치
EP2727341B1 (en) 2011-06-30 2020-04-08 Microsoft Technology Licensing, LLC Reducing latency in video encoding and decoding
US20150326886A1 (en) * 2011-10-14 2015-11-12 Mediatek Inc. Method and apparatus for loop filtering
EP2767089A4 (en) * 2011-10-14 2016-03-09 Mediatek Inc METHOD AND APPARATUS FOR LOOP FILTERING
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20150264375A1 (en) * 2012-10-10 2015-09-17 Zte Corporation Encapsulation of video scanning format information for media transport and storage
JP6065613B2 (ja) * 2013-01-29 2017-01-25 富士通株式会社 動画像符号化装置
CN110177273B (zh) * 2013-03-21 2023-06-02 索尼公司 图像编码装置和方法
GB2518823A (en) * 2013-09-25 2015-04-08 Sony Corp Data encoding and decoding
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
NZ739860A (en) 2015-08-18 2019-10-25 Magic Leap Inc Virtual and augmented reality systems and methods
JP6704194B2 (ja) * 2016-02-26 2020-06-03 パナソニックＩｐマネジメント株式会社 動画像符号化装置及び動画像符号化方法
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
GB2556923B (en) * 2016-11-25 2020-04-15 Canon Kk Generation of VCA Reference results for VCA Auto-setting
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032908A1 (en) * 2001-09-12 2004-02-19 Makoto Hagai Image coding method and image decoding method
US20060078209A1 (en) * 2004-10-12 2006-04-13 Canon Kabushiki Kaisha Image coding apparatusa and method
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US20080137753A1 (en) * 2006-12-08 2008-06-12 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5511003A (en) * 1993-11-24 1996-04-23 Intel Corporation Encoding and decoding video signals using spatial filtering
US5809237A (en) * 1993-11-24 1998-09-15 Intel Corporation Registration of computer-based conferencing system
KR100200702B1 (ko) * 1996-06-05 1999-06-15 윤종용 디지탈 비디오 시스템의 디지탈 비디오 인코더
JP3943333B2 (ja) * 1998-03-05 2007-07-11 松下電器産業株式会社 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置
ES2467940T3 (es) * 2001-11-29 2014-06-13 Panasonic Corporation Método de extracción de distorsión de codificación
ATE419713T1 (de) * 2001-11-29 2009-01-15 Panasonic Corp Verfahren zur beseitigung von kodierungsverzerrung und verfahren zur videokodierung und -dekodierung
US7084720B2 (en) * 2002-01-09 2006-08-01 Broadcom Corporation Printed bandpass filter for a double conversion tuner
JP2003319389A (ja) 2002-04-26 2003-11-07 Matsushita Electric Ind Co Ltd 画像データ復号装置、画像データ構造
DE10229860A1 (de) 2002-07-03 2004-01-29 Infineon Technologies Ag Verfahren und Sendevorrichtung zum Übertragen eines zweiwertigen Signals
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
CN1973546B (zh) 2004-03-09 2010-05-12 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式
CN1268136C (zh) * 2004-07-02 2006-08-02 上海广电（集团）有限公司中央研究院 基于图像切片结构的帧场自适应编码方法
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
JP4453518B2 (ja) * 2004-10-29 2010-04-21 ソニー株式会社 符号化及び復号装置並びに符号化及び復号方法
US8300694B2 (en) * 2005-09-20 2012-10-30 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
JP2007129369A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP4791285B2 (ja) * 2006-08-04 2011-10-12 富士通株式会社 ネットワーク装置およびフィルタリングプログラム
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8332751B2 (en) * 2006-11-14 2012-12-11 Microsoft Corporation Removal of redundant information from electronic documents
US9961372B2 (en) * 2006-12-08 2018-05-01 Nxp Usa, Inc. Adaptive disabling of deblock filtering based on a content characteristic of video information
WO2008153856A1 (en) * 2007-06-08 2008-12-18 Thomson Licensing Methods and apparatus for in-loop de-artifacting filtering based on multi-lattice sparsity-based filtering
JP4609457B2 (ja) * 2007-06-14 2011-01-12 ソニー株式会社 画像処理装置、及び、画像処理方法
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
KR20100103822A (ko) * 2008-01-14 2010-09-28 톰슨 라이센싱 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
US20090316793A1 (en) 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
WO2010038857A1 (ja) 2008-10-02 2010-04-08 ソニー株式会社 画像処理装置および方法
US20110235711A1 (en) 2008-10-03 2011-09-29 Sony Corporation Image processing device and method
KR101353304B1 (ko) * 2008-10-24 2014-01-21 에스케이 텔레콤주식회사 적응적 보간 필터 계수를 이용한 영상 부호화/복호화 방법 및 장치
CN102301719A (zh) 2008-12-03 2011-12-28 索尼公司 图像处理装置、图像处理方法和程序
US20110229049A1 (en) 2008-12-03 2011-09-22 Sony Corporation Image processing apparatus, image processing method, and program
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5408332B2 (ja) * 2010-03-10 2014-02-05 富士通株式会社 中継装置および通信プログラム
US9094658B2 (en) 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8329232B2 (en) * 2010-11-23 2012-12-11 Beijing Tang-An Nutrition & Healthcare Products Co. Ltd. Process for preparing water extract of cinnamon

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040032908A1 (en) * 2001-09-12 2004-02-19 Makoto Hagai Image coding method and image decoding method
CN1784018A (zh) * 2001-09-12 2006-06-07 松下电器产业株式会社 图像解码装置
US20060078209A1 (en) * 2004-10-12 2006-04-13 Canon Kabushiki Kaisha Image coding apparatusa and method
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US20080137753A1 (en) * 2006-12-08 2008-06-12 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Also Published As

Publication number Publication date
AU2010285760A1 (en) 2012-02-23
CA2994002A1 (en) 2011-02-24
KR101880010B1 (ko) 2018-07-18
MY163637A (en) 2017-10-13
AU2010285760B2 (en) 2016-03-03
KR20120048615A (ko) 2012-05-15
JP5604825B2 (ja) 2014-10-15
US10911786B2 (en) 2021-02-02
JP2011044781A (ja) 2011-03-03
US20120140820A1 (en) 2012-06-07
EP2469856A1 (en) 2012-06-27
EP3404917A1 (en) 2018-11-21
AU2016203618B2 (en) 2017-10-05
AU2010285760B9 (en) 2016-11-03
KR101681167B1 (ko) 2016-12-01
AU2010285760C9 (en) 2016-11-03
KR20170113706A (ko) 2017-10-12
CA2769732A1 (en) 2011-02-24
US10587899B2 (en) 2020-03-10
KR20180083952A (ko) 2018-07-23
WO2011021530A1 (ja) 2011-02-24
KR20160138585A (ko) 2016-12-05
US20180167639A1 (en) 2018-06-14
CN109951708B (zh) 2023-01-31
AU2010285760C1 (en) 2016-10-20
RU2012104811A (ru) 2013-08-20
CN102714716A (zh) 2012-10-03
BR112012003285A2 (pt) 2016-03-01
BR112012003285B1 (pt) 2021-09-28
TW201112772A (en) 2011-04-01
AU2016203618A1 (en) 2016-06-16
IN2012DN01240A (zh) 2015-05-15
CA2994002C (en) 2020-06-30
ZA201108188B (en) 2012-07-25
MX2012001822A (es) 2012-03-29
US20200169758A1 (en) 2020-05-28
EP2469856A4 (en) 2014-01-22
TWI401969B (zh) 2013-07-11
KR101783575B1 (ko) 2017-10-23
US9967593B2 (en) 2018-05-08
CN102714716B (zh) 2016-08-03
CA2769732C (en) 2018-04-03
CN106028036A (zh) 2016-10-12
CN106028036B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
CN106028036B (zh) 图像处理设备和方法
TWI647947B (zh) 圖像解碼裝置、方法及電腦可讀取記錄媒體
CN101990098B (zh) 图像处理设备和方法
CN103716626B (zh) 图像处理设备和方法
JP2018029389A (ja) 画像処理装置および方法、並びにプログラム
CN102986226A (zh) 图像处理装置和方法
JP6169056B2 (ja) 画像処理装置および方法、並びにプログラム
JP6328076B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP6241500B2 (ja) 画像処理装置および方法、並びにプログラム
JP6620184B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP5429418B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP5999773B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant