CN108366264B

CN108366264B - 图像处理设备和方法

Info

Publication number: CN108366264B
Application number: CN201810151086.6A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-06-04
Filing date: 2011-06-03
Publication date: 2022-08-26
Anticipated expiration: 2031-06-03
Also published as: TW201442486A; KR101823316B1; US9924177B2; TW201215151A; US20140321536A1; HUE047906T2; CN105245895A; EP3675494A1; EP3185559B1; KR20130084236A; CN103369319A; CN103369321A; JP6024709B2; EP2579594A4; CN103369322B; RU2012150834A; EP3675493A1; AU2011259939A2; HK1213409A1; HK1213714A1

Abstract

本技术涉及一种图像处理设备和方法，能够执行更适合于图像内容的量化处理或逆量化处理。无损解码单元(202)对按预定定时从累积缓冲器(201)读取的编码数据进行解码。子宏块逆量化单元(221)利用从逆量化单元(203)提供的量化参数，获得每个子宏块的量化值，并将其返回给逆量化单元(203)。逆量化单元(203)利用从子宏块逆量化单元(221)提供的每个子宏块的量化值，对无损解码单元(202)通过解码而获得的量化系数进行逆量化。本技术可以应用于例如图像处理设备。

Description

图像处理设备和方法

本申请是申请号为201180026114.8、申请日为2011年6月3日、名称为“图像处理设备和方法”的发明专利申请的分案申请。更具体说，本分案申请是基于申请号为201510593300.X，申请日为2011年6月3日，发明名称为“图像处理设备和方法”的分案申请的再次分案申请。

技术领域

本技术涉及图像处理设备和方法，并且涉及用于执行量化处理或逆量化处理的图像处理设备和方法。

背景技术

最近，如下的设备已经广泛用于广播站中的信息发布和标准家庭中的信息接收：该设备与诸如MPEG(运动图像专家组)之类的系统兼容，其对图像信息进行数字处理并利用诸如离散余弦变换之类的正交变换和利用图像信息所特有的冗余性的运动补偿对图像信息进行压缩，以高效地发送和累积此时的信息。

最近，在诸如因特网的传输容量有限的环境中对高清晰度图像的更高压缩编码或分发的需求正在增长，如约4096×2048像素的图像的编码，其为高清晰度图像的像素的4倍像素。因此，ITU-T下的VCEG一直在研究编码效率的改进。

作为图像的部分区域的宏块的像素大小(其是在作为常规图像编码系统的MPEG1、MPEG2以及ITU-T H.264/MPEG4-AVC中的图像编码时图像的分割单位(编码处理单位))往往是16×16像素。另一方面，作为下一代图像编码标准，非专利文献1建议在水平和垂直方向上扩展宏块的像素数量。这也建议除了由MPEG1,MPEG2,ITU-TH.264/MPEG4-AVC等定义的16×16像素的宏块的像素大小以外，还使用32×32像素和64×64像素的宏块。这是为了通过在具有相似运动的区域中以较大区域的单位执行运动补偿和正交变换来改进编码效率，因为预测未来要编码的图像的像素大小在水平和垂直方向上会增大，如UHD(超高清晰度；4000像素×2000像素)。

非专利文献1采用一种分级结构，从而定义作为不大于16×16像素的块的超集的较大块，同时保持与当前AVC的宏块的兼容性。

尽管非专利文献1建议将扩展宏块应用于帧间切片(inter slice)，非专利文献2建议将扩展宏块应用于帧内切片(intra slice)。

引证列表

非专利文献

非专利文献1:Peisong Chenn,Yan Ye,Marta Karczewicz,“Video Coding UsingExtended Block Sizes”,COM16-C123-E,Qualcomm Inc

非专利文献2:Sung-Chang Lim,Hahyun Lee,Jinho Lee,Jongho Kim,HaechulChoi,Seyoon Jeong,Jin Soo Choi,“Intra coding using extended block size”,VCEG-AL28,July,2009

发明内容

当应用非专利文献1和2中建议的扩展宏块时，在单个宏块中混合有平坦区域和包括纹理的区域的可能性变高。

然而，由于在非专利文献1和2中只可以为一个宏块指定一个量化参数，因此难以根据平面中的各个区域的特性执行自适应量化。

鉴于这种情况实现了本技术，其一个目的是通过执行更合适的量化处理来抑制解码图像的主观图像质量的劣化。

本技术的一个方面是一种图像处理设备，包括：解码单元，对编码流进行解码以生成量化数据；设定单元，对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定在对解码单元生成的量化数据进行逆量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位；以及逆量化单元，利用由设定单元设定的量化参数，对解码单元生成的量化数据进行逆量化。

设定单元利用表示对作为逆量化处理的对象的当前编码单位设定的量化参数与对在当前编码单位的同一层中的编码单位设定的量化参数之间的差值的差值量化参数，设定当前编码单位的量化参数。

所述差值量化参数是对当前编码单位设定的量化参数与对按解码处理顺序在当前编码单位之前解码的编码单位设定的量化参数之间的差值。

所述差值量化参数是对当前编码单位设定的量化参数与对按解码处理顺序紧接在当前编码单位之前解码的编码单位设定的量化参数之间的差值。

所述基准编码单位是作为最高层中的编码单位的最大编码单位。

所述图像处理设备还包括：接收单元，接收编码流和表示设定差值量化参数的编码单位的最小大小的最小编码单位大小数据，其中设定单元根据由接收单元接收的最小编码单位大小数据来设定当前编码单位的量化参数。

接收单元从编码流的切片头部获得最小编码单位大小数据。

当最小编码单位大小数据表示的大小是16像素时，将大小小于16像素的编码单位的差值量化参数设定为0。

设定单元利用表示对作为解码处理的对象的当前编码单位设定的量化参数与对当前编码单位所属的切片设定的量化参数之间的差值的差值量化参数，对当前编码单位设定量化参数。

当当前编码单位是基准编码单位的层中的按解码处理顺序的第一个编码单位时，设定单元利用表示对当前编码单位设定的量化参数与对当前编码单位所属的切片设定的量化参数之间的差值的差值量化参数，对当前编码单位设定量化参数。

接收单元从编码流的切片头部获得最小编码单位大小数据。

当在比基准编码单位低的层中的编码单位的差值量化参数的值是0时，设定单元将对基准编码单位设定的量化参数设定为对比基准编码单位低的层中的编码单位设定的量化参数。

所述的图像处理设备还包括：接收单元，接收用于确定比基准编码单位低的层中的编码单位的差值量化参数的值是否为0的差值标识数据，其中设定单元利用由接收单元接收的差值标识数据，将对基准编码单位设定的量化参数设定为对比基准编码单位低的层中的编码单位设定的量化参数。

本技术的一个方面是一种图像处理方法，包括：通过对编码流进行解码来生成量化数据；对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定在对所生成的量化数据进行逆量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位；以及利用所设定的量化参数，对所生成的量化数据进行逆量化。

根据本技术的另一方面是一种图像处理设备，包括：设定单元，对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定在对图像数据进行量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位；量化单元，利用由设定单元设定的量化参数，通过对图像数据进行量化而生成量化数据；以及编码单元，对通过量化单元生成的量化数据进行编码以生成编码流。

设定单元设定表示对作为编码处理的对象的当前编码单位设定的量化参数与对当前编码单位的同一层中的编码单位设定的量化参数之间的差值的差值量化参数，所述图像处理设备还包括：传输单元，传输由设定单元设定的差值量化参数和编码单元生成的编码流。

设定单元将对当前编码单位设定的量化参数与对按编码处理顺序在当前编码单位之前编码的编码单位设定的量化参数之间的差值设定为所述差值量化参数。

设定单元将对当前编码单位设定的量化参数与对按编码处理顺序紧接在当前编码单位之前编码的编码单位设定的量化参数之间的差值设定为所述差值量化参数。

设定单元设定表示设定差值量化参数的编码单位的最小大小的最小编码单位大小数据，并且所述传输单元传输由设定单元设定的最小编码单位大小数据。

所述传输单元将设定单元设定的最小编码单位大小数据作为切片头部附加到由编码单元生成的编码流的语法。

当最小编码单位大小数据表示的大小被设定为16像素时，设定单元将大小小于16像素的编码单位的差值量化参数设定为0。

设定单元设定表示对作为编码处理的对象的当前编码单位设定的量化参数与对当前编码单位所属的切片设定的量化参数之间的差值的差值量化参数，所述图像处理设备还包括：传输单元，传输由设定单元设定的差值量化参数和编码单元生成的编码流。

当当前编码单位是基准编码单位的层中的按编码处理顺序的第一个编码单位时，设定单元将对当前编码单位设定的量化参数与对当前编码单位所属的切片设定的量化参数之间的差值设定为所述差值量化参数。

当在比基准编码单位低的层中的编码单位的差值量化参数的值被设定为0时，设定单元将对基准编码单位设定的量化参数设定为对比基准编码单位低的层中的编码单位设定的量化参数。

设定单元设定用于确定比基准编码单位低的层中的编码单位的差值量化参数的值是否为0的差值标识数据，所述图像处理设备还包括：传输单元，传输由设定单元设定的差值标识数据和编码单元生成的编码流。

本技术的另一方面是一种图像处理方法，包括：对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定在对图像数据进行量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位；利用所设定的量化参数，通过对图像数据进行量化而生成量化数据；以及通过对所生成的量化数据进行编码来生成编码流。

在本技术的一个方面中，对编码流进行解码，并生成量化数据，对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定对所生成的量化数据进行逆量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位，并利用所设定的量化参数对所生成的量化数据进行逆量化。

在本技术的另一方面中，对比编码单位的基准层中的基准编码单位低的层中的编码单位，设定在对图像数据进行量化时使用的量化参数，编码单位是在图像数据被编码时的编码处理单位，利用所设定的量化参数对图像数据进行量化并生成量化数据，对所生成的量化数据进行编码并生成编码流。

根据本技术，可以执行更合适的量化处理或逆量化处理。

附图说明

图1是图解说明应用了本技术的图像编码设备的原理结构示例的框图。

图2是图解说明亮度信号的量化参数与色度信号的量化参数之间的对应关系示例的图。

图3是说明宏块的示例的图。

图4是说明宏块的另一示例的图。

图5是说明量化单元的详细结构示例的框图。

图6是说明以宏块为单位的图像示例的图。

图7是说明编码处理的流程示例的流程图。

图8是说明量化参数计算处理的流程示例的流程图。

图9是说明应用了本技术的图像解码设备的原理结构示例的框图。

图10是说明逆量化单元的详细结构示例的框图。

图11是说明解码处理的流程示例的流程图。

图12是说明逆量化处理的流程示例的流程图。

图13是说明量化参数计算处理的另一流程示例的流程图。

图14是说明逆量化处理的另一流程示例的流程图。

图15是说明编码单位的结构示例的图。

图16是分配给每个编码单位的量化参数的示例的图。

图17是说明语法示例的图。

图18是说明应用了本技术的图像编码设备的另一结构示例的框图。

图19是说明编码单位量化单元和速率控制器的详细结构示例的框图。

图20是说明量化参数计算处理的还一流程示例的流程图。

图21是说明应用了本技术的图像解码设备的另一结构示例的框图。

图22是说明编码单位逆量化单元的详细结构示例的框图。

图23是说明逆量化处理的还一流程示例的流程图。

图24是比较计算量化参数dQP的方法的特性的图。

图25是分配给每个编码单位的量化参数的示例的图。

图26是说明切片头部的语法示例的图。

图27是说明计算活动的方法示例的图。

图28是说明量化参数与量化规模之间的关系的图。

图29是说明应用了本技术的图像编码设备的另一结构示例的框图。

图30是说明编码单位量化单元、量化单元以及速率控制器的详细结构示例的框图。

图31是说明编码处理的另一流程示例的流程图。

图32是说明量化处理的流程示例的流程图。

图33是多视点图像编码系统的示例的图。

图34是说明应用了本技术的多视点图像编码设备的原理结构示例的图。

图35是说明应用了本技术的多视点图像解码设备的原理结构示例的图。

图36是说明分级图像编码系统的示例的图。

图37是说明应用了本技术的分级图像编码设备的原理结构示例的图。

图38是说明应用了本技术的分级图像解码设备的原理结构示例的图。

图39是说明应用了本技术的计算机的原理结构示例的框图。

图40是说明应用了本技术的电视设备的原理结构示例的框图。

图41是说明应用了本技术的移动终端的原理结构示例的框图。

图42是说明应用了本技术的记录/再现设备的原理结构示例的框图。

图43是说明应用了本技术的成像设备的原理结构示例的框图。

具体实施方式

以下描述本技术的具体实施方式(以下称为实施例)。注意，按以下顺序进行说明：

1.第一实施例(图像编码设备)

2.第二实施例(图像解码设备)

3.第三实施例(图像编码设备/图像解码设备)

4.第四实施例(图像编码设备/图像解码设备)

5.第五实施例(图像编码设备)

6.第六实施例(多视点(Multi-View)图像编码/多视点图像解码设备)

7.第七实施例(分级图像编码/分级图像解码设备)

8.第八实施例(应用)

<1.第一实施例>

[图像编码设备]

图1是图解说明应用了本技术的作为图像处理设备的图像编码设备的一个实施例的结构。

图1说明的图像编码设备100是编码设备，其按与H.264/MPEG(运动图像专家组)-4第10部分(AVC(高级视频编码))(以下称为H.264/AVC)系统类似的方式对图像进行编码。但是，图像编码设备100为每个子宏块指定量化参数。

宏块是图像的部分区域，其为图像被编码时的处理单位。子宏块是通过将宏块分割成多个部分而获得的较小区域。

在图1的示例中，图像编码设备100包括A/D(模/数)转换器101、画面重新排序缓冲器102、算术单元103、正交变换单元104、量化单元105、无损编码单元106以及累积缓冲器107。图像编码设备100还包括逆量化单元108、逆正交变换单元109、算术单元110、去块滤波器111、帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115、选择器116以及速率控制器117。

图像编码设备100还包括子宏块量化单元121和子宏块逆量化单元122。

A/D转换器101对输入图像数据进行A/D转换，并输出到画面重新排序缓冲器102以供存储。

画面重新排序缓冲器102将存储的显示顺序的图像帧排序成用于根据GOP(图像组)结构进行编码的帧顺序。画面重新排序缓冲器102将帧顺序经过了重新排序的图像提供给算术单元103。画面重新排序缓冲器102还将帧顺序经过了重新排序的图像提供给帧内预测单元114和运动预测/补偿单元115。

算术单元103从读自画面重新排序缓冲器102的图像减去从帧内预测单元114或者运动预测/补偿单元115通过选择器116提供的预测图像，并将差信息输出到正交变换单元104。

例如，在执行帧内编码的图像的情况下，算术单元103从读自画面重新排序缓冲器102的图像减去从帧内预测单元114提供的预测图像。此外，在执行帧间编码的图像的情况下，例如，算术单元103从读自画面重新排序缓冲器102的图像减去从运动预测/补偿单元115提供的预测图像。

正交变换单元104对来自算术运算器103的差信息执行诸如离散余弦变换或Karhunen-Loeve变换之类的正交变换，并将变换系数提供给量化单元105。

量化单元105对从正交变换单元104输出的变换系数进行量化。量化单元105基于从速率控制器117提供的信息，与子宏块量化单元121协作地设定每个子宏块的量化参数，并执行量化，子宏块是比宏块小的区域。量化单元105将量化变换系数提供给无损编码单元106。

无损编码单元106对量化变换系数执行诸如变长编码和算术编码之类的无损编码。

无损编码单元106从帧内预测单元114获得表示帧内预测等的信息，并从运动预测/补偿单元115获得表示帧间预测模式、运动矢量信息等的信息。同时，以下将表示帧内预测的信息(帧内预测)也称为帧内预测模式信息。此外，以下将表示帧间预测的模式的信息(帧间预测)也称为帧间预测模式信息。

无损编码单元106对量化变换系数进行编码，并将诸如滤波系数、帧内预测模式信息、帧间预测模式信息以及量化参数之类的各种信息构成为编码数据的头部信息的一部分(复用)。无损编码单元106将通过编码获得的编码数据提供给累积缓冲器107以供累积。

例如，无损编码单元106执行诸如变长编码或算术编码之类的无损编码处理。变长编码的示例包括由H.264/AVC系统定义的CAVLC(内容自适应变长编码)。算术编码的示例包括CABAC(内容自适应二进制算术编码)。

累积缓冲器107暂时保持从无损编码单元106提供的编码数据，并按预定定时将其作为通过H.264/AVC系统编码的编码图像输出给随后的记录设备和未示出的发送通道。

量化单元105量化后的变换系数也被提供给逆量化单元108。逆量化单元108通过与量化单元105的量化相应的方法对量化变换系数进行逆量化。逆量化单元108与子宏块逆量化单元122协作地通过使用由量化单元105设定的每个子宏块的量化参数，执行逆量化。逆量化单元108将获得的变换系数提供给逆正交变换单元109。

逆正交变换单元109使用与正交变换单元104的正交变换处理对应的方法，对所提供给的变换系数执行逆正交变换。将通过逆正交变换获得的输出(恢复出的差信息)提供给算术单元110。

算术单元110将通过选择器116从帧内预测单元114或运动预测/补偿单元115提供的预测图像与逆正交变换的结果(即，从逆正交变换单元109提供的恢复的差信息)相加，以获得局部解码图像(解码图像)。

例如，当差信息对应于执行帧内编码的图像时，算术单元110将从帧内预测单元114提供的预测图像与差信息相加。此外，当差信息对应于执行帧间编码的图像时，算术单元110将从运动预测/补偿单元115提供的预测图像与差信息相加。

将相加结果提供给去块滤波器111或帧存储器112。

去块滤波器111通过适当地执行去块滤波处理来去除解码图像的块失真，并通过利用Wiener滤波适当地执行环路滤波处理来改进图像质量。去块滤波器111对每个像素进行分类，并对每个类别执行合适的滤波处理。去块滤波器111将滤波处理结果提供给帧存储器112。

帧存储器112按预定定时通过选择器113将累积基准图像输出给帧内预测单元114或运动预测/补偿单元115。

例如，在执行帧内编码的图像的情况下，帧存储器112通过选择器113将基准图像提供给帧内预测单元114。此外，当执行帧间编码时，帧存储器112通过选择器113将基准图像提供给运动预测/补偿单元115。

当从帧存储器112提供的基准图像是执行帧内编码的图像时，选择器113将基准图像提供给帧内预测单元114。此外，当从帧存储器112提供的基准图像是执行帧间编码的图像时，选择器113将基准图像提供给运动预测/补偿单元115。

帧内预测单元114执行帧内预测(帧内预测)，以利用画面中的像素值生成预测图像。帧内预测单元114按多种模式(帧内预测模式)执行帧内预测。

帧内预测单元114按所有帧内预测模式生成预测图像，并评估每个预测图像以选择最优模式。在选择最优帧内预测模式时，帧内预测单元114将按最优模式生成的预测图像通过选择器116提供给算术单元103和算术单元110。

此外，如上所述，帧内预测单元114将诸如表示采用的帧内预测模式的帧内预测模式信息之类的信息适当地提供给无损编码单元106。

运动预测/补偿单元115通过使用从画面重新排序缓冲器102提供的输入图像和通过选择器113从帧存储器112提供的基准图像，执行运动预测，根据检测到的运动矢量执行运动补偿处理，并生成执行帧间编码的图像的预测图像(帧间预测图像信息)。

运动预测/补偿单元115按所有候选帧间预测模式执行帧间预测处理，以生成预测图像。运动预测/补偿单元115通过选择器116将所生成的预测图像提供给算术单元103和算术单元110。

此外，运动预测/补偿单元115将表示采用的帧间预测模式的帧间预测模式信息和表示计算出的运动矢量的运动矢量信息提供给无损编码单元106。

在执行帧内编码的图像的情况下，选择器116将帧内预测单元114的输出提供给算术单元103和算术单元110，在执行帧间编码的图像的情况下，选择器116将运动预测/补偿单元115的输出提供给算术单元103和算术单元110。

速率控制器117基于累积缓冲器107中累积的压缩图像控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。速率控制器117针对每个子宏块将表示图像的复杂度的信息提供给量化单元105，子宏块是通过将宏块分割成多个部分而获得的较小区域。

例如，速率控制器117将作为表示像素值的离散(dispersion)的信息的活动度提供给量化单元105，作为表示图像的复杂度的信息。不必说，表示图像的复杂度的信息可以是任何信息。

子宏块量化单元121从量化单元105获得表示每个子宏块的图像的复杂度的信息，基于该信息设定每个子宏块的量化值(量化步长)，并将该值返回给量化单元105。

子宏块逆量化单元122从逆量化单元108获得量化参数，通过使用参数值获得每个子宏块的量化值，并将其返回给逆量化单元108。

[AVC的量化]

在此，作为常规量化处理的示例描述AVC(高级视频编码)定义的量化。

尽管AVC定义的整数变换矩阵[H]不满足由以下公式(1)表示的正交变换矩阵的要求，但是通过在整数变换之后对各个分量执行不同的量化处理，并将整数变换与量化相结合，来执行正交变换处理。

[H][H]^T＝[I]…(1)

在AVC中，可以为每个宏块定义可以具有“0”到“51”的值的量化参数QP，以执行量化。

例如，假设A(QP)和B(QP)具有满足以下公式(2)的值，无论QP的值如何。

A(QP)*B(QP)＝2m+n…(2)

可以通过以下公式(3)和(4)表示的运算来实现AVC中的正交变换和逆正交变换。

d＝c*A(QP)/2^m…(3)

c’＝d*B(QP)/2ⁿ…(4)

同时，c表示量化前的正交变换系数，d表示量化后的正交变换系数，c’表示逆量化后的正交变换系数。

通过执行这种处理，可以不通过除法而仅仅通过AVC中的移位运算实现量化和逆量化处理。

同时，A和B的值随分量的不同而不同。

例如，将量化参数QP设计成当其值增大6(如从6增大到12)时执行原始量化处理的两倍粗糙的量化处理。

特别的，色度信号中的劣化在较小比特速率下(即，在较高QP时)容易被注意到。因此，如图2的表中所示，相对于亮度信号的量化参数QP_Y，定义色度信号的缺省量化参数QP_C。

通过设定与图像压缩信息中包括的ChromaQPOffset有关的信息，用户可以控制该关系。

此外，在不低于高配置的配置中，通过利用ChromaQPOffset和2ndChromaQPOffset，可以独立地设定Cb/Cr分量的量化参数。

[量化参数计算]

在非专利文献1和2中公开的AVC编码系统和编码系统中，按以下方式计算每个宏块的量化参数MB_QP。

即，如以下公式(5)所示，首先从序列参数组中的bit_depth_luma_minus8计算QpBdOffset_Y。

QpBdOffset_Y＝6*bit_depth_luma_minus8…(5)

接着，通过图片参数组中的pic_init_qp_minus26指定每个图片中的量化参数的初值。

接着，通过切片层中定义的slice_qp_delta，如以下公式(6)所示那样计算切片中的量化参数SliceQP_Y。

SliceQPY＝26+pic_init_qp_minus26+slice_qp_delta…(6)

最后，利用宏块层中的mb_qp_delta，如以下公式(7)表示的那样计算每个宏块的量化参数MB_QP。

MB_QP＝((MB_QP_Prev+mb_qp_delta+52+2*QpBdOffset_Y)％(52+QpBdOffset_Y))-QpBdOffset_Y…(7)

在此，MB_QP_Prev表示前一宏块的量化参数。

在本技术中，除此以外，在图像压缩中在子宏块层中还包括有关submb_qp_delta的信息。

利用该信息，如以下公式(8)所示那样计算每个子宏块的量化参数SubMB_QP。

SubMB_QP＝Clip(0，51，MB_QP+submb_qp_delta)...(8)

在此，Clip(min，max，value)表示具有如以下公式(9)所示的返回值的函数。

即，如以下公式(10)表示的那样计算每个子宏块的量化参数SubMB_QP。在此，预先定义的最小量化参数是minQP，预先定义的最大量化参数是maxQP。

SUBMB_QP＝Clip(minQP，maxQP，MB_QP+submb_qp_delta)...(10)

同时，当图像压缩信息中没有submb_qp_delta时，将其值设定为“0”，并且将宏块的量化参数也应用于子宏块。

[量化单元]

图5是说明图1中的量化单元105的详细结构示例的框图。如图5所示，量化单元105包括子宏块活动度缓冲器151、量化参数计算单元152以及量化处理器153。

子宏块活动度缓冲器151保持从速率控制器117提供的活动度。尽管在AVC编码系统中执行基于如MPEG-2测试模型中定义的活动度的自适应量化，但是速率控制器117计算每个子宏块的活动度(也称为子宏块活动度)。计算子宏块活动度的方法类似于为每个宏块计算活动度的常规情况中的方法。

子宏块活动度缓冲器151保持从速率控制器117提供的子宏块活动度，并针对每个预定量(例如一个画面的量)将所保持的子宏块活动度提供给子宏块量化单元121。

子宏块量化单元121通过利用从子宏块活动度缓冲器151提供的子宏块活动度计算每个子宏块的量化值。可以通过与根据每个宏块的活动度计算每个宏块的量化值的情况中的方法类似的方法来计算每个子宏块的量化值。

在获得了每个子宏块的量化值之后，子宏块量化单元121将每个子宏块的量化值提供给量化参数计算单元152。

量化参数计算单元152通过利用从子宏块量化单元121提供的每个子宏块的量化值来计算各种量化参数。

例如，量化参数计算单元152计算诸如pic_init_qp_minus26,slice_qp_delta以及mb_qp_delta的量化参数。量化参数计算单元152可以根据每个子宏块的量化值获得每个宏块的量化值。因此，量化参数计算单元152如常规AVC编码系统的情况那样计算各种量化参数。

量化参数计算单元152还获得表示每个宏块的量化参数MB_QP与每个子宏块的量化参数SubMB_QP之间的差值的量化参数submb_qp_delta。要求将每个子宏块的量化参数发送给解码方。通过按此方式获得差值，可以减小每个子宏块的量化参数的编码量。因此，量化参数submb_qp_delta是量化参数SubMB_QP的发送格式。通过对每个子宏块的量化值进行变换，可以获得每个子宏块的量化参数SubMB_QP。类似的，通过对每个宏块的量化值进行变换，可以获得每个宏块的量化参数MB_QP。利用上述公式(10)，量化参数计算单元152计算每个子宏块的submb_qp_delta。

量化参数计算单元152将每个子宏块的量化值提供给量化处理器153。此外，量化参数计算单元152将计算出的各种量化参数(具体来说，pic_init_qp_minus26,slice_qp_delta,mb_qp_delta等)提供给无损编码单元106，并将其与通过编码图像而获得的编码流一起进行传输。同时，如上所述，当submb_qp_delta的值是“0”时，略去submb_qp_delta的传输。即，在此情况下，将除了submb_qp_delta以外的其他量化参数提供给无损编码单元106。

此外，量化参数计算单元152还将每个子宏块的量化值提供给逆量化单元108。

量化处理器153利用每个子宏块的量化值对从正交变换单元104提供的正交变换系数进行量化。

量化处理器153将量化后的正交变换系数提供给无损编码单元106和逆量化单元108。

同时，逆量化单元108利用子宏块逆量化单元122对由上述量化单元105量化后的正交变换系数进行逆量化。在与图像编码设备100对应的图像解码设备中，也执行与逆量化处理类似的处理，因而在描述图像解码设备时详细描述逆量化。

在诸如AVC编码系统的常规情况中，对于一个宏块仅设定一个量化参数。因此，在一个宏块中混合有平坦区域和包括纹理的区域的情况下，难以设定适合于这两种区域的量化参数。

特别的是，作为在非专利文献2中提出的扩展宏块(扩展部分区域)的宏块的尺寸越大，在该区域中混合有具有不同特性的图像的可能性就越高，因而变得更难以执行与每个区域的特性相应的自适应量化。

另一方面，图像编码设备100可以通过速率控制器117计算表示每个子宏块的图像的复杂度的指标，并通过子宏块量化单元121计算每个子宏块的量化值。即，量化处理器153可以利用适合于每个子宏块的量化值来执行量化处理。

据此，图像编码设备100可以执行更适合于图像的内容的量化处理。特别的，在宏块尺寸被扩展并且在单个宏块中包括平坦区域和包含纹理的区域的情况下，图像编码设备100也可以执行适合于每个区域的自适应量化处理，以抑制解码图像的主观图像质量的劣化。

例如，在图6所示的图像160中，宏块161仅包括平坦区域。因此，即使图像编码设备100利用单个量化参数对这种宏块161进行量化处理，图像质量也不会有特别的问题。

另一方面，宏块162包括平坦区域和纹理区域。在利用单个量化参数的量化处理中，不可能执行适合于平坦区域和纹理区域两者的自适应量化。因此，如果图像编码设备100利用单个量化参数对这种宏块161执行量化处理，解码图像的主观图像质量可能会劣化。

在这种情况下，图像编码设备100也可以如上所述计算每个子宏块的量化值，从而可以执行更合适的量化处理，以抑制解码图像的主观图像质量的劣化。

此外，当每个画面的总编码量有可能在累积缓冲器107中溢出时，执行利用量化参数的控制。因此，此时，通过允许量化单元105计算每个子宏块的量化值并执行如上所述的量化，图像编码设备100可以按较小的单位控制针对溢出的测量。

此外，当submb_qp_delta的值是“0”时，略去submb_qp_delta的传输，从而可以抑制编码效率的不必要的降低。当submb_qp_delta的值是“0”时，每个子宏块的量化参数SubMB_QP与每个宏块的量化参数MB_QP彼此相等。因此，可以在解码侧使每个宏块的量化参数MB_QP是每个子宏块的量化参数SubMB_QP，从而不需要submb_qp_delta的值(“0”)。因此，可以如上所述略去submb_qp_delta的传输。不必说，可以传输值为“0”的submb_qp_delta；不过，通过略去submb_qp_delta的传输，可以改进编码效率。

[编码处理的流程]

接下来，描述上述图像编码设备100执行的每个处理的流程。首先，参照图7的流程图描述编码处理的流程示例。

在步骤S101，A/D转换器101对输入图像进行A/D转换。在步骤S102，画面重新排序缓冲器102存储A/D转换后的图像，并将显示顺序的画面重新排序为编码顺序。

在步骤S103，算术单元103计算通过在步骤S102处的处理重新排序的图像与预测图像之间的差值。在帧间预测的情况下，将预测图像从运动预测/补偿单元115通过选择器116提供给算术单元103，在帧内预测的情况下，将预测图像从帧内预测单元114通过选择器116提供给算术单元103。

差值数据的数据量小于原始图像数据的数据量。因此，与直接编码图像的情况相比，可以压缩数据量。

在步骤S104中，正交变换单元104对通过步骤S103中的处理生成的差值信息进行正交变换。具体来说，执行诸如离散预先变换和Karhunen-Loeve变换之类的正交变换，并输出变换系数。

在步骤S105，量化单元105和子宏块量化单元121获得量化参数。稍后详细描述量化参数计算处理的流程。

在步骤S106，量化单元105的量化处理器153利用通过步骤S105的处理计算出的每个子宏块的量化值，对通过步骤S104的处理获得的正交变换系数进行量化。

按以下方式对通过步骤S106的处理量化的差值信息进行局部解码。即，在步骤S107，逆量化单元108通过与量化单元105的特性对应的特性，对通过步骤S106的处理生成的量化正交变换系数(也称为量化系数)进行逆量化。在步骤S108，逆正交变换单元109利用与正交变换单元104的特性对应的特性，对通过步骤S107的处理获得的正交变换系数进行逆正交变换。

在步骤S109，算术单元110将预测图像与局部解码后的差值信息相加，以生成局部解码图像(与对算术单元103的输入相对应的图像)。在步骤S110，去块滤波器111对通过步骤S109的处理生成的图像进行滤波。据此，去除块失真。

在步骤S111，帧存储器112存储通过步骤S110的处理去除了块失真的图像。同时，还将未经过去块滤波器111的滤波处理的图像从算术单元110提供给帧存储器112以供存储。

在步骤S112，帧内预测单元114按帧间预测模式执行帧间预测处理。在步骤S113，运动预测/补偿单元115执行帧间运动预测处理，其中执行帧间预测模式的运动预测和运动补偿。

在步骤S114，选择器116基于从帧内预测单元114和运动预测/补偿单元115输出的每个成本函数值确定最优预测模式。即，选择器116选择帧内预测单元114生成的预测图像或运动预测/补偿单元115生成的预测图像。

此外，将表示所选择的预测图像的选择信息提供给被选择了预测图像的帧内预测单元114或运动预测/补偿单元115。当选择了最优帧内预测模式的预测图像时，帧内预测单元114将表示最优帧内预测模式的信息(即，帧内预测模式信息)提供给无损编码单元106。

当选择了最优帧间预测模式的预测图像时，运动预测/补偿单元115向无损编码单元106输出表示最优帧间预测模式的信息，如果需要的话，还输出与最优帧间预测模式对应的信息。与最优帧间预测模式对应的信息包括运动矢量信息、标志信息、基准帧信息等。

在步骤S115，无损编码单元106对通过步骤S106的处理量化的变换系数进行编码。即，对差值图像(在帧间的情况下是二次差值图像)执行诸如变长编码和算术编码的无损编码。

同时，无损编码单元106对在步骤S105计算出的量化参数进行编码，以加入编码数据。

此外，无损编码单元106对与通过在步骤S114的处理选择的预测图像的预测模式有关的信息进行编码，以加入通过对差值图像进行编码而获得的编码数据。即，无损编码单元106对从帧内预测单元114提供的帧内预测模式信息或者从运动预测/补偿单元115提供的与最优帧间预测模式对应的信息进行编码，以加入编码数据。

在步骤S116，累积缓冲器107累积从无损编码单元106输出的编码数据。适当地读取累积在累积缓冲器107中的编码数据，以通过传输通道传输给解码侧。

在步骤S117，速率控制器117基于通过步骤S116的处理在累积缓冲器107中累积的压缩图像控制量化单元105的量化操作的速率，使得不会发生上溢或下溢。

当完成了步骤S117的处理时，编码处理结束。

[量化参数计算处理的流程]

接着，参照图8的流程图描述图7中的步骤S105处执行的量化参数计算处理的流程示例。

当量化参数计算处理开始时，在步骤S131，子宏块活动度缓冲器151获得从速率控制器117提供的子宏块活动度。子宏块活动度缓冲器151保持一个画面的量的获得的子宏块活动度。

在步骤S132，子宏块量化单元121例如从子宏块活动度缓冲器151获得一个画面的量的子宏块活动度。然后，子宏块量化单元121利用所获得的子宏块活动度计算每个子宏块的量化值。

在步骤S133，量化参数计算单元152利用在步骤S132计算出的每个子宏块的量化值，获得量化参数pic_init_qp_minus26。

在步骤S134，量化参数计算单元152利用在步骤S132计算出的每个子宏块的量化值，获得量化参数slice_qp_delta。

在步骤S135，量化参数计算单元152利用在步骤S132计算出的每个子宏块的量化值，获得量化参数mb_qp_delta。

在步骤S136，量化参数计算单元152利用在步骤S132计算出的每个子宏块的量化值，获得量化参数submb_qp_delta。

在如上所述获得各种量化参数之后，量化单元105完成量化参数操作处理，将处理返回到图7中的步骤S105，并允许执行步骤S106处的处理和随后的步骤。

由于按上述方式执行了编码处理和量化参数计算处理，图像编码设备100可以设定每个子宏块的量化值，并执行更合适的量化处理。

此外，由于将按此方式计算出的量化参数发送给图像编码设备，图像编码设备100可以允许图像解码设备获得每个子宏块的量化值，并利用所述量化值执行逆量化。

<2.第二实施例>

[图像解码设备]

图9是说明应用了本技术的图像解码设备的原理结构示例的框图。图9所示的图像解码设备200是与图像编码设备100对应的解码设备。

通过预定传输通道将图像编码设备100编码的编码数据传输到与图像编码设备100对应的图像解码设备200。

如图9所示，图像解码设备200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、算术单元205、去块滤波器206、画面重新排序缓冲器207以及D/A转换器208。图像解码设备200还包括帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212以及选择器213。

此外，图像解码设备200包括子宏块逆量化单元221。

累积缓冲器201累积传输的编码数据。该编码数据经过了图像编码设备100的编码。无损解码单元202通过与图1中的无损编码单元106的编码系统对应的系统，按预定定时对从累积缓冲器201读取的编码数据进行解码。

逆量化单元203与子宏块逆量化单元221协作地操作，以对利用与图1中的量化单元105的量化系统对应的系统通过无损解码单元202进行解码而获得的系数数据(量化系数)进行逆量化。即，逆量化单元203利用从图像编码设备100提供的为每个子宏块计算的量化参数，通过与图1中的逆量化单元108的方法类似的方法，对量化系数进行逆量化。

逆量化单元203将逆量化后的系数数据(即，正交变换系数)提供给逆正交变换单元204。逆正交变换单元204通过与图1中的正交变换单元104的正交变换系数对应的系统，对正交变换系数进行逆正交变换，以获得与图像编码设备100的正交变换之前的剩余(residual)数据对应的解码剩余数据。

将通过逆正交变换获得的解码剩余数据提供给算术单元205。通过选择器213将预测图像从帧内预测单元211或运动预测/补偿单元212提供给算术单元205。

算术单元205将解码剩余数据与预测图像相加，以获得与图像编码设备100的算术单元103减去预测图像之前的图像数据对应的解码图像数据。算术单元205将解码图像数据提供给去块滤波器206。

去块滤波器206从所提供的解码图像去除块失真，然后将其提供给画面重新排序缓冲器207。

画面重新排序缓冲器207对图像进行重新排序。即，将由图1中的画面重新排序缓冲器102重新排序成编码顺序的帧重新排序成原始显示顺序。D/A转换器208对从画面重新排序缓冲器207提供的图像进行D/A转换，并将其输出给显示器(未示出)以供显示。

将去块滤波器206的输出进一步提供给帧存储器209。

帧存储器209、选择器210、帧内预测单元211、运动预测/补偿单元212以及选择器213分别对应于图像编码设备100的帧存储器112、选择器113、帧内预测单元114、运动预测/补偿单元115以及选择器116。

选择器210从帧存储器209读取执行帧间处理的图像和基准图像，以将图像提供给运动预测/补偿单元212。此外，选择器210从帧存储器209读取用于帧内预测的图像，以将该图像提供给帧内预测单元211。

将通过对头部信息进行解码而获得的表示帧内预测模式的信息等适当地从无损解码单元202提供给帧内预测单元211。帧内预测单元211基于该信息根据从帧存储器209获得的基准图像生成预测图像，并将所生成的预测图像提供给选择器213。

运动预测/补偿单元212从无损解码单元202获得通过对头部信息进行解码而获得的信息(预测模式信息、运动矢量信息、基准帧信息、标记、各种参数等)。

运动预测/补偿单元212基于从无损解码单元202提供的信息，根据从帧存储器209获得的基准图像生成预测图像，并将所生成的预测图像提供给选择器213。

选择器213选择由运动预测/补偿单元212或帧内预测单元211生成的预测图像，并将其提供给算术单元205。

子宏块逆量化单元221从逆量化单元203获得量化参数，并利用公式(10)获得每个子宏块的量化值，并将其返回给逆量化单元203。

[逆量化单元]

图10是说明逆量化单元203的详细结构示例的框图。

如图10所示，逆量化单元203包括量化参数缓冲器251、正交变换系数缓冲器252以及逆量化处理器253。

无损解码单元202对从图像编码设备100提供的编码数据的诸如画面参数组和切片头部之类的与每个层中的量化有关的参数进行解码，以提供给量化参数缓冲器251。量化参数缓冲器251适当地保持量化参数，并按预定定时将量化参数提供给子宏块逆量化单元221。

子宏块逆量化单元221利用从量化参数缓冲器251提供的量化参数，如公式(5)到(10)所示地计算每个子宏块的量化参数SubMB_QP，并将其变换成每个子宏块的量化值，以将量化值提供给逆量化处理器253。

同时，如以上在第一实施例中所述，当submb_qp_delta的值是“0”，不传输submb_qp_delta。当在从量化参数缓冲器251提供的量化参数中没有submb_qp_delta时，子宏块逆量化单元221将每个宏块的量化参数MB_QP的值应用于每个子宏块的量化参数SubMB_QP。

此外，将无损解码单元202通过对从图像编码设备100提供的编码数据进行解码而获得的量化正交变换系数提供给正交变换系数缓冲器252。正交变换系数缓冲器252适当保持量化的正交变换系数，并按预定定时将其提供给逆量化处理器253。

逆量化处理器253利用从子宏块逆量化单元221提供的每个子宏块的量化值，对从正交变换系数缓冲器252提供的量化正交变换系数进行逆量化。逆量化处理器253将通过逆量化而获得的逆量化处理器253提供给逆正交变换单元204。

如上所述，逆量化单元203可以利用为每个子宏块计算的量化值，执行逆量化处理。据此，图像解码设备200可以执行更适合于图像内容的逆量化处理。特别的，即使在宏块尺寸被扩展并且在单个宏块中包括平坦区域和包含纹理的区域的情况下，图像解码设备200也可以执行适合于每个区域的自适应逆量化处理，以抑制解码图像的主观图像质量的劣化。

同时，图1所示的图像编码设备100的逆量化单元108也具有与逆量化单元203的结构类似的结构并执行类似的处理。然而，逆量化单元108获得从量化单元105提供的量化参数以及量化正交变换系数，并执行逆量化。

此外，逆量化单元108将量化参数提供给子宏块逆量化单元122(其执行与子宏块逆量化单元221的处理类似的处理)，并允许子宏块逆量化单元122生成每个子宏块的量化值。

[解码处理流程]

接下来，描述上述图像解码设备200执行的每个处理的流程。首先，参照图11的流程图描述解码处理的流程示例。

当解码处理开始时，累积缓冲器201在步骤S201中累积传输的编码数据。在步骤S202，无损解码单元202对从累积缓冲器201提供的编码数据进行解码。即，对图1中的无损编码单元106编码的I图片、P图片以及B图片进行解码。

此时，还解码运动矢量信息、基准帧信息、预测模式信息(帧内预测模式或帧间预测模式)以及诸如标记的信息和量化参数。

当预测模式信息是帧内预测模式信息时，将预测模式信息提供给帧内预测单元211。当预测模式信息是帧间预测模式信息时，将与预测模式信息对应的运动矢量信息提供给运动预测/补偿单元212。

在步骤S203，逆量化单元203对通过无损解码单元202的解码而获得的量化正交变换系数进行逆量化。在步骤S204，逆正交变换单元204利用与图1中的正交变换单元104对应的方法，对通过逆量化单元203的逆量化而获得的正交变换系数进行逆正交变换。据此，解码与图1中的正交变换单元104的输入(算术单元103的输出)对应的差值信息。

在步骤S205，算术单元205将预测图像与通过步骤S204的处理而获得的差值信息相加。据此，解码原始图像数据。

在步骤S206，去块滤波器206对通过步骤S205的处理而获得的解码图像进行适当的滤波。据此，从解码图像适当去除块失真。

在步骤S207，帧存储器209存储滤波的解码图像。

在步骤S208，帧内预测单元211或运动预测/补偿单元212根据从无损解码单元202提供的预测模式信息对图像执行预测处理。

即，在从无损解码单元202提供了帧内预测模式信息的情况下，帧内预测单元211按帧内预测模式执行帧内预测处理。此外，在从无损解码单元202提供了帧间预测模式信息的情况下，运动预测/补偿单元212按帧间预测模式执行运动预测处理。

在步骤S209，选择器213选择预测图像。即，将由帧内预测单元211生成的预测图像或由运动预测/补偿单元212生成的预测图像提供给选择器213。选择器213选择提供了预测图像的单元，并将预测图像提供给算术单元205。通过步骤S205的处理，将预测图像与差值信息相加。

在步骤S210，画面重新排序缓冲器207对解码图像数据的帧进行重新排序。即，将由图1中的图像编码设备100的画面重新排序缓冲器102重新排序成编码顺序的解码图像数据的帧重新排序成原始显示顺序。

在步骤S211，D/A转换器208对由画面重新排序缓冲器207重新排序了帧的解码图像数据进行D/A转换。将解码图像数据输出给显示器(未示出)并显示图像。

[逆量化处理]

接着，参照图12的流程图描述逆量化处理的流程示例。

当逆量化处理开始时，在步骤S231，量化参数缓冲器251获得从无损解码单元202提供的量化参数pic_init_qp_minus26。

在步骤S232，量化参数计算单元251获得从无损解码单元202提供的量化参数slice_qp_delta。

在步骤S233，量化参数计算单元251获得从无损解码单元202提供的量化参数mb_qp_delta。

在步骤S234，量化参数计算单元251获得从无损解码单元202提供的量化参数submb_qp_delta。但是，当没有submb_qp_delta时，略去步骤S234处的处理。

在步骤S235，子宏块逆量化单元221利用通过步骤S231到S234的处理获得的各种量化参数，计算每个子宏块的量化值。但是，当没有从图像编码设备100提供submb_qp_delta并且略去了步骤S234处的处理时，子宏块逆量化单元221将每个宏块的量化值应用于每个子宏块的量化值。

在步骤S236，逆量化处理器253利用通过步骤S235的处理计算出的每个子宏块的量化值，对由正交变换系数缓冲器252保持的量化正交变换系数进行逆量化。

当步骤S236的处理完成时，逆量化单元203将处理返回到步骤S203，并允许执行步骤S204的处理和随后的步骤。

通过按上述方式执行解码处理和逆量化处理，图像解码设备200可以利用为每个子宏块计算的量化值执行逆量化处理，并执行更适合于图像内容的逆量化处理。

<3.第三实施例>

[submb_qp_present_flag]

尽管以上描述了作为量化参数适当传输submb_qp_delta，但是还可以传输标记，其确认存在每个宏块的submb_qp_delta。

在此情况下，图像编码设备100的结构类似于图1所示的结构示例。此外，量化单元105的结构类似于图5所示的结构示例。然而，量化参数计算单元152还计算每个子宏块的submb_qp_present_flag，它是表示是否存在值不为“0”的submb_qp_delta的标记信息。当属于宏块的子宏块的任一submb_qp_delta的值不为“0”时，将submb_qp_present_flag设定为“1”。此外，当属于宏块的所有子宏块的submb_qp_delta都为“0”时，将submb_qp_present_flag设定为“0”。

不必说，submb_qp_present_flag的值是任意的，可以使用任意值，只要可以区分任一submb_qp_delta的值不为“0”的情况和所有子宏块的submb_qp_delta都为“0”的情况即可。

当量化参数计算单元152按此方式设定所述值时，量化参数计算单元152将submb_qp_present_flag作为量化参数之一提供给无损编码单元106。无损编码单元106将该submb_qp_present_flag附加到宏块头部，并对其进行编码。即，将submb_qp_present_flag与编码数据以及其他量化参数一起传输。

因此，如参照图7的流程图的上述情况那样执行在此情况下的编码处理。此外，参照图13的流程图描述在此情况下的量化参数计算处理的流程示例。在此情况下，按与参照图8的流程图说明的情况基本类似的方式执行量化参数计算处理。

即，如图8中的步骤S131到S136的处理那样执行步骤S331到S336的处理。然而，在此情况下，量化参数计算单元152还在步骤S337计算量化参数submb_qp_present_flag。

如上所述，计算量化参数submb_qp_present_flag以供传输。

即，在数据的每个宏块头部中存在submb_qp_present_flag。然后，在submb_qp_present_flag的值为“1”的宏块的子宏块头部中存在submb_qp_delta，在submb_qp_present_flag的值为“0”的宏块的子宏块头部中不存在submb_qp_delta。

将这种编码数据从图像编码设备100传输到图像解码设备200。

在此情况下的图像解码设备200的结构类似于图9所示的结构示例。此外，逆量化单元203的结构类似于图10所示的结构示例。但是，对于submb_qp_present_flag被设定为“0”的宏块，子宏块逆量化单元221在不等待提供submb_qp_delta的情况下计算每个宏块的量化值，并将该量化值应用于每个子宏块的量化值。

换句话说，子宏块逆量化单元221仅当submb_qp_present_flag为“1”时获得submb_qp_delta，并计算每个子宏块的量化值。

在此情况下的解码处理类似于参照图11的流程图在以上描述的处理。此外，参照图14的流程图描述在此情况下的逆量化处理的流程示例。在此情况下，同样，按与参照图12的流程图说明的情况基本类似的方式执行逆量化处理。

即，如在图12的步骤S231到S233中的处理那样执行步骤S431到S433的处理。然而，在此情况下，在步骤S434量化参数缓冲器251获得在宏块头部中存储的量化参数submb_qp_present_flag。

在步骤S435，子宏块逆量化单元221确定量化参数submb_qp_present_flag的值是否为“1”。当量化参数submb_qp_present_flag的值为“1”时，量化参数缓冲器251在步骤S436获得量化参数submb_qp_delta。在步骤S437，子宏块逆量化单元221计算每个子宏块的量化值。即，执行与图12中的步骤S234和S235中的处理类似的处理。

此外，当在步骤S435确定量化参数submb_qp_present_flag的值为“0”时，子宏块逆量化单元221在步骤S438计算每个宏块的量化值，并将其应用为每个子宏块的量化值。

当如上所述地计算量化值时，在步骤S439逆量化处理器253利用量化值执行逆量化。

如上所述，通过传输表示每个宏块的量化参数submb_qp_delta的存在性的submb_qp_present_flag以供在逆量化时使用，图像解码设备200可以更容易地掌握量化参数submb_qp_delta的存在性，并且可以更容易地计算量化值，而不必进行不必要的搜索不存在的submb_qp_delta的处理。

尽管以上在第一到第三实施例中作为示例描述了利用与AVC相当的系统进行编码的图像编码设备，和利用与AVC相当的系统进行解码的图像解码设备，但是本技术的应用范围并不限于此，并且本技术可以应用于基于如图4所示的分级结构的块执行编码处理的每个图像编码设备和图像解码设备。

此外，可以将上述各种量化参数附加到编码数据的任意位置，或者可以将其与编码数据分开地传输到解码侧。例如，无损编码单元106可以在比特流中作为语法描述该信息。此外，无损编码单元106可以将该信息作为辅助信息存储在预定区域中以供传输。例如，可以将该信息存储在诸如SEI(补充增强信息)的参数组(例如，序列和图片的头部等)中。

无损编码单元106还可以将信息与编码数据分开地(作为另一文件)从图像编码设备传输到图像解码设备。在此情况下，需要明确该信息与编码数据之间的对应关系(使得解码侧可以掌握该关系)，但是可以为此采用任何方法。例如，可以分开地创建表示对应关系的表信息，或者在每个数据中嵌入表示对应数据的链接信息。

同时，可以仅对不小于32×32的扩展宏块执行利用每个子宏块的量化值的上述量化(对每个子宏块的量化参数的计算)。

例如，速率控制器117仅当当前宏块是扩展宏块时计算每个子宏块的活动度，并且在当前宏块是在诸如AVC的现有编码标准中定义的不大于16×16的常规宏块时计算每个宏块的活动度。

子宏块量化单元121仅对扩展宏块计算每个子宏块的量化值，并对不大于16×16的常规宏块计算每个宏块的量化值。

量化参数计算单元152仅对扩展宏块计算量化参数Submb_qp_delta，而对于不大于16×16的常规宏块不计算量化参数submb_qp_delta。

量化处理器153仅对扩展宏块利用每个子宏块的量化值执行量化，而对于不大于16×16的常规宏块利用每个宏块的量化值执行量化。

按上述方式，图像编码设备100可以仅对具有大区域的扩展宏块利用每个子宏块的量化值执行量化，在扩展宏块中，可以充分预期对解码图像的主观图像质量的劣化的抑制效果；对于具有常规尺寸的宏块，利用每个宏块的量化值执行量化，在该宏块中，对所述效果的预期相对较小。据此，图像编码设备100可以抑制由于利用每个子宏块的量化值进行量化而导致的负荷的增大。

在此情况下，与图像编码设备100一样，图像解码设备200当然可以仅针对扩展宏块利用每个子宏块的量化值执行逆量化。

例如，子宏块逆量化单元221仅对扩展宏块计算每个子宏块的量化值，并对不大于16×16的常规宏块计算每个宏块的量化值。

因此，逆量化处理器253仅对扩展宏块利用每个子宏块的量化值执行逆量化，而对于不大于16×16的常规宏块，利用每个宏块的量化值执行逆量化。

按上述方式，图像解码设备200可以仅对具有大区域的扩展宏块利用每个子宏块的量化值执行逆量化，在扩展宏块中，可以充分预期对解码图像的主观图像质量的劣化的抑制效果；对于具有常规尺寸的宏块，利用每个宏块的量化值执行逆量化，在该宏块中，对所述效果的预期相对较小。据此，图像解码设备200可以抑制由于利用每个子宏块的量化值进行逆量化而导致的负荷的增大。

同时，当如第三实施例中那样传输submb_qp_present_flag时，可以配置成仅对扩展宏块传输量化参数submb_qp_present_flag。换句话说，对于具有常规尺寸的宏块，可以略去量化参数submb_qp_present_flag的传输。当然，可以配置成对于具有常规尺寸的宏块，传输具有表示没有“0”以外的值的量化参数submb_qp_delta的值的量化参数submb_qp_present_flag。

<4.第四实施例>

[概述]

尽管描述了对每个子宏块指定量化参数，但是对子宏块赋予量化参数的方式可以不同于上述方式。例如，还可以利用每个子宏块的量化参数submb_qp_delta和紧接在其之前编码的子宏块的量化参数previous_qp，如以下公式(11)表示的那样定义赋予每个子宏块的量化参数SubMB_QP。

SubMB_QP＝Clip(0,51,previous_qp+submb_qp_delta)…(11)

[编码单位]

以下描述这种方法；以下利用称为编码单位的单位来代替上述宏块和子宏块进行描述。

例如，在“正在考虑的测试模型”(JCTVC-B205)中，利用称为编码单位的概念来定义参照图4描述的扩展宏块。

编码单位是图像(一个画面)的分割单位，其为诸如图像数据的编码处理的处理单位。即，编码单位是通过将图像(一个画面)分割成多个部分而获得的块(部分区域)。即，编码单位对应于上述宏块和子宏块。

图15是说明编码单位的结构示例的图。如图15所示，可以将编码单位的区域进一步分割成多个部分，每个区域可以作为一个较低层的编码单位。即，可以分级地配置编码单位(配置成具有树结构)。此外，编码单位的尺寸是任意的，并且在一个画面中可以存在不同尺寸的编码单位。

在图15的示例中，将最高层(深度＝0)中的编码单位的大小设定为128×128像素，通过在垂直和水平方向上分成两半(分成四份)而获得的64×64像素的区域是低一层(深度＝1)的编码单位，类似地重复编码单位的分级，并且8×8像素的区域作为最低层(深度＝4)的编码单位。

此时，将最高层的编码单位称为LCU(最大编码单位)，将最低层的编码单位称为SCU(最小编码单位)。即，LCU对应于宏块，较低层的编码单位对应于子宏块。

同时，每个层的编码单位的尺寸和形状以及层数是任意的。即，不要求在图像(一个画面)中所有LCU和SCU的尺寸和形状相同，编码单位的层数可以根据图像中的位置而不同，并且区域的分割方式也是任意的。即，编码单位的树结构可以是任意结构。

不必说，可以部分地限制编码单位的分级结构的自由度，使得分割区域的方式相同，但是层数不同。例如，如图15所示，可以配置成使得在任意位置在垂直和水平方向上将一个区域(一个画面或一个编码单位)分割成两半(即，分成四份)，并且限定每个位置中的LCU和SCU的尺寸，从而限定编码单位的分级结构。

可以用图像压缩信息中设定的序列参数来指定LCU和SCU的尺寸。不必说，可以用另一元数据来指定它们。

[量化参数的分配]

在本实施例中，将量化参数submb_qp_delta分配给每个编码单位而不是宏块和子宏块。然而，在此情况下，量化参数submb_qp_delta不是每个宏块的量化参数MB_QP和每个子宏块的量化参数SubMB_QP之间的差值，而是之前编码的编码单位的量化参数previous_qp与当前编码单位的量化参数SubMB_QP之间的差值。

换句话说，对每个编码单位分配表示用于前一编码的量化参数previous_qp与用于当前编码单位的量化参数SubMB_QP之间的差值的量化参数submb_qp_delta。即，对每个编码单位分配满足上述公式(11)的量化参数submb_qp_delta。

同时，只要求对图像的整个区域进行量化，从而将量化参数submb_qp_delta实际分配给编码单位的一部分，如仅分配给SCU。

如在上述其他实施例中那样，可以通过对从编码单位的活动度获得的量化值进行变换来获得当前编码单位的量化参数SubMB_QP。因此，可以利用公式(11)计算每个编码单位的量化参数submb_qp_delta。

图16说明了一个LCU中的编码单位的结构示例和分配给每个编码单位的量化参数的示例。如图16所示，对每个编码单位(CU)分配用于前一编码的量化参数previous_qp与用于当前编码单位的量化参数SubMB_QP之间的差值△QP，作为量化参数。

更具体来说，对LCU中的左上编码单位0(编码单位0)分配量化参数△QP₀。此外，对LCU中的四个右上编码单位中的左上编码单位10(编码单位10)分配量化参数△QP₁₀。此外，对LCU中的四个右上编码单位中的右上编码单位11(编码单位11)分配量化参数△QP₁₁。此外，对LCU中的四个右上编码单位中的左下编码单位12(编码单位12)分配量化参数△QP₁₂。此外，对LCU中的四个右上编码单位中的右下编码单位13(编码单位13)分配量化参数△QP₁₃。

对LCU中的四个左下编码单位中的左上编码单位20(编码单位20)分配量化参数△QP₂₀。此外，对LCU中的四个左下编码单位中的右上编码单位21(编码单位21)分配量化参数△QP₂₁。此外，对LCU中的四个左下编码单位中的左下编码单位22(编码单位22)分配量化参数△QP₂₂。此外，对LCU中的四个左下编码单位中的右下编码单位23(编码单位23)分配量化参数△QP₂₃。对LCU中的右下编码单位3(编码单位3)分配量化参数△QP₃。

将紧接在LCU之前处理的编码单位的量化参数设定给PrevQP。此外，假设LCU中的左上编码单位0(编码单位0)是在LCU中首先处理的当前编码单位。

如下公式(12)所示计算当前编码单位的量化参数CurrentQP。

CurrentQP＝PrevQP+△QP₀…(12)

假设在编码单位0之后要处理的编码单位是图6所示的LCU中的四个右上编码单位中的左上编码单位10(编码单位10)。

当编码单位10变成处理目标时，如以下公式(13)和(14)所示的那样计算当前编码单位的量化参数CurrentQP。

PrevQP＝CurrentQP…(13)

CurrentQP＝PrevQP+△QP₁₀…(14)

按此方式，通过使分配给每个编码单位的量化参数为前一编码的编码单位的量化参数与当前量化参数之间的差值，不必计算每个宏块的量化参数，从而可以更容易地执行量化处理。

同时，当计算已经编码的编码单位的量化参数与当前量化参数之间的差值时，还可以计算与当前编码单位之前编码的编码单位(LCU中的在之前编码的编码单位之前编码的编码单位)的差值。然而，之前编码的编码单位的量化参数与当前量化参数之间的差值是优选的。

即，当计算之前编码的编码单位的量化参数与当前量化参数之间的差值时，仅要求在存储器中存储之前编码的编码单位的量化参数，并且可以按FIFO(先入先出)系统管理量化参数。因此，当计算量化参数的差值时，容易管理量化参数并且存储器的使用量较小，从而在安装方案有优势。

同时，通过如图17所示的编码单位的语法来定义每个编码单位的这种量化参数cu_qp_delta，以传输到解码侧。即，每个编码单位的量化参数cu_qp_delta对应于上述量化参数sub_qp_delta。

[图像编码设备]

图18是说明应用了本技术的图像编码设备的原理结构示例的框图。图18所示的图像编码设备300如上所述地对每个编码单位分配量化参数cu_qp_delta。

如图18所示，图像编码设备300具有基本类似于图1的图像编码设备100的结构的结构。然而，图像编码设备300包括编码单位量化单元305和速率控制器317，而不是图像编码设备100的量化单元105、速率控制器117以及子宏块量化单元121。此外，图像编码设备300包括编码单位逆量化单元308，而不是图像编码设备100的逆量化单元108和子宏块逆量化单元122。

速率控制器317基于累积在累积缓冲器107中的压缩图像控制编码单位量化单元305的量化操作的速率，使得不会发生上溢或下溢。此外，速率控制器317向编码单位量化单元305提供表示每个编码单位的图像的复杂度的信息。编码单位量化单元305利用该活动度对每个编码单位执行量化。此外，编码单位量化单元305计算每个编码单位的量化参数。编码单位量化单元305将为每个编码单位量化的正交变换系数(系数数据)和为每个编码单位计算的量化参数提供给无损编码单元106，并对其进行编码以供传输。此外，编码单位量化单元305还将为每个编码单位量化的正交变换系数(系数数据)和为每个编码单位计算的量化参数提供给编码单位逆量化单元308。

编码单位逆量化单元308利用从编码单位量化单元305提供的每个编码单位的量化参数，对每个编码单位执行逆量化。编码单位逆量化单元308将为每个编码单位逆量化的正交变换系数(系数数据)提供给逆正交变换单元109。在描述图像解码设备时稍后详细描述编码单位逆量化单元308。

[与量化有关的详细结构]

图19是说明编码单位量化单元305和速率控制器317的详细结构示例的框图。

如图19所示，速率控制器317包括活动度计算单元321和活动度缓冲器322。

活动度计算单元321从画面重新排序缓冲器102获得作为编码处理的目标的图像(当前编码单位)，并计算作为表示像素值的离散的信息的活动度，作为表示图像的复杂度的信息。即，活动度计算单元321计算每个编码单位的活动度。同时，只要求对整个图像进行量化处理，从而可以仅为编码单位的一部分计算活动度，如仅为SCU计算活动度。

活动度缓冲器322保持活动度计算单元321计算出的每个编码单位的活动度，并按预定定时将其提供给量化单元105。活动度缓冲器322例如保持一个画面的量的所获得的每个编码单位的活动度。

计算活动度的方法是任意的，并且可以是与上述MPEG2测试模型的方法类似的方法。此外，表示图像的复杂度的信息的内容也是任意的，并且可以是除这种活动度以外的其他信息。

编码单位量化单元305包括编码单位量化值计算单元331、画面量化参数计算单元332、切片量化参数计算单元333、编码单位量化参数计算单元334以及编码单位量化单元335。

编码单位量化值计算单元331基于从速率控制器317提供的每个编码单位的活动度(表示每个编码单位的图像的复杂度的信息)，计算每个编码单位的量化值。可以利用与在根据每个LCU的活动度计算每个LCU的量化值的情况中的方法类似的方法，计算每个编码单位的量化值。同时，只要求对整个图像进行量化处理，从而可以仅为编码单位的一部分计算每个编码单位的量化值。以下，作为示例，假设仅为SCU计算每个编码单位的量化值。

在获得每个编码单位的量化值之后，编码单位量化值计算单元331将每个编码单位的量化值提供给画面量化参数计算单元332。

画面量化参数计算单元332利用每个编码单位的量化值，获得每个画面的量化参数pic_init_qp_minus26。

切片量化参数计算单元333利用每个编码单位的量化值，获得每个切片的量化参数slice_qp_delta。

编码单位量化参数计算单元334利用用于前一编码的量化参数prevQP，获得每个编码单位的量化参数cu_qp_delta。将画面量化参数计算单元332到编码单位量化参数计算单元334生成的量化参数提供给无损编码单元106，对其进行编码，并传输到解码侧，并且还提供给编码单位逆量化单元308。

编码单位量化单元335利用每个编码单位的量化值，对当前编码单位的正交变换系数进行量化。

编码单位量化单元335将为每个编码单位量化的正交变换系数提供给无损编码单元106和编码单位逆量化单元308。

[编码处理的流程]

图像编码设备300按与参照图6描述的图1中的图像编码设备100的情况基本类似的方式执行编码处理。

[量化参数计算处理的流程]

参照图20的流程图描述在编码处理中执行的量化参数计算处理的流程示例。

当量化参数计算处理开始时，在步骤S531中，编码单位量化值计算单元331获得从速率控制器317提供的每个编码单位的活动度。

在步骤S532，编码单位量化值计算单元331利用每个编码单位的活动度，计算每个编码单位的量化值。

在步骤S533，画面量化参数计算单元332利用在步骤S532计算出的每个编码单位的量化值，获得量化参数pic_init_qp_minus26。

在步骤S534，切片量化参数计算单元333利用在步骤S532计算出的每个编码单位的量化值，获得量化参数slice_qp_delta。

在步骤S535，编码单位量化参数计算单元334利用用于前一编码的量化参数prevQP，获得每个编码单位的量化参数cu_qp_delta(图16中的△QP₀到△QP₂₃等)。

在按上述方式获得了各种量化参数之后，编码单位量化单元305完成量化参数计算处理，并执行编码处理的后续处理。

由于按上述方式执行编码处理和量化参数计算处理，图像编码设备300可以设定每个编码单位的量化值并根据图像内容执行更合适的量化处理。

此外，由于将按此方式计算出的量化参数传输到图像解码设备，图像编码设备300可以允许图像解码设备对每个编码单位执行逆量化。

同时，图像编码设备300中包括的编码单位逆量化单元308执行与图像编码设备300对应的图像解码设备中包括的编码单位逆量化单元的处理类似的处理。即，图像编码设备300也可以对每个编码单位执行逆量化。

[图像解码设备]

图21是说明应用了本技术的图像解码设备的另一结构示例的框图。与上述图像编码设备300对应的图21所示的图像解码设备400对通过图像编码设备300对图像数据的编码而生成的编码流(编码数据)正确地进行解码，以生成解码图像。

如图21所示，图像解码设备400具有与图8中的图像解码设备200的结构基本类似的结构，并执行类似的处理。然而，图像解码设备400包括编码单位逆量化单元403，而不是图像解码设备200的逆量化单元203和子宏块逆量化单元221。

编码单位逆量化单元403利用从图像编码设备300提供的每个编码单位的量化参数等，对由图像编码设备300对每个编码单位量化的正交变换系数进行逆量化。

图22是说明编码单位逆量化单元403的详细结构示例的框图。如图22所示，编码单位逆量化单元403包括量化参数缓冲器411、正交变换系数缓冲器412、编码单位量化值计算单元413以及编码单位逆量化处理器414。

无损解码单元202对从图像编码设备300提供的编码数据的诸如图片参数组和切片头部之类的每个层中的量化参数进行解码，以提供给量化参数缓冲器411。量化参数缓冲器411适当保持量化参数，并按预定定时将其提供给编码单位量化值计算单元413。

编码单位量化值计算单元413利用从量化参数缓冲器411提供的量化参数，计算每个编码单位的量化值，并将量化值提供给编码单位逆量化处理器414。

此外，将无损解码单元202通过对从图像编码设备300提供的编码数据进行解码而获得的量化正交变换系数提供给正交变换系数缓冲器412。正交变换系数缓冲器412适当保持量化正交变换系数，以按预定定时提供给编码单位逆量化处理器414。

编码单位逆量化处理器414利用从编码单位量化值计算单元413提供的每个编码单位的量化值，对从正交变换系数缓冲器412提供的量化正交变换系数进行逆量化。编码单位逆量化处理器414将通过逆量化获得的正交变换系数提供给逆正交变换单元204。

如上所述，编码单位逆量化单元403可以利用为每个编码单位计算的量化值执行逆量化处理。据此，图像解码设备400可以执行更适合于图像内容的逆量化处理。特别的是，即使宏块的尺寸被扩展(LCU的尺寸较大)并且在单个LCU中包括平坦区域和包括纹理的区域的情况下，图像解码设备400也可以执行适合于每个区域的自适应逆量化处理，以抑制解码图像的主观图像质量的劣化。

同时，图18所示的图像编码设备300的编码单位逆量化单元308还具有与编码单位逆量化单元403的结构类似的结构，并执行类似的处理。然而，编码单位逆量化单元308获得从编码单位量化单元305提供的量化参数和量化正交变换系数，并执行逆量化。

[解码处理的流程]

图像解码设备400按在参照图10的流程图描述的图8的图像解码设备200的情况中的方式基本类似的方式执行解码处理。

[逆量化处理的流程]

参照图23的流程图描述图像解码设备400在解码处理中执行的逆量化处理的流程示例。

当逆量化处理开始时，在步骤S631量化参数缓冲器411获得从无损解码单元202提供的量化参数pic_init_qp_minus26。

在步骤S632，量化参数计算单元411获得从无损解码单元202提供的量化参数slice_qp_delta。

在步骤S633，量化参数缓冲器411获得从无损解码单元202提供的量化参数cu_qp_delta。

在步骤S634，编码单位量化值计算单元413利用通过步骤S631到S633的处理获得的各种量化参数以及之前使用的量化参数PrevQP，计算每个编码单位的量化值。

在步骤S635，编码单位逆量化处理器414利用通过步骤S634的处理计算出的每个编码单位的量化值，对由正交变换系数缓冲器412保持的量化正交变换系数进行逆量化。

当步骤S635的处理完成时，编码单位逆量化单元403将处理返回到解码处理，并允许执行随后的处理。

如上所述，通过执行解码处理和逆量化处理，图像解码设备400可以利用为每个编码单位计算的量化值执行逆量化处理，并执行更适合于图像内容的逆量化处理。

如上所述，为了减小每个编码单位(子宏块)的量化参数的编码量，获得预定量化参数与量化参数SubMB_QP(量化参数submb_qp_delta)之间的差值dQP，以供传输，而不是传输量化参数SubMB_QP本身。作为计算量化参数dQP的方法，以上描述了通过以下公式(15)和(16)表示的两种方法。

dQP＝CurrentQP–LCUQP…(15)

dQP＝CurrentQP–PreviousQP…(16)

在公式(15)和(16)中，CurrentQP表示当前编码单位(CU)的量化参数。此外，LCUQP表示当前CU属于的LCU(即，当前LCU)的量化参数。此外，PreviousQP表示紧接在当前CU之前处理的CU的量化参数。

即，在公式(15)的情况下，传输当前LCU的量化参数与当前CU的量化参数之间的差值。此外，在公式(16)的情况下，传输之前处理的CU的量化参数与当前CU的量化参数之间的差值。

计算这种量化参数dQP以供传输的方法是任意的，并且可以是除上述两种示例以外的其他方法。

例如，如以下公式(17)所示，也可以传输当前CU所属的切片(即，当前切片)的量化参数SliceQP与当前CU的量化参数之间的差值。

dQP＝CurrentQP–SliceQP…(17)

图19中的编码单位量化参数计算单元334可以通过对由编码单位量化值计算单元331计算出的当前CU的量化值进行变换，获得量化参数CurrentQP。此外，图19中的切片量化参数计算单元333可以利用由画面量化参数计算单元332获得的量化参数pic_init_qp_minus26和它自己获得的量化参数slice_qp_delta，获得量化参数SliceQP。

因此，例如，图19中的编码单位量化参数计算单元334可以利用所述值获得量化参数dQP。编码单位量化参数计算单元334将量化参数dQP提供给无损编码单元106以传输到解码侧。

在“Test Model Under Consideration”(JCTVC-B205)中定义了量化参数pic_init_qp_minus26和量化参数slice_qp_delta，并且可以通过与常规编码系统类似的方法来设定。

在解码侧，可以根据从编码侧传输的量化参数dQP获得CU的量化参数。

例如，编码单位量化值计算单元413从量化参数dQP如以下公式(18)所示的那样获得CU的量化参数SubMB_QP，并对其进行变换，以获得量化值。

SubMB_QP＝Clip(minQP,maxQP,SliceQP+submb_qp_delta)…(18)

在公式(18)中，minQP表示预先定义的最小量化参数，maxQP表示预先定义的最大量化参数。

按此方式，在量化参数SliceQP也用于获得量化参数dQP的情况下，可以执行量化和逆量化作为上述两种方法。即，不仅可以执行更适合于图像内容的量化和逆量化，而且可以减小量化参数的编码量。

图24示出了对各方法的处理特性进行相互比较的表。在图24所示的表中，最上面的方法(称为第一方法)是利用LCU的量化参数获得量化参数dQP的方法。上面第二个方法(称为第二方法)是利用紧接在当前CU之前处理的CU的量化参数获得量化参数dQP的方法。最下面的方法(称为第三方法)是利用当前切片的量化参数获得量化参数dQP的方法。

在图24的表中，作为方法的特性，相互比较流水线处理的容易性和编码效率。如图24的表所示，第一方法的流水线处理比第二方法容易。第三方法的流水线处理比第一方法容易。此外，第一方法的编码效率好于第三方法。第二方法的编码效率好于第一方法。

即，通常，区域越靠近当前区域，与当前区域(如编码单位和子宏块)的相关性越高。因此，可以通过利用较靠近当前区域的区域获得量化参数dQP，进一步改进量化参数dQP的编码效率。

然而，通常，区域越远离当前区域，它就被越早处理。因此，到当前区域被处理的时间越长。即，处理延迟等的允许时间变得越长。因此，当利用较远离当前区域的区域获得量化参数dQP时，较不容易发生延迟，这有利于流水线处理。

如上所述，各个方法具有不同特性，因而合适的方法取决于优先条件而不同。同时，还可以选择每个方法。选择方法是任意的。例如，用户可以预先确定要应用的方法。例如，还可以根据任意条件(例如为任意处理单元或在出现任意事件时)自适应选择任何方法。

当自适应选择任意方法时，还可以生成表示所选方法的标记信息，并将标记信息从编码侧(量化侧)传输到解码侧(逆量化侧)。在此情况下，解码侧(逆量化侧)可以通过参考标记信息来选择与编码侧(量化侧)相同的方法。

此外，计算量化参数dQP的方法是任意的，并且可以是除上述方法以外的其他方法。预备的计算方法的数量也是任意的。此外，值可以是可变的。还可以将定义量化参数dQP的信息从编码侧(量化侧)传输到解码侧(逆量化侧)。

在考虑到上述方法的特性的情况下说明计算量化参数的差值的方法。图25说明了LCU和CU的结构示例。(数字)表示编码单位的编码(解码)处理顺序。

在LCU(0)中，编码单位的编码顺序如下：

CU(0)

→CU(10)→CU(11)→CU(12)→CU(13)

→CU(20)→CU(21)

→CU(30)→CU(31)→CU(32)→CU(33)

→CU(23)

→CU(3)

在此情况下，量化参数的差值如下：

在LCU的头部的编码单位CU(0)利用公式(17)传送CU(0)所属的切片(即，当前切片)的量化参数SliceQP与当前CU(0)的量化参数之间的差值。

dQP(CU(0))＝CurrentQP(CU0)–SliceQP

接着，除了LCU的头部处的编码单位以外的其他编码单位CU(10)到CU(3)利用公式(16)传送当前CU的量化参数(CurrentCU)与之前编码的CU(PrevisousCU)之间的差值。

dQP＝CurrentQP(CUi)–PreviousQP(CUi-1)

即，当参照图25描述时，量化参数的差值如下：

dQP(CU(10))＝CurrentQP(CU(10))-PrevisouQP(CU(0))

dQP(CU(11))＝CurrentQP(CU(11))-PrevisouQP(CU(10))

dQP(CU(12))＝CurrentQP(CU(12))-PrevisouQP(CU(11))

dQP(CU(13))＝CurrentQP(CU(13))-PrevisouQP(CU(12))

dQP(CU(20))＝CurrentQP(CU(20))-PrevisouQP(CU(13))

dQP(CU(21))＝CurrentQP(CU(21))-PrevisouQP(CU(20))

dQP(CU(30))＝CurrentQP(CU(30))-PrevisouQP(CU(21))

dQP(CU(31))＝CurrentQP(CU(31))-PrevisouQP(CU(30))

dQP(CU(32))＝CurrentQP(CU(32))-PrevisouQP(CU(31))

dQP(CU(33))＝CurrentQP(CU(33))-PrevisouQP(CU32))

dQP(CU(23))＝CurrentQP(CU(23))-PrevisouQP(CU33))

dQP(CU(3))＝CurrentQP(CU(3))-PrevisouQP(CU23)

对于其他LCU(1)到LCU(N)，也类似地计算量化参数的差值以供传送。

按此方式，通过计算和传送量化参数的差值，利用每个方法的特性的优点，可以满足流水线处理的容易性和编码效率两者(图中用双圆表示)。

同时，考虑到安装，当在LUC中执行封闭控制(closed control)时，LCU头部处的编码单位CU(0)可以利用公式(15)计算量化参数的差值。

同时，不要求对所有编码单位设定上述量化参数dQP，可以仅对期望对其设定不同于基准量化参数(如LCUQP,PreviousQP以及SliceQP)的值的CU设定量化参数dQP。

为此，还可以在切片头部(SliceHeader)中附加语法MinCUForDQPCoded。

图26是说明切片头部的语法示例的图。每个行的左端的数字是为了说明而赋予的行号。

在图26的示例中，在第22行设定MinCUForDQPCoded。该MinCUForDQPCoded指定设定dQP的最小CU大小。例如，当CU的最小大小是8×8，如果指定MinCUForDQPCoded＝16，那么图像编码设备300的编码单位量化参数计算单元334仅为大小不小于16×16的CU设定dQP，而不对大小为8×8的CU设定dQP即，在此情况下，传输大小不小于16×16的CU的dQP。同时，可以设定MinCUForDQPCoded，作为从在编码(解码)时设定的CU大小(4×4,8×8,16×16,32×32等)中确定(选择)设定dQP的最小CU大小的标记(例如，0:4×4,1:8×8,2:16×16等)，作为指定设定dQP的最小CU大小的方法。

例如，当制作编码器的人只想利用尺寸为16×16的CU进行控制时，要求对尺寸为8×8的CU传送所有为0的dQP，这可能会劣化编码效率。

因此，通过设定这种语法MinCUForDQPCoded，在此情况下可以略去大小为8×8的CU的dQP的传送，从而抑制编码效率劣化。

图像解码设备400的编码单位量化值计算单元413根据这种语法知道不传送大小为8×8的CU的dQP，并利用诸如LCUQP、PreviousQP以及SliceQP的基准量化参数来计算量化值。

同时，可以将MinCUForDQPCoded存储在除切片头部以外的其他位置。例如，可以将其存储在画面参数组(PictureParameterSet)中。可以通过将其存储在切片头部或画面参数组中，支持在画面变化之后改变该值的操作。

然而，当将MinCUForDQPCoded存储在切片头部中时，也可以支持将画面多重切割并对每个切片并行处理的情况，这是更可取的。

<5.第五实施例>

[概述]

尽管以上描述了从图像编码设备向图像解码设备传送每个子宏块(小于LCU的编码单位)的量化参数，但是在此情况下，还要求图像解码设备可以获得每个子宏块(小于LCU的编码单位)的量化参数，并利用量化参数对每个子宏块(小于LCU的编码单位)执行量化。

因此，可以配置成图像编码设备设定每个宏块(LCU)的量化参数，将每个宏块(LCU)的量化参数提供给图像解码设备，同时对每个子宏块(小于LCU的编码单位)执行量化处理。

例如，当利用上述TestModel 5计算每个宏块(LCU)的活动度时，即使宏块(LCU)的大小是64×64,128×128等，图像编码设备也计算小于宏块(LCU)的8×8,16×16等的每个块(编码单位)的活动度。

然后，图像编码设备基于TestModel5的方法，基于每个8×8块或16×16块的活动度，确定每个8×8块或16×16块的量化参数值。

然后，为每个宏块(LCU)设定量化参数。

例如，假设如图27所示LCU(宏块)的大小是64×64像素。当图像编码设备计算每个16×16编码单位的活动度以计算LCU的量化参数时，每个编码单位(块)的活动度变成QP₀₀到QP₃₃。

在AVC的情况下，将量化参数QP设计成当其值增大6(例如从6到12)时，执行原始量化处理的两倍粗的量化处理，如图28所示。

色度信号的劣化在较低比特率(即，较高QP)时尤其容易注意到。因此，预先相对于亮度信号的量化参数QP_Y定义色度信号的缺省量化参数QP_C。

另一方面，在该实施例的情况下，图像编码设备在第一步骤中如以下公式(19)所示的那样确定宏块的量化参数QP_MB。

在第二步骤中，利用QP₀₀到QP₃₃的值执行每个块的量化处理。结果，将每个块的非零系数的位置存储在存储器中。

在第三步骤中，利用QP_MB的值执行每个块的量化处理。

在第四步骤中，仅将在第三步骤中获得的非零中的位于在第二步骤中也是非零系数的系数位置中的值传输给无损编码信息，作为编码信息。

通过执行这种处理，尽管仅将QP_MB传输给图像压缩信息作为量化参数，但是通过利用QP₀₀到QP₃₃的值对每个块执行伪处理，可以实现自适应量化并改进作为输出的图像压缩信息的主观图像质量。

[图像编码设备]

图29是说明应用了本技术的图像编码设备的另一结构示例的框图。如图29所示，在此情况下的图像编码设备500具有与图1的图像编码设备100的结构基本类似的结构，并执行类似的处理。

但是，图像编码设备500包括速率控制器317、编码单位量化单元504以及量化单元505，而不是图像编码设备100的量化单元105、速率控制器117以及子宏块量化单元121。

尽管图1中的图像编码设备100除了逆量化单元108以外还包括子宏块逆量化单元122，但是图像编码设备500仅包括逆量化单元108。即，与在常规AVC等中一样，对每个LCU(宏块)执行逆量化处理。这也适用于与图像编码设备500对应的图像解码设备。

编码单位量化单元504利用由速率控制器317获得的每个编码单位的活动度，对每个编码单位(例如SCU)执行量化。

量化单元505获得每个LCU的量化参数，并利用它对每个编码单位执行量化。然后，量化单元505在相同的位置将由编码单位量化单元504获得的编码单位的量化正交变换系数中的非零系数替换为量化单元505的量化处理结果(量化正交变换系数)。

将该替换的结果提供给无损编码单元106和逆量化单元108，作为量化结果。此外，将量化单元505计算出的每个LCU的量化参数提供给无损编码单元106和逆量化单元108。

如常规AVC等的情况那样，图像解码设备(未示出)的逆量化单元108和逆量化单元利用每个LCU的量化参数执行逆量化。

[速率控制器、编码单位量化单元以及量化单位的结构]

图30是说明图29中的编码单位量化单元、量化单元以及速率控制器的详细结构示例的框图。

如图30所示，编码单位量化单元504包括编码单位量化参数确定单元511、编码单位量化处理器512以及非零系数位置缓冲器513。

编码单位量化参数确定单元511利用从速率控制器317的活动度缓冲器322提供的比LCU低的层中的每个编码单位(例如SCU)的活动度，确定比LCU低的层中的每个编码单位(例如SCU)的量化参数CU_QP。编码单位量化参数确定单元511将每个编码单位的量化参数CU_QP提供给编码单位量化处理器512和量化单元505的LCU量化参数确定单元522。

编码单位量化处理器512利用从编码单位量化参数确定单元511提供的每个编码单位的量化参数CU_QP，对比LCU低的层中的每个编码单位(例如SCU)的从量化单元505的正交变换系数缓冲器521提供的正交变换系数进行量化。编码单位量化处理器512将通过量化获得的编码单位的量化正交变换系数中的值不为0(非零系数)的编码单位的位置提供给非零系数位置缓冲器513，并允许它保持该位置。

非零系数位置缓冲器513按预定定时将所保持的非零系数的位置提供给量化单元505的系数替换单元524。

如图30所示，量化单元505包括正交变换系数缓冲器521、LCU量化参数确定单元522、LCU量化处理器523以及系数替换单元524。

正交变换系数缓冲器521保持从正交变换单元104提供的正交变换系数，并按预定定时将所保持的正交变换系数提供给编码单位量化处理器512和LCU量化处理器523。

LCU量化参数确定单元522将从编码单位量化参数确定单元511提供的每个编码单位的量化参数CU_QP中的LCU的最小值确定为每个LCU的量化参数LCU_QP，如上述公式(19)所表示的。LCU量化参数确定单元522将每个LCU的量化参数LCU_QP(当前LCU的CU_QP的最小值)提供给LCU量化处理器523。

LCU量化处理器523利用从LCU量化参数确定单元522提供的每个LCU的量化参数LCU_QP，对比LCU低的层中的每个编码单位(例如SCU)的从正交变换系数缓冲器521提供的正交变换系数进行量化。LCU量化处理器523将通过量化获得的每个编码单位的量化正交变换系数提供给系数替换单元524。

系数替换单元524将与由LCU量化处理器523量化的正交变换系数的值不为0的系数(非零系数)中的、从非零系数位置缓冲器513提供的非零系数的位置不同的位置中的系数替换为0。

即，系数替换单元524在利用为比LCU低的层中的每个编码单位确定的量化参数CU_QP的量化和利用为每个LCU确定的量化参数LCU_QP的量化中，仅对量化结果的获得值不为0的编码单位(在比LCU低的层中)采用量化结果的值作为量化正交变换系数。另一方面，对于其他编码单元(在比LCU低的层中)，系数替换单元524将所有量化正交变换系数的所有值都设定为0。

系数替换单元524将按此方式适当替换了值的量化正交变换系数，连同为每个LCU确定的量化参数LCU_QP一起，提供给无损编码单元106和逆量化单元108。

无损编码单元106对所提供的系数数据和量化参数进行编码，以提供给与图像编码设备500对应的图像解码设备(能够对图像编码设备500生成的编码数据进行解码)。图像解码设备如在常规AVC等的情况中那样，利用从图像编码设备500提供的每个LCU的量化参数LCU_QP执行逆量化。

逆量化单元108利用从系数替换单元524提供的每个LCU的量化参数LCU_QP，对从系数替换单元524提供的系数数据类似地进行逆量化。

同时，逆量化单元108具有与参照图10描述的逆量化单元203的结构基本类似的结构。然而，在逆量化单元108的情况下，逆量化处理器253利用从量化参数缓冲器251提供的量化参数(每个LCU的量化参数LCU_QP)，对从正交变换系数缓冲器252提供的量化正交变换系数进行逆量化。

[编码处理的流程]

接着，参照图31的流程图描述图像编码设备500执行的编码处理的流程示例。在此情况下，按与参照图7的流程图描述的编码处理的每个处理的方式基本类似的方式执行编码处理的每个处理。

即，如图7中的步骤S101到S104中的处理那样执行步骤S701到S704的处理。然而，执行步骤S705中的量化处理，而不是图7中的步骤S105和S106。此外，如步骤S106到S117的处理那样执行步骤S706到S716中的处理。

[量化处理的流程]

接着，参照图32的流程图描述图31中的步骤S705中执行的量化处理的流程示例。

当量化处理开始时，在步骤S731中活动度计算单元321计算每个编码单位的活动度。

在步骤S732中，编码单位量化参数确定单元511确定比LCU低的层中的每个编码单位的量化参数CU_QP。

在步骤S733中，LCU量化参数确定单元522确定每个LCU的量化参数LCU_QP。

在步骤S734中，编码单位量化处理器512利用比LCU低的层中的每个编码单位的量化参数CU_QP来执行量化。

在步骤S735中，非零系数位置缓冲器513保持通过步骤S734中的量化处理而生成的非零系数的位置。

在步骤S736中，LCU量化处理器523利用每个LCU的量化参数LCU_QP执行量化。

在步骤S737中，系数替换单元524将在与通过步骤S735的处理保持的非零系数的位置不同的位置中的、比LCU低的层中的编码单位的量化正交变换系数的值替换为0。

当完成了替换时，量化处理完成，并且处理返回到图31的步骤S705，然后执行步骤S706中的处理和随后的步骤。

如上所述，在输出和输入分别是图像压缩信息的图像信息编码设备和图像信息解码设备中，基于使用扩展宏块的编码系统，通过对比LCU低的层中的每个编码单位(子宏块)执行伪量化处理，即使在单个LCU(宏块)中混合有平坦区域和纹理区域，也可以基于平坦区域和纹理区域的特性来执行自适应量化，从而改进主观图像质量。

<6.第六实施例>

[应用于多视点图像编码/多视点图像解码]

可以将上述系列处理应用于多视点图像编码和多视点图像解码。图33是多视点图像编码系统的示例的图。

如图33所示，多视点图像包括来自多个视点的图像，将来自多个视点中的预定视点的图像指定为基本视点图像。将来自除基本视点图像以外的每个视点的图像视为非基本视点图像。

当执行如图33所示的多视点图像编码时，也可以获得每个视点(同一视点)的量化参数之间的差值。

(1)基本视点:

(1-1)dQP(基本视点)＝Current_CU_QP(基本视点)-LCU_QP(基本视点)

(1-2)dQP(基本视点)＝Current_CU_QP(基本视点)-Previsous_CU_QP(基本视点)

(1-3)dQP(基本视点)＝Current_CU_QP(基本视点)-Slice_QP(基本视点)

(2)非基本视点:

(2-1)dQP(非基本视点)＝Current_CU_QP(非基本视点)-LCU_QP(非基本视点)

(2-2)dQP(非基本视点)＝CurrentQP(非基本视点)-PrevisousQP(非基本视点)

(2-3)dQP(非基本视点)＝Current_CU_QP(非基本视点)-Slice_QP(非基本视点)

当执行多视点图像编码时，也可以获得每个视点(不同视点)的量化参数之间的差值。

(3)基本视点/非基本视点:

(3-1)dQP(视点间)＝Slice_QP(基本视点)-Slice_QP(非基本视点)

(3-2)dQP(视点间)＝LCU_QP(基本视点)-LCU_QP(非基本视点)

(4)非基本视点/非基本视点:

(4-1)dQP(视点间)＝Slice_QP(非基本视点i)-Slice_QP(非基本视点j)

(4-2)dQP(视点间)＝LCU_QP(非基本视点i)-LCU_QP(非基本视点j)

在此情况下，还可以组合上述(1)到(4)。例如，在非基本视点中，考虑获得基本视点与非基本视点之间的切片级别的量化参数之间的差值的方法(组合3-1和2-3)，和获得基本视点与非基本视点之间的LCU级别的量化参数之间的差值的方法(组合3-2和2-1)。按此方式，在通过重复应用差值执行多视点编码的情况下也可以改进编码效率。

与上述方法一样，也可以设定一个标记，以表示上述每个dQP是否存在值不为0的dQP。

[多视点图像编码设备]

图34是说明执行上述多视点图像编码的多视点图像编码设备的图。如图34所示，多视点图像编码设备600包括编码单元601、编码单元602以及复用单元603。

编码单元601对基本视点图像进行编码以生成基本视点图像编码流。编码单元602对非基本视点图像进行编码以生成非基本视点图像编码流。复用单元603对编码单元601生成的基本视点图像编码流和编码单元602生成的非基本视点图像编码流进行复用，以生成多视点图像编码流。

可以将图像编码设备100(图1)、图像编码设备300(图18)或图像编码设备500(图29)应用于多视点图像编码设备600的编码单元601和编码单元602。在此情况下，多视点图像编码设备600设定编码单元601设定的量化参数与编码单元602设定的量化参数之间的差值，以供传输。

[多视点图像解码设备]

图35是示出执行上述多视点图像解码的多视点图像解码设备的图。如图35所示，多视点图像解码设备610包括分解单元611、解码单元612以及解码单元613。

分解单元611对复用了基本视点图像编码流和非基本视点图像编码流的多视点图像编码流进行分解，以提取基本视点图像编码流和非基本视点图像编码流。解码单元612对分解单元611提取的基本视点图像编码流进行解码，以获得基本视点图像。解码单元613对分解单元611提取的非基本视点图像编码流进行解码，以获得非基本视点图像。

可以将图像解码设备200(图9)或图像解码设备400(图21)应用于多视点图像解码设备610的解码单元612和解码单元613。在此情况下，多视点图像解码设备610根据由编码单元601设定的量化参数和由编码单元602设定的量化参数之间的差值设定量化参数，以执行逆量化。

<7.第七实施例>

[应用于分级图像点编码/分级图像解码]

可以将上述系列处理应用于分级图像编码/分级图像解码。图36示出了多视点图像编码系统的示例。

如图36所示，分级图像包括多层(分辨率)的图像，并且将多个分辨率中的预定层的图像指定为基本层图像。将除基本层图像以外的每个层的图像视为非基本层图像。

当执行如图36所示的分级图像编码(空间可扩缩性)时，也可以获得每个层(同一层)的量化参数之间的差值。

(1)基本层:

(1-1)dQP(基本层)＝Current_CU_QP(基本层)-LCU_QP(基本层)

(1-2)dQP(基本层)＝Current_CU_QP(基本层)-Previsous_CU_QP(基本层)

(1-3)dQP(基本层)＝Current_CU_QP(基本层)-Slice_QP(基本层)

(2)非基本层:

(2-1)dQP(非基本层)＝Current_CU_QP(非基本层)-LCU_QP(非基本层)

(2-2)dQP(非基本层)＝CurrentQP(非基本层)-PrevisousQP(非基本层)

(2-3)dQP(非基本层)＝Current_CU_QP(非基本层)-Slice_QP(非基本层)

当执行分级编码时，也可以获得每个层(不同层)的量化参数之间的差值。

(3)基本层/非基本层:

(3-1)dQP(层间)＝Slice_QP(基本层)-Slice_QP(非基本层)

(3-2)dQP(层间)＝LCU_QP(基本层)-LCU_QP(非基本层)

(4)非基本层/非基本层:

(4-1)dQP(层间)＝Slice_QP(非基本层i)-Slice_QP(非基本层j)

(4-2)dQP(层间)＝LCU_QP(非基本层i)-LCU_QP(非基本层j)

在此情况下，还可以组合上述(1)到(4)。例如，在非基本层中，考虑获得基本层与非基本层之间的切片级别的量化参数之间的差值的方法(组合3-1和2-3)，和获得基本层与非基本层之间的LCU级别的量化参数之间的差值的方法(组合3-2和2-1)。按此方式，通过重复应用差值，也可以在执行分级编码的情况下改进编码效率。

[分级图像编码设备]

图37是说明执行上述分级图像编码的分级图像编码设备的图。如图37所示，分级图像编码设备620包括编码单元621、编码单元622以及复用单元623。

编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。复用单元623对编码单元621生成的基本层图像编码流和编码单元622生成的非基本层图像编码流进行复用，以生成分级图像编码流。

可以将图像编码设备100(图1)、图像编码设备300(图18)或图像编码设备500(图29)应用于分级图像编码设备620的编码单元621和编码单元622。在此情况下，分级图像编码设备600设定编码单元621设定的量化参数与编码单元622设定的量化参数之间的差值，以供传输。

[分级图像解码设备]

图38是示出执行上述分级图像解码的分级图像解码设备的图。如图38所示，分级图像解码设备630包括分解单元631、解码单元632以及解码单元633。

分解单元631对通过复用基本层图像编码流和非基本层图像编码流而获得的分级图像编码流进行分解，以提取基本层图像编码流和非基本层图像编码流。解码单元632对分解单元631提取的基本层图像编码流进行解码，以获得基本层图像。解码单元633对分解单元631提取的非基本层图像编码流进行解码，以获得非基本层图像。

可以将图像解码设备200(图9)或图像解码设备400(图21)应用于分级图像解码设备630的解码单元632和解码单元633。在此情况下，分级图像解码设备630根据由编码单元631设定的量化参数和由编码单元632设定的量化参数之间的差值设定量化参数，以执行逆量化。

<8.第八实施例>

[计算机]

上述系列处理可以通过硬件执行或者由软件执行。在此情况下，可以配置成图39所示的计算机。

在图39中，个人计算机700的CPU(中央处理器)701根据存储在ROM(只读存储器)702中的程序或从存储单元713加载到RAM(随机存取存储器)703中的程序，执行各种处理。还将CPU 701执行各种处理所需的数据适当地存储在RAM 703中。

CPU 701、ROM 702以及RAM 703通过总线704彼此连接。输入/输出接口710也连接到总线704。

输入单元711包括键盘、鼠标等，输出单元712包括CRT(阴极射线管)和LCD(液晶显示器)形成的显示器、扬声器等，由硬盘等形成的存储单元713和由调制解调器等形成的通信单元714连接到输入/输出接口710。通信单元714通过包括因特网的网络执行通信处理。

根据需要，将驱动器715连接到输入/输出接口710，在其中酌情安装诸如磁盘、光盘、磁光盘、以及半导体存储器之类的可移动介质721，酌情将从介质读取的计算机程序安装在存储单元713中。

当通过软件执行上述系列处理时，从网络或记录介质安装包括软件的程序。

记录介质不仅包括可移动介质721，包括磁盘(包括软盘)、光盘(包括CD-ROM(光盘－只读存储器，和DVD(数字多功能盘)))、磁光盘(包括MD(迷你盘))，以及半导体存储器，其中记录有程序，程序被分发到用户以与设备主体分开地分发程序，而且包括记录有程序的ROM 702，和包括在存储单元713中的硬盘，其在预先嵌入设备主体的状态下被分发给用户，如图39所示。

同时，计算机执行的程序可以是按在本说明书中描述的顺序按时间顺序地执行处理的程序，也可以是并行地执行处理或者在需要时(如在调用时)执行处理的程序。

此外，在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按所描述的顺序按时间顺序执行的处理，也包括并行或单独执行的处理，它们可以不按时间顺序执行。

此外，在本说明书中，系统是指包括多个装置(设备)的整个设备。

还可以将作为一个设备(或处理器)的上述结构分割成多个设备(或处理器)。另一方面，也可以将以上描述成多个设备(或处理器)的结构放在一起作为一个设备(或处理器)。不必说，可以将除上述结构以外的其他结构附加到每个设备(或每个处理器)的结构。此外，还可以将某个设备(或处理器)的结构的一部分附加到另一个设备(或另一处理器)的结构，只要作为整个系统的结构和操作基本相同。即，本技术的实施例并不限于上述实施例，可以在不脱离本技术的精神的情况下进行各种修改。

根据上述实施例的图像编码设备100(图1)、图像编码设备300(图18)、图像编码设备500(图29)、多视点图像编码设备600(图34)、分级图像编码设备620(图37)、图像解码设备200(图9)、图像解码设备400(图21)、视点图像解码设备610(图35)以及分级图像解码设备630(图38)可以应用于各种电子装置，如卫星广播、对有限电视等的有线广播、因特网上的分发、通过蜂窝通信等到终端的分发中的发射机或接收机、记录设备(其在诸如光盘、磁盘以及闪速存储器的介质上记录图像)、或再现设备(其从存储介质再现图像)。以下描述四个应用。

[电视设备]

图40说明了应用了上述实施例的电视设备的示意结构示例。电视设备900包括天线901、调谐器902、分解器903、解码器904、视频信号处理器905、显示单元906、语音信号处理器907、扬声器908、外部接口909、控制器910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号提取所需频道的信号，并对所提取的信号进行解调。然后，调谐器902将通过解调获得的编码比特流输出到分解器903。即，调谐器902用作电视设备900中的发送装置，其接收编码有图像的编码流。

分解器903从编码比特流分离出节目的视频流和声音流，并将每个分离的流输出到解码器904。

此外，分解器903从编码比特流提取诸如EPG(电子节目向导)的辅助数据，并将所提取的数据提供给控制器910。同时，分解器903可以在编码的比特流被加扰时进行去扰。

解码器904对从分解器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出到视频信号处理器905。此外，解码器904将通过解码处理生成的音频数据输出到音频信号处理器907。

视频信号处理器905再现从解码器904输入的视频数据，并允许显示单元906显示视频。视频信号处理器905还可以允许显示单元906显示通过网络提供的应用画面。视频信号处理器905还可以根据设定对视频数据执行诸如去噪之类的附加处理。此外，视频信号处理器905可以生成诸如菜单、按钮以及光标之类的GUI(图形用户界面)图像，并将所生成的图像叠加在输出图像上。

显示单元906由从视频信号处理器905提供的驱动信号驱动，以在显示装置(例如，液晶显示器、等离子显示器、OLED(有机电致发光显示器(有机EL显示器))等)的视频画面上显示视频或图像。

音频信号处理器907对从解码器904输入的音频数据执行诸如D/A转换和放大之类的再现处理，并允许扬声器908输出声音。音频信号处理器907也可以对音频数据执行诸如去噪的附加处理。

外部接口909是用于连接电视设备900和外部装置或网络的接口。例如，可以通过解码器904解码通过外部接口909接收的视频流或音频流。即，外部接口909还用作电视设备900中的发送装置，其接收编码有图像的编码流。

控制器910包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储CPU执行的程序、程序数据、EPG数据、通过网络获得的数据等。在电视设备900启动时CPU读取存储器中存储的程序以供执行。CPU根据从用户接口911输入的操作信号控制电视设备900的操作，例如通过执行程序来控制。

用户接口911连接到控制器910。用户接口911包括供用户操作电视设备900的按钮和开关、遥控信号的接收器等。用户接口911检测用户通过组件进行的操作，以生成操作信号，并将所生成的操作信号输出到控制器910。

总线912相互连接调谐器902、分解器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909、以及控制器910。

在按此方式配置的电视设备900，解码器904具有根据上述实施例的图像解码设备200(图9)、图像解码设备400(图21)、多视点图像解码设备610(图35)或分级图像解码设备630(图38)的功能。因此，解码器904利用从编码侧提供的诸如submb_qp_delta的量化参数，计算每个子宏块的量化值，以对通过电视设备900解码的视频进行逆量化。因此，可以执行更适合于图像内容的逆量化处理，从而抑制解码图像的主观图像质量的劣化。

[移动电话]

图41说明了应用了上述实施例的移动终端的示意结构示例。移动电话920配备有天线921、通信单元922、语音编解码器923、扬声器924、麦克风925、照相机单元926、图像处理器927、复用/分解单元928、记录/再现单元929、显示单元930、控制器931、操作单元932以及总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到语音编解码器923。操作单元932连接到控制器931。总线933将通信单元922、语音编解码器923、照相机单元926、图像处理器927、复用/分解单元928、记录/再现单元929、显示单元930以及控制器931相互连接。

移动电话920按包括语音通信模式、数据通信模式、成像模式以及视频电话模式的各种操作模式，执行诸如语音信号的发送/接收、电子邮件或图像数据的发送/接收、图像接收、以及数据的记录之类的操作。

在语音通信模式中，将由麦克风925生成的模拟语音信号提供给语音编解码器923。语音编解码器923将模拟语音信号转换成语音数据，并对转换后的语音数据进行A/D转换以压缩。然后，语音编解码器923将压缩的语音数据输出到通信单元922。通信单元922对语音数据进行编码和调制，以生成发送信号。然后，通信单元922通过天线921将所生成的发送信号发送给基站(未示出)。此外，通信单元922对通过天线921接收的无线信号进行放大，并对其进行变频以获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来生成语音数据，并将所生成语音数据输出到语音编解码器923。语音编解码器923对语音数据进行扩展，并对其进行D/A转换，以生成模拟语音信号。然后，语音编解码器923将所生成的语音信号提供给扬声器924，以允许它输出语音。

在数据通信模式中，例如，控制器931根据用户通过操作单元932的操作生成组成电子邮件的字符数据。此外，控制器931允许显示单元930显示字符。控制器931根据用户通过操作单元932进行的发送指令，生成电子邮件数据，以将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，以生成发送信号。然后，通信单元922通过天线921将所生成的发送信号发送到基站(未示出)。此外，通信单元922对通过天线921接收的无线信号进行放大，并对其进行变频，以获得接收信号。然后，通信单元922对接收信号进行解调和解码，以恢复电子邮件数据，并将所恢复的电子邮件数据输出到控制器931。控制器931允许显示单元930显示电子邮件数据的内容，并允许记录/再现单元929的存储介质存储电子邮件数据。

记录/再现单元929包括任意可读/可写存储介质。例如，存储介质可以是诸如RAM的嵌入式存储介质和闪速存储器，并且可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器以及存储卡的外部安装的存储介质。

在成像模式下，例如，照相机单元926对对象的图像进行拍摄，以生成图像数据，并将所生成的图像数据输出到图像处理器927。图像处理器927对从照相机单元926输入的图像数据进行编码，并将编码流存储在记录/再现单元929的存储介质中。

此外，在视频电话模式下，例如，复用/分离单元928对图像处理器927编码的视频流和从语音编解码器923输入的语音流进行复用，并将复用的流输出到通信单元922。通信单元922对流进行编码和调制，以生成发送信号。然后，通信单元922通过天线921将所生成的发送信号发送到基站(未示出)。此外，通信单元922对通过天线921接收的无线信号进行放大，并对其进行变频，以获得接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922通过对接收信号进行解调和解码来恢复所述流，并将所恢复的流输出到复用/分离单元928。复用/分离单元928从输入流分离视频流和语音流，并将视频流和语音流分别输出到图像处理器927和语音编解码器923。图像处理器927对视频流进行解码以生成视频数据。将视频数据提供给显示单元930，并用显示单元930显示图像序列。语音编解码器923对语音流进行扩展，并对其进行D/A转换，以生成模拟语音信号。然后，语音编解码器923将所生成的语音信号提供给扬声器924以输出语音。

在按此方式配置的运动电话920中，图像处理器927具有根据上述实施例的图像编码设备100(图1)、图像编码设备300(图18)、图像编码设备500(图29)、多视点图像编码设备600(图34)或分级图像编码设备620(图37)的功能，以及图像解码设备200(图9)、图像解码设备400(图21)、多视点图像解码设备610(图35)或分级图像解码设备630(图38)的功能。因此，图像处理器927计算每个子宏块的量化值，并利用移动电话920编码和解码的视频的每个子宏块的量化值，对正交变换系数进行量化。按此方式，可以执行更适合于图像内容的量化处理，并生成编码数据，以抑制解码图像的主观图像质量的劣化。此外，图像处理器927利用从编码侧提供的诸如submb_qp_delta的量化参数，计算每个子宏块的量化值，以执行逆量化。因此，可以执行更适合于图像内容的逆量化处理，从而抑制解码图像的主观图像质量的劣化。

尽管以上作为移动电话920进行了描述，但是与移动电话920的情况一样，可以将应用了本技术的图像编码设备和图像解码设备应用于具有与移动电话920的功能类似的成像功能和通信功能的任何设备，如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本、以及笔记本计算机。

[记录/再现设备]

图42是说明应用了上述实施例的记录/再现设备的示意结构示例的图。记录/再现设备940对接收到的广播节目的音频数据和视频数据进行编码以记录在记录介质上。此外，记录/再现设备940可以对从另一设备获得的音频数据和视频数据进行编码以记录在记录介质上。此外，记录/再现设备940根据用户的指令通过监视器和扬声器再现记录在记录介质上的数据。此时，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940配备有调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制器949以及用户接口950。

调谐器941从通过天线(未示出)接收的广播信号提取所需频道的信号，并对所提取的信号进行解调。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。即，调谐器941用作记录/再现设备940中的发送装置。

外部接口942是用于连接记录/再现设备940和外部装置或网络的接口。外部接口942可以是IEEE1394接口、网络接口、USB接口、闪速存储器接口等。例如，将通过外部接口942接收的视频数据和音频数据输入到编码器943。即，外部接口942用作记录/再现设备940中的发送装置。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码的比特流输出到选择器946。

HDD 944将其中压缩了诸如视频和音频的内容数据的编码比特流、各种程序以及其他数据记录在外部硬盘上。HDD 944在再现视频和音频时从硬盘读取数据。

盘驱动器945将数据记录在安装的记录介质并从记录介质读取数据。安装在盘驱动器945上的记录介质可以是DVD盘(DVD-视频、DVD-RAM,DVD-R,DVD-RW,DVD+R,DVD+RW等)、蓝光(注册商标)盘等。

选择器946选择从调谐器941或编码器943输入的编码比特流，并在记录视频和音频时将所选择的编码比特流输出到HDD 944或盘驱动器。此外，在再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD 948。此外，解码器904将所生成的音频数据输出到外部扬声器。

OSD 948对从解码器947输入的视频数据进行再现以显示视频。OSD 948还可以将诸如菜单、按钮以及光标之类的GUI图像叠加到显示的视频上。

控制器包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。在记录/再现设备940激活时，存储在存储器中的程序由CPU读取以供执行。CPU通过执行程序，根据从用户接口950输入的操作信号控制记录/再现设备940的操作。

用户接口950连接到控制器949。用户接口950包括供用户操作记录/再现设备940的按钮和开关，和遥控信号的接收器。用户接口950检测用户通过组件进行的操作，以生成操作信号，并将所生成的操作信号输出到控制器949。

在按此方式构成的记录/再现设备940中，编码器943具有根据上述实施例的图像编码设备100(图1)、图像编码设备300(图18)、图像编码设备500(图29)、多视点图像编码设备600(图34)或分级图像编码设备620(图37)的功能。此外，解码器947具有根据上述实施例的图像解码设备200(图9)、图像解码设备400(图21)、多视点图像解码设备610(图35)以及分级图像解码设备630(图38)的功能。因此，计算每个子宏块的量化值，并利用由记录/再现设备940编码和解码的视频的每个子宏块的量化值对正交变换系数进行量化。按此方式，可以执行更适合于图像内容的量化处理，并生成编码数据，以抑制解码图像的主观图像质量的劣化。此外，利用从编码侧提供的诸如submb_qp_delta的量化参数，计算每个子宏块的量化值，并执行逆量化。因此，可以执行更适合于图像内容的逆量化处理，从而抑制解码图像的主观图像质量的劣化。

[成像设备]

图43是说明应用了上述实施例的成像设备的示意结构示例的图。成像设备960对对象进行拍摄以生成图像，对图像数据进行编码并将其记录在记录介质上。

成像设备960配备有光学模块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971以及总线972。

光学模块961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制器970相互连接。

光学模块961包括聚焦透镜、光圈机构等。光学模块961在成像单元962的成像面上形成对象的光学图像。成像单元962包括诸如CCD和CMOS的图像传感器，并通过光电转换将形成在成像面上的光学图像转换成图像信号，作为电信号。然后，成像单元962将图像信号输出到信号处理器963。

信号处理器963对从成像单元926输入的图像信号执行各种照相机信号处理，如膝校正、伽马校正、颜色校正。信号处理器963将照相机信号处理后的图像数据输出到图像处理器964。

图像处理器964对从信号处理器963输入的图像数据进行编码，以生成编码数据。然后，图像处理器964将所生成的编码数据输出到外部接口966或介质驱动器968。此外，图像处理器964对从外部接口966或介质驱动器968输入的编码数据进行解码，以生成图像数据。然后，图像处理器964将所生成的图像数据输出到显示单元965。图像处理器964还可以将从信号处理器963输入的图像数据输出到显示单元965，以显示图像。图像处理器964还可以将从OSD 969获得的供显示的数据叠加在输出到显示单元965的图像上。

OSD 969生成诸如菜单、按钮以及光标之类的GUI(图形用户界面)图像，并将所生成的图像输出到图像处理器964。

外部接口966由USB输入/输出端子构成。在打印图像时，外部接口966将成像设备960和打印机连接。此外，需要时，将驱动器连接到外部接口966。将诸如硬盘和光盘的可移动介质安装在驱动器上，并可以将从可移动介质读取的程序安装在成像设备960上。此外，外部接口966可以配置成连接到诸如LAN和因特网的网络的网络接口。即，外部接口966用作成像设备960中的发送装置。

安装在介质驱动器968上的记录介质可以是诸如磁盘、磁光盘、光盘以及半导体存储器之类的任意可读/可写可移动介质。还可以将记录介质固定安装在介质驱动器968上，以构成诸如嵌入的硬盘驱动器或SSD(固态驱动器)的非便携式存储单元。

控制器970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。在成像设备960启动时，存储在存储器中的程序由CPU读取以供执行。CPU通过执行程序，根据从用户接口971输入的操作信号控制成像设备960的操作。

用户接口971连接到控制器970。用户接口971包括供用户操作成像设备960的按钮和开关。用户接口971检测用户通过组件进行的操作，以生成操作信号，并将所生成的操作信号输出到控制器970。

在按此方式构成的成像设备960中，图像处理器964具有根据上述实施例的图像编码设备100(图1)、图像编码设备300(图18)、图像编码设备500(图29)、多视点图像编码设备600(图34)或分级图像编码设备620(图37)的功能,和图像解码设备200(图9)、图像解码设备400(图21)、多视点图像解码设备610(图35)以及分级图像解码设备630(图38)的功能。因此，图像处理器964计算每个子宏块的量化值，并利用由成像设备960编码和解码的视频的每个子宏块的量化值对正交变换系数进行量化。按此方式，可以执行更适合于图像内容的量化处理，并生成编码数据，以抑制解码图像的主观图像质量的劣化。此外，利用从编码侧提供的诸如submb_qp_delta的量化参数，计算每个子宏块的量化值，并执行逆量化。因此，可以执行更适合于图像内容的逆量化处理，从而抑制解码图像的主观图像质量的劣化。

不必说，应用了本技术的图像编码设备和图像解码设备可以应用于除上述设备以外的其他设备和系统。

同时，在说明书中描述了将量化参数从编码侧传输到解码侧的示例。可以采用作为与编码比特流相关联的分离数据，而不是与编码比特流复用地，发送或记录发送量化矩阵参数的方法。在此，属于“关联”是指包括在比特流中的图像(或图像的一部分，如切片和块)和对应于图像的信息可以在解码时彼此链接。即，可以在除图像(或比特流)的传送通道以外的传送通道上传输信息。此外，可以将信息记录在除图像(或比特流)的记录介质以外的记录介质(或同一记录介质的其他记录区)上。此外，信息和图像(或比特流)可以按任意单位(如多个帧、一个帧、或帧的一部分)彼此关联。

尽管参照附图详细描述的本公开的优选实施例，但是本公开的技术范围并不限于这种示例。显然，本公开的技术领域的技术人员可以想到在权利要求所述的技术思想的范围内的各种修改和修正，应当明白它们当然也属于本公开的技术范围。

标号列表

100 图像编码设备

105 量化单元

108 逆量化单元

117 速率控制器

121 子宏块量化单元

122 子宏块逆量化单元

151 子宏块活动度缓冲器

152 量化参数计算单元

153 量化处理器

200 图像解码设备

203 逆量化单元

221 子宏块逆量化单元

251 量化参数缓冲器

252 正交变换系数缓冲器

253 逆量化处理器

Claims

1.一种由图像处理设备执行的用于处理图像的方法，所述方法包括：

设置作为比设置有差值量化参数的第一层高的第二层中的参数的标记，所述标记针对每个块指定所述第一层的差值量化参数是否存在于比特流中；

针对由块分割形成的当前子块设置当前量化参数，所述块分割将固定块尺寸的块分成更小的子块；

使用设置的当前量化参数对变换系数数据进行量化，以生成量化数据；以及

对量化数据编码以生成比特流，所述比特流包括作为比设置有差值量化参数的所述第一层高的所述第二层中的参数的所述标记。

2.根据权利要求1所述的方法，其中，差值量化参数是当前子块的当前量化参数与之前子块的之前量化参数之间的差值。

3.根据权利要求2所述的方法，其中，之前子块是在编码处理中在紧接当前子块之前被编码的编码块。

4.根据权利要求1所述的方法，其中，差值量化参数是对当前子块设置的当前量化参数与对当前切片设置的当前切片量化参数之间的差值。

5.根据权利要求1所述的方法，还包括：生成包括作为比特流的语法的标记的比特流。

6.根据权利要求1所述的方法，其中，所述块是最大编码单位LCU，并且所述子块是编码单位，其中所述最大编码单位被递归分成所述编码单位。

7.根据权利要求6所述的方法，还包括如下步骤：设置差值量化参数，所述差值量化参数依赖于表示被设置差值量化参数的编码单位的最小尺寸的值。

8.一种图像处理设备，包括：

存储器，存储有程序；以及

处理器，被配置为执行存储在所述存储器中的程序，以执行权利要求1-7中的任一项所述的方法。

9.一种由图像处理设备执行的用于处理图像的方法，所述方法包括：

对比特流进行解码以生成量化数据，所述比特流包括作为比设置有差值量化参数的第一层高的第二层中的参数的标记，所述标记针对每个块指定所述第一层的差值量化参数是否存在于比特流中；

根据所述标记设置由块分割形成的当前子块的当前量化参数，所述块分割将块分成更小的子块；以及

使用设置的当前量化参数对生成的量化数据进行逆量化。

10.根据权利要求9所述的方法，其中，所述设置的步骤包括：使用表示被设置差值量化参数的最小编码块尺寸的值来设置当前子块的当前量化参数。

11.根据权利要求10所述的方法，其中，差值量化参数是当前子块的当前量化参数与之前子块的之前量化参数之间的差值。

12.根据权利要求11所述的方法，其中，之前子块是在按编码数据被解码的顺序在紧接当前子块之前被解码的子块。

13.根据权利要求9所述的方法，其中，差值量化参数是对当前子块设置的当前量化参数与对当前切片设置的当前切片量化参数之间的差值。

14.根据权利要求9所述的方法，还包括：获取作为比特流的语法的标记。

15.根据权利要求9所述的方法，其中，所述块是最大编码单位LCU，并且所述子块是编码单位，其中所述最大编码单位被递归分成所述编码单位。

16.一种图像处理设备，包括：

存储器，存储有程序；以及

处理器，被配置为执行存储在所述存储器中的程序，以执行权利要求9-15中的任一项所述的方法。