CN103748878A

CN103748878A - 图像处理装置和方法

Info

Publication number: CN103748878A
Application number: CN201280040896.5A
Authority: CN
Inventors: 高桥良知
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-08-31
Filing date: 2012-08-21
Publication date: 2014-04-23
Also published as: WO2013031574A1; US20140205007A1; JPWO2013031574A1

Abstract

本技术涉及能够对图像的内容执行更适当的量化处理或逆量化处理的图像处理装置和方法。本公开的图像处理装置包括：量化值设置单元，用于独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用；量化单元，用于使用由量化值设置单元设置的深度图像的量化值来对深度图像的系数数据进行量化并生成量化数据；以及编码单元，用于对由量化单元生成的量化数据进行编码以生成编码流。本公开可以应用于图像处理装置。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置和方法，并且涉及用于执行量化处理和逆量化处理的图像处理装置和方法。

背景技术

近来，为了将图像信息处理为数字信息并且在这样做时实现高效信息传输和累积，如下设备在分配信息的广播站当中以及在接收信息的一般家庭当中都已得到普及：该设备遵循用于利用图像信息所固有的冗余性通过诸如离散余弦变换的正交变换和运动补偿来压缩图像信息的标准，诸如MPEG（运动图像专家组）。

如今，对于以更高压缩率进行编码以对分辨率为约4096×2048像素（比高清图像分辨率高四倍）的图像进行压缩或者在如在因特网中一样传输容量受限的情况下分配高清图像的要求越来越多。因此，ITU-T（国际电信联盟电信标准化部）下属的VCEG（视频编码专家组）仍然在继续关于编码效率改进的研究。

作为图像中的部分区域并用作根据传统图像编码系统（诸如，MPEG1、MPEG2或ITU-T H.264/MPEG4-AVC（高级视频编码））的图像编码中的图像分割单位（编码单位）的宏块的像素大小通常为16×16像素。同时，非专利文献1提出了增加宏块在水平方向和垂直方向上的像素数量作为下一代图像编码标准中的关键技术。该文献提出了使用每个均由32×32像素或64×64像素构成的宏块以及由MPEG1、MPEG2、ITU-TH.264/MPEG4-AVC等指定的每个均由16×16像素构成的宏块。这旨在通过对具有类似运动的区域当中作为单位的较大区域执行运动补偿和正交变换来提高编码效率，因为期望要编码的图像的水平像素大小和垂直像素大小将来变得更大，如UHD（超高清晰度；4000×2000像素）一样。

在非专利文献1中，通过采用层级结构来针对16×16像素以下的块维持与当前AVC的宏块的匹配性，并且将更大的块定义为这些传统块的超集。

非专利文献1提出了对于片间（inter slice）使用扩展宏块，而非专利文献2提出了对于片内（intra slice）使用扩展宏块。

在非专利文献1或非专利文献2中所公开的图像编码中，执行量化处理以提高编码效率。

同时，为了对多视点图像进行编码，提出了对纹理图像（诸如辉度和色差）以及作为表示视差和深度的信息的深度图像进行编码的方法（例如，参见非专利文献3）。

引用列表

非专利文献

非专利文献1：Peisong Chenn,Yan Ye,Marta Karczewicz,"VideoCoding Using Extended Block Sizes",COM16-C123-E,Qualcomm Inc

非专利文献2：Sung-Chang Lim,Hahyun Lee,Jinho Lee,JonghoKim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,"Intra coding usingextended block size",VCEG-AL28,2009年7月

非专利文献3："Call for Proposals on3D Video Coding Technology",ISO/IEC JTC1/SC29/WG11MPEG2011/N12036,Geneva,Switzerland,March2011

发明内容

发明要解决的问题

如上所述，由于现在对多视点图像进行编码，因此需要对深度图像执行更适当的量化。然而，这难以通过传统方法来实现。

本公开是鉴于这些状况而作出的，并且旨在执行更适当的量化处理并防止解码图像的主观图像质量的劣化。

针对问题的解决方案

本公开的一个方面是一种图像处理装置，包括：量化值设置器，其被配置为独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用；量化器，其被配置为通过使用由量化值设置器设置的深度图像的量化值对深度图像的系数数据进行量化，来生成量化数据；以及编码器，其被配置为通过对由量化器生成的量化数据进行编码来生成编码流。

量化值设置器可针对深度图像中的每个预定区域设置深度图像的量化值。

编码器可针对具有层级结构的每个单位执行编码，并且该区域可以是编码单位。

图像处理装置还可以包括：量化参数设置器，其使用由量化值设置器设置的深度图像的量化值来设置深度图像的当前图片的量化参数；以及传送器，其发送由量化参数设置器设置的量化参数和由编码器生成的编码流。

图像处理装置还可以包括：差分量化参数设置器，其使用由量化值设置器设置的深度图像的量化值来设置作为下述差分值的差分量化参数：当前图片的量化参数与当前切片（slice）的量化参数之间的差分值；以及传送器，其发送由差分量化参数设置器设置的差分量化参数和由编码器生成的编码流。

差分量化参数设置器可以使用量化值设置器设置的深度图像的量化值来设置下述差分值的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与当前编码单位的量化参数之间的差分值。

图像处理装置还可以包括：标识信息设置器，其被配置为设置用于表示是否已设置深度图像的量化参数的标识信息；以及传送器，其被配置为发送由标识信息设置器设置的标识信息和由编码器生成的编码流。

本公开的一方面还在于一种用于图像处理装置的图像处理方法，该方法包括：独立于纹理图像来设置深度图像的量化值，该深度图像与纹理图像被复用，设置深度图像的量化值由量化值设置器执行；通过使用深度图像的量化值对深度图像的系数数据进行量化，生成量化数据，所述生成量化数据由量化器执行；以及通过对量化器生成的量化数据进行编码来生成编码流，所述生成编码流由编码器执行。

本公开的另一方面在于一种图像处理装置，包括：接收器，其被配置为接收独立于纹理图像而设置的深度图像的量化值以及通过对深度图像的系数数据进行量化和编码而生成的编码流，该深度图像与纹理图像被复用；解码器，其被配置为对由接收器接收到的编码流进行解码，以获取通过对深度图像的系数数据进行量化而生成的量化数据；以及逆量化器，其被配置为使用由接收器接收到的深度图像的量化值来对由解码器获取的量化数据进行逆量化。

接收器可以接收针对深度图像中的每个预定区域设置的深度图像的量化值。

解码器可以对针对具有层级结构的每个单位进行编码的编码流进行解码，并且该区域可以是编码单位。

接收器可以接收深度图像的量化值作为深度图像的当前图片的量化参数，该当前图片的量化参数是通过使用深度图像的量化值来设置的。图像处理装置还可以包括量化值设置器，该量化值设置器使用接收器接收到的深度图像的当前图片的量化参数来设置深度图像的量化值。逆量化器可以使用量化值设置器设置的深度图像的量化值来对解码器获取的量化数据进行逆量化。

接收器可以接收深度图像的量化值作为是下述差分值的差分量化参数：当前图片的量化参数与当前切片的量化参数之间的差分值，当前图片和当前切片的量化参数是通过使用深度图像的量化值来设置的。图像处理装置还可以包括量化值设置器，该量化值设置器使用接收器接收到的差分量化参数来设置深度图像的量化值。逆量化器可以使用量化值设置器设置的深度图像的量化值来对解码器获取的量化数据进行逆量化。

接收器可以接收是下述差分值的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与当前编码单位的量化参数之间的差分值，量化参数是通过使用深度图像的量化值来设置的。

接收器还可以接收用于表示是否已设置深度图像的量化参数的标识信息，并且逆量化器可以仅当标识信息表示已设置深度图像的量化参数时才对深度图像的系数数据进行逆量化。

本公开的其他方面还在于一种用于图像处理装置的图像处理方法，该方法包括：接收独立于纹理图像而设置的深度图像的量化值以及通过对深度图像的系数数据进行量化和编码而生成的编码流，该深度图像与纹理图像被复用，所述接收深度图像的量化值和编码流由接收器执行；对接收到的编码流进行解码，以获取通过对深度图像的系数数据进行量化而生成的量化数据，所述对接收到的编码流进行解码由解码器执行；以及通过使用接收到的深度图像的量化值来对所获取的量化数据进行逆量化，所述对所获取的量化数据进行逆量化由逆量化器执行。

在本公开的一方面，独立于纹理图像而设置要与纹理图像复用的深度图像的量化值，对深度图像的系数数据进行量化以通过使用所设置的深度图像的量化值生成量化数据，并且对所生成的量化数据进行编码以生成编码流。

在本公开的其他方面，接收独立于纹理图像而设置的深度图像的量化参数值、与纹理图像复用的深度图像、以及通过对深度图像的系数数据进行量化和编码而生成的编码流。对所接收到的编码流进行解码以获取通过对深度图像的系数数据进行量化而生成的量化数据，并且通过使用所接收到的深度图像的量化值来对所获取的量化数据进行逆量化。

发明效果

根据本公开内容，能够处理图像。特别地，能够防止解码图像的主观图像质量的劣化。

附图说明

图1是示出执行图像处理的系统的典型示例结构的框图。

图2是示出图像编码装置的典型示例结构的框图。

图3是用于说明编码单位的示例结构的图。

图4是示出分配给各个编码单位的量化参数的示例的图。

图5是示出量化器的典型示例结构的框图。

图6是示出深度量化器的典型示例结构的框图。

图7是示出图片参数集中的构成（syntax）的示例的表。

图8是示出片报头中的构成的示例的表。

图9是示出变化系数构成的示例的表。

图10是用于说明编码处理的示例流程的流程图。

图11是用于说明量化参数计算处理的示例流程的流程图。

图12是用于说明深度量化参数计算处理的示例流程的流程图。

图13是用于说明量化处理的示例流程的流程图。

图14是示出应用了本技术的图像解码装置的典型示例结构的框图。

图15是示出逆量化器的典型示例结构的框图。

图16是示出深度逆量化器的典型示例结构的框图。

图17是用于说明解码处理的示例流程的流程图。

图18是用于说明逆量化处理的示例流程的流程图。

图19是用于说明深度逆量化处理的示例流程的流程图。

图20是用于说明深度量化参数计算处理的另一示例流程的流程图。

图21是用于说明量化处理的另一示例流程的流程图。

图22是用于说明深度逆量化处理的另一示例流程的流程图。

图23是用于说明视差和深度的图。

图24是示出应用了本技术的计算机的典型示例结构的框图。

图25是示出应用了本技术的电视设备的典型示例结构的框图。

图26是示出应用了本技术的移动装置的典型示例结构的框图。

图27是示出应用了本技术的记录/再现装置的典型示例结构的框图。

图28是示出应用了本技术的成像装置的典型示例结构的框图。

具体实施方式

以下将描述用于实现本公开内容（下文中，称为实施例）的模式。将按以下顺序来说明。

1.第一实施例（图像编码装置）

2.第二实施例（图像解码装置）

3.第三实施例（图像编码装置和图像解码装置）

4.第四实施例（计算机）

5.第五实施例（电视接收器）

6.第六实施例（便携式电话装置）

7.第七实施例（记录/再现装置）

8.第八实施例（成像设备）

<1.第一实施例>

[对本说明书中的深度图像（视差图像）的说明]

图23是用于说明视差和深度的图。

如图23所示，当通过位于位置C1的摄像装置c1和位于位置C2的摄像装置c2捕捉对象M的彩色图像时，对象M具有深度Z，Z为在深度方向上距摄像装置c1（摄像装置c2）的距离且通过以下等式（a）来定义。

[数学式1]

Z=(L/d)×f （a）

这里，L表示位置C1与位置C2在水平方向上的距离（下文中，称为摄像装置间距离）。同时，d表示通过从u1中减去u2而获得的值，其中，u1为通过摄像装置c1捕捉的彩色图像中对象M的位置与该彩色图像的中心在水平方向上的距离，u2为通过摄像装置c2捕捉的彩色图像中对象M的位置与该彩色图像的中心在水平方向上的距离。即，d表示视差。另外，f表示摄像装置c1的焦距，以及在等式（a）中，摄像装置c1的焦距与摄像装置c2的焦距相同。

如等式（a）所示，可以一致地对视差d和深度Z进行转换。因此，在本说明书中，将表示由摄像装置c1和摄像装置c2捕捉的两个视点的彩色图像的视差d的图像和表示深度Z的图像统称为深度图像（视差图像）。

深度图像（视差图像）可以是表示视差d或深度Z的图像，并且深度图像（视差图像）中的像素值不是视差d本身或深度Z本身，但可以是通过对视差d进行归一化而获得的值、通过对深度Z的倒数1/Z进行归一化而获得的值等。

可以根据以下所示的等式（b）计算通过对视差d进行归一化而获得的具有8位的值I（0至255）。应该注意，视差d的归一化位数不限于8，而可以是诸如10或12的一些其它数。

[数学式2]

I = \frac{255 \times (d - D_{\min})}{D_{\max} - D_{\min}} - - - (b)

在等式（b）中，D_max表示视差d的最大值，以及D_min表示视差d的最小值。最大值D_max和最小值D_min可针对每个画面来设置，或者可以针对各自多于一个画面的组来设置。

可以根据以下所示的等式（c）计算通过对深度Z的倒数1/Z进行归一化而获得的具有8位的值y（0至255）。应该注意，深度Z的倒数1/Z的归一化位数不限于8，而是可以是诸如10或12的一些其它数。

[数学式3]

y = 255 \times \frac{\frac{1}{Z} - \frac{1}{Z_{far}}}{\frac{1}{Z_{near}} - \frac{1}{Z_{far}}} - - - (c)

在等式（c）中，Z_far表示深度Z的最大值，以及Z_near表示深度Z的最小值。最大值Z_far和最小值Z_min可以针对每个画面来设置，或者可以针对各自多于一个画面的组来设置。

如上所述，在本说明书中，由于可以一致地对视差d和深度Z进行转换，因此将具有通过对视差d进行归一化而获得的像素值I的图像以及具有通过对深度Z的倒数1/Z进行归一化而获得的像素值y的图像统称为深度图像（视差图像）。深度图像（视差图像）的颜色格式为YUV420或YUV400格式，但可以是一些其它颜色格式。

当关注作为信息的值I或值y时，代替深度图像（视差图像）的像素值，值I或值y被设置为深度信息（视差信息）。另外，通过对值I或值y进行映射来形成深度图（视差图）。

[系统]

图1是示出包括执行图像处理的装置的系统的典型示例结构的框图。图1所示的系统10是用于传输图像数据的系统。在传输时，在传送器处对图像编码，在传输目的地处对图像解码，然后输出图像。如图1所示，系统10传输由纹理图像11和深度图像12构成的多视点图像。

纹理图像11是辉度或色差的图像，并且深度图像12是表示纹理图像11的每个像素的视差大小和深度的信息。通过组合这些图像，可以生成用于立体观看的多视点图像。实际上，深度图像不被输出为图像，但其每个值可以由像素值表示，作为关于每个像素的信息。

系统10包括构成图像传送器的格式转换装置20和图像编码装置100。格式转换装置20对要传输的纹理图像11和深度图像12进行复用（或者将这些图像转变为成分）。如果获取了复用图像13，则图像编码装置100对该图像进行编码以生成编码流14，并且将编码流14传输到图像传输目的地。

系统10包括构成图像传输目的地的图像解码装置200、逆格式转换装置30和显示装置40。如果获取了从图像编码装置100传输的编码流14，则图像解码装置200对编码流14进行解码以生成解码图像15。

逆格式转换装置30对解码图像15的格式进行逆转换，并且将图像分离成纹理图像16和深度图像17。显示装置40分别显示纹理图像16和深度图像17。

例如，在如非专利文献3所公开的通常情况下，已分别对纹理图像11和深度图像12进行编码。另一方面，在系统10中，格式转换装置20以预定格式将这些图像转变为成分以进一步提高编码效率。

例如，如图1所示，纹理图像11由辉度图像（Y）11-1、色差图像（Cb）11-2和色差图像（Cr）11-3构成，并且辉度图像（Y）11-1的分辨率比色差图像（Cb）11-2和色差图像（Cr）11-3的分辨率高两倍。深度图像（Depth）12-1的分辨率与辉度图像（Y）11-1的分辨率相同。

格式转换装置20将深度图像12-1的分辨率减小一半而成为色差图像（Cb）11-2和色差图像（Cr）11-3的分辨率，然后对纹理图像11和深度图像12进行复用。

在将图像转变为成分时可以使用任意格式，由于格式转换装置20将纹理图像11和深度图像12转变为成分，因此图像编码装置100能够执行更有效的编码。例如，在各个成分之间可以共有各种参数，诸如每个编码单位的层级结构、帧内预测信息和运动估计信息。

通常，优选执行量化，以使得在解码图像中图像质量劣化变得不那么明显。也就是说，优选执行量化以保护劣化容易被注意的部分。然而，纹理图像11与深度图像12中需要保护的区域不一定相同。

例如，在纹理图像11中，图像中所包含的对象的面部部分的劣化和单调图案区域的劣化非常明显。因此，在纹理图11中对于保护这样的部分赋予优先级。

另一方面，在深度图像12中，在视差改变并且极大地影响立体观看的部分（诸如在前面的对象与在后面的对象之间的边界）中容易注意到劣化。因此，在深度图像12中对于保护这样的部分赋予优先级。

由于纹理图像11与深度图像12中需要保护的区域不同，因此，在各个成分之间共有量化参数设置的情况下，存在无法执行优选量化的可能。

鉴于此，图像编码装置100将成分的量化参数彼此独立地进行控制，使得能够执行更适当的量化以防止解码图像的主观图像质量的劣化。

[图像编码装置]

图1是示出图像编码装置的典型示例结构的框图。

图1所示的图像编码装置100通过使用根据诸如H.264和MPEG（运动图像专家组）4的第10部分（AVC（高级视频编码））的编码方法的预测处理，来对由纹理图像和深度图像构成的多视点图像的图像数据进行编码。

如图1所示，图像编码装置100包括A/D变换器101、帧重排缓冲器102、算术运算单元103、正交变换器104、量化器105、无损编码器106和累积缓冲器107。图像编码装置100还包括逆量化器108、逆正交变换器109、算术运算单元110、环路滤波器111、帧存储器112、选择器113、帧内预测器114、运动估计器/补偿器115、预测图像选择器116和速率控制器117。

A/D变换器101对输入的图像数据执行A/D变换、将通过变换所获得的图像数据（数字数据）提供给帧重排缓冲器102，并将图像数据存储在帧重排缓冲器102中。帧重排缓冲器102根据GOP（图片组）结构对具有按显示顺序存储的帧的图像进行重排，使得帧按照用于编码的帧顺序排列。帧被重排的图像被提供给算术运算单元103。帧重排缓冲器102还将具有重排的帧顺序的图像提供给帧内预测器114和运动估计器/补偿器115。

算术运算单元103从自帧重排缓冲器102读取的图像减去经由预测图像选择器116从帧内预测器114或运动估计器/补偿器115提供的预测图像，并将所得到的差分信息输出至正交变换器104。

例如，当对图像执行帧内编码时，算术运算单元103从自帧重排缓冲器102读取的图像减去从帧内预测器114提供的预测图像。例如，当对图像执行帧间编码时，算术运算单元103从自帧重排缓冲器102读取的图像减去从运动估计器/补偿器115提供的预测图像。

正交变换器104对从算术运算单元103提供的差分信息执行正交变换，诸如离散余弦变换或卡洛变换（Karhunen-Loeve transform）。通过任何适当的方法来执行该正交变换。正交变换器104将变换系数提供给量化器105。

量化器105对从正交变换器104提供的变换系数进行量化。量化器105基于与从速率控制器117提供的代码量的目标值有关的信息来设置量化参数，并且执行其量化。如稍后详细描述的，此时，量化器105独立于纹理图像而针对深度图像设置量化参数并对其执行量化。量化器105将量化后的变换系数提供给无损编码器106。

无损编码器106通过适当的编码方法对在量化器105处量化的变换系数进行编码。由于在速率控制器117的控制下对系数数据进行量化，因此代码量变为等于由速率控制器117设置的目标值（或者接近目标值）。

无损编码器106从帧内预测器114获得帧内预测信息，并且从运动估计器/补偿器115获得帧间预测信息，其中，帧内预测信息包含表示帧内预测模式的信息等，帧间预测信息包含表示帧间预测模式的信息和运动矢量信息等。无损编码器106还获得在环路滤波器111处使用的滤波器系数等。

无损编码器106通过任意适当的编码方法对这些信息进行编码，并将信息并入编码数据的报头信息中（或者将信息与编码数据的报头信息进行复用）。无损编码器106将通过编码获得的编码数据提供给累积缓冲器107并将编码数据累积在其中。

无损编码器106使用的编码方法例如可以是可变长编码或算术编码。可变长编码可以是例如H.264/AVC中规定的CAVLC（上下文自适应可变长编码）。算术编码可以是例如CABAC（上下文自适应二进制算术编码）。

累积缓冲器107暂时保存从无损编码器106提供的编码数据。累积缓冲器107例如以预定时间将保持在其中的编码数据作为比特流输出到后一级中的记录装置（记录介质）或传输路径等（未示出）。即，编码后的各组信息被提供给解码侧。

经量化器105量化的变换系数还被提供给逆量化器108。逆量化器108通过与量化器105执行的量化匹配的方法来对量化后的变换系数进行逆量化。逆量化器108将所获得的变换系数提供给逆正交变换器109。

逆正交变换器109通过与正交变换器104执行的正交变换处理匹配的方法来对从逆量化器108提供的变换系数执行逆正交变换。可通过任意方法执行逆正交变换，只要该方法与通过正交变换104执行的正交变换处理匹配即可。经过逆正交变换的输出（局部恢复的差分信息）被提供给算术运算单元110。

算术运算单元110通过将经由预测图像选择器116从帧内预测器114或运动估计器/补偿器115提供的预测图像与从逆正交变换器109提供的逆正交变换结果或局部恢复的差分信息相加，获得局部重构的图像（下文中，称为重构图像）。重构图像被提供给环路滤波器111或帧存储器112。

环路滤波器111包括去块滤波器、自适应环路滤波器等，并且对从算术运算单元110提供的解码图像执行适当的滤波。例如，环路滤波器111对解码图像执行去块滤波以从解码图像去除块失真。此外，环路滤波器111通过使用例如维纳滤波器来对去块滤波结果（被去除了去块失真的解码图像）执行环路滤波，以改进图像质量。

替选地，环路滤波器111可对解码图像执行任意适当的滤波。必要时，环路滤波器111还可将诸如用于滤波的滤波器系数的信息提供给无损编码器106，以便对信息进行编码。

环路滤波器111将滤波结果（下文中，称为解码图像）提供给帧存储器112。

帧存储器112存储从算术运算单元110提供的重构图像和从环路滤波器111提供的解码图像。帧存储器112以预定时间或者响应于来自诸如帧内预测器114的外部单元的请求，经由选择器113将所存储的重构图像提供给帧内预测器114。帧存储器112还以预定时间或者响应于来自诸如运动估计器/补偿器115的外部单元的请求，经由选择器113将所存储的解码图像提供给运动估计器/补偿器115。

选择器113指示来自帧存储器的图像输出的供应目的地。例如，在帧内预测的情况下，选择器113从帧存储器112读取未滤波的图像（重构图像），并且将所读取的图像作为周围像素提供给帧内预测器114。

例如，在帧间预测的情况下，选择器113从帧存储器112读取滤波后图像（解码图像），并且将所读取的图像作为参考图像提供给运动估计器/补偿器115。

当从帧存储器112获得了位于正在处理的区域（当前区域）周围的周围区域的图像（周围图像）时，帧内预测器114执行帧内预测（画面内预测），以通过使用周围图像的像素值以基本上为预测单位（PU）的处理单位来生成预测图像。帧内预测器114以预先准备的多于一种的模式（帧内预测模式）执行帧内预测。

帧内预测器114以所有候选帧内预测模式生成预测图像、通过使用从帧重排缓冲器102提供的输入图像来估计各个预测图像的成本函数值，并且选择最佳模式。在选择最佳帧内预测模式之后，帧内预测器114将以最佳帧内预测模式生成的预测图像提供给预测图像选择器116。

必要时，帧内预测器114还将包含关于帧内预测的信息（诸如最佳帧内预测模式）的帧内预测信息提供给无损编码器106，以便对该信息进行编码。

运动估计器/补偿器115使用从帧重排缓冲器102提供的输入图像以及从帧存储器112提供的参考图像执行运动估计（帧间预测），并且根据所检测到的运动矢量来执行运动补偿处理，以生成预测图像（帧间预测图像信息）。在运动估计中，基本上将PU用作处理单位。运动估计器/补偿器115以预先准备的多于一种的模式（帧间预测模式）执行这样的帧间预测。

运动估计器/补偿器115以所有候选帧间预测模式生成预测图像、估计各个预测图像的成本函数值，并选择最佳模式。在选择最佳帧间预测模式之后，运动估计器/补偿器115将以最佳帧间预测模式生成的预测图像提供给预测图像选择器116。

运动估计器/补偿器115还将包含关于帧间预测的信息（诸如最佳帧间预测模式）的帧间预测信息提供给无损编码器106，以便对该信息进行编码。

预测图像选择器116选择要提供给算术运算单元103和算术运算单元110的预测图像的提供方。例如，在帧内编码的情况下，预测图像选择器116选择帧内预测器114作为预测图像的提供方，并且将从帧内预测器114提供的预测图像提供给算术运算单元103和算术运算单元110。例如，在帧间编码的情况下，预测图像选择器116选择运动估计器/补偿器115作为预测图像的提供方，并且将从运动估计器/补偿器115提供的预测图像提供给算术运算单元103和算术运算单元110。

基于累积在累积缓冲器107中的编码数据的代码量，速率控制器117控制量化器105的量化操作速率，使得不会发生上溢或下溢。

[编码单位]

以下，首先描述通过HEVC编码方法定义的编码单位。

编码单位（CU）也被称为编码树块（CTB），并且是与AVC中的宏块作用相同的基于图片的图像的部分区域。后者的大小限于16×16像素的大小，而前者的大小不限于特定大小，并且可根据每个序列中的压缩图像信息来指定。

具体地，具有最大大小的CU被称为LCU（最大编码单位），并且具有最小大小的CU被称为SCU（最小编码单位）。例如，在压缩图像信息所包含的序列参数集中，指定了这些区域的大小，但各大小不限于具有方形形状且可以由2的幂表示的大小。

图3示出由HEVC定义的编码单位的示例。在图3所示的示例中，LCU的大小为128，并且最大层级深度为5。当split_flag的值为“1”时，大小为2N×2N的CU被分割为低一个等级的、大小为N×N的CU。

每个CU还被分割为预测单位（PU）或者变换单位（TU），其中，预测单位（PU）为用于帧内或帧间预测的处理单位区域（基于图片的图像的部分区域），变换单位（TU）为用于正交变换的处理单位区域（基于图片的图像的部分区域）。

以下，“区域”包括所有上述区域（诸如宏块、子宏块、LCU、CU、SCU、PU和TU）（或者可以是上述区域中的任一个）。“区域”当然可包括除了上述单位外的单位，并且根据上下文将排除任意不可能的单位。

[量化参数分配]

图像编码装置100针对每个编码单位（CU）设置量化参数，使得可以关于图像中的每个区域的特性来更加适应地执行量化。然而，如果按照原样传输各个编码单位的量化参数，则存在编码效率极大地降低的可能性。因此，量化器105将上一个编码的编码单位的量化参数QP与当前正处理的编码单位（当前编码单位）的量化参数QP之间的差分值ΔQP（差分量化参数）传输到解码侧，以进一步提高编码效率。

图4示出LCU中编码单位的排列的示例以及分配给各个编码单位的量化参数的差分值的示例。如图4所示，量化器105将上一个处理的编码单位的量化参数与当前正在处理的编码单位（当前编码单位）的量化参数之间的差分值ΔQP作为量化参数分配给每个编码单位（CU）。

当该LCU中的左上编码单位0是正在处理的编码单位（当前编码单位）时，量化器105将紧接在该LCU之前处理的编码单位的量化参数与编码单位0的量化参数之间的差分值ΔQP₀传输到解码侧。

当LCU中的四个右上编码单位之中的左上编码单位10是正在处理的编码单位（当前编码单位）时，量化器105将上一个处理的编码单位0的量化参数与编码单位10的量化参数之间的差分值ΔQP₁₀传输到解码侧。

对于LCU中的四个右上编码单位之中的右上编码单位11，量化器105将上一个处理的编码单位10的量化参数与编码单位11的量化参数之间的差分值ΔQP₁₁传输到解码侧。对于LCU中的四个右上编码单位之中的左下编码单位12，量化器105将上一个处理的编码单位11的量化参数与编码单位12的量化参数之间的差分值ΔQP₁₂传输到解码侧。

此后，量化器105以相同的方式针对每个编码单位计算量化参数差分值，并且将差分值传输到解码侧。

在解码侧，通过使用上一个处理的编码单位的量化参数与分配给当前编码单位的量化参数之间的差分值可以容易地计算接下来要处理的编码单位的量化参数。

如稍后将详细描述的，对于切片中的最上面的编码单位，量化器105将切片的量化参数与编码单位的量化参数之间的差分值传输到解码侧。此外，对于切片，量化器105将图片（当前图片）的量化参数与切片（当前切片）的量化参数之间的差分值传输到解码侧。图片（当前图片）的量化参数也被传输到解码侧。

另外，量化器105独立于对纹理图像的处理，针对深度图像执行与这样的量化参数的设置相关的处理以及使用这些量化参数的量化处理。

以该方式，量化器105可以关于图像中的各个区域的特性来更适应地执行量化。

[量化器]

图5是示出量化器105的典型示例结构的框图。

如图5所示，量化器105包括成分分离器131、成分分离器132、辉度量化器133、色差量化器134、深度量化器135和成分合成器136。

成分分离器131针对每个成分分离从速率控制器117提供的活动，并且将每个成分的活动提供给同一成分的处理器。例如，成分分离器131将与辉度图像相关的活动提供给辉度量化器133，将与色差图像相关的活动提供给色差量化器134以及将与深度图像相关的活动提供给深度量化器135。

成分分离器132针对每个成分分离从正交变换器104提供的正交变换系数，并且将每个成分的正交变换系数提供给同一成分的处理器。例如，成分分离器132将辉度成分的正交变换系数提供给辉度量化器133，将色差成分的正交变换系数提供给色差量化器134，并且将深度成分的正交变换系数提供给深度量化器135。

辉度量化器133通过使用从成分分离器131提供的活动来设置与辉度成分相关的量化参数，并且对从成分分离器132提供的辉度成分的正交变换系数进行量化。辉度量化器133将量化后的正交变换系数提供给成分合成器136。辉度量化器133还将与辉度成分相关的量化参数提供给无损编码器106和逆量化器108。

色差量化器134通过使用从成分分离器131提供的活动来设置与色差成分相关的量化参数，并且对从成分分离器132提供的色差成分的正交变换系数进行量化。色差量化器134将量化后的正交变换系数提供给成分合成器136。色差量化器134还将与色差成分相关的量化参数提供给无损编码器106和逆量化器108。

深度量化器135通过使用从成分分离器131提供的活动来设置与深度成分相关的量化参数，并且对从成分分离器132提供的深度成分的正交变换系数进行量化。深度量化器135将量化后的正交变换系数提供给成分合成器136。深度量化器135还将与深度成分相关的量化参数提供给无损编码器106和逆量化器108。

成分合成器136对从辉度量化器133、色差量化器134和深度量化器135提供的各成分的正交变换系数进行合成，并将合成的正交变换系数提供给无损编码器106和逆量化器108。

[深度量化器]

图6是示出图5所示的深度量化器135的典型示例结构的框图。

如图6所示，深度量化器135包括编码单位量化值计算器151、图片量化参数计算器152、切片量化参数计算器153、编码单位量化参数计算器154和编码单位量化处理器155。

编码单位量化值计算器151基于从成分分离器131（速率控制器117）提供的深度图像的每个编码单位的活动（表示每个编码单位的图像的复杂度的信息）来计算深度图像的每个编码单位的量化值。

在针对每个编码单位计算量化值之后，编码单位量化值计算器151将每个编码单位的量化值提供给图片量化参数计算器152。

图片量化参数计算器152使用每个编码单位的量化值，来计算深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26。图片量化参数计算器152将所生成的深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26提供给无损编码器106。如图7所示的图片参数集的构成所描述的那样，该量化参数pic_depth_init_qp_minus26包括在图片参数集中并且接着被传输到解码侧。

如图7所示，独立于纹理图像的每个图片（当前图片）的量化参数pic_init_qp_minus26，在图片参数集中设置深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26。

切片量化参数计算器153使用每个编码单位的量化值和每个图片（当前图片）的量化参数pic_depth_init_qp_minus26，计算深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta。切片量化参数计算器153将所生成的深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta提供给无损编码器106。如图8所示的切片报头的构成所述那样，该量化参数slice_depth_qp_delta包括在切片报头中并接着被传输到解码侧。

如图8所示，独立于纹理图像的每个切片（当前切片）的量化参数slice_qp_delta，在切片报头中设置深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta。在图8所示的示例中，slice_depth_qp_delta被写入切片报头构成中的上一个扩展区域中。利用该描述，不具有针对深度图像设置独立量化参数的功能的装置可以使用该构成（或者可以维持匹配性）。

编码单位量化参数计算器154使用每个切片（当前切片）的量化参数slice_depth_qp_delta和上一个编码中所使用的量化参数prevQP，计算深度图像的每个编码单位的量化参数cu_depth_qp_delta。编码单位量化参数计算器154将所生成的深度图像的每个编码单位的量化参数cu_depth_qp_delta提供给无损编码器106。如图9所示的变换系数构成所述的那样，该量化参数cu_depth_qp_delta包括在编码单位中并接着被传输到解码侧。

如图9所示，独立于纹理图像的每个编码单位的量化参数cu_qp_delta，在编码单位中设置深度图像的每个编码单位的量化参数cu_depth_qp_delta。

由图片量化参数计算器152至编码单位量化参数计算器154生成的各个量化参数还被提供给逆量化器108。

编码单位量化处理器155使用深度图像的每个编码单位的量化值，对深度图像中正在被处理的编码单位（当前编码单位）的正交变换系数进行量化，该正交变换系数是从成分分离器132提供的。

编码单位量化处理器155将针对每个编码单位所量化的深度图像的正交变换系数提供给成分合成器136。

如上所述，独立于纹理图像，针对深度图像设置各个量化参数。因此，图像编码装置100可以执行更适当的量化处理和逆量化处理，并且可以防止解码图像的主观图像质量的劣化。此外，上述用于深度图像的量化参数被传输到解码侧。因此，图像编码装置100可以使得目的地图像解码装置200执行更适当的量化处理和逆量化处理。

[编码处理的流程]

接下来，描述上述图像编码装置100要执行的各处理的流程。首先参照图10所示的流程图，描述了编码处理的示例流程。

在步骤S101中，A/D变换器101对输入图像执行A/D变换。在步骤S102中，帧重排缓冲器102存储通过A/D变换所获得的图像，并将按照显示顺序的各个图片重排为编码顺序。

在步骤S103中，算术运算单元103计算通过步骤S102的处理重排的图像与预测图像之间的差分。在执行帧间预测时，预测图像经由预测图像选择器116从运动估计器/补偿器115被提供给算术运算单元103，以及在执行帧内预测时，预测图像经由预测图像选择器116从帧内预测器114被提供给算术运算单元103。

使差分数据的数据量小于原始图像数据。因此，可以使得数据量小于直接对图像进行编码的情况下的数据量。

在步骤S104中，正交变换器104对通过步骤S103的处理生成的差分信息执行正交变换。具体地，执行诸如离散余弦变换或卡洛变换的正交变换，并且输出变换系数。

在步骤S105中，量化器105计算量化参数。在步骤S106中，量化器105使用通过步骤S105的处理计算出的量化参数等来对通过步骤S104的处理所获得的正交变换系数进行量化。此时，独立于纹理图像，量化器105针对与纹理图像一起被转变为成分的深度图像来计算量化参数，并且使用量化参数来执行量化。通过这样做，量化器105可以对深度图像执行更适当的量化处理。

以下对通过步骤S106的处理量化的差分信息进行局部解码。具体地，在步骤S107中，逆量化器108使用通过步骤S105的处理计算出的量化参数来执行逆量化。以与图像解码装置200中的方式相同的方式执行该逆量化处理。因此，将在描述图像解码装置200时说明逆量化。

在步骤S108中，逆正交变换器109使用与正交变换器104的特性匹配的特性，对通过步骤S107的处理获得的正交变换系数执行逆正交变换。

在步骤S109中，算术运算单元110将预测图像与局部解码的差分信息相加，以生成局部解码图像（与算术运算单元103的输入相对应的图像）。在步骤S110中，环路滤波器111对通过步骤S109的处理生成的图像执行滤波。结果，去除了块失真。

在步骤S111中，帧存储器112存储通过步骤S110的处理去除了块失真的图像。应注意，未经过环路滤波器111滤波的图像也被从算术运算单元110提供并存储在帧存储器112中。

在步骤S112中，帧内预测器114以帧内预测模式执行帧内预测处理。在步骤S113中，运动估计器/补偿器115执行帧间运动估计处理，其中，以帧间预测模式执行运动估计和运动补偿。

在步骤S114中，预测图像选择器116基于从帧内预测器114和运动估计器/补偿器115输出的成本函数值来确定最佳预测模式。具体地，预测图像选择器116选择帧内预测器114生成的预测图像或运动估计器/补偿器115生成的预测图像。

表示已选择预测图像的选择信息被提供给生成了所选择的预测图像的帧内预测器114或运动估计器/补偿器115。当选择了以最佳帧内预测模式生成的预测图像时，帧内预测器114将表示最佳帧内预测模式（或帧内预测模式信息）的信息提供给无损编码器106。

当选择了以最佳帧间预测模式生成的预测图像时，运动估计器/补偿器115在需要时将表示最佳帧间预测模式的信息以及根据最佳帧间预测模式的信息输出到无损编码器106。根据最佳帧间预测模式的信息可以是运动矢量信息、标记信息、参考帧信息等。

在步骤S115中，无损编码器106对通过步骤S106的处理量化的变换系数进行编码。具体地，对差分图像（在帧间预测的情况下为二阶差分图像）执行无损编码，诸如可变长编码或算术编码。

无损编码器106还对在步骤S105中计算出的量化参数进行编码，并且将这些参数添加至编码数据。即，无损编码器106还将针对深度图像生成的量化参数添加至编码数据。

无损编码器106还对与通过步骤S114的处理选择的预测图像的预测模式有关的信息进行编码，并且将编码后的信息添加至通过对差分图像进行编码而获得的编码数据。具体地，无损编码器106还对从帧内预测器114提供的帧内预测模式信息或从运动估计器/补偿器115提供的根据最佳帧间预测模式的信息进行编码，并且将编码后的信息添加至编码数据。这些信息是在所有成分之间共有的。

在步骤S116中，累积缓冲器107累积从无损编码器106输出的编码数据。在适当时读取累积缓冲器107中所累积的编码数据，并且将其经由传输路径传输到解码侧。

在步骤S117中，基于通过步骤S116的处理而累积在累积缓存器107中的压缩图像，速率控制器117控制量化器105的量化操作速率，使得不会发生下溢或上溢。

在完成步骤S117的处理之后，编码处理结束。

[量化参数计算处理的流程]

现在参照图11所示的流程图，来描述量化参数计算处理的示例流程。当量化参数处理开始时，辉度量化器133在步骤S131中计算辉度成分的量化参数。在步骤S132中，色差量化器134计算色差量化参数。在步骤S133中，深度量化器135计算深度量化参数。

在完成步骤S133的处理之后，量化器105结束量化参数计算处理，并且返回到图10所示的处理。

[深度量化参数计算处理的流程]

现在参照图12所示的流程图，来描述图11的步骤S133中所执行的深度量化参数计算处理的示例流程。

当深度量化参数计算处理开始时，编码单位量化值计算器151在步骤S151中获取从速率控制器117提供的深度图像的每个编码单位的活动。

在步骤S152中，编码单位量化值计算器151使用深度图像的每个编码单位的活动来计算深度图像的每个编码单位的量化值。

在步骤S153中，图片量化参数计算器152使用在步骤S152中计算出的深度图像的每个编码单位的量化值，来计算深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26。

在步骤S154中，切片量化参数计算器153使用在步骤S152中计算出的深度图像的每个编码单位的量化值和在步骤S153中计算出的深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26，来计算深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta。

在步骤S155中，编码单位量化参数计算器154使用在步骤S153中计算出的深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta和在上一个编码中使用的量化参数prevQP，来计算深度图像的每个编码单位的量化参数cu_depth_qp_delta（诸如，图4中的ΔQP0至ΔQP23）。

在以上述方式计算各个量化参数之后，深度量化器135结束量化参数计算处理，并且返回到图11所示的处理。

[量化处理的流程]

现在参照图13所示的流程图，来描述图10的步骤S106中所执行的量化处理的示例流程。

当量化处理开始时，成分分离器132在步骤S171中分离从正交变换器104提供的正交变换系数的成分。

在步骤S172中，辉度量化器133使用在图11的步骤S131中计算出的针对辉度成分的量化参数，对辉度图像执行量化。在步骤S173中，色差量化器134使用在图11的步骤S132中计算出的针对色差成分的量化参数，对色差图像执行量化。在步骤S174中，深度量化器135（编码单位量化处理器155）使用在图12的各个步骤中计算出的针对深度成分的量化参数，对深度图像执行量化。

在步骤S175中，成分合成器136合成通过步骤S172至S174的处理所获得的各个成分的量化的正交变换系数。在完成步骤S175的处理之后，量化器105结束量化处理，并且返回到图10所示的处理，以重复随后的处理。

通过执行如上所述的各个处理，图像编码装置100可以独立于纹理图像，设置针对深度图像的量化参数。此外，通过使用量化参数来执行量化处理，图像编码装置100可以独立于纹理图像，执行针对深度图像的量化处理。因此，图像编码装置100可以针对与纹理图像一起转变为成分的深度图像来执行更适当的量化处理。

此外，通过执行如上所述的编码处理和量化参数计算处理，图像编码装置100可以针对每个编码单位设置量化值，并且可以根据图像的内容执行更适当的量化处理。

即，图像编码装置100能够防止解码图像的主观图像质量的劣化。

此外，通过将以上述方式计算出的量化参数传输到图像解码装置200，图像编码装置100可以使得图像解码装置200独立于纹理图像而对深度图像执行逆量化。另外，图像编码装置100可以对每个编码单位执行逆量化。

应该注意，图像编码装置100的逆量化器108执行与同图像编码装置100匹配的图像解码装置200的逆量化器203要执行的处理相同的处理。即，图像编码装置100还可以对每个编码单位执行逆量化。

<2.第二实施例>

[图像解码装置]

图14是示出应用了本技术的图像解码装置的典型示例结构的框图。图14所示的图像解码装置200与上述的图像编码装置100匹配，并且对通过由图像编码装置100对图像数据编码而生成的比特流（编码数据）进行适当解码，以生成解码图像。

如图14所示，图像解码装置200包括累积缓冲器201、无损解码器202、逆量化器203、逆正交变换器204、算术运算单元205、环路滤波器206、帧重排缓冲器207和D/A变换器208。图像解码装置200还包括帧存储器209、选择器210、帧内预测器211、运动估计器/补偿器212和选择器213。

累积缓冲器201累积所传输的编码数据，并在预定时间将编码数据提供给无损解码器202。无损解码器202通过与无损编码器106使用的编码方法匹配的方法来对由图2所示的无损编码器106编码且从累积缓冲器201提供的信息进行解码。无损解码器202将通过解码所获得的差分图像的量化系数数据提供给逆量化器203。

无损解码器202还通过参考通过对编码数据进行解码而获得的最佳预测模式信息，确定所选择的最佳预测模式是帧内预测模式还是帧间预测模式。具体地，无损解码器202确定所传输的编码数据中使用的预测模式是帧内预测模式还是帧间预测模式。

基于该确定的结果，无损解码器202将关于预测模式的信息提供给帧内预测器211或运动估计器/补偿器212。例如，在图像编码装置100中选择帧内预测模式作为最佳预测模式的情况下，无损解码器202将从编码侧提供的且作为关于所选择的帧内预测模式的信息的帧内预测信息提供给帧内预测器211。在图像编码装置100中选择帧间预测模式作为最佳预测模式的情况下，无损解码器202将从编码侧提供的且作为关于所选择的帧间预测模式的信息的帧间预测信息提供给运动估计器/补偿器212。

逆量化器203使用从图像编码装置100提供的量化参数，对通过利用无损解码器202执行的解码所获得的量化系数数据进行逆量化。具体地，逆量化器203通过与图2所示的量化器105使用的量化方法匹配的方法来执行逆量化。此时，独立于对于纹理图像的逆量化处理，逆量化器203针对与纹理图像一起转变为成分的深度图像执行逆量化处理。通过这样做，逆量化器203能够执行更适当的逆量化处理。

逆量化器203将通过各个成分的逆量化而获得的系数数据提供给逆正交变换器204。

逆正交变换器204通过与图2所示的正交变换器104所使用的正交变换方法匹配的方法来对从逆量化器203提供的系数数据执行逆正交变换。通过该逆正交变换处理，逆正交变换器204获取与在图像编码装置100中尚未经过正交变换的差分图像相对应的差分数据。

通过逆正交变换获得的差分图像被提供给算术运算单元205。预测图像也经由选择器213从帧内预测器211或运动估计器/补偿器212被提供给算术运算单元205。

算术运算单元205将差分图像与预测图像相加，并且获得与在图像编码装置100的算术运算单元103执行的预测图像减法之前的图像相对应的重构图像。算术运算单元205将重构图像提供给环路滤波器206。

环路滤波器206在需要时对所提供的重构图像执行包括去块滤波、自适应环路滤波等的环路滤波处理，以生成解码图像。例如，环路滤波器206对重构图像执行去块滤波以去除块失真。此外，环路滤波器206对通过使用例如维纳滤波器来对去块滤波的结果（已从其去除块失真的重构图像）执行环路滤波，以改进图像质量。

环路滤波器206可执行任何类型的滤波，并且可执行除了上述类型外的滤波。环路滤波器206还可通过使用从图2所示的图像编码装置100提供的滤波器系数来执行滤波。

环路滤波器206将作为滤波结果的解码图像提供给帧重排缓冲器207和帧存储器209。应该注意，可跳过环路滤波器206的滤波。也就是说，算术运算单元205的输出可不经滤波而直接存储到帧存储器209中。例如，帧内预测器211使用包括在该图像中的像素的像素值作为周围像素的像素值。

帧重排缓冲器207对所提供的解码图像执行重排。具体地，按照原始显示顺序对于由图2所示的帧重排缓冲器102按编码顺序重排的帧序列进行重新排列。D/A变换器208对从帧重排缓冲器207提供的解码图像执行D/A变换，并且将变换后的图像输出到显示器（未示出）以显示图像。

帧存储器209存储所提供的重构图像和解码图像。帧存储器209还在预定时间或者响应于来自外部单元（诸如，帧内预测器211和运动估计器/补偿器212）而经由选择器210将所存储的重构图像和解码图像提供给帧内预测器211和运动估计器/补偿器212。

帧内预测器211基本上执行与图2所示的帧内预测器114的处理相同的处理。然而，帧内预测器211仅对在编码时通过帧内预测生成了预测图像的区域执行帧内预测。

运动估计器/补偿器212基于从无损解码器202提供的帧间预测信息来执行帧间运动估计处理，以生成预测图像。基于从无损解码器202提供的帧间预测信息，运动估计器/补偿器212仅对在编码时已执行帧间预测的区域执行帧间运动估计处理。

帧内预测器211或运动估计器/补偿器212经由选择器213将针对预测处理单位的每个区域生成的预测图像提供给算术运算单元205。

选择器213将从帧内预测器211提供的预测图像或从运动估计器/补偿器212提供的预测图像提供给算术运算单元205。

在除了逆量化处理外的上述处理中，基本上使用在成分之间共有的参数。以该方式，图像解码装置200还可以提高编码效率。

[逆量化器]

图15是示出图14所示的逆量化器203的典型示例结构的框图。如图15所示，逆量化器203包括成分分离器231、辉度逆量化器232、色差逆量化器233、深度逆量化器234和成分合成器235。

对于每个成分，成分分离器231分离通过无损解码器202执行解码而获得且从无损解码器202提供的差分图像的量化系数数据。

辉度逆量化器232对成分分离器231提取的量化系数数据的辉度成分执行逆量化，并且将所得到的辉度成分的系数数据提供给成分合成器235。

色差逆量化器233对成分分离器231提取的量化系数数据的色差成分执行逆量化，并且将所得到的色差成分的系数数据提供给成分合成器235。

深度逆量化器234对成分分离器231提取的量化系数数据的深度成分执行逆量化，并且将所得到的深度成分的系数数据提供给成分合成器235。

成分合成器235对从辉度逆量化器232至深度逆量化器234提供的各个成分的系数数据进行合成，并且将合成后的系数数据提供给逆正交变换器204。

[深度逆量化器]

图16是示出图15所示的深度逆量化器234的典型示例结构的框图。

如图16所示，深度逆量化器234包括量化参数缓冲器251、正交变换系数缓冲器252、编码单位量化值计算器253和编码单位逆量化处理器254。

无损解码器202对与各个层中的深度图像量化相关的参数（诸如从图像编码装置100提供的编码数据的图片参数集和切片报头）进行解码，然后将其提供给量化参数缓冲器251。量化参数缓冲器251适当地保存深度图像的量化参数，并在预定时间将量化参数提供给编码单位量化值计算器253。

使用从量化参数缓冲器251提供的量化参数，编码单位量化值计算器253计算深度图像的每个编码单位的量化值，并且将量化值提供给编码单位逆量化处理器254。

由无损解码器202对从图像编码装置100提供的编码数据进行解码而获得的深度图像的量化正交变换系数被提供给正交变换系数缓冲器252。正交变换系数缓冲器252适当地保存量化正交变换系数，并且在预定时间将量化正交变换系数提供给编码单位逆量化处理器254。

编码单位逆量化处理器254使用从编码单位量化值计算器235提供的深度图像的每个编码单位的量化值，对从正交变换系数缓冲器252提供的量化正交变换系数进行逆量化。编码单位逆量化处理器254将通过逆量化所获得的深度图像的正交变换系数提供给成分合成器235。

如上所述，独立于纹理图像，逆量化器203使用独立于纹理图像设置的量化参数，对与纹理图像一起转变为成分的深度图像执行逆量化。因此，能够执行更适当的逆量化处理。

此外，逆量化器203可以使用针对各个编码单位所算出的量化值来执行逆量化处理。相应地，图像解码装置200可以执行更适于图像的内容的逆量化处理。具体地，即使在宏块大小扩大并且单个宏块包括平坦区和含纹理区的情况下，图像解码装置200可以执行适合于各个区的自适应逆量化处理，并且防止了解码图像的主观图像质量的劣化。

应该注意，图1所示的图像编码装置100的逆量化器108具有与逆量化器203相同的结构，并且执行相同的处理。然而，逆量化器108获取从量化器105提供的量化参数和量化正交变换系数，然后执行逆量化。

[解码处理的流程]

接下来，描述要由上述图像解码装置200执行的各处理的流程。首先，参照图17所示的流程图，来描述解码处理的示例流程。

当解码处理开始时，累积缓冲器201在步骤S201中累积所传输的编码数据。在步骤S202中，无损解码器202对从累积缓冲器201提供的编码数据进行解码。具体地，对经图2所示的无损编码器106编码的I图片、P图片和B图片进行解码。

此时，对运动矢量信息、参考帧信息、预测模式信息（帧内预测模式或帧间预测模式）和诸如标记和量化参数的信息进行解码。

在预测模式信息是帧内预测模式信息的情况下，预测模式信息被提供给帧内预测器211。在预测模式信息是帧间预测模式信息的情况下，预测模式信息和对应的运动矢量信息被提供给运动估计器/补偿器212。对于这些信息，基本上使用在各个成分之间共有的值。

在步骤S203中，逆量化器203对作为无损解码器202的解码结果而获得的量化正交变换系数进行逆量化。使用从图像编码装置100提供的量化参数，逆量化器203执行逆量化处理。在这样做时，逆量化器203使用已从图像编码装置100提供且已独立于纹理图像的量化参数而设置的深度图像的各个编码单位的量化参数，独立于对于纹理图像的量化处理而对深度图像的量化正交变换系数进行逆量化。

在步骤S204中，逆正交变换器204通过与图2所示的正交变换器104使用的方法匹配的方法，对作为逆量化器203执行的逆量化的结果而获得的正交变换系数执行逆正交变换。结果，对与图2所示的正交变换器104的输入（或来自算术运算单元103的输出）对应的差分信息进行解码。

在步骤S205中，算术运算单元205将预测图像与通过步骤S204的处理所获得的差分信息相加。以该方式，对原始图像数据进行解码。

在步骤S206中，环路滤波器206按照需要对在步骤S205中所获得的重构图像执行环路滤波处理，包括去块滤波、自适应环路滤波等。

在步骤S207中，帧存储器209存储经过滤波的解码图像。

在步骤S208中，帧内预测器211或运动估计器/补偿器212根据从无损解码器202提供的预测模式信息执行图像预测处理。

具体地，在从无损解码器202提供帧内预测模式信息的情况下，帧内预测器211以帧内预测模式执行帧内预测处理。在从无损解码器202提供帧间预测模式信息的情况下，运动估计器/补偿器212以帧间预测模式执行运动估计处理。

在步骤S209中，选择器213选择预测图像。具体地，将由帧内预测器211生成的预测图像或由运动估计器/补偿器212生成的预测图像提供给选择器213。选择器213选择所提供的预测图像之一，并将所选择的预测图像提供给算术运算单元205。通过步骤S205的处理将该预测图像与差分信息相加。

在步骤S210中，帧重排缓冲器207对解码图像数据的帧进行重排。具体地，在解码图像数据中，按照原始显示顺序对由图像编码装置100（图2）的帧重排缓冲器102为编码而重排的帧顺序进行重排。

在步骤S211中，D/A变换器208对具有由帧重排缓冲器207重排的帧的解码图像数据执行D/A变换。将解码图像数据输出到显示器（未示出），并且显示该图像。

[逆量化处理的流程]

现在参照图18所示的流程图，来描述在图17的步骤S203中执行的逆量化处理的示例流程。

当逆量化处理开始时，成分分离器231在步骤S231中针对每个成分分离量化后的系数数据。在步骤S232中，辉度逆量化器232对辉度成分执行逆量化。在步骤S233中，色差逆量化器233对色差成分执行逆量化。

在步骤S234中，深度逆量化器234使用深度图像的量化参数，对深度成分执行逆量化。

在步骤S235中，成分合成器235对在步骤S232至S234中对各个成分所执行的逆量化的结果（系数数据）进行合成。在完成步骤S235的处理之后，逆量化器203返回到图17中的处理。

[深度逆量化处理的流程]

现在参照图19所示的流程图，来描述在图18的步骤S234中执行的深度逆量化处理的示例流程。

当深度逆量化处理开始时，量化参数缓冲器251在步骤S301中获取从无损解码器202提供的针对深度图像的每个图片（当前图片）的量化参数pic_depth_init_qp_minus26。

在步骤S302中，量化参数缓冲器251获取从无损解码器202提供的针对深度图像的每个切片（当前切片）的量化参数slice_depth_qp_delta。

在步骤S303中，量化参数缓冲器251获取从无损解码器202提供的针对深度图像的每个编码单位的量化参数cu_delta_qp_delta。

在步骤S304中，编码单位量化值计算器253使用通过步骤S301至S303的处理所获取的各个量化参数和上一个使用的量化参数PrevQP，来计算每个编码单位的量化值。

在步骤S305中，编码单位逆量化处理器254使用通过步骤S304的处理所算出的每个编码单位的量化值，对保存在正交变换系数缓冲器252中的量化正交系数进行逆量化。

在完成步骤S305中的处理之后，深度逆量化器234返回到解码处理，并且执行随后的处理。

通过执行如上所述的各处理，图像解码装置200可以通过使用独立于纹理图像针对深度图像的各个编码单位所算出的量化值来执行逆量化处理，并且可以执行更适于图像的内容的逆量化处理。

<3.第三实施例>

此外，可以控制是否独立于纹理图像来设置深度图像的量化参数。例如，图像编码装置100可设置并传输表示是否存在独立于纹理图像而设置的深度图像的量化参数（是否传输深度图像的量化参数）的量化参数（标记信息）cu_depth_qp_present_flag，并且图像解码装置200可基于该参数的值控制逆量化处理。

[深度量化参数计算处理的流程]

在这种情况下，以与在第一实施例中相同的方式执行编码处理和量化参数计算处理。

现在参照图20所示的流程图，来描述深度量化参数计算处理的示例流程。

步骤S321至S324中的处理与第一实施例中所述的步骤S151至S154（图12）中的处理相同。

在步骤S325中，编码单位量化参数计算器154确定是否生成深度图像的量化参数。当确定正在处理的编码单位（当前编码单位）是深度图像中的重要区域并且优选地独立于纹理图像设置量化参数时，编码单位量化参数计算器154移至步骤S325。

编码单位量化参数计算器154以与第一实施例中所述的步骤S155（图12）的处理相同的方式执行步骤S326的处理。在完成步骤S326中的处理之后，编码单位量化参数计算器154移至步骤S327。

当在步骤S325中确定正在处理的编码单位（当前编码单位）不是深度图像中的重要区域并且与纹理图像共享的量化参数将足够时，编码单位量化参数计算器154移至步骤S327。

在步骤S327中，编码单位量化参数计算器154设置量化参数cu_depth_qp_preent_flag。在独立于纹理图像而设置深度图像的各个编码单位的量化参数的情况下，编码单位量化参数计算器154将量化参数cu_depth_qp_preent_flag的值设置为“1”。在通过使用与纹理图像共有的量化参数来对深度图像的编码单位进行了量化的情况下，编码单位量化参数计算器154将量化参数cu_depth_qp_preent_flag的值设置为“0”。

在设置量化参数cu_depth_qp_preent_flag的值之后，编码单位量化参数计算器154结束深度量化参数计算处理，并且返回到图11中的处理。

[量化处理的流程]

现在参照图21中的流程图，描述在这种情况下要执行的量化处理的示例流程。

以与步骤S171至S173（图13）中的处理相同的方式执行步骤S341至S343中的处理。

在步骤S344中，深度量化器135确定量化参数cu_depth_qp_prezent_flag的值是否为“1”。如果该值为“1”，则深度量化器135移至步骤S345。

以与步骤S174（图13）中相同的方式执行步骤S345中的处理。在完成步骤S345的处理之后，深度量化器135移至步骤S347。

另一方面，如果在步骤S344中确定该值为“0”，则深度量化器135移至步骤S346，并且通过使用纹理图像（诸如色差图像）的量化参数来执行深度量化。在完成步骤S346中的处理之后，深度量化器135移至步骤S347。

以与步骤S175（图13）中相同的方式执行步骤S347中的处理。

通过执行如上所述的处理，图像编码装置100可以独立于纹理图像，仅在图像质量劣化能够被容易注意的重要部分处设置深度图像的量化参数，并且可以独立于纹理图像，通过使用量化参数来对深度图像执行量化处理。因此，图像编码装置100可以执行更适当的量化处理，并且防止解码图像的主观图像质量的劣化。

[深度逆量化处理的流程]

接下来，描述要由图像解码装置200执行的处理。要由图像解码装置200执行的解码处理和逆量化处理与第一实施例中的解码处理和逆量化处理相同。

现在参照图22所示的流程图，描述在这种情况下要执行的深度逆量化处理的示例流程。

以与步骤S301和S302中的处理相同的方式执行步骤S401和S402中的处理。

在步骤S403中，量化参数缓冲器251获取从图像编码装置100传输且从成分分离器231提供的量化参数cu_depth_qp_present_flag。在步骤S404中，编码单位量化值计算器253确定所获取的量化参数cu_depth_qp_present_flag的值是否为“1”。如果确定该值为“1”或者存在独立于纹理图像而为深度图像设置的量化参数cu_depth_qp_delta，则处理移至步骤S405。

以与步骤S303中的处理相同的方式执行步骤S405中的处理。在完成步骤S405中的处理之后，处理移至步骤S407。

如果在步骤S404中确定量化参数cu_depth_qp_present_flag的值为“0”并且不存在独立于纹理图像而为深度图像所设置的量化参数cu_depth_qp_delta，则处理移至步骤S406。

在步骤S406中，量化参数缓冲器251获取纹理图像的量化参数cu_qp_delta。在完成步骤S406中的处理之后，处理移至步骤S407。

以与步骤S304和S305中的处理相同的方式执行步骤S407和S408中的处理。然而，在步骤S407中，编码单位量化值计算器253通过使用在步骤S405或S406中所获取的量化参数来计算量化值。

如上所述，由于图像编码装置100将表示是否已独立于纹理图像而设置深度图像的量化参数的量化参数cu_depth_qp_prezent_flag传输到解码侧，因此图像解码装置200可以基于量化参数cu_depth_qp_prezent_flag的值选择要用于逆量化的量化参数。即，图像解码装置200能够更容易地执行更适当的逆量化处理，并且能够防止解码图像的主观图像质量的劣化。

在上述实施例中，针对各个编码单位控制深度图像量化参数，但可使用除了编码单位之外的任何处理单位。此外，量化参数cu_depth_qp_present_flag可具有任何值。另外，量化参数cu_depth_qp_present_flag可存储在编码数据中的任何位置。

<4.第四实施例>

[计算机]

上述一系列处理可由硬件执行或可由软件执行。在这种情况下，处理可由例如图24所示的计算机实现。

在图24中，计算机800的CPU（中央处理单元）801根据存储在ROM（只读存储器）802中的程序或从存储单元813加载到RAM（随机存取存储器）803中的程序来执行各种处理。CPU执行各种处理所需的数据也按照需要存储在RAM803中。

CPU801、ROM802和RAM803经由总线804彼此连接。输入/输出接口810也连接到总线804。

如下部件与输入/输出接口810连接：由键盘、鼠标等构成的输入单元811；由诸如CRT（阴极射线管）或LCD（液晶显示器）的显示器和扬声器构成的输出单元812；由硬盘等构成存储单元813；以及由调制解调器构成的通信单元814。通信单元814经由包括因特网的网络进行通信。

驱动器815也在需要的情况下连接到输入/输出接口810，诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821适当地安装在驱动器上，并且从这样的可移动盘读取的计算机程序在需要的情况下安装在存储单元813中。

当通过软件执行上述一系列处理时，从网络或记录介质安装构成软件的程序。

如图24所示，记录介质由与装置分离地分发用于将程序传递至用户的已记录有程序的可移动介质821构成，可移动介质821诸如磁盘（包括软盘）、光盘（包括CD-ROM（致密盘-只读存储器）或DVD（数字通用盘））、磁光盘（包括MD（迷你盘））或者半导体存储器。替选地，记录介质可由记录有程序的ROM802或包括在存储单元813中的硬盘构成。这样的记录介质在传递给用户之前预先并入装置中。

要由计算机执行的程序可以是用于根据本说明书中所述的序列按时间顺序执行处理的程序，或者可以是用于并行执行处理或在需要时（诸如，在存在调用时）执行处理的程序。

在本说明书中，描述记录在记录介质上的程序的步骤包括不一定按时间顺序并行或彼此独立地执行的处理以及根据本文所述的序列按时间顺序执行的程序。

在本说明书中，“系统”是指由两个以上的装置（设备）构成的整体设备。

此外，可将作为一个装置（或一个处理器）的上述任何结构划分成两个以上的装置（或处理器）。相反，可将作为两个以上的装置（或处理器）的上述任何结构组合成一个装置（或处理器）。此外，当然，可以将除了上述部件外的部件添加到任一装置（或处理器）的结构中。此外，可将装置（或处理器）中的一些部件并入另一装置（或另一处理器）结构中，只要作为整体的系统的结构和功能仍然基本上相同。即，本技术的实施例不限于上述实施例，并且可在不背离本技术的范围的情况下对这些实施例进行各种变型。

根据上述实施例的图像编码装置100（图2）和图像解码装置200（图14）可应用于各种电子设备，包括：用于卫星广播、有线广播（诸如有线电视）、经由因特网的传递、通过蜂窝通信传递至终端等的传送器或接收器；将图像记录在诸如光盘、磁盘或闪存的介质上的记录设备；或者从这些存储介质再现图像的再现装置。以下将描述四个应用示例。

<5.第五实施例>

[电视设备]

图25示意性地示出应用了上述实施例的电视设备的示例结构。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

调谐器902从经由天线901接收到的广播信号提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调所获得的编码比特流输出到解复用器903。即，调谐器902用作电视设备900中接收编码图像的编码流的传送器。

解复用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将所分离出的流输出到解码器904。解复用器903还从编码比特流中提取诸如EPG（电子节目指南）的辅助数据，并将所提取的数据提供给控制器910。如果编码比特流是杂乱的，则解复用器903可对编码比特流进行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码所生成的视频数据输出到视频信号处理器905。解码器904还将通过解码所生成的音频数据输出到音频信号处理器907。

视频信号处理器905再现从解码器904输入的视频数据，并且在显示单元906上显示视频数据。视频信号处理器905还可在显示单元906上显示经由网络所提供的应用画面。此外，视频信号处理器905可根据设置来对视频数据执行诸如降噪的附加处理。视频信号处理器905还可生成诸如菜单、按钮或光标的GUI（图形用户接口）的图像并将所生成的图像叠加在输出图像上。

显示单元906是利用从视频信号处理器905提供的驱动信号来驱动的，并且在显示装置（诸如，液晶显示器、等离子体显示器或OELD（有机电致发光显示器））的视频屏幕上显示视频或图像。

音频信号处理器907对从解码器904输入的音频数据执行诸如D/A变换和放大的再现处理，并通过扬声器908输出音频。此外，音频信号处理器907可对音频数据执行诸如降噪的附加处理。

外部接口909是用于将电视设备900与外部装置或网络连接的接口。例如，解码器904可对经由外部接口909接收到的视频流或音频流进行解码。即，外部接口909也用作电视设备900中接收由编码图像构成的编码流的传送器。

控制器910包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储要由CPU执行的程序、节目数据、EPG数据、经由网络所获取的数据等。例如，当启动电视设备900时，CPU读取并执行存储在存储器中的程序。通过执行程序，CPU根据例如从用户接口911输入的控制信号来控制电视设备900的操作。

用户接口911连接到控制器910。例如，用户接口911包括用户用以操作电视设备900的按钮和开关以及用于接收远程控制信号的接收单元。用户接口911经由这些部件检测用户的操作，生成控制信号，并且将所生成的控制信号输出到控制器910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910相互连接。

在具有这样的结构的电视设备900中，解码器904具有根据上述实施例的图像解码装置200（图14）的功能。对于要由电视设备900解码的深度图像，通过使用从编码侧所提供的用于深度图像的量化参数来针对每个编码单位计算量化值，并且接着执行逆量化。因此，还可以对深度图像执行更适于内容的逆量化处理，并且可以防止解码图像的主观图像质量劣化。

<6.第六实施例>

[便携式电话装置]

图26示意性地示出应用了上述实施例的便携式电话装置的示例结构。便携式电话装置920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像头单元926、图像处理器927、解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器23。操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、摄像头单元926、图像处理器927、解复用器928、记录/再现单元929、显示单元930和控制器931相互连接。

便携式电话装置920以各种操作模式（包括语音呼叫模式、数据通信模式、摄像模式和视频电话模式）执行诸如音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像的捕捉、数据的记录等操作。

在语音呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将该模拟音频信号转换为音频数据，对转换后的音频数据执行A/D变换，并且对音频数据进行压缩。音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成要发送的信号。然后，通信单元922经由天线921将所生成的要发送的信号发送到基站（未示出）。通信单元922还对经由天线921接收到的无线电信号执行放大和频率转换，并且获得接收到的信号。然后，通信单元922对所接收到的信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A变换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出声音。

在数据通信模式下，控制器931例如根据用户经由操作单元932进行的操作来生成要包括在电子邮件中的文本数据。控制器931还在显示单元930上显示文本。控制器931还响应于经由操作单元932来自用户的传输用指令而生成电子邮件，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以生成要发送的信号。然后，通信单元922经由天线921将所生成的要发送的信号发送到基站（未示出）。通信单元922还对经由天线921接收到的无线电信号执行放大和频率转换，并获得接收信号。然后，通信单元922对所接收信号进行解调和解码以恢复电子邮件数据，并将所恢复的电子邮件数据输出到控制器931。控制器931在显示单元930上显示电子邮件的内容，并且将电子邮件数据存储到记录/再现单元929的存储介质中。

记录/再现单元929包括任意可读/可写存储介质。例如，存储介质可以是诸如RAM或闪存的内部存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡的外部安装的存储介质。

在摄像模式下，摄像头单元926通过捕捉对象的图像来生成图像数据，并将所生成的图像数据输出到图像处理器927。图像处理器927对从摄像头单元926输入的图像数据进行编码，并将编码流存储到记录/再现单元929中的存储介质中。

在视频电话模式下，解复用器928对经图像处理器927编码的视频流和从音频编解码器923输入的音频流进行复用，并将复用流输出到例如通信单元922。通信单元922对该流进行编码和调制，以生成要发送的信号。然后，通信单元922经由天线921将所生成的要发送的信号发送到基站（未示出）。通信单元922还对经由天线921接收到的无线电信号执行放大和频率转换，并且获得接收信号。要发送的信号和接收信号可包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复该流，并将所恢复的流输出到解复用器928。解复用器928从输入流中分离出视频流和音频流，并且将视频流输出到图像处理器927并将音频流输出到音频编解码器923。图像处理器927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且一系列图像由显示单元930显示。音频编解码器923对音频流执行解压缩和D/A变换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出声音。

在具有上述结构的便携式电话装置920中，图像处理器927具有根据上述实施例的图像编码装置100（图2）和图像解码装置（图14）的功能。对于要由便携式电话装置920编码和解码的深度图像，针对每个编码单位计算量化值，并且通过使用各个编码单位的量化值来执行正交变换系数量化。以该方式，也可以对深度图像执行更适于内容的量化处理，并且可以生成编码数据以防止解码图像的主观图像质量劣化。此外，通过使用从编码侧提供的用于深度图像的量化参数来针对每个编码单位计算量化值，并接着执行逆量化。因此，也可以对深度图像执行更适于内容的逆量化处理，并且可以防止解码图像的主观图像质量的劣化。

尽管以上描述了便携式电话装置920，但是还可以以与便携式电话装置920的情况相同的方式将根据本技术的图像编码装置和图像解码装置应用于任何装置，只要该装置具有与便携式电话920相同的图像捕捉功能和相同的通信功能。例如，这样的装置可以是PDA（个人数字助理）、智能电话、UMPC（超便携移动个人计算机）、上网本或笔记本式个人计算机。

<7.第七实施例>

[记录/再现装置]

图27示意性地示出应用了上述实施例的记录/再现装置的示例结构。记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码并将编码数据记录在例如记录介质上。记录/再现装置940还可对从另一装置获取的音频数据和视频数据进行编码，并将编码数据记录在例如记录介质上。记录/再现装置940还响应于例如来自用户的指令而用监视器和扬声器再现记录在记录介质上的数据。在这样做时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕显示器）948、控制器949和用户接口950。

调谐器941从经由天线（未示出）接收到的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调所获得的编码比特流输出到选择器946。即，调谐器941用作记录/再现装置940中的传送器。

外部接口942是用于将记录/再现装置940连接到外部装置或网络的接口。外部接口942可以例如是IEEE1394接口、网络接口、USB接口或闪存接口。例如，经由外部接口942接收到的视频数据和音频数据被输入到编码器943。即，外部接口942用作记录/再现装置940中的传送器。

如果从外部接口942输入的视频数据和音频数据未被编码，则编码器943对视频数据和音频数据进行编码。然后，编码器943将编码后的比特流输出到选择器946。

HDD944将通过对诸如视频图像和声音的内容数据进行压缩而形成的编码比特流、各种程序和其它数据记录在内部硬盘上。HDD944还从硬盘读取数据以再现视频和声音。

盘驱动器945将数据记录在其上所安装的记录介质上以及从该记录介质读取数据。例如，安装在盘驱动器945上的记录介质可以是DVD盘（诸如，DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW）或蓝光（注册商标）盘。

为了记录视频和声音，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出到HDD944或盘驱动器945。为了再现视频和声音，选择器946将从HDD944或盘驱动器945输出的编码比特流输出到解码器947。

解码器847对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD948。解码器904还将所生成的音频数据输出到外部扬声器。

OSD948再现从解码器947输入的视频数据并显示视频图像。OSD948还可将诸如菜单、按钮或光标的GUI的图像叠加在要显示的视频上。

控制器949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU要执行的程序、程序数据等。例如当启动记录/再现装置940时，CPU读取并执行存储在存储器中的程序。通过执行程序，CPU例如根据从用户接口950输入的控制信号来控制记录/再现装置940的操作。

用户接口950连接到控制器949。例如，用户接口950包括用户用以操作记录/再现装置940的按钮和开关以及用于接收远程控制信号的接收单元。用户接口950经由这些部件检测用户的操作，生成控制信号，并将所生成的控制信号输出到控制器949。

在具有这样的结构的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置100（图2）的功能。此外，解码器947具有根据上述实施例的图像解码装置200（图14）的功能。对于要由记录/再现装置940编码和解码的深度图像，针对每个编码单位计算量化值，并且通过使用各个编码单位的量化值来执行正交变换系数量化。以该方式，还可以对深度图像执行更适于内容的量化处理，并且可以生成编码数据以防止解码图像的主观图像质量劣化。此外，通过使用从编码侧提供的用于深度图像的量化参数来针对每个编码单位计算量化值，并接着执行逆量化。因此，还可以对深度图像执行更适于内容的量化处理，并且可以防止解码图像的主观图像质量的劣化。

<8.第八实施例>

[成像装置]

图28示意性地示出应用了上述实施例的成像装置的示例结构。成像装置960通过捕捉对象的图像来生成图像，对图像数据进行编码，并且将编码后的图像数据记录在记录介质上。

成像装置960包括光学块961、成像单元962、信号处理器963、图像处理器964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD969、控制器970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理器963。显示单元965连接到图像处理器964。用户接口971连接到控制器970。总线972将图像处理器964、外部接口966、存储器967、介质驱动器968、OSD969和控制器970相互连接。

光学块961包括聚焦透镜、光圈等。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962包括诸如CCD或CMOS的图像传感器，并且通过光电转换将形成在成像面上的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出到信号处理器963。

信号处理器963对从成像单元962输入的图像信号执行诸如拐点校正、伽马校正和颜色校正的各种摄像信号处理。信号处理器963将经过摄像信号处理的图像数据输出到图像处理器964。

图像处理器964对从信号处理器963输入的图像数据进行编码，以生成编码数据。然后，图像处理器964将所生成的编码数据输出到外部接口966或介质驱动器968。图像处理器964还对从外部接口966或介质驱动器968输入的编码数据进行解码，以生成图像数据。然后，图像处理器964将所生成的图像数据输出到显示单元965。图像处理器964可将从信号处理器963输入的图像数据输出到显示单元965以显示图像。图像处理器964还可将从OSD969获取的用于显示的数据叠加到图像上以输出到显示单元965。

例如，OSD969可生成诸如菜单、按钮或光标的GUI的图像，并且将所生成的图像输出到图像处理器964。

外部接口966被设计为例如USB输入/输出端子。外部接口966例如在图像打印时连接成像装置960和打印机。如果需要，则驱动器还连接到外部接口966。诸如磁盘或光盘的可移动介质安装在例如驱动器上，并且从可移动介质读出的程序可以安装到成像装置960中。此外，外部接口966可被设计为连接到诸如LAN或因特网的网络的网络接口。即，外部接口966用作成像装置960中的传送器。

要安装在介质驱动器968上的记录介质可以是任意可读写可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以固定方式安装在介质驱动器968上，以形成诸如内部硬盘驱动器或SSD（固态驱动器）的固定存储单元。

控制器970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储CPU要执行的程序、程序数据等。例如，当启动成像装置960时，CPU读取并执行存储在存储器中的程序。通过执行这些程序，CPU例如根据从用户接口971输入的控制信号来控制成像装置960的操作。

用户接口971连接到控制器970。例如，用户接口971包括用户用以操作成像装置960的按钮和开关。用户接口971经由这些部件检测用户的操作，生成控制信号，并将所生成的控制信号输出到控制器970。

在具有上述结构的成像装置960中，图像处理器964具有根据上述实施例的图像编码装置100（图2）和图像解码装置200（图14）的功能。对于要由成像装置960编码和解码的深度图像，针对每个编码单位计算量化值，并且通过使用各个编码单位的量化值来执行正交变换系数量化。以该方式，还可以对深度图像执行更适于内容的量化处理，并且可以生成编码数据，以防止解码图像的主观图像质量的劣化。此外，通过使用从编码侧提供的用于深度图像的量化参数来针对每个编码单位计算量化值，并接着执行逆量化。因此，还可以对深度图像执行更适于内容的逆量化处理，并且可以防止解码图像的主观图像质量的劣化。

当然，可以在除了上述装置外的任意装置和系统中使用根据本技术的图像编码装置和图像解码装置。

在本说明书中，描述了将量化参数从编码侧传输到解码器的示例情况。通过传输量化矩阵参数的方法，可不将量化矩阵参数与编码比特流进行复用，而是可以将量化矩阵参数作为与编码比特流相关联的独立数据来传输或记录。应注意，术语“关联”意味着在解码时允许将比特流中所包含的图像（其可以是诸如片或块的图像的一部分）与关于图像的信息相链接。即，可经由与用于图像（或比特流）的传输路径不同的传输路径来传输信息。替选地，该信息可记录在除了用于图像（或比特流）的记录介质外的记录介质上（或在同一记录介质的不同区域中）。此外，信息和图像（或比特流）可以诸如部分帧、一帧或一帧的一部分的单位的任意单位彼此相关联。

尽管以上参照附图描述了本公开的优选实施例，但是本公开的范围不限于这些示例。应该理解，本领域的普通技术人员可以在本文中所要求保护的技术精神的范围内进行各种改变或变型，并且自然认为这些改变或变型落入本公开的技术范围内。

本技术还可以为以下形式。

（1）一种图像处理装置，包括：

量化值设置器，其独立于纹理图像来设置深度图像的量化值，所述深度图像与所述纹理图像被复用；

量化器，通过使用由所述量化值设置器设置的所述深度图像的量化值对所述深度图像的系数数据进行量化，来生成量化数据；以及

编码器，通过对所述量化器生成的量化数据进行编码来生成编码流。

（2）根据（1）所述的图像处理装置，其中，

所述量化值设置器针对所述深度图像中的每个预定区域来设置深度图像的量化值。

（3）根据（2）所述的图像处理装置，其中，

所述编码器针对具有层级结构的每个单位执行所述编码。

（4）根据（3）所述的图像处理装置，还包括：

量化参数设置器，其使用由所述量化值设置器设置的所述深度图像的量化值来设置所述深度图像的当前图片的量化参数；以及

传送器，其传输由所述量化参数设置器设置的量化参数和由所述编码器生成的编码流。

（5）根据（3）或（4）所述的图像处理装置，还包括：

差分量化参数设置器，其使用由所述量化值设置器设置的所述深度图像的量化值来设置作为下述差分值的差分量化参数：当前图片的量化参数与当前切片的量化参数之间的差分值；以及

传送器，其传输由所述差分量化参数设置器设置的差分量化参数和由所述编码器生成的编码流。

（6）根据（5）所述的图像处理装置，其中，所述差分量化参数设置器使用由所述量化值设置器计算出的所述深度图像的量化值来设置作为下述差分值的差分量化参数：在当前编码单位之前一个单位被量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值。

（7）根据（1）至（6）中任一项所述的图像处理装置，还包括：

标识信息设置器，其设置用于表示是否已设置所述深度图像的量化参数的标识信息；以及

传送器，其传输由所述标识信息设置器设置的标识信息和由所述编码器生成的编码流。

（8）一种用于图像处理装置的图像处理方法，所述方法包括以下步骤：

独立于纹理图像而设置深度图像的量化值，所述深度图像与所述纹理图像被复用，通过量化值设置器执行所述设置深度图像的量化值的步骤；

通过使用所设置的所述深度图像的量化值对所述深度图像的系数数据执行量化来生成量化数据，通过量化器执行所述生成量化数据的步骤；以及

通过对由所述量化器生成的量化数据执行编码来生成编码流，通过编码器执行所述生成编码流的步骤。

（9）一种图像处理装置，包括：

接收器，其接收独立于纹理图像而设置的深度图像的量化值以及通过对所述深度图像的系数数据进行量化和编码而生成的编码流，所述深度图像与纹理图像被复用；

解码器，其对由所述接收器接收的编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据；以及

逆量化器，其使用由所述接收器接收的深度图像的量化值，来对通过所述解码器获取的量化数据进行逆量化。

（10）根据（9）所述的图像处理装置，其中，

所述接收器接收针对所述深度图像中的每个预定区域设置的、所述深度图像的量化值。

（11）根据（10）所述的图像处理装置，其中，所述解码器对针对具有层级结构的每个单位编码的编码流进行解码，并且

所述区域是编码单位。

（12）根据（11）所述的图像处理装置，其中，

所述接收器接收所述深度图像的量化值作为所述深度图像的当前图片的量化参数，所述当前图片的量化参数是通过使用所述深度图像的量化值来设置的，

所述图像处理装置还包括量化值设置器，所述量化值设置器使用由所述接收器接收的所述深度图像的当前图片的量化参数，来设置所述深度图像的量化值，并且

所述逆量化器使用由所述量化值设置器设置的所述深度图像的量化值，来对由所述解码器获取的量化数据进行逆量化。

（13）根据（11）或（12）所述的图像处理装置，其中，

所述接收器接收所述深度图像的量化值作为是下述差分值的差分量化参数：当前图片的量化参数与当前切片的量化参数之间的差分值，所述当前图片和所述当前切片的量化参数是通过使用所述深度图像的量化值来设置的，

所述图像处理装置还包括量化值设置器，所述量化值设置器使用由所述接收器接收的差分量化参数，来设置所述深度图像的量化值，并且

（14）根据（13）所述的图像处理装置，其中，所述接收器接收所述深度图像的量化值作为是如下差分的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值，所述量化参数是通过使用所述深度图像的量化值来设置的。

（15）根据（9）至（14）中任一项所述的图像处理装置，其中，

所述接收器还接收用于表示是否已设置所述深度图像的量化参数的标识信息，并且

所述逆量化器仅当所述标识信息表示已设置所述深度图像的量化参数时才对所述深度图像的系数数据进行逆量化。

（16）一种用于图像处理装置的图像处理方法，所述方法包括如下步骤：

接收独立于纹理图像而设置的深度图像的量化值以及通过对所述深度图像的系数数据进行量化和编码而生成的编码流，所述深度图像与所述纹理图像被复用，通过接收器执行所述接收所述深度图像的量化值和编码流的步骤；

对所接收的编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据，通过解码器执行所述对所接收的编码流进行解码的步骤；以及

通过使用所接收的所述深度图像的量化值来对所获取的量化数据进行逆量化，通过逆量化器执行所述对所获取的量化数据进行逆量化的步骤。

附图标记列表

100 图像编码装置

105 量化器

108 逆量化器

131 成分分离器

132 成分分离器

133 辉度量化器

134 色差量化器

135 深度量化器

136 成分合成器

151 编码单位量化值计算器

152 图片量化参数计算器

153 片量化参数计算器

154 编码单位量化参数计算器

155 编码单位量化处理器

200 图像解码装置

203 逆量化器

231 成分分离器

232 辉度逆量化器

233 色差逆量化器

234 深度逆量化器

235 成分合成器

251 量化参数缓冲器

252 正交变换系数缓冲器

253 编码单位量化值计算器

254 编码单位逆量化处理器

权利要求书(按照条约第19条的修改)

1.（修改）一种图像处理装置，包括：

量化值设置器，其被配置为独立于纹理图像而设置深度图像的量化值，所述量化值是针对具有转变为成分的所述纹理图像和所述深度图像的图像而设置的，所述纹理图像包含辉度成分和色差成分，所述深度图像包含深度成分；

量化器，其被配置为通过使用由所述量化值设置器设置的所述深度图像的量化值对所述深度图像的系数数据进行量化，来生成量化数据；以及

编码器，其被配置为通过对由所述量化器生成的量化数据进行编码，来生成编码流。

2.根据权利要求1所述的图像处理装置，其中，

所述量化值设置器针对所述深度图像中的每个预定区域来设置所述深度图像的量化值。

3.根据权利要求2所述的图像处理装置，其中，

所述编码器针对具有层级结构的每个单位执行所述编码，以及

所述区域为编码单位。

4.根据权利要求3所述的图像处理装置，还包括：

量化参数设置器，其被配置为使用由所述量化值设置器设置的所述深度图像的量化值来设置所述深度图像的当前图片的量化参数；以及

传送器，其被配置为发送由所述量化参数设置器设置的所述量化参数和由所述编码器生成的所述编码流。

5.根据权利要求3所述的图像处理装置，还包括：

差分量化参数设置器，其被配置为使用由所述量化值设置器设置的所述深度图像的量化值来设置作为下述差分值的差分量化参数：当前图片的量化参数与当前切片的量化参数之间的差分值；以及

传送器，其被配置为发送由所述差分量化参数设置器设置的所述差分量化参数和由所述编码器生成的所述编码流。

6.根据权利要求5所述的图像处理装置，其中，所述差分量化参数设置器使用由所述量化值设置器计算出的所述深度图像的量化值来设置作为下述差分值的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值。

7.根据权利要求1所述的图像处理装置，还包括：

标识信息设置器，其被配置为设置用于表示是否已设置所述深度图像的量化参数的标识信息；以及

传送器，其被配置为发送由所述标识信息设置器设置的所述标识信息和由所述编码器生成的所述编码流。

8.（修改）根据权利要求1所述的图像处理装置，还包括：

格式转换器，其被配置为将所述纹理图像和所述深度图像转变为成分，所述纹理图像包含辉度成分和色差成分，所述深度图像包含深度成分。

9.（修改）根据权利要求8所述的图像处理装置，其中，所述格式转换器通过减小所述深度图像的分辨率来将所述纹理图像和所述深度图像转变为所述成分。

10.（修改）一种用于图像处理装置的图像处理方法，所述方法包括以下步骤：

独立于纹理图像来设置深度图像的量化值，所述量化值是针对具有转变为成分的所述纹理图像和所述深度图像的图像而设置的，所述纹理图像包含辉度成分和色差成分，所述深度图像包含深度成分，通过量化值设置器执行所述设置量化值的步骤；

通过使用所设置的所述深度图像的量化值对所述深度图像的系数数据进行量化，来生成量化数据，通过量化器执行所述生成量化数据的步骤；以及

通过对由所述量化器生成的量化数据进行编码来生成编码流，通过编码器执行所述生成编码流的步骤。

11.（修改）一种图像处理装置，包括：

接收器，其被配置为接收独立于纹理图像而设置的深度图像的量化值以及通过对具有转变为成分的所述纹理图像和所述深度图像的图像的系数数据进行量化和编码而生成的编码流，所述量化值是针对所述图像而设置的，所述纹理图像包含辉度成分和色差成分，所述深度图像包含深度成分；

解码器，其被配置为对由所述接收器所接收的所述编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据；以及

逆量化器，其被配置为使用由所述接收器所接收的所述深度图像的量化值，来对通过所述解码器所获取的所述量化数据进行逆量化。

12.（修改）根据权利要求11所述的图像处理装置，其中，所述接收器接收所述深度图像的量化值，所述量化值是在所述深度图像中的每个预定区域中所设置的。

13.（修改）根据权利要求12所述的图像处理装置，其中，

所述解码器对针对具有层级结构的每个单位编码的编码流进行解码，并且

所述区域是编码单位。

14.（修改）根据权利要求13所述的图像处理装置，其中，

所述图像处理装置还包括量化值设置器，所述量化值设置器被配置为使用由所述接收器所接收的所述深度图像的当前图片的量化参数来设置所述深度图像的量化值，并且

所述逆量化器使用由所述量化值设置器设置的所述深度图像的量化值来对通过所述解码器所获取的所述量化数据进行逆量化。

15.（修改）根据权利要求13所述的图像处理装置，其中，

所述图像处理装置还包括量化值设置器，所述量化值设置器被配置为使用由所述接收器所接收的所述差分量化参数来设置所述深度图像的量化值，并且

所述逆量化器使用由所述量化值设置器设置的所述深度图像的量化值，来对通过所述解码器所获取的所述量化数据进行逆量化。

16.（修改）根据权利要求15所述的图像处理装置，其中，所述接收器接收所述深度图像的量化值作为是下述差分值的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值，所述量化参数是通过使用所述深度图像的量化值来设置的。

17.（添加）根据权利要求11所述的图像处理装置，其中，

18.（添加）根据权利要求11所述的图像处理装置，其中，

所述解码器对所述编码流进行解码，以生成通过对所述纹理图像的系数数据进行量化而生成的量化数据，

所述逆量化器使用所述纹理图像的量化值对由所述解码器生成的量化数据进行逆量化，并且

所述图像处理装置还包括逆格式转换器，所述逆格式转换器被配置为将所述深度图像与通过由所述逆量化器执行的逆量化而获取的纹理图像分离。

19.（添加）根据权利要求18所述的图像处理装置，其中，所述深度图像的分辨率减小，且所述深度图像与所述纹理图像一起被转变为成分。

20.（添加）一种用于图像处理装置的图像处理方法，所述方法包括如下步骤：

接收独立于纹理图像而设置的深度图像的量化值以及通过对具有被转变为成分的所述纹理图像和所述深度图像的图像的系数数据进行量化和编码而生成的编码流，所述量化值是针对所述图像而设置的，所述纹理图像包含辉度成分和色差成分，通过接收器执行所述接收量化值和编码流的步骤；

对接收到的所述编码流进行解码，以获取通过对所述深度图像的系数数据进行量化而生成的量化数据，通过解码器执行所述对接收到的编码流进行解码的步骤；以及

使用接收到的所述深度图像的量化值来对所获取的所述量化数据进行逆量化，通过逆量化器执行所述对所获取的量化数据进行逆量化的步骤。

Claims

1.一种图像处理装置，包括：

量化值设置器，其被配置为独立于纹理图像而设置深度图像的量化值，所述深度图像与所述纹理图像被复用；

2.根据权利要求1所述的图像处理装置，其中，

3.根据权利要求2所述的图像处理装置，其中，

所述区域为编码单位。

4.根据权利要求3所述的图像处理装置，还包括：

5.根据权利要求3所述的图像处理装置，还包括：

7.根据权利要求1所述的图像处理装置，还包括：

8.一种用于图像处理装置的图像处理方法，所述方法包括以下步骤：

独立于纹理图像来设置深度图像的量化值，所述深度图像与所述纹理图像被复用，通过量化值设置器执行所述设置深度图像的量化值的步骤；

9.一种图像处理装置，包括：

接收器，其被配置为接收独立于纹理图像而设置的深度图像的量化值以及通过对所述深度图像的系数数据进行量化和编码而生成的编码流，所述深度图像与纹理图像被复用；

10.根据权利要求9所述的图像处理装置，其中，所述接收器接收针对所述深度图像中的每个预定区域设置的所述深度图像的量化值。

11.根据权利要求10所述的图像处理装置，其中，所述解码器对针对具有层级结构的每个单位编码的编码流进行解码，并且

所述区域是编码单位。

12.根据权利要求11所述的图像处理装置，其中，

13.根据权利要求11所述的图像处理装置，其中，

14.根据权利要求13所述的图像处理装置，其中，所述接收器接收所述深度图像的量化值作为是下述差分值的差分量化参数：在当前编码单位之前一个单位量化的编码单位的量化参数与所述当前编码单位的量化参数之间的差分值，所述量化参数是通过使用所述深度图像的量化值来设置的。

15.根据权利要求9所述的图像处理装置，其中，

16.一种用于图像处理装置的图像处理方法，所述方法包括以下步骤：