CN109661818A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

为了提供可进一步减小与参数相关的传输的量的图像处理设备、图像处理方法和程序。一种图像处理设备，包含：逆量化控制部，基于预测区块信息或经量化系数而控制逆量化。

Description

图像处理设备、图像处理方法和程序

技术领域

本公开涉及图像处理设备、图像处理方法和程序。

背景技术

在与图像编码相关的技术中，各种编码参数从编码器(图像编码设备)传输到解码器(图像解码设备)。例如，如非专利文献1所述，在所传输编码参数中，可作为与量化相关的参数而包含量化参数QP以及用于针对每一区块而调整量化参数QP的差分量化参数dQP。

引用文献列表

非专利文献

非专利文献1：2011年7月14到22日，意大利，都灵，ITU-T SG16 WP3和ISO/IECJTC1/SC29/WG11，视频编码联合协作组(JCT-VC)，第6次会议，K.Sato、M.Budagavi、M.Coban、H.Aoki、X.Li“CE4：关于量化的核心研究的总结报告(CE4:Summary report ofCore Experiment on quantization)”，JCTVC-F024

发明内容

技术问题

然而，如果针对所有区块而传输差分量化参数dQP，那么从编码器到解码器的传输的量可增大。

因此，需要使与参数相关的传输的量能够进一步减小的机构。

问题的解决方案

根据本公开，提供一种图像处理设备，包含：逆量化控制部，基于预测区块信息或经量化系数而控制逆量化。

此外，根据本公开，提供一种图像处理方法，包含通过处理器：基于预测区块信息或经量化系数而控制逆量化。

此外，根据本公开，提供一种使计算机执行以下功能的程序：基于预测区块信息或经量化系数而控制逆量化。

本发明的有利效果

根据如上所述的本公开，可以进一步减小与参数相关的传输的量。

应注意，上文所述的效果未必是限制性的。与上述效果一起或替代上述效果，可实现本说明书所述的效果中的任一个或可从本说明书领会的其它效果。

附图说明

图1是图示根据经编码区块的特性的量化控制的实例的说明图。

图2是图示根据经编码区块的特性的量化控制的实例的说明图。

图3是图示图像编码设备10的配置的一个实例的框图，其中图像编码设备10是根据本公开的一个实施例的图像处理设备的一个方面。

图4是图示根据实施例的量化部15的详细配置的一个实例的框图。

图5是图示根据实施例在编码期间的过程的流程的一个实例的流程图。

图6是图示图5所图示的步骤S130的详细流程的流程图。

图7是图示图5所图示的步骤S140的详细流程的流程图。

图8是图示图像解码设备60的配置的一个实例的框图，其中图像解码设备60是根据实施例的图像处理设备的一个方面。

图9是图示根据实施例的逆量化部63的详细配置的一个实例的框图。

图10是图示根据实施例在解码期间的过程的流程的一个实例的流程图。

图11是图示图10所图示的步骤S240的详细流程的流程图。

图12是图示计算机的主要配置实例的框图。

图13是图示电视设备的示意性配置的实例的框图。

图14是图示移动电话的示意性配置的实例的框图。

图15是图示记录/再现设备的示意性配置的实例的框图。

图16是图示成像设备的示意性配置的实例的框图。

图17是图示视频机的示意性配置的一个实例的框图。

图18是图示视频处理器的示意性配置的一个实例的框图。

图19是图示视频处理器的示意性配置的另一实例的框图。

图20是图示网络系统的示意性配置的一个实例的框图。

具体实施方式

下文中，将参照附图来详细地描述本公开的优选实施例。应注意，在本说明书和附图中，以相同附图标记来表示具有实质上相同的功能和结构的结构元件，并且省去这些结构元件的重复解释。

下文中，将按以下次序进行描述。

1.概述

2.图像编码设备的配置

3.编码时的过程的流程

4.图像解码设备的配置

5.解码时的过程的流程

6.示范性硬件配置

7.应用实例

8.总结

<1.概述>

[1-1.背景]

为了描述本公开的一个实施例，首先，将参照附图来描述导致本公开的一个实施例的产生的背景。

在图像编码中，预期根据经编码区块(例如，在HEVC中，编码单元(CU))的特性来控制量化。图1和图2是图示根据经编码区块的特性的量化控制的实例的说明图。

图1和图2中的曲线图G12和G22图示经编码区块中的差分值的实例。并且，图1和图2中的曲线图G14和G24图示通过执行正交变换(例如，DCT)而获得的变换系数值的实例，其中正交变换将根据曲线图G12和G22中的每一个的残余图像变换为频域。

例如，如图1的曲线图G12所图示，在差分值的动态范围窄(最小值与最大值之间的差小)且平的状况下，如曲线图G14所图示，例如，通过减小变换系数的低范围中的量化步长R1，有效编码变得有可能。

另一方面，如图2的曲线图G22所图示，在差分值的动态范围宽(最小值与最大值之间的差大)且方差值也高的状况下，如曲线图G14所图示，例如，通过增大变换系数的低范围中的量化步长R2，比特的数量的增大可受到抑制。

如上所述，希望根据经编码区块的特性来控制与量化相关的参数。上文所述的量化步长的规格是一个实例，并且量化参数可根据经编码区块的各种特性来控制。

如上所述在编码期间规定的与量化相关的参数可从编码器(图像编码设备)传输到解码器(图像解码设备)。例如，对应于量化步长的量化参数QP以及用于针对每一区块而调整量化参数QP的差分量化参数dQP可从编码器传输到解码器。然而，如果针对所有区块而传输差分量化参数dQP，那么从编码器到解码器的传输的量可增大。

因此，着重于导致本实施例的产生的上述情形。根据本实施例，通过根据经编码区块的特性在解码器侧上控制逆量化，可以减小从编码器到解码器的传输的量。根据本实施例的图像编码设备和图像解码设备从经编码区块检测特征量，并执行对应于特征量的量化控制和逆量化控制。下文中，将连续描述根据本实施例的特征量提取过程和(逆)量化控制过程(量化控制过程和逆量化控制过程)。

[1-2.特征量检测过程]

在下文中，将根据本实施例关于特征量检测过程而描述五个实例。应注意，通过下文所述的第一特征量检测过程到第五特征量检测过程而获得的特征量将分别被称为特征量A1到A5。

(1)第一特征量检测过程

第一特征量检测过程是获取指示所预测图像中的动态范围的特征量A1的过程。例如，可通过下文所述的第一特征量检测过程而获取特征量A1。

首先，关于CU内的每一预测单元(PU)，如下式(1)而获取与PU相关的特征量A1'。

A1'＝Max{P(x,y)}-Min{P(x,y)}...(1)

应注意，在式(1)中，P(x,y)是位置(x,y)处的所预测像素值。并且，Max{P(x,y)}和Min{P(x,y)}分别表示PU内的所预测像素值的最大值和最小值。

针对CU中所包含的每一PU，如下式(1)而获取指示所预测图像中的动态范围的特征量A1'，并且作为CU的特征量A1而获取CU中的最大特征量A1'。

(2)第二特征量检测过程

第二特征量检测过程是获取指示所预测图像中的方差的特征量A2的过程。例如，可通过下文所述的第二特征量检测过程而获取特征量A2。

首先，关于CU内的每一PU，如下式(2)而获取与PU相关的特征量A2'。

A2'＝Σ{(P(x,y)}-Average{P(x,y)})^2}...(2)

应注意，在式(2)中，Average{P(x,y)}表示PU内的所预测像素值的平均值。并且，Σ{}表示针对PU内的位置(x,y)对{}内的值求和的过程。

针对CU中所包含的每一PU，如下式(2)而获取指示所预测图像中的方差的特征量A2'，并且作为CU的特征量A2而获取CU中的最大特征量A2'。

(3)第三特征量检测过程

第三特征量检测过程是获取指示经量化系数(通过将变换系数量化而获得的系数)中的最高阶系数的位置的特征量A3的过程。例如，可通过下文所述的第三特征量检测过程而获取特征量A3。

首先，关于CU内的每一变换单元(PU)，如下表1所示的伪码而获取与TU相关的特征量A3'。

[表1]

表1用于计算特征量A3'的伪码的实例

应注意，在表1中，TU_width和TU_height分别指示TU的宽度和高度。并且，在表1中，TU[i][j]指示位置(i,j)处的经量化系数值。

针对CU中所包含的每一TU，根据表1所示的过程而获取指示最高阶系数的位置的特征量A3'，并且作为CU的特征量A3而获取CU中的最大特征量A3'。

(4)第四特征量检测过程

第四特征量检测过程是获取指示经量化系数中的系数分布密度的特征量A4的过程。例如，可通过下文所述的第四特征量检测过程而获取特征量A4。

首先，关于CU内的每一变换单元(PU)，如下表2所示的伪码而获取与TU相关的特征量A4'。

[表2]

表2用于计算特征量A4'的伪码的实例

针对CU中所包含的每一TU，根据表2所示的过程而获取指示系数分布密度的特征量A4'，并且作为CU的特征量A4而获取CU中的最大特征量A4'。

(5)第五特征量检测过程

第五特征量检测过程是获取指示稍后所述的PU信息(预测区块信息)中所包含的预测模式的特征量A5的过程。例如，可通过下文所述的第五特征量检测过程而获取特征量A5。

首先，关于CU内的每一PU，获取指示与PU相关的预测模式是否是帧内预测模式的特征量A5'。例如，在与PU相关的预测模式是帧内预测模式的状况下，A5'可以是1，而在与PU相关的预测模式并非帧内预测模式的状况下，A5'可以是2。

在针对CU中所包含的每一TU而获取指示与PU相关的预测模式是否是帧内预测模式的特征量A5'之后，作为指示CU的预测模式的特征量A5而获取CU中的特征量A5'的平均值。

上文描述根据本实施例的特征量检测过程的实例。应注意，根据本实施例的特征量检测过程不限于上文所述，并且特征量也可通过除上文所述之外的方法而获取。接着，将描述基于如上所述而获取的特征量的(逆)量化控制过程。

[1-3.(逆)量化控制过程]

在下文中，将根据本实施例关于(逆)量化控制过程而描述三个实例。

(1)第一(逆)量化控制过程

在第一(逆)量化控制过程中，通过基于与CU(编码区块)相关的特征量而规定用于CU的(逆)量化中的量化参数来控制(逆)量化。应注意，在下文中，充当参考的参考量化参数被指定为QP，而用于CU的(逆)量化中的CU的量化参数被指定为QP'。应注意，参考量化参数QP可以是以图片为单位的量化参数或以切片为单位的量化参数。例如，在以切片为单位的量化参数用作参考量化参数QP的状况下，从以图片为单位的量化参数以及用于以切片为单位的量化参数的调整值决定以切片为单位的量化参数。在此状况下，以图片为单位的量化参数以及用于以切片为单位的量化参数的调整值从编码器(图像编码设备)传输到解码器(图像解码设备)。

并且，第一(逆)量化控制过程能够将上文所述的特征量A1到A5单独地使用或组合地使用为特征量。在下文中，用于第一(逆)量化控制过程中的特征量被指定为特征量Ax，但特征量Ax可以是上文所述的特征量A1到A5中的任一个，或通过以多个组合上文所述的特征量A1到A5而规定的特征量。

[表3]

表3用于计算量化参数QP'的伪码的实例

应注意，在表3中，TH_Ax是关于特征量Ax的阈值。并且，Sign是正值或负值。并且，D是量化参数的控制宽度，以使得随着控制宽度D变小(随着负值的绝对值变大)，图像质量提高效果大，而在D大的状况下，比特减少效果高。

并且，在表3中，Clip3(min,max,X)表示通过将第三自变量X取整为第一自变量min或更大以及第二自变量max或更小而获得的值。并且，f(a,b,c)是用于如下式(3)根据第三自变量(在表3的实例中，Sign)的正负号来确定量值确定的结果的函数。

f(a,b,c)＝c>0？a<b:a>b...(3)

上文所述的TH_Ax、Sign和D例如可以是预定义值，或可以是由编码器(图像编码设备)以图片为单位而动态地控制且在比特流中传输的值。在下文中，将描述在特征量A1到A5用于第一(逆)量化控制过程的状况下的阈值的实例。

例如，关于特征量A1的阈值TH_A1是满足下式(4)的阈值。

0<TH_A1<((1<<BitDepth)-1)...(4)

应注意，在式(4)中，BitDepth表示经编码图像的比特深度。例如，在8比特图像的状况下，式(4)变为下式(5)。

0<TH_A1<255...(5)

例如，在检测到平坦部分或分级区域的状况下，希望将TH_A1设定为小值(与比特深度相比，约1/20到1/10的值)，并设定Sign>0。例如，在预期到关于平坦部分的提高的图像质量的效果的状况下，每一参数可被设定成使得TH_A1＝16并且Sign>0并且D＝-6等。

并且，在关于特征量A2的阈值TH_A2小(例如，小于大致上对比特深度的1/20到1/10求平方的值的状况)并且Sign>0的状况下，平坦部分或分级区域的检测变得可能。例如，在预期到关于平坦部分的提高的图像质量的效果的状况下，每一参数可被设定成使得TH_A2＝64并且Sign>0并且D＝-6等。

另一方面，在关于特征量A2的阈值TH_A2大(例如，大于大致上对比特深度的1/4到1/2求平方的值的状况)并且Sign<0的状况下，纹理化部分的检测变得可能。例如，在预期到针对纹理化部分抑制比特的数量的效果的状况下，每一参数可被设定成使得TH_A2＝4096并且Sign<0并且D＝+6等。

并且，在关于特征量A3的阈值TH_A3小(例如，约0.25或更小)并且Sign>0的状况下，平坦部分或分级区域的检测成为可能。另一方面，在关于特征量A3的阈值TH_A3大(例如，约0.75或更大)并且Sign<0的状况下，纹理化部分的检测成为可能。

并且，在关于特征量A4的阈值TH_A4小(例如，约0.25或更小)并且Sign>0的状况下，平坦部分或分级区域的检测成为可能。另一方面，在关于特征量A4的阈值TH_A4大(例如，约0.75或更大)并且Sign<0的状况下，纹理化部分的检测成为可能。

此外，例如，通过将关于特征量A5的阈值TH_A5设定为指示预测模式是否是帧内预测模式的值(1或2)中的中值并且通过设定Sign>0，遮挡区域的检测成为可能。例如，在预期到关于遮挡区域的提高的图像质量的效果的状况下，每一参数可被设定成使得TH_A2＝1.5并且Sign>0并且D＝-6等。另一方面，在预期到针对遮挡区域抑制比特的数量的效果的状况下，每一参数可被设定成使得TH_A2＝1.5并且Sign>0并且D＝+6等。

(2)第二(逆)量化控制过程

在第二(逆)量化控制过程中，通过基于与CU(编码区块)相关的特征量而规定用于CU中的直流分量(DC分量)的(逆)量化中的量化参数来控制(逆)量化。

并且，第二(逆)量化控制过程能够例如将上文所述的特征量A1和A2单独地使用或组合地使用为特征量。应注意，在下文中，参考量化参数被指定为QP，而用于CU中的DC分量(直流分量)的(逆)量化中的量化参数被指定为QP'。

例如，可类似于参照表3所述的第一(逆)量化控制过程而获取用于CU中的DC分量的(逆)量化中的量化参数QP'。此外，例如，在第二(逆)量化控制过程中，可使用量化参数QP'而仅将CU的DC分量量化，而可使用参考量化参数QP而将CU的非DC分量量化。

并且，在第二(逆)量化控制过程中，可类似于第一(逆)量化控制过程而设定关于特征量A1和A2中的每一个的阈值TH_A1和TH_A2、Sign和控制宽度D，并且可获得类似于第一(逆)量化控制过程的效果。

(3)第三(逆)量化控制过程

在第三(逆)量化控制过程中，通过基于与CU(编码区块)相关的特征量而规定用于CU中的预定频率分量的(逆)量化中的量化参数来控制(逆)量化。

并且，第三(逆)量化控制过程能够例如将上文所述的特征量A3和A4单独地使用或组合地使用为特征量。应注意，在下文中，参考量化参数被指定为QP，而用于CU中的预定频率分量的(逆)量化中的量化参数被指定为QP'。

例如，可类似于参照表3所述的第一(逆)量化控制过程而获取用于CU中的预定频率分量的(逆)量化中的量化参数QP'。此外，例如，在第三(逆)量化控制过程中，可使用量化参数QP'而仅将CU的预定频率分量量化，而可使用参考量化参数QP而将CU的除预定频率分量之外的分量量化。

预定频率分量例如可以是水平方向上的信号、垂直方向上的信号等。例如，通过仅将与水平方向或垂直方向上的信号相关的量化参数设定为小值，可以保护水平方向或垂直方向上的周期性图案。在此状况下，例如，在此状况下，可将关于特征量A3的阈值TH_A3以及关于特征量A4的阈值TH_A4设定为大值(例如，约0.75或更大)并且可设定Sign<0、D＝-6等。

上文描述根据本实施例的(逆)量化控制过程。应注意，在上文中，描述从每一特征量计算CU的量化参数QP'的过程，而不在量化控制与逆量化控制之间区分，但从特征量A3和特征量A4计算量化参数QP的过程可在编码过程中的量化控制与解码过程中的逆量化控制之间不同。这是因为虽然特征量A3和特征量A4是基于如上所述的经量化系数而规定的值，但编码过程中的经量化系数是在使用量化参数QP'进行量化之后获得的系数。

出于此原因，在基于特征量A3和特征量A4而计算量化参数的状况下，解码过程中的逆量化控制过程如上所述，但对于编码过程中的量化控制来说，执行部分不同于上文所述的过程的过程。在量化控制中，稍后将描述基于特征量A3和特征量A4而规定量化参数的过程。

上文描述本实施例的概述。接着，将描述根据本实施例的配置和过程流程。

<2.图像编码设备的配置>

[2-1.整体配置]

图3是图示图像编码设备10的配置的一个实例的框图，其中图像编码设备10是根据本实施例的图像处理设备的一个方面。参照图3，图像编码设备10具备重排序缓冲器11、控制部12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、逆量化部21、逆正交变换部22、加法部23、去区块滤波器24、SAO滤波器25、帧存储器26、交换器27、模式设定部28、帧内预测部30和帧间预测部40。

重排序缓冲器11根据编码过程根据图片组(GOP)结构而对将编码的视频中所包含的一系列图像的图像数据重排序。重排序缓冲器11将经重排序图像数据输出到控制部12、减法部13、帧内预测部30和帧间预测部40。

控制部12例如基于率失真优化(RDO)而决定将供应到每一部的控制参数。所决定控制参数被供应到每一区块。

例如，由控制部12决定的控制参数可包含指示应如何设定HEVC的编码树单元(CTU)、编码单元(CU)、变换单元(TU)、预测单元(PU)等的区块信息。

并且，由控制部12决定的控制参数可包含以图片为单位的量化参数以及用于以切片为单位的量化参数的调整值。此外，由控制部12决定的控制参数可包含指示从上文所述的特征量A1到A5中使用哪一特征量的信息，以及指示从上文所述的三个(逆)量化控制过程中执行哪一控制过程的信息。控制部12例如也可根据从由上文所述的特征量和控制过程的组合获得的效果中预期哪一效果而决定特征量和控制过程的组合。

应注意，由控制部12决定的控制参数可以是任何参数，并且可包含不限于上文所述的信息的各种信息。

减法部13计算预测误差数据(其为从重排序缓冲器11输入的图像数据与所预测图像数据之间的差)，并且将所计算预测误差数据(残余信号)输出到正交变换部14。

正交变换部14针对每一区域内设定的一个或更多个变换区块(TU)中的每一个而执行正交变换过程。此时，正交变换例如可以是离散余弦变换、离散正弦变换等。更具体来说，正交变换部14针对每一变换区块而将从减法部13输入的预测误差数据从空间域中的图像信号变换为频域中的变换系数。随后，正交变换部14将变换系数输出到量化部15。

量化部15被供应从正交变换部14输入的变换系数以及来自稍后所述的模式设定部28的所预测图像数据和PU信息。量化部15使用由上文所述的量化控制规定的量化参数而将变换系数量化。量化部15将通过将变换系数以及与量化的控制相关的量化控制信息量化而获得的经量化系数输出到无损编码部16和逆量化部21。应注意，稍后将进一步描述量化部15的更详细配置。

无损编码部16通过将从量化部15输入的经量化系数编码而产生经编码流。并且，无损编码部16将由解码器参考的各种编码参数编码，并将经编码编码参数插入到经编码流中。由无损编码部16编码的编码参数可包含由上文所述的控制部12决定的控制参数、从模式设定部28输入的PU信息、与帧内预测相关的信息以及与帧间预测相关的信息。无损编码部16将所产生的经编码流输出到累积缓冲器17。

累积缓冲器17使用例如半导体存储器等存储介质以暂时缓冲从无损编码部16输入的经编码流。随后，累积缓冲器17以根据传输信道的带宽的速率将所缓冲的经编码流输出到未图示的传输部(例如，通信接口或与周边设备连接的连接接口)。

逆量化部21、逆正交变换部22和加法部23形成本地解码器。本地解码器具有从经编码的数据重构造原始图像的作用。

逆量化部21用与量化部15所用相同的量化参数而将经量化系数逆量化，并复原变换系数数据。随后，逆量化部21将所复原变换系数数据输出到逆正交变换部22。

加法部23将从逆正交变换部22输入的所复原预测误差数据与从帧内预测部30或帧间预测部40输入的所预测图像数据相加以因此产生经解码图像数据(经重构造图像)。接着，加法部23将所产生的经解码图像数据输出到去区块滤波器24和帧存储器26。

去区块滤波器24与SAO滤波器25两者是用于提高经重构造图像的图像质量的环路滤波器。去区块滤波器24通过对从加法部23输入的经解码图像数据滤波而移除区块失真，并将经滤波的经解码图像数据输出到SAO滤波器25。SAO滤波器25通过将边缘偏移过程或带偏移过程应用到从去区块滤波器24输入的经解码图像数据而移除噪声，并将经处理的经解码图像数据输出到帧存储器26。

帧存储器26将从加法部23输入的未经滤波的经解码图像数据以及从SAO滤波器25输入的已被应用环路滤波的经解码图像数据存储在存储介质中。

交换器27从帧存储器26读出将用于帧内预测的未经滤波的经解码图像数据，并将所读取的经解码图像数据作为参考图像数据供应到帧内预测部30。此外，交换器27从帧存储器26读出将用于帧间预测的经滤波的经解码图像数据，并将所读取的经解码图像数据作为参考图像数据供应到帧间预测部40。

模式设定部28基于从帧内预测部30和帧间预测部40输入的成本的比较针对每一区块而设定预测模式(预测编码模式)。针对设定帧内预测模式的区块，模式设定部28将由帧内预测部30产生的所预测图像数据输出到减法部13。并且，针对设定帧间预测模式的区块，模式设定部28将由帧间预测部40产生的所预测图像数据输出到减法部13。

此外，模式设定部28将所预测图像数据以及与所预测图像的产生相关的PU信息(预测区块信息)输出到量化部15和无损编码部16。PU信息例如包含与PU(预测区块)的设定相关的信息、指示预测模式的信息以及与帧内预测/帧间预测相关的信息。

帧内预测部30基于原始图像数据和经解码图像数据针对HEVC中的PU中的每一个而执行帧内预测过程。例如，帧内预测部30基于预测误差以及将针对搜索范围内的预测模式候选者中的每一个而产生的代码的量而评估成本。接着，帧内预测部30选择将成本最小化的预测模式作为最佳预测模式。此外，帧内预测部30根据所选择的最佳预测模式而产生所预测图像数据。接着，帧内预测部30将包含指示最佳预测模式的预测模式信息的关于帧内预测的信息、对应成本以及所预测图像数据输出到模式设定部28。

帧间预测部40基于原始图像数据和经解码图像数据针对HEVC的每一PU而执行帧间预测过程(运动补偿)。例如，帧间预测部40基于预测误差以及由HEVC规定的搜索范围中所包含的每一预测模式候选者的产生代码速率而评估成本。接着，帧间预测部40选择产生最小成本的预测模式，或换句话说，产生最高压缩比的预测模式，而作为最佳预测模式。此外，帧间预测部40根据所选择的最佳预测模式而产生所预测图像数据。随后，帧间预测部40将与帧间预测相关的信息、对应成本和所预测图像数据输出到模式设定部28。

[2-2.量化部]

图4是图示图3所图示的量化部15的详细配置的一个实例的框图。参照图4，量化部15包含特征量检测部151、量化控制部152和量化操作部153。

特征量检测部151基于所预测图像数据中所包含的所预测图像以及由模式设定部28提供的PU信息而执行第一特征量检测过程到第五特征量检测过程，并获取上文所述的特征量A1到A5。特征量检测部151例如也可通过基于由控制部12决定的控制参数来确定获取哪些特征量而获取特征量。

量化控制部152基于由特征量检测部151获取的特征量而控制量化。量化控制部152也可通过从上文所述的第一量化控制过程、第二量化控制过程和第三量化控制过程中执行量化控制过程中的一个而规定量化参数并控制由量化操作部153进行的量化。此外，量化控制部152将包含规定量化参数的量化控制信息输出到量化操作部153、无损编码部16和逆量化部21。

应注意，如上所述，在基于特征量A3和特征量A4而计算量化参数的状况下，量化控制部152执行部分不同于上文所述的过程的过程。下文中，将描述量化控制部152基于特征量A3和特征量A4而规定量化参数的状况下的过程。应注意，在下文中，将基于特征量A3根据第一量化过程来规定将用于每一CU的量化中的量化参数的实例作为实例来描述。

在此实例中，在图像解码过程中，量化控制部152搜索可借以从参考量化参数QP和经量化系数恢复将用于CU的量化中的量化参数QP'的量化参数。

首先，量化控制部152基于参考量化参数QP而在预定搜索范围中移动临时量化参数q，并将临时量化参数q输出到量化操作部153。此时，例如，预定搜索范围可以是QP-α<q<QP+α(其中α是大于0的给定值)。

将由使用变换系数而将变换系数量化的量化操作部153获得的经量化系数输入到特征量检测部151中，并经由由特征量检测部151进行的第三特征量检测过程，获得对应于临时量化参数q的特征量A3。

量化控制部152使用对应于临时量化参数q的特征量A3以根据参照表3所述的方法而计算对应于临时量化参数q的量化参数QP'。在对应于临时量化参数q的量化参数QP'以及临时量化参数q的值匹配的状况下，对量化参数的搜索中断。并且，量化控制部152导致量化操作部153将使用临时量化参数q而量化的经量化系数(＝对应于临时量化参数q的量化参数QP')输出到无损编码部16和逆量化部21。

根据此量化控制过程，在稍后所述的图像解码设备中，可以从参考量化参数QP和经量化系数规定用于量化的量化参数QP'。

应注意，虽然上文描述基于特征量A3而规定量化参数的实例，但使用特征量A4的状况也类似。

并且，虽然上文描述根据第一量化过程而规定用于每一CU的量化的量化参数的实例，但根据第三量化过程而规定用于预定频率分量的量化的量化参数的状况也类似。然而，在执行第三量化控制过程的状况下，临时量化参数q仅用于预定频率分量的量化，而参考量化参数QP用于其它分量的量化。

量化操作部153使用由量化控制部152规定的量化参数以将从正交变换部14输入的变换系数量化，并获得经量化系数。随后，量化操作部153将经量化系数输出到无损编码部16和逆量化部21。应注意，也可在逆量化部21中在逆量化期间使用由量化控制部152设定的量化参数。

<3.编码时的过程的流程>

[3-1.整体过程流程]

图5是图示根据本实施例在编码期间的过程的流程的一个实例的流程图。

参照图5，首先，控制部12决定控制参数(S110)。接着，由正交变换部14对从减法部13输入的预测误差数据执行正交变换，而另一方面，由帧内预测部30和帧间预测部40执行预测过程(S120)。可并行地处理步骤S120中的正交变换和预测过程。

接着，量化部15的特征量检测部151基于所预测图像以及在步骤S120中获得的PU信息而检测(获取)特征量(S130)。应注意，稍后将描述关于步骤S130中的过程的细节。接着，量化部15的量化控制部152基于特征量而规定用于量化的量化参数，并产生包含量化参数的量化控制信息(S140)。应注意，稍后将描述关于步骤S140中的过程的细节。

接着，量化部15的量化操作部153使用由量化控制部152规定的量化参数以将在步骤S120中获得的变换系数量化，并获得经量化系数(S150)。

接着，无损编码部16将由步骤S150中的过程获得的经量化系数编码(S160)。并且，此时，无损编码部16将包含控制参数、PU信息等的编码参数编码。

[3-2.特征量检测过程的流程]

图6是图示图5所图示的步骤S130的详细流程的流程图。

参照图6，将整数变量n设定为n＝1(S131)。接着，比较变量n和特征量N的数量的大小(S132)。

在变量n等于或小于特征量N的数量(S132，是)的状况下，并且在稍后所述的量化控制信息的产生中使用特征量An(S133，是)的状况下，特征量检测部151检测(获取)特征量An(S134)。接着，使n递增(S135)。

另一方面，在量化控制信息的产生中不使用特征量An(S133，否)的状况下，未检测特征量An，并且使n递增(S135)。

重复上文所述的步骤S132到S135的过程，直到变量n变得大于特征量N的数量为止，并且在变量n已变得大于特征量N的数量(S132，否)的状况下，特征量检测部151将包含所检测特征量的特征量Ax输出到量化控制部152(S136)。

[3-3.量化控制信息产生过程的流程]

图7是图示图5所图示的步骤S140的详细流程的流程图。

参照图7，首先，决定参考量化参数QP(S141)。例如，可通过使用由控制部12决定的以图片为单位的量化参数以及用于以切片为单位的量化参数的调整值而作为以切片为单位的量化参数来决定参考量化参数。

接着，量化控制部152基于在步骤S130中检测的特征量而决定(规定)量化参数(S142)。此时，可根据由控制部12从上文所述的第一量化控制过程到第三量化控制过程中决定的量化控制过程来规定量化参数。

接着，量化控制部152将包含在S142中规定的量化参数的量化控制信息输出到量化操作部153、无损编码部16和逆量化部21(S143)。

通过如上所述执行每一过程，图像编码设备10能够进一步减小与参数相关的传输的量，而不需要传输用于针对每一区块而调整量化参数的差分量化参数。

应注意，用于上文所述的每一过程的处理的单位可以是任何单位，并且不需要相互相同。因此，也可与另一步骤等的过程并行地执行每一步骤中的过程，或者，可重布置执行所述过程的处理次序。

<4.图像解码设备的配置>

[4-1.整体配置]

接着，将描述如上所述而编码的经编码数据的解码。图8是图示图像解码设备60的配置的一个实例的框图，其中图像解码设备60是根据本实施例的图像处理设备的一个方面。参照图8，设置了累积缓冲器61、无损解码部62、逆量化部63以及逆正交变换部64、加法部65、去区块滤波器66、SAO滤波器67、重排序缓冲器68、数/模(D/A)转换部69、帧存储器70、选择器71a和71b、帧内预测部80和帧间预测部90。

累积缓冲器61使用存储介质以暂时缓冲经由未图示的传输部(例如，通信接口或与周边设备连接的连接接口)从图像编码设备10接收的经编码流。

无损解码部62根据在编码期间使用的编码方案而将经量化系数从输入自累积缓冲器61的经编码流解码。并且，无损解码部62将插入到经编码流的标头区域中的各种编码参数解码。由无损解码部62解码的参数例如可包含上文所述的由控制部12决定的编码参数、PU信息等。

无损解码部62将经量化系数和PU信息输出到逆量化部63。并且，无损解码部62将PU信息中所包含的与帧内预测相关的信息输出到帧内预测部80。并且，无损解码部62将PU信息中所包含的与帧间预测相关的信息输出到帧间预测部90。

逆量化部63被供应从无损解码部62输入的经量化系数和PU信息，并且还被供应从选择器71b输入的所预测图像数据。逆量化部63基于PU信息或所预测图像数据中所包含的所预测图像而将经量化系数逆量化，并复原变换系数数据。逆量化部63将所复原变换系数数据输出到逆正交变换部64。应注意，稍后将进一步描述逆量化部63的更详细配置。

逆正交变换部64通过根据在编码期间使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换而产生预测误差数据。逆正交变换部64将所产生的预测误差数据输出到加法部65。

加法部65通过将从逆正交变换部64输入的预测误差数据与从选择器71b输入的所预测图像数据相加而产生经解码图像数据。接着，加法部65将所产生的经解码图像数据输出到去区块滤波器66和帧存储器70。

去区块滤波器66通过对从加法部65输入的经解码图像数据滤波而移除区块失真，并将经滤波的经解码图像数据输出到SAO滤波器67。

SAO滤波器67通过将边缘偏移过程或带偏移过程应用到从去区块滤波器66输入的经解码图像数据而移除噪声，并将经处理的经解码图像数据输出到重排序缓冲器68和帧存储器70。

重排序缓冲器68将从SAO滤波器67输入的图像重排序，因此产生一系列时间序列图像数据。接着，重排序缓冲器68将所产生的图像数据输出到D/A转换部69。

D/A转换部69将从重排序缓冲器68输入的呈数字格式的图像数据转换为呈模拟格式的图像信号。随后，例如，D/A转换部69将模拟图像信号输出到连接到图像解码设备60的显示器(未图示)，并因此导致显示经解码视频。

帧存储器70将从加法部65输入的未经滤波的经解码图像数据以及从SAO滤波器67输入的经滤波的经解码图像数据存储在存储介质中。

选择器71a根据由无损解码部62获取的PU信息中所包含的预测模式信息针对图像中的每一区块而在帧内预测部80与帧间预测部90之间切换来自帧存储器70的图像数据的输出目的地。在已指定帧内预测模式的状况下，例如，选择器71a将从帧存储器70供应的尚未滤波的经解码图像数据作为参考图像数据输出到帧内预测部80。此外，在已指定帧间预测模式的状况下，选择器71a将经滤波的经解码图像数据作为参考图像数据输出到帧间预测部90。

选择器71b根据由无损解码部62获取的PU信息中所包含的预测模式信息而在帧内预测部80与帧间预测部90之间切换将供应到加法部65的所预测图像数据的输出源。在已指定帧内预测模式的状况下，例如，选择器71b将从帧内预测部80输出的所预测图像数据供应到逆量化部63和加法部65。此外，在已指定帧间预测模式的状况下，选择器71b将从帧间预测部90输出的所预测图像数据供应到逆量化部63和加法部65。

帧内预测部80基于从无损解码部62输入的PU信息中所包含的关于帧内预测的信息以及来自帧存储器70的参考图像数据而执行帧内预测过程，因此产生所预测图像数据。接着，帧内预测部80将所产生的所预测图像数据输出到选择器71b。

帧间预测部90基于从无损解码部62输入的PU信息中所包含的关于帧间预测的信息以及来自帧存储器70的参考图像数据而执行帧间预测过程，因此产生所预测图像数据。接着，帧间预测部90将所产生的所预测图像数据输出到选择器71b。

[4-2.逆量化部]

图9是图示图8所图示的逆量化部63的详细配置的一个实例的框图。参照图9，逆量化部63包含特征量检测部631、逆量化控制部632和逆量化操作部633。

特征量检测部631通过基于由帧内预测部80或帧间预测部90基于PU信息而产生并由选择器71b提供的所预测图像数据中所包含的所预测图像以及由无损解码部62提供的PU信息而执行第一特征量检测过程到第五特征量检测过程来获取上文所述的特征量A1到A5。特征量检测部631例如也可通过基于由无损解码部62获取的编码参数来确定获取哪些特征量而获取特征量。

逆量化控制部632基于由特征量检测部631获取的特征量而控制逆量化。逆量化控制部632也可通过从上文所述的第一逆量化控制过程、第二逆量化控制过程和第三逆量化控制过程中执行逆量化控制过程中的一个而规定量化参数并控制由逆量化操作部633进行的逆量化。并且，逆量化控制部632将包含规定量化参数的逆量化控制信息输出到逆量化操作部633。

逆量化操作部633使用由逆量化控制部632规定的量化参数以将从无损解码部62输入的经量化系数逆量化，并获得变换系数。随后，逆量化操作部633将变换系数输出到逆正交变换部64。

<5.解码时的过程的流程>

[5-1.整体过程流程]

图10是图示根据本实施例的解码时的过程的流程的实例的流程图。

参照图10，首先无损解码部62执行解码过程以获取(解码)经量化系数和编码参数(S210)。在步骤S210中获取的编码参数可包含区块信息、以图片为单位的量化参数、用于以切片为单位的量化参数的调整值、PU信息等。此外，在步骤S210中获取的编码参数也可包含指示在编码期间使用哪些特征量以及使用哪一量化控制过程的信息。

接着，取决于PU信息中所包含的预测模式信息，由帧内预测部80或帧间预测部90产生所预测图像(S220)。

接着，逆量化部63的特征量检测部631基于在步骤S210中获得的PU信息以及在步骤S220中获得的所预测图像而检测(获取)特征量(S230)。应注意，步骤S230中的过程类似于参照图6所述的编码时的步骤S130中的过程。

接着，逆量化部63的逆量化控制部632基于在步骤S230中检测的特征量而规定用于逆量化的量化参数，并产生包含量化参数的逆量化控制信息(S240)。应注意，稍后将描述关于步骤S240中的过程的细节。

接着，逆量化部63的逆量化操作部633使用由逆量化控制部632规定的量化参数以将在步骤S210中获得的经量化系数逆量化，并获得变换系数(S250)。

接着，逆正交变换部64对在步骤S250中获得的变换系数执行逆正交变换，并获得预测误差数据(S260)。

接着，加法部65将预测误差数据与所预测图像数据相加，并因此产生经解码图像数据(S270)。

[5-2.逆量化控制信息产生过程的流程]

图11是图示图10所图示的步骤S240的详细流程的流程图。

参照图11，首先，决定参考量化参数QP(S241)。例如，可通过使用由无损解码部62获取的参数中所包含的以图片为单位的量化参数以及用于以切片为单位的量化参数的调整值而作为以切片为单位的量化参数来决定参考量化参数。

接着，逆量化控制部632基于在步骤S230中检测的特征量而决定(规定)量化参数(S243)。此时，可根据上文所述的第一逆量化控制过程到第三逆量化控制过程中对应于在编码期间执行的量化控制过程的逆量化控制过程来规定量化参数。

接着，逆量化控制部632将包含在步骤S242中规定的量化参数的逆量化控制信息输出到逆量化操作部633(S246)。

通过如上所述执行每一过程，图像解码设备60能够规定量化参数并进一步减小与参数相关的传输的量，而不需要接收用于针对每一区块而调整量化参数的差分量化参数。

应注意，用于上文所述的每一过程的处理的单位可以是任何单位，并且不需要相互相同。因此，也可与另一步骤等的过程并行地执行每一步骤中的过程，或者，可重布置执行所述过程的处理次序。

<6.示范性硬件配置>

上述系列的过程可由硬件执行并且也可按软件执行。在通过软件执行所述系列的过程的状况下，形成所述软件的程序安装在计算机上。本文中，术语计算机包含建置到专用硬件中的计算机、能够通过安装各种程序而执行各种功能的计算机(例如，通用个人计算机)等。

图12是图示根据程序而执行上文所述的所述系列的过程的计算机的示范性硬件配置的框图。

在图12所图示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802以及随机存取存储器(RAM)803经由总线804而互连。

此外，输入/输出接口810也连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接到输入/输出接口810。

输入单元811例如包含键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812例如包含显示器、扬声器、输出端子等。存储单元813例如包含硬盘、RAM盘、非易失性存储器等。通信单元814例如包含网络接口。驱动器815驱动可移除式介质821，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上所述而配置的计算机上，例如，通过使CPU 801经由输入/输出接口810和总线804而将存储单元813中所存储的程序加载到RAM 803上并执行所述程序，而执行上文所述的所述系列的过程。此外，适当时，CPU 801获取而执行各种过程等的数据也存储在RAM803中。

由计算机(CPU 801)执行的程序可例如通过作为套装媒体等的实例记录到可移除式介质821上而应用。在此状况下，程序可通过将可移除式介质821插入到驱动器815中经由输入/输出接口810而安装在存储单元813中。

此外，程序也可经由有线或无线传输介质(例如，局域网、因特网或数字卫星广播)而提供。在此状况下，程序可由通信单元814接收并安装在存储单元813中。

另外，程序也可预先安装在ROM 802或存储单元813中。

<7.应用实例>

根据上述实施例的图像编码设备10和图像解码设备60可应用到各种电子设备，例如：用于卫星广播的传输器或接收器、例如有线电视等有线广播、网上发布以及经由蜂窝式通信到终端的发布；在例如光盘、磁盘和闪速存储器等介质上记录图像的记录装置；或从前述存储介质再现图像的再现装置。

(1)第一应用实例：电视接收器

图13图示被应用上述实施例的电视设备的示意性配置的实例。电视设备900具有天线901、调谐器902、解多路复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)909、控制单元910、用户接口(I/F)911和总线912。

调谐器902从经由天线901接收的广播信号提取期望频道的信号，并解调制所提取信号。接着，调谐器902将从解调制获得的经编码比特流输出到解多路复用器903。也就是说，调谐器902起到接收图像在其中被编码的经编码流的电视设备900的传输部的作用。

解多路复用器903对将观看的节目的视频流和音频流从经编码流解多路复用，并将经解多路复用流输出到解码器904。此外，解多路复用器903从经编码比特流提取例如电子节目指南(EPG)等辅助数据，并将所提取数据供应到控制单元910。应注意，在已将经编码比特流加扰的状况下，解多路复用器903可执行解扰。

解码器904将从解多路复用器903输入的视频流和音频流解码。接着，解码器904将从解码过程产生的视频数据输出到视频信号处理单元905。此外，解码器904将从解码过程产生的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据以导致显示单元906显示视频。此外，视频信号处理单元905可导致显示单元906显示经由网络而供应的应用程序画面。此外，视频信号处理单元905可根据设定而对视频数据执行额外过程，例如，降噪。此外，视频信号处理单元905可产生图形用户界面(GUI)的图像，例如，菜单、按钮或光标，并将所产生图像叠加在输出图像上。

显示单元906用从视频信号处理单元905供应的驱动信号来驱动，并在显示装置(例如，液晶显示器、等离子体显示器、有机电致发光(OLED)等)的视频平面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行包含D/A转换和放大的再现过程，并导致扬声器908输出声音。此外，音频信号处理单元907可对音频数据执行例如噪声移除等额外过程。

外部接口909是用于将电视设备900连接到外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909也起到接收图像在其中被编码的经编码流的电视设备900的传输部的作用。

控制单元910具有例如CPU等处理器以及例如RAM和ROM等存储器。存储器存储由CPU执行的程序、程序数据、EPG数据以及经由网络而获取的数据。存储在存储器中的程序由CPU例如在电视设备900的启动时读取和执行。CPU通过响应于例如从用户接口部911输入的操作信号而执行程序来控制电视设备900的操作。

用户接口部911连接到控制单元910。用户接口部911包含例如用户借以操作电视设备900的按钮和开关、遥控信号的接收单元等。用户接口部911通过经由任何前述构成元件检测用户进行的操作而产生操作信号，并将所产生的操作信号输出到控制单元910。

总线912将调谐器902、解多路复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

在以此方式配置的电视设备900中，解码器904也可包含上文所述的图像解码设备60的功能。换句话说，解码器904可被配置成根据上述实施例中的每一个中所述的方法而将经编码数据解码。通过此布置，电视设备900变得能够进一步减小与参数的传输(接收)相关的传输的量。

并且，在以此方式配置的电视设备900中，视频信号处理单元905可能够将从解码器904提供的图像数据编码，并导致所获得的经编码数据经由外部接口909向外部输出到电视设备900。此外，视频信号处理单元905也可包含上文所述的图像编码设备10的功能。换句话说，视频信号处理单元905可被配置成根据上述实施例中的每一个中所述的方法而将从解码器904提供的图像数据编码。通过此布置，电视设备900变得能够进一步减小与参数的传输(传输)相关的传输的量。

(2)第二应用实例：移动电话

图14图示被应用上述实施例的移动电话的示意性配置的实例。移动电话920包含天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路复用/解多路复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路复用/解多路复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。

移动电话920执行例如以下各者的动作：传输/接收音频信号、传输/接收电子邮件或图像数据、拍摄图像以及以各种操作模式(包含音频呼叫模式、数据通信模式、摄影模式和视频电话模式)记录数据。

在音频呼叫模式中，由麦克风925产生的模拟音频信号被供应到音频编解码器923。音频编解码器923接着将模拟音频信号转换为音频数据、对所转换音频数据执行A/D转换并压缩所述数据。此后，音频编解码器923将经压缩音频信号输出到通信单元922。通信单元922将音频数据编码和调制以产生传输信号。通信单元922接着经由天线921将所产生传输信号传输到基站(未示出)。此外，通信单元922放大经由天线921接收的无线电信号、执行频率转换并获取接收信号。此后，通信单元922将接收信号解调制和解码以产生音频数据，并将所产生音频数据输出到音频编解码器923。音频编解码器923扩展音频数据、对数据执行D/A转换并产生模拟音频信号。音频编解码器923接着将所产生音频信号供应到扬声器924以导致其输出音频。

在数据通信模式中，例如，控制单元931根据经由操作单元932而检测的用户操作而产生配置电子邮件的字符数据。控制单元931进一步在显示单元930上显示字符。此外，控制单元931根据经由操作单元932从用户获得的发送电子邮件数据的指令而产生电子邮件数据，并将所产生电子邮件数据输出到通信单元922。通信单元922将电子邮件数据编码和调制以产生传输信号。接着，通信单元922经由天线921将所产生传输信号传输到基站(未示出)。通信单元922进一步放大经由天线921接收的无线电信号、执行频率转换并获取接收信号。此后，通信单元922将接收信号解调制和解码，复原电子邮件数据，并将所复原电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容，并且将电子邮件数据供应到记录/再现单元929的存储介质以导致数据记录在所述介质中。

记录/再现单元929包含可读且可写的任意存储介质。例如，存储介质可以是内置的存储介质，例如，RAM或闪速存储器，或可以是安装在外部的存储介质，例如，硬盘、磁盘、磁光盘、光盘、USB存储器或记忆卡。

在摄影模式中，例如，相机单元926将物体成像以产生图像数据，并将所产生图像数据输出到图像处理单元927。图像处理单元927将从相机单元926输入的图像数据编码，并将经编码流供应到记录/再现单元929的存储介质以导致经编码流记录在所述介质中。

此外，在图像显示模式中，记录/再现单元929读出记录在存储介质上的经编码流，并输出到图像处理单元927。图像处理单元927将从记录/再现单元929输入的经编码流解码，将图像数据供应到显示单元930并导致图像被显示。

在视频电话模式中，例如，多路复用/解多路复用单元928将由图像处理单元927编码的视频流以及从音频编解码器923输入的音频数据多路复用，并将经多路复用流输出到通信单元922。通信单元922将所述流编码和调制以产生传输信号。通信单元922接着经由天线921将所产生传输信号传输到基站(未示出)。此外，通信单元922放大经由天线921接收的无线电信号、执行频率转换并获取接收信号。传输信号和接收信号可包含经编码比特流。因此，通信单元922将接收信号解调制和解码以复原所述流，并将所复原流输出到多路复用/解多路复用单元928。多路复用/解多路复用单元928将视频流和音频流从输入流解多路复用，并将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927将视频流解码以产生视频数据。视频数据接着被供应到显示单元930，其中显示单元930显示一系列图像。音频编解码器923扩展音频流并对音频流执行D/A转换并产生模拟音频信号。音频编解码器923接着将所产生音频信号供应到扬声器924以导致其输出音频。

在以此方式配置的移动电话920中，图像处理单元927例如可包含上文所述的图像编码设备10的功能。换句话说，图像处理单元927可被配置成根据上述实施例中的每一个中所述的方法而将图像数据编码。通过此布置，移动电话920变得能够进一步减小与参数的传输(传输)相关的传输的量。

此外，在以此方式配置的移动电话920中，图像处理单元927例如可包含上文所述的图像解码设备60的功能。换句话说，图像处理单元927可被配置成根据上述实施例中的每一个中所述的方法而将经编码数据解码。通过此布置，移动电话920变得能够进一步减小与参数的传输(接收)相关的传输的量。

(3)第三应用实例：记录/再现设备

图15图示被应用上述实施例的记录/再现设备的示意性配置的实例。记录/再现设备940例如将所接收广播节目的音频数据和视频数据编码，并将数据记录到记录介质中。记录/再现设备940例如也可将从另一设备获取的音频数据和视频数据编码，并将数据记录到记录介质中。记录/再现设备940例如响应于用户指令而在监视器和扬声器上再现记录在记录介质中的数据。在此状况下，记录/再现设备940将音频数据和视频数据解码。

记录/再现设备940包含调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、光盘驱动器945、选择器946、解码器947、画面上显示器(OSD)948、控制单元949和用户接口950。

调谐器941从经由天线(未示出)接收的广播信号提取期望频道的信号，并解调制所提取信号。调谐器941接着将通过解调制获得的经编码比特流输出到选择器946。也就是说，调谐器941在记录/再现设备940中起到传输构件的作用。

外部接口942是将记录/再现设备940与外部装置或网络连接的接口。外部接口942可以例如是IEEE 1394接口、网络接口、USB接口或闪速存储器接口。经由外部接口942接收的视频数据和音频数据例如被输入到编码器943。也就是说，外部接口942在记录/再现设备940中起到传输构件的作用。

编码器943在从外部接口942输入的视频数据和音频数据未被编码的状况下将视频数据和音频数据编码。此后，编码器943将经编码比特流输出到选择器946。

HDD 944将例如视频和音频等内容数据在其中被压缩的经编码比特流、各种程序和其它数据记录到内部硬盘中。在再现视频和音频时，HDD 944从硬盘读取这些数据。

光盘驱动器945将数据记录到附接到光盘驱动器的记录介质中以及从所述记录介质读取数据。附接到光盘驱动器945的记录介质可例如是DVD光盘(例如，DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)光盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的经编码比特流，并将所选择的经编码比特流输出到HDD 944或光盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD 944或光盘驱动器945输入的经编码比特流输出到解码器947。

解码器947将经编码比特流解码以产生视频数据和音频数据。解码器904接着将所产生视频数据输出到OSD 948并将所产生音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据，并显示视频。OSD 948可还将GUI的图像(例如，菜单、按钮或光标)叠加到所显示视频上。

控制单元949包含例如CPU等处理器以及例如RAM和ROM等存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序例如由CPU在记录/再现设备940的启动时读取并被执行。通过执行程序，CPU例如根据从用户接口950输入的操作信号而控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950例如包含供用户操作记录/再现设备940的按钮和开关以及接收遥控信号的接收部分。用户接口950经由这些部件而检测用户操作以产生操作信号，并将所产生操作信号输出到控制单元949。

在以此方式配置的记录/再现设备940中，编码器943包含根据上文所述的实施例的图像编码设备10的功能。此外，解码器947包含根据上文所述的实施例的图像解码设备60的功能。通过此布置，记录/再现设备940变得能够进一步减小与参数相关的传输的量。

(4)第四应用实例：成像设备

图16图示被应用上述实施例的成像设备的示意性配置的实例。成像设备960将物体成像以产生图像，将图像数据编码，并将数据记录到记录介质中。

成像设备960包含光学区块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学区块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。

光学区块961包含对焦镜头和光圈机构。光学区块961在成像单元962的成像平面上形成物体的光学图像。成像单元962包含例如电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)等图像传感器，并执行光电转换以将形成在成像平面上的光学图像转换为图像信号，而作为电信号。接着，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号过程，例如，拐点校正、伽玛校正和颜色校正。信号处理单元963将已被执行相机信号过程的图像信号输出到图像处理单元964。

图像处理单元964将从信号处理单元963输入的图像信号编码，并产生经编码数据。图像处理单元964接着将所产生的经编码数据输出到外部接口966或介质驱动器968。图像处理单元964还将从外部接口966或介质驱动器968输入的经编码数据解码以产生图像数据。图像处理单元964接着将所产生图像数据输出到显示单元965。此外，图像处理单元964可将从信号处理单元963输入的图像数据输出到显示单元965，以导致显示单元965显示图像。此外，图像处理单元964可将从OSD 969获取的显示数据叠加到输出在显示单元965上的图像上。

OSD 969产生GUI的图像(例如，菜单、按钮或光标)，并将所产生图像输出到图像处理单元964。

外部接口966例如被配置为USB输入/输出端子。在打印图像时，外部接口966例如将成像设备960与打印机连接。此外，驱动器视需要连接到外部接口966。例如磁盘或光盘等可移除式介质附接到驱动器，例如以使得从可移除式介质读取的程序可安装到成像设备960。外部接口966也可被配置为连接到例如LAN或因特网等网络的网络接口。也就是说，外部接口966在成像设备960中起到传输构件的作用。

附接到介质驱动器968的记录介质可以是可读且可写的任意存储介质，例如，磁盘、磁光盘、光盘或半导体存储器。此外，记录介质例如可按固定方式附接到介质驱动器968，以使得例如内置硬盘驱动器或固态驱动器(SSD)等非便携存储单元等得以配置。

控制单元970包含例如CPU等处理器以及例如RAM和ROM等存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序由CPU在成像设备960的启动时读取并接着被执行。通过执行程序，CPU例如根据从用户接口971输入的操作信号而控制成像设备960的操作。

用户接口971连接到控制单元970。例如，用户接口971包含供用户操作成像设备960的按钮和开关。用户接口971经由这些部件而检测用户操作以产生操作信号，并将所产生操作信号输出到控制单元970。

在以此方式配置的成像设备960中，图像处理单元964包含根据上文所述的实施例的图像编码设备10和图像解码设备60的功能。通过此布置，成像设备960变得能够进一步减小与参数相关的传输的量。

(5)第五应用实例：视频机

此外，本技术也可被实施为任何设备中所安装的任何种类的配置或系统中所包含的设备，例如，作为大规模集成(LSI)芯片等而设置的处理器、使用多个处理器等的模块、使用多个模块等的单元、进一步将其它功能添加到单元(即，设备的一部分的设置)的机器等。图17图示应用本技术的视频机的示意性配置的一个实例。

当前，电子装置变得较多功能，并且在这些电子装置的开发和制造中，在实施其部分配置以进行销售、报价等的状况下，经常不仅将实施方案作为包含单个功能的配置来实施，而且组合包含相关功能的多个配置并将实施方案作为包含多个功能的单个机器来实施。

图17所图示的视频机1300是此种多功能配置，并且是包含与图像编码和解码(任一个或两个)相关的功能的装置与包含与这些功能相关的其它功能的装置的组合。

如图17所图示，视频机1300包含模块组(例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314)以及包含例如连接性1321、相机1322和传感器1323等相关功能的装置。

模块是将若干相关部分功能集中为统一功能的部分。规定物理配置可以是任何配置，但例如，预期将具有相应功能的多个处理器、例如电阻器和电容器等电子电路元件、其它装置等设置并集成到电路板等上。也预期将一个模块与另一模块、处理器等组合以产生新模块。

在图17中的实例的状况下，视频模块1311是包含与图像处理相关的功能的配置的组合，并且包含应用程序处理器、视频处理器、宽带调制解调器1333和RF模块1334。

处理器例如是将具有预定功能的配置集成为半导体芯片作为系统芯片(SoC)，并且也可被称为大规模集成(LSI)芯片等。具有预定功能的配置可以是逻辑电路(硬件配置)，但也可以是CPU、ROM、RAM等以及使用这些而执行的程序(软件配置)，并且也可以是两者的组合。例如，处理器可包含逻辑电路和CPU、ROM、RAM等，并且可被配置成用逻辑电路(硬件配置)实现功能的子集，同时用在CPU上执行的程序(软件配置)而实现其它功能。

图17中的应用程序处理器1331是执行与图像处理相关的应用程序的处理器。为了实现预定功能，在应用程序处理器1331中执行的应用程序能够不仅执行计算处理，而且能够在必要时控制视频模块1311内以及视频模块1311外的配置，例如，视频处理器1332。

视频处理器1332是包含与图像编码/解码(任一个或两个)相关的功能的处理器。

宽带调制解调器1333执行数字调制等以将通过在例如因特网或公用电话网等宽带连接上执行的有线或无线(或两者)宽带通信传输的数据(数字信号)转换为模拟信号，并且还执行解调制以将通过此宽带通信接收的模拟信号转换为数据(数字信号)。宽带调制解调器1333处理任何种类的信息，例如，由视频处理器1332处理的图像数据、图像数据在其中被编码的流、应用程序和设定数据。

RF模块1334是对经由天线传输和接收的射频(RF)信号执行频率转换、调制/解调制、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333产生的基带信号执行频率转换等而产生RF信号。并且，例如，RF模块1334通过对经由前端模块1314接收的RF信号执行频率转换等而产生基带信号。

应注意，如图17中由虚线1341所图示，应用程序处理器1331和视频处理器1332也可被统一并配置为单个处理器。

外部存储器1312是在外部提供给视频模块1311的模块，包含由视频模块1311利用的存储装置。外部存储器1312的存储装置可由任何种类的物理配置实现，但因为存储装置通常用于存储大量数据(例如，以帧为单位的图像数据)，所以例如希望用例如动态随机存取存储器(DRAM)等相对便宜且高容量的半导体存储器来实现存储装置。

电力管理模块1313管理并控制电力到视频模块1311(视频模块1311内的每一配置)的供应。

前端模块1314是将前端功能(天线侧传输/接收端口上的电路)提供到RF模块1334的模块。如图17所图示，前端模块1314例如包含天线单元1351、滤波器1352和放大单元1353。

天线单元1351包含传输和接收无线信号的天线及其周边配置。天线单元1351将从放大单元1353供应的信号作为无线信号传输，并将所接收无线信号作为电信号(RF信号)供应到滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等，并将经处理RF信号供应到RF模块1334。放大单元1353放大从RF模块1334供应的RF信号并将其供应到天线单元1351。

连接性1321是包含与外部连接相关的功能的模块。连接性1321的物理配置可以是任何配置。例如，连接性1321包含具有除由宽带调制解调器1333、外部输入/输出端子等支持的通信标准之外的通信功能的配置。

例如，连接性1321可包含具有与例如蓝牙(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi(注册商标)))、近场通信(NFC)或红外线数据协会(IRDA)等无线通信标准相符的通信功能的模块以及传输和接收与所述标准相符的信号的天线等。并且，例如，连接性1321可包含具有与例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)等有线通信功能相符的通信功能的模块以及与所述标准相符的端口。此外，例如，连接性1321可包含传输另一种类的数据(信号)的功能，例如，模拟输入/输出端子。

应注意，连接性1321可包含数据(信号)的传输目的地装置。例如，连接性1321可包含对例如磁盘、光盘、磁光盘或半导体存储器等记录介质读取和写入数据的驱动器(不仅包含用于可移除式介质的驱动器，而且包含硬盘、固态驱动器(SSD)、网络附接存储装置(NAS)等)。并且，连接性1321可包含输出图像和声音的装置(例如，监视器和扬声器)。

相机1322是具有将对象成像并获得对象的图像数据的功能的模块。通过相机1322进行的成像而获得的图像数据例如被供应到视频处理器1332并被编码。

传感器1323例如是具有任何类型的传感器功能的模块，例如，声音传感器、超声波传感器、光传感器、照度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁场传感器、冲击传感器或温度传感器。由传感器1323检测的数据例如被供应到应用程序处理器1331并由应用程序等利用。

上文被描述为模块的配置也可作为处理器而实现，而反之，被描述为处理器的配置也可作为模块而实现。

在具有如同上文的配置的视频机1300中，本技术也可应用到如下所述的视频处理器1332。因此，视频机1300可作为应用本技术的机器来实施。

(视频处理器的示范性配置)

图18图示应用本技术的视频处理器1332(图17)的示意性配置的一个实例。

在图18中的实例的状况下，视频处理器1332包含接收视频信号和音频信号的输入并根据预定方法而将这些信号编码的功能以及将经编码视频数据和音频数据解码并再现和输出视频信号和音频信号的功能。

如图18所图示，视频处理器1332包含视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。并且，视频处理器1332包含编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包含音频编码器1410、音频解码器1411、多路复用器(MUX)1412、解多路复用器(DMUX)1413和流缓冲器1414。

视频输入处理单元1401例如获取从连接性1321(图17)等输入的视频信号，并将视频信号转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行根据经由视频输出处理单元1404而输出到的目的地处的格式而放大或缩小图像的过程、类似于第一图像放大/缩小单元1402的格式转换和图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、到模拟信号的转换等，并例如将结果作为所再现视频信号而输出到连接性1321。

帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据的存储器。帧存储器1405例如作为例如DRAM等半导体存储器而实现。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据在访问管理表1406A中写入的对帧存储器1405的访问的访问调度而控制对帧存储器1405的访问以及写入和读取。访问管理表1406A由存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的过程而更新。

编码/解码引擎1407执行将图像数据编码的过程以及将视频流解码的过程，其中视频流是图像数据在其中被编码的数据。例如，编码/解码引擎1407将从帧存储器1405读取的图像数据编码，并且将经编码数据作为视频流连续写入到视频ES缓冲器1408A。并且，例如，编码/解码引擎1407连续从视频ES缓冲器1408B读取视频流并进行解码，并且将经解码数据作为图像数据写入到帧存储器1405。在此编码和解码期间，编码/解码引擎1407将帧存储器1405用作工作区域。并且，例如，在针对每一宏区块开始所述过程时，编码/解码引擎1407将同步信号输出到存储器控制单元1406。

视频ES缓冲器1408A缓冲由编码/解码引擎1407产生的视频流并将其供应到多路复用器(MUX)1412。视频ES缓冲器1408B缓冲从解多路复用器(DMUX)1413供应的视频流并将其供应到编码/解码引擎1407。

音频ES缓冲器1409A缓冲由音频编码器1410产生的音频流并将其供应到多路复用器(MUX)1412。音频ES缓冲器1409B缓冲从解多路复用器(DMUX)1413供应的音频流并将其供应到音频解码器1411。

音频编码器1410例如将从连接性1321等输入的音频信号数字转换，并根据例如MPEG音频方法或音频代码编号3(AC3)方法等预定方法而将音频信号编码。音频编码器1410将音频流连续写入到音频ES缓冲器1409A中，其中音频流是音频信号在其中被编码的数据。音频解码器1411例如将从音频ES缓冲器1409B供应的音频流解码，执行到模拟信号的转换等，并例如将结果作为所再现音频信号供应到连接性1321等。

多路复用器(MUX)1412将视频流和音频流多路复用。多路复用方法(即，通过多路复用而产生的比特流的格式)可以是任何方法。此外，在此多路复用期间，多路复用器(MUX)1412还能够将预定标头信息等添加到比特流。换句话说，多路复用器(MUX)1412能够通过多路复用而转换流的格式。例如，通过将视频流和音频流多路复用，多路复用器(MUX)1412将流转换为传送流，其中传送流是呈用于传输的格式的比特流。并且，例如，通过将视频流和音频流多路复用，多路复用器(MUX)1412将流转换为呈用于记录的文件格式的数据(文件数据)。

解多路复用器(DMUX)1413根据对应于由多路复用器(MUX)1412进行的多路复用的方法而将视频流和音频流在其中被多路复用的比特流解多路复用。换句话说，解多路复用器(DMUX)1413从比特流(其是从流缓冲器1414读出)提取视频流和音频流(将视频流与音频流分离)。换句话说，解多路复用器(DMUX)1413能够通过解多路复用(由多路复用器(MUX)1412进行的转换的逆转换)而转换流的格式。例如，解多路复用器(DMUX)1413能够例如经由流缓冲器1414而获取从连接性1321、宽带调制解调器1333等供应的传送流，并且通过解多路复用，能够将传送流转换为视频流和音频流。并且，例如，解多路复用器(DMUX)1413能够例如经由流缓冲器1414获取由连接性1321从各种类型的记录介质中的任一个读出的文件数据，并且通过解多路复用，能够将文件数据转换为视频流和音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从多路复用器(MUX)1412供应的传送流，并且例如在预定时序或基于外部请求等而将传送流供应到连接性1321、宽带调制解调器1333等。

并且，例如，流缓冲器1414缓冲从多路复用器(MUX)1412供应的文件数据，并且例如在预定时序或基于外部请求等而将文件数据供应到连接性1321等，并导致文件数据记录在各种类型的记录介质中的任一个上。

此外，流缓冲器1414例如缓冲经由连接性1321、宽带调制解调器1333等而获取的传送流，并且在预定时序或基于外部请求等而将传送流供应到解多路复用器(DMUX)1413。

此外，流缓冲器1414例如在连接性1321等中缓冲从各种类型的记录介质中的任一个读出的文件数据，并且在预定时序或基于外部请求等而将文件数据供应到解多路复用器(DMUX)1413。

接着，将描述具有此配置的视频处理器1332的操作的实例。例如，从连接性1321等输入到视频处理器1332中的视频信号在视频输入处理单元1401中转换为例如4:2:2Y/Cb/Cr格式等预定格式的数字图像数据，并且连续写入到帧存储器1405。数字图像数据被读出到第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，经受到例如4:2:0Y/Cb/Cr格式等预定格式的格式转换和放大/缩小过程，并再次写入到帧存储器1405。图像数据由编码/解码引擎1407编码，并且作为视频流而写入到视频ES缓冲器1408A。

并且，从连接性1321等输入到视频处理器1332中的音频信号由音频编码器1410编码，并作为音频流而写入到音频ES缓冲器1409A。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流由多路复用器(MUX)1412读出和多路复用，并转换为传送流、文件数据等。由多路复用器(MUX)1412产生的传送流例如在流缓冲器1414中缓冲，并且接着经由连接性1321、宽带调制解调器1333等而输出到外部网络。并且，由多路复用器(MUX)1412产生的文件数据例如在流缓冲器1414中缓冲，并且接着输出到连接性1321等，并且被记录到各种类型的记录介质中的任一个。

并且，例如经由连接性1321、宽带调制解调器1333等从外部网络输入到视频处理器1332中的传送流在流缓冲器1414中缓冲，并且接着由解多路复用器(DMUX)1413解多路复用。并且，例如在连接性1321等中从各种类型的记录介质中的任一个读出并输入到视频处理器1332中的文件数据在流缓冲器1414中缓冲，并且接着由解多路复用器(DMUX)1413解多路复用。换句话说，输入到视频处理器1332中的传送流或文件数据由解多路复用器(DMUX)1413分离为视频流和音频流。

音频流经由音频ES缓冲器1409B而供应到音频解码器1411并被解码，并且音频信号得以再现。并且，视频流在写入到视频ES缓冲器1408B之后由编码/解码引擎1407连续读出和解码，并写入到帧存储器1405。经解码图像数据经受由第二图像放大/缩小单元1403进行的放大/缩小过程，并写入到帧存储器1405。随后，经解码图像数据被读出到视频输出处理单元1404，格式转换为例如4:2:2Y/Cb/Cr等预定格式，另外转换为模拟信号，并且视频信号得以再现和输出。

在将本技术应用到以此方式配置的视频处理器1332的状况下，将根据上文所述的实施例的本技术应用到编码/解码引擎1407是充分的。换句话说，例如，编码/解码引擎1407可包含上文所述的图像编码设备10的功能或图像解码设备60的功能，或两者。通过此布置，视频处理器1332能够获得类似于上文参照图1到图11所述的实施例中的每一个的效果。

应注意，在编码/解码引擎1407中，本技术(也就是说，图像编码设备10的功能或图像解码设备60的功能，或两者)可由例如逻辑电路等硬件实现，可由例如嵌入式程序等软件实现，或可由上述两者实现。

(视频处理器的另一示范性配置)

图19图示应用本技术的视频处理器1332的示意性配置的另一实例。在图19中的实例的状况下，视频处理器1332包含根据预定方法将视频数据编码/解码的功能。

更具体来说，如图19所图示，视频处理器1332包含控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。并且，视频处理器1332包含编解码器引擎1516、存储器接口1517、多路复用器/解多路复用器(MUX DMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的每一处理单元(例如，显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。

如图19所图示，控制单元1511例如包含主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的每一处理单元的操作的程序等。主CPU1531根据程序等而产生控制信号，并将控制信号供应到每一处理单元(换句话说，控制每一处理单元的操作)。副CPU 1532对主CPU 1531起辅助作用。例如，副CPU 1532执行由主CPU1531执行的程序等的子进程、子例程等。系统控制器1533控制主CPU 1531和副CPU 1532的操作，例如，规定将由主CPU 1531和副CPU 1532执行的程序。

显示接口1512例如在控制单元1511的控制下将图像数据输出到连接性1321等。例如，显示接口1512将数字图像数据转换为模拟信号，并输出模拟信号，或将数字图像数据作为所再现视频信号直接输出到连接性1321的监视设备等。

显示引擎1513在控制单元1511的控制下对图像数据执行各种转换过程(例如，格式转换、大小转换和色域转换)以匹配将显示图像的监视设备等的硬件规格。

图像处理引擎1514例如在控制单元1511的控制下对图像数据执行预定图像处理，例如，用于提高图像质量的滤波处理。

内部存储器1515是设置在视频处理器1332内的存储器，并且由显示引擎1513、图像处理引擎1514和编解码器引擎1516共用。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514与编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516供应的数据，并且必要时(例如，响应于请求)将数据供应到显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可由任何种类的存储装置实现，但因为存储装置通常用于存储少量数据(例如，以区块为单位的图像数据)、参数等，所以希望用容量相对小(例如，与外部存储器1312相比)但具有快速响应速度的半导体存储器(例如，静态随机存取存储器(SRAM))实现存储装置。

编解码器引擎1516执行与图像数据的编码和解码相关的过程。由编解码器引擎1516支持的编码/解码方法可以是任何方法，并且可存在一种或多种此种方法。例如，编解码器引擎1516可具备用于多种编码/解码方法的编解码器功能，并且可被配置成通过从多种方法选择而将图像数据编码或解码。

在图19所图示的实例中，编解码器引擎1516例如包含MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视角)1545和MPEG-DASH1551作为编解码器相关处理的功能区块。

MPEG-2视频1541是根据MPEG-2方法而将图像数据编码和解码的功能区块。AVC/H.264 1542是根据AVC方法而将图像数据编码和解码的功能区块。HEVC/H.265 1543是根据HEVC方法而将图像数据编码和解码的功能区块。HEVC/H.265(可缩放)1544是根据HEVC方法而将图像数据可缩放地编码和可缩放地解码的功能区块。HEVC/H.265(多视角)1545是根据HEVC方法而将图像数据多视角地编码和多视角地解码的功能区块。

MPEG-DASH 1551是根据MPEG基于HTTP的动态自适应流传输(MPEG-DASH)方法而传输和接收图像数据的功能区块。MPEG-DASH是使用超本文传输协议(HTTP)而将视频流传输的技术，其一个特征是从预先准备的具有不同分辨率等的多组经编码数据选择适当经编码数据并以片段为单位而传输。MPEG-DASH 1551执行与标准相符的流的产生、传输控制等，而针对图像数据的编码/解码，MPEG-2视频1541到HEVC/H.265(多视角)1545得以使用。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516供应的数据经由存储器接口1517而供应到外部存储器1312。并且，从外部存储器1312读出的数据经由存储器接口1517而供应到视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

多路复用器/解多路复用器(MUX DMUX)1518将各种图像相关数据(例如，经编码数据、图像数据、视频信号等的比特流)多路复用和解多路复用。多路复用/解多路复用方法可以是任何方法。例如，在多路复用时，多路复用器/解多路复用器(MUX DMUX)1518不仅能够将多段数据集中为单段数据，而且将预定标头信息等添加到数据。并且，在解多路复用时，多路复用器/解多路复用器(MUX DMUX)1518不仅能够将单段数据划分为多段数据，而且将预定标头信息等添加到每一段所划分数据。换句话说，多路复用器/解多路复用器(MUXDMUX)1518能够通过多路复用/解多路复用而转换数据的格式。例如，通过将比特流多路复用，多路复用器/解多路复用器(MUX DMUX)1518能够将比特流转换为传送流(其为呈用于传输的格式的比特流)或转换为呈用于记录的文件格式的数据(文件数据)。显然，通过解多路复用，逆转换也是可能的。

网络接口1519例如是用于宽带调制解调器1333、连接性1321等的接口。视频接口1520例如是用于连接性1321、相机1322等的接口。

接着，将描述此视频处理器1332的操作的实例。例如，当经由连接性1321、宽带调制解调器1333等从外部网络接收传送流时，传送流经由网络接口1519而供应到多路复用器/解多路复用器(MUX DMUX)1518并被解多路复用，并由编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如经由显示接口1512而供应到连接性1321等，并且图像显示在监视器上。并且，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516重编码，由多路复用器/解多路复用器(MUX DMUX)1518多路复用并转换为文件数据，例如经由视频接口1520而输出到连接性1321等，并记录在各种类型的记录介质中的任一个上。

此外，例如，图像数据在其中被编码的经编码数据的文件数据(由连接性1321等从未图示的记录介质读出)经由视频接口1520而供应到多路复用器/解多路复用器(MUXDMUX)1518并被解多路复用，并由编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如经由显示接口1512而供应到连接性1321等，并且图像显示在监视器上。并且，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516重编码，由多路复用器/解多路复用器(MUX DMUX)1518多路复用并转换为传送流，例如经由网络接口1519而供应到连接性1321、宽带调制解调器1333等，并传输到未图示的另一设备。

应注意，视频处理器1332内的处理单元中的每一个之间的图像数据和其它数据的交换例如通过利用内部存储器1515和外部存储器1312而执行。此外，电力管理模块1313例如控制电力到控制单元1511的供应。

在将本技术应用到以此方式配置的视频处理器1332的状况下，将根据上文所述的实施例的本技术应用到编解码器引擎1516是充分的。换句话说，例如，对于编解码器引擎1516来说，包含上文所述的图像编码设备10的功能或图像解码设备60的功能或两者是充分的。通过此布置，视频处理器1332能够获得类似于上文参照图1到图11所述的实施例中的每一个的效果。

应注意，在编解码器引擎1516中，本技术(也就是说，图像编码设备10的功能)可由例如逻辑电路等硬件实现，可由例如嵌入式程序等软件实现，或可由上述两者实现。

上文将视频处理器1332的两个配置作为实例来说明，但视频处理器1332的配置可以是任何配置，并且可以是除上文所述的两个实例之外的配置。并且，视频处理器1332可被配置为单个半导体芯片，但也可被配置为多个半导体芯片。例如，多个半导体在其中堆叠的三维堆叠LSI芯片是可能的。并且，由多个LSI芯片实现的配置是可能的。

(到设备的应用的实例)

视频机1300可嵌入到处理图像数据的各种类型的设备中的任一个中。例如，视频机1300可嵌入到电视设备900(图13)、移动电话920(图14)、记录/再现设备940(图15)、成像设备960(图16)等中。通过嵌入视频机1300，设备能够获得类似于上文参照图1到图15所述的实施例中的每一个的效果。

应注意，只要包含视频处理器1332，即使上文所述的视频机1300的每一配置的一部分也可作为应用本技术的配置来实施。例如，可以仅将视频处理器1332作为应用本技术的视频处理器来实施。并且，例如，如上所述由虚线1341图示的处理器、视频模块1311等可作为应用本技术的处理器、模块等来实施。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314也可组合并作为应用本技术的视频单元1361来实施。通过这些配置中的任一个，可以获得类似于上文参照图1到图11所述的实施例中的每一个的效果。

换句话说，类似于视频机1300的状况，只要包含视频处理器1332，任何类型的配置就可嵌入到处理图像数据的各种类型的设备中的任一个中。例如，视频处理器1332、由虚线1341图示的处理器、视频模块1311或视频单元1361可嵌入到电视设备900(图13)、移动电话920(图14)、记录/再现设备940(图15)、成像设备960(图16)等中。此外，类似于视频机1300，通过嵌入应用本技术的任何配置，设备能够获得类似于上文参照图1到图11所述的实施例中的每一个的效果。

(6)第六应用实例：网络系统

此外，本技术也适用于包含多个设备的网络系统。图20图示应用本技术的网络系统的示意性配置的一个实例。

图20所图示的网络系统1600是装置在网络上相互交换与图像(运动图像)相关的信息的系统。网络系统1600的云服务1601是将与图像(运动图像)相关的服务提供到例如以下各者的终端的系统：通信地连接到云服务1601的计算机1611、视听(AV)设备1612、移动信息处理终端1613以及物联网(IoT)装置1614。例如，如同所谓的视频流传输(按需流传输或直播流传输)，云服务1601将供应图像(运动图像)内容的服务提供到终端。作为另一实例，云服务1601提供从终端接收图像(运动图像)内容并进行存储的备用服务。作为另一实例，云服务1601提供协调终端之间的图像(运动图像)内容的交换的服务。

云服务1601的物理配置可以是任何配置。例如，云服务1601可包含各种服务器(例如，保存并管理运动图像的服务器、将运动图像输送到终端的服务器、从终端获取运动图像的服务器和管理用户(终端)和支付方式的服务器)以及任何类型的网络(例如，因特网或LAN)。

计算机1611例如包含信息处理设备，例如，个人计算机、服务器或工作站。AV设备1612例如包含图像处理设备，例如，电视接收器、硬盘记录器、游戏控制台或相机。移动信息处理终端1613例如包含移动信息处理设备，例如，笔记本个人计算机、平板终端、移动电话或智能电话。IoT装置1614例如包含执行图像相关处理的任何物体，例如，机器、电器、一件家具、某一其它事物、IC标签或卡状装置。这些终端全部包含通信功能，并能够连接到云服务1601(与其建立会话)，并与云服务1601交换信息(即，与云服务1601通信)。并且，每一终端也能够与另一终端通信。终端之间的通信可通过经历云服务1601来执行，或可在不经历云服务1601的情况下执行。

当本技术应用到如上所述的网络系统1600并且图像(运动图像)数据在终端之间或在终端与云服务1601之间交换时，图像数据可在实施例中的每一个中如上所述而编码/解码。换句话说，终端(从计算机1611到IoT装置1614)和云服务1601各自可包含上文所述的图像编码设备10和图像解码设备60的功能。通过此布置，可以进一步减小与参数相关的传输的量。

<8.总结>

根据如上所述的本公开的实施例，可以进一步减小与参数相关的传输的量。

上文已参照附图来描述本公开的优选实施例，但本公开不限于上文的实例。本领域的技术人员可在随附权利要求书的范围内发现各种更改和修改，并且应理解，这些更改和修改将自然落入本公开的技术范围内。

上述实施例中的每一个中所述的与本技术相关的控制信息可从编码侧传输到解码侧。例如，也可传输控制是否允许(或否决)上文所述的本技术的应用的控制信息。并且，例如，可传输规定允许(或否决)上文所述的本技术的应用的区块大小的上限、下限或两者的控制信息。

应注意，本说明书中所述的术语CU、PU和TU表示与HEVC中的个别区块相关联的逻辑单元，包含语法。在仅着重于作为图像的一部分的个别区块的状况下，这些术语可分别替换为术语编码区块(CB)、预测区块(PB)和变换区块(TB)。CB通过将编码树区块(CTB)递归地划分为四叉树结构而形成。一整个四叉树对应于CTB，并且对应于CTB的逻辑单元被称为编码树单元(CTU)。HEVC中的CTB和CB通过作为编码过程中的处理的单元而起到类似于H.264/AVC中的宏区块的作用。然而，CTB和CB与宏区块的不同之处在于其大小不是固定的(宏区块的大小始终是16x16像素)。CTB的大小选自16x16像素、32x32像素和64x64像素，并且由经编码流中的参数指定。CB的大小可取决于CTB的划分的深度而改变。

并且，虽然上文描述在量化控制过程中执行使用基于特征量而规定的量化参数进行的(逆)量化的实例，但本技术不限于此实例。例如，图像编码设备也可规定用于进一步调整基于特征量而规定的量化参数的差分量化参数dQP并将其传输到图像解码设备。应注意，在此状况下，差分量化参数dQP不需要针对每一CU而传输，并且可仅针对一些CU而传输。

并且，在上述编码过程中，当基于特征量A3或特征量A4而搜索量化参数时，在一些状况下，可不存在值匹配对应于临时量化参数q的量化参数QP'的临时量化参数q。

在此状况下，图像编码设备10可改变条件并再次搜索量化参数。例如，图像编码设备10可对变换系数的值执行操作(例如，执行系数切割以使得最高阶系数或非零系数的数量不同)并再次搜索量化参数。并且，图像编码设备10可改变预测模式，基于不同预测模式而使用预测误差数据的变换系数，并再次搜索量化参数。并且，图像编码设备10可改变与特征量A3或特征量A4相关的阈值TH_A3或TH_A4，并且再次搜索量化参数。

并且，用于基于特征量A3或特征量A4而关断(逆)量化控制功能的控制参数可从图像编码设备传输到图像解码设备。在此状况下，控制参数可以序列为单位、以图片为单位或以区块而单位而传输。

此外，本说明书所述的效果仅是说明性或示范性的效果，而不是限制性的。也就是说，与上述效果一起或替代上述效果，根据本公开的技术可实现本领域的技术人员从本说明书的描述清楚的其它效果。

此外，也可如下配置本技术。

(1)

一种图像处理设备，包含：

逆量化控制部，基于预测区块信息或经量化系数而控制逆量化。

(2)

根据(1)的图像处理设备，还包含：

特征量检测部，基于预测区块信息或经量化系数而获取特征量，其中

所述逆量化控制部基于所述特征量而控制所述逆量化。

(3)

根据(2)的图像处理设备，其中

所述特征量检测部基于以所述预测区块信息为基础而产生的所预测图像而获取所述特征量。

(4)

根据(3)的图像处理设备，其中

所述特征量检测部获取指示所述所预测图像中的动态范围的特征量。

(5)

根据(3)或(4)的图像处理设备，其中

所述特征量检测部获取指示所述所预测图像中的方差的特征量。

(6)

根据(2)到(5)中任一项的图像处理设备，其中

所述特征量检测部获取指示所述经量化系数中的最高阶系数的位置的特征量。

(7)

根据(2)到(6)中任一项的图像处理设备，其中

所述特征量检测部获取指示所述经量化系数中的系数分布密度的特征量。

(8)

根据(2)到(7)中任一项的图像处理设备，其中

所述特征量检测部获取指示所述预测区块信息中所包含的预测模式的特征量。

(9)

根据(2)到(8)中任一项的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块逆量化的量化参数而控制所述逆量化。

(10)

根据(4)或(5)的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块中的直流分量逆量化的量化参数而控制所述逆量化。

(11)

根据(6)或(7)的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块中的预定频率分量逆量化的量化参数而控制所述逆量化。

(12)

一种图像处理方法，包含通过处理器：

基于预测区块信息或经量化系数而控制逆量化。

(13)

一种使计算机执行以下功能的程序：

基于预测区块信息或经量化系数而控制逆量化。

附图标记列表

10 图像编码设备

11 缓冲器

12 控制部

13 减法部

14 正交变换部

15 量化部

16 无损编码部

17 累积缓冲器

21 逆量化部

22 逆正交变换部

23 加法部

24 去区块滤波器

25 滤波器

26 帧存储器

27 交换器

28 模式设定部

30 帧内预测部

40 帧间预测部

60 图像解码设备

61 累积缓冲器

62 无损解码部

63 逆量化部

64 逆正交变换部

65 加法部

66 去区块滤波器

67 滤波器

68 缓冲器

69 D/A转换部

70 帧存储器

80 帧内预测部

90 帧间预测部

151 特征量检测部

152 量化控制部

153 量化操作部

631 特征量检测部

632 逆量化控制部

633 逆量化操作部。

Claims (13)

1.一种图像处理设备，包括：

逆量化控制部，基于预测区块信息或经量化系数而控制逆量化。

2.根据权利要求1所述的图像处理设备，还包括：

特征量检测部，基于预测区块信息或经量化系数而获取特征量，其中

所述逆量化控制部基于所述特征量而控制所述逆量化。

3.根据权利要求2所述的图像处理设备，其中

所述特征量检测部基于以所述预测区块信息为基础而产生的所预测图像而获取所述特征量。

4.根据权利要求3所述的图像处理设备，其中

所述特征量检测部获取指示所述所预测图像中的动态范围的特征量。

5.根据权利要求3所述的图像处理设备，其中

所述特征量检测部获取指示所述所预测图像中的方差的特征量。

6.根据权利要求2所述的图像处理设备，其中

所述特征量检测部获取指示所述经量化系数中的最高阶系数的位置的特征量。

7.根据权利要求2所述的图像处理设备，其中

所述特征量检测部获取指示所述经量化系数中的系数分布密度的特征量。

8.根据权利要求2所述的图像处理设备，其中

所述特征量检测部获取指示所述预测区块信息中所包含的预测模式的特征量。

9.根据权利要求2所述的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块逆量化的量化参数而控制所述逆量化。

10.根据权利要求4所述的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块中的直流分量逆量化的量化参数而控制所述逆量化。

11.根据权利要求6所述的图像处理设备，其中

所述逆量化控制部通过基于所述特征量而规定用于将经编码区块中的预定频率分量逆量化的量化参数而控制所述逆量化。

12.一种图像处理方法，包括通过处理器：

基于预测区块信息或经量化系数而控制逆量化。

13.一种程序，其使计算机执行以下功能：

基于预测区块信息或经量化系数而控制逆量化。