CN102208095A - 图像处理控制设备和方法 - Google Patents

Abstract

本发明公开了图像处理控制设备和方法。一种图像处理控制设备包括：相邻像素差分绝对值基于相位的合计值计算单元，被配置为针对表示图像被编码时的编码块的像素之间的位置的每个相位，通过将该图像的所有像素之间的相邻像素差分绝对值相加来计算相邻像素差分绝对值基于相位的合计值，所述相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值；最大边界相位指定单元，被配置为指定最大边界相位，该最大边界相位是针对每个相位计算出的相邻像素差分绝对值基于相位的合计值中的最大值的相位；以及控制单元，被配置为控制图像处理以减少在所指定的最大边界相位的像素之间产生的编码块失真。

Description

图像处理控制设备和方法

技术领域

本发明涉及图像处理控制设备和方法，并且更具体地涉及能够提高对编码块失真进行减少的精度的图像处理控制设备和方法。

背景技术

在相关技术中，考虑了用于减少与通过以块为单位对图像数据编码而获得的编码数据相比的编码块失真的方法(例如，参见日本专利No.3700195)。

为了减少编码块失真，失真量要被计算出。例如，存在计算编码块单元中的失真量的方法。另外，如图1所示，存在从块边界之间的像素值的差的大小以及其外围像素的像素值的差来计算失真量的方法。在图1的示例中，由矩形11标出的预定范围内的像素值与相邻像素的像素值之间的差被获得，以便测量失真量。

发明内容

然而，在相关技术的方法中，如果利用例如图2中由椭圆12标出的局部范围的像素值来计算编码块失真的失真量，则如果输入图像的原始边缘存在于块边界的附近，则难以在该边缘与块边界之间进行区分。由于对这样的边缘的错误检测，失真量计算精度可能降低。

如果为了提高失真量计算精度而使用关于外围像素的信息，计算量(负荷)或所需的存储量则可能增加。

另外，由于在块边界附近出现编码块失真，因此需要准确地检测编码块边界。然而，通常，为了减小处理负荷，在各自具有预定大小的编码块与画面端部(screen end)平行地被布置的假设下，利用块大小来估计编码块边界的位置的方法被采用。

然而，例如，如画中画那样，如果将小图像嵌入大图像中，则所嵌入的小图像的编码块的位置从大图像的编码块的位置偏移。即，小图像的编码块边界的位置不是从画面端部起为块大小整数倍处的位置。为此，在通过块大小估计编码块边界的位置的方法中，块边界的位置不能被准确地指定。

另外，如果输入图像是通过放大或缩小被编码或解码为不同于该输入图像的图像大小的信号而获得的图像，则由于编码块宽度被改变为原始宽度，因此难以检测编码块边界。

考虑除了保存编码时的图像信息以外还将诸如编码块宽度之类的信息保存为数据并且在编码检测处理侧利用该信息执行检测的方法。然而，用于减少编码失真的设备可能不会获取除图像信息以外的数据。例如，如果解码是通过视频播放器的信号处理来执行的并且编码失真检测是通过经由视频电缆与视频播放器相连的电视机中的信号处理来执行的，则电视机可能不会从该视频播放器获取除图像信息以外的数据。

希望提高对编码块失真进行减少的精度。

根据本发明的实施例，提供了一种图像处理控制设备，该设备包括：相邻像素差分绝对值基于相位(phase-based)的合计值计算单元，被配置为针对表示图像被编码时的编码块的像素之间的位置的每个相位，通过将该图像的所有像素之间的相邻像素差分绝对值相加来计算相邻像素差分绝对值基于相位的合计值，相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值；最大边界相位指定单元，被配置为指定最大边界相位，该最大边界相位是由相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的相邻像素差分绝对值基于相位的合计值中的最大值的相位；以及控制单元，被配置为控制图像处理以减少在由最大边界相位指定单元指定的最大边界相位的像素之间产生的编码块失真。

该图像处理控制设备还可以包括最大值指定单元，被配置为指定由相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的相邻像素差分绝对值基于相位的合计值中的最大值；平均值计算单元，被配置为计算由相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的相邻像素差分绝对值基于相位的合计值的平均值；以及编码块失真量计算单元，被配置为通过从由最大值指定单元指定的最大值中减去由平均值计算单元计算出的平均值来计算相位的编码块失真量，并且控制单元可以控制图像处理以便将在由最大边界相位指定单元指定的最大边界相位的像素之间产生的编码块失真减少到依据由编码块失真量计算单元计算出的编码块失真量而定的程度。

该图像处理控制设备还可以包括归一化编码块失真量计算单元，被配置为利用由平均值计算单元计算出的平均值来归一化由编码块失真量计算单元计算出的编码块失真量，并且计算相位的归一化编码块失真量，并且控制单元可以控制图像处理以便将在由最大边界相位指定单元指定的最大边界相位的像素之间产生的编码块失真减少到依据由归一化编码块失真量计算单元计算出的归一化编码块失真量以及由编码块失真量计算单元计算出的编码块失真量而定的程度。

如果由归一化编码块失真量计算单元计算出的归一化编码块失真量小并且由编码块失真量计算单元计算出的编码块失真量大，则控制单元可以降低减少在由最大边界相位指定单元指定的最大边界相位的像素之间产生的编码块失真的程度。

如果由归一化编码块失真量计算单元计算出的归一化编码块失真量大并且由编码块失真量计算单元计算出的编码块失真量小，则控制单元可以降低减少在由最大边界相位指定单元指定的最大边界相位的像素之间产生的编码块失真的程度。

相邻像素差分绝对值基于相位的合计值计算单元可以针对图像的水平方向上的邻近像素来计算相邻像素差分绝对值基于相位的合计值。

相邻像素差分绝对值基于相位的合计值计算单元可以针对图像的垂直方向上的邻近像素来计算相邻像素差分绝对值基于相位的合计值。

该图像处理控制设备还可以包括图像大小改变单元，被配置为改变图像的图像大小，该图像的图像大小在编码之后被改变，并且相邻像素差分绝对值基于相位的合计值计算单元可以计算图像大小被图像大小改变单元进行了改变的图像的相邻像素差分绝对值基于相位的合计值。

根据本发明的实施例，提供了：在图像处理控制设备的相邻像素差分绝对值基于相位的合计值计算单元处，针对表示图像被编码时的编码块的像素之间的位置的每个相位，通过将该图像的所有像素之间的相邻像素差分绝对值相加来计算相邻像素差分绝对值基于相位的合计值，相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值；在图像处理控制设备的最大边界相位指定单元处，指定最大边界相位，最大边界相位是针对每个相位计算出的相邻像素差分绝对值基于相位的合计值中的最大值的相位；以及在图像处理控制设备的控制单元处，控制图像处理以减少在所指定的最大边界相位的像素之间产生的编码块失真。

在本发明的实施例中，通过将相邻像素差分绝对值相加而获得的相邻像素差分绝对值基于相位的合计值针对图像的所有像素、针对表示图像被编码时的编码块的像素之间的位置的每个相位来计算的，所述相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值，作为针对每个相位计算出的所述相邻像素差分绝对值基于相位的合计值中的最大值的相位的最大边界相位被指定，并且图像处理被控制以减少在所指定的最大边界相位的像素之间产生的编码块失真。

根据本发明，可以控制图像处理。具体地，可以提高对编码块失真进行减少的精度。

附图说明

图1是图示出相关技术的检测编码块失真量的方法的示图；

图2是图示出相关技术的检测编码块失真量的方法的示图；

图3A和图3B是图示出根据本发明检测失真量的方法的概况的示图；

图4是示出根据本发明的图像处理设备的主要配置示例的框图；

图5是示出相邻像素差分绝对值基于相位的合计值计算单元的配置示例的框图；

图6是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图7是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图8是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图9是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图10是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图11是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图12是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图13是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图14是图示出相邻像素差分绝对值基于相位的合计值计算的示图；

图15是示出编码失真参数计算单元的配置示例的框图；

图16是图示出编码失真参数的示图；

图17是示出控制单元的配置示例的框图；

图18是图示出编码块边界的示例的示图；

图19是图示出通过失真量的组合来进行失真量检测的示例的示图；

图20是图示出通过失真量的组合来进行失真量检测的示例的示图；

图21是图示出图像处理的流程的示例的流程图；

图22是图示出计算相邻像素差分绝对值基于相位的合计值的处理的流程的示例的流程图；

图23是图示出编码失真参数计算处理的流程的示例的流程图；

图24是图示出图像处理控制处理的流程的示例的流程图；

图25是图示出图像大小的改变的示图；

图26是图示出图像处理设备的另一配置示例的框图；

图27是图示出图像处理的流程的另一示例的流程图；以及

图28是示出根据本发明的个人计算机的主要配置示例的框图。

具体实施方式

下面，将描述本发明的模式(下面称为实施例)。将按以下顺序进行描述。

1.第一实施例(图像处理设备)

2.第二实施例(图像处理设备)

3.第三实施例(个人计算机)

<1.第一实施例>

[概述]

如果以块为单位对图像数据编码，则由于每个块独立地被编码，因此各个块的直流偏移，并且块的接合处易于变得不连续。这样的现象通常称为块失真。

为了减少这样的失真，对块失真进行检测。然而，在相关技术中，如图3A所示，在局部区域中检测失真量。例如，相邻像素之间的像素值的差较大的地方被检测为出现块失真的地方。

然而，甚至在图像的原始边缘分量中，该差也会增大。因此，即使利用块大小的设定值等来估计块边界位置，如果块边界和边缘分量位于彼此接近的地方，则也难以准确地区分块边界和边缘分量。由于对边缘分量的错误检测，失真量检测变得不准确。因此，难以准确地减少块失真。

然而，在一般的图像中，块边界在整个图像上周期性地存在。即，块失真在整个图像上可能周期性地出现。相比而言，图像的边缘分量可能局部地出现。

在下面描述的本发明中，利用这样的特性差异，如图3B所示，块失真在整个图像中被检测。以这种方式，能够更准确地识别检测到的像素值较大的部分是边缘分量还是块失真。

[图像处理设备的配置]

图4是示出根据本发明的图像处理设备的主要配置示例的框图。

图4所示的图像处理设备100是用于对输入图像信号执行图像处理并输出输出图像信号的设备。图像处理设备100包括图像处理控制单元101和图像处理单元102。

图像处理单元102例如对输入图像信号执行用于减少块失真的滤波器处理或者用于强调边缘分量的强调处理(锐化)，来作为图像处理。

图像处理控制单元101从输入图像信号检测块失真并且利用检测结果来控制图像处理单元102的操作。例如，如果图像处理单元102执行用于减少块失真的滤波器处理，则图像处理控制单元101控制块失真以外的分量(例如边缘分量)以使其不被减少。另外，例如，如果图像处理单元102执行用于强调边缘分量的强调处理，则图像处理控制单元101控制块失真以使其不被强调。

图像处理控制单元101包括用于从输入图像信号检测块边界(其是编码块边界)的块边界检测单元111，以及用于控制图像处理单元102的控制单元112。

块边界检测单元111包括相邻像素差分绝对值基于相位的合计值计算单元121和编码失真参数计算单元122。

相邻像素差分绝对值基于相位的合计值计算单元121获取相邻像素之间的像素值的差并且计算每个相位的合计值。编码失真参数计算单元122利用由相邻像素差分绝对值基于相位的合计值计算单元121计算出的相邻像素差分绝对值基于相位的合计值来计算编码失真参数，这些编码失真参数是编码失真的各种参数。

控制单元112根据由编码失真参数计算单元122计算出的编码失真参数的值来生成用于控制图像处理单元102的控制信号，并且将该控制信号提供给图像处理单元102，以控制图像处理单元102的操作。

[相邻像素差分绝对值基于相位的合计值计算单元的配置]

图5是示出相邻像素差分绝对值基于相位的合计值计算单元121的配置示例的框图。

如图5所示，相邻像素差分绝对值基于相位的合计值计算单元121包括相位数目设置单元151、像素获取单元152、相位确定单元153、相邻像素差分绝对值计算单元154和基于相位的合计值计算单元155。

相位数目设置单元151设置相位的数目。相位指示目标像素的编码块的位置并被称为边界相位。相位的数目由编码块大小来确定。例如，如果图像的水平方向的编码块大小为8个像素，则相位的数目为8。

图像的所有像素属于若干个编码块并且因此可以通过编码块的位置来分类。例如，如果图像的水平方向的编码块大小为8个像素，则可以在每相位基础上在水平方向上将该图像的所有像素分类为8个类型。

相位数目设置单元151设置相位的数目并提供给相位确定单元153。

像素获取单元152逐个像素地获取输入图像信号并且将输入图像信号提供给相位确定单元153。相位确定单元153确定从像素获取单元152提供来了其数据的像素属于哪个相位。相位确定单元153将像素的数据和相位确定结果提供给相邻像素差分绝对值计算单元154。

相邻像素差分绝对值计算单元154计算邻近像素(相邻像素)之间的像素值的差的绝对值(差分绝对值)。即，相邻像素差分绝对值计算单元154计算从相位确定单元153提供来的像素值与刚刚预先从相位确定单元153提供来的像素值之间的差的绝对值。相邻像素差分绝对值计算单元154将计算结果和相位确定结果提供给基于相位的合计值计算单元155。

基于相位的合计值计算单元155在每相位基础上累积从相邻像素差分绝对值计算单元154提供来的相邻像素差分绝对值。即，基于相位的合计值计算单元155计算相邻像素差分绝对值的基于相位的合计值(相邻像素差分绝对值基于相位的合计值)。例如，如果图像的水平方向上的相位数目为8，则计算出的相邻像素差分绝对值基于相位的合计值变为8。

基于相位的合计值计算单元155针对一帧的像素来获取相邻像素差分绝对值基于相位的合计值并且将相邻像素差分绝对值基于相位的合计值提供给编码失真参数计算单元122(图4)。

[相邻像素差分绝对值基于相位的合计值]

将描述计算图像的水平方向上的相邻像素差分绝对值基于相位的合计值的示例。图6是图示出相邻像素差分绝对值基于相位的合计值计算的示图。

输入图像的图像值为P_ij(i＝1，2，…，N，j＝1，2，…，M)(N：输入图像的水平像素数目，M：输入图像的垂直像素数目)。另外，水平方向的编码块大小为Bs。边界相位k由下式(1)表示。

k＝(i mod Bs)+1                        …(1)

即，通过向像素的水平方向的位置i的编码块大小的剩余部分(余数)加1而获得的值成为边界相位k。如果Bs＝8，则边界相位从输入图像的左端起为1，2，3，…，7，8，1，2，3，…(随后重复)，如图6的上边所示。

相邻像素差分绝对值dif_k，h，j通过下式(2)和(3)来计算(h为整数)。

dif_k，h，j＝|P_i，j-P_i+1，j|            …(2)

h＝i/Bs                                …(3)

即，如图6所示，邻近像素之间的像素值的差的绝对值被计算。

利用如上所述那样计算出的相邻像素差分绝对值dif_k，h，j，每个边界相位k的合计值Sum_k通过下式(4)来计算。

${\mathrm{Sum}}_k=\underset{h=1}{\overset{N/\mathrm{Bs}}{\mathrm{\&Sigma;}}}\underset{J=1}{\overset{M}{\mathrm{\&Sigma;}}}{\mathrm{dif}}_{k,h,j}\&CenterDot;\&CenterDot;\&CenterDot;\left(4\right)$

如图6所示，由于水平方向的边界相位k在水平方向上改变，因此布置在垂直方向上的像素具有相同的相位。即，计算出的相邻像素差分绝对值dif_k，h，j在图像的垂直方向上被求和(针对每列)。

例如，如图7所示，基于相位的合计值计算单元155对被假定为编码块边界相位的相位1的列中的相邻像素差分绝对值求和，并且计算和Sum₁(也称为sum_diff[1])。

接下来，如图8所示，基于相位的合计值计算单元155在列方向上对刚好位于相位1的列的右侧的相位2的列中的相邻像素差分绝对值求和，并且计算和Sum₂(也称为sum_diff[2])。

接下来，如图9所示，基于相位的合计值计算单元155在列方向上对刚好位于相位2的列的右侧的相位3的列中的相邻像素差分绝对值求和，并且计算和Sum₃(也称为sum_diff[3])。

接下来，如图10所示，基于相位的合计值计算单元155在列方向上对刚好位于相位3的列的右侧的相位4的列中的相邻像素差分绝对值求和，并且计算和Sum₄(也称为sum_diff[4])。

接下来，如图11所示，基于相位的合计值计算单元155在列方向上对刚好位于相位4的列的右侧的相位5的列中的相邻像素差分绝对值求和，并且计算和Sum₅(也称为sum_diff[5])。

接下来，如图12所示，基于相位的合计值计算单元155在列方向上对刚好位于相位5的列的右侧的相位6的列中的相邻像素差分绝对值求和，并且计算和Sum₆(也称为sum_diff[6])。

接下来，如图13所示，基于相位的合计值计算单元155在列方向上对刚好位于相位6的列的右侧的相位7的列中的相邻像素差分绝对值求和，并且计算和Sum₇(也称为sum_diff[7])。

接下来，如图14所示，基于相位的合计值计算单元155在列方向上对刚好位于相位7的列的右侧的相位8的列中的相邻像素差分绝对值求和，并且计算和Sum₈(也称为sum_diff[8])。

相邻像素差分绝对值在每相位基础上被求和，并且如图7至14的示图所示，相邻像素差分绝对值基于相位的合计值Sum_k(也称为sum_diff[k])被获得。

尽管在上面的描述中针对图像的所有像素来获得相邻像素差分绝对值并且然后获得相邻像素差分绝对值基于相位的合计值，然而该顺序是任意的。例如，每当像素获取单元152获取了一个像素的像素值，相邻像素差分绝对值计算单元154就可以获得相邻像素差分绝对值并且基于相位的合计值计算单元155就可以将该相邻像素差分绝对值增加到相应相位的合计值上(针对每个相位进行累积)。如果每个相位的合计值最后被计算出，则顺序可以是任意的。

[编码失真参数计算单元的配置]

图15是示出编码失真参数计算单元122的配置示例的框图。

如图15所示，编码失真参数计算单元122包括相邻像素差分绝对值基于相位的合计值获取单元201、最大值指定单元202和平均值计算单元203。编码失真参数计算单元122包括最大边界相位指定单元204、编码块失真量计算单元205、归一化编码块失真量计算单元206和编码失真参数输出单元207。

相邻像素差分绝对值基于相位的合计值获取单元201获取从相邻像素差分绝对值基于相位的合计值计算单元121提供来的相邻像素差分绝对值基于相位的合计值。相邻像素差分绝对值基于相位的合计值获取单元201将所获取的相邻像素差分绝对值基于相位的合计值提供给最大值指定单元202和平均值计算单元203。

最大值指定单元202指定由相邻像素差分绝对值基于相位的合计值获取单元201获取的各个相位的相邻像素差分绝对值的合计值中的最大值。例如，如果相位数目为8，则相邻像素差分绝对值基于相位的合计值获取单元201获得8个相邻像素差分绝对值基于相位的合计值。最大值指定单元202指定这八个值中的最大值。

最大值指定单元202将相邻像素差分绝对值基于相位的合计值以及指示其最大值的信息提供给最大边界相位指定单元204、编码块失真量计算单元205和归一化编码块失真量计算单元206。

平均值计算单元203计算由相邻像素差分绝对值基于相位的合计值获取单元201获取的各个相位的相邻像素差分绝对值的合计值的平均值。例如，如果相位数目为8，则相邻像素差分绝对值基于相位的合计值获取单元201获得8个相邻像素差分绝对值基于相位的合计值。平均值计算单元203指定这八个值的平均值。

平均值计算单元203将相邻像素差分绝对值基于相位的合计值以及计算出的平均值提供给编码块失真量计算单元205和归一化编码块失真量计算单元206。

最大边界相位指定单元204将由最大值指定单元202指定的最大值的相位指定为最大边界相位kmax。该最大边界相位kmax是编码失真参数之一。最大边界相位指定单元204将该最大边界相位kmax提供给编码失真参数输出单元207。

编码块失真量计算单元205利用由最大值指定单元202指定的最大值和由平均值计算单元203计算出的平均值来计算表示出现在编码块之间的块失真的水平的编码块失真量。该编码块失真量是编码失真参数之一。编码块失真量计算单元205将该编码块失真量提供给编码失真参数输出单元207。

归一化编码块失真量计算单元206利用由最大值指定单元202指定的最大值和由平均值计算单元203计算出的平均值来计算通过对编码块失真量进行归一化而获得的归一化编码块失真量。归一化编码块失真量是编码失真参数之一。归一化编码块失真量计算单元206将该归一化编码块失真量提供给编码失真参数输出单元207。

编码失真参数输出单元207将从各个单元提供来的编码失真参数提供给控制单元112(图4)。

[编码失真参数]

图16是图示出编码失真参数的示图。

相邻像素差分绝对值基于相位的合计值Sum_k(k＝1，2，…，Bs)的最大值max和平均值ave通过下式(5)和(6)来计算。

$\max =\underset{h<k<\mathrm{Bs}}{\max }{\mathrm{Sum}}_k\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

$\mathrm{ave}=\underset{k=1}{\overset{\mathrm{Bs}}{\mathrm{\&Sigma;}}}{\mathrm{Sum}}_k/\mathrm{Bs}\&CenterDot;\&CenterDot;\&CenterDot;\left(6\right)$

最大边界相位指定单元204指定最大值max的相位作为最大边界相位kmax。在图16的示例中，kmax＝3。

编码块失真量计算单元205利用最大值max和平均值ave来计算编码块失真量Bdp，如下式(7)表示的。归一化编码块失真量计算单元206利用最大值max和平均值ave(计算出的编码块失真量Bdp)来计算归一化编码块失真量nBdp，如下式(8)表示的。

Bdp＝max-ave                       …(7)

nBdp＝Bdp/ave＝(max/ave)-1         …(8)

这些值作为编码失真参数被提供给控制单元112。

尽管在上面的描述中在图像的水平方向上计算编码失真参数，然而也可以在图像的垂直方向上来计算这样的编码失真参数。不仅可以在水平方向上而且可以在垂直方向上设置相位。因此，即使在垂直方向的情况中，与上述水平方向的情况类似地，相邻像素差分绝对值基于相位的合计值可以被计算并且每个编码失真参数可以被获得。

如果在水平方向上计算编码失真参数，则在像素获取单元152获得像素值时相邻像素差分绝对值被获得并且相应相位的基于相位的合计值可以被累积。即，为了计算水平方向的相邻像素差分绝对值，前一像素的像素值被保存。相比而言，为了计算垂直方向的相邻像素差分绝对值，一行或多行的像素值必须被保存。因此，如果在水平方向上计算编码失真参数，则与在垂直方向上计算编码失真参数的情况相比，可以减少所需的存储量。

替代地，还可以在水平方向和垂直方向两者上计算编码失真参数。

[控制单元的配置]

图17是示出控制单元的配置示例的框图。

如图17所示，控制单元112包括编码失真参数获取单元251、最大边界相位依存(dependency)控制量调节单元252、编码块失真量依存控制量调节单元253和控制信号输出单元254。

编码失真参数获取单元251获取从编码失真参数输出单元207输出的编码失真参数并且将编码失真参数提供给最大边界相位依存控制量调节单元252。

最大边界相位依存控制量调节单元252利用编码失真参数中的最大边界相位kmax来执行控制量调节。最大边界相位依存控制量调节单元252将最大边界相位kmax当作编码块边界，并且对图像处理单元102执行控制量调节以减少出现在该相位中的编码块失真量。

编码块失真量依存控制量调节单元253利用编码失真参数中的编码块失真量Bdp或归一化编码块失真量nBdp来执行控制量调节。

控制信号输出单元254将根据最大边界相位依存控制量调节单元252或编码块失真量依存控制量调节单元253进行了调节的控制信号提供给图像处理单元102，并且控制图像处理单元102对输入图像信号的图像处理。

[最大边界相位]

图18是图示出编码块边界的示例的示图。

最大边界相位kmax是在整个画面上具有最大的相邻像素差分绝对值的相位。在局部地出现的边缘分量的情况中，该部分的相邻像素差分绝对值增大，然而非常大的值不被获取到整个图像上的基于相位的合计值中。相比之下，由于编码块边界在整个图像中延伸，因此该相位的相邻像素差分绝对值基于相位的合计值变得比其它相位大，如图16所示。

即，最大边界相位kmax是最有可能是编码块边界的相位。最大边界相位依存控制量调节单元252将最大边界相位kmax当作编码块边界，并且估计该编码块的位置。即，利用计算出的p将编码块边界设置在从图像左端起的第p像素与第(p+1)像素之间，如下式(9)所表示的。

编码块边界＝kmax+Bs(h-1)           …(9)

其中，h＝1，2，…，N/Bs(N是输入图像的水平像素数)。

例如，与图16的示例类似地，如果最大边界相位kmax＝3，则如图18所示，边界相位k＝3被当作是编码块边界。即，编码块边界被设置在水平方向上从左端起的第三像素与第四像素之间以及第十一像素与第十二像素之间的每Bs＝8个像素处。

最大边界相位依存控制量调节单元252可以更准确地指定编码块边界。因此，最大边界相位依存控制量调节单元252可以控制图像处理单元102以更准确地减少编码块失真。

例如，如果图像处理单元102对输入图像信号执行用于减少编码块失真的滤波器处理，则最大边界相位依存控制量调节单元252更准确地将滤波器处理仅应用于编码块边界，而不向编码块边界以外的部分应用滤波器处理。

例如，如果图像处理单元102执行用于强调边缘分量的强调处理(锐化)，则最大边界相位依存控制量调节单元252更准确地将强调处理应用于编码块边界以外的部分，而不向编码块边界应用强调处理。

在嵌入的经编辑图像等中，编码块边界可能从图像的端部偏移。然而，由于最大边界相位依存控制量调节单元252如上所述利用最大边界相位kmax来检测编码块边界，因此能够更准确地检测任何像素之间的编码块边界。即，能够处理编码块从图像的端部的偏移。

[编码块失真量]

如上所述，由于提高了指定编码块边界的精度，因此编码块失真量依存控制量调节单元253可以获得更准确的编码块失真量Bdp和归一化编码块失真量nBdp。因此，编码块失真量依存控制量调节单元253可以控制图像处理单元102以更适当地减少编码块失真。

例如，如果图像处理单元102对输入图像信号执行用于减少编码块失真的滤波器处理，则编码块失真量依存控制量调节单元253可以更适当地控制滤波器处理的强度(减少程度)。

另外，例如，如果图像处理单元102执行用于强调边缘分量的强调处理(锐化)，则编码块失真量依存控制量调节单元253可以更适当地控制强度以使得强调处理被执行，而不会强调编码块失真。

编码块失真量依存控制量调节单元253利用编码失真参数中的编码块失真量Bdp和归一化编码块失真量nBdp两者来更准确地执行控制。

例如，编码块失真量依存控制量调节单元253通过如图19所示的表中的编码失真参数中的编码块失真量Bdp或者归一化编码块失真量nBdp的值来确定编码块失真水平。

在图19所示的表中，如果编码块失真量Bdp小并且归一化编码块失真量nBdp小，则编码块失真量依存控制量调节单元253确定图像的编码块失真小。如果编码块失真量Bdp小并且归一化编码块失真量nBdp大，则确定在具有小的边缘分量的平坦图像中图像的编码块失真大。

如果编码块失真量Bdp大并且归一化编码块失真量nBdp小，则确定在具有许多边缘分量等的复杂图像中图像的编码块失真大。如果编码块失真量Bdp大并且归一化编码块失真量nBdp大，则确定图像的编码块失真大。

例如，如果图像处理单元102执行滤波器处理以减少在输入图像中生成的编码块失真，则编码块失真量依存控制量调节单元253根据编码块失真量Bdp(或归一化编码块失真量nBdp)来控制滤波器处理的降噪效果的水平。

一般地，在这样的滤波器处理中，难以仅减少编码块失真。即，除了编码块失真外，还可能减少高频分量。

编码块失真量依存控制量调节单元253可以通过利用编码块失真量Bdp和归一化编码块失真量nBdp这两个参数来更精确地检测输入图像中的编码失真的特性，如上所述。

图20是图示出通过失真量的组合来进行失真量检测的示例的示图。

如图20所示，在具有许多高频分量的复杂图像301的情况中，块失真可能在视觉上不显著。如果通过滤波器处理来减少块失真，则高频分量被减少的可能性较高。即，由滤波器处理引起的图像质量恶化可能较大地增加。

相比而言，在具有许多低频分量的平坦图像302的情况中，块失真可能在视觉上是显著的。即使通过处理器处理来减少块失真，由于易于受滤波器处理影响的高频分量的数目较少，因此因滤波器处理引起的图像质量恶化较小。

基于特性差异，例如，编码块失真量依存控制量调节单元253可以调节控制量以使得复杂图像301中的降噪效果变弱，并且可以调节控制量以使得平坦图像302中的降噪效果变强。

[图像处理的流程]

接下来，将描述由上述单元执行的处理的流程。首先，将参考图21的流程图描述由图像处理设备100执行的图像处理的流程的示例。

当图像信号被输入时，图像处理设备100执行图像处理。如果图像处理开始，则图像处理控制单元101的块边界检测单元111的相邻像素差分绝对值基于相位的合计值计算单元121在步骤S101中执行相邻像素差分绝对值基于相位的合计值计算处理。

在步骤S102，图像处理控制单元101的块边界检测单元111的编码失真参数计算单元122执行编码失真参数计算处理。

在步骤S103，图像处理控制单元101的控制单元112控制图像处理。

在步骤S104，图像处理单元102在图像处理控制单元101的控制下执行图像处理。例如，图像处理单元102可以根据从图像处理控制单元101提供来的控制信号来对输入图像信号执行图像处理，例如，用于抑制块失真的滤波器处理或者用于强调边缘分量的强调处理(锐化)。抑制量和强调量等可以由从图像处理控制单元101提供来的控制信号指定。

如果对输入图像信号的图像处理完成，则图像处理设备100完成图像处理。

[相邻像素差分绝对值基于相位的合计值计算处理的流程]

接下来，将参考图22的流程图描述在图21的步骤S101中执行的相邻像素差分绝对值基于相位的合计值计算处理的流程的示例。

如果相邻像素差分绝对值基于相位的合计值计算处理开始，则相邻像素差分绝对值基于相位的合计值计算单元121的相位数目设置单元151在步骤S121中将输入图像的编码块大小设置为相位数目。

在步骤S122中，像素获取单元152获取将要处理的像素的数据。在步骤S123，相位确定单元153确定将要处理的像素的相位。在步骤S124，相邻像素差分绝对值计算单元154计算相邻像素差分绝对值。例如，如果计算水平方向的相邻像素差分绝对值，则相邻像素差分绝对值计算单元154计算先前获取的像素值与当前获取的像素值之间的差的绝对值。

如果要处理的像素是图像右端的像素，则右边的相邻像素不存在。在此情况中，相邻像素差分绝对值计算单元154可以省略相邻像素差分绝对值的计算，并且将处理返回步骤S122以执行对下一像素的处理。例如，相邻像素差分绝对值计算单元154可以准备预定的伪数据并且计算该伪数据与要处理的像素之间的相邻像素差分绝对值。

在步骤S125，基于相位的合计值计算单元155将在步骤S124中计算出的相邻像素差分绝对值增加到在步骤S123中确定的该相位的基于相位的合计值上。

在步骤S126，相邻像素差分绝对值基于相位的合计值计算单元121判断是否针对所有像素执行了处理。如果判断出图像中存在未被处理的像素，则处理返回步骤S122并且针对未被处理的像素重复后续处理。

即，重复步骤S122至步骤S126的处理直到图像的所有像素被处理为止。

在步骤S126，如果判断出所有像素已被处理，则相邻像素差分绝对值基于相位的合计值计算单元121使处理前进到步骤S127。在步骤S127，基于相位的合计值计算单元155将所累积的相邻像素差分绝对值基于相位的合计值输出并提供给编码失真参数计算单元122。

如果步骤S127的处理完成，则相邻像素差分绝对值基于相位的合计值计算单元121结束相邻像素差分绝对值基于相位的合计值计算处理，将处理返回图21的步骤S101，并且使处理前进到步骤S102。

[编码失真参数计算处理的流程]

接下来，将参考图23的流程图描述在图21的步骤S102中执行的编码失真参数计算处理的流程的示例。

如果编码失真参数计算处理开始，则编码失真参数计算单元122的相邻像素差分绝对值基于相位的合计值获取单元201在步骤S141中获取相邻像素差分绝对值基于相位的合计值。

在步骤S142，最大值指定单元202指定在步骤S141中获得的相邻像素差分绝对值基于相位的合计值中的最大值。

在步骤S143，平均值计算单元203计算在步骤S141中获得的相邻像素差分绝对值基于相位的合计值的平均值。

在步骤S144，最大边界相位指定单元204将在步骤S142中指定的最大值的相位指定为最大边界相位。

在步骤S145，编码块失真量计算单元205利用在步骤S142中指定的最大值以及在步骤S143中计算出的平均值来计算编码块失真量。

在步骤S146，归一化编码块失真量计算单元206利用在步骤S142中指定的最大值以及在步骤S143中计算出的平均值来计算归一化编码块失真量。

在步骤S147中，编码失真参数输出单元207将在步骤S144中指定的最大边界相位、在步骤S145中计算出的编码块失真量以及在步骤S146中计算出的归一化编码块失真量作为编码失真参数输出给控制单元112。

如果步骤S147的处理完成，则编码失真参数计算单元122结束该编码失真参数计算处理，使处理返回图21的步骤S102，并且使处理前进到步骤S103。

[图像处理控制处理的流程]

接下来，将参考图24的流程图描述在图21的步骤S103中执行的图像处理控制处理的流程的示例。

如果图像处理控制处理开始，则在步骤S161，控制单元112的编码失真参数获取单元251获取编码失真参数。

在步骤S162，最大边界相位依存控制量调节单元252依据经历图像处理单元102的图像处理的像素是位于编码块边界的左侧还是右侧，来调节由图像处理单元102执行的图像处理的控制量。

在步骤S163，编码块失真量依存控制量调节单元253通过编码块失真量和归一化编码块失真量来调节由图像处理单元102执行的图像处理的控制量。

在步骤S164，控制信号输出单元254将在步骤S162和步骤S163中调节了其控制量的控制信号输出给图像处理单元102。

如果步骤S164的处理完成，则控制单元112结束该图像处理控制处理，使处理返回图21的步骤S103，并且使处理前进到步骤S104。

通过执行如上所述的处理，即，从整个图像指定编码块边界、计算失真量以及基于这些值控制图像处理，图像处理设备100可以提高编码块失真进行减少的精度。

即，通过利用输入图像的所有样本来计算编码失真量，减少了对位于输入图像的块边界位置处的图像的原始边缘的影响，并且获得了以高精度检测编码块失真量的结果。因此，提高了图像处理设备100对编码块失真进行减少的精度。

另外，图像处理设备100可以在不增加计算量或所需存储量的情况下来计算编码失真参数。

由于编码块边界的位置可被估计出，因此即使对于嵌入的经编辑图像，也可以执行编码失真检测。

编码失真参数还可以包括上述参数以外的参数。可以仅计算上述编码失真参数中的一些参数。

例如，编码失真参数计算单元122可以仅指定最大边界相位。在此情况中，控制单元112至少可以将该最大边界相位估计为编码块边界。因此，控制单元112例如可以控制图像处理单元102是否执行滤波器处理，以便仅对位于编码块边界左侧和右侧的像素执行减少失真量的滤波器处理。

例如，编码失真参数计算单元122可以指定最大边界相位或者计算编码块失真量或归一化编码块失真量中的任一个。如果编码块失真量或归一化编码块失真量中的任一个存在，则控制单元112可以调节图像处理单元102对编码块边界左侧和右侧上的像素的失真量的减少程度。

例如，编码失真参数计算单元122可以计算编码块失真量或归一化编码块失真量中的任一个。如果编码块失真量或归一化编码块失真量中的任一个存在，则控制单元112可以调节图像处理单元102对整个图像的失真量的减少程度。

例如，编码失真参数计算单元122可以仅计算编码块失真量和归一化编码块失真量。如果编码块失真量和归一化编码块失真量两者都存在，则控制单元112可以识别图像是复杂的还是平坦的，如上所述，并且更适当地调节对整个图像的失真量的减少程度。

<2.第二实施例>

[概述]

输入图像可以是从编码时的图像大小放大或缩小的图像。例如，即使对于作为由陆地数字广播所广播的图像的压缩格式(squeeze-format)图像，图像处理设备100也可以提高对编码块失真进行减少的精度。

图25是图示出图像大小的改变的示图。

如图25所示，在陆地数字广播所广播的图像的情况中，具有1920个像素的水平大小的图像被缩小为1440个像素并且随后被编码。在解码和显示时，该图像的水平大小被恢复为1920个像素(在水平方向上被放大)。

因此，编码时是8个像素的水平方向的编码块大小在显示时变为大约10.6个像素。

即使在该图像中，在本图像处理设备中，由于相位数目可以任意设置，因此也能够容易地提高对编码块失真进行减少的精度。由于相位的数目必须为整数，因此图像大小可适当地被改变，然后块边界可被检测到。

[图像处理设备的配置]

图26是图示出图像处理设备的另一配置示例的框图。

在此情况中，图像处理设备400包括取代图像处理控制单元101的图像处理控制单元401，如图26所示。图像处理控制单元401包括图像大小改变单元411-2至图像大小改变单元411-N、块边界检测单元412-1至块边界检测单元412-N以及选择单元413，而不是块边界检测单元111。

图像大小改变单元411-2至图像大小改变单元411-N将输入图像改变为不同的图像大小。如果不必可区分地描述图像大小改变单元411-2至图像大小改变单元411-N，则可将这些单元称为图像大小改变单元411。

块边界检测单元412-1至块边界检测单元412-N作为处理单元相当于块边界检测单元111。即，块边界检测单元412-1至块边界检测单元412-N从具有输入大小的图像大小或者具有经图像大小改变单元411-2至图像大小改变单元411-N改变的图像大小的输入图像中检测块边界。

此时，相位的数目根据图像大小被适当地调节。如果不必可区分地描述块边界检测单元412-1至块边界检测单元412-N，则可将这些单元称为块边界检测单元412。

选择单元413从多个计算出的编码失真参数中选择最佳编码失真参数并且输出。例如，陆地数字广播信号被编码为1440×1080个像素的图像大小，并且在解码时被放大为1920×1080个像素。如果经放大的图像成为输入图像，则编码失真参数在1920×1080个像素的状态中被计算并且编码失真参数在被减少为1440×1080个像素之后被计算。

选择单元413例如选择这两个参数中的较大参数并输出。此时，由于编码时的图像大小可以被估计出，因此可以通过将最大边界相位kmax乘以估计出的放大/缩小比来估计出输入图像的块边界宽度。[图像处理的流程]

该情况中的图像处理的示例将参考图27的流程图来描述。

在步骤S201，图像处理设备400的图像处理控制单元401确定经历图像处理的图像大小。在步骤S202，图像处理控制单元401从在步骤S201中确定的经历图像处理的图像大小中选择一个。在步骤S203，图像大小改变单元411将输入图像设置为所选图像大小。

块边界检测单元412在步骤S204中执行相邻像素差分绝对值基于相位的合计值计算处理，并且在步骤S205中执行编码失真参数计算处理。这些处理与图22或图23的流程图的描述相同。

在步骤S206，图像处理控制单元401判断是否存在未被处理的图像大小，如果判断出存在未被处理的图像大小则使处理返回步骤S202，并且针对新的未被处理的图像大小重复后续处理。

在步骤S206，如果判断出已针对在步骤S201中确定的所有图像大小执行了处理，则图像处理控制单元401使处理前进到步骤S207。

在步骤S207，选择单元413从针对每个图像大小计算出的编码失真参数中选择最佳参数。选择单元413可以任意地确定最佳参数。

控制单元112在步骤S208中指定图像大小，并且在步骤S209中执行图像处理控制处理以及图像处理。图像处理控制处理与图24的流程图的描述相同。

在步骤S210，图像处理单元102在控制单元112的控制下执行图像处理。

如果步骤S210的处理完成，则图像处理设备400结束该图像处理。

如上所述，即使对于从编码时的图像大小放大或缩小的输入图像，也可以更准确地计算编码失真参数，并且同时更准确地估计编码时的图像大小。

尽管在上面的描述中输入图像是逐行扫描型图像，然而输入图像例如还可以是隔行扫描型图像。即使在此情况中，本图像处理设备也可以对每场图像与上述帧图像类似地执行处理。

<3.第三实施例>

[个人计算机]

上述处理序列可以通过硬件或软件来执行。在此情况中，例如，可以配置图28所示的个人计算机。

在图28中，个人计算机500的CPU 501根据存储在只读存储器(ROM)502中的程序或者从存储单元513载入随机存取存储器(RAM)503的程序来执行各种类型的处理。CPU 501执行各种类型的处理所需的数据等被适当地存储在RAM 503中。

CPU 501、ROM 502和RAM 503经由总线504彼此相连。该总线504还连接到输入/输出接口510。

包括键盘、鼠标等的输入单元511、包括阴极射线管(CRT)、液晶显示(LCD)等的显示器、包括扬声器等的输出单元512、包括硬盘等的存储单元513，以及包括调制解调器等的通信单元514被连接到输入/输出接口510。通信单元514通过包括因特网在内的网络执行通信处理。

按照需要，驱动器515被连接到输入/输出接口510，诸如磁盘、光碟、次光碟或半导体存储器之类的可移除介质521被适当地装载，并且按照需要，从中读出的计算机程序被安装在存储单元513中。

如果上述处理序列通过软件来执行，则从网络或记录介质来安装构成软件的程序。

该记录介质例如包括如图28所示的可移除介质521、ROM 502或者包括在存储单元513中的硬盘，可移除介质521包括与设备体相分离的、记录有程序并且被分发以便将程序递送给用户的磁盘(包括软盘)、光碟(包括致密碟只读存储器(CD-ROM)或数字通用光碟(DVD))、磁光碟(迷你碟(MD))、半导体存储器等，ROM 502中记录有程序并且以预先被装配在设备体中的状态被递送给用户。

由计算机执行的程序可以是按照本说明书中描述的顺序来顺序地执行处理的程序，或者在调用时并行地或在所需定时处执行处理的程序。

在本说明书中，描述记录在记录介质上的程序的步骤包括按所描述的顺序来顺序地被执行的处理，或者不被顺序地执行而是并行地或单独地被执行的处理。

在本说明书中，系统是指包括多个设备(装置)的整体设备。

在上面的描述中被描述为一个设备(或处理单元)的配置可以包括多个设备(或处理单元)。在上面的描述中被描述为多个设备(或处理单元)的配置可以包括一个设备(或处理单元)。上述配置以外的配置也可被添加到每个设备(或处理单元)的配置中。另外，如果整体系统的配置或操作基本上相同，则某个设备(或处理单元)的配置的一部分可被包括在另一设备(或另一处理单元)的配置中。即，本发明的实施例不限于上述实施例，并且可以在不脱离本发明的范围的情况下作出各种修改。

本申请包含与2010年3月31日向日本专利局提交的日本优先专利申请JP 2010-080523中公开的主题有关的主题，该申请的全部内容通过引用结合于此。

本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。

Claims (9)

1.一种图像处理控制设备，包括：

相邻像素差分绝对值基于相位的合计值计算单元，所述相邻像素差分绝对值基于相位的合计值计算单元被配置为针对表示图像被编码时的编码块的像素之间的位置的每个相位，通过将该图像的所有像素之间的相邻像素差分绝对值相加来计算相邻像素差分绝对值基于相位的合计值，所述相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值；

最大边界相位指定单元，所述最大边界相位指定单元被配置为指定最大边界相位，所述最大边界相位是由所述相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的所述相邻像素差分绝对值基于相位的合计值中的最大值的相位；以及

控制单元，所述控制单元被配置为控制图像处理以减少在由所述最大边界相位指定单元指定的所述最大边界相位的像素之间产生的编码块失真。

2.根据权利要求1所述的图像处理控制设备，还包括：

最大值指定单元，所述最大值指定单元被配置为指定由所述相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的所述相邻像素差分绝对值基于相位的合计值中的最大值；

平均值计算单元，所述平均值计算单元被配置为计算由所述相邻像素差分绝对值基于相位的合计值计算单元针对每个相位计算出的所述相邻像素差分绝对值基于相位的合计值的平均值；以及

编码块失真量计算单元，所述编码块失真量计算单元被配置为通过从由所述最大值指定单元指定的所述最大值中减去由所述平均值计算单元计算出的所述平均值来计算相位的编码块失真量，

其中，所述控制单元控制图像处理以便将在由所述最大边界相位指定单元指定的所述最大边界相位的像素之间产生的编码块失真减少到依据由所述编码块失真量计算单元计算出的编码块失真量而定的程度。

3.根据权利要求2所述的图像处理控制设备，还包括归一化编码块失真量计算单元，所述归一化编码块失真量计算单元被配置为利用由所述平均值计算单元计算出的所述平均值来归一化由所述编码块失真量计算单元计算出的编码块失真量，并且计算相位的归一化编码块失真量，

其中，所述控制单元控制图像处理以便将在由所述最大边界相位指定单元指定的所述最大边界相位的像素之间产生的编码块失真减少到依据由所述归一化编码块失真量计算单元计算出的归一化编码块失真量以及由所述编码块失真量计算单元计算出的编码块失真量而定的程度。

4.根据权利要求3所述的图像处理控制设备，其中，如果由所述归一化编码块失真量计算单元计算出的归一化编码块失真量小并且由所述编码块失真量计算单元计算出的编码块失真量大，则所述控制单元降低减少在由所述最大边界相位指定单元指定的所述最大边界相位的像素之间产生的编码块失真的程度。

5.根据权利要求3所述的图像处理控制设备，其中，如果由所述归一化编码块失真量计算单元计算出的归一化编码块失真量大并且由所述编码块失真量计算单元计算出的编码块失真量小，则所述控制单元降低减少在由所述最大边界相位指定单元指定的所述最大边界相位的像素之间产生的编码块失真的程度。

6.根据权利要求1所述的图像处理控制设备，其中，所述相邻像素差分绝对值基于相位的合计值计算单元针对所述图像的水平方向上的邻近像素来计算所述相邻像素差分绝对值基于相位的合计值。

7.根据权利要求1所述的图像处理控制设备，其中，所述相邻像素差分绝对值基于相位的合计值计算单元针对所述图像的垂直方向上的邻近像素来计算所述相邻像素差分绝对值基于相位的合计值。

8.根据权利要求1所述的图像处理控制设备，还包括图像大小改变单元，所述图像大小改变单元被配置为改变图像的图像大小，该图像的图像大小在编码之后被改变，

其中，所述相邻像素差分绝对值基于相位的合计值计算单元计算图像大小被所述图像大小改变单元进行了改变的图像的相邻像素差分绝对值基于相位的合计值。

9.一种图像处理控制设备的图像处理控制方法，包括：

在所述图像处理控制设备的相邻像素差分绝对值基于相位的合计值计算单元处，针对表示图像被编码时的编码块的像素之间的位置的每个相位，通过将该图像的所有像素之间的相邻像素差分绝对值相加来计算相邻像素差分绝对值基于相位的合计值，所述相邻像素差分绝对值是经过预定图像处理的图像的相邻像素之间的像素值的差的绝对值；

在所述图像处理控制设备的最大边界相位指定单元处，指定最大边界相位，所述最大边界相位是针对每个相位计算出的所述相邻像素差分绝对值基于相位的合计值中的最大值的相位；以及

在所述图像处理控制设备的控制单元处，控制图像处理以减少在所指定的最大边界相位的像素之间产生的编码块失真。

Images