CN103037216A - 图像处理装置和方法、程序以及记录介质 - Google Patents

Abstract

本发明涉及图像处理装置和方法、程序以及记录介质。一种图像处理装置包括：运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

Description

图像处理装置和方法、程序以及记录介质

技术领域

本发明涉及图像处理装置及其方法、程序以及记录介质，更具体地，涉及用于更精确地检测块噪声(block noise)的图像处理装置和方法、程序以及记录介质。

背景技术

一般地，以块为单位进行图像的编码和解码处理。然而，当图像信号的压缩率高时，在相邻块之间产生灰度差异。特别地，灰度差异容易出现在灰度适度变化的部分中。由灰度差异所造成的噪声被称为块噪声。

为了检测块噪声，获取图像中的相邻块之间的第一微分值(例如，参见日本未实审专利申请公报No.2001-119695)。

发明内容

然而，在上述公开中，当图像中包含的边缘部分与块的边界区相匹配时，虽然该块不包含块噪声，但是存在块被错误检测为包含块噪声的块的情形。

在考虑到这样的情况下做出了本公开。期望能更准确地检测块噪声。

根据本公开的实施例，提供了一种图像处理装置，包括：运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

差分计算部分可以计算块单元的参考图像与运动补偿图像的像素的像素值之间的差分值，图像处理装置还可以包括近似处理部分，其将差分值近似为预定函数，和积分处理部分，其对预定函数积分，并且阈值处理部分可以通过对由积分处理部分获得的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

差分计算部分可以计算与标准图像和运动补偿图像处的目标块中的相邻块相邻的边界区处的像素的像素值之间的差分值。

差分计算部分可以计算通过采样与目标块中的相邻块相邻的边界区处的像素而获得的像素的像素值之间的差分值。

阈值处理部分可以通过将由积分处理部分获得的积分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

差分计算部分可以计算通过对标准图像的像素的像素值求微分而获得的第一微分值与通过对运动补偿图像的像素的像素值求微分而获得的第二微分值之间的差分值，并且阈值处理部分可以通过对第一微分值和第二微分值之间的差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

差分计算部分可以计算通过对目标块和相邻块的边界区的像素的像素值求微分而获得的第一微分值与通过对运动补偿图像中的目标块和相邻块的图像的边界区的像素的像素值求微分而获得的第二微分值之间的差分值。

还可提供均值计算部分，其计算块的边界区处的差分值的平均值，并且阈值处理部分可以通过对由均值计算部分获得的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

阈值处理部分可以通过将第一微分值和第二微分值之间的差分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否可能被包含在块单元的运动补偿图像中。

还可提供微分处理部分，其对由差分计算部分计算出的差分值求微分，阈值处理部分可以通过对由微分处理部分计算的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

微分处理部分可以对目标块和相邻块之间的边界区的差分值求微分。

还可提供平均值计算部分，其计算块中的边界区处的微分值的平均值，并且阈值处理部分可以通过对由平均值计算部分计算的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

阈值处理部分可以通过将由微分处理部分计算的微分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

根据本公开的另一个实施例，提供了一种图像处理装置的图像处理方法，该图像处理装置包括：运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中；该方法包括：从标准图像和参考图像中检测构成图像的块单元的运动矢量；通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

根据本公开的再一个实施例，提供了一个程序，其导致计算机执行如下处理，包括：从标准图像和参考图像中检测构成图像的块单元的运动矢量；通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

根据本公开的实施例，该方法从标准图像和参考图像中检测构成图像的块单元的运动矢量，通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像，计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值，以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

本公开能够更准确地检测块噪声。

附图说明

图1是示出了根据本公开的图像处理设备的一个实施例的功能配置示例的框图。

图2是示出了块噪声检测部分的第一配置例的框图。

图3A-3C是示出了块噪声检测的布置的视图。

图4是示出了块噪声检测结果的输出处理的流程图。

图5是示出了由图2中的块噪声检测部分进行的块噪声检测处理的流程图。

图6是示出了块的边界区的差分值的视图。

图7是示出了与亮度值对应的噪声强度的视图。

图8是示出了块噪声检测部分的第一配置的修改示例的框图。

图9是示出了由图8中的块噪声检测部分进行的块噪声检测处理的流程图。

图10是示出了块噪声检测部分的第二配置示例的框图。

图11是示出了由图10中的块噪声检测部分进行的块噪声检测处理的流程图。

图12是示出了对差分值的近似的视图。

图13是示出了积分处理的视图。

图14是示出了分部分求面积(quadrature by parts)的视图。

图15是示出了分部分求面积的视图。

图16是示出了计算机的硬件配置示例的框图。

具体实施方式

将参考下面的附图说明本公开的实施例。其说明按照下列顺序进行。

1.图像处理设备的配置

2.块噪声检测部分的第一配置示例

3.块噪声检测结果输出处理和块噪声检测处理

4.块噪声检测部分的第一配置示例的修改示例和块噪声检测处理

5.块噪声检测部分的第二配置示例和块噪声检测处理

1.图像处理设备的配置

图1示出了应用本公开的图像处理设备的实施例的配置。

图1的图像处理设备11例如生成Cur图像的估计图像，它使用从图像设备(未示出)提供(输入)的标准图像(以下，称为Cur图像)和在时间上早于Cur图像的参考图像(以下，称为Ref图像)执行块匹配。此外，图像处理设备11检测包含在估计图像中的块噪声并通过比较Cur图像和估计图像来输出检测结果。此外，输入图像处理设备11中的图像是运动图像，其包括时间上连续的多个帧，并且Ref图像是噪声减少的图像，由另一个图像处理设备基于块噪声的检测结果相对于Cur图像在其上执行噪声减少处理。此外，图像处理设备11自身可被设置在诸如数码相机等之类的成像设备内。

图1的图像处理设备11包括运动估计处理部分31、运动补偿处理部分32和块噪声检测部分33。

运动估计处理部分31从作为受到关注的帧的Cur图像和一帧之前的Ref图像来检测包括其图像的块单元的运动矢量MV，并提供运动矢量给运动补偿处理部分32。具体地，运动估计处理部分31通过使用Ref图像的对应块来定位Cur图像的块，来获得块单元的运动矢量MV。

运动补偿处理部分32通过使用运动估计处理部分31的块单元的运动矢量MV来执行对Ref图像的运动补偿，而针对Ref图像生成以块单元为基础被定位到Cur图像的运动补偿图像(以下称为MC图像)，并将该图像提供给块噪声检测部分33。

块噪声检测部分33通过将Cur图像和来自运动补偿处理部分32的MC图像相比较来检测MC图像中包含的块噪声并输出检测的结果。具体地，块噪声检测部分33通过获得Cur图像的像素的像素值和MC图像的像素的像素值之间的差分值值并通过对差分值值执行阈值处理来检测包含在块单元的MC图像中的块噪声。

2.块噪声检测部分的第一配置示例

下面将参照图2描述块噪声检测部分33的第一配置示例。

图2的块噪声检测部分33包括滤波处理部分51、滤波处理部分52、微分处理部分53、微分处理部分54、差分计算部分55、平均值计算部分56和阈值处理部分57。

滤波处理部分51对Cur图像执行滤波处理，并将滤波的Cur图像提供给微分处理部分53。具体来说，滤波处理部分51使用中值滤波器和低通滤波器、中值滤波器和低通滤波器的组合滤波器等对Cur图像执行滤波处理。

滤波处理部分52对MC图像执行滤波处理，并将滤波的MC图像提供给微分处理部分54。具体来说，滤波处理部分52使用中值滤波器和低通滤波器、中值滤波器和低通滤波器的组合滤波器等以与滤波处理部分51相同的方式对MC图像执行滤波处理。

微分处理部分53获取对滤波处理部分51对其执行了滤波处理的Cur图像的像素的像素值求微分的微分值，并将微分值提供给差分计算部分55。例如，如图3A所示，获得了与附图中的箭头方向平行的Cur图像的像素之间的像素值的差分值(一次微分值)。如图3A所示，Cur图像的一次微分值在Cur图像的边缘部分(Cur图像的纵向方向上的中央部分)增大。

微分处理部分54获取对滤波处理部分52对其执行了滤波处理的MC图像的像素的像素值求微分的微分值，并将微分值提供给差分计算部分55。例如，如图3B所示，获得了与附图中的箭头方向(x轴方向)平行的块单元的MC图像的像素之间的像素值的差分值(一次微分值)。如图3B所示，MC图像的一次微分值在MC图像的边缘部分(Cur图像的纵向方向上的中央部分)与包含块噪声的块(加阴影的块)之间的边界区中增大。

差分计算部分55计算来自微分处理部分53的Cur图像的微分值和来自微分处理部分54的MC图像的微分值之间的差分值并将差分值提供给平均值计算部分56。也就是说，在图3A所示的Cur图像的一次微分值和图3B所示的MC图像的一次微分值之间的差分值中，其每个边缘的值被抵消，并且只有包括块噪声的块的边界区被形成为具有如图3C所示的值。

平均值计算部分56以块单元为基础计算来自差分计算部分55的差分值的平均值，并将该值提供给阈值处理部分57。

阈值处理部分57通过判断来自平均值计算部分56的平均值是否比块单元上的预定阈值高，来输出指示块噪声是否包含在该块的MC图像中的检测结果。

3.块噪声检测结果输出处理和块噪声检测处理

接下来，将参照图4和图5的流程图对由图1中的图像处理装置11进行的块噪声检测结果输出处理和由图2中的块噪声检测部分33进行的块噪声检测处理加以描述。

块噪声检测结果输出处理

首先，参照图4的流程图，将描述在图1中描述的图像处理装置11中的块噪声检测结果输出处理。

在步骤S11，运动估计处理部分31为来自Cur图像和Ref图像的每一个块检测运动矢量MV并且将检测到的矢量MV提供给运动补偿处理部分32。

在步骤S12，运动补偿处理部分32通过使用来自运动估计处理部分31的运动矢量MV执行Ref图像的运动补偿来生成运动补偿图像(MC图像)，并将运动补偿图像提供给块噪声检测部分33。

在步骤S13，块噪声检测部分33通过执行块噪声检测处理来检测包含在MC图像中的块噪声。

如上所述，在MC图像中的块噪声的检测结果被输出。

块噪声检测处理

接下来，参照图5的流程图，将描述图4中的流程图的步骤S13中的块噪声检测处理。

在步骤S31，滤波处理部分51对Cur图像执行滤波处理，并将Cur图像提供给微分处理部分53。

在步骤S32，滤波处理部分52对MC图像执行滤波处理，并将MC图像提供给微分处理部分54。

如上所述，包含在每一幅图像中的噪声可通过对Cur图像和MC图像执行滤波处理进行控制。此外，步骤S31和S32中的处理可被并行执行。

在步骤S33，微分处理部分53对位于由滤波处理部分51对其执行了滤波处理并接受关注的目标块和与目标块相邻的相邻块之间的边界区的Cur图像执行微分处理。具体地，微分处理部分53获得目标块的四个边和与Cur图像的四个边相邻的相邻块的像素的像素值之间的差分值，并将差分值提供给差分计算部分55。

在步骤S34，微分处理部分54对位于由滤波处理部分52对其执行了滤波处理的目标块与相邻块之间的边界区的MC图像执行微分处理。具体来说，微分处理部分54获得目标块的四个边和与四个边相邻的相邻块的像素的像素值之间的差分值，并将差分值提供给差分计算部分55。

在步骤S35，差分计算部分55计算来自微分处理部分53的目标块的四个边的Cur图像的微分值(差分值)和来自微分处理部分54的目标块的四个边的MC图像的微分值(差分值)之间的差分值，并将该差分值提供给平均值计算部分56。

在步骤S36，平均值计算部分56针对每一个边计算来自差分计算部分55的四个边的差分值的平均值，并将平均值提供给阈值处理部分57。例如，如果一个块包括8×8个像素，则平均值计算部分56针对每一个边计算八个像素的差分值的平均值。

也就是说，如图6右侧所示，目标块和相邻块之间的边界区的像素值不使用以像素(像素)为基础进行比较的值，而是使用以边界区(块的一个边的单位)为基础来比较目标块和相邻块之间的边界区的像素值的值。如上所述，可以通过相加和平均微分值来抑制由Cur图像中包含的图像传感器所引起的噪声的影响。

在此，如果Cur图像的微分值(差分值)是ΔCur并且MC图像的微分值(差分值)是ΔMC，则由平均值计算部分56获得的平均值block_strength由以下的式1表示。

$\mathrm{block}\_\mathrm{strength}=\mathrm{abs}\left(\frac{1}{\mathrm{BlockSize}}\underset{\mathrm{BlockSize}}{\mathrm{\Σ}}(\mathrm{\ΔCur}-\mathrm{\ΔMc})\right)---\left(1\right)$

此外，式1中块大小(BlockSize)是例如为八的块大小。此外，式(1)中的abs(A)表示A的绝对值。平均值block_strength的值越大，在目标块和相邻块之间发生的灰度差异就越大。

此外，虽然差分值的平均值是对于例如块的四个边中的每一边获得，但相当于八个像素的量(块的一个边的部分)的微分值中的任何一个都可以被作为平均值来处理。

相应地，目标块的平均值是四个，即，获得了相当于块的四个边的量。

回到图5的流程图，在步骤S37，阈值处理部分57判断来自平均值计算部分56的块的相应的四个边的平均值是否大于如下阈值，该阈值是基于与提前获得的亮度值相应的噪声强度来设置的。

图7示出了与成像设备(未示出)所获得的图像的亮度值对应的噪声强度。

在图7中，横轴示出了像素的亮度值，纵轴示出了噪声强度。因为噪声强度由于像素而有变化，所以整个图像中的每一个像素的噪声强度分布被提前获得，以使得图7所示的噪声强度基于噪声强度分布来获得。

此外，提供了与R、G和B三个通道的亮度值(亮度信号)对应的噪声强度，并且图7所示的噪声强度例如显示了与G信号对应的噪声强度。

也就是说，阈值处理部分57以目标块的Cur图像中的像素的亮度值(例如，G信号)为基础，基于来自图7所示的关系的与亮度值相对应的噪声强度来设置阈值Th。此外，阈值处理部分57使用下面的式(2)将阈值Th与来自平均值计算部分56的该块的相应的四个边的平均值进行比较，以判断平均值是否大于阈值。

$\mathrm{abs}\left(\frac{1}{\mathrm{BlockSize}}\underset{\mathrm{BlockSize}}{\mathrm{\Σ}}(\mathrm{\ΔCur}-\mathrm{\ΔMc})\right)>\mathrm{Th}---\left(2\right)$

在步骤S37，如果判定块的相应的4个边的平均值中的任何一个平均值大于该阈值，处理就前进到步骤S38，并且阈值处理部分57输出表示检测到块噪声的意思的检测结果。

同时，在步骤S37，如果判定块的相应的4个边的平均值都没有大于该阈值，处理就前进到步骤S39，并且阈值处理部分57输出表示没有检测出块噪声的意思的检测结果。

在步骤S40，阈值处理部分57判断是否对于所有的块都做了处理。

在步骤S40，如果判定处理并没有对所有块都完成，则处理就返回到步骤S33并重复随后的处理。

同时，在步骤S40，如果判定处理对所有块都完成，则块噪声检测处理就终止。此后，处理返回到图4的流程图的步骤13。

根据上述处理，Cur图像的块边界区的微分值和MC图像的块边界区的微分值之间的差分值被计算，并通过判断差分值是否大于根据噪声强度设置的阈值来检测包含在MC图像的块中的块噪声。因此，即使图像中所含的边缘部分与块的边界区相匹配，由于边缘部分的值被抵消，因此也可以更准确地检测块噪声而不会错误检测边缘部分处的块噪声。

此外，通过使用响应于噪声强度设置的阈值，即使图像环境阈值中的亮度变化，由于阈值处理能够关于与当时的亮度值相对应的噪声强度来执行，因此即使针对亮度变化也能更准确地检测块噪声。

此外，如上文所述，如果判定针对块的相应的4个边的平均值中的任何一个平均值高于阈值，就输出表示哪个块噪声被检测到的意思的检测结果，但如果判定针对块的每四个边的一个(例如，两个或三个)平均值或全部平均值大于阈值，则可以输出表示检测到块噪声的意思的检测结果。

如上所述，虽然描述了通过从Cur图像和MC图像的微分值获得每一个差分值来从微分值获得差分值的配置，但下面将描述获得Cur图像和MC图像的差分值以获得其微分值的配置。

4.块噪声检测部分的第一配置示例的修改示例和块噪声检测处理块噪声检测部分的第一配置示例的修改示例

首先，将参照图8描述块噪声检测部分的第一配示置的修改示例。

图8的块噪声检测部分131包括滤波处理部分51、滤波处理部分52、阈值处理部分57、差分计算部分151、微分处理部分152和平均值计算部分153。

此外，在图8的块噪声检测部分131中，对于与图2中的块噪声检测部分33中所布置的配置有相同的功能的配置使用相同的名称和参考数字，并因此省去其描述。

也就是说，差分计算部分151计算由滤波处理部分51对其执行了滤波处理的Cur图像的像素的像素值和由滤波处理部分52对其执行了滤波处理的MC图像的像素的像素值之间的差分值，并将计算的差分值提供给微分处理部分152。

微分处理部分152获得对来自差分计算部分151的差分值求微分得到的微分值，并将微分值提供给平均值计算部分153。

平均值计算部分153以块为基础计算来自微分处理部分152的微分值的平均值，并将平均值提供给阈值处理部分57。

块噪声检测处理

接下来，参照图9的流程图，将描述图8中的块噪声检测部分131进行的块噪声检测处理。

此外，由于图9中的步骤S131、S132、S136至S139的流程图的处理与图5中的步骤S31、S32、S37至S40的流程图的处理相同，故省略其描述。

也就是说，在步骤S133，差分计算部分151计算来自滤波处理部分51的Cur图像的像素的像素值和来自滤波处理部分52的MC图像的像素的像素值之间的差分差，并将差分值提供给微分处理部分152。

在步骤S134，微分处理部分152对来自差分计算部分151的差分值执行微分处理。具体地说，微分处理部分152获得目标块的四个边和与目标块的四个边相邻的相邻块的像素的差分值的微分值(差分值)，并将它提供给平均值计算部分153。

在步骤S135，平均数值计算部分153针对每一个边计算来自微分处理部分152的四个边的微分值的平均值，并将它提供给阈值处理部分57。

即使在图5的流程图中所示的块噪声检测处理中也展现了与图9的流程图所示的块噪声检测处理相同的效果。

5.块噪声检测处理部分的第二配置示例和块噪声检测处理

块噪声检测处理部分的第二配置示例

接下来，将参照图10描述块噪声检测处理部分的第二配置示例。

图10的块噪声检测部分231包括滤波处理部分51、滤波处理部分52、差分计算部分251、近似处理部分252、积分处理部分253和阈值处理部分254。

此外，在图10的块噪声检测部分231中，对具有与图2的噪声检测部分22中布置的配置相同的功能的配置使用相同的名称和参考数字，并因此省去其描述。

也就是说，差分计算部分251计算由滤波处理部分51对其执行了滤波处理的Cur图像的像素的像素值和由滤波处理部分52对其执行了滤波处理的MC图像的像素的像素值之间的差分值，并将像素值提供给近似部分252。

近似部分252将来自差分计算部分251的差分值近似为预定的函数，并将它提供给积分处理部分253。

积分处理部分253对来自近似处理部分252的函数执行积分处理，并将所获得的积分值提供给阈值处理部分254。

阈值处理部分254通过判断来自积分处理部分253的积分值是否大于块单元的预定阈值，来输出指示块噪声是否包含在块的MC图像中的检测结果。

块噪声检测处理

在这里，参照图11的流程图，将描述图10中的块噪声检测部分231进行的块噪声检测处理。

此外，图11的流程图的步骤S231和S232的处理和图5的流程图的步骤S31和S32的处理相同。因此，省略其描述。

也就是说，在步骤S233，差分计算部分251计算在与由滤波处理部分51对其执行了滤波处理的Cur图像的目标块的相邻块相邻的边界区的像素的像素值和与由滤波处理部分52对其执行了滤波处理的MC图像的目标块的相邻块相邻的边界区的像素的像素值之间的差分值，并将它提供给近似处理部分252。具体地说，差分计算部分251获得包括Cur图像和MC图像的目标块的四个边的像素的像素值的差分值。

在步骤S234，近似处理部分252将来自差分计算部分251的目标块的四个边的差分值近似为线性函数，并将它提供给积分处理部分253。

例如，对于图12所示的8×8个像素的目标块BL，在d₀至d₃处给出了包括四个边的最上面的边的像素的差分值(附图中的粗线部分)。此外，因为目标块BL被用8×8个像素配置，所以针对每个边获得八个差分值。然而，在这里，通过相对于像素位置-3、-1、1、3的四个像素来对像素(跳过一个图像)采样获得了四个差分值d₀至d₃。如上所述，可以通过获得通过像素获得的微分值来降低操作成本。

在这种情况下，近似处理部分252获得与四个差分值d₀至d₃相应的一次近似直线(primary approximate straight line)L。如上所述，可以通过获得一次近似直线来获得近似值，从而抑制由包含在Cur图像中的图像传感器引起的噪声的影响。

在步骤S235，积分处理部分253对于由近似处理部分252获得的线性函数执行积分处理，并将相对于目标块的四个边的每一边所获得的积分值提供给阈值处理部分254。

换句话说，如果图12所示的像素位置是x轴的坐标，则积分处理部分253使用下面的式3来相对于由近似处理部分252获得的线性函数执行积分处理。

$\underset{-4}{\overset{3}{\∫}}|\mathrm{ax}+b|\mathrm{dx}---\left(3\right)$

在公式3中，值a表示一次近似直线L的斜率，值b表示一次近似直线L的截距。

此外，如果通过最小二乘法使用差分值d₀至d₃来计算值a和值b，则式3由下面的式4表示。

$M=\underset{-4}{\overset{3}{\∫}}|\frac{{3d}_0+d_1-d_2-{3d}_3}{20}\×+\frac{-2d_0+d_1+4d_2+7d_3}{10}|\mathrm{dx}---\left(4\right)$

如上所述，针对目标块的积分值是四个，即，块的四个边。

回到图11的流程图，在步骤S236，阈值处理部分254判断来自积分处理部分253的块的相应的四个边的积分值是否大于基于与提前获得的亮度值对应的噪声强度而设置的阈值。

具体地说，阈值处理部分254根据图7所示的关系以目标块的Cur图像中的像素的亮度值(例如，G信号)为基础，基于与亮度值相对应的噪声强度来设置阈值Th。此外，阈值处理部分254使用式(5)将阈值Th与来自积分处理部分253的积分值进行比较，并判断块的相应的四个边的积分值是否大于阈值。

$\underset{-4}{\overset{3}{\∫}}|\mathrm{ax}+b|\mathrm{dx}>\mathrm{Th}---\left(5\right)$

在步骤S236，如果块的四个边的任何一个积分值大于阈值，则处理前进到步骤S237，并且阈值处理部分254输出表示检测到块噪声的意思的检测结果。

同时，在步骤S236中，如果确定块的相应的四个边的所有积分值都不大于阈值，则处理前进到步骤S238，并且阈值处理部分254输出表示没有检测出块噪声的意思的检测结果。

在步骤S239，阈值处理部分254判断是否对所有的块都做了处理。

在步骤S239，如果确定并非对所有块都做了处理，则处理返回到步骤S233，重复下面的处理。

同时，在步骤S239中，如果确定对所有块都做了处理，则块噪声检测处理完成。

根据上文所述的处理，计算Cur图像的块边界区的像素值和MC图像的块边界区的像素值之间的差分值，并确定差分值的近似函数的积分值是否大于根据噪声强度设置的阈值，以便检测包含在MC图像的块中的块噪声。因此，即使图像中所含的边缘部分与块的边界区相匹配，由于边缘部分的值被抵消，因此也可以更准确地检测块噪声。

此外，即使照度在成像环境中变化，通过使用根据噪声强度设置的阈值，由于阈值处理可以响应于与当时的亮度值相对应的噪声强度而被执行，因此也可以更准确地检测块噪声而不会错误检测边缘部分处的块噪声。

此外，在上述的处理中，因为没有必要获得目标块的像素和相邻块的像素之间的差分值(微分值)，因此可以仅引用目标块，并且与参考和描述了图5和图9的流程图的处理相比，可以降低操作成本。

此外，在上述描述中，如果判定针对块的4个边的每个边的任一个积分值高于阈值，就输出表示检测到块噪声的意思的检测结果。然而，如果判定针对块的每四边的至少一个(例如，两个或三个)或全部积分值大于阈值，则可以输出表示检测到块噪声的意思的检测结果。

此外，在上述步骤S235，对一次近似直线L进行积分处理。然而，这等同于获得阴影区的面积，这在图13中所示的一次近似直线L的x轴给出。

为了简化处理，可以使用针对一次近似直线L的分部分求面积法来替换针对一次近似直线L的积分处理。

例如，如图14所示，如果给出了针对目标块的一个预定边的差分值和一次近似直线L，就通过获得图15中的四个矩形区域的大小来计算针对一次近似直线L的积分，即阴影区域的面积。

此外，如果一个块包含8×8个像素并且对块的每一个边使用四个像素(差分值)获得积分值(面积)，则具有图15的矩形的宽度变为二，并且高度变为针对每一个像素的一次近似直线L。

在这里，如果四个矩形区的面积为A，则面积A由下面的式6给出。

$A=\left(\right|\frac{-2d_0+d_1+4d_2+7d_3}{10}|+|\frac{d_0+2d_1+3d_2+4d_3}{10}|+|\frac{4d_0+3d_1+2d_2+d_3}{10}|+|\frac{7d_0+4d_1+d_2-2d_3}{10}\left|\right)\×2---\left(6\right)$

在式(6)中，分别地，d₀是x＝0时的差分，d₁是x＝2时的差分值，d₂是x＝4时的差分值，d₃是x＝6时的差分值，并且式(6)可被扩展为式7。

5A＝|-2d₀+d₁+4d₂+7d₃|+|d₀+2d₁+3d₂+4d₃|+|4d₀+3d₁+2d₂+d₃|+|7d₀+4d₁+d₂-2d₃|(7)

如上所述，由于使用分部分求积而不是使用积分处理，因此操作变得简单，从而可以降低操作成本。

上面提到的一系列处理能够由硬件执行，也能够用软件执行。如果用软件执行这一系列处理，则配置软件的程序被安装到纳入了专用硬件的计算机上或能够通过从记录介质安装各种程序来执行各种功能的通用计算机等上。

图16是示出了使用程序执行上述一系列处理的计算机的硬件配置示例的框图。

在该计算机中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904相互连接。

输入输出接口905进一步连接到总线904。包括键盘、鼠标、话筒等的输入部分906，包括显示器、扬声器等的输出部分907，包括硬盘和非易失性存储器等的存储部分908，包括网络接口等的通信部分909，驱动诸如磁盘、光盘或磁光盘或半导体存储器等的可移动介质911的驱动器910被连接到输入输出接口905。

在如上所述配置的计算机中，CPU901例如通过输入输出接口905和总线904将存储在存储器908中的程序加载到用于其性能的RAM903中，以执行上述的一系列处理。

例如，由计算机(CPU901)执行的程序是可移动介质911上的所存储介质、包括磁盘(包括软盘)、光盘(致密盘只读存储器(CD-ROM))、数字多功能盘(DVD)等)、磁光盘的封装介质、或包括半导体的封装介质(诸如半导体等)，或者是经由由局域网、互联网、数字卫星广播组成的有线和无线传输介质来提供的。

此外，由于程序将可移动介质911连接到驱动器910，因此程序能够通过输入输出接口905被安装在存储部分908中。此外，该程序通过有线或无线传输介质在通信部分909被接收，并且能够被安装在存储部分908中。此外，该程序能够被提前安装在ROM902或存储部分908中。

此外，由计算机执行的程序可以是根据说明书中描述的顺序以时间序列顺序执行处理的程序，或者是并行执行或以调用时必要的时间序列等执行处理的程序。

此外，本公开的实施例不限于以上所述的实施例，可以在不偏离本公开的精神和范围的情况下进行各种修改。

例如，本公开可以是云计算配置，其经由网络通过多个设备的共享和合作来执行处理。

此外，除了使用一个设备执行步骤外，利用多个设备，还可以多个设备共享在上述流程图中描述的每一个步骤。

此外，如果在一个步骤中包含多个处理，则在一个步骤中包含的多个处理除了由一个设备执行外，还通过与多个设备共享在一个步骤中包含的多个处理来执行。

此外，本发明具有以下配置。

(1)一种图像处理装置，包括：

运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；

运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(2)根据(1)所述的图像处理装置，

其中，所述差分计算部分计算所述块单元的所述参考图像与所述运动补偿图像的像素的像素值之间的差分值，

所述图像处理装置还包括

近似处理部分，其将所述差分值近似为预定函数，和

积分处理部分，其对所述预定函数积分，并且

其中所述阈值处理部分通过对由所述积分处理部分获得的积分值执行阈值处理来判断块噪声是否包含在所述块单元的运动补偿图像中。

(3)根据(2)所述的图像处理装置，

其中，所述差分计算部分计算所述标准图像和所述运动补偿图像处的目标块中的与相邻块相邻的边界区处的像素的像素值之间的差分值。

(4)根据(3)所述的图像处理装置，

其中，所述差分计算部分计算通过采样所述目标块中的与所述相邻块相邻的所述边界区处的像素而获得的像素的像素值之间的差分值。

(5)根据(2)至(4)所述的图像处理装置，

其中，所述阈值处理部分通过将由所述积分处理部分获得的积分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

(6)根据(1)所述的图像处理装置，

其中，所述差分计算部分计算通过对所述标准图像的像素的像素值求微分而获得的第一微分值与通过对所述运动补偿图像的像素的像素值求微分而获得的第二微分值之间的差分值，并且

其中，所述阈值处理部分通过对所述第一微分值和所述第二微分值之间的所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(7)根据(6)所述的图像处理装置，其中，其中，所述差分计算部分计算通过对目标块和相邻块的边界区的像素的像素值求微分而获得的所述第一微分值与通过对所述运动补偿图像中的所述目标块和所述相邻块的图像的所述边界区的像素的像素值求微分而获得的所述第二微分值之间的差分值。

(8)根据(7)所述的图像处理装置，其中，还提供了均值计算部分，其计算所述块的所述边界区处的所述差分值的平均值，并且

其中，所述阈值处理部分通过对由所述均值计算部分获得的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(9)根据(6)至(8)所述的图像处理装置，

其中，所述阈值处理部分通过将所述第一微分值和所述第二微分值之间的差分值和基于与图像的亮度值相对应的噪声强度设置的所述阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

(10)根据(1)所述的图像处理装置，还包括

微分处理部分，其对由差分计算部分计算出的差分值求微分；

其中，所述阈值处理部分通过对由所述微分处理部分计算的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(11)根据(10)所述的图像处理装置，

其中，所述微分处理部分对所述目标块和所述相邻块之间的边界区的差分值求微分。

(12)根据(11)所述的图像处理装置，

其中，还包括平均值计算部分，其计算块中的边界区处的微分值的平均值，并且

其中，所述阈值处理部分通过对由所述平均值计算部分计算的平均值执行阈值处理来判断块噪声是否包含在块的运动补偿图像中。

(13)根据(10)至(12)所述的图像处理装置，其中，所述阈值处理部分通过将由所述微分处理部分计算的微分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

(14)一种图像处理装置的图像处理方法，其中图像处理装置包括：

运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；

运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中；

所述方法包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(15)一种程序，其使计算机执行如下处理，包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

(16)一种记录介质，其存储导致计算机执行如下处理的程序，所述处理包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

本公开包含与在2011年10月4日向日本专利局提交的日本优先专利申请JP2011-220070中公开的主题有关的主题，其全部内容通过引用结合于此。

应理解，对本领域的技术人员来说，可根据设计要求和其他因素进行各种修改、组合、子组合和改变，只要它们在所附权利要求或其等同物的范围内。

Claims (16)

1.一种图像处理装置，包括：

运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；

运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

2.根据权利要求1所述的图像处理装置，

其中，所述差分计算部分计算所述块单元的所述参考图像与所述运动补偿图像的像素的像素值之间的差分值，

其中，所述图像处理装置还包括

近似处理部分，其将所述差分值近似为预定函数，和

积分处理部分，其对所述预定函数积分，并且

其中所述阈值处理部分通过对由所述积分处理部分获得的积分值执行阈值处理来判断块噪声是否包含在所述块单元的运动补偿图像中。

3.根据权利要求2所述的图像处理装置，

其中，所述差分计算部分计算所述标准图像和所述运动补偿图像处的目标块中与相邻块相邻的边界区处的像素的像素值之间的差分值。

4.根据权利要求3所述的图像处理装置，

其中，所述差分计算部分计算通过采样所述标准图像和所述运动补偿图像处的所述目标块中与所述相邻块相邻的所述边界区处的像素而获得的像素的像素值之间的差分值。

5.根据权利要求2所述的图像处理装置，

其中，所述阈值处理部分通过将由所述积分处理部分获得的积分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

6.根据权利要求1所述的图像处理装置，

其中，所述差分计算部分计算通过对所述标准图像的像素的像素值求微分而获得的第一微分值与通过对所述运动补偿图像的像素的像素值求微分而获得的第二微分值之间的差分值，并且

其中，所述阈值处理部分通过对所述第一微分值和所述第二微分值之间的所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

7.根据权利要求6所述的图像处理装置，

其中，所述差分计算部分计算通过对所述标准图像中的目标块和相邻块中的边界区处的像素的像素值求微分而获得的所述第一微分值与通过对所述运动补偿图像中的所述目标块和所述相邻块中的图像的所述边界区处的像素的像素值求微分而获得的所述第二微分值之间的差分值。

8.根据权利要求7所述的图像处理装置，还包括

均值计算部分，其计算所述块的所述边界区处的所述差分值的平均值；

其中，所述阈值处理部分通过对由所述均值计算部分获得的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

9.根据权利要求6所述的图像处理装置，

其中，所述阈值处理部分通过将所述第一微分值和所述第二微分值之间的差分值和基于与图像的亮度值相对应的噪声强度设置的所述阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

10.根据权利要求1所述的图像处理装置，还包括

微分处理部分，其对由差分计算部分计算出的差分值求微分；

其中，所述阈值处理部分通过对由所述微分处理部分计算的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

11.根据权利要求10所述的图像处理装置，

其中，所述微分处理部分对所述目标块和所述相邻块之间的边界区的差分值求微分。

12.根据权利要求11所述的图像处理装置，还包括

平均值计算部分，其计算块中的边界区处的微分值的平均值，

其中，所述阈值处理部分通过对由所述平均值计算部分计算的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

13.根据权利要求10所述的图像处理装置，

其中，所述阈值处理部分通过将由所述微分处理部分计算的微分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。

14.一种图像处理装置的图像处理方法，该图像处理装置包括：

运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；

运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中；

所述方法包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

15.一种程序，其使计算机执行如下处理，包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

16.一种记录介质，其存储导致计算机执行如下处理的程序，所述处理包括：

从标准图像和参考图像中检测构成图像的块单元的运动矢量；

通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像；

计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及

通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。

Images