CN101835041A - 图像处理设备和方法 - Google Patents

Abstract

本发明公开了图像处理设备和方法。该图像处理设备包括：级差计算装置，用于计算每个像素和邻近像素之间的像素值的差异作为级差；分类装置，用于在级差的每个范围中将各个像素分类为多个类别；边界比例计算装置，用于根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及块噪声强度确定装置，用于确定其中边界比例高于给定阈值并且是最大值的类别的级差作为图像中的块噪声强度。

Description

图像处理设备和方法

技术领域

本发明涉及图像处理设备和其方法，具体而言涉及能够测量块噪声强度(block noise intensity)的图像处理设备和方法。

背景技术

已经知道在对经编码的图像数据解码时在解码图像上生成了噪声。

例如，当图像数据被诸如MPEG(运动图片专家组)系统之类的压缩方法压缩时，编码器将图像数据划分为具有多个像素的多个矩形块，并对各个划分后的块执行DCT(离散余弦变换)处理。

因此，当解码器对经MPEG系统编码的图像数据解码时，在各个块边界处的像素之间的像素值中发生级差(level difference)，并且原理上在经解码的图像数据中趋向于发生块噪声。

用于降低或去除这种块噪声的设备一般是通过向已知的块大小(例如，在MPEG2的情况下是8×8像素)和块边界位置应用LPF(低通滤波器)集以执行平滑来实现的。

然而，在以上简单方法中，存在以下问题：由于模糊会丢失图像信息，或者通过仅在块边界处应用平滑会新发生块失真。

块噪声的程度和强度取决于压缩编码的图像内容或条件(例如，比特率或量化规模)有很大不同，因此，存在以下问题：当块噪声强度很强时在均匀的块噪声降低处理中降低并不有效，或者在块噪声极低时由于图像信息的丢失而导致发生相反的效果。

为了避免这些问题，迄今为止已提出了各种设备和方法。

然而，已在诸如DVD(数字多功能盘)之类的视频输出设备一侧执行了缩放(分辨率转换/像素数目转换)的图像信号可能被输入在电视接收机一侧，因此，有必要遵从不同于在MPEG标准中规定的块大小(例如，8×8像素)的大小。

即，部分的这种播放器包括执行缩放的功能，因此，即使当记录信号是具有诸如720×480像素之类的SD(标准清晰度)分辨率的信号时，该信号也可以在被转换为具有作为输出分辨率的1920×1080像素的HD(高清晰度)分辨率的信号之后被输出。

另外，即使当记录信号是HD信号时，也存在具有1440×1080像素分辨率的信号，并且该信号可以在被转换为1920×1080像素的HD分辨率之后被输出。

如上所述，经数字解码的信号的质量由于缩放的效果和系统差异(即，输入视频是模拟输入还是数字输入)而有很大不同(失真有时候很大，有时候很小)。

经解码的图像的质量由于编码系统和在压缩编码时的条件(例如比特率以及图像类型)的差异而从低质量到高质量之间变化(在活动运动图片时或者即使在静止图像的情况下具有复杂图像信息的图像时，失真趋向于增大)。

因此，通过估计压缩解码图像的质量并且动态地根据估计量切换噪声降低处理的强度来有效地向从低质量到高质量的图像应用噪声降低处理(参见JP-A-2001-204029(专利文献1)和JP-A-2007-281542(专利文献2))。

发明内容

然而，在专利文献1、2中公开的技术在可以获取压缩编码信息时是有效的，但是，并不总是能获得压缩编码信息，尤其在电视接收机中，这是因为输入图像是来自外部设备的，因此，难以执行动态控制。

考虑到以上内容，希望通过统计地测量来自解码的整个图像的块噪声强度来相对于输入图像自适应地降低块噪声，从而改变块噪声降低处理的强度以便对应于测得的块噪声强度。

根据本发明的一个实施例，提供了一种图像处理设备，包括：级差计算装置，用于计算每个像素和邻近像素之间的像素值的差异作为级差；分类装置，用于在级差的每个范围中将各个像素分类为多个类别；边界比例计算装置，用于根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及块噪声强度确定装置，用于确定其中边界比例高于给定阈值并且是最大值的类别的级差作为图像中的块噪声强度。

图像处理设备还可包括稳定装置，用于在该图像属于运动图片时根据在时间上接近的像素的块噪声强度来校正并稳定包括当前目标像素的图像中的块噪声强度。

图像处理设备还可包括运动量计算装置，用于基于图像的帧之间的各个像素中的绝对差的之和来计算该图像的运动量，其中稳定装置可包括反应灵敏度调节装置，用于基于运动量计算装置计算出的运动量来调节包括当前目标像素的图像中的块噪声强度和在时间上接近的图像的块噪声强度中的强度改变的反应灵敏度，其可以根据其中反应灵敏度调节装置已调节了反应灵敏度的强度改变和在时间上接近的图像的块噪声强度来稳定包括当前目标像素的图像中的块噪声强度。

反应灵敏度调节装置可以通过调节在强度改变的改变方向上的改变度的函数来调节反应灵敏度。

反应灵敏度调节装置可以在一时段内将反应灵敏度调节为高，所述时段是从经运动量计算装置计算出的运动量变得高于一给定值时起到经过一给定时间段为止。

该图像可以是属于以运动图片专家组(MPEG)系统编码的图片的图像，其中反应灵敏度调节装置可以根据作为图像单位的GOP(图片组)的解码处理所必需的时间来调节GOP中包括的帧的块噪声强度的强度改变的反应灵敏度。

运动量计算装置可以确定图像的帧之间的绝对差之和大于给定阈值的像素数目作为图像的运动量。

级差计算装置可以计算目标像素和目标像素附近的参考像素之间的像素值的绝对差与目标像素附近的邻近像素和邻近像素附近的参考像素之间的像素值的绝对差之间的差值作为目标像素的差值，并且可以在目标像素的差值大于给定值时将目标像素的差值确定为目标像素的级差。

级差计算装置还可包括存储装置，用于存储目标像素的多条差值信息，并且当目标像素的差值是存储在存储装置中的目标像素的多个差值中的最大值时，可以将该差值确定为目标像素的级差。

级差计算装置可以基于块大小来改变参考值。

边界比例计算装置可以按照相应级差的降序来计算每个类别中块边界处的像素数目的比例。

图像处理设备还可包括总比例计算装置，用于计算每个类别中相对于整个图像的像素的比例作为总比例，其中，当总比例小于低于给定阈值的另一给定阈值时，边界比例计算装置可以停止具有大于该类别的相应级差的类别的总比例的计算。

根据本发明的另一实施例，提供了一种图像处理方法，包括以下步骤：计算每个像素和邻近像素之间的像素值的差异作为级差；在级差的每个范围中将各个像素分类为多个类别；根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及确定其中边界比例高于给定阈值并且是最大值的类别的级差作为图像中的块噪声强度。

根据本发明的实施例，计算图像中的每个像素和邻近像素之间的像素值的差异作为级差，根据级差的范围将各个像素分类为多个类别，根据各个类别计算在块边界处的像素数目的比例，以及确定其中边界比例高于给定阈值并且是最大值的类别的级差作为块噪声强度。

根据本发明的实施例，可以测量在对经编码的图像数据解码时生成的块噪声强度。

附图说明

图1是说明根据本发明所应用到的一个实施例的图像处理设备的框图；

图2是说明根据实施例的图1的块噪声强度测量单元的配置示例的框图；

图3是说明图2的块级差信息获取单元的配置示例的框图；

图4是说明图2的统计处理单元的配置示例的框图；

图5是说明图2的稳定处理单元的配置示例的框图；

图6是说明图1的块噪声降低处理单元的配置示例的框图；

图7是说明图像处理的流程图；

图8是说明图像处理中的检测范围的示图；

图9是说明块噪声强度测量处理的流程图；

图10是说明块级差信息获取处理的流程图；

图11是说明块级差信息获取处理的示图；

图12是说明块级差信息获取处理的示图；

图13是说明块级差信息获取处理的示图；

图14是说明块级差信息获取处理的示图；

图15是说明块级差信息获取处理的示图；

图16是说明统计处理的流程图；

图17是说明统计处理的图表；

图18是说明统计处理的图表；

图19是说明稳定处理的流程图；

图20是说明稳定处理的图表；

图21是说明稳定处理的图表；

图22是说明块噪声降低处理的流程图；

图23是说明当运动量急剧改变时的稳定处理的图表；

图24是说明根据另一实施例的块噪声强度测量单元的配置示例的框图；

图25是说明图24的稳定处理单元的配置示例的框图；

图26是说明运动检测处理的流程图；

图27是说明稳定处理的流程图；

图28是说明反应灵敏度调节处理的流程图；

图29是说明反应灵敏度调节处理的图表；

图30是说明反应灵敏度调节处理的图表；

图31是说明当运动量急剧改变时的稳定处理的图表；以及

图32是说明通用个人计算机的配置示例的示图。

具体实施方式

图1是示出根据本发明所应用到的一个实施例的图像处理设备的配置示例的框图。

图1的图像处理设备1包括块边界信息检测单元11、块噪声强度测量单元12和块噪声降低处理单元13，块噪声降低处理单元13基于输入图像的块噪声的强度来控制块边界处的噪声降低处理的强度，并输出其中已降低了块噪声的经块噪声降低处理的图像。

要输入到图像处理设备1的图像例如包括从诸如DVD(数字多功能盘)或HDD(硬盘驱动器)之类的存储介质读取的、经播放器解码并输出的图像，等等。

部分这种播放器具有图像缩放功能，该功能可以将具有720×480像素的SD(标准清晰度)分辨率的记录图像数据转换为具有1920×1080像素的HD(高清晰度)分辨率的图像数据并输出该图像数据。当记录信号是HD信号时，存在具有1440×1080像素分辨率的信号，并且部分播放器可以将图像B的图像数据转换为具有1920×1080像素的HD分辨率并输出图像。

因此，要输入到图像处理设备1中的图像可以是其中模拟信号已经数字转换的图像数据、包括数字信号的图像数据或者图像分辨率已经相对于模拟信号被转换(被缩放)的图像数据或具有以上分辨率中的任何一个的原始图像数据。

块边界信息检测单元11在从输入图像解码之前检测作为将进行DCT(离散余弦变换)处理的单位的块大小和编码状态中的块边界位置，然后将相应信息分别提供给块噪声强度测量单元12和块噪声降低处理单元13作为块大小信息的信息和块边界位置的信息。当块大小和块边界位置通过诸如与解码器的通信之类的手段而预先已知时，块边界信息检测单元11在不执行检测的情况下选择已知的块大小和块边界位置，并将该信息提供给块噪声降低处理单元13。

块噪声强度测量单元12基于从块边界信息检测单元11提供来的块大小和块边界位置的信息来测量输入图像的块噪声强度，并将测得的块噪声强度的信息提供给块噪声降低处理单元13。

块噪声降低处理单元13通过基于从块边界信息检测单元11提供来的块大小和块边界位置的信息以及从块噪声强度测量单元12提供来的块噪声强度的信息自适应地改变块噪声降低处理的强度来降低块噪声，并输出其中块噪声已被降低的经块噪声降低处理的图像。

接下来，将参考图2说明实施例中块噪声强度测量单元12的配置示例。

块级差信息获取单元31基于块大小和块边界位置来计算输入图像中作为目标像素的各个像素和与这些目标像素相对应的参考像素之间的像素值的绝对差，通过与外围像素相比较来确定是否发生级差，并将绝对差存储在级差信息缓冲器32中作为级差信息。

统计处理单元33统计地执行存储在级差信息缓冲器32中的级差信息从而计算输入图像中块噪声的强度，并将该强度提供给稳定处理单元34。

稳定处理单元34基于输入图像的块噪声强度信息和紧邻的前一输入图像的块噪声强度信息来计算改变方向，校正输入图像的块噪声强度以进行与改变方向相对应的稳定，并将校正结果提供给块噪声降低处理单元13作为块噪声强度。

接下来，将参考图3说明实施例中块级差信息获取单元31的配置示例。

级差计算单元51相对于输入图像中的目标像素和目标像素附近的参考像素计算各个相邻像素之间的像素值的绝对差作为级差，并将计算结果存储在级差存储单元52中。

级差最大值确定单元53确定输入图像的目标像素和相邻像素之间的像素值的绝对差是否是在包括参考像素和相邻像素之间的像素值的绝对差时的最大值。当该值是最大值时，级差最大值确定单元53将该级差提供给块级差特性检测单元54作为块边界级差，并且当该值不是最大值时，级差最大值确定单元53向块级差特性检测单元54通知块级差是“0”，这表明它不是块边界级差。

当所提供的级差大于“0”时，块级差特性检测单元54将级差提供给计数器“total”更新单元55、块级差强度分类单元56、块边界确定单元58和计数器“btotal”更新单元59作为块级差。当所提供的级差不大于“0”时，块级差特性检测单元54将为“0”的级差提供给计数器“total”更新单元55、块级差强度分类单元56、块边界确定单元58和计数器“btotal”更新单元59。

当块级差被从块级差特性检测单元54提供来时，计数器“total”更新单元55将存储在级差信息缓冲器32中的BN强度总值计数器“total”81递增1并更新计数器。即，BN强度总值计数器“total”81对经处理的像素总数进行计数。

块级差强度分类单元56基于块级差的信息来将块级差的强度分类为根据块噪声强度的类别(由给定范围的“id”设定)，并将这些类别提供给计数器t_hist更新单元57和计数器b_hist更新单元60。下文中，由每个“id”设定的类别被称为强度类别id。

计数器t_hist更新单元57根据从块级差强度分类单元56提供来的块级差强度、相对于由“id”设定的类别将级差信息缓冲器32中的计数器t_hist 82递增1并更新计数器。即，计数器t_hist 82按照根据“id”的布置设定。计数器t_hist 82包括根据强度类别“id”设定的多个计数器t_hist[id]，这些计数器对根据强度类别“id”分类的像素数目计数。下文中，计数器t_hist 82也被按每个“id”称为计数器t_hist[id]82。

块边界确定单元58基于块边界位置的信息来确定与从块级差特性检测单元54提供来的块级差相对应的像素位置是否是块边界位置，并将确定结果提供给计数器“btotal”更新单元59和计数器b_hist更新单元60。

在获取了从块级差特性检测单元54提供来的块级差的信息的情况下，当从块边界确定单元58提供来表明与所获取的块级差相对应的像素位置是块边界位置的信息时，计数器“btotal”更新单元59将存储在级差信息缓冲器32中的计数器“btotal”83递增1并更新计数器。

在获取了从块级差强度分类单元56提供来的强度类别“id”的情况下，当从块边界确定单元58提供来表明与所获取的强度类别“id”相对应的像素位置是块边界位置的信息时，计数器b_hist更新单元60将存储在级差信息缓冲器32中的计数器b_hist 84递增1并更新计数器。即，计数器b_hist 84包括根据属于块边界位置的像素的强度类别“id”设定的多个计数器b_hist[id]，这些计数器对属于块边界位置的像素中、根据强度类别“id”分类的像素数目计数。下文中，计数器b_hist 84也被按每个“id”称为计数器b_hist[id]84。

接下来，将参考图4说明统计处理单元33的详细配置示例。

总比例计算单元101计算与块级差的大小相对应的每个强度类别“id”中的计数器t_hist[id]82相对于计数器“total”81(它是属于检测范围的像素的总数)的比例作为总比例，并将该总比例提供给总比例确定单元102。

总比例确定单元102将每个强度类别“id”中的总比例与给定值相比较，并将比较结果提供给块噪声强度更新单元105。

边界比例计算单元103计算与块级差的大小相对应的每个强度类别“id”中的计数器b_hist[id]84相对于块边界处的计数器t_hist[id]82的比例作为边界比例，并将该比例提供给边界比例确定单元104。

边界比例确定单元104将从边界比例计算单元103提供来的边界比例与给定值相比较，并将比较结果提供给块噪声强度更新单元105。

块噪声强度更新单元105基于总比例确定单元102和边界比例确定单元104的确定结果来更新与每个强度类别“id”(它已被统计地计算为每帧中的块噪声强度)中的结果相对应的表105a中的强度。

接下来，将参考图5说明稳定处理单元34的详细配置示例。

强度改变方向确定单元121基于存储在方向历史存储单元122中的紧邻的前一帧中的块噪声强度和当前帧的块噪声强度来计算强度的改变方向，并将该方向提供给方向比较单元123。强度改变方向确定单元121将当前帧的块噪声强度存储在方向历史存储单元122中。

方向比较单元123将从强度改变方向确定单元121提供来的强度的改变方向与存储在改变方向历史存储单元124中的紧邻的前一帧的强度改变方向相比较，确定是否发生强度改变方向的改变，并根据确定结果将强度改变方向的信息提供给改变方向历史存储单元124和BN强度候选计算单元126或强度稳定单元127。

改变方向历史存储单元124顺序地存储累加强度改变方向的信息作为历史。

反应灵敏度调节单元125基于存储在改变方向历史存储单元124中的累加强度改变方向的信息、利用给定转换函数来计算调节后的强度改变方向，并将该方向提供给BN强度候选计算单元126。

BN(块噪声)强度候选计算单元126基于紧邻的前一块噪声强度和调节后的强度改变方向来计算目前正处理的帧中的块噪声强度的BN强度候选，并将该候选提供给强度稳定单元127。

强度稳定单元127基于从BN强度候选计算单元126提供来的BN强度候选和存储在方向历史存储单元122中的紧邻的前一帧中的强度改变方向的信息来确定当前帧中块噪声的强度，同时根据当前帧中块噪声的强度改变来稳定强度，并输出所确定的当前帧中块噪声强度的信息。

接下来，将参考图6说明块噪声降低处理单元13的详细配置示例。

数据存储单元151存储与输入图像相对应的所有像素的像素值的信息，并适当地将该信息提供给块像素提取单元152。

块像素提取单元152基于块边界位置的信息从数据存储单元151逐块地读取像素，并将像素提供给块噪声降低单元155。

降低级别转换单元153执行到指示块噪声降低处理的强度的降低级别的转换，以便对应于从块噪声强度测量单元12提供来的已统计计算的当前帧的块噪声强度的信息，并将该级别提供给滤波器选择单元154。

滤波器选择单元154根据降低级别来选择存储在滤波器表154a中的用于进行块噪声降低处理的滤波器，并将所选的滤波器的信息提供给块噪声降低单元155。

块噪声降低单元155利用从滤波器选择单元154提供来的滤波器、以块为单位对从块像素提取单元152提供来的每个块中的像素执行滤波处理，从而降低块噪声。

接下来，将参考图7的流程图说明作为噪声降低处理设备的图像处理设备1的图像处理。

在步骤S1中，图像处理设备1在输入图像中设定用于检测块噪声的强度的检测范围。检测范围可以自由设定，然而，可能性最大的是在计算每帧中的块噪声强度时在中心附近(其中相对于场角来说失真较小)读取最适当的图像，因此，在输入图像的大小相对于水平方向和垂直方向是hsize(个像素)×vsize(个像素)的情况下(如图8所示)，设定了检测范围A，检测范围A在水平方向上的位置是win_sx至win_rx，垂直方向上的位置是win_sy至win_ry。另外，设定多个检测范围并且在各个检测范围中检测块噪声强度也是优选的。

在步骤S2中，图像处理设备1复位稳定处理单元34的方向历史存储单元122。

在步骤S4中，块边界信息检测单元11由输入图像检测块大小和块边界位置的信息，将块大小和块边界位置的信息作为检测结果提供给块噪声强度测量单元12和块噪声降低处理单元13。块大小和块边界位置的信息可以是预先与输入图像数据一同提供的信息。

在步骤S5中，块噪声强度测量单元12执行块噪声强度测量处理，计算每帧中的块噪声强度并将每帧中块噪声强度的信息作为测量结果提供给块噪声降低处理单元13。

这里，将参考图9的流程图说明图2的块噪声强度测量处理。

在步骤S11中，块级差信息获取单元31执行块级差信息获取处理并将每块的块级差信息存储在级差信息缓冲器32中。

这里，将参考图10的流程图说明图3的块级差信息获取单元31的块级差信息获取处理。

在步骤S31中，块级差信息获取单元31初始化作为寄存器存储在级差信息缓冲器32中的计数器“total”81、计数器“btotal”83、计数器t_hist[id]82和计数器b_hist 84。

在步骤S32中，级差计算单元51将输入图像中未经处理的像素中的任何一个设定为目标像素，分别针对目标像素和要根据目标像素设定的参考像素计算级差“work”，并将计算结果存储在级差存储单元52中。

例如，在使用了六个像素(包括围绕目标像素在右方向上相邻的两个像素和左方向上相邻的三个像素)的情况下，当目标像素被表达为像素P[x](假定目标像素的坐标位置为“x”，如图11所示)时，右方向上相邻的两个像素从靠近目标像素的像素起分别被表达为像素P[x+1]、P[x+2]，并且左方向上相邻的像素从靠近目标像素的像素起分别被表达为像素P[x-1]、P[x-2]和P[x-3]。此时，级差计算单元51利用下面的公式(1)来计算目标像素的级差“work”。在图11中，水平轴表示水平方向上的像素坐标，垂直轴表示相应像素的像素值。这里，将说明针对水平方向的处理，然而，自然也可在垂直方向上执行处理。

work[x]＝|P[x]-P[x-1]|-(|P[x-2]-P[x-3]|

+P[x-1]-P[x-2]+|P[x+1]-P[x]+|P[x+2]-P[x+1]|/4…(1)

这里，work[x]指示目标像素P[x]的级差，P[x]、P[x+1]、P[x+2]、P[x-1]、P[x-2]和P[x-3]分别指示像素P[x-3]、P[x-2]、P[x-1]、P[x]、P[x+1]和P[x+2]的像素值。

即，在公式(1)中，通过从目标像素P[x]和其左侧的像素P[x-1]之间的像素值的绝对差中减去像素P[x-3]、P[x-2]之间，像素P[x-2]、P[x-1]之间，像素P[x]、P[x+1]之间和像素P[x+1]、P[x+2]之间的绝对差的平均值，来获得一个值。

因此，级差计算单元51执行与以上公式(1)相同的计算，从而分别相对于像素P[x-3]、P[x-2]、P[x-1]、P[x]、P[x+1]和P[x+2]获得参考像素的级差work[x-3]、work[x-2]、work[x-1]、work[x]、work[x+1]和work[x+2]。在这种情况下，已说明了参考像素相对于目标像素P[x]被设定为五个像素P[x-3]、P[x-2]、P[x-1]、P[x+1]和P[x+2]的示例，然而，要设定为参考像素的像素数目并不限于五个像素，而是也可应用其他像素数目。然而，当用作参考像素的像素数目大于块大小时，变得难以确定块边界处的级差(将在后面描述)，因此，有必要使用在相对于一个块边界的右和左方向上最多不超过块大小的像素数目。

在步骤S33中，级差最大值确定单元53确定存储在级差存储单元52中的目标像素的级差work[x]是否是参考像素的级差work[x-3]、work[x-2]、work[x-1]、work[x]、work[x+1]和work[x+2]中的最大值。

例如，当在步骤S33中目标像素的级差work[x]是参考像素的级差work[x-3]、work[x-2]、work[x-1]、work[x]、work[x+1]和work[x+2]中的最大值时，级差最大值确定单元53基于确定结果确定目标像素的级差“work”是块边界级差(它是块边界位置处的像素的级差)，并在步骤S34中将块边界级差block_step＝work[x]提供给块级差特性检测单元54。

即，当如图12所示在像素P[x]和像素P[x-1]之间存在块边界位置时，预期像素P[x]和像素P[x-1]之间的像素值的绝对差将会大于各个邻近像素之间的绝对差的平均值。因此，在像素P[x]和像素P[x-1]之间的绝对差大于各个邻近像素之间的绝对差的平均时，目标像素的级差work[x]被认为是块边界级差block_step[x]。

另一方面，例如，当在步骤S33中目标像素的级差work[x]不是邻近像素的级差work[x-3]、work[x-2]、work[x-1]、work[x]、work[x+1]和work[x+2]中的最大值时，级差最大值确定单元53基于确定结果确定目标像素的级差“work”不是块边界位置处像素的级差，并在步骤S35中将块边界级差block_step＝0提供给块级差特性检测单元54。

在步骤S36中，块级差特性检测单元54确定从级差最大值确定单元53提供来的块边界级差block_step[x]是否大于“0”，即，block_step[x]是否指示块边界级差的特性。

当在步骤S36中块边界级差block_step[x]大于“0”并且指示块边界级差的特性时，块级差特性检测单元54在步骤S37中将块级差block_step通知给计数器“total”更新单元55、块级差强度分类单元56、块边界确定单元58和计数器“btotal”更新单元59作为BN(块噪声)强度。响应于此，计数器“total”更新单元55将存储在级差信息缓冲器32中的、指示被块级差特性检测单元54作为输入图像中的BN(块噪声)强度处理的像素总数的计数器“total”81递增1并更新计数器。

在步骤S38中，块级差强度分类单元56基于从块级差特性检测单元54提供来的块边界级差block_step[x]来将块差异分类为强度类别“id”，并将分类后的强度类别“id”提供给计数器t_hist更新单元57和计数器b_hist更新单元60。

即，例如，如图13所示，块级差强度分类单元56在块边界级差block_step[x]等于或大于“0”并小于4时将级差分类为强度类别“id”＝0，在块边界级差block_step[x]等于或大于4并小于8时将级差分类为强度类别“id”＝1，在块边界级差block_step[x]等于或大于8并小于12时将级差分类为强度类别“id”＝2，在块边界级差block_step[x]等于或大于12并小于16时将级差分类为强度类别“id”＝3，在块边界级差block_step[x]等于或大于16并小于20时将级差分类为强度类别“id”＝4，在块边界级差block_step[x]等于或大于20并小于24时将级差分类为强度类别“id”＝5，在块边界级差block_step[x]等于或大于24并小于28时将级差分类为强度类别“id”＝6，在块边界级差block_step[x]等于或大于28并小于32时将级差分类为强度类别“id”＝7，在块边界级差block_step[x]等于或大于32并小于36时将级差分类为强度类别“id”＝8，在块边界级差block_step[x]等于或大于36并小于40时将级差分类为强度类别“id”＝9，并在块边界级差block_step[x]等于或大于40时将级差分类为强度类别“id”＝10。

即，在图13的情况中，块级差强度分类单元56根据块边界级差block_step[x]的值来将块级差分类为多个强度类别“id”。

在图13中，已说明了相对于块边界级差block_step[x]逐一计算强度类别“id”的示例，然而，强度类别“id”是用于统计处理的值(后面将描述)，因此，例如，可以计算两种强度类别“id”，如图14所示。即，例如，如图14所示，块级差强度分类单元56在块边界级差block_step[x]等于或大于“0”并小于4时将级差分类为强度类别“id”＝0，在块边界级差block_step[x]等于或大于4并小于8时将级差分类为强度类别“id”＝0，1，在块边界级差block_step[x]等于或大于8并小于12时将级差分类为强度类别“id”＝1，2，在块边界级差block_step[x]等于或大于12并小于16时将级差分类为强度类别“id”＝2，3，在块边界级差block_step[x]等于或大于16并小于20时将级差分类为强度类别“id”＝3，4，在块边界级差block_step[x]等于或大于20并小于24时将级差分类为强度类别“id”＝4，5，在块边界级差block_step[x]等于或大于24并小于28时将级差分类为强度类别“id”＝5，6，在块边界级差block_step[x]等于或大于28并小于32时将级差分类为强度类别“id”＝6，7，在块边界级差block_step[x]等于或大于32并小于36时将级差分类为强度类别“id”＝7，8，在块边界级差block_step[x]等于或大于36并小于40时将级差分类为强度类别“id”＝8，9，在块边界级差block_step[x]等于或大于40并小于44时将级差分类为强度类别“id”＝9，10，并在块边界级差block_step[x]等于或大于44时将级差分类为强度类别“id”＝10。

在步骤S39中，计数器t_hist更新单元57将级差信息缓冲器32中的计数器t_hist[id]82(其指示根据来自块级差强度分类单元56的块级差强度的每个“id”中的总数)递增1。如上所述，当相对于一个块边界级差block_step计算两种强度类别“id”时，计数器t_hist更新单元57将每个计数器t_hist[id]82递增1。

在步骤S40中，块边界确定单元58基于从块边界信息检测单元11提供来的块大小和块边界位置的信息来确定目标像素P[x]和像素P[x-1]之间的位置(其中已计算了级差work[x]作为块边界级差block_step[x]的基础)是否是块边界位置。

在步骤S40中，例如，当目标像素P[x]和像素P[x-1]之间的位置(其中已计算了级差work[x]作为块边界级差block_step[x]的基础)是块边界位置时，块边界确定单元58在步骤S41中将指示该位置是块边界的信号提供给计数器“btotal”更新单元59和计数器b_hist更新单元60。响应于此，计数器“btotal”更新单元59将存储在级差信息缓冲器32中的计数器“btotal”83(其指示作为输入图像中的块边界级差经块级差特性检测单元54处理的像素数目的总数)递增1并更新计数器。

在步骤S42中，计数器b_hist更新单元60将存储在级差信息缓冲器32中的计数器b_hist[id]84(其指示作为输入图像中的块边界级差经块级差特性检测单元54处理的像素数目的总数)递增1。如上所述，即使当相对于一个块边界级差block_step计算两种强度类别“id”时，计数器b_hist更新单元60也将每个计数器b_hist[id]84递增1。

另一方面，当在步骤S36中确定块边界级差block_step[x]不是大于“0”的整数，即，block_step[x]不具有块边界级差的特性时，从步骤S37到S42的处理将被跳过。另外，当在步骤S40中确定该位置不是块边界位置时，步骤S41、S42的处理将被跳过。

在步骤S43中，级差计算单元51确定在检测范围中是否存在未经处理的像素，并且当存在未经处理的像素时，处理返回到步骤S32。即，从步骤S32到S43的处理被重复，直到确定不存在未经处理的像素为止。当在步骤S43中确定不存在未经处理的像素时，块级差信息获取处理完成。

根据以上处理，相对于输入图像的检测范围中的所有像素分别计算级差“work”，设定强度类别“id”以便对应于设定到大于参考像素之间的平均值的级差的块级差强度，并且相对于位于块边界位置处的像素，级差信息缓冲器32中的计数器t_hist 82按每个“id”递增，以及级差信息缓冲器32中的计数器b_hist 84按每个强度类别“id”递增。此时，相对于检测范围内的像素数目，级差信息缓冲器32中的计数器“total”81被递增，并且相对于位于检测范围内的块边界位置处的像素数目，级差信息缓冲器32中的计数器“btotal”83被递增。

在以上描述中，已说明了块大小是8×8像素的示例，然而，担心在块边界位置附近的块级差的特性并不是仅被如图11所示相邻像素之间的像素值的绝对差捕获的，例如，在块大小被增大到16×16像素或32×32像素的情况下(例如通过缩放)。因此，在块大小增大的情况下，例如，当如图11所示目标像素和邻近像素之间的关系由图15的上面一栏示出时，优选地目标像素和邻近像素之间或者邻近像素之间的距离不被设定在每个像素的相邻像素之间，而是被设定在每隔一个像素的像素之间(如图15的中间一栏所示)，或者优选地目标像素和邻近像素之间或者邻近像素之间的距离被设定在每隔三个像素的像素之间，如图15的下面一栏所示。

这里，返回到对图9的流程图的说明。

当在步骤S11中完成了块级差信息获取处理时，统计处理单元33在步骤S12中执行统计处理，该处理计算每帧中输入图像的块噪声强度并将该强度提供给稳定处理单元34。

这里，将参考图16说明统计处理单元33的统计处理。

在步骤S61中，块噪声强度更新单元105复位强度类别“id”(其是指示强度类别的计数器)和噪声强度值bnstr_cur，并将它们设定为“0”。

在步骤S62中，总比例计算单元101访问级差信息缓冲器32，读取计数器“total”81和计数器t_hist[id]82，计算计数器t_hist[id]82相对于像素总数win_total(计数器“total”81的值)的比例(＝t_hist[id]/total：在下面的描述中也称为总比例)，并将该比例提供给总比例确定单元102。总比例确定单元102确定该总比例是否等于或大于5％，并将确定结果提供给块噪声强度更新单元105。

当在步骤S62中该总比例被确定为例如等于或大于5％时，边界比例计算单元103访问级差信息缓冲器32，读取计数器t_hist[id]82和计数器b_hist[id]84，计算计数器b_hist[id]84相对于计数器t_hist[id]82的比例(＝b_hist[id]/t_hist[id]：在下面的描述中也称为边界比例)，并将该比例提供给边界比例确定单元104。边界比例确定单元104确定边界比例是否等于或大于20％并将确定结果提供给块噪声强度更新单元105。

当在步骤S63中计数器b_hist[id]84相对于计数器t_hist[id]82的比例等于或大于20％时，块噪声强度更新单元105在步骤S64中基于总比例确定单元102和边界比例确定单元104的确定结果、通过参考强度表105a将在当前输入图像的帧处的块噪声强度值bnstr_cur更新为table[id]。即，例如，当强度表105a如图17所示时，块噪声强度更新单元105在强度类别“id”为“0”时将噪声强度值bnstr_cur设定为“0”，在强度类别“id”为1时将噪声强度值bnstr_cur设定为4(＝table[1])，在强度类别“id”为2时将噪声强度值bnstr_cur设定为8(＝table[2])，在强度类别“id”为3时将噪声强度值bnstr_cur设定为12(＝table[3])，在强度类别“id”为4时将噪声强度值bnstr_cur设定为16(＝table[4])，在强度类别“id”为5时将噪声强度值bnstr_cur设定为20(＝table[5])，在强度类别“id”为6时将噪声强度值bnstr_cur设定为24(＝table[6])，在强度类别“id”为7时将噪声强度值bnstr_cur设定为28(＝table[7])。图17中的强度表105a是通过基本上将图13中的强度类别返回到块级差强度而获得的，然而，并不限于此，而是可以应用其他强度表105a。

在步骤S66中，确定是否已处理了指示噪声强度的所有强度类别“id”，并且当确定还未处理所有强度类别“id”时，块噪声强度更新单元105将强度类别“id”递增1并且处理返回到步骤S62。即，从步骤S62到S67的处理被重复，直到确定已处理了所有强度类别“id”为止。然后，当在步骤S66中确定已处理了所有强度类别“id”时，统计处理完成。

另一方面，例如，当在步骤S62中确定总比例并不等于或大于5％时，统计处理完成。

此外，当在步骤S63中边界比例并不等于或大于20％时，总比例计算单元101访问级差信息缓冲器32，读取计数器“total”81和计数器t_hist[id]82，计算总比例(＝t_hist[id]/total)并将总比例提供给总比例确定单元102。总比例确定单元102确定总比例是否等于或大于10％。然后，当在步骤S65中总比例(＝t_hist[id]/total)等于或大于10％时，处理进行到步骤S66并且后续处理被重复。当在步骤S65中总比例(＝t_hist[id]/total)并不等于或大于10％时，统计处理完成。

即，例如如图18所示，当与0至7的强度类别“id”相对应地各个计数器b_hist[id]84指示300、150、45、18、15、10、2和1并且计数器t_hist[id]82指示1000、400、200、110、50、60、20和10时，边界比例(＝b_hist[id]/t_hist[id])分别是30％、38％、23％、16％、30％、17％、10％和10％，而总比例(＝t_hist[id]/total)分别是54％、22％、11％、6％、3％、3％、1％和1％。

因此，在图18的情况下，当块噪声强度“id”为0至3时，总比例(＝t_hist[id]/total)都大于5％，因此，在指示看作整体的噪声强度的计数器“id”中的噪声的发生概率被当作相当大级别的噪声，并且执行处理。在这种情况下，引用了块大小原理上是8×8像素的示例，因此，该比率在无失真的状态下被当作近似于1/8＝12.5，并且阈值被设定为5，这是小于12.5的值。然而，它并不一定被设定为5。例如，当块大小是8×8像素时，优选地该阈值被设定为小于12.5的值。

此外，当块噪声强度“id”为0至2时，边界比例(＝b_hist[id]/t_hist[id])都大于20％，因此，帧中的块噪声强度值bnstr_cur被顺序更新。因此，在图18的情况下，块噪声强度值bnstr_cur被顺序更新，具体而言，当块噪声强度“id”为“0”时噪声强度值bnstr_cur将为“0”，当在下一循环块噪声强度“id”为“1”时噪声强度值bnstr_cur将为“4”，而当块噪声强度“id”为“2”时噪声强度值bnstr_cur将为“8”。

接下来，当块噪声强度“id”为3时，边界比例(＝b_hist[id]/t_hist[id])不大于20％，因此，噪声强度值bnstr_cur不被更新，然而，总比例等于或大于10％，因此当块噪声强度“id”为3时处理不被停止，并且处理进行到块噪声强度“id”＝4的处理。

另一方面，块噪声强度“id”＝4(＝t_hist[id]/total)的总比例并不等于或大于5％，并且在指示看作整体的噪声强度的计数器“id”中的噪声的发生概率被当作可忽略级别的噪声，然后处理停止。

结果，在图18所示的条件下帧中的块噪声强度bnstr_cur被固定为8。

总比例(＝t_hist[id]/total)一般相对于计数器“id”单调减小，如图18所示。因此，在图16的流程图中计数器“id”按幂的降序进行处理，因此，在总比例并不等于或大于5％时(即，在图18中块噪声“id”＝4时)处理停止。

在这种情况下，由于引用了块大小原理上是8×8像素的示例，因此该比率在无失真的状态下被当作近似于1/8＝12.5，并且当存在块失真时，一个值假定大于12.5并且该比率被设定为20％作为阈值。因此，当块大小为8×8像素时，优选地该阈值被设定为大于12.5的值。

根据以上处理，可以获得其中倾向于出现块失真的块噪声强度中的最大块噪声强度(其在统计上占据了相对较大的比例)，来作为帧的块噪声强度。

这里，返回到对图9的流程图的说明。

在步骤S12中执行了统计处理之后，稳定处理单元34在步骤S13中执行稳定处理，即，基于先前和后续帧中的块噪声强度bnstr_cur对所获得的块噪声强度bnstr_cur的稳定处理，然后将噪声强度输出到块噪声降低处理单元13。

这里，将参考图19的流程图说明稳定处理单元34的稳定处理。

在步骤881中，强度改变方向确定单元121将块噪声强度bnstr_cur存储在方向历史存储单元122中，并确定块噪声强度bnstr_cur是否大于存储在方向历史存储单元122中的、紧邻的前一帧中的块噪声强度bnstr_pre。

在步骤881中，例如，当块噪声强度bnstr_cur不大于块噪声强度bnstr_pre时，强度改变方向确定单元121在步骤S82中确定块噪声强度bnstr_cur是否小于存储在方向历史存储单元122中的、紧邻的前一帧中的块噪声强度bnstr_pre。

在步骤S82中，例如，当块噪声强度bnstr_cur不小于块噪声强度bnstr_pre时，即，当块噪声强度bnstr_cur与块噪声强度bnstr_pre相同时，强度改变方向确定单元121在步骤S83中将强度改变方向trans_cur设定为“0”，并将该方向提供给方向比较单元123。

另一方面，在步骤881中，例如，当块噪声强度bnstr_cur大于块噪声强度bnstr_pre时，强度改变方向确定单元121在步骤S84中将强度改变方向trans_cur设定为“1”，并将该方向提供给方向比较单元123。

此外，在步骤S82中，当块噪声强度bnstr_cur小于块噪声强度bnstr_pre时，强度改变方向确定单元121在步骤S85中将强度改变方向trans_cur设定为“-1”，并将该方向提供给方向比较单元123。

换句话说，当通过当前帧中的块噪声强度bnstr_cur和紧邻的前一帧中的块噪声强度bnstr_pre之间的比较确定块噪声强度在时间方向上趋向于增大时，强度改变方向trans_cur被设定为“1”，当块噪声强度在时间方向上不改变时，强度改变方向trans_cur被设定为“0”，而当块噪声强度在时间方向上趋向于减小时，强度改变方向trans_cur被设定为“-1”。

在步骤S86中，方向比较单元123确定当前帧中的强度改变方向trans_cur是否为“0”。

当在步骤S86中当前帧中的强度改变方向trans_cur不是“0”时，方向比较单元123在步骤S87中将当前帧中的强度改变方向trans_cur与累加强度改变方向“trans”相比较，确定强度改变方向trans_cur和累加强度改变方向“trans”之间的正负关系是否相同。

例如，当在步骤S87中当前帧中的强度改变方向trans_cur和累加强度改变方向“trans”是相同方向时，方向比较单元123在步骤S88中将从强度改变方向确定单元121提供来的当前帧中的强度改变方向trans_cur加到累加强度改变方向“trans”并更新“trans”，然后将该方向存储在改变方向历史存储单元124中。此时，方向比较单元123还将从强度改变方向确定单元121提供来的当前帧中的强度改变方向trans_cur提供给BN强度候选计算单元126。

在步骤S89中，反应灵敏度调节单元125利用给定函数来调节存储在改变方向历史存储单元124中的累加强度改变方向“trans”，计算调节后的强度改变方向trans_tmp并将该方向提供给BN强度候选计算单元126。具体而言，例如，调节后的强度改变方向trans_tmp是利用如图20所示的函数“core(trans)”计算出的。在图20中，当累加强度改变方向“trans”小于A时，调节后的强度改变方向trans_tmp被设定为“0”，而当累加强度改变方向“trans”等于或大于A时，调节后的强度改变方向trans_tmp被设定为“core(trans-A)”。即，即使当强度改变方向急剧改变时，值改变也通过该函数放慢，并且结果，调节了反应灵敏度。

在步骤S90中，BN强度候选计算单元126利用下面的公式(2)来计算BN强度候选bnstr_tmp，并将该候选提供给强度稳定单元127。

bnstr_tmp＝bnstr_pre+trans_tmp…(2)

即，BN强度候选bnstr_tmp可以被获得作为通过将调节后的强度改变方向trans_tmp加到紧邻的前一帧中的块噪声强度bnstr_pre而调节后的值，以便对应于强度改变方向的时间改变。

在步骤S91中，强度稳定单元127确定当前帧中的强度改变方向trans_cur是否大于“0”，即，块噪声强度是否根据时间改变而增大。例如，当当前帧中的强度改变方向trans_cur大于“0”时，在步骤S92中通过计算下面的公式(3)来获得当前帧中的稳定后的块噪声强度bnstr，并将强度bnstr提供给块噪声降低处理单元13。

bnstr＝Max(bnstr_tmp，bnstr_cur)…(3)

在以上公式中，“Max(A，B)”是选择A和B中的较大值的函数。即，当当前帧中的强度改变方向trans_cur大于“0”时，当前帧中的BN强度候选bnstr_tmp和块噪声强度bnstr_cur中的较大值被设定为当前帧中的稳定后的块噪声强度。即，由于强度改变方向是在增大方向上，因此选择了当前帧中的BN强度候选bnstr_tmp和块噪声强度bnstr_cur中的较大值。

当在步骤S91中当前帧中的强度改变方向trans_cur不大于“0”时，强度稳定单元127在步骤S93中通过计算下面的公式(4)来获得当前帧中稳定后的块噪声强度bnstr，并将强度bnstr提供给块噪声降低处理单元13。

bnstr＝Min(bnstr_tmp，bnstr_cur)…(4)

这里，“Min(A，B)”是选择A和B中的较小值的函数。即，当当前帧中的强度改变方向trans_cur不大于“0”时，当前帧中的BN强度候选bnstr_tmp和块噪声强度bnstr_cur中的较小值被设定为当前帧中的稳定后的块噪声强度。即，由于强度改变方向是在减小方向上，因此选择了当前帧中的BN强度候选bnstr_tmp和块噪声强度bnstr_cur中的较小值。

另一方面，在步骤S86中当前帧中的强度改变方向trans_cur为“0”的情况下，或者在步骤S87中强度改变方向trans_cur和累加强度改变方向“trans”指示相同方向的情况下，强度稳定单元127在步骤S94中将当前帧中的稳定后的块噪声强度bnstr设定为紧邻的前一帧中的块噪声强度bnstr_pre。此时，强度稳定单元127将存储在改变方向历史存储单元124中的累加强度改变方向“trans”设定为“0”。

根据以上处理，块噪声强度被稳定，例如如图21所示。在图21中，水平轴表示帧数目，垂直轴表示块噪声强度，另外，实线表示稳定后的块噪声强度bnstr，虚线表示稳定之前的各个帧中的块噪声强度bnstr_cur。

具体而言，例如，在帧0至8中，在步骤S81中当前帧中的块噪声强度bnstr_cur大于紧邻的前一帧中的块噪声强度bnstr_pre，因此，步骤S84、S86到步骤S91、S93的处理被顺序重复，并且块噪声强度稳定地以根据持续时间段的改变率从初始值增大到作为当前帧中的块噪声强度bnstr_cur的36附近的值。

在帧9至18中，在步骤S87中强度改变方向不与紧邻的前一帧相同，并且紧邻的前一帧中的块噪声强度得以维持，因此，恒定的块噪声强度bnstr继续。

在帧19至25中，在步骤S81中当前帧中的块噪声强度bnstr_cur小于紧邻的前一帧中的块噪声强度bnstr_pre，因此，步骤S84和S86到步骤S92的处理被顺序重复，并且块噪声强度稳定地以根据持续时间段的改变率减小到作为当前帧中的块噪声强度bnstr_cur的25附近的值。

在帧26至35中，块噪声强度将会大约在36的附近，除了帧28、31以外。因此，在步骤S81中当前帧中的块噪声强度bnstr_cur基本大于紧邻的前一帧中的块噪声强度bnstr_pre，因此，步骤S84、S86到步骤S91和步骤S93的处理被顺序重复，并且块噪声强度稳定地以根据持续时间段的改变率从初始值增大到作为当前帧中的块噪声强度bnstr_cur的36附近的值。即使当在帧28、31中发生不稳定的改变时，这种大的改变也会被反应灵敏度trans_tmp吸收，因此，稳定后的块噪声强度bnstr可以稳定地改变值。

在帧36至48中，块噪声强度将会大约在42的附近，除了帧38、39和42以外。因此，在步骤S81中当前帧中的块噪声强度bnstr_cur基本大于紧邻的前一帧中的块噪声强度bnstr_pre，因此，步骤S84、S86到步骤S91和步骤S93的处理被顺序重复，并且块噪声强度稳定地以根据持续时间段的改变率增大到作为当前帧中的块噪声强度bnstr_cur的42附近的值。即使当在帧38、39和42中发生不稳定的改变时，这种大的改变也会被反应灵敏度trans_tmp吸收，因此，稳定后的块噪声强度bnstr可以稳定地改变值。

在帧49至53中，在步骤S81中当前帧中的块噪声强度bnstr_cur小于紧邻的前一帧中的块噪声强度bnstr_pre，除了帧54以外，因此，步骤S84、S86到步骤S92的处理被顺序重复，并且块噪声强度稳定地以根据持续时间段的改变率减小到作为当前帧中的块噪声强度bnstr_cur的25附近的值。即使当在帧54中发生不稳定的改变时，这种大的改变也会被反应灵敏度trans_tmp吸收，因此，稳定后的块噪声强度bnstr可以稳定地改变值。

在帧54至59中，在步骤S87中强度改变方向不与紧邻的前一帧相同，并且紧邻的前一帧中的块噪声强度得以维持，因此，恒定的块噪声强度bnstr继续。

即，即使当当前帧中的块噪声强度急剧改变时，也应用了紧邻的前一值，只要通过与紧邻的前一帧的块噪声强度的改变方向的比较、改变方向不相同即可，另外，改变方向中的小改变不被遵循，因此可以稳定小的移动。当紧邻的前一帧中的块噪声强度的方向一致时，可以逐渐地以根据时间段(在该时间段期间，方向的一致性持续)长度的改变率遵循该强度。

根据以上处理，块噪声强度被调节，以使得在考虑帧的块噪声强度的强度改变方向直到时序中紧邻的前一帧时不会发生值的极大变化，从而调节了每帧中的块噪声。

这里，返回对图19的流程图的说明。

当在步骤S93中完成了稳定处理时，块噪声强度测量处理完成。

这里，返回对图7的流程图的说明。

在步骤S5中块噪声强度测量单元12测量了块噪声强度之后，块噪声降低处理单元13在步骤S6中执行块噪声降低处理，从而降低输入图像的块噪声并输出其中已执行了块噪声降低处理的图像。

这里，将参考图22的流程图说明图6的块噪声降低处理单元13的块噪声降低处理。

在步骤S111中，数据存储单元151存储输入图像。

在步骤S112中，块像素提取单元152获取从块边界信息检测单元11提供来的块边界位置和块大小的信息。

在步骤S113中，降低级别转换单元153获取从块噪声强度测量单元12提供来的当前帧中的统计获得的块噪声强度bnstr。

在步骤S114中，降低级别转换单元153基于块噪声强度bnstr的信息来执行到块噪声有必要被降低到的降低级别的块噪声的转换，并将该级别提供给滤波器选择单元154。降低级别被设定为对应于块噪声强度bnstr的值。

在步骤S115中，滤波器选择单元154选择预先从滤波器表154a中设定的滤波器以便对应于降低级别的值，并将该滤波器提供给块噪声降低单元155。

在步骤S116中，块像素提取单元152将一个未经处理的块设定为要处理的块，并且从数据存储单元151读取块像素并将它们提供给块噪声降低单元155。

在步骤S117中，块噪声降低单元155通过从滤波器选择单元154提供来的滤波器来降低要处理的块中的像素的块噪声，并顺序地输出经噪声降低处理的图像中的像素。

在步骤S118中，块像素提取单元152确定是否存在未经处理的块，并且当存在未经处理的块时，处理返回到步骤S116。即，步骤S116到步骤S118的处理被重复，直到确定不存在未经处理的块为止。然后，在步骤S118中确定所有块都已被处理，处理结束。

根据以上处理，可以在根据块噪声强度优化块噪声的降低级别的同时去除块噪声。

根据本发明的实施例，获得块噪声强度bnstr，并且通过所获得的块噪声强度bnstr设定用于降低块噪声的滤波器的噪声降低级别，从而降低每块中的块噪声，因此，可以通过降低图像的块噪声来防止删除必要的图像信息或残留的块噪声，结果，可以有效地降低块噪声。

在上文(尤其是参考图21描述的内容)中，相对于时序中的块噪声强度的变化，逐渐地遵循了稳定后的块噪声强度，从而有效地降低了块噪声。

然而，关于包括所谓的场景改变(scene change)(其例如是在新闻节目等中从室外布景转移到天气预报布景的场景改变，或者是在电视广播中的运动节目等中通过摇动摄像机进行的场景改变)的运动图片，难以遵循场景改变之前和之后的块噪声强度的变化，结果，难以有效地降低块噪声。

更具体而言，当具有少量块噪声的场景(例如接近静止图像的风景)被改变到具有大量噪声的场景(例如具有剧烈运动的流动的河流)时，块噪声强度被稳定，如图23所示。在图23中，水平轴表示帧数目，垂直轴表示块噪声强度，另外，实线表示稳定后的块噪声强度，虚线表示稳定之前的各个帧中的块噪声强度。

在图23中，关于稳定之前的帧，帧1至11指示具有少量块噪声的场景，12之后的帧指示具有大量块噪声的场景。即，在帧11和帧12之间发生场景改变。另一方面，稳定后的块噪声强度在从帧11至帧24的时间段(其由双向箭头示出)中逐渐改变。因此，在帧11至24中，在块噪声强度为低的假设下执行噪声降低处理，因此，难以有效地降低块噪声。这不仅可以在场景改变时发生，而且可以在图像中的运动量急剧改变(即使在相同场景中)时发生，例如，在亮度急剧改变时(例如通过相机的闪光成像)。

在与上述情况相反的情况中(其中具有大量块噪声的场景被改变到具有少量块噪声的场景)，在稳定后的块噪声强度逐渐改变(减小)的时间段中在块噪声强度为高的假设下执行噪声降低处理，结果，图像质量恶化。

如上所述块噪声强度的急剧改变的放慢，即，反应灵敏度的降低(直到检测结果为止的来自块噪声检测的反应速度被反映在噪声降低处理上)是由反应灵敏度调节单元125实现的，如上所述。更具体而言，反应灵敏度是由图20的函数“core(trans)”中的值A确定的，并且值A越高，反应灵敏度变得越低，结果，块噪声强度的变化被降低且稳定。另一方面，值A越低，反应灵敏度就变得越高。

因此，在运动图片中发生运动量的急剧改变(例如在场景改变中)的情况下，图20的函数(core)中的值A减小并且反应灵敏度提高，从而有效地降低了块噪声。

在下面的描述中，将说明一图像处理设备，其中检测运动量的急剧改变并且根据检测结果来调节反应灵敏度。

首先，将参考图24说明图像处理设备1(图1)中的块噪声强度测量单元12的另一实施例的配置示例。在包括块噪声强度测量单元12的另一实施例的图像处理设备中，块边界信息检测单元11和块噪声降低处理单元13的功能与设在图1的图像处理设备1中的功能相同。

在图24的块噪声强度测量单元12中，对具有与设在图2的块噪声强度测量单元12中的组件相同的功能的组件赋予相同的名称和编码，并且将适当省略其说明。

即，图24的块噪声强度测量单元12与图2的块噪声强度测量单元12的不同点在于：新设置了运动检测单元231，并且取代稳定处理单元34设置了稳定处理单元232。

运动检测单元231包括帧延迟单元251、运动量计算单元252和场景改变确定单元253。

帧延迟单元251临时存储输入图像，并将紧邻在输入图像之前一帧的图像(下文中称为紧邻的前一图像)提供给运动量计算单元252。

运动量计算单元252包括绝对差和值计算单元252a、比较单元252b和运动量累加值计算单元252c，并且基于输入图像和紧邻的前一图像计算输入图像中的运动量。更具体而言，绝对差和值计算单元252a读取输入图像中的目标像素(要处理的像素)和紧邻的前一图像中与目标像素相对应的像素(参考像素)，并且逐个像素地计算帧之间各个相应像素的像素值的绝对差之和。比较单元252b将逐个像素计算出的帧之间的绝对差之和与给定阈值相比较，并基于比较结果计算每个像素中的运动量。运动量累加值计算单元252c逐个像素地相加一帧的各个像素中的运动量，计算运动量累加值并将该值提供给场景改变确定单元253。

场景改变确定单元253基于从运动量计算单元252提供来的运动量累加值来确定在输入图像和紧邻的前一图像之间是否发生场景改变，并将指示结果的信息提供给稳定处理单元232。

稳定处理单元232具有与图2的稳定处理单元34相同的功能，并且另外基于从场景改变确定单元253提供来的指示是否发生场景改变的信息来校正要稳定的输入图像的块噪声强度，并将校正结果提供给块噪声降低处理单元13作为块噪声强度。

接下来，将参考图25说明根据实施例的稳定处理单元232的配置示例。在图25的稳定处理单元232中，对具有与设在图5的稳定处理单元34中的组件相同的功能的组件赋予相同的名称和编码，并且将适当省略其说明。

即，图25的稳定处理单元232与图5的稳定处理单元34的不同点在于：取代反应灵敏度调节单元125设置了反应灵敏度调节单元271。

反应灵敏度调节单元271包括时钟单元271a和设定单元271b，并且通过基于从场景改变确定单元253提供来的指示是否发生场景改变的信息改变图20所示的函数“core(trans)”中的值A来调节反应灵敏度(强度改变方向)。更具体而言，时钟单元271a测量在获取了从场景改变确定单元253提供来的指示是否发生场景改变的信息之后的时间段。设定单元271b通过根据由时钟单元271a测得的、从指示是否发生场景改变的信息的提供起经过的时间段改变函数“core(trans)”中的值A来设定反应灵敏度(强度改变方向)，并将该灵敏度提供给BN强度候选计算单元126。

接下来，将参考图26的流程图说明运动检测单元231的运动检测处理。图26的运动检测处理是在输入图像中逐帧执行的。

在步骤S131中，运动量计算单元252中的运动量累加值计算单元252c初始化其中存储的运动量累加值MSUM。

在步骤S132中，绝对差和值计算单元252a读取输入图像中的目标像素和紧邻的前一图像中与目标像素相对应的参考像素，并逐个像素地计算帧之间的各个相应像素的像素值的绝对差之和SAD。当输入图像中目标像素的像素值为C而紧邻的前一图像中参考像素的像素值为P时，绝对差之和SAD可以表示为SAD＝|P-C|。

在步骤S 133中，比较单元252b确定绝对差和值计算单元252a逐个像素计算出的帧之间的绝对差之和SAD是否大于阈值THSAD。

当在步骤S133中确定帧之间的绝对差之和SAD大于阈值THSAD时，处理进行到步骤S134。在步骤S134中，比较单元252b向指示对于像素存在运动的运动信息MFLAG设定指示存在运动的MFLAG＝1，并将MFLAG＝1提供给运动量累加值计算单元252c。

另一方面，当在步骤S133中确定帧之间的绝对差之和SAD不大于阈值THSAD时，处理进行到步骤S135。在步骤S135中，比较单元252b向运动信息MFLAG设定指示不存在运动的MFLAG＝0，并将MFLAG＝0提供给运动量累加值计算单元252c。

在步骤S136中，运动量累加值计算单元252c新设定运动量累加值MSUM，其是通过将来自比较单元252b的运动信息MFLAG加到运动量累加值MSUM而获得的。

在步骤S137中，运动量计算单元252确定是否已针对输入图像的一帧中包括的所有像素设定了运动信息MFLAG并计算了运动量累加值MSUM。

当在步骤S137中确定还未针对所有像素设定运动信息MFLAG并计算运动量累加值MSUM时，处理返回到步骤S132，并且步骤S132到步骤S137的处理被重复，直到针对所有像素执行了计算为止。

另一方面，当在步骤S137中确定已针对所有像素设定了运动信息MFLAG并计算了运动量累加值MSUM时，运动量累加值计算单元252c将运动量累加值MSUM提供给场景改变确定单元253。此时，运动量累加值MSUM指示其中存在运动的像素数目。在步骤S137之后，处理进行到步骤S138。

在步骤S138中，场景改变确定单元253确定从运动量计算单元252中的运动量累加值计算单元252c提供来的运动量累加值MSUM是否大于阈值THMSUM。

当在步骤S138中确定运动量累加值MSUM大于阈值THMSUM时，处理进行到步骤S139。在步骤S139中，场景改变确定单元253对指示是否发生场景改变的场景改变信息CHNGFLAG设定指示已发生场景改变的CHNGFLAG＝1，并将CHNGFLAG＝1提供给稳定处理单元232。

另一方面，当在步骤S138中确定运动量累加值MSUM不大于阈值THMSUM时，处理进行到步骤S140。在步骤S140中，场景改变确定单元253对场景改变信息CHNGFLAG设定指示还未发生场景改变的CHNGFLAG＝0，并将CHNGFLAG＝0提供给稳定处理单元232。

根据以上处理，可以基于紧邻的前一图像和输入图像之间的运动量的改变来检测场景改变。

检测帧之间的运动量的急剧改变(例如在场景改变中)的方法并不限于参考图26的流程图说明的方法，而是可以应用其他方法。

接下来，将参考图27的流程图说明稳定处理单元232的稳定处理。注意，图27的流程图中步骤S181到步骤S188的处理和步骤S190到步骤S194的处理(即，除了步骤S189以外的处理)与参考图19的流程图说明的步骤S81到步骤S88的处理和步骤S90到步骤S94的处理相同，因此，省略了其说明。

即，在步骤S189中，稳定处理单元232中的反应灵敏度调节单元271执行反应灵敏度调节处理，基于来自场景改变确定单元253的场景改变信息CHNGFLAG来调节反应灵敏度(强度改变方向)。

这里，将参考图28的流程图说明反应灵敏度调节单元271的反应灵敏度调节处理。

在步骤S201中，反应灵敏度调节单元271确定在输入图像的每帧中来自场景改变确定单元253的场景改变信息CHNGFLAG是否为CHNGFLAG＝1。

当在步骤S201中确定CHNGFLAG＝1时，即，在步骤S201中检测到场景改变，时钟单元271a开始测量从场景改变确定单元253提供来场景改变信息CHNGFLAG＝1时起的时间段，并且处理进行到步骤S202。

在步骤S202中，设定单元271b通过将改变点(图20中的值A)(其中调节后的强度改变方向trans_tmp相对于函数“core(trans)”中的累加强度改变方向“trans”开始改变(增大))确定为如图29所示的值A’来设定反应灵敏度(强度改变方向)，并将该灵敏度提供给BN强度候选计算单元126。

如图29所示，在步骤S202中，整个函数“core(trans)”向左侧(负方向)平行地移动A-A’，从而使得函数“core(trans)”中的改变点被从图20中说明的值A移动到较小值A’。

在步骤S203中，时钟单元271a确定从CHNGFLAG＝1的场景改变信息的提供时起是否经过了给定时间段。

在步骤S203中，当确定从CHNGFLAG＝1的场景改变信息的提供时起还未经过给定时间段时，步骤S203的处理被重复，直到经过了给定时间段为止。

当确定从CHNGFLAG＝1的场景改变信息的提供时起经过了给定时间段时，处理进行到步骤S204。在步骤S204中，设定单元271b通过将改变点(其中调节后的强度改变方向trans_tmp相对于函数“core(trans)”中的累加强度改变方向“trans”开始改变(增大))确定为值A来设定反应灵敏度(强度改变方向)，并将该灵敏度提供给BN强度候选计算单元126。在步骤S202中改变点被确定为值A’的情况下，在步骤S204中整个函数“core(trans)”向右侧(正方向)平行地移动A-A’，从而使得函数“core(trans)”中的改变点将从值A’变为值A，如图29所示。

当在步骤S201中确定CHNGFLAG不为“1”时，即，未检测到场景改变，处理进行到步骤S204。在这种情况下，函数“core(trans)”中的改变点仍旧是在图20中说明的值A。

在以上描述中，当检测到场景改变时，函数“core(trans)”中的改变点从检测到场景改变时的时间点到给定时间点之间是值A’，并且改变点在经过了该时间段之后是值A，并且更具体而言，例如，可以应用图30中所示的关系。

在图30所示的关系中，值A在从检测到场景改变时起的0至0.5秒的时间段内取小值，并且值A在0.8秒的点之后取较大值。在0.5至0.8秒的时间段中，值A线性地从小值增大到较大值，然而，例如值A在0.7秒的点从小值不连续地改变到较大值也是优选的。

例如，经MPEG系统编码的图像数据包括具有12至15帧的GOP(图片组)。经MPEG系统编码的图像数据以60场/秒(30帧/秒)被解码，因此，1个GOP(15帧)在0.5秒中被解码。

这里，当在某一GOP中发生场景改变时，期望通过减小1个GOP(15帧)的处理期间的反应灵敏度来降低块噪声。

因此，关于经MPEG系统编码的图像数据，值A在检测到场景改变之后的0至0.5秒的时间段内被设定为小值，从而遵循包括场景改变之前和之后的帧的GOP内的块噪声强度的改变。例如，此时的值A是要例如在从检测到场景改变时起的大约0.1秒内成为遵循块噪声强度的改变的反应灵敏度的值。

在从检测到场景改变时起经过了0.8秒之后，由于块噪声强度在图21说明的程度中变化，因此值A(图20中的值A)被设定为较大值，从而逐渐地遵循块噪声强度的变化。此时的值A是要在对1个GOP解码的大约0.5秒内成为遵循块噪声强度的改变的反应灵敏度的值。

根据以上处理，即使当发生场景时，稳定的结果也会遵循如图31所示的块噪声强度。在图31中，以与图23相同的方式，水平轴表示帧数目，垂直轴表示块噪声强度，另外，实线表示稳定后的块噪声强度，虚线表示稳定之前各个帧中的块噪声强度。

在图31中，在稳定之前的帧中，在帧10和帧11之间发生了场景改变，如在图23中说明的。稳定后的块噪声强度在帧11至15之间改变(图中由双向箭头示出)，与图23中的稳定后的块噪声强度相比，这快速地遵循了稳定之前的块噪声强度。因此，可以在发生场景改变时有效地降低块噪声。

根据以上处理，当图像中的运动量急剧改变时，可以通过增大反应灵敏度来快速调节块噪声强度以便遵循该改变。当运动量的变化不大时，可以调节块噪声强度以使得不会发生值的极大改变。因此，可以更稳定地降低块噪声。

在以上说明中，取决于是否发生场景改变来改变(切换)值A，从而设定两种模式的反应灵敏度。通过将帧之间的运动量划分为某些等级来设定更精细的模式的反应灵敏度也是优选的。

图像处理序列不仅可通过硬件执行，还可通过软件执行。当处理序列通过软件执行时，使用了在专用硬件中结合软件中包括的程序的计算机，或者程序被从记录介质安装到能够通过安装各种程序执行各种功能的通用个人计算机。

图32示出了通用计算机的配置示例。个人计算机包括CPU(中央处理单元)1001。输入/输出接口1005通过总线1004连接到CPU 1001。ROM(只读存储器)1002和RAM(随机访问存储器)1003连接到总线1004。

包括诸如键盘和鼠标之类的用户用来输入操作命令的输入设备的输入单元1006，在显示设备上输出处理操作窗口和处理结果的图像的输出单元1007，包括存储程序或各种数据的硬盘驱动器等的存储单元1008，以及包括LAN(局域网)适配器等、通过以因特网为代表的网络执行通信处理的通信单元1009，连接到输入/输出接口1005。另外，连接了驱动器1010，该驱动器1010针对可移除介质1011读或写数据，可移除介质1011例如是磁盘(包括柔性盘)、光盘(包括CD-ROM(致密盘-只读存储器)、DVD(数字多功能盘))、磁光盘(包括MD(迷你盘))和半导体存储器。

CPU 1001根据存储在ROM 1002中的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1011读取的、安装在存储单元1008中、并从存储单元1008加载到RAM 1003的程序来执行各种处理。RAM 1003适当地存储供CPU 1001执行各种处理所必需的数据。

在本说明书中，描述记录在记录介质中的程序的步骤不仅包括按时序沿所述顺序执行的处理，还包括即使在不按时序执行处理时、并行或分开执行的处理。

本申请包含与2009年3月11日向日本专利局提交的日本在先专利申请JP 2009-057940中公开的内容有关的主题，该申请的全部内容通过引用结合于此。

本领域技术人员应当理解，取决于设计需求和其他因素可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在权利要求或其等同物的范围内。

Claims (14)

1.一种图像处理设备，包括：

级差计算装置，用于计算每个像素和邻近像素之间的像素值的差异作为级差；

分类装置，用于在所述级差的每个范围中将各个像素分类为多个类别；

边界比例计算装置，用于根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及

块噪声强度确定装置，用于确定其中边界比例高于给定阈值并且是最大值的类别的级差，作为图像中的块噪声强度。

2.如权利要求1所述的图像处理设备，还包括：

稳定装置，用于在图像属于运动图片时，根据在时间上接近的像素的块噪声强度来校正并稳定包括当前目标像素的图像中的块噪声强度。

3.如权利要求2所述的图像处理设备，还包括：

运动量计算装置，用于基于图像的帧之间的各个像素中的绝对差之和来计算该图像的运动量，

其中所述稳定装置包括：

反应灵敏度调节装置，用于基于由所述运动量计算装置计算出的所述运动量来调节所述包括当前目标像素的图像中的块噪声强度和所述在时间上接近的图像的块噪声强度之间的强度改变的反应灵敏度，并且

所述稳定装置根据其中所述反应灵敏度调节装置已调节了反应灵敏度的强度改变和所述在时间上接近的图像的块噪声强度来稳定所述包括当前目标像素的图像中的块噪声强度。

4.如权利要求3所述的图像处理设备，

其中所述反应灵敏度调节装置利用调节在所述强度改变的改变方向上的改变度的函数来调节所述反应灵敏度。

5.如权利要求4所述的图像处理设备，

其中所述反应灵敏度调节装置在一时段内将所述反应灵敏度调节为高，所述时段是从经所述运动量计算装置计算出的运动量变得高于一给定值时起到经过一给定时间段为止。

6.如权利要求3所述的图像处理设备，

其中所述图像属于以运动图片专家组MPEG系统编码的图片，

所述反应灵敏度调节装置根据图片组的解码处理所需的时间来调节所述图片组中包括的帧的块噪声强度的强度改变的反应灵敏度，其中所述图片组是所述图像的单位。

7.如权利要求3所述的图像处理设备，

其中所述运动量计算装置确定所述图像的帧之间的绝对差之和大于一给定阈值的像素数目作为所述图像的运动量。

8.如权利要求1所述的图像处理设备，

其中所述级差计算装置计算目标像素和所述目标像素附近的参考像素之间的像素值的绝对差与所述目标像素附近的邻近像素和所述邻近像素附近的参考像素之间的像素值的绝对差之间的差值作为所述目标像素的差值，并且在所述目标像素的差值大于一给定值时将所述目标像素的差值确定为所述目标像素的级差。

9.如权利要求8所述的图像处理设备，

其中所述级差计算装置还包括：

存储装置，用于存储所述目标像素的多条差值信息，并且

当所述目标像素的差值是存储在所述存储装置中的目标像素的多个差值中的最大值时，将所述差值确定为所述目标像素的级差。

10.如权利要求8所述的图像处理设备，

其中所述级差计算装置基于块大小来改变所述参考值。

11.如权利要求1所述的图像处理设备，

其中所述边界比例计算装置按照相应级差的降序来计算每个类别中块边界处的像素数目的比例。

12.如权利要求11所述的图像处理设备，还包括：

总比例计算装置，用于计算每个类别中相对于整个图像的像素的比例作为总比例，

其中，当所述总比例小于低于所述给定阈值的另一给定阈值时，所述边界比例计算装置停止具有大于该类别的相应级差的类别的总比例的计算。

13.一种图像处理方法，包括以下步骤：

计算每个像素和邻近像素之间的像素值的差异作为级差；

在所述级差的每个范围中将各个像素分类为多个类别；

根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及

确定其中边界比例高于给定阈值并且是最大值的类别的级差，作为图像中的块噪声强度。

14.一种图像处理设备，包括：

级差计算单元，其被配置为计算每个像素和邻近像素之间的像素值的差异作为级差；

分类单元，其被配置为在所述级差的每个范围中将各个像素分类为多个类别；

边界比例计算单元，其被配置为根据各个类别计算在块边界处的像素数目的比例作为边界比例；以及

块噪声强度确定单元，其被配置为确定其中边界比例高于给定阈值并且是最大值的类别的级差作为图像中的块噪声强度。

Images