CN101491104A - 图像处理装置、方法和程序 - Google Patents

Abstract

本发明涉及能够提高图像质量的图像处理装置、方法和程序。去块滤波器113根据活动性计算部件141所计算的图像的Activity、由正交变换部件142计算的图像的正交变换系数的总和、由速率控制单元119计算的图像的Complexity或由预测误差相加单元120计算的图像的预测误差的总和来调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。本发明可应用于编码装置。

Description

图像处理装置、方法和程序

技术领域

本发明涉及图像处理装置、方法和程序，并且涉及能够提高图像质量的图像处理装置、方法和程序。

背景技术

引起通过MPEG-2(运动图像专家组阶段2)方法被编码的图像的图像质量劣化的一个因素是块噪声(block noise)。因此，在通过MPEG-4(运动图像专家组阶段4)方法或H.264/AVC(高级视频编码)方法对图像进行编码的装置中，提供了执行用于去除块噪声的去块处理的去块滤波器(例如，参见专利文献1)。通过这样的去块处理，特别地，即使是对于低比特率的图像，图像质量的劣化也可以被抑制。

专利文献1：日本专利第3489735号。

发明内容

技术问题

然而，因为在去块处理中，块之间的边界被执行低通滤波处理，所以存在一个问题：能够去除块噪声，但是，丢失了关于图像的图案等的详细信息(以下，也称为纹理)。

本发明是考虑到上述情况而设计的，并且目的是通过适当地执行去块处理来提高图像质量。

技术方案

根据本发明的技术方案的图像处理装置包括：去块滤波器，其对通过解码第二图像而获得的经过解码的图像执行去块处理，所述第二图像在第一图像被编码的情况中用于第一图像的运动估计，并且在所述第一图像之前被编码；以及特征量计算装置，其用于计算表示所述第二图像的复杂度的特征量。所述去块滤波器根据所述特征量来控制是否将所述去块处理应用于所述经过解码的图像或者控制将所述去块处理应用于所述经过解码的图像的程度。

所述特征量计算装置能够将所述第二图像的编码难度计算作为所述特征量。

在所述第二图像是通过使用帧间预测而被编码的图像的情况中，所述特征量计算装置能够将这样的值设置作为所述特征量，所述值是通过使用在所述第二图像被编码之前通过使用帧内预测而被编码的第三图像的编码难度来归一化所述第二图像的编码难度而获得的值。

所述特征量计算装置能够将还未被编码的所述第二图像划分为多个块，并且根据每个所述块的像素值的离散度(dispersion)来计算所述特征量。

所述特征量计算装置能够将还未被编码的所述第二图像划分为多个块，并且根据通过对每个所述块执行正交变换所获得的变换系数来计算所述特征量。

所述特征量计算装置能够根据预测误差来计算所述特征量，所述预测误差是通过帧间预测所预测出的所述第二图像的预测图像和还未被编码的所述第二图像之间的差值。

所述图像处理装置可以通过H.264/AVC(高级视频编码)方法编码图像。所述去块滤波器可以通过调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值来控制是否将所述去块处理应用于所述经过解码的图像或者控制将所述去块处理应用于所述经过解码的图像的程度。

所述图像处理设备可以通过MPEG-4(运动图像专家组阶段4)、H.264/AVC(高级视频编码)或VC-1(视频编解码器1)方法编码图像。

根据本发明的技术方案的图像处理方法或程序包括以下步骤：计算表示第二图像的复杂度的特征量，所述第二图像在第一图像被编码的情况中用于第一图像的运动估计，并且在所述第一图像之前被编码；并且根据所述特征量来控制是否将去块处理应用于通过解码所述第二图像所获得的经过解码的图像或者控制将所述去块处理应用于所述经过解码的图像的程度。

在本发明的技术方案中，计算表示第二图像的复杂度的特征量，所述第二图像在第一图像被编码的情况中用于第一图像的运动估计，并且在所述第一图像之前被编码，并且根据所述特征量来执行对是否将去块处理应用于通过解码所述第二图像所获得的经过解码的图像的控制或者对将所述去块处理应用于所述经过解码的图像的程度的控制。

有益效果

根据本发明的技术方案，可以根据图像的特征适当地执行去块处理。此外，根据本发明的技术方案，可以提高图像质量。

附图说明

图1是示出本发明所应用于的图像处理装置的实施例的框图。

图2是用于说明由图1中的图像处理装置执行的编码处理的流程图。

图3是用于说明由图1中的图像处理装置执行的去块控制处理的第一实施例的流程图。

图4是用于说明由图1中的图像处理设备执行的去块控制处理的第二实施例的流程图。

图5是用于说明由图1中的图像处理设备执行的去块控制处理的第三实施例的流程图。

图6是用于说明由图1中的图像处理设备执行的去块控制处理的第四实施例的流程图。

图7是示出个人计算机的配置示例的框图。

标号说明

101图像处理装置，113特征量计算单元，114加法器，115正交变换单元，119速率控制单元，120预测误差相加单元，124去块滤波器，126帧内预测单元，127运动估计和补偿单元，141活动性计算部件，142正交变换部件。

具体实施方式

以下，将参考图来描述本发明的实施例。

图1是示出本发明应用于的图像处理装置的实施例的配置的框图。

图像处理装置101是这样的设备，其用于通过H.264/AVC(高级视频编码)方法对输入图像进行编码，并且在随后的阶段，将经过编码的图像输出给例如未示出的记录装置或者传输路径。

图像处理装置101被配置为包括A/D(模拟/数字)转换单元111、屏幕重排缓冲器112、特征量计算单元113、加法器114、正交变换单元115、量化单元116、无损编码单元117、存储缓冲器118、速率控制单元119、预测误差相加单元120、逆量化单元121、反正交变换单元122、加法器123、去块滤波器124、帧存储器125、帧内预测单元126和运动估计与补偿单元127。此外，特征量计算单元113被配置为包括活动性计算部件141和正交变换部件142。

A/D转换单元111将从外部输入的模拟图像模数转换成数字图像，并且将经过转换的数字图像(以下在合适的时候也称为原图像)提供给屏幕重排缓冲器112。

屏幕重排缓冲器112根据GOP(画面组)结构将从A/D转换单元111提供的原图像重新排列，并且顺序将原图像提供给特征量计算单元113。

特征量计算单元113计算表示原图像的复杂度的特征量。此外，特征量计算单元113将特征量计算已经完成的原图像提供给加法器114、帧内预测单元126和运动估计与补偿单元127。

在构成特征量计算单元113的元件中，如以下参考图4所述，活动性计算部件141将原图像划分成多个块，并且根据每个块的像素值的离散度来计算原图像的特征量。活动性计算部件141将指示所计算出的特征量的信息提供给去块滤波器124。

此外，如以下参考图5所述，正交变换部件142将原图像划分成多个块，并且根据通过对每个所述块执行正交变换所获得的变换系数来计算原图像的特征量。正交变换部件142将指示所计算出的特征量的信息提供给去块滤波器124。

对于每个宏块，加法器114从帧内预测单元126或者运动估计与补偿单元127获得以下两者之一：通过使用画面内预测(帧内预测)所预测到的帧内预测图像和通过对原图像使用画面间预测(帧间预测，运动补偿预测)所预测到的帧间预测图像。对于每个宏块，加法器114计算原图像与帧内预测图像或帧间预测图像之间的差值，并将从通过所述差值的计算而获得的预测误差形成的差分图像(difference image)提供给正交变换单元115和预测误差相加单元120。

正交变换单元115对针对具有预定大小的每个块的差分图像执行正交变换，例如离散余弦变换或Karhunen-Loeve变换，并且将如此获得的变换系数提供给量化单元116。

量化单元116通过使用由速率控制单元119控制的量化器比例(quantizer scale)量化从正交变换单元115提供的变换系数，并且将经过量化的变换系数提供给无损编码单元117和逆量化单元121。

无损编码单元117从帧内预测单元126获得关于帧内预测的信息，并且从运动估计与补偿单元127获得关于帧间预测的信息。无损编码单元117以预定顺序排列经过量化的变换系数、关于帧内预测的信息、关于帧间预测的信息等，并且对经过排列的数据执行无损编码处理，例如，诸如CAVLC(上下文自适应可变长度编码)的可变长度编码或诸如CABAC(上下文自适应二进制算术编码)的算术编码。无损编码单元117将经过编码的数据提供给存储缓冲器118以存储于其中。

在随后的阶段，存储缓冲器118将从无损编码单元117提供的数据作为通过H.264/AVC方法编码的图像输出给例如未示出的记录装置或发送路径。

速率控制单元119根据存储缓冲器118中存储的图像的代码量来控制比特率，即每次指定给要被编码的图像的代码量。

例如，速率控制单元119通过使用由MPEG-2TestModel5(TM5)定义的速率控制方法、通过控制量化器比例的值来控制比特率，量化器比例的值是当量化单元116执行量化时变换系数所除以的值。此外，如以下参考图3所述，速率控制单元119将编码难度计算作为表示原图像复杂度的特征量，并且将所计算出的编码难度提供给去块滤波器124。

如以下参考图6所述，预测误差相加单元120根据从加法器114提供的形成差分图像的预测误差来计算表示图像的复杂度的特征量。预测误差相加单元120将指示所计算出的特征量的信息提供给去块滤波器124。

逆量化单元121对从量化单元116提供的变换系数进行逆量化，并且将经过逆量化的变换系数提供给反正交变换单元122。

反正交变换单元122对从逆量化单元121提供的变换系数执行反正交变换，例如反离散余弦变换或者反Karhunen-leove变换。从而，通过解码获得差分图像。反正交变换单元122将经过解码的差分图像提供给加法器123。

加法器123从帧内预测单元126和运动估计与补偿单元127获得已经用于产生差分图像的帧内预测图像或帧间预测图像，并且将差分图像和所获得的帧内预测图像或帧间预测图像加到一起。从而，通过解码获得原图像。加法器123将经过解码的图像(以下在合适的时候也称为经过解码的图像)提供给去块滤波器124。

去块滤波器124对经过解码的图像执行用于去除块噪声的去块处理。注意，如以下参考图3到6所述，根据从速率控制单元119、预测误差相加单元120、活动性计算部件141或正交变换部件142获得的特征量，去块滤波器124控制是否将去块处理应用于经过解码的图像或者控制将去块处理应用于经过解码的图像的程度。去块滤波器124将已经经受去块处理的经过编码的图像提供给帧存储器125。此外，去块滤波器124将还未经受去块处理的经过编码的图像作为用于帧内预测的图像而直接提供给帧存储器125。

帧存储器125将从去块滤波器124提供的经过解码的图像存储作为在执行帧内预测或帧间预测的情况中要参照的图像(以下，在合适的时候称为参照图像)。

对于每个宏块，帧内预测单元126通过使用存储在帧存储器125中的同一帧内邻近相应宏块的经过编码的像素来执行帧内预测，用于生成原图像的预测图像。注意，如上所述，还未经过去块处理的经过编码的图像的像素用于帧内预测。

对于每个宏块，运动估计与补偿单元127通过使用存储在帧存储器125中的不同帧中的参照图像来检测原图像相对于所述参照图像的运动矢量，并且通过使用所检测到的运动矢量对参照图像执行运动补偿。因此，运动估计与补偿单元127执行帧间预测，用于生成原图像的帧间预测图像。

此外，例如由未示出的模式确定单元使用低复杂度模式(LowComplexity Mode)(高速模式)方法来确定要应用于每个宏块的预测模式。如图1所示，在所应用的预测模式是用于帧内预测的预测模式的情况中，帧存储器125和帧内预测单元126连接在一起，并且帧内预测单元126、加法器114和加法器123连接在一起。帧内预测单元126根据所选择的预测模式生成帧内预测图像，并且将生成的画面内预测图像提供给加法器114和加法器123。此外，帧内预测单元126还将关于所应用的预测模式等的信息提供给无损编码单元117，作为关于已经对其执行帧内预测的宏块的帧内预测的信息。

此外，尽管在图1中未示出，在所应用的预测模方式是用于帧间预测的预测模式的情况中，帧存储器125和运动估计与补偿单元127连接在一起，并且运动估计与补偿单元127、加法器114和加法器123连接在一起。运动估计与补偿单元127根据所选择的预测模式而生成帧间预测图像，并且将所生成的帧间预测图像提供给加法器114和加法器123。此外，运动估计与补偿单元127将关于所应用的预测模式、所检测到的运动矢量、所参考的图像(画面)编号等的信息提供给无损编码单元117，作为关于已经对其执行帧间预测的宏块的帧间预测的信息。

接着，将参考图2的流程图描述由图1中的图像处理装置101执行的编码处理。注意，例如当从外部开始向图像处理装置101的输入图像时，该处理开始。

在步骤S1中，图像处理装置101开始对图像进行编码。即，在通过图像处理装置101的各个单元开始以上参考图1所述的操作时，开始通过H.264/AVC方法对输入图像进行编码。此外，还开始将在以后参考图3至6进行描述的去块控制处理。

在步骤S2中，图像处理装置101确定是否所有图像已经被编码。一直执行图像编码直到在步骤S2中确定所有从外部输入的图像已经被编码为止。在确定了所有从外部输入的图像已经被编码的情况中，编码处理结束。

接着，将参考图3的流程图，描述以上已经参考图2描述的编码处理的过程中由图像处理装置101执行的去块处理的第一实施例。

在步骤S21中，速率控制单元119计算Complexity。具体而言，速率控制单元119从存储缓冲器118获取经过编码的图像(画面)。速率控制单元119使用下式(1)计算编码难度Complexity，作为表示图像复杂度的特征量：

Complexity＝PictureGeneratedBis×PictureAverageQuant (1)

在此，PictureGeneratedBis表示生成的图像代码量。此外，PictureAverageQuant表示应用到图像的量化器比例的平均值并且由下式(2)计算：

[表达式1]

$\mathrm{PictureAverageQuant}=\frac{1}{\mathrm{MBNum}}\underset{k=1}{\overset{\mathrm{MBNum}}{\mathrm{\Σ}}}Q{\mathrm{uant}}_k---\left(2\right)$

在此，MBNum表示图像宏块的数量。并且，Quant_k表示应用到图像内的第k个宏块的量化器比例，并且由下式(3)计算：

[表达式2]

$Q{\mathrm{uant}}_k=2^{\frac{{\mathrm{QP}}_k}{6}}---\left(3\right)$

在此，QP_k表示图像内第k个宏块的量化参数。

即，由式(1)计算的Complexity是通过将所生成的图像代码量乘以量化器比例的平均值而获得的值。因此，随着图像运动减少，Complexity变小。此外，随着图像运动增加，Complexity变大。

在步骤S22中，去块滤波器124调整关于去块处理的参数。具体而言，速率控制单元119将指示所计算的Complexity的信息提供给去块滤波器124。去块滤波器124根据要经受去块处理的图像的Complexity的值来调整disable_deblocking_fllter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。

disable_deblocking_filter_idc是用于设置是否要应用去块处理的参数并且能够为每一片(slice)设置。在应用去块处理的情况中，disable被设置为0，在不应用去块处理的情况中被设置为1，并且在去块处理不应用于片的边界处的情况中被设置为2。

slice_alpha_c0_offset_div2是在一片被分为像素的块的情况中用于调整去块处理应用于块之间的边界的程度的参数，并且可以为每一个片设置。slice_alpha_c0_offset_div2可以在—6到+6之间的范围内设置。随着该值减小，去块处理所应用的程度变低。随着该值增大，去块处理所应用的程度变高。

slice_beta_offset_div2是在一片被分为4×4像素的块的情况中用于调整去块处理应用于块内的像素的程度的参数，并且可以为每一个片设置。slice_beta_offset_div2可以在—6到+6之间的范围内设置。随着该值减小，去块处理所应用的程度变低。随着该值增大，去块处理所应用的程度变高。

在步骤S22中，例如，在Complexity小于预定阈值Thc的情况下，disable_deblocking_filter_idc被设置为1。即，对于只生成轻微的块噪声并且几乎不发生运动的图像，不应用去块处理。

此外，例如在Complexity等于或大于预定阈值Thc的情况下，根据Complexity的值调整slice_alpha_c0_offset_div2和slice_beta_offset_div2。例如，随着Complexity的值减小，slice_alpha_c0_offset_div2和slice_beta_offset_div2被设置为接近—6的值。此外随着Complexity的值变大，slice_alpha_c0_offset_div2和slice_beta_offset_div2被设置为接近+6的值。即，对于不太可能生成块噪声并且发生少量运动的图像，降低去块处理所应用的程度。此外，对于比较可能生成块噪声并且发生大量运动的图像，增大去块处理所应用的程度。

在步骤S23中，去块滤波器124执行去块处理，并且去块控制处理结束。已经经受去块处理的经过解码的图像存储在帧存储器125中，作为参照图像。注意，在disable_deblocking_filter_idc被设置为1的情况中，不执行去块处理。

如上所述，根据Complexity，对经过解码的图像适当地执行去块处理，并且在保持纹理的同时生成已经去除块噪声的参照图像。因此，能够提高通过使用参照图像进行帧间预测编码的图像的图像质量。

注意，可以根据图像类型，即根据图像是I画面、P画面还是B画面来改变阈值Thc的值。

此外，P画面和B画面的编码难度可以通过使用I画面的Complexity进行归一化，并且可以根据经过归一化的值(Norm_Complexity)来控制去块处理，P画面和B画面是通过使用帧间预测而被编码的图像，I画面是通过使用帧内预测而被编码的图像。通过归一化P画面的Complexity而获得的Norm_ComplexityPpic和通过归一化B画面的Complexity而获得的Norm_ComplexityBpic通过下式(4)至(8)计算：

ComplexityIpic＝PictureGeneratedBisIpic×PictureAvergeQuantIpic (4)

ComplexityPpic＝PictureGeneratedBisPpic×PictureAvergeQuantPpic (5)

ComplexityBpic＝PictureGeneratedBisBpic×PictureAvergeQuantBpic (6)

Norm_ComplexityPpic＝ComplexityPpic÷ComplexityIpic             (7)

Norm_ComplexityBpic＝ComplexityBpic÷ComplexityIpic             (8)

注意，ComplexityIpic、PictureGeneratedBisIpic和PictureAvergeQuantIpic分别表示I画面的编码难度、生成的代码量和量化器比例的平均值。此外，ComplexityPpic、PictureGeneratedBisPpic和PictureAvergeQuantPpic分别表示P画面的编码难度、生成的代码量和量化器比例的平均值。此外，ComplexityBpic、PictureGeneratedBisBpic和PictureAvergeQuantBpic分别表示B画面的编码难度、生成的代码量和量化器的比例的平均值。

例如，在要经受去块处理的图像是P画面或B画面的情况中，如果Norm_Complexity小于预定阈值Thcn，则disable_deblocking_filter_idc被设置为1。即，对于其中只产生轻微的块噪声并且几乎不发生运动的图像，不应用去块处理。

此外，例如，在Norm_Complexity等于或大于预定阈值Thcn的情况中，则根据Norm_Complexity的值来调整slice_alpha_c0_offset_div2和slice_beta_offset_div2的值。例如，随着Norm_Complexity的值减小，则slice_alpha_c0_offset_div2和slice_beta_offset_div2的值被设置为接近—6的值。此外，随着Norm_Complexity的值变大，slice_alpha_c0_offset_div2slice_beta_offset_div2被设置为接近+6的值。即，对于不太可能生成块噪声并且发生少量运动的图像，降低去块处理所应用的程度。此外，对于比较可能生成块噪声并且发生大量运动的图像，增大去块处理所应用的程度。

由于在I画面的运动被设置为1的情况中，Norm_ComplexityPpic和Norm_ComplexityBpic表示P画面和B画面的运动，因此，可以更加准确地提取每个画面的运动的复杂度，并且可以适当地执行去块处理。从而，能够进一步提高经受帧间预测编码的图像的图像质量。

注意，可以根据图像类型，即，根据该图像是P画面还是B画面来改变阈值Thcn的值。

此外，优选要用于归一化的I画面是在该图像之前、最近被编码的I画面或在该图像的编码中所参照的I画面。

此外，如上所述，对于I画面，根据Complexity来控制去块处理。

接着，将参考图4的流程图描述在以上已经参考图2描述的编码处理的过程中由图像处理装置101执行的去块控制处理的第二实施例。

在步骤S41中，活动性计算部件141计算活动性。具体而言，活动性计算部件141通过下式(9)计算Activity，作为表示要被编码的图像复杂度的特征量：

[表达式3]

$\mathrm{Activity}=\frac{1}{\mathrm{MBNum}}\underset{k=1}{\overset{\mathrm{MBNum}}{\mathrm{\Σ}}}{\mathrm{act}}_k---\left(9\right)$

在此，act_k表示图像的第k个宏块的活动性，并且由下式(10)计算：

act_k

[表达式4]

${\mathrm{act}}_k=1+\underset{\mathrm{sblk}=\mathrm{1,8}}{\min }\left(\mathrm{var\; sblk}\right)---\left(10\right)$

在此，一个宏块被划分为四个由8×8像素形成的子宏块，而var sblk表示指示经过划分的子宏块的像素值的离散度的值，并且通过下式(11)和(12)计算：

[表达式5]

$\mathrm{var\; sblk}=\frac{1}{64}\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{(P_k-\stackrel{\‾}{P})}^2---\left(11\right)$

$\stackrel{\‾}{p}=\frac{1}{64}\underset{k=1}{\overset{64}{\mathrm{\Σ}}}{p}_k---\left(12\right)$

在此，p_k表示子宏块内第k个像素的像素值。

此外，在帧DCT编码模方式和场DCT编码模式两种情况中为每个子宏块获取var sblk，并且式(10)中的minsblk＝1，8(var sblk)表示所获得的var sblk的最小值。

即，由式(9)计算的Activity是图像中各个宏块的活动性的平均值，并且例如是由MPEG-2 TestMode 5(TM5)所定义的用于速率控制的值。因此，随着像素值的变化减小，则Activity变小。此外，随着像素值的变化增大，则Activity变大。

在步骤S42中，去块滤波器124调整关于去块处理的参数。具体而言，活动性计算部件141将指示所计算的Activity的信息提供给去块滤波器124。去块滤波器124根据要经受去块处理的图像的Activity的值来调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。

例如，在Activity小于预定阈值Tha的情况中，disable_deblocking_filter_idc被设置为1。即，对于只生成轻微的块噪声并且在像素值只发生很少量的变化的平坦图像(plain image)，不应用去块处理。

此外，例如，在Activity等于或大于阈值Tha的情况中，根据Activity的值来调整slice_alpha_c0_offset_div2或slice_beta_c0_offset_civ2的值。例如，随着Activity的值变小，则slice_alpha_c0_offset_div2或slice_beta_offset_div2被设置为接近—6的值。此外，随着Activity的值变大，则slice_alpha_c0_offset_div2或slice_beta_offset_div2被置为接近+6的值。即，对于不太可能生成块噪声并且像素值发生少量改变的图像，降低去块处理所应用的程度。此外，对于很可能生成块噪声并且像素值发生大量改变的复杂图像，增大去块处理所应用的程度。

在步骤S43中，与上述图3中的步骤S23的处理一样，执行去块处理，并且去块控制处理结束。

如上所述，根据Activity，对经过解码的图像适当地执行去块处理，并且在保持纹理的同时生成已经去除块噪声的参照图像。因此，能够提高通过使用参照图像进行帧间预测的图像的图像质量。

此外，在使用Activity的情况中，在图像被编码之前，能够获得表示图像复杂度的特征量。

此外，如上所述，因为Activity是由MPEG-2 TestMode 5(TM5)定义的用于速率控制的值，所以，例如，可以由速率控制单元119计算Activity。

此外，替代上述Activity，即，各个宏块的活动性的平均值，还可以使用例如反映图像的像素值的离散度的大小的值，例如，各个宏块的活动性的总值。

将参考图5的流程图描述在以上已经参考图2描述的编码处理的过程中由图像处理装置101执行的去块控制处理的第三实施例。

在步骤S61中，正交变换部件142计算正交变换系数的总和。具体而言，正交变换部件142将要被编码的图像划分为具有预定大小的块。注意，以下将描述这样的示例，其中，执行4×4像素的块的划分并且采用Hadamard变换作为正交变换。正交变换部件142通过使用式(13)执行每个块的Hadamard变换：

P′＝HTPH               (13)

在此，P表示执行Hadamard变换之前的4×4像素的像素矩阵，并且P′表示执行Hadamard变换之后的4×4变换系数的矩阵。此外，H表示由下式(14)表示的四阶Hadamard矩阵，而HT表示四阶Hadamard矩阵的转置矩阵。

[表达式6]

$H_4=\frac{1}{\sqrt{4}}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]---\left(14\right)$

正交变换部件142为每个块计算除了变换系数矩阵P′的坐标(0，0)的变换系数(DC(直流)分量的变换系数)以外的变换系数的绝对值的和Ph。即，Ph表示执行Hadamard变换之后的块内的变换系数中与代码量相关的AC(交流)分量的变换系数的绝对值的和。此外，正交变换部件142计算图像中的全部块的Ph的总和DCtotal。注意，随着图像变得越简单，所获得的DCtotal越小，其中，频率分量被集中。此外，随着图像变得越复杂，所获得的DCtotal越大，其中，频率分量被分散。

在步骤S62中，去块滤波器124调整关于去块处理的参数。具体而言，正交变换部件142将指示所计算出的DCtotal的信息提供给去块滤波器124。去块滤波器124根据要经受去块处理的图像的DCtotal的值来调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。

例如，在DCtotal小于预定阈值Thd的情况下，disable_deblocking_filet_idc被设置为1。即，对于只生成轻微的块噪声并且频率分量被集中的很简单的图像，不应用去块处理。

此外，例如，在DCtotal等于或大于预定阈值Thd的情况下，则根据DCtotal的值来调整slice_alpha_c0_offset_div2和slice_beta_offset_div2的值。例如，随着DCtotal的值变小，则slice_alpha_c0_offset_div2和slice_beta_offset_div2的值被设置为接近—6的值。此外，随着DCtotal的值变大，则slice_alpha_c0_offset_div2和slice_beta_offset_div2的值被设置为接近+6的值。即，对于不太可能生成块噪声并且频率分量被集的简单的图像，降低去块处理所应用的程度。此外，对于很可能生成块噪声并且频率分量被分散的复杂的图像，增大去块处理所应用的程度。

在步骤S63，如在图3中的步骤S23的上述处理中一样，执行去块处理，并且去块控制处理结束。

注意，尽管在上述说明中，已经描述了采用Hadamard变换作为正交变换的示例，但是，例如可以采用其它类型的正交变换，例如DCT(离散余弦变换)。

此外，与正交变换的类型无关，通过划分所获得的块的大小不限于上述4×4像素。例如，块的大小可以被设置为需要的大小，例如，8×8像素。

如上所述，根据DCtotal，适当地对经过解码的图像执行去块处理，并且在保持纹理的同时生成已经去除块噪声的参照图像。从而，能够提高通过使用该参照图像进行帧间预测编码的图像的图像质量。

此外，由于DCtotal是通过正交变换的应用而分解成频率分量的变换系数的总和，因此与图像编码难度的相关性增大。因此，较之于Activity，能够以更高的精度表示图像的复杂度。

而且，在使用DCtotal的情况中，在图像进行编码之前，可以获得表示图像复杂度的特征量。

此外，替代正交变换部件142，通过使用正交变换单元115可以计算正交变换系数。

此外，替代上述DCtotal，即AC分量的正交变换系数的总和，例如还可以使用反映图像的AC分量的正交变换系数的大小的值，例如，AC分量的正交变换系数的平均值。

将参考图6描述在以上已经参考图2描述的编码处理的过程中由图像处理装置101执行的去块控制处理的第四实施例。

在步骤S81中，预测误差相加单元120计算预测误差的总和。具体而言，在要被编码的图像(即，由加法器114计算了差值的图像)是I画面或B画面的情况中，预测误差相加单元120为一个画面将从加法器114提供的预测误差进行相加。从而，计算预测误差的总和Et。注意，图像的运动越容易预测，即，图像的运动越小和越简单，则Et越小。此外，图像的运动越难预测，即，图像的运动越大和越复杂，则Et越大。

在步骤S82中，去块滤波器124调整关于去块处理的参数。具体而言，预测误差相加单元120将指示所计算的预测误差的总和Et的信息提供给去块滤波器124。去块滤波器124根据Et的值来调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。

例如，在Et小于预定阈值The的情况中，disable_deblocking_filter_idc被设置为1。即，对于只生成轻微的块噪声并且几乎不发生运动的图像，不应用去块处理。

此外，例如，在Et等于或大于预定阈值The的情况中，根据Et的值来调整slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。例如，随着Et的值变slice_alpha_c0_offset_div2或slice_beta_offset_div2被设置为接近—6的值。此外，随着Et的值变大，slice_alpha_c0_offset_div2或slice_beta_offset_div2被设置为接近+6的值。即，a对于不太可能生成块块噪声并且发生少量运动的简单图像，降低去块处理所应用的程度。此外，对于比较可能生成块噪声并且发生大量运动的复杂图像，增大去块处理所应用的程度。

在步骤S83中，如上述图3中步骤S23的处理中一样，执行去块处理，并且去块控制处理结束。

如上所述，根据Et，适当地对经过解码的图像执行去块处理，并且在保持纹路的同时生成已经去除块噪声的参照图像。因此，能够提高通过使用参照图像进行帧间预测编码的图像的图像质量。

此外，在使用Et的情况中，在编码图像之前，能够获得表示该图像复杂度的特征量。

而且，替代上述Et，即，预测误差的总和之外，例如还可以使用反映图像的预测误差的大小的值，例如，正交变换系数的平均值。

如上所述，根据图像的特征，能够适当地执行去块处理。结果，能够提高该图像的主观图像质量。

注意，尽管在上述描述中，已经描述了这样的示例，其中，分别使用Complexity、Activity、DCtotal和Et中的任何一个以使得能够调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值，但是可以通过使用多个值来确定图像的复杂度以使得能够根据结果而调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值。

此外，尽管在上述说明中，已经描述了通过H.264/AVC方法执行编码的示例，但是，本发明还可应用于这样的情况，其中，例如通过使用诸如MPEG-4(运动画面编码专家组阶段4)或VC-1(视频编解码器1)方法的环内去块滤波器来执行编码。

上述一连串处理可以由硬件或软件执行。在由软件执行所述一连串处理的情况中，构成该软件的程序从程序记录介质被安装到在专用硬件中建立的计算机上，或者，被安装到例如能够根据安装在其上的各种程序执行各种功能的通用个人计算机中。

图7是示出通过程序执行所上述一连串处理的个人计算机300的配置的示例的框图。CPU(中央处理器)301根据存储在ROM(只读存储器)302或记录单元308中的程序而执行各种处理。在合适的时候，在RAM(随机访问存储器)303中存储要由CPU 301执行的程序、数据等。CPU301、ROM 302和RAM 303经由总线304彼此连接。

输入/输出接口305经由总线304连接到CPU 301。由键盘、鼠标、麦克风等组成的输入单元306和由显示器、扬声器等组成的输出单元307连接到输入/输出接口305。CPU 301根据输入单元306输入的指令执行各种处理。CPU 301将处理结果输出给输出单元307。

连接到输入/输出接口305的记录单元308例如是由硬盘组成。记录单元308存储要由CPU 301执行的程序和各种数据。通信单元309经由诸如互联网或局域网的网络与外部设备进行通信。

此外，可以经由通信单元309获取程序，并且将其存储在记录单元308中。

当可移除介质311，例如磁盘、光盘、磁光盘或半导体存储器，安装在连接到输入/输出接口305的驱动器310中时，驱动器310驱动可移除介质311，并且获取记录在可移除介质311中的程序和数据。必要时，所获取的程序和数据转发到记录单元308并存储在其中。

安装在计算机上并存储由该计算机执行的程序的程序记录介质由可移除介质311组成，可移除介质311是封装介质，例如磁盘(包括软盘)、光盘(包括CD-ROM(只读光盘)或DVD(数字通用光盘))、磁光盘或半导体存储器、程序暂时或永久存储在其中的ROM 302或形成记录单元308的硬盘，如图7所示。在必要时，通过使用有线或无线通信介质，例如局域网、互联网或数字卫星广播，经由通信单元309将数据存储进程序记录介质，通信单元309是例如路由器或调制解调器的接口。

注意，在本说明书中，描述存储在程序记录介质中的步骤不仅包括以与所写顺序一致的时间顺序执行的处理，还包括并行或独立执行的处理，处理不一定按时间顺序执行。

而且，本发明的实施例并不限于上述实施例，并且在不脱离本发明主旨的范围内可以做出各种更改。

Claims (10)

1.一种图像处理装置，包括：

去块滤波器，所述去块滤波器对通过解码第二图像所获得的经过解码的图像执行去块处理，所述第二图像在第一图像被编码的情况中用于所述第一图像的运动估计，并且在所述第一图像之前被编码；以及

特征量计算装置，所述特征量计算装置用于计算表示所述第二图像的复杂度的特征量，

其中，所述去块滤波器根据所述特征量来控制所述去块处理是否要被应用到所述经过解码的图像，或者控制所述去块处理要被应用到所述经过解码的图像的程度。

2.根据权利要求1所述的图像处理装置，

其中，所述特征量计算装置计算所述第二图像的编码难度作为所述特征量。

3.根据权利要求2所述的图像处理装置，

其中，在所述第二图像是通过使用帧间预测而被编码的图像的情况中，所述特征量计算装置将以下值设置作为所述特征量：通过使用在所述第二图像被编码之前通过使用帧内预测而被编码的第三图像的编码难度来归一化所述第二图像的编码难度而获得的值。

4.根据权利要求1所述的图像处理装置，

其中，所述特征量计算装置将还未被编码的所述第二图像划分成多个块，并且根据每个所述块的像素值的离散度来计算所述特征量。

5.根据权利要求1所述的图像处理装置，

其中，所述特征量计算装置将还未被编码的所述第二图像划分成多个块，并且根据通过对每个所述块执行正交变换而获得的变换系数来计算所述特征量。

6.根据权利要求1所述的图像处理装置，

其中，所述特征量计算装置根据预测误差来计算所述特征量，所述预测误差是通过帧间预测所预测出的所述第二图像的预测图像与还未被编码的所述第二图像之间的差值。

7.根据权利要求1所述的图像处理装置，

其中，图像通过H.264/AVC(高级视频编码)方法而被编码，并且

其中，所述去块滤波器通过调整disable_deblocking_filter_idc、slice_alpha_c0_offset_div2或slice_beta_offset_div2的值来控制所述去块处理是否要被应用到所述经过解码的图像，或者控制所述去块处理要被应用到所述经过解码的图像的程度。

8.根据权利要求1所述的图像处理装置，

其中，图像通过MPEG-4(运动画面编码专家组阶段4)、H.264/AVC(高级视频编码)或VC-1(视频编解码器1)方法而被编码。

9.一种图像处理方法，包括以下步骤：

计算表示第二图像的复杂度的特征量，所述第二图像在第一图像被编码的情况中用于所述第一图像的运动估计，并且在所述第一图像之前被编码；以及

根据所述特征量来控制去块处理是否要被应用到通过解码所述第二图像所获得的经过解码的图像，或者控制所述去块处理要被应用到所述经过解码的图像的程度。

10.一种使计算机执行处理的程序，所述处理包括以下步骤：

计算表示第二图像的复杂度的特征量，所述第二图像在第一图像被编码的情况中用于所述第一图像的运动估计，并且在所述第一图像之前被编码；以及

根据所述特征量来控制去块处理是否要被应用到通过解码所述第二图像所获得的经过解码的图像，或者控制所述去块处理要被应用到所述经过解码的图像的程度。

Images