CN102446339B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明提供图像处理装置和图像处理方法。图像处理装置具有：处理像素组确定单元，其从输入的影像信号的多个帧图像中，按照预定规则确定处理对象像素组，并从存储的已处理帧图像中，按照预定基准确定已处理像素组；频率成分处理单元，其从处理对象像素组和已处理像素组中至少提取时间频率成分，对时间频率成分中的时间高频成分执行预定的系数处理，取得执行后处理对象像素组；处理完成帧生成单元，其根据执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其进行处理完成帧图像的输出和向已处理帧存储单元的存储，其中，频率成分处理单元避免对时间高频成分中的视觉特性敏感度低的成分执行预定的系数处理。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及进行图像中包含的闪烁等失真的减轻处理的图像处理装置和图像处理方法。

背景技术

“影像”是由作为单一静止图像的“帧图像”连续地构成的。在包括影像的取得、传送、压缩(编码、解码)、缩小、放大在内的影像处理中，一般会引起各种失真。因此，减轻影像处理中的失真是一项重要的课题。

另一方面，最近已经开始在便携电话等移动终端中安装照相机，而且，随着移动通信网的高速化，在移动终端中浏览用户通过下载而取得的影像的机会正在增加。因此，下面以移动终端为例，对影像处理中的失真进行说明。

一般要求减小移动终端的尺寸和功耗，因此，相比于通常的单体照相机，安装在移动终端中的照相机的功能会受到限制。因此，由安装在移动终端上的照相机拍摄的影像中有时包含有蚊式噪声和影像闪烁。另外，从高效利用传送频带的的角度看，在使用移动通信网的影像发布中，一般会对影像数据进行压缩处理。因此，影像中经常包含有闪烁、块(block)失真、折叠(aliasing)失真、振铃(ringing)失真。影像中所包含的失真的差异往往会直接关系到对图像质量的评价，显然，越是失真少的影像，越会被评价为高质量。

【非专利文献1】大山正·今井省吾·和気典二、「新编感觉·知觉·心理ハンドブツク」誠心書房、ISBN：4414305039第583页

为了减轻上述的影像处理中的各种失真，一般需要执行大量的图像处理运算。但另一方面，在安装能够执行大量图像处理运算的高性能CPU的情况下，装置复杂化和装置成本增加令人担心。尤其对于移动终端，由于强烈要求避免装置复杂化和装置成本增加，所以，实际上很难安装高性能的CPU。

发明内容

考虑到上述实际情况，本发明的目的在于减轻影像中包含的失真，同时削减失真减轻处理的运算量。

为了达到上述目的，本发明的图像处理装置的特征在于，具有：图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。

本发明人想到了如下技术：提取包含在所输入的帧图像的处理对象像素组与已处理帧图像的已处理像素组之间的时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，由此来减轻包含在处理对象像素组与已处理像素组之间的时间上的变化，高效地减轻闪烁等失真。

另一方面，众所周知，人眼的特性由两个具有不同特征的系统构成，这两个系统是对于影像的空间低频成分和时间高频成分敏感度高的过渡系统和对于影像的空间高频成分和时间低频成分敏感度高的持续系统(参照非专利文献1)。

基于这样的认识，本发明人实现了如下发明：在对时间高频成分执行预定的系数处理时，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理。根据该发明，能够在基本不降低影像中包含的失真的减轻效果的情况下，削减失真减轻处理的运算量。

上述“视觉特性敏感度低的成分”相当于时间高频成分中的除空间低频成分和空间高频成分以外的部分(所谓的“空间中频成分”)。因此，从另一角度来看，避免对时间高频成分中的“视觉特性敏感度低的成分”执行预定的系数处理可理解为是对时间高频成分中的空间低频成分和空间高频成分执行预定的系数处理。

因此，与上述图像处理装置相关的发明可记述如下，且能够得到与上述同样的效果。即，本发明的图像处理装置的特征在于，具有：图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。

这里，为了提取空间频率成分和时间频率成分，频率成分处理单元通过对处理对象像素组和已处理像素组进行空间频率变换来提取空间频率成分，通过对提取出的空间频率成分进行时间频率变换来提取时间频率成分。这样，能够高效地提取时间频率成分和空间频率成分双方。

另外，优选的是：处理完成帧生成单元以使由频率成分处理单元取得的多个执行后处理对象像素组至少重叠一个像素以上的方式，对该多个执行后处理对象像素组进行组合，生成处理完成帧图像。为了对多个执行后处理对象像素组进行组合而生成处理完成帧图像，例如可利用加权运算或平均化处理等。这样，利用加权运算选择质量更好的执行后处理对象像素组，或者利用平均化处理进一步减轻失真，由此能够生成进一步抑制了失真的处理完成帧图像。

另外，作为上述预定的系数处理，可以举出如下处理：对频率成分的绝对值与预定的阈值进行比较，在频率成分的绝对值大于阈值的情况下，保持频率成分，在频率成分的绝对值小于等于阈值的情况下，将频率成分置换为预定值。另外，作为此时的预定值，可采用0。通过像这样地在频率成分的绝对值小于等于阈值的情况下将频率成分置换为0，能够削减因编码失真等产生的小的空间频率成分以及作为闪烁原因的时间频率成分，所以具有进一步抑制失真的效果。

另外，上述图像处理装置的发明可理解为图像处理方法的发明，且可记述如下。

本发明的图像处理方法由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括：图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，在所述频率成分处理步骤中，避免对所述时间高频成分中的视觉特性敏感度低的成分执行所述预定的系数处理。

另外，本发明的图像处理方法还可记述如下。即，本发明的图像处理方法由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括：图像输入步骤，从外部输入由多个帧图像构成的影像信号；处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。

另外，上述图像处理装置的发明也可理解为图像处理程序的发明，且可记述如下。

本发明的图像处理程序的特征在于，使计算机作为如下单元发挥功能：图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，至少提取时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，其中，所述频率成分处理单元避免对所述时间高频成分中的、视觉特性敏感度低的成分执行所述预定的系数处理。

另外，本发明的图像处理程序还可记述如下。即，本发明的图像处理程序的特征在于，使计算机作为如下单元发挥功能：图像输入单元，其从外部输入由多个帧图像构成的影像信号；已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中。

根据本发明，能够减轻影像中包含的失真，同时能够削减失真减轻处理的运算量。

附图说明

图1是例示本发明的实施方式的图像处理装置的功能结构的结构框图。

图2是示出处理像素组的位置关系的概念图。

图3是示出处理对象帧内的执行处理的像素位置的概念图。

图4是例示图1的频率成分处理单元的结构的结构框图。

图5是示出处理像素组为3×3单位时的频率系数的处理位置的第一例的概念图。

图6是示出处理像素组为3×3单位时的频率系数的处理位置的第二例的概念图。

图7是示出处理像素组为4×4单位时的频率系数的处理位置的概念图。

图8是示出处理像素组为8×8单位时的频率系数的处理位置的概念图。

图9是示出本发明的实施方式的图像处理流程的流程图。

图10是例示图像处理程序的结构的结构框图。

图11是示出用于执行图像处理程序的计算机硬件结构的图。

图12是用于执行图像处理程序的计算机的立体图。

标号说明

10记录介质、12读取装置、14作业用存储器、16存储器、18显示器、20鼠标、22键盘、24通信装置、30计算机、40计算机数据信号、100图像处理装置、101图像输入单元、102处理像素组确定单元、103频率成分处理单元、103A空间频率变换单元、103B时间频率变换单元、103C时间高频成分处理单元、103D时间频率逆变换单元、103E空间频率逆变换单元、104处理完成帧生成单元、105已处理帧存储单元、106图像输出单元、P10图像处理程序、P11图像输入模块、P12处理像素组确定模块、P13频率成分处理模块、P13A空间频率变换模块、P13B时间频率变换模块、P13C时间高频成分处理模块、P13D时间频率逆变换模块、P13E空间频率逆变换模块、P14处理完成帧生成模块、P15已处理帧存储模块、P16图像输出模块。

具体实施方式

下面，根据附图对本发明的实施方式进行说明。在各图中，对同一结构要素标注同一标号，省略重复的说明。

(关于图像处理装置的结构)图1是例示本实施方式的图像处理装置100的功能结构的结构框图。该图像处理装置100由计算机构成，该计算机具有CPU(中央处理装置)、用于存储图像帧等的存储装置、用于输入输出影像的输入输出装置(通信装置)等，作为硬件。另外，关于硬件结构，将在后面使用图11进行说明。这样的图像处理装置100例如可由个人计算机等固定型通信终端或便携电话机等移动通信终端等、各种信息处理装置构成。

下面，参照图1对图像处理装置100的功能块结构进行说明。如图1所示，图像处理装置100构成为包括：图像输入单元101、处理像素组确定单元102、频率成分处理单元103、处理完成帧生成单元104、已处理帧存储单元105、以及图像输出单元106。其中，图像输入单元101经由线路L100从外部输入由多个帧图像构成的影像信号(动态图像信号)。

(关于处理像素组确定单元102)处理像素组确定单元102经由线路L101接受由图像输入单元101从外部输入的影像信号，将该影像信号分解为帧图像，读入作为处理对象的帧图像(以下称为“处理对象帧X”)。另外，处理像素组确定单元102经由线路L105从存储在已处理帧存储单元105内的已处理的帧图像(以下称为“已处理帧Y”)中，读入在时序上刚刚处理后的(即从当前时点看是最新存储的)已处理帧Y。

而且，处理像素组确定单元102分别从处理对象帧X和已处理帧Y中，按照预定的规则，确定作为处理对象的M×M(M为1以上的整数)的像素组。下面说明具体的确定方法。这里，如图2所示，将处理对象帧X和已处理帧Y中的横向尺寸设为w，将纵向尺寸设为h。处理像素组确定单元102按照预定的规则α，从多个输入的帧图像中确定处理对象帧X，依次确定处理对象帧X内的以像素位置(i_c，j_c)(0≤i_c≤w-M，0≤j_c≤h-M)为左上端的M×M像素的像素组，即处理对象像素组：

[式1]

$D_{1(i_c,j_c)}$

(以下有时也标记为“处理对象像素组D₁”)。即，通过使M×M像素的像素组中的左上端的像素位置(i_c，j_c)在(0≤i_c≤w-M)且(0≤j_c≤h-M)的范围内依次变化，由此来依次确定处理对象像素组D₁。这里，如果将处理对象像素组D₁内的位置设为(ii，jj)，则处理对象帧X内的与上述位置(ii，jj)对应的处理对象像素组D₁表示如下。

[式2]

$D_{1(i_c,j_c)}(\mathrm{ii},\mathrm{jj})=X(i_c+\mathrm{ii},j_c+\mathrm{jj})$ (0≤ii＜M，0≤jj＜M)

另外，处理像素组确定单元102按照预定的基准β，依次确定已处理帧Y内的以像素位置(i_p，j_p)(0≤i_p≤w-M，0≤j_p≤h-M)为左上端的M×M像素的像素组，即已处理像素组：

[式3]

$D_{2(i_p,j_p)}$

(以下有时也标记为“已处理像素组D₂”)。具体而言，将左上端的像素位于与处理对象像素组D₁中的左上端的像素相同位置的M×M像素的像素组确定为已处理像素组D₂。这里，如果将已处理像素组D₂内的位置设为(ii，jj)，则处理对象帧Y内的与上述位置(ii，jj)对应的已处理像素组D₂表示如下。

[式4]

$D_{2(i_p,j_p)}(\mathrm{ii},\mathrm{jj})=Y(i_p+\mathrm{ii},j_p+\mathrm{jj})$ (0≤ii＜M，0≤jj＜M)

而且，由处理像素组确定单元102确定的处理对象像素组D₁和已处理像素组D₂经由线路L102被输出到频率成分处理单元103。

另外，处理像素组确定单元102每当从频率成分处理单元103接收到针对将某个像素位置设为左上端的处理对象像素组D₁的处理的完成信号时，确定处理对象像素组D₁和已处理像素组D₂。即，处理像素组确定单元102在从频率成分处理单元103接收到像素位置(i_c，j_c)的处理完成信号之后，接着，按照确定以像素位置(i_c+1，j_c)为左上端的处理对象像素组

[式5]

$D_{1(i_c+1,j_c)}$

的方式依次进行处理，然后，一直执行确定处理，直到以像素位置(w-M，h-M)为左上端的处理对象像素组D_1(w-M，h-M)为止。并且，处理对象帧是输入的各帧图像。在本实施方式中，设为M＝3来说明处理对象像素组D₁的确定处理。

(关于处理对象像素组D₁的位置确定)

作为本实施方式中的规则α，对处理对象帧X内的处理像素位置进行确定的规则是针对处理对象帧X中存在的所有像素依次确定处理对象像素组D₁，但也可以按照其他规则来确定处理对象像素组D₁。例如，也可以使用如下规则：间隔1个像素地设定M×M像素组的左上端的像素位置，例如以图3所示的相间方格图样状的方式来确定处理对象像素组D₁。另外，还可以从图像内的多个起始点起，以并行作业的方式依次确定处理对象像素组D₁。另外，作为规则α，也可以针对每个处理对象帧采用不同的规则。

另外，作为本实施方式中的规则α，示出了选择从图像输入单元101输入的所有处理对象帧的例子，但不限于此。例如，作为处理对象，也可以每隔一张或多张来选择从图像输入单元101输入的帧图像。并且，为了确定该选择方法，也可以参考作为影像特征的运动大小、平均亮度、对比度等。

(关于已处理像素组D₂的位置确定)作为本实施方式中的用于确定已处理帧Y内的处理像素位置的基准β，是确定与处理对象像素组D₁相同位置的已处理像素组D₂，但也可以按照其他基准来确定已处理像素组D₂。例如，也可以像在动态图像编码预测技术中使用的运动估计(動き探索)那样，确定这样的已处理像素组D₂，即：对于该已处理像素组D₂，基于处理对象像素组D₁与像素信号之间的差分的评价值(SAD或SSD等)为最小的位置位于左上端。另外，还可以确定上述以外的评价值为最小的位置位于左上端的已处理像素组D₂。

(处理对象像素组D₁和已处理像素组D₂的形状)在本实施方式中，处理对象像素组D₁和已处理像素组D₂表现为M×M的二维阵列，但也可以用除此之外的方法来表现。例如，也可以表现为M²×1这样的一维矢量。另外，在本实施方式中，选择了正方形(M×M)的处理对象像素组D₁和已处理像素组D₂，但也可以选择除此之外的形状的像素组。例如也可以确定K×L(K≠L＞0)的像素组。另外，还可以在倾斜方向上选择像素而确定非方形的像素组。

(处理对象像素组D₁和已处理像素组D₂的共同性)在本实施方式中，针对处理对象像素组D₁与已处理像素组D₂，确定了相同形状且相同位置的像素组，但也可以按不同形状来确定，还可以按不同的确定基准来确定。

(已处理帧的选择)在本实施方式中，作为已处理帧Y，是选择了处理对象帧X的“刚刚”处理后的已处理帧，但也可以处理除此之外的帧。另外，在本实施方式中，是选择1帧作为已处理帧Y并从该已处理帧中选择已处理像素组，但也可以从存储在已处理帧存储单元105内的多个帧中选择已处理像素组。

(关于频率成分处理单元103)图4示出了本实施方式中的频率成分处理单元103的功能块结构。如图4所示，频率成分处理单元103构成为包括：空间频率变换单元103A、时间频率变换单元103B、时间高频成分处理单元103C、时间频率逆变换单元103D、以及空间频率逆变换单元103E。

空间频率变换单元103A接受由处理像素组确定单元102确定的3×3像素的处理对象像素组D₁和已处理像素组D₂，对这些处理对象像素组D₁和已处理像素组D₂进行空间频率变换，取得针对处理对象像素组D₁的空间频率变换系数

[式6]

$f_{1(i_c,j_c)}$

(以下有时也标记为“空间频率变换系数f₁”)、以及针对已处理像素组D₂的空间频率变换系数

[式7]

$f_{2(i_p,j_p)}$

(以下有时也标记为“空间频率变换系数f₂”)。具体而言，使用以下的变换基H₁进行以下的DCT变换。在以下的式子中，将各像素组D₁、D₂内的位置记载为(ii，jj)。

[式8]

$H_1=\left[\begin{array}{ccc}1& 1& 1\\ 1& 0& -1\\ 1& -2& 1\end{array}\right]$

$f_{1(i_c,j_c)}=H_1\×D_{1(i_c,j_c)}\×{H_1}^T$ $f_{2(i_c,j_c)}=H_1\×D_{2(i_p,j_p)}\×{H_1}^T$

这样取得的空间频率变换系数f₁、f₂从空间频率变换单元103A输出到时间频率变换单元103B。

时间频率变换单元103B对空间频率变换系数f₁和f₂进行时间频率变换，变换为时间低频成分tf_L和时间高频成分tf_H。另外，在本实施方式中，作为时间频率变换，是使用利用了以下变换基J₁的Haar变换，来进行时间频率变换。

[式9]

$J_1=\frac{1}{\sqrt{2}}\left[\begin{array}{cc}1& 1\\ 1& -1\end{array}\right]$

$\left[\begin{array}{c}{\mathrm{tf}}_L(\mathrm{ii},\mathrm{jj})\\ {\mathrm{tf}}_H(\mathrm{ii},\mathrm{jj})\end{array}\right]=J_1\×\left[\begin{array}{c}{f}_{1(i_c,j_c)}(\mathrm{ii},\mathrm{jj})\\ f_{2(i_p,j_p)}(\mathrm{ii},\mathrm{jj})\end{array}\right]$ (ii，jj＝0，1，2)

通过上述时间频率变换得到的时间低频成分tf_L和时间高频成分tf_H从时间频率变换单元103B输出到时间高频成分处理单元103C。

时间高频成分处理单元103C针对相当于时间高频成分tf_H的系数中的、表示相当于图5的位置A的空间低频成分(DC成分)的系数以及表示相当于位置B的空间高频成分的系数，进行预定的系数处理γ。不对时间低频成分tf_L进行处理。

具体而言，时间高频成分处理单元103C进行使用了预先存储的阈值Th的如下的系数处理，取得已处理时间高频成分tf_H’。

[式10]

在完成了上述系数处理后，将取得的已处理时间高频成分tf_H’和时间低频成分tf_L输出到时间频率逆变换单元103D。

时间频率逆变换单元103D通过对时间低频成分tf_L和已处理时间高频成分tf_H’乘以J₁ ^-1，来进行Haar逆变换。并且，空间频率逆变换单元103E使用变换基G₁，进行空间频率逆变换(DCT逆变换)。

根据上述方式，取得对时间高频成分执行预定系数处理后的处理对象像素组

[式11]

${D^{\′}}_{1(i_c,j_c)}$

(以下有时也标记为“执行后处理对象像素组D’₁”)，频率成分处理单元103的处理完成。其中，空间频率逆变换单元103E使用以下变换基G1来进行空间频率逆变换(DCT逆变换)。

[式12]

$\left[\begin{array}{c}{f^{\′}}_{1(i_c,j_c)}(\mathrm{ii},\mathrm{jj})\\ {f^{\′}}_{2(i_p,j_p)}(\mathrm{ii},\mathrm{jj})\end{array}\right]=\left[\begin{array}{c}{\mathrm{tf}}_L(\mathrm{ii},\mathrm{jj})\\ {{\mathrm{tf}}_H}^{\′}(\mathrm{ii},\mathrm{jj})\end{array}\right]\×{J_1}^{-1}$

$G_1=\left[\begin{array}{ccc}2& 2& 2\\ 3& 0& -3\\ 1& -2& 1\end{array}\right]$

${D_1}^{\′}=G_1\×{f^{\′}}_{1(i_c,j_c)}\×{G_1}^T$

频率成分处理单元103经由线路L103b将通过空间频率逆变换而取得的执行后处理对象像素组D’₁输出到处理完成帧生成单元104，并且经由线路L103a将其输出到处理像素组确定单元102。

然后，频率成分处理单元103重复上述处理，直至从处理像素组确定单元102输入帧处理完成信号为止。而且，频率成分处理单元103在接收到帧处理完成信号时，经由线路L103b向处理完成帧生成单元104输出组合处理开始信号。

(组合处理开始信号的时机)在本实施方式中，例示了这样的例子：频率成分处理单元103在接收到帧处理完成信号时，将组合处理开始信号输出到处理完成帧生成单元104，但不限于此。例如，与像素位置(i_c，j_c)有关的组合处理开始信号可以在包含该像素位置(i_c，j_c)的处理像素组的处理完成时输出，也可以在对某列完成了处理时输出。

(关于空间频率变换对象)在本实施方式中，是对处理对象像素组直接执行了空间频率变换，但也可以在进行像素处理后进行空间频率变换。例如，可以在执行平均亮度调整和/或滤波处理等后进行空间频率变换。

(频率变换的维度)在本实施方式中，使用了二维空间频率变换，但也可以重复进行一维空间频率变换来取得二维空间频率变换系数。

(其他空间频率变换)在本实施方式中，作为空间频率变换，使用了DCT变换，但也可以使用其他空间频率变换。例如，在处理像素组为4×4的情况下，可使用如下所示的利用了变换基H₂的哈达玛特(Hadamard)变换。而且还可以使用除此之外的频率变换来取得空间频率变换系数。另外，为了削减运算量，可以进行省略了归一化处理的频率变换。

[式13]

$H_2=\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& 1& -1& -1\\ 1& -1& -1& 1\end{array}\right]$

另外，在将哈达玛特变换用于空间频率变换的情况下，只要将上述变换基H₂也用于逆变换的变换基G₁即可。

(针对空间频率系数的处理)在本实施方式中，是在对空间频率系数进行了Haar变换后，进行预定的系数处理，但也可以在Haar变换前对空间频率变换系数进行预定的系数处理。例如，也可以对空间频率变换系数f₁和空间频率变换系数f₂执行上述系数处理γ。另外，也可以执行与对时间频率成分执行的系数处理γ不同的处理，还可以进行不同位置的处理。在此情况下，处理中使用的阈值Th可以使用与针对时间频率成分使用的阈值不同的阈值。另外，还可以进行针对其他系数的处理。

(时间频率变换的取得)在本实施方式中，是在执行空间频率变换后，通过执行Haar变换来取得处理对象像素组D₁和已处理像素组D₂的时间高频成分，但也可以通过其他方法来取得。例如，可以使用傅里叶变换、DCT变换、小波变换等。另外，也可以简单地取得处理对象像素组D₁与已处理像素组D₂之和，作为时间低频成分，取得处理对象像素组D₁与已处理像素组D₂之差，作为时间高频成分。

另外，在本实施方式中，是通过使用执行空间频率变换而取得的空间频率成分来取得时间频率成分，但也可以不进行空间频率变换而直接取得时间频率成分。例如，可以在处理像素组的时间方向上直接进行DCT或小波变换等频率变换，来取得时间频率成分。在此情况下，在频率成分处理单元103中，不需要空间频率变换单元103A和空间频率逆变换单元103E，而只要由时间频率变换单元103B、时间高频成分处理单元103C和时间频率逆变换单元103D构成即可。

(关于时间频率成分系数位置)在本实施方式中，针对时间高频成分tf_H的处理系数位置被设定为相当于空间低频成分(DC成分)的位置A和相当于空间高频成分的位置B，但也可以对除此之外的位置的系数进行处理。例如，除了位置A和位置B以外，还可对图6位置C的相当于时间频率成分的系数进行处理。

另外，例如在M＝4的情况下，只要对图7的位置D和位置E的系数进行处理即可。而且，除了位置D和位置E以外，还可对位置F的系数进行处理。

另外，例如在M＝8的情况下，如图8所示，可以对位置G和位置H的系数进行处理。另外，也可以对位置G和位置H的一部分系数进行处理。

(关于阈值Th)在本实施方式中，预先存储了阈值Th，但也可以采用外部输入。另外，也可以根据本处理的过程来确定阈值Th。而且除此之外，还可以根据图像间的差分量和/或方差值等图像分析结果来确定阈值Th。另外，还可以基于作为例如在动态图像编码处理单元等中使用的信息的量化值和/或压缩的信息的比特率等，来确定阈值Th。

(关于预定的系数处理γ)在本实施方式中，作为预定的系数处理γ，进行了基于与阈值Th之间的比较的处理，但也可以进行除此之外的处理。例如，可以如下式(a)所示那样，在频率成分的绝对值小于等于阈值Th的情况下，置换为任意值p。另外，也可以如下式(b)所示那样，进行将频率成分的绝对值小于等于阈值Th的系数除以系数q的处理。另外，在用除法系数q进行除法运算的情况下，除法系数q可根据频率成分的位置(ii，jj)而变化。例如，可以设定为(ii+jj)越大，则除法系数q越大。另外，也可以进行不使用阈值的处理。例如，可以进行使预先设定的位置的系数除以系数r(r≠0)的处理等。

[式14]

(关于作为处理对象的时间频率成分)在本实施方式中，为了高效地抑制在构成影像的帧之间产生的闪烁等，仅对时间高频成分tf_H进行了预定的系数处理，但也可以对时间低频成分tf_L进行预定的系数处理(例如上述系数处理γ)。另外，在此情况下，针对时间低频成分tf_L与时间高频成分tf_H的处理不必相同。例如，可以对时间低频成分tf_L和时间高频成分tf_H进行不同位置的系数的处理。

(关于处理完成帧生成单元104)返回到图1，处理完成帧生成单元104经由线路L103b从频率成分处理单元103接收到组合处理开始信号后，对执行后处理对象像素组

[式15]

D′_1(ix，jx)

进行组合处理。具体而言，包含某像素位置(i_c，j_c)的像素在内的n个处理对象像素组D’_1(ix，jx)的频率逆变换完成后，通过下式所示的加权求和处理来计算像素位置(i_c，j_c)的像素，生成处理完成帧y。像素位置(ix，jx)表示包含某像素位置(i_c，j_c)的像素的处理像素组的左上端的位置。这里，作为在加权求和中使用的权重，将针对以像素位置(ix，jx)为左上端的处理像素组的系数设为weight_(ix，jx)，该系数是预先准备的。

[式16]

$y(i_c,j_c)=\underset{\mathrm{ix},\mathrm{jx}}{\overset{n}{\mathrm{\Σ}}}({\mathrm{weight}}_{(\mathrm{ix},\mathrm{jx})}\×{D^{\′}}_{1(\mathrm{ix},\mathrm{jx})}(i_c,j_c))/\underset{\mathrm{ix},\mathrm{jx}}{\overset{n}{\mathrm{\Σ}}}{\mathrm{weight}}_{(\mathrm{ix},\mathrm{jx})}$

并且，处理完成帧生成单元104在生成了处理完成帧y的所有像素后，经由线路L104将生成的处理完成帧y输出到图像输出单元106。图像输出单元106经由线路L106a将生成的处理完成帧y输出到外部，并且经由线路L106b将该处理完成帧y输出到已处理帧存储单元105，将该处理完成帧y作为已处理帧存储到已处理帧存储单元105中，以便在接下来的处理中使用。

(加权运算的替代)虽然在处理完成帧y的生成中使用了加权求和，但也可以进行其他处理。例如，可以使用简单平均等处理。另外，也可以不进行加权求和等处理，而是直接使用从频率成分处理单元103输出的像素来生成处理完成帧y。

(关于权重系数)本实施方式中的权重系数weight_(ix，jx)使用了预先准备的系数，但也可以通过除此之外的方法来确定权重系数weight_(ix，jx)。例如，可以预先确定这样的权重系数weight_(ix，jx)：该权重系数weight_(ix，jx)被调整为使得在各种影像中客观评价指标变高。另外，也可以根据在图像处理过程中确定的其他评价结果来确定权重系数weight_(ix，jx)。例如，可以根据系数处理中处理过的个数和/或其他处理结果来确定加权系数weight_(ix，jx)。

(关于加权求和的处理像素组的量)在本实施方式中，是使用包含像素位置(i_c，j_c)在内的所有处理像素组来生成处理完成帧y，但也可以不使用所有的处理像素组。例如，可以仅对满足某些基准的处理像素组进行求和。另外，也可以仅对权重系数weight_(ix，jx)被设定得大的位于处理像素组的上位的处理像素组进行求和。在此情况下，在系数处理γ中，可以选择预定数量的进行了处理的系数的个数多的处理像素组，进行求和运算。

(加权求和处理的时机)在本实施方式中，是对空间频率变换后的处理像素组进行了组合处理，但也可以在空间频率变换前执行加权求和处理，然后进行空间频率变换，由此取得处理完成帧y。

(除法的替代运算)在本实施方式中，进行了基于权重系数weight_(ix，jx)的除法运算，也可以进行除此以外的处理。例如，可以预先准备外部参照表，乘以基于权重系数weight_(ix，jx)的系数，由此实现与除法等同的处理。

(像素的定义)本实施方式中针对像素的处理可应用于RGB和/或YUV等各种颜色成分。另外，特别是在由YUV成分构成图像的情况下，可以仅对亮度信号(Y)进行上述处理。在此情况下，可以对色差成分(UV)进行其他处理。例如，可以使用平滑滤波等的简易滤波处理。

(关于图像处理装置中的图像处理)接着，根据图9对由本实施方式的图像处理装置100执行的图像处理进行说明。

首先，图像输入单元101从外部输入由多个帧图像构成的影像信号(动态图像信号)(步骤S1)。

接着，处理像素组确定单元102将输入的影像信号分解为帧图像，按照预定的规则，读入处理对象帧X，确定M×M(M为1以上的整数)的处理对象像素组D₁(步骤S2)。同时，处理像素组确定单元102从存储在已处理帧存储单元105内的已处理帧中，按照预定的规则读入在时序上刚刚处理后的已处理帧Y，确定M×M(M为1以上的整数)的已处理像素组D₂(步骤S2)。步骤S2中的确定顺序如上。在步骤S2中得到的处理对象像素组D₁和已处理像素组D₂被发送到频率成分处理单元103。

接着，频率成分处理单元103的空间频率变换单元103A接受处理对象像素组D₁和已处理像素组D₂，对这些处理对象像素组D₁和已处理像素组D₂进行空间频率变换，取得针对处理对象像素组D₁的空间频率变换系数f₁和针对已处理像素组D₂的空间频率变换系数f₂(步骤S3)。

接着，时间频率变换单元103B对空间频率变换系数f₁和f₂进行时间频率变换，变换为时间低频成分tf_L和时间高频成分tf_H(步骤S4)。例如，使用上述利用了变换基J₁的Haar变换，进行时间频率变换。

接着，时间高频成分处理单元103C针对相当于时间高频成分tf_H的系数中的、表示空间低频成分(DC成分)的系数和表示空间高频成分的系数，进行上述预定的系数处理γ(步骤S5)。即，避免对相当于时间高频成分tf_H的系数中的、表示除空间低频成分和空间高频成分以外的频率成分(所谓中频成分)的系数执行预定的系数处理γ。

接着，时间频率逆变换单元103D通过对时间低频成分tf_L和已处理时间高频成分tf_H’乘以J₁ ^-1，来进行Haar逆变换，而且，空间频率逆变换单元103E使用变换基G₁，来进行空间频率逆变换(DCT逆变换)。由此，取得对时间高频成分执行了预定的系数处理后的处理对象像素组(执行后处理对象像素组D’₁)(步骤S6)。

然后，反复执行上述步骤S2～S6的处理，直至完成针对处理对象帧X的处理(步骤S7)。

然后，当针对处理对象帧X的处理完成时(步骤S7为“是”)，处理完成帧生成单元104对执行后处理对象像素组进行组合处理，生成处理完成帧y(步骤S8)。然后，在生成处理完成帧y的所有像素后，将所生成的处理完成帧y输出到图像输出单元106。

然后，图像输出单元106将生成的处理完成帧y输出到外部并且输出到已处理帧存储单元105，将处理完成帧y作为已处理帧存储到已处理帧存储单元105中，以便在接下来的处理中使用(步骤S9)。

(本实施方式的效果)如上所述，在本实施方式的图像处理装置100中，提取包含在输入的帧图像的处理对象像素组与已处理帧图像的已处理像素组之间的时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，由此，能够减轻包含在处理对象像素组与已处理像素组之间的时间上的变化，高效地减轻闪烁等失真。另一方面，避免对时间高频成分中的除空间低频成分和空间高频成分以外的部分(即，视觉特性敏感度低的成分)执行预定的系数处理。根据以上方式，能够在基本不降低影像中包含的失真的减轻效果的情况下，削减失真减轻处理的运算量。

(关于图像处理程序)下面，说明用于使计算机作为本发明的图像处理装置进行工作的图像处理程序。图10是表示存储在记录介质10中的图像处理程序P10的结构的图。作为记录介质10，可由软盘、CD-ROM、DVD、ROM等记录介质、或半导体存储器等构成。

如图10所示，图像处理程序P10构成为包括：图像输入模块P11、处理像素组确定模块P12、频率成分处理模块P13、处理完成帧生成模块P14、已处理帧存储模块P15、以及图像输出模块P16。图像输入模块P11是用于实现图1的图像输入单元101的功能的模块，处理像素组确定模块P12是用于实现处理像素组确定单元102的功能的模块，频率成分处理模块P13是用于实现频率成分处理单元103的功能的模块，处理完成帧生成模块P14是用于实现处理完成帧生成单元104的功能的模块，已处理帧存储模块P15是用于实现已处理帧存储单元105的功能的模块，图像输出模块P16是用于实现图像输出单元106的功能的模块。

另外，频率成分处理模块P13构成为包括以下子模块：空间频率变换模块P13A、时间频率变换模块P13B、时间高频成分处理模块P13C、时间频率逆变换模块P13D、以及空间频率逆变换模块P13E。空间频率变换模块P13A是用于实现图4的空间频率变换单元103A的功能的模块，时间频率变换模块P13B是用于实现时间频率变换单元103B的功能的模块，时间高频成分处理模块P13C是用于实现时间高频成分处理单元103C的功能的模块，时间频率逆变换模块P13D是用于实现时间频率逆变换单元103D的功能的模块，空间频率逆变换模块P13E是用于实现空间频率逆变换单元103E的功能的模块。

另外，图11是表示用于执行记录在记录介质中的程序的计算机硬件结构的图，图12是用于执行存储在记录介质中的程序的计算机的立体图。作为这里的计算机，还包括具有CPU并进行基于软件的处理和控制的DVD播放器、机顶盒(set top box)、便携电话、PDA、便携型车载导航系统等。

如图11、图12所示，计算机30构成为包括：由软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等构成的读取装置12、由RAM等构成的作业用存储器14、由ROM等构成的存储器16、作为显示装置的显示器18、作为输入装置的鼠标20和键盘22、用于进行数据等的收发的通信装置24、以及控制程序的执行的CPU 26。对于这样的结构的计算机30，当记录介质10被插入到读取装置12中时，由读取装置12读取存储在记录介质10中的图像处理程序P10，将其输入到计算机30中，由CPU26执行图像处理程序P10，由此，计算机30作为本发明的图像处理装置进行工作。

另外，如图12所示，图像处理程序P10也可以作为叠加在载波中的计算机数据信号40经由网络来提供。在此情况下，计算机30能够将通信装置24接收到的图像处理程序P10存储到存储器16中，并由CPU 26来执行该图像处理程序P10。

Claims (7)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

图像输入单元，其从外部输入由多个帧图像构成的影像信号；

已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；

处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；

频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，提取空间频率成分以及时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；

处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及

图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，

所述预定的系数处理是如下处理：对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值，

其中，所述频率成分处理单元避免对所述时间高频成分中的、作为空间频率成分中的视觉特性敏感度低的成分的空间中频成分执行所述预定的系数处理。

2.一种图像处理装置，其特征在于，该图像处理装置具有：

图像输入单元，其从外部输入由多个帧图像构成的影像信号；

已处理帧存储单元，其存储有已完成图像处理的已处理帧图像；

处理像素组确定单元，其从由所述图像输入单元输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；

频率成分处理单元，其从由所述处理像素组确定单元确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；

处理完成帧生成单元，其根据由所述频率成分处理单元取得的执行后处理对象像素组，生成处理完成帧图像；以及

图像输出单元，其向外部输出由所述处理完成帧生成单元生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，

所述预定的系数处理是如下处理：对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述频率成分处理单元通过对所述处理对象像素组和所述已处理像素组进行空间频率变换来提取空间频率成分，通过对提取出的空间频率成分进行时间频率变换来提取时间频率成分。

4.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

所述处理完成帧生成单元以使由所述频率成分处理单元取得的多个执行后处理对象像素组至少重叠一个像素以上的方式，对该多个执行后处理对象像素组进行组合，生成处理完成帧图像。

5.根据权利要求1～3中的任一项所述的图像处理装置，其特征在于，

置换所述频率成分的所述预定值为0。

6.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括以下步骤：

图像输入步骤，从外部输入由多个帧图像构成的影像信号；

处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；

频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，提取空间频率成分以及时间频率成分，对提取出的时间频率成分中的时间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；

处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及

图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，

所述预定的系数处理是如下处理：对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值，

在所述频率成分处理步骤中，避免对所述时间高频成分中的作为所述空间频率成分中的视觉特性敏感度低的成分的空间中频成分执行所述预定的系数处理。

7.一种图像处理方法，其由图像处理装置执行，该图像处理装置具有存储有已完成图像处理的已处理帧图像的已处理帧存储单元，该图像处理方法的特征在于，包括以下步骤：

图像输入步骤，从外部输入由多个帧图像构成的影像信号；

处理像素组确定步骤，从在所述图像输入步骤中输入的所述影像信号的所述多个帧图像中，按照预定的规则确定处理对象像素组，并且从存储在所述已处理帧存储单元内的已处理帧图像中，按照预定的基准确定已处理像素组；

频率成分处理步骤，从在所述处理像素组确定步骤中确定的处理对象像素组和已处理像素组中，提取空间频率成分和时间频率成分，对提取出的时间频率成分的时间高频成分中的、空间低频成分和空间高频成分执行预定的系数处理，取得执行了所述预定的系数处理后的执行后处理对象像素组；

处理完成帧生成步骤，根据在所述频率成分处理步骤中取得的执行后处理对象像素组，生成处理完成帧图像；以及

图像输出步骤，向外部输出在所述处理完成帧生成步骤中生成的处理完成帧图像，并且将所述处理完成帧图像作为已处理帧图像存储到所述已处理帧存储单元中，

所述预定的系数处理是如下处理：对频率成分的绝对值与预定的阈值进行比较，在所述频率成分的绝对值大于所述阈值的情况下，保持所述频率成分，在所述频率成分的绝对值小于等于所述阈值的情况下，将所述频率成分置换为预定值。