CN1327693C - 图像杂波清除方法 - Google Patents

Abstract

本发明涉及图像杂波清除方法，它针对亮度成分图像数据，具有将该亮度成分图像数据的各自的象素，作为受到注意的象素，进行所定的滤波处理，编制将整体平滑化的亮度成分图像数据的步骤；而针对色差成分图像数据，具有将该色差成分图像数据各自的象素，作为受到注意的象素，进行别的所定的滤波处理，编制使整体平滑化的色差成分图像数据的步骤。对以区块单位将数码相机拍摄的图像压缩编码后、再将其译码的图像，先进行区块杂波清除处理、蚊杂波清除处理。从而可以适当清除由数码相机拍摄的图像出现的CCD杂波。

Description

图像杂波清除方法

技术领域

本发明涉及一种在由搭载CCD等摄影元件的数码相机拍摄的图像中容易出现的图像杂波的清除方法。

背景技术

在由数码相机拍摄的图像中，因摄影的状态而曝光不足，图像上经常出现散布着细微的虚假的颜色花道儿的杂波(所谓CCD杂波)。这种CCD杂波，是使用析象度低的数码相机拍摄暗淡的场所时显著出现的杂波。

另外，编码中的量化和译码中的反量化的量化误差成为原因，对以区块单位压缩编码的图像进行译码之际，往往在区块之间的边界处出现不连续的就象马赛克似的区块杂波，以及在图像中的轮廓的周围模模糊糊出现如同大群蚊子聚集似的蚊杂波。

发明内容

本发明的目的之一是要提供能够适当清除在由数码相机拍摄的图像中出现的CCD杂波的图像杂波清除方法，目的之二是要提供还能够适当清除以区块单位将数码相机拍摄的图像压缩编码后，在将其译码的图像中出现的区块杂波和蚊杂波的图像杂波清除方法。

为了解决上述课题，本发明之1涉及的图像杂波清除方法，是一种在由搭载CCD等摄影元件的数码相机拍摄的图像中出现杂波的图像杂波清除方法，对图像数据中的亮度成分图像数据，具有将该亮度成分图像数据的各象素作为受到注意的象素，进行所定的滤波处理，编制使整体平滑化的亮度成分图像数据的步骤；对图像数据中的色差成分图像数据，具有将该色差成分图像数据的各象素作为受到注意的象素，进行别的所定的滤波处理，编制使整体平滑化的色差成分图像数据的步骤。

采用由上述结构构成的图像杂波清除方法后，对亮度成分图像数据、色差成分图像数据分别实施不同的处理，能够不影响画面质量地适当清除CCD杂波。

另外，本发明之2涉及的图像杂波清除方法，是一种将用区块单位把数码相机拍摄的图像压缩编码后、将其译码的图像作为对象的图像杂波清除方法，它将图像数据中的亮度成分图像数据及色差成分图像数据的每一个分割成和编码/译码相同的区块，对亮度成分图像数据，具有：进行以区块之间的边界中的各自的象素作为受到注意的象素进行第1滤波处理，编制将区块之间的边界平滑化的第1亮度成分图像数据的步骤；将该第1亮度成分图像数据的各自的象素作为受到注意的象素进行第2滤波处理，编制将整体平滑化的第2亮度成分图像数据的步骤；编制用第1亮度成分图像数据的各自的象素值减去第2亮度成分图像数据的各自的象素值的边缘图像数据的步骤；编制根据所定条件，修正该边缘图像数据的各自的差分值的修正边缘图像数据的步骤；编制将修正边缘图像数据的各自修正值与第2亮度成分图像数据的各自的象素值相加的第3亮度成分图像数据的步骤；对色差成分图像数据，具有将该色差成分图像数据各自的象素，作为受到注意的象素，进行第3滤波处理，编制使整体平滑化的第1色差成分图像数据的步骤；在先进行这些步骤的同时，还可以对编制的第3亮度成分图像数据及第1色差成分图像数据进行所述所定的滤波处理或所述别的所定的滤波处理。

采用由上述结构构成的图像杂波清除方法后，编制第1亮度成分图像数据的步骤，是起因于亮度差的区块杂波的清除处理；编制第3亮度成分图像数据的步骤，是起因于亮度差的蚊杂波的清除处理。而且，编制第1色差成分图像数据的步骤，既是起因于色差的区块杂波的清除处理，又是起因于色差的蚊杂波的清除处理。

之所以在CCD杂波清除之前先进行区块杂波清除处理，是由于CCD杂波清除处理是一种冲淡处理，如果先进行CCD杂波清除处理，那么区块杂波就会被CCD杂波清除处理整个冲淡，在以后的区块杂波清除处理中，就很难只对准区块杂波进行清除；之所以在蚊杂波清除之前先进行区块杂波清除处理，也是由于蚊杂波清除处理是一种冲淡处理，如果先进行该蚊杂波清除处理，那么区块杂波就会被该蚊杂波清除处理整个冲淡，在以后的区块杂波清除处理中，就很难只对准区块杂波进行清除；之所以在CCD杂波清除之前先进行蚊杂波清除处理，是由于如果先进行CCD杂波清除处理，那么蚊杂波就会被该CCD杂波清除处理整个冲淡，在以后的蚊杂波清除处理中，就很难只对准蚊杂波进行清除。因此，区块杂波清除、蚊杂波清除、CCD杂波清除的顺序，在适当清除所有的杂波上极其重要。

另外，在蚊杂波清除处理中，之所以不停留在仅仅编制第2亮度成分图像数据的步骤上，而要将由边缘图像数据编成的修正边缘图像数据与第2亮度成分图像数据合成后编制第3亮度成分图像数据，是因为通过在亮度淡化的第2亮度成分图像数据上合成修正边缘图像数据后，可以不使亮度差大的轮廓过分冲淡，而只使细微的亮度差冲淡，就是说能够不影响画面质量地清除蚊杂波。

另外，本发明涉及的图像杂波清除方法，所述第1滤波处理，可以使用限幅后的值，以便使受到注意的象素的象素值和滤波范围内的象素的象素值之差的绝对值，纳入所定的临界值以内。就是说，由于第1滤波处理只以区块问的边界为对象，所以过分冲淡后，区块间的边界就会成为含糊的不自然的(不连续的)块，反而使区块杂波受到强调。另外，一些区块间的边界明亮，另一些区块间的边界暗淡时，经过滤波处理后，就会形成超过原来的象素值的过修正。作为附近象素的象素值，之所以使用上述限幅值，就是为了防止出现这些问题。

另外，本发明涉及的图像杂波清除方法，所述修正边缘图像数据，可以根据所述边缘图像数据中的最大差分值和最小差分值，求出它们的差，在差大于所定的临界值时，将0(零)作为下限，用所定的调整值加减边缘图像数据各自的差分值，进行编制，以使其绝对值变小。差大于所定的临界值时，意味着图像中存在着亮度差大的轮廓，出现蚊杂波的可能性大。这时，用所定的调整值减或加边缘图像数据各自的差分值，使其绝对值(该点的亮度差)变小。之所以将边缘图像数据所有的差分值作为修正对象(即连未出现蚊杂波的部分也修正)，是因为在区块内修正部分和未修正部分混杂后，其边界易变得醒目的缘故。但是，对边缘图像数据的差分值中，其绝对值为所定的调整值以下的，则作为0(零)，以免过修正。

另外，本发明涉及的图像杂波清除方法，所述修正边缘图像数据，在所述差为所定的临界值以下时，还可以通过将所定的调整值与边缘图像数据各自的差分值相乘后编制。差为临界值以下时，即图像中是基本没有轮廓的平坦的区块。但因为并不是蚊杂波出现的可能性完全没有，所以这时也全部用所定的调整值乘边缘图像数据各自的差分值，使亮度差整体缩小。但该缩小率要比差大于所定的临界值时宽松。

另外，本发明涉及的图像杂波清除方法，所述别的所定的滤波处理或所述第3滤波处理，最好针对修正值数据进行，其中所述修正值数据，是用所定的上限下限表，对通过计算受到注意的象素的象素值与滤波范围内的象素的象素值之差而编制的差分值数据进行上限值、下限值限幅后编成的。在视觉特性上，人的眼睛对色差的感觉比亮度的感觉迟钝。因此，虽然即使对色差成分图像数据本身进行第3滤波处理也没有什么问题，但先根据色差成分图像数据编成修正值数据，再对它进行第3滤波处理，就能有利于抑制不需要的颜色产生洇。

而且，本发明涉及的图像杂波清除方法，所述所定的上限下限表，可以采用对于绝对值小于所定的临界值的输入值，将其作为输出值：对于具有所定的临界值以上的绝对值的输入值，将与输入值同符号的临界值作为输出值的方法。

综上所述，本发明涉及的图像杂波清除方法，能够适当清除CCD杂波。另外，本发明之2涉及的图像杂波清除方法，能够适当清除区块杂波、蚊杂波、CCD杂波的所有杂波。而且，本发明涉及的图像杂波清除方法，是对亮度成分图像数据及色差成分图像数据的每一个分别进行处理，在这点上，也可望更切实地清除图像杂波。

附图说明

图1是表示本实施方式涉及的图像处理装置的结构图。

图2是表示该实施方式涉及的图像处理的流程图。

图3是表示图2的图像杂波清除处理的流程图。

图4是表示给图像数据附加边界的状态的说明图。

图5是横向附加边界的状态的说明图，(1)是表示图像数据的宽度是区块的宽度的倍数时的情况，(2)是表示图像数据的宽度不是区块的宽度的倍数时的情况。

图6是纵向附加边界的状态的说明图，(1)是表示图像数据的高度是区块的高度的倍数时的情况，(2)是表示图像数据的高度不是区块的高度的倍数时的情况。

图7是图3的区块杂波清除处理的流程图，(1)是表示对亮度成分图像数据的情况，(2)是表示对色差成分图像数据的情况。

图8是纵向的区块杂波清除处理的说明图，(1)是表示进行滤波处理的状况，(2)是表示除去纵向的区块杂波的状况。

图9是横向的区块杂波清除处理的说明图，(1)是表示进行滤波处理的状况，(2)是表示除去横向的区块杂波的状况。

图10是对图3的色差成分图像数据进行区块杂波清除处理使用的色差的上限下限表的说明图。

图11是对图3的色差成分图像数据进行区块杂波清除处理的说明图，(1)表示色差图像数据，(2)表示差分值数据，(3)表示修正值数据，(4)也表示修正值数据，(5)表示受到注意的象素的象素值被置换的状态。

图12是表示图3的蚊杂波清除处理的流程图。

图13是表示图12的边缘图像编制处理的说明图。

图14是表示图3的CCD清除处理的流程图，(1)是表示对亮度成分图像数据的情况，(2)是表示对色差成分图像数据的情况。

具体实施方式

首先，根据图1，讲述为了实现本发明的一种实施方式涉及的图像杂波清除方法的图像处理装置的结构。图像处理装置由计算机构成，具有分别与总线7连接的CPU1、ROM2、工作存储器3、帧存储器4、数据输出入装置5及硬盘6。ROM2存储包含图像杂波清除程序在内的计算机程序及各种参数，工作存储器3是CPU1进行控制所需的存储器，包含缓冲器及寄存器等。CPU1按照ROM中存储的计算机程序，进行各种运算及处理。

帧存储器4是存储将采用JPEG方式压缩编码的静止图像译码后得到的图像数据的寄存器。输入到数据输出入装置5中的(R、G、B)图像数据，各自(R成分图像数据、G成分图像数据、B成分图像数据)先被分到各自的帧存储器4存储后进行图像杂波清除处理。图像杂波清除处理结束后，(R、G、B)图像数据由数据输出入装置5向外部输出，或由硬盘6存储。

如图2所示，在图像杂波清除处理时，首先进行RGB/YCC变换处理(S1)，然后按照区块杂波、蚊杂波、CCD杂波的顺序进行图像杂波清除处理(S2)。在RGB/YCC变换处理中，根据下述(公式1)～(公式3)，将(R、G、B)图像数据变换成(Y、Cr、Cb)图像数据。之所以变换成YCC颜色空间，是因为JPEC方式用YCC颜色空间进行压缩/解压缩，区块杂波及蚊杂波在此时产生，所以用相同的颜色空间进行图像杂波清除处理，可以提高修正的精度。对CCD杂波，通常将亮度和色度分开后分别进行适合它们的修正，可以提高效果。

Y＝(RToY[0][0]*R+RToY[0][1]*G+RToY[0][2]*B)/10000

Cr＝(RToY[1][0]*R+RToY[1][1]*G+RToY[1][2]*B)/10000+2048

Cb＝(RToY[2][0]*R+RToY[2][1]*G+RToY[2][2]*B)/10000+2048

                              …(公式1)～(公式3)

RtoY[i][j]：YCrCb变换系数

图像杂波清除处理(S2)结束后，按照下列(公式4)～(公式6)，进行YCC/RGB变换处理(S3)，从而使(Y、Cr、Cb)图像数据恢复到(R、G、B)图像数据，完成一系列处理。

R＝(YToR[0][0]*Y+YToR[0][1]*(Cr-2048)+YToR[0][2]*(Cb-2048)/10000

G＝(YToR[1][0]*Y+YToR[1][1]*(Cr-2048)+YToR[1][2]*(Cb-2048)/10000

B＝(YToR[2][0]*Y+YToR[2][1]*(Cr-2048)+YToR[2][2]*(Cb-2048)/10000

…(公式4)～(公式6)

RtoY[i][j]：YC结合系数

此外，在本实施方式中，为了抑制处理导致数据的丢失，所以将8Bit数据扩张成12Bit后处理(但仍以8Bit数据处理也行)。

如图3所示，在S2的图像杂波清除处理中，首先，进行附加边界处理(S20)，然后进行区块杂波清除处理(S21)，蚊杂波清除处理(S22)。附加边界处理是为了在对(Y、Cr、Cb)图像数据的Y图像数据(以下称作“亮度成分图像数据”)、Cr图像数据及Cb图像数据(以下分别称作“色差成分图像数据”)的三个数据进行后文将要讲述的滤波处理之际，插补图像数据的边界中的图像数据而进行的处理。

具体地说，S20的边界附加处理，如图4(是某个图像数据，一个方块表示象素，数值表示象素值)所示，是相对图像数据A(未被施加网状点的部分)的边界S，横向、纵向分别附加与编码/译码涉及的区块B(未被施加网状点中的粗框)同样大小的区块B’(被施加网状点中的粗框)，而且用图像数据的边界中的象素的象素值填埋其附加的区块B’，…的象素值的处理。该附加的区块B’，如果区块杂波清除处理(S21)、蚊杂波清除处理(S22)、CCD杂波清除处理(S23)结束后，就用边界消除处理(S24)去掉。

此外，如果图像数据A的横向长度(象素数)W是区块B的横向长度(象素数)的倍数、即是8的倍数，那么就如图5(1)所示，通过附加边界以便使各行的总长度(象素数)成为[W+16]；而如果不是8的倍数，那么就如图5(2)所示，通过附加边界以便使各行的总长度(象素数)成为[W+(8-(Wmod 8))+16]，从而还对未完的区块B”进行数据补充。

同样，如果图像数据A的纵向长度(象素数)H是区块B的纵向长度(象素数)的倍数、即是8的倍数，那么就如图6(1)所示，通过附加边界以便使各列的总长度(象素数)成为[H+16]；而如果不是8的倍数，那么就如图6(2)所示，通过附加边界以便使各列的总长度(象素数)成为[H+(8-(Hmod 8))+16]，从而还对未完的区块B”进行数据补充。

S21的区块杂波清除处理，是对亮度成分图像数据Y0，如图7(1)所示，进行纵向的区块杂波清除处理(S30)，编制亮度成分图像数据Y1后，又进行横向的区块杂波清除处理(S31)，编制亮度成分图像数据Y2(本发明涉及的第1亮度成分图像数据)；而对色差成分图像数据Cr0、Cb0的每一个，则如图7(2)所示，进行色差的上限下限表的编制处理(S40)之后，进行横向的颜色冲淡处理(S41)编制色差成分图像数据Cr1、Cb1后，又进行纵向的冲淡处理(S42)编制色差成分图像数据Cr2、Cb2(本发明涉及的第1色差成分图像数据)。

<纵向区块杂波清除处理(S30)>

将区块间的边界中的象素，作为受到注意的象素，施加横向的一维滤波，由亮度成分图像数据Y0编制消灭了区块间的边界中的横向的亮度差(被平滑化)的亮度成分图像数据Y1。滤波器尺寸，例如可以设定为3象素和5象素(参阅图8(1)，施加浓网状点C表示受到注意的象素，施加淡网状点D表示滤波范围，施加更淡网状点E表示滤波处理对象象素)，使用下列(公式7)，进行滤波处理(本发明涉及的第1滤波处理)。

[数1]

$Y1=\frac{\mathrm{\&Sigma;Fb}*\mathrm{Yi}}{\mathrm{\&Sigma;Fb}}$

…(公式7)

该滤波器，是由对受到注意的象素的系数比对除此之外的象素的系数大(约10～20倍)的矩阵Fb(例如：Fb＝(131))产生的加权滤波器，是以受到注意的象素C为中心，将矩阵Fb的系数与滤波范围内的各象素值(Yi)的积并求总和，并且用矩阵Fb的系数的总和除该总和的计算式。

不过，上述滤波处理，仅以区块之间的边界为对象，所以过分冲淡后，区块之间的边界就成为含糊的不自然(不连续的)块，区块杂波反而被强调。另外，一些区块间的边界明亮，另一些区块间的边界暗淡时，经过滤波处理后，就会形成超过原来的象素值的过修正。因此在上述(公式7)中，使用限幅(间隔处理)后的值，以便满足下述(公式8)(即：使与受到注意的象素C的象素值的差的绝对值纳入临界值b以内)。

Yi[x，y]-b≤Yi’[x-1，y]≤Yi[x，y]+b|

…(公式8)

临界值b，假如是30，这样一来，经过上述滤波处理后，区块间的边界中的象素E的象素值，就由图8(1)变换成图8(2)，可以看出区块间的边界中的象素值的差(亮度差)变小了。

<横向的区块杂波清除处理(S31)>

将区块问的边界中的象素，作为受到注意的象素，施加纵向的一维滤波，由亮度成分图像数据Y1编制消灭了区块间的边界中的纵向的亮度差(被平滑化)的亮度成分图像数据Y2。处理内容和纵向的区块杂波清除处理实质上相同。

临界值b，假如是30，这样一来，区块间的边界中的象素E的象素值，就由图9(1)变换成图9(2)，可知区块间的边界中的象素值的差(亮度差)变小了。

这样，上述两个区块杂波清除处理，是由亮度成分图像数据Y0(图8(1))最终编成亮度成分图像数据Y2(图9(2))，在纵横两个方向上消灭了亮度差的处理。由于在视觉特性上，人眼对亮度极其敏感，区块杂波就是主要起因于区块间的边界中的亮度差，所以上述两个区块杂波清除处理，是可以清除区块杂波的极其有效的处理。但是，区块杂波不仅起因于亮度差，某种程度上还起因于色差。因此，为了完全清除区块杂波，还需要进行下面讲述的颜色冲淡处理(S41、S42)。

<色差的上限下限表的编制处理(S40)>

在颜色冲淡处理中，因为使用比较大的滤波器(对此将在后文讲述)，所以过分冲淡后，颜色就要洇。例如，在红唇和皮肤的交界处，进行大的颜色冲淡处理后，颜色就要洇。因此，在颜色冲淡处理(S41、S42)中，使用色差的上限下限表。

色差的上限下限表，是计算遮挡值的表(参阅图10)。c是输出色差的上限下限用的临界值，取0～4095的范围。采用该表后，属于-c～c的范围的输入值，就被输出相同的值；小于-c的输入值，则全部成为-c后输出；大于c的输入值，全部成为c后输出的表。

<横向的颜色冲淡处理(S41)>

将区块的各象素作为受到注意的象素，施加横向的一维滤波，由色差成分图像数据Cr0、Cb0编制横向颜色冲淡(被平滑化)的色差成分图像数据Cr1、Cb1。滤波器尺寸，例如可以设定成7象素(参阅图11(1)，粗框C表示受到注意的象素)。

首先，计算受到注意的象素C的象素值和附近象素的象素值之差(-2047～2047)，编制差分值数据(A)(图11(2))，再给该差分值数据(A)通过上限下限表(临界值c假如是15)编制用上限值、下限值限幅了的修正值数据(B)(图11(3))。然后，在该修正值数据(B)的受到注意的象素C中放回受到注意的象素C的象素值，编制修正值数据(C)(图11(4))后，使用下列(公式9)进行滤波处理(本发明涉及的第3滤波处理)(图11(5))。

[数2]

$\mathrm{Cr}1,\mathrm{Cb}1=\frac{\mathrm{\&Sigma;Fc}*\mathrm{Ci}}{\mathrm{\&Sigma;Fc}}$

…(公式9)

该滤波器，是系数相等的矩阵Fc(Fc＝11…1)产生的移动平均滤波器，以受到注意的象素C为中心，将矩阵Fc的系数与修正值数据(C)的各修正值(Ci)相乘后，取其总和的同时，还用矩阵Fc的系数的总和(因为是移动平均滤波器，所以系数的总和与滤波器尺寸相等)除该总和的计算式。对各象素逐一进行这种滤波器处理。

<纵向的颜色冲淡处理(S42)>

将区块的各象素作为受到注意的象素，施加纵向的一维滤波，由色差成分图像数据Cr1、Cb1编制纵向颜色冲淡(被平滑化)的色差成分图像数据Cr2、Cb2。处理内容和横向的颜色冲淡处理实质上相同。

这样，上述两个颜色冲淡处理，是根据色差成分图像数据Cr0、Cb0(图11(1))，最终编制色差成分图像数据Cr2、Cb2，色差较大的轮廓原封不动地保留着，只冲淡(消除)较小的色差的处理。就是说，在色差的差分上，不设上限下限时，由于成为用通常的移动平均进行的冲淡，所以色差较大的轮廓也被冲淡了。而通过设置临界值c，使上限下限纳入较小的色差的差分的变动范围内，从而将周边的较大轮廓产生的色差的差分，置换成较小的轮廓的色差的差分的变动范围，防止色差较大的轮廓被冲淡。起因于色差的区块杂波，将这种较小的色差作为发生原因，可是，上述两个颜色冲淡处理，是能够不影响画面质量(画面质量下降不明显)地清除起因于色差的区块杂波的有效处理。此外，强度调整，可以适当设定滤波器的滤波尺寸和上限下限表的临界值后进行。

S22的蚊杂波清除处理，如图12所示，是在对S21的区块杂波清除处理编制的亮度成分图像数据Y2进行亮度淡化处理(S50)后，编制亮度成分图像数据Y3(本发明涉及的第2亮度成分图像数据)的同时，还根据亮度成分图像数据Y2进行边缘图像数据编制处理(S51)编制边缘图像数据E1，接着进行边缘图像数据修正处理(S52)编制修正边缘图像数据E2，最后，进行该修正边缘图像数据E2和所述亮度成分图像数据Y3的合成处理(S53)，编制亮度成分图像数据Y4(本发明涉及的第3亮度成分图像数据)。

<亮度淡化处理(S50)>

将区块的各象素，作为受到注意的象素，施加二维滤波，由亮度成分图像数据Y2编制亮度淡化了(被平滑化)的亮度成分图像数据Y3。滤波器尺寸，例如可以设定为3×3象素和5×5象素，使用下列(公式10)，进行滤波处理(本发明涉及的第2滤波处理)。

[数3]

$Y3=Y2+(\frac{\mathrm{\&Sigma;Fb}*\mathrm{Yi}}{\mathrm{\&Sigma;Fb}}-Y2)*(d/128)|$

…(公式10)

该滤波器，是由系数相等的矩阵Fb产生的移动平均滤波器，是在以受到注意的象素C为中心，将矩阵Fb的系数与滤波范围内的各象素值(Yi)相乘后取其总和的同时，求出用矩阵Fb的系数的总和除该总和的商后再求与受到注意的象素C的象素值的差，将用[d/128]与其相乘的积，和受到注意的象素C的象素值相加的计算式。d是旨在调整冲淡强度的系数(冲淡强度系数)。另外，之所以用128除d，是因为为了适应高速化而预先用[128/100]乘以冲淡强度系数d的缘故。

<边缘图像数据编制处理(S51)>

使用下述(公式11)，以区块B单位编制边缘图像数据E(参阅图13)。但是，限幅成-2048～2047。

E1＝Y2-Y3    …(公式11)

就是说，边缘图像数据E1是用亮度成分图像数据Y2的各象素值，减去S50的亮度淡化处理编制的亮度成分图像数据Y3的各象素值后的差。

<边缘图像数据修正处理(S52)>

首先，根据边缘图像数据E1中的最大差分值和最小差分值，求出其差SA，使用下述(公式12)，编制修正边缘图像数据E2。

[数4]

$\mathrm{SA}>e\&RightArrow;E2=\left\{\begin{array}{cc}E1-f& [f<E1]\\ 0& \left[\right|E1|\&le;f]\\ E1+f& [E1<-f]\end{array}\right.$

$\mathrm{SA}\&le;e\&RightArrow;E2=E1*(1/g)$

…(公式12)

差SA大于临界值e时，意味着图像中存在亮度差较大的轮廓，蚊杂波出现的可能性很大。这时的上述(公式12)的着眼点如下。即：由于蚊杂波出现在亮度差剧烈的部位，所以用蚊杂波的象素边缘调整值f减或加边缘图像数据E1的各自的差分值，以便使其绝对值(该点的亮度差)变小。之所以将边缘图像数据E1的所有的差分值作为修正对象(即没有产生蚊杂波的部分也进行修正)，是因为在区块内修正部分和不修正部分都有时，其边界容易醒目的缘故。但是，在边缘图像数据E1的差分值中，对其绝对值小于的象素边缘调整值f的，则作为0，以免过修正。

差SA小于临界值时，即在图像中是轮廓小的平坦的区块，但由于蚊杂波出现的可能性并非完全没有，所以这时的上述(公式12)的着眼点如下。即：全部用[1/普通图像的象素边缘调整值g]乘以边缘图像数据E1的每个差分值，从整体上缩小亮度。不过，缩小率比差SA大于临界值时宽松。

临界值e假如是10，蚊杂波的象素边缘调整值f及普通图像的象素边缘调整值g假如是5。那么在图13中，差SA因为是179，所以左上角的值得注意的象素(差分值-4)，修正后成为4-5＝-1→0；其相邻的值得注意的象素(差分值-28)，修正后成为-28+5＝-23；…其右下角的值得注意的象素(差分值7)，修正后成为7-5＝2。编制出从整体上缩小亮度差的修正边缘图像E2。

<合成处理(S53)>

进行使用下述公式(公式13)的合成处理，编制亮度成分图像数据Y4。但要限幅成0～4096。

Y4＝Y3+E2    …(公式13)

即：亮度成分图像数据Y4是亮度成分图像数据Y3的各自的象素值，与S52的边缘图像修正处理中编制的修正边缘图像E2的各自修正值相加的和。

这样，所述蚊杂波清除处理，就是根据亮度成分图像数据Y2最终编成亮度成分图像数据Y4，不使亮度差较大的轮廓被较大地冲淡(因为本来亮度差较大，所以冲淡不醒目)，只冲淡(消除)细微的亮度差的处理。蚊杂波，是这种细微的亮度差产生的，所以上述蚊杂波清除处理是不影响画面质量(不使画面质量明显下降)地清除蚊杂波的有效处理。

S23的CCD杂波清除处理，是对S22的蚊杂波清除处理编制的亮度成分图像数据Y4，如图14(1)所示，进行亮度淡化处理(S60)后编制亮度成分图像数据Y5，另一方面，对S21的区块杂波清除处理编制的色差成分图像数据Cr2、Cb2的每一个，如图14(2)所示，进行色差的上限下限表的编制处理(S70)后，进行横向的颜色冲淡处理(S71)编制色差成分图像数据Cr3、Cb4，再进行纵向的颜色冲淡处理(S73)编制色差成分图像数据Cr4、Cb4。

<亮度淡化处理(S60)>

将区块的各象素，作为受到注意的象素，施加二维滤波，由亮度成分图像数据Y4编制亮度淡化了(被平滑化)的亮度成分图像数据Y5。滤波器尺寸，例如可以设定为3×3象素、5×5象素、7×7象素和9×9象素，使用下列(公式14)，进行滤波处理(本发明涉及的所定的滤波处理)。

[数5]

$Y5=Y4+(\frac{\mathrm{\&Sigma;Fb}*\mathrm{Yi}}{\mathrm{\&Sigma;Fb}}-Y4)*(h/128)|$

…(公式14)

该滤波器，是由系数相等的矩阵Fb产生的移动平均滤波器，是在以受到注意的象素C为中心，将矩阵Fb的系数与滤波范围内的各象素值(Yi)相乘后取其总和的同时，求出用矩阵Fb的系数的总和除该总和的商和受到注意的象素C的象素值的差，将用[h/128]与其相乘的积，和受到注意的象素C的象素值相加的计算式。h是旨在调整冲淡强度的系数(冲淡强度系数)。另外，之所以用128除h，是因为为了适应高速化而预先用[128/100]乘以冲淡强度系数h的缘故。此处的亮度淡化处理，进行和S22的蚊杂波清除处理中S50的亮度淡化处理实质上相同的滤波处理。

<色差的上限下限表的编制处理(S70)、横向的颜色冲淡处理(S71)、纵向的颜色冲淡处理(S72)>

进行和S21的区块杂波清除处理中的S40～S42的处理实施上相同的处理(本发明涉及的别的所定的滤波处理)。在这里，按照图像的劣化状态，设定强度/滤波尺寸。劣化的程度严重时，往往使用滤波尺寸比S40～S42的处理使用的滤波器大(例如15象素)的滤波器。

这样，上述两个颜色冲淡处理，是根据色差成分图像数据Cr2、Cb2，最终编制色差成分图像数据Cr4、Cb4，色差较大的轮廓原封不动地保留着，只冲淡(消除)较小的色差的处理。就是说，在色差的差分上不设置上限下限时，由于成为用通常的移动平均进行的冲淡，所以色差较大的轮廓也被冲淡了。而通过设置临界值c，使上限下限纳入较小的色差的差分的变动范围内，从而将周边的较大轮廓产生的色差的差分，置换成较小的轮廓的色差的差分的变动范围，防止色差较大的轮廓被冲淡。起因于色差的CCD杂波，是这种较小的色差的原因，然而，上述两个颜色冲淡处理，是能够不影响画面质量(画面质量下降不明显)地清除起因于色差的CCD杂波的有效处理。

另外，本实施形态涉及的图像杂波清除处理，是先进行区块杂波清除处理(S21)，然后进行蚊杂波清除处理(S22)，最后进行CCD杂波清除处理(S23)。其理由是：蚊杂波清除处理是冲淡处理，如果在进行区块杂波清除处理之前先进行该蚊杂波清除处理，区块杂波就会被整个冲淡，在以后的区块杂波清除处理中，就很难只对准区块杂波进行清除。另外，CCD杂波清除处理也是冲淡处理，如果在进行区块杂波清除处理之前先进行该蚊杂波清除处理，区块杂波就同样会被整个冲淡，在以后的区块杂波清除处理中，就很难只对准区块杂波进行清除。进而，如果在进行蚊杂波清除处理之前先进行CCD杂波清除处理，蚊杂波就会被冲淡，在以后的蚊杂波清除处理中，就很难只对准蚊杂波进行清除。这样，就需要在进行区块杂波清除处理(S21)之后再进行蚊杂波清除处理(S22)，在进行蚊杂波清除处理(S22)之后再进行CCD杂波清除处理(S23)。

此外，本发明并不限于上述实施方式，可以在不脱离本发明的宗旨的范围内进行各种变更。

例如，在上述实施方式中，将采用JPEG方式压缩编码的静止图像译码后得到的图像数据作为对象，所以按照区块杂波清除处理S21、蚊杂波清除处理S22、CCD杂波清除处理S23的顺序进行三种图像杂波清除处理。但将未产生区块杂波、蚊杂波的图像数据作为对象时，可以只进行CCD杂波清除处理。这时，图像杂波清除处理S2，由附加边界处理S20、CCD杂波清除处理S23、边界删除处理S24构成。

另外，在上述实施方式中，S41、S42的颜色冲淡处理，作为S21的区块杂波清除处理中的处理，但如上所述，由于具有冲淡(消除)色差较小部分的效果，对蚊杂波也有效，所以还可以和S40的处理一起，作为S22的蚊杂波清除处理中的处理。总而言之，如果对图像数据的色差成分图像数据实施S40～S42的处理，色差成分图像数据中的图像杂波即被清除，所以赋予其位置并没有特殊的含义。

另外，在上述实施方式中，在S41、S42、S71、S72的颜色冲淡处理中，使用一维滤波器。这是因为滤波器的滤波尺寸大，为了不花费处理时间的缘故。但如果不管处理时间，或滤波尺寸不大，也可以使用二维滤波器。S30、S31的区块杂波清除处理中使用的滤波器也不限于一维滤波器，例如，可以使用3×3象素的二维滤波器。

另外，在上述实施方式中，在S30、S31的区块杂波清除处理中，使用加权滤波器，在除此之外的处理中，使用移动平均滤波器。但并不限于此。

另外，在上述实施方式中，在计算机上进行图像杂波清除处理，但也可以装入译码装置，在译码处理之中(具体地说，是在逆正交变换后)进行图像杂波清除处理。

另外，在上述实施方式中，在对压缩图像进行译码之际包含RGB变换处理，所以进行RGB/YCC变换处理(S1)。毫无疑问，输入图像如果是具有RGB信息的BMP图像，需要该RGB/YCC变换处理，而如果是本来就具有YCC信息的JPEG图像，就未必需要RGB/YCC变换处理(S1)及与之相伴的YCC/RGB变换处理(S3)。

Claims (7)

1、一种图像杂波清除方法，是在由搭载CCD等摄影元件的数码相机拍摄的图像中出现的杂波的图像杂波清除方法，其特征在于：

针对图像数据中的亮度成分图像数据，具有将该亮度成分图像数据的各自的象素，作为受到注意的象素，进行亮度成分滤波处理，编制将整体平滑化的亮度成分图像数据的步骤；

针对图像数据中的色差成分图像数据，具有将该色差成分图像数据各自的象素，作为受到注意的象素，进行色差成分滤波处理，编制使整体平滑化的色差成分图像数据的步骤。

2、如权利要求1所述的图像杂波清除方法，是将用区块单位把数码相机拍摄的图像压缩编码后、将其译码的图像作为对象的图像杂波清除方法，其特征在于：

将图像数据中的亮度成分图像数据及色差成分图像数据的每一个分割成与编码/译码相同的区块，

针对亮度成分图像数据，具有：将以区块之间的边界中的各自的象素作为受到注意的象素进行第1滤波处理，编制将区块之间的边界平滑化的第1亮度成分图像数据的步骤；

将该第1亮度成分图像数据的各自的象素作为受到注意的象素进行第2滤波处理，编制将整体平滑化的第2亮度成分图像数据的步骤；

编制用第1亮度成分图像数据的各自的象素值减去第2亮度成分图像数据的各自的象素值的边缘图像数据的步骤；

编制修正该边缘图像数据的各自的差分值的修正边缘图像数据的步骤；以及

编制将修正边缘图像数据的各自修正值与第2亮度成分图像数据的各自的象素值相加的第3亮度成分图像数据的步骤，

针对色差成分图像数据，具有将该色差成分图像数据各自的象素，作为受到注意的象素，进行第3滤波处理，编制使整体平滑化的第1色差成分图像数据的步骤，

在先进行上述步骤的同时，

还对所编制的第3亮度成分图像数据及第1色差成分图像数据进行所述亮度滤波处理或所述色差滤波处理。

3、如权利要求2所述的图像杂波清除方法，其特征在于：所述第1滤波处理，使用限幅后的值，以便使受到注意的象素的象素值与滤波范围内的象素的象素值之差的绝对值，纳入所定的临界值以内。

4、如权利要求2或3所述的图像杂波清除方法，其特征在于：所述修正边缘图像数据，根据所述边缘图像数据中的最大差分值和最小差分值，求出它们的差，在差大于所定的临界值时，将零作为下限，用所定的调整值加减边缘图像数据各自的差分值，进行编制，以使其绝对值变小。

5、如权利要求4所述的图像杂波清除方法，其特征在于：所述修正边缘图像数据，在所述差为所定的临界值以下时，通过将所定的调整值与边缘图像数据各自的差分值相乘来编制。

6、如权利要求1～5任一项所述的图像杂波清除方法，其特征在于：所述色差滤波处理或所述第3滤波处理，针对修正值数据进行，

所述修正值数据，是用所定的上限下限表，对通过计算受到注意的象素的象素值与滤波范围内的象素的象素值之差而编制的差分值数据进行上限值、下限值限幅后编成的。

7、如权利要求6所述的图像杂波清除方法，其特征在于：所述所定的上限下限表，对于绝对值小于所定的临界值的输入值，将其作为输出值；对于具有所定的临界值以上的绝对值的输入值，将与输入值同符号的临界值作为输出值。

Images