CN102113308A - 图像处理装置、图像处理方法、程序、记录介质以及集成电路 - Google Patents

Abstract

提供一种图像处理装置，该图像处理装置在利用时间噪声去除方式来减轻图像的噪声时，能够减低输出图像的块失真以及时间方向上的闪烁、晃动现象。该图像处理装置(1)将输入图像与参考图像相加，以去除输入图像中的噪声，该图像处理装置(1)具备：运动推定部(20)，生成推定了输入图像的运动的运动信息；运动补偿部(30)，利用所生成的运动信息进行运动补偿，以生成与第一图像对应的第二图像，该第一图像是运动补偿前的参考图像，该第二图像是运动补偿后的参考图像；平坦度算出部(40)，算出输入图像的平坦度；复合比率算出部(53)，利用所算出的平坦度，算出输入图像、第一图像以及第二图像的每一个的相加比率；以及像素相加部(60)，按照所算出的各个相加比率，将输入图像、第一图像以及第二图像相加。

Description

图像处理装置、图像处理方法、程序、记录介质以及集成电路

技术领域

本发明涉及能够去除输入图像中的噪声并能够抑制输出图像的闪烁、晃动的图像处理装置。

背景技术

随着相机向高速化、摄像元件的精细化发展，确保拍摄时的曝光量变得困难。因此，造成被拍摄出的图像噪声多。在此，该图像中出现的噪声能够以信号处理来去除。该噪声去除处理可大致分为利用空间滤波器的处理和时间噪声去除处理。

但是，在以空间滤波器去除噪声的情况下，存在图像的边缘(edge)易于模糊、色度降低等问题。而时间噪声去除处理，能够有效地去除噪声的且能够抑制以所述空间滤波器去除噪声的情况下出现的问题。

作为以往的时间噪声去除处理，有将多幅图像在时间方向上相加以去除噪声的处理。在时间噪声去除处理中存在不利用运动补偿的方法和利用运动补偿的方法。

图11是示出进行以往的不利用运动补偿的时间噪声去除处理的图像处理装置的功能构成的功能框图。

如图11所示，图像处理装置70具备存储器71、相加比率算出部75以及像素相加部76。

首先，相加比率算出部75，利用输入图像和保存在存储器71的参考图像来算出相加比率。根据该相加比率，像素相加部76，将输入图像和参考图像的像素相加。

输入图像中的无规则噪声和参考图像中的无规则噪声是不同的噪声。因此，通过将输入图像与参考图像相加，从而统计性地消除该无规则噪声(无规则噪声在时间上被平滑化)。据此，减低无规则噪声。

但是，该方法存在的问题是，在输入图像与参考图像之间被摄物发生了运动的情况下，将像素相加，使输出图像中出现残像。

图12是示出进行以往的利用运动补偿的时间噪声去除处理的图像处理装置的功能构成的功能框图。

如该图所示，图像处理装置70具备存储器71、运动推定部72、运动补偿部73、相加比率算出部75以及像素相加部76。

首先，运动推定部72，利用输入图像和在存储器71中保存的参考图像来推定运动，并求出与输入图像的各个块对应的参考图像中的位置。然后，运动补偿部73，按照由运动推定部72求出的运动信息，生成与输入图像对应的位置的、参考图像的块图像。相加比率算出部75，利用输入图像和运动补偿后的参考图像，算出相加比率。

并且，像素相加部76，根据该相加比率，将输入图像和运动补偿后的参考图像的像素相加，从而减轻噪声。像这样，像素相加部76，通过利用运动补偿后的参考图像，对于运动的被摄物，能够减轻无规则的噪声且无残像。

但是，该方法有受图像中包括的噪声等的影响而不能正确地推定运动的情况。此时，因为会相加与位置不对应的图像区域，因此输出图像中出现尤其是静止的区域看起来像是在摇晃的副作用。

并且，在时间噪声去除处理中，有组合上述不利用运动补偿的方法和利用运动补偿的方法这双方的方法(例如，参照专利文献1)。

图13是示出进行以往的组合不利用运动补偿的方法和利用运动补偿的方法的时间噪声去除处理的图像处理装置的功能构成的功能框图。

如图13所示，图像处理装置70具备存储器71、运动推定部72、运动补偿部73、像素相加部76、选择控制部77以及参考图像设定部78。

首先，运动推定部72和运动补偿部73，与在图12的说明同样地进行运动的推定与运动补偿。然后，选择控制部77，利用输入图像和参考图像检测运动，并根据该检测结果，判别有运动的区域和无运动的区域。

并且，参考图像设定部78，按照该有运动的区域和无运动的区域，选择参考图像。也就是说，参考图像设定部78，对于有运动的区域将运动补偿后的参考图像作为参考图像来选择，对于无运动的区域将未进行运动补偿的参考图像作为参考图像来选择。

然后，像素相加部76，将输入图像和被选择的参考图像的像素相加。据此，使无规则的噪声在时间上平滑化，从而减轻噪声。并且，根据输入图像有无运动来选择参考图像，从而即使在有运动的区域也不会有残像而减轻噪声。

专利文献1：日本特许第3960258号公报

然而，在噪声多的图像中，因为不能区别信号和噪声，因此有不能正确地检测运动矢量的情况。此时，运动补偿后的参考图像会与输入图像不对应。并且，因为运动补偿处理以块单位来进行，利用上述不对应的图像的块来进行处理，会造成运动补偿后的图像中出现块失真。

因此，以往的处理的课题是，对于噪声多的图像，不能正确地检测出运动矢量，不能检测出与输入图像的块对应的运动补偿后的块，因此处理后的图像因为块失真而画质劣化。

并且，因为运动补偿是以块单位来进行，因此运动补偿后的图像中，在移动量不同的部分的边界出现块状的噪声。也就是说，运动补偿后的图像中，在静止区域与移动区域的边界出现块失真。并且，在移动量变化的情况下，在移动的区域之间的边界也出现块失真。

而且，作为参考图像切换未进行运动补偿的参考图像和运动补偿后的参考图像，造成图像急剧变化，使输出图像中出现不连续的部分。

像这样，以往的处理的课题是，因为1幅图像中出现块失真、不连续的区域而使画质劣化。并且，在处理运动图像或时间上连续的多幅图像的情况下，因为上述劣化之处因按照每幅图像而变化，因此输出图像中出现时间方向上的闪烁、被摄物的同一部分看起来在摇动的晃动现象。

发明内容

本发明用于解决上述以往的课题，目的在于提供一种图像处理装置，该图像处理装置在利用时间噪声去除方式来减轻图像的噪声时，能够减低输出图像的块失真以及时间方向的闪烁现象、晃动现象。

为了达成上述目的，本发明所涉及的图像处理装置，将输入图像与参考图像相加，以去除所述输入图像中的噪声，该图像处理装置具备：运动推定部，生成推定了所述输入图像的运动的运动信息；运动补偿部，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；平坦度算出部，算出所述输入图像的平坦度；比率算出部，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及像素相加部，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

据此，利用输入图像的平坦度，算出输入图像、运动补偿前的参考图像以及运动补偿后的参考图像的每一个的相加比率，并按照该相加比率，将各个图像相加。在此，因为具有平坦度低就能够正确地推定运动的倾向，因此能够将平坦度的大小作为是否能够正确地推定运动的指标来利用，来算出该相加比率。并且，输入图像与运动补偿前后的参考图像以根据该平坦度算出的相加比率来被相加，因此不会出现与输入图像相加的参考图像因为运动补偿前的参考图像与运动补偿后的参考图像之间的切换而出现图像的急剧地变化。因此，在利用时间噪声去除方式来减轻图像的噪声时，能够在图像内，降低进行运动补偿处理的块间的边界的块失真，得到良好的画质。并且，即使是对于时间方向上连续的多幅图像，因为无图像间的急剧地变化，因此能够减低闪烁、晃动等现象。

并且，最好是，所述平坦度算出部，算出所述输入图像的平坦度，以使所述输入图像的像素值的偏差越小或所述输入图像中包括的边缘的量越少则所述平坦度越高。

据此，根据像素值的偏差或边缘的量来算出平坦度。因此，能够简易地算出平坦度且能够减低输出图像的块失真以及时间方向上的闪烁、晃动等现象。

并且，最好是，所述比率算出部，算出各个相加比率，使所述平坦度越高则所述第一图像的相加比率越高并且所述第二图像的相加比率越低，使所述平坦度越低则所述第一图像的相加比率越低并且所述第二图像的相加比率越高。

据此，平坦度越高，则降低进行运动补偿处理的程度，平坦度越低，则提高进行运动补偿处理的程度。也就是说，因为越不平坦的区域越能正确地推定运动，因此平坦度越低则提高进行运动补偿处理的程度。据此，能够恰当地反映运动补偿处理的结果且随着平坦度的变化使相加比率连续地变化，因此能够减低输出图像的块失真以及时间方向上的闪烁、晃动现象。

并且，最好是，所述图像处理装置还包括：第一可靠度算出部，算出表示所述输入图像与所述第一图像之间的一致程度的第一可靠度；以及第二可靠度算出部，算出表示所述输入图像与所述第二图像之间的一致程度的第二可靠度，所述比率算出部，还利用所算出的所述第一可靠度以及所述第二可靠度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率。

据此，除了平坦度之外还利用可靠度，算出输入图像、运动补偿前的参考图像以及运动补偿后的参考图像的每一个的相加比率，并按照该相加比率，将各个图像相加。在此，能够以可靠度的大小，来判断与输入图像相加的参考图像的比率的大小。而且，输入图像与运动补偿前后的参考图像以根据该平坦度以及可靠度算出的比率来相加，因此不会出现与输入图像相加的参考图像因为运动补偿前的参考图像与运动补偿后的参考图像之间的切换而图像急剧地变化。为此，在利用时间噪声去除方式减轻图像的噪声时，能够在图像内，减低进行运动补偿处理的块间的边界的块失真，得到良好的画质。并且，即使是对于时间方向上连续的多幅图像，因为无图像间的急剧地变化，因此能够减低闪烁、晃动等现象。

并且，最好是，所述比率算出部，算出各个相加比率，使所述第一可靠度越高则所述第一图像的相加比率越高，且所述第二可靠度越高则所述第二图像的相加比率越高。

据此，与输入图像之间的可靠度越高的图像，使其相加比率越高。也就是说，与输入图像越类似的图像，使其相加时的相加比率越高。据此，能够恰当地反映运动补偿处理的结果且随着可靠度的变化使相加比率连续地变化，因此能够减低输出图像的块失真以及时间方向上的闪烁、晃动等现象。

并且，本发明不仅能够作为这样的图像处理装置来实现，也能够作为具备构成该图像处理装置的各处理部的控制该图像处理装置的集成电路来实现，或以该各个处理部的处理作为步骤的方法来实现。而且，本发明，能够作为使计算机执行这些步骤的程序来实现，或作为记录了该程序的计算机可读取的CD-ROM等记录介质来实现，或作为表示该程序的信息、数据或信号来实现等。并且，也可以是，通过互联网等通信网络来分发这些程序、信息、数据以及信号。

根据本发明，能够在利用时间噪声去除方式来减轻图像的噪声时，减低图像内的块失真，得到良好的画质。并且，因为据此即使是在时间方向上连续的多幅图像也不会出现图像间的急剧的变化，因此能够减低闪烁、晃动等现象。

附图说明

图1是示出本发明的实施例的图像处理装置的功能构成的功能框图。

图2是示出本发明的实施例的相加比率算出部的详细的构成的功能框图。

图3是示出本发明的实施例的图像处理装置的工作的一个例子的流程图。

图4是示出本发明的实施例的平坦度算出部算出平坦度的方法的一个例子的图。

图5是示出本发明的实施例的平坦度算出部根据f_edge算出边缘的量的方法的一个例子的图。

图6是示出本发明的实施例的平坦度算出部根据边缘的量算出平坦度的方法的一个例子的图。

图7是本发明的实施例的第一可靠度算出部根据MAD算出第一可靠度的方法的一个例子的图。

图8是本发明的实施例的复合比率算出部进行的线性内插方法的一个例子的图。

图9A是示出本发明的实施例的平坦度与复合比率算出部所算出的相加比率之间的关系的图。

图9B是示出本发明的实施例的可靠度与复合比率算出部所算出的相加比率之间的关系的图。

图10是示出本发明的实施例的控制图像处理装置的图像处理集成电路的图。

图11是示出进行以往的不利用运动补偿的时间噪声去除处理的图像处理装置的功能构成的功能框图。

图12是示出进行以往的利用运动补偿的时间噪声去除处理的图像处理装置的功能构成的功能框图。

图13是示出进行以往的组合不利用运动补偿的方法和利用运动补偿的方法的时间噪声去除处理的图像处理装置的功能构成的功能框图。

具体实施方式

以下，参照附图说明本发明的实施例。

图1是示出本发明的实施例的图像处理装置1的功能构成的功能框图。

图像处理装置1是将输入图像与参考图像相加以去除输入图像中的噪声的装置，如该图所示，图像处理装置1具备存储器10、运动推定部20、运动补偿部30、平坦度算出部40、相加比率算出部50以及像素相加部60。

存储器10是保存用于运动补偿处理的参考图像的存储器。具体而言，存储器10将来自像素相加部60的输出图像作为参考图像来保存。

运动推定部20生成推定了输入图像的运动的运动信息。具体而言，运动推定部20利用输入图像与被保存在存储器10的作为参考图像的第一图像来推定运动。在此被利用的参考图像是输入图像的前一个帧的输出图像，运动信息是表示时间上连续的图像间的各像素的移动量的信息。

运动补偿部30，利用运动信息进行运动补偿，以生成与第一图像对应的第二图像，该第一图像是运动补偿前的参考图像，该第二图像是运动补偿后的参考图像。具体而言，运动补偿部30，利用运动推定部20所生成的运动信息，对第一图像的运动进行补偿，以生成第二图像。

平坦度算出部40算出输入图像的平坦度。具体而言，平坦度算出部40，算出输入图像的平坦度，使输入图像的像素值的偏差越小或输入图像中包括的边缘的量越少则平坦度越高。在此，平坦度是表示输入图像内的变化小的程度的值。

相加比率算出部50，利用平坦度算出部40所算出的平坦度，算出输入图像、第一图像以及第二图像的每一个的相加比率。相加比率算出部50的详细情况之后叙述。

像素相加部60，按照相加比率算出部50所算出的相加比率，将输入图像、第一图像以及第二图像相加以生成输出图像。

接着，详细地说明相加比率算出部50的构成。

图2是示出本发明的实施例的相加比率算出部50的详细的构成的功能框图。

如该图所示，相加比率算出部50具备第一可靠度算出部51、第二可靠度算出部52以及复合比率算出部53。

第一可靠度算出部51，算出第一可靠度，该第一可靠度表示输入图像与存储器10中保存的第一图像之间的一致程度。

第二可靠度算出部52，算出第二可靠度，该第二可靠度表示输入图像与运动补偿部30所生成的第二图像之间的一致程度。

复合比率算出部53，利用平坦度算出部40所算出的平坦度、第一可靠度算出部51所算出的第一可靠度以及第二可靠度算出部52所算出的第二可靠度，算出输入图像、第一图像以及第二图像的每一个的相加比率。另外，复合比率算出部53具有权利要求书中记述的“比率算出部”的功能。

具体而言，复合比率算出部53，计算各个相加比率，使平坦度越高则第一图像的相加比率越高且第二图像的相加比率越低，并使平坦度越低则第一图像的相加比率越低且第二图像的相加比率越高。

并且，复合比率算出部53，算出各个相加比率，使第一可靠度越高则第一图像的相加比率越高，并且第二可靠度越高则第二图像的相加比率越高。并且，复合比率算出部53，将所算出的相加比率输出到像素相加部60。

接着，说明图像处理装置1的工作。

图3是示出本发明的实施例的图像处理装置1的工作的一个例子的流程图。设定存储器10中保存有参考图像。

首先，输入输入图像(S102)。

并且，运动推定部20，利用存储器10中保存的作为参考图像的第一图像与输入图像来推定运动(S104)。具体而言，运动推定部20，利用块匹配，来生成推定了输入图像的运动的运动信息，并推定运动。

在此，块匹配是指将输入图像按照规定的块的大小进行分割，并找到与这些块对应的参考图像的块的位置的方法。也就是说，运动推定部20，针对输入图像的块，在参考图像中的规定的搜索范围内，变动同等大小的块的参照位置，算出各个块位置与输入图像的块之间的位置差。

并且，与输入图像的块对应的是该位置差为最小的参考图像的块。也就是说，输入图像的块与与此对应的参考图像的块之间的位置差成为推定运动的结果。因此，运动推定部20将该位置差作为运动信息来生成。

另外，在本实施例中，虽然利用了一般的块匹配方法，但是也可以是，利用相位限定相关法进行的块匹配等其他的运动推定方法。

然后，运动补偿部30，根据上述运动推定的结果，进行参考图像的运动补偿(S106)。也就是说，运动补偿部30，利用运动推定部20所生成的运动信息来进行运动补偿，以生成与第一图像对应的第二图像。

在此，按照每个块，参考图像与输入图像相对应。也就是说，运动补偿部30，将与该输入图像的块对应的参考对象的块作为第二图像来生成。

但是，上述运动推定的结果有不正确的情况。例如，在噪声多的图像中，与信号相比，噪声占支配性地位，具有同样的噪声模式的输入图像的块与参考对象的块被对应起来，造成推定出的运动与实际的运动不同。

并且，在图像中的被摄物的形状发生了变化的情况下，参考图像中没有与输入图像的块对应的块时，不能正确地推定运动。

而且，图像中的被摄物一会儿静止、一会儿移动，则运动补偿后的图像中，在静止区域与移动区域的边界出现不连续，出现块状的噪声。在该块状的噪声部分被相加了的情况下，输出图像中出现块失真。像运动图像这样在时间上连续的多幅图像的情况下，如果块失真在各个帧的不同位置出现，则输出图像中出现闪烁或晃动。

因此，为了抑制上述块失真、闪烁或晃动，本发明中，将作为运动补偿前的参考图像的第一图像以及作为运动补偿后的参考图像的第二图像都与输入图像相加，以此进行控制，使第一图像与第二图像的相加比率连续。

并且，图像的平坦区域中，受注目的块与周边的块多为具有相同的特征，因此造成运动推定的精确度降低。而且，在噪声多的情况下，因为受噪声的影响而不能正确地推定运动。而在包括边缘等特征的不平坦的区域中，受注目的块具有图像的特征，因此能够正确地推定运动。

因此，利用上述图像的平坦度与运动推定的精确度的关系，以下述方法来控制第一图像与第二图像的相加比率。

平坦度算出部40，算出输入图像的每个区域的平坦度(S108)。在本实施例中，平坦度算出部40，根据输入图像的像素值的偏差的大小或输入图像中包括的边缘的量，来算出平坦度。

首先，对平坦度算出部40根据输入图像的像素值的偏差的大小来算出平坦度的处理进行说明。

平坦度算出部40首先算出受注目区域的各像素的像素值的平均值。然后，平坦度算出部40，针对受注目区域内的所有的像素，算出所述平均值与像素值的差的绝对值，并求出该平均绝对误差。

具体而言，设定受注目区域的各像素的像素值的平均值是f_mean，平均绝对误差是f_diff，则可以以下述算出f_mean和f_diff。另外，设定受注目区域的像素数是N，各像素的像素值是f(i)(i＝1～N)。

[算式1]

$f\_\mathrm{mean}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}f\left(i\right)$

[算式2]

$f\_\mathrm{diff}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|f\left(i\right)-f\_\mathrm{mean}|$

并且，平坦度算出部40，利用f_diff，算出平坦度。

图4是示出本发明的实施例的平坦度算出部40根据f_diff算出平坦度的方法的1个例子的图。

如该图所示，受注目区域的f_diff小的情况下，受注目区域内的各个像素值相对于受注目区域的平均像素值的偏差小，所以平坦度算出部40将平坦度设定为高的值。相反，在该f_diff大的情况下，受注目区域内的各个像素值相对于受注目区域的平均像素值的偏差大，所以平坦度算出部40将平坦度设定为低的值。像这样，平坦度算出部40算出输入图像的平坦度，使输入图像的像素值的偏差越小则平坦度越高。

另外，在本实施例中，平坦度算出部40用于求出平坦度的变换，只要满足f_diff越小则平坦度越高而f_diff越大则平坦度越低这一条件即可，并非一定要采用该图所示的函数。

另外，平坦度算出部40虽然以相对于受注目区域的平均像素值的平均绝对误差来求出了f_diff，但是只要是标准偏差值等表示相对于平均的偏差的量即可，并非一定要采取上述式子所示的函数。

然后，说明平坦度算出部40根据输入图像中包括的边缘的量来算出平坦度的处理。

也就是说，在如上所述中，平坦度算出部40虽然求出了图像的平坦度，但是平坦度高相当于图像中包括的边缘的量少，相反，平坦度低相当于图像中包括的边缘的量多。为此，平坦度算出部40可以根据边缘的程度来算出平坦度。例如，如下所述，利用边缘的量来算出该平坦度。

首先，平坦度算出部40提取受注目区域的边缘。平坦度算出部40，利用Prewitt滤波器、Sobel滤波器、Laplacian滤波器等一般的提取边缘的滤波器来提取边缘。在此，受注目区域的各像素的像素值设定为f(i)(i＝1～N)，平坦度算出部40进行的对各像素的滤波处理结果设定为f_filter(i)(i＝1～N)。

然后，平坦度算出部40取受注目区域的f_filter(i)的平均，以算出受注目区域的平均的边缘。设定平均的边缘为f_edge，则平坦度算出部40以以下方法算出f_edge。

[算式3]

$f\_\mathrm{edge}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}f\_\mathrm{filter}\left(i\right)$

并且，平坦度算出部40，利用f_edge，算出受注目区域的边缘的量。

图5是示出本发明的实施例的平坦度算出部40根据f_edge算出边缘的量的方法的一个例子的图。

如该图所示，受注目区域的f_edge小的情况下，平坦度算出部40设定边缘的量少。相反，该f_edge大的情况下，平坦度算出部40设定边缘的量多。

另外，平坦度算出部40用于求出边缘的量的变换，只要满足f_edge越小则边缘的量越少而f_edge越大则边缘的量越大这一条件即可，并非一定要采用该图所示的函数。

然后，平坦度算出部40根据边缘的量算出平坦度。

图6是示出本发明的实施例的平坦度算出部40根据边缘的量算出平坦度的方法的一个例子的图。

如该图所示，受注目区域的边缘的量少的情况下，平坦度算出部40将平坦度设定为高的值。相反，在该边缘的量多的情况下，平坦度算出部40将平坦度设定为低的值。像这样，平坦度算出部40，算出输入图像的平坦度，使输入图像中包括的边缘的量越少则平坦度越高。

另外，平坦度算出部40用于求出平坦度的变换，只要满足边缘的量越少则平坦度越高而边缘的量越多则平坦度越低这一条件即可，并非一定要采用该图所示的函数。

并且，在此，平坦度是0以上且1以下的数值，但是可以是，平坦度是非0以上且1以下的范围内的值。

返回图3，相加比率算出部50，利用平坦度算出部40所算出的平坦度，算出输入图像、第一图像以及第二图像的每一个的相加比率(S110、S112)。

具体而言，相加比率算出部50首先算出第一图像、第二图像的每一个的可靠度。然后，相加比率算出部50，利用平坦度算出复合比率，并最终输出第一图像、第二图像以及输入图像的每一个的相加比率。

而且，更加具体地，第一可靠度算出部51算出输入图像与第一图像之间的可靠度即第一可靠度，第二可靠度算出部52算出输入图像与第二图像之间的可靠度即第二可靠度(S110)。在此，可靠度表示输入图像与第一图像或第二图像之间的按照每一个区域的一致程度。

并且，第一可靠度与第二可靠度以同样的方法来算出。因此，在以下说明中，说明由第一可靠度算出部51算出第一可靠度的情况，而省略由第二可靠度算出部52算出第二可靠度的情况。

第一可靠度算出部51，利用MAD(Mean Absolute Deviation：平均绝对误差)的值算出第一可靠度。MAD是表示误差的量。并且，输入图像和第一图像的MAD以下述式子来定义。

[算式4]

$\mathrm{MAD}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|f1\left(i\right)-f2\left(i\right)|$

在此，f1(i)(i＝1～N)、f2(i)(i＝1～N)分别是输入图像、第一图像的像素值，N是像素数。

并且，第一可靠度算出部51利用MAD来算出第一可靠度。

图7是示出本发明的实施例的第一可靠度算出部51根据MAD算出第一可靠度的方法的一个例子的图。

在MAD小的情况下，因为输入图像的块与第一图像的块的差小，所以考虑为输入图像的块与第一图像的块之间的一致程度高。利用这些，如该图所示，第一可靠度算出部51算出可靠度，使可靠度在MAD小的情况下则可靠度高，在MAD大的情况下，输入图像的块与第一图像的块不同，因此使可靠度低。

另外，本实施例中，为了求出可靠度利用了MAD，但是SAD(Sum ofAbsolute Difference：绝对误差和)、SSD(Sum of SquaredDifference：误差平方和)等只要是表示两个图像的差的量就可以，并非一定要采用MAD。

另外，对于可靠度的算出，只要满足图像间的差分越小则可靠度越高而差分越大则可靠度越低这一条件即可，并非一定要以该图所示的函数来算出。

并且，在此，虽然第一可靠度以及第二可靠度分别是0以上且1以下的数值，但是也可以是，第一可靠度以及第二可靠度是非0以上且1以下的范围内的值。

返回图3，复合比率算出部53，利用所算出的第一可靠度、第二可靠度以及平坦度，算出第一图像、第二图像以及输入图像的每一个的相加比率(S112)。

图像的平坦的区域中，受注目块与周边的块具有相同的特征，因此推定运动的精确度降低。而且，在噪声多的情况下，因为噪声的影响不能正确地推定运动。而在包括边缘等特征的不平坦的区域，因为受注目块中具有图像的特征，因此能够正确地推定运动。

利用该特征，复合比率算出部53，对于平坦的部分优先相加第一图像，以使较少受到运动的推定的影响。相反，在不平坦的部分，因为能够正确地推定运动，因此优先相加第二图像。

也就是说，复合比率算出部53，算出各个相加比率，使平坦度越高则第一图像的相加比率越高且第二图像的相加比率越低，使平坦度越低则第一图像的相加比率越低且第二图像的相加比率越高。

并且，图像间的可靠度越高，则该图像之间的一致程度越高，所以复合比率算出部53优先相加可靠度高的图像。也就是说，复合比率算出部53，算出各个相加比率，使第一可靠度越高则第一图像的相加比率越高，且第二可靠度越高则第二图像的相加比率越高。

并且，复合比率算出部53，因为将图像相加时是以像素单位来将像素值相加，因此以块单位算出的平坦度、第一可靠度以及第二可靠度需要分别变换为像素单位。在本实施例中，复合比率算出部53，利用受注目块的信息和周边块的信息，将块单位内插处理为像素单位。例如，利用图8所示的内插方法。

图8是本发明的实施例的复合比率算出部53进行的线性内插方法的一个例子的图。在此，以从块单位的可靠度算出像素单位的可靠度的算出方法为例进行说明。

如该图所示，复合比率算出部53，为了算出受注目块的像素单位的可靠度，利用受注目块的块单位的可靠度以及周边相接的8个块的块单位的可靠度来进行内插。具体而言，复合比率算出部53，将块单位的可靠度作为块的中央的位置的可靠度，进行线性内插，从而算出受注目块的各像素的可靠度。

另外，本实施例中，虽然复合比率算出部53从块单位的可靠度以及平坦度算出像素单位的可靠度以及平坦度时，利用线性内插，但是并非一定要采用线性内插。

将复合比率算出部53所算出的像素单位的平坦度设定为Flat，像素单位的第一可靠度设定为Conf_ref，像素单位的第二可靠度设定为Conf_mc，则复合比率算出部53以下式分别算出各个相加比率。

[算式5]

R_ref＝Flat×Conf_ref

[算式6]

R_mc＝(1-Flat)×Conf_mc

也就是说，复合比率算出部53，将平坦度与第一可靠度相乘以算出第一图像的相加比率R_ref，并且，将从1减去平坦度的值所得到的值与第二可靠度相乘以算出第二图像的相加比率R_mc。

并且，复合比率算出部53，以下述方法，从1减去第一图像的相加比率与第二图像的相加比率以算出输入图像的相加比率R_curr，以使处理后的图像的平均亮度不变。

[算式7]

R_curr＝1-(R_ref+R_mc)

像这样，复合比率算出部53，利用平坦度和可靠度，算出相加比率。

图9A是示出本发明的实施例的平坦度与复合比率算出部53所算出的相加比率之间的关系的图。另外，该图中，将可靠度固定为一定的值的情况下的、第一图像的相加比率以实线A来表示而第二图像的相加比率则以虚线B来表示。

如该图所示，将可靠度固定为一定的值的情况下，平坦度越高，则第一图像(实线A)的相加比率越高。并且，平坦度越高，则第二图像(虚线B)的相加比率越低。像这样，复合比率算出部53，能够控制各个相加比率，以使相加比率按照平坦度连续地变化。

图9B是示出本发明的实施例的可靠度与复合比率算出部53所算出的相加比率之间的关系的图。另外，该图示出将平坦度固定为一定的值的情况下的、第一图像或第二图像的相加比率。

如该图所示，在将平坦度固定为一定的值的情况下，第一可靠度越高则第一图像的相加比率越高，并且，第二可靠度越高则第二图像的相加比率越高。像这样，复合比率算出部53，控制各个相加比率，以使相加比率按照可靠度连续地变化。

另外，在第一可靠度Conf_ref与第二可靠度Conf_mc都是1的情况下，输入图像的相加比率R_curr为0，因此可以对第一可靠度Conf_ref或第二可靠度Conf_mc设置上限值。虽然该上限值最好是0.8左右，但是只要是比1小的值，哪一数值都可以。

返回图3，最后，像素相加部60，利用混合比率算出部53所算出的像素单位的相加比率，将第一图像、第二图像以及输入图像相加，来生成输出图像(S114)。

具体而言，设定输入图像的像素值为I(i)、第一图像的像素值为Ref(i)、第二图像的像素值为MC(i)，则像素相加部60以下述式子算出输出图像的像素值O(i)。

[算式8]

O(i)＝R_curr(i)×I(i)+R_ref(i)×Ref(i)+R_mc(i)×MC(i)

也就是说，像素相加部60，将输入图像的像素值与输入图像的相加比率相乘所得到的值、第一图像的像素值与第一图像的相加比率相乘所得到的值以及第二图像的像素值与第二图像的相加比率相乘所得到的值相加，以生成输出图像。

通过如上所述，图像处理装置1结束去除输入图像中的噪声的工作。

根据这样的构成，能够按照输入图像的平坦度，连续地控制第一图像、第二图像以及输入图像的相加比率，从而防止输出图像的画质劣化，能够除去噪声且能够得到良好的画质。并且，据此，即使是在时间方向上连续的多幅图像，图像间也不会急剧地变化，因此不会出现闪烁、晃动等现象。

也就是说，利用输入图像的平坦度，算出输入图像、运动补偿前的参考图像以及运动补偿后的参考图像的每一个的相加比率，并按照该相加比率，将各个图像相加。在此，因为具有平坦度低则能够正确地推定运动的倾向，因此能够将平坦度的大小作为是否能够正确地推定运动的指标来利用，来算出该相加比率。并且，输入图像与运动补偿前后的参考图像以根据该平坦度算出的相加比率来相加，因此不会出现与输入图像相加的参考图像因为运动补偿前的参考图像与运动补偿后的参考图像之间的切换，而出现图像的急剧地变化。

并且，越是不平坦的区域越能正确地推定运动，因此平坦度越低则提高进行运动补偿处理的程度。据此，能够恰当地反映运动补偿处理的结果，且随着平坦度的变化而使相加比率连续地变化。并且，根据像素值的偏差或边缘的量来算出平坦度。因此，能够简易地算出平坦度。

并且，除了平坦度之外还利用可靠度，算出输入图像、运动补偿前的参考图像以及运动补偿后的参考图像的每一个的相加比率，并按照该相加比率，将各个图像相加。在此，能够以可靠度的大小，来判断与输入图像相加的参考图像的比率的大小。并且，将输入图像与运动补偿前后的参考图像以根据该平坦度以及可靠度来算出的比率来相加，因此与输入图像相加的参考图像不会因为运动补偿前的参考图像与运动补偿后的参考图像之间的切换而图像急剧地变化。

并且，与输入图像之间的可靠度越高的参考图像，使其相加比率越高。也就是说，与输入图像越类似的参考图像，使其相加时的相加比率越高。据此，恰当地反映运动补偿处理的结果，且随着可靠度的变化使相加比率连续地变化。

如上所述，根据本发明所涉及的图像处理装置1，在利用时间噪声去除方式来减轻图像的噪声时，能够在图像内，降低进行运动补偿处理的块间的边界的块失真，得到良好的画质。并且，即使是对于在时间方向上连续的多幅图像，因为无图像间的急剧地变化，因此能够减低闪烁、晃动等现象。

在此，本发明所涉及地图像处理装置1所具备的各处理部，典型的是，以作为集成电路的LSI来实现。

图10是示出控制本发明的实施例的图像处理装置1的图像处理集成电路2的图。

如该图所示，图1所示的图像处理装置1的存储器10以外的处理部作为图像处理集成电路2来构成。另外，图像处理集成电路2中包括的各处理部，可以分别是1个芯片，也可以是其中的一部分或全部为1个芯片。

在此，虽然设定为LSI，但是根据集成度不同也有称为IC、系统LSI、超(super)LSI、特大(ultra)LSI的情况。

并且，集成电路化的手法并不限定于LSI，也可以以专用电路或通用处理器来实现。也可以是，利用制造LSI后，能够编程的FPGA(FieldProgrammable Gate Array：现场可编程门阵列)，或能够重新构成LSI内部的电路单元的连接、设定的可重够处理器。

而且，如果随着半导体技术的进步或派生的其他技术而出现了代替LSI的集成电路化技术，则理所当然地，也可以利用该技术对功能块进行集成化。也有适用生物技术等的可能性。

以上所述，利用上述实施例说明了本发明所涉及的图像处理装置，但是本发明并不限定于这些实施例。

也就是说，应该被理解为，这次所公开的实施例在所有的方面都是举例，并不限定于这些实施例。所意图的是，本发明的范围并非由上述说明来示出，而是由权利要求书来示出，并且，与权利要求书等同的意义以及范围内的所有的变更都包含在内。

例如，本实施例中，相加比率算出部50具备第一可靠度算出部51以及第二可靠度算出部52，并且复合比率算出部53根据可靠度和平坦度来算出相加比率。但是，也可以是，相加比率算出部50不具备第一可靠度算出部51以及第二可靠度算出部52，并且复合比率算出部53根据平坦度来算出相加比率。另外，即使在仅根据平坦度则不能算出输入图像的相加比率的情况下，复合比率算出部53，能够通过预先规定输入图像的相加比率，从而算出各个相加比率。

并且，本实施例中，虽然图像处理装置1具备的各处理部以集成电路来实现，但是各处理部也可以以软件来实现。

本发明所涉及的图像处理装置以及其方法，在时间方向上将像素相加以去除噪声时，通过将输入图像、运动补偿前的参考图像以及运动补偿后的参考图像相加，从而实现高效率地去除噪声。并且，通过利用输入图像的平坦度，控制运动补偿前的参考图像以及运动补偿后的参考图像的相加比率，从而能够使相加的图像的成分不会急剧地变化，能够控制输出图像中的块失真。据此，在适用于运动图像或连续的多幅图像的情况下，具有不出现时间方向上的闪烁或晃动等现象的特征，能够适用于能够从运动图像、连续的多幅图像中去除噪声的图像处理装置等。

符号说明

1、70图象处理装置

2图像处理集成电路

10、71存储器

20、72运动推定部

30、73运动补偿部

40平坦度算出部

50相加比率算出部

51第一可靠度算出部

52第二可靠度算出部

53复合比率算出部

60像素相加部

75相加比率计算部

76像素相加部

77选择控制部

78参考图像设定部

Claims (10)

1.一种图像处理装置，将输入图像与参考图像相加，以去除所述输入图像中的噪声，该图像处理装置具备：

运动推定部，生成推定了所述输入图像的运动的运动信息；

运动补偿部，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；

平坦度算出部，算出所述输入图像的平坦度；

比率算出部，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及

像素相加部，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

2.根据权利要求1所述的图像处理装置，

所述平坦度算出部，算出所述输入图像的平坦度，以使所述输入图像的像素值的偏差越小或所述输入图像中包括的边缘的量越少则所述平坦度越高。

3.根据权利要求1或2所述的图像处理装置，

所述比率算出部，算出各个相加比率，使所述平坦度越高则所述第一图像的相加比率越高并且所述第二图像的相加比率越低，使所述平坦度越低则所述第一图像的相加比率越低并且所述第二图像的相加比率越高。

4.根据权利要求1至3中的任一项所述的图像处理装置，

所述图像处理装置还包括：

第一可靠度算出部，算出表示所述输入图像与所述第一图像之间的一致程度的第一可靠度；以及

第二可靠度算出部，算出表示所述输入图像与所述第二图像之间的一致程度的第二可靠度，

所述比率算出部，还利用所算出的所述第一可靠度以及所述第二可靠度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率。

5.根据权利要求4所述的图像处理装置，

所述比率算出部，算出各个相加比率，使所述第一可靠度越高则所述第一图像的相加比率越高，且所述第二可靠度越高则所述第二图像的相加比率越高。

6.根据权利要求4或5所述的图像处理装置，

所述平坦度算出部，算出所述平坦度，该平坦度是0以上且1以下的数值，

所述第一可靠度算出部，算出所述第一可靠度，该第一可靠度是0以上且1以下的数值，

所述第二可靠度算出部，算出所述第二可靠度，该第二可靠度是0以上且1以下的数值，

所述比率算出部，将所述平坦度与所述第一可靠度相乘以算出所述第一图像的相加比率，将从1减去所述平坦度所得到的值与所述第二可靠度相乘以算出所述第二图像的相加比率，并从1减去所述第一图像的相加比率以及所述第二图像的相加比率以算出所述输入图像的相加比率，

所述像素相加部，将所述输入图像的像素值与所述输入图像的相加比率相乘所得到的值、所述第一图像的像素值与所述第一图像的相加比率相乘所得到的值、以及所述第二图像的像素值与所述第二图像的相加比率相乘所得到的值相加，以生成所述输出图像。

7.一种图像处理方法，将输入图像与参考图像相加，以去除所述输入图像中的噪声，该图像处理方法包括：

运动推定步骤，生成推定了所述输入图像的运动的运动信息；

运动补偿步骤，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；

平坦度算出步骤，算出所述输入图像的平坦度；

比率算出步骤，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及

像素相加步骤，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

8.一种程序，用于进行将输入图像与参考图像相加以去除所述输入图像中的噪声的图像处理，该程序使计算机执行以下步骤：

运动推定步骤，生成推定了所述输入图像的运动的运动信息；

运动补偿步骤，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；

平坦度算出步骤，算出所述输入图像的平坦度；

比率算出步骤，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及

像素相加步骤，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

9.一种记录了程序的计算机可读取的记录介质，该程序用于进行将输入图像与参考图像相加以去除所述输入图像中的噪声的图像处理，该程序使计算机执行以下步骤：

运动推定步骤，生成推定了所述输入图像的运动的运动信息；

运动补偿步骤，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；

平坦度算出步骤，算出所述输入图像的平坦度；

比率算出步骤，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及

像素相加步骤，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

10.一种集成电路，用于控制图像处理装置，该图像处理装置将输入图像与参考图像相加以去除所述输入图像中的噪声，该集成电路具备：

运动推定部，生成推定了所述输入图像的运动的运动信息；

运动补偿部，利用所生成的所述运动信息进行运动补偿，以生成与第一图像对应的第二图像，所述第一图像是运动补偿前的参考图像，所述第二图像是运动补偿后的参考图像；

平坦度算出部，算出所述输入图像的平坦度；

比率算出部，利用所算出的所述平坦度，算出所述输入图像、所述第一图像以及所述第二图像的每一个的相加比率；以及

像素相加部，按照所算出的各个所述相加比率，将所述输入图像、所述第一图像以及所述第二图像相加，以生成输出图像。

Images