CN101790031A - 图像处理装置、图像处理方法和成像装置 - Google Patents

Abstract

图像处理装置包括图像相加单元，用于通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；屏幕内降噪单元，用于在利用图像相加单元相加之前，为多个图像的每一个进行一个图像内、空间方向上的降噪处理；和控制单元，用于改变屏幕内降噪单元对要被图像相加单元相加的多个图像在空间方向上的降噪强度。

Description

图像处理装置、图像处理方法和成像装置

技术领域

本发明涉及能够在已经利用例如成像器件成像的图像中降噪的图像处理装置、图像处理方法和成像装置。

背景技术

例如，对于像数字照相机等那样的成像装置，作为降低成像图像中的噪声的方法，到此为止已经提供了各种类型的方法。例如，在日本待审专利申请公开第2008-177801号中公开了在一个成像图像内空间方向上的降噪处理的方法(下文将这种降噪处理称为“屏幕内NR”)(NR是“降噪”的缩写)。

也就是说，在日本待审专利申请公开第2008-177801号中公开了通过使用ε滤波器或双边滤波器进行屏幕内NR处理，降低或消除成像图像的每个图像内的噪声分量。主要是消除像CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)那样的成像器件的光散粒噪声。因此，对来自成像器件的RAW图像进行屏幕内NR处理。

对于屏幕内NR处理，通过设置围绕感兴趣像素的窗口区并对包括在窗口区中的多个像素进行处理，获得感兴趣像素的处理后像素输出。

ε滤波器是通过留下边缘部分并输出平均值进行降噪的滤波器。也就是说，ε滤波器计算感兴趣像素的像素值与窗口区中的其它像素的像素值之间的差值的绝对值，选择其差值的绝对值等于或低于预定阈值的像素，并进行求平均值处理，然后将获得的平均值设置成感兴趣像素的像素值。

此外，与ε滤波器类似，双边滤波器是条件平均值滤波器。双边滤波器使用加权系数Wd和加权系数Ws进行求平均值处理，加权系数Wd依赖于感兴趣像素的像素值与窗口区中的其它像素的像素值之间的差值，而加权系数Ws依赖于感兴趣像素与上述的其它像素之间的距离。

也就是说，将某个感兴趣像素Pi(其中i是在一个像素屏幕内的像素位置)的滤波器处理后像素值fi表达成如图41中的表达式10所示那样。

在使用这种双边滤波器的情况下，在进一步保留边缘部分的同时，可以更平滑地降噪，比在使用ε滤波器的情况下要好，并且可以预期图像质量的提高。

屏幕内NR处理的方法不仅可以包括使用ε滤波器或双边滤波器的上述方法，而且可以包括从保持边缘部分的观点来看具有较低能力，但使用健壮滤波器的方法，或使用适中滤波器的方法。

成像图像的降噪技术不仅是上述的屏幕内NR，而且还提出了通过加入多个成像图像降低时间方向上的噪声的方法。

例如，在日本待审专利申请公开第2001-86398号中公开了对静止图像进行低传感器摇晃校正的技术。也就是说，在日本待审专利申请公开第2001-86398号中公开了利用高速快门操作拍摄多个图像，以便不发生摇晃，并且考虑到摇晃影响，层叠已经拍摄的低亮度图像，以获得具有高亮度的一幅静止图像的方法。这种技术基于如果层叠连接拍摄图像，则作为随机分量的噪声就会分散，从而降低了噪声的概念，并且从降噪的观点来看，是一种类似于运动图像的帧NR(降噪)的技术。运动图像帧NR方法是实时地层叠当前帧和参考帧，并且以1∶1的比例不断地层叠当前帧和参考帧的技术。

另一方面，在静止图像降噪的情况下，一个当前帧的参考帧通常变成多个帧。按照静止图像降噪方法，快门速度越高，摇晃的影响就降低得越多，并且随着层数增加，降噪效果就越好，并且可以预期更好的灵敏度。

通过层叠多个图像，对进行了γ校正等之后的YC数据(由亮度分量Y和色度分量C组成)，而不是对来自成像器件的RAW图像执行日本待审专利申请公开第2001-86398号中的降噪方法。

发明内容

如上所述，屏幕内NR处理和相加NR处理具有不同可应用图像信息，并且可以对已经经历屏幕内NR处理的成像图像进行相加NR处理。也就是说，可以对成像图像信号进行屏幕内NR处理和相加NR处理两者。

在这种情况下，通常以一致降噪强度不断地对每个成像图像进行屏幕内NR处理。一般说来，对每个成像图像进行以某降噪强度尽可能多地降低成像器件生成的散粒噪声的帧内NR处理。

现在，对于屏幕内NR处理，选择窗口区内感兴趣像素的两个像素与其它周围像素之间的相关值(差值的绝对值等)等于或低于阈值θth的像素值，并进行求平均处理，从而降低噪声。

于是，对于屏幕内NR处理，虽然可以降低等于或低于阈值的噪声，但求平均处理也抑制了小于阈值的信号分量。即使利用相加NR处理进行多个成像图像的相加，也不能恢复抑制的信号分量，从而存在使信号分量进一步恶化的情况。

因此，作为进行屏幕内NR处理和相加NR处理的结果的成像图像一般变成不清楚图像，因为通过抑制的信号分量删除了图像信息的细节信息。下面使用图42和随后图形进一步描述这种情况。

图42和43是示出叠加在来自成像器件的成像图像信号上的噪声的状态的简图。阶跃形式的粗线条示出成像图像信号分量Ss，而频率较高的细线条示出噪声分量Ns。

图42示出了阈值θth小于成像图像信号分量Ss的情况。在这种情况下，可以抑制小于阈值θth的噪声分量Ns，但不能抑制大于阈值θth的噪声分量Ns，因此遗留下来。另一方面，成像图像信号分量Ss大于阈值θth，因此未受到抑制地保留下来。

也就是说，如图42所示，在阈值θth小于成像图像信号分量Ss的情况下，降噪强度是弱的，但成像图像信号分量Ss未受到抑制地保留下来。

相反，图43图解了阈值θth较大，并且加强了降噪的强度的情况。在这种情况下，大多数噪声分量Ns等于或低于阈值θth，从而可以有利地抑制噪声分量Ns。然而，如图43所示的小于阈值θth的成像图像信号分量Ss与噪声类似地受到抑制并被消除。

为了尽可能多地降低成像器件生成的散粒噪声，需要加强降噪。通过屏幕内NR处理加强降噪意味着像图43所示那样增大阈值θth。于是，如图43所示，对于屏幕内NR处理，往往抑制了小于阈值θth的信号分量。

小于阈值θth的信号分量受到抑制意味着如图44中的虚线所示的陡峭边缘部分的信号变成如图44中的实线所示的钝化信号。对于相加NR处理，由于通过运动补偿的位置匹配，没有位置漂移地相加要相加的两个图像，但在摇晃的情况下，或当对被摄物中的运动部分未完成运动补偿时，在要相加的两个像素之间会出现位置漂移。

因此，在在要相加的两个像素之间存在位置漂移的情况下，如图45所示，要相加的两个图像信号的图像信号Ss1和Ss2相互漂移，从而使其相加结果变成图像信号Ss3，并且变成进一步钝化的信号。

对于相加NR处理，在由于通过运动补偿的位置匹配，没有位置漂移地相加要相加的两个图像的情况下，不会发生像显示在图45中那样的进一步钝化。然而，即使在这种情况下，作为屏幕内NR处理遗留降低噪声的结果，由屏幕内NR处理引起的信号钝化也可能变得更突出。也就是说，由于遗留噪声分量，由屏幕内NR处理造成的信号钝化作为图像来说可能不突出，但随着利用相加NR处理降低/消除了残余噪声分量，其信号钝化作为图像来说可能变得更突出。

因此，如果屏幕内NR处理中降噪的强度降低了，并且使阈值更小，以便尽可能小地抑制信号分量，那么，可以保留信号分量，但另一方面，降噪效果减弱了。

此外，对于屏幕内NR处理，确定既能达到降噪效果又能保留信号分量的适当降噪强度已经变得极其困难。

由此得出，最好是提供在对图像信息进行屏幕内NR处理和相加NR处理的情况下，既能达到降噪效果又能保留信号分量的图像处理装置和方法。

按照本发明一个实施例的图像处理装置包括：图像相加单元，用于通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；

屏幕内降噪单元，用于在利用图像相加单元相加之前，为多个图像的每一个进行一个图像内、空间方向上的降噪处理；和

控制单元，用于改变所述屏幕内降噪单元对要被所述图像相加单元相加的多个图像在空间方向上的降噪强度。

按照上述配置，对经历相加处理的多个图像在空间方向上的降噪强度不是一致的，而是可以利用所述控制单元加以改变。

例如，利用所述控制单元，可以为经历相加处理的多个图像被摄物中的一个加强，而为其它图像削弱所述屏幕内降噪单元空间方向上的降噪强度。

对于经历所述屏幕内降噪单元在空间方向强降噪的图像，空间方向上的噪声受到抑制，同时信号分量也受到抑制。然而，对于经历所述屏幕内降噪单元空间方向上弱降噪的其它图像，噪声遗留下来，和信号分量未受到抑制地保留下来。

所述图像相加单元在时间方向上将具有保存的信号分量的其它图像与具有受到所述屏幕内降噪单元抑制的信号分量的图像相加。利用这种在时间方向上的图像相加，使已经被所述屏幕内降噪单元抑制的信号分量得到恢复。

于是，在进行强屏幕内降噪的同时在图像相加中恢复了信号分量，并且以有利降噪效果获得图像输出。

尤其，在成像图像的情况下，当第一图像经历所述屏幕内降噪单元的强降噪时，即使与其它图像相加削弱了时间方向上的降噪，但在运动被摄物区中可以保持最大屏幕内降噪效果。

按照上面的配置，在进行强屏幕内降噪的同时在图像相加中恢复了信号分量，并且以有利降噪效果获得图像输出。

附图说明

图1是图解本发明的一个实施例应用的成像装置的配置示例的框图；

图2是图解本发明的一个实施例应用的屏幕内NR处理单元的配置示例的框图；

图3是图解成像器件的光散粒噪声的特征的简图；

图4是图解随机噪声的特征的简图；

图5是示出描述按照本发明的图像处理装置的一个实施例的屏幕内NR处理单元中降噪强度的另一种配置的流程图的简图；

图6是示出描述按照本发明的图像处理装置的一个实施例的屏幕内NR处理单元中降噪强度的另一种配置的流程图的简图；

图7A和7B是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图8是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图9是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图10是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图11是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图12是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图13是用于描述按照本发明的图像处理装置的一个实施例的块匹配处理的简图；

图14是描述按照本发明的图像处理装置的一个实施例的多页图像相加NR处理的一个示例的简图；

图15是描述多页图像相加NR处理的另一个示例的简图；

图16是用于描述按照本发明的图像处理装置的一个实施例的简图；

图17是用于描述按照本发明的图像处理装置的一个实施例的简图；

图18是描述按照本发明的图像处理装置的一个实施例的运动向量计算单元的配置示例的框图；

图19是示出描述按照本发明的图像处理装置的一个实施例的基本处理操作的流程图的简图；

图20是描述一个表达式的简图，该表达式用于描述从按照本发明的图像处理装置的一个实施例的局部运动向量中找出全局运动的处理示例；

图21是描述一个表达式的简图，该表达式用于描述从按照本发明的图像处理装置的一个实施例的局部运动向量中找出全局运动的处理示例；

图22是描述一个表达式的简图，该表达式用于描述从按照本发明的图像处理装置的一个实施例的局部运动向量中找出全局运动的处理示例；

图23是描述一个表达式的简图，该表达式用于描述从按照本发明的图像处理装置的一个实施例的局部运动向量中找出全局运动的处理示例；

图24是描述一个表达式的简图，该表达式用于描述从按照本发明的图像处理装置的一个实施例的局部运动向量中找出全局运动的处理示例；

图25是描述一个表达式的简图，该表达式用于描述按照本发明的图像处理装置的一个实施例的全局运动计算单元的处理操作；

图26是用于描述使用按照本发明的全局运动向量评估目标块的背景匹配度的处理的简图；

图27是描述按照本发明的图像处理装置的一个实施例的背景/运动被摄物确定单元的配置示例的框图；

图28是图解描述按照本发明的图像处理装置的一个实施例的背景/运动被摄物确定单元的一部分流程图的简图；

图29是图解描述按照本发明的图像处理装置的一个实施例的背景/运动被摄物确定单元的一部分流程图的简图；

图30是描述按照本发明的图像处理装置的一个实施例的相加率计算单元的配置示例的一部分的框图；

图31是描述按照本发明的图像处理装置的一个实施例的相加率计算单元的配置示例的一部分的框图；

图32是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图33是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图34是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图35是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图36是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图37A-37C是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图38是用于描述按照本发明一个实施例的相加率计算单元的一个示例的配置示例的简图；

图39是描述利用按照本发明一个实施例的相加单元的多图像相加处理的一个示例的简图；

图40是描述利用按照本发明一个实施例的相加单元的多图像相加处理的另一个示例的简图；

图41是用于描述屏幕内NR处理的简图；

图42是描述屏幕内NR处理中的降噪强度与降噪和信号分量消除之间的关系的简图；

图43是描述屏幕内NR处理中的降噪强度与降噪和信号分量消除之间的关系的简图；

图44是描述屏幕内NR处理造成的信号恶化的简图；和

图45是描述屏幕内NR处理造成的信号恶化与相加NR处理之间的关系的简图。

具体实施方式

下面参照附图描述将按照本发明的图像处理装置和图像处理方法的实施例应用于拍摄静止图像的成像装置的情况。

按照本实施例的成像装置利用屏幕内NR处理单元对由成像器件(成像器)成像的静止图像进行屏幕内NR处理，接着是进行来在时间方向上相加来自屏幕内NR处理单元的多个静止图像的相加NR处理，位置匹配地层叠静止图像。因此，按照本实施例的成像装置获得经历在空间方向和时间方向上的降噪的静止图像，并且将这些图像记录在记录媒体上。

成像装置的硬件配置示例

图1示出了用作本发明的图像处理装置的实施例的成像装置的一个示例的框图。如图1所示，本实施例的成像装置具有与系统总线2连接的CPU(中央处理单元)1。此外，该成像装置被配置成使系统总线2与用户操作输入单元3、图像存储单元4、记录播放装置单元5等连接。注意，按照本说明书，CPU 1包括存储进行软件处理的各种程序的ROM(只读存储器)和用作工作区的RAM(随机存取存储器)等，但将其从图中略去了。

图1中的成像装置的图像信号处理系统通过用户操作输入单元3接收成像记录开始操作，并进行如后所述的静止图像的成像图像数据的记录处理。此外，图1中的成像装置通过用户操作输入单元3接收成像记录图像的播放开始操作，并且进行记录在记录播放装置单元5的记录媒体中的成像图像数据的播放处理。

如图1所示，在成像信号处理系统10上，来自被摄物经过具有成像镜头10L的照相机光学系统(在图中略去)的入射光照射在成像器件11上并成像。在本例中，成像器件11由CCD(电荷耦合器件)成像器组成。注意，成像器件11可以用CMOS(互补金属氧化物半导体)构成。

对于本例中的成像装置，一旦进行成像记录开始操作，经过成像镜头10L输入的图像被成像器件11转换成成像图像信号。从成像器件11输出模拟成像信号作为与来自定时信号生成单元12的定时信号同步的信号，该模拟成像信号是由红(R)、绿(G)和蓝(B)三原色组成的拜耳(Bayer)阵列的RAW信号(原始信号)。将输出的模拟成像信号供应给处理单元13，经历像缺陷校正和γ校正那样的预处理，并供应给屏幕内NR处理单元14。

按照本实施例的屏幕内NR处理单元14具有允许屏幕内NR处理的降噪强度的更改控制(change control)的配置，该屏幕内NR处理是对来自成像器件11的每个成像图像空间方向上的降噪处理。屏幕内NR处理单元14的配置示例将在下面描述。

CPU 1可以改变屏幕内NR处理单元14对每个成像图像的降噪强度的控制。对于本实施例，CPU 1更改地控制(change-control)在利用相加NR处理层叠的多个图像内屏幕内NR处理单元14空间方向上的降噪强度。然后，CPU 1以多个图像的图像组为增量重复多个图像内空间方向上的降噪强度的控制。

对于本实施例，利用相加NR处理层叠的多个图像的第一个具有用屏幕内NR处理单元14加强的降噪强度。该多个图像的第二个和随后各个具有消弱得甚于第一图像的屏幕内NR处理单元14的降噪强度。将经历帧内NR处理单元14的帧内NR处理的成像图像信号(RAW信号)供应给显影处理单元15。

显影处理单元15对输入其中作为RAW信号的模拟成像信号进行去马赛克处理、γ校正处理、白平衡调整处理和图像质量校正或图像质量调整处理。显影处理单元15将作为输入信号的红(R)、绿(G)和蓝(B)的RAW信号转换成由亮度信号分量Y和色差信号分量Cb/Cr组成的数字成像信号(YC数据；YUV图像)。

来自显影处理单元15的数字成像信号具有基于通过用户操作输入单元3输入的静止图像的拍摄指令、写入图像存储单元4中用于相加NR处理的多(N)个图像(N是2或大于2的自然数)。

也就是说，根据通过用户操作输入单元3按下快门按钮作为拍摄指令给出的静止图像拍摄指令，一次一个地将相当于来自显影处理单元15的数字成像信号的N个图像(N个帧)写入N个帧存储器41-4N的每一个中。也就是说，将要在相加NR处理单元上层叠的相当于来自显影处理单元15的数字成像信号的N个帧写入图像存储单元4的帧存储器41-4N的第一到第N(N是要层叠的静止图像的个数)的每一个的一个帧中。

按照本例，将从按下快门按钮的时间点算起的第一帧的图像数据写入第一帧存储器41中，作为如后所述的目标帧的图像数据。依次写入从按下快门按钮的时间点算起的第二帧图像和随后图像的数据，作为如后所述的参考帧的图像数据。在本例中，例如，N＝6。

注意，在如下描述中，为了简化描述，将从按下快门按钮的时间点算起的第一、第二等图像帧简称为第一、第二等图像帧。

一旦相当于多个帧的图像被写入图像存储单元4中，就从图像存储单元4中读出相当于多个帧的图像，并且利用相加NR处理单元20执行相加NR处理。

如下所述，按照本实施例，CPU 1从图像存储单元4中读出第一图像帧和第二图像帧，并利用相加NR处理单元20检测两者的运动量(运动向量)。在相加NR处理单元20上，在补偿运动量的同时，将检测到的运动向量用于层叠两个图像帧。

此外，按照本实施例，以预定尺寸的块为增量进行运动向量的检测，同时确定该块是静止图像的背景部分还是运动被摄物部分，为背景部分增加相加率，而减小运动被摄物部分的相加率。因此，在为背景静止图像部分获得所希望降噪效果的同时，可以防止因在运动被摄物部分上层叠多个帧而具有与所谓多次曝光相同的图像状态。

一旦第一和第二图像帧相加结束，从图像存储单元4中读出第三图像帧，并且将其与第一和第二图像帧相加结果图像层叠，同时补偿两者之间的运动。对于第四图像和随后的图像，与第三图像帧类似，将其与相加结果图像层叠，同时补偿两者之间的运动。

如后所述，将利用相加NR处理单元20的层叠结果的图像数据MIXv重新写入图像存储单元4中。重新写入图像存储单元4中作为层叠结果的图像帧用于层叠图像帧之间的运动检测。存储在图像存储单元4中作为最终层叠结果的图像帧是到记录媒体的记录图像帧。

也就是说，通过系统总线2将存储在图像存储单元4中作为层叠结果的NR图像的相加图像的图像数据MIXv供应给静止图像编解码单元16，让其经历编解码处理。将来自静止图像编解码单元16的输出数据记录在记录/播放装置单元5中例如像DVD(数字多功能盘)或硬盘那样的记录媒体中。按照本实施例，对于静止图像编解码单元16，利用JPEG(联合图像专家组)进行静止图像的图像压缩编码处理。

此外，在静止图像拍摄模式的时候，在按下/操作快门按钮之前，通过图像存储单元4将来自当前处理单元5的图像数据供应给分辨率转换单元17。一旦用分辨率转换单元17转换成预定分辨率，就将图像数据供应给NTSC(美国国家电视系统委员会)编码器18。利用NTSC编码器18，将图像数据转换成NTSC方法的标准视频信号，并供应给例如由LCD(液晶显示器)组成的监视显示器6。将在静止图像拍摄模式的时候的监视图像显示在监视显示器6的显示屏上。

按照通过用户操作输入单元6的播放开始操作读出记录在记录/播放装置单元5的记录媒体上的静止图像的图像数据，并将其供应给静止图像编解码单元16，让它经历播放解码。通过分辨率转换单元17将经历了播放解码的静止图像的图像数据供应给NTSC编码器18。将用NTSC编码器18转换成NTSC方法的标准彩色信号的图像数据供应给监视显示器6，并且将播放图像显示在其显示屏上。

注意，在图1中，尽管在图中略去了，但可以从视频输出端输出来自NTSC编码器18的输出视频信号。

注意，按照本实施例，利用静止图像编解码单元16压缩和记录图像数据，但也可以作出省略静止图像编解码单元16并且不压缩地记录图像数据的布置。

屏幕内NR处理单元14的配置和处理操作

第一示例

第一示例是在屏幕内NR处理单元14被配置成ε滤波器的情况下，并且是硬件配置由多个分立电路组成的情况。在这个第一示例中，屏幕内NR处理单元14由输入缓冲单元141、窗口内计算处理单元142和滤波处理单元143组成。

输入缓冲单元141具有与基于沿着设置在感兴趣像素周围的上述窗口区的垂直方向的尺寸(行数)的多行相当的行缓冲区。输入缓冲单元141临时存储来自预处理单元13的RAW图像数据当中的感兴趣像素和其周围的窗口区内的多个像素。

例如，在窗口区的尺寸是垂直×水平＝3×3＝9的情况下，输入缓冲单元具有三个行缓冲区，将由九个像素组成的窗口区中的中心位置上的像素设置成感兴趣像素，将其周围的八个像素设置成周围像素，并且存储它们。此外，例如，在窗口区的尺寸是垂直×水平＝5×5＝25的情况下，输入缓冲单元具有五个行缓冲区，将由25个像素组成的窗口区中的中心位置上的像素设置成感兴趣像素，将其周围的24个像素设置成周围像素，并且存储它们。

在依次更改感兴趣像素的同时，输入缓冲单元141将感兴趣像素和周围像素供应给窗口内计算处理单元142。

窗口内计算处理单元142为每个周围像素计算与感兴趣像素的差值，将计算出的差值与阈值θth相比较，按照其比较结果确定像素值，并依次供应给滤波处理单元143，作为窗口内的每个像素的像素值。在这种情况下，当计算出的差值等于或低于阈值θth时，窗口内计算处理单元142不作更改地输出像素值。此外，当计算出的差值大于阈值θth时，窗口内计算处理单元142将周围像素转换和输出成感兴趣像素的像素值。像素值没有更改地输出感兴趣像素。

滤波处理单元143由抽头数基于包括在窗口区中的像素数量的FIR(有限脉冲响应)数字滤波器组成。与滤波处理单元143的每个抽头有关的滤波系数具有例如按照每个抽头像素与感兴趣像素之间的距离设置的值。因此，利用滤波处理单元143，对于感兴趣像素，获得使用周围像素的加权平均值，并且输出获得的加权平均值，作为噪声降低感兴趣像素数据。

将从滤波处理单元143输出的如此经历降噪处理的感兴趣像素数据依次存储在图像存储单元4的帧存储器中。

现在，到此为止，考虑到成像器件11的光散粒噪声特征，用于屏幕内NR处理单元14的阈值θth一般是固定值。例如，由CCD或CMOS等组成的成像器件11的光散粒噪声特征像显示在图3中那样。也就是说，在像素值(亮度值)是X的情况下，光散粒噪声的噪声量(标准偏差σ)表达成

AXsqrt(X)，

其中，A是由模拟增益、数字增益、滤波特征等决定的常数。

本文的光散粒噪声是随机噪声，并且随机噪声还表明了像显示在图4中那样的高斯(Gauss)分布。

在将阈值设置成θth＝1σ的情况下，可以消除68.26％的噪声，在将阈值设置成θth＝2σ的情况下，可以消除95.44％的噪声，和在将阈值设置成θth＝3σ的情况下，可以消除99.74％的噪声。

考虑到上面情况，测量成像器件11的光散粒噪声特征，并事先获取成像器件11中的噪声的标准偏差σ。将阈值θth设置成基于要降低的噪声量的值。

在这种情况下，也如上所述，在增大阈值θth和提高降噪效果的情况下，必须考虑因信号分量的丢失而增加的边缘恶化。因此，如开头所述，难以在将可以抑制信号分量丢失的适当固定阈值θth设置成最小值的同时提高降噪效果。

鉴于这种情况，按照本实施例，窗口内计算处理单元142中的阈值θth不是固定值，而是被配置成可由CPU 1以一帧为增量更改。由于阈值θth可以一帧增量更改，所以屏幕内NR处理单元14上的降噪强度变成可以一帧为增量更改。

按照本实施例，如后所述，考虑到与按照快门按钮的按下摄入和作为标准经历相加NR处理的多个图像帧的第一个进行相加NR处理，将按如下设置/控制屏幕内NR处理的降噪强度。

也就是说，按照本实施例，经历相加NR处理的多个图像帧的第一个具有增大的降噪强度，并且将阈值θth设置成例如3σ。其它的第二图像帧和随后图像帧具有减弱的降噪强度，并且将阈值θth设置成例如1σ。

因此，在要相加的多个图像帧当中，对第一图像帧进行屏幕内NR处理的强降噪，如上所述，消除了99.74％的光散粒噪声。然而，也除去了小于阈值θth＝3σ的信号分量，从而可能丢失图像细节信息。

然而，要相加的多个图像帧的第二个及随后图像帧之后屏幕内NR处理的降噪强度减弱了。也就是说，由于阈值θth＝1σ，如上所述，只能消除68.26％的光散粒噪声，但不除去小于3σ或大于1σ的信号分量。

对于后一级的相加NR处理单元20，作为将未除去信号分量的第二图像帧和随后图像帧与第一图像帧相加的结果，可以恢复从第一图像帧中除去的图像的细节信息。因此，可以在保留信号分量的同时获得高降噪效果。

图5是描述按照本实施例的CPU 1的阈值θth的设置处理的流程图。图5中的流程图从用户按下快门按钮并开始从成像器件11中读出图像帧开始。

也就是说，首先，CPU 1为从按下快门按钮开始取入(take in)的图像帧的数量N进行初始设置。也就是说，N＝1(步骤S1)。接着，CPU 1从来自预处理单元13的图像帧中取入(RAW数据)(步骤S2)。区分取入的图像帧是否是一个帧，即，N＝1。(步骤S3)。

在在步骤S3中确定N＝1成立的情况下，CPU 1将供应给屏幕内NR处理单元14的窗口内计算处理单元142的阈值θth设置成3σ(在本例中)，并使处于强降噪强度的状态(步骤S4)。

此外，在在步骤S3中确定N＝1不成立的情况下，CPU 1将供应给屏幕内NR处理单元14的窗口内计算处理单元142的阈值θth设置成，在本例中，1σ，并使处于相对较弱降噪强度的状态(步骤S5)。

接在步骤S4或S5之后，CPU 1等待对一个帧中的所有像素的屏幕内NR处理完成(步骤S6)。此时，CPU 1管理一个帧内经历处理的感兴趣像素的位置和计数，从而利用管理数据，可以确定是否对一个帧中的所有像素都完成了屏幕内NR处理。

一旦确定对一个帧中的所有像素都完成了屏幕内NR处理，CPU 1就逐个更新从按下快门按钮的时间开始要处理的图像帧的数量N，从而N＝N+1(步骤S7)。接着，CPU 1确定更新之后的数量N是否超过6(步骤S8)，并且在确定未超过6的情况下，使流程返回到步骤S2，取入下一个图像帧。重复步骤S2和随后步骤中的处理。

此外，一旦在步骤S8中确定更新之后的数量N超过6，CPU 1就结束处理例程。

第二示例

上述第一示例是在窗口内计算处理单元142和滤波处理单元143被配置成硬件的情况下，但这种处理也可以作为软件处理由CPU 1执行。第二示例就是这种情况的示例，图6示出了在第二示例的情况下，CPU 1的处理操作的流程图的示例。

图6中的流程图中的步骤S11到步骤S15与图5中的流程图中的步骤S1到步骤S5完全相同。在这个第二示例中，一旦在步骤S14或S15中设置了屏幕内NR处理降噪强度，CPU 1就设置感兴趣像素(步骤S16)。接着，CPU 1使用设置的感兴趣像素和其周围像素进行窗口内计算处理中的处理(步骤S17)。

也就是说，求出每个周围像素与感兴趣像素之间的差值，并且当差值等于或小于在步骤S14或S15中设置的阈值θth时，将周围像素的像素值修改成感兴趣像素的像素值，并且输出它。此外，当与感兴趣像素的差值大于阈值θth时，不加更改地输出周围像素的像素值。不加更改地输出感兴趣像素的像素值。

接着，CPU 1在上述的滤波处理单元143中，对经历步骤S17中的窗口内计算处理的周围像素和感兴趣像素的像素值进行加权平均计算处理，并且生成和输出经历降噪的感兴趣像素的像素值(步骤S18)。将如此生成和输出的经历降噪处理的感兴趣像素数据依次存储在图像存储单元4的帧存储器中。

接着，CPU 1确定结束了处理的感兴趣像素是否是一个帧内的最后感兴趣像素(步骤S19)，如果不是最后感兴趣像素，则使流程返回到步骤S16，设置接着的感兴趣像素，并重复步骤S16和随后步骤中的处理。

此外，在在步骤S19中确定结束了处理的感兴趣像素是一个帧内的最后感兴趣像素的情况下，CPU 1逐个更新要处理的图像帧的从按下快门按钮开始的数量N，从而N＝N+1(步骤S20)。接着，CPU 1确定更新之后的数量N是否超过6(步骤S21)，并且在确定未超过6的情况下，使流程返回到步骤S12，并取入下一个图像帧。然后，重复步骤S12和随后步骤中的处理。

此外，在在步骤S21中确定更新之后的数量N超过6的情况下，CPU 1结束处理例程。

<屏幕内NR处理单元14的另一个示例>

上述第一和第二示例具有将ε滤波器用作屏幕内NR处理单元14的配置，然而，如上所述，也可以使用带有双边滤波器的配置。此外，也可以使用描述在日本待审专利申请公开第2008-177801号中使用多级ε滤波器的配置，多级ε滤波器使用多个ε滤波器。在这种情况下，也通过例如对感兴趣像素与周围像素之间的差值修改阈值θth，使更改控制屏幕内NR处理的降噪强度的能力与上述示例类似。

此外，除了配置成如上所述提出的条件平均值的情况之外，屏幕内NR处理单元14也可以配置成简单中值滤波器或低通滤波器。在这种情况下，针对每个帧修改中值滤波器或低通滤波器的抽头数量和滤波系数，从而可以更改控制屏幕内NR处理单元14上的降噪强度。

注意，减弱屏幕内NR处理单元14上的降噪强度的状态包括不对图像数据进行屏幕内NR的状态。

相加NR处理单元20的配置和处理操作

本实施例的成像装置在层叠由成像器件(成像器)11成像并存储在图像存储单元4中的多个静止图像的同时进行位置匹配，并且进行图像的时间方向上的降噪。

手持成像装置并拍摄的环境是有可能发生摇晃的环境。在用成像装置进行这种手持拍摄的时候，在连续拍摄静止图像的情况下，按照本实施例，例如，第一图像是目标帧，而第二图像和随后图像是参考帧。现在，参考帧是经历处理的帧，即，感兴趣的帧，另一方面，目标帧是参考帧的运动基于的基帧。在本例中，参考帧在与目标帧相加的同时经历运动补偿。

通过在整个参考帧上进行伴随着平移、旋转和放大/缩小的变形处理，在参考帧可以与目标帧的位置位置匹配的情况下，加入整个参考帧中的修改处理是全局运动。全局运动通常示出背景静止图像(下文称为背景)的运动和运动量。摇晃意味着相对于目标帧发生了伴随着平移、旋转和放大/缩小，使参考帧的图像相对于目标帧变形的数量的全局运动。

按照本实施例，为了简化描述，第一个拍摄的静止图像变成标准(目标帧)。在可选第n图像是目标帧，而可选第m(n≠m)图像是参考帧的情况下，可能要重新定义全局运动。此外，可以将全局运动定义成运动图像内时间上不同的两个帧图像之间。此外，可以只与图像的一个帧的一部分相关地应用全局运动处理，而不应用于成像图像的一个帧之外的所有有效帧。

一旦获得全局运动，就可以从获得的全局运动中计算屏幕上的每个坐标位置的目标帧与参考帧之间的依照附加在整个屏幕上的运动的运动向量。下文将依照附加在整个屏幕上的运动的运动向量称为全局运动向量。可以为设置在屏幕上的多个目标块的每一个获取全局运动向量。此外，可以为每个像素获取全局运动向量。

如果可以根据全局运动精确地获取全局运动向量，就可以有利地校正摇晃。可替代地，可以一边以摇晃量校正全局运动向量一边层叠帧图像。

按照本说明书，将通过使用运动向量检测和运动补偿(利用运动向量位置匹配两个帧的图像)，和降低噪声层叠多个图像的处理称为相加NR处理。注意，通过相加NR经历降噪的图像被称为相加NR图像。

按照本实施例，将一个屏幕划分成多个块(后述目标块)，并且通过块匹配方法检测按每个块增加的运动向量。在本说明书中，通过块匹配方法为每个块检测到的运动向量被称为局部运动向量。

此外，按照本实施例，如后所述，使用块匹配方法的相关值检测局部运动向量的可靠性的指示符。按照本实施例，从检测到的局部运动向量当中具有高可靠性的局部运动向量中计算全局运动，并且从计算出的全局运动中为每个块检测全局运动向量。

此外，按照本实施例，使用计算出的全局运动向量和局部运动向量确定每个块是背景图像部分还是运动被摄物部分。

块匹配的概况

图7A到12是描述块匹配方法的概况的简图。例如，如图7A所示，这里所述的块匹配方法采用预定尺寸的长方形区域中的块(目标块)102，每个块102由目标帧100中水平方向上的多个像素和垂直方式上的多个行组成。此外，在参考帧101中设置了尺寸与目标块相同的块(参考块)。

利用块匹配，可以从参考帧101当中搜索与目标块102的相关性高的参考块。作为这种搜索的结果，将在参考帧101内检测到的具有最高相关性的参考块103(见图7B)称为运动补偿块。此外，将目标块102与运动补偿块103(具有最高相关性的参考块)之间的位置漂移量称为运动向量(参见图7B中的附图标记104)。

与在目标块102与运动补偿块103之间的位置漂移(包括位置漂移量和位置漂移方向)相对应的运动向量104对应于参考帧101中的目标块的投影图像块109的位置与运动补偿块103的位置之间的位置漂移。现在，投影图像块109的位置和运动补偿块103的位置使用例如该块的中心位置。

假设目标块102的投影图像块109处在参考帧101中与目标帧100的每个目标块102的位置相同的位置中。

现在描述块匹配处理的概况。首先，如图8中的虚线所示，假设目标块102的投影图像块109处在参考帧101中与目标帧100的每个目标块102的位置相同的位置中。目标块102的投影图像块109的中心坐标变成运动检测原点105。假设在离运动检测原点105的某个范围内存在运动向量104，并且将具有作为其中心的运动检测原点105的预定范围设置成搜索范围106(参见图8中的点划线)。

接着，在参考屏幕上设置尺寸与目标块102相同的块10(参考块)。在设置的搜索范围106内，例如，在水平方向或垂直方向上以一个像素或多个像素为增量移动参考块108的位置。于是，在搜索范围106中，设置多个参考块108。

在搜索范围106内移动参考块108在本例中意味着运动检测原点105处在目标块的中心位置上，从而在搜索范围106内移动参考块108的中心位置。于是，构成参考块108的像素伸出搜索范围106很远。

在该搜索范围内，对已经设置的每个参考块108设置表达每个参考块108与目标块102之间的位置漂移量和位置漂移方向的向量(称为参考向量)。评估每个参考向量107所指的位置中的参考块108的图像内容与目标块102的图像内容的相关性。

当参考块108在水平方向(X方向)上的位置漂移量是Vx和在垂直方向(Y方向)上的位置漂移量是Vy时，如图9所示，参考向量107可以表达成向量(Vx，Vy)。当参考块108的位置坐标(例如，中心位置坐标)和目标块102的位置坐标(例如，中心位置坐标)相同时，将参考向量107表达成向量(0，0)。

例如，在参考块108处在从目标块102的位置开始在X方向上漂移了一个像素的位置中的情况下，参考向量107变成矢量(1，0)。此外，如图10所示，在参考块108处在从目标块102的位置开始在X方向上漂移了3个像素和在Y方向上漂移了2个像素的位置中的情况下，参考向量107变成矢量(3，2)。

也就是说，如图10中的示例所示，参考向量107意味着每个相应参考块108与目标块102之间的位置漂移(包括位置漂移量和位置漂移方向的向量)。注意，在图10中，目标块102和参考块108的位置处在每个块的中心位置上。

参考块108在搜索范围106中运动，然而，在这样的情况下，参考块108的中心位置在搜索范围106内运动。参考块108由垂直方向和水平方向上的多个像素组成。于是，如图10所示，经历块匹配处理的参考块108和目标块102在其中运动的最大范围变成比搜索范围106宽的匹配处理范围110。

检测被检测到与目标块102的图像内容之间的相关性最强的参考块108的位置，作为目标帧100的目标块102在参考帧101中的位置(运动之后的位置)。检测到的参考块变为上述运动补偿块103。检测所检测运动补偿块103的位置与目标块102的位置之间的位置漂移量，作为用作包括方向分量的量的运动向量104(参见图7B)。

表达目标块102与在搜索范围106中运动的参考块108之间的相关性的强度的相关值基本上使用与目标块102和参考块108相对应的像素值来计算。使用均方的方法或其它各种方法被推荐为其计算方法。

作为一般用在计算运动向量情况下的相关值，使用目标块102内每个像素的亮度值与相应在参考块106内每个像素的亮度值之差的绝对值关于块内的所有像素的总和(参见图11)。将该差值的绝对值的总和称为绝对差之和值。在下文中，将绝对差之和值写成SAD(绝对差之和)值。

在SAD值用作相关性计算结果的情况下，SAD越小，相关性就越强。于是，在在搜索范围106中运动的参考块108当中，具有最小SAD值的位置中的参考块108变成具有最小SAD值的最强参考块108具有最强相关性的最大强度相关性参考块。最大强度相关性参考块被检测成运动补偿块103，和所检测运动补偿块103相对于目标块102的位置的位置漂移量被检测成运动向量。

注意，一般说来，具有较大相关值的那一个被认为具有较强相关性。然而，在SAD值用作相关性计算结果的情况下，SAD值越小，相关值就越大，并且可以认为相关性是强的。

如上所述，对于块匹配，利用用作包括方向分量的量的参考向量107表达设置在搜索范围106中的多个参考块108的每一个相对于目标块102的位置的位置漂移量。每个参考块108的参考向量107变成基于参考块108在参考帧102上的位置的值。如上所述，对于块匹配，作为相关值的SAD值是最小值的参考块108的参考向量被检测成运动向量104。

因此，对于块匹配，首先获取设置在搜索范围106中的多个参考块108的每一个与目标块102之间的SAD值(为了简化描述，下文称为参考块108的SAD值)。

接着，如图12所示，与基于每个参考块108的位置的每个参考向量107相对应，将获得的SAD值存储在存储器中。通过从存储在存储器中的所有参考块108的SAD值当中检测具有最小SAD值的参考块108，检测运动向量104。注意，为了简化描述，将基于参考块108的位置的参考向量107称为参考块108的参考向量107。

存储与基于设置在搜索范围106中的多个参考块108的位置的每个参考向量107相对应、已经存储的每个参考块108的相关值(在本例中，SAD值)，并将此称为相关值表。在本例中，使用了为作为相关值的绝对差之和的SAD值，从而将相关值表称为绝对差之和表(下文称为SAD表)。

图12中的SAD表TBL示出了这种情况，并且将每个参考块108的每个相关值(在本例中，SAD值)称为相关值表元素。在图12中的示例中，附图标记111所指的SAD值是参考向量为向量(0，0)时的SAD值。在图12中的示例中，SAD值的最小值是参考向量为向量(3，2)时的“7”，从而，要获得的运动向量104变成(3，2)。

注意，在上面的描述中，目标块102和参考块108的位置指的是这些块的可选标识位置，例如，中心位置。参考向量17指示参考帧101中目标块102的投影图像块109的位置与参考块108的位置之间的漂移量(包括方向)。

与每个参考块108相对应的参考向量107示出了参考帧101上每个参考块108相对于与目标块102相对应的投影图像块109的位置的位置漂移。于是，一旦识别出参考块108的位置，参考向量的值就对应于其位置，并且也识别出参考向量的值。因此，一旦识别出SAD表110的存储器中参考块的相关值表元素的地址，就识别出相应参考向量。注意，对于两个或更多个目标块，可以并行地同时计算SAD值。

以块为增量的运动向量检测和可靠性评估

上面的块匹配描述是为一个目标块计算运动向量的描述。这个目标块占整个目标帧的比例通常很小，因此，一般难以根据一个目标块找出目标帧的运动(全局运动)。

在本实施例中，如图13所示，将目标帧100划分成像例如64个像素×64行那样，相对较小尺寸的多个目标块102。首先获取多个目标块每一个的运动向量(局部运动向量)104B。此时，按照本实施例，一起计算示出每个所获取局部运动向量的可靠性的指示符。

根据局部运动向量的可靠性指示符，从为目标帧获得的多个局部运动向量当中只提取具有高可靠性的局部运动向量。

接着，只从具有高可靠性的所提取局部运动向量中计算全局运动。使用计算出的全局运动，计算以每个目标块为增量的全局运动向量。

比较计算出的全局运动向量和每个目标块的局部运动向量，并且根据其比较结果，对每个目标块是背景部分还是运动被摄物部分进行评估确定。按照本实施例，比较计算出的全局运动向量和每个目标块的局部运动向量，并且确定两者之间的匹配度。作为其确定结果，计算示出每个目标块的局部运动向量与全局运动向量之间的匹配度的指示值。按照本说明书，将这个指示值称为命中率。

进行这种类型的评估确定要考虑到包括在图像中的噪声对利用块匹配计算出的相关值的影响。

当全局运动向量与目标块的局部运动向量匹配时，将目标块确定为背景图像部分。于是，匹配度的指示值表示目标块图像与背景图像部分匹配的程度(背景匹配度)。

如果目标块是背景图像部分，则这是静止图像部分，从而可以以100％的比率(1∶1的比率)将运动补偿图像与目标块图像相加，并且可以使相加NR效果达到最大。

如果背景匹配度较低，则认为目标块是运动被摄物部分，从而可以按照背景匹配度降低运动补偿图像与目标块图像的相加率，从而淡化像多次曝光那样的状态。

在全局运动向量和局部运动向量不匹配的情况下，如果不考虑图像噪声，则可以将目标块确定成都是运动被摄物部分。在这种情况下，与局部运动向量相对应的参考块的相关值变成最大(SAD值最小)，并且大于与全局运动向量相对应的参考块的相关值(SAD值小)。

然而，在像电影画面那样的图像中一般都包括噪声。当考虑到图像噪声时，存在即使在全局运动向量和局部运动向量不匹配的情况下，目标块也是背景部分的情况。与局部运动向量相对应的参考块的相关值和与全局运动向量相对应的参考块的相关值之间的差值可能小于图像噪声量。

因此，按照本实施例，将与全局运动向量相对应的参考块的相关值校正成反映图像中的噪声量的值，并且比较校正之后的相关值和与局部运动向量相对应的参考块的相关值。当校正之后的相关值较大时(SAD值小)，将目标块评估成背景图像部分。也就是说，按照本实施例，根据校正的相关值评估背景匹配度。此时，我们可以认为，全局运动向量已经与目标块的原始局部运动向量匹配。

按照本实施例，当作为背景匹配度评价的结果，将目标块确定为背景图像部分时，输出全局运动向量，作为目标块的输出运动向量。此外，当作为背景匹配度评价的结果，将目标块确定为与背景图像部分不匹配时，输出局部运动向量，作为目标块的输出运动向量。按照本实施例，后一级中的处理运动向量是基于本实施例的NR处理运动向量。

注意，当全局运动向量和局部运动向量完全匹配时，不用说，全局运动向量和局部运动向量的任一个都可以是输出运动向量。

按照本实施例，像上述那样获得的以目标块为增量的输出运动向量用于执行以块为增量进行参考帧与目标帧的位置匹配，并且生成运动补偿图像(运动补偿帧)。将目标帧和运动补偿帧层叠在一起，生成相加NR图像。

在按照本实施例的成像装置中，如图14所示，对于静止图像拍摄，进行多个静止图像的高速拍摄，并且第一静止图像拍摄图像是目标帧100。在第二图像和随后图像上，层叠作为参考帧101的预定个静止拍摄图像，并且将层叠在一起的那个记录成静止图像拍摄图像。

也就是说，一旦用户按下成像装置的快门按钮，就高速拍摄预定个静止图像。将在时间上于后面拍摄的多个静止图像(帧)与首先拍摄的静止图像(帧)层叠在一起，并记录下来。

注意，尽管在本实施例中未提及，但在拍摄运动图像的时候，如图15所示，从成像器件输出的当前帧的图像变成目标帧100的图像，而前一帧的过去图像变成参考帧101。也就是说，当拍摄运动图像时，为了进行当前帧中的图像的降噪，针对前一帧的图像的当前帧，将前一帧中的图像层叠在当前帧上。

运动向量的可靠性评估方法

按照本实施例，通过模拟实际状况，可以获得即使对于高噪声环境下的图像，也可以有效地评估运动向量的可靠性的可靠性指示符。

按照本实施例，计算目标块与参考块之间的相关值的第一极大值与第二极大值之间的差值或比率，作为运动向量的可靠性的指示值。按照本实施例，目标块与参考块之间的相关值被检测成SAD值，从而使相关值的第一极大值和第二极大值变成第一极小值和第二极小值。

图16是示意性地示出SAD表上一个目标块的每个SAD值的简图。对于图16，搜索范围用图像的水平方向(x方向)和垂直方向(y方向)二维表达，SAD值在高度方向(与x方向和y方向正交的方向)上获取，并且用三维曲面表示SAD表。

在正常块匹配处理的情况下，为了检测运动向量，只让SAD表中的SAD值的最小值经历检测。SAD值的最小值是SAD表中的SAD值的第一极小值，并且在图16中，处在用点501示出的位置中。在图16中，从运动原点(x＝0，y＝0)检测运动向量MV，作为用点501示出的SAD值的最小值位置与原点之间的向量。

没有噪声的理想状态是当获得搜索范围内的多个参考块与目标块之间的相关值时，用三维曲面表达的SAD表均匀地向下凸出，并且只存在一个SAD值的极小值的状态。然而，在实际拍摄状况下，由于像光量的变更或运动被摄物的运动，以及各种类型的噪声那样的影响，用三维曲面表达的SAD表几乎不会均匀地向下凸出，一般存在多个SAD值的极小值。

因此，按照本实施例，根据在等于SAD值的最小值的第一极小值上获取的参考块的位置检测运动向量MV，但检测除了SAD值的这个第一极小值之外的SAD值当中的极小值，即，SAD值的第二极小值，以生成可靠性指示符。在图16中，用点501示出的位置指示第一极小值，而用点502示出的位置指示第二极小值。

如果噪声等的影响小，则SAD值的第一极小值与SAD值的第二极小值之间的差值就大，并且使SAD值的第一极小值，即，从SAD值的最小值中检测到的运动向量MV的可靠性增大。另一方面，在存在大量噪声等的环境下，SAD值的第一极小值与SAD值的第二极小值之间的差值就小，并且出现不能区分哪一个正确对应于运动向量MV的状况，从而使可靠性降低。

因此，按照本实施例，SAD值的第一极小值与SAD值的第二极小值之间的差值变成所检测运动向量的可靠性的指示符。在图17中示出了用一维轴重新表达图16中的搜索范围的SAD表。按照本实施例，在图17中，第二极小值与第一极小值(SAD的最小值)之差的值变成运动向量MV的指示符Ft。

注意，在只获得SAD值的第一极小值而未获得第二极小值的情况下，按照本实施例，SAD值的理论最大值或SAD表内的SAD值的最大值变成运动向量MV的可靠性指示值。于是，这种块的运动向量具有高可靠性，但很少存在这样的块，从而只能获得SAD值的第一极小值，并且从可靠性的评估中排除未获得第二极小值的块的运动向量。

注意，取代SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的差值，可以将SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的比率用作运动向量MV的可靠性的指示值Ft。然而，在下面的描述中，运动向量的可靠性的指示值Ft使用SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的差值。

按照本实施例的运动向量的可靠性指示符，未使用像图像边缘那样的图像分量和像到此为止所使用的那样的特征，而是只使用目标帧与参考帧之间的相关值，从而高度抗噪声。也就是说，不受图像噪声影响地获得高精度的运动向量的可靠性指示符。

此外，按照本实施例，使用SAD值的第一极小值(SAD值的最小值)与SAD值的第二极小值之间的差值或比率也是本发明的运动向量的可靠性指示符高度抗噪声的原因。

也就是说，一般说来，随着噪声水平越来越高，即使正确的运动向量，其SAD值也增大。因此，在为了提取高可靠性的运动向量，对运动向量的可靠性指示值Ft设置阈值，并且与阈值进行比较处理的情况下，阈值本身也不得不随噪声水平而变。

相反，在按照本实施例的运动向量的可靠性指示值Ft的情况下，当噪声水平提高时，相关值的第一极大值(SAD值的第一极小值)和相关值的第二极大值(SAD值的第二极小值)这两个值都随噪声水平而增大。因此，就相关值的第一极大值(SAD值的第一极小值)与相关值的第二极大值之间的差值而言，噪声的影响被抵消了。

也就是说，可以进行不取决于噪声水平的固定值阈值处理。在将相关值的第一极大值(SAD值的第一极小值)与相关值的第二极大值(SAD值的第二极小值)之间的比率用作可靠性指示值Ft的情况下，可以认为情况相同。

现在，在经历块匹配的块中的图像对比度低的情况下，SAD值的第二极小值与SAD值的第一极小值之间的差值有收缩倾向。因此，当在相同帧内存在高对比度区和低对比度区时，如果向量可靠性的评估值Ix是利用相同阈值的评估，则有可能优先提取具有高对比度的区域。

从运动向量的可靠性的观点来看，这是正确的结果，然而，为了在一定程度上保存低对比度区，按照本实施例，将降低对比度的影响的项加入计算表达式中，以求出运动向量的可靠性指示符。也就是说，获取目标帧的图像的最大亮度的值与最小亮度的值之间的差值，并且在运动向量的可靠性的指示值中反映亮度之间的差值。注意，为了避免噪声造成的不良影响，将低通滤波器应用于目标帧的图像数据，接着进行最大亮度和最小亮度的提取。

基于上面的理解，按照本实施例的运动向量的可靠性指示值Ft的计算表达式是：

Ft＝(Btm2SAD-MinSAD)-(MaxTAR-MinTAR)x Co…(1)

其中Ft是运动向量的可靠性指示值；Btm2SAD是SAD值的第二极小值；MinSAD是SAD值的最小值(第一极小值)；MaxTAR是目标块的最大亮度值；MinTAR是目标块的最小亮度值；和Co是加权系数(≤1)。

注意，在也将相关值的第一极小值与相关值的第二极小值的比率用作运动向量的可靠性指示值的情况下，与上述(表达式1)完全类似，可以将降低对比度的影响的项加入可靠性指示值计算表达式中。现在，在计算运动向量的可靠性指示值Ft时，加入降低对比度影响的项不是强制性的，可以省略这个项。

全局运动和计算全局运动向量GMV

到此为止，还不存在如上所述的运动向量的可靠性指示值，因此，为目标帧获得的所有多个局部运动向量LMV具有利用相同加权计算出的全局运动。

相反，按照本实施例，如上所述，可以为目标帧的多个局部运动向量LMV的每一个获取可靠性指示值Ft。

因此，可以归一化获得的多个局部运动向量LMV的可靠性指示值Ft，并且可以对局部运动向量LMV的每一个设置像0或大于0，1或小于1那样的加权系数。然后，各种局部运动向量LMV可以具有使用基于每个加权系数的加权，而不是相同加权计算出的全局运动。也就是说，将开始使用所有获得的多个局部运动向量LMV计算全局运动的集中计算，然而，在这种情况下，每个局部运动向量LMV使用基于按照可靠性指示值Ft的加权系数的加权。

然而，为了简化计算全局运动的计算处理和减轻计算负担，在本实施例中将局部运动向量LMV的加权系数二进制化成0和1。

因此，按照本实施例，按如下对运动向量的可靠性指示值Ft设置阈值th：

如果Ft＞th，那么W＝1，

如果Ft≤th，那么W＝0…(表达式2)。

利用这种计算表达式，可以使用每个运动向量的可靠性指示值Ft计算每个局部运动向量LMV的加权系数W。

也就是说，按照本实施例，运动向量可靠性指示值Ft用于确定多个局部运动向量LMV每一个的可靠性，并且从多个局部运动向量LMV中只提取具有高可靠性的局部运动向量LMV。只使用具有高可靠性的所提取局部运动向量LMV计算全局运动。

按照本实施例，目标帧中的目标块的数量相对较大，从而，与本例一样，即使对于只提取具有高可靠性的局部运动向量LMV的方法，也可以以有利精度计算全局运动。

注意，后面将描述从多个局部运动向量LMV中计算全局运动的具体处理示例。

<相加NR处理单元20的硬件配置示例>

按照本实施例，如图1所示，相加NR处理单元20由运动向量计算单元21、运动补偿图像生成单元22、相加单元23和相加率计算单元24组成。

一旦将相当于图像的多个帧写入图像存储单元4中，运动向量计算单元21就从图像存储单元4中读入目标帧的图像数据和参考帧的图像数据。

运动向量计算单元21利用块匹配方法进行局部运动向量LMV的检测，同时进行计算局部运动向量LMV的可靠性，计算全局运动，和计算全局运动向量GMV的处理。并且，运动向量计算单元21进行目标块的背景匹配度估计，并且生成命中率β。

按照本实施例，从运动向量计算单元21输出目标帧的图像数据TGv、参考帧的图像数据REFv和命中率β。此外，从运动向量计算单元21输出由全局运动向量GMV或局部运动向量LMV组成的NR处理运动向量MVnr的信息。

将来自运动向量计算单元21的NR处理运动向量MVnr信息和参考帧的图像数据REFv供应给运动补偿图像生成单元22。在运动补偿图像生成单元22上，利用NR处理运动向量MVnr进行与全局运动相对应的处理，即，伴随着平移、旋转和放大/缩小的变形处理，并且生成运动补偿图像。

将来自运动向量计算单元21的目标帧的图像数据TGv供应给相加单元23，并且将来自运动补偿图像生成单元22的运动补偿图像的图像数据MCv供应给相加单元23。

此外，将来自运动向量计算单元21的目标帧的图像数据TGv和命中率β供应给相加率计算单元24。相加率计算单元24按照作为背景匹配度的命中率β，为目标帧的每个目标块计算相加率α。然后，相加率计算单元24将计算出来的每个目标块的相加率α供应给相加单元23。

在相加单元23上，通过与将图像数据TGv和MCv两者加在一起相对应的位置上的像素进行图像层叠处理，并且输出它们的相加图像的图像数据MIXv(这是NR图像)。这里的图像层叠以目标块为增量进行，并且以相加率α将与运动补偿图像的图像数据MCv相对应的块的图像数据加入目标块的图像数据中。

将来自相加单元23的相加图像的图像数据MIXv盖写在图像存储单元4的第一帧存储器41中的前一个目标帧的图像数据上，作为目标帧的图像数据。

也就是说，第一帧存储器41的目标帧的图像数据首先变成紧接在按下快门按钮之后的第一帧的图像数据。一旦将第二参考帧的运动补偿图像的图像数据MCv与该目标帧相加在一起，第一帧存储器41的目标帧的图像数据就被重写成相加结果的相加图像的图像数据MIXv。

相对于第三参考帧的图像数据，相加图像的图像数据MIXv变成目标帧的图像数据。与上面的描述类似，利用运动向量计算单元21计算NR处理运动向量MVnr，并且利用相加单元23进行图像的层叠处理。

将来自相加结果的相加图像的图像数据MIXv盖写在图像存储单元4的第一帧存储器41中的前一个目标帧的图像数据上，作为目标帧的图像数据。此后，对第四参考帧和随后参考帧进行类似的处理操作。

于是，一旦进行了直到第N参考帧的图像层叠处理，将已经层叠了要层叠的N个帧的NR图像写入图像存储单元4的第一帧存储器41中。

上述运动向量计算单元21和运动补偿图像生成单元22可以由硬件组成。此外，运动向量计算单元21和运动补偿图像生成单元22可以用DSP(数字信号处理器)构成。并且，运动向量计算单元21和运动补偿图像生成单元22可以是通过CPU 1的软件处理。

类似地，相加单元23可以由硬件组成，并且也可以由DSP组成。并且，相加单元23也可以是通过CPU 1的软件处理。此外，静止图像编解码单元16类似。

运动向量计算单元21的配置示例

运动向量计算单元21的硬件配置示例显示在图18中。在本例中，运动向量计算单元21具有保存目标块102的像素数据的目标块缓冲单元211和保存参考块108的像素数据的参考块缓冲单元212。

此外，运动向量计算单元21具有为与目标块102和参考块108相对应的像素计算SAD值的匹配处理单元213。此外，运动向量计算单元21具有从从匹配处理单元213输出的SAD值信息中计算局部运动向量的局部运动向量计算单元214。运动向量计算单元21进一步具有控制单元215、运动向量可靠性指示值计算单元216、全局运动计算单元217、全局运动矢量计算单元218、对比度计算单元219和背景/运动被摄物确定单元210。

对比度计算单元219由低通滤波器2191、最大亮度值检测单元2192和最小亮度值检测单元2193组成。

在本例中，尽管从图中略去了，但在图像存储单元4中存储从原始图像目标帧和参考帧的图像数据中生成的目标帧和参考帧的缩小面的图像数据和中间面的图像数据。

控制单元215控制运动向量计算单元21中的处理顺序，并且将控制信号供应给如图所示的每个单元。

目标块缓冲单元211接收来自控制单元215的控制，从图像存储单元4的目标帧的图像数据中读取所指示目标块的图像数据，并且将其供应给匹配处理单元213。

参考块缓冲单元212接收控制单元215的控制，并且从图像存储单元4的参考帧的图像数据中读入所指示匹配处理范围的图像数据。然后，参考块缓冲单元212将匹配处理范围的图像数据当中的参考块的图像数据依次供应给匹配处理单元213。

匹配处理单元213接收来自目标块缓冲单元211的目标块的图像数据和来自参考块缓冲单元212的参考块的图像数据。匹配处理单元213依照控制单元215的控制进行块匹配处理。匹配处理单元213将块匹配处理结果的参考向量(参考块的位置信息)和SAD值供应给局部运动向量计算单元214。

局部运动向量计算单元214具有SAD值的第一极小值保存单元2141和SAD值的第二极小值保存单元2142，并且进行从来自匹配处理单元213的SAD值中检测SAD值的第一极小值和SAD值的第二极小值的处理。

局部运动向量计算单元214更新SAD值的第一极小值保存单元2141的SAD值的第一极小值和其位置信息(参考向量)和SAD值的第二极小值保存单元2142的SAD值的第二极小值和其位置信息(参考向量)。局部运动向量计算单元214将更新处理进行到对匹配处理范围内的所有参考块都完成了块匹配处理为止。

当块匹配处理结束时，将此时的目标块的SAD值的第一极小值和其位置信息(参考向量)存储和保存在SAD值的第一极小值保存单元2141中。此外，将SAD值的第二极小值和其位置信息(参考向量)存储和保存在SAD值的第二极小值保存单元2141中。

当对匹配处理范围中的所有参考块都完成了块匹配处理时，局部运动向量计算单元214检测保存在SAD值的第一极小值保存单元2141中的参考向量的信息(位置信息)作为运动向量。后面将描述这个局部运动向量计算单元214的处理操作。

将利用局部运动向量计算单元214获得的局部运动向量LMV供应给全局运动向量计算单元217。将接收的局部运动向量LMV暂时保存在全局运动向量计算单元217上。

当结束了局部运动向量计算单元214的局部运动向量LMV的计算处理时，控制单元215启用运动向量可靠性指示值计算单元216并开始操作。将第一极小值保存单元2141的SAD值的最小值MinSAD和第二极小值保存单元2142的SAD值的第二极小值Btm2SAD供应给运动向量可靠性指示值计算单元216。

此外，此时经由低通滤波器2191将来自目标块缓冲单元211的目标块的图像数据供应给最大亮度值检测单元2192和最小亮度值检测单元2191。将利用最大亮度值检测单元2192和最小亮度值检测单元2191的每一个检测到的最大亮度值MaxTAR和最小亮度值MinTAR供应给运动向量可靠性指示值计算单元216。

在运动向量可靠性指示值计算单元216上，将供应给它的信息用于按照上述表达式1计算运动向量可靠性指示值Ft。运动向量可靠性指示值计算单元216将计算出的运动向量可靠性指示值Ft供应给全局运动计算单元217。在全局运动计算单元217上，将输入的运动向量可靠性指示值Ft与此时供应的局部运动向量LMV相关联并暂时保存。

当对目标帧的所有目标块都完成了上面的处理时，控制单元215向全局运动计算单元217供应控制指令信号，以便开始全局运动的计算处理。

按照本实施例，全局运动计算单元217接收控制指令信号，并且首先使用与多个保存局部运动向量LMV相对应的和保存的运动向量可靠性指示值Ft来确定可靠性。按照本实施例，利用上述(表达式2)计算每个局部运动向量LMV的加权系数W。全局运动计算单元217只提取加权系数W＝1的具有高可靠性的局部运动向量LMV。

全局运动计算单元217进行只使用具有高可靠性的所提取局部运动向量LMV计算全局运动GM的计算处理。在本例中，全局运动计算单元217使用仿射变换来估计和计算全局运动。然后，全局运动计算单元217将计算出的全局运动GM供应给全局运动向量计算单元218。

全局运动向量计算单元218将全局运动GM应用于目标块上的坐标位置(例如，中心位置)，从而计算目标块的全局运动向量GMV。

全局运动向量计算单元218将计算出的全局运动向量GMV供应给背景/运动被摄物确定单元210。还将来自局部运动向量计算单元214的局部运动向量LMV供应给背景/运动被摄物确定单元210。

在背景/运动被摄物确定单元210上，如上所述，比较每个目标块的局部运动向量LMV和全局运动向量GMV，并且确定目标块的两者的匹配度，即，背景匹配度。在这种情况下，在背景/运动被摄物确定单元210上，比较与局部运动向量LMV和全局运动向量GMV的每一个相对应的参考块的相关值(SAD值)，并且确定背景和运动被摄物。

现在，为了利用局部运动向量计算单元214计算全局运动而获得的相关值(SAD值)也可以用于背景/运动被摄物确定单元210的比较。

然而，在这种情况下，对于局部运动向量计算单元214，局部运动向量和SAD值不得不保存全局运动计算单元217和全局运动向量计算单元218的处理时间量。尤其，在这种情况下，不确定全局运动向量GMV对应于哪个参考向量，从而不得不保存每个目标块要保存在SAD值表中的所有SAD值。因此，保存局部运动向量LMV和SAD值的存储器的容量变得非常大。

考虑到这一点，按照本实施例，在局部运动向量计算单元214上重新计算供背景/运动被摄物确定单元210比较用的局部运动向量LMV和SAD值。因此，不必向局部运动向量计算单元214提供保存局部运动向量LMV和SAD值的存储器，并且可以避免存储器容量问题。

于是，背景/运动被摄物确定单元210使用重新计算出的局部运动向量LMV和SAD值获取表示目标块的背景匹配度的命中率β。在重新计算的同时也获取与全局运动向量GMV匹配的参考向量(参考块位置)的SAD值。然后，背景/运动被摄物确定单元210使用重新计算出的局部运动向量LMV和SAD值确定目标块是否是运动被摄物部分的背景部分。

如上所述，背景/运动被摄物确定单元210将与全局运动向量GMV相对应的参考块的SAD值校正成反映图像噪声量的值，以便与对应于局部运动向量LMV的参考块的SAD值相比较。

图像噪声一般基于图像的亮度值。因此，按照本实施例，将来自对比度计算单元219的最大亮度值检测单元2192的最大亮度值MaxTAR和来自最小亮度值检测单元2193的最小亮度值MinTAR供应给背景/运动被摄物确定单元210。

背景/运动被摄物确定单元210检测图像的亮度值作为最大亮度值MaxTAR与最小亮度值MinTAR之间的差值，并且按照检测到的亮度值，确定与全局运动向量GMV相对应的参考块的SAD值的校正值。

背景/运动被摄物确定单元210将校正之后的相关值与对应于局部运动向量的参考块的相关值相比较，并且确定与全局运动向量GMV相对应的参考块的SAD值的校正值是否小于与局部运动向量相对应的参考块的相关值(相关值很大)。当小于时，将目标块评估和确定为背景部分。

在命中率β表示目标块是背景部分的情况下，背景/运动被摄物确定单元210输出全局运动向量GMV作为NR处理运动向量MVnr。否则，背景/运动被摄物确定单元210输出目标块的局部运动向量LMV作为NR处理运动向量MVnr。

如上所述，将来自背景/运动被摄物确定单元210的NR处理运动向量MVnr供应给运动补偿图像生成单元22。

在运动补偿图像生成单元22上，对通过运动向量计算单元21发送的参考帧的图像数据REFv进行与NR处理运动向量MVnr相对应的变形处理，并且生成运动补偿图像的数据MCv。然后，将生成的运动补偿图像的MCv供应给相加单元23。

此外，背景/运动被摄物确定单元210将获得的命中率β供应给相加率计算单元24。相加率计算单元24根据命中率β，计算运动补偿图像与目标图像的相加率α。

在这种情况下，相加率α可以以块为增量或以像素为增量计算。即使在以像素为增量计算的情况下，命中率β也是以块为增量，因此，不用说，与计算相加率α的命中率β有关的是块增量。

在以块为增量计算相加率α的情况下，也可以计算只对应于命中率β的相加率α。当前，也可以利用除了命中率β之外的其它相加率计算要素来计算相加率α。按照本实施例，利用像目标图像和运动补偿图像的像素增量之间的差值、目标图像的噪声等那样的要素不仅可以计算命中率β，而且可以计算相加率α。

将利用相加率计算单元24获得的相加率α供应给相加单元23。相加单元23以相加率α将运动补偿图像的图像数据MCv与发送给它的目标图像的图像数据TGv相加。

按照本实施例和相加单元23，以基于目标块的背景匹配度(命中率β)的相加率将目标图像和运动补偿图像层叠在一起。也就是说，在静止图像部分上，运动补偿图像与目标图像的相加率变高，而在运动被摄物部分上，运动补偿图像与目标图像的相加率变低。

按照本实施例，可以以适合每一个的相加率将背景部分和运动被摄物部分的图像层叠在一起。于是，从图像层叠中获得的NR图像变成有利图像。

此外，从具有高可靠性的局部运动向量LMV中生成按照本实施例的全局运动和全局运动向量GMV，从而使运动向量具有高精度，并且还可以获得对那个点有利的相加NR图像。

生成NR图像的总处理流程

图19是示出为取入图像存储单元4中的成像图像生成NR图像的处理流程的流程图。首先，在运动向量计算单元21上利用局部运动向量计算单元214进行通过块匹配的局部运动向量LMV检测(步骤S31)。接着，运动向量可靠性指示值计算单元216使用利用局部运动向量计算单元214计算出的SAD值的第一极小值MinSAD和第二极小值Btm2SAD，为检测到的局部运动向量LMV计算可靠性指示值Ft(步骤S32)。

接着，全局运动计算单元217根据计算出的可靠性指示值Ft，提取具有高可靠性的局部运动向量LMV。然后，全局运动计算单元217只使用具有高可靠性的所检测局部运动向量LMV计算全局运动GM(步骤S33)。

接着，使用在步骤S33中计算出的全局运动GM计算每个目标块的全局运动向量GMV(步骤S34)。

此外，在局部运动向量计算单元214上进行重新块匹配处理，并且重新检测局部运动向量LMV。保存已经检测到局部运动向量LMV的参考块位置(参考向量)的SAD值(MinSAD)，并且也保存与在步骤S34中计算出的全局运动向量GMV相对应的参考块的SAD值。注意，此时，不必计算局部运动向量LMV的可靠性指示值Ft。

接着，背景/运动被摄物确定单元210将在步骤S35中计算出的局部运动向量LMV与在步骤S34中获得的全局运动向量GMV相比较，评估每个目标块的背景匹配度，并且获取命中率β。并且，定义每个目标块的NR处理运动向量MVnr，并且将其输出到运动补偿图像生成单元22(步骤S36)。

在局部运动向量LMV和全局运动向量GMV在步骤S36中的比较中，将与每个局部运动向量LMV和全局运动向量GMV中的每一个相对应的参考块的各SAD值进行比较。并且，如上所述，将与图像噪声相对应的校正加入与全局运动向量GMV相对应的参考块的SAD值中。

接着，在运动补偿图像生成单元22上使用在步骤S36中定义的NR处理运动向量MVnr的生成每个参考块的运动补偿图像，并且将其输出到相加单元23(步骤S37)。

接着，相加率计算单元24使用在步骤S36中获得的和如上所述的命中率β，并且在本例中，为每个像素计算相加率α，并且将其输出到相加单元23(步骤S38)。

接着，以在步骤S38中计算出的相加率α针对每个像素将在步骤S37中生成的运动补偿图像层叠在目标图像上，并且生成NR图像(步骤S39)。到此结束NR图像处理。

注意，图19示出了对某一个目标帧的处理操作。在层叠三个或更多个图像的情况下，生成的相加NR图像是目标帧，而要新层叠的图像是参考帧，并且重复图19中的处理。

接着，进一步描述运动向量计算单元21的每个基本单元的详细处理操作。

全局运动计算单元217和全局运动向量计算单元218的处理操作

作为从许多未标识向量中得出最有利全局运动的方法，如上所述，本实施例使用使用仿射变换的方法。这种方法是使用最小二乘法测量全局运动参数的收敛的方法，其逐渐除去具有高可靠性的块当中，像运动被摄物等那样难以应用全局运动的块的局部运动向量。

图20示出了作为(表达式3)的仿射变换的一般方程。在这个(表达式3)中，v表示目标块的运动向量的水平分量，w表示目标块的运动向量的垂直分量，以及a，b，c，d，e和f表示仿射参数。注意，对于仿射变换，仿射参数a，b，c，d，e和f是固定值。x和y表示目标块的中心坐标的水平分量和垂直分量。

通过全局运动收敛计算过程获得的仿射参数和基于全局运动的运动向量(将这个向量称为理想运动向量)是从每个目标块的中心坐标中获得的。这个理想向量与测量到的(通过块匹配检测到的)运动向量之间的误差的总和ε被表达成像图21中的(表达式4)所示那样。

获取全局运动的建议是估计使误差的总和ε最小的仿射参数a到f，并且这可以通过例如最小二乘法来求解。仿射参数a到f的导出过程及其结果显示在图22、23和24的(表达式5)、(表达式6)和(表达式7)中。

因此，仿射变换的参数相对较容易计算，但其优点是巨大的。仿射变换可以对应于图像的平移、旋转和放大/缩小，以及某变形量，从而可以掩盖大多数手颤，即，照相机工作的细微校正。

注意，描述仿射变换的现有技术的文献包括日本待审专利申请公开第2005-321902号。

下面按照图25中的流程图描述本例的全局运动计算单元217上的全局运动GM的计算处理的示例。

首先，全局运动计算单元217将保存的多个局部运动向量LMV的每一个的运动向量可靠性指示值Ft与预定阈值相比较。从它们的比较结果中，只选择运动向量可靠性指示值Ft具有比预定阈值高的可靠性的局部运动向量LMV的目标块(为了简化描述，下文写成“块”)(步骤S41)。这个处理可应用于如使用(表达式2)所述，将1和0的二进制体系用作加权系数W的情况。

接着，全局运动计算单元217只使用多个所选块的局部运动向量LMV，并且使用仿射变换得出(估计)全局运动GM(步骤S42)。也就是说，为全局运动GM计算仿射系数a到f。

接着，根据得出的全局运动GM，计算用于计算的每个所选块的理论局部运动向量LMVs(步骤S43)。

接着，对于所选多个块的每一个，计算利用块匹配处理获得的局部运动向量LMV与在步骤S43中获得的理论局部运动向量LMVs之间的差值En(步骤S44)。

如果强调计算的精度，则可以像利用3-平方定理的正确距离计算那样，进行利用块匹配获得的运动向量与理论运动向量之间的差计算。然而，如果强调轻质甚于计算的精度，则可以获取水平和垂直两者的距离，并且可以将其和值用作近似距离。

接着，使用为多个所选块的每一个获得的差值En，计算所有差值的平均值Eave和最大值Emax(步骤S45)。确定平均值Eave是否小于对其预定的阈值θa，和最大值Emax是否小于对其预定的阈值θb(步骤S46)。

在作为步骤S46中的确定结果，确定这些条件未得到满足的情况下，从得出全局运动的多个块中除去在步骤S44中获得的块的差值En当中，差值En＝Emax的块。可替代地，检测差值En＞θb的块，并且从得出全局运动GM的多个块中除去所有检测到块(步骤S47)。

接着，作为步骤S47中的块消除的结果，确定剩余块的数量是否小于预定数量的阈值θc(步骤S48)。在在步骤S48中确定剩余块的数量未小于阈值θc的情况下，使流程返回到步骤S42，并且对用作所选块的剩余块重复步骤S42和随后的处理。

在剩余块的数量小于阈值θc的情况下，未获得适当全局运动GM，从而所涉及的参考帧的图像不可用于这个实施例的图像层叠。因此，在在步骤S48中确定剩余块的数量小于阈值θc的情况下，跳过参考帧之后的处理，以便一点也不进行随后的处理(步骤49)。

在步骤S46中，在差值En的平均值Eave小于阈值θa和差值En的最大值Emax小于阈值θb的情况下，可以认为计算已经收敛，并且在那个时间点上按原样建立全局运动GM(步骤S50)。然后结束处理例程。

注意，在步骤S47中，在获取全局运动向量GMV的情况下，可以通过收敛速度和精度的折衷是否确定只除去差值En是最大误差Emax的块，或者是否除去差值En等于或大于阈值θb的所有块。如果优先考虑精度，则使用前一种方法，并且可以每次一个地除去错误块，而如果优先考虑收敛速度，则可以选择后者。

全局运动向量计算单元218根据如上所述计算出的全局运动GM，为每个目标块计算全局运动向量GMV。也就是说，利用图20中的(表达式3)将所计算全局运动GM的扩展仿射变换参数a到l用于获取每个目标块的运动向量(可应用于理论局部运动向量LMVs)。在图20中的(表达式3)中，将每个目标块的中心位置坐标用于x和y。获得的运动向量变成每个目标块的全局运动向量GMV。

将如上所述获得的每个目标块的全局运动向量GMV供应给运动补偿图像生成单元22。在运动补偿图像生成单元22上，每个目标块的全局运动向量GMV用于生成每个目标块的运动补偿图像，并且将生成的每个块的运动补偿图像供应给相加单元23。

背景/运动被摄物确定单元210的配置示例和处理操作

在再次利用局部运动向量计算单元214进行块匹配的情况下，在背景/运动被摄物确定单元210上获取与在全局运动向量计算单元218上计算出的全局运动向量GMV相对应的参考块的SAD值。如上所述，利用基于图像噪声的校正值校正获得的SAD值。按照本实施例，将提供两种方法作为其校正值的校正方法。

第一示例：通过加入偏移的SAD值校正

图26是描述第一示例中的想法的简图。图26是示出将水平轴取作搜索范围和将垂直轴取作SAD值时，一个目标块的SAD表内容(SAD值)的简图。垂直轴的各种值是参考块位置(参考向量)，并且实线示出了SAD表的内容。这个与显示在图17中的那个完全相同。

在图26中，与图17类似，通过块匹配检测用作最小SAD值的参考块(即，参考向量)的位置501，作为局部运动向量LMV。另一方面，用作全局运动向量GMV的参考块的位置是图26中的位置503。

此时，如果局部运动向量LMV和SAD值和全局运动向量GMV的SAD值处在基于图像中的噪声量的差值范围内，则全局运动向量GMV可能是呈最小SAD值的参考向量。

也就是说，全局运动向量GMV(参考块的位置)的SAD值已经被指定成最小，但由于噪声，可能导致检测的是不同参考块(这是局部运动向量LMV)的位置。

因此，对于本例，将基于图像中的噪声量的偏移值OFS加入全局运动向量GMV的SAD值中加以校正。在本例的情况下，从全局运动向量GMV上的SAD值中(让我们假设为SAD_GMV)减去偏移值OFS加以校正。也就是说，如果校正之后的SAD值是MinSAD_G，那么，

MinSAD_G＝SAD_GMV-OFS  …(表达式8)

现在，如果设置了太大的偏移值OFS，则甚至运动被摄物运动向量也可以被确定成最小SAD值。因此，按照本实施例，对于局部运动向量的可靠性指示值Ft，将偏移值OFS设置成小于阈值th的值(参见表达式7)。

在背景/运动被摄物确定单元210上，比较校正后SAD值MinSAD_G和局部运动向量LMV的SAD值(MinSAD)。作为它们的比较结果，如果MinSAD_G＜MinSAD成立，那么，目标块的SAD值的最小值被评估成与全局运动向量GMV相对应的参考块的SAD值的校正值。图26示出了MinSAD_G＜MinSAD成立的情况。

也就是说，如图26所示，在MinSAD_G＜MinSAD成立的情况下，目标块的真正局部运动向量被确定成与全局运动向量GMV匹配。在这种情况下，关于目标块的背景匹配度被评估成高的，并且目标块的命中率β变成大值。目标块的NR处理运动向量是全局运动向量GMV。

现在，按照本实施例，命中率β是在0≤β≤1范围内的值。在局部运动向量LMV和全局运动向量GMV完全匹配的情况下，可以将命中率β设置成β＝1。然而，对于本例，不进行局部运动向量LMV和全局运动向量GMV是否完全匹配的评估，而是通过比较校正后SAD值MinSAD_G和局部运动向量LMV的SAD值(MinSAD)作出评估。于是，局部运动向量LMV和全局运动向量GMV完全匹配的情况包括在评估结果中，但也包括不匹配的情况。

如上所述，按照本实施例，如果MinSAD_G＜MinSAD成立，则将命中率β设置成例如β＝0.75。这里未设置β＝1是因为，如上所述，比较结果包括局部运动向量LMV和全局运动向量GMV不匹配的情况。

图27示出了在第一示例的情况下背景/运动被摄物确定单元210及其外围的配置示例(功能框图)。在图27中的示例中，背景/运动被摄物确定单元210由SAD_GMV检测单元2101、偏移减去单元2102、偏移生成单元2103和比较确定单元2104组成。

在本例的情况下，将来自匹配处理单元213的在重新块匹配的时候计算出的SAD值和每个参考块的位置信息(参考向量信息)供应给局部运动向量计算单元214。局部运动向量计算单元214在重新块匹配的时候检测最小SAD值MinSAD，并且计算局部运动向量LMV(参考块的位置信息(参考向量信息))。作为重新块匹配处理的结果，局部运动向量计算单元214将获得的局部运动向量LMV和最小SAD值MinSAD供应给比较确定单元2104。

将来自匹配处理单元213的在重新块匹配的时候计算出的SAD值和每个参考块的位置信息(参考向量信息)供应给SAD_GMV检测单元2101。SAD_GMV检测单元2101检测与全局运动向量GMV匹配的参考向量的参考块的SAD值SAD_GMV，并且将检测到的SAD值SAD_GMV供应给偏移减去单元2102。

在偏移减去单元2102上，从来自SAD_GMV检测单元2101的SAD值SAD_GMV中减去来自偏移生成单元2103的偏移值OFS，生成校正后SAD值MinSAD_G。然后，偏移减去单元2102将生成的校正后SAD值MinSAD_G供应给比较确定单元2104。

偏移生成单元2103按照图像噪声生成偏移值OFS，并且将其供应给偏移减去单元2102。考虑到图像噪声基于图像的亮度值，在本例中，将各种类型的亮度值的偏移值OFS之间的对应表的信息存储在偏移生成单元2103中。

偏移生成单元2103计算作为来自最大亮度值检测单元2192的最大亮度值MaxTAR与来自最小亮度值检测单元2193的最小亮度值MinTAR之间的差值的目标块的亮度值。偏移生成单元2103将计算出的目标块的亮度值作为变元搜索对应表，并且获取与该变元的亮度值相对应的偏移值OFS。

比较确定单元2104将与局部运动向量LMV相对应的最小SAD值MinSAD与来自偏移减去单元2102的校正后SAD值MinSAD_G相比较，并且按照它们的比较结果生成和输出命中率β。

此外，将来自局部运动向量计算单元214的重新计算出的局部运动向量LMV和来自全局运动向量计算单元218的全局运动向量GMV供应给比较确定单元2104。

在MinSAD_G＜MinSAD成立的情况下，背景匹配度高，从而，比较确定单元2104将全局运动向量GMV输出到运动补偿图像生成单元22，作为NR处理向量MVnr。此外，在MinSAD_G＜MinSAD不成立的情况下，背景匹配度低，从而，比较确定单元2104将局部运动向量LMV输出到运动补偿图像生成单元22，作为NR处理向量MVnr。

注意，全局运动向量GMV的SAD值检测单元2101和偏移减去单元2102可以配置成包括在局部运动向量计算单元214中。在这种情况下，局部运动向量计算单元214在检测与全局运动向量GMV相对应的参考块的SAD值SAD_GMV的同时进行重新块匹配，并且进行偏移值OFS的减去计算。

背景/运动被摄物确定处理流程

下面参照图28和29中的流程图进一步描述局部运动向量计算单元214的重新块匹配处理和背景/运动被摄物确定单元210的背景匹配评估处理的流程。图28和29中的处理由各种单元根据控制单元155的控制来执行。注意，图28和29中的示例是SAD_GMV检测单元2101和偏移减去单元2102被配置成包括在局部运动向量计算单元214中的情况。

首先，在控制单元215的控制下，开始重新块匹配，并且在目标块缓冲单元211中设置第一目标块(步骤S61)。接着，在控制单元215的控制下，从经历参考块缓冲单元212缓冲的在匹配处理范围内的参考帧的图像数据当中设置块匹配处理的参考块(步骤S62)。

匹配处理单元213对设置的目标块和设置的参考块进行块匹配处理，并且计算SAD值。匹配处理单元213将获得的SAD值与参考块的位置信息(参考向量)一起供应给局部运动向量计算单元214(步骤S63)。

局部运动向量计算单元214确定参考向量是否与全局运动向量GMV匹配(步骤S64)。这可应用于SAD_GMV检测单元2101的处理操作。

在在步骤S64中确定参考向量与全局运动向量GMV不匹配的情况下，局部运动向量计算单元214进行最小SAD值MinSAD和其参考块位置(参考向量)的更新处理(步骤S65)。也就是说，比较一起保持到那时的最小SAD值MinSAD和新计算出的SAD值，并且将较小的SAD值保存为最小SAD值MinSAD，同时将参考块位置(参考向量)更新成呈现最小SAD值的那个位置。

接着，控制单元215确定是否完成了搜索范围内所有参考块与目标块之间的块匹配(步骤S68)。

在在步骤S68中确定未完成所有参考块的处理的情况下，控制单元设置下一个参考块(步骤69)。使流程返回到步骤S62，并且重复步骤S62和随后的处理。

此外，在在步骤S64中确定参考向量与全局运动向量GMV匹配的情况下，从其SAD值SAD_GMV中减去偏移值OFS(步骤S66)。保存其减法结果作为校正后SAD值MinSAD_G及其参考块位置(参考向量＝全局运动向量GMV)(步骤S67)。

使流程前进到步骤S68，并且确定是否完成了搜索范围内所有参考块的处理。

在在步骤S68中确定完成了搜索范围内所有参考块的处理的情况下，局部运动向量计算单元214检测局部运动向量LMV和最小SAD值MinSAD，并且将它们供应给比较确定单元2104。此外，局部运动向量计算单元214还将校正后SAD值MinSAD_G供应给比较确定单元2104(图29中的步骤S71)。

背景/运动被摄物确定单元210的比较确定单元2104确定最小SAD值MinSAD是否小于预定阈值TH1(步骤S72)。这个步骤S72中的处理被配备成管理如下那样的问题。

也就是说，在可应用于目标图像上的运动被摄物部分的块因运动从参考图像中消失或拍摄到大的变形的情况下，出现目标块不可与搜索范围内的任何参考块匹配的状况。

在这样的情况下，SAD表的SAD值是大值，变成相似值，而其它值变成更接近于最小SAD值MinSAD。在这样的状态下，从参考向量与全局运动向量GMV匹配的SAD值中减去了偏移值OFS的校正后SAD值MinSAD_G一致地小于最小SAD值MinSAD，并且可能错误地检测成背景部分。

因此，为了避免这种问题，按照本实施例，校正参考向量与全局运动向量GMV匹配的SAD值，并且在最小SAD值MinSAD大于阈值TH1的情况下，不进行确定背景匹配度的处理。

于是，在在步骤S72中确定最小SAD值MinSAD大于阈值TH1的情况下，比较确定单元2104不进行使用全局运动向量GMV的背景匹配度确定，并且将命中率设置成β＝0.25(步骤S73)。不设置成β＝0是考虑到即使在具有大于阈值TH1的SAD值的块当中，也可能存在与背景匹配的块。

比较确定单元2104将重新计算出的局部运动向量LMV输出到运动补偿图像生成单元22，作为目标块的NR处理运动向量LMV(步骤S74)。

接着，控制单元215确定是否完成了目标帧内所有目标块的处理(步骤S80)，如果未完成，则设置下一个目标块(步骤S81)。然后，使流程返回到步骤S62，并且在控制单元215的控制下重复步骤S62和随后步骤中的处理。

此外，在在步骤S72中确定最小SAD值MinSAD小于阈值TH1的情况下，比较确定单元2104将最小SAD值MinSAD与校正后SAD值MinSAD_G相比较(步骤S75)。比较确定单元2104确定MinSAD＞MinSAD_G是否成立(步骤S76)，并且在作出相反确定的情况下，认为目标块不与背景匹配，并且使命中率β变成β＝0(步骤S77)。

接在步骤S77之后，使流程前进到步骤S74，并且比较确定单元2104将重新计算出的局部运动向量LMV输出到运动补偿图像生成单元22，作为目标块的NR处理运动向量。然后，使流程前进到步骤S80，并且重复步骤S80和随后步骤中的处理。

此外，在在步骤S76中确定MinSAD＞MinSAD_G成立的情况下，由于目标块与背景的匹配度高，将命中率β设置成β＝0.75(步骤S78)。比较确定单元2104将全局运动向量GMV作为目标块的NR处理运动向量输出到运动补偿图像生成单元22(步骤S79)。

接在步骤S79之后，使流程前进到步骤S80，并且控制单元215确定是否完成了目标帧内所有目标块的处理。在步骤S80中，在确定未完成目标帧内所有目标块的处理的情况下，控制单元215设置下一个目标块(步骤S81)，随后返回到步骤S62。

此外，在步骤S80中，在确定完成了目标帧内所有目标块的处理的情况下，控制单元215结束背景/运动被摄物确定处理操作。

注意，按照上述实施例，从全局运动向量GMV的SAD值SAD_GMV中减去偏移值OFS，获得校正的SAD值MinSAD_G，并且将其与最小SAD值MinSAD相比较。然而，比较将偏移值OFS加入局部运动向量LMV的最小SAD值MinSAD中的值(MinSAD+OFS)和全局运动向量GMV的SAD值SAD_GMV导致相同值。

第二示例：通过增益乘法的SAD值校正

在上述第一示例中，通过加入偏移值OFS为与全局运动向量GMV匹配的参考向量位置的参考块校正SAD值SAD_GMV。

类似地，SAD值SAD_GMV也可以通过乘以考虑了图像噪声量的增益g来校正，而不是加入信息量。在本例的情况下，沿着越来越小的方向将SAD值SAD_GMV乘以增益量，从而使增益g变成g＜1。注意，当校正值随校正强度越来越大时，不用说，g＞1。

与全局运动向量GMV的SAD值SAD_GMV的校正后SAD值MinSAD_G变成表达式：

MinSAD_G＝SAD_GMV×g  …(表达式9)

相加率计算单元24的配置示例

按照本实施例，相加率计算单元24以像素为增量获取相加率α(0≤α≤1)。如上所述，基本上，相加率α基于目标图像与运动补偿图像之间以像素为增量的差异和命中率β。因此，将命中率β以及目标图像数据TGv和运动补偿图像数据MCv供应给相加率计算单元24。

如果目标图像与运动补偿图像之间以像素为增量的差异大，则有可能是运动部分，从而相加率α应该低，然而如果没有差异或以像素为增量的差异小，则相加率α可能较高。然而，在不知道目标块是背景静止图像部分还是运动被摄物部分的情况下，如前所述，必须将相加率α抑制成相对较低，以便使运动部分中的二次曝光不明显。

然而，按照本实施例，与背景静止图像部分的匹配度通过命中率β获得，从而命中率β越大和背景匹配度就越高，相加率α应该越高。

此外，按照本实施例，图像噪声进一步基于图像的亮度，从而，在相加率计算单元24上，与目标图像与运动补偿图像之间以像素为增量的差异相关地考虑基于图像亮度的噪声。也就是说，如果目标图像与运动补偿图像之间以像素为增量的差异在噪声范围内，则两者之间的实际差异被确定为较小。此外，当以像素为增量的差异大于噪声范围时，两者之间的差异被确定为实际上较大。

为了考虑这种噪声，将最大亮度值MaxTAR和最小亮度值MinTAR从运动向量计算单元21供应到相加率计算单元24。在相加率计算单元24上，从最大亮度值MaxTAR和最小亮度值MinTAR中计算每个目标块的亮度，即，亮度Lx。

此外，为了能够从相加率计算单元24的外部控制相加度，将相加调整增益GA供应给本实施例的相加率计算单元24。相加调整增益GA的值可以构造成由用户从事先准备的增益值当中选择。可替代地，相加调整增益GA的值可以依照成像图像的ISO灵敏度来配置。在后一种的情况下，在成像的时候按照曝光值和快门速度等确定图像的亮度，并且可以定义相加调整增益GA的值。也就是说，在图像亮的情况下，噪声明显，从而降低增益，以便使相加率变小，相反，在图像暗的情况下，将增益设置得较大，以便使相加率较大。

按照本实施例的相加率计算单元24的硬件配置示例显示在图30和31中。在图30和31中的示例中，让目标图像数据TGv和运动补偿图像数据MCv经历分别针对亮度分量和色差分量每一种的处理。

图30示出了相加率计算单元24上亮度分量的处理部分。首先参照图30描述亮度分量的相加率计算处理。

也就是说，将目标图像数据TGv当中的亮度数据Ytg供应给差值的绝对值计算单元603。此外，经由低通滤波器602将运动补偿图像数据MCv的亮度数据Ymc供应给差值的绝对值计算单元603。

差值的绝对值计算单元603计算每个像素的亮度数据Ytg与亮度数据Ymc之间的差值的像素绝对值ΔPxY，并且将计算出的差值的像素绝对值ΔPxY供应给相加率变换输出单元608。

还将经由低通滤波器601的亮度数据Ytg供应给空间平均滤波器604。还将经由低通滤波器602的亮度数据Ymc供应给空间平均滤波器605。

空间平均滤波器604和605的每一个获取像素(称为感兴趣像素)周围的八个像素加上一个自由像素共九个像素的平均值Mtg和Mmc，以便获得与差值的绝对值计算单元603的像素差。空间平均滤波器604和605将获得的平均值Mtg和Mmc供应给差值的绝对值计算单元606。

在差值的绝对值计算单元606上计算平均值Mtg与平均值Mmc之间的差值的绝对值ΔMeY，并且将计算出的平均差值ΔMeY供应给相加率变换输出单元609。

按照本例，配备了亮度分量的噪声模型存储器607。事先计算与像素值的亮度值有关的噪声标准偏差σ，并且将其存储在噪声模型存储器607中。也就是说，当将像素值的亮度值取作水平轴，而将噪声标准偏差σ取作垂直轴时，噪声标准偏差σ变成像例如图32所示那样。如图32所示，与亮像素有关的噪声标准偏差σ小，而与暗像素有关的噪声标准偏差σ大。

注意，图32中的特征图不是RAW数据，而是示出应用了γ校正之后的成像数据。这与示出来自成像器件11的RAW数据的图3中的情况不同，但两者之间没有本质差别。

对于噪声模型，噪声随图像的亮度而变，从而，将基于图像亮度Lx的多个噪声模型存储在噪声模型存储器607中。

如上所述，将从最大亮度值MaxTAR和最小亮度值MinTAR中获得的每个目标块的亮度Lx供应给噪声模型存储器607，作为按照亮度选择的噪声模型。因此，使用哪个噪声模型由亮度Lx决定。

此外，将经由低通滤波器601的目标数据TGv的亮度数据Ytg供应给噪声模型存储器607，并且从噪声模型存储器607中获取由亮度Lx和亮度数据Ytg决定的噪声标准偏差σY。将噪声标准偏差σY供应给相加率变换输出单元608和609。

并且，将来自运动向量计算单元21的命中率β和外部增益GA供应给相加率变换输出单元608和609。

相加率变换输出单元608使用差值的像素绝对值ΔPxY、噪声标准偏差σY、命中率β和增益GA用作变换参数的变换函数，并且输出基于差值的像素绝对值ΔPxY的相加率αYA。

此外，相加率变换输出单元609使用差值的平均绝对值ΔMeY、噪声标准偏差σY、命中率β和增益GA用作变换参数的变换函数，并且输出基于差值的平均绝对值ΔMeY的相加率αYB。

相加率变换输出单元608和609基本上根据噪声标准偏差σ和差值定义相加率α。注意，在相加率变换输出单元608和609上，噪声标准偏差σ是来自噪声模型存储器607的噪声标准偏差σY，和差值是差值的像素绝对值ΔPxY和差值的平均绝对值ΔMeY。输出相加率α是相加率αYA和αYB。

按照本实施例，如图33所示，当差值等于或低于可以设置成噪声标准偏差σ的倍数的预定第一阈值时，认为该帧是背景图像部分，相加率α是最大值的α＝1。

当阈值处在(第一阈值＜阈值＜第二阈值)的范围内时，认为该帧是不确定是背景部分还是运动被摄物部分的部分，并且如图33所示，相加率α随着差值越来越大而线性地越来越小。在(差值≥第二阈值)的范围内，该帧被确定为运动被摄物部分，并且相加率α是最小值的α＝0。

当目标块的背景匹配度未知时，如上所述，为了淡化运动被摄物部分中像二次曝光那样的状况，认为第一阈值是超过安全警戒的值，并且完全抑制相加率α。也就是说，如果该帧显然是背景图像部分，则将第一阈值和第二阈值设置成大值，并且可以使相加率尽可能大地进行图像相加。

然而，当目标块的背景匹配度未知时，对所有目标块都应该考虑淡化运动被摄物部分上像二次曝光那样的状况。因此，通常，如图33中的示例所示，第一阈值是标准偏差σ的一倍(1σ)，而第二阈值是标准偏差σ的三倍(3σ)。

相反，按照本实施例，如上所述，为每个目标块计算背景匹配度，作为是其指示值的命中率β。于是，通过使用背景匹配度指示值β，可以以较大相加率相加背景静止图像部分。

在考虑命中率β的情况下相加率变换输出单元608和609的相加率变换输出特征显示在图34中。

也就是说，在图34中的示例中，按照命中率β修改与差值有关的第一阈值。也就是说，当命中率β最小和β＝0(运动被摄物部分)时，与图33中的情况类似，将第一阈值设置成标准偏差σ的一倍(1σ)。当命中率β是β＞0时，按照命中率β的值将第一阈值修改成较大值。

在图34中的示例中，从差值变成大于第一阈值的时间开始相加率α的下降直线的斜率被固定成常数。于是，在图34中的示例中，按照第一阈值的修改自动修改第二阈值。

例如，如图35所示，在不考虑命中率β(β＝0)的图33中的示例的情况下，当差值是2σ时，相加率α是不变的0.5。相反，在考虑命中率β的情况下，如图35所示，在命中率β＝1.0的背景静止图像部分上，相加率α是α＝1，并且以最大相加率进行相加。

因此，在背景静止图像部分上，按照命中率β设置较大相加率α，并且达到所希望降噪效果。此外，在运动被摄物部分上，按照命中率β抑制相加率α以便较低，从而可以保持淡化二次曝光的状态的效果。

注意，对于上述示例，只按照命中率β修改第一阈值，从差值变成大于第一阈值的时间开始相加率α的下降直线的斜率被固定成常数。然而，也可以按照命中率β修改第二阈值，以便修改下降直线的斜率。

接着，描述相加率变换输出单元608和609上增益GA的贡献。增益GA是用于如上计算出的相加率α的进一步修改控制的参数。如上所述，这里的增益GA由用户设置或按照基于拍摄条件的图像亮度设置。例如，在由用户设置的情况下，在利用NR相加达到较大降噪效果的情况下，将增益GA设置成较大的。让如上所述计算出的相加率α经历修改控制变成基于增益GA的值。

图36示出了相加率变换输出单元608和609上增益GA、命中率β和相加率α之间的关系。图36示出了作为基于标准相加率α₀的值的相加率α，该相加率在命中率β＝0的情况下是标准相加率α₀。

在图36中的示例中，可以将增益GA设置成由用户或通过拍摄条件修改成GA＝0，GA＝1，GA＝2，和GA＝3四个级别。还将命中率β设置成β＝0，β＝0.25，β＝0.5，和β＝1.0四个级别。

相加率α是标准相加率α₀的系数K倍(K≥1)，并且系数K是基于增益GA和命中率β的组合的倍数。

因此，对于相加率变换输出单元608，根据差值的像素绝对值ΔPxY、噪声标准偏差σY、命中率β和增益GA输出基于亮度分量的像素差值的输出相加率αYA。此外，对于相加率变换输出单元609，根据差值的平均绝对值ΔMeY、噪声标准偏差σY、命中率β和增益GA输出基于亮度分量的平均差值的输出相加率αYB。

对色差信号分量不计算平均差值，而是只计算差值的像素绝对值，并且与上述亮度分量类似，计算基于色差分量的相加率。

图31是相加率计算单元24中色差分量的处理部分。下面参照图31描述色差分量的相加率计算处理。

也就是说，经由低通滤波器621将目标图像数据TGv当中的蓝色色差数据Cbtg供应给差值的绝对值计算单元623。此外，经由低通滤波器622将运动补偿图像数据MCv当中的蓝色色差数据Cbmc供应给差值的绝对值计算单元623。差值的绝对值计算单元623计算每个像素的色差数据Cbtg和色差数据Cbmc的差值的像素绝对值ΔPxCb，并且将计算出的差值的像素绝对值ΔPxCb供应给相加率变换输出单元625。

与亮度分量的情况类似，配备用于像素值的蓝色色差分量的噪声模型存储器624，并且事先计算与像素值的蓝色色差分量有关的噪声标准偏差σ，将其存储在噪声模型存储器624中。与亮度分量的情况类似，将基于图像的亮度Lx的多个噪声模型存储在噪声模型存储器624中。

将每个目标块的亮度Lx和经由低通滤波器621的目标图像数据TGv的色差数据Cbtg供应给噪声模型存储器624。因此，从噪声模型存储器624中获得通过亮度Lx和色差数据Cbtg定义的噪声标准偏差σCb，并且将其供应给相加率变换输出单元625。

并且，将来自运动向量计算单元21的命中率β和外部增益GA供应给相加率变换输出单元625。

相加率变换输出单元625具有与上述相加率变换输出单元608和609相似的配置，从中获得通过组合差值的像素绝对值ΔPxCb、噪声标准偏差σCb、命中率β和增益GA定义的相加率αCb。

类似地，经由低通滤波器631将目标图像数据TGv当中的红色色差数据Crtg供应给差值的绝对值计算单元633。此外，经由低通滤波器632将运动补偿图像数据MCv当中的红色色差数据Crmc供应给差值的绝对值计算单元633。差值的绝对值计算单元633计算每个像素的色差数据Crtg和色差数据Crmc的差值的像素绝对值ΔPxCr，并且将计算出的差值的像素绝对值ΔPxCr供应给相加率变换输出单元635。

与亮度分量的情况类似，配备用于像素值的红色色差分量的噪声模型存储器634，并且事先计算与像素值的红色色差分量值有关的噪声标准偏差σ，将其存储在噪声模型存储器634中。与亮度分量的情况类似，将基于图像的亮度Lx的多个噪声模型存储在噪声模型存储器634中。

将每个目标块的亮度Lx和经由低通滤波器631的目标图像数据TGv的色差数据Crtg供应给噪声模型存储器634。因此，从噪声模型存储器634中获得通过亮度Lx和色差数据Crtg定义的噪声标准偏差σCr，并且将其供应给相加率变换输出单元635。

并且，将来自运动向量计算单元21的命中率β和外部增益GA供应给相加率变换输出单元635。

相加率变换输出单元635具有与上述相加率变换输出单元608和609相似的配置，从中获得通过组合差值的像素绝对值ΔPxCr、噪声标准偏差σCr、命中率β和增益GA定义的相加率αCr。

此外，按照本实施例，还根据目标图像的像素色散值获取相加率。为感兴趣像素(自由像素)和例如在接近其周围的八个像素获取色散值。为亮度分量和色差分量的每一种获取色散值。从获得的所有色散值中计算相加率。

也就是说，如图30所示，经由低通滤波器601将目标块图像数据TGv的亮度数据Ytg供应给空间色散滤波器610。从这个空间色散滤波器610中，为感兴趣像素(自由像素)和例如在接近其周围的8个像素，即，总共9个像素获取色散值VaY。

此外，如图31所示，经由低通滤波器621将目标块图像数据TGv的蓝色色散数据Cbtg供应给空间色散滤波器626。从这个空间色散滤波器626中，为感兴趣像素(自由像素)和例如在接近其周围的8个像素，即，总共9个像素获取色散值VaCb。

并且，经由低通滤波器631将目标块图像数据TGv的红色色散数据Crtg供应给空间色散滤波器636。从这个空间色散滤波器636中，为感兴趣像素(自由像素)和例如在接近其周围的8个像素，即，总共9个像素获取色散值VaCr。

如图30所示，在在相加单元611上相加之后，将色散值Vay、VaCb和VaCr供应给相加率变换输出单元612。并且，将来自运动向量计算单元21的命中率β和外部增益GA供应给相加率变换输出单元612。

在目标块图像具有不多质地分量和亮度级变化平滑的情况下(在渐变的情况下)，利用相加率变换输出单元612获得的相加率αC将抑制相加率。对于与本实施例一样划分成块的图像处理，块边缘高度惹人注目，并且在亮度级变化平滑的情况下，甚至有过之而无不及。

为了实现上述情况，基本上，随着块内的色散值降低而降低相加率。在本实施例的相加率变换输出单元612上，如图37A所示，将色散值取作水平轴，同时通过预定级宽将色散值划分成几个级，并且按照每个级的色散值确定输出相加率。

在图37A中的示例中，将色散值划分成级宽为8的五个级，从而，将与色散值0到7有关的相加率设置成0.0，将与色散值8到15有关的相加率设置成0.25，将与色散值16到23有关的相加率设置成0.5，将与色散值24到31有关的相加率设置成0.75，以及将与色散值32和大于32有关的相加率设置成1.0。

现在，在层叠图像的情况下，如上所述，块边缘变得显而易见，因为在层叠图像中存在差异。换句话说，在层叠图像中背景静止图像部分没有差异，因此，不必抑制基于色散的相加率。

因此，按照本实施例，对于相加率变换输出单元612，按照命中率β控制色散值的级宽，并且命中率β越大，色散值的级宽就越小。因此，对于背景静止图像部分，抑制按照色散值降低相加率，并且使相加率尽可能高地进行相加。

也就是说，在图37A到37C中的示例中，当命中率β是像例如β＝0那样的低值时，如图37A所示，色散值的级宽是“8”。当命中率β是像例如β＝0.5那样的值时，如图37B所示，色散值的级宽是“4”。

并且，当命中率β是表示该帧是背景静止图像部分的β＝1时，如图37C所示，色散值的级宽是“0”。也就是说，此时，不进行通过色散值降低相加率。

如上所述，将增益GA供应给相加率变换输出单元612，从而能够通过增益GA控制输出相加率。在本例的情况下，通过增益GA和通过与命中率β的组合使色散值的级宽经历修改控制。

图38示出了相加率变换输出单元612上增益GA、命中率β和级宽之间的关系。此外，在图38中的示例中，可以将增益GA设置成由用户或通过拍摄条件修改成GA＝0，GA＝1，GA＝2和GA＝3四个级别。将命中率β设置成β＝0，β＝0.25，β＝0.5和β＝1.0四个级别。

注意，图38中的示例被配置成可以通过移位计算实现级宽。

注意，如图37A到37C所示，按照本实施例，在使用色散值计算相加率的情况下，该配置能够将级宽用于色散值来设置多个级，然而，也可以使用不使用多个级的配置；更确切地说，在多个级之间进行线性内插。此外，取代线性内插，可以进行二维曲线内插或三维曲线内插。

因此，对于相加率变换输出单元608、609、612、625和635，按照亮度差值、色差值、亮度平均差值、色散值，以及基于命中率β的值计算相加率αYA、αYB、αC、αCb、αCr。

按照本实施例，合成相加率αYA、αYB、αC、αCb、αCr，从而获得相加率计算单元21的输出相加率α。也就是说，如图30所示，利用乘法器613相乘来自相加率变换输出单元608和609的相加率αYA和αYB，并且将它们的乘法结果供应给乘法器614。将来自相加率变换输出单元625的相加率αCb供应给乘法器614，并且与乘法器613的乘法结果相乘。

将乘法器614的乘法结果供应给乘法器615。将相加率αCr从相加率变换输出单元635供应到乘法器615，并且与乘法器614的乘法结果相乘。此外，将乘法器615的乘法结果供应给乘法器616。将来自相加率变换输出单元612的相加率αC供应给乘法器616，并且与乘法器615的乘法结果相乘。

因此，从乘法器616中获得相乘了所有计算出的相加率αYA、αYB、αC、αCb、αCr的乘法结果，并且输出它，作为相加率计算单元24的输出相加率α。

因此，在相加率计算单元24中以像素为增量计算作为基于命中率β的值的相加率α，并且将其供应给相加单元23。

按照来自相加率计算单元24的每个像素的相加率α，以像素为增量相加目标块图像数据TGv和运动补偿块图像数据MCv。经由图像存储单元4和静止图像编解码单元16，将来自相加单元23的相加图像记录在记录/播放装置单元5中。

本实施例的优点

按照上述实施例，使用作为每个目标块的背景匹配度的指示值的命中率β，并且可以在静止图像部分中增大相加率α，从而可以具有可以获得降噪效果大的图像的显著优点。

此外，对于运动被摄物部分，降低相加率α以便不相加，从而可以淡化运动部分具有像二次曝光那样的状态的状况。

现在，按照本实施例，将要相加的多个图像帧之一设置成具有屏幕内NR的强降噪强度，从而使一个图像帧可能丢失信号分量的细节部分。

然而，按照本实施例，对于屏幕内NR处理单元14，将第二图像帧和随后图像帧的屏幕内NR的降噪强度设置成弱的，从而使第二图像帧和随后图像帧中的信号分量较不可能丢失。

在相加NR处理单元20上，将信号分量较不可能丢失的第二图像帧和随后图像帧加入第一图像帧中，从而恢复信号分量。

尤其，按照本实施例，以大相加率α相加静止图像部分，从而具有来自信号分量恢复的有利图像状态。此外，还有利地具有通过图像相加在时间方向上降噪的优点。

另一方面，运动被摄物部分具有小相加率，从而减少了信号分量的恢复和时间方向上的降噪，但由于这是运动部分，存在使信号分量的恶化不明显的优点。在屏幕内NR处理单元14上对第一图像帧的降噪效果是很大的，因此存在较少噪声。也就是说，可以具有可以淡化像二次曝光那样的状态的优点，同时可以获得具有较少噪声的运动被摄物部分的图像数据。

下面进一步描述本实施例的优点。如上所述，多张相加NR处理进行标准图像(目标图像)和参考图像两个图像的位置匹配，并且进行作为相关值、使标准图像和参考图像位置匹配的图像差值的评估。

如图33到35所示，如果评估值是1σ，则100％地加入平均，而如果在1σ与3σ之间，则在0到99％之间更改位置匹配图像的相加率，并进行相加平均。

对于多张相加NR处理，与屏幕内NR处理不同，对移动时间轴上相同像素位置的像素求平均。于是，如果是静止部分，则使与标准图像位置匹配的简图(参考图像)的边缘部分变成同相，从而，即使进行像素平均，边缘部分也不会模糊。换句话说，使信号分量的恶化变小。

此外，在运动被摄物部分的情况下，评估值的相关值未在3σ内，从而，不进行求平均处理，使边缘不模糊或变成透明的。这是本实施例的多张图像相加NR处理的特征。

在利用像前面那样阈值θth是一致的3σ的屏幕内NR处理进行多张图像相加的情况下，噪声分量可以达到3σ+δ(δ是多张相加NR处理中的降噪效果)的降噪效果。

然而，对于要相加的多个输入图像，所有信号的边缘分量以相同方式模糊，因此，恢复不了。并且，如图45所示，在不利用相加NR处理单元20以像素为增量进行图像的相互位置匹配的情况下，信号的边缘分量甚至可以更模糊。

另一方面，在屏幕内NR处理的阈值θth是一致的1σ的情况下，不保存信号的边缘分量，并且噪声分量只能达到1σ+δ的降噪效果。

相反，按照上述实施例，通过对要相加的多个图像帧的第二个和随后各个的信号分量进行相加平均，甚至可以从这种特征中恢复屏幕内NR的第一帧已经变模糊的信号分量。

此外，通过将屏幕内NR处理的第一帧中的阈值θth设置成3σ，并且将屏幕内NR处理的其它图像中的阈值θth设置成3σ，噪声分量可以达到3σ+δ的降噪效果。

也就是说，对于静止图像部分，保留信号分量的边缘分量，并且达到高降噪效果，并且甚至对于运动被摄物范围，也可以获得与通常捕获的那个相同的具有3σ降噪效果的图像。

其他实施例和修改示例

在对静止图像进行相加NR处理的情况下，可能存在像如何设置目标图像和参考图像的选择，或以什么顺序层叠图像那样的示例。

在层叠多个图像的情况下，必须选择成为运动检测的标准的图像。对于上述实施例，合上快门那个时刻的图像是用户所希望的图像，从而，将第一成像图像设置成标准图像。也就是说，用户释放快门，并使用稍后时间拍摄的图像进行对拍摄的第一图像的层叠。

上述相加方法将作为层叠目标图像和参考图像的结果的NR图像设置成下一个目标图像，并且在第二和随后图像层叠中，使目标图像变成已经通过不变NR处理的图像。这种相加方法被称为目标相加方法。

作为连续高速拍摄地拍摄四个图像的示例，在图39中示出了目标相加方法的图像层叠的图像图。

让我们假设按时间上从按下快门的时间点开始的顺序，拍摄的图像是Org0、Org1、Org2、Org3。如图39所示，第一拍摄图像Org0是目标图像和拍摄图像Org1是参考图像，并且创建运动补偿图像MC1。层叠拍摄图像Org0和运动补偿图像MC1以创建相加NR图像NR1。

接着，相加NR图像NR1是目标图像和拍摄图像Org2是参考图像，从而创建运动补偿图像MC2。层叠相加NR图像NR1和运动补偿图像MC2以创建相加NR图像NR2。

接着，相加NR图像NR2是目标图像和拍摄图像Org3是参考图像，从而创建运动补偿图像MC3。层叠相加NR图像NR2和运动补偿图像MC3以创建相加NR图像NR3，其中，最终将四个图像合成为一个图像。

除了如上所述目标图像不变地是相加NR图像的目标相加方法之外，还存在参考图像不变地是相加NR图像的参考相加方法，并且本发明也可应用于参考相加方法。

与图39中的情况类似，图40示出了参考相加方法的图像图，示范了连续高速拍摄地拍摄四个图像。

首先，将成像图像Org2设置成目标图像，将成像图像Org3设置成参考图像，并且创建运动补偿图像MC3。将成像图像Org2和运动补偿图像MC3层叠在一起以创建相加NR图像NR3。

接着，将成像图像Org1设置成目标图像，将相加NR图像NR3设置成参考图像，并且创建运动补偿图像MC2。将成像图像Org2和运动补偿图像MC2层叠在一起以创建相加NR图像NR2。

接着，将成像图像Org0设置成目标图像，将相加NR图像NR2设置成参考图像，并且创建运动补偿图像MC1。将成像图像Org0和运动补偿图像MC1层叠在一起以创建相加NR图像NR1。相加NR图像NR1变成最后一个合成的NR图像。

即使在参考相加方法的情况下，加强第一成像图像Org0的屏幕内NR处理的降噪强度，并减弱其它成像图像Org1、Org2、Org3的屏幕内NR处理的降噪强度也是有利的。

注意，与上面的示例一样，当加强经历相加NR处理的多个成像帧当中的第一成像帧的屏幕内NR处理的降噪强度时，可以达到最有利效果。

然而，按照本实施例，屏幕内NR处理的降噪强度是可变的，并且通过将来自弱屏幕内NR处理的信号分量仍然保留的图像帧与已经进行了强屏幕内NR处理和信号分量丢失了的图像帧相加，可以恢复丢失的信号分量。于是，要相加的多个成像帧的屏幕内NR处理的降噪强度的控制不局限于上述示例。

也就是说，屏幕内NR处理的降噪强度强的图像帧可以不仅仅是一个帧，而是可以像两个帧，三个帧等那样的可选数量。此外，降噪强度强的图像帧可以不仅仅是一个帧，而是可以像以相同方式管理第二帧那样的多个图像帧。

此外，屏幕内NR处理的降噪强度可以不仅仅是像上述示例那样的两个级，而是可以像最大强度、中等强度、最小强度等那样的三个或更多个级。在这种情况下，与上述一样，哪个帧具有哪种降噪强度也是可选的。注意，降噪强度弱的设置状态可以包括不进行屏幕内NR处理的情况。

此外，上述实施例图解了成像静止图像时的情况，然而，本发明也可应用于在成像运动图像的时候。例如，在开始拍摄运动图像的时候，加强屏幕内NR处理的降噪强度，并且在其它情况下，减弱屏幕内NR处理的降噪强度。此外，在一次性记录运动图像数据的情况下，检测场景变化位置，并可以作出设置，以便可以在场景变化位置上加强屏幕内NR处理的降噪强度，并且在其它情况下，减弱屏幕内NR处理的降噪强度。

注意，按照上述实施例，对YC数据进行相加NR处理，但对RAW信号进行屏幕内NR处理，从而本发明甚至可应用在对RAW信号进行相加NR处理的情况下。

注意，上述实施例图解了图像处理装置是成像装置的情况，然而，不言而喻，本发明可以应用的图像处理装置不局限于成像装置。

本发明包含与2009年1月23日向日本专利局提交的日本优先权专利申请JP 2009-012556公开的主题有关的主题，特此通过引用并入其全部内容。

本领域的普通技术人员应该明白，视设计要求和其它因素而定，可以作出各种各样的修改、组合、部分组合和变更，它们都在所附权利要求书或其等效物的范围之内。

Claims (11)

1.一种图像处理装置，包含：

图像相加部件，用于通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；

屏幕内降噪部件，用于在利用所述图像相加部件相加之前，对所述多个图像的每一个进行一个图像内、空间方向上的降噪处理；和

控制部件，用于改变所述屏幕内降噪部件对要被所述图像相加部件相加的多个图像在所述空间方向上的降噪强度。

2.按照权利要求1所述的图像处理装置，其中，所述多个图像是通过用成像器件成像获得的成像图像；和

其中，所述控制部件控制所述屏幕内降噪部件，以便对被所述图像相加部件相加的多个成像图像当中的至少一个成像图像在所述空间方向上的降噪强度强于其它成像图像在所述空间方向上的降噪强度。

3.按照权利要求1或2所述的图像处理装置，进一步包含：

确定部件，用于为所述图像的每一个确定是没有运动的背景部分还是运动部分；

其中，所述图像相加部件依照来自所述确定部件的确定结果，以对与所述背景部分和所述运动部分不同的相加率进行所述图像相加，以便使该图像的相加率与所述背景部分的相加率一样大。

4.按照权利要求1或2所述的图像处理装置，其中，所述图像相加部件以像素为增量相加所述多个图像，并且依照正在相加在一起的像素之间的差值，进行所述图像相加，以便使所述图像的相加率随着所述差值变小而变大。

5.按照权利要求1到4的任何一项所述的图像处理装置，其中，在所述空间方向上的降噪强度的可变范围包括不进行所述空间方向上的降噪。

6.一种用于图像处理装置的图像处理方法，所述图像处理装置具有图像相加部件、屏幕内降噪部件和控制部件，所述方法包含如下步骤：

所述图像相加部件通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；

所述屏幕内降噪部件依照来自所述控制部件改变对要在所述图像相加中相加的多个图像在所述空间方向上的降噪强度的控制指令，在利用所述图像相加部件相加之前，对所述多个图像的每一个进行一个图像内、空间方向上的降噪处理。

7.按照权利要求6所述的图像处理方法，其中，所述多个图像是通过用成像器件成像获得的成像图像；和

其中，所述控制部件控制所述屏幕内降噪部件，以便在所述屏幕内降噪中，对被所述图像相加部件相加的多个成像图像当中的至少一个成像图像在所述空间方向上的降噪强度强于其它成像图像在所述空间方向上的降噪强度。

8.一种成像装置，包含：

成像器件；

屏幕内降噪部件，用于进行一个成像图像内、空间方向上的降噪处理，所述成像图像是通过用所述成像器件成像获得的；

图像相加部件，用于通过在进行运动补偿的同时相加经历了所述屏幕内降噪部件的所述降噪处理的多个所述成像图像，进行时间方向上的降噪处理；

控制部件，用于改变所述屏幕内降噪部件对要被所述图像相加部件相加的多个图像在所述空间方向上的降噪强度；和

记录部件，用于将作为所述图像相加部件相加结果的图像记录在记录媒体中。

9.一种图像处理装置，包含：

图像相加单元，用于通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；

屏幕内降噪单元，用于在利用所述图像相加单元进行所述相加之前，对所述多个图像的每一个进行一个图像内、空间方向上的降噪处理；和

控制单元，用于改变所述屏幕内降噪单元对要被所述图像相加单元相加的多个图像在所述空间方向上的降噪强度。

10.一种用于图像处理装置的图像处理方法，所述图像处理装置具有图像相加单元、屏幕内降噪单元和控制单元，所述方法包含如下步骤：

所述图像相加单元通过在进行运动补偿的同时相加多个图像来进行时间方向上的降噪处理；

所述屏幕内降噪单元依照来自所述控制单元改变对要在所述图像相加中相加的多个图像在所述空间方向上的降噪强度的控制指令，在利用所述图像相加单元进行所述相加之前，对所述多个图像的每一个进行一个图像内、空间方向上的降噪处理。

11.一种成像装置，包含：

成像器件；

屏幕内降噪单元，用于进行一个成像图像内、空间方向上的降噪处理，所述成像图像是通过用所述成像器件成像获得的；

图像相加单元，用于通过在进行运动补偿的同时相加经历所述屏幕内降噪单元的所述降噪处理的多个所述成像图像，进行时间方向上的降噪处理；

控制单元，用于改变所述屏幕内降噪单元对要被所述图像相加单元相加的多个图像在所述空间方向上的降噪强度；和

记录单元，用于将作为所述图像相加单元相加结果的图像记录在记录媒体中。

Images