CN101389022A - 图像处理设备、图像处理方法以及图像拾取设备 - Google Patents

Abstract

本发明公开了一种图像处理设备、图像处理方法以及图像拾取设备，在该图像处理设备中，与具有预定大小并且包括被设置在目标画面上的预定位置的多个像素的目标块大小相同的多个参考块被设置在参考画面上所设置的搜索范围中，并且根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量来检测运动矢量，该图像处理设备包括：压缩部、第一存储部、解压解码部、第二存储部以及数学运算部。该图像处理设备与方法能够在执行两个画面间的块匹配的情况下减小图像存储器的存储容量。

Description

图像处理设备、图像处理方法以及图像拾取设备

相关申请的交叉参考

本发明包含于2007年9月14日向日本专利局提交的日本专利申请JP2007-239487的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种图像处理设备和图像处理方法，其中，检测在两个不同画面间的运动矢量。在本说明书中，术语“画面”用于表示由一个帧或一个场的图像数据所形成的并在显示设备上显示的图像。

背景技术

用于通过图像信息本身来确定两个画面间的运动矢量的块匹配技术具有很悠久的历史。主要关于电视摄相机的云台检测或图像拾取目标跟踪及MPEG(运动图像专家组)系统的运动图像编码所进行的块匹配技术的开发取得了进展。进入九十年代之后，尝试在包括通过图像的重叠的无传感器相机震动校正或在低亮度图像拾取时的消噪或降噪(下文中，简称为NR)的很多方面进行了应用。

块匹配为这样一种方法，其中，通过计算关于预定大小的矩形区域的块在参考图像和基础画面之间的相关性来计算两个画面之间的运动矢量，所述两个画面包括作为关注画面的参考画面和作为检测参考画面运动的基础的基础画面(下文中，称作目标画面)。两种情况是有效的，一种情况下，基础画面在时间上先于参考图像(例如，在根据MPEG的运动检测的情况下)，另一种情况下，参考画面在时间上先于基础画面(例如，在通过下文中所描述的图像帧的重叠来减噪的情况下)。

需要注意，尽管如上所述在本说明书中术语“画面”用于表示由一个帧或一个场的图像数据所形成的图像，但是为了描述方便，在下面的描述中假设画面由一个帧形成并且在下文中称作帧。因此，参考画面在下文中被称作参考帧，而基础画面在下文中称作基础帧。

图57A～图62示出了过去的块匹配的概要。在此处所描述的块匹配方法中，例如，如图57A所示，初始帧或目标帧100被分成多个包括在水平方向上的多个像素和在垂直方向上的多条线的预定大小的矩形区域或块。目标帧的多个块102的每一个在下文中均被称作目标块。

在块匹配中，搜索参考帧101，从而检测与目标块102具有高相关性的块。从参考帧101中所搜索出的并具有最高相关性的块103(参照图57B)在下文中被称作运动补偿块。此外，目标块102和运动补偿块103之间的位置偏移量在下文中被称作运动矢量(参照图57B中的参考数字104)。

在目标块102的投影图像块109被假设位于参考帧101中与目标帧100的目标块102的位置相同的位置处的情况下，相应于包括位置偏移量和位置偏移方向的目标块102和运动补偿块103之间位置偏移的运动矢量104相应于目标块的投影图像块109的位置(例如，中心位置)与运动补偿块103的位置(例如，中心位置)之间的位置偏移，并且具有位置偏移量和位置偏移方向组分。

描述了块匹配处理的概要。如图58中的虚线所示，在参考帧101上，每个目标块的投影图像块109被假设位于与目标帧100的目标块102的位置相同的位置处。随后，目标块的投影图像块109的中心坐标被确定为用于运动检测的原点105。随后，假设运动矢量104存在于距离用于运动检测的原点105的一定范围内，如图58中通过点划线所示，将以用于运动检测的原点105为中心的预定范围设置为搜索范围106。

随后，将具有与目标块102相同大小的在下文中被称作参考块的块108设置在参考帧101上。随后，在搜索范围106内的例如水平方向和垂直方向上将参考块108的位置移动一个像素或多个像素的单位距离。因此，在搜索范围106中，设置多个参考块108。

此处，由于原点105为目标块的中心位置，所以在本实例中在搜索范围106中移动参考块108表示参考块108的中心位置在搜索范围106内移动。因此，构成参考块108的像素会从搜索范围106中突出。

随后，在搜索范围内，为参考块108设置在下文中被称作参考矢量(参照图58)的矢量107，该矢量表示待设置的每个参考块108和目标快102之间的位置偏移量和位置偏移方向。随后，评价位于通过单独的参考矢量107所表示的位置的参考块108的图像内容和目标块102的图像内容之间的相关性。

参照图59，在通过Vx表示在水平或X方向上的参考块108的位置偏移量并且通过Vy表示在垂直或Y方向上的参考块108的位置偏移量的情况下，参考矢量107可被表示为矢量(Vx，Vy)。在参考块108的位置(例如，中心位置)坐标与目标块102的位置(例如，中心位置)坐标彼此相同的情况下，参考矢量107表示为矢量(0，0)。

例如，在参考块108从目标块102的位置在X方向上移动一个像素距离的情况下，参考矢量107为矢量(1，0)。其间，如果如图60所示参考块108在X方向上移动三个像素距离并且在Y方向上移动两个像素距离，则参考矢量107为矢量(3，2)。

具体地，如果如图60所示假设目标块102和参考块108的位置分别为其中心位置，则每个参考块108表示参考块108的中心位置和目标块102的中心位置之间的位置偏移，即，包括位置偏移量和位置偏移方向的矢量。

当参考块108在搜索范围106内移动时，在这种情况下，参考块108的中心位置在搜索范围106内移动。由于如上所述每个参考块108包括在水平方向上和垂直方向上的多个像素，所以作为与目标块102进行块匹配处理的目标的参考块108的运动的最大范围为比搜索范围106更大的匹配处理范围110。

随后，作为与目标块102的图像内容具有最高相关性的块所检测出的参考块108的位置，被检测为在参考帧101中目标帧100的目标块102的位置，即，作为移动后的位置。随后，检测所检测出的运动补偿块103的位置和目标块102的位置之间的位置偏移量，作为包括方向组分的量的运动矢量104(参照图57B)。

此处，当基本上使用目标块102和参考块108的相应像素值来计算表示目标块102和在搜索范围106内移动的参考块108之间的相关度的相关值时，可以使用均方根法和其他多种方法作为计算方法。

作为计算运动矢量普遍使用的相关值，例如，使用目标块102中的像素的亮度值和搜索范围106中与目标块102中所有像素相应的像素的亮度值之间的差分的绝对值总和。所述总和称为差分绝对值和并且在下文中称作SAD(差分绝对值和)。

在SAD值被用作相关值的情况下，SAD值越小表示相关性越高。因此，在搜索范围106内移动的参考块108中，在SAD值为最小值的位置处的参考块108为具有最高相关性的最高相关参考块。检测出最高相关参考块，作为运动补偿块103，并且检测所检测出的运动补偿块103与目标块102位置的位置偏移量，作为运动矢量。

如上所述，在块匹配中，通过作为包括方向组分的量的参考矢量107表示在搜索范围106中所设置的多个参考块108中的每一个参考块108与目标块102位置的位置偏移量。每个参考块108的参考矢量107具有依赖于目标块102上的参考块108的位置的值。如上所述，在块匹配中，检测出作为相关值的SAD值为最小值的参考块108的参考矢量，作为运动矢量104。

因此，在块匹配中，在搜索范围106中所设置的多个参考块108与目标块102之间的SAD值(为了简化描述，这种SAD值在下文中简称为关于参考块108的SAD值)通常以与依赖于单独参考块108的位置的参考矢量107的相应关系被存储在存储器中(为了简化描述，依赖于参考块108的位置的参考矢量107在下文中称作参考块108的参考矢量107)。随后，从在存储器中存储的关于所有参考块108的SAD值中检测出具有最小SAD值的参考块108，从而检测出运动矢量104。

以与依赖于在搜索范围106中所设置的多个参考块108的位置的参考矢量107的对应关系来存储关于参考块108的相关值(即，SAD值)的表在下文中称作相关值表。在本实例中，由于作为差分绝对值和的SAD值被用作相关值，所以相关值表在下文中称作差分绝对值和表(下文中，称作SAD表)。

图62的SAD表TBL示出了SAD表。参照图62，SAD表TBL中所示的关于每个参考块108的相关值(此实例中所示的是SAD值)在下文中称作相关值表要素。在图62的实例中，通过参考数字111所表示的SAD值表示参考矢量为矢量(0，0)的SAD值。随后，在图62的实例中，由于SAD值中的最小值是参考矢量为矢量(3，2)的“7”，所以所要确定的运动矢量104为矢量(3，2)。

应该注意，在先前描述中的目标块102和参考块108的位置表示这些块的任意特定位置(例如，中心位置)。参考矢量107表示参考帧101中的目标块102的投影图像块109的位置与参考块108的位置之间的偏移量(包括方向)。

随后，由于相应于参考块108的参考矢量107为每个参考块108从参考帧101中相应于目标块102的投影图像块109的位置的位置偏移，所以如果参考块108的位置被指定，则参考矢量值也根据所指定的位置被指定。因此，如果在匹配处理范围110的存储器中的参考块的相关值表要素的地址被指定，则相应的参考矢量被指定。

应该注意，可以同时计算两个以上的目标块的SAD值。如果同时处理的目标块数增加，则处理速度增加。但是，由于用于计算SAD值的硬件的规模增大，所以处理速度的提高和电路规模的扩大彼此存在此消彼长的关系。

附带地，例如，在日本专利公开第Hei 6-086149号(下文中，称作专利文献1)中提出了在使用上述块匹配技术的无传感器状态下的防相机震动的校正技术。根据专利文献1的技术，在拾取图像中设置有效图像，并且将该有效图像响应于画面的震动而移动。该技术主要开发用于运动图像。

另一方面，用于静止图片的无传感器相机震动校正技术的研究开始于2000年左右。在无传感器相机震动校正中，通过不会引起相机震动的高速快门操作来拾取多个图像，并且考虑到相机震动的影响，将所拾取的低亮度图像彼此重叠，从而生成一张高亮度的静止图像。例如，在日本专利公开第2001-86398号(下文中，被称作专利文献2)中披露了这项技术。

专利文献2的技术基于这样一个概念，如果增益被简单地应用于低亮度的图像，则噪声也增大，但是如果将连续拾取的图像彼此重叠，则可分散作为随机组分的噪声。从降噪的观点来看，该技术被认为近似于用于运动图像的帧NR技术。

用于运动图像的帧NR技术实时地叠加当前帧和参考帧，并且将当前帧和参考帧总是以1:1的关系叠加。

另一方面，通过用于静止图片的无传感器相机震动校正技术，相机震动的影响随着快门速度的增加而降低，并且由于待重叠的图像数量增加，所以可期待更高的灵敏度。因此，通常将多个参考帧用于一个当前帧。

发明内容

如果对连续拾取的多个拾取图像执行块匹配来检测图像间的运动矢量，并且随后运动矢量被用于叠加目标帧图像和参考帧图像，同时补偿图像的重叠位置，从而获取经降噪的拾取图像，则需要将目标帧图像和参考帧图像临时存储在帧缓冲器中。

特别是在上述静止图片的情况下，由于被叠加的图像数增大而可期待更高的灵敏度，所以需要用于保留多个待叠加的图像的多个帧的图像存储器。因此，需要增大图像存储器的存储容量，因此，出现成本增加和电路规模增大的问题。

因此，期望提供执行在两个画面间的块匹配的情况下能够减小图像存储器的存储容量的图像处理设备和方法。

根据本发明的实施例，提供了一种图像处理设备，其中，在参考画面上所设置的搜索范围中设置与目标块(其具有预定大小并且包括多个被设置在目标画面中的预定位置处的像素)的大小相同的多个参考块，并且根据一个与目标块具有最高相关性的参考块与目标块在画面上的位置偏移量来检测运动矢量，包括：

压缩部，被配置为以分割块(将一个画面分割成多个分割块)为单位对参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过压缩部所压缩的图像数据；

解压解码部，被配置为从第一存储部中，从存储在第一存储部中的参考画面的被压缩图像数据中读出在分割块单位(其包括相应于搜索范围的匹配处理范围)中的那些被压缩的图像数据，并且解压和解码所读出的图像数据；

第二存储部，被配置为存储通过解压解码部所解压和解码的图像数据；以及

数学运算部，被配置为从在第二存储部中所存储的图像数据中提取出参考块的图像数据，并数学运算参考块和目标块之间的相关值。

根据本发明的另一个实施例，提供了一种图像处理设备，其中，以一个画面被分割成多个第一块中的第一块为单位来叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面中的目标画面中的多个第一块中之一；在作为所要叠加的两个画面中的另一画面的参考画面上设置的搜索范围中，设置大小与目标块相同的多个参考块；根据与目标块具有最高相关性的一个参考块与目标块在画面上的位置偏移量，检测第一块单位的运动矢量；并且当所检测出的第一块单位的运动矢量用于补偿每个第一块的图像的运动时，执行图像的叠加，该设备包括：

压缩部，被配置为以第二分割块(将一个画面分割成多个分割块)为单位对参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过压缩部所压缩的图像数据；

解压解码部，被配置为从第一存储部中，从存储在第一存储部中的参考画面的被压缩图像数据中读出在第二分割块单位(其包括相应于搜索范围的匹配处理范围)中的那些被压缩的图像数据，并且解压和解码所读出的图像数据；

第二存储部，被配置为存储通过解压解码部所解压和解码的图像数据；以及

数学运算部，被配置为从在第二存储部中所存储的图像数据中提取出参考块的图像数据，并数学运算参考块和目标块之间的相关值。

根据本发明的又一个实施例，提供一种图像拾取设备，包括：

图像处理设备，其中，以一个画面被分割成多个分割块中的第一块为单位来叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面中的目标画面中的多个第一块中之一；在作为所要叠加的两个画面中的另一画面的参考画面上设置的搜索范围中，设置尺寸与目标块相同的多个参考块；根据与目标块具有最高相关性的一个参考块与目标块在画面上的位置偏移量，检测第一块单位的运动矢量；并且当所检测出的第一块单位的运动矢量用于补偿每个第一块的图像的运动时，执行图像的叠加，该设备包括：

压缩部，被配置为以第二分割块(将一个画面分割成多个分割块)为单位对参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过压缩部所压缩的图像数据；

解压解码部，被配置为从第一存储部中，从存储在第一存储部中的参考画面的被压缩图像数据中读出在第二分割块单位(其包括相应于搜索范围的匹配处理范围)中的那些被压缩的图像数据，并且解压和解码所读出的图像数据；

第二存储部，被配置为存储通过解压解码部所解压和解码的图像数据；

数学运算部，被配置为从在第二存储部中所存储的图像数据中提取出参考块的图像数据，并数学运算参考块和目标块之间的相关值；以及

记录部，被配置为将通过叠加而降噪的图像数据记录在记录介质中。

根据本发明的又一个实施例，提供一种图像处理方法，其中，在参考画面上所设置的搜索范围中设置与具有预定大小并包括多个被设置在目标画面中的预定位置处的像素的目标块大小相同的多个参考块，并且根据与目标块具有最高相关性的一个参考块与目标块在画面上的位置偏移量来检测运动矢量，包括以下步骤：

以分割块(将一个画面分割成多个分割块)为单位对参考画面的图像数据进行压缩，并且将所压缩的图像数据存储在第一存储部中；

从第一存储部中，从存储在第一存储部中的参考画面的被压缩图像数据中读出在分割块单位(其包括相应于搜索范围的匹配处理范围)中的那些被压缩的图像数据，并且解压和解码所读出的图像数据，并且将被解压和解码的图像数据存储在第二存储部中；以及

从在第二存储部中所存储的图像数据中提取出参考块的图像数据，并数学运算参考块和目标块之间的相关值。

根据本发明又一个实施例，提供了一种图像处理方法，其中，以一个画面被分割成多个分割块中的第一块为单位来叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面中的目标画面中的多个第一块中之一；在作为所要叠加的两个画面中的另一画面的参考画面上设置的搜索范围中，设置尺寸与目标块相同的多个参考块；根据与目标块具有最高相关性的一个参考块与目标块在画面上的位置偏移量，检测第一块单位的运动矢量；并且当所检测出的第一块单位的运动矢量用于补偿每个第一块的图像的运动时，执行图像的叠加，包括以下步骤：

以第二分割块(将一个画面分割成多个分割块)为单位对参考画面的图像数据进行压缩，并且将所压缩的图像数据存储在第一存储部中；

从第一存储部中，从存储在第一存储部中的参考画面的被压缩图像数据中读出在第二分割块单位(其包括相应于搜索范围的匹配处理范围)中的那些被压缩的图像数据，并且解压和解码所读出的图像数据，并且将被解压和解码的图像数据存储在第二存储部中；以及

从在第二存储部中所存储的图像数据中提取出参考块的图像数据，并数学运算参考块和目标块之间的相关值。

利用所述图像处理设备，能够减小在块匹配过程中用于相关值的数学运算的图像存储器的存储容量，并且可以预料能够有效读出图像数据。因此，即使图像尺寸增大或例如在NR处理中所要添加的图像数量增加，也可以在抑制成本的同时执行图像处理。

附图说明

图1是示出作为应用了本发明的图像处理设备的图像拾取设备的构造实例的方框图；

图2A和图2B是示出由图1的图像拾取设备进行的拾取图像的降噪处理的示意图；

图3是示出由图1的图像拾取设备进行的块匹配处理的示意图；

图4和图5是示出由图1的图像拾取设备进行的拾取图像的不同的降噪处理的示意图；

图6、图7以及图8A～图8C是示出应用了本发明的图像处理方法的示意图；

图9、图10以及图11是示出图1的图像拾取设备的运动检测和运动补偿部的操作的示图；

图12是示出通过图1的图像拾取设备的运动检测和运动补偿部的处理的效果的示图；

图13是示出图1的图像拾取设备的运动检测和运动补偿部的构造的实例的框图；

图14和图15是示出图13的运动检测和运动补偿部的不同块的详细构造的实例的框图；

图16是示出图1的图像拾取设备的图像叠加部的构造实例的方框图；

图17和图18是示出通过图16的图像叠加部的图像叠加处理的示意图；

图19和图20是示出通过图16的图像叠加部的另一图像叠加处理的示意图；

图21和图22是示出通过图16的图像叠加部对于静止图片的图像处理方法的流程图；

图23是示出通过图16的图像叠加部对于运动图片的图像处理方法的流程图；

图24A～图24C和图25A～图25C是示出图13的运动检测和运动补偿部的运动矢量计算单元的操作的第一实例的示图；

图26是示出图13的运动检测和运动补偿部的运动矢量计算单元的第一实例的构造的框图；

图27是示出图26的运动矢量计算单元的处理操作的实例的流程图；

图28和图29是示出图26的运动矢量计算单元的处理操作的另一实例的流程图；

图30是示出图13的运动检测和运动补偿部的运动矢量计算单元的第二实例的构造的方框图；

图31是示出图30的运动矢量计算单元的处理操作的实例的流程图；

图32和图33是示出图30的运动矢量计算单元的处理操作的另一实例的流程图；

图34A～图34F、图35、图36A～图36C以及图37A～图37C是示出应用了本发明实施例的图像处理方法的具体实例的示意图；

图38是示出在应用了本发明实施例的图像处理方法中的图像矩形访问法的示意图；

图39A和图39B是示出在应用了本发明实施例的图像处理方法中图像数据的存储器访问法的示意图；

图40是示出在应用了本发明实施例的图像处理方法中的图像的处理单元的实例的视图；

图41～图44示出在应用了本发明实施例的图像处理方法中的图像数据的不同流程的框图；

图45A和图45B是示出在应用了本发明实施例的图像处理方法中的图像数据的另一种存储器访问方法的示意图；

图46是示出在应用了本发明实施例的图像处理方法中的图像数据的不同流程的框图；

图47A～图47C、图48A和图48B、以及图49A和图49B是示出在应用了本发明实施例的图像处理方法中的图像数据的不同存储器访问操作的示意图；

图50和图51是示出通过图1的图像拾取设备的第一和第二图像叠加处理实例的流程的示图；

图52和图53是示出图51的第二图像叠加处理实例的处理操作的流程图；

图54是示出通过图1的图像拾取设备的第三图像叠加处理实例的流程的示图；

图55和图56是示出图54的第三图像叠加处理实例的处理操作的流程图；以及

图57A和图57B以及图58～图62是示出通过图1的图像拾取设备的块匹配处理的示意图。

具体实施方式

下面，将描述使用根据本发明的图像处理方法的图像处理设备。所述图像处理设备作为图像拾取设备而形成。此外，通过图像处理设备、使用所检测的运动矢量来执行的处理为叠加多个图像，从而实现降噪。

[图像处理设备]

在下面所描述的图像拾取设备中，例如，如图2A和图2B所示，将连续拾取的多个图像(例如，图像P1、P2以及P3)使用运动检测和运动补偿彼此相对地定位，随后彼此叠加，使得生成经降噪的图像Pmix。具体地，由于多个图像具有随机噪声，所以如果相同组分的图像彼此叠加，则能够降低图像中的噪声。

在下面所给出的描述中，被用于叠加多个图像从而降噪的运动检测和运动补偿称作NR(降噪)操作，而通过NR操作降噪的图像称作NR图像。

在本说明书中，应该执行降噪的画面或图像被定义为目标画面或目标帧，而待叠加的画面被定义为参考画面或参考帧。由于图像拾取人的相机震动，被连续拾取的两个图像位置发生偏移。因此，为了叠加两个图像，它们的定位是非常重要的。此处，不仅应该考虑诸如相机震动的整个画面的这种震动的存在，而且应该考虑画面中图像拾取目标的运动的存在。

因此，为了关于图像拾取目标也提升降噪效果，如图3所示，需要定位通过分割目标帧100所生成的多个块102中的每一个。

因此，在本实施例中，为所有块102检测块运动矢量104B(其为以目标块102为单位的运动矢量)，并且对于每个块102，将相应的块运动矢量104B用于执行定位，并且进行图像的叠加。

在本实施例的图像拾取设备中，在静止图片的图像拾取时，高速拾取多个图像，并且将第一图像确定为目标帧100，同时，将预定数目的所拾取图像确定为参考帧101，从而执行图像的叠加。随后，通过叠加所获取的图像被记录为静止图片拾取图像。具体地，如果图像拾取人按下图像拾取设备的快门按钮，则高速拾取预定数目的图像，并且在首先拾取的图像或帧上，叠加随后拾取的多个图像或帧。

另一方面，在运动图片的图像拾取时，将当前从图像拾取设备所输出的当前帧的图像确定为目标帧100的图像，并且将在时间上先于该图像的图像确定为参考帧101的图像。因此，为了执行当前帧的图像的降噪，将先前帧的图像叠加到当前帧上。

需要注意，在图4和图5的叠加方法中，在所要记录的运动图片的帧率为60fps(帧/秒)的情况下，来自图像拾取元件的帧率为60fps的两个图像帧被叠加，从而获取经降噪的帧率为60fps的图像拾取图像信号。

但是，在图像拾取设备被配置为使得所拾取的图像以更高的速度(例如，240fps的高帧率)从图像拾取设备中输出的情况下，即使在图像拾取运动图片时，也能通过每4个图像的叠加而产生一个运动图片帧，从而获得帧率为60fps的拾取图像信号。当然，也能够以与刚刚所描述的类似的方式来叠加240fps的所拾取运动图片图像的两个图像帧，从而获取帧率为240fps且经降噪的所拾取图像信号。

应该注意，在本实施例中，为了能够以更高精度执行图像的叠加，以比处理目标图像的像素间距的精度(后被提及的精度在下文中被称作像素精度)更高的精度(即，比初始画面(目标帧)的像素间距更小的间距的更高精度(更高的精度在下文中被称作亚像素精度))来检测块运动矢量。对于亚像素精度的运动矢量计算，在本实施例中，以像素精度所确定的运动矢量和邻近的参考矢量被用于执行内插处理。

图1示出作为本发明的图像处理设备的图像拾取设备。

参照图1，所示的图像拾取设备包括被连接至系统总线2的CPU(中央处理单元)1、图像信号处理系统10、用户操作输入部3、图像存储部4、记录和再生设备部5等。需要注意，尽管没有在图1中示出，CPU 1还包括用于存储执行各种软件处理的程序的ROM(只读存储器)、用于工作区的RAM(随机存取存储器)等。

如果图1的图像拾取设备的图像信号处理系统10通过用户操作输入部3接收到拾取图像记录启动操作，则执行例如如下文所述的拾取图像数据的记录处理。此外，如果图1的图像拾取设备的图像信号处理系统10通过用户操作输入部3接收到所拾取并被记录的图像的再生启动操作，则对记录在记录和再生设备部5的记录介质上的拾取图像数据执行再生处理。需要注意，下文中所描述的图像信号处理系统10的各组件通过控制寄存部7接收用户操作输入部3的控制命令，并且在用户操作输入部3的控制下执行独立的处理。

在图像信号处理系统10中，来自图像拾取对象通过包括图像拾取透镜10L的相机光学系统(未示出)的入射光照射在图像拾取器件11上，从而执行图像拾取。在本实施例中，由CCD(电荷耦合器件)成像器构成图像拾取器件11。需要注意，可以用CMOS(互补金属氧化物半导体)成像器构成图像拾取器件11。

在图像拾取设备中，如果执行图像拾取和记录启动操作，则通过图像拾取透镜10L所输入的图像通过图像拾取器件11转换成拾取图像信号。因此，输出作为由三原色红(R)、绿(G)和蓝(B)所构成的贝尔阵列(Bayer array)的RAW信号的模拟拾取图像信号，作为与来自定时信号发生部12的定时信号同步的信号。所输出的模拟拾取图像信号被提供至预处理部13，通过该部执行诸如缺陷校正和γ校正的预处理。随后，所得的模拟拾取图像信号被提供至数据转换部14。

数据转换部14将作为输入其中的RAW信号的模拟拾取图像信号转换成由亮度信号组分Y和色差组分Cb/Cr所构成的数字拾取图像信号(YC数据)。数字拾取图像信号被提供至图像校正和分辨率转换部15。图像校正和分辨率转换部15将数字拾取图像信号转换成具有通过用户操作输入部3所指定的分辨率的数字拾取图像信号，并且将所得的数字拾取图像信号通过系统总线2提供至图像存储部4。

如果通过用户操作输入部3所接收的图像拾取指示为通过按下快门按钮引起的静止图片图像拾取指示，则对于上述多个帧，通过图像校正和分辨率转换部15进行分辨率转换所获取的数字拾取图像信号被写入图像存储部4中。随后，在对于多个帧的图像的拾取图像数据被写入图像存储部4后，通过运动检测和运动补偿部16读出目标帧的图像数据和参考帧的图像数据。随后，对于在运动检测和运动补偿部16中所读取的图像数据执行下文中所描述的块匹配处理，以检测运动矢量。随后，通过图像叠加部17根据所检测的运动矢量执行下文中所描述的图像叠加处理。作为叠加的结果，经降噪的NR图像的图像数据被存储在图像存储部4中。

随后，通过静止图片编码译码部18来编码译码转换存储在图像存储部4中的叠加结果的NR图像的图像数据，并且通过系统总线2将其存储在诸如DVD(数字通用光盘)或硬盘的记录和再生设备部5的记录介质中。在本实施例中，静止图片编码译码部18对JPEG(联合图像专家组)系统的静止图片执行图像压缩编码处理。

此外，在这样的静止图像拾取时，在按下快门按钮之前，来自图像校正和分辨率转换部15的图像数据被提供至NTSC(国家电视系统委员会)编码器20，通过该编码器将其转换成NTSC系统的标准彩色图像信号。随后，标准彩色图像信号被提供至例如LCD(液晶显示器)设备构成的监控显示设备6，并且静止图像拾取时的监控图像显示在监控显示设备6的显示屏上。

另一方面，如果通过用户操作输入部3所接收的图像拾取指示是通过按下运动图片记录按钮而获得的运动图片图像拾取命令，则通过分辨率转换所获取的图像数据被写入图像存储部4，并且被实时地发送至运动检测和运动补偿部16。通过运动检测和运动补偿部16，执行如下文所述的块匹配处理，从而检测运动矢量。随后，通过图像叠加部17根据所检测出的运动矢量来执行如下文所述的图像叠加处理。随后，通过作为叠加结果的降噪所获取的NR图像的图像数据被存储在图像存储部4中。

随后，作为在图像存储部4中所存储的叠加结果的NR图像的图像数据通过NTSC编码器20输出至监控显示设备6的显示屏，并且随后通过运动图片编码译码部19进行编码译码转换。此后，图像数据通过系统总线2提供至记录和再生设备部5，并且被记录在诸如DVD或硬盘的记录介质上。在本实施例中，静止图片编码译码部18对MPEG(运动图片专家组)系统的运动图片执行图像压缩编码处理。

响应于通过用户操作输入部3的再生启动操作，在记录和再生设备部5的记录介质上记录的拾取图像数据被读出，并且被提供给运动图片编码译码部19并由其为再生进行解码。随后，为再生进行解码的图像数据通过NTSC编码器20被提供至监控显示设备6，并且图像数据的再生图像显示在监控显示设备6的显示屏上。需要注意，尽管未示出，但是NTSC编码器20的输出图像信号能够通过图像输出终端被导至外部。

能够通过硬件配置上述运动检测和运动补偿部16，并且也能够使用DSP(数字信号处理器)配置该部。此外，运动检测和运动补偿部16可以通过CPU1配置为软件处理。

运动检测和运动补偿部16

在本实施例中，参照图57～图62，运动检测和运动补偿部16基本上通过执行使用上文所述的SAD值的块匹配处理来执行运动矢量检测。但是，在本实施例中，运动检测和运动补偿部16由如下文所述的硬件构成，并且通过通用硬件执行分级块匹配处理。此外，如下文所述，通用硬件能够实现静止图片的降噪处理和运动图片的降噪处理。

<实施例中的分级块匹配处理的概要>

根据通过过去的块匹配进行的常用运动矢量检测处理，参考块以像素为单位(以一个像素为单位或以多个像素为单位)连续移动，并且计算关于在各个移动位置处的参考块的SAD值。随后，检测出这些由此计算的SAD值中具有最小值的SAD值，并且根据具有最小SAD值的参考块的位置来检测运动矢量。

但是，由于通过如上所述的传统的运动矢量检测处理，参考块在搜索范围内以像素为单位移动，所以用于计算SAD值的块匹配处理的次数与搜索范围成比例增加。这样带来一个问题，即，需要很长的匹配处理时间，并且对于SAD表需要增加容量。

因此，在本实施例中，由目标图像或目标帧形成缩小的图像，该图像被用于块匹配，并且根据对缩小图像的运动检测的结果执行对初始目标图像的块匹配。需要注意，缩小图像在下文中被称作缩小面，并且不具有缩小形式的初始图像在下文中被称作基础面。因此，在本实施例中，在缩小面上执行块匹配，然后使用块匹配的结果对基础面执行块匹配。

图6和图7分别示出了目标帧或图像及参考帧或图像的图像缩小。具体地，在本实施例中，例如，如图6所示，基础面目标帧130在水平方向和垂直方向的每个方向上均被减小至1/n(n为正数)，从而生成缩小面目标帧132。因此，通过将基础面目标帧130分割成多个部分所生成的基础面目标块131变成在水平方向和垂直方向上被缩小至1/n×1/n的缩小面目标块133。

随后，根据目标帧的图像再生倍率1/n来缩小参考帧。具体地，如图7所示，基础面参考帧134在水平方向和垂直方向上被缩小至1/n，从而形成缩小面参考帧135。随后，检测出关于对基础面参考帧134所检测的运动补偿块103的运动矢量104，作为被减小至1/n×1/n的缩小面运动矢量136。

需要注意，虽然在上述实例中目标帧和参考帧的图像再生倍率彼此相等，但是为了减小数学运算量，可以将不同的图像缩小倍率应用于目标帧或图像以及参考帧或图像，而通过诸如像素内插的处理调节两个帧的彼此的像素数来执行匹配。

此外，虽然上述缩小倍率在水平方向和垂直方向上彼此相等，但是它们也可以彼此不同。例如，如果水平方向上的缩小倍率设置为1/n而垂直方向上的缩小倍率设置为1/m(m为正数，并且n≠m)，则缩小画面具有初始画面的1/n×1/m的大小。

图8A～图8C示出了缩小面参考矢量和基础面参考矢量之间的关系。如果以如图8A所示的方式确定基础面参考帧134的运动检测原点105和搜索范围106，则在被缩小至1/n×1/n的缩小面参考帧135上，搜索范围变为如图8B所示被缩小至1/n×1/n的缩小面搜索范围137。

此外，在本实施例中，在缩小面搜索范围137内设置表示在缩小面参考帧135上从运动检测原点105的位置偏移量的缩小面参考矢量138。随后，评价在这样的缩小面参考矢量138所指示的位置处的缩小面参考块139与缩小面目标块133(在图8A～图8C中未示出)之间的相关性。

在这种情况下，由于在缩小面上执行块匹配，所以能够减少通过缩小面参考帧135对SAD值的计算所涉及的缩小面参考块位置(缩小面参考矢量)数。因此，通过减少SAD值的计算次数(即，匹配处理的次数)，能够提高所述处理速度，并且能够减小SAD表的规模。

如图9所示，根据在多个缩小面参考块139与基础面目标块131(它们设置在依赖于缩小面搜索范围137的缩小面匹配处理范围143内)之间的块匹配，通过相关性评价来计算缩小面参考帧135的缩小面运动矢量136。由于图像具有1/n×1/n的缩小规模，所以缩小面运动矢量136的精度低至一个像素的精度的1/n。因此，即使所计算的缩小面运动矢量136增加至n倍，也不能通过基础面参考帧134获得一个像素精度的运动矢量104。

但是，很明显，在基础面参考帧134中，一个像素精度的基础面运动矢量104存在于通过将缩小面运动矢量136增大至n倍所获得的运动矢量附近。

因此，在本实施例中，如图8C和图9所示，在基础面参考帧134的小范围内设置基础面搜索范围140，该小范围被认为在通过将缩小面运动矢量136乘以n所获取的运动矢量(即，基础面参考矢量141)所指示的位置周围包括基础面运动矢量104的，并且响应于这样所设置的基础面搜索范围140来设置基础面匹配处理范围144。

随后，如图8C所示，在基础面参考帧134中的基础面参考矢量141被设置为指示在基础面搜索范围140中的位置的标记，并且基础面参考块142被设置在通过基础面参考矢量141所指示的位置处，从而运行基础面参考帧134的块匹配。

如图9所示，与通过将缩小面搜索范围137和缩小面匹配处理范围143乘以n(为缩小倍率的倒数)所获得的缩小面搜索范围137′和匹配处理范围143′相比，这样所设置的基础面搜索范围140和基础面匹配处理范围144可以为非常小的范围。

因此，在仅关于基础面执行了块匹配处理而没有执行分级匹配的情况下，需要在基础面上的缩小面搜索范围137′和匹配处理范围143′内设置多个参考块，从而执行确定目标块的相关值的数学运算。但是，在分级匹配处理中，如图9所示，仅需要在这种非常小的范围内执行匹配处理。

因此，在小范围的基础面搜索范围140和基础面匹配处理范围144中所要设置的基础面参考块数非常少。因此，可以得到如下效果：匹配处理的执行次数(即，相关值的数学运算次数)和所要保留的SAD值可变得非常小，并且可以提高处理速度，除此之外还能够减小SAD表的规模。

在以这种方式在基础面参考帧134中成功检测像素精度的缩小面运动矢量136后，通过缩小面运动矢量136所指示的参考块的SAD值(即，最小SAD值)和最小SAD值附近的相邻SAD值被用于执行二次曲线近似内插处理，从而计算亚像素精度的高精度运动矢量。

将描述亚像素精度的高精度运动矢量。在上述块匹配技术中，因为以像素为单位执行块匹配，所以仅能够以像素精度检测运动矢量。执行匹配处理的位置(即，参考块的位置)以像素精度存在，并且为了计算更高精度的运动矢量，需要以亚像素为单位的匹配处理。

如果为了计算N倍像素精度(像素间距被减小至1/N)的运动矢量而以N倍像素单位执行匹配处理，则SAD表的大小增加约N²倍，并且需要非常大存储容量的存储器。此外，对于块匹配处理，需要生成被上采样至N倍的图像，并且硬件的规模急剧增大。

因此，尝试使用二次曲线内插SAD表，从而通过SAD表(对其以像素为单位执行匹配处理)来计算亚像素精度的运动矢量。在这种情况下，尽管可以执行线性内插或三次以上的更高次的近似曲线内插，而不是二次线性近似内插，但是在精度与硬件之间的权衡，在本实例中使用二次曲线近似内插。

在二次曲线近似内插中，如图10所示，在通过像素精度的基础面运动矢量104所指示的SAD表的SAD值中的最小SAD值Smin(参照图10中的参考数字113)和位于与最小SAD值Smin的位置邻近的位置的多个SAD值(下文中，被称作邻近SAD值)(在图10所示的实例中，在X方向和Y方向与最小SAD值Smin的位置邻近的4个邻近SAD值Sx1、Sx2、及Sy1、Sy2(参考图10中的参考数字114、115、116及117))被使用。

参照图11，如果SAD值中的最小SAD值Smin与在X或水平方向上的两个邻近点的邻近SAD值Sx1、Sx2用于拟合二次近似曲线118，则二次近似曲线118的最小值的坐标为在亚像素精度的SAD值中具有最小值SXmin的运动矢量(高精度运动矢量)的X坐标Vx。通过下面的表达式(1)表示二次曲线近似内插：

SXmin＝1/2×(Sx2-Sx1)/(Sx2-2Smin+Sx1)...(1)

通过上面的计算表达式(1)所确定的亚像素精度的SAD值中通过最小值SXmin在SAD表中所获取的X坐标为提供亚像素精度的SAD值中最小值的X坐标Vx。

计算表达式(1)中的除法能够通过多次减法来实现。如果所要确定的亚像素精度为例如等于1/4初始像素间距的像素间距的精度，则仅通过两次减法就能确定该除法。因此，电路规模很小，且数学运算所需的时间很短，并且能够实现与比二次近似曲线内插复杂得多的三次曲线内插的几乎相同的性能。

类似地，在SAD值中的最小SAD值Smin和在Y方向或垂直方向上与最小SAD值Smin邻近的两个点的邻近SAD值Sy1和Sy2用于拟合二级近似曲线。因此，取得最小值SYmin的Y坐标为提供亚像素精度的SAD值中最小值的Y坐标Vy。通过下面的表达式(2)表示二次曲线近似内插：

SYmin＝1/2×(Sy2-Sy2)/(Sy2-2Smin+Sy1)...(2)

通过以上述方式对X方向和Y方向的二次曲线执行两次近似，确定亚像素精度的高精度的运动矢量(Vx，Vy)。

虽然在上面的描述中，使用了SAD值中的最小值和在X方向或水平方向及Y方向或垂直方向上各自的两个邻近点的SAD值，但是在X或Y方向上各自的邻近SAD值的数量可以为两个以上。此外，近似二次曲线不仅可以在X和Y方向拟合，而且可以在斜向方向拟合。

图12中示出了通过使用如上所述的方式和步骤，由像素单位的精度的SAD表的值获得亚像素精度的矢量检测结果。在图12中，横坐标轴表示内插倍率，并且代表分辨率在一维方向上增至多少倍。由于SAD表是二维的，所以当表的面积以平方比例降低时，内插误差大约以线性增大，故可以了解到上述内插方法的有效性。

<运动检测和运动补偿部16的构造实例>

图13示出运动检测和运动补偿部16的构造实例。参照图13，运动检测和运动补偿部16包括：目标块缓冲单元161，用于保留目标块102的像素数据；参考块缓冲单元162，用于保留参考块108的像素数据；以及匹配处理单元163，用于计算目标块102和参考块108的相应像素的SAD值。运动检测和运动补偿部16进一步包括：运动矢量计算单元164，用于通过从匹配处理单元163所输出的SAD值的信息来计算运动矢量；以及控制单元165，用于控制运动检测和运动补偿部16的其他组件。

运动检测和运动补偿部16和图像存储部4彼此通过系统总线2连接。具体地，在所示的实例中，总线接口21和另一个总线接口22分别连接在系统总线2与目标块缓冲单元161、以及系统总线2与参考块缓冲单元162之间。此处，AXI互连用作系统总线2的协议。

在静止图片的图像拾取时，来自图像存储部4中存储的缩小面目标图像Prt或基础面目标图像Pbt的缩小面目标块或基础面目标块写入目标块缓冲单元161。对于缩小面目标图像Prt或基础面目标图像Pbt而言，在按下快门按钮后的第一拾取图像帧的图像被作为目标帧102写入。随后，当基于块匹配与参考图像进行图像叠加时，缩小面目标图像Prt或基础面目标图像Pbt被重新写入通过图像叠加所获得的NR图像。在本实施例中，基础面目标图像Pbt和缩小面目标图像Prt的图像数据没有被减少。

来自图像存储部4中存储的缩小面参考图像Prr或基础面参考图像Pbr的图像帧的缩小面参考块或基础面参考块被写入参考块缓冲单元162中。对于缩小面参考图像Prr或基础面参考图像Pbr而言，在第一图像拾取帧后的图像拾取帧被作为参考帧108写入。

在这种情况下，在多个被连续拾取的拾取图像被提取，同时执行图像的叠加处理(这在下文中称作拾取中加算)的情况下，在第一图像拾取帧之后的图像拾取帧被逐一地连续提取，作为基础面参考图像和缩小面参考图像。因此，仅需要保留一个图像拾取帧作为基础面参考图像和缩小面参考图像。

但是，在多个被连续拾取的拾取图像被提取后，运动检测和运动补偿部16及图像叠加部17在执行运动矢量检测后执行图像的叠加(这被称作拾取后加算)的情况下，需要存储并保留在第一拾取图像后的所有多个拾取图像，作为基础面参考图像和缩小面参考图像。

尽管图像拾取设备能够使用拾取中加算和拾取后加算，但是，在本实施例中，尽管会需要很长的处理时间，但考虑到需要经降噪的精确图像，所以采用拾取后加算的处理进行静止图片NR处理。在下文中详细描述在本实施例中的静止图片NR处理。

另一方面，在运动图片的图像拾取时，将拾取图像帧作为目标帧102从图像校正和分辨率转换部15输入至运动检测和运动补偿部16。从来自图像校正和分辨率转换部15的目标帧提取出的目标块被写入目标块缓冲单元161中。同时，目标帧的前一个并且被存储在图像存储部4中的拾取图像帧被确定为参考帧108，并且来自参考帧(基础面参考图像Pbr或缩小面参考图像Prr)的参考块被写入参考块缓冲单元162。

在运动图片的图像拾取时，仅需要保留被用于与来自图像校正和分辨率转换部15的目标帧进行块匹配的前一个拾取图像帧作为基础面参考图像Pbr或缩小面参考图像Prr。在图像存储部4中所要保留的图像信息可以仅为一个帧的信息。因此，在本实施例中，基础面参考图像Pbr或缩小面参考图像Prr没有被缩小。

匹配处理单元163对在目标块缓冲单元161中所存储的目标块和在参考块缓冲单元162中所存储的参考块执行在上文中参照图57～图62所描述的块匹配处理。

此处，为了检测在块匹配处理过程中目标块与参考块之间的相关度，在这个实施例中，图像数据的亮度信息还被用于执行SAD值计算，检测出最小SAD值，并且检测出具有最小SAD值的参考块作为最高相关性参考块。

需要注意，为了计算SAD值，不仅可以使用亮度信息，也可以使用色差信号或三原色信号R、G及B的信息。此外，在计算SAD值时，尽管通常使用块中的所有像素，但是为了减小数学运算量，可以仅使用通过采集间隔位置处的像素的像素值。

运动矢量计算单元164从匹配处理单元163的匹配处理结果检测关于目标块的参考块的运动矢量。在本实施例中，运动矢量计算单元164进一步具有检测并保留SAD值中的最小值、并且保留具有最小SAD值的参考矢量附近的不同参考矢量的多个SAD值、并执行例如二次曲线近似内插处理从而检测亚像素精度的高精度运动矢量的功能。

控制单元165在CPU1的控制下控制运动检测和运动补偿部16的分级块匹配处理的处理操作。

<目标块缓冲器161的构造实例>

图14中示出了目标块缓冲器161的构造实例。参照图14，所示的目标块缓冲器161包括基础面缓冲器件1611、缩小面缓冲器件1612、缩小处理器件1613及选择器1614、1615和1616。尽管没有在图14中被示出，但是通过来自控制单元165的选择控制信号来控制和选择选择器1614、1615和1616。

设置基础面缓冲器件1611，用于临时存储基础面目标块。基础面缓冲器件1611将基础面目标块发送至图像叠加部17，并且将基础面目标块提供至选择器1616。

设置缩小面缓冲器件1612，用于临时存储缩小面目标块。缩小面缓冲器件1612将缩小面目标块提供至选择器1616。

设置缩小处理器件1613，用于生成缩小面目标块，这是由于如上所述在运动图片的图像拾取时将目标块从图像校正及分辨率转换部15发送至其中。来自缩小处理器件1613的缩小面目标块被提供至选择器1615。

选择器1614响应于来自控制单元165的选择控制信号，在运动图片的图像拾取时，选择并输出来自图像校正和分辨率转换部15的目标块(底部图像目标块)，但是在静止图片的图像拾取时，选择并输出来自图像存储部4的基础面目标块或缩小面目标块。选择器1614的输出被提供至基础面缓冲器件1611、缩小处理器件1613以及选择器1615。

选择器1615响应于来自控制单元165的选择控制信号，在运动图片的图像拾取时，选择性地输出来自缩小处理器件1613的缩小面目标块，但是在静止图片的图像拾取时，选择性地输出来自图像存储部4的缩小面目标块。选择器1615的输出被提供至缩小面缓冲器件1612。

选择器1616响应于来自选择器1615的选择控制信号，在缩小面之间的块匹配时，选择性地输出来自缩小面缓冲器件1612的缩小面目标块，但是在基础面之间的块匹配时，选择性地输出来自基础面缓冲器件1611的基础面目标块。从选择器1616所输出的缩小面目标块或基础面目标块被发送至匹配处理单元163。

<参考块缓冲单元162的构造实例>

图15中示出了参考块缓冲单元162的构造实例。参照图15，参考块缓冲单元162包括基础面缓冲器件1621、缩小面缓冲器件1622以及选择器1623。尽管没有在图15中被示出，但是通过来自控制单元165的选择控制信号来控制并选择选择器1623。

基础面缓冲器件1621临时存储来自图像存储部4的基础面参考块，并将基础面参考块提供至选择器1623，除此之外，将基础面参考块作为运动补偿块发送至图像叠加部17。

缩小面缓冲器件1622临时存储来自图像存储部4的缩小面参考块。缩小面缓冲器件1622将缩小面参考块提供至选择器1623。

选择器1623响应于来自控制单元165的选择控制信号，在缩小面之间的块匹配时，选择性地输出来自缩小面缓冲器件1622的缩小面参考块，但是在基础面之间的块匹配时，选择性地输出来自基础面缓冲器件1621的基础面参考块。从选择器1623所输出的缩小面参考块或基础面参考块被发送至匹配处理单元163。

<图像叠加部17的构造实例>

图16示出了图像叠加部17的构造实例。参照图16，图像叠加部17包括加算率计算单元171、加算单元172、基础面输出缓冲单元173、缩小面生成单元174以及缩小面输出缓冲单元175。

图像叠加部17和图像存储部4通过系统总线2彼此连接。具体地，在所示的实例中，总线接口部23和另一个总线接口部24分别连接在系统总线2与基础面输出缓冲单元173、以及系统总线2与缩小面输出缓冲单元175之间。

加算率计算单元171接收来自运动检测和运动补偿部16的目标块和运动补偿块，并根据所采用的加算方法为简单加算方法还是平均加算方法来确定两个块的加算率。随后，加算率计算单元171将所确定的加算率与目标块和运动补偿块一起提供至加算单元172。

加算单元172的加算结果的基础面NR图像通过基础面输出缓冲单元173和总线接口部23被写入图像存储部4。此外，加算单元172的加算结果的基础面NR图像通过缩小面生成单元174被转换成缩小面NR图像。来自缩小面生成单元174的缩小面NR图像通过缩小面输出缓冲单元175和总线接口部24被写入图像存储部4。

现在，描述图像叠加中的简单加算方法和平均加算方法。

在多个图像待叠加的情况下，如果以1:1的亮度关系来叠加，则动态范围增大至两倍。因此，如果希望叠加低亮度的图像来提高图像的灵敏度，同时应用NR(降噪)，则优选以1:1的关系增加亮度的方法。这种方法为简单加算方法。

另一方面，在亮度能够被保证的条件下将NR应用于所拾取的图像时，优选使用总亮度变为1而不会增大动态范围的加算方法。这就是平均加算方法。

图17和图18示出了简单加算方法及该方法的处理结果。根据简单加算方法，第一图像(目标图像Org0)和第二图像(运动补偿图像MC1)原样相加，从而获取具有双倍动态范围的输出图像NR1。随后，将第三图像(运动补偿图像MC2)加至输出图像NR1。对K个运动补偿图像重复这个过程，生成具有K倍动态范围的图像(参照图18)。此时，由于噪声组分在时间上是分散的，所以即使重复这种加算，噪声组分的绝对值也保持固定。

在简单加算系统中，如图17所示，当加算率变化时，在通过α表示运动补偿图像MCi(i＝1，2，...，K)的加算率的情况下，目标图像的倍增系数为1+(1-α)/K。

图19和图20示出了平均加算方法及该方法的处理结果。在平均加算方法中，第一图像(目标图像Org0)和第二图像(运动补偿图像MC1)这样相加：设置运动补偿图像的加算率α使得图像的亮度总和变为1。

在平均加算方法中，在通过α表示运动补偿图像MCi(i＝1，2，...，K)的加算率的情况下，目标图像的倍增因子变为1-α。

在平均加算方法中，最大加算率A被设置为加算率α。加算率α的最大加算率A具有值1/2作为初始值，并且此后响应于运动补偿图像的加算次数K改变至1/K。

在运动补偿图像的加算率α被固定至最大加算率的状态下通过N个图像的加算所获得的图像没有改变动态范围，而是以1/K将所有图像相加(参照图20)。

在本实施例的图像拾取设备中，图像叠加部17根据图像拾取时的条件或设置信息选择性地使用简单加算方法和平均加算方法。例如，响应于图像拾取时的亮度或所拾取图像的亮度信息的检测结果，当期望增大动态范围时，图像叠加部17选择性地使用简单加算方法，而在确保充足的亮度时，选择性地使用平均加算方法。

[拾取图像的降噪处理的概要流程]

<静止图片的图像拾取>

图21和图22中示出了通过具有上述构造的本实施例的图像拾取设备在静止图片的图像拾取时通过图像叠加进行降噪处理的流程图。在CPU1以及由CPU1控制的运动检测和运动补偿部16的控制单元165的控制下，执行图21和图22的流程图的步骤，并且通过图像叠加部17执行这些步骤。

首先，如果快门按钮被按下，则图像拾取设备在CPU1的控制下高速执行多个图像的高速图像拾取。具体地，在静止图片的图像拾取时所要叠加的M(M为等于或大于2的整数)个拾取图像数据(即，M帧的拾取图像数据)被高速提取，并且被置于图像存储部4中(步骤S1)。

随后，将参考帧设置为存储在图像存储部4中的M个图像帧的第N个(N为等于或大于2的整数，但是等于或小于M)。在这种情况下，控制单元165将用于值N的初始值设置为N＝2(步骤S2)。随后，控制单元165将第一图像帧设置为目标图像或帧，并且将第N＝2的图像设置为参考图像或帧(步骤S3)。

随后，控制单元165在目标帧中设置目标块(步骤S4)，并且运动检测和运动补偿部16将来自图像存储部4的目标块读入目标块缓冲单元161(步骤S5)。此外，运动检测和运动补偿部16将在匹配处理范围内的像素数据读入参考块缓冲单元162(步骤S6)。

此后，控制单元165从参考块缓冲单元162中读出在搜索范围内的参考块，并且匹配处理单元163执行分级匹配处理。需要注意，在本实例中，为了保留SAD值中的最小值和邻近值从而执行二次曲线近似内插处理，来自通过匹配处理单元163所计算出的SAD值中的那些SAD值(在下文中进行了描述)被发送至运动矢量计算单元164。在搜索范围内对于所有参考矢量重复这种处理。此后，二次曲线近似内插处理器件执行上述的内插处理，并输出高精度的运动矢量(步骤S7)。

随后，控制单元165根据以如上所述的方式所检测的高精度运动矢量从参考块缓冲单元162中读出运动补偿块(步骤S8)，并且将所读出的运动补偿块与目标块同步地发送至图像叠加部17(步骤S9)。

此后，图像叠加部17执行目标块和运动补偿块的叠加，并将所叠加的块的NR图像数据存储在图像存储部4中。具体地，图像叠加部17将所叠加块的NR图像数据写入图像存储部4中(步骤S10)。

现在，参照图22，控制单元165随后确定是否对于目标帧中的所有目标块完成了块匹配(步骤S11)。如果确定还没有对所有目标块完成块匹配处理，则处理过程返回至步骤S4，在此步骤中，设置目标帧中的下一个目标块。此后，重复步骤S4～S11的处理。

另一方面，如果在步骤S11中确定完成了对于目标帧中所有目标块的块匹配，则控制单元165确定是否完成了对于所有待叠加的参考帧的处理，即，是否M＝N(步骤S12)。

如果在步骤S12中确定M≠N，则N被加1(即，N＝N+1)(步骤S13)。随后，控制单元165将在步骤S10中通过叠加所生成的NR图像设置为目标图像或目标帧，并且将第N＝N+1个的图像设置为参考图像或参考帧(步骤S14)。此后，处理过程返回至图21的步骤S4，重复从步骤S4开始的处理步骤。简而言之，在M等于或大于3的情况下，关于所有目标块通过叠加所获取的图像被设置作为目标图像，在第三图像之后的图像被设置为参考帧。随后，对于目标图像和参考帧重复上述处理。随后，如果在步骤S12中确定M＝N，则本处理程序结束。

需要注意，M个拾取图像的叠加结果的NR图像的图像数据被静止图片编码译码部18压缩编码，随后被提供至记录和再生设备部5，通过该部将其记录在记录介质中。

需要注意，虽然对于静止图像的降噪处理方法包括在图像存储部4中进行M个图像数据的存储，但是也可以每拾取一个图像就执行叠加。在这种情况下，由于图像存储部4中所要存储的图像帧数仅为一个，所以与图21和图22的处理程序的降噪处理方法相比，尽管需要更长的图像拾取间隔，但是能够使存储器成本最小化。

<运动图片的图像拾取>

图23中示出了通过本实施例的图像拾取设备在运动图片的图像拾取时进行图像叠加的降噪处理的流程图。也是在CPU 1和由CPU 1控制的运动检测和运动补偿部16的控制单元165的控制下来执行图23的流程图的步骤。如果用户操作运动图片记录按钮，则CPU 1发出指令，启动图23的处理。

在本实施例中，运动检测和运动补偿部16被配置为适于以目标块为单位执行匹配处理。因此，参照图23，图像校正和分辨率转换部15在CPU 1的控制下保留帧图像，并且以目标块为单位将图像数据发送至运动检测和运动补偿部16(步骤S21)。

被发送至运动检测和运动补偿部16的目标块的图像数据被存储至目标块缓冲单元161中。随后，控制单元165相应于目标块设置参考矢量(步骤S22)，并且将来自图像存储部4中的匹配处理范围内的图像数据读入参考块缓冲单元162(步骤S23)。

随后，匹配处理单元163和运动矢量计算单元164执行通过分级块匹配的运动检测处理(步骤S24)。具体地，匹配处理单元163首先计算关于缩小面的缩小面目标块的像素值与缩小面参考块的像素值之间的SAD值，并且将所计算出的SAD值发送至运动矢量计算单元164。匹配处理单元163重复所描述的用于在搜索范围内的所有缩小面参考块的处理。如果对于在搜索范围内的所有缩小面参考块完成了SAD值的计算，则运动矢量计算单元164指定最小SAD值以检测缩小面运动矢量。

控制单元165将通过运动矢量计算单元164所检测的缩小面运动矢量乘以缩小率的倒数，从而将缩小面运动矢量转换成基础面上的运动矢量。随后，控制单元165确定在基础面上以通过所述转换获得的矢量所指示的位置为中心的区域作为基础面上的搜索范围。随后，控制单元165控制匹配处理单元163，在搜索范围内执行基础面的块匹配处理。匹配处理单元163计算基础面目标块的像素值与基础面参考块的像素值之间的SAD值，并将所计算出的SAD值发送至运动矢量计算单元164。

在搜索范围中对于所有缩小面参考块完成了SAD值的计算后，运动矢量计算单元164指定最小SAD值来检测缩小面运动矢量，并且指定与缩小面参考块邻近的SAD值。随后，运动矢量计算单元164使用SAD值执行上述的二次曲线近似内插处理，并输出亚像素精度的高精度运动矢量。

此后，控制单元165根据在步骤S24中所计算的高精度运动矢量从参考块缓冲单元162中读出运动补偿块的图像数据(步骤S25)，并且在随后的阶段将图像数据与目标块同步地发送至图像叠加部17(步骤S26)。

图像叠加部17执行目标块和运动补偿块的叠加。随后，图像叠加部17通过NTSC编码器20将叠加结果的NR图像的图像数据输出至监控显示设备6，使得运动图片记录监控被执行。此外，图像叠加部17通过运动图片编码译码部19将NR图像的图像数据发送至监控显示设备6，从而将其记录在记录介质中(步骤S27)。

此外，通过图像叠加部17的叠加所获得的图像被存储至图像存储部4中，从而被用作用于下一个帧(即，用于下一个目标帧)的参考帧(步骤S28)。

随后，CPU 1确定用户是否执行运动图片记录停止操作(步骤S29)。如果确定用户没有执行运动图片记录停止操作，则CPU 1发出指令，从而处理过程返回至步骤S21，并重复从步骤S21开始的处理步骤。另一方面，如果在步骤S29中确定用户执行了运动图片记录停止操作，则CPU 1结束这个处理程序。

虽然在上述运动图片的降噪处理的处理程序中，一个帧之前的图像帧被设置为参考帧，但是超过一个帧的之前的另一个帧也可以用作参考帧。也可以将一个帧之前的图像和两个帧之前的另一个帧都存储在图像存储部4中，并且根据两幅图像的图像信息的内容选择性地使用两幅图像帧中的其中一幅。

通过使用如上所述方式、程序以及系统构造，通过一个用于块匹配处理的通用硬件就能执行静止图片降噪处理和运动图片降噪处理。

[运动矢量计算单元164]

将描述运动矢量计算单元164的构造和操作的实例。

在众所周知的运动矢量计算单元的实例中，生成存储搜索范围内的所计算的所有SAD值的SAD表TBL，并且从SAD表TBL内检测出最小SAD值。随后，相应于具有最小SAD值的参考块的位置的参考矢量被作为运动矢量而计算。随后，在执行二次曲线近似内插的情况下，从SAD表TBL中提取出在最小SAD值附近的多个SAD值(在所示出的实例中为4个值)，并且这些SAD值被用于执行内插处理。因此，这种方法需要具有用于SAD表TBL的大存储容量的存储器。

在下面所述的实例中，没有生成存储搜索范围内所计算的所有SAD值的SAD表TBL，从而能够减小电路规模，并且能够减少处理时间。

<运动矢量计算单元164的第一实例>

如上所述，块匹配处理包括将通过参考矢量所指示的位置设置为参考块的位置并且计算每个这种参考块的每个像素与目标块的每个像素的SAD值。随后，对于在搜索范围内所有参考矢量所指示的位置处的参考块执行计算处理。

此处，在改变搜索范围内的参考块的位置以搜索运动补偿块的情况下，可以使用多种方法，例如，从画面或帧的一端开始顺序执行搜索的方法和从画面或帧的中心向外部执行搜索的另一种方法。但是，在本实施例中，采用了重复以下步骤的搜索方法，其中，设置如图24A中的箭头标志所示的搜索方向，并且从搜索范围的左上角开始在水平方向上进行搜索，随后，在一行的搜索结束后，在垂直方向上在该行下面的另一行上，从其左侧开始在水平方向上进行搜索。

具体地，如图24B所示，在搜索范围106内，从搜索范围106的左上角开始在水平方向上连续设置参考块108，并对于每一个这样的参考块108执行搜索，并且对于每一个参考块108执行SAD值的计算。因此，如图24C所示，相应的SAD表也从其左上角开始在水平方向上被连续填充。在这种情况下，对于匹配处理所实际使用的像素数据范围为相应于如上所述的参考块108的大小的匹配处理范围110。

如参照图10～图11在上文所述的一样，为了执行亚像素精度的高精度二次曲线近似内插处理，应确定在SAD值中的最小SAD值Smin和邻近SAD值Sx1、Sx2、Sy1及Sy2。

如果当计算关于每个参考块的SAD值时，所计算出的SAD值和至当时为止的SAD值中的最小值被互相比较，并且随后，如果所计算出的SAD值小于至当时为止的SAD值中的最小值，则所计算出的SAD值作为最小值被保留，并且该SAD值和当时的参考矢量被保留，随后，可不生成任何的SAD表而确定SAD值中的最小值和取该最小值的参考块的位置信息(即，参考矢量的信息)。

随后，如果所检测出的SAD值的最小值被保留并且在具有最小SAD值的参考块的位置附近的参考块的SAD值被保留作为邻近SAD值，那么，邻近的SAD值也能够在不生成任何SAD表的情况下被保留。

此时，由于在本实例中采用了参照图24A所述的搜索方法，所以如果在以往的SAD表TBL中提供具有用于存储在水平方向上一行的SAD值的容量的存储器(这种存储器在下文中被称作行存储器)，则在计算新的参考块的SAD值时，在SAD表TBL上，如通过图25B中的斜线所示一样，用于在新计算出的最小SAD值121之前所计算出的SAD表TBL的一行的多个参考块的SAD值被作为存储数据122存储在SAD表TBL的行存储器中。

因此，如果新计算出的参考块的SAD值被检测出为最小SAD值，则在SAD表TBL上在比具有最小SAD值121的参考块的位置高一行的位置处的参考块的SAD值123(邻近SAD值(Sy1))和在具有最小SAD值121的参考块位置左侧的位置处的参考块的SAD值124(邻近SAD值(Sx1))能够从如上所述的行存储器中获得。

随后，作为在SAD表TBL中作为在最小SAD值的参考块的位置右侧的位置处的参考块的SAD值的邻近SAD值(Sx2)(参照图25C的参考数字125)，在参考块的位置处所计算出的SAD值可以被保留。类似地，作为在SAD表TBL上作为在新计算出的最小SAD值的参考块的位置下侧的位置处的参考块的SAD值的邻近SAD值(Sy2)(参照图25C的参考数字126)，在随后的参考块的位置处所计算出的SAD值可以被保留。

考虑到前面的描述，运动矢量计算单元164的第一实例具有如图26所示的这种硬件构造。

参照图26，所示的运动矢量计算单元164的第一实例不包括用于保留所有计算出的SAD值的SAD表TBL。更具体而言，所示的运动矢量计算单元164包括SAD值写入器件1641、SAD值比较器件1642以及SAD值保留器件1643。运动矢量计算单元164进一步包括X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645。运动矢量计算单元164进一步包括二次曲线近似内插处理器件1646和用于SAD表TBL的一行的行存储器1647。

SAD值保留器件1643包括用于最小SAD值Smin和邻近SAD值Sx1、Sx2、Sy1及Sy2的保留器件或存储器。在本第一实例中，SAD值保留器件1643将来自最小SAD值保留部中的最小SAD值Smin提供至SAD值比较器件1642。SAD值保留器件1643进一步将所保留的邻近SAD值中在最小SAD值Smin的右侧的邻近SAD值Sx2和在最小SAD值Smin下侧的邻近SAD值Sy2的参考块的位置信息(参考矢量)提供至SAD值写入器件1641。

在本第一实例中，SAD值比较器件1642从匹配处理单元163中接收参考块的位置信息或参考矢量及参考块的SAD值Sin，并且进一步从SAD值保留器件1643的最小SAD值保留部中接收最小SAD值Smin。

随后，SAD值比较器件1642将来自匹配处理单元163的在该时间点计算出的SAD值Sin与来自SAD值保留器件1643的最小SAD值保留部中的最小SAD值Smin互相比较。随后，如果来自匹配处理单元163的在该时间点所计算出的SAD值Sin更小，则SAD值比较器件1642检出该SAD值为在该时间点的最小SAD值。另一方面，在SAD值Sin更高的情况下，那么SAD值比较器件1642检出来自SAD值保留器件1643的最小SAD值保留部的最小SAD值Smin仍然保持为当时的最小值。随后，SAD值比较器件1642将检测结果的信息DET提供至SAD值写入器件1641和SAD值保留器件1643。

SAD值写入器件1641包括用于一个像素的缓冲存储器，用于临时存储来自匹配处理单元163的所计算出的SAD值Sin及其位置信息或参考矢量。在本第一实例中，SAD值写入器件1641将来自匹配处理单元163的参考块的位置信息或参考矢量及参考块的SAD值Sin写入行存储器1647中。在这种情况下，行存储器1647执行与移位寄存器类似的操作。当行存储器1647没有空闲空间时，如果存储了新位置信息和SAD值，则最老的位置信息和SAD值从行存储器1647中被删除。

此外，在SAD值写入器件1641将所计算出的SAD值Sin和相应的位置信息写入行存储器1647前，执行下面的处理。

具体地，如果来自SAD值比较器件1642的比较检测结果的信息DET表明SAD值Sin为最小值，则SAD值写入器件1641将来自匹配处理单元163的参考块的位置信息或参考矢量及参考块的SAD值Sin发送至SAD值保留器件1643。

SAD值保留器件1643从来自SAD值比较器件1642的比较检测结果的信息DET中检测出SAD值Sin为最小值，并且将从SAD值写入器件1641发送至其中的参考块的位置信息或参考矢量以及参考块的SAD值Sin存储在最小SAD值保留器件中。

此外，同样，当来自匹配处理单元163的参考块的位置信息或参考矢量与从SAD值保留器件1643中所接收的邻近SAD值Sx2或Sy2的位置信息一致时，SAD值写入器件1641将来自匹配处理单元163的参考块的位置信息或参考矢量以及参考块的SAD值Sin发送至SAD值保留器件1643。

SAD值保留器件1643从所接收的参考块的位置信息或参考矢量中识别与邻近SAD值相关的信息，并且将参考块的位置信息或参考矢量以及参考块的SAD值Sin存储在相应的邻近SAD值保留器件中。

如果对于搜索范围中的所有参考块完成了上述的处理，则最小SAD值和位置信息以及4个邻近的SAD值和相应的位置信息被保留在SAD值保留器件1643中。

因此，X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645读出所检测出的最小SAD值Smin、在SAD值保留器件1643中保留的相应的邻近SAD值Sx1、Sx2、Sy1及Sy2、以及相应的位置信息，并且将所读出的信息发送至二次曲线近似内插处理器件1646。二次曲线近似内插处理器件1646接收所述信息，并利用二次曲线对X方向和Y方向执行两次内插，从而如上所述地计算亚像素精度的高精度运动矢量。

在第一实例中，通过使用SAD表TBL的一行的行存储器代替如上所述的SAD表TBL，可进行亚像素精度的运动矢量的检测。

在图27的流程图中示出了在本第一实例中在缩小面上进行块匹配处理时的流程的实例，并且在图28和图29的流程图中示出了在基础面上进行块匹配处理时的流程的实例。第二实例的流程图的步骤也通过匹配处理单元163和运动矢量计算单元164来执行。

首先，参照图27描述缩小面上的块匹配处理的流程的实例。

首先，设置对于运动矢量计算单元164的SAD值保留器件1643的最小SAD值Smin的初始值(步骤S31)。例如，最小SAD值Smin的初始值可以为像素之间差值的最大值。

随后，匹配处理单元163设置缩小面的参考矢量(Vx，Vy)，从而设置用于计算SAD值的缩小面参考块位置(步骤S32)，并且从参考块缓冲单元162中读入所设置的缩小面参考块的图像数据(步骤S33)。此外，匹配处理单元163从目标块缓冲单元161中读入缩小面目标块的像素数据，并且确定缩小面目标块与缩小面参考块的像素数据之间的差值的绝对值的总和，即，SAD值。随后，匹配处理单元163将所确定的SAD值发送至运动矢量计算单元164(步骤S34)。

在运动矢量计算单元164中，SAD值写入器件1641将SAD值写入行存储器1647中(步骤S35)。

随后，在运动矢量计算单元164中，SAD值比较器件1642将通过匹配处理单元163所计算出的SAD值Sin与在SAD值保留器件1643中所保留的最小SAD值Smin互相比较，从而确定所计算出的SAD值Sin是否小于至当时为止所保留的最小SAD值Smin(步骤S36)。

如果在步骤S36中确定所计算出的SAD值Sin小于最小SAD值Smin，则处理过程前进至步骤S37，在该步骤中，在SAD值保留器件1643中所保留的最小SAD值Smin的信息和最小SAD值Smin的位置信息(缩小面参考矢量)被更新。

另一方面，如果在步骤S36中确定所计算出的SAD值Sin不小于最小SAD值Smin，则不执行步骤S37中保留信息的更新处理，而是处理过程前进至步骤S38。在步骤S38中，匹配处理单元163确定是否完成了搜索范围内的缩小面参考块的所有位置(缩小面参考矢量)处的匹配处理。如果确定在搜索范围内仍然有未被处理的参考块，则处理过程返回至步骤S32，并且重复从步骤S32开始的处理步骤。

另一方面，如果在步骤S38中确定完成了在搜索范围内的缩小面参考块的所有位置或缩小面参考矢量处的匹配处理，则匹配处理单元163将这个判定结果通知运动矢量计算单元164。

运动矢量计算单元164从匹配处理单元163中接收通知，并且将在SAD值保留器件1643中保留的最小SAD值Smin的位置信息或缩小面参考矢量输出至控制单元165(步骤S39)。

在本实例中在缩小面上的块匹配处理到此结束。

现在，参照图28和图29描述在基础面上的块匹配处理的流程的实例。

首先，设置对于运动矢量计算单元164的SAD值保留器件1643的最小SAD值Smin的初始值(步骤S41)。对于最小SAD值Smin的初始值可以为像素之间的差值的最大值。

匹配处理单元163设置基础面的参考矢量(Vx，Vy)，从而设置用于计算SAD值的基础面参考块位置(步骤S42)，并且从参考块缓冲单元162中读入所设置的基础面参考块的像素数据(步骤S43)。

随后，块匹配处理单元163从目标块缓冲单元161中读入基础面目标块的像素数据，并且确定基础面目标块与基础面参考块的像素数据之间的差值的绝对值的总和，即，SAD值。随后，匹配处理单元163将所确定的SAD值发送至运动矢量计算单元164(步骤S44)。

在运动矢量计算单元164中，SAD值写入器件1641将SAD值写入行存储器1647中(步骤S45)。随后，在运动矢量计算单元164中，SAD值比较器件1642将通过匹配处理单元163所计算出的SAD值Sin与在SAD值保留器件1643中保留的最小SAD值Smin互相比较，从而确定所计算出的SAD值Sin是否小于至当时为止所保留的最小SAD值Smin(步骤S46)。

如果在步骤S46中确定所计算出的SAD值Sin小于最小SAD值Smin，则处理过程前进至步骤S47。在步骤S47中，所有在SAD值保留器件1643中保留的最小SAD值Smin的信息、在紧邻具有最小SAD值Smin的参考块位置处的上面和左边位置处的参考块的SAD值、以及SAD值的位置信息或基础面参考矢量被更新。

具体地，SAD值比较器件1642将所计算出的SAD值Sin小于最小SAD值Smin的比较结果的信息DET发送至SAD值写入器件1641。因此，SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或基础面参考矢量作为最小SAD值Smin的新信息发送至SAD值保留器件1643。此外，SAD值写入器件1641将最老的SAD值及其位置信息或基础面参考矢量、以及最新的SAD值及其位置信息或基础面参考矢量，作为如图25B所示出那样刚好在最小SAD值的位置的上方位置处的基础面参考块的SAD值Sy1的信息和刚好在最小SAD值的位置的左边位置处的基础面参考块的SAD值Sx1的信息发送至SAD值保留器件1643。SAD值保留器件1643使用所接收的新的最小SAD值Smin的信息、刚好在最小SAD值位置的上方位置处的SAD值Sy1的信息、及刚好在最小SAD值位置的左边位置处的基础面参考块的SAD值Sx1的信息来更新保留在其中的相应信息。

随后，处理过程从步骤S47前进至图29的步骤S51。另一方面，如果在步骤S46中确定所计算出的SAD值Sin不小于最小SAD值Smin，则处理过程前进至步骤S51，而不执行步骤S47的保留信息的更新处理。

在步骤S51中，SAD值写入器件1641确定所计算出的SAD值Sin的位置信息或参考矢量所指示的位置是否为刚好在具有最小SAD值Smin的基础面参考块位置的下方位置处的基础面参考块的位置。如果确定所指示的位置为刚好在基础面参考块位置的下方位置，则SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或参考矢量发送至SAD值保留器件1643。SAD值保留器件1643利用所接收的SAD信息和SAD信息的位置信息来更新刚好在基础面参考块位置的下方位置处的基础面参考块的邻近SAD值Sy2的保留信息(步骤S52)。

如果在步骤S51中确定关于所计算出的SAD值的位置信息或基础面参考矢量所指示的位置不是刚好在具有最小SAD值Smin的基础面参考块位置的下方位置处的基础面参考块的位置，则SAD值写入器件1641确定关于所计算出的SAD值Sin的位置信息或基础面参考矢量所指示的位置是否为刚好在关于最小SAD值Smin被保留的基础面参考块位置右边的基础面参考块的位置(步骤S53)。

如果在步骤S53中确定关于所计算出的SAD值Sin的位置信息或基础面参考矢量所指示的位置是刚好在关于最小SAD值Smin被保留的基础面参考块位置的右边的基础面参考块的位置，则SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或基础面参考矢量发送至SAD值保留器件1643。SAD值保留器件1643接收并使用SAD值和位置信息，从而利用所接收的SAD值和SAD值的位置信息来更新关于刚好在基础面参考块位置右边的基础面参考块的邻近SAD值Sx2的保留信息(步骤S54)。

另一方面，如果在步骤S53中确定通过关于所计算出的SAD值Sin的位置信息或基础面参考矢量所指示的位置不是刚好在关于最小SAD值Smin被保留的基础面参考块位置右边的基础面参考块的位置，则SAD值写入器件1641仅将所计算出的SAD值Sin和SAD值Sin的位置信息或基础面参考矢量写入行存储器1647(上文所述的步骤S45)，而不将SAD值Sin和位置信息发送至SAD值保留器件1643。

随后，匹配处理单元163确定是否完成了搜索范围内的基础面参考块的所有位置或参考矢量的匹配处理(步骤S55)。随后，如果确定在搜索范围中仍然有未被处理的基础面参考块，则处理过程返回至图28的步骤S42，随后，重复上文所述从步骤S42开始的处理步骤。

另一方面，如果在步骤S45中确定完成了对搜索范围内的基础面参考块的所有位置或基础面参考矢量的匹配处理，则匹配处理单元163将这个判定结果通知运动矢量计算单元164。

运动矢量计算单元164接收通知，并且X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645读出所有存储在SAD值保留器件1643中的所检测出的最小SAD值Smin、最小SAD值Smin的邻近SAD值Sx1、Sx2、Sy1及Sy2、以及它们的位置信息，并将所读出的信息发送至二次曲线近似内插处理器件1646。二次曲线近似内插处理器件1646接收该信息，并以上文所述的方式对于X方向和Y方向利用二次曲线执行两次内插，从而计算亚像素精度的高精度运动矢量(步骤S56)。对于基础面参考帧第一实例的块匹配处理到此结束。

如上所述，在本第一实例中，通过提供用于SAD表的一行的存储器而不保持保留所有所计算出的SAD值的SAD表、并且将一个像素的SAD值保留在SAD值写入器件1641中的构造，能够通过内插处理执行亚像素精度的运动矢量检测。

在块匹配次数方面，第一实例的方法与过去保留SAD表TBL的所有SAD值的传统技术是一样的，因此具有能够缩小硬件规模同时处理时间相同的效果。

需要注意，虽然在上面第一实例的描述中SAD值比较器件1642将来自匹配处理单元163的所计算出的SAD值Sin和在SAD值保留器件1643中保留的最小SAD值Smin互相比较，但是SAD值比较器件1642可包括用于最小SAD值的保留部。在这种情况下，所保留的最小SAD值和所计算出的SAD值Sin被互相比较，并且当所计算出的SAD值Sin更小时，用所计算出的SAD值Sin更新所保留的最小SAD值。此外，所计算出的SAD值Sin与其位置信息一起通过SAD值写入器件1641被发送至SAD值保留器件1643，使其被保留在SAD值保留器件1643的最小SAD值保留部中。

<运动矢量计算单元164的第二实例>

在运动矢量计算单元164的本第二实例中，第一实例中的行存储器1647被省略，从而进一步实现硬件规模的减小。

在本第二实例中，与上文所描述的第一实例类似地执行在搜索范围中的参考块的SAD值中的最小SAD值Smin及最小SAD值Smin的位置信息或参考矢量的检测和保留。但是，与第一实例不同，不与最小SAD值Smin的检测同时执行邻近SAD值及其位置信息的获取和保留，而是将所检测出的最小SAD值Smin的位置信息返回匹配处理单元163。因此，匹配处理单元163再次计算关于在最小SAD值Smin周围的4个邻近位置处的参考位置的SAD值，随后，将所计算出的SAD值提供至运动矢量计算单元164。

运动矢量计算单元164接收通过来自匹配处理单元163的第二次块匹配处理所计算出的4个邻近点的SAD值和SAD值的位置信息或参考矢量，并且将所接收的信息存储在SAD值保留器件1643的各个保留部中。

图30中示出了运动矢量计算单元164的第二实例的硬件构造的实例。参照图30，运动矢量计算单元164的第二实例不包括第一实例中的行存储器1647，但包括SAD值写入器件1641、SAD值比较器件1642、SAD值保留器件1643、X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645、及二次曲线近似内插处理器件1646。

而且，在本第二实例中，X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645及二次曲线近似内插处理器件1646执行类似于上文所述的第一实例的操作。但是，SAD值写入器件1641、SAD值比较器件1642、及SAD值保留器件1643以与上文所述第一实例不同的方式进行操作。

SAD值保留器件1643与第一实例类似包括用于最小SAD值Smin和邻近SAD值Sx1、Sx2、Sy1及Sy2的保留部或存储器。而且，在第二实例中，SAD值保留器件1643将来自最小SAD值保留部的最小SAD值Smin提供至SAD值比较器件1642。但是，与第一实例不同，在本第二实例中，SAD值保留器件1643不将邻近SAD值的位置信息提供至SAD值写入器件1641。

而且，在本第二实例中，SAD值比较器件1642将在当前时间点所计算出的来自匹配处理单元163的SAD值Sin和来自SAD值保留器件1643的最小SAD值保留部的最小SAD值Smin互相比较。随后，如果在当前时间点所计算出的来自匹配处理单元163的所计算出的SAD值Sin更小，则检测出该SAD值为在当前时间点的最小SAD值。另一方面，在SAD值Sin更高的情况下，则检测出来自SAD值保留器件1643的最小SAD值保留部的最小SAD值Smin在当前时间点仍然保持最小值。随后，SAD值比较器件1642将检测结果的信息DET提供至SAD值写入器件1641和SAD值保留器件1643。

与上述实例类似，SAD值写入器件1641包括用于一个像素的缓冲存储器，用于临时存储来自匹配处理单元163的所计算出的SAD值Sin和SAD值Sin的位置信息。此外，在本第二实例中，当来自SAD值比较器件1642的比较检测结果的信息DET表明SAD值Sin为最小值时，SAD值写入器件1641将来自匹配处理单元163的参考块的位置信息或参考矢量及参考块的SAD值Sin发送至SAD值保留器件1643。

SAD值保留器件1643根据来自SAD值比较器件1642的比较检测结果的信息DET识别出SAD值Sin为最小值，并且将来自SAD值写入器件1641的参考块的位置信息或参考矢量及参考块的SAD值Sin存储在最小SAD值保留部中。

对于来自搜索范围中的所有参考块的通过匹配处理单元163所计算出的SAD值执行上述处理。随后，在第二实例中，当关于搜索范围中所有参考块的SAD值的计算完成时，SAD值保留器件1643将保留在其中的最小SAD值Smin的位置信息或参考矢量Vmin提供至匹配处理单元163，并要求匹配处理单元163重新计算关于在最小SAD值Smin的位置周围的4个邻近点处的参考块的SAD值。

当匹配处理单元163接收到重新计算关于包括来自SAD值保留器件1643的最小SAD值Smin的位置信息或参考矢量Vmin的邻近参考块的SAD值的请求时，其通过最小SAD值Smin的位置信息或参考矢量Vmin来检测4个邻近点处的邻近参考块的位置，随后执行关于在所检测出的位置处的参考块的SAD值的计算。随后，匹配处理单元163持续将所计算出的SAD值与SAD值的位置信息或参考矢量一起提供至SAD值写入器件1641。

在这种情况下，由于匹配处理单元163在搜索方向上顺序执行块匹配处理，所以以SAD值Sy1、Sx1、Sx2及Sy2的顺序连续计算出邻近SAD值。SAD值写入器件1641将所接收的重新计算出的SAD值和SAD值的位置信息或参考矢量连续提供至SAD值保留器件1643。

SAD值保留器件1643将重新计算出的SAD值和SAD值的位置信息或参考矢量连续写入相应的存储部。

当以这种方式完成关于邻近参考块的SAD值的重新计算时，X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645读出所有保留在SAD值保留器件1643中的所检测出的最小SAD值Smin、邻近SAD值Sx1、Sx2、Sy1及Sy2、以及它们的位置信息，并且将所读出的信息发送至二次曲线近似内插处理器件1646。二次曲线近似内插处理器件1646接收该信息，并且利用二次曲线对X方向和Y方向执行两次内插，从而以上文所述的方式计算亚像素精度的高精度运动矢量。

通过这种方式，在本第二实例中，能够检测亚像素精度的运动矢量，而无需使用SAD表TBL或行存储器。

在本第二实例中在缩小面上的块匹配处理的流程的实例与参照图27在上文所描述的第一实例类似，但是没有执行写入行存储器1647的过程。因此，此处省略流程的重复描述以避免冗长。因此，将参照图31的流程图描述在本第二实例中在基础面上的块匹配处理的流程的实例。

首先，设置对于运动矢量计算单元164的SAD值保留器件1643的最小SAD值Smin的初始值(步骤S61)。例如，对于最小SAD值Smin的初始值可以为像素之间的差值的最大值。

随后，匹配处理单元163设置在基础面上的参考矢量(Vx，Vy)，从而设置用于计算SAD值的基础面参考块位置(步骤S62)。随后，匹配处理单元163从参考块缓冲单元162读入所设置的基础面参考块的像素数据(步骤S63)，并从目标块缓冲单元161读出基础面目标块的像素数据。随后，匹配处理单元163确定基础面目标块和基础面参考块的像素数据之间的差值的绝对值的总和，即，SAD值。随后，匹配处理单元163将所确定的SAD值发送至运动矢量计算单元164(步骤S64)。

在运动矢量计算单元164中，SAD值比较器件1642将通过匹配处理单元163所计算出的SAD值Sin和在SAD值保留器件1643中所保留的最小SAD值Smin互相比较，从而确定所计算出的SAD值Sin是否小于至当时为止所保留的最小SAD值Smin(步骤S65)。

如果在步骤S65中确定所计算出的SAD值Sin小于最小SAD值Smin，则处理过程前进至步骤S66，在该步骤中，在SAD值保留器件1643中所保留的最小SAD值Smin和最小SAD值Smin的位置信息被更新。

具体地，SAD值比较器件1642将所计算出的SAD值Sin小于最小SAD值Smin的检测结果的信息DET发送至SAD值写入器件1641。因此，SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或基础面参考矢量作为新的最小SAD值Smin的信息发送至SAD值保留器件1643。SAD值保留器件1643用所接收的新的SAD值Sin和位置信息分别更新在其中所保留的最小SAD值Smin和最小SAD值Smin的位置信息。

此后，处理过程从步骤S66前进至步骤S67。另一方面，如果在步骤S65中确定所计算出的SAD值Sin不小于最小SAD值Smin，则处理过程前进至步骤S67，而不执行在步骤S66中的保留信息更新处理。

在步骤S67中，匹配处理单元163确定是否完成了在搜索范围内所有的基础面参考块的位置或基础面参考矢量处的匹配处理。如果确定在搜索范围内仍然有未被处理的基础面参考块，则处理过程返回至步骤S62，并且重复从步骤S62开始的处理步骤。

另一方面，如果在步骤S67中确定完成了在搜索范围内所有的基础面参考块的位置或参考矢量处的匹配处理，则匹配处理单元163从SAD值保留器件1643接收最小SAD值Smin的位置信息，并且执行关于在4个邻近点的位置处的基础面参考块的SAD值的重新计算。随后，匹配处理单元163将重新计算出的邻近SAD值通过SAD值写入器件1641提供至SAD值保留器件1643，从而将其保留在SAD值保留器件1643中(步骤S68)。

随后，在运动矢量计算单元164中，X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645读出所有保留在SAD值保留器件1643中的所检测出的最小SAD值Smin、邻近SAD值Sx1、Sx2、Sy1及Sy2、以及它们的位置信息，并且将所读出的信息发送至二次曲线近似内插处理器件1646。二次曲线近似内插处理器件1646接收该信息，并且利用二次曲线对X方向和Y方向执行两次内插，从而以如上所述的方式计算亚像素精度的高精度运动矢量(步骤S69)。至此，完成了在关于一个参照帧的第二实例的基础面上的块匹配处理。

在将本第二实例与上述第一实例对比的情况下，尽管增加了用于SAD值重新计算的处理时间，但是由于不需要行存储器，所以电路规模能够相对第一实例进一步减小。此外，由于仅对邻近SAD值执行SAD值的重新计算，所以在上述实例中，最多执行四次，因此，处理时间并没有增加多少。

需要注意，虽然在上面第二实例的描述中最小SAD值Smin被检测出并保留在SAD值保留器件1643中，但是SAD值比较器件1642也可以检测并保留具有最小SAD值的参考块的位置信息或参考矢量。在这种情况下，当第一次块匹配结束时，SAD值比较器件1642可以将最小SAD值的位置信息提供至匹配处理单元163。

在这种情况下，在通过匹配处理单元163的SAD值的重新计算中，除了在4个邻近点的SAD值之外，还重新计算最小SAD值。在这种情况下，尽管SAD值的重新计算次数变为5，增加了一次，但是在第一次块匹配中，可以仅SAD值比较器件1642进行操作，也可以SAD值写入器件1641和SAD值保留器件1643进行操作以保留重新计算出的SAD值。因此，具有将处理操作简化的优点。

此外，关于在目标帧中所设置的多个目标块，可以平行并同时执行运动检测和运动补偿部16的处理。在这种情况下，需要提供与所要平行并同时处理的目标块数量相同的用于运动检测和运动补偿部16的多个硬件系统。

与相关技术的实例一样，在其中生成SAD表TBL的方法中，需要生成等于目标块数的大量SAD表，并且需要很大容量的存储器。然而，在第一实例中，每1个目标块，仅需要SAD表的一行的容量，因此，能够显著减小存储器容量。此外，在第二实例中，由于不需要行存储器，所以能够显著减小存储器容量。

[分级块匹配处理的流程的实例]

在图32和图33的流程图中示出了通过在本实施例中的运动检测和运动补偿部16的分级块匹配处理的操作的实例。

需要注意，虽然在图32和图33中所示出的处理的流程与上文所述的匹配处理单元163和运动矢量计算单元164的处理实例的流程部分重叠，但是为了便于理解本实施例的操作仍然进行了描述。

首先，运动检测和运动补偿部16从目标块缓冲单元161读入目标块的缩小图像，即，缩小面目标块(图32的步骤S71)。随后，运动检测和运动补偿部16设置缩小面最小SAD值的初始值，作为对于运动矢量计算单元164的SAD值保留器件1643的最小SAD值Smin的初始值(步骤S72)。例如，最小SAD值Smin的初始值可以为像素之间的差值的最大值。

随后，匹配处理单元163设置缩小面搜索范围并在所设置的缩小搜索范围内设置缩小面参考矢量(Vx/n，Vy/n：1/n为缩小率)，随后设置用于计算SAD值的缩小面参考块位置(步骤S73)。随后，从参考块缓冲单元162中读入所设置的缩小面参考块的像素数据(步骤S74)。随后，匹配处理单元163确定缩小面目标块和缩小面参考块的像素数据之间的差值的绝对值的总和，即，缩小面SAD值，并且将所确定的缩小面SAD值发送至运动矢量计算单元164(步骤S75)。

在运动矢量计算单元164中，SAD值比较器件1642将通过匹配处理单元163所计算出的SAD值Sin和在SAD值保留器件1643中保留的缩小面最小SAD值Smin互相比较，从而确定所计算出的SAD值Sin是否小于至当时为止所保留的缩小面最小SAD值Smin(步骤S76)。

如果在步骤S76中确定所计算出的SAD值Sin小于缩小面最小SAD值Smin，则处理过程前进至步骤S77，在该步骤中，在SAD值保留器件1643中所保留的缩小面最小SAD值Smin和缩小面最小SAD值Smin的位置信息被更新。

具体地，SAD值比较器件1642将所计算出的SAD值Sin小于缩小面最小SAD值Smin的比较结果的信息DET发送至SAD值写入器件1641。因此，SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或缩小面参考矢量作为新的缩小面最小SAD值Smin发送至SAD值保留器件1643。SAD值保留器件1643使用所接收的新的SAD值Sin和位置信息来更新其中保留的缩小面最小SAD值Smin及位置信息。

随后，处理过程从步骤S77前进至步骤S78。此时，如果在步骤S76中确定所计算出的SAD值Sin不小于缩小面最小SAD值Smin，则处理过程前进至步骤S78，而不执行在步骤S77中的保留信息的更新处理。

在步骤S78中，匹配处理单元163确定是否完成了在缩小面搜索范围内所有的缩小面参考块的位置或缩小面参考矢量处的匹配处理。如果确定在缩小面搜索范围内仍然有未被处理的缩小面参考块，则处理过程返回至步骤S73，使得重复从步骤S73开始的处理步骤。

另一方面，如果在步骤S78中确定完成了在缩小面搜索范围内所有缩小面参考块的位置或缩小面参考矢量处的匹配处理，则匹配处理单元163从SAD值保留器件1643接收缩小面最小SAD值Smin的位置信息或缩小面运动矢量。随后，匹配处理单元163在基础面目标帧上以通过将所接收的缩小面运动矢量乘以缩小率的倒数(即，乘以n)所获取的矢量所指示的位置坐标为中心的位置处设置参考图像目标块。此外，匹配处理单元163对于基础面目标帧将基础面搜索范围设置为以通过被n乘的矢量所指示的位置坐标为中心的相对小的范围(步骤S79)。随后，匹配处理单元163从目标块缓冲单元161读入基础面目标块的像素数据(步骤S80)。

随后，匹配处理单元163设置基础面最小SAD值的初始值，作为运动矢量计算单元164的SAD值保留器件1643的缩小面最小SAD值Smin的初始值(图33的步骤S81)。例如，缩小面最小SAD值Smin的初始值可以为像素之间差值的最大值。

随后，匹配处理单元163在步骤S79中所设置的基础面缩小搜索范围内设置参考矢量(Vx，Vy)，从而设置用于计算SAD值的基础面参考块位置(步骤S82)。随后，匹配处理单元163从参考块缓冲单元162读入所设置的基础面参考块的像素数据(步骤S83)，并且确定基础面目标块和基础面参考块的像素数据之间的差值的绝对值的总和，即，基础面SAD值。随后，匹配处理单元163将所确定的参考图像SAD值发送至运动矢量计算单元164(步骤S84)。

在运动矢量计算单元164中，SAD值比较器件1642将通过匹配处理单元163所计算出的SAD值Sin和在SAD值保留器件1643中所保留的缩小面最小SAD值Smin互相比较，从而确定所计算出的SAD值Sin是否小于至当时为止已经被保留的缩小面最小SAD值Smin(步骤S85)。

如果在步骤S85中确定所计算出的SAD值Sin小于缩小面最小SAD值Smin，则处理过程前进至步骤S86，在该步骤中，在SAD值保留器件1643中保留的缩小面最小SAD值Smin和缩小面最小SAD值Smin的位置信息被更新。

具体地，SAD值比较器件1642将所计算出的SAD值Sin小于缩小面最小SAD值Smin的比较结果的信息DET发送至SAD值写入器件1641。因此，SAD值写入器件1641将所计算出的SAD值Sin和SAD值Sin的位置信息或参考矢量作为缩小面最小SAD值Smin的新信息发送至SAD值保留器件1643。SAD值保留器件1643用所接收的新SAD值Sin和位置信息来更新其中保留的缩小面最小SAD值Smin和缩小面最小SAD值Smin的位置信息。

随后，处理过程从步骤S86前进至步骤S87。另一方面，如果在步骤S85中确定所计算出的SAD值Sin不小于缩小面最小SAD值Smin，则处理过程前进至步骤S87，而不执行在步骤S86中的保留信息的更新处理。

在步骤S87中，匹配处理单元163确定是否完成了在基础面搜索范围内所有的基础面参考块的位置或基础面参考矢量处的匹配处理。如果确定在基础面搜索范围内仍然有未被处理的基础面参考块，则处理过程返回至步骤S82，使得重复从步骤S82开始的处理步骤。

另一方面，如果在步骤S87中确定完成了在搜索范围内所有的缩小面参考块的位置或缩小面参考矢量处的匹配处理，则匹配处理单元163从SAD值保留器件1643接收缩小面最小SAD值Smin的位置信息或基础面矢量。随后，匹配处理单元163执行关于邻近4个点的位置处的基础面参考块的基础面SAD值的重新计算，并且将重新计算出的邻近基础面SAD值通过SAD值写入器件1641提供至SAD值保留器件1643，从而将其保留在SAD值保留器件1643中(步骤S88)。

随后，在运动矢量计算单元164中，X方向(水平方向)邻近值提取器件1644和Y方向(垂直方向)邻近值提取器件1645读出所有保留在SAD值保留器件1643中的所检测出的缩小面最小SAD值Smin、邻近SAD值Sx1、Sx2、Sy1及Sy2、以及它们的位置信息，并且将它们发送至二次曲线近似内插处理器件1646。二次曲线近似内插处理器件1646接收该信息，并且利用二次曲线对X方向和Y方向执行两次内插，从而以上文所述的方式计算亚像素精度的高精度基础面运动矢量(步骤S89)。关于一个参考帧的本实例的块匹配处理到此结束。

现在，将结合具体实例来描述使用本实施例的分级块匹配技术的图像处理方法的效果。

图34A～图34F示出了上述实施例中所使用的在基本图像和缩小图像上的参考块、搜索范围及匹配处理范围的具体实例。在图34A～图34F的实例中，水平方向和垂直方向上的缩小率1/n被设置为n＝4。

作为对比实例，例如，如图34A和图34B所示，没有使用缩小图像的参考块108具有宽度(水平)×高度(垂直)＝32×32个像素，并且搜索范围106具有宽度(水平)×高度(垂直)＝144×64个像素，同时，匹配处理范围110具有宽度(水平)×高度(垂直)＝176×96个像素。

因此，在图像在水平方向和垂直方向上都被减小至1/n＝1/4的缩小面中，如图34C和图34D所示，缩小面参考块139具有宽度(水平)×高度(垂直)＝8×8个像素，并且缩小面搜索范围137具有宽度(水平)×高度(垂直)＝36×16个像素，同时，缩小面匹配处理范围143具有宽度(水平)×高度(垂直)＝44×24个像素。

在图像在水平方向和垂直方向上都被缩小至1/4的缩小面上执行块匹配的情况下，缩小面运动矢量为4像素精度的运动矢量，并且如果仅将缩小面运动矢量简单地放大四倍，则会发生一个像素精度的运动矢量的误差。具体地，在基础面上的像素为如图35所示的像素的情况下，在基础面上的匹配处理点148可以为基础面上的所有像素中的任意一个。但是，在被缩小至1/4的缩小面上执行块匹配的匹配处理点可以为图35中的黑圈所表示的以4个像素为单位的匹配处理点147。

但是，至少能够估计出一个像素精度的运动矢量将在缩小面运动矢量所指示的缩小面上的匹配处理点周围4个像素的范围内存在。

因此，在本实施例中，在根据所计算出的缩小面运动矢量确定基础面搜索范围的基础面匹配中，设置基础面目标块，使其以通过将缩小面运动矢量乘以4(为缩小率的倒数)所获得的参考矢量所指示的像素位置为中心，并且确定4个像素的搜索范围(即，基础面搜索范围140)用于执行基础面块匹配，从而再次计算运动矢量。

因此，如图34E和图34F所示，基础面参考块142具有宽度(水平)×高度(垂直)＝32×32个像素，并且基础面搜索范围140具有宽度(水平)×高度(垂直)＝4×4个像素，同时，基础面匹配处理范围144具有宽度(水平)×高度(垂直)＝40×40个像素。

图36A～图36C示出了在假设当执行缩小面匹配和基础面匹配的二级匹配时使用SAD表的情况下，在基础面和缩小面的SAD表的大小。需要注意，图36A～图36C的实例相应于图34A～图34F中所示出的具体实例。

在如图34B所示的缩小前的144×64个像素的搜索范围的情况下的SAD表TBL包括如图36A所示的145×65个点。

相反，在如图34D所示的36×16个像素的缩小面搜索范围的情况下的缩小面SAD表包括如图36B所示的37×17个点。

此外，在如图34F所示的4×4个像素的基础面搜索范围的情况下的基础面SAD表包括5×5个点。

因此，在应用不分级匹配的情况下的匹配处理的次数为145×65＝9425次，而应用了分级匹配的情况下的匹配次数为37×17+5×5＝654次。因此，可以看出处理次数可显著减少。

随后，由于在上述的运动矢量检测方法的第一实例的情况下的行存储器可以具有用于缩小面SAD表的一行的存储容量，所以可以使用具有足够用于存储37个SAD值及其位置信息的存储容量的存储器作为行存储器。因此，与用于存储9425个SAD值及其位置信息的SAD表TBL的存储器相比，存储器的存储容量非常小。

另一方面，在上文所描述的运动矢量计算单元164的构造实例的第二实例的情况下，由于用于存储37个SAD值及其位置信息的缩小面SAD表也变为了不需要，所以电路规模能够被进一步减小。

通过这种方式，根据上述实施例，通过在执行分级匹配处理后对基础面执行内插处理，能够在很宽的搜索范围内执行亚像素精度的运动矢量检测。

需要注意，图37A～图37C示出了在根据本实施例的分级块匹配方法中，在缩小面和基础面上的目标块大小和匹配处理范围的实例。在图37A～图37C中所示出的实例中，缩小面目标块133的大小被设置为如图37A所示的宽度×高度＝8×8个像素的固定值。因此，缩小面匹配处理范围143具有如图37B所示的宽度×高度＝44×24个像素的大小。

随后，基础面目标块131的大小和基础面匹配处理范围144的大小及基础面参考矢量数如图37C所示出的一样。图37C示出了在缩小面对于基础面的缩小率为1/2、1/4及1/8的实例中，基础面目标块131的大小和基础面匹配处理范围144的大小及基础面参考矢量数。

[在静止图片NR处理时的存储容量的减小和有效存储器访问]

如上所述，本实施例准备用于静止图片NR处理和运动图片NR处理。运动图片NR处理需要实时性(即，速度)，而不是精度，而静止图片NR处理即使花费一些处理时间，也要获取消噪的清晰图像。

如上文所述，在根据系统构造设计者的观点将图像叠加方法粗略地分类的情况下，两种方法是有效的，包括拾取中加算方法，它是在静止图片的图像拾取时的高速连续图像拾取期间，实时执行图像叠加的技术；以及拾取后加算方法，它是在高速连续图像拾取后，准备好所有参考图像之后执行图像叠加的技术。为了有充分的处理时间来执行NR处理，希望采用拾取后加算方法，而不是拾取中加算方法，并且在本实施例中，采用拾取后加算方法。

但是，按照拾取后加算方法，参考图像必须被保留在图像存储器中，这样产生一个问题，即，随着待叠加的图像数目的增加，图像存储器需要更大的容量。

考虑到刚刚所描述的问题，本实施例给出对策，在静止图片NR处理时使用拾取后加算方法时，尽可能减小图像存储部4的容量，此外，能够有效地执行存储器访问。下面，描述这个方法。

<存储器访问时的数据格式>

首先，描述本实施例中对于图像存储部4进行存储器访问时的数据格式。

如图13和图16所示，通过总线接口部21、22、23及24分别将运动检测和运动补偿部16及图像叠加部17连接至系统总线2。

本实施例中的系统总线2具有例如64位的总线宽度，并且具有例如最大16个猝发的猝发长度(为能够以预定的多个像素数据为单位持续执行猝发传输的次数)。

响应于来自运动检测和运动补偿部16的目标块缓冲单元161和参考块缓冲单元162的读入请求，总线接口部21和22对于图像存储部4的预定存储器生成包括启动地址和猝发长度的总线协议，并且访问系统总线2(AXI互连)。

在本实施例的图像拾取设备中所使用的一个像素的图像数据包括亮度Y和色度C(Cr，Cb)。此外，图像数据具有Y:Cr:Cb＝4:2:2的格式，并且以8位(Cr＝4位和Cb＝4位)表示亮度Y和色度C(Cr，Cb)，没有使用符号。此外，以4位的存储器访问宽度并列排列4个YC像素。系统总线2的数据处理单元包括64位，并且一个像素的YC像素数据包括16位，因此，系统总线2的数据处理单元用于4个像素。

在图像拾取设备的处理部被连接至如图1所示的系统总线2的情况下，总线带宽与通过处理部所共享的图像存储部的存储控制的处理单元彼此具有紧密的关系。

另外，在本实施例中，能够通过存储控制器(未示出)处理的最大猝发长度为如上所述的16猝发。例如，即使在写入图像存储部4的存储器的过程中，在16猝发的传输能够被更多使用的情况下，总线的仲裁次数减少，并且存储控制器的处理效率也更高，因此，总线带宽能够被减少。

因此，在本实施例中，通过16猝发而总线访问4个像素(64位)的YC像素数据的情况下，效率很高。如果被转换成像素数，则相应于4×16＝64个像素的数据。

因此，在本实施例中，在水平方向上以64个像素为一个猝发传输单位来分割一个画面的图像，使得一个画面的图像由如图38所示的分割块的多个图像单位(下文中，被称作图像矩形)所构成。因此，本实施例采用存储器访问方法(下文中，被称作图像矩形访问方法)，其中，图像数据以图像矩形为单位被写入图像存储部4和从图像存储部4中读出。

需要注意，在分割图像数据数在水平方向上不能够被64像素除尽的情况下，如图38的斜线所示的一样，在水平方向上在图像的右侧提供虚拟区(dummy region)。随后，例如，将黑色或白色的像素数据作为虚拟数据添加到虚拟区151中，使得在水平方向上的像素数可以为64的倍数。

由于在访问图像存储器时，图像存储器的地址连续在水平方向上出现，所以光栅扫描方法的相关技术适于逐行读取数据。相反，因为所述地址在垂直方向上以64像素为一个猝发传输单位而增加，所以图像矩形访问方法适于读取在垂直方向上每个都包括64像素或更少的块的数据。

例如，当读入包括64像素×64行的图像矩形类型的块时，如果图像存储部4的存储控制器(未示出)总线访问在16个猝发中的4个像素(64位)的YC图像数据，则通过16个猝发读取4×16＝64个像素的数据。因此，在设置水平方向上包括64像素的第一行的地址后，仅通过在垂直方向上连续增加地址就能执行余下63行的像素数据的地址设置。

在本实施例中的图像存储部4包括存储控制器(未示出)，而存储控制器又包括用于执行如上所述的图像矩形访问方法的地址生成单元(未示出)。

在本实施例中，在先前阶段被提供至运动检测和运动补偿部16的图像校正和分辨率转换部15也准备用于上面所描述的图像矩形访问方法的访问，使得运动检测和运动补偿部16能够根据图像矩形访问方法来访问图像存储部4。此外，在本实施例中，静止图片编码译码部18也准备用于图像矩形访问方法，使得在静止图片图像拾取时的静止图片NR处理中，通过高速连续图像拾取所获得的并以压缩形式被存储在图像存储部4中的多个拾取图像能够在必要时被读出并被解压解码，以允许运动检测和运动补偿部16执行块匹配处理。

图39A示出了在一个画面的图像包括宽度×高度＝640×480个像素的实例中分割成图像矩形单位的实例。在这种情况下，因为在水平方向上以64个像素为单位进行分割，所以一个画面的图像被分割成10个图像矩形T0～T9。

在参照图37在上文中所描述的1/4缩小率的情况下，一个图像矩形包括32×32个像素的总共30个基础面目标块B0～B29，使其排列为如图39B所示的形式，在水平方向上包括2个基本目标块并且在垂直方向上包括15个基本目标块。

从图像存储部4读入基础面目标块时，为了使图像矩形访问方法具有最大优势，每次访问64个像素×1行，从而提高总线效率。

因此，如图40所示，当缩小率为1/2、1/4及1/8时，每次分别访问4个、2个及1个基础面目标块。

图像矩形访问方法不仅在总线带宽方面而且在电路的内部处理中都非常有用。首先，用于在垂直方向上执行滤波处理等的内部行存储器的大小能够被减小。此外，对于执行诸如分辨率转换处理等块中的处理的电路而言，具有这样的优势，从图像矩形形式转换成任意块形式的情况比从光栅扫描形式转换成任意块形式的情况效率更高。

<在静止图片图像拾取时的静止图片NR处理中的拾取图像的压缩和解压处理>

如上所述，在本实施例中，拾取后加算处理被用于在静止图片图像拾取时的静止图片NR处理中的加算处理。因此，在静止图片图像拾取时的静止图片NR处理中，需要在图像存储部4中保留所有参考图像。换句话说，在本实施例中，如果快门按钮被按下，则两个以上的多个拾取图像通过高速连续图像拾取被拍摄，并且被存储在图像存储部4中。

尽管在拾取中加算方法中，需要在图像存储部4中保留最多两帧的参考图像，但是在拾取后加算方法中，需要在图像存储部4中保留更多的参考图像。因此，在本实施例中，为了减小图像存储部4的存储容量，通过高速连续图像拾取所拍摄的拾取图像通过静止图片编码译码部18进行压缩编码，并且将被压缩编码的图像数据存储在图像存储部4中。随后，当这样所拍摄的图像被用作参考图像时，压缩编码格式的图像数据在被解压和解码后使用。

参照图21和图22在上文中描述了在静止图片图像拾取时的静止图片NR处理的流程的概要，并且在参照图21和图22的上文所描述的流程图的某些步骤中对图像数据执行了压缩编码处理或解压解码处理。

在图21的步骤S1中，通过响应于快门按钮操作的高速连续图像拾取所拍摄的多个拾取图像被如上所述地写入图像存储部4。随即，通过静止图片编码译码部18对拾取图像的所拍摄图像数据进行压缩编码。在图41中，通过点划线表示在这种情况下的图像数据的流程。

参照图41，来自图像拾取器件11的拾取图像通过预处理部13进行诸如传感器校正的预处理，随后以RAW信号的形式(为相机信号处理被执行前的数据格式)被存储在图像存储部4中。

此后，拾取图像以图像矩形形式从图像存储部4中被读出，并且通过数据转换部14从RAW信号转换成YC像素数据，此后，它们通过图像校正和分辨率转换部15进行图像校正、分辨率转换等。此后，拾取图像通过静止图片编码译码部18被写入图像存储部4，而没有图像存储部4的介入，同时，它们维持通过JPEG系统而压缩编码的形式。因此，这里图像被压缩的单位不是图像，而是图像矩形。在高速图像拾取时，对多个拾取图像重复执行上述的程序，并且所述多个拾取图像数据的压缩数据被存储并保留在图像存储部4中。

在高速图像拾取时所拍摄的所有拾取图像被压缩编码并存储到图像存储部4中后，在图21的步骤S3的处理中的目标图像设置处理被执行。在图42中示出了在这种情况下的图像数据的流程。

具体地，在快门按钮按下后首先被拍摄的拾取图像的压缩图像数据以图像矩形为单位从图像存储部4中被读出，并被提供至静止图片编码译码部18，并且被其解压解码。被解压解码的图像数据作为基础面目标图像Pbt以图像矩形为单位被写入图像存储部4。

随后，被写入图像存储部4中的、具有解压解码形式的基础面目标图像Pbt的图像数据以图像矩形为单位被读出，并且通过运动检测和运动补偿部16被提供至图像叠加部17。随后，通过图17所示的图像叠加部17的缩小面生成单元174来缩小图像数据。随后，来自缩小面生成单元174的缩小目标图像作为缩小面目标图像Prt以图像矩形为单位被写入图像存储部4中。

在以如上所述的方式完成对于目标图像的处理后，在图21的步骤S3的处理中，执行对于参考图像的设置处理。图43中示出了在这种情况下的图像数据的流程。

具体地，在以压缩和编码形式被存储在图像存储部4中的多个拾取图像中，在块匹配中被用作参考图像的第二拾取图像以图像单位为单位从图像存储部4中被读出，并被提供至静止图片编码译码部18，并且被其解压和解码。被解压和解码的图像数据作为基础面参考图像Pbr以图像矩形为单位被写入图像存储部4中。

随后，被写入图像存储部4中的解压和解码形式的基础面参考图像Pbr的图像数据以图像矩形为单位被读出，并且通过运动检测和运动补偿部16被提供至图像叠加部17。随后，通过图16所示的图像叠加部17的缩小面生成单元174来缩小图像数据。随后，来自缩小面生成单元174的缩小参考图像作为缩小面参考图像Prr以图像矩形为单位被写入图像存储部4中。

此后，在被解压解码的目标图像和被解压解码的参考图像之间执行运动检测和运动补偿。这相应于图21的步骤S4～S9中的处理。此外，这相应于在图32和图33的流程图中所示出的处理。图44示出了在这种情况下的图像数据的流程。

首先，执行缩小面块匹配处理。具体地说，所设置的缩小面目标块的图像数据被从图像存储部4的缩小面目标图像Prt中读出，并且被存储在运动检测和运动补偿部16的目标块缓冲单元161中。同时，相应于缩小面目标块的搜索范围的缩小面匹配处理范围从缩小面参考图像Prr中被读出，并且被存储在参考块缓冲单元162中。

随后，缩小面目标块和缩小面参考块的图像数据分别从缓冲部161和162中被读出，并且通过匹配处理单元163进行缩小面块匹配处理，从而执行关于所设置的缩小面目标块的缩小面块匹配处理的检测。

随后，根据缩小面运动矢量，以如上所述的方式设置基础面目标块和基础面搜索范围。随后，所设置的基础面目标块从基础面目标图像Pbt中被读出，并被存储在目标块缓冲单元161中，并且相应于所设置的基础面搜索范围的基础面匹配处理范围被读出并存储在参考块缓冲单元162中。

随后，基础面目标块和基础面参考块的图像数据分别从缓冲部161和162中被读出，并且通过匹配处理单元163进行基础面块匹配处理。此后，通过运动矢量计算单元164来执行关于所设置的基础面目标块的像素精度的基础面运动矢量的检测。

随后，运动检测和运动补偿部16根据所检测的基础面运动矢量从基础面参考图像中读出运动补偿块，并且将运动补偿块与基础面目标块一起提供至图像叠加部17。图像叠加部17以块为单位执行图像叠加，并且将叠加结果的块单位的缩小面NR图像Pbnr置于图像存储部4中。此外，图像叠加部17也将通过缩小面生成单元174所生成的缩小面NR图像Prnr置于图像存储部4中。

对于目标图像的所有目标块执行上述程序。随后，如果完成了对于所有目标块的块匹配，则在将第三图像设置为参考图像的同时，将缩小面NR图像Pbnr和缩小面NR图像Prnr用作目标图像(图22的步骤S14)，从而重复执行与上述处理类似的块匹配处理(图21的步骤S4至图22的步骤S14)。随后，如果完成了对于所有所拍摄图像的处理，则最终所获取的缩小面NR图像Pbnr通过静止图片编码译码部18被压缩编码，并且被记录在记录和再生设备部5的记录介质中。

如上所述，在本实施例中，当执行随后的叠加时，通过目标图像和参考图像的叠加所获取的NR图像被用作目标图像。此外，在完成块匹配处理后，不再需要基础面目标块。

通过上述的特性，在本实施例中，图像叠加部17将通过基础面目标块和运动补偿块的叠加所获取的NR后的块重写在初始基础面目标块所放置的地址中。

例如，如图45A和图45B所示，当使用作为目标图像的图像矩形T5的块B4执行块匹配处理时，所有的图像矩形T0～T4和块B0～B3为NR后的块。

通过利用图像校正和分辨率转换部15执行图像矩形访问方法的存储器访问并将在关于静止图片的压缩编码中的处理单位也以如上所述的方式设置为图像矩形的形式，图像数据能够从图像校正和分辨率转换部15被直接传输至静止图片编码译码部18，而不会有图像存储部4的介入。因此，通过高速连续图像拾取所拾取的图像能够被有效地压缩编码并被存储在图像存储部4中。

<图像存储器容量的减小>

现在，将描述在参考图像的解压解码时的图像存储器的存储容量的减小。

在本实施例中在静止图片的图像拾取时的静止图片NR处理中，在以压缩编码形式拍摄并存储在图像存储部4中的图像中的目标图像都被解压和解码。但是，如图46中所示出的图像数据流程所示，参考图像仅在其图像矩形(被用于匹配处理)处被解压和解码，从而减小图像存储器容量。换句话说，用于将基础面和缩小面的参考图像以解压和解码形式存储在图像存储部4中的图像存储器的存储容量通过以图像矩形为单位解压和解码图像数据而被减小。

联系实例来对其进行描述。例如，假设如图47A所示，基础面目标图像在水平方向上被分割成64个像素的图像矩形T0～T9，类似地，如图47B所示，基础面参考图像在水平放上被分割成64个像素的图像矩形R0～R9。

现在，如果假设正在对图像矩形T4中的目标块执行块匹配，则来自基础面参考图像的图像矩形R0～R9中可能作为匹配处理范围被访问的那些图像矩形可被限制在图像矩形R4周围的几个图像矩形。

例如，如果假设缩小率为1/4，则为了通过缩小在水平方向上获取44个像素的匹配生成范围(参照图37B)，需要在水平方向上的176个像素的图像数据。因此，如图47C所示的一样，在基础面参考图像中，需要如阴影所示分别位于图像矩形R4的左边和右边的两个图像矩形R2和R3及两个图像矩形R5和R6。因此，仅需要解压并解码基础面参考图像的五个图像矩形R2～R6。

此处，假设对于在图像矩形T4中所包括的所有目标块的匹配处理完成，并且如图48A中所示，对于在图像矩形T5中所包括的目标块的匹配处理被启动。此时，为了获取匹配处理范围，如图48B所示，需要包括图像矩形R5以及在图像矩形R5的左边和右边的每一边上的两个图像矩形的五个图像矩形R3～R7。由于在图像矩形T4中所包括的目标块的匹配处理过程中，图像矩形R3～R6已经存储在图像存储部4中，所以仅需要重新解压和解码图像矩形R7。同时，不再需要图像矩形R2。

因此，在本实施例中，当图像矩形R7被解压并解码时，被解压解码的图像矩形R7被重写入图像矩形R2在图像存储器4的参考图像存储器中所处的位置。因此，在图像存储部4的参考图像存储器中具有解压和解码形式的参考图像数据一直仅用于五个图像矩形。因此，能够有效地节省图像存储部4的参考图像存储器(即，图像存储部4的工作区)。

在根据上述方法执行参考图像数据的解码的情况下，在图像存储部4的参考图像存储器中的地址行以如图49A和图49B所示的方式改变。具体地，在相应于图像矩形T4中的目标块的参考图像存储器中的参考图像为如图49A所示图像矩形R4位于中心的那些图像的情况下，由于在图像存储部中的参考图像存储器中从图像矩形R2开始顺序存储图像数据，所以参照图像矩形R4的基准坐标Sc4左侧的像素时，从基准坐标Sc4的地址中减去所期望的值，而参照基准坐标Sc4右侧的像素时，将所期望的值与基准坐标Sc4的地址相加。

另一方面，在相应于图像矩形T5中的目标块的参考图像存储器中的参考图像为如图49B所示图像矩形R5位于中心的那些图像的情况下，当参照在右侧的128个像素中的像素时，所期望的值与图像矩形R5的基准坐标Sc5的地址相加，而在参照右侧的128个像素的范围之外的像素的情况下，需要在所期望的值与基准坐标Sc5的地址相加后减去相应于图像矩形总宽度的地址值。

需要注意，图像矩形R0～R9的基准坐标Sc0～Sc9为访问参考图像存储器时所使用的地址指针的实例。存储器地址指针不限于如图49A和图49B的实例中的地址指针。

在图像矩形也被用作如上所述用于静止图像的压缩编码的单位的情况下，仅有在块匹配处理所需的范围内的像素可被解码，并且可以减少图像存储部4的工作区。此外，通过解码接下来要使用的参考图像的图像矩形并在图像存储器中不需要的参考图像的图像矩形的地址处重写所解码的图像矩形，在工作区中所解码的参考图像的大小总是能够被固定。

需要注意，在参照图47和图48的上文所描述的实例中，参考图像上所设置的在匹配处理范围的水平方向上的大小SA大于作为压缩单位的图像矩形的水平方向上的大小SB(SA>SB)。

随后，如果水平方向上的匹配处理范围的大小等于水平方向上图像矩形大小的整数倍并且匹配处理范围与图像矩形的定界位置彼此一致，则无用的数据访问被消除，并且能够进一步提高效率。

如果在参考图像上所设置的匹配处理范围的水平方向上的大小小于作为压缩单位的图像矩形的水平方向上的大小，则匹配处理范围具有被包括在一个图像矩形中的大小，并且如果被包括在一个图像矩形中，则自然地仅需要解码一个图像矩形。但是，在匹配处理范围跨越两个图像矩形的情况下，这两个图像矩形都应该被解码。

而且，在这种情况下，如果目标块的位置改变从而改变匹配处理范围的位置，直至匹配处理范围跨越两个图像矩形为止，则仅可以有新进入匹配处理范围的一个图像矩形以类似于上述实例的方式被解码。

[在静止图片NR处理中的图像叠加的实例]

依赖于以何种方式来选择性地设置目标图像和参考图像或者以什么样的顺序来叠加不同的图像，可以有各种不同的静止图片NR处理。下面，描述几个实例。

在要叠加多个图像的情况下，需要用作运动补偿参考的图像。在上面所述的实施例中，考虑快门被操作的瞬间时的图像为图像拾取人所倾向的图像，将第一拾取图像确定为参考图像。换句话说，在当图像拾取人操作快门时首先被拾取的照片上，随后所拾取的图像被用于执行参照图4的如上文所述的叠加。

在参照图21和图22的流程图的上文所描述的处理中，目标图像和参考图像的叠加结果的NR图像被用作下一个目标图像，并且在第二次图像叠加和随后的图像叠加中，目标图像通常为进行了NR处理后的状态。对于用于目标图像和参考图像的选择方法，不仅可以使用上述目标图像通常为NR图像的技术(下文中，被称作目标加算方法)，而且也可以使用参考图像通常为NR图像的另一项技术(下文中，被称作参考加算方法)。

图50中示出了在通过高速连续图像拾取而拾取了4个图像的情况下上述目标加算方法的图像叠加的概念。

从快门被按下的时间点按照时间间隔的升序以Org0、Org1、Org2及Org3表示所拾取的图像。首先，拾取图像Org0被设置为目标图像，拾取图像Org1被设置为参考图像，并且如图50所示通过它们生成运动补偿图像MC1。随后，将拾取图像Org0和运动补偿图像MC1叠加，生成NR图像NR1。

随后，NR图像NR1被确定为目标图像，拾取图像Org2被确定为参考图像，并且通过它们生成运动补偿图像MC2。随后，将NR图像NR1和运动补偿图像MC2叠加，生成NR图像NR2。

随后，NR图像NR2被确定为目标图像，拾取图像Org3被确定为参考图像，并且通过它们生成运动补偿图像MC3。随后，将NR图像NR2和运动补偿图像MC3叠加，生成NR图像NR3。NR图像NR3为最终被合成的NR图像。

作为与图50的情况类似的实例，图51示出了在通过高速连续图像拾取而拾取了4个图像的情况下的参考加算方法的概念。

首先，拾取图像Org2被确定为目标图像，拾取图像Org3被确定为参考图像，从而生成运动补偿图像MC3。随后，将所拾取图像Org2和运动补偿图像MC3叠加，生成NR图像NR3。

随后，拾取图像Org1被确定为目标图像，NR图像NR3被确定为参考图像，从而生成运动补偿图像MC2。将所拾取图像Org1和运动补偿图像MC2叠加，生成NR图像NR2。

此后，拾取图像Org0被确定为目标图像，NR图像NR2被确定为参考图像，从而生成运动补偿图像MC1。随后，将所拾取图像Org0和运动补偿图像MC1叠加，生成NR图像NR1。NR图像NR1为最终被合成的NR图像。

在图52和图53的流程图中示出了根据参考加算方法的处理程序。在CPU1的控制和由CPU1控制的运动检测和运动补偿部16的控制单元165的控制下执行图52和图53的流程图的步骤，并且该步骤通过图像叠加部17来执行。

首先，如果快门按钮被按下，则在本实例的图像拾取设备中，在CPU1的控制下高速拾取多个图像。在本实例中，在静止图片的图像拾取时待叠加的M个图像或M帧的所拾取的图像数据被拍摄并且被置于图像存储部4中(步骤S91)。

随后，将参考帧设置为在图像存储部4中累积的M个图像帧的第N个(N为等于或大于2的整数，并且具有最大值M)，并且为此，控制单元165将值N的初始值设置为N＝M-1(步骤S92)。随后，控制单元165确定第N个图像帧为目标图像或目标帧，并且确定第(N+1)个图像为参考图像或参考帧(步骤S93)。

随后，控制单元165对目标帧设置目标块(步骤S94)，并且运动检测和运动补偿部16将来自图像存储部4的目标帧读入目标块缓冲单元161(步骤S95)。随后，运动检测和运动补偿部16将在匹配处理范围内的像素数据读入参考块缓冲单元162(步骤S96)。

此后，控制单元165从参考块缓冲单元162中读出在搜索范围内的参考块，并且执行在本实施例中的分级匹配处理。需要注意，在本实例中，在通过匹配处理单元163所计算出的SAD值中的下文所描述的SAD值被发送至运动矢量计算单元164，从而执行二次曲线近似内插处理，保留SAD值的最小值和最小值附近的SAD值。在对于搜索范围内所有参考矢量重复了这个处理之后，由二次曲线近似内插处理器件执行上面所描述的内插处理，并且输出高精度运动矢量(步骤S97)。

随后，控制单元165根据以如上所述的方式所检测的高精度运动矢量从参考块缓冲单元162中读出运动补偿块(步骤S98)，并且将运动补偿块与目标块同步地发送至图像叠加部17(步骤S99)。

随后，图像叠加部17执行目标块和运动补偿块的叠加，并且在CPU1的控制下将通过叠加所获取的块的NR图像数据置于图像存储部4中。具体地，图像叠加部17将被叠加的块的NR图像数据写入图像存储部4(步骤S100)。

随后，控制单元165确定是否完成了对于目标帧中所有目标块的匹配处理(步骤S101)。随后，如果确定还没有完成对于所有目标块的块匹配处理，则处理过程返回至步骤S94，在该步骤中，设置目标帧中的下一个目标块，使得重复步骤S94～S101中的处理。

如果在步骤S101中确定完成了关于在目标帧中所有目标块的块匹配，则控制单元165确定对于待叠加的所有参考帧的处理是否被完成，即，是否满足M＝N(步骤S102)。

如果在步骤S102中确定不满足M＝N，则值N被减小至N＝N-1(步骤S103)。随后，通过步骤S100中的叠加所生成的NR图像被确定为参考图像或参考帧，并且第N＝N-1个图像被确定为目标图像或目标帧(步骤S104)。此后，处理过程返回至步骤S94，使得从步骤S94开始的处理步骤被重复。随后，如果在步骤S102中确定满足M＝N，则结束本处理程序。

需要注意，M个拾取图像的叠加结果的NR图像的图像数据通过静止图片编码译码部18被压缩编码，并且被提供至记录和再生设备部5，通过这样，将它们记录在记录介质上。

目标加算方法的优点是，它能够被应用于拾取中加算方法和拾取后加算方法这两种方法。另一方面，虽然参考加算方法仅能够被应用于拾取后加算，但是由于目标图像和参考图像之间在时间方向上的距离被固定，所以参考加算方法具有这样的优点，即使搜索范围相同，能够覆盖运动的范围也比目标加算方法更宽。

现在，描述叠加的单位。

在图21和图22的流程图中所示出的静止图片处理技术中，目标图像中的目标块通过块匹配处理被顺序处理，并且在目标图像中的所有目标块被处理后，NR图像被确定为下一个目标图像，并且参考图像被变更，以执行接下来的叠加(下文中被称作逐次加算方法)。

另一方面，可首先设置目标块，对所有参考图像和目标块执行块匹配处理，并且在叠加目标块和所有参考图像的运动补偿块后，选择下一个目标块(下文中被称作集体加算方法)。

类似于参照图50和图51在上文中所描述的情况，图54示出了在通过高速连续图像拾取而拾取了4个图像的情况下集体加算方法的概念。

首先，在所拾取的图像Org0中设置目标块TB0，并且通过拾取图像Org1的匹配处理范围生成运动补偿块MCB1。将目标块TB0和运动补偿块MCB1叠加，生成NR图像块NRB1。

随后，NR图像块NRB1被确定为目标块，并且通过拾取图像Org2的匹配处理范围生成运动补偿块MCB2。随后，将NR图像块NRB1和运动补偿块MCB2叠加，生成NR图像块NRB2。

随后，NR图像块NRB2被确定为目标块，并且通过拾取图像Org3的匹配处理范围生成运动补偿块MCB3。随后，将NR图像块NRB2和运动补偿块MCB3叠加，生成NR图像块NRB3。这个NR图像块NRB3为通过NR图像的合成所最终获取的一个块。对于每个目标块执行上述程序，从而完成一个NR图像。

由于上述逐次加算方法涉及逐个访问参考图像，所以它与在上文所述的实施例中以图像矩形为单位解压并解码参考图像的方法相兼容，并且具有能够减小图像存储器容量的优点。

逐次加算方法涉及每次执行图像叠加时向图像存储部4中重写图像，而集体加算方法能够连续执行所有图像的叠加，不用将任何图像写回图像存储部4。因此，具有这样的优势，即加算数据的字段长度能够在运动检测和运动补偿部16内被设置得很长从而执行高精度的加算。

图55和图56中示出了根据集体加算方法的操作的处理程序。在CPU1和由CPU1控制的运动检测和运动补偿部16的控制单元165的控制下执行图55和图56的流程图的步骤，并且该步骤通过图像叠加部17来执行。

首先，如果快门按钮被按下，则在本实施例的图像拾取设备中，在CPU1的控制下高速执行多个图像的图像拾取。在本实例中，在静止图片的图像拾取时待叠加的M个图像或M帧(M为等于或大于2的整数)的拾取图像数据被拍摄并被置于图像存储部4中(步骤S111)。

随后，控制单元165在目标帧中设置目标块(步骤S112)。随后，鉴于参考帧被设置为在图像存储部4中所累计的M个图像帧中在时间上的第N个(N为等于或大于2的整数，并且具有最大值M)图像帧，控制单元165将值N的初始值设置为N＝2(步骤S113)。

随后，控制单元165将第一个图像帧设置为目标图像或目标帧，并且将第N＝2个图像设置为参考图像或参考帧(步骤S114)。

随后，控制单元165将来自图像存储部4中的目标块读入目标块缓冲单元161(步骤S115)，并且将在匹配处理范围内的像素数据读入参考块缓冲单元162(步骤S116)。

随后，控制单元165从参考块缓冲单元162中读出搜索范围内的参考块，并且匹配处理单元163执行分级匹配处理。需要注意，在本实例中，为了运动矢量计算单元164保留SAD值中的最小值和最小值附近的SAD值并且执行二次曲线近似内插处理，来自通过匹配处理单元163所计算出的SAD值中的下文所描述的SAD值被发送至运动矢量计算单元164。在对于搜索范围内所有参考矢量重复了这种处理后，二次曲线近似内插处理器件执行上述内插处理，并输出高精度运动矢量(步骤S117)。

随后，控制单元165根据以上述方式所检测的高精度运动矢量从参考块缓冲单元162中读出运动补偿块(步骤S118)，并且在随后的阶段将运动补偿块与目标块同步地发送至图像叠加部17(步骤S119)。

随后，图像叠加部17在CPU 1的控制下执行目标块与运动补偿块的叠加，并且将所叠加的块的NR图像数据置于图像存储部4中。具体地，图像叠加部17将所叠加的块的NR图像数据写入图像存储部4中(图56的步骤S121)。

随后，控制单元165确定是否对于所有待叠加的参考帧都完成了处理，即，是否满足M＝N(步骤S122)。如果在步骤S122中确定不满足M＝N，则值N被增加至N＝N+1(步骤S123)。随后，控制单元165将在步骤S119中通过叠加所生成的NR图像设置为目标图像或目标帧，并且将第N+1个图像设置为参考图像或参考帧(步骤S124)。此后，处理过程返回至步骤S115，使得从步骤S115开始的处理步骤被重复。

随后，如果在步骤S122中确定满足M＝N，则确定是否完成了对于目标帧中的所有目标块的匹配处理(步骤S125)。随后，如果确定没有完成对于所有目标块的块匹配处理，则处理过程返回至步骤S112，在该步骤中，设置目标帧中的下一个目标块。随后，从步骤S112开始的处理步骤被重复。

此外，如果在步骤S125中确定完成了对于目标帧中所有目标块的块匹配处理，则控制单元165结束这个处理程序。

随后，M个拾取图像的叠加结果的NR图像的图像数据通过静止图片编码译码部18被压缩编码，并且被提供至记录和再生设备部5，通过这种处理，它们被记录在记录介质上。

如上所述那样，如果图像拾取条件、所需要的NR精度、设置信息等被改变，从而改变目标图像和参考图像的选择方法、叠加顺序、或如上所述参照图17～图20的上文所述的叠加的计算方法，则能够获取所期望的NR图像。

[实施例的效果]

根据上述实施例，由于图像校正和分辨率转换部15以图像被分割成图像矩形的格式执行存储器访问，并且静止图片编码译码部18的压缩编码也类似地以图像矩形为单位而执行，所以数据能够从图像校正和分辨率转换部15直接传输至静止图片编码译码部18，而不需要存储器的介入。因此，被高速连续拾取的图像能够被有效地压缩编码，并且被存储在图像存储部4中。

此外，由于在图像存储部4中所存储的压缩编码图像被用作参考图像时，每个图像都以通过图像的分割所获取的图像矩形为单位被解压和解码，所以可仅对在块匹配处理所需的范围内的数据进行解码。因此，可以减小图像存储部4的工作区。此外，由于随后所要使用的参考图像矩形被解码并且重写在图像存储部4的不需要的参考图像矩形的地址处，所以在工作区中所解码的参考图像的大小总是能够保持固定。

此外，如上所述，根据本实施例，在依赖于设置信息等来改变用于目标图像和参考图像的选择方法、叠加顺序、或叠加的计算方法的情况下，能够获取所期望的NR图像。

[其他实施例和变形]

虽然在上述实施例中JPEG系统被用作静止图片编码译码部18中的压缩编码方法，但这仅仅是一个实例，而本发明当然允许应用任何的图像压缩编码系统。

此外，虽然在上述实施例中在块匹配时的拾取图像的压缩编码通过压缩编码处理部(其用于对在静止图片的图像拾取时所记录的图像进行压缩编码)执行，但是对于用于记录处理的压缩方法以及在块匹配时用于拾取图像的压缩方法，可以使用不同的方法。

此外，虽然在上述实施例中，在静止图片NR处理中叠加三个以上的拾取图像的情况下应用本发明，但是在叠加两个拾取图像的情况下，也可以应用本发明。因此，在执行运动图片NR处理的情况下也可以应用本发明。尽管在这种情况下用于参考图像的压缩编码方法可以为JPEG系统，但是可以替代使用更简单的图像数据压缩方法。

此外，尽管图像以水平方向上的每多个像素进行分割从而允许存储器访问作为以图像矩形为单位的数据的图像，这是因为参照水平方向而确定了将图像数据从图像存储器中读出以及向图像存储器写入的方向。但是，在图像数据从图像存储器中读出和向图像存储器中写入的方向为垂直方向的情况下，如果将图像以垂直方向上的每多条线进行分割，从而允许存储器访问作为以水平图像矩形为单位的数据的图像，则自然能够实现与上述类似的操作和工作效果。理所当然的是，图像也可以在水平方向和垂直方向均被分割。

此外，虽然在上述实施例中不仅参考图像而且目标图像被压缩编码并且被一次性提取至图像存储器，但是因为本发明的图像处理设备需要进行压缩编码并且至少保留参考图像，所以目标图像可以不必被压缩编码。

此外，虽然在上述实施例中的运动矢量计算单元的第一实例中，搜索范围内的搜索方向被设置为水平行方向，并且搜索被执行使得例如参考块以从搜索范围的上角开始的顺序移动并且设置了用于SAD表的一行的存储器，但是也可以采用不同的搜索方法，其中，将搜索范围内的搜索方向设置为垂直方向，并且重复这样的处理程序：例如在垂直方向上从搜索范围的左上角开始搜索，并且在垂直方向上的一列的搜索结束后，将参考块的位置移动一个单位距离，例如移动至一个像素距离的右侧的垂直列，并且在垂直方向上从列的顶端开始执行搜索。在这样的以从搜索范围的左上角开始的顺序在垂直方向移动参考块的这种方式来执行搜索的情况下，可以设置用于SAD表的一个垂直列的存储器。

此处，搜索方向应该被设置为水平方向还是垂直方向优选这样确定，使得能够以相对缩小的电路规模实现匹配处理单元和运动矢量计算单元。

应该注意，如上所述，不仅对于每一个像素或每一行而且对于每多个像素或每多行都可以执行参考块的移动。因此，在前者情况下用于在水平方向上的一行的存储器可以具有用于在水平方向上的参考块的移动位置的容量，并且在后者的情况下用于一个垂直列的存储器可以具有用于在垂直方向上的参考块的移动位置的容量。具体地，在对于每一个像素或对于每一行执行参考块的移动的情况下，用于一行的存储器必须具有用于一行的像素数的容量，而对于一个垂直列的存储器必须具有用于行数的容量。但是，在参考块每多个像素或每多个行地进行移动的情况下，用于一行的存储器或用于一列的存储器可以具有小于在参考块每一个像素或每一个行地进行移动的情况下所需要的容量。

此外，内插处理的方法不限制于上文所述的二次曲线近似内插处理，也可以执行使用三次曲线或更高次曲线的内插处理。

此外，虽然在上述实施例中根据本发明的图像处理设备被用于图像拾取设备，但是本发明不仅可以被应用于图像拾取设备，而且可以被应用于检测图像帧之间的运动的任何设备。

此外，虽然在上述实施例中，在为了通过图像的叠加执行降噪处理而以块为单位检测运动矢量的情况下应用本发明，但是本发明的应用不限制于此，而本发明自然可应用于例如在图像拾取时的相机震动所引起的运动矢量的检测。例如，相机震动所引起的运动矢量能够被确定为多个块运动矢量的平均值。

虽然已经使用具体条件描述了本发明的优选实施例，但是这种描述仅用作举例说明的目的，应该了解，在不违背所附权利要求精神和范围的情况下，可以进行变化和修改。

Claims (14)

1.一种图像处理设备，其中，与具有预定大小并且包括被设置在目标画面上的预定位置的多个像素的目标块大小相同的多个参考块被设置在参考画面上所设置的搜索范围中，并且根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量来检测运动矢量，所述图像处理设备包括：

压缩部，被配置为以一个画面被分割成多个分割块中的分割块为单位对所述参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过所述压缩部所压缩的所述图像数据；

解压解码部，被配置为从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据；

第二存储部，被配置为存储通过所述解压解码部所解压和解码的所述图像数据；以及

数学运算部，被配置为从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

2.根据权利要求1所述的图像处理设备，其中，所述分割块单位为矩形块单位，其中，所述一个画面至少在水平方向和垂直方向中的一个方向上被分割成多个块。

3.根据权利要求1所述的图像处理设备，其中，多个目标块被设置在所述目标画面上，同时，在所述参考画面上，所述搜索范围相应于每个所述的目标块而设置，并且在每个所述的搜索范围内，根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量来检测关于每个所述目标块的运动矢量；并且

当所述目标块改变时，仅有在以下区域中的块单位的图像数据从所述第一存储部中被读出，并且被解压和解码，随后被写入所述第二存储部：在该区域中，与所述改变前针对所述目标块所设置的搜索范围相对应的所述匹配处理范围和与所述改变后针对所述目标块所设置的搜索范围相对应的所述匹配处理范围互相不重叠。

4.根据权利要求3所述的图像处理设备，其中，在包括与所述改变后针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围的所述分割块单位的图像数据中，在和与所述改变前针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围不重叠的分割块区域中的图像数据被解压并解码，随后被重写在所述第二存储部的存储区中，在所述存储区中，在包括所述改变前针对所述目标块所设置的所述搜索范围的所述分割块单位的图像数据中，和与所述改变后针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围不重叠的分割块单位的图像数据已被存储，并且

用于识别在所述第二存储部中所述分割块单位的图像数据的存储位置的信息被存储并保留。

5.一种图像处理设备，其中，以一个画面被分割成多个第一块中的第一块为单位叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面中的目标画面中的多个所述第一块之一；在作为所要叠加的两个画面中的另一个画面的参考画面上设置的搜索范围中，设置大小与所述目标块相同的多个参考块；根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量，检测所述第一块单位的运动矢量；并且当所述第一块单位的所检测出的运动矢量用于补偿每个所述第一块的图像的运动时，进行所述图像的叠加，所述图像处理设备包括：

压缩部，被配置为以其中一个画面被分割成多个分割块中的第二分割块为单位对所述参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过所述压缩部所压缩的所述图像数据；

解压解码部，被配置为从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述第二分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据；

第二存储部，被配置为存储通过所述解压解码部所解压和解码的所述图像数据；以及

数学运算部，被配置为从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

6.根据权利要求5所述的图像处理设备，其中，所述第二分割块单位为矩形块单位，其中，所述一个画面至少在水平方向和垂直方向中的一个方向上被分割成多个块。

7.根据权利要求5所述的图像处理设备，其中，在所述参考画面上，所述搜索范围相应于在所述目标画面中所设置的每个所述的目标块来设置，并且在每个所述的搜索范围内，根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的所述位置偏移量来检测关于每个所述目标块的运动矢量；并且

当所述目标块改变时，仅有在以下区域中的第二块单位的所述图像数据从所述第一存储部中被读出，并且被解压和解码，随后被写入所述第二存储部：在该区域中，与所述改变前针对所述目标块所设置的搜索范围相对应的所述匹配处理范围和与所述改变后针对所述目标块所设置的搜索范围相对应的所述匹配处理范围互相不重叠。

8.根据权利要求7所述的图像处理设备，其中，在包括与所述改变后针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围的所述第二分割块单位的图像数据中，在和与所述改变前针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围不重叠的第二分割块区域中的图像数据被解压并解码，随后被重写在所述第二存储部的存储区中，在所述存储区中，在包括所述改变前针对所述目标块所设置的所述搜索范围的所述第二分割块单位的图像数据中，和与所述改变后针对所述目标块所设置的所述搜索范围相对应的所述匹配处理范围不重叠的第二分割块单位的图像数据已被存储，并且

用于识别在所述第二存储部中所述分割块单位的图像数据的所述存储位置的信息被存储并保留。

9.根据权利要求5所述的图像处理设备，其中，所述多个连续图像为从图像拾取元件连续输出的拾取图像。

10.一种图像拾取设备，包括：

图像处理设备，其中，以一个画面被分割成多个第一块中的第一块为单位叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面之间的目标画面中的多个所述第一块之一；在作为所要叠加的两个画面中的另一个画面的参考画面上设置的搜索范围中，设置大小与所述目标块相同的多个参考块；根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量，检测所述第一块单位的运动矢量；并且当所述第一块单位的所检测出的运动矢量用于补偿每个所述第一块的图像的运动时，进行所述图像的叠加，所述图像处理设备包括：

压缩部，被配置为以其中一个画面被分割成多个分割块中的第二分割块为单位对所述参考画面的图像数据进行压缩；

第一存储部，被配置为存储通过所述压缩部所压缩的所述图像数据；

解压解码部，被配置为从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述第二分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据；

第二存储部，被配置为存储通过所述解压解码部所解压和解码的所述图像数据；

数学运算部，被配置为从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值；以及

记录部，被配置为将通过所述叠加而降噪的图像的所述数据记录在记录介质中。

11.一种图像处理方法，其中，与具有预定大小并且包括被设置在目标画面上的预定位置的多个像素的目标块大小相同的多个参考块被设置在参考画面上所设置的搜索范围中，并且根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量来检测运动矢量，所述图像处理方法包括以下步骤：

以一个画面被分割成多个分割块中的分割块为单位对所述参考画面的图像数据进行压缩，并且将所述所压缩的图像数据存储在第一存储部中；

从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据，并且将所述被解压和解码的图像数据存储在第二存储部中；以及

从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

12.一种图像处理方法，其中，以一个画面被分割成多个第一块中的第一块为单位叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面中的目标画面中的多个所述第一块之一；在作为所要叠加的两个画面中的另一个画面的参考画面上设置的搜索范围中，设置大小与所述目标块相同的多个参考块；根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量，检测所述第一块单位的运动矢量；并且当所述第一块单位的所检测出的运动矢量用于补偿每个所述第一块的图像的运动时，进行所述图像的叠加，所述图像处理方法包括以下步骤：

以一个画面被分割成多个分割块中的第二分割块为单位对所述参考画面的图像数据进行压缩，并且将所压缩的图像数据存储在第一存储部中；

从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述第二分割块单位的被压缩图像数据，解压并解码所读出的图像数据，并且将被解压和解码的图像数据存储在第二存储部中；以及

从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

13.一种图像处理设备，其中，与具有预定大小并且包括被设置在目标画面上的预定位置的多个像素的目标块大小相同的多个参考块被设置在参考画面上所设置的搜索范围中，并且根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量来检测运动矢量，所述图像处理设备包括：

压缩装置，用于以一个画面被分割成多个分割块中的分割块为单位对所述参考画面的图像数据进行压缩；

第一存储装置，用于将通过所述压缩装置所压缩的所述图像数据存储至第一存储部；

解压解码装置，用于从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据；

第二存储装置，用于将通过所述解压解码装置所解压和解码的所述图像数据存储至第二存储部；以及

数学运算装置，用于从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

14.一种图像处理设备，其中，以一个画面被分割成多个第一块中的第一块为单位叠加多个连续图像，从而获得经降噪的图像，并且，目标块被设置为来自所要叠加的两个画面之间的目标画面中的多个所述第一块之一；在作为所要叠加的两个画面中的另一个画面的参考画面上设置的搜索范围中，设置大小与所述目标块相同的多个参考块；根据与所述目标块具有最高相关性的一个所述参考块与所述目标块在所述画面上的位置偏移量，检测所述第一块单位的运动矢量；并且当所述第一块单位的所检测出的运动矢量用于补偿每个所述第一块的所述图像的运动时，进行所述图像的叠加，所述图像处理设备包括：

压缩装置，用于以一个画面被分割成多个分割块中的第二分割块为单位对所述参考画面的图像数据进行压缩；

第一存储装置，用于存储通过所述压缩装置所压缩的所述图像数据；

解压解码装置，用于从所述第一存储部中，从存储在所述第一存储部中的所述参考画面的被压缩图像数据中读出那些包括相应于所述搜索范围的匹配处理范围的所述第二分割块单位的被压缩图像数据，并且解压并解码所读出的图像数据；

第二存储装置，用于存储通过所述解压解码装置所解压和解码的所述图像数据；

数学运算装置，用于从存储在所述第二存储部中的所述图像数据中提取出所述参考块的图像数据，并且数学运算所述参考块和所述目标块之间的相关值。

Images