CN101420613B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明公开了一种图像处理装置和图像处理方法，用于计算在包括目标画面图像与参考画面图像的两个画面图像之间的移动矢量，包括：基础面移动矢量计算部；高精度基础面移动矢量计算部；缩小面移动矢量计算部；高精度缩小面移动矢量计算部；第一和第二基础面搜索范围确定部；及选择部，用于从所述基础面移动矢量计算部、高精度基础面移动矢量计算部、缩小面移动矢量计算部、及高精度缩小面移动矢量计算部中选择待使用的计算部，并且选择是否应该使用所述第一或第二基础面搜索范围确定部，随后，在确定要使用任一确定部的情况下，从确定部中选择待使用的确定部。

Description

图像处理装置及图像处理方法

相关申请的交叉参考

本发明包含于2007年10月22日向日本专利局提交的日本专利申请JP2007-273606的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及一种图像处理装置和图像处理方法，用于检测在两个不同画面或画面图像间的移动矢量。在本说明书中，术语“画面”或“画面图像”用于表示由一个帧或一个场的图像数据所形成的并作为图像显示在显示装置上的图像。

背景技术

通过图像信息本身来确定两个画面间的移动矢量的块匹配方法是具有很悠久历史的技术。主要关于电视摄相机的云台检测或图像拾取对象跟踪、MPEG(移动图像专家组)方法的动态图像编码等的块匹配技术的开发取得了进展。进入九十年代之后，通过图像的叠加将块匹配方法进行了各种应用，例如无传感器相机震动校正或在低亮度图像拾取时的降噪。

块匹配为这样一种方法，其中，通过计算关于预定大小的矩形区域的块在参考图像和基础画面之间的相关性来计算两个画面之间的移动矢量，所述两个画面包括作为关注画面的参考画面和作为确定参考画面移动的基础的基础画面(下文中，称作目标画面)。参考画面图像和目标画面图像可以具有这样的两种时间关系，其一为例如在根据MPEG的移动检测的情况下，目标画面图像在时间上先于参考画面图像，其二为例如在通过下文中所描述的图像帧的叠加来降噪的情况下，参考画面图像在时间上先于目标画面图像。

需要注意，尽管如上所述在本说明书中画面或画面图像用于表示由一个帧或一个场的图像数据所形成的图像，但是在下面的描述中假设画面图像由一个帧形成，并且为了描述方便在下文中称作帧。因此，参考画面图像在下文中被称作参考帧，而目标画面图像在下文中称作目标帧。

图51A～图56示出了相关技术的块匹配的概要。在此处所描述的块匹配方法中，例如，如图51A所示，目标帧或基础帧100被分成多个包括在水平方向上的多个像素和在垂直方向上的多条线的预定大小的被称作块的矩形区域。目标帧的多个块102的每一个在下文中均被称作目标块。

在块匹配中，从参考帧101中搜索与目标块102具有高相关性的块。作为搜索结果被检测为在参考帧101中具有最高相关性的块的块103(参照图51B)被称作移动补偿块。此外，目标块102和移动补偿块103之间的位置偏移量被称作移动矢量(参照图51B中的参考数字104)。

在假设目标块102的投影图像块109位于参考帧101中与目标帧100的目标块102的位置相同的位置处的情况下，与包括位置偏移量和位置偏移方向的目标块102和移动补偿块103之间位置偏移相应的移动矢量104，对应于目标帧100的每个目标块102的投影图像块109的位置(例如，中心位置)与移动补偿块103的位置(例如，中心位置)之间的位置偏移。此外，在这种情况下的位置偏移具有位置偏移量和位置偏移方向组分。

描述了块匹配处理的概要。如图52中的虚线所示，在参考帧101上，假设目标块的投影图像块109位于与目标帧100的目标块102的位置相同的位置处，并且，目标块的投影图像块109的中心的坐标被定义为用于移动检测的原点105。随后，假设移动矢量104存在于包括用于移动检测的原点105的范围内，将以原点105为中心的预定范围设置为搜索范围106(参照图52中的点划线)。

随后，将具有与目标块102相同大小块(参考块)108设置在参考画面图像上。随后，在搜索范围106内的例如水平方向和垂直方向上将参考块108的位置移动一个像素或多个像素的单位距离。因此，在搜索范围106中，设置了多个参考块108。

此处，由于在本实例中原点105为目标块的中心位置，所以在搜索范围106中移动参考块108表示在搜索范围106内移动参考块108的中心位置。因此，构成参考块108的某些像素有时会从搜索范围106中突出。

随后，为在搜索范围106内设置每个参考块108，设置在下文中被称作参考矢量(参照图52)的矢量107，该矢量表示参考块108和目标块102之间的位置偏移量和位置偏移方向。随后，评价位于通过每个参考矢量107所表示的位置处的参考块108的图像内容和目标块102的图像内容之间的相关性。

参照图53，在通过Vx表示在水平或X方向上的参考块108的位置偏移量并且通过Vy表示在垂直或Y方向上的参考块108的位置偏移量的情况下，参考矢量107可被表示为矢量(Vx，Vy)。当诸如参考块108中心位置坐标的位置坐标与诸如目标块102的中心位置坐标的位置坐标彼此相同时，参考矢量107被表示为矢量(0，0)。

例如，如果如图53所示参考块108位于从目标块102的位置在X方向上移动一个像素距离的位置，则参考矢量107为矢量(1，0)。其间，如果如图54所示参考块108位于从目标块102的位置在X方向上移动三个像素距离并且在Y方向上移动两个像素距离的位置，则参考矢量107为矢量(3，2)。

具体而言，如在图54的实例中，目标块102和参考块108的位置被定义为块的中心位置的情况下，参考矢量107表示参考块108的中心位置和目标块102的中心位置之间的位置偏移，即，具有位置偏移量和偏移方向的矢量。

当参考块108在搜索范围106内移动时，参考块108的中心位置在搜索范围106内移动。如上所述，由于参考块108由在水平方向上和垂直方向上的多个像素构成，所以作为与目标块102进行块匹配处理的目标的参考块108的移动的最大范围为比如图54所示的搜索范围106更大的匹配处理范围110。

随后，被检测为与目标块102的图像内容具有最高相关性的块的参考块108的位置，被确定为在参考帧101中目标帧100的目标块102移动后的位置，并且，所检测出的目标块被确定为上文所述的移动补偿块103。随后，检测所检测出的移动补偿块103的位置和目标块102的位置之间的位置偏移量，作为包括方向组分的量的移动矢量104(参照图51B)。

此处，基本上使用目标块102和参考块108的相应像素值来计算表示目标块102和在搜索范围106内移动的参考块108之间的相关度的相关值。为了计算，提出多种方法，并且这些方法中的其中一种使用均方根法。

作为计算移动矢量普遍使用的相关值，例如，使用与块中所有像素相关的，目标块102中的像素的亮度值和搜索范围106中相应像素的亮度值之间的差分的绝对值总和(参照图55)。所述差分的绝对值的总和被称为差分绝对值总和并且在下文中称作SAD(差分绝对值总和)。

在SAD值被用作相关值的情况下，SAD值越小，相关性越高。因此，当在搜索范围106内移动的参考块108被定位于SAD值为最小值的位置处时，该参考块变为最高相关参考块。因此，检测出最高相关参考块，作为移动补偿块103，并且检测所检测出的移动补偿块103与目标块102位置的位置偏移量，作为移动矢量。

如上所述，在块匹配中，关于目标块102位置在搜索范围106中所设置的多个参考块108中的每一个的位置偏移量被表示为作为包括方向组分的量的参考矢量107。每个参考块108的参考矢量107具有以参考块108在目标块102上的位置为基础的值。如上所述，在块匹配中，检测出示出SAD值的最小值作为相关值的参考块108的参考矢量，作为移动矢量104。

因此，在块匹配中，如图56所示，通常采用如下所述的这种检测方法。特别地，在搜索范围106中所设置的多个参考块108与目标块102之间的SAD值(为了简化描述，这种SAD值在下文中简称为参考块108的SAD值)以与相应于参考块108的位置的参考矢量107的对应关系被存储至存储器中(为了简化描述，相应于参考块108的位置的这种参考矢量107在下文中称作参考块108的参考矢量107)。随后，从在存储器中存储的所有参考块108的SAD值中检测出示出最小SAD值的其中一个参考块108，从而检测出移动矢量104。

以与参考矢量107(其相应于在搜索范围106中所设置的多个参考块108的位置)的各自的对应关系来存储诸如参考块108的SAD值的相关值的存储器或存储区被称作相关值表。在本实例中，由于作为差分的绝对值总和的SAD值被用作相关值，所以相关值表被形成为在下文中被称作SAD表的差分绝对值总和表。

SAD表被表示为图56中的SAD表TBL。参照图56，在所示的SAD表TBL中，每个参考块108的相关值(此实例中所示的是SAD值)被称作相关值表要素。在图56的实例中，通过参考数字111所表示的SAD值表示参考矢量为矢量(0，0)的SAD值。此外，在图56的实例中，由于SAD值的最小值是参考矢量为矢量(3，2)的“7”，所以所要确定的移动矢量104自然为矢量(3，2)。

应该注意，目标块102和参考块108的任何一个的位置表示块中的任意特定位置(例如，块的中心位置)，并且，参考矢量107表示参考帧101中的目标块102的投影图像块109的位置与参考块108的位置之间的偏移量。

随后，相应于每个参考块108的参考矢量107为参考块108与参考帧101中相应于目标块102的投影图像块109的位置的位置的偏移，因此，如果参考块108的位置被指定，则参考矢量值也根据参考块108的位置被指定。因此，如果在SAD表TBL的存储器中的参考块的相关值表要素的地址被指定，则相应的参考矢量被指定。

应该注意，可以同时计算两个以上的目标块的SAD值。如果同时处理的目标块数增加，则处理速度增加。但是，由于用于计算SAD值的硬件的规模增大，所以处理速度的提高和电路规模的扩大彼此存在此消彼长的关系。

附带地，在上述块匹配方法中，由于处理对象图像的分辨率提高，所以与检测两个图像或两个画面图像之间的移动相关的像素数增加。因此，为了追踪这种移动，需要对于移动矢量使用更大的搜索范围，即，增大在搜索范围中所包括的像素数。

但是，在以这种方式使用更大的搜索范围的情况下，从处理目标的每一个块的帧存储器中读入像素信息的次数增多，导致需要更多的处理时间的问题。

另一方面，在处理对象图像的分辨率低的情况下，或在帧率高的情况下，由于像素之间的移动很小，所以需要检测比一个像素更小的亚像素精度的小移动。因此，需要使用过采样图像来检测移动矢量，从而检测小于一个像素的移动矢量。但是，这种方法的采用会引起电路规模增大并且处理次数由于过采样而增加的问题。

如上所述，块匹配方法预示着响应于对很大搜索范围和小于一个像素的非常小的移动的需求而导致处理时间和电路规模增加的倾向。因此，需要消除处理时间和电路规模的这种增加。

同时，近年来，高清晰度动态图片的图像开发已经进行，并且对于图像的更高分辨率和更高图片质量的需求正在增加。与此同时，对于实现更大搜索范围和小于一个像素的亚像素精度的非常小的移动的检测的块匹配方法的需求正在增加。

为了解决如上所述的这些问题，在过去已经提出了多种方法。例如，已经提出了用于在小于一个像素的非常小的移动的检测中实现有效处理的方法，并且被披露于日本专利公开第Hei.7-95585号中。用于通过采样参考帧来减小帧存储器和计算量的另一种方法也被披露于日本专利公开第2006-160829号中。

被认为更为实际的进一步的方法披露于日本专利公开第Hei5-91492号中。根据该方法，在SAD表中，SAD表中的最小SAD值和与最小SAD值位置邻近的位置处的多个SAD值被用于执行内插处理，使得以比SAD表的精度低的高精度(即，目标帧和参考帧的像素间距精度)来计算SAD值的最小值。通过上述方法，参考图像不需要预处理，并且对电路规模的影响也很小。

发明内容

如上所述，基于处理对象图像的分辨率或帧率以不同的方式应用块匹配方法。具体地说，该块匹配方法足够用于检测一个像素精度的移动，或者需要该块匹配方法来检测小于一个像素的亚像素精度的非常小的移动。

此外，例如，在静止图片的情况下，期望亚像素精度的移动检测，而在动态图片的情况下，可以使用一个像素精度(像素精度)的移动检测。此外，在动态图片的情况下，因为需要实时性，所以处理速度更加重要，而在静止图片的情况下，应该首先考虑精度。

例如，在像机系统中，由于更高功能的发展，已提出了多种应用，因此，关于处理对象图像或图像处理，发生如上所述的多种情况。但是，不能通过一种块匹配来实现准备用于如上所述的这样的各种需求的块匹配。

因此，需要提供能够响应于关于处理对象图像或用于该图像的处理的各种情况来执行适当的块匹配处理的图像处理装置和图像处理方法。

根据本发明的实施例，提供了一种图像处理装置，用于计算包括目标画面图像和参考画面图像这两个画面图像之间的移动矢量。图像处理装置包括以下部分：

基础面移动矢量计算部，被配置为从各自与目标块具有相同大小并且被设置在参考画面图像中的第一搜索范围中被设置的多个参考块中，检测出最大相关基础面参考块，该最大相关基础面参考块与被设置在目标画面图像中的预定位置处的预定大小的目标块具有高相关性，并且该基础面移动矢量计算部根据在画面图像中所检测的最大相关基础面参考块关于目标块的位置偏移量来计算基础面移动矢量；

高精度基础面移动矢量计算部，被配置为使用最大相关基础面参考块的相关值和位于与最大相关基础面参考块邻近位置的多个参考块的相关值来执行内插处理，从而检测高精度最大相关基础面参考块的位置，并且根据在画面图像中高精度最大相关基础面参考块关于目标块的位置偏移量来计算高精度基础面移动矢量；

缩小面移动矢量计算部，被配置为以预定缩小率缩小目标画面图像和参考画面图像，从而生成缩小目标画面图像和缩小参考画面图像，从各自与缩小面目标块具有相同大小并且被设置在缩小参考画面图像中所设置的第二搜索范围中的多个缩小面参考块中检测最大相关缩小面参考块，该参考块与具有预定大小并且被设置在缩小目标画面图像的预定位置处的缩小面目标块具有高相关性，并且该缩小面移动矢量计算部根据在画面图像中所检测的最大相关缩小面参考块关于缩小面目标块的位置偏移量来计算缩小面移动矢量；

高精度缩小面移动矢量计算部，被配置为使用最大相关缩小面参考块的相关值和位于与最大相关缩小面参考块邻近位置的多个缩小面参考块的相关值来执行内插处理，从而检测高精度最大相关缩小面参考块的位置，并且根据在画面图像中高精度最大相关缩小面参考块关于目标块的位置偏移量来计算高精度缩小面移动矢量；

第一基础面搜索范围确定部，被配置为根据通过缩小面移动矢量计算部所计算的缩小面移动矢量来确定第一搜索范围；

第二基础面搜索范围确定部，被配置为根据通过高精度缩小面移动矢量计算部所计算的高精度缩小面移动矢量来确定第二搜索范围；以及

选择部，被配置为从基础面移动矢量计算部、高精度基础面移动矢量计算部、缩小面移动矢量计算部以及高精度缩小面移动矢量计算部中选择要使用的计算部，并选择是否应使用第一或第二基础面搜索范围确定部，并且随后在确定要使用任一确定部的情况下，从第一和第二基础面搜索范围确定部中选择要使用的确定部。

根据本发明的另一个实施例，提供了一种图像处理方法，用于计算包括目标画面图像和参考画面图像的两个画面图像之间的移动矢量，通过包括基础面移动矢量计算装置、高精度基础面移动矢量计算装置、缩小面移动矢量计算装置、高精度缩小面移动矢量计算装置、第一基础面搜索范围确定装置、及第二基础面搜索范围确定装置的图像处理装置来执行所述图像处理方法。图像处理方法包括以下步骤：

基础面移动矢量计算步骤，通过基础面移动矢量计算装置来执行，在参考画面图像中所设置的第一搜索范围中设置各自与具有预定大小并且被设置在目标画面图像中的预定位置处的目标块具有相同大小的多个参考块，从而从多个参考块中检测与目标块具有高相关性的最大相关基础面参考块，并且根据在画面图像中所检测的最大相关基础面参考块关于目标块的位置偏移量来计算基础面移动矢量；

高精度基础面移动矢量计算步骤，通过高精度基础面移动矢量计算装置来执行，使用最大相关基础面参考块的相关值和位于与最大相关基础面参考块邻近位置的多个参考块的相关值来执行内插处理，从而检测高精度最大相关基础面参考块的位置，并且根据在画面图像中高精度最大相关基础面参考块关于目标块的位置偏移量来计算高精度基础面移动矢量；

缩小面移动矢量计算步骤，通过缩小面移动矢量计算装置来执行，以预定缩小率缩小目标画面图像和参考画面图像，从而生成缩小目标画面图像和缩小参考画面图像，在缩小参考画面图像中所设置的第二搜索范围中设置各自与具有预定大小并且被设置在缩小目标画面图像中的预定位置处的缩小面目标块具有相同大小的多个缩小面参考块，从多个缩小面参考块中检测与缩小面目标块具有高相关性的最大相关缩小面参考块，并且根据在画面图像中所检测的最大相关缩小面参考块关于缩小面目标块的位置偏移量来计算缩小面移动矢量；

高精度缩小面移动矢量计算步骤，通过高精度缩小面移动矢量计算装置来执行，使用最大相关缩小面参考块的相关值和位于与最大相关缩小面参考块邻近位置的多个缩小面参考块的相关值来执行内插处理，从而检测高精度最大相关缩小面参考块的位置，并且根据在画面图像中高精度最大相关缩小面参考块关于目标块的位置偏移量来计算高精度缩小面移动矢量；

第一基础面搜索范围确定步骤，通过第一基础面搜索范围确定装置来执行，根据通过缩小面移动矢量计算装置所计算的缩小面移动矢量来确定第一搜索范围；

第二基础面搜索范围确定步骤，通过第二基础面搜索范围确定装置来执行，根据通过高精度缩小面移动矢量计算装置所计算的高精度缩小面移动矢量来确定第二搜索范围；以及

选择步骤，当要计算两个画面图像之间的移动矢量时，从基础面移动矢量计算步骤、高精度基础面移动矢量计算步骤、缩小面移动矢量计算步骤、基高精度缩小面移动矢量计算步骤中选择要使用的计算步骤，选择是否应使用第一或第二基础面搜索范围确定步骤，在确定要使用任一确定步骤的情况下，从第一和第二基础面搜索范围确定步骤中选择要使用的确定装置。

在图像处理装置中，预备了多个不同的块匹配方法，并且响应于处理对象图像或用于该图像的处理的情况通过选择部从所预备的块匹配方法中选择适当的块匹配方法。

简而言之，通过图像处理装置，响应于处理对象图像或用于该图像的处理的情况从所预备的块匹配方法中选择适当的块匹配方法。

下面，将结合附图对本发明的优选实施例进行说明，本发明的上述和其他的目的、特征和优点将更加明显。在附图中，相同的参考符号表示相同的元件。

附图说明

图1是示出作为应用了本发明的实施例的图像处理装置的图像拾取装置的构造实例的框图；

图2A和图2B是示出通过图1的图像拾取装置从所拾取的图像中生成经降噪的图像的示意图；

图3是示出由图1的图像拾取装置进行的块匹配处理的示意图；

图4和图5是示出由图1的图像拾取装置进行的不同的降噪处理的示意图；

图6、图7、图8A～图8C、图9～图12、图13A～图13C、图14、图15A和图15B、及图16A和图16B是示出通过图1的图像拾取装置所进行的几种图像处理方法的示意图；

图17和图18是示出图1的图像拾取装置的移动检测和移动补偿单元的操作的示意图；

图19是示出图1中所示的移动检测和移动补偿单元的结构实例的框图；

图20和图21是示出图1的移动检测和移动补偿单元的不同部分的详细结构实例的框图；

图22是示出图1的图像拾取装置的图像叠加单元的结构实例的框图；

图23是示出图1中所示的移动检测和移动补偿单元的移动矢量计算部的第一实例的框图；

图24是示出图23的移动矢量计算部的处理操作实例的流程图；

图25A～图25C和图26A～图26C是示出移动检测和移动补偿单元的移动矢量计算部的第二实例的操作的示意图；

图27是示出移动检测和移动补偿单元的移动矢量计算部的第一实例的结构的框图；

图28和图29是示出图27的移动矢量计算部的处理操作的实例的流程图；

图30是示出移动检测和移动补偿单元的移动矢量计算部的第三实例的框图；

图31和图32是示出图30的移动矢量计算部的处理操作的实例的流程图；

图33是示出图像处理装置的部分的功能组块结构的框图；

图34是示出选择在应用了本发明实施例并且被整合在图1的图像拾取装置中的图像处理方法中所使用的多个块匹配模式的其中一个的处理实例的流程图；

图35是示出在图34中所示出的处理中所使用的操作模式和移动矢量精度的示图；

图36和图37是示出在根据本发明实施例的图像处理方法中所使用的静止图片降噪处理的实例的流程图；

图38是示出在根据本发明实施例的图像处理方法中所使用的动态图片降噪处理的实例的流程图；

图39～图42是示出在根据本发明实施例的图像处理方法中所使用的静止图片降噪处理中的图像数据的流程的框图；

图43和图44是示出在根据本发明实施例的图像处理方法中所使用的动态图片降噪处理中的图像数据的流程的框图；

图45和图46是示出在根据本发明实施例的图像处理方法中所使用的分级块匹配处理模式的实例的流程图；

图47和图48是示出在根据本发明实施例的图像处理方法中所使用的分级块匹配处理模式的另一个实例的流程图；

图49A～图49F是示出在根据本发明实施例的图像处理方法中所使用的分级块匹配处理的效果的示意图；并且

图50A～50C、图51A和51B、及图52～图56是示出块匹配处理的示意图。

具体实施方式

下面，将图像拾取装置作为实例，参照附图描述使用根据本发明的图像处理方法的图像处理装置。此外，在图像处理方法中，将叠加多个图像从而降噪的处理作为实例，描述使用所检测的移动矢量所执行的处理。

[根据本发明实施例的图像处理装置]

在根据本发明实施例的图像拾取装置中，将连续拾取的多个图像(例如，图2中所示的图像P1、P2以及P3)使用移动检测和移动补偿相对地进行定位，随后彼此叠加，从而获得经降噪的图像Pmix。具体地，由于噪点随机地包含于多个图像中，所以如果相同组分的图像彼此叠加，则能够降低所得图像中的噪点。

在下面的描述中，使用移动检测和移动补偿来叠加多个图像从而减少噪点被称作降噪(NR)，而通过这种降噪而减少了噪点的图像被称作降噪图像。

在本说明书中，待被执行降噪的画面图像被称作目标画面图像或目标帧，而待叠加的画面图像被定义为参考画面图像或参考帧。由于图像拾取人的相机震动，被连续拾取的图像位置发生偏移，并且，为了叠加两个图像，图像的定位是非常重要的。此处，不仅应该考虑诸如由于手而导致的相机震动的整个画面的相机震动的存在，而且应该考虑画面中图像拾取对象的移动的存在。

因此，为了也增强关于图像拾取对象的降噪效果，如图3所示，需要将目标帧100分割成多个目标块102，并且以目标块102为单位执行定位。此处，每个目标块102包括水平方向上的多个像素×垂直方向上的多个行。

在本实施例中，从所有目标块102中检测以块为单位的块移动矢量104B(下文中被称作块移动矢量)，使得使用块移动矢量104B对目标块102执行定位，从而叠加图像。

本实施例的图像拾取装置具有用于拾取静止图片的模式和用于拾取动态图片的另一种模式。

当图像拾取装置处于静止图片拾取模式时，高速连续拾取多个图像，并且如图4所示，将第一拾取图像设置为目标帧100，并将包括第二及随后所拾取的图像的预定数目的随后所拾取图像设置为参考帧101，将它们进行叠加，并且每个所得图像被记录在静止图片拾取图像中。具体地，如果图像拾取人按下图像拾取装置的快门按钮，则高速连续拾取预定数目的图像，并且在首先拾取的图像或帧上，叠加随后拾取的多个图像或帧。

另一方面，当图像拾取装置处于动态图片图像拾取模式时，如图5所示，将当前从图像拾取装置所输出的帧的图像确定为目标帧100的图像，并且将在时间上先于该帧的图像确定为参考帧101的图像。因此，为了执行当前帧的图像的降噪，将先前帧的图像叠加到当前帧上。

需要注意，在图4和图5的叠加方法的描述中，当所要记录的动态图片图像的帧率为60fps(帧/秒)时，来自图像拾取装置的帧率为60fps的两个图像帧被叠加，从而获取经降噪的帧率为60fps的拾取图像信号。

但是，在从图像拾取装置中以更高的帧率(例如，240fps)输出拾取图像的情况下，也能通过每4个图像的叠加而产生一个动态图片帧来获取帧率为60fps的拾取图像信号。当然，通过以类似的方式来叠加每两个所拾取的240fps的动态图片图像，可以获取帧率为240fps且经降噪的所拾取图像信号。

通过这种方式，本实施例的图像拾取装置通过对静止图片和动态图片的图像叠加来用于降噪。通常，静止图片通过图像叠加所进行的降噪需要高精度，而动态图片通过图像叠加进行的降噪需要实时性(即，高速处理速度)。

因此，例如，对于静止图片的降噪，需要在很宽的搜索范围内的亚像素精度的移动检测。同时，对于动态图片的降噪，需要能够高速执行像素精度的移动检测并且对总线带宽的负载低。此处，所述总线带宽为能够在用于数据传输的路径上传输数据同时防止过载的数据率。

因此，用于移动检测的块匹配方法优选预备至少两种不同的操作模式，包括在静止图片图像拾取模式下用于静止图片降噪的操作模式和在动态图片图像拾取模式下用于动态图片降噪的另一种操作模式。

近年来，随着高功能性像机系统的发展，已经提出了多种应用并将其实际整合在图像拾取装置中。因此，在降噪系统中用于移动检测的块匹配技术优选不仅预备用于静止图片降噪和动态图片降噪的两种操作模式，而且还根据处理速度、总线带宽、像素大小、搜索范围、帧率、移动矢量的检测精度等预备多种辅助操作模式。

鉴于上述情况，本实施例的图像拾取装置具有两种以上的作为用于执行移动检测的块匹配的操作模式的操作模式，并且响应于在静止图片图像拾取模式和动态图片图像拾取模式之间的图像拾取模式的选择操作(例如，通过用户操作输入单元3所执行的操作)以及处理速度、总线带宽、用于移动矢量的检测精度的选择指定操作等，自动选择适当的块匹配操作模式。

[图像拾取装置的硬件结构实例]

图1示出作为根据本发明的图像处理装置的实施例的图像拾取装置的实例。

参照图1，所示的图像拾取装置包括被连接至系统总线2的中央处理单元(CPU)1。图像拾取装置进一步包括被连接至系统总线2的图像信号处理系统10、用户操作输入单元3、图像存储单元4、及记录和再生装置单元5等。需要注意，尽管未示出，CPU1还包括用于存储执行各种软件处理的程序的ROM(只读存储器)、用于工作区的RAM(随机存取存储器)等。

图1的图像拾取装置的拾取图像信号处理系统10如下文所述地通过用户操作输入单元3接收图像拾取记录启动操作，并且执行这种拾取图像数据记录处理。此外，图1的图像拾取装置的拾取图像信号处理系统10通过用户操作输入单元3接收所拾取并被记录的图像的再生启动操作，并且对记录在记录和再生装置单元5的记录介质上的拾取图像数据执行再生处理。需要注意，下文中所描述的拾取图像信号处理系统10的各组件通过控制寄存单元7接收来自CPU1的控制命令，并且在CPU1的控制下执行独立的处理。

如图1所示，在拾取图像信号处理系统10中，来自图像拾取对象且通过包括图像拾取透镜10L的相机光学系统(未示出)的入射光照射在图像拾取器件11上，从而执行图像拾取。在本实例中，图像拾取器件11由CCD(电荷耦合器件)成像器构成。需要注意，此外图像拾取器件11也可以用CMOS(互补金属氧化物半导体)成像器来构成。

在图像拾取装置中，如果执行图像记录启动操作，则通过图像拾取透镜10L所输入的图像通过图像拾取器件11转换成拾取图像信号。因此，与来自定时信号发生单元12的定时信号同步，从图像拾取器件11输出作为由三原色红(R)、绿(G)和蓝(B)的信号组分所构成的贝尔阵列(Bayer array)的RAW信号的模拟拾取图像信号。所输出的模拟拾取图像信号被提供至预处理单元13，通过该单元执行诸如缺陷校正和γ校正的预处理。随后，所得的信号被提供至数据转换单元14。

数据转换单元14将作为输入其中的RAW信号的模拟拾取图像信号转换成由亮度信号组分Y和色差信号组分Cb/Cr所构成的数字拾取图像信号或YC数据，并且将数字拾取图像信号提供至图像校正和分辨率转换单元15。图像校正和分辨率转换单元15将数字拾取图像信号转换成具有通过用户操作输入单元3所指定的分辨率的数字拾取图像信号，并且将所得的数字拾取图像信号通过系统总线2提供至图像存储单元4。

如果通过用户操作输入单元3所接收的图像拾取指示为通过按下快门按钮引起的静止图片图像拾取指示，则对于上述多个帧，具有通过图像校正和分辨率转换单元15所转换的分辨率的数字拾取图像信号被写入图像存储单元4中。在多个帧的图像被写入图像存储单元4后，通过移动检测和移动补偿单元16读入目标帧的图像数据和参考帧的图像数据，由此，执行如下文所述的这种块匹配处理，从而检测移动矢量。随后，图像叠加单元17根据这样检测的移动矢量执行下文中所描述的图像叠加处理。作为叠加的结果，经降噪的降噪图像的图像数据被存储在图像存储单元4中。

随后，通过静止图片编码译码单元18来编码译码转换存储在图像存储单元4中的叠加结果的降噪图像的图像数据，并且通过系统总线2将其记录在诸如DVD(数字通用光盘)或硬盘的记录和再生装置单元5的记录介质中。在本实施例中，静止图片编码译码单元18对JPEG(联合图像专家组)系统的静止图片执行图像压缩编码处理。

此外，当图像拾取装置处于静止图片图像拾取模式时，在按下快门按钮之前，来自图像校正和分辨率转换单元15的图像数据通过图像存储单元4被提供至NTSC(国家电视系统委员会)编码器20，通过该编码器将其转换成NTSC系统的标准彩色视频信号。标准彩色视频信号被提供至例如LCD(液晶显示器)装置的监控显示器6，并且静止图片图像拾取模式下的监控图像被显示在监控显示器6的显示屏上。

另一方面，如果通过用户操作输入单元3所输入的图像拾取指示为通过按下动态图片记录按钮而获得的动态图片图像拾取指示，则分辨率转换后的图像数据被写入图像存储单元4，并且同时被发送至移动检测和移动补偿单元16。因此，通过移动检测和移动补偿单元16，对图像数据执行如下文所述的这样的块匹配处理，从而检测移动矢量，并且图像叠加单元17根据所检测出的移动矢量来执行如下文所述的图像叠加处理。因此，作为叠加结果的经降噪的降噪图像的图像数据被存储在图像存储单元4中。

在图像存储单元4中所存储的叠加结果的这种降噪图像的图像数据通过NTSC编码器20被输出至监控显示器6的显示屏，并且同时通过动态图片编码译码单元19被编码译码转换。此后，被编码译码转换的图像数据通过系统总线2被提供至记录和再生装置单元5，通过该单元被记录在诸如DVD或硬盘的记录介质上。在本实施例中，动态图片编码译码单元19根据MPEG(动态图片专家组)系统对动态图片执行图像压缩编码处理。

响应于通过用户操作输入单元3所执行的再生启动操作，记录在记录和再生装置单元5的记录介质上的拾取图像数据被读出，并且被提供给动态图片编码译码单元19并由其为再生进行解码。随后，所解码的图像数据通过NTSC编码器20被提供至监控显示器6，由此根据图像数据在显示屏上显示再生图像。需要注意，尽管在图1中未被示出，但是来自NTSC编码器20的输出视频信号能够通过视频输出终端被导出至外部。

上述移动检测和移动补偿单元16可通过硬件构成，或者使用DSP(数字信号处理器)构成。可选地，移动检测和移动补偿单元16可以通过CPU1配置为软件处理。

类似地，上述图像叠加单元17也可以通过硬件或使用DSP老构成。可选地，图像叠加单元17可以通过CPU1配置为软件处理。这也可以类似地应用于静止图片编码译码单元18和动态图片编码译码单元19。

[移动检测和移动补偿单元16]

移动检测和移动补偿单元16基本上使用在上文中参照图51～图56所描述的SAD值来执行块匹配处理，从而执行移动矢量检测。但是，在本实施例中，移动检测和移动补偿单元16由如下文所述的硬件构成，从而使得通过通用硬件能够执行两个以上的块匹配处理的操作模式。首先将描述用于在本实施例中所使用的块匹配处理的多个不同的操作模式。

<缩小面匹配处理模式>

广泛使用的相关技术的块匹配中的移动矢量检测处理包括以一个像素或多个像素为单位(即，以一个像素为单位或以多个像素为单位)的参考块的移动、每个移动位置处的参考块的SAD值的计算、在所计算的SAD值中具有最小值的其中一个SAD值的检测、及根据表现出最小SAD值的参考块位置的移动矢量的检测。

但是，使用这种相关技术的移动矢量检测处理，由于参考块在搜索范围内以一个像素或多个像素为单位被移动，所以用于计算SAD值的匹配处理次数与搜索范围成正比增加。这样引起一个问题，即，需要增加匹配处理的时间，而且需要增加SAD表的容量。此外，通过系统总线2访问图像存储器的次数也增加，并且这需要总线带宽的增加。

在动态图片降噪处理中，即使牺牲移动矢量的检测精度，也要求在处理速度和总线带宽的减少方面优先的方法。需要注意，在此处成为问题的总线带宽为当移动检测和移动补偿单元16通过系统总线2访问图像存储单元4时的总线带宽。

考虑到先前所述，在本实施例中，提供缩小面匹配处理模式，其中，生成对于目标图像或目标帧及参考图像或参考帧的缩小图像，并且使用所生成的缩小图像执行块匹配。需要注意，在下面所给出的描述中，缩小图像被称作缩小面，并且没有被缩小的原始图像被称作基础面。

图6和图7分别示出了目标帧或画面图像及参考帧或画面图像的图像缩小。具体地，在本实施例中，例如，如图6所示，基础面目标帧130在水平方向和垂直方向上都被缩小至1/n(n为正数)，从而生成缩小面目标帧132。因此，通过将基础面目标帧130分割成多个部分所生成的基础面目标块131被转换成在水平方向和垂直方向上都被缩小至1/n的缩小面目标块133。

随后，根据目标帧的图像缩小率1/n缩小参考帧。具体地，如图7所示，基础面参考帧134在水平和垂直方向上都被缩小至1/n，从而生成缩小面参考帧135。随后，在基础面参考帧134中所检测的移动补偿块103的基础面移动矢量104在缩小面参考帧135上被检测到，作为被减小至1/n×1/n的缩小面移动矢量136。

需要注意，在上述实例中，目标帧和参考帧的图像缩小率彼此相等，但是也可以对目标帧或图像及参考帧或图像使用不同的图像缩小率，从而减小计算量，使得通过像素内插等的处理使两个帧的像素数可以彼此相同，从而执行匹配。

此外，虽然在水平方向和垂直方向上的缩小率彼此相等，但是可以对水平或垂直方向应用不同的缩小率。例如，如果对水平方向应用缩小率1/n并且对垂直方向应用另一个缩小率1/m(m为正数，且n≠m)，则缩小图像具有原始画面图像1/n×1/m的大小。

图8A、图8B及图8C示出了缩小面参考矢量138和基础面参考矢量之间的关系。如果如图8A所示在基础面参考帧134中确定了移动检测原点105和搜索范围106，则在被缩小至1/n×1/n的缩小面参考帧135上，如图8B所示，搜索范围为被缩小至1/n×1/n的缩小面搜索范围137。

此外，在本实施例中，在缩小面搜索范围137内设置在缩小面参考帧135上表示与移动检测原点105的位置偏移量的缩小面参考矢量138，从而评价通过缩小面参考矢量138所表示的位置处的缩小面参考块139和在图8B中没有被示出的缩小面目标块133之间的关系。

在这种情况下，由于对缩小图像执行块匹配，所以缩小面参考块位置或在缩小面参考帧135中待计算SAD值的缩小面参考矢量138的数目可被减少。因此，由于SAD数的计算次数(即，匹配处理的次数)减少，所以能够提高处理速度，并且缩小SAD表的规模。

通过在通过缩小面搜索范围137所定义的缩小面匹配处理范围中所设置的多个缩小面参考块139和缩小面目标块133之间的块匹配的相关性评价，计算在缩小面参考帧135中未在图8B中示出的缩小面移动矢量136。因为图像被缩小至1/n×1/n，所以缩小面移动矢量136的精度被减小至等于一个像素精度n倍的低精度。

如果如图8C所示将以这种方式所确定的缩小面移动矢量136乘以图像缩小率的倒数，则能够获取基础面上的移动矢量(下文中被称作移动矢量104′)。但是，基础面移动矢量104′的精度变为相应于图像缩小率的精度。例如，如果在垂直和水平方向上都被缩小至1/4的缩小面上执行块匹配，则基础面移动矢量104′变为4个像素精度的移动矢量。

但是，很明显，在基础面参考帧134中，一个像素精度的基础面移动矢量104存在于通过将缩小面移动矢量136增加至n倍所获取的基础面移动矢量104′的附近。

在用于动态图片的降噪系统中，需要实时性能(即，速度)及精度。在如上参照图1所述的各种处理部被连接至系统总线2且并行地执行各种处理的系统中，总线带宽也很重要。

速度及总线带宽与移动检测的精度具有此消彼长的关系，如果尝试实现处理速度的提升或总线带宽的减少同时还保证移动检测的精度，则必须考虑成本对效果的问题。这种缩小面匹配处理模式为适用于这样一种情况的处理模式，其中，例如，在动态图片降噪处理中，即使忽略移动检测精度，也要尝试实现处理速度的提升或总线带宽的减少。

<缩小面匹配+内插处理模式>

在缩小面匹配处理模式下，移动矢量的检测精度具有根据图像缩小率的值。尽可能地保持处理速度或总线带宽的减小从而提高移动矢量的精度的模式为这种缩小面匹配+内插处理模式。

在本缩小面匹配+内插处理模式下，对缩小面执行了块匹配后，使用缩小面参考块139(其在通过所计算的缩小面移动矢量136所表示的缩小面参考块位置附近)的SAD值及所述SAD值的位置信息来执行内插处理，从而执行像素精度的缩小面移动矢量检测。

例如，如果如图9所示在垂直和水平方向上都被缩小至1/4的缩小面上执行块匹配，则缩小面移动矢量136具有4个像素精度。但是，很明显，在基础面参考帧134中，一个像素精度的基础面移动矢量104存在于通过将缩小面移动矢量136乘以n所获取的基础面移动矢量104′附近。

因此，在如图10所示确定缩小面上的最小SAD值149的情况下，例如，可能可以使用诸如在上、下、左和右方向上邻近的4个SAD值150、151、152及153的多个邻近SAD值来执行内插处理，从而检测像素精度的移动矢量。在这种情况下，需要4倍内插倍率。

例如，可以考虑使用二次曲线对SAD表进行内插从而通过以例如n个像素为单位执行匹配处理所获取的缩小面SAD表来计算像素精度的移动矢量。在这个实例中，不仅是二次曲线近似内插，而且线性内插或等于或高于三次的更高次的近似曲线内插也都是可以使用的。但是，在本实例中，根据精度和硬件结构之间的平衡而使用二次曲线近似内插。

如图10所示，在本二次曲线近似内插中，使用通过n像素精度的缩小面移动矢量136所表示的缩小面SAD表的SAD值的最小SAD值Smin(参照图10的参考数字149)和在最小SAD值Smin位置周围的邻近位置处的多个SAD值(下文中，被称作邻近缩小面SAD值)，在本实施例中，为在X方向或水平方向及Y方向或垂直方向上位于最小SAD值Smin附近的四个邻近SAD值Sx1、Sx2和Sy1、Sy2(参照参考数字150、151、152及153)。

如果如图11所示将缩小面SAD值的最小SAD值Smin和在X方向或水平方向上位于两个邻近点处的邻近缩小面SAD值Sx1和Sx2用于二次近似曲线118，则二次近似曲线118假设最小值处的X坐标变为缩小面移动矢量的X坐标Vx，即，高精度缩小面移动矢量，在此处，像素精度的SAD值假设为最小值SXmin。在这种情况下，通过下面的表达式(1)来表示二次曲线近似内插的表达式：

SXmin＝1/2×(Sx2-Sx1)/(Sx2-2Smin+Sx1)...(1)

在SAD表中假设的根据计算表达式(1)所确定的像素精度的SAD值的最小值SXmin的X坐标为像素精度的缩小面SAD值的最小值的X坐标Vx。

通过多次执行减法能够实现计算表达式(1)的除法。如果待确定的像素精度为例如缩小面1/4像素间距的精度，则由于其能够通过两次减法来确定，所以电路规模很小，运算时间很短，并且能够实现与通过三次曲线内插(比二次近似曲线内插复杂得多)实现的只有很小差异的性能。

类似地，如果将缩小面SAD值的最小SAD值Smin和在Y方向或垂直方向上位于两个邻近点处的邻近缩小面SAD值Sy1和Sy2用于二次近似曲线，则二次近似曲线假设最小值SYmin处的Y坐标变为缩小面移动矢量的Y坐标Vy，在此处，像素精度的SAD值假设为最小值。在这种情况下，通过下面的表达式(2)来表示二次曲线近似内插的表达式：

SYmin＝1/2×(Sy2-Sy1)/(Sy2-2Smin+Sy1)...(2)

通过以上述方式在X方向和Y方向上执行两次二次曲线的近似，确定像素精度的高精度缩小面移动矢量(Vx，Vy)。

在先前的描述中，使用了缩小面SAD值的最小值和在X或水平方向及Y或垂直方向的每一个上的最小值点的两个邻近点的缩小面SAD值，另外，在每个方向上的缩小面SAD值的数目也可以为2个以上。此外，可以不对X方向和Y方向应用二次曲线，而可以在斜线方向上应用近似曲线。进一步地，近似曲线除了可以被应用于X和Y方向之外，还可被应用于斜线方向。

图12示出了通过使用如上所述的这些装置和程序，从图12中的n像素单位的精度的SAD表的值中获取像素精度的矢量检测结果。图12的横坐标轴表示内插倍率，并且表示对一维方向上的分辨率所应该采用的倍率。由于SAD表为二维表，所以表的面积以平方比例降低，但是由于内插误差以线性或基本上以线性增大，所以可以了解到上述内插方法的实用性。

缩小面匹配+内插处理模式为适用于例如在动态图片降噪处理中尝试采用像素精度作为移动检测精度同时尝试实现处理速度的提高或总线带宽的降低的情况下的处理模式。

<分级匹配处理模式1>

通过缩小面匹配+内插处理模式，能够应用像素精度作为移动检测精度，同时实现处理速度的提高或总线带宽的降低。但是，由于通过内插处理来确定像素精度，所以该模式更加依赖于内插倍率和用于内插的近似曲线。

因此，作为其中移动检测精度被设置为更高精度的像素精度的处理模式，在本实施例中提供分级匹配处理模式1。

在这种分级匹配处理模式1中，如图13A和13B所示，首先以预定的缩小率缩小基础面目标图像和基础面参考图像，随后，执行上文所述的缩小面匹配处理，从而执行缩小面移动矢量136的检测。

如图14所示，通过缩小面目标块133与多个缩小面参考块139(其设置在依赖于缩小面搜索范围137的缩小面匹配处理范围143中)之间的块匹配处理的相关性估计，来计算缩小面参考帧135中的多个缩小面移动矢量136。

如上文所述，因为图像被缩小至1/n×1/n，所以每个缩小面移动矢量136具有等于一个像素精度n倍的低精度。因此，即使将所计算的缩小面移动矢量136乘以n，也不能在基础面参考帧134中获取一个像素精度的基础面移动矢量104。但是，很明显，在基础面参考帧134中，一个像素精度的基础面移动矢量104存在于通过将缩小面移动矢量136增大至n倍所获取的移动矢量附近。

因此，在分级匹配处理模式1中，如图13C和图14所示，在很小的范围内设置基础面搜索范围140，其中，估计基础面移动矢量104存在于通过将缩小面移动矢量136增加至n倍所获取的移动矢量(基础面参考矢量141)所表示的位置周围，并且响应于这样所设置的基础面搜索范围140来设置基础面匹配处理范围144。

随后，如图13C和图14所示，基础面参考帧134中的基础面参考矢量141被设置为指示元素，指示基础面搜索范围140中的位置，同时将基础面参考块142设置至通过每个基础面参考矢量141所表示的位置处，从而执行基础面参考帧134的块匹配。在这里，必然地，此处所检测的基础面移动矢量的精度为像素精度。

与通过将缩小面搜索范围137和缩小面匹配处理范围143增加至n倍(为缩小率的倒数的n倍)所获取的搜索范围137′和匹配处理范围143′相比，以这种方式所设置的基础面搜索范围140和基础面匹配处理范围144可以为非常小的范围。

因此，如果仅对基础面执行块匹配处理而不执行分级匹配，则在基础面上，需要在搜索范围137′和匹配处理范围143′中设置多个参考块，从而执行用于确定与目标块的相关值的计算。但是，在分级匹配处理中，如图13C和图14所示，可以仅在非常小的范围内执行匹配。

因此，在如上所述非常小范围的基础面搜索范围140和基础面匹配处理范围144中所设置的基础面参考块142的数目非常小，并且匹配处理的执行次数(即，相关值计算的次数)和待保留的SAD至能够被显著减少。因此，能够实现提高处理速度并且减小SAD表规模的效果。

例如，这种分级匹配处理模式1是适用于在即使在动态图片降噪处理中牺牲一些处理速度的提升或总线带宽的减少也将移动检测精度设置为像素精度的情况下的处理模式。

<分级匹配处理模式2>

在上述分级匹配处理模式1中，根据为缩小率1/n的倒数的n像素精度的缩小面移动矢量136来确定基础面匹配处理中的搜索范围(即，基础面搜索范围)。但是，由于缩小面参考矢量142的精度低于像素精度，所以即使能够以像素精度检测基础面移动矢量，也会出现下面的问题。

具体地，例如，如果缩小率为1/4，则根据在缩小率匹配处理模式下所检测出的4像素精度的缩小面移动矢量136来确定基础面搜索范围。因此，仅可以对每4个像素来确定基础面搜索范围的中心坐标。图15A和图15B中示出了这种情况。在图15A和图15B中，目标块的大小为8像素×8像素，并且缩小率为1/4。

根据缩小面移动矢量136所确定的缩小面移动补偿块161(即，缩小面参考块139)可以为图15A中的斜线所表示的一样。具体地，由于在通过缩小面移动矢量136所表示的位置处的中心附近确定缩小面移动补偿块161，所以设置基础面搜索范围，从而在其中心包括缩小面移动补偿块161。此处，图15A中的一个单元表示缩小面上的一个单元，并且具有等于图15B的基础面上的一个像素4倍大小的尺寸。

如果在基础面上通过4个像素将由基础面搜索范围所确定的基础面匹配处理范围设置为大于缩小面移动补偿块161的范围，则如图15B所示，在搜索范围基础面匹配处理中的基础面匹配处理范围144可被确定为如通过粗线框并涂点所表示的这个范围。

但是，在如图15A所示，其中实际基础面移动矢量非常有可能被检测到的部分162被定位在缩小面上的缩小面参考块139的中间(即，缩小面移动补偿块161)的这种情况下，则如图15B所示，基础面移动矢量非常有可能被检测到的部分162被移动至非常接近于所设置的基础面匹配处理范围144的一端的位置处，而不是位于搜索范围内。

如果这种情况发生，则基础面移动矢量相应于在所设置的基础面匹配处理范围144中具有最高相关性的参考块，结果导致具有高精度的基础面移动矢量不能被计算的问题。

分级匹配处理模式2为关于上述问题所改进的处理模式，它使用在缩小面匹配+内插处理模式下所确定的像素精度的高精度缩小面移动矢量136′来确定基础面匹配处理中的基础面搜索范围。

在这种情况下，由于能够通过每一个像素来确定基础面搜索范围的中心坐标，所以如果基础面移动矢量非常有可能被确定的部分162位于如图16A所示的这个位置，则获取如图16A所示的这种高精度缩小面移动矢量136′。因此，缩小面移动补偿块161的位置在基础面上从基础面移动矢量非常可能被检测到的部分162被移动一个像素距离。

随后，在本处理模式下，由高精度缩小面移动矢量136′所确定的基础面匹配处理范围144变为通过图16B中的涂点所表示的范围，并且基础面移动矢量非常有可能被检测到的部分162偏离基础面匹配处理范围144的这种情况被消除。

这种分级匹配处理模式2为适用于在例如在动态图片降噪处理中即使牺牲一些处理速度的提高或总线带宽的减少也要将移动检测精度设置为像素精度的情况下的处理模式，倾向于通过比分级匹配处理模式1中更高的精度来执行移动检测。

<分级匹配+内插处理模式1和2>

如上所述，根据分级匹配处理模式1或分级匹配处理模式2，能够执行像素精度的基础面移动矢量的检测。但是，如上文所述，在静止图片降噪处理中，要求执行比像素精度更高的亚像素精度的移动检测。

因此，在本实施例中，分级匹配+内插处理模式被用作亚像素精度的处理模式。此处，由于在本实施例中，提出分级匹配处理模式1和分级匹配处理模式2用于分级匹配，所以关于分级匹配+内插处理模式，也预备了分级匹配+内插处理模式1和另一种分级匹配+内插处理模式2。

在分级匹配+内插处理模式1中，如果在分级匹配处理模式1中成功检测到像素精度的基础面移动矢量104，则在这种情况下，也使用通过基础面移动矢量104所表示的参考块的SAD值来执行二次曲线近似内插处理，即，使用基础面最小SAD值和邻近SAD值来计算亚像素精度的高精度移动矢量。

描述亚像素精度的高精度移动矢量。在上文所述的块匹配方法中，由于以像素为单位执行块匹配，所以仅以像素精度计算移动矢量。如参照图56在上文所述的，执行匹配处理的点(即，参考块的位置)以像素精度存在，而为了计算更高精度的移动矢量，需要以亚像素为单位的匹配处理。

如果为了计算比像素精度高N倍(像素间距为1/N)的移动矢量而以N个像素为单位执行匹配处理，则SAD表的大小变为近似N²倍，并且需要很大容量的存储器。此外，为了执行块匹配处理，必须生成被增大至N倍的上采样图像，因此，硬件规模显著增大。

因此，尝试使用二次曲线对SAD表进行内插，使得通过SAD表来计算亚像素精度的移动矢量。而且，在这种情况下，尽管不仅可以使用二次曲线近似内插而且可以使用线性内插或三次以上的近似曲线内插，但是，在本实例中，考虑到精度和硬件实现之间的平衡，使用二次曲线近似内插。

在本实例中的二次曲线近似内插中，如图17所示，使用通过像素精度的基础面移动矢量104所表示的基础面SAD表的SAD值的最小SAD值SSmin(基础面最小SAD值；参照图17中的参考数字113)和位于基础面最小SAD值SSmin位置附近的位置处的多个SAD值(下文中被称作基础面邻近SAD值)，在本实施例中，为与基础面最小SAD值SSmin的位置在X或水平方向及Y或垂直方向上邻近的4个基础面邻近SAD值SSx1、SSx2和SSy1、SSy2。

如图18所示，如果将基础面最小SAD值SSmin和在X方向上位于两个邻近点处的基础面邻近SAD值SSx1和SSx2用于应用二次近似曲线118，则二次近似曲线118假设最小值处的X坐标变为移动矢量的X坐标Vx，即，高精度缩小面移动矢量，在此处，亚像素精度的SAD值假设为最小值SSXmin。在这种情况下，用于二次曲线近似内插的表达式类似于上面所给出的表达式(1)，并且通过下面的表达式(3)表示：

SSXmin＝1/2×(SSx2-SSx1)/(SSx2-2SSmin+SSx1)...(3)

在SAD表中假设的根据计算表达式(3)所确定的亚像素精度的SAD值的最小值SSXmin的X坐标为提供亚像素精度的SAD值的最小值处的X坐标Vx。

计算表达式(3)的除法可通过多次执行减法来实现。如果待确定的像素精度为例如1/4初始像素间距的像素间距的精度，则由于仅通过两次减法就能确定，所以电路规模很小，运算时间很短，并且能够实现与通过三次曲线内插(比通过二次近似曲线内插复杂得多)实现的只有很小差异的性能。

类似地，如果将基础面最小SAD值SSmin和外Y方向或垂直方向上的两个邻近点的基础面邻近SAD值SSy1和SSy2用于二次近似曲线，则二次曲线假设最小值SSYmin处的Y坐标变为Y坐标Vy，在此处，亚像素精度的SAD值假设为最小值。在这种情况下，二次曲线近似内插的表达式类似于上面所给出的计算表达式(2)，并且通过下面的表达式(4)表示：

SSYmin＝1/2×(SSy2-SSy1)/(SSy2-2SSmin+SSy1)...(4)

通过以如上所述的方式在X方向和Y方向上执行两次二次曲线的近似，确定亚像素精度的高精度移动矢量(Vx，Vy)。

尽管在上面的描述中，使用了基础面最小SAD值和在X或水平方向及Y或垂直方向上的最小值点的4个邻近点的基础面邻近SAD值，但是在每个方向上的邻近SAD值的数目可以为两个以上。此外，可以不对X方向和Y方向应用二次曲线，而可以在斜线方向上应用近似曲线。进一步地，近似曲线除了可以被应用于X和Y方向之外，还可被应用于斜线方向。

显然，从参照图12在上文中所给出的描述，通过采用如上所述的这些装置和程序，由像素单位精度的SAD表的值可获取亚像素精度的矢量检测结果。

在本实施例中，使用包括移动检测和移动补偿单元16、图像叠加单元17、及通过系统总线2被连接至移动检测和移动补偿单元16及图像叠加单元17的图像存储单元4的硬件，通过软件处理来执行上述的多个块匹配方法。现在，将描述移动检测和移动补偿单元16及图像叠加单元17的硬件结构的实例。

<移动检测和移动补偿单元16的硬件结构实例>

图19示出移动检测和移动补偿单元16的硬件结构实例。参照图19，所示的移动检测和移动补偿单元16包括：目标块缓冲部161，用于保留目标块102的像素数据；参考块缓冲部162，用于保留参考块108的像素数据；以及匹配处理部163，用于计算目标块102和参考块108的相应像素的SAD值。移动检测和移动补偿单元16进一步包括：移动矢量计算部164，用于通过从匹配处理部163所输出的SAD值的信息来计算移动矢量；以及控制部165，用于控制移动检测和移动补偿单元16的其他组件。

移动检测和移动补偿单元16和图像存储单元4彼此通过系统总线2连接。具体地，在本实例中，总线接口单元21和另一个总线接口单元22分别连接在系统总线2与目标块缓冲部161、以及系统总线2与参考块缓冲部162之间。此处，系统总线2使用AXI(先进扩展接口)互连作为其协议。

在静止图片的图像拾取时，来自图像存储单元4中存储的缩小面目标图像Prt或基础面目标图像Pbt的缩小面目标块或基础面目标块被写入目标块缓冲部161。在缩小面目标图像Prt或基础面目标图像Pbt为第一个的情况下，在按下快门按钮后的第一拾取图像帧的图像被作为目标帧102写入目标块缓冲部161。在基于块匹配而执行与参考图像进行图像的叠加后，图像叠加后的降噪图像被写入图像存储单元4中，并且目标块缓冲部161的目标块102被重新写入降噪图像。

来自图像存储单元4中存储的缩小面参考图像Prr或基础面参考图像Pbr的图像帧的缩小面匹配处理范围或基础面匹配处理范围从图像存储单元4中被读出，并且被写入参考块缓冲部162。作为缩小面参考图像Prr或基础面参考图像Pbr，在上述第一图像帧后的图像帧被作为参考帧101写入图像存储单元4。

在这种情况下，如果执行图像叠加处理，同时多个被连续拾取的拾取图像被提取(这样的叠加在下文中称作图像拾取时的加算)，则作为基础面参考图像和缩小面参考图像，在第一拾取图像帧之后的拾取图像帧被逐一地连续提取至图像存储单元4。因此，图像存储单元4通常可以仅保留一个基础面参考图像和一个缩小面参考图像。

但是，在多个被连续拾取的拾取图像被提取至图像存储单元4后，在移动检测和移动补偿单元16及图像叠加单元17执行移动矢量检测并执行图像的叠加(这在下文中被称作拾取后加算)的情况下，需要向图像存储单元4中存储并在其中保留在第一拾取图像帧后的所有多个拾取图像帧，作为基础面参考图像和缩小面参考图像。

尽管图像拾取装置能够使用图像拾取中加算和图像拾取后加算的任何一种，但是，在本实施例中，尽管会需要很长的处理时间，但考虑到需要被降噪的精确图像，所以采用图像拾取后加算的处理。在下文中详细描述在本实施例中的静止图片降噪处理的操作。

另一方面，在动态图片图像拾取模式下，将来自图像校正和分辨率转换单元15的拾取图像帧作为目标块102输入至移动检测和移动补偿单元16。从目标帧提取出的目标块从图像校正和分辨率转换单元15被写入目标块缓冲部161。同时，目标帧的前一个并且被存储在图像存储单元4中的拾取图像帧被确定为参考帧101，并且来自参考帧101(基础面参考图像Pbr或缩小面参考图像Prr)的基础面匹配处理范围或缩小面匹配处理范围被写入参考块缓冲部162。

在动态图片图像拾取模式下，仅需要保留被用于与来自图像校正和分辨率转换单元15的目标帧进行块匹配的当前拾取图像帧的前一个拾取图像帧作为基础面参考图像Pbr和缩小面参考图像Prr，并且在图像存储单元4中所要保留的图像信息可以仅为用于一个图像或一个帧的信息。因此，在本实施例中，基础面参考图像Pbr或缩小面参考图像Prr不具有压缩图像数据格式。

匹配处理部163对在目标块缓冲部161中所存储的目标块和在参考块缓冲部162中所存储的参考块执行缩小面匹配处理和基面匹配处理。

此处，在缩小面目标块的图像数据被存储在目标块缓冲部161中并且在从缩小面参考画面中所提取的缩小面匹配处理范围内的图像所述被存储在参考块缓冲部162中的情况下，匹配处理部163执行缩小面匹配处理。另一方面，在基础面目标块的图像数据被存储在目标块缓冲部161并且在从基础面参考画面中所提取的基础面匹配处理范围内的图像数据被存储在参考块缓冲部162中的情况下，匹配处理部163执行基础面匹配处理。

为了匹配处理部163检测在块匹配过程中目标块与参考块之间的相关度，在本实施例中，图像数据的亮度信息被用于执行SAD值计算，以检测出最小SAD值，并且检测出具有最小SAD值的参考块作为最高相关性参考块。

需要注意，实际上，可以不使用亮度信息，而使用色差信号或三原色信号红(R)、绿(G)及蓝(B)的信息来执行SAD值的计算。此外，在SAD值的计算过程中，尽管通常使用块中的所有像素，但是为了减小数学运算量，可以通过采样等仅使用间歇位置处的有限的像素的像素值。

移动矢量计算部164从匹配处理部163的匹配处理结果检测关于目标块的参考块的移动矢量。在本实施例中，当通过匹配处理部163执行缩小面匹配处理时，通过移动矢量计算部164检测缩小面移动矢量，而当通过匹配处理部163执行基础面匹配处理时，通过移动矢量计算部164检测基础面移动矢量。

此外，在本实施例中，移动矢量计算部164具有下面的功能。具体地，移动矢量计算部164保留SAD值的最小值，并且进一步保留在表示最小SAD值的参考矢量附近的多个参考矢量的SAD值，从而执行这种二次曲线近似内插处理。随后，在缩小面匹配处理中，移动矢量计算部164检测像素精度的高精度缩小面移动矢量，并且在基础面匹配处理中，移动矢量计算部164检测亚像素精度的高精度基础面移动矢量。

控制部165在CPU1的控制下控制移动检测和移动补偿单元16，从而确定应该执行多种块匹配处理模式中的哪一种。随后，控制部165控制所确定的块匹配处理模式的处理操作。

<目标块缓冲部161的结构实例>

图20中示出目标块缓冲部161的结构实例。参照图20，所示的目标块缓冲部161包括基础面缓冲部1611、缩小面缓冲部1612、缩小处理部1613、及选择器1614、1615和1616。尽管未在图20中被示出，但是通过来自控制部165的选择控制信号来控制和选择选择器1614、1615和1616。

基础面缓冲部1611用于临时存储基础面目标块。基础面缓冲部1611不仅将基础面目标块提供至图像叠加单元17，并且将基础面目标块提供至选择器1616。

缩小面缓冲部1612用于临时存储缩小面目标块。缩小面缓冲部1612将缩小面目标块提供至选择器1616。

在如上所述的动态图片图像拾取模式下，提供缩小处理部1613，用于通过从图像校正和分辨率转换单元15被发送至其中的目标块来生成缩小面目标块。来自缩小处理部1613的缩小面目标块被提供至选择器1615。

根据来自控制部165的选择控制信号，选择器1614在动态图片图像拾取模式下选择来自图像校正和分辨率转换单元15的目标块(即，基础面目标块)，但是在静止图片图像拾取模式下，选择来自图像存储单元4的基础面目标块或缩小面目标块。随后，选择器1614将所选择的块输出并提供至基础面缓冲部1611、缩小处理部1613以及选择器1615。

根据来自控制部165的选择控制信号，选择器1615在动态图片图像拾取模式下选择来自图像校正和分辨率转换单元15的缩小面目标块，但是在静止图片图像拾取模式下，选择来自图像存储单元4的缩小面目标块。随后，选择器1615将所选择的块输出并提供至缩小面缓冲器件1612。

根据来自控制部165的选择控制信号，选择器1616在缩小面的块匹配中选择来自缩小面缓冲部1612的缩小面目标块，但是在基础面的块匹配中，选择来自基础面缓冲部1611的基础面目标块。随后，选择器1616将所选择的缩小面目标块或基础面目标块输出并发送至匹配处理单元163。

<参考块缓冲部162的结构实例>

图21中示出了参考块缓冲部162的构造实例。参照图21，参考块缓冲部162包括基础面缓冲部1621、缩小面缓冲部1622以及选择器1623。尽管未在图21中被示出，但是通过来自控制部165的选择控制信号来控制并选择选择器1623。

基础面缓冲部1621临时存储来自图像存储单元4的基础面参考块，并将基础面参考块提供至选择器1623。基础面缓冲部1621进一步将基础面参考块作为移动补偿块发送至图像叠加单元17。

缩小面缓冲部1622用于临时存储来自图像存储单元4的缩小面参考块。缩小面缓冲部1622将缩小面参考块提供至选择器1623。

根据来自控制部165的选择控制信号，选择器1623在对缩小面进行块匹配时选择性地输出来自缩小面缓冲部1622的缩小面参考块，但是在对基础面进行块匹配时，选择性地输出来自基础面缓冲部1621的基础面参考块。被选择性输出的缩小面参考块或基础面参考块被发送至匹配处理部163。

<图像叠加单元17的结构实例>

图22示出了图像叠加单元17的构造实例。参照图22，所示的图像叠加单元17包括加算率计算部171、加算部172、基础面输出缓冲部173、缩小面生成部174以及缩小面输出缓冲部175。

图像叠加单元17和图像存储单元4通过系统总线2彼此连接。具体地，在图22所示的实例中，总线接口单元23和另一个总线接口单元24分别连接在系统总线2与基础面输出缓冲部173、以及系统总线2与缩小面输出缓冲部175之间。

加算率计算部171接收来自移动检测和移动补偿单元16的目标块和移动补偿块，从而响应于所采用的加算方法为简单加算方法还是平均加算方法来确定两个块的加算率。随后，加算率计算部171将所确定的加算率与目标块和移动补偿块一起提供至加算部172。

当多个图像被叠加时，如果图像以1:1的亮度比被叠加，则动态范围被翻倍。因此，当为了实施降噪和高度灵敏化而计划叠加低亮度的图像时，期望采用以1:1的亮度比来叠加它们的方法。这种方法为简单加算方法。

另一方面，在亮度能够被保证的条件下将降噪处理应用于所拾取的图像的情况下，期望采用叠加图像使得总亮度变为1而不增加动态范围的另一种方法。这种方法就是平均加算方法。

通过基础面输出缓冲部173和总线接口单元23，由加算部172获得的加算结果的基础面降噪图像被写入图像存储单元4。此外，通过加算部172的加算结果的基础面降噪图像通过缩小面生成部174被转换成缩小面降噪图像。因此，来自缩小面生成部174的缩小面降噪图像通过缩小面输出缓冲部175和总线接口单元24被写入图像存储单元4中。

<移动矢量计算部164的硬件结构实例>

现在，描述移动矢量计算部164的硬件结构的几个实例及其操作。此外，描述使用与相关技术类似的SAD表的第一实例作为本发明实施例中的移动矢量计算部164的硬件结构实例。

<第一实例>

图23示出移动矢量计算部164的结构的第一实例。参照图23，第一实例的移动矢量计算部164包括SAD值写入部1641、SAD表TBL、SAD值比较部1642、及SAD值保留部1643。移动矢量计算部164进一步包括X方向(水平方向)邻近值提取部1644、Y方向(垂直方向)邻近值提取部1645、及二次曲线近似内插处理部1646。

在本第一实例的移动矢量计算部164中，SAD值写入部1641接收缩小面参考块或基础面参考块的位置信息(即，缩小面参考矢量和基础面参考矢量)、以及从匹配处理部163被传输至其中的缩小图像参考块或基础面参考块的SAD值，并将它们存储至SAD表TBL。在通过匹配处理部163对整个搜索范围的匹配处理完成后，SAD值比较部1642对SAD表TBL的所有SAD值执行比较处理，从而搜索最小SAD值。随后，SAD值比较部1642将所检测的最小SAD值和显示出最小SAD值的缩小面参考块或基础面参考块的位置信息(即，缩小面参考矢量或基础面参考矢量)保留在SAD值保留部1643中。

在这种情况下，如果图像拾取装置处于上述的缩小面匹配处理模式，则在缩小面匹配处理后，相应于SAD值保留部1643中所保留的最小SAD值Smin的参考矢量信息(即，缩小面移动矢量的信息)被从移动矢量计算部164提供至控制部165。所提供的信息用于通过控制部165从参考块缓冲部162中读出移动补偿块。

另一方面，在上述分级匹配处理模式1中，在缩小面匹配处理后，相应于在SAD值保留部1643中所保留的最小SAD值Smin的参考矢量信息(即，缩小面移动矢量的信息)被从移动矢量计算部164提供至控制部165。所提供的信息用于控制部165中，从而为基础面设置用于匹配处理的搜索范围。

另一方面，在上述分级匹配处理模式2中，在基础面匹配处理后，相应于在SAD值保留部1643中所保留的最小SAD值Smin的参考矢量信息(即，基础面移动矢量的信息)被从移动矢量计算部164提供至控制部165。所提供的信息被用于通过控制部165从参考块缓冲部162读出移动补偿块。

如果在块匹配处理中仅需要检测缩小面移动矢量或基础面移动矢量，则仅需要在SAD值保留部1643中保留最小SAD值Smin或SSmin及表现出最小SAD值Smin或SSmin的缩小面参考块或基础面参考块的位置信息(即，缩小面参考矢量或基础面参考矢量)。

但是，在本实施例中，需要构造图像拾取装置，使其不仅能够执行缩小面匹配处理模式，而且能够执行缩小面匹配+内插处理模式以及分级匹配+内插处理模式1和2。因此，需要构造移动矢量计算部164，使其不仅计算作为块匹配处理结果的移动矢量，而且如上所述执行内插处理。

特别地，在本实施例中，在对缩小面或基础面的块匹配处理之后，需要移动矢量计算部164使用在表现最小SAD值的参考块位置附近的多个SAD值来执行用于计算高精度缩小面移动矢量和高精度基础面移动矢量的内插处理。

因此，在本实施例中，移动矢量计算部164也具有用于执行内插处理的功能。具体地，SAD值保留部1643、X方向(水平方向)邻近值提取部1644、Y方向(垂直方向)邻近值提取部1645、及二次曲线近似内插处理部1646构成移动矢量计算部164，用于执行内插处理。

构造移动矢量计算部164，使其从SAD表TBL中读出多个SAD值(在本实例中，在所检测的最小SAD值Smin或SSmin附近的4个邻近SAD值)和表现出这些SAD值的参考块的位置信息或参考矢量，并且将所读出的SAD值和位置信息存入SAD值保留部1643。

随后，X方向(水平方向)邻近值提取部1644读出在SAD值保留部1643中所存储的X或水平方向上的所检测到的最小SAD值和邻近值以及参考块的位置信息或参考矢量，并且将所读出的SAD值发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646以如上所述的方式基于二次曲线执行X或水平方向的内插处理。

此后，Y方向(垂直方向)邻近值提取部1645读出在SAD值保留部1643中所存储的Y或垂直方向上的所检测到的最小SAD值和邻近值以及参考块的位置信息或参考矢量，并且将所读出的SAD值发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646以如上所述的方式基于二次曲线执行Y或垂直方向的内插处理。

因此，二次曲线近似内插处理部1646基于二次曲线在X方向和Y方向上执行两次内插处理。随后，二次曲线近似内插处理部1646对于缩小面计算像素精度的高精度缩小面移动矢量，而对于基础面计算亚像素精度的高精度基础面移动矢量。

当图像拾取装置处于缩小面匹配+内插处理模式、分级匹配处理模式2、分级匹配+内插处理模式1、及分级匹配+内插处理模式2时，二次曲线近似内插处理部1646在控制部165的控制下操作。二次曲线近似内插处理部1646将所计算的缩小面移动矢量或基础面移动矢量提供至控制部165。

当图像拾取装置处于缩小面匹配+内插处理模式时，控制部165使用从移动矢量计算部164所接收的高精度缩小面移动矢量从参考块缓冲部162中读出移动矢量块。

当图像拾取装置处于分级匹配处理模式2时，控制部165使用从移动矢量计算部164所接收的高精度缩小面移动矢量从而设置在基础面上用于块匹配的搜索范围。

当图像拾取装置处于分级匹配处理模式2时，控制部165使用从移动矢量计算部164所接收的高精度基础面移动矢量从参考块缓冲部162中读出移动补偿块。

当图像拾取装置处于分级匹配+内插处理模式1时，控制部165使用从移动矢量计算部164所接收的高精度基础面移动矢量从参考块缓冲部162中读出移动补偿块。

当图像拾取装置处于分级匹配+内插处理模式2时，控制部165使用从移动矢量计算部164所接收高精度缩小面移动矢量从而设置在基础面上用于块匹配的搜索范围。

当图像拾取装置处于分级匹配+内插处理模式2时，控制部165使用从移动矢量计算部164所接收高精度基础面移动矢量从参考块缓冲部162中读出移动补偿块。

图24示出在第一实例中的缩小面或基础面的块匹配处理中的操作流程的实例。在控制部165的控制下通过匹配处理部163和移动矢量计算部164执行第一实例的流程图的步骤。

参照图24，匹配处理部163首先在缩小面或基础面上设置参考矢量(Vx，Vy)，从而设置缩小面或基础面的参考块位置，用于计算SAD值(步骤S1)。随后，匹配处理部163从参考块缓冲部162中读入所设置的缩小面或基础面参考块的像素数据(步骤S2)。此后，匹配处理部163读入目标块缓冲部161的缩小面或基础面目标块的像素数据，并确定缩小面或基础面目标块与缩小面或基础面参考块的像素数据的差分的绝对值总和，即，SAD值(步骤S3)。随后，匹配处理部163将所确定的SAD值发送至移动矢量计算部164。在移动矢量计算部164中，SAD值写入部1641将所接收的SAD值存储在相应的缩小面或基础面参考块的位置，即，相应于缩小面或基础面参考矢量的位置(步骤S4)。

随后，匹配处理部163判定是否完成了搜索范围内所有缩小面或基础面参考块(即，所有缩小面或基础面参考矢量)的匹配处理(步骤S5)。如果判定没有被处理的缩小面或基础面参考块仍然存在于搜索范围中，则处理返回步骤S1，重复从步骤S1开始的步骤的处理。

另一方面，如果匹配处理部163在步骤S5中判定已经完成了搜索范围内所有缩小面或基础面参考块(即，所有缩小面或基础面参考矢量)的匹配处理，则匹配处理部通知移动矢量计算部164所述情况。

移动矢量计算部164根据来自控制部165的信息判定图像拾取装置是否处于应该执行内插处理的模式(步骤S6)。如果判定图像拾取装置处于不应该执行内插处理的模式，则SAD值比较部1642比较SAD表TBL的SAD值，从而检测在SAD表TBL中的最小SAD值Smin或SSmin。随后，SAD值比较部1642将相应于所检测的最小SAD值Smin或SSmin的缩小面或基础面参考块的位置信息(即，缩小面或基础面移动矢量的信息)发送至控制部165(步骤S7)。通过这样完成了在第一实施例中(在图像拾取装置处于不应该执行内插处理的模式的情况下)的块匹配处理。

另一方面，如果在步骤S6中判定图像拾取装置处于应该执行内插处理的模式，则SAD值比较部1642比较SAD表TBL的SAD值，从而检测出为SAD表TBL中最小的最小SAD值Smin或SSmin。随后，SAD值比较部1642将所检测出的最小SAD值Smin或SSmin与相应的缩小面或基础面参考块的位置信息一起存储在SAD值保留部1643的最小值存储部中。随后，SAD值保留部1643从SAD表TBL中获取在所检测出的最小SAD值Smin或SSmin的位置附近的位置处的缩小面邻近SAD值Sx1、Sx2和Sy1、Sy2或基础面邻近SAD值SSx1、SSx2和SSy1、SSy2，并将它们存储在各自的存储部中(步骤S8)。

随后，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出所检测出的最小SAD值Smin或SSmin和邻近SAD值Sx1、Sx2和Sy1、Sy2或基础面邻近SAD值SSx1、SSX2和SSy1、SSy2以及它们的位置信息(所有这些都被保留在SAD值保留部1643中)，并且将所获取的值和信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收从X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645所发送的值和信息，并且基于二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式计算高精度缩小面移动矢量或基础面移动矢量(步骤S9)。通过这样完成了第一实例中的块匹配处理。

上述第一实例生成用于存储所有所计算的SAD值的SAD表TBL，并且从所生成的SAD表TBL中提取最小SAD值和邻近4个SAD值，用于二次曲线近似内插。因此，需要用于SAD表TBL的大规模的存储器。

在下面所述的其他实例中，没有生成用于存储所有所计算的SAD值的SAD表TBL，因此，电路规模减小，而且能够减少处理时间。

<移动矢量计算部164的硬件结构的第二实例>

如上所述，块匹配处理将通过参考矢量所表示的位置设置为参考块的位置，计算目标块的多个参考块中的每个像素的SAD值，并且对于通过搜索范围内的所有参考矢量所表示的位置处的参考块执行计算处理。

此处，当参考块的位置在搜索范围内被改变从而搜索移动补偿块时，通过多种方法执行搜索，使其以从画面图像端部开始的顺序或以从画面图像或帧中心开始向外侧的顺序而被执行。在本实施例中，如图25A中箭头标记120所示，以这种方式设置搜索方向。具体地，从搜索范围的左上角开始在水平方向上进行搜索，并且在完成一行的搜索后，从左端开始在水平方向上搜索在垂直方向上位于第一行下面的另一行。随后，对所有其他行重复所描述的处理程序。

具体地，参照图25B，在搜索范围106中，从搜索范围106的左上部开始在水平方向上连续设置并搜索参考块108，从而执行参考块108的SAD值的计算。因此，如图25C所示，从左上角开始在水平方向上连续填充SAD表TBL的相应的存储单元。此时，如上所述，根据参考块108的大小，实际用于匹配处理的像素数据的范围变为匹配处理范围110。

如图11和图18所示，为了在本实施例中执行像素精度或亚像素精度的二次曲线近似内插处理，仅需要确定最小SAD值Smin或SSmin及缩小面附近的邻近SAD值Sx1、Sx2和Sy1、Sy2或基础面邻近SAD值SSx1、SSx2和SSy1、SSy2。

当对于每个参考块计算SAD值时，如果将所计算的SAD值与至此为止的SAD值的最小值进行比较并且判定所计算的SAD值低于此前的SAD值的最小值，则如果所计算的SAD值被存储为最小值并且此时的SAD值和参考矢量被保留，则不用生成SAD表就能确定SAD值的最小值和假设该最小值的参考块的位置信息(即，参考矢量信息)。

随后，如果所检测的SAD值的最小值被保留并且在表现出最小SAD值的参考块位置附近的参考块的SAD值被保留作为邻近SAD值，则不用生成SAD表，也能保留SAD值。

此时，在本实例中，由于采用了如上所述参照图25A的这种方法，所以如果如图26A所示，在相关技术的SAD表中提供了足够用于存储在水平方向上的一行的SAD值的容量的存储器(下文中被称作行存储器)，则当重新计算参考块的SAD值时，如通过图26B中的斜线所示，关于重新计算的SAD值121，用于先前所计算的SAD表TBL的一行的多个参考块的SAD值作为存储数据122被存储在行存储器中。

因此，如果被重新计算的参考块的SAD值121被检测为最小SAD值，则在SAD表TBL中在关于表现出该SAD值121的参考块上面一行的位置处的参考块的SAD值123(即，邻近SAD值Sy1或SSy1)和在关于表现出该SAD值121的参考块的左侧的位置处的参考块的SAD值124(即，邻近SAD值Sx1或SSx1)能够从行存储器中获取。

随后，作为在SAD表TBL中在关于最小SAD值121的参考块的右侧的位置处的参考块SAD值的SAD值Sx2或SSx2(参照图26C中的参考数字125)可以保留此后在参考块位置处所计算的SAD值。同时，作为在关于重新所计算的最小SAD值121的参考块的位置的下面一行的位置处的参考块的SAD值的邻近SAD值Sy2或SSy2(参照图26C中的参考数字126)也可以保留此后在参考块位置处所计算的SAD值。

考虑到先前所述，移动矢量计算部164的第二实例具有图27所示的硬件结构。

参照图27，如在上文参照图23所述的第一实例中一样，移动矢量计算部164的第二实例不包括用于保留所有所计算的SAD值的这种SAD表TBL。具体地，移动矢量计算部164的第二实例包括SAD值写入部1641、SAD值比较部1642、SAD值保留部1643、X方向(水平方向)邻近值提取部1644、Y方向(垂直方向)邻近值提取部1645、二次曲线近似内插处理部1646、及具有用于SAD表TBL的一行的存储容量的存储器(下文中被称作行存储器)1647。

虽然X方向(水平方向)邻近值提取部1644、Y方向(垂直方向)邻近值提取部1645、及二次曲线近似内插处理部1646与上文所述第一实施例中的类似地进行操作，但是SAD值写入部1641、SAD值比较部1642、SAD值保留部1643、及行存储器1647与上文所述第一实例中的那些在操作上是不同的。

如在上文中参照图23所述的第一实例一样，SAD值保留部1643类似地包括用于最小SAD值Smin或SSmin和缩小面邻近SAD值Sx1、Sx2和Sy1、Sy2或基础面邻近SAD值SSx1、SSX2和SSy1、SSy2。在本第二实例中，SAD值保留部1643将来自最小SAD值保留部的最小SAD值Smin或SSmin提供至SAD值比较部1642，并且将在其中所保留的邻近SAD值中在最小SAD值Smin或SSmin的右侧的参考块的位置信息(即，邻近SAD值Sx2或SSx2的参考矢量)和在最小SAD值Smin或SSmin的下侧的参考块的位置信息(即，最小SAD值Sy2或SSy2的参考矢量)提供至SAD值写入部1641。

第二实例中的SAD值比较部1642从匹配处理部163接收参考块的参考矢量的位置信息或参考矢量及参考块的SAD值Sin，并且进一步从SAD值保留部1643的最小SAD值保留部中接收最小SAD值Smin或SSmin。

SAD值比较部1642将当前时间点通过匹配处理部163所计算的SAD值Sin与来自SAD值保留部1643的最小SAD值保留部的最小SAD值Smin或SSmin进行比较。随后，如果当前时间点通过匹配处理部163所计算的SAD值Sin更低，则SAD值比较部1642检测该SAD值作为最小SAD值。另一方面，如果SAD值Sin更高，则SAD值比较部1642检测出，在当前时间点，在SAD值保留部1643中所保留的最小SAD值Smin或SSmin为最小SAD值。随后，SAD值比较部1642将检测结果的信息DET提供至SAD值写入部1641和SAD值保留部1643。

SAD值写入部1641包括用于一个像素的缓冲存储器，用于临时保留来自匹配处理部163的SAD值Sin和SAD值的位置信息或参考矢量。在本第二实例中，SAD值写入部1641将来自匹配处理部163的参考块的位置信息或参考矢量及参考块的SAD值Sin写入行存储器1647。在这种情况下，行存储器1647类似于移动寄存器来进行操作，使得如果当行存储器1647没有剩余空间时，新的位置信息和SAD值被存储在行存储器1647中，则在行存储器1647中最老的位置信息和SAD值被丢弃。

此外，在本第二实例中，SAD值写入部1641在其将所计算的SAD值Sin和SAD值Sin的位置信息写入行存储器1647前如下所述执行的这种处理。

具体地，如果来自SAD值比较部1642的比较检测结果的信息DET表示SAD值Sin为最小值，则SAD值写入部1641将来自匹配处理部163的参考块的位置信息或参考矢量以及新块的SAD值Sin发送至SAD值保留部1643。

SAD值保留部1643从来自SAD值比较部1642的比较检测结果的信息DET中检测出SAD值Sin为最小值，并且将来自SAD值写入部1641的参考块的位置信息或参考矢量以及参考块的SAD值Sin写入最小SAD值保留部。

在本第二实例中，当来自匹配处理部163的参考块的位置信息或参考矢量与从SAD值保留部1643所接收的邻近SAD值Sx2或SSx2或者邻近SAD值Sy2或SSy2的位置信息一致时，SAD值写入部1641将来自匹配处理部163的参考块的位置信息或参考矢量及参考块的SAD值Sin发送至SAD值保留部1643。

SAD值保留部1643通过所接收的参考块的位置信息或参考矢量识别所接收的位置信息与哪个邻近SAD值相关，并将该位置信息存储在相应的邻近SAD值保留部。

如果在搜索范围内对所有参考块完成了上述处理，则最小SAD值及其位置信息以及4个邻近SAD值及其位置信息被如上所述地保留在SAD值保留部1643中。

因此，与上述第一实例中类似，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出在SAD值保留部1643中所存储的所检测出的最小SAD值Smin或SSmin和邻近SAD值Sx1、Sx2及Sy1、Sy2或SSx1、SSx2及SSy1、SSy2以及它们的位置信息，并且将所读出的值和信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收这样所发送的值和信息，并且基于二次曲线在X方向和Y方向上执行两次内插，从而计算亚像素精度的高精度移动矢量。

在第二实例中，通过如上所述的方式使用用于SAD表TBL的一行的行存储器来代替SAD表TBL，能够检测亚像素精度的移动矢量。

图28和图29示出了第二实例中的缩小面的块匹配处理的操作流程的实例。第二实例的流程图的步骤也在控制部165的控制下通过匹配处理部163和移动矢量计算部164来执行。

首先，设置移动矢量计算部164的SAD值保留部1643的最小SAD值Smin或SSmin的初始值(步骤S11)。对于最小SAD值Smin或SSmin的初始值，例如，设置像素之间的差分的最大值。

随后，匹配处理部163设置缩小面或基础面的参考矢量(Vx，Vy)，从而设置关于待计算SAD值的缩小面或基础面参考块位置(步骤S12)。然后，匹配处理部163从参考块缓冲部162读入如此设置的缩小面和基础面参考块的像素数据(步骤S13)。

随后，匹配处理部163从目标块缓冲部161读入缩小面或基础面目标块的像素数据，从而确定缩小面或基础面目标块与缩小面或基础面参考块的像素数据的差分的绝对值总和，即，确定SAD值。随后，匹配处理部163将所确定的SAD值信号发送至移动矢量计算部164(步骤S14)。

移动矢量计算部164通过其SAD值写入部1641将SAD值写入行存储器1647(步骤S15)。

随后，移动矢量计算部164根据来自控制部165的信息判定图像拾取装置是否处于应该执行内插处理的模式(步骤S16)。如果判定图像拾取装置处于不应该执行内插的模式，则SAD值比较部1642将通过匹配处理部163所计算的SAD值Sin与在SAD值保留部1643中所保留的最小SAD值Smin或SSmin进行比较，从而判定所计算的SAD值Sin是否低于至此为止所保留的最小SAD值Smin或SSmin(步骤S17)。

如果在步骤S17中判定所计算的SAD值Sin低于最小SAD值Smin或SSmin，则处理前进至步骤S18。在步骤S18中，在SAD值保留部1643中所存储的最小SAD值Smin或SSmin及其位置信息(即，缩小面或基础面参考矢量)被更新。

另一方面，如果在步骤S17中判定所计算的SAD值Sin高于最小SAD值Smin或SSmin，则处理前进至步骤S19，不执行步骤S18中所保留信息的更新处理。在步骤S19中，匹配处理部163判定是否完成了在搜索范围内所有缩小面或基础面参考块的位置或者缩小面或基础面参考矢量的匹配处理。如果判定没有被处理的参考块仍然存在于搜索范围内，则处理返回步骤S12，重复上文所述从步骤S12开始的步骤的处理。

另一方面，如果在步骤S19中判定已经结束了对在搜索范围中的所有缩小面或基础面参考块的位置或缩小面或基础面参考矢量的匹配处理，则匹配处理部163将判定通知移动矢量计算部164。移动矢量计算部164接收判定并且将在SAD值保留部1643中所保留的最小SAD值Smin或SSmin的位置信息或缩小面或基础面移动矢量输出至控制部165(步骤S20)。

于是，在本第二实例中不应执行内插处理的模式下的块匹配处理完成。

另一方面，如果在步骤S16中判定图像拾取装置处于应该执行内插处理的模式，则移动矢量计算部164中的SAD值比较部1642将通过匹配处理部163所计算的SAD值Sin与在SAD值保留部1643中所保留的最小SAD值Smin或SSmin进行比较，从而判定所计算的Sin是否低于所保留的最小SAD值Smin或SSmin(步骤S21)。

现在，参照图29，如果在步骤S21中判定所计算的SAD值Sin低于最小SAD值Smin或SSmin，则处理前进至步骤S22。在步骤S22中，在SAD值保留部1643中所保留的最小SAD值Smin或SSmin的信息、以及在关于表现出该最小SAD值Smin或SSmin的参考块位置上面一个像素的位置和左边一个像素的另一位置处的参考块的SAD值和位置信息或者缩小面或基础面参考矢量被全部更新。

具体地，SAD值比较部1642将所计算的SAD值Sin低于最小SAD值Smin或SSmin的比较结果的信息DET发送至SAD值写入部1641。因此，SAD值写入部1641将所计算的SAD值Sin和该SAD值Sin的位置信息或基础面参考矢量作为新的最小SAD值Smin或SSmin的信息发送至SAD值保留部1643。此外，如通过图26B所识别的一样，SAD值比较部1642将最老的SAD值和该最老的SAD值的位置信息或者缩小面或基础面参考矢量、及最新的SAD值和在行存储器1647中所保留的最新SAD值的位置信息或者缩小面或基础面参考矢量，作为在关于最小SAD值的位置上面一个像素的位置处的基础面参考块的SAD值Sy1或SSy1的信息、及在关于最小SAD值的位置左边一个像素的位置处的基础面参考块的SAD值Sx1或SSx1的信息，分别发送至SAD值保留部1643。SAD值保留部1643接收新的最小SAD值Smin或SSmin的信息、在上面一个像素的位置处的基础面参考块的SAD值Sy1或SSy1的信息、及在左边一个像素的位置处的SAD值Sx1或SSx1的信息，并且通过用所接收的信息更新各个所保留的信息。

此后，处理从步骤S22前进至步骤S23。另一方面，如果在步骤S21中判定所计算的SAD值Sin高于最小SAD值Smin或SSmin，则处理直接前进至步骤S23，而不执行在步骤S22中的所保留信息的更新处理。

在步骤S23中，SAD值写入部1641判定通过所计算的SAD值Sin的位置信息或参考矢量所表示的位置是否为相对于作为最小SAD值Smin或SSmin所保留的缩小面或基础面参考块的位置下面一个像素的缩小面或基础面参考块的位置。如果判定通过位置信息所表示的位置为下面一个像素的缩小面或基础面参考块的位置，则SAD值写入部1641将所计算的SAD值Sin和SAD值Sin的位置信息或参考矢量发送至SAD值保留部1643。SAD值保留部1643接收SAD值及其位置信息，并且用所接收的SAD值和位置信息更新在下面一个像素的位置处的缩小面或基础面参考块的邻近SAD值Sy2或SSy2的保留信息(步骤S24)。

如果在步骤S23中判定通过所计算的SAD值Sin的位置信息或基础面参考矢量所表示的位置不是相对于作为最小SAD值Smin或SSmin所保留的缩小面或基础面参考块的位置下面一个像素的缩小面或基础面参考块的位置，则SAD值写入部1641判定通过所计算的SAD值Sin的位置信息或者缩小面或基础面参考矢量所表示的位置是否为相对于作为最小SAD值Smin或SSmin所保留的缩小面或基础面参考块的位置右边一个像素的缩小面或基础面参考块的位置(步骤S25)。

如果在步骤S25中判定通过所计算的SAD值Sin的位置信息或缩小面或基础面参考矢量所表示的位置为相对于作为最小SAD值Smin或SSmin所保留的缩小面或基础面参考块的位置右边一个像素的缩小面或基础面参考块的位置，则SAD值写入部1641将所计算的SAD值Sin和SAD值Sin的位置信息或者缩小面或基础面参考矢量发送至SAD值保留部1643。SAD值保留部1643通过所接收的SAD值和位置信息更新在右边一个像素的位置处的所保留的缩小面或基础面参考块周围的邻近SAD值Sx2或SSx2的信息(步骤S26)。

另一方面，如果在步骤S25中判定通过所计算的SAD值Sin的位置信息或缩小面或基础面参考矢量所表示的位置不是相对于作为最小SAD值Smin或SSmin所保留的缩小面或基础面参考块的位置右边一个像素的缩小面或基础面参考块的位置，则SAD值写入部1641仅将所计算的SAD值Sin和SAD值Sin的位置信息或者缩小面或基础面参考矢量写入行存储器1647(步骤S27)，而不将它们发送至SAD值保留部1643。

随后，匹配处理部163判定是否对在搜索范围内所有的缩小面或基础面参考块(即，对所有缩小面或基础面参考矢量)完成了匹配处理(步骤S27)。如果匹配处理部163判定没有被处理的基础面参考块仍然存在于搜索范围内，则处理范围返回至图28的步骤S12，重复从步骤S12开始的步骤的处理。

如果匹配处理部163在步骤S27中判定已经完成了对搜索范围内的所有缩小面或基础面参考块(即，所有缩小面或基础面参考矢量)的匹配处理，则通知移动矢量计算部164所述判定。

移动矢量计算部164接收通知，并且其X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出在SAD值保留部1643中所存储的所检测出的最小SAD值Smin或SSmin和邻近SAD值Sx1、Sx2和Sy1、Sy2或SSx1、SSx2和SSy1、SSy2及它们的位置信息，并且将所读出的值和信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收从X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645所发送的信息，并且基于二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式执行高精度的缩小面或基础面移动矢量(步骤S28)。由此，在执行内插处理的模式下的第二实例的块匹配处理完成。

如上所述，在本第二实例中，不用保留用于保留所有所计算的SAD值的SAD表，而仅通过提供用于SAD表的一行的存储部，并且将用于一个像素的SAD值保留在SAD值写入部1641中，就能够通过内插处理执行高精度移动矢量检测。

在将第二实例的方法与在上文所述的提供了SAD表的第一实例进行比较的情况下，由于块匹配的次数相同，所以存在处理时间相同但能够减小硬件规模的优势。

需要注意，虽然在上述第二实例的描述中，SAD值比较部1642将来自匹配处理部163的所计算的SAD值Sin与在SAD值保留部1643中所保留的最小SAD值Smin或SSmin互相进行了比较，但是也可以采用下面的结构。具体地，SAD值比较部1642包括用于最小SAD值的保留部，并且将所保留的最小SAD值与所计算的SAD值Sin进行比较。随后，当所计算的SAD值Sin更低时，用SAD值Sin更新所保留的最小SAD值，并且通过SAD值写入部1641将其与SAD值Sin的位置信息一起发送至SAD值保留部1643，使其能够被保留在SAD值保留部1643的最小SAD值保留部中。<移动矢量计算部164的硬件结构的第三实例>

在本移动矢量计算部164的硬件结构的第三实例中，在上文所述的第二实例的移动矢量计算部164中的行存储器1647也被省略，从而进一步实现硬件规模的减小。

在本第三实例中，与上文所述第二实例非常类似地执行搜索范围内的参考块的最小SAD值Smin或SSmin及最小值的位置信息或参考矢量的检测和保留。但是，关于邻近SAD值及其位置信息的获取和保留，不是如第二实例中的一样与最小SAD值Smin或SSmin的检测同时来执行这两个处理，而是将所检测的最小SAD值Smin或SSmin的位置信息返回匹配处理部163。因此，匹配处理部163再次计算在最小SAD值Smin或SSmin附近的4个点的位置处的参考块的SAD值，并且将所计算的SAD值提供至移动矢量计算部164。

移动矢量计算部164从匹配处理部163接收通过第二次块匹配处理所计算的邻近4个点位置的SAD值和SAD值的位置信息或参考矢量，并且将所接收的SAD值和位置信息存储在SAD值保留部1643的各个保留部中。

图30示出移动矢量计算部164的第三实例的硬件结构。参照图30，第三实例的移动矢量计算部164不包括第一实例中的SAD表TBL和第二实例中的行存储器1647。具体地，移动矢量计算部164包括SAD值写入部1641、SAD值比较部1642、SAD值保留部1643、X方向(水平方向)邻近值提取部1644、Y方向(垂直方向)邻近值提取部1645、及二次曲线近似内插处理部1646。

而且，在本第三实例中，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645及二次曲线近似内插处理部1646如上文所述的第一实例和第二实例中类似地进行操作。但是，SAD值写入部1641、SAD值比较部1642、及SAD值保留部1643与上文所述的第一实例和第二实例中的操作不同。

与第二实例中类似地，SAD值保留部1643包括用于最小SAD值Smin或SSmin及邻近SAD值Sx1、Sx2和Sy1、Sy2或SSx1、SSx2和SSy1、SSy2的保留部或存储部。此外，在本第三实例中，SAD值保留部1643也将来自其最小SAD值保留部的最小SAD值Smin或SSmin提供至SAD值比较部1642。但是，在本第三实例中，与第二实例不同，SAD值保留部1643不将邻近SAD值的位置信息提供至SAD值写入部1641。

在本第三实例中，SAD值比较部1642也将在当前时间点通过匹配处理部163所计算的SAD值Sin与来自SAD值保留部1643的最小SAD值保留部的最小SAD值Smin或SSmin进行比较。随后，如果在当前时间点通过匹配处理部163所计算的SAD值Sin更低，则SAD值比较部1642检测该SAD值Sin作为最小SAD值。另一方面，如果最小SAD值Smin更低，则SAD值比较部1642检测出，在用于SAD值保留部1643的最小SAD值的保留部中所保留的最小SAD值Smin或SSmin仍然为当前时间点的最小SAD值。随后，SAD值比较部1642将检测结果的信息DET提供至SAD值写入部1641和SAD值保留部1643。

类似于上述实例，SAD值写入部1641包括用于一个像素的缓冲存储器，用于临时保留来自匹配处理部163的所计算的SAD值Sin和该SAD值Sin的位置信息或参考矢量。此外，在本第三实例中，当SAD值比较部1642的比较检测结果的信息DET表示SAD值Sin为最小值时，SAD值写入部1641将来自匹配处理部163参考块的位置信息或参考矢量以及参考块的SAD值Sin发送至SAD值保留部1643。

SAD值保留部1643通过来自SAD值比较部1642的比较检测结果的信息DET来确定SAD值Sin为最小值，并且将从SAD值写入部1641被发送至其中的参考块的位置信息或参考矢量以及参考块的SAD值Sin存储到最小SAD值保留部中。

对搜索范围内对所有参考块由匹配处理部163所计算的SAD值执行上述处理。随后，在本第三实例中，当完成了在搜索范围内对所有参考块的SAD值的计算时，SAD值保留部1643将被保留在其中的最小SAD值Smin或SSmin的位置信息或参考矢量Vmin提供至匹配处理部163，并且请求匹配处理部163执行对于该位置信息的位置附近的4个参考块的SAD值的再计算。

当匹配处理部163从SAD值保留部1643接收用于包括最小SAD值Smin或SSmin的位置信息或参考矢量Vmin的邻近参考块的SAD值的再计算的请求时，通过最小SAD值Smin或SSmin的位置信息或参考矢量Vmin检测邻近4个点处的邻近参考块的位置。随后，匹配处理部163执行在所检测的位置处的参考块的SAD值的计算。随后，匹配处理部163将所计算的SAD值与位置信息或参考矢量一起发送至SAD值写入部1641。

在这种情况下，由于匹配处理部163以搜索方向的顺序来执行块匹配处理，所以按照SAD值Sy1、Sx1、Sx2、及Sy2或SSy1、SSx1、SSx2、及SSy2的顺序来执行邻近SAD值。SAD值写入部1641将所接收的再计算SAD值及其位置信息或参考矢量连续提供至SAD值保留部1643。

SAD值保留部1643将再计算的SAD值及其位置信息或参考矢量连续写入并保留在相应的存储部中。

在以这种方式完成了对所有邻近参考块的SAD值的再计算后，与上文所述的第二实例类似，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645将在SAD值保留部1643中所保留的所有所检测的最小SAD值Smin或SSmin和邻近SAD值Sx1、Sx2及Sy1、Sy2或SSx1、SSx2及SSy1、SSy2及它们的位置信息读出，并且将所获取的值和信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收从X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645所发送的值和信息，并且基于二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式计算亚像素精度的高精度移动矢量。

通过这种方式，在本第三实例中，能够在不使用SAD表TBL或行存储器的情况下，执行高精度缩小面或基础面移动矢量的检测。

参照图31和图32描述本第三实例中的块匹配处理中的操作流程的实例。

首先，设置移动矢量计算部164的SAD值保留部1643的最小SAD值Smin或SSmin的初始值(步骤S31)。作为最小SAD值Smin或SSmin的初始值，例如，设置像素之间的差分的最大值。

随后，匹配处理部163对缩小面或基础面设置参考矢量(Vx，Vy)，并且设置用于计算SAD值的缩小面或基础面参考块位置(步骤S32)。随后，匹配处理部163从参考块缓冲部162中读入所设置的缩小面或基础面参考块的像素数据(步骤S33)。随后，匹配处理部163从目标块缓冲部161中读入缩小面或基础面目标块的像素数据，并且确定缩小面或基础面的目标块或参考块的像素数据的差分的绝对值总和，即，确定SAD值。随后，匹配处理部163将所确定的SAD值信号发送至移动矢量计算部164(步骤S34)。

在移动矢量计算部164中，SAD值比较部1642将通过匹配处理部163所计算的SAD值Sin与在SAD值保留部1643中所保留的最小SAD值Smin或SSmin进行比较，从而判定所计算的SAD值Sin是否低于之前所保留的最小SAD值Smin或SSmin(步骤S35)。

如果在步骤S35中判定所计算的SAD值Sin低于最小SAD值Smin或SSmin，则处理前进至步骤S36。在步骤S36中，SAD值保留部1643中所保留的最小SAD值Smin或SSmin及其位置信息被更新。

具体地，SAD值比较部1642将所计算的SAD值Sin低于最小SAD值Smin或SSmin的比较结果的信息DET发送至SAD值写入部1641。因此，SAD值写入部1641将所计算的SAD值Sin及其位置信息或基础面参考矢量作为新的最小SAD值Smin或SSmin的信息发送至SAD值保留部1643。SAD值保留部1643用所接收的新的SAD值Sin和新的SAD值Sin的位置信息来更新其中所保留的最小SAD值Smin或SSmin及其位置信息。

随后，处理步骤从步骤S36前进至步骤S37。另一方面，如果在步骤S35中判定所计算的SAD值Sin等于或大于最小SAD值Smin或SSmin，则处理前进至步骤S37，不执行步骤S36中所保留信息的更新处理。

在步骤S37中，匹配处理部163判定是否完成了对于在搜索范围内所有缩小面或基础面参考块的位置(即，缩小面或基础面参考矢量)的匹配处理。如果判定没有被处理的缩小面或基础面参考块仍然存在于搜索范围内，则处理返回步骤S32，重复上述从步骤S32开始的步骤的处理。

另一方面，如果在步骤S37中判定已经完成了对于所有缩小面或基础面参考块的位置(即，所有参考矢量)的匹配处理，则移动矢量计算部164通过来自控制部165的信息判定图像拾取装置是否处于应该执行内插处理的模式(图32中的步骤S41)。

如果在步骤S41中判定图像拾取装置处于不应该执行内插处理的模式，则移动矢量计算部164将在SAD值保留部1643中所保留的最小SAD值Smin或SSmin的位置信息(即，缩小面或基础面移动矢量)输出至控制部165(步骤S42)。

由此，在本第三实例中处于不执行内插处理的模式下的块匹配处理结束。

另一方面，如果在步骤S41中判定图像拾取装置处于应该执行内插处理的模式，则移动矢量计算部164接收来自SAD值保留部1643的最小SAD值Smin或SSmin的位置信息，并且执行关于在邻近4个点的位置处的缩小面或基础面参考块的SAD值的再计算。随后，移动矢量计算部164通过SAD值写入部1641将所再计算的邻近SAD值提供至SAD值保留部1643，从而将其保留在SAD值保留部1643中(步骤S43)。

随后，在移动矢量计算部164中，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出被保留在SAD值保留部1643中的所检测的最小SAD值Smin或SSmin和邻近SAD值Sx1、Sx2和Sy1、Sy2或SSx1、SSx2和SSy1、SSy2及它们的位置信息，并且将所读出的SAD值和位置信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收该SAD值和位置信息，并且基于二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式计算高精度缩小面或基础面移动矢量。随后，二次曲线近似内插处理部1646将所计算的缩小面或基础面移动矢量输出至控制部165(步骤S44)。由此，在第三实例中执行内插处理的模式下的块匹配处理结束。

在本第三实例中，尽管处理时间增加了SAD值再计算所需的时间周期，但是由于不需要行存储器，所以电路规模能够比第二实例中的减小。此外，由于仅对于邻近SAD值执行再计算，并且由于在上述实例中再计算处理最多被执行4次，所以处理时间的增加非常小。

需要注意，虽然在第三实例的上述描述中，最小SAD值被保留在SAD值保留部1643中同时被检测，但是可以另外构成SAD值比较部1642，使其检测并保留表现出最小SAD值的参考块的位置信息或参考矢量，使得在第一次块匹配结束后，最小SAD值的位置信息被从SAD值比较部1642提供至匹配处理部163。

在这种情况下，在通过匹配处理部163的SAD值的再计算中，除了邻近4个点的SAD值之外，还对最小SAD值进行再计算。在这种情况下，尽管再计算操作的次数变为5次，其增加了一次，但是在第一次块匹配中，仅需要SAD值比较部1642进行操作，同时SAD值写入部1641和SAD值保留部1643可以进行操作，从而保留再计算的SAD值。因此，具有处理操作被简化的优点。

此外，可以对在目标帧中所设置的多个目标块并行且同时地执行通过移动检测和移动补偿单元16所进行的移动检测和处理。在这种情况下，需要为移动检测和移动补偿单元16提供等于待用于并行且同时的处理的目标块数的大量硬件系统。

此外，在如第一实例中一样生成SAD表的情况下，需要生成等于目标块数的大量SAD表，并且需要具有非常大的存储容量的存储器。但是，在第二实例中，对于一个目标块，仅需要相应于SAD表的一行的存储容量，因此，能够显著降低存储容量。此外，在第三实例的情况下，不需要行存储器，因此，能够实现存储容量的显著降低。

[用于多个操作模式的移动检测和移动补偿单元16的功能组块]

如上所述，在本实施例中，具有如上所述的这种硬件结构的移动检测和移动补偿单元16能够执行如上所述的所有这些块匹配处理的多个操作模式。图33中示出在本实施例中用于实现移动检测和移动补偿单元16的多个操作模式的功能组块结构。

参照图33，移动检测和移动补偿单元16包括作为其功能组块的缩小面匹配处理部201、缩小面邻近SAD值获取部202、缩小面SAD值内插部203、基础面匹配处理部204、基础面邻近SAD值获取部205、及基础面SAD值内插部206。

缩小面匹配处理部201计算在缩小面目标块133与在缩小面匹配处理范围143内所有缩小面参考块139之间的缩小面SAD值，从而确定缩小面最小SAD值Smin。随后，缩小面匹配处理部201通过所确定的缩小面最小SAD值Smin检测缩小面移动矢量，并且将缩小面移动矢量输出至控制部165。

控制部165进行控制，使得缩小面匹配处理部201仅在缩小面匹配处理模式下操作。

缩小面邻近SAD值获取部202获取在如上所述通过缩小面匹配处理部201所确定的缩小面最小SAD值Smin邻近的4个点处的缩小面邻近SAD值Sx1、Sx2和Sy1、Sy2。

缩小面SAD值内插部203使用缩小面最小SAD值Smin和缩小面邻近SAD值Sx1、Sx2和Sy1、Sy2，从而执行上文所述的亚像素精度的二次曲线近似内插处理，确定高精度缩小面最小SAD值。随后，缩小面SAD值内插部203通过高精度缩小面最小SAD值检测高精度缩小面移动矢量，并且将高精度缩小面移动矢量输出至控制部165。

另一方面，在缩小面匹配+内插处理模式下，控制部165进行控制，使得缩小面匹配处理部201、缩小面邻近SAD值获取部202、及缩小面SAD值内插部203进行操作。

基础面匹配处理部204计算基础面目标块131和在基础面匹配处理范围144中的所有基础面参考块142之间的基础面SAD值，从而确定基础面最小SAD值SSmin，通过所检测的基础面最小SAD值SSmin检测基础面移动矢量，并将基础面移动矢量输出至控制部165。

此外，在分级匹配处理模式1中，控制部165进行控制，使得缩小面匹配处理部201和基础面匹配处理部204进行操作。此时，基础面匹配处理部204根据通过缩小面匹配处理部201所确定的缩小面移动矢量来确定基础面搜索范围和基础面匹配处理范围。

此外，在分级匹配处理模式2中，控制部165进行控制，使得缩小面匹配处理部201、缩小面邻近SAD值获取部202、缩小面SAD值内插部203、及基础面匹配处理部204进行操作。此时，基础面匹配处理部204根据通过缩小面SAD值内插部203所确定的高精度缩小面移动矢量来确定基础面搜索范围和基础面匹配处理范围。

如图33所示，控制部165转换作为功能部的转换部207，从而执行在分级匹配处理模式1和分级匹配处理模式2之间的选择性转换控制。

基础面邻近SAD值获取部205获取在如上所述通过基础面匹配处理部204所确定的基础面最小SAD值SSmin邻近的4个点处的基础面邻近SAD值SSx1、SSx2和SSy1、SSy2。

基础面SAD值内插部206使用基础面最小SAD值SSmin和基础面邻近SAD值SSx1、SSx2和SSy1、SSy2，执行在上文所述的亚像素精度的二次曲线近似内插处理，从而确定高精度基础面最小SAD值。随后，基础面SAD值内插部206通过高精度基础面最小SAD值来检测高精度基础面移动矢量，并且将高精度基础面移动矢量发送至控制部165。

在分级匹配+内插处理模式1中，控制部165进行控制，使得缩小面匹配处理部201、基础面匹配处理部204、基础面邻近SAD值获取部205、及基础面SAD值内插部206进行操作。此时，基础面匹配处理部204根据通过缩小面匹配处理部201所确定的缩小面移动矢量来确定基础面搜索范围和基础面匹配处理范围。

另一方面，在分级匹配+内插处理模式2中，控制部165进行控制，使得缩小面匹配处理部201、缩小面邻近SAD值获取部202、缩小面SAD值内插部203、基础面匹配处理部204、基础面邻近SAD值获取部205、及基础面SAD值内插部206进行操作。此时，基础面匹配处理部204根据通过缩小面SAD值内插部203所确定的高精度缩小面移动矢量来确定基础面搜索范围和基础面匹配处理范围。

如图33所示，控制部165转换作为功能部的转换部207，从而执行在分级匹配+内插处理模式1和分级匹配+内插处理模式2之间的选择性转换控制。

[块匹配处理的多个操作模式的选择的实例]

现在，将描述本实施例中块匹配处理的多个操作模式的选择的几个实例。

<选择的第一实例>

图34示出了响应于静止图片拾取模式和动态图片拾取模式之间的选择和移动矢量的检测精度或处理速度的选择所进行的块匹配处理的多个操作模式的选择的实例。通过CPU1执行图34的处理步骤。

首先，CPU1监控来自用户操作输入单元3的用户操作输入，判定选择静止图片拾取模式还是选择动态图片拾取模式(步骤S51)。如果在步骤S51中判定选择静止图片拾取模式，则CPU1判定是否通过用户操作输入单元3选择性地输入了最高精度作为移动检测精度(步骤S52)。如果判定未选择性地输入最高精度，则CPU1向移动检测和移动补偿单元16的控制部165发出指示，以执行分级匹配+内插处理模式1(步骤S53)。另一方面，如果在步骤S52中判定选择性地输入了最高精度，则CPU1向移动检测和移动补偿单元16的控制部165发出指示，以执行分级匹配+内插处理模式2(步骤S54)。

另一方面，如果在步骤S51中判定选择了动态图片拾取模式，则CPU1判定是否通过用户操作输入单元3选择性地输入了低精度作为移动矢量检测精度(步骤S55)。如果判定选择性地输入了低精度，则CPU1向移动检测和移动补偿单元16的控制部165发出指示，以执行缩小面匹配处理模式(步骤S56)。

另一方面，如果在步骤S55中判定未选择性地输入低精度，则CPU1判定是通过用户操作输入单元3选择了高处理速度-高精度状态还是选择了处理速度可为低速的高精度状态(步骤S57)。

随后，如果判定选择了高处理速度-高精度状态，则CPU1向移动检测和移动补偿单元16的控制部165发出指示，执行缩小面匹配+内插处理模式(步骤S58)。

另一方面，如果在步骤S57中判定选择处理速度可为低速的高精度状态，则CPU1向移动检测和移动补偿单元16的控制部165发出指示，执行分级匹配处理模式1或分级匹配处理模式2(步骤S59)。而且，可以响应于用户进行的移动矢量检测精度的选择输入，类似地执行步骤S59中的分级匹配处理模式1或分级匹配处理模式2的选择，使得当选择高精度时，选择分级匹配处理模式2，而在其他情况下，选择分级匹配处理模式1。

需要注意，虽然在上述实例中，当用户通过用户操作输入单元3进行选择使得以动态图片拾取模式来检测高精度的移动矢量时，在步骤S57中判定响应于用户对处理速度的选择性设置输入，选择缩小面匹配+内插处理模式和分级匹配+内插处理模式1或分级匹配+内插处理模式2中的其中一个，还可以通过下面的方式执行这种确定。具体地，CPU1检测被输入其中的拾取图像数据的帧率，并且当帧率低时，选择缩小面匹配+内插处理模式，而当帧率高时，选择分级匹配+内插处理模式1或分级匹配+内插处理模式2。

需要注意，在用户输入并设置帧率的情况下，所设置的输入包括在用户对处理速度的选择性设置输入中。

<选择的第二实例>

在本实施例的图像拾取装置中，当在执行图像拾取记录前处于图像拾取记录执行模式或像机EE(电子眼)图片模式时，能够从包括节电模式和没有执行节电的普通模式的两种模式之间选择操作模式。

在大多数情况下，像机EE图片模式在进入图像记录状态(即，图片记录状态)前被连续执行，并且直接连接至整个图像拾取装置的节电模式。另一方面，因为仅在液晶显示部或电子取景器上显示图像而不记录所述图像，所以像机EE图片模式下的图片质量优选为低。因此，在像机EE图片模式下，功耗被抑制到尽可能低的水平，并且在进入图像拾取记录执行模式后，优选提高图片质量。

随后，在上述块匹配的多个操作模式下，移动矢量的检测精度低的操作模式需要对系统总线2更少的总线访问及更小的功耗。

此外，本实施例中的内插处理对功耗和处理速度具有更低的影响。

如上所述，当在执行图像拾取记录前图像拾取装置处于图像拾取记录执行模式或像机EE(电子眼)图片模式时，如图35所示，所需的处理速度和功耗依赖于包括节电模式和没有包含节电的普通模式的两种操作模式中所应用的其中一种。CPU1响应处理速度和功率消耗来确定移动矢量的最佳检测精度，并且根据确定来转换待被应用的块匹配的操作模式。

具体地，如图35所示，当图像拾取装置处于像机EE图片模式下的节电模式时，由于操作矢量可以为n像素精度的缩小面移动矢量，所以选择缩小面匹配处理模式作为用于块匹配的操作模式。

另一方面，当图像拾取装置处于像机EE图片模式下的普通模式时，可以将其设置为用于检测像素精度的高精度缩小面移动矢量，并且选择缩小面匹配+内插处理模式作为用于块匹配的操作模式。

但是，当图像拾取装置处于图像拾取记录执行模式下的节电模式时，由于移动矢量可以为一个像素精度的基础面移动矢量，所以选择分级匹配处理模式1或2作为用于块匹配的操作模式。

另一方面，当图像拾取装置处于图像拾取记录执行模式下的普通模式时，优选检测亚像素精度的高精度基础面移动矢量。因此，选择分级匹配+内插处理模式1或2作为用于块匹配的操作模式。

需要注意，尽管用户设置了上述的节电模式和普通模式的操作模式，但是像机EE图片模式和图像图片记录执行模式响应于图像拾取记录启动按钮的开/关来转换。因此，CPU1参照图像拾取记录启动按钮的开/关和节电模式或普通模式的操作模式来确定移动矢量的检测精度，随后，确定用于块匹配的处理操作模式。

需要注意，不能根据用户所输入并设置的节电模式或普通模式的操作模式来检测功耗和处理速度，但是CPU1可以依赖于是比预定水平更频繁和过度频繁还是比预定水平更不频繁地执行对系统总线2的总线访问来检测功耗和处理速度，随后，确定移动矢量检测精度，从而确定用于块匹配的处理操作模式。

<选择的其他实例>

作为用于在用于块匹配的多个操作模式中的选择的参数，不仅可以使用上述的静止/动态图片、移动矢量检测精度以及处理速度，而且还可以使用待用于系统总线的总线带宽、像素大小、搜索范围的大小、帧率等，或者也可以使用这些参数的适当组合。

[拾取图像的降噪处理的流程概述]

<静止图片拾取模式>

图36和图37的流程图示出了通过具有上述结构的本实施例的图像拾取装置，在静止图片图像拾取模式下的图像叠加的降噪处理。在CPU1和通过CPU1所控制的移动检测和移动补偿单元16的控制部165的控制下，通过图像叠加单元17执行图36和图37的流程图的步骤。

首先，参照图36，如果首先按下快门按钮，则在本实施例的图像拾取装置中，在CPU1的控制下高速执行多个图像的高速图像拾取。在本实例中，CPU1提取在静止图片拾取模式下待被叠加的M个(M为大于等于2的整数)图像或帧的拾取图像数据，并且将它们存储在图像存储单元4中(步骤S61)。

随后，尽管从在图像存储单元4中所存储的M个图像帧中将参考帧及时地设置为第N个(N为大约等于2而小于等于M的整数)，但是控制部165为值N设置初始值为N＝2(步骤S62)。随后，控制部165将第一图像帧设置为目标图像或目标帧，并且将N＝2的图像设置为参考图像或参考帧(步骤S63)。

此后，控制部165在目标帧中设置目标块(步骤S64)，并且移动检测和移动补偿单元16将来自图像存储单元4的目标块读入目标块缓冲部161(步骤S65)。随后，控制部165将匹配处理范围内的像素数据读入参考块缓冲部162(步骤S66)。

随后，控制部165从参考块缓冲部162中读出搜索范围内的参考块，并且匹配处理部163以上述方式执行从多个块匹配处理模式中所选择的操作模式的块匹配处理(步骤S67)。

随后，控制部165根据通过块匹配处理所检测的移动矢量从参考块缓冲部162中读出移动补偿块(步骤S68)，并且在随后的阶段将移动补偿块与目标块同步地发送至图像叠加单元17(步骤S69)。

随后，图像叠加单元17执行目标块与移动补偿块的叠加，并且将所叠加的块的降噪图像数据存储在图像存储单元4中。换句话说，图像叠加单元17将所叠加的块的降噪图像数据写入图像存储单元4(步骤S70)。

随后，控制部165判定是否对目标帧中所有目标块完成了块匹配(步骤S71)。随后，如果判定没有对所有目标块完成块匹配处理，则处理返回步骤S64，在此处，设置目标帧中的下一个目标块，使得重复步骤S64～S71的处理。

另一方面，如果判定对目标帧中的所有目标块完成了块匹配处理，则控制部165判定是否对待被叠加的所有参考帧完成了所述处理，即，是否M＝N(步骤S72)。

如果在步骤S72中判定不满足M＝N，则值N被增加至N＝N+1(步骤S73)。随后，通过步骤S70中的叠加所生成的降噪图像被设置为目标图像或目标帧，并且N＝N+1的帧被设置为参考图像或参考帧(步骤S74)。此后，处理返回步骤S64，使得重复从步骤S64开始的步骤处的处理。具体地，在M大于等于3的情况下，执行叠加的所有目标块的图像被确定为下一个目标图像，并且第三个或随后的图像被确定为参考帧。随后，重复上述处理。重复这个过程，直至完成了第M个图像的叠加后为止。随后，当在步骤S72中判定M＝N时，结束处理程序。

需要注意，M个拾取图像的叠加结果的降噪图像的图像数据被静止图片编码译码单元18压缩编码，并且被提供至记录和再生装置单元5，由此，将其记录在记录介质上。

需要注意，虽然上述静止图片的降噪处理方法将M个图像的图像数据的存储包括在图像存储单元4中，但是也可以在每次拾取图像时执行叠加。在这种情况下，由于待被存储在图像存储单元4中的图像帧数可以仅为1，所以尽管图像拾取间隔变得更长，但是当与图36和图37的处理程序的降噪处理方法相比时，存储器成本能够被最小化。

<动态图片拾取模式>

现在，在图38的流程图中示出了通过本实施例的图像拾取装置以动态图片拾取模式叠加图像的降噪处理。图38的流程图的步骤也是在CPU1和通过CPU1所控制的移动检测和移动补偿单元16的控制部165的控制下来执行。如果用户按下动态图片记录按钮，则CPU1发布指示，从起始点开始图38的处理。

在本实施例中，移动检测和移动补偿单元16具有适于以目标块为单位执行匹配处理的结构。因此，图像校正和分辨率转换单元15保留帧图像，并且在CPU1的控制下以目标块为单位将图像数据发送至移动检测和移动补偿单元16(步骤S81)。

被发送至移动检测和移动补偿单元16的目标块的图像数据被存储在目标块缓冲部161中。随后，控制部165设置相应于目标块的参考块(步骤S82)，并且将来自图像存储单元4的在匹配处理范围内的图像数据读入参考块缓冲部162(步骤S83)。

随后，匹配处理部163和移动矢量计算部164以如上所述的方式执行从多种不同的块匹配处理模式中所选择的操作模式的块匹配处理(步骤S84)。

随后，控制部165根据在步骤S84所计算的移动矢量从参考块缓冲部162中读出移动补偿块的图像数据(步骤S85)，并且在随后阶段将所读出的图像数据与目标块同步地发送至图像叠加单元17(步骤S86)。

图像叠加单元17执行目标块与移动补偿块的叠加。随后，图像叠加单元17通过NTSC编码器20将叠加对象的降噪图像的图像数据输出至监控显示器6，从而执行动态图片记录监控，并且通过动态图片编码译码单元19将图像数据发送至监控显示器6，使得图像数据被记录在记录介质上(步骤S87)。

通过图像叠加单元17所叠加的图像被存储至图像存储单元4中，使其变为关于下一个帧(目标帧)的参考帧(步骤S88)。

随后，CPU1判定用户是否执行了动态图片记录停止操作(步骤S89)。如果判定用户没有执行动态图片记录停止操作，则CPU1发出指示，将处理返回步骤S81，从而重复从步骤S81开始的步骤的处理。另一方面，如果在步骤S89中判定用户执行了动态图片记录停止操作，则CPU1结束处理程序。

虽然在上述动态图片降噪处理的处理程序中，可以使用前一个图像作为参考帧，但是也可以使用更前的帧的图像作为参考帧。或者，之前第一个帧和之前第二个帧的图像可以被存储在图像存储单元4中，使得其中一个图像帧根据两个图像帧的图像信息的内容被选择性地确定为参考帧。

通过使用如上所述的这种装置、处理程序和系统结构，可以通过用于块匹配处理的一个公共的硬件来执行静止图片降噪处理和动态图片降噪处理。

如上所述，在静止图像降噪处理中，高速拾取多个图像，并且将多个图像的图像数据存储在图像存储单元4中。随后，移动检测和移动补偿单元16使用在图像存储单元4中所存储的图像，从而执行块匹配处理。通过图39～图42中的虚线来表示当执行静止降噪处理行时、在图像拾取中加算时图像数据的流程。

具体地，如图39所示，来自图像拾取器件11的拾取图像首先通过预处理单元13进行诸如传感器校正的预处理，随后以RAW信号形式被存储在图像存储单元4中，其中，RAW信号形式为执行像机信号处理前的数据形式。

此后，拾取图像从图像存储单元4中被读出，并且通过数据转换单元14被从RAW信号转换成YC图像格式的YC图像数据。YC图像数据通过图像校正和分辨率转换单元15进行图像校正、分辨率转换等，并且随后以YC图像格式被写入图像存储单元4。在高速连续拍摄过程中，多次(相应于图像数)重复执行所述处理，并且图像数目的拾取图像数据以YC图像格式被存储并保留在图像存储单元4中。

被写入图像存储单元4中的YC图像格式的图像数据通过移动检测和移动补偿单元16被提供至图像叠加单元17，其中，通过图22所示的缩小面生成部174将其缩小。

此后，如图40所示，与来自图像拾取器件11的第三图像的提取处理并行，使用第一图像作为目标图像并使用第二图像作为参考图像、通过移动检测和移动补偿单元16执行通过分级块匹配的移动矢量的检测和移动补偿块的生成。随后，这样所生成的移动补偿块被用于通过图像叠加单元17执行图像叠加处理。

随后，当第一和第二拾取图像的叠加被完成时，使用叠加图像或降噪图像作为下一个目标图像并使用第三图像作为参考图像来执行接下来的移动矢量检测和图像叠加。对多个被连续拾取的拾取图像重复所述处理，从而获取一个静止图片降噪图像。在本实施例中，根据如图42所示的静止图片编码译码单元18的JPEG系统，所得的静止图片降噪图像的图像数据被压缩，并且被存储至记录和再生装置单元5的记录介质中。

现在，将参照图43和图44来描述动态图片降噪处理过程中的图像数据的流程。

在动态图片降噪处理中，目标块被实时地从图像校正和分辨率转换单元15发送至移动检测和移动补偿单元16。如图43所示，移动检测和移动补偿单元16将从图像校正和分辨率转换单元15发送至其中的目标块存储在目标块缓冲部161中，从图像存储单元4中读出相应于目标块的块匹配处理范围，并且将块匹配处理范围存储在参考块缓冲部162中。

随后，移动检测和移动补偿单元16读出来自目标块缓冲部161的目标块和来自块匹配处理范围的参考块，并且执行上述块匹配处理，从而执行移动矢量检测和移动补偿块的生成。随后，移动检测和移动补偿单元16将移动补偿块和目标块提供至图像叠加单元17。

图像叠加单元17连续叠加所接收的目标块和移动补偿块。随后，如图43所示，图像叠加单元17将通过图像叠加所获取的降噪图像置入图像存储单元4中。

如图44所示，在图像存储单元4中所放置的降噪图像在下一个帧(前一个帧中的降噪图像)中被读入动态图片编码译码单元19，并且被压缩并存储在记录和再生装置单元5的记录介质中。此外，在图像存储单元4中所放置的降噪图像(前一个帧中的降噪图像)也同时从NTSC编码器20中被读入，而且，执行对监控显示器6的监控输出。

在动态图片降噪处理中，对每个拾取图像重复上述处理。

需要注意，虽然使用用于一个帧的参考图像，但是如图44所示，也能够保留用于多个帧的参考图像，使得使用具有更高相关性的图像。

此外，在动态图片降噪处理中，由于实时性很重要，所以不如同在静止图片降噪处理中一样执行缩小面目标图像的生成和及其在图像存储单元4中的存储，而是通过在图20所示的目标块缓冲部161中的缩小处理部1613生成缩小面目标块，并且将其就这样存储在缩小面缓冲器1612中。

[块匹配处理的流程的实例]

现在，将描述在上文所述的块匹配的多个操作模式下的处理的流程。就缩小面匹配处理模式和缩小面匹配+内插处理模式而言，关于在移动矢量计算部164的三个实例的描述中的处理的流程，在上面描述了处理的流程。因此，下面将描述在分级匹配+内插处理模式1和分级匹配+内插处理模式2中的操作实例。需要注意，分级匹配处理模式1和分级匹配处理模式2分别相应于不包括分级匹配+内插处理模式1和分级匹配+内插处理模式2中的内插处理的处理操作。

图45和图46示出了通过本实施例中的移动检测和移动补偿单元16在分级匹配+内插处理模式1中的操作实例。

需要注意，尽管图45和图46中所示出的处理流程与上文所述的匹配处理部163和移动矢量计算部164的处理实例的流程部分重叠，但是为了便于理解本实施例的图像拾取装置的操作，给出了流程的描述。此外，所述处理流程的实例相应于使用上文所述的移动检测和移动补偿单元16的硬件结构的第三实例的情况。

参照图45，移动检测和移动补偿单元16读入目标块的缩小图像(即，缩小面目标块)(步骤S91)。随后，移动检测和移动补偿单元16将缩小面最小SAD值的初始值设置为移动矢量计算部164的SAD值保留部1643的最小SAD值Smin的初始值(步骤S92)。作为缩小面最小SAD值Smin的初始值，例如，设置像素之间的差分的最大值。

接下来，匹配处理部163设置缩小面搜索范围，并且在如此所设置的缩小搜索范围内设置缩小面参考矢量(Vx/n，Vy/n：1/n为缩小率)，从而设置用于SAD值计算的缩小面参考块位置(步骤S93)。随后，匹配处理部163从参考块缓冲部162读入这样设置的缩小面参考块的像素数据(步骤S94)。此后，匹配处理部163确定缩小面目标块和缩小面参考块的像素数据的差分的绝对值总和，即，缩小面SAD值。随后，匹配处理部163将所确定的缩小面SAD值发送至移动矢量计算部164(步骤S95)。

在移动矢量计算部164中，SAD值比较部1642互相比较通过匹配处理部163所计算的缩小面SAD值Sin与在SAD值保留部1643中所保留的缩小面最小SAD值Smin，从而判定所计算的缩小面SAD值Sin是否低于至此为止在SAD值保留部1643中所保留的作小面最小SAD值Smin(步骤S96)。

如果在步骤S96中判定所计算的缩小面SAD值Sin低于缩小面最小SAD值Smin，则处理前进至步骤S97，其中，在SAD值保留部1643中所保留的缩小面最小SAD值及其位置信息被更新。

具体地，SAD值比较部1642将所计算的缩小面SAD值Sin低于缩小面最小SAD值Smin的比较结果的信息DET发送至SAD值写入部1641。因此，SAD值写入部1641将所计算的缩小面SAD值Sin及其位置信息或缩小面参考矢量作为缩小面最小SAD值Smin的新信息发送至SAD值保留部1643。SAD值保留部1643用所接收的新的缩小面SAD值Sin和缩小面SAD值Sin的位置信息来更新其中所保留的缩小面最小SAD值Smin和位置信息。

处理从步骤S97前进至步骤S98。另一方面，如果在步骤S96中判定所计算的缩小面SAD值Sin高于缩小面最小SAD值Smin，则处理直接前进至步骤S98，不执行步骤S97中的所保留信息的更新处理。

在步骤S98中，匹配处理部163判定是否对在缩小面搜索范围内所有缩小面参考块的位置或缩小面参考矢量完成了匹配处理。如果判定没有被处理的缩小面目标块仍然存在于缩小面搜索范围内，则处理返回步骤S93，重复从步骤S93开始的步骤中的处理。

另一方面，如果在步骤S98中判定对在缩小面搜索范围内的所有缩小面参考块的位置或缩小面参考矢量完成了匹配处理，则匹配处理部163从SAD值保留部1643中接收缩小面最小SAD值Smin的位置信息或缩小面移动矢量。随后，匹配处理部163将基础面目标块设置在基础面目标帧中以通过将所接收的缩小面移动矢量乘以缩小率的倒数(即，n)所获取的矢量所表示的位置坐标为中心的位置。此外，匹配处理部163将基础面搜索范围设置为在基础面目标帧中以通过被乘以n的矢量所表示的位置坐标处为中心的相对较小的范围(步骤S99)。此后，匹配处理部163从目标块缓冲部161读入基础面目标块的图像数据(步骤S100)。

随后，匹配处理部163将基础面最小SAD值SSmin的初始值设置为移动矢量计算部164的SAD值保留部1643的最小SAD值的初始值(图46中的步骤S101)。例如，基础面最小SAD值SSmin的初始值可以为像素之间的差分的最大值。

随后，匹配处理部163在步骤S99中所设置的基础面搜索范围中设置基础面参考矢量(Vx，Vy)，从而设置用于计算SAD值的基础面参考块位置(步骤S102)。随后，匹配处理部163从参考块缓冲部162中读入所设置的基础面参考块的像素数据(步骤S103)。随后，匹配处理部163确定基础面目标块和基础面参考块之间的像素数据的差分的绝对值总和(即，基础面SAD值)，并且将所确定的基础面SAD值信号发送至移动矢量计算部164(步骤S104)。

在移动矢量计算部164中，SAD值比较部1642互相比较通过匹配处理部163所计算的基础面SAD值Sin与在SAD值保留部1643中所保留的基础面最小SAD值SSmin，从而判定所计算的基础面SAD值Sin是否低于此前所保留的基础面最小SAD值SSmin(步骤S105)。

如果在步骤S105中判定所计算的基础面SAD值Sin低于基础面最小SAD值SSmin，则处理前进至步骤S106，其中，在SAD值保留部1643中所保留的基础面最小SAD值SSmin及其位置信息被更新。

具体地，SAD值比较部1642将所计算的基础面SAD值Sin低于基础面最小SAD值SSmin的比较结果的信息DET发送至SAD值写入部1641。因此，SAD值写入部1641将所计算的基础面SAD值Sin及其位置信息或参考矢量作为基础面最小SAD值SSmin的新的信息发送至SAD值保留部1643。SAD值保留部1643用所接收的新的基础面SAD值Sin及其位置信息更新在其中所保留的基础面最小SAD值SSmin及其位置信息。

处理从步骤S106前进至步骤S107。另一方面，如果在步骤S105中判定所计算的基础面SAD值Sin高于基础面最小SAD值SSmin，则处理直接前进至步骤S107，不执行步骤S106中的所保留信息的更新处理。

在步骤S107中，匹配处理部163判定是否对在基础面搜索范围内的所有基础面参考块的位置或基础面参考矢量完成了匹配处理。如果判定没有被处理的基础面参考块仍然存在于基础面搜索范围内，则处理返回步骤S102，重复从步骤S102开始的步骤中的处理。

另一方面，如果在步骤S107中判定完成了对于在基础面搜索范围内所有基础面参考块的位置或基础面参考矢量的匹配处理，则匹配处理部163从SAD值保留部1643中接收基础面最小SAD值SSmin的位置信息或基础面移动矢量，并且执行关于在邻近4个点的位置处的基础面参考块的基础面SAD值的再计算。随后，匹配处理部163通过SAD值写入部1641将所再计算的基础面邻近SAD值SSx1、SSx2和SSy1、SSy2提供至SAD值保留部1643，从而将其保留在SAD值保留部1643中(步骤S108)。

随后，在移动矢量计算部164中，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出在SAD值保留部1643中所保留的所检测出的基础面最小SAD值SSmin和基础面邻近SAD值SSx1、SSx2和SSy1、SSy2及它们的位置信息，并且将所读出的SAD值和位置信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收被发送至其中的SAD值和位置信息，并且根据二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式计算亚像素精度的高精度基础面移动矢量(步骤S109)。由此，对于一个参考帧的分级匹配+内插处理模式1的实例的块匹配处理完成。

需要注意，在分级匹配处理模式1的情况下，当在步骤S107中判定对于在基础面搜索范围内的所有基础面参考块的所有位置或基础面参考矢量完成了匹配处理时，不执行步骤S108和S109的处理。替代地，从来自SAD值保留部1643中的基础面最小SAD值SSmin的位置信息中检测出基础面移动矢量，并且将其输出至控制部165。

图47和图48中示出了分级匹配+内插处理模式2中的操作实例。而且，在本操作实例中，第三实例被用作移动检测和移动补偿单元16的硬件结构实例。

图47的步骤S111～S117的处理操作分别与上文所述的图45的步骤S91～S97的步骤完全相同。随后，在图47的实例中，如果在步骤S118中判定没有对缩小面搜索范围内的所有缩小面参考矢量执行匹配，则处理范围步骤S113，重复从步骤S113开始的步骤的处理。

另一方面，如果在步骤S118中判定完成了对在缩小面搜索范围内的所有缩小面参考矢量的匹配，则接收来自SAD值保留部1643中的缩小面最小SAD值Smin的位置信息或缩小面移动矢量，并且对在邻近4个点的位置处的缩小面参考块执行缩小面SAD值的再计算。随后，所再计算的缩小面邻近SAD值Sx1、SX2和Sy1、Sy2通过SAD值写入部1641被提供至SAD值保留部1643，从而被保留在SAD值保留部1643中(步骤S119)。

随后，在移动矢量计算部164中，X方向(水平方向)邻近值提取部1644和Y方向(垂直方向)邻近值提取部1645读出在SAD值保留部1643中所保留的所检测出的缩小面最小SAD值Smin和邻近缩小面SAD值Sx1、Sx2和Sy1、Sy2及它们的位置信息，并且将所读出的SAD值和位置信息发送至二次曲线近似内插处理部1646。二次曲线近似内插处理部1646接收被发送至其中的SAD值和位置信息，并且根据二次曲线在X方向和Y方向上执行两次内插，从而以如上所述的方式计算像素精度的高精度缩小面移动矢量(步骤S120)。

随后，二次曲线近似内插处理部1646将基础面目标块设置在基础面目标帧中在以通过将在步骤S120中所计算的高精度缩小面移动矢量乘以缩小率的倒数(即，n)所获取的矢量所表示的位置坐标为中心的位置处。此外，二次曲线近似内插处理部1646将基础面搜索范围和基础面匹配处理范围设置为在基础面目标帧中以通过被乘以n的矢量所表示的位置坐标为中心的相对较小的范围(图48的步骤S121)。随后，二次曲线近似内插处理部1646从目标块缓冲部161读入基础面目标块的像素数据(步骤S122)。

随后，基础面最小SAD值SSmin的初始值被设置为移动矢量计算部164的SAD值保留部1643的最小SAD值的初始值(步骤S123)。步骤S123～步骤S131的处理分别与上文所述的图46的步骤S101～步骤S109完全相同。

需要注意，在分级匹配处理模式2的情况下，当在步骤S129中判定完成了在基础面搜索范围内对所有基础面参考块的位置或基础面参考矢量的匹配处理时，不执行步骤S130和S131的处理。替代地，从来自SAD值保留部1643的基础面最小SAD值SSmin的位置信息中检测出基础面移动矢量，并将其输出至控制部165。

现在，将与具体实例相联系，描述使用本实施例中的分级块匹配方法的图像处理方法的效果。

图49A～图49F示出在实施例的描述中所使用的基础面和缩小面上的参考块、搜索范围、及匹配处理范围的具体实例。在图49A～图49F所示的实例中，在水平方向和垂直方向上的缩小率1/n的值n被设置为n＝4。

图49A～图49B中示出了比较例。在比较例中，例如，不使用缩小图像的参考块108具有水平×垂直＝32×32个像素的大小，并且搜索范围106具有水平×垂直＝144×64个像素的大小。此外，匹配处理范围110具有水平×垂直＝176×96个像素的大小。

因此，在上述实施例中的水平方向和垂直方向上被缩小至1/n＝1/4的缩小面上，如图49C和图49D所示，缩小面参考块139具有水平×垂直＝8×8个像素的大小。同时，缩小面搜索范围137具有水平×垂直＝36×16个像素的大小，并且缩小面匹配处理范围143具有水平×垂直＝44×24个像素的大小。

在对在水平方向和垂直方向上被缩小至1/4的缩小面执行块匹配的情况下，缩小面移动矢量具有4像素精度，并且如果将其简单地乘以4，则关于一个像素精度的移动矢量出现误差。具体地，在通过图9所示的圆来表示基础面上的像素的情况下，作为基础面上的匹配处理点148，基础面上的所有像素变为对象，而在对被缩小至1/4的缩小面执行块匹配的情况下的匹配处理点被限制为如通过图9中的实心圆所表示的以4个像素为单位出现的那些匹配处理点147。

但是，可以估计，一个像素精度的移动矢量至少存在于通过缩小面移动矢量所表示的缩小面上的匹配处理点周围的4个像素范围内。

因此，在本实施例中，在根据所计算的缩小面移动矢量确定基础面搜索范围的基础面匹配中，基础面目标块被设置在通过将缩小面移动矢量乘以作为缩小率的倒数的4所获取的参考块所表示的像素位置所提供的中心处，并且确定用于4个像素的搜索范围(基础面搜索范围140)以执行基础面块匹配，从而再次计算移动矢量。

因此，如图49E和图49F所示，基础面参考块142具有水平×垂直＝32×32个像素的大小，并且基础面搜索范围140具有水平×垂直＝4×4个像素的大小，同时基础面匹配处理范围144具有水平×垂直＝40×40个像素的大小。

图50A～图50C示出在假设在执行缩小面匹配和基础面匹配的两种分级匹配处理的情况下使用SAD表的时候的基础面和缩小面上的SAD值的大小。需要注意，图50A～图50C的实例相应于图49A～图49F的具体实例。

在缩小前144×64个像素的搜索范围的情况下的SAD表TBL具有如图50A所示的145×65个点的大小。

相反，在缩小面搜索范围36×16(参照图49D)的情况下的缩小面SAD表具有如图50B所示的37×17个点的大小。

另一方面，在基础面搜索范围为4×4(参照图49F)的情况下的基础面SAD表具有5×5个点的大小。

因此，虽然在没有应用分级匹配的情况下的匹配处理次数为145×65＝9,425次，但是应用了分级匹配的匹配次数为37×17+5×5＝654次。因此，能够认为，处理时间被显著降低。

因此，由于在上文所述的移动矢量检测方法的第二实例的情况下的行存储器可以具有用于缩小面SAD表的一行的容量，所以它可以具有用于37个SAD值及其位置信息的容量。同时，SAD表TBL必须具有用于9,425个SAD值及其位置信息的容量。因此，当与SAD表TBL相比时，行存储器可以具有非常小的存储容量。

此外，在上文所述的移动矢量计算部164的第三结构实例的情况下，由于还不需要用于存储这样的37个SAD值及其位置信息的缩小面SAD表，所以能够进一步减小电路规模。

因此，利用本实施例的图像拾取装置，通过在执行分级匹配处理后在基础面上执行内插处理，能够在很宽的搜索范围内执行亚像素精度的移动矢量检测。

[其他实施例及修改例]

需要注意，虽然上文所述的实施例的图像拾取装置使用如上所述的这六种操作模式，但是此外还可以使用不包括在缩小面上的块匹配的基础面匹配处理模式和基础面匹配+内插处理模式。

此外，在上述实施例的图像拾取装置中的移动检测和移动补偿单元16的移动矢量计算部164的第二实例中，搜索范围内的搜索方向被设置为水平行方向，并且例如，参考块从搜索范围的左上角开始被连续移动，从而执行搜索，并且提供了用于SAD表一行的存储器。但是，可以采用另一种搜索方法，包括重复开始的程序，将搜索范围内的搜索方向设置为垂直方向，例如，在垂直方向上的搜索从搜索范围的左上角开始，在垂直方向上完成一列的搜索后，将参考块的位置水平向右移动一列的距离，至右侧的列，随后，从右侧列的上端起在垂直方向上执行搜索。在从搜索范围的左上角开始在垂直方向上连续移动参考块从而以这种方式执行搜索的情况下，可以提供用于SAD表的一个垂直列的存储器。

此处，考虑匹配处理部和移动矢量计算部的电路规模来确定搜索方向应该被设置为水平方向还是垂直方向。优选地，选择搜索方向，使得电路规模被缩小得相对较多。

需要注意，可以对于每一个像素或每一行甚至于每多个像素或行来执行参考块的移动。因此，前者情况下用于水平方向上一行的存储器可以具有用于在水平方向上的参考块的移动位置的容量，而后者情况下用于垂直方向上一列的存储器可以具有用于在垂直方向上的参考块的移动位置的容量。具体地，在对于每一个像素或每一行执行参考块的移动的情况下，用于在水平方向上的一行的存储器必须具有一行中的像素数的容量，并且用于在垂直方向上的一列的存储器必须具有用于水平方向的行的数量的容量。但是，在对于每多个像素或行来移动参考块的情况下，用于一行的存储器或用于一列的存储器的容量能够比对于每一个像素或对于每一行来移动参考块的情况下要减少。

此外，内插处理的方法不限制于上文所述的二次曲线近似内插处理，而是可以应用使用三次曲线或更高次曲线的内插方法。

此外，虽然在上述实例中根据本发明的图像处理装置被应用于图像拾取装置，但是本发明的应用不限制于图像拾取装置，本发明还可以被应用于涉及图像帧之间的移动的检测的所有装置。

此外，虽然在上述实施例中，本发明被应用于为了通过图像叠加执行降噪处理而以块为单位的移动矢量检测，但是本发明的应用不被限制于此，本发明实际上能够被应用于例如通过图像拾取时的像机振动的移动矢量检测。例如，由像机振动产生的移动矢量可被确定为多个块移动矢量的平均值。

虽然已经使用具体条件描述了本发明的优选实施例，但是这种描述仅用于举例说明的目的，应该了解，在不违背所附权利要求精神和范围的情况下，可以进行变化和修改。

Claims (8)

1.一种图像处理装置，用于计算包括目标画面图像和参考画面图像这两个画面图像之间的移动矢量，所述图像处理装置包括：

基础面移动矢量计算装置，用于从各自与目标块具有相同大小并且被设置在所述参考画面图像中所设置的第一搜索范围中的多个参考块中，检测出最大相关基础面参考块，所述最大相关基础面参考块与被设置在所述目标画面图像中的预定位置处的预定大小的所述目标块具有高相关性，并且，所述基础面移动矢量计算部根据在所述画面图像中所述检测到的最大相关基础面参考块相对于所述目标块的位置偏移量来计算基础面移动矢量；

高精度基础面移动矢量计算装置，用于使用所述最大相关基础面参考块的相关值和位于所述最大相关基础面参考块的邻近位置处的多个参考块的相关值来执行内插处理，从而检测高精度最大相关基础面参考块的位置，并根据在所述画面图像上所述高精度最大相关基础面参考块相对于所述目标块的位置偏移量来计算高精度基础面移动矢量；

缩小面移动矢量计算装置，用于通过预定的缩小率缩小所述目标画面图像和所述参考画面图像，从而生成缩小目标画面图像和缩小参考画面图像，从各自与缩小面目标块具有相同大小并且被设置在所述缩小参考画面图像中所设置的第二搜索范围中的多个缩小面参考块中检测最大相关缩小面参考块，所述最大相关缩小面参考块与具有预定大小并且被设置在所述缩小目标画面图像的预定位置处的所述缩小面目标块具有高相关性，并且所述缩小面移动矢量计算部根据在所述画面图像中所述检测到的最大相关缩小面参考块相对于所述缩小面目标块的位置偏移量来计算缩小面移动矢量；

高精度缩小面移动矢量计算装置，用于使用所述最大相关缩小面参考块的相关值和位于所述最大相关缩小面参考块的邻近位置处的多个缩小面参考块的相关值来执行内插处理，从而检测高精度最大相关缩小面参考块的位置，并且根据在所述画面图像上所述高精度最大相关缩小面参考块相对于所述目标块的位置偏移量来计算高精度缩小面移动矢量；

第一基础面搜索范围确定装置，用于根据通过所述缩小面移动矢量计算装置所计算的所述缩小面移动矢量来确定所述第一搜索范围；

第二基础面搜索范围确定装置，用于根据通过所述高精度缩小面移动矢量计算装置所计算的所述高精度缩小面移动矢量来确定所述第二搜索范围；以及

选择装置，用于从所述基础面移动矢量计算装置、所述高精度基础面移动矢量计算装置、所述缩小面移动矢量计算装置、及所述高精度缩小面移动矢量计算装置中选择要用的计算装置，并且选择是否应该使用所述第一或第二基础面搜索范围确定装置，随后在确定要使用任一所述确定装置的情况下，从所述第一和第二基础面搜索范围确定装置中选择要用的确定装置。

2.根据权利要求1所述的图像处理装置，其中，所述选择装置在接收到来自用户的选择操作输入后执行所述选择。

3.根据权利要求1所述的图像处理装置，其中，所述选择装置至少根据处理速度和所述移动矢量的检测精度来自动执行所述选择。

4.根据权利要求1所述的图像处理装置，其中，所述选择装置根据要检测其移动矢量的对象图像是静止图片图像还是动态图片图像来自动执行所述选择。

5.一种图像处理方法，用于计算包括目标画面图像和参考画面图像这两个画面图像之间的移动矢量，所述图像处理方法通过图像处理装置来执行，所述图像处理装置包括基础面移动矢量计算装置、高精度基础面移动矢量计算装置、缩小面移动矢量计算装置、高精度缩小面移动矢量计算装置、第一基础面搜索范围确定装置及第二基础面搜索范围确定装置，所述图像处理方法包括：

基础面移动矢量计算步骤，通过所述基础面移动矢量计算装置来执行，在所述参考画面图像中所设置的第一搜索范围中设置各自与具有预定大小并且被设置在所述目标画面图像上的预定位置处的目标块具有相同大小的多个参考块，从而检测在所述多个参考块中与所述目标块具有高相关性的最大相关基础面参考块，并且根据在所述画面图像中所述检测到的最大相关基础面参考块相对于所述目标块的位置偏移量来计算基础面移动矢量；

高精度基础面移动矢量计算步骤，通过所述高精度基础面移动矢量计算装置来执行，使用所述最大相关基础面参考块的相关值和位于所述最大相关基础面参考块的邻近位置处的多个参考块的相关值来执行内插处理，从而检测高精度最大相关基础面参考块的位置，并根据在所述画面图像上所述高精度最大相关基础面参考块相对于所述目标块的位置偏移量来计算高精度基础面移动矢量；

缩小面移动矢量计算步骤，通过缩小面移动矢量计算装置来执行，通过预定的缩小率缩小所述目标画面图像和所述参考画面图像，从而生成缩小目标画面图像和缩小参考画面图像，在所述缩小参考画面图像上所设置的第二搜索范围中设置各自与具有预定大小并且被设置在所述缩小目标画面图像上的预定位置处的缩小面目标块具有相同大小的多个缩小面参考块，检测在所述多个缩小面参考块中与所述缩小面目标块具有高相关性的最大相关缩小面参考块，并且根据在所述画面图像中所述检测到的最大相关缩小面参考块相对于所述缩小面目标块的位置偏移量来计算缩小面移动矢量；

高精度缩小面移动矢量计算步骤，通过高精度缩小面移动矢量计算装置来执行，使用所述最大相关缩小面参考块的相关值和位于所述最大相关缩小面参考块的邻近位置处的多个缩小面参考块的相关值来执行内插处理，从而检测高精度最大相关缩小面参考块的位置，并且根据在所述画面图像上所述高精度最大相关缩小面参考块相对于所述目标块的位置偏移量来计算高精度缩小面移动矢量；

第一基础面搜索范围确定步骤，通过第一基础面搜索范围确定装置来执行，根据通过所述缩小面移动矢量计算装置所计算的所述缩小面移动矢量来确定所述第一搜索范围；

第二基础面搜索范围确定步骤，通过第二基础面搜索范围确定装置来执行，根据通过所述高精度缩小面移动矢量计算装置所计算的所述高精度缩小面移动矢量来确定所述第二搜索范围；以及

选择步骤，当要计算所述两个画面图像之间的所述移动矢量时，从所述缩小面移动矢量计算步骤、所述高精度缩小面移动矢量计算步骤、所述基础面移动矢量计算步骤及所述高精度基础面移动矢量计算步骤中选择要用的计算步骤，选择是否应该使用所述第一或第二基础面搜索范围确定步骤，随后在确定要使用任一所述确定步骤的情况下，通过所述第一和第二基础面搜索范围确定步骤选择要用的确定装置。

6.根据权利要求5所述的图像处理方法，其中，在所述选择步骤中，响应于从用户所接收的选择操作输入来执行所述选择。

7.根据权利要求5所述的图像处理方法，其中，在所述选择步骤中，至少根据处理速度和所述移动矢量的检测精度来自动执行所述选择。

8.根据权利要求5所述的图像处理方法，其中，在所述选择步骤中，根据要检测其移动矢量的对象图像是静止图片图像还是动态图片图像来自动执行所述选择。

Images