CN100399831C - 运动矢量检测设备和检测运动矢量的方法 - Google Patents

Abstract

本发明涉及以位于与关注的标准块相同位置上的参照图像块而确定的搜索范围中的搜索位置，通过使用多个相关性计算单元，以流水线方法通过并行处理来进行相关性计算。当根据按照相关性计算的结果的预定搜索位置设置标准顺序运动中心位置时，搜索相关性极值。此外，在多个信道的系统存储器中保留与搜索位置相对应的多个信道的子采样图像数据，并通过使用多个相关性计算单元，以流水线方法，通过并行处理，对搜索位置进行相关性计算。

Description

运动矢量检测设备和检测运动矢量的方法

技术领域

本发明涉及检测用于运动图像压缩编码器或类似设备中的运动矢量的检测设备和方法。

背景技术

对于监测普通图像或类似图像而言，块匹配型的运动检测方案是重要的技术，在此方案中，从与运动物体相关的两个不同图像中搜索匹配区域，以便由此检测匹配区域的运动矢量。最近，该方案已作为基本技术投入使用，尤其是用在运动图像压缩编码技术中，例如高效编码运动图像的MPEG(运动图像专家组)。运动矢量的检测包括必要的大量的计算处理，为了使计算变得更快和更有效，至今已开发出了许多技术(例如，见JP-A-1-295379)。

至今，已有了具有如图1的框图中所示的相关计算装置的运动矢量传感器。通过使用由参照图像存储器102保留的先前帧(以下称其为“参照图像”)以及由输入图像存储器101保留的当前帧(以下称其为“输入图像”)来检测输入图像的值得注意的区域(以下称其为“输入块”)的运动矢量。在此情况下，如图2中的搜索范围概念图所示，相关器103确定输入块的相关系数及另一图像区域(以下称其为“参照块”)的相关系数，在此，参照块的尺寸与输入块相同，位于与输入块垂直或水平分离开的位置上，并把与输入块的位置相应的参照图像中的位置来作为开始搜索的参照位置。将这样确定的相关系数存储在相关系数存储器104中。

用比较器105来比较各个输入块彼此的相关系数。将搜索标准位置移到达到最大相关性(即达到最小相关系数)的位置上。这样，在对在尚未计算相关系数的方向上的参照块进行相关性操作的同时，对搜索标准位置的相关性变得最大的位置进行搜索。

图3是视图，该图用具体的例子来说明这个方法，这个方法被称为一次一个(one-at-a-time)方法。参照图3来说明现有的一次一个方法。首先，计算开始搜索的搜索位置1的相关系数。然后，按时间序列(time-series)方式计算右搜索位置2的相关系数和左搜索位置3的相关系数，比较器从搜索位置1到3的相关系数中找到最小的值。在此，假定搜索位置3的相关系数小于其它搜索位置的相关系数，计算搜索位置3左侧的位置(搜索位置4)的相关系数，比较器确定搜索位置3的相关系数大于或小于搜索位置4的相关系数。在此假定比较的结果是(搜索位置4的相关系数)＜(搜索位置3的相关系数)。

在用相同方式将相关系数一直计算到搜索位置7的相关系数的情况下，如果得到(搜索位置6的相关系数)＜(搜索位置7的相关系数)(即右和左搜索位置的相关系数大于中心搜索位置的相关系数)的关系，相关器103则按照时间序列方式，参照搜索位置6来确定上方的搜索位置8的相关系数和下方的搜索位置9的相关系数。比较器104从搜索位置6、8和9的相关系数中确定最小的相关值。如果搜索位置8的相关系数被认为是最小，则计算参照搜索位置8的右搜索位置10的相关系数和左搜索位置11的相关系数，并由比较器103来确定这样计算的相关系数中的最小值。

随后，右搜索位置的相关系数和左搜索位置的相关系数以相同的方式确定。将具有较高相关度(即较小的相关系数)的搜索位置用作为搜索中心。与右搜索位置的相关系数和左搜索位置的相关系数相比，如果中心搜索位置的相关系数最大，则搜索上方的搜索位置的相关系数和下方的搜索位置的相关系数，从而把基准改到具有较高相关度的位置上。最后进行相对于上、下、左、右的搜索位置的相关性，中心的相关性变为最大的位置的搜索，从而检测呈现出最大相关性的搜索位置作为运动矢量。如上所述，根据现有的方法，通过连续的处理，来计算相邻搜索位置的相关系数并确定呈现出最大相关性的位置。

普通的相关性操作方法是将参照图像和输入图像之间的差的绝对值相加。在公式1中示出了计算相关系数的公式。

[公式1]

$S=\underset{x=0}{\overset{N_x}{\mathrm{\Σ}}}\underset{y=0}{\overset{N_y}{\mathrm{\Σ}}}|I(\mathrm{Px}+x,\mathrm{Py}+y)-R(\mathrm{Px}+x+\mathrm{dx},\mathrm{Py}+y+\mathrm{dx})|$

Nx，Ny....块的横向和纵向尺寸

I(x，y)，R(x，y)...属于输入图像的位置(x，y)的图像数据

Px，Py....参照搜索位置

dx，dy....距搜索参照位置的偏离量

如上面的公式所示，相关性操作需要许多计算操作。因此，如图4所示，通常执行一种处理方法，使在对图像数据采样之前，将块划分成位于偶数位置上的一组块和位于奇数位置上的一组块(下面将此方法称为“子采样(sub-sampling)”)，从而，减少了进行相关操作所需要的计算操作的次数。

在上述的背景技术的方法中，只提供了一个相关运算符。因此，存在这样的问题，即要耗费极长的时间来搜索最大相关位置。例如，在图3的实施例中，需要执行15个相关操作。

通常，计算相关系数需要耗费很多时间。因此，在采用这样的方法的情况下，使得通过该方法对属于标准块的图像数据和属于参照块的图像数据进行子采样来缩短时间，如图4所示，属于偶数位置上的参照块的子采样的图像数据不同于属于奇数位置上的参照块的子采样的图像数据。

例如，在图4中，计算第一行的块所需要的子采样的图像数据不同于计算第二行的块所需要的子采样的图像数据。最终，由于子采样操作而使得流水线(pipeline)处理变得不可能进行。与通过流水线处理来进行计算操作的情况相比，则出现了相关操作需要长得多的时间的问题。

发明内容

本发明提供了一种用于检测运动矢量的运动矢量检测设备和方法，与由运动图像压缩编码设备在运动矢量检测期间所使用的背景技术的一次一个方法所进行的极值搜索相比，本发明方法使极值搜索变得更快。此外，本发明的目的还在于提供一种用于检测运动矢量的运动矢量检测设备和方法，使能对偶数的子采样图像数据进行流水线处理。

本发明的运动矢量传感器是这样的运动矢量传感器，它通过块匹配方法来检测运动矢量，所述块匹配方法用于计算在标准图像中的关注的标准块和参照图像中的图像块之间的相关性，该传感器包括：多个相关性计算单元，对搜索范围内的搜索位置通过流水线方法进行并行处理，所述搜索范围通过以参照图像上的位于与标准块相同位置的图像块作为中心位置来定义；该传感器还包括搜索装置，它在根据按照相关性计算的结果而预定的搜索位置设置标准来顺序运动中心位置的同时，搜索相关性极值。

根据上述，通过由流水线系统使用多个相关性计算单元来对相关性计算进行并行处理。因此，与通过现有的一次一个方法进行的搜索相比，能够加快极值搜索。此外，在根据预定的搜索位置设置标准运动中心位置的同时，搜索相关性极值，因而，能够有效地搜索极值。

本发明的运动矢量传感器还包括子采样图像生成器，通过对标准图像和参照图像进行子采样，根据搜索位置为多个信道产生图像数据。

据此，使用多信道的子采样图像数据来进行相关性计算。从而，避免了由于子采样而引起的流水线处理的劣化，因此，缩短了搜索运动矢量所需要的时间或扩大了在预定时间段内的运动矢量的搜索范围。这样，则可能搜索快速运动对象的运动矢量。

在本发明中，由预定的搜索位置设置标准来确定搜索范围，以使得在一次运动中心位置之后能够确定相关性极值，或者在两次运动中心位置之后能够确定相关性极值。

据此，在一次运动搜索范围的中心位置之后，或者，在最坏的情况下，在两次运动中心位置之后，可以确定相关性极值。

在本发明中，如果用参照图像上的矩形来表达搜索范围，而且当最小相关值的当前位置位于矩形的一个边的中心时，该预定的搜索位置设置标准则设置搜索范围，以使得该位置成为下一搜索范围的一个边的中心，并使得包括最大数量的未搜索的搜索位置；如果最小相关值的当前位置位于矩形的角上，该预定的搜索位置设置标准则设置搜索范围，以使得该位置成为下一搜索范围的中心。

据此，设置搜索范围，以便包括所有的符合第一搜索位置设置标准的搜索位置，从而能够在下一次搜索结束时，确定当前的最小相关系数是否是极值。

在本发明中，在用参照图像上的矩形来表达搜索范围时，如果最小相关值的当前位置位于矩形的一个边的中心，预定的搜索位置设置标准则设置搜索范围，以使得该位置成为下一搜索范围的一个边的中心，并使得包括最大数量的未搜索的搜索位置；如果最小值的当前位置位于矩形的角上，预定的搜索位置设置标准则设置包括此位置并运动以便包括最大数量的未搜索的搜索位置的搜索范围。

据此，在做斜向运动时能够进行这样一种运动，以包括最大数量的未搜索的搜索位置。因此，在根据搜索位置设置标准来设置搜索范围，以使得该位置成为如先前所述的下一搜索范围的中心时，在斜向运动期间完成搜索之前所经历的时间，增加缺陷的发生可以被防止。

在本发明中，如果最小相关性位置的当前位置位于矩形的角上，并且，在设置包括该位置在内并运动以便包括最大数量的未搜索的搜索位置的搜索范围之后，如果所达到的最小相关值的位置是相同的位置，该预定的搜索位置设置标准则设置以最小相关值的位置为中心的搜索范围。

据此，在保证斜向方向上的搜索速度的同时，在至少运动两次之后，能够确定当前的最小值是极值。因此，可以跟踪快速运动的对象，并能减少多余的计算，从而能达到减少电能消耗的效果。

在本发明中，如果相关性计算操作的次数超过了预定的次数，则可通过更换搜索位置设置标准来设置新的搜索范围。

据此，如果相关性计算操作的次数有所增加，则更换搜索位置设置标准，以便能够设置新的搜索范围。从而，能够在开始启动搜索和进行搜索的时间之间改变搜索范围的设置。结果，能够将搜索直接进行到相关系数的极值附近。这样，则可指望将搜索直接收敛在极值附近。

在本发明中，如果相关性计算操作的次数降到预定次数以下，则通过更换搜索位置设置标准来设置新的搜索范围。

据此，如果相关性最小值降到了预定值以下，则更换搜索位置设置标准，以便能够设置新的搜索范围。因此，能够在开始启动搜索和进行搜索的时间之间改变搜索范围的设置。结果，能够使搜索直接进行到相关系数的极值附近。这样，则可指望将搜索直接收敛于极值附近。

在本发明中，如果与当前标准块相邻的标准块的运动矢量的检测结果是可用的，则可根据是否使用相邻标准块的运动矢量的评估来选择搜索位置设置标准，从而设置搜索范围。

据此，如果使用相邻标准块的运动矢量，则能通过更换搜索位置设置标准来设置新的搜索范围。因此，能够在开始启动搜索和进行搜索的时间之间改变搜索范围的设置。结果，能够使搜索直接进行到相关系数的极值附近。这样，则可指望将搜索直接收敛在极值附近。

在本发明中，能够通过进行控制来禁止搜索过的搜索位置的相关性计算。

据此，禁止搜索过的搜索位置的相关性计算，从而，削减多余的计算并达到减少电能消耗的效果。

本发明的运动矢量传感器还包括：相关系数存储器，用于顺序存储呈现最大相关性的相关性最小值；比较器，它根据相关性计算的进行来检测呈现最大相关性的相关性最小值和搜索位置；计算范围设置单元，它根据呈现最大相关性的搜索位置来确定下一搜索范围；搜索完成确定器，它确定最大相关性位置的相关性最小值是否达到了相关性极值。

根据本发明的检测运动矢量的方法包括：指定图像帧中的参照像素的地址以及参照像素的相邻范围N；计算以参照像素为中心的(2N+1)^2个块和偏移该(2N+1)^2个块M(1≤M≤N)个块的那些块之间的相关性；在与所获得的(2N+1)^2块的相关性中选择呈现最大相关性的那些块；输出所选择的块的中心像素的地址。

根据本发明，与用现有的一次一个方法进行的搜索相比，能够加速极值的搜索。此外，在根据预定的搜索位置设置标准来运动中心位置的同时，搜索相关性极值。因此，能够有效地进行极值搜索。这样，在一次运动搜索范围的中心位置之后，或者，在最坏的情况下，在两次运动中心位置之后，达到能够搜索相关性极值的效果。

此外，根据本发明，避免了由于子采样而造成的流水线处理效率的劣化，并能缩短搜索运动矢量所需要的时间，或者是能够扩大在预定的时间内的运动矢量的搜索范围。这样，则可以搜索快速运动对象的运动矢量。

计算所需要的时间短，这样则能最终减少处理所需要的电能消耗，并使装备有运动矢量传感器的便携式设备小型化，而且能用电池来长时间地驱动该设备。

附图说明

图1是方框图，该图示出了背景技术中的运动矢量传感器的示例配置。

图2是用于检测运动矢量的参照图像的搜索范围的概念图。

图3A是概念图，该图说明了用于检测运动矢量的背景技术的一次一个方法的操作。

图3B是概念图，该图说明了用于检测运动矢量的背景技术的一次一个方法的操作。

图4是视图，该图示出了示例子采样的标准块和示例子采样的参照块。

图5A和图5B是视图，该图示出了根据本发明的第一实施例到第四实施例的在运动矢量传感器中相关性计算单元的流水线处理的时序。

图6是方框图，该图示出了根据本发明的第一实施例到第四实施例的运动矢量传感器的配置。

图7是方框图，该图示出了根据本发明的第五实施例的运动矢量传感器的配置。

图8A、8B、8C、8D1、8D2、8D3、8E是视图，该图示出了按照搜索位置设置标准并根据最小相关系数的当前位置来设置下一搜索范围的方法。

图9是视图，该图示出了根据本发明的第一实施例的搜索最小相关系数的位置的具体例子。

图10是视图，该图示出了根据本发明的第二实施例的搜索最小相关系数的位置的具体例子。

图11A1、11A2、11B、11C、11D1、11D2是视图，该图示出了根据本发明的第三实施例的搜索最小相关系数的位置的具体例子。

图12是视图，该图示出了根据本发明的第五实施例的运动矢量传感器中相关性计算单元的流水线处理的时序。

图13A、13B、13C、13D、13E是视图，该图说明了根据搜索位置来改变进行子采样的位置的方式。

图14是流程图，该图示出了根据本发明的第一实施例到第四实施例来搜索最小相关系数的位置的过程。

图15是流程图，该图示出了根据本发明的第四实施例的在搜索最小相关系数的位置期间搜索范围设置的过程。

图16是流程图，该图示出了根据本发明的第四实施例的在搜索最小相关系数的位置期间搜索范围设置的过程。

图17是流程图，该图示出了根据本发明的第四实施例的在搜索最小相关系数的位置期间搜索范围设置的过程。

图18是流程图，该图示出了在能够使用相邻标准块的运动矢量的情况下，确定搜索开始位置的过程。

具体实施方式

以下，将参照附图来详细说明本发明的实施例。

(第一实施例)

图6是方框图，该图示出了根据本发明的第一实施例的运动矢量传感器的配置。在此实施例中，配置了相关性计算设备，以便能够在以某个搜索标准位置为中心的八个方向上对相关性操作进行流水线(或并行)处理；这八个方向是朝上的方向、朝下的方向、朝右的方向、朝左的方向、朝右上方的方向、朝右下方的方向、朝左上方的方向、朝左下方的方向。

在图6中，标号101表示用于保留输入图像的输入图像存储器101；标号102表示用于保留参照图像的参照图像存储器；标号103表示用于计算相关系数的多个相关性计算单元(相关性计算设备1到相关性计算设备9)；标号104表示最小相关系数存储器；105表示比较器；106表示最小相关系数位置存储器；107表示运动矢量设置设备；108表示地址生成器，它顺序产生未示出的行存储器的地址；109表示搜索终止确定器；110表示计算范围设置单元；111表示经搜索位置存储器；112表示相关性计算控制单元。每个相关性计算单元103具有差分运算符，用以计算输入图像和参照图像间的差，还有用于确定差分绝对值的电路，以及对结果进行相加的加法器。

下面将参照图5A和图5B和图6来详细说明用于计算以搜索标准位置为中心的九个位置的相关系数的流水线处理。本实施例以假定不对输入图像和参照图像进行子采样为基础。图5A是视图，该图示出了时序，根据该时序，图6所示的相关性计算设备1到相关性计算设备9在八个方向上计算中心位置的相关系数和周围位置的相关系数(所有九个位置上的相关系数)。

图5B是视图，该图示出了输入图像数据和参照图像数据的结构，在计算全部九个位置上的相关性时，这两者都是需要的。对于16×16像素的标准块，需要18×18像素的参照图像，它在垂直和水平方向上都比参照块要宽一个像素。

在图5A中，第一行是相关性计算单元1的操作时序，该单元进行参照位置的左上位置(位置1)的相关性操作。同样地，第二行和随后的行是位置T、“t”、L、C、R、“b”、B和“r”的相关性计算单元2到9的操作时序。

首先，分别将在输入图像存储器101中的属于标准块(16个像素)的行1的图像数据和在参照图像存储器102中的属于参照图像(18个像素)的行1的图像数据分别读到行存储器1(未示出)和行存储器2(未示出)中。相关性计算单元1利用由地址生成器108顺序产生的地址，从行存储器1和行存储器2中读取像素数据。利用差分运算符来计算像素数据集之间的差，并将这些差的绝对值相加，从而计算行1的相关系数1。

在相关性计算单元1的差分运算符后面的一个时钟信号的时间延迟，相关性计算单元2的差分运算符开始操作，计算从行存储器1和行存储器2中读取的像素数据集之间的差，并将这些差的绝对值相加，从而计算行1的相关系数T。

在相关性计算单元1的差分运算符后面的两个时钟信号的时间延迟，相关性计算单元3的差分运算符开始操作，计算从行存储器1和行存储器2中读取的像素数据集之间的差，并将这些差的绝对值相加，从而计算行1的相关系数“t”。

如果相关性计算单元1到3已完成了存储在行存储器1和行存储器2中的像素数据的计算(经过18个时钟信号)，则将参照图像(18个像素)的属于行2的图像数据装载到行存储器2中。此外，将标准块的属于行2的数据装载到行存储器1中。将标准块的属于行1的数据装载到行存储器3(未示出)中。此时，可以将行存储器1中的数据作为属于行存储器3的数据来传输。

相关性计算单元1到3对行存储器1和行存储器2再次进行相同的操作，从而继续计算相关系数“1”、相关系数T和行2的相关系数“t”。相关性计算单元4到6也像相关性计算单元1到3那样，对行存储器1和行存储器3进行相同的操作，从而计算相关系数L、相关系数C和相关系数R。

如果相关性计算单元1到6已完成了上述的操作(经过18个时钟信号)，则将与标准块的行3、2和1相对应的像素数据装载到行存储器1、行存储器3和行存储器4(未示出)中。此外，将属于参照图像的与行3相对应的像素数据装载到行存储器2中。

随后，相关性计算单元1到6重复上述的操作，并同时更新在行存储器中的数据。相关性计算单元7到9也像相关性计算单元1到3那样，对行存储器4与2，重复同样的操作。

随后，同样地重复把数据存储到行存储器中以及相关性操作，直到各个相关性计算单元完成了标准块的行1到行16的相关系数的计算为止。现在，将完成了相关系数计算的搜索位置顺序地存储到经搜索位置存储器111中(也可以采用设置与位置相应的标记而不存储位置的方法)。

在此实施例中，通过使用未示出的行存储器来进行相关性操作。然而，也可以使用另一种配置，在此配置中，地址生成器直接指定输入图像存储器的行存储器的行地址和参照图像存储器的行存储器的行地址来读取像素数据，而不使用行存储器。该配置的优点与由上述配置而产生的优点相同。

通常，图1所示的相关性计算单元103以时间序列方式操作，以计算在上下左右方向上的相关系数。如果需要一个时钟信号来计算一个像素的差的绝对值，则在现有的方法中需要1024个时钟信号(16像素×16像素×4步骤)。相反的是，图6所示的相关性计算单元1到9利用本实施例的流水线处理彼此并行地操作，以使得在九个方向上计算相关系数所需要的操作周期变为324个周期((16+2)×(16+2))。

当中心的相关系数变为最小值时；即，在周围八个方向上的所有的相关系数都大于中心的相关系数时，由于这些相关性计算操作都是作为图6所示的相关性计算操作的基本操作来进行的，因此，该计算操作是通过将中心位置作为搜索结果而完成的。

如果已经完成了包括用于搜索相关性极值的输入块和周围块在内的全部九个位置的相关性操作，比较器105则从存储在最小相关系数存储器104中的最小相关系数和此时所获得的相关系数中搜索最小的相关系数。

如果已经搜索了在最小相关系数的位置周围的所有的八个方向，搜索终止确定器109则存储对完成搜索的确定及搜索的结果，从而终止后续的搜索。结果，可以继续最小相关系数的搜索。例如，即使在第N+1次搜索操作中，递减的相关系数已变成递增的相关系数，也能直接确定第N次搜索操作的结果是极值。

如果尚未完成搜索并且上下左右任何一个位置的相关系数都具有最小值，那么，计算范围确定器110则利用搜索位置设置标准1来设置搜索范围(搜索标准位置)(见图8A和8B)。

如果最小值的当前位置是中心(图8A)，搜索位置设置标准1则设置搜索范围(搜索标准位置)，以使得该位置成为下一搜索范围的一个边的中心，并包含最大数量的未搜索的搜索位置(图8A中的空白块)。此外，如果最小值的当前位置是角(图8B)，则设置搜索范围以使得该位置成为下一搜索范围的中心。尽管图8A中只示出了右搜索标准位置，但是，上、下、左、右方向上的参照位置是彼此相同的。

搜索位置设置装置设置搜索范围使得包括所有的搜索位置设置标准，从而，在完成下一搜索操作的时间点，能够确定当前的最小相关系数是否是极值。在最小相关系数的当前位置周围的八个方向上的搜索位置之中设置搜索标准位置。这样做的原因在于，能够确定当前的最小相关性位置的最小相关系数是否是下一搜索操作中的极值。

当在任何对角线的方向上取得最小值时，则设置搜索标准位置以便包纳符合图8B所示的搜索位置设置标准1的全部搜索位置以及除那些搜索过的位置以外的最大数量的未搜索的位置。这样做的原因与在上下左右的任何方向上获取最小值的情况下的原因相同；这就是说，在完成下一搜索操作的时间点，能够将当前的最小值确定为极值。此外，在搜索过的位置含于当前搜索位置中时，则可以禁止这些位置的相关性计算。

图9示出了上述的搜索操作的具体例子。图14示出了搜索过程的流程图。在图9中，利用由图6所示的相关性计算单元1到9执行的相关性计算来计算由位置11到1r指示的计算范围1中的相关系数。由比较器105来确定最小相关系数的位置。在此，假定位置1L是最小相关系数的位置。

计算范围设置单元110设置计算范围2(位置21到2r)，以便包纳搜索位置设置标准1(图9的2t，2R，2r)并最大化未搜索区域。以与搜索范围1相同的方式，对计算范围2进行相关性计算和最大相关性位置的确定。此处，假定位置21最小。

计算范围设置单元110设置计算范围3(位置31到3r)，以便包纳符合根据图8B的搜索位置设置标准1的搜索位置并进行相关性计算。下面将按照相同的方式来进行相关性计算并继续搜索，直到在周围八个方向的中心找到最小相关系数(最大相关性)的位置为止。图9的概念图示出了屏幕上参照块的尺寸。

参照图14所示的流程图来说明上述的操作。

步骤201：设置搜索开始位置，以便指定第一操作的计算范围。

步骤202：清除相关系数存储器。

步骤203：利用计算范围设置单元110来指定在标准块中的图像数据和参照块中的图像数据，这两个块都与计算范围中的搜索过的位置相对应。

步骤204：通过流水线处理计算各个搜索位置的相关系数。

步骤205：利用比较器105来确定计算范围内的最小相关系数。

步骤206：将在步骤S205中确定的最小相关系数与存储在存储器中的最小相关系数相比较，并根据需要，在步骤S207中更新存储在存储器中的最小相关系数。

步骤208：如果尚未搜索在存储器中的最小相关系数的搜索位置周围的八个像素，则回到步骤S203。

步骤209：根据在存储器中的最小相关系数和相应的位置来确定运动矢量。

(第二实施例)

在第一实施例中，搜索位置设置装置确定搜索标准位置，以便总能够通过下一搜索操作来确定极值。然而，根据此方法，利用在对角线方向位移的时间已经搜索到了四个搜索位置。因此，在快速运动对象的情况下，在完成搜索之前所经过的时间(计算操作的次数)则增加了。于是，则出现增加计算所消耗电能的问题，并在预定的时间段内不能完成运动矢量的搜索(视频帧速率)。

在上下左右的方向上，能够确定极值而不包括未搜索的位置。因此，根据第二实施例的搜索位置设置装置2使得能够仅在对角线方向上发生最大的运动，而不设置使得能够确定下一搜索参照位置的极值的区域。然而，如果进行了设置而在当前搜索标准位置和下一搜索标准位置之间又没有重叠，则可能会搜索到假(false)极值。由于这个缘故，如图8C所示，至少要提供一个重叠。

然而，即使在最小相关性的位置再次是相同位置的情况下，也不能将这个位置确定为极值。因此，如图8C所示，增加确定极值所需要的位置作为搜索位置设置标准3；设置搜索范围，以使得再次是相同位置的最小相关性位置成为该范围的中心；并计算相关系数。

随后，在下一次搜索操作之后，在搜索操作时，为了能够确定当前最小值作为极值，则进行设置以不可避免地包括图8C所示的未搜索的搜索位置设置标准2，如果已经搜索过了在搜索位置设置标准2中的位置之一，则还应该包括搜索位置设置标准3，以及最大数量的其它未搜索的位置。

图8D1到8D3示出了这个实施例。在围绕最小相关系数的当前位置的八个方向上的搜索标准位置中设置搜索标准位置。其原因在于，要确定在下一搜索操作之后，在搜索操作时，最小相关性的当前位置是否是极值。

通过设置如上所述的搜索标准位置，在确保对角线方向上的搜索速度的同时，在至少运动两次之后，能够确定当前的最小值是极值。结果，能够跟踪快速运动的对象，减少了无用的计算。因此，能够产生减少电能消耗的效果。

图10示出了本实施例中的具体的搜索例子。在第一步中，位置11最小。因此，在图10示出的第二步中，计算范围设置单元110将以位置2C为中心的范围设置为包括搜索位置设置标准2的计算范围，在此范围中存在最大数量的未搜索过的位置。

图8D1到图8D3示出了在完成搜索后直接获得计算范围(搜索范围)的操作。在此，块中的标号示意性地表明了计算过程的步骤；块中的标记“a”示意性地代表已经搜索过的搜索位置。

图8D1示出了三步完成搜索的方式，在此，黑实心块代表最大相关性。在第二步中，对在第一步中发现的最大相关性位置(黑实心块)进行相关性计算，此计算是针对包括符合搜索位置设置标准2的搜索位置的计算范围2而进行的。因此，在黑实心块呈现最大相关性时，设置计算范围3，以便包括剩余的搜索位置设置标准3。

图8D2示出了在已对块中用标记“a”代表的搜索位置进行了相关性计算的情况下，检测黑实心块中的最大相关性的方式。设置计算范围，以避免在第二步中已计算过相关系数的那些块。因此，在搜索进行到第三步时，已经计算过了全部的搜索位置设置标准2的相关系数和搜索位置设置标准3中的某一些的相关系数。设置计算范围，以便包括在第三步中的搜索位置设置标准3。

在图8D3中，已对块中用标记“a”代表的搜索位置进行了相关性计算。然而，在搜索已进入第二步时的某点上，已经计算过了搜索位置设置标准2中的某一些。因此，设置计算范围，以便包括在第二步中剩余的搜索位置设置标准2、3。

图8E是例子，在此例中，如果在第三步中在横向上设置了搜索范围，则设置计算范围，以避免出现与在第一步中已对其进行过相关性计算的那些块的重叠；这就是说，使得未搜索过的位置的数目最大化。

(第三实施例)

第一和第二实施例已经说明了搜索位置是3×3的情况；这就是说，搜索位置是9。但是，甚至可将相同的概念用到搜索位置的数目增加到超过9的情况之中。然而，在上下左右的方向上，则根据检测到最小相关系数的位置来改变设置搜索位置的位置，以便更有效地搜索极值。在3×3的搜索范围中，设置搜索位置以便只在上下左右方向中的一个方向上扩展范围。例如，在搜索位置为5×5的情况下，可以在图11A1、11A2、11B、11C、11D1、11D2所示的三个方向上，即稍许向上的方向、稍许向下的方向和右水平方向上，根据检测的最小值的位置，设置搜索范围。

图11A1和11A2与图8A相对应。相对于上下左右的方向，出现右水平位置、上水平位置以及下水平位置(未示出)的搜索位置设置标准1。图11B和11C与图8B和8C相对应，并示出了能够相应于第一和第二实施例进行操作的搜索位置设置标准1到3。具体地说，图11C示出了在最小相关系数的位置到达四个角之一时，用来设置搜索位置设置标准2和3的方法。

利用相应于第一实施例的操作，设置下一步的搜索范围，以便包括所有的未搜索过的搜索位置设置标准1和最大数量的未搜索过的搜索位置(图11A1、11A2、11B、11C、11D1、11D2中的空白块)，并由此来搜索最小相关系数的位置。

当四个角的任何一个呈现最小相关系数时，利用相应于第二实施例的操作来设置下一步的搜索范围，以便包括所有的未搜索过的搜索位置设置标准2。如果只搜索了搜索位置设置标准2中的一个，则设置下一步的搜索范围，以便包括搜索位置设置标准3和最大数量的其它未搜索过的位置，从而搜索最小相关系数的位置。

图11D1和11D2示出了在使用搜索位置设置标准2和3时运动搜索范围的方式。图11D1示出了在三步中确定最大相关性的位置(黑实心块)的方式。在第二步中，设置搜索范围以便包括所有的搜索位置设置标准2。在第三步中，已搜索了所有的搜索位置设置标准2，因此，设置搜索范围以便包括所有的搜索位置设置标准2和3。

在已对块中的由标记“a”表示的搜索位置进行了相关计算的情况下，图11D2示出了在确定最大相关性的位置之前的两个最近的步骤。在第二步中，在这两个最近的步骤之前，已搜索了某些搜索位置设置标准2。由于这个缘故，设置搜索范围以便包括所有的搜索位置设置标准2和3。

(第四实施例)

本实施例以自适应方式切换在第一实施例中所描述的搜索位置设置装置和在第二实施例中所描述的搜索位置设置装置。在开始启动搜索时，根据第二实施例来设置搜索范围。如果已经进行了搜索，则根据第一实施例来设置搜索范围。结果，能够使搜索直接进行到极值相关系数附近。从而，能够指望搜索直接收敛在极值附近。

根据相关系数可将第一实施例的方法切换到第二实施例的方法。如果假定相关系数为预定的尺寸或更大，则根据第二实施例的方法来设置搜索范围。如果假定相关系数小于预定尺寸，则根据第一实施例的方法来设置搜索范围，从而，可指望达到类似的效果。

图15到图18是流程图，它们示出了本实施例的搜索过程。图15到图17仅示出了图14中步骤3的计算范围设置。

在图15中，如果搜索操作的数目，即进行相关性计算的次数超过了预定数，则切换搜索位置设置标准。在图16中，如果当前块的相关系数的尺寸变得小于预定值，则切换搜索位置设置标准。

如果在启动搜索时，检测到与当前计算的标准块相邻的标准块的运动矢量，而不是当前计算的标准块的运动矢量，则通过使用检测结果来确定搜索开始位置，从而能够指望加速相关系数的直到极值附近的搜索。

为了控制开始搜索的位置，如图7的方框图所示，本实施例的运动矢量传感器装配有开始位置设置单元113，下面将要对此加以说明。

图18是流程图，该图说明了在能够使用相邻标准块的运动矢量的情况下，用于确定是否采用搜索开始位置的过程。在图17中，根据确定的结果来切换搜索位置设置标准。

(第五实施例)

相关性计算需要许多计算操作。例如，在对16×16像素的标准块进行相关性计算的情况下，则需要256次减或256次加。由于这个缘故，通常要进行子采样操作，例如，如图4和图13A、13B、13C、13D、13E所示，仅使用标准块中的偶数像素。

此时，根据搜索位置来改变进行子采样的位置。下面将参照图13A、13B、13C、13D、13E对此加以说明。图13A示出了对16×16像素的标准块进行子采样的方式。用灰色表示图中所用的像素。

图13B、13C和13D示出了搜索标准位置的参照块。在此，用图13B、13C和13D中的粗线框来表示图13E中所示的搜索位置“1”、T和“t”的参照块。通过比较图13B和13C能够看出，如果搜索位置偏移像素，则会改变参照块的子采样位置。虽然未示出另一搜索位置，但是可以通过使由粗线框指示的参照块向下偏移一行来达到这个位置。

在进行子采样时，不能同时进行图5所示的1、3、4、6、7和9行(而不是搜索位置T、C和B)的流水线处理和2、5和8行(搜索位置T、C和B)的流水线处理。或者，必须为行1、3、4、6、7和9的独立流水线处理和行2、5和8的独立流水线处理做好准备。

在本实施例中，准备了两个通过对参照图像子采样而形成的图像数据信道。对于除了搜索位置T、C和B以外的搜索位置的相关性计算以及搜索位置T、C和B的相关性计算，使用分离的参照块的图像存储器，从而能够进行流水线处理。

尽管未示出，但同样地增加了采样参照块的图像存储器的数量，即使是在对每两个像素或每三个像素而不是对每个像素进行子采样的情况下也是如此。例如，在对每两个像素进行子采样时，将搜索位置“t”、L和“b”分配给参照图像存储器1；将搜索位置T、C和B分配给参照图像存储器2；将其它的搜索位置分配给参照图像存储器3，从而能达到类似的效果。

图7是方框图，该图示出了根据本发明第五实施例的运动矢量传感器的配置。在图7中，对于图6所示的第一实施例的配置，根据子采样的方法，将参照图像存储器102的数量增加到“n”。

并不需要物理地划分参照图像存储器102，而只需要该参照图像存储器能够进行同时存取。例如，将较高级的单个的地址分配给参照图像存储器1，将较低级的单个的地址分配给参照图像存储器2(或者可以进而将此单个的地址划分为多个级别)。

图12是视图，该图示出了在对每个像素进行子采样的情况下，相关性计算单元1到9按照与图5A和图5B相同的方式来计算相关系数的时序。这些相关性计算单元的基本操作与图5A和图5B所示的相关性计算单元的基本操作相同。然而，分配给这些相关性计算单元的参照图像存储器是不同的。

如上所述，在本实施例中，根据子采样的方法，使用了多个参照图像存储器。因此，避免了由于子采样造成的流水线效率劣化，并且能够缩短搜索运动矢量所需要的时间，或者能扩大在预定时间内的运动矢量的搜索范围。这样，则可以搜索快速运动对象的运动矢量。

与采用现有的一次一个方法所进行的检测相比，根据本发明的用于检测运动矢量的运动矢量检测设备和方法能够加速极值的搜索。在根据预定的搜索位置设置标准来运动中心位置的同时，搜索相关性极值。因此，能够有效地进行极值搜索。在一次运动搜索范围的中心位置之后，或者，最坏的情况下，在两次运动中心位置之后，达到了能够搜索相关性极值的效果。作为由运动图像压缩编码设备使用的运动矢量检测技术或类似技术，本发明的设备和方法是很有用的。

本申请基于日本专利申请No.2004-187953，将其合并于此以供参照。

Claims (11)

1.一种运动矢量传感器，其通过块匹配方法来检测运动矢量，所述块匹配方法用于计算在标准图像的所关注的标准块和参照图像的图像块之间的相关性，该传感器包括：

多个相关性计算单元，对搜索范围内的搜索位置通过流水线方法进行并行处理，所述搜索范围通过以参照图像上的位于与标准块相同位置的图像块作为中心位置来定义；

搜索装置，根据相关性计算的结果，在按照预定搜索位置设置标准来顺序运动中心位置的同时，搜索相关性极值；

相关系数存储器，顺序存储呈现最大相关性的相关性最小值；

比较器，根据相关性计算的过程来检测呈现最大相关性的相关性最小值和搜索位置；

计算范围设置单元，根据呈现最大相关性的搜索位置来确定下一搜索范围；以及

搜索完成确定器，确定最大相关性位置的相关性最小值是否已达到相关性极值。

2.根据权利要求1的运动矢量传感器，还包括子采样图像生成器，所述子采样图像生成器通过对标准图像和参照图像进行子采样，根据搜索位置对多个信道产生图像数据。

3.根据权利要求1的运动矢量传感器，其中，预定搜索位置设置标准确定搜索范围，以便在运动中心位置一次后，能够确定相关性极值，或者在运动中心位置两次后，能够确定相关性极值。

4.根据权利要求3的运动矢量传感器，其中，如果由参照图像上的矩形来表示搜索范围，并且具有最小相关值的当前位置位于矩形的一个边的中心，那么，预定搜索位置设置标准设置搜索范围，以使得该当前位置成为下一搜索范围的一个边的中心，并使得在该下一搜索范围中包括最大数量的未搜索的搜索位置；并且，如果具有最小相关值的当前位置位于矩形的角，则预定搜索位置设置标准设置搜索范围，以使得该当前位置成为下一搜索范围的中心。

5.根据权利要求3的运动矢量传感器，其中，如果由参照图像上的矩形来表示搜索范围，并且具有最小相关值的当前位置位于矩形的一个边的中心，那么，预定搜索位置设置标准设置搜索范围，以使得该当前位置成为下一搜索范围的一个边的中心，并使得在该下一搜索范围中包括最大数量的未搜索的搜索位置；并且，如果具有最小相关值的当前位置位于矩形的角，则预定搜索位置设置标准设置搜索范围，所述搜索范围包括该当前位置并被运动以包括最大数量的未搜索的搜索位置。

6.根据权利要求5的运动矢量传感器，其中，如果具有最小相关值的当前位置位于矩形的角，并且在设置包括该当前位置并被运动以包括最大数量的未搜索的搜索位置的搜索范围之后，所达到的具有最小相关值的位置是相同位置，则预定搜索位置设置标准设置以该具有最小相关值的位置为中心的搜索范围。

7.根据权利要求3的运动矢量传感器，其中，如果相关性计算操作的次数超过了预定数，则通过更换搜索位置设置标准来设置新的搜索范围。

8.根据权利要求3的运动矢量传感器，其中，如果相关性计算操作的次数低于预定数，则通过更换搜索位置设置标准来设置新的搜索范围。

9.根据权利要求3的运动矢量传感器，其中，如果与当前标准块相邻的标准块的运动矢量的检测结果可以使用，则根据是否使用相邻标准块的运动矢量的评估，来选择搜索位置设置标准，从而设置搜索范围。

10.根据权利要求1的运动矢量传感器，其中，对所述多个相关性计算单元进行控制以禁止经搜索的搜索位置的相关性计算。

11.用于检测运动矢量的方法，包括：

指定图像帧中的参照像素的地址以及参照像素的相邻范围N；

计算在以参照像素为中心的(2N+1)^2个块和偏移该(2N+1)^2个块M(1≤M≤N)个块的块之间的相关性；

根据所计算的相关性，在按照预定搜索位置设置标准来顺序运动中心位置的同时，搜索相关性极值；

在与所得到的(2N+1)^2个块的相关性中选择呈现最大相关性的块；以及

输出所选择的块的中心像素的地址。

Images