CN1109245A - 高效的移动向量检测 - Google Patents

Abstract

一参照方块沿水平及竖直方向各分成小方块。 得到由参照方块形成的每个小方块的特征值。类似 地，得到由校验方块形成的代表小方块的特征值。将 参照方块和校验方块的水平特征值比较，且将它们的 竖直特征值比较。比较的结果包含一个评定参照和 检验方块的叠合度的等效值。在一预定的扫描范围 移动校验方块，对方块的每一位置重复该过程。参照 方块和校验方块一位置之间产生移动向量，在该位置 两个方块最佳匹配。

Description

本发明涉及在两个图像之间的移动向量的检测，更具体地讲是指移动向量的高效检测。

使用移动向量检测的系统的一个实例是根据电影画面编码专家组（MPEG）标准所提出的系统，其涉及对移动图像的高效压缩编码。在MPEG标准中，利用离散余弦变换（DCT）和具有移动补偿的预测编码对一个图像进行编码。在移动补偿过程中要使用移动向量。

图1表示根据MPEG标准提出的一种装置的实例。图像数据也称像素数据提供到输入端201，该输入端将图像数据加到移动向量检测电路202和减法电路203。

移动向量检测电路202产生一些现时帧相对于参照帧的移动向量并将这些移动向量提供给移动补偿电路204，该移动补偿电路将各移动向量与来自帧存储器205中所存储的参照帧相作用，以便产生移动补偿的图像数据。即电路204利用来自电路202的移动向量对从帧存储器205读取的参照帧进行移动补偿。电路204将已移动补偿的图像数据提供给减法电路203和加法电路206。

减法电路203的功能是从由输入端201提供的现时帧的图像数据减去参照帧的已移动补偿的图像数据以便产生差分数据，并将得到的差分数据提供到DCT电路207。

DCT电路将该差分数据变换产生系数数据，并将该系数数据提供给量化器208，量化器的功能是对系数数据进行量化并将经量化的数据提供到输出端209和逆量化器210。

逆量化器210对提供给它的经量化的数据进行逆量化以便产生被复原的系数数据并将该复原的系数数据提供到逆DCT电路211，该电路211对被复原的系数数据进行逆变换，以便产生被复原的差分数据，并将被复原的差分数据提供到加法电路206。加法电路206将参照帧的已移动补偿的图像数据与被复原的差分数据相加，以便产生该现时帧的预测图像数据，并将该预计的现时帧图像数据提供到帧存储器205，该存储器将该预计的现时帧图像数据作为下一参照帧而存储起来。

下面介绍用于产生移动向量的三种常规方法。通常选择现时帧的一部分或一方块并确定参照帧中最接近叠合的方块。对于现时帧的该方块的移动向量是介于现时帧的该方块的座标与参照帧的最接近叠合的方块的座标之间的差值。移动向量检测电路202可以使用三种常规方法中的任何一种，本文将这种方法称为：全域扫描法、多步法和内插法。全域扫描法和多步法产生的移动矢量具有的分辨力为一个像素。

下面解释产生移动向量的全域扫描法。

图2表示有现时帧221和参照帧222。现时帧221如图所示包含一个参照方块223。参照帧222如图所示包含一个校验方块224。校验方块224在一个预定的扫描范围内移动，并且对在该预定扫描范围中校验方块224的每一个位置上，检测参照方块223和校验方块224之间的叠合程度。当在某位置处相对于参照方块该校验方块具有最好的叠合度，就限定了一个叠合的方块，并且设定对该参照方块的移动向量，以便指示该叠合的方块。

图3表示利用全域扫描法获得各移动向量的常规移动向量检测装置的一个实例。现时帧的图像数据提供到输入端233，该输入端将现时帧图像数据送到现时帧存储器231。参照帧的图像数据提供到输入端234，该输入端将参照帧图像数据送到参照帧存储器232。控制器235控制现时帧存储器231和参照帧存储器232的读取。

现时帧的参照方块的像素数据从现时帧存储器231读取。参照帧的校验方块的像素数据从参照帧存储器232读取。地址移动电路236产生用于读取校验方块像素数据的地址数据，使得校验方块在预定的向量扫描范围内按一个像素接一个像素地移动。

图4表示正在预定的向量扫描范围SV之内移动的一个校验方块241。起初，该校验方块位于在扫描范围的左上角，并且得到各差值之和，如下文所介绍。然后，校验方块向右按一个像素移动，并得到各差值之和。校验方块再次向右按一个像素移动并得一个和，直到它已经到达扫描范围的最右边界。然后，校验方块定位到扫描范围的左上角，向下移动一个像素并得到一个和。校验方块向右移动一个像素并在该位置处得到一个和，直到它已到达扫描范围的最右边界。按验方块再次移动到最左边界，但是从左上角向下二个像素并得到一个和。这个程序重复进行，直到校验方块已经遍及整个扫描范围。

参照方块像素数据和校验方块素数据被提供到差分电路237，其将这些数据相减并向绝对值加法电路238提供所形成的差值。绝对值加法电路238对在参照方块中的每一个像素位置累积各差值，作为各差值的绝对值之和，并将该和提供到判别电路239。即在预定扫描范围SV中的校验方块的每一个位置处，加法电路238得到一个各差值的和。

各差值之和可以用如下方程表示：

$\mathrm{E\; =}\underset{\mathrm{i\; =\; 1}}{\overset{\mathrm{M\; X\; N}}{\mathrm{\Σ}}}\mathrm{(\; W\; i\; x\; ｜\; A\; i\; -\; B\; i\; ｜\; )\; (\; 方程}\mathrm{1\; )}$

其中（MXN）代表每个参照方块和校验方块的尺寸，Ai代表参照方块的各像素，Bi代表校验方块的各像素。Wi代表加权系数。

另一方面，代替差值的绝对值，可以在方程式1中使用差值的平方值。

判别电路239选择一个对应于各差值的最小之和的校验方块位置作为叠合的方块，计算在参照方块和叠合方块之间的移动向量并将该移动向量提供到输出端240。

因为全域扫描法的进行是通过使校验方块在预定的扫描范围内按单个像素移动，需要大量的计算，以便利用这一方法得到一个移动向量。然而，这一方法总能在预定扫描范围内找到最佳的叠合方块。

下面解释产生移动向量的多步法。

多步法的第一步的进行是以和全域扫描法一样的方式，除去校验方块按照（i）个像素移动，i＞1，而不是按照一个素以外。多步法的每一个接续的步骤以和全域扫描法一样的方式进行，具有的分辨力变得更细，扫描范围更小以及集中在由先前步骤所得到的最佳叠合方块上，直到多步法的最后一步，校验方块按照一个像素移动遍及最终的扫描范围，该扫描范围要比原来的扫描范围小。

图5表示利用多步法获得各移动向量的常规移动向量检测装置的一个实例。将现时帧的图像数据提供到输入端253，其将现时帧图像数据送到现时帧存储器251。将参照帧的图像数据提供到输入端254，其将参照帧图像数据送到参照帧存储器252。控制器255控制现时帧存储器251和参照帧存储器252的读写。

现时帧的参照方块的像素数据从现时帧存储器251读取。参照帧的校验方块的像素数据从参照帧存储器252读取。地址移动电路256A产生用于读取校验方块像素数据的地址数据，使得在预定的向量扫描范围内，在每次读取时，在第一步校验方块例如按照两个像素移动。

将参照方块像素数据和校验方块像素数据提供到差分电路257，该电路将这些数据相减并将所形成的差值加到绝对值加法电路258。绝对值加法电路258对在参照方块中的每一个像素位置，累积各差值作为各差值绝对值之和，并将该和提供给差别电路259。

差别电路259选择对应于各差值的最小之和的校验方块位置作为对该第一步的叠合方块，计算在参照方块和叠合方块之间的粗略移动向量。

然后在第二步，再次从参照帧存储器25升读取校验方块像素数据，不过读出是受地址移动电路256B控制的，使得校验方块在集中在由第一步得到的最佳叠合方块的扫描范围内按单个像素移动。判别电路259选择对应于各差值的最小之和的校验方块位置作为对该第二步的叠合方块，计算在参照方块和叠合方块之间的精细向量并将该精细向量提供给输出端260。

图6表示在预定的向量扫描范围SV之间，按照每（i）个像素（例如，两个像素）移动的校验方块261。在下一步，校验方块在围绕着从第一步所得到的最佳叠合方块的一个位置处按照每个像素移动。多步法可以使用三步或其以上。例如，在第一步，校验方块可以移动经过4个像素，第二步，校验方块移动经过两个像素，在第三步，校验方块移动经过一个像素。

多步法比全域扫描法需要较少的计算，但是不可能在预定的扫描范围内找到最佳叠合方块。特别是，当在第一步得到的粗略移动向量是错误的，就不可能得到正确的移动向量。

已经有人提出，在该第一步，将方块的尺寸（N×M）放大为（2N×2M），二次取样以便产生一个尺寸为（N×M）的方块，并且在二次取样的扫描范围内移动校验方块，以便得到粗略移动向量。然而，这种方法也不能够在原有的预定扫描范围内找到最佳移动向量。

下面介绍产生移动向量的内插法。

以和全域扫描法一样的方式进行内插法，除去参照帧的各像素是内插的以及校验方块按照内插的分辨力移动。例如，内插的像素可以在参照帧的扫描范围内的每对像素之间得到，以及校验方块可以按照一半原有像素分辨力移动（内插的分辨力的一个像素）。

图7表示这样一种常规移动向量检测装置的一个实施，该装置利用内插法得到的移动向量其精度优于一个像素。现时帧的图像数据提供到输入端273，其将现时帧图像数据送到现时帧存储器271。参照帧的图像数据提供到输入端274，其将参照帧图像数据送到参照帧存储器272。控制器275控制现时帧存储器271和参照帧272存储器的读写。

现时帧的参照方块的像素数据由现时帧存储器271读取。

从参照帧存储器272读取的数据加到内插电路281，该电路对相邻的读出像素也称为原有像素实行内插，以便在原有像素之间形成内插的像素。读出的和内插的像素数据形成校验方块的像素数据。

图8表示从存储器272所读取的像素数据用涂满的圆圈（●）表示。由两个原有的像素形成的内插数据用“×”（×）表示。由四个原有数据形成的内插数据用空的圆圈（○）表示。例如，内插的像素数据H_-1/2.0由下式得到：

H_-1/2.0＝（D_-1，0+D_o，o）/2 （方程2）

内插的像素数据H_-1/2′-1/2由下式得到：

H_-1/2，-1/2＝（D_-1，-1+D_o，-1+D_0，0+D_-1，0）/4（方程3）

将参照方块像素数据和校验方块像素数据提供到差分电路277，该电路将这些数据相减并将所形成的差值提供到绝对值求和电路278。绝对值加法电路278累积各差值作为对于在参照方块中的每个像素位置上的各差值的绝对值之和，并将该和提供到判别电路279。

判别电路279选择一个对应于各差值的最小之和的校验方块位置作为叠合的方块，计算在参照方块和叠合方块之间的移动向量，并将该移动向量提供到输出280。因为校验方块包含在各参照帧像素之间的半程内插像素，移动向量具有的精度为半个像素，即分辨力优于一个像素。

内插法产生的移动向量的分辨力高于全域扫描法，但是比全域扫描法需要更多的计算。

在上述的检测移动向量的各方法中，所需的计算量都是很大的。因此，应用这些方法中的任何一种方法的装置都需要大量的硬件、占用长的时间来运作以及建造费用大。

已经有人提出一种装置，在该装置中，沿两个方块的水平方向和竖直方向的伸展是独立进行的，移动向量的检测沿水平和竖直方向是独立进行的。然而，沿水平方向的伸展和沿竖直方向的伸展独立地应用在这个所提方法中，它的移动向量检测精度不佳。

因此，本发明的一个目的是提供一种用于检测移动向量的方法和装置，它们避免了上述先有技术的缺点。

本发明的另一个目的是更有效的检测移动向量，同时没有降低检测精度。

本发明的再一个目的是利用简化的电路装置检测移动向量。

本发明的再一个目的是减少进行检测向量所需的计算量。

根据本发明的一个方面，用于检测移动向量的方法和装置存储和读出具有第一尺寸的参照方块并且所读出的参照方块分成第一组小方块。具有至少像第一尺寸一样大的第二尺寸的扫描范围被存储，所存储的扫描范围的一部分响应于一个控制信号而被读出作为具有第一尺寸的校验方块，该控制信号指示所存储的扫描范围的各不同的部分。读出的校验方块分成第二组小方块，它们和第一组小方块相比较，以便确定从扫描范围读出的哪一个校验方块最佳叠合参照方块，并在产生参照方块和最佳叠合的校验方块之间移动向量。

第一和第二组小方块至少沿两个方向形成。沿第一方向由读出的参照方块所分成的小方块与沿第一方向由读出的校验方块所分成的小方块进行比较。沿第二方向由读出的参照方块所分成的小方块与沿第二方向由读出的校验方块所分成的小方块进行比较。

对于在第一组和第二组小方块中的每一个小方块产生至少一个特征值。将第一组和第二组小方块的各特征值进行比较。

当第一组和第二组小方块沿至少两个方向形成时，以及对于沿第一和第二方向中的每一个方向形成的每一个小方块至少产生一个特征值时，那么，将沿第一方向由读出的参照方块所分成的小方块与沿第一方向由读出的校验方块所分成的小方块相比较，将沿第二方向由读出的参照方块分成的小方块与沿第二方向由读出的校验方块分成的小方块相比较。

因此，在检测移动向量过程中使用的计算量可以减少，同时基本上没有降低移动向量的检测精度。

在根据本发明的多步法中，扫描范围的各粗略部分分别相差至少两个像素，并且根据由扫描范围的各粗略部分读出的各校验方块产生一个粗略移动向量。扫描范围的次分组的各粗细部分分别相差一个像素，并且根据由扫描范围的次分组的各粗细部分读出的各校验方块产生一个精细移动向量。

在根据本发明的内插法中，对由存储的扫描范围读出的像素进行内插以便产生内插的像素，扫描范围被分成第二组小方块，使得移动向量具有的分辨力优于一个像素。

根据本发明的另一个方面，用于检测移动向量的方法和装置存储和读出具有第一尺寸的参照方块，并产生至少一个表示读出的参照方块的第一特征值。具有至少与第一尺寸一样大的第二尺寸的扫描范围被存储起来，并且响应于一个控制信号读出存储的扫描范围的一部分作为具有第一尺寸的校验方块，该控制信号指示所存储的扫描范围的各不同部分。产生至少一个代表读出的校验方块的第二特征值，并与至少一个第一特征值比较，以便判定哪一个由扫描范围读出的校验方块最叠合该参照方块，以及在参照方块和最佳叠合校验方块之间产生一个移动向量。

根据本发明的再一个方面，用于检测移动向量的方法和装置存储和读出第一和第二参照方块，并分别产生代表读出的第一和第二参照方块的至少一个第一特征值和至少一个第二特征值。存储第一和第二扫描范围，读出第一和第二扫描范围其中之一的一部分，以及产生至少一个代表各扫描范围的读出部分的第三特征值。至少一个第一和第三特征值相比较，产生一个作为该比较结果函数的第一移动向量。至少一个第二和第三特征值相比较，产生一个作为该比较结果函数的第二移动向量。

当结合附图阅读对本发明的各优选实施例的如下详细介绍时本发明的上述目的和其它目的、特征和优点将变得很明显，在各附图中各对应部分用相同的参考数码来标识。

图1是采用移动补偿的常规预测编码装置的方块图;

图2是表示在图1所示装置所采用的参照帧、现时帧、校验方块和参照方块之间的相互关系的示意图;

图3是利用常规全域扫描法的移动向量检测装置的方块图;

图4是-示意图，作为参考解释图3中所示装置;

图5是利用常规多步法的移动向量检测装置的方块图;

图6是-示意图，作为参考解释图5中所示的装置;

图7是用于高精度地检测移动矢量的、利用常规内插法的移动向量检测装置的方块图;

图8是介绍内插像素的示意图;

图9是根据本发明的移动向量检测装置的方块图;

图10是表示在图9所示装置所采用的参照帧、现时帧、校验方块、参照方块之间相互关系的示意图;

图11A和11B是表示一个参照方块的、分别沿水平和竖直方向的小方块的示意图;

图12A和12B是表示一个校验方块的、分别沿水平和竖直方向的小方块的示意图;

图13A和13B是介绍一个方块和它细分为小方块的网格的示意图;

图14是根据本发明的另一种移动向量检测装置的方块图;

图15是介绍沿竖直和水平方向将参照方块细分为小方块的示意图;

图16是介绍沿竖直和水平方向将校验方块细分为小方块的示意图;

图17是根据本发明的用于一个参照方块的特征提取电路的方块图;

图18是根据本发明的用于校验方块的特征提取电路的方块图;

图19是介绍校验方块移动的示意图;

图20是根据本发明的另外一种移动向量检测装置的方块图;

图21是介绍对于一系列的参照方块的预定向量扫描范围的方块图;

图22A和22B是示意图，作为参考解释图20所示装置的工作;

图23A和23B是介绍沿两个倾斜方向将一个方块细分为各小方块的示意图;

图24是根据本发明的另一种移动向量检测装置的方块图;

图25A至25C是示意图，介绍沿水平方向将一个方块细分为小方块以及根据本发明的多步法，将小方块细分为更小的方块;

图26A至26C是示意图，介绍沿竖直方向将一个方块细分为小方块以及根据本发明的多步法，将小方块细分为更小的方块;

图27A至27C表示用于获得根据本发明的移动向量的多步法的第一步;

图28A至28C表示用于获得根据本发明的移动向量的多步法的第二步;

图29是根据本发明的再一种移动向量检测装置的方块图;以及

图30是根据本发明的再一种移动向量检测装置的方块图。

根据本发明，为了高效地检测移动向量，图像的每一个方块被分成更小的方块并获得一个代表每一个小方块的特征值。因为将参照方块的小方块的特征值与一个校验方块的小方块的特征值相比较，与上述的用于检测移动向量的常规方法比较所需的计算较少，该常规方法即全域扫描法。多步和内插法。即因为一个特征值代表在一小方块中的所有像素，因此，对于各参照和校验方块的小方块的各特征值进行比较所需的计算要少于对各参照和校验方块的每一个像素进行比较所需的计算。

因为特征值代表一个小方块，例如可以利用：通过将在小方块中的所有像素进行求和或平均所得到的数值、在小方块中的各像素的最小值和最大值、一个或多个利用哈达马变换、DCT变换或在小方块中的各像素进行子波变换所得到的系数、由哈达马变换、DCT变换或对在小方块中的各像素进行子波变换所得到的系数的最大值和最小值，或者其它一个或多个代表性的数值。

下面参阅各附图特别是图9，介绍根据本发明的移动向量检测装置。图9所示的装置适合于存储现时帧和校验帧，以便从现时帧得到一个参照方块和从参照帧得到一个校验方块。以及在参照帧的一个预定扫描范围内部改变校验方块的位置。图9所示装置还适合于将每一个参照和校验方块分成各小方块，以便得到每个小方块的特征值并且将参照方块和校验方块的小方块的特征值进行比较。这样的一个校验方块位置选择作为叠合方块的位置，该位置对应于在校验方块的小方块的特征值和参照方块的小方块的特征值之间所得到最佳匹配，并且得到在参照方块和叠合方块之间一个移动向量。

图9所示装置包含：输入端2、4，现时帧存储器1、参照帧存储器3、控制器5、小方块形成电路6、7、特征提取电路8A、8B、9A、9B、比较和绝对值加法电路10A、10B、加权加法电路11、判别电路12和地址移动电路14。

图9所示装置为了得到移动向量采用由本发明加以变更的全域扫描法。

将现时帧的图像数据提供到输入端2，再由端2送到现时帧存储器1，它的功能是存储该现时帧。将参照帧的图像数据提供到输入端4，再由端4送到参照帧存储器3，它的功能是存储该参照帧。控制器5控制现时帧和参照帧存储器1、3的读、写。

现时帧存储器1还具有的功能是按一参照方块为（N×M）个像素，例如（16×16）个像素输出现时帧的图像数据，并将该参照方块送到小方块形成电路6。

参照帧存储器3还具有的功能是按一校验方块为（N×M）个像素输出参照帧的图像数据，并将校验方块送到小方块形成电路7。地址移动电路14是可控制的，以便改变作用于参照帧存储器3的读出地址，以便在预定的向量扫描范围内按每个像素移动校验方块的位置。

小方块形成电路6适合于将参照方块细分为多个小方块。例如，电路6可以沿水平方向将参照方块分成M个小方块，以及沿竖直方向也可以将参照方块的对照物细分成N个小方块。电路6还适合于将沿水平方向被分成M个小方块的参照方块提供到特征提取电路8A，以及将沿竖直方向被分成N个小方块的参照方块提供到特征提取电路8B。

与之相似，小方块形成电路7适合于将校验方块分成多个小方块，以及将沿水平方向被分成M个小方块的校验方块提供到特征提取电路9A此外将沿竖直方向被分成N个小方块的校验方块提供到特征提取电路9B。

特征提取电路8A、9A中的每一个都是可控制的，以便对于提供到其上的每一个小方块得到一个或多个特征值，并将各特征值输出到比较和绝对值加法电路10。与之相似，特征提取电路8B、9B是可控制的，以便得到各特征值并该特征值输出到比较和绝对值加法电路10B。

因为特征值代表小方块，例如可以采用：通过对在小方块中的所有像素进行加法或平均所得到的数值、在小方块各像素中的最小值和最大值、利用哈达马变换、DCT变换或对在小方块中的各像素进行子波变换所得到的一个或多个系数、利用哈达马变换、DCT变换或对在小方块中的各像素进行子波变换所得到的系数的最大值和最小值，或者其它一个或一些有代表性的数值。

特征值提取电路8A、8B、9A、9B可以包含一些低通滤过器。

比较和加法电路10A的功能是得到一些差值的绝对值之和，这些差值为介于沿水平方向通过细分参照方块所形成的小方块的特征值与沿水平方向通过细分校验方块所形成的小块的特征值之间的差值，并且将这一沿水平方向之和提供到加权加法电路11。

比较和绝对值加法电路10B的功能是得到一些差值的绝对值之和，该差值为介于沿竖直方向通过细分参照方块所形成的各小方块的特征值与沿竖直方向通过细分校验方块所形成的各小方块的特征值之间的差值，并将这一沿竖直方向的和提供到加权加法电路11上。

代替得到各差值的绝对值之和，利用电路10A、10B中的每一个可以得到各差值的平方和。

加权加法电路11适合于水平方向之和与竖直方向之和相加，并且对综合的水平方向与竖直方向之和进行加权计算得到一个等效值，将该等效值提供给判别电路12。例如，水平方向差值之和乘以系数Wh可被加权，竖直方向差值之和乘以系数Wv可被加权，Wh+Wv＝1。对于静止图像最好选择Wh＝Wv＝0.5。对于主要沿水平方向移动的移动图像，相互关系应当是Wn＞Wv，例如Wn＝0.7、Wv＝0.3。例如对每帧图像加权系数Wh、Wv可以利用加权确定电路（未表示）自适应选择。

校验方块在预定的向量扫描范围内按逐个像素移动，如上面对于常规的全域扫描法所解释的那样。在校验方块的每次重新定位时，判别电路12的功能是将在预定扫描范围内部的校验方块的各位置的等效值进行比较。判别电路12确定对应于最小的等效值的校验方块的位置，产生一个介于参照方块与对应于最小等效值的校验方块位置之间的移动向量，并将该移动向量提供到输出端13。

图10表示具有参照方块15的现时帧17和具有校验方块16的参照帧18。下面介绍在参照方块15和校验方块16之间的叠合度的检测方法。

图11A表示沿水平方向细分的参照方块15，借此形成小方块HA₁、HA₂、HA₃…得到对于小方块HA₁、HA₂、HA₃…的特征值ha₁、ha₂、ha₃…。图11B表示沿竖直方向细分的参照方块15，借此形成小方块VA₁、VA₂、VA₃…得到对于小方块VA₁、VA₂、VA₃…的特征值Va₁、Va₂、Va₃…。图11A和11B所示的分割称为按水平方向和竖直方向的双方向分布。

与之相似，图12A和12B表示沿水平方向细分的校验方块16，以便形成小方块HB₁、HB₂、HB₃…，分别得到与各小方块对应的特征值h_b1、h_b2、h_b3…，以及沿竖直方向细分的校验方块16，以便形成小方块V_B1、V_B2、V_B3…，分别得到与各小方块对应的特征值V_b1、V_b2、V_b3…。

图9所示的比较电路10A将参照方块15的各特征值h_a1、h_a2、h_a3…与校验方块16的各特征值h_b1、h_b2、h_b3…进行比较，以便确定参照方块15和校验方块16的叠合程度。图9所示的比较电路10B将参照方块15的各特征值V_a1、V_a2、V_a3…与校验方块16的各特征值V_b1、V_b2、V_b3…进行比较，以便确定参照方块15与校验方块16的叠合程度。

根据本发明将代表参照和校验方块的各特征值相比较所需要的计算量与根据常规的全域扫描法将参照和校验方块的各像素相比较所需要的计算量相比要小。因此，本发明减少了为了检测移动向量所需的计算。

如上所述，当由每一个参照和校验方块形成各小方块时，移动向量的检测精度基本上与在常规的全域扫描法中的移动向量的精度基本相同。

下面介绍利用一维哈达马变换实现特征提取的情况。

一个小方块的各像素可以进行哈达马变换，以便得到一系列的哈达马常数。假设通过将一数列分成（n）份所得到的一维数列的每一项被设定为2^m（m＝1、2、3…），

Ai（2^m）＝（A_i1，A_i2，…A_i2m）

在这种情况下，2^m×2^m的哈达马数列表示如下。

当采用上述方程，对Ai进行哈达马变换时，得到如下方程：

ai（2^m）＝H（2^m，2^m）×Ai（2^m） （方程5A）

ai（2^m）＝（ai₁，ai₂，…ai_2m） （方程5B）

通过从ai₁到ai_2m当中提取一项或多项，完成特征提取。

当项Ai不等于2^m时，以相似方式按照下文能够进行特征提取。当假设各项数目等于（m′）时，形成（n×m′）的变换数列H（m′，n），其中所有的项都等于1或-1。利用如下数列变换Ai，

ai（m′）＝H（m′，n）×Ai（m′）    （方程6A）

ai（m′）＝（ai₁，ai₂，…，a_im） （方程6B）

在这种情况下，通过从ai₁到a_im中提取一项或多项实现特征提取。

在上述本发明的实施例中，沿两个方向即水平方向和竖直方向对每一个参照方块和校验方块分成各小方块。另一方面，能够将每一个参照方块和校验方块细分成小方格的网格（即棋盘或格栅）。图13A表示一个未分割的方块，即是一个参照方块或是校验方块。图13B表示将图13A所示的方格被分割成小方块的网格。对于每一个参照方块和校验方块，对网络中的每一个小方格得到一个特征值。对与参照方块和校验方块的各小方块相对应的各特征值进行比较。对于网格分布的小方块所需的计算量要比对于包含逐个像素比较的常规全域扫描法所需要的计算量要小。然而对于网格分布的小方格所需的计算量比如图11A、11B、12A和12B所示的沿两个方向的小方块所需的计算量要大。

例如，当移动向量的检测是利用将在水平方向包含（A）个像素及沿竖直方向为（B）个像素的如图13B所示的一个方块，分割为在每一维具有（i）个像素的小方块的网格时，所形成的小方块的总数等于（A/i）×（B/i）。假如图13A所示的方块代之以沿两个方向细分成小方块。如图11A、11B或12A、12B所示，所形成的小方块的总数等于（A/i）+（B/i）。因为沿两个方向分布如图11A、11B或12A、12B所示所形成的小方块数要小于以网格分布如图13B所示所形成的小方块数，两个方向分布比网格分布需要较少的计算，而产生的移动向量具有基本相同的精度。

图14表示根据本发明的移动向量检测装置的另一个实施例，其中通过对各像素累积得到校验方块的小方块的特征值。

将现时帧的图像数据提供到输入端23，其再将该图像数据送到现时帧存储器21，该存储器的功能是存储该现时帧。参照帧的图像数据提供到输入端24，其将该图像数据送到参照帧存储器22，该存储器的功能是存储该参照帧。控制器26控制现时帧存储器21和参照帧存储器22的读写。

现时帧存储器21还具有的功能是按一参照方块为（N×M）个像素，例如（16×16）个像素输出现时帧的图像数据，并将该参照方块提供到多路信号分配器27。

参照帧存储器22还具有的功能是按一校验方块为（N×M）个像素输出参照帧的图像数据，并将该校验方块提供到多路信号分配器29。地址移动电路25是可控制的，以便改变加到参照帧存储器22上的读出地址，使得在预定的向量扫描范围内按逐个像素移动校验方块的位置。

多路信号分配器27、29适合于将分别提供到其上的参照方块和校验方块沿两个方向细分成多个小方块。沿水平方向细分的小方块提供到特征提取电路28A、30A。沿竖直方向细分的小方块提供到特征提取电路28B、30B。

特征提取电路28A、30A中的每一个是可控制的，以便将提供到其上的每一个小方块得到一个或多个特征值，并将该特征值输出到减法电路31A。与之相似，特征提取电路28B、30B是可控制的，以便得到各特征值并将该特征值输出到减法电路31B。

具体地说，特征电路28A、28B和30A、30B根据如下方程，从由各方块A（n、n），B（n、n），n＝1-16所分成的各小方块的像素得到特征值h_an、v_an、h_bn和v_bn，n＝1-16，

$h_{\mathrm{a\; n}}=\underset{\mathrm{i\; =\; 1}}{\overset{\mathrm{16}}{\mathrm{\Σ}}}\mathrm{A\; (\; n\; .\; i\; )\; （方程7A\; ）}$

$V_{\mathrm{a\; n}}=\underset{\mathrm{i\; =\; 1}}{\overset{\mathrm{16}}{\mathrm{\Σ}}}\mathrm{A\; (\; i\; .\; n\; )\; （方程7B\; ）}$

$h_{\mathrm{b\; n}}=\underset{\mathrm{i\; =\; 1}}{\overset{\mathrm{16}}{\mathrm{\Σ}}}\mathrm{B\; (\; n\; .\; i\; )\; （方程7C\; ）}$

$V_{\mathrm{b\; n}}=\underset{\mathrm{i\; =\; 1}}{\overset{\mathrm{16}}{\mathrm{\Σ}}}\mathrm{B\; (\; i\; .\; n\; )\; （方程7D\; ）}$

图17表示适用于特征提取电路28A、28B的电路结构。参照方块的各小方块的像素提供到输入端38，其再将各像素提供到加法器37的输入端37。加法器37的输出加到加法器37的另一个输入端。加法器37的功能是对沿一个方向的各小方块的像素求和，以便得到小方块的特征值并将该特征值提供到输出端39。

图18表示适用于在提取电路30A、30B的电路结构，当校验方块在预定的向量扫描范围内移动时，该电路减少计算量，它包含加法电路41、锁存电路42、减法电路43和选择器44。

图19表示如实线所示的小方块的现时位置。这个小方块的现时位置（C、P）的特征值hb^cp ₁

hb^CP ₁＝B（1.1）+B（1.2）+B（1.3）+…+B（1.16） （方程8A）

这个小方块的下一个位置，即向右移动一个像素，用间断线表示。这个小方块的下一个位置（n.p）的特征值hb^np ₁是：

hb^n.p ₁＝B（1，2）+B（1，3）+B（1.4）+…+B（1.17） （方程8B）

通过比较方程8A和8B，将会理解，它们的相互关系如下：

hb^n.p ₁＝hb^c.p. ₁-B（1.1）+B（1.17） （方程8C）

根据方程8B计算hb^n.p ₁比根据方程8C计算hb^n.p ₁需要更多的计算。因此，通过根据方块8C构成特征电路30A、30B，当校验方块在预定的向量扫描范围内移动时，计算量被降低。

校验方块的各小方块的像素提供到图18所示的输入端45，其再将各像素送到加法器41的输入端和锁存电路42。选择器44的输出加到加法器41的另一个输入端。加法器41的功能是将新提供的像素加到选择器44的输出上，并将其结果提供到减法器43和选择器44。锁存电路42的功能是存储多个像素以及对所存储的像素的其中之一作为输出送到减法器43。减法器43的功能是从由加法器41所接收的结果减去由锁存电路42接收的像素，并将因此而得到的数值送到输出端46和选择器44。

起始，对接验方块的第一个位置，选择器44的功能是选择加法器41的输出并提供加法器41的输出作为它自己的输出。锁存电路42将各像素存储在它的存储位置并在校验方块的第一个位置产生一个零值输出。因此，加法器41对校验方块的第一个位置的沿水平方向或竖直方向的各小方块的像素求和。在校验方块的下一个位置，当从输入端45接收像素B（1.17）时，加法器41产生结果值hb^c.p ₁+B（1.17）。锁存电路42将它的最久的数值，例如B（1.1）提供到减法器43，减法器利用已锁存的数值产生一个输出值即hb^c.p ₁+B（1.17）-B（1.1）。现在选择器44的功能是选择减法器43的输出，使得利用较少的计算就能得到对重新定位的校验方块的特征值。

图14所示的减法电路31A的功能是从参照方块沿参照方块的水平方向的小方块的特征值减去校验方块沿校验方块的水平方向的小方块的特征值h_an-h_bn值n＝1-16，并且将该结果提供到绝对值电路32A。与之相似减法电路31B的功能是从参照方块沿竖直方向的小方块的特征值减去校验方块沿竖直方向的小方块的特征值Van-Vbn.n＝1-16，并将该结果提供到绝对值电路32B。

绝对值电路32A、32B是可控制的。以便分别得到提供到其上的相减结果的绝对值，｜han-hbn｜，｜Van-Vbn｜，n＝1-16，并且将该绝对值分别提供到加法电路33A、33B。

加法电路33A、33B适合于分别将提供到其上的各差值的绝对值求和，Σ｜h_an-h_bn｜，Σ｜Van-Vbn｜，n＝1-16，并将水平方向和竖直方向的差值的和提供到加权加法电路34。

加权加法电路34是可控制的，以便对各差之和进行加权运算将它们加在一起，产生一个结果（Wh.Σ｜h_an-h_bn｜）+（Wv.Σ｜Van-Vbn1），并将该结果提供到比较和判别电路35。

比较和判别电路35的功能是对在预定的向量扫描范围内某一位置的校验方块作为叠合的方块，在该位置使由加权加法电路34接收的结果值降至最小，以便确定介于参照方块和叠合方块之间的移动向量，并将该移动向量提供到输出端36。

图20表示本发明的移动向量检测装置的再一个实施例，其中在检测先前的移动向量的过程中所得到的特征值在检测现时的移动向量过程中被重新使用。图20中的装置表示一个简化的硬件设计。

下面参照图21解释在图20中所示实施便的机能，图21示有向量扫描范围A₁、B₁、A₂、B₂、A₃、B₃和参照方块C₁、D₁、C₂、D₂、C₃、D₃。

对在图21中所示的参照方块C₁，预定的向量扫描范围包含范围A₁、B₁。当对于参照方块C₁的移动向量被检测时，需要在参照方块C₁中的各小方块的特征值以及需要在向量扫描范围A₁和B₁中的各小方块的特征值。

对于图21所示的下一个参照方块D₁，预定的向量扫描范围包含范围B₁、A₂。当对参照方块D₁要检测移动向量时，需要在参照方块D₁中的各小方块的特征值以及需要在向量扫描范围B₁和A₂中的各小方块的特征值。因为先前在对参照方块C₁的移动向量的检测过程中已得到在向量扫描范围B₁中的各小方块的特征值，当对参照方块D₁进行检测移动向量时，重新利用这些特征值是高效的。

与之相似，在对参照方块C₂检测移动向量时，重新利用对于向量扫描范围A₂的特征值是高效的，这些特征值是先前在检测参照方块D₁的移动向量的过程中所得到的。

一般而言，由先前的向量扫描范围得到的一半的特征值对现时的向量扫描范围可以被重新利用。

下面将仅对水平方向解释图20所示的实施例。本技术领域的一般熟练人员将很容易理解沿竖直方向的工作情况。

参照帧的图像数据（像素）提供到输入端53。其再将该参照帧像素提供到扫描范围存储器51、52，其中每一个都适合于存储一半的预定向量扫描范围，并分别将存储在其中的数据例如沿水平方向的小方块提供到选择器54。选择器54适合于选择提供到其上的向量扫描范围中的小方块，并将所选择的小方块加到加法电路55和锁存电路56。

图20中所示的加法器55、锁存电路56、减法器57和选择器58的功能一般地说，与图18所示的对应元件相同，是为了得到该一半预定扫描范围的、沿水平方向的小方块的特征值。

选择器59适合于从减法器57提供特征值到特征值存储器60、61，它们中的每一个都适合于存储对于一半的预定向量扫描范围的特征值，并将存储在其中的数值提供到选择器62。选择器62是可控制的，以便将加到其上的特征值提供到减法电路63、64。

现时帧的图像数据（像素）提供到输入端73，其再将现时帧的参照方块数据提供到参照方块存储器71、72，它们中的每一个都适合于存储该参照方块，并将所存储的参照方块分别提供到加法电路74、75。

加法器74还接收其自身的输出，其功能是对该参照方块沿水平方向的各小方块的像素累加，借此得到存储在参照方块存储器71的参照方块沿水平方向的各小方块的特征值。加法器74将该特征值提供到减法器63。

减法器63是可控制的，其从参照方块的各小方块的特征值减去校验方块的各小方块的特征值，并将所形成的差值提供到绝对值电路76，该电路76适合于产生各特征值之间差值的绝对值，并且将差值的绝对值提供到加法器77。

加法器77还接收它自身的输出，其功能是对参照和校验方块的沿水平方向各小方块的特征值之间差值的绝对值求和并将其和提供到输出端78。

加法器75、减法器64、绝对值电路79和加法器80的功能分别与加法器74、减法器63、绝对值电路76和加法器77相同。加法器77将它的和送到输出端81。

从下面解释将会理解，减法器63、绝对值电路76和加法器77将第一参照方块的特征值与在特定扫描范围中的特征值相比较，而减法器64、绝对值电路79和加法器80将第二参照方块的特征值与在相同特定扫描范围中的特征值相比较。因此，对特定扫描范围的特征值仅计算一次，并在两个分离的参照方块的移动向量的检测过程中使用。

下面参阅图22A和22B解释图20所示实施例的工作。图20A表示各存储器51、52、71、72的占位，图22B表示对其特征值进行比较的各方块。

在时间T₁期间，如图22A所示，在扫描范围A₁中的数据被读出送入扫描范围存储器51，参照方块C₁的数据被读出送入参照方块存储器71，加法器55得到在向量扫描范围A₁中的特征值，该特征值是存储在特征值存储器60的。加法器74得到存储在参照方块存储器71中的参照方块C₁的数据产生的特征值。

如图22B所示，在时间T₂期间，减法器63、绝对值电路76和加法器77将参考方块C₁的特征值与扫描范围A₁中的特征值相比较。此外，如图22A所示，在时间T₂期间，在向量扫描范围B₁中的数据被读出送到扫描范围存储器52，在下一个参照方块D₁中的数据被读出送到参照方块存储器72、以及加法器55得到在向量扫描范围B₁中的特征值，该特征值是存储在特征值在存储器61中的。加法器75得到由存储在参照方块存储器73中的参照方块D₁的数据形成的特征值。

如图22B所示，在时间T₃期间，减法器63、绝对值电路76和加法器77将参照方块C₁的特征值与在扫描范围B₁中的特征值相比较。因此，还如图21中所示的，将参照方块C₁与包含A₁、B₁的扫描范围相比较并得到对于参照方块C₁的、在扫描范围A₁和B₁中的移动向量。在时间T₃的终点，输出参照方块C₁的移动向量。

此外，如图22B所示，在时间T₃期间，减法器64、绝对值电路79和加法器80将参照方块D₁的特征与在扫描范围B₁中的特征值相比较。因此，在时间T₃期间，如图22A所示，在向量扫描范围A₂中的数据被读出送到扫描范围存储器51，在下一个参照方块C₂中的数据被读出送入参照方块存储器71，加法器55和减法器57得到在向量扫描范围A₂中的特征值，该特征值是存储在特征值存储器60中的。加法器74得到在参照方块存储器71中存储的参照方块C₂的数据所形成的特征值。

以与上述相似的方式，得到对于各参照方块D₁、C₂、D₂、C₃、D₃…的移动向量。

如上所述，用于形成各小方块的两个方向可以是水平方向和竖直方向。另一方面，用于形成各小方块的两个方向可以是两个其它的基本相垂直的方向，例如如图23A所示的朝前倾斜的方向和如图23B所示的相反倾斜的方向。图23A和23B所示的倾斜方向相对于水平轴线分别成45°和135°角。

当用于细分一个方块的两个方向是水平方向和竖直方向时，在图像中的水平和竖直线可以很容易地由对于各小方块的特征值被辨别，但是有时不可能由特征值辨别彼此互相垂直的对角线。与之相似，当如图23A、23B所示，用于细分一个方块的两个方向是倾斜的方向时，由各小方块的特征值可以很容易的辨别对角线，但是有时由该特征值来辨别水平线和竖直线是困难的。因此，将会理解，沿多个两个方向细分方块，例如水平方向、竖直方向，向前倾斜方向和相反倾斜方向，提高了移动检测的精度。

下面讨论为产生移动向量本发明对多步法的应用。对于多步法，要产生特征值，使得能够得到在按步扫描的间隔中所须有的精度。

图24表示本发明的移动向量检测装置的再一个实施例，其利用由本发明的改进的多步法来得到移动向量。

下面参阅图25-28介绍根据本发明的用于得到移动向量的多步法。

图25A和26A表示一个方块，其可以是包含（A×B）个像素的参照方块或校验方块。

本发明的多步法的第一步包含将一方块沿水平方向和竖直方向也称为水平线度和竖直线度细分成小方块。图25B表示将图25A所示的方块沿水平方向被细分为（A/（ix））个小方块，每个面积含（ix）×（B）个像素。图26B表示将图26A所示的方块沿竖直方向细分为（B/（iy））个小方块，每个面积含（A）×（iy）个像素。经过一个空间滤过器，从通过按照扫描间隔ix细分所得到的小方块撮（A/ix+B/iy）个叠合的小方块。因此，能够得到在该步骤中所要求的扫描间隔中的所需精度。

根据本发明的多步法的下一步是将前一步期间所形成的小方块进一步细分为更小的方块。图25C表示将图25B所示的小方块沿水平方向细分为（b）个更小的方块，1≤b＜B/iy，产生总数为（A/（ix））×（b）个更小的方块，每个更小的方块的面积包含（A/（ix）×（B/b）个像素。图26C表示将图26B的每一个小方块沿竖直方向细分为（a）个更小的方块，1≤a＜A/ix，产生总数为（B/（iy）×（a）个更小的方块，每个更小的方块面积有（B/（iy））×（A/a）个像素。在该下一步，得到在图25C和26C中所示的每个更小的方块的特征值，借此，提高了对移动向量的检测精度。

当沿某一线度的分割段数设定为（k）时，（k）是在满足如下方程的某一范围的一个数值，相对于检测移动向量的常规多步法的硬件规模，根据本发明的装置的硬件规模可以降低。

k＝（（A/ix）×b）+（（B/iy）×a））＜A×B/iy.iy    （方程9）

图27和28表示根据本发明的用于检测移动向量的多步法的工作实例。

如图27A和28A所示，参照方块和检验方块的尺寸设定为（16×16）个像素，向量扫描范围设定为（（+15）像素×（-16）像素）。

在第一步，扫描间隔ix设定为2个像素。如图27B和27C所，该（16×6）方块沿竖直方向按每两个像素细分成小方块，沿水平方向按每两个像素也细分成小方块。因此，该方块沿水平方向被细分成16/2个小方块，沿竖直方向也被分成16/2个小方块。为了增加检测精度，沿水平方向和竖直方向的八个小方块的每一个被细分为2个更小的方块。因此，沿每一个方向形成总数为16/2×2更小的方块，即形成总数为2×（16/2×2）＝32更小的方块。对每个更小的方块得到一个特征值。通过因此得到的32个特征值，产生精度为2个像素的移动向量。

在第二步，扫描间隔ix设定为一个像素。如图28B和28C所示，该（16×16）方块沿竖直方向按每个像素细分为小方块，沿水平方向按每个像素细分为小方块。因此，该方块沿水平方向细分为16/1个小方块，沿竖直方向也细分为16/1个小方块。为了提高检测精度，沿水平方向和竖直方向的16个小方块中的每一个被细分为4个更小的方块。因此，沿水平方向形成总数为16/1×4个更小的方块，即形成总数为2×（16/1×4＝128个更小的方块。对每个更小的方块得到一个特征值。通过利用因此而得到的128个特征值，产生精度为一个像素的移动向量。

当参照方块和校验方块被细分成网格状的小方块以及对如图13B所示的，因此而形成的小方块中的每一个得到一个特征值，并实施多步法，选定一种用于特征值提取的方法，以便在扫描间隔中的所需精度能够被保持，该扫描间隔是在确定扫描间隔的步骤中所需要的。利用这种方法，需要的精度得到保证而计算量并没有增加。

返回参阅图24，现时帧的图像数据（像素）加到输入端92，其再将各像素送到现时帧存储器91，它是可控制的，以便存储现时帧的图像数据。参照帧的像素加到输入端94，其再将该像素送到参照帧存储器93，它是可控制的，以便存储参照帧的图像数据。控制器95控制现时帧和参照帧存储器91、93的读写。

现时帧存储器91还有功能是按照一参照方块含（N×M）个像素输出现时帧的图像数据，并将该参照方块提供到小方块形成电路96。

参照帧存储器93还具有的功能是按一校验方块含（N×M）个像素输出参照帧的图像数据，并将校验方块提供到小方块形成电路97，地址移动电路105是可控制的，以便改变作用到参照帧存储器93的读出地址，以便在预定向量扫描范围内按每次（i）个像素移动校验方块的位置，即精度为（i）个像素，地址移动电路106是可控制的，以便改变作用到参照帧存储器93的读出地址，使得在预定的向量扫描范围内按单个像素移动校验方块的位置，即精度为一个像素。

小方块形成电路96、97、特征提取电路98A、98B、99A、99B、比较和绝对值求和电路100A、100B以及加权加法电路101，如图24所示，其功能一般与图9的对应元件相同。图24所示的加权加法电路101将其输出提供到判别电路102。

在根据本发明的多步法的第一步进行的过程中，校验方块在预定的向量扫描范围内按每次（i）个像素由地址移动电路105控制移动。在校验方块的每次重新定位时，判别电路102的功能是将在预定扫描范围内部的校验方块的各位置的等效值相比较。判别电路102确定对应于最小的等效值的校验方块的位置，产生在参照方块和对应于最小的等效值的校验方块的位置之间的粗略移动向量，并将该粗略移动向量提供到控制器95。

在根据本发明的多步法的下一步的实施过程中，由地址移动电路106控制，在邻近由粗略移动向量所指示的区域为中心的范围处，校验方块按逐个像素进行移动。在每次校验方块的重新定位时，判别电路102的功能是将在预定的扫描范围内部的校验方块位置的特征值进行比较。判别电路102确定对应于最小的等效值的校验方块的位置，产生在参照方块和对应于最小的等效值的校验方块的位置之间的精细移动向量，并将具有精度为一个像素的精细移动向量提供到输出端103。

图24表示实行两步扫描的装置，在本技术领域的一般熟练人员将会很容易理解，怎样构成一个实行三步扫描或四步扫描的装置。

在第一步，尺寸为（N×M）的方块被放大两倍，借此形成一个（2N×2M）的方块。通过对这样一个方块进行二次取样，得到为（N×M）的方块。通过按每次两个像素移动二次取样的方块进行方块的叠合，借此得到一个粗略移动向量。在下一步，还可能通过按单个像素移动为（N×M）的移动向量来进行方块的叠合最终检测到具有高精度的移动向量。

对于利用多步法检测移动向量，本发明的变化是首先利用小方块的特征检测一个粗图移动向量，然后，利用将参照方块和校验方块的逐个像素比较，检测到一个具有高精度的移动向量，这种变化所需计算比常规多步法要少并且产生一个具有高精度的移动向量。

下面介绍将本发明应用于内插法，用来产生高精度移动向量。

图29表示本发明的移动向量检测装置的再一个实施例，其采用内插法，用于得到精度为1/2像素的移动向量，图29所示装置对参照帧的各像素进行内差运算，并且在已内插的参照帧的预定扫描范围内部按逐个像素移动参照方块，以便得到一个内插的参照帧的分辨力为一个像素的移动向量，在原有的参照帧分辨力的情况下其对应的精度为1/2像素。

图29中的输入端112、114、现时帧存储器111、控制器115、小方块形成电路116、117、特征提取电路118A、118B、119A、119B、比较和绝对值加法电路120A、120B，加权加法电路121和判别电路122其功能一般与图9所示的对应元件相同。

参照帧存储器113的功能是存储从输入端114接收来的参照帧的像素，并将其中所存储的数据提供开关电路126，这种提供响应于从地址移动电路124所接收的地址数据。

开关126适合于响应于一个控制信号（未表示）将参照帧数据提供到内插电路125或开关电路127。

内插电路125是可控制的，以便对参照方块数据进行内插运算并将内插的数据提供到开关127。正发参阅图8上面所解释的，当数据位置直接介于像素之间时，从两个原有的像素形成内插的数据，并且由4个原有的像素形成内插的数据，其时该数据处在由4个原有像素形成的五点梅花形的中心。

开关127是可控制的，以便选择施加到其上的内插的数据或原有的像素数据作为校验方块数据。地址移动电路124、存储器113、内插器125和开关126、127其功能是按内插的像素的分辨力在预定的向量扫描范围内，按逐个像素方式移动校验方块的位置。

更具体地说，校验方块每次移动一个像素，选择开关126、127的输入端126A、127A，内插器125在原有参照方块像素之间形成内插的数据，这等效于按照1/2像素移动校验方块。校验方块每次移动对应于1/2像素的距离，判别电路122将由加权加法电路121产生的等效值进行比较，确定对应于最小的等效值的校验方块的位置，产生一个参照方块和对应于最小等效值的校验方块位置之间的移动向量，并将该精度为1/2像素的移动向量提供到输出端123。

图30表示根据本发明的检测移动向量的再一个实施例，其利用内插法用于得到精度为1/2像素的移动向量。图30所示装置将校验方块的小方块的特征值进行内插运算，以便得到精度为1/2像素的移动向量。

输入端132、134、现时帧存储器131、参照帧存储器133、控制器135、小方块形成电路136、137、特征提取电路138A、138B、139A、139B、比较和绝对值加法电路140A、140B、加权加法电路141和判别电路142，如图30所示其功能一般与图9所示对应元件相同。地址移动电路144是可控制的，用以将各地址提供到参照帧存储器133，使得校验方块的位置按逐个像素在预定的向量扫描范围内移动。

在图30所示的实施例中，特征值提取电路139A、139B将校验方块的沿水平方向和竖直方向的各小方块的特征值分别提供到内插电路146A、146B并分别提供到选择器147A、147B。

内插器146A、148B每一个都适合于对提供到其上的特征值进行内插，并将内插的特征值分别提供到选择器147A、147B。

选择器147A、147B的功能是将校验方块的小方块的原有及内插的特征值提供到比较和绝对值加法电路140A、140B。原有的和内插的特征值的综合产生分辨力为1/2像素的特征值，其等效于按照1/2像素移动校验方块。

判别电路142将对应于校验方块的每次重新定位的等效值进行比较，产生分辨力为1/2像素的移动向量并将该移动向量提供到输出端143。

为了以1/2像素的精度检测移动向量，本发明进行的变动是首先以一个像素的精度，在预定的扫描范围内找到最佳叠合校验方块的位置，然后，对在邻近最佳叠合方块位置处的数据进行内插运算，并且最后对新的最佳叠合的方块在内插的范围内进行扫描。

为了以1/2像素的精度检测移动向量，本发明进行的另一变动是首先按照（i）个像素的精度检测移动向量，然后，将多步扫描和以1/2像素的精度进行的移动向量的检测相结合。

本发明还包括进一步沿两个线度例如水平和竖直的，进一步细分已形成的小方块，得到每一个进一步细分的小方块的特征值，并利用因此得到的特征值来检测一个移动向量。

虽然，通过参阅附图本文已经详细地介绍了本说明的一个解释实施例及其各种变化方案，应当理解，本发明并不局限于该具体实施例和所介绍的变化方案，其中可以由本技术领域的熟练人员在不脱离由所提出的权利要求所限定的、本发明的保护范围或构思的情况下进行各种变化和进一步改进。

Claims (40)

1、一种用于检测移动向量的装置，包含：

第一存储装置，用于存储和读出具有第一尺寸的参照方块；

第一小方块形成装置，用于将读出的参照方块分成第一组小方块；

第二存储装置，用于存储具有第二尺寸的扫描范围，该第二尺寸至少像第一尺寸一样大，以及用于响应于控制信号按具有所述第一尺寸的校验方块读出所存储的扫描范围的一部分；

第二小方块形成装置，用于将读出的校验方块分成第二组小方块；

指示装置，用于按照所述控制信号指示存储在所述第二存储中的所述扫描范围的不同的部分；以及

比较和产生装置，用于比较所述第一组和第二组小方块，以便确定从所述扫描范围读出的哪一个校验方块最佳叠合所述参照方块，以及用于产生一个所述参照方块和该最佳叠合的校验方块之间的一个移动矢量。

2、如权利要求1所述的装置，其中所述的第一和第二小方块形成装置分别是可控制的，以便沿至少两个方向分成所述第一和第二组小方块。

3、如权利要求2所述的装置，其中所述的至少两个方向包含一个竖直方向和一个水平方向。

4、如权利要求2所述的装置，其中所述的至少两个方向包含一个基本上与第二倾斜方向相垂直的第一倾斜方向。

5、如权利要求2所述的装置，其中所述的小方块形成一个网格。

6、如权利要求2所述的装置，其中所述的第一和第二小方块形成装置分别是可控制的，以便沿所述至少两个方向中的一个方向及沿所述至少两个方向的另一个方向所述的形成的小方块中的每一个进行细分。

7、如权利要求2所述的装置，其中所述的比较装置是可控制的，以便将沿第一方向由所述读出的参照方块分成的小方块与沿所述第一方向由所述读出的检验方块分成的小方块相比较，并还可控制以便将沿第二方向由所述读出的参照方块分成的小方块与沿第二方向由所述读出的校验方块分成的小方块相比较。

8、如权利要求7所述的装置，其中所的比较装置是可控制的，以便对相对于沿所述第二方向的所述小方块的比较值对沿所述第一方向的所述小方块的比较值进行加权运算。

9、如权利要求1所述的装置，其中所述的比较装置包含差分装置，用于得到在由所述读出的参照和校验方块分成的所述第一和第二组小方块中的各自小方块之间的差值;绝对值装置，用于得到所述差值的各自的绝对值;以及加法装置，用于将在所述读出的参照和校验方块的所述小方块之间的各差值的绝对值相加。

10、如权利要求1所述的装置，还包括：第一特征装置，用于对在所述第一组小方块中的每一个小方块，产生至少一个第一特征值;第二特征装置，用于对在所述第二组小方块中的每一个小方块，产生至少一个第二特征值;并且其中的所述比较装置是可控制的，以便将所述的第一和第二特征值相比较。

11、如权利要求10所述的装置，其中的由所述的读出的参照方块和所述读出的校验方块的每一个小方块都包含一些像素;并且所述至少一个第一和第二特征值中的每一个都包含：在所述每一个小方块中的各像素的一个和值、在所述每一个小方块中的各像素的一个平均值、在所述每一个小方块中的各像素的最小值和最大值、在所述每一个小方块中的各像素的至少一个哈达马变换系数、在所述每一个小方块中的各像素的至少一个DCT系数、在所述每一个小方块中的各像素的至少一个子波变换系数、在所述每一个小方块中的各像素的至少一个哈达马变换系数的最大值和最小值、在所述每一个小方块中的各像素的至少一个DCT变换系数的最大值和最小值、以及在所述每一个小方块中的各像素的至少一个子波变换系数的最大和最小值。

12、如权利要求10所述的装置，其中所述的第一和第二特征装置包含低通滤过装置，其用于分别对在所述第一和第二组小方块中的所述每一个所述小方块进行低通滤过。

13、如权利要求10所述的装置，其中所述的第二特征装置是可控制的，以便修改由所述读出的校验方块分成的所述小方块中的现时的一个小方块的特征值，从而产生由所述读出的校验方块分成的所述小方块中的下一个小方块的特征值。

14、如权利要求13所述的装置，其中由所述读出的校验方块分成的每个小方块都包含一些像素;以及所述第二特征装置包含加法装置，其用于将所述小方块的所述下一个小方块的像素与所述小方块的现时的一个小方块的所述特征值相加，以便产生一个中间结果;以及减法装置，其用于从所述中间结果减去所述小方块中的所述现时的一个小方块的一个像素，使得产生所述小方块的所述下一个小方块的所述特征值。

15、如权利要求10所述的装置，其中所述的第一和第二小方块形成装置分别是可控制的，以便沿至少两个方向形成第一和第二组小方块;所述第一和第二特征装置每一个都包含：第一装置，其用于对沿第一方向所形成的每一个小方块产生至少一个特征值;以及第二装置，其用于对于沿第二方向所形成的每一个小方块产生至少一个特征值;以及所述比较装置，其是可控制的，以便将沿所述第一方向由所述读出的参照方块所分成的小方块与沿所述第一方向由所述读出的检验方块所分成的小方块相比较，并还可控制以便将沿所述第二方向由所述读出的参照方块分成的小方块与沿所述第二方向由所述读出的校验方块分成的小方块相比较。

16、如权利要求15所述的装置，其中所述的比较装置是可控制的，以便将相对于沿所述第二方向的所述小方块的比较值对沿所述第一方向的所述小方块的比较进行加权运算。

17、如权利要求10所述的装置，进一步包含内插装置，用于对在所述第二组小方块中的所述小方块的特征值进行内插运算，以便产生内插的特征值;以及其中的所述比较装置是可控制的，以便将所述第一组小方块的所述特征值与所述第二组小方块的所述内插的特征值相比较，使得所述移动向量具有的分辨力优于一个像素。

18、如权利要求1所述的装置，其中所述的扫描范围包含一些像素;所述指示装置是可控制的，该装置用于指示所述扫描范围的各不同的部分，指示分别相差至少两个像素的所述扫描范围的粗略部分，以及第二读取控制装置是可控制的，以便指示分别相差一个像素的所述扫描范围的次分组的精细部分;以及所述用于产生移动向量的装置是可控制的，以便根据该读出的校验方块从所述扫描范围的所述粗略部分产生一个粗略移动向量，并且可受控制以便根据该读出的校验方块从所述扫描范围的所述次分组的所述精细部分产生一个精细移动向量。

19、如权利要求18所述的装置，其中所述的指示装置包含第一读取控制装置，其用于指示所述扫描范围的所述粗略部分，以及第二读取控制装置，其用于指示所述扫描范围的所述次分组的所述精细部分。

20、如权利要求18所述的装置，进一步包含内插装置，其用于对所述扫描范围的所述次分组的读出部分进行内插运算以便形成内插数据;以及其中所述的第二小方块形成装置是可控制的，以便地形成插入到所述第二组小方块中的内插数据，使得所述精细移动向量具有的分辨力优于一个像素。

21、如权利要求1所述的装置，其中所述的扫描范围包含一些像素;并且进一步包含内插装置，其用于对所述存储的扫描范围读出的各像素进行内插运算以便形成内插的像素;并且其中所述的第二小方块形成装置是可控制的，以便也形成插入到所述第二组小方块的所述内插像素，便得所述移动向量具有的分辨力优于一个像素。

22、如权利要求21所述的装置，其中所述的内插装置是可控制的，以便对两个所述扫描范围的读出像素进行内插运算，以便形成其中一个所述的内插像素。

23、一种检测移动向量的装置，包含：

第一存储装置，用于存储和读出具有第一尺寸的参照方块;

第一特征装置，用于产生至少一个代表读出的参照方块的第一特征值;

第二存储装置，用于存储具有像所述第一尺寸一样大的第二尺寸以及用于响应于控制信号，按照具有所述第一尺寸的一个校验方块读出存储的扫描范围的一部分;

第二特征装置，用于产生至少一个代表读出的校验方块的第二特征值;

指示装置，用于按照所述控制信号，指示存储在所述第二存储装置中的所述扫描范围的各不同部分;以及

比较和产生装置，用于比较所述第一和第二特征值，以便确定从所述扫描范围读出的哪一个校验方块最佳叠合所述参照方块，以及用于产生在所述参照方块和最佳叠合的校验方块之间的移动向量。

24、如权利要求23所述的装置，其中的所述第一和第二特征装置中的每一个都包含低通滤过装置，其分别对所述读出的参照和校验方块进行低通滤过。

25、如权利要求23所述的装置，其中所述的第二特征装置是可控制的，以便修改一个现时读出的校验方块的特征值，产生下一个读出的校验方块的特征值。

26、如权利要求23所述的装置，其中所述的扫描范围包含一些像素;所述的指示装置指示所述扫描范围的各不同的位置，该装置是可控制的以便指示分别差至少两个像素的、所述扫描范围的粗略部分，以及然后可被控制以便指示分别相关一个像素的所述扫描范围的次分组的精细部分;以及所述用于产生移动向量的所述装置是可控制，以便根据读出的校验方块，由所述扫描范围的所述精略部分产生一个粗略移动向量，以及被控制以便根据校验方块由所述扫描范围的所述次分组的所述精细位置产生精细移动向量。

27、如权利要求23所述的装置，其中所述的扫描范围包含一些像素;并进一步包含内插装置，其用于对从所述存储的扫描范围中读出的各像素进行内插计算以便形成内插的数据;以及其中所述的第二特征装置是可控制的，以便也产生代表所述内插的像素的特征值，使得所述移动向量具有的分辨力优于一个像素。

28、如权利要求23所述的装置，进一步包含内插装置，其用于对于代表所述校验方块的所述至少一个特征值进行内插计算，以便产生至少一个内插的特征值，并且其中所述的比较装置是可控制的，以便将代表所述参照方块的所述至少一个第一特征值与所述至少一个内插的特征值相比较。

29、一种检测移动向量的装置，包含：

参照方块存储装置，用于存储和读出第一和第二参照方块;

第一特征装置，用于产生分别代表读出的第一和第二参照方块的至少一个特征值和至少一个第二特征值;

扫描范围存储装置，用于存储和读出第一第二扫描范围;

第二特征装置，用于产生至少一个的代表所述第一和第二扫描范围其中之一的读出的第三特征值;

第一装置，用于将所述至少一个第一特征值与所述至少一个第三特征值相比较，以及用于形成第一移动向量，其介于所述读出的第一参照方块与所述第一和第二扫描范围其中的所述一个的所述读出的部分之间;以及

第二装置，用于将所述至少一个第二特征值与所述至少一个第三特征值相比较，以及用于形成第二移动向量，其介于所读出的第二参照方块与所述第一和第二扫描范围其中的所述一个的所述读出的部分之间。

30、如权利要求29所述的装置，其中所述的参照方块存储装置和所述扫描范围存储装置分别是可控制的，以便沿着至少两个方向按照小方块读出所述第一和第二参照方块和所述第一和第二扫描范围。

31、如权利要求29所述的装置，其中所述的第二特征装置包含：第一选择装置，用于选择所述第一扫描范围的读出部分和所述第二扫描范围的读出部分的其中一个;特征值产生装置，用于产生至少一个代表所述第一扫描范围的读出部分的第四特征值，以及用于产生至少一个代表所述第二扫描范围的读出部分的第五特征值;特征存储装置，用于存储和读出至少一个所述第四和第五特征值;以及第二选择装置，用于像所述至少一个第三特征值一样选择读出的至少一个第四和第五特征值中的一个。

32、一种检测移动向量的方法，包含的步骤是：

存储和读出具有第一尺寸的参照方块;

将读出的参照方块细分成第一组小方块;

在座一个扫描范围，该范围具有的第二尺寸至少与所述第一尺寸一样大;

响应于控制信号，按照具有所述第一尺寸的校验方块读出存储的扫描范围的一部分;

将读出的校验方块分成第二小方块;

按照所述控制信号指示在所述第二存储装置中存储的所述扫描范围的各不同部分;

将所述第一和第二组小方块相比较，以便确定从所述扫描范围读出的哪一个校验方块最佳叠合所述的参照方块;以及

产生在所述参照方块和最佳叠合的校验方块之间的移动向量。

33、如权利要求32所述的方法，其中所述的形成步骤是沿至少两个方向形成所述第一和第二组小方块，以及所述的比较步骤是将沿所述第一方向由所述读出参照方块形成的小方块与沿所述第一方向由所述读出校验方块形成的小方块相比较，并将沿第二方向由所述读出的参照方块形成的小方块与沿所述第二方向由所述读出的校验方块形成的小方块相比较。

34、由权利要求32所述的方法，进一步包含的步骤是：对在所述第一组小方块中的每一个小方块产生至少一个特征值，对在所述第二组小方块中的每一个小方块产生至少一个特征值，以及其中所述的比较步骤，是将所述第一第二组小方块的各特征值进行比较。

35、如权利要求34所述的方法，其中所述的形成步骤是沿至少两个方向形成所述第一和第二组小方块;每一个所述产生步骤是对沿第一方向形成的每一个小方块产生至少一个特征值，对沿第二方向形成的每一个小方块产生至少一个特征值;以及所述的比较步骤是将沿所述第一方向由所述读出的参照方块形成的小方块与沿所述第一方向由所述读出的校验方块形成的小方块相比较，以及将沿所述第二方向由所述读出的参照方块形成的小方块与沿所述第二方向由所述读出的校验方块形成的小方块相比较。

36、如权利要求32所述的方法，其中所述的扫描范围包含一些像素，所述的指示步骤是指示分别相差至少两个像的所述扫描范围的精略部分，以及指示分别相差一个像素的所述扫描范围的次分组的精细位置，以及所述的产生移动向量的步骤是根据由所述扫描范围的所述粗略部分读出的校验方块产生一个精略移动向量，并根据由所述扫描的所述次分组的所述精细部分读出的校验方块产生一个精细移动向量。

37、如权利要求32所述的方法，其中所述的扫描范围包含一些像素;以及包含内插步骤，对由所述存储的扫描范围读出的各像素进行内插运算以便形成内插的像素;以及其中所述的形成读出的校验方块的步骤是形成插入到所述第二组小方块的所述内插的像素，使得所述的移动向量具有的分辨力优于一个像素。

38、一种检测移动向量的方法，包含的步骤是：

存储和读出具有第一尺寸的参照方块;

产生至少一个代表读出的参照方块的第一特征值;

存储一个扫描范围，其具有的第二尺寸至少像所述第一尺寸一样大;

响应于控制信号，按照具有所述第一尺寸的校验方块输出存储的扫描范围的一部分;

产生至少一个代表读出的校验方块的第二特征值;

按照所述控制信号，指示在所述第二存储装置中存储的所述扫描范围的各不同的部分;

将所述的第一和第二特征值相比较以便确定由所述扫描范围读出的哪一个校验方块最佳叠合所述参照方块;以及

产生一个在所述参照方块和最佳叠合的校验方块之间的移动向量。

39、一种检测移动向量的方法，包含的步骤是：

存储和读出第一第二参照方块;

产生分别代表读出的第一和第二参照方块的至少一个第一特征值和至少一个第二特征值;

存储和读出第一第二扫描范围;

产生至少一个代表所述第一和第二扫描范围中的一个读出部分的第三特征值;

将所述至少一个第一特征值与所述至少一个第三特征值相比较;

作为所述至少一个第一和第三特征值的比较结果的函数，产生第一移动向量，其介于所述读出的第一参照方块与所述第一和第二扫描范围其中的所述一个所述读出部分之间;

将所述至少一个第二特征值与所述至少一个第三特征值相比较;以及

作为所述至少一个第二和第三特征值的比较结果的函数，产生第二移动向量，其介于所述读出的第二参照方块与所述第一和第二扫描范围其中的所述一个的所述读出部分之间。

40、如权利要求32所述的方法，其中所述的第一和第二参照方块和所述的第一和第二扫描范围是沿至少两个方向按照小方块读出的。

Images