CN1136731C - 自适应运动矢量检测装置和方法 - Google Patents

Abstract

一种自适应运动矢量检测器自适应地选择用在视频广播的第一帧和第二帧之间检测运动矢量的象素。该第一帧包括一象素的参考块和第二帧包括一象素的校验块。一分析电路根据参考块的变量特征自适应地确定在该参考块中第一象素值子集的位置。一选择电路在由分析电路所确定的位置上对在参考块中的第一象素值的子集和在校验块中的第二象素值的子集进行采样。

Description

自适应运动矢量检测装置和方法

技术领域

本发明涉及运动矢量检测，特别涉及自适应运动矢量检测。

背景技术

在-MPEG系统中所使用的运动矢量检测根据由运动图象专家组(MPEG)所建立的标准而被开发。MPEG系统提供使传输数据量最少的高清晰度电视广播的编码和解码方法。运动矢量指明了在电视广播中组成单帧画面的一图象块变化的方向和幅度。通过以运动矢量形式来替代个别象素来规定该帧的所有图象块，该MPEG系统可以减少所需广播的数据量。由于该运动矢量被用来确定不同帧之间的差异，所以作为帧间预测编码系统的这种系统是已知的。

如图8所示，一预测编码装置在输入端100接收一电视图象的当前帧。该当前帧被送到运动矢量检测电路101和减法器102。该运动矢量检测电路101从当前帧中提取运动矢量并将其提供给运动补偿电路103。然后，该运动补偿电路对在帧存贮器104中所存贮的前面帧执行运动补偿而得到一被补偿运动参考帧。然后，该减法器从该参考帧中减去当前帧而得到差额数据。该差额数据由离散余弦变换(DCT)电路106压缩，由量化器107将模拟量转换为数字量，从输出端108提供给广播用。

通过与上述步骤相反的操作该预测编码装置将当前帧转换成在帧存贮器中所存贮的前面的帧并在帧存贮器104中存贮该结果。因此，通过反相量化器109和反相DCT电路110对被量化的差额数据进行译码。加法器105将被译码的差额数据加到由运动补偿电路所产生的参考帧，因此，重新产生当前帧。然后将该当前帧存贮在帧存贮器中并且当在输入端100接收了随后而来的后面帧时则该当前帧又变为前面的帧。在这种方法中，每个构成电视广播的帧被预测地编码并且通过输出端108转发用于广播。

但是，存在有这样一个问题，即该运动矢量检测电路101可能产生一个错误的运动矢量。通常，该运动矢量检测电路采用一固定块匹配方法来产生一运动矢量。在一预定矢量搜索范围内移动一校验块并检测与当前帧的参考块最匹配的一块。通过将参考帧与该匹配的块相比较计算该运动矢量，随后将该运动矢量传送到运动补偿电路103。当该校验块可能与错误参考块相匹配时就会产生一错误的运动矢量。

通过参照图9、10和11A至11C所说明的一个例子可更好地了解这个问题。在图9中，在该参考帧150中安置了M×N象素的参考块152。一搜索帧151(即，后面帧)被接收并且该运动矢量检测电路开始执行块匹配方法。边界153在一矢量搜索范围内被“移动”，在该边界中在每个位置上该象素组成校验块。因此，在该矢量搜索范围154内M×N象素的校验块153被“移动”，直到在校验块153和参考块152之间检测到一令人满意的匹配为止。该运动矢量检测电路随后根据所匹配的校验块和参考块之间的差异而执行一算术运算以获得一运动矢量。该运动矢量具有一在参考块和校验块中相同位置上的两个象素值之间最小差的数学绝对值之和的量值(后面称之为剩余差)。在另一种可供选择的方案中，该剩余差可用该象素值之差的一平方和计算。还由运动矢量检测电路产生一该运动矢量的单位方向，从而与该剩余差值对应。

参考图10和11A至11C将详细说明该块匹配方法。为了减轻该算术处理器中的负担，该运动矢量检测器执行该参考块和校验块的二次采样。例如，图10中描述了对一4×4块(即，16个象素块)的四个划阴影线象素的采样，因而图10执行了按4∶1比率的固定采样。图11A的参考块和图11B的校验块以与图10所示的相同方式采样。随后，在该矢量搜索范围(图9)内该校验块被移动直至该校验块的四个被采样的象素与在该参考帧中的四个象素匹配为止。只有当该参考块明显地相似于如图11A和11B中所示的组成该校验块的搜索区域时该块匹配方法才能很好地进行。

但是，当该组成校验块的搜索块具有一例如如图11C所示的非常不同的图形时，该运动矢量检测器可能错误地将搜索区域的不正确块与该参考块相匹配。因为在图11C的例子中所有的象素均具有“1”值，所以该校验块将在该搜索区域中的若干不同位置上与参考块相匹配。因而，该运动矢量检测电路101可能产生一错误的运动矢量，结果产生一失真的电视广播。

发明内容

本发明的一个目的是消除校验块和参考块之间的失配。本发明的另一个目的是提高电视广播的信噪比。

本发明的另一个目的是提供一种用于自适应地检测运动矢量的装置和方法。

本发明提供一种自适应运动矢量检测装置，用来自适应地检测在第一视频帧和第二视频帧之间的运动矢量，所述第一视频帧包括一象素的参考块和所述第二视频帧包括一象素的校验块，该装置包括：用来存贮所述参考块和校验块的寄存装置；参考块分析装置，用来从所述参考块的一特征中自适应地确定在所述参考块中象素的位置；和选择装置，用来在由所述参考块分析装置所确定的所述位置上，对在所述参考块中的象素和对在所述校验块中的象素进行采样；差分绝对值之和操作装置，用于计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和最小值装置，用于选择最小的绝对剩余差。

本发明还提供一自适应运动矢量检测装置，用来检测在第一视频帧和第二视频帧之间的运动矢量，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该装置包括：分离装置，用来将所述参考块分成子参考块和将校验块分成子校验块；用来存贮象素的所述子参考块和子校验块的小块寄存器；最大/最小值检测装置，用于确定在每个所述子参考块中的最大和最小象素值并响应于它而产生选择信号以指明对于每个子参考块的所述位置；选择装置，用来在对所述各个子参考块所确定的所述位置上的各个子参考块中的象素和所述子校验块中的一个块中的象素进行采样；差分绝对值之和操作装置，用于计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和最小值装置，用于选择最小的绝对剩余差。

本发明还提供一种自适应运动矢量检测方法，用来自适应地检测第一视频帧和第二视频帧之间的运动矢量的象素，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该方法包括有步骤：存储所述参考块和所述校验块；自适应地根据所述参考块的一特征确定所述参考块中象素的第一子集的位置；在所述确定的位置上对在所述参考块中的象素和在所述校验块的象素进行采样；计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和选择最小的绝对剩余差。

本发明还提供一种自适应运动矢量检测方法，用来检测第一视频帧和第二视频帧之间的运动矢量，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该方法包括步骤：将所述参考块分成子参考块和将所述校验块分成子校验块；存储象素的所述子参考块和所述子校验块；根据每个子参考块中一特征自适应地确定每个子参考块的第一象素子集的位置；在对于所述各自子参考块所确定的所述位置上对在各个子参考块中的象素和所述子校验块的一个子块中的象素进行采样；确定在每个所述子参考块中象素的最大和最小值和相应于其而产生选择信号以指明每个子参考块的所述位置；计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和选择最小的绝对剩余差。

附图说明

通过下面参照附图所作的详细说明将会对本发明以及本发明的优点有更为全面的理解，在附图中：

图1为根据本发明的第一实施例的自适应运动矢量检验装置的一方框图；

图2为根据该第一实施例改进的自适应运动矢量检测装置的一方框图；

图3为根据本发明的第二实施例的4×4参考块的象素的一种表示；

图4A是根据第二实施例的一参考块中的象素的一种表示，图4B和4C是根据第二实施例的校验块中的象素的表示；

图5中的图描述了用于自适应和固定二次采样的各种采样的信噪比；

图6是根据本发明第二实施例的自适应运动矢量检测装置的方框图；

图7A和7B是根据第二实施例16×16参考块中象素的表示；

图8是一MPEG系统的框图；

图9是用来说明该块匹配方法的示意图；

图10是4×4参考块中象素的表示；和

图11A是参考块中象素的表示和图11B及11C是校验块中象素的表示。

具体实施方式

现在参照附图说明本发明，附图中相同的参考标记表示相同或相应的附图中的部分。

第一实施例

参照图1和图2的运动矢量检测电路来说明本发明的第一实施例。

在图1中，该运动矢量检测电路分别从输入端1和2接收参考块和校验块数据。这两个块由寄存器4和5所存贮。一参考块分析电路3控制选择电路6和7自适应地选择每个块的象素。被选择的象素送到一差分绝对值之和操作电路8去计算剩余差。由于正确的校验块在两个连续帧之间应该具有一最小差，所以一最小差值电路9选择最小剩余差并输出该校正的剩余差。

现在将更为详细地说明该运动矢量检测电路的自适应选择操作。该参考块数据被提供给输入端1进而送到参考块分析电路和(M×N)寄存器4。该校验块类似地被提供给输入端2并进而送到(M×N)寄存器5。该(M×N)寄存器4和5分别存贮该参考块和校验块数据。该参考块分析电路通过输出一指明该被选择象素的位置的选择信号10而使该选择电路6和7自适应地选择来自每个(M×N)寄存器的象素。参考块分析电路通过计算一表明该参考块的特定特征的值确定所选择的象素。也就是，根据该参考块的特定特征来自适应地选择象素。例如，在参考块数据中用来自适应地选择象素的特征可以是该象素的最大和最小值。参考块分析电路确定该具有最大和最小值的象素的位置并产生表明该位置的选择信号。更可取的是，在该校验块与参考块匹配中，二个最大和二个最小值被用于确保较高的精度。

在该参考块中该特征还可以是来自中间值的最大和最小偏差。也就是，参考块分析电路对于在该参考块中的所有象素值计算中间(即平均)值并且从该中间值中选择具有最大和最小偏差的象素值。

上述特征还可被组合以得到第一最大/最小值组和第二中间偏差值组。因此，该参考块分析电路确定最大和最小象素值，并且还确定中间偏差象素值。

对于上述特征的另一方面，该参考块分析电路还可根据相邻两个象素之间的差选择象素，在相邻象素之间最大和最小差确定了将选择哪些象素。

因此，该参考块分析电路根据在所讨论的特征分类之一之下所选择的象素产生选择信号10。该选择信号被提供给选择电路6和7并且该选择电路选择来自(M×N)寄存器4和5的象素。在这种方法中，该参考块和校验块被自适应地二次取样并且避免了一错误的失配。

该被选择的象素值作为参考块数据13和校验块数据14而被提供给差分绝对值之和操作电路8。该差分绝对值之和操作电路8计算该所选择的参考块选择象素和所选择的校验块选择象素之间的绝对剩余差。例如，在该校验块中的最大象素值和参考块中的最大象素值之间的绝对差加上在该校验块中的最小象素值和参考块中的最小象素值之间的绝对差。另外，该差分绝对值之和操作电路8还可计算该象素值之间差的平方和。

由于二次采样，所选择的参考块或校验块的尺寸必须要比在输入端1和2所接收的(M×N)块要小。这样，在差分绝对值之和操作电路中的运算负担减小而操作速度提高。

如像所讨论的那样，该正确校验块将具有最小剩余差。因此，该最小值电路9选择最小剩余差以确保正确运动矢量被检测。

图2是第一实施例改进的方框图。除了图2的改进包括分别连接到输入1和2的特征提取电路16和17之外，该图的其余部分是相同的。该特征提取电路的作用是在输入端从参考块和校验块提取特征值(除了相对于图1所描述的特征)，因此降低了输入到该运动矢量检测电路的块的尺寸。由于该输入块的尺寸减小，所以整个处理变得容易并且系统效率得以提高。

作为一通过特征提取电路提取具有所希望特征的象素的例子，可以采用一低通滤波器。另一方面，该特征提取电路可将该参考块和校验块分成较小的块并将在每个较小块中的该象素值相加。通过该特征提取电路还可使用在横向和垂直方向累加该象素值的一种集合估算(integrationprojection)(例如-Hadamard变换)。

参考图1以所述的相同方式处理该参考块和校验块。因此，相应电路的操作的详细讨论将不再重复，可参考前面所作的说明。

第二实施例

现在参照图3、4A至4C、6、7A和7B来说明第二实施例。图3是4×4块象素的表示。根据第二实施例，通过将块分成子块30和31(这里，是二个4×2子块)并对每个子块确定最大和最小象素值来实现自适应采样。

例如，图4A示出了将参考块40分成二个4×2子块41和42。在每个子块中所提取的最大象素值(a和b)由阴影小圆圈表示，同时在每个子块中所提取的最小象素值由点圆圈表示(c和d)。类似地，图4B的校验块43被分成二个子块44和45并由圆圈(a′、b′、c′和d′)来表示所提取的最大和最小值。所提取的值被送到一差分绝对值之和操作电路61(图6)并在那里计算该剩余差。在作为相应的最大和最小值之间差的绝对值而计算该剩余差的场合下，下面的数学表达式用来产生该剩余差值。

剩余差＝|a-a′+|b-b′+|c-e′|+|d-d′|(1)

在上述例子中，该校验块43与该参考块40相同。因此，该剩余差等于0并且该块被认为被完全地匹配。

但是在与图4A的参考块明显不同的图4C的校验块的情况中，该剩余差为12；并且可看出该固定采样块匹配方法产生错误的匹配。另一方面，在本发明中，使用了上述的自适应采样并且将该校验块与参考块正确地相匹配而忽略了象素值中的明显差别。分别自参考块和校验块40和46所提取的特征是相应于该参考子块(a、a′、b、b′、c、c′、d和d′)的最大和最小值的象素。当该校验块是在该矢量范围(图9)内移动时，在相应于参考子块中的最大和最小象素值位置上的该校验块中的象索从该校验子块中被选择。由最小值电路62(图6)所确定的具有一最小剩余差的校验块被确认为正确的校验块。因此，在本发明中当该校验块图形与参考块图形明显有差异时不会产生误差。更确切地说，本发明得到了正确的匹配。

在图5中的曲线图描述了根据第二实施例的本发明的实验结果。Y轴(纵坐标)以分贝(dB)表示了一运动矢量检测电路的噪声-信号比(YNSR)和X轴(横坐标)表示了每个参考块的采样数。包括空心方块的曲线描述了该固定采样块匹配方法而包括实心方块的曲线描述了根据本发明的自适应采样方法。该实验结果是在具有一16×16象素的参考块尺寸的6MBps(每秒兆比特)的MPEG编码速率的条件下得出的。使用下述表示式来计算信号-噪声比。

从该曲线图可看出，对于与固定采样方法相比有相同采样数，本发明的自适应采样方法具有较低的噪声-信号比。还应注意的是因为信噪比高所以在本发明中采样数可提高到32象素，因而允许该MPEG系统增加电视象素密度。因此，本发明的优点明显超过了固定采样方法。

图6是体现上述第二实施例的一电路的方框图。该参考块被提供到输入端50而校验块被提供给输入端54。该参考块被分为二个小块(即，子块)并存贮在小块寄存器51和52之中。类似地，该校验块分为二个小块并被存贮在小块寄存器55和56之中。例如，参照图4A至4C，该参考小块41存贮在小块寄存器51中和该参考小块42存贮在小块寄存器52中；该校验小块44或47存贮在小块寄存器55中和校验小块45或48存贮在小块寄存器56中。

该参考块还被传送到一对于每个小块选择最大和最小象素值的最大值/最小值检测电路53。该最大值/最小值检测电路确定在每个参考小块中该最大和最小象素值的位置并针对每个小块而输出两个选择信号。按照选择信号64的确定，参考块的第一小块40由选择电路57采样，根据选择信号64该校验块的第一小块44或47由选择电路59采样。类似地，根据选择信号65，对于参考块和校验块的第二小块52和56分别由选择电路58和60来采样。

随后，为了运算处理将该被采样的象素值传送到差分绝对值之和操作电路61。具体说，对于参考块的每个小块该最大象素值输出到线66和68，同时最小象素值在线67和69上输出。类似地，对于该校验块的每个小块该最大值在线70和72上输出，同时最小值在线71和73上输出。该差分绝对值之和操作电路61求出剩余差并且该最小值电路62选择最小剩余差如前面所述那样作为校验块在该矢量范围内被移动。

以与第一实施例相似的方式来计算该剩余差，其中两最大值之间差的绝对值与两最小值之间差的绝对值相加。所识别的最大和最小值是在线66至73上输出的值(图6)，该剩余差＝|数据66-数据70|+|数据67-数据71|+|数据68-数据72|+|数据69-数据73|。

当第二实施例的发明以与相似于第一实施例的方式执行自适应采样时，第二实施例提供了对于每个块中的多个子块规定具有最大和最小值的象素位置的优点，因而给出了较高等级的精度。

根据第二实施例该发明还对参考块为16×16象素块的情况提供了同样有利的结果。如图7A和7B所示，该参考块被分成8个4×8小块。根据本发明，确定这8个小块的每一个的最大和最小值。

在每个子块中存在有大量象素的情况下，在每个子块中可存在多于一个最大或最小值。最好是，通过选择具有所有象素对的最大距离间隔的最大和最小值象素对来选择每个最大和最小值中的每一个。另一方面，通过选择在一预置距离间隔上的最大和最小值象素对来进行选择。进一步的其他方案是，在提供更有利的参考图形的其他象素对上来选择一对最大和最小值象素的象素位置。

当该参考块包括大量象素值时，它还有利于“标记”每个最大和最小象素值。图7B示出了图7A的最大和最小值的标记被设置为“1”而其它的象素值的标记被设置为“0”的情况。标记“1”表明该象素的位置被选择。因此，为了选择多个最大或最小象素值中的一个，该选择电路迅速地确定两个象素之间的距离。

随后，图7A的子块以类似于对于4×4参考块所述的方式来进行处理。因此，从所采样的象素值来计算该剩余差并且当该校验块在该矢量范围内移动时选择该最小剩余差是正确的。因此，本发明可以适用于通过将参考块分成子块的任何尺寸的参考块并且从该子块计算该最小剩余差。因而，本发明具有处理比迄今为止可被处理的更高密度的电视广播的附加优点。

因此，本发明提供了在运动矢量检测操作中所使用的象素的自适应采样。应特别一提的是如图5所提示的那样，与固定采样方法相比本发明的信噪比明显地要高。因而，本发明明显地改善了校验块与参考块的匹配并避免了错误的匹配。

在参照一MPEG系统描述了上述发明的同时，本发明还可应用于利用运动矢量的其它场合。因而，在所附权利要求的范围内，本发明还可有除这里所明确地描述之外的其它实现方式。

Claims (22)

1、一种自适应运动矢量检测装置，用来自适应地检测在第一视频帧和第二视频帧之间的运动矢量，所述第一视频帧包括一象素的参考块和所述第二视频帧包括一象素的校验块，该装置包括：

用来存贮所述参考块和校验块的寄存装置；

参考块分析装置，用来从所述参考块的一特征中自适应地确定在所述参考块中象素的位置；和

选择装置，用来在由所述参考块分析装置所确定的所述位置上，对在所述参考块中的象素和对在所述校验块中的象素进行采样；

差分绝对值之和操作装置，用于计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和

最小值装置，用于选择最小的绝对剩余差。

2、如权利要求1所述的自适应运动矢量检测装置，其中该特征是在该参考块中的象素的最大和最小值。

3、如权利要求1所述的自适应运动矢量检测装置，其中该特征是在所述参考块的所述象素值和在所述参考块的所述象素的平均值之间的最大和最小差。

4、如权利要求1所述的自适应运动矢量检测装置，其中该特征是在该参考块中的象素的最大和最小值，以及在所述参考块中的所述象素的值与在所述参考块中的所述象素的平均值之间的最大和最小差。

5、如权利要求1所述的自适应运动矢量检测装置，其中该特征是在所述参考块中相邻象素的值之间的最大和最小差。

6、如权利要求1所述的自适应运动矢量检测装置，进一步包括特征提取装置，用来从具有一提取特征的所述参考块和校验块中提取象素值。

7、如权利要求6所述的自适应运动矢量检测装置，其中所述特征提取装置是一低通滤波器。

8、如权利要求6所述的自适应运动矢量检测装置，其中所述特征提取装置将所述参考块和校验块分成较小块并将在每个所述较小块内的象素值相加。

9、如权利要求6所述的自适应运动矢量检测装置，其中所述特征提取装置执行一集合估算，分别在所述参考块和校验块的横向和垂直方向上将象素值相加。

10、一自适应运动矢量检测装置，用来检测在第一视频帧和第二视频帧之间的运动矢量，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该装置包括：

分离装置，用来将所述参考块分成子参考块和将校验块分成子校验块；

用来存贮象素的所述子参考块和子校验块的小块寄存器；

最大/最小值检测装置，用于确定在每个所述子参考块中的最大和最小象素值并响应于它而产生选择信号以指明对于每个子参考块的所述位置；

选择装置，用来在对所述各个子参考块所确定的所述位置上的各个子参考块中的象素和所述子校验块中的一个块中的象素进行采样；

差分绝对值之和操作装置，用于计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和

最小值装置，用于选择最小的绝对剩余差。

11、如权利要求10所述的自适应运动矢量检测装置，其中所述选择装置根据所述选择信号对在每个所述子参考块和子校验块之中的象素进行采样。

12、一种自适应运动矢量检测方法，用来自适应地检测第一视频帧和第二视频帧之间的运动矢量，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该方法包括有步骤：

存储所述参考块和所述校验块；

自适应地根据所述参考块的一特征确定所述参考块中象素的第一子集的位置；

在所述确定的位置上对在所述参考块中的象素和在所述校验块的象素进行采样；

计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和

选择最小的绝对剩余差。

13、如权利要求12所述的自适应运动矢量检测方法，其中所述特征是在该参考块中的象素的最大和最小值。

14、如权利要求12所述的自适应运动矢量检测方法，其中所述特征是在所述参考块中所述象素的值和在所述参考块中所述象素的一平均值之间的最大和最小差。

15、如权利要求12所述的自适应运动矢量检测方法，其中所述特征是在该参考块中的象素的最大和最小值，以及在所述参考块中所述象素的值与在所述参考块中所述象素的一平均值之间的最大和最小差。

16、如权利要求12所述的自适应运动矢量检测方法，其中所述特征是在所述参考块中相邻象素值之间的最大和最小差。

17、如权利要求12所述的自适应运动矢量检测方法，进一步包括从具有一提取特征的所述参考块和校验块中提取象素值的步骤。

18、如权利要求17所述的自适应运动矢量检测方法，其中所述提取步骤包括低通滤波象素的步骤。

19、如权利要求17所述的自适应运动矢量检测方法，其中所述提取步骤将所述参考块和校验块分离成较小块，并将每个所述较小块内的象素值相加。

20、如权利要求17所述的自适应运动矢量检测方法，其中所述被提取的象素值是通过集合估算而得到的，该集合估算分别将横向和垂直方向上的象素值相加。

21、一种自适应运动矢量检测方法，用来检测第一视频帧和第二视频帧之间的运动矢量，所述第一帧包括一象素的参考块和所述第二帧包括一象素的校验块，该方法包括步骤：

将所述参考块分成子参考块和将所述校验块分成子校验块；

存储象素的所述子参考块和所述子校验块；

根据每个子参考块中一特征自适应地确定每个子参考块的第一象素子集的位置；和

在对于所述各自子参考块所确定的所述位置上对在各个子参考块中的象素和所述子校验块的一个子块中的象素进行采样；

确定在每个所述子参考块中象素的最大和最小值和相应于其而产生选择信号以指明每个子参考块的所述位置；

计算所选择的参考块象素和所选择的校验块象素之间的绝对剩余差；和

选择最小的绝对剩余差。

22、如权利要求21所述的自适应运动矢量检测方法，其中在每个所述子参考块和子校验块中的所述象素根据所述选择信号而被采样。

Images