CN1222283A - 利用基于运动的分段和归并的视频编码器和解码器 - Google Patents

Abstract

本发明涉及视频的运动补偿(MC)编码和一种MC预测方案,该方案对运动向量字场作快速和压缩编码,同时保持很低的预测误差。通过减少预测误差和表示运动向量字场所需的比特数,比特率可以大大节省。表示运动向量字场所需比特率的减少,是通过归并视频帧的段,调整运动字场模型和应用基于正交多项式的运动字场模型来获得的。

Description

利用基于运动的分段和归并的视频编码器和解码器

发明领域

本发明总的来说涉及视频压缩。更准确的说，本发明涉及一种对视频数据作运动补偿编码的编码器和一种对视频数据作运动补偿编码的方法。本发明还涉及对这样编码的视频数据进行解码的一种解码器。

发明场景

运动补偿预测是多数视频编码方案的关键元素。图1是一编码器的示意图，它利用运动补偿对视频序列进行压缩。该编码器中的必要元素是运动补偿预测模块1，运动估算器2和运动字场编码器3。运动补偿视频编码器的操作原理是对预测误差E_n(x,y)进行压缩，该误差是输入要编码的帧I_n(x,y)即所谓当前帧，和预测帧_n(x,y)之间的差，其中：

E_n(x,y)=I_n(x,y)-_n(x,y)    (1)

预测帧_n(x,y)由运动补偿预测模块1构造，它是利用前面的象素值构造，或利用其它一些已编码的帧 所谓参考帧来构造，运动向量描述了当前帧和参考帧之间象素的估算移动。运动向量在运动字段估算器2中计算，所产生的运动向量字场在送往预测模块1之前以某种方式进行编码。因而预测帧为： ${\hat{I}}_n(x,y)={\tilde{I}}_{n-1}[x+\mathrm{\Δx}(x,y),y+\mathrm{\Δy}(x,y)]-----\left(2\right)$

我们把[Δx(x,y),Δy(x,y)]这对数称为当前帧中位置(x,y)处象素的运动向量，其中Δx(x,y)和Δy(x,y)是该象素在水平和垂直方向的位移。当前帧I_n(x,y)中所有象素的运动向量的集合称为运动向量字场。编码过的向量字场也作为运动信息传送给解码器。

在图2所示的解码器中，只要在参考帧

中查找到象素的预测值_n(x,y)，当前帧I_n(x,y)的象素就可重建。运动补偿预测模块21利用接收到的运动信息和参考帧

(在该图中参考帧就是当前帧)产生预测帧。在预测误差解码器22中，一个解码过的预测误差帧E_n(x,y)和预测帧相加，所得结果就是原始的当前帧I_n。

运动补偿(MC)预测编码器总的目标就是要最小化需传送给解码器的信息量。它应该能最小化检测到的预测误差量，例如E_n(x,y)的能量，和最小化表示运动向量字场所需的信息量。

文献N.Nguen,E.Dubois,“Representation of motioninformation for image coding”.Proc.Picture Coding Symposium’90,Cambridge,Massachusetts,March 26-18,1990,pages 841-845,给出了运动字场编码技术的一个综述。

作为显然的规则，预测误差的减少需要一个要更精细复杂的运动字场，即在编码中要花费更多的比特位。因此视频编码的总目标就是编码时尽可能对运动向量字场作压缩，同时保持尽可能低的预测误差检测量。

由于一帧中含大量的象素，传送每个象素的运动向量的做法是低效率的。取而代之的是，在大多数编码方案中当前帧被分为如图3中所示的图象段，以便段中的所有运动向量能用少数几个参数来描述。图象段可以是矩形块。例如16×16的象素块可用在符合国际标准ISO/IEC MPEG-1或ITU-T H.261的编码解码器上，或者它们可包含完全不规则形状的区域，这些区域例如是由分段算法得到的。实际中的段至少包括数十个的象素。

图1的运动字场估算模块1计算一个给定段中所有象素的运动向量，最小化了该段中的一些预测误差检测量，例如平方预测误差。运动字场估算技术在运动字场模型中和在最小化预测误差的一些选择检测量的算法中是不同的。

为了压缩表示段中象素的运动向量，它们的值需要用一含几个参数的函数来描述。这样的函数称为运动向量字场模型。一组已知的模型是线性运动模型，其中的运动向量近似等于运动字场基本函数的线性组合。在这些模型中图形段的运动向量通常可用下面的公式来描述： $\mathrm{\Δx}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{c}_i{f}_i(x,y)$ (3) $\mathrm{\Δy}(x,y)=\underset{i=N+1}{\overset{N+M}{\mathrm{\Σ}}}{c}_i{f}_i(x,y)$

其中参数c_i称为运动系数，它将传送给解码器。函数f_i(x,y)称为运动字场基本函数，该函数不论对编码器还是解码器都有一已知的固定形式。

利用上述公式的线性运动模型时，问题是怎样以一种计算上的简单方式来最小化传送给解码器的运动系数c_i的数目，同时保持某些检测量尽可能低的失真，例如预测误差E_n(x,y)的选中检测量。

需要传送给解码器的运动系数的总数取决于图象的段数和每段中运动系数的数目。因此，至少存在两种方式来减少运动系数的总数。

第一种方式是减少段数，通过组合(归并)那些可以用相同的运动向量字场模型来预测而不会引起预测误差较大增加的段。帧的段数是可以减少的，因为通常相邻的段可用相同的运动系数集进行很好的预测。组合这些段的过程称为运动协助归并。图3表示一帧被分为许多段。现有的运动系数编码技术包括好几种运动协助归并技术。所有段的运动向量都被估算出来之后，执行运动协助归并。这样做时要考虑每一对相邻段S_i和S_j的运动系数C_i和C_j。S_i和S_j的组合区域表示为S_ij。如果区域S_ij可用一运动系数集C_ij来预测，并且和单独对S_i和S_j进行预测的结果相比，没有引起预测误差过度的增加，那么S_i和S_j就可以归并。这些运动协助归并方法的本质区别在于如何找到一个单独的运动系数集c_ij，使得用该系数集能对组合在一起的段进行良好的预测。

一种已知的方法是完全无遗漏运动估算归并。这种方法“从乱涂写”中估算出每对相邻段S_i和S_j的新运动参数集C_ij。如果S_ij的预测误差没有过度增加，那么段S_i和S_j就进行归并。尽管这种方法可以很好地选择出那些能归并的段，但它是不可行的，因为通常它会增加编码器好几个数量级的复杂度。

另一种已知的方法是通过运动字场扩展的归并。这种方法尝试区域S_ij是否可以用运动参数C_i或C_j中的一个进行预测，而不会引起预测误差的过度增加。该方法的特征是运算复杂度很低，因为它不需要进行任何新的运动估算。可是，它通常不能归并较多的段，因为运动补偿中为一个段计算的系数很少也能很好地对相邻段进行预测。

还有一种已知的方法是通过运动字场适配的归并。在这种方法中运动系数C_ij由近似方法计算得到。这样做是通过对每段中的几个运动向量赋值。段S_i和S_j中的一些运动向量已在图3中画出。段S_ij中运动字场的确定，是利用一些已知的适配方法并通过这些向量来适配共同的运动向量字场。该方法的缺点是由适配得到的运动字场不够精确，经常会导致让人无法接受的预测误差增加。

用不同模型执行运动估算并从中选出最合适模型的方法在下面的文献中被提到：H.Nicolas and C.Labit,“Region-based motionestimation using deterministic relaxation schemes for imagesequence coding,”Proc.1994 International Conference onAcoustics,Speech and Signal Processing,pp.Ⅲ265-268和P.Cicconi and H.Nicolas,“Efficient region-based motionestimation and symmetry oriented segmentation for image sequencecoding,”IEEE Tran.On Circuits and systems for Video Technology,Vol.4 No.3,June 1994,pp.357-364。这些方法试图根据运动的复杂度来调整运动模型，用不同的运动模型来执行运动估算并从中选出最合适的一个。这些方法的主要缺点是计算复杂度高，只有少数几个运动字场模型可在实际中试用。

第二种最小化运动系数数目的方式是为每段选择一个运动模型，以便用尽可能少的系数来获得满意的低预测误差。因为运动的总数和复杂度在帧与帧之间和段与段之间是变动的，所以每段总是使用所有N+M个运动系数是低效率的。必须找到每段的最小运动系数数目，以获得满意的低预测误差。这种调整选择系数的过程称为运动系数移去。

前面描述的这些方法没有一种能单独解决怎样最小化运动系数c_i数目的问题，这些系数将传送给解码器，同时保持尽可能低的预测误差检测量。

发明概述

本发明的一个目的是创建一种运动补偿视频编码器、一种视频数据运动补偿编码的方法、一种对运动补偿编码过的视频数据进行解码的视频解码器，这种做法可以大大减少用一些已知运动估算器产生的运动向量字场数据的总量，而不会引起让人无法接受的运动向量字场的失真。运动字场编码器的复杂度应宁可低一些，以便能实际应用在可获得的信号处理器或通常意义的微处理器上。

本发明分散在权利要求1,10,20,23,26和39中作了相应的定义。本发明的实施例在从属的权利要求中作了定义。依照本发明的第一方面，编码器执行段的归并，用有效计算方式找到归并段的一个运动系数集来最小化失真检测量。如果需要，本发明的这方面还可对由于段归并而引起的失真进行简单有效的赋值。方便地，依据这方面的编码器可对视频帧的相邻段执行调整归并，方法是依据预定义的检测手段计算附加的失真，如果附加的失真可以容忍则归并这些段，例如当低于某一给定的阈值或对于所需比特率减少来说可以容忍时。选中用来计算失真的检测量可以是预测误差的某些检测量，例如段的能量或平方预测误差，但并不仅仅局限于这些检测量。失真的另一个检测量，例如可以是原始帧和经编解码后恢复的原始帧之间的平方差。为此，在视频编码器中运动字场编码器包括两个主模块。

第一主模块可称为QR运动分析器。它的任务是找出一种新的方式来表示输入的运动向量字场，该输入字场由运动字场估算器产生。这种新表示方式将用于第二主模块。第一主模块中的运算包括许多步的矩阵运算：在第一步中利用一些已知的近似方法对预测帧进行线性化，以便预测帧成为运动向量的线性函数。在第二步中构建矩阵E_i和矩阵y_i，使得预测误差的适当检测量，例如平方预测误差，可降低到最小。为此矩阵E_i被分解为两个矩阵Q_i和R_i的乘积。另外，还可从因数矩阵Q_i和矩阵y_i计算出一附加向量z_i。矩阵R_i和附加向量z_i部分将用于第二主模块。

第二主模块称为段归并模块，对成对的段S_i,S_j执行归并操作。方便地，本模块检查这些组合区域是否可用同一个运动字场模型进行预测。在归并操作中，一个矩阵方程首先由上述的因数矩阵形成，然后利用已知的矩阵计算方法对因数矩阵进行处理。结果是矩阵方程可用一种简单有效的方式来计算运动系数，该系数在允许范围内同时适用于成对的两个段。利用这些系数可计算出归并段区域中失真的某些检测量。如果平方预测误差作为失真的检测量，那么可以用上面产生矩阵中的一个来简单计算出平方预测误差。如果依据选定标准，预测误差检测量的改变可以接受，那么段就进行归并。

当每一对段都可认为是段归并模块的输出后，图象就以减少的段数作了重新分段。并且对于每个新段，模块输出一矩阵R¹ _ij和一向量z¹ _ij，可以用它们来简单有效地计算所有运动系数。还有，编码器将信息提供给解码器，使之能重建帧中产生的新段。

依据本发明这方面的段归并模块，可从计算上简单判断哪些段可以归并为一个段。通过判断每对相邻的段是否可能进行归并，并且对新产生的段重复该过程，直到帧中剩下的每对相邻段都不适合进行归并为止，就可以做到归并尽可能多的段。

依据本发明的一个实施例，失真总量可从附加失真的线性近似计算得到，该附加失真是由于将运动向量字场近似为基本函数的线性组合而引起的。

依据本发明第二方面的编码器，从代表某段的运动向量字场的系数集当中移去一些系数，用有效计算方式找到那些对于失真的一种检测量来说最适宜留下的系数。如果需要，依据这方面的发明能检验省略掉系数集中的某个特定系数是否会引起向量字场失真的大大增加。这种检验是以有效的计算方式执行的，以便对每段S_i系数集的每个系数都可进行这样的检验。那些经检验发现如果省略掉时会大大增加失真的系数，则需要传送给解码器。

依据本发明第二方面的编码器，包含一个第一主模块，该模块在操作上类似于本发明第一方面的第一主模块。该编码器还包含一个第二模块，它接收每段S_i的由第一模块产生的矩阵R_i和向量z_i，如果需要，还可基于每段的矩阵R_i和向量z_i决定是否可能通过从模型中移去基本函数来简化运动向量模型，而不会使失真有不可容忍的增加。

第二模块中的运算是矩阵运算，其中矩阵方程首先作的修改是移去矩阵方程R_ic=z_i的一列和一行，c是包含模型的系数c_i的向量。移去一列和一行对应于从运动模型中移去一个基本函数。然后矩阵方程被三角化。运动系数对应于减少了的基本函数集，可以通过求解上面产生的线性方程计算得到。该方程可以用逐步替代法或其它已知的算法解出。如果预测误差用作失真的一个检测量，那么移去基本函数而引起的段的预测误差改变，仅仅是所产生方程中一个的预定函数。

通过进一步重复这些矩阵运算，段的更多系数可以减少。利用这种途径，人们在用不同的已减少的基本函数集时，能很容易找出失真。能产生所期望较低失真的函数集被选出用来表示段的运动。

该模块输出每个处理段的选择信息，选择信息表明哪些基本函数可从运动向量模型中移去。另外该模块还输出新的运动系数，它对应于保留下的基本函数。选择信息和运动系数都传送给解码器。

从基本函数集中移去一个基本函数完全等价于将对应要移去的基本函数的系数值置为0。因此，在一种可替选实现中，编码器不是输出选择信息之后输出运动系数，而是输出所有的运动系数，其中那些与移去的基本函数对应的系数值等于0。

优选的是，一种运动补偿视频编码器同时可调整归并段和移去那些对总失真影响不大的运动系数。这种优选的编码器依据本发明的第一方面包括QR运动分析器和段归并模块，依据本发明的第二方面还包括系数移去模块。系数移去模块从段归并模块接收矩阵R_ij和向量z_ij。只有在归并相邻段和生成移去系数的矩阵R和向量z之后，再计算每段的系数用于传送，才会大大减少视频编码器输出的运动数据量。

优选的是，依据本发明的视频编码器和解码器可用硬件实现，例如可用一个或多个集成电路，分别依据本发明的不同方面，适合于对接收到的视频帧进行编码和压缩，对已编码的视频数据进行解码等。

在视频编码技术中，通常用不同的编码模式对不同的视频帧区域进行编码。这些编码模式也包括本文中的运动补偿模式。其中有几个模式用在所有的现代视频编码解码器中，例如ITU的H.261和H.263以及ISO的MPEG-1和MPEG-2视频编码标准。

举例来说，一些视频帧区域的编码根本没有利用任何临时预测(所谓内部块)。对于这些图象区域不传送运动系数，这些区域也不参考任何先前的图象进行编码。本发明的实际实施例也包含了这种内部编码的发明。

而且，在通常的视频图象序列中，视频帧中的大部分区域在连续几帧时保持静止(即没有运动)。在计算上检测一个保持静止的区域比估算视频帧区域的运动要容易得多。因此，实际的编码解码器经常检测那些没有任何运动的区域，它包括一静止预测模式，这时不需要传送任何运动参数。本发明的实际实施例也包含了这种静止模式的发明。

MPEG视频编码标准还包括一种编码模式，其中它的运动估算是按照两个参考帧(双向预测)来执行的。这一区域的两种不同预测结果将被编码。编码器会决定采用预测中较好的那个，或决定组合这两个预测结果(例如取它们的平均)。有关模式的决定则需要传送给解码器。ITU的H.263标准还包括一利用两个参考帧的临时预测模式。显然，本发明能从利用多参考帧的类似技术中受益。

因此对于本领域的技术人员来说很显然，本发明可以作为视频编码解码器中一个或多个编码模式的基本成分，其中的视频编码解码器同时用到了现有的编码模式(例如内部编码，静止模式，或多参考帧)。

本发明的优选实施例将参照附图给出描述。

附图简述

图1是一已知编码器的示意图；

图2是一已知解码器的示意图；

图3描绘了要归并的相邻向量段；

图4举例说明了用运动字场近似法的归并；

图5是依据本发明的运动字场编码器；

图6是QR运动分析器的示意图；

图7是依据本发明的一个运动补偿预测模块实施例的示意图。

优选实施例描述

图1所示视频编码器的输出是分为段S_i的压缩帧，每段S_i都伴随有关于该段每个象素(x,y)的运动向量[Δx(x,y),Δ(x,y)]的信息。那么对于一个由P个象素组成的段S_i来说，其中P个象素的坐标分别为(x_i,y_i),i=1,2,…,P，运动向量编码器3的任务就是，从运动字场估算模块2输出的运动向量字场[Δx(x_i,y_i),Δ(x_i,y_i)]中找到运动向量字场

的运动系数c=(C₁,C₂,…,C_N+M)，其中 近似等于[Δx(x,y),Δ(x,y)]，尽可能精确地用线性运动模型表示为： $\widetilde{\mathrm{\Δx}}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{c}_i{f}_i(x,y)-------\left(4a\right)$ $\widetilde{\mathrm{\Δ}}y(x,y)=\underset{i=N+1}{\overset{N+M}{\mathrm{\Σ}}}{c}_i{f}_i(x,y)--------\left(4b\right)$

这样它最小化了平方预测误差SPE： $\mathrm{SPE}=\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{(I_n(x_i,y_i)-I_{n-1}(x_i+\widetilde{\mathrm{\Δ}}x(x_i,y_i),y_i+\widetilde{\mathrm{\Δ}}y(x_i,y_i)))}^2------\left(5\right)$

图5举例说明了依据本发明的视频编码器中运动字场编码器的一个实施例。它对应于图1中的模块3，但它同时也把参考帧和当前帧作为输入。该模块的第三个输入是运动向量字场[Δx(·),Δy(·)]，它由图1中的运动字场估算模块2产生。

要完成上述任务，运动字场编码器3需由三个主构造模块组成：QR运动分析器31、段归并模块32和运动系数移去模块33。段归并模块32和运动系数移去模块33减少了运动信息量，这导致预测的准确度降低，因此平方预测误差会增加。

QR运动分析器的目的是找到运动字场的一种新表示方式，该表示方式适于有效判断段归并和系数移去对预测误差的影响到底有多大。这种新表示方式还将用在后面的其它两个模块中，用来快速灵活地找到段归并和系数移去后的运动系数。图6表示依据本发明的QR运动分析器的一个实施例。该模块包含一梯度滤波器，接收前一个视频帧输入I_n-1，或更优选地，接收前一个视频帧 ，该视频帧与由图2所示的视频解码器解码得到的帧

类似。为此图1所示的视频编码器也包含一预测误差解码模块5和装置7，用来计算视频帧

，它对应于由视频解码器解码得到的视频帧。

梯度滤波器的输出G_x,G_y输往模块42用来构造矩阵E，同时输往模块45用来构造向量y。矩阵构造模块42对预测帧

执行线性化，以便近似的预测帧是

和 的线性函数，模块42还在线性化矩阵E的基础上计算上面等式4a,4b所示的乘积，乘积包含一个由系数c_i构成的向量c，如果Δx,Δy替换为线性运动模型的基本函数f_i(x,y)的线性组合，那么乘积可以被解释为预测误差结果。

用来构造向量y的模块45接收当前帧I_n，预测帧

，梯度滤波器41的输出G_x,G_y，和图1中模块2估算出的运动向量[Δx(x,y),Δy(x,y)]，然后用这些输入的正确值计算向量y，向量y可解释为由于场景的运动而引起的预测误差，即固有误差。

矩阵E和向量y分别被QR因数分解模块43和矩阵乘法模块46接收。这些模块的功能可视为对矩阵E和向量y的坐标转换，目的是下一步找到系数c_i，以便对于给定段的所有象素来说，从基本函数f_i的线性组合Δx,Δy得到的预测误差结果尽可能接近固有预测误差。这一点将在下面作更加详细的解释。

模块43输出矩阵R，它是以矩阵Q为坐标形式表示矩阵E，模块43同时输出矩阵Q。模块46不仅接收向量y，还接收从模块43来的矩阵Q，然后找到以矩阵Q为坐标表示y的向量z。更优选的，矩阵Q是正交的。以下会进一步说明，把E和y分别表示为R和z，这种表示法将大大有助于判断相邻段是否可以进行归并，而预测误差的增加可以容忍，这种表示法还有助找到表示归并段和不可归并段的运动向量字场所必需的最小系数数目，即从等式4a,4b的系数集中移去那些不重要的系数。

模块44和模块47分别接收矩阵R和向量z并从中选出一些行，这些行可用来判断段归并和/或运动系数移去的效果。这些操作是基于R和z执行的，不需要计算上述系数c_i。而且，所有的操作都参考了R的行和z的对应行，以便为了段归并和/或运动系数移去的目的，R和z可被视作一个单独的列扩展矩阵A，该矩阵包含R的列，还包含作为附加列的向量z。因此，模块44和47在实现上可视为一个模块，它对矩阵A进行操作，从A中选择适当的行，然后输出包含选择行的修改矩阵A′。A′把从R选出的行表示为R¹，把从z选出的行表示为z¹。

段归并模块32接收每段的R¹和z¹，即矩阵A′，并且判断是否可对两段S_i,S_j进行归并，即以相同的系数集来表示两段的运动向量字场，而预测误差的增加可以容忍。这样做是通过产生一个行扩展矩阵B，该矩阵包含段S_i的矩阵A_i′的所有行和段S_j的矩阵A_j′的所有行。段S_i,S_j可以是相邻段，但不一定非得是相邻段。矩阵B还要作进一步的坐标转换，例如三角变换，产生一个修改矩阵B′。图5中的模块32判断是否可能对从矩阵B′选出的某些元素项进行段归并，即从向量z_i′和z_j′得到的那些列和从矩阵R¹ _i和R¹ _j得到的行列式B′中为0的那些行。优选的是，上述进一步的坐标转换是正交的。所以由归并而产生的附加预测误差是上面所选元素项的平方和。

如果相应的段没有归并，图5的运动系数移去模块33在帧再分段后接收每段的矩阵A′，或如果段已归并，模块33接收矩阵B′，然后判断是否可能移去系数c_i，而同时预测误差的增加可以容忍。在模块33中，先分别从矩阵A′或B′中抽取出一行，该行对应于系数c_i，然后对从矩阵A′或B′得到的矩阵执行优选的正交坐标转换。由于移去系数c_i而引起的附加预测误差，可以从变换后矩阵的一些选择元素项计算得到，这些选出元素项位于由转换后矩阵z¹产生的列和由R¹产生的所有行列中为0的那些行。图5的多路复用器34接收来自模块32的归并信息，含有选出系数c_i用于传送的信息，和选出的系数c_i，系数最后是在模块33中基于转换后矩阵计算得到的。多路复用器34输出的信息输往视频解码器(未画出)。

QR运动分析器更加详细的操作包含以下步骤：

步骤1是预测误差的线性化。在该步中式子(7)的预测误差帧

(·)利用一些已知的近似方法作近似，以便它关于

是线性的。那么公式(5)中元素项的和就成为系数c_i的线性组合 $\mathrm{SPE}=\underset{j=1}{\overset{P}{\mathrm{\Σ}}}(e_{j,1}{c}_1+e_{j,2}{c}_2+\·\·\·+e_{j,N+M}{c}_{N+M}-y_i{)}^2-------\left(6\right)$

在优选实现中，采用了含12个系数的二次多项式运动向量字场模型： $\widetilde{\mathrm{\Δ}}x(x,y)=c_1+c_{2}x+c_{3}y+c_4\mathrm{xy}+c_5{x}^2+c_6{y}^2----\left(4c\right)$ $\widetilde{\mathrm{\Δ}}y(x,y)=c_7+c_{8}x+c_{9}y+c_{10}\mathrm{xy}+c_{11}{x}^2+c_{12}{y}^2--------\left(4d\right)$

在实际中该模型可以很好地处理视频序列中甚至很复杂的运动，生成良好的预测结果。

在QR运动分析器模块中，步骤1的线性化就是对每个象素(x_i,y_i)作台劳展开

(·)，其中i=1,2,…,P，在这些点周围的点是： $x_i^{\′}=x_i+\widetilde{\mathrm{\Δ}}x(x_i,y_i)$ $y_i^{\′}=y_i+\widetilde{\mathrm{\Δ}}y(x_i,y_i)$

利用特性∑a²=∑(-a)²，平方预测误差可表示为： $\mathrm{SPE}=\underset{i=1}{\overset{P}{\mathrm{\Σ}}}({\tilde{I}}_{n-1}(x_i^{\′},y_i^{\′})+(\widetilde{\mathrm{\Δ}}x(x_i,y_i)-\mathrm{\Δx}(x_i,y_i))G_x(x_i^{\′},y_i^{\′})$ $+(\widetilde{\mathrm{\Δ}}y(x_i,y_i)-\mathrm{\Δy}(x_i,y_i))G_y(x_i^{\′},y_i^{\′})-I_n(x_i,y_i){)}^2$

辅助值g_j(x,y)可用下面的公式计算：

其中函数f_j(x_i,y_i)是一个预定义的基本函数，它依据等式(4a)和(4b)所定义的运动字场模型，或者更准确地说是依据等式(4c)和(4d)。

步骤2是矩阵的构造。它是基于这样的事实：依据公式(6)求SPE的最小值完全等效于求矩阵表达式(E_c-y)^T(E_c-y)的最小值，其中E和y分别是： $E=\left[\begin{array}{cccc}{e}_{\mathrm{1,1}}& e_{\mathrm{1,2}}& ...& e_{1,N+M}\\ e_{\mathrm{2,1}}& e_{\mathrm{2,2}}& ...& e_{2,N+M}\\ \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}\\ e_{P,1}& e_{P,2}& ...& e_{P,N+M}\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ y_2\\ \underset{.}{\overset{.}{.}}\\ y_P\end{array}\right]$

等式(9)中的矩阵E和向量y是利用下面的公式构造的： $E=\left[\begin{array}{cccc}{g}_1(x_1,y_1)& g_2(x_1,y_1)& ...& g_{N+M}(x_1,y_1)\\ g_1(x_2,y_2)& g_2(x_2,y_2)& ...& g_{N+M}(x_2,y_2)\\ \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}\\ g_1(x_P,y_P)& g_2(x_P,y_P)& ...& g_{N+M(x_P,y_P)}\end{array}\right]$

G_x(x,y)和G_y(x,y)是利用下面公式计算出的参考帧

(x,y)的水平和垂直梯度值： $G_x(x,y)={\tilde{I}}_{n-1}(x+1,y)-{\tilde{I}}_{n-1}(x-1,y)$ $G_y(x,y)={\tilde{I}}_{n-1}(x,y+1)-{\tilde{I}}_{n-1}(x,y-1)$

(x,y)的象素值，G_x(x,y)和G_y(x,y)定义为整数坐标的x和y。当x或y不是整数时，象素值例如可以用双向最靠近整数坐标的象素值去改写来计算得到。

步骤3是QR因数分解。矩阵的QR因数分解是众所周知的，合适的算法在D.H.Golub和C.Van Loan的“矩阵运算”第二版，JohnsHopkins大学出版社，1989中有详细描述。这种算法可以将E分解为两个矩阵的乘积

E=QR    (8)

换句话说，R是以Q为坐标来表示E。Q优选情况是正交的，所以R是一个上三角，即R的N+M+1到P行都为0。

在该步中还计算了一个辅助向量z，其中

z=Q^Ty    (9)

在步骤4中计算QR运动分析器模块的输出。该输出包含由矩阵R的首N+M行组成的矩阵R¹和由向量z的首N+M个元素组成的向量z¹。

在段归并模块中，归并操作是针对每对相邻的段S_i和S_j执行的，见图4，通过判断组合段S_ij的运动向量字场是否可以用一个共同的运动字场来表示，即用运动系数c_ij来描述。归并操作由以下几步组成：

步骤1包含矩阵计算。本发明运用了一种以前未知的特性，即运动系数c_ij在最小化归并段S_ij的预测误差的同时也最小化了标量值 $(\left[\begin{array}{c}{R^1}_i\\ {R^1}_j\end{array}\right]C_{\mathrm{ij}}-\left[\begin{array}{c}{Z^1}_i\\ {Z^1}_j\end{array}\right]{)}^T(\left[\begin{array}{c}{R^1}_i\\ {R^1}_j\end{array}\right]C_{\mathrm{ij}}-\left[\begin{array}{c}{Z^1}_j\\ {Z^1}_j\end{array}\right])-----\left(10\right)$

如上所述，段S_i和S_j的R¹ _i,z¹ _i和R¹ _j,z¹ _j已由QR分析模块产生。求解(10)的最小值等同于在最小平方检测基础上求解下面方程的超定系统 $\left[\begin{array}{c}{R^1}_i\\ {R^1}_j\end{array}\right]C_{\mathrm{ij}}=\left[\begin{array}{c}{Z^1}_i\\ {Z^1}_j\end{array}\right]----\left(10a\right)$

步骤2包含对步骤1得到的矩阵作三角化。依据前面提到文献的技术，如果段S_i的QR因数分解是E_i，段S_j的QR因数分解是E_j，那么矩阵R¹ _i,R¹ _j是一个上三角形，方程(10)中的系统 $\left[\begin{array}{c}{R^1}_i\\ {R^1}_j\end{array}\right]C_{\mathrm{ij}}=\left[\begin{array}{c}{Z^1}_i\\ {Z^1}_j\end{array}\right]$

具有下面的形式

其中符号x表示非零元素项，zⁱ _k表示向量z¹ _i的第k个元素，z^j _k表示向量z¹ _j的第k个元素。

方程(11)系统的三角化是运用一系列的标量行乘法和行加法完成的；即转换为下面的形式：

对于该三角化，也可以利用依据上述文献提及的QR因数分解。

在步骤3中归并误差作了估值。由归并段S_i和段S_j而引起的段S_ij的平方预测误差ΔE_ij的改变，可以用下面的式子计算 $\mathrm{\Δ}{E}_{\mathrm{ij}}=\underset{k=1}{\overset{N+M}{\mathrm{\Σ}}}{q_k}^2-------\left(13\right)$

在该优选实施例中，方程(11)的QR因数分解导致Q是正交的，以便等式13非常简洁。可是根据因数分解中Q的特性，如果用平方预测误差作为预测误差的一个检测量，ΔE_ij通常是q² _k的函数，k=1,2,...,N+M；当然,也可以采用其它的预测误差检测量，因而q_k和ΔE_ij之间也会有其它的函数关系。

最后，在步骤4中如果公式(13)的平方预测误差依据某一选定标准可以接受，那么段就进行归并。段归并模块在归并时用到下列策略：

a．一个阈值T被选出，对应于整个帧中平方预测误差的允许增加。

b．对所有的相邻段对，ΔE_ij是利用等式(13)计算得到的。

c．具有最小ΔE_ij的那一段对被归并。

d．重复步骤b-c，直到所有归并段对的ΔE_ij之和比T大。

在三角化方程(11)的系统时，可以利用一系列Givens旋转。

对于新产生的段S_ij，矩阵R¹ _ij和向量z¹ _ij的构造是通过提取方程(12)系统的首N+M行，由下式给出：

当考虑了帧中所有对的段之后，我们可得到段归并模块的输出。输出包含三种信息。首先，它给出了一种新的图象分法，使图象具有减少数目的段数。其次，模块输出每个新段的矩阵R¹ _ij和向量z¹ _ij。第三，它给出了归并信息，归并信息将传送给解码器，以便解码器能识别出那些被归并了的段。

段S_ij的运动系数c_ij=(c₁,c₂,...,C_N+M)可通过求解方程R¹ _ijc_ij=Z¹ _ij计算出来，但如果利用系数移去模块33则计算并非是必须的。还有，下面将进一步说明，在现阶段和执行系数移去之前，对运动字场模型做相对于归并段的正交化处理是有益的。这种正交运动字场模型对量化运动系数时产生的量化误差不太敏感。可是，为了尽可能清楚地描述优选实施例，最佳的运动字场模型正交化过程在此处略去。

系数移去模块33接受当前帧新的分段作为输入，对于每段S_k它接受式(14)所示的矩阵R¹ _k,z¹ _k，矩阵是由前面的段归并模块产生的。每段的运动向量用N+M个运动系数表示，N和M由运动字场模型的Δx和Δy决定。

运动系数移去模块33决定给定段的运动字场模型是否可能简化，而不会引起预测误差的过度增加。当一些基本函数从本应用场景技术中等式(3)的模型中移去时，可以得到一种简化的运动字场模型，只需用更少的系数来描述这种简化的运动字场模型。

下面的程序在模块33中对所有段执行，目的是找出第i个基本函数是否可以从运动字场模型中移去：

步骤1包括矩阵修改，其中线性方程系统

R¹ _kc_k=z¹ _k    (15)

作了修改，从R¹ _k中移去了第i列和从c_k中移去了第i个元素。

步骤2包括矩阵的三角化，优选的是利用前面文献中已提及的QR因数分解算法，或利用一系列Givens旋转。就是说，方程(15)的系统可以用已知的方式对其进行三角化，通过一系列的标量行乘法和行加法，即它可以转换为下面的形式：

步骤3包括误差估值。由于移去第i个系数而引起的段平方预测误差的改变简单地等同于方程(16)中的项q² _i。而且，这基于上述QR因数分解的Q是正交的才有效。通常根据Q的特性和预测误差检测，平方预测误差的改变是q_i的函数。

步骤4包括移去系数。如果预测误差的改变依据某个选定标准可以接受，那么系数c_i就从系数集中移去。系数的新数目现在是N+M-1。矩阵R¹ _k和向量z¹ _k也作了修改，例如用QR因数分解修改为如下形式：

基于方程(17)重复步骤1-4还可以进一步减少段的系数数目。

在运动系数移去模块中，下面的策略将被用到：

a．一个阈值T被选出，对应于整个帧中平方预测误差的允许增加。

b．对所有的段，它们的基本函数q_i ²是利用方程(16)计算得到的。

c．具有最小q_i ²段的基本函数被移去。

d．重复步骤b-c，直到不同段中所有移去基本函数的q_i ²之和比T大。

最后，步骤5包括系数计算。在移去适当的系数后，在本步中段S_k最后的运动系数通过求解下面的线性方程系统计算得到：

R¹ _kc_k=z¹ _k              (18)

其中矩阵R¹ _k和向量z¹ _k是前面步骤1-4的结果。该方程可以用我们熟知算法中的一种来求解，例如回代法。

该优选实施例并不计算基于R¹ _k和z¹ _k的系数c_i，但它还包括一个图中未画出的模块，用来对运动字场模型作正交处理，正交是相对于围绕给定段的矩形而言的。该模块接收当前帧的分段作为输入，每段S_k都有从段归并模块来的矩阵R¹ _k和zⁱ _k，如(14)中所示。在这个正交处理模块中多项式基本函数f_i(·)由正交多项式

(x,y)代替。那么该段的运动向量字场可表示为： $\mathrm{\Δx}(x,y)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\tilde{c}}_i{\tilde{f}}_i(x,y)$ (23) $\mathrm{\Δy}(x,y)=\underset{i=N+1}{\overset{N+M}{\mathrm{\Σ}}}{\tilde{c}}_i{\tilde{f}}_i(x,y)$ 尽管等式4中的运动向量字场完全等同于等式23中的一个，但后面的等式被采用，因为系数

比c_i对量化较不敏感，所以可用更少的比特数来表示。

正交多项式基本函数的计算将在下面的视频编码器和视频解码器中执行，基于每段的形状和运动模型的预定义基本函数f_i。

假定围绕给定段的矩形大小为N₁×N₂象素。首先计算一维多项式例如拉格朗日多项式的两个序列：

1．g_k(x),k=0,1,...在间隔[1,N₁]上正交，

2．h₁(y),l=0,1,...在间隔[1,N₂]上正交，二维(2-D)正交多项式基本函数

(x,y)是由1-D正交多项式的张量积构成： ${\tilde{f}}_i(x,y)=g_k\left(x\right)h_1\left(y\right)----\left(24\right)$

选取多项式的更多细节可参看A.Akansu和R.Haddad的“Multiresolution Signal Decomposition”,Academic PressInc.,USA,1992,pages 55-56。

相对于围绕给定段矩形的这种正交化和用其它方法的正交化相比，在计算上复杂度要低得多，尽管如此，其它方法也可以用作替选，例如相对段的形状作正交化。

通常，众所周知的正交化算法例如Gramm-Schmidt算法用来将一般多项式转换为在任意形状段区域正交的多项式。正交多项式基本函数

(·)被选出，以便它们可表示为多项式基本函数f_k(·),k=1,2,...,i，的线性组合，即 ${\tilde{f}}_i(x,y)=\underset{k=1}{\overset{i}{\mathrm{\Σ}}}{t}_{k,i}{f}_k(x,y),i=\mathrm{1,2},\·\·\·,N+M----\left(25\right)$

这种假定能保证，通过简单矩阵乘法从非正交到正交的基本函数转换可以用较低的计算复杂度来完成。

当基本函数形式f_i(·)改变为它们的正交版本 (·)时，描述段运动向量字场的矩阵R¹ _k和z¹ _k需要重新计算。对应正交多项式基本函数

的新矩阵 和

满足方程(25)，可以依据下面公式的矩阵R¹ _k和向量z¹ _k计算得到： ${{\tilde{R}}^1}_k={R^1}_{k}T-------\left(26\right)$ ${{\tilde{Z}}^1}_k={Z^1}_k------\left(27\right)$

而矩阵T由下式给出 $T=\left[\begin{array}{ccccc}{t}_{\mathrm{1,1}}& t_{\mathrm{1,2}}& t_{\mathrm{1,3}}& ...& t_{1,N+M}\\ 0& t_{\mathrm{2,2}}& t_{\mathrm{2,3}}& ...& t_{2,N+M}\\ 0& 0& t_{\mathrm{3,3}}& ...& t_{3,N+M}\\ ...& ...& ...& ...& ...\\ 0& 0& 0& ...& t_{N+M,N+M}\end{array}\right]$ 其中元素项可从方程(25)得到。段S_k的新运动向量系数 ${\tilde{c}}_k=({\tilde{c}}_1,{\tilde{c}}_2,\·\·\·,{\tilde{c}}_{N+M})$ 对应于正交多项式基本函数 (·),i=1,...,N+M，可利用多项式基本函数f_i(·),i=1,...,N+M对应的系数c_k=(c₁,...,C_N+M)计算得到 ${\tilde{c}}_k=T^{-1}{c}_k-----\left(29\right)$ 或通过求解方程系统： ${{\tilde{R}}^1}_k{\tilde{c}}_k={{\tilde{z}}^1}_k--------\left(30\right)$ 系数移去模块33接收当前帧新的分段作为输入，对于每段S_k它都接收由正交化模块产生的矩阵 和

。每段的运动向量字场用N+M个运动字场模型基本函数表示。

如上所述，对于给定段S_k，运动系数移去模块33决定它是否能简化运动字场模型。

图7表示了图1中运动补偿预测模块1的一个实施例。该模块接收由运动字场编码模块3输出的运动信息，另外还接收一个参考帧(x,y)。基于这些信息，模块1输出预测帧_n(x,y)。如图7所示，运动补偿预测模块1包含一多路分解器11，用来从运动字场编码模决3接收多路运动信息，然后输出分解了的多路运动信息成分，即图象分割信息，系数选择信息和要传送的运动系数值。参考数字12表示图象分割模块，它接收图象分割信息和参考帧

(x,y)，并且依据图象分割信息产生输出帧的段。参考数字13表示基本函数构造模块。该模块从一组预定义的基本函数中选出一些特定的基本函数，用来表示运动字场编码模块3中运动系数移去模块所产生的选择信息。参考数字14表示段预测模块，它接收参考帧 (x,y)中每段的基本函数关联选择信息和关联运动系数，计算运动向量

并且基于该运动向量计算每段中每个象素点(x,y)的预测帧n(x,y)。运动补偿预测模块1在结构和功能上对应于图2所述视频解码器的运动补偿预测模块21。这两个运动补偿预测模块的预测都是基于图1中视频编码器的运动字场编码模块3所输出的运动信息进行的。

从上面所有模块所有步骤的结果可知，依据本发明的运动字场编码器产生归并信息和选择信息，归并信息告知解码器哪些段被归并，选择信息告知解码器哪些基本函数被移去，运动字场编码器还产生运动系数信息。

本发明和现有技术解决方案相比，主要优点为它能大大减少运动信息量而不会引起预测误差的较大增加。另外整个系统的复杂度比较低，能在我们可以得到的信号处理器和通常意义的微处理器上具体实现。

段归并模块有一独特的功能，它可从为分离段估值的给定运动向量中得到组合段的运动向量。从保持组合段的平方误差最小方面看，可以证明该模块产生的运动向量事实上是最优的。这解释了该模决能大大减少段数目而平方预测误差的增加非常有限。

运动系数移去模块是一很有效的工具，用来即时调整运动模型以适合视频序列中运动的实际数量和类型。该模块能很容易利用大量的模块测试预测结果(段的平方预测误差值)，例如可用运动字场基本函数的所有可能组合进行测试。本方案的一大优点是，它不需要重复运动估算过程因而在计算上简单。

在运动估算之后进行QR运动分析，运动字场编码器可以找到图象段任何要求组合的新运动系数或段中任何要求的运动字场模型，只需求解非常简单的线性方程系统。

系统可以用许多不偏离本发明的精神和范围的方式实现。例如，在方程(3)中可采用不同的线性运动模型。在方程(5)中可用不同的方法来线性化其中的项。还有，可用不同的标准来决定是否归并两个段。而决定一个给定基本函数是否应从模型中移去的策略也是各种各样的。方程(10)和(15)中矩阵的三角化可以采用其它的算法执行，通过求解方程(18)来计算最后的系数也可以利用许多已知的求解线性方程系统的算法。最后，可用不同的方法对 (x,y),G_x(x,y)和G_y(x,y)值的非整数系数作修改。

Claims (43)

1．对视频数据执行运动补偿编码的编码器包含：

-装置(2)，用来估算运动向量字场(Δx,Δy)，该字场描述了视频帧象素的场景运动位移；

-装置(3)，用来得到表示运动向量字场的运动系数(c_i)；

-装置(1)，用来预测视频数据帧，该预测基于第一个视频数据帧和上述运动向量字场；

-装置(6)，用来计算预测误差帧，该计算基于上述预测视频数据帧和第二个视频数据帧输入；

-装置(4,8)，用来将上述运动系数和预测误差帧传送给解码器；

-上述用来得到运动系数的装置(3)还包含

-将每帧分割为段(S_i)的装置；

-装置(41,42,45)，用来计算和存储每段的失真矩阵E和失真向量，以便每段失真的预定义检测量ΔE可表示为函数(Ec-y)，失真是由于把运动向量字场近似为基本函数f_i集的系数(c_i)而造成的，函数中的c是含运动系数c_i的向量；

-装置(31)，用来将失真矩阵E分解为第一矩阵Q和第二矩阵R，以便

det Q≠0且

Q R=E

Q中所有列的一个子集是一向量空间的主要成分，该向量空间由E中所有列向量的所有可能线性组合来定义，Q的列是彼此正交的；

-装置(46)，依据z=Q^-1y计算辅助向量z，其中Q^-1是矩阵Q的逆矩阵；

-装置(44,47)，用来产生每段的列扩展矩阵A，该矩阵包含R的列和z作为附加列，装置(44,47)还选出矩阵A中R的所有行列中元素项不等于0的那些行；

-装置(32)，用来产生一行扩展矩阵B，矩阵B由段(S_i)的矩阵A中的选出行和另一段(S_j)的矩阵A中的选出行组成；

-装置(32)，用来对矩阵B中标量值不为0的行作一系列乘法和加法，以便得到修改矩阵B′，使得该修改矩阵中的R行列上有尽可能多的行是0。

2．依据权利要求1的编码器，其特征在于

-装置(32)，用来计算误差值，它是矩阵B′中元素项的预定函数；和

-装置(32)，指令将帧分割为段(S_i)的装置，基于上述误差值归并段(S_i)和另一段(S_j)。

3．依据权利要求2的编码器，其特征在于

-上述用来计算误差值的装置，同样适合于计算归并误差，归并误差为修改矩阵B′中z附加列的元素项的函数，而矩阵B′中R行列的所有行是0。

4．依据权利要求1-3中任何一条的编码器，其特征在于

-装置(33)，通过求解线性方程系统Dc=d，计算和输出每段的运动系数c_i；

-如果该段是一未归并段，则D是移去矩阵A中所有未选行和移去z附加列后得到的矩阵，d是移去未选行后A的z附加列；

-如果该段是一归并段，则D是移去矩阵B′的R行列中所有为0的行和移去z附加列后得到的矩阵，d是移去R行列中为0的那些行后矩阵B′的z附加列。

5．依据前面权利要求中任何一条的编码器，其特征在于

-用来分解E的装置(31)同样适合于分解E，以便矩阵Q是一正交矩阵，即它的列向量q满足q_i  q_k=1当i=k时，和q_i  q_k=0当i≠k时；和

-用来计算辅助向量z的装置(46)也适合于计算Q^-1，只需交换矩阵Q的列向量和行向量。

6．依据权利要求5的编码器，其特征在于

-用来分解E的装置(31,43)同样适合于产生具有三角形的矩阵R。

7．依据前面权利要求中任何一条的编码器，其特征在于

-用来计算误差值的装置(32)，同样适合于计算修改矩阵B′中z附加列元素项的平方和的误差值，而矩阵B′中R行列的所有行是0。

8．依据前面权利要求中任何一条的编码器，其特征在于

-用来计算和存储失真矩阵E的装置(42)包含一梯度滤波器(41)，该装置可基于预测帧的台劳级数展开线性项和基于基本函数f_i来计算E的第j行和第k列的元素项e_jk。

9．依据权利要求4的编码器，其特征在于

-对运动系数作正交化处理的装置，该装置对运动系数执行坐标转换，即对应于将基本函数集f_i转换为彼此正交的基本函数集，正交是相对于段的形状所决定的区域来说的；和

-用来对得到的正交运动系数进行量化和编码的装置。

10．对视频数据执行运动补偿编码的编码器，包含：

-装置(2)，用来估算运动向量字场(Δx,Δy)，该字场描述了视频帧象素的场景运动位移；

-装置(3)，用来得到表示运动向量字场的运动系数(c_i)；

-装置(1)，用来预测视频数据帧，该预测基于第一个视频数据帧和上述运动向量字场；

-装置(6)，用来计算预测误差帧，该计算基于上述预测视频数据帧和第二个视频数据帧输入；

-装置(4,8)，用来将上述运动系数和预测误差帧传送给解码器；

-上述用来得到运动系数的装置(3)还包含

-将每帧分割为段(S_i)的装置(31)；

-装置(43)，用来计算和存储每段的失真矩阵E和失真向量y,以便每段失真的预定义检测量ΔE可表示为函数(Ec-y)，失真是由于把运动向量字场近似为基本函数f_i集的系数(c_i)而造成的，函数中的c是含运动系数c_i的列向量；

-用来计算失真矩阵E的第一矩阵Q和第二矩阵R的装置，使得

det  Q≠0且

QR=E

Q中所有列的一个子集是一向量空间的主要成分，该向量空间由E中所有列向量的所有可能线性组合来定义，Q的所有其它列是彼此正交的；

-装置(46)，依据z=Q^-1y计算辅助向量z，其中Q^-1是矩阵Q的逆矩阵；

-装置(44,47)，用来产生每段的列扩展矩阵A，该矩阵包含R的列和z作为附加列，装置(44,47)还可得到矩阵B,B包含矩阵A中R的所有行列中元素项不等于0的所有行；

-装置(33)，用来从矩阵B中移去R的第j列，即对应于移去系数(c_i)中的第j个系数，该装置还对所产生矩阵中标量值不为0的行作一系列乘法和加法，以便得到矩阵C，使得矩阵C中的R行列上有尽可能多的行是0。

11．依据权利要求10的编码器，其特征在于

-装置(33)，用来计算误差值，它是矩阵C中至少一个元素项的预定函数；和

-装置(33)，基于上述误差值决定是否将第j个系数传送给解码器。

12．依据权利要求11的编码器，其特征在于

-用来计算误差值的装置(33)，同样适合于计算矩阵中某些元素项的预定函数作为误差值，这些元素项位于R行列中为0的行和z附加列上。

13．依据权利要求10-12中任何一条的编码器，其特征在于

-用来得到矩阵C的装置(33)同样适合于执行乘法和加法，以便矩阵C是三角形的。

14．依据权利要求10-13中任何一条的编码器，其特征在于

-通过求解线性方程系统Dc=d，计算和输出每段的运动系数c_i的装置，并将系数传送给解码器；

-D是移去矩阵C的R行列中为0的行和移去z附加列后得到的矩阵，d是移去上述那些行后矩阵C的z附加列。

15．依据权利要求10-14中任何一条的编码器，其特征在于

-用来分解E的装置(43)同样适合于分解E，以便矩阵Q是一正交矩阵，即它的列向量q满足q_iq_k=1当i=k时，和q_iq_k=0当i≠k时；和

-用来计算辅助向量z的装置(46)也适合于计算Q^-1，只需交换矩阵Q的列向量和行向量。

16．依据权利要求15的编码器，其特征在于

-用来分解E的装置(43)同样适合于产生具有三角形的矩阵R。

17．依据权利要求10-16中任何一条的编码器，其特征在于

-用来计算和存储预测误差矩阵E的装置(31)包含一梯度滤波器，该装置可基于预测帧的台劳级数展开线性项和基于基本函数f_i来计算E的第j行第k列的元素项e_jk。

18．依据前面权利要求中任何一条的编码器，其特征在于

-预测误差解码器(5)，用来对预测误差帧(E)进行解码；和

-装置(7)，用来计算第一个视频数据帧，该计算基于上述预测视频数据帧和解码后的预测误差帧。

19．传送或存储视频数据的系统，包含依据权利要求1-18中任何一条的一种编码器，还包含对运动补偿编码的视频数据进行解码的一种解码器，该解码器包含：

-存储视频数据帧的装置；

-预测视频数据帧的装置，该预测基于视频数据帧和从编码器接收到的运动系数；

-对从编码器接收到的预测误差数据进行解码并得到预测误差帧的装置；和

-用来计算和输出更新的视频数据帧的装置，该装置基于预测视频数据帧和解码后的预测误差帧，并且用上述的存储装置将更新的数据帧存储起来。

20．对视频数据作运动补偿编码的方法，包含以下步骤：

-估算运动向量字场，该字场描述了视频帧象素的场景运动位移；

-决定表示运动向量字场的运动系数(c_i)；

-预测视频数据帧，该预测基于第一个视频数据帧和上述运动向量字场；

-计算预测误差帧，该计算基于上述预测视频数据帧和第二个视频数据帧输入；

-将运动系数和预测误差帧传送给解码器；

-上述计算运动系数的步骤包含以下步骤

-将每帧分割为段；

-计算和存储每段的失真矩阵E和失真向量y，以便每段失真的预定义检测量ΔE可表示为函数(Ec-y)，失真是由于把运动向量字场近似为基本函数f_i集的系数(c_i)而造成的，函数中的c是含运动系数c_i的列向量；

-将失真矩阵E分解为第一矩阵Q和第二矩阵R，以便

det  Q≠0且

QR=E

Q中所有列的一个子集是一向量空间的主要成分，该向量空间由E中所有列向量的所有可能线性组合来定义，Q中所有其它列对该向量空间来说是彼此正交的；

-依据z=Q^-1y计算辅助向量z，其中Q^-1是矩阵Q的逆矩阵；

-产生每段的列扩展矩阵A，该矩阵包含R的列和z作为附加列，选出矩阵A中R的所有行列中元素项不等于0的那些行；

-产生一行扩展矩阵B,B由一个段的矩阵A中的选出行和另一个相邻段的矩阵A中的选出行组成；和

-对矩阵B中标量值不为0的行作一系列乘法和加法，以便得到修改矩阵B′，使得该修改矩阵中的R行列上有尽可能多的行是0。

21．依据权利要求20的方法，其特征在于

-计算误差值，它是矩阵B′中元素项的预定函数；和

-指令将帧分割为段的装置，是否基于上述误差值归并一个段和它的相邻段。

22．依据权利要求21的方法，其特征在于

-计算上述的误差值即归并误差，它是修改矩阵B′中z附加列的元素项的函数，其中修改矩阵中R行列的所有行是0。

23．对视频数据执行运动补偿编码的方法，包含：

-估算运动向量字场，该字场描述了视频帧象素的场景运动位移；

-决定表示运动向量字场的运动系数(c_i)；

-预测视频数据帧，该预测基于第一个视频数据帧和上述运动向量字场；

-计算预测误差帧，该计算基于上述预测视频数据帧(P)和第二个视频数据帧输入；

-将运动系数和预测误差帧传送给解码器；

-上述计算运动系数的步骤包含以下步骤

-将每帧分割为段；

-计算和存储每段的失真矩阵E和失真向量y，以便每段失真的预定义检测量ΔE可表示为函数(Ec-y)，失真是由于把运动向量字场近似为基本函数f_i集的系数(c_i)而造成的，函数中的c是含运动系数c_i的列向量；

-计算失真矩阵E的第一矩阵Q和第二矩阵R，以便

det  Q≠0且

QR=E

Q中所有列的一个子集是一向量空间的主要成分，该向量空间由E中所有列向量的所有可能线性组合来定义，Q中所有其它列对该向量空间来说是正交的；

-依据z=Q^-1y计算辅助向量z，其中Q^-1是矩阵Q的逆矩阵；

-产生每段的列扩展矩阵A，该矩阵包含R的列和z作为附加列，然后得到一矩阵B,B包含矩阵A中R附加的所有列中元素项不等于0的所有行；

-从矩阵B中移去R的第j列，即对应于移去系数(c_i)中的第j个系数，对所产生矩阵中标量值不为0的行作一系列乘法和加法，以便得到矩阵C，使得矩阵C中的R行列上有一行是0。

24．依据权利要求23的方法，其特征在于

-计算误差值，它是矩阵C中至少一个元素项的预定函数；和

-基于上述误差值决定是否将第j个系数传送给解码器。

25．依据权利要求24的方法，其特征在于

-计算误差值，它是矩阵C中某些元素项的预定函数，这些元素项位于R行列中为0的行和z附加列上。

26．一种视频编码器包含：运动字场编码器(3)对当前帧(I_n)、参考帧(

)和运动向量字场作出响应，产生编码的运动向量字场和最小化运动系数数目，运动字场编码器(3)包含：

-第一主模块(31)，它包括线性化装置(41,42,45)，用来对当前视频帧(I_n)的段(S_i)和预测帧的段之间的平方误差函数进行线性化，包括矩阵处理装置(43,44,46,47)，用来形成第一个矩阵R¹ _i和第一个向量z¹ _i，该矩阵和向量是段的运动向量字场的一种新表示方式；

-与第一主模块相连的第二主模块(32)，它包括归并装置，如果组合区域可以用相同的运动字场进行预测，那么就对段(S_i,S_j)作归并，对于每个归并段，模块(32)都要输出第一个归并矩阵R¹ _ij和第二个归并向量z¹ _ij；

-与第二主模块相连的第三主模块(33)，它包括系数移去装置，用来移去段的运动系数(c_i)，直到平方预测误差的改变不能被接受为止；

-其中输出的编码运动向量字场中的每个运动向量，都是基于包含基本函数和运动系数的线性运动模型的。

27．如权利要求26所述的一种视频编码器，

其中的线性化装置可依据下面公式对平方预测误差的形式进行变换： $\underset{j=1}{\overset{P}{\mathrm{\Σ}}}{(e_{j,1}{c}_1+e_{j,2}{c}_2+\·\·\·+e_{j,N+M}{c}_{N+M}-y_j)}^2$

其中c_i是运动系数，N+M是可以得到的运动字场模型基本函数的数目。

28．如权利要求26所述的一种视频编码器，

其中的矩阵处理装置包括用来构造下面矩阵的装置： $E=\left[\begin{array}{cccc}{e}_{\mathrm{1,1}}& e_{\mathrm{1,2}}& ...& e_{1,N+M}\\ e_{\mathrm{2,1}}& e_{\mathrm{2,2}}& ...& e_{2,N+M}\\ \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}& \underset{.}{\overset{.}{.}}\\ e_{P,1}& e_{P,2}& ...& e_{P,N+M}\end{array}\right],y=\left[\begin{array}{c}{y}_1\\ y_2\\ \underset{.}{\overset{.}{.}}\\ y_P\end{array}\right]$

N+M是可以得到的运动字场模型基本函数的数目，P是段i的象素数目。

29．如权利要求28所述的一种视频编码器，

其中的矩阵处理装置还包括QR因数分解装置，该装置将矩阵E_i分解为矩阵Q_i和R_i的乘积，构造辅助向量z_i,z_i=Q^T _iy_i，输出由矩阵R_i的首N+M行组成的第一个矩阵R_i ¹和由z_i的首N+M个元素项组成的第一个向量z¹ _i。

30．如权利要求26所述的一种视频编码器，

其中的归并装置包括对下面线性方程进行三角化的装置 $\left[\begin{array}{c}{R^1}_i\\ {R^1}_j\end{array}\right]C_{\mathrm{ij}}=\left[\begin{array}{c}{Z^1}_i\\ {Z^1}_j\end{array}\right]$

其中的R¹ _i,z¹ _i和R¹ _j,z¹ _j由第一主模块中相应的段S_i和S_j产生，最后方程具有如下形式：

31．如权利要求30所述的一种视频编码器，

其中的归并装置还包括用来计算在区域S_ij上平方预测误差ΔE_ij的改变的装置，该误差改变是由于归并段S_i和S_j引起的，它符合下面的公式： $\mathrm{\Δ}{E}_{\mathrm{ij}}=\underset{k=1}{\overset{N+M}{\mathrm{\Σ}}}{q_k}^2$

如果依据给定标准平方预测误差可以接受，则段被归并。

32．如权利要求30所述的一种视频编码器，

其中的归并装置还包括构造所产生归并段S_ij的矩阵R¹ _ij和向量z¹ _ij的装置，即提取三角矩阵方程中的首N+M行，其中的矩阵R¹ _ij和向量可用下式描述：

该矩阵和向量从第二主模块输出。

33．如权利要求26所述的一种视频编码器，

包含发送信息的装置，使得解码器可以重构帧的各归并部分。

34．如权利要求26所述的一种视频编码器，

其中的系数移去装置包括简化矩阵方程R¹ _kc_k=z¹ _k的装置，即从矩阵R¹ _k中移去第i列和从向量c_k中移去第i个元素项。

35．如权利要求34所述的一种视频编码器，

其中的系数移去装置还包括对简化了的矩阵方程进行三角化的装置，三角化后的方程形式为：

以及计算平方预测误差的改变的装置，该误差改变是由于移去第i列和第i个元素引起的，即计算q² _i的函数。

36．如权利要求35所述的一种视频编码器，

其中的系数移去装置还包括将预测误差的改变与一选定标准进行比较的装置。

37．如权利要求36所述的一种视频编码器，

其中的系数移去装置还包括，如果上述预测误差的改变可以接受，则从系数矩阵中移去运动系数c_i的装置，和从三角矩阵中移去最底行来构成修改矩阵R¹ _k和修改向量z¹ _k的装置，该修改矩阵和修改向量用在系数移去装置中。

38．如权利要求36所述的一种视频编码器，

其中的系数移去装置还包括，如果预测误差进一步的改变不可接受，则通过求解线性方程R¹ _kc_k=z¹ _k系统来计算该段最后运动系数的装置。

39．对运动补偿编码的视频数据作解码的解码器，包括：

-用来存储视频数据帧的装置；

-用来预测视频数据帧的装置，该预测基于上述存储的视频数据帧和接收到的运动信息；

-用来对接收到的预测误差数据进行解码并得到预测误差帧的装置；和

-用来计算和输出更新的视频数据帧的装置，该装置基于上述的预测视频数据帧和解码后的预测误差帧，然后用上述存储装置对更新的视频数据帧进行存储；

-上述对视频数据帧进行预测的装置包含：

-装置(11)，用来将接收到的运动数据分为至少下列两路数据：关于将更新的视频数据帧分为段(S_i)的数据，关于从运动字场模型基本函数中选择基本函数的数据，和关于选出的基本函数系数的数据；

-装置(13)，用上述选出的基本函数和系数的线性组合来重构每段(S_i)的运动向量字场；和

-用来计算预测帧的装置，它基于上述重构的运动向量字场和基于存储的视频数据帧。

40．依据权利要求39的解码器，其特征在于

-用来重构运动向量字场的装置(13)，适合于接收有关更新的视频数据帧中每段(S_i)的基本函数集中每个成员结构的数据。

41．依据权利要求39-40的解码器，其特征在于

-用来重构运动向量字场的装置(13)，适合于计算每段(S_i)的运动字场模型基本函数集，这些基本函数就段(S_i)的形状所决定的区域来说是彼此正交的。

42．用来传送视频数据的系统，包含依据权利要求1-18和26-38中任何一条的编码器，还包含依据权利要求39-41中任何一条的解码器。

43．用来存储视频数据的系统，

包含依据权利要求1-18和26-38中任何一条的编码器，还包含依据权利要求39-41中任何一条的解码器。

Images