CN1015951B - 模式处理 - Google Patents

Abstract

一个两维模式，如象产生帧间视频编码器内的运动矩阵，由形成一个表示模式值的组的模X的加权总和来分类。这值可能是模式单元值，或者是量化表示单元的群。加权总和通常是存取到一个包含有分类识别字的查阅表中。可选择地，运动矢量可能由从一个连续的图象帧推导得来的分类识别字的比较来产生。

Description

本发明是关于模式处理，虽不是专门地但且是具体地关系到这种视频信号编码处理的应用。

一个例子是在视频编码器中为了传输运动图象而采用了帧间条件补充编码。在图象单元值与预计值（即那些从先前帧得来的值）之间会发生差值。该差值加到一个阈值电路，对于每一个差值阈值电路都产生一个“1”或“0”以指示是否超过了阈值，因此形成一个“运动矩阵”。只有在运动矩阵的相应单元中那些具有“1”的单元值（或者如愿意的话取单元差值）才进行编码以便传输。

在接收器处，接收到的信息被用来更新本地帧存贮器中的已贮存的图象。为使接收机能正确地将接收到的信息解码，所说表征已将系数送出的信息必须被包含在传输中。将所有运动矩阵的比特发出意味着要花一笔相当大的开销，因此建议将图象分成8×8块，将8×8运动矩阵矢量量化并匹配到最接近一组中32个模式之一，接收机只用5个传输的比特就能识别出这32模式。迄今为止，这种匹配已经用一个与模式相关的方法来实现;这样做在计算上是很庞大的，即使通常用高速度处理32个模式在实时上也是最可行的。

该技术也可用于所谓混合视频编码器，这种编码器使用了一个变换编码的和帧间条件补充编码的组合。转换编码包括将一个两维转换例如Hadamard或离散的余弦（DCT）转换到（例如8×8）的图象单元块，以产生转换系数的相应矩阵（对于实时的处理，要同时转换整帧是很慢的） 这里运动矩阵是基于现在帧的矩阵系数与前面帧的系数之间的差值。

在该程序的变化中，帧间差值之取得可以在转换之前而不是之后。

按照本发明的一个方面，提供了一种将代表两维模式的一组数值分类的方法，此法包括形成一个X为模的那组值的加权总和，X是一个小于2^P的整数，P是这组数值的个数，并包括用该总和作为向一个具有X个单元且每个单元包含一个分类识别字的存贮器存取地址。

原理上，所提到的这些值可能是与模式的每一单元相关的值，但通过首先形成一组值，其中每一值表示若干单元的做法，求和可以简化，而且加权系数和模数的推导很容易。因此本发明的一个优选实施例包括为模式单元的多个群之一用识别一组预定的群中的一个来导出一组值，还包括各个复杂的预先确定这样群的组之一的模式单元群，该群中各都有一个与它相关的编码，这个群根据预定的标准最类似于这编码，这样识别的与群有关的编码，形成该组的数值。

尽管其他选择也是可能的，但这些群可以是一个矩形模式矩阵的行（或列）。

现在就用举例的方法参考下列附图来描述本发明的一个实施例：

图1是运动矩阵矢量量化装置的方块图;

图2说明一组标准行矢量;

图3说明一组标准模式;

图4是说明模式区域变换概念的示意图;

图5和6是系数和模数推导的程序流程图;

图7是运动矢量产生的示意图。

正如在导论中所说明的那样，所要描述的装置是用于视频编码器中，假定该编码器对每一个8×8象素方块都形成一个8×8的运动矩阵，其每一单元是一个单一比特以指示相应的图象单元（或变换系数）是否在帧之间有本质上的变化。

上面讨论的是一个将2⁶⁴个可能模式指定为若干个较小的等级数目（32）的模式的问题。理论上，这可用有2⁶⁴个单元的查阅表来达到，每个单元包含一个5比特数以指出模式属于哪种分级，但显然，一个如此规模的表是不切实际的。甚至如果用矢量量化矩阵行来预处理矩阵，用5比特来表示每个8比特行，这个表的规模仍然是2⁴⁰。正如下面所描述的那样，建议的方法是用模X求和函数将2⁶⁴（2⁴⁰）个模式变换到一等级较小的数目X。求和函数的系数值和模X当然必须选择使之适合所要求的模式组。而在例外情况下，一个特殊模式组可能使X等于若干个等级（classes），通常是不会如此的，实际中会发现X可能足够小，以便能用X个单元构成一查阅表，而每一单元包含识别32个等级之一的5比特数目。

图1显示出一个装置，形成视频编码器的一部分，该装置用于识别输入的8×8×1比特的运动矩阵与32种标准模式中的那一种最相似。每单元有一比特b（i，j）的运动矩阵，假设已产生并且存贮到64比特的缓冲存贮器1中。一个6比特的地址计数器2由时钟控制以产生从0到63的地址并将之送到存贮器1的地址输入端。存贮器1的数据输出b（i，j）和列地址j送到产生5比特行矢量编码q（i）的行量化（变换）器3。行地址i被送到有8个单元且每单元包含一个8比特系数C（i）的只读系数存贮器4的地址输入端。行矢量编码q（i）和存贮器4的数据输出送到产生乘积的乘法器5。该乘积送到由模X加法器6和其输出端反馈到加法器一个输入端的16比特锁存器7组成的存贮器。当然该模数不会超过2¹⁶。存贮器的输出形成地址输入到查阅表，它包另一个有2¹⁶＝64K单元（只有X）的只读存贮器8，每个单元包含识别32种模式等级中的一种的5比特字，而向这些被指定的等级输入运动矩阵。

因此，存贮器7的数据输出8按照模X总和提供从表选择的5比特字。

为更仔细地考虑这个过程，假设输入模式包括一个8×8矩阵B，每个单元b（i，j）都是单一比特以指示一图象的相应象素（Pixel）是否被判断为运动（“1”）还是不运动（“0”），这是寻找类似标准的一个重要因素，因为宁可将静止的象素表示为运动的而不愿将运动的象素作为静止来处理。

在行量化（变换）器3中，8×8×1矩阵的信息内容被“行”量化即每一个8×1比特的水平行与用最接近的8×1基本矢量之一进行匹配。假设的6个基本矢量在图2中示出。注意原则上没有必要使经受这种做法的8比特群必须从输入矩阵推导出来;另外的选择也是可能的。每个基本矢量用编号V₀……V₅来表示。理论上这些都应是整数0到6，但可发现其他的选择将产生更好的结果。特别是相隔较宽的数字，主要基本数字在0到255范围里找比较好。例如：141，95，111，173，237，29，192，224，或149，97，113，173，239，29，137，43。

该数据组必须用人工来选择，而有可能被选中的组的比较可用下面分别描述的系数逐次接近算法来进行（每种情况都用同一个随机数）。那些有最快的收敛的组相信是优良的组。

比较过程需求在任何位置是“1”的输入行不能与那个位置是“0”的基本矢量相比较。例如：图2所示的例子输入E₁，不能与V₄（表面上最接近的）相比较，因为它在位置7上是“1”，它必须与V₀相比较。

因此，一种做法是通过识别在输入行有“1”的所有位置也是“1”的基本矢量（S）来进行的。如果这样的矢量不只一个，就根据这些矢量中与输入行相应比特之间有最小不同比特数来选择最接近的矢量。

现在该8×8的输入矩阵已经转换成有8单元的矢量[q（ⅰ）]。

借助于系数存贮器4经过乘法器5和累加器6，7被进一步量化， 即：

i＝7

h＝∑q（i）·C（i）

i＝0

MODX

（该定义参见下面的求和函数的描述）。

由此得到的输入行被转换成一个标量和（范围从O至X），然后用于存取存贮器8的查阅表，从存贮器8可读出指示要用的标准模式之一的编码字符。

图3中显示14个标准模式例子和相应的编号Z₀……Z₁₄。

用没有模X限制且由存贮器产生的加权总和来代表这些可能模式的变换是能够实现的，其中一些模式用如图4中在概念上的模式领域P里的交叉的A到E表示，“总和”领域S，其大小取决于系数C（j）和行矢量编码V₀……V₅的值。如果系数在数字上间隔较宽，那么所有的模式都将变换到领域S的不同位置。如果不满足这种条件，那么一些模式将在S领域内以相同的模式出现（见模式C，E）当然，这只有当两个模式属于同一等级时才是所希望的。

模X累加使用减小了领域S的大小，因为将它对折了一次或几次。图4示出一个简单的折叠，其中模式B已经和C、E在领域H内重迭了。

这些系数和模式必须进行选择，以便达到一个低的可被接收的模值，如可能只有属于同级的那些模才能变换到相同的H值（虽则象下面所描述的，实际中有一些误差是可容忍的）。发明人知道理论上没有证明这是能达到的，也没有任何理论方法来产生C（i）和X的值。可是，实验表明为获得这些数值用逐次接近程序可得到满意的结果。

下面将描述获得系数C（i）和模X的合适值的一种方法。一种逐次接 近方法用来获得系数C（i），这需要给模式的测试系列提供加法函数（没有模数限制）来进行逐次接近系数的周期性测试。

显然，要测试所有2⁶⁴个可能的8×8模式或者测试表示行量化矢量的2⁴⁰个可能模式是不实际的。因此，试验被限制在标准模式本身并限制在定义为变体的标准模式的另一等级模式。一个变体模式确定为标准模式（以基本矢量形式），它具有为另一个矢量所代替的一个或多个分矢量。每个基本矢量只有一定的可代替的范围，即那些在原矢量是“1”的位置也是“1”的矢量。图2列出了与每个基本矢量相关的变体矢量。这个变体的模式组包括所有这些替换的可能组合。变体的这个定义表示变体模式与基本模式之间的相似性;即当进行图象编码时变体模式产生的编码数应与象标准模式所产生的编码数相同。

为了获得总和h′（有撇号的h表示这和数不是一个模数和）通过给标准和变体模式提供求和来进行系数C＝[C（i）]组的测试。测试完成时，该过程将在于q_min∑C（i）到q_max∑C（i）范围内产生一组h′值，其中q_min和q_max是q（或V）的最小和最大值。

然而，每一个新产生的h′要用来检验前面的h′值。如果能产生那些值的模式具有同样的标准模式/变体模式群（即它们有相同的编码数）前面的h′值可容许重复出现。否则这就意味着不同的模式变换到相同的h′值，并认为是一个“冲突”。在测试中出现的“冲突”数作为被测试的系数组C品质因数TEST（C）的测量。

逐次接近过程是在图5的程序流程中说明。Cn＝[Cn，0……Cn17]是系数组的第N次逐次反复。RND（r，s）表示在r到S范围内随机数的产生。程序的进行如下：

在（1）中作最初的估计Co。这可能完全是随机的，或操作者对合适的起始点作一启发性的推断，那么该过程可能变短。然后是测试（2）以及逐次逼近和暂停计数器被预置（3、4）。通过随机选择一个系数（Cn，R） 以及对它进行一个随机的变化P，一个新的Cn值由Cn-1推出（5）。第一次逐次逼近采用一个大的变化（比如：系数值在0到255范围内，在8到255范围内）而以后的一次则只采用一个小的变化（比如：在1到7范围内）。可用模256加法来做到这点，将系数保持在范围内。

现在是新的系数组成的测试（6）;如没有冲突发生（7），该过程完结。否则将暂停计数器前置（8），测试结果Gn与前面测试的Gn-1进行比较（9）。如果已经得到改进，则循环计数器前置（10）并且循环不断重复，直到获得一组没有发生冲突结果的系数。然而这种要求可能是不严格的。不是因为它是不可达到的，就是为了要减少逐次逼近的时间或者当测试中冲突的次数小于给定的比例，比如测试模式数量的百分之5或10时逐次逼近将终止。否则逐次逼近的次数可能受到限制。在用这种方法允许有冲突时，必需决定变换到特定的h′值的（该h′的值是要被说明的）两个等级（或更多的）中的那一种，为减少分类的误类所引起的数目，通常将选择在典型图象中发生具有最高概率的等级。

如果，在任何一个时间都不能得到改进，在试图进一步改变（11）之前增加循环计数器是无效的，最后系数组将被放弃。如果十次为改善特殊的系数组的尝试都不成功，这表明该过程是在错误的方向上进行的。循环计数器将减少（12），因此，最后的和前面的两个组将被放弃。当然（13、14）这种限制不会应用到第一次逐次逼近中（或者后面的情况，这过程不回到Go）。

在测试中，当求和不加模式限制时，逐次逼近的终止提供一组没有冲突的（或限制冲突的数目）系数Cn。在（6a）时用该组系数所得到的h′（j＝0……T-1，T是测试模式的数目）组的值假设已被存贮并且现在在处理以寻找模数X。为了求得从M起始的连续的X值，其中M是标准模式的数目，通过转变h′数据组以达到上述做法。

所需要的结果是不会导至冲突的最小的X值（如上面的定义）或有 限制的冲突数目。该过程在图6的程序流程图中说明。外面的循环A依次检查每一个X值，当它找到一个不导至冲突的值时就终止。对于现在的模X，中间的循环B计算每一个连续的h_K值，而里面的环C在这个X值上用前面所有的h值来检查h_K，看是否有冲突。

在系数和模数的求导中，将注意到不是所有可能输入模式都已经被测试。打算要做的是应选择那些标准模式和它们的变体来覆盖最关重要的模式。在本例中，用标准的“全1”模式（Z₁₃）来表示所有一半以上位置包含“1”的模式。这些和其他的未测试的模式在操作时导至假的结果，因此本方法包括更进一步的校验结果的步骤。标准模式将相应于所得编码与输入模式相比较。如果后者在任何位置都包含“1”而前者则非如此，那么校验失败，并且Z₁₃以得到的编码代替。该操作在图1中通过测试单元9和转换开关10图示地表明了。本法也补偿了因上述得到的另一种缓和冲突准则所引起的误差。

本发明的另一个应用是产生运动矢量。这包括将前面的图象帧的一个方块与现在图象帧（反过来也一样）移动的方块相比较，以便确定现在图象帧内与在前的方块非常接近的方块的位置，并形成一个表示运动的大小和方向的运动矢量。该技术的一个应用例子是用在帧间编码系统，其中运动矢量可传输给接收机并象预测值一样用来改进前帧的效率，用图象移动的适当部分来代替以前的帧。

如前所述，相关方法是慢的。以这种方式使用的运动矢量只要所得结果比前面没有改进的帧有较好的预示值，就不要求移动方块和非移动方块之间的有精确的匹配。

该将要描述的运动矢量产生的结果可被直接采用或形成第一个估计值以限制常规的运动矢量产生方法的“搜索面积”。

假设按上面描述的方式，给所有的图象方块分配编码数（基于单元值而不是转换系数）。首先一个过程是确定具有“所有运动”编码Z₁₃ 的一个或多个方块，即识别图象在其中发生的大部分运动量的那些面积。

对于每一个这样的方块，将方块在现在的和在前的帧内位置的编码之间作一比较，以便确定编码所代表的运动的方向（下面将更详细地描述）。对8个环绕的方块进行类似的检测，如果得到一致（例如如果推论的方向一半以上是相同的）话，那么这个方向是像所要求估计的一样。

在图7中，说明了比较的过程。如果前面的和现在图象帧的编码是Z₁₁和Z₁₆代表标准模式是在图7（a）说明另外的范例。一个查阅表可以提供以相应于每一编码对的运动矢量参数。

当然，如果两个方块的比较表明它们全是运动的，那么就不能获得信息，这决定是基于比较环绕那个方块的方块，或者基于在两个帧中相邻的方块也全都是运动时，比较转绕这些方块的一群的方块才作出的。

Claims (10)

1、一种表示两维模式的数值组分类的装置，其特征在于它包括：求和装置，用于形成以X为模的那些值的加权总和，X是小于2^P的整数，P是这组数中的数字；以及一个存贮器，该存贮器具有X个单元，每个单元包括一个表示标准模式组之一的等级识别字，该存贮器的地址输入端连接到接收求和装置的输出。

2、按权利要求1的装置，其特征在于它包括接收和识别装置，用以接收表示各个模式单元，并为了该模式单元的多个群中的每一群，用以识别一组预先规定的这些群中之一，每一个群有一个与它相结合的编码，该群根据一预定的准则与该编码最类似，这编码与这样识别的群结合而形成组的（大小）值。

3、按照权利要求1的装置，其特征在于其中加权总和用下列形式的求和函数形成：

N-1

h＝∑q（i）·C（i）

i＝0

MODX

式中q（i）是所说的值，N是这组数值的数字，C（i）是加权系数且可用其中随机变化系数值的逐次接近过程推导出来，一个改型的求和函数定义为：

N-1

h′＝∑q（i）·C（i）

i＝0

应用于一系列的测试模式，只有在该变化导致了按一预定分类准则出现的冲突在数目方面得到改善时，才为更进一步的逐次逼近而保留随机变化，就不属于相同级别的两个模式而论，一个冲突被定义为发生了相同的h′的值，从而重复这过程。

4、按照权利要求2的装置，其特征在于其中加权总和用下列形式的求和函数形成：

N-1

h＝∑q（i）·C（i）

i＝0

MODX

式中q（i）是所说的值，N是这组数值的数字，C（i）是加权系数且可用其中随机变化系数值的逐次接近过程推导出来，一个改型的求和函数定义为：

N-1

h′＝∑q（i）·C（i）

i＝0

应用于一系列的测试模式，只有在该变化导致了按一预定分类准则出现的冲突在数目方面得到改善时，才为更进一步的逐次逼近而保留随机变化，就不属于相同级别的两个模式而论，一个冲突被定义为发生了相同的h′的值，从而重复这过程。

5、按照权利要求3的装置，其特征在于其中模数X是通过求一个最小的整数得来的，对于这个整数而言，由逐次逼近法求得的系数组所得的h′值模的减少导致没有冲突出现，或者导致远小于一个预定数目的冲突。

6、按照权利要求4的装置，其特征在于其中模数X是通过求一个最小的整数得来的，对于这个整数而言，由逐次逼近法求得的系数组所得的h′值模的减少导致没有冲突出现，或者导致远小于一个预定数目的冲突。

7、按照上面任何一个权利要求的装置，其特征在于它还包括测试装置，用于将两维模式与在存贮器输出端得到的与分类识别字相应的标准模式作比较，并依据一个预先的分类准则，即使模式不属于和标准字一样的级别的情况下，用以代替另一级的识别字。

8、一种视频编码装置，其特征在于它具有帧间编码和产生一个指示在帧之间有本质变化的图象模式的那些单元的运动矩陈的装置，一个按照上面任一权利要求的将这样的矩阵分类的装置，以信将每一个图象模式相应的分类识别字和选择依据与那个分类识别字相结合的标准模式的图象模式单元有关的信息传送到接收机的装置。

9、按照权利要求8的视频编码装置，其特征在于它包括产生一个运动矢量的装置，它通过比较两个连续帧的相应面积的分类识别字，产生一个与运动图象有关的运动矢量。

10、按照权利要求9的视频编码装置，其特征在于其中通过使用两个分类识别字存取查阅表来实现比较的，在查阅表中存贮有与各个分类识别字组合的相对应的运动矢量。

Images