CN1189061A - 利用顶点插入技术编码目标的轮廓的方法与装置 - Google Patents

Abstract

一种基于选代求精技术的编码目标的轮廓的视频信号的方法,在轮廓上确定多个主顶点;以及计算各轮廓段的位移而在两个相邻的主顶点的所有对上生成位移。在确定了作为根据位移编码轮廓上的象素数据的标准的动态范围之后,便搜索编码它上面的象素数据所需的位数大于动态范围的位数的较大轮廓段,并根据动态范围在较大轮廓段上插入一个或多个次顶点。

Description

利用顶点插入技术编码目标的轮廓的方法与装置

本发明涉及编码视频信号中的目标的轮廓的方法与装置；更具体地，涉及能通过利用根据基于八分圆顶点编码技术和顶点插入技术的自适应编码方案的编码轮廓的方法与装置。

在诸如可视电话、电话会议及高清晰度电视系统等数字电视系统中，由于视频帧信号中的一个视频行信号包括一序列称作象素值的数字数据，而需要大量的数字数据来定义各视频帧信号。然而，由于传统的传输信道可利用的频带宽度是有限的，为了通过它来传输大量的数字数据，必须通过利用各种数据压缩技术来压缩或减少数据量，尤其是在诸如可视电话与电话会议系统等低比特率视频信号编码器的情况中。

用于低比特编码系统编码视频信号的技术之一便是所谓的面向目标的分析综合编码技术，其中将一个输入视频图象分成多个目标，并通过不同的编码信道处理定义每个目标的运动、轮廓与象素数据的3组参数。

在处理视频信号中所表示的目标的轮廓中，对于目标的形状的分析与综合，表示构成轮廓的轮廓象素的位置的轮廓信息是重要的。表示轮廓信息的传统编码方法为链式编码技术。然而，链式编码技术需要可观数量的位来表示轮廓信息，虽然该技术不会招致轮廓信息的任何损失。

因此，为了克服链式编码法的缺点，提出过多种编码轮廓信息的方法，诸如多边形逼近、B样逼近及结合多边形逼近技术的DST(离散余弦变换)。在这些逼近技术中，轮廓是用直线或曲线段逼近的，各段连接轮廓上的一对相邻顶点，而顶点则是根据诸如所谓的局部自适应的基于八分圆的顶点编码技术的(见诸如国际标准化组织，活动图象与音频信息的编码，ISO/IEC JTCI/SC29/WG11，形状编码AHG，1996年7月30日，K.O’Connell、P.Gerken及J.H.Kim的名为“S4a的修订说明：几何表示法”)。

参见图1，其中示出了根据基于八分圆的顶点编码技术编码视频信号中的对象的轮廓的顶点的传统装置的示意性方框图。

将一个二进制掩模输入到轮廓抽取块10中，其中在二进制掩模中，取决于象素位于目标中还是背景区中，而将各象素用二进制值之一表示，即0或1。

轮廓抽取块10从二进制掩模抽取目标的轮廓图象并将轮廓图象提供给顶点选择块20。轮廓是由位于目标的边界上的各目标象素的轮廓象素构成的。

顶点选择块20利用传统的迭代求精技术，诸如多边形逼近技术选择多个顶点，其中首先确定以最大距离分开的一对轮廓象素为起始顶点，并逐个地选择附加的轮廓象素作为另一顶点，直到从连结一对相邻的顶点的线段到由该对相邻的顶点定义的轮廓段的最大垂直距离d_max不超过一个预先设定的阈值D_max为止。

在顶点编码块30上，根据诸如所谓基于八分圆的顶点编码技术编码从顶点选择块20接收的顶点。

在基于八分圆的顶点编码技术中，计算出每对相邻顶点之间的位移R的表示为X与Y的x与y分量。此后，在所有x与y分量(X′与Y′)中选择对应于最大的长度的两个顶点作为轮廓的起始顶点与结束顶点。然后沿从起始顶点到结束顶点的轮廓顺序地加下标标记N个顶点，如图2中所示，N为轮廓上的顶点总数并为了示例目的在图2中假定为8。图2中，对应于顶点对V1与V8的x分量示出为从顶点V1至V8得出的8对X与Y中最大的。

确定了起始与结束顶点之后，分别确定位移R_i′s的x与y分量(X_i′s与Y_i′s)中的各自的最大值x_max与y_max作为轮廓的x_dynamic_range(x动态范围)与y_dynamic_range(y动态范围，其中R_i＝P_i+1-P_i，i＝1，2，…，N-1，P_i为对应于顶点V_i的位置矢量。随后，编码顶点总数N，x_dynamic_range、y_dynamic_range及起始顶点V₁的绝对位置，同时根据从其前面的顶点V_i的位移R_i编码各其余顶点，即V_i+1，i＝1至(N-1)。具体地，如图3中所示，根据位移R_i的x分量X_i与y分量Y_i从八分圆0至八分圆7中确定顶点V_i+1所属于的八分圆，其中原点的8个最近的邻接点(图3中全用实心的圆表示)表示8个八分圆的起始点。

确定了顶点V_i+1′s的八分圆之后，用传统的差分链式编码技术编码八分圆的下标；以及用根据x_dynamic_range与y_dynamic_range确定的位编码分别表示顶点V_i+1相对于其前面的顶点V_i的相对位置的分量x_i与y_i的长度，即x_mag与y_mag。

在基于八分圆的顶点编码技术的另一例子中，通过采用所谓语法自适应算术编码(SAAC)交替地编码八分圆下标与R_i′s。在SAAC中，可能的符号数取决于动态范围最大值，即max(x_dynamic_range，y_dynamic_range)。基于八分圆的顶点编码技术的进一步细节见K.O’Connell等人的上述论文。

借助于上述排序顶点的过程，在基于八分圆的顶点编码技术中能有效地减少表示顶点的数据量，由于除了起始顶点之外的各顶点都是用其所属的八分圆及x_i与y_i的幅度表示的；并且编码幅度所需的位数直接取决于x_dynamic_range与y-dynamic_range。

然而，这种传统的轮廓编码法仍需要大量的位来表示顶点，尤其是在几乎所有的相邻顶点的x与y分量(X与Y)都明显地小于x_dynamic_range与y_dynamic_range的情况中。

因此，本发明的目的为提供能有利地用来进一步减少传输数据量并因而提高顶点编码效率的改进的轮廓编码方法与装置，其中在用传统的多边形逼近技术确定的多个主顶点上适当地增加了一个或多个次顶点，从而减小了x-dynamic_range和y-dynamic_range。

按照本发明，提供了基于迭代求精技术的编码目标的轮廓的视频信号的方法，其中在具有轮廓象素的轮廓上确定多个主顶点，并用连结两个相邻的主顶点的直线段逼近由两个相邻的主顶点定义的各轮廓段，该方法包括下述步骤：

(a)为所述各线段计算位移以生成所有的两个相邻主顶点的对的位移；

(b)根据位移确定轮廓的动态范围，其中动态范围是根据编码轮廓上的象素数据的预定标准确定的；

(c)根据动态范围搜索较大的轮廓段，其中该较大的轮廓段是编码其上面的象素数据所需的位数大于动态范围的位数的轮廓段；

(d)根据动态范围在较大的轮廓段上插入一个或多个次顶点；以及

(e)根据动态范围编码主与次顶点上的象素数据。

从下面结合附图给出的较佳实施例的描述中，本发明的上述与其它目的与特征将成为清楚的，附图中：

图1示出根据基于八分圆的顶点编码技术编码视频信号中的目标的轮廓的顶点的传统装置的示意性方框图；

图2表示用于展示编码轮廓的顶点的传统装置的起始顶点选择过程的示例性轮廓；

图3描述展示相对地址八分圆区域的说明图；

图4表示按照本发明的编码输入轮廓图象数据的装置的方框图；

图5A与5B提供要用7位编码的两种不同直线轮廓；

图6描绘分别沿x与y方向在直线轮廓上插入不同数目的次顶点的直线轮廓；以及

图7示出使用轮廓跟踪技术的次顶点插入过程。

参见图4，其中示出了按照本发明的编码轮廓图象数据的装置100的方框图，其中的轮廓图象数据表示构成目标的轮廓的轮廓象素的位置。将轮廓图象数据馈送给顶点确定块110及顶点插入块190。

顶点确定块110利用传统的迭代求精技术，诸如多边形逼近技术，在轮廓上确定多个主顶点。主顶点是沿轮廓按处理次序排列的，并且逐个地将排列的主顶点的信息提供给起始顶点确定块115及顶点计数器160。

首先，顶点计数器160计数重新排序的主顶点数目N并将主顶点数目N提供给起始顶点确定块115及递减的位数计数块145。

同时，起始顶点选择块115利用传统的顶点重新排序技术选择一个起始及一个结束顶点。在传统的顶点重新排序技术中，计算出每对相邻的主顶点之间的位移R的水平与垂直分量X与Y；并在N个主顶点中选择对应于X与Y中最大幅度的两个主顶点分别作为轮廓的起始与结束顶点。然后沿轮廓从起始顶点开始向结束顶点顺序地用下标标记其它主顶点。将根据起始与结束顶点重新排序的主顶点的位置信息提供给候选范围计算块120与顶点插入块190。

候选范围计算块120计算位移R_i′s的x与y分量X_i′s与Y_j′s，其中R_i＝P_i+1-P₁，j＝2，2，…，N-1；以及P₁，P_i与P_N分别是起始、第i结束顶点的位置矢量V₁、V_i与V_N。最好不考虑起始与结束顶点V₁与V_N之间的位移P₁-P_N，因为为了减少位数，不需要编码位移P₁-P_N。对于i，j＝1，2，…，N-1，任何X_i与Y_j都能分别被确定为轮廊的x_dynamic_range与y-dynamic_range，如下面按照本发明所述，因此可将X_i与Y_j分别称作轮廓的x与y候选范围。换言之，候选范围C_ij＝(X_i，Y_j)中的x与y候选范围X_i与Y_j是互相独立的。对于i，j＝1，2，…，N-1，将X_i与Y_j转换成x_bit_i与y_bit_j，它们分别是编码X_i与Y_j所需的各自的最小位数；并对于i，j＝1，2，…，N-1，顺序地将X_i与Y_j连同它们各自的x_bit_i与y-bit_j提供给范围减小计算块140、增加顶点计数器150及递增位数计算块155。

在另一较佳实施例中，可将X_i′s与y_j′s分别按幅度排序，从而能将排序的候选范围顺序地提供给下一块；或者为了快速计算可以考虑各X_i与Y_j的重复数，其中所述各X_i与Y_j的重复数表示具有相同幅度的X_i或Y_j数目。

范围减小计算块140根据最大范围M＝(X_max，y_max)计算各候选范围C_ij＝(x_i，y_j)的位差，其中x_max与y_max表示所有位移R_i′s或R_j′s(i，j＝1，2，…，N-1)的X_i与Y_j的各自的最大值；而所述各候选范围C_ij的位差则表示最大范围M的x_bit_max与y_bit_max之和与所述各候选范围C_ij＝(X_i，y_j)的x_bit_i与y_bit_j之和之间的差。例如，如果分别赋予x_max与y_max6与5位用于编码，则其x_bit_i与y_bit_j分别为3与4的候选范围C_ij的位差为4(＝6-3)+(5-4)位。将它们各自的候选范围C_ij的递减位数，其中该递减位数表示在采用所述各候选范围C_ij而不是最大范围M编码所有主顶点时由最大范围与候选范围之间的位差引起产生的位数减少。各候选范围C_ij的递减位数是通过将位差与来自顶点计数器160的顶点数目相乘而计算出的。将各候选范围C_ij的递减位数顺序地提供给轮廓位数计算块170。

如果一个候选范围C_ij＝(x_i，y_i)与最大范围M不同，则必定存在一个或一个以上较大的轮廓段，其中候选范围C_ij的各较大轮廓段L_ij表示带有或者其x分量X大于X_i或者y分量Y大于Y_j的位移的轮廓段，因此，必须在各较大的轮廓段L_ij上加上一个或多个次顶点，以便包含次顶点在内的所有顶点都可用候选范围C_ij编码。因此，增加顶点计数器150计算在较大的轮廓段L_ij上必须增加多少次顶点。将候选范围C_ij的所有较大轮廓段L_ij总计次顶点数N_ij提供给递增位数计算块155。

分别需要5与7位来表示幅度17至32及另一幅度65至128，因此必须在幅度为65与128的线上分别增加2与3个次顶点，如图5A与5B中所示，才能在5位基础上编码7位的长度。

然而，如果根据X_i沿x方向需要4个次顶点V_x1至V_x4，而根据Y_j沿y方向只需要两个次顶点V_y1与V_y2，则应当如图6中所示在两个相邻的主顶点V_K与V_K+1之间增加较大数目的四个次顶点而不是较小数目的2个次顶点是合理的。

在另一实施例中，为了在适当的位置上增加次顶点，最好采用轮廓跟踪技术考虑各较大轮廓段本身的形状。参见图7，其中示出了由两个相邻的主顶点V_K与V_K+1形成的一个较大轮廓段。按照本发明，根据图7中用虚线示出的候选范围C_ij＝(x_i，y_j)，在较大轮廓段上插入三个次顶点V_a1至V_a3。具体地，在从第k个主顶点V_K向第(k+1)个主顶点V_K+1跟踪较大的轮廓段时，计算从第k个顶点V_K到该较大轮廓段上任何轮廓象素的x与y分量X与Y；分别将X与Y与X_i与Y_j比较；以及确定一个其X等于X_i或其Y等于Y_j的轮廓象素作为次顶点V_a1。顺序地通过根据次顶点V_a1重复上述轮廓跟踪，确定另一个轮廓象素作为另一个次顶点V_a2，以此类推。

参见图4，递增位数计算块155根据从增加顶点计数器150馈来的总次顶点数N_ij计算各候选范围C_ij的递增位数，其中该递增的位数表示由于在所述各候选范围C_ij的各较大轮廓段L_ij上插入次顶点而引起的位数增加。各候选范围C_ij的递增位数是通过次顶点数N_ij与候选范围C_ij＝(X_i，Y_j)的x_bit_i与y_bit_j之和相乘而计算出的。顺序地将各候选范围C_ij的递增位数提供给轮廓位数计算块170。

轮廓位数计算块170通过从对应的递减位数中减去对应的递增位数，而为各候选范围C_ij生成轮廓位数B_ij，并将有关轮廓位数B_ij的信息提供给范围确定块180。

范围确定块180确定具有所有轮廓位数B_ij中最大位数的候选范围作为顶点编码的动态范围D＝(X_d，Y_d)并将有关动态范围D的信息提供给顶点插入块190与顶点编码块200。

顶点插入块190根据从范围确定块180馈送来的动态范围D＝(X_d，Y_d)在轮廓上插入次顶点。按照从起始顶点确定块115馈送来的重新排序的主顶点的位置信息，在各较大的轮廓段上插入一个或多个次顶点，其中所述各较大轮廓段表示分别具有或者其x分量X大于动态范围的X_d或者其y分量Y大于Y_d的轮廓段。最好详细的插入过程与图7中所示的上述轮廓跟踪技术相同，除非用动态范围D的X_d与Y_d替代各候选范围C_ij的X_i与Y_j。顶点插入块190按处理次序提供所有顶点，即各主与次顶点的信息给顶点编码块200。

顶点编码块200根据从范围确定块180馈送来的动态范围D，编码从顶点插入块190馈送来的全部顶点，从而生成顶点编码数据；并将顶点编码数据传输给发送器(未示出)。

虽然已对特定的实施例描述了本发明，对于熟悉本技术的人员应清楚可以作出各种改变与修正而不脱离下述权利要求书中所定义的发明精神与范围。

Claims (16)

1.一种基于迭代求精技术的编码目标的轮廓的视频信号的方法，其中在具有轮廓象素的轮廓上确定多个主顶点，并用连结两个相邻的主顶点的线段逼近由两个相邻主顶点定义的各轮廓段，该方法包括下述步骤：

(a)计算所述各轮廓段的位移来为所有的两个相邻的主顶点的对生成位移；

(b)根据位移确定轮廓的动态范围，其中动态范围是根据编码轮廓上的象素数据的预定标准确定的；

(c)根据动态范围搜索较大的轮廓段，其中该较大轮廓段为其编码其上面的象素数据所需的位数大于动态范围的位数的轮廓段；

(d)根据动态范围在较大轮廓段上插入一个或多个次顶点；以及

(e)根据动态范围编码主与次顶点的象素数据。

2.按照权利要求1的方法，其中该动态范围是通过考虑编码轮廓上的象素数据所需的总位数而确定的。

3.按照权利要求2的方法，其中所述确定步骤(a)包含下述步骤：

(a1)计数主顶点的数目N，N为正整数；

(a2)从全体N个主顶点中选择任何两个相邻的主顶点分别作为起始与结束顶点，并沿轮廓从起始顶点向结束顶点标记其余主顶点的下标；以及

(a3)计算各对相邻的主顶点V_i与V_i+1的位移R_i以生成各位移R_i的x与y分量X_i与Y_i，其中R_i＝P_i+1-P_i，P_i为第i个顶点V_i的位置矢量，i＝1，2，…，N-1。

4.按照权利要求3的方法，其中在所述确定步骤(b)中预定的标准包括下述步骤：

(b1)估算R_i的x分量X_i及R_j的y分量Y_i的轮廓位B_ij′s，i，j＝1，2…，N-1，其中各轮廓位数B_ij表示根据X_i与Y_i编码轮廓上的轮廓信息必需的位数；以及

(b2)将所有轮廓位数B_ij的X_i与Y_j分别作为X_dynamic_range与y_dynamic_range，其中该x_dynamic_range与y_dynamic_range构成动态范围。

5.按照权利要求4的方法，其中所述选择步骤(a2)具有下述步骤：

(a21)为各对相邻的主顶点计算位移的x与y分量X与Y，以生成x与y分量X′s与Y′s；

(a22)将所有x与y分量X′s与Y′s相互比较，以从所有的x与y分量X′s与Y′s中选出最大幅度；

(a23)选择对应于最大幅度的两个相邻的主顶点分别作为起始与结束顶点。

6.按照权利要求4的方法，其中所述估算步骤(b1)具有下述步骤：

(b11)将所有的x与y分量X_i′s与Y_j′s转换成X_bit_i′s与y_bit_j′s，其中X_bit_i与y_bit_i分别为编码X_i与Y_j所需的位数；

(b12)得出x与y分量X_i与Y_j(i，j＝1，2…，N)的各自的最大值的X_max与y_max，以生成X_bit_max与y_bit_max，其中X_bit_max与y_bit_max表示编码X_max与y_max所需的位数；

(b13)根据主顶点数N、x与y分量X_i′s与y_j′s及X__max与y__max为各候选范围C_ij＝(X_i，Y_j)计算递减的位数，其中该递减的位数表示根据所述各候选范围C_ij＝(X_i，Y_j)而不是x_max与y_max编码中的位数的减少；

(b14)根据所有位移为所述各候选范围C_ij估计递增的位数，其中该递增的位数表示根据所述各候选范围C_ij＝(X_i，Y_j)而不是x_max与y_max编码中的位数增加；以及

(b15)对于i，j＝1，2…，N-1，为所述各候选范围C_ij生成轮廓位数B_ij，其中该轮廓位数B_ij表示从所述各候选范围C_ij的递减位数中减去递增的位数。

7.按照权利要求6的方法，其中所述各候选范围C_ij的递减位数表示主顶点数N乘以x_bit_max与y_bit_max之和与x_bit_i与y_bit_j之和之间的差。

8.按照权利要求6的方法，其中所述估算步骤(b14)包含下述步骤：

(b141)计算要增加在候选范围C_ij的较大轮廓段上的次顶点数N_ij，其中编码各较大轮廓段上的象素数据所需的位数大于动态范围的位数，而次顶点数N_ij表示为了可以根据候选范围C_ij编码轮廓上的象素数据而增加在所有较大轮廓段上的次顶点的总数；以及

(b142)为各候选范围C_ij计算递增的位数，其中该递增位数是通过将次顶点数N_ij乘以候选范围C_ij＝(X_i与Y_j)的x_bit_i与y_bit_j之和而得出的。

9.一种基于迭代求精技术的编码目标的轮廓的视频信号的装置，其中在具有轮廓点的轮廓上确定多个主顶点，并且用连结两个相邻的主顶点的线段来逼近由两个相邻的主顶点定义的各轮廓段，该装置包括：

用于计算所述各轮廓段的位移来为所有的两个相邻的主顶点的对生成位移的装置；

用于根据位移确定轮廓的动态范围的装置，其中该动态范围是根据编码轮廓上的象素数据的预定标准得出的；

用于根据动态范围搜索较大的轮廓段的装置，其中该较大轮廓段为编码其上的象素数据所需的位数大于动态范围的位数的轮廓段；

用于根据动态范围在较大的轮廓段上插入一个或多个次顶点的装置；以及

用于根据动态范围编码各主、次顶点上的象素数据的装置。

10.按照权利要求9的装置，其中该动态范围是通过考虑编码轮廓上的象素数据所需的总位数而确定的。

11.按照权利要求10的装置，其中所述计算装置包括：

用于计数主顶点数N的计数器，N为正整数；

起始顶点确定装置，用于从全体N个主顶点中选择任何两个相邻的主顶点，分别作为起始与结束顶点，以及沿轮廓从起始顶点向结束顶点标记其余主顶点的下标；以及

用于计算各对相邻的主顶点V_i与V_i+1的位移R_i以生成各位移R_i的x与y分量X_i与Y_i的装置，其中R_i＝P_i+1-P_i，P_i为第i个顶点V_i(i＝1，2，…，N-1)的位置矢量。

12.按照权利要求11的装置，其中所述确定装置包括：

用于估算R_i的x分量X_i与R_j的y分量Y_j(i，j＝1，2，…，N-1)的轮廓位数B_ij的装置，其中各轮廓位数B_ij表示根据X_i与Y_j编码轮廓上的轮廓信息所需的位数；及

用于互相比较所有轮廓位数B_ij以选择对应于所有轮廓位数B_ij中最小的位数的X_i与Y_i分别作为x_dynamic_range与y_dynamic_range的装置，其中该x_dynamic_range与y_dynamic_range构成动态范围。

13.按照权利要求12的装置，其中所述起始顶点确定装置具有：

用于计算各对相邻的主顶点的位移的x与y分量X与Y以生成x与y分量X′s与Y′s的装置；

用于互相比较所有x与y分量X′s与Y′s从所有x与y分量X′s与Y′s中选择最大的幅度的装置；以及

用于选择对应于最大幅度的两个相邻的主顶点分别作为起始与结束顶点的装置。

14.按照权利要求13的装置，其中所述估算装置具有：

用于将所有x与y分量X_i′s与Y_j′s转换成x_bit_i′s与y_bit_j′s的装置，其中x_bit_i与y_bit_j分别为编码X_i与Y_j所需的位数；

用于得出x_max与y_max的装置，x_max与y_max为生成x_bit_max与y_bit_max的x与y分量X_i与Y_j的(i，j＝1，2，...，N)各目的最大值，其中x_bit_max与y_bit_max表示编码x_max与y_max所需的位数；

用于根据主顶点数N、x与y分量X_i与Y_j以及x_max与y_max，为各候选范围C_ij＝(X_i，Y_j)计算递减位数的装置，其中递减位数表示根据所述各候选范围C_ij＝(X_i，Y_j)而不是x_max与y_max编码中位数的减少；

用于根据所有位移为所述各候选范围C_ij估算递增位数的装置，其中递增位数表示根据所述各候选范围C_ij＝(X_i，Y_j)而不是x_max与y_max编码中位数的增加；以及

用于生成所述各候选范围C_ij(i，j＝1，2，...，N-1)的轮廓位数B_ij的装置，其中该轮廓位数B_ij表示从所述各候选范围C_ij的递减位数中减去递增位数。

15.按照权利要求14的装置，其中所述各候选范围C_ij的递减位数为将主顶点数N乘以x-bit_max与y-bit_max之和与x-bit_i与y-bit_j之和之间的差而得出的。

16.按照权利要求14的装置，其中这递增位数估算装置包含：

用于计算要增加在候选范围C_ij的较大轮廓段上的次顶点N_ij的装置，其中编码各较大轮廓段上的象素数据所需的位数大于动态范围的位数，并且次顶点数N_ij表示为了可以根据候选范围C_ij编码轮廓上的象素数据而增加到所有较大轮廓段上的次顶点的总数；以及

用于计算各候选范围C_ij的递增位数的装置，其中该递增位数是通过将次顶点数N_ij乘以候选范围C_ij＝(X_i，Y_j)的x-bit_i与y-bit_j之和而得出的。

Images