CN1115878C - 利用外延插值技术处理带有目标的图象信号的方法及装置 - Google Patents

Abstract

用外延插值技术处理由区分成目标象素与背景象素的N×N个象素构成的处理块，包括：选择处理块的L行，各行具有至少一目标象素；为各选择的行确定表示其中的目标象素的个数的M，并提供第一矢量；根据M与N值选择一外延矩阵，并用其乘第一矢量以提供一扩张的第一矢量；提供一包含L行的第一外延的处理块，为其各列提供一L维第二矢量；根据L与N值选择一外延矩阵，用其去乘各第二矢量以提供N个外延的第二矢量；用一块比例因子去乘第二外延的处理块的各象素以提供外延的块。

Description

利用外延插值技术处理带有目标的 图象信号的方法及装置

本发明涉及处理低比特率图象信号的方法与装置；更具体地，涉及通过使用外延插值(“E-I”)技术编码带有目标的图象信号的方法与装置。

在诸如高清晰度电视与可视电话系统等各种电子应用中，可以以数字形式传输视频信号。当从数字形式表示包含一序列视频“帧”的视频信号时，便会出现可观的数字数据量：因为视频帧的各行是由一序列称作“象素”的数字数据元素定义的。然而，由于一条传统的传输信道可利用的频带宽度是有限的，为了通过固定的信道传输可观的数字数据量，通常采用视频信号编码法来压缩数字数据。

低比特率编码系统的编码图象信号的方法之一便是所谓面向目标的分析综合编码技术(见MichaelHtter“基于移动二维目标的面向目标的分析综合编码”，信号处理：图象通信，2，409-428(1990))。

按照面向目标的分析综合编码技术，将带有移动目标的一个输入图象信号分成多个目标；通过不同的编码信道处理用于定义各目标的运动、轮廓与象素数据的三组参数。

在处理位于目标内部的图象数据或象素时，面向目标的分析综合编码技术中可能主要采用一种用于减少包含在图象数据中的空间冗余的变换编码技术。最常用的图象数据压缩变换编码技术之一便是基于DCT(离散余弦变换)的块变换编码，它将一块数字图象数据(例如8×8个象素的一块)转换成一组变换系数数据。这一方法描述在诸如Chen与Pratt，“场景自适应编码器”，IEEE通信学报，COM-32，第三号，225-232页(1984年3月)。虽然它们并不象DCT那样经常采用，但在块变换编码中也可采用DST(离散正弦变换)、Hartley变换或其它变换。

在块变换编码中，一块中的背景或非目标区是用诸如0、该块中的平均象素值或目标的镜象填充的，然后进行变换。参见图1B与1C，其中示出了一维数据的情况中填充背景区的传统方法。具体地，在图1B中，背景区是用0填充的；而在图1C中，背景区是用目标区中的平均象素值填充的。

虽然这些方法具有能够利用传统方法中所采用的二维DCT块的优点(诸如联合摄影专家组：JPEG、活动图象专家组：MPEG、H.261等)，在图象的背景区中仍然包含不必要的的或不期望的数据，因此从数据压缩的观点来看是低效率的。

因此，本发明的主要目的是为提供一种采用外延插值技术高效地编码带有目标的图象帧信号的方法，借此改进其数据压缩效率。

按照本发明，提供了一种将包含在带有目标的一个图象帧信号中的处理块转换成外延的处理块的方法，其中该处理块包含区分成目标象素与背景象素的N×N个象素，N为一个正整数，目标象素是位于目标内部的而背景象素则位于目标外部，该方法包括下述步骤；

(A)选择处理块的L行，各该L行具有至少一个目标象素，L为从0至N范围内的一个整数；(B)为在步骤(A)中选择的各行确定一个数M并提供一个第一矢量，其中M表示包含在所述各行中的目标象素的个数且为从1至N范围内的一个整数，该第一矢量的各元素是包含在所述各行中的M个目标象素中每个象素的值；(C)根据M与N值从多个预定的扩张矩阵中为所述各行选择一个外延矩阵，并用所选择的外延矩阵去乘第一矢量，以提供一个外延的第一矢量；(D)提供一个包含L行的第一外延处理块，各行具有N个象素，它们的值为各该外延的第一矢量的元素；(E)为第一外延处理块的各列提供一个L维第二矢量，该第二矢量的元素为包含在第一外延处理块的所述各列中的象素的值；(F)根据L与N值从多个预定的外延矩阵中选择一个外延矩阵；(G)用步骤(F)中选择的外延矩阵去乘各第二矢量，以提供N个外延的第二矢量并借此提供包含N列的外延处理块，各列具有N个象素，它们的值为各该扩张的第二矢量的元素，其中用于将一个K维矢量转换成N维矢量的外延矩阵按如下确定，其中K是包含在所述每行内的目标象素的数量或包含在第一外延处理块内的行数：

其中a_ij代表 $\sqrt{\frac{2}{N+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{N+1}\right]$ b_ij代表 $\sqrt{\frac{2}{K+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{K+1}\right]$ 以及μ₀记作 ${\mathrm{\μ}}_0=\sqrt{\frac{N}{K}}$

从下面结合附图给出的较佳实施例的描述中，本发明的上述及其它目的与特征将是显而易见的，附图中：

图1A至1D表示填充背景区的不同方法；

图2A至2C示出本发明的外延插值技术；

图3提出展示按照本发明的图象信号编码装置的方框图；以及

图4提供图3中所示的外延插值装置的详细方框图。

参见图2A，其中示出了包含8×8个象素的数字图象信号块，各象素用一个正方形表示。该块中包含一个用阴影象素表示的目标区及一个剩余的背景区。阴影象素称作目标象素而其它象素称作背景象素。通过使用本发明的外延插值(“E-I”)技术外延目标象素来填充整个块，如图2B与2C中所示。为了做到这一点，独立地执行水平与垂直外延，如图2B与2C中分别示出的。先执行水平外延或者先执行垂直外延再执行另一外延，其先后次序按照图象的特征来确定。水平或垂直外延可逐行或逐列执行。在一块包含N×N个象素的情况中，对于各行或各列，将M维(“M-D”)矢量(M为1至N范围内的整数)转换成N维(“N-D”)矢量，其中该M-D矢量的元素为包含在各行或各列中的M个目标象素值，而N-D矢量的元素则为N个外延的象素值。例如，在图2A中所示的块的第三行的情况中，将一个5维矢量转换成表示图2B中所示的一个水平外延块的第三行的一个8维矢量。

通过在M-D矢量f1上作用M点1-D DCT得到的变换后的M-D矢量F1表示如下：

                     式(1)其中f₁(n₁)为f₁的第n₁个元素；F₁(K₁)为F₁的第K₁个元素；n₁与K₁为0至M-1范围内的整数；以及bij表示为： $\sqrt{\frac{1}{M}}$ 对于i＝0 $\sqrt{\frac{2}{M}}\cos \left[\frac{\mathrm{\π}(2j+1)i}{2M}\right]$ 对于i≠0。

类似地，当使用本发明的E-I技术外延M-D矢量f₁以构成N-D矢量f₂时，通过在N-D矢量f₂上作用N点1-DDCT得到的变换后的N-D矢量F₂表示如下；

其中f₂(n₂)为f₂的第n₂个元素；F₂(K₂)为F₂的第K₂个元素；n₂与K₂为0至N-1范围内的整数；以及aij表示如下： $\sqrt{\frac{1}{N}}$ 对于i＝0 $\sqrt{\frac{2}{N}}\cos \left[\frac{\mathrm{\π}(2j+1)i}{2N}\right]$ 对于i≠0

按照本发明的E-I方法，将M-D矢量f₁外延成N-D矢量f₂而不生成任何附加的频域数据。即满足下式；其中μ₀为使f₂与f₁的直流(DC)分量相等的比例因子，并给定为， ${\mathrm{\μ}}_0=\sqrt{\frac{N}{M}}$

当满足式(3)时，E-I方法是最佳的，因为在将f₁转换成f₂时，在频域中不生成附加数据。

从式(1)与(2)中，能够推导出f₂是如下从f₁得出的：

或     f₂-A^-1Bf₁    式(4B)其中A与B分别表示其分量为用在式(4A)中的aij与bij的N×N与N×M矩阵。式(4A)与(4B)可进一步简化如下：

       f₂＝cf_i                 式(5B)其中C为一个N×M矩阵并等于A^-1B。

通过利用上述关系，可以外延一个任意形状的目标来填充一个N×N块而不生成附加的频域元素。

反过来，可从图2C中所示的外延处理块恢复图2A的原始数据。

如果N等于M，则C为单位矩阵。从而，外延过程不改变原始矢量f₁而可以省略。

在图2A至2C中所描绘的例子中，首先用本发明的E-I方法将图2A中所示的块的第3至第8行水平外延成图2B中所示的块的行。类似地，用E-I法将图2B中所示的水平外延的块的列垂直外延成图2C中所示的外延块的列。

到目前为止，本发明的E-I法是从DCT的情况说明的，然而也可用诸如DST(离散正弦变换)、Hadamard变换、Haar变换等其它变换来代替。当在编码N×N块时利用DST时，E-I法与DCT的情况相同，但除外aij与bij分别表示为： $\sqrt{\frac{2}{N+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{N+1}\right]$ $\sqrt{\frac{2}{M+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{M+1}\right],$

已知当图象数据在空间域中并不高度相关时，例如在编码两个相邻的帧之间的差的帧间编码的情况中，基于DST的块变换编码可得到比基于DCT的编码更好的性能。

在上述方法中，只在频域的DC分量上作用比例因子μo。然而，将比例因子μo同时作用在其它分量上可能同样有利。为了做到这一点，将式(4A)修正如下：

在这一情况中，在外延过程中包含在处理块的总能量可观地增加。为了减轻能量增加的后果，在外延的处理块的各象素值上乘以一个块比例因子，其中该块比例因子定义为一个处理块中的目标象素的个数除以N×N，即处理块中的象素的个数。

参见图3，其中示出了按照本发明编码数字图象信号的装置的方框图。编码装置10包括第一与第二编码信道100与500、以及外延插值(“E-I”)装置400，用于为了高效地编码图象信号中的一个目标的一部分边界面生成外延的处理块，其中第一编码信道100用于编码目标的二进制图，而第二编码信道500的操作为在逐块的基础上编码数字图象信号。

将从诸如硬盘或紧致盘等已知的图象源(未示出)生成的数字图象信号输入到一个用来存储它的帧存储器50。一帧数字图象信号具有一个目标并包含位于目标内部的目标象素及位于目标外部的背景象素。背景象素可表示为其值远大于或小于普通象素值的范围的象素。然后，将一个图象帧信号从帧存储器50中检索到第一编码信道100中的一个二进制图检测器110与一个块发生器200中。

包括二进制图检测器110及二进制图编码器120的第一编码信道100的作用为采用已知的编码技术检测与编码来自帧存储器50的图象信号的二进制图以生成编码的二进制图。使该二进制图包含与图象帧信号中的象素一样多的二进制象素，其中各二进制象素值是按照图象帧信号的一个对应象素是一个目标象素还是一个背景象素确定的。

然后将在二进制图检测器110中检测到的二进制图提供给二进制图编码器120去编码，并且还通过线路L10馈送给本发明的E/I装置400。

在二进制图编码器120中，用诸如JPEG(摄影专家联合组)的二进制算术码编码来自二进制图检测器110的二进制图，然后将编码的二进制图提供给格式化电路600。

同时，块发生器200将来自帧存储器50的图象帧信号分成具有N×N个象素的大小相等的多个处理块，N为一个正整数，并在逐块的基础上将处理块提供给开关电路300。在开关电路300上，响应来自系统控制器(未示出)的控制信号CS有选择地将来自块发生器200的各处理块耦合到线路L20上的E-I装置400或第二编码信道500。系统控制器生成指示各处理块中是否存在图象帧中的一部分目标边界的控制信号CS。如果在一个处理块中存在目标边界部分，即该处理块同时具有目标区与背景区，则将该处理块耦合到E-I装置400去生成一个外延的处理块；否则将它送至第二编码信道500。

按照本发明，E-I装置400将来自开关电路300的各处理块改变成外延的处理块以改进第二编码信道500上的数据压缩效率。馈送给E-I装置400的处理块类似于图2A中所示的，并在其中修正成外延的处理块，如参照图2A至2C所说明的。E-I装置400的详细描述将参照图4给出。

包括一个变换编码器510、一个量化器520及一个熵编码器530的第二编码信道500的作用为应用传统的变换与统计编码技术编码包含在来自E-I装置400的各外延的处理块或来自开关电路300的各非外延处理块中的图象数据。这便是，变换编码器510应用诸如离散余弦变换(DCT)将来自E-I装置400或开关电路300的空间域中的各处理块的图象数据变换成频域中的一组变换系数，并将该组变换系数提供给量化器520。在量化器520上，应用已知的量化方法量化该组变换系数；然后将该组量化的变换系数馈送给熵编码器530供进一步处理。

熵编码530应用行程长度与可变长度编码的组合，编码来自量化器520的各非外延的或外延的处理块的量化的变换系数组以生成一个编码图象信号。然后将熵编码器530编码的图象信号提供给格式化电路600。

格式化电路600格式化来自第一编码信道100中的二进制图编码器120的编码二进制图及来自第二编码信道500中的熵编码器530的编码图象信号，借此提供一个格式化数字图象信号给发射机(未示出)供其传输。

参见图4，其中示出了图3中所示的按照本发明的E-I装置400的详细方框图。该E-I装置400包括一个目标象素计数器410、一个开始/大小判定单元420、一个控制单元430、一个RAM(随机存取存储器)440、一个填充单元460、一个外延矩阵存储器470、一个外延单元480及一个改比例单元490。

在线路L20上将来自图3中所示的开关电路300的处理块输入到RAM440中并存储在其中。在线路L10上将来自图3中所示的二进制图检测器110的二进制图耦合到目标象素计数器410及开始/大小判定单元420。

在目标象素计数器410上，根据二进制图计数各处理块中的目标象素的总数，并将其提供给改比例单元490。

在开始/大小判定单元420中，根据二进制图确定一个大小及一个开始信号，其中的大小信号表示处理块中当前正在处理的行或列中的目标象素数，而开始信号则表示当前正在处理的行或列中的第一个目标象素的位置，将开始与大小信号提供给填充单元460，并将大小信号馈送给外延矩阵存储器470及外延单元480 。

下面结合图2A至2C中所示的例子给出开始/大小判定单元420的详细描述。如在图2A中所示的处理块中的前两行的情况中那样在当前行中没有目标象素时，便令大小信号指示填充单元460、外延矩阵存储器470及外延单元480该行不需要由本发明的外延插值过程处理。在图2A中所示的处理块的第三行的情况中，开始信号指示第三象素是第一目标象素，而大小信号则指示该行中包含5个目标象素。

在垂直外延期间，开始与大小信号分别固定在诸如3与6上，因为水平外延后的块的各列中的目标象素的开始位置与数目是相同的，如图2B中所示。

外延矩阵存储器470中存储用于按照本发明将一个M-D矢量变换成一个N-D矢量的外延矩阵，即式(5B)中的C。N是根据系统设计预置的，并在许多实例中为8。因此，有可能为从1至N-1的所有M值事先计算出外延矩阵C，并将它们存储在外延矩阵存储器470中，  因此外延矩阵存储器可用一个ROM(只读存储器)来实现。通过用一个存储在外延矩阵存储器470中的适当外延矩阵来乘用一行(或一列)中的目标象素的值构成M-D矢量，便能容易地完成处理块的该行(或该列)的外延插值。适当的外延矩阵是根据大小信号选择的并提供给外延单元480供其相乘。如果大小信号指示当前行(或列)中没有目标象素，便不选择与不提供外延矩阵给外延单元480。

同时，在控制单元430上，形成一个H/V信号及一个行/列号信号，其中该H/V信号表示在本发明的E/I装置上当前正在进行的是水平外延还是垂直扩张，而行/列号信号则表示本发明的E/I装置400当前正在处理的行或列。通常，一块中的行/列是顺序处理的，因此该信号是根据诸如一个处理块中的行与列的数目等系统设计预先确定的。将H/V信号与行/列号信号馈送给开始/大小判定单元420及RAM440。

如上所述，将来自图3中所示的开关电路300的处理块馈送给RAM440。处理块的行或列是响应来自控制单元430的H/V信号与行/列号信号顺序地从RAM440中提供的。为了示例的目的，假定首先执行水平外延。在这一情况中，首先将处理块的各行提供给填充单元460。

在填充单元460上，响应开始与大小信号，形成表示包含在RAM440所提供的行中的目标象素值的一个M-D矢量，并将其提供给外延单元480。该M-D矢量是通过从开始信号指示的位置开始选择M个接连的目标象素而构成的。

响应于大小信号，或者换言之M值信号，从存储在扩张矩阵存储器470中的多个预定的外延矩阵中选择一个外延矩阵，并从那里将其提供给外延单元480。在外延单元480上用外延矩阵去乘该M-D矢量以形成一个外延的N-D矢量。将一个水平外延行的N-D矢量反馈给RAM440并存储在原来的行的位置上。

如上所述，存储在RAM440中的处理块的一行是转换成水平外延行并存储回来的。除外没有目标象素的行，处理块的所有行都是以相同的方式处理的。在没有目标象素的情况中，大小信号指示外延单元480该行中没有目标象素，从而在其中不执行乘法，而RAM440中的原来数据保持不变。

可以推论出的在完成了水平外延时，在RAM440中所存储的是类似于图2B中所示的包含外延的行的一个水平外延处理块。

在结束了水平外延之后，使响应来自控制单元430的H/V信号与行/列号信号，将水平外延的处理块的列顺序地从RAM440中提供给填充单元460。除此以外，填充单元460、外延矩阵存储器470及外延单元480的功能基本上与水平外延的相同。具体地，将水平外延的处理块的各列构成的M-D矢量从填充单元460提供给外延单元480并在其中转换成N-D矢量。将外延的列(即N-D矢量)馈送到RAM440，并存储在水平外延的块的对应列的位置上。

完成了水平与垂直外延之后，便将存储在RAM440中的外延的处理块耦合到改比例单元490上。在改比例单元490上，用根据目标象素计数器410所提供的处理块中的目标象素的数目所确定的块比例因子缩小外延的处理块的各象素值。

将改比例后的外延的处理块耦合到图3中所示第二编码信道500的变换编码器510上，并在其中编码。

如上所示，本发明的装置利用E-I法能够在块变换编码过程中明显地减少出现在目标内的象素与目标外部的象素之间的高频分量，从而改进总体编码效率。

虽然已经相对于特定的实施例描述了本发明，熟悉本技术的人员应能理解，能够作出各种改变与修正而不脱离下述权利要求书中所定义的发明精神与范围。

Claims (4)

1、一种用于将包含在带有目标的图象帧信号中的处理块转换成外延处理块的方法，其中该处理块由区分成目标象素与背景象素的N×N个象素构成，N为一个正整数，目标象素位于目标内部而背景象素位于目标外部，该方法包括下述步骤：

(A)选择处理块的L行，各该L行具有至少一个目标象素，L为从0至N范围内的一个整数；

(B)为在步骤(A)中选择的各行确定一个数M并提供一个第一矢量，其中M表示包含在所述各行中的目标象素的个数且为从1至N范围内的一个整数，该第一矢量的各元素是包含在所述各行中的M个目标象素中每个象素的值；

(C)根据M与N值从多个预定的扩张矩阵中为所述各行选择一个外延矩阵，并用所选择的外延矩阵去乘第一矢量，以提供一个外延的第一矢量；

(D)提供一个包含L行的第一外延处理块，各行具有N个象素，它们的值为各该外延的第一矢量的元素；

(E)为第一外延处理块的各列提供一个L维第二矢量，该第二矢量的元素为包含在第一外延处理块的所述各列中的象素的值；

(F)根据L与N值从多个预定的外延矩阵中选择一个外延矩阵；

(G)用步骤(F)中选择的外延矩阵去乘各第二矢量，以提供N个外延的第二矢量并借此提供包含N列的外延处理块，各列具有N个象素，它们的值为各该扩张的第二矢量的元素，

其中用于将一个K维矢量转换成N维矢量的外延矩阵按如下确定，其中K是包含在所述每行内的目标象素的数量或包含在第一外延处理块内的行数：

其中a_ij代表 $\sqrt{\frac{2}{N+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{N+1}\right]$ b_ij代表 $\sqrt{\frac{2}{K+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{K+1}\right]$ 以及μ₀记作 ${\mathrm{\μ}}_0=\sqrt{\frac{N}{K}}$

2、如权利要求1所述的方法，进一步包括步骤：

(H)计数处理块中的目标象素的个数并确定一个块比例因子，该因子为目标象素的个数除以处理块中的象素的个数；以及

(I)用块比例因子去乘第二外延处理块的各象素，借此提供外延处理块。

3、如权利要求1所述的方法，其中用于将一个K维矢量转换成N维矢量的外延矩阵按如下确定，其中K是包含在所述每行内的目标象素的数量或包含在第一外延处理块内的行数：

其中b_ij代表 $\sqrt{\frac{1}{K}}$ 对于i＝0 $\sqrt{\frac{2}{K}}\cos \left[\frac{\mathrm{\π}(2j+1)i}{2K}\right]$ 对于i≠0a_ij代表 $\sqrt{\frac{1}{N}}$ 对于i＝0 $\sqrt{\frac{2}{N}}\cos \left[\frac{\mathrm{\π}(2j+1)i}{2N}\right]$ 对于i≠0以及μ₀记作 ${\mathrm{\μ}}_0=\sqrt{\frac{N}{K}}$

4、一种用于编码带有目标的图象帧信号的装置，其中该图象帧信号由目标象素与背景象素构成，目标象素位于目标内部而背景象素位于目标外部，所述装置包括：

(A)用于检测指示图象帧信号中哪些象素为目标象素的二进制图的装置；

(B)用于编码二进制图以生成第一编码图象帧信号的装置；

(C)用于将图象帧分成多个处理块的装置，各处理块具有N×N个象素，N为一个正整数；

(D)用于生成指示各处理块是否既具有目标象素又具有背景象素的控制信号的装置；

(E)用于响应该控制信号将处理块分成第一与第二组处理块的装置，其中第一组处理块中各块既具有目标象素又具有背景象素；

(F)用于将第一组的各处理块转换成一个外延处理块的装置；

(G)用于编码外延处理块或第二组处理块，借此生成一个第二编码图象帧信号的装置；以及

(H)用于格式化第一与第二编码图象信号的装置，其中所述用于转换各处理块的装置包括：

(F1)用于选择所述处理块的L行的装置，该L行中每一行具有至少一个目标象素，L为从0至N范围内的一个整数；

(F2)为在所述选择装置上选择的各行确定一个数M及提供一个第一矢量的装置，其中M表示包含在所述各行中的目标象素的个数且为从1至N范围内的一个整数，该第一矢量的各元素是包含在所述各行中的M个目标象素中每个象素的值；

(F3)用于根据M与N值为所述各行从多个预定的外延矩阵中选择一个外延矩阵、并用所选择的外延矩阵去乘第一矢量以提供一个外延的第一矢量的装置；

(F4)用于提供包含L行的一个第一外延处理块的装置，各行具有N个象素，它们的值为各该外延的第一矢量的元素；

(F5)用于为第一外延的处理块的各列提供一个L维第二矢量的装置，第二矢量的元素为包含在第一外延的处理块的所述各列中的象素的值；

(F6)用于根据L与N值从多个预定的外延矩阵中选择一个外延矩阵的第一装置；以及

(F7)用于将在所述第一选择装置上选择的外延矩阵去乘各第二矢量以提供N个外延的第二矢量并从而提供包含N列的外延的处理块的装置，各列具有N个象素，它们的值为各外延的第二矢量的元素；

其中，用于将一个K维矢量转换成N维矢量的外延矩阵按如下确定，K是包含在所述每行内的目标象素的数量或包含在第一外延处理块内的行数：

其中a_ij代表 $\sqrt{\frac{2}{N+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{N+1}\right]$ b_ij代表 $\sqrt{\frac{2}{K+1}}\sin \left[\frac{\mathrm{\π}(j+1)(i+1)}{K+1}\right]$ 以及μ₀记作 ${\mathrm{\μ}}_0=\sqrt{\frac{N}{K}}$

Images