CN1187737A - 用于为形状自适应变换填充视频信号的方法和装置 - Google Patents

Abstract

一种用于为形状自适应离散余弦变换填充具有多个图象块的输入视频信号的方法,首先扫描包含目标和背景象素的一图象块以由此检测位于该图象块中的同一行或列上的目标象素之间的一填充象素,并根据该图象块中的目标象素的象素值计算一替代象素值。通过使用形状自适应离散余弦变换将具有包含目标象素的目标区和由替代象素值补偿的填充象素的填充图象块变换为一组SA－DCT系数。

Description

用于为形状自适应变换填充视频信号的方法和装置

本发明涉及一种视频信号编码方法和装置；而且，更具体地，涉及一种用于填充视频信号以便用于采用形状自适应离散余弦变换(SA-DCT)技术的视频编码器中的方法和装置。

在诸如高清晰度电视和视频电话系统的各种电子设备中，可以以数字形式发送视频信号。当以数字形式表示包括一序列视频“帧”的视频信号时，出现大量数字数据；因为视频帧的每一行由一序列称为“象素”的数字数据元素定义。但是，由于传统发送信道的可用频率带宽有限，为了通过固定信道发送大量数字数据，通常使用一种视频信号编码方法来压缩数字数据。

为低比特率编码系统编码视频信号的这些方法之一是所谓的面向目标的分析-合成编码技术(见Michael Hotter，“基于运动二维目标的面向目标的分析-合成编码(Object-Oriented Analysis-Synthesis Coding Based on MovingTwo-Dimensional Objects)”，Signal Processing：Image Communication，2，409-428(1990))。

根据面向目标的分析-合成编码技术，一个具有运动目标的输入视频信号根据这些目标被划分。在处理一个目标中的图象数据或象素时，可以在面向目标的分析-合成编码技术中采用一种用于降低包含在图象数据中的空间冗余度的变换编码技术。最常使用的用于图象数据压缩的变换编码技术之一是一种基于DCT的块变换编码，它将一个数字图象数据块，例如一个8×8象素的块，转换为一组变换系数。由于基于块的DCT不能直接应用于面向目标的编码技术，已经提出用于对任意形状的图象目标中的象素进行编码的方法。这些方法提供用于在较宽的比特率范围内对具有任意形状目标的被分割的视频信号进行编码的装置，以由此使得有可能编码N×N图象块中的任意形状的目标，N为一正整数，SA-DCT算法是这类方法之一。

输入视频信号被分为相邻的N×N象素的块，且只有包含在分割区的一个目标中的完整的块可以用标准的N×N DCT编码。包含分割区边界的块单独用SA-DCT来编码。

SA-DCT方法利用预定的基于DCT的正交函数集。图1A示出被分割为两个区(目标和背景区)的一个图象块的例子。该目标和背景区分别包含目标象素和背景象素。为了执行目标区的垂直SA-DCT，确定该目标区的每一列j(0＜j＜9)的长度并如图1B所示将该目标的各列上的目标象素移至8×8块的上边界对齐。根据每列的长度M，选择一个包含一组M个基于DCT的矢量的DCT矩阵D_M(p，k)，其中每一列的D_M(p，k)表示为： $D_M(p,k)=c_o\·\cos \left[p\right(k+\frac{1}{2})\·\frac{\mathrm{\π}}{M}]$ 公式1k和p范围分别为从0至M-1，而Co值为：

，如果p＝0；1，如果p≠0通过利用下面的公式来计算M个垂直的DCT系数： $c_{\mathrm{jh}}=\frac{2}{M}\underset{q=0}{\overset{M-1}{\mathrm{\Σ}}}{D}_M(h,q)\·x_{\mathrm{jq}}$ 公式2

其中C_jh为第j列的第h个DCT系数；而X_jg为第j列的第q个象素值。

例如，在图1B中，最右边的列利用基于DCT的3点矢量被变换。在垂直方向执行完SA-DCT后，如图3C中所示，沿8×8块的上边界找到目标区的各列的最低DCT系数(DC值)。为了执行目标区的水平DCT，确定该目标区的每一行的长度并如图1D所示将这些行移至8×8块的左边界。然后通过利用公式1和公式2来完成适于每一行尺寸的水平SA-DCT。沿具有相同序号的垂直SA-DCT系数执行水平SA-DCT。(即，图1D中所有列的具有相同h值的DCT系数被组合在一起并经受水平SA-DCT)。图1E示出得到的SA-DCT系数在8×8块中的最终位置。

在这种方法中，DCT系数的最终个数与包含在目标区中的象素数目相等。而且，DCT系数以与标准8×8DCT相似的方式分布。也就是说，DC系数位于一8×8块的左上角。取决于目标区的实际形状，其余的AC系数聚集在DC系数周围。

SA-DCT在被发送到解码器之前可以被量化并用诸如MPEG-1的标准混合编码方案进行行程编码(run-length coded)。将能指定目标形状轮廓参数和DCT系数一起发送到解码器。

解码器能在垂直及水平两个方向通过利用公式1和公式2的逆运算执行SA-DCT的逆运算。

但是，在上述的传统SA-DCT方法中，如果像图1A中所示在目标区中有不连续的行或列，即，如果在同一行或列上的目标象素之间存在背景象素，当移动每一行或列并沿左或上边界对齐时，在不连续的行或列上的目标象素的象素值之间会出现较低的相关性，而以后，由于象素值之间的低相关性而产生的高频分量会损害SA-DCT的性能。

因此，本发明的一个主要目的是提供一种能够补偿位于视频信号的目标区的同一行或列上的目标象素之间的不连续性的方法和装置。

根据本发明，提供了一种用于为形状自适应离散余弦变换填充输入视频信号的方法，输入视频信号被分为多个具有N×N象素的尺寸相同的图象块，而每个图象块被分割为分别包括目标象素和背景象素的一目标区和一背景区，N为正整数，该方法包括步骤：扫描一个包含目标和背景象素的图象块以由此检测一个填充象素，该填充象素代表位于该图象块中同一行或列上的目标象素之间的一个背景象素；根据目标象素的象素值计算一替代象素值；将该替代象素值提供给该填充象素以由此产生一个具有一补偿目标区的填充图象块，该补偿目标区包含目标象素值和替代象素值。

根据本发明的另一方面，提供了一种用于为形状自适应离散余弦变换填充输入视频信号的装置，该输入视频信号被分为多个N×N象素的尺寸相同的图象块，而每个图象块被分割为分别包括目标象素和背景象素的一目标区和一背景区，N为一正整数，该装置包括：一检测块，用于通过扫描包含目标和背景象素的一图象块来找到一填充象素，该填充象素代表位于该图象块中同一行或列上的目标象素之间的一个背景象素；一计算块，用于根据目标象素的象素值计算一替代象素值；及一补偿电路，用于将该替代象素值提供给该填充象素以由此产生一个具有一补偿目标区的填充图象块，该补偿目标区包含目标象素值和替代象素值。

通过下面结合附图对本发明的优选实施例的描述，本发明的上述及其它目的和特点将变得显而易见，附图中：

图1A至1E描绘了一图象块的SA-DCT示例性处理；

图2表示本发明的用于执行图象块的SA-DCT的装置的示意性方块图；及

图3表示一个包含一具有不连续的行和列的目标区示例性图象块。

参看图2，输入视频信号在逐块的基础上被耦合至边界块检测单元100，该输入视频信号具有任意形状的目标并被分为多个图象块，例如，一个具有N×N象素的相同尺寸的图象块被分割为目标和背景区，N为正整数。目标区包括目标象素，每个目标象素具有一范围从1至255的值，而背景区包括背景象素，每个背景象素具有一0值。边界块检测单元100检测包括在向其提供的输入视频信号中的一个图象块是否为一边界块，边界块包含目标和背景区这两者。如果检测出该图象块是一边界块，经线路L20将该图象块作为一边界块提供至块扫描单元210，否则，即该图象块只包括目标和背景区之一，经线路L10将该图象块作为一平滑块提供至SA-DCT单元300。

通过使用上面作为现有技术提到的传统SA-DCT处理，在SA-DCT单元300中将来自边界块检测单元100的平滑块变换为一组SA-DCT系数。由于平滑块中包括目标和背景区之一，对平滑块的SA-DCT处理与标准DCT相似。

另一方面，块扫描单元210扫描经线路L20向其提供的边界块以检测填充象素，一个填充象素代表位于该边界块中的目标区的同一行或列上的目标象素之间的一个背景象素。

块扫描单元210首先水平地扫描该边界块中的目标区的每一行以便找到至少具有一个填充象素的一不连续行。然后，扫描单元210垂直地扫描目标区的每一列以检测一不连续列。如图3所示，如果在边界块10的目标区20中存在一不连续行或列，则将该边界块和其中的填充象素上的扫描信息提供至块补偿单元220，而否则的话，该边界块经线路L40被耦合至SA-DCT单元300并通过使用传统的SA-DCT处理被变换为一组SA-DCT系数。

如果该边界块和该扫描信息从块扫描单元210传送过来，块补偿单元220根据从块扫描单元210馈送的边界块的目标象素值和扫描信息计算补偿填充象素的象素值以由此产生一经补偿的边界块。

参看图3，在边界块10中，在上数第一行上的目标象素M₁和M₆之间存在两个填充象素H₁和H₂，而且最左一列上的目标象素S₁和S₇之间存在三个填充象素V₁至V₃。块补偿单元220首先向填充象素H₁、H₂和V₁至V₃指定初始值。这里，填充象素H₁和H₂的初始值是通过例如平均围绕该填充象素H₁和H₂的相邻象素，例如象素M₁至M₆的象素值来确定的，而类似地，填充象素V₁至V₃的初始值是从象象素S₁至S₇的象素值获得的。

然后，根据填充象素H₁、H₂和V₁至V₃的初始值和边界块10的目标象素值，块补偿单元220为每一填充象素递归地执行下面的公式，直到按下式计算的一象素值的变化量小于一预定值： $f^{(k+1)}(i,j)=\frac{1}{p}\left[f^k\right(i,j-1)+f^k(i-1,j)+f^k(i,j+1)+f^k(i+1,j\left)\right]$ 公式3

其中f^k(i，j)代表位于边界块的象素位置(i，j)处的填充象素的第j次迭代值；p指具有可被用于执行公式3右侧计算的象素值的函数项的数目；i范围为从1至N；0次迭代值f°代表原始目标象素值或每个填充象素的初始值；以及只有相应于目标象素和填充象素的象素值被用于执行公式3。在公式3中，其右侧中的迭代值也是通过使用具有与公式3相同格式的公式来计算的。

在上述迭代过程中，如果一填充象素的迭代值固定于第k次迭代步骤，将该填充象素的第k次迭代值指定给该填充象素取代其初始值。

经线路L30将包括具有原始目标象素值的目标象素和由迭代过程补偿的填充象素的经补偿的边界块提供至SA-DCT单元300并通过使用传统的SA-DCT过程将其变换为一组SA-DCT系数。这时，填充象素值也被变换为SA-DCT系数。

在SA-DCT单元300处由SA-DCT过程产生的输入视频信号中每一图象块的SA-DCT系数在被发送到解码器之前可以被量化并用诸如MPEG-1的标准混合编码方案进行行程编码。

虽然已结合具体实施例对本发明作了描述，但对本领域技术人员来说，显然可以做出各种变动和修改而不偏离由下面权利要求所定义的本发明的精神和范围。

Claims (11)

1、一种用于为形状自适应离散余弦变换填充输入视频信号的方法，该输入视频信号被分成多个在大小相同的N×N象素的图象块，且每个图象块被分割成分别包括目标和背景象素的一目标区和一背景区，N为一正整数，该方法包括步骤：

(a)扫描包含目标和背景象素的一图象块以由此检测一填充象素，该填充象素代表位于该图象块中同一行或列上的目标象素中的一个背景象素；

(b)根据目标象素的象素值计算一替代象素值；

(c)将该替代象素值提供至该填充象素以由此产生一个具有一补偿目标区的填充图象块，该补偿目标区包含目标象素值和替代象素值。

2、权利要求1所述的方法，其中步骤(a)包括步骤：

(a1)水平地扫描图象块中的目标区的每一行以由此找到填充象素；及

(a2)垂直地扫描图象块中的目标区的每一列以由此找到填充象素。

3、权利要求1所述的方法，其中，在步骤(b)中，该替代象素值是通过利用围绕该填充象素的目标象素的象素值的平均值来确定的。

4、权利要求1所述的方法，其中步骤(b)包括步骤：

(b1)向该填充象素指定一初始值；

(b2)递归地执行公式A直到按所述公式A计算的迭代值的变化量小于一预定阈值以由此产生一固定的迭代值； $f^{(k+1)}(i,j)=\frac{1}{P}\left[f^k\right(i,j-1)+f^k(i-1,j)+f^k(i,j+1)+f^k(i+1,j\left)\right]$ 公式A其中f^k(i，j)代表位于图象块中的象素位置(i，j)处的填充象素的第k次迭代值；p代表具有用于执行所述公式A右侧计算的象素值的函数项的数目；i范围为从1至N；0次迭代值f°代表原始目标象素值或填充象素的初始值；以及只有与目标象素和填充象素相应的象素值被用于执行所述公式A；及

(b3)将与填充象素相应的固定迭代值确定为替代象素值。

5、权利要求4所述的方法，其中填充象素的初始值为围绕该填充象素的目标象素的平均象素值。

6、一种用于为形状自适应离散余弦变换填充输入视频信号的装置，该输入视频信号被分为多个尺寸相同的N×N象素的图象块且每个图象块被分割为分别包括目标象素和背景象素的一目标区和一背景区，N为一正整数，该装置包括：

一检测装置，用于通过扫描包含目标和背景象素的图象块找到一填充象素，该填充象素代表图象块中同一行或列上的目标象素中的一背景象素；

一计算装置，用于根据目标象素的象素值计算一替代象素值；及

一补偿装置，用于将该替代象素值提供给该填充象素以由此产生一个具有补偿目标区的填充图象块，该补偿目标区包含目标象素值和替代象素值。

7、根据权利要求6的装置，其中该检测装置包括：

装置，用于水平地扫描图象块中目标区的每一行以由此找到该填充象素；及

装置，用于垂直地扫描图象块中的目标区的每一列以由此检测该填充象素。

8、根据权利要求6的装置，其中该计算装置通过利用围绕该填充象素的目标象素的象素值的平均值来确定该替代象素值。

9、根据权利要求6的装置，其中该计算装置向该填充象素指定一初始值且然后通过使用基于下式的递归迭代方法计算该替代象素值： $f^{(k+1)}(i,j)=\frac{1}{P}\left[f^k\right(i,j-1)+f^k(i-1,j)+f^k(i,j+1)+f^k(i+1,j\left)\right]$ 公式B其中f^k(i，j)代表位于图象块中的象素位置(i，j)处的填充象素的第k次迭代值；p代表具有用于执行所述公式B右侧计算的象素值的函数的项的数目；i范围为从1到N；0次迭代值f°代表一原始目标象素值或该填充象素的初始值；及只有与目标象素和该填充象素相应的象素值被用于执行所述公式B。

10、根据权利要求9的装置，其中为该填充象素递归执行所述公式B直到按所述公式B计算的迭代值的变化量小于一预定阈值，以由此产生一固定迭代值，且与该填充象素相应的该固定迭代值被确定为替代象素值。

11、根据权利要求9的装置，其中该填充象素的初始值为围绕该填充象素的目标象素的平均象素值。

Images