CN1159121A

CN1159121A - 用于对被发送的视频信号中的误差进行校正的方法及装置

Info

Publication number: CN1159121A
Application number: CN96114183A
Authority: CN
Inventors: 金镇宪
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1995-12-23
Filing date: 1996-12-23
Publication date: 1997-09-10
Anticipated expiration: 2016-12-23
Also published as: US5751361A; GB9626816D0; GB2308770B; KR100197366B1; GB2308770A; KR970057886A; CN1106767C; JPH09219864A

Abstract

一种用于视频信号解码系统中用于隐蔽误差的方法，其中该视频信号被分成多个块，该方法包括有以下步骤，检测包含误差的一损失块；提供该视频信号中与该损失块相邻的块的象素值；计算包括在环绕该损失块的一预定范围象素中的各相邻象素上的一边缘梯度，并计算各边缘梯度的量值和角度；生成一被空间内插的块；及提供该空间内插块作为一替代块，用于补偿损失块。

Description

用于对被发送的视频信号中的误差进行校正的方法及装置

本发明涉及一种用于视频信号解码系统的误差隐蔽的方法及装置；且更具体地，涉及一种用于隐蔽在以压缩形式发送的解码后的视频信号中出现的误差的方法及装置。

众所周知，数字化视频信号的传输能获得比模拟信号传输质量高得多的视频图象，当视频信号以数字形式表达时，会生成非常大量的用于传输的数据，特别是在高清晰度电视(HDTV)系统的情况下，然而，由于通常传输信通的可用频宽有限，为了通过其发送这么大量的数字数据，不可避免地要压缩减少传输数据量。

在通常的传输系统中，通过使用例如DCT(离散余弦变换)及运动补偿技术在逐块基础上压缩视频信号；且压缩后的视频信号通过一噪声传输信道被发送给一接收端，使得在被发送的视频信号中不产生数据损失或破坏。然后，这样的传输系统未提供充足的额外开销(overhead)机构以恢复所有误差，而是在接收端依靠误差隐蔽以提供用于近似未被恢复的数据的替代数据。

在这样一误差隐蔽方案中，首先检测该被发送视频信号中的一损失块1(未被恢复的)及其相邻块。也就是说，如图4所示，确定一损失块，例如O，及其环绕该损失块的相邻块，例如1至8，接着，通过根据下式确定的加权平均值SB对该损失块的各象素值进行补偿。

SB = \frac{W_{1}}{4} (\bar{B_{1}} + \bar{B_{3}} + \bar{B_{6}} + \bar{B_{8}}) + \frac{W_{2}}{4} (\bar{B_{2}} + \bar{B_{4}} + \bar{B_{5}} + \bar{B_{7}})

W₁+W₂＝1 EQ.1

其中W1和W2分别表示预定的加权固子，Bi表示第i个相邻块的所有象素值的平均值，i的大小为从1至8。

然而，由于上述的误差隐蔽技术通过仅仅对这些相邻块的所有象素值进行平均而不考虑图象细节，例如可能存在于这些相邻块中的边缘，这些替换数据可能不能适当地反映该损失块的初始图象数据。

因此，本发明的目的在于提供一种通过根据其中所包括的边缘信息而隐蔽一被发送视频信号中的误差从而能改善图象质量的方法及装置。

根据本发明的一个方面，提供一种用于视频信号解码系统的，用于隐蔽以压缩形式被发送的视频信号中的误差的方法，其中该视频信号被分成多个块，各块有N×M个象素值，N及M为正整数，该方法包括有以下步骤：检测一包含有误差的损失块；提供该视频信号中与该损失块相邻的块的象素值；根据这相邻块的象素值对包括在一环绕该损失块的一预定范围的象素中的各相邻象素上的边缘梯度进行计算，并计算各边缘梯度的量值及角度；根据这些相邻块的边缘梯度及象素值生成一被空间内插的块；并提供该空间内插块作为一替代块，用于补偿该损失块。

根据本发明的另一方面，提供有一种用于视频信号解码系统中的，用于隐蔽以压缩形式发送的视频信号中的误差的装置，其中该视频信号被分成多个块，各块具有N×M个象素值，N及M为正整数，该装置包括有：一损失块检测器，用于检测一包含有误差的损失块；一相邻块确定电路，用于提供该视频信号与该损失块相邻的块的象素值；一梯度计算器，用于根据这些相邻块的象素值，计算在各相邻象素上的边缘梯度，这些相邻象素是包括在一环绕该损失块的一预定范围的象素中的，并用于计算各边缘梯度的量值及角度；一方向确定电路，用于根据这些相邻象素的边缘梯度确定一象素内插方向；一块生成器，用于根据这些相邻块的象素值及该象素内插方向，产生一被空间内插的块；及一提供(contribution)电路，用于提供该空间内插块作为一替代块，用于补偿该损失块。

通过以下结合附图对优选实施例的描述，本发明的以上及其它目的和特征将变得显然，附图中

图1示出了一误差隐蔽系统的概略性方框图；

图2A及2B分别给出了根据本发明的优选实施例的在图1中所示的一误差隐蔽电路。

图3说明了图2A或图2B中所示的一方向分类单元210的一详细方框图；及

图4给出了一视频信号中的一损失块及其相邻块的概略性表示。

参照图1，通过使用常规的解码技术，例如可变长度解码，逆量化及逆DCT在解码电路400对视频信号进行解码，该视频信号分成多个块，例如N×M个象素的块，N及M为正整数。而且，该经解码的视频信号被存储在一帧存储器300。

该视频信号还被提供给一块检测器100，且该块检测器100首先检查该视频信号中的一损失块，以而提供一包括有位置数据的损失块信息到线L20上，该位置数据表示该视频信号中该损失块的位置，该损失块具有损失的或被破坏的象素值，并根据该损失块信息提供经线L30自存储在帧存储器300上的该经解码的视频信号抽取的相邻块信息经线L10给一误差隐蔽电路200，该相邻块信息包括该损失块的各相邻块的象素值。

误差隐蔽电路200生成一替代块，用于补偿该视频信号内的该损失块，该替代块是根据来自块检测器100的在线L10上的相邻块信息而产生的。

在图2A及2B中，给出了根据本发明的优选实施例的在图1中示出的误差隐蔽电路200的详细方框图，并且，通常在图2A及2B中包括的一方向分类单元210在图3中作了更详尽的描述。参照图2A、2B及3将可以理解误差隐蔽电路200的结构及其操作。

首先，将参照这些附图介绍方向分类单元210及比较单元220，该两单元通常在结合图2A及2B给出的优选实施例中被使用。

来自块检测器100的在线L10上的相邻块信息被提供给一方向分类单元210，该方向分类单元210具有一梯度计算区212、一方向量化区214和一最大梯度确定区216，如图3所示。接着，梯度计算区212根据该相邻块信息，通过使用在空间域中的梯度量度，计算包括在环绕该损失块的一预定范围象素，例如三或四行及列象素中的相邻象素上的梯度。首先如下式所示确定这些相邻象素的一象素位置X(i，j)上的局部边缘梯度Gx和Gy：

GX＝X_i-1j+1-X_i-1j-1+2X_ij+1-2X_ij-1+X_i+1j+1-X_i+1j-1 EQ.2

Gy＝X_i-1j-1-X_i+1j-1+2X_i-1j-2X_i+1j+X_i-1j+1-X_i+1j+1 EQ.3

其中Xij表示在象素位置X(i，j)上的象素值，i和j为分别表示沿水平及垂直方向的该块中的象素位置。这相当于向这些相邻象素施加以下的3×3Sobel算子：

GX = [\begin{matrix} - 1 & 0 & 1 \\ - 2 & 0 & 2 \\ - 1 & 0 & 1 \end{matrix}]

Gy = [\begin{matrix} 1 & 2 & 1 \\ 0 & 0 & 0 \\ - 1 & - 2 & - 1 \end{matrix}]

基于根据公式2及公式3计算出的局部边缘梯度Gx和Gy，如下式给出在象素位置X(i，j)上的梯度的量值、Gmag及角度、Gpha：

Gmag = \sqrt{{Gx}^{2} + {Gy}^{2}} - - - EQ . 4

Gpha = \tan^{- 1} (\frac{Gy}{Gx}) - - - EQ . 5

计算环绕该损失块的各这些相邻象素的以上梯度量度，并将结果，即各相邻象素的梯度的量值及角度提供给方向量化区214。

在方向量化区214，提供给其的这些角度被舍入成例如45度的最近倍数，然后，它们各对应于分别表示例如水平、垂直、对角线上升及对角线下降的四个方向性种类(categoy)D1至D4之一，沿着该四个方向性种类之一的各梯度被提供给最大梯度确定区216。

在最大梯度确定区216，如果沿着由所在梯度的角度确定的方向而从象素位置X(i，j)拉出的一直线通过该损失块，则该具体的象素位置X(i，j)被归类为一表决象素。通过这些相关的方向性梯度的量值求和，在这些表决象素位置上的这些方向性种类D1至D4被相互排斥地累加。也就是说，对被归类于一方向性种类D1的表决象素位置上的梯度的量值进行累加，从而产生一第一和，对被包含于方向性种类D2的表决象素位置的梯度的量值由行累加，从而提供一第二和，并以此类推。通过对方向性种类D1和D4的和进行相互比较，区216选择一表现为最大累加和的方向性种类作为象素内插方向，该被选择的方向性种类及相关的和经线L220被提供给第二块补偿单元240A或240B，并通过线L210被提供给比较单元220。

返回参照图2A或2B，在比较单元220将对应于被选择的方向性种类的和与一预定阀值相比较，以提供选择信号给一选择单元250A或250B。

同时，根据本发明的优选实施例，来自块检测器100的相邻块信息也被提供给第一及第二块补偿单元230A及230B，如图2A所示。

在第一块补偿单元230A，通过使用前述常规的误差隐蔽技术，以该损失块的相邻块的象素值的加权平均值替换该损失块的各象素值而产生第一被补偿块。

第二块补偿单元240A根据沿着对应被选择的方向性种类的方向的相邻块的象素值，通过使用一方向内插法得出第二被补偿块。该方向内插法通过沿着一具体方向执行一维内插而生成这些象素值。例如，如果选择表示垂直方向的方向性种类作为象素内插方向，第二块补偿单元240A首先计算各块4和5的所有象素值的一平均值；计算块4和5的平均值的一平均值；并构成该第二被补偿块，第二被补偿块的各象素值为该平均值。同样地，以与该过程相同的方式，沿着分别对应于其余方向性种类D2，D3，及D4的方向的各相邻块2和7，3和6，1和8可分别被用于产生该第二被补偿块、如上所述产生的第一及第二被补偿块被提供给选择单元250A。

选择单元250A响应于自比较单元220输出的选择信号，选择来自第一块补偿单元230A的第一被补偿块或来自第二块补偿单元240A的第二被补偿块。也就是说，如果对应于被选择的方向性种类的和小于预定阀值，第一被补偿块经线L40被提供给帧存储器300作为替换块，而且如果相反的话，第二被补偿块被提供给存储器300。

另一方面，参照图2B，根据本发明的另一优选实施例，通过线L10被提供给误差隐蔽电路200的相邻块信息在DCT单元260通过使用离散余弦变换被转换。被变换的相邻块信息被提供给第一及第二块补偿单元230B和240B。

在第一块补偿单元230B，根据被变换的相邻块信息产生第一被补偿的DCT块。通过下式计算第一被补偿DCT块的各DCT系数SCij：

{SC}_{ij} = Σ_{k = 1}^{8} W_{k} {Bk}_{ij} - - - EQ . 6

Σ_{k = 1}^{8} W_{k} = 1

其中Wk表示用于该损失块的第K个被变换的相邻块的预定加权因子；BKij表示第K个被变换的相邻块的第ij个DCT系数，K从1变化至8，i的范围大小为从1至N，及J的范围大小为从1至M。

在本发明的优选实施例中，当根据公式6计算DCT系数SCij时，垂直及水平的相邻块的所有加权因子是相同的，且同样地，对角线的相邻块的所有加权因子也是相同的，也就是说，参照图4，块2、4、5和7的加权因子是相同的，而块1、3、6和8的加权因子是相同的。

同时，第二块补偿单元240B根据来自DCT单元260的被变换的相邻块信息和来自方向分类单元210中最大梯度确定区216的被选择的方向性种类，生成第二被补偿的DCT块，也就是说，通过对自沿着对应于被选择的方向性种类的方向的两相邻块选择的两DCT系数进行平均，确定第二被补偿DCT块的各DCT系数，该两个DCT系数有该两相邻块的一相同频率。沿着对应于方向性种类D1、D2、D3和D4的方向的这些相邻块被如前所述地确定。因此，如果选择方向性种类D1作为象素内插方向，通过使用图4中块4和5的DCT系数，第二块补偿单元240也产生第二被补偿的DCT块，对于涉及其余方向性种类的各块，该过程可以相同的方式进行，分别来自第一及第二块补偿单元230B和240B的第一及第二被补偿的DCT块被提供给选择单元250B。

在选择单元250B，与上述本发明的优选实施例一样，响应于自比较单元220输出的选择信号，选择第一及第二被补偿DCT块之一并将其提供给一IDCT单元270。也就是说，作为在比较单元220的比较过程的结果，如果对应于被选择的方向性种类的和小于预定阀值，第一被补偿的DCT块被提供给IDCT单元270，否则，第二被补偿的DCT块被提供给IDCT单元270。

该IDCT单元270通过使用逆离散余弦变换将来自选择单元250B的被选择的块进行逆变换，并将其作为替代块经线L40提供给帧存储器300。

根据来自块检测器100的损失块信息，该视频信号中的损失块通过自选择单元250A提供或自帧存储器上IDCT单元270提供的在线L40上的替代块而被补偿。

尽管仅结合优选实施例对本发明进行了图示和描述，但对于熟悉本领域的技术人员而言，不脱离由所附权利要求定义的本发明的精神和范围，显然可以作出许多变化和改型。

Claims

1、一种用于视频信号解码系统中，用于隐蔽以压缩形式发送的视频信号中的误差的方法，其中该视频信号被分成多个块，各块有N×M个象素，N及M为正整数，该方法包括有以下步骤，

(a)检测包含误差的一损失块；

(b)提供该视频信号中与该损失块相邻的块的象素值；

(c)根据这些相邻块的象素值，计算包括在环绕该损失块的一预定范围象素中的各相邻象素上的一边缘梯度，并计算各边缘梯度的量值和角度；

(d)根据这些相邻块的边缘梯度和象素值，生成一被空间内插的块；及

(e)提供该空间内插块作为一替代块，用于补偿损失块。

2、根据权利要求1的所述的方法，其中步骤(d)包括有以下步骤：

(d1)对沿着预定方向标记之一的这些相邻象素上的边缘梯度的角度进行分类，该边缘梯度的角度被最接近地与该方向标记相校准；

(d2)如果沿着由一相邻象素的梯度的角度确定的方向所拉的通过该相邻象素位置的一直线通过该损失块，确定该具体象素作为一表决象素；

(d3)对与各方向标记相校准的梯度的量值求和，以相互排斥地累加这些表决象素的方向标记；

(d4)通过将各方向标记的量值的和进行相互比较，选择呈现为最大累加和的方向标记作为一象素内插方向；

(d5)将该最大累加和与一预定阈值相比较，及

(d6)如果该最大累加和大于或等于该预定阈值，根据沿着该象素内插方向的这些相邻块的象素值，通过使用方向内插法产生该被空间内插的块。

3、根据权利要求2所述的方法，其中这些边缘梯度是通过使用一Sobel算子被计算的。

4、根据权利要求2所述的方法，其中用于环绕该损失块的三或四行及列象素的这些边缘梯度被确定。

5、根据权利要求2所述的方法，其中这些方向性标记包含有四种标记，分别表示水平、垂直、对角线上升和对角线下降。

6、根据权利要求2所述的方法，其中步骤(d6)还包括有以下步骤，

(d611)计算沿着该象素内插方向的各相邻块的所有象素值的平均值；

(d612)计算沿着该象素内插方向的这些相邻块的平均值的一平均值；及

(d613)生成该被空间内插的块，该块的象素值被确定为该平均值。

7、根据权利要求2所述的方法，其中步骤(d6)还包括有以下步骤。

(d621)通过使用离散余弦变换将沿着该象素内插方向的这些相邻块转换成被变换的相邻块，各块具有N×M个DCT系数；

(d622)根据沿着该象素内插方向的这些被变换的相邻块，通过使用方向内插法，生成一被方向内插的块；及

(d623)通过使用逆离散余弦变换，通过对该被方向内插的块进行逆变换，产生该被空间内插的块。

8、根据权利要求7所述的方法，其中通过对从沿着该象素内插方向的这些被变换的相邻块选择的DCT系数进行平均，确定该被方向内插的块的各DCT系数，所述选择DCT系数是沿着该象素内插方向的这些被变换的相邻块中一相同的频率。

9、根据权利要求2所述的方法，其中步骤(d6)还包括有以下步骤：

(d631)如果该最大累加和大于预定阈值，根据该损失块的这些相邻块的所有象素值的一加权平均值，生成该被空间内插的块。

10、根据权利要求2所述的方法，其中的步骤(d6)还包括以下步骤：

(d641)通过使用离散余弦变换，将该损失块的相邻块转换成被变换的相邻块，各块有N×M个DCT系数；

(d642)如果该最大累加和小于预定阈值，根据该损失块的被变换的相邻块产生一被平均的块；

(d643)通过使用逆离散余弦变换，通过逆变换该被平均的块，产生该被空间内插的块。

11、根据权利要求10所述的方法，其中该被平均的块的各DCT系数Sij被确定为

{SC}_{ij} = Σ_{k = 1}^{8} W_{k} {BK}_{ij}

Σ_{k = 1}^{8} W_{k} = 1

其中Wk表示该损失块的第K个被变换的相邻块的一预定加权因子；BKij表示第K个被变换的相邻块的第ij个DCT系数；K的范围大小为从1至8；i的范围大小为从1至N；及j的范围大小为从1至M。

12、一种用于一种视频信号解码系统中的，用于隐蔽以压缩形式被发送的视频信号中的误差的装置，其中该视频信号被分为多个块，各块有N×M个象素，N及M为正整数，该装置包括有：

用于检测包括有误差的一损失块的装置；

用于提供该视频信号中与该损失块相邻的块的象素值的装置；

梯度计算装置，用于根据这些相邻的象素值计算各相邻象素上的一边缘梯度，这些相邻象素包括在环绕该损失块的一预定范围的象素中，并计算各边缘梯度的量值和角度；

方向确定装置，用于根据这些相邻象素的边缘梯度，确定一象素内插方向；

块生成装置，用于根据这些相邻块的象素值及该象素内插方向，产生一被空间内插的块；及

提供装置，用于提供该被空间内插的块作为一替代块，用于补偿该损失块。

13、根据权利要求12所述的装置，其中这些梯度是通过使用一Sobel算子而被计算的。

14、根据权利要求13所述的装置，其中该梯度计算装置计算环绕该损失块的三或四行及列象素的边缘梯度。

15、根据权利要求12所述的装置，其中该方向确定装置包括有：

用于对在沿着一预定方向标记的各相邻象素上的边缘梯度的角度进行分类的装置，该边缘梯度的角度被最接近地与该预定方向标记相校准；

用于如果通过沿着由这些相邻象素上的该梯度的角度确定的方向的一相邻象素位置拉的一直线通过该损失块，确定该具体象素为一表决象素的装置，

用于对与各方向标记校准的梯度的量值求和，以相互排斥地累加这些表决象素的方向标记的装置；及

用于通过将各方向标记的量值的和进行相互比较，选择呈现为最大累加和的方向标记作为象素内插方向的装置。

16、根据权利要求15所述的装置，其中这些方向标记包含有四种标记，分别表示水平、垂直、对角线上升和对角线下降。

17、根据权利要求15所述的装置，其中块生成装置根据对应于该象素内插方向的相邻块，通过使用方向内插法产生该被空间内插的块。

18、根据权利要求17所述的装置，其中块生成装置包括：

用于计算沿着该象素内插方向的各相邻块的所有象素值的一平均值的装置；

用于计算沿着该象素内插方向的这些相邻块的平均值的一平均值的装置；

用于生成该被空间内插的块的装置，该块的象素值被确定是为该平均值。

19、根据权利要求15所述的装置，其中该块生成装置包括：

用于根据沿着该象素内插方向的相邻块，通过使用方向内插法生成一被方向内插的块的装置；

用于产生一被平均的块的装置，该块的象素值被确定为该损失块的相邻块的象素值的一加权平均值；

比较装置，用于将该最大累加和与一预定阈值相比，从而提供比较信号；及

选择装置，用于响应于这些比较信号，选择该被方向内插的块或该被平均的块作为该被空间内插的块。

20、根据权利要求19所述的装置，其中如果该最大累加和大于或等于该预定阈值，该比较装置提供第一比较信号，否则，提供第二比较信号。

21、根据权利要求20所述的装置，其中选择装置包括：

用于响应第一比较信号，提供该被方向内插的块作为该被空间内插的块的装置；及

用于响应第二比较信号，提供该被平均的块作为该被空间内插的块的装置。

22、根据权利要求15所述的装置，其中该块生成装置包括：

用于通过使用离散余弦变换将该损失块的相邻块转换成该损失块的被变换的相邻块的装置，各被变换的相邻块有N×M个DCT系数；

用于根据沿着该象素内插方向的这些被变换的相邻块，通过使用方向内插法生成一被方向内插的块的装置；及

用于通过使用离散余弦变换，逆变换该被方向内插的块而产生该被空间内插的块的装置。

23、根据权利要求22所述的装置，其中通过对选自沿着该象素内插方向的这些被变换的相邻块的DCT系数进行平均，确定该被方向内插的块的各DCT系数，所述被选择的DCT系数是与沿着该象素内插方向的这些相邻块中的同一频率。

24、根据权利要求15所述的装置，其中块生成装置包括：

用于通过使用离散余弦变换，将该损失块的相邻块转换成该损失块的被变换的相邻块的装置，各被变换的相邻有N×M个DCT系数；

用于根据沿着该象素内插方向的这些被变换的相邻块，通过使用方向内插法，生成一被方向内插的块的装置；

用于根据该损失块的这些被变换的相邻块，产生一被平均的块的装置；

比较装置，用于将该最大累加和与一预定阈值相比较，从而提供比较信号；

选择装置，用于响应这些比较信号，选择该被方向内插的块或该被平均的块；及

用于通过使用离散余弦变换，逆变换该被选择的块而产生该被空间内插的块的装置。

25、根据权利要求24所述的装置，其中该被平均的块的各DCT系数Sij被确定为

{SC}_{ij} = Σ_{k = 1}^{8} W_{k} {Bk}_{ij}

Σ_{k = 1}^{8} W_{k} = 1

26、根据权利要求25所述的装置，其中如果该最大累加和大于或等于该预定阈值，该比较装置提供第一比较信号，否则，提供第二比较信号。

27、根据权利要求26所述的装置，其中选择装置包括：

用于响应第一比较信号，提供该被方向内插的块作为被选择的块的装置；及

用于响应第二比较信号，提供该被平均的块作为被选择的块的装置。