CN1168060A

CN1168060A - 在基于块的视频编码系统中确定最佳网格的方法和设备

Info

Publication number: CN1168060A
Application number: CN97111731A
Authority: CN
Inventors: 金镇宪
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1996-05-23
Filing date: 1997-04-24
Publication date: 1997-12-17
Anticipated expiration: 2017-04-24
Also published as: KR100209413B1; EP0809405A2; IN191618B; JP3903445B2; EP0809405B1; US5978031A; KR970078651A; JPH1051783A; EP0809405A3; DE69739225D1; CN1156166C

Abstract

在基于块的视频信号编码系统中使用的、通过把对象的视频对象平面分成多个同样大小的搜索块来确定搜索网格的方法，该方法产生多个搜索网格，每一搜索网格相对于相邻搜索网格移位了预定的间距，并检测被包括在每一搜索网格内的边缘块。然后，该方法根据边缘块的数目和在边缘块内的象素值选择搜索网格。

Description

在基于块的视频编码系统中确定最佳网格的方法和设备

本发明涉及在基于块的视频信号编码系统中使用的确定最佳网络的方法和设备，更具体地，涉及确定最佳网络以便改善表示对象图象的视频信号的编码效率的方法和设备。

在数字电视系统，例如可视电话、电视会议和高清晰度电视系统中，由于视频帧内的视频行信号包括被称为象素值的一系列数字数据，所以需要大量的数字数据来确定各视频帧。但是，由于普通传输信道的可用频率带宽有限，所以为了经由这种传输信道传送大量的数字数据，就必然要利用数据压缩技术来压缩或减少数据量，对于诸如可视电话或电视会议系统这样的低位率视频信号编码器更是要这样做。

在低位率编码系统中编码视频信号的这种技术之一是所谓的面向对象的分析-综合编码技术，其中把输入视频图象分成对象，利用不同的编码信道处理定义各对象的运动、轮廓和象素数据的三组参数。

这种面向对象编码方案的一个例子是所谓的运动图象专家组(MPEG)阶段4(MPEG-4)，这一编码方案在诸如低位率通信、交互多媒体(例如游戏、交互TV等)和区域监视的应用中提供允许基于内容的交互性、改善的编码效率和/或普遍可达性的视听编码标准(参看例如MPEG-4VideoVerification Model Version 2.0，国际标准化组织，ISO/IEC JTC1/SC29/WG11 N1260，1996年3月)。

根据MPEG-4，输入视频图象被分成多个视频对象平面(VOP)，它们相当于用户能够存取和操作的位流中的实体。可将VOP称为对象，可用其宽度和高度可以是围绕各对象的16个象素的最小倍数的边界矩形来表示，以便编码器根据逐个VOP、即根据逐个对象地处理输入视频图象。

就是说，用边界矩形来表示各VOP，并且必需按照4∶2∶0的格式正确地设定边界矩形的亮度(Y)和色度(U，V)数据之间的相位差。具体来说，由于在4∶2∶0格式中每一色度数据与4(＝2×2)个亮度数据相关，所以可以这样实现这种相位差的正确设定，即首先分别把边界矩形在上角坐标舍入为不大于包围对象的最紧密的矩形的左上角坐标、例如(2n+1，2m+1)的最接近的偶数、例如(2n，2m)，n和m为整数。然后这样确定该边界矩形的右下角，即使得该边界矩形的宽和高是16个象素的最小倍数。

MPEG-4中讨论的边界矩形的信息包括形状信息和由亮度和色度数据组成的彩色信息，形状信息用例如二进制掩码来表示，与亮度数据相关。在二进制掩码中，一个二进制值、例如0被用来表示位于边界矩形内的对象之外的象素，另一二进制值、例如1被用来表示该对象内的象素。因此，VOP内的亮度数据被根据二进制掩码进行处理，可将其称为亮度形状数据，由此选择了待编码的可用亮度数据。

为了处理在边界矩形内的亮度数据，边界矩形一般被分成若干个利用搜索网格产生的同样大小的搜索块，然后利用各种基于块的编码技术、例如DCT编码技术顺序地编码这些同样大小的搜索块并逐块地进行量化。

但是，由于编码效率受到对象的边界区域的显著影响，所以非常希望减少包括了对象的边界的搜索块的数目来减少数字信号的数据量。

因此，本发明的主要目的是提供在基于块的视频信号编码系统中使用的、确定用于视频对象平面的最佳网络的方法和设备，该方法和设备能够提供最少的边缘块、即环绕对象的边界的搜索块，由此改善了视频信号的编码效率。

本发明的另一目的是提供确定用于视频对象平面的最佳网格的方法和设备，该方法和设备能够有效地提供具有最小平均活动性的边缘块，由此改善了视频信号的编码效率。

根据本发明，提供了在基于块的视频信号编码系统中使用的、确定最佳搜索网格的方法和设备，最佳搜索网格把对象的视频信号的视频对象平面分成多个同样大小的搜索块，每一搜索块有N×N个象素，N为正整数，该方法包括以下步骤：

(a)产生多个搜索网格，每一搜索网格相对于相邻搜索网格移位了预定的间距；

(b)利用对象的形状信息检测被包括在每一搜索网格内的边缘块，边缘块指具有对象的一部分边界的搜索块；以及

(c)根据边缘块的数目和网格在边缘块内的象素值选择搜索网格，以便把所选的搜索网格确定为最佳搜索网格。

参看附图阅读最佳实施例的以下描述将清楚本发明的上述和其它目的及特点，其中：

图1是根据本发明的用于确定VOP的最佳网格的设备的方框图；

图2表示由一个搜索网格产生的搜索块和在对象的边界上形成的边缘块；

图3示出一示范性帧来表示搜索网格的偏移。

图1表示本发明一最佳实施例的在基于块的视频信号编码系统中使用的、确定用于视频对象平面(VOP)的最佳网格的设备10的方框图，该设备10包括搜索网格产生电路20-1至20-M、边缘块检测电路40-1至40-M、活动性计算电路73-1至73-M、第一和第二比较电路50、70以及多路复用器75。

表示对象边界的形状信息被提供给每一边缘块检测电路40-1至40-M，形状信息一般，用二进制掩码、即“0”和“1”来表示。在此期间，包括亮度和色度数据的视频帧信号被传送给每一活动性计算电路73-1至73-M。

搜索网络产生电路20-1至20-M分别产生第一至第M个搜索网格，每一搜索网格可以通过沿水平和垂直方向将其相邻网格移位预定数目的象素位置、例如一个象素或两个象素来获得。

搜索网格产生电路20-1至20-M分别向边缘块检测电路40-1至40-M、活动性计算电路73-1至73-M以及向多路复用器75提供搜索网格信息、例如相应搜索网格的偏移。参看图2，该图概略地示出覆盖了帧21的一示范性搜索网络22。搜索网格22是无数的格子，其每一同样大小的单元形成搜索块23。搜索块23包含M个象素，M等于N×N，N是例如8或16的整数，搜索块的大小M依赖于待编码信号的类型。

由于搜索网格22可移位，所以可有相应于多个不同偏移的多个移位位置，其中定义一偏移来表示帧21的最远的左上角象素和搜索网格22的最远的左上角搜索块的象素之间的位移。参看图3，如果最左上角搜索块的(1，1)象素位于帧的(3，2)象素处，就把搜索网格称为相应于偏移(3，2)的(3，2)搜索网格。同样地，把相应于偏移(2，3)的搜索网格称为(2，3)搜索网格，依此类推。

一旦搜索网格被移位，就可能会产生不完整的搜索块24，其中不完整的搜索块是如图2所示没有N×N个象素的搜索块。由于搜索网格可以逐个象素地被移位，所以如果一个搜索块具有N×N个象素，就可以有相应于M(＝N×N)个偏移的M(＝N×N)个被移位的搜索网格。但是，如果需要的话，可以每两个象素地移位搜索网格，以便按照4∶2∶0-格式编码色度电平，每一色度电平与四个最接近的亮度电平相关。

即使一对象也许远大于搜索块，但也可选择搜索网格使该对象可被该搜索网格的最少数目的搜索块所包围。

回到图1，对形状信息和由每一相应的搜索网格产生电路20-1至20-M提供的搜索网格信息作出响应，每一边缘块检测电路40-1至40-M检测边缘来产生表示边缘块的位置的边缘块信息。如图2所示，边缘块25指包括对象的一部分边界26的搜索块，即在这些搜索块内，表示形状信息的二进制值不相同。换句话说，如果二进制值在一搜索块内不相同，即一些二进制值是“0”而另一些二进制值是“1”，就把该搜索块称为边缘块，但在其内全部二进制值都相同、即都是0或都是1的搜索块不是边缘块。

因为编码效率对于对象的边界是决定性的，所以我们在这一实施例中挑选出了“边缘”。在本发明的另一实施例中，如果需要的话，我们可以用“对象”来代替“边缘”。在这种情况下，表示一对象的、包括二进制值“1”的搜索块成为对象块，所以可以通过替换边缘块信息来产生表示对象块的位置的对象块信息。

回到图1，每一边缘块检测电路40-1至40-M通过导线L11至LM1向每一相应的活动性计算电路73-1至73-M和向多路复用器75传送在相应搜索网格上的边缘块信息。

每一边缘块检测电路40-1至40-M还对在相应搜索网格上的边缘块的个数进行计数以产生边缘块数目信号。如果任一不完整的搜索块包含对象的一部分边界，则因为不能够对不完整的搜索块执行通常的编码，所以最好给相应搜索网格的边缘块数目信号指定最大值，以便该搜索网格在接着的编码过程中不大重要。边缘块检测电路40-1至40-M的全部边缘块数目信号通过导线L12至LM2提供给第一比较电路50。

第一比较电路50对全部边缘块数目相互进行比较，选择全部边缘块数目中的最小值来向第二比较电路70提供第一选择信号，该第一选择信号表示具有最少数目的边缘块的搜索网格。如果一个以上的搜索网格具有同一最小数目的边缘块、就选择所有相应的搜索网格并将该最小值作为第一选择信号传送给第二比较电路70。

在此期间，对每一边缘块检测电路40-1至40-M传送的边缘块信息作出响应，每一活动性计算电路73-1至73-M如下地计算被包括在相应搜索网格内的每一边缘块的活动性值：

AV = \frac{1}{M} Σ_{i = 1}^{N} Σ_{j = 1}^{N} {(H (i, j) - m)}^{2}

其中的M等于N×N，一边缘块内象素的数目，H(i，j)表示该边缘块内位置(i，j)处的象素值、例如亮度电平或色度电平，m是该边缘块内全部象素的平均象素值，i和j分别是不大于整数N的正整数值。然后，每一活动性计算电路73-1至73-M计算相应搜索网格的平均活动性值，它表示在该相应搜索网格内的全部边缘块的活动性值的平均值。

对第一比较电路50提供的第一选择信号和活动性计算电路73-1至73-M提供的全部平均活动性值作出响应，第二比较电路70对相应于第一选择信号的搜索网格的全部平均活动性值相互进行比较，选择上述搜索网格的最小平均活动性值作为第二选择信号提供给多路复用器75，该第二选择信号表示一些搜索网格中的具有边缘块的最小平均活动性值的一搜索网格。

在本发明的另一最佳实施例中，如果一个以上的搜索网格被第一比较电路50选择，具有同一最小边缘块数目的搜索网络，就可以首先只对选择的搜索网格而不对全部搜索网格计算平均活动性值，然后可以在选择的搜索网格内选择具有最小平均活动性值的搜索网格。

对第二选择信号作出响应，多路复用器75就根据每一搜索网格产生电路20-1至20-M传送的搜索网格信息在具有最小边缘块数目的搜索网格内选择具有最小平均活动性值的搜索网格。然后，根据每一边缘块检测电路40-1至40-M传送的边缘块信息，多路复用器7 5把搜索网格信息和在选出的搜索网格上的边缘块信息作为当前帧的最佳搜索网格信息进行传送。

把该最佳搜索网格信息、例如第K个搜索网格信息提供给多个编码处理器(未示出)、例如DCT和Q处理器，以便对视频信号进行编码。因此，这些编码处理器能够在最佳搜索网格的逐个搜索块的基础上进行视频信号的编码。

虽然已相对于特定实施例描述了本发明，但本领域的普通技术人员将认识到，在不违背所附权利要求书中限定的发明精神和不超出其范围的前提下，可以对本发明作出各种改进。

Claims

1、在基于块的视频信号编码系统中使用的、用于确定把对象的视频信号的视频对象平面分成多个同样大小的搜索块的最佳搜索网格的方法，每一搜索块具有N×N个象素，N为正整数，所述方法包括以下步骤：

(a)产生多个搜索网格，其中每一搜索网格相对于相邻搜索网格移位了预定的间距；

(b)利用对象的形状信息检测包括在每一搜索网格内的边缘块，其中边缘块指具有对象的一部分边界的搜索块；以及

(c)根据边缘块的数目和在边缘块内的象素值选择搜索网格，以便把所选的搜索网格确定为最佳搜索网格。

2、根据权利要求1所述的方法，其中所述步骤(c)包括以下步骤：

(c1)选出具有最小数目的边缘块的搜索网格；

(c2)如果多个搜索网格具有同一最小数目的边缘块，就根据被包括在这些搜索网格的每一个内的边缘块的象素值计算这些搜索网格的每一个的平均活动性值，平均活动性值表示边缘块的象素值之间的离散程度；

(c3)检测这些搜索网格中的具有最小平均活动性值的搜索网格；以及

(c4)把检测的搜索网格确定为最佳搜索网格。

3、根据权利要求2所述的方法，其中所述步骤(c2)还包括以下步骤：

(c21)根据被包括在所述每一搜索网格内的边缘块的象素值计算在每一搜索网格内的每一边缘块的活动性值，各边缘块的各活动性值计算如下：

AV = \frac{1}{M} Σ_{i = 1}^{N} Σ_{j = 1}^{N} {(H (i, j) - m)}^{2}

其中的M是在一边缘块内的N×N个象素的数目，H(i，j)表示该边缘块内的象素位置(i，j)处的象素值，m是该边缘块内全部象素值的平均象素值，i和j分别是不大于整数N的正整数；以及

(c22)对在一搜索网格内的全部边缘块的全部活动性值求平均来产生该搜索网格的平均活动性值。

4、根据权利要求3所述的方法，其中每一搜索网格逐个象素地彼此移位。

5、根据权利要求4所述的方法，其中的象素值是象素的亮度电平。

6、在基于块的视频信号编码系统中使用的、用于确定把对象的视频信号的视频对象平面分成多个同样大小的搜索块的最佳搜索网格的设备，每一搜索块具有N×N个象素，N为正整数，所述设备包括：

产生多个搜索网格的装置，其中每一搜索网格相对于相邻搜索网格移位了预定的间距；

利用对象的形状信息检测被包括在每一搜索网格内的边缘块的装置，边缘块指具有对象的一部分边界的搜索块；以及

根据边缘块的数目和在边缘块内的象素值选择搜索网格，以便把所选的搜索网格确定为最佳搜索网格的装置。

7、根据权利要求6所述的设备，其中所述选择装置包括：

选出具有最小数目的边缘块的搜索网格的装置；

如果多个搜索网格具有同一最小数目的边缘块，就根据被包括在这些搜索网格的每一个内的边缘块的象素值计算这些搜索网格的每一个的平均活动性值的装置，平均活动性值表示边缘块的象素值之间的离散程度；

检测这些搜索网格中的具有最小平均活动性值的搜索网格的装置；以及

把检测的搜索网格确定为最佳搜索网格的装置。

8、根据权利要求7所述的设备，其中所述计算装置包括：

根据被包括在所述每一搜索网格内的边缘块的象素值计算在每一搜索网格内的每一边缘块的活动性值的装置，各边缘块的各活动性值计算如下：

AV = \frac{1}{M} Σ_{i = 1}^{N} Σ_{j = 1}^{N} {(H (i, j) - m)}^{2}

对在一搜索网格内的全部边缘块的全部活动性值求平均来产生该搜索网格的平均活动性值的装置。

9、根据权利要求8所述的设备，其中每一搜索网格逐个象素地彼此称位。

10、根据权利要求9所述的设备，其中的象素值是象素的亮度电平。