CN1205601A

CN1205601A - 二进制图象的内插方法

Info

Publication number: CN1205601A
Application number: CN97123470A
Authority: CN
Inventors: 赵大星; 申在燮
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1997-07-10
Filing date: 1997-12-29
Publication date: 1999-01-20
Anticipated expiration: 2017-12-29
Also published as: CN100407757C; KR100269205B1; KR19990013224A

Abstract

本发明为一种改进的内插方法,其中根据作为相邻象素状态值的上下文使用一阈值确定由内插产生的象素的象素值。在该内插方法中,通过使用上下文消除了内插值和阈值之间的不确定性,因而降低了恢复的二进制图象中的分块和平滑现象。

Description

二进制图象的内插方法

本发明涉及二进制图象的内插方法，并特别涉及根据上下文(相邻象素的状态值)确定用于判定要由内插产生的象素值的可变阈值的改进的内插方法。

近来，处理形状信息的功能已经添加到MPEG-4中。涉及图象的对象信息的形状信息表示为二进制图象。为了对这种二进制图象进行编码，MPEG-4采用了基于上下文的运算编码器(CAE)。对于有损形状编码在每一二进制形状的宏块中执行下降采样方法和上升采样方法。形状图象分割为具有M×M块规格的形状块。

下降采样是指根据给定的转换率用来简化二进制图象块的方法。简化的图象块与转换率一同传输。这里，转换率的确定要使得原始二进制图象块与后来恢复的二进制图象块之间的误差在预定的范围内。

通过下降采样获得的简化的图象块由CAE编码并然后传输。

上升采样方法用来恢复这种简化的图象块。通过内插上升采样用于恢复简化的图象块为具有原始的二进制图象块规格的块。

在这种上升采样处理中，有效的内插方法必须不会在恢复的二进制图象中引起过分的分块和平滑效果。

为了满足上述要求，本发明的一个目的是要提供一种改进的内插方法，其中上下文(由内插产生的与一个象素(被内插的象素)相邻的参照象素的状态值)用于内插，由此降低分块和平滑效果。

为了达到以上目的，提供了一种用于二进制图象内插方法，用于将通过下降采样简化的二进制图象块恢复为具有原始的二进制图象块规格的块的方法，该方法包括以下步骤：(a)围绕一个被内插的象素，准备表示对应于简化图象的象素(参照象素)上下文(状态值)C_P各个阈值的阈值表；(b)基于邻接于和／或围绕被内插的象素的象素(对象象素)的象素值计算内插值；(c)计算作为围绕被内插象素的参照象素状态值的上下文C_P；(d)从阈值表获得对应于计算的上下文的阈值；以及(e)比较内插值与步骤(d)的阈值，并如果内插值大于阈值则设置被内插象素的象素值为“1”，而如果内插值等于或小于阈值则设置被内插象素的象素值为“0”。

步骤(a)最好包含以下子步骤：(a1)计算参照象素可能的总和；(a2)计算对于参照象素可能总和的可能的内插值；(a3)对于参照象素可能的总和设置备选阈值；以及(a4)对于对应于参照象素可能总和的每一上下文，从备选阈值选择一个阈值，结果得到一个阈值表。

通过参照附图详细说明其优选实施例，本发明以上的目的和优点将更为明显。这些附图是：

图1A是表示根据MPEG-4用于二进制图象的编码和解码方法的示意图；

图1B是其中进行图1A中所示下降采样步骤的一形状宏块；

图1C是其中进行图1A中所示上升采样步骤的一形状宏块；

图2是表示传统的内插方法的示意图；

图3A到3D是表示根据本发明的内插方法的示意图；

图4表示阈值表的一例；

图5A是表示参照象素值的总和与可能的内插值之间的关系的表；

图5B是表示对于参照象素可能的总和可能的备选阈值一例的一个表；

图6是表示根据可能的上下文组合在图5B的备选阈值中选择的中间值的一个表；

图7是一个阈值表，该表是根据可能的上下文组合考虑图6所示阈值的限定范围准备的；以及

图8A到8C表示根据本发明的内插方法与传统方法比较的效果。

图1A中，根据MPEG-4对于具有对象信息的二进制图象的编码和解码方法包含上升采样步骤100、编码步骤102、反编码步骤104及上升采样步骤106。

在下降采样步骤100中，将一个M×N二进制图象块转换为(M×CR)×(N×CR)二进制图象块。这里，CR是表示通过下降采样获得的简化的图象块的对原始二进制图象块的规格比例的转换率。

在编码步骤102中，简化的图象被编码。为了对包含对象二进制图象编码，MPEG-4采用基于运算解码器(CAE)的上下文。CAE由于其简洁性比较高的编码效率在MPEG-4检验模型中被采用作为编码方法。

通过编码步骤102被编码的简化的图象经过传输路径传输。在反编码步骤104中，被编码的简化的图象恢复为简化的图象。在上升采样步骤106中，对简化的图象块进行内插以便获得具有原始二进制图象规格的块。

图1B详细表示图1A所示的下降采样步骤100。二进制图象的一个宏块如图1B所示，其中由“0”所示的圆圈对应于二进制象素。从图1B的圆圈可见，在宏块中由符号“0”表示的象素被转换为由“X”表示的象素。这里，宏块的尺寸取决于转换率而定。MPEG-4的转换率可以是1、1／2或1／4。这种转换是对所有宏块进行的，结果得到一个简化的图象。在图1B中，一个宏块的四个象素(由“0”指示)简化为一个象素201，即转换率等于1／2。

在下降采样步骤中，如果四个象素(由“0”指示)的一半或者更多等于“1”，则被转换的象素的象素值变为“1”。这里，具有值“1”的象素表示包含对象的画面部分，而具有值“0”的象素表示对象之外的画面部分。即包含具有值“1”的象素又包含具有值“0”的象素的宏块表示对象信息的边界块。

图1C详细表示图1A所示的上升采样步骤106。在上升采样步骤期间，具有原始的二进制块规格的宏块的每一象素通过使用简化图象块的象素的内插被恢复。在图1C中，由“X”指示的象素表示恢复的形状块的象素，由“0”指示的象素表示简化的形状块的象素。

基本上来说，恢复的形状块300的象素(由“X”指示)，如图1C的圆圈303所示，是从简化的形状宏块的邻近的象素(由“0”指示)获得的。

例如，上边界301和左边界302的象素分别被称为属于上宏块和左宏块的下降采样象素。

当宏块300下边界和右边界的象素涉及到块300之外的象素时，能够通过延伸如图1C所示的块内的最外面的象素而获得块外的象素。

参见图2，以下将详细说明传统的内插方法。

图2中，象素A，B，C，D，E，F，G，H，I，J，K和L表示内插中有关的对象象素，而象素P1，P2，P3和P4表示通过内插获得的内插象素。这里，对象象素A，B，C，D，E，F，G，H，I，J，K和L围绕被内插的象素P1，P2，P3和P4。而且，对象象素属于简化的图象，而被内插的象素则属于被恢复的二进制图象。

首先，获得一内插值INP[P]如下：

INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)

INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)

其中，r，s和t为根据对被内插的象素距离的权值，r是最靠近被内插的象素的对象象素的权值，s是次最靠近被内插的对象象素的权值，且t是围绕次最靠近象素的对象象素的权值。满足条件t＞r＞s。

然后，比较获得的内插值INP[P]和阈值THR。这里，阈值THR设置为最大可能的内插值的一半的一个值。例如，如果t，r和s分别为4，2和1，那么阈值设置为8。如果内插值INP[P]大于阈值THR，则该内插象素的象素值变为“1”。否则，内插象素值变为“0”。

这里，当可能使用多个内插值INP时，则只使用一个阈值THR。因而如果内插值INP[P]和阈值THR彼此接近，则内插的象素的象素值是否正确变得不清楚。于是，在恢复的二进制图象中呈现严重的成块或平滑现象。

为了降低成块或平滑效果，根据上下文(围绕内插象素的象素(参照象素)状态值)适当地确定与内插值INP[P]进行比较的一个阈值，由此降低在判定内插象素的象素值中的不确定性。

以下将参照图3A到3D描述根据本发明一种改进的内插方法。在图3A到3D中，标以“0”的象素A，B，C，D，E，F，G，H，I，J，K和L表示属于简化的图象的象素，而标以“X”的象素P1，P2，P3和P4表示恢复的二进制图象的内插象素。

首先，通过如下的对象象素获得内插值INP[P]：

INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)

INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)

其中，r，s和t为根据对被内插的象素距离的权值，即r是最靠近被内插的象素的对象象素的权值，s是次最靠近被内插的对象象素的权值，且t是围绕次最靠近象素的对象象素的权值。满足条件t＞r＞s。这里，r，s和t分别为4，2和1。

然后，通过以下公式(1)计算作为参照象素的状态值的上下文C_P：

C_{P} = {&Sum;}_{0}^{k} O_{K} 2^{K} . . . (1)

其中P表示内插象素的位置，O表示参照象素，而k为参照象素的指数及权值。这里，指数k依照内插象素和相邻对象象素之间的相对位置而变化。图3A到3D表示当对被内插的象素P1，P2，P3和P4进行内插时参照象素的指数。

然后，参照图4所示的阈值表判定取决于计算出的上下文的阈值THRc。图4的阈值是由试验通过比较原始图象和恢复的图象使得恢复误差为最小而获得的。

在图4的阈值表中，上下文值按16为单位的规格安排在左列，而对应于每一上下文值的阈值值安排在每一行。

由于用于计算上下文的参照象素的数为8，故潜在的组合数变为256。

图3A中，如果上下文值为“0”，参照象素“FELKJIHG”的值变为“00000000”。而且，如果参照象素的值分别为“1”和“2”，则参照象素值变为“10000000”及“01000000”。又如果上下文值为255，则参照象素值变为“11111111”。

图4中，标号400，402和404表示当上下文值分别为0，1和2时的阈值。而且，标号406表示上下文值为255时的阈值。这就是说，当上下文值为0，1和2时，阈值分别等于5，6和6。而且，当上下文值为255时，阈值等于如标号406所示的14。

对内插值INP[P]和根据对象象素的上下文的阈值THR_c进行比较以便确定内插象素的象素值。

如果内插值INP[P]大于阈值THR_c，则设置内插象素的象素值为“1”。否则内插象素的象素值设置为“0”。

本发明中使用的阈值表在考虑参照象素值中被有效确定。以下将参照图5到7说明用于在考虑参照象素值中比较阈值表的过程。

1)计算参照象素可能的和。

这里，参照象素的和表示有助于计算上下文的参照象素的象素值的和。例如，它表示由图3中的E，F，G，H，I，J，K，和L表示的参照象素的象素值的和。

图3中，由于参照象素的数目等于8，参照象素可能的和为1，2，3，4，5，6，7和8之一。

2)对于可能的参照象素和计算可能的内插值。

图5A表示参照象素和与可能的内插值之间的关系。在图5A中，参照象素的和根据大小排在左列，而和的可能的内插值排在右列。这里，权值r，s和t分别为4，2和1。

例如，如果参照象素的和等于“0”，即参照象素的所有的象素值等于“0”，则内插值为0，2，4，6，8和10之一。如果相邻对象象素A，B，C和D的所有象素值为“0”，则内插值变为“0”。而且如果相邻对象象素A，B，C和D的所有象素值为“1”，则内插值变为“10”。

总之，如果参照象素的和等于“8”，即如果参照象素的象素值为“0”，则内插值变为8，10，12，14，16和18之一。

3)确定对于参照象素可能的和的可能的备选阈值。

图5B表示对应于可能的内插值的可能的阈值。图5B中，可能的备选阈值为图5B中按大小排列的每一对相邻可能的阈值的平均值。

4)在可能的备选阈值中选择对于对应于参照象素可能的和的每一上下文值的阈值。这里阈值可能是可能阈值中间的平均。

5)通过使上下文与选择的阈值匹配而准备表。这里，对于对应于参照象素的和每一上下文与阈值匹配。

图6表示根据上下文可能的组合，对应于备选阈值的平均值，从图5B的备选阈值中选择的阈值。

图6中，标号600，602和604表示当上下文值分别为0，1和2时的阈值。而且，标号606表示当上下文值为255时的阈值。即，如果上下文值等于0，1和2，则阈值分别变为“5”，“6”和“6”。又如果上下文值等于255。则阈值变为“13”。

如果上下文值等于“0”，即如果图5A中的参照象素的和为“0”，则如图5B所示备选阈值包含-1，1，3，5，7，9和11，并选择这些值的平均值，即5，为阈值。

如果上下文值等于“1”，即如果图5A中参照象素的和为“1”，则如图5B所示备选阈值包含0，2，4，6，8，10和12，并选择它们的平均值即6作为阈值。

如果上下文值等于“2”，即如果图5A中参照象素的和为“2”，则如图5B所示备选阈值包含1，4，5，7，9，11和13，并选择它们的平均值即7作为阈值。

如果上下文值等于“255”，即如果图5A中参照象素的和为“8”，则如图5B所示备选阈值包含7，9，11，13，15，17和19，并选择它们的平均值即13作为阈值。

而且，图7是在考虑关于图6的阈值±2可变范围之下获得的一个阈值表，即，±2可变范围阈值施加到实际的二进制图象，并然后选择表示恢复期间最小误差的阈值。

在本发明的内插方法中，通过使用围绕内插象素的参照象素的状态值(上下文)消除了内插值与阈值之间在比较中的不确定性，因而降低了恢复的二进制图象中分块和平滑现象。

图8A到8C表示根据本发明的内插方法与传统方法对比的效果。详细来说，图8A表示原始的二进制图象，图8B表示传统的二进制内插的结果，而图8C表示根据本发明的内插的结果。

正如从图8B和8C可见，与传统的双线性方法比较明显降低了分块效果。

如上所述，在本发明的内插方法中，通过使用围绕内插象素的参照象素的状态值(上下文)消除了内插值与阈值之间比较的不确定性，因而降低了恢复的二进制图象中的分块和平滑现象。

在本发明的内插方法中，由于从阈值表能够迅速获得根据上下文组合可变的阈值，故能够迅速进行内插。

Claims

1．一种用于二进制图象内插方法，用于将通过下降采样简化的二进制图象块恢复为具有原始的二进制图象块规格块规格的方法，该方法包括以下步骤：

(a)围绕一个被内插的象素，准备表示对应于简化图象的象素(参照象素)上下文(状态值)C_P的各个阈值的阈值表；

(b)基于邻接于和／或围绕被内插的象素的象素(对象象素)的象素值计算内插值；

(c)计算作为围绕被内插象素的参照象素状态值的上下文C_P；

(d)从阈值表获得对应于计算的上下文的阈值；以及

(e)对内插值与步骤(d)的阈值进行比较，并如果内插值大于阈值则设置被内插象素的象素值为“1”，而如果内插值等于或小于阈值则设置被内插象素的象素值为“0”。

2．如权利要求1的内插方法，其中通过使用以下等式的内插方法计算步骤(b)：

INP[P1]=r*A+s*(B+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P2]=r*B+s*(A+C+D)+t*(E+F+G+H+I+J+K+L)

INP[P3]=r*C+s*(A+B+D)+t*(E+F+G+H+I+J+K+L)

INP[P4]=r*D+s*(A+B+C)+t*(E+F+G+H+I+J+K+L)

其中P1，P2，P3和P4表示内插象素，A，B，C和D为与内插象素相邻的对象象素，E，F，G，H，I，J，K和L为围绕象素A，B，C和D的对象象素，INP[P]表示内插象素P的内插值，r是最靠近被内插的象素的对象象素的权值，s是次最靠近被内插的对象象素的三个对象象素的权值，且t是围绕次最靠近象素的八个对象象素的权值，并满足条件t＞r＞s。

3．如权利要求1的内插方法，其中使用以下等式进行步骤(c)的计算：

C_{P} = {&Sum;}_{0}^{k} O_{K} 2^{K}

其中P表示内插象素的位置，O表示参照象素，而k为参照象素的指数。

4．如权利要求3的内插方法，其中步骤(c)的指数k根据对于相邻象素的内插象素的位置而变化。

5．如权利要求1的内插方法，其中步骤(a)包括以下子步骤：

(a1)计算参照象素可能的和；

(a2)对于参照象素可能的和计算可能的内插值；

(a3)对于参照象素可能的和设置可能的备选阈值；以及

(a4)对于对应于参照象素可能的和的每一个上下文从备选阈值中选择阈值，结果得到阈值表。

6．如权利要求5的内插方法，其中步骤(a3)的备选阈值为按大小排列的可能的阈值的每一相邻对的平均值。

7．如权利要求5的内插方法，其中步骤(a4)中，选择对于每一上下文的备选阈值的平均值作为阈值。

8．如权利要求7的内插方法，还包括以下步骤：通过允许对于被选择的阈值一预定的可变范围而调节表的阈值，并然后对于每一上下文选择表示当阈值施加到实际的二进制图象时恢复中的最小误差的阈值。