CN1123977C

CN1123977C - 根据内插法技术产生恢复的二进制形状信号的方法

Info

Publication number: CN1123977C
Application number: CN97117949A
Authority: CN
Inventors: 韩锡源; 金镇宪
Original assignee: Daewoo Electronics Co Ltd
Current assignee: Fengye Vision Technology Co., Ltd.
Priority date: 1997-07-09
Filing date: 1997-09-03
Publication date: 2003-10-08
Anticipated expiration: 2017-09-03
Also published as: JPH1141597A; US6144409A; CN1204896A; EP0891092A3; KR100235354B1; EP0891092B1; JP3924052B2; KR19990009289A; EP0891092A2

Abstract

一种恢复已通过使用二次采样或缩小采样技术缩小的二进制形状信号的方法。该缩小的二进制形状信号包含多条参考线，其中每条参考线包括一条或多条具有连续目标象素的线段，并根据缩小的二进制形状信号恢复该二进制形状信号。一旦根据每条参考线上的线段数目、线段的位置和每个线段上目标象素的数目产生对应于参考线的内插线，则随后通过交替地组合每条内插线和每条参考线来提供恢复的二进制形状信号。

Description

根据内插法技术产生恢复的二进制形状信号的方法

技术领域

本发明涉及二进制形状(binary shape)编码和解码方法；并且更具体地涉及用来恢复通过使用二次采样或缩小采样(down-sampling)技术而被压缩的二进制形状信号的方法。

背景技术

在诸如可视电话和电视会议系统的数字视频系统中，由于视频帧信号包括一序列被称之为象素值的数字数据，因而需要大量的数字数据来确定每个视频帧信号。然而，由于传统的传输信道的可用频率带宽是有限的，为了通过它传送大量的数字数据，需要通过使用各种数据压缩技术来压缩或减少数据量，特别是在可视电话和电视会议系统这样的低比特率视频信号编码器的情况下。

对低比特率编码系统的视频信号进行编码的技术之一是面向目标的分析—合成编码技术，在此技术中将输入视频图象分为多个目标；并且通过不同的编码信道处理用于确定每个目标的运动、轮廓和象素数据的三组参数。

这样的面向目标的编码方案的一个例子就是所谓的MPEG(运动图象专家组)阶段4(MPEG-4)，它用来提供一种允许基于内容的交互性的视听编码标准，在如低比特率通信、交互性多媒体(例如游戏、交互性电视等)和区域监视这样的应用中的提高的编码效率和/或通用的易维护性(例如，参见MPEG-4视频验证模型2.0版，国际标准化组织，ISO/IEC JTC1/SC29/WG11 N1260，1996年3月)

按照MPEG-4，一输入视频图象被分为多个视频目标平面(VOP)，它们与用户能访问和操作的比特流中的实体相对应。可将一VOP当作一目标，并由宽度和高度可以是围绕各目标的16个象素(一宏块大小)的最小倍数的一界定矩形来表示，这样，编码器可在逐个VOP的基础上，即逐个目标的基础上处理输入视频图象。

MPEG-4中所述的VOP包括形状信息和由亮度和色度数据组成的颜色信息，其中形状信息例如由二进制掩码(mask)表示，并涉及亮度数据。在二进制掩码中，一个二位制值例如O被用来指定位于VOP中的目标之外的象素，而其他二位制值例如1被用来表示在该目标之内的象素。因此，VOP中目标的形状可通过采用二进制掩码容易地表示。

为了实现低比特率视频信号编码器，一二进制形状信号，例如代表VOP的二进制掩码，它包含如图1中示意的一个或多个子块，通过例如已知的二次采样或缩小采样技术被缩小。

在具有转换比(CR)的二次采样或缩小采样的过程中，每个M×M象素的子块被缩小采样为(M×CR)×(M×CR)象素，然后，放大采样(up-sampling)回到M×M象素，M是等于或大于1/CR的正整数。

例如，如果CR是1/2，每个由图2A中所示的16×16象素组成的子块被缩小为如图2B所示的8×8象素的样本块。然后，样本块的每个二进制象素通过使用已知的编码方法，例如基于上下文算术编码(CAE)算法(例如，参见MPEG-4视频验证模型7.0版，国际标准化组织，ISO/IEC JTC1/SC29/WG11N1642，PP.28-33，1997年4月)而被编码，并通过传统的传输信道被发送。同时，由于样本块在通过上述采样过程中不可避免地包括误差，因而编码器产生一16×16象素的重建块(它是缩小样本块的一放大采样块)以便找出重建块和其初始子块间的差异。代表由采样过程产生的误差的差值也被编码，并通过传统传输信道发送，由此在接收端的解码器再现成初始子块。解码器还以与编码器所使用的相同方法，通过对收到的样本块进行放大采样来产生重建块，并对重建块和接收到的误差进行组合而再现成初始子块。

由上所见，解码器的误差率依据于重建块与初始子块有多接近。因此，为了减小误差率并增强采样过程的有效性，找到一种能有效的将样本块进行放大采样的方法是很重要的。

发明内容

因而，本发明的主要目的是提供一种用于有效地对缩小的二进制形状信号进行放大采样的内插方法。

按照本发明，提供一种用来恢复通过使用二次采样或缩小采样技术被缩小的二进制形状信号的方法，包括如下步骤：(a)接收包含多条参考线的缩小的二进制形状信号，其中每条参考线包括一个或多个线段和非线段，一线段由一个或多个连续目标象素表示，而一非线段由一个或多个连续背景象素确定；(b)根据每条参考线上线段的数目、线段的位置和每个线段中包括的目标象素的数目产生内插线；及(c)通过结合内插线和参考线提供恢复的二进制形状信号。

附图说明

通过下面结合附图对优选实施例的说明，本发明的上述及其它目的和特点将变得显而易见，附图中：

图1表示包含多个子块的二进制形状信号的一部分；

图2A和2B示出了一子块以及通过二次采样或缩小采样技术产生的相应样本块；

图3A到3D是用来解释本内插方法的示意图；

图4A到4F说明按照本发明的第一实施例的内插过程；

图5A到5F表示按照本发明的第二实施例的内插过程。

具体实施方式

如图1中所示的包含多个子块的二进制形状信息通过应用二次采样或缩小采样技术在逐块的基础上被缩小。因此，采样后的二进制形状信号将在逐块的基础上被放大采样。

按照本发明的内插方法，构成采样后的二进制形状信号的样本块通过垂直和/或水平内插过程被放大采样到具有与该子块相同大小的内插块。垂直和水平内插过程可一个接一个地被顺序应用或根据采样技术的特点相互独立地应用。

参照图2A和2B，表示一子块和由采样过程产生的相应样本块。16×16象素的子块100通过使用具有1/2CR的采样过程被缩小到8×8象素的样本块150。因此，按照本发明为了将样本块150扩大到16×16象素的内插块，应按如图4A到4F或图5A到5F中所示例性表示的顺序进行垂直和水平内插过程。在这些图中，尽管垂直内插过程先于水平内插过程，但内插过程的次序可以颠倒。也就是，能在垂直内插之前进行水平内插。在这些图中，黑色部分表示构成一目标的目标象素，而白色部分表示背景。

在上述内插过程中，为了产生内插块，首先将样本块垂直地或水平地分为多条参考线。然后，检测在每条参考线上的线段和非线段，其中，每个线段由一个或多个连续目标象素表示而每个非线段由一个或多个连续背景象素来定义。根据参考线上的这些线段，产生内插线以与参考线一起构成一内插块。

参照图3A到3D，表示用来根据样本块的参考线产生相应内插线的预定规则。按照本发明，根据两条相邻参考线产生一内插线。

在图3A到3C中，说明了在两条参考线的每一条上的线段数目是一样的三种情况。

如图3A所示，如果在两条相邻参考线10和20上有叠合的线段10A和20A，则根据叠合线段10A和20A的开始和结束点的位置确定从参考线10和20得出的内插线30上的线段30A。因此，通过对线段10A和20A的各个开始点2和1取平均值并将平均值1.5截取到1来计算线段30A的开始点。同样，线段30A的结束点被确定为通过截取线段10A和20A的结束点5和6的平均值所得到的5。上述中，叠合线段10A和20A表示在参考线10和20相互重叠时所叠合的线段。通过比较参考线10和20上的线段中包含的目标象素位置完成参考线10和20的重叠。

同时，如果在参考线40和50上有非叠合线段40A′和50A′并且每个非叠合线段40A′和50A′有一象素位于相应参考线的第一或最后象素位置，如图3B所示，其中非叠合线段40A′和50A′表示在参考线40和50相互重叠时并不叠合的线段，分别根据非叠合线段40A′和50A′内的象素数目生成内插线60上的线段60A和60B。也就是，线段60A有2个目标象素，这是非叠合线段40A′上目标象素数目的一半，并从内插线60的第一象素位置开始。而线段60B包含位于内插线60最后象素位置的一个目标象素，这是将非叠合线段50A′上目标象素数目除以2并截取相除结果而确定的。

第三，如果在参考线70和80上有非叠合线段70A′和80A′，并且它们的位置相互邻接，如图3C所示，则分别根据非叠合线段70A′和80A′的开始和结束点确定内插线90上的线段90A和90B。每个线段90A和90B的开始和结束点按下式计算：

SP≈(3×p+1×Q)/4 公式1

EP≈(1×P+3×Q)/4其中SP和EP分别表示内插线上线段的开始和结束点；P和Q分别是对应于内插线的参考线上线段的开始和结束点；并且，如果右边部分的计算值不是整数，则通过截取计算的值得到SP和EP。

另一方面，在图3D中，表示在两条参考线的每一条上线段的数目不同的情形。也就是，第一参考线15由一个线段组成而第二参考线25有3个线段。在这种情况下，通过在两个参考线15和25上进行“与”运算来构成内插线35。因此，内插线35包含共同包括在参考线15和25的线段中的目标象素。在图3D中，由于参考线15上的所有象素都是目标象素，因而内插线35具有与参考线25相同的象素图形。

参照图3A到3D解释的预定规则可应用于垂直和水平内插过程这两者。下文中，将说明预定规则如何实际适用于垂直和水平内插过程。并且，将详细介绍对样本块进行放大采样的过程。

按照本发明的第一实施例，仅根据样本块150生成对应于样本块150的内插块。另一方面，按照本发明的第二实施例，根据样本块150和其邻近块之间的关系给出内插块。

首先，参照图4A到4F，说明根据第一实施例的内插过程。图2B中的样本块150首先被分为8条垂直参考线，各条线分别具有指定的指示符号V₂、V₄...V₁₆，如图4A所示，每条参考线包含垂直相连的8个象素。一旦确定了垂直参考线V2到V16，从最左边垂直参考线V2开始，每个垂直参考线V 2到V16上线段的数目被检测为2、1、1、1、3、1、2、2。将每条垂直参考线的线段数目与其邻近的垂直参考线的线段数目相比较，按照图3A到3D中所述的预定规则产生垂直内插线，例如图4 B中的V1、V3...、V15，它们被插入到垂直参考线V2-V16之间。从指示符号可以看出，每条垂直参考线具有第i+1位置的指示符号，而每条垂直内插线由第i位置的指示符号表示，i是奇数，即1、3…和15。因此，例如每条垂直内插线V3到V15由其两个相邻垂直参考线例如V2和V4、V4和V6…以及V14和及V16确定。然而，由于对应于垂直内插线V1的只有一条垂直参考线V2，因而通过复制垂直参考线V2来得到垂直内插线V1。

分配给垂直内插和参考线的上述指示符号可以不同地分配给它们。也就是，可将指示符号V1到V15分配给垂直参考线而由指示符号V2到V16来定义垂直内插线。

一旦根据垂直参考线确定垂直内插线，按照本发明的该实施例，通过按分配给垂直参考和内插线的指示符号Vi中的i的增长顺序重新安排垂直参考线和垂直内插线而将它们组合起来，由此产生如图4C中所示的垂直内插块200。然后将由上述垂直内插过程产生的16×8象素的垂直内插块200水平分为16×1象素的8条水平参考线，将指示符号H₂、H₄…H₁₆分配给它们，如图4D所示。根据水平参考线H₂到H₁₆以与垂直内插过程中使用的相同方式确定要插入到水平参考线之间的水平内插线，如图4E所示。然后通过按指示符号Hi中i的增加顺序进行重新安排而将新得到的水平内插线H₁、H₃…H₁₅与水平参考线H₂至H₁₄组合起来，由此产生图4F中16×16象素的内插块300。在此水平内插过程中，通过复制第一水平参考线H₂产生第一水平内插线H₁，与垂直内插过程中的一样。在将预定规则应用于水平内插过程时，每个水平参考线的左手侧上象素要优先于其右手侧的象素。

通过对样本块150进行参照图4A到4F所述的垂直和水平内插过程，得到图4F中的内插块300。

参照图5A到5F，说明了按照本发明的第二实施例的内插过程。也就是根据样本块150和它的邻近样本块确定对应于样本块150的一内插块。例如，本实施例通过使用样本块150的左和上相邻样本块的内插处理结果，产生样本块150的内插块，其中假设左和上相邻样本块已在样本块150之前被进行了内插。

以与一实施例中的内插过程中相同的方式，首先将图2B中的样本块150分为8条垂直参考线，由指示符号V₂’、V₄’…V₁₆’表示，如图5A所示，由此提供一组垂直参考线400，其中每条垂直参考线V₂’到V₁₆’与第一实施例中的相应垂直参考线相同。本实施例根据该组垂直参考线400和属于样本块150的左相邻样本块的垂直参考线V16L生成垂直内插线V₁’、V₃’…V₁₅’。结果，垂直参考线V16L和V2被用作为按照预定规则产生垂直内插线V₁’的垂直参考线。通过采用第一实施例中使用的相同规则确定其余的垂直内插线V₃’到V₁₅’，如图5B所示，它是通过将每个垂直参考线的线段数目与其相邻垂直参考线的线段数目相比较来进行的。然后，通过按Vi的指数i的增加顺序重新安排而将垂直参考线V₂’到V₁₆’和垂直内插线V₁’到V₁₅’交替地组合在一起，由此产生垂直内插块50，如图5C所示。

由上述垂直内插过程产生的垂直内插块500然后被水平地分为8条水平参考线，由指示符号H₂’、H₄’…H₁₆’来表示，如图5D所示，该8条水平参考线被提供作为一组水平参考线600。以与垂直内插过程类似的方式，根据该组水平参考线600和属于与样本块150的上相邻样本块相对应的垂直内插块的水平参考线H16U确定水平内插线H₁’、H₃’…H₁₅’，如图5E所示。然后按第一实施例中所用的相同方式将新得到的水平内插线H₁’到H₁₅’与该组水平参考线H₂’到H₁₄’组合起来，这样便产生了图5F中的内插块700。

按照本发明的两个实施例，可将样本块150扩展到内插块300和700，从图4F和5F可以看出，它们相互只有很小的不同。

本发明的实施例中说明的垂直和水平内插处理可一起或独立地执行，并且也可根据样本块和其初始子块的大小不只一次地执行。

仅针对某些优选实施例说明了本发明，在不偏离下面权利要求书中提出的本发明的精神和范围的条件下，可做出其它修改和变化。

Claims

1、一种用于恢复通过使用二次采样或缩小采样技术而被缩小的二进制形状信号的方法，该方法包括下列步骤：

(a)接收包含多条参考线的缩小的二进制形状信号，其中每条参考线包括一条或多条线段和非线段，一线段由一个或多个连续目标象素表示，而一非线段由一个或多个连续背景象素来定义；

(b)根据每条参考线上线段的数目、线段的位置和每条线段中包括的目标象素的数目产生内插线；及

(c)通过组合内插线和参考线提供恢复的二进制形状信号。

2、如权利要求1中所述的方法，其中参考线是垂直参考线。

3、如权利要求2中所述的方法，其中步骤(b)包括下列步骤：

(b11)选择两条相邻参考线作为目标线；

(b12)根据每条目标线上的线段数目、线段的位置和每条线段中包含的目标象素的数目产生垂直内插线；

(b13)重复步骤(b11)和(b12)，直到处理所有的参考线；及

(b14)提供垂直内插线作为内插线。

4、如权利要求3中所述的方法，其中每条垂直内插线按下述来确定：

(p1)如果每条目标线上的线段数目相同并且这些目标线上有重叠的线段，则生成所述每条垂直内插线以包含根据目标线上重叠线段的开始和结束点的位置所确定的线段，其中重叠线段表示在目标线相互重叠时叠合的线段；

(q1)如果每条目标线上的线段数目相同并且该目标线上有非重叠线段，则产生所述每条垂直内插线以包含通过分别使用目标线上的非重叠线段所生成的两条线段，其中非重叠线段表示在目标线相互重叠时不相叠合的线段；及

(r1)如果每条目标线上线段数目不同，则通过对每条目标线上的线段进行“与”运算来确定所述每条垂直内插线。

5、如权利要求3中所述的方法，其中所述步骤(b)还包括下列步骤：

(b15)组合垂直内插线和参考线，由此产生具有多条水平参考线的垂直内插的二进制形状信号，其中每条水平参考线包括一条或多条线段和非线段，一线段由一个或多个连续的目标象素表示而非线段由一个或多个连续背景象素定义；

(b16)选择两条相邻水平参考线作为目标线；

(b17)根据每条目标线上的线段数目、线段的位置和每条线段中包含的目标象素数目产生水平内插线；

(b18)重复步骤(b16)和(b17)，直到处理所有的水平参考线；及

(b19)提供水平内插线作为内插线并提供水平参考线作为参考线。

6、如权利要求5中所述的方法，其中每条水平内插线按下述确定：

(p2)如果每条目标线上线段的数目相同并且在目标线上有重叠线段，则生成所述每条水平内插线以包含根据目标线上重叠线段的开始和结束点的位置所确定的线段，其中这些重叠线段表示在目标线互相重叠时叠合的线段；

(q2)如果每条目标线上的线段数目相同，并且该目标线上有非重叠线段，则产生所述每条水平内插线以包含通过分别使用目标线上的非重叠线段所生成的两条线段，其中非重叠线段表示在目标线相互重叠时不相叠合的线段；及

(r2)如果每条目标线上线段数目不同，则通过在每条目标线上对线段“与”运算来确定所述每条水平内插线。

7、如权利要求1中所述的方法，其中参考线是水平参考线。

8、如权利要求7中所述的方法，其中步骤(b)包括下列步骤：

(b21)选择两条相邻参考线作为目标线；

(b22)根据每条目标线上线段的数目、线段的位置和每条线段中包含的目标象素的数目产生水平内插线；

(b23)重复步骤(b21)和(b22)，直到处理所有的参考线；及

(b24)提供水平内插线作为内插线。

9、如权利要求8中所述的方法，其中每条水平内插线按下述确定：

(p3)如果每条目标线上线段的数目相同并且在目标线上有重叠的线段，则生成所述每条水平内插线以包含根据目标线上重叠线段的开始和结束点的位置所确定的线段，其中重叠线段表示在目标线相互重叠时叠合的线段；

(q3)如果每条目标线上的线段数目相同并且在两条目标线上有非重叠线段，则产生所述每条水平内插线以包含通过分别使用目标线上的非重叠线段所生成的两条线段，其中非重叠线段表示在目标线相互重叠时不相叠合的线段；及

(r3)如果每条目标线上线段数目不同，则通过对每条目标线上的线段进行“与”运算来确定所述每条水平内插线。

10、如权利要求8中所述的方法，其中所述步骤(b)还包括下列步骤：

(b25)组合水平内插线和参考线，由此产生具有多条垂直参考线的水平内插的二进制形状信号，其中每条垂直参考线包括一条或多条线段和非线段，一线段由一个或多个连续目标象素表示，而非线段由一个或多个连续背景象素定义；

(b26)选择两条相邻垂直参考线作为目标线；

(b27)根据每条目标线上的线段数目、线段的位置和每条线段中包含的目标象素数目产生垂直内插线；

(b28)重复步骤(b26)和(b27)，直到处理所有的垂直参考线；及

(b29)提供垂直内插线作为内插线并提供垂直参考线作为参考线。

11、如权利要求10中所述的方法，其中每条垂直内插线按下述确定：

(p4)如果每条目标线上的线段数目相同并且这些目标线上有重叠的线段，则生成所述每条垂直内插线以包含根据目标线上重叠线段的开始和结束点的位置所确定的线段，其中重叠线段表示在目标线相互重叠时叠合的线段；

(q4)如果每条目标线上的线段数目相同并且该两条目标线上有非重叠线段，则产生所述每条垂直内插线以包含通过分别使用目标线上的非重叠线段所生成的两条线段，其中非重叠线段表示在目标线相互重叠时不相叠合的线段；及

(r4)如果每条目标线上线段数目不同，则通过对每条目标线上的线段进行“与”运算来确定所述每条垂直内插线。

12、一种根据两条参考线产生内插线的方法，其中此内插线将被插入到两条参考线之间，该方法包括下列步骤：

(a)检测两条参考线的每一条上线段的数目、线段的位置和每条线段上目标象素的数目，其中每条参考线包括一条或多条线段，一线段由一个或多个连续的目标象素表示；及

(b)如果在所述两条参考线的每一条上的线段数目相同并且在该两条参考线上有重叠线段，则产生包含有根据该两条参考线的每一条上重叠线段的开始和结束点位置所确定的线段的内插线，其中，重叠线段表示在两条参考线相互重叠时相叠合的线段。

13、如权利要求12中所述的方法，其中通过比较两条参考线上的线段中包括的目标象素位置来完成两条参考线的重叠。

14、如权利要求12中所述的方法，还包括步骤：如果两条参考线的每一条上的线段数目相同并且在该两条参考线上有非重叠线段，则产生包含通过分别使用两条参考线上非重叠线段所生成的两个线段的内插线，其中非重叠线段表示在该两条参考线相互重叠时不叠合的线段。

15、如权利要求14中所述的方法，其中如果该两条参考线的每一条上的非重叠线段包含位于参考线的第一或最后象素位置上的象素，则通过使用参考线上所述非重叠线段中包含的目标象素数目产生内插线上的相应线段。

16、如权利要求14中所述的方法，其中，如果该两条参考线的每一条上的非重叠线段既不包括参考线上的第一象素也不包括其最后象素，则通过使用参考线上所述非重叠线段的开始和结束点产生内插线上的相应线段。

17、如权利要求16中所述的方法，其中内插线上的线段的开始和结束点按如下计算：

SP≈(3×p+1×Q)/4

EP≈(1×p+3×Q)/4其中SP和EP分别表示内插线上线段的开始和结束点；而P和Q分别是参考线上非重叠线段的开始和结束点。

18、如权利要求17中所述的方法，其中，如果值SP和EP不是整数，通过截取计算的值得到开始或结束点。

19、如权利要求14中所述的方法，还包括步骤：如果该两条参考线的每一条上的线段数目不同，则通过对该两条参考线的每一条上的线段进行“与”运算而产生内插线。

20、如权利要求12所述的方法，其中，如果仅有一条参考线，则内插线与参考线相同。