CN103313053B - 一种面向视觉对象的形状编码方法 - Google Patents

Abstract

本发明公开了一种面向视觉对象的形状编码方法，其包括了形状轮廓提取、轮廓曲线分割、曲线段和曲线子段编码等步骤，其针对视觉对象，提取对象轮廓并细化成单像素轮廓曲线，并将目标轮廓曲线分割成若干曲线段，然后将每个曲线段分割成若干曲线子段，然后完成所有曲线段内的曲线子段的编码操作，从而得到整个视觉对象的二值形状图像的压缩码流，其优点是经过轮廓细化和曲线段分割，使每个方向码只需用一个比特编码表示，有效地提高了编码效率和编码性能。

Description

一种面向视觉对象的形状编码方法

技术领域

本发明涉及一种编码方法，尤其是涉及一种面向视觉对象的形状编码方法。

背景技术

随着计算机和网络技术的快速发展，在图像与视频领域中面向视觉对象的处理技术受到越来越广泛的关注，如对象基编码技术、对象基检索与交互技术等，与传统技术相比，面向视觉对象的处理技术能获得更好的性能且能满足更高的应用需求。面向视觉对象的处理技术将图像分割成具有不同视觉兴趣的对象，以视觉对象为编码单元，可以根据不同对象的视觉感知重要性进行差异化编码，从而提高在给定码率下编码后重构图像的主观视觉效果。形状信息是视觉对象的一个重要特征，它是进行视觉对象定义、表示与处理的关键信息。因此，形状编码是面向视觉对象编码中的一个关键技术，也是当前国际上图像处理领域的一个研究热点。目前，形状编码方法一般分为两类：基于位图的形状编码方法和基于轮廓的形状编码方法。基于位图的形状编码方法有多种，如JBIG^[1]、JBIG2^[2]和基于MPEG-4的上下文的算术编码(MPEG-4CAE)^[3]等(参考文献：[1]P.G.Howard,F.Kossentini,B.Martins,S.Forchhammer,andW.J.Rucklidge,“TheemergingJBIG2standard,”IEEETrans.CircuitsSyst.VideoTechnol.,vol.8,no.7,pp.838–848,Nov.1998；[2]CodedRepresentationofPictureandAudioInformation–Lossy/LosslesscodingofBi-LevelImages(JBIG2),ISO/IECInt.Std.14492,2000；[3]InformationTechnology–CodingofAudio-VisualObjects–Part2:Visual,ISO/IECInt.Std.14496-2,1999)，但将这些形状编码方法应用到视觉对象中后，其编码性能普遍不高；而基于轮廓的形状编码方法虽然编码效率较高，但现有的基于轮廓的形状编码方法一般适用于有损编码而不适用于于无损编码。2006年8月S.M.Aghito和S.Forchhammer在IEEETransactions上发布的《Context-BasedCodingofBilevelImagesEnhancedbyDigitalStraightLineAnalysis》中提出了一种基于上下文算术编码的可用于形状编码的二值图像编码方法，DSLSC₂。将DSLSC₂方法应用到视觉对象的形状编码后，提高了编码效率，编码性能也高于JBIG、JBIG2和MPEG-4CAE等传统方法，但是在精度要求高的应用领域，其编码性能仍显得不够理想。

发明内容

本发明所要解决的技术问题是提供一种编码效率高、编码性能好，且能满足信息无失真等高精度应用需求的面向视觉对象的形状编码方法。

本发明为解决上述问题所采用的技术方案为：一种面向视觉对象的形状编码方法，其特征在于包括以下步骤：

(1)将一幅形状图像的对象和背景区域的像素分别取值为0和255，形成一幅二值形状图像，对所述的二值形状图像进行轮廓提取，得到二值轮廓图像，表示为：

$C(x,y)=\left\{\begin{array}{cc}0& \left|f(x,y)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}f(x+p,y+q)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}\right|f(x+p,y+q)-255\left|\right|=0\\ 255& else\end{array}\right.$

其中，C(x,y)表示二值轮廓图像，f(x,y)表示二值形状图像，f(x+p,y+q)是f(x,y)的8邻域点，p、q分别表示f(x,y)在x，y方向上的偏移量，符号∏表示连乘，“||”表示绝对值符号，“else”表示在其他条件的情况下，当C(x,y)＝0时表示C(x,y)是对象形状的轮廓点；

(2)对提取到的二值轮廓图像进行轮廓细化，得到基于8邻域的单像素轮廓曲线，表示为：

其中，C₁(x,y)表示单像素轮廓曲线，C(m,n)和C(p₁,q₁)是C(x,y)的2个4邻域点，C(m,n)和C(p₁,q₁)均只在C(x,y)的x方向或y方向上存在偏移量，m、p₁分别对应表示C(m,n)、C(p₁,q₁)的x方向的位置信息，n、q₁分别对应表示C(m,n)、C(p₁,q₁)的y方向的位置信息；

(3)将提取到的单像素轮廓曲线分割成N个曲线段，并将得到的每个曲线段分割成N_j个曲线子段，其中，j＝1,2,…,N；

(4)令N个曲线段中的第m个曲线段为当前曲线段，将当前曲线段的第i段曲线子段作为当前曲线子段，并对当前曲线子段进行二进制编码，具体过程如下：用C_S表示曲线段的段类型，当C_S的值为1时编码一个端点，当C_S的值为0时编码两个端点；用C_T表示曲线子段的编码模式，当C_T的值为0时表示该曲线子段不包括可分离直线段，当C_T的的值为1时表示该曲线子段包括可分离直线段，对该曲线子段内的可分离直线段进行独立编码，对曲线子段的子段长度采用固定长度编码或变长编码，对曲线子段的子段类型采用3比特固定长度编码，并对曲线子段内的每个链路采用1比特进行编码表示；对曲线子段的分隔符进行基于基本码的3比特/分隔符编码或变长编码；其中，m＝1,2,…,N，i＝1,2,…,N_j；

(5)令i＝i+1，将第m个曲线段的下一个曲线子段作为当前的曲线子段，然后返回步骤(4)继续执行，直到完成对第i段曲线段中所有曲线子段的二进制编码，其中，i＝i+1中的“＝”表示赋值；

(6)令m＝m+1，将N个曲线段中的下一个曲线段作为当前曲线段，然后返回步骤(4)继续执行，直到完成所有曲线段的二进制编码，得到整幅视觉对象的二值形状图像的压缩码流，其中，m＝m+1中的“＝”表示赋值。

2.根据权利要求1所述的一种面向视觉对象的形状编码方法，其特征在于：所述的步骤(3)的具体过程为：

a、定义单像素轮廓曲线的端点和单像素轮廓曲线之间的交叉点为特征点，用P表示C(x,y)中所有的轮廓点集合，P_K表示所有的特征点集合；

b、基于所有的特征点，将单像素轮廓曲线分割成N段曲线段，用s_j表示分割后的第j段曲线段，用S＝{s_j}表示所有曲线段的集合，用和分别表示曲线段s_j的起点和终点，其中，j＝1,2,…,N；

c、将曲线段s_j作为当前曲线段，基于8方向Freeman链码，将曲线段s_j转换成链码表示，得到一个方向码序列，记为L_j；

d、基于方向码的相关性将L_j分割成N_j个曲线子段L_jn，检测所有L_jn的长度并记录最长曲线子段的长度LM_j，其中，L_jn表示L_j分割后的第n个曲线子段，N_j表示L_j中分割后的曲线子段的数量，n＝0,1,…,N_j-1；

e、将曲线子段L_jn作为当前曲线子段，根据当前曲线段中最长的曲线子段的长度对当前曲线子段中的直线段进行分割，其操作步骤为：

e-1、当前曲线子段的编码模式的值为0时表示当前曲线子段不包括直线段，当前曲线子段的编码模式的值为1时表示当前曲线子段包括直线段，若当前曲线子段不含直线段，则不进行分割处理，若该曲线子段有直线段，则将该曲线子段的其中一个直线段作为当前直线段，令当前直线段的长度为K，如果K>1+log₂LM_j，则对该直线段进行分离；

e-2、将当前直线段的下一个直线段作为当前直线段，返回步骤e-1，直到完成当前曲线子段中所有直线段的分割；

f、将当前曲线子段的下一个曲线子段作为当前曲线子段，返回步骤e，直到完成所有曲线子段内的直线段的分割；

g、将当前曲线段的下一个曲线段作为当前曲线段，返回步骤c继续执行，直到完成所有曲线段的分割。

所述的步骤(4)中对曲线子段的子段长度采用固定长度编码，编码维数由N_SL指定，N_SL＝log₂LM_j，LM_j表示第j段对象轮廓L_j中最长子段的长度。

所述的步骤(4)中对分隔符进行基于当前曲线子段的前一曲线子段的子段类型和当前曲线子段的前一曲线子段的最后一个方向码之间的相关性的变长编码。

所述的步骤d中将方向码序列分割成若干曲线子段的过程中，设定每个曲线子段内最多存在两类方向码，且将长度为1的方向码作为两个曲线子段之间的分隔符。

与现有的技术相比，本发明的优点在于：针对视觉对象，首先提取对象轮廓并细化成单像素轮廓曲线，然后进行轮廓曲线分割、曲线段分割、曲线子段编码等步骤，得到整个视觉对象的二值形状图像的压缩码流。轮廓细化对前后链路之间的方向进行了限制，大量减少了子段类型，且每个方向码仅需一个比特编码表示，有效地提高了编码效率和编码性能。

附图说明

图1为本发明方法的流程框图；

图2为8方向Freeman链码示意图；

图3为曲线段和曲线子段的码流数据结构示意图；

图4为MPEG-4标准形状测试序列图像。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

一种面向视觉对象的形状编码方法，其流程框图如图1所示，其具体包括以下步骤：

(1)将一幅给定的形状图像的对象和背景区域的像素分别取值为0和255，形成一幅二值形状图像，对该二值形状图像进行轮廓提取，得到二值轮廓图像，表示为：

$C(x,y)=\left\{\begin{array}{cc}0& \left|f(x,y)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}f(x+p,y+q)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}\right|f(x+p,y+q)-255\left|\right|=0\\ 255& else\end{array}\right.$

其中，C(x,y)表示二值轮廓图像，f(x,y)表示二值形状图像，f(x+p,y+q)是f(x,y)的8邻域点，p、q分别表示f(x,y)在x，y方向上的偏移量，符号∏表示连乘，“||”表示对其内的值取绝对值，“else”表示在其他条件的情况下；当C(x,y)＝0时表示C(x,y)是对象形状的轮廓点。

(2)由于提取到的二值轮廓图像不完全是单像素轮廓，需要对提取到的二值轮廓图像进行轮廓细化，以便得到基于8邻域的单像素轮廓曲线，该单像素轮廓曲线表示为：

其中，C₁(x,y)表示单像素轮廓曲线，C(m,n)和C(p₁,q₁)是C(x,y)的2个4邻域点，C(m,n)和C(p₁,q₁)均只在C(x,y)的x方向或y方向上存在偏移量，m、p₁分别对应表示C(m,n)、C(p₁,q₁)的x方向的位置信息，n、q₁分别对应表示C(m,n)、C(p₁,q₁)的y方向的位置信息。

(3)为了提高编码效率，将上述提取到的单像素轮廓曲线分割成N个曲线段，并将得到的每个曲线段分割成N_j个曲线子段。

(4)令N个曲线段中的第m个曲线段为当前曲线段，将当前曲线段的第i段曲线子段作为当前曲线子段，并对所述的当前曲线子段进行二进制编码，具体过程如下：如图3，C_S表示曲线段的段类型，Q_EP表示端点坐标的二进制编码表示，N_SL表示编码子段长度所需要的比特数。C_T表示曲线子段的编码模式，S_L表示曲线子段的子段长度，S_T表示如表1示的子段类型，L_S表示直线段的起始地址，L_T表示直线段的长度，L_E表示一个判断后续是否存在其它可分离直线段的标识符，其中，m＝1,2,…,N，i＝1,2,…,N_j。

表1子段类型表

C_S的值为1时，表示该段轮廓是条封闭曲线，只需要编码一个端点，值为0时表示该段轮廓不是封闭曲线，在编码时需要编码两个端点。用C_T表示曲线子段的编码模式，C_T的值为1时表示该曲线子段包括可分离直线段，当C_T的值为0时表示该曲线子段不包括可分离直线段。本实施例中，对可分离直线段进行独立编码，对其起始地址和长度分别进行编码；对曲线子段的子段长度采用固定长度编码，对子段类型采用3比特固定长度编码，并对曲线子段内的每个链路采用1比特进行编码表示，具体编码如表2。再对分隔符进行基于基本码的3比特/分隔符编码或变长编码。

表2曲线子段编码表

(5)令i＝i+1，将第m个曲线段的下一个曲线子段作为当前的曲线子段，然后返回步骤(4)继续执行，直到完成对第i段曲线段中所有曲线子段的二进制编码，其中，i＝i+1中的“＝”表示赋值。

(6)令m＝m+1，将N个曲线段中的下一个曲线段作为当前曲线段，然后返回步骤(4)继续执行，直到完成所有曲线段的二进制编码，得到视觉图像的二值形状图像的压缩码流，其中，m＝m+1中的“＝”表示赋值。

本实施例中步骤(3)的具体过程为：

a、定义单像素轮廓曲线的端点和单像素轮廓曲线之间的交叉点为特征点，用P表示C(x,y)中所有的轮廓点集合，P_K表示所有的特征点集合。

b、基于所有的特征点，将单像素轮廓曲线分割成N段曲线段，使每段曲线段存在两个或零个特征点。用s_j表示分割后的第j段曲线段，用S＝{s_j}表示所有曲线段的集合，用和分别表示曲线段s_j的起点和终点，其中，j＝1,2,…,N。

c、链码作为一种有效的边缘编码表示方法，有4方向链码和8方向链码等。如图2，采用8方向Freeman链码，将曲线段s_j作为当前曲线段，并将当前曲线段转换成链码表示，得到一个方向码序列，记为L_j。根据步骤(2)中轮廓细化的结果，8方向Freeman链码中链路之间的方向受到了限制，所有链路之间的链路方向约束特性如表3。

d、基于方向码的相关性将L_j分割成N_j个曲线子段L_jn，使每个曲线子段仅包括两个如表2所示的基本方向码。L_jn表示L_j分割后的第n个曲线子段，N_j表示L_j中分割后的曲线子段的数量；对每个L_j，检测所有L_jn的长度并记录最长曲线子段的长度LM_j，其中，n＝0,1,…，N_j-1。

e、将曲线子段L_jn作为当前曲线子段，根据当前曲线段中最长的曲线子段的长度对当前曲线子段中的直线段进行分割，其操作步骤为：

e-1、当前曲线子段的编码模式的值为0时表示当前曲线子段不包括直线段，当前曲线子段的编码模式的值为1时表示当前曲线子段包括直线段，若当前曲线子段不含直线段，则不进行分割处理，若该曲线子段有直线段，则将该曲线子段的其中一个直线段作为当前直线段，令当前直线段的长度为K，如果K>1+log₂LM_j，则对该直线段进行分离。

e-2、将当前直线段的下一个直线段作为当前直线段，返回步骤e-1，直到完成当前曲线子段中所有直线段的分割。

f、将当前曲线子段的下一个曲线子段作为当前曲线子段，返回步骤e，直到完成所有曲线子段内的直线段的分割。

g、将当前曲线段的下一个曲线段作为当前曲线段，返回步骤c继续执行，直到完成所有曲线段的分割。

表3链码中前后链路之间的约束特性

本实施例中，由于一张图像的形状轮廓数据较少，如果曲线子段的子段长度使用变长编码，其编码效率较低，所以形状轮廓编码方式采用固定长度编码，编码维数由N_SL指定，其中设定N_SL＝log₂LM_j，LM_j表示第j段对象轮廓L_j中最长子段的长度。

本实施例中的分隔符编码采用基于前一曲线子段的子段类型和前一曲线子段的最后一个方向码之间的相关性的变长编码，变长编码需要建立编码码表，编码码表如表4。

表4分隔符编码表

本实施例中，在基于方向码的相关性将方向码序列分割成若干个曲线子段的过程中，设定每个曲线子段内最多存在两类方向码，且保留长度为1的方向码作为两个子段之间的分隔码。

表5本发明与现有方法的相对压缩比的对比实验结果

为了检验本发明的算法性能，进行了实验仿真，实验中使用kids、news和weather三个MPEG-4标准形状测试序列，如图4所示。为了定量考察本发明与已有形状编码方法的相对压缩性能，用相对压缩比来进行对比，相对压缩比γ表示为：其中，C_p和C_i分别表示本发明与现有形状编码方法的压缩比，L_p和L_i分别表示本发明和现有算法编码某个序列的平均每帧图像的码长。表5给出了本发明与目前主要无损形状编码方法的对比实验结果，从表中可以看出本发明能获得更高的压缩性能，能大幅提高压缩比。DSLSC₂算法是目前文献中压缩性能最好的无损形状编码方法，与DSLSC₂算法相比，本发明提出的形状编码方法压缩性能提高了33％左右。

Claims (5)

1.一种面向视觉对象的形状编码方法，其特征在于包括以下步骤：

(1)将一幅形状图像的对象和背景区域的像素分别取值为0和255，形成一幅二值形状图像，对所述的二值形状图像进行轮廓提取，得到二值轮廓图像，表示为：

$C(x,y)=\left\{\begin{array}{cc}0& \left|f\left(x,y\right)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}f\left(x+p,y+q\right)\right|+\left|\underset{p,q=-1}{\overset{1}{\Π}}|f\left(x+p,y+q\right)-255|\right|=0\\ 255& else\end{array}\right.$

其中，C(x,y)表示二值轮廓图像，f(x,y)表示二值形状图像，f(x+p,y+q)是f(x,y)的8邻域点，p、q分别表示f(x,y)在x，y方向上的偏移量，符号∏表示连乘，“||”表示绝对值符号，“else”表示在其他条件的情况下，当C(x,y)＝0时表示C(x,y)是对象形状的轮廓点；

(2)对提取到的二值轮廓图像进行轮廓细化，得到基于8邻域的单像素轮廓曲线，表示为：

其中，C₁(x,y)表示单像素轮廓曲线，C(m,n)和C(p₁,q₁)是C(x,y)的2个4邻域点，C(m,n)和C(p₁,q₁)均只在C(x,y)的x方向或y方向上存在偏移量，m、p₁分别对应表示C(m,n)、C(p₁,q₁)的x方向的位置信息，n、q₁分别对应表示C(m,n)、C(p₁,q₁)的y方向的位置信息；

(3)将提取到的单像素轮廓曲线分割成N个曲线段，并将得到的每个曲线段分割成N_j个曲线子段，其中，j＝1,2,…,N；

(4)令N个曲线段中的第m个曲线段为当前曲线段，将当前曲线段的第i段曲线子段作为当前曲线子段，并对当前曲线子段进行二进制编码，具体过程如下：用C_S表示曲线段的段类型，当C_S的值为1时编码一个端点，当C_S的值为0时编码两个端点；用C_T表示曲线子段的编码模式，当C_T的值为0时表示该曲线子段不包括可分离直线段，当C_T的的值为1时表示该曲线子段包括可分离直线段，对该曲线子段内的可分离直线段进行独立编码，对曲线子段的子段长度采用固定长度编码或变长编码，对曲线子段的子段类型采用3比特固定长度编码，并对曲线子段内的每个链路采用1比特进行编码表示；对曲线子段的分隔符进行基于基本码的3比特/分隔符编码或变长编码；其中，m＝1,2,…,N，i＝1,2,…,N_j；

(5)令i＝i+1，将第m个曲线段的下一个曲线子段作为当前的曲线子段，然后返回步骤(4)继续执行，直到完成对第i段曲线段中所有曲线子段的二进制编码，其中，i＝i+1中的“＝”表示赋值；

(6)令m＝m+1，将N个曲线段中的下一个曲线段作为当前曲线段，然后返回步骤(4)继续执行，直到完成所有曲线段的二进制编码，得到整幅视觉对象的二值形状图像的压缩码流，其中，m＝m+1中的“＝”表示赋值。

2.根据权利要求1所述的一种面向视觉对象的形状编码方法，其特征在于：所述的步骤(3)的具体过程为：

a、定义单像素轮廓曲线的端点和单像素轮廓曲线之间的交叉点为特征点，用P表示C(x,y)中所有的轮廓点集合，P_K表示所有的特征点集合；

b、基于所有的特征点，将单像素轮廓曲线分割成N段曲线段，用s_j表示分割后的第j段曲线段，用S＝{s_j}表示所有曲线段的集合，用和分别表示曲线段s_j的起点和终点，其中，j＝1,2,…,N；

c、将曲线段s_j作为当前曲线段，基于8方向Freeman链码，将曲线段s_j转换成链码表示，得到一个方向码序列，记为L_j；

d、基于方向码的相关性将L_j分割成N_j个曲线子段L_jn，检测所有L_jn的长度并记录最长曲线子段的长度LM_j，其中，L_jn表示L_j分割后的第n个曲线子段，N_j表示L_j中分割后的曲线子段的数量，n＝0,1,…,N_j-1；

e、将曲线子段L_jn作为当前曲线子段，根据当前曲线段中最长的曲线子段的长度对当前曲线子段中的直线段进行分割，其操作步骤为：

e-1、当前曲线子段的编码模式的值为0时表示当前曲线子段不包括直线段，当前曲线子段的编码模式的值为1时表示当前曲线子段包括直线段，若当前曲线子段不含直线段，则不进行分割处理，若该曲线子段有直线段，则将该曲线子段的其中一个直线段作为当前直线段，令当前直线段的长度为K，如果K>1+log₂LM_j，则对该直线段进行分离；

e-2、将当前直线段的下一个直线段作为当前直线段，返回步骤e-1，直到完成当前曲线子段中所有直线段的分割；

f、将当前曲线子段的下一个曲线子段作为当前曲线子段，返回步骤e，直到完成所有曲线子段内的直线段的分割；

g、将当前曲线段的下一个曲线段作为当前曲线段，返回步骤c继续执行，直到完成所有曲线段的分割。

3.根据权利要求1所述的一种面向视觉对象的形状编码方法，其特征在于：所述的步骤(4)中对曲线子段的子段长度采用固定长度编码，编码维数由N_SL指定，N_SL＝log₂LM_j，LM_j表示第j段对象轮廓L_j中最长子段的长度。

4.根据权利要求1所述的一种面向视觉对象的形状编码方法，其特征在于：所述的步骤(4)中对分隔符进行基于当前曲线子段的前一曲线子段的子段类型和当前曲线子段的前一曲线子段的最后一个方向码之间的相关性的变长编码。

5.根据权利要求2所述的一种面向视觉对象的形状编码方法，其特征在于：所述的步骤d中将方向码序列分割成若干曲线子段的过程中，设定每个曲线子段内最多存在两类方向码，且将长度为1的方向码作为两个曲线子段之间的分隔符。