CN103069802A - 重构图像的当前块的方法和对应的编码方法、对应的装置以及承载在比特流中编码的图像的存储介质 - Google Patents

Abstract

本发明是在图像块的编码和重构领域中做出的。描述了一种重构图像的当前块的方法，所述当前块是使用从所述当前块的几何图形自适应块分割产生的片段的预测编码而编码的。在解码包含运动矢量和至少一个标志的编码数据之后，其中运动矢量所参考的块被用于预测当前块的片段，使用所述至少一个标志和运动矢量在编码数据中的编码顺序来确定哪一个被参考的块呈现了与当前块的几何图形匹配的几何图形并且来确定所确定的块的片段，其中在确定片段之前，将所确定的块几何图形自适应块分割为若干片段，从所述若干片段中确定用于预测当前块的片段之一的片段。

Description

重构图像的当前块的方法和对应的编码方法、对应的装置以及承载在比特流中编码的图像的存储介质

技术领域

本发明是在预测图像块的编码和重构领域中作出的，其中对从几何图形（geometry）自适应块分割产生的片段进行预测。

背景技术

诸如H.264/AVC标准之类的许多当代视频编码策略使用基于四叉树的分割结构来编码宏块。这种结构使编码算法适配于自然图像的复杂并且非静态的本质。尽管四叉树分割具有自适应灵活性，但是由C.Dai,O.Escoda,P.Yin,X.Li,C.Gomila最近进行的研究“Geometry-Adaptive block Partitioning forIntra Prediction in Image&Video Coding,”Image Processing,2007,ICIP2007,IEEE International Conference on Volume6,Sept.162007-Oct.192007,pp VI-85-VI–88已经表明，当图像可以被局部建模为2D分段（piece wise）平滑的信号时，四叉树分割的效率是不够的（在率失真性能方面）。

因此，在Dai等人在上述研究中探究了使用基于几何图形的块分割来建模宏块中的2D分段数据。他们提出在块内进行几何图形分割，其中所述分割由线的隐式参数模型来定义：f(x,y)=x cosθ+y sinθ-ρ。通过角度θ和距离ρ来确定由f(x,y)的零级线（zero level line）生成的分割线。然后，利用模式“geo”在块的比特流中编码θ和ρ并进行传输。尽管存在帧内θ和ρ的额外的编码成本，但实现了高达12%的PSNR增益。

R.Mathew和D.S.Taubman在“Joint Scalable Modeling of Motion andBoundary Geometry with Quad-tree node merging,”ICIP2009描述了通过发信号通知线段与块边界的两个交点（intercept）可以传递几何图形树中的给定子块的几何模型。参考父块的边界几何图形，将这两个交点进行差分编码。

另外，为了减少传统的但是作为次优的四叉树的编码成本，R.D.Forni andD.S.Taubman在“On the Benefits of Leaf Merging in Quad-Tree MotionModels,”Image Processing,2005,ICIP2005,IEEE International Conference onImage processing,Volume2,11-14Sept.2005,pp II-858-61中提出了编码附加的二进制合并标志以指示是否必须要合并邻近的叶。如果要合并所述叶，则编码附加的0、1或者2个比特，以便识别具体的合并方向。利用这种实现方案，与H.264/AVC相比，该文作者体验到0.5dB到1dB之间的PSNR增益。

发明内容

发明人认识到，根据现有技术，对于编码模式“geo”的合适的选择，在编码器侧必须测试所有可能的几何图形的轮廓，这导致了根据现有技术来确定几何图形的相对复杂性。发明人还认识到，根据现有技术可确定的几何图形的相对简单性。

在探究这些方面时，发明人发现，可以通过参考一个块来隐式地发信号通知几何图形或者对象的边界信息，所述一个块基本上描绘了相同的几何图形并且被确定为在被发信号通知几何图形信息的块之前被解码。

因此，发明人提出了一种根据权利要求1所述的重构图像的当前块的方法和一种根据权利要求3所述的用于预测编码的对应方法。

所述用于重构图像的当前块的方法，其中所述当前块是使用对所述当前块的几何图形自适应块分割产生的片段的预测编码而编码的，所述方法包括：解码包含运动矢量和至少一个标志的编码数据，其中所述运动矢量所参考的块被用于预测当前块的片段；使用所述至少一个标志和运动矢量在编码数据中的编码顺序来确定哪一个参考的块呈现了与当前块的几何图形匹配的几何图形并且来确定所确定的块的片段，其中在确定片段之前，将所确定的块进行几何图形自适应块分割为若干片段，从所述若干片段中确定用于预测当前块的片段之一的片段。

在所述用于重构的方法的实施例中，所述编码数据还包括残差并且所述方法还包括：使用运动矢量从存储设备中取得块；使用所确定的片段用于在参考的至少一个另外的块中选择至少一个片段，所选择的至少一个片段与所确定的片段在轮廓上互补；以及使用所确定的片段、所选择的至少一个片段和所述残差对当前块进行重构。

所述用于当前块的预测编码的方法包括使用从所述当前块的几何图形自适应块分割所产生的片段的预测编码；并且以编码顺序来编码包括运动矢量和至少一个标志的数据，其中所述至少一个标志和编码顺序发信号通知哪一个运动矢量参考呈现了与当前块的几何图形匹配的几何图形的块并且还发信号通知所通知的块中的哪一个片段被用于预测当前块的片段之一，其中运动矢量所参考的至少一个另外的块被用于预测当前块的至少一个另外片段。

由此，发明人提出了通过使得能够进行比直线更复杂的几何图形轮廓的提取并且还降低了编码成本的步骤来改进对图像块编码进行几何图形自适应块分割的原理。该原理通过从源图像中提取几何图形信息来利用源图像中的隐式几何图形，而不是与源图形特征独立地确定几何图形参数。

在一实施例中，所述用于预测编码的方法还包括：使用当前块的一个片段用于从存储在存储设备中的重构的块中确定呈现了与当前块的几何图形匹配的几何图形的块，使用所确定的块的片段来确定至少一个另外的片段，使用所述至少一个另外的片段来确定所述至少一个另外的块；使用所确定的块的片段和在所述至少一个另外的块中包括的至少一个另外的片段来预测当前块的片段；使用所确定的块和所确定的至少一个另外的块来确定运动矢量；使用所述预测来确定当前块的残差；并且量化残差，其中编码数据还包括量化后的残差。

在另一实施例中，预测编码方法还包括使用所述预测和量化后的残差来重构当前块。

对于其它块的重构或者编码，可以将重构后的当前块存储在存储设备中。

几何图形自适应块分割可以包括使用sobel算子来为相应的块确定梯度块。

在方法的实施例中，在图像序列中包括所述图像，并且至少一个运动矢量参考在所述图像序列中包括的至少一个不同的图像中包括的块。

另外，提出了一种根据权利要求9所述的设备。

所述设备用于重构图像的当前块，所述当前块是使用对所述当前块的几何图形自适应块分割产生的片段的预测编码而编码的，所述设备包括：用于解码包含运动矢量和至少一个标志的编码数据的部件，其中使用所述运动矢量所参考的块的片段可预测所述当前块的片段；用于使用所述至少一个标志和运动矢量在编码数据中的编码顺序来确定哪一个参考的块呈现了与当前块的几何图形匹配的几何图形并且来确定所确定的块的片段的部件；以及用于在确定片段之前，将所确定的块进行几何图形自适应块分割为若干片段的部件。

提出了又一种根据权利要求10所述的设备。

所述设备用于图像的当前块的预测编码，所述设备包括：用于对从所述当前块的几何图形自适应块分割所产生的片段进行预测编码的部件；以及用于对包括运动矢量和至少一个标志的数据进行编码的部件，其中所述至少一个标志和运动矢量的编码顺序使得能够确定哪一个运动矢量参考呈现了与当前块的几何图形匹配的几何图形的块并且还使得能够确定使用可确定的块的片段可预测当前块中的哪一个片段，其中使用运动矢量所参考的至少一个另外的块可预测当前块的至少一个另外的片段。

提出了一种存储介质，所述存储介质承载了以编码数据编码的图像，其中根据权利要求3的方法编码图像的至少一个块。

附图说明

借助于附图在以下描述中更详细地解释本发明的示例性实施例。解释示例性实施例的目的仅仅在于阐明本发明，而不是限制本发明的公开内容并且也不是限制权利要求中限定的请求保护的范围，本发明的公开内容仅仅由本申请的内容来限制。

在附图中：

图1描绘了源图像的示例；

图2描绘了为源图像确定的示例性的梯度图像；

图3描绘了源图像中提取的示例性的几何图形线；

图4描绘了多项式块分割的示例；

图5描绘了任何形状的块分割的示例；

图6描绘了与图5中描绘的任何形状的块分割对应的二进制掩蔽（mask）的示例；

图7描绘了其中使用第一参考块的左上片段和不同的第二参考块的互补片段用于预测的示例；以及

图8描绘了其中使用第一参考块的右下片段和不同的第二参考块的互补片段用于预测的示例。

具体实施方式

可以在包括被相应适配的处理设备的任何电子设备上实现本发明。例如，可以在电视机、机顶盒、移动电话、个人计算机、数字照相机、数字摄像机、导航系统或者车用视频系统中实现本发明。

在第一实施例中，使用传统的边缘轮廓提取器来计算几何图形。例如，使用源图像和/或解码的图像的（颜色）梯度。可以使用众所周知的sobel算法来计算梯度图像。对于图像的使用块大小MxN的给定的宏块分解，可以使用传统的主分量分析（PCA）或者线性回归来确定与每个MxN块中的梯度点最匹配的直线的参数。

在第二实施例中，通过识别非线性参数，例如，多项式参数，可以将使用PCA的方法扩展到非线性几何图形确定。

替代所述第二实施例，可以使用任何经典的边缘检测，如Canny算子或者Hough变换来确定将块分为分割块的一个或多个连续边缘。

与怎样检测边缘无关，可以使用所检测的边缘来对各个块分段，例如通过生成一个或多个二进制掩蔽。

然后使用参考块来预测作为结果的片段。更精确地，使用参考块的片段来预测要编码的当前块的片段。

为了正确地解码，必须要向解码器提供参考用于预测的参考块的运动矢量。还不得不提供使得确定用于预测的参考块的片段的另外的信息。

所述另外的信息使得解码器能够确定分割方案，通过所述分割方案可以将参考块分段为片段。所述另外的信息还使得解码器能够选择每个参考块的片段。然后将所选择的片段进行组合导致对要被重构的块的预测。将所述预测与被进一步传递给解码器的残差进行组合最终导致对要被重构的块的重构。

部分地，例如通过传输或者广播对所述另外的信息进行隐式传递，因为存在也用作边缘预测的、用于片段预测的参考块。或者，用于片段预测的单个参考块用作所有边缘的预测。

第一实施例

第一实施例涉及对其中呈现了将要编码的块分为两个片段的单一边缘的块进行编码。使用一个参考块对这两个片段中的每一个进行预测，由此确定由两个运动矢量参考的、用于预测的两个块。选择被参考的两个块使得它们中的一个不仅预测片段还预测单一的边缘。也就是说，在解码器侧，可以对一个参考块进行分段来确定边缘，然后利用该一个块和另一个块使用该边缘来确定片段预测。对于向解码器提供用于确定使用两个参考块中的哪一个进行边缘预测并且用于进一步确定由在边缘预测参考块中确定的边缘分开的两个片段中的哪一个要被使用所需要的信息，使用两个运动矢量的编码顺序和一标志。

或者，在编码顺序中预定的位置处（例如第一位置处）的运动矢量所参考的块可以是专用于边缘预测的那一个块。然后，在预定位置处的运动矢量所参考的所述块被用于片段预测的情况下，设置所述标志，其中所述片段包括预定像素，例如，块的左上角像素或者右下角像素。

或者，所述标志发信号通知编码顺序中的第一还是第二运动矢量参考要被进一步用于边缘预测的块。然后，编码顺序用于确定要用于预测的片段。

第二实施例

第二实施例涉及对其中描述了将要编码的块分为三个片段的两个边缘的块进行编码。通过一个参考块对这三个片段中的每一个进行预测，由此确定由三个运动矢量参考的、用于预测的三个块。选择被参考的三个块使得它们中两个块的每一个不仅预测所述片段之一而且预测所述边缘之一。也就是说，在解码器侧，可以对这两个参考块进行分段来确定边缘，然后利用这两个参考块和剩余的一个参考块使用所述边缘来确定片段预测。对于向解码器提供用于确定三个参考块中的哪一个用于边缘预测并且用于进一步确定由所预测的边缘分开的片段中的哪一个要被使用所需要的信息，使用三个运动矢量的编码顺序和两个标志。

例如，编码顺序中的第一运动矢量参考预测第一边缘的块并且第一标志发信号通知由所述边缘分开的片段中的哪一个使用参考的第一块进行预测。编码顺序中的第二运动矢量参考预测第二边缘的块。第二边缘将与要由第一运动矢量所参考的块预测的片段互补的片段分为另外的两个片段。第二标志指示要使用参考的第二块来预测所述另外的片段中的哪一个片段。然后，使用由最后的运动矢量参考的块来预测所述另外的片段中的另一个片段。

或者，所述标志发信号通知三个运动矢量中的哪两个运动矢量参考要被进一步用于预测边缘的块。然后，编码顺序用于确定要用于预测的片段。

第二实施例实际上是第一实施例的迭代，其中第一片段划分对块进行片段划分，并且第二片段划分对从第一片段划分产生的片段进行片段划分。这还可以被进一步迭代，使得使用n个参考块来确定n个边缘，所述n个参考块进一步预测通过n个边缘分开的（n+1）个片段中的n个片段，剩余的片段由另一参考块预测。然后，n个标志和运动矢量的编码顺序使得能够进行正确的解码。

第三实施例

第三实施例也涉及对其中描述了将要编码的块分为三个片段的两个边缘的块进行编码。根据第三实施例，选择参考的三个块使得它们中的一个块不仅预测所述片段之一而且预测两个边缘。也就是说，在解码器侧，可以对这一个参考块进行片段划分来确定边缘，然后利用这一个参考块和剩余的两个参考块使用所述边缘来确定片段预测。对于向解码器提供用于确定三个参考块中的哪一个用于边缘预测并且用于进一步确定由所预测的边缘分开的片段中的哪一个要被使用所需要的信息，使用三个运动矢量的编码顺序和两个标志。

例如，编码顺序中的第一运动矢量参考预测两个边缘的块并且所述标志发信号通知由所述边缘分开的作为结果的三个片段中的哪一个使用参考的第一块进行预测。根据预定的准则，例如根据与参考的第一块所预测的片段共有的边缘的长度，可以对剩余的两个片段进行排序。然后通过编码顺序中的第二运动矢量所参考的块来预测根据该顺序的第一片段，并且然后通过编码顺序中的最后的运动矢量所参考的块来预测根据该顺序的第二片段。

或者，所述标志发信号通知三个运动矢量中的哪一个运动矢量参考要被进一步用于预测边缘的块。然后，编码顺序用于确定要用于预测的片段。

再一次地，可以将本原理概括为：对于n个边缘，由（n+1）个参考块和n个标志预测（n+1）个片段。

本发明是基于这样的原理，即，可以以参考描绘了最相似或者甚至相同的对象边界的不同块的形式来传递在块中被至少部分地描绘的对象的对象边界的轮廓信息。具体地，在图像序列中包括了一图像的一实施例中，很可能以若干图像来描绘一对象，尽管由于对象的移动该对象可能位于不同的位置。

不同的块是用于预测所产生的片段之一的块。

在第一实施例的特定示例中，块重构包括以下步骤：

解析Geo块数据：

用于几何图形的二进制标志指示geo-mode以及使用左上（TL）还是右下（BR）隐式分割来计算几何图形（如图7和图8示例性地描绘的）。

如在图7中示例性地描绘的，使用所描述的片段划分方法之一，如果二进制标志指示BR将确定几何图形，则将使用参考画面中由运动矢量V2指出的块区域来提取边界轮廓。

如在图8中示例性地描绘的，使用所描述的片段划分方法之一，如果二进制标志指示TL将确定几何图形，则将使用参考画面中由运动矢量V1指出的块区域来提取边界轮廓。

一旦提取了边界轮廓，就计算对应的掩蔽以便选择性地对与区域BR和TL对应的像素进行运动补偿。该掩蔽包含在运动补偿过程期间要使用的每个像素的权重[0;1]。

第一实施例的该示例具有以下优点：简化了编码器侧进行的几何图形的确定，另外其允许提取更复杂的几何图形。另外，由于更复杂的几何图形更好地与所描绘的对象边界进行匹配，降低了编码成本并且因此产生了更好的预测。另外，与几何图形的复杂性无关，单个比特是足够的。

Claims (11)

1.一种重构图像的当前块的方法，所述当前块是使用从所述当前块的几何图形自适应块分割产生的片段的预测编码而编码的，所述方法包括：

-解码包含运动矢量和至少一个标志的编码数据，其中所述运动矢量所参考的块被用于预测所述当前块的片段；

-使用所述至少一个标志和所述运动矢量在编码数据中的编码顺序来确定哪一个参考的块呈现了与所述当前块的几何图形匹配的几何图形并且来确定用于预测所述当前块的片段之一的所确定的块的片段，其中

-在确定所述片段之前，将所确定的块几何图形自适应块分割为片段。

2.根据权利要求1所述的方法，其中所述编码数据还包括残差，所述方法还包括：

-使用所述运动矢量从存储设备中取得块；

-使用所确定的片段来在被参考的至少一个另外的块中选择至少一个片段，所选择的至少一个片段与所确定的片段在轮廓上互补；

-使用所确定的片段、所选择的至少一个片段和所述残差对所述当前块进行重构。

3.一种对图像的当前块进行预测编码的方法，所述方法包括使用从所述当前块的几何图形自适应块分割所产生的片段的预测编码；以及

-对包括至少一个标志和按照一编码顺序的运动矢量的数据进行编码，其中所述运动矢量的编码顺序和所述至少一个标志通过发信号通知哪一个运动矢量参考了其呈现与当前块的几何图形匹配的几何图形的块来描述所述当前块的几何图形自适应块分割，并且所述运动矢量的编码顺序和所述至少一个标志还发信号通知所通知的块中的哪一个片段被用于预测所述当前块的片段之一，其中所述运动矢量所参考的至少一个另外的块被用于预测所述当前块的至少一个另外的片段。

4.根据权利要求3所述的方法，还包括：

-使用所述当前块的一个片段来从存储在存储设备中的重构的块中确定其呈现了与当前块的几何图形匹配的几何图形的块，

-使用所确定的块的片段来确定所述至少一个另外的片段，

-使用所述至少一个另外的片段来确定所述至少一个另外的块；

-使用所确定的块的片段和在所述至少一个另外的块中包括的至少一个另外的片段来预测当前块的片段；

-使用所确定的块和所确定的至少一个另外的块来确定所述运动矢量；

-使用所述预测来确定当前块的残差；以及

-量化残差，其中所述编码数据还包括量化后的残差。

5.根据权利要求4所述的方法，还包括使用所述预测和量化后的残差来重构所述当前块。

6.根据权利要求2或者4所述的方法，还包括将重构后的当前块存储在存储设备中。

7.根据前述权利要求之一所述的方法，其中几何图形自适应块分割包括使用sobel算子来为相应的块确定梯度块。

8.根据前述权利要求之一所述的方法，其中在图像序列中包括所述图像，并且至少一个运动矢量参考在所述图像序列中包括的至少一个不同的图像中包括的块。

9.一种用于重构图像的当前块的设备，所述当前块是使用对从所述当前块的几何图形自适应块分割产生的片段的预测编码而编码的，所述设备包括：

-用于解码包含运动矢量和至少一个标志的编码数据的部件，其中使用所述运动矢量所参考的块的片段可预测所述当前块的片段；

-用于使用所述至少一个标志和运动矢量在编码数据中的编码顺序来确定哪一个被参考的块呈现了与当前块的几何图形匹配的几何图形并且来确定所确定的块的片段的部件；以及

-用于在确定所述片段之前，将所确定的块几何图形自适应块分割为片段的部件。

10.一种用于对图像的当前块进行预测编码的设备，所述设备包括：

-用于对从所述当前块的几何图形自适应块分割产生的片段进行预测编码的部件；以及

-用于对包括运动矢量和至少一个标志的数据进行编码的部件，其中所述运动矢量的编码顺序和至少一个标志通过使得能够确定哪一个运动矢量参考了其呈现与当前块的几何图形匹配的几何图形的块来描述所述当前块的几何图形自适应块分割，其中所述运动矢量的编码顺序和至少一个标志还使得能够确定使用可确定的块的片段可预测当前块中的哪一个片段，其中使用运动矢量所参考的至少一个另外的块可预测当前块的至少一个另外的片段。

11.一种承载了被编码为编码数据的图像的存储介质，其中根据权利要求3的方法来编码图像的至少一个块。

Images