CN101933329B - 视频编码和解码中用于隐性块分割的方法与设备 - Google Patents

Abstract

提供了视频编码和解码中用于隐性块分割的方法和设备。所述设备包括一个编码器(100)，该编码器使用对至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述至少一个图像部分进行编码。该编码器(100)隐性地发送块分割信息，解码器使用此信息为该图像部分解码。

Description

视频编码和解码中用于隐性块分割的方法与设备

相关申请的相互引用

本申请享有2008年2月5日提交的序列号为61/026,275的美国临时申请(专利申请代理号为PU080012)的优先权，并在本申请中引入和参照其全部内容。

技术领域

本发明原理总体而言涉及视频编码与解码，具体而言涉及视频编码和解码中用于隐性块分割的方法与设备。

背景技术

通过为一个宏块中的不同区域提供不同的预测信息，提出了许多可以提供更加准确的动态补偿的方法。相关实例包括国际标准化组织或国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)第十部分的高级视频编码(AVC)标准或国际电信联盟电信局(ITU-T)的H.264推荐标准(以下称为“MPEG-4AVC标准”)或层次型四叉树(hierarchical quadtree，QT)方法中使用的技术。

在这些方法中，一个宏块被分割成更小的块，并且为每一小块搜索最佳的匹配。随着宏块中小块的增多，原始宏块与相匹配的宏块之间的失真减少，但是会导致开销的增加。因此，存在一个最低率失真点，且通常由拉格朗日工具(Lagrangian tool)确定最佳块模式。

为了提高四叉树方法中使用方块或矩形块的匹配力，提出了基于几何学的方法(geometry based approach，GEO)。在基于几何学的方法中，一个块由一条直线分成两个更小的被称为楔形体(wedge)的块，该直线由斜度和平移参数描述。同时对最佳参数和相匹配的楔形体进行搜索。虽然基于几何学的方法比四叉树方法能较好的捕获对象边界，但是基于几何学的方法仍仅限于直线分割。

基于对象的运动分割方法被提出来以解决遮挡问题。根据基于对象的运动分割方法，相邻块的运动矢量在块分割之后被复制以便捕获一个块中不同的运动。为了避免传输分割信息，使用在时间(t-1)和(t-2)处预先编码的帧来估测在时间(t)处的当前帧的分割。

已经发现运动-补偿预测编码(motion-compensated predictive coding，MCPC)技术是获取帧间相关性的最有效的技术。在运动-补偿预测编码方案中，原始输入帧和已解码帧的预测之间的差异被编码。这个差异帧通常被称为预测误差帧。

使用预测指标的目的是为了减少预测误差帧的能量，以便于预测误差帧在转换之后具有较低的熵值并能够因此以低比特率编码。在图像压缩设计中最大的挑战之一是怎样提高预测的质量，或者换言之，怎样使预测指标(predictor)尽可能的与当前的信号接近。

当前的基于块的运动补偿或差异补偿中，固定大小的矩形块限制了为初始的任意形的块范围寻找较好的预测指标的能力。基于块的搜索方法为一个块中主导部分找到一个匹配，以至于遮挡对象没有得到很好的预测。考虑到预测的准确性，最佳方法是把原始块分割成不同的对象并为每个分割块搜索匹配。但是，这要求编码器将分割信息传输到解码器中，并且这种额外的开销会抵销加强的预测指标带来的好处。

发明内容

现有技术的上述缺点以及其他缺点用本发明原理能够解决，本发明原理涉及视频编码和解码中用于隐性块分割的方法和设备。

根据本发明原理的一个方面，提供了一种设备。该设备包括一个编码器，该编码器使用对一个图像的至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述一个图像部分进行编码。所述编码器隐性地发送块分割信息，解码器使用该信息为所述图像部分解码。

根据本发明原理的另一方面，提供了一种方法。该方法包括使用对一个图像的至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述一个图像部分进行编码。所述编码步骤包括隐性地发送块分割信息，解码器使用该信息为所述图像部分解码。

还是根据本发明原理的另一方面，提供了一种设备。该设备包括一个解码器，该解码器使用对一个图像的至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述一个图像部分进行解码。所述解码器隐性地确定块分割信息。

根据本发明原理的又一方面，提供了一种方法。该方法包括使用对一个图像的至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述至少一个图像部分进行解码。所述解码步骤包括隐性地确定块分割信息。

结合附图阅读下文中对示例实施例的具体描述，将能更好的理解本发明原理的所述的及其他的功能、特征和优点。

附图说明

本发明原理结合以下示例性附图比较容易理解，附图中：

图1根据本发明原理的一个实施例，示出了具有隐性块分割(implicitblock segmentation，IBS)块模式的一个示例编码器的结构图。

图2根据本发明原理的一个实施例，示出了具有隐性块分割(IBS)块模式的一个示例解码器的结构图。

图3示出了一个应用本发明原理的、基于一维的K-均值聚类算法用于图像分割的图像后期处理技术的示范图。

图4根据本发明原理的一个实施例，示出了一个用于确定一个图象块的一个预测指标对和相关权重指数搜索的示范方法的流程图；和

图5根据本发明原理的一个实施例，示出了用于计算一个图像块的隐性块分割(IBS)预测指标的示范方法的流程图。

具体实施方式

本发明原理涉及视频编码和解码中用于隐性块分割的方法和设备。

本说明书中阐明了本发明原理。由此应认识到虽然说明书中没有明确描述和示出，但是所属领域的技术人员将能够据此设计出各种不同的设置，所述设置应体现本发明原理并包含在本原理的实质和范畴中。

在此列出的所有示例和条件语言是以示范教学为目的，以帮助读者理解发明者所贡献出的本发明原理及其概念，以此进一步深化该技术，并不仅限于这些具体描述的示例和条件。

此外，说明书中对所有原理、功能和本发明原理的实施例及其有关的具体示例的描述都包含结构和功能上对等的有关原理。另外，目的在于使这种对等原理既包括当下众所周知的对等原理也包括将来提出的对等原理，即提出的执行相同功能的任何元件，不管其结构如何。

例如，这样就使本领域技术人员认识到说明书中示出的结构图再现了体现本发明原理的示范性电路的概念化视图。同样，应了解到任何流程表、流程图、状态转移图和伪代码等等表示的各种程序可能在计算机可读介质中得到充分的展现，并由计算机或处理器来执行，不管这种计算机或处理器是否被明确地展示出来。

附图中示出的各种元件的功能可以通过使用专用硬件和能够与适当的软件结合执行软件指令的硬件来取得。当功能由处理器来提供时，这些功能即可以通过单个专用处理器来获得，也可以由单个共享的处理器来获得，或者由多个独立的处理器(其中一些处理器可能是共享的)来获得。此外，术语“处理器”或“控制器”在表面上的使用不应该被理解成仅能够执行软件指令的硬件，并且可以隐含地包括(不限于此)数字信息处理器(digital signalprocessor，DSP)硬件、存储软件的只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)和非易失性存储器。

其他的常规和/或传统的硬件也可包含在内。同样，附图中所示的任何转换只是概念意义上的。他们的功能可以通过程序逻辑操作、专用逻辑和程序控制与专用逻辑之间的交互来完成，甚至手动操作都可以。结合上下文能够明确地理解实施者可选的这个技术。

在权利要求书中，表示为执行特定功能的任何元件都将包含执行此功能的任何方式，如包括：a)一个电路元件组合执行该功能，或b)任何形式的软件，即包括固件、微码等等，与使该软件执行所述功能的电路结合完成此功能。这些权利要求所限定的本发明原理在于把各种所述的装置提供的多个功能以权利要求书中所要求的方式结合和集合在一起。因而，应该意识到任何能够提供这些功能的装置与说明书中所示的装置是等效的。

说明书中的引用语，本发明原理中的“一个具体实施例”及其他表述方式表示关于实施例中描述的特定特征、结构、特点等等包含在本发明原理的至少一个实施例中。这样，出现在说明书中不同地方的短语“在一个具体实施例里”或其他表述形式未必指同一个具体实施例。

应该注意到“/”，“和/或”“至少之一”的使用，例如，“A/B”，“A和/或B”和“A和B中的至少一个”意味着包括仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或选择两个选项(A和B)。又例如，“A、B和/或C”和“A、B和C中的至少之一”，这样的短语旨在包括仅选择第一个列出的选项(A)，或仅选择第二个列出的选项(B)，或仅选择第三个列出的选项(C)，或仅选择第一和第二个列出的选项(A和B)，或仅选择第一和第三个列出的选项(A和C)，或仅选择第二和第三个列出的选项(B和C)，或选择所有三个选项(A和B和C)。如果列出的条目数量多，选择的范围可以扩大，这对于本领域和相关领域的普通技术人员来说，很明显上述内容可以扩展到其他的条目。

此外，应该认识到说明书中的本发明原理的一个或多个实施例是针对MPEG-4AVC标准进行描述的，本发明原理不单纯局限于这一标准，还可针对其他视频信号编码标准、及其推荐标准和扩展标准(包括MPEG-4AVC标准的扩展)使用，同时保留本发明原理的实质。例如，在本说明书提供的本发明原理的教导下，本领域和相关领域的普通技术人员就能够容易地将本发明原理应用于可扩展视频编码(scalable video coding，SVC)和多视点视频编码(multi-view video coding，MVC)环境中，同时保留了本发明原理的实质。多视点视频编码是用于多视点序列编码的压缩框架。一个多视点视频编码(MVC)序列是一个两个或多个视频序列的集合，这些视频序列能从不同的视角捕获同一个场景(scene)。可扩展视频编码指的是将一个视频序列编码成一个比特流，该比特流具有一个基本层和一个或多个增强层。

另外，于此可交替地使用的术语“串像”(cross-view)和“视间”(“inter-view”)，两者都指属于当前视域以外中的图像。

而且，说明书中使用的短语“块分割信息”指的是描述至少一个或多个参考图像或参考图像的图像部分的分割信息，此信息用于为当前的一个图像的一部分编码和/或解码。在一个实施例中，这种块分割信息涉及应用于至少两个预测指标之间的像素差值的分割。在一个实施例中，这种块分割信息涉及的信息指示出一个特定参考图像的哪一个像素属于根据块分割处理方法(block segmentation process)分割的特定参考图像的哪一分割块。应注意到这种块分割信息不是显性地发送给一个相应的解码器。而是，这种块分割信息可以使用一个或多个语法元素被隐性地发送，其包括但不仅限于高级语法元。

同样，说明书中使用的“高级语法元”(high level syntax)指的是按等级分布在宏块层之上的比特流中存在的语法元。例如，在此使用的“高级语法元”可以指，但不仅限于切片头层(slice header level)、补充增强信息(supplemental enhancement information，SEI)层，图片参数集(picture parameterset，PPS)层、序列参数集(sequence parameter set，SPS)层和网络提取层(networkabstraction layer，NAL)单元头层的语法元。

如上所述，本发明原理涉及视频编码和解码中用于隐性块分割的方法和设备。

参见图1，具有隐性块分割块(implicit block segmentation，IBS)的块模式的示例编码器一般如参考标号100所示。

组合器105的一个输出与转换器110的一个输入信号通信连接。转换器110的一个输出与量化器115的一个输入信号通信连接。量化器115的一个输出与熵编码器120的第一个输入和反向量化器125的一个输入信号通信连接。反向量化器125的一个输出与反向转换器130的一个输入信号通信连接。反向转换器130的一个输出与组合器132的第一个非反向输入信号通信连接。解块滤波器135的一个输出与解码参考图像缓冲器140的一个输入信号通信连接。解码参考图像缓冲器140的一个输出与分割装置145的一个输入和转换器160的第二个输入信号通信连接。

分割装置145的一个输出和权重指标确定装置150的一个输入信号通信连接。权重指标确定装置150的第一个输出与预测指标组合器155的一个输入信号通信连接。预测指标组合器155的第一个输出与转换器160的第一个输入信号通信连接。转换器160的一个输出与组合器105的一个倒相输入信号通信连接。预测指标组合器155的第二个输出与组合器132的第二个非反相输入信号通信连接。组合器132的的一个输出与解块滤波器135的一个输入信号通信连接。

权重指标确定装置150的第二个输出与转换器165的第一个输入信号通信连接。转换器165的第二个输入没有任何连接。转换器165的一个输出与熵编码器120的第二个输入信号通信连接。

组合器105的一个非反相输入可作为编码器100的一个输入用来做为编码器100的输入。熵编码器120的一个输出可作为编码器100的一个输出用来输出比特流。

权重指标确定装置150为每个分割块查找权重指标(由分割器145确定)。预测指标组合器155为每一分割块组合预测指标(predictor)。

图1中，当转换器160的第一个输入和转换器165的第一个输入都被使用时，启用IBS模式。

参见图2，具有隐性块分割(IBS)块模式的示例解码器一般如参考标号200所示。

熵解码器205的一个输出与反向量化器210的一个输入、解码参考图像缓冲器240的第一输入和转换器245的第一输入信号通信连接。转换器245的第二个输入处于不连接状态。反向量化器210的一个输出与反向转换器215的一个输入信号通信连接。反向转换器215的一个输出与组合器220的第一个非反相输入信号通信连接。组合器220的一个输出与解块滤波器225的一个输入信号通信连接。解块滤波器225的一个输出与解码参考图像缓冲器240的第二个输入信号通信连接。解码参考图像缓冲器240的一个输出与分割装置235的一个输入和转换器250的第二个输入信号通信连接。分割装置235的一个输出与预测指标组合器230的第一个输入信号通信连接。预测指标组合器230的一个输出与转换器250的第一个输入信号通信连接。转换器250的一个输出与组合器220的第二个非反相输入信号通信连接。转换器245的一个输出与预测指标组合器230的第二个输入信号通信连接。

熵解码器205的一个输入可作为解码器200的一个输入用于接收比特流。解块滤波器225的输出可作为解码器200的一个输出用于输出一个序列的图像。

图2中，当转换器145的第一个输入和转换器150的第一输入都被使用时，启用IBS模式。

这样，根据本发明原理，提供了用于视频编码和解码的方法和设备，其中原始块不被分割。而是，我们将分割解码器中可用的参考块，并由此省去了向解码器发送用于描述分割的额外开销的必要。根据本发明原理，我们通过组合侯选预测指标估测一个预测指标，这样扩展了以现有的视频编解码标准形成预测信号的方法。本发明原理不同于现有的方法，因为本发明原理使用不进行显性信号发送的块分割，这在没有额外开销的情况下提供了适应本区域信号特点的能力。在一个实施例中，我们在一个MPEG-4AVC标准环境中应用隐性分割。但是，如上所述，本发明原理不仅限于MPEG-4AVC标准。

隐性块分割(IBS)的编码运算法则

出于示范的目的，假定两个预测指标p₀，p₁用于一个给定的宏块(比如，相邻帧的两个16x16块)，其中p₀指基本预测指标，p₁是指增加预测指标。这两个预测指标p₀和p₁已被编码器选定，并且这两个预测指标的位置已经以信号的形式发送给了解码器。为了预测的最佳分割，原始宏块的每一个像素会被分配到能提供最佳的近似性的一个预测指标p₀或p₁。但是，由于依据原始块本身进行判定，因而这种运转在没有发送边信息(side information)的情况下不能隐性地完成。基于对由两个预测指标之间的差值决定的预期目标的观测，我们将分割应用于预测指标差值的块，p_d＝p₀-p₁。由于预测指标差值的噪声特点，基于边缘信息的分割方法不能有效地检测16x16宏块中的单一边界。

在现有的技术方法中，一维(1-D)K-均值聚类算法在以下称为“K-均值聚类算法的现有技术方法”，被用作为一个基本的分割运算方法。根据K-均值聚类算法的现有技术方法，以p_d的最大值和最小值之间的均衡差值对N₀质心初始化。最大运行次数(也就是迭代次数的数字)设定为20。由于一维(1-D)K-均值聚类算法中没有考虑到空间连通性，同一个分割块中在K-均值聚类算法处理后存在着分离像素。一个两步图像后期处理技术可以被应用从而兼顾空间信息。参见图3，基于图像分割的一维(1-D)K-均值聚类的图像后期处理技术的示范例一般如参考标号300所出。两步图像后期处理技术的第一步，使用图像连通元件标记(connected component labeling)将分配到同一分割块310的分离像素305分类成不同的分割块。这样，对于图3中最左边的块301来说，它右上角的分割块310变成了中间块302的分割块320。第二步，为了避免有噪声分割块，如果分割块330的像素数目小于N_pix，那么分割块330合并到相邻分割块中(如分割块310和320中的一个)，合并的依据是该相邻块与当前分割块330中具有最小的分割平均差值。应该注意到分割块的数量取决于基本层和增强层预测指标之间的差异。K-均值聚类算法的现有技术方法中，实验过程中N₀和N_pix各自的设定值为2和10。

通过求最小化平方差的和能够为每一分割块计算最佳权重值。但是，在使用将要对其进行编码的块的信息计算出最佳权重值之后，必须以信号的方式发送选定值。对于16x16的块，如果残差中全部的缩减量给定，那么这种信令开销可能不被判定为正确的。为了限制开销，在一个实施例中，权重值从一个预先确定的集合W＝{(1，0)，(0，1)，(1/2，1/2)}中选定，分别与使用{p0，p1，(p0+p1)/2}进行的预测相对应。这样，一个仅有三个值{0，1，2}的权重指标将以信号的方式被发送。综上所述，对将要对其进行编码的块的预测可以通过发送两个预测指标p₀和p₁的信号及每个分割块使用的权重值来获得。分割块本身由编码器和解码器以解码预测指标同样的方式产生的，因而没有必要发送边信息。

其他编码运算法则和变体

除了上述用于隐性块分割的编码运算法则外，也能够应用以下的一个或多个方法来提高隐性块分割的效率。

a.分割方法

i)可以使用基于边缘信息的分割方法。例如，可以使用Canny算子边缘检测器和/或Sobel边缘检测器进行分割，并且使用霍夫变换(Hough transform)将分离边缘连接起来。

b.分割目标

i)可以使用基本层预测指标进行分割。例如，不使用分割基本层和增强层预测指标之间的预测指标差，而是使用可用参考中的基本层预测指标进行隐性块分割。既然解码器中也有可用的参考，那么不需要发送分割信息信号。

ii)可使用深度图进行分割。例如，如果深度图在多视角视频序列中可用，那么见于对象深度是准确估测对象边界的线索，此深度图可以用于分割。为了实现隐性分割，解码器中可以使用同样的深度图。

c.搜索方法

i)可以使用一个增强层预测指标备用值的有限集合。例如，为了降低与分割相关的搜索的复杂性，可以使用一个备用基本层预测指标备用值的有限集合进行搜索。为了进一步降低搜索的复杂性，可以使用一个增强层预测指标备用值的有限集合进行搜索，而不用完全搜索。同样的基本层预测指标侯选值的集合可以作为增强层预测指标侯选值的集合使用。

ii)可以执行基本层和增强层预测指标的完全搜索。例如，如果对基本层和增强层预测指标进行完全搜索，可以获得最大的编码效率。这种方法提供了隐性块分割的最大编码效率。

d.误差度量(error metric)

既然分割边界与MPEG-4AVC标准中4x4或8x8的块离散余弦变换(discrete cosine transform，DCT)的边界不一致，如果不同分割块中的残差的离散余弦DC层级不同，那么高频组建在离散余弦变换之后将增加。绝对值的和(sum of absolute differences，SAD)或平方差的和(sum ofsquared differences，SSD)不能测量AC的增加，因此，测量任何AC增加量的一个不同的误差度量可用于寻找更好的匹配。例如，可使用阿达玛(Hadamard)误差度量选定权重指标。

e.加成权重指标

因为发送最佳权重值能够覆盖16x16宏块的分割块的增益，使用预定权重值集合W来替代。集合W中的权重值能从基本集(1，0)和(0，1)开始扩展。基于权重值出现的频率分配指标。如果选定权重值的频率较频繁，那么分配较小的指标。例如，将加成权重指数(3/4，1/4)(1/4，3/4)添加到集合W中，并分别映射到‘3’和‘4’。仅当有足够的编码增益的时，二进制运算编码(binary arithmetic coding，BAC)或可变长度编码(variable length coding，VLC)将选定这些指标。

隐性块分割(IBS)的解码运算法则

解码器中，从编码过程中获得的额外信息可能包括宏块中使用的预测指标的类型。例如，如果使用两个预测指标，即，一个基本层预测指标和一个增强层预测指标，那么此信息将最终被传送给解码器。此外，这种额外信息可包括每一个分割块的权重指标。

通过使用该信息，将以下的运算法则用于隐性块分割(IBS)：

1.对语法进行解码。

2.获取基本层预测指标(p₀)和增强层预测指标(p₁)。预测指标的差值由这两个预测指标根据公式p_d＝p₀-p₁计算得出。

3.基于基本层预测指标(p₀)和增强层预测指标(p₁)的上下文关系，将用于编码器同样的分割方法应用于预测指标差值p_d。例如，分割过程包括但不仅限于一维(1-D)K-均值聚类算法和基于边缘信息的分割法等，其被用于图像后期处理技术。

4.使用编码器发送的权重指标对于每个分割块计算出加权预测指标的和。

虽然在上述算法中增强层预测指标的数量被限定为一个，但是本领域和相关技术中的普通技术人员很容易理解多个预测指标能用于增强层预测指标。同样，如果权重指标由编码器和解码器共享，权重指标能定义为任何组合。也就是说，只要编码器和解码器共享同一信息，我们就能够确定权重矩阵。这样，“任何组合”意味着“任何有用的组合”，例如，W＝{(1，0)，(0，1)，(1/2，1/2)，(1/3，2/3)，(1/6，5/6)}。当然，也可以使用其它的组合，但都包含在本发明原理的实质内。

MPEG-4AVC标准下隐性块分割的执行

隐性块分割(IBS)能在视频编码和解码中实现。在一个实施例中，本发明原理根据MPEG-4AVC标准实施的。因在INTER16x16和INTER16x8模式中间插入INTER16x16_IBS隐性块分割，当前块间模式得到扩展。表1示出P及SP切片的宏块类型值0到5。

表1

为了降低搜索的复杂性，在对增强层预测指标p₁进行完全搜索时，我们使用一个基本层预测指标p₀的侯选值的有限集合。基本层预测指标的最佳候选值从下列模式中的最佳匹配中获得：INTER 16x16；INTER16x8；INTER8x16和INTER8x8。同样，原始宏块分割块的最佳匹配被添加到一个基本层预测指标的侯选值集合中。使用INTER16x16的运动搜索步骤可以找到原始宏块分割块的最佳匹配。

为了选定INTER16x16_IBS(隐性块分割)的最佳预测指标对(p₀，p₁)，在一个实施例中，用到三个不同的误差度量。对于每一个基本层预测指标候选值，在搜索范围内能够搜索到最佳的互补增强层预测指标。第一个误差度量是绝对值的和，其用于为每一个分割块判定权重指标。为集合W中所有的权重值计算每个分割块的绝对值的和，并且选定绝对差值的最小和的权重指标。其次，为一个特定的基本层预测指标选择最好的增强层预测指标的过程中，简化的速率-失真(rate-distortion，R-D)值，即J，可以用如下公式定义：

$J=\left[\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\min }_{w_k}\right\{{\mathrm{SAD}}_k\left\}\right]+\sqrt{\mathrm{\λ}}\mathrm{NB}+\sqrt{\mathrm{\λ}}{\mathrm{MV}}_{\cos t}\left({\stackrel{\‾}{p}}_1\right)$

其中N是pd中分割块的数量，B是每个分割块中权重指标的比特数，B被定义为B＝log2|W|。MVcost(p₁)是增强层预测指标p₁的运动矢量成本。MVcost()和λ使用在联合模型(Joint Model)参考软件中的编码方法。对于M基本层预测指标侯选值，可以找到与之匹配的相同数量的增强层预测指标。最后，M基本层和增强层预测指标对的速率-失真(R-D)值被算出，并与MPEG-4AVC标准(例如，使用一个速率-失真模式进行测定)下的其他块模式的速率-失真(R-D)值相比较。INTER16x16_IBS中的编码信息包括每个分割块中基本层和增强层预测指标的参考指数和运动矢量及其每一个分割块的权重指标。比如，权重指标在速率-失真模式测定中通过可变长度码进行编码，在比特流编码中通过二进制运算码进行编码。当然，也可以使用其它的本发明原理实质内的编码技术。

表2中示出了示例性片头语法。

表2

Slice_header(){	C	描述符
			first_mb_in_slice	2	ue(v)
IBS_prediction_flag	2	u(v)
			slice_type	2	ue(v)
pic_parameter_set_id	2	ue(v)
			frame_num	2	u(v)
...

表3中示出了示例性的宏块预测语法。

表3

对于表2，extractSegment()是由发送的ref_idx_l0，ref_idx_l1，mvd_l0和mvd_l1预测指标中计算出分割块的函数，并且返回所查找到的分割块的数量。

参见图4，确定一个图象块的一个预测指标和相关权重指标搜索的示范方法一般如参考标号400所示。举例而言，方法400可以在视频编码器中执行。

所述方法400包括开始块405，该开始块405将控制权传送给一个环路限位块406。环路限制位块406为一个基本层预测指标和一个增强层预测指标的最佳对(p0，p1)形成一个循环，并且将控制权传送给功能块408。功能块408设定分割块的初始数N₀，并将控制权传送给功能块410。功能块410使用基本层预测指标{p₀}466和增强层预测指标{p₁}477通过公式：pd＝p₀-p₁计算出预测指标差值p_d，并传送控制权到功能块415。功能块415对预测指标差值p_d实施一维(1-D)K-均值聚类算法和图像后期处理技术法，并将控制信息传送给一个功能块420。功能块420在每个分割中找到最佳权重指标，并将控制权传送给判定块425。判定块425判定是否当前分割的速率-失真(R-D)值j有最小值。假如这样的话，那么控制权将被传送到功能块430。否则，控制权将被传送到判定块435。

功能块430为一个给定的基本层预测指标p₀更新权重指标和增强层预测指标p₁，并将控制权传送给判定块435。

判定块435判定是否所有增强层预测指标p₁已被搜索到。假如这样的话，那么控制权将被传送给判定块440。否则，控制权将被传送回功能块410，以便于使用增强层预测指标{p₁}477的下一个预测指标计算出预测指标差值p_d。

判定块440判定是否(p₀，p₁)的速率-失真(R-D)值是最小的。假如这样的话，那么控制权将被传送给功能块445。否则，控制权将被传送给判定块450。

功能块445更新权重指标和预测指标对(p₀，p₁)，并将控制权传送给判定块450。

判定块450判定是否所有的基本层预测指标p₀已被搜索到。假如这样的话，那么控制权将被传送给环路限位块455。否则，控制权将被传送回功能块410，以便于使用基本层预测指标{p₀}466的下一个预测指标计算出预测指标差值p_d。

功能块455终止最佳对(p₀，p₁)的循环，并将控制权传送给一个功能块458。功能块458返回最佳对(p₀，p₁)，并将控制权传送给结束块499。

参见图5，用于为一个图像块计算一个隐形块分割(IBS)方法的示范方法一般如参考标号500所示。方法500可以，例如，在一个视频解码器中被实现。

方法500包括一个开始块505，开始块505将控制权传送给一个功能块508。功能块508设定分割块的初始数为N₀，并将控制权传送给功能块510。功能块510使用基本层预测指标{p₀}566和增强层预测指标{p₁}577通过公式p_d＝p₀-p₁计算出预测指标差值p_d，并将控制权传送给功能块515。功能块515对预测指标差值p_d实施一维(1-D)K-均值聚类算法和图像后期处理技术法，并将控制权传送给功能块520。功能块520使用权重指标588为每个分割块计算预测指标的加权和，并将控制权传送给功能块525。功能块525组合每个分割块的预测指标，并将控制权传送给功能块530。功能块530返回隐性块分割(IBS)预测指标，并将控制权传送给一个结束块599。

结合错配补偿工具

由于MPEG-4AVC标准中4x4或8x8块的离散余弦变换，当离散余弦变换块里存在分割边界的时，不同预测指标引起的残差就容易增加AC分量。如果串像编码中存在亮度错配，那么这种情形很严重。根据本发明原理将亮度补偿工具与推荐的隐性块分割(IBS)结合将会提高串像预测的编码效率。

本发明的很多附带优点/特征将在此予以描述，其中的一些已经在上文提到过。例如，优点/特征之一是一种设备，该设备具有一个编码器，该编码器使用对至少一个图像部分的至少两个预测指标的像素差值进行的块分割方法为所述一个图像部分进行编码。所述编码器隐性地发送块分割信息，解码器使用该信息为所述图像部分解码。

另一个优点/特征是如上所述具有编码器的设备，其中该编码器发送至少两个预测指标信息，解码器利用此信息为所述图像部分解码。

又一个优点/特征是如上所述具有编码器的设备，其中该编码器发送一个权重指标，解码器用此权重指标为所述图像部分解码。

再一个优点/特征是如上所述具有编码器的设备，其中针对至少一个参考图像中的至少一个块执行块分割。

又一优点/特征是如上所述具有编码器的设备，其中使用基于边缘信息分割法和K-均值聚类算法中的至少一个方法执行块分割。

再者，另一优点/特征是如上所述具有编码器的设备，其中在块分割之后所述编码器将图像后期处理技术方法用于至少两个预测指标的像素差值的计算，以此去除那里的噪声块并使用那里的空间信息。

此外，又一优点/特征是如上所述具有编码器的设备，其中对于每个分割块，此编码器为至少两个预测指标中的一个计算出相应的权重值，并为此图像部分计算出最终的预测指标作为一个加权预测指标的和。

同样，另一优点/特征是如上所述具有编码器的设备，其中此编码器发送与至少两个预测指标的每个有关的运动信息和视差信息中的至少一个信息。

加之，另一优点/特征是如上所述具有编码器的设备，其中图像是对应于多视角视频内容的图像集合中的一个，该图像集合对于一个同样的或相似的场景来说拥有不同的视点。这个图像代表不同视点中的当前视点。至少两个预测指标中的至少一个预测是一个视内预测，该视内预测对应于不同视点中特定的一个而不是当前的这一个。至少两个预测指标中的至少另一个是与不同视点中的当前的一个相对应的时域预测。

基于本发明的教导，相关领域的普通技术人员容易探知本发明原理的所述的及其他的特征和优点。应该认识到本发明原理的教导可以通过各种形式执行，如硬件、软件、固件、特殊用途的处理器或以上元件的结合。

优选地，本发明原理的教导作为一个硬件和软件的结合执行。此外，软件可以作为一个明确包含在一个程序存储单元上的应用程序被执行。该应用程序可以被上载到一个包含任何适当结构的机器上，并可以由此机器执行。优选地，此机器更适合在一个拥有硬件如一个或多个中央处理器(CPU)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的计算机平台上执行。计算机平台也可以包括一个操作系统和微指令代码。说明书中描述的各种程序和功能既可以是可由CPU执行的微指令代码的一部分，也可以是应用程序的一部分，或者两者的任意组合。除此之外，其他各种外围单元，如附加数据存储单元和打印单元可以连接到计算机平台上。

更应该认识到，因为附图中描述的一些组成系统元件和方法更适合在软件中执行，系统元件或程序功能块之间的实际连接因本发明原理的编程方式的不同而不同。在本发明的教导下，相关技术的普通技术人员将能够设想出本发明原理的所述的和相似的实施方式或配置。

虽然本发明中已经参考附图描述了示范性的实施例，但是应该知道本发明原理不仅限于那些具体的实施例，相关领域的技术人员在不背离本发明原理的范畴或实质的情况下可能会实现各种变化和修改。所有的这些变化和修改将包含在如附属的权利要求中限定的本发明原理的范畴内。

Claims (38)

1.一种视频编码设备，包含：

编码器(100)，所述编码器使用一种块分割处理方法对一个图像中的至少一个块进行编码，其中所述编码器包括用于对用于所述块的至少两个预测指标的像素差值执行所述块分割处理方法的分割装置，所述至少两个预测指标中的每个对应于至少一个参考图像中的至少两个块中的相应一个并且为所述块中的每个像素提供相应的预测像素值，

其中所述编码器(100)隐性地发送块分割信息、至少两个预测指标、以及权重指标，所述块分割信息、至少两个预测指标、以及权重指标被解码器用于为所述块解码，所述块分割信息指示出哪一个参考图像像素属于通过块分割处理方法获得的哪一参考图像分割块。

2.如权利要求1所述的设备，其中所述编码器(100)发送所述至少两个预测指标，所述至少两个预测指标被解码器用于为所述块解码。

3.如权利要求1所述的设备，其中所述编码器(100)发送一个权重指标，所述权重指标被解码器用于为所述块解码。

4.如权利要求1所述的设备，其中针对至少一个参考图像中的至少一个块执行块分割。

5.如权利要求1所述的设备，其中使用基于边缘信息分割法和K-均值聚类算法中的至少一个方法执行块分割。

6.如权利要求1所述的设备，其中在块分割之后，此编码器对至少两个预测指标的像素差值应用图像后期处理技术，从而去除块分割中的噪声分割块并使用块分割中的空间信息。

7.如权利要求1所述的设备，其中对于每个分割块，所述编码器(100)为所述至少两个预测指标的每一个计算出相应的权重值，并为此块算出最终的预测指标作为加权预测指标的和。

8.如权利要求1所述的设备，其中所述编码器(100)发送与所述至少两个预测指标中的每一个相关的运动信息和视差信息中的至少一个信息。

9.如权利要求1所述的设备，其中所述图像是对应于多视角视频内容的图像集合中的一个图像，所述图像集合具有一个同样的场景或相似的场景的不同视点，所述图像代表不同视点中的当前视点，其中，所述至少两个预测指标中的至少一个预测指标是一个对应于不同视点中的不同于当前视点的一个特定视点的视间预测，并且，所述至少两个预测指标中的至少另一个预测指标是与不同视点中的当前视点相对应的时域预测。

10.一种视频编码方法，包括：

使用对一个图像中的至少一个块的至少两个预测指标的像素差值进行的块分割处理方法为所述块进行编码，所述至少两个预测指标中的每个对应于至少一个参考图像中的至少两个块中的相应一个并且为所述块中的每个像素提供相应的预测像素值，

其中所述编码步骤包括隐性地发送块分割信息、至少两个预测指标、以及权重指标，所述块分割信息、至少两个预测指标、以及权重指标被解码器用于为所述块解码，所述块分割信息指示出哪一个参考图像像素属于通过块分割处理方法获得的哪一参考图像分割块(415，515)。

11.如权利要求10所述的方法，其中所述编码步骤包括发送所述至少两个预测指标(458)，所述至少两个预测指标被解码器用于为块解码。

12.如权利要求10所述的方法，其中所述编码步骤包括发送一个权重指标(445)，所述权重指标被解码器用于为块解码。

13.如权利要求10所述的方法，其中在至少一个参考图像中的至少一个块上执行块分割。

14.如权利要求10所述的方法，其中使用基于边缘信息分割法和K-均值聚类算法中的至少一种方法执行块分割(415)。

15.如权利要求10所述的方法，还包括在块分割之后，对至少两个预测指标之间的像素差值应用图像后期处理技术，以去除块分割中的噪声分割块并利用块分割中的空间信息(415)。

16.如权利要求10所述的方法，其中对于每一个分割块，所述编码步骤包括为至少两个预测指标中的每一个计算出相应的权重值，并为所述块算出最终的预测指标作为加权预测指标的和(445)。

17.如权利要求10所述的方法，其中所述编码步骤包括发送与所述至少两个预测指标中的每一个相关的运动信息和视差信息中的至少一个信息。

18.如权利要求10所述的方法，其中所述图像是对应于多视角视频内容的图像集合中的一个图像，所述图像集合具有一个同样的场景或相似的场景的不同视点，所述图像代表不同视点中的当前视点，其中，所述至少两个预测指标中的至少一个预测指标是一个对应于不同视点中的不同于当前视点的一个特定视点的视间预测，并且，所述至少两个预测指标中的至少另一个预测指标是与不同视点中的当前视点相对应的时域预测。

19.一种视频解码设备，包括：

解码器(200)，所述解码器使用块分割处理方法对一个图像中的至少一个块进行解码，其中所述解码器包括用于对用于所述块的至少两个预测指标的像素差值执行所述块分割处理方法的分割装置，所述至少两个预测指标中的每个对应于至少一个参考图像中的至少两个块中的相应一个并且为所述块中的每个像素提供相应的预测像素值，

其中所述解码器隐性地确定块分割信息、至少两个预测指标、以及权重指标，所述块分割信息、至少两个预测指标、以及权重指标被所述解码器用于为所述块解码，所述块分割信息指示出哪一个参考图像像素属于通过块分割处理方法获得的哪一参考图像分割块。

20.如权利要求19所述的设备，其中从至少一个语法元素中隐性地确定块分割信息。

21.如权利要求19所述的设备，其中所述解码器(200)接收到表示所述至少两个预测指标的发送，所述解码器使用所述至少两个预测指标为块解码。

22.如权利要求19所述的设备，其中所述解码器(200)接收到一个权重指标，所述解码器使用所述权重指标为块解码。

23.如权利要求19所述的设备，其中在至少一个参考图像中的至少一个块上执行块分割。

24.如权利要求19所述的设备，其中使用基于边缘信息的分割法和K-均值聚类算法中的至少一个方法执行块分割。

25.如权利要求19所述的设备，其中在块分割之后，所述解码器对至少两个预测指标之间的像素差值应用图像后期处理技术以去除块分割中的噪声分割块并利用块分割中的空间信息。

26.如权利要求19所述的设备，其中对于每一个分割块，所述解码器基于所述至少两个预测指标的每一个的权重指标计算出相应的权重值，并为所述块计算出最终的预测指标作为加权预测指标的和。

27.如权利要求19所述的设备，其中所述解码器接收与所述至少两个预测指标中的每一个相关的运动信息和视差信息中的至少一个信息，并利用所接收的信息为所述块解码。

28.如权利要求19所述的设备，其中所述图像是对应于多视角视频内容的图像集合中的一个图像，所述图像集合具有一个同样的场景或相似的场景的不同视点，所述图像代表不同视点中的当前视点，其中，所述至少两个预测指标中的至少一个预测指标是一个对应于不同视点中的不同于当前视点的一个特定视点的视间预测，并且，所述至少两个预测指标中的至少另一个预测指标是与不同视点中的当前视点相对应的时域预测。

29.一种视频解码方法，包括：

使用对一个图像中的至少一个块的至少两个预测指标的像素差值进行的块分割处理方法为所述块进行解码，所述至少两个预测指标中的每个对应于至少一个参考图像中的至少两个块中的相应一个并且为所述块中的每个像素提供相应的预测像素值，

其中所述解码步骤包括隐性地确定块分割信息、至少两个预测指标、以及权重指标，所述块分割信息、至少两个预测指标、以及权重指标用于为所述块解码，所述块分割信息指示出哪一个参考图像像素属于通过块分割处理方法获得的哪一参考图像分割块(515)。

30.如权利要求29所述的方法，其中块分割信息从至少一个语法元素隐性地确定。

31.如权利要求29所述的方法，其中所述解码步骤包括接收表示所述至少两个预测指标的发送(566，577)，解码器使用所述至少两个预测指标为块解码。

32.如权利要求29所述的方法，其中所述解码步骤包括接收一个权重指标(588)，解码器使用所述权重指标为块解码。

33.如权利要求29所述的方法，其中在至少一个参考图像中的至少一个块上执行块分割。

34.如权利要求29所述的方法，其中使用基于边缘信息分割法和K-均值聚类算法中的至少一种方法执行块分割(515)。

35.如权利要求29所述的方法，其中所述解码步骤包括，在块分割之后，对至少两个预测指标的像素差值应用图像后期处理技术以去除块分割中的噪声分割块并利用块分割中的空间信息(515)。

36.如权利要求29所述的方法，其中对于每一个分割块，所述解码步骤包括基于所述至少两个预测指标的每一个的权重指标计算出相应的权重值，并为所述块算出最终的预测指标作为加权预测指标的和(520)。

37.如权利要求29所述的方法，其中所述解码步骤包括接收与所述至少两个预测指标中的每一个相关的运动信息和视差信息中的至少一个信息，并利用所接收的信息为所述块解码。

38.如权利要求29所述的方法，其中所述图像是对应于多视角视频内容的图像集合中的一个图像，所述图像集合具有一个同样的场景或相似的场景的不同视点，所述图像代表不同视点中的当前视点，其中，所述至少两个预测指标中的至少一个预测指标是一个对应于不同视点中的不同于当前视点的一个特定视点的视间预测，并且，所述至少两个预测指标中的至少另一个预测指标是与不同视点中的当前视点相对应的时域预测。

Images