CN103329531A

CN103329531A - 基于几何的帧内预测方法和装置

Info

Publication number: CN103329531A
Application number: CN2012800061269A
Authority: CN
Inventors: 吕陶然; 许茜; 乔伊·索勒; 尹鹏; 郑云飞; 吕小安
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2011-01-21
Filing date: 2012-01-19
Publication date: 2013-09-25
Also published as: KR20140005257A; US20140010295A1; WO2012100047A1; EP2666295A1; JP2014509119A; BR112013018404A2

Abstract

提供了基于几何的帧内预测方法和装置。一种装置包括：视频编码器(500)，用于针对画面中块的至少一部分，通过以下操作对画面数据进行编码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

Description

基于几何的帧内预测方法和装置

相关申请的交叉引用

本申请要求2011年1月21日提交的序列号为61/435,035的美国临时申请的权益，其全部公开以参考的形式合并于此。

技术领域

本原理总体涉及视频编码和解码，更具体地，涉及基于几何的帧内预测方法和装置。

背景技术

国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组4(MEPG-4)部分10高级视频编码(AVC)标准/国际电信联盟电信部门(ITU-T)H.264推荐(下文中称作“MPEG-4AVC标准”)是将空间方向性预测用于帧内编码的第一个视频编码标准。MPEG-4AVC标准提供了灵活的预测架构，因此相对于仅在变换域进行帧内预测的先前标准来说编码效率有很大提高。

根据MPEG-4AVC标准，使用周围可用采样来执行空间帧内预测，所述周围可用采样是在相同图像条内在解码器处可用的先前重构采样。对于亮度采样，可以基于4×4块(表示为Intra_4×4)、基于8×8块(表示为Intra_8×8)以及基于16×16宏块(表示为Intra_16×16)来进行帧内预测。转向图1，关于基于4×4块(Intra_4×4)的MPEG-4AVC标准方向性帧内预测总体由参考数字100来表示。预测方向总体由参考数字110来表示，图像块总体由参考数字120来表示，当前块由参考数字130来表示。除了亮度预测之外，还执行单独的色度预测。对于Intra_4×4和Intra_8×8总共有9种预测模式，对于Intra_16×16有四种模式，对于色度分量有四种模式。编码器典型地选择使预测与要编码的原始块之间差异最小化的预测模式。表示为I_PCM的另一种帧内编码模式允许编码器简单地绕过预测和变换编码过程。这种帧内编码模式允许编码器精确地表现采样的值并对编码宏块中可以包含的比特数加以绝对限制，而不约束解码图像质量。

转向图2，MPEG-4AVC标准的Intra_4×4模式的预测样本的标记由参考数字200来总体表示。图2示出了当前块上方和左侧的采样(以大写字母A-M表示)，这些采样先前已被编码和重构，因此可以用在编码器和解码器侧以形成预测。

转向图3B-J，MPEG-4AVC标准的Intra_4×4亮度预测模式由参考数字300来总体表示。使用Intra_4×4亮度预测模式300，基于采样A-M来计算预测块的采样a，b，c，...，p。图3B-J中的箭头表示每个Intra_4×4模式300的预测方向。Intra_4×4亮度预测模式300包括模式0-8，其中模式0(图3B，由参考数字310表示)对应于垂直预测模式，模式1(图3C，由参考数字311表示)对应于水平预测模式，模式2(图3D，由参考数字312表示)对应于DC模式，模式3(图3E，由参考数字313表示)对应于左下对角模式，模式4(图3F，由参考数字314表示)对应于右下对角模式，模式5(图3G，由参考数字315表示)对应于垂直向右模糊，模式6(图3H，由参考数字316表示)对应于水平向下模式，模式7(图3I，由参考数字317表示)对应于垂直向左模式，模式8(图3J，由参考数字318表示)对应于水平向上模式。图3A示出了与每个Intra_4×4模式300相对应的一般预测方向330。

在模式3-8下，根据预测采样A-M的加权平均来形成预测的采样。Intra_8×8基本上使用与Intra_4×4预测相同的构思，但是块大小为8×8并且对相邻的重构像素进行低通滤波以改善预测性能。

转向图4A-D，与MPEG-4AVC标准相对应的四个Intra_16×16模式由参考数字400来总体表示。四个Intra_16×16模式400包括模式0-3，其中模式0(图4A，由参考数字411表示)对应于垂直预测模式，模式1(图4B，由参考数字412表示)对应于水平预测模式，模式2(图4C，由参考数字413表示)对应于DC预测模式，模式3(图4D，由参考数字414表示)对应于平面预测模式。帧内编码宏块的每个8×8色度分量是根据上方和/或左侧的先前编码的色度采样来预测的，两个色度分量使用相同的预测模式。这四个预测模式与Intra_16×16非常相似，区别在于模式的编号不同。这些模式是DC(模式0)、水平(模式1)、垂直(模式2)和平面(模式3)。

因此，在MPEG-4AVC标准下的当前帧内块编码方案中，对于Intra_4×4和Intra_8×8，寻找最佳预测模式的常用方法是针对9个预定义的方向计算率失真(RD)代价，因此选择RD代价最小的预测模式作为最佳预测模式。然后将所选的模式编码并发送至解码器。

尽管根据MPEG-4AVC标准的帧内预测可以在画面内开发一些空间冗余，但是这种预测仅依赖于已被编码的块的上方或左侧的像素。相邻的重构像素和要预测的像素(尤其是当前块右下方的像素)之间的距离可能较大。在大的空间距离下，像素之间的相关性可能较低，在预测之后残差信号可能较大，这影响了编码效率。此外，由于因果性的限制，使用外插来代替内插。

在第一种现有技术方法中，提出了针对Intra_16×16平面模式的新的编码方法。当在平面模式下对宏块进行编码时，在比特流中信号通知该宏块的右下方采样，对宏块的最右侧和下方的采样进行线性内插，从边缘采样开始对中间采样进行双线性内插。在信号通知平面模式时，单独对亮度和两个色度分量应用相同的算法(对亮度使用基于16×16的操作，对色度使用基于8×8的操作)，其中独立地信号通知右下方采样。平面模式并不对残差进行编码。

尽管根据第一现有技术方法的平面预测方法开发了与右下方采样的一些空间相关性，但是右侧和下方像素的预测精度仍然非常有限。

在第二种现有技术方法中，提出双向帧内预测(BIP)来改善帧内编码效率。对于BIP提出了如下两个特点：一个特点是组合了两个单向帧内预测模式的双向预测；另一个特点是改变宏块中的子宏块编码顺序。通过引入双向预测，BIP将预测模式的总数从9个提高到16个。为了改变子宏块编码顺序，BIP在对其他三个子宏块编码之前先对右下方的8×8(或4×4)子宏块进行编码。是否改变编码顺序是基于RD代价的判断，需要将该判断信号通知给解码器。

在第三种现有技术方法中，提出基于几何结构的方向性滤波方案，以用于对丢失宏块的错误隐藏，其中边界信息始终可用。方向性滤波方案利用从周围像素提取的几何信息，因此能够保持丢失块的几何结构。作为这种错误隐藏算法的应用，本文还提出了基于块丢弃的方法，该方法在接收端处使用空间内插以帮助低比特率编码。

发明内容

本原理解决了现有技术的这些和其他缺陷以及缺点，本原理涉及基于几何的帧内预测方法和装置。

根据本原理的一方面，提供了一种装置。该装置包括：视频编码器，通过以下操作用于针对画面中块的至少一部分对画面数据进行编码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

根据本原理的另一方面，提供了一种视频编码器中的方法。该方法包括：通过以下操作针对画面中块的至少一部分对画面数据进行编码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

根据本发明的另一方面，提供了一种装置。该装置包括：视频解码器，用于通过以下操作针对画面中块的至少一部分对画面数据进行解码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

根据本发明的另一方面，提供了一种视频解码器中的方法。该方法包括：通过以下操作针对画面中块的至少一部分对画面数据进行解码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

根据本发明的另一方面，提供了一种计算机可读存储介质，在所述计算机可读存储介质上编码有视频信号数据。所述计算机可读存储介质包括：

针对画面中块的至少一部分的画面数据，所述画面数据是通过以下操作被编码的：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

结合附图来阅读以下对示例实施例的详细描述，通过对示例实施例的详细描述，本原理的这些和其他方面、特征和优点将变得清楚。

附图说明

根据以下示例附图，可以更好地理解本原理，附图中：

图1是示出了关于基于4×4块(Intra_4×4)的MPEG-4AVC标准方向性帧内预测100的图；

图2是示出了对于MPEG-4AVC标准的Intra_4×4模式的预测采样的标记200的图；

图3A-J是分别示出了MPEG-4AVC标准的Intra_4×4亮度预测模式的图；

图4A-D是分别示出了与MPEG-4AVC标准相对应的四个Intra_16×16模式的图；

图5是示出了根据本原理实施例可以对其应用本原理的示例视频编码器500的框图；

图6是示出了根据本原理实施例可以对其应用本原理的示例视频解码器600的框图；

图7A是示出了根据本原理实施例的示例基于几何的帧内预测700的框图，其中所有周围区域都可用并且沿着检测到的边缘方向使用内插；

图7B示出了根据本原理实施例的另一示例基于几何的帧内预测750的框图，其中所有的周围区域都可用并且沿着检测到的边缘方向使用外插；

图8是示出了根据本原理示例实施例使用基于几何的帧内预测来进行编码的示例方法800的流程图；

图9是示出了根据本原理示例实施例使用基于几何的帧内预测来进行解码的示例方法900的流程图；

图10是示出了根据本原理实施例的示例基于过渡的帧内预测1000的图；

图11是示出了根据本原理实施例的示例基于几何的帧内预测1100的图，该基于几何的帧内预测1100涉及两个过渡；

图12是示出了根据本原理实施例的另一示例基于几何的帧内预测1200的图，该基于几何的帧内预测1200涉及两个过渡；

图13是示出了根据本原理实施例的基于几何的帧内预测1300的示例的图，该基于几何的帧内预测1300具有四个过渡；

图14是示出了根据本原理实施例的基于几何的帧内预测1400的示例的图，该基于几何的帧内预测1400具有四个过渡，涉及边缘和线条；

图15是示出了根据MPEG-4AVC标准的光栅编码顺序1500的示例的图；以及

图16是示出了根据本原理实施例的示例反向编码顺序1600的图。

具体实施方式

本原理涉及基于几何的帧内预测方法和装置。

本描述说明了本原理。因此将认识到，本领域技术人员将能够得到体现本原理并且包含在本原理精神和范围之内的各种布置，尽管本文并未描述或示出这样的布置。

本文阐述的所有示例和条件性语言都旨在用于教学目的以帮助读者理解本原理以及发明人构建的构思从而推进技术发展，并且应当被看作是不限于这些具体阐述的示例和条件。

此外，本文中阐述了本原理的原理、方面和实施例及其特定示例的所有陈述都旨在涵盖其结构和功能上的等价物。此外，这些等价物旨在包括当前已知的等价物和未来开发的等价物，即，所开发的执行相同功能而与结构无关的任何元件。

因此，本领域技术人员将认识到，本文给出的框图表示体现本原理的说明性电路的概念图。类似地将认识到，任何流程图、流图、状态转移图、伪码等表示可以实质上体现在计算机可读介质中并因此由计算机或处理器来执行的各种处理，无论是否明确示出了这样的计算机或处理器。

可以通过利用专用硬件以及与适当软件相结合能够执行软件的硬件来提供图中所示的各种元件的功能。在由处理器来提供时，这些功能可以由单个专用处理器、单个共享处理器或者其中一些可以被共享的多个独立处理器来提供。此外，术语“处理器”或“控制器”的明确使用不应被理解为排他地表示能够执行软件的硬件，而是可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。

还可以包括其他传统的和/或常规的硬件。类似地，图中所示的任何开关都仅仅是概念性的。可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互或者甚至以手动方式来执行这些开关的功能，从上下文可以更详细地理解，具体的技术是由实施者可选择的。

在本原理的权利要求中，表示为执行特定功能的装置的任何元件旨在涵盖执行该功能的任何方式，包括：例如，a)执行该功能的电路元件的组合；或b)与合适的电路相结合的任何形式的软件(因此包括固件、微码等)，用于执行该软件，从而执行该功能。这些权利要求所限定的本原理在于，各个列举的装置所提供的功能以权利要求所要求的方式组合并结合。因此，认为能够提供这些功能的任何装置都等同于本文所示的这些装置。

说明书中对本原理的“一个实施例”或“一实施例”及其其他变型的引述意味着结合该实施例而描述的具体特征、结构、特性等等包含在本原理的至少一个实施例中。因此，贯穿说明书在各个地方出现的短语“在一个实施例中”或者“在一实施例中”不必须是指相同的实施例。

应当认识到，对于下列“/”、“和/或”以及“……中的至少一个”中任何一个的使用，例如，在“A/B”、“A和/或B”以及“A和B中的至少一个”的情况下，旨在涵盖仅选择第一个所列选项(A)、或者仅选择第二个所列选项(B)或者选择两个选项(A和B)。作为另一示例，在“A、B和/或C”以及“A、B和C中的至少一个”的情况下，这种措辞旨在涵盖仅选择第一个所列选项(A)、或者仅选择第二个所列选项(B)、或者仅选择第三个所列选项(C)、或者仅选择第一个和第二个所列选项(A和B)、或者仅选择第一个和第三个所列选项(A和C)、或者仅选择第二和第三个所列选项(B和C)、或者选择所有三个选项(A和B和C)。本领域和相关领域普通技术人员容易理解，这可以针对许多列出的选项来进行扩展。

此外，本文使用的词语“画面”和“图像”是可互换使用的，表示来自视频序列的静止图像或画面。如已知的，画面可以是帧或场。

此外，本文使用的词语“信号通知”是指将某物指示给对应的解码器。例如，编码器可以信号通知具体的块分区编码顺序，以使解码器或者在编码器侧使用了哪个具体的顺序。这样，可以在编码器侧和解码器侧使用相同的顺序。因此，例如，编码器可以将具体顺序发送至解码器，从而解码器可以使用相同的具体顺序，或者如果解码器已经具有该具体顺序以及其他顺序，那么可以使用信号通知(而不是发送)来简单地允许解码器获知并选择该具体顺序。通过避免发送任何实际的顺序，可以实现比特节约。应理解，可以以多种方式来实现信号通知。例如，可以使用一个或多个语法元素、标志等将信息信号通知给对应的解码器。

如上所述，本原理涉及基于几何的帧内预测方法和装置。

转向图5，可以对其应用本原理的示例视频编码器由参考数字500来总体表示。视频编码器500包括帧排序缓冲器510，所述帧排序缓冲器510具有与组合器585的非反相输出信号通信的输出。组合器585的输出与变换器和量化器525的第一输入以信号通信的方式相连。变换器和量化器525的输出与熵编码器545的第一输入以及逆变换器和逆量化器550的第一输入以信号通信的方式相连。熵编码器545的输出与组合器590的第一非反相输入以信号通信的方式相连。组合器590的输出与输出缓冲器535的第一输入以信号通信的方式相连。

编码器控制器505的第一输出与帧排序缓冲器510的第二输入、逆变换器和逆量化器550的第二输入、画面类型判定模块515的输入、宏块类型(MB类型)判定模块520的第一输入、帧内预测模块560的第二输入、解块滤波器565的第二输入、运动补偿器570的第一输入、运动估计器575的第一输入以及参考画面缓冲器580的第二输入以信号通信的方式相连。

编码器控制器505的第二输出与补充增强信息(SEI)插入器530的第一输入、变换器和量化器525的第二输入、熵编码器545的第二输入、输出缓冲器535的第二输入以及序列参数集(SPS)和画面参数集(PPS)插入器540的输入以信号通信的方式相连。

SEI插入器530的输出与组合器590的第二非反相输入以信号通信的方式相连。

画面类型判定模块515的第一输出与帧排序缓冲器510的第三输入以信号通信的方式相连。画面类型判定模块515的第二输出与宏块类型判定模块520的第二输入以信号通信的方式相连。

序列参数集(SPS)和画面参数集(PPS)插入器540的输出与组合器590的第三非反相输入以信号通信的方式相连。

逆变换器和逆量化器550的输出与组合器519的第一非反相输入以信号通信的方式相连。组合器519的输出与帧内预测模块560的第一输入以及解块滤波器565的第一输入以信号通信的方式相连。解块滤波器565的输出与参考画面缓冲器580的第一输入以信号通信的方式相连。参考画面缓冲器580的输出与运动估计器575的第二输入以及运动补偿器570的第三输入以信号通信的方式相连。运动估计器575的第一输出与运动补偿器570的第二输入以信号通信的方式相连。运动估计器575的第二输出与熵编码器的第三输入以信号通信的方式相连。

运动补偿器570的输出与交换器597的第一输入以信号通信的方式相连。帧内预测模块560的输出与交换器597的第二输入以信号通信的方式相连。宏块类型判定模块520的输出与交换器597的第三输入以信号通信的方式相连。交换器597的第三输入确定开关的“数据”输入(与控制输入即第三输入相比)是由运动补偿器570来提供还是由帧内预测模块560来提供。交换器597的输出与组合器519的第二非反相输入以及组合器585的反向输入以信号通信的方式相连。

帧排序缓冲器510的第一输入和编码器控制器505的输入可用作编码器500的输入，用于接收输入画面。此外，补充增强信息(SEI)插入器530的第二输入可用作编码器500的输入，用于接收元数据。输出缓冲器535的输出可用作编码器500的输出，用于输出比特流。

转向图6，可以对其应用本原理的示例视频解码器由参考数字600来总体表示。视频解码器600包括输入缓冲器610，输入缓冲器610具有与熵解码器645的第一输入以信号通信的方式相连的输出。熵解码器645的第一输出与逆变换器和逆量化器650的第一输入以信号通信的方式相连。逆变换器和逆量化器650的输出与组合器625的第二非反相输入以信号通信的方式相连。组合器625的输出与解块滤波器665的第二输入以及帧内预测模块660的第一输入以信号通信的方式相连。解块滤波器665的第二输出与参考画面缓冲器680的第一输入以信号通信的方式相连。参考画面缓冲器680的输出与运动补偿器670的第二输入以信号通信的方式相连。

熵解码器645的第二输出与运动补偿器670的第三输入、解块滤波器665的第一输入以及帧内预测符660的第三输入以信号通信的方式相连。熵解码器645的第三输出与解码器控制器605的输入以信号通信的方式相连。解码器控制器605的第一输出与熵解码器645的第二输入以信号通信的方式相连。解码器控制器605的第二输出与逆变换器和逆量化器650的第二输入以信号通信的方式相连。解码器控制器605的第三输出与解块滤波器665的第三输入以信号通信的方式相连。解码器控制器605的第四输出与帧内预测模块660的第二输入、运动补偿器670的第一输入以及参考画面缓冲器680的第二输入以信号通信的方式相连。

运动补偿器670的输出与交换器697的第一输入以信号通信的方式相连。帧内预测模块660的输出与交换器697的第二输入以信号通信的方式相连。交换器697的输出与组合器625的第一非反相输入以信号通信的方式相连。

输入缓冲器610的输入可用作解码器600的输入，用于接收输入比特流。解块滤波器665的第一输出可用作解码器600的输出，用于输出输出画面。

根据本原理，提出了一种采用基于几何的帧内预测(GIP)的新的帧内块编码方案，以提高帧内预测精度和帧内编码效率。基于相邻的周围像素的几何结构来得到预测方向。所提出的构思基于以下观察：块边界上的周围像素在识别局部几何图案时是有用的，局部几何图案可以用于得到当前块的帧内预测模式。与通常在编码器中对所有预定义的预测方向进行循环的MPEG-4AVC标准帧内编码相比，本原理显著降低了编码器侧的计算复杂度。此外，不需要模式选择，并且节省了指示帧内预测模式的语法比特。也就是说，在解码器侧执行相同的操作来得到预测模式。因此，减少了开销比特的量以用于模式信号通知。此外，预测不限于这9个预定义的方向之一。而是，预测可以是任何方向或者得到的若干方向的组合。为了应用GIP，可以使用GIP来代替已有的帧内预测模式，或者代替所有的9个预测模式以节省比特。

此外，尝试通过使用内插代替外插来改善编码效率。此外，提出了新的编码顺序，其中提出首先对当前块的分区(例如，块的最右列和/或底部行)进行编码。然后将重构的列和/或行与已编码的顶部和左侧相邻块组合，以得到当前块的其余部分的预测模式。

出于说明和描述的目的，本文在相对于MPEG-4AVC标准的改善方面描述了示例，使用MPEG-4AVC标准作为描述的基础并且说明了相对于MPEG-4AVC标准的改善和扩展。然而应当认识到，本原理并不仅限于MPEG-4AVC标准和/或其扩展。在给出了本文提供的本原理的教义的情况下，本领域和相关领域普通技术人员容易理解，本原理在应用于其他标准的扩展时或者应用和/或合并到尚未开发的标准中时是同样可用的并且将提供至少类似的优点。也就是说，本领域技术人员容易清楚，可以使用其他标准为起点来描述本原理及其新的和新颖的元素，作为相对于该标准或任何其他标准的改变和优点。还应认识到，本原理还应用于不符合标准但符合专有定义的视频编码器和视频解码器。

在编码器和解码器处均执行以下步骤1-4。

步骤1.存储块分区的周围区域

提出首先存储块分区的可用周围像素，以识别局部几何图案。本文使用的“可用的”意思是：像素已经被重构，从而能够被用来产生预测。块分区可以是块的一部分(例如，行、列或子块)或块本身。

在常规编码顺序(即，光栅顺序)下，仅当前块的顶部和左侧像素可用作周围像素以用于帧内预测。在一个实施例中，周围区域可以是顶部的一行和左侧的一列。在另一实施例中，周围区域可以是顶部的两行和左侧的两列。在又一实施例中，周围区域可以是左侧和顶部的整个相邻块分区。

在新的编码顺序下，块包括若干分区。第一分区包括来自当前块右下方的像素，并且将首先被编码。对于第一分区，仅来自相邻编码块的左侧和顶部像素是可用的，因此处理与常规编码顺序下相同。对于当前块的其余分区，周围像素除了可来自顶部和左侧之外，还可来自底部和右侧。因此，周围区域可以是该分区的外边界，或者是所有的相邻块/分区。

步骤2.分析周围区域以找到方向

在存储了周围区域之后，在所述区域上执行几何分析以找到局部图案。在实施例中，分析方法可以是边缘检测方法，例如但不限于Sobel算子、Canny算子、阈值处理和链接。在另一实施例中，分析方法可以是基于过渡点的分析，其中隐含地得到局部边缘而不是检测到局部边缘。使用局部边缘的取向作为帧内预测的预测方向。

步骤3.执行外插/内插以产生预测符

在找到局部图案的方向时，通过沿着该方向执行外插或内插来产生预测的像素值。如果周围像素仅在得到的边缘方向的一侧可用，则通过外插来产生预测值(预测符)。否则，在周围像素在得到的边缘方向的两侧均可用的情况下，通过内插来产生预测符。转向图7A，示例基于几何的帧内预测由参考数字700来总体表示。对于基于几何的帧内预测700，所有的周围区域都可用，因此沿着检测到的边缘方向使用内插。转向图7B，另一示例基于几何的帧内预测由参考数字750来总体表示。对于基于几何的帧内预测750，仅部分周围区域(在左侧和顶部)可用，因此沿着检测到的边缘方向使用外插。

步骤4.在编码器/解码器上产生残差

在产生了预测符时，编码器通过减法来产生残差。执行空间域和/或频域变换来计算系数。执行熵编码来进一步改善编码效率。在常规编码顺序和新编码顺序之间比较RD代价，将具有最小率失真(RD)代价的编码顺序的最终判定信号通知并发送至比特流(参见图8)。解码器将对来自比特流的编码顺序和残差进行解码，以通过执行求和处理来产生重构的像素值(参见图9)。

转向图8，使用基于几何的帧内预测的示例编码方法由参考数字800来总体表示。方法800包括起始块805，所述起始块805将控制传递至功能块810。功能块810执行编码设置，并将控制传递至循环限制块815。循环限制块815对每个块执行循环，并将控制传递至功能块820。功能块820按照常规编码顺序进行编码，存储周围区域，分析几何图案，通过外插来执行预测，保存RD代价，并将控制传递至功能块825。功能块825按照新编码顺序进行编码，首先编码右下方分区，然后编码左上方分区，存储周围区域，分析几何图案，通过外插/内插来执行预测，保存RD代价，并将控制传递至功能块830。功能块830选择RD代价最小的顺序，对残差进行编码，对编码顺序进行信号通知，并将控制传递至循环限制块835。循环限制块835结束循环，并将控制传递至结束块899。

转向图9，使用基于几何的帧内预测的示例解码方法由参考数字900来总体表示。方法900包括起始块905，起始块905将控制传递至循环限制块910。循环限制块910对每个块执行循环，并将控制传递至判定块915。判定块915确定是执行常规顺序还是新顺序。如果执行常规顺序，则方法进行至功能块925。否则方法进行至功能块945。功能块925存储周围区域，分析几何图案，通过外插来执行预测，并将控制传递至功能块930。功能块930对残差进行解码，产生重构像素，并将控制传递至循环限制块935。循环限制块结束循环，并将控制传递至结束块999。功能块945针对右下方分区，存储周围区域，分析几何图案，通过外插来执行预测，并将控制传递至功能块950。功能块950针对左上方分区，存储周围区域，分析几何图案，通过内插来执行预测，并将控制传递至功能块930。

现在将针对基于过渡的帧内预测(TIP)来描述本原理的实施例。转向图10，示例基于过渡的帧内预测由参考数字1000来总体表示。TIP1000的周围区域是围绕当前块分区1005的两个像素层，即，内层1010和外层1020。也就是说，为了找到沿着块边界的局部几何结构，检查两个最近的周围边界层。首先将这两个像素层转换成二值图。基于层上的像素值的统计量来自适应地选择二值化阈值。可以使用多种方法来计算阈值，包括但不限于最简单的边界层平均像素值、第四大值和第四小值的平均以及最复杂的基于直方图的分割。将大于阈值的像素标记为白色，将小于阈值的像素标记为黑色。在二值化之后，应用三点中值滤波以消除孤立的黑点或白点。

将过渡点定义为每一层上沿顺时针方向具有从黑到白或者从白到黑的过渡的位置。例如，在图10中，内层1010上的点(1011和1012)以及外层1020上的点(1021和1022)指示了过渡点。内层1010上的过渡点(1011和1012)指示边缘的位置(例如，边缘交叉)，外层1020上的过渡点(1021和1022)帮助识别边缘的方向(因此，帮助识别该边缘的角度)。注意，过渡点的数目始终是偶数。

相邻像素值的突然改变形成了过渡。从黑到白(或者从白到黑)的过渡体现出边缘的存在。在给定了黑色边界上的过度分布的情况下，可以分析块内的局部几何图案。因此，帧内预测得益于局部几何图案。

根据内层1010上过渡点的数目，将情况分为以下四种示例情况：平坦(0过渡)；2个过渡；4个过渡；以及多于4个的过渡。使用方向一致性的度量来解决关于以下问题的不明确性：内层1010上的过渡点应当如何相互匹配来说明局部边缘结构。对于局部几何图案的假定如下：如果存在通过过渡点i和j的边缘，则θ_ij、θ_i和θ_j应当一致。如下引入代价函数：

C_ij＝|θ_i-θ_ij|+|θ_j-θ_ij|

其中i和j分别是第i个和第j个过渡点。沿顺时针方向，对于内层1010上的第i个过渡点，将连接该点及其在外层上的对应过渡点的线的角度表示为θ_i。将连接内层1010上第i个过渡点和第j个点的线的角度表示为θ_ij(参见图10)。

当没有周围像素可用时，例如，当图10中过渡点1012和1022不可用时，可以使用从1011和1021得到的方向(即，θ₁)作为预测方向，并且可以使用外插来执行帧内预测。

平坦/零过渡

当二值化阈值过于接近最大和最小像素值或者当局部变化相对小时，当前块是平滑块。在这种情况下，可以使用已有方法来寻找最佳取向。在给定最佳取向的情况下，可以如下通过沿着该取向的双线性内插来产生像素p处的帧内预测量I(p)：

I_{p} = \frac{d_{2}}{d_{1} + d_{2}} p_{1} + \frac{d_{1}}{d_{1} + d_{2}} p_{2}

其中p1和p2是从其在内层1010上两个最近的相邻像素线性内插的，d1和d2分别是p相对于p1和p2的欧氏距离。

两个过渡

对于两个过渡点，有两种场景。第一种场景是，边缘通过两个过渡点(参见图11)。这是最有可能的情况。另一种场景是，存在线条或角(参见图12)。对于这两种场景来说，内插方案略有不同。基于过渡对的代价来进行判定。如果C₀₁＜3π/4，则存在边缘。使用沿θ₀₁的双线性内插来产生预测量。否则，存在线条或角并且内插沿着θ＝(θ₀+θ₁)/2。

转向图11，涉及两个过渡的示例基于几何的帧内预测由参考数字1100来总体表示。在图11的示例中，边缘1120通过两个过渡1111和1112。转向图12，涉及两个过渡的另一示例基于几何的帧内预测由参考数字1200来总体表示。在图12的示例中，相对于两个过渡1211和1212存在线条或角。

四个过渡

四个过渡的情况比两个过渡的情况更复杂。

在四个过渡的情况下，在内层上将沿着顺时针方向从顶部开始的过渡点表示为0、1、2、3(在图13中也由参考数字1320、1321和1323来表示)。存在以下多种情况。

在第一种情况下，C₀₁+C₂₃＜C₀₃+C₂₁，并且C_ij不等于π。在此情况成立时，假定过渡点0连接到过渡点1。

在第二种情况下，C₀₁+C₂₃＞C₀₃+C₂₁，并且C_ij不等于π。在这种情况下，过渡点0连接到过渡点3(参见图13)。对于这两种情况(第一种和第二种情况)，两个边缘将块分成三个区域。每个像素的双线性内插沿着最靠近该像素的边缘的方向。转向图13，具有四个过渡的基于几何的帧内预测的示例由参考数字1300来总体表示。

在第三种情况下，C_ij接近于π。假定具有另一窄线条的强边缘进入并止于块中(参见图14)。在这种情况下，首先沿着边缘的方向对每个像素进行双线性内插，然后沿着线条的方向对线条中的像素进行内插。转向图14，具有四个过渡并且涉及边缘和线条的基于几何的帧内预测的示例由参考数字1400来总体表示。在图14中，沿顺时针方向从顶部开始的过渡点由参考数字1420、1421、1422和1423来总体表示。

六个和更多个过渡

当找到六个或更多个过渡点时，发现边缘的最优组合是复杂并且困难的。实践中，利用若干基准视频序列来分析过渡情况的分布。结果表明，具有六个和更多个过渡点的情况是很少见的。如下使用简单的内插方案而不严重损害总体性能：选择最频繁的方向作为主方向。所有的预测量都是沿着该方向双线性地产生的。

通过前述过渡点分析和内插方案，能够产生用于帧内预测的所有预测量。然后对残差进行编码并发送至比特流。由于通过算法自身来得到预测方向，所以不需要语法比特来显式地对TIP模式进行信号通知。

新编码顺序

在MPEG-4AVC标准编码架构下，对于光栅编码顺序，仅当前块顶部或左侧的块可用。转向图15，光栅编码顺序的示例由参考数字1500来总体表示。

为了标记针对TIP模式可用的所有周围像素，并入了反向编码顺序。转向图16，示例反向编码顺序由参考数字1600来总体表示。对于宏块，首先使用顶部和左侧的相邻宏块像素对右下方(BR)8×8块进行编码。然后，使用顶部和左侧相邻宏块像素和重构的BR块对右上方(UR)8×8块进行编码。然后，使用顶部和左侧相邻宏块像素以及BR和UR块对左下方(BR)8×8块进行编码。最后，利用左上方(UL)8×8块的所有可用的周围像素按照TIP模式对该左上方(UL)8×8块进行编码。

编码器将在率失真最优化准则下选择编码顺序以及对应的模式。

现在将通过描述给出本发明的许多伴随优点/特征，其中的一些在上文中已经被提到。例如，一个优点/特征是一种装置，所述装置具有：视频编码器，用于通过以下操作对画面数据进行编码：针对画面中块的至少一部分，相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

另一优点/特征是具有上述视频编码器的装置，其中，使用边缘检测方法和基于过渡点的分析中的至少一个来检测局部几何图案。

另一优点/特征是具有上述视频编码器的装置，其中，当仅边缘方向一侧的像素可用时，使用外插来产生针对所述部分的帧内预测；当边缘方向两侧的像素均可用时，使用内插来产生针对所述部分的帧内预测。

另一优点/特征是具有上述视频编码器的装置，其中，通过相对于所述部分检查两个最接近的周围边界像素层，来检测局部几何图案。

另一优点/特征是具有上述视频编码器的装置，其中，根据在局部几何图案中检测到的过渡点的数目，选择性地使用多种不同内插方案中的至少一种。

此外，另一优点/特征是具有上述视频编码器的装置，其中，使用边缘方向作为帧内预测的预测方向。

此外，另一优点/特征是具有上述视频编码器的装置，其中，通过最初对块的右下方分区进行编码然后对块的左上方分区进行编码，来编码块的画面数据。

此外，另一优点/特征是具有视频编码器的装置，其中，通过最初对块的右下方分区进行编码然后对块的左上方分区进行编码，来编码块的画面数据，其中，块的分区编码顺序包括：按照从先到后的顺序，右下方分区、右上方分区、左下方分区和左上方分区。

相关领域普通技术人员基于本文的教义可以容易得到本原理的这些和其他特征以及优点。应理解，本原理的教义可以以各种形式的硬件、软件、固件、专用处理器或其组合来实现。

更优选地，本原理的教义可以实现为硬件和软件的组合。此外，软件可以实现为有形地体现在程序存储单元上的应用程序。应用程序可以被上载到包括任何合适架构的机器上并由所述机器来执行。优选地，将机器实现在计算机平台上，所述计算机平台具有硬件，如，一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口。计算机平台还可以包括操作系统和微指令代码。本文描述的各种处理和功能可以是可以由CPU来执行的微指令代码的一部分、应用程序的一部分或者其任意组合。此外，可以将各种其他外围单元连接到计算机平台，如，附加数据存储单元和打印单元。

还应理解，由于附图中描述的构成系统组件和方法中的一些优选地是以软件形式实现的，所以系统组件或处理功能块之间的实际连接可以根据本原理被编程的方式的不同而不同。在本文中给出这些教义的情况下，相关领域普通技术人员将能够想到本原理的这些和类似的实现方式或配置。

尽管参考附图描述了说明性实施例，然而应理解，本原理不限于这些具体实施例，在不脱离本原理的范围或精神的前提下，相关领域普通技术人员可以实现各种修改和变型。所有这些修改和变型都旨在包含在所附权利要求所阐述的本原理的范围之内。

Claims

1.一种装置，包括：

视频编码器(500)，用于通过以下操作对针对画面中块的至少一部分的画面数据进行编码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

2.根据权利要求1所述的装置，其中，使用边缘检测方法和基于过渡点的分析中的至少一个来检测局部几何图案。

3.根据权利要求1所述的装置，其中，当仅边缘方向一侧的像素可用时，使用外插来产生针对所述部分的帧内预测；当边缘方向两侧的像素均可用时，使用内插来产生针对所述部分的帧内预测。

4.根据权利要求1所述的装置，其中，通过相对于所述部分检查两个最接近的周围边界像素层，来检测局部几何图案。

5.根据权利要求1所述的装置，其中，根据在局部几何图案中检测到的过渡点的数目，选择性地使用多种不同内插方案中的至少一种。

6.根据权利要求1所述的装置，其中，使用边缘方向作为帧内预测的预测方向。

7.根据权利要求1所述的装置，其中，通过最初对块的右下方分区进行编码然后对块的左上方分区进行编码，来编码块的画面数据。

8.根据权利要求7所述的装置，其中，块的分区编码顺序包括：按照从先到后的顺序，右下方分区、右上方分区、左下方分区和左上方分区。

9.一种视频编码器中的方法，包括：

通过以下操作对针对画面中块的至少一部分的画面数据进行编码：相对于该部分在周围区域中检测(825)局部几何图案，并且相对于局部几何图案的边缘方向执行(825)内插和外插中的至少一个以产生针对该部分的帧内预测。

10.根据权利要求9所述的方法，其中，使用边缘检测方法和基于过渡点的分析中的至少一个来检测局部几何图案。

11.根据权利要求9所述的方法，其中，当仅边缘方向一侧的像素可用时，使用外插(825)来产生针对所述部分的帧内预测；当边缘方向两侧的像素均可用时，使用内插(825)来产生针对所述部分的帧内预测。

12.根据权利要求9所述的方法，其中，通过相对于所述部分检查两个最接近的周围边界像素层，来检测局部几何图案。

13.根据权利要求9所述的方法，其中，根据在局部几何图案中检测到的过渡点的数目，选择性地使用多种不同内插方案中的至少一种。

14.根据权利要求9所述的方法，其中，使用边缘方向作为帧内预测的预测方向。

15.根据权利要求9所述的方法，其中，通过最初对块的右下方分区进行编码然后对块的左上方分区进行编码(825)，来编码块的画面数据。

16.根据权利要求15所述的方法，其中，块的分区编码顺序包括：按照从先到后的顺序，右下方分区、右上方分区、左下方分区和左上方分区。

17.一种装置，包括：

视频解码器(600)，用于通过以下操作对针对画面中块的至少一部分的画面数据进行解码：相对于该部分在周围区域中检测局部几何图案，并且相对于局部几何图案的边缘方向执行内插和外插中的至少一个以产生针对该部分的帧内预测。

18.根据权利要求17所述的装置，其中，使用边缘检测方法和基于过渡点的分析中的至少一个来检测局部几何图案。

19.根据权利要求17所述的装置，其中，当仅边缘方向一侧的像素可用时，使用外插来产生针对所述部分的帧内预测；当边缘方向两侧的像素均可用时，使用内插来产生针对所述部分的帧内预测。

20.根据权利要求17所述的装置，其中，通过相对于所述部分检查两个最接近的周围边界像素层，来检测局部几何图案。

21.根据权利要求17所述的装置，其中，根据在局部几何图案中检测到的过渡点的数目，选择性地使用多种不同内插方案中的至少一种。

22.根据权利要求17所述的装置，其中，使用边缘方向作为帧内预测的预测方向。

23.根据权利要求17所述的装置，其中，通过最初对块的右下方分区进行编码然后对块的左上方分区进行编码，来编码块的画面数据。

24.根据权利要求23所述的装置，其中，块的分区编码顺序包括：按照从先到后的顺序，右下方分区、右上方分区、左下方分区和左上方分区。

25.一种视频解码器中的方法，包括：

通过以下操作对针对画面中块的至少一部分的画面数据进行解码：相对于该部分在周围区域中检测(945，950)局部几何图案，并且相对于局部几何图案的边缘方向执行(945，950)内插和外插中的至少一个以产生针对该部分的帧内预测。

26.根据权利要求25所述的方法，其中，使用边缘检测方法和基于过渡点的分析中的至少一个来检测局部几何图案。

27.根据权利要求25所述的方法，其中，当仅边缘方向一侧的像素可用时，使用外插(945)来产生针对所述部分的帧内预测；当边缘方向两侧的像素均可用时，使用内插(950)来产生针对所述部分的帧内预测。

28.根据权利要求25所述的方法，其中，通过相对于所述部分检查两个最接近的周围边界像素层，来检测局部几何图案。

29.根据权利要求25所述的方法，其中，根据在局部几何图案中检测到的过渡点的数目，选择性地使用多种不同内插方案中的至少一种。

30.根据权利要求25所述的方法，其中，使用边缘方向作为帧内预测的预测方向。

31.根据权利要求25所述的方法，其中，通过最初对块的右下方分区进行编码(945)然后对块的左上方分区进行编码(950)，来编码块的画面数据。

32.根据权利要求31所述的方法，其中，块的分区编码顺序包括：按照从先到后的顺序，右下方分区、右上方分区、左下方分区和左上方分区。

33.一种计算机可读存储介质，在所述计算机可读存储介质上编码有视频信号数据，包括：