CN110169059B - 视频代码化的复合预测 - Google Patents

Abstract

一种用于生成当前块的复合预测器块的方法包括：针对当前块生成包括第一预测器像素的第一预测器块的预测器块。该方法还包括：针对第一预测器像素中的第一预测器像素并且使用至少第一预测器像素的子集，确定用于调节要应用于第一预测器像素的第一权重的第一调节值。复合预测器块使用第一预测器像素、第一权重和第一调节值来生成。

Description

视频代码化的复合预测

相关申请的交叉引用

本申请要求2017年1月13日提交的美国临时专利申请序列号62/445,999的权益，其全部公开通过引用合并于此。

背景技术

数字视频流可以表示使用一系列帧或静态图像的视频。数字视频可以用于各种应用，包括例如视频会议、高清视频娱乐节目、视频广告、或用户生成的视频的共享。数字视频流可包括大量数据并且消耗计算设备的大量的计算资源或通信资源以用于处理、传输或存储视频数据。已经提出了用于减少视频流中的数据量的各种方法，包括压缩和其他编码技术。

可以通过将帧或图像分割成基于参考帧的一个或多个预测器块来预测的块来执行基于运动估计和补偿的编码。块和预测器块之间的差异(即，残余误差)被压缩和编码在比特流中。解码器使用差异以及参考帧来重构帧或图像。

发明内容

本公开大体上涉及视频代码化并且尤其涉及用于视频代码化的复合预测模式。

所公开的实现的一个方面是根据一个实现的用于生成视频的当前块的复合预测器块的方法。所述方法包括针对当前块生成包括第一预测器像素的第一预测器块的预测器块。所述方法还包括针对第一预测器像素中的第一预测器像素并且使用至少第一预测器像素的子集，确定用于调节要应用于第一预测器像素的第一权重的第一调节值，并且使用第一预测器像素、第一权重和第一调节值来生成复合预测器块。

因此，在解码以这种方式编码的块时，可以减少原始块和重构块之间的失真。

可选地，第一权重选自包括权重0.75、0.6、0.5和0.25的加权方案，并且方法进一步包括在编码的比特流中编码第一权重。

可选地，预测器块进一步包括第二预测器像素的第二预测器块。使用第一预测器像素和第一调节值来生成复合预测器块包括针对第二预测器像素中的第二预测器像素，使用用于调节第一权重的补数的第二调节值，其中第二调节值使用至少第二预测器像素的子集来确定。

可选地，第一调节值基于第一预测器像素与第二预测器像素之间的差异来确定。

可选地，第一调节值使用第一预测像素周围的窗口中的平滑度来确定。

可选地，窗口以第一预测像素为中心并且所述窗口的尺寸为3×3。

可选地，第一调节值使用在第一预测器块的预定像素值处具有最大值的衰减函数来确定，并且第一预测像素被输入到衰减函数以确定第一调节值。

可选地，方法可以进一步包括从编码的比特流解码第一权重。

另一方面是根据本公开的一个实现的包括存储器和处理器的用于生成复合预测器块的装置。处理器被配置为执行存储在存储器中的指令以生成第一预测器块和第二预测器块，第一预测器块包括第一预测器像素并且第二预测器块包括第二预测器像素，确定第一预测器块的相应第一预测器像素的相应第一调节值，确定第二预测器块的相应第二像素的相应第二调节值并且使用第一预测器像素、第一调节值、第二预测器像素以及第二调节值来确定复合预测器块的像素的像素值。每个第一调节值使用第一预测器像素中的至少一些来确定。每个第二调节值使用第二预测器像素中的至少一些来确定。

可选地，指令进一步包括用于从编码的比特流解码基线权重的指令，其中基线权重指示包括第一基线权重和第一基线权重的补数的掩码。

可选地，每个第一调节值用于调节第一基线权重并且每个第二调节值用于调节第一基线权重的补数。

可选地，基线权重指示来自包括0.75、0.6、0.5和0.25的加权方案的权重。

可选地，指令进一步包括解码互补掩码指示符的指令，并且基于互补掩码指示符，使用每个第一调节值调节第一基线权重的补数并使用每个第二调节值调节第一基线权重。

可选地，第一预测器像素的第一调节值和第二预测器像素的第二调节值是基于第一预测器像素以及第二预测器像素的特性，其中第一预测器像素和第二预测器像素共置。

可选地，特征包括第一预测器像素与第二预测器像素之间的差异。

可选地，指令进一步包括用于选择第一基线权重以及第一基线权重的补数的指令，其中每个第一调节值用于调节第一基线权重并且每个第二调节值用于调节第一基线权重的补数；并且选择具有向上值或向下值的调节方向，其中在调节方向为向上值时，第一基线权重随着特性的增加而向上调节，并且其中在调节方向是向下值时，第一基线权重随着特性的增加而向下调节。

可选地，特性包括关于第一预测器像素的第一平滑度以及关于第二预测器像素的第二平滑度。

可选地，确定第一预测器块的相应第一预测器像素的相应第一调节值包括识别第一预测器块的峰值，并且基于峰值与第一预测器像素之间的差异来确定第一预测器像素的第一调节值。

另一方面是根据本公开的一个实现的包括存储器和处理器的用于解码当前块的装置。处理器被配置为执行存储在存储器中的指令以生成第一预测器块和第二预测器块，从编码的比特流中解码权重掩码，从权重掩码确定用作第一预测器块的像素的第一权重的基线权重以及用作第二预测器块的像素的第二权重的互补基线权重，针对第一预测器块的第一预测器像素，使用第一预测器块中的像素中的至少一些来确定第一调节值，针对第二预测器块的第二预测器像素，使用第二预测器块中的像素中的至少一些来确定第二调节值，并且使用第一预测器像素、第二预测器像素、基线权重、互补基线权重、第一调节值以及第二调节值来生成包括第三预测器像素的复合预测器。第一调节值用于调节基线权重。第二调节值用于调节互补基线权重。第二预测器像素与第一像素预测器共置。

可选地，基线权重具有第一值并且互补基线权重具有第二值，并且指令进一步包括解码使用互补掩码的指示，并且响应于使用互补掩码的指示是第一值，使用第二值作为基线权重的值并且使用第一值作为互补基线权重的值。第一值与第二值相加达到1。

应注意的是，上述任何特征可以与本发明的任何特定方面或实施例一起使用。

在以下实施例、所附权利要求和附图的详细描述中公开了本公开的这些或其他方面。

附图说明

本文的描述参考附图，其中在全部若干附图中相同的附图标记指代相同的部分。

图1是视频编码和解码系统的示意图。

图2是可以实现发送站或接收站的计算设备的示例的框图。

图3是要被编码并后续被解码的视频流的图。

图4是根据本公开的实现的编码器的框图。

图5是根据本公开的实现的解码器的框图。

图6是根据本公开的实现的当前像素块的复合运动预测的过程的流程图。

图7是根据本公开的实现的使用像素差异来调节基线权重的示例。

图8是根据本公开的实现的使用第一预测器块和第二预测器块来预测当前像素块的复合预测的过程的流程图。

图9是根据本公开的第二实现的用于生成视频的当前块的复合预测器块的过程的流程图。

图10是根据本公开的第三实现的生成复合预测器块的过程的流程图。

图11是根据本发明的第二实现的解码当前块的过程的流程图。

具体实施方式

如上所述，与代码化视频流有关的压缩方案可以包括将图像(即，原始图像或源图像)分割成块并且使用一种或多种限制包括在输出中的信息的技术来生成数字视频输出比特流。可以对接收到的编码的比特流进行解码以从有限的信息中重新创建块以及源图像。对视频流或其一部分(诸如帧或块)进行编码可包括使用视频流中的时间或空间相似性来提高代码化效率。例如，可以基于识别先前代码化的像素值与当前块中的像素值之间的差异(残差)来编码视频流的当前块。以这种方式，仅需将残差以及用于生成残差的参数添加到编码的比特流。可以使用有损量化步骤对残差进行编码。从这类残差中解码(即，重构)编码块经常导致原始块与重构块之间的失真。

使用空间相似性的编码可以被称为帧内预测。使用帧内预测模式，帧内预测可以尝试使用视频流的当前帧的当前块外围的像素来预测该当前块的像素值。当前块外围的像素是在当前帧内但是在当前块之外的像素。块外围的像素可以是与当前块相邻的像素。使用块外围的哪些像素可以取决于帧内预测模式和/或帧的块的扫描顺序。例如，在光栅扫描顺序中可以使用当前块(即正被编码或解码的块)上方的外围像素和/或当前块左侧的外围像素。

使用时间相似性的编码可以被称为帧间预测。帧间预测使用表示先前代码化的块相对于当前块的时间位移的运动矢量。可以使用诸如运动搜索的运动估计方法来识别运动矢量。在运动搜索中，参考帧的一部分可以被平移至一系列(succession)位置以形成预测器块，所述预测器块可以从当前帧的一部分中减去以形成一系列残差。可以选择对应于具有例如最小残差的位置的水平和/或垂直平移作为运动矢量。可以在编码的比特流中对运动矢量以及对参考帧的指示进行编码。

在一些情况下并且为了进一步最小化残差，可以组合多于一个预测器块来预测当前块。这可被称为复合预测。复合预测可以有时显著地减少要代码化的残差误差信号。

可以通过组合使用帧间预测模式和帧内预测模式确定的两个或多个预测器来创建复合预测器。例如，复合预测器可以通过组合帧内生成的预测器与帧间生成的预测器(即，帧内+帧间)、通过组合两个帧内生成的预测器块(即，帧内+帧内)、或通过组合两个帧间生成的预测器块(即，帧间+帧间)来生成。例如，复合帧间预测可以采用第一运动矢量以从第一帧的第一块获取第一预测器块以及采用第二运动矢量以从第二帧的第二块获取第二预测器块。第一帧和第二帧被称为参考帧。参考帧可以都是过去的，都是将来的或者是其某些组合。第二运动矢量可以独立于第一运动矢量或者从第一运动矢量取得。编码器将第一运动矢量、第二运动矢量、第一参考以及第二参考帧传达(convey)(例如，编码在编码的比特流中)到解码器。复合预测器可以使用两个或更多个预测器块。

在形成复合预测器时(例如，在两个预测器块的情况下)，视频编解码器(即编码器和/或解码器)组合共置的第一预测器块的像素和第二预测器块的像素。例如，为了获取位于复合预测器块的像素位置(行＝r，列＝c)的复合预测器块的像素的像素值，视频编解码器将位于第一预测器块中的位置(r，c)处的第一像素的第一像素值与位于第二预测器块中的位置(r，c)处的第二像素的第二像素值组合。

组合可以对复合预测器块的全部像素使用相同的权重掩码。也就是说，使用等式(1)，使用掩码{w1,(1-w1)}，权重w1被应用于第一预测器块的每个像素值，并且权重(1-w1)被应用于第二预测器块的每个像素值：

current[r][c]＝p1[r][c]*w1+p2[r][c]*(1-w1) (1)

在等式(1)中，current[r][c]是位置(r，c)处的复合预测器块的像素的像素值，p1[r][c]是第一预测器块中的共置的像素值以及p2[r][c]是第二预测器块中的共置的像素值。在示例中，使用掩码{1/2,1/2}对来自第一预测器块和第二预测器块的像素相等地加权。在掩码{w1,(1-w1)}中，权重w1在本文中可称为基线权重并且权重(1-w1)可称为互补基线权重。在使用多于两个预测器块的情况下，掩码可以包含更多权重。例如，掩码可以明确地或隐含地包括针对预测器中的每个的权重。掩码的权重可以相加达到1。

在另一示例中，权重可以基于对第一预测器块分割和第二预测器块分割而变化。例如，分割可以是基于检测第一和第二预测器块中的边缘。在另一示例中，分割可以是基于将第一和第二预测器块分割成四象限或两等份。权重可以基于第一像素值落在第一预测器块内的哪个分割、第二像素值落在第二预测器块内的哪个分割或其组合来分配。这样，加权是基于空间的(即，基于像素的位置)。例如，在预测器块被分割为左侧和右侧的情况下，可能是第一预测器块的左侧是比第二预测器块的左侧更好的当前块的左侧的预测器。因此可以更多地加权第一预测器块的左侧内的像素位置。在任何情况下，掩码的指示(即权重)可以在编码的比特流中从编码器发送到解码器。在示例中，可以隐含地发送掩码的指示。例如，编码器和解码器可以先验地被配置为使用特定的掩码(例如，掩码{0.75,0.25})。因此编码器不需要在编码的比特流中编码掩码。对掩码进行编码可以意味着对掩码的值或掩码的量化值进行编码。编码掩码可以意味着编码掩码的值或掩码的量化值。编码掩码可以意味着编码掩码的指示。例如如下所述，指示可以是掩码索引。

在本发明的实现中，可通过从预测器块本身的像素的值中取得权重和/或通过调节要应用于预测器块的像素的权重(即，在生成复合预测器时)来改进压缩性能。

例如，如下面进一步说明的，可以使用预测器块的像素的比较(例如差异)来生成要应用于第一预测器以及第二预测器的像素的调节值和/或权重。

例如，如下面进一步说明的，如果基线权重w1将与第一预测器块一起使用，则可以使用至少第一预测器块的像素的子集来确定调节值。在组合预测器块以生成复合预测器块时，调节值可以应用于基线权重w1。可以使用第一预测器块的像素(以及使用第二预测器块的像素)针对第一预测器块(以及第二预测器块)中的每个像素生成不同的调节值。使用第一预测器块的像素意味着使用第一预测器块的像素的值。

编解码器(即编码器和/或解码器)可以至少部分地基于预测器块的像素值来确定要被应用于复合预测的权重。由于解码器可以使用编码器在编码的比特流中传达的信息来精确地重新创建(由编码器使用的)预测器块，所以解码器可以生成相同的权重(即所取得的权重)以及相同的最终复合预测器块而无需与要应用于预测器块的像素的权重有关的附加信息。可以在编码的比特流中传达基线权重(例如默认、初始、平均权重)并且解码器可以使用所取得的权重(即调节值)来调节(即调整)基线权重。

如上所述，可以针对每个像素使用不同的权重并且权重可以取决于预测信号(例如，预测器块的像素值)本身。“预测信号”包括指示至少一个像素值的信息。“像素值”包括与像素相关联的值，诸如颜色或亮度。不同的权重可以是经调节的(即经调整的)一些基权重(即基线权重)的权重。基线权重可以是应用于预测器块的像素中的每个的权重。相比之下，经调节的权重是针对像素计算的权重。本文的公开内容同样地应用于像素的色度和亮度分量和/或红-绿-蓝(RGB)分量。也就是说，例如可以针对色度分量计算经调节的权重；并且可以针对色度分量确定不同或相同的经调节的权重。

在帧间-帧间复合预测器块的情况下，给定第一运动矢量以及第二运动矢量，第一预测器块以及第二预测器块可以分别从第一参考帧以及第二参考帧生成。应用于第一预测器块的像素的权重以及应用于第二预测器块的像素的权重可取决于第一预测器块和第二预测器块本身的性质(例如像素值)。尽管本文使用两个预测器块(即第一预测器块以及第二预测器块)，但是本公开的教导不限于此。任何数量的预测器块可以用于视频代码化的相关复合预测模式。

如下面进一步描述的，编码器可以传达编码的比特流中的附加信息(下面将进一步描述)并且解码器可以接收和使用编码的比特流中的附加信息，所述附加信息进一步指导解码器的权重生成过程。权重生成过程是在经由复合预测组合预测器块的像素时确定将哪些相应的权重应用于预测器块的像素的过程。附加信息可以包括基线权重的调整方向、是否使用互补掩码、以及预测器块中的至少一些的一个或多个峰值像素值中的一个或多个。

调整方向可以指示在使用预测器像素计算复合像素时如何针对预测器像素调整基线权重。例如，调整方向可以指示基线权重是否要向上(即增加值)和向下(即减少)调整。例如，调整方向可以指示，针对预测器块的预测器像素，随着预测器像素的特性增加或减小而是向上还是向下调节基线权重。如下面进一步描述的，该特性可以关于像素差、像素的平滑度或者可以关于峰值像素值。调整方向可指示随着第一预测器块与第二预测器块中共置的像素之间的像素值差或相对平滑度差增大或减小而是增大还是减小基线权重。

互补掩码指示符可以指示权重掩码{(1-w1),w1}而不是标准的权重掩码{w1,(1-w1)}将被相应地应用于第一预测器块和第二预测器块。

峰值像素值指示如何基于衰减函数调节基线权重。衰减函数可以在峰值像素值处具有最大值并且随着预测器块的像素值与峰值之间的差增大而衰减。在首先描述可以在其中实现本公开的环境之后，在本文中描述其他细节。

本文首先参考本教导可以合并于其中的系统来描述用于视频代码化的相关复合预测模式。

图1是视频编码和解码系统100的示意图。发送站102可以是例如具有诸如图2中所描述的硬件的内部配置的计算机。然而，发送站102的其他合适的实现是可能的。例如，发送站102的处理可以分布在多个设备之中。

网络104可以连接发送站102和接收站106以用于视频流的编码和解码。具体来说，可在发送站102中编码视频流并且可以在接收站106中对编码的视频流进行解码。网络104可以是例如因特网。网络104也可以是局域网(LAN)、广域网(WAN)、虚拟专用网络(VPN)、移动电话网络或在此示例中用于将视频流从发送站102传送到接收站106的任何其他手段。

在一个示例中，接收站106可以是具有诸如图2中所描述的硬件的内部配置的计算机。然而，接收站106的其他适当的实现是可能的。例如，接收站106的处理可以分布在多个设备之中。

视频解码和编码系统100的其他实现是可能的。例如，实现可以省略网络104。在另一实现中，视频流可以被编码并且任何被存储以用于稍后向接收站106或具有存储器的任何其他设备传输。在一个实现中，接收站106(例如经由网络104、计算机总线和/或一些通信路径)接收编码的视频流并存储该视频流以用于随后解码。在一个示例实现中，实时传输协议(RTP)用于通过网络104传输编码的视频。在另一实现中，可以使用除RTP之外的传输协议，例如基于超文本传输协议(HTTP)的视频流传输协议。

例如在用在视频会议系统时，发送站102和/或接收站106可以包括如下所述的编码并且解码视频流的能力。例如，接收站106可以是视频会议参与者，所述视频会议参与者从视频会议服务器(例如，发送站102)接收编码的视频比特流以解码和查看并进一步编码和向视频会议服务器传输它自己的视频比特流以用于由其他参与者解码和查看。

图2是可以实现发送站或接收站的计算设备200的示例的框图。例如，计算设备200可以实现图1的发送站102和接收站106中的一个或两者。计算设备200可以是包括多个计算设备的计算系统的形式或者是单个计算设备的形式，例如移动电话、平板电脑、膝上型计算机、笔记本电脑、台式计算机等。

计算设备200中的CPU 202可以是中央处理单元。或者CPU 202可以是能够操作或处理现在存在的或以后开发的信息的任何其他类型的设备或多个设备。尽管公开的实现可以用所示出的例如CPU 202的单个处理器来实现，但可以使用多于一个处理器来实现速度和效率上的优势。

在一个实现中计算设备200中的存储器204可以是只读存储器(ROM)设备或随机存取存储器(RAM)设备。任何其他适当类型的储存器设备可以用作存储器204。存储器204可以包括由CPU 202使用总线212访问的代码和数据206。存储器204可以进一步包括操作系统208和应用程序210，所述应用程序210包括允许CPU 202执行此处所描述的方法的至少一个程序。例如，应用程序210可以包括应用1到N，其进一步包括执行这里所描述的方法的视频代码化应用。计算设备200也可以包括二级储存器214，所述二级储存器214可以是例如与移动的计算设备200一起使用的存储卡。因为视频通信会话可能包括大量的信息，它们可以全部或部分地存储在二级储存器214中并且根据需要加载到存储器204中以便处理。

计算设备200也可以包括一个或多个输出设备，诸如显示器218。在一个示例中，显示器218可以是将显示器与能够操作以感测触摸输入的触敏元件组合的触敏显示器。显示器218可以经由总线212耦合到CPU 202。除了显示器218之外或者作为对显示器218的替换，可以提供允许用户编程或以其他方式使用计算设备200的其他输出设备。在输出设备是显示器或包括显示器时，显示器可以以多种方式实现，包括由液晶显示器(LCD)、阴极射线管(CRT)显示器或发光二极管(LED)显示器，诸如有机LED(OLED)显示器。

计算设备200也可以包括图像感测设备220或与图像感测设备220通信，图像感测设备220例如是相机或现在存在或以后开发的可以感测的图像(诸如操作计算设备200的用户的图像)的任何其他图像感测设备220。图像感测设备220可以被定位使得它指向操作计算设备200的用户。在一个示例中，图像感测设备220的位置和光轴可以被配置使得视场包括与显示器218直接相邻的并且从其中可以看见显示器218的区域。

计算设备200也可以包括声音感测设备222或与声音感测设备222通信，声音感测设备例如是麦克风或现在存在或以后开发的可以感测计算设备200附近声音的任何其他声音感测设备。声音感测设备222可以被放置使得它指向操作计算设备200的用户并且可以被配置为接收在用户操作计算设备200时由用户产生的声音，例如语音或其他话语。

尽管图2将计算设备200的CPU 202和存储器204描绘为被集成到单个单元，但是可以利用其他配置。CPU 202的操作可以分布在可以直接耦合或跨局域网或其他网络耦合的多个机器之中(每个机器具有一个或多个处理器)。可以跨多个机器分布存储器204，诸如基于互联网的存储器或执行计算设备200的操作的多个机器中的存储器。尽管此处描绘为单个总线，但是计算设备200的总线212可由多个总线组成。此外，二级储存器214可以直接耦合到计算设备200的其他部件或可以经由互联网访问并且可以包括诸如存储卡的单个集成单元或诸如多个存储卡的多个单元。因此计算设备200可以在多种配置中实现。

图3是要被编码并后续解码的视频流300的示例的示意图。视频流300包括视频序列302。在下一级，视频序列302包括大量相邻帧304。尽管将三帧描述为相邻帧304，但是视频序列302可以包括任何数量的相邻帧304。然后可以进一步将相邻帧304细分为单独的帧，例如帧306。在下一级，可以将帧306分成一系列分段308或平面。例如，分段308可以是允许并行处理的帧的子集。分段308也可以是可以将视频数据分离成单独的颜色的帧的子集。例如，彩色视频数据的帧306可以包括亮度平面和两个色度平面。可以以不同的分辨率对分段308进行采样。

无论帧306是否被分成分段308，可以进一步将帧306细分为块310，所述块310可以包括与例如帧306中的16x16像素对应的数据。也可以将块310布置为包括来自像素数据的一个或多个分段308的数据。块310也可以具有任何其他适当尺寸，诸如4x4像素、8x8像素、16x8像素、8x16像素、16x16像素或更大。

图4是根据本公开的实现的编码器400的框图。如上所述，编码器400可以诸如通过提供存储在例如存储器204的存储器中的计算机软件程序在发送站102中实现。计算机软件程序可以包括机器指令，所述机器指令在被诸如CPU 202的处理器执行时使得发送站102以本文描述的方式来编码视频数据。编码器400也可以作为包括在例如发送站102中的特定的硬件来实现。编码器400具有使用视频流300作为输入执行(由实线连接线所示出的)正向路径中的各种功能以产生编码的或压缩的比特流420的以下级：帧内/帧间预测级402、变换级404、量化级406，以及熵编码级408。编码器400也可以包括(由虚线连接线所示出的)重构路径以重构用于后面的块的编码的帧。在图4中，编码器400具有执行重构路径中的各种功能的以下级：去量化级410、逆变换级412、重构级414和环路滤波级416。可以使用编码器400的其他结构变化来编码视频流300。

在呈现视频流300以用于编码时，可以以块为单元来处理相应的相邻帧306。在帧内/帧间预测级402，可以使用帧内预测(也称作帧内预测)或帧间预测(也称作帧间预测)或二者的组合来对块进行编码。在任何情况下，可以形成预测器块。在帧内预测的情况下，可以从先前已被编码和重构的当前帧中的样本中形成预测器块的全部或部分。在帧间预测的情况下，可以从一个或多个使用运动矢量确定的先前构建的参考帧中的样本中形成预测器块的全部或部分。

接下来仍参考图4，可以在帧内/帧间预测级402处从当前块中减去预测块以产生残差块(也称作残差)。变换级404使用基于块的变换将残差变换为例如频域中的变换系数。这类基于块的变换包括例如离散余弦变换(DCT)和非对称离散正弦变换(ADST)。其他基于块的变换是可能的。此外，可以将不同变换的组合应用于单个残差。在变换的应用的一个示例中，DCT将残差块变换到频域，在频域中变换系数值基于空间频率。最低频率(DC)系数位于矩阵左上角和最高频率系数位于矩阵右下角。值得注意的是，预测器块以及由此产生的残差块的尺寸可以与变换块的尺寸不同。例如，预测器块可以被分割(split)成对其应用单独变换的较小块。

量化级406使用量化器值或量化级将变换系数转换为被称作量化的变换系数的离散量值。例如，变换系数可以除以量化器值并被截断。然后由熵编码级408对量化的变换系数进行熵编码。可以使用任何数量的技术来执行熵代码化，包括令牌和二叉树。将熵编码的系数与用于对块进行解码的可以包括例如所使用的预测类型、变换类型、运动矢量和量化器值的其他信息一起输出到压缩的比特流420。用于解码块的信息可以被熵代码化为压缩的比特流420内的块、帧、条带和/或节头。压缩的比特流420还可以称为编码的视频流或编码的视频比特流，并且这些术语在本文中可互换使用。

图4中的(由虚线连接线所示出的)重构路径可用于确保(以下所描述的)编码器400和解码器500二者使用相同的参考帧和块解码压缩的比特流420。重构路径执行与在以下更详细讨论的解码处理期间发生的功能类似的功能，包括在去量化级410处去量化经量化的变换系数并且在逆变换级412处逆变换去量化的变换系数以产生导数残差块(也称作导数残差)。在重构级414处，可以将在帧内/帧间预测级402处预测的预测器块与导数残差相加以创建重构块。可将环路滤波级416应用于重构块以减少诸如块伪像的失真。

可以使用编码器400的其他变化来编码压缩的比特流420。例如，基于非变换的编码器400可以针对某些块或帧直接量化残差信号而无需变换级404。在另一实现中，编码器400可以具有组合到单一级中的量化级406和去量化级410。

图5是根据本公开的实现的解码器500的框图。解码器500可以例如通过提供存储在存储器204中的计算机软件程序在接收站106中实现。计算机软件程序可以包括机器指令，所述机器指令在被诸如CPU 202的处理器执行时使得接收站106以下图6中所描述的方式解码视频数据。解码器500也可以在包括在例如发送站102或接收站106中的硬件中实现。与上面所描述的编码器400的重构路径类似，在一个示例中，解码器500包括从压缩的比特流420执行各种功能以产生输出视频流516的以下级：熵解码级502、去量化级504、逆变换级506、帧内/帧间预测级508、重构级510、环路滤波级512、和去块滤波级514。可以使用解码器500的其他结构变化来解码压缩的比特流420。

在呈现压缩的比特流420以用于解码时，可以通过熵解码级502来解码压缩的比特流420中的数据元素以产生量化的变换系数的集合。去量化级504对量化的变换系数进行去量化(例如，通过将量化的变换系数乘以量化器值)，并且逆变换级506使用所选择的变换类型对去量化的变换系数进行逆变换以产生可以与编码器400中的逆变换级412所创建的导数残差相同的导数残差。使用从压缩的比特流420解码的头信息，解码器500可以使用帧内/帧间预测级508创建与在编码器400中例如在帧间/帧内预测级402处所创建的预测器块相同的预测器块。在重构级510，将预测器块与导数残差相加以创建重构块。可以将环路滤波级512应用于重构块以减少块伪像。可以将其他滤波应用于重构块。在示例中，将去块滤波级514应用于重构块以减少块失真，并且结果作为输出视频流516输出。也可以将输出视频流516称作解码的视频流并且这些术语将在此处可互换地使用。

解码器500的其他变化可以用于解码压缩的比特流420。例如，解码器500可以产生输出视频流516而无需去块滤波级514。在解码器500的一些实现中，在环路滤波级416之前应用去块滤波级514。另外或替换地，除环路滤波级416之外，编码器400还包括解块滤波级。

图6是根据本发明的实现的用于当前像素块的复合运动预测的过程600的流程图。过程600可以在诸如编码器400的编码器或诸如解码器500的解码器中实现。

过程600可以例如实现为可以由诸如发送站102的计算设备执行的软件程序。软件程序可以包括可以存储在诸如存储器204或二级存储器214的存储器中的机器可读指令，并且所述机器可读指令可以由诸如CPU 202的处理器执行以使计算设备执行过程600。在至少一些实现中，过程600可以全部或部分地由编码器400的帧内/帧间预测级402执行。

过程600可以由诸如解码器500的解码器执行。过程600可以被实现为例如由诸如接收站106的计算设备执行的软件程序。过程600可以全部或部分地由解码器500的帧内/帧间预测级508执行。例如，可以通过将指令存储在诸如接收站106的存储器204的存储器中以由诸如CPU 202的处理器执行以执行过程600的实现。

可以使用专用硬件或固件来实现过程600。一些计算设备可以具有多个存储器、多个处理器或两者。可以使用不同的处理器、存储器或两者来分布过程600的步骤或操作。以单数形式使用术语“处理器”或“存储器”包括可用于执行所述步骤中的一些或全部的具有一个处理器或一个存储器的计算设备以及具有多个处理器或多个存储器的设备。

过程600基于加权来确定复合预测器块的像素位置的像素值。加权可以是基于第一预测器块的第一像素值和第二预测器块的第二像素值。过程600可以确定复合预测器块中的每个位置的相应的像素值。在示例中，过程600将复合预测器块的至少一部分确定为来自两个或更多个预测器块的像素值的加权。预测器像素值中的至少一个的加权可以是基于预测器块中的至少一个中的像素的像素值。

在602处，过程600确定第一预测器块和第二预测器块以预测当前像素块。如本文所使用的，“确定”意指以无论任何方式选择、构建、识别、指定、接收或确定。例如，过程600可以接收如上面关于编码器400的帧内/帧间预测级402或解码器500的帧内/帧间预测级508所描述的第一运动矢量、第二运动矢量和参考帧信息。过程600相应地确定第一预测器块和第二预测器块。或者，过程600通过接收由先前步骤确定的第一预测器块和第二预测器块来确定第一预测器块和第二预测器块。第一预测器块和第二预测器块可以是帧间+帧间预测器块、帧间+帧内预测器块或帧内+帧内预测器块的任何组合。可以在602处确定任何数量(例如，大于两个)的预测器块。本文的教导适用于任何数量的预测器块。

在604处，过程600基于是基于第一预测器块的像素值和第二预测器块的像素值的加权来确定复合预测器像素块的像素的像素值。如上所指示的，每个像素的加权取决于预测信号本身。也就是说，加权取决于第一预测器块和第二预测器块的像素的像素值。现在提供基于第一预测器块的第一像素值和第二像素值的加权的非限制性示例。

为了最小化解码器复杂性，期望权重生成过程是简单的过程。可以基于预测器像素的特性来调节预测器像素(即第一预测器块或第二预测器块的像素)的加权。下面提供特性的实例。预测器像素中的每个(即，要组合以形成复合预测器的复合像素的预测器像素)可以具有特性的相应特征值。例如，在两个预测器块的情况下，第一预测器块的第一预测器像素的特性的第一特性值可用于调节基线权重并且第二预测器块的共置的第二预测器像素的特征的第二特征值可用于调节基线权重。然后将经调节的基线权重应用于第二预测器块的第一预测器像素和第二预测器像素以生成复合预测器像素。如上所指示的，第一预测器像素和第二预测器像素共置。

在第一示例中，权重生成过程进行如下：给定第一预测器块和第二预测器块，并且针对复合预测器块中的每个像素位置，过程600确定第一预测器块和第二预测器块中共置的像素之间的绝对差异(例如特性)。绝对差异可用于设置加权。在实现中，可以基于差异来调节(例如调整、修改、缩放)基线权重。因此，加权进一步是基于基线权重。

图7是根据本公开的实现的使用像素差异来调节基线权重的示例700。在此示例中，第一预测器块的第一像素与第二预测器块的第二像素之间的差异是用于调节加权的特性。示例700包括第一预测器块710、第二预测器块720和复合预测器块730。通过组合预测器块(例如第一预测器块710和第二预测器块720)的共置的像素来生成复合预测器块730的像素。复合预测器块730的像素值将基于第一预测器块710和第二预测器块720的像素值的加权而取得。根据等式(2)计算用于位于复合预测器块730的像素位置(r，c)处的像素的经调节的权重。

在等式2中，modulated[r][c]是要应用于位置(r,c)处的复合预测器块的像素值的权重(即，经调整的或经调节的基线权重)，p1[r][c]是第一预测器块中的位置(r，c)处的像素值，p2[r][c]是第二预测器块中的位置(r，c)处的像素值，weight是基线权重并且maxvalue是最高可能像素值。尽管本文使用“像素值”，但是本文的教导同样地应用于像素的颜色分量。颜色分量可包括亮度和色度分量。颜色分量可以包括像素的RGB颜色分量。

利用等式(2)的调节函数，随着像素值的差异增加，第一预测器块被加权更多并且基线权重(weight)接近1。此外，随着像素值的差异增加，第二预测器块被加权更少(即，1-weight)并且第二预测器块的基线权重接近0。这是因为正值被加到与第一预测变量块一起使用的基线权重(weight)。在第一预测器块和第二预测器块的相应的像素具有相同值时，将基线权重(weight)(例如0.75)用于第一预测器块像素。

示例700的调节函数仅是调节函数的一个示例。可以使用其他函数。例如，另一调节函数可以根据差异而不是差异的绝对值来向上或向下调整基线权重(weight)。

编码器可以编码并且解码器可以从编码的比特流中解码调节方向。调节方向可以指示向上值和向下值。例如可以用比特值0指示向上值并且可以用比特值1指示向下值。其他指示是可能的。在调节方向是向上值时，随着预测器块与第二预测器块中的相应的像素值之间的差异增加向上调节第一基线权重。随着差异增加，这种调节函数将更高地加权第一预测器块的像素。在调节方向是向下值时，随着差异的增加向下调节第一基线权重。另一方面，这种调节有利于第二预测器块的像素-即，由于第一基线权重与第二基线权重的总和为1，通过减小第一预测器块的第一基线权重，第二预测器块的第二基线权重对应地增加。

在编码的比特流中指示基线权重时，可以假设加权方案的对应值将与第一预测器块一起使用。例如可以从加权方案中选择基线权重。加权方案的示例包括基线权重{0.75，0.6，0.5，0.25}。加权方案是编码器、解码器或编码器/解码器对可以使用的基线权重的集合。如果指示了比特01，则加权方案的基线权重(weight)0.6将用于第一预测器块并且互补基线权重0.4(即(1-weight))将与第二预测器块一起使用。然而在一些实例中，编码器可以确定互补基线权重将与第一预测器块一起使用。因此，编码器在编码的比特流中编码并且解码器从编码的比特流中解码用于指示第一基线权重将与第二预测器块一起使用并且第二基线权重(即，互补基线权重)将与第一预测器块一起使用的互补掩码指示符(即，语法元素)。例如，如果指示了基线方案01(即十进制值1)并且指示了互补掩码信号，则权重0.4与第一预测器块一起使用并且权重0.6与第二预测器块一起使用。

在示例700中，假设基线权重(weight)的值为0.75并且最高可能像素值maxvalue为255。使用第一预测器块的像素712(即像素值112)和第二预测器块的像素722(即像素值111)，将用于在复合预测器块的像素位置(0，0)处的像素732的经调节的权重如下计算：

并且使用第一预测器块的像素714(即像素值248)和第二预测器块的像素724(即像素值57)，将用于在复合预测器块的像素位置(1，2)处的像素732的经调节的权重如下计算：

使用经调节的权重，可以计算复合预测值块的像素值。等式(1)可用于计算像素值。例如，像素732和像素734的像素值可以计算为：

current[0][0]＝112*0.75098+722*(1-0.75098)＝112

current[1][2]＝248*0.937255+57*(1-0.937255)＝236

注意到由于像素值是整数值，因此经计算的像素值可以是舍入的或截断的——在上面的示例中，经计算的值被舍入到最接近的整数。

基线权重(weight)可以作为配置提供给编码器和解码器。可以将基线权重(weight)设置在编码器和解码器中。或者，基线权重(weight)可以在编码的比特流中由编码器提供给解码器。编码器可以编码将由解码器使用的基线权重weight的索引。

再次参考加权方案{0.75，0.6，0.5，0.25}，编码器可以用2比特指示要使用哪个基线权重。也就是说，编码器可以根据加权方案指示权重的索引。可以将比特00编码在编码的比特流中以指示基线权重0.75；并且可以编码比特10以指示要使用0.5基线权重。基线权重(weight)可以指示基线权重将用于第一预测器块。因此，解码器可以确定基线权重(1-weight)将用于第二预测器块。因此，基线权重表示第一基线权重和第二基线权重的掩码，即掩码{weight，(1-weight)}。或者，可以编码基线权重(而不是编码索引)。例如，权重可以在比特流中粗略地传输并且可以基于粗略传输而采用几个不同的值。

在第二示例中，预测器块的每个像素周围的每个预测器块的平滑度可用于确定加权或调节基线权重。因此，用于调节加权的特性可以是关于第一预测器块的第一像素的第一平滑度和关于第二预测器块的第二共置的像素的第二平滑度。

像素周围的平滑度可以指示像素周围的噪声。例如，平滑度越高，噪声越低；并且平滑度越低，噪音越高。如果一个预测器块的像素位置周围的局部平滑度高于另一个预测器块的相同像素位置处的局部平滑度，则前一个预测器块可以具有更高的权重。或者在使用基线权重时，可以向上调整或调节更平滑的预测器像素的基线权重。可以通过检查周围像素来确定像素位置处的平滑度。例如，可以使用例如以像素位置为中心的3×3窗口来确定像素位置处的平滑度。可以使用任何窗口尺寸。可以使用像素周围的3×3窗口的统计数值(例如，范围、标准差等)来确定像素周围的平滑度。可以使用用于确定平滑度的其他方法。第一平滑度和第二平滑度的相对值可用于调节预测器块的基线权重。例如，等式3可用于调节基线权重：

在等式3中，modulated1[r][c]、smoothness1[r][c]、modulated2[r][c]和smoothness2[r][c]分别是第一预测器块的位置(r，c)处的第一像素的基线权重(weight)的经调节的权重、第一像素位置处的平滑度、第二预测器块的位置(r，c)处的第二像素的经调节的权重和第二像素位置处的平滑度。weight是与第一预测器块一起使用的基线权重并且(1-weight)是与第二个预测器块一起使用的基线权重。

如参考图7所描述的，可以在编码的比特流中传达基线权重。可以根据加权方案中选择基线权重。如参考图7所述的，调节方向也可以由编码器编码并由解码器解码和使用。如参考图7所述的，互补掩码指示符也可以由编码器编码并由解码器解码和使用。

在第三示例中，每个预测器块的一个(或多个)峰值像素值可用于确定调节值。在示例中，编码器可以发送用于复合预测的每个预测器块的一个峰值。可以使用低精度(即，峰值的粗略近似)由编码器对峰值进行编码。例如，峰值可以是灰度像素值，每个像素值可以用少量比特(例如2或3比特)进行传送。在一种颜色根据预测器块比其他颜色更好地预测时，实施例可能是有用的。对于预测器块，在值上与峰值更接近的预测器块像素可以比在值上距峰值更远的预测器块像素被加权更多。

用于预测器块的像素位置的经调节的权重可以通过在像素值等于或近似于峰值时具有最大值并且随着像素值与峰值像素值之间的差异增加而衰减的函数来获取。如果第一预测器块的第一像素值比第二预测器块的共置的第二像素值更接近(即在值上大致等于)第一预测器块的峰值像素值，则可以假设第一预测器是比第二预测器块更准确的用于当前块的像素的预测器。

可以使用等式(4)使用经调节的权重的相对加权来获取用于确定复合预测器块的像素的值的最终加权：

在等式(4)中，w1和w2是使用所描述的衰减函数确定的经调节的基线权重，p1[r][c]和p2[r]c]分别是第一预测器块和第二预测器块的位置(r，c)处的像素值，并且current[r][c]是复合预测器块的位置(r，c)处的像素(即要预测的像素)。

如上所述，过程600可以包括解码基线权重，使得加权可以进一步是基于基线权重。基线权重可以指示包括第一基线权重和第二基线权重的掩码。第一基线权重可以与第一预测块一起使用并且第二基线权重可以与第二预测块一起使用。基线权重可以指示来自包括权重0.75、0.6、0.5和0.25的加权方案的权重。如上所述，加权可以基于第一预测块的第一像素和第二预测块的共置的第二像素的特性来调节。特性可以是第一预测块的第一像素与第二预测块的第二像素之间的差异。特性可以是关于第一像素的第一平滑度和关于第二像素的第二平滑度。此外如上所述，过程600可以解码互补掩码指示符，并且基于互补掩码指示符可以将第一基线权重与第二预测块一起使用并将第二基线权重与第一预测块一起使用。

如上所述，过程600可以解码具有向上值或向下值的调节方向。在调节方向为向上值时，第一基线权重随着差异的增加而向上调节。在调节方向为下降值时，第二基线权重随着差异的增加向下调节。

在实现中，基于是基于第一预测块的像素值和第二预测块的像素值的加权来确定当前像素块的像素的像素值可以包括：识别第一预测块的第一峰值，确定第一预测块的第一像素的第一权重，并且至少基于第一权重和第一像素来确定像素值。

图8是根据本公开的实现的用于使用第一预测器块和第二预测器块来预测当前像素块的复合预测的过程800的流程图。过程800可以在诸如编码器400的编码器中实现。

过程800可以实现为例如可以由诸如发送站102的计算设备执行的软件程序。软件程序可以包括可以存储在诸如存储器204或二级存储器214的存储器中的机器可读指令，并且所述软件程序可以被诸如CPU 202的处理器执行，以使计算设备执行过程800。在至少一些实现中，过程800可以全部或部分地由编码器400的帧内/帧间预测级402执行。

可以使用专用硬件或固件来实现过程800。一些计算设备可以具有多个存储器、多个处理器或两者。可以使用不同的处理器、存储器或两者来分布过程800的步骤或操作。使用单数形式的术语“处理器”或“存储器”包括可用于执行一些或全部所述步骤的具有一个处理器或一个存储器的计算设备以及具有多个处理器或多个存储器的设备。

过程800可以接收或确定第一预测器块和第二预测器块。可以使用任何数量的预测器块，不仅第一预测器块和第二预测器块。

在802处，过程800对基线权重进行编码。基线权重可以由解码器解码和使用以用于通过加权第一预测器块和第二预测器块来生成复合预测器像素块。在804处，过程800对第一预测器块的峰值进行编码。第一预测器块的峰值和第一像素值用于调节复合预测器像素块的共置的像素值的基线权重。峰值如上面参考第三示例所述。

过程800还可以包括编码基线权重的调节方向。过程800还可以包括编码对使用互补掩码的指示。响应于指示是第一值，解码器将第一基线权重与第一预测器块一起使用并且使用与第二预测器块一起使用的第二基线权重。响应于指示是第二值，解码器将第一基线权重与第二预测器块一起使用并且使用与第二预测器块一起使用的第一基线权重，并且其中第一基线权重和第二基线权重的总和是一(1)。调节方向和对使用互补掩码的指示如上面参考图7所述。

图9是根据本公开的第二实现的用于生成视频的当前块的复合预测器块的过程900的流程图。过程900可以在诸如编码器400的编码器或诸如解码器500的解码器中实现。

过程900可以实现为例如可以由诸如发送站102的计算设备执行的软件程序。软件程序可以包括可以存储在诸如存储器204或二级存储器214的存储器中的机器可读指令，并且所述软件程序可由诸如CPU 202的处理器执行，以使计算设备执行该过程900。在至少一些实现中，过程900可以全部或部分地由编码器400的帧内/帧间预测级402执行。

过程900可以由诸如解码器500的解码器执行。过程900可以被实现为例如可以由诸如接收站106的计算设备执行的软件程序。过程900可以全部或部分地由解码器500的帧内/帧间预测级508执行。例如，可以通过将指令存储在诸如接收站106的存储器204的存储器中以由诸如CPU 202的处理器执行来执行过程900的实现。

可以使用专用硬件或固件来实现过程900。一些计算设备可以具有多个存储器、多个处理器或两者。可以使用不同的处理器、存储器或两者来分布过程900的步骤或操作。使用单数形式的术语“处理器”或“存储器”包括具有可用于执行一些或全部所述步骤的一个处理器或一个存储器的计算设备以及具有多个处理器或多个存储器的设备。

在902处，过程900针对当前块生成包括第一预测器像素的第一预测器块的预测器块。可以如上面参考过程600所描述的生成预测器块。在904处，过程900针对第一预测器像素中的第一预测器像素并使用至少第一预测器像素的子集，确定用于调节要应用于第一预测器像素的第一权重的第一调节值。在906处，过程900使用第一预测器像素、第一权重和第一调节值来生成复合预测器块。

第一权重可以从包括权重0.75、0.6、0.5和0.25的加权方案中选择。其他权重也是可能的。在由编码器实现时，过程900可以在诸如图4的压缩的比特流420的编码的比特流中编码第一权重。当由解码器实现时，过程900可以从诸如图5的压缩比特流420的编码的比特流中解码第一权重。过程900可以通过编码权重掩码的索引来代码化(即在由编码器实现时编码并且在由解码器实现时解码)第一权重。过程900可以通过编码第一权重的粗略值来代码化第一权重。

在示例中，预测器块包括第二预测器像素的第二预测器块。使用第一预测器像素和第一调节值生成复合预测器块可以包括对第二预测器像素中的第二预测器像素使用用于调节第一权重的补数的第二调节值。可以使用至少第二预测器像素的子集来确定第二调节值。在示例中，第一调节值可以基于第一预测器像素和第二预测器像素之间的差异来确定。在示例中，第一调节值可以使用第一预测像素周围的窗口中的平滑度来确定。窗口可以是以第一预测像素为中心的窗口并且窗口尺寸为3×3。

在示例中，可以使用在第一预测器块的预定像素值处具有最大值的衰减函数来确定第一调节值。可以将第一预测像素输入到衰减函数以确定第一调节值。

图10是根据本公开的第三实现的用于生成复合预测器块的过程1000的流程图。过程1000可以由如参考过程900所描述的编码器或解码器实现。过程1000可以实现为参考过程900所描述的软件程序。过程1000可以使用如参考过程900所描述的专用硬件或固件来实现。

在1002处，过程1000生成第一预测器块和第二预测器块。第一预测器块包括第一预测器像素。第二预测器块包括第二预测器像素。在1004处，过程1000确定第一预测器块的相应第一预测器像素的相应第一调节值。每个第一调节值使用第一预测器像素中的至少一些来确定。在1006处，过程1000确定第二预测器块的相应第二像素的相应第二调节值。每个第二调节值使用第二预测器像素中的至少一些来确定。在1008处，过程1000使用第一预测器像素、第一调节值、第二预测器像素和第二调节值来确定复合预测器块的像素的像素值。

在处理1000的示例中，第一预测器像素的第一调节值和第二预测器像素的第二调节值可以是基于第一预测器像素和第二预测器像素的特性。第一预测器像素和第二预测器像素位于用一处。在示例中，特性可以是第一预测器像素与第二预测器像素之间的差异。差异可以是绝对差异。在示例中，特性可以是关于第一预测器像素的第一平滑度和关于第二预测器像素的第二平滑度。在一个示例中，可以组合多于一个特性。例如，可以基于像素差异、平滑度、峰值或任何其他特性的任何组合来调节掩码权重。

在示例中，过程1000可以从编码的比特流中解码基线权重。基线权重可以指示包括第一基线权重和第一基线权重的补数的掩码。在示例中，每个第一调节值可以用于调节第一基线权重，并且每个第二调节值可以用于调节第一基线权重的补值。基线权重可以指示来自包括权重0.75、0.6、0.5和0.25的加权方案的权重。

在一个示例中，过程1000在由解码器实现时包括解码互补掩码指示符。基于互补掩码指示符，过程1000可以使用每个第一调节值来调节第一基线权重的补数以及使用每个第二调节值来调节第一基线权重。

在示例中，过程1000可以包括选择第一基线权重和第一基线权重的补数。每个第一调节值可用于调节第一基线权重并且每个第二调节值可用于调节第一基线权重的补数。过程1000还可以包括选择具有向上值或向下值的调节方向。在调节方向是向上值时，随着特性的增加向上调节第一基线权重。在调节方向是下降值时，随着特性的增加向下调节第一基线权重。

图11是根据本公开的第二实现的用于解码当前块的过程1100的流程图。过程1100针对当前块生成复合预测块。

过程1100可以由诸如解码器500的解码器执行。过程1100可以被实现为例如可以由诸如接收站106的计算设备执行的软件程序。过程1100可以全部或部分地由解码器500的帧内/帧间预测级508执行。例如，过程1100的实现可以通过将指令存储在诸如接收站106的存储器204的存储器中来由诸如CPU 202的处理器执行。

可以使用专用硬件或固件来实现过程1100。一些计算设备可以具有多个存储器、多个处理器或两者。可以使用不同的处理器、存储器或两者来分布过程1100的步骤或操作。使用单数形式的术语“处理器”或“存储器”包括可用于执行一些或全部所述步骤的具有一个处理器或一个存储器的计算设备以及具有多个处理器或多个存储器的设备。

在1102处，过程1100生成第一预测器块和第二预测器块。在1104处，过程1100从诸如图5的压缩的比特流420的编码的比特流解码权重掩码。在1106处，过程1100从权重掩码确定用作第一预测器块的像素的第一权重的基线权重和用作第二预测器块的像素的第二权重的互补基线权重。在1108处，过程1100针对第一预测器块的第一预测器像素，使用第一预测器块的至少一些像素来确定第一调节值。第一调节值可用于调节基线权重。在1110处，过程1100针对第二预测器块的第二预测器像素，使用第二预测器块的至少一些像素确定第二调节值。第二调节值可用于调节互补基线权重。第二预测器像素与第一像素预测器共置。在1112处，过程1100使用第一预测器像素、第二预测器像素、基线权重、互补基线权重、第一调节值和第二调节值来生成包括第三预测器像素的复合预测器。

在示例中，在基线权重具有第一值并且互补基线权重具有第二值的情况下，过程1100可以包括解码使用互补掩码的指示，并且响应于使用互补掩码的指示是第一值，使用第二值作为基线权重的值并且使用第一值作为互补基线权重，并且第一值和第二值相加达到1。

上述编码和解码的方面说明了一些编码和解码技术。然而应理解的是，编码和解码，如在权利要求中所使用的那些术语，可以表示对数据的压缩、解压缩、变换或任何其他处理或改变。

本文使用词“示例”或“实现”来表示用作示例、实例或说明的意思。不必将本文描述为“示例”或“实现”的任何方面或设计解释为比其他方面或设计更优选或更具优势。相反，使用词“示例”或“实现”旨在以具体方式呈现概念。如在本申请中所使用的，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或从上下文中清楚，否则“X包括A或B”旨在表示任何自然的包含性排列。也就是说，如果X包括A；X包括B；或者X包括A和B，那么在任何前述示例中满足“X包括A或B”。另外，除非另有说明或从上下文中清楚，本申请和所附权利要求中所使用的冠词“一”和“一个”通常应理解为表示“一个或多个”为指向单数形式。此外，在全文使用术语“实现”或“一个实现”并不旨在表示相同的实施例或实现，除非如此描述。

发送站102和/或接收站106的实现(以及存储在其上和/或由其执行的，包括由编码器400和解码器500执行的，算法、方法、指令等)可以在硬件、软件或其任何组合中实现。硬件可包括例如计算机、知识产权(IP)核、专用集成电路(ASIC)、可编程逻辑阵列，光学处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或任何其他适当的电路。在权利要求中，应该将术语“处理器”理解为单独地或组合地包括任何前述硬件。术语“信号”和“数据”可互换地使用。此外，发送站102和接收站106的部分不必一定以相同的方式实现。

此外，在一个方面，例如，发送站102或接收站106可以使用通用计算机或具有计算机程序的通用处理器来实现，所述计算机程序在被执行时执行本文所描述的相应的方法、算法和/或指令中的任何一个。另外或替代地，例如，可以使用专用计算机/处理器，所述专用计算机/处理器可以包括用于执行本文所描述的方法、算法或指令的任何一个的其他硬件。

发送站102和接收站106可以例如在视频会议系统中的计算机上实现。或者，发送站102可以在服务器上实现，并且接收站106可以在与服务器分离的设备(诸如手持通信设备)上实现。在此示例中，发送站102可以使用编码器400将内容编码为编码的视频信号，并将编码的视频信号发送到通信设备。继而，通信设备然后可以使用解码器500来解码编码的视频信号。或者，通信设备可以解码在通信设备上本地存储的内容，例如，发送站102未发送的内容。其他适当的发送站102和接收站106实现方案是可用的。例如，接收站106可以是通常固定的个人计算机而不是便携式通信设备，和/或包括编码器400的设备也可以包括解码器500。

此外，本公开的实现的全部或部分可以采用可从例如有形的计算机可用或计算机可读介质中访问的计算机程序产品的形式。计算机可用或计算机可读介质可以是任何能够例如有形地包括，存储，通信或传输程序以便由任何处理器使用或与处理器连接使用的设备。介质可以是，例如电子的，磁的，光的，电磁的或半导体的设备。其他适当的介质也是可用的。

已经描述了上述实施例，实现和方面以确保允许便于理解本公开，并且不限制本公开。相反，本公开旨在涵盖包含在所附权利要求范围内的多种修改和等同布置，所述范围应被赋予最广泛的解释以包含法律允许的所有这类修改和等同结构。

Claims (19)

1.一种用于生成视频的当前块的复合预测器块的方法，包括：

针对所述当前块生成预测器块，所述预测器块包括由第一预测器像素形成的第一预测器块以及由第二预测器像素形成的第二预测器块；以及

针对所述第一预测器像素中的第一预测器像素，使用至少所述第一预测器像素的子集，确定第一调节值，所述第一调节值用于调节要应用于所述第一预测器像素的第一权重，其中所述第一调节值是使用以下来确定的：关于所述第一预测器块的第一预测器像素的第一平滑度以及关于所述第二预测器块的共置的第二预测器像素的第二平滑度；

针对所述第二预测器像素中的第二预测器像素，使用至少所述第二预测器像素的子集，确定第二调节值，所述第二调节值用于调节要应用于所述第二预测器像素的所述第一权重的补数；以及

使用所述第一预测器像素、所述第二预测器像素、所述第一权重、所述第一权重的所述补数、所述第一调节值以及所述第二调节值来生成所述复合预测器块。

2.根据权利要求1所述的方法，其中，所述第一权重选自加权方案，所述加权方案包括权重0.75、0.6、0.5和0.25，所述方法进一步包括：

将所述第一权重编码在编码的比特流中。

3.根据权利要求1所述的方法，其中，所述第一调节值基于所述第一预测器像素与所述第二预测器像素之间的差异来确定。

4.根据权利要求1所述的方法，其中，所述第一调节值使用所述第一预测器像素周围的窗口中的平滑度来确定。

5.根据权利要求4所述的方法，其中，所述窗口以所述第一预测器像素为中心并且所述窗口的尺寸为3×3。

6.根据权利要求1所述的方法，

其中，第一调节值使用衰减函数来确定，所述衰减函数在所述第一预测器块的预定像素值处具有最大值，并且

其中，所述第一预测器像素被输入到所述衰减函数以确定所述第一调节值。

7.根据权利要求1至6中任一项所述的方法，进一步包括：

从编码的比特流解码所述第一权重。

8.一种用于生成复合预测器块的装置，所述装置包括：

存储器；以及

处理器，所述处理器被配置为执行存储在所述存储器中的指令以执行操作，所述操作包括：

生成第一预测器块和第二预测器块，所述第一预测器块包括第一预测器像素，所述第二预测器块包括第二预测器像素；

从编码的比特流解码基线权重，其中所述基线权重指示掩码，所述掩码包括第一基线权重以及所述第一基线权重的补数；

确定所述第一预测器块的相应第一预测器像素的相应第一调节值，其中，每个第一调节值使用所述第一预测器像素中的至少一些来确定，其中每个第一调节值是使用以下来确定的：关于所述第一预测器块的相应的第一预测器像素的第一平滑度以及关于所述第二预测器块的共置的第二预测器像素的第二平滑度；

确定所述第二预测器块的相应第二预测器像素的相应第二调节值，其中，每个第二调节值使用所述第二预测器像素中的至少一些来确定；以及

使用所述第一预测器像素、所述第一调节值、所述第二预测器像素、所述第二调节值、所述第一基线权重以及所述第一基线权重的所述补数来确定所述复合预测器块的像素的像素值。

9.根据权利要求8所述的装置，其中，每个第一调节值用于调节所述第一基线权重并且每个第二调节值用于调节所述第一基线权重的补数。

10.根据权利要求8所述的装置，其中，所述基线权重指示来自包括0.75、0.6、0.5以及0.25的加权方案的权重。

11.根据权利要求8所述的装置，其中，所述操作进一步包括：

解码互补掩码指示符；以及

基于所述互补掩码指示符：

使用每个第一调节值来调节所述第一基线权重的所述补数；以及

使用每个第二调节值来调节所述第一基线权重。

12.根据权利要求8所述的装置，其中，所述第一预测器像素中的第一预测器像素的所述第一调节值以及所述第二预测器像素中的第二预测器像素的所述第二调节值是基于所述第一预测器像素以及所述第二预测器像素的特性，其中所述第一预测器像素与所述第二预测器像素是共置的。

13.根据权利要求12所述的装置，其中，所述特性包括所述第一预测器像素与所述第二预测器像素之间的差异。

14.根据权利要求12所述的装置，其中，所述操作进一步包括：

选择第一基线权重和所述第一基线权重的补数，其中每个第一调节值用于调节所述第一基线权重并且每个第二调节值用于调节所述第一基线权重的所述补数；以及

选择调节方向，所述调节方向具有向上值或向下值，

其中在所述调节方向是所述向上值时，所述第一基线权重随着所述特性的增加而向上调节，并且

其中在所述调节方向是所述向下值时，所述第一基线权重随着所述特性的增加而向下调节。

15.根据权利要求12所述的装置，其中，所述特性包括关于所述第一预测器像素的第一平滑度以及关于所述第二预测器像素的第二平滑度。

16.根据权利要求8至15中任一项所述的装置，其中，确定所述第一预测器块的相应第一预测器像素的相应第一调节值包括：

识别所述第一个预测器块的峰值；以及

基于所述峰值与所述第一预测器像素之间的差异来确定第一预测器像素的第一调节值。

17.一种用于解码当前块的装置，所述装置包括：

存储器；以及

处理器，所述处理器被配置为执行存储在所述存储器中的指令以执行操作，所述操作包括：

生成第一预测器块以及第二预测器块；

从编码的比特流中解码权重掩码；

从所述权重掩码确定用作所述第一预测器块的像素的第一权重的基线权重以及用作所述第二预测器块的像素的第二权重的互补基线权重；

针对所述第一预测器块的第一预测器像素，使用所述第一预测器块的所述像素中的至少一些来确定第一调节值，所述第一调节值用于调节所述基线权重，其中所述第一调节值是使用以下来确定的：关于所述第一预测器块的第一预测器像素的第一平滑度以及关于所述第二预测器块的共置的第二预测器像素的第二平滑度；

针对所述第二预测器块的第二预测器像素，使用所述第二预测器块的所述像素中的至少一些来确定第二调节值，所述第二调节值用于调节所述互补基线权重，所述第二预测器像素与所述第一个像素预测器是共置的；以及

使用所述第一预测器像素、所述第二预测器像素、所述基线权重、所述互补基线权重、所述第一调节值以及所述第二调节值来生成包括第三预测器像素的复合预测器。

18.根据权利要求17所述的装置，其中，所述基线权重具有第一值并且所述互补基线权重具有第二值，并且其中所述操作进一步包括：

解码用于使用互补掩码的指示；以及

响应于用于使用所述互补掩码的所述指示是第一值，

使用所述第二值作为所述基线权重的值并使用所述第一值作为所述互补基线权重的值，并且所述第一值与所述第二个值相加达到1。

19.一种包括指令的非暂时性计算机可读存储介质，所述指令在被计算机执行时，使得所述计算机执行根据权利要求1至7中任一项所述的方法。