CN103797792A - 用于空间预测的系统和方法 - Google Patents

Abstract

公开了涉及基于与模式有关的二次采样的视频信号的内部预测的系统、方法和装置。可以接收与视频块的第一子块相关联的块系数、与所述视频块的一个或多个剩余子块相关联的一个或多个块系数、以及对所述视频块的预测模式的指示。一个或多个内插技术、预测的第一子块、以及一个或多个剩余子块的预测的子块可以被确定。重建的第一子块和一个或多个重建的剩余子块可以被生成。重建的视频块可以基于所述预测模式、所述重建的第一子块、以及所述一个或多个重建的剩余子块而被形成。

Description

用于空间预测的系统和方法

相关申请的交叉引用

本申请要求享有2011年9月15日提交的美国临时专利申请No.61/535,043的权益，该申请的内容通过引用在此合并到本文。

背景技术

数字视频能力可以被引入到各种不同的设备中，这些设备包括但不限于数字电视、数字直接广播系统、无线广播系统、个人数字助理（PDA）、膝上型计算机或桌上型计算机、数码相机、数字录音设备、视频游戏设备、视频游戏控制台（console）、蜂窝或卫星无线电电话等等。数字视频设备可以实施视频压缩技术，例如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4、第10部分、高级视频编码（AVC）定义的标准、以及这些标准的扩展中所描述的那些，以更加有效地传送和接收数字视频信息。

视频压缩技术可以执行空间预测和/或时间预测来降低或移除在视频序列中固有的冗余。针对基于块的视频编码，视频帧或切片可以被分成块。每个块可以进一步被分割。根据各种编码技术，内编码（intra-coded）的（I）帧或切片中的块可以使用对于邻近块的空间预测来被编码。之间编码（inter-coded）的（P或B）帧或切片中的块可以使用对于在相同的帧或切片中的邻近块的空间预测或对于在其他参考帧中的块的时间预测。

发明内容

公开了涉及基于与模式有关的二次采样（subsample）的视频信号的内部预测的系统、方法以及装置。处理器可以接收与视频块的第一子块相关联的块系数、与所述视频块的一个或多个剩余子块相关联的一个或多个块系数、以及针对所述视频块的预测模式的指示。所述处理器可以基于所述预测模式确定一个或多个内插（interpolate）技术，以及基于所述预测模式、使用内部预测来确定预测的第一子块。所述处理器可以添加所述预测的第一子块以生成重建的第一子块。所述处理器可以基于所述视频块的所述一个或多个内插技术来确定所述一个或多个剩余子块的所述预测的子块。所述处理器可以添加所述一个或多个剩余子块的所述预测的子块以生成一个或多个重建的剩余子块。所述处理器可以基于所述预测模式、所述重建的第一子块、以及所述一个或多个重建的剩余子块来形成重建的视频块。所述视频块可以是视频信号的亮度分量或色度分量。

所述重建的第一子块通过使用第一组反量化和反变换参数来对与第一子块相关联的系数进行反量化和反变换而生成。所述第一组反变换和反量化参数可以与形状自适应（shape-adaptive）离散余弦变换相关联。对与所述预测的第一子块相关联的系数进行反变换可以包括非方形变换。

所述一个或多个重建的剩余子块可以通过使用第二组反量化和反变换参数来对与所述一个或多个剩余子块相关联的系数进行反量化和反变换而生成。所述第二组反变换和反量化参数与形状自适应离散余弦变换相关联。对与所述一个或多个剩余子块相关联的系数进行反变换可以包括非方形变换。所述第一组反量化和反变换参数可以与所述第二组反量化和反变换参数相同或不同。

所述一个或多个重建的剩余子块的第一部分可以被生成，并且在生成所述一个或多个重建的剩余子块的第一部分之后，至少部分地基于所生成的第一部分来生成所述一个或多个重建的剩余子块的第二部分。

视频块和预测模式可以被接收。视频块可以基于所述预测模式被二次采样，以生成第一子块和包括遗漏像素的一个或多个子块。预测的第一子块可以基于所述预测模式、使用内部预测被确定。第一子块可以被重建以生成重建的第一子块。所述预测模式和所述重建的第一子块可以被内插以获得包括遗漏像素的预测的一个或多个子块。包括遗漏像素的一个或多个子块可以被重建以生成重建的一个或多个子块。重建的视频块可以基于所述重建的第一子块、所述包括遗漏像素的重建的一个或多个子块、以及所述预测模式而被形成。所述视频块可以是视频信号的亮度分量或色度分量。

所述第一子块可以基于第一组变换和量化参数来被重建以生成重建的第一子块，以及所述包括遗漏像素的一个或多个子块可以基于第二组变换和量化参数来被重建以生成重建的一个或多个子块。所述第一组变换和量化参数可以与所述第二组变换和量化参数相同或不同。

包括遗漏像素的一个或多个子块的第一部分可以基于所述第二组变换和量化参数来被重建，以及在重建所述包括遗漏像素的一个或多个子块的第一部分之后，至少部分地基于所重建的第一部分来重建所述包括遗漏像素的一个或多个子块的第二部分。对所述包括遗漏像素的一个或多个子块的第二部分的重建可以使用第三组变换和量化参数，并且所述第三组变换和量化参数可以与所述第一组变换和量化参数或所述第二组变换和量化参数相同。

附图说明

图1是示出了基于块的视频编码系统的示例的框图。

图2是示出了基于块的视频解码器系统的示例的框图。

图3是示出了所支持的预测模式的示例的图示。

图4是示出了4x4的块的水平预测的示例的图示。

图5是示出了34个定向内部预测模式的示例的图示。

图6是示出了非定向内部预测模式的示例的图示。

图7是示出了在32x32的块上的短距离内部预测的示例的图示。

图8是示出了实施与模式有关的二次采样内部预测（MDS-IP）的编码器的示例的框图。

图9（A）是示出了水平预测模式的示例的图示。

图9（B）-9（D）是示出了水平预测模式内插和预测过程的示例的图示。

图10（A）-10（C）是示出了垂直预测模式内插和预测过程的示例的图示。

图11（A）是示出了对角预测模式的示例的图示。

图11（B）-11（D）是示出了对角预测模式内插和预测过程的示例的图示。

图12（A）-12（D）是示出了对角预测模式内插和预测过程的示例的图示。

图13（A）-13（D）是示出了对角预测模式内插和预测过程的示例的图示。

图14（A）-14（D）是示出了对角预测模式内插和预测过程的示例的图示。

图15（A）-15（C）是示出了对角预测模式内插和预测过程的示例的图示。

图16（A）是示出了非定向预测模式的示例的图示。

图16（B）-16（D）是示出了非定向预测模式内插和预测过程的示例的图示。

图17（A）-17（D）是示出了非定向预测模式内插和预测过程的示例的图示。

图18是示出了通信系统的示例的图示。

图19A是可以在其中实施所公开的一个或多个实施方式的示例通信系统的系统图示。

图19B是可以在图19A所示的通信系统内使用的示例无线发射/接收单元（WTRU）的系统图示。

图19C、19D和19E是可以在图19A所示的通信系统内使用的示例无线电接入网以及示例核心网的系统图示。

图20是示出了实施与模式有关的二次采样内部预测（MDS-IP）的解码器的示例的框图。

具体实施方式

视频编码系统可以用于压缩数字视频信号，以减少该信号的存储空间和/或传输带宽。各种类型的视频编码系统（例如，但不限于基于块的、基于小波的、基于对象的系统）可以被部署。基于块的视频编码系统的示例包括但不限于MPEG1/2/4部分2、H.264/MPEG-4部分10AVC以及VC-1标准。

图1是示出了基于块的视频编码系统100的示例的框图。输入视频信号102可以逐块被处理。例如，视频块单元可以是16像素×16像素的（例如，宏块（MB））。视频编码标准（例如高性能视频编码（HEVC））可以被使用。在HEVC中，扩展的块尺寸（例如，其可以被称为“编码单元”或CU）可以用于压缩高分辨率（例如，1080p及更高）的视频信号。例如，在HEVC中的CU可以多达64×64像素，以及低至4×4像素。CU可以被分割成预测单元（PU），以便可以针对该PU应用独立的预测实施。每个输入视频块（例如，MB、CU、PU等）可以通过使用空间预测单元160和/或时间预测单元162被处理。

空间预测（或内部预测）可以使用来自在相同视频图像/切片中的编码的邻近块的像素来预测当前的视频块。空间预测可以减少视频信号中固有的空间冗余。时间预测（或之间预测或运动补偿预测）可以使用来自已经被编码的视频图像的像素来预测当前的视频块。时间预测可以减少视频信号中固有的时间冗余。对于给定的视频块的时间预测可以由一个或多个运动矢量（MV）用信号发送，该运动矢量可以指示在当前块与一个或多个其参考块之间的运动量和/或运动方向。

如果多个参考图像被支持（如，可以像H.264/AVC和HEVC的情况），则针对每个视频块，其参考图像索引可以被发送。参考索引可以用于标识时间预测信号是来自在参考图像存储164中的哪个参考图像。在空间和/或时间预测之后，在编码器中的模式决定和编码器控制器180可以选择预测模式。预测模式可以例如基于速率失真优化实施而被选择。预测块可以在加法器116处被从当前的视频块中减去。预测残差（prediction residual）可以由变换单元104进行变换和由量化单元106进行量化。量化的残差系数可以在反量化单元110被反量化，以及在反变换单元112被反变换，以形成重建的残差。重建的块可以在加法器126处被加回到预测块，以形成重建的视频块。进一步地，环路（in-loop）滤波（例如但不限于解块滤波器和/或自适应回路滤波器166）可以在所述重建的视频块被输入到参考图像存储164和/或被用于对之后的视频块进行编码之前被应用到重建的视频块。为了形成输出视频比特流120，编码模式（如，之间或内部）信息、预测模式信息、运动信息、和/或量化的残差系数可以被发送到熵编码单元108以被压缩和被分组来形成比特流120。例如，这里描述的实施方式至少部分地可以在空间预测单元160内被实施。

图2是示出了基于块的视频解码器200的示例的框图。视频比特流202可以在熵解码单元208处被还原（unpack）和熵解码。编码模式和预测信息可以被发送到空间预测单元260（例如，如果是内部编码）或时间预测单元262（例如，如果是之间编码）来形成预测块。残差变换系数可以被发送到反量化单元210和反变换单元212，以重建残差块。预测块和残差块可以在226处被加在一起。重建的块可以在其被存储在参考图像存储264中之前通过环路滤波单元266。例如，重建的视频220可以被发出，以驱动显示设备和/或用来预测之后的视频块。

这里描述的实施方式可应用到空间预测单元160和260。这里所描述的空间预测实施方式（如，单元）可以结合视频编码标准（如，H.264/AVC、HEVC等）使用。术语“空间预测”和“内部预测”在这里可以被交替使用。

空间预测可以在视频块上或在各种尺寸和形状的区域上被执行。例如，针对视频信号的亮度分量的空间预测，4×4、8×8和16×16像素的块尺寸可以被利用（如，在H.264/AVC中），以及针对视频信号的色度分量，8×8像素的块尺寸可以被利用（如，在H.264/AVC中）。对于大小为4×4或8×8的亮度块，共9个预测模式可以被支持（如，8个定向预测模式和DC模式）。（如，在H.264/AVC中）可被支持的8个预测方向如图3所示。图3是示出了可以被支持的预测模式的示例的图示。对于大小为16×16的亮度块，共4个预测模式可以被支持（如，水平预测模式、垂直预测模式、DC预测模式和平面预测模式）。图4是示出了针对4×4的块的水平预测的示例的图示。在图4中，重建的像素402（P0、P1、P2和P3）可以用于预测在该4×4的视频块中的像素404。预测可以根据等式（1）被执行：

L(x,0)=P0

L(x,1)=P1等式(1)

L(x,2)=P2

L(x,3)=P3

其中，L(x,y)可以是在(x,y)处将被预测的像素，其中x,y=0…3。

使用更大的块尺寸的空间预测可以被支持（如，在HEVC测试模型HM3.0中）。例如，空间预测可以在4×4、8×8、16×16、32×32或64×64的平方块大小上被执行。额外的内部预测模式可以被支持，例如，多达33个定向内部预测模式可以与DC预测模式和平面预测模式一起被支持。图5是示出了34个定向预测模式（包括DC预测模式和平面预测模式）（如，在HM3.0中）的示例的图示。表1示出了针对每个块大小（如，在HM3.0中）可以被支持的预测方向的数量的示例。定向内部预测可以以1/32的像素精度被执行（例如，在HEVC中）。

表1

内部块大小	预测方向
		4x4	16
8x8	33
		16x16	33
32x32	33
		64x64	2

非定向内部预测模式也可以被支持（如，在H.264/AVC和HEVC中）。例如，DC预测模式和平面预测模式可以被支持。对于DC模式，预测值可以通过对可用的邻近像素取平均并将该平均值均匀地应用到整个块来获得。对于平面模式，16×16的亮度块和色度块可以被使用（如，H.264/AVC），或者多个块尺寸可以被使用（例如，HEVC HM3.0）。平面模式（例如，在HEVC HM3.0中）可以使用线性内插来预测具有缓慢变换的平滑区域。图6是示出了非定向内部预测模式的示例的图示。如图6所示，平面模式（如，在HM3.0中）可以通过下列实施方式来被执行：

1、在最上行最右边的像素602（如，标记为T）可以被复制以预测在最右边列中的像素；

2、在左边列的底部像素604（如，标记为L）可以被复制以预测在最底部行的像素；

3、在水平方向中的双线性内插（如，块606）可以被执行以产生中心像素的第一预测H(x,y)；

4、在垂直方向中的双线性内插（如，块608）可以被执行以产生中心像素的第二预测V(x,y)；以及

5、在水平预测与垂直预测之间的额外平均可以被执行以例如使用L(x,y)=((H(x,y)+V(x,y))>>1)来获得最终预测L(x,y)。

使用基于块的内部预测的实施方式，整个块可以根据在当前块的左边和/或右边的重建的邻近像素来被预测。对于位于朝向块的右边和底部的像素，可以用于预测的像素与像素之间的距离会增加。例如，由于预测像素与被预测的像素之间的距离增加，这些像素之间的相关性会降低，并且预测准确性会降低。准确性的降低可以因更大的块尺寸而进一步被恶化（如，对于支持使用更大的块尺寸（如16×16及以上）的内部预测的HEVC）。

实施方式（如，基于线的内部编码）可以解决在像素距离增加时，有关于降低的预测准确性的问题。基于线的预测实施方式可以一次预测块的一条线，而不是从顶部和左边邻区来将预测应用到整个块。由于每条线都被预测和重建，因此其可以用于预测下一条线。基于线的内部预测实施方式可以逐行或逐列地被执行。基于线的内部编码实施方式可以被引入到称为短距离内部预测或SDIP的实施方式中。SDIP实施可以将每个大小为N×N的平方块（例如，N×N可以是在4×4到64×64之间的任何值）分割成大小为M×K的矩形块的组合。当M或K中的一者为1时，SDIP就可以等价于基于线的内部预测。像素可以被一个矩形一个矩形地预测和重建。图7是示出了在32×32的块上的SDIP的示例的图示。32×32的块可以被分割成4个16×16的块。例如注意左下方的16×16的块，其可以被分割成4个4×16的矩形块。最左边的4×16的块可以进一步被分割成4个1×16的垂直线，并且之后被逐线地预测和重建。剩余的3个4×16的矩形块可以一个矩形一个矩形地被预测和重建。SDIP可以提供分割视频块的灵活的方法。视频编码器可以搜索不同的组合来找到最佳的分割模式。

基于线的内部预测和SDIP可以缩短预测像素和那些被预测的像素之间的距离。基于线的内部预测和SDIP可以例如增加在编码器一侧和/或解码器一侧处的计算的复杂性和实施的复杂性。为了支持各种矩形块大小，变换、量化、残差系数扫描和熵编码可以被改变。编码器可以搜索很多例如这里描述的额外的模式。

这里描述的实施方式可以涉及被称为与模式有关的二次采样内部预测（MDS-IP）的内部预测技术。MDS-IP可以缓和以及减少当像素距离增加时预测准确性的降低。在实施MDS-IP时，变换、量化、残差系数扫描和熵编码过程可以被略微地修改。当选择最佳预测模式时，编码器可能不会考虑任何额外的模式，或当选择最佳预测模式时，编码器可以考虑一个或多个额外的模式。

术语“视频块”在这里可以被用作扩展的通用术语。这里描述的实施方式可以应用到各种视频块，例如，但不限于亮度分量的块和色度分量的块。术语“样本”和“像素”可以交替使用。术语“二次采样的块”和“子块”可以交替使用。

图8是示出了实施MDS-IP的编码器800的示例的框图。MDS-IP编码器框图可以被引入到编码器中（例如，类似于图1中所示的编码器100的编码器）（如，在空间预测方框160处）。编码器（如，经由处理器）可以接收包括一个或多个视频块的视频流。编码器可以在视频块上执行二次采样，其可以将视频块分割成第一二次采样的块810和一个或多个剩余的二次采样的块826。例如，在接收预测模式之后并基于该预测模式（例如，这里所描述的预测模式中的一者），特定的二次采样实施方式可以由与模式有关的二次采样单元840执行。预测模式可以例如通过模式决定和编码器控制器（如图1中的模式决定和编码器控制器180）来被确定。作为二次采样的结果，输入视频块的一部分（如，二分之一或四分之一）可以被保留作为二次采样的块810。二次采样的块810可以被称为第一子块。块的其他部分（如，二次采样期间“移除的”块的部分）可以被称为剩余子块826（如图8所示）。剩余子块826可以包括遗漏（missing）像素。

二次采样实施方式可以是一个抽取（decimation）过程。二次采样实施方式是涉及减采样（downsample）滤波器的相对更加复杂的过程。预测的二次采样的块812可以由内部预测单元842基于预测模式确定（如，生成）。内部预测单元842可以接收邻近像素，例如，如这里所描述的那些（如，参考图9-17）。预测模式可以例如是这里所描述的定向或非定向内部预测模式中的任意一者。例如，定向预测模式可以是垂直预测模式、水平预测模式、对角预测模式、或非对角预测模式。例如，非定向预测模式可以是DC预测模式或平面预测模式。预测的二次采样的块812可以由加法器820从二次采样的块810中减去，以获得二次采样的块残差822。二次采样的块残差822可以在变换和量化方框832处被变换和量化。变换和量化方框832可以生成与二次采样的块810相关联的块系数。二次采样的块残差822（例如，与二次采样的块810相关联的块系数）可以在反量化和反变换方框834处被反量化和反变换，以获得重建的二次采样的块残差824。重建的二次采样的块残差824可以在加法器848处被加入到预测的二次采样的块812，以形成重建的二次采样的块814。

例如，变换和量化方框832可以使用一组（如，第一组）变换和量化参数。由变换和量化方框832使用的该组变换和量化参数可以是基于非方形变换（non-square shaped transform）的。非方形变换可以包括多个方形变换。由变换和量化方框832使用的该组变换和量化参数可以与形状自适应离散余弦变换相关联。

例如，反量化和反变换方框834可以使用一组（如，第一组）反量化和反变换参数。由反量化和反变换方框834使用的该组反量化和反变换参数可以是基于非方形变换的。非方形变换可以包括多个方形变换。由反量化和反变换方框834使用的该组反量化和反变换参数可以与形状自适应离散余弦变换相关联。

重建的二次采样的块814可以由与模式有关的内插单元844进行内插来生成对包括遗漏样本的一个或多个二次采样的块816的预测，其可以基于预测模式。由与模式有关的内插单元844执行的特定的内插过程可以与模式有关。例如，由与模式有关的内插单元844执行的特定的内插过程可以是与模式有关的二次采样过程的逆过程，该与模式有关的二次采样过程由与模式有关的二次采样单元840利用。由于预测像素与那些将被预测的像素之间的距离可以被减少（如，可以被显著地减少），对包括遗漏样本的一个或多个二次采样的块816的预测准确性可以相对地增加。

仍参考图8，对应于包括遗漏样本的一个或多个二次采样的块816的预测残差可以在变换和量化方框836处被变换和量化。变换和量化方框836可以生成与剩余的子块826相关联的块系数。与包括遗漏样本的一个或多个二次采样的块816对应的预测残差（如，与剩余子块826相关联的块系数）可以在反量化和反变换方框838处被反量化和反变换。重建的残差可以被加回至包括遗漏样本的预测的一个或多个二次采样的块816，以形成包括遗漏样本的重建的一个或多个二次采样的块818。重建的二次采样的块814和包括遗漏样本的重建的一个或多个二次采样的块818可以形成输入视频块的编码表示（如，重建的视频块）。输入视频块的编码表示的形成可以基于预测模式。

例如，变换和量化方框836可以使用一组（如，第二组）变换和量化参数。由变换和量化方框836使用的该组变换和量化参数可以基于非方形变换。非方形变换可以包括多个方形变换。由变换和量化方框836使用的该组变换和量化参数可以与形状自适应离散余弦变换相关联。

例如，反量化和反变换方框838可以使用一组（如，第二组）反量化和反变换参数。由反量化和反变换方框838使用的该组反量化和反变换参数可以基于非方形变换。非方形变换可以包括多个方形变换。由反量化和反变换方框838使用的该组反量化和反变换参数可以与形状自适应离散余弦变换相关联。

变换和量化方框836可以使用或不使用与变换和量化方框832所使用的参数相同的参数（如，第二组变换和量化参数可以与第一组变换和量化参数相同或不同）。反量化和反变换方框838可以使用或不使用与反量化和反变换方框834所使用的参数相同的参数（如，第二组反量化和反变换参数可以与第一组反量化和反变换参数相同或不同）。

使用二次采样的块810来预测包括遗漏样本的一个或多个二次采样的块816可以通过减少预测像素与将被预测的那些像素之间的距离来改善预测准确性。较好的预测准确性可以使预测残差能量减少，其可以使用于对这些残差信号进行编码的比特数量大幅减少。当在水平维度（dimension）和/或垂直维度中以因子2执行二次采样时，所得到的二次采样的块的大小可以是规则的。例如，如果输入视频块的大小为2N×2N，则二次采样的块的大小可以为2N×N、N×2N或N×N。为了处理大小为2N×N或N×2N的二次采样的块，例如，为平方块设计的块变换和系数扫描顺序可以被应用，而不需要进一步改变。例如，对于大小为2N×N或N×2N的二次采样的块，二次采样的块可以通过按照为平方块设计的系数扫描顺序来应用两次（2）N×N变换而被处理。对块变换和系数扫描顺序的修改以支持2N×N或N×2N的块大小可以被应用，以实现改进的编码效率。

二次采样可以在多于一个方向上被执行。每个方向上的二次采样速率可以相同或不同。例如，二次采样可以在第一方向上以第一二次采样速率被执行，以及在第二维度上以第二二次采样速率被执行。第一二次采样速率可以与第二二次采样速率相同或不同。

对于包括遗漏样本的一个或多个二次采样的块816，变换和量化单元836以及反量化和反变换单元838可以例如被跳过（如，预测残差可以不被编码），因为使用与模式有关的内插单元844的预测过程可以足够准确，因此残差编码可以被跳过。变换和量化单元836以及反变换和反量化单元838可以分成两步或更多步骤，并且可以以级联的方式被执行，如这里所描述的。

关于是否执行MDS-IP实施方式的决定可以在编码之前决定。例如，MDS-IP可以针对特定大小的块和特定预测模式而被执行。在比特流中没有额外的信令发送被需要。选择可以由编码器例如基于一个或多个参数（例如但不限于速率失真优化的考虑）来即时（on-the-fly）决定。额外的语法元素可以在比特流（如，比特流120）中被用信号发送，以转达给可以使用实施方式（如，MDS-IP）的解码器。决定可以例如基于块的大小。取决于不同块的大小，该不同块可能或多或少存在距离导致的预测准确性的问题。

虽然参考图8描述了编码器，但实施MDS-IP的解码器可以包括参考图8所描述的一个或多个元素，和/或可以执行类似的实施方式（如，逆实施方式）以对所编码的视频流进行解码。MDS-IP解码器框图可以被引入到解码器（例如，与图2所示的解码器200类似的解码器）（如，在空间预测方框260处）。例如，虽然变换和量化以及反量化和反变换可以由编码器在子块810和剩余子块826上执行，但在根据与第一子块810和剩余子块826相关联的一个或多个块系数来重建视频块时，解码器可以执行反量化和反变换而不执行变换和量化。

图20是示出了实施与模式有关的二次采样内部预测（MDS-IP）的解码器的示例的框图。MDS-IP解码器2000可以被引入到解码器（例如，与图2所示的解码器200类似的解码器）（如，在空间预测方框260处）。MDS-IP解码器2000（如，经由处理器）可以接收编码的视频流。该编码的视频流可以包括表示一个或多个编码的视频块的一个或多个块系数。编码的视频块可以是编码的视频流的亮度分量或色度分量。一个或多个编码的视频块中的每个编码的视频块可以被分割成第一子块和一个或多个剩余子块。在接收与第一子块相关联的块系数2010之后，解码器可以在反量化和反变换单元2034处执行对块系数2010的反量化和反变换，以生成对应于第一子块的重建的残差2024。在接收与一个或多个剩余子块相关联的一个或多个块系数2026之后，解码器可以在反量化和反变换单元2038处执行对一个或多个块系数2026的反量化和反变换，以生成对应于一个或多个剩余子块的重建的残差2028。

解码器可以接收对视频块的预测模式的指示，并基于该预测模式确定一个或多个内插技术。例如，内部预测单元2042可以接收对所述视频块的预测模式的指示。内部预测单元2042还可以接收邻近像素，例如，如这里所描述的那些（如，参考图9-17）。解码器可以基于预测模式、使用内部预测来确定预测的第一子块2012。解码器可以将该预测的第一子块2012加入到对应于第一子块的重建的残差2024，以生成重建的第一子块2014。解码器可以基于一个或多个内插技术来为视频块确定一个或多个剩余子块的预测的子块2016。一个或多个剩余子块的预测的子块2016可以由与模式有关的内插单元2044确定。一个或多个内插技术可以基于预测模式。解码器可以将一个或多个剩余子块的预测的子块2016加入到对应于一个或多个剩余子块的重建的残差2028，以生成一个或多个重建的剩余子块2018。解码器可以基于预测模式、重建的第一子块2014以及一个或多个重建的剩余子块2018来形成重建的视频块。

对应于第一子块的重建的残差2024可以使用一组（如，第一组）反量化和反变换参数来被生成。用于生成对应于第一子块的重建的残差2024的该组反量化和反变换参数可以与形状自适应离散余弦变换相关联。与预测的第一子块相关联的反变换系数可以包括非方形变换。该非方形变换可以包括多个方形变换。对应于一个或多个剩余子块的重建的残差2028可以使用一组（如，第二组）反量化和反变换参数来被生成。用于生成对应于一个或多个剩余子块的重建的残差2028的该组反量化和反变换参数可以与形状自适应离散余弦变换相关联。用于生成对应于第一子块的重建的残差2024的那组反量化和反变换参数可以与用于生成对应于一个或多个剩余的子块的重建的残差2028的那组反量化和反变换参数相同或不同。

图9（A）是示出了使用水平模式对8×8的块进行的示例预测过程的图示。如图9（A）所示的箭头，来自已经编码的邻区的预测像素902可以使用等式（1）来被从列0传播到列7，以预测8×8的块904。图9（B）-9（C）是示出了针对8×8的块的示例MDS-IP过程的图示。虽然示出的是8×8的块，但MDS-IP可以用于具有各种尺寸的块。在MDS-IP过程中，8×8的块可以在水平预测中被减采样。图9（B）和9（C）分别示出了减采样前和减采样后的8×8的块。在二次采样之后保留在子块中的像素可以为图9（B）中的阴影。作为二次采样的结果，二次采样的块910可以包括列1、3、5和7（如图9（C）所示）。2:1的二次采样速率可以被使用（例如，如9（A）-9（D）所示出的）。各种二次采样速率可以被使用。列1、3、5和7可以在水平方向上被预测（例如，如可以由图9（C）中的箭头所指示的）来形成预测的二次采样的块812（如，图8）。二次采样的块的残差可以通过变换、量化、反变换、和反量化来形成重建的预测残差824。重建的预测残差824可以被加入到预测的二次采样的块812中来形成重建的二次采样的块814。为方形块所设计的块变换和系数扫描可以被使用。例如，两个4×4的块变换可以由单元832和834使用以完成变换和量化以及之后的反量化和反变换。可以做出对块变换和系数扫描顺序的修改，以支持矩形块（例如，在图9（C）中的4×8的块）。例如，可由单元832和834使用4×8的块变换和恰当的系数扫描。

包括遗漏列0、2、4和6的4×8像素的第二二次采样的块可以通过根据已经编码的邻近列和在列1、3、5、7中重建的像素进行内插而被预测（如，图9（D）中所示）。多种内插滤波器可以被应用。例如，双线性滤波器、系数为[1-52020-51]/32的6抽头（6-tap）滤波器、系数为[1331]/8的4抽头滤波器，和/或具有其他抽头长度的其他内插滤波器可以被应用。图9（D）示出了在水平方向使用两个邻近像素的内插。在内插处理中可以涉及多个像素（例如，当更长抽头长度的滤波器被使用时）。为水平预测模式执行水平减采样可以基于从水平预测模式中获益的块可以在水平方向中具有很强的像素相关性的前提。其他预测模式可以使用其他减采样处理。第二二次采样的块的残差可以例如使用两个平方块变换或一个矩形块变换和适合的系数扫描按照步骤836和836而被编码（如，图8）。如果与模式有关的内插提供合适的结果，则对第二二次采样的块的残差的确定可以被跳过（如，不编码）。

MDS-IP实施方式可以被应用到垂直模式中（如，图9的调换版本），其中垂直减采样可以被执行以保持一半的像素行，第一半像素行可以被预测和被编码，以及基于重建的行的垂直内插可以被执行来预测第二半像素行。图10是示出了示例垂直模式减采样和预测过程的图示。图10（A）是示出了示例8×8的块1002的图示。在行3和行7中的像素用阴影来指示二次采样之后可以保留的像素行。顶部像素行1004可以是预测像素行。图10（B）是示出了在减采样之后产生包括行3和7的块1006的示例的图示。在这些行中的像素可以被预测和被编码。图10（C）是示出了在行0、1、2、4、5和6中的加采样（upsample）的像素的内插的示例的图示。这些行可以从预测像素的顶行和重建的行3和7被内插。

与水平和垂直预测模式一起，MDS-IP可以被应用到多种非对角角度预测模式（如，具有0°到90°之间的角度的预测模式，以及具有90°到180°之间的角度的预测模式）。例如，对角（例如，沿45°或135°方向）预测模式可以包括对角向左下和对角向右下模式（如，图3中的模式3和4）。在对角方向中的预测模式可以包括VER-8、VER+8和HOR-8（例如，在图5中的模式3、6和9）。图11（A）-（D）是示出了使用对角向右下模式来预测的8×8的块上的MDS-IP过程的示例的图示。MDS-IP可以用于除8×8以外的块尺寸（例如但不限于更大的块尺寸）。在图11中，在左边列中的像素和在顶部行中的像素可以是来自已经被编码的邻近块的预测像素。剩余的像素可以是将要被预测的像素。如图11（A）中的对角箭头所示，阴影的预测像素可以沿着对角方向被传播。

对于角度预测模式，块可以在两个维度中被减采样。例如，如图11（B）和11（C）所示，8×8的块1102可以在每个维度上以因子2和位于(2n+1,2m+1),n,m=0…3处的像素来被减采样，以形成图11（C）中的减采样的块1104。

这些剩余的像素可以在对角方向上被预测，例如，如由图11（C）中的减采样的块1104中的箭头所示。参考图8、11（C）和11（D），二次采样的块的预测残差可以按照由单元832和834进行的处理来被编码，并被加回到预测的二次采样的块812，以获得重建的二次采样的块814。经由与模式有关的内插单元844，包括剩余四分之三的像素的二次采样的块可以通过从已经编码的邻近像素和位于(2n+1,2m+1),n,m=0…3处的重建的像素进行内插而被预测。如上所述，与多种预测模式相关联的多种内插技术可以被使用。

包括遗漏像素的二次采样的块可以在同一时刻通过内插而被预测，例如如图11（D）中所示的。例如，包括位于(2n,2m),n,m=0…3处的像素的子块可以例如通过在对角方向上使用已经重建的邻近像素和位于(2n+1,2m+1),n,m=0…3处的重建的像素进行内插而被预测，如图11（D）中的箭头1140所示。箭头的部分（例如，仅一部分）可以在图11（D）中示出。沿着对角方向的内插可以被使用，是因为较高的像素相关性存在于该方向上。其他预测模式可以使用不同的内插过程。包括位于(2n,2m+1),n,m=0…3处的像素的子块可以例如通过在水平方向中使用已经重建的邻近像素和位于(2n+1,2m+1),n,m=0…3处的重建的像素进行内插而被预测，如图11（D）中的箭头1142所示。包括位于(2n+1,2m),n,m=0…3处的像素的子块可以例如通过在垂直方向中使用已经重建的邻近像素和位于(2n+1,2m+1),n,m=0…3处的重建的像素进行内插而被预测，如图11（D）中的箭头1144所示。

可以作出对内插过程的修改，例如，但不限于在水平方向和/或垂直方向中的具有不同滤波器抽头长度的不同内插滤波器可以被使用。在预测之后，包括分别位于(2n,2m)、(2n,2m+1)和(2n+1,2m)处的遗漏像素的三个子块的预测残差可以按照由单元836和838进行的处理被编码（如，图8），并被加回到预测信号，以获得包括遗漏像素的三个重建的子块818。

图12（A）-12（D）是示出了对角预测模式内插和预测过程的示例的图示。参考图12，包括遗漏像素的子块可以以级联的（如，多级的）方式被预测和重建。参考图12（A）和12（B），输入块1202可以在两个维度（如，在两个维度中均具有2:1的二次采样速率）中减采样，以产生减采样的块1204。在二次采样后保留在块中的像素在图12（A）中以阴影示出。块1204中的像素可以使用任何适合的内部预测技术来被进行内部预测，例如，如由图12（B）中的箭头所指示的。如由图12（C）中的块1206所示，位于(2n,2m),n,m=0…3处的像素可以例如通过在对角方向上使用已经重建的邻近像素和位于(2n+1,2m+1),n,m=0…3处的重建的像素进行内插而被预测（如，如箭头1220所示）。包括位于(2n,2m),n,m=0…3处的样本的子块的预测残差可以按照步骤836和838被编码（如，图8）。重建的残差可以被加回到预测，以获得包括位于(2n,2m)处的像素的重建的子块。例如，如图12（D）中的块1208所示，包括位于(2n,2m+1)处的剩余像素的子块和包括位于(2n+1,2m)处的剩余像素的子块可以通过使用已经被重建的像素（例如，分别使用箭头1222和使用箭头1224）进行内插而被预测。

图13是示出了内插技术的示例的图示。图13（A）中的输入块1302可以在两个维度中被减采样来产生减采样的块1304，如图13（B）所示。多个像素在图13（A）中可以被加阴影，以示出在减采样后保留的像素。在减采样的块1304中的像素可以如图13（B）中的对角箭头所指示的那样被预测。在对预测的像素进行重建之后，位于(2n,2m)处的像素和位于(2n,2m+1)处的像素可以分别通过在对角方向（如，箭头1320）和在水平方向（如，箭头1324所示）中的内插而被预测，例如，如图13（C）所示。包括位于(2n,2m)处的样本的子块和包括位于(2n,2m+1)处的样本的子块的预测残差可以按照由单元836和838进行的处理而被编码。重建的残差可以被加回，以分别获得包括位于(2n,2m)处的像素的重建的子块和包括位于(2n,2m+1)处的像素的重建的子块。例如，如图13（D）中的块1308所示，其中位于(2n,2m)处的像素、位于(2n,2m+1)处的像素、以及位于(2n+1,2m+1)处的像素已经被重建，包括位于(2n+1,2m)处的像素的剩余子块可以在对角方向被预测（如，箭头1326），和/或残差可以按照由单元836和838进行的处理被编码。

例如，如果遗漏像素以级联的方式被预测和被重建，如果预测足够准确或计算的复杂度很高，则一个或多个残差编码步骤（如，由单元836和838所执行的）可以被跳过。一个或多个这样的步骤是否可以被跳过是由编码器所决定的，并且在比特流中被用信号发送到解码器，例如，通过将编码_块_标志（coded_block_flag）设置为0。编码器和解码器可以事先对哪些（如果有的话）步骤可以跳过达成一致。如这里所描述的（如，图12（D）），在使用箭头1222和箭头1224对位于(2n+1,2m)处和位于(2n,2m+1)处的像素进行预测之后，编码器和解码器可以完成对输入块的MDS-IP过程，并且在单元836和838中的操作可以被跳过。内插过程可以使用不同特性（如，不同抽头长度和系数）的内插滤波器，例如但不限于双线性滤波器、4抽头或6抽头的1D滤波器，和/或4×4或6×6的2D不可分离滤波器。

虽然这里描述了MDS-IP处理，但相似的针对其他对角预测模式的处理技术可以被执行。例如，H.264/AVC和HEVC两者可以支持其他定向预测模式。这些模式，由于他们的预测方向沿着更好的角度，子像素精度可以被考虑用于预测。这些预测模式的MDS-IP过程可以利用具有非矩形的像素块的编码。这些定向预测模式的MDS-IP过程可以被关闭，并使用这些模式的定向内部预测。非矩形的变换（如，形状自适应DCT）和恰当的系数扫描可以被应用到对这些预测模式的MDS-IP处理。

图14（A）-（D）是示出了用于非对角角度预测模式的内插技术的示例的图示。图14（A）中的输入块1402可以在多于一个的方向（如，两个方向）上被减采样，以产生如图14（B）所示的减采样的块1404。多个像素可以在图14（A）中被加阴影，以示出在减采样后保留的像素。在减采样的块1404中的像素可以如图14（B）中的非对角角度箭头所指示的那样被预测。非对角角度箭头可以对应于非45°/非135°角度对角预测模式。虽然4:1的二次采样速率（如，在两个方向为2:1）在图14中被示出时，但是其他二次采样速率可以被使用。例如，2:1的二次采样速率、6:1的二次采样速率、8:1的二次采样速率、或其他各种适合的二次采样速率可以被使用。如图14（C）中的块1406所示，位于(2n,2m)，n,m=0…3处的像素可以通过在角度方向上使用位于(2n-1,2m-3)处的已经重建的邻近像素和位于(2n+1,2m+3)处的重建的像素进行内插而被预测（如，箭头1420所示）。包括位于(2n,2m)，n,m=0…3处的样本的子块的预测残差可以按照836和838中的步骤来被编码（如，图8）。重建的残差可以被加回至预测，以获得包括位于(2n,2m)处的像素的重建的子块。如图14（D）中的块1408所示，包括剩余像素的子块可以通过使用已经重建的像素（例如，位于(2n-1,2m-2)和(2n+1,2m+2)处，如箭头1426所指示的）来进行内插而被预测。

图15（A）-（C）是示出了在8×8的块上的MDS-IP过程的示例的图示，其中该8×8的块使用非对角角度预测模式（如，非45°/非135°）被预测。像素权重过程可以协助内插。在如图15（A）-（C）中所示的8×8的块，MDS-IP可以用于具有不同大小的块。在图15中，在左边列的像素和在顶部行中的像素可以是来自已经编码的邻近块的预测像素。块1502可以在二维中被减采样。例如，如图15（A）和15（B）所示，8×8的块1502可以在每个维度中以因子2来被减采样，并且位于(2n+1,2m+1)，n,m=0…3处的像素可以形成图15（B）中的减采样的块1504。这些剩余的像素可以在非对角角度方向上被预测，例如，如图15（B）中的减采样的块1504中的箭头所示。参考图8、15（B）和15（C），二次采样的块的预测残差可以按照由单元832和834进行的处理来被编码，并被加回到预测的二次采样的块812，以获得重建的二次采样的块814。经由与模式有关的内插单元844，包括剩余四分之三的像素的二次采样的块可以通过从重建的二次采样的块814进行内插而被预测。包括遗漏像素的二次采样的块可以通过使用加权实施方式进行插值而同时被预测，例如，如图15（C）所示。例如，包括位于(2n,2m)，n,m=0…3处的像素的子块可以通过在对角方向上使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测，例如，由块1506和箭头1540所示。内插过程可以对不同的像素施加不同的权重。例如，内插过程可以对“左上角”像素施加比“右下角”像素更大的权重。特定的加权实施方式可以取决于使用的预测模式。例如，“左上角”像素可以被给定70%的加权因子，而“右下角”像素可以被给定30%的加权因子。包括位于(2n,2m+1)，n,m=0…3处的像素的子块可以通过在水平方向中使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测，例如，如图15（C）中的箭头1542所示。“左”像素和“右”像素可以被给定相同或不同的加权因子。例如，“左”像素可以被给定55%的权重而“右”像素可以被给定45%的权重。包括位于(2n+1,2m)，n,m=0…3处的像素的子块可以通过在垂直方向中使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测，例如，如图15（C）中的箭头1544所示。“顶部”像素和“底部”像素可以被给定相同或不同的加权因子。例如，“顶部”像素可以被给定60%的权重而“右”像素可以被给定40%的权重。

可以做出对内插过程的修改，例如但不限于基于预测模式的不同的加权因子。在预测后，包括分别位于(2n,2m)、(2n,2m+1)和(2n+1,2m)处的遗漏像素的三个子块的预测残差可以按照由单元836和838进行的处理而被编码（图8），并且可以被加回到预测信号，以获得三个包括遗漏像素的重建的子块818。用于位于(2n,2m)、(2n,2m+1)和(2n+1,2m)处的遗漏像素的残差编码过程可以由编码器和/或解码器跳过。

虽然已经示出了用于水平、垂直、对角和非对角角度预测模式的示例性内插技术，但这里描述的MDS-IP实施方式可以以各种视频编码和解码预测模式使用。相同的内插技术或不同的内插技术可以被应用到一个或多个子块。内插技术可以包括一个或多个滤波器，该一个或多个滤波器可以基于预测模式被选择。例如，内插滤波器可以是4抽头一维滤波器、6抽头一维滤波器、4×4二维滤波器、6×6二维滤波器或其他。一个或多个内插滤波器可以沿一个或多个内插方向被应用，其可以基于预测模式。

非定向预测模式（例如但不限于DC模式和平面预测模式）可以被支持。DC预测可以通过对来自已经重建的邻近块的预测像素取平均（如，图16（A）中的最左列和顶部列，表示为“A”）、并将该平均值分配到将被预测的整个块（如，图16（A）中的8×8的块1602）来被执行。平面模式（例如，在HEVC HM3.0中）可以在这里被描述，例如，参考图6。非定向预测模式可适用于平坦区域或具有平缓/平滑梯度的区域。图16（A）-（D）和17（A）-（D）是示出了在8×8的块上应用的MDS-IP处理的示例的图示，其中该8×8的块使用DC预测模式来被预测。虽然8×8的块被示出，但是MDS-IP可以用于处理更大的块。图16（A）中的块1602示出了DC预测实施方式的示例。图16（B）-（D）示出了根据这里描述的实施方式的处理技术的示例。

例如，如图16（B）-（C）中所示，8×8的块1604可以在每个维度上以因子2被减采样，以生成4×4的块1606。位于位置(2n+1,2m+1)，n,m=0…3处的像素可以通过对来自已经重建的邻近块的预测像素（例如，在图16（C）中的最左边列和顶部列）取平均而被预测。二次采样的块822的预测残差（如，图8）可以按照由单元832和834进行的处理来被编码，并被加回到预测的二次采样的块812，以获得重建的二次采样的块814。包括剩余四分之三像素的子块可以通过根据已经编码的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测。

参考图16（D），遗漏像素可以通过内插同时被预测。例如，包括位于(2n,2m)，n,m=0…3处的像素的子块可以通过使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插（例如，来自MDS-IP的第一步）而被预测，例如，由箭头1620所示。一部分箭头1620在图16（C）中被示出。由箭头1620指示的内插可能不具有任何方向性（如，由于非定向预测模式）。对四个像素取平均是足够的。包括位于(2n,2m+1)，n,m=0…3处的像素的子块可以例如通过在水平方向中使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测，如图16（C）中的箭头1622所示。包括位于(2n+1,2m)，n,m=0…3处的像素的子块可以通过在垂直方向中使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插而被预测，如图16（C）中的箭头1624所示。

可以做出对内插过程的修改，例如但不限于在水平方向和/或垂直方向上使用具有不同滤波器抽头长度的不同的内插滤波器。在预测之后，包括遗漏像素的子块的预测残差可以按照由单元836和838进行的处理来被编码，并被加回到包括遗漏像素的子块的预测，以获得包括遗漏像素的重建的子块818。

图17A-D是示出了内插实施方式的示例的图示。输入块1702可以在两个方向上被减采样以生成减采样的块1704（如，其可以与图16（C）中的块1606相似）。包括遗漏像素的子块可以以级联（如，多级）的方式被预测和重建。如图17（C）中的箭头1720所示，位于(2n,2m)，n,m=0…3处的像素可以通过使用已经重建的邻近像素和位于(2n+1,2m+1)，n,m=0…3处的重建的像素进行内插（如，使用简单取平均）而被预测。包括位于(2n,2m)，n,m=0…3处的样本的子块的预测残差可以按照由单元836和838进行的处理来被编码。重建的残差可以被加回到预测，以获得包括位于(2n,2m)处的像素的重建的子块。如图17（D）所示，包括位于(2n,2m+1)处的像素的剩余子块和包括位于(2n+1,2m)处的剩余像素的子块可以通过使用已经被重建的像素进行内插而被预测，例如，分别使用箭头1722和箭头1724。

图16（C）、图17（C）和图17（D）中的内插过程可以使用不同特性（如，不同抽头长度和系数）的内插滤波器，例如但不限于双线性滤波器（如，简单取平均）、4抽头或6抽头1D滤波器、和/或4×4或6×62D非分离滤波器。虽然这里使用DC预测模式作为示例描述了MDS-IP实施方式，但对于其他非定向预测模式（如，平面预测模式）的MDS-IP实施方式可以基本上是相似的。

MDS-IP可以应用于各种预测模式。虽然对于不同预测模式的特定MDS-IP实施方式可能不同，但是他们通常包括两个步骤过程。例如，在第一个步骤中，包括输入视频块中的一部分像素（如，二分之一或四分之一）的二次采样的块可以通过应用与模式有关的二次采样过程来生成。二次采样的块可以基于预测模式被预测，并且该二次采样的块的预测残差可以被计算和被编码，以获得重建的残差。重建的二次采样的块之后可以被生成。例如，在第二个步骤中，包括输入视频块中的剩余像素的一个或多个子块可以通过根据已经编码的邻近像素和之前生成的重建的二次采样的块进行内插而被预测。特定的内插过程（如，内插滤波器、内插方向等）可取决于预测模式。包括输入视频块中的剩余像素的一个或多个子块的预测残差可以被编码。

如这里所描述的，包括遗漏像素的子块可以以级联（如，多级）的方式被预测和重建。例如，位于第一位置（如，参考图12中的位置(2n,2m)）处的像素可以被称为重建的子块的第一部分。位于第二位置（如，参考图12中的位置(2n,2m+1)处和/或位置(2n+1,2m)处）的像素可以被称为重建的子块的第二部分。重建的子块的第二部分可以至少部分地基于生成的重建的子块的第一部分（如图12（D）、图13（D）、图14（D）等中所示的）而被生成。用于生成重建的子块的第二部分的变换和量化参数（如，第三组）可以与用于生成子块的重建的残差的那组变换和量化参数（如，第一组）、或用于生成重建的子块的第一部分的变换和量化参数（如，第二组）相同。

实施方式可以利用各种方法来实现所期望的结果。例如，一个或多个二次采样的块（例如，在MDS-IP的第一个步骤和/或第二个步骤中生成的）可以不是方形的。针对非方形二次采样的块设计的2D变换、以及合适的系数扫描顺序可以被设计和应用。方形2D变换、以及扫描顺序可以被应用到非方形的矩形子块中。

在MDS-IP的第一个步骤（如，单元832和834）中的残差编码过程和在MDS-IP的第二个步骤（如，单元836和838）中的残差编码过程可以相同或不同。相同的变换和量化参数或不同的变换和量化参数可以在这些步骤过程中被应用。一个或多个变换单元104、量化单元106、反量化单元110、以及反变换单元112（例如，如图1所示）可以由MDS-IP过程使用。

与模式有关的内插过程（如，由与模式有关的内插单元844执行）可以生成包括遗漏样本的一个或多个二次采样的块的预测信号，接着是一个或多个包括正被重建的遗漏样本的二次采样的块的残差。预测和残差生成可以以级联的方式被执行，例如，其中包括遗漏样本的一个或多个子块的第一部分可以首先被编码，并且之后可用于对该包括遗漏样本的一个或多个子块的第二部分进行预测和编码。

在MDS-IP处理的第一个步骤期间和在MDS-IP处理的第二个步骤期间生成的预测残差可以被编码。在MDS-IP的第二个步骤期间生成的预测残差中的至少一些预测残差可以不被编码。

图18是示出了通信系统1800的示例的图示。编码器1802可以经由连接1808与通信网络1804进行通信。编码器1802可以使用如上所述的MDS-IP处理。连接1808可以是有线连接或无线连接。解码器1806可以经由连接1810与通信网络1804进行通信。解码器1806可以使用如上所述的MDS-IP处理。连接1810可以是有线连接或无线连接。通信网络1806可以例如是如这里所描述的合适类型的通信系统。解码器1806可以被引入到各种终端中的任意一者之中，这些终端例如但不限于数字电视、无线通信设备、无线广播系统、个人数字助理（PDA）、膝上型计算机或桌上型计算机、平板电脑、数码相机、数字记录设备、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、数字媒体播放器等等。

图19A是可以实施所公开的一个或多个实施方式的示例通信系统1900的图示。通信系统1900可以是向多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多接入系统。该通信系统1900能使多个无线用户通过包括无线带宽在内的系统资源的共享来访问这些内容。例如，通信系统1900可以使用一种或多种信道接入方法，如码分多址（CDMA）、时分多址（TDMA）、频分多址（FDMA）、正交FDMA（OFDMA）、单载波FDMA（SC-FDMA）等等。

如图19A所示，通信系统1900可以包括无线发射/接收单元（WTRU）1902a、1902b、1902c、1902d、无线电接入网（RAN）1903/1904/1905、核心网1906/1907/1909，公共交换电话网（PSTN）1908、因特网1910以及其他网络1912，但是应该理解，所公开的实施方式考虑到了任何数量的WTRU、基站、网络和/或网络元件。WTRU1902a、1902b、1902c、1902d中的每个WTRU可以是被配置成在无线环境中操作和/或通信的任何类型的设备。举个例子，WTRU1902a、1902b、1902c、1902d可以被配置成传送和/或接收无线信号，并且可以包括用户设备（UE）、移动站、固定或移动订户单元、寻呼机、蜂窝电话、个人数字助理（PDA）、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、消费类电子产品、或者能够接收和处理被压缩的视频通信的任意其他的终端。

通信系统1900还可以包括基站1914a和基站1914b。基站1914a和1914b中的每个基站可以是被配置成与WTRU1902a、1902b、1902c、1902d中的至少一个WTRU无线对接以便促成对一个或多个通信网络（例如核心网1906/1907/1909、因特网1910和/或网络1912）的接入的任何类型的设备。举个例子，基站1914a、1914b可以是基站收发信台（BTS）、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点（AP）、无线路由器等等。虽然基站1914a、1914b都各自被描述成是单个元件，但是应该理解，基站1914a、1914b可以包括任何数量的互连基站和/或网络元件。

基站1914a可以是RAN1903/1904/1905的一部分，其中该RAN1903/1904/1905还可以包括其他基站和/或网络元件（未示出），如基站控制器（BSC）、无线电网络控制器（RNC）、中继节点等等。基站1914a和/或基站1914b可以被配置成在被称为小区（未示出）的特定地理区域内传送和/或接收无线信号。该小区还可以被划分成小区扇区。例如，与基站1914a相关联的小区可以被分成三个扇区。因此在一个实施方式中，基站1914a可以包括三个收发信机，也就是说，小区的每一个扇区都具有一个收发信机。在另一实施方式中，基站1914a可以使用多输入多输出（MIMO）技术，并且由此可以针对小区中的每个扇区使用多个收发信机。

基站1914a、1914b可以通过空中接口1915/1916/1917与WTRU1902a、1902b、1902c、1902d中的一个或多个WTRU进行通信，其中该空中接口1915/1916/1917可以是任何适当的无线通信链路（例如，射频（RF）、微波、红外线（IR）、紫外线（UV）、可见光等等）。该空中接口1915/1916/1917可以使用任何适当的无线电接入技术（RAT）来建立。

更具体地说，如上所述，通信系统1900可以是多接入系统，并且可以使用一种或多种信道接入方案，如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN1903/1904/1905中的基站1914a和WTRU1902a、1902b、1902c可以实施如通用移动电信系统（UMTS）陆地无线电接入（UTRA）之类的无线电技术，该无线电技术可以使用宽带CDMA（WCDMA）来建立空中接口1915/1916/1917。WCDMA可以包括如高速分组接入（HSPA）和/或演进型HSPA（HSPA+）之类的通信协议。HSPA则可以包括高速下行链路分组接入（HSDPA）和/或高速上行链路分组接入（HSUPA）。

在另一实施方式中，基站1914a和WTRU1902a、1902b、1902c可以实施如演进型UMTS陆地无线电接入（E-UTRA）之类的无线电技术，该无线电技术可以使用长期演进（LTE）和/或高级LTE（LTE-A）来建立空中接口1915/1916/1917。

在其他实施方式中，基站1914a和WTRU1902a、1902b、1902c可以实施如IEEE802.16（即全球微波互通接入（WiMAX））、CDMA2000、CDMA20001X、CDMA2000EV-DO、临时（Interim）标准2000（IS-2000）、临时标准95（IS-95）、临时标准856（IS-856）、全球移动通信系统（GSM）、用于GSM演进的增强型数据速率（EDGE）、GSM EDGE（GERAN）等之类的无线电接入技术。

图19A中的基站1914b可以例如是无线路由器、家用节点B、家用e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域（如营业场所、住宅、车辆、校园等等）中的无线连接。在一个实施方式中，基站1914b和WTRU1902c、1902d可以实施如IEEE802.11之类的无线电技术来建立无线局域网（WLAN）。在另一实施方式中，基站1914b和WTRU1902c、1902d可以实施如IEEE802.15之类的无线电技术来建立无线个域网（WPAN）。在另一实施方式中，基站1914b和WTRU1902c、1902d可以使用基于蜂窝的RAT（例如，WCDMA、CDMA2000、GSM、LTE、LTE-A等等）来建立微微小区（picocell）或毫微微小区（femtocell）。如图19A所示，基站1914b可以具有到因特网1910的直接连接。由此，基站1914b可以不需要经由核心网1906/1907/1909来接入因特网1910。

RAN1903/1904/1905可以与核心网1906进行通信，其中该核心网1906可以是被配置成向WTRU1902a、1902b、1902c、1902d中的一个或多个WTRU提供语音、数据、应用和/或网际协议上的语音（VoIP）服务的任何类型的网络。例如，核心网1906/1907/1909可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或执行高级安全功能，例如用户认证。虽然没有在图19A中示出，但是应该理解，RAN1903/1904/1905和/或核心网1906/1907/1909可以直接或间接地和其他那些使用了与RAN1903/1904/1905相同的RAT或不同RAT的RAN进行通信。例如，除了与可以使用E-UTRA无线电技术的RAN1903/1904/1905相连接之外，核心网1906/1907/1909还可以与另一个使用GSM无线电技术的RAN（未示出）进行通信。

核心网1906/1907/1909还可以充当供WTRU1902a、1902b、1902c、1902d接入PSTN1908、因特网1910和/或其他网络1912的网关。PSTN1908可以包括提供普通老式电话服务（POTS）的电路交换电话网络。因特网1910可以包括使用了公共通信协议的全球性互联计算机网络设备系统，该公共通信协议例如TCP/IP网际协议族中的传输控制协议（TCP）、用户数据报协议（UDP）和网际协议（IP）。网络1912可以包括由其他服务供应商拥有和/或运营的有线或无线通信网络。例如，网络1912可以包括与一个或多个RAN相连的另一个核心网，其中所述一个或多个RAN可以使用与RAN1903/1904/1905相同的RAT或不同的RAT。

通信系统1900中的WTRU1902a、1902b、1902c、1902d的一些或全部WTRU可以包括多模能力，也就是说，WTRU1902a、1902b、1902c、1902d可以包括在不同无线链路上与不同无线网络通信的多个收发信机。例如，图19A所示的WTRU1902c可以被配置成与可以使用基于蜂窝的无线电技术的基站1914a通信，以及与可以使用IEEE802无线电技术的基站1914b通信。

图19B是示例WTRU1902的系统图示。如图19B所示，WTRU1902可以包括处理器1918、收发信机1920、发射/接收元件1922、扬声器/麦克风1924、键盘1926、显示器/触摸板1928、不可移动存储器1930、可移动存储器1932、电源1934、全球定位系统（GPS）芯片组1936以及其他外围设备1938。应该理解的是，在保持符合实施方式的同时，WTRU1902可以包括前述元件的任何子组合。此外，实施方式考虑了基站1914a和1914b，和/或基站1914a和1914b可以表示的节点，例如但不局限于基站收发信台（BTS）、节点B、站点控制器、接入点（AP）、家用节点B、演进型家用节点B（e节点B）、家用演进型节点B（HeNB）、家用演进型节点B网关、以及代理节点等等，实施方式可以包括图19B中示出的和这里所描述的元素中的一些或全部。

处理器1918可以是通用处理器、专用处理器、常规处理器、数字信号处理器（DSP）、图形处理单元（GPU）、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路（ASIC）、现场可编程门阵列（FPGA）电路、任何其他类型的集成电路（IC）、状态机等等。处理器1918可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或任何其他能使WTRU1902在无线环境中进行操作的功能。处理器1918可被耦合至收发信机1920，该收发信机1920可被耦合至发射/接收元件1922。虽然图19B将处理器1918和收发信机1920描述成是单独的元件，但是应该理解，处理器1918和收发信机1920可以被集成在一个电子封装或芯片中。

发射/接收元件1922可以被配置成通过空中接口1915/1916/1917将信号传送到基站（例如，基站1914a），或从基站（例如，基站1914a）接收信号。例如，在一个实施方式中，发射/接收元件1922可以是被配置成传送和/或接收RF信号的天线。在另一实施方式中，发射/接收元件1922可以是被配置成传送和/或接收例如IR、UV或可见光信号的发射器/检测器。在另一实施方式中，发射/接收元件1922可以被配置成传送和接收RF和光信号两者。应该理解的是，发射/接收元件1922可以被配置成传送和/或接收无线信号的任何组合。

此外，虽然在图19B中将发射/接收元件1922描述成是单个元件，但是WTRU1902可以包括任何数量的发射/接收元件1922。更具体地说，WTRU1902可以使用MIMO技术。因此在一个实施方式中，WTRU1902可以包括两个或多个通过空中接口1915/1916/1917来传送和接收无线信号的发射/接收元件1922（例如，多个天线）。

收发信机1920可以被配置成对发射/接收元件1922将要传送的信号进行调制，以及对发射/接收元件1922接收到的信号进行解调。如上所述，WTRU1902可以具有多模能力。由此，收发信机1920可以包括允许WTRU1902经由如UTRA和IEEE802.11之类的多种RAT来进行通信的多个收发信机。

WTRU1902的处理器1918可被耦合至下述设备，并且可以从下述设备中接收用户输入数据：扬声器/麦克风1924、键盘1926和/或显示器/触摸板1928（例如，液晶显示器（LCD）显示单元或有机发光二极管（OLED）显示单元）。处理器1918还可以输出用户数据至扬声器/麦克风1924、键盘1926和/或显示器/触摸板1928。此外，处理器1918可以从任何适当的存储器（例如不可移动存储器1930和/或可移动存储器1932）中存取信息，以及将数据存入这些存储器。所述不可移动存储器1930可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘或是其他任何类型的记忆存储设备。可移动存储器1932可以包括订户身份模块（SIM）卡、记忆棒、安全数字（SD）记忆卡等等。在其他实施方式中，处理器1918可以从那些并非物理地位于WTRU1902上的存储器（例如位于服务器或家用计算机（未示出）的存储器）上访问信息，以及将数据存入这些存储器。

处理器1918可以接收来自电源1934的电力，并且可以被配置成分发和/或控制给WTRU1902中的其他组件的电力。电源1934可以是为WTRU1902供电的任何适当的设备。例如，电源1934可以包括一个或多个干电池（例如，镍镉（NiCd）、镍锌（NiZn）、镍金属氢化物（NiMH）、锂离子（Li-ion）等等）、太阳能电池、燃料电池等等。

处理器1918还可被耦合至GPS芯片组1936，该GPS芯片组1936可以被配置成提供与WTRU1902的当前位置相关的位置信息（例如，经度和纬度）。作为来自GPS芯片组1936的信息的补充或替换，WTRU1902可以通过空中接口1915/1916/1917接收来自基站（例如，基站1914a、1914b）的位置信息，和/或根据从两个或多个附近基站接收到的信号定时来确定其位置。应该了解的是，在保持符合实施方式的同时，WTRU1902可以借助任何适当的位置确定方法来获取位置信息。

处理器1918还可被耦合至其他外围设备1938，该外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备1938可以包括加速计、电子指南针、卫星收发信机、数码相机（用于照片和视频）、通用串行总线（USB）端口、振动设备、电视收发信机、免提耳机、蓝牙

模块、调频（FM）无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。

图19C是根据一个实施方式的RAN1903和核心网1906的系统图示。如上所述，RAN1903可以使用UTRA无线电技术通过空中接口1915来与WTRU1902a、1902b、1902c进行通信。RAN1904还可以与核心网1906进行通信。如图19C所示，RAN1903可以包括节点B1940a、1940b、1940c，该节点B1940a、1940b、1940c中的每个都可以包括一个或多个收发信机，以便通过空中接口1915来与WTRU1902a、1902b、1902c进行通信。节点B1940a、1940b、1940c中的每个都可以与RAN1903中的特定小区（未示出）相关联。RAN1903还可以包括RNC1942a和1942b。应该理解的是，在保持符合实施方式的同时，RAN1903可以包括任意数量的节点B和RNC。

如图19C所示，节点B1940a、1940b可以与RNC1942a通信。此外，节点B1940c可以与RNC1942b通信。节点B1940a、1940b、1940c可经由Iub接口与各自的RNC1942a、1942b通信。RNC1942a、1942b可经由Iur接口彼此通信。RNC1942a、1942b中的每个可以被配置成控制各自的与之连接的节点B1940a、1940b、1940c。此外，RNC1942a、1942b中的每个可以被配置成执行或支持其他功能，如外环功率控制、负载控制、许可控制、分组调度、切换控制、宏分集、安全功能、数据加密等等。

图19C中示出的核心网1906可以包括媒体网关（MGW）1944、移动交换中心（MSC）1946、服务GPRS支持节点（SGSN）1948和/或网关GPRS支持节点（GGSN）1950。虽然前述的每个元件均被描述成是核心网1906的一部分，但应该理解的是，这些元件中的任何一个都可被核心网运营商之外的其他实体拥有和/或运营。

RAN1903中的RNC1942a可经由IuCS接口与核心网1906中的MSC1946相连接。MSC1946可与MGW1944相连接。MSC1946和MGW1944可以为WTRU1902a、1902b、1902c提供针对如PSTN1908的电路交换网络的接入，以便促成WTRU1902a、1902b、1902c和传统的陆线通信设备之间的通信。

RAN1903中的RNC1942a还可以经由IuPS接口与核心网1906中的SGSN1948相连接。SGSN1948可与GGSN1950相连接。SGSN1948和GGSN1950可以为WTRU1902a、1902b、1902c提供针对如因特网1910的分组交换网络的接入，以便促成WTRU1902a、1902b、1902c和IP使能设备之间的通信。

如上所述，核心网1906还可以与网络1912相连接，其中该网络1912可以包括由其他服务供应商拥有和/或运营的其他有线或无线网络。

图19D是根据一个实施方式的RAN1904和核心网1907的系统图示。如上所述，RAN1904可以使用E-UTRA无线电技术通过空中接口1916与WTRU1902a、1902b、1902c进行通信。RAN1904还可以与核心网1907进行通信。

RAN1904可以包括e节点B1960a、1960b、1960c，但是应当理解的是，在保持符合实施方式的同时，RAN1904可以包括任何数量的e节点B。e节点B1960a、1960b、1960c都可以各自包括一个或多个收发信机，用于通过空中接口1916与WTRU1902a、1902b、1902c进行通信。在一个实施方式中，e节点B1960a、1960b、1960c可以实施MIMO技术。因此，e节点B1960a例如可以使用多个天线来向WTRU1902a传送无线信号，以及接收来自WTRU1902a的无线信号。

e节点B1960a、1960b、1960c中的每一个可以与特定小区（未示出）相关联，并且可以被配置成处理无线电资源管理决策、切换决策、上行链路和/或下行链路中的用户调度等等。如图19D所示，e节点B1960a、1960b、1960c可通过X2接口彼此通信。

图19D所示的核心网1907可以包括移动性管理网关（MME）1962、服务网关1964和分组数据网络（PDN）网关1966。虽然前述的每个元件均被描述成是核心网1907的一部分，但应该理解的是，这些元件中的任何一个都可被核心网运营商之外的其他实体拥有和/或运营。

MME1962可经由S1接口与RAN1904中的e节点B1960a、1960b、1960c中的每一个相连接，并且可以充当控制节点。例如，MME1962可以负责认证WTRU1902a、1902b、1902c的用户、承载激活/去激活、在WTRU1902a、1902b、1902c的初始附着期间选择特定的服务网关等等。MME1962还可以提供控制面功能，以便在RAN1904和使用如GSM或WCDMA之类的其他无线电技术的其他RAN（未示出）之间进行交换。

服务网关1964可经由S1接口与RAN1904中的e节点B1960a、1960b、1960c中的每一个相连接。服务网关1964通常可以路由和转发去往/来自WTRU1902a、1902b、1902c的用户数据分组。服务网关1964还可以执行其他功能，如在e节点B间切换过程中锚定用户面，在下行链路数据可用于WTRU1902a、1902b、1902c的时候触发寻呼，管理和存储WTRU1902a、1902b、1902c的上下文等等。

服务网关1964还可以与PDN网关1966相连接，该PDN网关1966可以向WTRU1902a、1902b、1902c提供到如因特网1910之类的分组交换网络的接入，以便促成WTRU1902a、1902b、1902c和IP使能设备之间的通信。

核心网1907可以促成与其他网络的通信。例如，核心网1907可以向WTRU1902a、1902b、1902c提供到如PSTN1908之类的电路交换网络的接入，以便促成WTRU1902a、1902b、1902c与传统的陆线通信设备之间的通信。例如，核心网1907可以包括或者可以与充当核心网1907与PSTN1908之间的接口的IP网关（例如，IP多媒体子系统（IMS）服务器）进行通信。此外，核心网1907可以向WTRU1902a、1902b、1902c提供针对网络1912的接入，其中该网络1912可以包括由其他服务供应商拥有和/或运营的其他有线或无线网络。

图19E是根据一个实施方式的RAN1905和核心网1909的系统图示。RAN1905可以是使用IEEE802.16无线电技术通过空中接口1917与WTRU1902a、1902b、1902c进行通信的接入服务网络（ASN）。如下面将要进一步讨论的，WTRU1902a、1902b、1902c的不同功能实体、RAN1905以及核心网1909之间的通信链路可以被定义为参考点。

如图19E所示，RAN1905可以包括基站1980a、1980b、1980c以及ASN网关1982，但应该理解的是，在保持符合实施方式的同时，RAN1905可以包括任意数量的基站和ASN网关。基站1980a、1980b、1980c中的每一个都可以与RAN1905中的特定小区（未示出）相关联，并且每一个都包括一个或多个收发信机，用于通过空中接口1917与WTRU1902a、1902b、1902c进行通信。在一个实施方式中，基站1980a、1980b、1980c可以实施MIMO技术。因此，基站1980a例如可以使用多个天线来向WTRU1902a传送无线信号，以及接收来自WTRU1902a的无线信号。基站1980a、1980b、1980c还可以提供移动性管理功能，如切换触发、隧道（tunnel）建立、无线电资源管理、业务分类、服务质量（QoS）策略增强等等。ASN网关1982可以充当业务汇聚点，并且可以负责寻呼、订户简档的缓存、到核心网1909的路由等等。

WTRU1902a、1902b、1902c和RAN1905之间的空中接口1917可以被定义为R1参考点，该R1参考点实施IEEE802.16规范。此外，WTRU1902a、1902b、1902c中的每一个可以与核心网1909建立逻辑接口（未示出）。WTRU1902a、1902b、1902c和核心网1909之间的逻辑接口可以被定义为R2参考点，该R2参考点可以用于认证、授权、IP主机配置管理、和/或移动性管理。

基站1980a、1980b、1980c中的每一个之间的通信链路可以被定义为R8参考点，该R8参考点包括促成WTRU切换和基站间的数据传送的协议。基站1980a、1980b、1980c和ASN网关1982之间的通信链路可以被定义为R6参考点。该R6参考点可以包括用于基于与WTRU1902a、1902b、1902c中的每一个相关联的移动性事件来促成移动性管理的协议。

如图19E所示，RAN1905可以与核心网1909相连接。RAN1905和核心网1909之间的通信链路可以被定义为R3参考点，该R3参考点包括例如促成数据传送和移动性管理能力的协议。核心网1909可以包括移动IP家庭代理（MIP-HA）1984，认证、授权、计费（AAA）服务器1986以及网关1988。虽然前述每个元件均被描述成是核心网1909的一部分，但应该了解的是，这些元件中的任何一个都可被核心网运营商之外的其他实体拥有和/或运营。

MIP-HA1984可以负责IP地址管理，并且能使WTRU1902a、1902b、1902c在不同的ASN和/或不同的核心网之间漫游。MIP-HA1984可以为WTRU1902a、1902b、1902c提供到如因特网1910之类的分组交换网络的接入，以便促成WTRU1902a、1902b、1902c和IP使能设备之间的通信。AAA服务器1986可以负责用户认证和支持用户服务。网关1988可以促成与其他网络的交互操作。例如，网关1988可以为WTRU1902a、1902b、1902c提供到如PSTN1908之类的电路交换网络的接入，以便促成WTRU1902a、1902b、1902c与传统的陆线通信设备之间的通信。此外，网关1988可以向WTRU1902a、1902b、1902c提供针对网络1912的接入，其中该网络1912可以包括由其他服务供应商拥有和/或运营的其他有线或无线网络。

尽管没有在图19E中显示，但是应当理解的是，RAN1905可以与其他ASN相连接，并且核心网1909可以与其他核心网相连接。RAN1905和其他ASN之间的通信链路可以被定义为R4参考点，该R4参考点可以包括用于协调RAN1905和其他ASN之间的WTRU1902a、1902b、1902c的移动性的协议。核心网1909和其他核心网之间的通信链路可以被定义为R5参考，该R5参考可以包括用于促成家庭核心网和访问的核心网之间的互通的协议。

这里描述的过程可以在引入到计算机可读介质中由计算机和/或处理器运行的计算机程序、软件或固件中实施。关于计算机可读介质的示例包括电信号（经由有线或无线连接传送）以及计算机可读存储介质。关于计算机可读介质的示例包括但不局限于只读存储器（ROM）、随机存取存储器（RAM）、寄存器、缓冲存储器、半导体存储设备、例如但不限于内部硬盘和可移动磁盘之类的磁介质、磁光介质、以及如CD-ROM碟片和数字多用途碟片（DVD）之类的光介质。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC和/或任何主计算机中使用的射频收发信机。

Claims (24)

1.一种视频解码方法，该方法包括：

接收与视频块的第一子块相关联的块系数；

接收与所述视频块的一个或多个剩余子块相关联的一个或多个块系数；

接收对所述视频块的预测模式的指示；

基于所述预测模式来确定一个或多个内插技术；

基于所述预测模式使用内部预测来确定预测的第一子块；

将所述预测的第一子块添加到与所述第一子块相对应的重建的残差，以生成重建的第一子块；

基于用于所述视频块的一个或多个内插技术来确定所述一个或多个剩余子块的预测的子块；

将所述一个或多个剩余子块的预测的子块添加到与所述一个或多个剩余子块相对应的重建的残差，以生成一个或多个重建的剩余子块；以及

基于所述预测模式、所述重建的第一子块、以及所述一个或多个重建的剩余子块来形成重建的视频块。

2.根据权利要求1所述的方法，其中所述第一子块的所述重建的残差通过使用第一组反量化和反变换参数对与所述第一子块相关联的系数进行反量化和反变换而生成。

3.根据权利要求2所述的方法，其中所述第一组反量化和反变换参数与形状自适应离散余弦变换相关联。

4.根据权利要求2所述的方法，其中对与所述预测的第一子块相关联的系数进行反变换包括非方形变换。

5.根据权利要求2所述的方法，其中所述一个或多个重建的剩余子块通过使用第二组反量化和反变换参数对与所述一个或多个剩余子块相关联的系数进行反量化和反变换而生成。

6.根据权利要求5所述的方法，其中所述第二组反量化和反变换参数与形状自适应离散余弦变换相关联。

7.根据权利要求5所述的方法，其中所述第一组反量化和反变换参数与所述第二组反量化和反变换参数相同。

8.根据权利要求5所述的方法，其中所述第一组反量化和反变换参数与所述第二组反量化和反变换参数不同。

9.根据权利要求1所述的方法，其中所述视频块是视频信号的亮度分量或色度分量。

10.根据权利要求1所述的方法，其中生成一个或多个重建的剩余子块包括：

生成所述一个或多个重建的剩余子块的第一部分；以及

在生成所述一个或多个重建的剩余子块的所述第一部分之后，至少部分地基于所生成的第一部分来生成所述一个或多个重建的剩余子块的第二部分。

11.根据权利要求10所述的方法，其中至少部分地基于所生成的第一部分来生成包括遗漏像素的所述一个或多个重建的剩余子块的所述第二部分包括第三组反量化和反变换参数。

12.根据权利要求11所述的方法，其中所述第三组反量化和反变换参数与所述第一组反量化和反变换参数或所述第二组反量化和反变换参数相同。

13.一种方法，该方法包括：

接收视频块；

接收预测模式；

基于所述预测模式对所述视频块进行二次采样，以生成第一子块和包括遗漏像素的一个或多个子块；

基于所述预测模式使用内部预测来确定预测的第一子块；

重建所述第一子块以生成重建的第一子块；

基于所述预测模式和所述重建的第一子块进行内插，以获得包括遗漏像素的预测的一个或多个子块；

重建包括遗漏像素的所述一个或多个子块，以生成包括遗漏像素的重建的一个或多个子块；以及

基于所述重建的第一子块、所述包括遗漏像素的重建的一个或多个子块、以及所述预测模式来形成重建的视频块。

14.根据权利要求13所述的方法，其中重建所述第一子块以生成所述重建的第一子块是基于第一组变换和量化参数的，以及其中重建所述包括遗漏像素的一个或多个子块以生成所述重建的一个或多个子块是基于第二组变换和量化参数的。

15.根据权利要求14所述的方法，其中所述第一组变换和量化参数与所述第二组变换和量化参数相同。

16.根据权利要求14所述的方法，其中所述第一组变换和量化参数与所述第二组变换和量化参数不同。

17.根据权利要求14所述的方法，其中基于所述第二组变换和量化参数来重建所述包括遗漏像素的一个或多个子块以生成所述重建的一个或多个子块包括：

基于所述第二组变换和量化参数来重建所述包括遗漏像素的一个或多个子块的第一部分；以及

在重建所述包括遗漏像素的一个或多个子块的所述第一部分之后，至少部分地基于所重建的第一部分来重建所述包括遗漏像素的一个或多个子块的第二部分。

18.根据权利要求17所述的方法，其中至少部分地基于所重建的第一部分来重建所述包括遗漏像素的一个或多个子块的所述第二部分包括第三组变换和量化参数。

19.根据权利要求18所述的方法，其中所述第三组变换和量化参数与所述第一组变换和量化参数或所述第二组变换和量化参数相同。

20.根据权利要求13所述的方法，其中所述视频块是视频信号的亮度分量或色度分量。

21.一种视频解码方法，该方法包括：

接收一个或多个编码的视频块；

将所述一个或多个编码的视频块分成第一子块和一个或多个剩余子块；

生成重建的第一子块和一个或多个重建的剩余子块；以及

基于所述预测模式、所述重建的第一子块、以及所述一个或多个重建的剩余子块来形成重建的视频块。

22.根据权利要求21所述的方法，其中所述重建的第一子块通过将预测的第一子块添加到与所述第一子块相对应的重建的残差而生成。

23.根据权利要求22所述的方法，其中所述一个或多个重建的剩余子块通过将所述一个或多个剩余子块的预测的子块添加到与所述一个或多个剩余子块相对应的重建的残差而生成。

24.根据权利要求23所述的方法，其中基于预测模式、使用内部预测来确定所述预测的第一子块，以及基于一个或多个内插技术来确定所述一个或多个剩余子块的所述预测的子块，所述一个或多个内插技术是基于所述预测模式的。

Images