CN109121465B

CN109121465B - 用于运动补偿残差预测的系统和方法

Info

Publication number: CN109121465B
Application number: CN201780027176.8A
Authority: CN
Inventors: 陈俊吉; 修晓宇; 贺玉文; 叶艳
Original assignee: InterDigital Madison Patent Holdings SAS
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2016-05-06
Filing date: 2017-05-02
Publication date: 2023-06-06
Anticipated expiration: 2037-05-02
Also published as: TWI745370B; US10694204B2; EP3453178A1; CN109121465A; TW201740737A; WO2017192616A1; US20190166380A1

Abstract

公开了用于通过使用运动补偿残差预测(MCRP)来提高残差预测的预测效率的系统和方法。示例性残差预测技术采用运动补偿预测和处理后的残差参考图片。本文还公开了用于生成残差参考图片的系统和方法。在考虑到或者不考虑环路滤波效果的情况下，可以自适应地生成这些图片。还描述了用于增强残差参考图片的质量的示例性去噪滤波器设计，并且描述了用于减小参考图片的存储大小的压缩方法。本文还公开了用于传送残差的运动信息的示例性语法设计。

Description

用于运动补偿残差预测的系统和方法

有关申请的交叉引用

本申请根据35U.S.C.§119(c)要求2016年5月6日提交的标题为“用于运动补偿残差预测的系统和方法(SYSTEMS AND METHODS FOR MOTION COMPENSATED RESIDUALPREDICTION)”的美国临时专利申请第62/332,929号的权益，该案以引用的方式全部并入本文。

背景技术

视频编码系统被广泛用于压缩数字视频信号以减少这种信号的存储要求和/或传输带宽。在各种类型的视频编码系统(诸如，基于块的系统、基于小波的系统、和基于对象的系统)中，目前，最广泛地使用和部署的是基于块的混合视频编码系统。基于块的视频编码系统的示例包括国际视频编码标准，诸如，MPEG1/2/4 part 2、H.264/MPEG-4 part 10AVC、VC-1、和由ITU-T/SG16/Q.6/VCEG和ISO/IEC/MPEG的JCT-VC(视频编码联合协作小组)开发的称作高效率视频编码(HEVC)的最新视频编码标准。对于数字视频系统的消费者和提供商而言，对视频数据进行编码以进一步减少存储和带宽要求的改进型系统和方法将会是可取的。

发明内容

公开了用于通过使用运动补偿残差预测(MCRP)来提高残差预测的预测效率的系统和方法。所公开的系统和方法不仅进一步扩展到帧间编码块的残差，还扩展到帧内编码块的残差。示例性残差预测技术采用运动补偿预测和处理后的残差参考图片。本文还公开了用于生成残差参考图片的系统和方法。在考虑到或者不考虑环路滤波效果的情况下，可以自适应地生成这些图片。还描述了用于增强残差参考图片的质量的示例性去噪滤波器设计，并且描述了用于减小参考图片的存储大小的压缩方法。本文还公开了用于传送残差的运动信息的示例性语法设计。

还描述了用于优化残差预测的运动估计过程的编码器搜索标准的示例性方法，并且描述了联同帧间预测技术和帧内预测技术一起优化提出的残差预测的模式参数的实施例。

提供了一种用于在比特流中对视频进行编码的示例性方法，其中，该视频包括多个图片，该多个图片包括当前图片和至少一个参考图片，其中，各个图片包括样本块。在该方法中，生成包括至少一个块的残差参考图片，该残差参考图片表示在参考图片的对应块与参考图片的对应一阶预测之间的差异；在一些实施例中，残差参考图片包括关于整个对应的参考图片的残差的信息；在其它实施例中，残差参考图片包括关于仅针对对应的参考图片的一部分的残差的信息(例如，关于参考图片的一个或者多个特定块的残差的信息，可以通过在比特流中使用块级标记来标识该信息)。对残差参考图片进行滤波以生成滤波后的残差参考图片。针对在当前图片中的至少一个当前块：(i)通过使用，例如，帧间预测或者帧内预测，来形成当前块的一阶预测；(ii)通过使用运动补偿预测来从滤波后的残差参考图片中的残差参考块预测当前块的残差；以及(iii)将一阶预测和预测的残差组合以生成当前块的复合预测信号。

在一些这种方法中，在比特流中用信号通知块级标记，该标记指示是否要从去噪后的参考图片预测当前块的残差。

在一些实施例中，对残差参考图片进行滤波可以包括：取残差参考图片中的样本中的至少一些样本的绝对值。在这种实施例中，针对当前块，可以在比特流中用信号通知符号值，并且预测当前块的残差包括：将残差参考块乘以符号值。在一些实施例中，针对当前块，在比特流中用信号通知加权因子，并且预测当前块的残差包括：将残差参考块乘以加权因子。在一些实施例中，对残差参考图片进行滤波包括：对残差参考图片应用阈值，从而使得在残差参考图片中的低于阈值的残差值在去噪后的残差参考图片中为0。可以自适应地选择阈值以大体上达到各个图片的预定比率k，其中，k是当前图片中的低于阈值的样本的数量与高于阈值的样本的数量之间的比率。在一些实施例中，对残差参考图片进行滤波可以包括：量化在残差参考图片中的样本值。在一些实施例中，对残差参考图片进行滤波包括：对残差参考图片应用线性滤波器，其中，在比特流中用信号通知线性滤波器的系数。

生成残差参考图片可以包括：从参考图片的滤波后的重构信号或者未滤波的重构信号减去参考图片的一阶预测。可以在比特流中用信号通知是否要使用滤波后的重构信号或者未滤波的重构信号的指示。

可以在比特流中用信号通知残差运动向量。在这种情况下，预测残差包括：通过使用残差运动向量来标识残差参考块。

还描述了使用本文陈述的方法的视频编码器和解码器。

本文的系统和方法提供了预测像素值的新颖技术。编码器和解码器均可以使用这种技术。像素的预测产生像素值，在编码方法中，可以从原始像素输入值减去所述像素值以确定在比特流中进行编码的残差。在解码方法中，可以从比特流对残差进行解码并且将残差添加至预测的像素值，以获取与原始输入像素相同或者近似的重构像素。因此，本文所描述的预测方法通过在至少一些实施方式中减少对视频进行编码和解码所需的比特的数量，来改进视频编码器和解码器的操作。在详细描述中描述了针对视频编码器和解码器的操作的示例性预测方法的其它益处。

附图说明

通过下面结合附图作为示例呈现的描述可以得到更详细的理解，以下首先对附图进行简要描述。

图1是图示了基于块的视频编码器的示例的功能框图。

图2是图示了基于块的视频解码器的示例的功能框图。

图3是图示了在块与模板之间的空间关系的示意图。

图4A至4C图示了在之前编码的图片的预测残差图片与重构残差图片之间的时间相似性。图4A：原始图片。图4B：其预测残差图片。图4C：其中一个之前编码的图片的重构残差图片。

图5是根据示例性实施例的使用运动补偿残差预测的视频编码器的功能框图。

图6是在示例性实施例中用于视频编码器的运动补偿残差预测模块的功能框图。

图7是根据示例性实施例的使用运动补偿残差预测的视频解码器的功能框图。

图8是在示例性实施例中用于视频解码器的运动补偿残差预测模块的功能框图。

图9是图示了在重构的一阶残差参考图片的光栅扫描线中的噪声信号的示例的图表。纵轴表示重构的一阶残差的值，并且横轴表示水平像素坐标。

图10是图示了滤波器系数的示例性迭代训练过程的流程图。

图11图示了针对各个16x16的块绘制的像素域MV(黑色)和残差域MV(白色)的示例。在绘制该图时，采用了单个参考帧和单预测。

图12是图示了用于MCRP和其它预测模式的示例性联合优化过程的流程图。

图13是图示了编码的比特流结构的示例的示意图。

图14是图示了示例通信系统的示意图。

图15是图示了在一些实施例中可以用作编码器或者解码器的示例无线发射/接收单元(WTRU)的示意图。

具体实施方式

示例性基于块的编码和解码系统和方法

图1是基于块的混合视频编码系统的功能框图。逐块地处理输入视频信号102。在HEVC中，扩展式块大小(称为“编码单元”或者CU)用于高效地压缩高分辨率(1080p及以上)视频信号。在HEVC中，CU可以多达64x64个像素，但在JEM中，能够有多达256x256的更大的块大小。可以将CU进一步划分成适用单独的预测方法的预测单元(PU)。针对各个输入视频块(MB或者CU)，可以执行空间预测(160)和/或时间预测(162)。空间预测(或者“帧内预测(intra prediction)”)使用来自相同视频图片/片段中的已编码的邻近块的像素来预测当前视频块。空间预测减少视频信号中固有的空间冗余。时间预测(还称为“帧间预测(interprediction)”或者“运动补偿预测”)使用来自已经编码的视频图片的重构像素来预测当前视频块。时间预测减少视频信号中固有的时间冗余。通常通过一个或者多个运动向量来用信号通知给定的视频块的时间预测信号，该运动向量指示在当前块与其参考块之间的运动的量和方向。而且，如果支持多个参考图片(与最近的视频编码标准(诸如，H.264/AVC或者HEVC)一样)，则针对各个视频块，还发送其参考图片索引；并且参考索引用于标识时间预测信号是来自参考图片存储装置(164)中的哪个参考图片。在空间和/或时间预测之后，例如，编码器中的模式判定块(180)基于速率失真优化方法来选择最佳预测模式。然后从当前视频块(116)减去预测块；并且通过使用转换(104)来对预测残差进行去相关并且量化(106)，以达到目标比特率。对量化残差系数进行逆量化(110)和逆转换(112)以形成重构残差，然后将重构残差添加回预测块(126)以形成重构视频块。在将重构视频块放入参考图片存储装置(164)中并且使用重构视频块对未来的视频块进行编码之前，可以对重构视频块应用其它环路滤波(诸如，去块(de-blocking)滤波器和自适应环路滤波器)(166)。为了形成输出视频比特流120，将编码模式(帧间或者帧内)、预测模式信息、运动信息、和量化残差系数全部发送至熵编码单元(108)进行进一步压缩和封装以形成比特流。

图2是基于块的视频解码器的功能框图。首先解封视频比特流202并且在熵解码单元208处对其进行熵解码。将编码模式和预测信息发送至空间预测单元260(若进行帧内编码)或者时间预测单元262(若进行帧间编码)以形成预测块。将残差转换系数发送至逆量化单元210和逆转换单元212以重构残差块。然后，在226中，将预测块和残差块加和到一起。在将重构块存储在参考图片存储装置264中之前，重构块可能要进一步进行环路滤波。然后发送参考图片存储装置中的重构视频以驱动显示装置，并且使用该重构视频来预测未来的视频块。

运动补偿残差的预测

在目前的视频编解码器中，运动补偿预测(MCP)以其在通过利用图片之间的时间相关性来消除时间冗余方面的高效率著称，并且已经广泛用于大多数最先进的视频编解码器中。在过去十年里，研究报告称，在运动补偿预测之后，在时间邻近的图片的残差图片之间仍然存在结构方面的相似性。因此，在文献中已经提出了旨在进一步减少预测残差的若干预测技术，诸如，空间域残差预测、频域残差预测、和时间域残差预测。

空间域残差预测

基于观察到利用MCP生成的残差仍然具有空间相关性或者纹理结构，通过对从因果邻近样本的残差信号获取参考样本执行帧内预测，空间域残差预测技术可利用这种剩余的信号相关性。如图3所描绘，通过从模板的重构信号减去中间倒L形邻域(称为模板)的预测信号，来导出这些参考样本的该残差信号。通过使用MCP从参考图片的对应信号获取模板的预测信号。然后，将模板的残差用作在残差域中执行帧内预测的参考。帧内预测的结果是当前块的预测残差，该预测残差被视作二阶预测；然后将其与运动补偿预测累加起来以形成最终预测。直接应用了与针对帧间模式相同的转换和量化过程。

频域残差系数预测

不是基于模板的残差信号来应用帧内预测，一些方法直接通过转换域运动补偿预测来估计量化转换系数。这种方法旨在减少对量化残差系数进行编码所消耗的编码比特的数量，因此，可能不会影响重构图片质量。在对当前帧进行编码之后，与相同频带对应的系数按序排列在一起以形成频面。例如，如果应用了4x4转换，则将包括当前图片和参考图片的各个编码图片分成16个大小相等的频面。然后，逐个面地应用基于块的运动补偿预测。为了节省运动向量(MV)开销，这些频面可以共享相同的运动信息。将在各个频面中的残差系数重新映射至在编码的当前图片中的原始转换顺序，并且然后，按照与用于对量化转换系数进行编码相同的方式对在当前图片中的各个转换单元的残差系数进行编码。

时间域残差预测

由于可变的块大小转换，在不对参考图片进行重新转换编码和重新量化的情况下，获取与相同频带对应的系数并不容易。一种低复杂性方法在时间域而不是频域中执行具有重构残差的运动补偿预测。通过重构残差而不是重构像素来形成正在使用的参考图片。然后将运动补偿残差预测信号与像素的运动补偿预测信号累加起来以形成最终预测信号。可以直接应用与针对帧内模式相同的转换和量化过程。

残差预测的挑战

使用运动补偿预测的残差预测提供了进一步提高帧间预测残差的编码效率的机会。如在图4A至4C中可以看出，在时间空间中仍然存在残差图片之间的结构方面的相关性。在当前图片(图4B)的预测残差和前一个图片(图4C)的重构残差中可以容易地观察到相似的移动边界(例如，分别用红色和蓝色突出显示的赛马骑手的身体和马头)或者边缘(例如，用橙色标记的马鞍)。然而，上述的技术直接使用重构残差来生成残差预测器。这些技术并未完全利用重构残差来提高整体编码性能。

因为重构残差信号很可能会是符合统计学中的拉普拉斯(Laplace)分布的零均值高频信号，所以出现了针对残差预测技术的一个问题。这产生了大体上均匀分布且随机的正负符号值。针对这些符号值，即使两个块在结构方面彼此相似，但是仍然会导致考虑到主要是由于符号值的不匹配而造成的块匹配方面的不匹配。因此，当在残差域中执行了运动估计时，难以为残差块找到具有相同的结构信息的良好预测器。这可能会降低基于MCP的残差预测的有效性。

因为环路滤波可以积极或者消极地影响残差的预测质量，所以出现了针对残差预测技术的另一问题。例如，如果通过从滤波后的重构信号减去预测信号来重构残差参考图片，则通过使用去块滤波器来抑制块效应等同于将该效应传输至残差的参考图片。由于这种人工调节并非始终与残差相关，因此，需要自适应机制；否则，可能会造成较差的残差预测性能。

虽然在某种程度上可以预测当前残差块中的结构信息，但是因为当前残差块中的剩余信息驻留在高频范围中，预测该剩余信息极为困难，所以出现了针对残差预测技术的又一问题。因为使用MCP的残差预测旨在预测结构信息，所以具有任何微小的强度变化(例如，隔开的峰值)的残差的参考图片不会在预测性能方面提供较多的益处，相反，其会污染无结构的区域中的预测残差，从而产生了效率较低的转换编码结果。当微小的强度变化类似于噪声时，应该会需要可以用来滤出这种噪声的去噪滤波。

因为残差是参考图片中的稀疏信号，因此，其运动场显示出比像素域中的运动场更强的随机性，所以出现了针对残差预测技术的另一问题。对残差域的运动应用具体针对像素域的运动进行优化的相同的搜索策略和运动信息编码技术不一定是最佳的。

在示例性实施例中的残差预测技术

在本公开中，公开了用于通过使用运动补偿预测方法来提高残差预测的预测效率的系统和方法。所公开的系统和方法不仅进一步扩展到帧间编码块的残差，还扩展到帧内编码块的残差。

本文公开了使用运动补偿预测和处理后的残差参考图片(例如，已经滤波以生成去噪残差参考图片的残差参考图片)的残差预测技术。

本公开进一步指定了残差参考图片的生成过程。在考虑到或者不考虑环路滤波效果的情况下，可以自适应地生成这些图片，接着是用于增强这些图片的质量的示例性去噪滤波器设计。描述了用于减小参考图片的存储大小的压缩方法。

在一些实施例中，简化了用于残差的运动信息的语法设计，以达到在语法开销与编码性能之间的优化折衷。

描述了用于优化残差预测的运动估计过程的编码器搜索标准的示例性方法。进一步描述了联同帧间预测技术和帧内预测技术一起优化提出的残差预测的模式参数的实施例。

图5是示例性提出的视频编码器的框图。与图1中示出的常规视频编码器类似，首先调用空间预测模块和运动估计和补偿模块以分别产生帧内预测信号和帧间预测信号。通过对处于最接近的因果邻域的重构像素进行外插来合成帧内预测信号，并且指示了一种最有利于表示当前块的外插法；通过使用一个或多个优化的运动向量(MV)将当前块与参考图片中的参考块进行匹配，来形成帧间预测信号。然后在转换编码模块之前调用附加模块(称为运动补偿残差预测(MCRP))。

在本公开中，为了便于解释，使用了以下术语。将通过从原始信号减去像素域帧内/帧间预测生成的残差称为一阶残差。将通过从一阶残差减去残差域帧间预测生成的残差称为二阶残差。将像素域帧内/帧间预测和残差域帧内/帧间预测分别称为一阶预测和二阶预测。将用于一阶预测和二阶预测的MV分别称为像素域MV和残差域MV。将通过对系数(通过对二阶残差进行转换和量化来产生该系数)进行逆量化和逆转换生成的残差称为重构二阶残差。将通过将重构二阶残差和二阶预测相加生成的残差称为重构一阶残差。

如图6所描绘，在示例性实施例中，采用MCRP的编码器执行用于搜索最佳残差的MV的运动估计，然后通过使用最佳残差MV从残差参考图片存储装置执行运动补偿，以获取残差域中的预测块(残差的预测信号)。将该残差预测信号(二阶预测)与帧间或者帧内预测信号(一阶预测)相加以形成复合预测信号。之后，从该最终预测信号减去原始信号，因此，产生了用于编码的最终残差信号(二阶残差)。

对然后要进行熵编码并且输出至比特流的二阶残差应用转换和量化模块。在应用了逆量化模块和逆转换模块之后，重构二阶残差信号，然后将该二阶残差信号与一阶预测信号和二阶预测信号累加在一起，以在环路滤波器模块之前形成重构信号。进一步地，对要输出的重构视频信号应用环路滤波器模块(例如，去块、样本自适应偏移及自适应环路滤波器)。从一阶预测视频信号(包括帧间预测信号和帧内预测信号)减去重构视频信号(在环路滤波器模块之前或者之后)，并且通过使用在图5中的标有残差参考图片生成模块的模块中的低通滤波器来滤波产生的视频信号(重构一阶残差)。

为了节省存储大小，残差参考图片生成模块还可以从滤波后的信号截断各个样本的符号位和一些最低有效位，或者可以剪掉特定比特范围内的残差。然后将该模块的输出信号存储在一阶残差参考图片存储装置中，以供将来在运动补偿残差预测模块中使用。根据帧内预测和帧间预测的预测性能，有时，不存在过多要进行预测的剩余的一阶残差信号，因此，在速率失真的意义上，以二阶预测的信令开销为代价不一定总是值得的。因此，为了改善MCRP的编码性能，在一些实施例中，按照特定块级(例如，CU或者PU级)用信号通知标记残差_预测_标记(residual_prediction_flag)，以指示MCRP的使用。当该标记设置为等于1时，按照相同的块级用信号通知另一标记残差_符号_标记(residual_sign_flag)以指示二阶预测信号的振幅应该为正还是为负。针对提出的编码器，按照片段、图片、或者序列级用信号通知另一标记残差_选择_标记(residual_selection_flag)，以在用于生成一阶残差参考图片的两种方法之间进行切换。然后可以滤波这些残差参考图片以提高质量，并且截断这些残差参考图片以节省存储大小。

图7是对由图5的编码器产生的比特流进行解码的示例性视频解码器的框图。通过熵解码器来解析比特流，并且对所获取的残差系数进行逆量化和逆转换以重构残差。根据接收到的预测信息(针对帧内预测的帧内模式以及针对帧间预测的运动信息)，通过执行像素域帧内预测或者帧间预测来生成一阶预测信号。如果接收到的标记residual_prediction_flag等于1，则进一步将一阶预测与通过执行MCRP产生的二阶预测信号累加起来(如图8所描绘)，从而生成最终预测信号；否则(如果residual_prediction_flag等于0)，一阶预测信号在不进行任何改变的情况下直接充当最终预测信号。根据标记residual_sign_flag，二阶预测信号的振幅可以在residual_sign_flag等于1时为正或者在residual_sign_flag等于0时为负。稍后，将最终预测信号和重构残差信号相加以在环路滤波器模块之前形成重构视频。

在将重构视频存储在参考图片存储装置中进行显示和/或用于对未来的视频信号进行解码之前，重构视频还可以经历环路滤波过程。如果接收到的标记residual_selection_flag等于1，则在环路滤波器模块之后，从重构视频减去一阶预测视频以形成重构一阶残差图片；否则(如果residual_selection_flag等于0)，在环路滤波器模块之前，在前述减法运算中使用重构视频。在图7中描绘的残差参考图片生成模块中，可以滤波产生的重构一阶残差，并且在将其存储在一阶残差参考图片存储装置中以供将来在MCRP的预测过程中使用之前，可以进一步截断其符号位和最低有效位。

在本公开中，描述了通过使用构建在图5和图7中提出的编码器和解码器上的MCRP的残差预测方法的系统和方法。在本公开的以下部分中，“使用运动补偿的残差预测”部分呈现了用于执行MCRP和相关联的重构过程的示例性方法。“残差参考图片的生成”部分描述了一阶残差参考图片生成、去噪滤波器设计和存储的示例性过程。在“运动补偿残差预测的信令”部分中，描述了针对与MCRP有关的标记的示例性信令设计，并且呈现了用于MCRP的残差域MV和参考图片选择的示例性编码方法。“残差域MV的仅针对编码器的搜索策略”部分描述了示例性仅针对编码器的残差的运动搜索策略。

使用运动补偿的残差预测

在示例性实施例中，运动补偿残差预测(MCRP)操作用于预测从帧内预测或者帧间预测生成的一阶残差。在一个实施例中，各个PU具有指示在残差参考图片中预测到其的位置的附加MV。可以将产生的预测表示成以下等式，其中，

表示位于图片内的位置x处的特定样本x的一阶预测信号，m包含依赖于用于生成/>

的预测模式的运动信息或者帧内方向，/>

表示x的残差的二阶预测信号，v是用于执行MCRP的运动向量，并且P[x|m,v]表示使用m和v的位于x的样本x的复合MCRP预测信号。

通过MCRP，可以更好地表示块中的高频分量。通常，从参考重构像素导出预测信号可能会导致针对块的高频分量的预测性能较差。这是因为由于量化，这些参考像素中的大多数已经在某种程度上失去了其高频信息的准确性，但是这些像素的结构信息中的一些仍然保留在重构残差信号中。为了补偿损失，提出的MCRP利用该观察采用由其相关联的残差域MV指示的一阶残差参考图片执行附加运动补偿，以获取可以用于表示当前块的结构信息的块。

然而，这种结构信息主要由包括量化噪声的高频差分信号组成。信号的符号值是非常随机的，并且由于应用了不同的量化步长，可以使信号的振幅移位。二者均为将会限制残差预测的性能的消极因素。在示例性实施例中，提出了利用校正线性模型的残差预测，并且该残差预测可以表示成如下：

其中，W[x]和O[x]分别表示加权因子和偏移值，运算符|y|输出输入变量y的振幅，并且

是提出的二阶预测的通用形式。在二阶预测的提出的实施例中，可采用/>

的绝对值，并且对预测块中的各个/>

应用线性模型。

尽管等式(2)对各个位置处的各个残差样本应用W[x]和O[x]，并且在一些实施例中使用等式(2)来处理上述问题，但是由于昂贵的开销，该解决方案可能超出了MCRP的预测益处。在示例性实施例中，每个块只有一个加权因子和一个偏移值被应用于为块中的所有残差估计单个加权因子和偏移(W[x]和O[x])。而且，因为这些配置，(W[x],O[x])∈{(-1,0),(1,0)}已经从MCRP捕获了大多数预测益处，并且已经实现了在残差预测精度和信令开销之间的平衡，等式(2)的简化形式可以如下：

其中，S[x]表示x的估计符号值并且在所有样本中共享，并且

是提出的二阶预测的简化形式。在该等式中，分别用1和-1表示正负符号值。在二阶预测的示例性实施例中，可取/>

的绝对值，并且对预测块中的各个/>

应用符号值。示例性实施例采用较少的语法元素(使用S[x]来替代W[x]和O[x])来支持二阶预测。

针对等式(3)，可以通过使用等式(4)来生成重构信号

在等式(4)中，将重构二阶残差信号/>

一阶预测信号/>

和二阶预测信号/>

累加在一起。

在未使能MCRP的情况下，

不是重构二阶残差信号，而是通过对系数(通过对一阶残差进行转换和量化来产生该系数)进行逆量化和逆转换生成的重构残差。由于重构残差的顺序与一阶残差相同，所以将重构残差与一阶预测信号相加以形成/>

如下：

残差参考图片的生成

以下公开详细地描述了一阶残差参考图片的生成过程、去噪过程、和存储的实施例。

一阶残差参考图片生成

在产生了等式(4)或者(5)中的重构信号

之后，可以构建一阶残差参考图片。在示例性实施例中，从/>

减去一阶预测/>

这给出：

如等式(6)指示，根据MCRP的使用，在残差参考图片中的各个块可以由重构二阶残差信号加上残差预测信号组成、或者仅由重构一阶残差信号组成。在应用MCRP时，不直接使用

代替等式(6)的原因是/>

表示二阶残差，二阶残差的阶数与帧间和帧内预测残差(一阶残差)的阶数未对准。由于MCRP的目的是预测一阶残差，所以还应该通过使用相同的阶数来表示存储在参考图片中的信号。因此，将重构残差信号和残差预测信号累加在一起以重构一阶残差。因此，残差参考图片中的所有信号都是一阶残差，因此，可以直接使用这些信号来为帧间预测残差和帧内预测残差执行残差预测。

为了进一步改善MCRP的性能，在一些实施例中，可以使用滤波后的重构信号或者未滤波的重构信号来表示等式(6)中的

如图5和图7所图示，这种自适应可以取决于对残差选择标记(residual_selection_flag)的选择，该残差选择标记可以按照片段、图片、或者序列级用信号通知。已知环路滤波器模块的目的是提高感知质量并且降低压缩失真。然而，对重构信号应用的这种调节可能不会始终与增强像素的结构信息相关。例如，假设滤波后的重构信号用于表示/>

通过去块滤波器从其移除块效应等同于将这种效应传输至残差的参考图片。可以通过使用以下等式来解释这种行为：

其中，

可以是去块滤波器的滤波结果。与等式(6)相比，该等式针对各个样本引入偏移值Δ[x]以抑制在/>

内的伪边缘。当该偏移有效地发挥作用时，将抑制的伪边缘完整地传输至/>

从而导致更高频的边缘被添加到一阶残差参考图片中。由于关于是否可以将伪边缘添加到残差参考图片中的不确定性，如果用于/>

的源始终来自滤波后的(或者未滤波的重构)信号，则可以抑制残差预测性能。因此，在滤波后的重构信号和未滤波的重构信号之间进行切换的自适应帮助改善运动补偿残差预测的性能。

残差参考图片的去噪滤波

残差参考图片的噪声可能会非常大。如从图9可以看出，在一些样本内，重构一阶残差参考图片中的噪声信号可以在零附近振荡。为了抑制噪声，该部分描述了示例性去噪滤波过程，针对残差参考图片，可以基于块、片段、图片、或者序列基础，来选择或者禁用该示例性去噪滤波过程。一个这种过程是基于截断的滤波(复杂性相对较低)，而另一个这种过程是基于迭代最小二乘误差的滤波(复杂性相对较高)。

基于截断的滤波。基于截断的滤波器可操作以用于筛选出残差参考图片中的具有较小强度值的残差样本。由于MCRP主要将重点放在预测结构信息上，这种小变化不会对残差预测性能有益，相反，其会污染无结构区域中的预测残差，从而导致了不够紧凑的转换编码结果。因此，在示例性实施例中，通过使用弱滤波过程来滤出残差参考图片中的无关紧要的信号(即，

)，这可以通过以下等式给出：

其中，T是从残差图片估计的阈值。例如，可以将T的值估计为：

其中，P(.)表示给定事件的概率，T_min是用于防止产生的T过小的预定阈值，并且k控制滤波后的样本与整个图片样本之间的比率。当k较小时，T的值也会趋向于较小。

基于截断的滤波过程在结构信息被应用量化和逆量化之后失真较小的情况下可良好地执行。然而，在其它情况下，由于强大的量化效应，在残差参考图片中的结构信息可能会变得不太精确，特别是对于量化噪声通常带有较高方差并且可以使

的振幅严重失真的低速率情况。因此，对/>

的操纵应该更趋保守，因此，可以对各个/>

应用强大的滤波过程以抑制噪声，特别是对于具有较大振幅的那些残差。这种强大的滤波器的原理是对各个/>

应用较大的量化步长以移除由量化模块引入的量化噪声。可以用以下等式来表示这种滤波过程：

其中，d是正实数，并且运算符

输出等于或者小于输出值的最大整数。

注意，当在等式(10)中的d的数量为2的幂和非负整数时，这种滤波过程等同于筛选出

的一些最小有效位。因此，仅通过使用一些加法运算和移位运算就可以实施等式(10)，如下：

其中，n是确定滤波长度的非负整数。由于仅通过使用加法运算、移位运算、和/或转移运算就可以实施两个滤波器，所以对解码复杂性的影响是极小的。根据按照片段、图片、或者序列级存在的控制标记残差_滤波器_选择_标记(residual_filter_selection_flag)，可以确定对较弱或者较强的滤波器的选择。还可以按照块级(例如，CTU级)用信号通知residual_filter_selection_flag以为各个局部块自适应地选择残差滤波器。

在另一实施例中，边缘感知去噪滤波器和边缘保持平滑滤波器也适用于该目的，例如，中值滤波器和双边滤波器。

基于迭代最小二乘误差的滤波。不加选择地对残差参考图片进行滤波可能会导致残差预测性能的退化。例如，具有较小强度值的连续非分离的残差样本的序列还可以包含重要的结构信息，但是可以通过等式(8)和(10)筛选出所有的这种残差样本(即，设置为0)。在一些实施例中，离线训练的滤波器适用于增强残差参考图片的质量。在示例性方法中，编码器按照序列级指定滤波器系数的集合，并且其可按照图片和/或片段级决定是否要使能或者禁用滤波器。这部分描述了实施例，可以利用通过使用训练序列生成的给定重构图片集合来离线导出滤波器系数。

在滤波器为n抽头滤波器的情况下，可以将残差预测信号

的滤波过程用等式表示为如下：

其中，w_j,j＝1,…n，表示滤波器系数的值，v_b是样本x所处的块b的残差域运动向量，并且o_j是指向w_j的相关联的滤波器输入相对于x+v_b所处的位置的偏移向量。例如，用于9抽头滤波器的有序偏移向量为o_j∈{(-1,-1),(0,-1),(1,-1),(-1,0),(0,0),(1,0),(-1,1),(0,1),(1,1)}，表示样本位置的3x3邻域。为简单起见，可以通过使用向量形式来表示等式(12)：

其中，

和w＝[w₁,w₂,…,w_n]^T。滤波过程的目的是使在/>

与期望的信号R[x|m](即，通过从源信号减去帧内或者帧间预测信号生成的未编码的残差信号)之间的差异最小化。针对等式(13)，可以将该问题用等式表示成：

其中，B是利用训练序列中的MCRP进行编码的块bi的集合，R[x|m_bi]是通过帧内预测或者帧间预测根据m_bi生成的未编码的一阶残差，并且D是残差的预测误差的总和。可以通过迭代最小二乘解来解决该问题。如图10所图示的示例性方法涉及在第k次迭代处寻找用最佳滤波器w^(k)使能MCRP的块。然后利用产生的块bi连同v_b来将估计w^(k)改进为w^(k+1)。可以在连续迭代之间的D的值的变化低于阈值之前重复这些步骤。以下详细说明了各个步骤。

1)残差域MV的运动估计。考虑到第k次迭代，在这种情况下，当前最佳权向量为w^(k)。通过使用等式(14)中的估计，可以将运动搜索标准表示为如下：

一旦编码器确定MCRP是最佳预测模式，在B^(k+1)中采集块b和相关联的v_bi。

2)滤波器系数的自适应。为了获取滤波器系数的新估计，可以用产生的B^(k+1)

和x^(k+1)来替换等式(14)中的B、v_bi、和x。可以通过以下等式来获取w中的滤波器系数：

可替代地，为帮助求解该线性系统的w^(k+1)，可以按照矩阵形式将等式(16)表示为如下：

其中，x_i,j表示x_i,j的相对于图片的左上角记录的样本位置，并且下标i和j指示在B^(k+1)中采集的第i个块bi的第j个样本。当等式(17)是二次函数时，可以直接通过闭式方程来求解w^(k+1)；即，

w^(k+1)＝(AA^T)^-1Ay (18)

残差参考图片的存储

按照全样本位深度来维持残差参考图片可能成本过高。考虑到残差参考图片的数量可以与像素参考图片的数量相同，无论应用帧缓冲压缩技术与否，用于存储的整体存储大小大致预计为增加一倍。在存储中更为严重的是，在没有任何处理的情况下，残差信号消耗1个附加位以保持其符号值，因此，用于残差参考帧和像素参考帧二者的整体存储大小超过了用于像素参考帧的整体存储大小的二倍。

为了节省存储大小，可以削减

的符号值，只有其绝对值可以保持不变。该方法将额外的存储大小有效地限制为恰好等于像素的参考图片的存储大小，并且同时，由于等式(3)中示出的提出的残差预测不需要知道在各个样本位置x处的/>

的符号值，所以这不会影响残差预测性能。

为了进一步限制存储大小，在将残差参考帧存储在残差参考图片存储装置(在图5和图7中示出的)中之前，将残差参考图片的最低有效位四舍五入并且截断。可以用以下等式来表示该过程：

其中，n是非负整数。注意，如果将等式(11)视为去噪方法，则等式(19)中的参数n的动态范围应该大于或者等于等式(11)中所使用的n的值，因为该截断过程在应用去噪过程之后完成(如在“残差参考图片的去噪滤波”部分中详细描述的)。进行补零，以便重构。鉴于等式(19)，可以按照更精确的形式将用于复合预测的等式(3)表示成：

运动补偿残差预测的信令

该部分描述了MCRP的示例性语法设计，包括：模式标记和残差的运动信息。

与MCRP模式相关的语法元素

在示例性实施例中，根据对按照片段、图片、或者序列级发送的标记cu处的_残差_预测_标记(residual_prediction_at_cu_flag)的控制，可以在比特流中在块级(例如，CU级或者PU级)处用信号通知用于指示MCRP的使用的模式标记residual_prediction_flag。这两个标记可以用于防止MCRP模式用信号通知残差的针对各个CU和PU的MV，因为在一些情况下，在执行了帧间预测和帧内预测之后，未剩下过多的残差信号，因此，无需始终使能MCRP。

由于视频特征的多样性，一阶预测可能已经通过使用在特定块级处的帧间预测、合并模式、和帧内预测中的一些(或者所有)而良好地执行。在一些实施例中，为了进行更好的控制，除了residual_prediction_at_cu_flag之外，还按照片段、图片、或者序列级引入了三个附加标记，使得能够结合不同的编码模式来使能MCRP：帧间预测(由帧间_残差_预测_标记(residual_prediction_with_inter_flag)控制)、合并模式(由合并_残差_预测_标记(residual_prediction_with_merge_flag)控制)、和帧内预测(由帧内_残差_预测_标记(residual_prediction_with_intra_flag)控制)。只有在使能了这些相应的高级标记时，针对帧间预测PU、合并PU、和帧内预测PU用信号通知示例性residual_prediction_flag标记。为了具有关于块大小的更高的自适应，可以只针对一些CU大小用信号通知标记residual_prediction_flag。为了这样做，可以使用两个指示符，按照片段、图片、或者序列级用信号通知了帧间_残差_预测_最小_级别(residual_prediction_with_inter_min_level)和帧内_残差_预测_最小_级别(residual_prediction_with_intra_min_level)，以指示可以对MCRP分别应用帧间预测残差和帧内预测残差的最小CU大小。针对较小的CU限制residual_prediction_flag的信令可以帮助减少信令开销。

在示例性实施例中，可以按照片段、图片、或者序列级用信号通知附加标记残差_零_cbf_标记(residual_zero_cbf_flag)，以指示在MCRP之后生成的残差信号(即，二阶残差信号)是否需要信令。如果使能了该标记和residual_prediction_flag二者，则各个CU的编码的块标记(cbf)被推断为零并且无需用信号通知。当通过MCRP预测的残差足够精确时，该标记residual_zero_cbf_flag可以特别有效地工作。即，可以通过残差预测过程来捕获大多数帧内预测残差和帧间预测残差，因此，不需要对剩余的(即，二阶)残差进行进一步编码。

MCRP的运动信息编码

由于二阶预测的运动信息的特征和一阶预测的运动信息的特征彼此完全不同，本文所公开的实施例为前者提供了关于其运动向量编码和参考图片选择的可替代语法设计。为了方便起见，在下文中将二阶预测的运动信息(例如，MV、MVD)和一阶预测的运动信息(例如，MV、MVD)称为残差域运动和像素域运动。

残差域运动向量编码。为了减少用信号通知残差域运动向量的开销，本文公开了各种编码工具。示例性编码工具包括MV分辨率、针对MV预测的MV场选择、和MVD二值化。为便于解释，描述了对MCRP应用单预测的实施例，因此，每个PU只有一个残差域MV。然而，在一些实施例中，在此描述的系统和方法可应用于针对残差的双预测。

1)MV分辨率。在示例性实施例中，按照r像素精度来表示残差域MV，其中，r∈{2^d|d属于整数}。使用较粗糙的分辨率(例如，r≥1或者d≥0)来表示残差域MV的益处是双重的。首先，当r是整数时，可以彻底绕过用于运动补偿的内插滤波器。这不仅仅会降低执行MCRP的复杂性，而且还会防止MCRP为预测帧内预测残差和帧间预测残差而生成过度平滑的残差预测信号，即，高频信号。其次，当与像素域MV进行比较时，残差域MV通常振幅较大。这可以从图11观察到，图11图示了图4B的残差域(如亮箭头所表示)和像素域(如暗箭头所表示)运动场。因为一阶残差的能量主要分布在对象边界上，残差域MV很有可能会指向这些边界，而不是较短的MV所指向的邻近区域。因此，使用较粗糙的MV分辨率帮助减少具有较大振幅的这些残差域MV的信令开销。

2)针对MV预测的MV场选择。为了预测残差域MV，在一些实施例中，可以选择使用像素域运动场或者残差域运动场作为输入以生成MV预测列表。前者由于其重新使用来自帧间模式的所有现有设计，所以具有较低的复杂性，但是由于残差域MV和像素域MV的不同特征，其可能不够精确。后者由于需要缓冲各个帧处的所有残差域MV，所以可能具有较高的复杂性，但可以提供更精确的预测。因此，后者可以针对残差域MV预测提供更好的性能。

在像素域运动场用于为残差域MV构建MV预测列表的情况下，在MV预测列表与MV分辨率之间存在交互。因为可以将像素域MV存储在具有更高的分辨率(例如，1/16像素精度)的相关联的运动场中，所以不能保证其MV分辨率可以与残差域MV的MV分辨率对准。在MV预测列表可以用于计算残差域MVD之前，可以将所有其MV预测四舍五入成与残差域MV相同的分辨率，以确保按照相同的分辨率来表示MVD和MV。四舍五入运算可以如下：

其中，v_c表示MV的水平分量和垂直分量，m是v_c的用于存储的MV分辨率(例如，m∈{1/4,1/8})，并且r是定义在先前部分中的残差域MV分辨率。注意，m的值应该小于或者等于r(从而具有更高的MV分辨率)。

3)MVD二值化。本公开进一步提供了用于对残差域MV中的各个分量的绝对值|v_c|进行二值化处理的可替代技术。如果第一位等于0，则|v_c|等于0；否则(如果其等于1)，则|v_c|大于0。通过使用具有初始化参数k(其中，k∈{0,1,2,3,...})的指数Golomb编码来表示其余的事件(即，|v_c|∈{1,2,3,...})。

参考图片选择。为了达到在语法开销与编码效率之间的有利折衷，描述了可以进一步减少参考图片语法的信令开销(即，参考列表索引和参考图片索引)的示例性方法。这种方法包括移除双预测指示符、参考列表推断、和参考图片推断。下文更详细地描述了这些方法。注意，这些方法可以按照不同的方式进一步彼此组合。例如，在一个这种组合中，可以在没有任何信令的情况下推断参考图片列表和参考图片索引。

1.)双预测指示符的移除。当MCRP是单向残差预测方法时，可以移除用于标识双预测和单预测的指示符。在该方法中，用于指示MCRP的准确残差参考图片的语法元素可以包括一个用于参考列表索引的标记，以标识使用L0参考列表或者L1参考列表中的哪一个；和按照与针对帧间模式相同的方式用信号通知的一个参考图片索引。

2.)参考列表推断。又一实施例可操作用于通过推断列表而不是用信号通知列表，从而节省用于参考列表的位。不同的实施例可以使用不同的方法来导出MCRP的参考列表。在一些实施例中，在MCRP中使用的参考图片列表可以被推断为，例如，L0或者L1。在又一实施例中，在MCRP中使用的参考图片列表被推断为与在相同PU的像素域运动场中所使用的相同的参考列表，并且在不利用单预测(例如，双预测和帧内预测)对当前PU进行编码的情况下，将L0设置为默认参考列表。在推断出参考图片列表之后，可以按照与针对帧间模式相同的方式用信号通知在MCRP中使用的参考图片索引。

3.)参考图片推断。一些实施例使用参考图片推断方法来节省用信号通知参考图片索引的开销。各种方法可以用于推断而不是明确地用信号通知MCRP的参考图片索引(或者RefPicIdx)。在第一种方法中，MCRP的参考图片索引可以被推断为是0(即，RefPicIdx＝0)，即，用于MCRP的参考图片是L0或者L1中的第一图片。第二种方法与第一种方法相同，除了在两个参考列表L0和L1中的具有RefPicIdx＝0的两个图片相同的时候；在这种情况下，如果使用了L0，则MCRP的参考图片索引被推断为是0(即，第一图片)，并且如果使用了L1，则MCRP的参考图片索引被推断为是1(即，第二图片)。在第三种方法中，直接从当前PU推断出参考图片索引，并且在当前PU不具有这种信息的情况下(例如，其为帧内编码的)，使用在列表中的第一图片(即，RefPicIdx＝0)。

在推断出参考图片索引之后，通过使用针对参考列表索引的标记来标识使用了L0或者L1参考列表中的哪一个，可以按照与针对帧间模式相同的方式用信号通知在MCRP中使用的参考图片列表。

另外，注意，上面提出的推断方法可以按照不同的方式进一步彼此组合。例如，在一个这种组合中，可以在没有任何信令的情况下推断参考图片列表和参考图片索引。

用于残差域MV的仅编码器搜索策略

在快速运动估计中的修改

在MCRP的运动搜索中，对MCRP应用与针对像素域运动估计(ME)相同的提前终止阈值可以使残差预测性能恶化。定义出可以在ME阶段期间测试的像素位置的最大覆盖的该阈值通常是离线训练的，有利于进行像素域预测。因为在像素的运动场中的MV之间的相关性非常高，所以其值无需过大。然而，如图11中指示的，残差域运动场显示出更强的随机性并且通常具有较大振幅的MV，因此，残差域ME的较小的提前终止阈值无法保证可以找到来自残差参考图片的精确的匹配块。在示例性实施例中，可以针对残差域ME使用可替代的停止阈值。该阈值可以是在像素的ME中使用的那个阈值的n(n∈{2,3,4,或者更大})倍。为了助于理解所提出的方法是怎样工作的，将菱形搜索作为示例进行了演示。注意，为了执行菱形搜索，可以针对该算法给出参数d和初始搜索位置(x,y)，以标识与以下限制匹配的测试位置(x’,y’)的集合：|x’-x|+|y’-y|＝d.

在菱形搜索中，ME从具有初始参数d的给定初始搜索位置开始。然后，d逐渐增大以在菱形轮廓内搜索更多的像素位置，直到达到停止标准为止。可以选择该标准，从而使得，如果在每m(例如，在一些实施方式中，m＝3)个连贯迭代期间，没有搜索位置可以产生比当前最佳MV更好的预测结果，则ME停止。换言之，如果在特定d处找到当前最佳MV，如果在d进一步更新了m次之后该MV还未被替换，则搜索停止。当对残差ME应用菱形搜索时，用m＊n来替代提前终止阈值m。当将残差域MV的MV分辨率r设置为大于1时，提前终止阈值变为m＊n＊r。

利用帧间、帧内、和合并模式的联合优化

可以将本文描述的示例性MCRP技术与其它预测模式组合。由于这是联合优化问题，针对等式(20)，可以将该问题用等式表示成寻找MCRP的残差域MVv_b和用于帧内预测和帧间预测的参数m_b，以使ME阶段成本最小化；即：

Cost(m_b,v_b)＝∑_x∈b|I[x]-P[x|m_b,v_b]|+λ*Bits(m_b,v_b), (22)

其中，P[x|m_b,v_b]如同之前在等式(20)中定义的那样，I[x]是原始视频信号，m_b根据结合MCRP使用的预测模式可以包含但不限于以下信息类型中的一个：针对正常的帧间预测的运动信息(例如，待用信号通知的运动向量、参考列表索引、和参考帧索引)；针对合并预测的合并索引；和针对帧内预测的帧内方向模式。

注意，在等式(22)和以下等式(23)和(24)中使用的用于对失真进行测量的特定度量(绝对失真的总和)仅仅是示例。可以用其它度量(诸如，绝对平方失真的总和、绝对转换失真的总和、或者绝对重构失真的总和)来替代该特定度量。由于可以在计算遍及块b中的所有x的

的平方差的总和以代替I[x]-P[x|m_b,v_b]之前，对所访问的每对m_b和v_b进行当前块的编码和重构，所以第三个度量(绝对重构失真的总和)具有最高的性能，但也是最复杂的。

由于在等式(22)中存在要进行确定的两个参数(即，m_b和v_b)，所以可以通过如图12中给定的迭代搜索过程来解决该问题。该过程涉及在第k次迭代处寻找最佳v_b与当前最佳m_b。然后，利用产生的v_b来进一步改善m_b ^(k)到m_b ^(k+1)中的参数。这两个步骤会重复，直至在连续迭代之间的ME阶段成本(Cost(m_b,v_b))的变化低于阈值、或者迭代的数量k大于给定阈值。首先，将初始参数m_b ⁽⁰⁾定义为MCRP联合优化的特定预测模式的参数集合。以下详细说明了各个步骤。

1)残差域MV的运动估计。考虑到第k次迭代，其中，当前最佳参数集合为m_b ^(k)。针对等式(22)，可以将残差域MV的运动搜索标准定义为如下：

根据等式(23)，优化问题是寻找可以使在残差预测信号与

之间的差异最小化的v_b。因为m_b ^(k)的参数在该迭代中是确定的并且与v_b ^(k+1)的搜索结果不相关，所以无需考虑m_b ^(k)的位开销。在该优化过程与单预测的优化过程相同时，除了期望的信号变成/>

之外，可以通过使用与针对单预测相同的搜索过程寻找v_b，参考图片来自残差参考图片存储装置，并且语法设计遵循在“MCRP的运动信息编码”和“在快速运动估计中的修改”部分中指定的语法设计。

2)参数集合的更新。针对给定的残差域MV，v_b ^(k+1)，可以通过以下等5式进一步更新m_b中的参数：

/>

可以看出，如果用I[x]-S[x]＊|I[x][x+v_b ^(k+1)]|来替代期望的信号I[x]，且可以忽略v_b ^(k+1)的位开销，则m_b ^(k+1)的优化过程可以独立于v_b ^(k+1)。因为v_b ^(k+1)在该迭代中已经是确定向量，所以v_b ^(k+1)不会影响m_b ^(k+1)的结果。因此，通过上述变化，可以完全地重新使用寻找m_b ⁽⁰⁾的优化过程。

示例性比特流通信框架

图13是图示了编码的比特流结构的示例的示意图。编码的比特流1000由若干NAL(网络抽象层)单元1001组成。NAL单元可以包含编码的样本数据(诸如，编码片段1006)，或者高级语法元数据，诸如，参数集合数据、片段标头数据1005、或者补充增强信息数据1007(可以将其称为SEI消息)。参数集合是包含以下必要语法元素的高级语法结构：可以应用于多个比特流层的必要语法元素(例如，视频参数集合1002(VPS))、可以应用于一个层内的编码视频序列的必要语法元素(例如，序列参数集合1003(SPS))、或者可以应用于一个编码视频序列内的若干编码图片的必要语法元素(例如，图片参数集合1004(PPS))。参数集合可以连同视频比特流的编码图片一起发送，或者通过其它手段(包括使用可靠信道、硬编码等的带外传输)发送。片段标头1005也是可以包含相对较小的或者仅与特定片段或者图片类型相关的与一些图片有关的信息的高级语法结构。SEI消息1007携带解码过程可能并不需要、但可以用于各种其它目的(诸如，图片输出定时或显示以及损失检测和隐蔽)的信息。

图14是图示了通信系统的示例的示意图。通信系统1300可以包括编码器1302、通信网络1304、和解码器1306。编码器1302可以经由连接1308(可以是有线连接或者无线连接)与网络1304通信。编码器1302可以与图1的基于块的视频编码器相似。编码器1302可以包括单层编解码器(例如，图1)或者多层编解码器。例如，编码器1302可以是具有图片级ILP支持的多层(例如，双层)可扩展编码系统。解码器1306可以经由连接1310(可以是有线连接或者无线连接)与网络1304通信。解码器1306可以与图2的基于块的视频解码器相似。解码器1306可以包括单层编解码器(例如，图2)或者多层编解码器。例如，解码器1306可以是具有图片级ILP支持的多层(例如，双层)可扩展解码系统。

编码器1302和/或解码器1306可以并入各种有线通信装置和/或无线传输/接收单元(WTRU)中，诸如但不限于，数字电视、无线广播系统、网络元件/终端、服务器(诸如，内容或者网络服务器(例如，诸如，超文本传输协议(HTTP)服务器))、个人数字助理(PDA)、膝上型或者台式计算机、平板计算机、数码相机、数字记录装置、视频游戏装置、视频游戏机、蜂窝或者卫星无线电话、和/或数字媒体播放器等。

通信网络1304可以是合适类型的通信网络。例如，通信网络1304可以是将内容(诸如，语音、数据、视频、消息、广播等)提供给多个无线用户的多接入网络。通信网络1304可以使得多个无线用户能够通过系统资源共享(包括无线带宽)来访问这种内容。例如，通信网络1304可以采用一个或者多个信道访问方法，诸如，码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、和/或单载波FDMA(SC-FDMA)等。通信网络1304可以包括多个联网通信网络。通信网络1304可以包括互联网和/或一个或者多个私人商业网络，诸如，蜂窝网络、WiFi热点、和/或互联网服务提供商(ISP)网络等。

图15是可以实施本文所述的编码器或者解码器的示例WTRU的系统示意图。如图所示，示例WTRU 1202可以包括处理器1218、收发器1220、传输/接收元件1222、扬声器/麦克风1224、小键盘或者键盘1226、显示器/触摸板1228、不可移除存储器1230、可移除存储器1232、电源1234、全球定位系统(GPS)芯片集1236、和/或其它外围装置1238。要了解，WTRU1202可以在与实施例保持一致的同时包括前述元件的任何子组合。进一步地，包含编码器(例如，编码器100)和/或解码器(例如，解码器200)的终端可以包括本文参照图15的WTRU1202描绘并且描述的元件中的一些或者所有元件。

处理器1218可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、图形处理单元(GPU)、多个微处理器、与DSP核心相关联的一个或者多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器1218可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使WTRU 1500能够在有线和/或无线环境中运行的任何其它功能。处理器1218可以耦合至收发器1220，该收发器1220可以耦合至传输/接收元件1222。虽然图15将处理器1218和收发器1220描绘为单独的部件，但是要了解，可以将处理器1218和收发器1220集成在电子封装和/或芯片中。

传输/接收元件1222可以配置为通过空中接口1215将信号传输至另一终端和/或从另一终端接收信号。例如，在一个或者多个实施例中，传输/接收元件1222可以是配置为传输和/或接收RF信号的天线。例如，在一个或者多个实施例中，传输/接收元件1222可以是配置为传输和/或接收IR、UV、或者可见光信号的发射器/检测器。在一个或者多个实施例中，传输/接收元件1222可以配置为传输和/或接收RF和光信号。要了解，传输/接收元件1222可以配置为传输和/或接收无线信号的任何组合。

另外，尽管在图15中将传输/接收元件1222描绘为单个元件，但是WTRU 1202可以包括任何数量的传输/接收元件1222。更具体地，WTRU 1202可以采用MIMO技术。因此，在一个实施例中，WTRU 1202可以包括用于通过空中接口1215传输和接收无线信号的两个或者更多个传输/接收元件1222(例如，多个天线)。

收发器1220可以配置为调制待由传输/接收元件1222传输的信号和/或解调制由传输/接收元件1222接收的信号。如上文提到的，WTRU 1202可以具有多模式能力。因此，例如，收发器1220可以包括用于使WTRU 1500能够经由多个RAT(诸如，UTRA和IEEE 802.11)通信的多个收发器。

WTRU 1202的处理器1218可以耦合至扬声器/麦克风1224、键盘1226、和/或显示器/触摸板1228(例如，液晶显示器(LCD)显示单元或者有机发光二极管(OLED)显示单元)，并且可以从扬声器/麦克风1224、键盘1226、和/或显示器/触摸板1228(例如，液晶显示器(LCD)显示单元或者有机发光二极管(OLED)显示单元)接收用户输入数据。处理器1218还可以将用户数据输出至扬声器/麦克风1224、键盘1226、和/或显示器/触摸板1228。另外，处理器1218可以访问来自任何类型的合适的存储器(诸如，不可移除存储器1230和/或可移除存储器1232)的信息，并且将数据存储在该任何类型的合适的存储器中。不可移除存储器1230可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或者任何其它类型的存储器存储装置。可移除存储器1232可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在一个或者多个实施例中，处理器1218可以访问来自并未在物理上位于WTRU 1202的存储器(诸如，在服务器或者家庭计算机(未示出)上)的信息，或者将数据存储在该存储器中。

处理器1218可以接收来自电源1234的电力，并且可以配置为分布和/或控制用于WTRU 1202中的其它部件的电力。电源1234可以是用于对WTRU 1202充电的任何合适的装置。例如，电源1234可以包括一个或者多个干电池(例如，镍-镉(NiCd)、镍-锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。

处理器1218可以耦合至可以配置为提供关于WTRU 1202的当前位置的位置信息(例如，经纬度)的GPS芯片集1236。除了来自GPS芯片集1236的信息之外，或者代替来自GPS芯片集1236的信息，WTRU 1202还可以通过空中接口1215从终端(例如，基站)接收位置信息和/或基于从两个或者更多个附近的基站接收到的信号的定时来确定其位置。要了解，WTRU1202可以在与实施例保持一致的同时通过任何合适的位置确定方法来获取位置信息。

处理器1218可以进一步耦合至其它外围装置1238，该外围装置1238可以包括提供附加特征、功能、和/或有线或者无线连接性的一个或者多个软件和/或硬件模块。例如，外围装置1238可以包括加速度计、方位传感器、运动传感器、接近传感器、电子罗盘、卫星收发器、数码相机和/或录像机(例如，用于照片和/或视频)、通用串行总线(USB)端口、振动装置、电视收发器、免提耳机、

模块、调频(FM)无线电单元、和软件模块，诸如，数字音乐播放器、多媒体播放器、视频游戏机模块、互联网浏览器等。

作为示例，WTRU 1202可以配置为传输和/或接收无线信号并且可以包括用户设备(UE)、移动站、固定或者移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、平板计算机、个人计算机、无线传感器、消费类电子产品、或者能够接收并且处理压缩视频通信的任何其它终端。

WTRU 1202和/或通信网络(例如，通信网络804)可以实施无线电技术(诸如，通用移动电信系统(UMTS)陆地无线电接入(UTRA))，其可以通过使用宽带CDMA(WCDMA)来建立空中接口1215。WCDMA可以包括通信协议，诸如，高速分组接入(HSPA)和/或演进型HSPA(HSPA+)。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。WTRU 1202和/或通信网络(例如，通信网络804)可以实施无线电技术(诸如，演进型UMTS陆地无线电接入(E-UTRA))，其可以通过使用长期演进(LTE)和/或高级LTE(LTE-A)来建立空中接口1215。

WTRU 1202和/或通信网络(例如，通信网络804)可以实施无线电技术，诸如，IEEE802.16(例如，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、GSM演进增强数据速率(EDGE)、GSM EDGE(GERAN)等。WTRU 1500和/或通信网络(例如，通信网络804)可以实施无线电技术，诸如，IEEE 802.11、IEEE 802.15等。

注意，将所描述的实施例中的一个或者多个实施例的各种硬件元件称为实施(即，进行、执行等)本文结合相应模块所描述的各种功能的“模块”。如本文所使用的，模块包括本领域的技术人员认为适合于给定的实施方式的硬件(例如，一个或者多个处理器、一个或者多个微处理器、一个或者多个微控制器、一个或者多个微芯片、一个或者多个专用集成电路(ASIC)、一个或者多个现场可编程门阵列(FPGA)、一个或者多个存储器装置)。各个描述的模块还可以包括对于实施描述为由相应模块实施的一个或者多个功能可执行的指令，并且注意，这些指令可以采取或包括硬件(即，硬连线)指令、固件指令、软件指令等的形式，并且可以将这些指令存储在任何合适的非暂时性计算机可读介质或媒介(诸如，通常将其称为RAM、ROM等)中。

尽管上文按照特定组合描述了特征和元件，但是本领域的普通技术人员要了解，可以单独使用各个特征或者元件，或者可以在与其它特征和元件的任何组合中使用各个特征或者元件。另外，可以在由计算机或者处理器执行的计算机可读介质中包含的计算机程序、软件、或者固件中实施本文描述的方法。计算机可读介质的示例包括电子信号(通过有线或者无线连接传输)和计算机可读存储介质。计算机可读存储介质的示例包括，但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓存存储器、半导体存储器装置、磁性介质(诸如，内部硬盘和可移动盘)、磁光介质、和光学介质，诸如，CD-ROM盘和数字通用光盘(DVD)。可以使用与软件相关联的处理器来实施射频收发器，以供在WTRU、UE、终端、基站、RNC、或者任何主机中使用。

Claims

1.一种在比特流中对视频进行编码的方法，所述方法包括：

生成包括至少一个块的残差参考图片，所述残差参考图片表示在参考图片的对应块与所述参考图片的对应一阶预测之间的差异；

利用去噪滤波器对所述残差参考图片进行滤波以生成滤波后的残差参考图片；以及

针对在当前图片中的至少一个当前块：

形成所述当前块的一阶预测；

通过使用运动补偿预测来从所述滤波后的残差参考图片中的残差参考块预测所述当前块的残差；以及

将所述一阶预测和所预测的残差进行组合以生成所述当前块的复合预测信号；以及

基于所述复合预测信号，对所述当前块进行编码。

2.根据权利要求1所述的方法，其中，在所述比特流中用信号通知块级标记，所述标记指示是否要从所述滤波后的残差参考图片预测所述当前块的残差。

3.根据权利要求1所述的方法，其中，所述形成所述一阶预测包括：通过使用帧内预测来预测所述当前块。

4.根据权利要求1所述的方法，其中，所述形成所述一阶预测包括：通过使用帧间预测来预测所述当前块。

5.根据权利要求1所述的方法，其中，对所述残差参考图片进行所述滤波包括：取所述残差参考图片中的至少一些样本的绝对值。

6.根据权利要求5所述的方法，其中，针对所述当前块，在所述比特流中用信号通知符号值，并且其中，所述预测所述当前块的残差包括：将所述残差参考块乘以所述符号值。

7.根据权利要求5所述的方法，其中，针对所述当前块，在所述比特流中用信号通知加权因子，并且其中，所述预测所述当前块的残差包括：将所述残差参考块乘以所述加权因子。

8.根据权利要求1所述的方法，其中，生成所述残差参考图片包括：从所述参考图片的滤波后的重构信号或者未滤波的重构信号减去所述参考图片的一阶预测，并且其中，在所述比特流中用信号通知是否要使用所述滤波后的重构信号或者所述未滤波的重构信号的指示。

9.根据权利要求1所述的方法，其中，对所述残差参考图片进行滤波包括：对所述残差参考图片应用阈值，从而使得在所述残差参考图片中的低于所述阈值的残差值在所述滤波后的残差参考图片中为0。

10.根据权利要求9所述的方法，其中，自适应地选择所述阈值以大体上达到预定比率k，其中，k是所述当前图片中的低于所述阈值的样本的数量与高于所述阈值的样本的数量之间的比率。

11.根据权利要求1所述的方法，其中，对所述残差参考图片进行滤波包括：量化在所述残差参考图片中的样本值。

12.根据权利要求1所述的方法，其中，对所述残差参考图片进行滤波包括：对所述残差参考图片应用线性滤波器，其中，在所述比特流中用信号通知所述线性滤波器的系数。

13.根据权利要求1所述的方法，其中，在所述比特流中用信号通知残差运动向量，并且其中，预测残差包括：通过使用所述残差运动向量来标识所述残差参考块。

14.根据权利要求1所述的方法，进一步包括：

确定二阶残差，该二阶残差表示对应于所述当前块的输入视频块与所述当前块的所述复合预测信号之间的差；以及

对所述二阶残差进行编码。

15.根据权利要求14所述的方法，还包括：

对所编码的二阶残差进行解码；以及

通过将所解码的二阶残差加到所述复合预测信号，重构所述当前块。

16.一种在比特流中对视频进行编码的视频编码器，包括：

处理器，被配置为至少执行以下操作：

生成包括至少一个块的残差参考图片，所述残差参考图片表示在参考图片的对应块与所述参考图片的一阶预测之间的差异；

针对在当前图片中的至少一个当前块：

形成所述当前块的一阶预测；

通过使用运动补偿预测来从所述滤波后的残差参考图片中的残差参考块预测所述当前块的残差；

基于所述复合预测信号，对所述当前块进行编码。

17.根据权利要求16所述的视频编码器，其中所述处理器被进一步配置为执行包含以下的功能：

对所述二阶残差进行编码。

18.根据权利要求17所述的视频编码器，其中所述处理器被进一步配置为执行包含以下的功能：

对所编码的二阶残差进行解码；以及

19.一种从比特流对视频进行解码的视频解码器，所述视频解码器操作以执行功能，所述功能包括：

针对在当前图片中的至少一个当前块：

形成所述当前块的一阶预测；

基于所述复合预测信号，对所述当前块进行重构。

20.根据权利要求19所述的视频解码器，其中所述解码器被进一步配置为执行包含以下的功能：

从所述比特流解码所述当前块的二阶残差；以及

通过将所解码的二阶残差加到所述当前块的所述复合预测信号，重构所述当前块。