CN105493507A

CN105493507A - 用于帧内块复制的残余预测

Info

Publication number: CN105493507A
Application number: CN201480046932.8A
Authority: CN
Inventors: 郭立威; 庞超; 瑞珍·雷克斯曼·乔许; 霍埃尔·索赖·罗哈斯; 马尔塔·卡切维奇
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2013-08-27
Filing date: 2014-08-27
Publication date: 2016-04-13
Anticipated expiration: 2034-08-27
Also published as: US20150063454A1; US11470339B2; KR20160048170A; JP2016534644A; JP6542225B2; CA2918762A1; CN105493507B; WO2015031499A1; KR102334126B1; EP3039871A1

Abstract

在一个实例中，一种对视频数据进行解码的方法包含基于预测的残余块产生图片的残余块，包含基于所述残余块的一或多个预测的残余值重构所述残余块的一或多个残余值。所述方法还包含基于所述图片的所述残余块和预测块的组合产生所述图片的当前块。

Description

用于帧内块复制的残余预测

本申请案主张2013年8月27日递交的第61/870,654号美国临时专利申请案以及2013年8月28日递交的第61/871,252号美国临时专利申请案的权益，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明涉及视频译码，并且更确切地说，涉及用于对视频数据进行预测的技术。

背景技术

数字视频能力可并入到多种多样的装置中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置和类似者。数字视频装置实施视频压缩技术，例如通过MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展部分定义的标准中描述的技术，以便更有效地发射、接收及存储数字视频信息。

视频压缩技术包含空间预测和/或时间预测，以减少或移除视频序列中所固有的冗余。对于基于块的视频译码，一个视频图片或切片可以分割成多个块。每一块可被进一步分割。使用相对于同一图片或切片中的相邻块中的参考样本的空间预测对经帧内译码(I)的图片或切片中的块进行编码。经帧间译码(P或B)图片或切片中的块可以使用相对于同一图片或切片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测引起待译码的块的预测块(其也可被称作“预测块”)。残余数据表示待译码原始块与预测块之间的像素差。

经帧间译码块是根据指向形成预测块的参考样本块的运动向量和指示经译码块与预测块之间的差的残余数据编码的。根据帧内译码模式和残余数据来编码经帧内译码块。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。

发明内容

本发明的技术大体上涉及在视频译码中预测数据。举例来说，本发明中描述的技术可以提供对在视频译码中应用帧内块复制(帧内BC)和残留微分脉码调制(RDPCM)两者的支持。在一个实例中，本发明的技术可以包含使用RDPCM预测帧内BC经预测块的残余数据。

在一个实例中，对视频数据进行解码的方法包含：基于预测的残余块产生图片的残余块，包含基于残余块的一或多个预测的残余值重构残余块的一或多个残余值；以及基于图片的残余块和预测块的组合产生图片的当前块。

在另一个实例中，对视频数据进行编码的方法包含：基于图片的当前块与预测块之间的差异产生针对图片的当前块的残余块；基于残余块产生预测的残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值；并且对在位流中表示预测的残余块的数据进行编码。

在另一个实例中，用于对视频数据进行解码的装置包含：存储器，其存储视频数据；以及视频解码器，其经配置以基于预测的残余块产生图片的残余块，包含基于残余块的一或多个预测的残余值重构残余块的一或多个残余值；以及基于图片的残余块和预测块的组合产生图片的当前块。

在另一个实例中，用于对视频数据进行编码的装置包含：存储器，其存储视频数据；以及视频编码器，其经配置以基于图片的当前块与预测块之间的差异产生针对图片的当前块的残余块；基于残余块产生预测的残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值；并且对在位流中表示预测的残余块的数据进行编码。

在另一个实例中，用于对视频数据进行解码的装置包含：基于预测的残余块产生图片的残余块的装置，包含基于残余块的一或多个预测的残余值重构残余块的一或多个残余值；以及基于图片的残余块和预测块的组合产生图片的当前块的装置。

在另一个实例中，用于对视频数据进行编码的装置包含：基于图片的当前块与预测块之间的差异产生针对图片的当前块的残余块的装置；基于残余块产生预测的残余块的装置，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值；以及对在位流中表示预测的残余块的数据进行编码的装置。

在另一个实例中，非暂时性计算机可读媒体具有存储在其上的指令，当执行所述指令时，使得一或多个处理器基于预测的残余块产生图片的残余块，包含基于残余块的一或多个预测的残余值重构残余块的一或多个残余值；以及基于图片的残余块和预测块的组合产生图片的当前块。

在另一个实例中，非暂时性计算机可读媒体具有存储在其上的指令，当执行所述指令时，使得一或多个处理器基于图片的当前块与预测块之间的差异产生针对图片的当前块的残余块；基于残余块产生预测的残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值；并且对在位流中表示预测的残余块的数据进行编码。

在附图和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从描述及图式且从权利要求书中显而易见。

附图说明

图1是说明可以实施本发明的技术的实例视频编码和解码系统的框图。

图2是说明可实施本发明的技术的实例视频编码器的框图。

图3是说明可实施本发明的技术的实例视频解码器的框图。

图4是说明帧内块复制(帧内BC)过程的实例的图式。

图5A示出了用于近垂直模式的残余DPCM方向。

图5B示出了用于近水平模式的残余DPCM方向。

图6是说明根据本发明的对视频数据进行编码的实例技术的流程图。

图7是说明根据本发明的对视频数据进行解码的实例技术的流程图。

具体实施方式

本发明的各方面大体上涉及视频译码和压缩。在一些实例中，所述技术可以涉及高效视频编码(HEVC)范围扩展。HEVC是ITU-TWP3/16和ISO/IECJTC1/SC29/WG11的视频编码联合协作小组(JCT-VC)最近开发的视频译码标准。一般而言，HEVC范围扩展可以支持基准HEVC规范并不专门支持的视频格式。

所述技术还可以涉及对HEVC的HEVC屏幕内容译码扩展。可以在2014年1月17日在加利福尼亚州的圣何塞市的会议中提出的标题为“用于屏幕内容的译码的提议的联合需求”的ITU-TQ6/16和ISO/IEC/JTC1/SC29/WG11的视觉译码组的文档中发现HEVC的屏幕内容译码扩展的更多信息，所述信息可从http://www.itu.int/en/ITU-T/studygroups/com16/video/Documents/CfP-HEVC-coding-screen-content.pdf中获得。

HEVC的范围扩展、屏幕内容译码扩展或其它视频编码工具可以支持帧内块复制(帧内BC)和残留微分脉码调制(RDPCM)。相对于帧内BC，举例来说，对于许多应用程序，例如，远程桌面、远程游戏、无线显示、汽车信息娱乐和云端计算，这些应用程序中的视频内容通常是天然内容、文本、人工图形等等的组合。在测试和人工图形区域中，通常存在重复模式(举例来说，例如，字符、图标和符号)。帧内BC可以被描述为移除这种冗余的专用过程，由此潜在地改进帧内译码效率。

相对于RDPCM，视频译码器(例如，视频编码器或视频解码器)可以将RDPCM应用到帧内预测残余(例如，使用35个定向HEVC帧内模式中的一个的残余预测)或应用到运动补偿预测残余(例如，使用时间运动预测进行预测的残余)以减小需要输出用于残余块的残余块的数据的量。在RDPCM中，视频编码器基于先前行或列的残余值而预测残余块的行或列的残余值。一般而言，RDPCM可以包含三种不同模式：RDPCM-关闭、RDPCM-水平和RDPCM-垂直。对于RDPCM-关闭，视频译码器可以不应用RDPCM。对于RDPCM水平，视频译码器可以使用左列中的残余样本以预测当前列中的残余样本。对于RDPCM垂直，视频译码器可以使用上方行中的残余样本来预测当前行中的残余样本。

作为一个实例，为了执行垂直RDPCM，视频编码器从行0的经重构残余值中减去行1的残余值(例如，从行0的第一残余值中减去行1的第一残余值，从行0的第二残余值中减去行1的第二残余值等等)。对于行0，视频编码器发信号通知残余值，但对于行1，视频编码器发信号通知差值，且对于行2，视频编码器发信号通知具有行1的经重构值的差值等。视频编码器可执行类似技术用于基于水平的RDPCM。如本发明中所描述的减法指代确定等于减去的结果的值，且可通过减去或添加值的负值来执行。

在一些实例中，对连续行或列的残余值之间的差进行编码可导致与对实际残余值进行编码相比较少的位。以此方式，RDPCM可导致视频编码器需要发信号通知的数据量的减少，进而促进带宽效率。

在以上实例中，视频解码器对接收到的值进行解码。举例来说，视频解码器对行0的残余值进行解码，并且对行1的差值进行解码。举例来说，视频解码器可以针对行0和行1的接收到的值进行解量化。视频解码器向行0的残余值添加差值以确定行1的残余值。视频解码器还对行2的差值进行解码(例如，行1的残余值与行2的残余值之间的差异)。视频解码器将行1的所确定残余值与行2的所述差值相加以确定行2的残余值等。视频解码器可实施类似步骤用于基于水平的RDPCM。

在一些实例中，视频编码器可以仅结合某些其它译码工具利用RDPCM。举例来说，视频编码器可利用无损(也被称作绕过)或变换跳过译码以分别产生残余块或残余块的经量化版本。在一些实例中，只要残余块是经变换绕过或变换跳过编码的，那么视频编码器就可以利用RDPCM。如果将变换应用于残余块，那么RDPCM可能不可用于视频编码器。

在维也纳(2013年7月)的JCTVC会议中，在上文提到的HEVC范围扩展标准中采用了帧内BC和RDPCM这两者。然而，当使用帧内BC模式来产生预测残余时不存在用于降低发信号通知的残余数据的量的技术。也就是说，不存在用于将RDPCM应用于使用帧内BC模式产生的残余数据的技术。

本发明中描述的技术提供在视频译码中应用RDPCM和帧内BC这两者的支持。举例来说，本发明的技术可以包含使用帧内BC预测模式以产生残余数据，并且使用RDPCM预测帧内BC经预测块的残余数据，如下文中进一步详细讨论的。当应用帧内BC技术时本发明的技术可以进一步改进效率。举例来说，通过将RDPCM应用到已经使用帧内BC技术进行预测的块，可以进一步减少残余数据，由此降低包含在经编码位流中的数据的量并且增大总体译码效率。也就是说，与使用帧内BC模式而无需应用RDPCM的残余块预测相比，上文所述的预测块(其中RDPCM应用于帧内BC预测残余)可以需要较少位以在位流中表示。

图1是说明可利用用于对视频数据进行滤波的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含源装置12，所述源装置提供经编码视频数据以供目的地装置14在稍后时间解码。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成分组网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

在一些实例中，经编码数据可以从输出接口22输出到存储装置。类似地，经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或任何其它用于存储经编码的视频数据的合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。

目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可以是能够存储经编码视频数据并且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含万维网服务器(例如，用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可以通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可以包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或适合于存取存储在文件服务器上的经编码的视频数据的两者的组合。经编码视频数据从存储装置的发射可能是流式传输发射、下载发射或其组合。

本发明的技术未必限于无线应用或设置。所述技术可以应用于视频译码以支持多种多媒体应用中的任一者，例如空中协议电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30及显示装置32。根据本发明，源装置12的视频编码器20可以经配置以应用用于在视频译码中执行变换的技术。在其它实例中，源装置和目的地装置可包括其它组件或布置。举例来说，源装置12可从外部视频源18(例如外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

图1的所说明系统10只是一个实例。用于在视频译码中执行滤波的技术可由任何数字视频编码和/或解码装置执行。尽管大体上本发明的技术通过视频编码装置执行，但是所述技术还可以通过视频编解码器执行。此外，本发明的技术还可由视频预处理器执行。源装置12及目的地装置14仅为源装置12产生经译码视频资料用于发射至目的地装置14的所述译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码及解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，例如用于视频流式传输、视频重放、视频广播或视频电话。

源装置12的视频源18可以包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、所存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12及目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提及，本发明中所描述的技术可大体上适用于视频译码，且可应用于无线和/或有线应用。在每一情况下，俘获、预先俘获或计算机产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(也就是说，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可以理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，其包含描述块和其它经译码单元(例如GOP)的特性和/或处理的语法元素。显示装置32将经解码的视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器20和视频解码器30各自可实施为合适的多种合适的编码器或解码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑电路、软件、硬件、固件或其任何组合。当部分地在软件中实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且使用一或多个处理器在硬件中执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为组合视频编码器/解码器(codec)的部分。包含视频编码器20和/或视频解码器30的装置可包括集成电路、微处理器和/或无线通信装置，例如，蜂窝式电话。

虽然未在图1中示出，在一些方面中，视频编码器20和视频解码器30可各自与音频编码器及解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件以处理共同数据流或单独数据流中的音频和视频这两者的编码。如果适用，则多路复用器-多路分用器单元可符合ITUH.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

本发明通常可指视频编码器20将某些信息“发信号”到另一装置，例如视频解码器30。但是，应理解，视频编码器20可以通过使某些语法元素与视频数据的各种经编码部分相关联来发信号通知信息。也就是说，视频编码器20可以通过将某些语法元素存储到视频数据的各种经编码部分的标头来“发信号通知”数据。在一些情况下，这些语法元素可以在被视频解码器30接收和解码之前被编码和存储(例如，存储到存储装置24)。因此，术语“发信号通知”可能总体上指代用于解码经压缩的视频数据的语法或其它数据的通信，不论所述通信是实时或几乎实时发生还是在一段时间中发生，例如可能在编码时将语法元素存储到媒体上的时候发生，接着可以在存储到这个媒体上之后的任何时间由解码装置检索。

视频编码器20和视频解码器30可根据视频压缩标准(例如ITU-TH.264标准，或者称为MPEG-4，部分10，高级视频译码(AVC)，或此类标准的扩展)来操作。ITU-TH.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用于一般符合H.264标准的装置。ITU-T研究组在2005年3月在ITU-T推荐H.264“用于通用音视频服务的高级视频译码(AdvancedVideoCodingforgenericaudiovisualservices)”中描述了H.264标准，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263。

虽然本发明的技术不限于任何特定译码标准，但所述技术可以与HEVC标准相关。HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的模型。HM根据(例如)ITU-TH.264/AVC假设视频译码装置相对于现存装置的若干额外能力。举例来说，虽然H.264提供了九个帧内预测编码模式，但是HM可以提供多达三十五个帧内预测编码模式。

一般来说，HM的工作模型描述视频图片可以划分成包含亮度和色度样本两者的一连串树块或最大译码单元(LCU)。位流内的语法数据可以界定最大译码单位(LCU，其是就像素数目来说的最大译码单位)的大小。切片包含多个连续译码树单元(CTU)。CTU中的每一者可包括亮度样本的译码树块、色度样本的两个对应的译码树块，以及用以对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单个译码树块及用于对所述译码树块的样本进行译码的语法结构。

视频图片可分割成一或多个切片。每一树块可以根据四叉树分裂成译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果一个CU分裂成四个子CU，那么对应于CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。CU可包括具有亮度样本阵列、Cb样本阵列和Cr样本阵列的图片的亮度样本的译码块以及色度样本的两个对应的译码块，以及用以对译码块的样本进行译码的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单个译码块及用于对所述译码块的样本进行译码的语法结构。译码块是样本的NxN块。

四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含分裂旗标，其指示对应于所述节点的所述CU是否分裂成子CU。用于CU的语法元素可以递归地来定义，且可以取决于CU是否分裂成数个子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。

CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块可分裂成四个子节点(也称为子CU)，且每一子节点又可为父节点且可分裂成另外四个子节点。最后的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，也称为叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”来指HEVC的情形中的CU、PU或TU中的任一者，或者其它标准的情形中的类似数据结构(例如，其在H.264/AVC中的宏块及子块)。

CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可以含有一或多个PU和一或多个TU。

一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可以包含在残余四分树(RQT)中，残余四分树可以包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可以包含定义PU的一或多个运动向量的数据。预测块可为对其应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的PU可以包括图片的亮度样本的预测块、色度样本的两个对应预测块，以及用于对预测块样本进行预测的语法结构。在单色图片或具有三个单独彩色平面的图片中，PU可以包括单个预测块和用于对预测块样本进行预测的语法结构。

在将变换(例如，离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)应用于残余视频数据之后，TU可以包含变换域中的系数。残余数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20可以形成包含用于CU的残余数据的TU，并且接着变换TU以产生用于CU的变换系数。变换块可为其上应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块及用以对变换块样本进行变换的语法结构。在单色图片或具有三个单独彩色平面的图片中，TU可以包括单个变换块和用于对变换块样本进行变换的语法结构。

在变换之后，视频编码器20可以执行变换系数的量化。量化大体上指代对变换系数进行量化以可能减少用以表示系数的数据的量从而提供进一步压缩的过程。量化过程可以减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被下舍入到m位值，其中n大于m。

在视频编码器20量化系数块之后，视频编码器20可以对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。对于熵译码，视频编码器20根据特定扫描次序(例如，垂直扫描、水平扫描或对角线扫描)扫描经量化变换系数。视频编码器20可在位流中输出经熵编码语法元素。

因此，位流可包含形成视频数据的经译码表示的位的序列。位流可包含经译码图片和相关联数据。经译码的图片是图片的经译码的表示。相关联数据可包含视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和其它语法结构。SPS可以含有适用于图片的零或更多序列的参数。PPS可以含有适用于零或更多图片的参数。

变换和量化残余块造成信息的损失(例如，经逆量化和逆变换块不同于原始残余块)。因此，其中残余块经变换且量化的视频译码的实例称为有损译码。在一些实例中，视频编码器20可跳过残余块的变换，但量化残余块。视频译码的此类实例称为变换跳过译码。变换跳过译码可为有损译码的一种变化，因为量化造成信息的损失。为避免混淆，此描述中使用有损译码来指代包含变换和量化两者的视频译码方法，此描述中使用变换跳过译码来指代其中跳过变换但仍执行量化的视频译码方法。

视频编码器20不需要在所有情况下执行变换跳过译码或有损译码。在一些实例中，视频编码器20可执行无损译码。在无损译码(有时称为跨量绕过)中，视频编码器20不变换残余块且不量化残余块。在此实例中，由视频解码器30重构的残余块与由视频编码器20产生的残余块相同，而对于有损译码和变换跳过译码，由视频解码器30重构的残余块可稍微不同于由视频编码器20产生的残余块。

换句话说，当应用变换时，变换将残余块的残余值从像素域转换到变换域。在一些实例中，对于变换跳过或变换绕过，残余数据包含来自预测块与当前块之间的差异的残余值而不将变换应用于残余值，所述变换将残余值从像素域转换到变换域。

在获得经译码视频数据后，视频解码器30可以执行通常与相对于视频编码器20描述的编码遍次互逆的解码遍次。举例来说，视频解码器30可以获得表示来自视频编码器20的经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30可以使用包含于位流中的数据重构最初的未经编码的视频序列(例如，或用于有损译码的最初残留的经量化版本)。举例来说，对于有损译码，视频解码器30可对位流中的语法元素进行熵解码以确定经量化变换系数。视频解码器30可以利用与视频编码器20所利用的相同的扫描次序以构建经量化残余块。视频解码器30可随后对经量化变换系数进行逆量化以确定变换系数。视频解码器30还可以将逆变换应用到变换系数以确定残余块的系数。

对于变换跳过译码，视频解码器30可对位流中的语法元素进行熵解码以确定经量化系数，利用视频编码器20用来构建经量化残余块的相同扫描次序，且随后逆量化经量化系数以确定残余块的系数。不需要逆变换，因为在编码过程中跳过了变换。

对于无损译码(例如，变换绕过或简单地绕过)，视频解码器30可对位流中的语法元素进行熵解码且可利用视频编码器20用来直接确定残余块的系数的相同扫描次序。不需要逆量化或变换，因为在编码过程中跳过变换和量化两者。

在任何情况下，视频解码器30确定预测块。预测块可以与当前块位于相同图片(例如，用于帧内预测或用于帧内BC预测)或不同图片(例如，用于帧间预测)中。视频解码器30使用预测块中的经重构像素值和残余块中的对应的残余值(例如，如从经编码位流中获得)以重构当前块的像素值(例如，以解码当前块)。

在一些情况下，视频编码器20及视频解码器30可以使用来自块的一或多个其它残余值预测块的一或多个残余值。举例来说，视频编码器20可以将残余块划分成一或多个TU。“残余块”可以一般指代其系数将经熵编码(例如，通过视频编码器20)或熵解码(例如，通过视频解码器30)的块。举例来说，如果视频编码器20不进一步划分由当前块与预测块之间的差产生的块以产生单个TU，那么残余块对应TU。如果视频编码器20划分由当前块与预测块之间的差产生的块以产生多个TU，那么残余块对应于所述多个TU中的一者。

对于帧间预测块，视频编码器20可以明确发信号通知RDPCM是否是开启的或关闭的(例如，是否应用或不应用RDPCM)以及RDPCM的方向(如果应用的话)。视频解码器30可以从位流中获得RDPCM语法元素并且相应地应用RDPCM。

在一些实例中，视频编码器20可以在TU层级处提供信令。在这些实例中，由预测块与原始块之间的差产生的块被划分成TU。视频编码器20随后发信号通知指示是否应用或不应用RDPCM的信息(例如，语法元素，例如标志)以及每个TU的RDPCM的方向(如果应用的话)的信息。在其它实例中，并非在TU层级处，视频编码器20可以发信号通知指示在CU或PU层级处是否应用或不应用RDPCM和方向的信息(例如，RDPCM的模式/方向信息)。在这些实例中，同一模式/方向将适用于全部TU。

对于帧内预测块，视频编码器20及视频解码器30可以相同方式应用RDPCM，例如，根据帧内预测方向。举例来说，对于水平帧内预测模式，视频编码器20可应用水平RDPCM，且对于垂直帧内预测模式，视频编码器20可应用垂直RDPCM。在一些情况下，除垂直和水平外视频编码器20及视频解码器30可以不针对定向帧内预测模式应用RDPCM。

如果RDPCM应用于帧内预测块，那么视频编码器20可以不在位流中发信号通知RDPCM模式(例如，RDPCM方向)。而是，在此实例中，视频编码器20可发信号通知指示帧内预测模式的信息，且视频解码器30可确定RDPCM方向与帧内预测模式相同。以此方式，对于由帧内预测产生的TU(例如，残余块)，RDPCM的应用可以是暗示的，这是因为视频编码器20可以不发信号通知指示RDPCM方向的信息。实际上，视频解码器30基于针对帧内预测块发信号通知的帧内模式简单地确定RDPCM模式(例如，RDPCM方向)。

因此，虽然提供显式的和暗示的信令机构以用于分别将RDPCM应用于帧间预测数据和帧内预测数据，但是RDPCM并不预先应用于帧内BC预测残余。因此，并不是指示是否(以及如何)将RDPCM应用于帧内BC预测残余的预先信令机构。

根据本发明的方面，视频编码器20和/或视频解码器30可以应用帧内BC结合RDPCM。举例来说，视频编码器20可以基于图片的当前块与预测块之间的差异产生用于图片的当前块的残余块。视频编码器20可以随后基于残余块产生预测的残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值。视频编码器20可以随后对表示位流中的预测的残余块的数据进行编码。

举例来说，视频编码器20可以执行帧内BC过程以产生残余块。如上文所指出，帧内BC可以是移除图片内的冗余的专用过程。如以下相对于图4的更详细的描述，例如，视频编码器20可以从相同图片中的已经经重构的区域中获得被译码的CU的残余块。在一些情况下，视频编码器20可以确定识别经重构区域中的预测块的偏移向量并且可以对偏移向量(也被称作位移向量或运动向量)连同残留信号进行编码。以此方式，偏移向量指示用于产生从当前CU移位的残余块的图片中预测块的位置。

根据本发明的方面，视频编码器20可以随后基于帧内BC残余块产生预测残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值。举例来说，视频编码器20可以在残余块上执行RDPCM过程以产生预测块。视频编码器20可以通过选择三个不同RDPCM模式中的一个来应用RDPCM，所述模式包含DPCM-关闭、RDPCM-水平和RDPCM-垂直。对于RDPCM-关闭，视频编码器20可以不应用RDPCM。对于RDPCM水平，视频编码器20可以使用被译码的像素的左侧的像素位置，例如，左列中的经重构残余值以预测当前残余值。对于RDPCM垂直，视频编码器20可以使用被译码像素上方的像素位置，例如，上部行中的经重构残余值以预测当前残余值。因此，在应用RDPCM之后，所述块可以包含最初残余块的预测的残余值。

根据本发明的方面，视频解码器30可以基于预测的残余块产生图片的残余块，其中确定残余块包含基于残余块的一或多个预测残余值重构残余块的一或多个残余值。视频解码器30随后基于图片的残余块和预测块的组合生成图片的当前块。

举例来说，视频解码器30可以使用RDPCM过程以基于预测的残余块产生图片的残余块。如上文相对于视频编码器20所提到，视频解码器30可以通过选择三个不同RDPCM模式中的一个来应用RDPCM，所述模式包含DPCM-关闭、RDPCM-水平和RDPCM-垂直。视频解码器30可以从指示RDPCM模式的经编码位流中获得一或多个语法元素。

视频解码器30可以随后执行帧内BC预测过程以产生图片的当前块。举例来说，视频解码器30可以从经编码位流中获得偏移向量，其指示包含于被解码的图片的已经经重构部分中的预测块的位置。视频解码器可以随后组合具有所确定的残余的预测块以产生(重构)当前块。

本发明的技术还涉及与将RDPCM应用到已经使用帧内BC模式产生的残余相关联的信令。根据本发明的方面，视频编码器20可以对是否将RDPCM应用到使用帧内BC预测的块的指示进行编码。在一些实例中，视频编码器20可以对一或多个语法元素进行编码以用于指示是否以与上文相对于帧间预测数据所述的显式信令类似的方式应用RDPCM。举例来说，当使用帧内BC预测块时，视频编码器20可以明确地发信号通知RDPCM是否是开启或关闭的(例如，是否应用或不应用RDPCM)以及RDPCM的方向(如果，那么应用的话)。视频解码器30可以从位流中获得RDPCM语法元素并且相应地应用RDPCM。

根据本发明的方面，可以在序列层级处启用(或停用)RDPCM，例如，根据包含于SPS中的一或多个语法元素。举例来说，视频编码器20可对指示是否启用RDPCM的一或多个语法元素进行编码。在一些实例中，一或多个语法元素可以适用于一个以上预测模式(例如，其中预测模式包含帧间预测模式、帧内预测模式和帧内BC预测模式)。举例来说，视频编码器20可以对residual_dpcm_inter_enabled_flag语法元素(或类似语法元素)进行编码以指示是否针对帧间预测残余和帧内BC预测残余两者启用RDPCM(例如，标志适用于两个模式使得一个标志是针对帧间预测模式和帧内BC预测模式两者发信号通知的)。视频解码器30可以从位流中解码此类标志并且确定是否启用RDPCM。当启用时，一或多个额外语法元素可以明确地发信号通知以指示针对一个块RDPCM是否开启或关闭(例如，是否应用或不应用RDPCM)以及针对所述块的RDPCM的方向(如果应用的话)。

图2是说明可使用如本发明中所描述的用于变换的技术的视频编码器20的实例的框图。出于说明的目的将在HEVC译码的情形中描述视频编码器20，但关于其它译码标准并不限制本发明。

视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或移除给定视频图片内的视频中的空间冗余。帧间译码依赖于时间预测来减少或移除视频序列的邻近图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间压缩模式中的任一者。例如单向预测(P模式)或双向预测(B模式)的帧间模式可指代若干基于时间的压缩模式中的任一者。

在图2的实例中，视频编码器20包含视频数据存储器38、模式选择单元40、参考图片存储器64、求和器50、变换处理单元52、量化单元54及熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测单元46、帧内BC单元47和分割单元48。为了视频块重构，视频编码器20还包含逆量化单元58、逆变换单元60、求和器62和滤波单元66。

视频数据存储器38可存储待由视频编码器20的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器38中的视频数据。参考图片存储器64可被称为存储参考视频数据供用于通过视频编码器20例如以帧内或帧间译码模式编码视频数据的经解码的图片缓冲器。视频数据存储器38及参考图片存储器64可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器38和参考图片存储器64可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器38可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

在编码过程期间，视频编码器20接收待译码的视频图片或切片。图片或切片可以划分成多个视频块。运动估计单元42及运动补偿单元44相对于一或多个参考图片中的一或多个块执行所接收视频块的帧间预测性译码以提供时间压缩。帧内预测单元46可以替代地执行相对于作为待译码的块的相同图片或切片中的一或多个相邻像素值的接收到的视频块的帧内预测性译码以提供空间压缩。视频编码器20可以执行多个译码遍次，例如，以针对每一视频数据块选择一种适当的译码模式。

此外，分割单元48可以基于前述译码遍次中的前述划分方案的评估将视频数据块分割成子块。举例来说，分割单元48可最初将图片或切片分割成若干LCU，且基于速率失真分析(例如，速率失真最佳化)将所述LCU中的每一者分割成若干子CU。模式选择单元40可以进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可以包含一或多个PU和一或多个TU。

模式选择单元40可以(例如)基于错误结果选择译码模式中的一者(帧内或帧间)，并且将所得的经帧内译码或经帧间译码块提供到求和器50以便产生残余块数据，并且提供到求和器62以便重新构造经编码块以用于用作参考图片。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供给熵编码单元56。

运动估计单元42和运动补偿单元44可高度集成，但出于概念的目的分别加以说明。运动估计单元42执行的运动估计是生成运动向量的过程，所述过程估计视频块的运动。举例来说，运动向量可指示当前视频图片内的视频块的PU相对于参考图片(或其它经译码单元)内的预测块相对于当前图片(或其它经译码单元)内正被译码的当前块的位移。

预测块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储于参考图片记忆体64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插参考图片的四分之一像素位置、八分之一像素位置或其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索并且输出具有分数像素精度的运动向量。

运动估计单元42通过比较PU的位置与参考图片的预测块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。参考图片可以选自第一参考图片列表(列表0)或第二参考图片列表(列表1)，其中的每一个识别存储在参考图片存储器64中的一个或多个参考图片。运动估计单元42向熵编码单元56和运动补偿单元44发送计算出的运动向量。

由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来撷取或产生预测块。同样，在一些实例中，运动估计单元42与运动补偿单元44可在功能上整合。在接收到当前视频块的PU的运动向量后，运动补偿单元44可在参考图片列表中的一者中定位所述运动向量指向的预测块。求和器50通过从正经译码的当前视频块的像素值中减去预测块的像素值从而形成像素差值来形成残余视频块，如下文所论述。一般来说，运动估计单元42相对于明度分量执行运动估计，并且运动补偿单元44对于色度分量及明度分量两者使用基于明度分量计算的运动向量。模式选择单元40还可产生与视频块及视频切片相关联的语法元素以供视频解码器30在解码视频切片的视频块时使用。

作为如上文所描述由运动估计单元42及运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块进行帧内预测。具体来说，帧内预测单元46可以确定用于对当前块进行编码的帧内预测模式。在一些实例中，帧内预测单元46可以例如在单独的编码遍次期间使用各种帧内预测模式编码当前块，并且帧内预测单元46(或在一些实例中为模式选择单元40)可以从所测试模式中选择适当帧内预测模式来使用。

举例来说，帧内预测单元46可使用速率-失真分析计算针对各种测试的帧内预测模式的速率-失真值，且从所述测试的模式当中选择具有最好速率失真特性的帧内预测模式。速率失真分析一般确定经编码块与经编码以产生所述经编码块的原始的未经编码块之间的失真(或误差)的量，以及用于产生经编码块的位速率(也就是说，位数目)。帧内预测单元46可以根据用于各种经编码块的失真及速率计算比率，以确定哪个帧内预测模式对于所述块展现最佳速率失真值。

视频编码器20通过从正译码原始视频块中减去来自模式选择单元40的预测数据而形成残余视频块。求和器50表示执行此减法运算的一或多个组件。

变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换等变换应用于残余块，从而产生包括残余变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。也可使用子波变换、整数变换、子带变换或其它类型的变换。在任何状况下，变换处理单元52向残余块应用所述变换，从而产生残余变换系数的块。所述变换可将残余信息从像素值域转换到变换域，例如，频域。

变换处理单元52可将所得变换系数发送到量化单元54。量化单元54可量化所述变换系数以进一步减小位率。量化过程可以减少与系数中的一些或全部相关联的位深度。可以通过调整量化参数来修改量化程度。在一些实例中，量化单元54可以接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可以执行所述扫描。

在量化之后，熵编码单元56对经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行情形自适应可变长度译码(CAVLC)、情形自适应二进制算术译码(CABAC)、基于语法的情形自适应二进制算术译码(SBAC)、概率区间分割熵(PIPE)译码或另一熵译码技术。就基于情形的熵译码而论，情形可以基于相邻块。在熵编码单元56的熵译码之后，可以将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述视频存档以用于稍后发射或检索。

逆量化单元58和逆变换单元60分别应用逆量化和逆变换以在像素域中重构残余块，例如以供稍后用作参考块。

运动补偿单元44可以通过将残余块添加到参考图片存储器64的图片中的一者的预测性块中来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构残余块以计算子整数像素值以用于运动估计。求和器62将经重构的残余块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重构的视频块以用于存储于参考图片存储器64中。经重构的视频块可由运动估计单元42及运动补偿单元44用作参考块以对后续视频图片中的块进行帧间译码。

滤波单元66可以执行多种滤波过程。举例来说，滤波单元66可以执行解块。也就是说，滤波单元66可以接收形成经重构视频的切片或帧的多个经重构视频块和滤波器块边界，以从切片或帧中移除成块假象。在一个实例中，滤波单元66评估视频块的所谓的“边界强度”。基于视频块的边界强度，可以相对于邻近视频块的边缘像素而对视频块的边缘像素进行滤波，使得查看器更加难以感知从一个视频块到另一个的过渡。

虽然图2的实例大体上说明作为用于执行有损译码的视频编码器的视频编码器20，但是本发明的技术也可以应用于无损视频译码。在一些实例中，无损译码消除变换和量化。在其它实例中，无损译码执行变换且仅消除量化过程。在又其它实例中，可借助变换和定量的使用而实施无损译码，但可选择量化参数以便避免任何量化数据损失。这些和其它实例在本发明的范围内。在此类情况下，视频编码器20可以包含用于执行变换跳过、量化跳过或其它无损译码技术的组件。

根据本发明中描述的技术的各种方面，视频编码器20可以基于图片的当前块与预测块之间的差异产生针对图片的当前块的残余块。举例来说，帧内BC单元47可以应用帧内BC过程以产生残余块(如例如相对于图4所说明和描述的)。

另外，根据本发明的方面，视频编码器20基于残余块产生预测残余块，方法是基于残余块的一或多个其它残余值预测残余块的一或多个残余值。举例来说，帧内BC单元47可应用RDPCM以进一步压缩残余块。视频编码器20可以随后对预测残余块进行编码，例如，通过使用量化单元54对预测的残余块进行量化，并且对所述经量化的值进行熵译码。

虽然在本发明中描述了所述技术的多个不同方面和实例，但是所述技术的各种方面和实例可以一起执行或彼此分开执行。换句话说，所述技术不应严格地限制于上文所述的各种方面和实例，而是可组合使用或一起执行和/或分开执行。另外，虽然某些技术可以归于视频编码器20的某些单元(例如，帧内BC单元47、运动补偿单元44或熵编码单元56)，但是应理解视频编码器20的一或多个其它单元也可以负责执行此类技术。

图3是说明可实施用于如描述于本发明中的变换的技术的视频解码器30的实例的框图。同样，出于说明的目的将在HEVC译码的情形中描述视频编码器30，但关于其它译码标准或方法并不限制本发明。

在图3的实例中，视频解码器30包含视频数据存储器68、熵解码单元70、运动补偿单元72、帧内预测单元74、帧内BC单元75、逆量化单元76、逆变换单元78、参考图片存储器82、求和器80，和滤波单元84。

视频数据存储器68可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。可(例如)经由视频数据的有线或无线网路通信从计算机可读媒体16(例如，局部视频源，例如，相机)或通过存取物理数据存储媒体而获得存储在视频数据存储器68中的视频数据。视频数据存储器68可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。参考图片存储器82可被称为存储参考视频数据以供用于视频解码器30例如以帧内或帧间译码模式对视频数据进行解码的经解码的图片缓冲器。视频数据存储器68和参考图片存储器82可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存取存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器68和参考图片存储器82可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器68可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。

在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量及其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级及/或视频块层级接收语法元素。

当视频切片被译码为经帧内译码(I)切片时，帧内预测单元74可以基于发信号通知的帧内预测模式和来自当前图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频图片译码为经帧间译码(即，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测块。预测块可以从参考图片列表中的一者内的参考图片中的一者产生。视频解码器30可以基于存储在参考图片存储器82中的参考图片使用默认构建技术构建参考图片列表(列表0和列表1)。

运动补偿单元72通过剖析运动向量和其它语法元素确定用于当前视频切片的视频块的预测信息，且使用所述预测信息产生用于经解码的当前视频块的预测块。举例来说，运动补偿单元72使用一些接收到的语法元素来确定用以对视频切片的视频块进行译码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片、P切片或GPB切片)、用于切片的参考图片列表中的一或多者的构建信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，以及解码当前视频切片中的视频块的其它信息。

运动补偿单元72还可以基于内插滤波器执行内插。运动补偿单元72可以使用如视频编码器20在视频块的编码期间使用的内插滤波器来计算参考块的子整数像素的内插值。在此情况下，运动补偿单元72可根据接收的语法元素而确定由视频编码器20使用的内插滤波器并使用所述内插滤波器来产生预测块。

逆量化单元76对在位流中提供且由熵解码单元70解码的经量化变换系数进行逆量化，即，解量化。逆量化过程可包含量化参数QP_Y的使用，所述量化参数QP_Y由视频解码器30针对视频切片中的每一视频块计算以确定应该应用的量化程度和类似地逆量化程度。

逆变换78将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数以便产生像素域中的残余块。视频解码器30通过对来自逆变换单元78的残余块与运动补偿单元72产生的对应预测块求和而形成经解码视频块。求和器80表示可以执行此求和运算的一或多个组件。

在一些实例中，滤波单元84可以配置成类似于视频编码器20(图2)的滤波单元66。举例来说，当从经编码位流解码并且重构视频数据时，滤波单元84可以经配置以执行解块、SAO或其它滤波操作。

同样，如上文相对于图2所提到，虽然图3的实例大体上说明作为执行有损译码的视频编码器的视频解码器30，但是本发明的技术也可以应用于无损视频译码。在一些实例中，无损译码消除变换和量化。在其它实例中，无损译码执行变换且仅消除量化过程。在又其它实例中，可借助变换和定量的使用而实施无损译码，但可选择量化参数以便避免任何量化数据损失。这些和其它实例在本发明的范围内。在此类情况下，视频解码器30可以包含用于执行变换跳过、量化跳过或其它无损译码技术的组件。

在一些情况下，视频解码器30可以执行相对于上文视频编码器20所描述的一或多个技术。举例来说，视频解码器30可以执行本发明的技术以应用帧内BC过程和RDPCM过程这两者以确定视频数据。在一些实例中，视频解码器30可以从经编码位流中获得一或多个语法元素，并且基于此类语法元素执行本发明的技术。

举例来说，根据本发明中描述的技术的各种方面，视频解码器30可以在所接收的预测残余上执行RDPCM以产生图片的残余块。也就是说，视频解码器30可以执行逆RDPCM过程，如通过视频编码器20所应用的。

另外，视频解码器30，例如，视频解码器30的帧内BC单元75，可以确定图片的当前块，方法是组合图片的残余块和通过偏移向量识别的块。

虽然在本发明中描述了所述技术的多个不同方面和实例，但是所述技术的各种方面和实例可以一起执行或彼此分开执行。换句话说，所述技术不应严格地限制于上文所述的各种方面和实例，而是可组合使用或一起执行和/或分开执行。另外，虽然某些技术可以归于视频解码器30的某些单元，但是应理解视频解码器30的一或多个其它单元也可以负责执行此类技术。

图4是说明帧内块复制过程的实例的图式。图4的实例包含当前编码单元(CU)90、位于搜索区域94中的预测块92和偏移向量96。在编码期间，视频编码器20可以基于当前CU90与预测块92(其也可被称作预测信号)之间的差异针对当前CU90对残余进行编码。视频编码器20可以将预测块92定位在搜索区域94中，其已经在与当前CU90相同的图片中经重构。视频编码器20可以使用偏移向量96(其也可被称作“位移向量”)定位预测块92。

视频编码器20可以对偏移向量96连同残留信号进行编码。举例来说，视频编码器20可以包含识别或定义经编码视频位流中的偏移向量96的水平位移分量和偏移向量的垂直位移分量的一或多个语法元素。视频编码器20还可以对残留进行编码，例如，当前CU90的像素值与预测块92的像素值之间的差异。视频解码器30可以对一或多个语法元素进行解码以确定偏移向量96，并且使用所确定的向量以识别当前CU90的预测块92。视频解码器30还可以对残留进行解码。视频解码器30可以通过组合解码残留与预测块92的经重构像素值(如通过偏移向量96所识别)来重构当前CU90。

在一些实例中，偏移向量96的分辨率可以是整数像素，例如，被限制为具有整数像素分辨率。在此类实例中，水平位移分量和垂直位移分量的分辨率是整数像素。在此类实例中，视频编码器20及视频解码器30无需内插预测块92的像素值以确定用于当前CU90的预测值。在其它实例中，水平位移分量和垂直位移分量中的一个或两个的分辨率可以是分辨率中的亚像素。举例来说，垂直分量和水平分量中的一个可具有整数像素分辨率，而另一个具有亚像素分辨率。

根据本发明的方面，视频编码器20和/或视频解码器30可以使用图4的实例中所示的帧内BC技术对视频数据块进行译码(分别是编码或解码)。另外，如下文相对于图5A和5B更详细描述，视频编码器20和/或视频解码器可以将RDPCM应用到已经使用帧内BC技术产生的残留。

举例来说，如上文所指出，视频编码器20可以确定偏移向量96，其识别紧密匹配当前CU90的块(即，预测块92)的位置。视频编码器20可以基于当前CU90与预测块92之间的差异确定残留。根据本发明的方面，视频编码器20可以随后将RDPCM应用到所确定的残余。视频编码器20可以对已经使用RDPCM预测的残余值以及偏移向量96进行编码。

视频解码器30可以对来自经编码位流的残留进行解码。如上文所指出，残留表示当前CU90与预测块92之间的差异。根据本发明的方面，所解码的残留可以包含所预测的残余值，例如，已经使用RDPCM预测的残余值。因此，视频解码器30可以应用RDPCM以重构残留(例如，当前CU90与预测块92之间的差异)。视频解码器30可以随后使用偏移向量96定位预测块92并且组合经重构残留与预测块92以确定当前CU90。

所述技术可以在无损和有损译码方案这两者中应用。举例来说，根据本发明的方面，RDPCM可以应用于已经使用帧内BC产生的残留，而无论所述残留是否随后经受量化，如上文所述。

图5A和5B是说明残留微分脉码调制(RDPCM)技术的实例的图式。如上文所指出，两个RDPCM模式包含RDPCM垂直模式和RDPCM水平模式。RDPCM的概念是对于垂直模式使用上部行像素来预测当前像素且对于水平模式使用左边列像素来预测当前像素。举例来说，考虑大小为M(行)×N(列)的残余块。假设r_ij,0≤i≤(M-1),0≤j≤(N-1)为残留(例如，在执行间预测、内预测或帧内BC预测之后的预测残余)。残余块可以表示视频块的任何分量(例如，亮度分量、色度分量、红色分量、绿色分量、蓝色分量(在RGB译码中)或类似物)。

在残余DPCM中，将预测应用于残余样本，使得针对无损垂直残余DPCM如下获得具有元素的修改的M×N阵列

{\tilde{r}}_{i, j} = \{\begin{matrix} r_{i, j}, & i = 0, 0 \leq j \leq (N - 1) \\ r_{i, j} - r_{(i - 1), j}, & 1 \leq i \leq (M - 1), 0 \leq j \leq (N - 1) \end{matrix},

或对于无损水平RDPCM：

{\tilde{r}}_{i, j} = \{\begin{matrix} r_{i, j}, & 0 \leq i \leq (M - 1), & j = 0 \\ r_{i, j} - r_{i, (j - 1)} & 0 \leq i \leq (M - 1), & 1 \leq j \leq (N - 1) \end{matrix} .

视频编码器20在经编码位流中发信号通知经修改的残余样本而不是最初残余样本R。如本文所述，经修改的残余样本可被称为预测残余样本，因为经修改的残余样本实质上是从邻近残余样本中预测的。

换句话说，如果残余块包含样本R，那么视频编码器20可以确定经修改的残余样本其表示具有应用RDPCM的残余块。视频编码器20可以应用相同RDPCM过程，而无论是否执行量化(例如，有损情况)或跳过量化(例如，无损情况)。在一些实例中，视频编码器20可以仅针对其中跳过变换的TU将RDPCM延伸到有损情况。具体而言，对于有损RDPCM-垂直：

或者对于RDPCM-水平：

其中Q表示转发量化运算并且是残余值r的经重构版本。

在解码器侧，视频解码器30可以从经编码位流中解析经修改(例如，预测)残余样本。视频解码器30可以随后对于无损RDPCM-垂直如下重构残余样本：

\begin{matrix} r_{i, j} = Σ_{k = 0}^{i} {\tilde{r}}_{k, j}, & 0 \leq i \leq (M - 1), & 0 \leq j \leq (N - 1), \end{matrix}

或者对于无损RDPCM-水平：

\begin{matrix} r_{i, j} = Σ_{k = 0}^{j} {\tilde{r}}_{i, k}, & 0 \leq i \leq (M - 1), & 0 \leq j \leq (N - 1) . \end{matrix}

视频解码器30也可以在有损和无损视频译码中应用RDPCM。举例来说，对于有损RDPCM-垂直，视频解码器30可以根据选定的RDPCM模式在逆相量化之后添加经重构残余以获得经重构残余

\hat{r} (i, j) = Σ_{k = 0}^{i} Q^{- 1} (\tilde{r} (k, j))

或者对于有损RDPCM-水平：

\hat{r} (i, j) = Σ_{k = 0}^{j} Q^{- 1} (\tilde{r} (i, k))

其中Q^-1表示逆相量化操作。

如上文所指出，对于RDPCM间(例如，应用RDPCM到运动补偿残留)视频编码器20可以在经编码位流中明确地发信号通知是否应用RDPCM到视频解码器30。对于视频数据的特定块，视频编码器20也可以在指示RDPCM模式(例如，非RDPCM、垂直RDPCM或水平RDPCM)的经编码位流中明确地发信号通知一或多个语法元素。视频解码器30可以接收一或多个语法元素并且以互逆方式执行RDPCM，如上文所指出。

根据本发明的方面，视频编码器20和/或视频解码器可以将RDPCM应用到已经使用帧内BC译码过程产生的残留。举例来说，如上文所指出，视频编码器20可以确定识别紧密匹配当前被译码的块的预测块的位置的偏移向量。视频编码器20可以基于当前块与预测块之间的差异确定残留。

视频编码器20可以确定RDPCM模式。在一些实例中，视频编码器20可以使用速率失真分析(例如，速率失真优化)确定RDPCM模式。视频编码器20可以在RDPCM关闭(例如，不应用RDPCM)、垂直模式(如图5A的实例中所示)或水平模式(例如，如图5B的实例中所示)之间进行选择。视频编码器20可以使用所确定的模式以产生经修改的残余值，例如，根据上文所述的过程，其也可被称作预测的残余值。视频编码器20可以随后对预测的残余值以及所确定的偏移向量进行编码。

视频解码器30可以对来自经编码位流的残留进行解码。经解码残留可以包含经修改残余值，例如，已经使用RDPCM预测的残余值。视频解码器30可以应用RDPCM以重构残留(例如，最初残留的经量化版本)。举例来说，视频解码器30可以应用与视频编码器20互逆的RDPCM过程来重构未经修改的残留。

根据本发明的方面，视频解码器30可以对一或多个语法元素进行解码以确定将应用于经修改残留的适当的RDPCM模式。举例来说，一或多个语法元素可以指示是否选择RDPCM关闭(例如，不应用RDPCM)、垂直模式(如图5A的实例中所示)或水平模式(例如，如图5B的实例中所示)。如上文所指出，所述一或多个语法元素可以在CU、TU或PU层级处提供。

在重构残留之后，视频解码器30可以使用从经编码位流中获得的偏移向量来定位预测块。视频解码器30可以随后通过组合经重构残留(例如，最初残留的经量化版本)与预测块来重构当前被解码的块。如上文所指出，所述技术可以应用于无损和有损译码方案两者中。举例来说，根据本发明的方面，RDPCM可以应用于已经使用帧内BC产生的残留，而无论所述残留是否随后经受量化。

根据本发明的方面，可以在序列层级处启用(或停用)RDPCM，例如，根据包含于SPS中的一或多个语法元素。举例来说，视频编码器20可以对指示是否针对帧内BC经预测数据启用RDPCM的一或多个语法元素进行编码。一般而言，当启用时，每当视频解码器30对已经通过帧内BC过程编码的块进行解码时，视频解码器30可以期望对指示特定RDPCM模式的信息进行解码。

在一个实例中，可以使用residual_dpcm_inter_enabled_flag语法元素指示RDPCM是否可以应用于已经使用帧内BC预测的块。Flynn等人，“高效视频译码(HEVC)范围扩展文本规范：草案4”，JCTVC-N1005_v3，2013年8月，通过D.Flynn,J.Sole和T.Suzuki可以提供涉及SPS层级处的residual_dpcm_inter_enabled_flag的一些说明。在一些实例中，当residual_dpcm_inter_enabled_flag语法元素等于一时，RDPCM可用于由针对使用帧内BC预测的块的视频编码器20及视频解码器30使用。在此类实例中，当residual_dpcm_inter_enabled_flag语法元素等于零时，RDPCM不可用于由针对使用帧内BC预测的块的视频编码器20及视频解码器30使用。应理解上文所述的语法元素值是出于说明的目的提供的且不应被视为具有限制性。并且，这些实例语法元素不必必须是SPS的一部分。

在一些实例中，指示是否启用RDPCM的一或多个语法元素可以适用于一个以上预测模式(例如，其中预测模式包含帧间预测模式、帧内预测模式和帧内BC预测模式)。举例来说，视频编码器20可以对residual_dpcm_inter_enabled_flag语法元素(或类似语法元素)进行编码以指示是否针对帧间预测残余和帧内BC预测残余两者启用RDPCM(例如，标志适用于两个模式使得一个标志是针对帧间预测模式和帧内BC预测模式发信号通知的)。视频解码器30可以从位流中解码此类标志并且确定是否启用RDPCM。当启用时，一或多个额外语法元素可以明确地发信号通知以指示针对一个块RDPCM是否开启或关闭(例如，是否应用或不应用RDPCM)以及针对所述块的RDPCM的方向(如果应用的话)。

上文所述的residual_dpcm_inter_enabled_flag语法元素仅是一个实例。在另一个实例中，替代或补充于residual_dpcm_inter_enabled_flag语法元素，residual_dpcm_intra_enabled_flag语法元素可以包含在SPS层级处以控制是否针对通过帧内BC预测的块启用RDPCM。JCTVC-N1005_v3文档也可以提供涉及residual_dpcm_intra_enabled_flag的说明。

图6是说明视频编码装置(例如，图2的实例中所示的视频编码器20)在执行本发明中描述的技术时的示例性操作的流程图。虽然相对于视频编码器20描述，但是应理解图6的技术可以通过具有多种其它处理能力的多种其它装置执行。

在图6的实例中，视频编码器20接收待译码的视频图片或切片(100)。在执行帧内BC过程中，帧内BC单元47可以首先针对视频图片的当前块(例如，CU)识别视频图片中的搜索区域(102)。在识别适当的搜索区域之后，帧内BC单元47可以接下来确定搜索区域内的预测块，从所述预测块中当前块将被预测(104)。帧内BC单元47可以通过存取搜索区域内的一或多个块且确定每个块与当前CU之间的差异执行此确定。帧内BC单元47可以将预测块确定为引起最小量的残余的块，或者换句话说，引起所述块与当前CU之间的最小差异的块。

帧内BC单元47可以接下来确定识别选定块(其可被称为“预测块”)相对于当前CU的位置的偏移向量。以此方式，帧内BC单元47可以基于预测块和当前块确定偏移向量(106)。帧内BC单元47可以将偏移向量传递到熵编码单元56，所述熵编码单元对偏移向量进行熵编码并且将经编码的偏移向量添加到位流。帧内BC单元47还确定残余为预测块与当前块之间的差异(108)并且将残余作为残余块传递到变换处理单元52。

根据本发明的方面，视频编码器20可以产生针对残余块的经修改残余值(110)。举例来说，视频编码器20可以从残余块的一或多个其它残余值中预测残余块的一或多个残余值。在一些实例中，视频编码器20可以通过将RDPCM应用到残余块产生经修改的残余值。如上文相对于图5A和5B所述，视频编码器可以应用垂直RDPCM模式或水平RDPCM模式以产生经修改的残余值。

量化单元54对经修改的残余值进行量化以进一步降低位速率(112)。虽然图6中所示的实例过程包含量化，但是在其它实例中，如上文所指出，可以跳过量化(例如，在无损译码过程中)。在此类情况下，视频编码器20可以将经修改的残余值直接传递到熵编码单元56。

在量化之后(如果执行的话)，熵编码单元56对经量化的值进行熵译码(其涉及统计无损译码，作为一个实例)(114)并且包含位流中的经熵编码的经量化的值。此过程重复直至视频图片的所有块都得到编码，然而并不是所有的块都可以使用帧内BC过程编码。

虽然某些技术可以归于视频编码器20的某些单元，但是应理解视频编码器20的一或多个其它单元也可以负责执行此类技术。

图7是说明视频解码装置(例如，图3的实例中所示的视频解码器30)在执行本发明中描述的技术时的示例性操作的流程图。同样，虽然相对于视频解码器30描述，但是应理解图7的技术可以通过具有多种其它处理能力的多种其它装置执行。

最初，视频解码器30接收表示来自视频编码器20的经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码，以产生经量化系数，并且在帧内BC的情况下产生对应的偏移向量(122)。虽然相对于有损译码过程描述了图7的实例中所示的过程(具有应用于残留的量化)，但是如上文所指出，所述技术也可以在无损视频译码中执行。

在有损译码的情况下，熵解码单元70将经量化系数转发到逆量化单元76并且将对应的偏移向量转发到帧内BC单元75。逆量化单元76对经量化系数进行去量化以获得经修改的残余块(124)(在应用量化的实例中)。所述经修改的残余块也可被称作预测残余块，因为如下文所述，经修改的残余块所对应的未经修改的残余块的值是已经使用未经修改的残余块的其它值预测的。

根据本发明的方面，视频解码器30可以基于经修改的残余块的值重构残余块(126)。举例来说，视频解码器30可以应用与视频编码器20互逆的过程以从块的接收到的经修改残余值中重构块的残余值。在一些实例中，视频解码器30可以通过将RDPCM应用于经修改的残余块来重构残余块。如上文相对于图5A和5B所述，视频解码器30可以应用垂直RDPCM模式或水平RDPCM模式来重构残余块的残余值。

帧内BC单元75基于偏移向量识别存储到参考图片存储器82(或一些其它中间存储器)的预测块(128)并且将此预测块提供到求和器80。求和器80对残余块与预测块进行求和以对经译码的当前块进行解码(例如，重构)(130)。

虽然某些技术可以归于视频解码器30的某些单元，但是应理解视频解码器30的一或多个其它单元也可以负责执行此类技术。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如通过多线程处理、中断处理或多个处理器同时而非依次执行动作或事件。

出于说明的目的，已经相对于开发HEVC标准而描述本发明的某些方面。然而，本发明中描述的技术可有用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。

如本发明中所描述，视频编解码器可以指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。

在一或多个实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果用软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体等有形媒体，或包含任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。

以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时形的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可以包含计算机可读媒体。

借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可以用来存储指令或数据结构的形式的期望程序代码并且可以由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。

然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各者的组合也应该包含在计算机可读媒体的范围内。

可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可以在经配置用于编码和解码的专用硬件和/或软件模帧内块提供，或者并入在组合编解码器中。另外，可以将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可以结合合适的软件及/或固件组合在编码解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims

1.一种对视频数据进行解码的方法，所述方法包括：

基于预测的残余块产生图片的残余块，包含基于所述残余块的一或多个预测的残余值重构所述残余块的一或多个残余值；以及

基于所述图片的所述残余块和预测块的组合产生所述图片的当前块。

2.根据权利要求1所述的方法，其进一步包括从经编码位流中获得所述预测的残余块，并且其中产生所述残余块包括将残余微分脉码调制RDPCM应用到所述预测的残余块。

3.根据权利要求2所述的方法，其中将所述RDPCM应用到所述预测的残余块包括将水平RDPCM应用到所述一或多个预测的残余值。

4.根据权利要求2所述的方法，其中将所述RDPCM应用到所述预测的残余块包括将垂直RDPCM应用到所述一或多个预测的残余值。

5.根据权利要求2所述的方法，其中应用所述RDPCM包括从所述经编码位流中获得指示来自多个RDPCM模式中的RDPCM模式的数据并且应用所述所指示的RDPCM模式。

6.根据权利要求5所述的方法，其中获得指示RDPCM模式的所述数据包括获得指示RDPCM关闭模式、RDPCM垂直模式和RDPCM水平模式中的至少一个的数据。

7.根据权利要求1所述的方法，其进一步包括：

从经编码位流中获得指示所述图片中的所述预测块的位置的位移向量；以及

使用所述位移向量定位所述图片的所述预测块。

8.根据权利要求1所述的方法，其中产生所述残余块进一步包括在有损解码过程中将逆量化应用到所述残余块。

9.根据权利要求1所述的方法，其中产生所述残余块包括产生所述残余块而无需在无损解码过程中执行逆量化。

10.根据权利要求1所述的方法，其进一步包括对指示是否启用RDPCM过程的一或多个语法元素进行解码，其中所述RDPCM过程包含基于所述预测的残余块产生所述图片的所述残余块的步骤。

11.根据权利要求10所述的方法，其中对所述一或多个语法元素进行解码包括在序列参数集SPS中在序列层级处对所述一或多个语法元素进行解码。

12.根据权利要求10所述的方法，其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧间预测模式和帧内BC预测模式。

13.一种对视频数据进行编码的方法，所述方法包含：

基于图片的当前块与预测块之间的差异产生针对所述图片的所述当前块的残余块；

基于所述残余块产生预测的残余块，方法是基于所述残余块的一或多个其它残余值预测所述残余块的一或多个残余值；以及

对在位流中表示所述预测的残余块的数据进行编码。

14.根据权利要求13所述的方法，其中产生所述预测的残余块包括将残余微分脉码调制RDPCM应用到所述残余块。

15.根据权利要求14所述的方法，其中将所述RDPCM应用到所述残余块包括将水平RDPCM应用到所述一或多个残余值。

16.根据权利要求14所述的方法，其中将所述RDPCM应用到所述预测的残余块包括将垂直RDPCM应用到所述一或多个残余值。

17.根据权利要求14所述的方法，其中应用所述RDPCM包括从多个RDPCM模式中选择RDPCM模式并且应用所述选定的RDPCM模式，所述方法进一步包括对指示所述选定的RDPCM模式的数据进行编码。

18.根据权利要求17所述的方法，其中对指示所述选定的RDPCM模式的数据进行编码包括对指示RDPCM关闭模式、RDPCM垂直模式和RDPCM水平模式中的至少一个的数据进行编码。

19.根据权利要求13所述的方法，其中产生所述残余块包括应用帧内块复制帧内BC过程以产生所述残余块，其中应用所述帧内BC过程包括：确定从中选择所述预测块的所述图片的区域；以及确定识别所述预测块的位移向量，所述方法进一步包括对表示所述位移向量的数据进行编码。

20.根据权利要求13所述的方法，其中对所述数据进行编码包括在有损编码过程中将量化应用到所述预测的残余块。

21.根据权利要求13所述的方法，其中对所述数据进行编码包括在无损编码过程中对所述数据进行编码而无需将量化应用到所述预测的残余。

22.根据权利要求13所述的方法，其进一步包括对指示是否启用RDPCM过程的一或多个语法元素进行编码，其中所述RDPCM过程包含产生所述预测的残余块的所述步骤。

23.根据权利要求22所述的方法，其中对所述一或多个语法元素进行编码包括在序列参数集SPS中在序列层级处对所述一或多个语法元素进行编码。

24.根据权利要求22所述的方法，其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧内BC模式和帧间预测模式。

25.一种用于对视频数据进行解码的装置，所述装置包括：

存储器，其经配置以存储所述视频数据；以及

视频解码器，其经配置以：

26.根据权利要求25所述的装置，其中所述视频解码器进一步经配置以从经编码位流中获得所述预测的残余块，并且其中为了产生所述残余块，所述视频解码器经配置以将残余微分脉码调制RDPCM应用到所述预测的残余块。

27.根据权利要求26所述的装置，其中为了将所述RDPCM应用到所述预测的残余块，所述视频解码器经配置以将水平RDPCM应用到所述一或多个预测的残余值。

28.根据权利要求26所述的装置，其中为了将所述RDPCM应用到所述预测的残余块，所述视频解码器经配置以将垂直RDPCM应用到所述一或多个预测的残余值。

29.根据权利要求26所述的装置，其中为了应用所述RDPCM，所述视频解码器经配置以从所述经编码位流中获得指示来自多个RDPCM模式中的RDPCM模式的数据并且应用所述所指示的RDPCM模式。

30.根据权利要求29所述的装置，其中为了获得指示RDPCM模式的所述数据，所述视频解码器经配置以获得指示RDPCM关闭模式、RDPCM垂直模式和RDPCM水平模式中的至少一个的数据。

31.根据权利要求25所述的装置，其中所述视频解码器进一步经配置以：

使用所述位移向量定位所述图片的所述预测块。

32.根据权利要求25所述的装置，其中为了产生所述残余块，所述视频解码器经配置以在有损解码过程中将逆量化应用到所述残余块。

33.根据权利要求25所述的装置，其中为了产生所述残余块，所述视频解码器经配置以在无损解码过程中产生所述残余块而无需执行逆量化。

34.根据权利要求25所述的装置，其中所述视频解码器进一步经配置以对指示是否启用RDPCM过程的一或多个语法元素进行解码，其中所述RDPCM过程包含基于所述预测的残余块产生所述图片的所述残余块。

35.根据权利要求34所述的装置，其中为了对所述一或多个语法元素进行解码，所述视频解码器经配置以在序列参数集SPS中在序列层级处对所述一或多个语法元素进行解码。

36.根据权利要求34所述的装置，其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧间预测模式和帧内BC预测模式。

37.根据权利要求25所述的装置，其进一步包括显示器，所述显示器经配置以显示所述图片的所述当前块。

38.一种用于对视频数据进行编码的装置，所述装置包括：

存储器，其经配置以存储所述视频数据；

视频编码器，其经配置以：

对在位流中表示所述预测的残余块的数据进行编码。

39.根据权利要求38所述的装置，其中为了产生所述预测的残余块，所述视频解码器经配置以将残余微分脉码调制RDPCM应用到所述残余块。

40.根据权利要求39所述的装置，其中为了将所述RDPCM应用到所述残余块，所述视频编码器经配置以将水平RDPCM应用到所述一或多个残余值。

41.根据权利要求39所述的装置，其中为了将所述RDPCM应用到所述预测的残余块，所述视频编码器经配置以将垂直RDPCM应用到所述一或多个残余值。

42.根据权利要求39所述的装置，其中为了应用所述RDPCM，所述视频编码器经配置以从多个RDPCM模式中选择RDPCM模式并且应用所述选定的RDPCM模式，所述视频编码器进一步经配置以对指示所述选定的RDPCM模式的数据进行编码。

43.根据权利要求42所述的装置，其中为了对指示所述选定的RDPCM模式的所述数据进行编码，所述视频编码器经配置以对指示RDPCM关闭模式、RDPCM垂直模式和RDPCM水平模式中的至少一个的数据进行编码。

44.根据权利要求38所述的装置，其中为了产生所述残余块，所述视频编码器经配置以应用帧内块复制帧内BC过程以产生所述残余块，其中为了应用所述帧内BC过程，所述视频编码器经配置以确定从中选择所述预测块的所述图片的区域并且确定识别所述预测块的位移向量，并且其中所述视频编码器进一步经配置以对表示所述位移向量的数据进行编码。

45.根据权利要求38所述的装置，其中为了对所述数据进行编码，所述视频编码器经配置以在有损编码过程中将量化应用到所述预测的残余块。

46.根据权利要求38所述的装置，其中为了对所述数据进行编码，所述视频编码器经配置以在无损编码过程中对所述数据进行编码而无需将量化应用到所述预测的残余。

47.根据权利要求38所述的装置，其中所述视频编码器进一步经配置以对指示是否启用RDPCM过程的一或多个语法元素进行编码，其中所述RDPCM过程包含产生所述预测的残余块。

48.根据权利要求47所述的装置，其中为了对所述一或多个语法元素进行编码，所述视频编码器经配置以在序列参数集SPS中在序列层级处对所述一或多个语法元素进行编码。

49.根据权利要求47所述的装置，其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧内BC模式和帧间预测模式。

50.根据权利要求38所述的装置，其进一步包括相机传感器，所述相机传感器经配置以产生所述当前块。

51.一种用于对视频数据进行解码的装置，所述装置包括：

用于基于预测的残余块产生图片的残余块的装置，包含基于所述残余块的一或多个预测的残余值重构所述残余块的一或多个残余值；以及

用于基于所述图片的所述残余块和预测块的组合产生所述图片的当前块的装置。

52.根据权利要求51所述的装置，其进一步包括用于对指示是否启用RDPCM过程的一或多个语法元素进行解码的装置，其中所述RDPCM过程包含基于所述预测的残余块产生所述图片的所述残余块，并且其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧间预测模式和帧内BC预测模式。

53.一种用于对视频数据进行编码的装置，所述装置包括：

用于基于图片的当前块与预测块之间的差异产生针对所述图片的所述当前块的残余块的装置；

用于基于所述残余块产生预测的残余块的装置，方法是基于所述残余块的一或多个其它残余值预测所述残余块的一或多个残余值；以及

用于对在位流中表示所述预测的残余块的数据进行编码的装置。

54.根据权利要求53所述的装置，其进一步包括用于对指示是否启用RDPCM过程的一或多个语法元素进行编码的装置，其中所述RDPCM过程包含所述产生所述预测的残余块，并且其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧内BC模式和帧间预测模式。

55.一种非暂时性计算机可读媒体，其上存储有指令，所述指令在被执行时致使一或多个处理器：

56.根据权利要求55所述的非暂时性计算机可读媒体，其中所述指令进一步致使所述一或多个处理器对指示是否启用RDPCM过程的一或多个语法元素进行解码，其中所述RDPCM过程包含基于所述预测的残余块产生所述图片的所述残余块，并且其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧间预测模式和帧内BC预测模式。

57.一种非暂时性计算机可读媒体，其上存储有指令，所述指令在被执行时致使一或多个处理器：

对在位流中表示所述预测的残余块的数据进行编码。

58.根据权利要求57所述的非暂时性计算机可读媒体，其中所述指令进一步致使所述一或多个处理器对指示是否启用RDPCM过程的一或多个语法元素进行编码，其中所述RDPCM过程包含所述产生所述预测的残余块，并且其中指示是否启用所述RDPCM过程的所述一或多个语法元素适用于帧内BC模式和帧间预测模式。