CN114554201A - 视频译码中的帧内滤波旗标 - Google Patents

Abstract

一种解码视频数据的方法，方法包括：确定视频数据的当前块的帧内预测模式；基于视频数据的所述当前块的帧内预测模式在多个帧内预测模式的第一子集中，确定对视频数据的当前块应用位置相关帧内预测组合(PDPC)模式，其中多个帧内预测模式的第一子集小于多个帧内预测模式的全部，并且其中PDPC模式将权重应用于用于帧内预测模式的参考样本；以及根据应用PDC模式的确定，将帧内预测模式和PDPC模式应用于视频数据的当前块。

Description

视频译码中的帧内滤波旗标

本申请是2018年3月8日所提出的申请号为201880015640.6、发明名称为《视频译码中的帧内滤波旗标》的发明专利申请的分案申请。

技术领域

本发明涉及视频编码和视频解码。

背景技术

数字视频能力可并入到广泛范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数字摄影机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能型电话”)、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频译码技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC或H.265)标准以及此些标准的扩展中所描述的技术。视频装置可通过实施此类视频译码技术来更有效地传输、接收、编码、解码和/或存储数字视频信息。

视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减小或去除为视频序列所固有的冗余。对于基于块的视频译码，可将视频图块(例如，视频帧或视频帧的一部分)分割成视频块，其还可被称作树型块、译码单元(CU)和/或译码节点。图片可被称作帧，且参考图片可被称作参考帧。

空间或时间预测产生用于待译码的块的预测性块。残余数据表示待译码的原始块与预测性块之间的像素差。为进一步压缩，可将残余数据从像素域变换到变换域，从而产生可接着进行量化的残余变换系数。可应用熵译码以实现甚至更进一步压缩。

发明内容

本发明涉及帧内预测、预测方向的确定、预测模式的确定、译码模式的确定、帧内滤波在视频译码(例如，视频编码和/或视频解码)中的使用的确定，以及显式地译码和发信语法元素。

在下文论述的一或多个实例中，视频编码器和视频解码器可经配置以基于与块相关联的非零变换系数的数目与阈值的比较，确定是否显式地编码指示使用译码模式的语法元素。如果所述块中的非零变换系数的所述数目大于或等于阈值，那么所述视频编码器和视频解码器显式地译码用于所述译码模式的所述语法元素。如果所述块中的非零变换系数的所述数目小于所述阈值，那么所述视频编码器和所述视频解码器并不显式地译码指示所述译码模式的所述语法元素。本发明的所述技术可与任何译码模式一起使用，包含帧内参考样本平滑滤波器和位置相关预测组合(PDPC)模式。

在本发明的一个实例中，一种解码视频数据的方法包括：接收视频数据的第一块；在视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式用于视频数据的所述第一块的第一语法元素；显式地解码所述所接收第一语法元素的值；以及根据所述第一语法元素的所述值将所述译码模式应用于视频数据的所述第一块。

在本发明的另一实例中，一种编码视频数据的方法包括：确定用于编码视频数据的第一块的译码模式；在视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将所述译码模式用于视频数据的所述第一块的第一语法元素；以及在经编码视频位流中发信所述第一语法元素。

在本发明的另一实例中，一种经配置以解码视频的设备包括：存储器，其经配置以存储所述视频数据；和一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以接收所述视频数据的第一块；在所述视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式用于所述视频数据的所述第一块的第一语法元素；显式地解码所述所接收第一语法元素的值；以及根据所述第一语法元素的所述值，将所述译码模式应用于所述视频数据的所述第一块。

在本发明的另一实例中，一种经配置以编码视频数据的设备包括：存储器，其经配置以存储所述视频数据；和一或多个处理器，其与所述存储器通信，所述一或多个处理器经配置以确定用于编码所述视频数据的第一块的译码模式；在所述视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将所述译码模式用于所述视频数据的所述第一块的第一语法元素；以及在经编码视频位流中发信所述第一语法元素。

在本发明的另一实例中，一种经配置以解码视频数据的设备包括：用于接收视频数据的第一块的装置；用于在视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式用于视频数据的所述第一块的第一语法元素的装置；用于显式地解码所述所接收第一语法元素的值的装置；以及用于根据所述第一语法元素的所述值，将所述译码模式应用于视频数据的所述第一块的装置。

在本发明的另一实例中，一种经配置以编码视频数据的设备包括用于确定用于编码视频数据的第一块的译码模式的装置；用于在视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将所述译码模式用于视频数据的所述第一块的第一语法元素的装置；以及用于在经编码视频位流中发信所述第一语法元素的装置。

在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被执行时，使得装置的一或多个处理器经配置以：解码视频数据以接收所述视频数据的第一块；在所述视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式用于所述视频数据的所述第一块的第一语法元素；显式地解码所述所接收第一语法元素的值；以及根据所述第一语法元素的所述值，将所述译码模式应用于所述视频数据的所述第一块。

在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被执行时，使得装置的一或多个处理器经配置以：编码视频数据以确定用于编码所述视频数据的第一块的译码模式；在所述视频数据的所述第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将所述译码模式用于所述视频数据的所述第一块的第一语法元素；以及在经编码视频位流中发信所述第一语法元素。

下文描述的用于针对译码模式确定显式地译码语法元素的实例技术可结合本发明中所描述的一或多个其它技术以任何组合使用。举例来说，用于针对译码模式确定显式地译码语法元素的本发明的技术可结合以下项使用：用于针对变换索引译码语法元素的技术；用于针对明度和色度块确定显式地译码语法元素的技术；用于针对非变换跳过块确定显式地译码语法元素的技术；用于针对具有特定帧内预测模式的块确定显式地译码语法元素的技术；用于基于块大小确定显式地译码语法元素的技术；以及用于上下文译码语法元素的技术。

在随附图式和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述、图式和权利要求书显而易见。

附图说明

图1为说明经配置以实施本发明的技术的实例视频编码和解码系统的框图。

图2A为说明使用四分树加二进制树(QTBT)结构进行块分割的实例的概念图。

图2B为说明对应于使用图2A的QTBT结构进行块分割的实例树状结构的概念图。

图3A说明使用根据本发明的技术的未经滤波参考的4×4块的预测。

图3B说明使用根据本发明的技术的经滤波参考的4×4块的预测。

图4为说明经配置以实施本发明的技术的视频编码器的实例的框图。

图5为说明经配置以实施本发明的技术的视频解码器的实例的框图。

图6为说明本发明的实例编码方法的流程图。

图7为说明本发明的实例解码方法的流程图。

具体实施方式

本发明涉及帧内预测、预测方向的确定、预测模式的确定、译码模式的确定、帧内滤波在视频译码(例如，视频编码和/或视频解码)中的使用的确定，以及显式地译码和发信语法元素。

视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO/IEC MPEG-4AVC)、ITU-T H.265(也称为高效视频译码(HEVC))，其包含例如可扩展视频译码(SVC)、多视图视频译码(MVC)以及屏幕内容译码(SCC)的扩展。其它视频译码标准包含例如联合视频探索小组(JVET)测试模型的未来视频译码标准，其为除HEVC之外的研发活动。视频译码标准还包含专有视频编解码器(例如Google VP8、VP9、VP10)，和通过其它组织(例如，开放媒体联盟)开发的视频编解码器。

在HEVC和联合探索模型(JEM)中，其为正由JVET研究的测试软件，可平滑帧内参考，例如，可应用滤波器。在HEVC中，在从帧内参考产生帧内预测之前，以滤波器被应用于帧内参考(与当前经译码块有关的相邻者样本)的方式使用模式相关帧内平滑(MDIS)。基于当前帧内模式与水平或垂直方向如何接近而导出其中允用MDIS的模式。可基于当前模式与水平和垂直模式索引之间的帧内模式索引绝对差导出其中允用MDIS的模式。如果绝对差超过某一阈值(例如，阈值可与块大小相关)，那么不应用MDIS滤波器，否则，应用MDIS滤波器。换句话说，在远离水平或垂直方向的帧内模式中，应用帧内参考滤波器。MDIS不应用于非角模式，例如DC或平坦模式。

在JEM中，用平滑滤波器(参考样本自适应性滤波(RSAF)或自适应性参考样本平滑(ARSS))替换MDIS，在一些实例中，所述平滑滤波器可应用于除DC模式之外的所有帧内模式。将指示是否将滤波器应用于当前块中的旗标发信到解码器侧。并未作为显式旗标而进行发信，而是隐藏于变换系数中。即，可由视频解码器基于变换系数的某些值或特性确定指示是否将滤波器应用于当前块的旗标的值。举例来说，如果变换系数满足某一同位条件，那么旗标导出为1，否则，旗标导出为0。

用于JEM中的另一方法为位置相关帧内预测组合(PDPC)模式。PDPC为将帧内预测符和帧内参考样本加权的译码模式，其中可基于块大小(包含宽度和高度)和帧内模式导出权重。

图1为说明可经配置以执行本发明的技术的实例视频编码和解码系统10的框图。如图1中所示，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型计算机(例如，膝上型计算机)、平板计算机、机顶盒、例如所谓的“智能型”电话的电话手持机、平板计算机、电视、摄影机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等等。在一些情况下，源装置12和目的地装置14可能经装备以用于无线通信。因此，源装置12和目的地装置14可为无线通信装置。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。

在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体20、视频编码器22和输出接口24。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30和显示装置32。在其它实例中，源装置12和目的地装置14可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部摄影机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成式显示装置32。

图1的所说明系统10仅为一个实例。用于处理和/或译码(例如，编码和/或解码)视频数据的技术可通过任何数字视频编码和/或解码装置执行。尽管通常本发明的技术由视频编码装置和/或视频解码装置执行，但所述技术还可由视频编码器/解码器(通常被称作“编解码器”)执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据用于传输到目的地装置14的此类译码装置的实例。在一些实例中，源装置12和目的地装置14可以大体上对称方式操作，使得源装置12和目的地装置14中的每一个包含视频编码和解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式传输、视频播放、视频广播或视频电话。

源装置12的视频源18可包含视频俘获装置，例如摄像机、含有先前俘获的视频的视频存档和/或用于从视频内容提供者接收视频数据的视频馈送接口。作为另一替代例，视频源18可产生基于计算机图形的数据，作为源视频、或实况视频、存档视频和计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如，存储媒体20)。本发明中所描述的技术可适用于视频译码，且大体来说可应用于无线和/或有线应用。在每一状况下，所俘获、所预先俘获或计算机产生的视频可通过视频编码器22编码。输出接口24可将经编码视频信息(例如，经编码视频数据的位流)输出到计算机可读媒体16。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一些实例中，计算机可读媒体16包括使得源装置12能够实时将经编码视频数据直接地传输到目的地装置14的通信媒体。可根据通信标准(例如，无线通信协议)调制经编码视频数据，且将经编码视频数据传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如，射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或例如因特网的全域网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包括经配置以存储经编码视频数据和经解码视频数据的一或多个数据存储媒体。

在一些实例中，经编码数据可从输出接口24输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一个，例如硬盘机、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储由源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取所存储的视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如，用于网站)、FTP服务器、网络附加存储(NAS)装置或本地磁盘机。目的地装置14可经由任何标准数据连接(包含因特网连接)而存取经编码视频数据。此可包含适用于存取存储在文件服务器上的经编码视频数据的无线通道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)或两者的组合。从存储装置的经编码视频数据的传输可为流式传输、下载传输或其组合。

本发明中描述的技术可应用于视频译码以支持多种多媒体应用中的任一种，例如，空中电视广播、有线电视传输、卫星电视传输、因特网流式传输视频传输(例如，HTTP动态自适应流式传输(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输从而支持例如视频流式传输、视频播放、视频广播和/或视频电话的应用。

计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动机、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(图中未示)可从源装置12接收经编码视频数据，且(例如)经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体产生设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口26从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器22的视频编码器22定义的语法信息，语法信息还由视频解码器30使用，语法信息包含描述块和其它译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。存储媒体28可存储通过输入接口26接收的经编码视频数据。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

视频编码器22和视频解码器30各自可实施为多种合适编码器电路中的任一种，例如，一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分以软件实施时，装置可将用于软件的指令存储在适合的非暂时性计算机可读媒体中，且使用一或多个处理器在硬件中执行所述指令，以执行本发明的技术。视频编码器22和视频解码器30中的每一个可包含在一或多个编码器或解码器中，编码器或解码器中的任一个可经集成为相应装置中的组合式编解码器的部分。

在一些实例中，视频编码器22和视频解码器30可根据视频译码标准操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(还被称作ISO/IECMPEG-4AVC)，包含其可调式视频译码(SVC)和多视图视频译码(MVC)扩展。另外，已通过ITU-T视频译码专家群(VCEG)和ISO/IEC运动图片专家群(MPEG)的视频译码联合协作小组(JCT-VC)开发新的视频译码标准(即，高效视频译码(HEVC)或ITU-T H.265)，包含其范围和屏幕内容译码扩展、3D视频译码(3D-HEVC)和多视图扩展(MV-HEVC)和可调式扩展(SHVC)。

在其它实例中，视频编码器22和视频解码器30可经配置以根据其它视频译码技术和/或标准操作，包含正由联合视频探索组(JVET)探索的新视频译码技术。

在HEVC和其它视频译码规范中，视频序列通常包含一系列图片。图片还可被称为“帧”。图片可包含三个样本阵列，指示为S_L、S_Cb和S_Cr。S_L为明度样本的二维阵列(例如，块)。S_Cb为Cb色度样本的二维阵列。S_Cr为Cr色度样本的二维阵列。色度样本在本文中还可被称作“色度”样本。在其它情况下，图片可为单色的且可仅包含明度样本阵列。

为产生图片的经编码表示(例如，经编码视频位流)，视频编码器22可产生一组译码树型单元(CTU)。CTU中的每一个可包括明度样本的译码树型块(CTB)、色度样本的两个对应CTB，以及用于对译码树型块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单一译码树型块和用于译码所述译码树型块的样本的语法结构。译码树型块可为样本的N×N块。CTU还可被称作“树型块”或“最大译码单元”(LCU)。HEVC的CTU可广泛地类似于例如H.264/AVC的其它标准的宏块。然而，CTU未必限于特定大小，且可包含一或多个译码单元(CU)。图块可包含按光栅扫描次序连续地定序的整数数目个CTU。

为产生经译码的CTU，视频编码器22可对CTU的译码树型块递回地执行四分树分割，以将译码树型块划分成译码块，之后命名为“译码树型单元”。译码块为样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块，和色度样本的两个对应译码块，和用于对所述译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单一译码块和用于译码所述译码树型块的样本的语法结构。

视频编码器22可将CU的译码块分割为一或多个预测块。预测块为供应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括明度样本的预测块、色度样本的两个对应预测块和用以预测所述预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单一预测块和用于预测所述预测块的语法结构。视频编码器22可针对CU的每一PU的预测块(例如，明度、Cb和Cr预测块)产生预测性块(例如，明度、Cb和Cr预测性块)。

视频编码器22可使用帧内预测或帧间预测以产生用于PU的预测性块。如果视频编码器22使用帧内预测以产生PU的预测性块，那么视频编码器22可基于包含PU的图片的经解码样本产生PU的预测性块。

在视频编码器22产生用于CU的一或多个PU的预测性块(例如明度、Cb和Cr预测性块)之后，视频编码器22可产生用于CU的一或多个残余块。作为一个实例，视频编码器22可产生CU的明度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中的对应样本之间的差异。另外，视频编码器22可产生用于CU的Cb残余块。在色度预测的一个实例中，CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一个的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器22还可产生用于CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块的中的一个中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。然而，应理解可使用用于色度预测的其它技术。

此外，视频编码器22可使用四分树分割将CU的残余块(例如，明度、Cb和Cr残余块)分解成一或多个变换块(例如，明度、Cb和Cr变换块)。变换块为应用相同变换的样本的矩形(即，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有明度变换块、Cb变换块以和Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb转变块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单一变换块和用于对所述变换块的样本进行变换的语法结构。

视频编码器22可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器22可将一或多个变换应用于TU的明度变换块，以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为纯量。视频编码器22可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器22可将一或多个变换应用于TU的Cr变换块，以产生TU的Cr系数块。

在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器22可将系数块量化。量化大体上指变换系数经量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在视频编码器22量化系数块之后，视频编码器22可熵编码指示经量化变换系数的语法元素。举例来说，视频编码器22可对指示经量化变换系数的语法元素执行上下文适应性二进制算术译码(CABAC)。

视频编码器22可输出包含形成经译码图片和相关联数据的表示的位序列的位流。因此，位流包括视频数据的经编码表示。位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示和含有所述数据的呈按需要穿插有仿真阻止位的原始位组序列有效负载(RBSP)的形式的位组的语法结构。NAL单元中的每一个可包含NAL单元标头且可囊封RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有囊封在NAL单元内的整数数目个位组的语法结构。在一些情况下，RBSP包含零个位。

视频解码器30可接收由视频编码器22产生的经编码视频位流。另外，视频解码器30可剖析位流以从位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构建视频数据的图片。重构建视频数据的过程可大体上与由视频编码器22执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换，以重构建当前CU的TU的变换块。通过将当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可重构建当前CU的译码块。通过重构建图片的每一CU的译码块，视频解码器30可重构建图片。

在视频编解码器构架的一些实例(例如，HEVC的四分树分割框架)中，共同地执行将视频数据分割成用于色彩分量的块(例如，明度块和色度块)。即，在一些实例中，明度块和色度块以相同方式分割，以使得不超过一个明度块对应于图片内的特定位置中的色度块。

四分树加二进制树(QTBT)分割结构正通过联合视频探索组(JVET)研究。在国际电信联盟，COM16-C966，2015年9月(下文中“VCEG proposal COM16-C966”)，J.An等人的“Block partitioning structure for next generation video coding”中，QTBT分割技术针对除HEVC以外的将来视频译码标准而描述。模拟已展示所提议QTBT结构可比在HEVC中使用的四分树结构更有效。

在VCEG proposal COM16-C966中描述的QTBT结构中，首先使用四分树分割技术分割CTB，其中一个节点的四分树分裂可被迭代直到节点到达最小允许四分树叶节点大小。可通过语法元素MinQTSize的值向视频解码器30指示最小允许四分树叶节点大小。如果四分树叶节点大小不大于最大允许二进制树根节点大小(例如，如通过语法元素MaxBTSize指示)，那么四分树叶节点可使用二进制树分割而进一步分割。一个节点的二进制树分割可经迭代直到节点到达最小允许二进制树叶节点大小(例如，如通过语法元素MinBTSize所指示)或最大允许二进制树深度(例如，日通过语法元素MaxBTDepth所指示)。VCEG proposalCOM16-C966使用术语“CU”来指二进制树叶节点。在VCEG建议书COM16-C966中，CU用于预测(例如，帧内预测、帧间预测等)和在无更进一步分割的情况下变换。一般来说，根据QTBT技术，存在用于二进制树分裂的两种分裂类型：对称水平分裂和对称垂直分裂。在每一情况下，块通过从中间水平地或垂直地划分块而分裂。此不同于四分树分割，其将块划分成四个块。

在QTBT分割结构的一个实例中，CTU大小经设定为128×128(例如，128×128明度块和两个对应64×64色度块)，MinQTSize经设定为16×16，MaxBTSize经设定为64×64，MinBTSize(对于宽度和高度两者)经设定为4，且MaxBTDepth经设定为4。四分树分割首先应用于CTU以产生四分树叶节点。四分树叶节点可具有从16×16(即，MinQTSize为16×16)到128×128(即，CTU大小)的大小。根据QTBT分割的一个实例，如果叶四分树节点为128×128，那么叶四分树节点不可通过二进制树进一步分裂，这是由于叶四分树节点的大小超过MaxBTSize(即，64×64)。否则，叶四分树节点通过二进制树进一步分割。因此，四分树叶节点还为二进制树的根节点并具有为0的二进制树深度。到达MaxBTDepth的二进制树深度(例如，4)意指不存在进一步分裂。具有等于MinBTSize(例如，4)的宽度的二进制树节点意指不存在进一步水平分裂。类似地，具有等于MinBTSize的高度的二进制树节点意指不进一步垂直分裂。二进制树的叶节点(CU)在无更进一步分割的情况下被进一步处理(例如，通过执行预测过程和变换过程)。

图2A说明使用QTBT分割技术分割的块50(例如，CTB)的实例。如图2A中所示，使用QTBT分割技术，经由每一块的中心对称地分裂所得块中的每一个。图2B说明对应于图2A的块分割的树状结构。图2B中的实线指示四分树分裂且点线指示二进制树分裂。在一个实例中，在二进制树的每一分裂(即，非叶)节点中，语法元素(例如，旗标)经传信以指示执行的分裂的类型(例如，水平或垂直)，其中0指示水平分裂且1指示垂直分裂。对于四分树分裂，不存在对于指示分裂类型的需要，这是由于四分树分裂始终将块水平地和垂直地分裂成具有相等大小的4个子块。

如图2B中所示，在节点70处，使用四分树分割将块50分裂成图2A中的展示的四个块51、52、53和54。块54并不进一步分裂，且因此为叶节点。在节点72处，使用二进制树分割将块51进一步分裂成两个块。如图2B中所示，节点72以1标记，指示垂直分裂。因而，在节点72处的分裂导致块57和包含块55和块56两者的块。通过节点74处的另一垂直分裂产生块55和块56。在节点76处，使用二进制树分割将块52进一步分裂成两个块58和59。如图2B中所示，节点76以1标记，指示水平分裂。

在节点78处，使用四分树分割将块53分裂成4个相等大小的块。块63和块66从此四分树分割而产生且不进一步分裂。在节点80处，使用垂直二进制树分裂首先分裂左上方块，从而产生块60和右垂直块。接着使用水平二进制树分裂将右垂直块分裂成块61和块62。在节点84处，使用水平二进制树分裂将在节点78处从四分树分裂所产生的右下块分裂成块64和块65。

在QTBT分割的一个实例中，举例来说，与HEVC相反(其中针对明度和色度块共同地执行四分树分割)，可针对I图块彼此独立地执行明度和色度分割。即，在正在研究的一些实例中，明度块和色度块可经单独地分割，以使得明度块和色度块不直接地重叠。因而，在QTBT分割的一些实例中，可以使得至少一个分割色度块并不在空间上与单个分割明度块对准的方式来分割色度块。即，与特定色度块共置的明度样本可在两个或大于两个不同明度分割区内。

以下章节描述用于确定视频数据块的位置相关帧内预测组合(PDPC)译码模式的参数的技术。当使用PDPC译码模式译码视频数据时，视频编码器22和/或视频解码器30可使用一或多个经参数化等式，所述等式定义如何基于经滤波和未经滤波参考值且基于经预测像素的位置(或像素的色彩分量值)组合预测。本发明描述若干组参数，以使得视频编码器22可经配置以测试所述组参数(例如，经由使用速率失真分析)并将最佳参数(例如，导致在被测试的那些参数当中的最佳速率失真性能的参数)传信到视频解码器30。在其它实例中，视频解码器30可经配置以从视频数据的特性确定PDPC参数(例如，块大小、块高度、块宽度等)。

图3A说明根据本发明的技术使用未经滤波参考(r)的4×4块(p)的预测。图3B说明根据本发明的技术使用经滤波参考(s)的4×4块(q)的预测。尽管图3A和3B两者说明4×4像素块和17个(4×4+1)相应参考值，但本发明的技术可应用到任何块大小和任何数目的参考值。

当执行PDPC译码模式时，视频编码器22和/或视频解码器30可利用经滤波(q)和未经滤波(p)预测之间的组合，以使得可使用来自经滤波(s)和未经滤波(r)参考阵列的像素值计算待译码的当前块的预测块。

在PDPC的技术的一个实例中，给定任何两组像素预测p_r[x,y]和q_s[x,y]仅分别地使用未经滤波和经滤波参考r和s来计算，通过v[x,y]指示的像素的经组合预测值由以下公式定义：

v[x,y]＝c[x,y]p_r[x,y]+(1-c[x,y])q_s[x,y] (1)

其中c[x,y]为组合参数的集合。权重c[x,y]的值可为0与1之间的值。权重c[x,y]和(1-c[x,y])的总和可等于一。

在某些实例中，具有与块中的像素的数目一样大的参数的集合可为不实际的。在此些实例中，可由许多较小参数的集合加等式定义c[x,y]以计算来自那些参数的所有组合值。在此实例中，可使用以下公式：

其中

g,和d_v,d_h∈{1,2}为预测参数，N为块大小，

和

为使用根据HEVC标准的经计算的预测值，对于特定模式，分别地使用未经滤波和经滤波引用，且

为由预测参数定义的标准化因数(即，用以使总体权数经指派到

并将

添加到1)。

公式2可经广义化用于公式2A中的任何视频译码标准：

其中

g,和d_v,d_h∈{1,2}为预测参数，N为块大小，

和

为使用根据视频译码标准(或视频译码方案或算法)的经计算的预测值，对于特定模式，分别地使用未经滤波和经滤波引用，且

为由预测参数定义的标准化因数(即，用以使总体权数经指派到

并将

添加到1)。

此些预测参数可包含权重，以根据所使用的帧内预测模式类型(例如，HEVC的DC、平坦和33定向模式)提供经预测术语的最佳线性组合。举例来说，HEVC含有35个帧内预测模式。可用帧内预测模式中的每一个的预测参数

g,d_v和d_h中的每一个的值(即，用于每一帧内预测模式的

g,d_v和d_h的35个值)构建查找表。此些值可在具有视频的位流中经编码或可为事先通过编码器和解码器已知的常量值且可不需要在文件或位流中传输。用于

g,d_v和d_h的值可由发现用于针对培训视频的集合产生最佳压缩的预测参数的所述值的优化培训算法来确定。

在另一实例中，针对每一帧内预测模式存在多个预定义预测参数集合(在(例如)查找表中)，且将所选择的预测参数集(而非参数本身)在经编码文件或位流中传输到解码器。在另一实例中，用于

g,d_v和d_h的值可通过视频编码器在运行中产生且将其在经编码文件或位流中传输到解码器。

在另一实例中，执行此些技术的视频译码装置可使用HEVC的经修改版本而不是使用HEVC预测，类似于使用65定向预测而不是33定向预测的视频译码装置。实际上，可使用任何类型的帧内预测。

在另一实例中，公式可经选择以便于计算。举例来说，我们可使用以下类型的预测

其中

且

此方法可采用HEVC(或其它)预测的线性。将h定义为来自预定义集合的滤波器k的脉冲响应，如果我们具有

s＝ar+(1-a)(h*r) (7)

其中“*”表示卷积，那么

即，可从线性组合参考计算线性组合预测。

公式4、6和8可针对公式4A、6A和8A中的任何视频译码标准而经广义化：

其中

且

此方法可利用译码标准的预测的线性。将h定义为来自预定义集合的滤波器k的脉冲响应，如果我们具有

s＝ar+(1-a)(h*r) (7A)

其中“*”表示卷积，那么

即，可从线性组合参考计算线性组合预测。

在一实例中，预测函数可仅使用参考向量(例如，r和s)作为输入。在此实例中，如果参考已经滤波或未经滤波，那么不改变参考向量的行为。如果r和s相等(例如，一些未经滤波参考r恰好与另一经滤波参考s相等)，那么应用到经滤波和未经滤波参考的预测函数(例如，p_r[x,y](还写成p(x,y,r)等于p_s[x,y](还写成p(x,y,s))相等。另外，像素预测p和q可为当量(例如，给定相同输入产生相同输出)。在此类实例中，公式(1)到(8)可用像素预测p[x,y]重写，从而替换像素预测q[x,y]。

在另一实例中，预测(例如，函数的集合)可取决于参考已经滤波的信息而变化。在此实例中，可指示函数的不同集合(例如，p_r[x,y]和q_s[x,y])。在此情况下，即使r与s相等，p_r[x,y]和q_s[x,y]仍可为不相等的。换句话说，视输入是否已经滤波或未经滤波而定，相同输入可产生不同输出。在此实例中，p[x,y]可不能够由q[x,y]取代。

所展示的预测等式的优点为可通过参数化公式使用例如培训的技术针对不同类型的视频纹理确定优化参数的集合(即，优化预测准确度的优化参数的集合)。反之，在一些实例中，可针对一些典型类型的结构，通过计算预测符参数的若干集合，且具有压缩方案(其中编码器测试来自各集合的预测符，且将产生最佳压缩的预测符编码为旁侧信息)，来扩展此方法。

在上文所描述的技术的一些实例中，当启用PDPC译码模式时，用于PDPC模式的帧内预测加权和控制使用经滤波或未经滤波的样本的PDPC参数经预计算并存储在查找表(LUT)中。在一个实例中，视频解码器30根据块大小和帧内预测方向确定PDPC参数。用于PDPC译码模式的现有技术假定帧内预测块大小始终为正方形。

在HEVC和JEM的实例中，可平滑帧内参考。举例来说，可将滤波器应用于帧内参考。在HEVC中，在从帧内参考产生帧内预测之前，以滤波器被应用于帧内参考(与当前经译码块有关的相邻者样本)的方式使用模式相关帧内平滑(MDIS)。视频编码器22和视频解码器30可基于当前帧内预测模式接近于水平或垂直方向的程度导出其中允用MDIS的某些帧内预测模式。可基于当前模式与水平和垂直模式索引之间的帧内模式索引绝对差导出其中允用MDIS的模式。如果绝对差超过阈值(例如，阈值可与块大小相关)，那么不应用MDIS滤波器，否则，应用MDIS滤波器。换句话说，对于远离水平或垂直方向(例如，相比于阈值)的帧内模式，应用帧内参考滤波器。在一些实例中，MDIS未应用于例如DC或平坦模式的非角模式。

在JEM中，用平滑滤波器译码模式(例如，参考样本自适应性滤波(RSAF)或自适应性参考样本平滑(ARSS))替换MDIS，在一些实例中，所述平滑滤波器译码模式可应用于除DC模式之外的所有帧内预测模式。大体来说，此些技术可被称为帧内参考样本平滑滤波器。视频编码器22可经配置以产生并发信语法元素(例如，旗标)，所述语法元素指示帧内参考样本平滑滤波器是否应用于当前块。在一些实例中，视频编码器22可能不会经配置以显式地译码指示滤波器是否应用于当前块的语法元素。在本发明的情况下，显式地译码语法元素指实际编码或解码经编码视频位流中的语法元素的值。即，显式地译码可指视频编码器22产生用于语法元素的值，并将所述值显式地编码到经编码视频位流中。同样，显式地译码可指视频解码器30接收经编码位流中的语法元素的值，并显式地解码所述语法元素的所述值。

在一些实例中，视频编码器22未经配置以发信并显式地编码语法元素(例如，旗标)，所述语法元素指示是否将帧内参考样本平滑滤波器应用于视频数据的当前块。实情为，视频编码器22经配置以“隐藏”变换系数中的旗标的值。即，指示是否将帧内参考样本平滑滤波器应用于当前块的旗标的值未经显式地编码，而是可由视频解码器30基于与当前块相关联的变换系数的某些值或特性进行确定(例如，隐式地解码)。举例来说，如果变换系数满足某同位条件(例如，具有正值或负值)，那么视频解码器30将旗标导出为具有值1，否则，视频解码器30将旗标的值导出为0，或反之亦然。

在本发明的情况下，术语解码可总体上包括语法元素的值的显式和隐式解码。在显式解码中，经编码语法元素存在于经编码视频位流中。视频解码器30显式地解码经编码语法元素以确定语法元素的值。在隐式解码中，未在经编码视频位流中发送语法元素。实情为，视频解码器30基于一些预定准则，从视频译码统计(例如，变换系数的同位)导出语法元素的值。

用于JEM中的另一方法为PDPC模式。如上文所描述，PDPC为加权帧内预测符和帧内参考样本的译码模式，其中可基于块大小(包含宽度和高度)和帧内预测模式导出所述权重。

以下内容描述用于预测方向的确定、预测模式的确定、译码模式的确定、帧内滤波在视频译码(例如，视频编码和/或视频解码)中的使用的确定，和显式地译码和发信语法元素的本发明的实例技术。本文中公开的技术可用于任何组合中，且用于与其它技术的任何结合中。在一些实例中，本发明的译码技术可使用语法元素(例如，旗标)来实现，所述语法元素可显式地进行译码和发信、隐藏于变换系数信息或其它处中、在无发信的情况下在视频编码器22和视频解码器30处予以导出，等等。

参考帧内参考样本平滑滤波器和PDPC模式(一般来说，“译码模式”)描述本发明的技术。出于说明和描述目的使用帧内参考样本平滑和PDPC模式。本发明的技术不限于那些实例，且所公开的技术可应用于其它视频译码模式、技术和工具。

最初，论述与帧内参考样本平滑滤波器语法元素(例如，旗标)相关的技术。本发明提议视频编码器22以显式方式产生和/或发信帧内参考样本平滑滤波器旗标。即，视频编码器22可经配置以显式地编码指示是否将特定译码模式(例如，帧内参考样本平滑滤波器)用于译码视频数据块的语法元素。举例来说，视频编码器22可产生帧内参考样本平滑滤波器旗标并在经编码视频位流中将其发信。以此方式，视频编码器22可避免如在帧内平滑旗标未经显式译码时可进行的，修改变换系数以确保同位条件有效(例如，变换系数的同位条件正确地指示旗标的值)的任何需求。此技术可降低视频编码器22处的明显复杂性。视频解码器30可经配置以接收经编码视频位流中的经显式译码的语法元素(例如，帧内参考样本平滑滤波器旗标)，(例如)而非从变换系数的同位导出旗标的值。视频解码器30可接着显式地解码帧内参考样本平滑滤波器旗标的值。

然而，在一些实例中，译码帧内参考样本平滑滤波器语法元素可为一些块的负担(即，可显著增大用以译码所述位的位数目)。举例来说，在与块相关的残余信息较小且少数位被用以编码块的情况下，用以发信语法元素的位(例如，帧内参考样本平滑滤波器旗标)可相比所要的产生更高的位速率比。为解决此潜在的问题，视频编码器22可经配置以在视频数据块具有某一数目个非零变换系数，或非零变换系数的数目超过阈值的情况下，显式地编码和发信帧内参考样本平滑滤波器旗标。举例来说，阈值可等于3，意味着如果视频数据块具有3个或更多个非零变换系数，那么视频编码器22发信(例如，显式地编码)帧内参考样本平滑滤波器旗标。否则，视频编码器22不显式地编码帧内参考样本平滑滤波器旗标。其它阈值实例包含0、1、2或任何其它数目个非零变换系数。

因而，根据本发明的一个实例，视频编码器22可经配置以确定用于编码视频数据的第一块的译码模式(例如，使用帧内参考样本平滑滤波器)。基于是否将帧内参考样本平滑滤波器用于视频数据的第一块，视频编码器22可经配置以在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将译码模式(例如，帧内参考样本平滑滤波器)用于视频数据的第一块的第一语法元素(例如，帧内参考样本平滑滤波器旗标)。即，如果视频数据的第一块与数目大于阈值的若干非零变换系数相关联，那么视频编码器22显式地编码第一语法元素。视频编码器22可在经编码视频位流中发信第一语法元素。

对于视频数据的第二块，视频编码器22可经配置以在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下，未编码指示是否将译码模式用于视频数据的第二块的语法元素(例如，帧内参考样本平滑滤波器旗标)的值。即，视频数据的第二块与数目小于阈值的若干非零变换系数相关联。

以互逆方式，视频解码器30可经配置以接收视频数据的第一块，并在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式(例如，使用帧内参考样本平滑滤波器)用于视频数据的第一块的第一语法元素(例如，帧内参考样本平滑滤波器旗标)。视频解码器30可经进一步配置以显式地解码所接收第一语法元素的值，并根据第一语法元素的值将译码模式(例如，使用帧内参考样本平滑滤波器)应用于视频数据的第一块。

在视频编码器22并不显式地编码语法元素(例如，针对如上文所述的视频数据的第二块)的状况下，视频解码器30可经配置以接收视频数据的第二块，在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下，推断指示是否将译码模式(例如，帧内参考样本平滑滤波器)用于视频数据的第二块的第二语法元素的值，且根据第二语法元素的推断值应用译码模式(例如，使用帧内参考样本平滑滤波器)。如在下文更详细地论述，视频解码器30可经配置以使用一或多种技术来推断语法元素的值，包含从与视频数据块相关联的变换系数的特性推断语法元素的值，和/或基于一些预定义默认值推断语法元素的值(例如，始终应用帧内参考样本平滑滤波器，从不应用帧内参考样本平滑滤波器、应用默认滤波器等)。

在上文实例中，译码模式为使用帧内参考样本平滑滤波器。在下文论述的其它实例中，通过经显式译码的语法元素指示的译码模式可为PDPC模式。然而，本发明的技术可与其它译码模式一起使用。

在一些实例中，视频编码器22可经配置以在确定是否显式地编码用于译码模式的语法元素时，针对视频数据块的明度和色度分量共同地将与视频数据块相关联的非零变换系数的数目与阈值进行比较。即，视频编码器22可针对明度块和色度块一起考虑若干非零系数。视频解码器30可经配置以在确定是否已显式地编码并将接收用于译码模式的语法元素时与视频编码器22执行相同比较。

在其它实例中，视频编码器22可经配置以在确定是否显式地编码用于译码模式的语法元素时仅针对明度块比较非零变换系数。在此实例中，视频编码器22可经配置以单独地针对明度块和色度块产生用于译码模式的语法元素。因而，进一步在此实例中，视频编码器22可在确定是否针对色度块显式地编码用于译码模式的语法元素时，仅仅针对色度块考虑非零变换系数。而且，视频解码器30可经配置以在针对明度和/或色度译码块确定是否已显式地编码并将接收用于译码模式的语法元素时与视频编码器22执行相同比较。

在另一实例中，视频编码器22和视频解码器30经配置以计数非零变换系数以确定显式地译码语法元素的方式可与图块类型相关。举例来说，视频编码器22和视频解码器30可经配置以将用于计数非零变换系数的一个技术用于I图块，且将用于计数非零变换系数的另一不同技术用于非I图块(例如，P图块或B图块)。

在另一实例中，视频编码器22和视频解码器30可经配置以使用取决于一起抑或单独地译码明度和色度分量的技术来计数非零变换系数。举例来说，在一些分割结构中，明度和色度分量具有相同分割结构。在其它分割结构(例如，QTBT分割的实例)中，可独立地分割明度和色度分量，使得其相应分割区结构彼此不同。在此实例中，单独译码可意味明度和色度块可具有不同的分割表示或树状结构。在此实例中，当单独和/或独立明度/色度译码经允用于I图块时，视频编码器22和视频解码器30可经配置以针对明度分量计数非零变换系数。对于非I图块，当未允用单独译码时，视频编码器22和视频解码器30可经配置以针对明度和色度变换系数两者或仅仅针对明度变换系数计数非零变换系数。

在另一实例中，当视频编码器22和视频解码器30经配置以针对明度和色度分量两者计数非零系数时，按分量执行非零系数计数。举例来说，视频编码器22和视频解码器30可包含三个非零系数计数器；每一色彩分量各一个计数器(例如，Y、Cb和Cr)。在另一实例中，视频编码器22和视频解码器30可包含两个计数器；一个计数器用于一个明度分量，且一个计数器用于两个色度分量。在此实例中，可根据分量设定阈值，且阈值可针对不同彩色分量而不同。

在一个实例中，用于显式地译码和/或发信帧内参考样本平滑滤波器旗标的阈值与用以显式地译码和发信主要和/或次要变换索引或旗标的阈值相同。在此实例中，不同视频译码技术之间(例如，变换发信与帧内参考样本平滑滤波器旗标发信之间)存在某些程度的一致性，且可使用一个非零系数计数和阈值，其可简化实施。

在另一实例中，视频编码器22和/或视频解码器30可仅针对非变换跳过块，基于非零变换系数的阈值确定显式地译码帧内参考样本平滑滤波器旗标。即，对于变换跳过块，视频编码器22和视频解码器30可能不会显式地译码帧内参考样本平滑滤波器旗标。对于非变换跳过块(即，应用变换的块)，视频编码器22和视频解码器30可显式地译码帧内参考样本平滑滤波器旗标。变换跳过为不将水平或垂直变换或所述两个变换应用于块的残余(即，经跳过)的方法。所述变换可为任何变换：主要变换或次要变换或所述变换两者。

在另一实例中，视频编码器22和/或视频解码器30可仅针对用特定帧内预测模式译码的块，基于非零变换系数的阈值确定显式地译码帧内参考样本平滑滤波器旗标。举例来说，视频编码器22和/或视频解码器30可针对用除平坦模式、线性模型(LM)预测模式或DC模式之外的帧内预测模式译码的块，基于非零变换系数的阈值确定显式地译码帧内参考样本平滑滤波器旗标。举例来说，如果所涉及分量(例如，明度或色度分量)的块使用平坦模式进行译码，那么视频编码器22和/或视频解码器30将不会在确定显式地译码帧内参考样本平滑滤波器旗标时考虑此所涉及分量的若干非零变换系数。以此方式，视频编码器22经配置以基于用以编码视频数据块的帧内预测模式显式地译码帧内参考样本平滑滤波器旗标。同样，视频解码器30经配置以基于用以编码视频数据块的帧内预测模式接收帧内参考样本平滑滤波器旗标。

在另一实例中，除将非零变换系数的数目与阈值进行比较之外，视频编码器22和视频解码器30可应用块大小阈值，以便确定是否显式地译码帧内参考样本平滑滤波器旗标。举例来说，视频编码器22可经配置以针对大小大于或等于预定最小大小且小于预定最大块大小的块显式地译码和发信帧内参考样本平滑滤波器旗标，其中最小和最大块大小可针对视频编码器22和视频解码器30为可配置的或固定的。同样，视频解码器30可经配置以针对大小大于或等于预定最小大小且小于预定最大块大小的块接收和显式地解码帧内参考样本平滑滤波器旗标。

因此，在此实例中，视频编码器22可经配置以在视频数据的第一块大于或等于预定大小的状况下显式地译码帧内参考样本平滑滤波器旗标。同样，视频解码器30可经配置以在视频数据的第一块大于或等于预定大小的状况下接收和显式地解码帧内参考样本平滑滤波器旗标。

最小块大小阈值可设定成大于或等于8×8，意味着小于8×8(例如，4×4、4×8、8×4等等)的所有块受限，且未针对此些块发信帧内参考样本平滑滤波器旗标。类似地，最大块阈值可(例如)设定成32×32。在另一实例中，阈值可表示为宽度*高度。即，8×8转换成64，且32×32转换成1024。为检查当前块是否受限于显式地译码帧内参考样本平滑滤波器旗标，视频编码器22和视频解码器30可按阈值检查块的宽度*高度。

在上文的帧内参考样本平滑滤波器旗标未显式地进行译码和/或发信的实例中的任一个中，视频解码器30可经配置以将一些默认平滑滤波器应用于视频数据块。举例来说，视频解码器30可应用MDIS滤波器(其与模式相关)，视频解码器30可应用任何其它滤波器，或视频解码器30可应用无滤波。

在本发明的其它实例中，视频编码器22可经配置以显式地译码和发信仅仅用于某些帧内预测模式的旗标(例如，帧内参考样本平滑滤波器旗标)。举例来说，视频编码器22可经配置以针对可允用MDIS的帧内预测模式(例如，MDIS模式)、针对MDIS模式和平坦模式，或针对可用帧内预测模式的任何其它帧内预测模式子集显式地译码和发信帧内参考样本平滑滤波器旗标。

在另一实例中，视频编码器22和视频解码器33经配置以将帧内参考样本平滑滤波器应用于用远离水平或垂直方向(例如，相比于阈值)的帧内预测模式编码的视频数据块。另外或任选地，视频编码器22和视频解码器33经配置以将帧内参考样本平滑滤波器应用于使用平坦帧内预测模式或其它非角帧内预测模式译码的视频数据块。视频编码器22和视频解码器30可经配置以导出用以确定是否应用帧内参考样本平滑滤波器的帧内预测模式的子集。视频编码器22和视频解码器33可经配置以基于帧内预测模式方向导出子集。在一个实例中，视频编码器22和视频解码器33可经配置以基于帧内预测模式的索引与水平、垂直和/或对角帧内预测模式的索引的远近程度(例如，基于阈值)导出帧内预测模式的子集。可针对非角方向指派帧内预测模式的另一单独子集，例如平坦和/或DC帧内模式等等。

在另一实例中，视频编码器22和视频解码器30经配置以针对视频数据块的不同彩色分量显式地译码和发信帧内参考样本平滑滤波器旗标。举例来说，视频编码器22和视频解码器33经配置以针对明度分量显式地译码和发信旗标。另外，视频编码器22和视频解码器33经配置以针对色度Cb(例如，Chroma_Cb)和色度Cr(例如，Chroma_Cr)分量显式地译码和发信一个旗标。一个分量的旗标的发信可视已针对另一分量发信的旗标的值而定。举一个实例，视频编码器22可经配置以针对明度和色度分量显式地编码和发信帧内参考样本平滑滤波器旗标。当针对色度发信旗标时，分别通过视频编码器22和视频解码器30进行的对所述旗标的熵译码/剖析可视针对明度发信的旗标的值而定。可由上下文值反映相依性(但不限于此)。

在另一实例中，帧内参考样本平滑滤波器旗标可能不会被发信，而是通过视频解码器30针对所解码的视频数据块根据帧内预测模式索引导出。举例来说，使用具有偶数模式索引的帧内预测模式编码的视频数据块使用帧内参考样本平滑滤波器(允用旗标)，且使用具有奇数模式索引的帧内预测模式编码的视频数据块并未应用帧内参考样本平滑滤波器(停用旗标)，或反之亦然。

在一些实例中，视频编码器22和视频解码器30可将帧内平滑应用于具有特定帧内模式的第一块，且帧内平滑应用于具有接近于用于第一块的帧内模式的帧内模式的相邻者块可向帧内预测提供优选变体。这是因为相邻者帧内预测模式方向(例如，关于阈值彼此紧邻或彼此接近的帧内预测模式方向)可提供类似帧内预测符(由于方向接近)，但平滑旗标可进一步区分预测符。在一个实例中，视频编码器22和视频解码器30可经配置每隔一个帧内预测模式执行帧内平滑。举例来说，可针对具有偶数索引的帧内预测模式执行帧内平滑，且可能不会针对具有奇数索引的帧内预测模式执行帧内平滑，或反之亦然。在其它实例中，可每隔两个帧内预测模式、每隔其它个帧内预测模式或针对帧内预测模式的任何子集执行帧内预测。

另外，无需显式地发信帧内参考样本平滑滤波器旗标，且可保存位。非角帧内预测模式可与单独规则相关联。举例来说，视频编码器22和视频解码器30可经配置以针对使用平坦帧内预测模式译码的视频数据块始终应用帧内参考样本平滑。在另一实例中，视频编码器22和视频解码器30可经配置以针对使用平坦帧内预测模式译码的视频数据块不应用帧内参考样本平滑。在另外其它实例中，视频编码器22和视频解码器30可经配置以显式地译码帧内参考样本平滑滤波器旗标，以指示是否将帧内参考样本平滑应用于使用平坦帧内预测模式译码的视频数据块。

在一些实例中，用于帧内参考样本平滑滤波器旗标熵译码的上下文建模(即，用于熵译码的上下文，例如CABAC)可与帧内预测模式相关。举例来说，视频编码器22和视频解码器30可经配置以针对某些帧内预测模式使用一个上下文来熵译码帧内参考样本平滑滤波器旗标，且视频编码器22和视频解码器30可经配置以针对其它帧内预测模式使用另一上下文熵译码帧内参考样本平滑滤波器旗标。上下文指派可为基于可用帧内预测模式的帧内预测模式的子集。即，视频编码器22和视频解码器30可经配置以基于视频数据的当前块的帧内预测模式所属的帧内预测模式子集，指派用于译码帧内参考样本平滑滤波器旗标的上下文。举例来说，帧内预测模式的子集可为非角模式、角模式、可应用MDIS的模式，和/或平坦模式。视频编码器22和视频解码器30可经配置以基于当前帧内预测模式接近于特定模式的程度(例如，基于阈值)导出视频数据的当前块所属的子集。举例来说，视频编码器22和视频解码器30可经配置以确定用于当前帧内预测模式的索引接近于用于水平帧内预测模式、垂直帧内预测模式、对角帧内预测模式或其它帧内预测模式的索引的程度。可针对非角方向指派另一单独子集，例如平坦和/或DC帧内模式等等。

现将论述PDPC模式发信技术。在本发明的一个实例中，PDPC模式使用可受限，且视频编码器22经配置以针对受限状况不发信PDPC旗标。PDPC旗标或更一般化的PDPC语法元素指示将PDPC模式用于特定视频数据的特定块。可类似于用于如上文所述的帧内参考样本平滑滤波器旗标的技术施加限制。

在一个实例中，视频编码器22可经配置以在视频数据块具有某一数目个非零变换系数或非零变换系数的数目超过阈值的情况下显式地编码和发信PDPC模式旗标。举例来说，阈值可等于3，意味着如果视频数据块具有3个或更多个非零变换系数，那么视频编码器22发信(例如，显式地编码)PDPC模式旗标。否则，视频编码器22并不显式地编码PDPC模式旗标。在一些实例中，阈值可与用于发信变换索引的相同。其它阈值实例包含0、1、2或任何其它数目个非零变换系数。在一个实例中，阈值等于2，意味着视频编码器22在视频数据块具有超过1个非零变换系数的情况下发信PDPC模式旗标。

因而，根据本发明的一个实例，视频编码器22可经配置以确定用于编码视频数据的第一块的译码模式(例如，使用PDPC模式)。基于是否将PDPC模式用于视频数据的第一块，视频编码器22可经配置以在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将译码模式(例如，PDPC模式)用于视频数据的第一块的第一语法元素(例如，PDPC模式旗标)。即，如果视频数据的第一块与数目大于阈值的若干非零变换系数相关联，那么视频编码器22显式地编码第一语法元素。视频编码器22可在经编码视频位流中发信第一语法元素。

对于视频数据的第二块，视频编码器22可经配置以在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下，未编码指示是否将译码模式用于视频数据的第二块的语法元素(例如，PDPC模式旗标)的值。即，视频数据的第二块与数目小于阈值的若干非零变换系数相关联。

以互逆方式，视频解码器30可经配置以接收视频数据的第一块，并在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式(例如，使用PDPC模式)用于视频数据的第一块的第一语法元素(例如，PDPC模式旗标)。视频解码器30可经进一步配置以显式地解码所接收第一语法元素的值，并根据第一语法元素的值将译码模式(例如，PDPC模式)应用于视频数据的第一块。

在视频编码器22并不显式地编码语法元素(例如，针对如上文所述的视频数据的第二块)的状况下，视频解码器30可经配置以接收视频数据的第二块，在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下，推断指示是否将译码模式(例如，PDPC模式)用于视频数据的第二块的第二语法元素的值，且根据第二语法元素的推断值应用所述译码模式(例如，PDPC模式)。

在一些实例中，视频编码器22可经配置以在确定是否显式地编码用于译码模式(例如，PDPC模式)的语法元素时，针对视频数据块的明度和色度分量共同地将与视频数据块相关联的非零变换系数的数目与阈值进行比较。即，视频编码器22可针对明度块和色度块一起考虑若干非零系数。视频解码器30可经配置以在确定是否已显式地编码并将接收用于译码模式的语法元素时与视频编码器22执行相同比较。

在其它实例中，视频编码器22可经配置以在确定是否显式地编码用于译码模式(例如，PDPC模式)的语法元素时仅针对明度块比较非零变换系数。在此实例中，视频编码器22可经配置以单独地针对明度块和色度块产生用于译码模式的语法元素。因而，进一步在此实例中，视频编码器22可在确定是否针对色度块显式地编码用于译码模式(例如，PDPC模式)的语法元素时，仅仅针对色度块考虑非零变换系数。而且，视频解码器30可经配置以在针对明度和/或色度译码块确定是否已显式地编码并将接收用于译码模式的语法元素时与视频编码器22执行相同比较。

在另一实例中，视频编码器22和视频解码器30经配置以计数非零变换系数以确定显式地编码语法元素的方式可与图块类型相关。举例来说，视频编码器22和视频解码器30可经配置以将用于计数非零变换系数的一个技术用于I图块，且将用于计数非零变换系数的另一不同技术用于非I图块(例如，P图块或B图块)。

在另一实例中，视频编码器22和视频解码器30可经配置以使用取决于一起抑或单独地译码明度和色度分量的技术来计数非零变换系数。举例来说，在一些分割结构中，明度和色度分量具有相同分割结构。在其它分割结构(例如，QTBT分割的实例)中，可独立地分割明度和色度分量，使得其相应分割区结构彼此不同。在此实例中，单独译码可意味明度和色度块可具有不同的分割表示或树状结构。在此实例中，当单独和/或独立明度/色度译码经允用于I图块时，视频编码器22和视频解码器30可经配置以针对明度分量计数非零变换系数。对于非I图块，当未允用单独译码时，视频编码器22和视频解码器30可经配置以针对明度和色度变换系数或仅仅针对明度变换系数计数非零变换系数。

在另一实例中，当视频编码器22和视频解码器30经配置以针对明度和色度分量两者计数非零系数时，按分量执行非零系数计数。举例来说，视频编码器22和视频解码器30可包含三个非零系数计数器；每一色彩分量各一个计数器(例如，Y、Cb和Cr)。在另一实例中，视频编码器22和视频解码器30可包含两个计数器；一个计数器用于一个明度分量，且一个计数器用于两个色度分量。在此实例中，可根据分量设定阈值，且阈值可针对不同彩色分量而不同。

在另一实例中，视频编码器22和/或视频解码器30可仅针对非变换跳过块，基于非零变换系数的阈值确定显式地译码PDPC模式旗标。即，对于变换跳过块，视频编码器22和视频解码器30可能不会显式地译码PDPC模式旗标。对于非变换跳过块(即，应用变换的块)，视频编码器22和视频解码器30可显式地译码PDPC模式旗标。变换跳过为不将水平或垂直变换或所述两个变换应用于块的残余(即，经跳过)的方法。所述变换可为任何变换：主要变换或次要变换或所述变换两者。

在另一实例中，视频编码器22和/或视频解码器30可仅针对用特定帧内预测模式译码的块，基于非零变换系数的阈值确定显式地译码PDPC模式旗标。举例来说，视频编码器22和/或视频解码器30可针对用除平坦模式、线性模型(LM)预测模式或DC模式之外的帧内预测模式译码的块，基于非零变换系数的阈值确定显式地译码PDPC模式旗标。举例来说，如果所涉及分量(例如，明度或色度分量)的块使用平坦模式进行译码，那么视频编码器22和/或视频解码器30将不会在确定显式地译码PDPC模式旗标时考虑此所涉及分量的若干非零变换系数。以此方式，视频编码器22经配置以基于用以编码视频数据块的帧内预测模式显式地译码PDPC模式旗标。同样，视频解码器30经配置以基于用以编码视频数据块的帧内预测模式接收PDPC模式旗标。

在另一实例中，除将非零变换系数的数目与阈值进行比较之外，视频编码器22和视频解码器30可应用块大小阈值，以便确定是否显式地译码PDPC模式旗标。举例来说，视频编码器22可经配置以针对大小大于或等于预定最小大小且小于预定最大块大小的块显式地译码和发信PDPC模式旗标，其中最小和最大块大小可针对视频编码器22和视频解码器30为可配置的或固定的。同样，视频解码器30可经配置以针对大小大于或等于预定最小大小且小于预定最大块大小的块接收和显式地解码PDPC模式旗标。

因此，在此实例中，视频编码器22可经配置以在视频数据的第一块大于或等于预定大小的状况下显式地译码PDPC模式旗标。同样，视频解码器30可经配置以在视频数据的第一块大于或等于预定大小的状况下接收和显式地解码PDPC模式旗标。

最小块大小阈值可设定成大于或等于8×8，意味着小于8×8(例如，4×4、4×8、8×4等等)的所有块受限，且未针对此些块发信PDPC模式旗标。类似地，最大块阈值可(例如)设定成32×32。在另一实例中，阈值可表示为宽度*高度。即，8×8转换成64，且32×32转换成1024。为检查当前块是否受限于显式地译码PDPC模式旗标，视频编码器22和视频解码器30可按临限检查块的宽度*高度。

在上文的帧内参考样本平滑滤波器旗标未显式地进行译码和/或发信的实例中的任一个中，视频解码器30可经配置以针对某些帧内预测模式导出用于PDPC模式旗标的一些默认值。在一个实例中，对于一些平滑帧内预测模式(例如，平坦模式)，始终应用PDPC模式。

在另一实例中，视频编码器22和视频解码器30经配置以针对视频数据块的不同彩色分量显式地译码和发信PDPC模式旗标。举例来说，视频编码器22和视频解码器33经配置以针对明度分量显式地译码和发信旗标。另外，视频编码器22和视频解码器33经配置以针对色度Cb(例如，Chroma_Cb)和色度Cr(例如，Chroma_Cr)分量显式地译码和发信一个旗标。一个分量的旗标的发信可视已针对另一分量发信的旗标的值而定。举一个实例，视频编码器22可经配置以针对明度和色度分量显式地编码和发信PDPC模式旗标。当针对色度发信旗标时，分别通过视频编码器22和视频解码器30进行的对所述旗标的熵译码/剖析可视针对明度发信的旗标的值而定。可由上下文值反映相依性(但不限于此)。

另外或替代地，可基于帧内预测模式基础执行PDPC模式限制。举例来说，针对某些帧内预测模式或针对帧内预测模式子集里的一些子集，视频编码器22和视频解码器30可经配置以不应用PDPC模式以及视频编码器22经配置以不显式地编码PDPC旗标。视频编码器22和视频解码器30可经配置以基于当前帧内预测模式接近于特定模式的程度(例如，基于阈值)导出视频数据的当前块所属的子集。举例来说，视频编码器22和视频解码器30可经配置以确定用于当前帧内预测模式的索引接近于用于水平帧内预测模式、垂直帧内预测模式、对角帧内预测模式或其它帧内预测模式的索引的程度。可针对非角方向指派另一单独子集，例如平坦和/或DC帧内模式等等。在一个特定实例中，PDPC模式未应用于平坦模式。

在另一实例中，PDPC模式可与其它视频译码工具或技术组合，例如上文所描述的次要变换和/或帧内参考样本平滑滤波器。可针对某些帧内模式允许此组合，且针对允许PDPC模式的状况发信PDPC旗标模式。帧内模式选择可为上文所描述的实例中的一者。

在一些实例中，用于PDPC模式旗标熵译码的上下文建模(即，用于熵译码的上下文，例如CABAC)可与帧内预测模式和/或块大小相关。举例来说，视频编码器22和视频解码器30可经配置以针对某些帧内预测模式使用一个上下文来熵译码PDPC模式旗标，且视频编码器22和视频解码器30可经配置以针对其它帧内预测模式使用另一上下文熵译码PDPC模式旗标。上下文指派可为基于可用帧内预测模式的帧内预测模式的子集。即，视频编码器22和视频解码器30可经配置以基于视频数据的当前块的帧内预测模式所属的帧内预测模式子集，指派用于译码PDPC模式旗标的上下文。举例来说，帧内预测模式的子集可为非角模式、角模式、可应用MDIS的模式，和/或平坦模式。视频编码器22和视频解码器30可经配置以基于当前帧内预测模式接近于特定模式的程度(例如，基于阈值)导出视频数据的当前块所属的子集。举例来说，视频编码器22和视频解码器30可经配置以确定用于当前帧内预测模式的索引接近于用于水平帧内预测模式、垂直帧内预测模式、对角帧内预测模式或其它帧内预测模式的索引的程度。可针对非角方向指派另一单独子集，例如平坦和/或DC帧内模式等等。

图4为说明可实施本发明的技术的实例视频编码器22的框图。出于解释的目的而提供图4，且不应将所述图视为对如本发明中广泛例示和描述的技术的限制。然而，本发明的技术可适用于其它译码标准或方法。

在图4的实例中，视频编码器22包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构建单元112、滤波器单元114、经解码图片缓冲器116和熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元和运动补偿单元(图中未示)。

视频数据存储器101可经配置以存储待由视频编码器22的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储参考视频数据以供通过视频编码器22用于(例如)在帧内或帧间预测模式中编码视频数据的参考图片存储器。视频数据存储器101和经解码图片缓冲器116可由多种存储器装置中的任一个形成，例如，动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM))、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101和经解码图片缓冲器116可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器22的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体20相同或为其部分。

视频编码器22接收视频数据。视频编码器22可编码视频数据图片的图块中的每一CTU。CTU中的每一个可与相等大小的明度译码树型块(CTB)和图片的对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行分割以将CTU的CTB分割成逐渐较小的块。在一些实例中，视频编码器22可使用QTBT结构分割块。较小块可为CU的译码块。举例来说，预测处理单元100可根据树状结构分割与CTU相关联的CTB。根据本发明的一或多种技术，对于在树状结构的每一深度层级处的树状结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的分裂图案且对应于相应非叶节点的视频块根据所述多个允许的分裂图案中的一者而分割成对应于相应非叶节点的子节点的视频块。

视频编码器22可编码CTU的CU以产生所述CU的经编码的表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。因此，每一PU可与明度预测块和对应的色度预测块相关联。视频编码器22和视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的明度译码块的大小，且PU的大小可指PU的明度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器22和视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，和用于帧间预测的2N×2N、2N×N、N×2N、N×N或相似大小的对称PU大小。视频编码器22和视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的不对称分割。

帧间预测处理单元120可通过对CU的每一PU执行帧间预测产生用于PU的预测性数据。用于PU的预测性数据可包括PU的预测性块和PU的运动信息。取决于PU是在I图块中、P图块中抑或B图块中，帧间预测处理单元120可针对CU的PU执行不同操作。在I图块，所有PU经帧内预测。因此，如果PU在I图块中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中进行编码的块，经预测的块使用空间预测从相同图帧内的先前经编码的相邻块形成。如果PU在P图块中，那么帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU在B图块中，那么帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。

帧内预测处理单元126可通过对PU执行帧内预测而产生PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元126可对I图块、P图块和B图块中的PU执行帧内预测。帧内预测处理单元126可经配置以确定在使用帧内预测来预测视频数据块时应用的一或多个译码模式，包含应用帧内参考样本平滑滤波器和/或PDPC模式。帧内预测处理单元126和/或视频编码器22的另一组件可经配置以针对帧内参考样本平滑滤波器和PDPC模式语法译码执行上文所描述的显式译码技术。

为对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式，以产生用于PU的多组预测性数据。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。对于PU、CU和CTU，假定从左到右从上而下的编码次序，那么相邻PU可在PU上方、右上方、左上方或左边。帧内预测处理单元126可使用各种数目种帧内预测模式，例如，33种定向帧内预测模式。在一些实例中，帧内预测模式的数目可取决于与PU相关联的区域的大小。

预测处理单元100可从通过帧间预测处理单元120针对PU产生的预测性数据或通过帧内预测处理单元126针对PU产生的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于数组预测性数据的速率/失真度量而选择用于CU的PU的预测性数据。选定的预测性数据的预测性块在本文中可被称作选定的预测性块。

残余产生单元102可基于CU的译码块(例如，明度、Cb和Cr译码块)和CU的PU的选定预测性块(例如，预测性明度块、预测性Cb块和预测性Cr块)而产生CU的残余块(例如，明度、Cb和Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性块中的对应样本之间的差的值。

变换处理单元104可执行四分树分割以将与CU相关联的残余块分割成与CU的TU相关联的变换块。因此，TU可与一个明度变换块和两个色度变换块相关联。CU的TU的明度变换块和色度变换块的大小和定位可或可不基于CU的PU的预测块的大小和定位。被称为“残余四分树”(RQT)的四分树结构可包含与区域中的每一个相关联的节点。CU的TU可对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上类似的变换应用到变换块。在一些实例中，变换处理单元104不将变换应用于变换块。在此些实例中，变换块可经处理为变换系数块。

量化单元106可将系数块中的变换系数量化。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，在量化期间，可将n位变换系数降值舍位到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值来量化与CU的TU相关联的系数块。视频编码器22可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比最初变换系数低的精度。

反量化单元108和反变换处理单元110可分别将反量化和反变换应用于系数块，以从系数块重构建残余块。重构建单元112可将经重构建的残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重构建的变换块。重构建通过以此方式重构建CU的每一TU的变换块，视频编码器22可重构建CU的译码块。

滤波器单元114可执行一或多个解块操作以减少与CU相关联的译码块中的块伪影。经解码图片缓冲器116可在滤波器单元114对经重构建译码块执行一或多个解块操作之后，存储经重构建译码块。帧间预测处理单元120可使用含有经重构建译码块的参考图片，以对其它图片的PU执行帧间预测。此外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构建译码块，以对处于与CU相同的图片中的其它PU执行帧内预测。

熵编码单元118可从视频编码器22的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块且可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作，以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应性可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应性二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器22可输出包含由熵编码单元118所产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的RQT的数据。

图5为说明经配置以实施本发明的技术的实例视频解码器30的框图。出于解释的目的而提供图5，且其并不限制如本发明中所广泛例示和描述的技术。出于解释的目的，本发明描述在HEVC译码的上下文中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法，包含允许非正方形分割和/或独立明度和色度分割的技术。

在图5的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158、滤波器单元160，和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频数据存储器151可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器151中的视频数据可(例如)从计算机可读媒体16、从(例如)例如摄影机的从本地视频源、经由视频数据的有线或无线网络通信，或通过存取物理数据存储媒体获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储用于视频解码器30(例如)以帧内或帧间预测模式解码视频数据或以供输出的参考视频数据的参考图片存储器。视频数据存储器151和经解码图片缓冲器162可通过多种存储器装置(例如DRAM(包含SDRAM、MRAM、RRAM)，或其它类型的存储器装置)中的任一个形成。可通过相同存储器装置或单独存储器装置来提供视频数据存储器151和经解码图片缓冲器162。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件而言在芯片外。视频数据存储器151可与图1的存储媒体28相同或系所述存储媒体的部分。

视频数据存储器151接收且存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如，NAL单元)，且可剖析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构建单元158和滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行大体上与熵编码单元118的所述过程互逆的过程。

根据本发明的一些实例，熵解码单元150可确定树状结构作为从位流获得语法元素的部分。树状结构可指定如何将初始视频块(例如，CTB)分割成较小视频块(例如，译码单元)。根据本发明的一或多种技术，对于在树状结构的每一深度层级处的树状结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的分裂图案且对应于相应非叶节点的视频块根据所述多个允许的分裂图案中的一者而分割成对应于相应非叶节点的子节点的视频块。

除从位流获得语法元素之外，视频解码器30可对未经分割的CU执行重构建操作。为对CU执行重构建操作，视频解码器30可对CU的每一TU执行重构建操作。通过针对CU的每一TU执行重构建操作，视频解码器30可重构建CU的残余块。

作为对CU的TU执行重构建操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块以便产生与TU相关联的残余块。举例来说，反变换处理单元156可将反DCT、反整数变换、反Karhunen-Loeve变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。

如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素而确定PU的帧内预测模式。帧内预测处理单元166可经配置以确定在使用帧内预测来预测视频数据块时应用的一或多个译码模式，包含应用帧内参考样本平滑滤波器和/或PDPC模式。帧内预测处理单元166和/或视频解码器30的另一组件可经配置以针对帧内参考样本平滑滤波器和PDPC模式语法译码执行上文所描述的显式译码技术。

如果使用帧间预测编码PU，那么熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如，预测性明度、Cb和Cr块)。

重构建单元158可使用CU的TU的变换块(例如，明度、Cb和Cr变换块)和CU的PU的预测性块(例如，明度、Cb和Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构建CU的译码块(例如，明度、Cb和Cr译码块)。举例来说，重构建单元158可将变换块(例如，明度、Cb和Cr变换块)的样本添加到预测性块(例如，明度、Cb和Cr预测性块)的对应样本，以重构建CU的译码块(例如，明度、Cb和Cr译码块)。

滤波器单元160可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于随后运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。

图6为说明本发明的实例编码方法的流程图。图6的技术可由视频编码器22的一或多个结构组件执行。

在本发明的一个实例中，视频编码器22可经配置以确定用于编码视频数据的第一块的译码模式(600)。在本发明的一个实例中，译码模式为帧内参考样本平滑模式或PDPC模式中的至少一个。视频编码器22还可经配置以在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，显式地编码指示是否将译码模式用于视频数据的第一块的第一语法元素(602)。在本发明的一个实例中，阈值为1、2或3个非零系数中的一个。视频编码器22还可在经编码视频位流中发信第一语法元素(604)。

在本发明的另一实例中，为显式地编码第一语法元素，视频编码器22可经进一步配置以基于用以编码视频数据的第一块的帧内预测模式而显式地编码第一语法元素。

在本发明的另一实例中，为显式地编码第一语法元素，视频编码器22可经进一步配置以在视频数据的第一块大于或等于预定大小的状况下显式地编码第一语法元素。

在本发明的另一实例中，若干非零变换系数包含针对视频数据的第一块的明度和色度分量的若干非零变换系数。在本发明的另一实例中，视频数据的第一块包含视频数据的一个明度块，且若干非零变换系数包含针对视频数据的明度块的若干非零变换系数。在本发明的另一实例中，视频数据的第一块并非为变换跳过块。

在本发明的另一实例中，视频编码器22经进一步配置以基于用以编码视频数据的第一块的帧内预测模式确定用于编码第一语法元素的上下文，并使用所确定上下文编码第一语法元素。

在本发明的另一实例中，视频编码器22经进一步配置以确定用于编码视频数据的第二块的译码模式，并在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下不编码指示是否将译码模式用于视频数据的第二块的第二语法元素的值。

图7为说明本发明的实例解码方法的流程图。图7的技术可由视频解码器30的一或多个结构组件执行。

在本发明的一个实例中，视频解码器30可经配置以接收视频数据的第一块(700)。视频解码器30可经进一步配置以在视频数据的第一块与数目大于或等于阈值的若干非零变换系数相关联的状况下，接收指示是否将译码模式用于视频数据的第一块的第一语法元素(702)，并显式地解码所接收第一语法元素的值(704)。在本发明的一个实例中，阈值为1、2或3个非零系数中的一个。视频解码器30可根据第一语法元素的值将译码模式应用于视频数据的第一块(706)。在本发明的一个实例中，译码模式为帧内参考样本平滑模式或PDPC模式中的至少一个。

在本发明的另一实例中，为接收第一语法元素，视频解码器30可经进一步配置以基于用以编码视频数据的第一块的帧内预测模式接收第一语法元素。

在本发明的另一实例中，为接收第一语法元素，视频解码器30可经进一步配置以在视频数据的第一块大于或等于预定大小的状况下接收第一语法元素。

在本发明的另一实例中，若干非零变换系数包含针对视频数据的第一块的明度和色度分量的若干非零变换系数。在另一实例中，视频数据的第一块包含视频数据的一个明度块，且若干非零变换系数包含针对视频数据的所述明度块的若干非零变换系数。在另一实例中，视频数据的第一块并非为变换跳过块。

在本发明的另一实例中，视频解码器30可经配置以基于用以编码视频数据的第一块的帧内预测模式确定用于解码第一语法元素的上下文，并使用所确定上下文解码第一语法元素。

在本发明的另一实例中，视频解码器30可经配置以接收视频数据的第二块，在视频数据的第二块与数目小于阈值的若干非零变换系数相关联的状况下推断指示是否将译码模式用于视频数据的第二块的第二语法元素的值，并根据第二语法元素的推断值应用译码模式。

已出于说明的目的，关于HEVC标准的扩展和通过JVET研究的JEM软件模型描述本发明的某些方面。然而，本发明中描述的技术可用于其它视频译码过程，包含在开发中或尚未开发的其它标准或专有视频译码过程。

如本发明中所描述的视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，视频译码可指视频编码或视频解码(在适用时)。

应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非顺序执移动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，那么所述功能可作为一或多个指令或代码而存储在计算机可读媒体上或经由计算机可读媒体进行传输，且通过基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体的有形媒体)或通信媒体，所述通信媒体包含(例如)根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体大体可对应于(1)为非暂时形的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中所描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包括计算机可读媒体。

借助于实例而非限制，此计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁碟存储装置或其它磁性存储装置、快闪存储器或可用来存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，任何连接被适当地称为计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字用户线(DSL)或例如红外线、无线电和微波的无线技术从网站、服务器或其它远程源发射指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它暂时性媒体，而是针对非暂时性有形存储媒体。如本文中所使用，磁碟和光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字影音光盘(DVD)、软碟和蓝光光盘，其中磁碟通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合还应包含于计算机可读媒体的范围内。

可通过例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效积体或离散逻辑电路的一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适于实施本文中所描述的技术的任何其它结构中的任一个。此外，在一些实例中，本文所描述的功能性可提供于经配置以供编码和解码或并入于经组合编解码器中的专用硬件和/或软件模块内。而且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC集合(例如，芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所公开技术的装置的功能方面，但未必要求由不同硬件单元来实现。相反地，如上所述，各种单元可与合适的软件和/或固件一起组合在编解码器硬件单元中或由互操作硬件单元的集合提供，硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些和其它实例在以下权利要求书的范围内。

Claims (20)

1.一种解码视频数据的方法，所述方法包括：

确定视频数据的当前块的帧内预测模式；

基于视频数据的所述当前块的所述帧内预测模式在多个帧内预测模式的第一子集中，确定对视频数据的所述当前块应用位置相关帧内预测组合(PDPC)模式，其中所述多个帧内预测模式的第一子集小于所述多个帧内预测模式的全部，并且其中所述PDPC模式将权重应用于用于所述帧内预测模式的参考样本；以及

根据应用所述PDC模式的所述确定，将所述帧内预测模式和所述PDPC模式应用于视频数据的所述当前块。

2.根据权利要求1所述的方法，还包括：

基于视频的第二块的第二帧内预测模式在所述多个帧内预测模式的第二子集中，确定所述PDPC模式不用于所述第二块，其中所述第二子集不同于所述第一子集。

3.根据权利要求1所述的方法，还包括：

基于所确定的帧内预测模式的索引相对于水平帧内预测模式的索引、垂直帧内预测模式的索引或对角帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

4.根据权利要求1所述的方法，还包括：

基于所确定的帧内预测模式的索引相对于平面帧内预测模式的索引或DC帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

5.根据权利要求1所述的方法，还包括：

基于视频数据的所述当前块的所述帧内预测模式，确定是否将帧内参考样本平滑模式用于视频数据的所述当前块；以及

根据是否将所述帧内参考样本平滑模式用于所述当前块的所述确定，将所述帧内参考样本平滑模式应用于视频数据的所述当前块。

6.一种被配置为对视频数据进行解码的装置，所述装置包括：

存储器，被配置为存储视频数据的当前块；以及

在电路中实现并与所述存储器通信的一个或多个处理器，所述一个或多个处理器被配置为：

确定视频数据的当前块的帧内预测模式；

基于视频数据的所述当前块的所述帧内预测模式在多个帧内预测模式的第一子集中，确定对视频数据的所述当前块应用位置相关帧内预测组合(PDPC)模式，其中所述多个帧内预测模式的第一子集小于所述多个帧内预测模式的全部，并且其中所述PDPC模式将权重应用于用于所述帧内预测模式的参考样本；以及

根据应用所述PDC模式的所述确定，将所述帧内预测模式和所述PDPC模式应用于视频数据的所述当前块。

7.根据权利要求6所述的装置，其中，所述一个或多个处理器还被配置为：

基于视频的第二块的第二帧内预测模式在所述多个帧内预测模式的第二子集中，确定所述PDPC模式不用于所述第二块，其中所述第二子集不同于所述第一子集。

8.根据权利要求6所述的装置，其中，所述一个或多个处理器还被配置为：

基于所确定的帧内预测模式的索引相对于水平帧内预测模式的索引、垂直帧内预测模式的索引或对角帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

9.根据权利要求6所述的装置，其中，所述一个或多个处理器还被配置为：

基于所确定的帧内预测模式的索引相对于平面帧内预测模式的索引或DC帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

10.根据权利要求6所述的装置，其中，所述一个或多个处理器还被配置为：

基于视频数据的所述当前块的所述帧内预测模式，确定是否将帧内参考样本平滑模式用于视频数据的所述当前块；以及

根据是否将所述帧内参考样本平滑模式用于所述当前块的所述确定，将所述帧内参考样本平滑模式应用于视频数据的所述当前块。

11.一种被配置为对视频数据进行解码的装置，所述装置包括：

用于确定视频数据的当前块的帧内预测模式的部件；

用于基于视频数据的所述当前块的所述帧内预测模式在多个帧内预测模式的第一子集中，确定对视频数据的所述当前块应用位置相关帧内预测组合(PDPC)模式的部件，其中所述多个帧内预测模式的第一子集小于所述多个帧内预测模式的全部，并且其中所述PDPC模式将权重应用于用于所述帧内预测模式的参考样本；以及

用于根据应用所述PDC模式的所述确定，将所述帧内预测模式和所述PDPC模式应用于视频数据的所述当前块的部件。

12.根据权利要求11所述的装置，还包括：

用于基于视频的第二块的第二帧内预测模式在所述多个帧内预测模式的第二子集中，确定所述PDPC模式不用于所述第二块的部件，其中所述第二子集不同于所述第一子集。

13.根据权利要求11所述的装置，还包括：

用于基于所确定的帧内预测模式的索引相对于水平帧内预测模式的索引、垂直帧内预测模式的索引或对角帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式的部件。

14.根据权利要求11所述的装置，还包括：

用于基于所确定的帧内预测模式的索引相对于平面帧内预测模式的索引或DC帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式的部件。

15.根据权利要求11所述的装置，还包括：

用于基于视频数据的所述当前块的所述帧内预测模式，确定是否将帧内参考样本平滑模式用于视频数据的所述当前块的部件；以及

用于根据是否将所述帧内参考样本平滑模式用于所述当前块的所述确定，将所述帧内参考样本平滑模式应用于视频数据的所述当前块的部件。

16.一种存储指令的非暂时性计算机可读存储介质，当执行所述指令时，使一个或多个处理器被配置为将视频数据解码以：

确定视频数据的当前块的帧内预测模式；

基于视频数据的所述当前块的所述帧内预测模式在多个帧内预测模式的第一子集中，确定对视频数据的所述当前块应用位置相关帧内预测组合(PDPC)模式，其中所述多个帧内预测模式的第一子集小于所述多个帧内预测模式的全部，并且其中所述PDPC模式将权重应用于用于所述帧内预测模式的参考样本；以及

根据应用所述PDC模式的所述确定，将所述帧内预测模式和所述PDPC模式应用于视频数据的所述当前块。

17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或多个处理器：

基于视频的第二块的第二帧内预测模式在所述多个帧内预测模式的第二子集中，确定所述PDPC模式不用于所述第二块，其中所述第二子集不同于所述第一子集。

18.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或多个处理器：

基于所确定的帧内预测模式的索引相对于水平帧内预测模式的索引、垂直帧内预测模式的索引或对角帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

19.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或多个处理器：

基于所确定的帧内预测模式的索引相对于平面帧内预测模式的索引或DC帧内预测模式的索引中的一个或多个的接近度，确定对视频的所述当前块应用所述PDPC模式。

20.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所述指令还使所述一个或多个处理器：

基于视频数据的所述当前块的所述帧内预测模式，确定是否将帧内参考样本平滑模式用于视频数据的所述当前块；以及

根据是否将所述帧内参考样本平滑模式用于所述当前块的所述确定，将所述帧内参考样本平滑模式应用于视频数据的所述当前块。

Images