CN117378200A - 视频译码中的推导的帧内预测模式和最可能模式 - Google Patents

Abstract

一种对视频数据进行编码或解码的方法包括：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本并且使用各自的帧内预测模式，来生成针对模板区域的预测样本；以及确定针对各自的帧内预测模式的成本；确定在MPM列表中的具有最低成本的第一帧内预测模式和第二帧内预测模式；确定针对第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块；基于对根据针对第一帧内预测模式的权重加权的初步预测块和根据针对第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块。

Description

视频译码中的推导的帧内预测模式和最可能模式

相关申请的交叉引用

本申请要求2022年6月1日提交的美国专利申请第17/804,972号和2021年6月3日提交的美国临时专利申请第63/196,580号和2021年6月30日提交的美国临时专利申请第63/217,158号的优先权，其中的每一者的全部内容通过引用并入本文。2022年6月1日提交的美国专利申请第17/804,972号要求2021年6月3日提交的美国临时专利申请第63/196,580号和2021年6月30日提交的美国临时专利申请第63/217,158号的权益。

技术领域

本公开内容涉及视频编码和视频解码。

背景技术

数字视频能力可以被合并到各种各样的设备中，包括数字电视机、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或桌面型计算机、平板计算机、电子书阅读器、数字照相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议设备、视频串流设备等。数字视频设备实现视频译码技术，诸如在通过MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4(第10部分，高级视频译码(AVC))、ITU-TH.265/高效率视频译码(HEVC)定义的标准以及这样的标准的扩展中描述的那些技术。通过实现这样的视频译码技术，视频设备可以更加高效地发送、接收、编码、解码和/或存储数字视频信息。

视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或去除在视频序列中固有的冗余。针对基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可以划分为视频块，视频块还可以称为译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的经帧内译码(I)的切片中的视频块是使用相对于在同一图片中的邻近块中的参考样本的空间预测来编码的。图片的经帧间译码(P或B)的切片中的视频块可以使用相对于在同一图片中的邻近块中的参考样本的空间预测或者相对于在其它参考图片中的参考样本的时间预测。图片可以称为帧，以及参考图片可以称为参考帧。

发明内容

一般来说，本公开内容描述可以改进在视频译码规范中(诸如在多功能视频译码(VVC)之外的增强型压缩模型(ECM)中)的译码效率及帧内预测的性能的技术。本公开内容的技术可以应用于ECM或另一视频编解码器中。如本文中描述的，视频编码器(例如，视频编码器或视频解码器)可以使用经修改形式的基于模板的帧内模式推导(TIMD)来对视频数据进行编码或解码。在TIMD的这种经修改的形式中，视频译码器可以基于对针对第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块的融合来生成预测块。

在一个示例中，一种对视频数据进行编码或解码的方法，所述方法包括：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

在另一示例中，本公开内容描述一种用于对视频数据进行编码或解码的设备，所述设备包括：用于存储所述视频数据的存储器；以及在电路系统中实现的一个或多个处理器，所述一个或多个处理器被配置为：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

在另一示例中，本公开内容描述一种用于对视频数据进行编码或解码的设备，所述设备包括：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：用于基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本的单元，其中，所述模板区域在所述视频数据的块的上方或左侧；以及用于基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本的单元；用于确定第一帧内预测模式和第二帧内预测模式的单元，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；用于确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重的单元；用于确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块的单元；用于基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块的单元；以及用于基于所述预测块来对所述块进行重构的单元，或者用于基于所述预测块来对所述块进行编码的单元。

在另一示例中，本公开内容描述一种具有存储在其上的指令的非暂时性计算机可读存储介质，所述指令当被执行时使得一个或多个处理器进行以下操作：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

在附图和以下描述中阐述一个或多个示例的细节。根据描述、附图以及权利要求书，其它特征、目的和优点将是显而易见的。

附图说明

图1是示出可以执行本公开内容的技术的示例视频编码和解码系统的框图。

图2A和图2B是示出示例四叉树二叉树(QTBT)结构和相应的译码树单元(CTU)的概念图。

图3是示出在基于模板的帧内模式推导中使用的模板和参考样本的概念图。

图4是示出针对当前译码单元的模板的概念图。

图5是示出可以执行本公开内容的技术的示例视频编码器的框图。

图6是示出可以执行本公开内容的技术的示例视频解码器的框图。

图7是示出根据本公开内容的技术的用于对当前块进行编码的示例方法的流程图。

图8是示出根据本公开内容的技术的用于对当前块进行解码的示例方法的流程图。

图9是示出根据本公开内容的一个或多个技术的使用解码器侧帧内模式推导(DIMD)来对视频数据进行编码或解码的第一示例方法的流程图。

图10是示出根据本公开内容的一个或多个技术的使用DIMD来对视频数据进行编码或解码的第二示例方法的流程图。

图11是示出根据本公开内容的一个或多个技术的使用基于模板的帧内模式推导(TIMD)来对视频数据进行编码或解码的示例方法的流程图。

具体实施方式

基于模板的帧内模式推导(TIMD)是可以用于在某些情况下改进译码效率的视频译码工具。当视频编码器使用TIMD时，视频编码器可以生成针对当前译码单元(CU)的最可能模式(MPM)列表。针对当前CU的MPM列表包括两个或更多个帧内预测模式。本公开内容可以可互换地使用术语“帧内预测模式”和“帧内模式”。对于针对当前CU的MPM列表中的每个各自的帧内预测模式，视频编码器可以基于针对一个或多个模板区域的参考样本，使用各自的帧内预测模式来生成针对一个或多个模板区域的预测样本。模板区域可以在当前CU的上方或左侧。视频编码器可以基于在(1)针对模板区域的预测样本与(2)针对模板区域的经重构的样本之间的绝对总差的总和(SATD)，来确定针对各自的帧内预测模式的成本。此外，当使用TIMD时，视频编码器可以接着选择具有最低成本的帧内预测模式。视频编码器可以接着使用最低成本帧内预测模式来生成针对当前CU的预测块。视频编码器可以基于针对当前CU的预测块来编码当前CU。视频解码器可以在使用TIMD时执行相同的过程，除了视频解码器可以基于预测块来重构当前CU之外。TIMD过程可以相对于执行帧内预测的先前方式来增强译码效率，因为视频编码器可以避免对于以信号传送指示使用哪个帧内预测模式来生成针对当前CU的预测块的一个或多个语法元素的需要。

本公开内容描述还可以增强TIMD的效率的技术。如本文中描述的，除了视频编码器确定第一帧内预测模式和第二帧内预测模式之外，视频编码器可以执行类似于上文描述的过程的过程，其中第一帧内预测模式和第二帧内预测模式是在MPM列表中的具有最低成本的帧内预测模式。视频编码器还可以确定针对第一帧内预测模式的权重和针对第二帧内预测模式的权重。此外，视频编码器可以确定针对第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块。视频编码器可以接着基于根据针对第一帧内预测模式的权重加权的初步预测块和根据针对第二帧内预测模式的权重加权的初步预测块的融合，来生成针对当前CU的预测块。视频编码器可以接着基于当前CU的预测块来编码当前CU。根据本公开内容的技术配置的视频解码器可以执行类似的过程，除了视频解码器可以基于预测块来重构当前CU之外。通过融合初步预测块以生成针对当前CU的预测块，如本公开内容中描述的，可以增强译码效率，因为与使用常规TIMD过程针对当前CU来生成的预测块相比，针对当前CU的预测块可能更类似于当前CU本身。

图1是说明可以执行本公开内容的技术的示例视频编码和解码系统100的框图。本公开内容的技术通常针对于对视频数据进行译码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未经编码的视频、经编码的视频、经解码的(例如，重构的)视频、和视频元数据，诸如信令数据。

如图1中所示，系统100包括源设备102，源设备102提供要由目的地设备116进行解码以及显示的经编码的视频数据。源设备102经由计算机可读介质110将视频数据提供给目的地设备116。源设备102和目的地设备116可以包括范围广泛的设备中的任何设备，包括台式计算机、笔记本(即膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能手机的电话手持机、电视机、照相机、显示设备、数字媒体播放器、视频游戏控制台、视频串流设备、广播接收机设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，因此可以称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200以及输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120以及显示设备118。根据本公开内容，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为在视频译码中应用用于帧内预测的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其它示例中，源设备和目的地设备可以包括其它组件或排列。例如，源设备102可以从诸如外部照相机的外部视频源接收视频数据。类似地，目的地设备116可以与外部显示设备接合，而不包括集成的显示设备。

如图1中所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备可以在视频译码中执行用于帧内预测的技术。源设备102和目的地设备116仅是在其中源设备102生成经译码的视频数据用于传输给目的地设备116的这样的译码设备的示例。本公开内容将“译码”设备称为执行对数据的译码(例如，编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，特别是，分别表示视频编码器和视频解码器。在一些示例中，源设备102和目的地设备116可以是以基本上对称的方式进行操作的，使得源设备102和目的地设备116中的每一者包括视频编码和解码组件。因此，系统100可以支持在源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频串流、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据(即，原始的未经编码的视频数据)的源，以及将视频数据的按次序的一系列图片(还称为“帧”)提供给视频编码器200，视频编码器200对针对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始的视频的视频存档、和/或用于从视频内容提供者接收视频的视频馈送接口。作为进一步的替代方式，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、存档的视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从所接收的次序(有时称为“显示次序”)重新排列为用于译码的译码次序。视频编码器200可以生成包括经编码的视频数据的比特流。源设备102可以接着经由输出接口108将经编码的视频数据输出到计算机可读介质110上，用于由例如目的地设备116的输入接口122进行接收和/或取回。

源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始的视频数据，例如，来自视频源104的原始的视频、以及来自视频解码器300的原始的经解码的视频数据。另外或者替代地，存储器106、120可以存储分别能由例如视频编码器200和视频解码器300执行的软件指令。尽管存储器106和存储器120是在这个示例中与视频编码器200和视频解码器300分开地示出的，但是应当理解的是，视频编码器200和视频解码器300还可以包括用于在功能上类似的或等效的目的的内部存储器。此外，存储器106、120可以存储经编码的视频数据，例如，来自视频编码器200的输出以及去往视频解码器300的输入。在一些示例中，存储器106、120的一部分可以被分配作为一个或多个视频缓冲器，例如，以存储原始的经解码和/或经编码的视频数据。

计算机可读介质110可以表示能够将经编码的视频数据从源设备102传送给目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示用于使得源设备102能够例如经由射频网络或基于计算机的网络向目的地设备116实时直接地发送经编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以对包括经编码的视频数据的传输信号进行调制，以及输入接口122可以对所接收的传输信号进行解调。通信介质可以包括任何无线的或有线的通信介质，诸如射频(RF)频谱或一个或多个物理传输线。通信介质可以形成诸如以下各项的基于分组的网络的一部分：局域网、广域网、或诸如互联网的全球网络。通信介质可以包括路由器、交换机、基站、或对于促进从源设备102到目的地设备116的通信而言可以有用的任何其它装备。

在一些示例中，源设备102可以将经编码的数据从输出接口108输出给存储设备112。类似地，目的地设备116可以经由输入接口122从存储设备112存取经编码的数据。存储设备112可以包括各种分布式或本地存取的数据存储介质中的任何数据存储介质，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或用于存储经编码的视频数据的任何其它适当的数字存储介质。

在一些示例中，源设备102可以将经编码的视频数据输出给文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。目的地设备116可以经由串流或下载来从文件服务器114存取存储的视频数据。

文件服务器114可以是能够存储经编码的视频数据以及将该经编码的视频数据发送给目的地设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如，用于网站)、被配置为提供文件传输协议服务(诸如文件传输协议(FTP)或通过单向传输的文件递送(FLUTE)协议)的服务器、内容递送网络(CDN)设备、超文本传输协议(HTTP)服务器、多媒体广播多播服务(MBMS)或增强型MBMS(eMBMS)服务器，和/或网络附加存储(NAS)设备。文件服务器114可以另外或者替代地实现一个或多个HTTP串流协议，诸如通过HTTP的动态自适应串流(DASH)、HTTP实况串流(HLS)、实时串流协议(RTSP)、HTTP动态串流等。

目的地设备116可以通过任何标准数据连接(包括互联网连接)存取来自文件服务器114的经编码的视频数据。这可以包括适合于存取被存储在文件服务器114上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)、或两者的组合。输入接口122可以被配置为根据上文讨论的用于从文件服务器114取回或接收媒体数据的各种协议中的任何一者或多者或用于取回媒体数据的其它这样的协议来进行操作。

输出接口108和输入接口122可以表示无线发射机/接收机、调制解调器、有线联网组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何一个标准进行操作的无线通信组件、或其它物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4G、4G-LTE(长期演进)、改进的LTE、5G等)来传送数据(诸如经编码的视频数据)。在其中输出接口108包括无线发射机的一些示例中，输出接口108和输入接口122可以被配置为根据其它无线标准(诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigBee(紫蜂)^TM)、蓝牙^TM标准等)来传送数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括各自的片上系统(SoC)设备。例如，源设备102可以包括用于执行归因于视频编码器200和/或输出接口108的功能的SoC设备，以及目的地设备116可以包括用于执行归因于视频解码器300和/或输入接口122的功能的SoC设备。

本公开内容的技术可以应用于视频译码，以支持各种多媒体应用中的任何多媒体应用，诸如空中电视广播、有线电视传输、卫星电视传输、互联网串流视频传输(诸如通过HTTP的动态自适应串流(DASH))、被编码到数据存储介质上的数字视频、对被存储在数据存储介质上的数字视频的解码、或其它应用。

目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令信息，所述信令信息还由视频解码器300使用，诸如具有描述视频块或其它译码单元(例如，切片、图片、图片组、序列等)的特性和/或对视频块或其它译码单元(例如，切片、图片、图片组、序列等)的处理的值的语法元素。显示设备118向用户显示经解码的视频数据的经解码的图片。显示设备118可以表示各种显示设备(诸如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器、或另一类型的显示设备)中的任何一者。

尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300均可以与音频编码器和/或音频解码器整合，以及可以包括适当的MUX-DEMUX单元或其它硬件和/或软件，以处理在公共数据流中包括音频和视频两者的经复用的流。如果适用的话，MUX-DEMUX单元可以遵循ITU H.223复用器协议或诸如用户数据报协议(UDP)的其它协议。

视频编码器200和视频解码器300均可以实现为各种适当的编码器和/或解码器电路系统中的任何一者，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件、或其任何组合。当所述技术是部分地以软件来实现时，设备可以将用于软件的指令存储在适当的非暂时性计算机可读介质中，以及使用一个或多个处理器在硬件中执行指令以执行本公开内容的技术。视频编码器200和视频解码器300中的每一者可以被包括在一个或多个编码器或解码器中，编码器或解码器中的任一者可以被整合作为在各自的设备中的组合的编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器、和/或无线通信设备(诸如蜂窝电话)。

视频编码器200和视频解码器300可以根据视频译码标准(诸如ITU-TH.265(还称为高效率视频译码(HEVC))或对其的扩展(诸如多视图和/或可扩展视频译码扩展))进行操作。或者，视频编码器200和视频解码器300可以根据其它专有或行业标准(诸如ITU-TH.266，还称为通用视频译码(VVC))进行操作。然而，本公开内容的技术不限于任何特定的译码标准或规范。

通常，视频编码器200和视频解码器300可以执行对图片的基于块的译码。术语“块”通常指的是包括要被处理的(例如，在编码和/或解码过程中要被编码、被解码或以其它方式使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行译码。也就是说，不是对针对图片的样本的红色、绿色和蓝色(RGB)数据进行译码，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，其中色度分量可以包括红色色相色度分量蓝色色相色度分量两者。在一些示例中，视频编码器200在进行编码之前将所接收的RGB格式化的数据转换为YUV表示，以及视频解码器300将YUV表示转换为RGB格式。或者，预处理和后处理单元(未示出)可以执行这些转换。

本公开内容通常可以涉及对图片的译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开内容可以涉及对图片的块的译码以包括对用于块的数据进行编码或解码(例如，预测和/或残差译码)的过程。经编码的视频比特流通常包括用于表示译码决策(例如，译码模式)以及图片到块的划分的语法元素的一系列值。因此，对图片或块进行译码的引用应当通常理解为针对形成图片或块的语法元素的译码值。

HEVC定义各种块，包括译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频译码器(诸如视频编码器200)根据四叉树结构来将译码树单元(CTU)划分为CU。也就是说，视频译码器将CTU和CU划分为四个相等的、非重叠的正方形，以及四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以称为“叶节点”，以及这样的叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频译码器还可以划分PU和TU。例如，在HEVC中，残差四叉树(RQT)表示对TU的划分。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。经帧内预测的CU包括帧内预测信息，诸如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据VVC来操作。根据VVC，视频译码器(诸如视频编码器200)将图片划分为多个译码树单元(CTU)。视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)来划分CTU。QTBT结构去除多种划分类型的概念，诸如在HEVC的CU、PU和TU之间的分开。QTBT结构包括两个级别：根据四叉树划分进行划分的第一级别、以及根据二叉树划分进行划分的第二级别。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于译码单元(CU)。

在MTT划分结构中，块可以是使用四叉树(QT)划分、二叉树(BT)划分以及一个或多个类型的三叉树(TT)(还称为三元树(TT))划分来进行划分的。三叉树或三元树划分是在其中块被分割为三个子块的划分。在一些示例中，三叉树或三元树划分将块分为三个子块，而不通过中心来划分原先的块。MTT中的划分类型(例如，QT、BT和TT)可以是对称的或非对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度分量和色度分量中的每一者，而在其它示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如用于亮度分量的一个QTBT/MTT结构以及用于两个色度分量的另一QTBT/MTT结构(或者用于各自的色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以被配置为使用每HEVC的四叉树划分、QTBT划分、MTT划分、或其它划分结构。为了解释的目的，对本公开内容的技术的描述是相对于QTBT划分给出的。然而，应当理解的是，本公开内容的技术还可以应用于被配置为使用四叉树划分或者以及其它类型的划分的视频译码器。

在一些示例中，CTU包括亮度样本的译码树块(CTB)、具有三个样本阵列的图片的色度样本的两个相应的CTB、或单色图片或使用三个单独的颜色平面和用于对样本进行译码的语法结构进行译码的图片的样本的CTB。CTB可以是针对为N的某个值的NxN样本块，使得将分量分为CTB是划分。分量是来自组成处于4:2:0、4:2:2或4:4:4颜色格式的图片的三个阵列(亮度和两个色度)中的一者的阵列或单个样本，或者是组成处于单色格式的图片的阵列或阵列的单个样本。在一些示例中，译码块是针对为M和N的一些值的MxN样本块，使得将CTB分成译码块是划分。

块(例如，CTU或CU)可以是以各种方式在图片中进行分群组的。作为一个示例，砖块(brick)可以指的是在图片中的特定瓦片(tile)内的CTU行的矩形区域。瓦片可以是CTU的在图片中的特定瓦片列和特定瓦片行内的矩形区域。瓦片列指的是CTU的具有等于图片的高度的高度以及通过(例如，诸如在图片参数集中的)语法元素指定的宽度的矩形区域。瓦片行指的是CTU的具有通过(例如，诸如在图片参数集中的)语法元素指定的高度以及等于图片的宽度的宽度的矩形区域。

在一些示例中，瓦片可以划分为多个砖块，砖块中的每个砖块可以包括在瓦片内的一个或多个CTU行。未划分成多个砖块的瓦片也可以称为砖块。然而，砖块(其是瓦片的真实子集)不可以称为瓦片。

图片中的砖块也可以布置在切片中。切片可以是图片的可以被独占地包含在单个网络抽象层(NAL)单元中的整数个砖块。在一些示例中，切片包括数个完整的瓦片或一个瓦片的仅连续的一系列完整砖块。

本公开内容可以可互换地使用“NxN”和“N乘N”来指代块(诸如CU或其它视频块)在垂直维度和水平维度方面的样本维度，例如，16x16个样本或16乘16个样本。通常，16x16 CU将具有在垂直方向上的16个样本(y＝16)和在水平方向上的16个样本(x＝16)。同样地，NxNCU通常具有在垂直方向上的N个样本和在水平方向上的N个样本，其中N表示非负整数值。CU中的样本可以是按行和列来排列的。此外，CU不需要必然在水平方向上具有与在垂直方向上相同数量的样本。例如，CU可以包括NxM个样本，其中M不一定等于N。

视频编码器200对针对CU的表示预测和/或残差信息以及其它信息的视频数据进行编码。预测信息指示要如何预测CU，以便形成针对CU的预测块。残差信息通常表示在进行编码之前的CU的样本与预测块之间的逐样本差。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测形成针对CU的预测块。帧间预测通常指的是从先前译码的图片的数据来预测CU，而帧内预测通常指的是从同一图片的先前译码的数据来预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动向量来生成预测块。视频编码器200通常可以执行运动搜索以识别与CU紧密匹配的参考块，例如，在CU与参考块之间的差异方面。视频编码器200可以使用绝对差的总和(SAD)、平方差的总和(SSD)、平均绝对差(MAD)、均方差(MSD)、或其它这样的差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。

VVC的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其它不规则的运动类型)的两个或更多个运动向量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。VVC的一些示例提供六十七个帧内预测模式，包括各种方向模式，以及平面模式和DC模式。通常，视频编码器200选择帧内预测模式，所述帧内预测模式描述对于从其预测当前块的样本的当前块(例如，CU的块)的邻近样本。假定视频编码器200以光栅扫描次序(从左到右、从上到下)对CTU和CU进行译码，则这样的样本通常可以是在与当前块相同的图片中在当前块的上方、左上方或左侧。

视频编码器200对表示针对当前块的预测模式的数据进行编码。例如，针对帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一者的数据以及针对相应的模式的运动信息进行编码。针对单向帧间预测或双向帧间预测，例如，视频编码器200可以使用高级运动向量预测(AMVP)或合并模式对运动向量进行编码。视频编码器200可以使用类似的模式来编码用于仿射运动补偿模式的运动向量。

在预测(诸如对块的帧内预测或帧间预测)之后，视频编码器200可以计算针对块的残差数据。残差数据(诸如残差块)表示在块与针对块的使用相应的预测模式来形成的预测块之间的逐样本差。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非在样本域中产生经变换的数据。例如，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。此外，视频编码器200可以在第一变换之后应用二次变换，诸如与模式有关的不可分离的二次变换(MDNSST)、与信号有关的变换、卡洛南-洛伊(Karhunen-Loeve)变换(KLT)等。视频编码器200在应用一个或多个变换之后产生变换系数。

如上文所指出的，在用于产生变换系数的任何变换之后，视频编码器200可以执行对变换系数的量化。量化通常指的是如下的过程：在其中对变换系数进行量化以可能地减少用于表示变换系数的数据的量，提供进一步的压缩。通过执行量化过程，视频编码器200可以减小与变换系数中的一些或所有变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以执行对要被量化的值的按位右移。

在量化之后，视频编码器200可以对变换系数进行扫描，从包括经量化的变换系数的二维矩阵产生一维向量。扫描可以被设计为将较高能量(以及因此的较低频率)变换系数放置在向量的前面，以及将较低能量(以及因此的较高频率)变换系数放置在向量的后面。在一些示例中，视频编码器200可利用预先定义的扫描次序来扫描经量化的变换系数以产生序列化的向量，以及然后对该向量的经量化的变换系数进行熵编码。在其它示例中，视频编码器200可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(CABAC)对一维向量进行熵编码。视频编码器200还可以对针对描述与用于由视频解码器300在解码视频数据时使用的经编码的视频数据相关联的元数据的语法元素的值进行熵编码。

为了执行CABAC，视频编码器200可以将在上下文模型内的上下文指派给要发送的符号。上下文可以涉及例如符号的邻近值是否为零值。概率确定可以是基于指派给符号的上下文的。

视频编码器200还可以例如在图片报头、块报头、切片报头中生成去往视频解码器300的语法数据(诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据)、或其它语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)。视频解码器300同样可以解码这样的语法数据以确定如何解码相应的视频数据。

以这种方式，视频编码器200可以生成包括经编码的视频数据的比特流，例如，描述图片到块(例如，CU)的划分以及针对块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流，以及对经编码的视频数据进行解码。

通常，视频解码器300执行与视频编码器200执行的过程互逆的过程，以解码比特流的经编码的视频数据。例如，视频解码器300可以使用CABAC，以与视频编码器200的CABAC编码过程基本上类似的、尽管与视频编码器200的CABAC编码过程互逆的方式，来对针对比特流的语法元素的值进行解码。语法元素可以定义用于将图片划分为CTU、以及根据相应的划分结构(诸如QTBT结构)对每个CTU进行划分以定义CTU的CU的划分信息。语法元素还可以定义针对视频数据的块(例如，CU)的预测和残差信息。

残差信息可以是通过例如经量化的变换系数来表示的。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换，以再现针对块的残差块。视频解码器300使用以信号传送的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成针对块的预测块。视频解码器300可以接着组合预测块和残差块(在逐样本的基础上)以再现原先的块。视频解码器300可以执行额外的处理，诸如执行去块过程以减少沿着块的边界的视觉伪影。

图2A和图2B是示出示例四叉树二叉树(QTBT)结构130和相应的译码树单元(CTU)132的概念图。实线表示四叉树分割，以及虚线指示二叉树分割。在二叉树的每个分割(即，非叶)节点中，一个标记被以信号传送以指示使用哪个分割类型(即，水平或垂直)，其中在这个示例中0指示水平分割，以及1指示垂直分割。针对四叉树分割，不需要指示分割类型，因为四叉树节点将块水平地和垂直地分割成4个具有大小相等的子块。因此，视频编码器200可以编码以及视频解码器300可以解码针对QTBT结构130的区域树级别(即，实线)的语法元素(诸如分割信息)和针对QTBT结构130的预测树级别(即，虚线)的语法元素(诸如分割信息)。针对通过QTBT结构130的终端叶节点表示的CU，视频编码器200可以编码以及视频解码器300可以解码视频数据，诸如预测和变换数据。

通常，图2B的CTU 132可以与定义与QTBT结构130的处于第一级别和第二级别的节点相对应的块的大小的参数相关联。这些参数可以包括CTU大小(表示样本中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许的二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)以及最小二叉树大小(MinBTSize，表示最小允许的二叉树叶节点大小)。

与CTU相对应的QTBT结构的根节点可以具有在QTBT结构的第一级别处的四个子节点，其中的每个子节点可以是根据四叉树划分来划分的。也就是说，第一级别的节点是叶节点(没有子节点)，或者具有四个子节点。QTBT结构130的示例将这样的节点表示为包括父节点和针对分支具有实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(MaxBTSize)，则节点还可以是通过各自的二叉树来划分的。可以迭代一个节点的二叉树分割，直到由分割导致的节点达到最小允许的二叉树叶节点大小(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)为止。QTBT结构130的示例将这样的节点表示为针对分支具有虚线。在没有任何进一步的划分的情况下，二叉树叶节点称为译码单元(CU)，其用于预测(例如，图片内预测或图片间预测)和变换。如上文讨论的，CU还可以称为“视频块”或“块”。

在QTBT划分结构的一个示例中，CTU大小被设置为128x128(亮度样本和两个相应的64x64色度样本)，MinQTSize被设置为16x16，MaxBTSize被设置为64x64，MinBTSize(针对宽度和高度两者)设置为4，以及MaxBTDepth设置为4。四叉树划分首先应用于CTU以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即，MinQTSize)到128x128(即，CTU大小)的大小。如果四叉树叶节点是128x128，则叶四叉树节点将不会被二叉树进一步分割，因为大小超过MaxBTSize(即，在这个示例中的64x64)。否则，四叉树叶节点将被二叉树进一步划分。因此，四叉树叶节点还是针对二叉树的根节点，以及具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(在这个示例中为4)时，不允许进一步分割。具有等于MinBTSize(在这个示例中为4)的宽度的二叉树节点意味着针对该二叉树节点不允许进一步的垂直分割(即，对宽度的划分)。类似地，具有等于MinBTSize的高度的二叉树节点意味着针对该二叉树节点不允许进一步的水平分割(即，对高度的划分)。如上所述，二叉树的叶节点称为CU，以及是在没有进一步划分的情况下根据预测和变换来进一步处理的。

除了正常帧内预测模式(诸如平面模式、DC模式和角度帧内预测模式)之外，可用于视频编码器200和视频解码器300的帧内预测模式可以包括称为解码器侧帧内模式推导(DIMD)的另一模式。DIMD目的在于在解码器侧推导译码模式。

DIMD译码模式是借助于梯度直方图(HoG)来推导的。HoG可以是某个预先确定的长度(例如，67)的向量。HoG中的每个元素对应于不同的方向，以及表示相应的方向的幅度。针对当前CU，HoG是利用来自上方重构的邻近者、左侧重构的邻近者和左上角邻近者的经重构的样本来计算的。更具体地，为了确定方向的幅度，视频译码器(例如，视频编码器200或视频解码器300)可以分析当前CU的邻近样本的一系列重叠窗口(例如，3x3窗口)。当分析窗口时，视频译码器可以确定哪个帧内预测模式最佳地表征窗口中的样本。视频译码器可以接着递增HoG中的与所确定的帧内预测模式相对应的元素。实际上，HoG创建针对可能的角度帧内预测模式的提示。

来自HoG的具有两个最高幅度的前两个角度帧内预测模式与平面模式融合作为来自DIMD的最终预测。换言之，视频译码器可以通过对使用平面模式生成的初步预测块、使用HoG中的具有最高幅度的角度帧内预测模式生成的初步预测块、以及使用HoG中的具有第二高幅度的角度帧内预测模式生成的初步预测块进行融合，来生成针对当前块(例如，当前CU)的预测块。

视频译码器可以在融合初步预测块以生成针对当前块的预测块时将权重应用于初步预测块。在一些示例中，视频译码器基于HoG中的幅度来确定权重。例如，令mode1表示HoG中的具有最高幅度的角度帧内预测模式，令mode2表示HoG中的具有第二高幅度的角度帧内预测模式，以及令mag1和mag2表示mode1和mode2的幅度。对针对mode1、mode2和平面模式的融合的权重分别可以是和1/3。

在帧内预测中，视频编码器200和视频解码器300可以生成针对每个PU的最可能模式(MPM)的列表。当视频编码器200编码帧内预测模式时，而不是直接地将模式写入比特流中，视频编码器200将索引编码到实际选择的帧内预测模式的MPM列表中。对MPM列表的使用可以减少在以信号传送选择的帧内预测模式的索引时所涉及的比特的数量。在一些示例中，MPM列表的长度为22，以及可以包括两个部分，或者由两个部分组成。MPM列表中的前6个帧内预测模式称为主MPM。主MPM是平面帧内预测模式、来自左侧PU的帧内预测模式、来自上方PU的帧内预测模式、来自左下方PU的帧内预测模式、来自右上方PU的帧内预测模式和来自左上方PU的帧内预测模式。MPM列表中的接下来的16个帧内预测模式称为辅MPM列表。辅MPM列表包括通过来自主MPM列表中的帧内预测模式的偏移推导的帧内预测模式，或者由通过来自主MPM列表中的帧内预测模式的偏移推导的帧内预测模式组成。DIMD模式mode1及mode2可以添加在最终MPM列表中的主MPM之后并且在辅MPM之前。

未被包括在MPM列表中的所有其它帧内预测模式被包括在名为非MPM列表的列表中。视频编码器200和视频解码器300还可以生成针对色度通道的单独的MPM列表(即，色度MPM列表)，其中色度MPM列表的前4个帧内预测模式对应于亮度MPM列表中的帧内预测模式。

另一提出的解码器侧帧内模式推导过程是基于模板的帧内模式推导(TIMD)。针对TIMD的想法是在图3中示出的。图3是示出在TIMD中使用的模板和参考样本的概念图。给定当前CU 350，视频译码器(例如，视频编码器200或视频解码器300)选择两个模板区域352A、352B(统称为“模板区域352”)。模板区域352在当前CU 350上方并且在当前CU 350左侧。此外，视频译码器选择模板区域352的参考354。参考354可以包括模板区域352的左侧及上方的经重构的样本。

对于针对当前CU 350的MPM列表中的每个帧内预测模式，视频译码器生成针对模板区域352的预测。换言之，针对模板区域352中的每个模板区域，视频译码器可以对于针对当前CU 350的MPM列表中的每个帧内预测模式使用帧内预测模式来生成针对模板区域的预测块。此外，视频译码器可以计算在模板区域的预测样本与经重构的样本之间的模板区域上的绝对变换差的总和(SATD)成本。视频译码器可以接着选择具有最低成本的帧内预测模式作为针对TIMD的帧内预测模式。

在上文描述的DIMD和TIMD的实现方式方面存在若干问题。第一个问题在于DIMD。来自HoG的帧内预测模式可能不够准确以预测帧内预测模式。换言之，与HoG中的具有最高幅度和第二高幅度的条目相对应的帧内预测模式可能不是针对当前块的最佳帧内预测模式。对帧内预测模式的融合可以导致更好的性能，但是可以优化要融合的帧内预测模式的数量以及融合哪些帧内预测模式。第二个问题是现有的MPM构建方法，因为MPM的次序可能不是最佳的。第三个问题是可以提高当前TIMD过程的译码效率。

本公开内容描述可以解决上述问题的若干示例。下文描述的示例可以是单独地使用的，或者是以任何组合来使用的。本公开内容引入术语“推导的模式”。推导的模式是例如由视频编码器200和视频解码器300在编码器和解码器侧推导的帧内预测模式。推导的模式可以可选地包括非角度模式，诸如平面模式或DC模式。因为视频解码器300推导模式方向，所以推导的模式方向(即，推导的模式的方向)是未明确地以信号传送的。因此，推导的方向可以提供在帧内预测中的更多变体，这是因为推导的方向不一定是在常规帧内预测中使用的现有帧内方向中的一者。例如，可以存在更多推导的帧内方向，例如，角度可以是如两倍密集。

可以存在许多技术来推导帧内预测模式，以及在本公开内容中提供如何推导帧内预测模式的若干示例，但是一些技术不受限于如何执行推导，以及这样的技术可以应用于任何推导方法。在一个示例中，模式推导可以使用DIMD过程(基于梯度的推导)过程或TIMD(基于模板的推导)过程。

根据与DIMD相关的本公开内容的技术，在DIMD预测中要融合的模式的数量可以是灵活的。例如，在一些示例中，视频编码器200和视频解码器300可以在没有融合的情况下从DIMD选择仅一个帧内预测模式。例如，视频编码器200和视频解码器300可以选择在HoG中的具有最大幅度的帧内预测模式，以及使用所选择的帧内预测模式来生成预测块。在一些示例中，视频编码器200和视频解码器300可以融合多于三个帧内预测模式。对帧内预测模式的融合指的是基于使用帧内预测模式生成的预测块来生成预测块。在一些示例中，当HoG的经归一化的最大幅度大于门限(例如，0.7或另一值)时，视频编码器200和视频解码器300不融合帧内预测模式。

在一些示例中，要融合的帧内预测模式不受限于来自DIMD的帧内预测模式。例如，在一些示例中，推导的模式(例如，来自DIMD的第一帧内预测模式)和来自邻近者CU的帧内预测模式被融合。在一些示例中，直接地来自MPM列表的帧内预测模式被融合，或者与平面模式融合。

在解码器侧推导的模式(例如，DIMD模式)可以是通过考虑模板352和模板352的参考354的样本来进一步优化的，例如，如图3所示。在一个示例中，过程可以如下：

1.首先，模板区域被设置为当前CU的邻近区域。模板区域可以包括图3的模板352A、352B中的一者或两者，和/或模板352A、352B的上方和左侧区域。样本的参考也是关于模板区域来生成的。换言之，视频编码器200或视频解码器300可以重构在模板区域中的样本。

2.然后，基于已经推导的模式(例如，使用现有的DIMD过程)，生成帧内预测模式的候选列表。候选列表包含对于推导的模式的一个或多个邻近模式。邻近模式被定义为与来自在推导的模式的角度周围的角度(即，方向)的邻域的角度(即，方向)相对应的帧内预测模式。例如，邻近方向(即，邻近模式的方向)可以是通过将+或-1、+或-2和/或其它偏移添加到推导的模式角度来推导的。

3.模板区域的预测样本是针对在候选列表中的每个模式来计算的。

4.在模板区域的预测样本与经重构的样本之间的成本是针对在候选列表中的每个模式来计算的。

5.选择具有最小成本的模式作为更新模式。成本可以是根据任何函数来确定，诸如误差的平方估计的总和(SSE)、绝对差的总和(SAD)、SATD等。

在第一示例实现方式中，mode1、mode2和mode3可以表示来自DIMD的具有归一化的幅度mag1和mag2、mag3的前三个帧内预测模式。视频译码器(例如，视频编码器200或视频解码器300)可以利用如和1/4的权重将mode1、mode2和mode3与平面模式进行融合。换言之，针对当前块(例如，当前CU)的预测块的每个样本，视频译码器可以计算使用mode1、mode2和mode3以及平面模式生成的初步预测块的样本的加权平均。

在第二示例实现方式中，给定来自DIMD的mode1，视频译码器(例如，视频编码器200或视频解码器300)可以生成长度为7的候选列表为{mode1-3、mode1-2、mode1-1、mode1、mode1+1、mode1+2、mode1+3}。针对在候选列表中的每个帧内预测模式，视频译码器可以计算图4中的模板区域400A、400B(统称为“模板区域400”)的预测样本。图4是示出针对当前CU402的模板的概念图。在一个示例中，视频译码器计算在模板区域400的预测样本与经重构的样本之间的SATD成本。视频译码器从候选列表中选择具有最低成本的帧内预测模式作为最终的mode1。

视频译码器可以应用与mode2类似的方法，mode2可以是来自DIMD的第二模式。视频译码器可以接着如在原先的DIMD中来执行在mode1、mode2与可选地平面模式之间的融合。换言之，视频译码器可以融合使用mode1、mode2和可选地平面模式生成的初步预测块。融合可以指的是使用不同模式生成的预测块的组合，以生成最终预测块。

如上文所提及的，本公开内容描述可以改进生成MPM列表的过程的技术。根据本公开内容的一个或多个技术，MPM列表中的模式的次序可以是基于不同准则来改变的。这些准则可以是在编码器侧和解码器侧两者推导的。换言之，视频编码器200和视频解码器300两者可以推导准则。

在一个示例中，视频译码器(例如，视频编码器200或视频解码器300)可以基于邻近者模板成本来对在MPM列表中的帧内预测模式的次序进行排序。邻近者模板成本可以是基于在模板的经重构的样本与模板的使用帧内预测模式生成的预测样本之间的差的成本(例如，SATD)。视频译码器可以将这个排序过程应用于MPM列表中的所有帧内预测模式或MPM列表中的帧内预测模式的某个子集。例如，视频译码器可以从排序过程中排除非角度模式，诸如平面模式。在一些示例中，排序过程可以包括以下步骤：

a.参考样本是针对邻近者模板来生成的

b.针对在MPM列表中的每个模式的帧内预测是使用所生成的参考样本针对邻近者模板(在图4上所示的左侧和/或上方模板)来推导的。

c.计算在对邻近者模板的预测与重构之间的成本

i.成本可以是任何度量，诸如平方误差的总和(SSE)、绝对差的总和(SAD)、SATD等。

d.MPM列表是通过成本例如按升序来排序的。

e.平面模式或非角度模式可以总是被放置作为MPM列表中的(多个)第一模式，以及可以是从排序过程中排除的。

因此，在一些示例中，针对在MPM列表中的多个非平面帧内预测模式中的每个各自的帧内预测模式，视频译码器可以使用各自的帧内预测模式生成模板区域的预测样本，其中模板区域在视频数据的块的上方和左侧。此外，针对在MPM列表中的每个各自的帧内预测模式，视频译码器可以基于在(1)模板区域的使用各自的帧内预测模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内预测模式的成本。视频译码器可以基于针对非平面帧内预测模式的成本来对在MPM列表中的多个非平面帧内预测模式进行排序，确定在MPM列表中的选择的帧内预测模式，以及使用所选择的帧内预测模式生成预测块。视频译码器可以基于预测块来对块进行重构，或者基于预测块来对块进行编码。

在一些示例中，视频译码器分别地对主MPM和辅MPM进行排序。在另一示例中，视频译码器仅对主MPM进行排序，而不对辅MPM进行排序。在另一示例中，视频译码器仅对非推导的模式进行排序，所述非推导的模式是取自于邻近块的，但是视频译码器不对推导的MPM和基于邻近模式推导的模式进行排序。在一些示例中，视频译码器仅对前N个MPM进行排序，其中N可以是大于0的数字。在一些示例中，N被设置为等于4。在一些示例中，视频译码器对非MPM列表中的帧内预测模式进行排序。在一些示例中，视频译码器对色度MPM列表中的色度模式进行排序。在一些示例中，推导的模式(例如，DIMD模式)在MPM列表中的位置可以取决于在预测中是否存在使用推导的模式的邻近CU。

在一些示例中，推导的模式(例如，DIMD和/或TIMD或类似模式)可以与来自邻近块的帧内预测模式一起添加到MPM列表。动机是推导的模式是从邻近样本来推导的，以及可以被认为是邻近帧内方向的替代方向。

例如，推导的模式可以是在所有邻近者帧内预测模式之后被添加到MPM列表的。当MPM列表不完整(例如，MPM列表具有小于预先确定的数量的模式)时，为了填满MPM列表，帧内预测模式可以是通过将偏移(例如+-1、+-2等)添加到已经添加到MPM列表的模式来生成的。在这种情况下，偏移还可以应用到推导的模式，其被添加有邻近帧内预测模式，以及这样的偏移模式可以被添加到MPM列表。

在一些示例中，给定来自MPM列表的非平面模式，视频译码器(例如，视频编码器200或视频解码器300)可以计算图4中的模板区域400的预测样本。在一个示例中，视频译码器计算在模板的预测样本与经重构的样本之间的SATD成本。视频译码器可以基于排除平面模式(视频译码器可以始终将平面模式添加作为在MPM列表中的第一模式)的从最小到最大的成本，来对在MPM列表中的帧内预测模式进行排序。

因此，在一些示例中，视频译码器可以生成包括多个帧内预测模式的最可能模式(MPM)列表，其中多个帧内预测模式包括多个非平面帧内预测模式。针对在MPM列表中的多个非平面帧内预测模式中的每个各自的帧内预测模式，视频译码器可以使用各自的帧内预测模式生成模板区域的预测样本。模板区域是在视频数据的块的上方和左侧。视频译码器可以基于在(1)使用各自的帧内预测模式生成的模板区域的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内预测模式的成本。视频译码器可以基于针对帧内预测模式的成本，来对在MPM列表中的帧内预测模式进行排序。此外，视频译码器可以确定在MPM列表中的选择的帧内预测模式，以及使用所选择的帧内预测模式生成预测块。视频译码器可以基于预测块来对块进行重构，或者基于预测块来对块进行编码。在一些示例中，视频译码器可以对在MPM列表中的主MPM而非MPM列表中的辅MPM进行排序。在一些示例中，视频译码器可以对在MPM列表中的非推导的帧内预测模式进行排序，并且不对推导的帧内预测模式进行排序。在一些示例中，视频译码器可以对在MPM列表中的前N个帧内预测模式而非MPM列表中的第二M个帧内预测模式进行排序，其中N和M是非零数字。

在一些示例中，视频译码器有条件地调整DIMD模式在MPM列表中的位置。在一个示例中，如果当前CU的五个邻近者(上方、左侧、右上方、左下方、左上方)中的至少一者是利用DIMD模式来译码的，则视频译码器可以添加当前CU的第一DIMD模式(即，HoG中的具有最高幅度的帧内预测模式)作为MPM列表中的第二模式(在平面模式之后的模式)。在另一示例中，如果当前CU的五个邻近者中的至少一者是利用DIMD模式来译码的，则视频译码器可以将第一DIMD模式和第二DIMD模式(即，HoG中的具有最高幅度和第二最高幅度的帧内预测模式)置于在MPM列表中的平面模式之后。在另一示例中，视频译码器可以使用DIMD预测计算邻近者块的数量，以及基于这个数量与门限的比较，视频译码器可以确定是将推导的模式添加在MPM列表中的平面模式之后(例如，在DIMD过程中推导的)还是将推导的模式添加到主MPM列表或辅MPM列表。

如上文所提及，本公开内容还描述可以改进TIMD过程的技术。根据本公开内容的一个或多个技术，视频译码器(例如，视频编码器200或视频解码器300)可以融合使用TIMD过程推导的多个帧内预测模式。在一些示例中，视频译码器可以将帧内预测模式与平面模式进行融合。在一些示例中，视频译码器仅融合通过应用TIMD过程推导的帧内预测模式。视频译码器可以基于帧内预测模式的成本来推导融合过程中的加权因子。视频译码器可以使用转换公式式将帧内预测模式的成本转换为加权因子(即，权重)。在成本与加权因子之间的转换公式可以是具有满足的两个条件的任何类型。例如，成本越高，权重越低。总权重的总和应当是1。

在一些示例中，视频译码器可以应用一个或多个准则来确定是否融合帧内预测模式。准则可以与TIMD成本相关，但不受限于TIMD成本。例如，如果针对第一帧内预测模式的成本与第二帧内预测模式的成本相比低了门限，则视频译码器可以直接地采用第一帧内预测模式而不融合。否则，视频译码器可以融合第一模式和第二模式。在另一示例中，如果在第二帧内预测模式的成本与第一帧内预测模式的成本之间的差小于门限，则视频译码器可以采用第一帧内预测模式而不融合。否则，视频译码器可以融合第一帧内预测模式和第二帧内预测模式。

在一些示例中，如果两个推导的模式相同，则视频译码器不应用所应用的融合。否则，视频译码器应用融合。换言之，视频译码器可以基于第一帧内预测模式与第二帧内预测模式不同，来基于对初步块的融合生成预测块。

在一些示例中，视频译码器例如使用SATD成本估计融合模式的成本。如果这样的成本高于无融合模式的成本(即，不执行融合的成本)，则视频译码器不应用融合。

在一些示例中，视频译码器基于从不同子块大小推导的预测参数来计算对融合的模式的预测。例如，在帧内子分区(ISP)模式之下，当前CU可以划分成四个大小相等的子片段(即，子块)。给定当前CU是利用帧内预测模式X预测的，视频译码器使用帧内预测模式X和当前CU上方和左侧的参考样本来预测针对第一子块的帧内预测样本。视频译码器接着使用帧内预测模式X，但是利用包括来自第一子块的经重构的样本的经更新的参考样本，来生成针对当前CU的下一子块的帧内预测样本。视频译码器可以重复这个过程，直到视频译码器已经生成针对所有子块的帧内预测样本为止。视频译码器可以基于子块大小来计算预测参数。预测参数可以包括是否应用帧内参考平滑、是否应用位置相关的帧内预测组合(PDPC)、是否应用梯度PDPC、控制在一行中的多少样本受PDPC影响的参数、是否应用参考内插或预测内插、用于各自的角度模式的角度参数等。通常，这些预测参数是与块大小相关的内部参数。帧内角度参数可以是具有高精度的整合的正切值或余切值。根据本公开内容的一个或多个技术，那些帧内参数可以是基于整个块大小而不是子块大小来计算的。

在一个示例中，当应用融合时，一个模式(例如第一模式)可以具有在子块大小上计算的预测参数，但是其它模式(例如第二模式)可以具有在整个块大小上计算的那些参数。在另一示例中，视频译码器针对所有推导的模式使用相同方法(例如，使用整个块大小)计算所有参数。视频译码器可以执行不同的过程以基于子块大小来计算不同的预测参数。例如，关于PDPC，存在称为angularScale的一个参数，其取决于块/子块大小以控制需要通过PDPC校正的样本的数量。是否应用PDPC还可以取决于块大小，使得如果大小大于某个门限并且未应用多参考线(MRL)方法，则视频译码器可以对这个块应用PDPC。

在一些示例中，视频译码器从TIMD模式采用具有最低成本cost1和cost2的前两个帧内预测模式mode1和mode2。视频译码器计算针对来自cost1和cost2的mode1和mode2的融合的权重为和/>

在一些示例中，视频译码器从TIMD模式采用具有最低成本cost1和cost2的前两个模式mode1和mode2。在一些示例中，如果cost2-cost1<＝cost1，则视频译码器利用基于成本推导的权重(例如如和/>)将mode1和mode2进行融合。否则，视频译码器仅使用具有在cost1与cost2之间的最小成本的mode1，以及视频译码器不应用融合。在一些示例中，如果cost2-cost1<＝cost1并且mode1不等于mode2，则视频译码器将mode1和mode2与基于成本推导的权重(例如，如/>和/>)进行融合。否则，视频译码器仅使用具有在cost1与cost2之间的最小成本的mode1，以及视频译码器不应用融合。

在一些示例中，视频译码器从TIMD模式采用具有最低成本cost1和cost2的前两个帧内预测模式mode1和mode2。如果cost2-cost1<＝cost1，则视频译码器可以对mode1和mode2与基于成本推导的权重(例如，和/>)进行融合。否则，视频译码器可以仅使用具有在cost1与cost2之间的最小成本的mode1，以及视频译码器不应用融合。当融合是在ISP模式之下时，视频译码器可以从针对当前CU的子片段的大小推导用于对mode1的预测的参数，以及视频译码器可以从当前CU的大小推导预测参数(例如，用于对mode2的预测)。

如上文所提及，可以存在在没有明确的帧内方向信令的情况下推导帧内预测模式的多种方式，例如DIMD或TIMD过程。例如，视频译码器(例如，视频编码器200或视频解码器300)可以将推导的模式设置为等于预先定义的模式。在这种情况下，不需要推导过程。例如，视频译码器可以将推导的模式设置为等于非角度模式，诸如平面模式或DC模式。

对若干模式的加权(换言之，融合)可以提供更好种类的预测子(predictor)。例如，在DIMD过程中，可以对平面模式和两个推导的模式进行融合以形成预测子。根据本公开内容的技术，视频译码器可以融合若干模式，但是明确地以信号传送帧内方向中的一些帧内方向，以及推导一些帧内方向。这个方法在本文中称为混合模式。混合模式可以是通过标记来指示的。标记可以是有条件地以信号传送的，例如，如果仅使用推导的模式(例如，DIMD译码模式)，则以信号传送标记来指示是否对推导的模式和以信号传送的模式进行混合。

在一个示例中，一个帧内预测模式是使用惯常的帧内预测模式方向信令来以信号传送的(例如，不使用DIMD或TIMD)，以及另一帧内预测模式是使用DIMD或TIMD过程来推导的。在一些示例中，在两个帧内预测模式之间的融合权重可以表示为0.5，即，相等的权重。在其它示例中，可以向以信号传送的帧内预测模式给予更多的权重，因为视频编码器200具有更多的控制以找到更好的帧内预测方向以及以信号传送帧内预测方向，这与可能仅取决于经重构的邻近者样本的推导的帧内预测模式相反。

在混合模式下，视频译码器可以将以信号传送的和推导的模式添加到MPM列表。在另一替代方案中，视频译码器仅将以信号传送的(多个)帧内预测模式添加到MPM列表。因为推导的模式可以等于以信号传送的模式，所以当那些模式相同时存在冗余。为了避免此冗余，视频译码器可以在推导的模式等于以信号传送的模式的情况下修改推导的模式。视频译码器可以通过添加+-1、+-2等的偏移来执行修改。在另一示例中，如果帧内预测模式相等，则视频译码器可以将推导的模式设置为等于非角度模式，诸如平面模式或DC模式。如果两个帧内预测模式均是平面的，则视频译码器可以将推导的模式设置为等于DC模式。如果两个帧内预测模式均是DC模式，则视频译码器可以将推导的模式设置为等于平面模式。

在以上示例中，视频译码器修改推导的模式。在替代解决方案中，如果以信号传送的模式等于推导的模式，则视频译码器可以在以信号传送之后修改以信号传送的模式。

在以上描述中，使用一个以信号传送的模式和一个推导的模式作为示例，以及可以在所公开的方法中使用多于一个以信号传送的模式和/或多于一个推导的模式。模式的数量可以是在参数集、切片或图片标头(header)或其它地方以信号传送的，或可以固定到某个值。

在另一示例中，视频译码器(例如，视频编码器200或视频解码器300)可以从更遥远的邻近者样本推导某些以信号传送的模式及/或推导的模式，以及视频译码器可以使用对于当前块邻近者样本而言更靠近的邻近者样本来推导一些其它以信号传送的模式及/或推导的模式。

以更一般的方式，推导的模式和以信号传送的模式可以合并到一个帧内预测方法中。可以引入语法信令来指示以下情况：

•是否仅使用一个帧内预测模式，以及帧内预测模式是推导的模式还是以信号传送的模式，

•帧内预测模式是否是推导的模式，其中两个或更多个模式全部是推导的；

•帧内预测模式是否是混合模式，是否推导一个或多个模式，以及以信号传送一个或多个模式，

·帧内预测模式是否是混合模式，但是两个或更多个模式全部是以信号传送的。

本公开内容通常可以涉及“以信号传送”某些信息，诸如语法元素。术语“以信号传送”通常可以指的是对针对语法元素的值和/或用于对经编码的视频数据进行解码的其它数据的传送。也就是说，视频编码器200可以以信号传送针对在比特流中的语法元素的值。通常，以信号传送指的是生成在比特流中的值。如上文所指出的，源设备102可以基本上实时地或不实时地(诸如可能在将语法元素存储到存储设备112用于由目的地设备116稍后取回时发生)将比特流传输给目的地设备116。

图5是示出可以执行本公开内容的技术的示例视频编码器200的框图。图5是出于解释的目的来提供的，以及不应当被认为是对在本公开内容中泛泛地举例说明和描述的技术的限制。出于解释的目的，本公开内容描述根据VVC(ITU-TH.266，正在开发)和HEVC(ITU-TH.265)技术的视频编码器200。然而，本公开内容的技术可以由被配置为其它视频译码标准的视频编码设备来执行。

在图5的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何或全部单元可以是在一个或多个处理器中或者在处理电路系统中实现的。例如，视频编码器200的单元可以实现为一个或多个电路或逻辑元件作为硬件电路的一部分，或者作为处理器、ASIC或FPGA的一部分。此外，视频编码器200可以包括额外或替代的处理器或处理电路来执行这些和其它功能。

视频数据存储器230可以存储要由视频编码器200的组件来编码的视频数据。视频编码器200可以从例如视频源104(图1)接收被存储在视频数据存储器230中的视频数据。DPB 218可以充当参考图片存储器，其存储参考视频数据用于在由视频编码器200对后续视频数据的预测时使用。视频数据存储器230和DPB 218可以由各种存储设备(诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻性RAM(RRAM)、或其它类型的存储设备)中的任何存储设备来形成。视频数据存储器230和DPB 218可以由相同的存储设备或单独的存储设备来提供。在各个示例中，视频数据存储器230可以与视频编码器200的其它组件在芯片上(如图所示)，或者相对于那些组件在芯片外。

在本公开内容中，对视频数据存储器230的提及不应当被解释为限于在视频编码器200内部的存储器(除非特别地描述为如此)或者在视频编码器200外部的存储器(除非特别地描述为如此)。而是，对视频数据存储器230的提及应当被理解为存储视频编码器200所接收的用于进行编码的视频数据(例如，针对要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供对来自视频编码器200的各种单元的输出的临时储存。

示出图5的各个单元以帮助理解由视频编码器200执行的操作。单元可以实现为固定功能电路、可编程电路、或其组合。固定功能电路指的是提供特定功能的电路，以及是对可以执行的操作进行预设的。可编程电路指的是可以被编程以执行各种任务以及在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，所述软件或固件使得可编程电路以由软件或固件的指令定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，单元中的一个或多个单元可以是有区别的电路块(固定功能或可编程的)，以及在一些示例中，单元中的一个或多个单元可以是集成电路。

视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程内核。在使用由可编程电路执行的软件执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的指令(例如，目标代码)，或者在视频编码器200(未示出)内的另一存储器可以存储这样的指令。

视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，以及将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要被编码的原始的视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括根据其它预测模式来执行视频预测的额外的功能单元。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码通路(pass)，以测试编码参数的组合以及针对这样的组合所得到的率失真值。编码参数可以包括对CTU到CU的划分、针对CU的预测模式、针对CU的残差数据的变换类型、针对CU的残差数据的量化参数等。模式选择单元202可以最终选择具有与其它测试的组合相比更好的率失真值的编码参数的组合。

视频编码器200可以将从视频数据存储器230取回的图片划分为一系列的CTU，以及将一个或多个CTU封装在切片内。模式选择单元202可以根据树结构(诸如上文描述的HEVC的QTBT结构或四叉树结构)来划分图片的CTU。如上文所描述的，视频编码器200可以从根据树结构划分CTU来形成一个或多个CU。这样的CU通常还可以称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成针对当前块(例如，当前CU，或在HEVC中，PU和TU的重叠部分)的预测块。为了对当前块的帧间预测，运动估计单元222可以执行运动搜索以识别在一个或多个参考图片(例如，被存储在DPB 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。特别是，运动估计单元222可以例如根据绝对差的总和(SAD)、平方差的总和(SSD)、平均绝对差(MAD)、均方差(MSD)等，来计算表示潜在参考块将与当前块的类似程度的值。运动估计单元222通常可以使用在当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别从这些计算所得到的具有最低值的参考块，最低值指示与当前块最紧密匹配的参考块。

运动估计单元222可以形成一个或多个运动向量(MV)，所述运动向量定义相对于当前块在当前图片中的位置而言参考块在参考图片中的位置。然后，运动估计单元222可以将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动向量，而对于双向帧间预测，运动估计单元222可以提供两个运动向量。然后，运动补偿单元224可以使用运动向量来生成预测块。例如，运动补偿单元224可以使用运动向量来取回参考块的数据。作为另一示例，如果运动向量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器来对针对预测块的值进行内插。此外，对于双向帧间预测，运动补偿单元224可以取回针对通过各自的运动向量标识的两个参考块的数据，以及例如通过逐样本平均或加权平均来将所取回的数据进行组合。

作为另一示例，针对帧内预测或帧内预测译码，帧内预测单元226可以从与当前块邻近的样本来生成预测块。例如，针对方向性模式，帧内预测单元226通常可以在数学上将邻近样本的值进行组合，以及跨越当前块在定义的方向上填充这些计算的值以产生预测块。作为另一示例，针对DC模式，帧内预测单元226可以计算对于当前块的邻近样本的平均值，以及生成预测块以包括针对预测块的每个样本的这个得到的平均值。

在图5的示例中，帧内预测单元226可以包括DIMD单元232和TIMD单元234。DIMD单元232可以根据本公开内容的使用DIMD过程的示例中的任何示例来生成针对当前块的预测块。类似地，TIMD单元234可以根据本公开内容的使用TIMD过程的示例中的任何示例来生成针对当前块的预测块。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204接收来自视频数据存储器230的当前块的原始的未经编码的版本，以及来自模式选择单元202的预测块。残差生成单元204计算在当前块与预测块之间的逐样本差。所得到的逐样本差定义针对当前块的残差块。在一些示例中，残差生成单元204还可以确定在残差块中的样本值之间的差，以使用残差差分脉冲译码调制(RDPCM)来生成残差块。在一些示例中，残差生成单元204可以是使用执行二进制减法的一个或多个减法器电路来形成的。

在其中模式选择单元202将CU划分为PU的示例中，每个PU可以与亮度预测单元和相应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上文所指出的，CU的大小可以指的是CU的亮度译码块的大小，以及PU的大小可以指的是PU的亮度预测单元的大小。假设特定CU的大小是2Nx2N，视频编码器200可以支持2Nx2N或NxN的PU大小用于帧内预测，以及2Nx2N、2NxN、Nx2N、NxN或类似的对称PU大小用于帧间预测。视频编码器200和视频解码器300还可以支持针对2NxnU、2NxnD、nLx2N和nRx2N的PU大小的非对称划分用于帧间预测。

在其中模式选择单元202不将CU进一步划分为PU的示例中，每个CU可以与亮度译码块和相应的色度译码块相关联。如上所述，CU的大小可以指的是CU的亮度译码块的大小。视频编码器200和视频解码器300可以支持2Nx2N、2NxN或Nx2N的CU大小。

对于其它视频译码技术(作为一些示例，诸如块内复制模式译码、仿射模式译码和线性模型(LM)模式译码)，模式选择单元202经由与译码技术相关联的各自的单元来生成针对正在被编码的当前块的预测块。在一些示例中(诸如调色板模式译码)，模式选择单元202可以不生成预测块，而是替代地生成指示以其基于选择的调色板来对块进行重构的方式的语法元素。在这样的模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。

如上文所描述的，残差生成单元204接收针对当前块和相应的预测块的视频数据。然后，残差生成单元204生成针对当前块的残差块。为了生成残差块，残差生成单元204计算在预测块与当前块之间的逐样本差。

变换处理单元206将一个或多个变换应用于残差块，以生成变换系数的块(本文中称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(DCT)、方向性变换、卡洛南-洛伊变换(KLT)、或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多种变换，例如，初级变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。

量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化的程度。量化可能引起信息的损失，以及因此，经量化的变换系数可能具有与由变换处理单元206产生的原先的变换系数相比较低的精度。

逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于经量化的变换系数块，以从变换系数块来重构残差块。重构单元214可以基于经重构的残差块和由模式选择单元202生成的预测块，来生成与当前块相应的经重构的块(尽管潜在地具有某种程度的失真)。例如，重构单元214可以将经重构的残差块的样本添加到来自由模式选择单元202生成的预测块的相应的样本，以产生经重构的块。

滤波器单元216可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元216可以执行去块操作以减少沿着CU的边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将经重构的块存储在DPB 218中。例如，在其中未执行滤波器单元216的操作的示例中，重构单元214可以将经重构的块存储到DPB 218中。在其中执行滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的经重构的块存储到DPB 218中。运动估计单元222和运动补偿单元224可以从DPB 218取回由经重构的(以及潜在地经滤波的)块形成的参考图片，以对后续经编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的在DPB 218中的经重构的块来对当前图片中的其它块进行帧内预测。

通常，熵编码单元220可以对从视频编码器200的其它功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对语法元素(其是视频数据的另一示例)执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间划分熵(PIPE)译码操作、指数哥伦布编码操作、或另一类型的熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下操作。

视频编码器200可以输出包括重构切片或图片的块所需要的经熵编码的语法元素的比特流。特别是，熵编码单元220可以输出比特流。

上文描述的操作是相对于块进行描述的。这样的描述应当被理解为用于亮度译码块和/或色度译码块的操作。如上文所描述的，在一些示例中，亮度译码块和色度译码块是CU的亮度分量和色度分量。在一些示例中，亮度译码块和色度译码块是PU的亮度分量和色度分量。

在一些示例中，关于亮度译码块执行的操作不需要针对色度译码块来重复。作为一个示例，识别针对亮度译码块的运动向量(MV)和参考图片的操作不需要重复用于识别针对色度块的MV和参考图片。而是，可以缩放针对亮度译码块的MV以确定针对色度块的MV，以及参考图片可以是相同的。作为另一示例，针对亮度译码块和色度译码块，帧内预测过程可以是相同的。

在一些示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；将第一帧内预测模式、第二帧内预测模式和第三帧内预测模式确定为与在所述HoG向量中的具有最大幅度的方向相对应的帧内预测模式；基于在所述HoG向量中的针对与所述第一帧内预测模式、所述第二帧内预测模式和所述第三帧内预测模式相对应的方向的幅度，来推导权重；确定针对所述第一帧内预测模式的初步预测块、针对所述第二帧内预测模式的初步预测块、针对所述第三帧内预测模式的初步预测块和针对平面模式的初步预测块；基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块；以及基于所述预测块来对所述块进行编码。

在一些示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；确定第一帧内预测模式，其中，所述第一帧内预测模式对应于在所述HoG向量中的具有最大幅度的方向；基于第一帧内预测模式来生成第一候选列表，其中，所述候选列表包括第一多个帧内预测模式；针对在所述第一候选列表中的每个帧内预测模式：使用在所述第一候选列表中的帧内预测模式来计算模板区域的预测样本，其中，所述模板区域在所述块的上方和左侧；基于使用在所述第一候选列表中的帧内预测模式计算的所述模板区域的所述预测样本和所述模板区域的经重构的样本，来确定针对在所述第一候选列表中的帧内预测模式的成本；基于针对在所述第一候选列表中的帧内预测模式的成本，来确定在所述第一候选列表中的最低成本模式；确定第二帧内预测模式，其中，所述第二帧内预测模式对应于在所述HoG向量中的具有第二最大幅度的方向；基于所述第一帧内预测模式来生成第二候选列表，其中，所述第二候选列表包括第二多个帧内预测模式；针对在第二候选列表中的每个帧内预测模式：使用在所述第二候选列表中的帧内预测模式来计算所述模板区域的预测样本；基于使用在所述第二候选列表中的帧内预测模式计算的所述模板区域的所述预测样本和所述模板区域的所述经重构的样本，来确定针对在所述第二候选列表中的帧内预测模式的成本；基于针对在所述第二候选列表中的帧内预测模式的成本，来确定在所述第二候选列表中的最低成本模式；确定针对在所述第一候选列表中的最低成本模式的初步预测块和针对在所述第二候选列表中的最低成本模式的初步预测块；基于对至少所述初步预测块的融合来生成预测块；以及基于所述预测块来对所述块进行编码。

在一些示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个非平面帧内预测模式中的每个各自的帧内预测模式：使用各自的帧内预测模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内预测模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内预测模式的成本；基于针对所述非平面帧内预测模式的成本，来对在所述MPM列表中的所述多个非平面帧内预测模式进行排序；确定在所述MPM列表中的选择的帧内预测模式；使用所述选择的帧内预测模式来生成预测块；以及基于所述预测块来对所述块进行编码。

在一些示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行编码。

在一些示例中，视频编码器200表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；基于所述第二帧内预测模式减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本：确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对第一帧内预测模式和所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行编码。

图6是示出可以执行本公开内容的技术的示例视频解码器300的框图。图6是出于解释的目的来提供的，并且不是对在本公开内容中广泛地举例说明和描述的技术的限制。出于解释的目的，本公开内容描述根据VVC(ITU-TH.266，正在开发)和HEVC(ITU-TH.265)技术的视频解码器300。然而，本公开内容的技术可以由被配置用于其它视频译码标准的视频译码设备来执行。

在图6的示例中，视频解码器300包括译码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任何或全部单元可以是在一个或多个处理器中或者在处理电路系统中实现的。例如，视频解码器300的单元可以实现为一个或多个电路或逻辑元件作为硬件电路的一部分，或者作为处理器、ASIC或FPGA的一部分。此外，视频解码器300可以包括额外或替代的处理器或处理电路来执行这些和其它功能。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括根据其它预测模式来执行预测的额外的功能单元。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，可以从计算机可读介质110(图1)获得被存储在CPB存储器320中的视频数据。CPB存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除了经译码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储经解码的图片，视频解码器300可以输出经解码的图片，和/或在解码经编码的视频比特流的后续数据或图片时使用经解码的图片作为参考视频数据。CPB存储器320和DPB 314可以由各种存储设备中的任何存储设备形成，诸如DRAM，包括SDRAM、MRAM、RRAM或其它类型的存储设备。CPB存储器320和DPB 314可以由相同的存储设备或单独的存储设备来提供。在各个示例中，CPB存储器320可以与视频解码器300的其它组件在芯片上，或者相对于那些组件在芯片外。

另外或者替代地，在一些示例中，视频解码器300可以从存储器120(图1)中取回经译码的视频数据。也就是说，存储器120可以如上文所讨论地利用CPB存储器320来存储数据。类似地，当视频解码器300的一些或全部功能是以要由视频解码器300的处理电路系统执行的软件来实现时，存储器120可以存储要由视频解码器300执行的指令。

示出在图6中示出的各个单元以帮助理解由视频解码器300执行的操作。单元可以实现为固定功能电路、可编程电路、或其组合。类似于图5，固定功能电路指的是提供特定功能的电路，以及是对可以执行的操作进行预设的。可编程电路指的是可以被编程以执行各种任务以及在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，所述软件或固件使得可编程电路以由软件或固件的指令定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，单元中的一个或多个单元可以是有区别的电路块(固定功能或可编程的)，以及在一些示例中，单元中的一个或多个单元可以是集成电路。

视频解码器300可以包括由可编程电路形成的ALU、EFU、数字电路、模拟电路和/或可编程内核。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。

熵解码单元302可以从CPB接收经编码的视频数据，以及对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成经解码的视频数据。

通常，视频解码器300以逐块为基础来重构图片。视频解码器300可以单独地对每个块执行重构操作(其中，当前正在被重构(即，被解码)的块可以称为“当前块”)。

熵解码单元302可以对定义经量化的变换系数块的经量化的变换系数的语法元素以及变换信息(诸如量化参数(QP)和/或(多个)变换模式指示)进行熵解码。逆量化单元306可以使用与经量化的变换系数块相关联的QP来确定量化的程度，以及同样地，确定供逆量化单元306应用的逆量化的程度。逆量化单元306可以例如执行按位左移操作以对经量化的变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆卡洛南-洛伊变换(KLT)、逆旋转变换、逆方向性变换或另一逆变换应用于变换系数块。

此外，预测处理单元304根据由熵解码单元302进行熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是经帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示在DPB 314中的要从其取回参考块的参考图片、以及标识相对于当前块在当前图片中的位置而言参考块在参考图片中的位置的运动向量。运动补偿单元316通常可以以与关于运动补偿单元224(图5)所描述的方式基本上类似的方式来执行帧间预测过程。

作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据通过预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图5)所描述的方式基本上类似的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314取回对于当前块的邻近样本的数据。

在图6的示例中，帧内预测单元318包括DIMD单元322和TIMD单元324。DIMD单元322可以根据本公开内容的使用DIMD过程的示例中的任何示例来生成针对当前块的预测块。类似地，TIMD单元324可以根据本公开内容的使用TIMD过程的示例中的任何示例来生成针对当前块的预测块。

重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的相应的样本来重构当前块。

滤波器单元312可以对经重构的块执行一个或多个滤波器操作。例如，滤波器单元312可以执行去块操作以减少沿着经重构的块的边缘的块效应伪影。不一定在所有示例中都执行滤波器单元312的操作。

视频解码器300可以将经重构的块存储在DPB 314中。例如，在其中未执行滤波器单元312的操作的示例中，重构单元310可以将经重构的块存储到DPB 314中。在其中执行滤波器单元312的操作的示例中，滤波器单元312可以将经滤波的经重构的块存储到DPB 314中。如上文所讨论的，DPB 314可以将参考信息(诸如用于帧内预测的当前图片以及用于后续运动补偿的先前解码的图片的样本)提供给预测处理单元304。此外，视频解码器300可以从DPB 314输出经解码的图片(例如，经解码的视频)，用于在显示设备(诸如图1的显示设备118)上的后续呈现。

在一些示例中，视频解码器300表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；将第一帧内预测模式、第二帧内预测模式和第三帧内预测模式确定为与在所述HoG向量中的具有最大幅度的方向相对应的帧内预测模式；基于在所述HoG向量中的针对与所述第一帧内预测模式、所述第二帧内预测模式和所述第三帧内预测模式相对应的方向的幅度，来推导权重；确定针对所述第一帧内预测模式的初步预测块、针对所述第二帧内预测模式的初步预测块、针对所述第三帧内预测模式的初步预测块和针对平面模式的初步预测块；基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块；以及基于所述预测块来对所述块进行重构。

在一些示例中，视频解码器300表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；确定第一帧内预测模式，其中，所述第一帧内预测模式对应于在所述HoG向量中的具有最大幅度的方向；基于第一帧内预测模式来生成第一候选列表，其中，所述候选列表包括第一多个帧内预测模式；针对在所述第一候选列表中的每个帧内预测模式：使用在所述第一候选列表中的帧内预测模式来计算模板区域的预测样本，其中，所述模板区域在所述块的上方和左侧；基于使用在所述第一候选列表中的帧内预测模式计算的所述模板区域的所述预测样本和所述模板区域的经重构的样本，来确定针对在所述第一候选列表中的帧内预测模式的成本；基于针对在所述第一候选列表中的帧内预测模式的成本，来确定在所述第一候选列表中的最低成本模式；确定第二帧内预测模式，其中，所述第二帧内预测模式对应于在所述HoG向量中的具有第二最大幅度的方向；基于所述第一帧内预测模式来生成第二候选列表，其中，所述第二候选列表包括第二多个帧内预测模式；针对在第二候选列表中的每个帧内预测模式：使用在所述第二候选列表中的帧内预测模式来计算所述模板区域的预测样本；基于使用在所述第二候选列表中的帧内预测模式计算的所述模板区域的所述预测样本和所述模板区域的所述经重构的样本，来确定针对在所述第二候选列表中的帧内预测模式的成本；基于针对在所述第二候选列表中的帧内预测模式的成本，来确定在所述第二候选列表中的最低成本模式；确定针对在所述第一候选列表中的最低成本模式的初步预测块和针对在所述第二候选列表中的最低成本模式的初步预测块；基于对至少所述初步预测块的融合来生成预测块；以及基于所述预测块来对所述块进行重构。

在一些示例中，视频解码器300表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个非平面帧内预测模式中的每个各自的帧内预测模式：使用各自的帧内预测模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内预测模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内预测模式的成本；基于针对所述非平面帧内预测模式的成本，来对在所述MPM列表中的所述多个非平面帧内预测模式进行排序；确定在所述MPM列表中的选择的帧内预测模式；使用所述选择的帧内预测模式来生成预测块；以及基于所述预测块来对所述块进行重构。

在一些示例中，视频解码器300表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对第一帧内预测模式和所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和根据针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构。

在一些示例中，视频解码器300表示被配置为对视频数据进行编码的设备的示例，其包括被配置为存储视频数据的存储器和一个或多个处理单元，所述一个或多个处理单元是在电路系统中实现的并且被配置为进行以下操作：针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；基于所述第二帧内预测模式减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本：确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对第一帧内预测模式和所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和根据针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构。

图7是示出根据本公开内容的技术的用于对当前块进行编码的示例方法的流程图。当前块可以包括当前CU。虽然是相对于视频编码器200(图1和5)进行描述的，但是应当理解的是，其它设备可以被配置为执行与图7的方法类似的方法。

在这个示例中，视频编码器200最初预测当前块(700)。例如，视频编码器200可以生成针对当前块的预测块。视频编码器200可以使用本公开内容的DIMD或TIMD过程来生成针对当前块的预测块。视频编码器200可以接着计算针对当前块的残差块(702)。为了计算残差块，视频编码器200可以计算在针对当前块的原先的未编码块与预测块之间的差。然后，视频编码器200可以对残差块进行变换，以及对残差块的变换系数进行量化(704)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(706)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(708)。例如，视频编码器200可以使用CAVLC或CABAC来对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(710)。

图8是示出根据本公开内容的技术的用于对视频数据的当前块进行解码的示例方法的流程图。当前块可以包括当前CU。虽然是相对于视频解码器300(图1和6)进行描述的，但是应当理解的是，其它设备可以被配置为执行与图8的方法类似的方法。

视频解码器300可以接收针对当前块的经熵编码的数据，诸如经熵编码的预测信息和针对与当前块相对应的残差块的变换系数的经熵编码的数据(800)。视频解码器300可以对经熵编码的数据进行熵解码，以确定针对当前块的预测信息以及再现残差块的变换系数(802)。视频解码器300可以预测当前块(804)，例如，使用如通过针对当前块的预测信息指示的帧内预测模式或帧间预测模式，以计算针对当前块的预测块。视频解码器300可以使用本公开内容的DIMD或TIMD过程来生成针对当前块的预测块。视频解码器300可以接着逆扫描再现的变换系数(806)，以创建经量化的变换系数的块。视频解码器300可以接着对变换系数进行逆量化，以及将逆变换应用于变换系数以产生残差块(808)。视频解码器300可以通过组合预测块和残差块来最终解码当前块(810)。

图9是示出根据本公开内容的一个或多个技术的使用解码器侧帧内模式推导(DIMD)来对视频数据进行编码或解码的第一示例方法的流程图。本公开内容的流程图是作为示例来提供的。根据本公开内容的技术的其它示例过程可以包括更多、更少或不同的动作，或动作可以是以不同的次序或并行地执行的。

在图9的示例中，视频译码器(例如，视频编码器200或视频解码器300)可以确定针对视频数据的块的HoG向量(900)。针对块的HoG向量包括针对多个方向的幅度。视频译码器可以确定HoG向量，如在本公开内容中别处所描述的。

此外，视频译码器可以将第一帧内预测模式、第二帧内预测模式及第三帧内预测模式确定为与在HoG向量中的具有最大幅度的方向相对应的帧内预测模式(902)。视频译码器可以基于在HoG向量中的针对与第一帧内预测模式、第二帧内预测模式和第三帧内预测模式相对应的方向的幅度，来推导权重(904)。例如，mode1、mode2和mode3可以表示来自DIMD的具有归一化的幅度mag1和mag2、mag3的前三个帧内预测模式。视频译码器可以将针对第一帧内预测模式、第二帧内预测模式、第三帧内预测模式和平面模式的权重确定为 和1/4。

此外，视频译码器可以确定针对第一帧内预测模式的初步预测块、针对第二帧内预测模式的初步预测块、针对第三帧内预测模式的初步预测块和针对平面模式的初步预测块(906)。换言之，视频译码器可以使用第一帧内预测模式来确定针对当前块的第一初步预测块，使用第二帧内预测模式来确定针对当前块的第二初步预测块，使用第三帧内预测模式来确定针对当前块的第三初步预测块，以及使用平面模式来确定针对当前块的第四初步预测块。

视频译码器可以基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块(908)。例如，视频译码器可以通过针对预测块的每个样本计算初步预测块的相应的样本的加权平均值来生成预测块。

视频译码器可以基于预测块来对块进行重构，或者基于预测块来对块进行编码(910)。例如，在视频译码器是视频编码器200的示例中，视频编码器200可以基于预测块来对块进行编码。基于预测块来对块进行编码可以涉及：基于块的样本和预测块的样本来生成残差数据；对残差数据应用变换；对经变换的残差数据进行量化；以及对指示经量化的经变换的残差数据的语法元素进行熵编码。在视频译码器是视频解码器300的示例中，视频解码器300可以基于预测块来对块进行重构。基于预测块来对块进行重构可以涉及：将预测块的样本添加到块的残余数据的相应的样本。

图10是示出根据本公开内容的一个或多个技术的使用DIMD来对视频数据进行编码或解码的第二示例方法的流程图。在图10的示例中，视频译码器(例如，视频编码器200或视频解码器300)可以确定针对视频数据的块的HoG向量(1000)。针对块的HoG向量包括针对多个方向的幅度。视频译码器可以确定HoG向量，如在本公开内容中别处所描述的。

此外，视频译码器可以确定第一帧内预测模式(1002)。第一帧内预测模式对应于在HoG向量中的具有最大幅度的方向。视频译码器还可以基于第一帧内预测模式来生成第一候选列表(1004)。候选列表包括第一多个帧内预测模式。在一些示例中，候选列表包括具有与对应于在HoG向量中的具有最大幅度的方向的帧内预测模式邻近的方向的帧内预测模式。

针对在第一候选列表中的每个帧内预测模式，视频译码器可以使用在第一候选列表中的帧内预测模式来计算模板区域的预测样本，其中，模板区域在块的上方和左侧(1006)。此外，针对在第一候选列表中的每个帧内预测模式，视频译码器还可以基于模板区域的使用在第一候选列表中的帧内预测模式计算的预测样本和模板区域的经重构的样本，来确定针对在第一候选列表中的帧内预测模式的成本(1008)。例如，视频译码器可以将成本确定为模板区域的预测样本和模板区域的经重构的样本的SATD。视频译码器可以基于针对在第一候选列表中的帧内预测模式的成本，来确定在第一候选列表中的最低成本模式(1010)。

此外，在图10的示例中，视频译码器可以确定第二帧内预测模式(1012)。第二帧内预测模式对应于在HoG向量中的具有第二最大幅度的方向。视频译码器可以基于第一帧内预测模式来生成第二候选列表(1014)。第二候选列表包括第二多个帧内预测模式。在一些示例中，候选列表包括具有邻近于第二帧内预测模式的方向的帧内预测模式。

针对在第二候选列表中的每个帧内预测模式，视频译码器可以使用在第二候选列表中的帧内预测模式来计算模板区域的预测样本(1016)。此外，针对在第二候选列表中的每个帧内预测模式，视频译码器可以基于模板区域的使用在第二候选列表中的帧内预测模式计算的预测样本和模板区域的经重构的样本，来确定针对在第二候选列表中的帧内预测模式的成本(1018)。例如，视频译码器可以将成本确定为模板区域的预测样本和模板区域的经重构的样本的SATD。视频译码器可以基于针对在第二候选列表中的帧内预测模式的成本，来确定在第二候选列表中的最低成本模式(1020)。

此外，视频译码器可以确定针对在第一候选列表中的最低成本模式的初步预测块和针对在第二候选列表中的最低成本模式的初步预测块(1022)。视频译码器可以接着基于对至少初步预测块的融合来生成预测块(1024)。视频译码器可以基于预测块来对块进行重构，或者基于预测块来对块进行编码。例如，在视频译码器是视频编码器200的示例中，视频编码器200可以基于预测块来对块进行编码。基于预测块来对块进行编码可以涉及：基于块的样本和预测块的样本来生成残差数据；对残差数据应用变换；对经变换的残差数据进行量化；以及对指示经量化的经变换的残差数据的语法元素进行熵编码。在视频译码器是视频解码器300的示例中，视频解码器300可以基于预测块来对块进行重构。基于预测块来对块进行重构可以涉及：将预测块的样本添加到块的残余数据的相应的样本。

图11是示出根据本公开内容的一个或多个技术的使用基于模板的帧内预测模式推导(TIMD)来对视频数据进行编码或解码的示例方法的流程图。在图11的示例中，视频译码器(例如，视频编码器200或视频解码器300)可以基于针对模板区域的参考样本并且使用各自的帧内预测模式，来生成针对模板区域的预测样本(1100)。模板区域是在视频数据的块的上方或者左侧。

此外，视频译码器可以基于在(1)针对模板区域的预测样本与(2)针对模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本(1102)。例如，视频译码器可以将针对各自的帧内预测模式的成本确定为针对模板区域的预测样本和针对模板区域的经重构的样本的SATD。视频译码器可以针对在MPM列表中的多个帧内预测模式中的每个各自的帧内预测模式来重复动作1100及1102。

视频译码器可以确定第一帧内预测模式和第二帧内预测模式(1104)。第一帧内预测模式和第二帧内预测模式是MPM列表中的具有最低成本的帧内预测模式。

此外，视频译码器可以确定针对第一帧内预测模式的权重和针对第二帧内预测模式的权重(1106)。视频译码器可以以各种方式中的一者来确定权重。例如，视频译码器可以基于针对第一帧内预测模式的成本和针对第二帧内预测模式的成本来确定权重。例如，视频译码器可以确定针对帧内预测模式的权重与针对帧内预测模式的成本成比例。针对第一帧内预测模式的权重和针对第二帧内预测模式的权重的总和可以等于1。在一些示例中，视频译码器可以通过将针对第二帧内预测模式的成本除以针对第一预测模式的成本和针对第二帧内预测模式的成本的总和，来确定针对第一帧内预测模式的权重。视频译码器可以通过将针对第一帧内预测模式的成本除以第一帧内预测模式和第二帧内预测模式的总和，来确定针对第二帧内预测模式的权重。

视频译码器可以确定针对第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块(1108)。换言之，视频译码器可以使用第一帧内预测模式来确定针对当前块的第一初步预测块，以及视频译码器可以使用第二帧内预测模式来确定针对当前块的第二初步预测块。

此外，视频译码器可以基于对根据针对第一帧内预测模式的权重加权的针对第一帧内预测模式的初步预测块和根据针对第二帧内预测模式的权重加权的针对第二帧内预测模式的初步预测块的融合，来生成预测块(1110)。例如，视频译码器可以通过针对预测块的每个样本计算第一初步预测块和第二初步预测块的相应的样本的加权平均值来生成预测块。在一些示例中，仅当第一帧内预测模式和第二帧内预测模式不同时，视频译码器才可以基于对初步预测块的融合来生成预测块。换言之，视频译码器可以基于第一帧内预测模式与第二帧内预测模式不同，来基于对初步块的融合生成预测块。

在一些示例中，视频译码器可以确定对初步块的融合的成本。视频译码器可以基于对初步块的融合小于帧内预测模式中的任一者的成本，来生成预测块。换言之，融合模式的成本可以是例如使用SATD成本来估计的。如果这样的成本高于无融合模式的成本，则不应用融合。

在一些示例中，视频译码器可以基于根据从子块大小推导的预测参数对初步块的融合，来生成预测块。换言之，视频译码器是否基于融合初步块来生成预测块可以取决于一个或多个预测参数，其中预测参数是从子块大小推导的。例如，视频译码器可以基于从不同的子块大小推导的预测参数来计算对融合的模式的预测。例如，在帧内子分区(ISP)模式下，当前块可以分为四个大小相等的子分段。视频译码器可以基于子块大小来计算预测参数，那些参数可以包括是否应用帧内参考平滑、是否应用PDPC等。

视频译码器可以基于预测块来对块进行重构，或者基于预测块来对块进行编码(1112)。例如，在视频译码器是视频编码器200的示例中，视频编码器200可以基于预测块来对块进行编码。基于预测块来对块进行编码可以涉及：基于块的样本和预测块的样本来生成残差数据；对残差数据应用变换；对经变换的残差数据进行量化；以及对指示经量化的经变换的残差数据的语法元素进行熵编码。在视频译码器是视频解码器300的示例中，视频解码器300可以基于预测块来对块进行重构。基于预测块来对块进行重构可以涉及：将预测块的样本添加到块的残余数据的相应的样本。

在一些示例中，视频译码器可以基于第二帧内预测模式的成本减去第一帧内预测模式的成本小于第一帧内预测模式的成本来执行步骤1106、1108、1110和1112。例如，令mode1和mode2表示第一帧内预测模式和第二帧内预测模式，以及令cost1和cost2表示第一帧内预测模式和第二帧内预测模式的成本。在这个示例中，如果cost2-cost1<＝cost1，则视频译码器可以对基于mode1和mode2使用基于成本推导的权重(例如，和/>)来生成的初步块进行融合。否则，视频译码器可以使用基于最低成本帧内预测模式生成的初步块作为针对块的预测块。因此，视频译码器可以基于第二帧内预测模式的成本减去第一帧内预测模式的成本小于第一帧内预测模式的成本，基于对根据针对第一帧内预测模式加权的初步预测块和根据针对第二帧内预测模式的权重加权的初步预测块的融合，来生成预测块。

以下是可以根据本公开内容的一个或多个技术的各方面的非限制性列表。

方面1：一种对视频数据进行编码或解码的方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；将第一帧内模式、第二帧内模式和第三帧内模式确定为在所述HoG向量中的与具有最大幅度的方向相对应的帧内模式；基于在所述HoG向量中的针对与所述第一帧内模式、所述第二帧内模式和所述第三帧内模式相对应的方向的幅度，来推导权重；确定针对所述第一帧内模式的初步预测块、针对所述第二帧内模式的初步预测块、针对所述第三帧内模式的初步预测块和针对平面模式的初步预测块；基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2：一种对视频数据进行编码或解码的方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；确定第一帧内模式，其中，所述第一帧内模式对应于在所述HoG向量中的具有最大幅度的方向；基于所述第一帧内模式来生成第一候选列表，其中，所述候选列表包括第一多个帧内模式；针对在所述第一候选列表中的每个帧内模式：使用在所述第一候选列表中的帧内模式来计算模板区域的预测样本，其中，所述模板区域在所述块的上方和左侧；基于使用在所述第一候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的经重构的样本，来确定针对在所述第一候选列表中的帧内模式的成本；基于针对在所述第一候选列表中的帧内模式的成本，来确定在所述第一候选列表中的最低成本模式；确定第二帧内模式，其中，所述第二帧内模式对应于在所述HoG向量中的具有第二最大幅度的方向；基于所述第一帧内模式来生成第二候选列表，其中，所述第二候选列表包括第二多个帧内模式；针对在第二候选列表中的每个帧内模式：使用在所述第二候选列表中的帧内模式来计算所述模板区域的预测样本；基于使用在所述第二候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的所述经重构的样本，来确定针对在所述第二候选列表中的帧内模式的成本；基于针对在所述第二候选列表中的帧内模式的成本，来确定在所述第二候选列表中的最低成本模式；确定针对在所述第一候选列表中的最低成本模式的初步预测块和针对在所述第二候选列表中的最低成本模式的初步预测块；基于对至少所述初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面3：一种对视频数据进行编码或解码的方法包括：针对在最可能模式(MPM)列表中的多个非平面帧内模式中的每个各自的帧内模式：使用各自的帧内模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内模式的成本；基于针对所述非平面帧内模式的成本，来对在所述MPM列表中的所述多个非平面帧内模式进行排序；确定在所述MPM列表中的选择的帧内模式；使用所述选择的帧内预测模式来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面4：一种对视频数据进行编码或解码的方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面5：一种对视频数据进行编码或解码的方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；基于所述第二帧内模式减去所述第一帧内模式的成本小于所述第一帧内模式的成本：确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面6：一种用于对视频数据进行译码的设备，所述设备包括用于执行方面1-5中的任何方面的方法的一个或多个单元。

方面7：根据方面6所述的设备，其中，所述一个或多个单元包括在电路系统中实现的一个或多个处理器。

方面8：根据方面6和方面7中的任何方面所述的设备，还包括用于存储所述视频数据的存储器。

方面9：根据方面6-8中的任何方面所述的设备，还包括被配置为显示经解码的视频数据的显示器。

方面10：根据方面6-9中的任何方面所述的设备，其中，所述设备包括照相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。

方面11：一种具有存储在其上的指令的计算机可读存储介质，所述指令当被执行时使得一个或多个处理器执行方面1-5中的任何方面的方法。

方面12：根据方面1-11中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行重构。

方面13：根据方面1-11中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行编码。

方面1A、一种对视频数据进行编码或解码的方法，所述方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；将第一帧内模式、第二帧内模式和第三帧内模式确定为在所述HoG向量中的与具有最大幅度的方向相对应的帧内模式；基于在所述HoG向量中的针对与所述第一帧内模式、所述第二帧内模式和所述第三帧内模式相对应的方向的幅度，来推导权重；确定针对所述第一帧内模式的初步预测块、针对所述第二帧内模式的初步预测块、所述第三帧内模式的初步预测块和针对平面模式的初步预测块；基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1B、一种对视频数据进行编码或解码的方法，所述方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；确定第一帧内模式，其中，所述第一帧内模式对应于在所述HoG向量中的具有最大幅度的方向；基于所述第一帧内模式来生成第一候选列表，其中，所述候选列表包括第一多个帧内模式；针对在所述第一候选列表中的每个帧内模式：使用在所述第一候选列表中的帧内模式来计算模板区域的预测样本，其中，所述模板区域在所述块的上方和左侧；基于使用在所述第一候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的经重构的样本，来确定针对在所述第一候选列表中的帧内模式的成本；基于针对在所述第一候选列表中的帧内模式的成本，来确定在所述第一候选列表中的最低成本模式；确定第二帧内模式，其中，所述第二帧内模式对应于在所述HoG向量中的具有第二最大幅度的方向；基于所述第一帧内模式来生成第二候选列表，其中，所述第二候选列表包括第二多个帧内模式；针对在第二候选列表中的每个帧内模式：使用在所述第二候选列表中的帧内模式来计算所述模板区域的预测样本；基于使用在所述第二候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的所述经重构的样本，来确定针对在所述第二候选列表中的帧内模式的成本；基于针对在所述第二候选列表中的帧内模式的成本，来确定在所述第二候选列表中的最低成本模式；确定针对在所述第一候选列表中的最低成本模式的初步预测块和针对在所述第二候选列表中的最低成本模式的初步预测块；基于对至少所述初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1C、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个非平面帧内模式中的每个各自的帧内模式：使用各自的帧内模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内模式的成本；基于针对所述非平面帧内模式的成本，来对在所述MPM列表中的所述多个非平面帧内模式进行排序；确定在所述MPM列表中的选择的帧内模式；使用所述选择的帧内预测模式来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1D、一种对视频数据进行编码或解码的方法，所述方法包括：生成包括多个帧内模式的最可能模式(MPM)列表，其中，所述多个帧内模式包括多个非平面帧内模式；针对在所述MPM列表中的所述多个非平面帧内模式中的每个各自的帧内模式：使用各自的帧内模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内模式的成本；基于针对帧内模式的成本，来对在所述MPM列表中的帧内模式进行排序；确定在所述MPM列表中的选择的帧内模式；使用所述选择的帧内预测模式来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2D、根据方面1D所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的主MPM而非在所述MPM列表中的辅MPM进行排序。

方面3D、根据方面1D所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的非推导的帧内模式进行排序，并且不对推导的帧内模式进行排序。

方面4D、根据方面1D所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的前N个帧内模式而非在所述MPM列表中的第二M个帧内模式进行排序，其中，N和M是非零数字。

方面1E、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2E、根据方面1E所述的方法，其中，基于对所述初步块的融合来生成所述预测块包括：基于所述第一帧内模式和所述第二帧内模式不同，基于对所述初步块的融合来生成所述预测块。

方面3E、根据方面1E所述的方法，其中：所述方法还包括确定对初步块的所述融合的成本，并且基于对初步块的所述融合来生成所述预测块包括基于所述融合的成本小于所述帧内模式中的任何帧内模式的成本，基于对初步块的所述融合来生成所述预测块。

方面4E、根据方面1E所述的方法，其中，基于对初步预测块的所述融合来生成所述预测块包括：基于从子块大小推导的预测参数来生成所述预测块。

方面1F、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；基于所述第二帧内模式减去所述第一帧内模式的成本小于所述第一帧内模式的成本：确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2F、根据方面1F所述的方法，其中，基于对所述初步块的融合来生成所述预测块包括：基于所述第一帧内模式和所述第二帧内模式不同，基于对所述初步块的融合来生成所述预测块。

方面3F、根据方面1F所述的方法，其中，确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重包括：基于所述第一帧内模式的成本和所述第二帧内模式的成本来确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重。

方面1G、一种用于对视频数据进行译码的设备，所述设备包括用于执行方面1A–3F中的任何方面的方法的一个或多个单元。

方面2G、根据方面1G所述的设备，其中，所述一个或多个单元包括在电路系统中实现的一个或多个处理器。

方面3G、根据方面1G所述的设备，还包括用于存储所述视频数据的存储器。

方面4G、根据方面1G所述的设备，还包括被配置为显示经解码的视频数据的显示器。

方面5G、根据方面1G所述的设备，其中，所述设备包括照相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。

方面1H、一种具有存储在其上的指令的计算机可读存储介质，所述指令当被执行时使得一个或多个处理器执行方面1A–3F中的任何方面的方法。

方面1I、根据方面1A-1H中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行重构。

方面2I、根据方面1A-1H中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行编码。

方面1A’、一种对视频数据进行编码或解码的方法，所述方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；将第一帧内模式、第二帧内模式和第三帧内模式确定为在所述HoG向量中的与具有最大幅度的方向相对应的帧内模式；基于在所述HoG向量中的针对与所述第一帧内模式、所述第二帧内模式和所述第三帧内模式相对应的方向的幅度，来推导权重；确定针对所述第一帧内模式的初步预测块、针对所述第二帧内模式的初步预测块、针对所述第三帧内模式的初步预测块和针对平面模式的初步预测块；基于对根据所述权重加权的初步预测块和根据针对所述平面模式的权重加权的初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1B’、一种对视频数据进行编码或解码的方法，所述方法包括：确定针对所述视频数据的块的梯度直方图(HoG)向量，其中，针对所述块的所述HoG向量包括针对多个方向的幅度；确定第一帧内模式，其中，所述第一帧内模式对应于在所述HoG向量中的具有最大幅度的方向；基于所述第一帧内模式来生成第一候选列表，其中，所述候选列表包括第一多个帧内模式；针对在所述第一候选列表中的每个帧内模式：使用在所述第一候选列表中的帧内模式来计算模板区域的预测样本，其中，所述模板区域在所述块的上方和左侧；基于使用在所述第一候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的经重构的样本，来确定针对在所述第一候选列表中的帧内模式的成本；基于针对在所述第一候选列表中的帧内模式的成本，来确定在所述第一候选列表中的最低成本模式；确定第二帧内模式，其中，所述第二帧内模式对应于在所述HoG向量中的具有第二最大幅度的方向；基于所述第一帧内模式来生成第二候选列表，其中，所述第二候选列表包括第二多个帧内模式；针对在第二候选列表中的每个帧内模式：使用在所述第二候选列表中的帧内模式来计算所述模板区域的预测样本；基于使用在所述第二候选列表中的帧内模式计算的所述模板区域的所述预测样本和所述模板区域的所述经重构的样本，来确定针对在所述第二候选列表中的帧内模式的成本；基于针对在所述第二候选列表中的帧内模式的成本，来确定在所述第二候选列表中的最低成本模式；确定针对在所述第一候选列表中的最低成本模式的初步预测块和针对在所述第二候选列表中的最低成本模式的初步预测块；基于对至少所述初步预测块的融合来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1C’、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个非平面帧内模式中的每个各自的帧内模式：使用各自的帧内模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内模式的成本；基于针对所述非平面帧内模式的成本，来对在所述MPM列表中的所述多个非平面帧内模式进行排序；确定在所述MPM列表中的选择的帧内模式；使用所述选择的帧内预测模式来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面1D’、一种对视频数据进行编码或解码的方法，所述方法包括：生成包括多个帧内模式的最可能模式(MPM)列表，其中，所述多个帧内模式包括多个非平面帧内模式；针对在所述MPM列表中的所述多个非平面帧内模式中的每个各自的帧内模式：使用各自的帧内模式来生成模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方和左侧；以及基于在(1)模板区域的使用各自的帧内模式生成的预测样本与(2)模板区域的经重构的样本之间的差，来计算针对各自的帧内模式的成本；基于针对帧内模式的成本，来对在所述MPM列表中的帧内模式进行排序；确定在所述MPM列表中的选择的帧内模式；使用所述选择的帧内预测模式来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2D’、根据方面1D’所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的主MPM而非在所述MPM列表中的辅MPM进行排序。

方面3D’、根据方面1D’-2D’中的任何方面所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的非推导的帧内模式进行排序，并且不对推导的帧内模式进行排序。

方面4D’、根据方面1D’-3D’中的任何方面所述的方法，其中，对在所述MPM列表中的帧内模式进行排序包括：对在所述MPM列表中的前N个帧内模式而非在所述MPM列表中的第二M个帧内模式进行排序，其中，N和M是非零数字。

方面1E’、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2E’、根据方面1E’所述的方法，其中，基于对所述初步块的融合来生成所述预测块包括：基于所述第一帧内模式和所述第二帧内模式不同，基于对所述初步块的融合来生成所述预测块。

方面3E’、根据方面1E’-2E’中的任何方面所述的方法，其中：所述方法还包括确定对初步块的所述融合的成本，并且基于对初步块的所述融合来生成所述预测块包括基于所述融合的成本小于所述帧内模式中的任何帧内模式的成本，基于对初步块的所述融合来生成所述预测块。

方面4E’、根据方面1E’-3E’中的任何方面所述的方法，其中，基于对初步预测块的所述融合来生成所述预测块包括：基于从子块大小推导的预测参数来生成所述预测块。

方面1F’、一种对视频数据进行编码或解码的方法，所述方法包括：针对在最可能模式(MPM)列表中的多个帧内模式中的每个各自的帧内模式：基于针对模板区域的参考样本以及使用各自的帧内模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内模式的成本；确定第一帧内模式和第二帧内模式，其中，所述第一帧内模式和所述第二帧内模式是在所述MPM列表中的具有最低成本的帧内模式；基于所述第二帧内模式减去所述第一帧内模式的成本小于所述第一帧内模式的成本：确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重；确定针对所述第一帧内模式的初步预测块和针对所述第二帧内模式的初步预测块；基于对根据针对所述第一帧内模式的权重加权的初步预测块和根据针对所述第二帧内模式的权重加权的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

方面2F’、根据方面1F’所述的方法，其中，基于对所述初步块的融合来生成所述预测块包括：基于所述第一帧内模式和所述第二帧内模式不同，基于对所述初步块的融合来生成所述预测块。

方面3F’、根据方面1F’-2F’所述的方法，其中，确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重包括：基于所述第一帧内模式的成本和所述第二帧内模式的成本来确定针对所述第一帧内模式的权重和针对所述第二帧内模式的权重。

方面1G’、一种用于对视频数据进行译码的设备，所述设备包括用于执行方面1A’-3F’中的任何方面的方法的一个或多个单元。

方面2G’、根据方面1G’所述的设备，其中，所述一个或多个单元包括在电路系统中实现的一个或多个处理器。

方面3G’、根据方面1G’和方面2G’中的任何方面所述的设备，还包括用于存储所述视频数据的存储器。

方面4G’、根据方面1G’-3G’中的任何方面所述的设备，还包括被配置为显示经解码的视频数据的显示器。

方面5G’、根据方面1G’-4G’中的任何方面所述的设备，其中，所述设备包括照相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。

方面1H’、一种具有存储在其上的指令的计算机可读存储介质，所述指令当被执行时使得一个或多个处理器执行方面1A’-3F’中的任何方面的方法。

方面1I’、根据方面1A’-1H’中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行重构。

方面2I’、根据方面1A’-1H’中的任何方面所述的方法、设备或计算机可读介质，其中，基于所述预测块来对所述块进行重构或者基于所述预测块来对所述块进行编码中的一项包括：基于所述预测块来对所述块进行编码。

示例1J：一种对视频数据进行编码或解码的方法包括：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

示例2J：根据示例1J所述的方法，其中，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的融合来生成所述预测块包括：基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的融合，来生成所述预测块。

示例3J：根据示例1J和2J中的任何示例所述的方法，其中：所述方法还包括：确定对针对所述第一帧内预测模式的初步块和针对第二帧内预测模式的初步预测块的融合的成本，以及基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合来生成所述预测块包括：基于所述融合的成本小于所述帧内预测模式中的任何帧内预测模式的成本，基于对针对第一帧内预测模式的初步块和针对第二帧内预测模式的初步预测块的所述融合来生成所述预测块。

示例4J：根据示例1J至3J中的任何示例所述的方法，其中，基于对针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块的融合来生成所述预测块包括：基于从子块大小推导的预测参数来生成所述预测块。

示例5J：根据示例1J至4J中的任何示例所述的方法，其中，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的融合来生成所述预测块包括：基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合来生成所述预测块。

示例6J：根据示例1J至5J中的任何示例所述的方法，其中，确定针对所述第一帧内预测模式的权重和针对第二帧内预测模式的权重包括：基于所述第一帧内预测模式的成本和所述第二帧内预测模式的成本来确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重。

示例7J：一种用于对视频数据进行编码或解码的设备包括：用于存储所述视频数据的存储器；以及在电路系统中实现的一个或多个处理器，所述一个或多个处理器被配置为：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

示例8J：根据示例7J所述的设备，其中，所述一个或多个处理器被配置为：基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于对针对所述第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块的融合，来生成所述预测块。

示例9J：根据示例7J和8J中的任何示例所述的设备，其中：所述一个或多个处理器还被配置为确定对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合的成本，并且所述一个或多个处理器被配置为基于所述融合的成本小于所述帧内预测模式中的任何帧内预测模式的成本，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合，来生成所述预测块。

示例10J：根据示例7J至9J中的任何示例所述的设备，其中，所述一个或多个处理器被配置为基于从子块大小推导的预测参数来生成所述预测块。

示例11J：根据示例7J至10J中的任何示例所述的设备，其中，所述一个或多个处理器被配置为基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块。

示例12J：根据示例7J至11J中的任何示例所述的设备，其中，所述一个或多个处理器被配置为基于所述第一帧内预测模式的成本和所述第二帧内预测模式的成本，来确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重。

示例13J：根据示例7J至12J中的任何示例所述的设备，还包括被配置为显示经解码的视频数据的显示器。

示例14J：根据示例7J至13J中的任何示例所述的设备，其中，所述设备包括照相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。

示例15J：一种用于对视频数据进行编码或解码的设备包括：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：用于基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本的单元，其中，所述模板区域在所述视频数据的块的上方或左侧；以及用于基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本的单元；用于确定第一帧内预测模式和第二帧内预测模式的单元，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；用于确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重的单元；用于确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块的单元；用于基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块的单元；以及用于基于所述预测块来对所述块进行重构的单元，或者用于基于所述预测块来对所述块进行编码的单元。

示例16J：根据示例15J所述的设备，其中，用于基于对所述初步块的融合来生成所述预测块的单元包括：用于基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于对所述初步块的融合来生成所述预测块的单元。

示例17J：根据示例15J和16J中的任何示例所述的设备，其中：所述设备还包括用于确定对初步块的所述融合的成本的单元，并且用于基于对初步块的所述融合来生成所述预测块的单元包括用于基于所述融合的成本小于所述帧内预测模式中的任何帧内预测模式的成本，基于对初步块的所述融合来生成所述预测块的单元。

示例18J：根据示例15J至17J中的任何示例所述的设备，其中，用于基于对所述初步预测块的融合来生成所述预测块的单元包括：用于基于从子块大小推导的预测参数来生成所述预测块的单元。

示例19J：根据示例15J至18J中的任何示例所述的设备，其中，用于基于对所述初步块的融合来生成所述预测块的单元包括：用于基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成所述预测块的单元。

示例20J：一种具有存储在其上的指令的非暂时性计算机可读存储介质，所述指令当被执行时使得一个或多个处理器进行以下操作：针对最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：基于针对模板区域的参考样本以及使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在视频数据的块的上方或左侧；以及基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

要认识到的是，取决于示例，本文中所描述的技术中的任何技术的某些动作或事件可以是以不同的顺序来执行的，可以被添加、被合并或完全省略(例如，并非所有描述的动作或事件对于实行所述技术都是必要的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。

在一个或多个示例中，所描述的功能可以是在硬件、软件、固件或其任何组合中实现的。如果以软件实现，则所述功能可以作为一个或多个指令或代码在计算机可读介质上进行存储或传送，以及由基于硬件的处理单元来执行。计算机可读介质可以包括计算机可读存储介质(其对应于诸如数据存储介质的有形介质)或者通信介质，所述通信介质包括例如根据通信协议来促进计算机程序从一个地方传送到另一地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)有形的计算机可读存储介质，其是非暂时性的、或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器存取以取回用于实现在本公开内容中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

通过举例而非限制性的方式，这样的计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、闪存、或者能够用于以指令或数据结构的形式存储期望的程序代码以及能够由计算机存取的任何其它介质。此外，任何连接适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者无线技术(诸如红外线、无线电和微波)从网站、服务器或其它远程源发送的，则同轴电缆、光纤光缆、双绞线、DSL或者无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时性介质，而是替代地针对非暂时性的有形的存储介质。如本文所使用的，磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上文的组合也应当被包括在计算机可读介质的范围内。

指令可以由一个或多个处理器(诸如一个或多个DSP、通用微处理器、ASIC、FPGA或其它等同的集成或分立逻辑电路系统)来执行。因此，如本文中所使用的术语“处理器”和“处理电路系统”可以指的是前述结构中的任何一者或者适合于实现本文中所描述的技术的任何其它结构。此外，在一些方面中，本文中所描述的功能可以是在被配置用于编码和解码的专用硬件和/或软件模块内提供的，或者被并入组合的编解码器中。此外，所述技术可以是完全地在一个或多个电路或逻辑元件中实现的。

本公开内容的技术可以是在各种各样的设备或装置(包括无线手机、集成电路(IC)或一组IC(例如，芯片组))中实现的。在本公开内容中描述各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能性方面，但是不一定要求通过不同的硬件单元来实现。而是，如上文所描述的，各种单元可以被组合在编解码器硬件单元中，或者由互操作的硬件单元的集合(包括如上文所描述的一个或多个处理器)结合适当的软件和/或固件来提供。

已经描述了各个示例。这些示例和其它示例在所附权利要求的范围内。

Claims (19)

1.一种对视频数据进行编码或解码的方法，所述方法包括：

针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：

基于针对模板区域的参考样本并且使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及

基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；

确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；

确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；

确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；

基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及

以下各项中的一项：基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

2.根据权利要求1所述的方法，其中，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合来生成所述预测块包括：基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合，来生成所述预测块。

3.根据权利要求1所述的方法，其中：

所述方法还包括：确定对针对所述第一帧内预测模式的初步块和针对第二帧内预测模式的初步预测块的所述融合的成本，以及

基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合来生成所述预测块包括：基于所述融合的成本小于所述帧内预测模式中的任何帧内预测模式的成本，基于对针对第一帧内预测模式的初步块和针对第二帧内预测模式的初步预测块的所述融合来生成所述预测块。

4.根据权利要求1所述的方法，其中，基于对针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块的所述融合来生成所述预测块包括：基于从子块大小推导的预测参数来生成所述预测块。

5.根据权利要求1所述的方法，其中，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合来生成所述预测块包括：基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合来生成所述预测块。

6.根据权利要求1所述的方法，其中，确定针对所述第一帧内预测模式的权重和针对第二帧内预测模式的权重包括：基于所述第一帧内预测模式的成本和所述第二帧内预测模式的成本来确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重。

7.一种用于对视频数据进行编码或解码的设备，所述设备包括：

存储所述视频数据的存储器；以及

在电路系统中实现的一个或多个处理器，所述一个或多个处理器被配置为：

针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：

基于针对模板区域的参考样本并且使用各自的帧内预测模式，来生成针对所述模板区域的预测样本，其中，所述模板区域在所述视频数据的块的上方或左侧；以及

基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本；

确定第一帧内预测模式和第二帧内预测模式，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；

确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重；

确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块；

基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块；以及

基于所述预测块来对所述块进行重构，或者基于所述预测块来对所述块进行编码。

8.根据权利要求7所述的设备，其中，所述一个或多个处理器被配置为：基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于对针对所述第一帧内预测模式的初步预测块和针对第二帧内预测模式的初步预测块的融合，来生成所述预测块。

9.根据权利要求7所述的设备，其中：

所述一个或多个处理器还被配置为确定对针对所述第一帧内预测模式的初步块和针对第二帧内预测模式的初步预测块的所述融合的成本，以及

所述一个或多个处理器被配置为基于所述融合的成本小于所述帧内预测模式中的任何帧内预测模式的成本，基于对针对所述第一帧内预测模式的初步块和针对所述第二帧内预测模式的初步预测块的所述融合，来生成所述预测块。

10.根据权利要求7所述的设备，其中，所述一个或多个处理器被配置为基于从子块大小推导的预测参数来生成所述预测块。

11.根据权利要求7所述的设备，其中，所述一个或多个处理器被配置为基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成所述预测块。

12.根据权利要求7所述的设备，其中，所述一个或多个处理器被配置为基于所述第一帧内预测模式的成本和所述第二帧内预测模式的成本，来确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重。

13.根据权利要求7所述的设备，还包括被配置为显示经解码的视频数据的显示器。

14.根据权利要求7所述的设备，其中，所述设备包括相机、计算机、移动设备、广播接收机设备或机顶盒中的一者或多者。

15.一种用于对视频数据进行编码或解码的设备，所述设备包括：

针对在最可能模式(MPM)列表中的多个帧内预测模式中的每个各自的帧内预测模式：

用于基于针对模板区域的参考样本并且使用各自的帧内预测模式，来生成针对所述模板区域的预测样本的单元，其中，所述模板区域在所述视频数据的块的上方或左侧；以及

用于基于在(1)针对所述模板区域的所述预测样本与(2)针对所述模板区域的经重构的样本之间的差，来确定针对各自的帧内预测模式的成本的单元；

用于确定第一帧内预测模式和第二帧内预测模式的单元，其中，所述第一帧内预测模式和所述第二帧内预测模式是在所述MPM列表中的具有最低成本的帧内预测模式；

用于确定针对所述第一帧内预测模式的权重和针对所述第二帧内预测模式的权重的单元；

用于确定针对所述第一帧内预测模式的初步预测块和针对所述第二帧内预测模式的初步预测块的单元；

用于基于对根据针对所述第一帧内预测模式的权重加权的针对所述第一帧内预测模式的初步预测块和根据针对所述第二帧内预测模式的权重加权的针对所述第二帧内预测模式的初步预测块的融合，来生成预测块的单元；以及

用于基于所述预测块来对所述块进行重构的单元，或者用于基于所述预测块来对所述块进行编码的单元。

16.根据权利要求15所述的设备，其中，所述用于基于对初步块的所述融合来生成所述预测块的单元包括：用于基于所述第一帧内预测模式和所述第二帧内预测模式不同，基于对初步块的所述融合来生成所述预测块的单元。

17.根据权利要求15所述的设备，其中：

所述设备还包括用于确定对初步块的所述融合的成本的单元，并且

所述用于基于对初步块的所述融合来生成所述预测块的单元包括：用于基于所述融合的成本小于所述帧内预测模式中的任一者的成本，基于对初步块的所述融合，来生成所述预测块的单元。

18.根据权利要求15所述的设备，其中，所述用于基于对初步预测块的所述融合来生成所述预测块的单元包括：用于基于从子块大小推导的预测参数来生成所述预测块的单元。

19.根据权利要求15所述的设备，其中，所述用于基于对初步块的所述融合来生成所述预测块的单元包括：用于基于所述第二帧内预测模式的成本减去所述第一帧内预测模式的成本小于所述第一帧内预测模式的成本，基于对根据针对所述第一帧内预测模式的权重加权的初步预测块和针对所述第二帧内预测模式的权重加权的初步预测块的融合，来生成所述预测块的单元。