CN112997482A

CN112997482A - 视频编译码中位置相关的帧内-帧间预测组合

Info

Publication number: CN112997482A
Application number: CN201980074034.6A
Authority: CN
Inventors: G.范德奥韦拉; L.法姆范; A.K.拉马苏布拉莫尼安; M.卡尔切维茨
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2018-11-16
Filing date: 2019-11-15
Publication date: 2021-06-18
Also published as: US11652984B2; US20220007010A1; EP3881539A1; US20200162728A1; WO2020102755A1

Abstract

用于对视频数据进行编译码(编码或解码)的示例设备包括被配置为存储视频数据的存储器；以及在电路中实现的一个或多个处理器，其被配置为：确定视频数据的当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；确定将被应用于当前块的帧内预测块的帧内预测样点的第一权重值；确定将被应用于当前块的帧间预测块的帧间预测样点的第二权重值；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

Description

视频编译码中位置相关的帧内-帧间预测组合

本申请要求2019年11月14日提交的美国专利申请第16/684,440号、 2018年11月16日提交的美国专利申请第67/768,655号以及2018年12月 21日提交的第62/784,140号的优先权，其每一个的全部内容通过引用并入本文。

技术领域

本公开涉及视频编译码(coding)。

背景技术

数字视频能力可以被合并到各种各样的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型计算机或台式计算机、平板计算机、电子书阅读器、数字照相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、智能电话，视频电话会议设备、视频流媒体设备等。数字视频设备实施视频压缩技术(例如由ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual、ITU-T H.264(也称为ISO /IEC MPEG-4AVC)定义的标准中描述的技术)，这些技术包括其可伸缩视频编译码(SVC)和多视图视频编译码(MVC)扩展以及ITU-T T H.265(也称为ISO/IEC MPEG-4HEVC)及其扩展、MPEG-2、MPEG-4、ITU-T H.263、 ITU-T H.264/MPEG-4第10部分、高级视频编译码(AVC)、高效视频编译码(HEVC)标准以及此类标准的扩展。通过实施这样的视频压缩技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。在2018 年4月的联合视频专家组(JVET)会议期间，多功能视频编译码(VVC)标准化活动(也称为ITU-T H.266)开始了，对响应提案征集而提交的视频压缩技术进行了评估。

视频压缩技术可以执行空间的(图片内)预测和/或时间的(图片间)预测以减少或去除视频序列中固有的冗余。对于基于块的视频编译码，可将视频条带(例如，视频帧或视频帧的部分)分割成视频块，例如编译码树块和编译码块。空间或时间预测导致要编译码的块的预测。残差数据表示要编译码的原始块和预测块之间的像素差。为了进一步压缩，可以将残差数据从像素域变换到变换域，从而产生残差变换系数，然后可以对其进行量化。

发明内容

本公开总体上描述了与改善位置相关(position dependent)的帧内预测组合(position dependent intra prediction combination，PDPC)有关的各种技术。通常，PDPC涉及为当前块生成帧内预测块和帧间预测块，然后从帧内预测块和帧间预测块的组合生成预测块。例如，本公开描述了一种技术，该技术用于，例如根据帧间或帧内预测的相邻块的数量，计算位置无关 (position-independent)的权重，该位置无关的权重在组合过程期间将被应用于帧内预测块和帧间预测块的样点。

在一个示例中，一种编译码(编码或解码)视频数据的方法包括：确定当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

在另一个示例中，一种用于对视频数据进行编译码(编码或解码)的设备包括存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并被配置为：确定视频数据的当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

在另一个示例中，一种计算机可读存储介质，其上存储有指令，当该指令被执行时使处理器：确定当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码(编码或解码)。

在另一个示例中，一种用于对视频数据进行编译码(编码或解码)的设备包括：用于确定当前块的帧内预测的相邻块的第一数量的部件；用于确定帧间预测的相邻块的第二数量的部件；用于根据第一数量和第二数量来确定第一权重值的部件，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；用于根据第一数量和第二数量来确定第二权重值的部件，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；用于生成当前块的预测块的部件，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及用于使用该预测块对当前块进行编译码的部件。

在附图和以下描述中阐述了一个或多个示例的细节。从说明书、附图和权利要求书来看，其他特征、目的和优点将是显而易见的。

附图说明

图1是示出可执行本公开中描述的一种或多种技术的示例视频编码和解码系统的框图。

图2是示出在一个4×4块内的(0，0)和(1，0)位置的DC模式位置相关的预测组合(PDPC)权重的示例的图。

图3是示出示例帧内预测模式的图。

图4A-图4D是示出各种PDPC定义的图。

图5是示出示例帧内预测模式的图。

图6是示出8×4矩形块的示例的框图。

图7A-图7C是示出针对对角线方向范围之外的模式的示例模式映射过程的框图。

图8是示出在VTM2中采用的宽角度的概念图。

图9是示出在VTM3中采用的较宽角度的概念图。

图10是示出三角运动补偿的预测的概念图。

图11是示出自适应加权过程的概念图。

图12是表示8×8块的位置相关的权重的示例的概念图。

图13A和图13B是示出两个样点的组合的示例的概念图。

图14A-图14D是示出左侧参考样点可以如何随样点的某些邻域而变化的概念图。

图15A和图15B是示出根据本公开的方面的权重计算的示例的概念图。

图16是示出可实施本公开中描述的一种或多种技术的示例视频编码器的框图。

图17是示出可实施本公开中描述的一种或多种技术的示例视频解码器的框图。

图18是示出根据本公开的技术的对视频数据进行编码的示例方法的流程图。

图19是示出根据本公开的技术的对视频数据进行解码的示例方法的流程图。

具体实施方式

视频编译码器(例如，视频编码器或视频解码器)可使用帧内预测来生成用于当前图片的当前块的预测块。通常，当使用帧内预测来生成预测块时，视频编译码器确定当前图片中当前块左侧的列中和/或当前图片中当前块上方的行中的一组参考样点。然后视频编译码器可以使用参考样点来确定预测块中的样点的值。

在高效视频编译码(HEVC)和其他视频编译码标准中，视频编译码器执行帧内参考平滑，也称为模式相关的帧内平滑(mode-dependent intra smoothing，MDIS)。当视频编译码器执行帧内参考平滑或MDIS时，视频编译码器在使用参考样点确定预测块中的样点的预测值之前将滤波器应用于参考样点。例如，视频编译码器可以将2抽头线性滤波器或3抽头(1,2，1)/4 滤波器应用于参考样点。在上面的滤波器描述中，“/4”表示通过将结果除以4来进行归一化。通常，执行帧内参考平滑提高了预测精度，尤其是在当前块表示平滑变化的梯度时。

尽管在许多情况下MDIS可以提高预测精度，但存在其他情况，其中使用未滤波的参考样点可能会有所帮助。位置相关的预测组合(PDPC)是一种为解决这些问题并改善帧内预测而被设计的方案。在PDPC方案中，视频编译码器基于滤波的参考样点、未滤波的参考样点以及预测块内预测块样点的位置来确定预测块样点的值。PDPC方案的使用可以与编译码效率增益相关联。例如，可以使用较少的比特对相同数量的视频数据进行编译码。

基于块的帧内预测是诸如AVC、HEVC、VVC(当前正在开发)等视频标准的一部分。通常，来自相邻重建块的参考样点线(line)被用于预测当前块内的样点。样点的一个或多个线可以用于预测。诸如DC、平面和角度/方向模式的典型的帧内预测模式采用参考样点。

PDPC是在ITU-T SG16/Q6文件COM16-C1046，“位置相关的帧内预测组合(PDPC)”中提出的，并且在“EE1相关：PDPC的简化和扩展”，(第八届JVET会议，澳门特别行政区，2018年10月，JVET-H0057，作者X.Zhao,V.Seregin, A.Said,and M.Karczewicz)中被进一步简化。在对JVET的提案征集提交的“高通建议的SDR、HDR和360°视频编译码技术提案的说明”(第10届 JVET会议，圣地亚哥，CA，USA，2018年四月，JVET-J0021，作者M. Karczewicz等人)中，如下面所概述的，在没有信令的情况下PDPC被应用于平面、DC、水平和垂直模式。在“对角线帧内模式的简化PDPC的扩展” (第10届JVET会议，圣地亚哥，CA，USA，2018年4月，JVET-J0069，作者：G.Van der Auwera,V.Seregin,A.Said,M.Karczewicz)中，PDPC被进一步扩展到对角线方向模式和与对角线方向模式相邻的模式。

本公开描述了可以解决以下潜在问题的技术和系统配置。首先，潜在的问题是在帧内-帧间混合步骤之前应用PDPC，其可能会对编译码效率和实现复杂性产生不利影响。其次，在三角运动补偿的预测的情况下，两个三角预测单元仅被应用于运动补偿的或帧间预测的CU。不支持一个帧内和一个帧间三角预测单元的混合。在这种情况下，如何将PDPC与混合一起应用存在歧义。再次，在帧内-帧间混合之前，可以将MDIS滤波应用于帧内预测的参考样点，这可能会对编译码效率和实现复杂性产生不利影响。在附图和以下描述中阐述了本公开的一个或多个方面的细节。从说明书、附图和权利要求书来看，本公开中描述的技术的其他特征、目的和优点将是显而易见的。

图1是说明可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对编译码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未编译码的视频、编码的视频、解码的(例如，重建的)视频以及诸如信令数据的视频元数据。

如图1所示，在该示例中，系统100包括源设备102，该源设备102提供将由目的地设备116解码和显示的编码视频数据。具体地，源设备102经由计算机可读介质110将视频数据提供给目的地设备116。源设备102和目的地设备116可以是广泛的设备中的任何一个，包括台式计算机、笔记本(即，膝上型)计算机、平板电脑、机顶盒，诸如智能电手机的手持电话、电视、照相机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频解码器200和目的地设备116的视频解码器300可以被配置为将技术应用于跨组件预测。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部摄像机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备连接，而不是包括集成显示设备。

如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于跨组件预测的技术。源设备102和目的地设备116仅是这样的编译码设备的示例，其中，源设备102生成编译码的视频数据以传输到目的地设备116。本公开将“编译码”设备称为执行数据的编译码(编码和/或编码)的设备。因此，视频编码器200和视频解码器300分别表示编译码设备的示例，具体地，分别表示视频编码器和视频解码器的示例。在一些示例中，源设备102和目的地设备116可以以基本上对称的方式操作，使得源设备102和目的地设备116中的每个包括视频编码和解码组件。因此，系统100可以支持视频源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据(即原始的未编译码的视频数据)的源，并将视频数据的一系列顺序的图片(也称为“帧”)提供给视频编码器200，该视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，例如摄像机、包含先前捕获的原始视频的视频档案和/或从视频内容提供商接收视频的视频馈送接口。作为另一替代方案，视频源104 可以生成基于计算机图形的数据作为源视频，或者是实时视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图像从接收到的顺序(有时称为“显示顺序”)重新排列为用于编译码的编译码顺序。视频编码器200可以生成包括编码的视频数据的比特流。然后，源设备102可以经由输出接口108将编码的视频数据输出到计算机可读介质110上，以通过例如目的地设备116的输入接口122进行接收和/或检索。

源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的解码的视频数据。附加地或替代地，存储器106、120可以存储可由例如分通过视频编码器200和视频解码器300可执行的软件指令。尽管在此示例中与视频编码器200和视频解码器300分离地示出存储器106和存储器120，但是应当理解的是，视频编码器200和视频解码器300还可以包括内部存储器，以实现功能上相似或等效的目的。此外，存储器106、120可存储例如从视频编码器200输出并输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、 120的部分可被分配为一个或多个视频缓冲器，例如，以存储原始的解码的和/或编码的视频数据。

计算机可读介质110可以表示能够将编码的视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示用于使源设备102能够实时地，例如经由射频网络或基于计算机的网络将编码的视频数据直接发送到目的地设备116。根据诸如无线通信协议的通信标准，输出接口108可以对包括编码的视频数据的传输信号进行调制，并且输入接口122可以对接收到的传输信号进行解调。通信介质可以包括无线或有线通信介质中的一种或两种，例如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成诸如局域网、广域网或全球网络(诸如因特网)的基于分组的网络的一部分。通信介质可以包括路由器、交换机、基站或任何其他对促进从源设备102到目的地设备116的通信有利的设备。

在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目的地设备116可以经由输入接口122从存储设备112 访问编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或用于存储编码的视频数据的任何其他合适的数字存储介质。

在一些示例中，源设备102可以将编码的视频数据输出到文件服务器 114或可以输出到存储由源设备102生成的编码的视频的另一个中间存储设备。目的地设备116可以经由流媒体或下载程序从文件服务器114访问所存储的视频数据。文件服务器114可以是能够存储编码的视频数据并将该编码的视频数据发送到目的地设备116的任何类型的服务器设备。文件服务器 114可以表示网络服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容交付网络设备或网络附加存储(NAS)设备。目的地设备116可以通过包括因特网连接的任何标准数据连接来访问来自文件服务器114的编码的视频数据。这可以包括无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(DSL)、电缆调制解调器等)或二者的组合，其适合访问存储在服务器114上的编码的视频数据。文件服务器114和输入接口122可以被配置为根据流媒体传输协议、下载传输协议或其组合来操作。

输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如以太网卡)、根据各种IEEE 802.11标准中的任何一种进行操作的无线通信组件或其他物理组件。在输出接口108和输入接口 122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4G、4G-LTE(长期演进)、LTE Advanced、5G等来传送数据(诸如编码的视频数据)。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据其他无线标准(例如IEEE 802.11 规范、IEEE 802.15规范(例如，ZigBee^TM)、Bluetooth^TM标准等传送数据(诸如编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括SoC设备以执行归属于视频编码器200和/或输出接口108的功能，并且目的地设备116 可以包括SoC设备以执行归属于视频解码器300和/或输入接口122的功能。

本公开的技术可以应用于支持各种多媒体应用(例如空中电视广播、有线电视传输、卫星电视传输、互联网流媒体视频传输、例如通过HTTP(DASH) 的动态自适应流媒体、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码或其他应用程序)中的任何一种的视频编译码。

目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码的视频比特流。计算机可读介质110的编码的视频比特流可以包括由视频编码器200定义的信令信息 (例如具有描述视频块或其他编译码单元(例如，条带(slice)、图片、图片组、序列等)的特性和/或处理的值的语法元素)，该信令信息也由视频解码器300使用。显示设备118将解码的视频数据的解码的图片显示给用户。显示设备118可以表示各种显示设备中的任何一种，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一种类型的显示设备。

尽管在图1中未示出，但是在一些示例中，视频编码器200和视频解码器300可以每个与音频编码器和/或音频解码器集成，并且可以包括适当的 MUX-DEMUX单元，或者其他硬件和/或软件，以处理通用数据流中包括的音频和视频两者的复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223多路复用器协议或其他协议(例如用户数据报协议(UDP))。

视频编码器200和视频解码器300每个可以被实现为各种合适的编码器和/或解码器电路(例如，处理电路)中的任何一种，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列 (FPGA)、离散逻辑、固定功能电路、可编程处理电路、硬件、固件、实现软件的硬件或其任意组合。当技术部分地以软件实施时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令，以执行本公开的技术。视频编码器200和视频解码器 300中的每个可以被包括在一个或多个编码器或解码器中，其任一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备(例如蜂窝电话)。

视频编码器200和视频解码器300可以根据诸如ITU-T H.265(也称为高效视频编译码(HEVC))的视频编译码标准或其扩展(诸如多视图和/或可伸缩视频编译码扩展)进行操作。替代地，视频编码器200和视频解码器300 可以根据诸如联合探索测试模型(JEM)或VVC之类的其他专有或工业标准进行操作。然而，本公开的技术不限于任何特定的编译码标准。

通常，视频编码器200和视频解码器300可以执行基于块的图片编译码。术语“块”通常指包括要处理(例如，编码的、解码的或以其他方式在编码和/或解码过程中使用)的数据的结构。例如，块可以包括亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行编译码，而不是对图片的样点的红、绿和蓝(RGB)数据进行编译码，其中色度分量可以包括红色(red hue)和蓝色色度分量。在一些示例中，视频编码器200在编码之前将接收到的RGB格式的数据转换成YUV表示，并且视频解码器300 将YUV表示转换成RGB格式。替代地，预处理和后处理单元(未示出)可以执行这些转换。

本公开通常可以指图片的编译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开可以指对图片的块的编译码以包括对块的数据进行编码或解码的过程(例如，预测和/或残差编译码)。编码的视频比特流通常包括用于语法元素的一系列值，该语法元素表示编译码决策(例如，编译码模式)以及将图片变成块的分割。因此，对对图片或块进行编译码的引用通常应被理解为对形成图片或块的语法元素的值进行编译码。

HEVC定义各种块，包括编译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编译码器(例如，视频编码器200)根据四叉树结构将编译码树单元(CTU)分割为CU。也就是说，视频编码器将CTU和 CU分割为四个相等的、不重叠的正方形，并且四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的 CU可以包括一个或多个PU和/或一个或多个TU。视频编译码器可进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。帧内预测的CU 包括帧内预测信息(例如帧内模式指示)。

作为另一个示例，视频编码器200和视频解码器300可以被配置为根据JEM或VVC进行操作。根据JEM或VVC，视频编译码器(例如，视频编码器200)将图片分割为多个编译码树单元(CTU)。视频编码器200可根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)对CTU 进行分割。QTBT结构移除了多个分割类型的概念，例如HEVC的CU、PU 和TU之间的分隔。QTBT结构包括两个级别：根据四叉树分割来分割的第一级别，以及根据二叉树分割来分割的第二级别。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编译码单元(CU)。

在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割和一种或多种类型的三重树(TT)(也称为三叉树(TT))分割对块进行分割。三重或三叉树分割是将一个块分割为三个子块的分割。在一些示例中，三重或三叉树分割将一个块分为三个子块的分割。MTT中的分割类型(例如， QT、BT和TT)可以是对称的也可以是不对称的。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT 或MTT结构来表示亮度和色度分量中的每个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，例如用于亮度分量的一个QTBT/MTT结构和用于两个色度分量的另一个QTBT /MTT结构(或用于相应的色度分量的两个QTBT/MTT结构)。

视频编码器200和视频解码器300可以被配置为使用每个HEVC的四叉树分割、QTBT分割、MTT分割或其他分割结构。出于解释的目的，关于 QTBT分割来呈现本公开的技术的描述。然而，应当理解，本公开的技术还可应用配置为使用四叉树分割或其它类型的分割的视频编译码器。

在图片中可以以各种方式对块(例如，CTU或CU)进行分组。作为一个示例，砖块可以指图片中特定片(tile)内的CTU行的矩形区域。片可以是图片中的特定片列和特定片行内的CTU的矩形区域。片列是指CTU的矩形区域，其具有等于图片高度的高度和由语法元素(例如，诸如在图片参数集中)指定的宽度。片行是指CTU的矩形区域，其具有由语法元素(例如，诸如在图片参数集中)指定的高度和等于图片宽度的宽度。

在一些示例中，可将片分割成多个砖块，每个砖块可以包括片内一个或多个CTU行。没有分割为多个砖块的片也可以称为砖块。但是，其是片的真正子集的砖块不能称为片。

图片中的砖块也可以以条带的形式排列。条带可以是图片的整数个砖块，它们可以排他地包含在单个网络抽象层(NAL)单元中。在一些示例中，条带包括多个完整的片或仅一个片的完整砖块的连续序列。

本公开可互换地使用“N×N”和“N乘N”来指代在垂直和水平维度方面上块(例如CU或其他视频块)的样点维度，例如16×16个样点或16乘 16个样点。通常，一个16x16 CU在垂直方向上将有16个样点(y＝16)并且在水平方向上将有16个样点(x＝16)。同样地，N×N CU通常在垂直方向上具有N个样点并且在水平方向上具有N个样点，其中N表示非负整数值。CU中的样点可以按行和列排列。此外，CU在水平方向上不必与在垂直方向上具有相同数量的样点。举例来说，CU可包含N×M个样点，其中M 不一定等于N。

视频编码器200对用于表示预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示将如何预测CU以便形成CU的预测块。残差信息通常表示编码之前的CU的样点与预测块之间的逐样点差。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成CU的预测块。帧间预测通常指根据先前编译码的图片的数据来预测CU，而帧内预测通常指根据同一图像的先前编译码的数据来预测CU。为了执行帧间预测，视频编码器200可使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以(例如在CU与参考块之间的差方面) 识别紧密匹配CU的参考块。视频编码器200可使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其他此类差值计算来计算差值度量，以确定参考块是否紧密匹配当前CU。在一些示例中，视频编码器200可使用单向预测或双向预测来预测当前CU。

JEM和VVC的一些示例还提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(例如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动矢量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式以生成预测块。JEM和VVC的一些示例提供了67种帧内预测模式，包括各种方向模式以及平面模式和DC模式。通常，视频编码器200选择帧内预测模式，该帧内预测模式描述到当前块(例如，CU的块)的相邻样点，从中预测当前块的样点。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对CTU 和CU进行编译码，则此类样点通常可以在与当前块相同的图片中的当前块的上方、左上方或左侧。

视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可对表示使用各种可用帧间预测模式中的哪一个的数据以及对应模式的运动信息进行编码。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(AMVP)或合并模式来对运动矢量进行编码。视频编码器200可使用类似模式来对仿射运动补偿模式的运动矢量进行编码。

在一些示例中，例如，根据本公开的技术，视频编码器200和视频解码器300可执行位置相关的帧内预测组合(PDPC)。即，视频编码器200和视频解码器300可使用当前块的帧内预测块和帧间预测块两者的组合来生成当前块的预测块。在一些示例中，视频编码器200和视频解码器300可生成预测块作为帧内预测的块和帧间预测块的样点的加权组合。

视频编码器200和视频解码器300可以(例如，基于当前块的相邻的帧内和帧间预测块的数量)，在位置无关的基础上确定要应用于帧内预测块和帧间预测块的权重。例如，视频编码器200和视频解码器300可以确定当前块的上相邻块和左相邻块中的一个或两个是帧内预测的还是帧间预测的。当上相邻块和左相邻块都是帧内预测的时，视频编码器200和视频解码器300 可以确定将被应用于帧内预测块的权重大于帧间预测块，3的权重将被应用于帧内预测块并且1的权重将被应用于帧间预测块。当上方相邻的块和左侧相邻的块两者都是帧间预测的时，视频编码器200和视频解码器300可以确定将被应用于帧间预测块的权重大于帧内预测块，3的权重将被应用于帧间预测块并且1的权重将被应用于帧内预测块。当上相邻块和左相邻块中的一个是帧内预测的并且上相邻块和左相邻块中的另一个是帧间预测的时，视频编码器200和视频解码器300可以确定要应用于帧间预测块和帧内预测块是相等的权重，例如，2的权重用于帧间预测块和帧内预测块的每个。

在确定权重之后，视频编码器200和视频解码器300可通过将权重应用于帧内预测块和帧间预测块的相应样点来生成预测块。权重可以是位置无关的。因此，视频编码器200和视频解码器300可将用于帧内预测块的权重应用于帧内预测块的每个样点，并将用于帧间预测块的权重应用于帧间预测块的每个样点。视频编码器200和视频解码器300可在逐样点的基础上将帧内预测块和帧间预测块的加权样点相加。此外，视频编码器200和视频解码器 300可以将结果值除以权重之和。在一些示例中，代替执行除法运算，视频编码器200和视频解码器300可以确保权重之和是2的倍数，然后根据权重之和执行按位右移运算。例如，对于等于四的权重之和，视频编码器200和视频解码器300可以执行按2位右移。

在诸如块的帧内预测或帧间预测之类的预测之后，视频编码器200可计算该块的残差数据。残差数据(例如残差块)表示块与使用相应预测模式形成的该块的预测块之间的逐样点差。视频编码器200可将一个或一个以上变换应用于残差块，以在变换域而非样点域中产生变换的数据。例如，视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可在一次变换之后应用二次变换(例如，模式相关的不可分离的二次变换(MDNSST)、信号相关的变换、Karhunen-Loeve变换(KLT)等)。视频编码器200在一次或多次变换的应用之后产生变换系数。

如上所述，在产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常是指对变换系数进行量化的过程以可能地减少用于表示系数的数据量，从而提供进一步压缩。通过执行量化过程，视频编码器200可减小与一些或所有系数相关联的比特深度。例如，视频编码器200 可在量化期间将n比特值舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可执行待量化的值的按位右移。

在量化之后，视频编码器200可扫描变换系数，从而从包括量化的变换系数的二维矩阵产生一维矢量。可以将扫描设计为将较高能量(因此较低频率)的系数放在矢量的前面，并将较低能量(因此较高频率)的变换系数放在矢量的后面。在一些示例中，视频编码器200可利用预定义的扫描次序来扫描量化的变换系数以产生经串行化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以(例如根据上下文自适应二进制算术编码(CABAC))对一维矢量进行熵编码。视频编码器 200还可对语法元素的值进行熵编码，该语法元素描述与编码的视频数据相关联的元数据，以供视频解码器300在解码视频数据时使用。

为了执行CABAC，视频编码器200可将上下文模型内的上下文分配给要发送的符号。上下文可以涉及，例如，符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。

视频编码器200还可以(例如，在图片头、块头、条带头中)生成诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据的语法数据，或其他语法数据(诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS))。视频解码器300可类似地解码此类语法数据以确定如何解码对应的视频数据。

以这种方式，视频编码器200可以生成比特流，该比特流包括编码的视频数据(例如，描述将图片分割为块(例如，CU)的语法元素以及该块的预测和/或残差信息)。最终，视频解码器300可以接收比特流并解码编码的视频数据。

通常，视频解码器300执行与视频编码器200执行的互逆的过程，以解码比特流的编码的视频数据。举例来说，视频解码器300可使用CABAC以与视频编码器200的CABAC编码过程实质上相似的方式(尽管与之相反) 来解码使用CABAC的比特流的语法元素的值。语法元素可将图片的分割信息定义为CTU，并且根据相应的分割结构(例如QTBT结构)，对每个CTU 进行分割，以定义CTU的CU。语法元素可以进一步定义视频数据的块(例如，CU)的预测和残差信息。

残差信息可以由例如量化的变换系数表示。视频解码器300可对块的量化的变换系数进行逆量化和逆变换以再生该块的残差块。视频解码器300使用信令通知的预测模式(帧内或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成块的预测块。视频解码器300然后可以组合预测块和残差块(在逐个样点的基础上)以再生原始块。视频解码器300可执行附加的处理，例如执行去块过程以减少沿块的边界的视觉伪影。

本公开通常可以指“信令通知”某些信息(例如语法元素)。术语“信令通知”通常可以指语法元素和/或用于解码编码的视频数据的其他数据的值的通信。也就是说，视频编码器200可在比特流中信令通知语法元素的值。通常，信令通知是指在比特流中生成值。如上所述，源设备102可以基本上实时地将比特流传输到目的地设备116，或不实时地将比特流传输到目的地设备116，诸如可能发生在将语法元素存储到存储设备112以供稍后由目的地设备116检索时。

根据PDPC的各个方面，使用帧内预测模式(DC、平面、角度)对位于 (x，y)的预测样点pred(x，y)进行预测，并使用PDPC表达式修改其值，以用于单个参考样点线，例如，如下所示：

pred(x，y)＝(wL×R_-1，y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+ wTL)×pred(x，y)+32)>>6， (公式1)

其中R_x,-1，R_-1,y分别表示位于当前样点(x,y)顶部和左侧的参考样点， R_-1,-1表示位于当前块的左上角的参考样点。对于DC模式，对于维度为width (宽度)和height(高度)的块，权重计算如下：

wT＝32>>((y<<1)>>shift),wL＝32>>((x<<1)>>shift),wTL ＝(wL>>4)+(wT>>4)，

其中，当对于平面模式wTL＝0，对于水平模式wTL＝wT，以及对于垂直模式wTL＝wL时，shift＝(log₂(width)+log₂(height)+2)>>2。PDPC权重只能通过加法和移位来计算。pred(x，y)的值可以使用公式1在单个步骤中计算。

图2是示出针对一个4x4块内的(0，0)和(1，0)位置的DC模式PDPC权重(wL，wT，wTL)的示例的图。如果将PDPC应用于DC、平面、水平和垂直帧内模式，则不会应用额外的边界滤波器(例如DC模式边界滤波器或水平 /垂直模式边缘滤波器)。公式1可以被概括为包括附加的参考样点线。在这种情况下，多个参考样点在R_x，-1、R_-1，y、R_-1，-1的邻域中是可用的，并且每个参考样点都可以具有被分配的权重，该权重可以(例如，通过训练)被优化。

美国临时专利申请第62/651，424号(于2018年4月2日提交，其全部内容通过引用并入本文)将PDPC扩展到对角线帧内模式以及与对角线模式相邻的角度模式。预期的对角线帧内模式是根据左下方向和右上方向预测的模式，以及几个相邻的角度模式(例如，左下对角线模式和垂直模式之间的 N个相邻模式，以及在右上对角线模式和水平模式之间的N或M个相邻模式)。

图3是示出角度模式的识别的图。通常，相邻模式可以是可用角度模式的选定子集。角度模式之间的间隔可以是不均匀的，并且可能会跳过一些角度模式。

图4A-图4D是说明各种PDPC定义的图。图4A示出了用于将PDPC扩展到右上对角线模式的参考样点R_x，-1、R_-1,y和R_-1,-1的定义。预测样点pred(x’, y’)位于预测块内的(x’,y’)处。参考样点R_x,-1的坐标x由下式给出：x＝x’+y’ +1，参考样点R_-1,y的坐标y类似地由下式给出：y＝x’+y’+1。例如，右上对角线模式的PDPC权重为：

wT＝16>>((y’<<1)>>shift),wL＝16>>((x’<<1)>>shift),wTL＝0。

类似地，图4B示出了用于将PDPC扩展到左下对角线模式的参考样点 R_x,-1、R_-1,y和R_-1,-1的定义。参考样点R_x,-1的坐标x由下式给出：x＝x’+y’+ 1，参考样点R_-1,y的坐标y由下式给出：y＝x’+y’+1。右上对角线模式的 PDPC权重例如为：

wT＝16>>((y’<<1)>>shift),wL＝16>>((x’<<1)>>shift),wTL＝0。

在图4C中示出了相邻的右上对角线模式的情况。通常，对于图3中定义的角度α，参考样点R_-1,y的坐标y确定如下：y＝y’+tan(α)×(x’+1)，并且R_x,-1的坐标x由下式给出：x＝x’+cotan(α)×(y’+1)，其中tan(α)和cotan(α) 分别为角度α的正切和余切。例如，相邻的右上对角线模式的PDPC权重为：

wT＝32>>((y’<<1)>>shift)，wL＝32>>((x’<<1)>>shift)，wTL＝0, 或者

wT＝32>>((y’<<1)>>shift)，wL＝0，wTL＝0。

类似地，在图4D中示出了相邻的左下对角线模式的情况。通常，对于图3中定义的角度β，参考样点R_x,-1的坐标x确定如下：x＝x’+tan(β)×(y’ +1)，R_-1,y的坐标y由下式给出：y＝y’+cotan(β)×(x’+1)，其中tan(β)和 cotan(β)分别是角度β的正切和余切。例如，相邻的左下对角线模式的PDPC 权重为：

wL＝32>>((x’<<1)>>shift),wT＝32>>((y’<<1)>>shift)，wTL＝0，或者

wL＝32>>((x’<<1)>>shift),wT＝0,wTL＝0。

与DC、平面、水平和垂直模式PDPC的情况一样，没有额外的边界滤波(例如在“联合探索测试模型7的算法描述”(第七届JVET会议，都灵，意大利，2017年7月，JVET-G1001，作者J.Chen,E.Alshina,G.J.Sullivan, J.-R.Ohm，和J.Boyce)中指定的)。

图5是示出示例帧内预测模式的图。帧内预测的一个示例是宽角度的帧内预测。在一些示例中，亮度块的帧内预测包括35种模式，包括平面预测模式、DC预测模式和33个角度(或方向)预测模式。正方形块的方向预测使用VVC测试模型2(VTM2)(参见“多功能视频编译码和测试模型2 (Versatile Video Coding and Test Model 2，VTM2)的算法说明”第11届JVET 会议，卢布尔雅那，SI，2018年7月，JVET-K1002，作者J.Chen,Y.Ye,和 S.Kim)中当前块的-135度到45度之间的方向，如图5所示。如下表1所示索引了帧内预测的35种模式。

表1–帧内预测模式和相关联的名称的说明

帧内预测模式	相关联的名称
		0	INTRA_PLANAR
1	INTRA_DC
		2..34	INTRA_ANGULAR2..INTRA_ANGULAR34

在VTM2中，用于指定用于帧内预测的预测块的块结构不限于正方形 (宽度w＝高度h)。基于内容的特性，矩形预测块(w>h或w<h)可以提高编译码效率。

在这样的矩形块中，将用于帧内预测的方向限制在-135度到45度之内会导致使用更远的参考样点而不是更近的参考样点用于帧内预测的情况。这样的设计可能会影响编译码效率。放宽限制范围可能更有利，以便使用更近的参考样点(超出-135至45度角)用于预测。在图6中给出这种情况的示例。

图6是示出8x4矩形块的示例的框图。在图6的示例中，由于帧内预测方向被限制在-135度到45度的范围内，所以不使用“更近的”参考样点(由圆圈3002指示)，但是可以使用“更远的”参考样点(由圆圈3006指示)。即，在图6的示例中，可以使用在-135度以内但比圆圈3002所指示的参考样点更远的一些参考样点，而一些参考样点却没有使用，尽管它们其比其他样点更近(例如，比圆圈3006所指示的样点更近)。

图7A-图7C是示出用于对角线方向范围之外的模式的示例模式映射过程的框图。在图7A的示例中，正方形块不需要角度模式重新映射。图7B的示例示出了用于水平非正方形块的角度模式重新映射。图7C示出了用于垂直非正方形块的角度模式重新映射。

图8是示出在VTM2中采用的宽角度的概念图。在第12届JVET会议期间，VVC测试模型3(VTM3)采纳宽角度的帧内预测的修改，其详细信息，请参见(i)“CE3相关的：正方形和非正方形块的角度帧内预测的统一”，第十二届JVET会议，澳门特别行政区，CN，2018年10月，JVET-L0279，作者L.Zhao，X.Zhao，S.Liu，和X.Li；(ii)“多功能视频编译码和测试模型3(VTM3)的算法描述”，第十二届JVET会议，澳门特别行政区，CN， 2018年10月，JVET-L1002，作者J.Chen，Y.Ye，和S.Kim；以及(iii)“多功能视频编译码(草案3)”，第十二届JVET会议，澳门特别行政区，CN， 2018年10月，JVET-L1001，作者B.Bross，J.Chen，and S.Liu。

该采纳包括两个修改以统一正方形和非正方形块的角度帧内预测。首先，修改角度预测方向以覆盖所有块形状的对角线方向。其次，如图7所示和以上所述，对于所有块纵横比(正方形和非正方形)，所有角度方向都保持在左下对角线方向和右上对角线方向之间的范围内。另外，对于所有块形状，顶部参考行和左侧参考列中的参考样点数量均限制到2*宽度+1和2*高度+1。在图8的示例中，除了65个角度模式之外，还描绘了宽角度(-1到-10，和67到76)。

图9是示出在VTM3中采纳的较宽角度的概念图。尽管VTM3定义了 95种模式，但对于任何块大小，仅允许使用67种模式。允许的确切模式取决于块宽度与块高度的比率。这是通过限制某些块大小的模式范围来完成的。图9提供了对于总共93种角度模式，超过模式2和66的VTM3中的宽角度(-1到-14，和67到80)的图示。

以下表2指定了VTM3中predModeIntra和角度参数intraPredAngle之间的映射表，其更多详细信息可参见“多功能视频编译码(草案3)”，第十二届JVET会议，澳门特别行政区，CN，2018年10月，JVET-L1001，作者 B.Bross，J.Chen，和S.Liu。

表2

基于intraPredAngle，如下推导逆角度参数invAngle：

注意，与VTM3规范中的情况一样，为32的倍数(即，在此示例中为 0、32、64、128、256、512的值)的intraPredAngle值始终与根据非分数参考数组样点的预测相对应。下面表3示出了与各种块纵横比相对应的对角线模式。

表3:与各种块纵横比相对应的对角线模式

在本公开的以下部分中描述了MDIS和参考样点插值。在HEVC中，在帧内预测之前，可能会使用2抽头线性或3抽头(1，2，1)/4滤波器对相邻参考样点进行滤波。此过程称为帧内参考平滑或模式相关的帧内平滑(MDIS)。在MDIS中，在给定帧内预测模式索引predModeIntra和块大小nTbS的情况下，确定是否执行参考平滑过程以及若如此使用哪一个平滑滤波器。以下文字是来自HEVC规范的相关段落：

“8.4.4.2.3相邻样点的滤波过程

此过程的输入是：

–相邻样点p[x][y]，其中x＝-1,y＝-1..nTbS*2–1和 x＝0..nTbS*2–1，y＝-1，

–变量nTbS，指定变换块的大小。

此过程的输出是经过滤波的样点pF[x][y]，其中 x＝-1，y＝-1..nTbS*2-1和x＝0..nTbS*2-1，y＝-1。

变量filterFlag的推导如下：

–如果以下条件中的一个或多个为真，则将filterFlag设置为等于0：

–predModeIntra等于INTRA_DC。

–nTbS等于4。

–否则，以下适用：

–变量minDistVerHor设置为等于 Min(Abs(predModeIntra-26),Abs(predModeIntra-10))。

–表8-3中指定了变量intraHorVerDistThres[nTbS]。

–变量filterFlag的推导如下：

–如果minDistVerHor大于intraHorVerDistThres[nTbS]，则将 filterFlag设置为等于1。

–否则，将filterFlag设置为等于0。

表8-3–用于各种变换块大小的intraHorVerDistThres[nTbS]的规范

当filterFlag等于1时，适用以下条件：

–变量biIntFlag的推导如下：

–如果所有以下条件为真，则将biIntFlag设置为等于1：

–strong_intra_smoothing_enabled_flag等于1

–nTbS等于32

–Abs(p[-1][-1]+p[nTbS*2-1][-1]–2*p[nTbS-1][- 1])<(1<<(BitDepthY-5))

–Abs(p[-1][-1]+p[-1][nTbS*2-1]–2*p[-1][nTbS- 1])<(1<<(BitDepthY-5))

–否则，将biIntFlag设置为等于0。

–滤波执行如下：

–如果biIntFlag等于1，则如下推导滤波后的样点值pF[x][y]，

其中x＝-1，y＝-1..63和x＝0..63,y＝-1：

pF[-1][-1]＝p[-1][-1] (8-30)

pF[-1][y]＝((63-y)*p[-1][-1]+(y+1)*p[-1][63]+32)>> 6，

对于y＝0..62 (8-31)

pF[-1][63]＝p[-1][63] (8-32)

pF[x][-1]＝((63-x)*p[-1][-1]+(x+1)*p[63][-1]+32)>> 6，

对于x＝0..62 (8-33)

pF[63][-1]＝p[63][-1] (8-34)

–否则(biIntFlag等于0)，则如下推导过滤后的样点值pF[x][y]，其中x＝-1,y＝-1..nTbS*2–1和x＝0..nTbS*2-1，y＝-1：

pF[-1][-1]＝(p[-1][0]+2*p[-1][-1]+p[0][-1]+2)>>2

(8-35)

pF[-1][y]＝p[-1][y+1]+2*p[-1][y]+p[-1][y-1]+2)>>2，

对于y＝0..nTbS*2-2 (8-36)

pF[-1][nTbS*2-1]＝p[-1][nTbS*2-1] (8-37)

pF[x][-1]＝p[x-1][-1]+2*p[x][-1]+p[x+1][-1]+2)>>2

对于x＝0..nTbS*2-2 (8-38)

pF[nTbS*2-1][-1]＝p[nTbS*2-1][-1] (8-39)

在JVET活动期间，定义了联合探索测试模型(JEM)版本7(更多细节可从“联合探索测试模型7的算法描述”(第七届JVET会议，都灵，意大利，2017年7月，JVET-G1001，作者J.Chen,E.Alshina,G.J.Sullivan，J.-R. Ohm，和J.Boyc获得))，并为亮度块包含了以下版本的MDIS表：

sizeIndex	阈值[sizeIndex]
		0	20
1	20
		2	14
3	2
		4	0
5	20
		6	0

表4

在JEM7中如下定义了块大小索引：

sizeIndex＝(log2(BlockWidth)–2+log2(BlockHeight)–2)/2+2–1

如下确定是否将[1 2 1]/4平滑滤波器应用于帧内参考样点：

IntraModeDiff＝min(abs(IntraModeIdx-HOR_IDX)，abs(IntraModeIdx– VER_IDX))

在HOR_IDX＝18和VER_IDX＝50的情况下，因为JEM7除了平面 (IntraModeIdx＝0)和DC(IntraModeIdx＝1)模式外，还具有65个方向帧内模式(IntraModeIdx 2-66)。以下条件确定是否应用平滑滤波器：

如果IntraModeDiff>Threshold[sizeIndex]，那么“应用平滑过滤器”

在联合视频专家组(JVET)及其VVC测试模型版本3(VTM3)(“多功能视频编译码(草案3)”，第十二届JVET会议，澳门特别行政区，CN，2018 年10月，JVET-L1001，作者B.Bross,J.Chen,和S.Liu)中，包含以下MDIS 表：

sizeIndex	阈值[sizeIndex]
		0	20
1	20
		2	20
3	14
		4	2
5	0
		6	0
7	0

表5

在VTM3中如下定义块大小索引：

sizeIndex＝(log2(BlockWidth)+log2(BlockHeight))/2

如下确定是将[1 2 1]/4平滑滤波器应用于非分数帧内参考样点，还是将插值滤波器在平滑(例如高斯插值)和非平滑(例如三次插值)之间切换以用于分数参考样点位置(也参见2018年9月14日提交的美国临时专利申请第62/731,723号、2018年9月5日提交的第62/727,341号和2018年7月2 日提交的第62/693,266号，其中每一个的全部内容通过引用并入本文，以及“多功能视频编译码(草案3)”，第十二届JVET会议，澳门特别行政区， CN，2018年10月，JVET-L1001，作者B.Bross，J.Chen，和S.Liu)：

IntraModeDiff＝min(abs(IntraModeIdx-HOR_IDX)，abs(IntraModeIdx– VER_IDX))

其中HOR_IDX＝18且VER_IDX＝50且条件为：

如果IntraModeDiff>Threshold[sizeIndex]，那么“应用平滑”

在VTM3中，对于索引<2或>66的宽角度模式，将帧内平滑条件设置为真。原因是在宽角度帧内预测的情况下，两个垂直相邻的预测样点可以使用两个不相邻的参考样点。

在““CE10.1.1：用于改善AMVP模式、跳过或合并模式以及帧内模式的多假设预测”，第十二届JVET会议，澳门特别行政区，CN，2018年10月中，JVET-L0100，作者M.-S.Chiang,C.-W.Hsu,Y.-W.Huang，和S.-M.Lei”中，讨论了帧内-帧间预测混合的方面。以下文本(用引号括起来)提供了帧内-帧间预测混合的概述：

“提出了多假设预测以改善AMVP模式、跳过或合并模式以及帧内模式。提出了多假设预测以改善帧间图像中的现有预测模式，包括高级运动矢量预测(AMVP)模式、跳过和合并模式以及帧内模式的单向预测。一般概念是将现有的预测模式与额外的合并索引的预测相结合。如在合并模式中那样执行合并索引的预测，其中信令通知合并索引以获取用于运动补偿的预测的运动信息。最终预测是合并索引的预测和现有预测模式生成的预测的加权平均，其中根据组合应用不同的权重。

测试了三种帧间组合预测模式，以分别将合并索引的预测与AMVP模式、合并模式以及帧内模式的单向预测进行组合。当与AMVP模式的单向预测组合时，一种运动是使用AMVP模式中的原始语法元素来获取的，而另一种是使用合并索引来获取的，其中总共使用了两种假设。当与合并模式结合时，在不信令通知任何额外的合并索引的情况下使用后续合并候选的隐式选择以获取额外的运动信息，其中最多多使用两种假设。当与帧内模式组合时，帧间编译码单元(CU)中的用于合并模式的帧内模式的显式信令被应用于生成组合预测，其中多使用了一种来自帧内模式的假设。还测试了根据组合产生最终预测的不同权重。

当应用多假设预测来改善帧内模式时，多假设预测将一个帧内预测和一个合并索引的预测相结合。在合并CU中，针对合并模式信令通知一个标志 (当该标志为真时)以从帧内候选列表中选择帧内模式。对于亮度分量，帧内候选列表是从4种帧内预测模式(包括DC、平面、水平和垂直模式)推导而来的，帧内候选列表的大小可以为3或4，其取决于块形状。当CU宽度大于CU高度的两倍时，水平模式不包括帧内模式列表；当CU高度大于 CU宽度的两倍时，将从帧内模式列表中删除垂直模式。使用加权平均值将通过帧内模式索引选择的一种帧内预测模式和通过合并索引选择的一种合并索引的预测进行组合。对于色度分量，始终应用DM，而无需额外的信令。组合预测的权重描述如下。当选择DC或平面模式或者CB的宽度或高度小于4时，应用相等的权重。对于那些具有CB的宽度和高度大于或等于4的 CB，当选择水平/垂直模式时，一个CB首先被垂直/水平划分成四个相等面积的区域。每个权重集(表示为(w_intra_i,w_inter_i)，其中i是从1到4并且 (w_intra₁,w_inter₁)＝(6,2)，(w_intra₂,w_inter₂)＝(5,3)，(w_intra₃,w_inter₃)＝ (3，5)和(w_intra₄，w_inter₄)＝(2，6))将应用于相应区域。(w_intra₁,w_inter₁)用于最接近参考样点的区域，而(w_intra₄，w_inter₄)用于里参考样点最远的区域。然后，通过将两个加权预测相加并右移3比特来计算组合预测。此外，可以保存用于预测器的帧内假设的帧内预测模式，以供以下相邻CU参考。”

图10是示出三角运动补偿的预测的概念图。在““CE10.3.1.b：三角预测单元模式”，第12次JVT会议，澳门特别行政区，CN，2018年10月， JVET-L0124，作者R.-L.Liao和C.S.Lim”中描述了三角运动补偿的预测的方面。参考图10，以下文本(用引号括起来)提供了三角形运动补偿的预测的概述。

“在三角形预测单元模式中，可以使用两个三角形预测单元在对角线或逆对角线方向划分CU。CU中的每个三角形预测单元具有其自己的单向预测运动矢量和参考帧索引，这些运动矢量和参考帧索引是从单向预测候选列表中导出的。三角形分割仅被应用于于运动补偿的预测，这意味着变换和量化过程被应用于将两个三角形组合在一起形成的整个CU。三角形预测单元模式仅应用于块大小大于或等于8×8的CU，并且它的编译码预测模式是跳过模式或合并模式。如图10所示，它将CU按对角线或逆对角线方向分割成两个三角形预测单元。”

图11是示出自适应加权过程的概念图。““CE10.3.1.b：三角形预测单元模式”，第十二届JVET会议，澳门特别行政区，CN，2018年10月，JVET- L0124，作者R.-L.Liao和C.S.Lim”还描述了自适应加权过程的各个方面。下面的文本(用引号括起来)，以及参考图11，提供了自适应加权过程的概述：

“在预测每个三角形预测单元之后，对两个三角形预测单元之间的对角线边缘应用自适应加权过程，以推导整个CU的最终预测。如下列出了两个加权因子组：

·第一加权因子组：{7/8,6/8，4/8,2/8,1/8}和{7/8,4/8,1/8}分别用于亮度和色度样点；

·第二加权因子组：{7/8,6/8,5/8,4/8,3/8,2/8,1/8}和{6/8,4/8,2/8}分别用于亮度和色度样点。

基于两个三角形预测单元的运动矢量的比较来选择一个加权因子组。当两个三角形预测单元的参考图片彼此不同或者它们的运动矢量差大于16个像素时，使用第二加权因子组。否则，使用第一加权因子组。图11中示出了示例”

上述各种技术存在一个或多个潜在的难题/问题。例如，使用帧内预测模式(DC、平面、角度)对位于(x,y)的预测样点intraPred(x，y)进行预测，并使用PDPC表达式将其值修改为单个参考样点线以如下获取 intraPredPDPC(x，y)预测样点：

intraPredPDPC(x，y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT+ wTL)×intraPred(x，y)+32)>>6

其中R_x，-1、R_-1，y分别表示位于当前样点(x，y)顶部和左侧的参考样点，而 R_-1,-1表示位于当前块的左上角的参考样点。帧内-帧间预测将此预测样点 intraPredPDPC(x，y)与合并模式预测interPred(x，y)混合，例如，如下通过进行简单平均：

intraInterPred(x，y)＝(intraPredPDPC(x，y)+interPred(x，y)+1)>>1

潜在的问题是在帧内-帧间混合步骤之前应用PDPC，这可能会对编译码效率和实现复杂性产生不利影响。

其次，在三角形运动补偿的预测的情况下，两个三角形预测单元仅应用于运动补偿的或帧间预测的CU。不支持将一个帧内和一个帧间三角形预测单元混合。在这种情况下，如何将PDPC与混合一起应用存在模糊性。

再次，在帧内-帧间混合之前，可以对参考样点应用MDIS滤波以用于帧内预测，这可能对编译码效率和实现复杂性产生不利影响。

本公开描述了解决以上列出的一个或多个潜在问题的各种技术。在各种示例中，以下描述的技术可以减轻一个或多个潜在问题，而在其他示例中，这些技术可以消除一个或多个潜在问题。可以单独地实现本公开的技术，或者在一些示例中，可以同时地或以任何串行顺序来实现技术的各种组合。

根据根据本公开的一些示例，视频编码器200和/或视频解码器300可以通过将帧内模式与PDPC一起使用来预测帧内块样点intraPredPDPC(x，y)，并且帧间预测块样点interPred(x，y)可以通过以下示例帧内-帧间预测混合过程之一被混合在一起：

a.进行平均：

intraInterPred(x,y)＝(intraPredPDPC(x,y)+interPred(x，y)+1)>>1

b.使用位置无关的权重参数wB进行加权，例如，如果wB值范围为0… 32：

intraInterPred(x，y)＝(wB×intraPredPDPC(x，y)+(32–wB)×interPred(x，y)+16)>>5

c.使用位置相关的权重参数wB_(x,y)进行加权，例如，如果wB_(x,y)的值范围为0…32：

intraInterPred(x,y)＝(wB(x,y)×intraPredPDPC(x,y)+(32–wB(x,y))×interPred(x,y)+16)>>5

d.视频编码器200和/或视频解码器300可以使权重取决于帧内模式，例如，对于平面、DC、方向或宽角度方向模式，可以应用不同的位置无关的权重或位置相关的权重。

e.视频编码器200和/或视频解码器300可以使权重取决于帧间模式或运动数据。

f.视频编码器200和/或视频解码器300可以使权重取决于块维度(宽度、高度)、块面积、块形状(正方形、矩形、三角形等)。

g.视频编码器200和/或视频解码器300可以使权重取决于相邻块数据 (诸如相邻块的帧内或帧间模式)。

h.视频编码器200和/或视频解码器300可通过应用权重来完全或部分地禁用帧内-帧间预测混合，使得每个块或每个块样点仅选择帧内或帧间模式之一。例如，以这种方式，可以以各种形状(例如三角形单元)定义当前块内的预测单元。

i.视频编码器200和/或视频解码器300可以基于在比特流中编译码的标志或值(参数集、图片头、片头、条带头等)或基于取决于块维度、块面积、块形状、预测模式的条件来启用或禁用帧内-帧间预测混合。

j.频编码器200和/或视频解码器300可以使用平面模式作为帧内模式。

根据根据本公开的一些示例，视频编码器200和/或视频解码器300可以通过使用帧内模式(即，不使用PDPC)，来预测帧内块样点intraPred(x,y)。在这些示例中，视频编码器200和/或视频解码器300可通过以下示例帧内- 帧间预测混合过程之一将帧间预测块样点interPred(x,y)混合在一起：

a.进行平均：

intraInterPred(x,y)＝(intraPred(x，y)+interPred(x,y)+1)>>1

b.使用位置无关的权重参数wB进行加权，例如，如果wB值范围为0... 32：

intraInterPred(x，y)＝(wB×intraPred(x,y)+(32–wB)×interPred(x，y)+ 16)>>5

c.使用位置相关的权重参数wB(x,y)进行加权，例如，如果wB(x,y)的值范围为0…32：

intraInterPred(x,y)＝(wB(x,y)×intraPred(x,y)+(32–wB(x，y))×interPred(x，y)+16)>>5

f.视频编码器200和/或视频解码器300可以使权重取决于块的维度(宽度、高度)、块的面积、块的形状(正方形、矩形、三角形等)。

j.视频编码器200和/或视频解码器300可以使用平面模式作为帧内模式。

根据根据本公开的一些示例，视频编码器200和/或视频解码器300可以通过使用帧内模式(即，不使用PDPC或使用PDPC)来预测帧内块样点 intraPred(x，y)。在这些示例中，视频编码器200和/或视频解码器300可以通过以下示例帧内-帧间预测混合过程之一，将帧间预测块样点interPred(x,y)和来自当前块左侧或顶部上的一条或多条线的相邻的重建参考样点混合在一起：

a.对intraPred(x,y)和interPred(x,y)进行平均，并通过应用权重将此平均与相邻的重建参考样点混合在一起：

intraInterPred(x,y)＝(wL×R_-1，y+wT×R_x，-1–wTL×R_-1，-1+(64–wL–wT+ wTL)×((intrapred(x,y)+interpred(x，y)+1)>>1)+32)>>6

或使用以下单个取整运算：

intraInterPred(x，y)＝(2×wL×R_-1，y+2×wT×R_x,-1–2×wTL×R_-1,-1+(64–wL–wT+wTL)×(intrapred(x,y)+interpred(x,y))+64)>>7

其中R_x,-1、R_-1,y分别表示位于当前样点(x,y)顶部和左侧的参考样点，并且R_-1,-1表示位于当前块的左上角的参考样点。

i.权重wL、wT、wTL可以是位置无关的。

ii.权重wL、wT、wTL可以是位置相关的，并且可以在表或模板中被计算或存储。

iii.权重wL、wT、wTL可以是位置无关的，并且取决于混合过程中的预测块或相邻块的帧内模式或帧间模式(或运动数据)或这两种模式。

iv.权重wL、wT、wTL可以是位置相关的，并且取决于帧内模式，例如可以与帧内模式相对应地应用PDPC权重，例如DC模式权重：

wT＝32>>((y<<1)>>shift),wL＝32>>((x<<1)>>shift),wTL＝ (wL>>4)+(wT>>4)，

其中shift＝(log₂(width)+log₂(height)+2)>>2

v.权重wL、wT、wTL可以是位置相关的并且取决于帧内模式，例如可以与帧内模式相对应地应用PDPC权重，例如平面模式权重：

wT＝32>>((y<<1)>>shift),wL＝32>>((x<<1)>>shift),wTL＝0,

其中shift＝(log₂(width)+log₂(height)+2)>>2

vi.权重wL、wT、wTL可以是位置相关的，并且取决于帧间模式或运动数据(例如，运动矢量方向)。

b.使用位置无关的权重wB对intraPred(x,y)和interPred(x,y)进行加权，并且通过应用权重将此加权平均与相邻的重建参考样点混合在一起：

intraInterPred(x，y)＝(wL×R_-1,y+wT×R_x，-1–wTL×R_-1,-1+(64–wL–wT+ wTL)×((wB×intrapred(x，y)+(32–wB)×interpred(x，y)+16)>>5) +32)>>6

或使用以下单个取整运算：

intraInterPred(x,y)＝(32×wL×R_-1，y+32×wT×R_x，-1–32×wTL×R_-1，-1+ (64–wL–wT+wTL)×(wB×intrapred(x,y)+(32–wB)×interpred(x，y)) +(1<<10))>>11

c.使用位置相关的权重wB(x，y)对intraPred(x，y)和interPred(x,y)进行加权，并通过应用权重将此加权平均与相邻的重建参考样点混合在一起：

intraInterPred(x,y)＝(wL×R_-1,y+wT×R_x,-1–wTL×R_-1,-1+(64–wL–wT +wTL)×((wB(x,y)×intrapred(x，y)+(32–wB(x，y))×interPred(x，y)+16)>>5) +32)>>6

或使用以下单个取整运算：

intraInterPred(x,y)＝(32×wL×R_-1,y+32×wT×R_x,-1–32×wTL×R_-1,-1+ (64–wL–wT+wTL)×(wB(x,y)×intrapred(x,y)+(32–wB(x,y))× interPred(x,y))+(1<<10))>>11

i)在一个示例中，其中intraPred(x,y)等于平面预测模式，位置相关的加权利用PDPC样式的权重，如下所示：

wB(x,y)＝32+(32>>((x<<1)>>shift))+(32>>((y<<1)>>shift)),

intraInterPred(x,y)＝(128×wL×R_-1,y+128×wT×R_x,-1+(64–wL–wT)× (wB(x,y)×intrapred(x，y)+(128–wB(x,y))×interPred(x,y))+(1<<12))>>13

其中wT＝32>>((y<<1)>>shift),wL＝32>>((x<<1)>>shift),wTL ＝0,

shift＝(log₂(width)+log₂(height)+2)>>2

或者

wT＝16>>((y<<1)>>shift),wL＝16>>((x<<1)>>shift),wTL＝0,

intraInterPred(x,y)＝(128×wL×R_-1,y+128×wT×R_x,-1+(32–wL–wT)× (wB(x,y)×intrapred(x,y)+(128–wB(x,y))×interPred(x，y))+(1<<11))>>12

ii)在一个示例中，相邻样点、帧内预测样点和帧间预测样点的权重是位置相关的。此实现的示例如下：

wT＝16>>((y<<1)>>shift)，wL＝16>>((x<<1)>>shift)

w＝wT+wL

wIntra＝32+w

wInter＝96-w

intraInterPred(x,y)＝(128×wL×R_-1,y+128×wT×R_x,-1+(32–wL–wT)× (wIntra×intrapred(x,y)+wInter×interPred(x，y))+(1<<11))>>12

图12是表示8x8块的位置相关的权重的示例的概念图。

iii)在另一个示例中，

wB(x，y)＝64+MAX((32>>((x<<1)>>shift))，(32>>((y<<1)>> shift)))

或者

wB(x，y)＝64+MIN((32>>((x<<1)>>shift))，(32>>((y<<1)>> shift)))

MIN(a，b)、MAX(a，b)分别是值a和b的最小值和最大值。

iv)为了进一步减少取整运算，可以将平面模式PL(x，y)进一步解构为两个部分，水平内插部分H(x，y)和垂直内插部分V(x，y)，例如如下：PL(x，y)＝ (H(x，y)+V(x,y)+1)/2，并且混合操作可以被定义如下：

intraInterPred(x，y)＝(64×wL×R-1，y+64×wT×Rx，-1–64×wTL× R_-1，-1+(128–wL–wT+wTL)×(wB(x，y)×(H(x，y)+V(x，y))+(32– wB(x，y))×interPred(x，y))+(1<<11))>>12

a.权重可以取决于帧内模式，例如，对于平面、DC、方向或宽角度方向模式，可以应用不同的位置无关或位置相关的权重。

b.权重可以取决于帧间模式或运动数据。

c.权重可以取决于块维度(宽度、高度)、块的面积、块的形状(正方形、矩形、三角形等)。

d.权重可取决于相邻块数据(诸如相邻块的帧内或帧间模式)。也就是说，视频编码器200和/或视频解码器300可以这样的方式来确定权重，在该方式中权重的计算取决于相邻块数据(诸如相邻块的帧内或帧间模式)。

e.通过应用权重，可以完全或部分禁用帧内-帧间预测混合，以便每个块或每个块样点仅选择帧内或帧间模式之一。例如，以这种方式，可以以各种形状(例如三角形单元)定义当前块内的预测单元。

f.可以基于在比特流中编译码的标志或值(参数集、图片头、片头、条带头等)或基于取决于块维度、块面积、块形状、预测模式的条件来启用或禁用帧内-帧间预测混合。

g.可以使用平滑滤波器、双边滤波器等对相邻的重建参考样点进行滤波。可以应用取决于帧内模式和块大小的MDIS条件以确定使用未滤波还是滤波的参考样点，或者可以基于帧间模式、运动数据、帧内模式、块维度、块面积、块形状等来应用条件。可以从相邻块、当前块或同位块获得此信息。

h.帧内模式可以是平面模式。也就是说，视频编码器200和/或视频解码器300可以使用平面模式作为帧内模式。

根据本公开的一些示例，视频编码器200和/或视频解码器300可从所有帧内模式或从一组选择的帧内模式(例如，平面、DC、水平、垂直)确定帧内模式，或只能允许单个帧内模式(例如，平面模式)。允许的帧内模式可以取决于相邻块的模式。

根据本公开的一些示例，视频编码器200和/或视频解码器300可从所有帧间模式或从一组选择的帧间模式(例如，跳过、合并)确定帧间模式，或者只能允许单个帧间模式(例如合并)。允许的帧间模式可以取决于相邻块或同位块的模式。

根据本公开的一些示例，帧内-帧间混合可以使用两个以上的预测(例如，两个帧间预测和一个帧内预测)。根据这些示例中的一些，可以使用来自当前块的左侧或顶部的一条或多条线的相邻的重建参考样点。

根据本公开的一些示例，当三角形预测块被用于对块进行编译码时，可将类PDPC(PDPC-like)的组合应用于一个或多个三角形预测块。类PDPC 的组合可能涉及将临时预测样点值(通过预测方法获得)与一个或多个相邻参考样点进行组合。在一些情况下，组合可以为组合中的每个项使用不同的权重。在一些这样的情况下，权重可以取决于当前样点相对于当前三角形块或当前块的位置。下面列出了这些示例的各种实现：

a.在一些示例中，参考样点还可以指属于当前块的三角形预测块的样点。

b.在一个示例中，分别为左侧、上部、左上部和右侧参考样点定义了wL、 wT、wTL和wR。位置(x,y)上样点s(x,y)的类PDPC的组合可以被定义如下：

pred(x,y)＝(wL×R_x1(x),y1(x)+wT×R_x2(x),y2(x)+wR×R_x3(x),y3(x)–wTL×R_-1,-1 +(64–wL–wT–wR+wTL)×s(x,y)+32)>>6

其中(xN(x),yN(x))分别指定左侧、上部和右侧参考样点的样点位置，用于样点s(x,y)的类PDPC的组合。

图13A和图13B是示出两个样点的组合的示例的概念图。在图13A和图13B中，示例8x8块被划分成两个三角形分割块。可以将权重定义为类似于为PDPC定义的权重，为PDPC定义基于距样点s(x,y)的距离和移位操作。权重还可以取决于用于预测的模式。

图13A示出了如何使用参考样点T、L、R和TL将类PDPC的组合应用于样点S。对于样点S的不同位置，参考样点改变。S是当前样点，并且 L、R、T和TL分别是S的左、右、上和左上参考样点。在一个示例中，定义权重使得仅对于在创建两个三角形分割的对角线的一定距离(例如，两个或三个样点值)内的一些样点，权重是非零的。在另一个示例中，一个或多个参考样点的位置可以是与该样点相对应的行索引的函数；在另一个示例中，一个或多个参考样点的位置可以是与该样点相对应的列索引的函数。

图14A-图14D是示出左侧参考样点如何随样点的某些邻域而变化的概念图。具体地，图14A-图14D示出了参考样点如何随样点S的位置而变化的示例。图14B-图14D示出了其中箭头表示样点和参考样点相对于样点如何移动的示例。图14B-图14D中的箭头指示相对于图14A的样点的位移。在图14A-图14D中，S是当前样点，并且L、R、T和TL分别是S的左、右、上和左上参考样点。在图14B中，T、S和R向右移动。在图14C中， T向右移动以及L、S和R向下和右移动。在图14D中，T向右移动两个， L向右下移动以及S和R向下移动并且向右移动两个。

在一些示例中，可能当前块的分割块(例如，当前块中的第一三角形块) 不应用类PDPC的组合。在其他示例中，对于一个分割块(例如，第一分割块)，与参考样点中的一个或多个相关联的权重可以被设置为等于0。在图12 中间块(b)中，当首先重建左侧三角形分割块时，可以将与右侧参考样点相关联的权重设置为等于0。

c)在一个示例中，可以将类PDPC的组合应用于帧内编译码块、帧间编译码块或帧内-帧间预测混合块。在其他示例中，可以将类PDPC的组合应用于帧内编译码或帧间编译码块；然后可以使用另一种组合(例如，使用PDPC)，将一个或多个这样的组合块混合。

d)在一个示例中，可通过指示符来控制PDPC对一个或多个三角形预测块的应用，该指示符是视频编码器200在比特流中信令通知给视频解码器300的(例如，指定将PDPC应用于三角形预测块的标志)或者由编译码器(例如，由视频解码器300)根据块大小、用于预测的模式或者当前或相邻块的其它特性来推断/导出的。

图15A和图15B是示出根据本公开的方面的权重计算的示例的概念图。根据本公开的一些示例，视频编码器200和视频解码器300可使用帧内模式 (例如，不使用PDPC或使用PDPC)来预测帧内块样点intraPred(x,y)，并且可以使用用于帧内和帧间预测样点的位置无关的权重将帧间预测块样点 interPred(x，y)混合在一起。举例来说，视频编码器200和/或视频解码器300 可使用用于帧内和帧间预测样点的位置无关的权重将使用帧内模式预测的帧内块样点混合在一起。令wIntra和wInter分别为intraPred(x,y)和 interPred(x,y)的权重。wIntra和wInter可以定义如下：

a.使用当前块的帧内编译码邻居的数量确定wIntra和wInter。例如，权重的决定可以取决于如图15A中所示的顶部和左侧块的预测模式。也就是说，视频编码器200和视频解码器300可以根据接触当前块的左上角的、当前块上方的块(“顶部”)和接触当前块的左上角的、当前块左侧的块(“左侧”)来确定权重。在另一个示例中，视频编码器200 和视频解码器300可使用如图15B中所描绘的右上(top-r)和左下(left- b)的参考块来确定权重。也就是说，视频编码器200和视频解码器300 可以根据接触当前块的右上角的、当前块上方的块(“top-r”)和接触当前块的左下角的、当前块左侧的块(“left-b”)来确定权重。在一些示例中，如果参考块两者都是帧内编译码的，则视频编码器200和视频解码器300确定用于wIntra的值，该值大于wInter。如果仅参考块中的一个是帧内编译码的，则视频编码器200和视频解码器300可确定wIntra和 wInter的相等值。否则，如果参考块两者都是帧间预测的，则视频编码器200和视频解码器300可以确定wIntra的值，该值小于wInter。在一个示例中，如果参考块两者都是帧内编译码的，则视频编码器200和视频解码器300将(wIntra，wInter)设置为等于(3，1)；如果这些参考块中的一个是帧内编译码的并且另一个是帧间编译码的，则视频编码器200和视频解码器300可以将这些权重设置为等于(2，2)；否则，如果参考块两者都是帧间编译码的，则视频编码器200和视频解码器300可以将权重设置为等于(1，3)。

b.在一些示例中，视频编码器200和视频解码器300可使用当前块的大小来计算wIntra和wInter。

在一个示例中，给定wIntra和wInter如下：

wInter＝min(log2(width)，log2(height))。

wIntra＝log2(MAX_BLOCK_SIZE)–wInter

其中MAX_BLOCK_SIZE是块允许的最大大小。

在另一个示例中，给定wIntra和wInter如下：

wInter＝(min(log2(width),log2(height))>>1)<<1。

wIntra＝log2(MAX_BLOCK_SIZE)–wInter

在另一个示例中，权重计算为：

wInter＝log2(width+height)–1。

wIntra＝log2(MAX_BLOCK_SIZE)–wInter

利用位置无关的权重，视频编码器200和/或视频解码器300可以根据以下公式执行混合过程：

pred(x，y)＝(wIntra*intraPred(x，y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)

为了避免在混合过程中的除法，可以将(wIntra+wInter)设计为2的幂，即(wIntra+wInter)＝2^N。

在该设计中，混合公式变为：

pred(x,y)＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+(1<<(N- 1)))>>N

在一个示例中，基于查找表(LUT)的除法可以用于执行除法。

在另一个示例中，视频编码器200和/或视频解码器300在推导pred(x,y) 时可以避免执行显式裁剪(clipping)，并且如上所述，裁剪操作可以与PDPC 的裁剪操作相结合。

根据本公开的一些示例，混合可以使用来自与当前块相邻(例如，在其左侧或顶部)的一条或多条线的帧内预测样点、帧间预测样点和相邻的重建参考样点。

a.在一个示例中，帧内和帧间预测样点的权重是位置无关的(如上关于示例所述，其中通过使用帧内模式(例如，不使用PDPC或使用 PDPC)预测帧内块样点intraPred(x，y)，并且可以使用用于帧内和帧间样点的位置无关的权重将帧间预测块样点interPred(x，y)混合在一起)，而相邻的重建样点的权重可以使用位置相关方案(如上关于示例所述的，其中可以通过使用帧内模式(即，不使用PDPC或使用PDPC)预测帧内块样点intraPred(x，y)，并且帧间预测块样点interPred(x，y)和来自当前块左侧或顶部上的一个或多个线的相邻的重建参考样点可以被混合在一起)被决定。在一个示例中，混合后的样点给出为：

pred(x，y)＝((wL*L<<2)+(wT*T<<2)+(32-wL-wT)*(wIntra* intraPred(x，y)+wInter*interPred(x，y))+(1<<6))>>7；

其中wT＝16>>((y<<1)>>shift),wL＝16>>((x<<1)>>shift)

shift＝(log₂(width)+log₂(height)+2)>>2

b.在另一个示例中，混合后的样点给出为：

pred(x,y)＝((wL*L<<2)+(wT*T<<2)+(64-wL-wT)*(wIntra* intraPred(x，y)+wInter*interPred(x,y))+(1<<7))>>8；

其中wT＝32>>((y<<1)>>shift),wL＝32>>((x<<1)>> shift)

shift＝(log2(width)+log2(height)+2)>>2

c.在另一个示例中，顶部和左侧样点的权重以及用于帧间和帧内预测的权重是位置无关的。预测样点可以给出为：

pred(x，y)＝(wL*L+wT*T+W*(wIntra*intraPred(x,y)+wInter *interPred(x，y))+(1<<(N-1)))>>N

其中wL、wT、W、wIntra、wInter是常数且位置无关的。

混合的一个示例可以给出为：

pred(x，y)＝(4*L+4*T+6*(wIntra*intraPred(x,y)+wInter* interPred(x，y))+16)>>6

其中，如上关于示例决定/确定wInter和wIntra，在该示例中通过使用帧内模式(例如，不使用PDPC或使用PDPC)预测帧内块样点intraPred(x,y)，并且可以使用用于帧内和帧间预测样点的位置无关的权重将帧间预测块样点interPred(x，y)混合在一起。

根据本公开的一些示例，用于帧间和帧内预测样点的权重wInter和 wIntra可以如下确定：

a.视频编码器200和/或视频解码器300可以确定相邻块(例如，顶部和左侧的相邻块)的第一子集。

b.视频编码器200和/或视频解码器300可以确定相邻块(例如，顶部和左侧的相邻块)的第二子集；第一子集和第二子集可以具有或可以不具有公共块。

c.视频编码器200和/或视频解码器300可以确定第一子集中的满足第一标准(例如，第一标准是使用帧内模式对块进行编译码的确定) 的相邻块的第一数量。

d.视频编码器200和/或视频解码器300可以确定第二子集中的满足第二标准(例如，第二标准是使用帧间-帧内混合模式对块进行编译码的确定)的相邻块的第二数量。

e.视频编码器200和/或视频解码器300可以基于块的第一数量和第二数量来确定权重wInter和wIntra。

f.视频编码器200和/或视频解码器300可取决于相邻块的第二数量，确定使用帧间-帧内混合来对当前块进行编译码。

i.在一个示例中，使用帧间-帧内混合(或与帧间-帧内混合有关的其他参数)对当前块进行编译码的指示可以取决于第二数量的值；在一些示例中，视频编码器200可以使指示(或相关参数)的信令通知取决于第二数量的值。当视频编码器200未信令通知指示 (或相关参数)时，可以选择默认值。例如，当第二数量的值为0 时，视频编码器200可以不信令通知指示，而视频解码器300可以将该值推断为0(指示帧间-帧内混合未应用于当前块)。

ii.在另一个示例中，视频编码器200可以基于第二数量的值来确定用于信令通知帧间-帧内混合的指示或其参数的一个或多个上下文。

g.在一个示例中，视频编码器200和/或视频解码器300可以基于第一数量(n1)或第二数量(n2)或第一数量和第二数量两者，使用第一数量和第二数量的函数(例如，函数可以是n1+n2)来代替一个或多个确定。

根据本公开的一些示例，可以允许多个帧内-帧间混合方案。例如，可以定义上述各种混合方案的子集。视频编码器200可以选择具有/产生最佳性能的混合方案来对块进行编码。最佳候选的选择可以通过不同的方法来执行。根据本公开的技术，选择最佳候选的一些解决方案如下：

a.最佳混合模式是通过速率失真优化过程获得的。在此解决方案中，将根据速率失真(RD)代价评估预定义混合集中的所有候选对象。选择具有最小代价的模式，并将该模式的索引被信令通知给解码器。视频编码器200可使用CABAC引擎对索引进行编码。

b.视频编码器200和/或视频解码器300可以基于块的或相邻块的编译码信息(诸如运动信息、编译码模式或帧间预测的参考图片索引之类的编码信息)来选择混合方案。在该解决方案中，视频编码器200可能不需要信令通知最佳混合模式。根据此实现，在视频编码器200和视频解码器300处的混合模式的推导是相同的。在一个示例中，视频编码器200和/或视频解码器300可以选择最佳混合方案(例如，就RD代价而言)作为将在视频编码器200和/或视频解码器300处使用的混合方案。

图16是说明可以执行本公开的技术的示例视频编码器200的框图。提供图16是为了解释的目的，并且图16不应被认为是对本公开中广泛例示和描述的技术的限制。为了解释的目的，本公开在视频编译码标准(诸如HEVC 视频编译码标准、正在开发的H.266视频编译码标准和VVC)的上下文中描述了视频编码器200。然而，本公开的技术不限于这些视频编译码标准，并且通常可应用于视频编码和解码。

在图16的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元 202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、解码图片缓冲器(DPB) 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器中或在处理电路中被实现。此外，视频编码器200可包括附加的或替代的处理器或处理电路，以执行这些和其他功能。视频编码器200可包括的处理电路的非限制性示例可以是固定功能电路、可编程电路和ASIC。

视频数据存储器230可以存储将由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以充当参考图片存储器，该参考图片存储器存储参考视频数据，以供视频编码器200预测后续视频数据时使用。视频数据存储器230和DPB 218可以由多种存储设备(例如动态随机访问存储器(DRAM)、包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM (RRAM)或其他类型的存储设备)中的任何一个形成。视频数据存储器230 和DPB 218可以由相同的存储设备或独立的存储设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或者相对于那些组件在芯片外。

在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非如此具体地描述，或者限于视频编码器200外部的存储器，除非如此具体地描述。相反，对视频数据存储器230的引用应被理解为存储视频编码器200所接收的用于编码的视频数据(例如，将要编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供从视频编码器200的各个单元的输出的临时存储。

示出图16中所示的各种单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路指提供特定功能并在可以执行的操作上预设的电路。可编程电路指可以被编程为执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行使可编程电路以软件或固件的指令所定义的方式进行操作的软件或固件。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。

视频编码器200可包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图 1)可以存储视频编码器200接收并执行的软件的目标代码，或者视频编码器200内的另一个存储器(未示出)可能会存储此类指令。

视频数据存储器230被配置为存储接收到的视频数据。视频编码器200 可从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将被编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元，以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码遍次(encoding pass)，以测试编码参数的组合以及用于这种组合的结果的率失真值。编码参数可以包括CTU 到CU的分割、CU的预测模式、CU的残差数据的变换类型、CU的残差数据的量化参数等等。模式选择单元202可以最终选择具有比其他测试的组合更好的率失真值的编码参数的组合。

视频编码器200可以将从视频数据存储器230检索的图片分割为一系列 CTU，并将一个或多个CTU封装在条带中。模式选择单元202可以根据树结构(诸如上述HEVC的QTBT结构或四叉树结构)，来分割图片的CTU。如上所述，视频编码器200可根据树结构从分割CTU来形成一个或多个CU。这样的CU也通常可以被称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU，或 HEVC中PU和TU的重叠部分)的预测块。针对当前块的帧间预测，运动估计单元222可执行运动搜索以识别一个或多个参考图片(例如，存储在 DPB 218中的一个或多个先前编译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以(例如，根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)计算表示潜在参考块与当前块有多相似的值。运动估计单元222通常可使用当前块与所考虑的参考块之间的逐样点差来执行这些计算。运动估计单元222可识别具有由这些计算产生的最小值的参考块，其指示与当前块最紧密匹配的参考块。

运动估计单元222可形成一个或多个运动矢量(MV)，运动矢量定义参考图片中的参考块的位置相对于当前图片中的当前块的位置。然后，运动估计单元222可将运动矢量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一个示例，如果运动矢量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可例如通过逐样点平均或加权平均来检索由相应运动矢量标识的两个参考块的数据，并组合检索到的数据。

作为另一个示例，对于帧内预测或帧内预测编译码，帧内预测单元226 可以从与当前块相邻的样点生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样点的值，并在当前块上沿定义的方向填充这些计算出的值以产生预测块。作为另一个示例，对于DC模式，帧内预测单元226可以计算到当前块的相邻样点的平均值，并且生成预测块以为预测块的每个样点包括所得的平均值。

根据本公开的技术，模式选择单元202还可以使帧内预测单元226、运动估计单元222和运动补偿单元224以执行根据本公开的技术的PDPC以生成预测块。具体地，模式选择单元202可以(例如基于用于视频数据的块的 PDPC的率失真优化(RDO)性能)选择用于视频数据的块的PDPC。通常，帧内预测单元226可以为该块生成帧内预测块，并且运动估计单元222和运动补偿单元224可以为该块生成帧间预测块。然后，模式选择单元202可以确定当前块的相邻块(例如，图15A或15B的相邻块)的预测模式。

模式选择单元202然后可以根据相邻块的预测模式来确定要应用于帧内预测块和帧间预测块的权重。在一个示例中，如果上相邻块和左相邻块两者都是帧内预测的，则模式选择单元202可以确定要应用于帧内预测块的权重为3和要应用于帧间预测块的权重为1；如果上相邻块和左相邻块两者都是帧间预测的，则模式选择单元202可以确定将要应用于帧间预测块的权重为 3和要应用于帧内预测的权重为1；并且，如果上相邻块和左相邻块之一是帧内预测的并且另一个是帧间预测的，则模式选择单元202可以确定要应用于帧内预测块的权重为2，和要应用于帧间预测块的权重为2。

模式选择单元202可以根据确定的权重使用帧内预测块和帧间预测块的加权组合来生成预测块。例如，模式选择单元202可以(例如根据公式pred(x,y) ＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)) 将帧内预测权重应用于帧内预测块的样点，并且将帧间预测权重应用于帧间预测块的样点。然后模式选择单元202可以将加权的帧内预测块的样点添加到加权的帧间预测块的相应样点，并将得到的样点除以权重之和(例如，4)。为了避免实际执行除法运算，模式选择单元202可以对块的每个样点执行按 4位右移。所得块可以对应于预测块。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204 从视频数据存储器230接收当前块的原始未编译码版本，并从模式选择单元 202接收预测块。残差生成单元204计算当前块和预测块之间的逐样点差。所得的逐样点差定义了当前块的残差块。在一些示例中，残差产生单元204 还可确定残差块中的样点值之间的差以使用残差差分脉冲代码调制 (RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。

在模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300 可以支持具有各种大小的PU。如上所指示的，CU的大小可以指CU的亮度编译码块的大小，而PU的大小可以指PU的亮度预测单元的大小。假设特定CU的大小为2Nx2N，则视频编码器200可支持用于帧内预测的2Nx2N或NxN的PU大小，以及用于帧间预测的2Nx2N、2NxN、Nx2N、NxN或类似的对称PU大小。视频编码器200和视频解码器300还可以支持非对称分割，其中针对用于帧间预测的2NxnU、2NxnD、nLx2N和nRx2N的PU大小。

在模式选择单元202不将CU进一步分割成PU的示例中，每个CU可以与亮度编译码块和对应的色度编译码块相关联。如上所述，CU的大小可以指CU的亮度编译码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。

作为少数示例，对于其他视频编译码技术(例如帧内块复制模式编译码、仿射模式编译码和线性模型(LM)模式编译码)，经由与编译码技术相关联的各个单元，模式选择单元202为正在被编码的当前块生成预测块。在一些示例中，例如调色板模式编译码，模式选择单元202可以不生成预测块，而是生成语法元素，该语法元素指示基于所选调色板来重建块的方式。在这样的模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。

如上所述，残差生成单元204接收当前块和对应的预测块的视频数据。然后残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块和当前块之间的逐样点差。

变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块 (在本文中称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可以将离散余弦变换 (DCT)、方向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行诸如主变换和次变换(例如旋转变换)的多个变换。在一些示例中，变换处理单元206不将变换应用于残差块。

量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202) 可通过调整与CU相关联的QP值来调整被应用于与当前块相关联的系数块的量化程度。量化可能会引入信息损失，因此，量化后的变换系数可能会具有比变换处理单元206生成的原始变换系数低的精度。

逆量化单元210和逆变换处理单元212可以将逆量化和逆变换分别应用于量化的变换系数块，以从变换系数块重建残差块。重建单元214可以基于重建的残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重建块(尽管可能具有一定程度的失真)。例如，重建单元214可以将重建残差块的样点加到来自由模式选择单元202所生成的预测块的对应样点，以产生重建块。

滤波器单元216可以对重建块执行一个或多个滤波操作。例如，滤波器单元216可执行去块操作以减少沿着CU的边缘的块状伪影。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将重建块存储在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重建单元214可以将重建块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重建块存储到DPB 218。运动估计单元222和运动补偿单元224可以从DPB 218检索参考图片，该参考图片由重建(并且可能滤波的)的块形成，以对随后编码的块进行帧间预测。另外，帧内预测单元226可使用DPB 218中的当前图片的重建块来对当前图片中的其他块进行帧内预测。

通常，熵编码单元220可对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可对来自量化单元208的量化的变换系数块进行熵编码。作为另一个示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对语法元素(它们是视频数据的另一个示例)执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以执行上下文自适应可变长度编译码(CAVLC) 操作、CABAC操作、变量到变量(V2V)长度编译码操作、基于语法的上下文自适应二进制算术编译码(SBAC)操作、概率区间分割熵(PIPE)编译码操作、指数哥伦布编码操作或对数据的另一种熵编码操作。在一些示例中，熵编码单元220可以在语法元素未被熵编码的旁路模式下操作。

视频编码器200可输出包括条带或图片的重建块所需的熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流

关于块描述了上述操作。这样的描述应该被理解为是针对亮度编译码块和/或色度编译码块的操作。如上所述，在一些示例中，亮度编译码块和色度编译码块是CU的亮度和色度分量。在一些示例中，亮度编译码块和色度编译码块是PU的亮度和色度分量。

在一些示例中，针对亮度编译码块执行的操作不必被重复用于色度编译码块。作为一个示例，不需要重复用于识别用于亮度编译码块的运动矢量 (MV)和参考图片的操作，来识别用于色度块的MV和参考图片。相反，可以缩放用于亮度编译码块的MV以确定用于色度块的MV，并且参考图片可以是相同的。作为另一个示例，对于亮度编译码块和色度编译码块，帧内预测过程可以是相同的。

以这种方式，视频编码器200表示用于对视频数据进行编码的设备的示例，该设备包括存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并被配置为：确定视频数据的当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

图17是示出可以执行本公开的技术的示例视频解码器300的框图。提供图17是为了解释的目的，并且图17不限制本公开中广泛例示和描述的技术。为了解释的目的，本公开描述了根据VVC和HEVC的技术描述的视频解码器300。然而，本公开的技术可以由被配置为其他视频编译码标准的视频编码设备来执行。

在图17的示例中，视频解码器300包括编码图片缓冲器(CPB)存储器 320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB 存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和DPB 314中的任何一个或全部可以在一个或多个处理器或在处理电路中被实现。此外，视频解码器300 可以包括附加的或替代的处理器或处理电路，以执行这些和其他功能。视频解码器300可以包括的处理电路的非限制性示例是固定功能电路、可编程电路和ASIC。

预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括加法单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板单元、帧内块复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。

CPB存储器320可以存储将由视频解码器300的组件解码的视频数据 (例如编码的视频比特流)。例如，可以从计算机可读介质110(图1)获得存储在CPB存储器320中的视频数据。CPB存储器320可以包括存储来自编码的视频比特流的编码的视频数据(例如，语法元素)的CPB。而且，CPB 存储器320可以存储除了编译码的图片的语法元素之外的视频数据，例如表示来自自视频解码器300的各种单元的输出的临时数据。DPB 314通常存储解码的图片，在对编码的视频比特流的后续数据或图片进行解码时，视频解码器300可以输出和/或使用该解码的图片作为参考视频数据。CPB存储器320和DPB 314可以由各种存储设备(例如动态随机存取存储器(DRAM) (包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM)) 或其他类型的存储设备)中的任何一种形成。CPB存储器320和DPB 314可以由相同的存储设备或独立的存储设备提供。在各种示例中，CPB存储器320 可以与视频解码器300的其他组件在芯片上，或者相对于那些组件在芯片外。

附加地或替代地，在一些示例中，视频解码器300可从存储器120(图 1)检索编码的视频数据。也就是说，存储器120可以利用CPB存储器320 存储如上文所述的数据。类似地，当视频解码器300的一些或全部功能在软件中实现以通过视频解码器300的处理电路来执行时，存储器120可存储将由视频解码器300执行的指令。

示出图17中所示的各种单元以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。类似于图16，固定功能电路指提供特定功能并且在可以执行的操作上预设的电路。可编程电路指可以被编程以执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行使可编程电路以软件或固件的指令所定义的方式进行操作的软件或固件。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。

视频解码器300可包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。

熵解码单元302可从CPB接收编码的视频数据，并对该视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310和滤波器单元312可以基于从比特流提取的语法元素来生成解码的视频数据。

通常，视频解码器300在逐块的基础上重建图片。视频解码器300可单独地对每个块执行重建操作(其中当前正在被重建(即，被解码)的块可以被称为“当前块”)。

熵解码单元302可对语法元素以及诸如量化参数(QP)和/或(多个) 变换模式指示的变换信息进行熵解码，其中语法元素定义了量化的变换系数块的量化的变换系数。逆量化单元306可以使用与量化的变换系数块相关联的QP来确定量化度，并且同样地，确定逆量化度以供逆量化单元306应用。逆量化单元306可以例如执行按位左移运算以对量化的变换系数进行逆量化。逆量化单元306可以由此形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆Karhunen-Loeve变换 (KLT)、逆旋转变换、逆方向变换或另一逆变换应用于系数块。

此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示DPB 314中的从其中检索参考块的参考图片，以及识别参考图片中参考块的位置相对于当前图片中的当前块的位置的运动矢量。运动补偿单元 316通常可以以与关于运动补偿单元224(图16)所描述的方式基本相似的方式来执行帧间预测处理。

作为另一个示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图 16)所描述的方式基本上相似的方式来执行帧内预测处理。帧内预测单元318 可以从DPB 314检索到当前块的相邻样点的数据。

作为另一个示例，如果预测信息语法元素指示使用根据本公开的技术的 PDPC来预测当前块，则预测处理单元304可以进一步使帧内预测单元318 和运动补偿单元316执行根据本公开的技术的PDPC以生成预测块。通常，帧内预测单元318可以为该块生成帧内预测块，并且运动补偿单元316可以为该块生成帧间预测块。然后，预测处理单元304可以确定用于当前块的相邻块(例如，15A或15B的相邻块)的预测模式。

然后预测处理单元304可以根据用于相邻块的预测模式来确定要应用于帧内预测块和帧间预测块的权重。在一个示例中，如果上相邻块和左相邻块两者都是帧内预测的，则预测处理单元304可以确定要应用于帧内预测块的权重为3和要应用于帧间预测块的权重为1；如果上相邻块和左相邻块两者都是帧间预测的，则预测处理单元304可以确定将要应用于帧间预测块的权重为3和要应用于帧内预测的权重为1；并且，如果上相邻块和左相邻块之一是帧内预测的并且另一个是帧间预测的，则预测处理单元304可以确定要应用于帧内预测块的权重为2并且要应用于帧间预测块的权重为2。

预测处理单元304可根据确定的权重使用帧内预测块和帧间预测块的加权组合来生成预测块。例如，预测处理单元304可例如根据公式pred(x，y)＝ (wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)将帧内预测权重应用于帧内预测块的样点，并将帧间预测权重应用于帧间预测块的样点。然后，预测处理单元304可以将加权后的帧内预测块的样点加到加权后的帧间预测块的相应样点，并将得到的样点除以权重之和(例如4)。为了避免实际执行除法运算，预测处理单元304可以对块的每个样点执行按4位右移。所得块可以对应于预测块。

重建单元310可以使用预测块和残差块来重建当前块。例如，重建单元 310可将残差块的样点加到预测块的对应样点以重建当前块。

滤波器单元312可以对重建块执行一个或多个滤波操作。例如，滤波器单元312可以执行去块操作以减少沿着重建块的边缘的块状伪影。不必在所有示例中都执行过滤器单元312的操作。

视频解码器300可将重建块存储在DPB 314中。如上所述，DPB 314可向预测处理单元304提供参考信息(例如用于帧内预测的当前图片的样点以及用于随后的运动补偿的先前解码的图片)。此外，视频解码器300可从DPB 输出解码的图片，以用于随后在显示设备(例如，图1的显示设备118)上呈现。

以这种方式，视频解码器300表示用于对视频数据进行解码的设备的示例，该设备包括存储器，其被配置为存储视频数据，以及一个或多个处理单元，其在处理电路中实现并被配置为执行本公开中描述的示例技术。

例如，处理电路可以被配置为确定边界亮度值。具有小于或等于边界亮度值的值的样点被分类为第一组，并且具有大于边界亮度值的值的样点被分类为第二组。处理电路可以被配置为基于具有第一参数和第二参数的第一预测模型来确定第一组的样点的预测块的预测样点的第一集合，并基于具有第三参数和第四参数的第二预测模型来确定第二组的样点的预测块的预测样点的第二集合。

例如，如果Rec_L’[x,y]<阈值，则第一模型为α1*RecL’[x,y]+β1。在该示例中，预测块的预测样点的第一集合是从第一模型生成的那些。第一参数是α1，第二参数是β1。如果Rec_L’[x，y]>阈值，则第二模型为α2*Rec_L’[x，y] +β2。在该示例中，预测块的预测样点的第二集合是从第二模型生成的那些。第三参数是α2，第四参数是β2。

处理电路可以被配置为确定第一参数、第二参数、第三参数或第四参数中的至少一个。为了确定第一、第二、第三或第四参数中的至少一个，处理电路可以被配置在具有最大亮度值的第一组的样点中确定第一组中的第一亮度样点，确定与第一亮度样点相对应的第一色度样点；在具有最小亮度值的第二组的样点中确定第二组中的第二亮度样点，确定与第二亮度样点相对应的第二色度样点；并且基于第一色度样点和第二色度样点，确定第一参数、第二参数、第三参数或第四参数中的至少一个。

处理电路可以被配置为至少部分地基于预测块和残差块来重建当前块。

作为一个示例，处理电路可以基于第一色度样点和第二色度样点来确定导出的色度值。为了基于第一色度样点和第二色度样点确定第一参数、第二参数、第三参数或第四参数中的至少一个，处理电路可以被配置为基于导出的色度值确定第一参数、第二参数、第三个参数或第四个参数中的至少一个。例如，处理电路可以确定第一色度样点和第二色度样点的平均值，以确定导出的色度值。

为了基于所导出的色度值来确定第一参数、第二参数、第三参数或第四参数中的至少一个，处理电路可以被配置为确定第一参数(α1)等于(c- Cy)/(Y1-Yb)，确定第二参数(β1)等于Cy–α1*Yb，确定第三参数(α2)等于(c- Cx)/(Y1-Ya)，以及确定第四参数(β2)等于Cx–α2*Ya。在此示例中，c等于导出的色度值，Cy等于第二色度样点，Y1等于边界亮度值，Yb等于第二亮样点，Cx等于第一色度样点，并且Ya为等于第一个亮度样点。

在一些示例中，边界亮度值可以使得使用预测模型在边界亮度值处的预测样点可以是相同的或在阈值差值内。例如，假设第一预测样点等于第一参数乘以边界亮度值加上第二参数，并且第二预测样点等于第三参数乘以边界亮度值加上第四参数。在此示例中，边界亮度值使得第一预测样点和第二预测样点之间的差(例如，差的绝对值)小于阈值差值。在一些示例中，阈值差值可以近似等于0。

以此方式，视频解码器300表示用于对视频数据进行解码的设备的示例，该设备包括存储器，其被配置为存储视频数据；以及一个或多个处理器，其在电路中实现并被配置为：确定视频数据的当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

图18是示出根据本公开的技术的对视频数据进行编码的示例方法的流程图。尽管关于视频编码器200(图1和图16)进行了描述，但是应当理解，可以将其他设备配置为执行与图18类似的方法。

在此示例中，视频编码器200最初使用根据本公开的技术的PDPC来预测当前块。具体地，视频编码器200生成当前块的帧内预测块(350)，然后生成当前块的帧间预测块(352)。然后视频编码器200可以确定当前块的相邻块的预测模式(354)。例如，视频编码器200可以确定上相邻块及左相邻块(诸如图15A和15B所示的那些)的预测模式。

然后，视频编码器200可根据用于相邻块的预测模式来确定要应用于帧内预测块和帧间预测块的权重(356)。在一个示例中，如果上相邻块和左相邻块两者都是帧内预测的，则视频编码器200可确定要应用于帧内预测块的权重为3和要应用于帧间预测块的权重为1；如果上相邻块和左相邻块两者都是帧间预测的，则视频编码器200可以确定要应用于帧间预测块的权重为 3和要应用于帧内预测块的权重为1；并且，如果上相邻块和左相邻块之一是帧内预测的并且另一个是帧间预测的，则视频编码器200可以确定要应用于帧内预测块的权重为2和要应用于帧间预测块的权重为2。

然后，视频编码器200可使用权重来生成预测块(358)。例如，视频编码器200可以例如根据公式pred(x，y)＝(wIntra*intraPred(x，y)+wInter* interPred(x,y)+offset)/(wIntra+wInter)，将帧内预测权重应用于帧内预测块的样点，并将帧间预测权重应用于帧间预测块的样点。然后视频编码器200 可将加权后的帧内预测块的样点加到加权后的帧间预测块的对应样点，并将所得样点除以权重之和(例如4)。为了避免实际执行除法运算，视频编码器200可以对块的每个样点执行按4位右移。所得块可以对应于预测块。

然后视频编码器200可以计算当前块的残差块(360)。为了计算残差块，视频编码器200可计算原始、未编译码的块与当前块的预测块之间的差。然后视频编码器200可以对残差块的系数进行变换和量化(362)。接下来，视频编码器200可以对残差块的量化的变换系数进行扫描(364)。在扫描期间或在扫描之后，视频编码器200可对变换系数进行熵编码(366)。例如，视频编码器200可以使用CAVLC或CABAC对变换系数进行编码。然后视频编码器200可输出块的系数的熵编码的数据(368)。

以此方式，图18的方法表示对视频数据进行编码的方法的示例，该方法包括确定当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

图19是示出根据本公开的技术的解码视频数据的示例方法的流程图。尽管关于视频解码器300(图1和图17)进行了描述，但是应当理解，可以将其他设备配置为执行与图19类似的方法。

视频解码器300可接收当前块的熵编码的数据(例如，熵编码的预测信息和对应于当前块的残差块的系数的熵编码的数据)(370)。视频解码器300 可对熵编码的数据进行熵解码以确定当前块的预测信息并再现残差块的系数(372)。根据图19的示例，当前块的预测信息可以指示将使用根据本公开的技术的PDPC来预测当前块。

然后，视频解码器300可以(例如使用根据本公开的技术的PDPC)来预测当前块。具体来说，视频解码器300生成当前块的帧内预测块(376)，然后生成当前块的帧间预测块(378)。然后视频解码器300可确定当前块的相邻块的预测模式(380)。举例来说，视频解码器300可确定上相邻块及左相邻块(诸如图15A和图15B中所示的那些)的预测模式。

然后，视频解码器300可根据相邻块的预测模式来确定要应用于帧内预测块和帧间预测块的权重(382)。在一个示例中，如果上相邻块和左相邻块两者都是帧内预测的，则视频解码器300可确定要应用于帧内预测块的权重为3和要应用于帧间预测块的权重为1；如果上相邻块和左相邻块两者都是帧间预测的，则视频解码器300可以确定要应用于帧间预测块的权重为3和要应用于帧内预测块的权重为1；并且，如果上相邻块和左相邻块之一是帧内预测的并且另一个是帧间预测的，则视频解码器300可以确定要应用于帧内预测块的权重为2和要应用于帧间预测块的权重为2。

然后，视频解码器300可使用权重来生成预测块(384)。例如，视频解码器300可例如根据公式pred(x,y)＝(wIntra*intraPred(x,y)+wInter* interPred(x，y)+offset)/(wIntra+wInter)，将帧内预测权重应用于帧内预测块的样点，并将帧间预测权重应用于帧间预测块的样点。然后视频解码器300 可将加权后的帧内预测块的样点加到加权后的帧间预测块的相应样点，并将所得样点除以权重之和(例如4)。为了避免实际执行除法运算，视频解码器 300可以对块的每个样点执行按4位右移。所得块可以对应于预测块。

然后视频解码器300可对再现的系数进行逆扫描(386)，以创建量化的变换系数的块。然后，视频解码器300可对变换系数进行逆量化和逆变换以产生残差块(388)。视频解码器300可通过组合预测块和残差块来最终对当前块进行解码(390)。

以此方式，图19的方法表示解码视频数据的方法的示例，该方法包括确定当前块的帧内预测的相邻块的第一数量；确定帧间预测的相邻块的第二数量；根据第一数量和第二数量，确定第一权重值，该第一权重值将被应用于当前块的帧内预测块的帧内预测样点；根据第一数量和第二数量，确定第二权重值，该第二权重值将被应用于当前块的帧间预测块的帧间预测样点；生成当前块的预测块，该预测块作为第一权重值所应用于的帧内预测块和第二权重值所应用于的帧间预测块的加权组合；以及使用该预测块对当前块进行编译码。

应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序被执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件是实施该技术所必需的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器同时地而不是顺序地被执行。

在一个或多个示例中，可以以硬件、软件、固件或其任何组合来实现所描述的功能。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或者包括(例如根据通信协议)来促进将计算机程序从一个地方转移到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2) 诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，此类计算机可读存储介质可以包括RAM、ROM、 EEPROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备、闪存存储器或任何其他可用于以指令或数据结构形式存储所需程序代码且可由计算机访问的介质中的一个或多个。同样，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如红外、无线电和微波)从网站、服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、DSL 或无线技术(例如红外、无线电和微波)。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是针对非瞬时的有形存储介质。本文使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式复制数据，而光盘则通过激光以光学方式复制数据。上述的组合也应包括在计算机可读介质的范围内。

指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器 (DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA) 或其他等效的集成的或分立的逻辑电路。因此，本文使用的术语“处理器”、“处理电路”或“电路”可以指任何前述结构或适合于实施本文描述的技术的任何其他结构，并且可以在适当的地方互换使用。另外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件电路中被提供，或者被并入组合的编解码器中。同样，技术可以在一个或多个电路或逻辑元件中完全实现。

本公开的技术可以在包括无线手机、集成电路(IC)或一组IC(例如，芯片组)的多种设备或装置中实现。在本发明中描述各种组件、模块或单元以强调被配置为执行所公开的技术的设备的功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，各种单元可以组合在编解码器硬件单元中，或者与合适的软件和/或固件相结合由互操作的硬件单元(包括如上所述的一个或多个处理器)的集合来提供。

已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims

1.一种对视频数据进行编译码的方法，所述方法包括：

确定当前块的帧内预测的相邻块的第一数量；

确定帧间预测的相邻块的第二数量；

根据所述第一数量和所述第二数量，确定第一权重值，所述第一权重值将被应用于所述当前块的帧内预测块的帧内预测样点；

根据所述第一数量和所述第二数量，确定第二权重值，所述第二权重值将被应用于所述当前块的帧间预测块的帧间预测样点；

生成所述当前块的预测块，所述预测块作为所述第一权重值所应用于的帧内预测块和所述第二权重值所应用于的帧间预测块的加权组合；以及

使用所述预测块对所述当前块进行编译码。

2.根据权利要求1所述的方法，其中所述相邻块包括所述当前块上方的上相邻块和所述当前块左侧的左相邻块。

3.根据权利要求2所述的方法，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的左上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左上角。

4.根据权利要求2所述的方法，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的右上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左下角。

5.根据权利要求2所述的方法，其中：

当所述上相邻块和所述左相邻块各自是帧内预测的时，确定第一权重值和第二权重值包括确定所述第一权重值等于3并且确定所述第二权重值等于1；

当所述上相邻块或所述左相邻块中的一个是帧内预测的并且所述上相邻块或所述左相邻块中的另一个是帧间预测的时，确定第一权重值和第二权重值包括确定所述第一权重值等于2并确定所述第二权重值等于2；以及

当所述上相邻块和所述左相邻块各自是帧间预测的时，确定第一权重值和第二权重值包括确定所述第一权重值等于1并且确定所述第二权重值等于3。

6.根据权利要求1所述的方法，其中：

当所述第一数量大于所述第二数量时，确定第一权重值和第二权重值包括确定所述第一权重值大于所述第二权重值；

当所述第一数量等于所述第二数量时，确定第一权重值和第二权重值包括确定所述第一权重值等于所述第二权重值；以及

当所述第一数量小于所述第二数量时，确定第一权重值和第二权重值包括确定所述第一权重值小于所述第二权重值。

7.根据权利要求1所述的方法，其中生成预测块包括：使用公式pred(x,y)＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)，生成所述预测块的位置(x,y)处的预测样点，其中pred(x,y)包括所述预测块的位置(x,y)处的预测样点，wIntra包括所述第一权重值，wInter包括所述第二权重值，intraPred(x,y)包括所述帧内预测块的位置(x,y)处的样点值，interPred(x,y)包括所述帧间预测块的位置(x,y)处的样点值，以及offset包括偏移值。

8.根据权利要求7所述的方法，其中执行所述公式的除法运算包括：对所述公式的分子执行按(wIntra+wInter)位右移。

9.根据权利要求1所述的方法，其中对所述当前块进行编译码包括对所述当前块进行解码，其包括：

对所述当前块的残差块进行解码；以及

将所述预测块与所述残差块组合以生成解码块。

10.根据权利要求1所述的方法，其中对所述当前块进行编译码包括对所述当前块进行编码，其包括：

生成表示所述当前块与所述预测块之间的差的残差块；以及

对所述残差块进行编码。

11.一种用于对视频数据进行编译码的设备，所述设备包括：

存储器，其被配置为存储视频数据；以及

一个或多个处理器，其在电路中实现并被配置为：

确定视频数据的当前块的帧内预测的相邻块的第一数量；

确定帧间预测的相邻块的第二数量；

使用所述预测块对所述当前块进行编译码。

12.根据权利要求11所述的设备，其中所述相邻块包括所述当前块上方的上相邻块和所述当前块左侧的左相邻块。

13.根据权利要求12所述的设备，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的左上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左上角。

14.根据权利要求12所述的设备，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的右上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左下角。

15.根据权利要求12所述的设备，其中，所述一个或多个处理器被配置为：

当所述上相邻块和所述左相邻块各自是帧内预测的时，确定所述第一权重值等于3并且所述第二权重值等于1；

当所述上相邻块或所述左相邻块中的一个是帧内预测的并且所述上相邻块或所述左相邻块中的另一个是帧间预测的时，确定所述第一权重值等于2并且所述第二权重值等于2；以及

当所述上相邻块和所述左相邻块各自是帧间预测的时，确定所述第一权重值等于1并且所述第二权重值等于3。

16.根据权利要求11所述的设备，其中所述一个或多个处理器被配置为：

当所述第一数量大于所述第二数量时，确定所述第一权重值大于所述第二权重值；

当所述第一数量等于所述第二数量时，确定所述第一权重值等于所述第二权重值；以及

当所述第一数量小于所述第二数量时，确定所述第一权重值小于所述第二权重值。

17.根据权利要求11所述的设备，其中为了生成所述预测块，所述一个或多个处理器被配置为：使用公式pred(x,y)＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)，生成所述预测块的位置(x,y)处的预测样点，其中pred(x,y)包括所述预测块的位置(x,y)处的预测样点，wIntra包括所述第一权重值，wInter包括所述第二权重值，intraPred(x,y)包括所述帧内预测块的位置(x,y)处的样点值，interPred(x,y)包括所述帧间预测块的位置(x,y)处的样点值，以及offset包括偏移值。

18.根据权利要求17所述的设备，其中，为了执行所述公式的除法运算，所述一个或多个处理器被配置为对所述公式的分子执行按(wIntra+wInter)位右移。

19.根据权利要求11所述的设备，其中为了对所述当前块进行编译码，所述一个或多个处理器被配置为对所述当前块进行解码，其中所述一个或多个处理器被配置为：

对所述当前块的残差块进行解码；以及

将所述预测块与所述残差块组合以生成解码块。

20.根据权利要求11所述的设备，其中为了对所述当前块进行编译码，所述一个或多个处理器被配置为对所述当前块进行编码，其中，所述一个或多个处理器被配置为：

生成表示所述当前块与所述预测块之间的差的残差块；和

对所述残差块进行编码。

21.一种计算机可读存储介质，其上存储有指令，当所述指令被执行时使处理器：

确定当前块的帧内预测的相邻块的第一数量；

确定帧间预测的相邻块的第二数量；

使用所述预测块对所述当前块进行编译码。

22.根据权利要求21所述的计算机可读存储介质，其中所述相邻块包括所述当前块上方的上相邻块和所述当前块左侧的左相邻块。

23.根据权利要求22所述的计算机可读存储介质，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的左上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块左上角。

24.根据权利要求22所述的计算机可读存储介质，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的右上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左下角。

25.根据权利要求22所述的计算机可读存储介质，其中使所述处理器确定所述第一权重值和所述第二权重值的指令包括使所述处理器执行如下操作的指令：

26.根据权利要求21所述的计算机可读存储介质，其中使所述处理器确定所述第一权重值和所述第二权重值的指令包括使所述处理器执行如下操作的指令：

27.根据权利要求21所述的计算机可读存储介质，其中，使所述处理器生成所述预测块的指令包括使所述处理器执行如下操作的指令：使用公式pred(x,y)＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)，生成所述预测块的位置(x,y)处的预测样点，其中pred(x,y)包括所述预测块的位置(x,y)处的预测样点，wIntra包括所述第一权重值，wInter包括所述第二权重值，intraPred(x,y)包括所述帧内预测块的位置(x,y)处的样点值，interPred(x,y)包括所述帧间预测块的位置(x,y)处的样点值，以及offset包括偏移值。

28.根据权利要求27所述的计算机可读存储介质，其中使所述处理器执行所述公式的除法运算的指令包括使处理器对所述公式的分子执行按(wIntra+wInter)位右移的指令。

29.根据权利要求21所述的计算机可读存储介质，其中，使所述处理器对所述当前块进行编译码的指令包括使所述处理器对所述当前块进行解码的指令，其包括使所述处理器执行以下操作的指令：

对所述当前块的残差块进行解码；以及

将所述预测块与所述残差块组合以生成解码块。

30.根据权利要求21所述的计算机可读存储介质，其中，使所述处理器对所述当前块进行编译码的指令包括使所述处理器对所述当前块进行解码的指令，其包括使所述处理器执行以下操作的指令：

生成表示所述当前块与所述预测块之间的差的残差块；以及

对所述残差块进行编码。

31.一种用于对视频数据进行编译码的设备，所述设备包括：

用于确定当前块的帧内预测的相邻块的第一数量的部件；

用于确定帧间预测的相邻块的第二数量的部件；

用于根据所述第一数量和所述第二数量来确定第一权重值的部件，所述第一权重值将被应用于所述当前块的帧内预测块的帧内预测样点；

用于根据所述第一数量和所述第二数量来确定第二权重值的部件，所述第二权重值将被应用于所述当前块的帧间预测块的帧间预测样点；

用于生成所述当前块的预测块的部件，所述预测块作为所述第一权重值所应用于的帧内预测块和所述第二权重值所应用于的帧间预测块的加权组合；以及

用于使用所述预测块对所述当前块进行编译码的部件。

32.根据权利要求31所述的设备，其中所述相邻块包括所述当前块上方的上相邻块和所述当前块左侧的左相邻块。

33.根据权利要求32所述的设备，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的左上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块左上角。

34.根据权利要求32所述的设备，其中所述上相邻块包括所述当前块上方的块，其接触所述当前块的右上角，并且其中所述左相邻块包括所述当前块左侧的块，其接触所述当前块的左下角。

35.根据权利要求32所述的设备，其中用于确定所述第一权重值的部件和用于确定所述第二权重值的部件包括：

当所述上相邻块和所述左相邻块各自是帧内预测的时，用于确定所述第一权重值等于3的部件和用于确定所述第二权重值等于1的部件；

当所述上相邻块或所述左相邻块中的一个是帧内预测的并且所述上相邻块或所述左相邻块中的另一个是帧间预测的时，用于确定所述第一权重值等于2的部件和用于确定所述第二权重值等于2的部件；以及

当所述上相邻块和所述左相邻块各自是帧间预测的时，用于确定所述第一权重值等于1的部件和用于确定所述第二权重值等于3的部件。

36.根据权利要求31所述的设备，其中，用于确定所述第一权重值的部件和用于所述确定第二权重值的部件包括：

当所述第一数量大于所述第二数量时，用于确定所述第一权重值大于所述第二权重值的部件；

当所述第一数量等于所述第二数量时，用于确定所述第一权重值等于所述第二权重值的部件；以及

当所述第一数量小于所述第二数量时，用于确定所述第一权重值小于所述第二权重值的部件。

37.根据权利要求31所述的设备，其中用于生成所述预测块的部件包括用于使用公式pred(x,y)＝(wIntra*intraPred(x,y)+wInter*interPred(x,y)+offset)/(wIntra+wInter)，生成所述预测块的位置(x,y)处的预测样点的部件，其中pred(x,y)包括所述预测块的位置(x,y)处的预测样点，wIntra包括所述第一权重值，wInter包括所述第二权重值，intraPred(x,y)包括所述帧内预测块的位置(x,y)处的样点值，interPred(x,y)包括所述帧间预测块的位置(x,y)处的样点值，以及offset包括偏移值。

38.根据权利要求37所述的设备，其中，用于生成所述预测样点的部件包括：用于对所述公式的分子执行按(wIntra+wInter)位右移，以执行所述公式的除法运算的部件。

39.根据权利要求31所述的设备，其中用于对所述当前块进行编译码的部件包括用于对所述当前块进行解码的部件，其包括：

用于对所述当前块的残差块进行解码的部件；以及

用于将所述预测块与所述残差块组合以生成解码块的部件。

40.根据权利要求31所述的设备，其中用于对所述当前块进行编译码的部件包括用于对所述当前块进行编码的部件，其包括：

用于生成表示所述当前块与所述预测块之间的差的残差块的部件；以及

用于对所述残差块进行编码的部件。