CN111557095A - 多模型局部照明补偿 - Google Patents

Abstract

本发明提供一种处理视频数据的方法，其包含由处理电路将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组，及由所述处理电路导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数。所述方法进一步包含由所述处理电路使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型，及由所述处理电路使用所述多个线性模型产生预测块。

Description

多模型局部照明补偿

本申请案主张2019年1月3日申请的美国专利申请案第16/238,815号的优先权，所述专利申请案主张2018年1月8日申请的美国临时专利申请案第62/614,799号的权利，所述申请案的全部内容据此以引用的方式并入。

技术领域

本发明涉及视频译码。

背景技术

数字视频能力可并入到广泛范围的装置中，所述装置包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数字相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频流式处理装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、ITU-T H.265、高效率视频译码(HEVC)标准及这些标准的扩展中所描述的技术。视频装置可通过实施这些视频压缩技术而更高效地传输、接收、编码、解码及/或存储数字视频信息。

视频压缩技术执行空间(图片内)预测及/或时间(图片间)预测来减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(即，视频帧或视频帧的一部分)分割成视频块，其也可被称作树块、译码单元(CU)及/或译码节点。图片的经帧内译码(I)切片中的视频块是使用相对于同一图片中的相邻块中的参考样本的空间预测被编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码的原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本的块的运动向量被编码，且残差数据指示经译码块与预测性块之间的差。经帧内译码块是根据帧内译码模式及残差数据被编码。为进一步压缩，可将残差数据从像素域变换到变换域，从而产生接着可进行量化的残差变换系数。

发明内容

一般来说，本发明描述与对于基于块的视频译码中的局部照明补偿的改进相关的技术。举例来说，视频译码器(例如视频编码器或视频解码器)可导出用于导出预测块的多线性模型。以此方式，视频译码器可使用多线性模型产生预测块以有助于最小化经用信号发送的残差数据的量。本文中针对局部照明补偿所描述的一或多种技术可应用于现有视频编解码器中的任一者(例如高效率视频译码(HEVC)或H.266/多功能视频译码(VVC)标准)，或为用于任何未来视频译码标准。

在一个实例中，一种处理视频数据的方法包含：由处理电路将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；由所述处理电路导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；由所述处理电路使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及由所述处理电路使用所述多个线性模型产生预测块。

在另一实例中，一种用于处理视频数据的设备包含：一或多个存储媒体；及一或多个处理器，其经配置以进行以下操作：将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及使用所述多个线性模型产生预测块。

在另一实例中，一种用于处理视频数据的装置包含：用于将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组的装置；用于导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数的装置；用于使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型的装置；及用于使用所述多个线性模型产生预测块的装置。

在另一实例中，一种计算机可读存储媒体被编码有指令，所述指令在执行时使可编程处理器进行以下操作：将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及使用所述多个线性模型产生预测块。

下文在附图及具体实施方式中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标及优点将从具体实施方式、附图及权利要求书显而易见。

附图说明

图1为绘示可利用本发明中所描述的一或多种技术的实例视频编码及解码系统的框图。

图2A及2B为绘示对于合并模式及AMVP模式视频译码两者使用相邻块的空间MV候选者导出的框图。

图3A及3B为绘示对于合并模式及AMVP模式视频译码两者的时间MV预测因子(TMVP)候选者导出及MV缩放的框图。

图4A及4B为绘示实例四叉树二叉树(QTBT)结构及对应译码树单元(CTU)的概念图。

图5A为绘示根据照明补偿(IC)模型使用当前译码单元(CU)的相邻像素以估计参数的框图。

图5B为绘示根据IC模型使用参考块的相邻像素以估计参数的框图。

图6A为绘示用于导出用于某些类型的照明补偿的参数的相邻样本的第一实例的框图。

图6B为绘示用于导出用于某些类型的照明补偿的参数的相邻样本的第二实例的框图。

图7为将相邻样本分类为两个群组的实例的图形绘示。

图8为将相邻样本分类为三个群组的实例的图形绘示。

图9A及9B为将相邻样本分类为两个非连续群组的实例的图形绘示。

图10为将相邻样本分类为三个非连续群组的实例的图形绘示。

图11为可实施本发明中所描述的一或多种技术的实例视频编码器的框图。

图12为绘示可实施本发明中所描述的一或多种技术的实例视频解码器的框图。

图13为绘示用于运用多个线性模型使用局部照明补偿解码视频数据的技术的流程图。

图14为绘示用于运用多个线性模型使用局部照明补偿编码视频数据的技术的流程图。

具体实施方式

本发明描述与局部照明补偿(LIC)相关的技术。所述技术可在高级视频编解码器的背景中使用，例如下一代视频译码标准，包含但不限于当前处于开发中的H.266(也被称作多功能视频译码(VVC))标准。根据一些LIC算法，对于每一预测方向，一个线性模型用以导出当前块的预测块。然而，当照明变化在当前块内的样本之间不同时，现有LIC算法可引入预测块的误差，由此增大经用信号发送以传输视频数据的残差数据的量(例如预测块变为经编码或经解码的块的较不良预测因子)。本发明的技术使视频译码装置能够导出及应用多个线性模型以导出当前块的预测块。因而，本发明的技术减轻了由单一块的样本之间的照明变化引入的误差。

如本文中所使用，术语“视频译码器”大体上是指视频编码器及视频解码器两者。相似地，在本发明中，术语“视频译码”或“译码”一般可指视频编码或视频解码。因此，除非另有说明，否则应假定，参考译码所描述的技术可由视频编码器或视频解码器执行。在本申请案的一些部分中，可参考视频解码或参考视频解码器来描述某些技术。然而，不应假定此类技术不适用于视频编码或不可由视频编码器执行。举例来说，此类技术可作为确定如何编码视频数据的部分而执行，或可作为视频编码器中的视频解码环路的部分而执行。

如本发明中所使用，术语当前块是指当前正被译码的块，与已经译码或尚未译码的块相对。相似地，当前译码单元(CU)、预测单元(PU)或变换单元(TU)是指译码单元、预测单元，或当前正被译码的变换单元。

图1为绘示可利用本发明的技术的实例视频编码及解码系统10的框图。如图1中所展示，系统10包含源装置12，源装置12提供将在稍后时间由目的地装置14解码的经编码视频数据。具体地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12及目的地装置14可包括广泛范围的装置中的任一者，包含桌上型计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手机、平板计算机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式处理装置等等。在一些情况下，源装置12及目的地装置14可经配备以用于无线通信。因此，源装置12及目的地装置14可为无线通信装置。源装置12为实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14为实例视频解码装置(即，用于解码视频数据的装置)。

在图1的实例中，源装置12包含视频源18、经配置以存储视频数据的存储媒体19、视频编码器20，及输出接口24。目的地装置14包含输入接口26、经配置以存储经编码视频数据的存储媒体28、视频解码器30，及显示装置32。根据本发明，源装置12的视频编码器20及目的地装置14的视频解码器30可经配置以应用用于进行以下操作的技术：由处理电路将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；由所述处理电路导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数；由所述处理电路使用当前块的所述多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型；及由所述处理电路使用所述多个线性模型产生预测块。因此，源装置12表示视频编码装置的实例，而目的地装置14表示视频解码装置的实例。

在其它实例中，源装置12及目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而非包含集成显示装置。

图1的所绘示系统10仅是一个实例。用于处理视频数据的技术可由任何数字视频编码及/或解码装置执行。尽管本发明的技术一般由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称作“编解码器”)执行。源装置12及目的地装置14仅为源装置12产生经译码视频数据以供传输到目的地装置14的此类译码装置的实例。在一些实例中，源装置12及目的地装置14可以大致上对称方式操作，使得源装置12及目的地装置14中的每一者包含视频编码及解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如用于视频流式处理、视频回放、视频广播或视频电话。

源装置12的视频源18可包含视频捕获装置，例如视频相机、含有先前捕获的视频的视频存档及/或用以从视频内容提供者接收视频数据的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、经存档视频及计算机产生的视频的组合。源装置12可包括经配置以存储视频数据的一或多个数据存储媒体(例如存储媒体19)。本发明中所描述的技术可大体上适用于视频译码，且可应用于无线及/或有线应用。在每一情况下，捕获、预捕获或计算机产生的视频可由视频编码器20编码。输出接口24可将经编码视频信息输出到计算机可读媒体16。

目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一些实例中，计算机可读媒体16包括通信媒体以使源装置12能够实时地将经编码视频数据直接传输到目的地装置14。可根据通信标准(例如无线通信协议)调制经编码视频数据，且将经编码视频数据传输到目的地装置14。相似地，输入接口26(例如接收器)可经配置以根据无线通信标准解调包括经编码视频数据的信号。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于数据包的网络(例如局域网、广域网或例如互联网的全局网络)的部分。通信媒体可包含路由器、交换机、基站，或可用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包括经配置以存储经编码视频数据及经解码视频数据的一或多个数据存储媒体。

在一些实例中，经编码数据可从输出接口24输出到存储装置。相似地，可由输入接口从存储装置存取经编码数据。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光(Blu-ray)光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适数字存储媒体。在再一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式处理或下载从存储装置存取经存储视频数据。文件服务器可为能够存储经编码视频数据且将所述经编码视频数据传输到目的地装置14的任何类型的服务器。实例文件服务器包含网页服务器(例如用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含互联网连接)而存取经编码视频数据。这可包含适合于存取存储在文件服务器上的经编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如DSL、电缆调制解调器等等)或两者的组合。从存储装置的经编码视频数据的传输可为流式处理传输、下载传输或其组合。

所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、互联网流式处理视频传输(例如HTTP动态自适应流式处理(DASH))、经编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输来支持例如视频流式处理、视频回放、视频广播及/或视频电话的应用。

计算机可读媒体16可包含：暂时性媒体，例如无线广播或有线网络传输；或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、紧密光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未展示)可从源装置12接收经编码视频数据并例如经由网络传输将经编码视频数据提供到目的地装置14。相似地，例如光盘冲压设施的媒体生产设施的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可被理解为包含各种形式的一或多个计算机可读媒体。

目的地装置14的输入接口26(在本文中也被称作“接收器”)从计算机可读媒体16接收信息。输入接口26可经配置以接收经编码视频数据。计算机可读媒体16的信息可包含由视频编码器20的视频编码器20定义的语法信息，语法信息也由视频解码器30使用，语法信息包含描述块及其它经译码单元(例如图片群组(GOP))的特性及/或处理的语法元素。存储媒体28可经配置以存储经编码视频数据，例如由输入接口26接收的经编码视频数据(例如位流)。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。

视频编码器20及视频解码器30各自可被实施为多种合适编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术以软件部分地实施时，装置可将用于软件的指令存储在合适非暂时性计算机可读媒体中，且在硬件中使用一或多个处理器执行指令以执行本发明的技术。视频编码器20及视频解码器30中的每一者可包含在一或多个编码器或解码器中，编码器或解码器中的任一者可被集成为相应装置中的组合式编码器/解码器(编解码器)的部分。

在一些实例中，视频编码器20及视频解码器30可根据视频译码标准(例如现有或未来标准)而操作。实例视频译码标准包含但不限于：ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IEC MPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual及ITU-T H.264(也被称作ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)及多视图视频译码(MVC)扩展。

另外，已由ITU-T视频译码专家组(VCEG)及ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)以及3D视频译码扩展开发联合合作小组(JCT-3V)开发了视频译码标准，即，高效率视频译码(HEVC)或ITU-T H.265，其包含其范围及屏幕内容译码扩展、3D视频译码(3D-HEVC)与多视图扩展(MV-HEVC)，及可缩放扩展(SHVC)。

在2016年，MPEG及ITU-T VCEG形成了联合探索视频小组(JVET)，以探索用于下一代视频译码标准的新译码工具。参考软件被称作JEM(联合探索模型)。

新视频译码标准的早期草案，被称作H.266/多功能视频译码(VVC)标准，是在文献JVET-J1001，Benjamin Bross的“Video Coding(Draft 1)”中获得，且其算法描述是在文献JVET-J1002，Jianle Chen及Elena Alshina的“Algorithm description for VersatileVideo Coding and Test Model 1(VTM 1)”中获得。然而，本发明的技术不限于任何特定译码标准。视频编码器20及视频解码器30可根据任一视频译码标准(例如HEVC、VVC专有或其它工业标准，例如联合探索测试模型(JEM)等等)操作。然而，本发明的技术不限于任何特定译码标准。

在HEVC及其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列，被表示为S_L、S_Cb及S_Cr。S_L为亮度样本的二维阵列(即，块)。S_Cb为Cb彩度(chrominance)样本的二维阵列。S_Cr为Cr彩度样本的二维阵列。彩度样本也可在本文中被称作“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。

为产生图片的经编码表示，视频编码器20可编码视频数据的图片的块。视频编码器20可将视频块的经编码表示包含在位流中。举例来说，在HEVC中，为产生图片的经编码表示，视频编码器20可产生译码树单元(CTU)的集合。CTU中的每一者可包括一或多个译码树块(CTB)且可包括用以译码所述一或多个译码树块的样本的语法结构。举例来说，每一CTU可包括亮度样本的译码树块、色度样本的两个对应译码树块，及用以译码所述译码树块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CTU可包括单一译码树块及用以译码所述译码树块的样本的语法结构。译码树块可为样本的N×N块。CTU也可被称作“树块”或“最大译码单元”(LCU)。语法结构可被定义为以指定次序一起存在于位流中的零或多个语法元素。CTB的大小可在HEVC主规范中的16×16到64×64的范围内(但技术上可支持8×8CTB大小)。

在HEVC中，切片包含以光栅扫描次序连续地排序的整数数目个CTU。因此，在HEVC中，切片中的最大译码单元被称为译码树块(CTB)。

在HEVC中，为产生图片的经译码CTU，视频编码器20可对CTU的译码树块递归地执行四叉树分割，以将译码树块划分成译码块，因此命名为“译码树单元”。译码块为样本的N×N块。译码单元(CU)可包括一或多个译码块及用以译码所述一或多个译码块的样本的语法结构。举例来说，CU可包括具有亮度样本阵列、Cb样本阵列及Cr样本阵列的图片的亮度样本的译码块，及色度样本的两个对应译码块，及用以译码所述译码块的样本的语法结构。在单色图片或具有三个单独颜色平面的图片中，CU可包括单一译码块及用于译码所述译码块的样本的语法结构。因此，CTB可含有四叉树，四叉树的节点为CU。

另外，视频编码器20可编码CU。举例来说，为编码CU，视频编码器20可将CU的译码块分割成一或多个预测块。预测块为被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括CU的一或多个预测块，及用以预测所述一或多个预测块的语法结构。举例来说，PU可包括亮度样本的预测块、色度样本的两个对应预测块，及用以预测所述预测块的语法结构。在单色图片或具有三个单独颜色平面的图片中，PU可包括单一预测块及用于预测所述预测块的语法结构。视频编码器20可针对CU的每一PU的预测块(例如亮度、Cb及Cr预测块)产生预测性块(例如亮度、Cb及Cr预测性块)。

在HEVC中，每一CU是以一种模式被译码，所述模式可为帧内模式或帧间模式。当CU被帧间译码(即，应用帧间模式)时，CU可进一步分割成2个或4个PU或当不应用另一分割时变为仅一个PU。当两个PU存在于一个CU中时，两个PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。存在用于运用帧间预测模式译码的CU的八种分割模式，即，PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。虽然使用了使用HEVC的实例，但其它实例可使用其它标准，例如但不限于VVC标准。

当CU被帧间译码时，针对每一PU提供运动信息的一个集合。另外，每一PU是运用唯一帧间预测模式被译码以导出运动信息集合。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于包含PU的图片的经解码样本来产生PU的预测性块。当CU被帧内预测时，2N×2N及N×N为仅容许的PU形状，且在每一PU内，单一帧内预测模式被译码(而色度预测模式是在CU层级处被用信号发送)。当当前CU大小等于序列参数集(SPS)中定义的最小CU大小时，仅仅允许N×N帧内PU形状。

JEM/VVC还提供仿射运动补偿模式，其可被视为帧间预测模式。在仿射运动补偿模式中，视频编码器20可确定表示非平移运动(例如放大或缩小、旋转、透视运动或其它不规则运动类型)的两个或多于两个运动向量。

为执行帧内预测，视频编码器20可选择帧内预测模式以产生预测块。JEM/VVC的实例提供六十七种帧内预测模式，包含各种定向模式以及平面模式及DC模式。一般来说，视频编码器20选择描述供预测当前块的样本的当前块(例如CU的块)的相邻样本的帧内预测模式。此类样本通常可在与当前块相同的图片中位于当前块上方、左上方或左侧，这是假定视频编码器20以光栅扫描次序(左到右、上到下)译码CTU及CU。

如本发明中所描述，视频译码器可指视频编码器或视频解码器。相似地，视频译码单元可指视频编码器或视频解码器。同样地，适用时，视频译码可指视频编码或视频解码。在本发明中，短语“基于”可指示仅仅基于、至少部分地基于，或以某一方式基于。本发明可使用术语“视频单元”或“视频块”或“块”以是指一或多个样本块及用以译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等等。在一些背景中，PU的论述可与宏块或宏块分区的论述互换。视频块的实例类型可包含译码树块、译码块，及其它类型的视频数据块。

图4A及4B为绘示实例四叉树二叉树(QTBT)结构29及对应译码树单元(CTU)31的概念图。实线表示四叉树拆分，且点线表示二叉树拆分。在二叉树的每一拆分(即，非叶)节点中，用信号发送一个旗标以指示使用哪一拆分类型(即，水平或竖直)，其中在此实例中，0指示水平拆分且1指示竖直拆分。对于四叉树拆分，不需要指示拆分类型，这是因为四叉树节点将块水平地及竖直地拆分成具有相等大小的4个子块。因此，视频编码器20可编码且视频解码器30可解码用于QTBT结构29的区域树层级(即，实线)的语法元素(例如拆分信息)及用于QTBT结构29的预测树层级(即，虚线)的语法元素(例如拆分信息)。视频编码器20可编码且视频解码器30可解码用于由QTBT结构29的端叶节点表示的CU的视频数据(例如预测及变换数据)。

一般来说，图4B的CTU 31可与定义对应于在第一及第二层级处的QTBT结构29的节点的块的大小的参数相关联。这些参数可包含CTU大小(表示样本中的CTU 31的大小)、最小四叉树大小(MinQTSize，表示最小允许四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许二叉树深度)，及最小二叉树大小(MinBTSize，表示最小允许二叉树叶节点大小)。

视频编码器20可产生CU的一或多个残差块。举例来说，视频编码器20可产生用于CU的亮度残差块。CU的亮度残差块中的每一样本指示CU的预测性亮度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差。另外，视频编码器20可产生用于CU的Cb残差块。CU的Cb残差块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差。视频编码器20还可产生CU的Cr残差块。CU的Cr残差块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差。

此外，视频编码器20可将CU的残差块分解为一或多个变换块。举例来说，视频编码器20可使用四叉树分割以将CU的残差块分解成一或多个变换块。变换块为被应用相同变换的样本的矩形(例如正方形或非正方形)块。CU的变换单元(TU)可包括一或多个变换块。举例来说，TU可包括亮度样本的变换块、色度样本的两个对应变换块，及用以变换所述变换块样本的语法结构。因此，CU的每一TU可具有亮度变换块、Cb变换块以及Cr变换块。TU的亮度变换块可为CU的亮度残差块的子块。Cb变换块可为CU的Cb残差块的子块。Cr变换块可为CU的Cr残差块的子块。在单色图片或具有三个单独颜色平面的图片中，TU可包括单一变换块及用于变换所述变换块的样本的语法结构。

视频编码器20可将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器20可将一或多个变换应用于TU的亮度变换块以产生TU的亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。

在一些实例中，视频编码器20跳过变换到变换块的应用。在这些实例中，视频编码器20可处理残差样本值，可以与变换系数相同的方式处理残差样本值。因此，在视频编码器20跳过变换的应用的实例中，变换系数及系数块的以下论述可适用于残差样本的变换块。

在产生系数块之后，视频编码器20可量化所述系数块。量化大体上是指将变换系数量化以可能地减少用以表示变换系数的数据的量从而提供进一步压缩的过程。在一些实例中，视频编码器20跳过量化。在视频编码器20将系数块量化之后，视频编码器20可产生指示经量化变换系数的语法元素。视频编码器20可熵编码指示经量化变换系数的语法元素中的一或多者。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。

视频编码器20可输出包含经编码视频数据的位流。举例来说，位流可包括形成视频数据及关联数据的经译码图片的表示的一系列位。因此，位流包括视频数据的经编码表示。在一些实例中，经译码图片的表示可包含块的经编码表示。因此，视频编码器20可在位流中用信号发送块的经编码表示中的块的变换系数。在一些情况下，视频编码器20可使用一或多个语法元素以用信号发送块的每一变换系数。

所述位流可包括网络抽象层(NAL)单元的序列。NAL单元为含有NAL单元中的数据的类型的指示及含有所述数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一者可包含NAL单元标头且封装RBSP。NAL单元标头可包含指示NAL单元类型码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有封装在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。

视频解码器30可接收由视频编码器20产生的位流。此外，视频解码器30可解析位流以从所述位流获得语法元素。视频解码器30可至少部分地基于从位流获得的语法元素而重构视频数据的图片。重构视频数据的过程可与由视频编码器20执行的过程大体上互逆。举例来说，视频解码器30可使用PU的运动向量确定当前CU的PU的预测性块。另外，视频解码器30可反量化当前CU的TU的系数块。视频解码器30可对系数块执行反变换以重构当前CU的TU的变换块。视频解码器30可通过将当前CU的PU的预测性块的样本与当前CU的TU的变换块的对应样本相加来重构当前CU的译码块。通过重构图片的各CU的译码块，视频解码器30可重构图片。

在下文中论述运动信息。对于每一块，运动信息集合可为可用的。运动信息集合可包含用于前向及后向预测方向的运动信息。在本发明中，前向及后向预测方向可为双向预测模式的两个预测方向，且术语“前向”及“后向”可并不具有几何结构涵义。实情为，术语“前向”及“后向”可对应于当前图片的参考图片列表0(RefPicList0)及参考图片列表1(RefPicList1)。当仅仅一个参考图片列表可用于图片或切片时，仅仅RefPicList0可为可用的，且切片的每一块的运动信息可始终为前向的。

在一些情况下，运动向量连同其参考索引一起用于解码过程中，此运动向量与相关联参考索引被表示为运动信息的单向预测性集合。

对于每一预测方向，运动信息可包含参考索引及运动向量。在一些情况下，为简单起见，可以假设运动向量自身具有相关联参考索引的方式参考所述运动向量。参考索引可用于识别当前参考图片列表(RefPicList0或RefPicList1)中的参考图片。运动向量可具有水平分量及竖直分量。

图片次序计数(POC)可用于视频译码标准以识别图片的显示次序。尽管存在一个经译码视频序列内的两个图片可具有相同POC值的情况，但经译码视频序列内通常不发生此类情况。当位流中存在多个经译码视频序列时，就解码次序来说，具有相同POC值的图片可彼此更接近。

图片的POC值通常用于参考图片列表构造、如HEVC中的参考图片集合的导出及运动向量缩放。

在H.264/AVC中，每一帧间宏块(MB)可以如下四种不同方式分割：一个16×16MB分区；两个16×8MB分区；两个8×16MB分区；及四个8×8MB分区。一个MB中的不同MB分区针对每一方向可具有不同参考索引值(RefPicList0或RefPicList1)。当MB不被分割成四个8×8MB分区时，MB在每一方向中的每一MB分区仅具有一个运动向量。

当MB分割成四个8×8MB分区时，视频译码器(例如视频编码器20或视频解码器30)可进一步将每一8×8MB分割成子块，所述子块中的每一者可在每一方向上具有不同运动向量。存在从8×8MB分区得到子块的四种不同方式：一个8×8子块；两个8×4子块；两个4×8子块；及四个4×4子块。每一子块可在每一方向上具有不同运动向量。因此，运动向量可存在于等于高于子块的层级中。

在AVC中，可在B切片中针对跳过或直接模式而在MB或MB分区层级启用时间直接模式。对于每一MB分区，视频译码器可使用与当前块的RefPicList1[0]中的当前MB分区同置的块的运动向量以导出运动向量。视频译码器可基于POC距离缩放同置块中的每一运动向量。

在AVC中，视频译码器可使用直接模式以从空间相邻者预测运动信息。

为审阅HEVC，在HEVC中，切片中的最大译码单元被称为译码树块(CTB)。CTB含有四叉树，所述四叉树的节点为译码单元。CTB的大小可在HEVC主规范中的16×16到64×64的范围内(但技术上可支持8×8CTB大小)。然而，译码单元(CU)可与CTB具有相同大小，且小如8×8。每一译码单元是运用一种模式被译码。当CU被帧间译码时，CU可进一步分割成2个或4个预测单元(PU)或当不应用另一分割时变为仅一个PU。当两个PU存在于一个CU中时，PU可为一半大小的矩形或具有CU的1/4或3/4大小的两个矩形大小。

当CU被帧间译码时，可针对每一PU提供运动信息的一个集合。另外，视频译码器可运用唯一帧间预测模式译码每一PU以导出运动信息集合。

在HEVC标准中，对于预测单元(PU)存在两种帧间预测模式，分别命名为合并(跳过被视为合并的特殊情况)及高级运动向量预测(AMVP)模式。

在AMVP或合并模式中，视频译码器可维持用于多个运动向量预测因子的运动向量(MV)候选者列表。视频译码器可通过从MV候选者列表中取得一个候选者产生当前PU的运动向量，以及合并模式中的参考索引。MV候选者列表可含有用于合并模式的高达5个候选者且仅两个候选者用于AMVP模式。合并候选者可含有运动信息集合，例如，对应于两个参考图片列表(列表0及列表1)的运动向量及参考索引。如果由合并索引识别合并候选者，那么视频译码器可使用参考图片用于当前块的预测，以及确定关联运动向量。然而，在AMVP模式中，对于从列表0或列表1的每一可能预测方向，需要明确地将参考索引连同针对MV候选者列表的MVP索引一起用信号发送，这是因为AMVP候选者仅含有运动向量。在AMVP模式中，视频译码器可进一步改善经预测运动向量。

如上文可见，合并候选者可对应于运动信息的完整集合，而AMVP候选者含有针对特定预测方向的仅一个运动向量及参考索引。两种模式的候选者可相似地从相同空间及时间相邻块导出。

视频译码器可针对特定PU(PU0)从图2A及2B上所展示的相邻块导出空间MV候选者，但用于从块产生候选者的技术可对于合并及AMVP模式不同。在合并模式中，视频译码器可导出具有在图2A上运用编号展示的次序的高达四个空间MV候选者，且所述次序如下：左侧(0)、上方(1)、右上方(3)、左下方(4)及左上方(5)，如图2A中所展示。

在AVMP模式中，视频译码器可将相邻块分成两个群组：由块0及1组成的左侧群组，及由块2、3及4组成的上方群组，如图2B上所展示。对于每一群组，参考与由经用信号发送的参考索引指示的相同参考图片的相邻块中的潜在候选者可具有待选择的最高优先权以形成所述群组的最终候选者。有可能所有相邻块均不含有指向相同参考图片的运动向量。因此，如果未找到此候选者，那么视频译码器可缩放第一可用候选者以形成最终候选者，因此可补偿时间距离差。

视频译码器可在空间运动向量候选者之后将时间运动向量预测因子(TMVP)候选者(如果启用及可用)添加到MV候选者列表中。用于TMVP候选者的运动向量导出的过程可对于合并及AMVP模式两者相同，然而，合并模式中的TMVP候选者的目标参考索引可始终设定为0。

TMVP候选者导出的原始块位置为如图3A中展示为块“T”的同置PU外部的右下块，以补偿用以产生空间相邻候选者的上方及左侧块的偏差。然而，如果所述块定位于当前CTB行的外部或运动信息不可用，那么视频译码器可用PU的中心块取代所述块。

视频译码器可从切片层级中指示的同置图片的同置PU导出用于TMVP候选者的运动向量。相似于AVC中的时间直接模式，视频译码器可缩放TMVP候选者的运动向量以补偿距离差。

在一些实例中，运动向量的值在呈现时间上与图片的距离成比例。运动向量与两个图片相关联：参考图片及含有运动向量的图片(即，含有图片)。当视频译码器利用运动向量来预测其它运动向量时，含有图片与参考图片的距离可基于图片次序计数(POC)值来计算。

对于待预测的运动向量，其相关联的含有图片及参考图片可不同。因此，视频译码器可计算新距离(基于POC)。视频译码器可基于这两个POC距离缩放运动向量。对于空间相邻候选者，用于两个运动向量的含有图片可相同，而参考图片可不同。在HEVC中，视频译码器可对于空间及时间相邻候选者，将运动向量缩放应用于TMVP及AMVP两者。

如果运动向量候选者列表不完整，那么视频译码器可产生人造运动向量候选者并在列表末尾插入人造运动向量候选者，直到运动向量候选者列表具有所有候选者。

在合并模式中，存在两种类型的人造MV候选者：仅针对B-切片导出的组合候选者及仅针对AMVP使用的零候选者，如果第一类型并未提供足够人造候选者。对于已经在候选者列表中且具有必要运动信息的每一对候选者，视频译码器可通过参考列表0中的图片的第一候选者的运动向量与参考列表1中的图片的第二候选者的运动向量的组合导出双向组合运动向量候选者。

来自不同块的候选者可恰巧相同，这会降低合并/AMVP候选者列表的效率。视频译码器可应用修剪过程以解决来自不同块的候选者具有相同候选者的此问题。视频译码器可应用修剪过程，所述修剪过程将当前候选者列表中的一个候选者与其它候选者相比较以避免在某一程度上插入相同候选者。为降低复杂度，视频译码器可仅应用有限数目次修剪过程而非比较每一潜在候选者与所有其它现有候选者。虽然使用了使用HEVC的实例，但其它实例可使用其它标准，例如但不限于VVC标准。

在下文中论述针对HEVC提议的照明补偿的概述。虽然使用了使用HEVC的实例，但其它实例可使用其它标准，例如但不限于VVC标准。在Fujibayashi等人的ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)JCTVC-C041：“TE12:Performance of Partition Based Illumination Compensation(PBIC)”中，提议基于分割的照明补偿(PBIC)。不同于启用/停用经加权预测(WP)并用信号发送在切片层级的WP参数的经加权预测，PBIC启用/停用照明补偿(IC)并用信号发送在PU层级的IC参数以处置局部照明变化。

与WP相似，视频译码器可在IC中使用缩放因数(也由a表示)及偏移(也由b表示)，且移位数固定为6。视频编码器可编码用于每一PU的IC旗标以指示IC是否适用于当前PU。如果IC适用于PU，那么视频编码器可将一组IC参数(即，a及b)用信号发送到视频解码器30并用于运动补偿。在双向预测情况下，视频编码器20可用信号发送两个缩放因数(针对每一预测方向一个因数)及一个偏移。

为节省IC参数上耗费的位，色度分量可与亮度分量共用缩放因数且视频译码器可使用固定偏移128。

在下文中论述针对3D-HEVC中的照明补偿的概述。虽然使用了使用HEVC的实例，但其它实例可使用其它标准，例如但不限于VVC标准。

3D-HEVC的实例可在3D视频译码扩展联合协作小组(JCT-3V)Doc.,JCT3V-K1001，第11次会议：2015年2月12日到18日瑞士日内瓦，G.Tech、K.Wegner、Y.Chen及S.Yea的“3D-HEVC Draft Text 7”中找到。在3D-HEVC中，IC经启用用于视图间预测。不同于WP及显式地用信号发送IC参数的PBIC，3D-HEVC基于当前CU的相邻样本及参考块的相邻样本导出IC参数。

在IC中，视频译码器可仅应用于2N×2N分割模式。对于AMVP模式，视频编码器可对于从视图间参考图片预测的每一CU用信号发送一个IC旗标。对于合并模式，为节省位，视频编码器可仅当PU的合并索引不等于0时用信号发送IC旗标。

IC可不应用于仅从时间参考图片预测的CU。

视频译码器可在视图间预测中使用线性IC模型，方程式(1)中展示：

p(i,j)＝a*r(i+dv_x,j+dv_y)+b,其中(i,j)∈PU_c (1)

此处，PU_c为当前PU，(i,j)为PU_c中的像素的坐标，(dv_x,dv_y)为PUc的视差向量。p(i,j)为PU_c的预测，r为来自相邻视图的PU的参考图片。a及b为线性IC模型的参数。

图5A为绘示根据IC模型的使用CU的相邻像素以估计参数的框图。图5B为绘示根据IC模型使用参考块的相邻像素以估计参数的框图。

为估计PU的参数a及b，视频译码器可使用两个像素集合。举例来说，图5A展示在当前CU的左侧列及当前CU的上方行中的可用经重构相邻像素(被标记为“Rec_neigh”)(含有当前PU的CU)。图5B展示当前CU的参考块的对应相邻像素(被标记为“Rec_refneigh”)。视频译码器可通过使用当前PU的视差向量找到当前CU的参考块。

让Rec_neig及Rec_refneig分别表示当前CU的所使用相邻像素集合及当前CU的参考块，且让2N表示Rec_neig及Rec_refneig中的像素数目。接着，a及b可计算如下。

在一些实例中，a用于线性模型且b设定为等于0，或仅仅B被使用且a设定为等于1。

在HEVC中，支持经加权预测(WP)，其中缩放因数(由a表示)、移位数目(由s表示)及偏移(由b表示)用于运动补偿。假设参考图片的位置(x,y)中的像素值为p(x,y)，则p'(x,y)＝((a*p(x,y)+(1<<(s-1)))>>s)+b，而非p(x,y)用作运动补偿中的预测值。

当WP启用时，对于当前切片的每一参考图片，视频编码器可用信号发送旗标以指示WP是否适用于参考图片。如果WP适用于一个参考图片，那么视频编码器20可将一组WP参数(即，a、s及b)发送到视频解码器30且视频解码器30可使用所述一组WP参数用于从参考图片的运动补偿。为灵活地开启/关闭用于亮度及色度分量的WP，视频编码器20可独立地用信号发送WP旗标及用于亮度及色度分量的WP参数。在WP中，视频译码器可使用一组相同WP参数用于一个参考图片中的全部像素。

局部照明补偿(LIC)是基于使用缩放因数a及偏移b的用于照明变化的线性模型。LIC可针对每一模式间译码的译码单元(CU)自适应地启用或停用。

在LIC应用于CU时，视频译码器可采用最小平方差方法以通过使用当前CU的相邻样本及其对应参考样本而导出参数a及b。更具体地说，在图6A的实例中，视频译码器可使用CU的子取样(2:1子取样)相邻样本。在此实例中，视频译码器可使用如图6B中所展示的参考图片中的对应像素(由当前CU或子CU的运动信息识别)。视频译码器可导出IC参数且可独立地应用IC参数用于每一预测方向。

当应用合并模式译码CU时，视频译码器可以相似于合并模式中的运动信息副本的方式从相邻块复制LIC旗标；否则，视频编码器20可用信号发送CU的LIC旗标以指示LIC是否适用。

在一些LIC算法中，对于每一预测方向，视频译码器可利用一个线性模型以导出预测块。然而，对于一些块，照明变化可甚至在一个块内的样本间不同。

对于每一块，当启用LIC时，视频译码器可将线性模型应用于块内的全部样本。有可能对于块内的某一区域，线性模型可失效，这是因为LIC的模式通常表示一个块的大部分内容变化信息，但并不适合于全部样本。

LIC采用相邻信息来导出线性模型参数，然而，在最佳参数(从当前块及参考块导出)与所导出参数(来自相邻块)之间可存在较小的差。

为有助于解决前述内容，提议如下技术。以下技术未必必须解决在所有情况下的问题，且此外，所述技术还可因其它原因而为有益的。

以下技术可被个别地应用。替代地，可应用其任何组合。参考索引信息可在本发明中被视为运动信息的一部分，有时其联合地被称作运动信息集合。以下技术可独立地应用于每一参考图片列表，或共同地应用于多个参考图片列表。

视频译码器(例如视频编码器20及/或视频解码器30)可经配置以应用多模型LIC(MMLIC)以在译码块/译码单元(CU)/变换单元(TU)中使用参考块的相邻亮度块与当前块的相邻亮度块之间的多于一个线性模型。视频编码器20及/或视频解码器30可将参考块的相邻亮度块及当前块的相邻亮度块分类为若干群组。在此实例中，视频编码器20及/或视频解码器30可使用每一群组作为训练集合以导出线性模型(例如特定的及/或经导出用于某一群组)。另外或替代地，视频编码器20及/或视频解码器30可将当前块内的样本分类为若干群组。在此实例中，视频编码器20及/或视频解码器30可从每一群组中拾取一个线性模型。

视频编码器20及/或视频解码器30可基于用于相邻样本的分类的相同规则来分类参考块的样本。视频编码器20及/或视频解码器30可将多个线性模型中的一者应用于参考块的样本以产生与对应协调器相关联的预测值。

视频编码器20及/或视频解码器30可将每一线性模型应用于当前参考块以得到一个预测块。在此实例中，视频编码器20及/或视频解码器30可利用从多线性模型获得的多个(包含全部)预测块以得到最终预测块。视频编码器20及/或视频解码器30可限制群组中的相邻亮度样本。换句话说，举例来说，视频编码器20及/或视频解码器30可将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本限制于所述多个群组中的群组中，使得所述群组中的样本的数目满足(例如小于、大于、等于等等)样本的特定数目。举例来说，视频编码器20及/或视频解码器30可在分类之后将群组中的样本的数目限制为大于或等于特定数目，例如但不限于2。在一些实例中，一个分类中的样本的最小数目可被预定义，且视频编码器20及/或视频解码器30可使用相同值用于全部块大小。替代地或另外，一个分类中的样本的最小数目可变化，这取决于当前块的大小及/或任何其它特征。替代地或另外，视频编码器20可在序列参数集(SPS)/视图参数集(VPS)/图片参数集(PPS)/切片标头中用信号发送一个分类中的样本的最小数目。

如果群组中的样本的数目小于特定数目，那么视频编码器20及/或视频解码器30可将具有更多样本的其它群组中的样本传送到此群组。举例来说，视频编码器20及/或视频解码器30可将具有最多样本的群组中的样本改变到具有小于特定数目的样本的群组。

视频编码器20及/或视频解码器30可将具有最多样本的群组(例如命名为群组A)中的样本改变到具有少于特定数目的样本的群组(例如命名为群组B)，如果所述样本是距群组B中现有样本的最近样本。“最近”可指像素位置上最近。在一些实例中，最近可指最近的强度。替代地或另外，特定数目可相依于译码块的宽度及/或高度。

视频编码器20及/或视频解码器30可经配置以执行相邻亮度样本的分类。举例来说，视频编码器20及/或视频解码器30可基于样本的其强度及/或样本的位置执行样本(例如当前块的相邻样本或参考块的相邻样本，或参考块中的样本或当前块中的样本)的分类。在一些实例中，视频编码器20可用信号发送分类技术。

视频编码器20及/或视频解码器30可经配置使得类别的数目被预定义及固定用于全部序列。替代地或另外，视频编码器20可在SPS/VPS/PPS/切片标头/CU/PU中用信号发送类别的数目。替代地或另外，视频编码器20及/或视频解码器30可经配置使得类别的数目相依于块大小，例如当前亮度块的宽度及/或高度。

视频编码器20及/或视频解码器30可经配置以导出用于MMLIC的M个类别，其被给出如下。

其中Rec_L′[x,y]表示具有到参考块的相同相对位置(x,y)的参考样本，其等于方程式(1)中的r(x+dv_x,y+dv_y)，且在T_m-1<Rec′_L[x,y]≤T_m情况下的相邻样本经分类为第m个群组(其中m是从1到M，包含端点)。

视频编码器20及/或视频解码器30可将T_-1定义为负值，例如-1。在一些实例中，视频编码器20及/或视频解码器30可将由(T₁...T_M-1)表示的(M-1)个阈值用信号发送到视频解码器30。替代地或另外，视频编码器20及/或视频解码器30可取决于参考块的相邻译码样本的全部或部分或/及参考块中的经解码样本或当前块的相邻样本而计算阈值。

视频编码器20及/或视频解码器30可经配置使得阈值(由上述公式中的T_i表示)相依于相邻经译码(也被表示为‘经重构’)样本的平均值或中位值。

视频编码器20及/或视频解码器30可经配置使得阈值可相依于minV及maxV的平均值，其中minV及maxV分别为相邻译码样本的最小值及最大值。

视频编码器20及/或视频解码器30可经配置使得阈值可相依于参考块的相邻经译码样本及参考块中的样本的平均值或中间值。

视频编码器20及/或视频解码器30可经配置使得阈值可相依于minV及maxV的平均值，其中minV及maxV分别为参考块的相邻译码样本及参考块中的经译码样本的最小值及最大值。

在下文中论述线性模型的选择。当MMLIC启用时，视频编码器20及/或视频解码器30可将当前块分类为多个群组，且用于分类的规则可与用于线性模型导出的规则(例如平均值/中值)相同。

假设存在M个皆用于当前块的类别，及M个导出的线性模型。视频编码器20及/或视频解码器30可选择具有相同于与一个样本相关联的类别索引的索引的线性模型以产生样本的预测值。

当产生样本的预测值时，除了所选择线性模型之外，视频编码器20及/或视频解码器30还可利用定位于具有相同相对位置的参考块中的样本。替代地或另外，当当前样本及定位于具有相同相对位置的参考块中的样本并不分类为相同类别时，视频编码器20及/或视频解码器30可使用具有相同类别的其它样本以产生当前样本的预测值，而非使用定位于具有相同相对位置的参考块中的样本。

视频编码器20及/或视频解码器30可经配置使得每一群组的所导出线性关系(例如被表示为图中的线)可为连续分段，例如在图7及图8中，其中在图7中

α₁·Rec'_L[x,y]+β₁＝α₂·Rec'_L[x,y]+β₂如果Rec'_L[x,y]＝阈值 (8)

且，在图8中，

视频编码器20及/或视频解码器30可经配置使得每一群组的所导出线性关系(被表示为图中的线)可为如图9A及图10中的非连续分段，其中在图9A中，

α₁·Rec'_L[x,y]+β₁≠α₂·Rec'_L[x,y]+β₂如果Rec'_L[x,y]＝阈值 (10)

且，在图9B中，

图7为将相邻样本分类为两个群组的实例。图8为将相邻样本分类为三个群组的实例。图9A及9B表示将相邻样本分类为两个非连续群组的实例。图9B绘示基于图9A中的样本的过渡区。图10为将相邻样本分类为三个非连续群组的实例。

运用MMLIC，视频编码器20及/或视频解码器30可使用更多相邻样本(例如更多线，而非仅一个上方行及一个左侧列)以导出用于LIC的线性模型。换句话说，举例来说，视频编码器20及/或视频解码器30可经配置以使用在所述参考块上方布置多于一个行的所述参考块的所述相邻亮度块的亮度样本、在所述参考块左侧布置多于一个列的所述参考块的所述相邻亮度块的亮度样本、在所述当前块上方布置多于一个行的所述当前块的所述相邻亮度块的亮度样本或在所述当前块左侧布置多于一个列的所述参考块的所述当前亮度块的亮度样本中的一或多者导出所述多个线性模型。在一些实例中，视频编码器20及/或视频解码器30可使用多线的减少取样版本。

视频编码器20及/或视频解码器30可使用子块控制，而非始终对整个块执行LIC。在一些实例中，视频编码器20及/或视频解码器30可经配置使得子块指示小于当前块的区域。在一些实例中，视频编码器20及/或视频解码器30可将一个块拆分成具有相等大小的多个区域(子块)。替代地或另外，视频编码器20及/或视频解码器30可将一个块拆分成具有不同大小的多个子块。

视频编码器20及/或视频解码器30可经配置使得当利用MMLIC时，对于某一线性模型，视频编码器20及/或视频解码器30经允许预设相关参数(例如设定a＝1及b＝0)。即，对于某一群组，视频编码器20及/或视频解码器30可停用LIC。

在一些实例中，对于每一子块，视频编码器20及/或视频解码器30可基于现有信息(例如但不限于当前子块与其参考子块之间的样本差，或当前子块与整个块之间相似程度，类似于子块与整个块的平均值之间的差)导出LIC的启用/停用旗标。在一些实例中，视频编码器20可用信号发送用于指示子块启用/停用的旗标。在一些实例中，视频编码器20及/或视频解码器30可将旗标译码为其是否与经用信号发送/继承用于译码块的旗标相同。在一些实例中，视频编码器20及/或视频解码器30可由当前块继承参考块的启用/停用旗标。

对于具有双向预测的块，对于一个预测方向，视频编码器20及/或视频解码器30可启用LIC且视频编码器20及/或视频解码器30可停用用于另一方向的LLC。在一些实例中，对于具有双向预测的块，视频编码器20及/或视频解码器30可个别地将多LIC应用于每一预测方向以产生独立预测块，且视频编码器20及/或视频解码器30可由独立预测块产生当前块的最终预测块。在一些实例中，对于具有双向预测的块，视频编码器20及/或视频解码器30可联合地考虑多个参考块(例如用于两个预测方向)的相邻样本以导出LIC或MMLIC参数。替代地或另外，视频编码器20及/或视频解码器30可将LIC或MMLIC应用于多个参考块以导出最终预测块。

视频编码器20可用信号发送LIC及/或MMLIC的参数(例如a及b)而非从相邻样本导出LIC及/或MMLIC的参数。在一些实例中，视频编码器20可在量化a及b之后用信号发送从原始当前块及其参考块导出的最佳参数。替代地或另外，视频编码器20可用信号发送一个旗标以指示使用显式信号发送(例如4.a)还是隐式信号发送技术。上述技术可适用于LM线性参数的信号发送。

视频编码器20及/或视频解码器30可将不同子取样比(例如而非始终使用2:1子取样)应用于相邻样本。在一些实例中，视频编码器20可在SPS/VPS/PPS/切片标头中用信号发送子取样比。在一些实例中，视频编码器20及/或视频解码器30可经配置使得子取样比可被预定义及固定用于全部块。在一些实例中，视频编码器20及/或视频解码器30可经配置使得子取样比可不同，例如相依于块大小，及/或运动向量指向整数位置还是子样本位置。

对于具有多于一个分量(例如具有Y/Cb/Cr分量)的图片，视频编码器20及/或视频解码器30可将多模型LIC应用于仅仅一个或两个指定分量。举例来说，视频编码器20及/或视频解码器30可将多模型LIC应用于Y分量。视频编码器20及/或视频解码器30可将多模型LIC应用于全部分量(例如多于一个分量)。视频编码器20及/或视频解码器30可经配置使得当应用多模型LIC时不同分量遵循不同规则。举例来说，与对应Cb/Cr分量块相比，视频编码器20及/或视频解码器30可将Y分量块分类为更多群组。

使用本文中针对应用多线性模型所描述的一或多种技术，与使用单一线性模型以导出预测块的系统相比较，视频编码器20及/或视频解码器30可经配置以用更小误差导出当前块的预测块。举例来说，视频编码器20及/或视频解码器30可经配置以将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组，导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数，使用当前块的所述多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型，及使用所述多个线性模型产生预测块。减小预测块的误差可减小在由视频编码器输出并由视频解码器接收的位流中传输的残差数据的量以改进所传输视频数据的压缩速率，这可改进视频编码器20及/或视频解码器30的处理速度及/或减小视频编码器20及/或视频解码器30的功率消耗。

图11为绘示可实施本发明的技术的实例视频编码器20的框图。出于阐释的目的而提供图11，且不应将所述图视为对如本发明中广泛示范及描述的技术的限制。本发明的技术可应用于各种译码标准或方法。将出于说明的目的而在HEVC译码及VVC的背景中描述视频编码器20，但关于其它译码标准或方法并不限制本发明。举例来说，视频编码器20可根据未来视频译码标准(包含H.266及VVC)而操作。

在图11的实例中，视频编码器20包含预测处理单元100、视频数据存储器101、残差产生单元102、变换处理单元104、量化单元106、反量化单元108、反变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116及熵编码单元118。预测处理单元100包含帧间预测处理单120及帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元及运动补偿单元(未展示)。

视频数据存储器101可经配置以存储待由视频编码器20的组件编码的视频数据。存储在视频数据存储器101中的视频数据可例如从视频源18获得。经解码图片缓冲器116可为参考图片存储器，其存储用于由视频编码器20在编码视频数据(例如在帧内或帧间译码模式中)时使用的参考视频数据。视频数据存储器101及经解码图片缓冲器116可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器101及经解码图片缓冲器116可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体28相同或为图1的存储媒体28的部分。

视频编码器20接收视频数据。视频编码器20可编码视频数据的图片的切片中的每一CTU。所述CTU中的每一者可与图片的相等大小的亮度译码树块(CTB)及对应CTB相关联。作为编码CTU的部分，预测处理单元100可执行分割以将CTU的CTB分成逐渐较小的块。所述较小块可为CU的译码块。举例来说，预测处理单元100可根据树结构分割与CTU相关联的CTB。

视频编码器20可编码CTU的CU以产生CU的经编码表示(即，经译码CU)。作为编码CU的部分，预测处理单元100可分割与CU的一或多个PU中的CU相关联的译码块。因此，每一PU可与亮度预测块及对应色度预测块相关联。视频编码器20及视频解码器30可支持具有各种大小的PU。如上文所指示，CU的大小可指CU的亮度译码块的大小，且PU的大小可指PU的亮度预测块的大小。假定特定CU的大小为2N×2N，那么视频编码器20及视频解码器30可支持用于帧内预测的2N×2N或N×N的PU大小，及用于帧间预测的2N×2N、2N×N、N×2N、N×N或相似大小的对称PU大小。视频编码器20及视频解码器30还可支持用于帧间预测的2N×nU、2N×nD、nL×2N及nR×2N的PU大小的不对称分割。

帧间预测处理单元120可通过对CU的各PU执行帧间预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及用于PU的运动信息。取决于PU是在I切片中、在P切片中还是在B切片中，帧间预测处理单元120可针对CU的PU执行不同操作。在I切片中，所有PU被帧内预测。因此，如果PU在I切片中，那么帧间预测处理单元120并不对PU执行帧间预测。因此，对于在I模式中编码的块，经预测块是使用空间预测从相同帧内的先前经编码的相邻块而形成。如果PU在P切片中，那么帧间预测处理单元120可使用单向帧间预测以产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元120可使用单向或双向帧间预测以产生PU的预测性块。JEM/VVC还提供仿射运动补偿模式，其可被视为帧间预测模式。

帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。用于PU的预测性数据可包含PU的预测性块及各种语法元素。帧内预测处理单元126可对I切片、P切片及B切片中的PU执行帧内预测。

为对PU执行帧内预测，帧内预测处理单元126可使用多种帧内预测模式来产生用于PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本以产生用于PU的预测性块。对于PU、CU及CTU，假定从左到右、从上而下的编码次序，则所述相邻PU可在PU上方、右上方、左上方或左侧。帧内预测处理单元126可使用各种数目的帧内预测模式，例如33种定向帧内预测模式。在一些实例中，帧内预测模式的数目可相依于与PU相关联的区域的大小。

预测处理单元100可从由帧间预测处理单元120所产生的用于PU的预测性数据中，或从由帧内预测处理单元126所产生的用于PU的预测性数据中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于数组预测性数据的速率/失真量度而选择用于CU的PU的预测性数据。所选择预测性数据的预测性块在本文中可被称作所选择预测性块。

预测处理单元100的多模型LIC 121可将亮度样本分类为群组，导出LIC参数，并使用LIC参数导出线性模型。预测处理单元100(例如帧间预测处理单元120)可使用由多模型LIC 121导出的线性模型产生预测块。

残差产生单元102可基于CU的译码块(例如亮度、Cb及Cr译码块)及CU的PU的所选择预测性块(例如预测性亮度、Cb及Cr块)产生CU的残差块(例如亮度、Cb及Cr残差块)。举例来说，残差产生单元102可产生CU的残差块，使得残差块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应所选择预测性样本块中的对应样本之间的差的值。

变换处理单元104可执行四叉树分割以将与CU相关联的残差块分割成与CU的TU相关联的变换块。因此，TU可与亮度变换块及两个色度变换块相关联。CU的TU的亮度变换块及色度变换块的大小及位置可或可不基于CU的PU的预测块的大小及位置。被称为“残差四叉树”(RQT)的四叉树结构可包含与区域中的每一者相关联的节点。CU的TU可对应于RQT的叶节点。

变换处理单元104可通过将一或多个变换应用于TU的变换块而产生CU的每一TU的变换系数块。变换处理单元104可将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可将离散余弦变换(DCT)、定向变换或概念上相似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在这些实例中，变换块可经处理为变换系数块。

量化单元106可将系数块中的变换系数量化。量化过程可减少与所述变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间被舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值量化与CU的TU相关联的系数块。视频编码器20可通过调整与CU相关联的QP值来调整应用于与CU相关联的系数块的量化程度。量化可引入信息的损失。因此，经量化变换系数可具有比最初变换系数低的精度。

反量化单元108及反变换处理单元110可分别将反量化及反变换应用于系数块，以从系数块重构残差块。重构单元112可将经重构残差块与来自由预测处理单元100产生的一或多个预测性块的对应样本相加，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器20可重构CU的译码块。

滤波器单元114可执行一或多个解块操作以减小与CU相关联的译码块中的块伪影。经解码图片缓冲器116可在滤波器单元114对经重构译码块执行一或多个解块操作之后存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片以对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可使用经解码图片缓冲器116中的经重构译码块，以对处于与CU相同的图片中的其它PU执行帧内预测。

熵编码单元118可从视频编码器20的其它功能组件接收数据。举例来说，熵编码单元118可从量化单元106接收系数块，并可从预测处理单元100接收语法元素。熵编码单元118可对数据执行一或多个熵编码操作以产生经熵编码数据。举例来说，熵编码单元118可对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器20可输出包含由熵编码单元118所产生的经熵编码数据的位流。举例来说，位流可包含表示用于CU的变换系数的值的数据。

视频编码器20表示经配置以编码视频数据的装置的实例，所述装置包含经配置以存储视频数据的存储器，及实施于电路中且经配置以进行以下操作的一或多个处理单元：将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数；使用当前块的多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型；及使用所述多个线性模型产生预测块。

图12为绘示经配置以实施本发明的技术的实例视频解码器30的框图。出于阐释的目的而提供图12，且其并不限制如本发明中广泛示范及描述的技术。出于阐释的目的，本发明描述在HEVC译码及VVC的背景中的视频解码器30。然而，本发明的技术可适用于其它译码标准或方法。

在图12的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、反量化单元154、反变换处理单元156、重构单元158、滤波器单元160及经解码图片缓冲器162。预测处理单元152包含运动补偿单元164及帧内预测处理单元166。在其它实例中，视频解码器30可包含更多、更少或不同的功能组件。

视频数据存储器151可存储待由视频解码器30的组件解码的经编码视频数据，例如经编码视频位流。存储在视频数据存储器151中的视频数据可例如经由视频数据的有线或无线网络通信从计算机可读媒体16(例如从本地视频源(例如相机))或通过存取物理数据存储媒体而获得。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为存储参考视频数据以用于由视频解码器30例如在帧内或帧间译码模式中解码视频数据或以供输出的参考图片存储器。视频数据存储器151及经解码图片缓冲器162可由多种存储器装置中的任一者形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或其它类型的存储器装置。视频数据存储器151及经解码图片缓冲器162可由同一存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器151可与图1的存储媒体28相同或为图1的存储媒体28的部分。

视频数据存储器151接收及存储位流的经编码视频数据(例如NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如NAL单元)，且可解析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、反量化单元154、反变换处理单元156、重构单元158及滤波器单元160可基于从位流提取的语法元素而产生经解码视频数据。熵解码单元150可执行与熵编码单元118的过程大体上互逆的过程。

除了从位流获得语法元素之外，视频解码器30还可对未经分割的CU执行重构操作。为对CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残差块。

作为对CU的TU执行重构操作的部分，反量化单元154可反量化(即，解量化)与TU相关联的系数块。在反量化单元154反量化系数块之后，反变换处理单元156可将一或多个反变换应用于系数块，以便产生与TU相关联的残差块。举例来说，反变换处理单元156可将反DCT、反整数变换、反卡洛南-洛伊(Karhunen-Loeve)变换(KLT)、反旋转变换、反定向变换或另一反变换应用于系数块。

反量化单元154可执行本发明的特定技术。举例来说，对于视频数据的图片的CTU的CTB内的多个量化群组的至少一个相应量化群组，反量化单元154可至少部分地基于在位流中用信号发送的本地量化信息导出用于相应量化群组的相应量化参数。另外，在此实例中，反量化单元154可基于用于相应量化群组的相应量化参数反量化CTU的CU的TU的变换块的至少一个变换系数。在此实例中，相应量化群组经定义为连续(按译码次序)CU或译码块的群组，使得相应量化群组的边界必须为CU或译码块的边界且相应量化群组的大小大于或等于阈值。视频解码器30(例如反变换处理单元156、重构单元158及滤波器单元160)可基于变换块的经反量化变换系数重构CU的译码块。

预测处理单元152的多模型LIC 165可将亮度样本分类为群组，导出LIC参数，并使用LIC参数导出线性模型。预测处理单元152(例如运动补偿单元164)可使用由多模型LIC165导出的线性模型产生预测块。

如果使用帧内预测编码PU，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式来基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。

如果使用帧间预测编码PU，那么熵解码单元150可确定PU的运动信息。运动补偿单元164可基于PU的运动信息而确定一或多个参考块。运动补偿单元164可基于一或多个参考块产生PU的预测性块(例如预测性亮度、Cb及Cr块)。

重构单元158可使用CU的TU的变换块(例如亮度、Cb及Cr变换块)及CU的PU的预测性块(例如亮度、Cb及Cr块)(即，可适用的帧内预测数据或帧间预测数据)来重构CU的译码块(例如亮度、Cb及Cr译码块)。举例来说，重构单元158可将变换块(例如亮度、Cb及Cr变换块)的样本与预测性块(例如亮度、Cb及Cr预测性块)的对应样本相加来重构CU的译码块(例如亮度、Cb及Cr译码块)。

滤波器单元160可执行解块操作以减少与CU的译码块相关联的块伪影。视频解码器30可将CU的译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测及在显示装置(例如图1的显示装置32)上的呈现。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。

以此方式，视频解码器30表示视频解码装置的实例，所述视频解码装置包含经配置以存储视频数据的存储器及实施于电路中且经配置以进行以下操作的一或多个处理单元：将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数；使用当前块的多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型；及使用所述多个线性模型产生预测块。

图13为绘示用于运用多个线性模型使用局部照明补偿解码视频数据的技术的流程图。当前块可包含当前CU或当前CU的一部分。尽管关于视频解码器30进行描述，但应理解，其它装置可经配置以执行与图13的方法相似的方法。

在图13的实例中，多模型LIC 165对亮度样本进行分类(202)。举例来说，多模型LIC 165将参考块的相邻亮度块及当前块的相邻亮度块的亮度样本分类为多个群组。多模型LIC 165导出LIC参数(204)。举例来说，多模型LIC 165导出多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数。多模型LIC165使用LIC参数导出线性模型(206)。举例来说，多模型LIC 165使用当前块的多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型。预测处理单元152使用线性模型产生预测块(208)。视频解码器30使用预测块解码当前块(210)。

图14为绘示用于运用多个线性模型使用局部照明补偿编码视频数据的技术的流程图。当前块可包含当前CU或当前CU的一部分。尽管关于视频编码器20进行描述，但应理解，其它装置可经配置以执行与图14的方法相似的方法。

在图14的实例中，多模型LIC 121对亮度样本进行分类(252)。举例来说，多模型LIC 121将参考块的相邻亮度块及当前块的相邻亮度块的亮度样本分类为多个群组。多模型LIC 121导出LIC参数(254)。举例来说，多模型LIC 121导出多个群组中的每一群组的一或多个局部照明补偿参数以产生当前块的多个局部照明补偿参数。多模型LIC121使用LIC参数导出线性模型(256)。举例来说，多模型LIC 121使用当前块的多个局部照明补偿参数导出参考块的相邻亮度块与当前块的相邻亮度块之间的多个线性模型。预测处理单元100使用线性模型产生预测块(258)。视频编码器20使用预测块编码当前块(260)。

为说明的目的，本发明的某些方面已经关于HEVC标准的扩展而描述。然而，本发明中所描述的技术可用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。

如本发明中所描述，视频译码器可指视频编码器或视频解码器。相似地，视频译码单元可指视频编码器或视频解码器。同样地，适用时，视频译码可指视频编码或视频解码。在本发明中，短语“基于”可指示仅仅基于、至少部分地基于，或以某一方式基于。本发明可使用术语“视频单元”或“视频块”或“块”以是指一或多个样本块及用以译码样本的一或多个块的样本的语法结构。视频单元的实例类型可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等等。在一些背景中，PU的论述可与宏块或宏块分区的论述互换。视频块的实例类型可包含译码树块、译码块，及其它类型的视频数据块。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列被执行、可被添加、合并或完全省去(例如，并非所有所描述动作或事件皆为实践所述技术所必要)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非按顺序执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么所述功能可作为一或多个指令或代码而在计算机可读媒体上存储或传输，且由基于硬件的处理单元执行。计算机可读媒体可包含：计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体；或通信媒体，其包含例如根据通信协议促进计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)例如信号或载波的通信媒体。数据存储媒体可为可由一或多个计算机或一或多个处理器存取以检索指令、代码及/或数据结构以用于实施本发明所描述的技术的任何可用媒体。计算机程序产品可包含计算机可读媒体。

作为实例而非限制，这些计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置、快闪存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。此外，任何连接被恰当地称为计算机可读媒体。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含在媒体的定义中。然而，应理解，计算机可读存储媒体及数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是涉及非暂时性的有形存储媒体。如本文中所使用，磁盘及光盘包含紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘，其中磁盘通常以磁性方式再生数据，而光盘通过激光以光学方式再生数据。以上各者的组合也应包含在计算机可读媒体的范围内。

指令可由固定功能及/或可编程处理电路执行，所述固定功能及/或可编程处理电路包含一或多个处理器，例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能可提供在经配置以供编码及解码或并入在组合式编解码器中的专用硬件及/或软件模块内。此外，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可实施于多种装置或设备中，所述装置或设备包含无线手机、集成电路(IC)或IC集合(例如芯片组)。在本发明中描述各种组件、模块或单元以强调经配置以执行所揭示技术的装置的功能方面，但未必要求由不同硬件单元来实现。确切地说，如上文所描述，可将各种单元组合在编解码器硬件单元中，或通过互操作性硬件单元(包含如上文所描述的一或多个处理器)的集合而结合合适软件及/或固件一起来提供所述单元。

各种实例已予以描述。这些及其它实例在所附权利要求书的范围内。

Claims (30)

1.一种处理视频数据的方法，所述方法包括：

由处理电路将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；

由所述处理电路导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；

由所述处理电路使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及

由所述处理电路使用所述多个线性模型产生预测块。

2.根据权利要求1所述的方法，其中导出所述一或多个局部照明补偿参数包括导出用于所述多个群组中的相应群组的a及/或b，

其中

其中

其中Rec_neig表示所述当前块的所述相邻亮度块的所述亮度样本，其中Rec_refneig表示所述参考块的所述相邻亮度块的所述亮度样本，且其中N表示Rec_neig及Rec_refneig中的像素数目。

3.根据权利要求1所述的方法，其中分类包括：

限制在所述多个群组中的群组中的所述参考块的所述相邻亮度块的亮度样本及所述当前块的所述相邻亮度块的亮度样本，使得所述群组中的样本的数目满足样本的特定数目。

4.根据权利要求1所述的方法，其中分类包括：

使用亮度样本的强度中的一或多者或使用所述亮度样本的位置对所述亮度样本进行分类。

5.根据权利要求1所述的方法，其中导出所述多个线性模型包括：

将所述多个群组中的每一群组的线性关系导出为连续分段。

6.根据权利要求1所述的方法，其中导出所述多个线性模型包括：

将所述多个群组中的每一群组的线性关系导出为非连续分段。

7.根据权利要求1所述的方法，其中导出所述多个线性模型包括：

使用在所述参考块上方布置多于一个行的所述参考块的所述相邻亮度块的亮度样本、在所述参考块左侧布置多于一个列的所述参考块的所述相邻亮度块的亮度样本、在所述当前块上方布置多于一个行的所述当前块的所述相邻亮度块的亮度样本或在所述当前块左侧布置多于一个列的所述参考块的所述当前亮度块的亮度样本中的一或多者导出所述多个线性模型。

8.根据权利要求1所述的方法，其中产生所述预测块包括：

对于所述当前块的子块执行局部照明补偿。

9.根据权利要求1所述的方法，其进一步包括：

由所述处理电路使用所述预测块执行双向预测。

10.根据权利要求1所述的方法，其进一步包括：

由所述处理电路用信号发送用于局部照明补偿的一或多个参数，其中导出每一群组的所述一或多个局部照明补偿参数是基于用于局部照明补偿的所述一或多个参数。

11.根据权利要求1所述的方法，其进一步包括：

由所述处理电路将不同子取样比应用于所述参考块的所述相邻亮度块的所述亮度样本及所述当前块的所述相邻亮度块的所述亮度样本。

12.根据权利要求1所述的方法，其中导出所述多个线性模型包括：

将局部照明补偿应用于仅仅一个或两个指定分量。

13.根据权利要求1所述的方法，其中导出所述多个线性模型包括：

将局部照明补偿应用于全部分量。

14.根据权利要求1所述的方法，其进一步包括：

由所述处理电路使用所述预测块解码所述当前块。

15.根据权利要求1所述的方法，其进一步包括：

由所述处理电路使用所述预测块编码所述当前块。

16.一种用于处理视频数据的设备，其包括：

一或多个存储媒体，其经配置以存储视频数据；及

一或多个处理器，其经配置以进行以下操作：

将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；

导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；

使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及

使用所述多个线性模型产生预测块。

17.根据权利要求16所述的设备，其中，为导出所述一或多个局部照明补偿参数，所述一或多个处理器经配置以导出用于所述多个群组中的相应群组的a及/或b，

其中

其中

其中Rec_neig表示所述当前块的所述相邻亮度块的所述亮度样本，其中Rec_refneig表示所述参考块的所述相邻亮度块的所述亮度样本，且其中N表示Rec_neig及Rec_refneig中的像素数目。

18.根据权利要求16所述的设备，其中，为分类，所述一或多个处理器经配置以限制在所述多个群组中的群组中的所述参考块的所述相邻亮度块的亮度样本及所述当前块的所述相邻亮度块的亮度样本，使得所述群组中的样本的数目满足样本的特定数目。

19.根据权利要求16所述的设备，其中，为分类，所述一或多个处理器经配置以使用亮度样本的强度中的一或多者或使用所述亮度样本的位置对所述亮度样本进行分类。

20.根据权利要求16所述的设备，其中，为导出所述多个线性模型，所述一或多个处理器经配置以将所述多个群组中的每一群组的线性关系导出为连续分段。

21.根据权利要求16所述的设备，其中，为导出所述多个线性模型，所述一或多个处理器经配置以将所述多个群组中的每一群组的线性关系导出为非连续分段。

22.根据权利要求16所述的设备，其中，为导出所述多个线性模型，所述一或多个处理器经配置以使用在所述参考块上方布置多于一个行的所述参考块的所述相邻亮度块的亮度样本、在所述参考块左侧布置多于一个列的所述参考块的所述相邻亮度块的亮度样本、在所述当前块上方布置多于一个行的所述当前块的所述相邻亮度块的亮度样本或在所述当前块左侧布置多于一个列的所述参考块的所述当前亮度块的亮度样本中的一或多者导出所述多个线性模型。

23.根据权利要求16所述的设备，其中，为产生所述预测块，所述一或多个处理器经配置以对于所述当前块的子块执行局部照明补偿。

24.根据权利要求16所述的设备，其中所述一或多个处理器经配置以使用所述预测块执行双向预测。

25.根据权利要求16所述的设备，其中所述一或多个处理器经配置以用信号发送用于局部照明补偿的一或多个参数，其中导出每一群组的所述一或多个局部照明补偿参数是基于用于局部照明补偿的所述一或多个参数。

26.根据权利要求16所述的设备，其中所述一或多个处理器经配置以将不同子取样比应用于所述参考块的所述相邻亮度块的所述亮度样本及所述当前块的所述相邻亮度块的所述亮度样本。

27.根据权利要求16所述的设备，其中所述设备包括无线通信装置，其进一步包括经配置以接收经编码视频数据的接收器。

28.根据权利要求27所述的设备，其中所述无线通信装置包括电话手机，且其中所述接收器经配置以根据无线通信标准来解调包括所述经编码视频数据的信号。

29.一种设备，其包括：

用于将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组的装置；

用于导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数的装置；

用于使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型的装置；及

用于使用所述多个线性模型产生预测块的装置。

30.一种计算机可读存储媒体，其存储指令，所述指令在执行时使一或多个处理器进行以下操作：

将参考块的相邻亮度块的亮度样本及当前块的相邻亮度块的亮度样本分类为多个群组；

导出所述多个群组中的每一群组的一或多个局部照明补偿参数以产生所述当前块的多个局部照明补偿参数；

使用所述当前块的所述多个局部照明补偿参数导出所述参考块的所述相邻亮度块与所述当前块的所述相邻亮度块之间的多个线性模型；及

使用所述多个线性模型产生预测块。

Images