CN113940067A - 用于视频编解码中的自适应环路滤波器的裁剪索引编解码 - Google Patents

用于视频编解码中的自适应环路滤波器的裁剪索引编解码 Download PDF

Info

Publication number
CN113940067A
CN113940067A CN202080041761.5A CN202080041761A CN113940067A CN 113940067 A CN113940067 A CN 113940067A CN 202080041761 A CN202080041761 A CN 202080041761A CN 113940067 A CN113940067 A CN 113940067A
Authority
CN
China
Prior art keywords
alf
index
video
block
clipping index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080041761.5A
Other languages
English (en)
Inventor
N.胡
V.塞雷金
H.E.埃吉尔梅兹
M.卡尔切维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113940067A publication Critical patent/CN113940067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频编解码器被配置为将自适应环路滤波器(ALF)裁剪索引编解码为固定长度的无正负号整数。视频编解码器可以基于ALF裁剪索引，将ALF应用于视频数据的图片的块。

Description

用于视频编解码中的自适应环路滤波器的裁剪索引编解码
相关申请的交叉引用
本申请要求于2020年6月9日提交的美国申请第16/897,049号的优先权，该申请要求于2019年6月11日提交的美国临时申请第62/859,948号的权益，通过引用其每一个的全部内容并入本文。
技术领域
本公开涉及视频编码和视频解码。
背景技术
数字视频能力可以被并入到广泛的设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码照相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能手机”、视频电话会议设备、视频流设备等。数字视频设备实施视频编解码(coding)技术，诸如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分，高级视频编解码(AVC)，ITU-Th.265/高效视频编解码(HEVC)以及这些标准的扩展中描述的那些技术。通过实施这种视频编解码技术，视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。
视频编解码技术包括空域(图片内)预测和/或时域(图片间)预测，以减少或去除视频序列中固有的冗余。对于基于块的视频编解码，视频条带(例如，视频图片或视频图片的一部分)可以被分割成视频块，这些视频块也可以被称为编解码树单元(CTU)、编解码单元(CU)和/或编解码节点。图片的帧内编解码(I)条带中的视频块是使用关于同一图片中的相邻块中的参考样点的空域预测进行编码的。图片的帧间编解码(P或B)条带中的视频块可以使用关于同一图片中的相邻块中的参考样点的空域预测或者关于其他参考图片中的参考样点的时域预测。图片可以被称为帧，并且参考图片可以被称为参考帧。
发明内容
总的来说，本公开描述了用于在视频编解码中信令通知自适应环路滤波器(ALF)的裁剪(clip)索引的技术。本公开的技术可以被应用于现有的视频编解码器，诸如符合ITU-TH.265、高效视频编解码(HEVC)标准的编解码器，或者被用作当前正在开发的标准(诸如多功能视频编解码(VVC))中的编解码工具，以及其他未来的视频编解码标准中的编解码工具。
在一个示例中，对视频数据进行编解码的方法包括：将自适应环路滤波器(ALF)裁剪索引编解码为以下之一：固定长度的无正负号(unsigned)整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及基于ALF裁剪索引，将ALF应用于视频数据的图片的块。
在另一个示例中，一种用于对视频数据进行编解码的设备包括被配置为存储视频数据的存储器和一个或多个处理电路，该处理电路被配置为将ALF裁剪索引编解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及基于ALF裁剪索引，将ALF应用于视频数据的图片的块。
在另一个示例中，一种用于对视频数据进行编解码的设备包括：用于将ALF裁剪索引编解码为以下之一的部件：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及用于基于ALF裁剪索引将ALF应用于视频数据的图片的块的部件。
在另一个示例中，一种计算机可读存储介质用指令来编码，当指令被执行时，使得可编程处理器：将ALF裁剪索引编解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及基于ALF裁剪索引，将ALF应用于视频数据的图片的块。
在附图和以下说明书中阐述了一个或多个示例的细节。从说明书、附图和权利要求中，其他特征、目的和优点将变得显而易见。
附图说明
图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
图2A是示出示例5×5菱形自适应环路滤波器(ALF)支持的概念图。
图2B是示出示例7×7菱形ALF支持的概念图。
图3是示出示例5×5菱形滤波器支持的概念图。
图4A-图4C是示出具有不同几何变换的示例5×5滤波器支持的概念图。
图5A和图5B是示出示例四叉树二叉树(QTBT)结构和对应的编解码树单元(CTU)的概念图。
图6是示出可以执行本公开的技术的示例视频编码器的框图。
图7是示出可以执行本公开的技术的示例视频解码器的框图。
图8是示出用于对视频数据的当前图片的当前块进行编码的示例方法的流程图。
图9是示出用于对视频数据的当前图片的当前块进行解码的示例方法的流程图。
图10是示出根据本公开的一种或多种技术对视频数据进行编解码的示例操作的流程图。
具体实施方式
视频编码器和视频解码器可以对解码视频信号中的图片的样点应用自适应环路滤波器(ALF)。应用ALF可以提高解码视频信号的质量。在应用ALF期间，视频编解码器(例如，视频编码器或视频解码器)可以确定当前样点的滤波值。为了确定当前样点的滤波值，视频编解码器可以将当前样点的ALF滤波器支持的裁剪样点乘以对应的滤波器系数。支持是样点的集合，用于推导出正在滤波的样点的值。然后，视频编解码器可以通过将当前样点的值加到所得乘积的和上来确定当前样点的滤波值。
如上所述，视频编解码器将裁剪的样点乘以对应的滤波器系数。裁剪由裁剪值的集合控制。裁剪值指定样点值的上限和下限。视频编解码器可以在不同的情况下使用不同的裁剪值。因此，视频编解码器可以信令通知适用的裁剪值集合的索引(即，ALF裁剪索引)。例如，视频编解码器可以在自适应参数集(APS)中信令通知ALF裁剪索引。
在VVC测试模型5.0(VTM-5.0)中(Chen等人，“Algorithm Description forVersatile Video Coding and Test Model 5(VTM 5)(多功能视频编解码的算法描述和测试模型5(VTM 5))”，ITU-T SG 16WP 3和ISO/IEC 1/SC 29/WG 11的联合视频专家小组(JVET)，第14次会议：日内瓦，瑞士，2019年3月19-27日，文件JVET-N1001)，使用指数-Golomb(exp-Golomb)码来信令通知ALF裁剪索引。将ALF裁剪索引信令通知为exp-Golomb码可能减慢解码过程，因为确定exp-Golomb码的含义可能涉及执行多个比较操作，这些比较操作往往相对较慢。
本公开可以解决这个问题。如本文所述，视频编解码器(例如，视频编码器或视频解码器)可以将ALF裁剪索引编解码为固定长度的无正负号整数。视频编解码器可以基于ALF裁剪索引，将ALF应用于视频数据的图片的块。因为ALF裁剪索引是作为固定长度的无正负号整数被信令通知的，所以视频解码器可能能够更快地执行解码过程。
图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对编解码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编码的视频、经编码的视频、经解码的(例如，重建的)视频和诸如信令通知数据的视频元数据。
如图1所示，在该示例中，系统100包括源设备102，该源设备102提供要由目的地设备116解码和显示的经编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括各种设备中的任何一种，这些设备包括台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、诸如智能手机的电话手机、电视、照相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，因此可以被称为无线通信设备。
在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于信令通知针对视频编解码中的环路滤波器的裁剪索引的技术。因此，源设备102表示视频编码设备的示例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从外部视频源(诸如外部照相机)接收视频数据。同样地，目的地设备116可以与外部显示设备接口，而不是包括集成的显示设备。
图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于信令通知针对视频编解码中的环路滤波器的裁剪索引的技术。源设备102和目的地设备116仅仅是这样的编解码设备的示例，其中源设备102生成编解码的视频数据以传输到目的地设备116。本公开将“编解码”设备称为执行数据的编解码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示编解码设备的示例，具体地，分别表示视频编码器和视频解码器。在一些示例中，设备102、116可以以基本对称的方式操作，使得设备102、116中的每一个都包括视频编码和解码组件。因此，系统100可以支持源设备102与目的地设备116之间的单向或双向视频传输，例如，用于视频流式传输、视频回放、视频广播或视频电话。
通常，视频源104表示视频数据的源(即，原始的、未编码的视频数据)并且将视频数据的连续系列的图片(也被称为“帧”)提供给视频编码器200，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。作为进一步的替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档视频和计算机生成视频的组合。在每个情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收顺序(有时被称为“显示顺序”)重新排列成编解码顺序以进行编解码。视频编码器200可以生成包括经编码的视频数据的比特流。然后，源设备102可以经由输出接口108将经编码的视频数据输出到计算机可读介质110上，用于由例如目的地设备116的输入接口122进行接收或检索。
源设备102的存储器106和目的地设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的、经解码的视频数据。附加地或替代地，存储器106、120可以存储分别可由例如视频编码器200和视频解码器300执行的软件指令。尽管在该示例中，存储器106和存储器120与视频编码器200和视频解码器300被分开示出，但是应当理解，视频编码器200和视频解码器300也可以包括用于功能相似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、120的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、经解码的和/或经编码的视频数据。
计算机可读介质110可以表示能够将经编码的视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示通信介质，以使源设备102能够实时地(例如，经由射频网络或基于计算机的网络)将经编码的视频数据直接发送到目的地设备116。输出接口108可以调制包括经编码的视频数据的传输信号，并且输入接口122可以根据诸如无线通信协议的通信标准解调所接收的传输信号。通信介质可以包括任何无线或有线通信介质，诸如射频(RF)频谱或者一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分，诸如局域网、广域网或诸如因特网的全球网络。通信介质可以包括路由器、交换机、基站或可用于促进从源设备102到目的地设备116的通信的任何其他设备。
在一些示例中，计算机可读介质110可以包括存储设备112。源设备102可以从输出接口108向存储设备112输出经编码的数据。类似地，目的地设备116可以经由输入接口122从存储设备112访问经编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或者用于存储经编码的视频数据的任何其他合适的数字存储介质。
在一些示例中，计算机可读介质110可以包括文件服务器114或可以存储由源设备102生成的经编码的视频数据的另一中间存储设备。源设备102可以向文件服务器114或可以存储由源设备102生成的经编码的视频的另一中间存储设备输出经编码的视频数据。目的地设备116可以经由流式传输或下载从文件服务器114访问存储的视频数据。文件服务器114可以是能够存储经编码的视频数据并将该经编码的视频数据发送到目的地设备116的任何类型的服务器设备。文件服务器114可以表示网络服务器(例如，对于网站)、文件传输协议(FTP)服务器、内容传送网络设备或网络附加存储(NAS)设备。目的地设备116可以通过包括互联网连接的任何标准数据连接从文件服务器114访问经编码的视频数据。这可以包括适于访问存储在文件服务器114上的经编码的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线路(DSL)、电缆调制解调器等)、或者两者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合来操作。
输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何一种操作的无线通信组件或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据蜂窝通信标准(诸如4G、4G-LTE(长期演进)、LTE高级、5G等)传送数据(诸如经编码的视频数据)。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据其他无线标准(诸如IEEE 802.11规范、IEEE 802.15规范(例如，ZigBeeTM)、BluetoothTM标准等)传送数据(诸如经编码的视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括相应的片上系统(SoC)设备。例如，源设备102可以包括SoC设备以执行属于视频编码器200和/或输出接口108的功能，并且目的地设备116可以包括SoC设备以执行属于视频解码器300和/或输入接口122的功能。
本公开的技术可以被应用于视频编解码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线缆电视传输、卫星电视传输、诸如HTTP动态自适应流式传输(DASH)的互联网流式视频传输、被编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码或其他应用。
目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收经编码的视频比特流。经编码的视频比特流可以包括由视频编码器200定义的信令信息(诸如具有描述视频块或其他编解码单元(例如，条带、图片、图片组、序列等)的特性和/或处理的值的语法元素)，该信令信息也被视频解码器300使用。显示设备118向用户显示经解码的视频数据的经解码的图片。显示设备118可以表示各种显示设备中的任何一种，诸如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管显示器(OLED)或另一种类型的显示设备。
尽管图1中未示出，在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元，或者其他硬件和/或软件，以处理包括公共数据流中的音频和视频两者的多路复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223多路复用器协议或者诸如用户数据报协议(UDP)的其他协议。
视频编码器200和视频解码器300各自可以被实施为各种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任意组合。当这些技术部分地在软件中被实施时，设备可以将软件的指令存储在合适的非暂时性计算机可读介质中，并且使用一个或多个处理器在硬件中执行该指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个都可以被包括在一个或多个编码器或解码器中，其中的任何一个都可以被集成为相应设备中的组合编码器/解码器(编解码器)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或诸如蜂窝电话的无线通信设备。
视频编码器200和视频解码器300可以根据视频编解码标准(诸如ITU-TH.265，也被称为高效视频编解码(HEVC))，或其扩展(诸如多视图和/或可缩放视频编解码扩展)操作。可替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准操作(诸如ITU-T H.266)也被称为多功能视频编解码(VVC)。Bross等人的“Versatile Video Coding(Draft 5)(多功能视频编解码(草案5))”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG11的联合视频专家小组(JVET)，第14次会议：日内瓦，瑞士，2019年3月19日至27日，JVET-N1001-v3(以下简称“VVC草案5”)中描述了VVC标准的最新草案。然而，本公开的技术不限于任何特定的编解码标准。
通常，视频编码器200和视频解码器300可以执行基于块的图片编解码。术语“块”通常指包括待处理的(例如，待编码的、待解码或以其他方式被用于编码和/或解码过程的)数据的结构。例如，块可以包括亮度和/或色度数据的样点的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行编解码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行编解码，而不是对图片的样点的红色、绿色和蓝色(RGB)数据进行编解码，其中色度分量可以包括红色色调和蓝色色调色度分量。在一些示例中，视频编码器200在编码之前将所接收的RGB格式的数据转换成YUV表示，并且视频解码器300将YUV表示转换成RGB格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
本公开通常可以指的是图片的编解码(例如，编码和解码)以包括编码或解码图片的数据的过程。类似地，本公开可以指的是图片的块的编解码以包括对块的数据进行编码或解码的过程(例如，预测和/或残差编解码)。经编码的视频比特流通常包括表示编解码决定(例如，编解码模式)以及图片到块的分割的语法元素的一系列值。因此，对对图片进行编解码或块的引用通常应理解为对形成图片或块的语法元素的值进行编解码。
HEVC定义了各种块，包括编解码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编码器(诸如视频编码器200)根据四叉树结构将编解码树单元(CTU)分割为CU。也就是说，视频编解码器将CTU和CU分割成四个相等的、不重叠的正方形，并且四叉树的每个节点都有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU、和/或一个或多个TU。视频编解码器可以进一步分割PU和TU。例如，在HEVC中，残差四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。被帧内预测的CU包括诸如帧内模式指示的帧内预测信息。
作为另一个示例，视频编码器200和视频解码器300可以被配置为根据VVC进行操作。根据VVC，视频编解码器(诸如视频编码器200)将图片分割成多个CTU。对于一些N值，编解码树块(CTB)是N×N个样点块，使得分量到CTB的划分为一种分割。在VVC中，CTU可以被定义为亮度样点的CTB、具有三个样点阵列的图片的色度样点的两个对应的CTB、或者单色图片或使用三个单独的颜色平面来编解码的图片的样点的CTB、以及用于对样点进行编解码的语法结构。
视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构或多类型树(MTT)结构)来分割CTU。QTBT结构移除多个分割类型(诸如HEVC的CU、PU和TU之间的分离)的概念。QTBT结构包括两个级别：根据四叉树分割来进行分割的第一级别，以及根据二叉树分割来进行分割的第二级别。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编解码单元(CU)。
在MTT分割结构中，可以使用四叉树(QT)分割、二叉树(BT)分割以及一种或多种类型的三叉树(TT)分割来分割块。三叉树分割是其中块被分成三个子块的分割。在一些示例中，三叉树分割在没有通过中心划分原始块的情况下将块划分为三个子块。MTT中的分割类型(例如，QT、BT和TT)可以是对称的，也可以是不对称的。
在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如一个QTBT/MTT结构用于亮度分量，并且另一个QTBT/MTT结构用于两个色度分量(或者两个QTBT/MTT结构用于相应的色度分量)。
视频编码器200和视频解码器300可以被配置为使用按照HEVC的四叉树分割、QTBT分割、MTT分割或其他分割结构。出于解释的目的，本公开的技术的描述是关于QTBT分割来呈现的。然而，应当理解，本公开的技术也可以被应用于被配置为使用四叉树分割或其他类型的分割的视频编解码器。
本公开可以互换地使用“N×N”和“N乘N”来指在垂直和水平维度方面的块(诸如CU或其他视频块)的样点维度，例如，16×16样点或16乘16样点。通常，16×16CU在垂直方向上有16个样点(y＝16)，并且在水平方向上有16个样点(x＝16)。同样，N×N CU通常在垂直方向上具有N个样点，并且在水平方向上具有N个样点，其中N表示非负整数值。CU中的样点可以按行和列来排列。此外，CU在水平方向上不必具有与垂直方向上相同数量的样点。例如，CU可以包括N×M个样点，其中M不一定等于N。
视频编码器200对表示预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示如何预测CU，以便形成CU的预测块。残差信息通常表示编码前的CU样点与预测块之间的逐样点差。
为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测形成CU的预测块。帧间预测通常指的是从先前编解码的图片的数据预测CU，而帧内预测通常指的是从同一图片的先前编解码的数据预测CU。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以例如根据CU与参考块之间的差，执行运动搜索来识别与CU紧密匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其它这样的差计算来计算差度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前CU。
VVC的一些示例也提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动(诸如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动矢量。
为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。VVC的一些示例提供了六十七种帧内预测模式，包括各种方向模式，以及平面模式和DC模式。通常，视频编码器200选择描述当前块(例如，CU的块)的相邻样点的帧内预测模式，从该相邻样点预测当前块的样点。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对CTU和CU进行编解码，这样的样点通常可以在与当前块相同的图片中的当前块的上方、左上方或者左侧。
视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种以及对应模式的运动信息的数据进行编码。例如，对于单向或双向帧间预测，视频编码器200可以使用高级运动矢量预测(AMVP)或合并模式来编码运动矢量。视频编码器200可以使用类似的模式来编码仿射运动补偿模式的运动矢量。
在预测之后，诸如块的帧内预测或帧间预测，视频编码器200可以计算该块的残差数据。诸如残差块的残差数据表示块与该块的使用对应的预测模式形成的预测块之间的逐样点差。视频编码器200可以对残差块应用一个或多个变换，以在变换域而不是样点域中产生变换的数据。例如，视频编码器200可以对残差视频数据应用离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换。此外，视频编码器200可以在初级变换之后应用次级变换，诸如模式相关的不可分离次级变换(MDNSST)、信号相关的变换、卡尔亨-洛夫变换(Karhunen-Loeve transform，KLT)等。视频编码器200在应用一个或多个变换后产生变换系数。
如上所述，在产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常是指其中对变换系数进行量化以尽可能减少用于表示变换系数的数据量从而提供进一步压缩的过程。通过执行量化过程，视频编码器200可以减少与一些或所有变换系数相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入到m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对要量化的值执行逐比特右移。
量化之后，视频编码器200可以扫描变换系数，从包括量化的变换系数的二维矩阵中产生一维矢量。扫描可以被设计成将较高能量(因此较低频率)的变换系数放置在矢量的前面，并将较低能量(因此较高频率)的变换系数放置在矢量的后面。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描量化的变换系数以产生串行化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术编解码(CABAC)对一维矢量进行熵编码。视频编码器200还可以对描述与经编码的视频数据相关联的元数据的语法元素的值进行熵编解码，以供视频解码器300在解码视频数据时使用。
为了执行CABAC，视频编码器200可以将上下文模型中的上下文分配给要发送的符号。该上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
视频编码器200还可以(例如，在图片头、块头、条带头中)向视频解码器300生成语法数据，诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据或其他语法数据，诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)。视频解码器300同样可以解码这样的语法数据，以确定如何解码对应的视频数据。
以这种方式，视频编码器200可以生成比特流，该比特流包括经编码的视频数据，例如，描述将图片分割成块(例如，CU)以及块的预测和/或残差信息的语法元素。最终，视频解码器300可以接收比特流并对经编码的视频数据进行解码。
通常，视频解码器300执行与视频编码器200执行的过程相反的过程，以对比特流的经编码的视频数据进行解码。例如，视频解码器300可以使用CABAC以与视频编码器200的CABAC编码过程基本相似但相反的方式对比特流的语法元素的值进行解码。语法元素可以定义用于将图片分割成CTU的分割信息，并且根据对应的分割结构(诸如QTBT结构)对每个CTU进行分割，以定义CTU的CU。语法元素还可以定义视频数据的块(例如，CU)的预测和残差信息。
残差信息可以由例如量化的变换系数来表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以再现该块的残差块。视频解码器300使用信令通知的预测模式(帧内或帧间预测)和相关预测信息(例如，用于帧间预测的运动信息)来形成该块的预测块。视频解码器300然后可以组合预测块和残差块(在逐个样点的基础上)以再现原始块。视频解码器300可以执行附加处理，诸如执行去方块处理以减少沿着块边界的视觉伪影。
在视频编解码领域，通常应用滤波以便提高经解码的视频信号的质量。滤波器可以用作后滤波器，其中滤波后的帧不用于预测未来的帧，或者滤波器可以用作环路内滤波器，其中滤波后的帧用于预测未来的帧。例如，可以通过最小化原始信号与经解码的滤波后的信号之间的误差来设计滤波器。
在VVC测试模型5.0(VTM-5.0)中(Chen等人，“Algorithm Description forVersatile Video Coding and Test Model 5(VTM 5)(多功能视频编解码的算法描述和测试模型5(VTM 5))”，ITU-T SG 16WP 3和ISO/IEC 1/SC 29/WG11的联合视频专家团队(JVET)，第14次会议：日内瓦，瑞士，2019年3月19-27日，文件JVET-N1001)，经解码的滤波器系数f(k，l)和裁剪值c(k，l)如下被应用于重建图片R(i，j)：
Figure BDA0003393983060000131
在VTM-5.0中，7×7滤波器被应用于亮度分量，5×5滤波器被应用于色度分量。图2A是示出示例5×5菱形ALF支持的概念图。图2B是示出示例7×7菱形ALF支持的概念图。在等式(1)中，K可以等于
Figure BDA0003393983060000132
其中L表示滤波器长度。此外，在等式(1)和本公开的其他地方中，clip3函数可以被定义为：
Figure BDA0003393983060000133
在等式(1)和本公开的其他地方中，可以如下计算裁剪值c(k，l)。对于亮度分量，裁剪值c(k，l)可以被计算为：
c(k，l)＝Round(2(BitDepthY*(4-clipIdx(k，1))/4)) (1’)
在等式(1’)中，BitDepthY是亮度分量的比特深度，并且clipIdx(k，l)是位置(k，l)的裁剪索引。clipIdx(k，l)可以是0、1、2或3。
对于色度分量，裁剪值c(k，l)可以被计算为：
c(k，l)＝Round(2(BitDepthC-8)*2(8*(3-clipIdx[k，1])/3)) (1”)
在等式(1”)中，BitDepthC是色度分量的比特深度，clipIdx(k，l)是位置(k，l)的裁剪值。clipIdx(k，l)可以是0、1、2或3。
对于亮度分量，基于一维(1D)拉普拉斯方向(最多5个方向)和2D拉普拉斯活动(最多5个活动值)对整个图片中的4×4块进行分类。计算方向Dirb和非量化活动Actb.Actb被进一步量化到0至4的范围(包括端点)。
首先，视频编解码器(例如，视频编码器200或视频解码器300)使用1D拉普拉斯，除了在现有的ALF中使用的水平和垂直梯度之外，还计算两个对角线梯度的值。从下面的等式(2)到(5)可以看出，覆盖目标像素的8×8窗口内的所有像素的梯度之和被用作目标像素的表示梯度，其中R(k，l)表示位置(k，l)的重建像素，并且索引i和j指的是4×4块中左上角像素的坐标。每个像素与四个梯度值相关联，其中垂直梯度由gv表示，水平梯度由gh表示，135度对角线梯度由gd1表示，并且45度对角线梯度由gd2表示。
Figure BDA0003393983060000141
当k和l都是偶数或者k和l都不是偶数时，Vk，l＝|2R(k，l)-R(k，l-1)-R(k，l+1)|。否则为0。
Figure BDA0003393983060000142
当k和l都是偶数或者k和l都不是偶数时，Hk，l＝|2R(k，l)-R(k-1，l)-R(k+1，l)|。否则为0。
Figure BDA0003393983060000143
当k和l都是偶数或者k和l都不是偶数时，D1k，l＝|2R(k，l)-R(k-1，l-1)-R(k+1，l+1)|。否则为0。
Figure BDA0003393983060000144
当k和l都是偶数或者k和l都不是偶数时，D2k，l＝|2R(k，l)-R(k-1，l+1)-R(k+1，l-1)|。否则为0。
为了分配方向性Dirb，将水平和垂直梯度的最大值与最小值的比率(在下面的等式(6)中用Rh，v表示)和两个对角线梯度的最大值与最小值的比率(在下面的等式(7)中用Rd1，d2表示)与两个阈值t1和t2相互比较。
Figure BDA0003393983060000151
Figure BDA0003393983060000152
在等式(6)和(7)以及本公开的其他地方中，
Figure BDA0003393983060000153
表示水平和垂直梯度的最大值；
Figure BDA0003393983060000154
表示水平和垂直梯度的最小值；
Figure BDA0003393983060000155
表示两个对角线梯度的最大值；并且
Figure BDA0003393983060000156
表示两个对角线梯度的最小值。
通过比较检测到的水平/垂直和对角线梯度的比率，在下面的等式(8)中定义了五种方向模式，即，在[0，4]范围内(包括端点)的Dirb。表1中描述了Dirb的值及其物理意义。
Figure BDA0003393983060000157
表1.方向的值及其物理意义
Figure BDA0003393983060000158
视频编解码器(例如，视频编码器200或视频解码器300)可以将活动值Act计算为：
Figure BDA0003393983060000161
视频编解码器可以进一步将Act量化到0至4的范围(包括端点)。Act的量化值表示为
Figure BDA0003393983060000162
可以如下定义Act的量化过程：
avg_var＝Clip_post(NUM_ENTRY-1，(Act*ScaleFactor)＞＞shift)；
Figure BDA0003393983060000163
其中，NUM_ENTRY被设置为16，ScaleFactor被设置为64，shift为(4+内部编解码比特深度)，并且ActivityToIndex[NUM_ENTRY]＝{0，1，2，2，2，2，2，3，3，3，3，3，3，3，3，4}。函数Clip_post(a，b)返回a与b之间的较小值。
总的来说，视频编解码器可以将每个4×4亮度块分类为25个(5个方向×5个活动级别)类别之一，并根据块的Dirb和Actb值为每个4×4块分配索引。组索引可以用C表示，并被设置为
Figure BDA0003393983060000164
其中
Figure BDA0003393983060000165
是Actb的量化值。
在一些示例中，视频编解码器可以对滤波器系数应用几何变换。例如，在一些这样的示例中，对于每个类别，视频编解码器可以信令通知滤波器系数和裁剪值的一个集合。为了更好地区分用相同类别索引标记的块的不同方向，引入了四种几何变换，包括无变换、对角线变换、垂直翻转和旋转。图4A-图4C中描述了具有三个几何变换的5×5滤波器支持的示例。换句话说，图4A-图4C是示出具有不同几何变换的示例5×5滤波器支持的概念图。比较图3与图4A-图4C，三个附加几何变换的公式形式可以被推导为：
Figure BDA0003393983060000166
在等式(10)中，K是滤波器的大小，并且0≤k，l≤K-1是系数坐标，因此位置(0，0)在左上角，位置(K-1，K-1)在右下角。请注意，当使用菱形滤波器支持时，诸如在VVC草案5的ALF中，坐标在滤波器支持之外的滤波器系数始终被设置为0。指示几何变换索引的一种方式是隐式推导几何变换索引，以避免额外的开销。在几何ALF(GALF)中，根据为该块计算的梯度值，(例如，由视频编解码器，诸如视频编码器200或视频解码器300)将变换应用于滤波器系数f(k，l)。下面的表2中描述了变换与使用等式(2)-(5)计算的四个梯度之间的关系。总而言之，转换基于两个梯度(水平与垂直，或45度与135度梯度)中哪一个更大。基于该比较，视频编解码器可以提取更准确的方向信息。因此，在不增加滤波器系数开销的情况下，由于变换可以获得不同的滤波结果。
表2.梯度和变换的映射
Figure BDA0003393983060000171
可以在比特流中信令通知滤波器信息。一个亮度滤波器集合包含针对所有25个类别的滤波器信息(包括滤波器系数和裁剪值)。固定滤波器可以用于预测每个类别的滤波器。可以为每个类别信令通知一个标志，以指示该类别是否使用固定滤波器作为其滤波器预测值。如果是(即，如果类别的标志指示该类别使用固定滤波器作为其滤波器预测值)，则信令通知固定滤波器信息。
为了减少表示滤波器系数所需的比特数量，可以合并不同的类别。关于哪些类别被合并的信息可以通过为25个类别中的每一个发送索引iC来提供。具有相同索引iC的类别共享被编解码的相同的滤波器系数。针对每个亮度滤波器集合，信令通知类别与滤波器之间的映射。索引iC是用截断二值化方法来编解码的。可以从先前信令通知的滤波器预测信令通知的滤波器。
比特流可以包括网络抽象层(NAL)单元的序列。NAL单元是一种语法结构，其包含NAL单元中数据类型的指示，以及以必要时穿插有竞争防止比特(emulation preventionbit)的原始字节序列有效负载(RBSP)的形式包含该数据的字节。每个NAL单元可以包括NAL单元头，并且可以封装RBSP。NAL单元头可以包括指示NAL单元类型代码的语法元素。由NAL单元的NAL单元头指定的NAL单元类型代码指示NAL单元的类型。RBSP可以是包含封装在NAL单元内的整数字节的语法结构。在某些情况下，RBSP包括零比特。
如上所述，比特流可以包括视频数据和关联数据的经编码的图片的表示。关联数据可以包括参数集。NAL单元可以封装视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和自适应参数集(APS)的RBSP。VPS是一种语法结构，包括应用于零个或多个完整编解码视频序列(CVS)的语法元素。SPS也是一种语法结构，包括应用于零个或多个完整CVS的语法元素。SPS可以包括语法元素，该语法元素标识当SPS活动时活动的VPS。因此，VPS的语法元素可能比SPS的语法元素更普遍适用。PPS是一种语法结构，包括应用于零个或多个编解码图片的语法元素。PPS可以包括语法元素，该语法元素标识当PPS活动时活动的SPS。条带的条带头可以包括语法元素，该语法元素指示当条带被编解码时活动的PPS。APS是一种语法结构，包含应用于零个或多个条带的语法元素，这些语法元素如由条带头中发现的零个或多个语法元素确定。条带的条带头可以包括一个或多个语法元素，这些语法元素指示当条带被编解码时活动的APS。
在VTM-5.0中，APS被用于在比特流中携带ALF滤波器系数。APS可以包含亮度滤波器集合或色度滤波器集合，或者两者。片组、条带或图片仅在其片组、条带或图片头中信令通知用于当前片组的APS的索引。
在VTM-5.0中，从先前编解码的片组、条带或图片生成的滤波器可以用于当前的片组、条带或图片，以节省滤波器信令的开销。对于亮度CTB，视频编码器200可以从固定滤波器集合和来自APS的滤波器集合中选择滤波器集合。视频编码器200可以信令通知所选择的滤波器集合索引。所有色度CTB都使用来自同一APS的滤波器。在片组、条带或图片头中，视频编码器200信令通知用于当前片组、条带或图片的亮度和色度CTB的APS。片是图片中特定片列和特定片行内的CTB的矩形区域。
在VTM-5.0的视频解码器(例如，视频解码器300)中，首先重建ALF的滤波器系数。然后针对非零滤波器系数解码裁剪索引。对于零值的滤波器系数，视频解码器推断裁剪索引为零。指数-Golomb(即，Exp-Golomb)编解码被用于裁剪索引的信令。裁剪索引的Exp-Golomb码的阶(order)取决于它在滤波器模板中的位置。
具体来说，在VTM-5.0中，APS可以包括如下解析的亮度分量的裁剪索引，其中alf_luma_clip_idx指定裁剪索引：
Figure BDA0003393983060000191
VVC草案5为上面语法表中示出的语法元素提供了以下语义：
alf_luma_clip_min_eg_order_minus1加1指定用于亮度裁剪索引信令的exp-Golomb码的最小阶。alf_luma_clip_min_eg_order_minus1的值应在0至6的范围内(包括端点)。
alf_luma_clip_eg_order_increase_flag[i]等于1指定用于亮度裁剪索引信令的exp-Golomb码的最小阶递增1。alf_luma_clip_eg_order_increase_flag[i]等于0指定用于亮度裁剪索引信令的exp-Golomb码的最小阶不递增1。
如下推导用于解码alf_luma_clip_idx[sfIdx][j]的值的exp-Golomb码的阶kClipY[i]：
kClipY[i]＝(i＝＝0？alf_luma_clip_min_eg_order_minus1+1：kClipY[i-1])+ (7-74)
alf_luma_clip_eg_order_increase_flag[i]
alf_luma_clip_idx[sfIdx][j]指定在乘以由sfIdx指示的信令通知的亮度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。当alf_luma_clip_idx[sfIdx][j]不存在时，推断它等于0(无裁剪)。比特流一致性的要求是，其中sfIdx＝0..alf_luma_clip_idx[sfIdx][j]并且j＝0..11的alf_luma_clip_idx[sfIdx][j]值应在0至3的范围内(包括端点)。
exp-Golomb二值化uek(v)的阶k被推导如下：
k＝kClipY[golombOrderIdxY[j]] (7-75)
如下初始化变量filterClips[sfIdx][j]，其中sfIdx＝0..0..alf_lumanum_filters_signalled_minus1，j＝0..11：
filterClips[sfIdx][j]＝Round(2(BitDepthY*(4-alfluma_clip_idx[sfIdx][j])/4)) (7-76)
具有元素AlfClipL[adaptation_parameter_set_id][filtIdx][j]的亮度滤波器裁剪值AlfClipL[adaptation_parameter_set_id]被推导如下，其中filtIdx＝0..NumAlfFilters-1并且j＝0..11：
AlfClipL[adaptation_parameter_set_id][filtIdx][j]＝filterClips[alf_luma_coeff_delta_idx[filtIdx]][j] (7-77)
在本公开的语法表中，u(n)指示使用n比特的无正负号整数。当类型u(n)的描述符中的字母n在语法表中为“v”时，比特数量根据其他语法元素的值而变化。描述符tb(v)指示截断二进制值，其使用最多maxVal比特，maxVal在语法元素的语义中定义。描述符tu(v)指示截断一元值，其使用最多maxVal比特，maxVal在语法元素的语义中定义。描述符ue(v)指示无正负号整数0阶Exp-Golomb编解码语法元素，左比特在前。描述符uek(v)指示无正负号整数k阶Exp-Golomb编解码的语法元素，左比特在前。描述符se(v)指示有正负号整数0阶Exp-Golomb编解码的语法元素，左比特在前。
VVC草案5为使用描述符tb(v)编解码的语法元素提供了以下解析过程：
当子条款7.3中的语法表中的语法元素的描述符等于tb(v)时，调用该过程。
该过程的输入是来自RBSP的比特和最大值maxVal。
该过程的输出是语法元素值。
编解码为tb(v)的语法元素是截断二进制编解码的。首先确定语法元素的可能值的范围。此语法元素的范围是0至maxVal(包括端点)，其中MaxVal大于或等于1。等于语法元素的值的synVal由如下指定的过程给出：
Figure BDA0003393983060000201
Figure BDA0003393983060000211
其中从read_bits(th)返回的值被解释为无正负号整数的二进制表示，
其中最高有效比特被首先写入。
VVC草案5为使用描述符tu(v)来编解码的语法元素提供了以下解析过程：
当子条款7.3的语法表中的语法元素的描述符等于tu(v)时，调用该过程。
该过程的输入是来自RBSP的比特和最大值maxVal。
该过程的输出是语法元素值。
编解码为tu(v)的语法元素是截断一元编解码的。首先确定语法元素的可能值的范围。此语法元素的范围是0至maxVal(包括端点)，其中MaxVal大于或等于1。等于语法元素的值的codeNum由如下指定的过程给出：
Figure BDA0003393983060000212
VVC草案5为使用描述符ue(v)、uek(v)和se(v)来编解码的语法元素提供了以下解析过程：
当语法表中的语法元素的描述符等于ue(v)、uek(v)或se(v)时，调用该过程。
该过程的输入是来自RBSP的比特。
该过程的输出是语法元素值。
编解码为ue(v)或se(v)的语法元素是其中阶k等于0的Exp-Golomb编解码的，编解码为uek(v)的语法元素是k阶Exp-Golomb编解码的。这些语法元素的解析过程开始于读取从比特流中的当前位置开始直到并包括第一非零比特的比特，并计算等于0的前导比特的数量。该过程
规定如下：
leadingZeroBits＝-1
for(b＝0；！b；leadingZeroBits++) (9-1)
b＝read_bits(1)
然后变量codeNum被分配如下：
codeNum＝(2leadingZeroBits-1)*2k+read_bits(leadingZeroBits+k) (9-2)
其中从read_bits(1eadingZeroBits)返回的值被解释为无正负号整数的二进制表示，其中最高有效比特被首先写入。
表9-1通过将比特串分成“前缀”和“后缀”比特来说明0阶Exp-Golomb码的结构。“前缀”比特是那些被解析为如上面规定的用于leadingZeroBits的计算的比特，并且在表9-1的比特串列中示出为0或1。“后缀”比特是那些在codeNum的计算中被解析的比特，并且在表9-1中示出为xi，其中i在0至leadingZeroBits-1的范围内(包括端点)。每个xi等于0或1。
表9-1-带有“前缀”和“后缀”比特的比特串以及对codeNum范围(信息性)的分配
比特串形式 codeNum的范围
1 0
01x<sub>0</sub> 1..2
001 x<sub>1</sub> x<sub>0</sub> 3..6
0001 x<sub>2</sub> x<sub>1</sub> x<sub>0</sub> 7..14
00001 x<sub>3</sub> x<sub>2</sub> x<sub>1</sub> x<sub>0</sub> 15..30
000001 x<sub>4</sub> x<sub>3</sub> x<sub>2</sub> x<sub>1</sub> X<sub>0</sub> 31..62
… …
表9-2明确示出了比特串到codeNum值的分配。
表9-2-以明确形式并且用作ue(v)(信息性)的Exp-Golomb比特串和codeNum
比特串 codeNum
1 0
010 1
011 2
00100 3
00101 4
00110 5
00111 6
0001000 7
0001001 8
0001010 9
… …
根据描述符，语法元素的值被推导如下：
-如果语法元素被编解码为ue(v)，则语法元素的值等于codeNum。
-否则(语法元素被编解码为se(v))，语法元素的值是通过以codeNum作为输入调用第9.2.2条中指定的有正负号Exp-Golomb码的映射过程而推导出的。
9.2.2有正负号Exp-Golomb码的映射过程
该过程的输入是第9.2条中指定的codeNum。
该过程的输出是编解码为se(v)的语法元素的值。
通过按语法元素的绝对值以递增顺序对语法元素进行排序，并以较低的codeNum表示给定的绝对值的正值，从而将语法元素分配给codeNum。表9-3提供了分配规则。
表9-3-针对有正负号Exp-Golomb编解码语法元素se(v)的语法元素到codeNum的分配
codeNum 语法元素值
0 0
1 1
2 -1
3 2
4 -2
5 3
6 -3
k (-1)<sup>k+1</sup>Ceil(k÷2)
在VVC草案5中，色度分量的裁剪索引解析如下：
Figure BDA0003393983060000241
VVC草案5为上面语法表中示出的语法元素提供了以下语义：
alf_chroma_clip_flag等于0指定对色度分量应用线性自适应环路滤波；alf_chroma_clip_flag等于1指定对色度分量应用非线性自适应环路滤波。当不存在时，alf_chroma_clip_flag被推断为等于0。
alf_chroma_min_eg_order_minus1加1指定色度滤波器系数信令的exp-Golomb码的最小阶。alf_chroma_min_eg_order_minus1的值应在0至6的范围内(包括端点)。
alf_chroma_eg_order_increase_flag[i]等于1指定色度滤波器系数信令的exp-Golomb码的最小阶递增1。alf_chroma_eg_order_increase_flag[i]等于0指定色度滤波器系数信令的exp-Golomb码的最小阶不递增1
用于解码alf_chroma_coeff_abs[j]的值的exp-Golomb码的阶expGoOrderC[i]被推导如下：
expGoOrderC[i]＝(i＝＝0？alf_chroma_min_eg_order_minus1+1：expGoOrderC[i-1])+
(7-78)
alf_chroma_eg_order_increase_flag[i] (7-79)
alf_chroma_coeff_abs[j]指定第j个色度滤波器系数的绝对值。当alf_chroma_coeff_abs[j]不存在时，它被推断为等于0。比特流一致性的要求是，alf_chroma_coeff_abs[j]的值应在0至27-1的范围内(包括端点)。
exp-Golomb二值化uek(v)的阶k被推导如下：
golombOrderIdxC[]＝{0，0，1，0，0，1} (7-80)
k＝expGoOrderC[golombOrderIdxC[j]] (7-81)
alf_chroma_coeff_sign[j]指定第j个色度滤波器系数的正负号，如下所示：
-如果alf_chroma_coeff_sign[j]等于0，则对应的色度滤波器系数具有正值。
-否则(alf_chroma_coeff_sign[j]等于1)，对应的色度滤波器系数具有负值。
当alf_chroma_coeff_sign[j]不存在时，它被推断为等于0。
具有元素AlfCoeffC[adaptation_parameter_set_id][j]的色度滤波器系数AlfCoeffC[adaptation_parameter_set_id](其中j＝0..5)被推导如下：
AlfCoeffC[adaptation_parameter_set_id][j]＝alf_chroma_coeff_abs[j]* (7-82)
(1-2*alf_chroma_coeff_sign[j])
比特流一致性的要求是AlfCoeffC[adaptation_parameter_set_id][j]
(其中j＝0..5)的值应在-27-1至27-1的范围内(包括端点)。
alf_chroma_clip_min_eg_order_minus1加1指定色度裁剪索引信令的exp-Golomb码的最小阶。alf_chroma_clip_min_eg_order_minus1的值应在0至6的范围内(包括端点)。
alf_chroma_clip_eg_order_increase_flag[i]等于1指定色度裁剪索引信令的exp-Golomb码的最小阶递增1。alf_chroma_clip_eg_order_increase_flag[i]等于0指定色度裁剪索引信令的exp-Golomb码的最小阶不递增1。
用于解码alf_chroma_clip_idx[j]的值的exp-Golomb码的阶expGoOrderC[i]被推导如下：
kClipC[i]＝(i＝＝0？alf_chroma_clip_min_eg_order_minus1+1：kClipC[i-1])+ (7-83)
alf_chroma_clip_eg_orderincrease_flag[i] (7-84)
alf_chroma_clip_idx[j]指定在乘以色度滤波器的第j个系数之前要使用的裁剪值的裁剪索引。当alf_chroma_clip_idx[j]不存在时，它被推断为等于0(无裁剪)。比特流一致性的要求是，alf_chroma_clip_idx[j]
(其中j＝0..5)的值应在0至3的范围内(包括端点)。
exp-Golomb二值化uek(v)的阶k被推导如下：
k＝kClipC[golombOrderIdxC[j]] (7-85)
具有元素AlfClipC[adaptation_parameter_set_id][j](其中j＝0..5)的色度滤波器裁剪值AlfClipC[adaptation_parameter_set_id]被推导如下：
AlfClipC[adaptation_parameter_set_id][j]＝Round(2(BitDepthC-8)*2(8 *(3-alf_chroma_clip_idx[j])/3)) (7-86)
如上所述，为了解析裁剪索引，首先重建滤波器系数。此外，递归exp-Golomb编解码用于解析裁剪索引。首先重建滤波器系数并使用递归exp-Golomb编解码可能增加视频解码器300中的延迟。
本公开的各方面描述了可以简化亮度分量和色度分量两者的裁剪索引的解析的示例。本公开的各方面和示例可以单独使用，或者组合使用。本公开的各方面可以减少视频解码器300中的延迟，并且在一些示例中，减少视频编码器200的解码路径中的延迟。
在本公开的第一方面，即使对应的滤波器系数f(k，l)为零，裁剪索引clipIdx(k，l)也总是被信令通知/解析(例如，分别由视频编码器200或视频解码器300)。换句话说，可以去除对应的滤波器系数为非零的条件。例如，参考上面的语法表，可以去除行“if(filtCoeff[sfIdx][j])”和“if(alf_chroma_coeff_abs[j])”。以这种方式，视频编解码器(例如，视频编码器200或视频解码器300)可以对ALF裁剪索引进行编解码，而不管ALF的对应滤波器系数的值如何。例如，视频编解码器可以确定对应的滤波器系数等于0，并且仍然编解码(例如，编码或解码)ALF裁剪索引。
在本公开的第二方面，去除递归exp-Golomb编解码。例如，在本公开的第二方面的一个示例中，固定长度编解码可以用于信令通知裁剪索引，令x是每个码字的长度，如下面的语法表所示。
Figure BDA0003393983060000271
与其中alf_luma_clip_idx和alf_chroma_clip_idx具有描述符uek(v)(表示无正负号整数k阶Exp-Golomb编解码)的VVC草案5相反，在该示例中，alf_luma_clip_idx和alf_chroma_clip_idx具有描述符u(x)(表示使用x比特的无正负号整数)。该示例的语法表可以形成APS的语法表的一部分。
因此，在该示例中，视频编解码器(例如，视频编码器200或视频解码器300)可以将ALF裁剪索引编解码为固定长度的无正负号整数。此外，视频编解码器可以基于ALF裁剪索引，将ALF应用于视频数据的图片的块。
在本公开的第二方面的一些示例中，截断二进制编解码可以用于信令通知裁剪索引。例如，alf_luma_clip_idx和/或alf_chroma_clip_idx可以具有描述符tb(v)。
在本公开的第二方面的一些示例中，0阶Golomb可以用于信令通知裁剪索引。例如，alf_luma_clip_idx和/或alf_chroma_clip_idx可以具有描述符ue(v)。
在本公开的第二方面的一些示例中，x阶Golomb可以用于信令通知裁剪索引，其中x是Golomb编解码的阶。在一些这样的示例中，x可能取决于分量。换句话说，对于亮度和色度分量，x值可以不同。对于一个或多个分量中的所有剪裁索引，x可以是相同的。在其他示例中，x可以取决于滤波器索引，并且对于一个或多个滤波器中的所有裁剪索引，x可以是相同的。
在本公开的第二方面的一些示例中，截断一元编解码可以用于信令通知裁剪索引。例如，alf_luma_clip_idx和/或alf_chroma_clip_idx可以具有描述符tu(v)。
在本公开的第二方面的一些示例中，编解码方法在颜色分量之间可以不同。例如，可以使用截断二进制、截断一元、使用n比特的无正负号整数、无正负号整数0阶Exp-Golomb编解码和无正负号整数k阶Exp-Golomb编解码中的不同编解码来对alf_luma_clip_idx和alf_chroma_clip_idx进行编解码。
因此，视频编解码器(例如，视频编码器200或视频解码器300)可以将ALF裁剪索引编解码(例如，编解码或解码)为以下之一：固定长度的无正负号整数(描述符u(x))、截断二进制值(描述符tb(v))、截断一元值(描述符tu(v))、或无正负号0阶Exp-Golomb编解码值(描述符ue(v))。视频编解码器可以基于ALF裁剪索引，将ALF应用于视频数据的图片的块。视频编解码器可以对亮度分量和色度分量中的一者或两者执行该操作。因此，ALF裁剪索引可以是亮度ALF裁剪索引或色度ALF裁剪索引。关于本公开的第一方面，视频编解码器可以对ALF裁剪索引进行编解码，而不管ALF的对应滤波器系数的值如何。
在一些示例中，如上所述，为了基于ALF裁剪索引来应用ALF，视频编解码器可以如等式(1′)或(1”)所示基于裁剪索引来确定裁剪值。如上所述，视频编解码器然后可以使用等式(1)中的裁剪值。如在本公开的其他地方阐述的，或者以其他方式，视频编解码器可以确定滤波器系数。
本公开通常可以指“信令通知”某些信息，诸如语法元素。术语“信令通知”通常可以指用于对经编码的视频数据进行解码的语法元素的值和/或其他数据的传达。也就是说，视频编码器200可以在比特流中信令通知语法元素的值。通常，信令通知指的是在比特流中生成值。如上所述，源设备102可以基本上实时地或者不实时地(诸如当将语法元素存储到存储设备112以供目的设备116稍后检索时可能发生)将比特流传输到目的设备116。
图5A和图5B是示出示例四叉树二叉树(QTBT)结构130和对应的编解码树单元(CTU)132的概念图。实线表示四叉树划分，并且虚线指示二叉树划分。在二叉树的每个划分(即，非叶)节点，信令通知一个标志以指示使用哪种划分类型(即，水平或垂直)，其中在该示例中0指示水平划分，并且1指示垂直划分。对于四叉树划分，不需要指示划分类型，因为四叉树节点将块水平和垂直划分成4个具有相等大小的子块。因此，视频编码器200可以对用于QTBT结构130的区域树级别(即，第一级别)(即，实线)的语法元素(诸如划分信息)和QTBT结构130的预测树级别(即，第二级别)(即，虚线)的语法元素(诸如划分信息)进行编码，并且视频解码器300可以对其进行解码。视频编码器200可以对由QTBT结构130的终端叶节点表示的CU的视频数据(诸如预测和变换数据)进行编码，并且视频解码器300可以对其进行解码。
通常，图5B的CTU 132可以与定义与第一级别和第二级别处的QTBT结构130的节点相对应的块的大小的参数相关联。这些参数可以包括CTU大小(表示样点中CTU 132的大小)、最小四叉树大小(MinQTSize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示最大允许的二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)和最小二叉树大小(MinBTSize，表示最小允许的二叉树叶节点大小)。
对应于CTU的QTBT结构的根节点可以在QTBT结构的第一级别具有四个子节点，每个子节点可以根据四叉树分割来被分割。也就是说，第一级别的节点要么是叶节点(没有子节点)，要么具有四个子节点。QTBT结构130的示例将这样的节点表示为包括父节点和具有用于分支的实线的子节点。如果第一级别的节点不大于最大允许的二叉树根节点大小(MaxBTSize)，则这些节点可以被相应的二叉树进一步分割。可以迭代一个节点的二叉树划分，直到划分产生的节点达到最小允许的二叉树叶节点大小(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有用于分支的虚线。二叉树叶节点被称为编解码单元(CU)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分割。如上所述，CU也可以被称为“视频块”或“块”。
在QTBT分割结构的一个示例中，CTU大小被设置为128×128(亮度样点和两个对应的64×64色度样点)，MinQTSize被设置为16×16，MaxBTSize被设置为64×64，MinBTSize(对于宽度和高度两者)被设置为4，并且MaxBTDepth被设置为4。首先将四叉树分割应用于CTU，以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即，MinQTSize)到128×128(即，CTU大小)的大小。如果四叉树叶节点是128×128，则它将不会被二叉树进一步划分，因为其大小超过了MaxBTSize(即，在该示例中是64×64)。否则，四叉树叶节点将由二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(在该示例中为4)时，不允许进一步划分。当二叉树节点具有等于MinBTSize的宽度(在该示例中为4)时，它意味着不允许进一步的垂直划分。类似地，具有高度等于MinBTSize的二叉树节点意味着不允许对于该二叉树节点进一步水平划分。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换被进一步处理，而无需进一步分割。
图6是示出可以执行本公开的技术的示例视频编码器200的框图。图6是出于解释的目的而被提供的，并且不应被认为是对本公开中广泛例示和描述的技术的限制。出于解释的目的，本公开在视频编解码标准(诸如H.265(HEVC)视频编解码标准和正在开发的H.266(VVC)视频编解码标准)的上下文中描述了视频编码器200。然而，本公开的技术不限于这些视频编解码标准，并且通常适用于视频编码和解码。
在图6的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一个或全部可以在一个或多个处理器或处理电路中实施。此外，视频编码器200可以包括附加的或替代的处理器或处理电路来执行这些和其他功能。
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以充当参考图片存储器，其存储参考视频数据以供视频编码器200预测后续视频数据时使用。视频数据存储器230和DPB 218可以由多种存储器设备中的任何一种形成，诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)或者其他类型的存储器设备。视频数据存储器230和DPB 218可以由相同的存储器设备或单独的存储器设备来提供。在各种示例中，如图所示，视频数据存储器230可以与视频编码器200的其他组件一起在芯片上，或者相对于这些组件在芯片外。
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非具体描述为这样，或者限于视频编码器200外部的存储器，除非具体描述为这样。相反，对视频数据存储器230的引用应被理解为对存储视频编码器200接收用于编码的视频数据(例如，要被编码的当前块的视频数据)的存储器的引用。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
图6的各种单元被示出以帮助理解视频编码器200执行的操作。这些单元可以被实施为固定功能电路、可编程电路或其组合。固定功能电路指的是提供特定功能并预设在可以被执行的操作上的电路。可编程电路指的是可以被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使得可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的目标代码，或者视频编码器200内的另一个存储器(未示出)可以存储这样的指令。
视频数据存储器230被配置为存储所接收的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要被编码的原始视频数据。
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元，以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、帧内块复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。
模式选择单元202通常协调多个编码过程，以测试编码参数的组合以及这种组合的所得的率失真值。编码参数可以包括CTU到CU的分割、CU的预测模式、CU的残差数据的变换类型、CU的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试的组合更好的率失真值的编码参数的组合。
视频编码器200可以将从视频数据存储器230中检索到的图片分割成一系列CTU，并将一个或多个CTU封装在条带内。模式选择单元202可以根据树结构(诸如上述HEVC的QTBT结构或四叉树结构)，来分割图片的CTU。如上所述，视频编码器200可以根据树结构通过分割CTU来形成一个或多个CU。这种CU也可以被通常称为“视频块”或“块”。
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)来生成当前块的预测块(例如，当前CU，或者在HEVC中，PU和TU的重叠部分)。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，存储在DPB 218中的一个或多个先前编解码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等来计算表示潜在参考块与当前块相似程度的值。运动估计单元222通常可以使用当前块与正被考虑的参考块之间的逐样点差来执行这些计算。运动估计单元222可以识别具有从这些计算得到的最低值的参考块，该最低值指示最紧密匹配当前块的参考块。
运动估计单元222可以形成一个或多个运动矢量(MV)，其定义参考图片中的参考块的位置相对于当前图片中的当前块的位置。然后，运动估计单元222可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后，运动补偿单元224可以使用运动矢量生成预测块。例如，运动补偿单元224可以使用运动矢量来检索参考块的数据。作为另一个示例，如果运动矢量具有分数样点精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以检索由相应运动矢量标识的两个参考块的数据，并通过例如逐样点平均或加权平均来组合检索到的数据。
作为另一个示例，对于帧内预测或帧内预测编解码，帧内预测单元226可以从与当前块相邻的样点生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样点的值，并且在跨当前块的定义方向上填充这些计算值，以产生预测块。作为另一个示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样点的平均值，并且生成预测块来为预测块的每个样点包括该得到的平均值。
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的、未解码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块与预测块之间的逐样点差。得到的逐样点差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样点值之间的差，以使用残差差分脉冲编解码调制(RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
在模式选择单元202将CU分割成PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所述，CU的大小可以指CU的亮度编解码块的大小，并且PU的大小可以指PU的亮度预测单元的大小。假设特定CU的大小是2N×2N，则视频编码器200可以支持用于帧内预测的2N×2N或N×N的PU大小，以及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似的对称PU大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称分割。
在模式选择单元没有进一步将CU分割成PU的示例中，每个CU可以与亮度编解码块以及对应的色度编解码块相关联。如上所述，CU的大小可以指CU的亮度编解码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。
对于其它视频编解码技术，作为几个示例，诸如帧内块复制模式编解码、仿射模式编解码和线性模型(LM)模式编解码，模式选择单元202经由与编解码技术相关联的相应单元，生成正在被编码的当前块的预测块。在一些示例中，诸如调色板模式编解码，模式选择单元202可以不生成预测块，而是生成指示基于所选择的调色板重建块的方式的语法元素。在这种模式下，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
如上所述，残差生成单元204接收当前块和对应预测块的视频数据。然后，残差生成单元204生成当前块的残差块。为了生成残差块，残差生成单元204计算预测块与当前块之间的逐样点差。
变换处理单元206对残差块应用一个或多个变换，以生成变换系数的块(本文称为“变换系数块”)。变换处理单元206可以对残差块应用各种变换，以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(DCT)、方向变换、卡尔亨-洛夫变换(KLT)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多次变换，例如，初级变换和次级变换，诸如旋转变换。在一些示例中，变换处理单元206不对残差块应用变换。
量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的变换系数块的量化程度。量化可能引入信息损失，因此，量化的变换系数可能比由变换处理单元206产生的原始变换系数具有更低的精度。
逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重建残差块。重建单元214可以基于重建的残差块和由模式选择单元202生成的预测块来产生对应于当前块的重建块(尽管可能具有一定程度的失真)。例如，重建单元214可以将重建的残差块的样点加到来自由模式选择单元202生成的预测块的对应样点，以产生重建块。
滤波器单元216可以对重建的块执行一个或多个滤波操作。例如，滤波器单元216可以执行去方块操作以减少沿CU边缘的块效应伪影。在一些示例中，可以跳过滤波器单元216的操作。根据本公开的示例，滤波器单元216可以基于被编解码为固定长度的无正负号整数的ALF裁剪索引，将ALF应用于视频数据的图片的块。
视频编码器200将重建块存储在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重建单元214可以将重建块存储到DPB 218。在需要滤波器单元216的操作的示例中，滤波器单元216可以将滤波后的重建块存储到DPB218。运动估计单元222和运动补偿单元224可以从DPB 218中检索参考图片，该参考图片由重建的(并且可能被滤波的)块形成，以对随后编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的DPB218中的重建块来帧内预测当前图片中的其他块。
通常，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一个示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对语法元素(其作为视频数据的另一个示例)执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度编解码(CAVLC)操作、CABAC操作、可变到可变(V2V)长度编解码操作、基于语法的上下文自适应二进制算术编解码(SBAC)操作、概率区间分割熵(PIPE)编解码操作、指数-Golomb编码操作或另一种类型的熵编码操作。在一些示例中，熵编码单元220可以以旁路模式操作，其中语法元素不被熵编码。
视频编码器200可以输出比特流，其包括重建条带或图片的块所需的经熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
上面描述的操作是关于块描述的。这种描述应该被理解为对于亮度编解码块和/或色度编解码块的操作。如上所述，在一些示例中，亮度编解码块和色度编解码块是CU的亮度和色度分量。在一些示例中，亮度编解码块和色度编解码块是PU的亮度和色度分量。
在一些示例中，不需要针对色度编解码块重复关于亮度编解码块执行的操作。作为一个示例，不需要为了识别色度块的MV和参考图片而重复识别亮度编解码块的运动矢量(MV)和参考图片的操作。相反，亮度编解码块的MV可以被缩放以确定色度块的MV，并且参考图片可以是相同的。作为另一个示例，对于亮度编解码块和色度编解码块，帧内预测过程可以是相同的。
视频编码器200表示被配置为对视频数据进行编码的设备的示例，该设备包括被配置为存储视频数据的存储器，以及在电路中实施的一个或多个处理单元，该处理单元被配置为将ALF裁剪索引编解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值。换句话说，视频编码器200可以将ALF裁剪索引语法元素包括在比特流中，该比特流包括视频数据的编码表示，其中ALF裁剪索引语法元素被格式化为这些类型的数据之一。在一些示例中，ALF裁剪索引是亮度ALF裁剪索引(例如，alf_luma_clip_idx或另一语法元素)或色度ALF裁剪索引(例如，alf_chroma_clip_idx或另一语法元素)。此外，视频编码器200的处理单元可以基于ALF裁剪索引将ALF应用于视频数据的图片的块。例如，视频编码器200的滤波器单元216可以应用ALF。
图7是示出可以执行本公开的技术的示例视频解码器300的框图。图7是出于解释的目的而被提供的，并不限制本公开中广泛例示和描述的技术。出于解释的目的，本公开描述了根据VVC和HEVC的技术的视频解码器300。然而，本公开的技术可以由被配置为其他视频编解码标准的视频编解码设备来执行。
在图7的示例中，视频解码器300包括编解码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312和DPB 314中的任何一个或全部可以在一个或多个处理器或处理电路中实施。此外，视频解码器300可以包括附加的或替代的处理器或处理电路来执行这些和其他功能。
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调色板编解码单元、帧内块复制编解码单元(其可以形成运动补偿单元316的一部分)、仿射编解码单元、线性模型(LM)编解码单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
CPB存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如经编码的视频比特流。例如，存储在CPB存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。CPB存储器320可以包括存储来自经编码的视频比特流的经编码的视频数据(例如，语法元素)的CPB。此外，CPB存储器320可以存储除编解码的图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储经解码的图片，视频解码器300可以在解码经编码的视频比特流的后续数据或图片时，输出该经解码的图片和/或将其用作参考视频数据。CPB存储器320和DPB 314可以由各种存储器设备中的任何一种形成，诸如DRAM，包括SDRAM、MRAM、RRAM，或其他类型的存储器设备。CPB存储器320和DPB 314可以由同一存储器设备或者单独的存储器设备提供。在各种示例中，CPB存储器320可以与视频解码器300的其他组件一起在芯片上，或者相对于这些组件在芯片外。
附加地或替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索经编解码的视频数据。也就是说，存储器120可以如上所述利用CPB存储器320存储数据。类似地，当视频解码器300的一些或全部功能在将由视频解码器300的处理电路执行的软件中实施时，存储器120可以存储将由视频解码器300执行的指令。
图7所示的各种单元被示出以帮助理解由视频解码器300执行的操作。这些单元可以被实施为固定功能电路、可编程电路或其组合。类似于图6，固定功能电路指的是提供特定功能并预设在可以被执行的操作上的电路。可编程电路指的是可以被编程以执行各种任务并在可以被执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使得可编程电路以软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频解码器300可以包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。
熵解码单元302可以从CPB接收经编码的视频数据，并对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310和滤波器单元312可以基于从比特流提取的语法元素来生成经解码的视频数据。
通常，视频解码器300在逐块的基础上重建图片。视频解码器300可以对每个块单独地执行重建操作(其中当前正在重建的(即，解码的)块可以被称为“当前块”)。
熵解码单元302可以熵解码定义量化的变换系数块的量化的变换系数的语法元素，以及变换信息，诸如量化参数(QP)和/或(多个)变换模式指示。逆量化单元306可以使用与量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定逆量化单元306要应用的逆量化程度。例如，逆量化单元306可以执行逐比特左移操作来对量化的变换系数进行逆量化。逆量化单元306由此可以形成包括变换系数的变换系数块。
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对变换系数块应用逆DCT、逆整数变换、逆卡尔亨-洛夫变换(KLT)、逆旋转变换、逆方向变换或另一逆变换。
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从中检索参考块的DPB 314中的参考图片，以及标识参考图片中的参考块的位置相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以基本上类似于关于运动补偿单元224(图6)描述的方式来执行帧间预测过程。
作为另一个示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再者，帧内预测单元318通常可以以基本上类似于关于帧内预测单元226(图6)描述的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314检索当前块的相邻样点的数据。
重建单元310可以使用预测块和残差块来重建当前块。例如，重建单元310可以将残差块的样点加到预测块的对应样点，以重建当前块。
滤波器单元312可以对重建块执行一个或多个滤波操作。例如，滤波器单元312可以执行去方块操作以减少沿着重建块边缘的块效应伪影。滤波器单元312的操作不必在所有示例中被执行。根据本公开的示例，滤波器单元312可以基于被编解码为固定长度的无正负号整数的ALF裁剪索引，将ALF应用于视频数据的图片的块。
视频解码器300可以将重建块存储在DPB 314中。例如，在不执行滤波器单元312的操作的示例中，重建单元310可以将重建块存储到DPB 314。在执行滤波器单元312的操作的示例中，滤波器单元312可以将滤波后的重建块存储到DPB 314。如上所述，DPB 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片和用于后续运动补偿的先前解码的图片的样点。此外，视频解码器300可以输出来自DPB 314的经解码的图片，用于随后在显示设备上(例如，图1的显示设备118)呈现。
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及在电路中实施的一个或多个处理单元，该处理单元被配置为将ALF裁剪索引解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值。换句话说，视频解码器300可以从比特流中获得ALF裁剪索引语法元素，并将该ALF裁剪索引语法元素解释为这些类型的数据之一。在一些示例中，ALF裁剪索引是亮度ALF裁剪索引(例如，alf_luma_clip_idx或另一语法元素)或色度ALF裁剪索引(例如，alf_chroma_clip_idx或另一语法元素)。此外，视频解码器300的处理单元可以基于ALF裁剪索引，将ALF应用于视频数据的图片的块。例如，视频解码器300的滤波器单元312可以应用ALF。
图8是示出用于对当前块进行编码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频编码器200(图1和图6)进行了描述。应当理解，其他设备可以被配置为执行类似于图8的方法。
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始的、未编码的块与当前块的预测块之间的差。然后，视频编码器200可以变换和量化残差块的变换系数(354)。接下来，视频编码器200可以扫描残差块的量化的变换系数(356)。在扫描期间或扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC对变换系数进行编码。然后，视频编码器200可以输出块的经熵编码的数据(360)。
另外，在图8的示例中，为了支持后续块的预测，视频编码器200可以重建当前块(362)。例如，视频编码器200可以逆量化当前块的变换系数，对变换系数应用逆变换以生成残差数据，并将当前块的残差数据加到当前块的预测块。另外，视频编码器200可以将一个或多个滤波器应用于当前图片的重建块(364)。例如，视频编码器200可以将ALF应用于当前图片的重建块。根据本公开的技术，为了支持视频解码器300处的ALF的对应应用，视频编码器200可以对ALF裁剪索引进行编码。视频编码器200(例如，视频编码器200的滤波器单元216)可以基于ALF裁剪索引，将ALF应用于当前图片的块(例如，重建块)。根据本公开的技术，视频编码器200可以将ALF裁剪索引编解码为固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值。
图9是示出用于对视频数据的当前图片的当前块进行解码的示例方法的流程图。当前块可以包括当前CU。尽管关于视频解码器300(图1和图7)进行了描述，但是应当理解，其他设备可以被配置为执行类似于图9的方法。
视频解码器300可以接收当前块的熵编码数据，诸如对应于当前块的残差块的变换系数的熵编码预测信息和熵编码数据(370)。视频解码器300还可以在比特流中接收非熵编码数据。视频解码器300可以对熵编码数据进行熵解码，以确定当前块的预测信息，并再现残差块的变换系数(372)。视频解码器300可以预测当前块(374)，例如，使用由当前块的预测信息指示的帧内或帧间预测模式，以计算当前块的预测块。然后，视频解码器300可以逆扫描再现的变换系数(376)，以创建量化的变换系数的块。然后，视频解码器300(例如，逆量化单元306和逆变换处理单元308)可以逆量化和逆变换变换系数以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来解码当前块(380)。
另外，在图9的示例中，在组合预测块和残差块以重建当前块之后，视频解码器300(例如，视频解码器300的滤波器单元312)可以将一个或多个滤波器应用于当前图片的重建块(382)。例如，视频解码器300可以将ALF应用于当前图片的重建块。视频解码器300可以对ALF裁剪索引进行解码，并且基于该ALF裁剪索引，将ALF应用于当前图片的块(例如，重建块)。根据本公开的技术，视频解码器300可以将ALF裁剪索引解码为固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值。
图10是示出根据本公开的一种或多种技术对视频数据进行编解码的示例操作的流程图。在图10的示例中，视频编解码器(例如，视频编码器200或视频解码器300)可以将自适应环路滤波器(ALF)裁剪索引编解码(例如，编解码或解码)为固定长度的无正负号整数(400)。例如，当视频编解码器是诸如视频编码器200的视频编码器时，视频编码器可以通过将表示ALF裁剪索引的固定长度的无正负号整数包括在比特流中来编码ALF裁剪索引。在视频编解码器是诸如视频解码器300的视频解码器的示例中，视频解码器可以通过从比特流中解析表示ALF裁剪索引的固定长度的无正负号整数来解码ALF裁剪索引。
此外，在图10的示例中，视频编解码器可以基于ALF裁剪索引将ALF应用于视频数据的图片的块(402)。例如，视频编解码器可以使用ALF裁剪索引来查找或计算裁剪值(例如，-c(k，l)和c(k，l))的集合，例如，使用上面的等式(1’)或等式(1”)。然后，视频编解码器可以使用该裁剪值集合来对该块的重建样点应用ALF(例如，如上面的等式(1)所示)。视频编解码器可以应用ALF作为图8的动作364或图9的动作382的一部分。ALF裁剪索引可以是亮度ALF裁剪索引(例如，alf_luma_clip_idx)，在这种情况下，视频编解码器使用亮度ALF裁剪索引来确定用于将ALF应用于亮度样点的裁剪值。在一些示例中，ALF裁剪索引是亮度ALF裁剪索引，在这种情况下，视频编解码器使用亮度ALF裁剪索引(例如，alf_chroma_clip_idx)来确定用于将ALF应用于亮度样点的裁剪值。对图片的块(例如，4×4块)应用ALF可以包括确定该块的ALF滤波器系数，使用ALF裁剪索引来确定该块的至少一个样点的裁剪值，以及使用裁剪值和ALF滤波器系数，例如，如等式(1)中所述。
此外，在一些示例中，视频编解码器可以将亮度ALF裁剪索引编解码为第一固定长度的无正负号整数，并且可以将色度ALF裁剪索引编解码为第二固定长度的无正负号整数。在这样的示例中，视频编解码器可以基于亮度ALF剪裁索引将ALF应用于图片的亮度块，并且可以基于色度ALF剪裁索引将ALF应用于图片的色度块。
以下是根据本公开的一种或多种技术的示例的非限制性列表。
示例1.一种对视频数据进行编解码的方法，该方法包括：将自适应环路滤波器(ALF)裁剪索引编解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及基于ALF裁剪索引，将ALF滤波器应用于视频数据的图片的块。
示例2.如示例1的方法，其中，ALF裁剪索引是亮度ALF裁剪索引。
示例3.如示例1的方法，其中，ALF裁剪索引是色度ALF裁剪索引。
示例4.如示例1的方法，其中：ALF裁剪索引是亮度ALF裁剪索引，图片的块是亮度块，并且该方法还包括：将色度ALF裁剪索引编解码为以下之一：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值；以及基于该ALF裁剪索引，将ALF滤波器应用于视频数据的图片的色度块。
示例5.如示例4的方法，其中，亮度ALF裁剪索引和色度ALF裁剪索引被编解码为以下之中不同的值：固定长度的无正负号整数、截断二进制值、截断一元值或无正负号0阶Exp-Golomb编解码值。
示例6.如示例1-5中任一示例的方法，其中，对ALF裁剪索引进行编解码包括对ALF裁剪索引进行编解码，而不管ALF滤波器的对应滤波器系数的值如何。
示例7.如示例1-6中任一示例的方法，其中，编解码包括解码。
示例8.如示例1-6中任一示例的方法，其中，编解码包括编码。
示例9.一种用于对视频数据进行编解码的设备，该设备包括用于执行示例1-8中任一示例的方法的一个或多个部件。
示例10.如示例9的设备，其中，一个或多个部件包括在电路中实施的一个或多个处理器。
示例11.如示例9和10中任一示例的设备，还包括存储视频数据的存储器。
示例12.如示例9-11中任一示例的设备，还包括被配置为显示经解码的视频数据的显示器。
示例13.如示例9-12中任一示例的设备，其中，该设备包括照相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
示例14.如示例9-13中任一示例的设备，其中，该设备包括视频解码器。
示例15.如示例9-14中任一示例的设备，其中，该设备包括视频编码器。
示例16.一种其上存储有指令的计算机可读存储介质，该指令在被执行时，使得一个或多个处理器执行示例1-8中任一示例的方法。
示例17.一种用于对视频数据进行编解的设备，该设备包括用于执行示例1-8中任一示例的方法的部件。
示例18.一种其上存储有指令的计算机可读数据存储介质，该指令在被执行时，使得计算设备执行示例1-8中任一示例的方法。
应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件对于技术的实践都是必要的)。此外，在某些示例中，动作或事件可以被同时执行，例如，通过多线程处理、中断处理或多个处理器，而不是被顺序地执行。
在一个或多个示例中，所描述的功能可以在硬件、软件、固件或其任意组合中实施。如果在软件中实施，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过其传输，并由基于硬件的处理单元执行。计算机可读介质可以包括对应于诸如数据存储介质的有形介质的计算机可读存储介质，或者包括有助于(例如，根据通信协议)将计算机程序从一个地方传送到另一个地方的任何介质的通信介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一个或多个计算机或者一个或多个处理器访问以检索指令、代码和/或数据结构来实施本公开描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这种计算机可读存储介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储、或其他磁存储设备、闪存、或可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。此外，任何连接都被恰当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线路(DSL)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其他远程源传输指令，则同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时介质，而是针对非暂时的有形存储介质。本文使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能盘(DVD)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上的组合也应该包括在计算机可读介质的范围内。
指令可以由一个或多个处理器来执行，诸如一个或多个DSP、通用微处理器、ASIC、FPGA或其他等效的集成或分立逻辑电路。因此，本文使用的术语“处理器”和“处理电路”可以指前述结构中的任何一种或者适于实施本文描述的技术的任何其他结构。此外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块中被提供，或者被并入组合的编解码器中。此外，可以在一个或多个电路或逻辑元件中完全实施这些技术。
本公开的技术可以在多种设备或装置中实施，包括无线手机、集成电路(IC)或IC集(例如，芯片集)。在本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开的技术的设备的功能方面，但是不一定需要通过不同的硬件单元来实现。相反，如上所述，各种单元可以被组合在编解码器硬件单元中，或者由包括如上所述的一个或多个处理器的互操作硬件单元的集合结合合适的软件和/或固件来提供。
已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (37)

1.一种对视频数据进行编解码的方法，所述方法包括：
将自适应环路滤波器(ALF)裁剪索引编解码为固定长度的无正负号整数；以及
基于所述ALF裁剪索引，将ALF应用于所述视频数据的图片的块。
2.根据权利要求1所述的方法，其中，所述ALF裁剪索引是亮度ALF裁剪索引。
3.根据权利要求1所述的方法，其中，所述ALF裁剪索引是色度ALF裁剪索引。
4.根据权利要求1所述的方法，其中：
所述ALF裁剪索引是亮度ALF裁剪索引，并且所述图片的块是亮度块，以及
所述方法还包括：
将色度ALF裁剪索引编解码为固定长度的无正负号整数；以及
基于所述ALF裁剪索引，将所述ALF应用于所述图片的色度块。
5.根据权利要求1所述的方法，其中，对所述ALF裁剪索引进行编解码包括对所述ALF裁剪索引进行编解码而不管所述ALF的对应滤波器系数的值如何。
6.根据权利要求5所述的方法，其中，所述方法还包括确定所述ALF的对应滤波器系数等于0。
7.根据权利要求1所述的方法，其中，编解码包括解码。
8.根据权利要求6所述的方法，其中，对所述ALF裁剪索引进行编解码包括从包括所述视频数据的编码表示的比特流中解析所述固定长度的无正负号整数。
9.根据权利要求1所述的方法，其中，编解码包括编码。
10.根据权利要求9所述的方法，其中，对所述ALF裁剪索引进行编解码包括将所述固定长度的无正负号整数包括在比特流中，所述比特流包括所述视频数据的编码表示。
11.一种用于对视频数据进行编解码的设备，所述设备包括：
存储器，被配置为存储所述视频数据；以及
在电路中实施的一个或多个处理器，所述一个或多个处理器被配置为：
将自适应环路滤波器(ALF)裁剪索引编解码为固定长度的无正负号整数；以及
基于所述ALF裁剪索引，将ALF应用于所述视频数据的图片的块。
12.根据权利要求11所述的设备，其中，所述ALF裁剪索引是亮度ALF裁剪索引。
13.根据权利要求11所述的设备，其中，所述ALF裁剪索引是色度ALF裁剪索引。
14.根据权利要求11所述的设备，其中：
所述ALF裁剪索引是亮度ALF裁剪索引，并且所述图片的块是亮度块，以及
所述一个或多个处理器还被配置为：
将色度ALF裁剪索引编解码为固定长度的无正负号整数；以及
基于所述ALF裁剪索引，将所述ALF应用于所述图片的色度块。
15.根据权利要求11所述的设备，其中，所述一个或多个处理器被配置为使得，作为对所述ALF裁剪索引进行编解码的一部分，所述一个或多个处理器对所述ALF裁剪索引进行编解码而不管所述ALF的对应滤波器系数的值如何。
16.根据权利要求15所述的设备，其中，所述一个或多个处理器被配置为确定所述ALF的对应滤波器系数等于0。
17.根据权利要求11所述的设备，其中，为了对所述ALF裁剪索引进行编解码，所述一个或多个处理器被配置为从包括所述视频数据的编码表示的比特流中解析所述固定长度的无正负号整数。
18.根据权利要求11所述的设备，其中，为了对所述ALF裁剪索引进行编解码，所述一个或多个处理器被配置为将所述固定长度的无正负号整数包括在比特流中，所述比特流包括所述视频数据的编码表示。
19.根据权利要求11所述的设备，还包括被配置为显示经解码的视频数据的显示器。
20.根据权利要求11所述的设备，其中，所述设备包括照相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
21.根据权利要求11所述的设备，其中，所述设备包括视频解码器。
22.根据权利要求11所述的设备，其中，所述设备包括视频编码器。
23.一种用于对视频数据进行编解码的设备，所述设备包括：
用于将自适应环路滤波器(ALF)裁剪索引编解码为固定长度的无正负号整数的部件；以及
用于基于所述ALF裁剪索引将ALF应用于所述视频数据的图片的块的部件。
24.根据权利要求23所述的设备，其中，所述ALF裁剪索引是亮度ALF裁剪索引。
25.根据权利要求23所述的设备，其中，所述ALF裁剪索引是色度ALF裁剪索引。
26.根据权利要求23所述的设备，其中：
所述ALF裁剪索引是亮度ALF裁剪索引，并且所述图片的块是亮度块，以及
所述设备还包括：
用于将色度ALF裁剪索引编解码为固定长度的无正负号整数的部件；以及
用于基于所述ALF裁剪索引将所述ALF应用于所述图片的色度块的部件。
27.根据权利要求23所述的设备，其中，用于对所述ALF裁剪索引进行编解码的部件包括用于对所述ALF裁剪索引进行编解码而不管所述ALF的对应滤波器系数的值如何的部件。
28.根据权利要求27所述的设备，还包括用于确定所述ALF的对应滤波器系数等于0的部件。
29.根据权利要求23所述的设备，其中，用于编解码的部件包括用于从包括所述视频数据的编码表示的比特流中解析固定长度的无正负号整数的部件。
30.根据权利要求23所述的设备，其中，用于编解码的部件包括用于将所述固定长度的无正负号整数包括在比特流中的部件，所述比特流包括所述视频数据的编码表示。
31.一种其上存储有指令的计算机可读存储介质，所述指令在被执行时使得一个或多个处理器：
将自适应环路滤波器(ALF)裁剪索引编解码为固定长度的无正负号整数；以及
基于ALF裁剪索引，将ALF应用于视频数据的图片的块。
32.根据权利要求31所述的计算机可读存储介质，其中，所述ALF裁剪索引是亮度ALF裁剪索引。
33.根据权利要求31所述的计算机可读存储介质，其中，所述ALF裁剪索引是色度ALF裁剪索引。
34.根据权利要求31所述的计算机可读存储介质，其中：
所述ALF裁剪索引是亮度ALF裁剪索引，并且所述图片的块是亮度块，以及
所述指令的执行还使得一个或多个处理器：
将色度ALF裁剪索引编解码为固定长度的无正负号整数；以及
基于所述ALF裁剪索引，将所述ALF应用于所述图片的色度块。
35.根据权利要求31所述的计算机可读存储介质，其中，使得所述一个或多个处理器对所述ALF裁剪索引进行编解码的指令包括当被执行时使得所述一个或多个处理器对所述ALF裁剪索引进行编解码而不管所述ALF的对应滤波器系数的值如何的指令。
36.根据权利要求35所述的计算机可读存储介质，其中，所述指令的执行还使得所述一个或多个处理器确定所述ALF的对应滤波器系数等于0。
37.根据权利要求31所述的计算机可读存储介质，其中，使得所述一个或多个处理器对所述ALF裁剪索引进行编解码的指令包括使得所述一个或多个处理器从包括所述视频数据的编码表示的比特流中解析所述固定长度的无正负号整数的指令。
CN202080041761.5A 2019-06-11 2020-06-11 用于视频编解码中的自适应环路滤波器的裁剪索引编解码 Pending CN113940067A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962859948P 2019-06-11 2019-06-11
US62/859,948 2019-06-11
US16/897,049 US11418779B2 (en) 2019-06-11 2020-06-09 Clipping indices coding for adaptive loop filter in video coding
US16/897,049 2020-06-09
PCT/US2020/037217 WO2020252154A1 (en) 2019-06-11 2020-06-11 Clipping indices coding for adaptive loop filter in video coding

Publications (1)

Publication Number Publication Date
CN113940067A true CN113940067A (zh) 2022-01-14

Family

ID=73745318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080041761.5A Pending CN113940067A (zh) 2019-06-11 2020-06-11 用于视频编解码中的自适应环路滤波器的裁剪索引编解码

Country Status (14)

Country Link
US (1) US11418779B2 (zh)
EP (1) EP3984233A1 (zh)
KR (1) KR20220019236A (zh)
CN (1) CN113940067A (zh)
AU (1) AU2020292327A1 (zh)
BR (1) BR112021024316A2 (zh)
CA (1) CA3139825A1 (zh)
CL (1) CL2021003263A1 (zh)
CO (1) CO2021016628A2 (zh)
IL (1) IL287900A (zh)
MX (1) MX2021015404A (zh)
SG (1) SG11202112340YA (zh)
TW (1) TW202106013A (zh)
WO (1) WO2020252154A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220006113A (ko) * 2019-06-25 2022-01-14 에스지 디제이아이 테크놀러지 코., 엘티디 루프 필터링 방법 및 장치
WO2021145728A1 (ko) * 2020-01-15 2021-07-22 엘지전자 주식회사 인루프 필터링 기반 영상 코딩 장치 및 방법
US11838557B2 (en) * 2021-11-17 2023-12-05 Mediatek Inc. Methods and apparatuses of ALF derivation in video encoding system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置
CN105122798A (zh) * 2013-04-17 2015-12-02 高通股份有限公司 多层视频译码中的交叉层图片类型对准的指示
WO2018105579A1 (ja) * 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US20180192068A1 (en) * 2015-06-16 2018-07-05 Lg Electronics Inc. Method for encoding/decoding image and device for same
CN108605126A (zh) * 2016-02-15 2018-09-28 高通股份有限公司 从用于视频译码的固定滤波器预测滤波器系数
CN109417639A (zh) * 2016-05-13 2019-03-01 交互数字Vc控股公司 利用自适应裁剪的视频编码的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
US9456111B2 (en) 2010-06-15 2016-09-27 Mediatek Inc. System and method for content adaptive clipping
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
TW201517597A (zh) 2013-07-31 2015-05-01 Nokia Corp 用於視訊編碼及解碼之方法及裝置
US11477448B2 (en) 2019-01-25 2022-10-18 Hfi Innovation Inc. Method and apparatus for non-linear adaptive loop filtering in video coding
JP7319389B2 (ja) 2019-05-04 2023-08-01 華為技術有限公司 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102804776A (zh) * 2010-05-10 2012-11-28 联发科技股份有限公司 自适应回路滤波方法和装置
CN105122798A (zh) * 2013-04-17 2015-12-02 高通股份有限公司 多层视频译码中的交叉层图片类型对准的指示
US20180192068A1 (en) * 2015-06-16 2018-07-05 Lg Electronics Inc. Method for encoding/decoding image and device for same
CN108605126A (zh) * 2016-02-15 2018-09-28 高通股份有限公司 从用于视频译码的固定滤波器预测滤波器系数
CN109417639A (zh) * 2016-05-13 2019-03-01 交互数字Vc控股公司 利用自适应裁剪的视频编码的方法和设备
WO2018105579A1 (ja) * 2016-12-09 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANG, Y-L ET AL.: "TE10 subtest 3: Contrlled clipping", 3. JCT-VC MEETING; 94. MPEG MEETING; 7-10-2010 - 15-10-2010; GUANGZHOU; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16; NO. JCTVC-C146), 15 October 2010 (2010-10-15), pages 2 - 3 *
TAQUET(CANON) J ET AL.: "CE5: Results of tests CE5-3.1, CE5-3.2, CE5-3.3 and CE5-3.4 on Non-Linear Adaptive Loop Filter", 14. JVET MEETING; 20190319-20190327; GENEVA; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16), NO. JVET-N0242, 27 March 2019 (2019-03-27), pages 2 *

Also Published As

Publication number Publication date
CL2021003263A1 (es) 2023-01-20
US20200396452A1 (en) 2020-12-17
KR20220019236A (ko) 2022-02-16
WO2020252154A1 (en) 2020-12-17
TW202106013A (zh) 2021-02-01
JP2022537662A (ja) 2022-08-29
US11418779B2 (en) 2022-08-16
BR112021024316A2 (pt) 2022-01-11
SG11202112340YA (en) 2021-12-30
CA3139825A1 (en) 2020-12-17
AU2020292327A1 (en) 2021-12-16
EP3984233A1 (en) 2022-04-20
CO2021016628A2 (es) 2022-01-17
MX2021015404A (es) 2022-01-24
IL287900A (en) 2022-01-01

Similar Documents

Publication Publication Date Title
US11019334B2 (en) Multiple adaptive loop filter sets for video coding
US11677984B2 (en) Low-frequency non-separable transform (LFNST) signaling
US11128866B2 (en) Scans and last coefficient position coding for zero-out transforms
US20200314423A1 (en) Fixed filters with non-linear adaptive loop filter in video coding
US11277611B2 (en) Delta quantization parameter (QP) signaling in palette mode
US11277618B2 (en) Increasing decoding throughput of intra-coded blocks
US20220109860A1 (en) Joint-component neural network based filtering during video coding
CN113728650A (zh) 自适应环路滤波器集合索引信令
US11632540B2 (en) Reference picture scaling ratios for reference picture resampling in video coding
US10999596B2 (en) Unification of affine motion field derivation and affine motion compensation
US20210014515A1 (en) Memory constraint for adaptation parameter sets for video coding
US11418779B2 (en) Clipping indices coding for adaptive loop filter in video coding
CN113875258A (zh) 视频编解码中用于变换跳过模式的系数编解码
US11172200B2 (en) Intra-prediction mode for screen content coding of video coding
US10992937B2 (en) Coefficient coding with grouped bypass bins
CN114402620A (zh) 用于视频编解码的交叉分量自适应环路滤波的比特移位
US20210203963A1 (en) Equation-based rice parameter derivation for regular transform coefficients in video coding
CN111713106A (zh) 用信号发送360度视频信息
US11863787B2 (en) Maximum allowed block size for BDPCM mode
US20210314567A1 (en) Block partitioning for image and video coding
US20210297685A1 (en) Coefficient coding of transform skip blocks in video coding
US11496745B2 (en) Binarization in transform skip residual coding
US11303904B2 (en) Rectangular block transform scaling
JP7494218B2 (ja) ビデオエンコーディングにおける適応ループフィルタのためのクリッピングインデックスコード化
US20230010869A1 (en) Signaled adaptive loop filter with multiple classifiers in video coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40067722

Country of ref document: HK