CN113812157A - 用于视频译码的基于置零模式的低频不可分离变换信号通知 - Google Patents

用于视频译码的基于置零模式的低频不可分离变换信号通知 Download PDF

Info

Publication number
CN113812157A
CN113812157A CN202080034606.0A CN202080034606A CN113812157A CN 113812157 A CN113812157 A CN 113812157A CN 202080034606 A CN202080034606 A CN 202080034606A CN 113812157 A CN113812157 A CN 113812157A
Authority
CN
China
Prior art keywords
lfnst
transform block
block
transform
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080034606.0A
Other languages
English (en)
Inventor
H·E·埃伊尔梅茨
V·谢廖金
M·Z·科班
M·卡切夫维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN113812157A publication Critical patent/CN113812157A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

一种视频解码器被配置为确定视频数据的变换块中的最后有效系数的位置。视频解码器可接着基于相对于变换块的置零区域的所述最后有效系数的所述位置来确定用于变换块的低频不可分离变换(LFNST)索引的值，其中，变换块的置零区域包括变换块的在LFNST区域内的第一区域和变换块的在LFNST区域外的第二区域两者。视频解码器可接着根据LFNST索引的值来对变换块进行逆变换。

Description

用于视频译码的基于置零模式的低频不可分离变换信号通知
本申请要求享有于2020年5月13日提交的美国专利申请No.15/931,271的优先权，该申请要求享有于2019年5月17日提交的美国临时申请No.62/849,689的权益，其中每个申请的全部内容通过引用的方式合并于此。
技术领域
本公开内容涉及视频编码和视频解码。
背景技术
数字视频功能可以结合到各种设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(PDA)、膝上型电脑或台式计算机、平板电脑、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实施视频译码技术，诸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4、第10部分、高级视频译码(AVC)、ITU-T H.265/高效视频译码(HEVC)定义的标准以及此类标准的扩展中描述的那些技术。通过实施这样的视频译码技术，视频设备可以更有效地传送、接收、编码、解码和/或存储数字视频信息。
视频译码技术包括空间(帧内)预测和/或时间(帧间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频译码，可以将视频片段(例如，视频图片或视频图片的一部分)划分为视频块，这些视频块也可以称为译码树单元(CTU)、译码单元(CU)和/或译码节点。图片的帧内译码(I)片段中的视频块是使用空间预测相对于同一图片中相邻块中的参考样本来进行编码的。图片的帧间译码(P或B)片段中的视频块可使用相对于同一图片中相邻块中参考样本的空间预测，或相对于其他参考图片中参考样本的时间预测。可以将图片被称帧，并且可以将参考图片称为参考帧。
发明内容
总体而言，本公开内容描述用于变换译码的技术，变换译码是现代视频压缩标准的基本要素(M.Wien的High Efficiency Video Coding:Coding Tools andSpecification，Springer-Verlag，Berlin，2015)。本公开内容的技术包括可在视频编解码器中使用来指定在多个变换候选中被选择以用于解码的变换的各种变换信号通知方法。具体而言，本公开内容描述用于从多个值中推断低频不可分离变换(LFNST)索引的值的技术。推断表示在没有在经编码视频比特流中接收到指示所述值的语法元素的情况下从多个值当中确定所述值。
LFNST索引的值指示是否将LFNST应用于变换块，以及当应用时，指示要应用的LFNST的类型。LFNST是应用于变换块的LFNST区域的不可分离的变换。LFNST区域可以是变换块的变换系数的子集，并且可以包括变换块的低频分量(例如，变换块的左上角)。在一些应用中，当应用LFNST时，将LFNST区域内的某些变换系数设置为零(例如，置零(zeroed-out))。另外，还可以将变换块中在LFNST区域之外的变换系数置零。
在确定用于变换块的LFNST索引的值之前，视频解码器可被配置为确定变换块中的最后有效系数的位置。当根据扫描顺序对变换块的变换系数进行排序/扫描时，变换块中的最后有效系数可以指的是变换块的最后非零变换系数。例如，视频解码器可接收并解码指示沿着预定扫描顺序的最后有效(即，非零)系数的位置(例如，变换块中的X和Y坐标)的语法元素。在最后有效系数的位置被确定为处于变换块中如果视频编码器应用LFNST则会被置零的部分中(在LFNST区域中或在LFNST区域外部)的情况下，视频解码器可推断LNFST索引的值为零(即，不应用LFNST)。即，在视频解码器确定在变换块中如果应用LFNST则会被置零(例如，变换系数将具有零值)的位置中存在非零系数的情况下，其可以确定不应用LFNST。
以此方式，在最后有效系数的位置在变换块中如果应用LFNST则会被置零的部分中(在LFNST区域中或在LFNST区域外部)的情况下，视频编码器不需要生成和发信号通知指示LFNST索引的值的语法元素。因此，可以减少信号通知开销，并且可以提高译码效率。由于本公开内容所提出的技术可减少信号通知开销，因此本公开内容的技术可提高译码效率且可用于使用LFNST的高级视频编解码器中，包括HEVC的扩展和诸如通用视频译码(VVC)或H.266的下一代视频译码标准。
在一个示例中，本公开内容描述了一种对视频数据进行解码的方法，所述方法包括：确定视频数据的变换块中的最后有效系数的位置；基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系，来确定用于所述变换块的LFNST索引的值，其中，所述变换块的所述置零区域包括在所述变换块的LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及根据所述LFNST索引的值来对所述变换块进行逆变换。
在另一示例中，本公开内容描述了一种被配置为对视频数据进行解码的装置，所述装置包括：存储器，其被配置为存储视频数据的变换块；以及一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置为：确定视频数据的变换块中的最后有效系数的位置基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系来确定用于所述变换块的LFNST索引的值，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及根据所述LFNST索引的值来对所述变换块进行逆变换。
在另一示例中，本公开内容描述一种被配置为对视频数据进行解码的装置，所述装置包括：用于确定视频数据的变换块中的最后有效系数的位置的单元；用于基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系来确定用于所述变换块的LFNST索引的值的单元，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及用于根据所述LFNST索引的值来对所述变换块进行逆变换的单元。
在另一示例中，本公开内容描述一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使被配置为对视频数据进行解码的一个或多个处理器：确定视频数据的变换块中的最后有效系数的位置基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系来确定所述变换块的LFNST索引的值，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及根据所述LFNST索引的值来对所述变换块进行逆变换。
在附图和以下说明中阐述了一个或多个示例细节。依据说明书、附图和权利要求书，其他特征、目的和优点将是显而易见的。
附图说明
图1是示出可以执行本公开内容的技术的示例性视频编码和解码系统的方框图。
图2A和图2B是示出示例性四叉树二叉树(QTBT)结构以及对应的译码树单元(CTU)的概念图。
图3是示出可以执行本公开内容的技术的示例性视频编码器的方框图。
图4是示出可以执行本公开内容的技术的示例性视频解码器的方框图。
图5是示出编码器和解码器处的示例性低频不可分离变换(LFNST)的方框图。
图6是示出在将LFNST应用于具有置零的变换块之后获得的变换系数的概念图。
图7是示出在将LFNST应用于无置零的变换块之后获得的变换系数的概念图。
图8是示出在将示例性LFNST应用于具有置零的变换块之后获得的变换系数的概念图。
图9是示出在将示例性LFNST应用于无置零的变换块之后获得的变换系数的概念图。
图10是示出本公开内容的示例性编码方法的流程图。
图11是示出本公开内容的示例性解码方法的流程图。
图12是示出本公开内容的另一示例性解码方法的流程图。
具体实施方式
本公开内容的技术包括可在视频编解码器中使用以指定在多个变换候选中被选择以用于解码的变换的各种变换信号通知方法。更具体而言，本公开内容描述用于推断低频不可分离变换(LFNST)索引的值的技术。推断表示在没有在经编码视频比特流中接收到指示所述值的语法元素的情况下确定所述值。
LFNST索引的值指示是否将LFNST应用于变换块，以及当应用时，指示要应用的LFNST的类型。LFNST是应用于变换块的LFNST区域的不可分离变换。LFNST区域可以是变换块的变换系数的子集，并且可以包括变换块的低频分量(例如，变换块的左上角)。在一些应用中，当应用LFNST时，将LFNST区域内的某些变换系数设置为零(例如，置零)。另外，还可以将变换块中在LFNST区域之外的变换系数置零。
在确定用于变换块的LFNST索引的值之前，视频解码器可被配置为确定变换块中的最后有效系数的位置。例如，视频解码器可接收并解码指示沿着预定扫描顺序的最后有效(即，非零)系数的位置(例如，变换块中的X和Y坐标)的语法元素。在最后有效系数的位置被确定为处于变换块中如果视频编码器应用LFNST则会被置零的部分中(在LFNST区域中或在LFNST区域外部)的情况下，则视频解码器可推断LNFST索引的值为零(即，不应用LFNST)。即，在视频解码器确定在变换块中如果应用LFNST则会被置零(例如，变换系数将具有零值)的位置中存在非零系数的情况下，其可以确定不应用LFNST。
以此方式，在最后有效系数的位置在变换块中如果应用LFNST则会被置零的部分中(在LFNST区域中或在LFNST区域外部)的情况下，视频编码器不需要生成和发信号通知指示LFNST索引的值的语法元素。因此，可以减少信号通知开销，并且可以提高译码效率。
图1是示出可以执行本公开内容的技术的示例性视频编码和解码系统100的方框图。本公开内容的技术总体上针对对视频数据进行译码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编码的视频、编码的视频、解码的(例如，重构的)视频以及视频元数据(诸如信号通知数据)。
如图1所示，在该示例中，系统100包括源设备102，该源设备102提供将由目的地设备116解码和显示的编码视频数据。特别地，源设备102借助计算机可读介质110将视频数据提供给目的地设备116。源设备102和目的地设备116可以包括各种设备中的任何设备，包括台式计算机、笔记本(即膝上型)电脑、平板电脑、机顶盒、电话手机(诸如智能电话)、电视、相机、显示设备、数字媒体播放器、视频游戏机、视频流媒体设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，并且因此可以被称为无线通信设备。
在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开内容，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于变换译码的技术。因此，源设备102代表视频编码设备的示例，而目的地设备116代表视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或布置。例如，源设备102可以从诸如外部摄像机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成显示设备。
如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于变换译码的技术。源设备102和目的地设备116仅仅是这样的译码设备的示例，其中，源设备102生成译码的视频数据以传输到目的地设备116。本公开内容将“译码”设备称为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备的示例，具体地是视频编码器和视频解码器。在一些示例中，源设备102和目的地设备116可以以基本上对称的方式操作，使得源设备102和目的地设备116中的每个包括视频编码和解码组件。因此，系统100可以支持源设备102和目的地设备116之间的单向或双向视频传输，例如，用于视频流传输、视频回放、视频广播或视频电话。
通常，视频源104代表视频数据的源(即原始未编码的视频数据)，并将视频数据的图片(也称为“帧”)的序列提供给视频编码器200，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备(诸如摄像机)，包含先前捕获的原始视频的视频档案、和/或用以从视频内容提供商接收视频的视频馈送接口。作为另一替代，视频源104可以生成基于计算机图形的数据作为源视频，或者是实时视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对所捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收顺序(有时称为“显示顺序”)重新排列为用于编码的译码顺序。视频编码器200可以生成包括编码视频数据的比特流。然后，源设备102可以经由输出接口108将编码视频数据输出到计算机可读介质110上，以通过例如目的地设备116的输入接口122进行接收和/或提取。
源设备102的存储器106和目的地设备116的存储器120代表通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的已解码的视频数据。另外或可替代地，存储器106、120可以存储可由例如视频编码器200和视频解码器300分别执行的软件指令。尽管在该示例中存储器106、120与视频编码器200和视频解码器300分开显示，但应理解，视频编码器200和视频解码器300还可包括内部存储器，以实现功能上相似或等效的目的。此外，存储器106、120可存储例如从视频编码器200输出并输入到视频解码器300的编码视频数据。在一些示例中，可以将存储器106、120的组成部分分配为一个或多个视频缓冲器，例如，用以存储原始的、解码的和/或编码的视频数据。
计算机可读介质110可以代表能够将编码视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110代表用于使源设备102能够实时地例如经由射频网络或基于计算机的网络将编码视频数据直接发送到目的地设备116的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以调制包括编码视频数据的传输信号，并且输入接口122可以对接收到的传输信号进行解调。通信介质可以包括任何无线或有线通信介质，诸如射频(RF)频谱或一条或多条物理传输线。通信介质可以形成诸如局域网、广域网的基于分组的网络或诸如互联网的全球网络的部分。通信介质可以包括路由器、交换机、基站或任何其他可用于促进从源设备102到目的地设备116的通信的设备。
在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目的地设备116可以经由输入接口122从存储设备112访问编码的数据。存储设备112可以包括多种分布式或本地访问的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器，或任何其他合适的用于存储编码视频数据的数字存储介质。
在一些示例中，源设备102可以将编码视频数据输出到文件服务器114或可以存储由源设备102生成的编码视频数据的另一中间存储设备。目的地设备116可以借助流传输或下载来访问文件服务器114中所存储的视频数据。文件服务器114可以是能够存储编码视频数据并将该编码视频数据发送到目的地设备116的任何类型的服务器设备。文件服务器114可以代表网络服务器(例如，用于网站)，文件传输协议(FTP)服务器，内容交付网络设备或网络附加存储(NAS)设备。目的地设备116可以通过包括互联网连接在内的任何标准数据连接来访问文件服务器114中的编码视频数据。这可以包括适合访问存储在文件服务器114上的编码视频数据的无线信道(例如Wi-Fi连接)、有线连接(例如数字订户线(DSL)、电缆调制解调器等)或两者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或其组合进行操作。
输出接口108和输入接口122可以代表无线发射机/接收机、调制解调器、有线联网组件(例如，以太网卡)、根据各种IEEE 802.11标准中的任何一个进行操作的无线通信组件，或者其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4G、4G-LTE(长期演进)、LTE Advanced、5G等的蜂窝通信标准来传送数据(诸如编码视频数据)。在输出接口108和输入接口122包括无线发射机和/或无线接收机的一些示例中，输出接口108和输入接口122可以配置为根据其他无线标准(诸如IEEE 802.11规范、IEEE 802.15规范(例如ZigBeeTM)、蓝牙TM标准等)来传送数据(诸如编码视频数据)。在一些示例中，源设备102和/或目的地设备116可以包括各自的片上系统(SoC)设备。例如，源设备102可以包括SoC设备以执行归属于视频编码器200和/或输出接口108的功能，并且目的地设备116可以包括SoC设备以执行归属于视频解码器300和/或输入接口122的功能。
本公开内容的技术可以应用于支持各种多媒体应用中的任何一种的视频译码，这些多媒体应用诸如空中电视广播、有线电视传输、卫星电视传输、互联网流视频传输(诸如通过HTTP的动态自适应流传输(DASH))、编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频进行解码、或其他应用。
目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码视频比特流。编码视频比特流可以包括由视频编码器200定义的信号通知信息，其也由视频解码器300使用，诸如具有描述视频块或其他译码单元(例如，片段、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示已解码视频数据的已解码图片。显示设备118可以代表多种显示设备中的任何一种，诸如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示设备。
尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的MUX-DEMUX单元或其他硬件和/或软件，以处理通用数据流中的包括音频和视频两者的复用流。如果适用，MUX-DEMUX单元可以符合ITU H.223多路复用器协议或其他协议，诸如用户数据报协议(UDP)。
视频编码器200和视频解码器300可以各自实现为各种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、分立逻辑、软件、硬件、固件或其任何组合。当部分地以软件实施这些技术时，设备可将用于软件的指令存储在合适的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本公开内容的技术。可以将视频编码器200和视频解码器300中的每一个包括在一个或多个编码器或解码器中，其中的任何一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的组成部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备(诸如蜂窝电话)。
视频编码器200和视频解码器300可以根据视频译码标准(诸如ITU-T H.265，也称为高效视频译码(HEVC)或其扩展(诸如多视图和/或可缩放视频译码扩展))进行操作。可替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准(诸如联合探索测试模型(JEM)或ITU-TH.266，也称为多功能视频译码(VVC)标准)进行操作。VVC标准的草案在Bross等人的“多功能视频译码(草案5)”，ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的联合视频专家组(JVET)，第14会议，瑞士日内瓦，2019年3月19-27日，JVET-N1001-v5(下文称“VVC草案5”)中描述。然而，本公开内容的技术不限于任何特定的译码标准。
通常，视频编码器200和视频解码器300可以执行对图片的基于块的译码。术语“块”通常是指包括要处理(例如，在编码和/或解码过程中的编码、解码或以其他方式使用)的数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y、Cb、Cr)格式表示的视频数据进行译码。即，不是对图片的样本的红色、绿色和蓝色(RGB)数据进行译码，而是视频编码器200和视频解码器300可以对亮度和色度分量进行译码，其中色度分量可以包括红色调和蓝色调色度分量。在一些示例中，视频编码器200在编码之前将接收到的RGB格式的数据转换成YUV表示，并且视频解码器300将YUV表示转换成RGB格式。可替代地，预处理和后处理单元(未示出)可以执行这些转换。
本公开内容通常可以涉及对图片的译码(例如，编码和解码)以包括对图片的数据进行编码或解码的过程。类似地，本公开内容可以涉及对图片的块的译码以包括对块的数据进行编码或解码的过程，例如，预测和/或残差译码。编码视频比特流通常包括用于语法元素的一系列值，这些语法元素表示译码决策(例如，译码模式)以及图片到块的划分。因此，提及到对图片或块进行语法元素，通常应被理解为对用于形成图片或块的语法元素的值进行译码。
HEVC定义各种块，包括译码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频译码器(诸如，视频编码器200)根据四叉树结构将译码树单元(CTU)划分为CU。即，视频译码器将CTU和CU划分为四个相等的不重叠的正方形，并且四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或多个PU和/或一个或多个TU。视频译码器可进一步划分PU和TU。例如，在HEVC中，残差四叉树(RQT)代表对TU的划分。在HEVC中，PU代表帧间预测数据，而TU代表残差数据。被帧内预测的CU包括帧内预测信息，诸如帧内模式指示。
作为另一个示例，视频编码器200和视频解码器300可以被配置为根据VVC进行操作。根据VVC，视频译码器(诸如，视频编码器200)将图片划分为多个译码树单元(CTU)。视频编码器200可根据诸如四叉树-二叉树(QTBT)结构或或多型式树(MTT)结构的树结构来划分CTU。QTBT结构消除了多个划分类型的概念，诸如HEVC的CU、PU和TU之间的分隔。QTBT结构包括两个级别：根据四叉树划分而划分的第一级，以及根据二叉树划分而划分的第二级。QTBT结构的根节点对应于CTU。二叉树的叶节点对应于译码单元(CU)。
在MTT划分结构中，可以使用四叉树(QT)划分、二叉树(BT)划分和/或一种或多种类型的三叉树(TT)(也称为三元树(TT))划分来对块进行划分。三叉树或三元树划分是用于将块分成三个子块的划分。在一些示例中，三叉树或三元树划分在不通过中心来划分原始块的情况下将块分成三个子块。MTT中的划分类型(例如QT、BT和TT)可以是对称的或不对称的。
在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT或MTT结构来表示亮度分量和色度分量中的每个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT或MTT结构，诸如用于亮度分量的一个QTBT/MTT结构和用于两个色度分量的另一个QTBT/MTT结构(或用于各个色度分量的两个QTBT/MTT结构)。
视频编码器200和视频解码器300可以被配置为使用按照HEVC的四叉树划分、QTBT划分、MTT划分或其他划分结构。为了说明的目的，相对于QTBT划分给出了本公开内容的技术的描述。然而，应理解，本公开内容的技术还可应用于被配置为使用四叉树划分、MTT划分或其他类型的划分的视频译码器。
在一些示例中，CTU包括：亮度样本的译码树块(CTB)、具有三个样本阵列的图片的色度样本的两个对应CTB，或单色图片或使用用于对样本进行译码的三个单独颜色平面和语法结构译码的图片的样本的CTB。CTB可以是某个N值的NxN的样本块，使得将分量分成CTB是划分。分量是来自以4:2:0、4:2:2或4:4:4颜色格式构成图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或者是以单色格式构成图片的样本阵列的阵列或单个样本。在一些示例中，译码块是某些M和N值的M×N样本块，使得将CTB分成为译码块是划分。
在图片中可以各种方式对块(例如，CTU或CU)进行分组。作为一个示例，区块(brick)可以指图片中的特定图块内的CTU行的矩形区域。图块(tile)可以是图片中的特定图块列和特定图块行内的CTU的矩形区域。图块列指代具有等于图片高度的高度和由语法元素指定的宽度(例如，诸如在图片参数集中)的CTU的矩形区域。图块行指代具有由语法元素指定的高度(例如，诸如在图片参数集中)和等于图片宽度的宽度的CTU的矩形区域。
在一些示例中，可以将图块划分为多个区块，每个区块可以包括该图块内的一个或多个CTU行。未被划分成多个区块的图块也可以被称为区块。然而，作为图块的真子集的区块不可以被称为图块。
图片中的区块也可以被布置在切片(slice)中。切片可为图片中排他地包含于单个网络抽象层(NAL)单元中的整数数量个区块。在一些示例中，切片包括多个完整的图块或者仅包括一个图块的完整区块的连续序列。
本公开内容可互换地使用“N×N”和“N乘N”来指代按照垂直和水平尺寸的块(例如CU或其他视频块)的样本尺寸，例如16×16样本或16乘16样本。通常，16×16CU在垂直方向上具有16个样本(y＝16)，在水平方向上具有16个样本(x＝16)。同样，N×N CU通常在垂直方向上具有N个样本，在水平方向上具有N个样本，其中N表示非负整数值。CU中的样本可以按行和列排列。此外，CU在水平方向上不必具有与垂直方向上相同数量的样本。例如，CU可包括N×M个样本，其中M不一定等于N。
视频编码器200对表示预测信息和/或残差信息的CU的视频数据以及其他信息进行编码。预测信息指示将如何预测CU以便形成用于CU的预测块。残差信息通常表示编码之前的CU样本与预测块之间的逐样本差。
为了预测CU，视频编码器200通常可通过帧间预测或帧内预测来形成用于CU的预测块。帧间预测通常是指根据先前译码的图片的数据来预测CU，而帧内预测通常是指根据同一图片中的先前译码的数据来预测CU。为了执行帧间预测，视频编码器200可使用一个或多个运动向量来生成预测块。视频编码器200通常可以例如按照CU与参考块之间的差来执行运动搜索以识别与CU紧密匹配的参考块。视频编码器200可使用绝对差之和(SAD)，平方差之和(SSD)，平均绝对差(MAD)，均方差(MSD)或其他此类差值计算来计算差值度量，以确定参考块是否与当前CU紧密匹配。在一些示例中，视频编码器200可使用单向预测或双向预测来预测当前CU。
VVC的一些示例还提供了仿射运动补偿模式，可以将其视为帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(例如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动向量。
为了执行帧内预测，视频编码器200可选择一种帧内预测模式以生成预测块。VVC的一些示例提供了67种帧内预测模式，包括各种定向模式，以及平面模式和DC模式。通常，视频编码器200选择一种帧内预测模式，帧内预测模式描述用于从中预测当前块(例如，CU的块)的样本的当前块的相邻样本。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对CTU和CU进行译码，则此类样本通常可以在与当前块相同的图片中当前块的上方、左上方或左侧)。
视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用各种可用帧间预测模式中的哪一个的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动向量预测(AMVP)模式或合并模式来对运动向量进行编码。视频编码器200可以使用类似模式来对用于仿射运动补偿模式的运动向量进行编码。
在预测(诸如块的帧内预测或帧间预测)之后，视频编码器200可计算该块的残差数据。残差数据(诸如残差块)表示该块与使用相应预测模式形成的该块的预测块之间的逐样本差。视频编码器200可将一个或多个变换应用于残差块，以在变换域而非样本域中产生经变换的数据。例如，视频编码器200可将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可在第一变换之后应用次级变换，诸如，与模式相关的不可分离的次级变换(MDNSST)、与信号相关的变换、Karhunen-Loeve变换(KLT)、等等。视频编码器200在应用一个或多个变换之后产生变换系数。
如上所述，在用以产生变换系数的任何变换之后，视频编码器200可执行对变换系数的量化。量化通常是指对变换系数进行量化以可能地减少用于表示变换系数的数据量从而提供进一步压缩的过程。通过执行量化过程，视频编码器200可减小与一些或所有变换系数相关联的比特深度。例如，视频编码器200可在量化期间将n-比特值舍入为m-比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可执行对待量化的值的按位右移。
在量化之后，视频编码器200可扫描变换系数，从而从包括经量化的变换系数的二维矩阵产生一维向量。可以将该扫描设计为将较高能量(因此较低频率)的变换系数放置在向量的前面，并将较低能量(因此较高频率)的变换系数放置在向量的后面。在一些示例中，视频编码器200可利用预定义的扫描顺序来扫描经量化的变换系数以产生串行化的向量，然后对向量中的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描了经量化的变换系数以形成一维向量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(CABAC)对一维向量进行熵编码。视频编码器200还可对语法元素的值进行熵编码，所述语法元素描述与编码视频数据相关联的元数据，以供视频解码器300在对视频数据进行解码时使用。
为了执行CABAC，视频编码器200可将上下文模型内的上下文分配给要发送的符号。所述上下文可以涉及例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
视频编码器200还可以例如在图片报头、块报头、片段报头中，向视频解码器300生成语法数据，诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据，或其他语法数据，诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)。视频解码器300可类似地解码此类语法数据以确定如何对对应的视频数据进行解码。
以此方式，视频编码器200可以生成包括编码视频数据的比特流，所述编码视频数据例如描述将图片划分为块(例如，CU)的语法元素以及块的预测信息和/或残差信息。最终，视频解码器300可以接收比特流并对编码视频数据进行解码。
通常，视频解码器300执行视频编码器200所执行的过程的互逆过程以对比特流中的编码视频数据进行解码。例如，视频解码器300可使用CABAC以与视频编码器200的CABAC编码过程虽然互逆但基本相似的方式来对比特流中的语法元素的值进行解码。语法元素可以定义划分信息，所述划分信息用于将图片划分成CTU，根据相应的划分结构(诸如QTBT结构)划分每个CTU以定义CTU的CU。语法元素可进一步定义用于视频数据的块(例如，CU)的预测信息和残差信息。
残差信息可以由例如经量化的变换系数表示。视频解码器300可对块的经量化的变换系数进行逆量化和逆变换以再现该块的残差块。视频解码器300使用用信号通知的预测模式(帧内预测或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成用于该块的预测块。视频解码器300然后可以组合预测块和残差块(在逐样本的基础上)以再现原始块。视频解码器300可执行附加处理，诸如执行去块处理以减少沿块的边界的视觉伪像。
根据本公开内容的技术，视频编码器200和视频解码器300可被配置为：基于视频数据块中的被规范定义的零系数的模式，不发信号通知/推断低频不可分离变换索引或标志的值以及根据低频不可分离变换索引或标志来变换视频数据块。例如，视频解码器300可被配置为：确定视频数据的变换块中的最后有效系数的位置，基于最后有效系数的位置与变换块的置零区域的相对关系来确定用于变换块的LFNST索引的值，其中，变换块的置零区域包括变换块的在LFNST区域内的第一区域和变换块的在LFNST区域外的第二区域两者，以及根据LFNST索引的值来对变换块进行逆变换。
本公开内容通常可以提及“发信号通知(signaling)”某些信息，诸如语法元素。术语“发信号通知”通常可以指代对语法元素的值和/或用于对编码视频数据进行解码的其他数据的通信。即，视频编码器200可以在比特流中发信号通知语法元素的值。通常，发信号通知是指在比特流中生成值。如上所述，源设备102可以基本上实时地或非实时地(诸如在将语法元素存储到存储设备112以供稍后由目的地设备116提取时可能发生)将比特流传输到目的地设备116。
图2A和图2B是示出示例性四叉树二叉树(QTBT)结构130以及对应的译码树单元(CTU)132的概念图。实线表示四叉树拆分，而虚线表示二叉树拆分。在二叉树的每个拆分(即非叶)节点中，发信号通知一个标志以指示使用哪种拆分类型(即，水平或垂直)，在该示例中，0表示水平拆分，而1表示垂直拆分。对于四叉树拆分，由于四叉树节点将一个块水平和垂直拆分为大小相等的4个子块，因此无需指示拆分类型。因此，视频编码器200可以编码并且视频解码器300可以解码用于QTBT结构130的区域树级别(即，实线)的语法元素(诸如，拆分信息)和QTBT结构130的预测树级别(例如，虚线)的语法元素(诸如，拆分信息)。视频编码器200可以编码并且视频解码器300可以解码用于由QTBT结构130的终端叶节点表示的CU的视频数据，诸如预测数据和变换数据。
一般而言，图2B的CTU 132可以与定义与第一和第二级处的QTBT结构130的节点相对应的块大小的参数相关联。这些参数可以包括CTU大小(以样本为单位表示CTU 132的大小)、最小四叉树大小(MinQTSize，表示允许的最小四叉树叶节点大小)、最大二叉树大小(MaxBTSize，表示允许的最大二叉树根节点大小)、最大二叉树深度(MaxBTDepth，表示允许的最大二叉树深度)和最小二叉树大小(MinBTSize，表示允许的最小二叉树叶节点大小)。
与CTU相对应的QTBT结构的根节点可以在QTBT结构的第一级处具有四个子节点，每个子节点可以根据四叉树划分来划分。即，第一级的节点是叶节点(没有子节点)或具有四个子节点。QTBT结构130的示例将这样的节点表示为包括具有用于分支的实线的父节点和子节点。如果第一级的节点不大于允许的最大二叉树根节点大小(MaxBTSize)，则可以通过相应的二叉树进一步对其进行划分。可以迭代对一个节点的二叉树拆分，直到拆分产生的节点达到允许的最小二叉树叶节点大小(MinBTSize)或允许的最大二叉树深度(MaxBTDepth)。QTBT结构130的示例将这样的节点表示为具有用于分支的虚线。将二叉树叶节点称为译码单元(CU)，其用于预测(例如，帧内预测或帧间预测)和变换，而无需任何进一步的划分。如上所述，CU也可以被称为“视频块”或“块”。
在QTBT划分结构的一个示例中，将CTU大小设置为128×128(亮度样本和两个相应的64×64色度样本)，将MinQTSize设置为16×16，将MaxBTSize设置为64×64，将MinBTSize(用于宽度和高度)设置为4，将MaxBTDepth设置为4。将四叉树划分首先应用于CTU，以生成四叉树叶节点。四叉树叶节点的大小可以从16×16(即MinQTSize)到128×128(即CTU大小)。如果叶四叉树节点为128×128，则将不会通过二叉树进一步拆分，因为其大小超过了MaxBTSize(在该示例中为64×64)。否则，叶四叉树节点将通过二叉树进一步划分。因此，四叉树叶节点也是二叉树的根节点，并且二叉树的深度为0。当二叉树的深度达到MaxBTDepth(在该示例中为4)时，不允许进一步拆分。当二叉树节点的宽度等于MinBTSize(在该示例中为4)时，意味着不允许进一步的水平拆分。类似的，二叉树节点的高度等于MinBTSize意味着对于该二叉树节点不允许进一步的垂直拆分。如上所述，将二叉树的叶节点称为CU，并且根据预测和变换对其进行进一步处理而无需进一步划分。
图3是示出可以执行本公开内容的技术的示例性视频编码器200的方框图。提供图3是出于说明的目的，并且不应被认为是对本公开内容中广泛例示和描述的多种技术的限制。出于说明的目的，本公开内容在诸如H.265(HEVC)视频译码标准和开发中的H.266(VCC)视频译码标准的视频译码标准的上下文中描述了视频编码器200。然而，本公开内容的技术不限于这些视频译码标准，而是一般性地可应用于视频编码和解码。
在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、已解码图片缓冲器(DPB)218和熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、DPB 218和熵编码单元220中的任何一个或全部可实施于一个或多个处理器中或处理电路中。此外，视频编码器200可以包括附加的或替代的处理器或处理电路以执行这些功能和其他功能。
视频数据存储器230可以存储将由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。DPB218可以用作参考图片存储器，其存储参考视频数据，以供视频编码器200在预测后续视频数据时使用。视频数据存储器230和DPB 218可以由多种存储设备中的任何一个形成，诸如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)，磁阻RAM(MRAM)，电阻性RAM(RRAM)或其他类型的存储设备。视频数据存储器230和DPB 218可以由相同的存储设备或分离的存储设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或者相对于那些组件在芯片外。
在本公开内容中，对视频数据存储器230的提及不应被解释为限于视频编码器200内部的存储器(除非如此具体地描述)，或者视频编码器200外部的存储器(除非如此具体地描述)。而是，对视频数据存储器230的提及应被理解为存储视频编码器200所接收的用于编码的视频数据(例如，要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供对视频编码器200的各个单元的输出的临时存储。
示出图3的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并预先设置可执行的操作的电路。可编程电路是指可以被编程以执行各种任务并且在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，所述软件或固件使可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频编码器200可以包括由可编程电路形成的算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并执行的软件的目标代码，即指令，或者在视频编码器200内的另一个存储器(未显示)可以存储此类目标代码。
视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可以从视频数据存储器230提取视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是将被编码的原始视频数据。
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括用于根据其他预测模式执行视频预测的其他功能单元。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的组成部分)、仿射单元、线性模型(LM)单元、等等。
模式选择单元202通常协调多个编码通过过程(pass)，以测试编码参数的组合以及针对这种组合的结果率失真值。编码参数可以包括：CTU到CU的划分，用于CU的预测模式，用于CU的残差数据的变换类型，用于CU的残差数据的量化参数、等等。模式选择单元202可以最终选择率失真值优于其他被测试组合的编码参数组合。
视频编码器200可以将从视频数据存储器230提取到的图片划分为一系列CTU，并将一个或多个CTU封装在片段内。模式选择单元202可以根据树结构(诸如上述的QTBT结构、MTT结构或HEVC的四叉树结构)，来划分图片的CTU。如上所述，视频编码器200可以根据树结构通过划分CTU来形成一个或多个CU。通常也将这样的CU称为“视频块”或“块”。
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成用于当前块(例如，当前CU，或HEVC中，PU和TU的重叠部分)的预测块。为了对当前块进行帧间预测，运动估计单元222可执行运动搜索以识别一个或多个参考图片(例如，存储在DPB 218中的一个或多个先前编码的图片)中的一个或多个紧密匹配的参考块。具体而言，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等等，来计算表示潜在参考块与当前块的相似程度的值。运动估计单元222通常可使用当前块与所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别具有由这些计算产生的最低值的参考块，其指示与当前块最紧密匹配的参考块。
运动估计单元222可形成一个或多个运动向量(MV)，其定义相对于当前图片中当前块的位置的参考图片中的参考块的位置。然后，运动估计单元222可将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可提供单个运动向量，而对于双向帧间预测，运动估计单元222可以提供两个运动向量。
运动补偿单元224然后可使用运动向量来生成预测块。例如，运动补偿单元224可以使用运动向量来提取参考块的数据。作为另一示例，如果运动向量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器来插值预测块的值。此外，对于双向帧间预测，运动补偿单元224可以例如通过逐样本平均或加权平均来提取由相应运动向量标识的两个参考块的数据，并组合所提取的数据。
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以根据与当前块相邻的样本来生成预测块。例如，对于定向模式，帧内预测单元226通常可以在数学上组合相邻样本的值，并横跨当前块沿定义的方向填充这些计算出的值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算当前块的相邻样本的平均值，并且生成预测块以便针对预测块的每个样本包括该所得平均值。
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始未译码版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样本差。所得的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可确定残差块中的样本值之间的差，以使用残差差分脉冲译码调制(RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
在模式选择单元202将CU划分为PU的示例中，每个PU可与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的PU。如上所述，CU的大小可以指的是CU的亮度译码块的大小，PU的大小可以指的是PU的亮度预测单元的大小。假设特定CU的大小为2N×2N，则视频编码器200可支持用于帧内预测的2N×2N或N×N的PU大小，以及用于帧间预测的2N×2N、2N×N、N×2N、N×N或类似的对称的PU大小。视频编码器200和视频解码器300还可支持用于帧间预测的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非对称划分。
在模式选择单元202不将CU进一步划分成PU的示例中，每个CU可以与亮度译码块和对应的色度译码块相关联。如上所述，CU的大小可以指CU的亮度译码块的大小。视频编码器200和视频解码器300可以支持2N×2N、2N×N或N×2N的CU大小。
对于其他视频译码技术(诸如，块内复制模式译码、仿射模式译码和线性模型(LM)模式译码，作为几个示例)，模式选择单元202通过与译码技术相关联的相应单元，为正被编码的当前块生成预测块。在一些示例中，诸如调色板模式译码，模式选择单元202可以不生成预测块，而是生成语法元素，该语法元素指示基于所选调色板来重构该块的方式。在这样的模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
如上所述，残差生成单元204接收当前块和对应的预测块的视频数据。残差生成单元204然后为当前块生成残差块。为了生成残差块，残差生成单元204计算预测块和当前块之间的逐样本差。
变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(在本文中称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如，主变换和次级变换，诸如旋转变换。在一些示例中，变换处理单元206不将变换应用于残差块。
如下文将更详细地解释，在一些示例中，变换处理单元206可被配置为将低频不可分离变换(LFNST)和一个或多个可分离变换(例如，使用多变换选择(MTS)技术)两者应用于视频数据的变换块。变换处理单元206可在应用LFNST之前首先应用一个或多个可分离变换。在一些示例中，变换处理单元206对在应用了可分离变换之后获得的变换块的变换系数的子集应用LFNST应用。变换块的被应用LFNST的变换系数的子集可以被称为LFNST区域。LFNST区域可以是变换块的左上部，其表示变换块的最低频率变换系数。
结合应用LFNST，变换处理单元206可进一步被配置为将置零处理应用于LFNST区域中的所得变换系数的一部分。置零处理简单地使特定区域中的每个变换系数的值具有零值。在一个示例中，变换处理单元206可将LFNST区域的较高频率区域(例如，右下角)中的变换系数置零。另外，在一些示例中，变换处理单元206还可将变换块中在LFNST区域外部的变换系数(例如，所谓的MTS区域中的变换系数)置零。
如果变换处理单元206已将LFNST应用于变换块，则视频编码器200可生成并发信号通知LFNST索引语法元素。LFNST索引语法元素的值可以指示多个变换中的在执行LFNST时使用的特定变换。在其他示例中，LFNST索引可以指示未应用LFNST(例如，LFNST索引值为0)。视频编码器200可被配置为在应用了LFNST时生成LFNST索引。当未应用LFNST时，视频编码器200可被配置为确定是否发信号通知LFNST索引。
例如，在最后有效(例如，非零)变换系数的位置在变换块中如果应用LFNST则通常将被置零的位置中的情况下，视频编码器200可确定不发信号通知LFNST索引。这是因为视频编码器200还将生成并在编码视频比特流中发信号通知指示最后有效系数的位置的一个或多个语法元素。因为视频解码器300将首先接收并解码最后有效系数的位置，所以如果最后有效系数的位置在变换块的置零区域中，则视频解码器300不需要接收指示不执行LFNST的LFNST索引。相反，视频解码器300可基于最后有效系数的位置推断(例如，在没有显式语法元素的情况下确定)LFNST索引的值为零且不应用LFNST。如果视频编码器200没有应用LFNST，但是最后有效系数的位置不在置零区域中，则在一些示例中，视频编码器200发信号通知LFNST索引。
量化单元208可以对变换系数块中的变换系数进行量化，以产生经量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块中的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可通过调整与CU相关联的QP值，来调整应用于与当前块相关联的变换系数块的量化程度。量化可能会引入信息丢失，并且因此，经量化的变换系数可能具有比由变换处理单元206产生的原始变换系数更低的精度。
逆量化单元210和逆变换处理单元212可以分别对经量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于重构的残差块和由模式选择单元202生成的预测块，来产生与当前块相对应的重构块(尽管可能具有某种程度的失真)。例如，重构单元214可以将重构的残差块的样本与来自模式选择单元202所生成的预测块的对应样本相加，以产生重构块。
滤波器单元216可以对重构块执行一个或多个滤波器操作。例如，滤波器单元216可以执行去块操作以减少沿着CU的边缘的块状伪像。在一些示例中，可以跳过滤波器单元216的操作。
视频编码器200将重构块存储在DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重构单元214可以将重构块存储到DPB 218中。在需要滤波器单元216的操作的示例中，滤波器单元216可以将经滤波的重构块存储到DPB 218中。运动估计单元222和运动补偿单元224可以从DPB218中提取参考图片，该参考图片由重构(并且可能经滤波)的块形成，以对后续经编码图片的块进行帧间预测。另外，帧内预测单元226可以使用当前图片的在DPB 218中的重构块来对当前图片中的其他块进行帧内预测。
通常，熵编码单元220可对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的经量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对语法元素(它们是视频数据的另一个示例)执行一个或多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(CAVLC)操作、CABAC操作、可变至可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率间隔分割熵(PIPE)译码操作、指数Golomb编码操作或另一种熵编码操作。在一些示例中，熵编码单元220可以在旁路模式中操作，在旁路模式中，不对语法元素进行熵编码。
视频编码器200可以输出比特流，比特流包括对片段或图片的块进行重构所需的经熵编码的语法元素。具体而言，熵编码单元220可以输出比特流。
针对块描述了上述操作。这样的描述应该被理解为是针对亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是CU的亮度分量和色度分量。在一些示例中，亮度译码块和色度译码块是PU的亮度分量和色度分量。
在一些示例中，针对亮度译码块执行的操作不需要针对色度译码块重复执行。作为一个示例，用于识别用于亮度译码块的运动向量(MV和参考图片的操作不需要为了识别用于色度块的MV和参考图片而重复执行。而是，可以缩放用于亮度译码块的MV以确定用于色度块的MV，并且参考图片可以是相同的。作为另一示例，对于亮度译码块和色度译码块，帧内预测处理可以是相同的。
如下文将更详细解释，视频编码器200代表被配置为对视频数据进行编码的设备的示例，其包括：存储器，其被配置为存储视频数据；以及一个或多个处理单元，其在电路中实现并被配置为：基于视频数据块中的规范定义的零系数的模式来推断(例如，不编码或发信号通知)低频不可分离变换索引或标志的值，以及根据低频不可分离变换索引或标志来对视频数据块进行变换。
图4是示出可以执行本公开内容的技术的示例性视频解码器300的方框图。提供图4是出于说明的目的，并非是对本公开内容中广泛例示和描述的技术的限制。出于说明的目的，本公开内容描述了根据JEM、VVC和HEVC的技术的视频解码器300。然而，本公开内容的技术可以由根据其他视频译码标准配置的视频译码设备来执行。
在图4的示例中，视频解码器300包括经译码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(DPB)314。CPB存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和DPB 314中的任何一个或全部可实施于一个或多个处理器中或处理电路中。此外，视频解码器300可以包括附加的或替代的处理器或处理电路以执行这些功能和其他功能。
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括用以根据其他预测模式执行预测的附加单元。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(其可以形成运动补偿单元316的组成部分)、仿射单元、线性模型(LM)单元、等等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
CPB存储器320可以存储将由视频解码器300的组件解码的视频数据，诸如编码视频比特流。存储在CPB存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。CPB存储器320可以包括存储来自编码视频比特流的编码视频数据(例如，语法元素)的CPB。而且，CPB存储器320可以存储除了经译码图片的语法元素之外的视频数据，诸如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储已解码图片，视频解码器300可以输出已解码图片和/或在对编码视频比特流的后续数据或图片进行解码时使用已解码图片作为参考视频数据。CPB存储器320和DPB 314可以由各种存储设备中的任何一种形成，诸如动态随机存取存储器(DRAM)，包括同步DRAM(SDRAM)、磁阻RAM(MRAM)、电阻性RAM(RRAM)或其他类型的存储设备。CPB存储器320和DPB 314可以由同一存储设备或分离的存储设备提供。在各种示例中，CPB存储器320可以与视频解码器300的其他组件在芯片上，或者相对于那些组件在芯片外。
另外或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)提取经译码视频数据。即，存储器120可以如上所述用CPB存储器320存储数据。类似地，当以要通过视频解码器300的处理电路来执行的软件实现视频解码器300的一些或全部功能时，存储器120可以存储将由视频解码器300执行的指令。
示出图4中所示的各种单元以帮助理解由视频解码器300执行的操作。这些单元可以被实现为固定功能电路、可编程电路或其组合。类似于图3，固定功能电路是指提供特定功能并预先设置可执行的操作的电路。可编程电路是指可以被编程以执行各种任务并且在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，所述软件或固件使可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
视频解码器300可以包括由可编程电路形成的ALU、EFU、数字电路、模拟电路和/或可编程核心。在由在可编程电路上执行的软件来执行视频解码器300的操作的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。
熵解码单元302可以从CPB接收编码视频数据并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流中提取的语法元素来生成已解码视频数据。
通常，视频解码器300在逐块的基础上重构图片。视频解码器300可单独地在每个块上执行重构操作(其中当前正在重构(即，解码)的块可被称为“当前块”)。
熵解码单元302可以对如下进行熵解码：定义经量化的变换系数块的经量化的变换系数的语法元素，以及诸如量化参数(QP)和/或变换模式指示之类的变换信息。逆量化单元306可以使用与经量化的变换系数块相关联的QP来确定量化程度，并且同样地，确定逆量化单元306要应用的逆量化程度。逆量化单元306可以例如执行按位左移运算以对经量化的变换系数进行逆量化。逆量化单元306可由此形成包括变换系数的变换系数块。
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以将逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或另一逆变换应用于变换系数块。
如下文将更详细解释的，在一些示例中，逆变换处理单元308可被配置为将逆低频不可分离变换(LFNST)和一个或多个逆可分离变换(例如，使用多变换选择(MTS)技术)两者应用于视频数据的变换块。逆变换处理单元308可在应用一个或多个可分离逆变换之前首先应用逆LFNST。在一些示例中，逆变换处理单元308将逆LFNST应用于在逆量化之后获得的变换块的变换系数的子集。被应用了逆LFNST的变换块的变换系数的子集可以被称为LFNST区域。LFNST区域可以是变换块的左上部，其表示变换块的最低频率变换系数。
如上文参考图3所解释的，视频编码器200的变换处理单元206可被配置为将置零处理应用于LFNST区域中的所得变换系数的一部分。置零处理简单地使特定区域中的每个变换系数的值具有零值。在一个示例中，变换处理单元206可将LFNST区域的较高频率区域(例如，右下角)中的变换系数置零。另外，在一些示例中，变换处理单元206还可将变换块中在LFNST区域外部的变换系数(例如，所谓的MTS区域中的系数)置零。这样，逆变换处理单元308可以被配置为当应用LFNST时，将变换块的特定区域中的变换系数置零(或者确保已经进行了置零操作)。
如上文参考图3所论述的，如果变换处理单元206已将LFNST应用于变换块，则视频编码器200可生成并发信号通知LFNST索引语法元素。来自多个值的LFNST索引语法元素的值可以指示在执行LFNST时使用的多个变换中的特定变换。在其他示例中，LFNST索引可以指示未应用LFNST(例如，LFNST索引值为0)。视频编码器200可被配置为在应用LFNST时生成LFNST索引。当未应用LFNST时，视频编码器200可被配置为确定是否发信号通知LFNST索引。同样，参考图4，视频解码器300的逆变换处理单元308可被配置为在某些情况下不接收在编码视频比特流中的LFNST索引。相反，视频解码器300的逆变换处理单元308可在一些情况下推断LFNST索引的值。
例如，在最后有效(例如，非零)变换系数的位置在变换块中的如果应用了LFNST则通常会被置零的位置中的情况下，视频编码器200可以确定不发信号通知LFNST索引。这是因为视频编码器200还将生成并在编码视频比特流中发信号通知指示最后有效系数的位置的一个或多个语法元素。因为视频解码器300将首先接收并解码最后有效系数的位置，所以如果最后有效系数的位置在变换块的置零区域中，则视频解码器300不需要接收指示不执行LFNST的LFNST索引。相反，视频解码器300的逆变换处理单元308可推断(例如，在没有显式语法元素的情况下确定)LFNST索引的值为零且不应用LFNST。
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示：DPB 314中的从中提取参考块的参考图片，以及运动向量，所述运动向量标识相对于当前图片中当前块的位置的参考图片中参考块的位置。运动补偿单元316通常可以以与针对运动补偿单元224(图3)所描述的方式基本相似的方式来执行帧间预测处理。
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。同样，帧内预测单元318通常可以以与针对帧内预测单元226(图3)所描述的方式基本相似的方式来执行帧内预测处理。帧内预测单元318可以从DPB 314提取当前块的相邻样本的数据。
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本与预测块的对应样本相加以重构当前块。
滤波器单元312可以对重构块执行一个或多个滤波器操作。例如，滤波器单元312可以执行去块操作以减少沿着重构块的边缘的块状伪像。不一定在所有示例中都执行滤波器单元312的操作。
视频解码器300可将重构块存储在DPB 314中。例如，在不需要滤波器单元312的操作的示例中，重构单元310可将重构块存储到DPB 314中。在需要滤波器单元312的操作的示例中，滤波器单元312可将经滤波的重构块存储到DPB 314中。如上所述，DPB 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本以及用于后续运动补偿的先前已解码图片。此外，视频解码器300可以从DPB 314输出已解码图片(例如，已解码视频)，以用于随后在显示设备(诸如，图1的显示设备118)上呈现。
以此方式，如下文将更详细解释的，视频解码器300表示视频解码设备的示例，其包括：存储器，其被配置为存储视频数据；以及一个或多个处理单元，其在电路中实现并被配置为：基于视频数据块中的规范定义的零系数的模式来推断(例如，不解码)低频不可分离变换索引或标志的值，且根据低频不可分离变换索引或标志来对视频数据块进行逆变换。
在一个示例中，视频解码器300可被配置为：确定视频数据的变换块中的最后有效系数的位置；基于最后有效系数的位置与变换块的置零区域的相对关系来确定用于变换块的低频部可分离变换(LFNST)索引的值，其中，变换块的置零区域包括变换块的在LFNST区域内的第一区域和变换块的在LFNST区域外的第二区域两者；以及根据LFNST索引的值来对变换块进行逆变换。
变换相关工具的概述
在HEVC之前的示例性视频译码标准中，在视频编码和视频解码中仅使用固定的可分离变换或固定的可分离逆变换，其中，垂直地和水平地使用类型2离散余弦变换(DCT-2)。在HEVC中，除了DCT-2之外，还针对4×4块采用类型7离散正弦变换(DST-7)作为固定的可分离变换。
以下共同未决的美国专利和美国专利申请描述了多变换选择(MTS)技术：于2019年5月28日公布的美国专利No.10,306,229，于2018年1月18日公开的美国专利公开No.2018/0020218，及于2019年12月5日公开的美国专利公开No.2019/0373261。注意，MTS先前被称为自适应多变换(AMT)。MTS技术大致与先前描述的AMT技术相同。美国专利公开No.2019/0373261中描述的MTS的示例在联合视频专家组(JVET)的联合实验模型7.0(JEM-7.0)中采用(例如，参见http://www.hhi.fraunhofer.de/fields-of-competence/image- processing/research-groups/image-video-coding/hevc-high-efficiency-video- coding/transform-coding-using-the-residual-quadtree-rqt.html)，并且稍后在VVC中采用MTS的简化版本。
一般来说，当使用MTS对变换系数的变换块进行编码或解码时，视频编码器200和视频解码器300可以确定在多个可分离变换中要使用的一个或多个可分离变换。通过包括对可分离变换的更多选择，可提高译码效率，因为所选择的(一个或多个)变换可更适于正在进行译码的内容。
图5是在编码器侧和解码器侧(例如，视频编码器200和视频解码器300)的示例性低频不可分离变换(LFNST)的图示，其中LFNST的使用在编解码器中在可分离变换和量化之间引入了新的阶段。如图5中所示，在编码器侧(例如，视频编码器200)，变换处理单元206可首先对变换块应用可分离变换500以获得变换系数。变换处理单元206可接着将LFNST 502应用于变换块的变换系数的一部分(例如，LFNST区域)。如上所述，变换处理单元206可以结合LFNST应用置零处理。量化单元208可接着在熵编码之前对所得变换系数进行量化。
在解码器侧(例如，视频解码器300)，逆量化单元306首先对变换块中的经熵解码的变换系数(见图4)进行逆量化。然后，视频解码器300的逆变换处理单元308将逆LFNST504应用于变换块的LFSNT区域。然后，逆变换处理单元308将逆可分离变换506应用于逆LFNST的结果，以产生残差块。
在JEM-7.0中使用示例性LFNST(例如，如图5所示)以进一步提高MTS的译码效率，其中LFNST的实现是基于在于2017年2月14日提交的美国专利公开No.10,448,053中描述的示例性超立方体Givens变换(HyGT)。于2016年9月20日提交的美国专利No.10,491,922、于2017年3月30日公开的美国专利公开No.2017/0094314、于2017年2月14日提交的美国专利No.10,349,085，以及于2019年3月25日提交的美国专利申请No.16/354,007描述了其他示例性设计和进一步的细节。最近，已经在VVC标准中采用LFNST(参见JVET-N0193，ReducedSecondary Transform(RST)(CE6-3.1)，在线可获得：http://phenix.it-sudparis.eu/ jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0193-v5.zip。注意，LFNST先前被称为不可分离次级变换(NSST)或次级变换。
当前VVC中的置零处理
在VVC草案5中的LFNST设计中，编码器(例如，视频编码器200)可以被配置为执行置零操作，置零操作将K个最低频率变换系数保持原样(例如，K个最低频率变换系数的值不被置零)。K个最低频率变换系数由大小为N的LFNST(例如，对于8×8 LFNST区域N＝64)进行变换。解码器(例如，视频解码器300)通过仅使用那些K个系数(也称为K个LFNST系数)来重构可分离系数(例如，MTS系数)。在VVC草案5中，这种置零处理规范上仅对大小为4x4和8x8的LFNST进行，其中解码器隐含地推断(假设或没有接收到信号通知的情况下确定)剩余N-K个较高频率变换系数的值被设置为具有零值，并且K个LFNST系数被用于重构。
图6是在将大小为N的LFNST应用于大小为HxW的具有置零的变换块602之后获得的变换系数的代表性图示，其中，N个变换系数中的Z个变换系数被置零，并且K个系数被保留。如图6中所示，视频编码器200将可分离变换(例如，使用MTS技术)应用于变换块602以获得MTS系数。视频编码器200然后将LFNST应用于变换块602的LFNST区域600(具有h×w的大小)。LFNST区域600的暗区域601是被保留的K个系数(例如，LFNST系数)。LFNST区域600的白色区域是被置零的Z(N-K)个系数(例如，被置零的系数)。
如于2016年9月20日提交的美国专利No.10,491,922、于2017年3月30日公开的美国专利公开No.2017/0094314、及于2019年1月31日提交的美国临时申请No.62/799,410中所描述的，可以通过如下来执行LFNST：首先经由预定义的扫描/排序将作为LFNST区域(例如，图6中的LFNST区域600)的2-D子块转换为变换系数的1-D列表(或向量)并且然后对变换系数的子集(例如，未被置零的变换系数)应用变换。
图7示出了在没有任何置零的情况下获得的可分离变换系数(MTS)和LFNST系数的示例。如图7中所示，视频编码器200将可分离变换(例如，使用MTS技术)应用于变换块702(具有HxW的大小)以获得MTS系数。视频编码器200然后将LFNST应用于变换块702的LFNST区域700(具有h×w的大小)。在图7的示例中，LFNST区域700的所有N个系数被保留(例如，LFNST系数)。即，在图7的示例中不执行置零。
本公开内容描述了可以解决与先前的LFNST技术相关的信号通知开销和复杂度的问题的各种技术。本公开内容的技术可以(i)减少LFNST索引/标志的信号通知开销，且(ii)通过扩展可分离变换系数的置零来简化LFNST过程。扩展可分离变换系数的置零区域允许类VVC编解码器(例如，视频解码器300)基于现有的与系数译码相关的语法(例如，用于确定有效(例如，非零)系数的最后位置的语法)来推断LFNST索引/标志。
尽管参考LFNST描述了本公开内容中所描述的信号通知方法，但本公开内容的技术不限于LFNST且可应用于减少其他与变换相关的语法的信号通知。
LFNST信号通知技术
视频编码器200和视频解码器300可被配置为单独地或以任何组合使用以下LFNST信号通知技术。在本公开内容的上下文中，发信号通知可指代视频编码器200编码一个或多个语法结构(例如，报头或参数集)中的一个或多个语法元素和/或标志。以互逆方式，视频解码器300可接收且解码这种语法元素和/或标志。在一些示例中，视频解码器300可被配置为，推断某些语法元素和/或标志的值而不在比特流中明确地接收它们。
在一些示例中，视频编码器200和视频解码器300被配置为应用具有规范置零的LFNST。在该上下文中，规范置零定义变换块的哪些区域(例如，LFNST区域内部和外部的区域)被置零。基于预定义的条件集合(例如，块大小、块形状和/或与变换相关的语法(诸如指示可分离变换的MTS索引/标志))，在视频编码器200和视频解码器300两者处应用规范置零。当视频编码器200和视频解码器300被配置为应用具有规范置零的LFNST时，视频解码器300可被配置为，直接基于规范定义的零系数的模式来推断LFNST索引/标志。因此，视频编码器200不需要发信号通知LFNST索引/标志。
例如，置零区域的模式/形状(例如，见图6中LFNST区域600的白色区域)可以根据预定义的规则集合(例如，块大小、块形状和/或与变换相关的语法(诸如MTS索引/标志))而改变。视频解码器300可被配置为基于观察到的模式来推断LFNST索引/标志的值，并且LFNST索引/标志可以不由视频编码器200明确地发信号通知。在一些示例中，LFNST标志可以指示是否应用LFNST(例如，LFNST标志＝1)或者是否不应用LFNST(LFNST标志＝0)。在其他示例中，LFNST索引可以指示不应用LFNST(LFNST索引＝0)，或者如果应用LFNST，则可以指示要应用的LFNST的特定类型(LFNST索引>0)。
在一个示例中，如果视频解码器300确定非零系数处于在使用LFNST时应被置零的位置中，则视频解码器300可推断不应用LFNST(例如，推断LFNST索引的值为零)。在此情况下，视频解码器300可推断LFNST索引/标志的值为0，其对应于不应用LFNST。例如，如果最后一个非零系数的位置在变换块的置零区域中，则视频解码器300可以确定LFNST索引的值为零。如下文将解释的，置零区域可以是变换块的LFNST区域内部的置零区域和/或变换块的LFNST区域外部的置零区域。
视频解码器300可被配置为确定最后有效系数的位置，因为视频编码器200可生成并在编码视频比特流中发信号通知指示最后有效系数的位置的一个或多个语法元素。因为视频解码器300将首先接收并解码最后有效系数的位置(例如，在确定是否应用LFNST之前)，所以如果最后有效系数的位置在变换块的置零区域中，则视频解码器300不需要接收指示不执行LFNST的LFNST索引。相反，视频解码器300可推断(例如，在没有显式语法元素的情况下确定)LFNST索引的值为零且不应用LFNST。
在VVC草案5中，对变换块的4×4和8×8 LFNST区域使用规范置零(例如，如图6所示)，其中LFNST区域内的系数子集被规范地置零。如于2019年1月31日提交的共同未决的美国临时申请No.62/799,410中所述，LFNST区域之外的可分离变换系数(例如，LFNST区域之外的MTS系数)也可被置零(例如，如图8所示)。图8是通过应用大小为N的LFNST并且将变换块802(大小为HxW)的LFNST区域800(大小为hxw)中的Z个系数(例如，最高频率系数)置零并且还将LFNST区域800之外的MTS系数置零而获得的LFNST系数的图示。LFNST区域800的暗区域801是被保留的K个系数(例如，LFNST系数)。
在此情况下，视频编码器200和视频解码器300还可利用置零模式来推断和/或不发信号通知LFNST索引/标志，如下所述。在一个示例中，如果在置零区域中存在至少一个非零系数，则视频解码器300可推断不应用LFNST，且导出对应LFNST索引/标志值为(例如)0。在图8中，置零区域可以既在变换块802的LFNST区域800内又在变换块802的LFNST区域800外。
在另一示例中，视频解码器300可使用现有辅助信息来推断LFNST索引/标志的值。例如，视频解码器300可使用现有的最后有效系数位置信息(例如，指示最后有效系数的位置的语法元素)来推断LFNST索引/标志的值。在VVC中，视频编码器200可被配置为，发信号通知分别指示X和Y(水平和垂直)方向上的最后有效系数位置的两个语法元素。指示最后有效系数位置的语法元素可以指示在置零区域中是否存在非零(有效)系数。
作为特定示例，如果最后有效系数位置信号通知(即，变换块中的(X，Y)坐标)指向置零区域中的位置(例如，如图8中的LFNST区内部或外部)，则视频解码器300可推断LFNST索引/标志的值为(例如)0，且不应用LFNST。在一些示例中，最后有效系数位置可以在一个维度中(例如，可以使用LFNST系数的1-D列表的索引来定义)定义而非在2-D坐标(X，Y)中定义。
因此，鉴于以上示例，视频解码器300可被配置为确定视频数据的变换块中的最后有效系数的位置。例如，视频解码器300可被配置为对指示变换块中的最后有效系数的X位置和Y位置的一个或多个语法元素进行解码。视频解码器300可接着基于最后有效系数的位置与变换块的置零区域的相对关系，来确定用于变换块的低频不可分离变换(LFNST)索引的值。
根据图8的示例，变换块的置零区域包括变换块802的LFNST区域800内的第一区域(例如，LFNST区域800中的白色区域)和变换块802在LFNST区域(800)外的第二区域。LFNST索引的值指示是否将LFNST应用于变换块，并且如果应用，则指示所应用的LFNST的类型。
在特定示例中，在变换块中的最后有效系数的位置在变换块的置零区域中的情况下，视频解码器300可推断LFNST索引的值为零，其中LFNST索引的值为零指示不将LFNST应用于变换块。即，视频解码器300可被配置为，在不接收指示LFNST索引的值的语法元素的情况下推断LFNST索引的值为零。
在另一示例中，为了确定LFNST索引的值，视频解码器300可被配置为，在变换块中的最后有效系数的位置不在变换块的置零区域中的情况下接收指示LFNST索引的语法元素，并解码语法元素以确定LFNST索引的值。
视频解码器300可接着根据LFNST索引的值来对变换块进行逆变换。在一个示例中，为了对变换块进行逆变换，视频解码器300可用由LFNST索引指示的LFNST来对变换块的LFNST区域进行逆变换，且在用LFNST对变换块的LFNST区域进行逆变换之后用一个或多个可分离变换对变换块进行逆变换。在另一示例中，视频解码器300可不应用LFNST，且替代地可仅用一个或多个可分离变换来对变换块进行逆变换。不管是否使用LFNST，视频解码器300都可以对变换块进行逆变换以产生残差块，确定残差块的预测块(例如，使用诸如帧间预测或帧内预测的预测技术)，且组合预测块与残差块以产生已解码块。
对于不将置零用于LFNST系数的情况，视频编码器200和视频解码器300仍可对LFNST区域外部的可分离变换系数(例如，LFNST区域外部的MTS系数)应用置零，如图9所示。图9是通过应用大小为N的LFNST并且仅将变换块902(具有HxW的大小)的LFNST区域900(具有h×w的大小)外部的MTS系数置零得到的LFNST系数的图示。接着，视频编码器200和视频解码器300可以通过使用上述方法中的一种方法或组合，基于非零(有效)系数的位置来推断LFNST索引/标志的值。
图10是示出用于对当前块进行编码的示例性方法的流程图。当前块可以包括当前CU。尽管针对视频编码器200(图1和3)进行了描述，但是应当理解，其他设备可以被配置为执行与图10类似的方法。
在该示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。视频编码器200然后可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未编码块与当前块的预测块之间的差。视频编码器200然后可以对残差块的系数进行变换和量化(354)。接下来，视频编码器200可以扫描残差块的经量化的变换系数(356)。在扫描期间或在扫描之后，视频编码器200可以对系数进行熵编码(358)。例如，视频编码器200可以使用CAVLC或CABAC来对系数进行编码。视频编码器200可随后输出该块的经熵译码的数据(360)。
图11是示出用于对视频数据的当前块进行解码的示例性方法的流程图。当前块可以包括当前CU。尽管针对视频解码器300(图1和4)进行了描述，但是应当理解，其他设备可以被配置为执行与图11类似的方法。
视频解码器300可以接收当前块的经熵译码的数据，诸如与当前块相对应的残差块的系数的经熵译码的预测信息和经熵译码的数据(370)。视频解码器300可以对经熵译码的数据进行熵解码，以确定当前块的预测信息并再现残差块的系数(372)。视频解码器300可以预测当前块(374)，例如，使用如由当前块的预测信息指示的帧内或帧间预测模式来计算当前块的预测块。视频解码器300可接着对所再现的系数进行逆扫描(376)，以产生经量化的变换系数的块。视频解码器300可接着对系数进行逆量化和逆变换以产生残差块(378)。视频解码器300可以通过组合预测块与残差块来最终解码当前块(380)。
图12是示出本公开内容的示例性解码方法的流程图。图12的技术进一步定义图11的过程378。图12的技术可由视频解码器300的一个或多个结构单元执行，包括逆变换处理单元308。
在本公开内容的一个示例中，视频解码器300可被配置为，确定视频数据的变换块中的最后有效系数的位置(1200)。例如，视频解码器300可被配置为，对指示变换块中的最后有效系数的X位置和Y位置的一个或多个语法元素进行解码。视频解码器300可接着基于最后有效系数的位置与变换块的置零区域的相对关系，来确定用于变换块的低频不可分离变换(LFNST)索引的值(1202)。
根据图8的示例，变换块的置零区域包括变换块802的LFNST区域800内的第一区域(例如，LFNST区域800种的白色区域)和变换块802的在LFNST区域800外的第二区域。LFNST索引的值指示是否将LFNST应用于变换块，并且如果应用，则指示所应用的LFNST的类型。
在特定示例中，在变换块中的最后有效系数的位置在变换块的置零区域中的情况下，视频解码器300可推断LFNST索引的值为零，其中，LFNST索引的值为零指示不将LFNST应用于变换块。即，视频解码器300可被配置为，在不接收指示LFNST索引的值的语法元素的情况下推断LFNST索引的值为零。
在另一示例中，为了确定LFNST索引的值，视频解码器300可被配置为，在变换块中的最后有效系数的位置不在变换块的置零区域中的情况下接收指示LFNST索引的语法元素，且对所述语法元素进行解码以确定LFNST索引的值。
视频解码器300可接着根据LFNST索引的值来对变换块进行逆变换(1204)。在一个示例中，为了对变换块进行逆变换，视频解码器300可用由LFNST索引指示的多个LFNST中的一个来对变换块的LFNST区域进行逆变换，且在用LFNST对变换块的LFNST区域进行逆变换之后用一个或多个可分离变换来对变换块进行逆变换。在另一示例中，视频解码器300可不应用LFNST，而是仅用一个或多个可分离变换来对变换块进行逆变换。不管是否使用LFNST，视频解码器300可对变换块进行逆变换以产生残差块，确定残差块的预测块(例如，使用诸如帧间预测或帧内预测的预测技术)，且组合预测块与残差块以产生已解码块。
本公开内容的其他说明性示例描述如下。
示例1-一种对视频数据进行译码的方法，所述方法包括：基于视频数据块中的规范定义的零系数的模式，来推断低频不可分离变换索引或标志的值；以及根据所述低频不可分离变换索引或标志来对所述视频数据块进行变换。
示例2-示例1的方法，其中，所述视频数据块中的规范定义的零系数的所述模式是所述视频数据块的置零区域的模式。
示例3-示例2的方法，其中，推断所述低频不可分离变换索引或标志的值包括：在非零系数在所述视频数据块的置零区域中的情况下，将所述低频不可分离变换索引或标志的值推断为零。
示例4-示例2的方法，其中，推断所述低频不可分离变换索引或标志的值包括：在最后有效系数位置信息指示非零系数在所述视频数据块的置零区域中的情况下，将所述低频不可分离变换索引或标志的值推断为零。
示例5-示例1-4中任一项的方法，其中，译码包括解码。
示例6-示例1-4中任一项的方法，其中，译码包括编码。
示例7-一种用于对视频数据进行译码的设备，所述设备包括用于执行示例1到6中任一项的方法的一个或多个单元。
示例8-示例7的设备，其中，所述一个或多个单元包括在电路中实现的一个或多个处理器。
示例9-示例7和8中任一项的设备，还包括：用于存储所述视频数据的存储器。
示例10-示例7-9中任一项的设备，还包括：被配置为显示已解码视频数据的显示器。
示例11-示例7-10中任一项的设备，其中，所述设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
示例12-示例7-11中任一项的设备，其中，所述设备包括视频解码器。
示例13-示例7-12中任一项的设备，其中，所述设备包括视频编码器。
示例14-一种计算机可读存储介质，其上存储有指令，所述指令在被执行时使一个或多个处理器执行示例1-6中任一项的方法。
应该认识到，根据示例，本文描述的任何技术的某些操作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的操作或事件都是实施所述技术所必需的)。此外，在某些示例中，操作或事件可以并发地而不是顺序地执行，例如通过多线程处理、中断处理或多个处理器。
在一个或多个示例性中，可以以硬件、软件、固件或其任意组合来实现所描述的功能。如果以软件实现，则所述功能可以作为一个或多个指令或代码在计算机可读介质上进行存储或发送，并由基于硬件的处理单元执行。计算机可读介质包括：计算机存储介质，其对应于诸如数据存储介质的有形介质，或通信介质，包括例如根据通信协议便于将计算机程序从一个地方转移到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一台或多台计算机或一个或多个处理器访问以提取指令、代码和/或数据结构以实现本公开内容中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例但非限定，这样的计算机可读存储介质可以包括以下一个或多个：RAM、ROM、EEPROM、CD-ROM或其他光盘存储设备、磁盘存储设备或其他磁存储设备、闪存或者可以用于以指令或数据结构的形式存储所需程序代码并且能够被计算机访问的任何其他介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果用同轴电缆、纤维光缆、双绞线、数字用户线路(DSL)或例如红外、无线和微波的无线技术从网站、服务器或其他远程源发送软件，则该同轴电缆、纤维光缆、双绞线、DSL或例如红外、无线和微波的无线技术也包含在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是针对非暂时性有形存储介质。本文所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地再现数据，而光盘通常利用激光器光学地再现数据。上述的组合也包括在计算机可读介质的范围内。
指令可由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他等效的集成或分立逻辑电路。相应地，如本文所使用的术语“处理器”和“处理电路”可以指任何前述结构或适合于实现本文描述的技术的任何其他结构。另外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或结合在组合编解码器中。同样，所述技术可以在一个或多个电路或逻辑元件中完全实现。
本公开内容的技术可以在包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)的多种设备或装置中实现。在本公开内容中描述各种组件、模块或单元以强调被配置为执行所公开技术的设备的各个功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，各种单元可以组合在编解码器硬件单元中，或者由互操作的硬件单元的集合来提供，包括与合适的软件和/或固件相结合的如上所述的一个或多个处理器。
已经描述了各种示例。这些和其他示例在所附权利要求的范围内。

Claims (40)

1.一种对视频数据进行解码的方法，所述方法包括：
确定视频数据的变换块中的最后有效系数的位置；
基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系，来确定用于所述变换块的低频不可分离变换(LFNST)索引的值，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及
根据所述LFNST索引的值来对所述变换块进行逆变换。
2.根据权利要求1所述的方法，其中，所述LFNST索引的值指示是否将LFNST应用于所述变换块，以及如果应用，则指示所应用的LFNST的类型。
3.根据权利要求1所述的方法，其中，确定所述LFNST索引的值包括：
在所述变换块中的所述最后有效系数的所述位置在所述变换块的所述置零区域中的情况下，将所述LFNST索引的值推断为零，其中，所述LFNST索引的值为零指示不将所述LFNST应用于所述变换块。
4.根据权利要求3所述的方法，其中，将所述LFNST索引的值推断为零包括：
在不接收指示所述LFNST索引的值的语法元素的情况下将所述LFNST索引的值推断为零。
5.根据权利要求3所述的方法，其中，对所述变换块进行逆变换包括：
利用一个或多个可分离变换来对所述变换块进行逆变换。
6.根据权利要求1所述的方法，其中，确定所述LFNST索引的值包括：
在所述变换块中的所述最后有效系数的所述位置不在所述变换块的所述置零区域中的情况下，接收指示所述LFNST索引的语法元素；以及
对所述语法元素进行解码以确定所述LFNST索引的值。
7.根据权利要求6所述的方法，其中，对所述变换块进行逆变换包括：
利用由所述LFNST索引指示的LFNST来对所述变换块的所述LFNST区域进行逆变换；以及
在利用所述LFNST对所述变换块的所述LFNST区域进行逆变换之后，利用一个或多个可分离变换来对所述变换块进行逆变换。
8.根据权利要求1所述的方法，其中，确定视频数据的所述变换块中的所述最后有效系数的所述位置包括：
对指示所述变换块中的所述最后有效系数的X位置和Y位置的一个或多个语法元素进行解码。
9.根据权利要求1所述的方法，其中，对所述变换块进行逆变换包括对所述变换块进行逆变换以产生残差块，所述方法进一步包括：
确定所述残差块的预测块；以及
将所述预测块与所述残差块组合以产生已解码块。
10.根据权利要求9所述的方法，还包括：
显示包括所述已解码块的图片。
11.一种被配置为对视频数据进行解码的装置，所述装置包括：
存储器，其被配置为存储视频数据的变换块；以及
一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置为：
确定视频数据的所述变换块中的最后有效系数的位置；
基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系，来确定用于所述变换块的低频不可分离变换(LFNST)索引的值，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及
根据所述LFNST索引的值来对所述变换块进行逆变换。
12.根据权利要求11所述的装置，其中，所述LFNST索引的值指示是否将LFNST应用于所述变换块，以及如果应用，则指示所应用的LFNST的类型。
13.根据权利要求11所述的装置，其中，为了确定所述LFNST索引的值，所述一个或多个处理器被配置为：
在所述变换块中的所述最后有效系数的所述位置在所述变换块的所述置零区域中的情况下，将所述LFNST索引的值推断为零，其中，所述LFNST索引的值为零指示不将所述LFNST应用于所述变换块。
14.根据权利要求13所述的装置，其中，为了将所述LFNST索引的值推断为零，所述一个或多个处理器被配置为：
在不接收指示所述LFNST索引的值的语法元素的情况下将所述LFNST索引的值推断为零。
15.根据权利要求13所述的装置，其中，为了对所述变换块进行逆变换，所述一个或多个处理器被配置为：
利用一个或多个可分离变换来对所述变换块进行逆变换。
16.根据权利要求11所述的装置，其中，为了确定所述LFNST索引的值，所述一个或多个处理器被配置为：
在所述变换块中的所述最后有效系数的位置不在所述变换块的所述置零区域中的情况下，接收指示所述LFNST索引的语法元素；以及
对所述语法元素进行解码以确定所述LFNST索引的值。
17.根据权利要求16所述的装置，其中，为了对所述变换块进行逆变换，所述一个或多个处理器被配置为：
利用由所述LFNST索引指示的LFNST来对所述变换块的所述LFNST区域进行逆变换；以及
在利用所述LFNST对所述变换块的所述LFNST区域进行逆变换之后，利用一个或多个可分离变换来对所述变换块进行逆变换。
18.根据权利要求11所述的装置，其中，为了确定视频数据的所述变换块中的所述最后有效系数的所述位置，所述一个或多个处理器被配置为：
对指示所述变换块中的所述最后有效系数的X位置和Y位置的一个或多个语法元素进行解码。
19.根据权利要求11所述的装置，其中，为了对所述变换块进行逆变换，所述一个或多个处理器被配置为对所述变换块进行逆变换以产生残差块，并且其中，所述一个或多个处理器被配置为：
确定所述残差块的预测块；以及
将所述预测块与所述残差块组合以产生已解码块。
20.根据权利要求19所述的装置，还包括：
显示器，其被配置为显示包括所述已解码块的图片。
21.一种被配置为对视频数据进行解码的装置，所述装置包括：
用于确定视频数据的变换块中的最后有效系数的位置的单元；
用于基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系来确定用于所述变换块的低频不可分离变换(LFNST)索引的值的单元，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及
用于根据所述LFNST索引的值来对所述变换块进行逆变换的单元。
22.根据权利要求21所述的装置，其中，所述LFNST索引的值指示是否将LFNST应用于所述变换块，以及如果应用，则指示所应用的LFNST的类型。
23.根据权利要求21所述的装置，其中，用于确定所述LFNST索引的值的单元包括：
用于在所述变换块中的所述最后有效系数的所述位置在所述变换块的所述置零区域中的情况下，将所述LFNST索引的值推断为零的单元，其中，所述LFNST索引的值为零指示不将所述LFNST应用于所述变换块。
24.根据权利要求23所述的装置，其中，用于将所述LFNST索引的值推断为零的单元包括：
用于在不接收指示所述LFNST索引的值的语法元素的情况下将所述LFNST索引的值推断为零的单元。
25.根据权利要求23所述的装置，其中，用于对所述变换块进行逆变换的单元包括：
用于利用一个或多个可分离变换来对所述变换块进行逆变换的单元。
26.根据权利要求21所述的装置，其中，用于确定所述LFNST索引的值的单元包括：
用于在所述变换块中的所述最后有效系数的所述位置不在所述变换块的所述置零区域中的情况下，接收指示所述LFNST索引的语法元素的单元；以及
用于对所述语法元素进行解码以确定所述LFNST索引的值的单元。
27.根据权利要求26所述的装置，其中，用于对所述变换块进行逆变换的单元包括：
用于利用由所述LFNST索引指示的LFNST来对所述变换块的所述LFNST区域进行逆变换的单元；以及
用于在利用所述LFNST对所述变换块的所述LFNST区域进行逆变换之后，利用一个或多个可分离变换来对所述变换块进行逆变换的单元。
28.根据权利要求21所述的装置，其中，用于确定视频数据的所述变换块中的所述最后有效系数的所述位置的单元包括：
用于对指示所述变换块中的所述最后有效系数的X位置和Y位置的一个或多个语法元素进行解码的单元。
29.根据权利要求21所述的装置，其中，用于对所述变换块进行逆变换的单元包括用于对所述变换块进行逆变换以产生残差块的单元，所述装置进一步包括：
用于确定所述残差块的预测块的单元；以及
用于将所述预测块与所述残差块组合以产生已解码块的单元。
30.根据权利要求29所述的装置，还包括：
用于显示包括所述已解码块的图片的单元。
31.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使被配置为对视频数据进行解码的一个或多个处理器进行如下操作：
确定视频数据的所述变换块中的最后有效系数的位置；
基于所述最后有效系数的所述位置与所述变换块的置零区域的相对关系来确定用于所述变换块的低频不可分离变换(LFNST)索引的值，其中，所述变换块的所述置零区域包括所述变换块的在LFNST区域内的第一区域和所述变换块的在所述LFNST区域外的第二区域两者；以及
根据所述LFNST索引的值来对所述变换块进行逆变换。
32.根据权利要求31所述的非暂时性计算机可读存储介质，其中，所述LFNST索引的值指示是否将LFNST应用于所述变换块，以及如果应用，则指示所应用的LFNST的类型。
33.根据权利要求31所述的非暂时性计算机可读存储介质，其中，为了确定所述LFNST索引的值，所述指令进一步使所述一个或多个处理器：
在所述变换块中的所述最后有效系数的所述位置在所述变换块的所述置零区域中的情况下，将所述LFNST索引的值推断为零，其中，所述LFNST索引的值为零指示不将所述LFNST应用于所述变换块。
34.根据权利要求33所述的非暂时性计算机可读存储介质，其中，为了将所述LFNST索引的值推断为零，所述指令进一步使所述一个或多个处理器：
在不接收指示所述LFNST索引的值的语法元素的情况下将所述LFNST索引的值推断为零。
35.根据权利要求33所述的非暂时性计算机可读存储介质，其中，为了对所述变换块进行逆变换，所述指令进一步使所述一个或多个处理器：
利用一个或多个可分离变换来对所述变换块进行逆变换。
36.根据权利要求31所述的非暂时性计算机可读存储介质，其中，为了确定所述LFNST索引的值，所述指令进一步使所述一个或多个处理器：
在所述变换块中的所述最后有效系数的所述位置不在所述变换块的所述置零区域中的情况下，接收指示所述LFNST索引的语法元素；以及
对所述语法元素进行解码以确定所述LFNST索引的值。
37.根据权利要求36所述的非暂时性计算机可读存储介质，其中，为了对所述变换块进行逆变换，所述指令进一步使所述一个或多个处理器：
利用由所述LFNST索引指示的LFNST来对所述变换块的所述LFNST区域进行逆变换；以及
在利用所述LFNST对所述变换块的所述LFNST区域进行逆变换之后，利用一个或多个可分离变换来对所述变换块进行逆变换。
38.根据权利要求31所述的非暂时性计算机可读存储介质，其中，为了确定视频数据的所述变换块中的所述最后有效系数的所述位置，所述指令进一步使所述一个或多个处理器：
对指示所述变换块中的所述最后有效系数的X位置和Y位置的一个或多个语法元素进行解码。
39.根据权利要求31所述的非暂时性计算机可读存储介质，其中，为了对所述变换块进行逆变换，所述指令进一步使所述一个或多个处理器对所述变换块进行逆变换以产生残差块，并且其中，所述指令进一步使所述一个或多个处理器：
确定所述残差块的预测块；以及
将所述预测块与所述残差块组合以产生已解码块。
40.根据权利要求49所述的非暂时性计算机可读存储介质，所述指令进一步使所述一个或多个处理器：
显示包括所述已解码块的图片。
CN202080034606.0A 2019-05-17 2020-05-14 用于视频译码的基于置零模式的低频不可分离变换信号通知 Pending CN113812157A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962849689P 2019-05-17 2019-05-17
US62/849,689 2019-05-17
US15/931,271 2020-05-13
US15/931,271 US11032572B2 (en) 2019-05-17 2020-05-13 Low-frequency non-separable transform signaling based on zero-out patterns for video coding
PCT/US2020/032866 WO2020236509A1 (en) 2019-05-17 2020-05-14 Low-frequency non-separable transform signaling based on zero-out patterns for video coding

Publications (1)

Publication Number Publication Date
CN113812157A true CN113812157A (zh) 2021-12-17

Family

ID=73230877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080034606.0A Pending CN113812157A (zh) 2019-05-17 2020-05-14 用于视频译码的基于置零模式的低频不可分离变换信号通知

Country Status (11)

Country Link
US (1) US11032572B2 (zh)
EP (1) EP3970367A1 (zh)
JP (1) JP2022531913A (zh)
KR (1) KR20220008265A (zh)
CN (1) CN113812157A (zh)
AR (1) AR118945A1 (zh)
AU (1) AU2020278519A1 (zh)
BR (1) BR112021022343A2 (zh)
CL (1) CL2021003004A1 (zh)
SG (1) SG11202111562TA (zh)
WO (1) WO2020236509A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116996669A (zh) * 2017-09-28 2023-11-03 三星电子株式会社 编码方法和装置以及解码方法和装置
CA3105072A1 (en) * 2018-06-29 2020-01-02 Vid Scale, Inc. Adaptive control point selection for affine motion model based video coding
US11218728B2 (en) * 2019-06-04 2022-01-04 Tencent America LLC Method and apparatus for video coding
US11695960B2 (en) 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
JP7302037B2 (ja) * 2019-06-19 2023-07-03 エルジー エレクトロニクス インコーポレイティド 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
WO2021010680A1 (ko) * 2019-07-12 2021-01-21 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
KR20220024499A (ko) * 2019-07-12 2022-03-03 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021025528A1 (ko) * 2019-08-08 2021-02-11 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
US11677984B2 (en) 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11184617B2 (en) 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
US11206400B2 (en) 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
MX2022003996A (es) * 2019-10-04 2022-04-26 Lg Electronics Inc Metodo de codificacion de imagenes a base de transformacion, y dispositivo para el mismo.
US11470353B2 (en) 2019-12-20 2022-10-11 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) with reduced zero-out in video coding
US11457229B2 (en) 2019-12-23 2022-09-27 Qualcomm Incorporated LFNST signaling for chroma based on chroma transform skip
US11582491B2 (en) 2020-03-27 2023-02-14 Qualcomm Incorporated Low-frequency non-separable transform processing in video coding
US11871010B2 (en) 2020-10-02 2024-01-09 Qualcomm Incorporated Extended low-frequency non-separable transform (LFNST) designs with worst-case complexity handling
US11924471B2 (en) 2020-11-12 2024-03-05 Qualcomm Incorporated Context-based transform index signaling in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272379A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538175B2 (en) 2012-09-26 2017-01-03 Qualcomm Incorporated Context derivation for context-adaptive, multi-level significance coding
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10448053B2 (en) 2016-02-15 2019-10-15 Qualcomm Incorporated Multi-pass non-separable transforms for video coding
US10349085B2 (en) 2016-02-15 2019-07-09 Qualcomm Incorporated Efficient parameter storage for compact multi-pass transforms
US10708164B2 (en) 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
CN114339228B (zh) 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的系统和方法
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
US10855997B2 (en) 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10863199B2 (en) 2018-03-26 2020-12-08 Qualcomm Incorporated Minimization of transform memory and latency via parallel factorizations
EP3777165A1 (en) 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Determination of set of candidate transforms for video encoding
US10986340B2 (en) 2018-06-01 2021-04-20 Qualcomm Incorporated Coding adaptive multiple transform information for video coding
WO2019235797A1 (ko) 2018-06-03 2019-12-12 엘지전자 주식회사 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
US11025909B2 (en) * 2019-03-21 2021-06-01 Tencent America LLC Method and apparatus for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130272379A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MISCHA SIEKMANN ET AL.: "CE6 – related: Simplification of the Reduced Secondary Transform", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, no. 0555, 23 March 2019 (2019-03-23), pages 1 - 9 *
MOONMO KOO ET AL.: "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, no. 0193, 14 March 2019 (2019-03-14), pages 2 - 18 *

Also Published As

Publication number Publication date
US20200366937A1 (en) 2020-11-19
BR112021022343A2 (pt) 2022-01-04
AU2020278519A1 (en) 2021-11-25
CL2021003004A1 (es) 2022-08-19
SG11202111562TA (en) 2021-12-30
EP3970367A1 (en) 2022-03-23
KR20220008265A (ko) 2022-01-20
JP2022531913A (ja) 2022-07-12
US11032572B2 (en) 2021-06-08
WO2020236509A1 (en) 2020-11-26
AR118945A1 (es) 2021-11-10
BR112021022343A8 (pt) 2021-12-28

Similar Documents

Publication Publication Date Title
US11032572B2 (en) Low-frequency non-separable transform signaling based on zero-out patterns for video coding
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
US11539982B2 (en) Merge estimation region for multi-type-tree block structure
CN113748679A (zh) 用于视频编解码的帧内块复制合并数据语法
CN114128286A (zh) 视频编解码中的环绕运动补偿
CN111602395B (zh) 用于视频译码的量化组
WO2021061977A1 (en) Low-frequency non-separable transform (lfnst) simplifications
CN113853784A (zh) 用于视频译码的多个自适应环路滤波器集合
CN113994694A (zh) 视频译码中的简化帧内色度模式译码
CN114223202A (zh) 低频不可分离变换（lfnst）信令
US11368715B2 (en) Block-based delta pulse code modulation for video coding
US11632540B2 (en) Reference picture scaling ratios for reference picture resampling in video coding
CN114342389A (zh) 视频编解码和变换单元的以高层语法信令通知的最大和最小块大小
CN113632466A (zh) 视频数据的帧间-帧内预测模式
CN116508321A (zh) 视频译码期间基于联合分量神经网络的滤波
EP4082203A1 (en) Wraparound offsets for reference picture resampling in video coding
CN113545054A (zh) 视频编解码中子块变换的简化
CN114128283A (zh) 用于视频编解码的自适应参数集的存储器约束
CN114402620A (zh) 用于视频编解码的交叉分量自适应环路滤波的比特移位
CN114391256A (zh) 用于视频编解码的变换单元设计
CN115349255A (zh) 视频译码中的低频不可分离变换索引信令
CN114846801A (zh) 基于色度变换跳过的用于色度的lfnst信令
CN113396583A (zh) 预测性系数编解码
US11729381B2 (en) Deblocking filter parameter signaling
CN115462072A (zh) 视频译码中的高级去块滤波(dbf)、自适应环路滤波(alf)和采样自适应偏移(sao)控制以及自适应参数集(aps)数量约束

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40060241

Country of ref document: HK