CN112425164B - 多个可分离变换选择的变换变体 - Google Patents

Abstract

本公开描述了对用于编码和解码的可用离散余弦变换(DCT)和离散正弦变换(DST)数量进行扩展的示例。视频译码器从变换集合或逆变换集合中确定一个或更多个变换或逆变换以进行应用，变换集合包括DCT‑2、DST‑7、DST‑8、DCT‑3、DST‑2、DST‑3、DCT‑4、DST‑4、DST‑5、DST‑6以及恒等变换(IDT)，逆变换集合包括逆DCT‑2、逆DST‑7、逆DST‑8、逆DCT‑3、逆DST‑2、逆DST‑3、逆DCT‑4、逆DST‑4、逆DST‑5、逆DST‑6以及逆恒等变换(IDT)。

Description

多个可分离变换选择的变换变体

本申请要求2019年7月15日提交的美国申请No.16/511,927的优先权，该美国申请要求2018年7月16日提交的美国临时申请No.62/698,795的权益，这两者的全部内容通过引用合并于此。

技术领域

本公开涉及视频编码和视频解码。

背景技术

数字视频功能可以被集成到各种各样的设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电话、所谓的“智能电话”、视频电话会议设备、视频流设备等等。数字视频设备实施视频编码技术，例如那些由下述定义的标准中描述的技术：MPEG-2、MPEG-4、ITU-T H.263、ITU-TH.264/MPEG-4第10部分、高级视频编码(AVC)、高效视频编码(HEVC)标准、ITU-T H.265/高效视频编码(HEVC)、以及上述各标准的扩展。通过实施这些视频编码技术，上述视频设备可以更有效地对数字视频信息进行发送、接收、编码、解码和/或存储。

视频编码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或去除视频序列中固有的冗余。对于基于块的视频编码，可以将视频切片(例如，视频图片或视频图片的一部分)划分为视频块，这些视频块也可以被称为编码树单元(CTU)，编码单元(CU)和/或编码节点。对于图片的帧内编码的(I)切片中的视频块，使用相对于同一图片中相邻块中的参考样本的空间预测进行编码。对于图片的帧间编码的(P或B)切片中的视频块，可以使用相对于同一图片中相邻块中参考样本的空间预测或者相对于其他参考图片中的参考样本的时间预测。可以将图片称为帧，并且可以将参考图片称为参考帧。

发明内容

总的来说，本公开描述了用于变换编码的技术，所述变换编码包括多个可分离的变换选择(MSTS)设计的变体。在一些用于变换编码的视频编码技术中，除了离散余弦变换(DCT)-2之外，还可以采用另外两个变换，即离散正弦变换(DST)-7和DCT-8来进行可分离变换。然而，将附加的变换限制为只有DST-7和DCT-8会不必要地排除除了MSTS之外的提供具有竞争力的计算复杂度和存储器使用率的更多灵活性的变换。本公开描述的技术包括用于下述变换编码的附加的变换(例如，除了DST-7和DCT 8之外，或者作为替代，即，排除DST-7和DCT-8)，所述变换编码相对于将变换限制为DCT-2、DST-7和DCT-8的技术不会增加计算复杂度和存储器使用率。

在一个示例中，本公开描述了一种解码视频数据的方法。该方法包括：从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换以进行应用，其中所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)，将所确定的一个或更多个逆变换应用于表示残差块的系数值以生成所述残差块，以及基于预测块和所述残差块来重建当前块。

在一个示例中，本公开描述了一种编码视频数据的方法。该方法包括：从包括离散余弦变换(DCT)和离散正弦变换(DST)的变换集合中确定一个或更多个变换以进行应用，其中，所述变换集合包括DCT-2、DST-7、DST-8、DCT-3、DST-2、DST-3、DCT-4、DST-4、DST-5、DST-6以及恒等变换(IDT)，将所确定的一个或更多个变换应用于表示当前块的残差块的样本值来生成系数块；以及发信号通知指示所述系数块的视频数据。

在一个示例中，本公开描述了一种用于解码视频数据的设备。该设备包括：用于存储预测块的信息的存储器以及包括固定功能电路或可编程电路中至少之一的视频解码器。所述视频解码器被配置为：从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换以进行应用，其中所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)，将所确定的一个或更多个逆变换应用于表示残差块的系数值来生成所述残差块，以及基于预测块和所述残差块来重建当前块。

在一个示例中，本公开描述了一种其上存储有指令的计算机可读取存储介质。当执行这些指令时，使得用于解码视频数据的设备的一个或更多个处理器：从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换以进行应用，其中，所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)，将所确定的一个或更多个逆变换应用于表示残差块的系数值来生成所述残差块，以及基于预测块和所述残差块来重建当前块。

在以下附图和描述中阐明了一个或更多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优点将是显而易见的。

附图说明

图1是示出执行本公开的技术的示例的视频编解码系统的框图；

图2A和图2B是示出示例的四叉树-二叉树(quadtree binary tree，QTBT)结构和对应的编码树单元(CTU)的概念图；

图3是示出基于高效视频编码(HEVC)中的残差四叉树结构的变换方案的概念图；

图4是示出使用变换选择进行混合视频编码的示例系统的框图；

图5A和图5B是示出其中对水平线和垂直线进行独立变换的可分离变换实现的概念图；

图6是示出执行本公开的技术的示例的视频编码器的框图；

图7是示出执行本公开的技术的示例的视频解码器的框图；

图8是示出根据本公开的一种或更多种技术的解码视频数据的示例方法的流程图；

图9是示出根据本公开的一种或更多种技术的编码视频数据的示例方法的流程图；

图10是示出根据本公开的一种或更多种技术的解码视频数据的另一示例方法的流程图；以及

图11是示出根据本公开的一种或更多种技术的编码视频数据的另一示例方法的流程图。

具体实施方式

本公开涉及作为所有现有视频压缩标准的要素的变换编码，所述标准诸如M.Wien2015年在柏林施普林格出版社出版的High Efficiency Video Coding：Coding Tools andSpecification中描述的那些。变换编码的示例包括在通用视频编码(Versatile VideoCoding，VVC)标准中采用的多个可分离变换选择(MSTS)设计的变体。在VVC中，除了已经在高效视频编码(HEVC)标准中使用的DCT-2之外，另外两个变换，即，DST-7和DCT-8，都用于可分离变换。然而，该方法没有考虑其他替代方案，这些替代方案提供除了MSTS之外的具有竞争力的计算复杂度和存储器的更多的灵活性。

图1是示出执行本公开的技术的示例视频编解码系统100的框图。本公开的技术总体上涉及对视频数据进行译码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因而，视频数据可以包括原始视频、未译码视频、已编码视频、已解码(例如，已重建)视频以及视频元数据，例如信令数据。

如图1所示，在本示例中，系统100包括提供待被目标设备116解码和显示的已编码视频数据的源设备102。具体的，源设备102经由计算机可读取介质110向目标设备116提供视频数据。源设备102和目标设备116可以是各种设备中的任何设备，包括台式计算机、笔记本(即，膝上型)计算机、平板计算机、机顶盒、例如智能电话的电话手机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备等等。在一些情况下，源设备102和目标设备116可以被配置用于无线通信，因此可以被称为无线通信设备。

在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目标设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目标设备116的视频解码器300可以被配置为应用用于多个可分离变换选择的变换变体的技术。因此，源设备102表示视频编码设备的示例，而目标设备116表示视频解码设备的示例。在其他示例中，源设备和目标设备可以包括其他组件或布置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样地，目标设备116可以与外部显示设备接口连接，而不是包括集成显示设备。

图1中所示的系统100仅仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于多个可分离变换选择的变换变体的技术。源设备102和目标设备116仅仅是这些译码设备的示例，其中，源设备102生成已编码视频数据以传输到目标设备116。本公开将“译码”设备称为执行数据的译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备，具体是视频编码器和视频解码器，的示例。在一些示例中，设备102和设备116可以以基本对称的方式进行操作，使得设备102和设备116中的每一个都包括视频编码组件和视频解码组件。因此，系统100可以支持视频设备102和116之间的单向或双向视频传输，例如，用于视频流传输、视频回放、视频广播或视频电话。

通常，视频源104表示视频数据(即，原始的、未译码的视频数据)的源，并将视频数据的图片(也称为“帧”)的顺序系列提供给视频编码器200，视频编码器200为这些图片编码数据。源设备102的视频源104可以包括例如摄像机的视频捕获设备、包含先前捕获的原始视频的视频档案和/或从视频内容提供者接收视频的视频馈送接口。作为另一可替换方案，视频源104可以生成基于计算机图形的数据作为源视频，或者是将实时视频、存档视频和计算机生成的视频的组合作为源视频。在每种情况下，视频编码器200都对捕获到的视频数据、预捕获到的视频数据或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收顺序(有时称为“显示顺序”)重新排列为用于编码的编码顺序。视频编码器200可以生成包括已编码视频数据的比特流。之后，源设备102可以经由输出接口108将已编码视频数据输出到计算机可读取介质110上，以用于通过例如目标设备116的输入接口122的接收和/或取得。

源设备102的存储器106和目标设备116的存储器120表示通用存储器。在一些示例中，存储器106和存储器120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的、已解码的视频数据。另外或可替换地，存储器106和存储器120可以存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在本示例中与视频编码器200和视频解码器300分开显示，但应该理解的是，视频编码器200和视频解码器300还可以包括内部存储器，以实现功能上相似或等效的目的。此外，存储器106和存储器120可以存储例如从视频编码器200输出的以及输入到视频解码器300的已编码视频数据。在一些示例中，存储器106和存储器120的部分可以被分配为一个或更多个视频缓冲器，例如，以存储原始的视频数据、已解码的视频数据和/或已编码视频数据。

计算机可读取介质110可以表示能够将已编码视频数据从源设备102传送到目标设备116的任何类型的介质或设备。在一个示例中，计算机可读取介质110表示使得源设备102能够例如经由射频网络或基于计算机的网络来实时地将已编码视频数据直接发送到目标设备116的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以对包括已编码视频数据的传输信号进行调制，并且输入接口122可以对接收到的传输信号进行调制。通信介质可以包括无线通信介质或有线通信介质(例如射频(RF)频谱或一条或多条物理传输线)中的一种或两种。通信介质可以形成基于分组的网络(诸如局域网、广域网或诸如因特网之类的全球网络)的部分。通信介质可以包括路由器、交换机、基站或任何其他有助于从源设备102到目标设备116的通信的装备。

在一些示例中，源设备102可以将已编码数据从输出接口108输出到存储设备116。同样地，目标设备116可以经由输入接口122访问来自存储设备116的已编码数据。存储设备116可以包括多种分布式的或本地访问数据的存储介质中的任何一种，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、闪存、易失性或非易失性存储器、或用于存储已编码视频数据的任何其他合适的数字存储介质。

在一些示例中，源设备102可以将已编码视频数据输出到文件服务器114或可以存储由源设备102生成的已编码视频的另一中间存储设备。目标设备116可以通过流传输或下载来从文件服务器114访问所存储的视频数据。文件服务器114可以是能够存储已编码视频数据并能将所述已编码视频数据发送至目标设备116的任何类型的服务器设备。文件服务器114可以表示web服务器(例如，用于网站)、文件传输协议(FTP)服务器、内容分发网络设备、或网络附接存储(NAS)设备。目标设备116可以通过包括因特网连接的任何标准数据连接来从文件服务器114访问已编码视频数据。这可以包括适合于访问存储在文件服务器114上的已编码视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL，电缆调制解调器等)或二者的组合。文件服务器114和输入接口122可以被配置为根据流传输协议、下载传输协议或二者的组合来进行操作。

输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如以太网卡)、根据多种IEEE 802.11标准种的任一种进行操作的无线通信组件、或其他物理组件。在其中输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据例如4G、4G-LTE(长期演进)、LTE Advanced、5G等等的蜂窝通信标准来传送例如已编码视频数据的数据。在其中输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据例如IEEE 802.11规范、IEEE802.15规范(例如ZigBee^TM)、Bluetooth^TM标准等等的其他无线标准来传送例如已编码视频数据的数据。所述其他无线标准包括。在一些示例中，源设备102和/或目标设备116可以包括各片上系统(SoC)设备。例如，源设备102可以包括执行归于视频编码器200和/或输出接口108的功能的SoC设备，而目标设备116可以包括执行归于视频解码器300和/或输入接口122的功能的SoC设备。

可以将本公开的技术应用于支持多种多媒体应用中任一种的视频编码，所述多媒体应用包括例如空中电视广播、有线电视传输、卫星电视传输、因特网流视频传输(例如基于HTTP的动态自适应流(DASH))、编码至数据存储介质上的数字视频、存储于数据存储介质上的数字视频的解码、或其他应用。

目标设备116的输入接口122接收来自计算机可读取介质110(例如，存储设备112、文件服务器114等)的已编码视频比特流。来自计算机可读取介质110的已编码视频比特流可以包括由视频编码器200定义的信令信息，所述信令信息也被视频解码器300使用，例如具有描述视频块或其他已编码单元(例如，切片、图片、图片组、序列等)的特征和/或处理的值的语法元素。显示设备118向用户显示已解码视频数据的已解码图片。显示设备118可以表示多种显示设备中的任何一种，所述多种显示设备例如阴极射线管(CRT)显示器、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或其他类型的显示设备。

虽然图1中没有示出，但在一些示例中，视频编码器200和视频解码器300分别可以与音频编码器和/或音频解码器集成在一起，并且可以包括适当的MUX-DEMUX单元或其他硬件和/或软件，以处理包括普通数据流中的音频和视频两者的复用流。如果适用，则MUX-DEMUX单元与ITU H.223多路复用器协议或例如用户数据报协议(UDP)的其他协议一致。

视频编码器200和视频解码器300均可以实现为多种合适的编码器和/或解码器电路中的任何一种，例如一个或更多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任意组合。在使用软件部分地实现上述技术的情况下，设备可以将用于软件的指令存储在合适的非暂时性计算机可读取介质中，并在使用一个或更多个处理器的硬件中执行这些指令，以执行本公开的技术。视频编码器200和视频解码器300中的每一个可以被包括在一个或更多个编码器或解码器中，视频编码器200和视频解码器300中的任一个可以被集成为相应设备中的组合编码器/解码器(CODEC)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备，例如蜂窝电话。

视频编码器200和视频解码器300可以根据诸如ITU-T H.265(也称为高效视频编码(HEVC))的视频编码标准或其扩展(诸如多视图和/或可缩放的视频编码扩展)进行操作。可替换地，视频编码器200和视频解码器300可以根据诸如联合探索测试模型(JEM)或ITU-TH.266(也称为通用视频编码(VVC))的其他专有或工业标准进行操作。Bross等人的：“Versatile Video Coding(Draft 5)”，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)，第14次会议：日内瓦，瑞士，2019年3月19日至27日，JVET-N1001-v8(以下简称“VVC草案5”)描述了VVC标准的最新草案。然而，本公开的技术不限于任何特定的编码标准。

通常，视频编码器200和视频解码器300可以执行基于块的图片译码。术语“块”通常是指包括待处理的数据(例如，已编码的、已解码的、或者在编码和/或解码过程中使用的其他方式)的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以YUV(例如，Y，Cb，Cr)格式表示的视频数据进行编码。也就是说，视频编码器200和视频解码器300不是对图片的样本的红色、绿色和蓝色(RGB)数据进行译码，而是可以对亮度和色度分量进行译码，其中色度分量可以包括红色调色度分量和蓝色调色度分量两者。在一些示例中，视频编码器200在编码之前将接收到的RGB格式的数据转换成YUV表示，而视频解码器300将YUV表示转换成RGB格式。可替换地，预处理单元和后处理单元(未示出)可以执行这些转换。

本公开通常可以指图片的译码(例如，编码和解码)以包括对该图片的数据进行编码或解码的过程。同样地，本公开可以指对图片的块的编码以包括对所述块的数据进行编码或解码的过程，例如，预测和/或残差译码。已编码视频比特流通常包括用于语法元素的一系列值，这些语法元素表示编码决策(例如，编码模式)和将图片划分为块。因此，通常应该将对图片或块进行译码的描述理解为对形成该图片或块的语法元素的值进行译码。

HEVC定义了各种块，包括编码单元(CU)、预测单元(PU)和变换单元(TU)。根据HEVC，视频编码器(例如，视频编码器200)根据四叉树结构将编码树单元(CTU)分割为CU。也就是说，该视频编码器将CTU和CU分割为四个相等的且不重叠的正方形，并且该四叉树的每个节点具有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的CU可以包括一个或更多个PU和/或一个或更多个TU。视频编码器可以对PU和TU进行进一步分割。例如，在HEVC中，残差四叉树(RQT)表示TU的分割。在HEVC中，PU表示帧间预测数据，而TU表示残差数据。帧内预测的CU包括帧内预测信息，例如帧内模式指示。

作为另一示例，视频编码器200和视频解码器300可以被配置为根据JEM进行操作。根据JEM，视频编码器(例如，视频编码器200)将图片分割为多个CTU。视频编码器200可以根据树结构(诸如四叉树-二叉树(QTBT)结构)对CTU进行分割。JEM的QTBT结构取消了多种分割类型的概念，例如HEVC的CU、PU和TU之间的区别。JEM的QTBT结构包括两个级别：根据四叉树分割而分割的第一级，以及根据二叉树分割而分割的第二级。该QTBT结构的根节点对应于CTU。二叉树的叶节点对应于编码单元(CU)。

在一些示例中，视频编码器200和视频解码器300可以使用单个QTBT结构来表示亮度分量和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个QTBT结构，例如用于亮度分量的一个QTBT结构和用于两个色度分量的另一个QTBT结构(或用于各色度分量的两个QTBT结构)。

视频编码器200和视频解码器300可以被配置为使用按每个HEVC进行四叉树分割、根据JEM或VVC的QTBT分割、或其他分割结构。为了说明的目的，相对于QTBT分割对本公开的技术进行了描述。然而，应该理解的是，本公开的技术还可以应用于配置为使用四叉树分割或其它类型的分割的视频译码器。

本公开可以互换地使用“N×N”和“N乘N”来指代块(例如CU或其他视频块)在垂直维度和水平维度方面的样本维度，例如16×16样本或16乘16样本。通常，16×16的CU在垂直方向上会有16个样本(y＝16)，在水平方向上会有16个样本(x＝16)。同样地，N×N的CU通常在垂直方向上具有N个样本并且在水平方向上也具有N个样本，其中N表示非负的整数值。CU中的样本可以以行和列的方式排列。此外，CU在水平方向上的样本数量不必与垂直方向上的样本数量相同。举例来说，CU可以包括N×M个样本，其中M不必要等于N。

视频编码器200对表示预测和/或残差信息以及其他信息的CU的视频数据进行编码。预测信息指示将如何对该CU进行预测以便形成该CU的预测块。残差信息通常表示预测块与编码之前的CU样本之间的逐样本差值。

为了预测CU，视频编码器200通常可以通过帧间预测或帧内预测来形成用于CU的预测块。帧间预测通常是指根据先前已编码的图片的数据来预测CU，而帧内预测通常是指根据同一图片的先前已编码的数据来预测CU。为了执行帧间预测，视频编码器200可使用一个或更多个运动向量来生成预测块。视频编码器200通常可以执行运动搜索来标识(例如，在CU与参考块之间的差的方面)与CU紧密匹配的参考块。视频编码器200可以使用绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)或其他此类差值计算来计算差值度量，以确定参考块是否紧密匹配当前CU。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测该当前CU。

JEM或VVC还提供可以被认为是帧间预测模式的仿射运动补偿模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动(例如放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动向量。

为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。JEM或VVC提供了67种帧内预测模式，包括各种方向模式以及平面模式和DC模式。通常，视频编码器200选择这样的帧内预测模式，该帧内预测模式描述当前块(例如，CU的块)的相邻样本，根据该相邻样本预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右，从上到下)对CTU和CU进行编码，则此类样本通常位于与当前块相同的图片中当前块的上方、左上方或左侧。

视频编码器200对表示当前块的预测模式的数据进行编码。举例来说，对于帧间预测模式，视频编码器200可以对表示使用多种可用帧间预测模式中的哪一种以及用于相应帧间预测模式的运动信息的数据进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动向量预测(AMVP)或合并模式来对运动向量进行编码。视频编码器200可以使用类似的模式来对仿射运动补偿模式的运动向量进行编码。

在诸如块的帧内预测或帧间预测之类的预测之后，视频编码器200可以计算该块的残差数据。残差数据(例如残差块)表示该块与使用相应预测模式形成的该块的预测块之间的逐样本差值。视频编码器200可以对残差块应用一或更多个变换，以在变换域而非样本域中生成经变换的数据。举例来说，视频编码器200可以将离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外，视频编码器200可以在第一变换之后应用二次变换，例如，依赖于模式的不可分的二次变换(MDNSST)、依赖于信号的变换、Karhunen-Loeve变换(KLT)等。视频编码器200在应用一个或更多个变换之后产生变换系数。

如上所述，在进行任何产生变换系数的变换之后，视频编码器200可以对这些变换系数进行量化。量化通常是指对变换系数进行量化以可能减少用于表示所述系数的数据量，从而实现进一步的压缩的过程。通过执行量化过程，视频编码器200可以减小与所述系数中一些或全部相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对待量化的值进行按比特右移。

在量化之后，视频编码器200可以对变换系数进行扫描，从而根据包括经量化的变换系数的二维矩阵来产生一维向量。可以将该扫描设计为将较高能量(因此频率较低)的系数放在向量的前部，而将较低能量(因此频率较高)的变换系数放在向量的后部。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描经量化的变换系数以产生序列化的向量，然后对该向量的经量化的变换系数进行熵编码。在其他示例中，视频编码器200可以进行自适应扫描。在对已量化的变换系数进行扫描以形成一维向量之后，视频编码器200可以例如根据上下文的自适应二进制算术编码(CABAC)对该一维向量进行熵编码。视频编码器200还可以对描述元数据的语法元素的值进行熵编码，该元数据与视频解码器300在解码视频数据的过程中使用的已编码视频数据相关联。

为了执行CABAC，视频编码器200可以将上下文模型内的上下文分配给要发送的码元。该上下文可以涉及例如该码元的相邻值是否为零值。概率确定可以基于分配给该码元的上下文。

视频编码器200还可以生成给视频解码器300的例如在图片头部、块头部、切片头部中的例如基于块的语法数据、基于图片的语法数据以及基于序列的语法数据的语法数据或例如序列参数集(SPS)、图片参数集(PPS)、或视频参数集(VPS)的其他语法数据。视频解码器300可以同样地对这些语法数据进行解码以确定如何解码相应的视频数据。

以这种方式，视频编码器200可以生成比特流，该比特流包括已编码视频数据，例如，描述将图片分割为块(例如，CU)的语法元素以及上述块的预测和/或残差信息。最终，视频解码器300可以接收比特流并对所述已编码视频数据进行解码。

通常，视频解码器300执行与视频编码器200所执行的过程相反的过程，来对比特流的已编码视频数据进行解码。例如，视频解码器300可以使用CABAC以与视频编码器200的CABAC编码过程大体上相似的方式(虽然是相反的)来对比特流的语法元素的值进行解码。语法元素可以定义将图片分割为CTU的分割信息以及根据相应的分割结构(例如QTBT结构)的每个CTU的分割，从而定义该CTU的CU。语法元素还可以对视频数据的块(例如，CU)的预测和残差信息进行定义。

残差信息可以由例如经量化的变换系数表示。视频解码器300可以对块的经量化的变换系数进行逆量化和逆变换以再现该块的残差块。视频解码器300使用发信号通知的预测模式(帧内或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成用于该块的预测块。视频解码器300然后可以将该预测块和该残差块(在逐样本的基础上)进行组合以再现原始块。视频解码器300可以执行附加处理，例如执行解块过程以减少沿着块的边界的视觉伪像。

根据本公开的技术，视频编码器200和视频解码器300可以被配置为使用本公开中描述的技术分别执行对表示残差块的样本的变换或对系数块的逆变换。在使用可分离变换的过程中，视频编码器200将第一变换应用于表示残差数据的样本值的块以产生中间块，然后将第二变换应用于根据该第一变换的应用生成的该中间块以生成系数块。视频解码器300以逆变换执行类似的操作。例如，视频解码器300可以将第一逆变换应用于系数块，并将第二逆变换应用于根据该第一逆变换的应用生成的中间块以生成残差块。

一些其他技术限制了可用的变换和逆变换的类型是基于这些被排除的变换或逆变换太复杂或占用太多存储空间的假设。然而，排除某些类型的变换会对编码增益产生负面影响。因此，本公开描述了示例技术，其中附加的变换或逆变换(除了或排除在这些其他技术中使用的变换)得以应用，而与这些其他技术相比并不会增加复杂度和存储器使用率。

本公开通常可以指“发信号通知”某些信息，例如语法元素。术语“发信号通知”通常可以指语法元素的值和/或用于对已编码视频数据进行解码的其他数据的通信。即，视频编码器200可发信号通知比特流中的语法元素的值。通常，发信号通知是指在比特流中生成值。如上所述，源设备102可以基本上实时地或不实时地将比特流传送到目标设备116，诸如在将语法元素存储到存储设备112以用于稍后目标设备116的取得时可能发生的情况。

进一步地，本公开可以指项变换。在使用该项变换时，项指的是视频编码。视频解码是视频编码的逆，因此，应用逆变换。因此，在本公开中，当描述变换的应用时，所述变换的应用的逆被执行为视频解码的部分。

图2A和图2B是示出示例QTBT结构130和对应的CTU 132的概念图。实线表示四叉树划分，而虚线表示二叉树划分。在二叉树的每个划分(即非叶)节点中，发信号通知一个标志以指示使用了哪种划分类型(即，水平或垂直)，其中，0表示水平划分，而1表示垂直划分。对于四叉树划分，不需要指示划分类型，这是因为四叉树节点将块水平和垂直划分为大小相等的4个子块。因此，视频编码器200可以对QTBT结构130的区域树级(即，实线)的语法元素(例如划分信息)和QTBT结构130的预测树级(即，虚线)的语法元素(例如划分信息)进行编码，而视频解码器300可以对QTBT结构130的区域树级(即，实线)的语法元素(例如，划分信息)和QTBT结构130的预测树级(即，虚线)的语法元素(例如划分信息)进行解码。针对QTBT结构130的终端叶节点表示的CU，视频编码器200可以对例如预测和变换数据的视频数据进行编码，而视频解码器300可以对例如预测和变换数据的视频数据进行解码。

通常，图2B的CTU 132可以与定义了与QTBT结构130的第一级和第二级的节点相对应的块的尺寸的参数相关联。这些参数可以包括CTU尺寸(表示样本中CTU 132的尺寸)、最小四叉树尺寸(MinQTSize，表示最小允许的四叉树叶节点尺寸)、最大二叉树尺寸(MaxBTSize，表示最大允许的二叉树根节点尺寸)、最大二叉树深度(MaxBTDepth，表示最大允许的二叉树深度)和最小二叉树尺寸(MinBTSize，表示最小允许的二叉树叶节点尺寸)。

对应于CTU的QTBT结构的根节点可以在QTBT结构的第一级具有四个子节点，每个子节点可以根据四叉树分割进行分割。即，该第一级的节点是叶节点(没有子节点)或具有四个子节点。QTBT结构130的示例将这样的节点表示为包括以实线作为分支的父节点和子节点。如果该第一级的节点不大于最大允许的二叉树根节点尺寸(MaxBTSize)，则可以被相应的二叉树进一步分割。可以迭代进行一个节点的二叉树划分，直到该划分产生的节点达到最小允许的二叉树叶节点尺寸(MinBTSize)或最大允许的二叉树深度(MaxBTDepth)。QTBT结构130的示例以虚线作为分支的方式来表示这样的节点。二进制树叶节点被称为编码单元(CU)，其用于预测(例如，帧内预测或帧间预测)和变换，而不需要任何进一步的划分。如上面所讨论的，CU也可以被称为“视频块”或“块”。

在QTBT分割结构的一个示例中，将CTU的尺寸设置为128×128(亮度样本和两个对应的64×64色度样本)，MinQTSize设置为16×16，MaxBTSize设置为64×64，MinBTSize(针对宽度和高度两者)设置为4，以及MaxBTDepth设置为4。首先对CTU应用四叉树分割以生成四叉树叶节点。四叉树叶节点的尺寸可以从16×16(即MinQTSize)到128×128(即CTU尺寸)。如果四叉树叶节点为128×128，则该节点可能不会再被二叉树进一步划分，因为其尺寸超过了MaxBTSize(即，此示例中为64×64)。否则，四叉树叶节点还会被二叉树进一步划分。因此，四叉树叶节点也是二叉树的根节点并具有为0的二叉树深度。当二叉树的深度达到MaxBTDepth(此示例中为4)时，不允许进一步划分。二叉树节点的宽度等于MinBTSize(此示例中为4)表明不允许进一步的水平分割。类似地，二叉树节点的高度等于MinBTSize表明不允许对该二叉树节点再进行垂直划分。如上所述，二叉树的叶节点被称为CU，并且根据预测和变换对其进行进一步处理而无需再进行分割。

以下给出了离散正弦变换和离散余弦变换(DCT和DST)的概述。同时，也简要讨论了HEVC标准中使用的变换方案。

变换是指导出输入信号的可替换表示的过程。给定N点向量x＝[x₀，x₁，…，x_N-1]^T和一组给定的向量{Φ₀，Φ₁，…，Φ_M-1}，可以使用Φ₀，Φ₁，…，Φ_M-1的线性组合来近似或精确表示x，其可以表示为以下公式，

其中

可以是x的近似值或等效值，向量f＝[f_i，f₂，..，f_M-1]被称为变换系数向量，并且{Φ₀，Φ₁，…，Φ_M-1}是变换基向量。

在视频编码的场景下，变换系数大致是不相关且稀疏的，即，输入向量x的能量仅在几个变换系数上被压缩，其余大多数变换系数通常都接近于0。

给定特定的输入数据，在能量压缩方面最佳的变换是所谓的Karhunen-Loeve变换(KLT)，其将输入数据的协方差矩阵的特征向量用作变换基向量。因此，KLT实际上是依赖于数据的变换且没有通用的数学公式。然而，在某些假设下，例如，输入数据形成一阶平稳Markov过程，在文献中已证明对应的KLT实际上是酉变换的正弦族的一个成员，这在Jain，A.K.的A sinusoidal family of unitary transforms，IEEE Trans.on PatternAnalysis and Machine Intelligence，1，356,1979年，中介绍过。酉变换的正弦族指示使用变换基向量的变换，其表示为以下公式：

Φ_m(k)＝A·e^ikθ+B·e^-ikθ

其中e是自然对数的大约等于2.71828的底数，A、B和θ通常是复数并取决于m的值。

包括离散傅立叶变换、余弦变换、正弦变换和KLT(针对一阶平稳Markov过程)的几种众所周知的变换是该酉变换的上述正弦族的成员。根据S.A.Martucci的“Symmetricconvolution and the discrete sine and cosine transforms”，IEEETrans.Sig.Processing SP-42、1038页-1051页(1994年)，离散余弦变换(DCT)族和离散正弦变换(DST)族的完整集合总共包括16种基于不同类型(即，不同的A的、B的和θ的值)的变换，并在下面给出了不同类型的DCT和DST的完整定义。

假设输入的N点向量表示为x＝[x₀，x₁，…，x_N-1]^T，通过与矩阵相乘将其变换为另一个N点变换系数向量，表示为y＝[y₀，y₁，…，y_N-1]^T。根据以下变换公式中之一可以进一步说明该变换的过程，其中k的范围从0到N-1(包括0和N-1)：

DCT类型I(DCT-1)：

其中，

DCT类型II(DCT-2)：

其中，

DCT类型III(DCT-3)：

其中，

DCT类型IV(DCT-4)：

DCT类型V(DCT-5)：

其中，

且/>

DCT类型VI(DCT-6)：

其中，

且/>

DCT类型VII(DCT-7)：

其中，

且/>

DCT类型VIII(DCT-8)：

DST类型I(DST-1)：

DST类型II(DST-2)：

其中，

DST类型III(DST-3)：

其中，

DST类型IV(DST-4)：

DST类型V(DST-5)：

DST类型VI(DST-6)：

DST类型VII(DST-7)：

DST类型VIII(DST-8)：

其中，

且/>

所述“变换类型”由变换基函数的数学公式来定义，而与N的值无关，例如，4点DST-VII和8点DST-VII具有相同的变换类型。

不失一般性，以上全部类型都可以用下述通用公式来表示：

其中，T是由一个特定变换(例如，DCT类型-I至DCT类型-VIII，或DST类型-I至DST类型-VIII)的定义指定的“变换矩阵”，并且T的行向量，例如[T_i，0，T_i，1，T_i，2，…，T_i，N-1]，是第i个变换基向量。

应用于N点输入向量的变换被称为N点变换。还应该注意的是，应用于1-D输入数据x的上述变换公式可以以如下矩阵乘法的形式表示：

y＝T·x

其中，T指示变换矩阵，x指示输入数据向量，y指示输出变换系数向量。

下面介绍2维(2-D)输入数据的变换。如上所述的变换应用于1-D输入数据，而变换还可以扩展为用于2-D输入数据源。如果X是输入M×N数据阵列，将变换应用于2-D输入数据的典型方法包括可分离和不可分离2-D变换。

可分离2-D变换按顺序将1-D变换应用于X的水平向量和垂直向量，公式如下：

Y＝C·X·R^T

其中C和R分别表示给定的M×M和N×N变换矩阵。

从该公式可以看出，C对X的列向量应用1-D变换，而R对X的行向量应用1-D变换。在本公开的后续部分，为简单起见，将C和R表示为左(垂直)和右(水平)变换，两者形成变换对。在一些情况下，C等于R并且是正交矩阵。在这种情况下，仅由一个变换矩阵来确定可分离2-D变换。

不可分离2-D变换首先例如通过执行以下数学映射将X的全部元素重组为单个向量，即，X'：

X′_(i·N+j)＝X_i，j

然后，将1-D变换T’应用于X’，如下所示：

Y＝T′·X

其中T’是(M*N)×(M*N)变换矩阵。

在视频编码中，总是应用可分离2-D变换，因为与1-D变换相比，可分离2-D变换所需的运算(加法、乘法)量要少得多。

下面描述HEVC中应用的变换类型。在诸如H.264/AVC的常规视频编解码器中，对帧内和帧间预测残差始终都应用4点和8点离散余弦变换(DCT)类型II的整数近似。为了更好地适应残差样本的各种统计信息，新一代视频编解码器中使用了除DCT类型-II以外的更灵活类型的转换。例如，在HEVC中，将4点类型-VII离散正弦变换(DST)的整数近似用于帧内预测残差，这在理论上得以证明并在实验上得以验证(参见J.Han，A.Saxena和K.Rose的“Towards jointly optimal spatial prediction and adaptive transform in video/image coding”，声学、语音和信号处理IEEE国际会议(ICASSP)，2010年3月，第726-729页)的是，DST类型-VII对于沿帧内预测方向生成的残差向量比DCT类型-II更有效，例如，对于水平帧内预测方向生成的行残差向量，DST类型-VII比DCT类型-II更有效。在HEVC中，仅对4×4亮度帧内预测残差块应用4-点DST类型-VII的整数近似。

下面描述了基于HEVC中的残差四叉树的变换方案。为了适应残差块的各种特征，在HEVC中应用了使用残差四叉树(residual quadtree，RQT)的变换编码结构，简要对其介绍如下(参见http：//www.hhi.fraunhofer.de/fields-of-competence/image-processing/research-groups/image-video-coding/hevc-high-efficiency-video-coding/transform-coding-using-the-residual-quadtree-rqt.html)。

每个图片被分成编码树单元(CTU)，对这些CTU以光栅扫描顺序进行编码以用于特定的图块(tile)或切片。CTU是正方形块，表示四叉树(即编码树)的根。CTU尺寸可以为8×8到64×64个亮度样本的范围内，但通常使用64×64。每个CTU可以进一步被划分为更小的称为编码单元(CU)的正方形块。在将CTU递归地划分成CU之后，将每个CU进一步分成预测单元(PU)和变换单元(TU)。基于四叉树方法递归地执行将CU分割为TU，因此，每个CU的残差信号由树结构，即，残差四叉树(RQT)，进行编码。RQT允许TU尺寸从4×4上至32×32个亮度样本。

图3示出了其中CU包括10个用字母a至j标记的TU的示例和相应的块分割。RQT的每个节点实际上都是变换单元(TU)。按照在图中以字母顺序示出的深度优先树的遍历顺序来处理各个TU，该顺序遵循具有深度优先遍历的递归Z扫描。四叉树方法使得变换能够适应残差信号的变化的空间-频率特征。通常，具有越大空间支持的越大的变换块尺寸提供越好的频率分辨率。然而，具有越小的空间支持的越小的变换块尺寸提供越好的空间分辨率。空间分辨率和频率分辨率两者之间的权衡由视频编码器200或视频解码器300的模式决策例如基于速率失真优化技术来选择。速率失真优化技术针对每种编码模式(例如，特定的RQT划分结构)计算编码比特和重建失真的加权和(即，速率失真成本)，并选择具有最小速率失真成本的编码模式作为最佳模式。

在RQT中定义了三个参数：树的最大深度，最小允许的变换尺寸和最大允许的变换尺寸。最小和最大变换尺寸可以在4×4到32×32个样本的范围内变化，这对应于上一段中提到的被支持的块变换。RQT的最大允许的深度限制了TU的数量。最大深度等于零表示如果每个所包含的TB达到最大允许的变换尺寸，例如，32×32，则不能再对CB进行划分。

所有这些参数相互作用并影响RQT结构。考虑根CB尺寸为64×64，最大深度等于零且最大变换尺寸等于32×32的情况。在这种情况下，至少要对CB进行一次分割，因为如果不这么做，则会导致64×64的TB，这是不允许的。在序列参数集级别的比特流中传输RQT参数，即，最大RQT深度、最小和最大变换尺寸。关于RQT深度，可以为帧内和帧间已编码CU指定和发信号通知不同的值。

对帧内和帧间残差块都应用四叉树变换。通常，对残差块应用与当前残差四叉树分割的尺寸相同的DCT-II变换。但是，如果当前残差四叉树块为4×4并且是通过帧内预测生成的，则应用上述4×4的DST-VII变换。

在HEVC中，未采用较大尺寸的变换(例如64×64变换)，主要是因为其有限的益处考量以及其对于较小分辨率视频的较高复杂度。

图4是示出用于具有变换选择的混合视频编码的示例系统的框图。本公开适用于图4中所示的典型的自适应变换编码方案。在该方案中，对于预测残差的每个块，视频编码器200可以选择不同的变换，并且将该变换选择编码为边信息以用于发信号通知。

如所示出的，图4示出了其中视频帧首先被分为像素块(块分离142)的视频编码系统(即，视频编码器，例如视频编码器200)的图。像素块的示例类型可以包括用于CU的编码块。此外，在图4中，视频编码器以每个块中的每个像素值的预测值减去该像素值(144)。视频编码器可以使用线性运算对差值(即，残差)的块进行数字变换(块变换146)。在图4的示例中，r表示残差数据，T^(t)r表示经变换的残差数据，以及t表示哪个变换被应用于残差以生成T^(t)r的指示。变换库155存储用于不同类型的变换的等式或信息，块变换146基于从变换库155中选择的变换来对该变换(例如，T^(t))进行应用。

在图4中，视频编码器可以对经变换的残差数据进行量化(量化148)和对已量化的经变换的残差数据进行逆量化(逆量化150)。此外，视频编码器可以对已逆量化的经变换的残差数据应用逆变换(逆变换152)以恢复残差数据。视频编码器的帧缓冲器154，也称为已解码图片缓冲器(DPB)，对基于残差数据确定的重建像素块进行存储。视频编码器可以使用存储在帧缓冲器154中的重建像素块来预测其他像素块(块预测156)。在图4的示例中，可以基于之前所应用的用于生成经变换的残差数据的变换来确定视频编码器对所述经变换的残差数据所应用的逆变换。可以将哪个变换被应用以生成所述经变换的残差数据的指示提供给视频编码器的熵编码单元158。熵编码单元158可以对指示该变换的语法元素和指示该已量化的经变换残差数据的语法元素一起进行熵编码。

图5A和5B是示出其中水平线和垂直线被独立地变换的可分离变换实施方式的概念图。例如，在实践中，为了降低计算复杂度，通常以可分离的方式来计算块变换，即，水平线和垂直线被独立地变换，如图5A和5B所示。例如，视频编码器200可以对水平线应用图4的示例操作，如图5A所示，并对所得块的垂直线应用图4的示例操作，如图5B所示。

在HEVC之前的视频编码标准中，仅使用固定的可分离变换，其中在垂直方向和水平方向均使用DCT-2。在HEVC中，除了DCT-2之外，DST-7也作为固定的可分离变换被用于4×4块。在讨论下一代视频编码标准时，通用视频编码(VVC)、DST-7和DCT-8用于尺寸大至32×32的块，而DCT-2用于尺寸大至64×64的块。对于信令，发信号通知指示是否在水平和垂直方向都采用了DCT-2的一个标志。如果DCT-2并未在两个方向上都被应用，则发信号通知指示选择了DST-7和DCT-8中哪个变换来应用于水平方向的一个标志并且发信号通知指示选择了DST-7和DCT-8中哪个变换来应用于垂直方向的一个标志。VVC设计中描述的方法被称为多个可分离变换选择(MSTS)。

使用现有技术可能存在某些技术问题。在MSTS的当前设计中，除了DCT-2以外仅包含两个变换，即，DST-7和DCT-8。如果启用了MSTS，视频编码器200在水平和垂直方向上可以分别在DST-7和DCT-8之间选择。该决策主要是由于对计算复杂度和存储器的关注。然而，当前的设计没有考虑其他类型的变换变体和应用，这些变换变体和应用可以在不比当前采用的变换和应用增加计算复杂度和存储器的情况下提供编码效率。

本公开描述了变换核设计变体和对当前MSTS的应用，其既不会增加计算复杂度也不会增加存储器。给定变换矩阵T，则可以通过矩阵转置(矩阵转置对应于逆变换，这是由于所有的离散三角变换都被定义为正交的)和“反射”运算FTS和STF来定义一些关系，F和S是由下述内容的4.2节定义的正交的对合矩阵(involutory matrix)，对合矩阵是其自身的逆，所述内容是J.Han，A.Saxena和K.Rose的“Towards jointly optimal spatialprediction and adaptive transform in video/image coding”，IEEE国际声学、语音与信号处理会议(ICASSP)，2010年3月，第726-729页。

T	T<sup>t</sup>	FTS	STF	F T<sup>t</sup> S	S T<sup>t</sup> F
						T<sup>(C2)</sup>	T<sup>(C3)</sup>	T<sup>(S2)</sup>	T<sup>(C2)</sup>	T<sup>(C3)</sup>	T<sup>(S3)</sup>
T<sup>(S7)</sup>	T<sup>(S6)</sup>	T<sup>S5)</sup>	T<sup>(C8)</sup>	T<sup>(C8)</sup>	T<sup>(S5)</sup>
						T<sup>(C8)</sup>	T<sup>(C8)</sup>	T<sup>(S6)</sup>	T<sup>(S7)</sup>	T<sup>(S6)</sup>	T<sup>(S7)</sup>
T<sup>(C4)</sup>	T<sup>(C4)</sup>	T<sup>(S4)</sup>	T<sup>(S4)</sup>	T<sup>(S4)</sup>	T<sup>(S4)</sup>

表1

换句话说，F表示翻转1D向量的值(例如，用于编码的残差值或用于解码的系数值)。该翻转操作包括将该1D向量的第一个值替换为该1D向量的最后一个值并将该1D向量的最后一个值替换为该1D向量的第一个值，将该1D向量的第二个值替换为该1D向量的倒数第二个值并将该1D向量的倒数第二个值替换为该1D向量的第二个值，依此类推。S表示符号改变，在某些示例中，针对1D向量中的每个奇数值或条目，符号会被改变。因此，FTS意味着先进行符号改变，进行变换，然后再进行翻转(如矩阵乘法中一样从右向左)。STF意味着先翻转，进行变换，然后再进行符号改变。

如表1所示，可以通过当前在VVC中得以采用的变换，即DCT-2、DST-7和DST-8的简单反射、符号改变和转置来得到包括DCT-3，DST-2，DST-3，DST-5和DST-6的三角变换的核。包含这些转换可以在既没有附加的存储器成本也不增加所需运算的数量的情况下提供灵活性和潜在的编码效率。另外，在HEVC的DCT-2的当前实现中，采用了部分蝶形配置。对于N维DCT-2蝶形电路，还嵌入了N/2×N/2DCT-4电路。因此，在选择主变换时包括DCT-4不会增加存储器成本和硬件实施的复杂度。

表1的第一列标识了DCT-2(例如T^(C2))，DST-7(例如T^(S7))，DCT-8(例如T^(C8))和DCT-4(例如，T^(C4))。如表1所示，通读第一行可知，DCT-3(例如T^(C3))是DCT-2的转置，DST-2是DCT-2的翻转和符号改变，DCT-2的符号和翻转得到DCT-2(即没有变化)，DCT-3(例如T^(C3))也是DCT-2的转置的翻转和符号改变，以及DST-3(例如T^(S3))是DCT-2的转置的符号改变和翻转。通读第二行可知，DST-6是DST-7的转置，DST-5是DST-7的翻转和符号改变，DCT-8是DST-7的符号改变和翻转，DCT-8也是DST-7的转置的翻转和符号改变，以及DST-5是DST-7的转置的符号改变和翻转。可以以类似的方法来阅读表1的最后两行。

表1示出DST-4是基于反射和符号改变的DCT-4的变体，并且这种包含也不会增加实施负担。此外，在单个1-D变换(垂直或水平变换)足以提供良好压缩性能的情况下，可以使用恒等变换(IDT)。

在一些示例中，存在对视频编码器200和视频解码器300上有多少永久存储器(例如，只读存储器(ROM))可用的限制。因此，一些技术对存入视频编码器200和视频解码器300的永久存储器中的值进行了限制，以仅存储用于DCT-2、DST-7和DCT-8的核(例如，基函数值)。例如，在另一些技术中，实现了一种平衡，即，确保视频编码器200和视频解码器300的永久存储器不会全部用尽来存储变换(例如DCT和DST)的值，仅存储并使用用于少数DCT和DST的值，这种方案会影响视频译码的质量(例如，其他类型的DCT和DST可能更适合视频译码，但由于存储器限制而不可用)。

然而，如表1所示，存在可以即时(on-the-fly)(例如，在视频编码器200和视频解码器300的进行操作期间)被计算的多个DCT和DST。作为示例，视频编码器200和视频解码器300可以将用于不同块尺寸的DCT-2的值存储在永久存储器中。在进行操作期间，如果DCT-3是视频译码的更好选择，则视频编码器200和视频解码器300可以即时生成用于DCT-3的值(例如，通过对于特定块尺寸确定DCT-2的转置)。视频编码器200和视频解码器300可以在视频编码器200和视频解码器300的临时存储器中存储计算的结果以确定用于DCT-3的值。例如，视频编码器200和视频解码器300可以能够在该临时存储器中提供足够的存储空间，以至少临时地存储用于DCT-3的值以执行视频编码或解码操作。在对当前块进行编码或解码之后，如果需要该临时存储器，则视频编码器200和视频解码器300可以清空该临时存储器，但是如果临时需要另一个DCT或DST(例如，并不是DCT-2、DST-7和DCT-8中的一个)，则稍后再次使用同样的临时存储器空间。

因此，在本公开中描述的一个或更多个示例中，视频编码器200和视频解码器300不会被限制于相同的DCT和DST-类型，例如在VVC草案5中。比如，不是被限制为DCT-2、DST-7和DCT-8，视频编码器200和视频解码器300可以即时生成用于附加的例如表1中的那些的DCT和DST类型的值，并使用那些DCT和DST类型进行编码和解码。

因此，变换集可以满足以下属性中的一个或更多个。通过从集合S＝{DCT-2，DST-7，DST-8，DCT-3，DST-2，DST-3，DCT-4，DST-4，DST-5，DST-6，IDT}中选择一对1-D变换(核)来获得可分离变换，并且通过这样的多个对来生成多个变换候选。

可以从S中分别为水平和垂直选择变换对。可以基于诸如帧内预测模式、帧间预测模式、块尺寸的信息来完成对变换核的预选择。所以，可以预定义用于变换核的由所述信息(预测模式等)索引的查找表。因此，不会增加RD优化循环的数量。

以下提供了一些示例。如果选择水平模式进行帧内预测，则可以从DST-7和DST-6中选择一个水平1-D变换，并从DST-2和DCT-3中选择一个垂直1-D变换。因此，(水平，垂直)组合总共有4个候选，包括(DST-7，DCT-2)、(DST-7，DCT-3)、(DST-6，DCT-2)、(DST-6，DCT-3)，因而除了当前的VVC标准之外，不需要附加的RD优化循环。

对于宽度(高度)小于或等于8的块，可以从DST-7和DCT-8中选择用于水平(垂直)方向的一个变换。对于宽度(高度)大于8的块，可以从DST-5和DCT-3中选择用于水平(垂直)方向的一个变换。宽度或高度是指水平方向(宽度)或垂直方向(高度)的样本的数量。对于某些帧内模式(例如水平)，变换候选可以包括IDT，以便(水平，垂直)变换组合可以包括(DST-7，IDT)和(DST-6，IDT)。

上面的示例描述了对所使用的变换进行扩展的方法。本公开还描述了其中使用不同的变换(例如，核)对同一个块进行变换或逆变换的示例。例如，可以使用第一变换类型对块的一些行或列进行变换或逆变换，而使用第二变换类型对该块的其他行或列进行变换或逆变换。

在尺寸为N×M的变换块中，不是将一个水平(垂直)变换应用于所有行(列)，对于当前标准，可以在水平(垂直)方向上以下述方式应用多达两个变换T₁和T₂，所述方式是将T₁应用于前n行(列)，将T₂应用于后面N-n行(M-n列)。

可以基于诸如帧内预测模式、帧间预测模式、块尺寸等信息来完成对变换核的预选择。所以，可以预定义用于变换核的由所述信息(预测模式等)索引的查找表。因此，不会增加RD优化循环的数量。

以下提供了一些示例。当从左上角开始的用于帧内预测的对角线模式被应用时，可以基于速率失真优化从H₁＝(DST-7，DCT-2)和H₂＝(DCT-3，DCT-2)两个集合中选择水平变换。如果选择H₁＝(DST-7，DCT-2)用于水平变换核，则前N/2行应用DST-7，而对最后N/2行应用DCT-2。对于垂直变换，视频编码器200或视频解码器300可以在V₁＝(DST-7，DCT-2)和V₂＝(DST-5，DCT-2)两个集合之间选择。如果选择V₂＝(DST-5，DCT-2)，则对前M/2列应用DST-5，而对最后M/2列应用DCT-2。所以，(水平，垂直)组合总共有4个候选，包括(H₁，V₁)，(H₁，V₂)，(H₂，V₁)和(H₂，V₂)。因而除了当前的VVC标准之外，不需要附加的RD优化循环。

当对当前块应用帧间预测并且基于左侧的相邻块使用空间运动向量预测时，可以基于速率失真优化从H₁＝(DCT-8，DST-3)和H₂＝(DCT-8，DCT-4)两个集合中选择水平变换。如果选择H₁＝(DCT-8，DST-3)用于水平变换核，则对前N/3行应用DCT-8，对最后(2×N)/3行应用DST-3。对于垂直变换，视频编码器200或视频解码器300可以在V₁＝(DCT-7，DCT-2)和V₂＝(DST-5，DCT-2)两个集合之间进行选择。如果选择V₂＝(DST-5，DCT-2)，则对前M/2列应用DST-5，而对最后M/2列应用DCT-2。

当应用开始于顶部相邻块的帧内预测的垂直模式时，可以基于速率失真优化从H₁＝(DST-7，DCT-2)和H₂＝(DCT-3，DCT-2)两个集合中选择水平变换。如果选择H₁＝(DST-7，DCT-2)用于水平变换核，则对前N/2行应用DST-7，并对最后N/2行应用DCT-2。对于垂直变换，可以在IDT和DST-7两个核之间选择变换核。如果选择了DST-7，则对所有列都应用DST-7。

图6是示出可以执行本公开的技术的示例视频编码器200的框图。出于阐述的目的提供图6，而不应该将其视为限制本公开中广泛例示和描述的技术。为了说明的目的，本公开在诸如HEVC视频编码标准和H.266视频编码标准的视频编码标准的上下文中描述了视频编码器200，H.266视频编码标准也被称为开发中的通用视频编码(VCC)。然而，本公开的技术不限于这些视频编码标准，并且通常可以应用于视频编码和解码。

在图6的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重建单元214、滤波器单元216、已解码图片缓冲器(DPB)218和熵编码单元220。

视频数据存储器230可以存储待由视频编码器200的组件进行编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储于视频数据存储器230中的视频数据。DPB 218可以充当参考图片存储器，其存储视频编码器200预测后续视频数据时使用的参考视频数据。视频数据存储器230和DPB 218可以由多种存储设备中的任一种形成，例如动态随机访问存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻性RAM(RRAM)或其他类型的存储设备。视频数据存储器230和DPB 218可以由相同存储设备或分离的存储设备提供。在多个示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如所示出的，或者相对于那些组件在芯片外。

在本公开中，对视频数据存储器230的指代不应该被解释为受限于视频编码器200内部的存储器(除非如此具体地描述)，或者受限于视频编码器200的外部存储器(除非如此具体地描述)。而是，对视频数据存储器230的指代应该被理解为存储视频编码器200接收的用于编码的视频数据(例如，用于待编码的当前块的视频数据)的参考存储器。图1的存储器106还可以为来自视频编码器200的各个单元的输出提供临时存储。

对图6的各个单元进行说明，以帮助理解由视频编码器200执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并为可以执行的操作进行预设的电路。可编程电路是指可以被编程以执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，这些软件或固件使得可编程电路以软件或固件的指令所定义的方式来进行操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，所述单元中的一个或更多个可以是不同的电路块(固定功能或可编程)，而在一些示例中，所述一个或更多个单元可以是集成电路。

视频编码器200可以包括算术逻辑单元(ALU)、基本功能单元(EFU)、数字电路、模拟电路和/或由可编程电路形成的可编程核。在使用由可编程电路执行的软件来进行视频编码器200的操作的示例中，存储器106(图1)可以对视频编码器200接收并执行的软件的目标代码进行存储，或者在视频编码器200中的其他存储器(未显示)对这些指令进行存储。

视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可以从视频数据存储器230中取得视频数据的图片，并将上述视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是待被编码的原始视频数据。

模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括根据其他预测模式进行视频预测的附加功能单元。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(LM)单元等。

模式选择单元202通常协调多个编码通路，以测试编码参数的组合和所述组合的所得速率失真值。编码参数可以包括将CTU分割为CU，用于CU的预测模式，用于CU的残差数据的变换类型，用于CU的残差数据的量化参数等。模式选择单元202最终选择具有比其他经测试的组合更好的速率失真值的编码参数的组合。

视频编码器200可将从视频数据存储器230取得到的图片分割分为一系列CTU，并将一个或更多个CTU封装在切片内。模式选择单元202可以根据树结构，例如上述HEVC的四叉树结构或QTBT结构，来对图片的CTU进行分割。如上所述，视频编码器200可根据树结构、通过分割CTU来形成一个或更多个CU。这种CU通常还可以被称为“视频块”或“块”。

通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前CU，或HEVC中PU和TU的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以标识一个或更多个参考图片(例如，存储在DPB 218中的一个或更多个先前已编码图片)中的一个或更多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(SAD)、平方差之和(SSD)、平均绝对差(MAD)、均方差(MSD)等来计算表示潜在参考块与当前块有多相似的值。运动估计单元222通常可以使用当前块与所考虑的参考块之间的逐样本差值来进行这些计算。运动估计单元222可以标识具有由这些计算所得的最小值的参考块，其表示与当前块最紧密匹配的参考块。

运动估计单元222可以形成一个或更多个运动向量(MV)，所述运动向量定义参考图片中的参考块相对于当前图片中的当前块的位置的位置。之后，运动估计单元222可以将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动向量，而对于双向帧间预测，运动估计单元222可以提供两个运动向量。运动补偿单元224之后可以使用运动向量来生成预测块。例如，运动补偿单元224可以使用运动向量来取得参考块的数据。作为另一示例，如果运动向量具有分数样本精度，则运动补偿单元224可以根据一个或更多个插值滤波器来插值预测块的值。此外，对于双向帧间预测，运动补偿单元224可以取得由相应的运动向量标识的两个参考块的数据并且例如通过逐样本平均或加权平均来对所取得的数据进行组合。

作为另一个示例，对于帧内预测或帧内预测编码，帧内预测单元226可以根据与当前块相邻的样本来生成预测块。例如，对于方向模式，帧内预测单元226通常可以对相邻样本的值进行数学组合，并在当前块上沿定义的方向填充这些计算出的值以产生预测块。作为另一示例，对于DC模式，帧内预测单元226可以计算相邻样本到当前块的平均值并且生成预测块以为预测块的每个样本包括该所得平均值。

模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未编码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样本差值。所得逐样本差值定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差值以使用残差差分脉冲代码调制(RDPCM)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或更多个减法器电路来形成残差生成单元204。

在模式选择单元202将CU分割为PU的示例中，每个PU可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有多种尺寸的PU。如上所示，CU的尺寸是指CU的亮度编码块的尺寸，PU的尺寸是指PU的亮度预测单元的大小。假设某CU的尺寸为2N×2N，则视频编码器200可以支持用于帧内预测的PU尺寸为2N×2N或N×N，用于帧间预测的对称PU的尺寸为2N×2N、2N×N、N×2N、N×N或类似的尺寸。视频编码器200和视频解码器300还可以支持用于帧间预测的不对称分割的PU的尺寸为2N×nU、2N×nD、nL×2N和nR×2N。

在模式选择单元不将CU进一步分割为PU的示例中，每个CU可以与亮度编码块和对应的色度编码块相关联。如上所述，CU的尺寸是指CU的亮度编码块的尺寸。视频编码器200和视频解码器300可以支持的CU的尺寸为2N×2N、2N×N或N×2N。

对于其他视频编码技术，例如块内复制模式编码、仿射模式编码以及线性模型(LM)模式编码，作为少数示例，模式选择单元202经由与编码技术相关联的相应单元生成用于正在被编码的当前块的预测块。在一些示例中，例如调色板模式编码中，模式选择单元202可以不生成预测块，而是生成语法元素，该语法元素指示基于所选择的调色板来重建块的方式。在该模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。

如上所述，残差生成单元204接收当前块和对应的预测块的视频数据。残差生成单元204然后生成当前块的残差块。残差生成单元204计算预测块和当前块之间的逐样本差值以生成残差块。

变换处理单元206对残差块应用一个或更多个变换以生成变换系数的块(在本文中称为“变换系数块”)。变换处理单元206可以对残差块应用多个变换以形成变换系数块。例如，变换处理单元206可以对残差块应用离散余弦变换(DCT)、方向变换、Karhunen-Loeve变换(KLT)或概念上类似的变换。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如主变换和二次变换(诸如旋转变换)。在一些示例中，变换处理单元206不对残差块应用变换。

根据本公开中所描述的一个或更多个示例，视频编码器200可以被配置为从包括离散余弦变换(DCT)和离散正弦变换(DST)的变换集合中确定一个或更多个变换进行应用，其中该变换集合包括DCT-2、DST-7、DST-8、DCT-3、DST-2、DST-3、DCT-4、DST-4、DST-5、DST-6以及恒等变换(IDT)。变换处理单元206可以被配置为将所确定的一个或更多个变换应用于表示残差块的样本值以生成系数块。

量化单元208可以对变换系数块中的变换系数进行量化，以生成已量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(QP)值来对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与CU相关联的QP值来调整应用于与当前块相关联的系数块的量化程度。量化会引起信息丢失，因此，已量化的变换系数的精度会比变换处理单元206产生的原始变换系数的精度低。

逆量化单元210和逆变换处理单元212可以分别对已量化的变换系数块进行逆量化和逆变换，以根据变换系数块重建残差块。重建单元214可基于重建残差块和由模式选择单元202生成的预测块来产生与当前块相对应的重建块(尽管可能具有某种程度的失真)。例如，重建单元214可将重建残差块的样本添加到来自模式选择单元202所生成的预测块的对应样本，以产生重建块。

滤波器单元216可以对重建块执行一个或更多个滤波器操作。例如，滤波器单元216可以执行解块操作以减少沿着CU的边缘的块状伪像。在一些示例中，可以跳过滤波器单元216的操作。

视频编码器200将重建块存储于DPB 218中。例如，在不需要滤波器单元216的操作的示例中，重建单元214可以将重建块存储到DPB 218中。在需要滤波器单元216的操作的示例中，滤波器单元216可将经滤波的重建块存储到DPB 218中。运动估计单元222和运动补偿单元224可从DPB 218取得参考图片，该参考图片由重建的(并且可能是经滤波的)的块形成，以对后续已编码图片的块进行帧间预测。另外，帧内预测单元226可以使用当前图片在DPB 218中的重建块来对该当前图片中的其他块进行帧内预测。

通常，熵编码单元220可对从视频编码器200的其他功能组件接收到的语法元素进行熵编码。例如，熵编码单元220可对来自量化单元208的已量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或更多个熵编码操作，以生成经熵编码的数据。例如，熵编码单元220可以执行上下文自适应可变长度编码(CAVLC)操作、CABAC操作、可变至可变(V2V)长度编码操作、基于语法的上下文自适应二进制算术编码(SBAC)操作、概率区间分割熵(PIPE)编码操作、指数哥伦布编码操作或对数据进行的其他类型的熵编码操作。在一些示例中，熵编码单元220可以在其中语法元素未被熵编码的旁路模式下进行操作。

视频编码器200可输出包括重建切片或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流。

以上所述的操作是相对于块来描述的。这种描述应当被理解为用于亮度编码块和/或色度编码块的操作。如上所述，在一些示例中，亮度编码块和色度编码块是CU的亮度分量和色度分量。在一些示例中，亮度编码块和色度编码块是PU的亮度分量和色度分量。

在一些示例中，不必对色度编码块重复进行对亮度编码块执行过的操作。作为一个示例，不需要重复用于标识亮度编码块的运动向量(MV)和参考图片的操作来标识色度块的MV和参考图片。而是，可以对亮度编码块的MV进行缩放来确定色度块的MV，并且参考画面可以是相同的。作为另一示例，对于亮度编码块和色度编码块，帧内预测过程可以是相同的。

视频编码器200表示配置为对视频数据进行编码的设备的示例，该设备包括配置为存储视频数据的存储器以及实现于电路中并被配置为执行本公开中所述的示例技术的一个或更多个处理单元。例如，视频编码器200可以被配置为从包括离散余弦变换(DCT)和离散正弦变换(DST)的变换集合中确定一个或更多个变换以进行应用，其中该变换集合包括DCT-2、DST-7、DST-8、DCT-3、DST-2、DST-3、DCT-4、DST-4、DST-5、DST-6以及恒等变换(IDT)，视频编码器200还被配置为将所确定的一个或更多个变换应用于表示残差块的样本值以生成系数块，以及发信号通知指示该系数块的视频数据。

作为一个示例，基于当前块的一个或更多个特征，变换候选的第一组包括(DST-7和DST-6)，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。基于当前块的一个或更多个特征，变换候选的第二组包括(DST-2和DCT-3)，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。

作为另一示例，基于当前块的一个或更多个特征，变换候选的组包括(DST-7和DCT-8)，上述一个或更多个特征包括当前块具有小于或等于8的宽度或高度。作为另一示例，基于当前块的一个或更多个特征，变换候选的组包括(DST-5和DCT-3)，上述一个或更多个特征包括当前块具有大于8的宽度或高度。

视频编码器200还可以配置为基于对表示残差块的样本值应用两个或更多个变换来生成系数块。为了对系数块应用两个或更多个变换，视频编码器200可以被配置为对系数块的第一数量的行或列应用第一变换，并对系数块的第二数量的行或列应用第二变换。视频编码器200可以被配置为发信号通知指示系数块的视频数据。

在一个或更多个示例中，视频编码器200可以被配置为从变换的组中选择第一组变换。作为一个示例，基于从左上角进行应用的用于帧内预测的对角线模式，对于水平变换，视频编码器200可以从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DST-7和DCT-2)，而组H2包括(DCT-3和DCT-2)。基于从左上角进行应用的用于帧内预测的对角线模式，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(DST-7和DCT-2)，而组V2包括(DST-5和DCT-2)。

在另一个示例中，基于所应用的帧间预测以及基于左侧的相邻块被使用的空间运动向量预测，对于水平变换，视频编码器200可以从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DCT-8和DST-3)，而组H2包括(DCT-8和DCT-4)。基于所应用的帧间预测以及基于左侧的相邻块被使用的空间运动向量预测，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(DCT-7和DCT-2)，而组V2包括(DST-5和DCT-2)。

在另一个示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于水平变换，视频编码器200可以从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DST-7和DCT-2)，而组H2包括(DCT-3和DCT-2)。基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(IDT)，而组V2包括(DST-7)。

图7是示出可以执行本公开的技术的示例视频解码器300的框图。图7被提供是为了说明的目的，并且不对在本公开中广泛例示和描述的技术进行限制。为了说明的目的，本公开描述了根据JEM和HEVC的技术描述的视频解码器300。然而，本公开的技术可以由配置以其他视频编码标准的视频译码设备来执行。

在图7的示例中，视频解码器300包括已编码图片缓冲器(CPB)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310、滤波器单元312以及已解码图片缓冲器(DPB)314。预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式进行预测。作为示例，预测处理单元304可以包括调色板单元、块内复制单元(可以形成运动补偿单元318的一部分)、仿射单元、线性模型(LM)单元等。在其他示例中，视频解码器300可以包括更多，更少或不同的功能组件。

CPB存储器320可以存储待由视频解码器300的组件进行解码的视频数据，例如已编码视频比特流。存储在CPB存储器320中的视频数据可以例如从计算机可读取介质110(图1)获得。CPB存储器320可以包括对来自已编码视频比特流的已编码视频数据(例如，语法元素)进行存储的CPB。而且，CPB存储器320可以存储除了已编码图片的语法元素之外的视频数据，例如表示来自视频解码器300的各个单元的输出的临时数据。DPB 314通常存储已解码图片，视频解码器300可以输出该已解码图片和/或在对已编码视频比特流的后续数据和图片进行解码时，使用该已解码图片以作为参考视频数据。CPB存储器320和DPB 314可以由多种存储器设备中的任一种形成，诸如动态随机存取存储器(DRAM)(包括同步DRAM(SDRAM))、磁阻RAM(MRAM)、电阻性RAM(RRAM)或其他类型的存储器设备。CPB存储器320和DPB 314可以由相同的存储器设备或分离的存储器设备提供。在各个示例中，CPB存储器320可以与视频解码器300的其他组件在芯片上、或者相对于那些组件在芯片外。

附加或替代地，在一些示例中，视频解码器300可从存储器120(图1)取得已编码视频数据。也就是说，存储器120可如上面对CPB存储器320讨论的那样存储数据。同样地，当视频解码器300的一些或全部功能由软件实现时，存储器120可以对待由视频解码器300执行的指令进行存储，该软件将由视频解码器300的处理电路执行。

对图7中所示的各个单元进行说明以帮助理解由视频解码器300执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。与图6相似的是，固定功能电路是指提供特定功能并为可以执行的操作进行预设的电路。可编程电路是指可以被编程以执行各种任务并且在可以执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，该软件或固件使得可编程电路以软件或固件的指令所定义的方式来进行操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不可变的。在一些示例中，所述单元中的一个或更多个可以是不同的电路块(固定功能或可编程)，而在一些示例中，所述一个或更多个单元可以是集成电路。

视频解码器300可以包括ALU、EFU、数字电路、模拟电路和/或由可编程电路形成的可编程核。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。

熵解码单元302可从CPB接收已编码视频数据，并对该视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重建单元310以及滤波器单元312可以基于从比特流中提取的语法元素来生成已解码视频数据。

通常，视频解码器300在逐块的基础上重建图片。视频解码器300可以单独地对每个块执行重建操作(其中当前正在被重建(即，被解码)的块可以被称为“当前块”)。

熵解码单元302可以对定义已量化变换系数块的已量化变换系数的语法元素和例如量化参数(QP)和/或(多个)变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与已量化变换系数块相关联的QP来确定量化的程度，并且同样地，确定逆量化的程度以供逆量化单元306应用。逆量化单元306可以例如执行按比特的左移操作来对已量化变换系数进行逆量化。逆量化单元306从而可以形成包括变换系数的变换系数块。

在逆量化单元306形成变换系数块之后，逆变换处理单元308可以将一个或更多个逆变换应用于变换系数块以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对系数块应用逆DCT、逆整数变换、逆Karhunen-Loeve变换(KLT)、逆旋转变换、逆方向变换或其他逆变换。

根据本公开中所述的一个或更多个示例，视频解码器300可以被配置为从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换以进行应用，其中该逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)。逆量化单元306可以被配置为将所确定的一个或更多个逆变换应用于表示残差块的系数值以生成残差块。

此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示DPB 314中的从其取得参考块的参考图片和标识参考图片中的参考块相对于当前图片中的当前块的位置的位置的运动向量。运动补偿单元316通常可以以与针对运动补偿单元224(图6)所描述的方式基本相似的方式来执行帧间预测过程。

作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据预测信息语法元素指示的帧内预测模式来生成预测块。再次地，帧内预测单元318通常可以以与针对帧内预测单元226(图6)所描述的方式基本相似的方式来执行帧内预测过程。帧内预测单元318可以从DPB 314取得当前块的相邻样本的数据。

重建单元310可以使用预测块和残差块来重建当前块。例如，重建单元310可以将残差块的样本添加到预测块的对应样本以重建当前块。

滤波器单元312可以对重建块执行一个或更多个滤波器操作。例如，滤波器单元312可以执行解块操作以减少沿着重建块的边缘的块状伪像。滤波器单元312的操作不必要在所有示例中都执行。

视频解码器300可将重建的块存储在DPB 314中。如上所述，DPB 314可以向预测处理单元304提供参考信息，例如用于帧内预测的当前图片的样本以及用于后续运动补偿的先前解码的图片的样本。同时，视频解码器300可以从DPB输出已解码图片，以用于后续在例如图1的显示设备118的显示设备上呈现。

以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括配置为存储视频数据的存储器以及在电路中实现并配置为执行下述操作的一个或更多个处理单元，所述操作为从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换进行应用，其中该逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)。视频解码器300可以被配置为对表示残差块的系数值应用所确定的一个或更多个逆变换以生成残差块，以及基于该残差块和预测块来重建当前块。

作为一个示例，基于当前块的一个或更多个特征，逆变换候选的第一组包括(逆DST-7和逆DST-6)，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。基于当前块的一个或更多个特征，逆变换候选的第二组包括(逆DST-2和逆DCT-3)，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。

作为另一示例，基于当前块的一个或更多个特征，逆变换候选的组包括(逆DST-7和逆DCT-8)，上述一个或更多个特征包括该当前块具有小于或等于8的宽度或高度。作为另一示例，基于当前块的一个或更多个特征，逆变换候选的组包括(逆DST-5和逆DCT-3)，上述一个或更多个特征包括该当前块具有大于8的宽度或高度。

视频解码器300还可以被配置为基于对系数块应用两个或更多个逆变换来生成残差块。为了对系数块应用两个或更多个逆变换，视频解码器300可以被配置为对系数块的第一数量的行或列应用第一逆变换，而对该系数块的第二数量的行或列应用第二逆变换。视频解码器300可以被配置为基于该残差块和预测块来重建当前块。

在一个或更多个示例中，视频解码器300可以被配置为从逆变换的组中选择逆变换的第一组。作为一个示例，基于从左上角进行应用的用于帧内预测的对角线模式，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DST-7和逆DCT-2)，并且其中组H2包括(逆DCT-3和逆DCT-2)。基于从左上角进行应用的用于帧内预测的对角线模式，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆DST-7和逆DCT-2)，并且其中组V2包括(逆DST-5和逆DCT-2)。

在另一示例中，基于所应用的帧间预测和基于左侧的相邻块而使用的空间运动向量预测，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DCT-8和逆DST-3)，并且其中组H2包括(逆DCT-8和逆DCT-4)。基于所应用的帧间预测和基于左侧的相邻块而使用的空间运动向量预测，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆DCT-7和逆DCT-2)，并且其中组V2包括(逆DST-5和逆DCT-2)。

在另一示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DST-7和逆DCT-2)，并且其中组H2包括(逆DCT-3和逆DCT-2)。基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆IDT)，并且其中组V2包括(逆DST-7)。

图8是示出根据本公开的一种或更多种技术的解码视频数据的示例方法的流程图。在一个示例中，视频解码器300可以从包括逆离散余弦变换(DCT)和逆离散正弦变换(DST)的逆变换集合中确定一个或更多个逆变换进行应用，其中该逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换(IDT)(400)。例如，视频解码器300可以从该逆变换集合中选择一对1-D变换。

在一些示例中，视频解码器300可以存储预选择的逆变换候选的组(例如，DCT-2、DST-7和DCT-8)。逆变换候选的每个组包括来自逆变换集合的一个或更多个逆变换，并且逆变换候选的每个组与一个或更多个块特征相关联。在这样的示例中，视频解码器300可以基于当前块的一个或更多个块特征来选择逆变换候选的组，并且从所选择的组中确定逆变换。

块特征的示例包括当前块是被帧内预测的或者当前块的宽度或高度是否小于或等于8或者大于8。例如，视频解码器300可以基于当前块的一个或更多个特征来选择包括(逆DST-7和逆DCT-8)的组，上述一个或更多个特征包括当前块具有小于或等于8的宽度或高度。在这样的示例中，视频解码器300可以在逆DST-7和逆DCT-8之间选择逆变换。作为另一示例，视频解码器300可以基于当前块的一个或更多个特征来选择包括(逆DST-5和逆DCT-3)的组，上述一个或更多个特征包括当前块具有大于8的宽度或高度。在这样的示例中，视频解码器300可以在逆DST-5和逆DCT-3之间选择逆变换。

如上所述，在一些示例中，逆变换候选的组包括第一组，视频解码器300从第一组中确定第一逆变换。视频解码器300还可以基于当前块的一个或更多个块特征来选择逆变换候选的第二组并确定第二逆变换。例如，第一逆变换可以用于生成中间逆变换块，而第二逆变换可以被应用于该中间逆变换块以生成残差块。

作为一个示例，视频解码器300可以基于当前块的一个或更多个特征来选择包括(逆DST-7和逆DST-6)的第一组，并在逆DST-7和逆DST-6之间选择第一逆变换，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。视频解码器300可以基于当前块的一个或更多个特征来选择包括(逆DST-2和逆DCT-3)的第二组，并且在逆DST-2和逆DCT-3之间选择第二逆变换，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。

视频解码器300可以对表示残差块的系数值应用所确定的一个或更多个逆变换以生成残差块(402)。例如，视频解码器300可以对系数值应用第一逆变换(例如，如图5A所示的逐行进行1-D变换的水平变换)以生成中间块，并对该中间块应用第二逆变换(例如，如图5B所示的逐列进行1-D变换的垂直变换)以生成残差块。

视频解码器300可基于残差块和预测块来重建当前块(404)。例如，视频解码器300可以将残差块添加到预测块以重建当前块。

图9是示出根据本公开的一种或更多种技术的编码视频数据的示例方法的流程图。在一个示例中，视频编码器200可以从包括离散余弦变换(DCT)和离散正弦变换(DST)的变换集合中确定一个或更多个变换进行应用，其中该变换集合包括DCT-2、DST-7、DST-8、DCT-3、DST-2、DST-3、DCT-4、DST-4、DST-5、DST-6以及恒等变换(IDT)(406)。例如，视频编码器200可以从该逆变换集合选择一对1-D变换。

在一些实例中，视频编码器200可以存储预选择的变换候选的组(例如，DCT-2、DST-7和DCT-8)。变换候选的每个组包括来自该变换集合的一个或更多个变换，并且变换候选的每组与一个或更多个块特征相关联。在这样的示例中，视频编码器200可以基于当前块的一个或更多个块特征来选择变换候选的组，并且从所选择的组中确定变换。

块特征的示例包括当前块是被帧内预测的或者当前块的宽度或高度是否小于或等于8或者大于8。例如，视频编码器200可以基于当前块的一个或更多个特征来选择包括(DST-7和DCT-8)的组，上述一个或更多个特征包括当前块具有小于或等于8的宽度或高度。在这样的示例中，视频编码器200可以在DST-7和DCT-8之间选择变换。作为另一示例，视频编码器200可以基于当前块的一个或更多个特征来选择包括(DST-5和DCT-3)的组，上述一个或更多个特征包括当前块具有大于8的宽度或高度。在这样的示例中，视频编码器200可以在DST-5和DCT-3之间选择变换。

如上所述，在一些示例中，变换候选的组包括第一组，视频编码器200从第一组确定第一变换。视频解码器300还可以基于当前块的一个或更多个块特征来选择变换候选的第二组并确定第二变换。例如，第一变换可以用于生成中间变换块，而第二变换可以被应用于该中间逆变换块以生成残差块。

作为一个示例，视频编码器200可以基于当前块的一个或更多个特征来选择包括(DST-7和DST-6)的第一组，并且在DST-7和DST-6之间选择第一变换，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。视频解码器300可以基于当前块的一个或更多个特征来选择包括(DST-2和DCT-3)的第二组，并且在DST-2和DCT-3之间选择第二变换，上述一个或更多个特征包括该当前块是以水平模式被帧内预测的。

视频编码器200可以对表示残差块的样本值应用所确定的一个或更多个逆变换以生成系数块(408)。例如，视频编码器200可以对残差值应用第一变换(例如，如图5A所示的逐行进行1-D变换的水平变换)以生成中间块，并且对该中间块应用第二变换(例如，如图5B所示的逐列进行1-D变换的垂直变换)以生成系数块。

视频编码器200可以发信号通知指示系数块的视频数据(410)。例如，视频编码器200可以对视频解码器300用于确定系数块的标志和语法元素进行熵编码。

图10是示出根据本公开的一种或更多种技术的解码视频数据的另一示例方法的流程图。视频解码器300可以基于对系数块应用两个或更多个逆变换来生成残差块(412)。例如，视频解码器300可以对系数块的第一数量的行或列应用第一逆变换，而对该系数块的第二数量的行或列应用第二逆变换。

第一数量的行或列可以是前n个行或列，其中n是大于或等于1的整数。第二数量的行或列可以是最后N-n个行或列，其中N等于系数块的行数或列数。

在一些示例中，视频解码器300可以从逆变换的组中选择逆变换的第一组。视频解码器300可以根据逆变换的第一组中的第一逆变换来应用第一逆变换，并根据逆变换的第二组中的第二逆变换来应用第二逆变换。

在一些示例中，基于从左上角进行应用的用于帧内预测的对角线模式，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DST-7和逆DCT-2)，并且其中组H2包括(逆DCT-3和逆DCT-2)。在一些示例中，基于从左上角进行应用的用于帧内预测的对角线模式，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆DST-7和逆DCT-2)，并且其中组V2包括(逆DST-5和逆DCT-2)。

在一些实例中，基于所应用的帧间预测和基于左侧的相邻块而使用的空间运动向量预测，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DCT-8和逆DST-3)，并且其中组H2包括(逆DCT-8和逆DCT-4)。在一些示例中，基于所应用的帧间预测和基于左侧的相邻块而使用的空间运动向量预测，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆DCT-7和逆DCT-2)，并且其中组V2包括(逆DST-5和逆DCT-2)。

在一些示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于水平变换，视频解码器300可以从包括组H1和组H2的逆变换的组中选择第一组，其中组H1包括(逆DST-7和逆DCT-2)，并且其中组H2包括(逆DCT-3和逆DCT-2)。在一些示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于垂直变换，视频解码器300可以从包括组V1和组V2的逆变换的组中选择第一组，其中组V1包括(逆IDT)，而组V2包括(逆DST-7)。

视频解码器300可以基于残差块和预测块来重建当前块(414)。例如，视频解码器300可以将残差块添加到预测块以重建当前块。

图11是示出根据本公开的一种或更多种技术的编码视频数据的另一示例方法的流程图。视频编码器200可以基于对表示残差块的样本值应用两个或更多个变换来生成系数块(416)。例如，视频编码器200可以对系数块的第一数量的行或列应用第一变换，并对该系数块的第二数量的行或列应用第二变换。

第一数量的行或列可以是前n个行或列，其中n是大于或等于1的整数。第二数量的行或列可以是最后N-n个行或列，其中N等于该系数块的行数或列数。

在一些示例中，视频编码器200可以从变换的组中选择变换的第一组。视频编码器200可以根据变换的第一组中的第一变换来应用第一变换，并且根据变换的第二组中的第二变换来应用第二变换。

在一些示例中，基于从左上角进行应用的用于帧内预测的对角线模式，对于水平变换，视频编码器200从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DST-7和DCT-2)，并且其中组H2包括(DCT-3和DCT-2)。在一些示例中，基于从左上角进行应用的用于帧内预测的对角线模式，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(DST-7和DCT-2)，并且其中组V2包括(DST-5和DCT-2)。

在一些示例中，基于所应用的帧间预测以及基于左侧的相邻块被使用的空间运动向量预测，对于水平变换，视频编码器200可以从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DCT-8和DST-3)，并且其中组H2包括(DCT-8和DCT-4)。在一些示例中，基于所应用的帧间预测以及基于左侧的相邻块被使用的空间运动向量预测，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(DCT-7和DCT-2)，并且其中组V2包括(DST-5和DCT-2)。

在一些示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于水平变换，视频编码器200可以从包括组H1和组H2的变换的组中选择第一组，其中组H1包括(DST-7和DCT-2)，并且其中组H2包括(DCT-3和DCT-2)。在一些示例中，基于从顶部相邻块进行应用的用于帧内预测的垂直模式，对于垂直变换，视频编码器200可以从包括组V1和组V2的变换的组中选择第一组，其中组V1包括(IDT)，并且其中组V2包括(DST-7)。

视频编码器200可以发信号通知指示系数块的视频数据(418)。例如，视频编码器200可以对视频解码器300用来确定系数块的标志和语法元素进行熵编码。

应当认识到，取决于示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件都是技术实践所必需的)。此外，在某些示例中，可以例如通过多线程处理、中断处理或多个处理器并发地执行动作或事件，而不是顺序地执行动作或事件。

在一个或更多个示例中，可以以硬件、软件、固件或其任意组合来实现所描述的功能。如果以软件实现，则所述功能可以作为一个或更多个指令或代码存储在计算机可读取介质上或通过计算机可读取介质进行传输，并由基于硬件的处理单元执行。计算机可读取介质可以包括计算机可读取存储介质或者通信介质，计算机可读取存储介质对应于诸如数据存储介质的有形介质。通信介质包括有助于例如根据通信协议将计算机程序从一处传送到另一处的任何介质。以这种方式，计算机可读取介质通常可以对应于(1)非暂时性的有形计算机可读取存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一台或多台计算机或一个或多个处理器访问以取得指令、代码和/或数据结构以用于实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读取介质。

作为示例而非限制，上述计算机可读取存储介质可以包括下述存储器中的一个或更多个，所述存储器包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储、或其他磁性存储设备、闪存存储器或任何其他可以用于以指令或数据结构形式存储所需程序代码且可由计算机访问的介质。而且，任何连接都适当地称为计算机可读取介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或诸如红外、无线电和微波的无线技术从网站、服务器或其他远程源传输指令，则上述同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波的无线技术都包含于介质的定义中。然而，应当理解，计算机可读取存储介质和数据存储介质并不包括连接、载波、信号或其他瞬时介质，而是指非瞬时的有形存储介质。本文使用的磁盘和光盘包括紧凑光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则通过激光以光学方式再现数据。上述的组合也应包括在计算机可读取介质的范围内。

指令可以由一个或更多个处理器(例如一个或多个DSP、通用微处理器、ASIC、FPGA或其他等效的集成或离散逻辑电路)执行。因此，如本文所使用的，术语“处理器”可以指任何前述结构或适合于实现本文所描述的技术的任何其他结构。另外，在一些方面，本文所描述的功能可以在被配置用于进行编码和解码的专用硬件和/或软件模块内提供，或结合在组合编解码器中。同样，所述技术可以在一个或更多个电路或逻辑元件中充分实现。

本公开的技术可以在各种各样的设备或装置中实现，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述了各种组件、模块或单元以强调经配置以执行所公开的技术的设备的功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，各种单元可以组合在编解码器硬件单元中，或者由互操作硬件单元的集合来提供，其包括与合适的软件和/或固件结合的如上所述的一个或更多个处理器。

已经对各种示例进行了描述。这些和其他示例均在所附权利要求的范围内。

Claims (28)

1.一种解码视频数据的方法，所述方法包括：

从包括逆离散余弦变换DCT和逆离散正弦变换DST的逆变换集合中确定一个或更多个逆变换以进行应用，其中所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换IDT，其中，所确定的一个或更多个逆变换中的至少一个逆变换是基于所述逆变换集合中的另一逆变换生成的，且其中所述至少一个逆变换通过如下来生成：

取得所述逆变换集中的所述另一个逆变换的值；

基于取得的值生成用于所述至少一个逆变换的值；以及

存储所生成的用于所述至少一个逆变换的值；

将所确定的一个或更多个逆变换应用于表示残差块的系数值以生成所述残差块；以及

基于预测块和所述残差块来重建当前块。

2.根据权利要求1所述的方法，其中，确定所述一个或更多个逆变换包括从所述逆变换集合中选择一对1-D变换。

3.根据权利要求1所述的方法，还包括：

存储预选择的逆变换候选的组，其中每个逆变换候选的组包括所述逆变换集合中的一个或更多个逆变换，并且其中每个逆变换候选的组与一个或更多个块特征相关联，

其中，确定一个或更多个逆变换包括：

基于所述当前块的一个或更多个块特征来选择逆变换候选的组；以及

从所选择的组中确定逆变换，

其中，应用所确定的一个或更多个逆变换包括应用所确定的逆变换。

4.根据权利要求3所述的方法，其中所述逆变换候选的组包括第一组，其中所述确定逆变换包括从所述第一组中确定第一逆变换，其中应用所确定的逆变换包括应用所确定的第一逆变换以生成中间经逆变换的块，

其中确定一个或更多个逆变换还包括：

基于所述当前块的一个或更多个块特征来选择逆变换候选的第二组；以及

从所选择的第二组中确定第二逆变换，以及

其中，应用所确定的一个或更多个逆变换还包括对所述中间经逆变换的块应用所确定的第二逆变换以生成所述残差块。

5.根据权利要求4所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块是以水平模式被帧内预测的，

其中，选择所述逆变换候选的第一组包括基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征来选择包括逆DST-7和逆DST-6的第一组，

其中，确定所述第一逆变换包括在逆DST-7和逆DST-6之间选择所述第一逆变换，

其中，选择所述逆变换候选的第二组包括基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征选择包括逆DST-2和逆DCT-3的第二组，以及

其中，确定所述第二逆变换包括在逆DST-2和逆DCT-3之间选择所述第二逆变换。

6.根据权利要求3所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有小于或等于8的宽度或高度，

其中，选择所述变换候选的组包括基于所述当前块的包括所述当前块具有小于或等于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-7和逆DCT-8的组，以及

其中，确定所述逆变换包括在逆DST-7和逆DCT-8之间选择所述逆变换。

7.根据权利要求3所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有大于8的宽度或高度，

其中，选择所述逆变换候选的组包括基于所述当前块的包括所述当前块具有大于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-5和逆DCT-3的组，以及

其中，确定所述逆变换包括在逆DST-5和逆DCT-3之间选择所述逆变换。

8.一种编码视频数据的方法，所述方法包括：

从包括离散余弦变换DCT和离散正弦变换DST的变换集合中确定一个或更多个变换以进行应用，其中，所述变换集合包括DCT-2、DST-7、DST-8、DCT-3、DST-2、DST-3、DCT-4、DST-4、DST-5、DST-6以及恒等变换IDT，其中，所确定的一个或更多个逆变换中的至少一个逆变换是基于所述逆变换集合中的另一逆变换生成的，且其中所述至少一个逆变换通过如下来生成：

取得所述逆变换集中的所述另一个逆变换的值；

基于取得的值生成用于所述至少一个逆变换的值；以及

存储所生成的用于所述至少一个逆变换的值；

将所确定的一个或更多个变换应用于表示当前块的残差块的样本值来生成系数块；以及

发信号通知指示所述系数块的视频数据。

9.根据权利要求8所述的方法，其中，确定一个或更多个变换包括从所述变换集合中选择一对1-D变换。

10.根据权利要求8所述的方法，还包括：

存储预选择的变换候选的组，其中每个变换候选的组包括所述变换集合中的一个或更多个变换，并且其中每个变换候选的组与一个或更多个块特征相关联，

其中，确定一个或更多个变换包括：

基于所述当前块的一个或更多个块特征来选择变换候选的组；以及

从所选择的组中确定变换，

其中，应用所确定的一个或更多个变换包括应用所确定的变换。

11.根据权利要求10所述的方法，其中所述变换候选的组包括第一组，其中确定变换包括从所述第一组中确定第一变换，其中应用所确定的变换包括应用所确定的第一变换以生成中间经变换的块，

其中确定一个或更多个变换还包括：

基于所述当前块的一个或更多个块特征来选择变换候选的第二组；以及

从所选择的第二组中确定第二变换，以及

其中，应用所确定的一个或更多个变换还包括对所述中间经变换的块应用所确定的第二变换以生成所述系数块。

12.根据权利要求11所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块是以水平模式被帧内预测的，

其中，选择所述变换候选的第一组包括基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征来选择包括DST-7和DST-6的第一组，

其中，确定所述第一变换包括在DST-7和DST-6之间选择所述第一变换，

其中，选择所述变换候选的第二组包括基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征选择包括DST-2和DCT-3的第二组，以及

其中，确定所述第二变换包括在DST-2和DCT-3之间选择所述第二变换。

13.根据权利要求10所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有小于或等于8的宽度或高度，

其中，选择所述变换候选的组包括基于所述当前块的包括所述当前块具有小于或等于8的宽度或高度的所述一个或更多个特征来选择包括DST-7和DCT-8的组，以及

其中，确定所述变换包括在DST-7和DCT-8之间选择所述变换。

14.根据权利要求10所述的方法，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有大于8的宽度或高度，

其中，选择所述变换候选的组包括基于所述当前块的包括所述当前块具有大于8的宽度或高度的所述一个或更多个特征来选择包括DST-5和DCT-3的组，以及

其中，确定所述变换包括在DST-5和DCT-3之间选择所述变换。

15.一种解码视频数据的设备，所述设备包括：

存储器，被配置为存储预测块的信息；以及

视频解码器，包括固定功能电路或可编程电路中的至少一个，其中所述视频解码器被配置为：

从包括逆离散余弦变换DCT和逆离散正弦变换DST的逆变换集合中确定一个或更多个逆变换以进行应用，其中所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换IDT，其中，所确定的一个或更多个逆变换中的至少一个逆变换是基于所述逆变换集合中的另一逆变换生成的，且其中所述至少一个逆变换通过如下来生成：

取得所述逆变换集中的所述另一个逆变换的值；

基于取得的值生成用于所述至少一个逆变换的值；以及

存储所生成的用于所述至少一个逆变换的值；

将所确定的一个或更多个逆变换应用于表示残差块的系数值来生成所述残差块；以及

基于预测块和所述残差块来重建当前块。

16.根据权利要求15的设备，其中，为了确定所述一个或更多个逆变换，所述视频解码器被配置为从所述逆变换集合中选择一对1-D变换。

17.根据权利要求15的设备,其中，所述存储器被配置为存储预选择的逆变换候选的组，其中每个逆变换候选的组包括所述逆变换集合中的一个或更多个逆变换，并且其中每个逆变换候选的组与一个或更多个块特征相关联，

其中，为了确定所述一个或更多个逆变换，所述视频解码器被配置为：

基于所述当前块的一个或更多个块特征来选择逆变换候选的组；以及

从所选择的组中确定逆变换，

其中，为了应用所确定的一个或更多个逆变换，所述视频解码器被配置为应用所确定的逆变换。

18.根据权利要求17所述的设备，其中所述逆变换候选的组包括第一组，其中为了确定所述逆变换，所述视频解码器被配置为从所述第一组中确定第一逆变换，其中为了应用所确定的逆变换，所述视频解码器被配置为应用所确定的第一逆变换以生成中间经逆变换的块，

其中，为了确定一个或更多个逆变换，所述视频解码器被配置为：

基于所述当前块的一个或更多个块特征来选择逆变换候选的第二组；以及

从所选择的第二组中确定第二逆变换，以及

其中，为了应用所确定的一个或更多个逆变换，所述视频解码器被配置为对所述中间经逆变换的块应用所确定的第二逆变换以生成所述残差块。

19.根据权利要求18所述的设备，

其中，所述当前块的所述一个或更多个特征包括所述当前块是以水平模式被帧内预测的，

其中，为了选择所述逆变换候选的第一组，所述视频解码器被配置为基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征来选择包括逆DST-7和逆DST-6的第一组，

其中，为了确定所述第一逆变换，所述视频解码器被配置为在逆DST-7和逆DST-6之间选择所述第一逆变换，

其中，为选择所述逆变换候选的第二组，所述视频解码器被配置为基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征选择包括逆DST-2和逆DCT-3的第二组，以及

其中，为了确定所述第二逆变换，所述视频解码器被配置为在逆DST-2和逆DCT-3之间选择所述第二逆变换。

20.根据权利要求17所述的设备，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有小于或等于8的宽度或高度，

其中，为了选择所述逆变换候选的组，所述视频解码器被配置为基于所述当前块的包括所述当前块具有小于或等于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-7和逆DCT-8的组，以及

其中，为了确定所述逆变换，所述视频解码器被配置为在逆DST-7和DCT-8之间选择所述逆变换。

21.根据权利要求17所述的设备，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有大于8的宽度或高度，

其中，为了选择所述逆变换候选的组，所述视频解码器被配置为基于所述当前块的包括所述当前块具有大于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-5和逆DCT-3的组，以及

其中，为了确定所述变换，所述视频解码器被配置为在逆DST-5和逆DCT-3之间选择所述逆变换。

22.一种其上存储有指令的计算机可读取存储介质，所述指令被执行时，使得解码视频数据的设备的一个或更多个处理器：

从包括逆离散余弦变换DCT和逆离散正弦变换DST的逆变换集合中确定一个或更多个逆变换以进行应用，其中，所述逆变换集合包括逆DCT-2、逆DST-7、逆DST-8、逆DCT-3、逆DST-2、逆DST-3、逆DCT-4、逆DST-4、逆DST-5、逆DST-6和逆恒等变换IDT，其中，所确定的一个或更多个逆变换中的至少一个逆变换是基于所述逆变换集合中的另一逆变换生成的，且其中所述至少一个逆变换通过如下来生成：

取得所述逆变换集中的所述另一个逆变换的值；

基于取得的值生成用于所述至少一个逆变换的值；以及

存储所生成的用于所述至少一个逆变换的值；

将所确定的一个或更多个逆变换应用于表示残差块的系数值来生成所述残差块；以及

基于预测块和所述残差块来重建当前块。

23.根据权利要求22所述的计算机可读取存储介质，其中，使得所述一个或更多个处理器确定一个或更多个逆变换的所述指令包括使得所述一个或更多个处理器从所述逆变换集合中选择一对1-D变换的指令。

24.根据权利要求22所述的计算机可读取存储介质，还包括使得所述一个或更多个处理器进行以下操作的指令：

存储预选择的逆变换候选的组，其中每个逆变换候选的组包括所述逆变换集合中的一个或更多个逆变换，并且其中，每个逆变换候选的组与一个或更多个块特征相关联，

其中使得所述一个或更多个处理器确定一个或更多个逆变换的所述指令包括使得所述一个或更多个处理器进行以下操作的指令：

基于所述当前块的一个或更多个块特征来选择逆变换候选的组；以及

从所选择的组中确定逆变换，以及

其中使得所述一个或更多个处理器应用所确定的一个或更多个逆变换的所述指令包括使得所述一个或更多个处理器应用所确定的逆变换的指令。

25.根据权利要求24所述的计算机可读取存储介质，其中所述逆变换候选的组包括第一组，其中使得所述一个或更多个处理器确定所述逆变换的所述指令包括使得所述一个或更多个处理器从所述第一组中确定第一逆变换的指令，其中使得所述一个或更多个处理器应用所确定的逆变换的所述指令包括使得所述一个或更多个处理器应用所确定的第一逆变换以生成中间经逆变换的块的指令，

其中使得所述一个或更多个处理器确定一个或更多个逆变换的所述指令还包括使得所述一个或更多个处理器进行以下操作的指令：

基于所述当前块的一个或更多个块特征来选择逆变换候选的第二组；以及

从所选择的第二组中确定第二逆变换，以及

其中，使得所述一个或更多个处理器应用所确定的一个或更多个逆变换的所述指令还包括使得所述一个或更多个处理器对所述中间经逆变换的块应用所确定的第二逆变换以生成所述残差块的指令。

26.根据权利要求25所述的计算机可读取存储介质，

其中，所述当前块的所述一个或更多个特征包括所述当前块是以水平模式被帧内预测的，

其中，使得所述一个或更多个处理器选择所述逆变换候选的第一组的所述指令包括使得所述一个或更多个处理器基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征来选择包括逆DST-7和逆DST-6的第一组，

其中，使得所述一个或更多个处理器确定所述第一逆变换的所述指令包括使得所述一个或更多个处理器在逆DST-7和逆DST-6之间选择所述第一逆变换的指令，

其中，使得所述一个或更多个处理器选择所述逆变换候选的第二组的指令包括使得所述一个或更多个处理器基于所述当前块的包括所述当前块是以水平模式被帧内预测的所述一个或更多个特征选择包括逆DST-2和逆DCT-3的第二组的指令，以及

其中，使得所述一个或更多个处理器确定所述第二逆变换的所述指令包括使得所述一个或更多个处理器在逆DST-2和逆DCT-3之间选择所述第二逆变换的指令。

27.根据权利要求24所述的计算机可读取存储介质，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有小于或等于8的宽度或高度，

其中，使得所述一个或更多个处理器选择所述变换候选的组的所述指令包括使得所述一个或更多个处理器基于所述当前块的包括所述当前块具有小于或等于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-7和逆DCT-8的组的指令，以及

其中，使得所述一个或更多个处理器确定所述逆变换的所述指令包括使得所述一个或更多个处理器在逆DST-7和逆DCT-8之间选择所述逆变换的指令。

28.根据权利要求24所述的计算机可读取存储介质，

其中，所述当前块的所述一个或更多个特征包括所述当前块具有大于8的宽度或高度，

其中，使得所述一个或更多个处理器选择所述逆变换候选的组的所述指令包括使得所述一个或更多个处理器基于所述当前块的包括所述当前块具有大于8的宽度或高度的所述一个或更多个特征来选择包括逆DST-5和逆DCT-3的组的指令，以及

其中，使得所述一个或更多个处理器确定所述逆变换的所述指令包括使得所述一个或更多个处理器在逆DST-5和逆DCT-3之间选择所述逆变换的指令。

Images