CN111630864B

CN111630864B - 编解码方法、装置和媒介

Info

Publication number: CN111630864B
Application number: CN201980001908.5A
Authority: CN
Inventors: 赵欣; 李翔; 刘杉
Original assignee: Tencent America LLC
Current assignee: Tencent America LLC
Priority date: 2018-02-05
Filing date: 2019-02-19
Publication date: 2024-01-30
Anticipated expiration: 2039-02-19
Also published as: US20190246142A1; EP3750318A1; CN111630864A; JP2021513302A; WO2019150349A1; JP7073536B2; KR20200134218A; EP3750318A4; KR102472689B1; US10812797B2

Abstract

利用低复杂度变换的编码或解码的方法可以包括：接收待编码或解码的目标块的信息，如果目标块的块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，执行目标块的编码或解码，但是不应用大变换，其中所述大变换具有与目标块的块尺寸的宽度或高度中的至少一个相对应的尺寸，向目标块的第一部分应用第一变换，以及向目标块的第二部分应用第一变换或第二变换。而且，第一变换和第二变换中的至少一个是具有小于预先确定的阈值的尺寸的低复杂度变换。

Description

编解码方法、装置和媒介

优先权信息

本申请要求在2018年2月5日提交美国专利&商标局的第62/626,539号美国临时申请的优先权，以及在2018年12月28日提交美国专利&商标局的第16/235,395号美国申请的优先权，上述美国申请的全部内容通过引用并入本申请。

技术领域

本申请涉及视频压缩技术。具体地，本申请涉及下一代视频编码技术，包括超越高效视频编码(High Efficiency Video Coding，HEVC)的视频编解码技术。具体地，本申请涉及未来视频编码技术标准化的潜在需求，其中所述未来视频编码技术的压缩能力显著超出当前HEVC标准(包括其扩展)的压缩能力。如在非专利文献#1中讨论的，已经开发了联合开发模型(Joint Exploration Model,JEM)以探索超出HEVC能力的视频编码技术。JEM的较新版本是JEM-7.0，包含对JVET-G1001的算法描述。可以在JEM 7.0的上下文，以及JEM-7.0的修改中使用所公开的主题。更具体地，本申请涉及用于一个，或多个大尺寸变换(例如，64点、128点、256点和高于256点变换的)、基于低复杂度变换方案的编解码方法、设备和计算机媒介。

背景技术

几十年来，通过具有运动补偿的帧间图片预测技术，可以实现视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920×1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定或可变的图片速率(通俗也称为帧率)，例如每秒60个图片或60赫兹。未压缩的视频具有非常高的位率要求。例如，每个样本8位的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60赫兹帧率)要求接近1.5Gbit/s带宽。一小时这样的视频需要超过600GB的存储空间。

视频编码和解码的一个目的是通过压缩减少输入视频信号的冗余信息。压缩可以帮助减少对前述带宽或存储空间的要求，在一些情况下减少两个数量级或更多。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不同，但是原始信号和重建信号之间的失真小到足以使重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用；例如，相比电视应用的用户，某些消费流式传输的用户可以容忍更高的失真量。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。

本领域普通技术人员通常理解视频压缩/解压技术。通常，为了压缩视频或图片数据，执行一系列功能步骤以生成压缩的视频或图片文件。尽管诸如(例如，被360°照相机捕捉的)360°图片之类的图片可能适于压缩，但为了便于阅读，将解释对视频文件的压缩。为了生成压缩的视频文件，在常规标准(例如，H.264、H.265)之下，可以对从视频源接收到的未压缩视频样本流进行划分或解析，这样就生成了两个或更多参考图片的样本块。

双向预测能够涉及如下技术，即，能够从至少两个参考图片的两个运动补偿的样本块对预测单元(prediction unit,PU)进行预测，其中所述的预测单元可以为预测的样本块。在动态图片专家组-1(Moving Picture Experts Group-1,MPEG-1)的视频编码标准中首先引入了双向预测。在诸如MPEG-2中的第二部分(或H.262)，H.264和H.265之类的其他视频编码技术和标准中也包含双向预测。

当对压缩的视频文件进行解压缩时，在双向预测的预测单元样本重建期间，将每个参考块的进行了运动补偿的且内插的输入样本乘以加权因子，其中每个参考块的加权因子可以不同，并且能够添加两个参考块的这样的加权样本值，以生成重建的样本。可以通过诸如环路过滤之类的机制进一步处理这样的样本。

在MPEG-1和MPEG-2中，能够基于重建PU属于的图片与两个参考图片之间的相对时间距离确定加权因子。这是有可能实现的，这是因为在MPEG-1和MPEG-2中，两个参考I或P图片之一处于“过去”，并且另一个处于重建的B-图片的“将来”(就呈现顺序而言)，并且因为在MPEG-1和MPEG-2中，存在重建的任何图片关于其参考图片已知的定时关系。

从H.264开始，放宽双向预测图片的参考图片选择概念，使得参考图片仅仅需要在解码顺序中较早出现、而不是在呈现顺序中较早出现。此外，时间的观念也有所放松，这是因为，H.264或H.265都不需要时域中受约束的/固定的图片间隔。因此，解码器不能基于比特流中可用的定时信息再计算加权因子。而是，H.264和H.265包括“默认值”0.5作为双向预测图片的参考样本的加权因子。该默认值可以通过称为pred_weight_table()的条目报头中可用的语法重写。默认值0.5，或pred_weight_table中的信息可以适用于给定条目中的所有双向预测的预测单元PU。

已经有实验证据——大变换(超出32点变换)带来额外的编码增益。然而，若将大变换引入视频编解码器，会增加计算的成本和复杂度，例如，额外的乘法数量和额外的乘法器。而且，将大变换引入视频编解码器将增加额外的存储器负担，包括：1)如果最大的变换尺寸水平地且垂直地增大2x，则流水线缓冲器尺寸增大4x，以及2)大变换需要额外的存储器存储变换内核。

提出了一种方法以接近JEM7中不同类型的离散余弦变换(Discrete CosineTransform，DCT)和离散正弦变换(Discrete Sine Transform，DST)，即，通过向包括DCT-2、DCT-3、DST-2和DST-3的DCT-2系列中的变换应用调整阶段，并且调整阶段指的是使用需要相对少的操作计数的稀疏矩阵进行的矩阵乘法。在非专利文献1中，提出了使用2N+1点离散傅里叶变换(Discrete Fourier Transform，DFT)以实施N点DST-7的方法。

然而，自适应多核转换(Adaptive Multiple core Transform,AMT)中的额外的变换类型会增加复杂度和实施成本，这是因为，为了实际执行，需要在片上存储器中存储额外的变换核，并且当从一个块到另一个块切换变换类型时，需要加载变换核。在高效视频编码HEVC中，较小的DCT-2变换是较大的DCT-2变换的一部分，其支持重新使用相同逻辑，以实施不同尺寸的变换。然而，利用自适应多核转换AMT，会缺少这样的特征。除了DCT-2，较大变换不能重新使用较小的变换，这意味着，可能需要设计不同的逻辑以实施不同尺寸的变换。

相关技术列表

非专利文献1：提案JVET-G1001，由J.Chen、E.Alshina、G.J.Sullivan、J.-R、Ohm和J.Boyce在2017年7月13–21日由ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频开发团队(JVET)于意大利托里诺举办的第7会议上提出，名称为“联合开发测试模型7(JEM 7)的算法描述”。

发明内容

根据本申请的一个方面，编码或解码的方法可以包括接收关于声音、视频或图片数据块的信息，该声音、视频或图片数据块是待编码或解码的目标数据块。编码或解码的方法可以进一步包括：确定目标数据块的数据块尺寸的宽度或高度中的至少一个是否大于或等于预先确定的阈值。编码或解码的方法可以进一步包括，如果目标数据块的数据块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标数据块的编码或解码操作，向目标数据块的第一部分应用第一变换。

编码或解码的方法可以进一步包括：向目标数据块的第二部分应用第一变换或第二变换，而非应用大变换。编码或解码的方法可以进一步包括：第一变换和第二变换中的至少一个是具有小于所述预先确定的阈值的尺寸的低复杂度变换，所述大变换的块尺寸与目标数据块的块尺寸的宽度或高度中的至少一个相对应。

根据本申请的一个方面，一种装置可以包括至少一个存储器和至少一个处理器。其中，所述至少一个存储器被配置为存储计算机程序代码，所述至少一个处理器被配置为访问至少一个存储器，并且根据计算机程序代码进行操作。所述计算机程序代码可以包括多个应用代码(例如，第一应用代码、第二应用代码、第三应用代码和第四应用代码，等等)。

第一应用代码可以被配置为使至少一个处理器接收关于声音、视频或图片数据块的信息，该声音、视频或图片数据块是待编码或解码的目标数据块。第二应用代码可以被配置为使至少一个处理器确定目标数据块的数据块尺寸的宽度或高度中的至少一个是否大于或等于预先确定的阈值。

第三应用代码可以被配置为使至少一个处理器执行下列操作。如果目标数据块的数据块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标数据块的编码或解码操作，向目标数据块的第一部分应用第一变换，以及向目标数据块的第二部分应用第一变换或第二变换，而非应用大变换。在该装置中，所述第一变换和第二变换中的至少一个是具有小于所述预先确定的阈值的尺寸的低复杂度变换，所述大变换的块尺寸与目标数据块的块尺寸的宽度或高度中的至少一个相对应。

根据本申请的一个方面，一种非易失性计算机可读存储介质可以存储使一个或多个处理器执行许多步骤的指令。所述许多步骤可以包括接收关于声音、视频或图片数据块的信息，该声音、视频或图片数据块是待编码或解码的目标数据块。所述许多步骤可以进一步包括：确定目标数据块的数据块尺寸的宽度或高度中的至少一个是否大于或等于预先确定的阈值。所述许多步骤可以进一步包括，如果目标数据块的数据块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标数据块的编码或解码操作，向目标数据块的第一部分应用第一变换，向目标数据块的第二部分应用第一变换或第二变换，而非应用大变换。所述许多步骤可以进一步包括：第一变换和第二变换中的至少一个是具有小于所述预先确定的阈值的尺寸的低复杂度变换，所述大变换的块尺寸与目标数据块的块尺寸的宽度或高度中的至少一个相对应。

附图的简要说明

根据以下详细描述和附图，所公开的主题的另外的特征、性质，以及各种优点将更明显，在附图中：

图1是根据实施例的通信系统的简化框图的示意图。

图2是根据实施例的流式传输系统的简化框图的示意图。

图3是根据实施例的解码器的简化框图的示意图。

图4是根据实施例的编码器的简化框图的示意图。

图5是根据实施例的编码或解码的示例性方法的示意图。

图6A示出了通过使用四叉树加二叉树(QuadTree plus Binary Tree,QTBT)进行块划分的示例。

图6B示出了图6A的块划分对应的树。

图7是根据实施例的计算机系统的示意图。

具体实施方式

图1示出了根据本申请实施例的通信系统(100)的简化框图。系统(100)可以包括经由网络(150)互联的至少两个终端(110、120)。对于数据的单向传输，第一终端(110)可以对在本地位置的视频数据进行编码，以经由网络(150)传输到另一个终端(120)。第二终端(120)可以通过网络(150)接收另一个终端的已编码视频数据、对已编码数据进行解码，并且显示恢复的视频数据。在介质服务应用以及类似应用中，单向数据传输较常见。

图1示出了支持双向传输编码视频的第二对终端(130、140)。比如，该双向传输可能出现在视频会议期间。对于数据的双向传输,每个终端(130,140)可以对本地捕获的视频数据进行编码，以经由网络(150)传输到另一个终端。每个终端(130、140)也可以接收由另一个终端传送的已编码视频数据、可以对已编码数据进行解码，并可以在本地显示设备显示恢复的视频数据。

在图1中，终端(110-140)可以为膝上计算机110、服务器120，以及智能电话130和140，但是本申请的原理并不限于此。本申请的实施例可以应用于其他设备，所述其他设备包括，但不限于，膝上型计算机、平板电脑、媒体播放器，和/或，专用视频会议设备。网络(150)表示在终端(110-140)中输送已编码视频数据的任何数量的网络，例如包括有线和/或无线通信网络。通信网络(150)可以在电路交换，和/或，分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或因特网。为了当前讨论的目的，网络(150)的架构和拓扑对本申请的操作可能不重要，除非在下文说明。

作为所公开主题应用的示例，图2示出了在流式传输环境中放置视频编码器和解码器。所公开的主题能够同等地适用于其他支持视频的应用，例如视频会议、数字TV、将压缩视频存储在包括光盘(Compact Disk,CD)、高密度数字视频光盘(Digital Video Disc,DVD)、记忆棒等等的数字介质中。

流式传输系统(200)可以包括捕捉子系统(213)，其能够包括视频源(201)，例如，创建未压缩视频样本流(202)的数字照相机。能够通过耦合到照相机(201)的编码器(203)处理该样本流(202)。该样本流(202)可以用粗线描绘，以强调当与已编码视频比特流相比时的高数据量。编码器(203)能够包括硬件(例如，处理器或电路和存储器)、软件，或其组合，以实现以下详细描述的所公开主题的各个方面。当与样本流相比较时，已编码视频比特流(204)可以用细线描绘，以强调较低的数据量。可以在流式传输服务器(205)中存储该已编码视频比特流(204)供将来使用。一个或多个流式传输客户端(206、208)能够访问流式传输服务器(205)，以获取已编码视频比特流(204)的副本(207、209)。客户端(206)能够包括视频解码器(210)，该视频解码器(210)可以对传入的已编码视频比特流(207)的副本进行解码，并且创建传出的视频样本流(211)。该视频样本流(211)可以在显示器(212)，或其他渲染设备(未示出)上呈现。

图3示出了根据本申请实施例的视频解码器(210)的功能框图。如图3中所示，接收机(310)可以接收将被解码器(210)解码的一个或多个编解码视频序列。在同一个实施例，或另一个实施例中，可以一次接收一个已编码视频序列，其中每个已编码视频序列的解码独立于其他已编码视频序列的解码。可以通过信道(312)接收已编码视频序列，该信道(312)可以是到存储已编码视频数据的存储设备的硬件/软件链路。接收机(310)可以一起接收已编码视频数据与其他数据(例如，已编码音频数据和/或辅助的数据流)，可以将所述其他数据转发至相应的使用实体(未示出)。接收机(310)可以将已编码视频序列与其他数据分离。为了防止网络抖动，可以将缓冲存储器(315)耦合在接收机(310)和熵解码器/解析器(320)(此后的“解析器”)之间。当接收机(310)从具有足够带宽和可控性的存储/转发设备，或从等时同步网络接收数据时，可能不需要缓冲器(315)，或需要较小的缓冲器。为了在诸如因特网的尽力而为分组网络中使用，缓冲器(315)可能是必需的，缓冲器(315)可能比较大，并且可能是自适应尺寸。

视频解码器(210)可包括解析器(320)以根据熵编码视频序列重建符号(321)。这些符号的类别包括用于管理解码器(210)的操作的信息，以及用以控制显示装置(例如，显示屏(212))等显示装置的潜在信息，所述显示屏(212)不是解码器的组成部分，但可耦接到解码器，如图2和图3中所示。用于显示装置的控制信息可以是辅助增强信息(SupplementalEnhancement Information，SEI消息)或视频可用性信息(Video Usability Information，VUI)的参数集片段(未标示)。解析器(320)可对接收到的已编码视频序列进行解析/熵解码。已编码视频序列的编码可根据视频编码技术或标准进行，且可遵循本领域技术人员已知的原理，包括可变长度编码、霍夫曼编码(Huffman coding)、具有或不具有上下文灵敏度的算术编码等等。解析器(320)可基于对应于群组的至少一个参数，从已编码视频序列提取用于视频解码器中的像素的子群中的至少一个子群的子群参数集。子群可包括图片群组(Group of Pictures，GOP)、图片、图块、切片、宏块、编码单元(Coding Unit，CU)、块、变换单元(Transform Unit，TU)、预测单元(Prediction Unit，PU)等等。熵解码器/解析器还可从已编码视频序列提取信息，例如变换系数、量化器参数值、运动矢量等等。

解析器(320)可对从缓冲器(315)接收的视频序列执行熵解码/解析操作，从而创建符号(321)。取决于已编码视频图片或一部分已编码视频图片(例如：帧间图片和帧内图片、帧间块和帧内块)的类型以及其它因素，符号(321)的重建可涉及多个不同单元。涉及哪些单元以及涉及方式可由解析器(320)从已编码视频序列解析的子群控制信息控制。为了简洁起见，未描述解析器(320)与下文的多个单元之间的此类子群控制信息流。

除已经提及的功能块以外，解码器(210)可在概念上细分成如下文所描述的数个功能单元。在商业约束下运行的实际实施例中，这些单元中的许多单元彼此紧密交互并且可以彼此集成。然而，出于描述所公开主题的目的，概念上细分成下文的功能单元是适当的。

第一单元可以是缩放器/逆变换单元(351)。缩放器/逆变换单元(351)可以从解析器(320)接收作为符号(321)的量化变换系数以及控制信息，包括使用哪种变换方式、数据块大小、量化因子、量化缩放矩阵等。缩放器/逆变换单元(351)可输出包括样本值的块，所述样本值可输入到聚合器(355)中。

在一些情况下，缩放器/逆变换单元(351)的输出样本可属于帧内编码块；即：不使用来自先前重建的图片的预测性信息，但可使用来自当前图片的先前重建部分的预测性信息的块。此类预测性信息可由帧内图片预测单元(352)提供。在一些情况下，帧内图片预测单元(352)采用从当前部分重建的图片(358)提取的已重建信息生成大小和形状与正在重建的块相同的周围块。在一些情况下，聚合器(355)基于每个样本，将帧内预测单元(352)生成的预测信息添加到由缩放器/逆变换单元(351)提供的输出样本信息中。

在其它情况下，缩放器/逆变换单元(351)的输出样本可属于帧间编码块和潜在运动补偿块。在此情况下，运动补偿预测单元(353)可访问参考图片存储器(357)以提取用于预测的样本。在根据符号(321)对提取的样本进行运动补偿之后，这些样本可由聚合器(355)添加到缩放器/逆变换单元的输出(在这种情况下被称作残差样本或残差信号)，从而生成输出样本信息。运动补偿单元从参考图片存储器内的地址获取预测样本可受到运动矢量控制，且所述运动矢量以所述符号(321)的形式而供运动补偿单元使用，所述符号(421)例如是包括X、Y和参考图片分量。运动补偿还可包括在使用子样本精确运动矢量时，从参考图片存储器提取的样本值的内插、运动矢量预测机制等等。

聚合器(355)的输出样本可在环路滤波器单元(356)中被各种环路滤波技术采用。视频压缩技术可包括环路内滤波器技术，所述环路内滤波器技术受控于包括在已编码视频码流中的参数，且所述参数作为来自解析器(320)的符号(321)可用于环路滤波器单元(356)。然而，在其他实施例中，视频压缩技术还可响应于在解码已编码图片或已编码视频序列的先前(按解码次序)部分期间获得的元信息，以及响应于先前重建且经过环路滤波的样本值。

环路滤波器单元(356)的输出可以是样本流，所述样本流可输出到显示装置(212)以及存储在参考图片存储器(357)，以用于后续的帧间图片预测。

一旦完全重建，某些已编码图片就可用作参考图片以用于将来预测。一旦已编码图片被完全重建，且已编码图片(通过例如解析器(320))被识别为参考图片，则当前参考图片(356)可变为参考图片缓冲器(357)的一部分，且可在开始重建后续已编码图片之前重新分配新的当前图片存储器。

视频解码器(210)可根据可在标准中记录的预定视频压缩技术执行解码操作，所述标准例如是ITU-T H.265标准。在已编码视频序列遵循视频压缩技术或标准的语法，如视频压缩技术文档或标准中所规定的，特别是在其中的简档文档中所规定的。对于合规性，还要求已编码视频序列的复杂度处于视频压缩技术或标准的层级所限定的范围内。在一些情况下，层级限制最大图片大小、最大帧率、最大重建取样率(以例如每秒兆(mega)个样本为单位进行测量)、和/或，最大参考图片大小。在一些情况下，由层级设定的限制可通过假想参考解码器(Hypothetical Reference Decoder，HRD)规范和在已编码视频序列中用信号表示的HRD缓冲器管理的元数据来进一步限定。

在实施例中，接收器(310)可连同已编码视频一起接收附加(冗余)数据。所述附加数据可以是已编码视频序列的一部分。所述附加数据可由视频解码器(210)用以对数据进行适当解码和/或较准确地重建原始视频数据。附加数据可呈例如时间、空间或信噪比(signal noise ratio，SNR)增强层、冗余切片、冗余图片、前向纠错码等形式。

图4是根据本申请公开的实施例的视频编码器(203)的功能框图。

编码器(203)可从视频源(201)(并非编码器的一部分)接收视频样本，所述视频源可采集将由编码器(203)编码的视频图片。

视频源(201)可提供将由编码器(203)编码的呈数字视频样本流形式的源视频序列，所述数字视频样本流可具有任何合适位深度(例如：8位、10位、12位……)、任何色彩空间(例如BT.601Y CrCB、RGB……)和任何合适取样结构(例如Y CrCb 4:2:0、Y CrCb 4:4:4)。在媒体服务系统中，视频源(201)可以是存储先前已准备的视频的存储装置，该存储装置可包括存储器和处理器，并且可存储之前准备的视频。在视频会议系统中，视频源(201)可以包括采集本地图片信息作为视频序列的相机。可将视频数据提供为多个单独的图片，当按顺序观看时，这些图片被赋予运动。图片自身可构建为空间像素阵列，其中取决于所用的取样结构、色彩空间等，每个像素可包括一个或多个样本。所属领域的技术人员可以很容易理解像素与样本之间的关系。下文侧重于描述样本。

根据实施例，编码器(203)可实时或在由应用所要求的任何其它时间约束下，将源视频序列的图片编码且压缩成已编码视频序列。施行适当的编码速度是控制器(450)的一个功能。控制器(450)控制如下文所描述的其它功能单元且在功能上耦接到这些单元。为了简洁起见，图中未标示耦接。由控制器设置的参数可包括速率控制相关参数(比如，图片跳过、量化器、率失真优化技术的λ值等)、图片大小、图片群组(group of pictures，GOP)布局，最大运动矢量搜索范围等。本领域技术人员很容易识别控制器(450)的其它功能，因为这些功能涉及针对某一系统设计优化的视频编码器(203)。

一些视频编码器在本领域技术人员容易认识到的编码环路中进行操作。作为简单的描述，编码环路可包括源编码器(430)的编码部分(例如，负责基于待编码的输入图片和参考图片创建符号)和嵌入于编码器(203)中的(本地)解码器(433)。解码器(433)以(远程)解码器创建样本数据的方式重建符号以创建样本数据(因为在本申请所考虑的视频压缩技术中，符号与已编码视频码流之间的任何压缩是无损的)。将重建的样本流输入到参考图片存储器(434)。由于符号流的解码产生与解码器位置(本地或远程)无关的位精确结果，因此参考图片缓冲器在本地编码器与远程编码器之间也是按比特位精确对应的。换句话说，编码器的预测部分“看到”的参考图片样本与解码器将在解码期间使用预测时所“看到”的样本值完全相同。这种参考图片同步性基本原理(以及在例如因信道误差而无法维持同步性的情况下产生的漂移)是本领域技术人员的公知常识。

“本地”解码器(433)的操作可与例如已在上文结合图3详细描述的“远程”解码器(210)相同。然而，另外简要参考图3，当符号可用且熵编码器(445)和解析器(320)能够无损地将符号编码/解码为已编码视频序列时，包括信道(312)，接收器(310)，缓冲器(315)和解析器(320)在内的解码器(210)的熵解码部分，可能无法完全在本地解码器(433)中实施。

此时可以观察到，除存在于解码器中的解析/熵解码之外的任何解码器技术，也必定以基本上相同的功能形式存在于对应的编码器中。编码器技术的描述与描述的解码器技术互逆。仅在某些区域中需要更详细的描述，并且在下文提供。

作为操作的一部分，源编码器(430)可执行运动补偿预测编码。参考来自视频序列中被指定为“参考帧”的一个或多个先前已编码帧，所述运动补偿预测编码对输入帧进行预测性编码。以此方式，编码引擎(432)对输入帧的像素块与参考帧的像素块之间的差异进行编码，所述参考图片可被选作所述输入帧的预测参考。

本地视频解码器(433)可基于源编码器(430)创建的符号，对可指定为参考帧的帧的已编码视频数据进行解码。编码引擎(432)的操作可为有损过程。当已编码视频数据可在视频解码器(图4中未示)处被解码时，重建的视频序列通常可以是带有一些误差的源视频序列的副本。本地视频解码器(433)复制解码过程，所述解码过程可由视频解码器对参考帧执行，且可使重建的参考帧存储在参考图片高速缓存(434)中。以此方式，编码器(203)可在本地存储重建的参考帧的副本，所述副本与将由远端视频解码器获得的重建参考帧具有共同内容(不存在传输误差)。

预测器(435)可针对编码引擎(432)执行预测搜索。即，对于将要编码的新帧，预测器(435)可在参考图片存储器(434)中搜索可作为所述新图片的适当预测参考的样本数据(作为候选参考像素块)或某些元数据，例如参考图片运动矢量、块形状等。预测器(435)可基于样本块逐像素块操作，以找到合适的预测参考。在一些情况下，根据预测器(435)获得的搜索结果，可确定输入图片可具有从参考图片存储器(434)中存储的多个参考图片取得的预测参考。

控制器(450)可管理源编码器(430)的编码操作，包括例如设置用于对视频数据进行编码的参数和子群参数。

可在熵编码器(445)中对所有上述功能单元的输出进行熵编码。熵编码器根据例如霍夫曼编码、可变长度编码、算术编码等本领域技术人员已知的技术翻译各种功能单元生成的符号，进行无损压缩，从而将所述符号转换成已编码视频序列。

传输器(440)可缓冲由熵编码器(445)创建的已编码视频序列，从而为通过通信信道(460)进行传输做准备，所述通信信道可以是通向将存储已编码的视频数据的存储装置的硬件/软件链路。传输器(440)可将来自视频编码器(203)的已编码视频数据与要传输的其它数据合并，所述其它数据例如是已编码音频数据和/或辅助数据流(未示出来源)。

控制器(450)可管理视频编码器(203)的操作。在编码期间，控制器(450)可以为每个已编码图片分配某一已编码图片类型，但这可能影响可应用于相应的图片的编码技术。例如，通常可将图片分配为以下任一种图片类型：帧内图片(I图片)，预测图片(P图片)，以及双向预测图片(B图片)。

帧内图片(I图片)，其可以是不将序列中的任何其它帧用作预测源就可被编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(Independent Decoder Refresh，“IDR”)图片。所属领域的技术人员了解I图片的变体及其相应的应用和特征。

预测性图片(P图片)，其可以是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多一个运动矢量和参考索引来预测每个数据块的样本值。

双向预测性图片(B图片)，其是可使用帧内预测或帧间预测进行编码和解码的图片，所述帧内预测或帧间预测使用至多两个运动矢量和参考索引来预测每个数据块的样本值。类似地，多个预测性图片可使用多于两个参考图片和相关联元数据以用于重建单个块。

源图片通常可在空间上细分成多个样本数据块(例如，4×4、8×8、4×8或16×16个样本的块)，且逐块进行编码。这些数据块可参考其它(已编码)数据块进行预测编码，根据应用于数据块的相应图片的编码分配来确定所述其它块。举例来说，I图片的块可进行非预测编码，或所述块可参考同一图片的已经编码的块来进行预测编码(空间预测或帧内预测)。P图片的像素块可参考一个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。B图片的块可参考一个或两个先前编码的参考图片通过空间预测或通过时域预测进行预测编码。

视频编码器(203)可根据例如ITU-T H.265建议书的预定视频编码技术或标准执行编码操作。在操作中，视频编码器(203)可执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测编码操作。因此，已编码视频数据可符合所用视频编码技术或标准指定的语法。

在实施例中，传输器(440)可在传输已编码的视频时传输附加数据。视频编码器(430)可将此类数据作为已编码视频序列的一部分。附加数据可包括时间/空间/SNR增强层、冗余图片和切片等其它形式的冗余数据、SEI消息、VUI参数集片段等。

如以上讨论的，已编码视频序列的编码能够根据视频编码技术或标准，并且能够遵循本领域技术人员所熟知的原理，包括可变长度编码、霍夫曼编码法、具有或不具有上下文敏感性的算术编码，等等。在一些流式传输系统中，能够根据某些视频编码/压缩标准对视频比特流(204、207、209)进行编码。标准的示例包括H.265的ITU-T HEVC推荐。

如以上讨论的JEM 7.0提供较高的压缩能力。以下部分1.1和1.2描述与本申请有关的JEM-7.0中的修改。

章节1.1：QTBT块划分结构

在HEVC中，通过使用表示为编码树的四叉树结构将编码树单元(Coding TreeUnit,CTU)分割为编码单元(Coding Unit,CU)以适配各种局部特性。在编码单元CU级别完成是使用帧间图片(时间)还是帧内图片(空间)预测对图片区域进行编码的判定。根据预测单元(Prediction Unit,PU)分割类型，每个编码单元CU能够进一步分割成一个、两个或四个预测单元PU。在一个预测单元PU内部，可以应用相同的预测处理，并且可以基于预测单元PU向解码器传送相关的信息。在通过基于预测单元PU分割类型应用预测处理获取残差数据块之后，能够根据类似于CU的编码树的另一个四叉树结构将编码单元CU划分为变换单元(Transform Unit,TU)。HEVC结构的关键特征之一是其具有包括CU、PU和TU的多个分割构思。

QTBT结构去除多个划分类型的概念，即，其移除CU、PU和TU概念的分离，并且支持CU划分形状的更大灵活性。在QTBT块结构中，CU能够具有方形或矩形。如图6A中所示，可以首先通过四叉树结构对编码树单元(CTU)进行划分。可以通过二叉树结构对四叉树叶节点进行进一步划分。在二叉树分割中，存在两种分割类型(对称水平分割和对称垂直分割)。二叉树叶节点被称作编码单元(CU)，并且该分割用于预测和变换处理而不进行任何进一步划分。换句话说，在QTBT编码块结构中，CU、PU和TU具有相同的块尺寸。

在JEM中，CU有时由不同色彩分量的编码块(CB)组成，例如，在4:2:0色度格式的P和B条目的情况下，一个CU包含一个亮度CB和两个色度CB，并且有时由单个分量的CB组成，例如，在I条目的情况下，一个CU包含仅仅一个亮度CB或仅仅两个色度CB。

可以对于QTBT划分方案定义以下参数。

–CTU尺寸：四叉树的根节点尺寸，如在HEVC中的相同的概念

–MinQTSize：允许的最小四叉树叶节点尺寸

–MaxBTSize：允许的最大二叉树根节点尺寸

–MaxBTDepth：允许的最大二叉树深度

–MinBTSize：允许的最小二叉树叶节点尺寸

在QTBT划分结构的一个示例中，可以将CTU尺寸设置为具有色度样本的两个对应的64×64块的128×128亮度样本，可以将MinQTSize设置为16×16，可以将MaxBTSize设置为64×64，可以将(用于宽度和高度的)MinBTSize设置为4×4，并且将MaxBTDepth设置为4。可以首先向CTU应用四叉树划分以生成四叉树叶节点。四叉树叶节点可以具有从16×16(即，MinQTSize)到128×128(即，CTU尺寸)的尺寸。如果四叉树叶节点的尺寸是128×128，则不会进一步通过二叉树对其进行分割，这是因为该尺寸超过MaxBTSize(即，64×64)。否则，能够通过二叉树对四叉树叶节点进行进一步划分。因此，四叉树叶节点也是二叉树的根节点，并且具有为0的二叉树深度。当二叉树深度达到MaxBTDepth(即，4)时，不考虑进一步的分割。当二叉树节点具有等于MinBTSize(即，4)的宽度时，不考虑进一步的水平分割。类似地，当二叉树节点具有等于MinBTSize的高度时，不考虑进一步的垂直分割。

在不进行任何进一步划分的情况下，通过预测和变换处理进一步处理二叉树的叶节点。在JEM中，最大CTU尺寸是256×256个亮度样本。

图6A示出了通过使用四叉树加二叉树(QTBT)进行的块划分的示例，并且图6B示出了图6A的块划分对应的树。在图6A中，实线指示四叉树分割，并且虚线指示二叉树分割。在二叉树的每个分割(即，非叶)节点中，用信号通知一个标志以指示使用哪个分割类型(即，水平还是垂直)，其中0指示水平分割，并且1指示垂直分割。对于四叉树分割，不需要指示分割类型，这是因为四叉树分割总是既水平地又垂直地分割数据块，以产生具有相等尺寸的4个子块。

另外，QTBT方案支持使亮度和色度具有单独QTBT结构的能力。当前，对于P和B条目，一个CTU中的亮度和色度CTB共用相同的QTBT结构。然而，对于I条目，可以按QTBT结构，将亮度CTB划分为CU，并且按另一个QTBT结构将色度CTB划分为色度CU。这意味着，I条目中的CU由亮度分量的编码数据块，或两个色度分量的编码块组成，并且P或B条目中的CU由所有三个色彩分量的编码块组成。

在HEVC中，限制小块的帧间预测，以减少运动补偿的存储器存取，使得4×8和8×4块不支持双向预测，并且4×4块不支持帧间预测。在JEM的QTBT中，去除了这些限制。

章节1.2：利用高频调零的大块尺寸变换

在JEM中，实现大块尺寸变换(高达128×128尺寸)，可主要用于较高分辨率的视频(例如，1080p和4K序列)。对于尺寸(宽度或高度，或宽度和高度两者)大于或等于64的变换块，将高频率变换系数归零，使得仅仅维持低频率系数。例如，对于M×N变换块(其中M为块宽度并且N为块高度)，当M大于或等于64时，仅仅保持变换系数的左侧32列。类似地，当N大于或等于64时，仅仅保持变换系数的顶部32行。当对于大块使用变换跳过模式时，使用整个块而不将任何值归零。

章节1.3：自适应多核变换

除已经在HEVC中采用的DCT-2和4×4DST-7之外，已经对于帧间和帧内编码数据块的残差编码提出了自适应多变换(AMT，或被称为增强多变换(Enhanced MultipleTransform,EMT))方案。除HEVC中的当前变换之外，AMT可以使用DCT/DST系列的多个选择的变换。新近引入的变换矩阵可以包括DST-7、DCT-8、DST-1和DCT-5。表格1在下面示出所选择的DST/DCT的示例性基函数。

表格1：用于N点输入的DCT-II/V/VIII和DST-I/VII的变换基函数

为了保持变换矩阵的正交性，与HEVC中的变换矩阵相比，可以更准确地量化变换矩阵。为了保持在16比特范围内的变换系数的中间值，在水平变换之后并且在垂直变换之后，与在当前HEVC变换中使用的右移相比较，可以将所有系数多右移2个比特。AMT可以适用于宽度和高度都小于或等于64的CU，并且通过CU级别标志控制AMT是否适用。当CU级别标志等于0时，可以在CU中应用DCT-2以对残差进行编码。对于实现AMT的CU内的亮度编码块，可以用信号通知两个额外的标志，以标识将使用的水平和垂直变换。如在HEVC中，在JEM中，能够利用变换跳过模式对块的残差进行编码。为了避免语法编码的冗余，当CU级别AMT标志不等于0时，不用信号通知变换跳过标志。

对于帧内残差编码，由于不同的帧内预测模式的不同的残差统计信息，可以使用模式相关的变换候选选择处理。可以如在下面表格2所示，定义三个变换子集，并且可以基于帧内预测模式选择变换子集，如在下面的表格3中描述的。

表格2：三个预定义的变换候选集合

关于子集概念，可以首先使用CU级别AMT标志等于1的CU的帧内预测模式、基于表格3识别变换子集。之后，对于每个水平和垂直变换，可以基于明确用信号通知的标志，选择根据表格2识别的变换子集中的两个变换候选之一。

表格3：为每个帧内预测模式选择的(H)水平和(V)垂直变换集合

然而，对于帧间预测残差，仅仅一个变换集合(由DST-7和DCT-8组成)可以用于所有帧间模式，以及用于水平和垂直变换。在编码器侧，AMT的复杂度相对较高，这是因为当使用蛮力搜索时，需要针对每个残差块的率失真成本评估总共五个不同的变换候选(DCT-II和四个多变换候选)。为了减轻在编码器侧的复杂度问题，设计若干优化方法用于JEM中的算法加速。

已经有实验证据——大变换(超出32点变换)带来额外的编码增益。然而，将大变换引入视频编解码器将增加计算的成本和复杂度，例如，额外数量的相乘，和额外的乘法器。而且，将大变换引入视频编解码器，将增加额外的存储器负担，包括：1)如果最大的变换尺寸水平地且垂直地增大2x，则流水线缓冲器尺寸增大4x，以及2)大变换需要额外的存储器存储变换内核。

可以分开地或按任何顺序组合地使用以下讨论的方法。

对于大变换，而不是应用传统的DCT-II，可以应用低复杂度无乘法变换。而且，在该示例中，变换内核非常简单，使得存储变换内核所需要的存储器不大，或者能够利用简单的图案得出内核。

大变换可以包括但不限于128点、256点和512点变换，和/或超出64点变换，或超出32点变换的任何变换尺寸。低复杂度无乘法变换可以包括，但不限于，变换核仅仅由1和-1组成的哈达马德变换，以及变换核仅仅由2的乘幂组成的变换。哈达马德-沃尔什变换通常也被称为哈达马德变换，或者沃尔什变换，并且在本申请中可交换地使用那些术语以意指相同的变换。

可以因此对低复杂度无乘法变换核进行缩放，以重新使用其他变换尺寸的相同的量化方案。在一个示例中，在HEVC中，可以使用满足K*K’、是单位矩阵的正交变换核K将N点变换核缩放64*sqrt(N)。其中，K’是K的转置。在这种情况下，当应用大变换时，将N点变换核缩放64*sqrt(N)。

另外，可以对大变换进行不同地缩放，并且可以相应地调整水平和垂直变换之后的内部舍入操作(右移)，以匹配不同的缩放。例如，当使用哈达马德-沃尔什变换时，根据不同的缩放因子，减少在水平和垂直变换之后的右移比特。

在一个示例中，在最新HEVC参考sw HM中，前向水平变换之后的右移是(log2(Width)+bitDepth+6)–15，并且前向垂直变换之后的右移是(log2(Height)+6)。使用所提出的方法，如果大变换是变换核由1和-1组成的哈达马德-沃尔什变换，则前向水平变换之后的右移是(log2(Width)+bitDepth+6)–21，并且前向垂直变换之后的右移是log2(Height)。因此，在HEVC中，在反垂直变换之后的右移是7，并且在反水平变换之后的右移是20–bitDepth。

使用所提出的方法，如果大变换是变换核由1和-1组成的哈达马德-沃尔什变换，则在反垂直变换之后的右移是1，并且在反水平变换之后的右移是14–bitDepth。

另外，可以相比其他变换尺寸，对大变换进行不同地缩放，并且应用不同的量化方案。

可以结合其他变换(包括但不限于DCT)，使用低复杂度相乘变换。在一个示例中，不对128xM、Mx128、256xM或Mx256块应用大128点/256点变换，首先对每个非重叠的NxN块应用XxY变换(其中X和Y可以是2、4、8、16、32或64)，之后，对通过XxY变换生成的变换系数的顶部，可以应用另一个变换。第一XxY和/或第二变换可以是低复杂度无乘法变换，或其他变换(包括但不限于DCT/DST、卡亨南-勒夫变换(Karhunen-Loeve Transform,KLT)等等)。

在另一个示例中，不对128xM、Mx128、256xM或Mx256块应用大128点/256点变换，可以通过因子s对块进行子采样。例如，当s等于2时，这意味着，以2对块进行子采样，并且偶数样本构成一个块，奇数样本构成另一个块。可以在水平/垂直方向任一/两者上应用子采样。

在编码器侧，可以对每个子采样块应用第一变换，并且对于每个子采样块，生成变换系数，之后，可以对变换系数进行加权求和，以生成另一个变换系数块，该另一个变换系数块将被进一步量化和熵编码。

在解码器侧，可以对去量化的变换块进行反变换，并且将残差块上采样为初始块尺寸。

此外，可以对不同的块尺寸执行不同的归零方法。具体地，可以对于不同的块尺寸应用不同数量的调零变换系数，并且对于较大的变换，允许较小数量的变换系数为非零。在一个样本中，对于128点变换，仅仅可以使用前64、32、16、8、4、2或1个变换系数，并且可以将其余系数调零。在另一个样本中，对于256点变换，仅仅使用前128,64、32、16、8、4、2或1个变换系数，并且可以将其余系数调零。一个典型的选择是，对于128点变换，仅仅保持前16个系数，并且对于256点变换，仅仅保持前4个系数，使得在较大的变换中允许更少数量的非零系数。

调零的变换系数的数量可以取决于若干编码信息，包括但不限于：帧内/帧间编码、图片分辨率、时间层、量化参数(Quantization Parameter,QP)、变换类型，以及亮度/色度分量。

对于应用非方形变换MxN的情况，假定对于M-点变换仅仅保持前m个系数并且对于N点变换保持前n个系数，然后对于非方形变换MxN保持左上mxn个系数。在一个示例中，对于64点、128点和256点变换，可以分别保持前32、16和4个变换系数。然后，对于128x32变换，可以保持左上16x32变换系数，并且剩余的系数可以是零。对于64x128变换，可以保持左上32x16变换系数，并且剩余的系数可以是零。对于16x256变换，可以保持左上16x4变换系数，并且剩余的系数可以是零。

如果对于水平/垂直方向仅仅保持1个变换系数,并且将剩余的系数全部归零，则意味着，如果编码块标志(Coded Block Flag,CBF)是非零，则水平/垂直方向中的最后位置必须是1,并且因此不需要编码。

另外，如果水平/垂直方向的所有变换系数均是零，则意味着，编码块标志(CBF)总是0，不需要用信号通知CBF，并且不需要进行变换系数解析、去量化或逆变换。

在一个示例中，对于32x256块，因为没有对32点变换应用归零，但是对于256点变换，所有变换系数均是零，在这种情况下，对于32x256块，CBF总是0。

另外，非零变换系数的数量取决于块区域尺寸。对于每个块尺寸，预定义左上变换系数的哪个部分可以保持非零，即，mxn。在一个实施例中，m和n可以分别是M和N的小数。例如，m＝M>>k并且n＝N>>j，其中k和j可以等于1、2、3，或任何非负整数。对于另一个示例，m＝M/k并且n＝N/j，其中k和j可以等于1、2、3，或任何正整数，将m和n(上或下)取整到最近的整数。参数k和j可以相等，或不同、可以被预定义，或在条目报头、图片参数集合(PictureParameter Set,PPS)、序列参数集合(Sequence Parameter Set,SPS)或其他编码区报头中用信号通知。

另外，当需要在水平和/或垂直方向上应用大变换时，不应用大MxN变换，可以沿着水平和/或垂直方向应用多个较小的块尺寸变换，并且可以对于每个较小的块尺寸变换应用归零，并且将结果加权相加，以生成用于整体块的变换系数。当需要在水平和/或垂直方向应用逆大变换时，不应用大MxN逆变换，可以应用较小的块尺寸变换，并且对较小的块尺寸变换进行上采样到MxN，以生成整体块的残差。

在一个示例中，可以应用仅仅左上32x32系数是非零的64x64去量化变换系数块、逆64x64变换，并且可以生成64x64残差块。之后，可以对64x64残差块进行上采样，以生成128x256残差块。可以通过将64x64残差块复制或交织到128x256残差块来执行上采样处理，或可以通过使用给定上采样滤波器来执行上采样处理。上采样滤波器包括(但是不局限于)用于生成运动补偿的子像素的N抽头三次内插滤波器、N抽头DCT内插滤波器，或者内插滤波器。

参考图5，在第一简单的示例中，一种使用低复杂度变换的编解码方法可以包括在图5中示出的下面的步骤。步骤501：接收关于声音、视频或图片块的信息，该声音、视频或图片块是待编码或解码的目标块。图5的方法也可以包括步骤502，包括确定目标块的块尺寸的宽度或高度中的至少一个是否大于或等于预先确定的阈值。

如图5所示，如果步骤502确定为“是”(即，目标块尺寸＞阈值)，则执行步骤503。步骤503包括，如果目标块的块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标块的编码或解码，但是不应用大变换，其中所述大变换具有与目标块的块尺寸的宽度或高度中的至少一个相对应的尺寸，向目标块的第一部分应用第一变换，以及向目标块的第二部分应用第一变换或第二变换。当在步骤502中的确定为“否”时，则执行步骤504。步骤504可以包括使用具有与目标块尺寸相对应的尺寸的变换。在图5的方法中，第一变换和第二变换中的至少一个是具有小于预先确定阈值的尺寸的低复杂度变换。图5的方法还可以包括由一个或多个处理器执行的处理步骤501-504。图5的方法还可以包括，在步骤501-504执行之前，或在步骤501-504的执行期间，由存储器中的一个或多个处理器提前存储至少一个低复杂度数据结构。

在图5的方法中还可以包括，低复杂度变换是以下之一：变换核仅仅由1和-1组成的哈达马德变换，以及变换核仅仅由2的乘幂组成的预先确定的变换。

在图5的方法中可以进一步包括将高频率变换系数归零，使得仅仅维持较低频率变换系数。

图5的方法还可以包括，低复杂度变换的缩放重新使用与低复杂度变换的尺寸不同的另一个变换尺寸相同的量化方案，使用满足K*K’的正交变换核K(单位矩阵)将N点变换核缩放64*sqrt(N)。其中，K’是K的转置。当应用低复杂度变换时，将N点变换核缩放64*sqrt(N)。

图5的方法还可以包括，低复杂度变换是以下之一：变换核仅仅由1和-1组成的哈达马德-沃尔什变换，以及变换核仅仅由2的乘幂组成的变换，并且可以进一步包括：通过对低复杂度变换进行缩放生成量化方案，如果低复杂度变换不是哈达马德-沃尔什变换：则使用生成的量化方案，引起或发送导致对目标块进行编码或解码的信息，并且如果低复杂度变换是哈达马德-沃尔什变换：则(i)通过执行移位，以补偿大变换中缩放的差异和调整量化方案；以及(ii)通过使用调整的量化方案，引起或传送导致对目标块进行编码或解码的信息，其中，解码包括：对目标块进行反变换，以得出去量化的变换块，并且对至少一个残差块进行上采样以得到初始块尺寸。

图5的方法还可以包括低复杂度变换是哈达马德-沃尔什变换，并且因为大变换的缩放比例不同，相应地调整内部取整运算以匹配不同的缩放，其中内部取整运算包括水平和垂直变换之后的至少右移运算。图5的方法还可以包括：首先对每个非重叠NxN块应用XxY变换，其中X和Y可以是2、4、8、16、32或64，并且随后对通过XxY变换生成的变换系数的顶部应用第二变换，其中，第一XxY和/或第二变换是低复杂度变换。

图5的方法还可以包括：对于块尺寸的宽度和高度中的至少一个等于128的目标块，对于128点变换，仅仅使用前64、32、16、8、4、2或1个变换系数，并且将其余系数归零。

图5的方法还可以包括，对128xM、Mx128、256xM或Mx256块不应用大128点/256点变换，通过因子s对块进行子采样，并且偶数样本构成一个块，奇数样本构成另一个块，在水平/垂直方向中的至少一个应用子采样，编码包括：对每个子采样块应用第一变换，以及生成每个子采样块的变换系数，并且，随后，对变换系数进行加权求和，以生成另一个变换系数块，对该另一个变换系数块进行量化和熵编码，并且解码包括：对去量化的变换块进行反变换，并且将残差块上采样为初始块尺寸。

图5的方法还可以包括，当需要在水平和/或垂直方向应用大变换时，不应用大MxN变换，沿着水平和/或垂直方向应用多个较小的块尺寸变换，对于每个较小的块尺寸变换应用归零，并且对结果进行加权求和，以生成整体块的变换系数，并且当需要在水平和/或垂直方向应用逆大变换时，不应用大MxN逆变换，应用较小的块尺寸变换，然后将较小的块尺寸变换上采样为MxN，以生成整体块的残差。

能够通过一个或多个处理器实施编码/解码的技术，该一个或多个处理器可以执行包含计算机可读指令的计算机软件。所述计算机软件可以物理地存储于一个或多个计算机可读介质(例如，硬盘驱动器)中。例如，图7示出了适于实现所公开主题的某些实施例的计算机系统700。

所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。

所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。

图7中所示的用于计算机系统700的组件是示例性的，并且不对实现本申请实施例的计算机软件的使用范围、或功能提出任何限制。也不应将组件的配置解释为，对计算机系统700的示例性实施例中所示的任一组件或其组合具有任何依赖性或要求。

计算机系统700可以包括某些人机界面输入设备。所述人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)对一个或多个人工用户的输入做出响应。所述人机界面设备还可用于捕捉某些媒体，所述媒体可能与人类有意识的输入无关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

人机界面输入装置可包括以下装置中的一个或多个(每个仅描述一个)：键盘701、鼠标702、触控板703、触摸屏710、数据手套704、操纵杆705、麦克风706、扫描仪707、照相机708。

计算机系统700还可以包括某些人机界面输出设备。所述人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个用户的感觉。这类人机界面输出设备可以包括触觉输出设备(例如通过触摸屏710、数据手套704或操纵杆705的触觉反馈，但是也可以包括不作为输入设备的触觉反馈设备)、音频输出设备(例如：扬声器709、耳机(未示出))、视觉输出设备(例如包括CRT的屏幕710、LCD屏幕，等离子屏幕、OLED屏幕，每一个可以具有或不具有触摸屏输入能力，每一个可以具有或不具有触觉反馈能力——其中的一些能够通过诸如立体输出，虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))，以及打印机(未示出)，实现二维视觉输出或多于三维的视觉输出。

计算机系统700还可以包括可访问的存储设备及其相关介质，诸如光学介质，包括具有CD/DVD的CD/DVD ROM/RW720等介质721、拇指驱动器722、可移动硬盘驱动器或固态驱动器723、传统磁介质、诸如磁带和软盘(未示出)、基于诸如安全保护锁(未示出)的专用ROM/ASIC/PLD的设备，等。

本领域技术人员还应当理解，结合本申请主题使用的术语“计算机可读介质”不包括传输介质、载波或其它易失性信号。

计算机系统700还可以包括一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、对实时性要求不高的网络(延迟容忍网络)等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要连接到通用数据端口、或外围总线749(例如计算机系统700的USB端口)的外部网络接口适配器；其他系统通常通过连接到系统总线而集成到计算机系统700的核心，如下所述(例如，以太网接口到PC计算机系统，或蜂窝网络接口到智能电话计算机系统)。使用这些网络中的任何一个，计算机系统700可以与其他实体通信。所述通信可以是单向的，仅用于接收(例如，广播电视)，单向的仅用于发送(例如，CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。上述的每个网络和网络接口可使用某些协议和协议栈。

上述人机界面设备、可访问存储设备和网络接口可以连接到计算机系统700的核心740。

核心740可以包括一个或多个中央处理单元(CPU)741，图像处理单元(GPU)742，现场可编程门区域(FPGA)743形式的专用可编程处理单元，用于某些任务的硬件加速器744等。这些设备以及只读存储器(ROM)745、随机存取存储器746，诸如内部非用户可访问硬盘驱动器的内部大容量存储器，SSD等747可以通过系统总线748连接。在一些计算机系统中，可以通过一个或多个物理插头的形式来访问系统总线748，以通过增加CPU，GPU等进行扩展。外围设备可直接连接到核心的系统总线748，或通过外围总线749连接到核心。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。

CPU 741、GPU 742，FPGA 743和加速器744可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 745或RAM746中。过渡数据也可以存储在RAM 746中，而永久数据可以存储在例如内部大容量存储器747中。通过使用高速缓冲存储器，启用对任一存储器装置的快速存储和检索，所述高速缓冲存储器可与一个或多个CPU 741、GPU 742、大容量存储装置747、ROM 745、RAM 746等紧密地关联。

所述计算机可读介质可存储用于执行各种计算机实现操作的计算机代码。介质和计算机代码可以是为实现本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

作为一个例子而非限制，具有体系结构700的计算机系统，特别是核心740可以提供处理器(包括CPU、GPU、FPGA、加速器等)的功能，用于执行在一个或多个有形的计算机可读介质中存储的软件。这样的计算机可读介质可以是与如上所述的用户可访问的大容量存储器相关联的介质，以及具有非易失性核心740的某些存储器，诸如核心内部大容量存储器747或ROM 745。实现本申请的各种实施例的软件可以存储在此类设备中，并且由核心740执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使核心740，特别是其中的处理器(包括CPU、GPU、FPGA等)执行在此描述的特定过程，或特定过程的特定部分，包括定义存储在RAM 746中的数据结构，并且根据由软件定义的过程来修改该数据结构。额外的或作为替代的，计算机系统可以提供硬连线逻辑，或以其他方式包含在电路(例如：加速器744)中的功能，该电路可以代替软件，或与软件同步操作以执行此处描述的特定过程，或特定过程的特定部分。在适当的情况下，可以包括对软件的逻辑引用，反之亦然。在适当的情况下，计算机可读介质可包括存储待执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。

虽然本申请已对多个示例性实施例进行了描述，但实施例的各种变更、排列和各种等同替换属于本申请的范围。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确展示或描述，但其体现了本申请的原则，因此属于本申请的范围之内。

Claims

1.一种解码方法，其特征在于，包括：

接收待解码的目标数据块；

如果目标数据块的块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标数据块的解码操作，在应用大变换时，使用低复杂度变换，其中，

所述大变换的块尺寸与目标数据块的块尺寸的宽度或高度中的至少一个相对应，所述大变换为超出64点变换；及，

当所述低复杂度变换是变换核由1和-1组成的哈达马德-沃尔什变换时，对所述哈达马德-沃尔什变换执行不同地缩放，并相应地调整水平和垂直变换之后的内部舍入操作，以匹配不同的缩放，具体包括：在高效视频编码HEVC中，

前向水平变换之后的右移是(log2(Width)+bitDepth+6)–21；

前向垂直变换之后的右移是log2(Height)；

反垂直变换之后的右移是7；

反水平变换之后的右移是20–bitDepth；

其中，Width表示执行缩放的数据块的宽度，Height表示执行缩放的数据块的高度，bitDepth表示位深。

2.根据权利要求1所述的方法，其特征在于，所述低复杂度变换包括以下之一：所述变换核由1和-1组成的哈达马德-沃尔什变换，和变换核由2的乘幂组成的预先确定的变换。

3.根据权利要求1所述的方法，进一步包括：

将高频率变换系数归零，使得仅维持较低频率变换系数。

4.根据权利要求2所述的方法，进一步包括：

如果所述低复杂度变换不是所述哈达马德-沃尔什变换，则触发或传送信息，其中，所述信息指示根据生成的量化方案对目标数据块进行解码，其中，解码包括：对目标数据块进行反变换，以得出去量化的变换块，并且将至少一个残差块上采样为初始块尺寸。

5.根据权利要求1所述的方法，其特征在于，所述执行目标数据块的解码操作，在应用大变换时，使用低复杂度变换，包括：

对128xM、Mx128、256xM或Mx256块，不应用大128点/256点变换，对每个非重叠的NxN块，应用第一变换，其中，M是块高度时，N是块宽度；M是块宽度时，N是块高度；所述第一变换为XxY变换，X和Y中的任一个是2、4、8、16、32或64；

对通过所述XxY变换生成的变换系数的顶部，应用第二变换；其中，所述第一变换和所述第二变换中的至少一个是所述低复杂度变换。

6.根据权利要求1所述的方法，其特征在于，对于块尺寸的宽度和高度中的至少一个等于128的目标数据块，针对128点变换，仅使用前64、32、16、8、4、2或1个变换系数，并且将其余系数归零。

7.根据权利要求1所述的方法，其特征在于，所述执行目标数据块的解码操作，包括：

对128xM、Mx128、256xM或Mx256块，不应用大128点/256点变换，通过因子s对数据块进行子采样，其中，偶数样本构成一个块，并且奇数样本构成另一个块，M是块宽度或者块高度；

在水平和垂直方向的至少一个方向，应用子采样；

对去量化的变换块进行反变换，并且将残差块上采样为初始块尺寸。

8.根据权利要求1所述的方法，进一步包括：

当需要在水平和垂直方向的至少一个方向应用所述大变换时，不应用大MxN变换，而是沿着水平和垂直方向的至少一个方向，应用多个较小的块尺寸变换；对于每个较小的块尺寸变换应用归零，并且对结果进行加权求和，以生成整体块的变换系数；

当需要在水平和垂直方向的至少一个方向应用所述大变换的逆变换时，不应用大MxN逆变换，而是应用较小的块尺寸变换，并且将较小的块尺寸变换上采样为MxN，以生成整体块的残差；

其中，M是块宽度，并且N是块高度。

9.一种编码方法，其特征在于，包括：

接收待编码的目标数据块；

如果目标数据块的块尺寸的宽度或高度中的至少一个大于或等于预先确定的阈值，则执行目标数据块的编码操作，在应用大变换时，使用低复杂度变换，其中，

前向水平变换之后的右移是(log 2(Width)+bitDepth+6)–21；

前向垂直变换之后的右移是log2(Height)；

反垂直变换之后的右移是7；

反水平变换之后的右移是20–bitDepth；

10.一种编码或解码装置，其特征在于，包括：

至少一个存储器，配置为存储计算机程序代码；以及

至少一个处理器，配置为访问至少一个存储器，并且根据所述计算机程序代码进行操作，以执行权利要求1至9中任一项所述的编码或解码方法中的步骤。

11.一种非易失性计算机可读存储媒介，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的编码或解码方法中的步骤。