CN112806007A

CN112806007A - 视频译码中的边界块分割

Info

Publication number: CN112806007A
Application number: CN201980046846.XA
Authority: CN
Inventors: 高晗; 陈建乐; 塞米赫·艾森力克; 赵志杰; 阿南德·梅赫·科特拉
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-07-12
Filing date: 2019-06-27
Publication date: 2021-05-14
Also published as: CA3105674A1; JP7503120B2; CL2021000075A1; AU2023202658B2; KR102502604B1; US20240031571A1; KR20230031976A; US11425375B2; AU2023202658A1; KR20210024092A; AU2019302396A1; PH12021550060A1; US20210136372A1; US11750810B2; CN113225564B; MX2021000394A; CN113225564A; US20230019654A1; JP2021524707A; NZ772299A

Abstract

一种分割方法，包括：确定图像的当前块是否为边界块，且所述当前块的大小是否大于允许的最小四叉树叶节点大小；如果所述当前块是边界块且所述当前块的大小不大于允许的最小四叉树叶节点大小(MinQTSize)，则对所述当前块应用强制二叉树(binary tree，BT)分割。一种方法，包括：确定图像的当前块是边界块，且所述当前块的大小小于或等于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；根据所述确定结果，对所述当前块应用强制二叉树(binary tree，BT)分割。

Description

视频译码中的边界块分割

相关申请案的交叉参考

本申请要求Futurewei技术有限公司于2018年7月12日递交的第62/697,274号、发明名称为“视频编码器、视频解码器和对应方法(A Video Encoder,A Video Decoder andCorresponding Methods)”的美国临时专利申请案以及于2019年3月15日递交的第62/818,996号、发明名称为“视频译码中的边界块分割(Boundary Block Partitioning in VideoCoding)”的美国临时专利申请案的优先权，这两个申请案的内容通过引用的方式并入本文中。

技术领域

本申请实施例一般涉及视频译码领域，尤其涉及编码单元的划分和分割。

背景技术

即使在视频较短的情况下也需要对大量的视频数据进行描述，当数据要在带宽容量受限的通信网络中发送或以其它方式传输发送时，这样可能会造成困难。因此，视频数据通常要先压缩，然后在现代电信网络中发送。由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频压缩设备通常在信源侧使用软件和/或硬件，以在发送或存储之前对视频数据进行译码，从而减少用来表示数字视频图像所需的数据量。然后，在目的地侧，视频解压缩设备接收压缩后的数据。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术在几乎不影响图像质量的情况下能够提高压缩比。

发明内容

本申请(或本发明)实施例提供了编解码的装置和方法。

第一方面涉及一种分割方法，包括：确定图像的当前块是否为边界块，且所述当前块的大小是否大于允许的最小四叉树叶节点大小；如果所述当前块是边界块且所述当前块的大小不大于允许的最小四叉树叶节点大小(MinQTSize)，则对所述当前块应用强制二叉树(binary tree，BT)分割。

根据所述第一方面，在所述方法的第一种实现方式中，所述强制二叉树分割在所述当前块位于所述图像的下边界上时为递归水平强制二叉树分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制边界分割。

根据所述第一方面或所述第一方面的任一前述实现方式，在所述方法的第二种实现方式中，继续进行所述强制二叉树分割，直到叶节点块位于所述图像内。

根据所述第一方面或所述第一方面的任一前述实现方式，在所述方法的第三种实现方式中，所述强制二叉树分割包括：通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述图像的所述下边界；通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述图像的所述右边界。

根据所述第一方面或所述第一方面的任一前述实现方式，在所述方法的第四种实现方式中，所述强制BT分割包括：通过垂直强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第一方面或所述第一方面的任一前述实现方式，在所述方法的第五种实现方式中，所述方法还包括应用所述允许的最小四叉树叶节点大小来控制对非边界块的分割。

根据所述第一方面或所述第一方面的任一前述实现方式，在所述方法的第六种实现方式中，所述边界块是非完全在所述图像内且非完全在所述图像外的块。

第二方面涉及一种解码方法，用于根据所述第一方面或所述第一方面的任一前述实现方式，通过对块进行分割，从而对所述块进行解码。

根据第二方面，在所述方法的第一种实现方式中，所述方法还包括通过序列参数集(sequence parameter set，SPS)接收所述允许的最小四叉树叶节点大小。

第三方面涉及一种编码方法，用于根据所述第一方面或所述第一方面的任一前述实现方式，通过对块进行分割，从而对所述块进行编码。

根据所述第三方面，在所述方法的第一种实现方式中，所述方法还包括通过序列参数集(sequence parameter set，SPS)发送所述允许的最小四叉树叶节点大小。

第四方面涉及一种解码设备，包括逻辑电路，用于通过所述第一方面或所述第一方面的任一前述实现方式所述的分割方法，对块进行分割，从而对所述块进行解码。

根据第四方面，在所述解码设备的第一种实现方式中，所述逻辑电路还用于通过序列参数集(sequence parameter set，SPS)接收所述允许的最小四叉树叶节点大小。

第五方面涉及一种编码方法，包括逻辑电路，用于通过所述第一方面或所述第一方面的任一前述实现方式所述的分割方法，对块进行分割，从而对所述块进行编码。

根据所述第五方面，在所述解码设备的第一种实现方式中，所述逻辑电路还用于通过序列参数集(sequence parameter set，SPS)发送所述允许的最小四叉树叶节点大小。

第六方面涉及一种用于存储指令的非瞬时性存储介质，当处理器执行所述指令时使处理器执行第一方面、第二方面或第三方面或第一方面、第二方面或第三方面的任一个前述实现方式所述的方法。

第七方面涉及一种方法，包括：确定图像的当前块是边界块，且所述当前块的大小小于或等于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；根据所述确定结果，对所述当前块应用强制二叉树(binary tree，BT)分割。

根据所述第七方面，在所述方法的第一种实现方式中，所述当前块位于所述图像的下边界上，并且所述强制BT分割是递归水平强制BT分割。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第二种实现方式中，所述当前块位于所述图像的右边界上，并且所述强制BT分割是递归垂直强制BT分割。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第三种实现方式中，所述强制BT分割包括：通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第四种实现方式中，所述强制BT分割包括：通过垂直强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第五种实现方式中，所述方法还包括应用MinQTSize来控制对非边界块的分割。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第六种实现方式中，所述方法还包括通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

根据所述第七方面或所述第七方面的任一前述实现方式，在所述方法的第七种实现方式中，所述方法还包括通过序列参数集(sequence parameter set，SPS)发送MinQTSize。

第八方面涉及一种装置，包括：存储器；处理器，耦合到所述存储器，所述处理器用于：确定图像的当前块是边界块，且所述当前块的大小大于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；根据所述确定结果，对所述当前块应用强制二叉树(binarytree，BT)分割。

根据所述第八方面，在所述装置的第一种实现方式中，所述强制BT分割在所述当前块位于所述图像的下边界上时为递归水平强制BT分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制BT分割。

根据所述第八方面或所述第八方面的任一前述实现方式，在所述装置的第二种实现方式中，所述强制BT分割包括：通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第八方面或所述第八方面的任一前述实现方式，在所述装置的第三种实现方式中，所述强制BT分割包括：通过垂直强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第八方面或所述第八方面的任一前述实现方式，在所述装置的第四种实现方式中，所述处理器还用于应用MinQTSize来控制对非边界块的分割。

根据所述第八方面或所述第八方面的任一前述实现方式，在所述装置的第五种实现方式中，所述装置还包括耦合至所述处理器的接收器，并且所述接收器用于通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

根据所述第八方面或所述第八方面的任一前述实现方式，在所述装置的第六种实现方式中，所述装置还包括耦合至所述处理器的发送器，并且所述发送器用于通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

第九方面涉及一种计算机程序产品，包括存储在非瞬时性介质上的计算机可执行指令，处理器执行所述计算机可执行指令时使装置执行以下操作：确定图像的当前块是否为边界块；当所述当前块是边界块时，确定所述当前块的大小大于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；当所述当前块0的大小不大于所述MinQTSize时，对所述当前块应用强制二叉树(binary tree，BT)分割。

根据所述第九方面或所述第九方面的任一前述实现方式，在所述装置的第二实现方式中，所述强制BT分割包括：通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第九方面或所述第九方面的任一前述实现方式，在所述装置的第三种实现方式中，所述强制BT分割包括：通过垂直强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

根据所述第九方面或所述第九方面的任一前述实现方式，在所述装置的第四种实现方式中，所述指令还使所述装置应用MinQTSize来控制对非边界块的分割。

根据所述第九方面或所述第九方面的任一前述实现方式，在所述装置的第五种实现方式中，所述指令还使所述装置通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

根据所述第九方面或所述第九方面的任一前述实现方式，在所述装置的第六种实现方式中，所述指令还使所述装置通过序列参数集(sequence parameter set，SPS)发送MinQTSize。

为了描述的清晰性，本文中公开的任一实施例可以与其它任一或多个实施例结合以创建本发明范围内的新实施例。

这些和其它特征将结合附图和权利要求书从以下详细描述中更清楚地理解。

附图说明

为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同附图标记表示相同部分。

图1A为可实现本发明实施例的示例性译码系统的框图。

图1B为可实现本发明实施例的另一示例性译码系统的框图。

图2为可实现本发明实施例的示例性视频编码器的框图。

图3为可实现本发明实施例的示例性视频解码器的框图。

图4为本发明实施例提供的网络设备的示意图。

图5为示例性实施例提供的装置的简化框图，所述装置可用作图1A中的源设备12和目的设备14中的任一个或两个。

图6A至图6F为VVC中的不同CU划分模式。

图7A为HD(1920×1080)下边界CTU(128×128)强制QT分割。

图7B为本发明实施例提供的HD(1920×1080)下边界CTU(128×128)强制BT分割。

图8示出了示例性边界定义。

图9A为本发明实施例提供的角落情况强制QTBT分割。

图9B为本发明实施例提供的用于位于角落处的块的强制QTBT分割的示例。

图10示出了边界定义的实施例。

具体实施方式

首先应理解，尽管下文提供一项或多项实施例的说明性实现方式，但所公开的系统和/或方法可使用任何数目的技术来实现，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实现方式、附图和技术，包括本文所说明并描述的示例性设计和实现方式，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。

图1A为可实现本发明实施例的示例性译码系统10(例如，视频译码系统10)的框图。译码系统10可以使用预测技术，例如双向预测技术。如图1A所示，译码系统10包括源设备12，其中，所述源设备12提供稍后由目的设备14解码的经编码视频数据。具体地，源设备12可以通过计算机可读介质16向目的设备14提供视频数据。源设备12和目的设备14可以包括以下多种设备中的任一种，包括台式计算机、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、“智能”手机、“智能”平板等电话手持机、电视、摄像机、显示设备、数字媒体播放器、视频游戏机、视频流设备等。在一些情况下，源设备12和目的设备14可配备用于无线通信的组件。

目的设备14可以通过计算机可读介质16接收待解码的经编码视频数据。计算机可读介质16可以包括能够将经编码视频数据从源设备12移动到目的设备14的任何类型的介质或设备。在一个示例中，计算机可读介质16可以包括通信介质，以使源设备12能够将经编码视频数据直接实时地发送到目的设备14。经编码视频数据可以根据无线通信协议等通信标准进行调制，并发送到目的设备14。通信介质可包括任何无线或有线通信介质，例如射频(radio frequency，RF)频谱或一条或多条物理传输线。所述通讯介质可构成分组网络(如局域网、广域网、或因特网等全球网络)的一部分。所述通信介质可以包括路由器、交换机、基站或任何其它可用于从源设备12到目的设备14进行通信的设备。

在一些示例中，可以将经编码数据从输出接口22输出到存储设备。类似地，可以通过输入接口28从存储设备访问经编码数据。所述存储设备可以包括各种分布式或本地访问数据存储介质中的任一种，如硬盘驱动器、蓝光光盘、数字视频磁盘(digital video disk，DVD)、只读光盘存储器(Compact Disc Read-Only Memory，CD-ROM)、闪存、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储介质。在另一示例中，存储设备可以对应于文件服务器或可以存储由源设备12生成的经编码视频的另一中间存储设备。目的设备14可以通过流式传输或下载从存储设备中访问所存储的视频数据。所述文件服务器可以是能够存储经编码视频数据并将该经编码视频数据发送到目的设备14的任何类型的服务器。示例性文件服务器包括万维网服务器(例如，用于网站)、文件传输协议(file transfer protocol，FTP)服务器、网络附属存储(network attached storage，NAS)设备或本地磁盘驱动器。目的设备14可以通过任何标准数据连接(包括因特网连接)访问经编码视频数据。所述标准数据连接可以包括无线信道(例如，Wi-Fi连接)、有线连接(例如，数字用户线(digital subscriber line，DSL)、电缆调制解调器等)或两者适于访问存储在文件服务器上的经编码视频数据的组合。来自存储设备的经编码视频数据的发送可以是流式传输、下载传输或其组合。

本发明的技术不一定限于无线应用或设置。这些技术可以应用于视频译码以支持各种多媒体应用中的任一种，如空中电视广播、有线电视传输、卫星电视传输、互联网流视频传输(如HTTP动态自适应流媒体(dynamic adaptive streaming over HTTP，DASH)、在数据存储介质上编码的数字视频、对存储在数据存储介质上的数字视频进行解码)或其它应用。在一些示例中，译码系统10可用于支持单向或双向视频传输，以支持视频流式传输、视频播放、视频广播和/或视频电话等应用。

在图1A的示例中，源设备12包括视频源18、视频编码器20和输出接口22。目的设备14包括输入接口28、视频解码器30和显示设备32。根据本发明，源设备12的视频编码器20和/或目的设备14的视频解码器30可应用双向预测等预测技术。在其它示例中，源设备12和目的设备14可以包括其它组件或装置。例如，源设备12可以从外部视频源(如外部摄像机)接收视频数据。同样地，目的设备14可以与外部显示设备连接，而不是包括集成显示设备。

图1A所示的译码系统10仅是一个示例。双向预测等技术可以由任何数字视频编码和/或解码设备执行。尽管本发明的技术通常由视频译码设备执行，但这些技术也可以由视频编码器/解码器(通常称为“编解码器”)执行。此外，本发明的技术还可以由视频预处理器执行。视频编码器和/或解码器可以是图形处理器(graphics processing unit，GPU)或类似设备。

源设备12和目的设备14仅是此类译码设备的示例，其中，源设备12生成经编码视频数据以发送到目的设备14。在一些示例中，源设备12和目的设备14可以基本上对称地操作，使得源设备12和目的设备14都包括视频编码和解码组件。因此，编码系统10可以支持视频设备12、14之间的单向或双向视频传输，例如用于视频流式传输、视频播放、视频广播或视频电话。

源设备12的视频源18可以包括视频捕获设备(如视频摄像机)、包括之前捕获视频的视频存档，和/或从视频内容提供方接收视频的视频馈送接口。在另一替代方案中，视频源18可以生成基于计算机图形的数据作为源视频，或直播视频、存档视频和计算机生成视频的组合。

在一些情况下，当视频源18是视频摄像机时，源设备12和目的设备14可以形成摄像机手机或视频手机。然而，如上所述，本发明中描述的技术通常可用于视频译码，也可用于无线和/或有线应用。在每种情况下，可以由视频编码器20对所捕获、预捕获或计算机生成的视频进行编码。然后，可以通过输出接口22将经编码视频信息输出到计算机可读介质16上。

计算机可读介质16可以包括瞬态介质，如无线广播或有线网络传输，或计算机可读介质16可包括非瞬时性存储介质，如硬盘、闪存驱动器、光盘、数字视频光盘、蓝光光盘或其它计算机可读介质。在一些示例中，网络服务器(未示出)可以从源设备12接收经编码视频数据，并且例如通过网络传输向目的设备14提供经编码视频数据。类似地，介质生产设施(如光盘冲压设施)的计算设备可以从源设备12接收经编码视频数据，并产生包括经编码视频数据的光盘。因此，在各种示例中，计算机可读介质16可理解为包括一个或多个各种形式的计算机可读介质。

目的设备14的输入接口28从计算机可读介质16接收信息。计算机可读介质16的信息可以包括由视频编码器20定义的语法信息，其中，所述语法信息也由视频解码器30使用，所述语法信息包括描述块和其它编码单元(例如，图片组(group of picture，GOP))的特征和/或处理的语法元素。显示设备32向用户显示经解码视频数据，并且可以包括各种显示设备中的任一种，如阴极射线管(cathode ray tube，CRT)、液晶显示器(liquid crystaldisplay，LCD)、等离子体显示器、有机发光二极管(organic light emitting diode，OLED)显示器或其它类型的显示设备。

视频编码器20和视频解码器30可以根据视频译码标准，如目前正在开发的高效视频译码(High Efficiency Video Coding，HEVC)标准进行操作，并且可符合HEVC测试模型(HEVC Test Model，HM)。或者，视频编码器20和视频解码器30可以根据其它专有或行业标准进行操作，如ITU-T和MPEG目前正在开发的国际电信联盟电信标准化部门(International Telecommunications Union Telecommunication StandardizationSector，ITU-T)H.264标准，或者称为运动图片专家组(Motion Picture Expert Group，MPEG)-4，第10部分、高级视频译码(Advanced Video Coding，AVC)、H.265/HEVC、通用视频译码(Versatile Video Coding，VVC)标准草案或这些标准的扩展。然而，本发明的技术不限于任何特定的译码标准。视频译码标准的其它示例包括MPEG-2和ITU-T H.263。尽管在图1A中未示出，但是在一些方面中，视频编码器20和视频解码器30可以各自与音频编码器和音频解码器集成，并且可以包括合适的复用器-解复用器(multiplexer-demultiplexer，MUX-DEMUX)单元或其它硬件和软件，以对通用数据流或单独数据流中的音频和视频都进行编码处理。如果适用，MUX-DEMUX单元可以符合ITU-H.223复用器协议，或用户数据报协议(user datagram protocol，UDP)等其它协议。

视频编码器20和视频解码器30各自可以实现为各种合适的编码器电路或解码器电路中的任一种，或者在通用逻辑电路或译码器电路中，例如一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、离散逻辑、图形处理单元(Graphical processing unit，GPU)、处理器(例如，可编程的，例如可软件编程的)、软件、硬件、固件或其任何组合。当所述技术部分地以软件形式实现时，设备可将软件的指令存储在合适的非瞬时性计算机可读介质中，并且使用一个或多个处理器以硬件形式执行所述指令，以执行本发明的技术。视频编码器20和视频解码器30各自可包括在一个或多个编码器或解码器中，其中任一者可作为组合式编码器/解码器(编解码器)的一部分集成在相应设备中。包括视频编码器20和/或视频解码器30的设备可以包括集成电路、微处理器和/或蜂窝电话等无线通信设备。

图1B是示例性实施例提供的包括图2的视频编码器20和/或图3的视频解码器30的示例性视频译码系统40的说明图。视频译码系统40可以实现本申请的技术。在所示实现方式中，视频译码系统40可以包括一个或多个成像设备41、视频编码器20、视频解码器30(和/或通过一个或多个处理单元46的逻辑电路47实现的视频编码器)、天线42、一个或多个处理器43、一个或多个存储器44和/或显示设备45。如图所示，一个或多个成像设备41、天线42、一个或多个处理单元46、逻辑电路47、视频编码器20、视频解码器30、一个或多个处理器43、一个或多个存储器44和/或显示设备45能够彼此通信。如所论述，尽管图1B示出具有视频编码器20和视频解码器30两者，但是在各种示例中，视频译码系统40可以仅包括视频编码器20或仅包括视频解码器30。

如图所示，在一些示例中，视频译码系统40可以包括天线42。例如，天线42可用于发送或接收经编码视频数据码流。此外，在一些示例中，视频译码系统40可以包括显示设备45。

显示设备45可用于呈现视频数据。如图所示，在一些示例中，可以通过一个或多个处理单元46实现逻辑电路47。一个或多个处理单元46可以包括专用集成电路(application-specific integrated circuit，ASIC)逻辑、一个或多个图形处理器、一个或多个通用处理器等。视频译码系统40还可以包括一个或多个可选的处理器43，所述一个或多个可选的处理器43可以类似地包括专用集成电路(ASIC)逻辑、一个或多个图形处理器、一个或多个通用处理器等。在一些示例中，逻辑电路47可以通过硬件、视频译码专用硬件等实现，一个或多个处理器43可以实现通用软件、操作系统等。此外，一个或多个存储器44可以是任何类型的存储器，如易失性存储器(例如，静态随机存取存储器(Static RandomAccess Memory，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)等)或非易失性存储器(例如，闪存等)等等。在非限制性示例中，一个或多个存储器44可以由高速缓冲存储器实现。在一些示例中，逻辑电路47可以访问一个或多个存储器44(例如，用于实现图像缓冲器)。在其它示例中，逻辑电路47和/或一个或多个处理单元46可以包括用于实现图像缓冲器等的存储器(例如，高速缓存等)。

图形处理单元可以包括通过逻辑电路47实现的视频编码器20，以体现结合图2所论述的各种模块和/或本文描述的任何其它编码器系统或子系统。逻辑电路47可用于执行本文论述的各种操作。视频解码器30可以以与通过逻辑电路47实现的类似方式实现，以体现结合图3的解码器30和/或本文描述的任何其它解码器系统或子系统讨论的各种模块。在一些示例中，视频编码器20和视频解码器30可以通过逻辑电路实现，并且可以包括图像缓冲器(例如，通过一个或多个处理单元46或一个或多个存储器44实现)和图形处理单元(graphics processing unit，GPU)(例如，通过一个或多个处理单元46实现)。图形处理单元可以以通信方式耦合到图像缓冲器。图形处理单元可以包括通过逻辑电路47实现的视频解码器30，以体现结合图3所论述的各种模块和/或本文描述的任何其它解码器系统或子系统。

在一些示例中，视频译码系统40的天线42可用于接收经编码视频数据码流。如所论述，经编码码流可以包括与本文所论述的视频帧的编码关联的数据、指示符、索引值、模式选择数据等，例如与译码分割关联的数据(例如，变换系数或经量化的变换系数、可选指示符(如所论述的)和/或定义译码分割的数据)。视频译码系统40还可以包括耦合到天线42并用于对经编码码流进行解码的视频解码器30。显示设备45用于呈现视频帧。

图2为可实现本发明技术的示例性视频编码器20的框图。视频编码器20可以执行视频条带内的视频块的帧内和帧间译码。帧内译码依赖于空间预测来减少或去除给定视频帧或图像内视频中的空间冗余。帧间译码依赖于时间预测来减少或去除视频序列的相邻帧或图像内视频中的时间冗余。帧内模式(I模式)可以指几种基于空间的译码模式中的任意一种。帧间模式，如单向预测(P模式)或双向预测(B模式)可以指几种基于时间的译码模式中的任意一种。

如图2所示，视频编码器20接收待编码的视频帧内的当前视频块。在图2的示例中，视频编码器20包括模式选择单元40、参考帧存储器64、加法器50、变换处理单元52、量化单元54以及熵编码单元56。模式选择单元40包括运动补偿单元44、运动估计单元42、帧内预测单元46和分割单元48。为了重建视频块，视频编码器20还包括反量化单元58、逆变换单元60和加法器62。也可以包括去块滤波器(图2中未示出)，以对块边界进行滤波，从而从重建视频中去除块假影。如果需要(例如，完全激活或实现)，去块滤波器对加法器62的输出进行滤波。除去块滤波器外，还可以使用其它滤波器(在环路或后环路中)。此类滤波器不是为了简洁性而示出，但是如果需要，可以对加法器50的输出进行滤波(作为环内滤波器)。

在编码过程中，视频编码器20接收待译码的视频帧或条带。帧或条带可以划分为多个视频块。运动估计单元42和运动补偿单元44相对于一个或多个参考帧中的一个或多个块对所接收视频块执行帧间预测译码以提供时间预测。帧内预测单元46还可以相对于与待编码块位于同一帧或条带内的一个或多个相邻块对所接收的视频块进行帧内预测译码以提供空间预测。视频编码器20可以执行多个译码通道，例如，为每个视频数据块选择合适的译码模式。

此外，分割单元48可以根据在之前译码通道或步骤中对之前分割方案的评估将视频数据块分割成子块。例如，分割单元48可初始地将帧或条带分割成最大编码单元(largest coding unit，LCU)，并且根据速率失真分析(例如，速率失真优化)将每个LCU分割成子编码单元(子CU)。模式选择单元40还可以产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可以包括一个或多个预测单元(prediction unit，PU)和一个或多个变换单元(transform unit，TU)。

本发明使用术语“块”来指代在HEVC或VVC上下文中CU、PU或TU中的任一个，或其它标准上下文中的类似数据结构(例如，H.264/AVC中的宏块及其子块)。例如，CU包括译码节点、译码节点关联的PU和TU。CU的大小与译码节点的大小相对应，呈正方形。CU的大小范围可以为8×8个像素到最大值为64×64个像素或更大的树块大小，例如128×128个像素。每个CU可以包括一个或多个PU和一个或多个TU。例如，与CU关联的语法数据可以描述将CU分割为一个或多个PU。是跳过CU还是对CU进行直接模式编码、帧内预测模式编码或帧间预测模式编码，分割模式可能有所不同。可以将PU分割成非正方形。例如，与CU关联的语法数据可以描述根据四叉树将CU分割为一个或多个PU。在一个实施例中，CU、PU或TU的形状可以是正方形或非正方形(例如，矩形)。

模式选择单元40可以根据错误结果等选择帧内或帧间译码模式中的一种，将所得到的帧内或帧间编码块提供给加法器50以生成残差块数据，并提供给加法器62来重建编码块以用作参考帧。模式选择单元40还将语法元素，如运动矢量、帧内模式指示符、分割信息和/或其它此类语法信息提供给熵编码单元56。

运动估计单元42和运动补偿单元44可以高度集成，但出于概念目的，单独说明。由运动估计单元42执行的运动估计是生成运动矢量的过程，其中，所述运动矢量用于估计视频块的运动。例如，运动向量可以指示当前视频帧或图像中的视频块的PU相对于参考帧(或其它编码单元)内的预测块的位移，所述参考帧(或其它编码单元)中的预测块是相对于在当前帧(或其它编码单元)中译码的当前块而言的。预测块是在像素差方面与待编码块高度匹配的块，其中，所述像素差可以通过绝对差和(sum of absolute difference，SAD)、平方差和(sum of square difference，SSD)或其它差值度量进行确定。在一些示例中，视频编码器20可以计算存储在参考帧存储器64中的参考图像的子整数像素位置的值。例如，视频编码器20可以对参考图像的四分之一像素位置、八分之一像素位置或其它分数像素位置的值进行插值。因此，运动估计单元42可以执行相对于整像素位置和分数像素位置的运动搜索，并输出具有分数像素精度的运动矢量。

运动估计单元42通过比较PU的位置与参考图像的预测块的位置来计算帧间译码条带中视频块的PU的运动矢量。可从第一参考图像列表(列表0)或第二参考图像列表(列表1)中选择参考图像，每个列表标识存储在参考帧存储器64中的一个或多个参考图像。运动估计单元42将计算后的运动矢量发送给熵编码单元56和运动补偿单元44。

由运动补偿单元44执行的运动补偿可以涉及根据运动估计单元42确定的运动矢量获取或生成预测块。另外，在一些示例中，运动估计单元42和运动补偿单元44可以在功能上集成。一旦接收到当前视频块的PU的运动矢量，运动补偿单元44可以定位在其中一个参考图像列表中运动矢量指向的预测块。加法器50通过从所译码的当前视频块的像素值中减去预测块的像素值，得到像素差值来形成残差视频块，如下文所述。通常，运动估计单元42相对于亮度分量执行运动估计，运动补偿单元44将根据亮度分量计算的运动矢量用于色度分量和亮度分量。模式选择单元40还可以生成与视频块和视频条带相关的语法元素，以供视频解码器30用于对视频条带的视频块进行解码。

帧内预测单元46可以对当前块进行帧内预测，作为由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，如上文所述。具体地，帧内预测单元46可以确定帧内预测模式，用于对当前块进行编码。在一些示例中，帧内预测单元46可以在单独的编码通道或步骤中等使用各种帧内预测模式对当前块进行编码，而帧内预测单元46(或者在一些示例中，模式选择单元40)可以从测试模式中选择合适的帧内预测模式进行使用。

例如，帧内预测单元46可以使用速率失真分析对各种测试的帧内预测模式计算速率失真值，并在测试的模式中选择具有最佳速率失真特性的帧内预测模式。速率失真分析通常确定编码块与经编码以产生编码块的原始未编码块之间的失真(或误差)量，以及用于产生编码块的码率(即，比特数)。帧内预测单元46可以根据各种编码块的失真和速率计算比率，以确定哪种帧内预测模式体现出最佳的块速率失真值。

此外，帧内预测单元46可以用于使用深度建模模式(depth modeling mode，DMM)对深度图的深度块进行译码。模式选择单元40可以确定可用的DMM模式产生的译码结果是否比帧内预测模式和其它DMM模式(例如，使用速率失真优化(rate-distortionoptimization，RDO))产生的译码结果更好。与深度图对应的纹理图像的数据可以存储在参考帧存储器64中。运动估计单元42和运动补偿单元44还可以用于对深度图的深度块进行帧间预测。

在为块选择帧内预测模式之后(例如，传统的帧内预测模式或DMM模式之一)，帧内预测单元46可以将指示为块选择的帧内预测模式的信息提供给熵编码单元56。熵编码单元56可以对指示所选择的帧内预测模式的信息进行编码。视频编码器20可以在所发送的码流中包括配置数据，其中，所述配置数据包括多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)、各种块的编码上下文的定义，以及最可能的帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于每个上下文。

视频编码器20通过从所译码的原始视频块中减去模式选择单元40中的预测数据来形成残差视频块。加法器50表示执行该减法运算的一个或多个组件。

变换处理单元52对残差块应用变换，如离散余弦变换(discrete cosinetransform，DCT)或概念上类似的变换，从而产生包括残差变换系数值的视频块。变换处理单元52可以执行概念上类似于DCT的其它变换。还可以使用小波变换、整数变换、子带变换或其它类型的变换。

变换处理单元52对残差块应用变换，从而产生具有残差变换系数的块。变换可将残差信息从像素值域变换到变换域，例如频域。变换处理单元52可以将所得到的变换系数发送到量化单元54。量化单元54对变换系数进行量化以进一步降低码率。量化过程可以减少与部分或全部系数关联的位深度。可以通过调整量化参数来修改量化程度。在一些示例中，量化单元54随后可以对包括量化变换系数的矩阵进行扫描。或者，熵编码单元56可以执行扫描。

在量化后，熵编码单元56对经量化的变换系数进行熵译码。例如，熵编码单元56可以执行上下文自适应可变长度译码(context adaptive variable length coding，CAVLC)、上下文自适应二进制算术译码(context adaptive binary arithmetic coding，CABAC)、基于语法的上下文自适应二进制算术译码(syntax-based context-adaptivebinary arithmetic coding，SBAC)、概率区间分割熵(probability intervalpartitioning entropy，PIPE)译码或其它熵译码技术。在基于上下文的熵译码情况中，上下文可以基于相邻块。在熵编码单元56进行熵译码之后，可以将经编码码流发送到另一设备(例如，视频解码器30)或存档以用于稍后发送或检索。

反量化单元58和逆变换单元60分别应用反量化和逆变换，以重建像素域中的残差块，例如，以供稍后用作参考块。运动补偿单元44可以根据运动矢量和对应的参考块(例如，从参考帧存储器64的一个帧的参考帧中推导)确定预测块(也称为预测块)，例如运动补偿预测块。运动补偿单元44还可以应用一个或多个插值滤波器来计算用于运动估计或补偿的参考块的子整数像素值。加法器62将重建的残差块与由运动补偿单元44产生的(运动补偿)预测块相加，以产生重建的视频块，存储在参考帧存储器64中。运动估计单元42和运动补偿单元44可以将重建的视频块用作参考块，以对后续视频帧中的块进行帧内译码。

视频编码器20的其它结构变体可用于对视频流进行编码。例如，基于非变换的视频编码器20可以在没有变换处理单元52的情况下直接对某些块或帧的残差信号进行量化。在另一种实现方式中，编码器20中，量化单元54和反量化单元58可以组合成一个单元。

图3为可实现本发明技术的示例性视频解码器30的框图。在图3的示例中，视频解码器30包括熵解码单元70、运动补偿单元72、帧内预测单元74、反量化单元76、逆变换单元78、参考帧存储器82和加法器80。在一些示例中，视频解码器30可执行通常与关于图2的视频编码器20描述的编码通道或路径相反的解码通道或路径。运动补偿单元72可以根据从熵解码单元70接收的运动矢量生成预测数据，而帧内预测单元74可以根据从熵解码单元70接收的帧内预测模式指示符生成预测数据。

在解码过程中，视频解码器30从视频编码器20接收表示经编码视频条带的视频块的经编码视频码流以及相关联的语法元素。视频解码器30的熵解码单元70对码流进行熵解码以生成量化系数、运动矢量或帧内预测模式指示符以及其它语法元素。熵解码单元70将运动矢量和其它语法元素转发给运动补偿单元72。视频解码器30可以接收视频条带级和/或视频块级的语法元素。

当视频条带被译码为经帧内译码(I)的条带时，帧内预测单元74可以根据当前帧或图像的之前解码块的指示(signal)的帧内预测模式和数据来生成当前视频条带的视频块的预测数据。当视频帧被译码为经帧间译码(即B、P或GPB)的条带时，运动补偿单元72根据从熵解码单元70接收的运动矢量和其它语法元素针对当前视频条带的视频块生成预测块。可以从其中一个参考图像列表内的其中一个参考图像产生这些预测块。视频解码器30可以根据存储在参考帧存储器82中的参考图像，使用默认构建技术来构建参考帧列表：列表0和列表1。

运动补偿单元72通过解析运动矢量和其它语法元素来确定当前视频条带中的视频块的预测信息并使用所述预测信息针对所解码的当前视频块生成预测块。例如，运动补偿单元72使用接收到的一些语法元素确定用于对视频条带的视频块进行译码的预测模式(例如帧内预测或帧间预测)、帧间预测条带类型(例如B条带、P条带或GPB条带)、用于条带的一个或多个参考图像列表的构建信息、用于条带的每个帧间编码的视频块的运动矢量、用于条带的每个帧间译码的视频块的帧间预测状态、其它信息，以对当前视频条带内的视频块进行解码。

运动补偿单元72还可以根据插值滤波器进行插值。运动补偿单元72可以使用视频编码器20在视频块编码期间使用的插值滤波器来计算参考块的子整数像素的插值后的值。在这种情况下，运动补偿单元72可以从接收到的语法元素中确定视频编码器20使用的插值滤波器，并使用插值滤波器来产生预测块。

与深度图对应的纹理图像的数据可以存储在参考帧存储器82中。运动补偿单元72还可以用于对深度图的深度块进行帧间预测。

返回图1A，视频译码系统10适合于实现各种视频译码或压缩技术。一些视频压缩技术，如帧间预测、帧内预测和环路滤波器，已经证明是高效的。因此，视频压缩技术已被应用于H.264/AVC和H.265/HEVC等各种视频译码标准中。

各种译码工具，例如自适应运动矢量预测(adaptive motion vectorprediction，AMVP)和融合模式(MERGE)可用于预测运动矢量(motion vector，MV)并提高帧间预测效率，从而提高整体视频压缩效率。

上述MV可用于双向预测。在双向预测操作中，形成两个预测块。使用列表0的MV(在此称为MV0)形成一个预测块。使用列表1中的MV(在此称为MV1)形成另一个预测块。然后将这两个预测块组合(例如，平均)以形成单个预测信号(例如，预测块)。

可以使用视频解码器30的其它变体对压缩码流进行解码。例如，解码器30可以在没有环路滤波单元的情况下产生输出视频流。例如，基于非变换的解码器30可以在没有逆变换处理单元78的情况下直接对某些块或帧的残差信号进行反量化。在另一种实现方式中，视频解码器30中，反量化单元76和反变换处理单元78可以组合成一个单元。

图4为本发明实施例提供的网络设备400(例如，译码设备)的示意图。网络设备400适用于实现本文所述的本发明所公开的实施例。在一个实施例中，网络设备400可以是解码器(如图1A和图3的视频解码器30)或编码器(如图1A和图2的视频编码器20)。在一个实施例中，网络设备400可以是如上所述的图1A和图3的视频解码器30或图1A和图2的视频编码器20的一个或多个组件。

网络设备400包括用于接收数据的入端口410和接收器单元(receiver unit，Rx)420；用于处理数据的处理器、逻辑单元或中央处理单元(central processing unit，CPU)430；用于发送数据的发送器单元(transmitter unit，Tx)440和出端口450；以及用于存储数据的存储器460。网络设备400还可以包括耦合到入端口410、接收器单元420、发送器单元440和出端口450的光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO)组件，用于光或电信号的出或入。

处理器430可以通过硬件和软件实现。处理器430可实现为一个或多个CPU芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器430与入端口410、接收器单元420、发送器单元440、出端口450和存储器460通信。处理器430包括译码模块470。译码模块470实现上文所公开的实施例。例如，译码模块470执行、处理、准备或提供各种译码操作。因此，包括译码模块470为网络设备400的功能提供了实质性改进，并且实现了网络设备400到不同状态的转换。或者，以存储在存储器460中并由处理器430执行的指令来实现译码模块470。

存储器460包括一个或多个磁盘、磁带驱动器和固态驱动器，可用作溢出数据存储设备，以在选择执行程序时存储这些程序，以及存储程序执行期间读取的指令和数据。存储器460可以是易失性和/或非易失性的，并且可以是只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、三态内容寻址存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(static random-access memory，SRAM)。

图5为示例性实施例提供的装置500的简化框图，所述装置500可用作图1A中的源设备12和目的设备14中的任一个或两个。装置500可以实现本申请的技术。装置500的形式可以是包括多个计算设备的计算系统，也可以是单个计算设备，例如手机、平板电脑、膝上型电脑、笔记本电脑、台式计算机等。

装置500中的处理器502可以是中央处理单元。或者，处理器502可以是现有的或今后将研发出的能够操控或处理信息的任何其它类型的设备或多个设备。虽然可以使用如图所示的处理器502等单个处理器来实现所公开的实现方式，但使用一个以上的处理器可以提高速度和效率。

在一种实现方式中，装置500中的存储器504可以是只读存储器(read onlymemory，ROM)设备或随机存取存储器(random access memory，RAM)设备。任何其它合适类型的存储设备都可以用作存储器504。存储器504可以包括处理器502通过总线512访问的代码和数据506。存储器504还可包括操作系统508和应用程序510，应用程序510包括允许处理器502执行本文所述方法的至少一个程序。例如，应用程序510可以包括应用1至N，还包括执行本文所述方法的视频译码应用。装置500还可以包括辅助存储器514形式的附加存储器，辅助存储器514可以是与移动计算设备一起使用的存储卡等。由于视频通信会话可以包括大量信息，因此它们可以全部或部分地存储在辅助存储器514中，并根据需要加载到存储器504中进行处理。

装置500还可以包括一个或多个输出设备，例如显示器518。在一个示例中，显示器518可以是将显示器与可用于感测触摸输入的触敏元件组合的触敏显示器。显示器518可以通过总线512耦合到处理器502。除了显示器518或作为显示器518的替代，可以提供允许用户对装置500进行编程或以其它方式使用装置500的其它输出设备。当所述输出设备是显示器或包括显示器时，所述显示器可以通过各种方式实现，包括通过液晶显示器(liquidcrystal display，LCD)、阴极射线管(cathode-ray tube，CRT)显示器、等离子显示器或发光二极管(light emitting diode，LED)显示器，如有机LED(organic LED，OLED)显示器。

装置500还可以包括图像传感设备520或与图像传感设备520通信，例如，所述图像传感设备520为摄像机或现有的或今后将研发出的能够感测图像(如操作装置500的用户图像)的任何其它图像传感设备520。可以对图像传感设备520进行定位，使得其朝向操作装置500的用户。在一个示例中，可以配置图像传感设备520的位置和光轴，使得视野包括与显示器518直接相邻并且可以看到显示器518的区域。

装置500还可以包括声音传感设备522或与声音传感设备522通信，例如，所述声音传感设备522为麦克风或现有的或今后将研发出的能够感测装置500附近的声音的任何其它声音传感设备。声音传感设备522可以被定位成使得它朝向操作装置500的用户，并且可以用于接收用户在操作装置500时发出的语音或其它话语等声音。

虽然图5描述了装置500的处理器502和存储器504集成到单个单元中，但是可以利用其它配置。处理器502的操作可以分布在多个机器(每个机器具有一个或多个处理器)中，这些机器可以直接耦合或通过局域网或其它网络耦合。存储器504可以分布在多个机器中，如基于网络的存储器或执行装置500的操作的多个机器中的存储器。虽然装置500的总线512在本文中描述为单个总线，但是总线512可以包括多个总线。此外，辅助储存器514可以直接耦合到装置500的其它组件或可以通过网络访问，并且可以包括存储卡等单个集成单元或多个存储卡等多个单元。因此，装置500可以具有各种各样的配置。

通用视频译码(Versatile Video Coding，VVC)下一代标准是国际电信联盟电信标准化部门(International Telecommunications Union TelecommunicationStandardization Sector，ITU-T)视频译码专家组(Video Coding Experts Group，VCEG)和国际标准化组织(International Organization for Standardization，ISO)/国际电工委员会(International Electrotechnical Commission，IEC)运动图像专家组(MovingPicture Experts Group，MPEG)的最新联合视频项目，这两个标准化组织共同合作，其伙伴关系称为联合视频探索小组(Joint Video Exploration Team，JVET)。在VVC中，多类型树(二叉树/三叉树/四叉树)(BT/TT/QT或二叉树/三叉树/四叉树)片段结构应替换或者可以替换多种分割单元类型的概念，即不区分CU、PU和TU的概念(除非CU的大小对于最大变换长度而言太大)，并支持更灵活的CU分割形状。[JVET-J1002]

图6A至图6F为例，说明了VTM目前使用的分割模式。图6A示出了未划分块(不进行划分)；图6B示出了CU或CTU等块的四叉树(quadtree，QT)分割；图6C示出了CU或CTU等块的水平二叉树(binary tree，BT)分割；图6D示出了CU或CTU等块的垂直二叉树(binary tree，BT)分割；图6E示出了CU或CTU等块的水平三叉树(ternary tree，TT)分割；图6F示出了CU或CTU等块的垂直三叉树(ternary tree，TT)分割。实施例可用于实现如图6A至图6F所示的分割模式。

在实施例中，可以通过用于BT/TT/QT译码树方案的序列参数集(sequenceparameter set，SPS)语法元素来定义和指定以下参数：

CTU大小：四叉树的根节点大小

MinQTSize：允许的最小四叉树叶节点大小

MaxBTTSize：允许的最大二叉树和三叉树根节点大小

MaxBTTDepth：允许的最大二叉树和三叉树深度

MinBTTSize：允许的最小二叉树和三叉树叶节点大小

在其它实施例中，允许的最小四叉树叶节点大小MinQTSize参数也可以包含在其它标头或集合中，例如，条带头(slice header，SH)或图像参数集(picture parameterset，PPS)。

在HEVC标准中，使用四叉树(quadtree，QT)对位于条带/图像边界上的译码树单元(coding tree unit，CTU)或编码单元(coding unit，CU)进行强制划分，直到叶节点的右下侧像素点位于条带/图像边界内。不需要在码流中指示强制QT分割，因为编码器和解码器，例如视频编码器20和视频解码器30都知道何时应用强制QT。强制分割的目的是能够通过视频编码器20/视频解码器30进行边界CTU/CU分割。

国际专利公开案第WO 2016/090568号公开了四叉树加二叉树(quadtree plusbinary tree，QTBT)结构，并且在VTM 1.0中，边界CTU/CU强制分割过程来自HEVC。这意味着位于帧边界上的CTU/CU在不考虑速率失真(rate-distortion，RD)优化的情况下被四叉树(quadtree，QT)结构强制分割，直到整个当前CU位于图像边界内。这些强制分割不在码流中指示。

图7A示出了由强制QT分割的高清(high definition，HD)(1920×1080个像素)下边界CTU(128×128)的强制分割示例。在图7中，HD图像为1920×1080个像素，CTU为128×128个像素。

在圣地亚哥会议(04.2018)[JVET-J1021]的CE1(分割)的SubCE2(图像边界处理)中，针对使用BT、TT、或ABT(非对称BT)的图像边界处理提出了15项测试。例如，在JVET-K0280和JVET-K0376中，边界如图8所示定义。图8用虚线表示图像的边界，用直线表示边界区域情况，即下边界情况、角落边界情况和右边界情况。下边界可以通过水平强制BT或强制QT分割，右边界可以通过垂直强制BT或强制QT分割，角落情况只能通过强制QT分割。根据速率失真优化准则确定是否使用强制BT分割或强制QT分割中的任一个，并在码流中指示。强制分割意味着块必须被分割，例如，强制分割被应用到边界块，边界块不能使用图6A中所示的“不进行划分”进行编码。

如果强制边界分割使用强制QT划分，则忽略MinQTSize的分割约束条件。例如，在图9A中，如果在SPS中指示MinQTSize为32，为了使边界与强制QT方法匹配，需要一个划分成块大小为8×8的QT，忽略MinQTSsize为32的约束条件。

根据本发明实施例，如果强制QT用于图像边界分割，则强制QT划分遵循(例如不忽略)在SPS中指示的划分约束条件。如果需要进一步强制划分，则仅使用强制BT，组合起来也可以称为强制QTBT。在本发明实施例中，例如，对于在图像边界处的强制QT分割考虑分割约束条件MinQTSize，并且不需要用于强制BT分割的其它指示。实施例还允许协调对正常(非边界)块和边界块的分割。例如，在传统解决方案中，需要两个“MinQTSize”参数，一个用于正常块分割，另一个用于边界块分割。实施例仅需要用于正常块分割和边界块分割两者的一个公共“MinQTSize”参数，所述公共“MinQTSize”参数可以在编码器和解码器之间灵活设置，例如通过指示一个“MinQTSize”参数。此外，例如，实施例需要进行比强制QT更少的分割。

下边界情况和右边界情况的解决方案

在下边界和右边界的情况下，如果块大小大于MinQTSize，则图像边界分割的分割模式可以根据RDO在强制BT分割和强制QT分割之间选择。否则(即块大小等于或小于MinQTSize时)，仅使用强制BT分割进行图像边界分割，更具体地，水平强制BT分别用于位于图像下边界的边界块的下边界，垂直强制BT分别用于位于图像的右边界的边界块的右边界。

强制BT分割可以包括通过水平强制边界分割递归地分割当前块，直到所述当前块的子分区位于图像的下边界，并且通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于图像的右边界。或者，强制BT分割可以包括通过垂直强制边界分割递归地分割当前块，直到当前块的子分区位于下边界，并且通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于右边界。MinQTSize还可以用于控制对非边界块的分割。

例如，在图7A所示的情况下，如果MinQTSize为32或限制为32，并且需要8个像素点的高度或宽度的矩形(非正方形)块的大小来匹配图像边界，使用强制BT分割来分割32×32边界定位块。可以使用相同类型的强制BT分割对BT分区进行进一步分割，例如，在已应用强制垂直BT分割的情况下，仅应用强制垂直BT分割，并且在已应用强制水平BT分割的情况下，仅应用强制水平BT分割。继续进行强制BT分割，直到叶节点完全位于图像内。

图7B示出了本发明实施例提供的大小为128×128个像素点的下边界CTU的示例性分割。形成分割树的根块或根节点的下边界CTU分割成较小的分区，例如较小的方形块或矩形块。这些较小的分区或块可以进一步分割成更小的分区或块。在图7B中，CTU首先被四叉树分割为四个方块710、720、730和740，每个方块的大小为64×64个像素点。在这些块中，块710和720再次作为下边界块，而块730和740位于图像外(分别位于图像外部)并且不进行处理。

块710进一步使用四叉树分割成四个方块750、760、770和780，每个方块的大小为32×32个像素点。块750和760位于图像内，而块770和780再次形成下边界块。由于块770的大小不大于MinQTSize(例如32)，所以对块770应用递归水平强制二叉树分割，直到叶节点完全位于图像内，例如，直到叶节点块772，即具有32×16个像素点的矩形非正方块位于图像内(经过一次水平二叉树分割之后)，或叶节点块774，即位于图像下边界且具有32×8个像素点的矩形非正方块位于图像内(经过两次水平二叉树分割之后)。块780也是如此。

本发明的实施例允许协调对完全位于图像内的正常块的分割和对边界块的分割。边界块是指不完全在图像内，也不完全在图像外的块。换句话说，边界块是包括位于图像内的部分和位于图像外的部分的块。此外，本发明的实施例可以减少指示，因为不需要指示等于或小于MinQTSize的强制BT分割。

角落情况的解决方案

在角落情况下，有些方法只允许强制QT分割，这也忽略了MinQTSize的约束条件。本发明实施例针对角落情况提供了两种解决方案。

解决方案1：

角落情况是下边界情况或右边界情况。图10示出了边界定义的实施例。图10用虚线表示图像的边界，用直线表示边界区域情况。如图所示，角落情况为下边界情况。因此，该解决方案与上述针对下边界情况和右边界情况描述的相同。换句话说，首先应用水平分割(如针对下边界情况所述)，直到块或分区完全位于图像内(垂直方向)，然后应用垂直分割(如针对右边界情况所述)，直到叶节点完全位于图像内(水平方向)。

解决方案2：

边界情况的定义保持不变。如果强制QT受MinQTSize限制(当前块大小等于或小于MinQTSize)，则使用水平强制BT匹配下边界，当下边界匹配时，使用垂直强制BT匹配右边界。

例如，在图9A中，示出了针对位于图像角落的块的强制QTBT的一个实施例，如果针对角落情况强制QT分割，MinQTSize为32，或者限制为32，则在对32×32块进行分割之后使用另一个BT分割，直到强制分割终止。

图9B示出了本发明实施例提供的在图像角落处或角落中的边界CTU的示例性分割的进一步细节，其中，所述CTU的大小为128×128个像素点。CTU首先被四叉树分割为四个方块，每个方块的大小为64×64个像素点。在这些块中，只有左上角的块910是边界块，而其余三个块位于图像外(完全在外面)并且不进一步处理。块910进一步使用四叉树分割成四个方块920、930、940和950，每个方块的大小为32×32个像素点。块920位于图像内，而块930、940和950再次形成边界块。由于这些块930、940和950的大小不大于MinQTSize(32)，因此强制二叉树分割应用于块930、940和950。

块930位于右边界上，并且使用递归垂直强制二叉树分割进行分割，直到叶节点位于图像内，例如块932位于图像的右边界(这里经过两次垂直二叉树分割之后)。

块940位于下边界上，并且使用递归水平强制二叉树分割进行分割，直到叶节点位于图像内，例如块942位于图像的右边界处(这里经过两次水平二叉树分割之后)。

块950位于角落边界处，并使用第一递归水平强制二叉树分割进行分割，直到子分区或块(在此为块952)位于图像的底边界(这里经过两次水平二叉树分割之后)，然后通过垂直强制边界分割递归分割子分区直到叶节点或块(例如块954)位于图像的右边界(这里经过两次垂直二叉树分割之后)，或者分别进行水平二叉树分割和垂直二叉树分割，直到叶子节点位于图像内。

上述方法可以应用于解码和编码。对于解码，可以通过SPS接收MinQTSize。对于编码，可以通过SPS发送MinQTSize。实施例可以使用如图8或图10所示的边界定义或其它边界定义。

下面提供本发明的其它实施例。应注意，以下部分中使用的编号并不一定需要遵循前面部分中使用的编号。

实施例1：一种分割方法，包括：

判断图像的当前块是否为边界块；

如果所述当前块为边界块，确定所述当前块的大小是否大于允许的最小四叉树叶节点大小；

如果所述当前块的大小不大于允许的最小四叉树叶节点大小，则对所述当前块应用强制二叉树(binary tree，BT)分割。

实施例2：根据实施例1所述的分割方法，所述强制二叉树分割在所述当前块位于所述图像的下边界上时为递归水平强制二叉树分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制边界分割。

实施例3：根据实施例1或2所述的分割方法，所述强制二叉树分割包括：通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区直接位于所述图像的所述下边界；通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全直接位于所述图像的所述右边界，反之亦然。

实施例4：根据实施例1至3中任一项所述的分割方法，所述允许的最小四叉树叶节点大小为还用于控制对非边界块的分割的允许的最小四叉树叶节点。

实施例5：一种解码方法，用于通过根据实施例1至4中任一项所述的分割方法对块进行分割，从而对所述块进行解码。

实施例6：根据实施例5所述的解码方法，所述允许的最小四叉树叶节点大小通过SPS接收。

实施例7：一种编码方法，用于通过根据实施例1至4中任一项所述的分割方法对块进行分割，从而对所述块进行编码。

实施例8：根据实施例7所述的编码方法，所述允许的最小四叉树叶节点大小通过SPS发送。

实施例9：一种解码设备，包括逻辑电路，用于执行实施例5或6中的任一种方法。

实施例10：一种编码设备，包括逻辑电路，用于执行实施例7或8中的任一种方法。

实施例11：一种非瞬时性存储介质，用于存储指令，当处理器执行所述指令时使处理器执行如实施例1至8中任一项所述的方法。

在一个或多个示例中，所描述的功能可以以硬件、软件、固件或其任意组合实现。如果以软件实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质发送，并由基于硬件的处理单元执行。计算机可读介质可包含计算机可读存储介质，其对应于有形介质，例如数据存储介质，或包括任何促进将计算机程序从一处传送到另一处的介质(例如根据通信协议)的通信介质。以此方式，计算机可读介质通常可以对应(1)非瞬时性的有形计算机可读存储介质，或(2)信号或载波等通信介质。数据存储介质可为可由一或多个计算机或一或多个处理器存取以检索用于实现本申请中描述的技术的指令、代码或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。

作为示例而非限制，这类计算机可读存储介质可以包括RAM、ROM、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory，EEPROM)、CD-ROM或其它光盘存储器、磁盘存储器、其它磁性存储设备、闪存或可用于存储指令或数据结构形式的所需程序代码并且可由计算机访问的任何其它介质。此外，任何连接都可以被适当地定义为电脑可读介质。例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光缆、双绞线、数字用户线(digital subscriber line，DSL)或以红外、无线和微波等无线方式发送的，也被包含在所定义的介质中。但是，应理解，所述计算机可读存储介质和数据存储介质并不包括连接、载波、信号或其它瞬时性介质，而是实际上针对于非瞬时性有形存储介质。本文中使用的磁盘(disk)和光盘(disc)包括压缩磁盘(compact disc，CD)、镭射盘、光盘、数字多功能光盘(digital versatile disc，DVD)、软盘和蓝光光盘，磁盘通常以磁性复制数据，而光盘通常以激光进行光学复制数据。上述的组合也可以包括在电脑可读介质范畴中。

可通过一个或多个数字信号处理器(digital signal processor，DSP)、通用微处理器、专用集成电路(application specific integrated circuit，ASIC)、现场可编程逻辑阵列(field programmable logic array，FPGA)或其它等效集成或离散逻辑电路等一个或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指前述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的各种功能可以提供在用于编码和解码的专用硬件和/或软件模块内，或者并入到组合编解码器中。而且，所述技术可以完全在一个或多个电路或逻辑元件中实现。

本发明的技术可以在多种设备或装置中实施，这些设备或装置包括无线手机、集成电路(integrated circuit，IC)或一组IC(例如芯片组)。本申请中描述各种组件、模块或单元是为了强调用于执行所公开技术的装置的功能方面，但未必需要由不同硬件单元实现。实际上，如上所述，各种单元可以结合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元(包括如上所述的一个或多个处理器)的集合来提供。

一种装置，包括存储元件和耦合到所述存储元件的处理器元件，用于：确定图像的当前块是否为边界块；当所述当前块为边界块时，确定所述当前块的大小大于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；当所述当前块的大小不大于所述MinQTSize时，对所述当前块应用强制二叉树(binary tree，BT)分割。

虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其它特定形式来体现。本发明的示例应是说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或组件可以在另一系统中组合或合并，或者某些特征可以省略或不实现。

此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或互相通信的其它项可以采用电方式、机械方式或其它方式经由某一接口、设备或中间组件间接地耦合或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

缩略语和术语定义

HEVC-高效视频译码

VVC-通用视频译码

VTM-VVC测试模型

JEM-联合探索模型

CTU-译码树单元

CU-编码单元

BT-二叉树

TT-三叉树

QT-四叉树

ABT-非对称BT

MTT-多类型树

AMP-非对称分割

SH-条带头

SPS-序列参数集

PPS-图像参数集

CE-核心实验

SubCE-子核心实验(核心实验的一部分)

Claims

1.一种分割方法，其特征在于，包括：

确定图像的当前块是否为边界块，且所述当前块的大小是否大于允许的最小四叉树叶节点大小；

如果所述当前块是边界块且所述当前块的大小不大于允许的最小四叉树叶节点大小(MinQTSize)，则对所述当前块应用强制二叉树(binary tree，BT)分割。

2.根据权利要求1所述的分割方法，其特征在于，所述强制二叉树分割在所述当前块位于所述图像的下边界上时为递归水平强制二叉树分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制边界分割。

3.根据权利要求1或2所述的分割方法，其特征在于，继续进行所述强制二叉树分割，直到叶节点块位于所述图像内。

4.根据权利要求1至3中任一项所述的分割方法，其特征在于，所述强制二叉树分割包括：

通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述图像的所述下边界；

通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述图像的所述右边界。

5.根据权利要求1至3中任一项所述的分割方法，其特征在于，所述强制二叉树分割包括：

通过垂直强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；

通过水平强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

6.根据权利要求1至5中任一项所述的分割方法，其特征在于，还包括应用所述允许的最小四叉树叶节点大小来控制对非边界块的分割。

7.根据权利要求1至6中任一项所述的分割方法，其特征在于，所述边界块是非完全在所述图像内且非完全在所述图像外的块。

8.一种解码方法，其特征在于，通过根据权利要求1至7中任一项所述的分割方法对块进行分割，从而对所述块进行解码。

9.根据权利要求8所述的解码方法，其特征在于，还包括通过序列参数集(sequenceparameter set，SPS)接收所述允许的最小四叉树叶节点大小。

10.一种编码方法，其特征在于，通过根据权利要求1至7中任一项所述的分割方法对块进行分割，从而对所述块进行编码。

11.根据权利要求10所述的编码方法，其特征在于，还包括通过序列参数集(sequenceparameter set，SPS)发送所述允许的最小四叉树叶节点大小。

12.一种解码设备，其特征在于，包括逻辑电路，用于通过根据权利要求1至7中任一项所述的分割方法对块进行分割，从而对所述块进行解码。

13.根据权利要求12所述的解码设备，其特征在于，所述逻辑电路还用于通过序列参数集(sequence parameter set，SPS)接收所述允许的最小四叉树叶节点大小。

14.一种编码设备，其特征在于，包括逻辑电路，用于通过根据权利要求1至7中任一项所述的分割方法对块进行分割，从而对所述块进行编码。

15.根据权利要求14所述的编码设备，其特征在于，所述逻辑电路还用于通过序列参数集(sequence parameter set，SPS)发送所述允许的最小四叉树叶节点大小。

16.一种非瞬时性存储介质，其特征在于，用于存储指令，当处理器执行所述指令时使处理器执行如权利要求1至11中任一项所述的方法。

17.一种方法，其特征在于，包括：

确定图像的当前块是边界块，且所述当前块的大小小于或等于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；

根据所述确定结果，对所述当前块应用强制二叉树(binary tree，BT)分割。

18.根据权利要求17所述的方法，其特征在于，所述当前块位于所述图像的下边界上，并且所述强制BT分割是递归水平强制BT分割。

19.根据权利要求17所述的方法，其特征在于，所述当前块位于所述图像的右边界上，并且所述强制BT分割是递归垂直强制BT分割。

20.根据权利要求17至19中任一项所述的方法，其特征在于，所述强制BT分割包括：

通过水平强制边界分割递归地分割所述当前块，直到所述当前块的子分区位于所述下边界；

通过垂直强制边界分割递归地分割所述子分区，直到叶节点完全位于所述右边界。

21.根据权利要求17至19中任一项所述的方法，其特征在于，所述强制BT分割包括：

22.根据权利要求17至21中任一项所述的方法，其特征在于，还包括应用MinQTSize来控制对非边界块的分割。

23.根据权利要求17至22中任一项所述的方法，其特征在于，还包括通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

24.根据权利要求17至23中任一项所述的方法，其特征在于，还包括通过序列参数集(sequence parameter set，SPS)发送MinQTSize。

25.一种装置，其特征在于，包括：

存储器；

处理器，耦合到所述存储器，所述处理器用于：

确定图像的当前块是边界块，且所述当前块的大小大于允许的最小四叉树(quadtree，QT)叶节点大小(MinQTSize)；

26.根据权利要求25所述的装置，其特征在于，所述强制BT分割在所述当前块位于所述图像的下边界上时为递归水平强制BT分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制BT分割。

27.根据权利要求25或26所述的装置，其特征在于，所述强制BT分割包括：

28.根据权利要求25或26所述的装置，其特征在于，所述强制BT分割包括：

29.根据权利要求25至28中任一项所述的装置，其特征在于，所述处理器还用于应用MinQTSize来控制对非边界块的分割。

30.根据权利要求25至29中任一项所述的装置，其特征在于，还包括耦合到所述处理器的接收器，且所述接收器用于通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

31.根据权利要求25至30中任一项所述的装置，其特征在于，还包括耦合到所述处理器的发送器，且所述发送器用于通过序列参数集(sequence parameter set，SPS)发送MinQTSize。

32.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非瞬时性介质上的计算机可执行指令，处理器执行所述计算机可执行指令时使装置执行以下操作：

33.根据权利要求32所述的计算机程序产品，其特征在于，所述强制BT分割在所述当前块位于所述图像的下边界上时为递归水平强制BT分割，或在所述当前块位于所述图像的右边界上时为递归垂直强制BT分割。

34.根据权利要求32或33所述的计算机程序产品，其特征在于，所述强制BT分割包括：

35.根据权利要求32或33所述的计算机程序产品，其特征在于，所述强制BT分割包括：

36.根据权利要求32至35中任一项所述的计算机程序产品，其特征在于，所述指令还使所述装置应用MinQTSize来控制对非边界块的分割。

37.根据权利要求32至36中任一项所述的计算机程序产品，其特征在于，所述指令还使所述装置通过序列参数集(sequence parameter set，SPS)接收MinQTSize。

38.根据权利要求32至37中任一项所述的计算机程序产品，其特征在于，所述指令还使所述装置通过序列参数集(sequence parameter set，SPS)发送MinQTSize。