CN108464001B - 用于视频译码的多类型树框架 - Google Patents

用于视频译码的多类型树框架 Download PDF

Info

Publication number
CN108464001B
CN108464001B CN201780006116.8A CN201780006116A CN108464001B CN 108464001 B CN108464001 B CN 108464001B CN 201780006116 A CN201780006116 A CN 201780006116A CN 108464001 B CN108464001 B CN 108464001B
Authority
CN
China
Prior art keywords
block
blocks
partitioning
partition
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780006116.8A
Other languages
English (en)
Other versions
CN108464001A (zh
Inventor
李翔
张莉
钱威俊
陈建乐
赵欣
马尔塔·卡切维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108464001A publication Critical patent/CN108464001A/zh
Application granted granted Critical
Publication of CN108464001B publication Critical patent/CN108464001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种对视频数据进行解码的方法包含接收包含形成所述视频数据的经译码图片的表示的位序列的位流；使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块；和重构所述视频数据的所述经译码图片的所述多个块。分割所述视频数据的所述经译码图片能够包含使用所述三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成所述多个块，其中所述三个或更多个不同分割结构中的至少三个能够在表示如何分割所述视频数据的所述经译码图片的特定块的树结构的至少一个深度处使用。

Description

用于视频译码的多类型树框架
本申请案主张2016年1月15日申请的第62/279,233号美国临时申请案的权益，所述美国临时申请案的整个内容以引用的方式并入本文中。
技术领域
本发明涉及视频编码和视频解码。
背景技术
数字视频能力可以并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、手提式或台式计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置等等。数字视频装置实施视频译码技术，例如描述于以下各者中的那些技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、高效视频译码(HEVC)标准，和这类标准的扩展。视频装置可通过实施这些视频译码技术，更有效率地传输、接收、编码、解码和/或存储数字视频信息。
视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码来说，视频切片(例如，视频图片/帧或视频图片的一部分)可分割成视频块，所述视频块还可被称作树块、译码单元(CU)和/或译码节点。图片可被称为帧。参考图片可被称为参考帧。
空间或时间预测产生用于将被译码的块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可应用熵译码以达成甚至更大程度压缩。
发明内容
本发明描述用于使用多类型树(MTT)框架分割视频数据块的技术。本发明的技术包含确定树结构的各个节点处的多个分割技术中的一个。多个分割技术的实例可包含穿过块的中心对称地拆分块的分割技术，以及对称地或不对称地拆分块的分割技术，使得不拆分块的中心。以此方式，可以产生更高效译码的方式执行视频块的分割，包含将块的中心中的对象更好地捕获在视频数据中的分割。
本发明进一步描述用于用信号传送指示如何分割视频数据的特定图片的语法元素的技术。块分割通常描述如何将视频数据的图片划分和细分成各种大小的块。视频解码器可使用此类语法元素重构块分割。本发明的其它实例是针对于对使用本发明的MTT分割技术分割的视频数据块执行变换。
在本发明的一个实例中，一种对视频数据进行解码的方法包括接收包含形成所述视频数据的经译码图片的表示的位序列的位流；确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块；和重构视频数据帧的多个块。
在本发明的另一实例中，一种对视频数据进行编码的方法包括接收视频数据的图片；使用三个或更多个不同分割结构将视频数据的图片分割成多个块；和对视频数据的图片的多个块进行编码。
在本发明的另一实例中，一种被配置成对视频数据进行解码的设备包括存储器，其被配置成存储所述视频数据；和视频解码电路，其被配置成：接收包含形成所述视频数据的图片的表示的位序列的位流；确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块；和重构视频数据帧的多个块。
在本发明的另一实例中，一种被配置成对视频数据进行解码的设备包括用于接收包含形成所述视频数据的经译码图片的表示的位序列的位流的装置；用于确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块的装置；和用于重构视频数据帧的多个块的装置。
在附图和以下描述中阐明一或多个实例的细节。其它特征、目标和优点将从所述描述、图式以及权利要求书而显而易见。
附图说明
图1是说明被配置成实施本发明的技术的实例视频编码和解码系统的框图。
图2是说明高效视频译码(HEVC)中的译码单元(CU)结构的概念图。
图3是说明用于帧间预测模式的实例分割类型的概念图。
图4A是说明使用四叉树-二叉树(QTBT)结构进行块分割的实例的概念图。
图4B是说明对应于使用图4A的QTBT结构进行块分割的的实例树结构的概念图。
图5A是说明实例水平三叉树分割类型的概念图。
图5B是说明实例水平三叉树分割类型的概念图
图6A是说明四叉树分割的概念图。
图6B是说明垂直二叉树分割的概念图。
图6C是说明水平二叉树分割的概念图。
图6D是说明垂直中心-侧树分割的概念图。
图6E是说明水平中心-侧树分割的概念图。
图7是说明根据本发明的技术进行译码树单元(CTU)分割的实例的概念图。
图8是说明视频编码器的实例的框图。
图9是说明视频解码器的实例的框图。
图10A是说明根据本发明的技术的视频编码器的实例操作的流程图。
图10B是说明根据本发明的技术的视频解码器的实例操作的流程图。
图11是说明根据本发明的另一实例技术的视频编码器的实例操作的流程图。
图12是说明根据本发明的另一实例技术的视频解码器的实例操作的流程图。
具体实施方式
本发明涉及基于块的视频译码中的视频数据块(例如，译码单元)的分割和/或组织。本发明的技术可应用于视频译码标准中。在下文描述的各种实例中，本发明的技术包含使用三个或更多个不同分割结构分割视频数据块。在一些实例中，可在译码树结构的每一深度处使用三个或更多个不同分割结构。此类分割技术可以被称作多类型树(MTT)分割。通过使用MTT分割，可更灵活地分割视频数据，因此允许较高译码效率。
图1是说明实例视频编码和解码系统10的框图，所述视频编码和解码系统可使用本发明的技术分割视频数据块，用信号发送和解析分割类型，以及应用变换以及另外的变换分割。如图1中所示出，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。特定来说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括广泛范围的装置中的任一个，包含台式计算机、笔记型(例如，手提式)计算机、平板计算机、机顶盒、例如所谓的“智能”电话的电话手持机、平板计算机、电视、摄像机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置等。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。因此，源装置12和目的地装置14可为无线通信装置。源装置12是实例视频编码装置(即，用于编码视频数据的装置)。目的地装置14是实例视频解码装置(例如，用于解码视频数据的装置或设备)。
在图1的实例中，源装置12包含视频源18、被配置成存储视频数据的存储媒体20、视频编码器22和输出接口24。目的地装置14包含输入接口26、被配置成存储经编码视频数据的存储媒体28、视频解码器30和显示装置32。在其它实例中，源装置12和目的地装置14包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部摄像机)接收视频数据。同样地，目的地装置14可以与外部显示装置介接，而不是包含集成式显示装置。
图1中所说明的系统10仅为一个实例。可由任何数字视频编码和/或解码装置或设备执行用于处理视频数据的技术。虽然本发明的技术通常由视频编码装置和视频解码装置来执行，但是所述技术也可由组合式视频编码器/解码器(通常被称作“编解码器”)执行。源装置12和目的地装置14仅为其中源装置12产生经编码视频数据以供传输到目的地装置14的此类译码装置的实例。在一些实例中，源装置12和目的地装置14以大致上对称的方式操作，使得源装置12和目的地装置14中的每一个包含视频编码和解码组件。因此，系统10可支持源装置12与目的地装置14之间的单向或双向视频传输，例如以用于视频流式传输、视频重放、视频广播、视频电话等。
源器件12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频档案和/或用于从视频内容提供者接收视频数据的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或实况视频、存档视频与计算机产生的视频的组合。源装置12可包括被配置成存储视频数据的一或多个数据存储媒体(例如，存储媒体20)。本发明中所描述的技术一般来说可适用于视频译码，并且可应用于无线和/或有线应用。在每一情况下，视频编码器22可对所捕获、所预捕获或计算机产生的视频进行编码。输出接口24可将经编码视频信息输出到计算机可读媒体16。
目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一些实例中，计算机可读媒体16包括使得源装置12能够实时地将经编码视频数据直接传输到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且被传输到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络，例如因特网)的一部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。目的地装置14可包括被配置成存储经编码视频数据和经解码视频数据的一或多个数据存储媒体。
在一些实例中，经编码数据(例如，经编码视频数据)可从输出接口24输出到存储装置。类似地，可以通过输入接口26从存储装置存取经编码数据。所述存储装置可以包含多种分散式或本地存取式数据存储媒体中的任一个，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在再一实例中，存储装置可对应于可存储由源装置12产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取存储的视频数据。文件服务器可为能够存储经编码视频数据并将经编码视频数据传输到目的地装置14的任何类型服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由包含因特网连接的任何标准数据连接来存取经编码视频数据。此可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。
本发明的技术可应用于视频译码以支持多种多媒体应用中的任一个，例如空中电视广播、有线电视传输、卫星电视传输、例如经由HTTP的动态自适应流式传输(DASH)等因特网流式传输视频传输、经编码到数据存储媒体上的数字视频、存储于数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可被配置成支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。
计算机可读媒体16可包含暂时性媒体，例如无线广播或有线网络传输，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未示出)可从源装置12接收经编码视频数据并且将经编码视频数据例如经由网路传播提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据且生产含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
目的地装置14的输入接口26从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器22的视频编码器22定义的也供视频解码器30使用的语法信息，所述语法信息包含描述块和其它经译码单元(例如，图片群组(GOP))的特性和/或处理的语法元素。存储媒体28可存储输入接口26接收的经编码视频数据。显示装置32向用户显示经解码视频数据。显示装置32可包括多种显示装置中的任一个，例如阴极射线管(CRT)显示器、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器，或另一类型的显示装置。
视频编码器22和视频解码器30各自可实施为多种合适的编码器或解码器电路中的任一个，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当部分地用软件实施所述技术时，装置可将用于软件的指令存储在合适的非暂时性计算机可读媒体中且在硬件中使用一或多个处理器执行所述指令以执行本发明的技术。视频编码器22和视频解码器30中的每一个可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一个可以集成为相应装置中的组合式编码器/解码器(编解码器)的部分。
在一些实例中，视频编码器22和视频解码器30可根据视频译码标准操作。实例视频译码标准包含(但不限于)ITU-T H.261、ISO/IEC MPEG-1Visual、ITU-T H.262或ISO/IECMPEG-2Visual、ITU-T H.263、ISO/IEC MPEG-4Visual和ITU-T H.264(也被称作ISO/IECMPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。ITU-T视频编码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的关于视频译码的联合合作小组(JCT-VC)已开发视频译码标准高效视频译码(HEVC)或ITU-T H.265，包含其范围和屏幕内容译码扩展、3D视频译码(3D-HEVC)和多视图扩展(MV-HEVC)以及可缩放扩展(SHVC)。
在HEVC和其它视频译码规范中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列，标示为SL、SCb和SCr。SL是明度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可称为“色度(chroma)”样本。在其它情况下，图片可为单色的且可仅包含亮度样本阵列。
此外，在HEVC和其它视频译码规范中，为产生图片的经编码表示，视频编码器22可产生编码树单元(CTU)的集合。CTU中的每一个可包括明度样本的译码树块、色度样本的两个对应译码树块，以及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块和用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的N×N块。CTU也可以被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可以广泛地类似于例如H.264/AVC等其它标准的宏块。然而，CTU未必限于特定大小，并且可以包含一或多个译码单元(CU)。切片可包含按光栅扫描次序连续排序的整数数目的CTU。
如果根据HEVC操作，那么为了产生经译码CTU，视频编码器22可对CTU的译码树块递归地执行四叉树分割以将译码树块划分为译码块，因此名为“译码树单元”。译码块是样本的N×N块。CU可包括具有明度样本阵列、Cb样本阵列和Cr样本阵列的图片的明度样本的译码块和色度样本的两个对应译码块，以及用于对译码块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CU可包括单个译码块和用以对译码块的样本进行译码的语法结构。
位流内的语法数据还可限定用于CTU的大小。切片包含按译码次序的许多连续CTU。视频帧或图片可以被分割成一或多个切片。如上文所提及，每个树块可根据四叉树拆分成译码单元(CU)。一般来说，四叉树数据结构包含每CU一个节点，其中根节点对应于树块。如果CU拆分成四个子CU，那么对应于CU的节点包含四个叶节点，其中叶节点中的每一个对应于所述子CU中的一个。
四叉树数据结构的每一节点可提供对应CU的语法数据。举例来说，四叉树中的节点可包含拆分旗标，从而指示对应于节点的CU是否拆分成子CU。CU的语法元素可以递归地定义，且可以取决于所述CU是否拆分成若干子CU。如果CU未进一步拆分，那么将其称作叶CU。如果CU块进一步拆分，可大体上将其称为非叶CU。在本发明的一些实例中，叶CU的四个子CU可被称作叶CU，即使不存在原始叶CU的明确拆分时也是如此。举例来说，如果16×16大小的CU未进一步拆分，那么这四个8×8子CU也可被称作叶CU，虽然16×16CU从未拆分。
除了CU不具有大小区别之外，CU具有与H.264标准的宏块类似的目的。举例来说，树块可拆分成四个子级节点(也称为子CU)，且每个子级节点又可成为父级节点且分成另外四个子级节点。最后未拆分的子级节点(被称作四叉树的叶节点)包括译码节点，也被称作叶CU。与经译码位流相关联的语法数据可限定树块可拆分的最大次数，这称为最大CU深度，且还可限定译码节点的最小大小。因此，位流还可界定最小译码单元(SCU)。本发明使用术语“块”指代在HEVC的上下文中的CU、PU或TU中的任一个，或在其它标准的上下文中的类似数据结构(例如，H.264/AVC中的宏块和其子块)。
CU包含译码节点以及与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小，且在一些实例中可为正方形形状。在HEVC的实例中，CU的大小可在自8×8像素至高达具有64×64像素或更大之最大值的树块的大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述将CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可被分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树分割成一或多个TU。TU的形状可为正方形或非正方形(例如，矩形)。
HEVC标准允许根据TU的变换。TU可针对不同CU而不同。TU通常是基于针对经分割LCU定义的给定CU内的PU的大小而定大小，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残余样本可以使用有时被称为“残余四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称作TU。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。
叶CU可包含一或多个PU。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测相关的数据。举例来说，当PU经帧内模式编码时，PU的数据可包含在RQT中，所述RQT可包含描述用于对应于所述PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述例如运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如，四分之一像素精度或八分之一像素精度)、运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如，列表0、列表1或列表C)。
具有一或多个PU的叶CU还可包含一或多个TU。如上文所论述，TU可以使用RQT(还被称作TU四叉树结构)来指定。举例来说，拆分旗标可以指示叶CU是否拆分成四个变换单元。在一些实例中，每一变换单元可进一步拆分成进一步的子TU。当TU未经进一步拆分时，其可被称作叶TU。一般来说，对于帧内译码，属于叶CU的所有叶TU含有由相同内部预测模式产生的残余数据。也就是说，相同帧内预测模式通常应用于计算将在叶CU的所有TU中变换的经预测值。对于帧内译码，视频编码器22可以使用帧内预测模式将每一叶TU的残余值计算为CU的对应于TU的部分与原始块之间的差。TU未必限于PU的大小。因而，TU可比PU大或小。对于帧内译码，PU可以与相同CU的对应叶TU并置。在一些实例中，叶TU的最大大小可以对应于相对应的叶CU的大小。
此外，叶CU的TU还可与相应RQT结构相关联。也就是说，叶CU可包含指示叶CU如何分割成TU的四叉树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。
如上文所论述，视频编码器22可将CU的译码块分割成一或多个预测块。预测块是被应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的PU可包括明度样本的预测块、色度样本的两个对应预测块以及用以预测预测块的语法结构。在单色图片或具有三个单独色彩平面的图片中，PU可包括单个预测块和用于预测预测块的语法结构。视频编码器22可产生CU的每一PU的预测块(例如，明度、Cb和Cr预测块)的预测性块(例如，明度、Cb和Cr预测性块)。
视频编码器22可使用帧内预测或帧间预测来产生用于PU的预测性块。如果视频编码器22使用帧内预测产生PU的预测性块，那么视频编码器22可基于包含PU的图片的经解码样本产生PU的预测性块。
在视频编码器22产生CU的一或多个PU的预测性块(例如，明度、Cb和Cr预测性块)之后，视频编码器22可产生CU的一或多个残余块。举例来说，视频编码器22可产生CU的亮度残余块。CU的明度残余块中的每一样本指示CU的预测性明度块中的一个中的明度样本与CU的原始明度译码块中对应的样本之间的差异。另外，视频编码器22可以产生CU的Cb残余块。CU的Cb残余块中的每一样本可以指示CU的预测性Cb块中的一个中的Cb样本与CU的原始Cb译码块中对应的样本之间的差异。视频编码器22还可以产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一个中的Cr样本与CU的原始Cr译码块中对应的样本之间的差异。
此外，如上文所论述，视频编码器22可使用四叉树分割来将CU的残余块(例如，亮度、Cb和Cr残余块)分解为一或多个变换块(例如，明度、Cb和Cr变换块)。变换块是应用相同变换的样本的矩形(例如，正方形或非正方形)块。CU的变换单元(TU)可包括明度样本的变换块、色度样本的两个对应变换块和用以对变换块样本进行变换的语法结构。因此，CU的每一TU可具有明度变换块、Cb变换块以及Cr变换块。TU的明度变换块可为CU的明度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。在单色图片或具有三个单独色彩平面的图片中，TU可包括单个变换块和用于对变换块的样本进行变换的语法结构。
视频编码器22可以将一或多个变换应用于TU的变换块以产生TU的系数块。举例来说，视频编码器22可将一或多个变换应用于TU的明度变换块以产生TU的明度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器22可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器22可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。
在一些实例中，视频编码器22跳过对变换块应用变换。在此类实例中，视频编码器22可以与变换系数相同的方式处理残余样本值。因此，在视频编码器22跳过应用变换的实例中，以下对变换系数和系数块的论述可适用于残余样本的变换块。
在产生系数块(例如，明度系数块、Cb系数块或Cr系数块)之后，视频编码器22可量化系数块以可能地减小用以表示所述系数块的数据量，从而潜在地提供进一步压缩。量化大体上是指将一范围的值压缩成单个值的过程。举例来说，可通过使一值除以恒定值，并且接着四舍五入为最靠近整数，进行量化。为量化系数块，视频编码器22可量化系数块的变换系数。在视频编码器22量化系数块之后，视频编码器22可以对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器22可对指示经量化变换系数的语法元素执行上下文自适应二进制算术编码(CABAC)或其它熵译码技术。
视频编码器22可输出包含形成经译码图片和相关联数据的表示的位序列的位流。因此，位流包括视频数据的经编码表示。所述位流可包括网络抽象层(NAL)单元序列。NAL单元是含有NAL单元中的数据类型的指示以及含有所述数据的呈按需要穿插有模拟阻止位的原始字节序列有效负载(RBSP)的形式的字节的语法结构。NAL单元中的每一个可包含NAL单元标头且可包封RBSP。所述NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位。
视频解码器30可接收由视频编码器22产生的位流。视频解码器30可解码所述位流以重构视频数据的图片。作为解码位流的部分，视频解码器30可解析所述位流以从位流获取语法元素。视频解码器30可至少部分地基于从位流获得的语法元素重构视频数据的图片。重构视频数据的过程通常可与由视频编码器22执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量，以确定当前CU的PU的预测性块。另外，视频解码器30可逆量化当前CU的TU的系数块。视频解码器30可对系数块执行逆变换以重构当前CU的TU的变换块。通过将用于当前CU的PU的预测性块的样本添加到当前CU的TU的变换块的对应样本，视频解码器30可以重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构所述图片。
下文描述HEVC的常见概念和某些设计方面，其着重于块分割技术。在HEVC中，切片中的最大译码单元称为CTB。根据四叉树结构划分CTB，其节点为译码单元。四叉树结构中的多个节点包含叶节点和非叶节点。叶节点在树结构中没有子级节点(即，叶节点未进一步拆分)。非叶节点包含树结构的根节点。根节点对应于视频数据的初始视频块(例如，CTB)。对于多个节点中的每一相应非根节点，所述相应非根节点对应于一视频块，所述视频块是对应于相应非根节点的树结构中的父级节点的视频块的子块。多个非叶节点中的每一相应非叶节点具有树结构中的一或多个子级节点。
CTB的大小在HEVC主简档中可在16×16到64×64的范围内(不过技术上可支持8×8CTB大小)。CTB可以四叉树方式递归地拆分成CU，如W.J.Han等人的“通过译码工具的灵活单元表示和对应扩展改进视频压缩效率(Improved Video Compression EfficiencyThrough Flexible Unit Representation and Corresponding Extension of CodingTools)”(IEEE视频技术电路和系统学报，第20卷，第12期，第1709-1720页，2010年12月)中所描述，且在图2中示出。如图2中所示出，每一分割层级是拆分成四个子块的四叉树。黑色块是叶节点(即，不被进一步拆分的块)的实例。
在一些实例中，CU可与CTB大小相同，不过CU可小到8×8。每一CU利用一个译码模式译码，所述译码模式可以是例如帧内译码模式或帧间译码模式。也可能有其它译码模式，包含用于屏幕内容的译码模式(例如，帧内块复制模式、基于调色板的译码模式等)。当CU经帧间译码(即，应用帧间模式)时，CU可进一步被分割成预测单元(PU)。举例来说，CU可分割成2个或4个PU。在另一实例中，当不应用进一步分割时，整个CU处理为单个PU。在HEVC实例中，当一个CU中存在两个PU时，其可为二分之一大小矩形或具有CU的1/4或3/4大小的大小的两个矩形。
在HEVC中，存在用于用帧间预测模式译码的的CU的八个分割模式，即，PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N和PART_nR×2N，如图3中所示。如图3中所示出，不进一步拆分用分割模式PART_2N×2N译码的CU。也就是说，整个CU处理为单个PU(PU0)。用分割模式PART_2N×N译码的CU以对称方式水平地拆分成两个PU(PU0和PU1)。用分割模式PART_N×2N译码的CU以对称方式垂直地拆分成两个PU。用分割模式PART_N×N译码的CU对称地拆分成四个相同大小的PU(PU0、PU1、PU2、PU3)。
用分割模式PART_2N×nU译码的CU以不对称方式水平地拆分成一个具有CU的1/4大小的PU0(上部PU)和一个具有CU的3/4大小的PU1(下部PU)。用分割模式PART_2N×nD译码的CU以不对称方式水平地拆分成一个具有CU的3/4大小的PU0(上部PU)和一个具有CU的1/4大小的PU1(下部PU)。用分割模式PART_nL×2N译码的CU以不对称方式垂直拆分成一个具有CU的1/4大小的PU0(左侧PU)和一个具有CU的3/4大小的PU1(右侧PU)。用分割模式PART_nR×2N译码的CU以不对称方式垂直拆分成一个具有CU的3/4大小的PU0(左侧PU)和一个具有CU的1/4大小的PU1(右侧PU)。
当CU经帧间译码时，针对每一PU存在运动信息(例如，运动向量、预测方向和参考图片)的一个集合。另外，每一PU用唯一性帧间预测模式译码以导出运动信息的集合。然而，应理解，在一些情况下，即使唯一性地译码两个PU，所述两个PU仍可具有相同运动信息。
在J.An等人的“用于下一代视频译码的块分割结构(Block partitioningstructure for next generation video coding)”(国际电信联盟，COM16-C966，2015年9月(在下文称为“VCEG提议COM16-C966”)中，提出用于除HEVC以外的未来视频译码标准的四叉树-二叉树(QTBT)分割技术。模拟已展示提出的QTBT结构比HEVC中使用的四叉树结构更高效。
在VCEG提议COM16-C966提出的QTBT结构中，首先使用四叉树分割技术分割CTB，其中可重复一个节点的四叉树拆分直到节点达到允许的最小四叉树叶节点大小。可通过语法元素MinQTSize的值向视频解码器指示允许的最小四叉树叶节点大小。如果四叉树叶节点大小不大于允许的最大二叉树根节点大小(例如，由语法元素MaxBTSize标示)，那么可使用二叉树分割进一步分割四叉树叶节点。可重复一个节点的二叉树分割直到节点达到允许的最小二叉树叶节点大小(例如，由语法元素MinBTSize标示)或允许的最大二叉树深度(例如，由语法元素MaxBTDepth标示)。VCEG提议COM16-C966使用术语“CU”指代二叉树叶节点。在VCEG提议COM16-C966中，CU用于预测(例如，帧内预测、帧间预测等)和变换而无任何进一步分割。一般来说，根据QTBT技术，存在用于二叉树拆分的两种拆分类型：对称水平拆分和对称垂直拆分。在每一情况下，通过将块沿着中间水平地或垂直地划分，将块进行拆分。
在QTBT分割结构的一个实例中，CTU大小设置为128×128(例如，128×128明度块和两个对应64×64色度块)，MinQTSize设置为16×16，MaxBTSize设置为64×64，MinBTSize(针对宽度和高度)设置为4，且MaxBTDepth设置为4。首先将四叉树分割应用于CTU以产生四叉树叶节点。四叉树叶节点可具有从16×16(即，MinQTSize是16×16)到128×128(即，CTU大小)的大小根据QTBT分割的一个实例，如果叶四叉树节点是128×128，那么叶四叉树节点无法通过二叉树进一步拆分，这是由于叶四叉树节点的大小超过MaxBTSize(即，64×64)。否则，叶四叉树节点通过二叉树进一步分割。。因此，四叉树叶节点也是二叉树的根节点且具有二叉树深度0。达到MaxBTDepth(例如，4)的二叉树深度意味着不存在进一步拆分。具有等于MinBTSize(例如，4)的宽度的二叉树节点意味着不存在进一步水平拆分。类似地，具有等于MinBTSize的高度的二叉树节点意味着不进一步垂直拆分。进一步处理(例如，通过执行预测过程和变换过程)二叉树的叶节点(CU)而无任何进一步分割。
图4A说明使用QTBT分割技术进行分割的块50(例如，CTB)的实例。如图4A中所示出，使用QTBT分割技术，穿过每一块的中心对称地拆分所得块中的每一个。图4B说明对应于图4B的块分割的树结构。图4B中的实线指示四叉树拆分，且虚线指示二叉树拆分。在一个实例中，在二叉树的每一拆分(即，非叶)节点中，用信号发送语法元素(例如，旗标)以指示执行的拆分类型(例如，水平或垂直)，其中0指示水平拆分且1指示垂直拆分。对于四叉树拆分，不需要指示拆分类型，这是因为四叉树拆分总是将块水平地和垂直地拆分成具有相同大小的4个子块。
如图4B中所示出，在节点70处，使用QT分割将块50拆分成图4A中示出的四个块51、52、53和54。块54不进一步拆分，且因而所述块是叶节点。在节点72处，使用BT分割将块51进一步拆分成两个块。如图4B中所示出，用1标记节点72，指示垂直拆分。如此，节点72处的拆分产生块57，且所述块包含两个块55和56。通过在节点74处的进一步垂直拆分产生块55和56。在节点76处，使用BT分割将块52进一步拆分成两个块58和59。如图4B中所示出，用1标记节点76，指示水平拆分。
在节点78处，块53使用QT分割拆分成4个相同大小的块。块63和66由此QT分割产生且不进一步拆分。在节点80处，首先使用垂直二叉树拆分来拆分左上方块，从而产生块60和右侧垂直块。右侧垂直块接着使用水平二叉树拆分拆分成块61和62。在节点78处从四叉树拆分产生的右下方块在节点84处使用水平二叉树拆分拆分成块64和65。
虽然上文所描述的QTBT结构展示比在HEVC中使用的四叉树结构更好的译码性能，但QTBT结构缺乏灵活性。举例来说，在上文所描述的QTBT结构中，可用二叉树进一步拆分四叉树节点，但无法用四叉树进一步拆分二叉树节点。在另一实例中，四叉树和二叉树仅可达成均等拆分(即，沿着块的中心拆分)，这当对象处于待拆分块的中心时并不高效。因此，未来视频译码标准可能在QTBT的译码性能方面欠缺。
为解决上文所提及的问题，提出以下技术。可单独地应用以下技术。在其它实例中，可一起应用下文描述的技术的任何组合。
为达成针对CTU的更灵活分割，提出用基于MTT的CU结构替换基于QT、BT和/或QTBT的CU结构。本发明的MTT分割结构仍是递归树结构。然而，使用多个不同分割结构(例如，三个或更多个)。举例来说，根据本发明的MTT技术，可在树结构的每一深度处使用三个或更多个不同分割结构。在此上下文中，树结构中的节点的深度可指从树结构的节点到根的路径的长度(例如，拆分的数目)。如本发明中所使用，分割结构通常可指代一块可划分成多少个不同块。举例来说，四叉树分割结构可将块划分成四个块，二叉树分割结构可将块划分成两个块，且三叉树分割结构可将块划分成三个块。如将在下文更详细地阐释，分割结构可具有多个不同分割类型。分割类型可另外定义如何划分块，包含对称或不对称分割、均匀或不均匀分割以及水平或垂直分割。
在根据本发明的技术的一个实例中，视频编码器22可被配置成接收视频数据的图片，并且使用三个或更多个不同分割结构将视频数据的图片分割成多个块，并编码视频数据的图片的多个块。类似地，视频解码器30可被配置成接收包含形成视频数据的经译码图片的表示的位序列的位流，确定使用三个或更多个不同分割结构将视频数据的经译码图片分割成多个块，并且重构视频数据的经译码图片的多个块。在一个实例中，分割视频数据帧包括使用三个或更多个不同分割结构将视频数据帧分割成多个块，其中可在表示如何分割视频数据帧的树结构的每一深度处使用三个或更多个不同分割结构中的至少三个。在一个实例中，三个或更多个不同分割结构包含三叉树分割结构，且视频编码器22和/或视频解码器30可被配置成使用三叉树分割结构的三叉树分割类型分割多个视频数据块中的一个，其中三叉树分割结构将多个块中的一个划分成三个子块而无需穿过中心划分多个块中的一个。在本发明的另一实例中，三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。
因此，在一个实例中，视频编码器22可产生视频数据的初始视频块(例如，编码树块或CTU)的经编码表示。作为产生初始视频块的经编码表示的部分，视频编码器22确定包括多个节点的树结构。举例来说，视频编码器22可使用本发明的MTT分割结构分割树块。
MTT分割结构中的多个节点包含多个叶节点和多个非叶节点。叶节点不具有树结构中的子级节点。非叶节点包含树结构的根节点。根节点对应于初始视频块。对于多个节点的每一相应非根节点，相应非根节点对应于一视频块(例如，译码块)，所述视频块是对应于相应非根节点的树结构中的父级节点的视频块的子块。多个非叶节点中的每一相应非叶节点具有树结构中的一或多个子级节点。在一些实例中，图片边界处的非叶节点可归因于强制拆分而仅具有一个子级节点，且子级节点中的一个对应于图片边界外部的块。
根据本发明的技术，对于树结构的每一深度级处的树结构的每一相应非叶节点，存在用于相应非叶节点的多个允许的拆分模式(例如，分割结构)。举例来说，可存在针对树结构的每一深度允许的三个或更多个分割结构。视频编码器22可被配置成根据多个可允许分割结构中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。多个允许的分割结构中的每一允许的相应分割结构可对应于将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块的不同方式。此外，在此实例中，视频编码器22可包含包括视频数据的经编码表示的位流中的初始视频块的经编码表示。
在类似实例中，视频解码器30可确定包括多个节点的树结构。如在前一实例中，多个节点包含多个叶节点和多个非叶节点。叶节点不具有树结构中的子级节点。非叶节点包含树结构的根节点。根节点对应于视频数据的初始视频块。对于多个节点的每一相应非根节点，相应非根节点对应于一视频块，所述视频块是对应于相应非根节点的树结构中的父级节点的视频块的子块。多个非叶节点中的每一相应非叶节点具有树结构中的一或多个子级节点。对于树结构的每一深度级处的树结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的拆分模式，且根据多个可允许的拆分模式中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。多个允许的拆分模式中的每一允许的相应拆分模式对应于将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块的不同方式。此外，在此实例中，对于树结构的每一(或至少一个)相应叶节点，视频解码器30重构对应于相应叶节点的视频块。
在一些此类实例中，对于除根节点以外的树结构的每一相应非叶节点，针对相应非叶节点的多个允许的拆分模式(例如，分割结构)独立于如下分割结构：根据所述分割结构，对应于相应非叶节点的父级节点的视频块被分割成对应于相应非叶节点的父级节点的子级节点的视频块。
在本发明的其它实例中，在树结构的每一深度处，视频编码器22可被配置成使用从三个以上分割结构中的一个当中的特定分割类型进一步拆分子树。举例来说，视频编码器22可被配置成确定来自QT、BT、三叉树(TT)和其它分割结构的特定分割类型。在一个实例中，QT分割结构可包含正方形四叉树和矩形四叉树分割类型。视频编码器22可使用正方形四叉树分割通过沿着中心水平地和垂直地划分块，将正方形块分割成四个相同大小的正方形块。同样地，视频编码器22可使用矩形四叉树分割通过沿着中心水平地和垂直地划分矩形块，将矩形(例如，非正方形)块分割成四个相同大小的矩形块。
BT分割结构可包含水平对称二叉树、垂直对称二叉树、水平非对称二叉树和垂直非对称二叉树分割类型。对于水平对称二叉树分割类型，视频编码器22可被配置成沿着块的中心水平地将块拆分成两个相同大小的对称块。对于垂直对称二叉树分割类型，视频编码器22可被配置成沿着块的中心垂直地将块拆分成两个相同大小的对称块。对于水平非对称二叉树分割类型，视频编码器22可被配置成将块水平地拆分成两个不同大小的块。举例来说，如在图3的PART_2NxnU或PART_2NxnD分割类型中，一个块可为父级块的1/4大小且另一块可为父级块的3/4大小。对于垂直非对称二叉树分割类型，视频编码器22可被配置成将块垂直地拆分成两个不同大小的块。举例来说，如在图3的PART_nLx2N或PART_nRx2N分割类型中，一个块可为父级块的1/4大小且另一块可为父级块的3/4大小。
在其它实例中，不对称二叉树分割类型可将父级块划分成不同大小的部分。举例来说，一个子块可为父级块的3/8且另一子块可为父级块的5/8。当然，此类分割类型可为垂直或水平的。
TT分割结构与QT或BT结构的分割的不同之处在于，TT分割结构不沿着中心拆分块。块的中心区域共同保留在同一子块中。不同于产生四个块的QT，或产生两个块的二叉树，根据TT分割结构的拆分产生三个块。根据TT分割结构的实例分割类型包含对称分割类型(水平和垂直)，以及不对称分割类型(水平和垂直)。此外，根据TT分割结构的对称分割类型可为不均等/不均匀或均等/均匀的。根据本发明的TT分割结构的不对称分割类型为不均等/不均匀的。在本发明的一个实例中，TT分割结构可包含以下分割类型：水平均等/均匀对称三叉树、垂直均等/均匀对称三叉树、水平不均等/不均匀对称三叉树、垂直不均等/不均匀对称三叉树、水平不均等/不均匀不对称三叉树，以及垂直不均等/不均匀不对称三叉树分割类型。
一般来说，不均等/不均匀对称三叉树分割类型是绕块的中心线对称的分割类型，但其中所得块三个块中的至少一个与另外两个块的大小不同。一个优选实例是其中侧块为块的1/4大小，且中心块是块的1/2大小。均等/均匀对称三叉树分割类型是绕块的中心线对称的分割类型，且所得块全部具有相同大小。在块高度或宽度取决于垂直或水平拆分是3的倍数的情况下，此类分割是可能的。不均等/不均匀不对称三叉树分割类型是绕块的中心线不对称的分割类型，且其中所得块中的至少一个与另外两个的大小不同。
图5A是说明实例水平三叉树分割类型的概念图。图5B是说明实例垂直三叉树分割类型的概念图。在图5A和图5B中，h表示明度或色度样本中的块的高度，且w表示明度或色度样本中的块的宽度。应注意，图5A和5B中的三叉树分区中的每一个中的相应“中心线”不表示块的边界(即，三叉树分割不穿过中心线拆分块)。实际上，示出中心线是为了描绘特定分割类型相对于原始块的中心线是对称还是不对称。所描绘的中心线还沿着拆分的方向。
如图5A中所示出，用水平均等/均匀对称分割类型分割块71。水平均等/均匀对称分割类型产生相对于块71的中心线的对称顶半部和底半部。水平均等/均匀对称分割类型产生三个相同大小的子块，各自具有h/3高度和w宽度。水平均等/均匀对称分割类型当块71的高度可均匀地被3整除时是可能的。
用水平不均等/不均匀对称分割类型分割块73。水平不均等/不均匀对称分割类型产生相对于块73的中心线的对称顶半部和底半部。水平不均等/不均匀对称分割类型产生两个相同大小的块(例如，具有h/4高度的顶部和底部块)，以及不同大小的中心块(例如，具有h/2高度的中心块)。在本发明的一个实例中，根据水平不均等/不均匀对称分割类型，中心块的面积等于顶部和底部块的组合面积。在一些实例中，水平不均等/不均匀对称分割类型对于具有为2的幂(例如，2、4、8、16、32等)的高度的块可为优选的。
用水平不均等/不均匀不对称分割类型分割块75。水平不均等/不均匀不对称分割类型不产生相对于块75的中心线对称的顶半部和底半部(即，顶半部和底半部不对称)。在图5A的实例中，水平不均等/不均匀不对称分割类型产生具有h/4高度的顶部块、具有3h/8高度的中心块以及具有3h/8高度的底部块。当然，可使用其它不对称布置。
如图5B中所示出，用垂直均等/均匀对称分割类型分割块77。垂直均等/均匀对称分割类型产生相对于块77的中心线对称的左半部和右半部。垂直均等/均匀对称分割类型产生三个相同大小的子块，各自具有w/3宽度和h高度。垂直均等/均匀对称分割类型当块77宽度可均匀地被3整除时是可能的。
用垂直不均等/不均匀对称分割类型分割块79。垂直不均等/不均匀对称分割类型产生相对于块79的中心线对称的左半部和右半部。垂直不均等/不均匀对称分割类型产生相对于79的中心线对称的左半部和右半部。垂直不均等/不均匀对称分割类型产生两个相同大小的块(例如，具有w/4宽度的左块和右块)，以及不同大小的中心块(例如，具有w/2宽度的中心块)。在本发明的一个实例中，根据垂直不均等/不均匀对称分割类型，中心块的面积等于左块和右块的组合面积。在一些实例中，垂直不均等/不均匀对称分割类型对于具有是2的幂(例如，2、4、8、16、32等)的宽度的块可为优选的。
用垂直不均等/不均匀不对称分割类型分割块81。垂直不均等/不均匀不对称分割类型不产生相对于块81的中心线对称的左半部和右半部(即，左半部和右半部不对称)。在图5B的实例中，垂直不均等/不均匀不对称分割类型产生具有w/4宽度的左侧块、具有3w/8宽度的中心块，以及具有3w/8宽度的底部块。当然，可使用其它不对称布置。
在其中根据非对称三叉树分割类型拆分(例如，子树节点处的)块的实例中，视频编码器22和/或视频解码器30可施加约束条件使得三个分区中的两个具有相同大小。此类约束条件可对应于当编码视频数据时视频编码器22必须遵守的限制。此外，在一些实例中，视频编码器22和视频解码器30可施加约束条件，借此当根据非对称三叉树分割类型进行拆分时，两个分区的面积的总和等于剩余分区的面积。举例来说，视频编码器22可产生或视频解码器30可接收遵守规定如下的约束条件的初始视频块的经编码表示：当根据非对称三叉树模式分割对应于树结构的节点的视频块时，所述节点具有第一子级节点、第二子级节点和第三子级节点，所述第二子级节点对应于与第一子级节点和第三子级节点相对应的视频块之间的视频块，对应于第一子级节点和第三子级节点的所述视频块具有相同大小，且对应于第一子级节点和第三子级节点的视频块的大小的总和等于对应于第二子级节点的视频块的大小。
在本发明的一些实例中，视频编码器22可被配置成从针对QT、BT和TT分割结构中的每一个的前述所有分割类型当中选择。在其它实例中，视频编码器22可被配置成仅从前述分割类型的子集当中确定分割类型。举例来说，上文论述的分割类型(或其它分割类型)的子集可用于某些块大小或用于四叉树结构的某些深度。可在位流中用信号发送所支持的分割类型的子集以供视频解码器30使用，或可预定义所述子集使得视频编码器22和视频解码器30可确定所述子集而无需任何信号传送。
在其它实例中，所支持的分割类型的数目对于所有CTU中的所有深度可为固定的。也就是说，视频编码器22和视频解码器30可预配置为对于CTU的任何深度使用相同数目个分割类型。在其它实例中，所支持的分割类型的数目可变化且可取决于深度、切片类型或其它先前经译码信息。在一个实例中，在树结构的深度0或深度1处，仅使用QT分割结构。在大于1的深度处，可使用QT、BT和TT分割结构中的每一个。
在一些实例中，视频编码器22和/或视频解码器30可对所支持的分割类型应用预配置约束条件以避免针对视频图片的特定区域或CTU的区域的重复分割。在一个实例中，当用非对称分割类型拆分块时，视频编码器22和/或视频解码器30可被配置成不进一步拆分从当前块拆分的最大子块。举例来说，当根据非对称分割类型(例如，图3中的PART_2NxnU分割类型)拆分正方形块时，所有子块当中的最大子块(例如，图3中的PART_2NxnU分割类型的PU1)是所指出的叶节点且无法进一步拆分。然而，可进一步拆分较小子块(例如，图3中的PART_2NxnU分割类型的PU0)。
作为其中可对所支持的分割类型应用约束条件以避免复制分割特定区域的另一实例，当用非对称分割类型拆分块时，从当前块拆分的最大子块无法在相同的方向上进一步拆分。举例来说，当用非对称分割类型(例如，图3中的PART_2NxnU分割类型)拆分正方形块时，视频编码器22和/或视频解码器30可被配置成不在水平方向上拆分所有子块当中的大子块(例如图3中的PART_2NxnU分割类型的PU1)。然而，在此实例中，视频编码器22和/或视频解码器30可再次在垂直方向上拆分PU1。
作为其中可将约束条件应用于所支持的分割类型以避免进一步拆分的困难的另一示例，视频编码器22和/或视频解码器30可被配置成当块的宽度/高度不是2的幂时(例如，当宽度、高度不是2、4、8、16等时)，不水平地或垂直地拆分块。
上述实例描述视频编码器22可被配置成如何根据本发明的技术执行MTT分割。视频解码器30还可接着应用与视频编码器22执行的相同的MTT分割。在一些实例中，可通过在视频解码器30处应用预定义规则的的相同集合来确定视频编码器22如何分割视频数据的图片。然而，在多种情境下，视频编码器22可基于用于正被译码的视频数据的特定图片的速率-失真准则，确定特定分割结构和将使用的分割类型。如此，为了视频解码器30确定用于特定图片的分割，视频编码器22可在经编码位流中用信号发送指示将如何分割图片和图片的CTU的语法元素。视频解码器30可解析此类语法元素并相应地分割图片和CTU。
在本发明的一个实例中，视频编码器22可被配置成将所支持的分割类型的特定子集作为序列参数集(SPS)、图片参数集(PPS)、切片标头、自适应参数集(APS)或任何其它高级语法参数集中的高级语法元素用信号发送。举例来说，可预定义分割类型的最大数目并且预定义支持哪些类型，或在位流中作为序列参数集(SPS)、图片参数集(PPS)或任何其它高级语法参数集中的高级语法元素用信号发送。视频解码器30可被配置成接收和解析此类语法元素以确定使用的分割类型的特定子集和/或所支持的分割结构(例如，QT、BT、TT等)的最大数目和类型。
在一些实例中，在每一深度处，视频编码器22可被配置成用信号发送指示在树结构的深度处使用的所选择的分割类型的索引。此外，在一些实例中，视频编码器22可在每一CU处自适应地用信号发送此类分割类型索引，即，所述索引对于不同CU可为不同的。举例来说，视频编码器22可基于一或多个速率-失真计算设置分割类型的指数。在一个实例中，在满足某些条件的情况下，可跳过用信号传送分割类型(例如，分割类型的索引)。举例来说，当仅存在一个与特定深度相关联的所支持分割类型时，视频编码器22可跳过用信号传送分割类型。在此实例中，当接近图片边界时，待译码区域可小于CTU。因此，在此实例中，可强制拆分CTU以适配图片边界。在一个实例中，仅对称二叉树用于强制拆分且不用信号发送分割类型。在一些实例中，在特定深度处，可基于先前经译码信息(例如切片类型、CTU深度、CU位置)导出分割类型。
在本发明的另一实例中，对于每一CU(叶节点)，视频编码器22可进一步被配置成用信号发送语法元素(例如，一位(one-bit)transform_split旗标)以指示是否对相同大小的CU执行变换(即，所述旗标指示TU是与CU具有相同大小还是可进一步拆分)。在transform_split旗标用信号发送为真的情况下，视频编码器22可被配置成将CU的残余进一步拆分成多个子块并对每一子块进行变换。视频解码器30可执行互逆过程。
在一个实例中，当transform_split旗标用信号发送为真时，执行以下操作。如果CU对应于正方形块(即，CU是正方形)，那么视频编码器22使用四叉树拆分将残余拆分成四个正方形子块，并且对每一正方形子块执行变换。如果CU对应于非正方形块，例如M×N，那么视频编码器22将残余拆分成两个子块，且所述子块大小当M>N时为0.5M×N且当M<N时为M×0.5N。作为另一实例，当transform_split旗标用信号发送为真且CU对应于非正方形块例如M×N(即，CU是非正方形)时，视频编码器22可被配置成将残余拆分成具有K×K大小的子块，且K×K正方形变换用于每一子块，其中K等于M和N的最大倍。作为另一实例，当CU一种正方形块时，不用信号发送transform_split旗标。
在一些实例中，当在预测之后CU中存在残余时，不用信号发送拆分旗标且仅使用具有一个导出的大小的变换。举例来说，对于具有等于M×N的大小的CU，使用K×K正方形变换，其中K等于M和N的最大倍。因此，在此实例中，对于具有大小16×8的CU，可将相同8×8变换应用于CU的残余数据的两个8×8子块。“拆分旗标”是指示树结构中的节点具有树结构中的子级节点的语法元素。
在一些实例中，对于每一CU，如果CU不拆分成正方形四叉树或对称二叉树，那么视频编码器22被配置成总是将变换大小设置成等于分割的大小(例如，CU的大小)。
模拟结果已展示，将与JEM-3.1参考软件相比，使用本发明的MTT技术的译码性能在随机存取的情况下展示有改进。平均起来，模拟已展示，本发明的MTT技术仅以适度编码时间增加提供3.18％的位率失真(BD)比率减小。模拟已展示本发明的MTT技术提供针对较高分辨率的良好性能，例如针对A1类和A2类测试的4.20％和4.89％的明度BD比率减小。A1类和A2类是实例4K分辨率测试序列。
应理解，对于上文参考视频编码器22描述的实例中的每一个，视频解码器30可被配置成执行互逆过程。关于用信号传送语法元素，视频解码器30可被配置成接收和解析此类语法元素并且相应地分割和解码相关联视频数据。
在本发明的一个特定实例中，视频解码器可被配置成根据三个不同分割结构(QT、BT和TT)分割视频块，其中在每一深度处允许五个不同分割类型。所述分割类型包含四叉树分割(QT分割结构)、水平二叉树分割(BT分割结构)、垂直二叉树分割(BT分割结构)、水平中心-侧三叉树分割(TT分割结构)，以及垂直中心-侧三叉树分割(TT分割结构)，如图5A-5B中所示。
五个分割类型的定义如下。应注意，正方形被视为矩形的特殊情况。
·四叉树分割：块进一步拆分成四个相同大小的矩形块。图6A示出四叉树分割的实例。
·垂直二叉树分割：块垂直地拆分成两个相同大小的矩形块。图6B是垂直二叉树分割的实例。
·水平二叉树分割：块水平地拆分成两个相同大小的矩形块。图6C是水平二叉树分割的实例。
·垂直中心-侧三叉树分割：块垂直地拆分成三个矩形块，使得两个侧块共享相同大小，而中心块的大小是所述两个侧块的总和。图6D是垂直中心-侧三叉树分割的实例。
·水平中心-侧三叉树分割：块水平地拆分成三个矩形块，使得两个侧块共享相同大小，而中心块的大小是所述两个侧块的总和。图6E是水平中心-侧三叉树分割的实例。
对于与特定深度相关联的块，视频编码器22确定使用哪些分割类型(包含不进一步拆分)并且将所确定的分割类型显式地或隐式地(例如，可从预定的规则导出所述分割类型)用信号发送到视频解码器30。视频编码器22可基于检查使用不同分割类型的块的速率-失真成本，确定将使用的分割类型。为获得速率-失真成本，视频编码器22可能需要递归检查针对块的可能的分割类型。
图7是说明译码树单元(CTU)分割的实例的概念图。换句话说，图7说明对应于CTU的CTB 91的分割。在图7的实例中，
·在深度0处，用水平二叉树分割将CTB 91(即，整个CTB)拆分成两个块(如由具有以单个圆点分割开的短划线的线93所指示)。
·在深度1处：
·用垂直中心-侧三叉树分割将上部块拆分成三个块(如由具有小短划线的线95和86指示)。
·用四叉树分割将底部块拆分成四个块(如由具有以两个圆点分割开的短划线的线88和90所指示)。
·在深度2处：
·用水平中心-侧三叉树分割将深度1处的上部块的左侧块拆分成三个块(如由具有以短划线分割开的长划线的线92和94所指示)。
·不对深度1处的上部块的中心块和右侧块进行进一步拆分。
·不对深度1处的底部块的四个块进行进一步拆分。
如图7的实例中可见，使用具有四个不同分割类型(水平二叉树分割、垂直中心-侧三叉树分割、四叉树分割和水平中心-侧三叉树分割)的三个不同分割结构(BT、QT和TT)。
在另一实例中，可对特定深度处或具有特定大小的块应用额外约束条件。举例来说，在块的高度/宽度小于16像素的情况下，无法用垂直/水平中心-侧树拆分块，以避免块具有小于4像素的高度/宽度。
已描述了各种实例。本发明的特定实例可单独地或彼此结合使用。
图8是说明可实施本发明的技术的实例视频编码器22的框图。图8是出于解释的目的提供且不应被视为限制本发明中广泛地示范和描述的技术。本发明的技术可适用于各种译码标准或方法。
在图8的实例中，视频编码器22包含预测处理单元100、视频数据存储器101、残余产生单元102、变换处理单元104、量化单元106、逆量化单元108、逆变换处理单元110、重构单元112、滤波器单元114、经解码图片缓冲器116以及熵编码单元118。预测处理单元100包含帧间预测处理单元120和帧内预测处理单元126。帧间预测处理单元120可包含运动估计单元和运动补偿单元(未示出)。
视频数据存储器101可被配置成存储待由视频编码器22的组件编码的视频数据。可例如从视频源18获得存储在视频数据存储器101中的视频数据。经解码图片缓冲器116可为存储参考视频数据以供视频编码器22在以例如帧内或帧间译码模式编码视频数据时使用的参考图片存储器。视频数据存储器101和经解码图片缓冲器116可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器101和经解码图片缓冲器116可由相同存储器装置或单独存储器装置提供。在各种实例中，视频数据存储器101可与视频编码器22的其它组件一起在芯片上，或相对于那些组件在芯片外。视频数据存储器101可与图1的存储媒体20相同或为所述存储媒体的部分。
视频编码器22接收视频数据。视频编码器22可对视频数据的图片的切片中的每一CTU进行编码。CTU中的每一个可以与图片的大小相等的亮度译码树块(CTB)以及对应的CTB相关联。作为对CTU进行编码的一部分，预测处理单元100可执行分割以将CTU的CTB划分为逐渐变小的块。较小块可为CU的译码块。举例来说，预测处理单元100可根据树结构分割与CTU相关联的CTB。根据本发明的一或多种技术，对于树结构的每一深度级处的树结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的拆分模式，且根据多个可允许的拆分模式中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。在一个实例中，预测处理单元100或视频编码器22的另一处理单元可被配置成执行上文所描述的MTT分割技术的任何组合。
视频编码器22可对CTU的CU进行编码以产生CU的经编码表示(即，经译码的CU)。作为对CU进行编码的部分，预测处理单元100可在CU的一或多个PU当中分割与CU相关联的译码块。根据本发明的技术，CU可仅包含单个PU。也就是说，在本发明的一些实例中，CU不划分成单独预测块，而是，对整个CU执行预测过程。因此，每一CU可与亮度预测块和对应的色度预测块相关联。视频编码器22和视频解码器30可支持具有各种大小的CU。如上文所指示，CU的大小可指CU的亮度译码块的大小，也是亮度预测块的大小。如上文所论述，视频编码器22和视频解码器30可支持由上文所描述的实例MTT分割类型的任何组合定义的CU大小。
帧间预测处理单元120可通过对CU的每个PU执行帧间预测来产生用于PU的预测性数据。如上文所解释，在本发明的一些MTT实例中，CU可仅含有单个PU，也就是说，CU和普可为同义的。PU的预测性数据可包含PU的预测性块和PU的运动信息。帧间预测处理单元120可根据PU是否在I切片、P切片或B切片中而对PU或CU执行不同操作。在I切片中，所有PU都是经帧内预测。因此，如果PU是在I切片中，那么帧间预测处理单元120不对PU执行帧间预测。因此，对于在I模式中编码的块，使用从同一图片内的经先前编码的相邻块的空间预测，形成经预测块。如果PU在P切片中，那么帧间预测处理单元120可使用单向帧间预测产生PU的预测性块。如果PU在B切片中，那么帧间预测处理单元320可使用单向或双向帧间预测来产生PU的预测性块。
帧内预测处理单元126可通过对PU执行帧内预测而产生用于PU的预测性数据。PU的预测性数据可包含PU的预测性块和各种语法元素。帧内预测处理单元126可对I切片、P切片和B切片中的PU执行帧内预测。
为了对PU执行帧内预测，帧内预测处理单元126可使用多个帧内预测模式产生PU的预测性数据的多个集合。帧内预测处理单元126可使用来自相邻PU的样本块的样本产生用于PU的预测性块。假定对于PU、CU和CTU采用从左到右、从上到下的编码次序，相邻PU可以在所述PU的上方、右上方、左上方或左方。帧内预测处理单元126可使用各种数目个帧内预测模式，例如，33个定向帧内预测模式。在一些实例中，帧内预测模式的数目可以取决于与PU相关联的区域的大小。
预测处理单元100可从PU的由帧间预测处理单元120产生的预测性数据或PU的由帧内预测处理单元126产生的预测性数据当中选择用于CU的PU的预测性数据。在一些实例中，预测处理单元100基于预测性数据集合的速率/失真量度选择用于CU的PU的预测性数据。所选预测性数据的预测性块在本文中可被称作所选预测性块。
残余产生单元102可基于用于CU的译码块(例如，明度、Cb和Cr译码块)和用于CU的PU的选定预测性块(例如，预测性明度、Cb和Cr块)，产生用于CU的残余块(例如，明度、Cb和Cr残余块)。举例来说，残余产生单元102可产生CU的残余块，以使得残余块中的每一样本具有等于CU的译码块中的样本与CU的PU的对应选定预测性样本块中的对应样本之间的差的值。
变换处理单元104可执行四叉树分割以将与CU相关联的残余块分割为与CU的TU相关联的变换块。因此，TU可与明度变换块和两个色度变换块相关联。CU的TU的明度变换块和色度变换块的大小和位置可以或可不基于CU的PU的预测性块的大小和位置。被称为“残余四叉树”(RQT)的四叉树结构可包含与区域中的每一个相关联的节点。CU的TU可以对应于RQT的叶节点。在其它实例中，变换处理单元104可被配置成根据上文所描述的MTT技术分割TU。举例来说，视频编码器22可不使用RQT结构将CU进一步划分成TU。如此，在一个实例中，CU包含单个TU。
变换处理单元104可以通过将一或多个变换应用于TU的变换块，产生用于CU的每一TU的变换系数块。变换处理单元104可以将各种变换应用于与TU相关联的变换块。举例来说，变换处理单元104可以将离散余弦变换(DCT)、定向变换或概念上类似的变换应用于变换块。在一些实例中，变换处理单元104并不将变换应用于变换块。在此类实例中，变换块可被视作变换系数块。
量化单元106可量化系数块中的变换系数。量化过程可减少与变换系数中的一些或全部相关联的位深度。举例来说，n位变换系数可在量化期间向下舍入到m位变换系数，其中n大于m。量化单元106可基于与CU相关联的量化参数(QP)值，量化与CU的TU相关联的变换系数块。视频编码器22可通过调整与CU相关联的QP值，调整应用于与CU相关联的系数块的量化程度。量化可引入信息损耗。因而，经量化变换系数的精确度可低于原始系数的精确度。
逆量化单元108和逆变换处理单元110可分别将逆量化和逆变换应用于系数块，以从系数块重构残余块。重构单元112可将经重构残余块添加到来自由预测处理单元100产生的一或多个预测性块的对应样本，以产生与TU相关联的经重构变换块。通过以此方式重构CU的每一TU的变换块，视频编码器22可重构CU的译码块。
滤波器单元114可执行一或多个去块操作以减少与CU相关联的译码块的成块假影。在滤波器单元114对经重构译码块执行一或多个去块操作之后，经解码图片缓冲器116可存储经重构译码块。帧间预测处理单元120可使用含有经重构译码块的参考图片来对其它图片的PU执行帧间预测。另外，帧内预测处理单元126可以使用经解码图片缓冲器116中的经重构译码块对处于与CU相同的图片中的其它PU执行帧内预测。
熵编码单元118可以从视频编码器22的其它功能组件接收数据。举例来说，熵编码单元118可以从量化单元106接收系数块，并且可以从预测处理单元100接收语法元素。熵编码单元118可以对数据执行一或多个熵编码操作以产生经熵编码的数据。举例来说，熵编码单元118可以对数据执行CABAC操作、上下文自适应可变长度译码(CAVLC)操作、可变到可变(V2V)长度译码操作、基于语法的上下文自适应二进制算术译码(SBAC)操作、概率区间分割熵(PIPE)译码操作、指数哥伦布编码操作或另一类型的熵编码操作。视频编码器22可输出包含由熵编码单元118产生的经熵编码数据的位流。举例来说，所述位流可包含表示根据本发明的技术用于CU的分割结构的数据。
图9是说明被配置成实施本发明的技术的实例视频解码器30的框图。图9是出于解释的目的提供，并且不应被视为将所述技术限制为本发明中所宽泛示范和描述的技术。出于解释的目的，本发明在HEVC译码的上下文中描述视频解码器30。然而，本发明的技术可以适用于其它译码标准或方法。
在图9的实例中，视频解码器30包含熵解码单元150、视频数据存储器151、预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158、滤波器单元160和经解码图片缓冲器162。预测处理单元152包含运动补偿单元164和帧内预测处理单元166。在其它实例中，视频解码器30可包含较多、较少或不同的功能组件。
视频数据存储器151可存储待由视频解码器30的组件解码的经编码视频数据，例如经编码视频位流。可例如从计算机可读媒体16，例如从本地视频源例如相机，经由视频数据的有线或无线网络通信，或通过存取物理数据存储媒体，获得存储在视频数据存储器151中的视频数据。视频数据存储器151可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。经解码图片缓冲器162可为参考图片存储器，其存储供视频解码器30在例如以帧内或帧间译码模式解码视频数据时使用或用于输出的参考视频数据。视频数据存储器151和经解码图片缓冲器162可由多种存储器装置中的任一个形成，例如动态随机存取存储器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器151和经解码图片缓冲器162可由相同存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器151可与视频解码器30的其它组件一起在芯片上，或相对于所述组件在芯片外。视频数据存储器151可与图1的存储媒体28相同或为所述存储媒体的部分。
视频数据存储器151接收和存储位流的经编码视频数据(例如，NAL单元)。熵解码单元150可从视频数据存储器151接收经编码视频数据(例如，NAL单元)，且可解析NAL单元以获得语法元素。熵解码单元150可对NAL单元中的经熵编码语法元素进行熵解码。预测处理单元152、逆量化单元154、逆变换处理单元156、重构单元158和滤波器单元160可基于从位流提取的语法元素，产生经解码视频数据。熵解码单元150可执行与熵编码单元118的过程大体上互逆的过程。
根据本发明的一些实例，熵解码单元150或视频解码器30的另一处理单元可确定树结构，这是从位流获得语法元素的步骤的部分。树结构可规定初始视频块例如CTB如何被分割成较小视频块，例如译码单元。根据本发明的一或多种技术，对于树结构的每一深度级处的树结构的每一相应非叶节点，存在针对相应非叶节点的多个允许的分割类型，且根据多个可允许的拆分模式中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。
除了获得来自位流的语法元素之外，视频解码器30可对未分割的CU执行重构操作。为了对CU执行重构操作，视频解码器30可对CU的每一TU执行重构操作。通过对CU的每一TU执行重构操作，视频解码器30可重构CU的残余块。如上文所论述，在本发明的一个实例中，CU包含单个TU。
作为对CU的TU执行重构操作的部分，逆量化单元154可逆量化(即，解量化)与TU相关联的系数块。在逆量化单元154逆量化系数块之后，逆变换处理单元156可将一或多个逆变换应用于所述系数块以便产生与TU相关联的残余块。举例来说，逆变换处理单元156可以将逆DCT、逆整数变换、逆卡忽南-拉维(Karhunen-Loeve)变换(KLT)、逆旋转变换、逆定向变换或另一逆变换应用于所述系数块。
如果使用帧内预测对CU或PU进行编码，那么帧内预测处理单元166可执行帧内预测以产生PU的预测性块。帧内预测处理单元166可使用帧内预测模式以基于样本空间相邻块产生PU的预测性块。帧内预测处理单元166可基于从位流获得的一或多个语法元素确定用于PU的帧内预测模式。
如果PU是使用帧间预测经编码，那么熵解码单元150可确定所述PU的运动信息。运动补偿单元164可基于PU的运动信息来确定一或多个参考块。运动补偿单元164可基于所述一或多个参考块产生PU的预测性块(例如，预测性明度、Cb和Cr块)。如上文所论述，在本发明的使用MTT分割的一个实例中，CU可仅包含单个PU。也就是说，CU可不划分成多个PU。
重构单元158可使用CU的TU的变换块(例如，明度、Cb和Cr变换块)以及CU的PU的预测性块(例如，明度、Cb和Cr块)(即，在适用时，帧内预测数据或帧间预测数据)来重构CU的译码块(例如，明度、Cb和Cr译码块)。举例来说，重构单元158可将变换块(例如，亮度、Cb和Cr变换块)的样本添加到预测性块(例如，亮度、Cb和Cr预测性块)的对应样本，以重构CU的译码块(例如，亮度、Cb和Cr译码块)。
滤波器单元160可执行去块操作以减少与CU的译码块相关联的成块假影。视频解码器30可将CU的译码块存储在经解码图片缓冲器162中。经解码图片缓冲器162可提供参考图片以用于后续运动补偿、帧内预测和在显示装置(例如，图1的显示装置32)上的显示。举例来说，视频解码器30可基于经解码图片缓冲器162中的块对其它CU的PU执行帧内预测或帧间预测操作。
图10A是说明根据本发明的技术的视频编码器22的实例操作的流程图。在图10A的实例中，视频编码器22可产生视频数据的初始视频块(例如，编码树块)的经编码表示(200)。作为产生初始视频块的经编码表示的部分，视频编码器22确定包括多个节点的树结构。所述多个节点包含多个叶节点和多个非叶节点。所述叶节点不具有树结构中的子级节点。所述非叶节点包含树结构的根节点。所述根节点对应于初始视频块。对于多个节点的每一相应非根节点，相应非根节点对应于一视频块(例如，译码块)，所述视频块是对应于相应非根节点的树结构中的父级节点的视频块的子块。多个非叶节点中的每一相应非叶节点具有树结构中的一或多个子级节点。对于树结构的每一深度级处的树结构的每一相应非叶节点，存在针对相应非叶节点的三个或更多个分割结构(例如，BT、QT和TT分割结构)的多个允许的分割类型，且根据多个可允许的分割类型中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。多个允许的分割类型中的每一允许的相应分割类型可对应于将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块的不同方式。此外，在此实例中，视频编码器22可包含在包括视频数据的经编码表示的位流中的初始视频块的经编码表示(202)。
图10B是说明根据本发明的技术的视频解码器30的实例操作的流程图。在图10B的实例中，视频解码器30可确定包括多个节点的树结构(250)。多个节点包含多个叶节点和多个非叶节点。所述叶节点不具有树结构中的子级节点。所述非叶节点包含树结构的根节点。所述根节点对应于视频数据的初始视频块。对于多个节点的每一相应非根节点，相应非根节点对应于一视频块，所述视频块是对应于相应非根节点的树结构中的父级节点的视频块的子块。多个非叶节点的每一相应非叶节点具有树结构中的一或多个子级节点。对于树结构的每一深度级处的树结构的每一相应非叶节点，存在针对相应非叶节点的三个或更多个分割结构(例如，BT、QT和TT分割结构)的多个允许的分割类型，且根据多个可允许的分割类型中的一个，将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块。多个允许的分割类型中的每一允许的相应分割类型对应于将对应于相应非叶节点的视频块分割成对应于相应非叶节点的子级节点的视频块的不同方式。此外，在此实例中，对于树结构的每一(或至少一个)相应叶节点，视频解码器30重构对应于相应叶节点的视频块(252)。
在图10A和图10B的实例中，对于树结构的除根节点以外的每一相应非叶节点，针对相应非叶节点的多个允许的分割类型可独立于如下拆分模式：根据所述拆分模式，对应于相应非叶节点的父级节点的视频块被分割成对应于相应非叶节点的父级节点的子级节点的视频块。举例来说，不同于VCEG提议COM16-C966，如果根据二叉树拆分模式拆分特定节点的视频块，那么可根据四叉树拆分模式拆分特定节点的子级节点的视频块。
此外，在图10A和图10B的实例中，针对树结构的每一相应非叶节点，针对相应非叶节点的多个允许的拆分模式可包含以下中的两个或更多个：正方形四叉树拆分模式、矩形四叉树拆分模式、对称二叉树拆分模式、非对称二叉树拆分模式、对称三叉树拆分模式或非对称三叉树拆分模式。
此外，如上文所指示，仅使用前述分割类型的子集。所支持的分割类型的子集可在位流中用信号发送或被预定义。因此，在一些实例中，视频解码器30可从位流获得指示多个所支持的拆分模式的语法元素。类似地，视频编码器22可在位流中用信号发送多个所支持的拆分模式。在这些实例中，对于树结构的每一相应非叶节点，多个所支持的拆分模式可包含针对相应非叶节点的多个允许的拆分模式。在这些实例中，可从位流获得(以及在所述位流中用信号发送)例如处于序列参数集(SPS)或图片参数集(PPS)或切片标头中的指示多个所支持的拆分模式的语法元素。
如上文所指示，在一些实例中，当子树拆分成非对称三叉树时，应用三个分区中的两个具有相同大小的约束条件。因此，在一些实例中，视频解码器30可接收遵守规定如下的约束条件的初始视频块的经编码表示：当根据非对称三叉树模式分割对应于树结构的节点的视频块时，对应于节点的两个子级节点的视频块具有相同大小。同样地，视频编码器22可产生遵守规定如下的约束条件的初始视频块的经编码表示：当根据非对称三叉树模式分割对应于树结构的节点的视频块时，对应于节点的两个子级节点的视频块具有相同大小。
如上文所指示，在一些实例中，所支持的分割类型的数目对于所有CTU中的所有深度可为固定的。举例来说，可存在针对树结构的每一非叶节点的多个允许的拆分模式中的相同数目个允许的拆分模式。另外，如上文所指示，在其它实例中，所支持的分割类型的数目可取决于深度、切片类型、CTU类型或其它先前经译码信息。举例来说，对于树结构的至少一个非叶节点，针对非叶节点的多个允许的拆分模式中的允许的拆分模式的数目取决于以下中的至少一个：树结构中的非叶节点的深度、对应于树结构中的非叶节点的视频块的大小、切片类型或先前经译码信息。
在一些实例中，当用非对称分割类型(例如，图3中所示的非对称二叉树分割类型，包含PART_2NxnU、PART 2NxnD、PART_nLx2N、PART_nRx2N)拆分块时，从当前块拆分的最大子块无法进一步拆分。举例来说，对如何编码初始视频块的约束条件可需要当根据非对称拆分模式将对应于树结构的任何非叶节点的视频块拆分成多个子块时，多个子块中的最大子块对应于树结构的叶节点。
在一些实例中，当用非对称分割类型拆分块时，从当前块拆分的最大子块无法在相同方向上进一步拆分。举例来说，对如何编码初始视频块的约束条件可需要当根据非对称拆分模式将对应于树结构的任何非叶节点的视频块在第一方向上拆分成多个子块时，树结构无法含有对应于在所述第一方向上从多个子块中的最大子块拆分的多个子块中的最大子块的子块的节点。
在一些实例中，当块的宽度/高度不是2的幂时，不允许进一步水平/垂直拆分。举例来说，对如何编码初始视频块的约束条件可需要树结构的节点对应于高度或宽度不是2的幂的视频块，所述视频块将为叶节点。
在一些实例中，在每一深度处，在位流中用信号发送所选择的分割类型的索引。因此，在一些实例中，视频编码器22可在位流中包含如下拆分模式的索引：根据所述拆分模式，对应于树结构的非叶节点的视频块拆分成对应于非叶节点的子级节点的视频块。类似地，在一些实例中，视频解码器30可从位流获得如下拆分模式的索引：根据所述拆分模式，对应于树结构的非叶节点的视频块拆分成对应于非叶节点的子级节点的视频块。
在一些实例中，对于每一CU(叶节点)，进一步用信号发送1位transform_split旗标以指示是否进行具有与CU相同的大小的变换。在transform_split旗标用信号发送为真的情况下，CU的残余进一步拆分成多个子块，且对每一子块进行变换。因此，在一个实例中，对于树结构的至少一个叶节点，视频编码器22可包含位流中的语法元素。在此实例中，具有第一值的语法元素指示具有与对应于叶节点的视频块相同的大小的变换应用于对应于叶节点的视频块的残余数据；具有第二值的语法元素指示具有比对应于叶节点的视频块小的大小的多个变换应用于对应于叶节点的视频块的残余数据的子块。在类似实例中，对于树结构的至少一个叶节点，视频解码器30可从位流获得此语法元素。
在一些实例中，当在CU中存在残余时，不用信号发送拆分旗标，且仅使用具有一个导出的大小的变换。举例来说，对于树结构的至少一个叶节点，视频编码器22可将相同变换(例如，离散余弦变换、离散正弦变换等)应用于对应于与叶节点相对应的视频块的残余数据的不同部分，以将所述残余数据从样本域转换到变换域。在样本域中，依据样本的值(例如，像素的分量)表示残余数据。在变换域中，可依据频率系数表示残余数据。同样地，对于树结构的至少一个叶节点，视频解码器30可将相同变换(即，反离散余弦变换、逆正弦变换等)应用于对应于与叶节点相对应的视频块的残余数据的不同部分，以将所述残余数据从变换域转换到样本域。
在一些实例中，对于每一CU，如果CU不拆分成正方形四叉树或对称二叉树，那么变换大小总是设置成具有等于分割大小的大小。举例来说，对于对应于根据正方形四叉树拆分模式或对称二叉树拆分模式分割的视频块的树结构的每一相应非叶节点，应用于对应于相应非叶节点的子级节点的视频块的残余数据的变换的变换大小总是设置成等于对应于相应非叶节点的子级节点的视频块的大小。
图11是说明根据本发明的另一实例技术的视频编码器的实例操作的流程图。视频编码器22的一或多个结构元件(包含预测处理单元100)可被配置成执行图11的技术。
在本发明的一个实例中，视频编码器22可被配置成接收视频数据的图片(300)，使用三个或更多个不同分割结构将视频数据的图片分割成多个块(302)，以及对视频数据的图片的多个块进行编码(304)。在本发明的一个实例中，视频编码器22可被配置成使用三个或更多个不同分割结构将视频数据的图片分割成多个块，其中三个或更多个不同分割结构中的至少三个可用于表示如何分割视频数据的图片的特定块的树结构的至少一个深度。在一个实例中，三个或更多个不同分割结构包含三叉树分割结构，且视频编码器22进一步被配置成使用三叉树分割结构的三叉树分割类型分割视频数据的特定块，其中三叉树分割结构将特定块划分成三个子块而无需穿过特定块的中心划分特定块，其中三个子块的中心块具有等于三个子块中另外两个子块的大小的总和，且其中三个子块中的另外两个子块具有相同大小。
在本发明的另一实例中，三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。在本发明的另一实例中，四叉树分割结构的分割类型包含正方形四叉树分割类型或矩形四叉树分割类型中的一或多个，二叉树分割结构的分割类型包含对称二叉树分割类型或非对称二叉树分割类型中的一或多个，且三叉树分割结构的分割类型包含对称三叉树分割类型或非对称三叉树分割类型中的一或多个。
在本发明的另一实例中，视频编码器22进一步被配置成在位流中产生指示三个或更多个不同分割结构的多个所支持的分割类型的语法元素。在一个实例中，从位流产生语法元素包含在自适应参数集(APS)、序列参数集(SPS)、图片参数集合(PPS)或切片标头中的一个或多个中产生所述语法元素。
在本发明的另一实例中，视频编码器22进一步被配置成产生指示使用具有对称三叉树分割类型的三叉树分割结构分割视频数据的图片的特定块的语法元素，并且分割视频数据的图片的特定块以使得特定块的两个子块具有相同大小。
在本发明的另一实例中，多个块包含对应于叶节点的特定块，且视频编码器22进一步被配置成在位流中产生语法元素，所述语法元素具有指示如下的第一值：具有与对应于叶节点的视频数据的图片的特定块相同的大小的变换应用于对应于叶节点的特定块的残余数据，所述语法元素具有指示如下的第二值：具有比对应于叶节点的特定视频小的大小的多个变换应用于对应于叶节点的特定块的残余数据的子块，并且根据所述语法元素将一或多个变换应用于视频数据的特定块的残余数据。
图12是说明根据本发明的另一实例技术的视频解码器的实例操作的流程图。视频解码器30的一或多个结构元件(包含熵解码单元150和/或预测处理单元152)可被配置成执行图12的技术。
在本发明的一个实例中，视频解码器30被配置成接收包含形成视频数据的经译码图片的表示的位序列的位流(400)，确定使用三个或更多个不同分割结构将视频数据的经译码图片分割成多个块(402)，以及重构视频数据的经译码图片的多个块(404)。在一个实例中，视频解码器30被配置成确定使用三个或更多个不同分割结构将视频数据的经译码图片分割成多个块，其中三个或更多个不同分割结构中的至少三个可用于表示如何分割视频数据的经译码图片的特定块的树结构的至少一个深度。在一个实例中，三个或更多个不同分割结构包含三叉树分割结构，且视频解码器30进一步被配置成确定使用三叉树分割结构的三叉树分割类型分割视频数据的特定块，其中三叉树分割结构将特定块划分成三个子块而无需穿过特定块的中心划分特定块，其中三个子块中的中心块具有等于三个子块中另外两个子块的大小的总和的大小，且其中三个子块中的另外两个子块具有相同大小。
在本发明的另一实例中，三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。在另一实例中，四叉树分割结构的分割类型包含正方形四叉树分割类型或矩形四叉树分割类型中的一或多个，二叉树分割结构的分割类型包含对称二叉树分割类型或非对称二叉树分割类型中的一或多个，且三叉树分割结构的分割类型包含对称三叉树分割类型或非对称三叉树分割类型中的一或多个。
在本发明的另一实例中，视频解码器30进一步被配置成从位流接收指示三个或更多个不同分割结构的多个所支持的分割类型的语法元素，并且确定基于所接收的语法元素分割视频数据的经译码图片。在本发明的另一实例中，视频解码器30进一步被配置成从位流接收语法元素，包含在自适应参数集(APS)、序列参数集(SPS)、图片参数集(PPS)或切片标头中的一个或多个中接收所述语法元素。
在本发明的另一实例中，视频解码器30进一步被配置成接收指示使用具有对称三叉树分割类型的三叉树分割结构分割视频数据的经译码图片的特定块的语法元素，并且确定分割视频数据的经译码图片的特定块以使得特定块的两个子块具有相同大小。
在本发明的另一实例中，多个块包含对应于叶节点的特定块，且视频解码器30进一步被配置成从位流接收语法元素，所述语法元素具有指示如下的第一值：具有与对应于叶节点的视频数据的经译码图片的特定块相同的大小的变换应用于对应于叶节点的特定块的残余数据，所述语法元素具有指示如下的第二值：具有比对应于叶节点的特定块小的大小的多个变换应用于对应于叶节点的特定块的残余数据的子块，并且根据所述语法元素将一或多个变换应用于视频数据的特定块。
出于说明的目的，已相对于HEVC标准的扩展描述了本发明的某些方面。然而，本发明中描述的技术可适用于其它视频译码过程，包含尚未开发的其它标准或专有视频译码过程。
如本发明中所描述，视频译码器可指视频编码器或视频解码器。类似地，视频译码单元可指视频编码器或视频解码器。同样地，在适用时，视频译码可指视频编码或视频解码。在本发明中，用语“基于”可指示仅基于，至少部分地基于，或一定程度上基于。本发明可使用术语“视频单元”或“视频块”或“块”来指代一或多个样本块和用于对一或多个样本块中的样本进行译码的语法结构。实例类型的视频单元可包含CTU、CU、PU、变换单元(TU)、宏块、宏块分区等。在一些上下文中，PU的论述可与宏块或宏块分区的论述互换。视频块的实例类型可包含译码树块、译码块和其它类型的视频数据块。
应认识到，取决于实例，本文中所描述的技术中的任一个的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非循序地执行动作或事件。
在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体的有形媒体，通信媒体包含例如根据通信协议促进将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如信号或载波。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读媒体的范围内。
指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一个。另外，在一些方面中，本文中所描述的功能性可在被配置成用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可实施于多种装置或设备中，包含无线手持机、集成电路(IC)或IC的集合(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调被配置成执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已描述了各种实例。这些和其它实例在所附权利要求书的范围内。

Claims (25)

1.一种解码视频数据的方法，所述方法包括：
接收包含形成所述视频数据的经译码图片的表示的位序列的位流；
确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块，其中所述三个或更多个不同分割结构中的至少三个能够用于表示如何分割所述视频数据的所述经译码图片的特定块的树结构的至少一个深度，且其中所述至少三个不同分割结构包含三叉树分割结构，其中，所述三叉树分割结构用于所述树结构的所述至少一个深度处的一个块，并且四叉树分割结构或二叉树分割结构用于所述至少一个深度处的另一个块；
确定使用所述三叉树分割结构的三叉树分割类型在所述至少一个深度处对所述一个块的分割，其中所述三叉树分割结构将所述一个块划分成三个子块而无需穿过所述一个块的中心划分所述一个块；和
重构所述视频数据的所述经译码图片的所述多个块，
其中，确定对所述视频数据的所述经译码图片的分割包括基于从所述位流接收的第一语法元素确定所述经译码图片的所述分割，所述第一语法元素指示对应于针对所述至少一个深度的所述至少三个不同分割结构的多个所支持的分割类型，以及
其中，确定在所述至少一个深度处对所述一个块的分割是基于第二语法元素的，所述第二语法元素指示在所述至少一个深度处所述一个块是使用所述三叉树分割结构的三叉树分割类型来分割的。
2.根据权利要求1所述的方法，其中所述三个子块中的中心块具有等于所述三个子块中另外两个子块的大小的总和的大小，且其中所述三个子块中的所述另外两个子块具有相同大小。
3.根据权利要求1所述的方法，其中所述三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。
4.根据权利要求3所述的方法，其中所述四叉树分割结构的分割类型包含正方形四叉树分割类型或矩形四叉树分割类型中的一或多个，
其中所述二叉树分割结构的分割类型包含对称二叉树分割类型或非对称二叉树分割类型中的一或多个，
其中所述三叉树分割结构的分割类型包含对称三叉树分割类型或非对称三叉树分割类型中的一或多个。
5.根据权利要求1所述的方法，其另外包括：
从所述位流接收包括所述第一语法元素和所述第二语法元素的语法元素。
6.根据权利要求5所述的方法，其中接收所述语法元素包括接收自适应参数集APS、序列参数集SPS、图片参数集PPS或切片标头中的一个或多个中的所述语法元素。
7.根据权利要求1所述的方法，其中，所述第二语法元素指示在所述至少一个深度处所述一个块是使用具有对称三叉树分割类型的所述三叉树分割结构分割的；和
对所述一个块的分割被确定为使得所述一个块的两个子块具有相同大小。
8.根据权利要求1所述的方法，其中所述多个块包含对应于叶节点的块，所述方法另外包括：
从所述位流接收第三语法元素，所述第三语法元素具有指示如下的第一值：具有与对应于所述叶节点的所述块相同的大小的变换应用于对应于所述叶节点的所述块的残余数据，所述第三语法元素具有指示如下的第二值：具有比对应于所述叶节点的所述块小的大小的多个变换应用于对应于所述叶节点的所述块的所述残余数据的子块；和
根据所述第三语法元素，将一或多个变换应用于对应于所述叶节点的所述块。
9.一种对视频数据进行编码的方法，所述方法包括：
接收所述视频数据的图片；
使用三个或更多个不同分割结构将所述视频数据的所述图片分割成多个块，其中所述三个或更多个不同分割结构中的至少三个能够用于表示如何分割所述视频数据的所述图片的特定块的树结构的至少一个深度，且其中所述至少三个不同分割结构包含三叉树分割结构，其中，所述三叉树分割结构用于所述树结构的所述至少一个深度处的一个块，并且四叉树分割结构或二叉树分割结构用于所述至少一个深度处的另一个块；
使用所述三叉树分割结构的三叉树分割类型在所述至少一个深度处分割所述一个块，其中所述三叉树分割结构将所述一个块划分成三个子块而无需穿过所述一个块的中心划分所述一个块；
对所述视频数据的所述图片的所述多个块进行编码；以及
在位流中生成包括第一语法元素和第二语法元素的语法元素，所述第一语法元素指示对应于针对所述至少一个深度的所述至少三个不同分割结构的多个所支持的分割类型，所述第二语法元素指示在所述至少一个深度处所述一个块是使用所述三叉树分割结构的三叉树分割类型来分割的。
10.根据权利要求9所述的方法，其中所述三个子块中的中心块具有等于所述三个子块中另外两个子块的大小的总和的大小，且其中所述三个子块中的所述另外两个子块具有相同大小。
11.根据权利要求9所述的方法，其中所述三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。
12.根据权利要求11所述的方法，其中所述四叉树分割结构的分割类型包含正方形四叉树分割类型或矩形四叉树分割类型中的一或多个，
其中所述二叉树分割结构的分割类型包含对称二叉树分割类型或非对称二叉树分割类型中的一或多个，
其中所述三叉树分割结构的分割类型包含对称三叉树分割类型或非对称三叉树分割类型中的一或多个。
13.根据权利要求9所述的方法，其中产生所述语法元素包括在自适应参数集APS、序列参数集SPS、图片参数集PPS或切片标头中的一个或多个中产生所述语法元素。
14.根据权利要求9所述的方法，其中，所述第二语法元素指示在所述至少一个深度处所述一个块是使用具有对称三叉树分割类型的所述三叉树分割结构分割的；和
对所述一个块的分割被确定为使得所述一个块的两个子块具有相同大小。
15.根据权利要求9所述的方法，其中所述多个块包含对应于叶节点的块，所述方法另外包括：
在位流中产生第三语法元素，所述第三语法元素具有指示如下的第一值：具有与对应于所述叶节点的块相同的大小的变换应用于对应于所述叶节点的所述块的残余数据，所述第三语法元素具有指示如下的第二值：具有比对应于所述叶节点的所述块小的大小的多个变换应用于对应于所述叶节点的所述块的所述残余数据的子块；和
根据所述第三语法元素，将一或多个变换应用于对应于所述叶节点的所述块的所述残余数据。
16.一种被配置成对视频数据进行解码的设备，所述设备包括：
存储器，其被配置成存储所述视频数据；和
视频解码电路，其被配置成：
接收包含形成所述视频数据的经译码图片的表示的位序列的位流；
确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块，其中所述三个或更多个不同分割结构中的至少三个能够用于表示如何分割所述视频数据的所述经译码图片的特定块的树结构的至少一个深度，且其中所述至少三个不同分割结构包含三叉树分割结构，其中，所述三叉树分割结构用于所述树结构的所述至少一个深度处的一个块，并且四叉树分割结构或二叉树分割结构用于所述至少一个深度处的另一个块；
确定使用所述三叉树分割结构的三叉树分割类型在所述至少一个深度处对所述一个块的分割，其中所述三叉树分割结构将所述一个块划分成三个子块而无需穿过所述一个块的中心划分所述一个块；和
重构所述视频数据的所述经译码图片的所述多个块，
其中，确定对所述视频数据的所述经译码图片的分割包括基于从所述位流接收的第一语法元素确定所述经译码图片的所述分割，所述第一语法元素指示对应于针对所述至少一个深度的所述至少三个不同分割结构的多个所支持的分割类型，以及
其中，确定在所述至少一个深度处对所述一个块的分割是基于第二语法元素的，所述第二语法元素指示在所述至少一个深度处所述一个块是使用所述三叉树分割结构的三叉树分割类型来分割的。
17.根据权利要求16所述的设备，其中所述三个子块中的中心块具有等于所述三个子块中另外两个子块的大小的总和的大小，且其中所述三个子块中的所述另外两个子块具有相同大小。
18.根据权利要求16所述的设备，其中所述三个或更多个不同分割结构另外包含四叉树分割结构和二叉树分割结构。
19.根据权利要求18所述的设备，其中所述四叉树分割结构的分割类型包含正方形四叉树分割类型或矩形四叉树分割类型中的一或多个，
其中所述二叉树分割结构的分割类型包含对称二叉树分割类型或非对称二叉树分割类型中的一或多个，
其中所述三叉树分割结构的分割类型包含对称三叉树分割类型或非对称三叉树分割类型中的一或多个。
20.根据权利要求16所述的设备，其中所述视频解码电路进一步被配置成：
从所述位流接收包括所述第一语法元素和所述第二语法元素的语法元素。
21.根据权利要求20所述的设备，其中所述视频解码电路进一步被配置成接收自适应参数集APS、序列参数集SPS、图片参数集PPS或切片标头中的一个或多个中的所述语法元素。
22.根据权利要求16所述的设备，其中所述第二语法元素指示在所述至少一个深度处所述一个块是使用具有对称三叉树分割类型的所述三叉树分割结构分割的；和
对所述一个块的分割被确定为使得所述一个块的两个子块具有相同大小。
23.根据权利要求16所述的设备，其中所述多个块包含对应于叶节点的块，且其中所述视频解码电路进一步被配置成：
从所述位流接收第三语法元素，所述第三语法元素具有指示如下的第一值：具有与对应于所述叶节点的所述块相同的大小的变换应用于对应于所述叶节点的所述块的残余数据，所述第三语法元素具有指示如下的第二值：具有比对应于所述叶节点的所述块小的大小的多个变换应用于对应于所述叶节点的所述块的所述残余数据的子块；和
根据所述第三语法元素，将一或多个变换应用于对应于所述叶节点的所述块。
24.一种被配置成对视频数据进行解码的设备，其包括：
用于接收包含形成所述视频数据的经译码图片的表示的位序列的位流的装置；
用于确定使用三个或更多个不同分割结构将所述视频数据的所述经译码图片分割成多个块的装置，其中所述三个或更多个不同分割结构中的至少三个能够用于表示如何分割所述视频数据的所述经译码图片的特定块的树结构的至少一个深度，且其中所述至少三个不同分割结构包含三叉树分割结构，其中，所述三叉树分割结构用于所述树结构的所述至少一个深度处的一个块，并且四叉树分割结构或二叉树分割结构用于所述至少一个深度处的另一个块；
用于确定使用所述三叉树分割结构的三叉树分割类型在所述至少一个深度处对所述一个块的分割的装置，其中所述三叉树分割结构将所述一个块划分成三个子块而无需穿过所述一个块的中心划分所述一个块；和
用于重构所述视频数据的所述经译码图片的所述多个块的装置，
其中，用于确定对所述视频数据的所述经译码图片的分割的装置包括用于基于从所述位流接收的第一语法元素确定所述经译码图片的所述分割的装置，所述第一语法元素指示对应于针对所述至少一个深度的所述至少三个不同分割结构的多个所支持的分割类型，以及
其中，用于确定在所述至少一个深度处对所述一个块的分割的装置包括用于基于第二语法元素确定对所述一个块的分割的装置，所述第二语法元素指示在所述至少一个深度处所述一个块是使用所述三叉树分割结构的三叉树分割类型来分割的。
25.根据权利要求24所述的设备，其中所述三个子块中的中心块具有等于所述三个子块中另外两个子块的大小的总和的大小，且其中所述三个子块中的所述另外两个子块具有相同大小。
CN201780006116.8A 2016-01-15 2017-01-13 用于视频译码的多类型树框架 Active CN108464001B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662279233P 2016-01-15 2016-01-15
US62/279,233 2016-01-15
US15/404,634 2017-01-12
US15/404,634 US10212444B2 (en) 2016-01-15 2017-01-12 Multi-type-tree framework for video coding
PCT/US2017/013485 WO2017123980A1 (en) 2016-01-15 2017-01-13 Multi-type-tree framework for video coding

Publications (2)

Publication Number Publication Date
CN108464001A CN108464001A (zh) 2018-08-28
CN108464001B true CN108464001B (zh) 2022-06-14

Family

ID=57985033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780006116.8A Active CN108464001B (zh) 2016-01-15 2017-01-13 用于视频译码的多类型树框架

Country Status (19)

Country Link
US (2) US10212444B2 (zh)
EP (1) EP3403405A1 (zh)
JP (2) JP7163183B2 (zh)
KR (1) KR20180102569A (zh)
CN (1) CN108464001B (zh)
AU (1) AU2017207452B2 (zh)
BR (1) BR112018014435A2 (zh)
CA (1) CA3007664C (zh)
CL (1) CL2018001895A1 (zh)
CO (1) CO2018007220A2 (zh)
HK (1) HK1252971A1 (zh)
MX (1) MX2018008587A (zh)
MY (1) MY193686A (zh)
PH (1) PH12018501244A1 (zh)
RU (1) RU2727095C2 (zh)
SA (1) SA518391981B1 (zh)
SG (1) SG11201804725YA (zh)
WO (1) WO2017123980A1 (zh)
ZA (1) ZA201804694B (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
MX2021012481A (es) * 2016-03-16 2022-05-30 Hfi Innovation Inc Metodo y aparato de procesamiento de datos de video con tama?o restringido de bloque en codificacion de video.
US11223852B2 (en) * 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
JP2019514308A (ja) 2016-05-10 2019-05-30 サムスン エレクトロニクス カンパニー リミテッド 映像を符号化／復号する方法及びその装置
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US10645395B2 (en) * 2016-05-25 2020-05-05 Arris Enterprises Llc Weighted angular prediction coding for intra coding
US11039175B2 (en) * 2016-05-27 2021-06-15 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
WO2017206803A1 (en) * 2016-05-28 2017-12-07 Mediatek Inc. Method and apparatus of current picture referencing for video coding
US20190327476A1 (en) * 2016-06-24 2019-10-24 Industry Academy Cooperation Foundation Of Sejong University Video signal processing method and device
US10448056B2 (en) 2016-07-15 2019-10-15 Qualcomm Incorporated Signaling of quantization information in non-quadtree-only partitioned video coding
US11503305B2 (en) * 2016-08-03 2022-11-15 Kt Corporation Method and apparatus for processing video signal
US10609423B2 (en) * 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
CN116866616A (zh) * 2016-09-20 2023-10-10 株式会社Kt 对视频进行解码和编码的方法和传输视频数据的方法
US20190253624A1 (en) 2017-07-17 2019-08-15 Ki Baek Kim Image data encoding/decoding method and apparatus
KR20190053255A (ko) 2016-10-04 2019-05-17 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR20200062365A (ko) 2016-10-04 2020-06-03 김기백 영상 데이터 부호화/복호화 방법 및 장치
US20190238888A1 (en) * 2017-07-17 2019-08-01 Ki Baek Kim Image data encoding/decoding method and apparatus
KR102531386B1 (ko) 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
KR20190053256A (ko) 2016-10-04 2019-05-17 김기백 영상 데이터 부호화/복호화 방법 및 장치
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
CN109923866B (zh) * 2016-11-08 2023-07-21 株式会社Kt 视频解码方法、编码方法
US20180139444A1 (en) * 2016-11-16 2018-05-17 Mediatek Inc. Method and Apparatus of Video Coding Using Flexible Quadtree and Binary Tree Block Partitions
CN109983776B (zh) * 2016-11-18 2023-09-29 株式会社Kt 视频信号处理方法和设备
JPWO2018092868A1 (ja) 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
JPWO2018092869A1 (ja) * 2016-11-21 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US11070801B2 (en) * 2016-12-16 2021-07-20 Sharp Kabushiki Kaisha Image coder/decoder restricting binary tree splitting of target node obtained by ternary tree split
US10848788B2 (en) 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10542280B2 (en) 2017-01-09 2020-01-21 QUALCOMM Incorpated Encoding optimization with illumination compensation and integer motion vector restriction
WO2018137231A1 (en) 2017-01-26 2018-08-02 Qualcomm Incorporated Broadcast channel encoding and decoding
KR102230877B1 (ko) * 2017-02-06 2021-03-22 후아웨이 테크놀러지 컴퍼니 리미티드 인코딩 방법 및 장치와, 디코딩 방법 및 장치
EP3383045A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Multiple splits prioritizing for fast encoding
WO2018212577A1 (ko) * 2017-05-17 2018-11-22 주식회사 케이티 비디오 신호 처리 방법 및 장치
KR102435881B1 (ko) 2017-05-26 2022-08-24 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
CN117201818A (zh) 2017-05-26 2023-12-08 Sk电信有限公司 对视频数据进行编码或解码的方法和发送比特流的方法
EP4358512A1 (en) * 2017-07-04 2024-04-24 Huawei Technologies Co., Ltd. Improvement on boundary forced partition
JP7224280B2 (ja) * 2017-07-17 2023-02-17 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 画像データ符号化／復号化方法及び装置
SG11202013232QA (en) * 2017-07-17 2021-01-28 Univ Hanyang Ind Univ Coop Found Method and apparatus for encoding/decoding image
CN109510987B (zh) * 2017-09-15 2022-12-06 华为技术有限公司 编码树节点划分方式的确定方法、装置及编码设备
WO2019054838A1 (ko) * 2017-09-18 2019-03-21 인텔렉추얼디스커버리 주식회사 블록 분할에 따른 병합 후보 리스트를 사용하는 비디오 코딩 방법 및 장치
US20200275099A1 (en) * 2017-09-19 2020-08-27 Samsung Electronics Co., Ltd. Image encoding method and device, and image decoding method and device
CN116405681A (zh) * 2017-09-28 2023-07-07 三星电子株式会社 编码方法和装置以及解码方法和装置
CA3061701A1 (en) * 2017-09-28 2019-10-28 Lg Electronics Inc. Image decoding method and device in accordance with block split structure in image coding system
EP3682633A1 (en) * 2017-10-09 2020-07-22 Huawei Technologies Co., Ltd. Apparatus and method for image coding with boundary partition processing
CA3078905C (en) * 2017-10-20 2023-01-03 Fujitsu Limited Moving image encoding device, moving image encoding method, moving image encoding computer program, moving image decoding device, moving image decoding method, and moving image de coding computer program
WO2019083393A1 (en) 2017-10-27 2019-05-02 Huawei Technologies Co., Ltd. METHODS AND APPARATUSES FOR SIGNALING PARTITIONING INFORMATION FOR IMAGE ENCODING AND DECODING
CN111279698B (zh) * 2017-10-27 2022-08-19 华为技术有限公司 图像编码的非对称划分装置和方法
CN111316651A (zh) * 2017-11-01 2020-06-19 Vid拓展公司 多类型树编码
JP7017580B2 (ja) * 2017-11-16 2022-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 復号装置、画像復号装置及び復号方法
CN111480343A (zh) * 2017-12-14 2020-07-31 交互数字Vc控股公司 用于编码图片块的方法和装置
EP3732880A4 (en) 2017-12-29 2021-04-28 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING VIDEO BLOCKS TO ONE FRAME LIMIT FOR VIDEO ENCODING
US11277609B2 (en) * 2017-12-29 2022-03-15 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks for video coding
KR102296536B1 (ko) * 2018-01-15 2021-09-01 주식회사 비원영상기술연구소 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치
US10904529B2 (en) 2018-01-19 2021-01-26 Qualcomm Incorporated Quantization group for video coding
US10652571B2 (en) 2018-01-25 2020-05-12 Qualcomm Incorporated Advanced motion vector prediction speedups for video coding
EP4221201A1 (en) 2018-01-29 2023-08-02 InterDigital VC Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
WO2019151268A1 (ja) 2018-01-30 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US20190246122A1 (en) 2018-02-08 2019-08-08 Qualcomm Incorporated Palette coding for video coding
WO2020011024A1 (en) 2018-07-12 2020-01-16 Huawei Technologies Co., Ltd. Boundary block partitioning in video coding
WO2019169339A1 (en) * 2018-03-01 2019-09-06 Arris Enterprises Llc System and method of motion information storage for video coding and signaling
WO2019172202A1 (ja) * 2018-03-05 2019-09-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
US10735730B2 (en) * 2018-03-07 2020-08-04 Tencent America LLC Flexible tree structure
WO2019174594A1 (en) * 2018-03-14 2019-09-19 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
WO2019188845A1 (en) * 2018-03-27 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks for video coding based on threshold values
US10375422B1 (en) * 2018-03-30 2019-08-06 Tencent America LLC Method and apparatus for motion field based tree splitting
US10972758B2 (en) * 2018-04-02 2021-04-06 Qualcomm Incorporated Multi-type-tree framework for transform in video coding
WO2019194147A1 (en) 2018-04-02 2019-10-10 Sharp Kabushiki Kaisha Systems and methods for deriving quantization parameters for video blocks in video coding
CN108513136A (zh) * 2018-04-08 2018-09-07 华中科技大学苏州脑空间信息研究院 海量空间三维图像数据的压缩方法和读取方法
CN118101936A (zh) * 2018-04-19 2024-05-28 Oppo广东移动通信有限公司 用于处理图像的方法及其设备
US10609402B2 (en) 2018-05-02 2020-03-31 Tencent America LLC Method and apparatus for prediction and transform for small blocks
KR20190133628A (ko) * 2018-05-23 2019-12-03 주식회사 케이티 비디오 신호 처리 방법 및 장치
SG11202010880RA (en) * 2018-05-30 2020-11-27 Huawei Tech Co Ltd Multi-type tree depth extension for picture boundary handling
CN112136327A (zh) * 2018-05-30 2020-12-25 华为技术有限公司 用于边界分割的方法和装置
US10645396B2 (en) 2018-06-04 2020-05-05 Tencent America LLC Method and apparatus for implicit transform splitting
WO2019234604A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Extended quad-tree with asymmetric sub-blocks
JP2021526329A (ja) * 2018-06-07 2021-09-30 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 映像のコード化又は映像の復号のためのシンタックス要素
EP3591969A1 (en) * 2018-07-02 2020-01-08 InterDigital VC Holdings, Inc. Syntax elements for video encoding or decoding
CN112514389B (zh) 2018-06-15 2023-06-23 Lg电子株式会社 用于基于cabac的熵编码的方法和设备
WO2019245841A1 (en) * 2018-06-18 2019-12-26 Interdigital Vc Holdings, Inc. Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
US10542260B1 (en) 2018-07-02 2020-01-21 Tencent America LLC Method and apparatus for video coding
US10609403B2 (en) 2018-07-09 2020-03-31 Tencent America LLC Method and apparatus for block partition with non-uniform quad split
US10743029B2 (en) 2018-07-30 2020-08-11 Tencent America LLC Constraints on coding unit partition
AU2018217333A1 (en) * 2018-08-17 2020-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
KR102631517B1 (ko) 2018-08-28 2024-01-30 후아웨이 테크놀러지 컴퍼니 리미티드 픽처 분할 방법 및 장치
WO2020043145A1 (en) 2018-08-29 2020-03-05 Huawei Technologies Co., Ltd. Apparatus and method and for boundary partition
SG11202102130TA (en) 2018-09-03 2021-04-29 Huawei Tech Co Ltd A video encoder, a video decoder and corresponding methods
MX2021002284A (es) 2018-09-03 2021-05-27 Huawei Tech Co Ltd Relacion entre elementos de restriccion de particion.
KR20200033211A (ko) 2018-09-19 2020-03-27 한국전자통신연구원 경계 처리를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020069632A1 (en) * 2018-10-01 2020-04-09 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
US11363303B2 (en) * 2018-10-02 2022-06-14 Comcast Cable Communications, Llc Systems, methods, and apparatuses for processing video
BR112021009099A2 (pt) * 2018-11-12 2021-08-10 Huawei Technologies Co., Ltd. codificador de vídeo, decodificador de vídeo e métodos de codificação ou decodificação de uma imagem
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020164632A1 (en) * 2019-02-15 2020-08-20 Beijing Bytedance Network Technology Co., Ltd. Non-power-two-partition tree in video compression
CN113557746A (zh) * 2019-03-12 2021-10-26 北京字节跳动网络技术有限公司 视频编解码中的复合三叉树
KR20210125085A (ko) * 2019-03-22 2021-10-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩을 위한 변환 유닛 파티션 방법
PL3910952T3 (pl) * 2019-04-23 2023-10-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Sposób dekodowania obrazu, dekoder i nośnik danych
WO2020219965A1 (en) * 2019-04-25 2020-10-29 Op Solutions, Llc Efficient coding of global motion vectors
KR20220000906A (ko) * 2019-06-19 2022-01-04 엘지전자 주식회사 크로마 블록의 분할 조건을 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR102488861B1 (ko) 2019-06-19 2023-01-13 엘지전자 주식회사 크로마 블록의 크기를 제한하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11375243B2 (en) * 2019-07-17 2022-06-28 Tencent America LLC Method and apparatus for video coding
CA3148299A1 (en) 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Determination of picture partition mode based on block size
CN114175650A (zh) * 2019-07-26 2022-03-11 北京字节跳动网络技术有限公司 视频编解码中的变换尺寸和编解码树单元尺寸的相互依赖
US20220286714A1 (en) * 2019-08-23 2022-09-08 Hfi Innovation Inc. Method and Apparatus of Partitioning Small Size Coding Units with Partition Constraints
KR20210138114A (ko) * 2019-12-23 2021-11-18 텐센트 아메리카 엘엘씨 비디오 코딩 방법 및 장치
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
JP7453581B2 (ja) * 2020-02-25 2024-03-21 日本電信電話株式会社 符号化方法、符号化装置及びプログラム
CN117256152A (zh) * 2021-04-09 2023-12-19 抖音视界有限公司 多个分区的相互作用
US20220337854A1 (en) * 2021-04-16 2022-10-20 Tencent America LLC Interaction between transform partitioning and primary/secondary transform type selection
CN113660490A (zh) * 2021-06-24 2021-11-16 浙江大华技术股份有限公司 编码单元的划分方法、编码方法、电子装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595141A (zh) * 2012-03-13 2012-07-18 中国科学院上海应用物理研究所 一种基于四叉树与邻域搜索相结合的分形图像压缩方法
CN102934436A (zh) * 2010-04-13 2013-02-13 三星电子株式会社 使用基于根据树结构确定的编码单元的预测单元的视频编码方法和视频编码设备以及使用基于根据树结构确定的编码单元的预测单元的视频解码方法和视频解码设备
WO2014120369A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
CN104054347A (zh) * 2012-01-18 2014-09-17 高通股份有限公司 在视频译码中波前平行处理的使用的指示

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE526223C2 (sv) * 2003-12-10 2005-08-02 Nobel Biocare Ab System och anordning vid framställning och isättning av tandbrouppbyggnad
US20100208827A1 (en) * 2007-10-16 2010-08-19 Thomson Licensing Methods and apparatus for video encoding and decoding geometerically partitioned super macroblocks
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
JP5672678B2 (ja) 2009-08-21 2015-02-18 Tdk株式会社 電子部品及びその製造方法
BR112012009142B1 (pt) 2009-10-20 2021-10-19 Sharp Kabushiki Kaisha Dispositivo de codificação de imagem móvel, dispositivo de decodificação de imagem móvel, método de codificação de imagem móvel e método de decodificação de imagem móvel
KR101457396B1 (ko) 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
NO2991355T3 (zh) * 2010-04-13 2018-04-14
RS64605B1 (sr) 2010-04-13 2023-10-31 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
US20120170648A1 (en) 2011-01-05 2012-07-05 Qualcomm Incorporated Frame splitting in video coding
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US8548057B2 (en) 2011-01-25 2013-10-01 Microsoft Corporation Video coding redundancy reduction
KR20120090740A (ko) * 2011-02-07 2012-08-17 (주)휴맥스 정밀한 단위의 필터 선택을 적용한 영상 부호화/복호화 장치 및 방법
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
US9800870B2 (en) * 2011-09-16 2017-10-24 Qualcomm Incorporated Line buffer reduction for short distance intra-prediction
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
JP2013229674A (ja) * 2012-04-24 2013-11-07 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム
US9667996B2 (en) * 2013-09-26 2017-05-30 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
US9906813B2 (en) * 2013-10-08 2018-02-27 Hfi Innovation Inc. Method of view synthesis prediction in 3D video coding
FR3029333A1 (fr) 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
US20170150156A1 (en) 2015-11-25 2017-05-25 Qualcomm Incorporated Illumination compensation with non-square predictive blocks in video coding
AU2015261734A1 (en) 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
US9989049B2 (en) * 2015-12-11 2018-06-05 Funai Electric Co., Ltd. Microfluidic pump
US10212444B2 (en) 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102934436A (zh) * 2010-04-13 2013-02-13 三星电子株式会社 使用基于根据树结构确定的编码单元的预测单元的视频编码方法和视频编码设备以及使用基于根据树结构确定的编码单元的预测单元的视频解码方法和视频解码设备
CN104054347A (zh) * 2012-01-18 2014-09-17 高通股份有限公司 在视频译码中波前平行处理的使用的指示
CN102595141A (zh) * 2012-03-13 2012-07-18 中国科学院上海应用物理研究所 一种基于四叉树与邻域搜索相结合的分形图像压缩方法
WO2014120369A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video

Also Published As

Publication number Publication date
CA3007664C (en) 2024-04-09
CL2018001895A1 (es) 2018-10-12
BR112018014435A2 (pt) 2018-12-11
US20170208336A1 (en) 2017-07-20
MX2018008587A (es) 2018-08-15
CN108464001A (zh) 2018-08-28
RU2018125511A (ru) 2020-02-17
JP2022050614A (ja) 2022-03-30
HK1252971A1 (zh) 2019-06-06
EP3403405A1 (en) 2018-11-21
JP7163183B2 (ja) 2022-10-31
MY193686A (en) 2022-10-25
SA518391981B1 (ar) 2022-09-19
AU2017207452A1 (en) 2018-06-28
ZA201804694B (en) 2023-12-20
US10212444B2 (en) 2019-02-19
US10506246B2 (en) 2019-12-10
AU2017207452B2 (en) 2020-08-27
RU2018125511A3 (zh) 2020-05-21
SG11201804725YA (en) 2018-07-30
JP2019506071A (ja) 2019-02-28
WO2017123980A1 (en) 2017-07-20
NZ743291A (en) 2023-12-22
PH12018501244A1 (en) 2019-01-28
US20190116373A1 (en) 2019-04-18
CA3007664A1 (en) 2017-07-20
CO2018007220A2 (es) 2018-07-19
RU2727095C2 (ru) 2020-07-17
KR20180102569A (ko) 2018-09-17

Similar Documents

Publication Publication Date Title
CN108464001B (zh) 用于视频译码的多类型树框架
CN110073661B (zh) 用于编码和解码视频数据的方法和装置
US11611757B2 (en) Position dependent intra prediction combination extended with angular modes
CN110720218B (zh) 与视频译码中的变换处理一起应用的帧内滤波
CN109479140B (zh) 在非仅四叉树分割的视频译码中量化信息的发信号
CN108781296B (zh) 为视频译码中非方形块确定预测参数
US20180199062A1 (en) Intra prediction techniques for video coding
US10972758B2 (en) Multi-type-tree framework for transform in video coding
US20190306506A1 (en) Limitation on the coding tree unit/block for next-generation video coding
RU2785816C2 (ru) Комбинация позиционно-зависимого интра-предсказания, расширенная угловыми режимами

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1252971

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant